CN108319009B - 基于结构光调制的快速超分辨成像方法 - Google Patents

基于结构光调制的快速超分辨成像方法 Download PDF

Info

Publication number
CN108319009B
CN108319009B CN201810318644.3A CN201810318644A CN108319009B CN 108319009 B CN108319009 B CN 108319009B CN 201810318644 A CN201810318644 A CN 201810318644A CN 108319009 B CN108319009 B CN 108319009B
Authority
CN
China
Prior art keywords
image
frequency spectrum
frequency
super
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810318644.3A
Other languages
English (en)
Other versions
CN108319009A (zh
Inventor
杨可君
陈楚怡
谢仲业
周毅
刘锡
唐燕
赵立新
胡松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201810318644.3A priority Critical patent/CN108319009B/zh
Publication of CN108319009A publication Critical patent/CN108319009A/zh
Application granted granted Critical
Publication of CN108319009B publication Critical patent/CN108319009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于结构光调制的快速超分辨成像方法，使用数字微镜阵列生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源，直接照射待测结构、经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2。用傅里叶变换处理图像1、图像2，对其频谱作差，即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，再通过逆FFT，最终得到待测结构的超分辨成像结果。本方法简化了系统，同时大大减少所需图像数量，极大提高了重建效率，特别适用于需要多方向重建频谱的结构光超分辨检测。

Description

基于结构光调制的快速超分辨成像方法
技术领域
本发明涉及光学检测工技术领域，特别是涉及一种基于结构光调制的快速超分辨成像方法，可用于微纳结构的检测。
背景技术
随着微纳制造技术的发展，器件结构越来越复杂，对其进行形貌检测的技术要求也越来越严苛。光学检测方法以其高效性、低损伤性，成为最优选的检测技术。
传统光学显微镜的分辨率受到衍射极限的限制，即基于经典光学理论的所有成像系统的分辨率，都难以突破半波长量级，无法满足低于200nm尺度的微纳检测。
为突破分辨率限制，一系列超分辨光学检测技术被提出，根据探测模式可分为两大类：点扫描成像技术、宽场成像技术。考虑到成像效率，微纳结构检测常用宽场成像方法。其中，远场光学超分辨成像方法因工作距离不受限、非接触性检测等优点，被大力推广于微纳结构测量。
基于单分子在定位技术的随机光学重构技术和光激活定位显微技术是以荧光效应为原理，可测量的材料有限，且图像采集过程复杂，处理结构的时间代价大，难以实时测量。基于特殊强度分布照明光场的受激发射损耗技术可以实时观测，最高分辨率甚至可以达到6nm，但系统光路复杂，价格颇高。
发明内容
为了克服上述现有技术的不足，本发明提供了基于结构光调制的快速超分辨成像方法，降低系统复杂度，大大减少所需图像数量，极大提高了重建效率，特别适用于需要多方向重建频谱的微纳结构结构光超分辨检测。
本发明所采用的技术方案是：
一种基于结构光调制的快速超分辨成像方法，使用数字微镜阵列(DMD：DigitalMicromirror Devices)生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源，直接照射待测结构、经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2。对图像1、图像2的频谱作差，即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，最终得到待测结构的超分辨成像结果。
更进一步的，本方法采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构。使用DMD做空间光调制器，产生余弦条纹调制光，用CCD相机采集。
更进一步的，为确保超分辨成像结果的质量，对图像0进行调制的结构光，必须和图像1的完全相同。在图1频谱中寻找峰值，将条纹频谱部分提取出来，再经过逆傅里叶变换，就可得同一结构光来调制图0。
更进一步的，高频信号关于零频左右对称，作差后，通过滤波算法获得。频谱移动向量的方向和距离，由调制结构光的方向和频率决定。
更进一步的，完整的超分辨图像重建需要采集多个结构光相位方向的超分辨图像、进行加权融合。本方法不要求精确的相位，取不同的相位即可。
与现有技术相比，本发明的有益效果是：
(1)本发明无需精确的相移装置，在一个相位方向上，采集一幅结构光调制的像焦面图和一幅无结构光的像焦面图，简化了系统，极大减小了检测微纳结构的数据量。
(2)本发明提出了简单快速的频谱提取方法，无结构光采集到的像焦面图，调制后经过傅里叶变换，只需在频域中，与结构光调制的像焦面图做减法，即可分离出因为衍射极限、原本无法接收的高频信息，大大降低了图像重构算法的复杂度，实现了快速超分辨。
附图说明
图1为本发明一种基于结构光调制的快速超分辨成像方法的流程图。
图2为本发明全流程频谱分布示意图，其中，图2(a)为图片0的频谱图，图2(b)为频谱图1，图2(c)为频谱图2，图2(d)为高频频谱，图2(f)为重建得到的完整频谱谱图。
具体实施方式
下面结合附图对本发明进一步说明。
本发明一种基于结构光调制的微纳结构快速超分辨成像方法的流程图如图1，具体实施方法如下：
无结构光调制时，系统获得的像方焦平面图像0表示为：
Figure BDA0001624575090000021
其中，S(r)是待测表面发散光的光场分布，H(r)为成像系统的点扩散函数，
Figure BDA00016245750900000313
为卷积运算，表示待测表面的发散光受限于成像系统的衍射极限。
添加结构光
Figure BDA0001624575090000031
调制(其中，I0是结构光的平均光强，m为调制度，p为空间频率，
Figure BDA0001624575090000032
为调制的初相位)后，经过系统后CCD采集到的图像1表示为：
Figure BDA0001624575090000033
两幅图采集之后，对图像0添加相同的结构光I(r)进行调制，得到图像2，表示为：
Figure BDA0001624575090000034
由欧拉公式展开式(2)、(3)，并进行傅里叶变换，得到：
Figure BDA0001624575090000035
Figure BDA0001624575090000036
其中，D1(k)、D2(k)、S(k)、H(k)分别是D1(r)、D2(r)、S(r)、H(r)的傅里叶变换，I0是结构光的平均光强，m为调制度，p为空间频率，
Figure BDA0001624575090000037
为调制的初相位。
式(4)、(5)相减，即图像1与图像2的频谱图做差，提取出高频信息，如下：
Figure BDA0001624575090000038
低通滤波后，将高频部分移动到对应位置，结构光的频率及调制方向决定了高频部分平移的距离和方向。
令S+(k+p)＝S(k+p)×H(k)，S_(k-p)＝S(k-p)×H(k)，完成平移后的高频信息：频率为正部分的频谱△D(k)+、频率为负部分的频谱△D(k)_，分别表示为：
Figure BDA0001624575090000039
Figure BDA00016245750900000310
平均光强I0和调制度m已知，使用峰值相位法获得
Figure BDA00016245750900000311
把D0(k)和高频△D(k)+、△D(k)-代入下式，获得完整的频谱图：
Figure BDA00016245750900000312
最后进行逆FFT，得到超分辨成像图。

Claims (1)

1.一种基于结构光调制的快速超分辨成像方法，其特征在于：使用数字微镜阵列(DMD：Digital Micromirror Devices)生成结构光，照射待测结构表面，在像方获得混叠了衍射极限之外高频信号的图像1；无结构光调制的照明光源，直接照射待测结构，经过成像系统得到的像方焦平面图像0，其频谱仅包含衍射受限范围内的低频频谱，再用相同的结构光对它进行调制，得到图像2；对图像1、图像2的频谱作差，即获得超分辨需要的高频频谱信号；将此高频移动到图像0频谱的对应位置，按一定的权重叠加、重建出完整的频谱，最终得到待测结构的超分辨成像结果；
采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构，使用数字微镜阵列做空间光调制器，产生余弦条纹调制光，用CCD相机采集；
为确保超分辨成像结果的质量，对图像0进行调制的结构光，必须和图像1的结构光完全相同，在图像1频谱中寻找峰值，将条纹频谱部分提取出来，再经过逆傅里叶变换，就可得同一结构光来调制图像0；
高频信号关于零频左右对称，作差后，通过滤波算法获得，频谱移动向量的方向和距离，由调制结构光的方向和频率决定。
CN201810318644.3A 2018-04-11 2018-04-11 基于结构光调制的快速超分辨成像方法 Active CN108319009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810318644.3A CN108319009B (zh) 2018-04-11 2018-04-11 基于结构光调制的快速超分辨成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810318644.3A CN108319009B (zh) 2018-04-11 2018-04-11 基于结构光调制的快速超分辨成像方法

Publications (2)

Publication Number Publication Date
CN108319009A CN108319009A (zh) 2018-07-24
CN108319009B true CN108319009B (zh) 2020-07-17

Family

ID=62897279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810318644.3A Active CN108319009B (zh) 2018-04-11 2018-04-11 基于结构光调制的快速超分辨成像方法

Country Status (1)

Country Link
CN (1) CN108319009B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020041936A1 (zh) * 2018-08-27 2020-03-05 深圳大学 一种图像重构方法、装置、电子设备和存储介质
CN110058393B (zh) * 2019-05-08 2020-08-28 西安电子科技大学 一种基于结构光照明的相位显微成像装置和方法
CN111308682B (zh) * 2019-11-18 2022-05-17 天津大学 基于结构光照明的超分辨重构方法
CN111145089B (zh) * 2019-11-18 2023-06-16 中国科学院苏州生物医学工程技术研究所 高保真图像重构方法、系统、计算机设备和存储介质
CN111580260B (zh) * 2020-05-12 2023-08-01 西安交通大学 一种高速光学三维光切片显微系统及方法
CN111458317B (zh) * 2020-05-12 2021-04-30 北京大学 一种直接结构光照明超分辨显微重建方法
CN111948296A (zh) * 2020-07-20 2020-11-17 南昌大学 一种基于轴向调制的用于提升光声显微成像系统轴向分辨率的方法
CN112508791B (zh) * 2020-12-18 2022-11-04 中国工程物理研究院激光聚变研究中心 一种初始相位提取方法、装置、电子设备及存储介质
CN113030024A (zh) * 2021-03-24 2021-06-25 浙江大学 一种基于低动态范围频谱图的相干衍射成像装置及方法
CN113916154A (zh) * 2021-10-13 2022-01-11 中国科学院光电技术研究所 一种基于调制度半宽恒定的自校准结构光测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2093601B1 (en) * 2006-12-12 2013-03-13 Nikon Corporation Microscope device and image processing method
CN101299268B (zh) * 2008-07-01 2010-08-11 上海大学 适于低景深图像的语义对象分割方法
CN101469972B (zh) * 2008-09-08 2010-08-25 哈尔滨工业大学 长焦深超分辨二次共焦测量装置
CN107167929B (zh) * 2017-06-12 2019-06-25 华南师范大学 基于dmd的双模式光学超分辨显微成像装置及方法
CN107388958A (zh) * 2017-07-11 2017-11-24 中国科学院光电技术研究所 基于结构光的微纳结构二维超分辨检测方法

Also Published As

Publication number Publication date
CN108319009A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN108319009B (zh) 基于结构光调制的快速超分辨成像方法
Fienup Space object imaging through the turbulent atmosphere
EP3677969B1 (en) Holographic imaging device and data processing method therefor
CN111308682B (zh) 基于结构光照明的超分辨重构方法
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
CN109141224B (zh) 一种基于结构光的干涉反射式光学薄膜显微测量方法
CN105467806B (zh) 单像素全息相机
CN109709786B (zh) 一种超分辨率数字全息成像系统和成像方法
CN110455834B (zh) 基于光强传输方程的x射线单次曝光成像装置及方法
CN112229847A (zh) 一种光学元件表面缺陷高分辨自动检测装置及方法
CN111123496B (zh) 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
Chen et al. Discrete cosine single-pixel microscopic compressive imaging via fast binary modulation
Xue et al. Quantitative interferometric microscopy cytometer based on regularized optical flow algorithm
Meiniel et al. Reducing data acquisition for fast structured illumination microscopy using compressed sensing
WO2021227292A1 (zh) 一种直接结构光照明超分辨显微重建方法
US20230236404A1 (en) System for quantitative differential phase contrast microscopy with isotropic transfer function
CN112634380A (zh) 一种单帧超光学记忆效应的多目标彩色散射成像方法
Sun et al. Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction
Yagnik et al. 3D shape extraction of human face in presence of facial hair: A profilometric approach
CN107388958A (zh) 基于结构光的微纳结构二维超分辨检测方法
Ni et al. Feature single-pixel imaging: What you see is what you want
CN113313696A (zh) 一种用于结构光照明显微成像中结构光初相位的提取方法
Melnikov et al. 3D imaging with moving fringe structured illumination microscopy
TWI637166B (zh) 微分相位對比顯微系統與方法
Peng et al. Full-field visual vibration measurement of rotating machine under complex conditions via unsupervised retinex model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant