CN108319009A - 基于结构光调制的快速超分辨成像方法 - Google Patents
基于结构光调制的快速超分辨成像方法 Download PDFInfo
- Publication number
- CN108319009A CN108319009A CN201810318644.3A CN201810318644A CN108319009A CN 108319009 A CN108319009 A CN 108319009A CN 201810318644 A CN201810318644 A CN 201810318644A CN 108319009 A CN108319009 A CN 108319009A
- Authority
- CN
- China
- Prior art keywords
- image
- structure light
- super
- frequency
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于结构光调制的快速超分辨成像方法,使用数字微镜阵列生成结构光,照射待测结构表面,在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源,直接照射待测结构、经过成像系统得到的像方焦平面图像0,其频谱仅包含衍射受限范围内的低频频谱,再用相同的结构光对它进行调制,得到图像2。用傅里叶变换处理图像1、图像2,对其频谱作差,即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置,按一定的权重叠加、重建出完整的频谱,再通过逆FFT,最终得到待测结构的超分辨成像结果。本方法简化了系统,同时大大减少所需图像数量,极大提高了重建效率,特别适用于需要多方向重建频谱的结构光超分辨检测。
Description
技术领域
本发明涉及光学检测工技术领域,特别是涉及一种基于结构光调制的快速超分辨成像方法,可用于微纳结构的检测。
背景技术
随着微纳制造技术的发展,器件结构越来越复杂,对其进行形貌检测的技术要求也越来越严苛。光学检测方法以其高效性、低损伤性,成为最优选的检测技术。
传统光学显微镜的分辨率受到衍射极限的限制,即基于经典光学理论的所有成像系统的分辨率,都难以突破半波长量级,无法满足低于200nm尺度的微纳检测。
为突破分辨率限制,一系列超分辨光学检测技术被提出,根据探测模式可分为两大类:点扫描成像技术、宽场成像技术。考虑到成像效率,微纳结构检测常用宽场成像方法。其中,远场光学超分辨成像方法因工作距离不受限、非接触性检测等优点,被大力推广于微纳结构测量。
基于单分子在定位技术的随机光学重构技术和光激活定位显微技术是以荧光效应为原理,可测量的材料有限,且图像采集过程复杂,处理结构的时间代价大,难以实时测量。基于特殊强度分布照明光场的受激发射损耗技术可以实时观测,最高分辨率甚至可以达到6nm,但系统光路复杂,价格颇高。
发明内容
为了克服上述现有技术的不足,本发明提供了基于结构光调制的快速超分辨成像方法,降低系统复杂度,大大减少所需图像数量,极大提高了重建效率,特别适用于需要多方向重建频谱的微纳结构结构光超分辨检测。
本发明所采用的技术方案是:
一种基于结构光调制的快速超分辨成像方法,使用数字微镜阵列(DMD:DigitalMicromirror Devices)生成结构光,照射待测结构表面,在像方获得混叠了衍射极限之外高频信号的图像1。无结构光调制的照明光源,直接照射待测结构、经过成像系统得到的像方焦平面图像0,其频谱仅包含衍射受限范围内的低频频谱,再用相同的结构光对它进行调制,得到图像2。对图像1、图像2的频谱作差,即获得超分辨需要的高频频谱信号。将此高频移动到图像0频谱的对应位置,按一定的权重叠加、重建出完整的频谱,最终得到待测结构的超分辨成像结果。
更进一步的,本方法采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构。使用DMD做空间光调制器,产生余弦条纹调制光,用CCD相机采集。
更进一步的,为确保超分辨成像结果的质量,对图像0进行调制的结构光,必须和图像1的完全相同。在图1频谱中寻找峰值,将条纹频谱部分提取出来,再经过逆傅里叶变换,就可得同一结构光来调制图0。
更进一步的,高频信号关于零频左右对称,作差后,通过滤波算法获得。频谱移动向量的方向和距离,由调制结构光的方向和频率决定。
更进一步的,完整的超分辨图像重建需要采集多个结构光相位方向的超分辨图像、进行加权融合。本方法不要求精确的相位,取不同的相位即可。
与现有技术相比,本发明的有益效果是:
(1)本发明无需精确的相移装置,在一个相位方向上,采集一幅结构光调制的像焦面图和一幅无结构光的像焦面图,简化了系统,极大减小了检测微纳结构的数据量。
(2)本发明提出了简单快速的频谱提取方法,无结构光采集到的像焦面图,调制后经过傅里叶变换,只需在频域中,与结构光调制的像焦面图做减法,即可分离出因为衍射极限、原本无法接收的高频信息,大大降低了图像重构算法的复杂度,实现了快速超分辨。
附图说明
图1为本发明一种基于结构光调制的快速超分辨成像方法的流程图。
图2为本发明全流程频谱分布示意图,其中,图2(a)为图片0的频谱图,图2(b)为频谱图1,图2(c)为频谱图2,图2(d)为高频频谱,图2(f)为重建得到的完整频谱谱图。
具体实施方式
下面结合附图对本发明进一步说明。
本发明一种基于结构光调制的微纳结构快速超分辨成像方法的流程图如图1,具体实施方法如下:
无结构光调制时,系统获得的像方焦平面图像0表示为:
其中,S(r)是待测表面发散光的光场分布,H(r)为成像系统的点扩散函数,为卷积运算,表示待测表面的发散光受限于成像系统的衍射极限。
添加结构光调制(其中,I0是结构光的平均光强,m为调制度,p为空间频率,为调制的初相位)后,经过系统后CCD采集到的图像1表示为:
两幅图采集之后,对图像0添加相同的结构光I(r)进行调制,得到图像2,表示为:
由欧拉公式展开式(2)、(3),并进行傅里叶变换,得到:
其中,D1(k)、D2(k)、S(k)、H(k)分别是D1(r)、D2(r)、S(r)、H(r)的傅里叶变换,I0是结构光的平均光强,m为调制度,p为空间频率,为调制的初相位。
式(4)、(5)相减,即图像1与图像2的频谱图做差,提取出高频信息,如下:
低通滤波后,将高频部分移动到对应位置,结构光的频率及调制方向决定了高频部分平移的距离和方向。
令S+(k+p)=S(k+p)×H(k),S_(k-p)=S(k-p)×H(k),完成平移后的高频信息:频率为正部分的频谱△D(k)+、频率为负部分的频谱△D(k)_,分别表示为:
平均光强I0和调制度m已知,使用峰值相位法获得把D0(k)和高频△D(k)+、△D(k)-代入下式,获得完整的频谱图:
最后进行逆FFT,得到超分辨成像图。
Claims (5)
1.一种基于结构光调制的快速超分辨成像方法,其特征在于:使用数字微镜阵列(DMD:Digital Micromirror Devices)生成结构光,照射待测结构表面,在像方获得混叠了衍射极限之外高频信号的图像1;无结构光调制的照明光源,直接照射待测结构,经过成像系统得到的像方焦平面图像0,其频谱仅包含衍射受限范围内的低频频谱,再用相同的结构光对它进行调制,得到图像2;对图像1、图像2的频谱作差,即获得超分辨需要的高频频谱信号;将此高频移动到图像0频谱的对应位置,按一定的权重叠加、重建出完整的频谱,最终得到待测结构的超分辨成像结果。
2.根据权利要求1所述的一种基于结构光调制的快速超分辨成像方法,其特征在于:采用的测量系统包括光源、空间光调制器、成像装置、图像采集装置及待测结构,使用DMD做空间光调制器,产生余弦条纹调制光,用CCD相机采集。
3.根据权利要求1所述的一种基于结构光调制的快速超分辨成像方法,其特征在于:为确保超分辨成像结果的质量,对图像0进行调制的结构光,必须和图像1的完全相同,在图1频谱中寻找峰值,将条纹频谱部分提取出来,再经过逆傅里叶变换,就可得同一结构光来调制图0。
4.根据权利要求1所述的一种基于结构光调制的快速超分辨成像方法,其特征在于:高频信号关于零频左右对称,作差后,通过滤波算法获得,频谱移动向量的方向和距离,由调制结构光的方向和频率决定。
5.根据权利1至4任一项所述的一种基于结构光调制的快速超分辨成像方法,其特征在于:完整的超分辨图像重建需要采集多个结构光相位方向的超分辨图像、进行加权融合,本方法不要求精确的相位,取不同的相位即可,系统复杂度大大降低,同时提高了重建效率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810318644.3A CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810318644.3A CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108319009A true CN108319009A (zh) | 2018-07-24 |
CN108319009B CN108319009B (zh) | 2020-07-17 |
Family
ID=62897279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810318644.3A Active CN108319009B (zh) | 2018-04-11 | 2018-04-11 | 基于结构光调制的快速超分辨成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108319009B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110058393A (zh) * | 2019-05-08 | 2019-07-26 | 西安电子科技大学 | 一种基于结构光照明的相位显微成像装置和方法 |
WO2020041936A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳大学 | 一种图像重构方法、装置、电子设备和存储介质 |
CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
CN111580260A (zh) * | 2020-05-12 | 2020-08-25 | 西安交通大学 | 一种高速光学三维光切片显微系统及方法 |
CN111948296A (zh) * | 2020-07-20 | 2020-11-17 | 南昌大学 | 一种基于轴向调制的用于提升光声显微成像系统轴向分辨率的方法 |
CN112508791A (zh) * | 2020-12-18 | 2021-03-16 | 中国工程物理研究院激光聚变研究中心 | 一种初始相位提取方法、装置、电子设备及存储介质 |
WO2021097916A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
CN113030024A (zh) * | 2021-03-24 | 2021-06-25 | 浙江大学 | 一种基于低动态范围频谱图的相干衍射成像装置及方法 |
WO2021227292A1 (zh) * | 2020-05-12 | 2021-11-18 | 北京大学 | 一种直接结构光照明超分辨显微重建方法 |
CN113916154A (zh) * | 2021-10-13 | 2022-01-11 | 中国科学院光电技术研究所 | 一种基于调制度半宽恒定的自校准结构光测量方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101299268A (zh) * | 2008-07-01 | 2008-11-05 | 上海大学 | 适于低景深图像的语义对象分割方法 |
CN101469972A (zh) * | 2008-09-08 | 2009-07-01 | 哈尔滨工业大学 | 长焦深超分辨二次共焦测量装置 |
US20090225407A1 (en) * | 2006-12-12 | 2009-09-10 | Nikon Corporation | Microscope device and image processing method |
CN107167929A (zh) * | 2017-06-12 | 2017-09-15 | 华南师范大学 | 基于dmd的双模式光学超分辨显微成像装置及方法 |
CN107388958A (zh) * | 2017-07-11 | 2017-11-24 | 中国科学院光电技术研究所 | 基于结构光的微纳结构二维超分辨检测方法 |
-
2018
- 2018-04-11 CN CN201810318644.3A patent/CN108319009B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090225407A1 (en) * | 2006-12-12 | 2009-09-10 | Nikon Corporation | Microscope device and image processing method |
CN101299268A (zh) * | 2008-07-01 | 2008-11-05 | 上海大学 | 适于低景深图像的语义对象分割方法 |
CN101469972A (zh) * | 2008-09-08 | 2009-07-01 | 哈尔滨工业大学 | 长焦深超分辨二次共焦测量装置 |
CN107167929A (zh) * | 2017-06-12 | 2017-09-15 | 华南师范大学 | 基于dmd的双模式光学超分辨显微成像装置及方法 |
CN107388958A (zh) * | 2017-07-11 | 2017-11-24 | 中国科学院光电技术研究所 | 基于结构光的微纳结构二维超分辨检测方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020041936A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳大学 | 一种图像重构方法、装置、电子设备和存储介质 |
CN110058393A (zh) * | 2019-05-08 | 2019-07-26 | 西安电子科技大学 | 一种基于结构光照明的相位显微成像装置和方法 |
CN110058393B (zh) * | 2019-05-08 | 2020-08-28 | 西安电子科技大学 | 一种基于结构光照明的相位显微成像装置和方法 |
CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
WO2021097916A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
CN111308682B (zh) * | 2019-11-18 | 2022-05-17 | 天津大学 | 基于结构光照明的超分辨重构方法 |
CN111580260A (zh) * | 2020-05-12 | 2020-08-25 | 西安交通大学 | 一种高速光学三维光切片显微系统及方法 |
WO2021227292A1 (zh) * | 2020-05-12 | 2021-11-18 | 北京大学 | 一种直接结构光照明超分辨显微重建方法 |
CN111948296A (zh) * | 2020-07-20 | 2020-11-17 | 南昌大学 | 一种基于轴向调制的用于提升光声显微成像系统轴向分辨率的方法 |
CN112508791A (zh) * | 2020-12-18 | 2021-03-16 | 中国工程物理研究院激光聚变研究中心 | 一种初始相位提取方法、装置、电子设备及存储介质 |
CN113030024A (zh) * | 2021-03-24 | 2021-06-25 | 浙江大学 | 一种基于低动态范围频谱图的相干衍射成像装置及方法 |
CN113916154A (zh) * | 2021-10-13 | 2022-01-11 | 中国科学院光电技术研究所 | 一种基于调制度半宽恒定的自校准结构光测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108319009B (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108319009A (zh) | 基于结构光调制的快速超分辨成像方法 | |
McLeod et al. | Unconventional methods of imaging: computational microscopy and compact implementations | |
WO2019024491A1 (zh) | 基于环状可编程led照明的高效率定量相位显微成像方法 | |
CN109828371B (zh) | 一种基于移动散斑光源的大视场散射成像方法 | |
US11487096B2 (en) | Quantitative phase imaging method based on differential phase contrast with optimal lighting pattern design | |
CN111308682B (zh) | 基于结构光照明的超分辨重构方法 | |
CN110455834B (zh) | 基于光强传输方程的x射线单次曝光成像装置及方法 | |
CN107388984A (zh) | 基于结构光与介质微球联合调制的微纳结构超分辨三维形貌检测方法 | |
CN111123496B (zh) | 基于希尔伯特变换的结构照明快速三维彩色显微成像方法 | |
CN114965470A (zh) | 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法 | |
Wang et al. | Quantitative interferometric microscopy with two dimensional Hilbert transform based phase retrieval method | |
Li et al. | Shadow-free single-pixel imaging | |
CN107247339A (zh) | 一种基于矢量光场的径向偏振特性的双成像方法及系统 | |
Xue et al. | Quantitative interferometric microscopy cytometer based on regularized optical flow algorithm | |
Tang et al. | A robust fast variable-aperture Fourier ptychography | |
US20230236404A1 (en) | System for quantitative differential phase contrast microscopy with isotropic transfer function | |
WO2024082607A1 (zh) | 基于主成分分析的结构光照明显微成像方法 | |
Sun et al. | Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction | |
Yu et al. | Efficient phase retrieval based on dark fringe extraction and phase pattern construction with a good anti-noise capability | |
CN108072614A (zh) | 一种基于非均匀傅里叶变换的干涉合成孔径显微方法 | |
Yu et al. | Autofocusing based on cosine similarity in dual-wavelength digital holographic microscopy | |
Ni et al. | Feature single-pixel imaging: What you see is what you want | |
CN107388958A (zh) | 基于结构光的微纳结构二维超分辨检测方法 | |
CN108038824B (zh) | 一种基于结构光照明的荧光偶极子定向方法 | |
US10989648B2 (en) | Method for forming a high resolution image by lensless imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |