CN113313696A - 一种用于结构光照明显微成像中结构光初相位的提取方法 - Google Patents
一种用于结构光照明显微成像中结构光初相位的提取方法 Download PDFInfo
- Publication number
- CN113313696A CN113313696A CN202110636875.0A CN202110636875A CN113313696A CN 113313696 A CN113313696 A CN 113313696A CN 202110636875 A CN202110636875 A CN 202110636875A CN 113313696 A CN113313696 A CN 113313696A
- Authority
- CN
- China
- Prior art keywords
- structured light
- phase shift
- images
- shift value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提出一种用于结构光照明显微成像中结构光初相位的提取方法,属于光学成像相关领域。本发明在图像重组变换法的基础上,建立了一般形式的图像重组变换公式,无需步长相等且特殊的相移值π/2,实现在任意未知相移值下,对余弦结构光场初相位的提取。弥补了图像重组变换法的不足。所述方法将记录的三幅不同初相位的结构光照明图像,傅里叶变换为三幅频谱图像。然后,基于迭代优化估计相移值分离两个因余弦结构光照明引入频谱图像中高频频谱分量,并计算寻找分离的两频谱分量在结构光空间频率处的强度差最大值,此时对应的估计相移值为结构光场间的实际相移值。基于图像间实际相移值与记录的三幅图像,通过一般形式的重组变换法求得初相位值。
Description
技术领域
本发明属于光学成像相关领域,涉及一种用于结构光照明显微成像中结构光初相位的提取方法。
背景技术
光学显微成像已被广泛用于生物学和生命科学等领域的研究,但成像分辨率受到光学衍射极限的限制,无法满足对细微生物结构观察的需求。为了打破衍射极限的限制,近年来发展了多种超分辨光学显微成像技术。其中,2000年Gustafsson提出的结构光照明显微术(Structured Illumination Microscopy,SIM),基于“莫尔条纹”原理,通过余弦型结构光条纹照明的方式,将高频信息编码到低频区域被探测器接收,实现2倍于普通宽场成像的分辨率。SIM仅改变了成像系统的照明部分,其它部分无需改变,能与多种成像系统兼容,成为当下使用最广泛的超分辨成像技术。
SIM并不是一种直接的超分辨成像技术,通常需要使用相移法,采集三幅不同初相位的结构光照明图像,共同重建一幅超分辨图像。SIM超分辨重建中如何精确地提取三个不同照明结构光场的初相位,是获得高质量超分辨重建成像的最关键问题。目前常用的结构光场初相位提取方法有峰值相位法、自相关法和图像重组变换法,但均存在一定的局限性。其中,峰值相位法与自相关法均是在满足前提近似条件下取得了结构光初相位的近似解。但由于近似中限定了结构光场调制度足够高,及成像中不含有未加载结构光条纹的离焦背景信息等条件,因此峰值相位法与自相关法不适用于结构光场调制度较低及厚样品成像的情况。而图像重组变换法是一种精确的初相位提取方法,不受前提近似条件的限制,其基本提取过程如下:
在结构光场间相移步长相等且为特殊值π/2的情况下,采集三幅不同初相位结构光照明样品的图像,数学表达可写为:
式中:r表示空间域的二维坐标;m、p与I0分别为照明余弦结构光的调制度、空间频率及平均光强;是结构光场的初相位且D1(r)、D2(r)、D3(r)为采集的图像;Sin(r)表示在焦样品信息;Sout(r)表示离焦背景信息;H(r)表示成像系统点扩散函数,表示卷积运算。
对上述的三幅图像D1(r)、D2(r)、D3(r),通过下式重新组合为一幅新的图像:
式中,j为虚数单位。对上式重组图像做傅里叶变换,获得图像的频谱图可表示为:
式中,k表示频域的二维坐标;~表示傅里叶变换。
从上述提取初相位的过程,可以发现图像重组变换法通过图像间相减的方式去除了离焦背景的影响,并且整个过程未作任何近似,不受结构光调制度的影响,能够提取余弦结构光场初相位的精确值。但该方法仅适用于步长相等且为特殊值π/2的情况,而实际相移过程中,往往会由于空气扰动、环境震动及相移器不可避免的误差等原因,造成余弦结构条纹间的相移值并非理想的相移值π/2,产生的相移误差会严重降低传统的图像重组变换法获取初相位的精度。
发明内容
为了解决现有技术中存在的不足,本发明提出了一种用于结构光照明显微成像中结构光初相位的提取方法。在图像重组变换法的基础上,对图像重组方式进行了改进,将图像重组变换法推广到了更一般的形式,实现在任意未知相移值下,对结构光场初相位的提取。
本发明的技术路线为:结构光照明样品成像,会引入两个额外的高频频谱分量与低频频谱分量相互混叠在一起。记录三幅不同初相位结构光照明的图像,并结合图像间的相移值,对混叠的频谱分量分离。如果准确获知图像间的实际相移值,那么就可以准确的分离出两个高频频谱分量,且此时分离的两个高频频谱分量在结构光空间频率p处的强度差值最大,但若未能准确获知图像间的实际相移值,那么在空间频率p处的强度差值偏小。基于这种特性,可通过迭代优化估计相移值的方式确定图像间的实际相移值。利用获取的图像间的实际相移值对三幅记录图像重组,在重组图像频谱图的p位置提取照明结构光场的初相位。
具体步骤如下:
步骤1记录三幅不同初相位的结构光照明图像:
通过激光照明,经空间光调制器调制在样品面生成余弦结构光场可表示为:
控制空间光调制器改变结构光场的相移值,依次产生3个不同初相位的结构光场;结构光照明样品经显微系统成像,在成像系统的像面由CCD依次记录三幅不同初相位的结构光照明图像1、2、3,图像的表达式为:
式中:D1(r)、D2(r)、D3(r)依次为记录的图像1、2、3;为图像1的初相位, 为相移值;Sin(r)表示在焦样品信息;Sout(r)表示离焦背景信息;H(r)表示成像系统的点扩散函数;表示卷积运算。
步骤2获取图像间的实际相移值:
对采集的三幅图像做傅里叶变换,获得三幅频谱图像4、5、6,频域图像表达式为:
构造下式计算分离出的频谱分量ψ2(k)与ψ3(k)在空间频率p处的强度差值SD:
SD=|ψ2(p)|-|ψ3(p)| (10)
步骤3:提取照明结构光初相位:
对重组获得的图像7做傅里叶变换(FFT)得到其频谱图8,并计算频谱图8在空间频率p处的值,可表示为:
本发明的有益效果是:
(1)本发明避免了峰值相位法与自相关法中需要限定结构光场调制度足够高,及忽视离焦背景等近似条件。本发明中未作近似处理,不会受结构光场调制度的限制,且通过图像重组的方式去除了离焦背景的影响。
(2)本发明摆脱了图像重组变换法中对特定相移值的要求。本发明中,首先通过分离频谱强度差之间的特性,获取了图像间的实际相移值,再用测得的实际相移值对图像进行重组,进而提取初相位,拓宽了图像重组变换法的使用范围,大大降低了对成像系统性能的要求。
附图说明
图1为本发明方法流程图;
图2为基于激光干涉式结构光照明荧光显微成像系统;
图3为分离频谱分量强度分布随估计相移值与准确相移值间差值的变化;
图4(a)-图4(d)为不同结构光调制度下,本发明方法与传统方法提取结构光初相位结果对比。
附图2中标记为:1—激光光源,2—第一透镜,3—第二透镜,8—第三透镜,10—第四透镜,4—第一半波片,6—第二半波片,5—反射式空间光调制器SLM,7—反射镜,9—空间滤波器,11—二向色镜,12—显微物镜,13—载物台,14—滤光片,15—筒镜,16—数字相机CCD。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明。
本发明的初相位提取流程如图1所示。结构光照明样品成像,记录三幅不同初相位的结构光照明图像。对记录的图像做傅里叶变换获得三幅包含未知相移值的频谱图像。为获取未知相移值的实际值,通过迭代设定初始估计相移值分离因余弦结构光照明引入频谱图像中的两个高频频谱分量,并计算分离的两个高频频谱分量在频率p处的强度差值,当强度差绝对值的负值最小时输出对应的估计相移值,即为结构光场间的实际相移值。再利用获得的实际相移值重新组合三幅记录的原始图像,得到一幅新的重组图像。对重组图像傅里叶变换进频域,在频谱图中的频率p处取辐角计算初相位的值。
基于激光干涉式结构光照明荧光显微成像系统如图2所示:包括激光光源1、设置在激光光源1后的光束扩束准直透镜组(透镜2与透镜3)、设置在光束扩束准直透镜组后的半波片4、设置在半波片4后面的反射式空间光调制器SLM5、设置在反射式空间光调制器SLM5后面的半波片6、设置在半波片6后面的反射镜7、设置在反射镜7后面的透镜8、设置在透镜8后面的空间滤波器9、设置在空间滤波器9后的透镜10、设置在透镜10后面的二向色镜11、设置在二向色镜11后面的显微物镜12与载物台13、设置在荧光光路中的滤波片14、筒镜15及数字相机CCD16。
基于上述流程,下面实施例中以荧光微球作为样品对本发明进一步解释,但本发明并不仅仅限于本实施例。
步骤1记录三幅不同初相位的结构光照明图像:
如图2中基于激光干涉式结构光照明荧光显微成像系统,以457nm的激光经半波片4调制偏振态后照射到加载余弦光栅的反射式空间光调制器SLM5上,反射产生多级衍射光束,通过空间滤波器9滤除±1级以外的衍射光束,经二向色镜反射进入显微物镜相互干渉产生二维结构光照明样品。
将荧光微球样品置于载物台上,经结构光激发照明,荧光微球发光荧光成像,所成图像被数字相机CCD记录为图像1。
通过空间光调制器对结构光完成π/2步长的相移,用CCD记录成像,记为图像2。再次通过空间光调制器对结构光完成π/2步长的相移,通过CCD记录图像,记为图像3。图像1、2、3可用数学式表示为:
式中:r表示空间域的二维坐标;m、p与I0分别为照明余弦结构光的调制度、空间频率及平均光强;是余弦结构光场的初相位。D1(r)、D2(r)、D3(r)依次为采集的图像1、2、3;Sin(r)表示在焦样品信息;Sout(r)表示离焦背景信息;H(r)表示成像系统的点扩散函数;表示卷积运算。考虑受空气扰动、环境震动等原因的影响,实际相移值并非理想的π/2,将其记为
步骤2获取图像间的实际相移值:
在计算机Matlab的编程环境下编码完成后续流程。
对记录的图像1、2、3做傅里叶变换(FFT),获得三幅频谱图像4、5、6:
构造下式计算分离出的频谱分量ψ2(k)与ψ3(k)在空间频率p处的强度差值SD:
SD=|ψ2(p)|-|ψ3(p)| (18)
图3中给出了分离频谱分量ψ2(k)与ψ3(k)强度分布随估计相移值与实际相移值间差值的变化,当估计相移值与实际相移值相等时,两个频谱分量在空间频率p处的强度差值SD最大。
基于图3中频谱分量的特性,迭代寻找实际的相移值将理想相移值π/2、π设为估计相移值的迭代初始点,并将强度差绝对值的负值-|SD|,代入MATLAB自带优化函数fminsearch中,对估计相移值迭代优化,寻找-|SD|的最小值,此时对应的估计相移值与即为实际相移值与
步骤3:提取余弦结构光场初相位:
对重组获得的图像7做傅里叶变换(FFT)得到其频谱图8,并计算频谱图8在空间频率p处的值,可表示为:
下面进行计算机模拟,设理想相移值为π/2、π,实际相移值为1.8rad和3.5rad,初相位图4中(a)(b)(c)(d)分别给出了结构光调制度m为0.01、0.05、0.1、0.2时采用峰值相位法、自相关法、图像重组变换法及本发明方法提取初相位的结果。对比结果可以看出本发明方法与峰值相位法、自相关法相比在低调制度下初相位的提取结果更加接近实际值,并且不受结构光调制度变化的影响,初相位提取结果更加稳定;本发明方法与图像重组变化法相比在结构光间存在相移误差时,仍能准确提取结构光的初相位。
本发明提出一种用于结构光照明显微成像中结构光初相位的提取方法。该方法不受任何前提条件限制,且无需相等且精确的相移,大大降低了对成像系统性能的要求,为结构光照明成像提供了一种更普适、更方便的初相位提取方法。
Claims (2)
1.一种用于结构光照明显微成像中结构光初相位的提取方法,其特征在于:包括以下步骤:
步骤1:记录三幅不同初相位的结构光照明图像:
通过激光照明,经空间光调制器调制在样品面生成余弦结构光场可表示为:
控制空间光调制器改变结构光场的相移值,依次产生3个不同初相位的结构光场;结构光照明样品经显微系统成像,在成像系统的像面由CCD依次记录三幅不同初相位的结构光照明图像1、2、3,图像的表达式为:
式中:D1(r)、D2(r)、D3(r)依次为采集的图像1、2、3;为图像1的初相位,为相移值;Sin(r)表示在焦样品信息;Sout(r)表示离焦背景信息;H(r)表示成像系统的点扩散函数;表示卷积运算;
步骤2:获取图像间的实际相移值:
对采集的三幅图像做傅里叶变换,获得三幅频谱图像4、5、6,频域图像表达式为:
构造下式计算分离出的频谱分量ψ2(k)与ψ3(k)在空间频率p处的强度差值SD:
SD=|ψ2(p)|-|ψ3(p)| (5)
步骤3:提取照明结构光初相位:
对重组获得的图像7做傅里叶变换(FFT)得到其频谱图8,并计算频谱图8在空间频率p处的值,可表示为:
2.根据权利要求1所述一种用于结构光照明显微成像中结构光初相位的提取方法,其特征在于:步骤1中三幅不同初相位的结构光照明图像间无需相等且特殊的相移步长。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636875.0A CN113313696A (zh) | 2021-06-08 | 2021-06-08 | 一种用于结构光照明显微成像中结构光初相位的提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636875.0A CN113313696A (zh) | 2021-06-08 | 2021-06-08 | 一种用于结构光照明显微成像中结构光初相位的提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113313696A true CN113313696A (zh) | 2021-08-27 |
Family
ID=77377680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110636875.0A Pending CN113313696A (zh) | 2021-06-08 | 2021-06-08 | 一种用于结构光照明显微成像中结构光初相位的提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313696A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808009A (zh) * | 2021-09-24 | 2021-12-17 | 熵智科技(深圳)有限公司 | 一种峰值初相位估计方法、装置、计算机设备及存储介质 |
WO2024082607A1 (zh) * | 2022-10-21 | 2024-04-25 | 南京理工大学 | 基于主成分分析的结构光照明显微成像方法 |
-
2021
- 2021-06-08 CN CN202110636875.0A patent/CN113313696A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808009A (zh) * | 2021-09-24 | 2021-12-17 | 熵智科技(深圳)有限公司 | 一种峰值初相位估计方法、装置、计算机设备及存储介质 |
WO2024082607A1 (zh) * | 2022-10-21 | 2024-04-25 | 南京理工大学 | 基于主成分分析的结构光照明显微成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Wide-field, high-resolution lensless on-chip microscopy via near-field blind ptychographic modulation | |
CN108319009B (zh) | 基于结构光调制的快速超分辨成像方法 | |
CN113313696A (zh) | 一种用于结构光照明显微成像中结构光初相位的提取方法 | |
US20100135547A1 (en) | Optical sectioning microscopy | |
CN107180411B (zh) | 一种图像重构方法及系统 | |
CN109712072B (zh) | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 | |
CN111077121A (zh) | 空域中直接重构结构光照明超分辨图像的快速方法及系统 | |
CN111145089A (zh) | 高保真图像重构方法、系统、计算机设备和存储介质 | |
CN105589188A (zh) | 一种结构光照明显微镜的成像方法及装置 | |
CN116183568B (zh) | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 | |
CN109211790B (zh) | 一种基于傅里叶功率谱探测的单像素相位成像方法 | |
CN114092325A (zh) | 一种荧光图像超分辨重建方法、装置、计算机设备及介质 | |
CN111308682A (zh) | 基于结构光照明的超分辨重构方法 | |
Konda et al. | Multi-aperture Fourier ptychographic microscopy, theory and validation | |
CN114967092B (zh) | 基于压缩感知的超高速结构光照明超分辨显微成像装置 | |
Li et al. | Fast quantitative phase imaging based on Kramers-Kronig relations in space domain | |
Konda et al. | Parallelized aperture synthesis using multi-aperture Fourier ptychographic microscopy | |
Xiang et al. | Phase diversity-based Fourier ptychography for varying aberration correction | |
Feng et al. | Enhanced resolution in lensless in-line holographic microscope by data interpolation and iterative reconstruction | |
CN1735842A (zh) | 快速采集融合离轴照明直接数字全息术 | |
Picazo-Bueno et al. | Spatially multiplexed interferometric microscopy: principles and applications to biomedical imaging | |
Shi et al. | Under-sampling reconstruction with total variational optimization for Fourier ptychographic microscopy | |
Yuan et al. | Resolution enhancement of the microscopic imaging by unknown sinusoidal structured illumination with iterative algorithm | |
Wang et al. | One-shot optical sectioning structured illumination microscopy | |
Ayubi et al. | Common-path quantitative phase imaging by propagation through a sinusoidal intensity mask |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |