CN109712072A - 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 - Google Patents
基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 Download PDFInfo
- Publication number
- CN109712072A CN109712072A CN201811537541.2A CN201811537541A CN109712072A CN 109712072 A CN109712072 A CN 109712072A CN 201811537541 A CN201811537541 A CN 201811537541A CN 109712072 A CN109712072 A CN 109712072A
- Authority
- CN
- China
- Prior art keywords
- striped
- illumination
- resolution
- image
- fourier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明公开了一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束,激发出两个相向传播的倏逝波进行干涉产生精细的倏逝波条纹照明荧光样品;在成像像面用探测器接收荧光信号,得到一张混有荧光样品高低频信息的低分辨率图像;多次改变倏逝波照明条纹的空间位移和方向,再次拍摄受条纹强度调制的荧光信号,得到一系列混有荧光样品高低频信息的低分辨率图像作为原始图像;最后将原始图像做傅里叶域迭代更新处理,不断迭代最终重构出一张荧光样品的超分辨图像。本发明可达到约100nm的横向分辨率,可减小背景水平,提高对比度,可校正系统未知像差,可实现活体成像。
Description
技术领域
本发明涉及光学超分辨显微成像领域,具体地说,涉及一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法。
背景技术
荧光显微术由于其具有非侵入的特点在生物研究和临川诊断的应用中具有举足轻重的作用。然而,由于衍射极限的存在,光学显微镜的分辨率通常无法超过200nm。在过去的几十年里,人们发明出许多技术用以突破这一衍射极限,在这些显微术中,结构光照明显微术(SIM)在生物医学成像中是一有力的工具,因为该方法可以提供较高的时间和空间分辨率,可以实现视频率的成像速度。尽管SIM只能实现两倍分辨率的提升,但它所需要的光功率相对于受激发射损耗显微术(STED)来说要小得多,后者为了实现几纳米量级的分辨率往往需要高达吉瓦/平方厘米的光功率。其他的方法比如光活化定位显微术(PALM)和随机光重构显微术(STORM)相比于SIM在视场很大时则要慢得多,它们在重构一张超分辨图像时,需要上千张的原始图像,这使得这种方法很难应用于在活体成像中。由于人们通常需要观察细胞的整个生命活动,SIM由于其快速、低光毒性和光漂白性而成为一种广受欢迎的成像技术。
基于全内反射模式下的SIM,也即TIRF-SIM相比于传统的SIM有更高的分辨率,这是由于所产生的照明条纹在该条件下更加精细。在全内反射(TIR)模式下,从所拍摄的原始图中精确地获取参数,如照明条纹的调制频率和相位,对于分离叠加的信息分量至关重要。到目前为止,研究人员提出了多种算法提高TIRF-SIM从原始数据以优化的条纹相位重构出超分辨图像。
尽管SIM在分辨率和速度方面具有优良的性能,它对于系统像差和信噪比(SNR)很敏感,由于像差或系统误差导致的图像畸变,以及图像在低信噪比时拍摄,将使重构过程产生错误,从而输出劣质的重构结果。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,可实现宽场超分辨显微成像。本发明提出在TIR模式下的条纹照明傅里叶域迭代更新技术,可以实现约100nm的横向分辨率,减小背景噪声水平,以及校正系统未知的光学像差。类似于TIRF-SIM,两个相向传播的倏逝波干涉后产生正弦照明条纹,这种由倏逝波干涉产生的非均匀照明可以将物体更高的频谱信息下调制到系统OTF的带宽范围内,从而实现更高的分辨率。同时,由TIR产生的倏逝波提供了极其薄的一个激发层,因此也提高了探测的对比度,减小了背景噪声水平。在图像重构过程中,针对所拍摄的携带着混频分量信息的低分辨率图像采用傅里叶域迭代拼接更新技术重构一张超分辨图像。条纹照明的傅里叶域迭代更新技术是一种在通过在空间域和傅里叶域之间来回切换迭代的方式依次更新图像的方法,它迭代至解收敛为止,这种迭代方法有助于压制噪声,提高对比度和SNR。相对于SIM来讲,条纹照明的傅里叶域迭代更新技术作为一种优化算法不容易受系统误差影响,它能够在预先未知系统像差的情况下重构出一张高质量的超分辨图。
为了实现上述目的,本发明提供的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,包括以下步骤:
(1)将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束,汇聚到物镜的入瞳面,再经过该物镜后变成两束平行光,在荧光样品的表面激发出两个相向传播的倏逝波进行干涉,产生精细的倏逝波条纹照明荧光样品,荧光样品受到非均匀的照明光场调制后频谱产生平移;由物镜接收荧光样品发出的荧光信号后,在成像像面用探测器接收该荧光信号,得到一张混有荧光样品高低频信息的低分辨率图像;
(2)多次改变倏逝波照明条纹的空间位移和方向,再次拍摄受条纹强度调制的荧光信号,得到一系列混有荧光样品高低频信息的低分辨率图像,作为原始图像;
(3)将原始图像做傅里叶域迭代更新处理,首先提取原始图像中的倏逝波照明条纹,再将照明条纹与荧光样品的初始估计图相乘得到目标图像,用对应该条纹照明拍摄的原始图像的频谱更新目标图像对应的频谱,并对成像系统的OTF进行校正,不断迭代最终重构出一张荧光样品的超分辨图像。
进一步地,所述步骤(1)中采用的物镜为数值孔径NA大于1.33的油浸型物镜,两束平行光束汇聚到该物镜的入射光瞳处,两聚焦点所连直线经过入瞳圆心,两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径,经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品,两束光分别在样品表面产生相向传播的倏逝波,倏逝波干涉形成干涉条纹照明样品。
进一步地,所述步骤(2)产生N张原始图像的步骤如下:
(2.1)每个方向下的照明条纹通过改变其中一光路的光程使条纹每次移动照明条纹周期的三分之一,实现三步移相;
(2.2)依次改变会聚在物镜入瞳处两聚焦光点的位置,从而激发出另一方向相向传播的倏逝波,干涉形成该方向对应的照明条纹,直到在一个π方位角内均匀产生N/3(N/3>5)个方向的照明条纹;
(2.3)每次在改变照明条纹的空间位移或方向时,荧光样品被调制后发出混频信号被探测器接收,形成一张低分辨率图;
N/3个方向的条纹,进行三步相移则共拍摄N张低分辨率图In(n=1,2,3,…,N)(对应N个条纹Pn(n=1,2,3,…,N)),作为后续重构样品超分辨图像算法的原始图。
进一步地,所述步骤(2)中,N取30,即采用10个方向的照明条纹,最终生成30张原始图像。
进一步地,所述步骤(3)中,首先提取原始图像中的倏逝波照明条纹,获得高精度的条纹调制频率和相位,作为后续迭代算法恢复一张高质量的超分辨图的前提,具体包括以下子步骤:
a.建立某个方向照明条纹三步相移照明时的成像模型:
其中,Ij(j=1,2,3)为第j步相移照明时所拍摄的原始图像;Pj(j=1,2,3)是第j步相移时对应的照明条纹,k0是照明条纹的调制频率,r是空间坐标,是条纹的相位,m为调制深度,O代表荧光样品的物函数,H是探测点扩散函数(PSF),*表示卷积;
b.将公式(1)在傅里叶空间下用矩阵形式表达为:
其中,k是傅里叶空间上的坐标,在I和O之上的上标~表示对应的傅里叶变换,表示光学传递函数OTF;
c.对原始图像的傅里叶变换做自相关,求得精确的调制频率k0和调制相位
其中,代表相关操作,上标*代表一个复变量的复共轭,将在傅里叶域k′=±k0处输出峰值,通过获取峰值位置即求得调制频率k0;
当k′=k0时,方程(3)将满足如下表达式:
因此,调制相位通过如下公式求得:
其中,arg(·)表示某个复数变量的幅值;
d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作,从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹Pn(n=1,2,3,…,N)。
进一步地,所述步骤(3)中,提取照明条纹后,进行图像迭代更新,具体包括以下子步骤:
(3.1)将所有原始图像进行叠加作为一张宽场图像,并将其作为荧光样品物函数O的初始估计图;
(3.2)将步骤(3.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新,每一次迭代更新的具体步骤如下:
a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹Pn,获得目标图像Itn=O*Pn;
b.用对应该条纹照明拍摄的原始图像In的傅里叶变换频谱更新目标图像Itn对应的频谱,其更新表达式如下:
其中,为更新的目标函数频谱;
c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数:
其中,为更新的物函数;
d.通过更新光学传递函数(OTF)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正,从而获得像差校正后的样品恢复图像,更新OTF的公式如下:
其中,是更新的OTF,ε是一个正常数,防止分母为零的情况出现;
e.执行步骤a-d直到完成所有原始图像的迭代更新;
(3.3)重复执行步骤(3.2),直到所得到的解收敛,此时输出一张重构的样品超分辨图像。
与现有技术相比,本发明具有以下有益的技术效果:
(1)可达到约100nm的横向分辨率;
(2)可减小背景水平,提高对比度;
(3)可校正系统未知像差;
(4)可实现活体成像。
附图说明
图1为本发明基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法流程图;
图2为本发明实施例的超分辨显微成像装置示意图;
图3为两入射光在物镜入瞳面处的位置示意图,白色圆点位置表示当前某一方向对应的光斑位置,实线圆表示入瞳大小,虚线圆表示光斑所处的区域,其大小小于入瞳但接近于入瞳,以充分利用物镜有效数值孔径;
图4(a)为本发明实施例的全内反射结构光照明成像模式示意图;图4(b)为倏逝波干涉产生的干涉条纹示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
实施例1
如图1所示,本实施例提供的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,包括以下步骤:
(1)将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束,汇聚到物镜的入瞳面,再经过该物镜后变成两束平行光,在荧光样品的表面激发出两个相向传播的倏逝波进行干涉,产生精细的倏逝波条纹照明荧光样品,荧光样品受到非均匀的照明光场调制后频谱产生平移;由物镜接收荧光样品发出的荧光信号后,在成像像面用探测器接收该荧光信号,得到一张混有荧光样品高低频信息的低分辨率图像;
采用的物镜为数值孔径NA大于1.33的油浸型物镜,两束平行光束汇聚到该物镜的入射光瞳处,如图3所示,两聚焦点所连直线经过入瞳圆心,两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径,经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品,如图4(a)所示,两束光分别在样品表面产生相向传播的倏逝波,倏逝波干涉形成干涉条纹照明样品,所形成的某一方向的干涉条纹如图4(b)所示。
(2)多次改变倏逝波照明条纹的空间位移和方向,再次拍摄受条纹强度调制的荧光信号,得到一系列混有荧光样品高低频信息的低分辨率图像,作为原始图像;
产生N张原始图像的步骤如下:
(2.1)每个方向下的照明条纹通过改变其中一光路的光程使条纹每次移动照明条纹周期的三分之一,实现三步移相;
(2.2)依次改变会聚在物镜入瞳处两聚焦光点的位置,从而激发出另一方向相向传播的倏逝波,干涉形成该方向对应的照明条纹,直到在一个π方位角内均匀产生N/3(N/3>5)个方向的照明条纹;
(2.3)每次在改变照明条纹的空间位移或方向时,荧光样品被调制后发出混频信号被探测器接收,形成一张低分辨率图;
N/3个方向的条纹,进行三步相移则共拍摄N张低分辨率图In(n=1,2,3,…,N)(对应N个条纹Pn(n=1,2,3,…,N)),作为后续重构样品超分辨图像算法的原始图;
优选地,N取30,即采用10个方向的照明条纹,最终生成30张原始图像。
(3)将原始图像做傅里叶域迭代更新处理,首先提取原始图像中的倏逝波照明条纹,再将照明条纹与荧光样品的初始估计图相乘得到目标图像,用对应该条纹照明拍摄的原始图像的频谱更新目标图像对应的频谱,并对成像系统的OTF进行校正,不断迭代最终重构出一张荧光样品的超分辨图像;具体如下:
首先提取原始图像中的倏逝波照明条纹,获得高精度的条纹调制频率和相位,作为后续迭代算法恢复一张高质量的超分辨图的前提,具体包括以下子步骤:
a.建立某个方向照明条纹三步相移照明时的成像模型:
其中,Ij(j=1,2,3)为第j步相移照明时所拍摄的原始图像;Pj(j=1,2,3)是第j步相移时对应的照明条纹,k0是照明条纹的调制频率,r是空间坐标,是条纹的相位,m为调制深度,O代表荧光样品的物函数,H是探测点扩散函数(PSF),*表示卷积;
b.将公式(1)在傅里叶空间下用矩阵形式表达为:
其中,k是傅里叶空间上的坐标,在I和O之上的上标~表示对应的傅里叶变换,表示光学传递函数OTF;
c.对原始图像的傅里叶变换做自相关,求得精确的调制频率k0和调制相位
其中,代表相关操作,上标*代表一个复变量的复共轭,将在傅里叶域k′=±k0处输出峰值,通过获取峰值位置即求得调制频率k0;
当k′=k0时,方程(3)将满足如下表达式:
因此,调制相位通过如下公式求得:
其中,arg(·)表示某个复数变量的幅值;
d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作,从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹Pn(n=1,2,3,…,N)。
提取照明条纹后,进行图像迭代更新,具体包括以下子步骤:
(3.1)将所有原始图像进行叠加作为一张宽场图像,并将其作为荧光样品物函数O的初始估计图;
(3.2)将步骤(3.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新,每一次迭代更新的具体步骤如下:
a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹Pn,获得目标图像Itn=O*Pn;
b.用对应该条纹照明拍摄的原始图像In的傅里叶变换频谱更新目标图像Itn对应的频谱,其更新表达式如下:
其中,为更新的目标函数频谱;
c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数:
其中,为更新的物函数;
d.通过更新光学传递函数(OTF)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正,从而获得像差校正后的样品恢复图像,更新OTF的公式如下:
其中,是更新的OTF,ε是一个正常数,防止分母为零的情况出现;
e.执行步骤a-d直到完成所有原始图像的迭代更新;
(3.3)重复执行步骤(3.2),直到所得到的解收敛,此时输出一张重构的样品超分辨图像。
实施例2
如图2给出了一种实现本发明方法的超分辨显微成像装置,但不限于图2所示的装置。
本实施例的基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像装置包括激光器1,保偏单模光纤2,光束准直器3,第一反射镜4,第一二分之一波片5,偏振分束器6,第二反射镜7,第一振镜模块8,第一扫描透镜9,第三反射镜10,压电陶瓷11,第二二分之一波片12,第二振镜模块13,第二扫描透镜14,合束器15,偏振转换器16,第一场镜17,第二场镜18,二向色镜19,显微物镜20,样品21,第三场镜22,EMCCD 23,计算机24。
采用图2所示的装置实现的宽场超分辨显微方法,其过程如下:
1.激光器1发出线偏振激光,耦合到保偏单模光纤2传输后进入光束准直器3中进行准直变成平行光;准直后的平行光经过第一反射镜4转折后经过第一二分之一波片5,然后由偏振分束器6分束成透射的P光光路和反射的S光光路,通过旋转第一二分之一波片5,改变透射光路和反射光路光强,使两路光的光强相等;反射光经过第二反射镜7转折后进入第一振镜模块8,再经过第一扫描透镜9变成会聚光;透射光路经第三反射镜10转折再进入第二二分之一波片12,然后经过第二振镜模块13,再由第二扫描透镜14变成会聚光;旋转第二二分之一波片12,使透射光路的P光变成S光,从而保证两路光的偏振方向一致;透射光和反射光再经过合束器15合束使其主光轴变成一致;合束后的两束光经过偏振转换器16,使两束光从S线偏振光变成切向偏振光,从而使两束光干涉后产生的干涉条纹对比对最好;然后两会聚光再经过第一场镜17和第二场镜18,经过二向色镜19后成像到显微物镜20入瞳面;两会聚光再经过显微物镜20后变成平行光照明样品21;显微物镜20入瞳面处的两个会聚光斑的连线经过入瞳圆心,通过控制第一振镜模块8和第二振镜模块13使两会聚光斑的连线长度接近入瞳直径,以保证由显微物镜20出射的两束光超过全内反射临界角在波片和样品界面产生倏逝波干涉,形成的倏逝波干涉条纹照明样品;通过控制压电陶瓷11改变第三反射镜10的位移,从而改变两路光的光程差,实现干涉条纹的相移或空间位移;通过控制第一振镜模块8和第二振镜模块13,改变两束聚焦光在物镜后焦面的位置,从而改变干涉条纹的方向。
2.荧光样品21受到干涉条纹的调制后发出荧光,混有低频和高频的荧光信号被同一个显微物镜20接收,再经过二向色镜19反射后经过第三场镜22成像到工业相机EMCCD23上;计算机24控制压电陶瓷11的移动、第一振镜模块8和第二振镜13的扫描以及EMCCD23的图像采集以获得原始图像;
3.按如下步骤进行图像处理以恢复一张样品的超分辨图像:
1)提取照明条纹
a.建立某个方向照明条纹三步相移照明时的成像模型:
其中,Ij(j=1,2,3)为第j步相移照明时所拍摄的原始图像;Pj(j=1,2,3)是第j步相移时对应的照明条纹,k0是照明条纹的调制频率,r是空间坐标,是条纹的相位,m为调制深度,O代表荧光样品的物函数,H是探测点扩散函数(PSF),*表示卷积;
b.将公式(1)在傅里叶空间下用矩阵形式表达为:
其中,k是傅里叶空间上的坐标,在I和O之上的上标~表示对应的傅里叶变换,表示光学传递函数OTF;
c.对原始图像的傅里叶变换做自相关,求得精确的调制频率k0和调制相位
其中,代表相关操作,上标*代表一个复变量的复共轭,将在傅里叶域k′=±k0处输出峰值,通过获取峰值位置即求得调制频率k0;
当k′=k0时,方程(3)将满足如下表达式:
因此,调制相位通过如下公式求得:
其中,arg(·)表示某个复数变量的幅值;
d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作,从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹Pn(n=1,2,3,…,N)。
2)图像迭代更新算法
(2.1)将所有原始图像进行叠加作为一张宽场图像,并将其作为荧光样品物函数O的初始估计图;
(2.2)将步骤(2.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新,每一次迭代更新的具体步骤如下:
a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹Pn,获得目标图像Itn=O*Pn;
b.用对应该条纹照明拍摄的原始图像In的傅里叶变换频谱更新目标图像Itn对应的频谱,其更新表达式如下:
其中,为更新的目标函数频谱;
c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数:
其中,为更新的物函数;
d.通过更新光学传递函数(OTF)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正,从而获得像差校正后的样品恢复图像,更新OTF的公式如下:
其中,是更新的OTF,ε是一个正常数,防止分母为零的情况出现;
e.执行步骤a-d直到完成所有原始图像的迭代更新;
(2.3)重复执行步骤(2.2),直到所得到的解收敛,此时输出一张重构的样品超分辨图像。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,包括以下步骤:
(1)将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束,汇聚到物镜的入瞳面,再经过该物镜后变成两束平行光,在荧光样品的表面激发出两个相向传播的倏逝波进行干涉,产生精细的倏逝波条纹照明荧光样品;由物镜接收荧光样品发出的荧光信号后,在成像像面用探测器接收该荧光信号,得到一张混有荧光样品高低频信息的低分辨率图像;
(2)多次改变倏逝波照明条纹的空间位移和方向,再次拍摄受条纹强度调制的荧光信号,得到一系列混有荧光样品高低频信息的低分辨率图像,作为原始图像;
(3)将原始图像做傅里叶域迭代更新处理,首先提取原始图像中的倏逝波照明条纹,再将照明条纹与荧光样品的初始估计图相乘得到目标图像,用对应该条纹照明拍摄的原始图像的频谱更新目标图像对应的频谱,并对成像系统的OTF进行校正,不断迭代最终重构出一张荧光样品的超分辨图像。
2.根据权利要求1所述的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,所述步骤(1)中采用的物镜为数值孔径NA大于1.33的油浸型物镜,两束平行光束汇聚到该物镜的入射光瞳处,两聚焦点所连直线经过入瞳圆心,两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径,经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品,两束光分别在样品表面产生相向传播的倏逝波,倏逝波干涉形成干涉条纹照明样品。
3.根据权利要求1所述的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,所述步骤(2)产生N张原始图像的步骤如下:
(2.1)每个方向下的照明条纹通过改变其中一光路的光程使条纹每次移动照明条纹周期的三分之一,实现三步移相;
(2.2)依次改变会聚在物镜入瞳处两聚焦光点的位置,从而激发出另一方向相向传播的倏逝波,干涉形成该方向对应的照明条纹,直到在一个π方位角内均匀产生N/3个方向的照明条纹;
(2.3)每次在改变照明条纹的空间位移或方向时,荧光样品被调制后发出混频信号被探测器接收,形成一张低分辨率图。
4.根据权利要求3所述的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,所述步骤(2)中,N取30,即采用10个方向的照明条纹,最终生成30张原始图像。
5.根据权利要求1所述的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,所述步骤(3)中,首先提取原始图像中的倏逝波照明条纹,获得高精度的条纹调制频率和相位,作为后续迭代算法恢复一张高质量的超分辨图的前提,具体包括以下子步骤:
a.建立某个方向照明条纹三步相移照明时的成像模型:
其中,Ij(j=1,2,3)为第j步相移照明时所拍摄的原始图像;Pj(j=1,2,3)是第j步相移时对应的照明条纹,k0是照明条纹的调制频率,r是空间坐标,是条纹的相位,m为调制深度,O代表荧光样品的物函数,H是探测点扩散函数(PSF),*表示卷积;
b.将公式(1)在傅里叶空间下用矩阵形式表达为:
其中,k是傅里叶空间上的坐标,在I和O之上的上标~表示对应的傅里叶变换,表示光学传递函数OTF;
c.对原始图像的傅里叶变换做自相关,求得精确的调制频率k0和调制相位
其中,代表相关操作,上标*代表一个复变量的复共轭,将在傅里叶域k′=±k0处输出峰值,通过获取峰值位置即求得调制频率k0;
当k′=k0时,方程(3)将满足如下表达式:
因此,调制相位通过如下公式求得:
其中,arg(·)表示某个复数变量的幅值;
d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作,从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹Pn(n=1,2,3,…,N)。
6.根据权利要求5所述的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法,其特征在于,所述步骤(3)中,提取照明条纹后,进行图像迭代更新,具体包括以下子步骤:
(3.1)将所有原始图像进行叠加作为一张宽场图像,并将其作为荧光样品物函数O的初始估计图;
(3.2)将步骤(3.1)得到的初始估计图依次用所拍得的在不同条纹照明下的低分辨率图进行更新,每一次迭代更新的具体步骤如下:
a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹Pn,获得目标图像Itn=O*Pn;
b.用对应该条纹照明拍摄的原始图像In的傅里叶变换频谱更新目标图像Itn对应的频谱,其更新表达式如下:
其中,为更新的目标函数频谱;
c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数:
其中,为更新的物函数;
d.通过更新光学传递函数(OTF)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正,从而获得像差校正后的样品恢复图像,更新OTF的公式如下:
其中,是更新的OTF,ε是一个正常数,防止分母为零的情况出现;
e.执行步骤a-d直到完成所有原始图像的迭代更新;
(3.3)重复执行步骤(3.2),直到所得到的解收敛,此时输出一张重构的样品超分辨图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537541.2A CN109712072B (zh) | 2018-12-15 | 2018-12-15 | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537541.2A CN109712072B (zh) | 2018-12-15 | 2018-12-15 | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109712072A true CN109712072A (zh) | 2019-05-03 |
CN109712072B CN109712072B (zh) | 2020-10-30 |
Family
ID=66256646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811537541.2A Active CN109712072B (zh) | 2018-12-15 | 2018-12-15 | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109712072B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942423A (zh) * | 2019-10-08 | 2020-03-31 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
CN111917964A (zh) * | 2020-08-21 | 2020-11-10 | 青岛联合创智科技有限公司 | 一种无透镜荧光显微成像装置及其图像重建方法 |
CN113112405A (zh) * | 2021-04-12 | 2021-07-13 | 广州超视计生物科技有限公司 | 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统 |
WO2021227292A1 (zh) * | 2020-05-12 | 2021-11-18 | 北京大学 | 一种直接结构光照明超分辨显微重建方法 |
WO2022120853A1 (zh) * | 2020-12-11 | 2022-06-16 | 深圳华大智造科技股份有限公司 | 超分辨检测系统及超分辨检测方法 |
CN117030674A (zh) * | 2023-10-09 | 2023-11-10 | 中国科学院生物物理研究所 | 结构光照明三维超分辨率成像系统和方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202780229U (zh) * | 2012-05-08 | 2013-03-13 | 山东大学 | 飞秒激光程控式逐点长周期光纤光栅制备装置 |
US20140226165A1 (en) * | 2009-12-14 | 2014-08-14 | Academia Sinica | Height measurement by correlating intensity with position of scanning object along optical axis of a structured illumination microscope |
CN105784653A (zh) * | 2016-03-08 | 2016-07-20 | 浙江大学 | 一种宽场超分辨荧光显微成像装置 |
CN106296585A (zh) * | 2016-08-12 | 2017-01-04 | 浙江大学 | 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置 |
CN107014793A (zh) * | 2017-04-21 | 2017-08-04 | 浙江大学 | 一种基于双振镜双物镜多模式宽场超分辨显微成像系统 |
WO2018015950A1 (en) * | 2016-07-20 | 2018-01-25 | Technion Research & Development Foundation Ltd. | Multi moire structured illumination microscopy with high index materials |
CN108061965A (zh) * | 2017-11-30 | 2018-05-22 | 浙江大学 | 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 |
-
2018
- 2018-12-15 CN CN201811537541.2A patent/CN109712072B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140226165A1 (en) * | 2009-12-14 | 2014-08-14 | Academia Sinica | Height measurement by correlating intensity with position of scanning object along optical axis of a structured illumination microscope |
CN202780229U (zh) * | 2012-05-08 | 2013-03-13 | 山东大学 | 飞秒激光程控式逐点长周期光纤光栅制备装置 |
CN105784653A (zh) * | 2016-03-08 | 2016-07-20 | 浙江大学 | 一种宽场超分辨荧光显微成像装置 |
WO2018015950A1 (en) * | 2016-07-20 | 2018-01-25 | Technion Research & Development Foundation Ltd. | Multi moire structured illumination microscopy with high index materials |
CN106296585A (zh) * | 2016-08-12 | 2017-01-04 | 浙江大学 | 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置 |
CN107014793A (zh) * | 2017-04-21 | 2017-08-04 | 浙江大学 | 一种基于双振镜双物镜多模式宽场超分辨显微成像系统 |
CN108061965A (zh) * | 2017-11-30 | 2018-05-22 | 浙江大学 | 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 |
Non-Patent Citations (2)
Title |
---|
QIULAN LIU 等: "Total internal reflection fluorescence pattern-illuminated Fourier ptychographic microscopy", 《OPTICS AND LASERS IN ENGINEERING》 * |
刘进: "全内反射荧光显微术原理及其应用", 《中国现代教育装备》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942423A (zh) * | 2019-10-08 | 2020-03-31 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
CN110942423B (zh) * | 2019-10-08 | 2023-04-28 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
WO2021227292A1 (zh) * | 2020-05-12 | 2021-11-18 | 北京大学 | 一种直接结构光照明超分辨显微重建方法 |
CN111917964A (zh) * | 2020-08-21 | 2020-11-10 | 青岛联合创智科技有限公司 | 一种无透镜荧光显微成像装置及其图像重建方法 |
WO2022120853A1 (zh) * | 2020-12-11 | 2022-06-16 | 深圳华大智造科技股份有限公司 | 超分辨检测系统及超分辨检测方法 |
CN113112405A (zh) * | 2021-04-12 | 2021-07-13 | 广州超视计生物科技有限公司 | 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统 |
CN113112405B (zh) * | 2021-04-12 | 2022-04-12 | 广州超视计生物科技有限公司 | 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统 |
CN117030674A (zh) * | 2023-10-09 | 2023-11-10 | 中国科学院生物物理研究所 | 结构光照明三维超分辨率成像系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109712072B (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712072A (zh) | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 | |
Chung et al. | Wide-field Fourier ptychographic microscopy using laser illumination source | |
US8019136B2 (en) | Optical sectioning microscopy | |
CN105765690B (zh) | 可变照明傅立叶重叠关联成像设备、系统以及方法 | |
Saxena et al. | Structured illumination microscopy | |
CN107490562B (zh) | 利用波面整形器的超高速三维折射率影像拍摄和荧光结构光照明显微镜系统及其使用方法 | |
CN105784653B (zh) | 一种宽场超分辨荧光显微成像装置 | |
Luo et al. | Synthetic aperture-based on-chip microscopy | |
Gustafsson et al. | I5M: 3D widefield light microscopy with better than 100 nm axial resolution | |
JP6033798B2 (ja) | 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法 | |
CN105929560B (zh) | 一种宽带远场超分辨成像装置 | |
CN108680544A (zh) | 一种结构化照明的光切片荧光显微成像方法和装置 | |
CN106097269B (zh) | 基于计算鬼成像的高分辨率微视觉系统及获取图像的方法 | |
CN106296585B (zh) | 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置 | |
CN103048272A (zh) | 基于倏逝场照明的移频超分辨显微成像方法和装置 | |
CN107966826B (zh) | 一种小型结构光照明超分辨显微成像系统 | |
CN116183568B (zh) | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 | |
US20140133016A1 (en) | Illumination optical system and microscope | |
WO2018015950A1 (en) | Multi moire structured illumination microscopy with high index materials | |
Lanni et al. | Excitation field synthesis as a means for obtaining enhanced axial resolution in fluorescence microscopes | |
CN110579869B (zh) | 一种幅值调制径向偏振照明共焦显微成像方法及装置 | |
CN109870441A (zh) | 基于移频的三维超分辨光切片荧光显微成像方法和装置 | |
CN109238131A (zh) | 一种横向超高分辨的光学相干层析方法和系统 | |
Guo et al. | Enhancing imaging contrast via weighted feedback for iterative multi-image phase retrieval | |
Hoffman et al. | Structured illumination microscopy using random intensity incoherent reflectance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |