CN115308185A - 高速无伪影超分辨结构光照明显微成像方法 - Google Patents

高速无伪影超分辨结构光照明显微成像方法 Download PDF

Info

Publication number
CN115308185A
CN115308185A CN202211122046.1A CN202211122046A CN115308185A CN 115308185 A CN115308185 A CN 115308185A CN 202211122046 A CN202211122046 A CN 202211122046A CN 115308185 A CN115308185 A CN 115308185A
Authority
CN
China
Prior art keywords
resolution
illumination
super
artifact
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211122046.1A
Other languages
English (en)
Inventor
汪召军
雷铭
梁言生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202211122046.1A priority Critical patent/CN115308185A/zh
Publication of CN115308185A publication Critical patent/CN115308185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography

Landscapes

  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种高速无伪影超分辨结构光照明显微成像方法,包括:1)产生条纹状照明光场;2)利用条纹状照明光场分别在不同的条纹方向以及不同的相移步数下照明并激发待测样品产生荧光信号;3)采集荧光信号,获得由不同的条纹状照明光场激发的原始荧光图像;4)利用高速无伪影重建算法处理原始荧光图像,获得超分辨图像。本发明可以大幅抑制超分辨结构光照明显微图像中的计算伪影,显著提高超分辨图像的保真度;同时还具备毫秒级别的重建速度,为实时成像提供了极大的便利。该方法可以为实现高保真、实时的超分辨显微成像提供一种有力的手段。

Description

高速无伪影超分辨结构光照明显微成像方法
技术领域
本发明属于光学技术领域,涉及一种结构光照明显微成像方法,尤其涉及一种可广泛应用于生物学、医学、微电子学及材料科学等领域进行研究的高速无伪影超分辨结构光照明显微成像方法。
背景技术
超分辨荧光显微技术能够突破光学系统衍射极限的限制,是光学显微领域的重要研究课题之一。在众多超分辨成像方法中,超分辨结构光照明显微镜(Super-resolutionstructured illumination microscopy,SR-SIM)具有最高的成像速率和最低的激发功率密度(~1W/cm2),可以进行长时间的动态超分辨观测。另外,线性SR-SIM与传统的荧光分子、荧光染料兼容,无需特殊的光开关染料或蛋白,大大扩展了超分辨成像的应用范围。这些优势使得SR-SIM在细胞器、生物大分子及其组装体的动态行为观测中备受青睐。近年来,各种新的技术、设备和算法相继被引入到SR-SIM中,它的时空分辨率、成像深度获得了极大的提升。
然而,SR-SIM在生物医学实验室中的应用仍然十分受限,更难如共聚焦显微镜一般,广泛应用于生物医学、微电子学、材料科学等领域的各个角落。其主要原因主要包括两点:其一,主流的SR-SIM的图像重建算法(流程如图2所示)均基于频率域重建,包含了大量的复杂频域运算后处理,运算耗时通常长达数秒,故无法进行实时的超分辨成像,从而极大地降低了用户的成像效率和用户体验;其二,SR-SIM重建的超分辨图像往往包含了大量的计算伪影,大幅降低了降低精细结构的保真度,从而导致SR-SIM图像无法用于定量荧光分析。这是由于它的合成光学传递函数(Optical transfer function,OTF)与具有双倍分辨率的理想OTF不匹配导致的。
为了解决SR-SIM重建速度慢的问题,Wang等人提出一种基于空频域混合式重建算法(以下称空频域混合式重建算法,JSFR,专利号:ZL202110985056.7),大大简化了重构工作流程(流程如图3所示),将重建速度提升至传统方法的80倍以上。这种方式将传统重建流程中大部分步骤简化为实空间中简单的乘法和求和运算,在不牺牲图像质量的前提下大大缩短了重建算法的执行时间。这种改进的重建方法的意义在于,显微镜使用者能够像使用传统的共聚焦显微镜一样使用SR-SIM,而不用在宽场模式和SR-SIM模式之间来回切换,大大提高了他们的工作效率,故很好地解决了上述第一个问题。然而,这种方法的重建结果本质上与传统的基于频率域的重建算法是完全等价的,它的合成光学传递函数(Opticaltransfer function,OTF)与具有双倍分辨率的理想OTF之间也存在显著差异。更准确的说,它的合成OTF在“中频”区域也存在扭结分布,故也会在图像中产生旁瓣状的计算伪影,从而大幅降低图像的保真度。这使得SR-SIM获得的图像难以应用于定量荧光分析,从而限制了它在各个领域的广泛应用。
发明内容
为了解决背景技术中存在的上述技术问题,本发明提供了一种同时具备高重建速度的、高保真度的、能够在不牺牲重建速度的前提下解决JSFR算法合成OTF与理想OTF不匹配的问题的高速无伪影超分辨结构光照明显微成像方法。
为了实现上述目的,本发明采用如下技术方案:
一种高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述高速无伪影超分辨结构光照明显微成像方法包括以下步骤:
1)产生条纹状照明光场,条纹状照明光场的强度分布表示为:
Figure BDA0003847564800000021
其中:
r为二维实空间的坐标;
d为不同的条纹方向,d=1,2,3;
i为不同的相移步数,i=1,2,3;
Id为条纹状照明光场的平均光强;
md为条纹状照明光场的调制度;
kd为条纹的波矢量;
Figure BDA0003847564800000036
为当前照明光场对应的相位;
2)利用步骤1)得到的条纹状照明光场分别在不同的条纹方向以及不同的相移步数的情况下照明并激发待测样品产生荧光信号;
3)采集荧光信号,获得由不同的条纹状照明光场激发的原始荧光图像;
4)利用高速无伪影超分辨重建方法处理原始荧光图像,获得无伪影的超分辨图像。
上述步骤4)的具体实现方式是:
4.1)计算每幅原始荧光图像对应的权重图像wd,i(r):
根据每个条纹状照明光场的调制度md、条纹照明光场的波矢量kd以及各条纹状照明光场的相位
Figure BDA0003847564800000037
计算出每幅原始荧光图像对应的权重图像wd,i(r);
4.2)计算衰减函数a(k)以及频谱优化函数
Figure BDA0003847564800000031
所述衰减函数a(k)为高斯分布,其中k为频谱空间的坐标;设光学系统的光学传递函数为
Figure BDA0003847564800000032
频谱优化函数
Figure BDA0003847564800000033
由参数微调的两个衰减函数、光学系统的光学传递函数以及步骤4.1)中的光场参数求得;
4.3)对原始荧光图像进行预处理滤波:
通过预处理滤波器
Figure BDA0003847564800000034
分别对步骤3)所采集得到的原始荧光图像进行预处理滤波,得到滤波图像
Figure BDA0003847564800000035
4.4)点乘:
将步骤4.3)得到的滤波图像
Figure BDA0003847564800000041
分别与步骤4.1)计算得到的权重图像wd,i(r)相点乘,并将所有相乘的结果叠加,得到未优化的超分辨图像ISR_woOpt(r);
4.5)进行频谱优化:
利用步骤4.2)中计算得到的频谱优化函数
Figure BDA0003847564800000042
对步骤4.4)中得到的未优化的超分辨图像ISR_woOpt(r)进行频谱优化,并变换至实空间,获得最终的无伪影的超分辨图像ISR(r)。
上述步骤4.1)中原始荧光图像对应的权重图像wd,i(r)的表达式是:
Figure BDA0003847564800000043
其中:
md为条纹状照明光场的调制度;
kd为条纹照明光场的波矢量;
Figure BDA0003847564800000044
为条纹状照明光场的初始相位;
Figure BDA0003847564800000045
为相移量。
上述步骤4.2)中的衰减函数的表达式是:
Figure BDA0003847564800000046
其中:
k为频谱空间的坐标;
aatt为衰减幅度参数,取值范围为从0~1;
kσ为可调的经验参数;
所述步骤4.2)中频谱优化函数
Figure BDA0003847564800000047
是两个频谱优化子函数
Figure BDA0003847564800000048
Figure BDA0003847564800000049
的乘积,即
Figure BDA0003847564800000051
两个频谱优化子函数的表达式分别为:
Figure BDA0003847564800000052
Figure BDA0003847564800000053
其中:
所述
Figure BDA0003847564800000054
为传统宽场光学显微镜的光学传递函数,其表达式是:
Figure BDA0003847564800000055
其中
Figure BDA0003847564800000056
光学系统截止频率kc=2NA/λ;k为频率空间坐标;NA为光学系统的数值孔径;
所述
Figure BDA0003847564800000057
为理想的超分辨系统的光学传递函数,表达式是:
Figure BDA0003847564800000058
所述a1(k)与a2(k)分别为频谱优化子函数中的参数微调的衰减函数,所述a1(k)与a2(k)的表达式分别是:
Figure BDA0003847564800000059
Figure BDA00038475648000000510
所述经验参数aatt和kσ与衰减函数a(k)中的参数保持一致;
所述
Figure BDA00038475648000000511
为切趾函数,其表达式是:切趾函数
Figure BDA00038475648000000512
的表示式为:
Figure BDA00038475648000000513
其中:FWHMApo为切趾函数的半高全宽;
所述w1和w2分别为频谱优化子函数对应的维纳滤波参数,均为经验参数。
上述步骤4.3)中预处理滤波器
Figure BDA0003847564800000061
的具体表达式是:
Figure BDA0003847564800000062
所述w3是预处理滤波器对应的维纳滤波参数,为经验参数;
所述
Figure BDA0003847564800000063
为传统宽场光学显微镜的光学传递函数,*是表示取复共轭;
所述衰减函数a(k)为高斯分布;
所述步骤4.3)中进行滤波的具体实现方式是:对步骤3)所拍摄的原始荧光图像逐一进行预处理滤波,得到滤波图像
Figure BDA0003847564800000064
Figure BDA0003847564800000065
其中:
所述Dd,i(r)是结构光场照明条件下相机拍摄的原始荧光图像;
fft()和ifft()表示分别对括号内的图像进行傅里叶变换和逆傅里叶变换。
上述步骤4.4)中未优化的超分辨图像ISR_woOpt(r)的表达式是:
Figure BDA0003847564800000066
上述步骤4.5)中的最终的无伪影的超分辨图像表示为:
Figure BDA0003847564800000067
上述步骤2)的具体实现方式是:
2.1)设定条纹状照明光场的初始相位
Figure BDA0003847564800000068
2.2)控制条纹状照明光场在待测样品平面内旋转及移动,旋转方向是0°、120°以及240°,每个方向均为三步相移,每一步的移动量为
Figure BDA0003847564800000069
共产生3×3个不同的条纹状照明光场;
2.3)利用步骤2.2)得到的不同的条纹状照明光场进行照明并激发待测样品产生荧光信号。
上述步骤3)的具体实现方式是:面阵数字相机分别采集由步骤2)产生的荧光信号,获得由不同的条纹状照明光场激发的原始荧光图像Dd,i(r),其中:r为二维平面的坐标;d是不同的条纹方向,d=1,2,3;i指不同的相移步数,i=1,2,3。
一种计算机可读存储介质,其特征在于:所述计算机可读存储介质储存有能够运行如前所记载的高速无伪影超分辨结构光照明显微成像方法的计算机程序。
与现有技术相比,本发明的优点为:
为了从根本上解决SR-SIM图像存在计算伪影、重建速度慢的问题,本发明公开了一种高速无伪影超分辨结构光照明显微成像方法(流程如图4所示),在不牺牲JSFR成像速度的前提下,攻克了JSFR算法的合成OTF与理想OTF不匹配的难题。与相比经典的超分辨重建算法,本发明公开的高速无伪影重建算法具有更加简洁的重建步骤,可以在不牺牲任何图像质量的情况下,将重建过程所需的计算量减少二倍以上,并且具有极高的并行性,在GPU加速的加持下,该算法可以将重建速度提升至经典超分辨重建算法的80倍以上。另外,该方法所得的重建结果在分辨率上与经典的频率域重建算法以及空频域混合式重建算法相当,而计算伪影明显少于经典的超分辨重建算法以及空频域混合式重建算法。这种高速、无伪影的重建方法为实现高保真、实时的超分辨显微图像重建提供了一种重要手段。
附图说明
图1为基于空间光调制器SLM调制和激光照明的干涉式条纹SIM超分辨显微系统光路图;
图2为经典的频率域重建算法流程图;
图3为空频域混合式重建算法流程图;
图4为本发明高速无伪影重建算法流程图;
图5为经典的频率域重建算法、空频域混合式重建算法以及本发明高速无伪影重建算法重构的纳米荧光小球超分辨图像效果对比;
其中:
1-激光照明光源;2-偏振光分束器;3-半波片;4-空间光调制器SLM;5-四分之一波片;6-第一透镜;8-第二透镜;9-第三透镜;7-空间滤波器;10-二向色镜;11-反射镜;12-物镜;13-样品及载物台;14-发射滤光片;15-筒透镜;16-面阵数字相机。
具体实施方式
以下结合附图及具体实施例对本发明作进一步的描述。
本发明可直接在主流SIM超分辨显微系统上实施,包括但不限于基于SLM调制和激光照明的干涉式条纹SIM超分辨显微系统、基于DMD调制和LED照明的投影式条纹SIM超分辨显微系统、基于条纹衍射光栅和LED照明的投影式条纹SIM超分辨显微系统等,原则上无需在硬件上做任何更改。下面将以自行搭建的基于空间光调制器调制和激光照明的干涉式条纹照明SIM超分辨显微系统为例,对该方法的具体实施方式进行详细说明。
系统光路示意图如图1所示:包括光束扩束准直后的激光照明光源1、设置在扩束准直激光束后的分束器2、依次设置在偏振光分束器2透射光路上的半波片3和空间光调制器4、设置在偏振光分束器2反射光路上的四分之一波片5以及第一透镜6、设置在第一透镜6后端的空间滤波器7、设置在空间滤波器7后由第二透镜8和第三透镜9组成的望远系统、设置在望远系统后的二向色镜10、设置在二向色镜10透射光路上的反射镜11、显微物镜12和样品及载物台13、设置在二向色镜10反射光路上的发射光滤光片14和筒透镜15、设置在筒镜15后方的科学级CMOS相机16。空间光调制器6为反射式铁电液晶空间光调制器。与主流结构照明显微方法一样,条纹的旋转和相移通过切换空间光调制器上的图案来实现。不同照明条纹下的原始图像被面阵相机采集并传输至PC机。系统涉及的硬件同步控制、图像采集和处理软件均为自行设计开发。
实施例1
本实施例基于空间光调制器SLM调制和激光照明的干涉式条纹照明SIM超分辨显微系统对纳米荧光小球进行了成像,由于纳米荧光小球的分布较为分散,局部区域可以按照无离焦背景进行处理,具体由以下步骤实现:
步骤1、使用图1所示的基于空间光调制器SLM调制和激光照明的干涉式条纹SIM超分辨显微系统,以准直扩束后的488nm波长激光入射偏振分束器2,透过半波片3、垂直照射空间光调制器SLM4并原路返回,在偏振分束器2的反射光路产生垂直线偏振的衍射光束。垂直偏振的衍射光束被四分之一波片5转换为圆偏振光并被透镜6汇聚,汇聚的多级衍射的零级和其他高阶衍射光束被定制的空间滤波器7(如图1所示)阻挡,只有±1级衍射光束能够透过,包含两束光。随后,这两束光被望远系统中继到物镜后瞳,并进入显微物镜12,两束倾斜的圆偏振光在焦面处相互干涉并形成条纹状照明光场,用于照明样品。
该条纹状照明光场的强度可以表示为余弦函数的形式,满足公式(1)的分布:
Figure BDA0003847564800000091
式中r为二维平面的坐标,下标d(=1,2,3)指示不同的条纹方向,下标i(=1,2,3)指示不同的相移步数,Id表示条纹状照明光场的平均光强,md为条纹状照明光场的调制度,kd代表条纹的波矢量,
Figure BDA0003847564800000101
为当前条纹光场对应的相位;
步骤2、将纳米荧光小球样品置于载物台并调整至物镜焦平面,利用条纹状照明光场进行照明,激发被标记的纳米荧光小球发出荧光;荧光被物镜收集后,透过发射光滤光片14、筒透镜15,最后成像于面阵数字相机16的传感器上。
假定光场的初始相位为
Figure BDA0003847564800000102
控制空间光调制器(SLM)通过加载、刷新来旋转、平移条纹状照明图案使得上述条纹状照明光场在样品平面内旋转、移动,一共三个方向(0°,120°,240°),每个方向均为三步相移。通常采用等间隔相移,每一步的移动量为
Figure BDA0003847564800000103
每个方向上三幅照明图案的相移量依次设置为0、2π/3、4π/3,依次用于照明并激发样品产生荧光信号。
步骤3、面阵数字相机16分别采集对应的9幅原始荧光图像,假定物空间和像空间之间的放大比例为1,那么相机拍摄的原始荧光图像可以分别记为:D1,1(r),D1,2(r),D1,3(r)、D2,1(r),D2,2(r),D2,3(r)、
D3,1(r),D3,2(r),D3,3(r);这些原始荧光图像被存储在计算机内存、硬盘或软盘中。
步骤4、利用本发明公开的高速无伪影重建算法对原始荧光图像进行处理,处理结果如图5所示。具体处理方法如下:
首先,根据每个条纹方向上结构光场的调制度md、波矢量kd、初始相位
Figure BDA0003847564800000104
Figure BDA0003847564800000105
以及相移量
Figure BDA0003847564800000106
计算出每幅原始荧光图像对应的权重图像wd,i(r),权重图像通过下式计算:
Figure BDA0003847564800000107
同时,预先计算后面需要用到的衰减函数
Figure BDA0003847564800000111
其中aatt为衰减幅度参数,取值范围为1~0,这里取值为0.99;kσ为可调的经验参数,这里取1.2周期/微米;同时,计算频谱优化子函数中用到的参数微调的两个衰减函数
Figure BDA0003847564800000112
Figure BDA0003847564800000113
其中经验参数aatt和kσ与衰减函数a(k)中的参数保持一致。
假定光学系统的光学传递函数为
Figure BDA0003847564800000114
一般为旋转对称分布,理论上具有多种表示形式,典型地:
Figure BDA0003847564800000115
其中
Figure BDA0003847564800000116
光学系统截止频率kc=2NA/λ。
由此可以计算出理想的超分辨系统的光学传递函数:
Figure BDA0003847564800000117
另外,计算切趾函数
Figure BDA0003847564800000118
其中FWHMApo为切趾函数的半高全宽。
根据上述结果,可以算出频谱优化函数
Figure BDA0003847564800000119
而两个频谱优化子函数
Figure BDA00038475648000001110
的表达式分别为:
Figure BDA00038475648000001111
Figure BDA0003847564800000121
至此,需要预先计算的中间变量全部计算完毕。
然后,用预处理滤波器
Figure BDA0003847564800000122
对步骤2)所拍摄的9幅原始荧光图像分别进行预处理滤波,得到滤波图像
Figure BDA0003847564800000123
其中,预处理滤波器
Figure BDA0003847564800000124
紧接着,将9幅滤波图像分别与上述预先计算好的权重图像wd,i(r)相点乘,并将所有相乘的结果叠加,得到未优化的超分辨图像ISR_woOpt(r);
Figure BDA0003847564800000125
最后,利用未优化的超分辨图像ISR_woOpt(r)和频谱优化函数
Figure BDA0003847564800000126
完成频谱优化运算,获得最终的高保真超分辨图像
Figure BDA0003847564800000127
图5为基于空间光调制器SLM调制和激光照明的干涉式条纹照明SIM超分辨显微系统获得的纳米荧光小球的宽场照明图像和条纹SIM超分辨图像对比图。实验使用100×显微物镜,数值孔径NA为1.49。图5(a)是普通宽场荧光图像,图5(b)是使用经典频率域重建方法获得的超分辨图像,图5(c)是使用空频域混合式重建方法获得的超分辨图像,图5(d)是使用本发明提出的高速无伪影算法获得的超分辨图像。通过对比可以看出,本发明的方法的所得图像的分辨率明显高于普通的宽场图像。另外,经典频率域重建方法和空频域混合式重建方法所重建的图像中,在小球四周会产生六个对称分布的旁瓣伪影,这些旁瓣伪影极容易被误认作真实的小球,而在本发明提出的高速无伪影算法获得的超分辨图像中,这些伪影均得到很好的抑制,图像的可信度大幅提高。与此同时,在GPU的加持下,高速无伪影重建算法的重建速度与基于空频域混合重建的方法的重建速度接近,较经典的频率域重建方法提升了80倍以上(见表1)。
表1不同原始图像尺寸下几种重建算法的执行时间对比
Figure BDA0003847564800000131
本发明还提供一种利用条纹状照明光场进行照明的超分辨成像系统,包括处理器及存储器,存储器中存储计算机程序,计算机程序在处理器中运行时,执行上述步骤4的超分辨图像重构处理方法。
本申请还提供一种计算机可读存储介质,用于存储程序,程序被执行时实现上述超分辨图像重构处理方法。在一些可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。
用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述高速无伪影超分辨结构光照明显微成像方法包括以下步骤:
1)产生条纹状照明光场,条纹状照明光场的强度分布表示为:
Figure FDA0003847564790000011
其中:
r为二维实空间的坐标;
d为不同的条纹方向,d=1,2,3;
i为不同的相移步数,i=1,2,3;
Id为条纹状照明光场的平均光强;
md为条纹状照明光场的调制度;
kd为条纹的波矢量;
Figure FDA0003847564790000012
为当前照明光场对应的相位;
2)利用步骤1)得到的条纹状照明光场分别在不同的条纹方向以及不同的相移步数的情况下照明并激发待测样品产生荧光信号;
3)采集荧光信号,获得由不同的条纹状照明光场激发的原始荧光图像;
4)利用高速无伪影超分辨重建方法处理原始荧光图像,获得无伪影的超分辨图像。
2.根据权利要求1所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4)的具体实现方式是:
4.1)计算每幅原始荧光图像对应的权重图像wd,i(r):
根据每个条纹状照明光场的调制度md、条纹照明光场的波矢量kd以及各条纹状照明光场的相位
Figure FDA0003847564790000013
计算出每幅原始荧光图像对应的权重图像wd,i(r);其中r为二维实空间的坐标;
4.2)计算衰减函数a(k)以及频谱优化函数
Figure FDA0003847564790000021
所述衰减函数a(k)为高斯分布,其中k为频谱空间的坐标;设光学系统的光学传递函数为
Figure FDA0003847564790000022
频谱优化函数
Figure FDA0003847564790000023
由参数微调的两个衰减函数、光学系统的光学传递函数
Figure FDA0003847564790000024
以及步骤4.1)中的光场参数求得;
4.3)对原始荧光图像进行预处理滤波:
通过预处理滤波器
Figure FDA0003847564790000025
分别对步骤3)所采集得到的原始荧光图像进行预处理滤波,得到滤波图像
Figure FDA0003847564790000026
4.4)点乘:
将步骤4.3)得到的滤波图像
Figure FDA0003847564790000027
分别与步骤4.1)计算得到的权重图像wd,i(r)相点乘,并将所有相乘的结果叠加,得到未优化的超分辨图像ISR_woOpt(r);
4.5)进行频谱优化:
利用步骤4.2)中计算得到的频谱优化函数
Figure FDA0003847564790000028
对步骤4.4)中得到的未优化的超分辨图像ISR_woOpt(r)进行频谱优化,并变换至实空间,获得最终的无伪影的超分辨图像ISR(r)。
3.根据权利要求2所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4.1)中原始荧光图像对应的权重图像wd,i(r)的表达式是:
Figure FDA0003847564790000029
其中:
md为条纹状照明光场的调制度;
kd为条纹照明光场的波矢量;
Figure FDA0003847564790000031
为条纹状照明光场的初始相位;
Figure FDA0003847564790000032
为相移量。
4.根据权利要求2所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4.2)中的衰减函数的表达式是:
Figure FDA0003847564790000033
其中:
k为频谱空间的坐标;
aatt为衰减幅度参数,取值范围为从0~1;
kσ为可调的经验参数;
所述步骤4.2)中频谱优化函数
Figure FDA0003847564790000034
是两个频谱优化子函数
Figure FDA0003847564790000035
Figure FDA0003847564790000036
的乘积,即
Figure FDA0003847564790000037
两个频谱优化子函数的表达式分别为:
Figure FDA0003847564790000038
Figure FDA0003847564790000039
其中:
m=-1,0,1表示频谱的阶数;
kd为条纹照明光场的波矢量;
所述
Figure FDA00038475647900000310
为传统宽场光学显微镜的光学传递函数,其表达式是:
Figure FDA00038475647900000311
其中
Figure FDA00038475647900000312
光学系统截止频率kc=2NA/λ;
k为频率空间坐标;
NA为光学系统的数值孔径;
所述
Figure FDA0003847564790000041
为理想的超分辨系统的光学传递函数,表达式是:
Figure FDA0003847564790000042
所述a1(k)与a2(k)分别为频谱优化子函数中的参数微调的衰减函数,所述a1(k)与a2(k)的表达式分别是:
Figure FDA0003847564790000043
Figure FDA0003847564790000044
所述经验参数aatt和kσ与衰减函数a(k)中的参数保持一致;
所述
Figure FDA0003847564790000045
为切趾函数,其表达式是:切趾函数
Figure FDA0003847564790000046
的表示式为:
Figure FDA0003847564790000047
其中:FWHMApo为切趾函数的半高全宽;
所述w1和w2分别为频谱优化子函数对应的维纳滤波参数,均为经验参数。
5.根据权利要求2所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4.3)中预处理滤波器
Figure FDA0003847564790000048
的具体表达式是:
Figure FDA0003847564790000049
所述w3是预处理滤波器对应的维纳滤波参数,为经验参数;
所述
Figure FDA00038475647900000410
为传统宽场光学显微镜的光学传递函数,*是表示取复共轭;
所述衰减函数a(k)为高斯分布;
所述步骤4.3)中进行滤波的具体实现方式是:对步骤3)所拍摄的原始荧光图像逐一进行预处理滤波,得到滤波图像
Figure FDA0003847564790000051
Figure FDA0003847564790000052
其中:
所述Dd,镨(r)是结构光场照明条件下相机拍摄的原始荧光图像;
fft()和ifft()表示分别对括号内的图像进行傅里叶变换和逆傅里叶变换。
6.根据权利要求2所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4.4)中未优化的超分辨图像ISR_woOpt(r)的表达式是:
Figure FDA0003847564790000053
7.根据权利要求2所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤4.5)中的最终的无伪影的超分辨图像表示为:
Figure FDA0003847564790000054
8.根据权利要求1-7任一项所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述
步骤2)的具体实现方式是:
2.1)设定条纹状照明光场的初始相位
Figure FDA0003847564790000055
2.2)控制条纹状照明光场在待测样品平面内旋转及移动,旋转方向是0°、120°以及240°,每个方向均为三步相移,每一步的移动量为
Figure FDA0003847564790000056
共产生3×3个不同的条纹状照明光场;
2.3)利用步骤2.2)得到的不同的条纹状照明光场进行照明并激发待测样品产生荧光信号。
9.根据权利要求8所述的高速无伪影超分辨结构光照明显微成像方法,其特征在于:所述步骤3)的具体实现方式是:面阵数字相机分别采集由步骤2)产生的荧光信号,获得由不同的条纹状照明光场激发的原始荧光图像Dd,i(r),其中:r为二维平面的坐标;d是不同的条纹方向,d=1,2,3;i指不同的相移步数,i=1,2,3。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质储存有能够运行如权利要求1-9任一项所述的高速无伪影超分辨结构光照明显微成像方法的计算机程序。
CN202211122046.1A 2022-09-15 2022-09-15 高速无伪影超分辨结构光照明显微成像方法 Pending CN115308185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211122046.1A CN115308185A (zh) 2022-09-15 2022-09-15 高速无伪影超分辨结构光照明显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211122046.1A CN115308185A (zh) 2022-09-15 2022-09-15 高速无伪影超分辨结构光照明显微成像方法

Publications (1)

Publication Number Publication Date
CN115308185A true CN115308185A (zh) 2022-11-08

Family

ID=83867271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211122046.1A Pending CN115308185A (zh) 2022-09-15 2022-09-15 高速无伪影超分辨结构光照明显微成像方法

Country Status (1)

Country Link
CN (1) CN115308185A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115839936A (zh) * 2022-12-12 2023-03-24 之江实验室 一种基于锁相探测的结构光照明超分辨显微成像重构方法
CN116183568A (zh) * 2023-01-06 2023-05-30 之江实验室 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN116402678A (zh) * 2022-12-19 2023-07-07 中国科学院苏州生物医学工程技术研究所 超分辨结构光照明显微镜的频谱优化直接重建方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115839936A (zh) * 2022-12-12 2023-03-24 之江实验室 一种基于锁相探测的结构光照明超分辨显微成像重构方法
CN115839936B (zh) * 2022-12-12 2023-07-18 之江实验室 一种基于锁相探测的结构光照明超分辨显微成像重构方法
CN116402678A (zh) * 2022-12-19 2023-07-07 中国科学院苏州生物医学工程技术研究所 超分辨结构光照明显微镜的频谱优化直接重建方法
CN116402678B (zh) * 2022-12-19 2023-10-20 中国科学院苏州生物医学工程技术研究所 超分辨结构光照明显微镜的频谱优化直接重建方法
CN116183568A (zh) * 2023-01-06 2023-05-30 之江实验室 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN116183568B (zh) * 2023-01-06 2023-11-28 之江实验室 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置

Similar Documents

Publication Publication Date Title
CN115308185A (zh) 高速无伪影超分辨结构光照明显微成像方法
Latychevskaia et al. Solution to the twin image problem in holography
CN113670878B (zh) 基于空频域混合式重建的超分辨结构光照明显微成像方法
Kim et al. Interference techniques in digital holography
US8472094B2 (en) Volumetric is imaging of a holographic optical traps
Memmolo et al. Numerical manipulation of digital holograms for 3-D imaging and display: an overview
Piestun et al. Synthesis of three-dimensional light fields and applications
CN111077121B (zh) 空域中直接重构结构光照明超分辨图像的快速方法及系统
CN111458318B (zh) 利用正方晶格结构光照明的超分辨成像方法及系统
US20220075175A1 (en) Method for sim microscopy
Wang et al. Zero-order term suppression in off-axis holography based on deep learning method
CN114594588B (zh) 基于光栅投影和slm相移的结构光照明显微装置及方法
Belashov et al. Digital holographic micro-interferometry of nonradiative transitions in biological specimens
JP2015064565A (ja) デジタルホログラフィ装置およびデジタルホログラフィ方法
Hermerschmidt et al. Holographic optical tweezers with real-time hologram calculation using a phase-only modulating LCOS-based SLM at 1064 nm
Schlichthaber et al. Influence of Fresnel diffraction on numerical propagation and correction of tilted image planes in digital holographic microscopy
CN113376993B (zh) 编码孔径相关全息术的虚拟点扩散函数记录方法
Zalevsky et al. Nanophotonics for optical super resolution from an information theoretical perspective: a review
Ďuriš et al. Coherence-encoded synthetic aperture for super-resolution quantitative phase imaging
Toy et al. Dual-mode digital holographic and fluorescence microscopy for the study of morphological changes in cells under simulated microgravity
Lobera et al. Contrast enhancing techniques in digital holographic microscopy
Chang et al. Temporal focusing multiphoton microscopy with optimized parallel multiline scanning for fast biotissue imaging
WO2022014579A1 (ja) 光学収差補正プログラム及び光学波面推定プログラム
CN112596362B (zh) 一种全场超分辨率的数字全息装置及成像方法
Kocsis et al. SSR-PR: Single-shot Super-Resolution Phase Retrieval based two prior calibration tests

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination