CN108061965B - 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 - Google Patents

基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 Download PDF

Info

Publication number
CN108061965B
CN108061965B CN201711237058.8A CN201711237058A CN108061965B CN 108061965 B CN108061965 B CN 108061965B CN 201711237058 A CN201711237058 A CN 201711237058A CN 108061965 B CN108061965 B CN 108061965B
Authority
CN
China
Prior art keywords
total internal
internal reflection
sample
light
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711237058.8A
Other languages
English (en)
Other versions
CN108061965A (zh
Inventor
匡翠方
刘文杰
陈友华
郑程
朱大钊
刘旭
李海峰
刘向东
张克奇
毛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711237058.8A priority Critical patent/CN108061965B/zh
Publication of CN108061965A publication Critical patent/CN108061965A/zh
Application granted granted Critical
Publication of CN108061965B publication Critical patent/CN108061965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Abstract

本发明公开了一种基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置，将照明光束分束为偏振方向一致且发生全反射的两路入射光，产生的倏逝波进行干涉形成全内反射结构光照明样品，收集样品发出的荧光信号得到全内反射结构光照明原始图像，重构出横向超分辨图像；利用单路入射光，在成像样品表面发生全内反射，并逐一改变入射光的入射角和方位角对样品进行扫描，收集样品发出的荧光信号得到变入射角变方位角全内反射结构光照明原始图像；对变入射角变方位角全内反射结构光照明原始图像进行预处理，重构出样品的轴向超分辨图像，并结合横向超分辨图像重构出三维超分辨图像。

Description

基于变角度全内反射结构光照明的三维超分辨显微成像方法 和装置
技术领域
本发明涉及光学超分辨显微成像领域，具体地说，涉及一种基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置。
背景技术
观察和研究亚细胞结构和功能是生物领域很迫切的需求。但是长期以来，受到光学衍射极限的限制，传统的光学显微镜无法分辨200nm横向范围和600nm轴向范围内的物体细节信息，这严重限制了光学显微镜在生命科学、医学和材料科学等领域的发展和应用。
为了解决这一问题，科学家们提出了一系列的超分辨显微成像技术打破了衍射极限，从而实现了对组织结构的纳米级别观察。作为代表性的一种技术，结构光照明显微镜使用两束光在待测样品表面相互干渉产生摩尔条纹，调制样品的空间频率，将通常不可见的高频信息移动到可观测到的低频范围内，相当于将光学传递函数的截止频率提高了两倍，实现了超分辨成像。超分辨荧光显微成像技术的发展大力推动了相关应用领域的发展，将光学显微镜推动到新的高度。但是，普通的二维结构光照明显微镜只是突破了横向衍射极限，并没有对提高轴向分辨率做出贡献。对于生命科学领域的研究来说，实现轴向超分辨以观察轴向纳米结构也是极其重要的一点，因为世界是一个三维世界，如果只能获取其中的二维信息，那么物体的三维信息就会被丢失掉，从而造成对物体结构的片面甚至错误解读。
全内反射荧光显微镜作为一种经典的提高轴向分辨率的技术，通过使用倏逝波照明将激发范围限制在200nm轴向范围内，从而实现了很好的光学层切能力、很高的信噪比和轴向分辨率，很适用于对较薄的生物组织如细胞膜等的观察。然而全内反射荧光显微镜的横向分辨能力仍然衍射受限，同时其轴向分辨能力也待进一步提高。
发明内容
本发明的目的为提供一种基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置，可实现三维超分辨显微成像。
为了实现上述目的，本发明提供的基于变角度全内反射结构光照明的三维超分辨显微成像方法包括：将照明光束分束为偏振方向一致且发生全反射的两路入射光，产生的倏逝波进行干涉形成全内反射结构光照明样品，收集样品发出的荧光信号得到全内反射结构光照明原始图像，重构出横向超分辨图像；
利用单路入射光，在成像样品表面发生全内反射，并逐一改变入射光的入射角和方位角对样品进行扫描，收集样品发出的荧光信号得到变入射角变方位角全内反射结构光照明原始图像；
对变入射角变方位角全内反射结构光照明原始图像进行预处理，重构出样品的轴向超分辨图像，并结合横向超分辨图像重构出三维超分辨图像。
上述技术方案中，使用全内反射照明产生的倏逝波进行干涉形成调制频率更高的全内反射结构光照明图样，以获取样品更高频率的信息。同时在大于全反射角范围内多次改变入射角度，进一步提高了倏逝波照明的层切能力和轴向分辨率。通过两者结合实现三维超分辨显微成像。
具体的方案为全内反射结构光照明原始图像通过至少在三个角度下旋转干涉条纹的方向，并在各方向下至少三次改变干涉条纹的相位得到。
更具体的方案为干涉条纹的旋转通过振镜扫描系统实现，相位改变通过压电陶瓷驱动反射镜实现。
另一个更具体的方案为干涉条纹的旋转角度为0°、60°和120°，在每个方向相位移动为0°、120°和240°。此处为最优的方案，理论上来说，全内反射结构光照明图样的旋转方向和相移角度可以是任意的数值，满足每次旋转方向和相移角度不同即可；另外，也可以增加旋转方向和相移角度的次数，也能实现本发明所要达到的技术效果和解决所提出的技术问题。
样品的横向超分辨图像的重构算法包括如下步骤：
(a)建立全内反射结构光照明图样空间域数学模型
其中，I(r)为全内反射结构光照明图样强度分布，I0为平均照明光强，k0为图样空间频率，r为照明位置，为图样初始相位；
(b)建立第i方向下的三幅全内反射结构光照明原始图像频率域数学模型
其中，D1(k)、D2(k)、D3(k)分别为三次相移角度下得到的三幅全内反射结构光照明原始图像频率分布，和为三次相移角度，S(k)、S(k-k0)和S(k+k0)为样品的频率分布，H(k)为成像系统的光学传递函数；
(c)由第i方向下的三幅全内反射结构光照明原始图像求解出样品的频率分布为
(d)将频谱分离得到的样品的高频分量S(k-k0)和S(k+k0)在频率域相应地平移-k0和+k0；
(e)将平移后的各个频率分量叠加在一起，得到第i方向下样品频谱
其中，Ei(k)为第i方向下的样品频谱，H(k+k0)和H(k-k0)为成像系统的光学传递函数平移分量，D2(k+k0)和D3(k-k0)分别表示第i方向下得到的三幅全内反射结构光照明原始图像频率平移分量；
(f)分别对其他两个方向获取的全内反射结构光照明原始图像重复步骤(a)～(e)，得到对应方向下的样品频谱；
(g)将不同方向下的样品频谱叠加在一起，得到样品的全部频谱
(h)对得到的样品全部频谱E(k)做傅里叶变换得到样品的横向超分辨图像。
另一个具体的方案为变入射角变方位角全内反射照明图像通过改变入射角度20次，获取相应入射角度下的全内反射照明原始图像，同时每张全内反射照明原始图像分别经过10个方位角平均得到。其中改变入射角是为了提高全内反射照明的层切能力，改变方位角是为了消除激光照明产生的散斑对图像的影响，提高图像的强度分布均匀性。此处为最优方案，理论上来说，获取的全内反射照明原始图像的入射角度和方位角度可以是任意数值，但是需要综合考虑成像速度和轴向分辨率以及图像强度分布平均效果之间的关系。
原始图像预处理包括但不限于区域选择以提高重构效率；减背景和提高对比度以方便二值化操作；二值化以进行信息提取；信息提取以进行轴向和三维超分辨重构。
样品的轴向超分辨图像和三维超分辨图像重构方法包括但不限于逆问题求解和曲线拟合。
其中，曲线拟合方法包括但不限于如下步骤：
(a)建立全内反射照明光场分布的数学模型为其中Z为样品的轴向位置，I0(θi)为理论上Z＝0时的照明光场强度，d(θi)为照明光场的穿透深度；
(b)由全内反射照明光场的数学模型可求解出理论上Z＝0时的照明光场强度为
(c)由获取的全内反射照明原始图像以及全内反射照明光场分布的数学模型可计算实际Z＝0时的照明光场强度为其中Iz'(θi)为实际全内反射照明光场分布；
(d)计算全内反射照明原始图像中每个像素点的Z＝0时的理论和实际照明光场分布的均方差，并通过多次循环迭代，直到均方差最小，此时的z值即为对应像素点下的样品轴向位置；
(e)将全内反射照明原始图像中每个像素点对应的样品轴向位置用伪彩色表示，即可得到样品的轴向超分辨图像和三维超分辨图像。
逆问题求解方法包括但不限于如下步骤：
(a)建立多角度全内反射照明光场分布的数学模型为其中Z为样品的轴向位置，Zmax为样品的最大轴向位置，I0(θ)为理论上Z＝0时的照明光场强度，d(θ)为照明光场的穿透深度；
(b)建立成像系统的前向模型为G＝IS，其中G为获取的多角度全内反射照明原始图像矩阵，S为样品的三维分布矩阵；
(c)对目标函数G＝IS进行逆问题求解，求解样品的三维分布矩阵S。逆问题求解可以使用梯度下降法或并行约化算子法等多种方法，需要结合实际情况进行具体分析和灵活选择；
(d)用伪彩色显示S，即可得到样品的轴向超分辨图像和三维超分辨图像。
本发明提供的基于变角度全内反射结构光照明的三维超分辨显微成像装置包括光源，同时，具有设置在光路上的第一分束镜，以及分别位于第一分束镜的透射光和反射光路上的透射路振镜系统和反射路振镜系统；具有设置在透射光和反射光路合束光路上的第二分束器，用于对两束光束进行合束；具有设置在反射光路上的第一反射路反射镜以及用于驱动第一反射镜改变位移的驱动器；具有设置在反射光路或透射光路上的光挡，用于选择性打开/关闭对应的光路；具有用于收集样品发出的荧光信号的探测光路模块；还具有与透射路振镜系统、反射路振镜系统、驱动器以及探测光路模块通讯连接的处理器。
采用光挡实现全内反射结构光照明成像模式和变入射角变方位角全内反射照明成像模式的切换；处理器可控制透射路振镜系统和反射路振镜系统进行扫描改变全内反射结构光照明图样的方向，同时控制反射路振镜系统扫描实现变入射角变方位角全内反射照明；控制反射路中的驱动器进行微位移改变全内反射结构光照明图样的相位；并对相机采集到的信号进行后期数据处理和算法重构，得到二维和三维超分辨图像。
具体的方案为探测光路模块包括：用于收集样品发出的荧光信号的显微物镜；用于透射入射光、反射荧光的二向色镜；用于接收二向色镜反射的荧光信号的工业相机；二向色镜和工业相机之间依次设置有用于滤去杂散光的滤波片和用于将样品发出的荧光信号成像到工业相机上的透镜。
显微物镜为了能使得入射光发生全内反射并最大限度的收集样品发出的荧光信号，宜采用较大数值孔径。。
更具体的方案为第二分束镜和显微物镜之间放置有4f透镜系统，用于转移物像关系，使两路入射光束聚焦在显微物镜后瞳面相对的位置。
另一个具体的方案为驱动器为设置在所述反射路反射镜上的压电陶瓷。
再一个具体的方案为光源为激光器；激光器与第一分束器之间依次设置有用于对激光器发出的激光光束进行滤波的单模光纤以及与第一分束镜配合以分配两路光的光强比例的第一半波片；第一分束镜与透射路振镜系统间设置有用于改变透射光路光束的偏振方向并使其与反射路光束偏振方向一致以进行干涉的第二半波片；第一分束镜与反射路振镜系统间设置有用于切换成像模式的光挡和用于改变全内反射结构光照明图样相位的压电陶瓷；透射光路振镜和第二分束镜之间依次设置有用于改变光束传播方向的第二反射镜和用于聚焦从透射路扫描振镜系统出射的激光束的第一扫描透镜；反射路振镜系统和第二分束镜之间放置有用于聚焦从反射路扫描振镜系统出射的激光束的第二扫描透镜。
两套振镜系统采用透射式或反射式振镜系统，单镜系统或双镜系统等均可。
与现有技术相比，本发明的有益效果为：
本发明的方法和装置操作简单，可以灵活的改变入射角度；通过振镜控制扫描，成像速度快；通过方位角平均，提高了图像的强度分布均匀性；可以实现三维超分辨，特别适用于对荧光标记样品进行快速三维超分辨成像。
附图说明
图1为本发明实施例的三维超分辨显微成像方法流程示意图；
图2为本发明实施例的三维超分辨显微成像装置示意图；
图3为本发明实施例的全内反射结构光照明成像模式示意图；
图4为本发明实施例的变入射角变方位角全内反射照明成像模式示意图；
图5为本发明实施例的变入射角变方位角全内反射照明成像模式下入射角度与倏逝波穿透深度及光强分布关系示意图。
具体实施方式
以下结合实施例及其附图对本发明作进一步说明。
实施例
参见图2，本实施例的三维超分辨显微成像装置包括激光器1以及沿激光器1所发射的光的光路依次设置的单模光纤2、第一凸透镜3、第二凸透镜4、第一半波片5和第一分束镜6。第一分束镜6将光路分为透射光路和反射光路，在透射光路上依次设有第二半波片7、透射路振镜系统8、第二反射镜9和第一扫描透镜10，在反射光路上依次设有光挡12、第一反射镜13、反射路振镜系统15和第二扫描透镜16，第一反射镜13上安装有用于驱动第一反射镜改变反射角度的压电陶瓷14。透射光路和反射光路汇合处设有第二分束镜，用于对两束光束进行合束。合束后的光路依次设有第三凸透镜17、第四凸透镜18以及成像样品20。在成像样品20前设有显微物镜19和二向色镜21，二向色镜21一侧设有滤光片22、汇聚透镜23以及工业相机24。还包括与透射路振镜系统8、反射路振镜系统15、压电陶瓷14以及工业相机24通讯连接的处理器25。
激光器1发出的激光光束经过第一凸透镜3和第二凸透镜4进行准直和扩束。第一凸透镜3和第二凸透镜4的焦点重合。准直光束经过第一半波片5和第一分束镜6分成透射光路和反射光路。第一半波片5与第一分束镜6相互配合以分配两光路的光强比例。
从第一分束镜6透射的光束先经过第二半波片7旋转其偏振方向，使其与反射路光束偏振方向保持一致以进行干涉。经过第二半波片7的光束进入透射路振镜系统8，透射路振镜系统8由两个振镜和两个凸透镜构成，四个光学元件的放置需要与后续光路满足物像对应关系，两个凸透镜焦点重合但焦距不同，可对光束进行缩束。透射路振镜系统8也可采用其它结构，如透射式振镜系统、单镜系统或双镜系统等，一方面用于与反射路振镜系统15配合，实现结构光照明图样的旋转，进行如图3所示的全内反射结构光照明模式成像；另一方面用于控制透射光束扫描和旋转，以改变其入射角和方位角，进行如图4所示变入射角变方位角全内反射模式成像。从透射路振镜系统8出射的光束经过第二反射镜9反射改变其传播方向。被第二反射镜9反射的光束经过第一扫描透镜10聚焦到第二分束镜11上，第一扫描透镜10与后续光路满足物像关系，可以提高透射路振镜系统8大角度扫描光束入射到物镜入瞳面的能力。
在全内反射结构光照明成像模式下，打开反射光路上的光挡12；图5为变入射角变方位角全内反射照明成像模式下入射角度与倏逝波穿透深度及光强分布关系示意图，在变入射角变方位角全内反射成像模式下，关闭反射光路上的光挡12。光挡12也可放置在透射光路。第一反射镜13用于改变反射光路传播方向进入反射路振镜系统15。压电陶瓷14用于控制第一反射镜13产生微位移，以改变全内反射结构光照明图样的相位。反射路振镜系统15采用与透射路振镜系统8完全相同的结构，但亦可采用其他振镜结构，仅用于与透射路振镜系统8配合，实现结构光照明图样的旋转，获取全内反射结构光照明原始图像。从反射路振镜系统15出射的光束经过第二扫描透镜16聚焦到第二分束镜11上，第二扫描透镜16也需与后续光路满足物像关系，提高反射路振镜系统15大角度扫描光束入射到物镜入瞳面的能力。
从第二分束镜11出射的两路光经过第三凸透镜17和第四凸透镜18构成的4f透镜系统实现扩束和物像转移，聚焦到显微物镜19入瞳面相对位置。第三凸透镜17的一侧焦点同时与第一扫描透镜10和第二扫描透镜16的焦点重合，另一侧焦点与第四凸透镜18的一侧焦点重合。第四凸透镜18的另一侧焦点与显微物镜19的入瞳面重合。显微物镜19为大数值孔径物镜，一方面可以使两路入射光在折射率油和成像样品20的分界面相同位置处发生全反射，产生的倏逝波进行干涉形成全内反射结构光照明图样；另一方面可以使透射光路在成像样品20表面发生全内反射，以形成全内反射照明图样。
全内反射结构光照明图样或变角度全内反射照明图样激发成像样品20发出荧光信号，并依次通过显微物镜19、二向色镜21、滤光片22和汇聚透镜23，进入工业相机24。显微物镜用于收集样品发出的荧光信号，二向色镜20用于透射入射光和反射荧光，滤光片22用于滤去成像样品20发出的背景杂散光。汇聚透镜23与用于将物镜收集到的荧光信号聚焦到工业相机24上。工业相机24与成像样品20为物象关系，用于对样品20进行成像。
处理器25一方面控制透射路振镜系统8和反射路振镜系统15同步扫描以改变全内反射结构光照明图样的方向，另一方面控制透射路振镜系统8进行扫描和旋转以改变全内反射照明图样的入射角和方位角；控制压电陶瓷14位移改变全内反射结构光照明图样的相位；控制工业相机24采集样品发出的荧光信号；同时进行后期数据处理和算法重构，得到样品的二维和三维超分辨图像。
参见图1，本实施例的基于变入射角变方位角全内反射结构光照明的三维超分辨显微成像方法，工作流程如下：
1.打开光挡12，切换至全内反射结构光照明成像模式，通过处理器25控制透射路振镜系统8和反射路振镜系统15同步扫描，以及控制压电陶瓷14位移，获取全内反射结构光照明原始图像；
2.通过处理器25对全内反射结构光照明原始图像进行数据处理，重构出横向超分辨图像，其具体步骤如下：
(a)建立全内反射结构光照明图样空间域数学模型
其中，I(r)为全内反射结构光照明图样强度分布，I0为平均照明光强，k0为图样空间频率，r为照明位置，为图样初始相位；
(b)建立第i方向下的三幅全内反射结构光照明原始图像频率域数学模型
其中，D1(k)、D2(k)、D3(k)分别为三次相移角度下得到的三幅全内反射结构光照明原始图像频率分布，和为三次相移角度，S(k)、S(k-k0)和S(k+k0)为样品的频率分布，H(k)为成像系统的光学传递函数；
(c)由第i方向下的三幅全内反射结构光照明原始图像求解出样品的频率分布为
(d)将频谱分离得到的样品的高频分量S(k-k0)和S(k+k0)在频率域相应地平移-k0和+k0；
(e)将平移后的各个频率分量叠加在一起，得到第i方向下样品频谱
其中，Ei(k)为第i方向下的样品频谱，H(k+k0)和H(k-k0)为成像系统的光学传递函数平移分量，D2(k+k0)和D3(k-k0)分别表示第i方向下得到的三幅全内反射结构光照明原始图像频率平移分量；
(f)分别对其他两个方向获取的全内反射结构光照明原始图像重复步骤(a)～(e)，得到对应方向下的样品频谱；
(g)将不同方向下的样品频谱叠加在一起，得到样品的全部频谱
(h)对得到的样品全部频谱E(k)做傅里叶变换得到样品的横向超分辨图像。
3.关闭光挡12，切换至变入射角变方位角全内反射照明成像模式，通过处理器25控制透射路振镜系统8进行方位角扫描和入射角变化，获取相同成像样品区域的多入射角和多方位角全内反射照明原始图像；
4.对变入射角变方位角全内反射结构光照明原始图像预处理，包括但不限于区域选择以提高重构效率；减背景和提高对比度以方便二值化操作；二值化以进行信息提取；信息提取以进行轴向和三维超分辨重构；
5.使用合适的逆问题求解算法或曲线拟合方法重构出样品的轴向超分辨图像和三维超分辨图像；
其中，逆问题求解方法包括但不限于如下步骤：
(a)建立多角度全内反射照明光场分布的数学模型为其中Z为样品的轴向位置，Zmax为样品的最大轴向位置，I0(θ)为理论上Z＝0时的照明光场强度，d(θ)为照明光场的穿透深度；
(b)建立成像系统的前向模型为G＝IS，其中G为获取的多角度全内反射照明原始图像矩阵，S为样品的三维分布矩阵；
(c)对目标函数G＝IS进行逆问题求解，求解样品的三维分布矩阵S。逆问题求解可以使用梯度下降法或并行约化算子法等多种方法，需要结合实际情况进行具体分析和灵活选择；
(d)用伪彩色显示S，即可得到样品的轴向超分辨图像和三维超分辨图像。
曲线拟合方法包括但不限于如下步骤：
(a)建立全内反射照明光场分布的数学模型为其中Z为样品的轴向位置，I0(θi)为理论上Z＝0时的照明光场强度，d(θi)为照明光场的穿透深度；
(b)由全内反射照明光场的数学模型可求解出理论上Z＝0时的照明光场强度为
(c)由获取的全内反射照明原始图像以及全内反射照明光场分布的数学模型可计算实际Z＝0时的照明光场强度为其中Iz'(θi)为实际全内反射照明光场分布；
(d)计算全内反射照明原始图像中每个像素点的Z＝0时的理论和实际照明光场分布的均方差，并通过多次循环迭代，直到均方差最小，此时的Z值即为对应像素点下的样品轴向位置；
(e)将全内反射照明原始图像中每个像素点对应的样品轴向位置用伪彩色表示，即可得到样品的轴向超分辨图像和三维超分辨图像。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于变角度全内反射结构光照明的三维超分辨显微成像方法，其特征为，包括：
将照明光束分束为偏振方向一致且发生全反射的两路入射光，产生的倏逝波进行干涉形成全内反射结构光照明样品，收集样品发出的荧光信号得到全内反射结构光照明原始图像，重构出横向超分辨图像；
利用单路入射光，在成像样品表面发生全内反射，并逐一改变入射光的入射角和方位角对样品进行扫描，收集样品发出的荧光信号得到变入射角变方位角全内反射结构光照明原始图像；
对变入射角变方位角全内反射结构光照明原始图像进行预处理，重构出样品的轴向超分辨图像，并结合所述的横向超分辨图像重构出三维超分辨图像；
所述的全内反射结构光照明原始图像通过至少在三个角度下旋转干涉条纹的方向，并在各方向下至少三次改变干涉条纹的相位得到；
所述的横向超分辨图像的重构算法包括如下步骤：
(a)建立全内反射结构光照明图样空间域数学模型
其中，I(r)为全内反射结构光照明图样强度分布，I0为平均照明光强，k0为图样空间频率，r为照明位置，为图样初始相位；
(b)建立第i方向下的三幅全内反射结构光照明原始图像频率域数学模型
其中，D1(k)、D2(k)、D3(k)分别为三次相移角度下得到的三幅全内反射结构光照明原始图像频率分布，和为三次相移角度，S(k)、S(k-k0)和S(k+k0)为样品的频率分布，H(k)为成像系统的光学传递函数；
(c)由第i方向下的三幅全内反射结构光照明原始图像求解出样品的频率分布为
(d)将频谱分离得到的样品的高频分量S(k-k0)和S(k+k0)在频率域相应地平移-k0和+k0；
(e)将平移后的各个频率分量叠加在一起，得到第i方向下样品频谱
其中，Ei(k)为第i方向下的样品频谱，H(k+k0)和H(k-k0)为成像系统的光学传递函数平移分量，D2(k+k0)和D3(k-k0)分别表示第i方向下得到的三幅全内反射结构光照明原始图像频率平移分量；
(f)分别对其他两个方向获取的全内反射结构光照明原始图像重复步骤(a)～(e)，得到对应方向下的样品频谱；
(g)将不同方向下的样品频谱叠加在一起，得到样品的全部频谱
(h)对得到的样品全部频谱E(k)做傅里叶变换得到样品的横向超分辨图像。
2.根据权利要求1所述的三维超分辨显微成像方法，其特征在于：
所述的干涉条纹的旋转通过振镜扫描系统实现，相位改变通过压电陶瓷驱动反射镜来调节两路入射光光程差实现；
所述的干涉条纹的旋转角度为0°、60°和120°，在每个方向相位移动为0°、120°和240°。
3.根据权利要求1所述的三维超分辨显微成像方法，其特征在于：
所述的变入射角变方位角全内反射照明图像通过改变入射角度20次，获取相应入射角度下的全内反射照明原始图像，同时每张全内反射照明原始图像分别经过10个方位角平均得到；
所述的横向超分辨图像和三维超分辨图像重构方法为曲线拟合或逆问题求解。
4.根据权利要求3所述的三维超分辨显微成像方法，其特征在于，所述的曲线拟合方法包括以下步骤：
(a)建立全内反射照明光场分布的数学模型为其中，Z为样品的轴向位置，I0(θi)为理论上Z＝0时的照明光场强度，d(θi)为照明光场的穿透深度；
(b)由全内反射照明光场的数学模型求解出理论上Z＝0时的照明光场强度为
(c)由获取的全内反射照明原始图像以及全内反射照明光场分布的数学模型计算实际Z＝0时的照明光场强度为其中Iz'(θi)为实际全内反射照明光场分布；
(d)计算全内反射照明原始图像中每个像素点的Z＝0时的理论和实际照明光场分布的均方差，并通过多次循环迭代，直到均方差最小，此时的Z值即为对应像素点下的样品轴向位置；
(e)将全内反射照明原始图像中每个像素点对应的样品轴向位置用伪彩色表示，得到样品的轴向超分辨图像和三维超分辨图像。
5.根据权利要求3所述的三维超分辨显微成像方法，其特征在于，所述的逆问题求解方法包括如下步骤：
(a)建立多角度全内反射照明光场分布的数学模型为其中Z为样品的轴向位置，Zmax为样品的最大轴向位置，I0(θ)为理论上Z＝0时的照明光场强度，d(θ)为照明光场的穿透深度；
(b)建立成像系统的前向模型为G＝IS，其中G为获取的多角度全内反射照明原始图像矩阵，S为样品的三维分布矩阵；
(c)对目标函数G＝IS进行逆问题求解，求解样品的三维分布矩阵S；
(d)用伪彩色显示S，得到样品的轴向超分辨图像和三维超分辨图像。
6.一种基于全内反射结构光照明的三维超分辨显微成像装置，用于实现权利要求1～5中任一权利要求所述的三维超分辨显微成像方法，包括光源，其特征在于：
具有设置在光路上的第一分束镜，以及分别位于第一分束镜的透射光和反射光路上的透射路振镜系统和反射路振镜系统；
具有设置在透射光和反射光路上的第二分束器，用于对两束光束进行合束；
具有设置在反射光路上的第一反射路反射镜以及用于驱动所述第一反射镜改变位移的驱动器；
具有设置在反射光路或透射光路上的光挡，用于选择性打开/关闭对应的光路；
具有用于收集样品发出的荧光信号的探测光路模块；
还具有与所述透射路振镜系统、反射路振镜系统、驱动器以及探测光路模块通讯连接的处理器。
7.根据权利要求6所述的三维超分辨显微成像装置，其特征在于，所述的探测光路模块包括：
显微物镜，用于收集样品发出的荧光信号；
二向色镜，用于透射入射光、反射荧光；
工业相机，用于接收二向色镜反射的荧光信号；
所述二向色镜和工业相机之间依次设置有用于滤去杂散光的滤波片和用于将样品发出的荧光信号成像到工业相机上的透镜；
所述的第二分束镜和显微物镜之间放置有4f透镜系统，用于转移物像关系，使两路入射光束聚焦在显微物镜后瞳面相对的位置。
8.根据权利要求6所述的三维超分辨显微成像装置，其特征在于：
所述的驱动器为设置在所述反射路反射镜上的压电陶瓷；
所述的光源为激光器；
所述激光器与所述第一分束器之间依次设置有用于对激光器发出的激光光束进行滤波的单模光纤以及与第一分束镜配合以分配两路光的光强比例的第一半波片；
所述第一分束镜与所述透射路振镜系统间设置有用于改变透射光路光束的偏振方向并使其与反射路光束偏振方向一致以进行干涉的第二半波片；
所述透射光路振镜和第二分束镜之间依次设置有用于改变光束传播方向的第二反射镜和用于聚焦从透射路扫描振镜系统出射的激光束的第一扫描透镜；
所述反射路振镜系统和第二分束镜之间放置有用于聚焦从反射路扫描振镜系统出射的激光束的第二扫描透镜。
CN201711237058.8A 2017-11-30 2017-11-30 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 Active CN108061965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711237058.8A CN108061965B (zh) 2017-11-30 2017-11-30 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711237058.8A CN108061965B (zh) 2017-11-30 2017-11-30 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置

Publications (2)

Publication Number Publication Date
CN108061965A CN108061965A (zh) 2018-05-22
CN108061965B true CN108061965B (zh) 2019-09-20

Family

ID=62135896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711237058.8A Active CN108061965B (zh) 2017-11-30 2017-11-30 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置

Country Status (1)

Country Link
CN (1) CN108061965B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982456B (zh) * 2018-07-31 2020-08-18 浙江大学 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
JP6907277B2 (ja) * 2018-08-30 2021-07-21 コグネックス・コーポレイション 歪みが低減された物体の３次元再構成を生成するための方法及び装置
CN109712072B (zh) * 2018-12-15 2020-10-30 浙江大学 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法
EP3963380A4 (en) * 2019-05-01 2023-01-25 The University of Melbourne EVANESCENT FIELD RESONANCE IMAGING MICROSCOPY APPARATUS AND METHOD
CN110172399B (zh) * 2019-05-27 2020-03-27 哈尔滨工业大学 一种基于无透镜成像技术的超微量注射检测与控制装置及其方法
CN111239081B (zh) * 2020-01-18 2023-06-23 江苏锐精光电研究院有限公司 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
CN111123495B (zh) * 2020-01-18 2022-04-01 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
CN111399204B (zh) * 2020-02-17 2021-06-15 浙江大学 一种基于后瞳面成像的环状扫描成像系统校正方法
CN111781174A (zh) * 2020-06-11 2020-10-16 浙江大学 基于结构光照明和超临界角成像的三维超分辨显微成像方法和装置
CN111781173A (zh) * 2020-06-11 2020-10-16 浙江大学 基于并行sted和超临界角成像的三维超分辨显微成像方法和装置
CN112285405B (zh) * 2020-09-15 2023-06-20 北京无线电计量测试研究所 一种电光采样探头内部反射抑制方法、装置及计算设备
CN113049550B (zh) * 2021-02-04 2022-05-27 浙江大学 一种基于图像重构算法的纵向层析成像方法和装置
CN115839936B (zh) * 2022-12-12 2023-07-18 之江实验室 一种基于锁相探测的结构光照明超分辨显微成像重构方法
CN116183568B (zh) * 2023-01-06 2023-11-28 之江实验室 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN117055203B (zh) * 2023-10-11 2023-12-08 深圳赛陆医疗科技有限公司 照明系统、成像系统和基因测序仪

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743707B (zh) * 2013-12-24 2017-11-14 浙江大学 可控高速层析相位的显微方法与装置
CN103954598B (zh) * 2014-04-30 2016-08-24 浙江大学 一种基于倏逝波照明的轴向高精度定位方法及装置
CN106226895B (zh) * 2016-08-25 2019-02-26 浙江大学 一种带反馈的旋转全内反射显微方法及装置
CN106950208B (zh) * 2017-03-16 2019-06-18 浙江大学 一种基于全内反射结构光照明的宽场超分辨显微成像方法和装置
CN107014793B (zh) * 2017-04-21 2019-07-30 浙江大学 一种基于双振镜双物镜多模式宽场超分辨显微成像系统

Also Published As

Publication number Publication date
CN108061965A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN108061965B (zh) 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置
CN107167929B (zh) 基于dmd的双模式光学超分辨显微成像装置及方法
CN102540446B (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN106950208B (zh) 一种基于全内反射结构光照明的宽场超分辨显微成像方法和装置
WO2018070451A1 (ja) ディジタルホログラフィック顕微鏡
CN104541193A (zh) 光学显微镜和及其控制方法
CN108982456A (zh) 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
CN103048272A (zh) 基于倏逝场照明的移频超分辨显微成像方法和装置
CN103926225B (zh) 一种基于倏逝波照明的荧光发射微分显微方法及装置
CN103837513B (zh) 一种基于差分的光片照明显微方法和装置
CN107907981A (zh) 一种基于双振镜的三维结构光照明超分辨显微成像装置
CN106296585B (zh) 基于表面波照明的傅里叶域迭代拼接超分辨显微方法及装置
CN101915754A (zh) 一种双路频分复用荧光共焦显微成像系统及实现方法
US10876970B2 (en) Light-sheet microscope with parallelized 3D image acquisition
WO2011047053A2 (en) Holographically illuminated imaging devices
CN105974573A (zh) 一种基于微透镜阵列的光场光谱显微成像方法及系统
CN202133817U (zh) 一种多路频分复用荧光共焦显微成像装置
CN108956561A (zh) 基于扫描振镜的共聚焦与环形全内反射双模式显微镜系统
CN102608748B (zh) 一种同轴光路实现多路频分复用荧光共焦显微成像方法
CN110118726A (zh) 一种并行探测荧光发射差分显微成像的方法和装置
CN106094189A (zh) 多通道荧光显微的复合显微系统
CN104614318A (zh) 一种快速的超分辨显微成像方法和装置
CN202563160U (zh) 一种同轴光路实现多路频分复用荧光共焦显微成像系统
CN105301753B (zh) 一种微纳照明下的多重散射超分辨显微方法与装置
CN113702288B (zh) 一种双模态显微成像系统及其成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant