CN107202780A - 一种基于散斑照明的超分辨显微方法和装置 - Google Patents

一种基于散斑照明的超分辨显微方法和装置 Download PDF

Info

Publication number
CN107202780A
CN107202780A CN201710300108.6A CN201710300108A CN107202780A CN 107202780 A CN107202780 A CN 107202780A CN 201710300108 A CN201710300108 A CN 201710300108A CN 107202780 A CN107202780 A CN 107202780A
Authority
CN
China
Prior art keywords
image
sample
illumination
resolution
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710300108.6A
Other languages
English (en)
Other versions
CN107202780B (zh
Inventor
匡翠方
杨婷婷
曹睿智
刘旭
李海峰
张克奇
毛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710300108.6A priority Critical patent/CN107202780B/zh
Publication of CN107202780A publication Critical patent/CN107202780A/zh
Application granted granted Critical
Publication of CN107202780B publication Critical patent/CN107202780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy

Abstract

本发明公开一种基于散斑照明的超分辨显微方法，包括：对激光光束进行调制，聚焦到待测样品上形成散斑照明图样，并收集所述待测样品发出的荧光，得到荧光强度图像；改变所述的散斑照明图样，得到不同散斑照明图样下的多幅荧光强度图像；将所有的荧光强度图像相加得到的图像作为宽场图，并对所述的宽场图进行反卷积得到样品的初始估计；根据得到的初始估计，使用梯度下降算法计算初始的照明图像；利用FP算法，在获得的物体图像和初始的照明图像的基础上算出更高分辨率的样品图像；以算出的样品图像作为样品的估计值，重复上述的迭代，直至迭代完成，即可得到超分辨图像。本发明还公开一种基于散斑照明的超分辨显微装置。

Description

一种基于散斑照明的超分辨显微方法和装置
技术领域
本发明属于光学超分辨显微领域，特别涉及一种基于散斑照明的超分辨显微方法和装置。
背景技术
随着科技的发展，人们对微观世界的需求日益增加，尤其是生命科学和材料科学。为了满足对纳米尺度物质信息的探索，许多学者都在致力于提高分辨率的研究。目前已经实现的超分辨技术有：结构光照明显微技术(structured illumination microscopy,SIM)，受激发射减损显微技术(stimulated emission depletion,STED)，随机光学重构显微技术(stochastic optical reconstruction microscopy,STORM)，光激活定位显微技术(photoactivated localization microscopy,PALM)等。
上述超分辨成像技术中，STORM和PALM的成像速度有限，极大地限制了分子动力学、细胞内环境等基础生物学研究工作的开展；STED需要很强的光源，容易漂白荧光分子；而SIM适用于各种荧光标记的样品，且有较好的时间分辨率，无需很强的光源。这些特点使SIM在实时观测样品的生命活动上具有非常大的优势。
根据照明图样的不同，SIM可以分为线性-SIM、非线性-SIM、盲-SIM。其中，盲-SIM由于其对像差引起的照明变形的不敏感性，所以对实验器材的像差校正要求低，而且不需要对照明图案的形状进行精准的控制，大大简化了实验设置。
而原始的盲-SIM的算法在实验过程中往往不能够使得分辨率提高到我们满意的程度，所以之后又有基于盲-SIM的优化算法。目前，基于盲-SIM的优化算法有PE-SIMS-PR，但是这种基于协方差的盲-SIM算法在复原一个灰度图像时，最终结果会使得强度较弱的荧光信号被丢失，从而损伤最终的图像的信息。
同样的，散班照明的FP(pattern-illuminated Fourier ptychography,piFP)算法也不需要对于照明图案进行精确的控制，但是这种方法需要知道照明图案移动的精确位置，也给这个算法的实现带来了一定的困难。
发明内容
本发明提供了一种基于散斑照明的超分辨显微方法和装置。该种方法结合了散斑照明、图样估计和FP算法，来复原一个超分辨图像。在随机散斑照明图样下，获取物体图像，并且通过一个新算法估计照明图样。基于获得的物体图像和估计出的照明图样，使用FP算法复原出高分辨率图像。此方法不需要提前知道照明图样的具体信息，只要照明图样满足所有图样求和均匀即可，对样品或像差引起的照明变形的不敏感，对装置的要求大大降低，特别适合生命科学研究中的超分辨成像。
一种基于散斑照明的超分辨显微方法，包括步骤：
1)对激光光束进行调制，聚焦到待测样品上形成散斑照明图样，并收集所述待测样品发出的荧光，得到荧光强度图像；
2)改变所述的散斑照明图样，得到不同散斑照明图样下的多幅荧光强度图像；
3)将所有的荧光强度图像相加得到的图像作为宽场图，并对所述的宽场图进行反卷积得到样品的初始估计；
4)根据得到的初始估计，使用梯度下降算法算初始的照明图像；
5)利用FP算法，在获得的物体图像和初始的照明图像的基础上算出更高分辨率的样品图像；
6)以步骤5)中算出的样品图像作为样品的估计值，重复上述的步骤4)和步骤5)，直至迭代完成，即可得到超分辨图像。
在步骤1)和步骤2)中，利用数字微镜器件调制激光光束。
在步骤6)中，当最近两次迭代产生的照明图像之间的均方差达到预设值时，则结束迭代。或者当最近两次迭代产生的样品图像之间的均方差达到预设值时，则结束迭代。
作为优选的，步骤2)不同的散斑照明图样相加得到的图像的强度分布是均匀的。
本发明还提供一种基于散斑照明的超分辨显微装置，包括沿激光光束光路依次布置的激光器、数字微镜器件、照明光路上的场镜和显微物镜组成的4f系统和放置待测样品的样品台，以及用于采集所述待测样品发出荧光的荧光强度图像的探测器；
由计算机控制所述数字微镜器件调制激光光束，聚焦到待测样品上形成不同的散斑照明图样；
并在所述的计算机内，对不同散斑照明图样对应的多幅荧光强度图像进行处理得到超分辨图像。
优选的，聚焦到待测样品的不同散斑照明图样相加得到的图像的强度分布是均匀的。
其中，所述计算机内的处理过程如下：
将所有的荧光强度图像相加得到的图像作为宽场图，并对所述的宽场图进行反卷积得到样品的初始估计；
根据得到的初始估计，使用梯度下降算法算初始的照明图像；
利用FP算法，在获得的物体图像和初始的照明图像的基础上算出更高分辨率的样品图像；
以高分辨率的样品图像作为样品的估计值，重复梯度下降算法和FP算法的迭代过程，直至迭代完成，即可得到超分辨图像。
优选的，当最近两次迭代产生的照明图像之间的均方差达到预设值时，则结束迭代。或者当最近两次迭代产生的样品图像之间的均方差达到预设值时，则结束迭代。
本发明中的照明图样满足求和后强度均匀分布，所有样品图像信息反映为每变换一次照明图样，得到的样品图像信息。
本发明的工作原理如下：
对在随机照明图样下拍到的图像进行处理：由于成像过程中照明图样不是均匀分布的，所以拍到的图像其实是照明图样强度分布乘以样品荧光分布，再卷积系统的点扩散函数得到的。由于所有照明图样求和后强度分布是均匀的，所以可以将图像求和得到的图作为样品的初始估计图。对样品的初始估计图进行反卷积，可以提高图像的对比度。
使用梯度下降算法得到照明图样，通过该照明图样得到分辨率更高的样品图像，重复该过程，直至迭代完成，即可获得高分辨率的样品图像。在本发明中，迭代完成的判断依据是最近两次迭代产生的照明图像的均方差达到预设值，对样品图像也是同理。
与现有技术相比，本发明具有以下创新点：
(1)首次提出了结合了piFP和盲-SIM的复原算法；
(2)可以不需要控制照明散斑的形状；
(3)相比原始的piFP，本发明所述的算法不需要知道散斑扫描的具体位置；
(4)装置简单，操作方便。
附图说明
图1为本发明的图像重构程序的流程图；
图2为本发明图像处理的原理示意图；
图3为本发明中成像装置的结构示意图。
具体实施方式
下面结合实例和附图来详细说明本发明，但本发明并不仅限于此。
如图3所示，一种基于散斑照明的超分辨显微装置，包括：激光器1，单模光纤2，准直透镜3，第一反射镜4，数字微镜器件(DMD)5，第一场镜6，二色镜7，第二反射镜8，显微物镜9，样品台10，滤光片11，第二场镜12，CCD探测器13，主控计算机14。
其中，从激光器1发出的激光光束，单模光纤2、准直透镜3、第一反射镜4、数字微镜器件(DMD)5、第一场镜6、二色镜7、第二反射镜8、显微物镜9和样品台10依次设置在激光光束光路的光轴上。准直透镜3对激光光束进行准直，数字微镜器件(DMD)5用于改变照明图样，二色镜7用于反射激发光和透射样品的荧光，显微物镜9用于聚焦激发光和收集样品发射的荧光，样品台10用于放置固定样品和调焦。其中，第一场镜6和显微物镜9组成了一个4f系统，使数字微镜器件(DMD)5与显微物镜9的后焦面共轭。
滤光片11，第二场镜12，CCD探测器13依次设置在二色镜7的透射光路上。其中，显微物镜9和第二场镜12组成另一个4f系统，使显微物镜9的后焦面和第二场镜12的后焦面共轭。
主控计算机14同时数字微镜器件(DMD)5和CCD探测器13。
采用图3所示的装置实现基于散斑照明的超分辨显微方法，流程图和图像处理的原理示意图分别如图1和图2所示，其工作过程如下：
1.利用图3系统记录在不同照明图样下的样品信息的过程：
从激光器1发出的激光光束(本实施例采用波长为647nm的红光作为激发光)，经过单模光纤2耦合和准直透镜3准直，得到准直光束；准直光束经过第一反射镜4反射到数字微镜器件(DMD)5，使光源照明图样得到调制；调制后的照明图样依次经过第一场镜6、二色镜7、第二反射镜8，最后经过显微物镜9聚焦到荧光标记的待测样品10上；
待测样品经过激光激发发射荧光，经显微物镜9收集，经过第二反射镜8，再经二色镜7透射，最后通过滤光片11和第二场镜12，聚焦到CCD探测器13上，CCD探测器13将获取的图片传至主控计算机14；主控计算机14通过依次数字微镜器件(DMD)5和CCD探测器13，获得在不同照明图样下的样品图像。
2.对记录的样品图像进行处理：
将所有样品图像相加得到的图像作为宽场图，将得到的宽场图进行反卷积得到样品的初始估计；使用梯度下降算法算出照明图样；使用FP算法，通过照明图样算出更高分辨率的样品图像；将获得的样品图像作为样品的估计值，重复上述步骤，直至迭代完成，即可得到超分辨图像。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于散斑照明的超分辨显微方法，其特征在于，包括步骤：
1)对激光光束进行调制，聚焦到待测样品上形成散斑照明图样，并收集所述待测样品发出的荧光，得到荧光强度图像；
2)改变所述的散斑照明图样，得到不同散斑照明图样下的多幅荧光强度图像；
3)将所有的荧光强度图像相加得到的图像作为宽场图，并对所述的宽场图进行反卷积得到样品的初始估计；
4)根据得到的初始估计，使用梯度下降算法算初始的照明图像；
5)利用FP算法，在获得的物体图像和初始的照明图像的基础上算出更高分辨率的样品图像；
6)以步骤5)中算出的样品图像作为样品的估计值，重复上述的步骤4)和步骤5)，直至迭代完成，即可得到超分辨图像。
2.如权利要求1所述的超分辨显微方法，其特征在于，在步骤1)和步骤2)中，利用数字微镜器件调制激光光束。
3.如权利要求1所述的超分辨显微方法，其特征在于，在步骤6)中，当最近两次迭代产生的照明图像之间的均方差达到预设值时，则结束迭代。
4.如权利要求1所述的超分辨显微方法，其特征在于，在步骤6)中，当最近两次迭代产生的样品图像之间的均方差达到预设值时，则结束迭代。
5.如权利要求1-4任一项所述的超分辨显微方法，其特征在于，步骤2)不同的散斑照明图样相加得到的图像的强度分布是均匀的。
6.一种基于散斑照明的超分辨显微装置，包括沿激光光束光路依次布置的激光器、数字微镜器件、照明光路上的场镜和显微物镜组成的4f系统和放置待测样品的样品台，以及用于采集所述待测样品发出荧光的荧光强度图像的探测器；其特征在于：
由计算机控制所述数字微镜器件调制激光光束，聚焦到待测样品上形成不同的散斑照明图样；
并在所述的计算机内，对不同散斑照明图样对应的多幅荧光强度图像进行处理得到超分辨图像。
7.如权利要求6所述的超分辨显微装置，其特征在于，聚焦到待测样品的不同散斑照明图样相加得到的图像的强度分布是均匀的。
8.如权利要求6所述的超分辨显微装置，其特征在于，所述计算机内的处理过程如下：
将所有的荧光强度图像相加得到的图像作为宽场图，并对所述的宽场图进行反卷积得到样品的初始估计；
根据得到的初始估计，使用梯度下降算法算初始的照明图像；
利用FP算法，在获得的物体图像和初始的照明图像的基础上算出更高分辨率的样品图像；
以高分辨率的样品图像作为样品的估计值，重复梯度下降算法和FP算法的迭代过程，直至迭代完成，即可得到超分辨图像。
9.如权利要求8所述的超分辨显微装置，其特征在于，当最近两次迭代产生的照明图像之间的均方差达到预设值时，则结束迭代。
10.如权利要求8所述的超分辨显微装置，其特征在于，当最近两次迭代产生的样品图像之间的均方差达到预设值时，则结束迭代。
CN201710300108.6A 2017-04-28 2017-04-28 一种基于散斑照明的超分辨显微方法和装置 Active CN107202780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710300108.6A CN107202780B (zh) 2017-04-28 2017-04-28 一种基于散斑照明的超分辨显微方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710300108.6A CN107202780B (zh) 2017-04-28 2017-04-28 一种基于散斑照明的超分辨显微方法和装置

Publications (2)

Publication Number Publication Date
CN107202780A true CN107202780A (zh) 2017-09-26
CN107202780B CN107202780B (zh) 2020-01-14

Family

ID=59905159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710300108.6A Active CN107202780B (zh) 2017-04-28 2017-04-28 一种基于散斑照明的超分辨显微方法和装置

Country Status (1)

Country Link
CN (1) CN107202780B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123496A (zh) * 2020-01-19 2020-05-08 西安交通大学 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN111886491A (zh) * 2018-03-27 2020-11-03 顶峰光学有限公司 散射辅助超定位显微术方法及相关装置
CN112075925A (zh) * 2020-09-21 2020-12-15 北京脑科学与类脑研究中心 基于散斑原理的荧光成像照明装置、成像系统及成像方法
WO2021052063A1 (en) * 2019-09-19 2021-03-25 The Hong Kong University Of Science And Technology Slide-free histological imaging method and system
WO2021067515A1 (en) * 2019-09-30 2021-04-08 The Regents Of The University Of Colorado, A Body Corporate Systems and methods for imaging and characterizing objects including the eye using non-uniform or speckle illumination patterns
CN113658056A (zh) * 2021-07-14 2021-11-16 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303302A (zh) * 2007-05-11 2008-11-12 深圳大学 用动态散斑照明实现准共焦荧光显微的方法及装置
CN102540446A (zh) * 2011-12-28 2012-07-04 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN103091297A (zh) * 2013-01-30 2013-05-08 浙江大学 一种基于随机荧光漂白的超分辨显微方法和装置
CN105300307A (zh) * 2015-11-20 2016-02-03 北京理工大学 二维散斑数字相关技术的光学镜面变形测量装置和方法
CN105466895A (zh) * 2015-11-19 2016-04-06 浙江大学 一种基于虚拟波矢调制的荧光超分辨显微装置及方法
CN106092891A (zh) * 2016-08-11 2016-11-09 广东工业大学 一种共焦三维光谱显微成像方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303302A (zh) * 2007-05-11 2008-11-12 深圳大学 用动态散斑照明实现准共焦荧光显微的方法及装置
CN102540446A (zh) * 2011-12-28 2012-07-04 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN103091297A (zh) * 2013-01-30 2013-05-08 浙江大学 一种基于随机荧光漂白的超分辨显微方法和装置
CN105466895A (zh) * 2015-11-19 2016-04-06 浙江大学 一种基于虚拟波矢调制的荧光超分辨显微装置及方法
CN105300307A (zh) * 2015-11-20 2016-02-03 北京理工大学 二维散斑数字相关技术的光学镜面变形测量装置和方法
CN106092891A (zh) * 2016-08-11 2016-11-09 广东工业大学 一种共焦三维光谱显微成像方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI HAO YEH ET AL.: ""Structured illumination microscopy with unknown patterns and a statistical prior"", 《BIOMEDICAL OPTICS EXPRESS》 *
SIYUAN DONG ET AL.: "High-resolution fluorescence imaging via pattern-illuminated Fourier ptchography", 《OPTICS EXPRESS》 *
林浩铭 等: "散斑照明宽场荧光层析显微成像技术研究", 《物理学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111886491A (zh) * 2018-03-27 2020-11-03 顶峰光学有限公司 散射辅助超定位显微术方法及相关装置
CN111886491B (zh) * 2018-03-27 2023-03-31 生命科学突破性技术进步有限责任公司 散射辅助超定位显微术方法及相关装置
WO2021052063A1 (en) * 2019-09-19 2021-03-25 The Hong Kong University Of Science And Technology Slide-free histological imaging method and system
WO2021067515A1 (en) * 2019-09-30 2021-04-08 The Regents Of The University Of Colorado, A Body Corporate Systems and methods for imaging and characterizing objects including the eye using non-uniform or speckle illumination patterns
CN111123496A (zh) * 2020-01-19 2020-05-08 西安交通大学 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN111123496B (zh) * 2020-01-19 2020-11-06 西安交通大学 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN112075925A (zh) * 2020-09-21 2020-12-15 北京脑科学与类脑研究中心 基于散斑原理的荧光成像照明装置、成像系统及成像方法
CN113658056A (zh) * 2021-07-14 2021-11-16 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法
CN113658056B (zh) * 2021-07-14 2024-04-26 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法

Also Published As

Publication number Publication date
CN107202780B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN107202780A (zh) 一种基于散斑照明的超分辨显微方法和装置
US8019136B2 (en) Optical sectioning microscopy
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US10352860B2 (en) Super resolution microscopy
US9810896B2 (en) Microscope device and microscope system
US8817088B2 (en) Sample observation device for generating super resolution image
JP3066874B2 (ja) 顕微鏡撮像装置および方法
US7105795B2 (en) Imaging system, methodology, and applications employing reciprocal space optical design
US7385168B2 (en) Imaging system, methodology, and applications employing reciprocal space optical design
JP5999121B2 (ja) 共焦点光スキャナ
CN106770095A (zh) 一种基于非线性光斑调制的超分辨显微成像方法和装置
JP2016526185A5 (zh)
JP2016530567A (ja) 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
CN107850765B (zh) 光束成形和光层显微技术的方法和组合件
US10394009B2 (en) Polarisation microscope
CN105929560A (zh) 一种宽带远场超分辨成像装置
TWI414818B (zh) 使用空間光調變器的超解析率廣視野光切片顯微鏡
JP2016133668A (ja) パターン投影装置、パターン投影方法、及び、位相変調量設定方法
JP2016212154A (ja) 走査型顕微鏡システム
JP2017053918A (ja) シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム
US20220057329A1 (en) Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample
JP2011133580A (ja) ホログラム像投影方法およびホログラム像投影装置
US9729800B2 (en) Image generation system
CN110220875B (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
CN110208294A (zh) 基于柯勒照明的单像素显微成像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant