CN105589188B - 一种结构光照明显微镜的成像方法及装置 - Google Patents

Abstract

本发明提供一种结构光照明显微镜的成像方法及装置，所述方法包括：按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；将所述原始图像序列中的每张原始图像与其之后的N‑1张原始图像进行图像重构，得到所述待成像样品的超分辨图像。上述方法及装置可得到待成像样品随时间变化的超分辨图像序列，且每两张超分辨图像的时间间隔与拍摄每两张原始图像的时间间隔相等，与现有技术的结构光照明显微镜成像方法相比，本发明的时间分辨率得到了极大的提高。

Description

一种结构光照明显微镜的成像方法及装置

技术领域

本发明涉及光学显微镜技术领域，尤其涉及一种结构光照明显微镜的成像方法及装置。

背景技术

现代的生命科学研究中，显微镜是必不可少的研究工具。然而由于光的衍射，传统的光学显微镜存在分辨率的极限，这个分辨率的极限可以由瑞利判据(Rayleighcriterion)给出：R＝0.61λ/NA，其中λ是光的波长，NA是显微物镜的数值孔径。近年来，出现了各种用于提高光学显微镜分辨率的方法，结构光照明显微镜(Structured IlluminationMicroscope，SIM)就是其中之一。与其他的方法相比，如：随机光学重构显微镜(StochasticOptical Reconstruction Microscopy，STORM)，光激活定位显微镜(Photo ActivatedLocalization Microscopy，PALM)，受激发射损耗显微镜(Stimulated EmissionDepletion Microscopy，STED)，SIM的图像重构过程中所需的原始图像数量最少，合成每帧超分辨图像所需采集数据的时间最短，此外SIM的原始图像采集是宽场成像，成像速度受视场大小影响不大。故SIM是各种超分辨成像方法中最适合观察活细胞或宽视场中快速成像的方法。

现有的结构光照明显微镜的基本结构如图1所示，采用相干或非相干的准直宽光束作为光源1，入射光经过光线调制器件2，被调制后经过由透镜3、二向色分束器8及物镜9组成的成像系统，然后调制出的图案投影在照明样品10上，并在照明样品10所在的平面上形成周期性的光强分布。在使用相干光源的情况下，也可以选择性的加入由透镜4、空间滤波器5及透镜6组成的空间滤波系统，以滤除零级衍射分量，滤波后的光继续通过由二向色分束器8及物镜9组成的成像系统，在照明样品10所在的平面处干涉生成结构光照明图案。被照明的样品的光通过由物镜9、镜筒透镜11组成的显微系统后被探测器13采集。

现有技术中，通过结构光照明显微镜随时间推移生成SIM序列(time-lapse SIM)，其成像过程如下：

在一组结构光照明图案下，每张结构光照明图案都拍摄一张原始图像，对这一组原始图像进行图像重构得到一张SIM超分辨图像。下一张SIM超分辨图像使用下一组结构光照明下的原始图像重构得到。重复上述过程，获得多个SIM超分辨图像，构成SIM超分辨图像的时间序列。

最早的SIM中，用于调制结构光分布的器件为光栅。不同结构光照明图案的调制与切换是通过平移或旋转光栅实现的。由于系统中存在机械运动的部分，其成像速度相对较慢。之后的SIM普遍采用空间光调制器(Spatial Light Modulator，SLM)以及数字微镜器件(Digital Micro-mirror Device，DMD)这两种光电器件调制结构光照明图案。由于SLM和DMD响应速度快，再加上高灵敏度的探测器如电子倍增CCD(EMCCD)、科学级CMOS(sCMOS)能够大幅的缩短曝光时间，这些都为SIM的高速成像提供了有利条件。

若要再进一步提升SIM的成像速度，需要通过增大照明光强缩短曝光时间，从而提高成像的时间分辨率。然而在荧光成像中，照明光强的增强会加速荧光分子的光漂白效应，缩短总体的观察时间，这在活细胞成像中是很不利的，需要折中考虑。故在现有光电器件响应速度和探测器灵敏度的条件下，SIM的时间分辨率很难有大幅的提升。

发明内容

本发明提供一种结构光照明显微镜的成像方法及装置，以解决现有技术中结构光照明显微镜成像的时间分辨率难以进一步提升的技术问题。

为此目的，第一方面，本发明提供一种结构光照明显微镜的成像方法，包括：

按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；

获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；

将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。

可选地，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列，具体包括：

计算所述原始图像序列中每N张原始图像中混叠的各空间频谱分量，得到多个空间频谱分量组，所述N张原始图像由所述原始图像序列中的每张原始图像与其之后的N-1张原始图像组成；

根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，得到空间频率还原的各空间频谱分量；

将每个空间频谱分量组中空间频率还原的各空间频谱分量与空间频率未改变的各空间频谱分量进行加权叠加，得到所述待成像样品的超分辨图像序列。

可选地，所述根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，得到空间频率还原的各空间频谱分量，具体包括：

根据所述预设的N张结构光照明图案的空间频率，确定每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率改变量；

根据所述空间频率改变量，确定各空间频谱分量组中每个空间频率改变量在空间域内对应的指数函数；

在空间域内，将每个空间频谱分量组中空间频率改变的各空间频谱分量与自身的空间频率改变量对应的指数函数相乘，得到空间频率还原的各空间频谱分量。

可选地，所述拍摄待成像样品在每张结构光照明图案下的原始图像，具体包括：

间隔预设时间拍摄待成像样品在每张结构光照明图案下的原始图像。

可选地，在计算所述原始图像序列中N张原始图像中混叠的各空间频谱分量，得到多个空间频谱分量组之后，所述方法还包括：

对每个空间频谱分量组中的各空间频谱分量进行反卷积，得到反卷积后的各空间频谱分量组；

相应地，所述根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，具体包括：

根据所述预设的N张结构光照明图案的空间频率，将每个反卷积后的空间频谱分量组中空间频率改变的各空间频率谱分量的空间频率还原。

可选地，在所述周期性循环预设的N张结构光照明图案之前，所述方法还包括：

采用光线调制器件调制所述结构光照明显微镜的入射光；

对调制后的入射光进行投影，得到所述预设的N张结构光照明图案。

可选地，在所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构之前，所述方法还包括：

对所述待成像样品在每张结构光照明图案下的原始图像进行降噪处理，得到降噪后的原始图像序列；

相应地，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，具体包括：

将所述降噪后的原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构；或

在所述得到所述待成像样品的超分辨图像序列之后，所述方法还包括：

对所述超分辨图像序列中的每张超分辨图像进行降噪，得到降噪后的超分辨图像序列。

可选地，在所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构之前，所述方法还包括：

对所述原始图像序列中的每张原始图像进行图像内插处理，得到像素扩展的各原始图像；

相应地，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，具体包括：

将所述原始图像序列中的每张像素扩展的原始图像与其之后的N-1张像素扩展的原始图像进行图像重构。

可选地，按照预设顺序循环切换预设的N张结构光照明图案之前，所述方法还包括：

获取结构光照明显微镜成像的所述预设的N张结构光照明图案；

所述结构光照明图案由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后投影成像得到；或由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后进行高通空间滤波并投影成像得到。

可选地，所述结构光照明图案包含一个或多个非零空间频率。

第二方面，本发明提供一种结构光照明显微镜的成像装置，其特征在于，包括：

图案切换单元，用于按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；

原始图像获取单元，用于获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；

图像重构单元，用于将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。

由上述技术方案可知，本发明的结构光照明显微镜的成像方法及装置，可得到待成像样品随时间变化的超分辨图像序列，且每两张超分辨图像的时间间隔与拍摄每两张原始图像的时间间隔相等，与现有技术的结构光照明显微镜成像方法相比，本发明的成像方法及装置的时间分辨率得到了极大的提高。

附图说明

图1为现有的结构光照明显微镜的结构示意图；

图2为本发明一实施例提供的结构光照明显微镜的成像方法的流程示意图；

图3为本发明一实施例提供的结构光照明显微镜的成像方法与现有成像方法的对比示意图；

图4为本发明一实施例提供的一个非零空间频率的结构光照明图案光强分布的示意图；

图5为本发明一实施例提供的多个非零空间频率的结构光照明图案光强分布的示意图；

图6为本发明一实施例提供的结构光照明显微镜的成像装置的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图2示出了本发明一实施例提供的结构光照明显微镜的成像方法的流程示意图。如图2所示，本实施例的结构光照明显微镜的成像方法包括步骤S21至S23。

S21、按照预设顺序循环切换预设的N张结构光照明图案。

其中，N为预设常数。

将预设的N张结构光照明图案设为一组，按固定的顺序循环切换这一组结构光照明图案。

举例来说，假如N＝5，则一组结构光照明图案中包括5张结构光照明图案，分别为ab c d e。结构光照明图案的循环切换就在上述a b cd e中进行，第一组的5张结构光照明图案的顺序可任意设定，但要求每个结构光照明图案都包括在内，即第一组的结构光照明图案的顺序可以为a b c d e、d a c e b、e c a b d等。如果第一组的结构光照明图案的顺序为e d c b a，那么接下来的结构光照明图案的顺序都与第一组的结构光照明图案的顺序相同，即在用户观察过程中，结构光照明图案的切换顺序为e d c b a e d c b a e dc b a……

S22、获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列。

每张结构光照明图案照明待成像样品时，都拍摄一张待成像样品的原始图像，在用户需要的观察时间内，得到待成像样品的原始图像序列。

举例来说，结构光照明图案的顺序为e d c b a e d c b a e d c b a……那么得到的待成像样品的原始图像序列应为E D C B A E D C B A E D C B A……

上述待成像样品的原始图像，按照拍摄的时间顺序组成原始图像序列。

S23、将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。

拍摄得到的待成像样品的原始图像序列中的第一幅原始图像与其之后的N-1幅原始图像，经过图像重构得到一张SIM超分辨图像。之后的每一幅原始图像，都与其之后的N-1幅原始图像经过图像重构得到一张SIM超分辨图像。所有的SIM超分辨图像按时间排列组成超分辨图像序列。

举例来说，当N＝5时，待成像样品的第一张原始图像E与之后的4张原始图像D C BA重构得到第一张SIM超分辨图像。然后，第二张原始图像D与其之后的4张原始图像组成一组，进行重构得到第二张SIM超分辨图像。即，原始图像E D C B A重构得到第一张SIM超分辨图像S(1)，原始图像D C B A E重构得到第二张SIM超分辨图像S(2)，原始图像C B A E D重构得到第三张SIM超分辨图像S(3)……重构得到的SIM超分辨图像按顺序排列成超分辨时间序列S(1)S(2)S(3)S(4)……

可以理解的是，对原始图像的重构过程可以是在拍摄完待成像样品的原始图像序列之后进行，也可与拍摄待成像样品的原始图像同时进行。

可以理解的是，本实施例的结构光照明显微镜的成像方法，不仅能用于结构光照明显微镜SIM中，也能用于以下技术：非线性结构光照明显微镜NL-SIM、全内反射荧光结构光照明显微镜TIRF-SIM、三维超分辨成像的结构光照明显微镜3D-SIM、光片显微镜与结构光照明显微镜的结合Lattice-lightsheet-SIM。此外，在其他SIM衍生出的显微镜技术中都适用。

本实施例的结构光照明显微镜的成像方法，可得到待成像样品随时间变化的超分辨图像序列，时间分辨率得到了极大的提高。

在本发明一个优选的实施例中，步骤S23具体包括图2中未示出的子步骤S231至S233。

S231、计算所述原始图像序列中每N张原始图像中混叠的各空间频谱分量，得到多个空间频谱分量组。

其中，所述N张原始图像由所述原始图像序列中的每张原始图像与其之后的N-1张原始图像组成。

每N张原始图像可计算得到一组空间频谱分量，如上一实施例所述，原始图像序列中可得到多个N张原始图像，因此，可得到多个空间频谱分量组。

每个空间频谱分量组中包含一些空间频率发生改变的空间频谱分量，也包含一些频率未改变的空间频谱分量。

S232、根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，得到空间频率还原的各空间频谱分量。

根据预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原到其本来的空间频率处，以正确的再现待成像样品。

S233、将每个空间频谱分量组中空间频率还原的各空间频谱分量与空间频率未改变的各空间频谱分量进行加权叠加，得到所述待成像样品的超分辨图像序列。

本实施例的结构光照明显微镜的成像方法，可以准确的得到待成像样品的超分辨图像序列，获取更精细的待测样品的变化过程，提高了结构光照明显微镜SIM的时间分辨率。

在本发明一个优选的实施例中，步骤S232具体包括图2中未示出的子步骤S2321至S2323：

S2321、根据所述预设的N张结构光照明图案的空间频率，确定每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率改变量。

在将空间频率改变的空间频谱分量的空间频率还原之前，要先确定空间频谱分量的空间频率改变量。

根据预设的N张结构光照明图案的空间频率，确定各空间频率改变量。

S2322、根据所述空间频率改变量，确定各空间频谱分量组中每个空间频率改变量在空间域内对应的指数函数。

不同的空间频率改变量对应不同的指数函数，根据空间频率改变量确定每个空间频谱分量对应的指数函数，才能正确的还原各空间频率改变的空间频谱分量。

S2323、在空间域内，将每个空间频谱分量组中空间频率改变的各空间频谱分量与自身的空间频率改变量对应的指数函数相乘，得到空间频率还原的各空间频谱分量。

将每个空间频谱分量组中空间频率改变的各空间频谱分量与自身的空间频率改变量对应的指数函数相乘，能够实现频率改变的空间频谱分量的空间频率的还原。

本实施例的结构光照明显微镜的成像方法，通过对各空间频谱分量的空间频率的还原，能够准确地得到各原始图像对应的超分辨图像。

在本发明一个优选的实施例中，步骤S22具体包括图2中未示出的以下步骤：

间隔预设时间拍摄待成像样品在每张结构光照明图案下的原始图像。

为尽可能保证重构结果在时间轴上是均匀的采样过程，重构每张超分辨图像所用的一组原始图像中，连续拍摄的两张原始图像的时间间隔，应基本一致。

可以理解的是上述时间间隔，为两张原始图像积分开始的时刻的间隔。

连续拍摄的两张原始图像的时间间隔相等时，可最大程度的接近待成像样品的真实情况，提高重构得到的超分辨图像的精确度。

如果连续拍摄的两张原始图像的时间间隔平均值为t，则其时间间隔最小要大于等于0.5t，其时间间隔最大要小于等于2t。

与现有的结构光照明显微镜的成像方法相比，本实施例的具体成像过程如图3所示。

拍摄得到的待成像样品的原始图像序列包括：原始图像1、原始图像2……原始图像n。

现有的结构光照明显微镜的成像方法，采用1-5张原始图像作为一组，6-10张原始图像作为另一组，每一组原始图像进行重构得到一张SIM超分辨图像。连续重构得到的每两张SIM超分辨图像之间的时间间隔是5t。

而本实施例的结构光照明显微镜的成像方法，采用1-5张原始图像作为一组，2-6张原始图像作为另一组，3-7张原始图像作为下一组，每一组原始图像进行重构得到一张SIM超分辨图像。连续重构得到的每两张SIM超分辨图像之间的时间间隔是t。与拍摄原始图像的时间间隔相等。

本实施例的结构光照明显微镜的成像方法，可有效缩短结构光照明显微镜的超分辨成像时间间隔，有效的提高了结构光照明显微镜成像的时间分辨率。

在本发明一个优选的实施例中，在步骤S231之后，上述方法还包括图2中未示出的以下步骤：

对每个空间频谱分量组中的各空间频谱分量进行反卷积，得到反卷积后的各空间频谱分量组。

为提升带成像样品的原始图像的对比度，可以在对原始图像进行图像重构之前、或是在图像重构的过程中加入反卷积的处理，补偿由成像过程中空间频率域内的高频信息衰减造成的原始图像对比度的下降。

SIM成像方法中常用的反卷积处理是维纳滤波：F(f)/(OTF+c)，即将待成像样品的原始图像的空间频谱分量F(f)与光学传递函数OTF与常数c之和作商。其中光学传递函数OTF可以通过理论计算得到，可以通过实际测量得到，也可以使用相关反卷积软件迭代计算获得。其中c为一个经验常数，根据实际滤波效果可以调整。

迭代反卷积、盲解卷积等反卷积算法都可以应用于SIM成像方法。

相应地，步骤S232具体包括：

根据所述预设的N张结构光照明图案的空间频率，将每个反卷积后的空间频谱分量组中空间频率改变的各空间频率谱分量的空间频率还原。

本实施例的结构光照明显微镜的成像方法，可有效提高待成像样品的对比度。

在本发明一个优选的实施例中，在步骤S23之前，上述方法还包括图2中未示出的以下步骤：

对所述待成像样品在每张结构光照明图案下的原始图像进行降噪处理，得到降噪后的原始图像序列。

对原始图像进行降噪处理，可有效的提高原始图像的信噪比。

相应地，步骤S23具体包括：

将所述降噪后的原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构。

或在步骤S23之后，上述方法还包括：

对所述超分辨图像序列中的每张超分辨图像进行降噪，得到降噪后的超分辨图像序列。

本实施例的结构光照明显微镜的成像方法，通过对原始图像或重构得到的超分辨图像进行降噪，从而有效提高原始图像或超分辨图像的信噪比。

在本发明一个优选的实施例中，在步骤S23之前，上述方法还包括图2中未示出的以下步骤：

对所述原始图像序列中的每张原始图像进行图像内插处理，得到像素扩展的各原始图像。

有的时候图像的像素代表的实际尺寸过大，不足以表示超分辨重构之后的结果，因此采用图像内插处理。

本实施例的图像内插，是指采用插值法或其他类似的算法，扩展表示整幅图像所用的像素数，例如将N×N像素的图像插值得到(2N-1)×(2N-1)像素的图像。

相应地，步骤S13具体包括：

将所述原始图像序列中的每张像素扩展的原始图像与其之后的N-1张像素扩展的原始图像进行图像重构。

本实施例的结构光照明显微镜的成像方法，经过图像内插的处理，可以使得相邻像素所表示的实际尺寸更小，这样能够表现精细的重构结果。

在本发明一个优选的实施例中，在步骤S21之前，上述方法还包括图2中未示出的步骤S20：

S20、获取结构光照明显微镜成像的所述预设的N张结构光照明图案。

其中，所述结构光照明图案由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后投影成像得到；或由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后进行高通空间滤波并投影成像得到。

本实施例中，可采用空间光调制器SLM、数字微镜器件DMD和光栅中的任意一种器件，调制入射光的空间分布，通过直接投影成像或高通空间滤波处理之后再成像的方式得到预设的结构光照明图案。

本实施例的结构光照明显微镜的成像方法，可通过多种方式获得结构光照明图案，提高了此成像方法的普适性。

在本发明一个优选的实施例中，所述结构光照明图案在所述待成像样品所在的平面内，光强成周期性分布。

每张结构光照明图案可以含有一个或多个非零空间频率，其中单一非零空间频率的结构光照明图案通常为一系列平行的正弦曲线，具体如图4所示。多个非零空间频率的结构光照明图案通常为不同方向正弦条纹叠加或相乘的结果，具体如图5所示。

可以理解的是，在待成像样品的实际加载的结构光照明图案，其空间频谱中，每个空间频率处是有一定宽度的窄峰。

在本发明一个优选的实施例中，采用图1所示的结构光照明显微镜为例来说，光纤耦合输出激光器、准直器与扩束器组成光源模块1，得到准直的宽光束，并将其作为入射光。入射光按实际需求入射到光线调制器件2的表面，经光线调制器件2调制后得到结构光照明图案。透过光线调制器件2的出射光经过透镜3在二向色分束镜处8发生反射，并通过物镜9照明待成像样品10。

本实施例中，采用DMD作为入射光的调制器件。

本实施例中，透镜3的像方焦面与物镜9的后焦面重合，透镜3的物方焦面与DMD所在的平面重合，待成像样品10置于物镜前焦面上，DMD与待成像样品10所在的平面是共轭的，DMD上加载的图像可以经过投影成像在待成像样品10上，实现结构光的照明。

本实施例中，待成像样品10的成像光路为现有的显微镜光路，在此不赘述。

本实施例中，为保证成像速度，采用EMCCD作为探测器13。使用计算机同时控制DMD加载图像的切换以及EMCCD的探测，并实现后续的超分辨图像重构。

在本实施例的实施过程中，根据具体照明光强以及待成像样品的运动速度等信息选取EMCCD的拍摄积分时间以及拍摄间隔时间。

使用五张图4或图5所示的二维结构光照明图案，每拍摄一张图像，在x和y方向平移DMD加载的图像，以改变结构光的相位，各结构光照明图案在x和y方向的相位分别为(0，0)，(π/5，π/5)，(2π/5，2π/5)，(3π/5，3π/5)，(4π/5，4π/5)。

由于DMD切换时间在毫秒以下，其所消耗的时间可以忽略。成像的主要耗时为EMCCD拍摄的积分时间和原始图像之间拍摄的时间间隔。设每张原始图像积分的时间为20ms，积分结束以后，间隔10ms，切换DMD加载图案(结构光照明图案)，开始采集下一张原始图像。经计算可知，采用现有的成像方法，每隔150ms，即每采集五张原始图像，才可获得一张SIM图像，而样品在这150ms内的运动过程是无法获知的。

采用本实施例的成像方法，每隔30ms，即每采集一张原始图像都可以进行一次图像重构，获得一张SIM超分辨图像，可以获取更短时间内待测样品的运动信息。

因此，本实施例的结构光照明显微镜的成像方法，与现有的成像方法相比，获得SIM图像的时间间隔明显缩短，显著提升了SIM成像的时间分辨率。

图6示出了本发明一实施例提供的结构光照明显微镜的成像装置的结构示意图。如图6所示，本实施例的结构光照明显微镜的成像装置包括：图案切换单元601、原始图像获取单元602和图像重构单元603。

图案切换单元601，用于按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；

原始图像获取单元602，用于获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；

图像重构单元603，用于将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。

本实施例的结构光照明显微镜的成像装置，能够有效提高结构光照明显微镜的超分辨图像的时间分辨率。

本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (10)

1.一种结构光照明显微镜的成像方法，其特征在于，包括：

按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；

获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；

将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列，具体包括：

计算所述原始图像序列中每N张原始图像中混叠的各空间频谱分量，得到多个空间频谱分量组，所述N张原始图像由所述原始图像序列中的每张原始图像与其之后的N-1张原始图像组成；

根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，得到空间频率还原的各空间频谱分量；

将每个空间频谱分量组中空间频率还原的各空间频谱分量与空间频率未改变的各空间频谱分量进行加权叠加，得到所述待成像样品的超分辨图像序列。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，得到空间频率还原的各空间频谱分量，具体包括：

根据所述预设的N张结构光照明图案的空间频率，确定每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率改变量；

根据所述空间频率改变量，确定各空间频谱分量组中每个空间频率改变量在空间域内对应的指数函数；

在空间域内，将每个空间频谱分量组中空间频率改变的各空间频谱分量与自身的空间频率改变量对应的指数函数相乘，得到空间频率还原的各空间频谱分量。

4.根据权利要求1所述的方法，其特征在于，所述获取待成像样品在每张结构光照明图案下的原始图像，具体包括：

间隔预设时间拍摄待成像样品在每张结构光照明图案下的原始图像。

5.根据权利要求2所述的方法，其特征在于，在计算所述原始图像序列中每N张原始图像中混叠的各空间频谱分量，得到多个空间频谱分量组之后，所述方法还包括：

对每个空间频谱分量组中的各空间频谱分量进行反卷积，得到反卷积后的各空间频谱分量组；

相应地，所述根据所述预设的N张结构光照明图案的空间频率，将每个空间频谱分量组中空间频率改变的各空间频谱分量的空间频率还原，具体包括：

根据所述预设的N张结构光照明图案的空间频率，将每个反卷积后的空间频谱分量组中空间频率改变的各空间频率谱分量的空间频率还原。

6.根据权利要求1所述的方法，其特征在于，在所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构之前，所述方法还包括：

对所述待成像样品在每张结构光照明图案下的原始图像进行降噪处理，得到降噪后的原始图像序列；

相应地，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，具体包括：

将所述降噪后的原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构；或

在所述得到所述待成像样品的超分辨图像序列之后，所述方法还包括：

对所述超分辨图像序列中的每张超分辨图像进行降噪，得到降噪后的超分辨图像序列。

7.根据权利要求1所述的方法，其特征在于，在所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构之前，所述方法还包括：

对所述原始图像序列中的每张原始图像进行图像内插处理，得到像素扩展的各原始图像；

相应地，所述将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，具体包括：

将所述每张像素扩展的原始图像与其之后的N-1张像素扩展的原始图像进行图像重构。

8.根据权利要求1所述的方法，其特征在于，按照预设顺序循环切换预设的N张结构光照明图案之前，所述方法还包括：

获取结构光照明显微镜成像的所述预设的N张结构光照明图案；

所述结构光照明图案由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后投影成像得到；或由所述结构光照明显微镜的照明光路中设置的光线调制器件对入射光进行调制后进行高通空间滤波并投影成像得到。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述结构光照明图案包含一个或多个非零空间频率。

10.一种结构光照明显微镜的成像装置，其特征在于，包括：

图案切换单元，用于按照预设顺序循环切换预设的N张结构光照明图案，N为预设常数；

原始图像获取单元，用于获取待成像样品在每张结构光照明图案下的原始图像，得到所述待成像样品的原始图像序列；

图像重构单元，用于将所述原始图像序列中的每张原始图像与其之后的N-1张原始图像进行图像重构，得到所述待成像样品的超分辨图像序列。