CN106770147A - 一种结构光照明超分辨显微成像系统及其成像方法 - Google Patents

Abstract

本发明公开了一种结构光照明超分辨显微成像系统及其成像方法。本发明的成像系统包括：照明光源、旋转结构光生成器、第一会聚透镜、分光镜、物镜、载物台、样品、第二会聚透镜、数字成像设备和计算机；本发明通过成像图像重建算法处理原始图像，只需要旋转4次结构光条纹，不需要相位平移即可实现超分辨；成像图像重建算法基于频域处理而非空间域处理；样品的超分辨图像的频谱的过程，与传统频域方法不同，并非逐个结构光方向进行解析，而是将所有方向合并进行解析；为获得传统的各向均一的2倍分辨率提升，理论上原始图像数量可以从传统方法的9幅减少至4幅；进一步减少原始图像数量至3幅，理论上可获得各向均一的1.5倍左右的分辨率提升。

Description

一种结构光照明超分辨显微成像系统及其成像方法

技术领域

本发明涉及光学显微成像技术，具体涉及一种结构光照明超分辨显微成像系统及其成像方法。

背景技术

超分辨光学显微技术利用对荧光发射在空间或时间上的调制，实现了突破光学衍射极限的显微成像。结构光照明超分辨显微成像技术(Structure IlluminationMicroscopy,SIM)，是在宽场荧光显微的基础上，利用特殊调制的结构光照明样品，运用特定算法从调制图像中提取高频信息，突破衍射极限的限制。

二维SIM的常规重建方法需要至少9张原始图像。该重建方法由Gustafsson提出^[1]，在每一个照明方向取3个不同的初相位值，获得3幅原始图像，通过解线性方程组得到频域中的高频成分；为保证在各个方向上分辨率均得到2倍提升，通常照明条纹需选取3个不同方向，也就是说总共需要9张原始图像。另外Heintzmann和Cremer提出了一种四相位重构方法，计算量小，但在每一方向的照明条纹需要获取4幅原始图像，且对照明条纹的初相位取值精度的要求较高，因而并不常用^[2]。有一些新方法可以将重建所需的图像数量降低，最低可至到4张^[3,4]，但这些方法基于空间域的迭代，而非传统方法中的频域求解，既有可能产生更多的伪像，也未能提供迭代一定收敛的理论解释。并且这些降低所需图像数量的方法，对结构光位相的精度要求更高。而从系统搭建的角度看，利用光栅来产生照明条纹时，需用机械的方式来控制光栅平移，造成速度和精度的牺牲。

发明内容

针对以上现有技术中存在的问题，本发明提出了一种结构光照明超分辨显微成像方法及配套成像系统；本发明的成像方法能有效降低需要的原始图像数量，且能只需旋转照明条纹，不需平移。

本发明的一个目的在于提出一种结构光照明超分辨显微成像系统。

本发明的结构光照明超分辨显微成像系统包括：照明光源、旋转结构光生成器、第一会聚透镜、分光镜、物镜、载物台、样品、第二会聚透镜、数字成像设备和计算机；其中，数字成像设备通过数据线连接至计算机；照明光源发出激发光；激发光经旋转结构光生成器发生衍射；衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光；荧光经物镜聚焦后，经二向色镜后，再经第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机；计算机形成原始图像；旋转样品上的结构光条纹至新的角度，在每一个角度上分别采集形成一幅原始图像，形成4幅以上或3幅的原始图像；通过成像图像重建算法处理原始图像，得到样品的超分辨图像。

旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器。如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度；如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。

照明光源采用激光光源、LED光源或汞灯光源。

分光镜采用二向色镜或半透半反镜。

本发明的另一个目的在于提供一种结构光照明超分辨显微成像方法。

为获得传统的各向均一的2倍分辨率提升，理论上原始图像数量可以从传统方法的9幅减少至4幅；进一步减少原始图像数量至3幅，理论上可获得各向均一的1.5倍左右的分辨率提升。

本发明的结构光照明超分辨显微成像方法，原始图像不少于4幅，包括以下步骤：

1)激发光经旋转结构光生成器发生衍射，衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光，荧光经物镜聚焦后，经二向色镜后，由第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机，计算机形成原始图像；

2)旋转样品上的结构光条纹至新的角度，重复步骤1)，在每个角度采集形成一幅原始图像，直至在M个不同的角度下形成M幅原始图像，M≥4；

3)将每一幅原始图像进行离散傅里叶变换，获得各幅原始图像的频谱Dn，其中Dn为第n张原始图像的频谱，n＝1,2,……,M，M≥4；

4)计算每幅原始图像对应的结构光条纹的方向和相位，根据结构光条纹的方向和相位计算得到结构光条纹的频谱In，其中In为第n个结构光条纹的频谱；

5)样品的超分辨图像的频谱S，结构光照明超分辨显微成像系统的光学传递函数(OTF)H，结构光条纹的频谱In和原始图像的频谱Dn满足下式：

其中为卷积，·为点乘；从上式得到，各幅原始图像的频谱Dn在各个像素上的值，均是超分辨图像的频谱S的多个像素的值的线性组合，其系数由In和H决定；故将上述公式改写为下述线性方程组：

d＝Ms

其中，向量d是所有原始图像的频谱的各个像素的值，一维向量s是样品的超分辨图像的频谱的各个像素的值，M是构造得到的稀疏卷积矩阵；

6)解上述线性方程组得到向量s，将一维向量s重排得到二维的样品的超分辨图像的频

谱，然后通过傅里叶逆变换得到样品的超分辨图像。

其中，在步骤2)中，旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器；如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度；如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。

本发明的结构光照明超分辨显微成像方法，原始图像为3幅，包括以下步骤：

1)激发光经旋转结构光生成器发生衍射，衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光，荧光经物镜聚焦后，经二向色镜后，由第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机，计算机形成原始图像；

2)旋转样品上的结构光条纹至新的角度，重复步骤1)，在每个角度采集形成一幅原始图像，直至在3个不同的角度下形成3幅原始图像；

3)将每一幅原始图像进行离散傅里叶变换，获得各幅原始图像的频谱Dn，其中Dn为第n张原始图像的频谱，n＝1,2,3；

4)计算每幅原始图像对应的结构光条纹的方向和相位，根据结构光条纹的方向和相位计算得到结构光条纹的频谱In，其中In为第n个结构光条纹的频谱；

5)样品的超分辨图像的频谱S，结构光照明超分辨显微成像系统的光学传递函数(OTF)H，结构光条纹的频谱In和原始图像的频谱Dn满足下式：

其中为卷积，·为点乘；从上式得到，各幅原始图像的频谱Dn在各个像素上的值，均是超分辨图像的频谱S的多个像素的值的线性组合，其系数由In和H决定；故将上述公式改写为下述线性方程组：

d＝Ms

其中，向量d是所有原始图像的频谱的各个像素的值，一维向量s是样品的超分辨图像的频谱的各个像素的值，M是构造得到的稀疏卷积矩阵；

6)解上述线性方程组得到向量s，将一维向量s重排得到二维的样品的超分辨图像的频

谱，然后通过傅里叶逆变换得到样品的超分辨图像。

其中，在步骤2)中，旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器；如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度。如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。

本发明的优点：

本发明通过成像图像重建算法处理原始图像，只需要旋转4次结构光条纹，不需要相位平移即可实现超分辨；成像图像重建算法基于频域处理而非空间域处理；样品的超分辨图像的频谱的过程，与传统频域方法不同，并非逐个结构光方向进行解析，而是将所有方向合并进行解析；为获得传统的各向均一的2倍分辨率提升，理论上原始图像数量可以从传统方法的9幅减少至4幅；进一步减少原始图像数量至3幅，理论上可获得各向均一的1.5倍左右的分辨率提升。

附图说明

图1为本发明的结构光照明超分辨显微成像系统的一个实施例的示意图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本发明。

如图1所示，本实施例的结构光照明超分辨显微成像系统包括：照明光源1、旋转结构光生成器2、旋转装置3、第一会聚透镜4、二向色镜6、物镜7、载物台8、样品、第二会聚透镜9和数字成像设备10；其中，旋转结构光生成器2采用光栅，设置在旋转装置3上，以光轴为旋转轴，旋转装置带动光栅能够360°旋转，旋转角度不固定；照明光源1发出激发光；激发光经光栅发生衍射；衍射的激发光经第一会聚透镜4会聚后，经二向色镜6透射，由物镜7聚焦，照射在放置在载物台8上的样品上，形成结构光条纹；样品在激发光的激发下发射荧光；荧光经物镜7聚焦后，经二向色镜6反射后，由第二会聚透镜会聚，由数字成像设备采集形成原始图像。

本实施例的结构光照明超分辨显微成像方法，包括以下步骤：

1)激发光经旋转结构光生成器发生衍射，衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光，荧光经物镜聚焦后，经二向色镜后，由第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机，计算机形成原始图像；

2)通过旋转装置带动光栅旋转至新的角度，从而使得样品上的结构光条纹至新的角度，重复步骤1)，在每个角度采集形成一幅原始图像，直至在M个不同的角度下形成M幅原始图像，M≥4；

3)将每一幅原始图像进行离散傅里叶变换，获得各幅原始图像的频谱Dn，其中Dn为第n张原始图像的频谱，n＝1,2,……,M；

4)计算每幅原始图像对应的结构光条纹的方向和相位，根据结构光条纹的方向和相位计算得到结构光条纹的频谱In，其中In为第n个结构光条纹的频谱；

5)样品的超分辨图像的频谱S，结构光照明超分辨显微成像系统的光学传递函数(OTF)H，结构光条纹的频谱In和原始图像的频谱Dn满足下式：

其中为卷积，·为点乘；从上式得到，各幅原始图像的频谱Dn在各个像素上的值，均是超分辨图像的频谱S的多个像素的值的线性组合，其系数由In和H决定；故将上述公式改写为下述线性方程组：

d＝Ms

其中，向量d是所有原始图像的频谱的各个像素的值，一维向量s是样品的超分辨图像的频谱的各个像素的值，M是构造得到的稀疏卷积矩阵；

6)解上述线性方程组得到向量s，将一维向量s重排得到二维的样品的超分辨图像的频

谱，然后通过傅里叶逆变换得到样品的超分辨图像。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

参考文献：

1.Gustafsson,M.G.,et al.,Three-dimensional resolution doubling inwide-field fluorescence microscopy by structured illumination.BiophysicalJournal,2008.94(12):p.4957-4970.

2.Heintzmann,R.and C.G.Cremer,Lateral modulated excitationmicroscopy:Improvement of resolution by using a diffractiongrating.Proceedings of SPIE-The International Society for OpticalEngineering,1999.3568(8442):p.1399–1400.

3.Dong,S.,et al.,Resolution doubling with a reduced number of imageacquisitions.Biomed Opt Express,2015.6(8):p.2946-52.

4.Orieux,F.,et al.,Bayesian estimation for optimized structuredillumination microscopy.IEEE Trans Image Process,2012.21(2):p.601-14.

Claims (9)

1.一种结构光照明超分辨显微成像系统，其特征在于，所述超分辨显微成像系统包括：照明光源、旋转结构光生成器、第一会聚透镜、分光镜、物镜、载物台、样品、第二会聚透镜、数字成像设备和计算机；其中，所述数字成像设备通过数据线连接至计算机；所述照明光源发出激发光；激发光经旋转结构光生成器发生衍射；衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光；荧光经物镜聚焦后，经二向色镜后，再经第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机；计算机形成原始图像；旋转样品上的结构光条纹至新的角度，在每一个角度上分别采集形成一幅原始图像，形成4幅以上或3幅的原始图像；通过成像图像重建算法处理原始图像，得到样品的超分辨图像。

2.如权利要求1所述的超分辨显微成像系统，其特征在于，所述旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器。

3.如权利要求2所述的超分辨显微成像系统，其特征在于，如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度；如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。

4.如权利要求1所述的超分辨显微成像系统，其特征在于，所述照明光源采用激光光源、LED光源或汞灯光源。

5.如权利要求1所述的超分辨显微成像系统，其特征在于，所述分光镜采用二向色镜或半透半反镜。

6.一种结构光照明超分辨显微成像方法，其特征在于，所述成像方法包括以下步骤：

1)激发光经旋转结构光生成器发生衍射，衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光，荧光经物镜聚焦后，经二向色镜后，由第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机，计算机形成原始图像；

2)旋转样品上的结构光条纹至新的角度，重复步骤1)，在每个角度采集形成一幅原始图像，直至在M个不同的角度下形成M幅原始图像，M≥4；

3)将每一幅原始图像进行离散傅里叶变换，获得各幅原始图像的频谱Dn，其中Dn为第n张原始图像的频谱，n＝1,2,……,M，M≥4；

4)计算每幅原始图像对应的结构光条纹的方向和相位，根据结构光条纹的方向和相位计算得到结构光条纹的频谱In，其中In为第n个结构光条纹的频谱；

5)样品的超分辨图像的频谱S，结构光照明超分辨显微成像系统的光学传递函数H，结构光条纹的频谱In和原始图像的频谱Dn满足下式：

$Dn=(Is\⊗S)\·H$

其中为卷积，·为点乘；从上式得到，各幅原始图像的频谱Dn在各个像素上的值，均是超分辨图像的频谱S的多个像素的值的线性组合，其系数由In和H决定；故将上述公式改写为下述线性方程组：

d＝Ms

其中，向量d是所有原始图像的频谱的各个像素的值，一维向量s是样品的超分辨图像的频谱的各个像素的值，M是构造得到的稀疏卷积矩阵；

6)解上述线性方程组得到向量s，将一维向量s重排得到二维的样品的超分辨图像的频谱，然后通过傅里叶逆变换得到样品的超分辨图像。

7.如权利要求6的成像方法，其特征在于，在步骤2)中，所述旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器；如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度。如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。

8.结构光照明超分辨显微成像方法，其特征在于，所述成像方法包括以下步骤：

1)激发光经旋转结构光生成器发生衍射，衍射的激发光经第一会聚透镜会聚后，经二向色镜，由物镜聚焦，照射在放置在载物台上的样品上，形成结构光条纹；样品在结构光条纹的激发下发射荧光，荧光经物镜聚焦后，经二向色镜后，由第二会聚透镜会聚，由数字成像设备采集荧光，并将光信号转换成电信号后传输至计算机，计算机形成原始图像；

2)旋转样品上的结构光条纹至新的角度，重复步骤1)，在每个角度采集形成一幅原始图像，直至在3个不同的角度下形成3幅原始图像；

3)将每一幅原始图像进行离散傅里叶变换，获得各幅原始图像的频谱Dn，其中Dn为第n张原始图像的频谱，n＝1,2,3；

4)计算每幅原始图像对应的结构光条纹的方向和相位，根据结构光条纹的方向和相位计算得到结构光条纹的频谱In，其中In为第n个结构光条纹的频谱；

5)样品的超分辨图像的频谱S，结构光照明超分辨显微成像系统的光学传递函数H，结构光条纹的频谱In和原始图像的频谱Dn满足下式：

$Dn=(In\⊗S)\·H$

其中为卷积，·为点乘；从上式得到，各幅原始图像的频谱Dn在各个像素上的值，均是超分辨图像的频谱S的多个像素的值的线性组合，其系数由In和H决定；故将上述公式改写为下述线性方程组：

d＝Ms

其中，向量d是所有原始图像的频谱的各个像素的值，一维向量s是样品的超分辨图像的频谱的各个像素的值，M是构造得到的稀疏卷积矩阵；

6)解上述线性方程组得到向量s，将一维向量s重排得到二维的样品的超分辨图像的频谱，然后通过傅里叶逆变换得到样品的超分辨图像。

9.如权利要求8的成像方法，其特征在于，在步骤2)中，所述旋转结构光生成器采用光栅、数字微镜阵列或空间光调制器；如果旋转结构光生成器采用光栅，则将光栅或者放置样品的载物台设置在旋转装置上，旋转装置以光轴为旋转轴，带动光栅或载物台能够360°旋转，从而带动光栅与样品之间发生相对角度变化，使得样品上的结构光条纹旋转至新的角度。如果旋转结构光生成器采用数字微镜阵列或空间光调制器，通过数字方式生成光条纹产生角度变化，使得样品上的结构光条纹旋转至新的角度。