CN115839936B - 一种基于锁相探测的结构光照明超分辨显微成像重构方法 - Google Patents

Abstract

本发明公开了一种基于锁相探测的结构光照明超分辨显微成像重构方法，包括：1)获取不同相位、不同方向的结构光照明原始图像；2)估算出条纹的调制频率和相位参数；3)进行锁相解调提取出样品的在焦信息并滤除离焦信息；4)将锁相探测得到的结果作为原始输入进行传统超分辨重构，重建出具有层切能力、高信背比的超分辨图片，本发明在保证重构的图片具有较高分辨率的同时，能有效去除离焦的背景信息干扰。

Description

一种基于锁相探测的结构光照明超分辨显微成像重构方法

技术领域

本发明涉及光学超分辨显微成像领域，具体地说，涉及一种基于锁相探测的结构光照明超分辨显微成像重构方法。

背景技术

光学显微术由于其具有非侵入的特点在生物研究和临床诊断的应用中具有举足轻重的作用。然而，由于衍射极限的存在，光学显微镜无法分辨200nm以下的微观结构。在过去的几十年里，科学家们试图突破或绕过衍射极限，为此提出了许多显微技术，以求揭示微观世界的秘密。在这些显微术中，结构光照明显微术(SIM)在生物医学成像中是一有力的工具，因为该方法可以提供较高的时间和空间分辨率，实现超过视频速率的成像速度。尽管SIM只能获得两倍分辨率的提升，但它所需要的光功率相对于受激发射损耗显微术(STED)来说要小得多，后者为了实现几纳米量级的分辨率往往需要千瓦/平方厘米以上的光功率。其他的方法比如光活化定位显微术(PALM)和随机光重构显微术(STORM)相比于SIM来说成像速度要慢得多，它们在重构一张超分辨图像时，需要上万张的原始图像，且照明光强也需要很高。因此，STED、PALM和STORM均很难应用于活细胞成像中。而SIM则由于其快速、低光毒性和光漂白性成为一种广受欢迎的成像技术。

对于较厚的生物样品，SIM虽然能够提高其横向分辨率，但是许多细节往往会受限于较高的背景光而无法显现。为了解决这个问题，研究人员提出了一系列去背景的方法。使用周期较大的条纹照明的光切片结构光显微术(OS-SIM)可以有效去除离焦的背景信息干扰，但会降低分辨率。使用合理的空间频谱滤波与反卷积操作，也可以一定程度抑制离焦背景信息，但需要考虑图像的信噪比与信背比来设置相应参数，不利于实际应用。

因此，尽管SIM的理论分辨率可达100nm左右，但过高的背景信号会淹没微弱的高频超分辨信号，图像的实际分辨率因此降低，难以达到理论分辨率。

发明内容

本发明基于以上技术路线，提出了一种基于锁相探测的结构光照明超分辨显微成像重构方法。

本发明所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，包括原始图像获取和锁相SIM重构；所述的原始图像获取是指通过SIM硬件系统获取不同相位、不同方向的结构光照明原始图像；所述锁相SIM重构是指对获得的结构光照明原始图像进行锁相探测并将得到的结果作为SIM输入重构样品超分辨图像，具体包含以下步骤：

S1：在SIM硬件系统中，通过对入射光进行调制后在样品面形成非均匀照明光场，对样品进行激发；

S2：在某一方向上对非均匀照明光场进行移相，记录不同相位的M张不同相位下的原始图像；

S3：对非均匀照明光场进行方向旋转，产生N组不同方向干涉条纹；在每个方向下，重复操作S2，记录每一个方向下，不同相位下拍摄到的原始图像；

S4：将S2和S3拍摄的N*M张原始图像，作为重构样品超分辨图像的原始图像；

S5：建立原始图像与非均匀照明光场的关系式，计算所有方向上非均匀照明光场的调制频率和相位；

S6：通过锁相探测的方式提取原始图像的在焦信息，同时滤除离焦信息，得到锁相图像；

S7：将锁相图像作为SIM原始输入，结合非均匀照明光场的调制频率k₀和相位重构样品超分辨图像。

作为优选，所述的SIM硬件系统包括任何现有的SIM硬件系统，所述的非均匀照明光场为条纹状，所述的锁相探测是指将结构光照明原始图像进行锁相解调提取出样品的在焦信息并滤除离焦信息。

作为优选，所述原始图像为拍摄的分辨率低于200nm的宽场低分辨率图像，数量在二维成像模式下是3*3，在三维成像模式下是5*3。

作为优选，所述步骤S5原始图像与非均匀照明光场的关系式中包括原始图像、非均匀照明光场、所成像样品的在焦信息、所成像样品的离焦信息、SIM硬件系统的探测点扩散函数。

作为优选，所述步骤S5包括以下子步骤：

S5.1：建立某个方向非均匀照明光场下，所拍摄样品图像与非均匀照明光场之间的关系表达式；

S5.2：通过S5.1的关系表达式，计算照明条纹的调制频率k₀和相位

S5.3：对所有方向上的非均匀照明光场执行S5.1和S5.2的操作，计算所有非均匀照明光场的调制频率和相位。

作为优选，所述步骤S6的锁相探测包括基于互相关计算的锁相探测和基于交流分量提取的锁相探测。

作为优选，所述基于互相关计算的锁相探测包括以下步骤：

S6.1.1：计算某一方向的原始图像在焦信号的互相关系数；

S6.1.2：将该互相关系数与原始图像相乘，得到锁相探测后的图像。

作为优选，所述步骤S6.1.1中互相关系数的计算公式中包括非均匀照明光场强度分布及其平均值和标准差、原始图像强度分布及其平均值和标准差。

作为优选，所述基于交流分量提取的锁相探测包括以下步骤：

S6.2.1：将原始图像分解为直流分量和交流分量的叠加；

S6.2.2：利用原始图像和直流分量计算得到交流分量作为锁相探测的结果。

作为优选，所述步骤S7包括以下子步骤：

S7.1：将某一方向的锁相图像输入SIM重构得到该方向的输入频谱，通过该方向下的调制频率k₀和相位计算该方向的输入频谱的高频分量和低频分量，将各个高频分量和低频分量移频至对应位置，得到在该方向具有超分辨信息的物体频谱；

S7.2：对所有方向的锁相图像执行S7.1的操作，得到所有方向的高频频谱，对高频频谱进行维纳滤波，得到重构的样品超分辨图像。

本发明提出的一种基于锁相探测的结构光照明超分辨显微成像重构方法，可基于任何SIM硬件系统来实现；既可用于荧光SIM成像，也可用于非荧光SIM成像；既可用于二维SIM，包括全内反射SIM、掠入射SIM等，也可以用于三维SIM，应用范围广，在保证重构的图片具有较高分辨率的同时，能有效去除离焦的背景信息干扰，提高对比度，增强细节；对厚样品成像时，本发明重构结果具有明显的层切效果。

附图说明

图1为本发明的原始图像获取流程示意图；

图2为本发明的锁相SIM重构流程示意图。

具体实施方式

下面通过附图以及具体实施方式进一步说明本发明。

本发明的一种基于锁相探测的结构光照明超分辨显微成像重构方法，包括原始图像获取和锁相SIM重构；所述的原始图像获取是指通过SIM硬件系统获取不同相位、不同方向的结构光照明原始图像；所述锁相SIM重构是指对获得的结构光照明原始图像进行锁相探测并将得到的结果作为SIM输入重构样品超分辨图像。

所述的SIM硬件系统包括任何现有的SIM硬件系统，所述的非均匀照明光场为条纹状，所述的锁相探测是指将结构光照明原始图像进行锁相解调提取出样品的在焦信息并滤除离焦信息。所述原始图像为拍摄的分辨率低于200nm的宽场低分辨率图像，数量在二维成像模式下是3*3，在三维成像模式下是5*3。

本方法具体包含以下步骤：

S1：在SIM硬件系统中，通过对入射光进行调制后在样品面形成非均匀照明光场，对样品进行激发；

S2：在某一方向上对非均匀照明光场进行移相，记录不同相位的M张不同相位下的原始图像；

S3：对非均匀照明光场进行方向旋转，产生N组不同方向干涉条纹；在每个方向下，重复操作S2，记录每一个方向下，不同相位下拍摄到的原始图像；

S4：将S2和S3拍摄的N*M张原始图像，作为重构样品超分辨图像的原始图像；

S5：建立原始图像与非均匀照明光场的关系式，计算所有方向上非均匀照明光场的调制频率和相位；

上述步骤S5原始图像与非均匀照明光场的关系式中包括原始图像、非均匀照明光场、所成像样品的在焦信息、所成像样品的离焦信息、SIM硬件系统的探测点扩散函数。步骤S5包括以下子步骤：

S5.1：建立某个方向非均匀照明光场下，所拍摄样品图像与非均匀照明光场之间的关系表达式；

S5.2：通过S5.1的关系表达式，计算照明条纹的调制频率k₀和相位

S5.3：对所有方向上的非均匀照明光场执行S5.1和S5.2的操作，计算所有非均匀照明光场的调制频率和相位。

S6：通过锁相探测的方式提取原始图像的在焦信息，同时滤除离焦信息，得到锁相图像；

上述步骤S6的锁相探测包括基于互相关计算的锁相探测和基于交流分量提取的锁相探测。

所述基于互相关计算的锁相探测包括以下步骤：

S6.1.1：计算某一方向的原始图像在焦信号的互相关系数；

S6.1.2：将该互相关系数与原始图像相乘，得到锁相探测后的图像。

所述步骤S6.1.1中互相关系数的计算公式中包括非均匀照明光场强度分布及其平均值和标准差、原始图像强度分布及其平均值和标准差。

所述基于交流分量提取的锁相探测包括以下步骤：

S6.2.1：将原始图像分解为直流分量和交流分量的叠加；

S6.2.2：利用原始图像和直流分量计算得到交流分量作为锁相探测的结果。

S7：将锁相图像作为SIM原始输入，结合非均匀照明光场的调制频率k₀和相位重构样品超分辨图像。

上述步骤S7包括以下子步骤：

S7.1：将某一方向的锁相图像输入SIM重构得到该方向的输入频谱，通过该方向下的调制频率k₀和相位计算该方向的输入频谱的高频分量和低频分量，将各个高频分量和低频分量移频至对应位置，得到在该方向具有超分辨信息的物体频谱；

S7.2：对所有方向的锁相图像执行S7.1的操作，得到所有方向的高频频谱，对高频频谱进行维纳滤波，得到重构的样品超分辨图像。

实施例1

如图1所示，在原始图像获取步骤中：

(1)在SIM硬件系统中，通过对入射光进行调制后在样品面形成非均匀照明光场，对样品进行激发；

(2)在某一方向上对非均匀照明光场进行移相，每次改变相位2π/M，记录M张不同相位下的图像，本实施例采用M＝3的情况进行说明，但其他情况同样适用；

(3)对条纹进行方向旋转，产生N组不同方向干涉条纹。本实施例采用N＝3的情况进行说明，但其他情况同样适用。在每个方向下，重复操作b，记录下每一个干涉方向下，不同相位情况下拍摄到的图像；

(4)每次在改变照明条纹位置或方向时，样品被调制后发出混频信号被探测相机接收，形成一张低分辨率图像。对N个方向的干涉条纹，进行M步相移，共拍摄N*M张低分辨率图I_n,m(n＝1,2,3,…,N；m＝1,2,3,…,M)，对应N*M个条纹P_n,m(n＝1,2,3,…,M；m＝1,2,3,…,M)，作为后续重构样品超分辨图像算法的原始图。本实施例采用采集3*3＝9张原始图像来进行说明。

如图2所示，在锁相SIM重构步骤中：

一、提取条纹参数：

建立某个方向非均匀照明光场下，所拍摄样品图像与非均匀照明光场之间的关系表达式；

其中，k₀是照明条纹的调制频率，是第j步相移时对应的相位，m为调制深度，O_in代表样品在焦信息，O_out代表样品离焦信息，H(r)是系统的探测点扩散函数(PSF)，*表示卷积；

通过表达式(1)计算照明条纹的调制频率k₀和相位

对表达式(1)作傅里叶变换后，进行自相关操作：

其中，表示相关操作，上标*表示取变量的复共轭，～表示对原数据作傅里叶变换。/>在k^′＝±k₀处具有极大值，通过搜索峰值的位置可估计出调制频率k₀。

照明条纹的相位可取/>在k^′＝k₀时的相位得到，即

其中arg(·)表示取复变量的辐角；

对所有方向上的非均匀照明光场重复上述操作，计算所有非均匀照明光场的调制频率和相位。

二、锁相探测：

利用在焦信息随照明调制变化的特点，通过锁相探测的方式提取出在焦信息O_in。本发明提出两种锁相计算方式，均可有效滤除离焦信息，其他类似锁相计算方式也同样适用。

基于互相关计算的锁相探测：

定义某一方向下原始图像的在焦信号互相关系数ρ(x,y)

其中P_j代表照明条纹的强度分布，μ_I,σ_I分别代表同一方向下，不同相位原始图像的平均值和标准差，μ_P,σ_P分别代表该方向下，照明图案P_j的平均值和标准差。在焦信号互相关系数ρ表示任意位置处，在焦信息与信号的相关程度，该系数越大，代表某处在焦信息能量占比越高；

将在焦信息互相关系数同原始数据相乘，得到锁相探测后的数据：

基于交流分量提取的锁相探测：将原始图像分解为直流分量和交流分量，计算得到交流分量并将其作为锁相探测的结果：

改写表达式(1),原始图像可视为直流分量I_dc和交流分量I_ac二者之和：

其中直流分量I_dc可由两分量I_dc1,I_dc2表示：

I_dc＝I_dc1-I_dc2 (7)

其中

因此可求出交流分量I_ac，将其作为锁相探测的结果：

三、SIM超分辨重构：

将锁相探测的结果作为SIM原始输入，进行超分辨重构。

首先提取高频分量，并移频至正确位置，SIM重构原始输入的频谱，用矩阵形式可表示为：

由于已经估计出条纹参数因此可分别求出高频分量和低频分量：

将各分量移频至对应位置，得到在某一方向具有超分辨信息的物体频谱：

其中下标i代表不同方向。

对所有方向的原始图像执行上述操作，补全各个方向的高频频谱，然后对高频频谱进行维纳滤波，减少噪声影响，得到重构的样品超分辨图像。

维纳滤波关系式：

其中ε是正常数，根据图像噪声水平来设置ε的值。

本发明可基于任何SIM硬件系统来实现，应用范围广，在保证重构的图片具有较高分辨率的同时，能有效去除离焦的背景信息干扰，提高对比度，增强细节；对厚样品成像时，本发明重构结果具有明显的层切效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。

Claims (8)

1.一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于，包括原始图像获取和锁相SIM重构；所述的原始图像获取是指通过SIM硬件系统获取不同相位、不同方向的结构光照明原始图像；所述锁相SIM重构是指对获得的结构光照明原始图像进行锁相探测并将得到的结果作为SIM输入重构样品超分辨图像，具体包含以下步骤：

S1：在SIM硬件系统中，通过对入射光进行调制后在样品面形成非均匀照明光场，对样品进行激发；

S2：在某一方向上对非均匀照明光场进行移相，记录不同相位的M张不同相位下的低分辨率图像；

S3：对非均匀照明光场进行方向旋转，产生N组不同方向干涉条纹；在每个方向下，重复操作S2，记录每一个方向下，不同相位下拍摄到的低分辨率图像；

S4：将S2和S3拍摄的N*M张低分辨率图，作为重构样品超分辨图像的原始图像；

S5：建立原始图像与非均匀照明光场的关系式，计算所有方向上非均匀照明光场的调制频率和相位；

S6：通过锁相探测的方式提取原始图像的在焦信息，同时滤除离焦信息，得到锁相图像，所述锁相探测采用基于互相关计算的锁相探测或基于交流分量提取的锁相探测；

S7：将锁相图像作为SIM原始输入，结合非均匀照明光场的调制频率和相位，重构样品超分辨图像；

其中所述步骤S7包括以下子步骤：

S7.1：将某一方向的锁相图像输入SIM重构得到该方向的输入频谱，通过该方向下的调制频率和相位计算该方向的输入频谱的高频分量和低频分量，将各个高频分量和低频分量移频至对应位置，得到在该方向具有超分辨信息的物体频谱；

S7.2：对所有方向的锁相图像执行S7.1的操作，得到所有方向的高频频谱，对高频频谱进行维纳滤波，得到重构的样品超分辨图像。

2.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于：所述的SIM硬件系统包括任何现有的SIM硬件系统，所述的非均匀照明光场为条纹状，所述的锁相探测是指将结构光照明原始图像进行锁相解调提取出样品的在焦信息并滤除离焦信息。

3.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于，所述原始图像数量在二维成像模式下是3*3，在三维成像模式下是5*3。

4.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于，所述步骤S5原始图像与非均匀照明光场的关系式中包括原始图像、非均匀照明光场、所成像样品的在焦信息、所成像样品的离焦信息、SIM硬件系统的探测点扩散函数。

5.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于，所述步骤S5包括以下子步骤：

S5.1：建立某个方向非均匀照明光场下，所拍摄样品图像与非均匀照明光场之间的关系表达式；

S5.2：通过S5.1的关系表达式，计算照明条纹的调制频率和相位；

S5.3：对所有方向上的非均匀照明光场执行S5.1和S5.2的操作，计算所有非均匀照明光场的调制频率和相位。

6.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于：所述基于互相关计算的锁相探测包括以下步骤：

S6.1.1：计算某一方向的原始图像在焦信号的互相关系数；

S6.1.2：将该互相关系数与原始图像相乘，得到锁相探测后的图像。

7.根据权利要求6所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于：所述步骤S6.1.1中互相关系数的计算公式中包括非均匀照明光场强度分布及其平均值和标准差、原始图像强度分布及其平均值和标准差。

8.根据权利要求1所述的一种基于锁相探测的结构光照明超分辨显微成像重构方法，其特征在于：所述基于交流分量提取的锁相探测包括以下步骤：

S6.2.1：将原始图像分解为直流分量和交流分量的叠加；

S6.2.2：利用原始图像和直流分量计算得到交流分量作为锁相探测的结果。