CN110175955A

CN110175955A - 一种利用预处理和后处理来提高光学显微系统分辨率的方法

Info

Publication number: CN110175955A
Application number: CN201910494886.2A
Authority: CN
Inventors: 谢耀华
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-06-10
Filing date: 2019-06-10
Publication date: 2019-08-27

Abstract

本发明公开了一种提高光学显微系统分辨率的方法，能够在现有超分辨显微系统的基础上进一步提高分辨率。所述方法首先增加一个预处理环节，用来消除ROI周围区域的不确定性；然后采用公知技术对ROI及其周围区域进行成像；最后再增加一个后处理环节，用来对所得图像进行反卷积，从而得到高分辨率的真值图像。本发明不但能够提高分辨率，而且不需要对成像装置做太大改动，主要是通过计算机算法来完成；本发明的思路能够涵盖和支持各种方法来求解真值图像，具备较高的通用性和灵活性。

Description

一种利用预处理和后处理来提高光学显微系统分辨率的方法

技术领域

本发明属于光学成像技术，具体涉及了一种提高光学显微系统分辨率的方法。

背景技术

在1873年，恩斯特·阿贝(Ernst Abbe)发现传统的光学显微镜存在一个衍射极限：由于光的衍射作用，即便是无穷小的点光源经过光学显微系统，所成的像也是艾里斑形状而不是无穷小的像点；因此，距离小于可见光波长一半(大约200～300纳米)的两个点，它们的像将会相互重叠而无法分辨。直到出现了超分辨技术，人们才能够利用光学显微系统分辨小于衍射极限的结构。超分辨技术主要可以分成两类；一类是利用结构光来对样品(待成像的目标物)进行多次成像，最后通过处理得到高分辨率的图像，代表技术有STED，RESOLFT，SIM，NL-SIM等；另一类是设法让不同的分子在不同的时刻发光，从而在时间上分隔它们，最后将所有分子的像拼合成完整的高分辨率图像，代表技术有STORM，PALM，PAINT等，以及结合了上述两类技术优点的MINFLUX方法，能够以超高的精度确定分子的位置。

在现有的一些超分辨技术中(比如：STED)，每次成像可以只对一个很小的区域(比如：直径十几纳米的光斑)施加光照，通过测量所成的像的亮度或能量等即可获知样本在该区域的光学特性。因此，通过逐步扫描并测量样本上每个小区域的亮度，并将它们作为像素组合在一起就能得到一个完整的图像，其中包含了整个样本(或所关注的某个部分)的光学特性。上述光斑虽然已经远小于衍射极限，但仍有一定尺寸；因为人们只能测得光斑所照亮区域的整体亮度，所以小于这个尺寸的结构仍然无法观测。如果采用更密集的方式来扫描样本，使相邻的扫描位置存在部分重叠，则所得的图像虽然具有更多像素，但却是模糊的，仍然不能清晰分辨小于光斑尺寸的细节。

为了解决这个问题，本发明将上述过程得到的模糊图像用作“中间图像”；一方面，中间图像可以根据观测结果推断得到，但低分辨率较低(不含小于光斑尺寸的细节)；另一方面，它与真值图像之间通过卷积过程互相联系，在一定条件下可以做反卷积得到高分辨率图像。换言之，虽然小细节无法直接观测，但是我们可以根据观测数据得到“真值图像被加权平均的结果”，或者说“真值图像被模糊核卷积的结果”。其中，真值图像是指待求的高分辨率图像，它能够清晰体现比光斑尺寸更小的细节；模糊核是一种特殊的卷积核，图像与其进行卷积之后，所得的结果将比原图像更模糊。本发明中，模糊核为光斑的亮度分布函数(图像)，可事先测得或者估算。这样，对中间图像进行反卷积即可得到高分辨率图像。

发明内容

本发明包括一种提高光学显微系统分辨率的方法，首先通过预处理环节消除ROI周围区域的不确定性，然后采用公知技术对ROI及其周围区域进行密集扫描成像，最后对所得中间图像进行反卷积得到分辨率更高的真值图像。因为所得的真值图像能够清晰体现尺寸小于照明光斑的细节，所以显微系统的分辨率得到了进一步的提高。

作为本发明的基础，首先需要选取一种合适的图像表示形式。这里采用的是数字图像处理领域中的经典形式，即：用一个数值矩阵来表示图像(二维信号)；其含义是将整个成像区域划分成均匀的网格，每个格中的亮度用一个数值(称为像素值)来表示。因此，这个矩阵(数字图像信号)是实际物理图像在既定采样率(由传感器决定)下的一个近似；当采样率越高时，所得的矩阵就越大、所包含的像素值就越多。人们所关心的样品结构信息，就承载于对应的数字图像信号中。基于上述图像表示形式，提取样品结构信息的任务就转换成推算图像中未知像素的亮度值(或者说，推算矩阵中未知元素的数值)。

通常情况下，人们只能对一定范围的目标区域进行观测，本发明中把待观测的区域称为感兴趣区域(Region of Interest，ROI)。本发明对于ROI的数量、形状、尺寸等均不限制，各种情况均能处理。不过，首先需要增加一个预处理环节，用来消除ROI周围区域的不确定性(这是后续反卷积处理能够奏效的前提条件)。比如：位于ROI周围的一定范围内(能够对处理结果产生影响的范围内)，物体(或背景)的光学反射特性和荧光激发特性应当已知，或能够近似估算出来(比如已知其成分及空间结构，从而能够推算出光学特性)。在实践中，ROI的周围区域通常由位于ROI之外、且到ROI的距离不大于光斑尺寸的那些位置所构成。该条件比较容易实现的方式是：在ROI的周围的物体或背景，其光学反射率和荧光发射率都等于零，或者都小到可以忽略。此外，由于扫描过程是先后逐步进行的，因此消除不确定性的过程也可以在不同的位置先后进行。

STED等现有技术是用小于衍射极限的光斑对样品进行扫描照明；光斑先后照射到样品上不同的小区域，从而探测出该区域处样品的光学特性(对应于一个像素)，最后由探测到的所有光学特性数值组合成完整的图像。如果扫描的步长小于光斑的尺寸，则光斑先后停留的相邻区域就更加密集，存在部分重叠。相应的，图像中的每个像素体现的也就是较大范围(光斑所覆盖的区域)内的总体光学特性；这些区域之间存在部分重叠，就导致图像看起来是模糊的，小的细节不能清晰辨认。

在本发明中，完整的扫描范围包括ROI及其周围区域。在预处理环节所创造的条件下，上述过程得到的模糊图像恰好相当于是清晰图像与光斑进行卷积的结果。换言之，假设包含所有细节的清晰图像已知，那么将其与光斑的亮度分布函数进行卷积运算，所得到的结果恰好就是上述模糊图像。为了便于描述，本发明中把上述清晰图像称为“真值图像”，因为它是包含了清晰细节的高分辨率图像，真实反映了样品的高分辨率结构；而上述模糊图像称为“中间图像”，它相当于是真值图像和光斑亮度函数进行卷积的结果图像。因此，增加一个后处理环节，对中间图像进行反卷积，就能从中复原出高分辨率的真值图像。所述的反卷积是指任何能够消除卷积对于数据的影响的方法，可以通过求解逆问题、求解方程组、逆滤波、维纳滤波、盲反卷积、代数方法、神经网络、机器学习、最优化、正则化等各种方法中的某一种，或者多种方法的组合来实现，也可以采用其它任何一种有效的反卷积方法；上述方法均能适用于并涵盖在本发明的范围内。在实践中为了提高效率，可以同时采用多个光斑对样品进行扫描，只要它们所成的像互不影响，或者影响足够小即可。

综上可见，本发明对现有技术的改进主要集中在预处理和后处理这两个环节。首先，在成像之前增加一个预处理环节，消除ROI周围区域的不确定性；然后，用公知技术对ROI及其周围区域成像(不过扫描的步长比常用的更加密集)，得到一个比较模糊的图像；最后，再增加一个后处理环节，对上述模糊图像进行反卷积，得到高分辨率的清晰图像。

与现有技术相比，本发明具有下列有益效果：

首先，在现有超分辨技术的基础上，进一步提高了分辨率。

其次，不需要对成像装置做太大改动，主要通过计算机算法来完成。

最后，可以选用各种方法来求解真值图像，具备较高的通用性和灵活性。

附图说明

图1 ROI及其周围区域示意图；

图2 扫描流程对比示意图；

图3 扫描结果对比图；

图4 卷积过程示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图及具体实施例对本发明做进一步的详细描述。

本发明公开了一种提高光学显微系统分辨率的方法；该方法首先通过一个预处理环节来消除ROI周围区域的不确定性，然后采用公知技术对ROI及其周围区域进行密集扫描成像，最后对所得的图像进行反卷积得到高分辨率图像。这样得到的高分辨率图像不仅包含更多像素，而且能够清晰分辨小于扫描光斑的细节，比上述公知技术所得的图像分辨率更高。

如发明内容中所述，在消除了ROI周围区域的不确定性的前提下，本发明能够处理各种各样的ROI情况。在本实施例中，仅举一种简单的情况作为例子进行阐述：将ROI取成矩形，而ROI周围则覆盖或者填充一种反射率为零(或者足够小)的材料，且该材料所覆盖或填充的范围不小于光斑尺寸。如图1所示，ROI 101选定为矩形，在其周围覆盖或填充着反射率很低的材料102，这种材料的范围大于光斑103的尺寸；这样，无论光斑103照射在ROI 101的哪个位置(即便它主要照射在材料102上，而跟ROI 101只有少量重叠)，光斑103也不会超出材料102的范围。在此条件下，因为材料102的光学特性已知，所以后续的反卷积步骤才能够计算出准确的结果。此外，由于扫描过程是先后逐步进行的，因此消除不确定性的过程也可以在不同的位置先后进行；比如：仅当扫描进行到某个边角时，才用低反射率的材料102去覆盖或填充其周围的区域，而当时未被扫描到的边角则可暂时不管。

在本发明中，完整的扫描范围包括ROI及其周围区域，且所用的扫描步长小于照明光斑的尺寸。如图2所示，左图显示的是常用的扫描方式，ROI 201上的不同区域先后被光斑202照射，每次照射之后都进行成像，并利用所成的像来测量被照射区域的光学特性，这样就能得到一个体现其光学特性的像素值；完成整个ROI的扫描之后，将所有像素值组合起来就得到图301所示的图像(放大显示)。图2中，右图显示的是本发明所采用的扫描方式，过程与上述类似，但光斑205所照射的区域更加密集、相互重叠，而且扫描的范围不但覆盖了ROI203，还覆盖了ROI 203周围的材料204；这样，经过扫描、测量、组合，同样得到一个图像(如图302所示，也是放大显示)。其中，图301的像素数量较少，所以图像尺寸较小；图302的像素数量较多，所以图像尺寸较大，但由于像素对应的区域相互重叠，所以更加模糊。

从图4可以看出，图302其实相当于是待求的真值图像402与光斑图像401进行卷积的结果；其中，真值图像402的像素数取决于扫描的次数，或者说像素的间距等于扫描的步长。在图4中，左图是当光斑图像401的中心位于周边区域403时的示例，右图则是其位于真值图像402(也就是样品的ROI区域)时的示例。无论是哪种情况，经过光斑图像401的照射，再经由显微系统成像，就能得到被照射区域的像；从这个像中可以测量出该区域的反射光(或荧光)的亮度值(不妨称之为“单元亮度值”)；每个单元亮度值对应于图302中的一个像素值。由光学原理可知，反射光或荧光通常正比于“照射光和样品光学特性的乘积”，因此上述单元亮度值(像素值)正比于“光斑图像401中的像素与被照射的像素对应相乘再相加”。在本实施例中，预处理环节确保了周边区域403的反射率为零(或足够小)；在此前提下，如果把上述所有单元亮度值组合成图302，所得的图302就相当于是真值图像402与光斑图像401的卷积。需要注意的是，上述卷积运算隐含了“周边区域403的反射率为零”这个条件；而如果在其它实施例中采用光学特性已知(可能并不为零)的其它材料，同样可将材料的光学特性作为已知条件引入卷积运算，此时的卷积运算可能会比“为零”的情况稍微复杂一些，但都可用本发明的思路进行类似的处理。

由上述过程可知，在知道了图302(称为中间图像)和光斑图像401之后，即可采用反卷积技术来求解真值图像402；其中，光斑图像401由于是人为产生的，因此可以事先估算或测量得到。求解真值图像402则可以采用任选的反卷积技术，比如：求解逆问题、求解方程组、逆滤波、维纳滤波、盲反卷积、代数方法、神经网络、机器学习、最优化、正则化等各种方法中的某一种，或者多种方法的组合来实现，也可以采用其它任何一种有效的反卷积方法，均包含在本发明的思路范围内。此外，当反射光或荧光并不正比于“照射光和样品光学特性的乘积”，而是存在更复杂的对应关系时，也可以依此类推建立图像间的关系，然后用对应的解法来求真值图像；这也是本发明思路的体现。

通过上述处理流程，最终得到的真值图像402比图301包含了更多的像素，同时又比图302更清晰，所以它具有更高的分辨率，能够从中观察到更多的细节。可见，通过本发明的处理，成像分辨率得到了提高。

以上所述仅为本发明的较佳实施例而已，其描述比较具体和详细，但并非用于限定本发明的保护范围。对于本领域的普通技术人员，凡在本发明的思路或原则之内，所做的任何修改、变形、改进、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种提高光学显微系统分辨率的方法，其特征在于：在成像之前先消除样品ROI周围区域的不确定性，在成像之后对所得的图像进行反卷积。

2.如权利要求1所述的方法，其特征在于：在样品ROI周围、到ROI的距离小于光斑尺寸的区域内，光学反射特性和荧光激发特性应当已知或可以近似估算。

3.如权利要求1所述的方法，其特征在于：所述的反卷积是指任何能够消除卷积对于数据的影响的方法，可以通过求解逆问题、求解方程组、逆滤波、维纳滤波、盲反卷积、代数方法、神经网络、机器学习、最优化、正则化等各种方法中的某一种，或者多种方法的组合来实现，也可以采用其它任何一种有效的反卷积方法。