CN113077395B - 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 - Google Patents

Abstract

本发明公开了一种高倍光学显微镜下大尺寸样品图像的去模糊方法，属于光学图像的去模糊处理技术领域。该方法包括：利用高倍光学显微镜对高度校准标准样品采集不同深度的图像，根据这些图像构建显微镜成像的三维能量扩散模型；利用该显微镜采集观测样品的一幅模糊图像，然后根据样品表面深度变化情况，再将该模糊图像切分为不同的图像块，根据三维能量扩散模型求解与各模糊图像块相对应的光学传递函数；利用光学传递函数、傅里叶变换和反傅立叶变换对模糊图像块完成去模糊处理后，对去模糊后的不同深度图像块和基底图像进行拼接，得到样品的清晰图像。该方法简单、易用，且可实现在高倍光学观测中对大尺寸目标特征的全局清晰观测并可达到实时效果。

Description

一种高倍光学显微镜下大尺寸样品图像的去模糊方法

技术领域

本发明涉及光学图像的去模糊方法，特别涉及一种高倍光学显微镜下大尺寸样品图像的去模糊方法。

背景技术

高倍光学显微镜具有景深小、成像易模糊的特点，对待观测样品沿相机光轴方向的深度变化非常敏感。当观测大尺寸样品时，样品表面沿相机光轴方向的深度变化值大于相机景深，根据凸透镜成像原理，样品表面只有位于相机焦平面的部分可以成清晰的像，位于焦平面以外的部分成像是模糊的。此时，改变样品和相机之间的距离，可以实现样品表面不同深度的位置交替清晰成像，却无法获得完整样品表面的清晰图像，这种光学成像原理引起的局部模糊成像的现象严重影响了大尺寸样品全局特性的准确观测。

图像去模糊是指成像后通过图像处理方式重新构造一幅清晰图像的过程。目前，常用的图像去模糊方法包括：非盲反卷积方法和盲反卷积方法。前者是在已知具体模糊成因的情况下，估计出决定图像模糊程度的光学能量扩散参数值，再通过反卷积方法实现图像去模糊的过程；后者是不考虑模糊原因，通过优化迭代获取最优光学能量扩散参数值，进而完成去模糊。但是，上述两种方法一般都是假设图像中样品表面处于同一深度，或者图像中样品表面的深度变化与相机景深相比是可以忽略的。实际应用中处理大尺寸和/或多样品的光学图像时，样品表面深度值变化往往是复杂、连续且变化值大于相机景深的，这使得现有的去模糊方法很难估计出整幅图像的光学能量扩散参数值，去模糊时难免顾此失彼，严重影响去模糊后全局图像的准确性。

发明内容

针对现有技术存在的不足，本发明的目的是通过构建高倍光学显微镜成像的三维能量扩散模型，提供一种大尺寸样品图像的去模糊方法，以实现高倍光学显微成像中对大尺寸目标的全局光学特征的精确观测。

本发明的技术方案是：

一种高倍光学显微镜下大尺寸样品图像的去模糊方法，包括如下步骤：

步骤1：利用预先确定的高倍光学显微镜对高度校准标准样品采集不同深度的图像，得到不同模糊程度的序列图像，根据该序列图像构建显微镜成像的三维能量扩散模型；

步骤2：利用该显微镜采集观测样品的一幅模糊图像，根据三维能量扩散模型求解与该模糊图像相对应的光学传递函数；

步骤3：利用光学传递函数、傅里叶变换和反傅立叶变换对模糊图像进行去模糊处理，得到对应的清晰图像。

进一步地，根据所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，所述步骤1包括如下内容：首先对高度校准标准样品采集不同深度的序列图像，得到不同模糊程度的高度校准标准样品图像，并将它们转换为灰度图像；再在每一幅灰度图像的同一位置进行剪切，从每一幅灰度图像上切分出一个图像块，进而得到多个相同大小的图像块；然后计算每一个图像块的高频能量值并对每一个图像块的高频能量值以上述图像块中最清晰图像块的高频能量值作归一化处理；最后对由各图像块分别对应的归一化的高频能量值和相对深度构成的散点图进行拟合，得到高倍光学显微成像的三维能量扩散模型。

进一步地，根据所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，对由各图像块分别对应的归一化的高频能量值和相对深度构成的散点图进行四阶曲线拟合，得到高倍光学显微成像的三维能量扩散模型。

进一步地，根据所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，所述步骤2进一步包括如下步骤：

步骤2.1：完成步骤1中所述的高度校准标准样品图像的采集后，固定焦距、像距和数值孔径，继续利用该显微镜采集样品的一幅图像，然后计算该图像中清晰部分的高频能量值；

步骤2.2：再利用该显微镜采集样品的一幅模糊图像，根据样品表面深度变化情况，将该模糊图像划分为不同深度的模糊图像块；

步骤2.3：计算各模糊图像块的高频能量值，并以步骤2.1中得到的图像中清晰部分的高频能量值作归一化处理；

步骤2.4：将各模糊图像块归一化后的高频能量值分别代入步骤1中得到的三维能量扩散模型，从而求解出各模糊图像块分别对应的相对深度；

步骤2.5：根据各模糊图像块分别对应的相对深度计算每一模糊图像块对应的光程差；

步骤2.6：根据每一模糊图像块的光程差求解每一模糊图像块对应的光学传递函数。

进一步地，根据所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，所述图像块的高频能量值的计算公式如下：

其中，g′(x,y)代表任一图像块；M代表图像块的宽度；N代表图像块的长度；x,y分别代表成像平面的水平方向和垂直方向。

进一步地，根据所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，所述的步骤3包括如下内容：

首先对每一模糊图像块的空域图像g_ik(x,y)进行傅里叶变换得到频域图像G_jk(u,v)，再利用对应的光学传递函数OTF(u,v,w)通过式(10)得到G_jk(u,v)的清晰图像F_jk(u,v)：

然后对F_jk(u,v)进行反傅立叶变换得到与模糊图像块g_ik(x,y)对应的空间域清晰图像c_ik(x,y)即去模糊后的图像块；最后，对去模糊后的不同深度图像块和基底图像进行拼接，得样品完整的清晰图像c_j(x,y)。

与现有技术相比，本发明具有如下有益效果：(1)针对现有的基于单一深度的图像反卷积方法对大尺寸样品图像进行去模糊处理时不能实现全局图像清晰的问题，本发明运用光学传递函数中的光程差、高频能量值和景物深度之间的数学关系，并通过自适应深度划分进行不同深度处的图像去模糊，实现了在高倍光学观测中对大尺寸目标特征的全局清晰观测效果。(2)与现有的去模糊方法相比，本发明能够在实际场景中达到简单、易用的效果。(3)与非盲反卷积或者盲反卷积去模糊方法在时域中的运算相比，本发明方法中的去模糊过程是在频域中进行的运算，使得运算更快，可达到实时的效果。

附图说明

图1为本发明高倍光学显微镜下大尺寸样品图像的去模糊方法流程图；

图2(a)-(e)为本发明实施例采集的不同深度的高度校准标准样品的序列图像；

图3为本发明实施例标准样品图像的高频能量值与景物相对深度间的关系曲线；

图4(a)为本发明实施例利用高倍光学显微镜拍摄的多微球模糊图像；(b)为从(a)中截取的单个微球图像的放大图；

图5为本发明实施例中对单个微球图像进行的多深度划分图像及对应的去模糊图像，其中(a)-(e)为去模糊前划分的不同深度图像块；(f)-(j)为去模糊后的不同深度图像块；(k)为去模糊后的基底图像；(l)微球完整的清晰图像；

图6(a)是利用高倍光学显微镜对观测样品拍摄的模糊图像，图6(b)是通过本发明方法对图6(a)去除模糊后的清晰图像。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

为解决现有的基于单一深度的图像反卷积方法对大尺寸样品图像进行去模糊处理时不能实现全局图像清晰的问题，本发明提供的高倍光学显微镜下大尺寸样品图像的去模糊方法的基本思路是：首先选定高倍光学显微镜，确定高倍光学显微镜的参数，通过选定的高倍光学显微镜采集一系列不同深度的高度校准标准样品图像，根据该系列图像构建高倍光学显微镜成像的三维能量扩散模型，而后再通过该高倍光学显微镜采集包含若干个微米聚苯乙烯球(以下简称微球)的大尺寸模糊图像，采用矩形区域将该图像中的各个微球切分出来；然后根据样品表面深度变化情况，再将每个独立的微球图像切分为不同的图像块，之后根据构建的三维能量扩散模型，完成模糊图像块的去模糊处理；再然后对去模糊后的不同深度图像块和基底图像进行拼接，得到每个独立微球的完整的清晰图像，最后可将分别得到的多个独立微球的完整的清晰图像拼接起来，得到完整的清晰图像。

下面根据本发明方法的基本思路，结合附图和优选实施例对本发明的高倍光学显微镜下大尺寸样品图像的去模糊方法做进一步详细的说明。

图1是本发明实施例的高倍光学显微镜下大尺寸样品图像的去模糊方法流程图，所述高倍光学显微镜下大尺寸样品图像的去模糊方法，包括：

步骤1：利用预先确定的高倍光学显微镜采集一系列高度校准标准样品图像，根据该系列图像构建显微镜成像的三维能量扩散模型；

在本实施例中，选定美国Navitar光学显微镜作为摄像机，该显微镜的相关参数为：物镜放大倍数为10倍、显微镜的像距I₀＝3.15mm、理想物距d₀＝10mm和焦距f＝2.40mm。

在本实施例中，利用该高倍光学显微镜对BudgetSensors生产的HS-500MG产品采集一系列图像，称为高度校准标准样品图像，所述高度校准标准样品表面的深度变化，相对于景物深度变化可以忽略不计。HS-500MG产品中的栅格(Microgrid)为纳米栅格，栅格高500nm，宽1500nm，误差在3％以内。

在本实施例中，首先以步长1微米来改变景物(即栅格)和相机间的距离，采集不同深度的序列图像，得到不同模糊程度的图像，并将它们转换为灰度图像，在每一幅灰度图像的同一位置进行剪切，从每一幅灰度图像上切分出一个长度和宽度均为140个像素的图像块，进而可得到多个相同大小的图像块，如图2(a)、(b)、(c)、(d)、(e)所示。

然后按照式(1)计算每一个图像块的高频能量值Eh(d)：

式中，M代表图像块的宽度；N代表图像块的长度；g_d(x,y)代表景物深度相对于理想物距改变距离d即相对深度为d的滤除低频信息后的模糊图像块，单位为像素；Eh(d)代表图像块g_d(x,y)的高频能量值；x,y分别代表成像平面的水平方向和垂直方向。

再然后，将各图像块的高频能量值按照式(2)进行归一化处理；

Eh_{i_norm}＝Eh_i/Eh₀ (2)

式中，Eh_i为第i个图像块的高频能量值；Eh₀为所有图像块中最清晰图像块g₀(x,y)的高频能量值；Eh_{i_norm}为第i个图像块的归一化后的高频能量值。

最后，按照式(3)对由各图像块归一化的高频能量值Eh_{i_norm}和相对深度d构成的散点图进行四阶曲线拟合，得到简化后的高倍光学显微成像的三维能量扩散模型T(d)，拟合曲线如图3所示。

T(d)＝ad⁴+bd³+pd²+qd+r (3)

其中，参数a、b、p、q、r均为常数。

步骤2：利用该显微镜采集样品的一幅模糊图像，根据步骤2得到的三维能量扩散模型求解与该模糊图像相对应的光学传递函数；

在本实施例中，采用多个微球——微米聚苯乙烯球作为待观测样品，各微球的直径均为10.08μm，误差在3％以内。

步骤2.1：完成步骤1中所述的高度校准标准样品图像的采集后，固定焦距、像距和数值孔径，继续利用该显微镜采集样品的一幅图像，该图像视为观测样品的一幅清晰图像，然后计算该图像中清晰部分的高频能量值；

在本实施例中，固定焦距、像距和数值孔径，利用该显微镜采集该样品的一幅清晰图像后，通过M×N矩形区域对图像中任一微球进行切分，其中M＝126个像素，N＝126个像素，然后对切分出的该微球图像计算其清晰部分的高频能量值Eh_0N，公式为：

式中，g_0N(x,y)为所切分出的微球图像中的清晰部分。

步骤2.2：再利用该显微镜采集样品的一幅模糊图像g(x,y)，根据样品表面深度变化情况，将图像划分为不同深度的模糊图像块。

在本实施例中，首先对g(x,y)进行剪切得到包含单独一个微球的图像块g_i(x,y)，图像块大小为126×126，剪切前的图像g(x,y)如图4(a)所示，剪切下来的图像块g_i(x,y)的放大图如图4(b)所示。然后根据该微球表面深度变化情况，按照深度从小到大的顺序，将图像块g_j(x,y)再划分为5个不同深度的模糊图像块g_ik(x,y)，如图5(a)-(e)所示。

步骤2.3：计算各模糊图像块g_ik(x,y)的高频能量值Eh_jk，并以Eh_0N作归一化处理；

步骤2.4：将各模糊图像块归一化后的高频能量值分别输入三维能量扩散模型T(d)，通过式(6)求解各模糊图像块分别对应的相对深度d：

步骤2.5：根据各模糊图像块对应的相对深度d和公式(7)计算每一模糊图像块的光程差w：

w＝-I₀-(β-I₀)cosα'+(I₀ ²+2I₀(β-d₀)+(β-I₀)²cos²α')^1/2 (7)

其中，I₀为高倍光学显微镜的像距，本实施例中为3.15mm；α'为高倍光学显微镜的像方孔径角，本实施例中为0.9456°；β的表达式为：

步骤2.6：根据每一模糊图像块的光程差和式(9)得到每一模糊图像块对应的光学传递函数(optical transfer function,OTF)；

式中，J₁(·)表示1阶贝塞尔函数；λ为显微镜系统的中心波长，本实施例中使用的可见光的中心波长λ＝500nm；s是归一化的空间频率；w为离焦成像时的波前球面与参考球面在极限光线处的光程差；s是归一化的空间频率；(u,v)表示像平面的空间频率坐标；(u,v,w)表示像平面在光程差为w时的空间频率坐标。

步骤3：利用光学传递函数、傅里叶变换和反傅立叶变换对模糊图像进行去模糊处理，得到对应的清晰图像；

在本实施方式中，首先对每一模糊图像块的空域图像g_ik(x,y)进行傅里叶变换得到频域图像G_jk(u,v)，再利用光学传递函数通过式(10)得到G_jk(u,v)的清晰图像：

然后对F_jk(u,v)进行反傅立叶变换得到与模糊图像块g_ik(x,y)对应的空间域清晰图像c_ik(x,y)，如图5(f)-(j)所示，图5(f)-(j)分别是依次与图5(a)-(e)逐一对应的清晰图像即去模糊后的图像块。去模糊后的基底图像如图5(k)所示。

最后，对不同深度去模糊后的图像块和基底图像(承载样品的载玻片)进行拼接，得到该微球完整的清晰图像c_j(x,y)，如图5(l)所示。

步骤4：如果观测样品中仅含有一个独立的大尺寸样品，样品表面深度是变化的，则可按照步骤1至步骤3的方法完成观测样品模糊图像的去模糊处理得到完整的清晰图像，但是由于本实施例的观测样品包含有多个微球样品，本领域技术人员容易想到还需要按照步骤2.2的方法从模糊图像g(x,y)中将分别包含其他单个微球的图像块进行剪切，各图像块大小均为126×126，再针对每一个图像块划分不同深度的模糊图像块，然后按照步骤2.3至步骤2.6的方法得到每一模糊图像块对应的光学传递函数，再按照步骤3的方法得到每一个微球的完整的清晰图像，最后将得到的多个单独微球的完整的清晰图像拼接起来，即可得到本实施例观测样品的完整的清晰图像c(x,y)。

图6(a)是利用高倍光学显微镜对观测样品拍摄的模糊图像，图6(b)是通过本发明方法对图6(a)去除模糊后的清晰图像。通过图6(a)与图6(b)的对比，可以看出本发明方法较好地恢复了多微球动态模糊图像的边缘特征。再通过计算图像平均梯度和拉普拉斯算子值对清晰度量化，图6(a)示出的模糊图像的平均梯度只有0.0073，而图6(b)示出的经过去模糊后的图像的平均梯度为0.0113。图5(a)示出的模糊图像的拉普拉斯算子值只有35.4322，而图6(b)示出的经过去模糊后的图像的拉普拉斯算子值达到了112.2475。由此可见，去模糊后的图像清晰度评价值即平均梯度和拉普拉斯算子值均有了较大提高，所以，对于高倍光学显微镜下大尺寸样品的模糊图像，利用本发明方法能够有效去除其模糊获得多样品的全局清晰图像，有效提高了微纳米视觉下对大尺寸目标特征的观测效果。

虽然以上描述了本发明的具体实施方式，但是本领域内的熟练的技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变更或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (3)

1.一种高倍光学显微镜下大尺寸样品图像的去模糊方法，其特征在于，包括如下步骤：

步骤1：利用预先确定的高倍光学显微镜对高度校准标准样品采集不同深度的图像，得到不同模糊程度的序列图像，根据该序列图像构建显微镜成像的三维能量扩散模型；

步骤2：利用该显微镜采集观测样品的一幅模糊图像，根据三维能量扩散模型求解与该模糊图像相对应的光学传递函数；

步骤3：利用光学传递函数、傅里叶变换和反傅立叶变换对模糊图像进行去模糊处理，得到对应的清晰图像；

所述步骤1包括如下内容：首先对高度校准标准样品采集不同深度的序列图像，得到不同模糊程度的高度校准标准样品图像，并将它们转换为灰度图像；再在每一幅灰度图像的同一位置进行剪切，从每一幅灰度图像上切分出一个图像块，进而得到多个相同大小的图像块；然后计算每一个图像块的高频能量值并对每一个图像块的高频能量值以上述图像块中最清晰图像块的高频能量值作归一化处理；最后对由各图像块分别对应的归一化的高频能量值和相对深度构成的散点图进行拟合，得到高倍光学显微成像的三维能量扩散模型；

所述步骤2进一步包括如下步骤：

步骤2.1：完成步骤1中所述的高度校准标准样品图像的采集后，固定焦距、像距和数值孔径，继续利用该显微镜采集样品的一幅图像，然后计算该图像中清晰部分的高频能量值；

步骤2.2：再利用该显微镜采集样品的一幅模糊图像，根据样品表面深度变化情况，将该模糊图像划分为不同深度的模糊图像块；

步骤2.3：计算各模糊图像块的高频能量值，并以步骤2.1中得到的图像中清晰部分的高频能量值作归一化处理；

步骤2.4：将各模糊图像块归一化后的高频能量值分别代入步骤1中得到的三维能量扩散模型，从而求解出各模糊图像块分别对应的相对深度；

步骤2.5：根据各模糊图像块分别对应的相对深度计算每一模糊图像块对应的光程差；

步骤2.6：根据每一模糊图像块的光程差求解每一模糊图像块对应的光学传递函数；

所述的步骤3包括如下内容：

首先对每一模糊图像块的空域图像g_ik(x,y)进行傅里叶变换得到频域图像G_jk(u,v)，再利用对应的光学传递函数OTF(u,v,w)通过式(10)得到G_jk(u,v)的清晰图像F_jk(u,v)：

然后对F_jk(u,v)进行反傅立叶变换得到与模糊图像块g_ik(x,y)对应的空间域清晰图像c_ik(x,y)即去模糊后的图像块；最后，对去模糊后的不同深度图像块和基底图像进行拼接，得样品完整的清晰图像c_j(x,y)。

2.根据权利要求1所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，其特征在于，对由各图像块分别对应的归一化的高频能量值和相对深度构成的散点图进行四阶曲线拟合，得到高倍光学显微成像的三维能量扩散模型。

3.根据权利要求1所述的高倍光学显微镜下大尺寸样品图像的去模糊方法，其特征在于，所述图像块的高频能量值的计算公式如下：

其中，g′(x,y)代表任一图像块；M代表图像块的宽度；N代表图像块的长度；x,y分别代表成像平面的水平方向和垂直方向。