CN110836867A - 一种基于卷积神经网络的无透镜全息显微微粒表征方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的无透镜全息显微微粒表征方法。该方法的步骤为：S1先采集暗场图像，然后采集光源均匀照射下的明场图像；S3在传感器上方放置样本，采集不同折射率的样本的显微图像，并标注每张图像对应的折射率；S3对所有全息显微图像进行平场校正；S4计算图像中所有微粒的中心，并切割各个微粒的图像；S5清洗切割后的所有图像，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。本发明的方法可以对大视场下的生物样本进行快速、方便、准确的表征。

Description

一种基于卷积神经网络的无透镜全息显微微粒表征方法

技术领域

本发明属于显微图像领域，尤其涉及一种基于卷积神经网络的无透镜全息显微微粒表征方法。

背景技术

无透镜全息显微镜近年来已经成为新的成像技术。传统的光学显微镜为了获得高分辨率，必须使用放大倍率的物镜与目镜，才得以观察到微小的生物图像。而无透镜全息显微，完全摒弃了光学镜头，直接对透过物体的光线采样。作为数字全息技术，通过传感器的感光阵列捕捉光线，并通过光电转化显示图像信息，后续可方便地进行图像处理。此外，无透镜全息显微的结构紧凑，并具有与成像传感器一致大小的视场，为资源有限的环境中大视场下多微粒的同时表征提供了一种可能的解决方案。

定位和表征胶体粒子对于生物医学、流体力学、软物质物理学等领域的研究有着重要意义。通常这类研究都利用全息显微技术，结合光传播理论和光散射理论，从显微图像中获取有用信息。先前的一些解决表征和追踪胶体粒子或其他软物质的工作，都以标准倒置光学显微为基础，并利用散射理论、光的传播理论来定量地分析单个粒子的全息显微图像，并得到粒子精确的空间信息、尺寸信息以及其折射率。此方法被延伸使用至胶体凝聚体、蛋白质凝聚体以及水质中各类微粒或其凝聚物的表征中，可以得到它们的等效折射率，以此区别于其他悬浮物。为了将全息图更好地拟合至对应的散射理论，上述技术均采用启发式算法，如最小二乘方法进行迭代计算，这通常是耗时、计算复杂度高的方法。

近年来，随着机器学习和深度学习的普及与发展，机器学习与深度学习也逐渐运用于无透镜显微及对胶体粒子的研究中。得益于卷积神经网络的快速性和高效性，无透镜显微领域中的自动对焦算法可由深度卷积神经网络快速地等效实现，对胶体粒子的追踪也可由深度卷积神经网络完成，而现有对各类微粒的表征仍采用上述的启发式算法，进行复杂且耗时的迭代，这已经远远不能满足需求。

发明内容

针对以上现有技术中存在的缺陷，本发明的目的在于提供一种基于卷积神经网络的无透镜全息显微微粒表征方法。

本发明采用的技术方案为：

一种基于卷积神经网络的无透镜全息显微微粒表征方法，包括如下步骤：

S1，先采集暗场图像，然后采集光源均匀照射下的明场图像；

S2，在传感器上方放置微粒悬浮液，并保证微粒悬浮液到传感器的距离远小于微粒悬浮液到光源的距离；打开光源，采集不同折射率的微粒悬浮液的显微图像，并标注每张图像对应的折射率；

S3，对步骤S2采集的所有显微图像进行平场校正；

S4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并作为中心，以固定尺寸为半径，切割各个微粒的图像；

S5，将切割后的所有图像清洗后，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。

进一步地，所述步骤S2中，先将微粒悬浮液稀释至几乎没有微粒重合的程度，微粒随机分布于悬浮液中。

进一步地，所述步骤S2中，每次采集拍摄的显微图像只包含一种折射率的微粒，每种折射率的悬浮液随机取若干滴，分别拍摄多组图像。

进一步地，所述步骤S3中，平场校正的具体方法为：将采集的暗场图像表示为I_d，采集的明场图像表示为I₀，采集的图像序列中的任意一张全息图表示为I，则对全息图I进行平场校正后的图像b表示为：

进一步地，所述步骤S4中，利用方向对准变换方法计算所有微粒的中心，并根据卷积神经网络的输入尺寸进行相同尺寸的裁剪，得到相同尺寸的数据集；其中，方向对准变换方法的具体步骤为：

(1)进行方向对准变换

将平场校正后的图像b(r)与Savitzky-Golay滤波器卷积得到梯度图像

r为表示坐标的矢量，平场校正后的图像b(r)中梯度的空间变化方向ψ(r)为：

其中

表示梯度的幅度值，表示梯度图

中每一个像素所指定的方向与x轴的夹角，ψ(r)的相位分布在[0，2π]；将ψ(r)与一个对称的转换核

作卷积，其中θ表示K(r)的相位，并且K(r)的相位与ψ(r)的相位是相互补充的关系，即对应于每个像素点，K(r)的相位与ψ(r)的相位的和为2π；r表示衰减因子，确保每个像素点对其中心的估计具有相等的权重；

卷积运算后得到

Ψ(r)＝∫K(r-r′)ψ(r′)d²r′

Ψ(r)即为进行方向对准变换后得到的复振幅图；

(2)亚像素定位

对步骤(1)得到的复振幅图Ψ(r)取模的平方|Ψ(r)|²，表示方向对准变换后的强度图；因此平场校正后的图像b(r)的微粒中心转换成方向对准变换后的强度图|Ψ(r)|²的亮度中心，通过设定合适的阈值挑选出图像中的局部亮度较大值即前景图像，将图像二值化；然后标记二值图像的八连通区域，每个连通区域标记类别标签；按照标记结果，分别对每个连通区域进行扫描，存储区域内每个像素的坐标和方向对准变换后的强度值；最后计算出每个连通区域内的亮度中心位置，亮度中心的位置通过连通的像素点的坐标的加权平均得到，加权系数由每个像素点的亮度决定，亮度越大则权值越高，每个亮度中心即代表了一个微粒的中心。

本发明的方法巧妙地将微粒的折射率表征问题转化为分类问题，与现有技术相比，其显著优点为：(1)无透镜全息显微能满足生物样本的大视场观测需求，实现大视场下的生物样本的表征、识别。(2)相比于利用复杂的理论和非线性拟合技术对微粒进行表征、计算复杂度大耗时长的传统启发式算法，本发明基于卷积神经网络的微粒表征方法在网络训练完成后，可方便又快速地表征微粒的折射率信息，几乎可以实时地完成一次显微成像中所有微粒的折射率表征，进而统计该悬浮液样本中微粒的分布情况。

附图说明

图1是本发明基于卷积神经网络的无透镜全息显微微粒表征方法的流程图。

图2是本发明实施例中所用装置的结构示意图，其中，1-相干光源，2-样本，3-传感器。

图3是本发明实施例中拍摄的大视场全息图。

图4是利用方向对准变换标定微粒中心并进行切割的结果示意图。

具体实施方式

参见图1，本发明基于卷积神经网络的无透镜全息显微微粒表征方法，具体步骤如下：

S1：关闭光源，在暗室条件下(无环境杂散光的情况)利用图像传感器3拍摄暗场图像。用于拍摄图像的无透镜全息显微装置参见图2，包括相干光源1、图像传感器3等。打开光源，在暗室条件下(无环境杂散光的情况)采集光源均匀照射下的明场图像。

S2，在传感器3的上方放置样本2(悬浮液样本)。样本2到传感器3的距离远小于样本2到相干光源1的距离。这一方面使得从样本2传播到传感器3平面的入射波可以视为平面波，另一方面保证了无透镜全息显微装置的单倍放大率(即对样本2基本不存在放大)，提供和芯片大小一致的大视场(FOV，field-of-view，)的同时不需要任何其他光学元件。

打开光源1，线极化的激光束入射到样本2平面，样本2散射入射光，在传感器3平面入射光与散射光发生干涉，传感器3采集干涉图案即全息图。每份悬浮液样本内只包含同一种折射率的微粒，大小尺寸可不相同，每次拍摄，选择一份悬浮液样本，并将悬浮液稀释至几乎没有微粒重合的程度，微粒随机分布于悬浮液中。从悬浮液中多次吸取溶液，滴至传感器3上方，静置片刻拍摄全息图像，标注该图像内微粒对应的折射率信息。擦拭干净后，再次滴落溶液至传感器3上方，以同样的方法拍摄并标注图像信息。对每份悬浮液样本(对应一种折射率)随机采集多组数据后，切换至下一份悬浮液样本，拍摄不同折射率微粒的显微图像，重复上述过程。拍摄过程中，保证图像亮度适中。首次拍摄后，不再手动调整相机参数。拍摄的全息图参见图3。

S3，对步骤S2的所有全息显微图像进行平场校正。

该步骤中，选择全息图序列的任意一张全息图，将按步骤S1中所描述的采集的暗场图像表示为I_d，将按步骤S2中所描述的采集的明场图像表示为I₀，将按步骤S3中所描述的采集的全息图序列中需要计算的任意一张全息图表示为I，将按步骤S4中所描述的估计出的背景图像表示为I_b，则对I进行平场校正后的图像b表示为：

对全息图像做平场校正得到一幅相对值图像，并不会对图像处理产生不良影响，并且能够消除各像素响应不一的情况，缓解光照不均匀带来的图像值不均匀的问题。

S4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并以此为中心，以固定尺寸为半径，切割各个微粒的图像。

该步骤中，利用一种基于局部方向的连续变换来有效检测微粒中心，称之为方向对准变换。根据同轴全息理论，拍摄到的微粒图像认为是入射光与散射光的叠加，其表现为明暗相间的同心圆，因此检测各微粒中心即检测各同心圆的圆心，并且图像中的圆的边缘像素的强度梯度方向总是指向或者远离圆心方向。基于方向对准变换的微粒定位主要包含如下步骤：

(1)方向对准变换

为了降低对图像噪声的敏感度，将平场校正后的显微图像b(r)与Savitzky-Golay滤波器卷积得到梯度图像图中的每一个像素都指定了一个方向：

φ(r)是与x轴的夹角。定义一个新的参数来表示b(r)中梯度的空间变化方向：

指数上的因子2是考虑到由梯度获得的方向信息的性质，ψ(r)的相位分布在[0，2π]。利用

加权该参数，根据不同梯度值对每个像素点进行加权，并且强调来自高梯度像素区域的贡献。根据这个方向场的对称性，将ψ(r)与一个对称的转换核相卷积，转换核的形式为

卷积后得到结果

Ψ(r)＝∫K(r-r′)ψ(r′)d²r′

K(r)的相位与ψ(r)的相位是相互补充的关系，即对应于每个像素点，K(r)的相位与ψ(r)的相位的和为2π。由此可知，沿着方向为θ＝φ(r′)的线r-r′进行积分时，被积函数都是非负实数，而沿着其他方向积分的被积函数都是复数值。因此，沿着b(r)的梯度方向的积分运算在图像的对称中心累加正值结果。相反，复数值的积分运算的累加结果通常会相互抵消。在距离圆心较大距离处对应b(r)中的更多像素点，因而往往会对b(r)的中心位置产生更大影响，因子1/r尽可能确保散射图中所有条纹对其中心的估计具有相等的权重。进行变换后，本质是对可能的圆心(即微粒中心)进行了投票，值越大的像素点代表是微粒中心的可能性更大。

方向对准变换可通过傅里叶卷积定理方便地进行运算：

其中

是ψ(r)的傅里叶变换，并且

是K(r)的傅里叶变换。方向对准变换可以通过对ψ(r)做一个快速傅里叶变换，再在频域乘以一个预先计算好的卷积核

后执行一次逆傅里叶变换计算。

(2)亚像素定位

在经过以上的方向对准变换后，b(r)的圆心因此转换成B(r)＝|Ψ(r)|²的亮度中心，因此需要识别、定位峰值中心。通过设定合适的阈值挑选出图像中的局部亮度较大值，将图像二值化。亚像素定位算法过程如下：按八连通寻找二值图像连通的区域，每个连通区域标记类别标签1,2,3，...，n，检查连通区域的数量，其数量即代表了定位的圆心数量。分别对每个连通区域进行扫描，找出每个连通区域内连通的像素点，即候选的亮度中心点，并存储其坐标信息和通过方向对准变换后的像素值。最后计算出每个区域内的圆心位置，圆心的位置通过连通的像素点的坐标的加权平均得到，加权系数由每个像素点的亮度决定，亮度越大即B(r)＝|Ψ(r)|²值越大则权值越高。

最后，以检测的圆心为微粒中心，对原图像进行切割，将原始图像切割为固定尺寸的数据，并且每张图像都带有标注信息，即此微粒的折射率信息。利用方向对准变换检测圆心并进行切割的结果示意图如图4所示，其十字线为圆心，矩形框为切割区域。

S6，将切割下来的所有图像清洗后，随机分为训练集、验证集和测试集。将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果；

该步骤中，采用的卷积神经网络为深度残差网络，即ResNet，层数为50层。这个网络的优点是，随着层数的增加，网络的精度不断上升，不会出现梯度爆炸和梯度弥散的现象。采用残差作为网络的输出，加快了收敛速度，对于微粒折射率不同造成的散射图像之间微小的差异更加敏感。

图像清洗去除无效图像、脏图像，如有微粒重叠的图像、无微粒的图像、被污染的图像等。只保留微粒在中心，图案清晰、明暗适中的图像。然后按照7∶2∶1的比例将所有图像随机分为训练集、验证集和测试集。将训练集的数据输入深度残差分类卷积神经网络中，训练网络各参数，按照一定的周期在验证集上验证效果，并调整超参数，最后在测试集上测试最终效果。由于此方法中，将折射率信息离散化，分类的结果对应的折射率标签即为微粒的折射率表征结果，表征了其组成成分。

Claims (7)

1.一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，包括如下步骤：

S1，先采集暗场图像，然后采集光源均匀照射下的明场图像；

S2，在传感器上方放置微粒悬浮液，并保证微粒悬浮液到传感器的距离远小于微粒悬浮液到光源的距离；打开光源，采集不同折射率的微粒悬浮液的显微图像，并标注每张图像对应的折射率；

S3，对步骤S2采集的所有显微图像进行平场校正；

S4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并作为中心，以固定尺寸为半径，切割各个微粒的图像；

S5，将切割后的所有图像清洗后，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。

2.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S2中，先将微粒悬浮液稀释至几乎没有微粒重合的程度，微粒随机分布于悬浮液中。

3.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S2中，每次采集拍摄的显微图像只包含一种折射率的微粒，每种折射率的悬浮液随机取若干滴，分别拍摄多组图像。

4.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S3中，平场校正的具体方法为：将采集的暗场图像表示为I_d，采集的明场图像表示为I₀，采集的图像序列中的任意一张全息图表示为I，则对全息图I进行平场校正后的图像b表示为：

5.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S4中，利用方向对准变换方法计算所有微粒的中心，并根据卷积神经网络的输入尺寸进行相同尺寸的裁剪，得到相同尺寸的数据集；其中，方向对准变换方法的具体步骤为：

(1)进行方向对准变换

将平场校正后的图像b(r)与Savitzky-Golay滤波器卷积得到梯度图像

r为表示坐标的矢量，平场校正后的图像b(r)中梯度的空间变化方向ψ(r)为：

其中

表示梯度的幅度值，

表示梯度图

中每一个像素所指定的方向与x轴的夹角，ψ(r)的相位分布在[0，2π]；将ψ(r)与一个对称的转换核

作卷积，其中θ表示K(r)的相位，并且K(r)的相位与ψ(r)的相位是相互补充的关系，即对应于每个像素点，K(r)的相位与ψ(r)的相位的和为2π；r表示衰减因子，确保每个像素点对其中心的估计具有相等的权重；

卷积运算后得到

Ψ(r)＝∫K(r-r′)ψ(r′)d²r′

Ψ(r)即为进行方向对准变换后得到的复振幅图；

(2)亚像素定位

对步骤(1)得到的复振幅图Ψ(r)取模的平方|Ψ(r)|²，表示方向对准变换后的强度图；因此平场校正后的图像b(r)的微粒中心转换成方向对准变换后的强度图|Ψ(r)|²的亮度中心，通过设定合适的阈值挑选出图像中的局部亮度较大值即前景图像，将图像二值化；然后标记二值图像的八连通区域，每个连通区域标记类别标签；按照标记结果，分别对每个连通区域进行扫描，存储区域内每个像素的坐标和方向对准变换后的强度值；最后计算出每个连通区域内的亮度中心位置，亮度中心的位置通过连通的像素点的坐标的加权平均得到，加权系数由每个像素点的亮度决定，亮度越大则权值越高，每个亮度中心即代表了一个微粒的中心。

6.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S5中，采用的卷积神经网络为深度残差网络。

7.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S5中，按照7∶2∶1的比例将清洗后的图像随机分为训练集、验证集和测试集。

Images