CN110942448B - 一种基于卷积神经网络的定量相位图像识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的定量相位图像识别方法，属于定量相位成像领域，包括如下步骤：利用基于光强传输方程理论的光路采集样品的相位图像，并把相位图像作为训练集和测试集使用；设计卷积神经网络结构，并确定卷积神经网络的初始化参数以及训练过程中的策略；在Tensorflow深度学习框架下，利用训练集训练提出的网络模型，再用测试集验证效果，完成定量相位图像的识别。本发明将采集的相位图像转换为数值矩阵格式存储，充分利用卷积神经网络在图像矩阵处理中的优势，用训练的网络参数代替人为制定的分类标准，在测试集上取得较高的准确率，识别效果良好。

Description

一种基于卷积神经网络的定量相位图像识别方法

技术领域

本发明涉及定量相位成像领域，尤其涉及一种基于卷积神经网络的定量相位图像识别方法。

背景技术

定量相位成像技术(QPI)在过去的数十年取得了巨大的进步，尤其是在生物细胞检测领域。在QPI的视场中，透明或半透明的样品在视场中每个位置上的光程差都被定量的计算出来，从而获得关于样品的详细结构信息，其灵敏度取决于光学信息接收元件，最高可以达到纳米量级。另一方面，定量相位成像技术具有无损伤、免标记的特性，相比于传统的检测手段，QPI可以免去许多观测前的预处理步骤，从而快速地、定量地动态观测样品。由于样品与组织的结构都被转化为相应的参数信息，这在一定程度上减少了观测人员的主观性，有利于后续的检测或诊断工作。

但是，由于该技术主要基于光干涉或衍射原理对样品成像，样品的厚度和折射率信息耦合在相移中，造成了对不规则形态样品和异质样品形态结构分析的困难，人工很难标准化相应的特征信息，提高了后续相位图像自动化检测分类的难度。

发明内容

本发明所要解决的问题是，针对不规则形态样品和异质样品相位值分布对自动化检测流程造成的困难，提供了一种基于卷积神经网络的定量相位图像识别方法。

本发明是通过如下技术方案得以实现的：

一种基于卷积神经网络的定量相位图像识别方法，包括如下步骤：

步骤S1、利用基于光强传输方程理论的光路采集样品的相位图像，并把相位图像作为训练集和测试集使用；

步骤S2、设计卷积神经网络结构，并确定卷积神经网络的初始化参数以及训练过程中的策略；

步骤S3、在Tensorflow深度学习框架下，利用步骤S1获得的训练集对卷积神经网络进行训练；对训练后得到的模型再用步骤S1得到的测试集进行效果验证，完成定量相位图像的识别。

进一步的，步骤S1中，相位图像是通过免标记数字细胞成像系统Biophase进行采集的。

进一步的，所述免标记数字细胞成像系统可拍摄活细胞的定性及定量相位图，数字细胞成像系统包括倒置显微镜和基于光强传输方程计算相位的光路；数字细胞成像系统采用中心波长为574nm的卤素灯作为光源，利用滤光片提高光源相干性后，通过倒置显微镜系统照射在样品上，然后通过物镜成像，透射光经由反射镜改变方向后通过4f系统，光信号经由分光镜分束后分别被放置在焦平面和非焦平面的CCD采集，最后由Biophase软件计算样品的相位分布信息。

进一步的，步骤S2所设计的卷积神经网络结构共包括8层，依次为第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Flatten层、全连接层、Dropout层、输出层；其中，第一卷积层包括32个尺寸为5×5×1的卷积核，滑动步长设置为1；第一最大池化层的下采样尺寸为2×2，滑动步长设置为2；第二卷积层包括64个尺寸为5×5×32的卷积核，滑动步长设置为1；第二最大池化层的下采样尺寸为2×2，滑动步长设置为2；Flatten层将多维数据扁平化为一维向量；全连接层包含512个神经元；Dropout层用来缓解过拟合，比率设置为50％；在第一卷积层、第二卷积层和全连接层后分别连接激活函数ReLU。

进一步的，步骤S2确定的卷积神经网络训练策略中，使用预测概率与正确概率的平均交叉熵作为损失函数Loss(w)的值，具体计算公式为：

式中，N为每轮训练喂入神经网络的训练样本数量，h_i为第i个样本对应的输出，是包含多个元素的一维向量，h_ij为向量中第j个元素的值，h_it为样本正确标签对应的元素值，C为样本的总类别数，R(w)是参数的L2正则化项，可以有效的抑制大数值权重，更新参数规则采用适应性矩估计算法Adam。

有益效果在于：

本发明将采集的相位图像转换为数值矩阵格式存储，充分利用卷积神经网络在图像矩阵处理中的优势，用训练的网络参数代替人为制定的分类标准，在测试集上取得较高的准确率，识别效果良好；并且，由于相位成像技术具有快速、高灵敏度、免标记的优点，而本发明所述的卷积神经网络一旦训练好，可以在很短的时间里精准识别大量的相位图像，因此二者的结合非常适合在自动化诊断过程中使用，在未来的智慧医疗方面具有很好的前景。

附图说明

图1为本发明提供的基于卷积神经网络的定量相位图像识别方法流程图；

图2为本发明实施例提供的卷积神经网络结构图；

图3为本发明实施例提供的网络训练过程中损失函数值的折线图；

图4为本发明实施例提供的网络训练过程中识别准确率的折线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

结合附图1所示，本发明公开了一种基于卷积神经网络的定量相位图像识别方法，包括如下步骤：

步骤S1、利用基于光强传输方程理论的光路采集样品的相位图像，并把相位图像作为训练集和测试集使用；

步骤S2、设计卷积神经网络结构，并确定卷积神经网络的初始化参数以及训练过程中的策略；

步骤S3、在Tensorflow深度学习框架下，利用步骤S1获得的训练集对卷积神经网络进行训练；对训练后得到的模型再用步骤S1得到的测试集进行效果验证，完成定量相位图像的识别；

步骤S1中包括利用基于光强传输方程理论的光路采集样品的相位图像，使用的设备是免标记数字细胞成像系统Biophase：该系统可拍摄活细胞的定性及定量相位图，主要由倒置显微镜(Olympus GX51)和基于光强传输方程(TIE)计算相位的光路组成。系统采用中心波长为574nm的卤素灯作为光源，利用滤光片提高光源相干性后，通过倒置显微镜系统照射在样品上，然后通过物镜成像，透射光经由反射镜改变方向后通过4f系统，光信号经由分光镜分束后分别被放置在焦平面和非焦平面的CCD采集，最后由Biophase软件计算样品的相位分布信息。

此外，利用MATLAB软件计算模拟了复杂样品的相位分布，原理基于以下公式：

式中，假设光线沿Z轴照射，表示在XOY面上各点处的相移值，n_c(x,y,z)表示细胞内(x,y,z)处的折射率，h(x,y)表示在(x,y)处的细胞介质厚度，n_m为细胞周围介质的折射率，λ为入射光线波长。为了训练网络，共获得了4种相位分布图，分别采集了红细胞、空白噪声相图和8-um聚苯乙烯小球的相位数据，并且模拟了小淋巴细胞的相位分布。

步骤S2包括设计卷积神经网络结构。如图2所示，该卷积神经网络共包括8层，依次为第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Flatten层、全连接层、Dropout层、输出层。其中，第一卷积层包含了32个尺寸为5×5×1的卷积核，滑动步长设置为1；第一最大池化层的下采样尺寸为2×2，滑动步长设置为2；第二卷积层包含了64个尺寸为5×5×32的卷积核，滑动步长设置为1；第二最大池化层的下采样尺寸为2×2，滑动步长设置为2；Flatten层将多维数据扁平化为一维向量；全连接层包含512个神经元；Dropout层用来缓解过拟合，比率设置为50％；在卷积层1、卷积层2和全连接层后分别连接激活函数ReLU。

步骤S2确定的卷积神经网络训练策略中，使用预测概率与正确概率的平均交叉熵作为损失函数Loss(w)的值，具体计算公式为：

式中，N为每轮训练喂入神经网络的训练样本数量，h_i为第i个样本对应的输出，是包含多个元素的一维向量，h_ij为向量中第j个元素的值，h_it为样本正确标签对应的元素值，C为样本的总类别数。R(w)是参数的L2正则化项，可以有效的抑制大数值权重，更新参数规则采用适应性矩估计算法Adam。在每轮更新参数w的过程中，记录了所有参数的滑动平均值，在训练完毕后加载滑动平均值到模型上，可以有效地提高神经网络参数的鲁棒性，参数滑动平均值的更新公式如下：

v_t＝β·v_t-1+(1-β)·w_t

v_t为参数w_t的“影子变量”，下标t表示训练轮数，v_t的初始值就是对应参数w_t的初始值。β表示衰减率，决定了“影子变量”的更新速度，为了使v_t在前期可以更新地更快，此处β设置为动态参数：

decay为预设的滑动平均值衰减速率，训练中设置为0.99，t为训练轮数。更新权重w的算法是训练神经网络中最重要的一环，此处更新规则采用的是适应性矩估计算法Adam。

网络训练所使用的机器配置：CPU型号为Intel i7 8700，主频为3.2GHz，RAM为32GB，GPU型号为RTX 2070，显存为8GB。卷积神经网络的搭建依赖于Tensorflow框架，采用CUDA架构加速计算，依赖numpy库、matlab软件处理数据。

步骤S3中基于深度学习框架Tensorflow，利用步骤S1获得的训练集对卷积神经网络进行训练。如图3所示，在训练过程中损失函数值平滑且迅速地下降，在500轮训练过后收敛到低于0.1的水平，这表明网络模型预测的概率分布与正确的概率分布十分接近。图4展示了训练过程中卷积神经网络识别准确率的变化情况，可以看到模型在训练集上的准确率快速上升，不到100轮训练就达到了100％的准确率并在随后的训练过程中轻微震荡。再用步骤S1建立的测试集对训练完毕后得到的模型进行效果验证，识别准确率达到了99.5％，只有1张红细胞的相位分布图未能正确识别，测试集上分类结果的混淆矩阵如表1所示：

表1测试集上的分类结果混淆矩阵

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (1)

1.一种基于卷积神经网络的定量相位图像识别方法，其特征在于，包括如下步骤：

步骤S1、利用基于光强传输方程理论的光路采集样品的相位图像，并把相位图像作为训练集和测试集使用；

步骤S2、设计卷积神经网络结构，并确定卷积神经网络的初始化参数以及训练过程中的策略；

步骤S3、在Tensorflow深度学习框架下，利用步骤S1获得的训练集对卷积神经网络进行训练；对训练后得到的模型再用步骤S1得到的测试集进行效果验证，完成定量相位图像的识别；

步骤S1中，相位图像是通过免标记数字细胞成像系统Biophase进行采集的；

所述免标记数字细胞成像系统可拍摄活细胞的定性及定量相位图，数字细胞成像系统包括倒置显微镜和基于光强传输方程计算相位的光路；数字细胞成像系统采用中心波长为574nm的卤素灯作为光源，利用滤光片提高光源相干性后，通过倒置显微镜系统照射在样品上，然后通过物镜成像，透射光经由反射镜改变方向后通过4f系统，光信号经由分光镜分束后分别被放置在焦平面和非焦平面的CCD采集，最后由Biophase软件计算样品的相位分布信息；

步骤S2所设计的卷积神经网络结构共包括8层，依次为第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Flatten层、全连接层、Dropout层、输出层；其中，第一卷积层包括32个尺寸为5×5×1的卷积核，滑动步长设置为1；第一最大池化层的下采样尺寸为2×2，滑动步长设置为2；第二卷积层包括64个尺寸为5×5×32的卷积核，滑动步长设置为1；第二最大池化层的下采样尺寸为2×2，滑动步长设置为2；Flatten层将多维数据扁平化为一维向量；全连接层包含512个神经元；Dropout层用来缓解过拟合，比率设置为50％；在第一卷积层、第二卷积层和全连接层后分别连接激活函数ReLU；

步骤S2确定的卷积神经网络训练策略中，使用预测概率与正确概率的平均交叉熵作为损失函数Loss(w)的值，具体计算公式为：

式中，N为每轮训练喂入神经网络的训练样本数量，h_i为第i个样本对应的输出，是包含多个元素的一维向量，h_ij为向量中第j个元素的值，h_it为样本正确标签对应的元素值，C为样本的总类别数，R(w)是参数的L2正则化项，可以有效的抑制大数值权重，更新参数规则采用适应性矩估计算法Adam。