CN116259053B - 基于卷积神经网络的医学显微图像成像焦点预测方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的医学显微图像成像焦点预测方法，包括以下步骤：S1、构建医学显微图像的实验数据集；S2、将实验数据集输入优化的DenseNet网络，得到预测的样本焦距，完成医学显微图像成像焦点预测。本发明设置了优化的DenseNet网络，用于对高分辨显微成像图像焦距的预测，将SENet模块引入高分辨显微成像图像焦距的预测中，以减少信息损失，强调特征通道，验证了深度学习在显微成像焦距预测的可行性和实用性，本发明优化的DenseNet网络是轻量级的，其大小占ResNet50模型的12%,在同一设备下训练时间提高了33.3％。

Description

基于卷积神经网络的医学显微图像成像焦点预测方法

技术领域

本发明属于显微镜成像领域，具体涉及基于卷积神经网络的医学显微图像成像焦点预测方法。

背景技术

现如今使用显微镜检查载玻片上薄切片和染色的组织切片，仍然是研究中使用最频繁的微观检测技术，在生物医学、材料化学、工业检测等方面都有着不可替代的作用。当显微镜用于活细胞成像时，由于显微镜主体的热波动和显微镜样本的移动，可能会出现散焦模糊现象。此外，由于样本的形貌不均匀，也会产生运动模糊现象。散焦模糊和运动模糊作为两种最常见的显微成像伪影，会严重降低数字病理学仪器的成像质量，因此，保持显微镜的内焦位置是一项挑战。而当面对样本数量大、样本区域大、观测时间长等情况时，手动聚焦是不切实际的。所以对于高精度显微镜的成像来说，自动聚焦是至关重要的。

传统的对焦技术大部分是使用主动对焦方法，这种基于测距的自动对焦方法，通过传感器测量距离来实现，包括有超声波测距法、发射能量法和一些基本的三角测距原理法。而随着精密仪器逐步向着智能化和自动化的方向发展，对显微镜也提出了更高的要求。因此基于数字图像处理的显微自动对焦技术逐渐获得研究人员的关注。基于图像处理的自动对焦方法主要分为离焦深度法和对焦深度法。

由于对样品观察的需求，光学显微镜已成为生物学和医学领域的重要工具。然而，在长期观察期间保持对活体样本的持续关注是不现实的。自动聚焦包括沿着垂直轴移动显微镜载物台以找到最佳聚焦位置，这是对标本进行高质量显微镜成像的关键步骤。目前的自动聚焦算法依赖于样本体积的周期性轴向扫描来捕获多个图像，这是耗时的，不能支持动态样本的高帧率成像，并且可能会对样本产生光毒性和光漂白。

发明内容

针对现有技术中的上述不足，本发明提供的基于卷积神经网络的医学显微图像成像焦点预测方法解决了现有的散焦图像焦距方法预测时间过长的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于卷积神经网络的医学显微图像成像焦点预测方法，包括以下步骤：

S1、构建医学显微图像的实验数据集；

S2、将实验数据集输入优化的DenseNet网络，得到预测的样本焦距，完成医学显微图像成像焦点预测。

进一步地：所述S1中，实验数据集包括自制数据子集和公开数据子集。进一步地：所述自制数据子集包括若干第一散焦图像，采集第一散焦图像的方法具体为：

将样本进行初步对焦，再通过微调对焦获得清晰度最高的图像，将样本移动至设定好的散焦位置，按照1mm的横向步长对样本进行采集第一散焦图像；

其中，设定好的散焦位置范围为-10μm到+10μm，步长为0.5μm。

进一步地：所述公开数据子集包括若干第二散焦图像，采集第二散焦图像的方法具体为：

获取公开的显微图像，保持散焦距离范围为+10μm到-10μm，在显微图像的同一视场下捕获以0.5μm为步长间距的第二散焦图像。

进一步地：所述优化的DenseNet网络包括依次连接的第一网络层、第二网络层和第三网络层；

其中，所述第一网络层包括依次连接的第一卷积层和最大池化层；

所述第二网络层包括依次连接的第一密集块、第二密集块、第三密集块和第四密集块，且密集块之间通过过渡块进行连接，所述第一密集块还与所述最大池化层连接；

所述第三网络层包括依次连接的SENet模块、第一全局平均池化层和第一全连接层，所述SENet过渡还与所述第四密集块连接。

进一步地：所述S2具体为：

将实验数据集输入第一网络层，得到第一特征图，将第一特征图输入第二网络层，通过过渡块压缩密集块的输入信息和提取的特征，得到第二特征图，将第二特征图输入第三网络层，通过SENet模块提取特征，并将其依次输入第一全局平均池化层和第一全连接层，得到预测的样本焦距，完成医学显微图像成像焦点预测。

进一步地：所述第一密集块设置有1个子密集块，所述第二密集块包括4个依次连接的子密集块，所述第三密集块包括8个依次连接的子密集块，所述第四密集块包括2个相互连接的子密集块，每个子密集块的传播公式具体为：

式中，X _L为子密集块输出的特征图，为子密集块中生成的特征图的串联，X _n为子密集块的第n层中生成的特征图，且n=1,…,L-1，L为子密集块的总层数，H _L为归一化函数、激活函数和卷积函数构成的三个连续操作的复合函数。

上述进一步方案的有益效果为：子密集块可以进一步提高每层之间的信息传递有效性。

进一步地：所述过渡块包括依次连接的归一化函数BN层、第一激活函数层、第二卷积层和第二全局平均池化层。进一步地：所述SENet模块包括依次连接的第三全局平均池化层、第二全连接层和第二激活函数层；

其中，所述第三全局平均池化层用于将全局的空间信息压缩到一个通道，生成通道统计信息，所述通道统计信息Z的表达式为：

式中，H为通道的高，W为通道的宽，为图像的局部描述子的集合，i为局部描述子的高，j为局部描述子的宽。

上述进一步方案的有益效果为：SENet通过融合各通道的卷积特征来学习全局信息，并过滤掉不太有用的特征信息，提高模型的表达能力。

进一步地：所述第二激活函数层设置基于Tanh函数的激励操作，所述激励操作S的表达式具体为：

式中，W ₁为升维层参数，W ₂为降维层参数，为ReLu激活函数，/>为Tanh激活函数。

本发明的有益效果为：

（1）本发明提供的基于卷积神经网络的医学显微图像成像焦点预测方法设置了优化的DenseNet网络，用于对高分辨显微成像图像焦距的预测，并且将SENet模块引入高分辨显微成像图像焦距的预测中，以减少信息损失，强调特征通道，提高焦点预测的精度，进一步验证了深度学习在显微成像焦距预测的可行性和实用性。

（2）本发明实验结果验证了DenseNet在多区域、多倍率预测中的有效性，为今后的研究提供了理论依据。

（3）本发明的优化的DenseNet网络是轻量级的，其大小仅占ResNet50模型的12%，且在同一设备下，训练时间对比ResNet50减少了33.3％，避免了传统深度学习模型数据量庞大、预测时间过长的问题。

附图说明

图1为本发明的基于卷积神经网络的医学显微图像成像焦点预测方法流程图。

图2为本发明优化的DenseNet网络结构示意图。

图3为本发明的子密集块结构示意图。

图4为本发明的过渡块结构示意图。

图5为本发明的优化的DenseNet网络得出的预测精度变化结果图一。

图6为本发明的优化的DenseNet网络得出的预测精度变化结果图二。

图7为本发明的优化的DenseNet网络得出的预测精度变化结果图三。

图8为本发明对比三种模型对于多组样本图像的焦距预测结果图一。

图9为本发明对比三种模型对于多组样本图像的焦距预测结果图二。

图10为本发明对比三种模型对于多组样本图像的焦距预测结果图三。

图11为本发明的20x倍率镜头下的误差预测结果图。

图12为本发明的40x倍率镜头下的误差预测结果图。

图13为不同网络预测单张图像所需时间对比结果图一。

图14为不同网络预测单张图像所需时间对比结果图二。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，在本发明的一个实施例中，基于卷积神经网络的医学显微图像成像焦点预测方法，包括以下步骤：

S1、构建医学显微图像的实验数据集；

S2、将实验数据集输入优化的DenseNet网络，得到预测的样本焦距，完成医学显微图像成像焦点预测。

所述S1中，实验数据集包括自制数据子集和公开数据子集。

在本实施例中，自制数据子集使用ML-31-M生物显微镜采集，公开数据子集通过在0.75NA,20倍镜头的Eclipse电动显微镜观测获得，本发明准备两个数据子集的目的为提高优化的DenseNet网络的精确度。

所述自制数据子集包括若干第一散焦图像，采集第一散焦图像的方法具体为：

将样本进行初步对焦，再通过微调对焦获得清晰度最高的图像，将样本移动至设定好的散焦位置，按照1mm的横向步长对样本进行采集第一散焦图像；

其中，设定好的散焦位置范围为-10μm到+10μm，步长为0.5μm。

所述公开数据子集包括若干第二散焦图像，采集第二散焦图像的方法具体为：

获取公开的显微图像，保持散焦距离范围为+10μm到-10μm，在显微图像的同一视场下捕获以0.5μm为步长间距的第二散焦图像。

如图2所示，所述优化的DenseNet网络包括依次连接的第一网络层、第二网络层和第三网络层；

其中，所述第一网络层包括依次连接的第一卷积层和最大池化层；

所述第二网络层包括依次连接的第一密集块、第二密集块、第三密集块和第四密集块，且密集块之间通过过渡块进行连接，所述第一密集块还与所述最大池化层连接；

所述第三网络层包括依次连接的SENet模块、第一全局平均池化层和第一全连接层，所述SENet模块还与所述第四密集块连接。

本发明对DenseNet网络进行优化，减少了DenseNet网络中密集块的卷积层数，并将其中的部分激活函数更换为Tanh函数，使得优化的DenseNet网络结构更加简单，效率更高，在此基础上将SENet模块连接在最后一个密集块之后，在一定程度上提升图像焦距预测任务的精度。

所述S2具体为：

将实验数据集输入第一网络层，得到第一特征图，将第一特征图输入第二网络层，通过过渡块压缩密集块的输入信息和提取的特征，得到第二特征图，将第二特征图输入第三网络层，通过SENet模块提取特征，并将其依次输入第一全局平均池化层和第一全连接层，得到预测的样本焦距，完成医学显微图像成像焦点预测。

所述第一密集块设置有1个子密集块，所述第二密集块包括4个依次连接的子密集块，所述第三密集块包括8个依次连接的子密集块，所述第四密集块包括2个相互连接的子密集块，每个子密集块的传播公式具体为：

式中，X _L为子密集块输出的特征图，为子密集块中生成的特征图的串联，X _n为子密集块的第n层中生成的特征图，且n=1,…,L-1，L为子密集块的总层数，H _L为归一化函数、激活函数和卷积函数构成的三个连续操作的复合函数。

如图3所示，子密集块可以进一步提高每层之间的信息传递有效性，子密集块每个层的输入是所有前面层映射结果的输出，同时也将当前层的特征映射结果作为后面层的输入。

如图4所示，所述过渡块包括依次连接的归一化函数BN层、第一激活函数层、第二卷积层和第二全局平均池化层。

由于密集块的传播公式需要在在特征图大小相同的情况下才可行，因此需要使用过渡块做池化和卷积来改变特征图的大小，使得该层密集块输出的特征图大小与下一层输入的形状大小保持一致。

所述SENet模块包括依次连接的第三全局平均池化层、第二全连接层和第二激活函数层；

其中，所述第三全局平均池化层用于将全局的空间信息压缩到一个通道，生成通道统计信息，所述通道统计信息Z的表达式为：

式中，H为通道的高，W为通道的宽，为图像的局部描述子的集合，i为局部描述子的高，j为局部描述子的宽。

SENet模块用于增加对有用特征信息的敏感度，通过融合各通道的卷积特征来学习全局信息，并过滤掉不太有用的特征信息，提高模型的表达能力。

所述第二激活函数层设置基于Tanh激活函数的激励操作，所述激励操作S的表达式具体为：

式中，W ₁为升维层参数，W ₂为降维层参数，为ReLu激活函数，/>为Tanh激活函数。

本发明将DenseNet网络的Sigmoid激活函数替换为Tanh函数，能够更适应本发明输入的实验数据集。

实施例2：

本实施例针对实施例1提供的一种具体实验。

在本实施例中，本发明实验训练过程在台式计算机上运行，该计算机配有NVIDIAGeForce RTX 3080显卡，Inter Core i5-12600KF CPU和32GB内存。在经过一些小样本测试之后，确定DenseNet网络的参数，使用均方误差（MSE）作为模型损失函数。

设定网络学习率为0.001，利用lr_scheduler机制间隔一定的epoch调整学习率，以达到更好的训练效果，数据批大小设置为50个图像，训练迭代至验证集与训练集loss趋于稳定不在下降时，停止训练。数据集采用公开数据集的RGBchannels图像按照9:1比例划分为训练集和验证集，彼此之间不存在交集。为了验证网络的性能，本次实验比较ResNet50网络结构，以及Bottleneck Transformer（BotNet）网络，分别得到每一种网络结构的实验结果。

根据上述指标进行训练，得出的预测精度变化结果如图5~图7所示，DenseNet网络在整个训练过程训练集和验证集的loss值振荡范围不大，大约在50个epoch以后，测试集和验证集两者的loss值均在0.005之内波动，并且在训练过程中有一个明显的下降过程，最终模型loss值稳定在1E-05附近。相反另外两个网络在训练过程中loss值波动较大，其中BotNet验证集loss值在0.01到0.02之间剧烈波动，无法下降；而Resnet50在训练到一定epoch后，误差会剧烈增加，之后又断崖式下降，loss值无法稳定，两种网络最终模型loss值只能下降到1E-04附近，训练效果相对于DenseNet网络是欠佳的。

另外，本发明对比了ResNet50、BotNet和DenseNet对于多组样本图像的焦距预测结果，选取了其中三组数据其误差结果分布如图8~图10所示。

为了进一步的评估本发明的优化的DenseNet网络的性能，本文还利用上述采集的20组数据共包含大约11万张大小为224x224的图像数据进行训练和测试，同样按照9:1的比例划分为训练集和验证集，两组数据之间没有交集。按照上述网络参数指标进行训练分别得到20X镜头下和40镜头下的网络模型，并以此来预测不同倍镜下散焦图像的焦距。

如图11和图12所示，本发明先将预测图片划分为3x3的九个区域，这些区域不存在重叠部分，分别对这些区域进行焦距预测，对比两种倍镜下的预测效果，20X的预测效果要优于40X，误差大约降低了100nm~200nm。这是由于40X显微镜头下的视场更加窄，包含的细胞数量更少，边缘位置相对于20X镜头变得更加模糊，使得在切割为小图像之后，每张图像可能会包含很多空白区域，导致其特征信息更加模糊稀少，使得预测焦距误差增加。

从实验结果可以看出，无论是20x还是40x的数据，DenseNet网络的误差明显小于其余两种网络，部分区域相对于BotNet网络、ResNet50网络提高的1~2倍的精度。另外，网络对于图像中部的预测结果要优于边缘位置，这大概率是由于整个视场过大，显微镜头和相机无法整个视场范围进行聚焦，导致处于边角上的位置可能存在更加模糊的现象，因此在训练和预测过程中，可以选择处于更加处于视场中心的图像，会得到更加确切的结果。

除了对于误差减小的要求，计算加速也是重要目的。此处利用三种模型直接预测单张图像焦距，均在同一计算平台上进行实验并得到运行时间。具体的对比效果如图13和图14示，从时间效率上对比来看，DeseNet网络计算时间减少了0.02s~0.04s。结合上述实验内容，这就表明该网络在精度和时间上都要优于ResNet50和BotNet。

本发明通过对测试集中两千多张图像的预测结果评估，与BotNet和ResNet50两种网络相比较，DenseNet预测图像焦距的精确度提高了 1~2 倍。

本发明的有益效果为：本发明提供的基于卷积神经网络的医学显微图像成像焦点预测方法设置了优化的DenseNet网络，用于对高分辨显微成像图像焦距的预测，并且将SENet模块引入高分辨显微成像图像焦距的预测中，以减少信息损失，强调特征通道，提高焦点预测的精度，进一步验证了深度学习在显微成像焦距预测的可行性和实用性。

本发明通过利用多区域、多倍率下的图像数据进行实验，验证了优化的DenseNet在焦距预测方面的有效性。

本发明的优化的DenseNet网络是轻量级的，其大小仅占ResNet50模型的12%，且在同一设备下，训练时间对比ResNet50减少了33.3％，避免了传统深度学习模型数据量庞大、预测时间过长的问题。

在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (5)

1.一种基于卷积神经网络的医学显微图像成像焦点预测方法，其特征在于，包括以下步骤：

S1、构建医学显微图像的实验数据集；

S2、将实验数据集输入优化的DenseNet网络，得到预测的样本焦距，完成医学显微图像成像焦点预测；

所述优化的DenseNet网络包括依次连接的第一网络层、第二网络层和第三网络层；

其中，所述第一网络层包括依次连接的第一卷积层和最大池化层；

所述第二网络层包括依次连接的第一密集块、第二密集块、第三密集块和第四密集块，且密集块之间通过过渡块进行连接，所述第一密集块还与所述最大池化层连接；

所述第三网络层包括依次连接的SENet模块、第一全局平均池化层和第一全连接层，所述SENet模块还与所述第四密集块连接；

所述第一密集块设置有1个子密集块，所述第二密集块包括4个依次连接的子密集块，所述第三密集块包括8个依次连接的子密集块，所述第四密集块包括2个相互连接的子密集块，每个子密集块的传播公式具体为：

式中，X _L为子密集块输出的特征图，为子密集块中生成的特征图的串联，X _n为子密集块的第n层中生成的特征图，且n=1,…,L-1，L为子密集块的总层数，H _L为归一化函数、激活函数和卷积函数构成的三个连续操作的复合函数；

所述过渡块包括依次连接的归一化函数BN层、第一激活函数层、第二卷积层和第二全局平均池化层；

所述SENet模块包括依次连接的第三全局平均池化层、第二全连接层和第二激活函数层；

其中，所述第三全局平均池化层用于将全局的空间信息压缩到一个通道，生成通道统计信息，所述通道统计信息Z的表达式为：

式中，H为通道的高，W为通道的宽，为图像的局部描述子的集合，i为局部描述子的高，j为局部描述子的宽；

所述第二激活函数层设置基于Tanh激活函数的激励操作，所述激励操作S的表达式具体为：

式中，W ₁为升维层参数，W ₂为降维层参数，为ReLu激活函数，/>为Tanh激活函数。

2.根据权利要求1所述的基于卷积神经网络的医学显微图像成像焦点预测方法，其特征在于，所述S1中，实验数据集包括自制数据子集和公开数据子集。

3.根据权利要求2所述的基于卷积神经网络的医学显微图像成像焦点预测方法，其特征在于，所述自制数据子集包括若干第一散焦图像，采集第一散焦图像的方法具体为：

将样本进行初步对焦，再通过微调对焦获得清晰度最高的图像，将样本移动至设定好的散焦位置，按照1mm的横向步长对样本进行采集第一散焦图像；

其中，设定好的散焦位置范围为-10μm到+10μm，步长为0.5μm。

4.根据权利要求2所述的基于卷积神经网络的医学显微图像成像焦点预测方法，其特征在于，所述公开数据子集包括若干第二散焦图像，采集第二散焦图像的方法具体为：

获取公开的显微图像，保持散焦距离范围为+10μm到-10μm，在显微图像的同一视场下捕获以0.5μm为步长间距的第二散焦图像。

5.根据权利要求1所述的基于卷积神经网络的医学显微图像成像焦点预测方法，其特征在于，所述S2具体为：

将实验数据集输入第一网络层，得到第一特征图，将第一特征图输入第二网络层，通过过渡块压缩密集块的输入信息和提取的特征，得到第二特征图，将第二特征图输入第三网络层，通过SENet模块提取特征，并将其依次输入第一全局平均池化层和第一全连接层，得到预测的样本焦距，完成医学显微图像成像焦点预测。