CN115731226A - 一种皮肤镜图像中病灶的分割方法 - Google Patents

Abstract

一种皮肤镜图像中病灶的分割方法，属于图像处理分割领域，包括对收集到的原始皮肤镜图像和对应的分割标签进行预处理；将预处理后的皮肤镜图像和对应的分割标签划分为训练集、验证集和测试集，并对训练集做数据增强处理；构建用于分割皮肤镜图像中病灶的分割网络；训练用于分割皮肤镜图像中病灶的分割网络；生成分割结果。通过主干网络实现了特征的重用和深度监督；通过级联融合模块提取了病灶高级语义特征和空间位置信息；通过空间通道注意力模块增强了通道和空间相关信息的提取，减少了错误信息；通过互嵌入模块增强了特征的融合。本发明对于大小不同、不规则、毛发遮挡和模糊边界的病灶具有突出的分割性能，强适应性、高鲁棒性和高分割精度。

Description

一种皮肤镜图像中病灶的分割方法

技术领域

本发明涉及一种皮肤镜图像中病灶的分割方法，属于图像处理分割技术领域。

背景技术

在早期的皮肤镜图像的研究中，主要基于经典的数字图像方法实现病灶的分割。通常可以分为：阈值法、区域法、边界法和活动轮廓法四大类。早期基于数字图像处理的病灶分割方法的鲁棒性有待提高，在实际应用中很难适应高度变化的样本。特别的，无法有效处理皮肤镜图像病灶区域的不规则和对比度低的问题，因此早期的分割算法很难取得令人满意的分割效果。自从深度学习的概念出现后，基于卷积神经网络(ConvolutionNeuralNetwork，CNN)的深度学习方法在图像分割、图像分类和目标检测上取得了巨大的成功。同样地，卷积神经网络(ConvolutionNeuralNetwork，CNN)改变了皮肤镜图像分割和识别领域的发展，实现了端到端的训练与预测。虽然基于卷积神经网络的皮肤镜图像分割方法作用显著，但是在深度建模过程中仍然存在很多挑战，大多数现有的皮肤镜图像分割模型存在特征信息提取不充分以及分割结果中保留的边缘信息较少且边缘模糊的难题。如公开号为CN107203999A的中国专利公开的《一种基于全卷积神经网络的皮肤镜图像自动分割方法》以及公开号为CN109886986A的中国专利公开的《一种基于多分支卷积神经网络的皮肤镜图像分割方法》，它们都是采用基于卷积神经网络的分割方法实现的皮肤镜图像分割方法，都存在无法有效处理边界模糊、特征信息提取不充分以及分割结果中保留的边缘信息较少的问题。

发明内容

本发明的目的是针对现有皮肤镜图像分割模型存在的无法有效处理边界模糊、特征信息提取不充分以及分割结果中保留的边缘信息较少的问题，提供一种皮肤镜图像中病灶的分割方法。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种皮肤镜图像中病灶的分割方法，包括以下步骤：

步骤S1、对收集到的原始皮肤镜图像和对应的分割标签进行预处理；

步骤S2、将预处理后的皮肤镜图像和对应的分割标签划分为训练集、验证集和测试集，并对训练集做数据增强处理；

步骤S3、构建用于分割皮肤镜图像中病灶的分割网络；

步骤S4、训练用于分割皮肤镜图像中病灶的分割网络，获取最优分割模型；

步骤S5、利用最优分割模型生成分割结果。

进一步的，步骤S1的具体操作过程如下：

S1.1收集原始皮肤镜图像，原始皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC2016和已公开的皮肤镜图像数据集PH2；

S1.2采用三次插值的方法将原始皮肤镜图像的分辨率缩放至512×512，采用最近邻的方法将对应的分割标签的分辨率缩放至512×512，并将缩放后的皮肤镜图像和对应的分割标签转化为.npy格式。

进一步的，步骤S2的具体操作过程如下：

S2.1数据集划分

将来源于国际皮肤公开挑战赛数据集ISIC2016且经预处理后的皮肤镜图像和对应的分割标签划分为训练集和验证集，训练集包含900个样本，验证集包含379个样本；将来源于皮肤镜图像数据集PH2且经预处理后的皮肤镜图像和对应的分割标签划分为测试集，测试集包含200个样本；

S2.2训练集数据增强处理；

对训练集中的皮肤镜图像和对应的分割标签进行数据增强处理，包括水平翻转、垂直翻转和随机旋转。

进一步的，步骤S3中，所述分割网络包括：主干网络、级联融合模块、空间通道注意力模块、互嵌入模块、第六1×1卷积层、第七1×1卷积层、第八1×1卷积层、第九1×1卷积层和第十1×1卷积层；通过主干网络对原始皮肤镜图像进行特征提取，输出四张多尺度特征图，其中一张特征图通过空间通道注意力模块进行处理以增强通道和提取空间相关信息，另外三张特征图分别经过第六1×1卷积层、第七1×1卷积层、第八1×1卷积层处理后通过级联融合模块进行特征交互操作；通过互嵌入模块将级联融合模块处理后的特征与空间通道注意力模块处理后的特征进行特征融合操作，所得结果经过第十1×1卷积层处理后输出对应的特征图；级联融合模块处理后的特征经过第九1×1卷积层处理后输出对应的特征图；将第十1×1卷积层输出的特征图和第九1×1卷积层输出的特征图进行元素相加操作，得到最终的分割结果。

进一步的，所述主干网络包括：第一8层谐波稠密块至第五8层谐波稠密块、第一3×3卷积层、第二3×3卷积层、第一1×1卷积层至第五1×1卷积层、第一最大池化层至第四最大池化层；将原始皮肤镜图像导入主干网络，依次经过第一3×3卷积层、第二3×3卷积层、第一最大池化层、第一8层谐波稠密块、第一1×1卷积层处理后，所得结果分别导入空间通道注意力模块和第二最大池化层进行处理，导入第二最大池化层处理后的结果再依次经过第二8层谐波稠密块、第二1×1卷积层、第三8层谐波稠密块、第三1×1卷积层处理后，所得结果分别导入第六1×1卷积层和第三最大池化层进行处理，导入第三最大池化层处理后的结果再依次经过第四8层谐波稠密块、第四1×1卷积层处理后，所得结果分别导入第七1×1卷积层和第四最大池化层进行处理，导入第四最大池化层处理后的结果再依次经过第五8层谐波稠密块和第五1×1卷积层处理后，所得结果导入第八1×1卷积层进行处理。

进一步的，所述级联融合模块包括：第一特征金字塔模块至第五特征金字塔模块、第三3×3卷积层、第四3×3卷积层；对第八1×1卷积层的处理结果进行2倍上采样，所得结果分别导入第一特征金字塔模块和第二特征金字塔模块，将第一特征金字塔模块的处理结果与第七1×1卷积层的处理结果进行相乘操作，所得结果与第二特征金字塔模块的处理结果进行串联操作，最后通过第三3×3卷积层进行处理得到串联后的特征；对第七1×1卷积层的处理结果进行2倍上采样，所得结果导入第三特征金字塔模块，对第八1×1卷积层的处理结果进行4倍上采样，所得结果导入第四特征金字塔模块，将第三特征金字塔模块的处理结果、第四特征金字塔模块的处理结果和第六1×1卷积层的处理结果进行相乘操作，将所得映射与第五特征金字塔模块的处理结果进行串联操作，最后将所得特征映射引入第四3×3卷积层进行降维处理得到串联后的特征。

进一步的，每个特征金字塔模块均包括：第十一1×1卷积层、第十二1×1卷积层、第一深度扩张卷积模块至第四深度扩张卷积模块；导入特征金字塔模块的初始特征先经过第十一1×1卷积层处理，所得结果沿通道平均等分为4等块特征，第1等块特征导入第一深度扩张卷积模块进行处理，所得处理结果与第2等块特征进行元素相加操作，所得结果再导入第二深度扩张卷积模块进行处理，所得处理结果与第3等块特征进行元素相加操作，所得结果再导入第三深度扩张卷积模块进行处理，所得处理结果与第4等块特征进行元素相加操作，所得结果导入第四深度扩张卷积模块进行处理；将第一深度扩张卷积模块的处理结果、第二深度扩张卷积模块的处理结果、第三深度扩张卷积模块的处理结果和第四深度扩张卷积模块的处理结果进行串联操作，所得串联结果使用第十二1×1卷积层恢复通道数，所得结果与导入特征金字塔模块的初始特征进行元素相加操作。

进一步的，所述空间通道注意力模块包括：空间注意力模块和通道注意力模块；所述空间注意力模块包括：第一沿通道平均池化层、沿通道最大池化层、7×7卷积层和第一Sigmoid函数；所述通道注意力模块包括：第一平均池化层、第五最大池化层、第十三1×1卷积层至第十六1×1卷积层、ReLU函数和第二Sigmoid函数；将第一1×1卷积层的处理结果分别导入第一沿通道平均池化层和沿通道最大池化层，并将这两个池化层处理得到的结果进行串联，串联后的特征再通过7×7卷积层和第一Sigmoid函数处理，所得结果与空间通道注意力模块的原始输入进行相乘操作；将第一1×1卷积层的处理结果分别导入第一平均池化层和第五最大池化层，并将第一平均池化层处理得到的结果由第十三1×1卷积层处理，将第五最大池化层处理得到的结果由第十四1×1卷积层处理；将第十三1×1卷积层的处理结果通过ReLU函数和第十五1×1卷积层处理后使特征恢复到原始通道数，同时将第十四1×1卷积层的处理结果通过ReLU函数和第十六1×1卷积层处理后使特征恢复到原始通道数，将第十五1×1卷积层的处理结果和第十六1×1卷积层的处理结果进行元素相加操作并通过第二Sigmoid函数处理后，所得结果与空间通道注意力模块的原始输入进行相乘操作；最后将空间注意力模块和通道注意力模块处理后的特征进行元素相加操作，得到含有丰富空间信息的低级特征。

进一步的，所述互嵌入模块包括：第二沿通道平均池化层、第二平均池化层、第十七1×1卷积层至第二十1×1卷积层；第一部分，将来自空间通道注意力模块的特征导入第十七1×1卷积层进行处理，将来自级联融合模块的特征导入第十九1×1卷积层进行处理后再导入第二平均池化层和第二十1×1卷积层进行处理，将第十七1×1卷积层处理结果与第二十1×1卷积层处理结果进行元素相乘操作；第二部分，将来自级联融合模块的特征导入第十九1×1卷积层进行处理，将来自空间通道注意力模块的特征导入第十七1×1卷积层进行处理再导入第二沿通道平均池化层和第十八1×1卷积层进行处理，将第十八1×1卷积层处理结果和第十九1×1卷积层处理结果进行元素相乘操作；将第一部分的结果与第二部分的结果进行元素相加操作，使特征相融合，得到包含高级语义信息和空间位置信息的特征图。

进一步的，步骤S4和步骤S5的具体操作过程如下：

步骤S4、将数据增强后的训练集分批导入分割网络中，损失函数采用二值交叉熵损失函数和交并比损失函数的组合，由主干网络处理后的特征导入级联融合模块和互嵌入模块生成高级特征图，与对应的分割标签经过损失函数的计算得到对应的特征损失；将来自级联融合模块的特征损失与互嵌入模块的特征损失进行相加得到总损失，再通过AdamW优化器和总损失反向传播优化分割网络的参数，每进行1个epoch的完整训练，用验证集对分割网络的训练效果进行验证，验证集的Jaccard系数最大时得到最优分割模型；在分割网络的训练过程中，初始学习率设为0.0001，引入余弦退火的策略来调整学习率，批次大小设为8，训练200个epoch；

步骤S5、将测试集中的皮肤镜图像导入到已训练完成的最优分割模型中，得到皮肤镜图像对应的分割结果图。

本发明的有益效果是：

本发明的一种皮肤镜图像中病灶的分割方法，通过收集含有分割标签的皮肤镜原始图像，并进行图像预处理；然后对皮肤镜原始图像进行数据集划分，具体划分为训练集、验证集和测试集，同时对训练集进行数据增强处理；构建用于分割皮肤镜图像中病灶的分割网络，该分割网络以HarDNet(Harmonic DenseNet)作为主干网络，并引入级联融合模块CFM(CascadedFusionModule)、空间通道注意力模块SCAM(SpatialChannelAttentionModule)，再由互嵌入模块MEM(MutualEmbeddingModule)负责特征融合；将训练集和验证集导入分割网络中进行训练，训练后得到用于分割的最优分割模型；将测试集在最优分割模型中预测得到分割结果。

与现有技术相比，本发明具有以下优点：

1、本发明采用了HarDNet作为最优分割模型的主干网络，提取了更强大和关键的特征，实现了特征的重用和深度监督，并有效地降低了内存占用。

2、本发明根据主干网络HarDNet，设计了三个组件：级联融合模块CFM、空间通道注意力模块SCAM和互嵌入模块MEM。通过级联融合模块内部的特征金字塔模块和渐进的方法，有效地提取病灶的高级语义特征和空间位置信息；同时，通过空间通道注意力模块增强了通道和空间相关信息的提取，获取了病灶的细节信息，有效地减少了低级特征中的错误信息；通过互嵌入模块有效地增强了特征的融合，有效地补充了病灶的结构信息。

3、本发明对于大小不同、不规则、毛发遮挡和模糊边界的病灶具有突出的分割性能，具有强适应性、高鲁棒性和高分割精度等优点，具有较好的应用前景。

4、本发明针对现有的皮肤镜图像分割模型存在的无法有效处理边界模糊、特征信息提取不充分以及分割结果中保留的边缘信息较少的问题，提出了一种新的解决方法，本发明提高了分割的精确度和鲁棒性，即使在极端情况下也能准确的定位病灶边界。

附图说明

图1为本发明的一种皮肤镜图像中病灶的分割方法流程图。

图2为用于分割皮肤镜图像中病灶的分割网络的结构示意图。

图3为级联融合模块CFM的结构示意图。

图4为特征金字塔模块FPM的结构示意图。

图5为深度扩张卷积模块DDCM的结构示意图。

图6为空间通道注意力模块SCAM的结构示意图。

图7为互嵌入模块MEM的结构示意图。

图8为本发明的一种皮肤镜图像中病灶的分割方法应用实施例示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明的一种皮肤镜图像中病灶的分割方法，包括以下步骤：

步骤S1、对收集到的原始皮肤镜图像和对应的分割标签进行预处理；

步骤S2、将预处理后的皮肤镜图像和对应的分割标签划分为训练集、验证集和测试集，并对训练集做数据增强处理；

步骤S3、构建用于分割皮肤镜图像中病灶的分割网络；

步骤S4、训练用于分割皮肤镜图像中病灶的分割网络，获取最优分割模型；

步骤S5、利用最优分割模型生成分割结果。

本发明的一种皮肤镜图像中病灶的分割方法，具体操作步骤如下：

步骤S1、收集原始皮肤镜图像，对收集到的原始皮肤镜图像和对应的分割标签进行预处理；

S1.1原始皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC2016和已公开的皮肤镜图像数据集PH2，通过收集原始皮肤镜图像从而形成原始皮肤镜图像数据集，并且每张原始皮肤镜图像上均带有对应的分割标签；

S1.2预处理：为方便分割网络的训练，采用三次插值的方法将原始皮肤镜图像的分辨率缩放至512×512，同时采用最近邻的方法将对应的分割标签的分辨率缩放至512×512，并将缩放后的皮肤镜图像和对应的分割标签转化为.npy格式。

步骤S2、对预处理后的皮肤镜图像和对应的分割标签进行数据集划分，具体划分为训练集、验证集和测试集，并对其中的训练集做数据增强处理；

S2.1数据集划分

将国际皮肤公开挑战赛数据集ISIC2016和皮肤镜图像数据集PH2联合使用，将来源于国际皮肤公开挑战赛数据集ISIC2016且经预处理后的皮肤镜图像和对应的分割标签划分为训练集和验证集，训练集包含了900个样本，验证集包含了379个样本；将来源于皮肤镜图像数据集PH2且经预处理后的皮肤镜图像和对应的分割标签划分为测试集，测试集包含了200个样本；

S2.2训练集数据增强处理；

对训练集中的皮肤镜图像和对应的分割标签进行数据增强处理，具体包括水平翻转、垂直翻转和随机旋转。

步骤S3、构建用于分割皮肤镜图像中病灶的分割网络；

如图2所示，所构建的分割网络是一个端到端的结构，主要包括：主干网络HarDNet(HarmonicDenseNet)、级联融合模块CFM(CascadedFusionModule)、空间通道注意力模块SCAM(SpatialChannelAttentionModule)和互嵌入模块MEM(MutualEmbeddingModule)以及第六1×1卷积层Conv8-第十1×1卷积层Conv12。其中，主干网络HarDNet的结构是通过对DenseNet(Densely ConnectedConvolutionalNetwork)中的稠密块进行改进所获得的，具有高效的推理速度和高精度的分割性能。级联融合模块CFM通过渐进的方法聚合了不同尺度特征，有效地获取了来自主干网络HarDNet中病灶的语义信息。空间通道注意力模块SCAM增强了空间和通道相关信息的提取以及建模。互嵌入模块MEM高效聚合了来自级联融合模块CFM的语义信息和空间通道注意力模块SCAM的空间信息。

所构建的分割网络的整体操作流程如下：

将原始皮肤镜图像(如图2中A所示)导入主干网络HarDNet，由主干网络HarDNet进行特征提取，输出四张多尺度特征图，其中将来自第一1×1卷积层Conv3的特征图通过空间通道注意力模块SCAM进行处理以增强通道和提取空间相关信息，将来自第三1×1卷积层Conv5、第四1×1卷积层Conv6、第五1×1卷积层Conv7的三张特征图分别经过第六1×1卷积层Conv8、第七1×1卷积层Conv9、第八1×1卷积层Conv10处理后通过级联融合模块CFM进行特征交互操作；通过互嵌入模块MEM将级联融合模块CFM处理后的特征与空间通道注意力模块SCAM处理后的特征进行特征融合操作，所得结果经过第十1×1卷积层Conv12处理后输出对应的特征图(如图2中B所示)；级联融合模块CFM处理后的特征经过第九1×1卷积层Conv11处理后输出对应的特征图(如图2中D所示)；将第十1×1卷积层Conv12输出的特征图(如图2中B所示)和第九1×1卷积层Conv11输出的特征图(如图2中D所示)进行元素相加操作，得到最终的分割结果(如图2中C所示)

如图2所示，所说的主干网络HarDNet作为特征提取的主干，具体可采用HardNet68，所说的HarDNet68主要由五个8层谐波稠密块HarDBlk(HarmonicDenseBlock)(第一8层谐波稠密块HarDBlk1-第五8层谐波稠密块HarDBlk5)、两个3×3卷积层(第一3×3卷积层Conv1和第二3×3卷积层Conv2)、五个1×1卷积层(第一1×1卷积层Conv3-第五1×1卷积层Conv7)和四个最大池化层(第一最大池化层MaxPool1至第四最大池化层MaxPool4)组成。每个谐波稠密块HarDBlk后面均设置一个1×1卷积层来调整通道数。其中，第二8层谐波稠密块HarDBlk2和第三8层谐波稠密块HarDBlk3输出的特征图尺度相同，第四8层谐波稠密块HarDBlk4和第五8层谐波稠密块HarDBlk5输出的特征图尺度依次减半。

将原始皮肤镜图像(如图2中A所示)导入主干网络HarDNet，由主干网络HarDNet进行特征提取，输出四张多尺度特征图，具体操作如下：

将原始皮肤镜图像(如图2中A所示)导入主干网络HarDNet，依次经过第一3×3卷积层Conv1、第二3×3卷积层Conv2、第一最大池化层MaxPool1、第一8层谐波稠密块HarDBlk1、第一1×1卷积层Conv3处理后，所得结果分别导入空间通道注意力模块SCAM和第二最大池化层MaxPool2进行处理，其中，导入第二最大池化层MaxPool2处理后的结果再依次经过第二8层谐波稠密块HarDBlk2、第二1×1卷积层Conv4、第三8层谐波稠密块HarDBlk3、第三1×1卷积层Conv5处理后，所得结果分别导入第六1×1卷积层Conv8和第三最大池化层MaxPool3进行处理，其中，导入第三最大池化层MaxPool3的结果处理后再依次经过第四8层谐波稠密块HarDBlk4、第四1×1卷积层Conv6处理后，所得结果分别导入第七1×1卷积层Conv9和第四最大池化层MaxPool4进行处理，其中，导入第四最大池化层MaxPool4处理后的结果再依次经过第五8层谐波稠密块HarDBlk5和第五1×1卷积层Conv7处理后，所得结果导入第八1×1卷积层Conv10进行处理；第六1×1卷积层Conv8、第七1×1卷积层Conv9、第八1×1卷积层Conv10处理后的结果导入级联融合模块CFM进行特征交互操作。

为充分利用不同尺度的信息，提取主干网络HarDNet中的第一8层谐波稠密块HarDBlk1、第三8层谐波稠密块HarDBlk3、第四8层谐波稠密块HarDBlk4、第五8层谐波稠密块HarDBlk5的多尺度特征；其中，将来自主干网络HarDNet中的第一8层谐波稠密块HarDBlk1的特征经过第一1×1卷积层Conv3处理后导入空间通道注意力模块SCAM进行处理；同时采用有效的特征提取结构即级联融合模块CFM分别对第三8层谐波稠密块HarDBlk3、第四8层谐波稠密块HarDBlk4、第五8层谐波稠密块HarDBlk5的特征进行特征交互操作。

如图3所示，级联融合模块CFM主要由五个特征金字塔模块FPM(FeaturePyramidModule)(第一特征金字塔模块FPM1-第五特征金字塔模块FPM5)和两个3×3卷积层(第三3×3卷积层Conv13和第四3×3卷积层Conv14)组成，并采用了批归一化和ReLU函数。

将来自主干网络HarDNet中的第三8层谐波稠密块HarDBlk3的特征经过第三1×1卷积层Conv5和第六1×1卷积层Conv8处理后导入级联融合模块CFM，第四8层谐波稠密块HarDBlk4的特征经过第四1×1卷积层Conv6和第七1×1卷积层Conv9处理后导入级联融合模块CFM，第五8层谐波稠密块HarDBlk5的特征经过第五1×1卷积层Conv7和第八1×1卷积层Conv10处理后导入级联融合模块CFM；级联融合模块CFM主要由两个级联部分组成，如图3所示，在第一个级联部分，对第五8层谐波稠密块HarDBlk5的特征经过第五1×1卷积层Conv7和第八1×1卷积层Conv10处理后进行2倍上采样(up×2)，然后将采样结果分别导入第一特征金字塔模块FPM1和第二特征金字塔模块FPM2，再将第一特征金字塔模块FPM1处理后得到的特征和经过第四1×1卷积层Conv6和第七1×1卷积层Conv9处理后的第四谐波稠密块HarDBlk4的特征进行相乘操作，获得的结果与第二特征金字塔模块FPM2处理后的结果进行串联操作，最后通过第三3×3卷积层Conv13进行处理得到串联后的特征；在第二个级联部分，将第四谐波稠密块HarDBlk4的特征经过第四1×1卷积层Conv6和第七1×1卷积层Conv9处理后进行2倍上采样(up×2)，再导入第三特征金字塔模块FPM3中，第五谐波稠密块HarDBlk5的特征经过第五1×1卷积层Conv7和第八1×1卷积层Conv10处理后进行4倍上采样(up×4)，再导入第四特征金字塔模块FPM4中，然后将第三特征金字塔模块FPM3和第四特征金字塔模块FPM4处理得到的特征与经过第三1×1卷积层Conv5和第六1×1卷积层Conv8处理后的第三谐波稠密块HarDBlk3的特征进行相乘操作，将得到的映射与第五特征金字塔模块FPM5处理后的特征进行串联操作，最后将所得特征映射引入第四3×3卷积层Conv14进行降维处理得到串联后的特征。

在级联融合模块CFM中引入了特征金字塔模块FPM来编码多尺度特征，更有效地提取了关键特征。特征金字塔模块FPM是基于扩展的反向瓶颈卷积的模块，如图4所示，每个特征金字塔模块FPM均由两个1×1卷积层(第十一1×1卷积层Conv15和第十二1×1卷积层Conv16)和四个深度扩张卷积模块DDCM(DepthwiseDilatedConvolutionsModule)(第一深度扩张卷积模块DDCM1-第四深度扩张卷积模块DDCM4)组成，并采用了残差连接。导入特征金字塔模块FPM的初始特征首先经过第十一1×1卷积层Conv15处理，之后将得到的结果沿通道平均等分为4等块特征，其中，第1等块特征导入第一深度扩张卷积模块DDCM1进行处理，所得处理结果与第2等块特征进行元素相加操作，所得结果导入第二深度扩张卷积模块DDCM2进行处理，所得处理结果与第3等块特征进行元素相加操作，所得结果导入第三深度扩张卷积模块DDCM3进行处理，所得处理结果与第4等块特征进行元素相加操作，所得结果导入第四深度扩张卷积模块DDCM4进行处理；第一深度扩张卷积模块DDCM1处理后的特征、第二深度扩张卷积模块DDCM2处理后的特征、第三深度扩张卷积模块DDCM3处理后的特征和第四深度扩张卷积模块DDCM4处理后的特征进行串联操作，所得串联结果使用第十二1×1卷积层Conv16恢复通道数，所获取的结果与导入特征金字塔模块FPM的初始特征完成元素相加操作，然后再导入第九1×1卷积层Conv11处理后输出。

如图5所示，每个深度扩张卷积模块DDCM均由填充设置为(0,d)的1×D卷积层Conv1×D、填充设置为(d,0)的D×1卷积层ConvD×1、以及扩张率为D和填充设置为(D,D)的3×3扩张卷积层DConv3×3组成，其中，d∈{0,1,2,3}，D∈{1,3,5,7}。深度扩张卷积模块DDCM在不降低特征图分辨率的情况下增加了感受野，减少了计算复杂度。

如图6所示，空间通道注意力模块SCAM主要由空间注意力模块和通道注意力模块组成。其中，空间注意力模块主要由第一沿通道平均池化层Avgpoolc1、沿通道最大池化层Maxpoolc、7×7卷积层Conv17和第一Sigmoid函数组成；通道注意力模块主要由第一平均池化层Avgpool1、第五最大池化层Maxpool5、四个1×1卷积层(第十三1×1卷积层Conv18-第十六1×1卷积层Conv21)、ReLU函数和第二Sigmoid函数组成。空间通道注意力模块SCAM对输入特征的处理主要包含两个部分，第一部分在空间注意力模块中，将经过第一1×1卷积层Conv3处理后的特征分别导入第一沿通道平均池化层Avgpoolc1和沿通道最大池化层Maxpoolc，并将这两个池化层处理得到的结果进行串联操作，串联后的特征再通过7×7卷积层Conv17和第一Sigmoid函数处理，然后将处理得到的特征与空间通道注意力模块SCAM的原始输入(原始输入指的是经过第一1×1卷积层Conv3处理后的第一8层谐波稠密块HarDBlk1的特征)进行相乘操作；第二部分在通道注意力模块中，将经过第一1×1卷积层Conv3处理后的特征分别导入第一平均池化层Avgpool1和第五最大池化层Maxpool5，并将第一平均池化层Avgpool1处理得到的结果由第十三1×1卷积层Conv18处理，将第五最大池化层Maxpool5处理得到的结果由第十四1×1卷积层Conv19处理，从而将通道数降低16倍；然后将第十三1×1卷积层Conv18处理结果通过ReLU函数和第十五1×1卷积层Conv20处理后使特征恢复到原始通道数，同时将第十四1×1卷积层Conv19处理结果通过ReLU函数和第十六1×1卷积层Conv21处理后使特征恢复到原始通道数，将第十五1×1卷积层Conv20处理结果和第十六1×1卷积层Conv21处理结果进行元素相加操作并通过第二Sigmoid函数处理后，所得结果与空间通道注意力模块SCAM的原始输入(原始输入指的是经过第一1×1卷积层Conv3处理后的第一8层谐波稠密块HarDBlk1的特征)进行相乘操作；最后，将空间注意力模块和通道注意力模块处理后的特征进行元素相加操作，最终得到含有丰富空间信息的低级特征。本发明中，空间通道注意力模块SCAM用于增强通道和空间相关信息的提取，有效识别皮肤病灶的细节。

如图7所示，互嵌入模块MEM主要由第二沿通道平均池化层Avgpoolc2、第二平均池化层Avgpool2和四个1×1卷积层(第十七1×1卷积层Conv22-第二十1×1卷积层Conv25)组成。互嵌入模块MEM处理可分为两个部分，第一部分，将来自空间通道注意力模块SCAM的特征导入第十七1×1卷积层Conv22进行处理，将来自级联融合模块CFM的特征导入第十九1×1卷积层Conv24进行处理后再导入第二平均池化层Avgpool2和第二十1×1卷积层Conv25进行处理，将第十七1×1卷积层Conv22处理结果与第二十1×1卷积层Conv25处理结果进行元素相乘操作；第二部分，将来自级联融合模块CFM的特征导入第十九1×1卷积层Conv24进行处理，将来自空间通道注意力模块SCAM的特征导入第十七1×1卷积层Conv22进行处理再导入第二沿通道平均池化层Avgpoolc2和第十八1×1卷积层Conv23进行处理，将第十八1×1卷积层Conv23处理结果和第十九1×1卷积层Conv24处理结果进行元素相乘操作；将第一部分的结果与第二部分的结果进行元素相加操作，使两部分得到的特征相融合，得到包含高级语义信息和空间位置信息的特征图。

互嵌入模块MEM将级联融合模块CFM处理后的高级特征嵌入上下文信息，同时可将空间通道注意力模块SCAM处理后的低级特征嵌入空间细节，有效地增强了特征的融合。

步骤S4、训练用于分割皮肤镜图像中病灶的分割网络，获取最优分割模型；

首先将数据增强后的训练集分批导入分割网络中，损失函数采用二值交叉熵损失函数和交并比损失函数的组合，由主干网络HarDNet处理后的特征导入级联融合模块CFM和互嵌入模块MEM生成高级特征图，与对应的分割标签经过损失函数的计算得到对应的特征损失；然后将来自级联融合模块CFM的特征损失与互嵌入模块MEM的特征损失进行相加得到总损失，再通过AdamW优化器和总损失反向传播优化分割网络的参数，每进行1个epoch(代)的完整训练；导入验证集，用验证集对分割网络的训练效果进行验证，验证集的Jaccard系数最大时得到最优分割模型；其中，在分割网络的训练过程中，初始学习率设为0.0001，引入余弦退火的策略来调整学习率，批次大小设为8，训练200个epoch(代)。

步骤S5、网络测试，利用最优分割模型生成最终的分割结果图；

将测试集中的皮肤镜图像导入到已训练完成的最优分割模型中完成测试集测试，最终得到皮肤镜图像对应的分割结果图。

下面以具体的测试来验证本发明提供的方法的可行性。

1、工作条件

本实验在Pytorch深度学习框架下实现，采用NVIDIAGeforce3090显卡，Linux操作系统。

2、实验内容与结果分析

如图8所示，图8中第一行四张图均为原始皮肤镜图像，图8中第二行四张图分别为采用本发明的一种皮肤镜图像中病灶的分割方法对上述四张原始皮肤镜图像中的病灶进行预测的分割结果，图8中第三行四张图分别为上述四张原始皮肤镜图像对应的分割标签。通过对比可以发现，采用本发明的分割方法能够获得优异的病灶分割结果，并且所得分割结果与分割标签非常接近，由此说明，本发明能够对皮肤镜图像中的病灶进行准确分割。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种皮肤镜图像中病灶的分割方法，其特征在于，包括以下步骤：

步骤S1、对收集到的原始皮肤镜图像和对应的分割标签进行预处理；

步骤S2、将预处理后的皮肤镜图像和对应的分割标签划分为训练集、验证集和测试集，并对训练集做数据增强处理；

步骤S3、构建用于分割皮肤镜图像中病灶的分割网络；

步骤S4、训练用于分割皮肤镜图像中病灶的分割网络，获取最优分割模型；

步骤S5、利用最优分割模型生成分割结果。

2.根据权利要求1所述的一种皮肤镜图像中病灶的分割方法，其特征在于，步骤S1的具体操作过程如下：

S1.1收集原始皮肤镜图像，原始皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC2016和已公开的皮肤镜图像数据集PH2；

S1.2采用三次插值的方法将原始皮肤镜图像的分辨率缩放至512×512，采用最近邻的方法将对应的分割标签的分辨率缩放至512×512，并将缩放后的皮肤镜图像和对应的分割标签转化为.npy格式。

3.根据权利要求1所述的一种皮肤镜图像中病灶的分割方法，其特征在于，步骤S2的具体操作过程如下：

S2.1数据集划分

将来源于国际皮肤公开挑战赛数据集ISIC 2016且经预处理后的皮肤镜图像和对应的分割标签划分为训练集和验证集，训练集包含900个样本，验证集包含379个样本；将来源于皮肤镜图像数据集PH2且经预处理后的皮肤镜图像和对应的分割标签划分为测试集，测试集包含200个样本；

S2.2训练集数据增强处理；

对训练集中的皮肤镜图像和对应的分割标签进行数据增强处理，包括水平翻转、垂直翻转和随机旋转。

4.根据权利要求1所述的一种皮肤镜图像中病灶的分割方法，其特征在于，步骤S3中，所述分割网络包括：主干网络、级联融合模块、空间通道注意力模块、互嵌入模块、第六1×1卷积层、第七1×1卷积层、第八1×1卷积层、第九1×1卷积层和第十1×1卷积层；通过主干网络对原始皮肤镜图像进行特征提取，输出四张多尺度特征图，其中一张特征图通过空间通道注意力模块进行处理以增强通道和提取空间相关信息，另外三张特征图分别经过第六1×1卷积层、第七1×1卷积层、第八1×1卷积层处理后通过级联融合模块进行特征交互操作；通过互嵌入模块将级联融合模块处理后的特征与空间通道注意力模块处理后的特征进行特征融合操作，所得结果经过第十1×1卷积层处理后输出对应的特征图；级联融合模块处理后的特征经过第九1×1卷积层处理后输出对应的特征图；将第十1×1卷积层输出的特征图和第九1×1卷积层输出的特征图进行元素相加操作，得到最终的分割结果。

5.根据权利要求4所述的一种皮肤镜图像中病灶的分割方法，其特征在于，所述主干网络包括：第一8层谐波稠密块至第五8层谐波稠密块、第一3×3卷积层、第二3×3卷积层、第一1×1卷积层至第五1×1卷积层、第一最大池化层至第四最大池化层；将原始皮肤镜图像导入主干网络，依次经过第一3×3卷积层、第二3×3卷积层、第一最大池化层、第一8层谐波稠密块、第一1×1卷积层处理后，所得结果分别导入空间通道注意力模块和第二最大池化层进行处理，导入第二最大池化层处理后的结果再依次经过第二8层谐波稠密块、第二1×1卷积层、第三8层谐波稠密块、第三1×1卷积层处理后，所得结果分别导入第六1×1卷积层和第三最大池化层进行处理，导入第三最大池化层处理后的结果再依次经过第四8层谐波稠密块、第四1×1卷积层处理后，所得结果分别导入第七1×1卷积层和第四最大池化层进行处理，导入第四最大池化层处理后的结果再依次经过第五8层谐波稠密块和第五1×1卷积层处理后，所得结果导入第八1×1卷积层进行处理。

6.根据权利要求5所述的一种皮肤镜图像中病灶的分割方法，其特征在于，所述级联融合模块包括：第一特征金字塔模块至第五特征金字塔模块、第三3×3卷积层、第四3×3卷积层；对第八1×1卷积层的处理结果进行2倍上采样，所得结果分别导入第一特征金字塔模块和第二特征金字塔模块，将第一特征金字塔模块的处理结果与第七1×1卷积层的处理结果进行相乘操作，所得结果与第二特征金字塔模块的处理结果进行串联操作，最后通过第三3×3卷积层进行处理得到串联后的特征；对第七1×1卷积层的处理结果进行2倍上采样，所得结果导入第三特征金字塔模块，对第八1×1卷积层的处理结果进行4倍上采样，所得结果导入第四特征金字塔模块，将第三特征金字塔模块的处理结果、第四特征金字塔模块的处理结果和第六1×1卷积层的处理结果进行相乘操作，将所得映射与第五特征金字塔模块的处理结果进行串联操作，最后将所得特征映射引入第四3×3卷积层进行降维处理得到串联后的特征。

7.根据权利要求6所述的一种皮肤镜图像中病灶的分割方法，其特征在于，每个特征金字塔模块均包括：第十一1×1卷积层、第十二1×1卷积层、第一深度扩张卷积模块至第四深度扩张卷积模块；导入特征金字塔模块的初始特征先经过第十一1×1卷积层处理，所得结果沿通道平均等分为4等块特征，第1等块特征导入第一深度扩张卷积模块进行处理，所得处理结果与第2等块特征进行元素相加操作，所得结果再导入第二深度扩张卷积模块进行处理，所得处理结果与第3等块特征进行元素相加操作，所得结果再导入第三深度扩张卷积模块进行处理，所得处理结果与第4等块特征进行元素相加操作，所得结果导入第四深度扩张卷积模块进行处理；将第一深度扩张卷积模块的处理结果、第二深度扩张卷积模块的处理结果、第三深度扩张卷积模块的处理结果和第四深度扩张卷积模块的处理结果进行串联操作，所得串联结果使用第十二1×1卷积层恢复通道数，所得结果与导入特征金字塔模块的初始特征进行元素相加操作。

8.根据权利要求7所述的一种皮肤镜图像中病灶的分割方法，其特征在于，所述空间通道注意力模块包括：空间注意力模块和通道注意力模块；所述空间注意力模块包括：第一沿通道平均池化层、沿通道最大池化层、7×7卷积层和第一Sigmoid函数；所述通道注意力模块包括：第一平均池化层、第五最大池化层、第十三1×1卷积层至第十六1×1卷积层、ReLU函数和第二Sigmoid函数；将第一1×1卷积层的处理结果分别导入第一沿通道平均池化层和沿通道最大池化层，并将这两个池化层处理得到的结果进行串联，串联后的特征再通过7×7卷积层和第一Sigmoid函数处理，所得结果与空间通道注意力模块的原始输入进行相乘操作；将第一1×1卷积层的处理结果分别导入第一平均池化层和第五最大池化层，并将第一平均池化层处理得到的结果由第十三1×1卷积层处理，将第五最大池化层处理得到的结果由第十四1×1卷积层处理；将第十三1×1卷积层的处理结果通过ReLU函数和第十五1×1卷积层处理后使特征恢复到原始通道数，同时将第十四1×1卷积层的处理结果通过ReLU函数和第十六1×1卷积层处理后使特征恢复到原始通道数，将第十五1×1卷积层的处理结果和第十六1×1卷积层的处理结果进行元素相加操作并通过第二Sigmoid函数处理后，所得结果与空间通道注意力模块的原始输入进行相乘操作；最后将空间注意力模块和通道注意力模块处理后的特征进行元素相加操作，得到含有丰富空间信息的低级特征。

9.根据权利要求8所述的一种皮肤镜图像中病灶的分割方法，其特征在于，所述互嵌入模块包括：第二沿通道平均池化层、第二平均池化层、第十七1×1卷积层至第二十1×1卷积层；第一部分，将来自空间通道注意力模块的特征导入第十七1×1卷积层进行处理，将来自级联融合模块的特征导入第十九1×1卷积层进行处理后再导入第二平均池化层和第二十1×1卷积层进行处理，将第十七1×1卷积层处理结果与第二十1×1卷积层处理结果进行元素相乘操作；第二部分，将来自级联融合模块的特征导入第十九1×1卷积层进行处理，将来自空间通道注意力模块的特征导入第十七1×1卷积层进行处理再导入第二沿通道平均池化层和第十八1×1卷积层进行处理，将第十八1×1卷积层处理结果和第十九1×1卷积层处理结果进行元素相乘操作；将第一部分的结果与第二部分的结果进行元素相加操作，使特征相融合，得到包含高级语义信息和空间位置信息的特征图。

10.根据权利要求9所述的一种皮肤镜图像中病灶的分割方法，其特征在于，步骤S4和步骤S5的具体操作过程如下：

步骤S4、将数据增强后的训练集分批导入分割网络中，损失函数采用二值交叉熵损失函数和交并比损失函数的组合，由主干网络处理后的特征导入级联融合模块和互嵌入模块生成高级特征图，与对应的分割标签经过损失函数的计算得到对应的特征损失；将来自级联融合模块的特征损失与互嵌入模块的特征损失进行相加得到总损失，再通过Adam W优化器和总损失反向传播优化分割网络的参数，每进行1个epoch的完整训练，用验证集对分割网络的训练效果进行验证，验证集的Jaccard系数最大时得到最优分割模型；在分割网络的训练过程中，初始学习率设为0.0001，引入余弦退火的策略来调整学习率，批次大小设为8，训练200个epoch；

步骤S5、将测试集中的皮肤镜图像导入到已训练完成的最优分割模型中，得到皮肤镜图像对应的分割结果图。

Images