CN115457021A - 基于联合注意卷积神经网络的皮肤病图像分割方法及系统 - Google Patents

Abstract

本发明涉及一种基于联合注意卷积神经网络的皮肤病图像分割方法及系统，涉及图像处理技术领域，该方法包括：获取待分割皮肤病图像；将待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；皮肤病图像分割模型为训练过的联合注意卷积神经网络；联合注意卷积神经网络为基于U‑Net的神经网络，联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet‑34作为U‑Net中的编码器，采用空间注意力模块作为U‑Net中对称编码器与解码器之间的跳跃连接，在解码器中每个特征解码块采用金字塔通道注意力模块，在解码器的输出端采用多尺度融合注意力模块。本发明提高了皮肤病图像皮肤病变分割的准确性和可靠性。

Description

基于联合注意卷积神经网络的皮肤病图像分割方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于联合注意卷积神经网络的皮肤图像分割方法及系统。

背景技术

传统的图像分割方法通常基于最优阈值、区域增长、主动轮廓法、监督法和边缘检测算法。然而，传统的图像分割方法通常需要人工干预或大量的超参数进行微调，导致在复杂场景下使用性能较差。相比之下，深度学习算法可以自动提取特征，有效克服了传统皮肤学分割算法的缺点，还可以借助迁移学习快速扩展到不同的任务场景。随着深度卷积神经网络(CNN)的发展，U-Net网络已被广泛用于医学图像分割领域。受U-Net网络结构的启发，U-Net的改进网络已被广泛应用于各种医学图像中不同组织器官或病变的分割，包括AttU-Net，CE-Net，CA-Net，CPF-Net，MSU-Net和FAT-Net。

AttU-Net：基于U-Net网络引入注意力机制，重构了U-Net网络的跳跃式连接，增强网络对空间信息特征的提取能力，抑制噪声及不相关信息的学习。

CE-Net：将密集空洞卷积(DAC)模块和残差多核池化(RMP)模块与编码器-解码器结构相结合，捕获更多抽象特征和保留更多空间信息以提高医学图像分割的性能。

CA-Net：基于U-Net网络分别引入空间注意力、通道注意力和尺度注意力机制，以提高网络的可解释性和分割性能。

CPF-Net：结合了全局金字塔制导(GPG)模块和尺度感知金字塔融合(SAPF)模块来融合全局/多尺度上下文信息。

MSU-Net：结合多个卷积序列和不同接受域的卷积核，构建多尺度块，提取更多的语义特征，并捕获详细的多尺度空间特征使特征更加多样化。

FAT-Net：采用双编码器集成卷积神经网络(CNN)和transformer分支，以同时捕获局部特征、远程依赖关系和全局上下文信息。

目前基于深度学习的皮肤图像分割算法主要有以下几个缺点：(1)网络特征提取能力存在局限性，特征易丢失、准确率低和可解释性较差，病变分割效果不佳。(2)对比度较低(前景和背景的对比不明显)、被毛发或伪影遮挡、病变内部像素变化较大、边界模糊、尺寸变化大和形状不规则的病变分割结果存在局限性。

导致以上缺点的原因在于：(1)对全局上下文信息提取不足，对细节空间信息的密集预测不足，忽略不同解码阶段的尺度特征融合，导致无法准确分割形状不规则的病灶。(2)网络结构过浅，无法提取完整的局部特征，导致边缘轮廓不连续。(3)忽略融合不同解码阶段的尺度特征，不能够准确地预测不规则形状的病灶区域。(4)忽略连续池化和混合后，不可避免地会出现上下文信息有限和判别特征映射不足导致的病灶边界不准确问题。

发明内容

本发明的目的是提供一种基于联合注意卷积神经网络的皮肤病图像分割方法及系统，提高了皮肤病图像皮肤病变分割的准确性和可靠性。

为实现上述目的，本发明提供了如下方案：

一种基于联合注意卷积神经网络的皮肤病图像分割方法，包括：

获取待分割皮肤病图像；

将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络；

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

可选地，所述联合注意卷积神经网络中编码器包括依次连接的第1编码层至第N编码层，还包括依次连接的第1解码层至第N-1解码层，N为正整数；

所述第N编码层和所述第1解码层连接；

所述空间注意力模块包括第1空间注意力模块至第N-2空间注意力模块共N-2个空间注意力模块，第n个空间注意力模块的第一输入端为第n编码层的输出特征，第n个空间注意力模块的第二输入端为第N-n-1解码层的输出特征，第n个空间注意力模块的输出端连接第N-n解码层；n的取值范围为1至N-2。

可选地，第N-1编码层和第1解码层之间采用非局部操作。

可选地，各空间注意力模块利用公式

获得空间注意特征图；

其中，x^l表示第n编码层的输出特征，x^h表示第N-n-1解码层的输出特征，

表示空间注意特征图，α₁∈[0,1]^H×W表示第一注意系数，α₂∈[0,1]^H×W表示第二注意系数，ReLU表示ReLU激活函数，

表示第一注意力特征图，

表示第二注意力特征图，

表示通道连接；Φ^C表示以C为输出通道数的1×1卷积和批处理归一化，C取与x^l的通道数相同的值。

可选地，解码层用于进行第一特征图和第二特征图的相加，还用于采用所述特征解码块对相加结果进行解码，所述特征解码块包括依次连接的输入层、第一卷积层、第二卷积层和金字塔通道注意力模块，所述特征解码块还包括第三卷积层，所述第三卷积层的输入端与所述输入层连接，所述第三卷积层的输出与所述金字塔通道注意力模块的输出累加后经过ReLU激活函数后输出；

所述第一卷积层和所述第二卷积层均包括卷积核为3×3的卷积操作，所述第三卷积层包括卷积核为1×1的卷积操作。

可选地，所述金字塔通道注意力模块包括金字塔型的多尺度特征提取块、通道注意力权重提取单元和多尺度特征提取单元；

所述金字塔型的多尺度特征提取块用于将输入特征图的通道分为四组，每组通道采用不同大小的卷积核进行卷积操作，并将四组卷积结果在通道维度上拼接，得到第一多尺度特征图；

所述通道注意力权重提取单元用于采用全局平均池化将所述第一多尺度特征图的全局空间信息嵌入到通道描述符中，获得聚合特征，再将所述聚合特征进行内核大小为3的一维卷积，获得多尺度的通道注意力权重，采用激励函数Sigmoid校准所述多尺度的通道注意力权重；

所述多尺度特征提取单元用于将校准后的多尺度的通道注意力权重与所述第一多尺度特征图进行元素乘积运算，获得第二多尺度特征图。

可选地，所述多尺度融合注意力模块包括依次连接的卷积单元、上采样单元、通道注意力单元和像素归一化单元；

所述卷积单元用于统一对各所述第二多尺度特征图进行上采样后的特征图的通道数；

所述上采样单元用于对所述卷积单元输出的特征图，统一为设定尺寸并进行通道拼接，获得通道拼接特征图；

所述通道注意力单元用于对所述通道拼接特征图提取通道注意力特征；

所述像素归一化单元用于基于所述通道注意力特征提取所述通道拼接特征图的空间注意力特征，对所述空间注意力特征进行Softmax激活操作，获得注意特征图，对所述注意特征图进行卷积操作，获得皮肤病图像分割结果。

可选地，所述联合注意卷积神经网络的训练过程包括：

获取皮肤病变图像的数据集；

将所述数据集中每个皮肤病变图像调整为第一设定尺寸；

将所述第一设定尺寸的皮肤病变图像随机裁剪为第二设定尺寸；

对所述第二设定尺寸的皮肤病变图像进行数据增强，获得数据增强后的数据集；

采用数据增强后的数据集训练所述联合注意卷积神经网络，将训练好的联合注意卷积神经网络作为皮肤病图像分割模型。

可选地，采用混合损失函数训练所述联合注意卷积神经，所述混合损失函数为包括地图级损失、补丁级损失和像素级损失三个层面的损失函数。

本发明公开了一种基于联合注意卷积神经网络的皮肤病图像分割系统，包括：

待分割皮肤病图像获取模块，用于获取待分割皮肤病图像；

皮肤病图像分割模块，用于将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络；

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于联合注意卷积神经网络的皮肤病图像分割方法及系统，在U-Net的基础上，使用迁移学习方法将训练好的ResNet-34作为特征提取器级，空间注意力模块结合非局部操作，建立了像素之间的长期依赖性，提取有效的局部特性和全局上下文信息；采用金字塔通道注意模块，充分提取解码阶段不同层次的多尺度特征，捕获通道之间的长期依赖关系，在每个通道上提取不同尺度的空间信息；采用多尺度融合注意力模块，融合解码阶段不同层次的多尺度信息；采用一种基于区域突出特征和边界质量的新型混合损失函数，有效地引导网络从地图级、补丁级和像素级三个层面学习，准确地预测了清晰边界的病灶区域，提高了皮肤病变分割的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于联合注意卷积神经网络的皮肤病图像分割方法流程示意图；

图2为本发明联合注意卷积神经网络结构示意图；

图3为本发明空间注意力模块结构示意图；

图4为本发明特征解码块结构示意图；

图5为本发明金字塔通道注意力模块结构示意图；

图6为本发明多尺度融合注意力模块结构示意图；

图7为不同网络的皮肤病变分割效果示意图；

图8为本发明一种基于联合注意卷积神经网络的皮肤病图像分割系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于联合注意卷积神经网络的皮肤病图像分割方法及系统，提高了皮肤病图像皮肤病变分割的准确性和可靠性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于联合注意卷积神经网络的皮肤病图像分割方法流程示意图，如图1所示，一种基于联合注意卷积神经网络的皮肤病图像分割方法包括以下步骤：

步骤101：获取待分割皮肤病图像。

步骤102：将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络。

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

所述联合注意卷积神经网络的训练过程包括：

获取皮肤病变图像的数据集。

其中，数据集包括皮肤病变图像ISIC-2018数据集和ISIC-2017数据集。ISIC-2018数据集包含2594张RGB皮肤损伤图像，将数据集随机分为1816张图像作为训练集、260张图像作为验证集和518张图像作为测试集。ISIC-2017数据集中提供2000张图像作为训练集、150张图像作为验证集和600张图像作为测试集。

将所述数据集中每个皮肤病变图像调整为第一设定尺寸，具体包括：数据集中皮肤病变图像的原始大小为720×540－6708×4439，第一设定尺寸为256×342，将每个皮肤病变图像调整为256×342，并用均值和标准差进行标准化。

将所述第一设定尺寸的皮肤病变图像随机裁剪为第二设定尺寸，具体包括，将标准化后的皮肤病变图像随机裁剪为第二设定尺寸，第二设定尺寸为256×256。

对所述第二设定尺寸的皮肤病变图像进行数据增强，获得数据增强后的数据集，具体包括：对第二设定尺寸的皮肤病变图像进行水平旋转和垂直旋转以及角度为(-π/6,π/6)的随机旋转，获得数据增强后的数据集，以增加训练过程中图像数据样本的多样性。

采用数据增强后的数据集训练所述联合注意卷积神经网络，将训练好的联合注意卷积神经网络作为皮肤病图像分割模型。

本发明联合注意卷积神经网络的训练过程中，使用五折交叉验证的方式，取其五次实验的平均结果作为最终的性能。

本发明基于PyTorch平台，在一块显存为8G的NVIDIA GeForce RTX 3070 GPU上完成联合注意卷积神经网络的训练。采用"poly"学习率策略，其中初始学习率和power值分别设为0.01和0.9。batch_size设为12，迭代次数为300。采用随机梯度下降(SGD)优化模型，momentum(SGD优化器中动量系数)和weight_decay(权重衰减)分别设为0.9和0.0001。

使用平均表面距离(ASSD)，Dice系数(Dice)，重叠度(IoU)，灵敏度(SE)，特异性(SP)和准确性(ACC)六个指标来评估不同方法的性能。

其中，P为预测值，G为真实值。TP、TN、FP、FN分别为真阳性、真阴性、假阳性、假阴性，S_a表示分割边界点a的集合，S_b表示地面真值b的集合，

表示点

到所有点的最小欧氏距离。

本发明联合注意卷积神经网络的训练过程中，采用基于区域突出特征和边界质量的混合损失函数，有效地突出了目标区域，准确预测了清晰边界的精细结构。混合损失函数L_total＝L_softDice+λ(L_BCE+L_SSIM)，分别从三个层面：地图级、补丁级和像素级进行网络监督训练，以获得高置信度的显著性地图和清晰的边界。其中L_softDice、L_SSIM和L_BCE分别为软骰子系数损失(SoftDice)、结构相似性损失(Structural SIMilarity，SSIM)和二进制交叉熵损失(Binary Cross Entropy，BCE)，L_softDice为地图级损失，L_SSIM为补丁级损失，L_BCE为像素级损失。λ是损失函数之间的权重系数，设置为0.5。

SoftDice被广泛用于评价分割性能的重叠，这是地图水平的一种度量。BCE在像素水平上的损失，不管领域标签，并分配了相同的权重到前景和背景像素，这有助于在所有像素的收敛性，并在二进制分类和分割中表现良好。二进制交叉熵损失和SoftDice损失的具体计算如下：

L_softDice＝1-L_Dice

其中，L_Dice表示骰子系数损失(Dice loss)，A表示本发明网络分割的特征图，B表示地面真相(掩码)。

SSIM是每个像素的一个局部区域，为边界分配一个相对较高的权重，使边界的预测概率与前景的相同，它鼓励预测尊重原始地图的架构，并突出对象地面真相的结构特征。让x＝{x_i:i＝1,…,N²}和y＝{y_i:i＝1,…,N²}作为预测概率图S和掩模G的两个相应斑块的像素值，具体计算如下：

其中μ_x，μ_y，σ_x，σ_y，σ_xy分别是图像x和y的均值、标准差和协方差，C₁＝0.01²，C₂＝0.03²被用于避免零的整除。

联合注意卷积神经网络JAC-Net对输入皮肤病变图像进行特征提取、捕获空间注意特征、通道注意特征、多尺度特征以及对解码阶段不同层次特征进行融合；其中，联合注意卷积神经网络基于U-Net设计，通过迁移学习用ResNet-34网络代替编码器，增加网络深度，提取丰富的特征信息。用空间注意力模块DAG作为网络骨干的对称编码器-解码器结构重构跳跃连接，并结合非局部操作来捕获像素之间的远程依赖关系，同时提取丰富的空间特征信息，在最低分辨率级别的空间注意力模块，使用非局部块捕捉所有像素之间的交互，更好地提取整个上下文信息；用高效的金字塔通道注意力模块EPCA，建立通道之间的远程依赖关系，保留详细的边界信息和多尺度特征，同时捕获通道注意特征；用多尺度融合注意力模块MSFA，融合解码阶段不同层次之间的多尺度特征；用新的混合损失算法，从像素级、斑块级和地图级方面进行网络监督训练，以获得高置信度的显著性地图和清晰的边界。本发明的联合注意卷积神经网络的技术效果在于：(1)采用迁移学习的方法，降低网络训练开销，节约时间成本；(2)使用空间注意力模块DAG重构跳跃链接，抑制入不相关的杂波，减少注意图中的噪声，避免像素的错误分类；(3)在解码阶段设计高效的金字塔通道注意力模块EPCA，在解码器末端设计了多尺度融合注意力模块MSFA，以提取丰富的多尺度特征信息。

所述ResNet-34网络为预训练好的特征提取器，出于兼容性考虑，在去除了全连接层和平均池化层的同时保留了前4个特征提取块，使得Res-Net具有快捷机制，加快了网络收敛速度，避免了梯度消失。

如图2所示，所述联合注意卷积神经网络中编码器包括依次连接的第1编码层至第N编码层，还包括依次连接的第1解码层至第N-1解码层，N为正整数。

所述第N编码层和所述第1解码层连接。

所述空间注意力模块包括第1空间注意力模块至第N-2空间注意力模块共N-2个空间注意力模块，第n个空间注意力模块的第一输入端为第n编码层的输出特征，第n个空间注意力模块的第二输入端为第N-n-1解码层的输出特征，第n个空间注意力模块的输出端连接第N-n解码层；n的取值范围为1至N-2。

第N-1编码层和第1解码层之间采用非局部操作。

第N层编码层的输出采用非局部操作连接到第1解码层。

如图3所示，空间注意力模块由两个注意力门控网络AG并行组成，AG中设置两条支路，支路中设置卷积层(图3中ψ：1×1，C，其中1×1表示1×1卷积)和上采样单元(图3中up)，卷积层用于捕获空间信息，上采样单元用于将解码器的高层特征x^h进行上采样与编码器的低层特征x^l保持相同形状，其中输入特征x^l用AG中计算的注意系数α₁和α₂进行缩放，通过分析解码器中收集的选通信号x^h提供的激活和上下文信息来选择空间区域，注意力系数的网格重采样(resampler)使用双线性插值(bilinear)完成，以获得空间特征。

各空间注意力模块利用公式

获得空间注意特征图；

其中，x^l表示第n编码层的输出特征，x^h表示第N-n-1解码层的输出特征，

表示空间注意特征图，α₁∈[0,1]^H×W，[0,1]^H×W中H×W表示注意系数的矩阵大小，α₁表示第一注意系数，α₂∈[0,1]^H×W，α₂表示第二注意系数，α₁和α₂均为像素级的注意系数，ReLU表示ReLU激活函数，

表示第一注意力特征图，

表示第二注意力特征图，

表示通道连接；Φ^C(图3中Φ，C)表示以C为输出通道数的1×1卷积和批处理归一化(BN)，C取与x^l的通道数相同的值。图3中

表示元素乘法(element-wise multiplication)。

空间注意力模块DAG中每个空间注意力模块由两个AG模块并接和残差结构组合而成，利用两个AG同时关注感兴趣的区域特征，提升对显著特征的突出能力，同时降低低层信息中引入的噪声，提高分割的鲁棒性，残差连接的主要目的是将输入和显著特征图的元素加权，避免部分详细特征信息的丢失。

图3中，由于x^l和x^h的分辨率不同，且为了保持与x^l相同的尺寸，将x^h进行了上采样操作。x^l和经过上采样的x^h分别经过1×1卷积和输出通道C压缩，在将其结果求和，再通过输入ReLU激活函数得到特征图，之后将特征图再进行一个单通道的1×1的卷积，然后输入到Sigmoid函数，最后再通过一个双线性插值上采样，得到像素级的注意系数α₁∈[0,1]^H×W，同理，再将x^l和x^h经过相同的路径获得另一个像素注意系数α₂∈[0,1]^H×W。然后将x^l分别乘以注意系数α₁和α₂进行校准，得到的注意特征图分别记为

和

再将两个注意图通道拼接，经过1×1卷积操作和批标准化，然后输入激活函数ReLU并与x^l残差连接，获得空间注意特征图

解码层用于进行第一特征图和第二特征图的相加，还用于采用所述特征解码块对相加结果进行解码。第一特征图为与当前解码层跳跃连接的编码层输出的特征图，第二特征图为当前解码层的上一层输出的特征图。对于第1解码层，第二特征图为第N编码层输出的特征图；对于第2解码层-第N-1解码层，第二特征图为上一解码层输出的特征图，例如，对于第2解码层，第二特征图为第1解码层输出的特征图。

如图4所示，所述特征解码块包括依次连接的输入层(input)、第一卷积层(conv,3×3)、第二卷积层(conv,3×3)和金字塔通道注意力模块(EPCA module)，所述特征解码块还包括第三卷积层(conv,1×1C)，所述第三卷积层的输入端与所述输入层连接，所述第三卷积层的输出与所述金字塔通道注意力模块的输出累加后经过ReLU激活函数后输出；

所述第一卷积层和所述第二卷积层均包括卷积核为3×3的卷积操作，所述第三卷积层包括卷积核为1×1的卷积操作，第三卷积层的输出通道为数C。

如图5所示，各金字塔通道注意力模块均包括金字塔型的多尺度特征提取块(图5中(a))、通道注意力权重提取单元(图5中(b))和多尺度特征提取单元(图5中(c))；所述金字塔型的多尺度特征提取块的输出端连接所述通道注意力块的输入端，所述通道注意力块的输出端，作为对应解码层的输出端。图5中，

表示卷积核为3×3的一维卷积操作。

所述金字塔型的多尺度特征提取块用于将输入特征图x∈R^C×H×W的通道分为四组，分别为X₀、X₁、X₂和X₃，H表示图像高度，W表示图像宽度，每组通道采用不同大小的卷积核进行卷积操作(根据金字塔型结构中的多尺度卷积核可以生成不同的空间的分辨率和深度原理)，再对每一组进行分组卷积(分组数量G＝1，4，8，16)，并将四组卷积结果在通道维度上拼接，得到第一多尺度特征图Y。

利用公式

确定第一多尺度特征图Y；

其中，k_i×k_i表示卷积核大小，k_i＝3，5，7，9，组大小G_i＝1,4,8,16，

Y_i表示第i个分组的卷积结果，Cat表示通道维度上的拼接，conv表示卷积操作。

所述通道注意力权重提取单元用于采用全局平均池化将所述第一多尺度特征图的全局空间信息嵌入到通道描述符中，获得聚合特征，再将所述聚合特征进行内核大小为3的一维卷积，获得多尺度的通道注意力权重，采用激励函数Sigmoid校准所述多尺度的通道注意力权重，获得跨通道注意力。

所述多尺度特征提取单元用于将校准后的多尺度的通道注意力权重(获得跨通道注意力)与所述第一多尺度特征图进行元素乘积运算，获得第二多尺度特征图。

利用公式

获得第二多尺度特征图。

其中，g_c表示全局平均池化，

表示核大小为3的快速1维卷积，σ表示激励函数Sigmoid，δ表示激活函数Softmax，output表示第二多尺度特征图。

如图6所示，所述多尺度融合注意力模块的输入端分别连接各金字塔通道注意力模块的输出端(d₁、d₂、d₃、d₄)；所述多尺度融合注意力模块包括依次连接的卷积单元、上采样单元、通道注意力单元(BN)和像素归一化单元(Pixel Normalization)。

所述卷积单元用于统一对各所述第二多尺度特征图进行上采样后的特征图的通道数。卷积单元分别对d₁、d₂、d₃和d₄进行卷积核为1×1输出通道为4的卷积操作。

所述上采样单元用于对所述卷积单元输出的特征图，统一为设定尺寸并进行通道拼接，获得通道拼接特征图。设定尺寸为256×256。如图6中，采用不同比例(ratio)的上采样方式对所述卷积单元输出的特征图，统一为设定尺寸并。

所述通道注意力单元用于对所述通道拼接特征图提取通道注意力特征。

所述像素归一化单元用于基于所述通道注意力特征提取所述通道拼接特征图的空间注意力特征，对所述通道注意力特征进行Softmax激活操作，获得注意特征图，对所述注意特征图进行卷积操作，获得皮肤病图像分割结果。

图6中，将d₁、d₂、d₃和d₄这些特征图统一至同一尺寸，d₄层中的特征图尺寸为256×16×16，d₃层中的特征图尺寸为128×32×32，d₂层中的特征图尺寸为64×64×64，d₁层中的特征图尺寸为64×128×128。首先使用卷积核为1×1输出通道为4的卷积操作，将d₄，d₃，d₂和d₁统一转化为通道数为4的特征图；然后使用双线性插值的上采样方式将经过卷积操作的d₄，d₃，d₂和d₁重采样为尺寸为4×256×256的特征图，将所述特征图沿着通道维度拼接，组成16×256×256的特征图，记为F。图6中γ₀、γ₁、γ₂、γ₃分别表示每个通道的比例因子，ω₀、ω₁、ω₂、ω₃分别表示每个通道的权重，θ₀、θ₁、θ₂、θ₃分别表示空间注意比例因子。

对用于对拼接后的特征图F进行批归一化处理和权重分配，以提取空间注意力特征，像素归一化单元和Sigmoid激活操作用于提取通道注意力特征，再对该特征进行Softmax激活操作，获得注意特征图；再将注意特征图进行卷积核为1×1输出通道为2的卷积操作，输出特征图的尺寸为256×256，表示分割的结果。

解码器模块使用两个3×3卷积操作，逐步融合全局上下文信息，再嵌入高效的金字塔通道注意模块EPCA，突出了信道特征映射的多尺度空间特征和边界信息，以得到新的具有丰富多尺度信息的特征图；然后将所述新的具有丰富多尺度信息的特征图与输入特征图残差链接，快速、高效地恢复高分辨率特征映射，保留了多尺度特征信息，提高解码性能，同时在网络训练过程中缓解退化问题。

通过实验，表1和表2中分别展示了不同的模型在ISIC 2018数据集和ISIC 2017数据集上的性能。如表1和2所示，本发明的模型通过分割指标评定可以看出比其他对比方法所得结果明显更优；本发明的模型JAC-Net的Dice相对U-Net、AttU-Net、CE-Net、CA-Net、CPFNet、MSU-Net和FAT-Net模型，分别提高了4.04％、3.85％、2.58％、1.4％、0.25％、1.29％和1.74％。

表1不同先进方法在ISIC 2018数据集上的性能。加粗数值部分表示对比最好的结果。

表1不同方法在ISIC 2018数据集上的性能

表2不同方法在ISIC 2017数据集上的性能

模型	Dice(％)	IoU(％)	ASSD(pix)	ACC(％)	SE(％)	SP(％)
							U-Net(2015)	84.99	77.76	133.59	91.02	82.83	94.62
AttU-Net(2019)	84.57	77.04	137.38	90.87	81.65	95.06
							CE-Net(2019)	87.06	80.34	117.71	92.64	82.08	96.42
CA-Net(2020)	88.48	82.17	105.26	92.84	84.14	96.10
							CPFNet(2020)	89.20	83.29	87.40	94.03	84.51	97.23
FAT-Net(2021)	85.08	77.87	108.97	91.95	76.28	96.48
							MSU-Net(2021)	88.15	81.69	107.08	92.90	82.66	97.00
Ours(本发明)	89.69	83.68	90.41	94.10	83.60	97.73

表2中加粗数值部分表示对比最好的结果。

图7展示了不同的网络在ISIC 2018和ISIC 2017的分割效果图，前五行表示不同网络在ISIC 2018数据集上的分割效果图，后三行表示不同网络在ISIC 2017数据集上的分割效果图，第一列为输入图像，第二列为实际分割效果，第三列至第十列为不同网络分割方法的分割效果，如图7所示，与不同网络方法相比，本发明基于联合注意卷积神经网络的皮肤病分割网络分割方法比其他对比方法更有效、更准确，特别是在对比度较低、被头发或伪影遮挡、病变内部像素变化较大、边界模糊、尺寸变化大和形状不规则的情况下，达到了最好的分割结果。

本发明一种基于联合注意卷积神经网络的皮肤病分割网络分割效果更好，特别是对于对比度较低(前景和背景的对比不明显)、被毛发或伪影遮挡、病变内部像素变化较大、边界模糊、尺寸变化大和形状不规则的病变分割效果更好。

本发明采用迁移学习的方法，降低了网络训练的开销。

本发明的高效的金字塔通道注意力模块EPCA解决了卷积核的大小固定导致特征的多样性丢失；单个卷积序列的特征提取导致每个尺度上特征信息的丢失。

本发明的联合注意卷积神经网络将应用于计算机辅助诊断系统对皮肤图像进行分析，对后续的临床手术有重要指导作用，同时该网络也可以用于其他医学图像分割领域。

图8为本发明一种基于联合注意卷积神经网络的皮肤病图像分割结构流程示意图，如图8所示，一种基于联合注意卷积神经网络的皮肤病图像分割系统，包括：

待分割皮肤病图像获取模块201，用于获取待分割皮肤病图像。

皮肤病图像分割模块202，用于将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络。

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，包括：

获取待分割皮肤病图像；

将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络；

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

2.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，所述联合注意卷积神经网络中编码器包括依次连接的第1编码层至第N编码层，还包括依次连接的第1解码层至第N-1解码层，N为正整数；

所述第N编码层和所述第1解码层连接；

所述空间注意力模块包括第1空间注意力模块至第N-2空间注意力模块共N-2个空间注意力模块，第n个空间注意力模块的第一输入端为第n编码层的输出特征，第n个空间注意力模块的第二输入端为第N-n-1解码层的输出特征，第n个空间注意力模块的输出端连接第N-n解码层；n的取值范围为1至N-2。

3.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，第N-1编码层和第1解码层之间采用非局部操作。

4.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，各空间注意力模块利用公式

获得空间注意特征图；

其中，x^l表示第n编码层的输出特征，x^h表示第N-n-1解码层的输出特征，

表示空间注意特征图，α₁∈[0,1]^H×W表示第一注意系数，α₂∈[0,1]^H×W表示第二注意系数，ReLU表示ReLU激活函数，

表示第一注意力特征图，

表示第二注意力特征图，

表示通道连接；Φ^C表示以C为输出通道数的1×1卷积和批处理归一化，C取与x^l的通道数相同的值。

5.根据权利要求2所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，解码层用于进行第一特征图和第二特征图的相加，还用于采用所述特征解码块对相加结果进行解码，所述特征解码块包括依次连接的输入层、第一卷积层、第二卷积层和金字塔通道注意力模块，所述特征解码块还包括第三卷积层，所述第三卷积层的输入端与所述输入层连接，所述第三卷积层的输出与所述金字塔通道注意力模块的输出累加后经过ReLU激活函数后输出；

所述第一卷积层和所述第二卷积层均包括卷积核为3×3的卷积操作，所述第三卷积层包括卷积核为1×1的卷积操作。

6.根据权利要求5所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，所述金字塔通道注意力模块包括金字塔型的多尺度特征提取块、通道注意力权重提取单元和多尺度特征提取单元；

所述金字塔型的多尺度特征提取块用于将输入特征图的通道分为四组，每组通道采用不同大小的卷积核进行卷积操作，并将四组卷积结果在通道维度上拼接，得到第一多尺度特征图；

所述通道注意力权重提取单元用于采用全局平均池化将所述第一多尺度特征图的全局空间信息嵌入到通道描述符中，获得聚合特征，再将所述聚合特征进行内核大小为3的一维卷积，获得多尺度的通道注意力权重，采用激励函数Sigmoid校准所述多尺度的通道注意力权重；

所述多尺度特征提取单元用于将校准后的多尺度的通道注意力权重与所述第一多尺度特征图进行元素乘积运算，获得第二多尺度特征图。

7.根据权利要求6所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，所述多尺度融合注意力模块包括依次连接的卷积单元、上采样单元、通道注意力单元和像素归一化单元；

所述卷积单元用于统一对各所述第二多尺度特征图进行上采样后的特征图的通道数；

所述上采样单元用于对所述卷积单元输出的特征图，统一为设定尺寸并进行通道拼接，获得通道拼接特征图；

所述通道注意力单元用于对所述通道拼接特征图提取通道注意力特征；

所述像素归一化单元用于基于所述通道注意力特征提取所述通道拼接特征图的空间注意力特征，对所述空间注意力特征进行Softmax激活操作，获得注意特征图，对所述注意特征图进行卷积操作，获得皮肤病图像分割结果。

8.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，所述联合注意卷积神经网络的训练过程包括：

获取皮肤病变图像的数据集；

将所述数据集中每个皮肤病变图像调整为第一设定尺寸；

将所述第一设定尺寸的皮肤病变图像随机裁剪为第二设定尺寸；

对所述第二设定尺寸的皮肤病变图像进行数据增强，获得数据增强后的数据集；

采用数据增强后的数据集训练所述联合注意卷积神经网络，将训练好的联合注意卷积神经网络作为皮肤病图像分割模型。

9.根据权利要求1所述的基于联合注意卷积神经网络的皮肤病图像分割方法，其特征在于，采用混合损失函数训练所述联合注意卷积神经，所述混合损失函数为包括地图级损失、补丁级损失和像素级损失三个层面的损失函数。

10.一种基于联合注意卷积神经网络的皮肤病图像分割系统，其特征在于，包括：

待分割皮肤病图像获取模块，用于获取待分割皮肤病图像；

皮肤病图像分割模块，用于将所述待分割皮肤病图像输入皮肤病图像分割模型，输出皮肤病图像分割结果；所述皮肤病图像分割模型为训练过的联合注意卷积神经网络；

所述联合注意卷积神经网络为基于U-Net的神经网络，所述联合注意卷积神经网络中采用迁移学习方法将训练好的ResNet-34作为U-Net中的编码器，采用空间注意力模块作为U-Net中对称编码器与解码器之间的跳跃连接，所述联合注意卷积神经网络还包括金字塔通道注意力模块和多尺度融合注意力模块，在解码器中每个特征解码块采用所述金字塔通道注意力模块，所述多尺度融合注意力模块的输入为各特征解码块的输出进行上采样后的特征图，所述多尺度融合注意力模块的输出为所述皮肤病图像分割结果。

Images