CN113554668A - 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 - Google Patents

Abstract

本发明公开了一种皮肤镜图像黑色素瘤分割方法、装置及相关组件。该方法包括通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提取，生成低级特征和高级特征；对低级特征和高级特征进行跨层特征融合，得到全局映射图；使用不同的空洞率对高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指导，得到最终预测图；使用损失函数同时对最终预测图、中间预测图和全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；利用皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像进行分割，输出分割结果。该方法可以快速且有效的对皮肤镜图像黑色素瘤区域进行自动分割，且输出的分割结果边界准确。

Description

一种皮肤镜图像黑色素瘤分割方法、装置及相关组件

技术领域

本发明涉及计算机辅助医学领域，尤其涉及一种皮肤镜图像黑色素瘤分割 方法、装置及相关组件。

背景技术

恶性黑色素瘤在早期阶段表现并不明显，有经验的临床医生直接用肉眼都 很难预判，而皮肤镜检查是检查黑色素瘤的最佳方法，皮肤镜成像技术已经成 为应用于恶性黑色素瘤的临床诊断的有效工具。

皮肤镜，又称为表皮透光显微镜、皮表显微镜、入射光显微镜等，是一种 提供无创性的皮肤显微图像分析技术，使用油浸、光照与光学放大设备，可以 观察到包括表皮下部、表真皮连接等肉眼不可见的皮肤结构，从而确定需要做 活组织检查的皮损部位，保证切除的准确性，是主要用于诊断黑色素瘤和其他 有色皮肤损伤的有效工具。

尽管现阶段皮肤镜成像技术是诊断黑色素瘤的最佳手段，但是当医生进行 诊断和治疗时，检查步骤繁琐复杂，因此，利用计算机辅助技术对病灶区域更 精准的分割是非常有必要的，然而现有皮肤镜图像的计算机辅助技术对病灶区 域的切割不够精准且效率较差。

发明内容

本发明的目的是提供一种皮肤镜图像黑色素瘤分割方法、装置及相关组件， 旨在解决对皮肤镜图像中的病灶区域分割不够精准，分割效率较差的问题。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一 种皮肤镜图像黑色素瘤分割方法，其包括：

通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提取，生成低级 特征和高级特征；

对所述低级特征和所述高级特征进行跨层特征融合，得到全局映射图；

使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对卷积得 到的中间预测图进行指导，得到最终预测图；

使用损失函数同时对所述最终预测图、中间预测图和全局映射图进行监督 和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像进行分割，输出 分割结果。

另外，本发明要解决的技术问题是还在于提供一种皮肤镜图像黑色素瘤分 割装置，其包括：

生成单元，用于通过预训练好的Res2Net模型对皮肤镜样本图像进行特征 提取，生成低级特征和高级特征；

融合单元，用于对所述低级特征和所述高级特征进行跨层特征融合，得到 全局映射图；

卷积单元，用于使用不同的空洞率对所述高级特征进行卷积，并利用全局 映射图对卷积得到的中间预测图进行指导，得到最终预测图使用不同的空洞率 对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指 导，得到最终预测图；

监督优化单元，用于使用损失函数同时对所述最终预测图、中间预测图和 全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

输出单元，用于利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像 进行分割，输出分割结果。

另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及 存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行 所述计算机程序时实现上述第一方面所述的皮肤镜图像黑色素瘤分割方法。

另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机 可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处 理器执行上述第一方面所述的皮肤镜图像黑色素瘤分割方法。

本发明实施例公开了一种皮肤镜图像黑色素瘤分割方法、装置及相关组件， 其中，方法包括：通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提 取，生成低级特征和高级特征；对所述低级特征和所述高级特征进行跨层特征 融合，得到全局映射图；使用不同的空洞率对所述高级特征进行卷积，并利用 全局映射图对卷积得到的中间预测图进行指导，得到最终预测图；使用损失函 数同时对所述最终预测图、中间预测图和全局映射图进行监督和优化，得到优 化后的皮肤镜图像黑色素瘤分割模型；利用所述皮肤镜图像黑色素瘤分割模型 对皮肤镜检测图像进行分割，输出分割结果。

该方法可以快速且有效的对皮肤镜图像黑色素瘤区域进行自动分割，且分 割后输出的分割结果边界准确，解决了现有计算机辅助技术对皮肤镜图像中的 病灶区域分割不够精准，分割效率较差的问题。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。

图1为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的流程示意图；

图2为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的网络架构图；

图3为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的子流程示意图；

图4为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的网络架构图；

图5为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的子流程示意图；

图6为本发明实施例提供的皮肤镜图像黑色素瘤分割方法的网络架构图；

图7为本发明实施例提供的皮肤镜图像黑色素瘤分割装置的示意性框图；

图8为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含” 指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个 或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使 用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该” 意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包 括这些组合。

请参阅图1，该方法包括步骤S101～S105。

S101、通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提取，生 成低级特征和高级特征；

S102、对所述低级特征和所述高级特征进行跨层特征融合，得到全局映射 图；

S103、使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对 卷积得到的中间预测图进行指导，得到最终预测图；

S104、使用损失函数同时对所述最终预测图、中间预测图和全局映射图进 行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

S105、利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像进行分割， 输出分割结果。

通过上述皮肤镜图像黑色素瘤分割方法，能够对医生在判断皮肤镜图像中 的病灶起到辅助的作用，该方法能够对皮肤镜图像的病灶区域进行快速且精准 的分割，输出的分割结果的边界明显，大大的提高了分割效率和准确率。

结合图1和图2，在本实施例中，所述低级特征设置有两层例如图2中的 X₀和X₁，所述高级特征设置有三层例如图2中的X₂、X₃和X₄，低级特征保留 有丰富的边界信息，高级特征由于编码过程多次卷积，损失了较多的细节信息， 但保留有一致的语义信息和清晰的背景。其中，图2中CTA模块即跨层融合特 征注意力模块，用于执行步骤S102的执行模块；图2中MSCP模块即用于执行 步骤S103的执行模块；图2中O₂和O₃表示的是中间预测图，O₃表示的是最终 预测图，M_g表示的是全局映射图，I表示的是皮肤镜样本图像。

结合图3，为了在不同层之间实现直接和更有效聚集来自各层的空间信息和 局部信息，在一具体实施例中，步骤S102包括以下步骤：

S201、对所述低级特征和所述高级特征分别进行全局平均池化操作，以得 到相应的子特征图；

S202、对相应的子特征图在通道维度上进行堆叠，得到全局特征图；

S203、对所述全局特征图进行两次全连接层操作，以得到全局信息注意力 图；

S204、将所述全局信息注意力图分别与所述低级特征和所述高级特征进行 矩阵相乘，以得到融合的跨层特征；

S205、对所述跨层特征进行1×1卷积，得到通道数为1的全局映射图。

结合图3和图4，通过对所述低级特征和所述高级特征分别进行全局平均池 化操作，以压缩所述低级特征和所述高级特征的空间信息，得到尺寸大小1×1 的子特征图，其中，按下式对第i个子特征图GAP进行计算：

其中，H和W表示子特征图的高和宽，n指局部子特征图的整个索引值，(i， j)表示子特征图上的空间坐标，需说明的是，公式左侧出现的i表示第i个子特 征图GAP。

全局特征图融合了局部和全局上下文信息，按下式对全局特征图GAP进行 计算：

GAP＝Concat(GAP_i)

其中，GAP_i表示第i个子特征图，Concat表示各子特征图在通道维度上的拼 接，即将每个子特征图的权重值进行融合，其中各通道上维度如下表一所示：

表一

根据表一可知，GAP_i∈{64，256，512，1024，2048}；其中，(i＝0，…4)，全 局特征图通道数按照上述公式共计3904维。

为了学习低级特征和高级特征之间的信息，在一具体实施例中，步骤S203 包括：

对所述全局特征图进行两次全连接层操作，获取特征矩阵；

按下式对所述全局特征图进行两次全连接层操作：

其中，W₁∈R^C×M，W₂∈R^M×D，C代表全局特征图的通道数，在本实施例 中，M设置为512，D设置为352；

其中，用1×1卷积代替了全连接层，全连接层用于将卷积得到的局部特征 连接起来，以综合考虑整个图像，当1×1卷积层的通道个数等于全连接层的节 点个数时，可以将该1×1卷积层作为全连接层，其中该全连接层的空间维度高 和宽上的每个元素相对于皮肤镜样本图像上的元素，通道相对于皮肤镜样本图 像上的特征。

按下式对获得的特征矩阵进行交叉乘积，得到所述全局信息注意力图：

f^a表示输入的特征，(f^a)^T表示f^a的转置矩阵，||f^a((f^a)^T)||₂表示L₂范数。

在一实施例中，步骤S204包括以下步骤：

S301、将所述全局信息注意力图分别与所述低级特征和所述高级特征进行 矩阵相乘，得到对应的多个指导特征，其中，按下式对第n个指导特征进行计 算：

f′_n＝S₀×X_n

X_n表示第n个低级特征或高级特征，在本实施例中，0≤n≤4；

S302、按照特征从低到高对所述指导特征进行排序得到第一指导特征f′₀、第 二指导特征f′₁、第三指导特征f′₂、…、第n指导特征f′_n；

按如下式对所述第一指导特征f′₀、第二指导特征f′₁、第三指导特征f′₂、…、 第n指导特征f′_n进行相邻连接，得到对应的连接特征：

……

其中，

表示3×3卷积层，

表示第k个指导特征进 行i次的两倍的上采样，

表示矩阵的乘积；

S303、对各所述连接特征进行通道拼接得到融合的跨层特征。

在本实施例中，跨层特征用F表示，其中

具体一实施例中，按照特征从低到高对所述指导特征进行排序得到第一指 导特征f′₀、第二指导特征f′₁、第三指导特征f′₂、第四指导特征f′₃、第五指导特征f′₄；

按下式对第一指导特征f′₀、第二指导特征f′₁、第三指导特征f′₂、第四指导特 征f′₃、第五指导特征f′₄进行相邻连接，得到相应的连接特征：

在本实施例中，第一指导特征f′₀的尺寸大小为(176×176)、第二指导特征f′₁的尺寸大小为(88×88)、第三指导特征f′₂的尺寸大小为(44×44)、第四指导特 征f′₃的尺寸大小为(22×22)、第五指导特征f′₄的尺寸大小为(11×11)，第五指 导特征f′₄的尺寸最小，所以需要经过四次2倍上采样才能和第一指导特征f′₀的尺 寸大小一致。在本实施例中，将得到的连接特征

连接特征

连接特征

连接特征

连接特征

进行通道拼接，并得到融合的跨层特征F。

请参阅图6，在一实施例中，步骤S103包括以下步骤：

S401、使用第一空洞率对每一所述高级特征进行卷积，得到对应的第一中 间高级特征；

S402、将所述高级特征和对应的第一中间高级特征进行通道拼接，得到第 一拼接高级特征；

S403、使用第二空洞率对每一所述第一拼接高级特征进行卷积，得到对应 的第二中间高级特征；

S404、将每一所述高级特征与对应的第一中间高级特征以及第二中间高级 特征进行通道拼接，得到第二拼接高级特征；

S405、使用第三空洞率对每一所述第二拼接高级特征进行卷积，得到对应 的第三中间高级特征；

S406、将每一所述高级特征与对应的第一中间高级特征、第二中间高级特 征以及第三中间高级特征进行通道拼接，得到第三拼接高级特征；

S407、使用第四空洞率对所述第三拼接高级特征进行卷积，得到对应的第 四中间高级特征；

S408、对每一所述高级特征对应的所述第一中间高级特征、第二中间高级 特征、第三中间高级特征以及第四中间高级特征分别进行特征提取得到对应的 细化特征，将各所述细化特征进行通道拼接得到中间预测图；

S409、利用全局映射图对各所述高级特征对应的中间预测图进行级联指导， 得到最终预测图。

请参阅图5和图6，其中，步骤S408中，通过Squeeze-and-Excitation模块 即SE模块对每一所述高级特征对应的所述第一中间高级特征、第二中间高级特 征、第三中间高级特征以及第四中间高级特征分别进行特征提取得到对应的细 化特征。

在本实施例中，第一空洞率、第二空洞率、第三空洞率以及第四空洞率依 次设置为1、3、5和7；根据大的空洞率由于大的感受视野而缺乏细节信息，小 的空洞率由于小的感受视野获得局部的信息，卷积后得到的中间预测图通过层 与层之间的通道拼接实现各中间预测图的信息互补，达到进一步优化最终预测 图的目的。

在一实施例中，步骤S104包括以下步骤：

S501、对所述最终预测图、中间预测图和全局映射图进行归一化处理，得 到相应的病灶区域概率分布图；

S502、利用总的损失函数计算所述皮肤镜图像黑色素瘤分割模型的损失， 并进行反向传播训练，得到参数的梯度；利用梯度下降法来调整获得的参数， 以降低所述皮肤镜图像黑色素瘤分割模型的损失，得到优化后的皮肤镜图像黑 色素瘤分割模型；

其中，所述总的损失函数L_totaloss的计算公式如下：

其中，G表示真值图，O_i′表示第i个中间预测图的病灶区域概率分布图， O_i+k′表示最终预测图的病灶区域概率分布图，M′_g表示全局映射图的病灶区域概 率分布图，L表示损失函数IOU和损失函数BCE的求和。

具体在本实施例中，所述总的损失函数L_totaloss的计算公式如下：

按下式分别对上述公式右侧出现的L进行计算：

其中，w表示损失函数IOU和损失函数BCE的加权值。

具体一实施例中，利用Softmax函数对所述最终预测图、中间预测图和全局 映射图进行归一化处理。

具体的，将不同的权值分配给所述最终预测图、中间预测图和全局映射图 的像素，其中所述最终预测图、中间预测图和全局映射图的像素权值分布范围 为0-1，扩展了二进制交叉熵，每个最终预测图、中间预测图和全局映射图的像 素的权值由其周围的像素决定，难区分的像素会得到更大的权值，而容易区分 的像素会得到更小的权值，在本实施例中，损失函数IOU通过增加皮肤镜样本 图像中的像素权值来突出其重要性，而损失函数BCE更关注皮肤镜样本图像中 的像素。

在本实施例中，利用分级监督的方式使得深度卷积神经网络的训练更加高 效，通过对中间预测图、最终预测图和全局映射图同时使用损失函数进行监督， 不仅依靠最终预测图进行反向传播，还通过中间预测图进行反向传播，有效的 提高了网络的性能。

在步骤S105之前，还包括以下步骤：

对将待检测图像裁剪成尺寸为352×352的图像，用步骤S101-S104中训练 好的权值进行测试，病灶区域概率分布图后，设置阈值为0.5，概率值大于0.5 的像素被视为皮损区域，小于0.5的像素被视为背景皮肤，最后得到待分割图像 的分割结果。

具体一实施例中，皮肤镜样本图像从国际生物医学成像研讨会(ISBI-2017) 中的皮肤病变分割数据集获取，其中，该皮肤病变分割数据集共有2750组皮肤 镜样本，每组皮肤镜样本由皮肤镜样本图像及其对应的二元掩模图像表示的标 签组成。在本实施例中，其中2000组皮肤镜样本图像用于训练，750组皮肤镜 样本图像用于测试，同时所有的二元掩模图像均由专业的皮肤科医生进行手动 标注得到，用黑白两种颜色区分皮损区域和背景皮肤(其中白色代表皮损区域， 黑色代表健康的皮肤区域)。由于原始的皮肤镜样本图像的分辨率分布在 718×542到6688×4439之间，为了后续的操作，统一将原始的皮肤镜样本图像 以及对应的二元掩模图缩放至352×352大小。

为了验证本申请皮肤镜图像黑色素瘤分割方法的有效性，本申请的皮肤镜 图像黑色素瘤分割模型在PyTorch深度学习框架下实现。计算机配置采用Ubuntu 18.04操作系统，网络模型使用Adam优化器，学习率设置为0.0001，并使用学 习率衰减策略，网络的训练批量大小为20，迭代次数为100，epoch设置为40， 随机选取训练的图像送入模型训练，减少网络的随机误差。为了量化和验证所 提方法的性能，皮肤镜图像黑色素瘤分割模型采用的评价指标是被广泛使用的 图像分割度量指标，即Dice相似度系数，实验结果表明，本申请的皮肤镜图像 黑色素瘤分割模型最终测试结果为0.83即通过本申请中的方法能够有效的帮助 医生识别病灶，减少误诊的情况发生。

本发明实施例还提供一种皮肤镜图像黑色素瘤分割装置，该皮肤镜图像黑 色素瘤分割装置用于执行前述皮肤镜图像黑色素瘤分割方法的任一实施例。具 体地，请参阅图7，图7是本发明实施例提供的皮肤镜图像黑色素瘤分割装置的 示意性框图。

如图7所示，皮肤镜图像黑色素瘤分割装置500，包括：

生成单元501，用于通过预训练好的Res2Net模型对皮肤镜样本图像进行特 征提取，生成低级特征和高级特征；

融合单元502，用于对所述低级特征和所述高级特征进行跨层特征融合，得 到全局映射图；

卷积单元503，用于使用不同的空洞率对所述高级特征进行卷积，并利用全 局映射图对卷积得到的中间预测图进行指导，得到最终预测图使用不同的空洞 率对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行 指导，得到最终预测图；

监督优化单元504，用于使用损失函数同时对所述最终预测图、中间预测图 和全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

输出单元505，用于利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图 像进行分割，输出分割结果；

该装置能够对医生在判断皮肤镜图像中的病灶起到辅助的作用，该装置能 够对皮肤镜图像的病灶区域进行快速且精准的分割，输出的分割结果的边界明 显，大大的提高了分割效率和准确率。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描 述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在 此不再赘述。

上述皮肤镜图像黑色素瘤分割装置可以实现为计算机程序的形式，该计算 机程序可以在如图8所示的计算机设备上运行。

请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。该计算 机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成 的服务器集群。

参阅图8，该计算机设备1100包括通过系统总线1101连接的处理器1102、 存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存 储器1104。

该非易失性存储介质1103可存储操作系统11031和计算机程序11032。该 计算机程序11032被执行时，可使得处理器1102执行皮肤镜图像黑色素瘤分割 方法。

该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运 行。

该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提 供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行皮 肤镜图像黑色素瘤分割方法。

该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技 术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的 框图，并不构成对本发明方案所应用于其上的计算机设备1100的限定，具体的 计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。

本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对 计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更 多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实 施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器 及处理器的结构及功能与图8所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器1102可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器1102还可以是其他通用处理器、数字信号处 理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件 等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理 器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介 质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算 机程序，其中计算机程序被处理器执行时实现本发明实施例的皮肤镜图像黑色 素瘤分割方法。

所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬 盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程 序代码的实体存储介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描 述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过 程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种皮肤镜图像黑色素瘤分割方法，其特征在于，包括：

通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提取，生成低级特征和高级特征；

对所述低级特征和所述高级特征进行跨层特征融合，得到全局映射图；

使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指导，得到最终预测图；

使用损失函数同时对所述最终预测图、中间预测图和全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像进行分割，输出分割结果。

2.根据权利要求1所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述对所述低级特征和所述高级特征进行跨层特征融合，得到全局映射图，包括：

对所述低级特征和所述高级特征分别进行全局平均池化操作，以得到相应的子特征图；

对相应的子特征图在通道维度上进行堆叠，得到全局特征图；

对所述全局特征图进行两次全连接层操作，以得到全局信息注意力图；

将所述全局信息注意力图分别与所述低级特征和所述高级特征进行矩阵相乘，以得到融合的跨层特征；

对所述跨层特征进行1×1卷积，得到通道数为1的全局映射图。

3.根据权利要求2所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述对所述全局特征图进行两次全连接层操作，以得到全局信息注意力图，包括：

对所述全局特征图进行两次全连接层操作，获取特征矩阵；

按下式对获得的特征矩阵进行交叉乘积，得到所述全局信息注意力图：

f^a表示输入的特征，(f^a)^T表示f^a的转置矩阵，||f^a((f^a)^T)||₂表示L₂范数。

4.根据权利要求2所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述将所述全局信息注意力图分别与所述低级特征和所述高级特征进行矩阵相乘，以得到融合的跨层特征，包括：

将所述全局信息注意力图分别与所述低级特征和所述高级特征进行矩阵相乘，得到对应的多个指导特征；

按照特征从低到高对所述指导特征进行排序得到第一指导特征、第二指导特征、第三指导特征、…、第n指导特征；

按如下式对所述第一指导特征f′₀、第二指导特征f′₁、第三指导特征f′₂、…、第n指导特征f′_n进行相邻连接，得到对应的连接特征：

……

其中，

表示3×3卷积层，

表示第k个指导特征进行i次的两倍的上采样，

表示矩阵的乘积；

对各所述连接特征进行通道拼接得到融合的跨层特征。

5.根据权利要求1所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指导，得到最终预测图，包括：

使用第一空洞率对每一所述高级特征进行卷积，得到对应的第一中间高级特征；

将所述高级特征和对应的第一中间高级特征进行通道拼接，得到第一拼接高级特征；

使用第二空洞率对每一所述第一拼接高级特征进行卷积，得到对应的第二中间高级特征；

将每一所述高级特征与对应的第一中间高级特征以及第二中间高级特征进行通道拼接，得到第二拼接高级特征；

使用第三空洞率对每一所述第二拼接高级特征进行卷积，得到对应的第三中间高级特征；

将每一所述高级特征与对应的第一中间高级特征、第二中间高级特征以及第三中间高级特征进行通道拼接，得到第三拼接高级特征；

使用第四空洞率对所述第三拼接高级特征进行卷积，得到对应的第四中间高级特征；

对每一所述高级特征对应的所述第一中间高级特征、第二中间高级特征、第三中间高级特征以及第四中间高级特征分别进行特征提取得到对应的细化特征，将各所述细化特征进行通道拼接得到中间预测图；

利用全局映射图对各所述高级特征对应的中间预测图进行级联指导，得到最终预测图。

6.根据权利要求1所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述使用损失函数同时对所述最终预测图、中间预测图和全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型，包括：

对所述最终预测图、中间预测图和全局映射图进行归一化处理，得到相应的病灶区域概率分布图；

利用总的损失函数计算所述皮肤镜图像黑色素瘤分割模型的损失，并进行反向传播训练，得到参数的梯度；利用梯度下降法来调整获得的参数，以降低所述皮肤镜图像黑色素瘤分割模型的损失，得到优化后的皮肤镜图像黑色素瘤分割模型；

其中，所述总的损失函数L_totaloss的计算公式如下：

其中，G表示真值图，O_i′表示第i个中间预测图的病灶区域概率分布图，O_i+k′表示最终预测图的病灶区域概率分布图，M′_g表示全局映射图的病灶区域概率分布图，L表示损失函数IOU和损失函数BCE的求和。

7.根据权利要求1所述的皮肤镜图像黑色素瘤分割方法，其特征在于，所述低级特征设置有两层，所述高级特征设置有三层。

8.一种皮肤镜图像黑色素瘤分割装置，其特征在于，包括：

生成单元，用于通过预训练好的Res2Net模型对皮肤镜样本图像进行特征提取，生成低级特征和高级特征；

融合单元，用于对所述低级特征和所述高级特征进行跨层特征融合，得到全局映射图；

卷积单元，用于使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指导，得到最终预测图使用不同的空洞率对所述高级特征进行卷积，并利用全局映射图对卷积得到的中间预测图进行指导，得到最终预测图；

监督优化单元，用于使用损失函数同时对所述最终预测图、中间预测图和全局映射图进行监督和优化，得到优化后的皮肤镜图像黑色素瘤分割模型；

输出单元，用于利用所述皮肤镜图像黑色素瘤分割模型对皮肤镜检测图像进行分割，输出分割结果。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的皮肤镜图像黑色素瘤分割方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的皮肤镜图像黑色素瘤分割方法。

Images