CN114399510A - 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 - Google Patents

Abstract

本发明公开了一种结合图像和临床元数据的皮肤病灶分割和分类方法及系统，方法包括以下步骤：基于皮肤病灶分割网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征；皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，分别从皮肤镜图像和临床元数据中提取跨模态特征；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

Description

结合图像和临床元数据的皮肤病灶分割和分类方法及系统

技术领域

本发明属于医学图像处理领域，具体涉及一种结合图像和临床元数据的皮肤病灶分割和分类方法及系统。

背景技术

皮肤病变的分割和分类是开发皮肤病变CAD系统的两个重要问题。分割任务检测病变的位置和边界，而分类任务诊断病变类型。由于医学图像分割的深刻意义和人工分割的复杂性，在过去的几十年中，许多研究人员都致力于皮肤病变的分割(Bi等人，2017年；Oktay等人，2018年；Guo等人，2018年；Abraham and Khan，2019年；Xie等人，2020年；Gu等人，2020年；Lei等人，2020年；Wu等人，2021年)。由于深度学习的发展，基于深度卷积神经网络的分割方法(CNNs)取得了令人鼓舞的成绩。提出了许多流行的体系结构，如U-Net(Ronneberger等人，2015年)、U-Net++(Zhou等人，2018年)，并在许多医学挑战上产生了有希望的结果。同时，文献中提出了许多自动皮肤病变分类方法。其中，深度学习解决方案，特别是基于CNNs的解决方案，已经取得了显著的改进(Simonyan和Zisserman，2015；He等人，2016；Tan和Le，2019；Wu等人，2021；Thomas等人，2021)。

之前的大量研究工作，在自动皮肤病变分割和分类方面取得了巨大的进展。尽管如此，这两项任务仍然很困难，因为它们有几个挑战(见图1)。首先，皮肤病灶与其周围环境之间的对比度较低且边界模糊，导致皮肤病灶边界模糊。第二，类间皮肤病灶之间可能存在视觉相似性，类内皮肤病灶之间可能存在视觉差异。第三，皮肤镜图像中皮肤病变在颜色、质地、形状、大小和位置上的巨大变化。最后，皮肤病变在视觉外观上存在显著差异，可能被自然毛发、静脉、气泡、标尺标记、颜色校准图等伪影所破坏。

发明内容

为了解决现有技术中存在的问题，本发明提供一种结合皮肤镜图像和临床元数据的皮肤病变分割和分类方法及系统，基于皮肤病灶分割网络(SLSN)，提出多尺度整体特征探索(MSH)模块，以充分利用解码器合成的多尺度特征图中潜在的感知线索；基于皮肤病灶分类网络(SLCN)，提出跨模态协作特征探索模块(CMC)，以协作开发皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，帮助分类网络关注更具辨别力的跨模态特征。

为了实现上述目的，本发明采用的技术方案是：结合图像和临床元数据的皮肤病灶分割和分类方法，包括以下步骤：

获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；

皮肤病灶分割网络基于U型网络结构，引入感受野模块取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；其中，多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，

皮肤病灶分类网络引入两个特征提取器以及跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；

特征提取器一基于具有代表性的图像特征提取特征向量F_c1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量F_c2；

利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，进而挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

RFB模块根据人类视觉系统中感受野的大小和偏心率模拟配置，通过使用具有不同内核大小卷积和扩展卷积层的多分支，生成具有不同感受野的特征，应用卷积操作合并所有分支的特征并生成特征的最终表示。

多尺度整体特征探索模块将解码器中尺度i处的特征表示为Y_i(i∈{1,2,3,4})，通过缩放操作将Y_i的特征统一到尺寸相同的四个特征向量F_i∈R^32×224×320,i∈{1,2,3,4})用于后续的特征探索，使用“串联”和“通道混洗”操作来组合来自每对通道的特征并构造相邻尺度的特征混合向量F_i’(i∈{1,2,3,4})；聚合所有特征混合向量F_i’(i∈{1,2,3,4})，利用元素注意衍生机制对多尺度特征进行整体探索；最后用具有两个输出通道的卷积层和紧随其后的Sigmoid进行皮肤病灶预测，得到病变对应的图像掩模。

多尺度整体特征探索模块的最终输出为Y_MSH＝σ(f_c(F))

F＝Atten(Concat(F₁’,F₂’,F₃’,F₄’))

其中，Concat(·)表示串联操作，Shuffle()表示通道混洗，Atten()是由卷积块注意模块实现的元素式注意衍生机制操作。

特征提取器一为删除平均池化层和连接层后的复合式模型缩放网络EfficientNet特征提取器；特征提取器二具体结构为Linear(15，128)->BN1d->Swish->Dropout(p＝0.3)->Linear(128,512)->BN1d->Swish->Linear(512，2048)，其中，Linear表示全连接层，BN1d表示一维批量标准化层，Swish表示Swish激活层。

多维特征向量为对所述临床元数据中的年龄、性别、解剖部位、同一个患者的图像数量和图像大小五种类型的信息串联起来，形成与每个图像对应的15维特征向量；每个患者的性别编码为2维one-hot向量，每个图像的解剖部位编码为10维one-hot向量，对于年龄、图像数量和图像大小，使用正常的数字编码。

跨模态协作特征探索模块引入全局平均池化和全局最大池化操作分别作用于F_c1，在此基础上引入共享权重的多层感知器，分别作用于特征向量F_c2和池化操作后的F_c1，并将多层感知器输出结果相加后输入到sigmoid中获得注意力权重α，将获取到的注意力权重α分别与跨模态特征向量F_c1和F_c2相乘来获得表征注意图的特征向量；再通过乘法运算获得跨模态特征表示YCMC。

另一方面，本发明还提供一种结合图像和临床元数据的皮肤病灶分割和分类系统，包括数据获取模块、分割网络特征获取模块、多尺度整体特征探索模、分类网络特征获取模块以及跨模态协作特征探索模块；

数据获取模块用于获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；

分割网络特征获取模块用于根据皮肤病灶分割网络获取图像特征，皮肤病灶分割网络基于U型网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；

多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征；

分类网络特征获取模块基于皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；特征提取器一基于具有代表性的图像特征提取特征向量F_c1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量F_c2；

利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述结合图像和临床元数据的皮肤病灶分割和分类方法。

一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的结合图像和临床元数据的皮肤病灶分割和分类方法。

与现有技术相比，本发明至少具有以下有益效果：

在本发明中提出了一种新型的综合解决方案来有效地实现皮肤病灶的分割和分类任务，它包括一个分割网络和一个分类网络。为了提高分割网络的性能，本发明提出了一种新的多尺度整体特征探索(MSH)模块，以充分利用解码器合成的多尺度特征图中潜在的感知线索。MSH模块能够跨多个尺度对特征进行整体探索，以充分挖掘解码器合成的多尺度特征，进而以更有效地方式增强分割网络提取特征的能力。为了提高分类网络的性能，本发明提出了一种新的跨模态协作特征探索(CMC)模块，通过协作利用皮肤镜图像与临床元数据的跨模态特征之间的潜在关系来发现潜在的鉴别特征。CMC模块通过区分和自适应地学习与每个跨模态特征对相关联的注意力权重，能够在模型表示学习过程中动态捕获跨模态特征之间的多功能交互效果。本发明提出的方法在多个基准数据集上进行了广泛的评估，并在皮肤病灶分割和分类方面取得了最先进的性能。

附图说明

图1为公共皮肤镜图像集ISIC 2018中的一些具有挑战性的皮肤病灶样本，(a)与背景对比度低的皮肤病灶，(b)具有视觉差异的类内皮肤病灶，(c)形状、大小或位置不规则的皮肤病灶，被头发遮挡的皮肤病灶，(d)受颜色校准图或标尺标记干扰的皮肤病灶。

图2为皮肤病灶分割和分类的总体架构示意图。

图3为RFB结构示意图。

图4为多尺度整体特征探索(MSH)模块结构示意图。

图5为训练的皮肤镜图像中的大小分布情况。

图6为跨模态协作特征探索(CMC)模块结构示意图。

具体实施方式

下面结合附图对本发明进行详细阐述。

本发明提出一种多尺度整体特征探索(MSH)模块，充分利用解码器合成的多尺度特征地图中潜在的感知线索，MSH模块能够跨多个尺度对特征进行整体探索，以充分挖掘解码器合成的多尺度特征，进而以更有效地方式增强分割网络提取特征的能力；本发明还设计一个跨模态协作特征探索(CMC)模块，以协作开发皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，有助于分类网络关注更具辨别力的特征；本发明提出的方法在多个基准数据集上进行了广泛的评估，并在皮肤病灶分割和分类方面取得了最先进的性能。

结合图像和临床元数据的皮肤病灶分割和分类方法，包括以下步骤：

数据获取模块用于获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据，在本发明中皮肤镜图像与临床元数据具有成对出现的关系；

基于皮肤病灶分割网络，皮肤病灶分割网络基于U型网络，引入感受野模块(Receptive Field Block,RFB)模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块(Multi-Scale Holistic Feature Exploration Module,MSH)融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；

多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，以充分挖掘解码器合成的多尺度特征，进而以更有效地方式增强分割网络提取特征的能力；

皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块(Cross-Modality Collaborative Feature Exploration，CMC)，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；

特征提取器一基于具有代表性的图像特征提取特征向量F_c1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量F_c2；

跨模态协作特征探索模块用于在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，进而充分挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

本发明提出的方法基于PyTorch和NVIDIA GeForce RTX 2080Ti GPU，内存为11GB。对皮肤病灶分割和分类进行五重交叉验证，以获得不同方法的公平可靠性能。报告所有评估标准的平均绩效。采用批量为12的Adam算法对分割和分类网络进行优化。为了进一步扩大训练数据集，采用在线数据增强，包括水平和垂直翻转、随机亮度和对比度偏移、随机旋转、高斯模糊、高斯噪声和随机自适应直方图均衡。

采用两个公共数据集评估不同分割方法的性能，详细信息如下：国际皮肤成像合作组织(ISIC)于2018年发布ISIC 2018，作为皮肤镜图像的大型数据集，总共包含2594个RGB彩色图像，已成为评估医学图像算法的主要基准。每幅图像都与分割任务中皮肤病灶边界的专家手动跟踪配对。按照(Abraham and Khan，2019)中的设置，将数据集重新采样为224×320像素，并进行70-20-10训练集-验证集-测试集分割。训练数据由原始图像和相应的基本真值注释组成。

PH²是一个小数据集，其中仅包含200张常见痣、非典型痣和黑色素瘤的皮肤镜图像。所有这些都是在相同的条件下通过Tuebinger Mole Analyzer系统获得的，该系统使用20倍的放大倍数，并与皮肤病灶边界的专家手动追踪相匹配。在本发明的实验中，这些分辨率为768×560像素的8bit RGB彩色图像也被重采样为224×320。为了获得该数据集的可靠性能，使用100幅图像进行测试，80幅图像作为训练数据，20幅样本用于验证。

具有N个图像的分割训练集用A＝(X_n,Y_n)^N表示，其中每个图像X_n以像素为基础进行注释，每个像素属于皮肤病灶(即Y_ni＝1)或背景(即Y_ni＝0)。让具有M个图像和相应元数据的分类训练集用B＝([X_m,I_m],Y_m)^M表示，其中每对图像和相应元数据[X_m,I_m]用公共标签Y_m∈{l₁,...,l_C}，C是类的数量，本发明C＝9。

如图2所示，其中包括SLSN和SLCN。首先，在数据集A上训练SLSN的分割模型进行病变分割。其次，将数据集B中包含相应元数据的图像作为SLCN的输入，以提高其在病变分类中的性能。通过SLSN生成的病变对应的图像掩模对图像进行裁剪，使得SLCN可以在病变区域内提取更具体、更具代表性的特征，而不是在整个皮肤镜图像中执行。下面详细阐述本发明系统及方法。

皮肤病灶分割

为了克服影响皮肤镜图像中皮肤病灶分割性能的许多障碍，例如不规则形状、遮挡、大规模变化和边界模糊，本发明提出一种轻量级高效的分割网络，所述分割网络采用CS²-Net作为基础，为提高SLSN的分割能力，引入感受野模块(RFB)、通道和空间注意力模块(CSAM)以及设计多尺度整体特征探索(MSH)模块。具体而言，引入RFB模块取代传统的卷积层，参考图3。本发明还采用通道和空间注意力模块CSAM来捕获长程依赖关系，并有效地利用多通道空间进行特征表示。此外，为了在解码器中有效地融合来自不同尺度的信息，提出多尺度整体特征探索(MSH)模块，参考图4，以充分利用解码器合成的多尺度特征图中潜在的感知线索，提高分割性能，本发明所述分割网络能有效地分割皮肤病灶。

RFB结构如图3所示，每个分支的前1×1卷积用于压缩特征信道，减少计算量。后n×n(n∈{1,3,5})卷积被1×n卷积替换，然后是n×1卷积，以减少参数数量。为了进一步减少参数和增强更深层次的非线性，将5×5卷积替换为两个叠加的3×3卷积。

图4为多尺度整体特征探索(MSH)模块的说明，为了有效地融合来自解码器不同尺度的信息，提出MSH模块，以充分利用解码器合成的多尺度特征图中潜在的感知线索。首先，采用双线性插值算法和具有相同数量输出通道的卷积层，将多分辨率特征统一为32×224×320，然后将结果传递给下游特征探索。

多尺度整体特征探索模块

多尺度融合的思想在计算机视觉中得到了广泛的应用，但如何进行尺度融合，使模型性能更好，仍然是一个值得研究的问题。参考图4，在本发明中，为了有效地融合解码器不同尺度的信息，用MSH模块，以充分利用解码器合成的多尺度特征图中潜在的感知线索。本发明将解码器中尺度i处的特征表示为Y_i(i∈{1,2,3,4})，对应于图2中的D1、D2、D3和D4，通过重新缩放操作将Y_i的特征统一到相同的大小32×224×320，具体地，通过双线性插值变换(表示为f_u)和1×1卷积(表示为f_c)来实现。不同大小重新缩放解码特征的具体操作如等式(1)所示。重新缩放后，大小相同的四个特征向量F_i∈R^32×224×320,i∈{1,2,3,4})用于后续的特征探索。

F_i＝f_c(f_u(Y_i,2^i-1)),i∈{1,2,3,4} (1)

使用“串联”和“通道混洗”操作来组合来自每对通道的特征并构造相邻尺度特征混合向量，实现相邻尺度之间的信息交换。换言之，前一个刻度的特征为F_i-1连接到当前缩放F_i，并采用“通道混洗”操作，以允许相邻缩放信息沿通道流动。此外，对每个生成的跨尺度特征混合向量使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意邻接尺度特征混合向量。此外，聚合了所有特征向量F_i’(i∈{1,2,3,4})，再次利用元素注意衍生机制对多尺度特征F进行整体探索，见公式(3)，最后，应用具有两个输出通道(表示为f_c)的1×1卷积层，并使用紧随其后的Sigmoid(缩写为σ)进行皮肤病灶预测。MSH模块的最终输出如式(4)所示。

F＝Atten(Concat(F₁’,F₂’,F₃’,F₄’)) (3)

Y_MSH＝σ(f_c(F)) (4)

其中，Concat(·)表示串联操作，Shuffle(·)表示通道混洗，Atten(·)是由卷积块注意力模块(CBAM)实现的元素式注意衍生机制操作。

损失函数

所有数据集都包含完整的注释，二维图像中的皮肤病灶分割可以看作是一个像素级的二值分类任务：皮肤病灶或背景。为了进一步优化模型，使用一个由骰子分数系数损失L_DSC和二进制交叉熵损失L_BCE组成的联合损失函数L来执行所有分割任务；损失函数L定义为：

L＝L_DSC+L_BCE (7)

其中，g_i∈{0,1}与p_i∈{0,1}分别表示属于病变的第i个像素的真值标签和第i个像素的预测概率ε∈R提供数值稳定性以防止被零除，N＝W×H是像素数。为了公平比较，本文的所有分割实验都使用相同的损失函数。

皮肤病灶分类

考虑到人类皮肤科医生经常利用其他信息来帮助区分，本发明提出了一种用于皮肤病灶分类的跨模态网络。首先，引入两个分支特提取器，分别从皮肤镜图像和元数据中提取跨模态特征。参考图6，为了使网络关注更具辨别力的特征，提出跨模态协作特征探索模块CMC，以充分了解跨模态特征之间的潜在关系。最后，应用分类层获得病变类别。此外，为了有效降低背景噪声，提高分类网络SLCN的病变识别能力，基于分割模型SLSN生成的病变掩模对图像进行裁剪。参考图6所示跨模态协作特征探索(CMC)模块，F_c1和F_c2的交叉模式特征通过皮肤镜图像和临床元数据的两个分支特征提取器捕获，跨模态协作特征探索模块通过协作来挖掘跨模态特征之间的潜在关系，提取更有鉴别性的特征。

预处理

预处理包括裁剪图像和矢量化临床元数据。

基于掩模的裁剪图像

由于SLCN的一个输入为384×384图像X_m，所有皮肤镜图像大多数高度为6000px，宽度为4000px，见图5，在输入SLCN之前应缩小到384×384的尺寸。然而，由于皮肤病灶通常只占皮肤镜图像的很一小部分，直接进行下采样可能会导致皮肤病变变得太小而无法诊断。为了解决这个问题，需要裁剪图像并调整其大小，如图5所示，病变的位置并不总是出现在图像的中心。因此，通常使用的裁剪方法，如中心裁剪和随机裁剪，可能会导致裁剪图像中不包含病变区域，从而影响分类的准确性。本发明使用SLSN模型生成的病变掩模对图像进行裁剪，而不是直接中心裁剪或随机裁剪。

矢量化临床元数据

使用ISIC 2019和ISIC 2020的两个公共数据集组合成一个新的数据集(ISIC2019和2020)，用于训练和评估分类性能。除了每张图像，还提供了其他有价值的元数据，包括患者的年龄、性别、图像的身体部位位置(解剖部位)以及唯一的患者标识符(患者ID)，该标识符允许来自同一患者的病变相互映射。

在本发明中，使用年龄、性别、解剖部位、图像数量和图像大小的元数据进行矢量化，其中图像数量是数据中该患者所有图像的数量(通过患者ID获得)，图像大小是以字节为单位的图像大小。为了定量表示元数据，每个患者的性别编码为2维one-hot向量，每个图像的解剖部位编码为10维one-hot向量，对于年龄、图像数量和图像大小，使用正常的数字编码。将这五种类型的信息串联起来，形成每个对应图像的15维特征向量。

特征提取器

特征提取器包括图像特征提取器和临床元数据特征提取器。

图像特征提取器

为了获得具有强代表性的特征图，如图2所示的F_c1，使用预先训练的EfficientNet-B5作为皮肤镜图像的特征提取器，其输入大小为384×384。EfficientNet是一种新颖高效的模型架构，通过神经架构搜索设计，通过使用复合缩放技术仔细平衡网络深度、宽度和分辨率。

元数据特征抽取器

作为特征抽取器的第二个分支，将临床元数据送入浅层卷积神经网络。元数据特征抽取器结构参考如图2右下部分，由一系列模块组成，如下所示，Linear(15，128)->BN1d->Swish->Dropout(p＝0.3)->Linear(128,512)->BN1d->Swish->Linear(512，2048)，其中，Linear表示完全连接的层，BN1d表示一维批量标准化层，Swish表示Swish激活层，Dropout是p＝0.3的Dropout层。此外，括号中的数字是输入和输出通道。

跨模态协作特征探索模块

不同于其他简单地将来自皮肤镜图像和临床元数据的跨模态特征连接起来的方法，本发明提出了跨模态协作特征探索模块CMC通过额外利用每对交叉模态特征之间的潜在关系来发现最具鉴别性的特征。将图像和元数据的跨模态特征向量表示为F_c1和F_c2，并将其输入CMC模块。首次采用全局平均池化

和全局最大池化

来获取F_c1的全局信息。随后，将共享多层感知器用于

和F_c2，并将其结果相加并送到sigmoid中以获得注意权重α∈[0,1]^2048×1×1，表示每个特征在整个特征表示中的重要性。在获得注意权重α后，通过将注意权重分别与F_c1和F_c2的跨模态特征向量相乘来获得相应的注意图，其中残差连接用于促进训练。最后，通过乘法运算获得跨模态特征表示Y_CMC。CMC模块的输出如式(11)所示。

Y_CMC＝(F_c1·α+F_c1)(F_c2·α+F_c2) (11)

其中σ表示sigmoid函数，MLP表示多层感知算子。

对于分类，在对Y_CMC执行全局平均池化(GAP)后，生成的特征被馈送到一个新的具有C个神经元的完全连接层，C＝9，然后是softmax激活函数，通过最小化分类交叉熵损失来优化皮肤病灶分类模型。

基于以上阐述，本发明提出皮肤病灶分割和分类的总体架构参考图2，1)多尺度整体特征探索(MSH)模块，以充分利用解码器合成的多尺度特征地图中潜在的感知线索，实现跨多个尺度的特征协作探索，以更有效地支持下游图像分析任务；2)跨模态协作特征探索(CMC)模块，通过协作利用每对跨模态特征之间的潜在关系来发现潜在的鉴别特征(特征提取器F_c1和F_c2)，这有助于分类网络将重点放在更具辨别力的特征上。

在SLCN中，捕获皮肤镜图像和临床元数据的跨模态特征，将图像和元数据输入到两个分支特征提取器中，跨模态协作特征探索模块(CMC，见图6)，通过协作利用每对跨模态特征之间的潜在关系来发现潜在的鉴别特征。具体而言，新的跨模态协作特征探索模块能够在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果。此外，本发明还介绍了一种图像预处理策略，该策略通过SLSN生成的病变对应的图像掩模来裁剪图像。这种方法可以通过减少来自皮肤镜图像的干扰来提高分类性能。

综上所述，本发明基于皮肤病灶分割网络(SLSN)和皮肤病灶分类网络(SLCN)，提出一种多尺度整体特征探索模块(MSH)和一种跨模态协作特征探索模块(CMC)。多尺度整体特征探索模块(MSH)，以充分利用解码器合成的多尺度特征图中潜在的感知线索。更具体地说，(1)“串联”操作用于结合“通道混洗”操作来形成相邻尺度特征混合向量，从而实现相邻尺度之间的信息交换。(2)元素式注意衍生机制进一步应用于每个结果交叉尺度特征混合向量，以突出有用特征，从而衍生增强后注意相邻尺度特征混合向量。(3)聚合所有特征向量以跨多个尺度全面探索特征，从而更好地支持下游的图像分析任务。跨模态协作特征探索模块(CMC)通过协作利用每对跨模态特征之间的潜在关系来发现潜在的鉴别特征。具体而言，新的跨模态协作特征探索模块能够在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果。

另外，本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述结合图像和临床元数据的皮肤病灶分割和分类方法。

另一方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的结合图像和临床元数据的皮肤病灶分割和分类方法。

所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。

处理器可以是图形处理器(GPU)、中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。

对于本发明所述存储器，可以是笔记本电脑、桌面型计算机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。

计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。

Claims (10)

1.结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，包括以下步骤：

获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；

皮肤病灶分割网络基于U型网络结构，引入感受野模块取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；其中，多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，

皮肤病灶分类网络引入两个特征提取器以及跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；

特征提取器一基于具有代表性的图像特征提取特征向量F_c1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量F_c2；

利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，进而挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

2.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，RFB模块根据人类视觉系统中感受野的大小和偏心率模拟配置，通过使用具有不同内核大小卷积和扩展卷积层的多分支，生成具有不同感受野的特征，应用卷积操作合并所有分支的特征并生成特征的最终表示。

3.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多尺度整体特征探索模块将解码器中尺度i处的特征表示为Y_i(i∈{1,2,3,4})，通过缩放操作将Y_i的特征统一到尺寸相同的四个特征向量F_i∈R^32×224×320,i∈{1,2,3,4})用于后续的特征探索，使用“串联”和“通道混洗”操作来组合来自每对通道的特征并构造相邻尺度的特征混合向量F_i’(i∈{1,2,3,4})；聚合所有特征混合向量F_i’(i∈{1,2,3,4})，利用元素注意衍生机制对多尺度特征进行整体探索；最后用具有两个输出通道的卷积层和紧随其后的Sigmoid进行皮肤病灶预测，得到病变对应的图像掩模。

4.根据权利要求3所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多尺度整体特征探索模块的最终输出为Y_MSH＝σ(f_c(F))

F＝Atten(Concat(F₁’,F₂’,F₃’,F₄’))

其中，Concat(·)表示串联操作，Shuffle()表示通道混洗，Atten()是由卷积块注意模块实现的元素式注意衍生机制操作。

5.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，特征提取器一为删除平均池化层和连接层后的复合式模型缩放网络EfficientNet特征提取器；特征提取器二具体结构为Linear(15，128)->BN1d->Swish->Dropout(p＝0.3)->Linear(128,512)->BN1d->Swish->Linear(512，2048)，其中，Linear表示全连接层，BN1d表示一维批量标准化层，Swish表示Swish激活层。

6.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多维特征向量为对所述临床元数据中的年龄、性别、解剖部位、同一个患者的图像数量和图像大小五种类型的信息串联起来，形成与每个图像对应的15维特征向量；每个患者的性别编码为2维one-hot向量，每个图像的解剖部位编码为10维one-hot向量，对于年龄、图像数量和图像大小，使用正常的数字编码。

7.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，跨模态协作特征探索模块引入全局平均池化和全局最大池化操作分别作用于F_c1，在此基础上引入共享权重的多层感知器，分别作用于特征向量F_c2和池化操作后的F_c1，并将多层感知器输出结果相加后输入到sigmoid中获得注意力权重α，将获取到的注意力权重α分别与跨模态特征向量F_c1和F_c2相乘来获得表征注意图的特征向量；再通过乘法运算获得跨模态特征表示YCMC。

8.结合图像和临床元数据的皮肤病灶分割和分类系统，其特征在于，包括数据获取模块、分割网络特征获取模块、多尺度整体特征探索模、分类网络特征获取模块以及跨模态协作特征探索模块；

数据获取模块用于获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；

分割网络特征获取模块用于根据皮肤病灶分割网络获取图像特征，皮肤病灶分割网络基于U型网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；

多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征，；

分类网络特征获取模块基于皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；特征提取器一基于具有代表性的图像特征提取特征向量F_c1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量F_c2；

利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1～7中任一项所述结合图像和临床元数据的皮肤病灶分割和分类方法。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的结合图像和临床元数据的皮肤病灶分割和分类方法。

Images