CN113940635B - 基于深度残差金字塔的皮肤病变分割与特征提取方法 - Google Patents

Abstract

本发明是一种基于深度残差金字塔的皮肤病变分割与特征提取方法，包括如下步骤：步骤1：构建一个基于深度残差金字塔的皮肤病智能提取模型；步骤2：构建深度残差金字塔多尺度编码网络，通过残差金字塔多尺度编码网络和训练服务器对提取的模型进行训练，提取多尺度特征，输出分割与提取结果；步骤3：设计基于焦点损失和梯度协调机制的损失梯度监督机制，平衡离群点、易分样本和难分样本的权重，使模型适度关注难分样本。本发明将深度残差网络与特征金字塔结合，构建了一个深度残差金字塔多尺度编码网络，将瓶颈层划分为多尺度编码网络，通过提取多尺度特征，实现网络分割与提取结果的输出，提升神经网络的分割能力和特征提取能力。

Description

基于深度残差金字塔的皮肤病变分割与特征提取方法

技术领域

本发明涉及人工智能检测皮肤病领域，具体说是一种基于深度残差金字塔的皮肤病变分割与特征提取方法。

背景技术

皮肤病是普遍存在的疾病之一，分布年龄广。恶性皮肤病变，如黑色素瘤，由于恶化速度较快，致死率极高，因此是世界恶性程度较大的癌症之一。研究表明，如果黑色素瘤能在早期被筛选发现，该类肿瘤可以被完全治愈。因此，高效及时筛查恶性皮肤病如黑色素瘤具有重要的医疗价值。由于皮肤病存在种类繁多、病变外观的类间相似度高、类内差异化大等特点，使得黑色素瘤的识别分类非常困难。近年来，黑色素瘤的确诊和死亡病例在持续增长，但是通过早期筛查诊断可以极大降低该病的致死率.

在过去的十年中，神经网络展现出计算高效、灵敏度高和结果准确等特点，因此近年来被广泛引用于分类和回归任务，尤其是在机器视觉方面的医学临床实践中。研究人员通过导入大量的皮肤镜图像数据集和优化的估计参数，对黑色素瘤的特征进行提取训练，其结果提高了皮肤病分类筛查尤其是黑色素瘤分类的特异性、准确性和灵敏度。与皮肤科医生诊断相比，神经网络的误诊率更低，即与专业皮肤科医生的视觉筛查分类相比，计算机视觉的可靠性更高。

神经网络具有更高的灵敏度和特异性，可以辅助病人进行早期筛查，减少了非必要的就诊需求；同时对筛查有病变风险的病人给予及时准确的医疗建议。

当然，识别皮肤病，尤其是黑色素瘤，主要分为基于人工设计筛查的方法、基于传统机器学习算法的方法和基于卷积神经网络的方法。

基于人工设计筛查的方法：该类方法一定程度上提高了系统处理复杂外观的特征提取能力，但是所用特征单一，且着重于全局特征，忽略了局部特征。局部特征有利于利用细区分黑色素瘤病变区域与非病变区域，对于相似区域的划分作用重大，因此该类方法的特征提取准确性较低。

基于传统机器学习算法的方法：该类方法基于邻域分量分析改进了特征提取的方法，利用最佳纹路特征进行病变分割，有效提高了病变分割与分类准确性，但是存在计算成本昂贵、样本类别不平衡导致的提取能力差、准确率极低与误诊率极高的问题。

基于卷积神经网络的方法：该类方法应用CNN的高辨别力提升了色素性皮肤病识别系统的性能，但是其网络存在局限性，即特征易丢失、特征提取能力差、准确率低，难以得到较优的结果。针对灵敏度与准确性依赖样本的问题，一些学者提出了集成学习的方法。然而，这类集成模型需要大量资源，训练开销极大。

针对网络提取能力差与准确率低的问题，一些学者采用增加网络深度的方法。虽然该类方法通过增加网络深度提升了模型的性能，但是随着网络深度的增加，网络的准确度出现饱和甚至下降的现象，网络开始退化，同时提取的特征极易丢失。

发明内容

为了解决上述技术问题，本发明将深度残差网络与特征金字塔结合，提出一种基于深度残差金字塔的病变分割与特征提取方法，本发明构建了一个深度残差金字塔多尺度编码网络，将瓶颈层划分为多尺度编码网络，通过提取多尺度特征，实现网络分割与提取结果的输出，提升神经网络的分割能力和特征提取能力。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于深度残差金字塔的皮肤病变分割与特征提取方法，包括如下步骤：

步骤1：构建一个基于深度残差金字塔的皮肤病智能提取模型。

该模型由四个部分组成：用户、提取云、模型训练与数据提供。

用户：本发明考虑的用户为皮肤病患者与皮肤科医生。本发明为不同患者提供不同水平的服务，主要分为业余采集用户与专业皮肤科采集用户。业余用户主要通过移动设备如手机拍摄病变图片后获得初诊结果，受移动设备拍摄的光照、角度与清晰度等因素影响，服务提取结果的精确度会因此受到影响，作为初步筛查提取参考；专业皮肤科采集用户通过医院皮肤科专业采集设备如皮肤镜获取服务，通过皮肤科专业的皮肤镜采集并上传从而辅助医生进行医疗提取，可获得精确的提取结果。

提取云：本发明的提取云由云服务、模型存储与数据缓存组成，主要提供提取与数据存储传输服务。其中，模型存储将模型训练的模型存储用于提取服务，提取模型根据模型训练结果及时更新以提高提取准确率；数据缓存将用户数据缓存用于模型训练的下载，从而提供给样本源，用于核验提取结果与扩充样本集。

模型训练：本发明的模型训练基于残差金字塔多尺度编码网络，在训练服务器中结合数据提供方提供的训练样本进行训练。训练服务器由数个图形处理单元(GPU)与中央处理器(CPU)组成，部署本发明基于深度残差金字塔的皮肤病智能提取模型与训练环境进行模型训练，并将参数上传到提取云。同时皮肤科医生从模型训练下载提取云的提取结果进行结果分析，提取后标注数据以扩充训练样本；皮肤科医生会诊解决疑难杂症，审查提取云的对比结果并评估模型的优势与不足，并根据研讨结果与提取云对比结果调整本发明模型的网络结构与网络参数等，优化模型训练并更新参数。

样本源：在数据提供中，样本由ISIC提供的开源数据与医疗机构中专业的皮肤镜采集人员采集并由皮肤科医生进行标注的样本构成；皮肤科医生提取采集人员提供的采集数据并提供提取结果，为样本数据进行标注，作为训练样本提供给模型训练；同时皮肤科医生从模型训练下载提取云的提取结果进行结果分析，提取后标注数据以扩充训练样本；皮肤科医生会诊解决疑难杂症，审查提取云的对比结果并评估模型的优势与不足，并根据研讨结果与提取云对比结果调整本发明模型的网络结构与网络参数等，优化模型训练并更新参数。

步骤2：构建深度残差金字塔多尺度编码网络，通过残差金字塔多尺度编码网络和训练服务器对提取的模型进行训练，提取多尺度特征，输出分割与提取结果。

本发明设计的深度残差金字塔多尺度编码网络基于CNN。除了输入层与输出层外，由于应用场景的特定性与研究问题的复杂性，本发明的CNN进一步考虑设置一个或多个隐藏层，该隐藏层的网络拓扑结构在层的类型与数量上有所不同，因此，应用于色素性皮肤病变分割与特征提取的模型分为五层，即输入层、卷积层、激活层、池化层与瓶颈层，详述如下：

输入层：在输入层，本发明模型加载预处理后的样本集，即RGB三通道皮肤镜图像。通过色彩恒常性算法、数据增强算法与归一化将图像预处理后，减去训练集图像像素均值并自动缩减为224大小以适应网络。

卷积层：卷积层是本发明CNN的主要模块，该层作用是从色素性皮肤病样本集中提取不同的输入特征。在反向传播时，卷积核在图像维度上平移。低层卷积层只能提取低级特征，高层卷积可以通过迭代提取低层卷积中的复杂特征。卷积层的色素性皮肤病单元组织为特征图，每个单元通过一定大小的卷积核作用于上一层特征图的局部区域。与主流CNN不同，本发明CNN基于ResNet。在ResNet的基础上，使用3个32卷积核来代替72卷积核，使用2个32卷积核来代替52卷积核，即使得52卷积的全连接网络在52区域滑动。这样做旨在保证具有相同感知野的条件下提升网络的深度，从而在一定程度上提升神经网络的效果。先采用一个32的卷积滤波器卷积，然后再采用一个全连接层连接这个32卷积输出，从而使得全连接层作为32卷积层。通过该方法即可采用两个32卷积级联即叠加代替一个52卷积。本发明模型包含5个卷积块，第1、2块内有2个卷积层，其余3块内有3个卷积层，所有卷积都使用线性整流函数(ReLU)激活函数。这5个卷积块的卷积核数量分别为64、128、256、512、512，每块内的卷积核数目相同。卷积层全部为32的小卷积核，在增强网络容量与模型深度的同时减少卷积参数的数量，有效降低计算复杂度。

激活层：在卷积层后，作用为使训练网络适应非线性。激活层在神经网络中使用非线性函数，如ReLU与双曲正切函数(tanh)。对于本发明模型而言，ReLU可以解决梯度消失问题，使网络训练更快且准确性不会受到较大影响。

池化层：在激活层后，作用为降维，以减少训练参数的数量与计算负担，从而减少训练时间，有效避免模型过拟合，同时降低计算的复杂度。池化有最大池化、最小池化与平均池化等。将输入划分为多个矩阵，对于每个子区域，最大池化过程中保留输出的最大值。在池化层，本发明模型中每个卷积块后面都连接一个最大池化层，大小为22。

瓶颈层：处于本发明模型最后位置，基于ResNet设计瓶颈层。主流CNN利用高层特征解决在提取多尺度特征时存在严重不足的问题。但该方法存在的缺陷是，较小特征在下采样过程中极易丢失，这是因为较小的特征本身具有较少的像素信息。为了解决这一缺陷，本发明采用深度残差金字塔多尺度编码结构进行多尺度特征的增强。瓶颈层由多个瓶颈层1和瓶颈层2组成，由卷积块、批标准化和线性整流组成。瓶颈层带来的好处是大幅减少计算量，提高网络的训练速度。引入该结构可以对每一种尺度的图像进行特征提取，从而得到多尺度的特征表示，虽然特征金字塔多尺度编码增大了计算量和内存占用量，但残差的瓶颈层大幅减少了计算量和内存占用，同时提高了网络的特征提取能力，从而提高了网络的预测性能和精度。

步骤3：在焦点损失和梯度协调机制的基础上提出了基于焦点损失的损失梯度监督机制，在解决样本不平衡问题的同时平衡了离群点、易分样本和难分样本的权重，使模型适度关注难分样本，可解决焦点损失过度关注难分样本导致整体准确率降低的问题。

具体包括如下内容：

采用的损失函数从二元分类的交叉熵(Cross Entropy，CE)损失引入。

CE损失定义为：

在公式(1)中，对二分类任务而言，y∈{±1}。p∈[0，1]，表示模型对带有标签y＝1的概率估计。为了简化，用p_t代替p，即为公式(2)。

则(1)可重写为

CE(p，y)＝CE(p_t)＝-log(p_t). (3)

解决类别不平衡的常用方法是为y＝1引入加权因子α∈[0，1]，为y＝-1引入加权因子1-α。为了符号上方便，类似于定义p_t的方式定义α_t，即将α平衡后的CE损失写为：

CE(p_t)＝-α_tlog(p_t). (4)

这种损失是对CE的简单扩展，即本发明梯度协调机制的实验基准。

在训练过程中遇到的类别失衡影响了交叉熵损失，容易导致分类的负值构成了损失的大部分并影响梯度。尽管上文加权因子α平衡了正负样本所占权值，但其并未区分简单与复杂样本。为解决该问题，在交叉熵损失中添加一个调制系数(1-p_t)^γ，且参数γ≥0。焦点损失(Focal Loss，FL)定义为：

FL(p_t)＝-(1-p_t)^γlog(p_t). (5)

当样本分类错误且p_t较小时，调制系数接近1，并且损失不受影响。当p_t→1时，因子变为0，并且对分类准确的样本的损失进行了加权。参数γ对简单样本的权重进行平滑调整。当γ＝0时，FL等效于CE，并且随着γ的增加，调制系数的作用也会增加。调制系数减少了简单样本的损耗影响，并扩展了样本接收低损耗的范围。使用α损失平衡焦点损失为(FL)：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t). (6)

上述机制存在的缺陷为：如果让模型过多关注难分样本如样本中的离群点，已经收敛的模型会因为这些离群点造成被判别错误的问题，因此对于易分样本和难分样本都不应过度关注；同时参数的取值全从实验得出且各参数要联合实验，因为其取值会相互影响，这不仅降低了模型的准确率，还增加了训练的计算量。

因为易分样本和特别难分样本数量都要比一般样本多一些，因此本发明衰减单位区间数量多的那类样本(即物理密度)，则改进的损失梯度监督机制为：

其中，δ_e(g_k，g)表示样本梯度模长分布在(g-e/2，g+e/2)范围内的样本个数，l_e(g)表示区间(g-e/2，g+e/2)的长度。

综上所述，本发明平衡后采用的损失梯度监督机制为：

其中，λ为调制因子，取值范围为[0，1]，取值基于样本和实验调整。

本发明的有益效果是：本发明将深度残差网络与特征金字塔结合，提出一种基于深度残差金字塔的病变分割与特征提取方法，该提取方法将单一尺度拓展为多尺度，即瓶颈层划分为多尺度编码网络，通过提取多尺度特征，输出分割与提取结果，通过改进该结构，可提升神经网络的分割能力和特征提取能力，在提高网络深度和预测性能的同时可降低网络的训练开销，解决了主流CNN的退化问题；同时为了解决样本不平衡问题，在焦点损失和梯度协调机制的基础上提出了基于焦点损失的损失梯度监督机制，在解决样本不平衡问题的同时平衡了离群点、易分样本和难分样本的权重，使模型适度关注难分样本，可解决焦点损失过度关注难分样本导致整体准确率降低的问题。

通过仿真结果表明，与现有方法的对比结果表明，本发明所提机制可以显着提高提取准确性并减少样本不均衡问题带来的影响。

附图说明

图1是本发明皮肤病智能提取系统模型。

图2是本发明深度残差金字塔多尺度编码网络。

图3是本发明训练集图片例子。

图4是本发明标准病变边界。

图5是本发明测试图片例子。

图6是本发明输出结果。

图7是本发明损失和训练准确率随迭代次数变化结果。

图8是本发明不同模型k折交叉分割与提取结果对比。

具体实施方式

以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。

本发明公开一种基于深度残差金字塔的病变分割与特征提取方法，构建了一个基于深度残差金字塔的皮肤病智能提取模型，设计了基于深度残差金字塔的多尺度编码网络，以提取多尺度特征从而提高模型的提取能力；设计了基于焦点损失的梯度损失监督机制，可有效解决样本不均衡问题同时克服焦点损失的局限性。

具体包括如下步骤：

步骤1、构建了一个基于深度残差金字塔的皮肤病智能提取模型，该模型由四个部分组成：用户、提取云、模型训练与数据提供。本发明模型的四个组成部分如图1所示，其中，用户通过采集设备收集病变图片，将数据上传到提取云并从提取云下载提取结果，获取提取服务；提取云通过模型训练获取用于提取的训练模型，并为模型训练提供提取结果数据下载；模型训练通过样本源提供的训练样本，构建残差金字塔多尺度编码网络训练模型；样本源提供用于训练的脱敏数据，同时从模型训练服务器下载提取云上传的用户采集的数据，用于核验分析模型训练的提取结果，调整模型训练的参数并标注样本以扩充样本集。

用户：本发明考虑的用户为皮肤病患者与皮肤科医生。本发明为不同患者提供不同水平的服务，主要分为业余采集用户与专业皮肤科采集用户。业余用户主要通过移动设备如手机拍摄病变图片后获得初诊结果，受移动设备拍摄的光照、角度与清晰度等因素影响，服务提取结果的精确度会因此受到影响，作为初步筛查提取参考；专业皮肤科采集用户通过医院皮肤科专业采集设备如皮肤镜获取服务，通过皮肤科专业的皮肤镜采集并上传从而辅助医生进行医疗提取，可获得精确的提取结果。

提取云：本发明的提取云由云服务、模型存储与数据缓存组成，主要提供提取与数据存储传输服务。其中，模型存储将模型训练的模型存储用于提取服务，提取模型根据模型训练结果及时更新以提高提取准确率；数据缓存将用户数据缓存用于模型训练的下载，从而提供给样本源，用于核验提取结果与扩充样本集。

模型训练：本发明的模型训练基于残差金字塔多尺度编码网络，在训练服务器中结合数据提供方提供的训练样本进行训练。训练服务器由数个图形处理单元(GPU)与中央处理器(CPU)组成，部署本发明基于深度残差金字塔的皮肤病智能提取模型与训练环境进行模型训练，并将参数上传到提取云。同时皮肤科医生从模型训练下载提取云的提取结果进行结果分析，提取后标注数据以扩充训练样本；皮肤科医生会诊解决疑难杂症，审查提取云的对比结果并评估模型的优势与不足，并根据研讨结果与提取云对比结果调整本发明模型的网络结构与网络参数等，优化模型训练并更新参数。

样本源：在数据提供中，样本由ISIC提供的开源数据与医疗机构中专业的皮肤镜采集人员采集并由皮肤科医生进行标注的样本构成；皮肤科医生提取采集人员提供的采集数据并提供提取结果，为样本数据进行标注，作为训练样本提供给模型训练；同时皮肤科医生从模型训练下载提取云的提取结果进行结果分析，提取后标注数据以扩充训练样本；皮肤科医生会诊解决疑难杂症，审查提取云的对比结果并评估模型的优势与不足，并根据研讨结果与提取云对比结果调整本发明模型的网络结构与网络参数等，优化模型训练并更新参数。

步骤2：本发明设计的深度残差金字塔多尺度编码网络基于CNN。本发明模型与支SVM、传统神经网络(Neural Network,NN)相比，通过输入的原始图像提取特征，因此具有更高的准确率。除了输入层与输出层外，由于应用场景的特定性与研究问题的复杂性，本发明的CNN进一步考虑设置一个或多个隐藏层，该隐藏层的网络拓扑结构在层的类型与数量上有所不同，因此，应用于色素性皮肤病变分割与特征提取的模型分为五层，即输入层、卷积层、激活层、池化层与瓶颈层，详述如下：

输入层：在输入层，本发明模型加载预处理后的样本集，即RGB三通道皮肤镜图像。通过色彩恒常性算法、数据增强算法与归一化将图像预处理后，减去训练集图像像素均值并自动缩减为224大小以适应网络。

卷积层：卷积层是本发明CNN的主要模块，该层作用是从色素性皮肤病样本集中提取不同的输入特征。在反向传播时，卷积核在图像维度上平移。低层卷积层只能提取低级特征，高层卷积可以通过迭代提取低层卷积中的复杂特征。卷积层的色素性皮肤病单元组织为特征图，每个单元通过一定大小的卷积核作用于上一层特征图的局部区域。与主流CNN不同，本发明CNN基于ResNet。在ResNet的基础上，使用3个32卷积核来代替72卷积核，使用2个32卷积核来代替52卷积核，即使得52卷积的全连接网络在52区域滑动。这样做旨在保证具有相同感知野的条件下提升网络的深度，从而在一定程度上提升神经网络的效果。先采用一个32的卷积滤波器卷积，然后再采用一个全连接层连接这个32卷积输出，从而使得全连接层作为32卷积层。通过该方法即可采用两个32卷积级联即叠加代替一个52卷积。本发明模型包含5个卷积块，第1、2块内有2个卷积层，其余3块内有3个卷积层，所有卷积都使用线性整流函数(ReLU)激活函数。这5个卷积块的卷积核数量分别为64、128、256、512、512，每块内的卷积核数目相同。卷积层全部为32的小卷积核，在增强网络容量与模型深度的同时减少卷积参数的数量，有效降低计算复杂度。

激活层：在卷积层后，作用为使训练网络适应非线性。激活层在神经网络中使用非线性函数，如ReLU与双曲正切函数(tanh)。对于本发明模型而言，ReLU可以解决梯度消失问题，使网络训练更快且准确性不会受到较大影响。

池化层：在激活层后，作用为降维，以减少训练参数的数量与计算负担，从而减少训练时间，有效避免模型过拟合，同时降低计算的复杂度。池化有最大池化、最小池化与平均池化等。将输入划分为多个矩阵，对于每个子区域，最大池化过程中保留输出的最大值。在池化层，本发明模型中每个卷积块后面都连接一个最大池化层，大小为22。

瓶颈层：处于本发明模型最后位置，基于ResNet设计瓶颈层。主流CNN利用高层特征解决在提取多尺度特征时存在严重不足的问题。但该方法存在的缺陷是，较小特征在下采样过程中极易丢失，这是因为较小的特征本身具有较少的像素信息。为了解决这一缺陷，本发明采用深度残差金字塔多尺度编码结构进行多尺度特征的增强。如图2所示，瓶颈层由多个瓶颈层1和瓶颈层2组成，由卷积块、批标准化和线性整流组成。瓶颈层带来的好处是大幅减少计算量，提高网络的训练速度。引入该结构可以对每一种尺度的图像进行特征提取，从而得到多尺度的特征表示，虽然特征金字塔多尺度编码增大了计算量和内存占用量，但残差的瓶颈层大幅减少了计算量和内存占用，同时提高了网络的特征提取能力，从而提高了网络的预测性能和精度。

步骤3：本发明引入损失旨在解决色素性皮肤病类别间存在的极大不平衡问题。采用的损失函数从二元分类的交叉熵(Cross Entropy，CE)损失引入。

CE损失定义为：

在公式(1)中，对二分类任务而言，y∈{±1}。p∈[0，1]，表示模型对带有标签y＝1的概率估计。为了简化，用p_t代替p，即为公式(2)。

则(1)可重写为

CE(p，y)＝CE(p_t)＝-log(p_t). (3)

解决类别不平衡的常用方法是为y＝1引入加权因子α∈[0，1]，为y＝-1引入加权因子1-α。为了符号上方便，类似于定义p_t的方式定义α_t，即将α平衡后的CE损失写为：

CE(p_t)＝-α_tlog(p_t). (4)

这种损失是对CE的简单扩展，即本发明梯度协调机制的实验基准。

在训练过程中遇到的类别失衡影响了交叉熵损失，容易导致分类的负值构成了损失的大部分并影响梯度。尽管上文加权因子α平衡了正负样本所占权值，但其并未区分简单与复杂样本。为解决该问题，在交叉熵损失中添加一个调制系数(1-p_t)^γ，且参数γ≥0。焦点损失(Focal Loss，FL)定义为：

FL(p_t)＝-(1-p_t)^γlog(p_t). (5)

当样本分类错误且p_t较小时，调制系数接近1，并且损失不受影响。当p_t→1时，因子变为0，并且对分类准确的样本的损失进行了加权。参数γ对简单样本的权重进行平滑调整。当γ＝0时，FL等效于CE，并且随着γ的增加，调制系数的作用也会增加。调制系数减少了简单样本的损耗影响，并扩展了样本接收低损耗的范围。使用α损失平衡焦点损失为(Focal Loss，FL)：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t). (6)

上述机制存在的缺陷为：如果让模型过多关注难分样本(如样本中的离群点)，已经收敛的模型会因为这些离群点造成被判别错误的问题，因此对于易分样本和难分样本都不应过度关注；同时参数的取值全从实验得出且各参数要联合实验，因为其取值会相互影响，这不仅降低了模型的准确率，还增加了训练的计算量。

因为易分样本和特别难分样本数量都要比一般样本多一些，因此本发明衰减单位区间数量多的那类样本(即物理密度)，则改进的损失梯度监督机制为：

其中，δ_e(g_k，g)表示样本梯度模长分布在(g-e/2，g+e/2)范围内的样本个数，l_e(g)表示区间(g-e/2，g+e/2)的长度。

综上所述，本发明平衡后采用的损失梯度监督机制为：

其中，λ为调制因子，取值范围为[0，1]，取值基于样本和实验调整。

本发明样本集为红绿蓝颜色系统(Red Green Blue，RGB)三通道皮肤镜图像，样本集分为训练集和测试集，由ISIC开源的皮肤病样本集与医疗机构中专业的皮肤镜采集人员采集并由皮肤科医生进行标注的样本构成。本发明样本为使用各种类型的皮肤镜采集的不包括粘膜与指甲的皮肤图像，每个病变图像包括一个原发病变，不包括较小的继发性病变或其他色素区。病变样本的分布符合现实情况，即良性病变多于恶性病变，但恶性病变种类较多。

本发明训练集构成为12609张皮肤镜病变图像，主要包含的病变类型为黑色素瘤(MEL)、黑色素细胞痣(NV)、基底细胞癌(BCC)、光化性角化病(AKIEC)、良性角化病(BKL)、皮肤纤维瘤(DF)和血管病变(VASC)，训练集选自ISIC2018和医疗机构脱敏采样图片，如图3所示，图片不依赖任何准确标签训练，从而保护患者隐私。为了避免采集到的训练集样本存在毛发、气泡、光照等因素对实验结果的影响，本发明采用去噪、色彩恒常性等算法对图片进行预处理，同时对MEL样本集平移、翻转、拉伸、旋转扩充训练集至20000张。

同时，由于样本人工标注不统一，准确度低，无法提供统一准确的标签用于训练，因此本发明选取2600张图片进行蒙版处理，作为标签训练的样本集，人工像素定界输出PNG格式的二进制蒙版图像，作为准确的病变类型边界结果标签辅助训练。指示每个输入病变图像中原发皮肤病变的位置，如图4所示。蒙版图像与其对应的病变图像具有完全相同的尺寸。为了无损压缩图片，蒙版图像被编码为单通道(灰度图)8位PNG，其中像素分为0与255。像素为0代表该区域为图像的背景或原发病变位置以外的区域；像素为255代表该区域为图像原发病变位置内的区域。由于原发皮肤病变是单个连续区域，因此蒙版图像仅包含单个连续病变位置区域。

为避免偶然性对实验结果的影响，采用k折交叉验证，即运行k次迭代完成k折交叉验证，每次迭代时每个样本只在训练集中或者测试集中，且在测试集中出现一次。测试数据选取1000张验证，图片尺寸与输入数据一致，如图5所示。

通过本发明模型分割与提取后的输出结果如图6所示，其中病变位置用红色像素标记，特征部位用黄色像素标记，非病变位置用黑色像素标记。

为了进一步微观地评判模型，本发明采用Jaccard系数作为评判分割与提取准确度的标准。设T为真实病变边界分割与特征提取结果，P为预测边界分割与特征提取结果，则Jaccard系数计算为公式(9)：

表1不同损失方案的分割与提取结果对比(Jaccard)

损失	大样本	小样本	平均
				CE	0.817	0.529	0.752
FL	0.798	0.815	0.807
				本发明	0.831	0.812	0.823

表1展示了CE、FL与本发明损失梯度监督机制相对比的情况。从表中可以看出，对于大样本，CE与本发明所提的梯度监督机制准确率接近，而FL准确率较低，这是因为FL会过度关注难分样本和离群点，导致整体准确率偏低。在样本充足的情况下CE的模型训练效果接近本发明，拥有良好的分割与提取能力；而FL会过于关注难分样本从而降低模型整体的预测能力，导致已经收敛的模型会因为这些难分离群点造成被判别错误的问题。

对于小样本，FL和本发明所提梯度损失监督机制准确率接近，而CE的分割与提取准确率极低，这是因为CE的局限性导致其无法处理样本不均衡问题，只能基于样本数量给出平均分割与提取的结果，模型难以充分训练，从而导致平均准确率较低。说明FL和本发明提出的梯度损失监督机制有效解决了样本不平衡问题。而由于FL参数的取值会相互影响，因此其各参数要联合实验从而得出取值，导致FL的整体精确度低于本模型。因此本发明所提损失方案的平均准确率高于FL和CE。

图7所示为本发明训练样本准确率(accuracy)和损失(loss)随着训练迭代数(epoch)的变化曲线。随着epoch的增加，本发明模型的loss逐渐降低，并在epoch>70时趋于收敛，表明本发明的损失模型设计合理；训练集的accuracy逐渐提高，并在epoch>70时趋于收敛，表明本发明的训练模型设计高效。

如表2所示，本发明的分割与提取模型较主流的分割与提取模型在准确率方面有较大优势，原因在于：SVM和NN由于无法通过输入的原始图像提取特征，因此准确率较低。与本发明模型比，其余模型在特征提取、尺度依赖、损失等方面都有一定局限，因此准确率较本发明模型低。本发明分割与提取的准确率高是因为，本发明将瓶颈层划分为多尺度编码网络，通过提取多尺度特征输出提取结果。通过这种网络结构，可以有效避免特征在卷积、池化的过程中丢失，因此特征提取的准确性高。为了避免梯度爆炸、梯度消失、过拟合和欠拟合问题，提高网络的训练效率，本发明网络基于深度残差网络。对于样本不均衡问题，本发明设计的损失梯度监督机制，通过焦点损失增加模型对难分样本的关注，同时通过梯度协调机制减少对特别难分样本与离群点的关注，从而减小类别不平衡对提取结果的影响，因此与主流方案对比具有较高的准确率。

表2不同模型分割与提取结果Jaccard系数对比

如图8所示，本发明同时验证了基于k折交叉验证的结果，从图中可以看出，本发明提出的模型精确率随k值变化波动较小，且均高于其他主流模型，表明本发明模型稳定性好。k折交叉验证避免了偶然性对实验结果造成的影响，验证了预测能力的稳定性，有效避免了偶然误差和数据集随机取值对结果的影响。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (5)

1.基于深度残差金字塔的皮肤病变分割与特征提取方法，其特征在于：所述皮肤病变分隔与特征提取方法包括如下步骤：

步骤1：构建一个基于深度残差金字塔的皮肤病智能提取模型；

步骤2：构建深度残差金字塔多尺度编码网络，通过残差金字塔多尺度编码网络和训练服务器对提取的模型进行训练，提取多尺度特征，输出分割与提取结果；

步骤3：设计基于焦点损失和梯度协调机制的损失梯度监督机制，平衡离群点、易分样本和难分样本的权重，使模型适度关注难分样本，其中：所述步骤2深度残差金字塔多尺度编码网络基于CNN，应用于皮肤病变分割与特征提取的模型分为五层，即输入层、卷积层、激活层、池化层和瓶颈层，其中：

输入层：在输入层，模型加载预处理后的样本集；

卷积层：卷积层为CNN的主要模块，从皮肤病样本集中提取不同的输入特征；

激活层：激活层在卷积层后为使训练网络适应非线性，激活层在CNN中使用非线性函数；

池化层：池化层在激活层后，用于降维；

瓶颈层：基于ResNet设计瓶颈层，由多个瓶颈层1和多个瓶颈层2组成，每个所述瓶颈层1和每个所述瓶颈层2均由卷积块、批标准化和线性整流组成；

所述步骤3具体包括如下内容：

采用的损失函数从二元分类的交叉熵损失引入

CE损失定义为：

在公式(1)中，对二分类任务而言，y∈{±1}，p∈[0，1]，表示模型对带有标签y＝1的概率估计，为了简化，用p_t代替p，即为公式(2)

则公式(1)可重写为

CE(p，y)＝CE(p_t)＝-log(p_t). (3)

将y＝1引入加权因子α∈[0，1]，将y＝-1引入加权因子1-α，定义p_t的方式定义α_t，即将α平衡后的CE损失写为：

CE(p_t)＝-α_tlog(p_t). (4)

这种损失是对CE的简单扩展，即梯度协调机制的实验基准；

在交叉熵损失中添加一个调制系数(1-p_t)^γ，且参数γ≥0，焦点损失定义为：

FL(p_t)＝-(1-p_t)^γlog(p_t). (5)

因为易分样本和特别难分样本数量都要比一般样本多，则改进的损失梯度监督机制为：

其中，δ_e(g_k，g)表示样本梯度模长分布在(g-e/2，g+e/2)范围内的样本个数，L_e(g)表示区间(g-e/2，g+e/2)的长度，

平衡后采用的损失梯度监督机制为：

其中，λ为调制因子，取值范围为[0,1]，取值基于样本和实验调整。

2.根据权利要求1所述基于深度残差金字塔的皮肤病变分割与特征提取方法，其特征在于：所述卷积层全部为32的小卷积核。

3.根据权利要求1所述基于深度残差金字塔的皮肤病变分割与特征提取方法，其特征在于：所述激活层的非线性函数为ReLU与双曲正切函数。

4.根据权利要求1所述基于深度残差金字塔的皮肤病变分割与特征提取方法，其特征在于：所述步骤1中模型的提取过程具体为：

步骤1-1：用户通过采集设备收集病变图片，将数据上传到提取云并从提取云下载提取结果，获取提取服务；

步骤1-2：提取云通过模型训练获取用于提取的训练模型，并为模型训练提供提取结果数据下载；

步骤1-3：模型训练通过样本源提供的训练样本，构建残差金字塔多尺度编码网络训练模型；

步骤1-4：样本源提供用于训练的脱敏数据，同时从模型训练服务器下载提取云上传的用户采集的数据，用于核验分析模型训练的提取结果，调整模型训练的参数并标注样本以扩充样本集。

5.根据权利要求4所述基于深度残差金字塔的皮肤病变分割与特征提取方法，其特征在于：所述步骤1中的模型由四个部分组成：用户、提取云、模型训练与数据提供，其中：

用户：用户为皮肤病患者与皮肤科医生；

提取云：提取云为由云服务、模型存储与数据缓存组成，提供提取与数据存储传输服务，其中，模型存储将模型训练的模型存储用于提取服务，提取模型根据模型训练结果及时更新以提高提取准确率；数据缓存将用户数据缓存用于模型训练的下载，从而提供给样本源，用于核验提取结果与扩充样本集；

模型训练：模型训练基于残差金字塔多尺度编码网络，在训练服务器中结合数据提供方提供的训练样本进行训练，优化模型训练并更新参数，并将参数上传到提取云，训练服务器由数个图形处理单元与中央处理器组成；

数据提供：在数据提供中，样本由ISIC提供的开源数据与医疗机构中专业的皮肤镜采集人员采集并由皮肤科医生进行标注的样本构成。