CN107958271A - 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 - Google Patents

Abstract

本发明的目的针对由于黑色素瘤皮肤病变分割的难度大，传统提取特征再分类的方法效果差，训练样本少，样本间差异大，提供一种基于膨胀卷积的多尺度深度学习识别系统，该系统包括：首先对训练样本进行数据增强，归一化处理，然后训练提出的基于膨胀卷积的多尺度特征学习神经网络，之后去得到的预测概率图，进行多阈值分割，完成对黑色素瘤皮肤病图片的分割。最终提高分割准确率。

Description

基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统

技术领域

本发明涉及图像处理领域，深度学习领域，尤其涉及一种基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统。

背景技术

图像处理已经成为一门引人注目，前景广阔的新型学科，并正在向更高、更深层次发展。国内外大量文献报道证明了人们已经开始研究如何用计算机解释图像，实现用计算机视觉系统理解外部世界。许多国家都正在大力探索和研究图像理解和机器视觉，并取得了不少重要成果。其中在图像分割中应用的最广泛的技术，最高效，成果最好的技术就是使用深度学习来对图像进行处理。

随着深度学习的飞快发展，在图像处理领域的大多成果记录都被刷新，在各个方面证明了深度学习得优良性质。近年来，国内外许多高校和大型企业都在分析研究语义分割，并取得了重大成果。从2006年，Hinton提出了深度网络训练中梯度消失的问题的解决方案，深度学习得风潮就在各个相关领域掀起。2014年，Jonathan Long等人提出了一种端到端的图像分割手段，使用了跳跃连接，改善了上采样的粒度程度。2015年，OlafRonneberger等人提出了U-net的编码解码结构的深度卷积网络，在医学图像分割上取得了巨大结果。2015年，Fisher Yu等人提出了基于膨胀卷积(dilated convolution)的神经网络,来处理多尺度的目标信息。而在细胞病变黑素瘤图像分割方面，国内外都作出了巨大努力。2017年的ISBI上提出了一种增强卷积和反卷积网络，在黑素瘤皮肤分割上以Jaccardindex 0.765.夺得第一名。

在国内，在传统的黑色素瘤疾病检测中主要方法有ABCD法则、模式分析法、7点检测法、三点检法、孟氏法以及CASH法等，这些方法均是利用颜色、纹理以及形态结构等特征来进行识别，不能够对图像中传递的其他一些有用的细节性信息进行利用，所以对黑色素瘤图像特征进一步的提取并研究分类对当前的临床诊断的有很强的意义。黑色素瘤皮肤图片主要难度在于形态各异，颜色多变，大小不一，以及噪声多样。而且医学图像能提供的训练样本小，样本需要专业人员才能标注，花费大。深度学习恰恰需要大样本才能展现良好的分割效果。

发明内容

本发明的目的针对由于黑色素瘤皮肤病变分割的难度大，传统提取特征再分类的方法效果差，训练样本少，样本间差异大，提供一种基于膨胀卷积的多尺度深度学习识别系统，最终提高分割准确率。

为了实现上述目的。本发明采用的技术方案是：

本发明公开了一种基于膨胀卷积的多尺度深度学习识别系统，具体实施步骤包括：

(1)对样本库样本分为训练样本和验证样本，样本库中图片进行预处理，得到处理后的图片。

(2)构建深度神经网络，将(1)中处理后的图片依批次输入网络，使用有动量的梯度下降法进行优化网络，得到训练完成的网络。

(3)对测试样本图片进行如(1)中的预处理，得到处理后的测试图片。

(4)将(3)中得到的处理后的测试图片输入训练好的网络中，得到预测图片。

(5)对(4)中得到的预测图片进行后处理，完成对测试图片的分割。

所述步骤(1)中的预处理步骤如下：

(11)对样本库中样本按照一定比例分为训练样本和验证样本，然后将训练样本和验证样本都进行数据增强，将每个样本进行旋转，翻转，随机下采样，形变，以及改变对比度，饱和度，光照，得到数据增强后的训练样本和验证样本，样本大小是513×513。

(12)对(11)中训练样本和验证样本图片对应的标签图片，使用(11)中一样的旋转，翻转，同样的下采样，形变，保证标签样本与训练样本或验证样本对应，得到数据增强后的标签样本，样本大小是513×513。

(13)用(11)中的数据增强后的训练样本和验证样本归一化，将(11)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本和验证样本。

所述步骤(2)中的构建深度神经网络及使用带动量的随机梯度下降法进行优化的步骤如下：

(21)构建一个如图1的深度神经网络，其中网络的特征提取采用卷积(convolution)，修正线性单元(rectified liner unit),池化层(pooling)结合的模块。模块中的卷积均采用3×3的卷积核，填充(padding)为[1,1,1,1]，步长为1，内核扩张因子(dilate)为1，池化层都是3×3池化池，步长为2，填充量为[1,2,1,2]。三个模块级联完成特征提取。(13)中得到的训练样本依次通过三个特征提取模块，先进入第一个模块(图1中con-relu-con-relu-block 1模块)，得到特征通道B1，特征通道的特征大小是257×257，得到的特征B1进入第二个特征提取模块(图1中con-relu-con-relu-block 2模块)，得到特征通道B2，特征通道的特征大小是129×129，得到的特征B2进入第三个特征提取模块(图1中con-relu-con-relu-block 3模块)，得到特征通道B3，特征通道的特征大小是65×65。

(22)将(21)中得到的特征通道B3分别输入四个带内核扩张因子的膨胀卷积(dilated convolution)的多尺度特征提取模块(图1中dicon-relu-drop-con-relu-drop-con模块)，得到四个不同尺度视野的特征通道。这四个模块均是由膨胀卷积层，修正线性单元，dropout层，1×1的卷积核的卷积层，dropout层，1×1的卷积核的卷积层.其中四个模块的膨胀卷积层膨胀因子分别为6,12,18,24.。

(23)将(22)中得到的不同尺度视野特征通道加在一起，融合得到训练样本的最终特征。

(24)将(23)中得到的最终特征经过一层卷积层，一层修正线性单元，一层卷积层，和上采样层后，与第三个con-relu-con-relu-block 3得到的特征加在一起，融合成特征尺度是129×129的特征通道。

(25)将(24)得到的特征通道，依次进入反卷积层，修正线性单元，反卷积层，特征大小保持，不变，之后再进入上采样层，输出特征大小为257×257的特征通道。

(26)将(25)得到的特征大小为257×257的特征通道，与特征提取模块con-relu-con-relu–block 2得到的特征加在一起，融合成特征尺度是257×257的特征通道。

(27)将(26)中得到的特征尺度是257×257的特征通道进行上采样，卷积，激活函数，卷积。得到与输入图像一样的大小的预测概率图。

(28)将(27)得到的概率图，使用softmax函数将概率图的值归一化到0到1，softmax函数如下：

(29)使用交叉熵代价函数(cross-entropy loss)将(28)中得到的归一化的概率图与标签图对比，交叉熵代价函数如下：

为了防止过拟合，在代价函数后再加上一个L2正则项，得到的代价函数如下：

(210)得到(29)中代价函数值后，根据随机梯度下降法，反向传播，更新网络中参数的值。

(211)将验证样本依同样的方式输入网络，得到交叉熵代价函数的结果值，但不进行反向传播更新网络参数的值。

(212)将(211)中得到的验证样本的交叉熵代价函数的结果值，与(29)中训练样本的交叉熵代价函数的结果值进行对比，直到验证样本交叉熵代价函数的结果值不在下降，反而上升，而训练样本的交叉熵代价函数的结果值一直下降时，停止训练。以验证样本的交叉熵代价函数的结果值最小的一代网络为最终训练好的网络。

所述步骤(3)中的对测试样本的预处理的具体步骤如下：

(31)将测试样本进行最近邻采样得到大小一样的测试样本，样本大小是513×513。

(32)将(31)中的测试样本归一化，将(31)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本。

所述步骤(4)的输入网络预测具体步骤如下：

(41)将(32)中得到的测试样本输入已经训练好的网络得到预测概率图。

所述步骤(5)的预测概率图的后处理具体步骤如下：

(51)将(41)中得到的预测概率图的前景概率图减去背景概率图，得到预测概率图差值，将利用双阈值进行背景前景分割。

步骤1：将预测概率图差值中大于0.3的标记为前景，值0.5，将小于0的标记为背景，值-0.5。

步骤2：找出前景8连通域最大的区域，将其视为前景目标，去掉其余前景的连通域，将值置为0。然后将找到的最大前景连通域，进行填充，得到双阈值处理后的概率图。

步骤3：将步骤2得到的双阈值处理后的概率图与预测概率图差值加在一起，然后以0为阈值，大于0的为前景(病变)，小于0的为背景。完成测试图片的分割。

附图说明

图1是神经网络结构图

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述

本发明公开了一种基于膨胀卷积的多尺度深度学习皮肤病变分割系统，具体实施步骤包括：

(1)对样本库样本分为训练样本和验证样本，样本库中图片进行预处理，得到处理后的图片。

(2)构建深度神经网络，将(1)中处理后的图片依批次输入网络，使用有动量的梯度下降法进行优化网络，得到训练完成的网络。

(3)对测试样本图片进行如(1)中的预处理，得到处理后的测试图片。

(4)将(3)中得到的处理后的测试图片输入训练好的网络中，得到预测图片。

(5)对(4)中得到的预测图片进行后处理，完成对测试图片的分割。

所述步骤(1)中的预处理步骤如下：

(11)对样本库中样本按照一定比例分为训练样本和验证样本，然后将训练样本和验证样本都进行数据增强，将每个样本进行旋转，翻转，随机下采样，形变，以及改变对比度，饱和度，光照，得到数据增强后的训练样本和验证样本，样本大小是513×513。

(12)对(11)中训练样本和验证样本图片对应的标签图片，使用(11)中一样的旋转，翻转，同样的下采样，形变，保证标签样本与训练样本或验证样本对应，得到数据增强后的标签样本，样本大小是513×513。

(13)用(11)中的数据增强后的训练样本和验证样本归一化，将(11)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本和验证样本。

所述步骤(2)中的构建深度神经网络及使用带动量的随机梯度下降法进行优化的步骤如下：

(21)构建一个如图1的深度神经网络，其中网络的特征提取采用卷积(convolution)，修正线性单元(rectified liner unit),池化层(pooling)结合的模块。模块中的卷积均采用3×3的卷积核，填充(padding)为[1,1,1,1]，步长为1，内核扩张因子(dilate)为1，池化层都是3×3池化池，步长为2，填充量为[1,2,1,2]。三个模块级联完成特征提取。(13)中得到的训练样本依次通过三个特征提取模块，先进入第一个模块(图1中con-relu-con-relu-block 1模块)，得到特征通道B1，特征通道的特征大小是257×257，得到的特征B1进入第二个特征提取模块(图1中con-relu-con-relu-block 2模块)，得到特征通道B2，特征通道的特征大小是129×129，得到的特征B2进入第三个特征提取模块(图1中con-relu-con-relu-block 3模块)，得到特征通道B3，特征通道的特征大小是65×65。

(22)将(21)中得到的特征通道B3分别输入四个带内核扩张因子的膨胀卷积(dilated convolution)的多尺度特征提取模块(图1中dicon-relu-drop-con-relu-drop-con模块)，得到四个不同尺度视野的特征通道。这四个模块均是由膨胀卷积层，修正线性单元，dropout层，1×1的卷积核的卷积层，dropout层，1×1的卷积核的卷积层.其中四个模块的膨胀卷积层膨胀因子分别为6,12,18,24.。

(23)将(22)中得到的不同尺度视野特征通道加在一起，融合得到训练样本的最终特征。

(24)将(23)中得到的最终特征经过一层卷积层，一层修正线性单元，一层卷积层，和上采样层后，与第三个con-relu-con-relu-block 3得到的特征加在一起，融合成特征尺度是129×129的特征通道。

(25)将(24)得到的特征通道，依次进入反卷积层，修正线性单元，反卷积层，特征大小保持，不变，之后再进入上采样层，输出特征大小为257×257的特征通道。

(26)将(25)得到的特征大小为257×257的特征通道，与特征提取模块con-relu-con-relu–block 2得到的特征加在一起，融合成特征尺度是257×257的特征通道。

(27)将(26)中得到的特征尺度是257×257的特征通道进行上采样，卷积，激活函数，卷积。得到与输入图像一样的大小的预测概率图。

(28)将(27)得到的概率图，使用softmax函数将概率图的值归一化到0到1，softmax函数如下：

(29)使用交叉熵代价函数(cross-entropy loss)将(28)中得到的归一化的概率图与标签图对比，交叉熵代价函数如下：

为了防止过拟合，在代价函数后再加上一个L2正则项，得到的代价函数如下：

(210)得到(29)中代价函数值后，根据随机梯度下降法，反向传播，更新网络中参数的值。

(211)将验证样本依同样的方式输入网络，得到交叉熵代价函数的结果值，但不进行反向传播更新网络参数的值。

(212)将(211)中得到的验证样本的交叉熵代价函数的结果值，与(29)中训练样本的交叉熵代价函数的结果值进行对比，直到验证样本交叉熵代价函数的结果值不在下降，反而上升，而训练样本的交叉熵代价函数的结果值一直下降时，停止训练。以验证样本的交叉熵代价函数的结果值最小的一代网络为最终训练好的网络。

所述步骤(3)中的对测试样本的预处理的具体步骤如下：

(31)将测试样本进行最近邻采样得到大小一样的测试样本，样本大小是513×513。

(32)将(31)中的测试样本归一化，将(31)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本。

所述步骤(4)的输入网络预测具体步骤如下：

(41)将(32)中得到的测试样本输入已经训练好的网络得到预测概率图。

所述步骤(5)的预测概率图的后处理具体步骤如下：

(51)将(41)中得到的预测概率图的前景概率图减去背景概率图，得到预测概率图差值，将利用双阈值进行背景前景分割。

步骤1：将预测概率图差值中大于0.3的标记为前景，值0.5，将小于0的标记为背景，值-0.5。

步骤2：找出前景8连通域最大的区域，将其视为前景目标，去掉其余前景的连通域，将值置为0。然后将找到的最大前景连通域，进行填充，得到双阈值处理后的概率图。

步骤3：将步骤2得到的双阈值处理后的概率图与预测概率图差值加在一起，然后以0为阈值，大于0的为前景(病变)，小于0的为背景。完成测试图片的分割。

Claims (6)

1.一种基于膨胀卷积的多尺度深度学习识别系统，所述方法包括：

(1)对样本库样本分为训练样本和验证样本，样本库中图片进行预处理，得到处理后的图片；

(2)构建深度神经网络，将(1)中处理后的图片依批次输入网络，使用有动量的梯度下降法进行优化网络，得到训练完成的网络；

(3)对测试样本图片进行如(1)中的预处理，得到处理后的测试图片；

(4)将(3)中得到的处理后的测试图片输入训练好的网络中，得到预测图片；

(5)对(4)中得到的预测图片进行后处理，完成对测试图片的分割。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中具体包括：

(11)对样本库中样本按照一定比例分为训练样本和验证样本，然后将训练样本和验证样本都进行数据增强，将每个样本进行旋转，翻转，随机下采样，形变，以及改变对比度，饱和度，光照，得到数据增强后的训练样本和验证样本，样本大小是513×513；

(12)对(11)中训练样本和验证样本图片对应的标签图片，使用(11)中一样的旋转，翻转，同样的下采样，形变，保证标签样本与训练样本或验证样本对应，得到数据增强后的标签样本，样本大小是513×513；

(13)用(11)中的数据增强后的训练样本和验证样本归一化，将(11)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本和验证样本。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中具体包括：

(21)构建一个如图1的深度神经网络，其中网络的特征提取采用卷积(convolution)，修正线性单元(rectified liner unit),池化层(pooling)结合的模块，模块中的卷积均采用3×3的卷积核，填充(pad)为[1,1,1,1]，步长为1，内核扩张因子(dilate)为1，池化层都是3×3池化池，步长为2，填充量为[1,2,1,2]，三个模块级联完成特征提取。(13)中得到的训练样本依次通过三个特征提取模块，先进入第一个模块(图1中con-relu-con-relu-block 1模块)，得到特征通道B1，特征通道的特征大小是257×257，得到的特征B1进入第二个特征提取模块(图1中con-relu-con-relu-block 2模块)，得到特征通道B2，特征通道的特征大小是129×129，得到的特征B2进入第三个特征提取模块(图1中con-relu-con-relu-block 3模块)，得到特征通道B3，特征通道的特征大小是65×65；

(22)将(21)中得到的特征通道B3分别输入四个带内核扩张因子的膨胀卷积(dilatedconvolution)的多尺度特征提取模块(图1中dicon-relu-drop-con-relu-drop-con模块)，得到四个不同尺度视野的特征通道，这四个模块均是由膨胀卷积层，修正线性单元，dropout层，1×1的卷积核的卷积层，dropout层，1×1的卷积核的卷积层.其中四个模块的膨胀卷积层膨胀因子分别为6,12,18,24.；

(23)将(22)中得到的不同尺度视野特征通道加在一起，融合得到训练样本的最终特征；

(24)将(23)中得到的最终特征经过一层卷积层，一层修正线性单元，一层卷积层，和上采样层后，与第三个con-relu-con-relu-block 3得到的特征加在一起，融合成特征尺度是129×129的特征通道；

(25)将(24)得到的特征通道，依次进入反卷积层，修正线性单元，反卷积层，特征大小保持，不变，之后再进入上采样层，输出特征大小为257×257的特征通道；

(26)将(25)得到的特征大小为257×257的特征通道，与特征提取模块con-relu-con-relu–block 2得到的特征加在一起，融合成特征尺度是257×257的特征通道；

(27)将(26)中得到的特征尺度是257×257的特征通道进行上采样，卷积，激活函数，卷积。得到与输入图像一样的大小的预测概率图；

(28)将(27)得到的概率图，使用softmax函数将概率图的值归一化到0到1，softmax函数如下：

(29)使用交叉熵代价函数(cross-entropy loss)将(28)中得到的归一化的概率图与标签图对比，

交叉熵代价函数如下：

(210)得到(29)中代价函数值后，根据随机梯度下降法，反向传播，更新网络中参数的值；

(211)将验证样本依同样的方式输入网络，得到交叉熵代价函数的结果值，但不进行反向传播更新网络参数的值；

(212)将(31)中得到的验证样本的交叉熵代价函数的结果值，与(29)中训练样本的交叉熵代价函数的结果值进行对比，直到验证样本交叉熵代价函数的结果值不在下降，反而上升，而训练样本的交叉熵代价函数的结果值一直下降时，停止训练，以验证样本的交叉熵代价函数的结果值最小的一代网络为最终训练好的网络。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中具体包括：

(31)将测试样本进行最近邻采样得到大小一样的测试样本，样本大小是513×513；

(32)将(31)中的测试样本归一化，将(31)中大批训练样本减去样本本身的均值，实现归一化，得到可训练样本。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中具体包括：

(41)将(32)中得到的测试样本输入已经训练好的网络得到预测概率图。

6.根据权利要求1所述的方法，其特征在于，所述步骤(5)中具体包括：

(51)将(41)中得到的预测概率图的前景概率图减去背景概率图，得到预测概率图差值，将利用双阈值进行背景前景分割；

步骤1：将预测概率图差值中大于0.3的标记为前景，值0.5，将小于0的标记为背景，值-0.5；

步骤2：找出前景8连通域最大的区域，将其视为前景目标，去掉其余前景的连通域，将值置为0。然后将找到的最大前景连通域，进行填充，得到双阈值处理后的概率图；

步骤3：将步骤2得到的双阈值处理后的概率图与预测概率图差值加在一起，然后以0为阈值，大于0的为前景(病变)，小于0的为背景。完成测试图片的分割。