CN107862695A

CN107862695A - 一种基于全卷积神经网络的改进型图像分割训练方法

Info

Publication number: CN107862695A
Application number: CN201711274934.4A
Authority: CN
Inventors: 漆进; 刘力源; 张通
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2017-12-06
Filing date: 2017-12-06
Publication date: 2018-03-30

Abstract

本发明针对由于黑色素瘤皮肤病变分割的难度大，缺少简单有效快速的图像分割方法的现状，提出了一种基于全卷积神经网络的改进型图像分割训练方法，该方法包括：首先对训练样本进行数据增强，归一化处理，然后对处理后的样本进行采样切割，并将采样切割后的图像进行分类以实现基于传统卷积神经网络的分类识别训练。然后，将这个分类网络的参数赋值给一种改进型全卷积网络，并将原尺寸的训练样本放入该网络进行训练得到预测概率图，以实现，完对皮肤黑素瘤病变图片的分割。该方法可有效提升全卷机网络对图像分割训练的监督性，提升训练效率，并可增加分割准确率。

Description

一种基于全卷积神经网络的改进型图像分割训练方法

技术领域

本发明涉及一种基于全卷积神经网络的改进型图像分割训练方法，属于医学图像处理领域，涉及全卷积神经网络FCN和卷积神经网络CNN的特征提取，提出了一种基于全卷积神经网络的改进型图像分割训练方法。

背景技术

黑素瘤是一种能产生，黑色素的高度恶性肿瘤，又称恶性黑色素瘤，多见于30岁以上成年人。其是由异常黑色素细胞过度增生引发的常见的皮肤肿瘤，多发生于皮肤或接近皮肤的黏膜，也见于软脑膜和脉络膜，恶性程度极高，占皮肤肿瘤死亡病例的极大部分。不仅如此，资料显示黑素瘤是近年来发病率增长最快的恶性肿瘤之一，年增长率为3％-5％。黑素瘤的另一主要特点是其晚期治愈率极低，且相较于其他肿瘤疾病，其前期转移几率更大，因此对病变的早期发现与针对性检测在治疗过程中起着尤为重要的作用。然而，由于其病征在早期往往仅表现在皮肤黑色素积聚于色素痣的扩散等现象，少见疼痛及其他不适，因此往往无法引起患者重视，且正因于此，患者往往忽视针对性的医学检查而错过了治疗的最佳时机。

卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid或Relu函数作为卷积网络的激活函数，使得特征映射具有位移不变性。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。本发明利用了传统卷积网络中可以有效快速提取图像特征的优点，用于完成对医学图像采样后的切割图像的分类识别。

20世纪90年代，LeCun等人发表论文，确立了CNN的现代结构，后来又对其进行完善。他们设计了一种多层的人工神经网络，取名叫做LeNet-5，可以对手写数字做分类。CNN能够得出原始图像的有效表征，这使得CNN能够直接从原始像素中，经过极少的预处理，识别视觉上面的规律。然而，由于当时缺乏大规模训练数据，计算机的计算能力也跟不上，LeNet-5对于复杂问题的处理结果并不理想。2006年起，人们设计了很多方法，想要克服难以训练深度CNN的困难。其中，最著名的是Krizhevsky提出了一个经典的CNN结构，并在图像识别任务上取得了重大突破。其方法的整体框架叫做AlexNet，与LeNet-5类似，但要更加深一些。AlexNet取得成功后，研究人员又提出了其他的完善方法，其中最著名的要数ZFNet,VGGNet,GoogleNet和ResNe这四种。从结构看，CNN发展的一个方向就是层数变得更多，ILSVRC 2015冠军ResNet是AlexNet的20多倍，是VGGNet的8倍多。通过增加深度，网络便能够利用增加的非线性得出目标函数的近似结构，同时得出更好的特性表征。但是，这样做同时也增加了网络的整体复杂程度，使网络变得难以优化，很容易过拟合。因此针对具体数据集采用不同的网络进行训练在实际问题中显得尤为重要。本发明中使用CNN进行特征提取时以及后续将提到的图像分割方法都是基于VGGNet神经网络。

图像分割是图像处理中的关键技术之一。图像分割从20世纪70年代开始就很受人们的重视，发展至今其应用领域十分广泛。主要表现在：军事研究领域，比如通过图像分割实现军事目标定位和战场分析等；医学影像领域，比如通过图象分割来辅助分析器官和病情等；交通监控领域，比如通过监控图像的分割辅助车辆目标检测和车牌识别等；气象分析领域，通过对遥感或雷达等获取的有关天气图像的分割，实现作物生长情况分析以及天气预测等。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。2015年Long等人在文章“FullyConvolutional Networks for Semantic Segmentation”中实现全卷积网络的图像分割算法，将CNN网络中全连接层替换为卷积层大大降低了运算时间。全卷积网络首次实现了像素对像素的神经网络训练，这一突破使得神经网络训练可以在图像分割中进行应用。2016年，Bing等人在文章“Improving Fully Convolution Network for Semantic Segmentation”首次提出了IFCN结构，这一网络结构是一种多监督式的改进型全卷积网络结构，其在传统全卷积网络结构的基础上添加了更多跳接层，实现了融合输出结果的评价对更多卷积层的监督，该方法被证明在对宏观目标的像素级分割中又叫显著的提升效果。本发明首次尝试将这一方法用于对医学皮肤图像中病变部位的识别分割。

本发明的图像分割训练方法主要是针对医学影像领域的皮肤表层影像图。皮肤表层影像图是取自患者皮肤表面的照片，易于获取和采集，主要用于某些病征为改变患者皮肤表面性状的疾病的分析。通常来说，发病部位在皮肤的疾病具有发病部位在皮肤上分布多样，易受皮肤毛发、斑点、纹理等因素的影响而造成难以定位及识别的特点，给相关疾病的检测、确诊、治疗造成很大影响，从而造成皮肤表层影像图在医学上利用价值较低的结果。本发明提出来了一种基于全卷积神经网络的改进型图像分割训练方法用于实现对上述皮肤图像的识别分割，在一定程度上克服了上述困难。

发明内容

本发明要解决的技术问题是：克服现有针对皮肤图像分割方法的特征提取不丰富，特征主观性强，计算量大，分割效率差等问题，提供一种基于全卷积神经网络的改进型图像分割训练方法，实现对黑素瘤图像的自动分割，该方法可以自动学习图像中的多尺度特征，并且拼接融合多个尺度上的特征对图像进行分割，具有特征提取丰富，分割效率高等特点。

本发明技术解决方案：一种基于全卷积神经网络的改进型图像分割训练方法，并将此种方法用在皮肤表层黑素瘤图像分割之中。该方法搭建了基于VGG16的卷积神经网络对切割采样的训练图像进行特征提取，并将该训练好的网络中卷积层中滤波器的参数传给用于图像分割训练的全卷积网络，并在传统的全卷积网络中进行了优化处理，使得最后的分割结果可以提取到由浅到深的多重特征，增强分割精度。

具体步骤如下：

第一步，采用自适应的直方图均衡化对训练图像进行处理，使得训练图像的病变部位更加突出，同时该操作可以有效降低皮肤表层毛发、纹理、斑点等对图像分割与识别过程的影响。

第二步，将第一步标准化后的图像进行切割采样，得到64×64大小的切割图像。与此同时，将训练图像对应的评价标准图以刚才的方式进行同样步骤的切割，根据切割后的结果中前景与后景的比例将采样得到的64×64大小的切割图像分为3类，即前景、后景与边缘。再将这些64×64大小的切割图像输入到卷积神经网络中进行训练。该卷积网络与VGGNet网络较为形似，单只提取了VGG16网络中的前三个卷积模块，如图2所示，在第3次下采样后得到的结果接上全连接层与Softmax层，得到一个3类的分类器，并通过调整学习率等方式得到可以较好完成对64×64大小的切割图像进行图像识别分类的传统卷积神经网络。该过程由于图像较小，且网络相较于原来的VGG16更小，所以效率较高，且不易出现过拟合等问题。

第三步，将通过步骤二得到的卷积网络中前3个模块中卷积层中的参数提取出来，并赋值给全卷积网络训练中的所基于的VGG16网络的相应卷积层中。并将其余层的参数进行零初始化，完成改进型全卷积网络中各层参数的初始化。

所属步骤三中，所述改进型全卷积神经网络的结构设计如图2所示，采用改进型全卷积网络中的方法，在原有全卷积网络结构的基础上，添加了更多的跳接层。具体如下：将pool5之后得到的结果进行4倍的上采样，将pool4之后得到的结果连同conv5_1,conv5_2和conv5_3进行cat拼接，并将得到的结果进行2倍上采样，再将pool3之后得到的结果连同conv4_1,conv4_2和conv4_3进行cat拼接，再将得到的结果与刚才操作得到的结果再次进行cat拼接操作，再将这一操作得到的结果进行8倍上采样得到IFCN_8的结果，该结果与原图的尺寸一样。

本发明与现有技术相比的优点在于：

(1)本发明提出的基于全卷积神经网络的改进型图像分割训练方法在进行基于全卷积网络的图像分割训练之前，将训练图像进行了切割采样，并将采样后得到的图像看作新的训练集放入基于VGG16的三层卷积神经网络中，得到一个可以对特定尺寸的子图像进行分类的分类器。由于该分类的网络结构与后续用于图像分割训练的全卷积网络在前三层保持一致，因此可以将训练好的网络中的各卷积层参数进行提取并对全卷积网络中对应位置的层参数进行赋值。对全卷积网络的浅层的参数进行初始化，可以有效减少训练时间，提高训练效率，同时可以使得全卷积网络在进行图像分割训练时能有效避免过拟合和达到局部最优，使得网络在深层次结构的训练中能实际达到训练效果。

(2)发明提出的改进型全卷积神经网络结构，与传统全卷积网络进行上采样的做法不同，在进行Cat拼接操作前不仅将pool3、pool4和pool5层后的输出结果进行了上采样以用于图像的分割融合预测，还将通过第四和第五层中的所有通过conv层后得到的结果，按照其尺寸大小，与对应pool层一起进行了拼接和上采样操作，这样一来，最后通过8倍上采样得到的像素级分割图像融合了第四和第五层中所有层的输出结果。这一方式被证明使得全卷积网络对于第四和第五这两个深层次卷积层的训练具有更好的监督性，使得全卷积网络在深层次的训练中更具监督性，提升训练效率的同时是网络更好地提取到深层次特征。

(3)综合来说，本发明中提出了一个多重融合型的网络结构来融合网络在不同层次上的学习分割结果上。由于浅层的网络主要学习到更多的形状边缘信息，所以对浅层的参数进行了基于传统分类卷积网络的初始化训练与赋值。由于深层的网络可以学习到更多的语义信息，所以对深层网络采用了全监督式的方式，使各层输出结果都得以直接反映到最后的融合分割图像中。这两种方式的结合可以有效地使网络由浅入深地学习到目标图像的多重特征，同时有效避免其产生过拟合和局部最优，一定程度上提高网络模型的鲁棒性，进而提高该分割方法对皮肤表层黑素瘤图像的分割精度。

附图说明

图1为本发明的主要工作流程示意图；

图2分别显示了用于实现分类的基于VGG16的传统卷积网路结构和用于实现图像分割的多监督改进式全卷积神经网络的结构图，以及赋值过程。

具体实施方式

如图1所示，本发明构造了一种基于全卷积神经网络的改进型分割训练方法，具体技术细节如下：

(1)收集皮肤表层黑素瘤图像并对图像进行预处理；

首先用各向异性扩散滤波算法对输入图像进行去噪处理，接着对去除噪声后的图像进行自适应的直方图均衡化处理以进行数据增强，将每个样本进行旋转，翻转，形变，得到数据增强后的训练样本和验证样本，样本大小是513×513。

(2)训练用于分类的卷积神经网络

将第一步中处理后的图像以及标签图像进行64×64大小的切割采样，得到符合训练样本数量的切割采样图像。然后，将该样本集根据其对用的切割后的标签图像中前景像素与后景像素的比例(75％、25％)将这些样本训练集分为前景、后景与边界三类。之后，把这些图像按照传统卷积网络训练前准备的步骤一样，分成比例为70％，15％和15％的训练集、验证集和测试集。接下来，自定义一个与VGG16网络前三层结构完全一样的网络，并将该网络接上一个输出为三类的全连接层。具体说来，这个网络的结构如图二左边部分所示，实心黑线代表卷积层，虚线代表下采样层，其余功能层，例如激活层、全连接层等未在图中标出。在准备好后，将这些64×64大小的切割采样图像放入该网络进行图像分类识别训练。

(3)训练多监督式的改进型全卷积神经网络

1)多监督式改进型全卷积神经网络。

如图2所示，多监督式改进型全卷积神经网络由两部分组成：与传统全卷积网络相同的网络结构和针对后两层网络的全监督式的跳接结构。如图二右边所示，保留pool5之前的vgg-16模型的原始网络结构作为全卷积网络的基本结构。对一张大小为a×b(a,b分别表示输入图像的长和宽)的输入图像进行第一阶段的卷积与池化后，输出的特征图的尺寸是原图像的1/2，接着对上一层输出的特征图进行第二阶段的卷积与池化后，输出的特征图的大小变为原来的1/4，接着继续对图像进行第三阶段的卷积与池化后，输出的特征图尺寸变为原来的1/8，以此类推，对图像进行第四阶段的卷积和池化操作以及第五阶段的卷积操作。最后得到的特征图像为原图的1/32。随后添加针对后两层网络的全监督式的跳接结构。将pool5之后得到的结果进行4倍的上采样，记作特征图C1；将pool4之后得到的结果连同conv5_1,conv5_2和conv5_3进行cat拼接，并将得到的结果进行2倍上采样，记作特征图C2；再将pool3之后得到的结果连同conv4_1,conv4_2和conv4_3进行cat拼接，记作特征图C3；随后将C1、C2和C3进行cat拼接操作，再将这一操作得到的结果进行8倍上采样得到IFCN_8的结果，该结果与原图的尺寸一样，作为最终的融合输出层用于与对应图像的标签图像进行对比评价。

2)多监督全卷积网络模型训练过程。

首先，将步骤(1)得到的处理好的图像70％，15％和15％的比例分为训练集、验证集和测试集。将图像与标签图进行匹配，完成全卷机网络训练前的数据准备。然后，将步骤(2)得到的训练好的基于VGG16网络前三层的卷积神经网路分类器中所有卷积层(即conv1_1,conv1_2,conv2_1,conv2_2,conv3_1,conv3_2,conv3_3)中的滤波器参数提取出来，并赋值给如1)所述的全卷积网络中的对应层中的卷积层，完成对多监督全卷积网络模型的网络初始化。随后，如图二所示将C1、C2和C3进行cat拼接操作后的进行8倍上采样得到IFCN_8的结果，作为最后的融合图像分割结果与标签图像进行对比评价。

对融合图像进行评价，具体操作方式为，先将网络的输出概率图，使用softmax函数将概率图的值归一化到0到1，softmax函数如下：

其次，使用交叉熵代价函数将上述所得的归一化的概率图与标签图进行对比，交叉熵代价函数如下：

这一过程使得第四和第五层中的所有卷积层都直接受到融合分割图像评价结果的监督，这一融合过程表示如下：

其中，F代表融合分割图像，j代表VGG16网络中的第j层(本发明对VGG16的后两层添加了全监督式的跳接结构，因此j＝C4(第4层)或j＝C5(第4层))，i代表第j层中的第i个卷积层(在VGG16网络中i＝1～3)，S(.,.)代表短接函数，代表第j层中第i个卷积层的层参数，f_{j_i}代表经过S函数后得到的特征图像，其中f_{j_i}直接与相应的误差函数相连，使得我们对于最终融合分割图像的结果评价可以直接分别反映到第j层中的第i个卷积层中，实现对基于全卷积网络的后两层的全监督。值得注意的是，该公式省略了上采样操作，因为上采样操作并不影响到分割结果的评价对各卷积层的监督。

(4)使用需要测试的图像进行测试；

首先用各向异性扩散滤波算法对测试图像进行去噪处理，接着对去除噪声后的图像进行自适应的直方图均衡化处理，得到处理后的图像。将处理后的图像放入按上述(2)到(3)过程完成训练的IFCN_8全卷积网络中进行分割测试，得到分割结果。

Claims

1.一种基于全卷积神经网络的改进型图像分割训练方法，所述方法包括：

(1)将数据集样本分为训练样本和验证样本，样本库中图片进行预处理，得到处理后的图片；

(2)对(1)中处理后的图片及其标签图像进行采样切割，并将切割后的图像作为新的数据集，分为前景、后景及边缘三类；

(3)构建三层神经网络，将(2)中处理后的图片依批次输入该网络，得到训练完成的分类器网络；

(3)构造改进型全卷积神经网络，提取(3)中所述的神经网络中的层参数对该全卷积网络进行网络初始化赋值；

(4)将(1)中得到的处理后的训练样本和验证样本输入(3)中的网络，进行图像分割训练，得到训练好的改进型全卷积网络；

(5)对测试样本图片进行如(1)中的预处理，得到处理后的测试图片；

(6)将(5)处理后得到的图片输入训练好的如(5)所述训练好的全卷积网络中，得到预测图片。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中具体包括：

(7)对样本库中样本按照一定比例分为训练样本和验证样本，然后将训练样本和验证样本都进行自适应直方图均衡化处理以进行数据增强，将每个样本进行旋转，翻转，形变，得到数据增强后的训练样本和验证样本，样本大小是513×513。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中具体包括：

(8)在进行采样切割时，将(7)中的513×513输入图像进行64×64的采样切割，并对(7)的训练样本所对应的标签图像在上述切割的相同位置进行同样的64×64的采样；

(9)根据(8)中标签图像的切割结果，根据其中前景与后景的比例将(8)中的采样切割图像分为前景、后景与边缘三类。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中具体包括：

(10)构建一个三层的卷积神经网络，该网络采用卷积，修正线性单元和池化层结合的模块，其结构与VGG16网络在前三层保持一致，而在pool_3第三次下采样之后，其直接接上了全连接层与softmax层，得到一个三类的图像识别分类器。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中具体包括：

(11)构建一个改进型的全卷积神经网络，其具体结构为保留pool5之前的vgg-16模型的原始网络结构作为全卷积网络的基本结构，对输入图像进行第一阶段的卷积与池化后，输出的特征图的尺寸是原图像的1/2，接着对上一层输出的特征图进行第二阶段的卷积与池化后，输出的特征图的大小变为原来的1/4，接着继续对图像进行第三阶段的卷积与池化后，输出的特征图尺寸变为原来的1/8，以此类推，对图像进行第四阶段的卷积和池化操作以及第五阶段的卷积操作，最后得到的特征图像为原图的1/32，随后添加针对后两层网络的全监督式的跳接结构，将pool5之后得到的结果进行4倍的上采样，记作特征图C1；将pool4之后得到的结果连同conv5_1,conv5_2和conv5_3进行cat拼接，并将得到的结果进行2倍上采样，记作特征图C2；再将pool3之后得到的结果连同conv4_1,conv4_2和conv4_3进行cat拼接，记作特征图C3；随后将C1、C2和C3进行cat拼接操作，再将这一操作得到的结果进行8倍上采样得到IFCN_8的结果，该结果与原图的尺寸一样，作为最终的融合输出层用于与对应图像的标签图像进行对比评价；

(11)使用(9)中所得到的分类网络中的层参数，即三层网络中所有卷积层，包括第一层中的两个卷积层，第二层网络中的两个卷积层和第三层网络中的三个卷积层的参数，对(10)中的网络结构中的前三层进行初始化赋值。

6.根据权利要求1所述的方法，其特征在于，所述步骤(4)中具体包括：

(12)使用(9)中所得到的分类网络中的层参数，即三层网络中所有卷积层，包括第一层中的两个卷积层，第二层网络中的两个卷积层和第三层网络中的三个卷积层的参数，对(10)中的网络结构中的前三层进行初始化赋值；

(13)在对(10)中所述的进行对比评价的过程包括使用softmax函数将概率图的值归一化到0到1，softmax函数如下：

<mrow> <mi>s</mi> <mi>o</mi> <mi>f</mi> <mi>t</mi> <mi>m</mi> <mi>a</mi> <mi>x</mi> <msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&Sigma;</mi> <mi>j</mi> </msub> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

(14)以及使用交叉熵代价函数将(13)中得到的归一化的概率图与标签图对比，交叉熵代价函数如下：

<mrow> <msub> <mi>L</mi> <mi>H</mi> </msub> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msub> <mi>x</mi> <mi>k</mi> </msub> <msub> <mi>logz</mi> <mi>k</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mi>log</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow>