CN107203999A - 一种基于全卷积神经网络的皮肤镜图像自动分割方法 - Google Patents

Abstract

本发明提供一种基于全卷积神经网络的皮肤镜图像自动分割方法，该方法包括以下四个步骤：1：皮肤镜图像与真值图获取；2：全卷积神经网络结构设计；3：特征融合与逐像素分割方法设计；4：网络训练与分割；通过以上步骤，训练得到一个端到端的深度卷积神经网络，能够对皮肤镜图像做精准分割，同时对小面积皮损区域有效，解决了皮肤科计算机辅助诊断系统中，皮损区域分割不佳，影响后续诊断准确性的实际问题。

Description

一种基于全卷积神经网络的皮肤镜图像自动分割方法

(一)技术领域：

本发明涉及一种基于全卷积神经网络的皮肤镜图像自动分割方法，属于图像处理和机器学习的技术领域。

(二)背景技术：

皮肤作为人类抵抗外界病原体入侵的第一道防线，对人类的健康起到至关重要的作用。然而，随着环境、人类饮食的变化，各种皮肤病影响着人类的生活，皮肤癌更是威胁到人类的生命。皮肤镜是一种观察活体皮肤表面以下微细结构和色素的无创性显微图像分析技术，对于皮肤病的临床诊断有着重要意义。

当临床医生采用裸眼方式通过皮肤镜诊断皮肤疾病时，往往依赖于自己的经验和主观视觉评价，诊断的准确率低、可重复性差。皮肤镜图像计算机辅助诊断系统正是解决这个问题的有效途径，其可以对病变组织自动提取、智能识别，具有定量测量和定量分析的功能，使诊断更加精确、客观、一致。皮肤镜图像计算机辅助诊断系统主要涉及五个环节：图像采集、图像预处理、图像分割、特征提取以及分类识别，其中，图像分割环节的精确程度在很大程度上决定了最终结果的准确性。由于皮肤镜图像经常存在对比度低、皮损边缘模糊不清、颜色纹理多样以及毛发噪声等各种情况，导致皮肤镜图像的分割具有非常大的挑战性。

卷积神经网络在分割和分类等多种医学图像分析任务中取得极具优势的效果，并显现出强大的适用性。本发明将全卷积神经网络引入皮肤镜图像分割中。首先根据皮肤镜图像的特点构建神经网络的特征高维映射模块。然后，为了提高模型性能，设计双分支的特征提取模块来提取全局和局部特征，最后，将两分支的特征合并，计算概率图，进而用softmax方法进行逐像素预测，实现皮肤镜图像的准确分割。

(三)发明内容：

1、目的：本发明的目的在于提供一种基于全卷积神经网络的皮肤镜图像自动分割方法，能够准确区分皮损区域和健康皮肤区域，为后续特征提取和分类识别提供保障。该方法通过学习一定量人工标记好的样本，生成具有高鲁棒性的分割模型。即使是对于边缘模糊、颜色多样或有毛发和人工标记物干扰的皮肤镜图像，该模型也可以不受干扰，实现准确分割。

2、技术方案：本发明通过以下技术方案实现。

本发明是一种基于全卷积神经网络的皮肤镜图像自动分割方法，该方法包括以下四个步骤：

步骤1：皮肤镜图像与真值图获取

①本发明所用图像来源于医院专业皮肤镜设备拍摄得到的图像，或网上公开的皮肤镜图像数据集，共9000幅，其中恶性1200幅，良性7800幅；

②对于每一幅图像，由专业皮肤科医生手动分割得到真值图；在真值图中，用0代表健康皮肤区域，1代表皮损区域；

步骤2：全卷积神经网络结构设计

典型的全卷积神经网络通过分层计算特征图得到分割结果，各层通过卷积核在本层特征图上的卷积计算得到下一层的特征图像；设x_ij为当前层位于(i，j)位置的特征向量，y_ij为下一层对应位置的特征向量，则卷积操作可表示为：

y_ij＝f_ks({x_{s*i+δ*i，s*j+δ*j}}，θ)，0≤δi，δj≤k

其中，k为卷积核尺寸，s为卷积步长或下采样比例，θ为卷积层参数，f_ks决定了该层的运算类型，例如，对于普通卷积层f_ks代表矩阵乘法运算，对于最大值池化层f_ks代表取最大值；网络通过学习样本集，反向传播梯度误差来学习θ的值；

本发明所设计的网络结构由一个特征高维映射模块和多尺度特征提取模块组成，其中多尺度特征提取模块又分为全局特征提取和局部特征提取两个分支，具体设计思路如下：

①特征高维映射模块：由于皮肤镜图像复杂程度高，皮损区域分割是一项具有挑战性的任务，为了应对各种不同情况，所设计的网络应具有一定深度来提取更高层的特征；然而，考虑到皮肤镜图像数据较少，一个随机初始化的深度网络将需要很长时间或者很难收敛，因此本发明采用迁移学习的方法来减少网络学习时间并提高其鲁棒性；本发明网络的低层网络部分由VGG-16网络的前十层fine-tuning得到；网络的具体结构如下所示：

CONV1(3×3×64)→CONV2(3×3×64)→MAXP1→CONV3(3×3×128)→CONV4(3×3×128)→MAXP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→MAXP3→CONV8(3×3×512)→CONV9(3×3×512)→CONV10(3×3×512)

其中“CONV”代表卷积层，括号内部分为该层卷积核参数(宽度×长度×数量)，各卷积层后都连接着一个修正线性单元层“ReLU”，为了公式的简洁该层并未给出，“MAXP”代表最大值池化层，各层的最大值提取范围均为2×2；

②多尺度特征提取模块：当全卷积神经网络越来越深时，其分类的准确性和定位的精确度通常无法同时兼顾，这从很大程度上限制了网络的表现。造成这种情况的主要原因是下采样层(例如最大值池化层)随着网络加深而增多，在增大了感受野的同时也提高了模型的平移、旋转不变性，而不变性的提升降低了模型的定位能力；为了解决这个两难问题，本模块使用双分支结构提取不同尺度的特征，这样可以同时保证模型的分类与定位性能；

●全局分支：全局分支由VGG-16网络的第11层至第15层fine-tuning而成，为了避免定位能力的下降，该结构去掉了其中作为下采样层的最大值池化层；为了获取全局特征，该结构采用填零法(hole方法)来扩大感受野(前三层扩大两倍，最后两层扩大十二倍)；这种方法通过在每一个原始滤波器参数间填零来改变各层的卷积滤波器；这样，即使卷积滤波器的尺寸改变，也可以实现fine-tuning；因此，全局分支在不因下采样而损失定位能力的情况下，向网络提供了全局特征；该分支的具体结构为：

HCONV1(6×6×512)→HCONV2(6×6×512)→HCONV3(6×6×512)→HCONV4(36×36×1024)→HCONV5(36×36×1024)

其中，“HCONV”表示使用填零法扩大了感受野的卷积层；

●局部分支：局部分支由四个卷积核大小为3×3的卷积层组成，因为该分支结构简单，其滤波器参数都是随机生成的；与全局分支相比，局部分支的感受野更小，提取的是图像的局部特征，主要针对小面积皮损区域；分支的具体结构如下所示：

CONV11(3×3×512)→CONV12(3×3×512)→CONV13(3×3×1024)→CONV14(3×3×1024)；

步骤3：特征融合与逐像素分割方法设计

将一幅待分割的图像输入到所设计的卷积神经网络，经特征高维映射模块将特征映射至高维空间，采用全局分支和局部分支分别提取出全局特征和局部特征。从全局分支和局部分支的结构可知，每个分支最终的特征图均为1024幅。接下来需要对这些特征图进行融合并对每个像素进行是否为皮损的预测。具体步骤如下：

①将由全局分支和局部分支提取的各1024张特征图合并在一起，得到2048张用于分类的特征图。对这些特征图进行卷积，生成2张预测概率图，其中一张预测图各位置的值代表该位置属于健康皮肤的概率，另一张图则代表各位置属于皮损的概率；

②由于我们在特征高维映射模块中使用了三个最大值池化层，因此特征图的尺寸是原始图像的八分之一；为了与原始图像上的像素一一对应，使用双线性插值法放大预测概率图至原始图像尺寸；

③使用softmax分类器做逐像素预测，把每个像素的预测结果合并在一起，即可得到最终的二值化分割结果；

步骤4：网络训练与分割

本发明在网络结构设计完成后，需要用足够的皮肤镜图像及其相应真值图训练后才能使用。网络训练过程分以下三个阶段：

①加载VGG-16网络的前十五层参数，并对其中第11至第15层的卷积核使用填零法来扩大尺寸；此时网络的特征高维映射模块和特征提取模块中的全局分支便已经建立，通过训练，更新两部分的卷积核；

②增加局部分支，采用均值为0的高斯分布进行各层参数的初始化，固定①阶段时训练好的高维映射模块参数，并屏蔽全局分支，第二次训练，更新局部分支的参数；

③融合全局分支和局部分支的特征，再次训练，同时更新高维映射模块、全局分支及局部分支三个部分的卷积核参数；

训练完成后，直接向网络输入一张待分割的皮肤镜图像，网络输出结果即是分割结果。

其中，在步骤二中所述的“fine-tuning”，是一种迁移学习方法，具体实施过程为将用于其他任务的训练完毕的模型参数作为当前任务模型的初始参数，以降低模型训练时间和提高模型鲁棒性；

其中，在步骤二中“修正线性单元层‘ReLU’”是一个映射函数，函数运算公式如下：

其中，在步骤三中所述的“softmax分类器”，是指一种常用的有监督多分类模型，在本模型中，该分类器的具体实施过程是对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；

其中，步骤四中所述的“填零法”，是指一种在改变卷积层卷积核大小的情况下，保证迁移学习有效性的方法，具体操作为在原始参数间插入“0”值。

通过以上步骤，训练得到一个端到端的深度卷积神经网络，能够对皮肤镜图像做精准分割，同时对小面积皮损区域有效，解决了皮肤科计算机辅助诊断系统中，皮损区域分割不佳，影响后续诊断准确性的实际问题。

3.优点和功效

本方法是一种端到端的全自动分割算法，网络模型各参数在训练过程中同时优化，保证了系统的统一性，同时使模型具有高鲁棒性，在网络模型训练完成后，用户直接输入待分割图像，不需要额外设置，就可以得到网络模型输出的分割结果，非常方便。

与目前公开的其他皮肤镜图像分割方法相比，本方法的分割准确度更高，对大面积皮损与小面积皮损图像均能正确分割，对于用户操作简单，实用性很高。

(四)附图说明：

图1网络结构示意图。

图2本发明所述方法流程图。

图中序号、符号、代号说明如下：

CONV：卷积层，其下方两行数字分别代表卷积核尺寸与生成特征图数量；

MAXP：最大值池化层；

HCONV：使用“填零法”扩大感受野后的卷积层，其下方两行数字分别代表卷积核尺寸与生成特征图数量；

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：

本发明在Caffe深度学习框架下实现，本发明的网络结构图及皮肤镜图像分割方法流程图分别如图1和图2所示。计算机配置采用：Intel Core i56600K处理器，8GB内存，NVidia GTX1080显卡，Ubuntu 16.04操作系统。

本发明是一种基于全卷积神经网络的皮肤镜图像分割方法，具体实施包括以下步骤：

步骤1：皮肤镜图像数据收集及处理

获取医院专业皮肤镜设备拍摄得到的图像，或网上公开的皮肤镜图像数据集，作为训练图像，每张图像都要有专业皮肤科医生手动分割的真值图像。

步骤2：全卷积神经网络结构设计

在Caffe深度学习框架下，根据图1所示的网络结构编写prototxt文件，网络可分为以下两个模块：

①特征高维映射模块：由VGG-16网络的前十层fine-tuning得到。

②多尺度特征提取模块：模块的全局分支部分由VGG-16网络的第十一层到第十五层fine-tuning得到，同时，使用填零法扩大各层卷积核尺寸。局部分支部分由四个卷积核大小为3×3的卷积层组成，随机初始化各层卷积核参数。

另外，在分支部分构造完成后，还要在网络结构中添加用于特征融合、预测概率图生成、双线性上采样及softmax分类的相应层结构。

步骤3：全卷积神经网络训练

使用随机梯度下降法训练网络，其中momentum为0.9，weight decay为0.005，batch size为4，初始学习率为0.001，每五轮循环后学习率修改为之前的1％。具体训练过程如下：

①屏蔽局部分支，分割结果仅通过全局分支提取的特征图决定，持续训练十五轮。

②屏蔽全局分支，并固定特征高维映射模块参数，仅训练局部分支，分割结果仅由局部分支提取的特征图决定，持续训练十五轮。

③同时训练整个网络，分割结果由全局及局部分支共同决定，持续训练十五轮。

步骤4：全卷积神经网络的使用

将需要分割的皮肤镜图像输入训练好的全卷积神经网络中，经过运算，网络的输出端口会直接输出分割后的二值化结果图，无需其他操作。

其中，在步骤二中所述的prototxt文件是一种特殊格式的文件，该格式是一种开源的配置格式，其编辑方式与普通txt文件编辑方式相同；

步骤三中所述的momentum是梯度下降法中一种常用的加速技术，其基本思想是如果上一次迭代时的梯度方向与这次相同，则提高本次梯度下降的幅度，样做能够达到加速收敛的效果；

步骤三中所述的weight decay是正则化项系数，常用于网络优化过程中，能够有效防止模型出现过拟合；

步骤三中所述的batch size指网络训练过程中单次迭代所输入的训练集图像张数，常用于使用随机梯度下降法训练神经网络模型的过程。

Claims (5)

1.一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：该方法包括以下四个步骤：

步骤1：皮肤镜图像与真值图获取

①本发明所用图像来源于医院专业皮肤镜设备拍摄得到的图像及网上公开的皮肤镜图像数据集，共9000幅，其中恶性1200幅，良性7800幅；

②对于每一幅图像，由专业皮肤科医生手动分割得到真值图；在真值图中，用0代表健康皮肤区域，1代表皮损区域；

步骤2：全卷积神经网络结构设计

典型的全卷积神经网络通过分层计算特征图得到分割结果，各层通过卷积核在本层特征图上的卷积计算得到下一层的特征图像；设x_ij为当前层位于(i,j)位置的特征向量，y_ij为下一层对应位置的特征向量，则卷积操作表示为：

y_ij＝f_ks({x_s*i+δ_*i，s*j+δ_*j}，θ)，0≤δi，δj≤k

其中，k为卷积核尺寸，s为卷积步长或下采样比例，θ为卷积层参数，f_ks决定了该层的运算类型，例如，对于普通卷积层f_ks代表矩阵乘法运算，对于最大值池化层f_ks代表取最大值；网络通过学习样本集，反向传播梯度误差来学习θ的值；

本发明所设计的网络结构由一个特征高维映射模块和多尺度特征提取模块组成，其中多尺度特征提取模块又分为全局特征提取和局部特征提取两个分支，具体设计思路如下：

①特征高维映射模块：由于皮肤镜图像复杂程度高，皮损区域分割是一项具有挑战性的任务，为了应对各种不同情况，所设计的网络应具有一定深度来提取更高层的特征；然而，考虑到皮肤镜图像数据较少，一个随机初始化的深度网络将需要很长时间及很难收敛，因此本发明采用迁移学习的方法来减少网络学习时间并提高其鲁棒性；本发明网络的低层网络部分由VGG-16网络的前十层fine-tuning得到；网络的具体结构如下所示：

CONV1(3×3×64)→CONV2(3×3×64)→MAXP1→conv3(3×3×128)→CONV4(3×3×128)→MAXP2→CONV5(3×3×256)→CONV6(3×3×256)→

CONV7(3×3×256)→MAXP3→CONV8(3×3×512)→CONV9(3×3×512)→

CONV10(3×3×512)

其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×数量，各卷积层后都连接着一个修正线性单元层“ReLU”，为了公式的简洁该层并未给出，“MAXP”代表最大值池化层，各层的最大值提取范围均为2×2；

②多尺度特征提取模块：当全卷积神经网络越来越深时，其分类的准确性和定位的精确度通常无法同时兼顾，这从很大程度上限制了网络的表现；造成这种情况的主要原因是下采样层随着网络加深而增多，在增大了感受野的同时也提高了模型的平移、旋转不变性，而不变性的提升降低了模型的定位能力；为了解决这个两难问题，本模块使用双分支结构提取不同尺度的特征，这样能同时保证模型的分类与定位性能；

●全局分支：全局分支由VGG-16网络的第11层至第15层fine-tuning而成，为了避免定位能力的下降，该结构去掉了其中作为下采样层的最大值池化层；为了获取全局特征，该结构采用填零法即hole方法来扩大感受野即前三层扩大两倍，最后两层扩大十二倍；这种方法通过在每一个原始滤波器参数间填零来改变各层的卷积滤波器；这样，即使卷积滤波器的尺寸改变，也能实现fine-tuning；因此，全局分支在不因下采样而损失定位能力的情况下，向网络提供了全局特征；该分支的具体结构为：

HCONV1(6×6×512)→HCONV2(6×6×512)→HCONV3(6×6×512)→HCONV4(36×36×1024)→HCONV5(36×36×1024)

其中，“HCONV”表示使用填零法扩大了感受野的卷积层；

●局部分支：局部分支由四个卷积核大小为3×3的卷积层组成，因为该分支结构简单，其滤波器参数都是随机生成的；与全局分支相比，局部分支的感受野更小，提取的是图像的局部特征，主要针对小面积皮损区域；分支的具体结构如下所示：

CONV11(3×3×512)→CONV12(3×3×512)→CONV13(3×3×1024)→CONV14(3×3×1024)；

步骤3：特征融合与逐像素分割方法设计

将一幅待分割的图像输入到所设计的卷积神经网络，经特征高维映射模块将特征映射至高维空间，采用全局分支和局部分支分别提取出全局特征和局部特征；从全局分支和局部分支的结构能知，每个分支最终的特征图均为1024幅；接下来需要对这些特征图进行融合并对每个像素进行是否为皮损的预测；具体步骤如下：

①将由全局分支和局部分支提取的各1024张特征图合并在一起，得到2048张用于分类的特征图；对这些特征图进行卷积，生成2张预测概率图，其中一张预测图各位置的值代表该位置属于健康皮肤的概率，另一张图则代表各位置属于皮损的概率；

②由于我们在特征高维映射模块中使用了三个最大值池化层，因此特征图的尺寸是原始图像的八分之一；为了与原始图像上的像素一一对应，使用双线性插值法放大预测概率图至原始图像尺寸；

③使用softmax分类器做逐像素预测，把每个像素的预测结果合并在一起，即能得到最终的二值化分割结果；

步骤4：网络训练与分割

本发明在网络结构设计完成后，需要用足够的皮肤镜图像及其相应真值图训练后才能使用；网络训练过程分以下三个阶段：

①加载VGG-16网络的前十五层参数，并对其中第11至第15层的卷积核使用填零法来扩大尺寸；此时网络的特征高维映射模块和特征提取模块中的全局分支便已经建立，通过训练，更新两部分的卷积核；

②增加局部分支，采用均值为0的高斯分布进行各层参数的初始化，固定①阶段时训练好的高维映射模块参数，并屏蔽全局分支，第二次训练，更新局部分支的参数；

③融合全局分支和局部分支的特征，再次训练，同时更新高维映射模块、全局分支及局部分支三个部分的卷积核参数；

训练完成后，直接向网络输入一张待分割的皮肤镜图像，网络输出结果即是分割结果；

通过以上步骤，训练得到一个端到端的深度卷积神经网络，能够对皮肤镜图像做精准分割，同时对小面积皮损区域有效，解决了皮肤科计算机辅助诊断系统中，皮损区域分割不佳，影响后续诊断准确性的实际问题。

2.根据权利要求1所述的一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：在步骤二中所述的“fine-tuning”，是一种迁移学习方法，具体实施过程为将用于其他任务的训练完毕的模型参数作为当前任务模型的初始参数，以降低模型训练时间和提高模型鲁棒性。

3.根据权利要求1所述的一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：在步骤二中所述的“修正线性单元层‘ReLU’”，是一个映射函数，函数运算公式如下：

<mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>x</mi> <mo>&lt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>x</mi> </mtd> <mtd> <mrow> <mi>x</mi> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>

4.根据权利要求1所述的一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：在步骤三中所述的“softmax分类器”，是指一种常用的有监督多分类模型，在本模型中，该分类器的具体实施过程是对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果。

5.根据权利要求1所述的一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：在步骤四中所述的“填零法”，是指一种在改变卷积层卷积核大小的情况下，保证迁移学习有效性的方法，具体操作为在原始参数间插入“0”值。