CN110084794A - 一种基于注意力卷积神经网络的皮肤癌图片识别方法 - Google Patents

Abstract

本发明公开了一种基于注意力卷积神经网络的皮肤癌图片识别方法，包括步骤：1)图像的预处理，包括图像翻转、旋转和仿射变换；2)图像不均衡采样，对图像进行欠采样；3)建立卷积神经网络框架，包括卷积层、池化层和全连接层；4)建立注意力机制，包括通道注意力模块和空间注意力模块；5)设计注意力卷积神经网络，实现皮肤癌图片的识别。本发明增加注意力模块后的网络能够更准确的定位在局部区域，挖掘图片具有区别性的特征。6)迁移学习，使用预训练网络的参数对本卷积神经网络参数进行初始化。通过本发明方法可以有效提高对皮肤癌图片识别的准确率，在一定程度上，推动了人工智能在医疗行业的发展。

Description

一种基于注意力卷积神经网络的皮肤癌图片识别方法

技术领域

本发明涉及图像模式识别及医学图像的技术领域，尤其是指一种基于注意力卷积神经网络的皮肤癌图片识别方法。

背景技术

皮肤癌是所有癌症中最为常见的一种癌症，皮肤癌通常是由阳光中紫外线引起的，现在皮肤癌在全球范围内死亡率正在不断上升，其中恶性黑色素瘤最为致命。每10万人中就有71例，如果及时发现和治疗，黑色素瘤治愈的成功率高达98％。在对皮肤癌进行检测时，通常使用皮肤镜进行检查，皮肤镜是一种非侵入性皮肤成像技术，在皮肤区域中放大照明图片，以增加皮肤中斑点的清晰度，通过去除皮肤表面的反射，可以增加深层皮肤的视觉效果，并因此可以提供更多的皮肤损伤的细节。这种方式消除了患者在诊断前进行活组织检查的阶段，从而消除了患者的痛苦。目前在对黑色素瘤的识别中，大都依赖于皮肤科医生的经验去判断，这种方式费时费力，通常会带有主观意识，对于缺乏经验的医生而言，很有可能会发生误判，即使是训练有素的皮肤科医生也会得到不同的结果。所以我们希望能够利用人工智能的方法辅助医生进行诊断。

在皮肤癌图片识别中，从皮肤镜图像中识别黑色素瘤是一项非常具有挑战性的任务。首先，黑色素瘤在皮肤镜图像中颜色，纹理，形状，大小等都与非黑色素瘤有极大的相似度。其次，由于较低的对比度病变区域与正常皮肤之间界限不明显。最后在图片中会有毛发，气泡，尺子标记等可能会模糊或遮挡皮肤病变区域，使得自动识别任务变得更难。目前，针对皮肤癌图像的研究还相对较少，因此需要加快对皮肤癌图片识别方法的研究，能够尽快辅助医生治疗。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于注意力卷积神经网络的皮肤癌图片识别方法，可有效解决现有方法特征提取区域不精确，图像识别率不高的问题。

为实现上述目的，本发明所提供的技术方案为：一种基于注意力卷积神经网络的皮肤癌图片识别方法，该方法主要是通过注意力机制改变原卷积神经各通道信息和空间信息的权重，进而增加网络的泛化能力，其包括以下步骤：

1)图像的预处理，包括图像翻转、旋转和仿射变换；

2)图像不均衡采样，对图像进行欠采样；

3)建立卷积神经网络框架，包括卷积层、池化层和全连接层；

4)建立注意力机制，包括通道注意力模块和空间注意力模块；

5)设计注意力卷积神经网络，实现皮肤癌图片的识别；

6)迁移学习，使用预训练网络的参数对卷积神经网络参数进行初始化。

在步骤1)中，获取ISIC2017数据集中皮肤癌图片，对数据集中每一张图片都进行如下操作：

图片翻转，包括水平翻转和垂直翻转；

图片缩放，对图片整体进行缩放；

图片旋转，对图片顺时针和逆时针旋转10度；

图片仿射变化。

在步骤2)中，数据集中有三类样本：黑色素瘤、脂溢性角化病和痣，欠采样是通过黑色素瘤这一类的数量大小来平衡数据集，以脂溢性角化病这一类样本的数量为标准，使得图片中所有类别数量相同。

在步骤3)中，卷积层在层与层之间通过稀疏连接实现权值共享，权值共享使得权值不仅能够用在一个输入，也能够用在其它输入；在卷积神经网络中，卷积核能够被共享，卷积核与每一层特征图进行计算，并将所有通道的特征值相加，最后加上一个偏置，获得最终的特征图，输入到激活函数中，将线性变换映射为非线性变换，拟合各种数据分布；将卷积层输出的特征输入到采样层中，对特征进行选择，采样层是最大池化，最大池化是对原特征图的局部区域选择最大值获得下采样特征，用全局池化取代在卷积层后的全连接层，全连接层只作用于网络的最后一层，用于分类；全连接层是在网络的最后一层，输出的神经元个数为三个，全连接层公式如下：

式中，表示第l层中第n个神经元的输出，N_l表示输出层神经元个数，表示l-1层第m个特征图，是上一层第m个特征图与第l层第n个神经元连接的权重，f₁是relu激活函数，是得第n个神经元的偏置；

在神经网络中反向传播算法对各层神经元之间的权重和阈值不停地调整，反向传播算法，即BP算法，属于有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差则训练完成，保存网络的权值和偏差；BP算法由两部分组成：信息的正向传递与误差的反向传播；在正向传播过程中，输入信息从输入层经隐含层逐层计算依次传向输出层，每一层神经元的状态只影响下一层神经元的状态，如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后进行反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望值；反向传播算法的伪代码是：

a、输入训练集：对于训练集中的每个样本x,设置输入层对应的激活值；

b、前向传播：计算每层神经元的输出值；

c、计算输出层产生的错误，并从后向前传播；

d、使用梯度下降，训练参数，获得最优参数。

在步骤4中，通道注意力是对卷积层输出的每一个特征图赋予一个权重，获取权重的步骤如下：

4.1.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.1.2)将最大池化和平均池化的结果分别输入多层感知机中，多层感知机由三层全连接层组成；

4.1.3)进行sigmoid运算后，将两个特征相加；

空间注意力是对特征图中每一个像素点进行一个权重的分配，具体步骤如下：

4.2.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.2.2)将最大池化和平均池化按照通道维度拼接后通过一个1×1的卷积层；

4.2.3)将卷积层后的结果进行sigmoid运算。

在步骤5)中，设计的注意力卷积神经网络是将空间注意力模块和通道注意力模块串行的连接在卷积神经网络中，具体是：采用13层卷积层，卷积核大小为3×3，步长为1，最大池化层中滑动窗口大小为2×2，步长为2，在最后一个最大池化后连接通道注意力模块和空间注意力模块，连接一个7×7的最大池化，步长为1，全连接层输出神经元为3，通过softmax判断皮肤癌图片的类别。

在步骤6)中，采用ImageNet中vgg16预训练权重，将已经学习好的模型参数迁移到步骤5)建立的卷积神经网络上，帮助该卷积神经网络进行训练，即将低层的卷积神经网络提取到的语义特征和高层提取到物体轮廓特征迁移到该卷积神经网络中，使该卷积神经网络的训练速度加快，泛化能力得到提升。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明提出一种新的卷积神经网络结构，本网络结构可以进行端到端的训练，训练过程简单。

2、本发明用全局池化取代卷积层与全连接层之间的连接，使得输入图片大小可以是任意尺寸，减少特征的丢失，同时减少了网络训练参数的数量，节省内存空间。

3、本发明首次将通道注意力和空间注意力结合应用于卷积神经网络中，不仅改变原网络中通道信息的权重而且也能够同时改变空间信息的权重，使本网络能够更准确地定位在局部感兴趣的区域，挖掘图片间的区别性特征。

4、本发明可以有效提高对皮肤癌图片识别的准确率，在一定程度上，推动人工智能在医疗行业的发展。

附图说明

图1为本发明方法的流程图。

图2为本发明设计的卷积神经网络框架。

图3为通道注意力模块示意图。

图4为空间注意力模块示意图。

图5a为输入原图。

图5b为基础卷积神经网络所关注的区域。

图5c为注意力卷积神经网络所关注的区域。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于注意力卷积神经网络的皮肤癌图片识别方法，主要是通过数据预处理，注意力引导原网络关注于局部区别性的特征对其进行识别，其具体情况如下：

1)图像预处理

使用皮肤镜提取皮肤癌图像，获取ISIC2017数据集中皮肤癌图片，原图片进行数据增强，增加图片数据量，提高模型的泛化能力，增加噪声数据，提升模型的鲁棒性。主要通过图片翻转，包括水平翻转和垂直翻转；图片缩放，对图片整体进行缩放；图片旋转，对图片顺时针和逆时针旋转10度；图片仿射变化，增加某种噪音。将图片大小缩放至224×224。

2)图像不均衡采样，对图像进行欠采样。

数据集中有三类样本：黑色素瘤、脂溢性角化病和痣，欠采样是通过黑色素瘤这一类的数量大小来平衡数据集。以数据量脂溢性角化病这一类样本的数量为标准，使得图片中所有类别数量相同。

3)建立卷积神经网络框架

卷积层在层与层之间通过稀疏连接实现权值共享，权值共享使得权值不仅可以用在一个输入，也可以用在其他输入。在本说明的卷积神经网络中，卷积核可以被共享。卷积核与每一层特征图进行计算，并将所有通道的特征值相加，最后加上一个偏置，获得最终的特征图，输入到激活函数中，将线性变换映射为非线性变换，拟合各种数据分布，卷积层中卷积核的大小为3×3，步长为1。采样层，将卷积层输出的特征输入到采样层中，对特征进行选择。本说明中采样层是最大池化。最大池化中滑动窗口的大小为2×2，步长为2，对原特征图的局部区域选择最大值获得下采样特征。全连接层是在网络的最后三层，为了降低特征的维度。最后一层全连接层的神经元个数为图像种类的数量。全连接层公式如下：

式中，表示第l层中第n个神经元的输出，N_l表示输出层神经元个数，表示l-1层第m个特征图，是上一层第m个特征图与第l层第n个神经元连接的权重。f₁是relu激活函数。是得第n个神经元的偏置。

在神经网络中反向传播算法对各层神经元之间的权重和阈值不停的调整。反向传播算法(BP算法)属于有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差则训练完成，保存网络的权值和偏差。BP算法由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后进行反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。反向传播算法的伪代码是：

a、输入训练集：对于训练集中的每个样本x,设置输入层对应的激活值；

b、前向传播：计算每层神经元的输出值；

c、计算输出层产生的错误，并从后向前传播；

d、使用梯度下降，训练参数，获得最优参数。

4)建立注意力机制，包括通道注意力模块和空间注意力模块。

注意力机制和人类视觉注意力非常相似。在深度学习中添加注意力是希望能够从众多信息中获得对当前任务目标更关键的信息。在本说明中采用编码-解码模型。注意力详细表述如下：

注意力机制建立在卷积神经网络的基础上，通过融合局部感受野内的空间信息和通道信息来提取特征。在之前的工作中通过建立通道之间的相互依赖关系建立注意力模型。通过多层感知机聚合特征映射产生通道描述符，描述符可以表示通道特征响应的全局分布，使全局感受野的信息能够被较低层利用。通过将特征压缩再扩大，有效的剔除掉无用的特征，控制每个通道的激励，改变每个通道的权重。这种方法只考虑到了通道之间的相关性，而忽略空间信息的相关性。在本说明中提出改变通道信息和空间信息的注意力网络，在通道注意力模块中(参见图3所示)，将特征图在空间维度压缩，在对特征图压缩时，不仅考虑了平均池化而且也添加最大池化对其进行补充，减少特征的损失。在全局平均池化时可以获得每个像素的反馈，全局最大池化的反向传播时，只有特征响应最大的地方才有梯度反馈。具体步骤如下：

4.1.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.1.2)将最大池化和平均池化的结果分别输入多层感知机中，多层感知机由三层全连接层组成；

4.1.3)进行sigmoid运算后，将两个特征相加。

在空间注意力模块中(参见图4所示)，使用平均池化和最大池化对输入的特征图的通道进行压缩操作，使得特征在通道维度上分别做平均和最大池化操作。将其拼接起来通过卷积层对其融合，使得特征图在空间维度与特征图大小一致。具体步骤如下：

4.2.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.2.2)将最大池化和平均池化按照通道维度拼接后通过一个1×1的卷积层

4.2.3)将卷积层后的结果进行sigmoid运算。

5)设计注意力卷积神经网络，实现皮肤癌图片的识别。

空间注意力模块和通道注意力模块可以串行的连接在原卷积神经网络中。本说明中设计的神经网络如图2所示，采用13层卷积层，在卷积层结束后连接通道注意力和空间注意力，在注意力模块和全连接层之间采用全局池化对特征进行降维，后接两层全连接层，输出节点数分别是2048和样本类数。在网络初始化时，卷积层采用ImageNet训练的权重作为参数初始化。网络中采用反向传播算法对网络参数进行优化，损失函数为交叉熵函数：

其中，C是交叉熵的值，a是神经元的输出，n为训练的数据总数，y是目标的标签。

6)迁移学习

迁移学习是将已经学习好的模型参数迁移到5)中的模型上，采用ImageNet中vgg16预训练权重，帮助本模型进行训练，即将低层的卷积神经网络提取到的语义特征，如纹理特征，颜色特征等，高层提取到了物体轮廓迁移到本说明网络中。迁移学习加快并优化本模型的训练，使本模型的泛化能力得到提升。

本说明所用的编程语言为python和TensorFlow框架，计算平台为Ubuntu，GPU：1080。本网络框架中学习率设为0.001，优化函数采用带动量的随机梯度下降，batch size设置为32。图5a为原输入图，图5b和图5c分别是不加入注意力机制和加入注意力机制的结果，本说明对皮肤癌图片识别的准确率比之前的方法提高0.3，故本说明方法是优于之前的方法，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于，该方法主要是通过注意力机制改变原卷积神经网络各通道信息和空间信息的权重，进而增加网络的泛化能力，其包括以下步骤：

1)图像的预处理，包括图像翻转、旋转和仿射变换；

2)图像不均衡采样，对图像进行欠采样；

3)建立卷积神经网络框架，包括卷积层、池化层和全连接层；

4)建立注意力机制，包括通道注意力模块和空间注意力模块；

5)设计注意力卷积神经网络，实现皮肤癌图片的识别；

6)迁移学习，使用预训练网络的参数对卷积神经网络参数进行初始化。

2.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤1)中，获取ISIC2017数据集中皮肤癌图片，对数据集中每一张图片都进行如下操作：

图片翻转，包括水平翻转和垂直翻转；

图片缩放，对图片整体进行缩放；

图片旋转，对图片顺时针和逆时针旋转10度；

图片仿射变化。

3.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤2)中，数据集中有三类样本：黑色素瘤、脂溢性角化病和痣，欠采样是通过黑色素瘤这一类的数量大小来平衡数据集，以脂溢性角化病这一类样本的数量为标准，使得图片中所有类别数量相同。

4.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤3)中，卷积层在层与层之间通过稀疏连接实现权值共享，权值共享使得权值不仅能够用在一个输入，也能够用在其它输入；在卷积神经网络中，卷积核能够被共享，卷积核与每一层特征图进行计算，并将所有通道的特征值相加，最后加上一个偏置，获得最终的特征图，输入到激活函数中，将线性变换映射为非线性变换，拟合各种数据分布；将卷积层输出的特征输入到采样层中，对特征进行选择，采样层是最大池化，最大池化是对原特征图的局部区域选择最大值获得下采样特征，用全局池化取代在卷积层后的全连接层，全连接层只作用于网络的最后一层，用于分类；全连接层是在网络的最后一层，输出的神经元个数为三个，全连接层公式如下：

式中，表示第l层中第n个神经元的输出，N_l表示输出层神经元个数，表示l-1层第m个特征图，是上一层第m个特征图与第l层第n个神经元连接的权重，f₁是relu激活函数，是得第n个神经元的偏置；

在神经网络中反向传播算法对各层神经元之间的权重和阈值不停地调整，反向传播算法，即BP算法，属于有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差则训练完成，保存网络的权值和偏差；BP算法由两部分组成：信息的正向传递与误差的反向传播；在正向传播过程中，输入信息从输入层经隐含层逐层计算依次传向输出层，每一层神经元的状态只影响下一层神经元的状态，如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后进行反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望值；反向传播算法的伪代码是：

a、输入训练集：对于训练集中的每个样本x,设置输入层对应的激活值；

b、前向传播：计算每层神经元的输出值；

c、计算输出层产生的错误，并从后向前传播；

d、使用梯度下降，训练参数，获得最优参数。

5.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤4)中，通道注意力模块是对卷积层输出的每一个特征图赋予一个权重，获取权重的步骤如下：

4.1.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.1.2)将最大池化和平均池化的结果分别输入多层感知机中，多层感知机由三层全连接层组成；

4.1.3)进行sigmoid运算后，将两个特征相加；

空间注意力模块是对特征图中每一个像素点进行一个权重的分配，具体步骤如下：

4.2.1)对卷积层后输出的特征分别进行最大池化和平均池化；

4.2.2)将最大池化和平均池化按照通道维度拼接后通过一个1×1的卷积层；

4.2.3)将卷积层后的结果进行sigmoid运算。

6.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤5)中，设计的注意力卷积神经网络是将空间注意力模块和通道注意力模块串行的连接在卷积神经网络中，具体是：采用13层卷积层，卷积核大小为3×3，步长为1，最大池化层中滑动窗口大小为2×2，步长为2，在最后一个最大池化后连接通道注意力模块和空间注意力模块，连接一个7×7的最大池化，步长为1，全连接层输出神经元为3，通过softmax判断皮肤癌图片的类别。

7.根据权利要求1所述的一种基于注意力卷积神经网络的皮肤癌图片识别方法，其特征在于：在步骤6)中，采用ImageNet中vgg16预训练权重，将已经学习好的模型参数迁移到步骤5)建立的卷积神经网络上，帮助该卷积神经网络进行训练，即将低层的卷积神经网络提取到的语义特征和高层提取到物体轮廓特征迁移到该卷积神经网络中，使该卷积神经网络的训练速度加快，泛化能力得到提升。