CN108734138B - 一种基于集成学习的黑色素瘤皮肤病图像分类方法 - Google Patents

Abstract

一种基于集成学习的黑色素瘤皮肤病图像分类方法，包括以下步骤：步骤1，使用基于随机掩盖大小固定的区域的数据增强方式来扩充训练样本；步骤2，建立多个卷积神经网络模型，使用的训练集包含黑色素瘤皮肤图像和非黑色素瘤皮肤图像；使用卷积残差50层网络；使用交叉熵损失函数；步骤3，卷积神经网络模型的集成：假定由训练集1训练得到的模型为分类模型1，训练集2训练得到的模型为分类模型2，对分类模型1和分类模型2分别使用测试集来测试其效果，然后每个模型会各自给出测试样本属于黑色素瘤的概率值p1，p2，集成的时候对于测试样本属于黑色素瘤的概率p＝(p1+p2)/2。本发明分类精度较高、数据均衡，提高黑色素瘤自动识别分类的性能。

Description

一种基于集成学习的黑色素瘤皮肤病图像分类方法

技术领域

本发明涉及计算机视觉领域，特别是涉及图像分类领域。本发明公开了一种新型的黑色素瘤分类系统，具体通过对皮肤镜检图像进行不同数据增强来构建输入样本集之间的差异性，同时结合深度卷积神经网络来进行训练模型，最后使用集成学习来对多个模型进行集成来构建最终的分类系统。

背景技术

黑色素瘤，也称“恶性黑色素瘤”或被称作“黑素瘤”，它是一种源于黑色素细胞的一类恶性肿瘤。黑色素瘤因其容易出现且容易转移，成为皮肤肿瘤中恶性程度最高的瘤种，严重危害生命。然而，即使是经验丰富的皮肤科医生，肉眼检测黑素瘤带有很强的主观性，导致检测结果不准确，甚至检测结果难以重现。皮肤镜下皮肤病图像识别和分类，一直都是生物医学领域的一个研究热点和难点。尤其是恶性黑色素瘤图像，由于存在着数据量小和数据不均衡问题，导致图像难以识别和分类。本发明中采用目前比较火热的深度学习方法中的深度卷积神经网络和传统的集成学习方法相结合，可以得到对黑色素瘤皮肤病图像都比较好的分类效果。

卷积神经网络是人工神经网络中最具代表的一种，它已成为当前深度学习研究领域的研究热点，在图像识别、语音处理等领域都有着非凡的表现。一般地，卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用多种不同的激活函数比如sigmoid函数、ReLU函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

对于一个给定的学习任务，需要搜索的假设空间通常十分巨大，然而可训练的样本数却往往又十分有限，这就导致了单一的学习器难以学习到目标假设。此时，将有一系列的假设可以同时满足训练集，而最终学习的结果只能是其中之一。这样，学习算法就面临着一定风险，但是将多个假设集成起来却能够降低这种风险。因黑色素瘤分类任务中存在着数据不均衡的情况，考虑到集成学习技术具有可同时提升单一分类器分类精度与泛化能力这一特点，已被广泛应用于类别不平衡学习领域，故发明中使用集成学习来更好解决数据不均衡的问题。

发明内容

为了解决现有黑色素瘤分类精度低、分类过程中存在数据不均衡的不足，本发明提出了一种分类精度较高、数据均衡的基于集成学习的黑色素瘤皮肤病图像分类方法，旨在提高黑色素瘤自动识别分类的性能。

本发明解决其技术问题所采用的技术方案是：

一种基于集成学习的黑色素瘤皮肤病图像分类方法，包括以下步骤：

步骤1，使用基于随机掩盖大小固定的区域的数据增强方式来扩充训练样本，过程如下：

1.1依次从训练集中无放回取图片img，并获取它们的宽img_w和高img_h；

1.2初始化掩盖区域的宽w＝s，高h＝s；

1.3随机从(0，img_w-s)中初始化掩盖区域的左上角横轴坐标x₀，随机从(0，img_h-s)中初始化掩盖区域的左上角纵轴坐标y₀，掩盖区域的右下角坐标为(x₀+s，y₀+s)；

1.4将区域(x₀，y₀，x₀+s，y₀+s)的像素值置为0；

1.5保存增强后的图片；

步骤2，建立多个卷积神经网络模型

使用的训练集包含黑色素瘤皮肤病图像和非黑色素瘤皮肤病图像；

2个训练集的组成分别如下：

训练集1：原始训练集和对原始训练集进行随机掩盖得到的增强样本，其中增强过程中分别设定s＝150，s＝300；

训练集2：原始训练集和对原始训练集进行随机掩盖得到的增强样本，其中增强过程中分别设定s＝150，s＝200，s＝250，s＝300；

使用卷积残差50层网络，对输入图片使用64个卷积核，卷积核大小为7*7，从而得到第二个条形方块，然后再进行池化，池化区域大小为3*3，图2中后面的Res1-3代表第1-3个残差块，Input X_n-1代表n-1层的输出,同时也是残差块的输入，残差块中1*1conv代表卷积核大小为1*1，Batch Norm代表本层为归一化层，就是以Batch为单位，将里面的数据统一按照一定的方式缩放到一定的范围，ReLU代表该层为激活函数层，该层使用的激活函数为ReLU，其函数表达式如下：

然后F_l(X_n-1)代表经过残差块的运算之后输入到输出之间的映射，侧边的shortcut连接迫使残差块学习到的映射更贴近于输入，Output X_n代表残差块的输出；

目标函数：模型训练过程中采用交叉熵损失函数作为目标函数，其形式如下：

P代表训练过程中模型输出的概率值，y代表图片的真实标签，黑色素瘤的标签为1，非黑色素瘤的标签为0；

步骤3，卷积神经网络模型的集成

假定由训练集1训练得到的模型为分类模型1，训练集2训练得到的模型为分类模型2，对分类模型1和分类模型2分别使用测试集来测试其效果，然后每个模型会各自给出测试样本属于黑色素瘤的概率值p1，p2，集成的时候对于测试样本属于黑色素瘤的概率

p＝(p1+p2)/2。

本发明的有益效果主要表现在：提高黑色素瘤自动识别分类的性能。

附图说明

图1为本发明中随机掩盖增强方式的效果示意图。

图2为深度卷积残差50层神经网络结构示意图。

图3为深度卷积残差50层中的残差模块示意图。

图4为整个分类模型集成示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于集成学习的黑色素瘤皮肤病图像分类方法，包括以下步骤：

步骤1，使用基于随机掩盖大小固定的区域的数据增强方式来扩充训练样本，过程如下：

1.1依次从训练集中无放回取图片img，并获取它们的宽img_w和高img_h；

1.2初始化掩盖区域的宽w＝s，高h＝s；

1.3随机从(0，img_w-s)中初始化掩盖区域的左上角横轴坐标x₀，随机从(0，img_h-s)中初始化掩盖区域的左上角纵轴坐标y₀，掩盖区域的右下角坐标为(x₀+s，y₀+s)；

1.4将区域(x₀，y₀，x₀+s，y₀+s)的像素值置为0；

1.5保存增强后的图片；

步骤2，建立多个卷积神经网络模型

使用的训练集包含黑色素瘤皮肤病图像和非黑色素瘤皮肤病图像；

2个训练集的组成分别如下：

训练集1：原始训练集和对原始训练集进行随机掩盖的到的增强样本，其中增强过程中分别设定s＝150，s＝300；

训练集2：原始训练集和对原始训练集进行随机掩盖的到的增强样本，其中增强过程中分别设定s＝150，s＝200，s＝250，s＝300；

使用卷积残差50层网络，对输入图片使用64个卷积核，卷积核大小为7*7，从而得到第二个条形方块，然后再进行池化，池化区域大小为3*3，图2中后面的Res1-3代表第1-3个残差块，Input X_n-1代表n-1层的输出,同时也是残差块的输入，残差块中1*1conv代表卷积核大小为1*1，Batch Norm代表本层为归一化层，就是以Batch为单位，将里面的数据统一按照一定的方式缩放到一定的范围内，ReLU代表该层为激活函数层，该层使用的激活函数为ReLU，其函

数表达式如下：

然后F_l(X_n-1)代表经过残差块的运算之后输入到输出之间的映射，侧边的shortcut连接迫使残差块学习到的映射更贴近于输入，Output X_n代表残差块的输出；

目标函数：模型训练过程中采用交叉熵损失函数作为目标函数，其形式如下：

P代表训练过程中模型输出的概率值，y代表图片的真实标签，黑色素瘤的标签为1，非黑色素瘤的标签为0；

步骤3，卷积神经网络模型的集成

假定由训练集1训练得到的模型为分类模型1，训练集2训练得到的模型为分类模型2，对分类模型1和分类模型2分别使用测试集来测试其效果，然后每个模型会各自给出测试样本属于黑色素瘤的概率值p1，p2，集成的时候对于测试样本属于黑色素瘤的概率p＝(p1+p2)/2。

以单张图片为例阐述随机掩盖数据增强方式的过程如下：

步骤1:我们依次无放回地从原始训练集中取出待增强的皮肤病图像样本，每次取一张进行增强，原图备份保存，假设取出的样本为ISIC_00003.jpg尺寸大小为1024*738，先初始化需要掩盖区域的大小s＝150，则初始化为(150*150)，初始化时要保证掩盖区域的尺寸小于整张图片的大小，之后从(0，1024-150)中确定掩盖区域的起始x坐标，从(0，738-150)中确定掩盖区域的起始y坐标，选定的起始坐标(523，348)，从而确定掩盖区域为M为(523，348，823，648)根据掩盖区域对原始图片进行掩盖，掩盖出来的样本命名为CropISIC_00003.jpg。

步骤2：将确定的掩盖区域内的像素值设置为0；

步骤3：将上述过程执行多次，对原始训练集中的所有样本进行扩充。这样可以将原始训练集扩充一倍。同时也可以通过调节掩盖区域的大小，进行多次在原图上的扩充。

以单张图片为例设定训练集如下：

训练集1：对于原始图片ISIC_00003.jpg进行增强，分别设定s＝150，300，按照1中的方式进行增强，得到增强样本Mask1_150_00003.jpg，Mask1_300_00003.jpg，将原始样本ISIC_00003.jpg、Mask1_150_00003.jpg、Mask1_300_00003.jpg放置在一起，其他原始样本也是和样本ISIC_00003.jpg一样将原始样本和增强后的样本混合在一起，最后组成训练集1。

训练集2：对于原始图片ISIC_00003.jpg进行增强，分别设定s＝150，200，250，300从而得到增强样本Mask2_150_00003.jpg、Mask2_200_00003.jpg、Mask2_250_00003.jpg、Mask2_300_00003.jpg，然后同样将原始图片ISIC_00003.jpg和它的增强样本Mask2_150_00003.jpg、Mask2_200_00003.jpg、Mask2_250_00003.jpg、Mask2_300_00003.jpg混合在一起，样本集中的其他原始图片也做一样的处理，最后组成训练集2。

将确定的训练集1和训练集2的数据分别放入到深度卷积残差50层的网络中进行特征提取。训练过程中，使用残差50层在ImageNet数据集上预训练的模型来对网络参数进行初始化，在此基础上进行微调网络参数，经过一定的迭代次数训练得到分类模型1和分类模型2

取测试集的样本分别在分类模型1和分类模型2上进行测试。分类模型1和分类模型2会分别给出测试样本属于黑色素瘤的概率为p1、p2，这里假设测试样本为ISIC_00145.jpg，分类模型1给出属于黑色素瘤的概率p1＝0.67,分类模型2给出属于黑色素瘤的概率p2＝0.82,然后使用集成策略，算术平均法得到样本ISIC_00145.jpg是黑色素瘤的概率为(0.67+0.82)/2＝0.745。

Claims (1)

1.一种基于集成学习的黑色素瘤皮肤病图像分类方法，其特征在于，所述方法包括以下步骤：

步骤1，使用基于随机掩盖大小固定的区域的数据增强方式来扩充训练样本，过程如下：

1.1依次从训练集中无放回取图片img，并获取它们的宽img_w和高img_h；

1.2初始化掩盖区域的宽w＝s，高h＝s；

1.3随机从(0，img_w-s)中初始化掩盖区域的左上角横轴坐标x₀，随机从(0，img_h-s)中初始化掩盖区域的左上角纵轴坐标y₀，掩盖区域的右下角坐标为(x₀+s，y₀+s)；

1.4将区域(x₀，y₀，x₀+s，y₀+s)的像素值置为0；

1.5保存增强后的图片；

步骤2，建立多个卷积神经网络模型

使用的训练集包含黑色素瘤皮肤病图像和非黑色素瘤皮肤病图像；

2个训练集的组成分别如下：

训练集1：原始训练集和对原始训练集进行随机掩盖得到的增强样本，其中增强过程中分别设定s＝150，s＝300；

训练集2：原始训练集和对原始训练集进行随机掩盖得到的增强样本，其中增强过程中分别设定s＝150，s＝200，s＝250，s＝300；

使用卷积残差50层网络：对输入图片使用64个卷积核，卷积核大小为7*7，从而得到第二个条形方块，然后再进行池化，池化区域大小为3*3，Res1-3代表第1-3个残差块，InputX_n-1代表n-1层的输出,同时也是残差块的输入，残差块中1*1conv代表卷积核大小为1*1，Batch Norm代表该层为归一化层，就是以Batch为单位，将里面的数据统一按照一定的方式缩放到一定的范围内，ReLU代表该层为激活函数层，该层使用的激活函数为ReLU，其函数表达式如下：

然后F_l(X_n-1)代表经过残差块的运算之后输入到输出之间的映射，侧边的shortcut连接迫使残差块学习到的映射更贴近于输入，Output X_n代表残差块的输出；

目标函数：模型训练过程中采用交叉熵损失函数作为目标函数，其形式如下：

p代表训练过程中模型输出的概率值，y代表图片的真实标签，黑色素瘤的标签为1，非黑色素瘤的标签为0；

步骤3，卷积神经网络模型的集成

假定由训练集1训练得到的模型为分类模型1，训练集2训练得到的模型为分类模型2，对分类模型1和分类模型2分别使用测试集来测试其效果，然后每个模型会各自给出测试样本属于黑色素瘤的概率值p1，p2，集成的时候对于测试样本属于黑色素瘤的概率p＝(p1+p2)/2。

Images