CN108510502B - 基于深度神经网络的黑色素瘤图片组织分割方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的黑色素瘤图片组织分割方法和系统，主要是利用深度神经网络技术来解决黑色素瘤的皮肤镜图片的组织分割问题，是一种用于医学图像的分析处理技术，主要是使用一种改进的深度神经网络结构建模，用已经有分割标签的皮肤镜图片训练该模型，然后训练好的模型对新的皮肤镜图片具有分割可疑组织的能力。本发明方法和系统旨在定位黑色素瘤皮肤镜图片中的可疑区域并对其进行像素级的分割；本发明使用了较新的深度学习技术，充分发挥其采集图像数据各种层次特征的能力，将其应用于建模过程中，能够较好的对可疑的皮肤组织进行定位、分割，能够为皮肤科医师的进一步分析提供很好的参考。

Description

基于深度神经网络的黑色素瘤图片组织分割方法和系统

技术领域

本发明涉及医学图像处理技术领域，尤其是指一种基于深度神经网络的黑色素瘤图片组织分割方法和系统。

背景技术

随着计算机技术、医学成像技术的发展以及社会医疗需求的逐年增加，医学数据特别是医学图像数据正在以前所未有的速度增加，对医学图像进行精确识别具有显而易见的社会意义和使用价值。同时，在计算机视觉和模式识别领域，深度学习中的有监督学习方式正成为理论和工业界的热点，取得了突破性的进展。鉴于传统的医学图像分析大多采用人工标注或者人工提取特征之后再使用机器学习这种做法，不仅费时费力、提取困难，而且还存在精度差等问题。

黑色素瘤是一种多发于皮肤黑素细胞的癌症。它也是皮肤癌中致死率最高的一种癌症，约占皮肤癌中死亡率的75％。但是如果黑色素瘤能够在早期发现并给予得当的治疗的话，生存率是很高的。所以这就给早期黑色素瘤图片的分析提出了需求和挑战。

皮肤镜技术的提出使得黑色素瘤的分析诊断更加方便也更加有效。皮肤镜是一种非侵入式的皮肤图像采集技术，能够获得放大的、识别度高的可疑区域的皮肤图像。它可以通过消除皮肤表面的反光、增强皮肤更深层次的视觉效果。所以这种设备被广泛的用于黑色素瘤的诊断并且能够获得比裸眼诊断更加准确的结果。但是，由皮肤科医师对这种皮肤镜图像进行直接的观察并得出结论依然是很费时间的，而且同样不能避免差错和主观性。所以为了方便皮肤科医师或者是自动诊断机制的进一步工作，对皮肤镜图片的预处理和分析工作就提出了需求。其中一个重要的预处理工作就是对皮肤镜图片进行病变组织的自动分割，这样的操作能够把可疑区域的位置和正常皮肤的边界划分开来，自动定位可疑区域的位置，构成“感兴趣区域”，为皮肤科医生的进一步诊断和分析带来了方便。可疑组织的分割框架如图1所示。

从皮肤镜图像中进行组织分割是一项非常具有挑战性的工作。首先，黑色素瘤涉及的各种关于颜色、纹理、形状和尺寸的组内变异，病变部位在图片中的位置以及图片之间高度的视觉相似性，都使得自动组织分割变得十分困难。然后，病变组织和正常皮肤的边界在发病的早期阶段相对来说并不是那么清晰，这种模糊性又进一步增加了分割的难度。最后一点是人工因素的干扰，无论是天生的，比如毛发、血管，还是人为的，出现气泡、量度印记、色彩校正等等，都可能使病变组织变得模糊进而导致边界划分难度的增加。

在之前提出的自动分割的解决方案中，人们趋向于用传统的图像处理方法来解决这个问题，主要是基于聚类、阈值、区域增长、颜色通道或者变形模型等等。这些解决方案不但需要用到大量的领域知识和启发式方法，有时候还是凭借运气和经验。最主要的局限是，这些方法取得非常有限的成果。

最近随着深度学习的发展，特别是卷积神经网络在图像识别领域的流行，医学图像分析领域也取得了巨大的成果。也已经开始有人在黑色素瘤的图片分析方面应用了卷积神经网络，希望通过CNN的判别能力获取更好的效果。本发明就是一个比较新颖的基于深度神经网络的解决方案。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于深度神经网络的黑色素瘤图片组织分割方法和系统，该方法和系统旨在定位黑色素瘤皮肤镜图片中的可疑区域并对其进行像素级的分割，使用了较新的深度学习技术，充分发挥其采集图像数据各种层次特征的能力，将其应用于建模过程中，能够较好的对可疑的皮肤组织进行定位、分割，能够为皮肤科医师的进一步分析提供很好的参考。

为实现上述目的，本发明所提供的技术方案如下：

基于深度神经网络的黑色素瘤图片组织分割方法，该方法由一个神经网络实现，此神经网络是一种用于图像语义分割的网络改进而来的深度神经网络，充分利用卷积神经网络能够隐式地进行图像特征提取并从数据中进行学习的优势，在样本数据有限的情况下，对模型进行端到端的训练，直接输出分割结果，最大程度的利用已有的数据，对黑色素瘤的皮肤镜图片进行可疑的皮损区域的组织分割；该方法能够把一张输入图片映射成另一张图片输出，输入的图片就是原始皮肤镜图片，输出图片就是分割后的图片，且输出图片是黑白两种颜色组成的单通道图片，其中，白色代表需要分割的可疑组织区域，黑色代表正常皮肤区域；所述方法按如下具体步骤执行：

1)构建一种深度神经网络；

2)加载皮肤镜数据，并把数据分成训练集、验证集和测试集，并对数据进行预处理；

3)把步骤2)中准备好的训练集数据按某一指定批量的大小输入深度神经网络进行训练；

4)在每次批处理训练后，用步骤2)中准备好的训练集和验证集上作网络前向运算，预测训练集和验证集的样本标记，根据评价指标绘制学习曲线，以此检验模型的泛化能力；同时使用“早停”机制，当经过设定的训练轮数，模型的评价指标没有提升的话，就使用验证集评价指标最高的一轮训练结果作为最终网络；

5)当达到指定训练轮数或者“早停”机制启动之后或者用步骤2)中准备好的测试集进行测试模型效果，得到最终的神经网络模型；

6)当需要对皮肤镜图片进行皮损区域分割的时候，将其输入最终得到的神经网络模型，直接输出分割结果。

在步骤1)中，所述深度神经网络的结构由两部分构成，第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对拼接之后的数据随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域。

在步骤2)中，所述数据是已有的皮肤镜图片及其对应的Ground-Truth图片，所述Ground-Truth图片是指已经标记好哪些像素属于可疑皮损区域，哪些像素属于正常皮肤组织的图片，是监督学习中的“标签”，这些图片主要用于训练皮肤镜图片组织分割模型；所述训练集用于训练模型，所述验证集用于模型选择，所述测试集用于最后评估模型的好坏；其中，数据预处理的工作包括如下预处理过程：

2.1)把皮肤镜图片及其Ground-Truth根据需要以及硬件处理能力调整至统一大小；

2.2)把Ground-Truth图片的像素值归一化到0～1之间；

2.3)皮肤镜图片的RGB像素值减去ImageNet数据集对应三个通道的平均值，分别为123.68，103.939和116.779；

2.4)由于类似的医学图像是有限的，直接训练很容易造成过拟合，所以使用数据增强策略加强模型的鲁棒性，防止过拟合；增强的操作包括图像旋转，水平和垂直方向上的翻转，添加随机噪声。

在步骤3)中，把预处理后的训练集输入搭建好的深度神经网络结构进行训练，训练集由原始的皮肤镜图片和作为标签的Ground-truth构成；

其中，所述深度神经网络有如下改进和特征：

a.使用Dice相关系数的负数作为损失函数，损失函数如下：

Loss＝-2*TP/(2*TP+FN+FP)

并使用jaccard系数作为模型效果的评价指标：

Jaccard_coef＝TP/(TP+FN+FP)

其中，TP表示该像素点在分割结果中和在Ground-truth中都属于可疑组织；FN表示该像素点在Ground-truth为非可疑组织，但是在分割结果中为可疑组织；FP表示像素点在Ground-truth中为可疑组织，但是在分割结果中为非可疑组织；

b.使用Adam作为神经网络训练的优化器；

c.把网络中除了最后一层的所有的激活函数换成ReLU，其公式为f(x)＝max{0,1}，ReLU能够消除“梯度饱和”效应并加速神经网络的收敛，只有最后一层使用sigmoid激活函数：f(x)＝1/(1+exp(-x))；

d.训练的输入的RGB像素值减去ImageNet数据集的平均值；

e.在神经网络中的“收缩路径”和“扩张路径”之间用两个全连接层连接；

所述深度神经网络的训练包括如下步骤：

3.1)开始，初始化神经网络参数；

3.2)加载皮肤镜图片，传入神经网络，然后对神经网络的输出和真实样本标记也就是Ground-truth之间的误差用损失函数进行衡量，训练的过程用Adam优化器进行反向传播更新神经网络参数；

3.3)判断是否达到指定的训练轮数或者触发“早停”机制，如果是则输出训练过程中获得的最佳模型作为训练结果，如果不是转到步骤3.2)继续训练。

基于深度神经网络的黑色素瘤图片组织分割系统，包括有数据预处理模块、皮肤镜图片组织分割模型训练模块、皮肤镜图片组织分割模型存储模块、皮肤镜图片组织分割模块；其中：

所述数据预处理模块包括数据集加载单元和数据集基本处理单元；所述数据集加载单元负责加载用于训练、验证、测试模型的数据集以及训练好模型之后需要进行分割处理的新的数据，对于训练、验证、测试模型，要保证训练数据和数据标签之间的对应关系；所述数据集基本处理单元用于对图片调整至统一大小，对图片像素值做归一化处理，对图片的RGB像素值减去ImageNet数据集对应通道的平均值以及针对数据集大小达不到要求的情况进行数据增强；

所述皮肤镜图片组织分割模型训练模块用于训练黑色素瘤的皮肤镜图片组织分割模型；所述皮肤镜图片组织分割模型是由一种深度神经网络训练而来，该网络是一个21层的深度神经网络，由“收缩路径”和“扩张路径”两部分构成，两部分之间由两个全连接层连接，所述网络的结构如下：

第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对拼接之后的数据随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域；

皮肤镜图片组织分割模型训练模块训练好上述神经网络之后，把训练得到的最终模型保存到皮肤镜图片组织分割模型存储模块中，用于对新输入的皮肤镜图片进行组织分割操作；

所述皮肤镜图片组织分割模型存储模块保存由皮肤镜图片组织分割模型训练模块训练得到的皮肤镜图片组织分割模型，供需要调用该模型的新的输入数据调用；

所述皮肤镜图片组织分割模块利用皮肤镜图片组织分割模型存储模块保存的模型对新输入的皮肤镜图片进行感兴趣区域的分割；具体来说，就是把疑似病变组织的边界轮廓找出来；分割的输出结果是由黑白两种颜色的图片，黑色表示正常皮肤，白色表示可疑组织的皮肤，黑白交界的地方就是组织的边界轮廓，有了这个轮廓才方便把接下来分析的重点放在这个轮廓所覆盖的区域上；对于皮肤科医师来说需要对该新输入的图片进行进一步分析的重点就在这个轮廓内部；所以组织分割模块的目的就是找到感兴趣区域，方便后续处理。

本发明与现有技术相比，具有如下优点与有益效果：

1、对黑色素瘤皮肤镜图片的组织分割这个场景提出了一个比较新颖的基于深度神经网络和一系列能够有效提高训练策略的模型。该模型针对黑色素瘤这种数据集规模有限的医学图像问题提出了较好的解决方法。

2、本发明方法是一种自动的端到端的方法，相关的数据处理和训练过程不需要先验知识或者领域内知识。

3、本发明系统中的组织分割模块中使用了一种改进的神经网络，这个网络超过20层，能够实现良好的皮肤组织分割。该模型通过增加深度来提高模型的准确率，相比于浅层的网络结构，更深的网络确实能够获取更加丰富的、有区分度的特征进而得到更好的效果。这在之前的应用中是很少见的。

4、本发明所使用的网络是由医学图像分割中非常流行的的网络改进而来的神经网络。

5、本发明方法相对于传统的基于“阈值法”或者“像素聚类”等组织分割方法在精度上有较大的提高，相对于普通的卷积神经网络在训练复杂度上有所降低。该方法具有较强的通用性，可以被很容易的把使用场景扩展到其他关于医学图像分割场景。

附图说明

图1为黑色素瘤皮肤镜图片可疑组织的分割框架。

图2为本发明使用的用于黑色素瘤图像分割的神经网络结构。

图3为深度神经网络的训练流程图。

图4为本发明基于深度神经网络的黑色素瘤图片组织分割系统结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例提供一种基于深度神经网络的黑色素瘤图片组织分割方法，该方法是对图像语义分割的神经网络改进实现，其网络结构如图2所示；所述方法先用已有的关于黑色素瘤的皮肤镜图片训练神经网络模型，选取训练效果最好的模型作为最终的模型，该模型对新输入的可疑黑色素瘤图片具有分割皮损区域的作用，也就是可以把皮损区域在图片中标记出来；模型的输入是预处理好的黑色素瘤皮肤镜图片，输出是分割好的、只有黑白两种颜色的图片，白色代表可疑的皮损区域，黑色代表正常的皮肤组织。该方法按如下具体步骤执行：

步骤1，构建深度神经网络模型，该网络是一个21层的深度神经网络，所述网络的结构如下：

该神经网络的结构由两部分构成，第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来。其中收缩路径接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征。扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对拼接之后的数据随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位。两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作。输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，可以表示成单通道的二维图像，像素值表示了每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域。

步骤2，加载数据，数据包括原始的皮肤镜图片以及其对应的作为分割标签的Ground-Truth。把数据分成训练集、验证集和测试集。然后对图片及其Ground-Truth进行预处理，在本实施例中，考虑到训练开销和数据的标准化，首先把图片调整到统一尺寸，128×128；然后对图片每个通道的像素值减去ImageNet数据集对应通道的平均值——该预处理方法被实验证明是有效的。由于类似的医学图像是有限的，直接训练很容易造成过拟合，为了增加模型的鲁棒性，防止过拟合，系统使用了数据增强等策略，包括，图片随机转动90度、180度、270度，水平和竖直方向上偏移一定比例，随机缩放一定的幅度，添加随机噪声。

步骤3，训练分割模型阶段，把训练集输入搭建好的神经网络进行训练，训练集由原始的皮肤镜图片和作为标签的Ground-Truth构成：初始化深度神经网络的各种参数，然后输入训练集进行训练，用验证集验证训练模型的效果并根据验证结果对超参数进行调整，最好选取效果最高的模型作为最终的模型保存。分割阶段所使用的神经网络主要由前半部分的“收缩路径”和后半部分的“扩张路径”组成；收缩路径用于采集上下文特征，主要由卷积层、最大池化层等组成；扩张路径可以实现像素点的精确定位，主要由卷积层和转置卷积层组成；连接前后两部分的是两层全连接的神经网络。如图3所示，训练过程中图片在网络中的处理流程如下：

3.1)初始化深度神经网络的训练参数，把图片读成三维数组，加入高斯噪声；

3.2)把上一步得到的数据传入收缩路径，它由3部分组成：先是3个卷积层1个池化层再加入高斯噪声；然后重复这个过程，3个卷积层1个池化层之后加入高斯噪声；最后是3个卷积层1个池化层之后加入一个随机失活操作；

3.3)把上一步操作得到的数据转化成一维，并传入2个全连接层，在第一个全连接层之后进行随机失活，在第二个全连接层之后加入高斯噪声；

3.4)把上一步操作得到的数据重新转化成3维数据传入扩张路径；

3.5)扩张路径首先对上一步得到的数据进行“转置卷积”，把数据在长和宽上扩大一倍，然后和收缩路径最后一步得到的数据在通道维度上进行拼接，把拼接之后的数据进行3次卷积操作；

3.6)对上一步操作得到的数据进行“转置卷积”，把数据在长和宽上扩大一倍，然后和收缩路径第二步得到的数据在通道维度上进行拼接，拼接之后的数据进行3次卷积操作；

3.7)对上一步操作得到的数据进行“转置卷积”，把数据在长和宽上扩大一倍，然后和收缩路径第一步得到的数据在通道维度上进行拼接，拼接之后的数据进行3次卷积操作；

3.8)对上一步操作得到的数据进行通道数为1，卷积核为1×1的卷积操作，得到和输入图片长宽相同的单通道输出图片，该图片的二值化结果就是一次正向传播得到的分割结果——黑色部分是正常组织或背景，白色部分属于可疑皮肤组织

3.9)用Dice系数的负数作为损失函数计算该分割结果和真实Ground-truth之间的损失，并进行反向传播更新训练参数，训练指定的轮数；损失函数如下：

Loss＝-2*TP/(2*TP+FN+FP)

其中TP表示该像素点在分割结果中和在Ground-truth中都属于可疑组织；FN表示该像素点在Ground-truth为非可疑组织，但是在分割结果中为可疑组织；FP表示像素点在Ground-truth中为可疑组织，但是在分割结果中为非可疑组织；

3.10)判断是否达到指定的训练轮数或者触发“早停”机制，如果是则输出训练过程中获得的最佳模型作为训练结果，如果则继续训练。

步骤4，训练好的模型对于新的输入(皮肤镜图片)具有自动分割可疑组织的能力，输出会把可疑的皮肤组织作像素级的标注；用训练分割模型阶段训练出的模型对黑色素瘤皮肤镜图片进行分割，找到感兴趣的皮肤组织区域，获得最终的分割结果。

如图4所示，为本实施例所提供的基于深度神经网络的黑色素瘤图片组织分割系统，该系统包括有数据预处理模块、皮肤镜图片组织分割模型训练模块、皮肤镜图片组织分割模型存储模块、皮肤镜图片组织分割模块；其中：

所述数据预处理模块包括数据集加载单元和数据集基本处理单元；所述数据集加载单元负责加载用于训练、验证、测试模型的数据集以及训练好模型之后需要进行分割处理的新的数据，对于训练、验证、测试模型，要保证训练数据和数据标签之间的对应关系；所述数据集基本处理单元用于对图片调整至统一大小，对图片像素值做归一化处理，对图片的RGB像素值减去ImageNet数据集对应通道的平均值以及针对数据集大小达不到要求的情况进行数据增强，这些功能主要用于实现神经网络训练的某些技巧。

所述皮肤镜图片组织分割模型训练模块用于训练黑色素瘤的皮肤镜图片组织分割模型；所述皮肤镜图片组织分割模型是由一种深度神经网络训练而来，该网络是一个21层的深度神经网络，由“收缩路径”和“扩张路径”两部分构成，两部分之间由两个全连接层连接，所述网络的结构如下：

第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对拼接之后的数据随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域；

皮肤镜图片组织分割模型训练模块训练好上述神经网络之后，把训练得到的最终模型保存到皮肤镜图片组织分割模型存储模块中，用于对新输入的皮肤镜图片进行组织分割操作。

所述皮肤镜图片组织分割模型存储模块保存由皮肤镜图片组织分割模型训练模块训练得到的皮肤镜图片组织分割模型，供需要调用该模型的新的输入数据调用。

所述皮肤镜图片组织分割模块利用皮肤镜图片组织分割模型存储模块保存的模型对新输入的皮肤镜图片进行感兴趣区域的分割；具体来说，就是把疑似病变组织的边界轮廓找出来；分割的输出结果是由黑白两种颜色的图片，黑色表示正常皮肤，白色表示可疑组织的皮肤，黑白交界的地方就是组织的边界轮廓，有了这个轮廓才方便把接下来分析的重点放在这个轮廓所覆盖的区域上；对于皮肤科医师来说需要对该新输入的图片进行进一步分析的重点就在这个轮廓内部；所以组织分割模块的目的就是找到感兴趣区域，方便后续处理。

综上所述，本发明通过利用深度神经网络技术来解决黑色素瘤的皮肤镜图片的组织分割问题，是一种用于医学图像的分析处理技术，主要是使用一种改进的深度神经网络结构建模，用已经有分割标签的皮肤镜图片训练该模型，然后训练好的模型对新的皮肤镜图片具有分割可疑组织的能力。总之，本发明方法和系统旨在定位黑色素瘤皮肤镜图片中的可疑区域并对其进行像素级的分割，本发明使用了较新的深度学习技术，充分发挥其采集图像数据各种层次特征的能力，将其应用于建模过程中，能够较好的对可疑的皮肤组织进行定位、分割，能够为皮肤科医师的进一步分析提供很好的参考，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (1)

1.基于深度神经网络的黑色素瘤图片组织分割系统，其特征在于：包括有数据预处理模块、皮肤镜图片组织分割模型训练模块、皮肤镜图片组织分割模型存储模块、皮肤镜图片组织分割模块；其中：

所述数据预处理模块包括数据集加载单元和数据集基本处理单元；所述数据集加载单元负责加载用于训练、验证、测试模型的数据集以及训练好模型之后需要进行分割处理的新的数据，对于训练、验证、测试模型，要保证训练数据和数据标签之间的对应关系；所述数据集基本处理单元用于对图片调整至统一大小，对图片像素值做归一化处理，对图片的RGB像素值减去ImageNet数据集对应通道的平均值以及针对数据集大小达不到要求的情况进行数据增强；

所述皮肤镜图片组织分割模型训练模块用于训练黑色素瘤的皮肤镜图片组织分割模型；所述皮肤镜图片组织分割模型是由一种深度神经网络训练而来，该网络是一个21层的深度神经网络，由“收缩路径”和“扩张路径”两部分构成，两部分之间由两个全连接层连接，所述网络的结构如下：

第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对拼接之后的数据随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域；

皮肤镜图片组织分割模型训练模块训练好上述神经网络之后，把训练得到的最终模型保存到皮肤镜图片组织分割模型存储模块中，用于对新输入的皮肤镜图片进行组织分割操作；

所述皮肤镜图片组织分割模型存储模块保存由皮肤镜图片组织分割模型训练模块训练得到的皮肤镜图片组织分割模型，供需要调用该模型的新的输入数据调用；

所述皮肤镜图片组织分割模块利用皮肤镜图片组织分割模型存储模块保存的模型对新输入的皮肤镜图片进行感兴趣区域的分割；具体来说，就是把疑似病变组织的边界轮廓找出来；分割的输出结果是由黑白两种颜色的图片，黑色表示正常皮肤，白色表示可疑组织的皮肤，黑白交界的地方就是组织的边界轮廓，有了这个轮廓才方便把接下来分析的重点放在这个轮廓所覆盖的区域上；对于皮肤科医师来说需要对该新输入的图片进行进一步分析的重点就在这个轮廓内部；所以组织分割模块的目的就是找到感兴趣区域，方便后续处理。

Images