CN108198179A - 一种生成对抗网络改进的ct医学图像肺结节检测方法 - Google Patents

Abstract

本发明公开了一种生成对抗网络改进的CT医学图像肺结节检测方法，包括步骤：1)获取肺部CT图像的切片；2)根据图像形态学性质分离得到ROI肺实质区域；3)根据二值化图像构成的连通域得到不同的疑似肺结节候选集；4)建立辅助分类器生成对抗网络的模型产生正类样本克服正负类样本数量不均衡的情况；5)建立卷积神经网络对疑似肺结节部分进行分类得到肺结节区域；6)使用非极大抑制算法得到肺结节的最终区域。本发明可充分利用计算机的高效处理性能，提供一定的可扩展性，加快数据的处理效率，同时通过卷积神经网络算法提高分类的准确率，提高CT图像数据的处理性能，更加高效地构建分析肺结节图像。

Description

一种生成对抗网络改进的CT医学图像肺结节检测方法

技术领域

本发明涉及医学图像处理领域，尤其是指一种生成对抗网络改进的CT医学图像肺结节检测方法。

背景技术

中国庞大的人口基数给医疗系统带来的既是挑战也是机遇。医疗制度的不完善以及医疗资源的不平衡严重制约了中国医疗事业的发展。当前中国医疗行业正处于一个重要的转折点，一方面，全民的医疗费用占GDP的比例不断提升，人们越来越重视健康问题；另一方面，全国的老龄化问题日益严重，老年人的医疗问题成了政府需要积极面对的问题。因此医疗保健行业的发展预计将会迎来一个黄金时代。但是相对于庞大的人口，我们的医疗机构不足以及相关从业人员紧缺，是我们亟待解决的问题。

通过组医学数据和临床医学的结合，可以有效提高医学诊断的准确率，精准医学这几年飞速的发展在一定程度上提高了病人的治疗效果。医疗器材的越来越精密，也为人类探索人类基因组，蛋白质组等数据提供了可靠的保障。利用这些数据，结合机器学习、数据挖掘方法对可能的关系进行有效挖掘，从而帮助医学工作者作出正确的决策。

CT图像肺结节检测是医学图像处理中的核心内容。一般要经过以下几个步骤，包括数据采集，图像预处理，肺实质分割，疑似肺结节检测，肺结节性质分析。本发明处理的前提是CT图像已经采集好。图像的预处理步骤包括切片，去除噪声等等。这个步骤的目的是得到二维切片图片，以便于计算机处理。肺实质的分割目的在于提取肺实质，对胸前内区域及胸廓进行分割，提取肺部区域分离得到感兴趣区域(ROI)肺实质区域，这一步尤其重要，因为切片中其它的区域会对疑似肺结节检测造成干扰，从而对检测的准确率造成影响。

现有对肺结节检测的算法在特征提取的过程中需要花费大量的时间。传统的特征提取算法提取大量的人工特征，这些特征需要大量的先验知识。而使用深度学习对结节进行分类的方法可以避免人工特征的提取过程，因为深度学习模型能够自动学习提取适合当前任务的特征。

医学图像处理中的一个突出问题是正负类样本不均衡问题，即真实肺结节样本(正类样本)远远少于非肺结节样本(负类样本)。本发明使用的方法是训练辅助分类器生成对抗网络的模型产生真实肺结节样本，使不同类别样本均衡，从而避免模型偏好某一类样本，减少模型过拟合或者欠拟合的情况发生。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种生成对抗网络改进的CT医学图像肺结节检测方法，可充分利用计算机的高效处理性能，提供一定的可扩展性，加快数据的处理效率，同时通过卷积神经网络算法提高分类的准确率，提高CT图像数据的处理性能，更加高效地构建分析肺结节图像。

为实现上述目的，本发明所提供的技术方案为：一种生成对抗网络改进的CT医学图像肺结节检测方法，首先，从CT图像中得到切片，然后分离出肺实质部分，去除影响检测的噪声区域，通过最大类间方差法(OSTU)算法得到图像二值化最优的阈值，然后对图像进行形态学的操作得到图像的掩膜，从而提取到切片图像的各个区域；接着，根据肺部区域和其它的连续区域的位置和大小的差异，分离得到ROI肺实质区域，由于肺结节CT值与其它实质CT值的不同，二值化之后构成的连通域得到不同的疑似肺结节候选集，采用基于辅助分类器生成对抗网络的模型产生真实肺结节样本的方法，克服不同样本数量不均衡的情况，通过建立卷积神经网络模型对疑似肺结节部分进行分类得到肺结节，最后使用非极大抑制算法得到肺结节的最终定位；其包括以下步骤：

1)获取肺部CT图像的切片；

2)根据图像形态学性质分离得到ROI肺实质区域；

3)根据二值化图像构成的连通域得到不同的疑似肺结节候选集；

4)建立辅助分类器生成对抗网络的模型产生真实肺结节样本克服不同类别样本数量不均衡的情况；

5)建立卷积神经网络对疑似肺结节部分进行分类得到肺结节区域；

6)使用非极大抑制算法得到肺结节的最终区域。

在步骤1)中，由于不同扫描面的像素尺寸、粗细粒度是不同的，这不利于进行模型的训练任务，采用同构采样的方法避免这种情况。处理方法是从全数据集中以固定的同构分辨率重新采样，重新对病人的切片图像进行取样，将其映射到相同的分辨率：1mm×1mm×1mm，得到同构的切片。

在步骤2)中，根据图像形态学性质分离得到ROI肺实质区域，首先对肺部CT切片图像二值化，二值化过程采用的是OTSU算法。对图像进行形态学的操作，腐蚀，膨胀得到图像的掩膜，通过掩膜得到各个区域。根据肺部区域和其它的连续区域的位置和大小的差异，对胸前内区域及胸廓进行分割，提取肺部区域分离得到ROI肺实质区域。

OTSU算法是一种自适应的计算阈值的方法，首先将原始切片图像灰度化，根据图像的灰度值，将图像所有的像素点分为前景(目标)和背景两个不同的类别。两个类之间的差别体现在类间方差，前景和背景的区别越大，这两个类的类间的方差越大。OTSU算法就是通过遍历全部的灰度值，找到合适的阈值，使得这两个类的类间的方差最大。

在步骤3)中，根据二值化图像构成的连通域得到不同的疑似肺结节候选集。由于肺结节CT值与其它实质CT值的不同，对分离后的肺实质部分进行二值化，构成连通域得到不同的疑似肺结节候选集。使用种子填充法作为连通域构建的算法。

种子填充方法是计算机图形学中的一种常见的算法，常用于对图形进行填充。构成连通区域需要满足两个基本的条件：像素值相同并且像素点相邻。算法的流程：首先，选取一个前景像素点作为种子，然后根据连通区域的构成条件，将与种子相邻的前景像素合并到同一个集合中，最终得到的像素集合则为一个连通区域。

扫描结束后，就可以得到图像中所有的连通区域，扫描得到的连通域即为疑似肺结节。

在步骤4)中，建立辅助分类器生成对抗网络的模型产生真实肺结节样本克服不同类别样本数量不均衡的情况。由于提取的疑似肺结节中非肺结节样本(负类样本)和真实肺结节样本(正类样本)数量不均衡，非肺结节样本的数量远高于真实肺结节样本，提出一种基于辅助分类器生成对抗网络的模型产生真实肺结节样本的方法。

生成对抗网络(Generative Adversarial Networks，简称GAN)由两个网络构成，分别是生成网络和判别网络。生成网络的输入是噪声，输出是一张满足输入样本分布的图片。判别网络是一个二分类网络，它的输入是图像，输出是图像的来源。生成网络尽量拟合训练样本中分布使判别网络无法正确分辨某个样本是来自训练样本还是生成样本，判别网络尽量正确判断样本的正确来源。在训练的过程中先固定一个网络，然后训练更新另一个网络的网络权重，交替训练迭代，在这个过程中，生成网络和判别网络都极力优化自己的网络，此时生成网络成功得到了训练数据的分布(生成了和原始样本同分布的样本)，判别网络也无法正确判别出结果。

辅助分类器生成对抗网络(Auxiliary Classifier Generative AdversarialNetworks，简称ACGAN)是生成对抗网络的一种变种，它在GAN网络中的输入中添加了额外的类别信息，使得其生成器可以生成具有该类别信息的样本。由于疑似肺结节样本中包含的真实肺结节样本缺乏，所以采用ACGAN生成真实肺结节样本的方法让不同类别样本数量均衡。

在步骤5)中，建立卷积神经网络对疑似肺结节部分进行分类得到肺结节区域。生成对抗网络得到足够的样本之后，通过训练卷积神经网络模型提高算法识别的准确率。卷积神经网络具有三个最重要的特点：(1)局部感受野；(2)下采样；(3)权值共享。这三个特点有效的降低了参数的个数，从而避免了算法复杂度过大，并且一定程度上防止过拟合的产生。由于图像较小，使用两层卷积神经网络作为分类器。

在步骤6)中，使用非极大抑制算法得到肺结节的最终区域。步骤5)中的卷积神经网络的输出结果是每个疑似肺结节区域是否是真实肺结节以及是真实肺结节的概率，得到分类结果属于真实肺结节的区域以及它们的概率作为区域的得分并进行汇总。由于不同区域之间可能有交叉的情况发生，根据预测的结节位置与得分使用非极大抑制算法得到最终的肺结节区域。非极大抑制算法首先计算分数最高的区域，然后计算剩下的区域与该区域的IOU(Intersection over Union)，排除IOU大于某个设定的阈值的区域。重复上述过程，直到得到最终的区域。

本发明与现有技术相比，具有如下优点与有益效果：

1、现有对肺结节检测的算法在特征提取的过程中需要花费大量的时间。传统的特征提取算法提取大量的人工特征，这些特征需要大量的先验知识，而使用深度学习对结节进行分类的方法可以避免人工特征的提取过程，因为深度学习模型能够自动学习提取适合当前任务的特征。

2、医学图像处理中的一个突出问题是正负类样本不均衡问题，即真实肺结节样本(正类样本)远远少于非肺结节样本(负类样本)，传统算法在应对这种样本不均衡问题的时候采用的方法主要有三种：a、针对正类样本进行过采样；b、针对负类样本进行降采样；c、对不同的样本采用不同权重的惩罚项。然而使用上述的方法依然可能造成模型过拟合或者欠拟合的问题。本发明使用的方法是训练辅助分类器生成对抗网络的模型产生真实肺结节样本。从而避免模型偏好某一类样本，减少过拟合或者欠拟合的发生。

附图说明

图1为CT图像肺结节处理的流程图。

图2为辅助分类器生成对抗网络结构图。

图3为疑似肺结节分类卷积神经网络结构图。

图4为切片图像。

图5为肺实质图像。

图6为疑似肺结节图像。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的生成对抗网络改进的CT医学图像肺结节检测方法，具体情况如下：

1)获取肺部CT图像的切片。不同扫描面的像素尺寸、粗细粒度是不同的。这不利于模型的训练任务，这里采用同构采样的方法避免这种情况。本发明的处理方法是从全数据集中以固定的同构分辨率重新采样，重新取样病人的像素，将其映射到一个同构分辨率1mm×1mm×1mm，得到同构的切片。图4是获取到的切片图像。

2)OSTU算法通过对比两个类的类间方差得到图像二值化最优的阈值。在对图像二值化之后，通过对图像进行形态学的操作，腐蚀，膨胀得到图像的掩膜，通过掩膜得到CT图像的各个区域。根据肺部区域和其它的连续区域的位置和大小的差异，对胸前内区域及胸廓进行分割，提取肺部区域分离得到ROI肺实质区域。图5是提取的肺实质部分。

3)由于肺结节CT值与其它实质CT值的不同，对分离后的肺实质部分进行二值化。二值化的图像有肺实质和疑似结节构成，疑似结节包括真正的结节以及血管等结构。使用种子填充法作为连通域构建的算法，通过满足条件的连通域得到不同的疑似肺结节候选集，这些筛选条件包括连通域的面积，直径。图6是肺结节候选集图片。

4)选出了疑似肺结节之后，接下来对疑似肺结节进行分类确定肺结节的部分。针对疑似肺结节不同类别样本数量不均衡的情况，本发明提出了一种基于辅助分类器生成对抗网络的模型产生真实肺结节样本的方法。本方法中辅助分类器生成对抗网络由三个子网络构成：生成器，判别器，分类器。生成器生成特定类别的样本，输入为类别和噪声，输出为图片。判别器是一个二分类，输入为图片，输出为这张图片的来源是原始样本还是生成样本。分类器预测这张图片属于的类别。图2是本发明生成对抗网络的结构，下面对这三个网络的结构进行详细的介绍。

生成器网络：输入是1×100的噪声加1×1的类别信息，输入到全连接层，全连接层的神经元个数为5×5×128，激活函数使用relu，然后输入到两个反卷积层得到20×20的图像。

判别器网络：输入是20×20的图像，经过两层卷积层的处理之后输入到一个全连接网络中进行分类，网络的输出层只有1个神经元，输出该图像的来源是来自原始样本还是生成样本。

分类器网络：输入是20×20的图像，经过两层卷积层的操作，输入到全连接层，网络的输出层有2个神经元，输出得到这张图形的类别。

5)通过建立卷积神经网络模型对疑似肺结节部分进行分类得到肺结节区域。图3是卷积神经网络的结构。由于图像较小，使用两层卷积神经网络作为分类器。

卷积神经网络具有三个最重要的特点：a、局部感受野；b、下采样；c、权值共享。这三个特点有效的降低了参数的个数，从而避免了算法复杂度过大，并且一定程度上防止过拟合的产生。输入的图像大小是20×20，然后将输出的结构输入到卷积层，卷积层采用3×3的卷积核，步长设置为1，另外需要添加额外的padding，输出得到的feature map大小为20×20，通过最大池化层下采样得到feature map中的重要的特征，池化窗口设置为2×2，步长设置为2，输出得到的feature map大小为10×10，再次经过卷积和池化的操作，最终得到5×5的feature map，将这些feature map进行flatten的操作，然后输入到全连接的网络中，隐藏层神经元个数为20，输出层的神经元个数为1。为了防止过拟合，添加了dropout层，最后将图像卷积池化得到的特征输入到全连接网络得到最终的分类。

6)使用非极大抑制算法得到肺结节的最终区域。步骤5)中的卷积神经网络的输出能够计算出每个疑似肺结节区域是否为真实肺结节以及是真实肺结节的概率，得到分类结果属于真实肺结节的区域以及它们的概率作为区域的得分并进行汇总。由于不同区域之间可能有交叉的情况发生，根据预测的结节位置与得分使用非极大抑制算法得到最终的肺结节区域。非极大抑制算法首先计算分数最高的区域，然后计算剩下的区域与该区域的IOU(Intersection over Union)，排除IOU大于某个设定的阈值的区域。重复上述过程，直到得到最终的区域。

本发明的特点在于采用辅助分类器生成对抗网络的模型产生真实肺结节样本，使不同类别样本数量得到均衡，避免模型倾向某一类样本，增强模型的鲁棒性。通过卷积神经网络分类提升识别的准确率与实时性，由于卷积神经网络得到的肺结节区域存在交叉，非极大抑制算法将得到的区域进行重新聚合产生最终的肺结节区域。

以上所述实施例子只为本发明之较佳实施例子，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于，首先，从CT图像中得到切片，然后分离出肺实质部分，去除影响检测的噪声区域，通过OSTU算法得到图像二值化最优的阈值，然后对图像进行形态学的操作得到图像的掩膜，从而提取到切片图像的各个区域；接着，根据肺部区域和其它的连续区域的位置和大小的差异，分离得到ROI肺实质区域，由于肺结节CT值与其它实质CT值的不同，二值化之后构成的连通域得到不同的疑似肺结节候选集，采用基于辅助分类器生成对抗网络的模型产生真实肺结节样本的方法，克服疑似肺结节正负类样本数量不均衡的问题，通过建立卷积神经网络模型对疑似肺结节部分进行分类得到肺结节，最后使用非极大抑制算法得到最终肺结节的区域；其包括以下步骤：

1)获取肺部CT图像的切片；

2)根据图像形态学性质分离得到ROI肺实质区域；

3)根据二值化图像构成的连通域得到不同的疑似肺结节候选集；

4)建立辅助分类器生成对抗网络的模型产生真实肺结节样本克服不同类别样本数量不均衡的情况；

5)建立卷积神经网络对疑似肺结节部分进行分类得到肺结节区域；

6)使用非极大抑制算法得到肺结节的最终区域。

2.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤1)中，采用同构采样的方法获取肺部CT图像的切片，该方法的处理过程是从全数据集中以固定的同构分辨率重新采样，重新取样病人的像素，将其映射到一个同构分辨率1mm×1mm×1mm，得到同构的切片。

3.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤2)中，根据图像形态学性质分离得到ROI肺实质区域，首先对肺部CT切片图像二值化，二值化过程采用的是OTSU算法，对图像进行形态学的操作，腐蚀，膨胀得到图像的掩膜，通过掩膜得到各个区域，根据肺部区域和其它的连续区域的位置和大小的差异，对胸前内区域及胸廓进行分割，提取肺部区域分离得到ROI肺实质区域；

其中，OTSU算法是一种自适应的计算阈值的方法，首先将原始切片图像灰度化，根据图像的灰度值，将图像所有的像素点分为前景即目标和背景两个不同的类别，两个类之间的差别体现在类间方差，前景和背景的区别越大，这两个类的类间的方差越大，OTSU算法就是通过遍历全部的灰度值，找到合适的阈值，使得这两个类的类间的方差最大。

4.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤3)中，根据二值化图像构成的连通域得到不同的疑似肺结节候选集，由于肺结节CT值与其它实质CT值的不同，对分离后的肺实质部分进行二值化，构成连通域得到不同的疑似肺结节候选集，使用种子填充法作为连通域构建的算法；其中，构成连通区域需要满足两个基本的条件：像素值相同，并且像素点相邻；种子填充法的流程：首先，选取一个前景像素点作为种子，然后根据连通区域的构成条件，将与种子相邻的前景像素合并到同一个集合中，最终得到的像素集合则为一个连通区域；

扫描结束后，就能够得到图像中所有的连通区域，扫描得到的连通域即为疑似肺结节。

5.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤4)中，由于提取的疑似肺结节中真实肺结节样本即正类样本和非肺结节样本即负类样本的数量不均衡，非肺结节样本的数量高于真实肺结节样本，提出一种基于辅助分类器生成对抗网络的模型产生真实肺结节样本的方法；辅助分类器生成对抗网络是生成对抗网络的一种变种，生成对抗网络由两个网络构成，分别是生成网络和判别网络；生成网络的输入是噪声，输出是一张满足输入样本分布的图片；判别网络是一个二分类网络，它的输入是图像，输出是图像的来源；生成网络尽量拟合训练样本中分布使判别网络无法正确分辨某个样本是来自训练样本还是生成样本，判别网络尽量正确判断样本的正确来源；在训练的过程中先固定一个网络，然后训练更新另一个网络的网络权重，交替训练迭代，在这个过程中，生成网络和判别网络都极力优化自己的网络，此时生成网络成功得到训练数据的分布，即生成和原始样本同分布的样本，而判别网络也无法正确判别出结果；

辅助分类器生成对抗网络在生成对抗网络中的输入中添加额外的类别信息，使得其生成器能够生成具有该类别信息的样本，由于疑似肺结节样本中包含的真实肺结节样本缺乏，所以采用辅助分类器生成对抗网络生成真实肺结节样本的方法让两个类的样本保持均衡。

6.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤5)中，使用两层卷积神经网络作为分类器对疑似肺结节部分进行分类得到肺结节区域。

7.根据权利要求1所述的一种生成对抗网络改进的CT医学图像肺结节检测方法，其特征在于：在步骤6)中，使用非极大抑制算法得到肺结节的最终区域，步骤5)中的卷积神经网络的输出结果是每个疑似肺结节区域是否是真实肺结节以及是真实肺结节的概率，得到分类结果属于真实肺结节的区域以及它们的概率作为区域分数并进行汇总；由于不同区域之间可能有交叉的情况发生，根据预测的结节位置与得分使用非极大抑制算法得到最终的肺结节区域；其中，所述非极大抑制算法是首先计算区域分数最高的区域，然后计算剩下的区域与该区域的IOU，排除IOU大于某个设定的阈值的区域；重复上述过程，直到得到最终的区域。