CN110516747A - 基于对抗生成网络和自编码结合的肺结节良恶性分类方法 - Google Patents

Abstract

本发明公开了一种基于对抗生成网络和自编码器结合的肺结节良恶性分类方法。其实现步骤包括：1)对原始肺结节图像进行预处理，根据其注释文件裁剪出感兴趣区域；2)对肺结节图像进行数据增强；3)建立对抗生成网络的模型，利用只含良性肺结节的训练集对对抗生成网络模型进行训练；4)将自动编码器与训练好的对抗生成网络模型进行叠加结合，构建新型肺结节良恶性分类器，利用只含良性肺结节的训练集对新型分类器进行训练；5)利用新型分类器对混合良恶性肺结节图像的测试集进行测试，计算良恶性打分，得到分类结果。本发明无需大量带标签数据，只需利用良性肺结节训练，便可分类出肺结节的良恶性，且提高了分类的准确性，帮助医生快速识别肺结节种类。

Description

基于对抗生成网络和自编码结合的肺结节良恶性分类方法

技术领域

本发明属于医学图像处理领域，特别涉及一种医学图像肺结节的良恶性分类方法，可用于计算机辅助诊断系统。

背景技术

肺癌已经成为当今世界上发病率和死亡率最高且增长最快的恶性肿瘤。随着人们生活节奏加快和周围环境的日益恶化，肺癌人群日益增加。专家医生根据患者肺结节的病变特征，能推断出肺部病灶的病变情况，从而进行相应的治疗。对肺部疾病患者进行及早的肺结节检测、诊断和治疗是降低肺癌死亡率的关键。肺癌诊断的最佳方法是CT断层扫描，但对医生而言，从大量的CT图像中将肺结节甄别出来是一项繁重的工作，并且存在主观性，容易造成误诊和漏诊。结合肺结节的医学特性，利用深度学习技术对医学图像进行处理和研究，能为医生提供有用的参考信息，辅助医生及时地对肺部疾病患者做出准确的诊断。

利用深度学习模型的先决条件是存在大量带标签的数据。然而，由于标记医疗数据通常需要经过专门培训的医生，且标记过程耗时，标记成本昂贵，数据标签在医学图像分析领域尤其难以获得且相对数量较少。由于这些限制，CT医学图像数据集通常较小，这可能导致深度学习模型在训练集上的过度训练，而在测试集上的泛化性能较差。近年来，随着体检的普及发展，着眼于探求基于弱监督学习，半监督学习，以及无监督学习在医学图像领域对肺部疾病的相关诊断也就变为很有意义。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于对抗生成网络和自编码结合的医学图像肺结节良恶性分类方法，无需大量带标签数据，只需利用良性肺结节训练，便可分类出肺结节的良恶性，提高肺结节图像的良恶性分类精度。

本发明的技术方案设计这样实现的：

1.技术原理

(1)生成对抗网络(Generative Adversarial Network，简称GAN)是一种无监督式学习方法，通过让两个神经网络相互博弈的方式进行学习。其中，这两个神经网络分别成为生成网络和判别网络。生成网络从潜在空间中随机采样作为输入，其输出结果是一张满足输入样本分布的图片。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。在训练的过程中先固定一个网络，然后训练更新另一个网络的网络权重，交替训练迭代，在这个过程中，生成网络和判别网络都极力优化自己的网络，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

(2)自动编码器(AutoEncoder)是一种神经网络，该网络可以看作由两部分组成：一个编码器函数和一个生成重构的解码器。传统上，自动编码器被用于降维或特征学习。训练自动编码器，可以使输入通过编码器和解码器后，保留尽可能多的信息，但也可以训练自编码器来使新表征具有多种不同的属性。不同类型的自编码器旨在实现不同类型的属性。通过施加不同约束，包括缩小隐含层的维度和加入惩罚项，使每种自编码器都具有不同属性。自编码器可以在无标签时学习到数据的有用表达，被认为是解决无监督学习的方案之一。

2.根据上述原理，本发明的技术方案包括如下：

(1)制作样本数据集。根据肺结节公开数据集LIDC-IDRI的原始数据集，通过读取原始数据集的XML格式注释文件，提取出肺结节坐标和良恶性程度的信息，分割出肺结节ROI区域，组成样本数据集。

(2)扩充样本数据集。对样本数据集进行数据增强预处理，扩充数据集，使用良性肺结节作为训练集和验证集，使用良性和恶性肺结节混合作为测试集。

(3)训练对抗生成网络模型。使用只包含良性肺结节的训练集和验证集对对抗生成网络模型进行训练，得到训练好的生成器和判别器。

(4)训练新型分类器。将自编码器与训练好的对抗生成网络模型进行叠加结合，构建新型肺结节良恶性分类器，使用只包含良性肺结节的训练集和验证集对新型分类器进行训练，得到训练好的新型分类器。

(5)肺结节良恶性分类。利用训练好的新型肺结节良恶性分类器对混合良恶性肺结节图像的测试数据集进行良恶性分类，计算良恶性打分，得到分类结果。

采用上述技术方案所产生的有益效果在于：本发明的技术适用于肺结节小样本数据集或部分标签缺失的样本数据集，克服了现有深度学习分类方法存在的缺陷，即需要大量带标签数据集进行训练。通过引入无监督的自编码器和对抗生成网络结合做分类器，可以获得更好的泛化效果，提高肺结节自动分类的准确率。

附图说明

图1是本发明的实现流程图。

图2是本发明对抗生成网络结构图。

图3是本发明的新型肺结节良恶性分类器结构图。

具体实施方式

以下参照图1，对本发明的具体实施方式和效果做进一步描述。

步骤1：制作样本数据集。根据肺结节公开数据集LIDC-IDRI的原始数据集，通过读取原始数据集的XML格式注释文件，提取出肺结节坐标和良恶性程度的信息，分割出肺结节ROI区域，组成样本数据集。

步骤1.1：根据肺结节公开数据集LIDC-IDRI的原始数据集随机选取200个病例图像；

步骤1.2：通过读取原始数据集的XML格式注释文件，提取出肺结节坐标信息，裁剪出64*64pixel ROI区域；

步骤1.3：根据XML格式注释文件，提取肺结节良恶性程度信息，将第1～2级定义为良性，第3～5级定义为恶性，对裁剪出来的肺结节图像进行良恶性分类。

步骤2，扩充样本数据集。对样本数据集进行数据增强预处理，扩充数据集，使用良性肺结节作为训练集和验证集，使用良性和恶性肺结节混合作为测试集。

步骤2.1：对已分好类的良性肺结节样本数据集，分别按照1:3:10的比例随机提取出测试样本集、验证样本集和训练样本集；

步骤2.2：对良性肺结节的验证样本集和训练样本集进行数据增强预处理，通过翻转，旋转，平移，添加噪声等方式进行数据增强，增加样本数据集的随机性和多样性。测试样本集不进行数据增强，直接用于最后的测试步骤；

步骤2.3：对已分好类的恶性肺结节样本数据集随机选取出和良性测试样本集数量相当的图像数据，与良性测试样本集混合，共同作为测试样本集。

步骤3，训练对抗生成网络模型。使用只包含良性肺结节的训练集和验证集对对抗生成网络模型进行训练，得到训练好的生成器和判别器。

所述对抗生成网络模型，本发明使用的是WGAN-GP网络，参照图2，包括：用于生成图像的生成器，和用于判别图像真伪的判别器，生成器和判别器分别使用的是结合残差网络结构的标准卷积解码器和卷积编码器，下面对这两个网络的结构进行详细介绍。

第一部分是生成器网络的构建：首先输入是1×128的噪声，输入到全连接层，全连接层的神经元个数为4×4×512，接下来的四个网络块为标准的残差块，其卷积核个数分别为512-256-128-64，卷积核的尺寸为3×3，步长设置为1，然后输入到1个卷积层，激活函数使用tanh，最后得到64×64的图像。

第二部分是判别器网络的构建：输入是64×64的肺结节图像，经过一层卷积层的处理之后输入到四个网络块为标准的残差块，其卷积核个数分别为128-256-512-512，卷积核为3×3，步长设置为1，最后输入到一个全连接网络中进行分类，网络的输出层只有1个神经元，输出该图像的来源是来自真实图像还是生成图像。

用步骤2得到的训练集和验证集迭代训练对抗生成网络50000次，在训练网络时，计算损失函数值：

本发明在训练网络时使用的是Adam优化方法。

步骤4，训练新型分类器。将自编码器与训练好的对抗生成网络模型进行叠加结合，构建新型肺结节良恶性分类器，使用只包含良性肺结节的训练集和验证集对新型分类器进行训练，得到训练好的新型分类器。

本步骤参照图3，通过自编码器和训练好的对抗生成网络模型进行叠加实现的，即将自编码器的输出作为已经训练好的对抗生成网络的输入，得到新型的肺结节分类模型，固定对抗生成网络的参数，对编码器进行训练。自编码器用来提取真实肺结节图像的重要信息。

自编码器网络的构建：自编码器的网络结构和对抗生成网络的结构类似，首先输入是64×64的肺结节图像，输入到卷积层，全连接层的神经元个数为5×5×128，接下来的四个网络块为标准的残差块，其卷积核个数分别为128-256-512-512，卷积核为3×3，步长设置为1，然后输入到全连接层，激活函数使用tanh，得到的结果作为已经训练好的对抗生成网络的输入，连接起整个新型分类器模型。

用步骤2得到的训练集和验证集再次迭代训练新型分类器网络100000次，在训练网络时，计算损失函数值：

L(x)＝L_image(x)+L_D(x)

其中，x为输入图像，L_image为真实图像与生成图像的相似度的损失函数，可表示为：

式中，n为每张图像的像素个数，E为编码器模型，G为生成器模型，可表示为，而L_D(x)为判别器的损失函数，可表示为：

式中，f(·)为基于特征匹配的均方差函数，n_d是中间特征表示的维数，而κ是一个加权因子，为简化实验，本发明使用κ＝1.0。

本发明中的新型分类器模型采用batch训练的方式，每一个轮次(epoch)会分批在数据上优化模型，在训练网络时使用的是Adam优化方法，当给定的训练轮次结束后，模型将停止训练，每一轮次的模型参数都会被保存下来。

步骤5，肺结节良恶性分类。利用训练好的新型肺结节良恶性分类器对混合良恶性肺结节图像的测试数据集进行良恶性分类，计算良恶性打分，得到分类结果。

用训练好的新型分类器对测试数据集中每张肺结节图像进行测试，具体实现如下：将测试数据集中的单张未知分类的图像数据x输入到训练好的新型分类器，该张图像通过自编码器E提取出肺结节的重要特征z，将z作为输入送到对抗生成网络的生成器G中，生成器根据这些特征生成对应的生成图G(x)，由于新型分类器只用良性肺结节做训练和验证，所以生成图像G(x)为该张测试的真实图像x通过自编码器和生成器映射出的最近似于x的良性肺结节的生成图像，将该测试图像和生成图像放入判别器D，计算良恶性打分。良恶性打分计算公式直接使用新型分类器训练的损失函数公式，可表示如下：

良恶性打分的分值越高，该测试图像中的肺结节恶性程度越高，得到良恶性的打分数据后，可通过改进后的大津算法选取良恶性打分阈值，阈值以上分为恶性，阈值以下分为良性。

本发明的实验环境如下：GPU为GeForce GTX 1060 6GB，操作系统为Linux Ubuntu16.04版本，软件平台为Python 2.7，TensorFlow 1.2，CUDA 9.0。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.基于对抗生成网络和自编码结合的肺结节良恶性分类方法，其特征在于包括以下步骤：

(1)制作样本数据集，根据肺结节公开数据集LIDC-IDRI的原始数据集，通过读取原始数据集的XML格式注释文件，提取出肺结节坐标和良恶性程度的信息，分割出肺结节ROI区域，组成样本数据集；

(2)扩充样本数据集，对样本数据集进行数据增强预处理，扩充数据集，使用良性肺结节作为训练集和验证集，使用良性和恶性肺结节混合作为测试集；

(3)训练对抗生成网络模型，使用只包含良性肺结节的训练集和验证集对对抗生成网络模型进行训练，得到训练好的生成器和判别器；

(4)训练新型分类器，将自编码器与训练好的对抗生成网络模型进行叠加结合，构建新型肺结节良恶性分类器，使用只包含良性肺结节的训练集和验证集对新型分类器进行训练，得到训练好的新型分类器；

(5)肺结节良恶性分类，利用训练好的新型肺结节良恶性分类器对混合良恶性肺结节图像的测试数据集进行良恶性分类，计算良恶性打分，得到分类结果。

2.根据权利要求1所述的基于对抗生成网络和自编码结合的肺结节良恶性分类方法，其特征在于：在步骤(2)中，扩充样本数据集，对已分好类的良性肺结节样本数据集，分别按照1:3:10的比例随机提取出测试样本集、验证样本集和训练样本集；对良性肺结节的验证样本集和训练样本集进行数据增强预处理，通过翻转，旋转，平移，添加噪声等方式进行数据增强，增加样本数据集的随机性和多样性；测试样本集不进行数据增强，直接用于最后的测试步骤；对已分好类的恶性肺结节样本数据集随机选取出和良性测试样本集数量相当的图像数据，与良性测试样本集混合，共同作为测试样本集。

3.根据权利要求1所述的基于对抗生成网络和自编码结合的肺结节良恶性分类方法，其特征在于：在步骤(3)中，训练对抗生成网络模型，使用只包含良性肺结节的训练集和验证集对对抗生成网络模型进行训练，得到训练好的生成器和判别器；所述对抗生成网络模型，使用的是WGAN-GP网络，生成器和判别器分别使用的是结合残差网络结构的标准卷积解码器和卷积编码器；其中生成器网络的构建是：首先输入是1×128的噪声，输入到全连接层，全连接层的神经元个数为4×4×512，接下来的四个网络块为标准的残差块，其卷积核个数分别为512-256-128-64，卷积核的尺寸为3×3，步长设置为1，然后输入到1个卷积层，激活函数使用tanh，最后得到64×64的图像；然后判别器网络的构建是：输入是64×64的肺结节图像，经过一层卷积层的处理之后输入到四个网络块为标准的残差块，其卷积核个数分别为128-256-512-512，卷积核为3×3，步长设置为1，最后输入到一个全连接网络中进行分类，网络的输出层只有1个神经元，输出该图像的来源是来自真实图像还是生成图像；用步骤(2)中得到的训练集和验证集迭代训练对抗生成网络50000次，在训练网络时使用的是Adam优化方法。

4.根据权利要求1所述的基于对抗生成网络和自编码结合的肺结节良恶性分类方法，其特征在于：在步骤(4)中，训练新型分类器，将自编码器与训练好的对抗生成网络模型进行叠加结合，即将自编码器的输出作为已经训练好的对抗生成网络的输入，得到新型的肺结节分类模型，固定对抗生成网络的参数，对编码器进行训练；自编码器网络的构建：自编码器的网络结构和对抗生成网络的结构类似，首先输入是64×64的肺结节图像，输入到卷积层，全连接层的神经元个数为5×5×128，接下来的四个网络块为标准的残差块，其卷积核个数分别为128-256-512-512，卷积核为3×3，步长设置为1，然后输入到全连接层，激活函数使用tanh，得到的结果作为已经训练好的对抗生成网络的输入，连接起整个新型分类器模型；用步骤(2)得到的训练集和验证集再次迭代训练新型分类器网络100000次，在训练网络时，计算损失函数值：

L(x)＝L_image(x)+L_D(x)

其中，x为输入图像，L_image为真实图像与生成图像的相似度的损失函数，可表示为：

式中，n为每张图像的像素个数，E为编码器模型，G为生成器模型，可表示为，而L_D(x)为判别器的损失函数，可表示为：

式中，f(·)为基于特征匹配的均方差函数，n_d是中间特征表示的维数，而κ是一个加权因子，为简化实验，本发明使用κ＝1.0。

5.根据权利要求1所述的基于对抗生成网络和自编码结合的肺结节良恶性分类方法，其特征在于：在步骤(5)中，肺结节良恶性分类，用训练好的新型分类器对测试数据集中每张肺结节图像进行测试，将测试数据集中的单张未知分类的图像数据x输入到训练好的新型分类器，该张图像通过自编码器E提取出肺结节的重要特征z，将z作为输入送到对抗生成网络的生成器G中，生成器根据这些特征生成对应的生成图G(x)，由于新型分类器只用良性肺结节做训练和验证，所以生成图像G(x)为该张测试的真实图像x通过自编码器和生成器映射出的最近似于x的良性肺结节的生成图像，将该测试图像和生成图像放入判别器D，计算良恶性打分，良恶性打分计算公式直接使用新型分类器训练的损失函数公式，可表示如下：

良恶性打分的分值越高，该测试图像中的肺结节恶性程度越高，得到良恶性的打分数据后，可通过改进后的大津算法选取良恶性打分阈值，阈值以上分为恶性，阈值以下分为良性。