CN112509092A - 基于卷积生成对抗网络的乳腺X-ray图像自动生成方法 - Google Patents

Abstract

本发明提供基于卷积生成对抗网络的乳腺X‑ray图像自动生成方法，步骤一、对输入的原始图片进行预处理，去除图片中多余的背景和调整合适大小使肿块区域的肿块和乳腺背景分割；步骤二、构建卷积生成对抗网络模型，包括生成网络G和判别网络D和预训练判别网络D_pro；步骤三、对卷积生成对抗网络进行预训练，保存训练后的模型参数作为卷积生成对抗网络的初始化参数；步骤四、进行图像生成；步骤五、将步骤四中生成的乳腺肿块图像和乳腺背景基于医学特征融合。本发明提供的基于卷积生成对抗网络的乳腺X‑ray图像自动生成方法，采用先分割后生成再融合的思路，生成形态大小不一的肿块图像，并基于这些单肿块乳腺图像生成多肿块乳腺图像，为多肿块乳腺诊断技术的研究提供数据支持。

Description

基于卷积生成对抗网络的乳腺X-ray图像自动生成方法

技术领域

本发明涉及计算机深度学习技术领域，特别涉及一种基于卷积生成对抗网络的乳腺X-ray图像自动生成方法。

背景技术

乳腺癌是女性常见的癌症之一，在全球女性癌症中的发病率为24.2％，占癌症相关死亡率的13.7％。乳腺癌的病因和发病机制较复杂，治愈难度较高，提高诊断技术进行筛查和及时治疗能有效的提高治愈率。乳腺钼靶筛查是早期发现乳腺癌最可靠的方法，在微钙化和结构畸变等乳腺异常中，通过筛查尽早地确认乳腺肿块是恶性肿块还是良性肿块。对于乳腺X-ray图片的诊断主要是人工观察、分类和判断，大多是经验使然，因此为了帮助提高诊断准确度Vivik Kumar Singh等人提出了肿块分割技术，但是存在一定的难度，在乳腺X-ray图像中，肿块成像有三个表现：1)恶性软组织或存在肿块，肿块与周围健康组织结构相似，可以区分的对比度较小；2)微钙化点的存在，微钙化点的特征通常较小，容易被忽视；3)可用数据集较少，数据是实验的基础，但是可用于实验进行大量训练和测试的数据太少。因此，扩充乳腺图像的数据集尤为重要。

2015年，Alec Radford,Luke Metz等人提出将卷积神经网络(CNN)和对抗生成性网络(GAN)相结合用于图像生成的方法(DCGAN)，并在LSUN、mnist和celebA数据集上进行了实验。这种图像生成方法既融合了图像处理中应用最好的模型CNN的特点，同时也通过对网络结构做一定修改，提高样本的质量和收敛的速度，从而改善网络训练过程中的不稳定性。在DCGAN中，1)使用带步长的卷积替代池化操作，让网络自主学习下采样；2)取消全连接层成为全卷积网络；3)在生成器和判别器中均进行批处理规范化操作，加速收敛和减缓过拟合现象；4)对于生成器使用Relu激活函数，对于判别器使用Leaky Relu激活函数。虽然这种方法可以用于图像生成，但前期处理过程比较模糊，从而对于生成的结果也会产生影响。

发明内容

本发明的目的在于提供一种基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，以解决基于孪生网络提取的特征包含着模板和搜索区域的信息，它们中的目标位置在不停的变化并且提取到的特征有略微差别所导致标出的目标中心位置可能会不准确的问题。

为了解决上述技术问题，本发明的技术方案是：提供一种基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，包括以下步骤：

步骤一、对输入的原始图片进行预处理，去除图片中多余的背景和调整合适大小使肿块区域的肿块和乳腺背景分割；

步骤二、构建卷积生成对抗网络模型，包括生成网络G和判别网络D和预训练判别网络D_pro；

步骤三、对卷积生成对抗网络进行预训练，保存训练后的模型参数作为卷积生成对抗网络的初始化参数，包括：

随机初始化生成网络G和预训练判别网络D_pro的模型参数，训练卷积生成对抗网络并保存模型参数；

将预判别网络D_pro训练后保存的模型参数作为判别网络D的初始化参数；

步骤四、将步骤一中输出的图片作为训练集和生成网络G生成的图像作为判别网络D的两个输入，判别网络D将真实数据和生成网络G生成的数据的判断反馈给生成网络G，生成网络G通过再次生成比前一次更好的假数据减小判别网络D的惩罚，判别网络D通过学习前一次的假数据和真数据，再次对生成网络G生成的假数据进行判断，不断迭代优化直至损失函数收敛时结束训练，得到训练好的卷积生成对抗网络；将随机生成的噪音数据z向量输入到已经训练好的卷积生成对抗网络，实现乳腺肿块图像的生成；

步骤五、将步骤四中生成的乳腺肿块图像和乳腺背景基于医学特征融合，实现乳腺图片的生成。

进一步地，使用AdversarialFCN_CRF网络使肿块区域肿块与乳腺背景分割。

进一步地，生成网络G通过全连接操作将随机生成的噪音数据转变成高维数据，通过Reshape函数将一个100维的噪音数据转换成特征图的格式，再经过反卷积层，Relu激活层和批处理规范化操作，生成图片大小确定的对应的特征图，经过Tanh激活层，最后输出生成的图片。设置好卷积核和滑动步长的大小，让网络不断学习权重参数进行迭代，特征图的个数逐渐减少，生成对应的图片。

进一步地，判别网络D将预训练判别网络D_pro保存的模型参数作为初始化参数，输入真实图片或者生成网络G生成的图片进行训练，判别网络D对输入的图片经过卷积层、LeakyRelu激活层、批处理规范化操作、全连接和Sigmoid激活层，最后进行输出图片是真实数据还是生成网络生成数据的概率。

进一步地，步骤四包括：步骤4.1、将步骤一中输出的图片作为训练集和生成网络G经过输入z后生成的图像作为判别网络D的输入，定义好判别模型的损失函数，使用Adm优化器优化判别网络参数，判别网络尽可能的将D(x)作为x是真实数据的概率输出为1，将D(G(z))输出0，从而满足目标函数V(D，G)最大化；

判别模型的损失函数：

步骤4.2、固定判别网络的参数，将随机分布数据z输入生成网络G，定义好生成模型的损失函数，使用Adm优化器优化生成网络参数，生成网络G尽可能的生成近似于真实数据分布的假数据，使得判别网络D将D(G(z))输出1，从而满足目标函数V(D，G)最小化；

生成模型：

步骤4.3、多次重复步骤4.1，步骤4.2，交替进行生成网络和判别网络的训练，直至损失函数收敛，保存网络模型参数。

本发明提供的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，充分考虑了乳腺肿块和乳腺健康组织间的高相似性，低对比度和低信噪比等特点，采用先分割-再生成-后融合的图像生成方法；采用了卷积生成对抗网络模型，基于少量的乳腺数据集，自主生成形态、大小多样化的乳腺肿块图像，解决了乳腺数据集较少的问题；采用了图像融合技术，将生成的形态大小不一单个肿块图像融合，生成多肿块乳腺图像，为多肿块乳腺诊断技术的研究提供数据支持。

附图说明

下面结合附图对发明作进一步说明：

图1为本发明实施例提供的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法步骤流程示意图；

图2为本发明实施例中提供的生成网络G的结构示意图；

图3为本发明实施例提供的判别网络D的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明的核心思想在于，本发明提供的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，充分考虑了乳腺肿块和乳腺健康组织间的高相似性，低对比度和低信噪比等特点，采用先分割-再生成-后融合的图像生成方法；采用了卷积生成对抗网络模型，基于少量的乳腺数据集，自主生成形态、大小多样化的乳腺肿块图像，解决了乳腺数据集较少的问题；采用了图像融合技术，将生成的形态大小不一单个肿块图像融合，生成多肿块乳腺图像，为多肿块乳腺诊断技术的研究提供数据支持。

本发明的技术方案提供基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，图1为本发明实施例提供的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法步骤流程示意图。参照图1，提供一种基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，包括以下步骤：

S11、对输入的原始图片进行预处理，去除图片中多余的背景和调整合适大小使肿块区域的肿块和乳腺背景分割；

S12、构建卷积生成对抗网络模型，包括生成网络G和判别网络D和预训练判别网络D_pro；

S13、对卷积生成对抗网络进行预训练，保存训练后的模型参数作为卷积生成对抗网络的初始化参数，包括：

随机初始化生成网络G和预训练判别网络D_pro的模型参数，训练卷积生成对抗网络并保存模型参数；

将预判别网络D_pro训练后保存的模型参数作为判别网络D的初始化参数；

S14、将步骤一中输出的图片作为训练集和生成网络G生成的图像作为判别网络D的两个输入，判别网络D将真实数据和生成网络G生成的数据的判断反馈给生成网络G，生成网络G通过再次生成比前一次更好的假数据减小判别网络D的惩罚，判别网络D通过学习前一次的假数据和真数据，再次对生成网络G生成的假数据进行判断，不断迭代优化直至损失函数收敛时结束训练，得到训练好的卷积生成对抗网络；将随机生成的噪音数据z向量输入到已经训练好的卷积生成对抗网络，实现乳腺肿块图像的生成；

S15、将步骤四中生成的乳腺肿块图像和乳腺背景基于医学特征融合，实现乳腺图片的生成。

在本发明实施例中，选取从H.Lee Moffitt癌症研究中心获得的DDSM中部分子集作为原始图片，对输入的原始图片进行去除多余背景处理，通过设置阈值为0，将图片各行各列的像素值相加得到一组数值，从这组数值中筛选出大于0的部分；对筛选出的图片进行多次随机裁剪，大小设为n*n，n为16的整数倍。使用Pisano等人提出的对比受限自适应直方图均衡化方法CLAHE进行降噪和增强图片；使用Adversarial FCN_CRF网络进行训练，采用先验的立场，选用完全卷积网络FCN建模势函数，使用条件随机场CRF进行结构化学习，生成一系列分割后的图片，并将图片中定位出的肿块图片截取出来，作为图像生成的训练集。

其中对比受限自适应直方图均衡化CLAHE主要用于降噪和增强图像，使用自定义算法进行非线性增强，基于图像灰度统计对图像执行非线性调整，通过计算平均值图像和使用归一化函数限制图像像素范围在[0,1]。FCN完全卷积网络，是常用的图像分割模型，由卷积层，转置卷积层或池化层构成。CRF条件随机场是结构化学习的经典模型，适用于图像分割。Adversarial FCN_RCF是采用对抗化训练的FCN和CRF的结合，采用先验的立场，即在softmax层中添加图像大小的偏差作为FCN训练时的经验估算，使用CRF进行结构化学习，整个过程采取对抗训练的方式进行。

所述卷积生成对抗网络分为生成网络G和判别网络D；生成网络G通过全连接操作将随机生成的噪音数据转变成高维数据，通过Reshape函数将一个100维的噪音数据转换成特征图的格式，再经过反卷积层，Relu激活层和批处理规范化操作，生成图片大小确定的对应的特征图，经过Tanh激活层，最后输出生成的图片。设置好卷积核和滑动步长的大小，让网络不断学习权重参数进行迭代，特征图的个数逐渐减少，生成对应的图片。生成网络通过模拟训练集中图片的像素分布来生成和真实图片尽可能相似的图像。图2为本发明实施例中提供的生成网络G的结构示意图。参照图2，采用均匀噪声分布z作为输入，经过矩阵乘法，也可以称为全连接层变成高维向量，再Reshape成4维张量w0×h0×gf_dim×8并用作卷积堆栈的起点，w0，h0是特征图的宽度和高度，gf_dim是生成网络中卷积层的卷积核的数量，其中使用微步幅卷积替代空间池化，允许学习自身的空间上采样，并使用批处理规范化防止生成器将所有样本崩溃到单个点，除了输出层使用Tanh激活函数，其他层使用Relu激活函数。

判别网络D将预训练判别网络D_pro保存的模型参数作为初始化参数，输入真实图片或者生成网络G生成的图片进行训练，判别网络D对输入的图片经过卷积层、LeakyRelu激活层、批处理规范化操作、全连接和Sigmoid激活层，最后进行输出图片是真实数据还是生成网络生成数据的概率。图3为本发明实施例提供的判别网络D的结构示意图。参照图3，输入原始图像经过卷积层，批处理规范化，使用LeakyRelu作为激活函数，其中使用带步长的卷积取代空间池化，允许网络学习自身的空间下采样。在生成网络和判别网络中均使用批处理规范化有助于处理由于初始化不当而引起的训练问题。判别网络D和预训练判别网络D_pro结构完全相同。

卷积生成对抗网络中的目标函数为：

G表示生成网络，D表示判别网络，函数V(D，G)是整个网络需要优化的目标函数，x表示真实的数据，即步骤1中输出的图片；P_data(x)表示真实数据分布；D(x)表示判别网络D判断x是真实图片的概率；z是随机生成的噪音数据，作为生成网络的输入；P_z(z)表示z的分布；G(z)表示生成网络生成的图片；D(G(z)))表示判别网络D判断生成网络生成的图片是真实图片的概率。

步骤四的详细步骤如下：

步骤4.1、将步骤一中输出的图片作为训练集和生成网络G经过输入z后生成的图像作为判别网络D的输入，定义好判别模型的损失函数，使用Adm优化器优化判别网络参数，判别网络尽可能的将D(x)作为x是真实数据的概率输出为1，将D(G(z)))输出0，从而满足目标函数V(D，G)最大化；

判别模型的损失函数：

步骤4.2、固定判别网络的参数，将随机分布数据z输入生成网络G，定义好生成模型的损失函数，使用Adm优化器优化生成网络参数，生成网络G尽可能的生成近似于真实数据分布的假数据，使得判别网络D将D(G(z)))输出1，从而满足目标函数V(D，G)最小化。

生成模型：

步骤4.3、多次重复步骤4.1，步骤4.2，交替进行生成网络和判别网络的训练，直至损失函数收敛，保存网络模型参数。

发明提供的基于卷积对抗生成网络的乳腺X-ray图像自主生成的方法，基于深度学习的思想，将卷积神经网络和对抗生成网络相结合，在数据量较小且形态单一的乳腺数据集上，卷积生成对抗网络(DCGAN)的生成器模型和判别器模型可以保持稳定的训练并生成大量的近似于真实图片的乳腺数据集，为多肿块乳腺图片的生成提供了依据。该方法包括以下步骤：第一步，对原始乳腺图片进行预处理，实现肿块与乳腺背景的分割；第二步：采用卷积生成对抗网络进行训练，生成形态大小不一样的肿块图片；第三步：图像融合，将生成的肿块图像与乳腺背景融合。本发明可以在短期内生成多样化的乳腺图片，扩充乳腺图像数据集，方便研究人员对乳腺数据集进行大量的训练和测试，大大的减少医学工作者们收集数据集耗费的时间和精力。

显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，其特征在于，包括以下步骤：

步骤一、对输入的原始图片进行预处理，去除图片中多余的背景和调整合适大小使肿块区域的肿块和乳腺背景分割；

步骤二、构建卷积生成对抗网络模型，包括生成网络G和判别网络D和预训练判别网络D_pro；

步骤三、对卷积生成对抗网络进行预训练，保存训练后的模型参数作为卷积生成对抗网络的初始化参数，包括：

随机初始化生成网络G和预训练判别网络D_pro的模型参数，训练卷积生成对抗网络并保存模型参数；

将预判别网络D_pro训练后保存的模型参数作为判别网络D的初始化参数；

步骤四、将步骤一中输出的图片作为训练集和生成网络G生成的图像作为判别网络D的两个输入，判别网络D将真实数据和生成网络G生成的数据的判断反馈给生成网络G，生成网络G通过再次生成比前一次更好的假数据减小判别网络D的惩罚，判别网络D通过学习前一次的假数据和真数据，再次对生成网络G生成的假数据进行判断，不断迭代优化直至损失函数收敛时结束训练，得到训练好的卷积生成对抗网络；将随机生成的噪音数据z向量输入到已经训练好的卷积生成对抗网络，实现乳腺肿块图像的生成；

步骤五、将步骤四中生成的乳腺肿块图像和乳腺背景基于医学特征融合，实现乳腺图片的生成。

2.如权利要求1所述的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，其特征在于，使用Adversarial FCN_CRF网络使肿块与乳腺背景分割。

3.如权利要求1所述的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，其特征在于，生成网络G通过全连接操作将随机生成的噪音数据转变成高维数据，通过Reshape函数将一个100维的噪音数据转换成特征图的格式，再经过反卷积层，Relu激活层和批处理规范化操作，生成图片大小确定的对应的特征图，经过Tanh激活层，最后输出生成的图片。设置好卷积核和滑动步长的大小，让网络不断学习权重参数进行迭代，特征图的个数逐渐减少，生成对应的图片。

4.如权利要求1所述的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，其特征在于，判别网络D将预训练判别网络D_pro保存的模型参数作为初始化参数，输入真实图片或者生成网络G生成的图片进行训练，判别网络D对输入的图片经过卷积层、LeakyRelu激活层、批处理规范化操作、全连接和Sigmoid激活层，最后进行输出图片是真实数据还是生成网络生成数据的概率。

5.如权利要求1所述的基于卷积生成对抗网络的乳腺X-ray图像自动生成方法，其特征在于，步骤四包括：步骤4.1、将步骤一中输出的图片作为训练集和生成网络G经过输入z后生成的图像作为判别网络D的输入，定义好判别模型的损失函数，使用Adm优化器优化判别网络参数，判别网络尽可能的将D(x)作为x是真实数据的概率输出为1，将D(G(z))输出0，从而满足目标函数V(D，G)最大化；

判别模型的损失函数：

步骤4.2、固定判别网络的参数，将随机分布数据z输入生成网络G，定义好生成模型的损失函数，使用Adm优化器优化生成网络参数，生成网络G尽可能的生成近似于真实数据分布的假数据，使得判别网络D将D(G(z))输出1，从而满足目标函数V(D，G)最小化；

生成模型的损失函数：

步骤4.3、多次重复步骤4.1，步骤4.2，交替进行生成网络和判别网络的训练，直至损失函数收敛，保存网络模型参数。

Images