CN111353995A - 一种基于生成对抗网络的宫颈单细胞图像数据生成方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的宫颈单细胞图像数据生成方法，包括以下步骤：S1、准备包含正常细胞图像和异常细胞图像的宫颈单细胞数据集，并对宫颈单细胞数据集进行预处理；S2、模型设计：以传统的生成对抗网络为基础，在生成对抗网络模型过程中使用约束条件指导模型生成指定类别的宫颈单细胞图像。本发明的生成对抗网络由两部分组成：生成器用于捕获训练数据的分布，判别器用于判断输入数据是来自真实数据还是生成数据。模型通过这种竞争的学习方式，使生成对抗网络可以生成逼近真实的图像，提升模型表现。本发明可以通过生成器在消耗很少的时间和人力的前提下获得大量的有效数据，可以通过扩大数据集获得更高的疾病检测准确率。

Description

一种基于生成对抗网络的宫颈单细胞图像数据生成方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于生成对抗网络的宫颈单细胞图像数据生成方法。

背景技术

在全世界范围内，宫颈癌已经成为一种女性的高发疾病，典型的宫颈癌需要经历10-20年的癌变期。因此，漫长的癌变期使得宫颈癌又是最容易预防和控制的。宫颈的早期检测是预防癌症发生的重要手段。其中通过细胞涂片进行早期检查是最常用和有效的方法。当前对细胞涂片的检查主要依赖医生的主观判断，但是这需要大量的时间。近年来，随着计算机技术的发展，机器学习开始在很多领域取得了突破性的进展，并逐渐被用于辅助宫颈单细胞图像的检测。

不幸的是，模型的训练需要大量的数据。对于宫颈单细胞图像数据而言，数据获取需要耗费大量的时间。但是数据集的大小直接影响了机器学习模型的表现，而传统的数据增强方法(仿射变换)是不能保证数据多样性的，这样的数据对于模型学习是有影响的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通过生成器在消耗很少的时间和人力的前提下获得大量的有效数据，可以通过扩大数据集获得更高的疾病检测准确率的基于生成对抗网络的宫颈单细胞图像数据生成方法。

本发明的目的是通过以下技术方案来实现的：一种基于生成对抗网络的宫颈单细胞图像数据生成方法，包括以下步骤：

S1、准备包含正常细胞图像和异常细胞图像的宫颈单细胞数据集，并对宫颈单细胞数据集进行预处理；

S2、模型设计：以传统的生成对抗网络为基础，在生成对抗网络模型过程中使用约束条件指导模型生成指定类别的宫颈单细胞图像。

进一步地，所述步骤S1包括以下子步骤：

S11、数据大小裁剪：使用三阶线性插值算法对每张图像进行裁剪，经过裁剪后的图像统一大小为72*72的灰度图像；

S12、图像灰度化处理：将每张图像进行灰度处理，具体的转换公式为：

g(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)

g(x,y)表示转换后的图像输出，R(x,y)、G(x,y)、B(x,y)分别代表原始图像各个像素点的通道值；

S13、归一化处理：将灰度化处理后的图像的像素归一化到(-1，1)；

S14、数据制作：将归一化处理后的细胞图像全部转换为一个.npy文件；在转换的过程中，按照train data:test data＝5:1的比例划分数据；并且对每一张图像的类别进行标注，其中0表示异常细胞，1表示正常细胞。

进一步地，所述生成对抗网络模型由生成器G和判别器D组成；生成器G以随机高斯噪声Z和样本标签label作为输入，并且生成图像；判别器D输入由三部分组成：生成器G的生成图像、真实图像和样本标签label；生成对抗网络模型的输出是输入样本来自真实图片的概率；

损失函数由最小二乘损失loss_mse和梯度惩罚损失loss_gp组成：

表示判别器对输入样本i来自真实样本的预测值，y_i表示判别器做出的预测值，n表示样本数量；D表示判别器，

是来自真实样本和生成样本间的随机取样值。

进一步地，所述生成器G使用残差网络构建；生成器G包含1层全连接层和20层卷积层，在每一层中使用ReLU作为激活函数，并进行批归一化处理。所述残差网络满足如下公式：

x_l+1＝relu(x_l+F(relu(x_l))

x_l是上一层残差块的输入，F(relu(x_l)是x_l经过第一层线性变化并激活后的输出。

进一步地，所述判别器D包括4层卷积层；每一层之间使用LeakyReLU作为激活函数。

进一步地，所述生成对抗网络模型的训练包括以下步骤：

S21、获取训练数据，根据数据类别将每一类数据按0-6设置标签信息label，每一个数字代表一个类别，依次为：0:异常-中度鳞状上皮细胞；1:异常-原位鳞状细胞癌；2:异常-轻度鳞状上皮细胞；3:异常-重度鳞状上皮细胞；4:正常-上皮鳞状细胞；5:正常-柱状细胞；6:正常-鳞状细胞；最后进行one-hot编码；

S22、自动生成100维的随机高斯噪声Z；

S23、将随机高斯噪声Z和标签信息label作为生成器G的输入，生成样本fake_img；

S24、设置对抗性判别值0和1：0代表假，1代表真；

对于判别器D的训练，向模型输入生成样本的判别结果为0，输入真实样本的判别结果为1；对于生成器G的训练，目标是希望判别器D对于生成样本的判别结果为1；

计算生成器和判别器的损失值，并最终生成逼真的样本。

S25、将生成样本fake_img和标签信息label作为判别器D的输入，得到假样本的判别损失

将真实样本real_img和标签信息label作为判别器D的输入，得到真实样本的判别损失

在真实样本和生成样本间随机取样，然后将这个随机取样值输入判别器D，得到梯度损失gp_loss；

S26、由S25得到的判别损失求和得到总的判别损失D_loss：

S27、将生成样本fake_img和标签信息label作为判别器D的输入，得到生成损失G_loss；

S28、根据判别损失和生成损失计算梯度(梯度值通过对损失函数中权重W和偏置b求偏导得出)公式如下所示，并通过反向传播算法优化生成器G和判别器D；并且在训练的过程中，生成器与判别器并不是同时进行的，而是交替进行训练的；这样做的原因是因为网络是一种由生成器和判别器组成的对抗学习方法；

S29、重复步骤S23～S28，直到训练达到最大迭代次数，或者总的判别损失D_loss不再下降并且生成损失G_loss不再上升。

本发明的有益效果是：本发明的生成对抗网络由两部分组成：生成器G和判别器D。生成器用于捕获训练数据的分布，判别器相当于一个二分类，用于判断输入数据是来自真实数据还是生成数据。模型通过这种竞争的学习方式，使生成对抗网络可以生成逼近真实的图像，提升模型表现。本发明可以通过生成器在消耗很少的时间和人力的前提下获得大量的有效数据，可以通过扩大数据集获得更高的疾病检测准确率，最终在宫颈癌检测上获得更高的精度。

附图说明

图1为本发明的生成对抗网络模型的结构示意图；

图2为本发明的生成器G结构示意图；

图3为本发明的两种类型的残差块结构图；

图4为本发明的判别器D结构示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

一种基于生成对抗网络的宫颈单细胞图像数据生成方法，包括以下步骤：

S1、准备包含正常细胞图像和异常细胞图像的宫颈单细胞数据集，并对宫颈单细胞数据集进行预处理；包括以下子步骤：

S11、数据大小裁剪：原始数据的每一张图像为大小形状不一的彩色RGB图像，为了方便输入网络模型，使用三阶线性插值算法对每张图像进行裁剪，经过裁剪后的图像统一大小为72*72的灰度图像；

S12、图像灰度化处理：由于在制作细胞切片的过程中使用了大量的染色剂，因此，原始图像中包含各种颜色的图像。为了消除染色剂对于模型的干扰，将每张图像进行灰度处理，具体的转换公式为：

g(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)

g(x,y)表示转换后的图像输出，R(x,y)、G(x,y)、B(x,y)分别代表原始图像各个像素点的通道值；

S13、归一化处理：将灰度化处理后的图像的像素归一化到(-1，1)；归一化的目的有二：第一：为了降低模型训练过程中的损失波动。第二，判别器最后一层使用的是tanh激活函数，归一化更符合要求；

S14、数据制作：将归一化处理后的细胞图像全部转换为一个.npy文件；在转换的过程中，按照train data:test data＝5:1的比例划分数据；并且对每一张图像的类别进行标注(0/1)，其中0表示异常细胞，1表示正常细胞。

S2、模型设计：以传统的生成对抗网络为基础，在生成对抗网络模型过程中使用约束条件指导模型生成指定类别的宫颈单细胞图像。

如图1所示，本发明所述生成对抗网络模型由生成器G和判别器D组成；生成器G以随机高斯噪声Z和样本标签label作为输入，并且生成图像；判别器D输入由三部分组成：生成器G的生成图像、真实图像和样本标签label；生成对抗网络模型的输出是输入样本来自真实图片的概率；

损失函数由最小二乘损失loss_mse和梯度惩罚损失loss_gp组成：

表示判别器对输入样本i来自真实样本的预测值，y_i表示判别器做出的预测值，n表示样本数量；D表示判别器，

是来自真实样本和生成样本间的随机取样值。

如图2所示，所述生成器G使用残差网络构建；生成器G包含1层全连接层和20层卷积层，在每一层中使用ReLU作为激活函数，并进行批归一化处理。

如图3所示，本发明包括两种类型的残差块结构：残差块(Residual block)A和残差块(Residual block)B。并且生成器模型由残差块构成。残差块结构设计如下：

残差块(Residual block)A：

残差块(Residual block)B：

如图残差块A所示，可以看出x_l是这一层残差块的输入，F(relu(x_l)(即图中F(x))是经过第一层线性变化并激活后的输出，该图表示在残差网络中，第二层进行线性变化之后激活之前，F(x)加入了这一层输入值x_l，然后再进行激活后输出。在第二层输出值激活前加入x_l即为这一层残差块的输出x_l。具体满足如下公式所示：

x_l+1＝relu(x_l+F(relu(x_l)))

如图残差块B所示，相比于残差块A，在跳跃连接的过程中添加一层卷积层。公式如下：

x_l+1＝relu(relu(x_l)+F(relu(x_l)))

如图4所示，所述判别器D包括4层卷积层；每一层之间使用LeakyReLU作为激活函数。

进一步地，本发明所述生成对抗网络模型的训练包括以下步骤：

S21、获取训练数据，根据数据类别将每一类数据按0-6设置标签信息label，每一个数字代表一个类别，依次为：0:异常-中度鳞状上皮细胞；1:异常-原位鳞状细胞癌；2:异常-轻度鳞状上皮细胞；3:异常-重度鳞状上皮细胞；4:正常-上皮鳞状细胞；5:正常-柱状细胞；6:正常-鳞状细胞；最后进行one-hot编码；

S22、自动生成100维的随机高斯噪声Z；

S23、将随机高斯噪声Z和标签信息label作为生成器G的输入，生成样本fake_img；

S24、设置对抗性判别值0和1：0代表假，1代表真；

对于判别器D的训练，向模型输入生成样本的判别结果为0，输入真实样本的判别结果为1；对于生成器G的训练，目标是希望判别器D对于生成样本的判别结果为1；

计算生成器和判别器的损失值，并最终生成逼真的样本。

S25、将生成样本fake_img和标签信息label作为判别器D的输入，得到假样本的判别损失

将真实样本real_img和标签信息label作为判别器D的输入，得到真实样本的判别损失

在真实样本和生成样本间随机取样，然后将这个随机取样值输入判别器D，得到梯度损失gp_loss；

S26、由S25得到的判别损失求和得到总的判别损失D_loss：

S27、将生成样本fake_img和标签信息label作为判别器D的输入，得到生成损失G_loss；

S28、根据判别损失和生成损失计算梯度(梯度值通过对损失函数中权重W和偏置b求偏导得出)公式如下所示，并通过反向传播算法优化生成器G和判别器D。并且在训练的过程中，生成器与判别器并不是同时进行的，而是交替进行训练的。这样做的原因是因为网络是一种由生成器和判别器组成的对抗学习方法；

S29、重复步骤S23～S28，直到训练达到最大迭代次数，或者总的判别损失D_loss不再下降并且生成损失G_loss不再上升。

本发明的生成模型设计如下：

判别模型：模型设计如下：

在模型完成训练后，保存生成器的权重以及相关参数。使用时，通过上面保存的数据构建模型，然后输入随机高斯噪声以及类别标签，便可以生成新的指定类别的宫颈细胞图像。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，包括以下步骤：

S1、准备包含正常细胞图像和异常细胞图像的宫颈单细胞数据集，并对宫颈单细胞数据集进行预处理；

S2、模型设计：以传统的生成对抗网络为基础，在生成对抗网络模型过程中使用约束条件指导模型生成指定类别的宫颈单细胞图像。

2.根据权利要求1所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述步骤S1包括以下子步骤：

S11、数据大小裁剪：使用三阶线性插值算法对每张图像进行裁剪，经过裁剪后的图像统一大小为72*72的灰度图像；

S12、图像灰度化处理：将每张图像进行灰度处理，具体的转换公式为：

g(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)

g(x,y)表示转换后的图像输出，R(x,y)、G(x,y)、B(x,y)分别代表原始图像各个像素点的通道值；

S13、归一化处理：将灰度化处理后的图像的像素归一化到(-1，1)；

S14、数据制作：将归一化处理后的细胞图像全部转换为一个.npy文件；在转换的过程中，按照train data:test data＝5:1的比例划分数据；并且对每一张图像的类别进行标注，其中0表示异常细胞，1表示正常细胞。

3.根据权利要求1所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述生成对抗网络模型由生成器G和判别器D组成；生成器G以随机高斯噪声Z和样本标签label作为输入，并且生成图像；判别器D输入由三部分组成：生成器G的生成图像、真实图像和样本标签label；生成对抗网络模型的输出是输入样本来自真实图片的概率；

损失函数由最小二乘损失loss_mse和梯度惩罚损失loss_gp组成：

表示判别器对输入样本i来自真实样本的预测值，y_i表示判别器做出的预测值，n表示样本数量；D表示判别器，

是来自真实样本和生成样本间的随机取样值。

4.根据权利要求3所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述生成器G使用残差网络构建；生成器G包含1层全连接层和20层卷积层，在每一层中使用ReLU作为激活函数，并进行批归一化处理。

5.根据权利要求4所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述残差网络满足如下公式：

x_l+1＝relu(x_l+F(relu(x_l))

x_l是上一层残差块的输入，F(relu(x_l)是x_l经过第一层线性变化并激活后的输出。

6.根据权利要求3所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述判别器D包括4层卷积层；每一层之间使用LeakyReLU作为激活函数。

7.根据权利要求3～6任意一项所述的基于生成对抗网络的宫颈单细胞图像数据生成方法，其特征在于，所述生成对抗网络模型的训练包括以下步骤：

S21、获取训练数据，根据数据类别将每一类数据按0-6设置标签信息label，每一个数字代表一个类别，依次为：0:异常-中度鳞状上皮细胞；1:异常-原位鳞状细胞癌；2:异常-轻度鳞状上皮细胞；3:异常-重度鳞状上皮细胞；4:正常-上皮鳞状细胞；5:正常-柱状细胞；6:正常-鳞状细胞；最后进行one-hot编码；

S22、自动生成100维的随机高斯噪声Z；

S23、将随机高斯噪声Z和标签信息label作为生成器G的输入，生成样本fake_img；

S24、设置对抗性判别值0和1：0代表假，1代表真；

对于判别器D的训练，向模型输入生成样本的判别结果为0，输入真实样本的判别结果为1；对于生成器G的训练，目标是希望判别器D对于生成样本的判别结果为1；

计算生成器和判别器的损失值，并最终生成逼真的样本。

S25、将生成样本fake_img和标签信息label作为判别器D的输入，得到假样本的判别损失

将真实样本real_img和标签信息label作为判别器D的输入，得到真实样本的判别损失

在真实样本和生成样本间随机取样，然后将这个随机取样值输入判别器D，得到梯度损失gp_loss；

S26、由S25得到的判别损失求和得到总的判别损失D_loss：

S27、将生成样本fake_img和标签信息label作为判别器D的输入，得到生成损失G_loss；

S28、根据判别损失和生成损失计算梯度，并通过反向传播算法优化生成器G和判别器D：

S29、重复步骤S23～S28，直到训练达到最大迭代次数，或者总的判别损失D_loss不再下降并且生成损失G_loss不再上升。

Images