CN110110745A - 基于生成对抗网络的半监督x光图像自动标注 - Google Patents

Abstract

本发明提出了一种基于生成对抗网络半监督X光自动标注方法，基于现有的生成对抗网络方法，改进了传统训练方法，利用监督损失和无监督损失相结合的半监督训练方法进行基于少量标注样本的图像分类识别。围绕X光图像标注数据稀缺性的问题进行研究，首先在传统无监督生成对抗网络基础上用softmax替换最后输出层，扩展成为半监督生成对抗网络，其次对生成样本定义额外类别标签引导训练，然后采用半监督训练对网络参数进行优化，最后采用训练好的判别网络对X光图像进行自动标注。该方法在医学X光图像自动标注方面，相比于传统监督学习和其他半监督学习算法性能得到了提高。

Description

基于生成对抗网络的半监督X光图像自动标注

技术领域：

本发明是一种半监督图像自动标注方法，特别是涉及医学X光图像标签样本稀缺性问题。具体地说，是一种基于生成对抗网络的半监督医学X光图像自动方法。

背景技术：

近年来，随着深度学习技术在计算机视觉方面的突破性进展，使得图像分类、目标检测和实例分割等自然图像计算机视觉任务的性能显著提高。因此基于深度学习的计算机视觉方法对早期疾病检测和图像诊断也开始得到广泛应用，其中医学X光学图像作为最为直观准确的疾病检测和诊断手段，因此X光图像分类和识别等领域的发展来说意义重大。然而，X光图像分类性能取决于标签数据集的大小，标签数据量较小的情况下模型往往会出现过拟合等问题，严重影响其准确率，为患者的诊断结果带来极大的误诊。而现实过程中，手工标注大型医学图像数据必然会消耗大量的人力物力成本。

标签图像样本稀缺性问题为图像的自动标注和识别带来了困难，为此常采用半监督学习的方法以期望获得更好的效果。半监督生成式模型的方法中，此类方法假设所有数据，无论是否有标记都是由同一个潜在的模型“生成”的。这个假设使得我们能通过潜在模型的参数将未标记数据与学习目标联系起来，而未标记数据的标记则可看作模型的缺失参数，通常可基于EM算法进行极大似然估计求解。根据概率论公理得到后验分布，找到使最大的类标签对数据进行自动标注。这类算法的关键在于模型假设必须准确，即假设的模型必须与真实数据分布相吻合。但在现实问题中，往往很难事先对模型进行准确的预测和假设，使得算法最终的效果收模型设定影响很大，限制了其应用范围。

针对以上问题，该发明提出了一种基于生成对抗网络的半监督X图像自动标注方法，能够在基于标签样本稀疏性上获得更加准确的的性能。

发明内容：

为了实现上述方法，本发明针对X影像标注中标签样本稀缺性问题，提出了一种基于生成对抗网络的半监督医学X光影像自动标注算法，模型判别器网络通过监督损失和无监督损失相结合的训练方式共同调整网络参数，生成器网络利用特征匹配来提高模型拟合真实数据的能力。采用半监督的训练完成对X光图像标注，该方法实现包括以下步骤：

步骤一：构建网络结构：

网络结构主要包括生成器和判别器，在生成对抗网络的基础上，通过将生成对抗网络的生成器的生成图像样本添加到数据库图像中，对于一个K类分类问题，用新生成的类y＝K+1标注生成图像样本，相应地将判别器输出softmax分类器的维数从K扩展到到K+1；

(一)构建生成器：

生成器网络结构使用多层反卷积网络来对随机噪声向量z进行上采样，生成指定大小的生成图像图像。首先将符合高斯分布分布的100维随机噪声z输入到全连接网络，通过维度变换使其成为三维张量；然后将维度变换后的张量输入到卷积核的大小为5×5，步长为2的多层反卷积层，每次完成反卷积之后都进行批量归一化处理，除了最后输出层使用tanh激活函数以外，其它层都采用ReLu激活函数，最后输出层输出指定大小为的张量，即为生成图像样本；

(二)构建判别器：

判别器网络由多个个卷积层，全连接层以及一个softmax输出串连组成。输入图像样本输入到采用卷积核为3×3的卷积层中，其中步长为1的卷积用于提高网络的特征提取，而步长为2的卷积用于对图像进行下采样，增大感受野。每次完成卷积之后都进行批量归一化处理，激活函数采用leakReLu函数。不同于传统的ReLU激活函数，leakReLu在负半轴保留了很小的斜率，避免了训练过程中梯度消失。最后经全连接层输出逻辑向量，通过softmax输出归一化类概率向量；步骤二：数据预处理

在构建网络模型后，为了保证图像大小以及噪声等因素对网络训练过程中的影响，在网络模型训练之前对图像数据进行预处理：

(一)针对数据库中的X光图像中出现的灰雾现象采用直方图均衡化对进行灰度值调整；

(二)确保输入图像数据的一致性，对图像统一缩放为128×128像素；

(三)对数据集进行分割，数据集按照7：2：1划分为训练集、测试集和验证集；

(四)训练集数据分为标注样本数据和未标注样本数据，其中标注样本数据远远小于未标注样本数据量；

步骤三：定义网络损失函数

网络训练本质上就是损失函数的一个优化的过程，分别定义判别器和生成器损失函数，用于网络训练中参数优化和更新：

(一)判别器网络损失：

(1)判别器输入x对应三种数据：标注数据、未标数据、生成数据。

(2)判别器输入x中标注样本数据对应的标签y，取自真实数据分布x,y～P_data；

(3)未标注样本取自数据库数据分布x～P_data；

(4)生成样本来自生成器x～G；

(5)判别器接受样本x作为输入，输出一个K+1维的逻辑向量{l₁,l₂,···,l_K+1}，再由softmax输出归一化类概率向量：

(6)概率前K维对应原有K个类，最后一维对应“伪样本”类，即生成图像样本类。P_model的最大值位置对应预测分类标签；

(7)判别器输入对应三种数据分别对应各自损失L_label,L_unlabel,L_gen；

(8)标签样本损失：真实类标签分布和预测类标签的交叉熵损失：

(9)未标注样本损失：将未标记样本分为真的损失，即y≠K+1：

(10)生成样本损失：将生成样本分为假的损失，即y＝K+1：

L_gen＝-E_x～G[logP_model(y＝K+1|x)]

(11)三类损失函数相结合为判别器损失函数。表示为：

L_D＝L_label+L_unlabel+L_gen

(二)生成器网络损失：

(1)生成器由随机向量生成样本G(z)；

(2)选取判别器全连接层输出的逻辑向量作为中间层的特征值f(·)；(3)采用要求生成器生成与真实数据的统计数据相匹配的特征匹配的方法作为生成器损失函数，定义为如下形式：

步骤四：网络训练

在构建网络模型，以及数据处理之后，最后将采用定义的损失函数随网络进行训练，本发明提出的半监督生成对抗网络模型具体训练步骤如下：

1)在高斯分布中随机采样生成随机向量z，并将随机向量输入至生成器网络，得到生成图像G(z)；

2)将标注和未标注的真实图像x以及生成图像G(z)按批次输入到判别器网络，通过softmax输出归一化的概率值D(x)和D(G(z))；

3)固定判别器网络的参数，若真实图像x无标签，则将L_unlabel作为损失函数；若真实图像x有标签，则将L_label作为损失函数；若输入为生成图像，将L_gen作为损失函数。利用Adam梯度下降方式来调整判别器网络的参数；

4)固定判别器网络的参数，选取全连接层输出作为中间层特征，对真实图像x和生成图像G(z)进行特征匹配操作，并利用特征匹配调整生成器网络的参数；

5)重复1-4步操作，直至达到迭代次数或网络达到收敛；

6)将测试样本图像输入到判别器中，对测试图像进行自动标注。

附图说明：

图1是本发明基于生成对抗网络半监督分类方法的网络结构

图2是本发明的生成器网络结构

图3是本发明的判别器网络结构

具体实施方式：

步骤一：构建网络结构

在生成对抗网络的基础上，本发明提出了一种基于生成对抗网络的半监督X光图像自动标注方法，如图1所示。生成器将随机噪声z送入到多层反卷积构成的生成器网络结构，输出拟合真实数据的生成样本，将生成器的生成图像样本添加到数据库图像中引导网络训练，对于一个K类分类问题，用新生成的类y＝K+1标注生成图像样本，相应地将判别器输出softmax分类器的维数从K扩展到到K+1：

(一)构建生成器：

生成器网络结构使用多层反卷积网络来对随机噪声向量z进行上采样，生成指定大小的生成图像，如图2所示。首先将高斯分布的100维随机噪声z输入到全连接网络，通过维度变换使其成为三维张量；然后将维度变换后的张量输入到卷积核的大小为5×5，步长为2的多层反卷积层，每次完成反卷积之后都进行批量归一化处理，除了最后输出层使用tanh激活函数以外，其它层都采用ReLu激活函数，最后输出层输出指定大小为的张量，即为生成图像样本。

(二)构建判别器：

判别器网络由多个个卷积层，全连接层以及一个softmax输出串连组成，如图3所示。输入图像样本输入到采用卷积核为3×3的卷积层中，其中步长为1的卷积用于提高网络的特征提取，而步长为2的卷积用于对图像进行下采样，增大感受野。每次完成卷积之后都进行批量归一化处理，激活函数采用leakReLu函数。不同于传统的ReLU激活函数，leakReLu在负半轴保留了很小的斜率，避免了训练过程中梯度消失。最后经全连接层输出逻辑向量，通过softmax输出归一化类概率向量；

判别器多层卷积强大的特征提取和特征学习能力，不仅可以使判别器区分真实样本和生成样本，还可以输出样本属于指定标签的概率；

步骤二：数据预处理

在构建网络模型之后，为了保证图像大小以及噪声等因素对网络训练过程中的影响，在网络模型训练之前对图像数据进行预处理：

(一)针对数据库中的X光图像中出现的灰雾现象采用直方图均衡化对进行灰度值调整；

(二)确保输入图像数据的一致性，对图像统一缩放为128×128像素；

(三)对数据集进行分割，数据集按照7：2：1划分为训练集、测试集和验证集；

(四)训练集数据分为标注样本数据和未标注样本数据，其中标注样本数据远远小于未标注样本数据量；

步骤三：定义损失函数

网络训练本质上就是损失函数的一个优化的过程，分别定义判别器和生成器损失函数，用于网络训练中参数优化和更新：

(一)判别器网络损失

(1)判别器输入x对应三种数据：标注数据、未标数据、生成数据；

(2)判别器输入x中标注样本数据对应的标签y，取自真实数据分布x,y～P_data；

(3)未标注样本取自数据库数据分布x～P_data；

(4)生成样本来自生成器x～G；

(5)判别器接受样本x作为输入，输出一个K+1维的逻辑向量{l₁,l₂,···,l_K+1}，再由softmax输出归一化类概率向量：

(6)概率前K维对应原有K个类，最后一维对应“伪样本”类，即生成图像样本类。P_model的最大值位置对应预测分类标签；

(7)判别器输入对应三种数据分别对应各自损失L_label,L_unlabel,L_gen；(8)标签样本损失：真实类标签分布和预测类标签的交叉熵损失：

(9)未标注样本损失：将未标记样本分为真的损失，即y≠K+1：

(10)生成样本损失：将生成样本分为假的损失，即y＝K+1：

L_gen＝-E_x～G[logP_model(y＝K+1|x)]

(11)三类损失函数相结合为判别器损失函数。表示为：

L_D＝L_label+L_unlabel+L_gen

(二)生成器网络损失

(1)生成器由随机向量生成样本G(z)；

(2)选取判别器全连接层输出的逻辑向量作为中间层的特征值f(·)；

(3)采用要求生成器生成与真实数据的统计数据相匹配的特征匹配的方法作为生成器损失函数，定义为如下形式：

步骤四：训练网络模型

在构建网络模型，以及数据处理之后，最后将采用定义的损失函数随网络进行训练，本发明提出的半监督生成对抗网络模型具体训练步骤如下：

1)在高斯分布中随机采样生成随机向量z，并将随机向量输入至生成器网络，得到生成图像G(z)；

2)将标注和未标注的真实图像x以及生成图像G(z)按批次输入到判别器网络，通过softmax输出归一化的概率值D(x)和D(G(z))；

3)固定生成器网络的参数，若真实图像x无标签，则将L_unlabel作为损失函数；若真实图像x有标签，则将L_label作为损失函数；若输入为生成图像，将L_gen作为损失函数。利用Adam梯度下降方式来调整判别器网络的参数；

4)固定判别器网络的参数，选取全连接层输出作为中间层特征，对真实图像x和生成图像G(z)进行特征匹配操作，并利用特征匹配调整生成器网络的参数；

5)重复1-4步操作，直至达到迭代次数；

6)将测试样本图像输入到判别器中，对测试图像进行自动标注。

原理：模型通过大量的未标注样本数据来辅助少量标注样本数据进行学习，少量标签数据通过最小化标注样本数据标签与模型预测概率分布的交叉熵损失来的监督学习基础上，通过对生成样本数据添加定义额外类别标签引导训练，同时通过大量无标签数据在生成对抗网络中的无监督学习，采用特征匹配的方法生成尽可能服从真实样本分布的生成样本，在监督学习和无监督学习的联合训练下，实现具半监督医学X光图像的自动标注；这对于有少量标签数据的情况下，可有效提升标注的性能。

综上所述，本发明所提出的基于生成对抗网络的半监督医学X光图像自动标注方法，能够有效解决医学图像标注中标签数据不足的问题；在训练的过程中会生成真实图像样本，有利于最终图像的标注的准确性；同时该方法还可应用于医学诊断、异常检测以及图像识别等领域。

Claims (1)

1.一种基于半监督生成对抗网络的X光图像自动标注方法，其特征在于包括以下步骤：

步骤一：构建网络结构：

网络结构主要包括生成器和判别器，在生成对抗网络的基础上，通过将生成对抗网络的生成器的生成图像样本添加到数据库图像中，对于一个K类分类问题，用新生成的类y＝K+1标注生成图像样本，相应地将判别器输出softmax分类器的维数从K扩展到到K+1；

(一)构建生成器：

生成器网络结构使用多层反卷积网络来对随机噪声向量z进行上采样，生成指定大小的生成图像图像；首先将符合高斯分布分布的100维随机噪声z输入到全连接网络，通过维度变换使其成为三维张量；然后将维度变换后的张量输入到卷积核的大小为5×5，步长为2的多层反卷积层，每次完成反卷积之后都进行批量归一化处理，除了最后输出层使用tanh激活函数以外，其它层都采用ReLu激活函数，最后输出层输出指定大小为的张量，即为生成图像样本；

(二)构建判别器：

判别器网络由多个个卷积层，全连接层以及一个softmax输出串连组成；输入图像样本输入到采用卷积核为3×3的卷积层中，每次完成卷积之后都进行批量归一化处理，激活函数采用leakReLu函数；不同于传统的ReLU激活函数，leakReLu在负半轴保留了很小的斜率，避免了训练过程中梯度消失；最后经全连接层输出逻辑向量，通过softmax输出归一化类概率向量；

步骤二：数据预处理

在构建网络模型后，为了保证图像大小以及噪声等因素对网络训练过程中的影响，在网络模型训练之前对图像数据进行预处理：

(一)针对数据库中的X光图像中出现的灰雾现象采用直方图均衡化对进行灰度值调整；

(二)确保输入图像数据的一致性，对图像统一缩放为128×128像素；

(三)对数据集进行分割，数据集按照7：2：1划分为训练集、测试集和验证集；

(四)训练集数据分为标注样本数据和未标注样本数据，其中标注样本数据远远小于未标注样本数据量；

步骤三：定义网络损失函数

网络训练本质上就是损失函数的一个优化的过程，分别定义判别器和生成器损失函数，用于网络训练中参数优化和更新：

(一)判别器网络损失：

(1)判别器输入x对应三种数据：标注数据、未标数据、生成数据。

(2)判别器输入x中标注样本数据对应的标签y，取自真实数据分布x,y～P_data；

(3)未标注样本取自数据库数据分布x～P_data；

(4)生成样本来自生成器x～G；

(5)判别器接受样本x作为输入，输出一个K+1维的逻辑向量{l₁,l₂,···,l_K+1}，再由softmax输出归一化类概率向量：

(6)概率前K维对应原有K个类，最后一维对应“伪样本”类，即生成图像样本类。P_model的最大值位置对应预测分类标签；

(7)判别器输入对应三种数据分别对应各自损失L_label,L_unlabel,L_gen；

(8)标签样本损失：真实类标签分布和预测类标签的交叉熵损失：

(9)未标注样本损失：将未标记样本分为真的损失，即y≠K+1：

(10)生成样本损失：将生成样本分为假的损失，即y＝K+1：

L_gen＝-E_x～G[logP_model(y＝K+1|x)]

(11)三类损失函数相结合为判别器损失函数。表示为：

L_D＝L_label+L_unlabel+L_gen

(二)生成器网络损失：

(1)生成器由随机向量生成样本G(z)；

(2)选取判别器全连接层输出的逻辑向量作为中间层的特征值f(·)；

(3)采用要求生成器生成与真实数据的统计数据相匹配的特征匹配的方法作为生成器损失函数，定义为如下形式：

步骤四：网络训练

在构建网络模型，以及数据处理之后，最后将采用定义的损失函数随网络进行训练，本发明提出的半监督生成对抗网络模型具体训练步骤如下：

1)在高斯分布中随机采样生成随机向量z，并将随机向量输入至生成器网络，得到生成图像G(z)；

2)将标注和未标注的真实图像x以及生成图像G(z)按批次输入到判别器网络，通过softmax输出归一化的概率值D(x)和D(G(z))；

3)固定判别器网络的参数，若真实图像x无标签，则将L_unlabel作为损失函数；若真实图像x有标签，则将L_label作为损失函数；若输入为生成图像，将L_gen作为损失函数。利用Adam梯度下降方式来调整判别器网络的参数；

4)固定判别器网络的参数，选取全连接层输出作为中间层特征，对真实图像x和生成图像G(z)进行特征匹配操作，并利用特征匹配调整生成器网络的参数；

5)重复1-4步操作，直至达到迭代次数或网络达到收敛；

6)将测试样本图像输入到判别器中，对测试图像进行自动标注。