CN109584221A - 一种基于监督式生成对抗网络的异常图像检测方法 - Google Patents

Abstract

本发明涉及一种基于监督式生成对抗网络的异常图像检测方法，该方法包括以下步骤：1)获取待检测图片；2)将所述待检测图片输入一训练好的Supervised GANomaly模型，获得对应的异常类别信任值；3)判断所述异常类别信任值是否大于一异常类别判别阈值，若是，则判定为异常图像，若否，则判定为正常图像；所述Supervised GANomaly模型包括生成网络、编码网络、判别网络和分类网络，其中，所述生成网络、编码网络和判别网络用于学习正常样本的特征分布，分类网络用于区分正常样本和异常样本。与现有技术相比，本发明具有能够有效地将正常样本和异常样本区分开、鲁棒性好等优点。

Description

一种基于监督式生成对抗网络的异常图像检测方法

技术领域

本发明涉及异常图像检测技术领域，具体是涉及一种基于监督式生成对抗网络的异常图像检测方法。

背景技术

随着人工智能方法的不断发展和普及，自动化检测技术受到了越来越广泛的关注。异常图像检测，作为自动化检测的一个重要分支，在工业质检、医学诊断、自动驾驶、安防等领域发挥了越来越重要的作用。

异常图像检测的方法大致可以分为三类，监督式方法、半监督式方法和无监督式方法。

监督式异常检测方法类似机器学习中的分类方法，但是异常检测问题中，正常样本通常比较多，而异常样本通常非常少，类别不平衡问题严重，因而一般机器学习中的分类方法通常无法很好地应用于异常检测问题。半监督式异常检测方法中，只有少量样本被标注过，绝大部分样本是未标注的，因而需要通过建立标注样本和未标注样本间的联系，来学习异常检测模型。无监督式异常检测方法，基于异常检测问题中绝大多数样本都是正常的这个假设，不添加任何额外标注，直接利用这些正常样本来学习正常样本的模型，再通过这个模型来预测新的样本是否有异常。

这三类方法中，无监督式学习方法在过去十几年里得到了最广泛的研究和应用，其中代表性的方法主要包括单类支持向量机(One-Class SVM，简称OC-SVM)和自编码器(Autoencoder，简称AE)两种。近两年，研究者们又将目光转向了新兴的生成对抗网络(Generative Adversarial Network，简称GAN)方法上。GANomaly(arXiv preprint 2018)是基于生成对抗网络的异常检测方法中比较新颖并且效果很好的一种方法，它在自编码器生成模型中增加了对抗学习的策略，能使生成的图像更为真实，并且不同于一般基于自编码器的异常检测方法，GANomaly提出了一种新的通过对比原图和重建图在抽象编码空间中的特征的差异来推断异常的方法，而这额外的抽象建模可以大大提高其抗噪声干扰的能力，从而学到更加鲁棒的异常检测模型。尽管如此，该方法还存在如下缺陷：

第一，异常检测中通常存在一些正常样本和异常样本，GANomaly方法是基于正常样本设计的异常检测模型，因而无法利用异常样本信息。

第二，GANomaly根据编码空间的特征差异来判断异常，只能保证检测出外观和正常样本差异比较大的异常样本，但是对于那些外观和正常样本差异比较小的异常样本来说，非常困难。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于监督式生成对抗网络的异常图像检测方法，解决现有基于生成对抗网络方法无法利用监督信息以及无法检测外观和正常样本差异比较小的异常样本的问题。

本发明的目的可以通过以下技术方案来实现：

一种基于监督式生成对抗网络的异常图像检测方法，该方法包括以下步骤：

1)获取待检测图片；

2)将所述待检测图片输入一训练好的Supervised GANomaly模型，获得对应的异常类别信任值；

3)判断所述异常类别信任值是否大于一异常类别判别阈值，若是，则判定为异常图像，若否，则判定为正常图像；

所述Supervised GANomaly模型包括生成网络、编码网络、判别网络和分类网络，在训练时，所述生成网络、编码网络和判别网络用于学习正常样本的特征分布，分类网络用于区分正常样本和异常样本；在应用时，由分类网络输出异常类别信任值。

进一步地，所述Supervised GANomaly模型的训练过程如下：

101)获取图像数据，包括正常样本队列和异常样本队列；

102)设定训练参数；

103)以在线随机过采样方法从所述图像数据中获得每次迭代使用的训练样本，对所述训练样本进行预处理后，作为Supervised GANomaly模型的输入；

104)采用随机梯度下降法交替优化判别网络、生成网络和分类网络，更新各部分网络权值，直至迭代结束；

105)计算获得异常类别判别阈值。

进一步地，所述训练参数包括最小批次值N_batch、最大迭代次数M、卷积和反卷积网络的层数以及每层网络的特征图数量。

进一步地，所述在线随机过采样方法具体为：

每轮迭代开始前先随机打乱所述正常样本队列和异常样本队列，生成一个[0.25，0.5]之间的随机数R，取异常样本队列中的前张图片作为该轮迭代的异常样本，取正常样本队列中的前张图片作为该轮迭代的正常样本，所述异常样本和正常样本组成该轮迭代的训练样本。

进一步地，所述预处理包括图片尺寸归一化和像素值归一化。

进一步地，所述像素值归一化具体为：

将图片RGB三通道上的像素值减去训练样本集上所有图片的RGB均值，然后再将所有通道上的像素值归一化成[0，1]之间。

进一步地，采用所述随机梯度下降法进行优化时，将编码网络作为生成网络的一个子模块参与优化。

进一步地，采用所述随机梯度下降法进行优化时，基于判别网络的对抗损失函数L_adv、生成网络的重建损失函数L_rec以及分类网络的分类损失函数L_cls更新各部分网络权值，其中，

对抗损失函数L_adv表示为：

重建损失函数L_rec表示为：

分类损失函数L_cls表示为：

其中，G表示生成网络，E表示编码网络，D表示判别网络，C表示分类网络，x表示原始图像，y表示对应标签，x表示训练样本集，y表示训练标签集，G_E表示从原始图像到原始图特征部分的网络，α、β、γ表示损失权值，w表示样本代价敏感权值，w∈{w_ok，w_ng}，w_ok表示正常样本的代价敏感权值，w_ng表示异常样本的代价敏感权值。

进一步地，所述样本代价敏感权值根据正常样本和异常样本的数目获得，其中，

正常样本的代价敏感权值为：

异常样本的代价敏感权值为：

进一步地，所述异常类别判别阈值通过以下过程获得：

利用训练好的Supervised GANomaly模型，将训练样本集中的所有正常样本输入到模型中，计算得到其分类网络输出的属于正常类别和异常类别的信任值，获得所有正常样本被分为异常类别的信任值的最大值，记该最大值θ为异常类别判别阈值。

与现有技术相比，本发明具有以如下有益效果：

第一，本发明提出了利用监督式生成对抗网络来解决异常图像检测问题，弥补了传统基于生成对抗网络的异常图像检测方法中无法利用异常样本进行训练的缺陷。另外，分类网络的引入，能够有效地将正常样本和异常样本区分开，无论他们外观差异多大。

第二，本发明采用了在线随机过采样的方法，保证正常样本和异常样本始终保持在一定的比例，从而使得模型不会特别偏向某类样本。

第三，本发明在进行优化时，采用代价敏感加权交叉熵损失函数作为分类网络损失，能保证在类别不平衡的情况下仍能学到鲁棒的分类网络。

附图说明

图1为本发明模型的网络结构示意图；

图2为本发明模型的训练过程示意图；

图3为本发明模型的测试过程示意图；

图4为本发明的实验结果示意图，其中第一行为正常图片(右上角标有文字“OK”)，第二行为异常图片(右上角标有文字“NG”)；

图5为本发明在实验数据集上的直方图统计结果，其中，(a)为无监督异常检测代表性方法GANomaly的实验统计结果，(b)为本发明的Supervised GANomaly方法的实验统计结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种基于监督式生成对抗网络的异常图像检测方法，该方法将待检测图片输入一训练好的Supervised GANomaly模型，获得对应的异常类别信任值，判断异常类别信任值是否大于一异常类别判别阈值，若是，则判定为异常图像，若否，则判定为正常图像。如图1所示，该方法采用的Supervised GANomaly模型包括生成网络、编码网络、判别网络和分类网络，在训练时，所述生成网络、编码网络和判别网络用于学习正常样本的特征分布，分类网络用于区分正常样本和异常样本；在应用时，由分类网络输出异常类别信任值。

如图2所示，Supervised GANomaly模型的训练过程如下：

步骤S101，获取图像数据，将图像数据分为训练集图像和测试集图像，所述训练集图像包括正常样本队列和异常样本队列，正常样本个数为N_ok，异常样本个数为N_ng，在异常图像检测任务中，N_ng通常远小于N_ok。设定最小批次值(batch size)为N_batch，设定最大迭代(训练一个最小批次图片称为一个迭代)次数为M，并根据问题的规模预先设定卷积和反卷积网络的层数和每层网络的特征图数量。

步骤S102，执行在线逐类别随机过采样，得到每批次训练的正常样本和异常样本。

由于异常样本通常远少于正常样本，本发明提出了一种在线随机过采样方法来保证正常样本和异常样本始终保持在一定的比例，以保证每个迭代中模型都能见到正常样本和异常样本，从而使得模型不会特别偏向正常样本。

在线随机过采样的具体操作过程为：在每轮迭代开始前随机打乱正常样本队列和异常样本队列，并生成一个[0.25，0.5]之间的随机数R，取异常样本队列中的前张图片作为该轮迭代的异常样本，取正常样本队列中的前N_batch-张图片作为该轮迭代的正常样本，所述异常样本和正常样本组成该轮迭代的训练样本。

步骤S103，对选出的训练样本集进行图像预处理，将预处理后的图像作为Supervised GANomaly模型的前向输入。

预处理包括图片尺寸归一化和像素值归一化。其中，尺寸归一化和一般深度学习做法是一样的，将图片的宽和高归一化到某个固定尺寸；像素值归一化具体为：将图片RGB三通道上的像素值减去训练样本集上所有图片的RGB均值(该均值是离线预先计算得到的)，然后再将所有通道上的像素值归一化成[0，1]之间。

步骤S104，Supervised GANomaly模型工作，计算所有样本的原始图特征、重建图像、重建图特征和分类网络输出，并计算正常样本及其重建图像的判别网络输出。

由于这里引入了异常样本，因此训练方式和一般的无监督式生成对抗网络不一样。这里首先将所有样本(正常+异常)送入到生成网络和编码网络中，计算得到原始图特征、重建图像和重建图特征，通过正常样本的原始图像和正常样本的重建图像得到重建损失，通过原始图特征和重建图特征计算出编码损失；然后将正常样本的原始图像和正常样本的重建图像送入到判别网络中，计算得到对抗损失；最后将所有样本(正常+异常)的原始图特征和重建图特征进行重组，送入到分类网络中，计算分类损失。

步骤S105，计算判别网络损失，并据此更新判别网络的权值。

步骤S106，计算生成网络损失，并据此更新生成网络(含编码网络)的权值。

步骤S107，利用代价敏感加权策略计算分类网络损失，并据此更新分类网络的权值。

在步骤S105-107中，采用随机梯度下降法(SGD)进行上述各网络的权值优化更新，且由于编码网络本身是生成网络的一个延伸，本发明将编码网络作为生成网络的一个子模块参与优化。采用随机梯度下降法进行优化时，基于判别网络的对抗损失函数L_adv、生成网络的重建损失函数L_rec以及分类网络的分类损失函数L_cls更新各部分网络权值，其中，

对抗损失函数L_adv表示为：

重建损失函数L_rec表示为：

分类损失函数L_cls表示为：

其中，G表示生成网络，E表示编码网络，D表示判别网络，C表示分类网络，x表示原始图像，y表示对应标签，正常图片标签为1，异常图片标签为0，x表示训练样本集，y表示训练标签集，G_E表示从原始图像到原始图特征部分的网络，α、β、γ表示损失权值，w表示样本代价敏感权值，w∈{w_ok，w_ng}，w_ok表示正常样本的代价敏感权值，w_ng表示异常样本的代价敏感权值。实验中α，β，γ的值分别固定为500，1，1，该组权值可以根据不同场景重新做调整。

分类损失函数不同于一般的交叉熵损失，本发明采用的是代价敏感加权交叉熵损失，在每轮迭代中，我们首先得到正常样本和异常样本的数目，然后根据这个数目，计算各个样本的代价敏感权值，其中，

正常样本的代价敏感权值为：

异常样本的代价敏感权值为：

代价敏感权值w计算出来后，每个样本的损失即为其代价敏感权值和其交叉熵损失的乘积。Supervised GANomaly方法中，代价敏感权值在每轮迭代中是动态变化的。

步骤S108，判断是否达到最大迭代次数，若是，则执行步骤S109，若否，则返回步骤S102。

步骤S109，保存训练好的Supervised GANomaly模型。

步骤S110，计算异常类别判别阈值，具体为：

利用训练好的Supervised GANomaly模型，将训练样本集中的所有正常样本输入到模型中，计算得到其分类网络输出的属于正常类别和异常类别的信任值(confidencescore)，获得所有正常样本被分为异常类别的信任值的最大值，记该最大值θ为异常类别判别阈值。

在获得训练好的Supervised GANomaly模型后，采用测试集图像对模型进行测试，具体测试过程如图3所示，包括：

步骤S201，读取训练好的Supervised GANomaly模型和相应的异常类别判别阈值。

步骤S202，从测试集图像中读取测试图像。

步骤S203，对测试图像进行预处理，将其作为Supervised GANomaly模型的前向输入。

步骤S204，获取该测试图像在分类网络输出的异常类别信任值。

步骤S205，判断该信任值是否大于异常类别判别阈值，若是，则将测试图像归类到异常类别，若否，则将测试图像归类到正常类别。

对一张新的待检测图片也通过上述步骤进行异常图像检测。

为了验证本发明的性能，本实施例在焊接场景的工业数据上做了实验。该数据集分为训练集和测试集。训练集共包含2400张焊接图片，包括2327张正常的焊接图片和73张异常的焊接图片；测试集共包含292张图片，包括281张正常的焊接图片和11张异常焊接图片。图4中给出了该数据集的正常和异常样本的示例，从图中可以看出，处理该实验数据主要存在以下两个难点：有的异常样本和正常样本差异非常小，如第二行的第一列和第二行的第三列图片；另外，在实际工业场景中，样本表面容易受油污干扰。这两点干扰都会使模型训练变得困难。

本实施例对无监督生成对抗网络的代表性方法GANomaly和本文提出的Supervised GANomaly方法进行了对比。实验中，训练、测试和评估的过程是完全一致的。其中评估方法，本实施例采用了AUC(ROC曲线下的面积)值和AP(平均精度)值。为了验证本发明提出的三个改进点的作用，本实施例首先在原版GANomaly方法上做了实验，然后逐步加上监督信息、在线随机过采样和代价敏感损失，表1列出了详细实验结果。

表1：焊接数据集上的对比实验

异常检测中，异常样本通常远少于正常样本。为了验证本发明提出的SupervisedGANomaly在样本不平衡的情况下的性能，本实施例对异常样本的数目进行了缩减，具体实验结果见表2。从中可以看出，本发明提出的Supervised GANomaly方法在样本极其不平衡(约200比1)的情况下，依然能有保持比较好的异常检测性能(明显优于GANomaly方法)。

表2：Supervised GANomaly在样本不平衡情况下的实验结果

为了进一步理解本发明的实验效果，本实施例还在图5中对GANomaly方法和Supervised GANomaly方法在训练集和测试集上的预测结果进行了直方图统计。从图中可以看出，现有GANomaly方法得到的预测分数中，某些正常样本和异常样本的预测分数分布还有明显交集，这部分相交的样本用GANomaly方法无法区分开；而本发明提出的Supervised GANomaly方法得到的预测分数则没有这个问题，无论在训练集还是在测试集中，正常样本和异常样本的预测分数都能比较好地区分开。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于监督式生成对抗网络的异常图像检测方法，其特征在于，该方法包括以下步骤：

1)获取待检测图片；

2)将所述待检测图片输入一训练好的Supervised GANomaly模型，获得对应的异常类别信任值；

3)判断所述异常类别信任值是否大于一异常类别判别阈值，若是，则判定为异常图像，若否，则判定为正常图像；

所述Supervised GANomaly模型包括生成网络、编码网络、判别网络和分类网络，在训练时，所述生成网络、编码网络和判别网络用于学习正常样本的特征分布，分类网络用于区分正常样本和异常样本；在应用时，由分类网络输出异常类别信任值。

2.根据权利要求1所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述Supervised GANomaly模型的训练过程如下：

101)获取图像数据，包括正常样本队列和异常样本队列；

102)设定训练参数；

103)以在线随机过采样方法从所述图像数据中获得每次迭代需要使用的训练样本，对所述训练样本进行预处理后，作为Supervised GANomaly模型的输入；

104)采用随机梯度下降法交替优化判别网络、生成网络和分类网络，更新各部分网络权值，直至迭代结束；

105)计算获得异常类别判别阈值。

3.根据权利要求2所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述训练参数包括最小批次值N_batch、最大迭代次数M、卷积和反卷积网络的层数以及每层网络的特征图数量。

4.根据权利要求2所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述在线随机过采样方法具体为：

每轮迭代开始前先随机打乱所述正常样本队列和异常样本队列，生成一个[0.25，0.5]之间的随机数R，取异常样本队列中的前张图片作为该轮迭代的异常样本，取正常样本队列中的前张图片作为该轮迭代的正常样本，所述异常样本和正常样本组成该轮迭代的训练样本。

5.根据权利要求2所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述预处理包括图片尺寸归一化和像素值归一化。

6.根据权利要求5所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述像素值归一化具体为：

将图片RGB三通道上的像素值减去训练样本集上所有图片的RGB均值，然后再将所有通道上的像素值归一化成[0，1]之间。

7.根据权利要求2所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，采用所述随机梯度下降法进行优化时，将编码网络作为生成网络的一个子模块参与优化。

8.根据权利要求7所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，采用所述随机梯度下降法进行优化时，基于判别网络的对抗损失函数L_adv、生成网络的重建损失函数L_rec以及分类网络的分类损失函数L_cls更新各部分网络权值，其中，

对抗损失函数L_adv表示为：

重建损失函数L_rec表示为：

分类损失函数L_cls表示为：

其中，G表示生成网络，E表示编码网络，D表示判别网络，C表示分类网络，x表示原始图像，y表示对应标签，表示训练样本集，表示训练标签集，G_E表示从原始图像到原始图特征部分的网络，α、β、γ表示损失权值，w表示样本代价敏感权值，w∈{w_ok，w_ng}，w_ok表示正常样本的代价敏感权值，w_ng表示异常样本的代价敏感权值。

9.根据权利要求8所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述样本代价敏感权值根据每批次中的正常样本和异常样本的数目获得，其中，

正常样本的代价敏感权值为：

异常样本的代价敏感权值为：

10.根据权利要求2所述的基于监督式生成对抗网络的异常图像检测方法，其特征在于，所述异常类别判别阈值通过以下过程获得：

利用训练好的Supervised GANomaly模型，将训练样本集中的所有正常样本输入到模型中，计算得到其分类网络输出的属于正常类别和异常类别的信任值，获得所有正常样本被分为异常类别的信任值的最大值，记该最大值θ为异常类别判别阈值。