CN113658115A - 一种基于深度卷积生成对抗网络的图像异常检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积生成对抗网络的图像异常检测方法，包括步骤：1)数据获取；2)数据处理；3)网络构建；4)定义损失函数；5)训练网络；6)网络验证。本发明结合了空洞卷积残差块的提取图像语义上下文信息的能力以及生成对抗网络的图像生成能力，并且设计和使用了多尺度的条状掩膜来移除图像的部分区域以增强重建效果，提高了正常样本与异常样本之间的可区分性以及检测异常样本和定位异常位置的准确性。

Description

一种基于深度卷积生成对抗网络的图像异常检测方法

技术领域

本发明涉及图像异常检测的技术领域，尤其是指一种基于深度卷积生成对抗网络的图像异常检测方法。

背景技术

图像异常检测是一种检测所给图像中是否存在异常样本以及指出异常样本的位置的技术。异常样本是一种在现实世界中广泛存在的概念，常指不符合人们对正常模式的定义的样本，例如工业产品的瑕疵、疾病检查中的异常症状、安全检查中的违禁品、监控视频中的违规行为等。因此，图像异常检测技术在安全检测、质量检测、医学诊疗、行为预警等方面都有着巨大的应用前景。

对于异常检测问题来说，一方面，异常在现实中的出现频率是非常低的，而且异常的类型又往往是多种多样的。另一方面，正常的样本数量庞大且容易收集。因此，通常很难收集到足够多的异常样本来代表异常的模式，却很容易收集大量的正常样本来代表正常的模式。对此，在无监督的条件下，利用深度卷积神经网络的自重建类型的方法被广泛地应用于图像异常检测。

无监督自重建的图像异常检测方法是指在训练时只采用正常样本对深度卷积神经网络进行训练，然后用训练好的神经网络对输入图像进行重建得到重建图像，通过比对重建图像和输入图像从而检测出异常样本及其位置。近年来，深度自编码器被广泛地应用于自重建类的异常检测方法，但是由于深度自编码器有着较好的泛化性，会使重建图像与异常图像相似，导致异常检测失败。如果对深度自编码器的泛化能力进行直接约束，则会使得输出的重建图像模糊不清、误差变大，不仅不能实现异常样本的准确检测，也降低了正常样本和异常样本的可区分性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度卷积生成对抗网络的图像异常检测方法，该方法结合了空洞卷积残差块的提取图像语义上下文信息的能力以及生成对抗网络的图像生成能力，并且设计和使用了多尺度的条状掩膜来移除图像的部分区域以增强重建效果，突破了之前方法中无法提高正常样本与异常样本之间的可区分性以及无法准确检测异常样本和定位异常位置的限制。

为实现上述目的，本发明所提供的技术方案为：一种基于深度卷积生成对抗网络的图像异常检测方法，包括以下步骤：

1)数据获取：

获取公开的异常检测图像数据集，并划分为训练数据集与验证数据集，其中训练数据集用于深度卷积生成对抗网络训练阶段，验证数据集用于深度卷积生成对抗网络验证阶段；生成深度卷积生成对抗网络训练和验证所需的12张条状掩膜；

2)数据处理：

将异常检测图像数据集的图像和掩膜通过缩放、逐元素相乘和归一化后，转化为训练深度卷积生成对抗网络所需的待重建图像；

3)网络构建：

根据训练目标以及模型的输入输出形式，构造出一个适用于图像异常检测问题的深度卷积生成对抗网络，不仅能够检测到异常样本以及异常位置，也能够提升正常样本和异常样本的可区分性；该网络由生成器和判别器构成，生成器的输入为待重建图像，输出为重建图像，判别器促进重建图像更接近于原始图像，生成器中使用了空洞卷积残差块实现对上下文语义的学习；

4)定义损失函数：

根据训练目标以及深度卷积生成对抗网络的架构，定义生成器所需的重建损失函数和判别器所需的对抗学习损失函数，对重建损失函数和对抗学习损失函数通过加权方式组合成总损失函数；

5)训练网络：

初始化深度卷积生成对抗网络中各个神经网络层的参数，并采用训练数据集进行训练，不断迭代输入训练样本，根据总损失函数计算得到深度卷积生成对抗网络的损失值，再通过反向传播计算出各个神经网络层的参数梯度，通过随机梯度下降法对各个神经网络层的参数进行更新；

6)网络验证：

使用验证数据集对训练后的深度卷积生成对抗网络进行图像异常检测任务的验证，测试训练好的深度卷积生成对抗网络的图像异常检测能力，后续用训练好的深度卷积生成对抗网络对异常检测图像进行检测，即可得到准确的检测结果。

进一步，在步骤1)中，所述异常检测图像数据集包括三个公开数据集MNIST、CIFAR-10、MVTec AD和一个自行收集整理的数据集LaceAD；其中MNIST和CIFAR是经典的图像分类数据集，通过模拟划分正常与异常类别的方式用于图像异常检测；MVTec AD是首个现实世界异常检测数据集；LaceAD是自行收集整理的蕾丝布匹瑕疵数据集；

所述条状掩膜为多尺度的条状掩膜，用于区分哪些区域的内容需要保留、哪些区域的内容需要擦除；在每一张掩膜中，被擦除区域的像素值设置为0，非擦除区域的像素值设置为1，擦除区域与非擦除区域的比例为1:1；通过交换擦除区域和非擦除区域的位置，能够获得一对互补的掩膜，保证异常检测图像数据集中的图像的每个位置被擦除的概率相等；通过改变条形宽度，能够获得不同尺度的掩膜；通过设置水平和垂直两个方向的条纹，能够集合来自不同方向的语义上下文信息。

进一步，所述步骤2)包括以下步骤：

2.1)将异常检测图像数据集中的图像和掩膜缩放到长和宽为512×512像素大小；

2.2)对缩放后的图像和随机抽选的一种掩膜进行逐元素乘积，得到中间图像；

2.3)将中间图像从[0,255]转换到[0,1]的范围内，得到待重建图像。

进一步，所述步骤3)包括：

a、构造生成器

生成器用于对待重建图像进行图像重建，得到重建图像；生成器的输入为3×512×512的待重建图像，输出为3×512×512的重建图像；生成器由编码器、连接编码器和解码器的空洞卷积残差块以及解码器这三部分组成，具体情况如下：

a1、构造编码器

编码器相当于一个特征提取网络，从输入图像中提取高层语义信息并且保存到一个低维的编码中，编码器的输入为3×512×512的待重建图像，输出为512×64×64的编码特征；为实现从输入到输出的转换，编码器包含1个普通卷积块和3个级联的下采样层；普通卷积块由普通卷积层、实例正则化层以及非线性激活函数层组成，其中，普通卷积层设置卷积核大小为7×7，卷积步长为1；下采样层由普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，普通卷积层设置卷积核大小为4×4，卷积步长为2；卷积层用于计算特征映射，实例正则化层通过归一化每个输入样本的单个通道的均值和标准差，起到了加速模型收敛和保持每个样本实例之间的独立的作用，非线性激活函数层用于防止模型退化为简单的线性模型，提高模型的描述能力，编码器中的非线性激活函数层使用的都是ReLU非线性激活函数；

a2、构造空洞卷积残差块

空洞卷积残差块位于编码器与解码器之间，总共有8个空洞卷积残差块，且每个空洞卷积残差块的结构一致，起到学习上下文的语义信息和连通编码器与解码器的作用；每个空洞卷积残差块的输入和输出都是512×64×64的低维编码特征；为实现从输入到输出的转换，每个空洞卷积残差块由普通卷积层、实例正则化层、非线性激活函数层、空洞卷积层和实例正则化层这5个网络层顺序串联组成，其中，普通卷积层设置卷积核大小为3×3，卷积步长为1，将输入特征映射到另一个特征空间，实例正则化层和非线性激活函数层的作用与编码器中相同，非线性激活函数层的激活函数替换为LeakyReLU，避免激活函数的死区问题，空洞卷积层设置卷积核大小为3×3，卷积步长为1，膨胀系数为2，有效地增加了空洞卷积残缺块的感受野，能够获取更多的上下文语义信息；通过将上一个空洞卷积残差块的输入与输出相加的结果作为下一个空洞卷积残差块的输入的方式，将8个空洞卷积残差块堆叠起来，增强网络模型的学习能力，获取更多的空间上距离远的图像信息，从而实现上下文模式学习；

a3、构造解码器

解码器采用与编码器对称的结构，相当于一个特征恢复网络，从低维的编码特征中拆解并还原出重建图像，解码器的输入为512×64×64的低维编码特征，输出为3×512×512的重建图像；为实现从输入到输出的转换，解码器包含3个级联的上采样层和1个普通卷积块；上采样层由最近邻插值操作、普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，最近邻插值操作将特征的宽和高乘以2，普通卷积层设置卷积核大小为3×3，卷积步长为1，实例正则化层和非线性激活函数层的作用与编码器中相同；普通卷积块与编码器中的普通卷积块结构相同；用最近邻插值和普通卷积结合的方式替代反卷积操作实现特征的上采样，能够避免输出图像出现棋盘效应；

b、构造判别器

判别器用于判断重建图像是否属于原始图像，进而根据判断结果来约束生成器输出的重建图像结果，使重建图像更接近原始图像；判别器的输入是一张3×512×512的图像，输出是一个用于指示输入样本类型分布的1×64×64的向量；为实现从输入到输出的转换，判别器采用全卷积的网络架构，共有5个卷积层，每个卷积层都设置卷积核大小为4×4，并且采用了谱归一化来稳定对抗训练的过程；前3个卷积层设置卷积步长为2，在提取编码特征的同时，实现图像特征下采样操作。

进一步，所述步骤4)包括以下步骤：

4.1)定义生成器的损失函数

生成器用于将待重建图像进行修复从而得到的重建图像；重建损失函数的作用是约束生成器输出的重建图像结果，使重建图像与原始图像尽可能接近，重建损失函数定义为重建图像和原始图像之间的均方误差，并且在被擦除区域添加了额外的权重用于强调被擦除区域的修复，公式如下所示：

其中，I是原始图像，M是掩膜，G()代表生成器，⊙是哈达玛积，即逐元素乘积，

是重建图像；L_rec是重建损失，λ_rm是被擦除区域的额外权重，

代表重建图像和原始图像之间的均方误差；

4.2)定义判别器的损失函数

判别器的作用是判定重建图像是否属于原始图像；判别器对于输入的重建图像和原始图像分别输出的判定值的差越大越能说明判别器能很好地区分二者，因此判别器的损失函数定义为二者的判定值的均值的差值；判别器要尽可能地区分重建图像和原始图像，所以当判别器训练到最优时，重建图像通过判别器输出的判定值的均值和原始图像通过判别器输出的判定值的均值之间的差距是最大的，但是此时损失函数必须取得最小值，所以损失函数定义为损失函数的相反数；根据上述两个定义，判别器的对抗学习损失函数的公式如下所示：

其中，L_adv是对抗学习损失，E_I[]代表取均值，D()代表判别器，log代表取对数操作；

4.3)定义总损失函数

步骤4.1)中定义的重建损失函数和步骤4.2)中定义的对抗学习损失函数通过加权的方式组合起来，使得网络能够完成基于图像重建的无监督的图像异常检测的任务，总损失函数的公式如下所示：

L_total＝λ_recL_rec+λ_advL_adv

其中，λ_rec和λ_adv是用于调整重建损失和对抗学习损失比例的超参数，L_total是总损失函数。

进一步，所述步骤5)包括以下步骤：

5.1)初始化各神经网络层的参数

各神经网络层的参数的初始化采用的是对卷积层和反卷积层的参数用均值为0、标准差为0.02的正态分布初始化，而对批量正则化层的参数则用均值为1、标准差为0.02的正态分布进行初始化；

5.2)训练深度卷积生成对抗网络

从步骤1)的训练数据集中随机抽取原始图像以及12张条状掩膜中随机抽取一张掩膜，经过步骤2)得到待重建图像，待重建图像经过步骤3)生成器得到相应的重建图像；重建图像通过步骤4)计算对抗学习损失函数的值、重建损失函数的值以及总损失函数的值；将对抗学习损失的值通过反向传播能够得到步骤3)判别器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对判别器的各神经网络层的参数进行优化；将总损失函数的值通过反向传播能够得到步骤3)生成器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对生成器的各神经网络层的参数进行优化；这样就能够实现一轮深度卷积生成对抗网络的训练；

5.3)持续迭代训练

重复步骤5.2)直到深度卷积生成对抗网络关于图像的异常检测的能力达到预期的目标为止。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明提出了新的网络层--空洞卷积残差块，实现对图像语义上下文信息的有效学习；通过堆叠多个空洞卷积残差块，可进一步增强网络模型的学习能力，获取更多的空间上距离较远的图像信息，使重建图像的重建的纹理内容和结构内容更加符合图像语义上下文内容。

2、本发明提出和设计了多尺度的条状掩膜，并且首次将多尺度的条状掩膜应用于图像异常检测中，促进网络模型更好的利用图像中不同位置的语义上下文信息来对输入图像进行准确重建。多尺度的条状掩膜的使用，保证了图像的不同位置被擦除的概率相同，意味着图像的不同位置的语义信息能被网络模型充分的学习吸收。多尺度的条状掩膜还设置了水平和垂直两个方向的条纹，集合来自不同方向的语义上下文信息，使获取的语义上下文信息更加完整。

3、本发明能够输出更加清晰、真实和合理的重建图像，从根本上提高了正常样本和异常样本的可区分性，从而使得重建图像与输入图像对比时，能够更加准确的识别异常样本以及定位异常位置。现有的自重建类方法虽然对深度自编码器做出了约束，但是输出的图像模糊不清，导致正常样本或区域的重建误差变大，并没有从根本上提升正常样本和异常样本的可区分性，从而导致对于异常样本的检测不准确。本发明通过使用空洞卷积残差块和多尺度条状掩膜，充分利用了图像的语义上下文信息，对网络模型进行了正确的引导以及约束。

附图说明

图1为多尺度的条状掩膜示意图。

图2为生成器示意图。

图3为编码器示意图。

图4为空洞卷积残差块示意图。

图5为解码器示意图。

图6为判别器示意图

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例公开了一种基于深度卷积生成对抗网络的图像异常检测方法，其具体情况如下：

步骤1，获取公开的异常检测图像数据集并划分为训练数据集与验证数据集，分别用于深度卷积生成对抗网络训练阶段和验证阶段；生成如图1所示的深度卷积生成对抗网络训练和验证所需的12张条状掩膜。

异常检测图像数据集包括三个公开数据集MNIST、CIFAR-10、MVTec AD和一个自行收集整理的数据集LaceAD；其中MNIST和CIFAR是经典的图像分类数据集，通过模拟划分正常与异常类别的方式用于图像异常检测；MVTec AD是首个现实世界异常检测数据集；LaceAD是自行收集整理的蕾丝布匹瑕疵数据集。

所述条状掩膜为多尺度的条状掩膜，用于区分哪些区域的内容需要保留、哪些区域的内容需要擦除；在每一张掩膜中，被擦除区域的像素值设置为0，非擦除区域的像素值设置为1，擦除区域与非擦除区域的比例为1:1；通过交换擦除区域和非擦除区域的位置，能够获得一对互补的掩膜，保证异常检测图像数据集中的图像的每个位置被擦除的概率相等；通过改变条形宽度，能够获得不同尺度的掩膜；通过设置水平和垂直两个方向的条纹，能够集合来自不同方向的语义上下文信息。

步骤2，将异常检测图像数据集的图像和掩膜通过缩放、逐元素相乘和归一化后，转化为训练深度卷积生成对抗网络所需的待重建图像，满足深度卷积生成对抗网络的输入要求，包括以下步骤：

步骤2.1，在保持图像长宽比例的前提下，将异常检测图像数据集中的图像和掩膜缩放到长和宽为512×512像素大小。

步骤2.2，对缩放后的图像和随机抽选的一种掩膜进行逐元素乘积，得到中间图像。

步骤2.3，将中间图像从[0,255]转换到[0,1]的范围内，得到待重建图像。

步骤3，根据训练目标以及模型的输入输出形式，构造出一个适用于图像异常检测问题的深度卷积生成对抗网络，不仅能够检测到异常样本以及异常位置，也能够提升正常样本和异常样本的可区分性；该网络由生成器和判别器构成，生成器结构如图2所示，包括1个编码器、8个空洞卷积残差块和1个解码器；判别器结构如图6所示。生成器的输入为待重建图像，输出为重建图像，判别器促进重建图像更接近于原始图像，生成器中使用了空洞卷积残差块实现对上下文语义的学习；其具体情况如下：

a、构造生成器的编码器。编码器相当于一个特征提取网络，从输入图像中提取高层语义信息并且保存到一个低维的编码中。编码器的输入为3×512×512的待重建图像，输出为512×64×64的编码特征。如图3所示，编码器包含1个普通卷积块和3个级联的下采样层。普通卷积块由普通卷积层、实例正则化层以及非线性激活函数层组成，其中，普通卷积层设置卷积核大小为7×7，卷积步长为1；下采样层由普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，普通卷积层设置卷积核大小为4×4，卷积步长为2；卷积层用于计算特征映射，实例正则化层通过归一化每个输入样本的单个通道的均值和标准差，起到了加速模型收敛和保持每个样本实例之间的独立的作用，非线性激活函数层用于防止模型退化为简单的线性模型，提高模型的描述能力，编码器中的非线性激活函数层使用的都是ReLU非线性激活函数。

b、构造生成器的空洞卷积残差块。空洞卷积残差块位于编码器与解码器之间，8个空洞卷积残差块的结构一致，如图4所示，都由普通卷积层、实例正则化层、非线性激活函数层、空洞卷积层和实例正则化层这5个网络层顺序串联组成，起到学习上下文的语义信息和连通编码器与解码器的作用。每个空洞卷积残差块的输入和输出都是512×64×64的低维编码特征。为实现从输入到输出的转换，每个空洞卷积残差块由普通卷积层、实例正则化层、非线性激活函数层、空洞卷积层和实例正则化层这5个网络层顺序串联组成，其中，普通卷积层设置卷积核大小为3×3，卷积步长为1，将输入特征映射到另一个特征空间，实例正则化层和非线性激活函数层的作用与编码器中相同，非线性激活函数层的激活函数替换为LeakyReLU，避免激活函数的死区问题，空洞卷积层设置卷积核大小为3×3，卷积步长为1，膨胀系数为2，有效地增加了空洞卷积残缺块的感受野，能够获取更多的上下文语义信息；通过将上一个空洞卷积残差块的输入与输出相加的结果作为下一个空洞卷积残差块的输入的方式，将8个空洞卷积残差块堆叠起来，增强网络模型的学习能力，获取更多的空间上距离远的图像信息，从而实现上下文模式学习。

c、构造生成器的解码器。解码器采用与编码器对称的结构，相当于一个特征恢复网络，从低维的编码特征中拆解并还原出重建图像。解码器的输入为512×64×64的低维编码特征，输出为3×512×512的重建图像。如图5所示，解码器包含3个级联的上采样层和1个普通卷积块。上采样层由最近邻插值操作、普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，最近邻插值操作将特征的宽和高乘以2，普通卷积层设置卷积核大小为3×3，卷积步长为1，实例正则化层和非线性激活函数层的作用与编码器中相同；普通卷积块与编码器中的普通卷积块结构相同；用最近邻插值和普通卷积结合的方式替代反卷积操作实现特征的上采样，能够避免输出图像出现棋盘效应。

d、构造判别器。判别器用于判断重建图像是否属于原始图像，进而根据判断结果来约束生成器输出的重建图像结果，使重建图像更接近原始图像。判别器的输入是一张3×512×512的图像，输出是一个用于指示输入样本类型分布的1×64×64的向量。如图6所示，判别器采用全卷积的网络架构，共有5个卷积层，每个卷积层都设置卷积核大小为4×4，并且采用了谱归一化来稳定对抗训练的过程；前3个卷积层设置卷积步长为2，在提取编码特征的同时，实现图像特征下采样操作。

步骤4，根据训练目标以及深度卷积生成对抗网络的架构，定义生成器所需的重建损失函数和判别器所需的对抗学习损失函数，对重建损失函数和对抗学习损失函数通过加权方式组合成总损失函数，包括以下步骤：

步骤4.1，定义生成器的损失函数。

生成器用于将待重建图像进行修复从而得到的重建图像；重建损失函数的作用是约束生成器输出的重建图像结果，使重建图像与原始图像尽可能接近，重建损失函数定义为重建图像和原始图像之间的均方误差，并且在被擦除区域添加了额外的权重用于强调被擦除区域的修复，公式如下所示：

其中，I是原始图像，M是掩膜，G()代表生成器，⊙是哈达玛积，即逐元素乘积，

是重建图像；L_rec是重建损失，λ_rm是被擦除区域的额外权重，

代表重建图像和原始图像之间的均方误差；

步骤4.2，定义判别器的损失函数。

判别器的作用是判定重建图像是否属于原始图像；判别器对于输入的重建图像和原始图像分别输出的判定值的差越大越能说明判别器能很好地区分二者，因此判别器的损失函数定义为二者的判定值的均值的差值；判别器要尽可能地区分重建图像和原始图像，所以当判别器训练到最优时，重建图像通过判别器输出的判定值的均值和原始图像通过判别器输出的判定值的均值之间的差距是最大的，但是此时损失函数必须取得最小值，所以损失函数定义为损失函数的相反数；根据上述两个定义，判别器的对抗学习损失函数的公式如下所示：

其中，L_adv是对抗学习损失，E_I[]代表取均值，D()代表判别器，log代表取对数操作；

步骤4.3，定义总损失函数。

步骤4.1中定义的重建损失函数和步骤4.2中定义的对抗学习损失函数通过加权的方式组合起来，使得网络能够完成基于图像重建的无监督的图像异常检测的任务，总损失函数的公式如下所示：

L_total＝λ_recL_rec+λ_advL_adv

其中，λ_rec和λ_adv是用于调整重建损失和对抗学习损失比例的超参数，L_total是总损失函数。

步骤5，训初始化深度卷积生成对抗网络中各个神经网络层的参数，并采用训练数据集进行训练，不断迭代输入训练样本，根据总损失函数计算得到深度卷积生成对抗网络的损失值，再通过反向传播计算出各个神经网络层的参数梯度，通过随机梯度下降法对各个神经网络层的参数进行更新；其包括以下步骤：

步骤5.1，初始化各神经网络层的参数。

各神经网络层的参数的初始化采用的是对卷积层和反卷积层的参数用均值为0、标准差为0.02的正态分布初始化，而对批量正则化层的参数则用均值为1、标准差为0.02的正态分布进行初始化。

步骤5.2，训练深度卷积生成对抗网络。

从步骤1的训练数据集中随机抽取原始图像以及12张条状掩膜中随机抽取一张掩膜，经过步骤2得到待重建图像，待重建图像经过步骤3生成器得到相应的重建图像；重建图像通过步骤4计算对抗学习损失函数的值、重建损失函数的值以及总损失函数的值；将对抗学习损失的值通过反向传播能够得到步骤3判别器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对判别器的各神经网络层的参数进行优化；将总损失函数的值通过反向传播能够得到步骤3生成器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对生成器的各神经网络层的参数进行优化；这样就能够实现一轮深度卷积生成对抗网络的训练。

步骤5.3，持续迭代训练。

重复步骤5.2直到深度卷积生成对抗网络关于图像的异常检测的能力达到预期的目标为止。

步骤6，使用验证数据集对训练后的深度卷积生成对抗网络进行图像异常检测任务的验证，测试训练好的深度卷积生成对抗网络的图像异常检测能力，后续用训练好的深度卷积生成对抗网络对异常检测图像进行检测，即可得到准确的检测结果，具体如下：

随机从验证数据集中取出一些原始图像，每张原始图像与如图1所示的12张条状掩膜一同经过步骤2处理后得到对应的12张待重建图像。待重建图像输入到步骤5训练好的生成器得到重建图像。每张原始图像与对应的12张重建图像分别计算在相应的掩膜的擦除区域中图像像素之间的差值的平方，得到12张误差图。取误差最大的误差图的均值作为该张原始图像的异常程度的表示。通过输出的异常程度与原始图像的异常程度进行比对，从而判断该训练好的深度卷积生成对抗网络的图像异常检测能力。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，包括以下步骤：

1)数据获取：

获取公开的异常检测图像数据集，并划分为训练数据集与验证数据集，其中训练数据集用于深度卷积生成对抗网络训练阶段，验证数据集用于深度卷积生成对抗网络验证阶段；生成深度卷积生成对抗网络训练和验证所需的12张条状掩膜；

2)数据处理：

将异常检测图像数据集的图像和掩膜通过缩放、逐元素相乘和归一化后，转化为训练深度卷积生成对抗网络所需的待重建图像；

3)网络构建：

根据训练目标以及模型的输入输出形式，构造出一个适用于图像异常检测问题的深度卷积生成对抗网络，不仅能够检测到异常样本以及异常位置，也能够提升正常样本和异常样本的可区分性；该网络由生成器和判别器构成，生成器的输入为待重建图像，输出为重建图像，判别器促进重建图像更接近于原始图像，生成器中使用了空洞卷积残差块实现对上下文语义的学习；

4)定义损失函数：

根据训练目标以及深度卷积生成对抗网络的架构，定义生成器所需的重建损失函数和判别器所需的对抗学习损失函数，对重建损失函数和对抗学习损失函数通过加权方式组合成总损失函数；

5)训练网络：

初始化深度卷积生成对抗网络中各个神经网络层的参数，并采用训练数据集进行训练，不断迭代输入训练样本，根据总损失函数计算得到深度卷积生成对抗网络的损失值，再通过反向传播计算出各个神经网络层的参数梯度，通过随机梯度下降法对各个神经网络层的参数进行更新；

6)网络验证：

使用验证数据集对训练后的深度卷积生成对抗网络进行图像异常检测任务的验证，测试训练好的深度卷积生成对抗网络的图像异常检测能力，后续用训练好的深度卷积生成对抗网络对异常检测图像进行检测，即可得到准确的检测结果。

2.根据权利要求1所述的一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，在步骤1)中，所述异常检测图像数据集包括三个公开数据集MNIST、CIFAR-10、MVTec AD和一个自行收集整理的数据集LaceAD；其中MNIST和CIFAR是经典的图像分类数据集，通过模拟划分正常与异常类别的方式用于图像异常检测；MVTec AD是首个现实世界异常检测数据集；LaceAD是自行收集整理的蕾丝布匹瑕疵数据集；

所述条状掩膜为多尺度的条状掩膜，用于区分哪些区域的内容需要保留、哪些区域的内容需要擦除；在每一张掩膜中，被擦除区域的像素值设置为0，非擦除区域的像素值设置为1，擦除区域与非擦除区域的比例为1:1；通过交换擦除区域和非擦除区域的位置，能够获得一对互补的掩膜，保证异常检测图像数据集中的图像的每个位置被擦除的概率相等；通过改变条形宽度，能够获得不同尺度的掩膜；通过设置水平和垂直两个方向的条纹，能够集合来自不同方向的语义上下文信息。

3.根据权利要求1所述的一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，所述步骤2)包括以下步骤：

2.1)将异常检测图像数据集中的图像和掩膜缩放到长和宽为512×512像素大小；

2.2)对缩放后的图像和随机抽选的一种掩膜进行逐元素乘积，得到中间图像；

2.3)将中间图像从[0,255]转换到[0,1]的范围内，得到待重建图像。

4.根据权利要求1所述的一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，所述步骤3)包括：

a、构造生成器

生成器用于对待重建图像进行图像重建，得到重建图像；生成器的输入为3×512×512的待重建图像，输出为3×512×512的重建图像；生成器由编码器、连接编码器和解码器的空洞卷积残差块以及解码器这三部分组成，具体情况如下：

a1、构造编码器

编码器相当于一个特征提取网络，从输入图像中提取高层语义信息并且保存到一个低维的编码中，编码器的输入为3×512×512的待重建图像，输出为512×64×64的编码特征；为实现从输入到输出的转换，编码器包含1个普通卷积块和3个级联的下采样层；普通卷积块由普通卷积层、实例正则化层以及非线性激活函数层组成，其中，普通卷积层设置卷积核大小为7×7，卷积步长为1；下采样层由普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，普通卷积层设置卷积核大小为4×4，卷积步长为2；卷积层用于计算特征映射，实例正则化层通过归一化每个输入样本的单个通道的均值和标准差，起到了加速模型收敛和保持每个样本实例之间的独立的作用，非线性激活函数层用于防止模型退化为简单的线性模型，提高模型的描述能力，编码器中的非线性激活函数层使用的都是ReLU非线性激活函数；

a2、构造空洞卷积残差块

空洞卷积残差块位于编码器与解码器之间，总共有8个空洞卷积残差块，且每个空洞卷积残差块的结构一致，起到学习上下文的语义信息和连通编码器与解码器的作用；每个空洞卷积残差块的输入和输出都是512×64×64的低维编码特征；为实现从输入到输出的转换，每个空洞卷积残差块由普通卷积层、实例正则化层、非线性激活函数层、空洞卷积层和实例正则化层这5个网络层顺序串联组成，其中，普通卷积层设置卷积核大小为3×3，卷积步长为1，将输入特征映射到另一个特征空间，实例正则化层和非线性激活函数层的作用与编码器中相同，非线性激活函数层的激活函数替换为LeakyReLU，避免激活函数的死区问题，空洞卷积层设置卷积核大小为3×3，卷积步长为1，膨胀系数为2，有效地增加了空洞卷积残缺块的感受野，能够获取更多的上下文语义信息；通过将上一个空洞卷积残差块的输入与输出相加的结果作为下一个空洞卷积残差块的输入的方式，将8个空洞卷积残差块堆叠起来，增强网络模型的学习能力，获取更多的空间上距离远的图像信息，从而实现上下文模式学习；

a3、构造解码器

解码器采用与编码器对称的结构，相当于一个特征恢复网络，从低维的编码特征中拆解并还原出重建图像，解码器的输入为512×64×64的低维编码特征，输出为3×512×512的重建图像；为实现从输入到输出的转换，解码器包含3个级联的上采样层和1个普通卷积块；上采样层由最近邻插值操作、普通卷积层、实例正则化层以及非线性激活函数层串联而成，其中，最近邻插值操作将特征的宽和高乘以2，普通卷积层设置卷积核大小为3×3，卷积步长为1，实例正则化层和非线性激活函数层的作用与编码器中相同；普通卷积块与编码器中的普通卷积块结构相同；用最近邻插值和普通卷积结合的方式替代反卷积操作实现特征的上采样，能够避免输出图像出现棋盘效应；

b、构造判别器

判别器用于判断重建图像是否属于原始图像，进而根据判断结果来约束生成器输出的重建图像结果，使重建图像更接近原始图像；判别器的输入是一张3×512×512的图像，输出是一个用于指示输入样本类型分布的1×64×64的向量；为实现从输入到输出的转换，判别器采用全卷积的网络架构，共有5个卷积层，每个卷积层都设置卷积核大小为4×4，并且采用了谱归一化来稳定对抗训练的过程；前3个卷积层设置卷积步长为2，在提取编码特征的同时，实现图像特征下采样操作。

5.根据权利要求1所述的一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，所述步骤4)包括以下步骤：

4.1)定义生成器的损失函数

生成器用于将待重建图像进行修复从而得到的重建图像；重建损失函数的作用是约束生成器输出的重建图像结果，使重建图像与原始图像尽可能接近，重建损失函数定义为重建图像和原始图像之间的均方误差，并且在被擦除区域添加了额外的权重用于强调被擦除区域的修复，公式如下所示：

其中，I是原始图像，M是掩膜，G()代表生成器，⊙是哈达玛积，即逐元素乘积，

是重建图像；L_rec是重建损失，λ_rm是被擦除区域的额外权重，

代表重建图像和原始图像之间的均方误差；

4.2)定义判别器的损失函数

判别器的作用是判定重建图像是否属于原始图像；判别器对于输入的重建图像和原始图像分别输出的判定值的差越大越能说明判别器能很好地区分二者，因此判别器的损失函数定义为二者的判定值的均值的差值；判别器要尽可能地区分重建图像和原始图像，所以当判别器训练到最优时，重建图像通过判别器输出的判定值的均值和原始图像通过判别器输出的判定值的均值之间的差距是最大的，但是此时损失函数必须取得最小值，所以损失函数定义为损失函数的相反数；根据上述两个定义，判别器的对抗学习损失函数的公式如下所示：

其中，L_adv是对抗学习损失，E_I[]代表取均值，D()代表判别器，log代表取对数操作；

4.3)定义总损失函数

步骤4.1)中定义的重建损失函数和步骤4.2)中定义的对抗学习损失函数通过加权的方式组合起来，使得网络能够完成基于图像重建的无监督的图像异常检测的任务，总损失函数的公式如下所示：

L_total＝λ_recL_rec+λ_advL_adv

其中，λ_rec和λ_adv是用于调整重建损失和对抗学习损失比例的超参数，L_total是总损失函数。

6.根据权利要求1所述的一种基于深度卷积生成对抗网络的图像异常检测方法，其特征在于，所述步骤5)包括以下步骤：

5.1)初始化各神经网络层的参数

各神经网络层的参数的初始化采用的是对卷积层和反卷积层的参数用均值为0、标准差为0.02的正态分布初始化，而对批量正则化层的参数则用均值为1、标准差为0.02的正态分布进行初始化；

5.2)训练深度卷积生成对抗网络

从步骤1)的训练数据集中随机抽取原始图像以及12张条状掩膜中随机抽取一张掩膜，经过步骤2)得到待重建图像，待重建图像经过步骤3)生成器得到相应的重建图像；重建图像通过步骤4)计算对抗学习损失函数的值、重建损失函数的值以及总损失函数的值；将对抗学习损失的值通过反向传播能够得到步骤3)判别器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对判别器的各神经网络层的参数进行优化；将总损失函数的值通过反向传播能够得到步骤3)生成器的各神经网络层的参数梯度，再通过随机梯度下降法使得到的梯度对生成器的各神经网络层的参数进行优化；这样就能够实现一轮深度卷积生成对抗网络的训练；

5.3)持续迭代训练

重复步骤5.2)直到深度卷积生成对抗网络关于图像的异常检测的能力达到预期的目标为止。

Images