CN112101426B - 基于自编码器的无监督学习图像异常检测方法 - Google Patents

Abstract

本发明公开了一种基于自编码器的无监督学习图像异常检测方法，该方法为：将样本分为训练样本和测试样本，分别对训练样本和测试样本进行预处理，然后将预处理之后的训练样本/测试样本输入到自编码器进行重建得到重建结果，分别计算其重建损失、重建过程中编码器和解码器对应层之间的加权特征一致性损失、特征判别损失和对抗损失；然后对上述损失加权求和，作为总的损失函数；最后计算测试样本的异常得分。然后使用特征归一化将每个样本的异常得分映射到[0,1]，计算接收者操作特征曲线下的面积作为评估指标。本发明利用自编码器和判别的潜在空间特征来提升无监督异常检测的准确率，应用于工业、安防或其他的无监督环境中。

Description

基于自编码器的无监督学习图像异常检测方法

技术领域

本发明涉及一种基于自编码器的无监督学习图像异常检测方法，属于视觉异常检测技术领域。

背景技术

异常检测是指在数据中发现不符合预期行为模式的数据，因此也称为离群检测。异常检测是机器学习中的一个重要的领域，涉及多个领域的实际应用，比如网络入侵检测、安检、医学诊断、视频监视。在许多应用中，缺少有标签的数据来区分异常点和正常点，它们需要以无监督或者半监督的方式检测。

自编码器是一种无监督的表示学习模型，由编码器和解码器组成，可以用于压缩数据和特征提取。其思路是通过编码器将输入数据映射到一个潜在特征空间，再利用解码器将这个潜在特征空间的信息映射到重构空间。在大多数情况下，编码器和解码器都是由神经网络实现，因此自编码器可以提取数据中非线性信息。

目前许多使用自编码或者其编码的异常检测方法都是基于重建输入，这类方法一般分为两个步骤：首先，使用基于自编码器或者其变体重建输入数据；然后，选择一个度量重建误差的方式进行异常检测。这类方法基本都是专注于重建误差来使样本的重建结果更接近于输入样本，没有充分利用自编码器潜在空间的特征。因此，本发明在重建误差的基础上对异常检测算法的效果进行提升。

发明内容

发明目的：基于以上内容，本发明的目的在于提供一种基于自编码器的无监督学习图像异常检测方法，利用自编码器和判别的潜在空间特征来提升无监督异常检测的准确率，应用于工业、安防或其他的无监督环境中。

上述的目的通过以下技术方案实现：

基于自编码器的无监督学习图像异常检测方法，该方法包括如下步骤：

步骤(1)训练阶段：

1-1.对训练样本进行预处理：将训练样本的输入图像大小由1×28×28转换成3×32×32，并进行随机水平翻转；

1-2.将步骤1-1中预处理之后的训练样本输入到自编码器进行重建得到训练样本的重建结果，计算训练样本与训练样本的重建结果之间的重建损失，计算重建过程中编码器和解码器对应层之间的加权特征一致性损失；

1-3.将步骤1-1中预处理之后的训练样本和步骤1-2中得到的训练样本的重建结果输入到判别器，计算训练样本的特征判别损失和对抗损失；

1-4.将步骤1-2中的重建损失和加权特征一致性损失以及步骤1-3中的特征判别损失和对抗损失进行加权求和，作为训练阶段的总的损失函数；

步骤(2)检测阶段：

2-1.对测试样本进行预处理：将测试样本的输入图像大小由1×28×28转换成3×32×32；

2-2.将步骤2-1预处理之后的测试样本输入到自编码器进行重建得到测试样本的重建结果，计算测试样本的重建损失和加权特征一致性损失；

2-3.将步骤2-2中得到的生成样本和步骤2-1中预处理后的测试样本输入到判别器，计算测试样本的特征判别损失；

2-4.根据步骤2-2中计算得到的测试样本的重建损失、加权特征一致性损失，以及步骤2-3中得到的测试样本的特征判别损失，三者的加权和计算测试样本的异常得分。

所述的基于自编码器的无监督学习图像异常检测方法，步骤1-1的具体方法为：使用PyTorch框架中transforms类对数据进行预处理，其中使用transforms.Resize()方法将样本调整为32×32；使用transforms.Grayscale()方法将单通道样本转换为三通道；使用transforms.RandomHorizontalFlip()方法对样本进行随机水平翻转。

所述的基于自编码器的无监督学习图像异常检测方法，步骤1-2中所述的训练样本与训练样本的重建结果之间的重建损失的计算方式如下所示：

其中，||·||₁表示平均绝对误差；

为训练样本与训练样本的重建结果之间的重建损失；x表示预处理之后的训练样本；

表示训练样本的重建结果；A表示自编码器；

步骤1-2所述的加权特征一致性损失是指将预处理之后的样本输入到自编码器中进行重建，对编码器和解码器对应层之间的差异求加权和，计算公式为：

其中，||·||₂表示均方误差；

为训练样本的加权特征一致性损失；

w_i是一个标量，表示编码器和解码器对应隐藏层的均方差权重；

α表示编码器E和解码器D的层数；

x表示预处理之后的训练样本；

E_:i(x)表示以x作为输入时编码器第i层的输出；

D_:α-i(x)指以x作为输入时解码器第i层的输出；

编码器隐藏层输出的加权级联表示为

解码器隐藏层输出的加权级联表示为

其中，α表示编码器E和解码器D的层数，取整数；

表示级联。

所述的基于自编码器的无监督学习图像异常检测方法，步骤1-3的具体方法为：将训练样本和训练样本的重建结果输入到判别器中，计算两者在判别器中大小为[-1,100,1,1]的潜在特征空间中的特征判别损失，计算公式如下所示：

其中，||·||₂表示均方误差；

为训练样本的特征判别损失；L(x)表示将预处理之后的训练样本x映射到潜在空间L；A(x)表示自编码器A对x的重建结果；步骤1-3所述的对抗损失是用来增强自动编码器训练样本的重建结果的质量，自动编码器会根据判别器的输出结果进行更新，最小最大值函数

对于自动编码器A，最小化判别器Γ的最大目标，训练样本的对抗损失

公式表示为：

所述的基于自编码器的无监督学习图像异常检测方法，所述的判别器由在ImageNet数据集上预训练的VGG16_BN模型的前24层和分类网络组成，其中分类网络由卷积和空洞卷积构成。

所述的基于自编码器的无监督学习图像异常检测方法，步骤1-4中所述训练阶段的总的损失函数

的计算方法为：

其中λ_A,λ_R,λ_W和λ_F是调整各个损失项在总的损失函数中重要程度的权重参数。

所述的基于自编码器的无监督学习图像异常检测方法，步骤2-1的具体方法为：使用PyTorch框架中transforms类对测试样本进行预处理，其中使用transforms.Resize()方法将样本调整为32×32；使用transforms.Grayscale()方法将单通道的测试样本转换为三通道。

所述的基于自编码器的无监督学习图像异常检测方法，步骤2-2所述的测试样本与测试样本重建结果之间的重建损失的计算方式如下所示：

其中，||·||₁表示平均绝对误差；

为测试样本与测试样本重建结果之间的重建损失；x′表示预处理之后的测试样本；

表示测试样本的重建结果；A表示自编码器，

步骤2-2所述的测试样本的加权特征一致性损失是指将预处理之后的测试样本输入到自编码器中进行重建，对编码器和解码器对应层之间的差异求加权和，计算公式为：

其中，||·||₂表示均方误差；

为测试样本的加权特征一致性损失；w_i是一个标量，表示编码器和解码器对应隐藏层的均方差权重；

α表示编码器E和解码器D的层数，取整数；

x′表示预处理之后的测试样本；

E_:i(x′)表示以x′作为输入时编码器第i层的输出；

D_:α-i(x′)指以x′作为输入时解码器第i层的输出；

编码器隐藏层输出的加权级联表示为

解码器隐藏层输出的加权级联表示为

其中，α表示编码器E和解码器D的层数，取整数；

表示级联。

所述的基于自编码器的无监督学习图像异常检测方法，步骤2-3的具体方法为：将预处理之后的测试样本和测试样本的重建结果输入到判别器中，计算两者在判别器中大小为[-1,100,1,1]的潜在特征空间的特征判别损失，计算公式如下所示：

其中，||·||₂表示均方误差；

为训练样本的特征判别损失；L(x′)表示将预处理之后的测试样本x′映射到潜在空间L；A(x′)表示自编码器A对x′的重建结果。

所述的基于自编码器的无监督学习图像异常检测方法，步骤2-4的具体方法为：设置不同的超参数控制各项损失的比重，计算测试样本的重建损失、加权特征一致性损失和特征判别损失的加权和，计算测试样本的异常得分，公式如下所示：

其中

表示预处理之后的测试样本x′的异常得分；λ′_R,λ′_W,和λ′_F是用来控制对应项的比重的权重参数，计算得到整个测试集的异常得分集合后，得到集合的最大值和最小值，使用特征归一化将每个样本的异常得分映射到[0,1]，最后计算接收者操作特征曲线下的面积(Area Under the Receiver Operating Characteristic curve，AUROC)作为评估指标。

有益效果：与现有技术相比，本发明具有如下有益效果：

1.本发明提出基于自编码器的无监督学习图像异常检测方法，本发明采用的改进的自编码器即基于对抗损失、加权特征一致性损失、特征判别损失和重建损失来训练自编码器，该自编码器不仅使用基于输入样本和重建样本的重建损失，还利用自编码器的加权特征一致性损失。在训练阶段仅使用正常类别的样本，在测试时使用正常类别和异常类别混合的样本数据集。之前的工作基本都是专注于输入样本与重建样本之间的差异来使样本的重建结果更接近于输入样本，没有充分利用自编码器的加权特征一致性损失。因此，本发明在重建误差的基础上对异常检测算法的效果进行提升。

2.本发明的判别器由在ImageNet数据集上预训练的VGG16_BN模型的前24层和分类网络组成，其中分类网络由卷积和空洞卷积构成。预训练的VGG16_BN模型可以更准确稳定地提取图像的特征，空洞卷积扩充感受野的同时也减少了语义信息损失，有利于提升检测准确率。

3.本发明使用无监督的方法可以更好地应用在工业、安防等场合下，减少人工标注的成本。而且改进了以往的基于重建输入的异常检测方法没有充分利用自编码器和判别器潜在空间特征差异的不足，将潜在空间特征与原始空间特征结合，克服了以往方法的缺陷，提升了异常检测准确率。本发明在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验结果优于主流的方法，在多模态正常下AUROC分别达到了0.969、0.822、0.834和0.791；在单模态正常模式下，本发明在CIFAR-10数据集上分别在10％，20％，30％，40％和50％的异常比率下分别取得0.825、0.819、0.824、0.829和0.823的AUROC。

附图说明

图1为异常检测模型训练示意图。

图2为异常检测模型测试示意图。

图3为多模态正常模式下本发明与主流方法的比较图。

图4为单模态正常模式下本发明与主流方法的比较图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

本发明的基于自编码器的无监督学习图像异常检测方法，将异常图像检测分为模型训练和模型测试两个阶段，其流程图分别如图1和图2所示，在训练阶段具体步骤如下：

使用PyTorch框架中transforms类对数据进行预处理，其中使用transforms.Resize()方法将样本调整为32×32；使用transforms.Grayscale()方法将单通道样本转换为三通道；使用transforms.RandomHorizontalFlip()方法对样本进行随机水平翻转。

将数据集按类别分为训练集和测试集，其中训练集中没有异常样本，测试集包含异常样本和正常样本。本发明通过控制异常样本的类别数和占数据集的比例分成两种训练模式：多模态正常模式和单模态正常模式。

多模态正常模式是指选择一个类别作为异常类别，并将其余类别指定为正常类别，依次将所有类别作为异常类别进行训练和测试。以CIFAR-10数据集为例，训练集包含45000张正常样本，测试集包含6000张异常样本和9000张正常样本。

单模态正常模式是指选择一个类别作为正常类别，并将其余类别指定为异常类别。以CIFAR-10数据集为例，依次将所有类别作为正常类别进行训练和测试。本发明分别设置测试集中异常数据的比率为10％,20％,30％,40％和50％.

将预处理之后的测试样本输入到自编码器中，对其进行重建，比较并计算输入的测试样本与测试样本重建结果之间的差异，本发明利用平均绝对误差计算重建损失

其中，||·||₁表示平均绝对误差；x表示输入样本；

表示测试样本的重建结果；A表示自编码器。

平均绝对误差是在图像的整个像素上进行求平均，可能会忽略图像子区域内发生异常事件。为了减缓这个问题，本发明提出了加权特征一致性损失。加权特征一致性损失可以充分利用自编码器中潜在空间中多尺度的特征，从而减缓平均绝对误差平均像素带来的弊端。本实施例中的自编码器A由编码器E和解码器D组成，E由卷积层、批规范化层(BatchNormalization)、激活函数带泄露线性整流函数(Leaky ReLU)和线性整流函数(ReLU)组成；D由转置卷积层、批规范化层(Batch Normalization)、线性整流函数(ReLU)和双曲正切函数(Tanh)组成；并且在编码器E和解码器D之间使用跳跃连接，可以促进梯度反向传播，提升重建结果的质量。自编码器A可以表示为：

其中

表示层之间连接关系，α和β分别表示E和D的隐藏层层数，E_i和D_j分别表示编码器的第i层和解码器的第j层(0≤i≤α,0≤j≤β)。在本发明的模型中，α＝β。编码器中某一层的输出可以分别表示为：

类似地，解码器中某一层的输出可以分别表示为：

因此，自编码器的重建输出为：

加权特征一致性损失分为求均方差和加权求和两个步骤。首先，将编码器中第0层到第α层的输出和解码器中对应层的输出分别求均方差。然后将每一层的均方差损失通过加权求和。其计算公式如下所示：

其中，||·||₂表示均方误差；

表示加权特征一致损失；w_i是一个标量，表示编码器和解码器对应隐藏层的均方差权重。

通过对抗损失、重建损失和特征一致性损失，自编码器可以生成出较好质量的样本的重建结果。但是，判别器的性能还需要进一步提升。于是本发明提出了特征判别损失，通过比较真实样本与样本的重建结果在判别器的潜在空间中的特征表示来提升判别器鉴别真伪数据的能力。本发明的模型中的判别器由一个截断的在ImageNet数据集上预训练的VGG16_BN模型和一个分类网络构成，利用VGG16_BN大小为[-1,256,4,4]的潜在特征作为分类网络的输入；并将网络的输出映射到潜在空间L。本发明对真实样本和测试样本重建结果在潜在空间中的特征表示使用基于L2范数的均方根误差，如下所示：

其中，||·||₂表示均方误差；L(x)表示将x映射到潜在空间L，A(x)表示自编码器对输入x的重建结果。

本发明利用对抗性损失来增强由自动编码器重构的样本的质量。自动编码器会根据辨别器的真实或虚假判断进行更新。

对于自动编码器A用于最小化鉴别器Γ的最大目标

通过对抗训练，自动编码器可以真实地重建样本，并且可以增强其识别假样本的能力。对抗损失表示为：

最后，总训练目标成为上述损失的加权和：

其中λ_A,λ_R,λ_W和λ_F是调整各个损失项在总的损失函数中重要程度的权重参数，本实施例中各权重参数的取值为λ_A＝1，λ_R＝50，λ_W＝10，λ_F＝5。

在测试阶段具体步骤如下：

在测试阶段，本发明的模型为每个测试样本提供一个异常得分，以此判断样本是否异常。在相关的基于重建输入的方法一般使用重建误差计算异常得分，主要是使用L1或者L2范数来衡量真实样本与重构样本之间的相似性。这种方式只是通过输入空间和输出空间进行异常检测，没有利用潜在空间的特征信息。为了更充分利用潜在空间的特征进行异常检测，本发明增加了潜在空间特征一致性损失、特征判别损失。对于测试集T′中的测试样本x′，本发明的异常得分函数如下所示：

其中λ′_R,λ′_W,和λ′_F是用来控制对应项的比重的权重参数，本实施例中的取值为λ′_R＝0.3，λ′_W＝0.5，λ′_F＝0.2。公式(7)可以计算测试集T′中每个样本的异常得分。本发明将测试集中所有样本的异常得分

表示异常得分集合

可以得到集合中的最大值和最小值。然后，应用特征缩放来使异常分数在[0,1]的概率范围内。因此，异常得分函数变成了：

其中

和

分别表示集合

中的最大值和最小值。通过式(8)计算异常得分，然后绘制接收者操作特征曲线(Receiver Operating Characteristic Curve，ROC)，并计算接收者操作特征曲线下面积(Area Under the Receiver OperatingCharacteristic curve，AUROC)。

如说明书附图3和4展示了本发明与Skip-GANomaly(Skip-ganomaly:Skipconnected and adversariallytrained encoder-decoder anomaly detection)，OCGAN(Ocgan:One-class novelty detection using gans with constrainedlatentRepresentations)和RaPP(Rapp:Novelty detection with reconstructionalongprojection pathway)论文中提出的Skip-GANomaly、OCGAN和RaPP方法的实验结果比较。在多模态正常模式下本发明在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的AUROC分别达到了0.969、0.822、0.834和0.791，优于比较的几种方法。在单模态正常模式下本发明在10％，20％，30％，40％和50％的异常比率下分别取得0.825、0.819、0.824、0.829和0.823的AUROC，优于Skip-GANomaly、OCGAN和RaPP方法。

上述具体实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于自编码器的无监督学习图像异常检测方法，其特征在于：该方法包括如下步骤：

步骤(1)训练阶段：

1-1.对训练样本进行预处理：将训练样本的输入图像大小由1×28×28转换成3×32×32，并进行随机水平翻转；

1-2.将步骤1-1中预处理之后的训练样本输入到自编码器进行重建得到训练样本的重建结果，计算训练样本与训练样本的重建结果之间的重建损失，计算重建过程中编码器和解码器对应层之间的加权特征一致性损失；

1-3.将步骤1-1中预处理之后的训练样本和步骤1-2中得到的训练样本的重建结果输入到判别器，计算训练样本的特征判别损失和对抗损失；

1-4.将步骤1-2中的重建损失和加权特征一致性损失以及步骤1-3中的特征判别损失和对抗损失进行加权求和，作为训练阶段的总的损失函数；

步骤(2)检测阶段：

2-1.对测试样本进行预处理：将测试样本的输入图像大小由1×28×28转换成3×32×32；

2-2.将步骤2-1预处理之后的测试样本输入到自编码器进行重建得到测试样本的重建结果，计算测试样本的重建损失和加权特征一致性损失；

2-3.将步骤2-2中得到的生成样本和步骤2-1中预处理后的测试样本输入到判别器，计算测试样本的特征判别损失；

2-4.根据步骤2-2中计算得到的测试样本的重建损失、加权特征一致性损失，以及步骤2-3中得到的测试样本的特征判别损失，三者的加权和计算测试样本的异常得分。

2.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤1-1的具体方法为：使用PyTorch框架中transforms类对数据进行预处理，其中使用transforms.Resize()方法将样本调整为32×32；使用transforms.Grayscale()方法将单通道样本转换为三通道；使用transforms.RandomHorizontalFlip()方法对样本进行随机水平翻转。

3.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤1-2中所述的训练样本与训练样本的重建结果之间的重建损失的计算方式如下所示：

其中，||·||₁表示平均绝对误差；

为训练样本与训练样本的重建结果之间的重建损失；x表示预处理之后的训练样本；

表示训练样本的重建结果；A表示自编码器；

步骤1-2所述的加权特征一致性损失是指将预处理之后的样本输入到自编码器中进行重建，对编码器和解码器对应层之间的差异求加权和，计算公式为：

其中，||·||₂表示均方误差；

为训练样本的加权特征一致性损失；

w_i是一个标量，表示编码器和解码器对应隐藏层的均方差权重；

α表示编码器E和解码器D的层数；

x表示预处理之后的训练样本；

E_:i(x)表示以x作为输入时编码器第i层的输出；

D_:α-i(x)指以x作为输入时解码器第i层的输出；

编码器隐藏层输出的加权级联表示为

解码器隐藏层输出的加权级联表示为

其中，α表示编码器E和解码器D的层数，取整数；

表示级联。

4.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤1-3的具体方法为：将训练样本和训练样本的重建结果输入到判别器中，计算两者在判别器中大小为[-1,100,2,2]的潜在特征空间中的特征判别损失，计算公式如下所示：

其中，||·||₂表示均方误差；

为训练样本的特征判别损失；L(x)表示将预处理之后的训练样本x映射到潜在空间L；A(x)表示自编码器A对x的重建结果；步骤1-3所述的对抗损失是用来增强自动编码器训练样本的重建结果的质量，自动编码器会根据判别器的输出结果进行更新，最小最大值函数

对于自动编码器A，最小化判别器Γ的最大目标，训练样本的对抗损失

公式表示为：

5.根据权利要求4所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：所述的判别器由在ImageNet数据集上预训练的VGG16_BN模型的前24层和分类网络组成，其中分类网络由卷积和空洞卷积构成。

6.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤1-4中所述训练阶段的总的损失函数

的计算方法为：

其中λ_A,λ_R,λ_W和λ_F是调整各个损失项在总的损失函数中重要程度的权重参数。

7.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤2-1的具体方法为：使用PyTorch框架中transforms类对测试样本进行预处理，其中使用transforms.Resize()方法将样本调整为32×32；使用transforms.Grayscale()方法将单通道的测试样本转换为三通道。

8.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤2-2所述的测试样本与测试样本重建结果之间的重建损失的计算方式如下所示：

其中，||·||₁表示平均绝对误差；

为测试样本与测试样本重建结果之间的重建损失；x′表示预处理之后的测试样本；

表示测试样本的重建结果；A表示自编码器；

步骤2-2所述的测试样本的加权特征一致性损失是指将预处理之后的测试样本输入到自编码器中进行重建，对编码器和解码器对应层之间的差异求加权和，计算公式为：

其中，||·||₂表示均方误差；

为测试样本的加权特征一致性损失；w_i是一个标量，表示编码器和解码器对应隐藏层的均方差权重；

α表示编码器E和解码器D的层数，取整数；

x′表示预处理之后的测试样本；

E_:i(x′)表示以x′作为输入时编码器第i层的输出；

D_:α-i(x′)指以x′作为输入时解码器第i层的输出；

编码器隐藏层输出的加权级联表示为

解码器隐藏层输出的加权级联表示为

其中，α表示编码器E和解码器D的层数，取整数；

表示级联。

9.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤2-3的具体方法为：将预处理之后的测试样本和测试样本的重建结果输入到判别器中，计算两者在判别器中大小为[-1,100,2,2]的潜在特征空间中的特征判别损失，计算公式如下所示：

其中，||·||₂表示均方误差；

为训练样本的特征判别损失；L(x′)表示将预处理之后的测试样本x′映射到潜在空间L；A(x′)表示自编码器A对x′的重建结果。

10.根据权利要求1所述的基于自编码器的无监督学习图像异常检测方法，其特征在于：步骤2-4的具体方法为：设置不同的超参数控制各项损失的比重，计算测试样本的重建损失、加权特征一致性损失和特征判别损失的加权和，计算测试样本的异常得分，公式如下所示：

其中

表示预处理之后的测试样本x′的异常得分；λ′_R,λ′_W,和λ′_F是用来控制对应项的比重的权重参数，计算得到整个测试集的异常得分集合后，得到集合的最大值和最小值，使用特征归一化将每个样本的异常得分映射到[0,1]，最后计算接收者操作特征曲线下的面积作为评估指标。

Images