CN114724043B - 基于对比学习的自编码器异常检测方法 - Google Patents

Abstract

本发明公开一种基于对比学习的自编码器异常检测方法，首先对输入的正常样本进行编码特征提取；构建并更新特征存储模块；通过多尺度噪声和纹理数据集添加异常扰动，生成异常样本；对异常样本数据进行多组增强操作，并与正常样本结合，制作出对比学习框架所需的负样本对；通过自编码器对异常样本重构，根据对比损失计算图像重构前后误差；在检测阶段，获得与训练数据相似的重构；通过评估系统确定输入数据是否含有异常并定位，得到最终的异常检测结果。本发明利用对比学习的特点，通过异常嵌入模块和自编码器来构建合理的正负样本对，同时，特征存储模块使得检测过程中更好地重构正常样本并抑制异常数据重构，有效提高了异常检测的效果。

Description

基于对比学习的自编码器异常检测方法

技术领域

本发明属于人工智能技术领域，具体涉及一种基于对比学习的自编码器异常检测方法。

背景技术

近年来，随着制造业自动化程度的提高，对物料质量检测的自动化、少人工干预的要求越来越高。为了评估工业产品的结构安全性，需要准确检测出所有异常来判定产品是否合格。不同的数据类型，缺陷有所不同，识别这些多类多目标缺陷的需求成为了一个具有挑战性的任务。因此，为满足行业标准，严格控制质量范围，需要提前进行产品检验，发现和去除不合格的产品。

与正常数据相比，可用的异常数据数量较少，在实际应用中异常往往不可预测，这使得很难准确定义异常物体的出现。由于这些挑战，监督学习方法在异常检测中往往受到限制。现有的研究将异常检测定义为一个自监督学习问题，它试图在训练中模拟一个没有异常样本的正态分布。在推理过程中，被描述为正态分布异常值的样本被认为是异常的。但是目前的检测方法仍不能准确地描述正常和异常样本，因此需要在基于重构方法的基础上进行改进，增大正常数据与异常数据重构后的差距，从而有效检测异常。

发明内容

本发明解决的技术问题：提供一种高效无监督异常检测方法的同时，模拟出与实际异常相似的负样本数据，在自编码器的基础上加入对比学习框架，提高正常样本的重建质量并且抑制异常样本的重建的基于对比学习的自编码器异常检测方法。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种基于对比学习的自编码器异常检测方法，主要包括以下步骤：

步骤1：对输入的正常样本进行编码特征提取，降维后得到代表性特征；

步骤2：构建特征存储模块，并利用正常样本的代表性特征更新特征存储模块；

步骤3：通过多尺度噪声和纹理数据集添加异常扰动，模拟生成异常样本；

步骤4：对步骤3中获得的异常区域进行多组增强操作，并与正常样本结合，制作出对比学习框架所需的负样本对；

步骤5：通过自编码器对异常样本重构，根据对比损失计算图像重构前后误差；

步骤6：在检测阶段，将输入样本的编码特征与特征存储模块中的特征进行融合，获得与训练数据相似的重构；

步骤7：通过评估系统确定输入数据是否含有异常，若有异常则进行像素级定位，得到最终的异常检测结果。

进一步地，步骤1中，首先定义x属于原始数据样本的域，定义z属于数据编码的域，采用编码器将输入的样本转换为编码表示，公式如下：

其中，x表示输入样本，θ _e 表示编码器的参数，f _e 表示对输入样本进行编码，z为样本的编码表示;

进一步地，步骤2中，设置特征存储器为矩阵M∈R ^N×C ，R ^N×C 表示包含N个固定维数C的实值向量，设置C与编码得到的数据维数相同。

进一步地，步骤3中，利用随机噪音生成器获得多尺度二维掩码，将二维掩码与纹理数据结合，捕获可能产生的异常特征，具体实现步骤如下：

步骤3.1：使用噪声发生器生成噪声图像，以捕获各种形状的异常，然后通过固定阈值随机均匀采样将其二值化为异常掩码图像Ma；

步骤3.2：调整纹理数据集的尺寸，并与异常掩码图像Ma结合，得到异常区域；

步骤3.3：对步骤3.1获得的异常掩码图像Ma取反，得到

，便于后续的异常嵌入。

进一步地，步骤3.2中，纹理数据集按如下公式与异常掩码图像Ma结合：

其中，

是元素相乘运算，I _A 表示纹理数据A结合异常掩码后得到的待嵌入异常图 像，λ是嵌入异常的不透明度参数，该参数从一个区间均匀采样即λ∈[0.1,1.0]。

进一步地，步骤4中的具体实现步骤为：

步骤4.1：对步骤3中的待嵌入异常图像做随机增强；

步骤4.2：将结合异常掩码的纹理图像I _A 与正常数据I进行混合，形成超出分布的异常，将嵌入异常后的图像P定义为；

从而生成包含原始正常数据I、嵌入异常后的图像P和异常掩码图像Ma的训练样本。

进一步地，步骤5中，采用基于U-Net的编码器-解码器网络重建嵌入异常的区域，对步骤1编码降维后的特征进行解码，通过对比损失减少重构前后误差。

进一步地，联合对比损失和结构相似指数损失，定义训练过程中的对比学习框架如下，以增加正常和异常样本重建之间的差异：

其中，sim(A，B)表示一对图像之间的结构化相似度指数，D表示两张图像之间的距离，exp表示以自然常数e为底的指数函数，α和β表示对比学习框架中不同重构样本所占权重，y _i ，y _j 表示嵌入异常后的图像，x _i ，x _j 表示y _i ，y _j 经过编码器重构后的图像，x表示步骤1的输入样本，i和j用于区分不同的异常样本，表示图像的编号，总损失表示如下：

其中，L表示总损失，L _C 表示对比损失，L ₂ 表示逐像素损失，λ _C 和λ _L 为不同损失的权重表示。

进一步地，步骤6中，将特征存储模块定义为一个内容可寻址的内存，使用寻址方案，根据内存项和输入样本x的编码表示的相似性来选择特征，检索与其编码最相似的记忆项；在测试阶段，使用训练好的特征存储模块，由于其中仅包含正常样本特征，因此，正常数据输入可以很好地重建，而异常输入的编码将与被检索到的正常特征融合，从而导致异常具有较大重构误差。

进一步地，步骤7中，通过改变像素去除时的分割粒度来调整模型对正常样本和异常样本的重构能力，当瑕疵处于遮挡位置时可以有效抑制异常样本重构。在推理过程中，对单个图像进行掩码，然后输出每个掩码处图像的重构差值G _i 的最大值：

其中，x为输入样本的图像，rec_x为最终重建图像，max表示求出图像不同区域重构误差的最大值，通过固定阈值和分数score(x，rec_x)来判定一个图像是否包含异常，实现最终的检测功能。

有益效果：与现有技术相比，本发明具有以下优点：

（1）本发明提出了一种异常生成方法，基于随机噪音将纹理数据与正常样本结合，通过一系列增强算法，制作出可用于对比学习的高相似度异常样本。

（2）在训练自编码器时，提取具有稀疏性和代表性的正样本特征，构建存储模块，使得可以在测试阶段与异常特征融合，增大异常数据的重构误差。

（3）现有的基于自编码器的方法仅有一个输入和输出，然后进行判断，本发明会有一对输入数据来构建对比学习框架，使用对比学习区分异常和正常样本。

（4）在无监督自编码器重构的基础上添加对比学习框架。将训练阶段的重构数据看做正样本，模拟异常嵌入的数据看做负样本，通过改进对比损失，有效分割正常和异常图像，提高正常样本的重建质量的同时抑制异常样本的重建，有效提升异常检测能力。

附图说明

图1是基于对比学习的自编码器异常检测方法训练阶段结构示意图；

图2是基于对比学习的自编码器异常检测方法检测阶段结构示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图1和2所示，本发明的对比学习的自编码器异常检测方法，首先对输入的正常样本进行特征提取，构建特征存储模块；然后选择正常样本的代表性特征对进行更新特征存储模块；通过多尺度噪声和纹理数据集合成异常样本；构建对比学习框架扩大正负样本之间的重构误差，将输入数据与存储模块的特征融合，评估图像重构前后质量，最终实现异常检测。具体包括如下步骤1-步骤7共七大步骤：

步骤1：对输入的正常样本图像进行编码特征提取，降维后得到代表性特征；

给定一个输入样本x，编码器将其转换为x的编码表示z实现降维，具体公式如下：

其中，x表示输入样本，θ _e 表示编码器的参数，f _e 表示对输入样本进行编码，z为样本的编码表示。编码器用于表示信息潜在域中的输入，在训练阶段使用编码后的特征构建内存库，在检测阶段通过相似度来查询内存中的相关项进行特征融合。

降维通过编码器直接实现，编码后的z就是降维数据代表性特征即降维得到的数据，指该特征可以代表或者代替输入样本x。

步骤2：构建特征存储模块，并利用正常样本的代表性特征更新特征存储模块；

利用训练阶段的正常样本特征，构建特征存储模块，定义参数N为特征存储模块的最大容量，当训练阶段存储的特征数量小于N时就放入当前输入样本的特征，N越大存储的正常样本特征就越多，从而更好地代表数据提升检测效果。构建的特征存储器为矩阵M∈R ^{N ×C} ，R ^N×C 表示包含N个固定维数C的实值向量，设置C与编码得到的数据维数相同。

由于解码器仅使用少量的寻址存储项进行重构，这就要求高效地利用存储项，通过度量学习使存储的特征具有稀疏性，当存储模块中的特征数量等于N时，计算当前样本特征与存储模块中全部特征的平均相似度，找到与其他特征相似度最高的特征进行替换，更新存储模块。

步骤3：通过多尺度噪声和纹理数据集添加异常扰动，模拟生成异常样本；

本发明中利用随机噪音生成器获得多尺度二维掩码，将二维掩码与纹理数据结合，捕获可能产生的异常特征，具体实现步骤如下：

步骤3.1：使用Perlin噪声发生器生成噪声图像，以捕获各种形状的异常，然后通过固定阈值随机均匀采样将其二值化为异常掩码图像Ma；

步骤3.2：调整纹理数据集的尺寸，按如下公式与异常掩码图像Ma结合，得到异常区域：

其中，

是元素相乘运算，I _A 表示纹理数据A结合异常掩码后得到的待嵌入异常图 像，λ是嵌入异常的不透明度参数，该参数从一个区间均匀采样即λ∈[0.1,1.0]。

步骤3.3：对步骤3.1获得的异常掩码图像Ma取反，得到，便于后续的异常嵌入。

步骤4：考虑异常数据的多样性，对步骤3中获得的异常区域进行多组增强操作，并与正常样本结合，制作出对比学习框架所需的负样本对；

步骤4.1：为了增加异常的多样性，对上一步骤的异常掩码图像Ma做随机增强，从一组随机增强函数的集合中挑选3个函数进行处理，该集合主要包括：色调分离，锐度变化，旋转，平移，亮度变化，颜色变化，对比度变化等；

步骤4.2：将结合异常掩码的纹理图像I _A 与正常数据I按下述公式进行混合，形成嵌入异常后的图像P，从而有助于对比学习训练。

通过上述步骤可以生成包含原始无异常图像I、包含嵌入异常后的图像P的增强图像和异常掩码图像Ma的训练样本。

步骤5：通过自编码器对异常样本重构，根据对比损失计算图像重构前后误差；

利用U-net自编码器网络，对步骤1编码降维后的特征进行解码，通过对比损失减少重构前后误差，提升模型的重构能力：

采用基于U-Net的编码器-解码器网络重建嵌入异常的区域。先前的工作假设相邻像素之间的独立性，通常使用逐像素的L2损失，为了更好的计算重构前后的差异，提升重构质量，本方法引入了对比损失并使用了结构相似指数(SSIM)，定义训练过程中的对比学习框架如下，以增加正常和异常样本重建之间的差异。

其中，sim(A，B)表示一对图像之间的结构化相似度指数，D表示两张图像之间的距离，exp表示以自然常数e为底的指数函数，α和β表示对比学习框架中不同重构样本所占权重，y _i ，y _j 表示嵌入异常后的图像，x _i ，x _j 表示y _i ，y _j 经过编码器重构后的图像，x表示步骤1的输入样本，i和j用于区分不同的异常样本，表示图像的编号。A,B仅表示一对图像的相似度公式，具体代表什么，依据调用时候的x和x _i 决定不同含义。

总损失考虑了对比损失和像素L2损失，因为它们关注不同图像属性的相似性：

其中，L表示总损失，L _C 表示对比损失，L ₂ 表示逐像素损失，λ _C 和λ _L 为不同损失的权重表示。该框架的优势在于将重构后的数据作为对比学习的增强，依靠改进的对比损失来提高自动编码器的重构能力，同时抑制对异常样本的重构能力。

步骤6：在检测阶段，将输入数据编码，与特征存储模块中的特征进行融合，获得与训练数据相似的重构：

将特征存储模块定义为一个可寻址的内存，通过度量学习根据内存项和输入样本x的编码表示的相似性来选择特征，检索与其编码最相似的记忆项。然后将两个特征直接进行拼接，输出特征的维度为二者之和，再通过编码器降维实现融合操作。

由于在测试阶段，只能检索到存储模块中已有的正常模式进行融合，因此，正常样本可以很好地重构。相反，对异常输入的编码将与匹配到的正常样本特征融合，导致异常数据产生较大重构误差。

步骤7：通过评估系统确定输入数据是否含有异常，若有异常则进行像素级定位，得到最终的异常检测结果：

为了抑制异常样本的重构质量，本方法提出了一种新的推理策略。通过改变像素去除时的分割粒度来调整模型对正常样本和异常样本的重构能力，当瑕疵处于遮挡位置时可以有效抑制异常样本重构。在推理过程中，对单个图像进行掩码，然后输出每个掩码处图像的重构差值G _i 的最大值：

其中，x为输入样本，rec_x为最终重建图像，max表示求出图像不同区域重构误差的最大值，通过设置的固定阈值和分数score(x，rec_x)来判定一个图像是否包含异常，实现最终的检测功能。

通过以下实验验证本发明的方法有效性和效率：

• 异常检测效果——异常检测的性能是通过在图像水平(AUROC)上的接收者操作特征(ROC)的曲线下面积(AUC)来评估的，这是在不同阈值下的真阳性率与假阳性率的函数。

• 异常定位——异常定位的性能是通过在像素水平(AUROC)上的接收者操作特征(ROC)的曲线下面积(AUC)来评估的，这是在不同阈值下的真阳性率与假阳性率的函数。

在具有挑战性的工业异常检测数据集MVTec AD上验证了所提出的方法。MVTec AD数据集包含15个不同类别的5354幅高分辨率彩色图像。其中有5个纹理类别，如木材或皮革，以及10个对象类别。与现有基准中使用的MNIST和CIFAR10不同，该数据集的异常粒度更细，且异常图像来自同一类别。此外，该数据集包含一个仅包含正常图像的训练集和一个包含正常和异常图像的测试集。

表1 本发明与其他基于重建的方法的图像级AUROC评分

表2 本发明与其他基于重建的方法的像素级AUROC评分

如表1和表2所示，其中AE表示直接使用自编码器进行检测，AE-SSIM表示使用结果相似性作为损失函数进行检测，AESC表示仅在图像中添加一定噪音来提升图像的重构能力的方法，DAAD表示仅通过记忆存储模块来重构数据的方法，SImclr表示直接将现有的对比学习框架应用到异常检测中的方法。本发明的方法首先使用纹理数据集和正样本图像制作与异常相似的待重构数据，然后在传统自编码器的基础上加入多尺度特征融合和改进对比学习框架。从实验结果可见，本方法提出的异常检测方法，结合了恢复以及对比学习的思想，提升模型数据重构能力的同时，更加合理地构建存储模块加大异常数据的重构误差，最终有效检测异常。

总体而言，本发明提出一种基于对比学习的异常检测和定位的新方法。使用特征存储模块和异常嵌入模块建立合适的正负样本对，以提高自编码器的重构能力。通过优化对比学习框架，实现了正态重构和异常重构之间的平衡。实验结果表明，本发明所提出的异常检测方法性能优于其他基于重构的方法。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于对比学习的自编码器异常检测方法，其特征在于，包括以下步骤：

步骤1：对输入的正常样本进行编码特征提取，降维后得到代表性特征；

步骤2：构建特征存储模块，并利用正常样本的代表性特征更新特征存储模块；

步骤3：通过多尺度噪声和纹理数据集添加异常扰动，模拟生成异常样本；

利用随机噪音生成器获得多尺度二维掩码，将二维掩码与纹理数据结合，捕获可能产生的异常特征，具体实现步骤如下：

步骤3.1：使用噪声发生器生成噪声图像，以捕获各种形状的异常，然后通过固定阈值随机均匀采样将其二值化为异常掩码图像Ma；

步骤3.2：调整纹理数据集的尺寸，并与异常掩码图像Ma结合，得到异常区域；

步骤3.3：对步骤3.1获得的异常掩码图像Ma取反，得到

，便于后续的异常嵌入；

步骤4：对步骤3中获得的异常区域进行多组增强操作，并与正常样本结合，制作出对比学习框架所需的负样本对；

步骤5：通过自编码器对异常样本重构，根据对比损失计算图像重构前后误差；

步骤6：在检测阶段，将输入样本的编码特征与特征存储模块中的特征进行融合，获得与训练数据相似的重构；

步骤7：通过评估系统确定输入数据是否含有异常，若有异常则进行像素级定位，得到最终的异常检测结果。

2.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤1中，首先定义x属于原始数据样本的域，定义z属于数据编码的域，采用编码器将输入样本转换为编码表示，公式如下：

其中，x表示输入样本，θ _e 表示编码器的参数，f _e 表示对输入样本进行编码，z为样本的编码表示。

3.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤2中，设置特征存储器为矩阵M∈R ^N×C ，R ^N×C 表示包含N个固定维数C的实值向量，设置C与编码得到的数据维数相同。

4.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤3.2中，纹理数据集按如下公式与异常掩码图像Ma结合：

其中，

是元素相乘运算，I _A 表示纹理数据A结合异常掩码后得到的待嵌入异常图像，λ 是嵌入异常的不透明度参数，该参数从一个区间均匀采样，λ∈[0.1,1.0]。

5.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤4中的具体实现步骤为：

步骤4.1：对步骤3中的待嵌入异常掩码图像做随机增强；

步骤4.2：将结合异常掩码的纹理图像I _A 与原始正常数据I进行混合，形成超出分布的异常，将嵌入异常后的图像P定义为；

从而生成包含原始正常图像I、包含嵌入异常后的图像P和异常掩码图像Ma的训练样本。

6.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤5中，采用基于U-Net的编码器-解码器网络重建嵌入异常的区域，对步骤1编码降维后的特征进行解码，通过对比损失减少重构前后误差。

7.根据权利要求6所述的基于对比学习的自编码器异常检测方法，其特征在于：联合对比损失和结构相似指数损失，定义训练过程中的对比学习框架如下，以增加正常和异常样本重建之间的差异：

其中，sim(A,B)表示一对图像之间的结构化相似度指数，D表示两张图像之间的距离，exp表示以自然常数e为底的指数函数，α和β表示对比学习框架中不同重构样本所占权重，y _i ，y _j 表示嵌入异常后的图像，x _i ，x _j 表示y _i ，y _j 经过编码器重构后的图像，x表示步骤1的输入样本，i和j用于区分不同的异常样本，表示图像的编号，总损失表示如下：

其中，L表示总损失，L _C 表示对比损失，L ₂ 表示逐像素损失，λ _C 和λ _L 为不同损失的权重表示。

8.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤6中，将特征存储模块定义为一个内容可寻址的内存，使用寻址方案，根据内存项和输入样本x的编码表示的相似性来选择特征，检索与其编码最相似的记忆项；在测试阶段，使用训练好的特征存储模块，由于其中仅包含正常样本特征，因此，正常数据输入可以很好地重建，而异常输入的编码将与被检索到的正常特征融合，从而导致异常具有较大重构误差。

9.根据权利要求1所述的基于对比学习的自编码器异常检测方法，其特征在于：步骤7中，通过改变像素去除时的分割粒度来调整模型对正常样本和异常样本的重构能力，当瑕疵处于遮挡位置时可以有效抑制异常样本重构，在推理过程中，对单个图像进行掩码，然后输出每个掩码处图像的重构差值G _i 的最大值：

其中，x为输入样本的图像，rec_x为最终重建图像，max表示求出图像不同区域重构误差的最大值，通过固定阈值和分数score(x，rec_x)来判定一个图像是否包含异常，实现最终的检测功能。

Images