CN113255738A - 一种基于自注意力生成对抗网络的异常图像检测方法 - Google Patents

Abstract

本发明涉及工业自动化技术领域，尤其为一种基于自注意力生成对抗网络的异常图像检测方法，其具体步骤如下：S1，获取待检图像；S2，将待检测图像输入TransGANormaly，并获取异常分数；S3，判断异常分数是否大于某特定阈值，本发明通过设计并且使用自注意力机制替代卷积操作，能够有效地克服卷积操作只能提取局部特征的缺陷，实现更大尺度层面上的特征提取，有效提升模型的异常检测性能，解决了目前需要同时使用正常和异常样本，限制了其应用范围以及目前使用卷积神经网络对图像进行特征提取及编码，卷积操作侧重于局部信息的提取，对于全局信息的把握具有较大局限性，而工业图像中的异常区域的尺度可能比较大，基于卷积操作的方法无法很好地适用的问题。

Description

一种基于自注意力生成对抗网络的异常图像检测方法

技术领域

本发明涉及工业自动化技术领域，具体为一种基于自注意力生成对抗网络的异常图像检测方法。

背景技术

异常图像检测是工业自动化领域的一个重要问题。考虑到大多数情况下，异常样本极其稀缺，因此，仅使用正常样本构建检测模型的半监督方法具有较强的实际应用价值，基于生成对抗网络(Generative Adversarial Networ k，GAN)的异常检测方法可以在通过对比原图像与重建图像在隐空间中的特征差异来推断图像是否异常，从而提升其对噪声的抗干扰能力，具有较强的鲁棒性，现有基于GAN的方法，引用专利为一种基于监督式生成对抗网络的异常图像检测方法，申请号为201811368737.3的专利，但是具有两个明显缺陷：1.该方法需要同时使用正常和异常样本，限制了其应用范围；2.该方法使用卷积神经网络对图像进行特征提取及编码，卷积操作侧重于局部信息的提取，对于全局信息的把握具有较大局限性，而工业图像中的异常区域的尺度可能比较大，基于卷积操作的方法无法很好地适用。

综上所述，本发明通过设计一种基于自注意力生成对抗网络的异常图像检测方法来解决存在的问题。

发明内容

本发明的目的在于提供一种基于自注意力生成对抗网络的异常图像检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于自注意力生成对抗网络的异常图像检测方法，其具体步骤如下：

S1，获取待检图像；

S2，将待检测图像输入TransGANormaly，并获取异常分数；

S3，判断异常分数是否大于某特定阈值，若是，则认为该待检图像为异常图像，若不是，则认为其为正常图像。

作为本发明优选的方案，所述S2中TransGANormaly主要包括生成器(G)、判别器(D)及编码器(E)，其中生成器包括一个编码器(G_E)和一个解码器(G_D)，所述上述部件均是基于自注意力层构建，完全没有使用卷积层，并且其模型训练流程具体如下：

S21，输入图像I∈R^W×H进入预处理模块(P)，获取原始图像的一维序列

S22，使用编码器获取原始图像的特征嵌入Em(I)∈R^N×D；

S23，使用解码器获取重构图像的一维序列

S24，使用编码器获取重构图像的特征嵌入Em′(I)∈R^N×D，编码器与S22中完全一致，且二者共享参数；

S25，将S21和S23的一维图像序列输入到判别器中，判断其来源于原始图像还是重构图像，其操作同步骤S22，但二者不共享参数,并且训练的损失函数包括四个：

(1)对抗损失:

(2)重构损失:

(3)编码损失:

(4)总损失为:

L＝λ_advL_adv+λ_recL_rec+λ_encL_enc

其中，X代表正常样本的分布，λ_adv、λ_rec、λ_enc为超参，用于平衡各个不同的损失函数。

TransGANormaly通过L的反向传播更新参数，并完成模型训练；

TransGANormaly的测试过程，异常分数计算公式为：

作为本发明优选的方案，所述S21中输入图像I∈R^W×H进入预处理模块(P)，获取原始图像的一维序列

具体操作步骤如下：

a)获取输入图像

其中W和H分别为图像的宽和高；

b)将图像切分为N个小图像块，每个图像块的大小为

c)将N个小图像块分别展平为长度为

的一维图像序列S(I)。

作为本发明优选的方案，所述S22中使用编码器获取原始图像的特征嵌入Em(I)∈R^N×D，具体操作步骤如下：

a)使用多层感知机将各一维图像序列变换为长度为D的特征序列；

b)引入长度为D的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将带位置信息的特征序列输入到Transformer编码器中，获取原始图像的特征嵌入Em(I)∈R^N×D。

作为本发明优选的方案，所述S23中使用解码器获取重构图像的一维序列

具体操作步骤如下：

a)使用多层感知机将特征嵌入Em转换为个长度为

的特征序列；

b)引入长度为

的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将上述N个特征序列输入到Transformer解码器中，获取大小为

的一维重构图像序列S′(I)。

与现有技术相比，本发明的有益效果是：

1、本发明中，通过设计并且使用自注意力机制(Self-Attention)替代卷积操作，能够有效地克服卷积操作只能提取局部特征的缺陷，实现更大尺度层面上的特征提取，有效提升模型的异常检测性能，解决了目前需要同时使用正常和异常样本，限制了其应用范围以及目前使用卷积神经网络对图像进行特征提取及编码，卷积操作侧重于局部信息的提取，对于全局信息的把握具有较大局限性，而工业图像中的异常区域的尺度可能比较大，基于卷积操作的方法无法很好地适用的问题。

附图说明

图1为本发明训练流程结构示意图；

图2为本发明预处理结构示意图；

图3为本发明编码器结构示意图；

图4为本发明解码器结构示意图；

图5为本发明测试流程结构示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述,给出了本发明的若干实施例,但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例,相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件,当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件,本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同,本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明,本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1-5，本发明提供一种技术方案：

一种基于自注意力生成对抗网络的异常图像检测方法，其具体步骤如下：

S1，获取待检图像；

S2，将待检测图像输入TransGANormaly，并获取异常分数；

S3，判断异常分数是否大于某特定阈值，若是，则认为该待检图像为异常图像，若不是，则认为其为正常图像。

具体实施案例

步骤1，获取待检图像；

步骤2，将待检测图像输入TransGANormaly，并获取异常分数；

步骤3，判断异常分数是否大于某特定阈值，若是，则认为该待检图像为异常图像，若不是，则认为其为正常图像.

其中步骤2中TransGANormaly主要包括生成器(G)、判别器(D)及编码器(E)，其中生成器包括一个编码器(G_E)和一个解码器(G_D)，所述上述部件均是基于自注意力层构建，完全没有使用卷积层，并且其模型训练流程具体如下：

步骤21，输入图像I∈R^W×H进入预处理模块(P)，获取原始图像的一维序列

具体操作如图2所示：

a)获取输入图像

其中W和H分别为图像的宽和高；

b)将图像切分为N个小图像块，每个图像块的大小为

c)将N个小图像块分别展平为长度为

的一维图像序列S(I)；

步骤22，使用编码器获取原始图像的特征嵌入Em(I)∈R^N×D，具体操作如图3所示：

a)使用多层感知机将各一维图像序列变换为长度为D的特征序列；

b)引入长度为D的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将带位置信息的特征序列输入到Transformer编码器中，获取原始图像的特征嵌入Em(I)∈R^N×D。

步骤23，使用解码器获取重构图像的一维序列

具体操作如图4所示：

a)使用多层感知机将特征嵌入Em转换为个长度为

的特征序列；

b)引入长度为

的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将上述个N特征序列输入到Transformer解码器中，获取大小为

的一维重构图像序列S′(I)；

步骤24，使用编码器获取重构图像的特征嵌入Em′(I)∈R^N×D，编码器与步骤22中完全一致，且二者共享参数。

步骤25，将步骤21和步骤23的一维图像序列输入到判别器中，判断其来源于原始图像还是重构图像，其操作同步骤22，但二者不共享参数。

训练的损失函数包括四个：

(1)对抗损失:

(2)重构损失:

(3)编码损失:

(4)总损失为:

L＝λ_advL_adv+λ_recL_rec+λ_encL_enc

其中，X代表正常样本的分布，λ_adv、λ_rec、λ_enc为超参，用于平衡各个不同的损失函数；

TransGANormaly通过L的反向传播更新参数，并完成模型训练。

TransGANormaly的测试过程如图5，异常分数计算公式为：

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于自注意力生成对抗网络的异常图像检测方法，其具体步骤如下：

S1，获取待检图像；

S2，将待检测图像输入TransGANormaly，并获取异常分数；

S3，判断异常分数是否大于某特定阈值，若是，则认为该待检图像为异常图像，若不是，则认为其为正常图像。

2.根据权利要求1所述的一种基于自注意力生成对抗网络的异常图像检测方法，其特征在于：所述S2中TransGANormaly主要包括生成器(G)、判别器(D)及编码器(E)，其中生成器包括一个编码器(G_E)和一个解码器(G_D)，所述上述部件均是基于自注意力层构建，完全没有使用卷积层，并且其模型训练流程具体如下：

S21，输入图像I∈R^W×H进入预处理模块(P)，获取原始图像的一维序列

S22，使用编码器获取原始图像的特征嵌入Em(I)∈R^N×D；

S23，使用解码器获取重构图像的一维序列

S24，使用编码器获取重构图像的特征嵌入Em′(I)∈R^N×D，编码器与S22中完全一致，且二者共享参数；

S25，将S21和S23的一维图像序列输入到判别器中，判断其来源于原始图像还是重构图像，其操作同步骤S22，但二者不共享参数,并且训练的损失函数包括四个：

(1)对抗损失:

(2)重构损失:

(3)编码损失:

(4)总损失为:

L＝λ_advL_adv+λ_recL_rec+λ_encL_enc

其中，X代表正常样本的分布，λ_adv、λ_rec、λ_enc为超参，用于平衡各个不同的损失函数。

TransGANormaly通过L的反向传播更新参数，并完成模型训练；

TransGANormaly的测试过程，异常分数计算公式为：

3.根据权利要求2所述的一种基于自注意力生成对抗网络的异常图像检测方法，其特征在于：所述S21中输入图像I∈R^W×H进入预处理模块(P)，获取原始图像的一维序列

具体操作步骤如下：

a)获取输入图像

其中W和H分别为图像的宽和高；

b)将图像切分为N个小图像块，每个图像块的大小为

c)将N个小图像块分别展平为长度为

的一维图像序列S(I)。

4.根据权利要求2所述的一种基于自注意力生成对抗网络的异常图像检测方法，其特征在于：所述S22中使用编码器获取原始图像的特征嵌入Em(I)∈R^N×D，具体操作步骤如下：

a)使用多层感知机将各一维图像序列变换为长度为D的特征序列；

b)引入长度为D的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将带位置信息的特征序列输入到Transformer编码器中，获取原始图像的特征嵌入Em(I)∈R^N×D。

5.根据权利要求2所述的一种基于自注意力生成对抗网络的异常图像检测方法，其特征在于：所述S23中使用解码器获取重构图像的一维序列

具体操作步骤如下：

a)使用多层感知机将特征嵌入Em转换为个长度为

的特征序列；

b)引入长度为

的位置编码，并将其以逐元素求和的方式叠加到上述特征序列中，获取带位置信息的特征序列；

c)将上述N个特征序列输入到Transformer解码器中，获取大小为

的一维重构图像序列S′(I)。

Images