CN115565036B - 一种针对姿态多样性物体缺陷的二阶段异常检测方法 - Google Patents

Abstract

本发明提出一种针对姿态多样性物体缺陷的二阶段异常检测方法，包括，获取待检测的图像，将图像输入空间变换网络，进行图像内容的姿态校正；将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；在高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；通过差异得分输出异常分数和异常图像。通过本发明提出的方法，提高了异常样本的检出率。

Description

一种针对姿态多样性物体缺陷的二阶段异常检测方法

技术领域

本发明属于视觉图像领域。

背景技术

异常检测是指针对不匹配预期模式或特定范围内的内容、事件或观测值的识别，异常也通常称为离群值、噪音、偏差、例外。在视觉图像领域的异常检测任务中，通常假设在训练阶段能够获取大量正常（无异常）的样本，而测试阶段可以筛选出与正常样本差异较大的异常样本或缺陷样本。

随着机械自动化水平的不断提高和产品智能化不断普及的趋势，人们对于产品细节的要求越来越高。带有微小瑕疵的产品往往会给使用者的体验带来不好的影响，针对微波瑕疵即异常的检测成为产品质量检验的必备环节。许多基于机器学习的方法开始研究如何通过大量的数据样本，训练出高效可靠的模型，用于自动识别异常信息。然而在现实场景中，正常图像样本数据的获取过程相对容易，正常图像样本的数量和多样性也较多，但包含异常的图像数据并不常见。更重要的是，期望收集到所有类型的异常数据不太现实，往往只能获得少量异常样本示例。这种数据的分布偏差，对于检测异常样本的任务带来了很大的困难。有研究学者提出了异常检测的概念，异常检测是一种在训练阶段仅需要正常数据，在测试阶段却可以识别那些在正常数据中从未出现过的异常的手段，期望能够快速且高准确率地检测出异常。

相比于普通的分类任务，异常检测任务本身附带隐含的样本局限性，即正常类别样本与异常类别样本的分布是极度不均衡的。在计算机视觉领域，异常检测任务通常假设在训练阶段能够给出大量正常（无缺陷）样本，而测试阶段出现的样本集合中可能包含与正常样本差异较大的缺陷样本

目前主流方案通常是基于特征空间的方法，通过正常样本与缺陷样本特征分布之间的差异来判断是否出现异常数据。首先使用成熟的特征提取模型（比如 ImageNet 数据集训练的卷积神经网络模型）对输入数据进行特征抽取，并使用高斯混合模型对特征分布进行建模。对于测试数据，当提取出来的特征在高斯混合模型中获得较低概率的样本时将会被认为是异常样本。从现有技术路线来看，近几年已经有若干工作在 MVTec AD 数据集上取得了较好的效果，部分方法使用 ResNet 网络架构作为模型基础，使用有最大表达力的正常区块特征存储库，在实现高精度的情况下同时加快推理速度。相关方法的核心思想在于，在方案中确保最大化可用的测试时段的正常信息（nominal information），降低模型相对于 ImageNet 数据集中分类类别的偏置信息，同时保持高的推理速度。在相关技术中，通常会使用到数据增广、特征多样性探索和预训练模型等成熟技术，最大程度利用已有的特征空间信息对异常缺陷的分布进行建模。

基于自编码器的异常检测方式，通过自编码器获取正常数据的特征信息，构成一个特征池，在测试阶段输入图像，得到提取的特征与特征池中最邻近特征之间的差异，依据差异大小确定是否存在异常及异常区域。这种方式对于相差很大的异常可以成功，但是对于相似度很高的异常，效果比较差，究其原因，是因为在训练阶段，仅包含正常样本，测试阶段提取到的特征没有异常分布的因素在里面，导致对于相似异常的样本，提取到的特征无法将其区分开来。同时对于姿态变化很大的图像数据，使用自编码器提取的特征在图像同一位置没有趋于同一分布，其正常图像的内部差异过大，导致在测试阶段，不同姿态图像获取的特征差异过大，无法对齐，异常特征与姿态特征混杂，在计算异常差异过程中异常特征不突出，造成异常检测低效。

使用数据增广（Data Augmentation）可以有效地增加数据样本的多样性，扩充其特征表示所覆盖的特征空间。然而，针对原始图像的数据增广在扩充能力上有限，无法覆盖实际应用中物体姿态随意摆放的多样性，导致基于当前数据样本训练得到的异常检测模型的鲁棒性无法适应更加广阔的实际应用场景。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种针对姿态多样性物体缺陷的二阶段异常检测方法，用于提高异常样本的检出率。

为达上述目的，本发明第一方面实施例提出了一种针对姿态多样性物体缺陷的二阶段异常检测方法，包括：

获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；

将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

通过所述差异得分输出异常分数和异常图像。

另外，根据本发明上述实施例的一种针对姿态多样性物体缺陷的二阶段异常检测方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将所述图像输入空间变换子网络，进行图像内容的姿态校正，包括：

将所述图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

进一步地，在本发明的一个实施例中，在将校正的图像利用训练好的自编码器模型进行特征提取之前，还包括：

获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；

将所述正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建。

进一步地，在本发明的一个实施例中，所述将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，包括：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k, b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对所述图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中 ，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

进一步地，在本发明的一个实施例中，在通过所述差异得分输出异常分数和异常图像之后，还包括：

根据实际场景调节阈值，并根据所述异常分数与所述阈值的逻辑判定输出异常检测结果。

为达上述目的，本发明第二方面实施例提出了一种针对姿态多样性物体缺陷的二阶段异常检测装置，包括以下模块：

矫正模块，用于获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；

提取模块，用于将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

计算模块，用于在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

输出模块，用于通过所述差异得分输出异常分数和异常图像。

进一步地，在本发明的一个实施例中，所述矫正模块，还用于：

将所述图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

进一步地，在本发明的一个实施例中，所述提取模块，还包括训练单元，用于：

获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型。

进一步地，在本发明的一个实施例中，所述训练单元，还用于：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k, b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对所述图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中 ，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

进一步地，在本发明的一个实施例中，所述输出模块，还包括检测单元，用于：

根据实际场景调节阈值，并根据所述异常分数与所述阈值的逻辑判定输出异常检测结果。

本发明实施例提出的针对姿态多样性物体缺陷的二阶段异常检测方法，首先引入STN空间变换模块，解决在测试阶段获取输入图像高层次特征分布与特征池对应分布的差异时，特征不对齐造成差异大的问题；同时，在半监督的异常检测中，训练阶段只使用正常样本，推理测试阶段包含异常样本，大大降低了异常样本的存在性，因而本发明在训练阶段通过复制粘贴的方式模拟异常，使得模型在训练阶段明确正常样本及非正常样本之前的潜在差异，很大程度上提高了异常样本的检出率。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种针对姿态多样性物体缺陷的二阶段异常检测方法示意图。

图2为本发明实施例所提供的一种不同姿态的物体提取到的特征分布示意图。

图3为本发明实施例所提供的一种异常检测方法训练阶段的流程图。

图4为本发明实施例所提供的一种异常检测方法测试阶段的流程图。

图5为本发明实施例所提供的一种针对姿态多样性物体缺陷的二阶段异常检测装置示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的针对姿态多样性物体缺陷的二阶段异常检测方法。

图1为本发明实施例所提供的一种针对姿态多样性物体缺陷的二阶段异常检测方法的流程示意图。

如图1所示，该针对姿态多样性物体缺陷的二阶段异常检测方法包括以下步骤：

S101：获取待检测的图像，将图像输入空间变换网络，进行图像内容的姿态校正；

S102：将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

S103：在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

S104：通过所述差异得分输出异常分数和异常图像。

样本分布是指数据集中各个类别样本的分布情况。特征分布是指是一个数据集中某项特征在所有样本上的分布情况。与样本分布相比，特征分布不仅受到样本自身多样性的影响，同时也与编码器的特征提取方式有关。样本分布相似的两个数据集，经过相同的编码器特征提取操作后，得到的特征分布很可能相差较大。因此，在异常检测任务中对特征分布的判断需要更加严格的判断和审查。

物体姿态是影响特征分布的重要因素之一。物体姿态是指物体在空间中的位置集方向，是由3D方向（旋转）和6个自由度（6D）定义的，同一物体的目标姿态差异可能很大。物体姿态的剧烈变化将直接导致其特征分布产生较大的偏移，从而掩盖了异常样本相比于正常样本的特征偏差。从而导致异常样本提取的高层次特征在同一位置的特征分布不一，特征差异较大，造成异常检测算法出现误检，生成不应该出现的异常输出。不同姿态的物体提取到的特征分布如图2所示。

基于自编码器的异常检测模型，在测试阶段提取原始图像的高层次特征，通过测试样本与正常样本在特征上的距离来计算异常得分，从而得到异常区域。在一项主流的异常检测方法 PatchCore 中，利用从预训练网络中提取正常样本图像块级特征组成的内存库和贪婪核心机制共同构建核心子集库，在测试阶段从预训练网络中提取的高层次特征和核心子集库中的进行特征匹配和差异计算，得到异常区域。上述方案对训练过程中正常样本所覆盖的特征质量有较大要求，需要训练集中的正常样本能够支撑起涵盖绝大多数正常状态的特征空间。但是，在实际使用过程中，对于姿态变换大的物体，提取到的特征分布不一，无法特征对齐，在进行差异计算过程中，很难产生有效的差异信息，导致模型很容易出现误判。

对此，本发明引入一个空间变换模块STN，形成两阶段异常检测模型，在进行特征提取前对输入图像进行校正，提取校正后图像的特征分布，与特征池中的分布一致，进行差异计算。在引入STN（Spatial Transformer Netowrk）子网络后，对有姿态变换的物体，构建特征池时，同样使用校正后的图像内容作为输出，缩小提取其每个位置特征上的内部差异信息，达到全局范围的分布统一，便于检测异常。

STN网络包括三个组成部分：定位网络（Localization Net）、格点生成器（GridGenerator）以及采样器（Sampler）。定位网络一般是由一个全连接网络实现的，该网络最终输出6个数值，将其变为2*3矩阵，其中每两个为一组，分别代表仿射变换中的平移、旋转、缩放所对应的参数。格点生成器是创建一个与输入图片大小相同的矩阵，把该矩阵与仿射参数矩阵相乘，把所得结果当作目标图片中每个像素点对应于原图的坐标。采样器是指使用坐标映射部分中每个像素点的坐标值，在原始图片中取相应的像素，并通过加权系数将其填充到目标图片中，最终得到整幅目标图片。

将图像输入空间转换器之后，首先由定位网络采用卷积操作提取特征，进而使用一些隐藏的网络层推理出空间变换的参数θ，随后由格点生成器根据参数θ得到变换前后像素点坐标的对应关系；最终使用采样器以双线性插值的方式，生成经过空间变换之后的图像。

STN网络是采用自定义神经网络实现了一遍图像的仿射变换算法，可以根据图片提取到的特征，在不同情况下自适应生成仿射变化参数，进行合适的仿射变换。对于物体姿态要求严格的算法场景，采用STN进行图像校正，将图像调整为统一的姿态，在异常检测邻域，可以使得自编码器提取的高层次特征在同一位置满足相同的分布，相比于直接提取而言，更有利于和正常样本进行同一位置的差异分布统计。

进一步地，在本发明的一个实施例中，将图像输入空间变换子网络，进行图像内容的姿态校正，包括：

将图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

在上述针对物体姿态变换问题提出的 STN 空间变换基础上，本发明还引入了第二阶段半监督的模拟异常数据扩充方式，辅助异常检测方法更加稳定地进行训练，避免陷入模型坍塌的训练瓶颈中。具体方法是，随机挑选当前样本集合中的图像，随机裁剪相关部分，进行多样化的数据增广（如翻转，缩放，扭曲），然后随机选取另一张正常图像的随机特定区域中，进行带权重的覆盖写入操作。在图像合并的过程中，考虑到生硬的合并可能与实际异常图像差异较大，将采用基于柏松融合的方式进行图像合并。泊松融合是将源图像的一部分无缝融合到目标图像上，其本质是在保持目标图在融合边界的像素的同时，以源图像的该部分的梯度场作为指导来生成融合区域内的像素。整体原则是保持融合区域内的生成像素的梯度场与源图像融合部分的像素的梯度场尽可能一致,反映到方程求解中则是梯度差异尽可能小。基于上述融合得到的扩增数据，可以为异常检测模型的训练过程中添加辅助信息，使其训练过程更加稳定。

进一步地，在本发明的一个实施例中，在将校正的图像利用训练好的自编码器模型进行特征提取之前，还包括：

获取原始图像的正常样本集，通过对正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；

将正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建。

图像表面缺陷检测的半监督模型只使用正常样本作为训练数据，为了让模型明确地学习正常和异常样本之间的潜在差异，在训练过程中生成人工模拟的异常样本，具体来说就是通过从输入图像中随机复制一个小的矩形区域，并随机粘贴到图像上模拟异常样本，通过粘贴不同大小、长宽比和旋转角的矩形斑块并辅以颜色变化和扭曲变换来制造结构、颜色和纹理等异常，在训练阶段输入自编码器模型进行学习差异，在构建核心子集内存库的时候仅采用正常样本，这样就可以保证既学习到正常样本和异常样本之间的差异，又在构建特征池选取正常样本，使得在推理阶段计算特征及最邻近特征的差异最大化。

本发明采用的异常模拟流程如下：

进一步地，在本发明的一个实施例中，将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，包括：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k,b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中 ，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

进一步地，在本发明的一个实施例中，在通过差异得分输出异常分数和异常图像之后，还包括：

根据实际场景调节阈值，并根据异常分数与所述阈值的逻辑判定输出异常检测结果。

以上为完整的针对姿态多样性物体缺陷的二阶段异常检测方法流程。

图3为本发明的异常检测方法训练阶段的流程图，在训练阶段，通过模拟异常生成异常样本集和正常样本集一起进行自编码器模型的训练，通过梯度反向传播过程，更新模型权重，使模型更加适用于异常检测场景；在生成特征内存池时仅只采用正常样本，进而构建包含强大表征能力的核心子集，能够使得模型将正常样本和异常样本的差异最大化的同时不影响后续核心子集中正常特征的分布，满足模型在推理阶段进行有效的差异比较，正确执行异常样本的检出流程。

图4为本发明异常检测方法测试阶段的流程图，展示了该发明二阶段异常检测方法的推理流程。首先，将系统获取到的待检测图像输入 STN 空间变换子网络，进行图像内容的姿态校正；而后将校正好的图像利用更新权重后的自编码器进行高层次特征的提取，并通过最近邻算法在核心子集中计算同一位置的差异得分。在得到异常分数和异常图像之后，可以根据实际场景调节相关阈值，并根据异常分数与阈值的逻辑判定输出异常检测结果，完成对待测图像的异常检测。

本发明实施例提出的针对姿态多样性物体缺陷的二阶段异常检测方法，旨在解决异常检测过程中受检测对象姿态变化的导致的特征无法对齐的问题，通过引入一个空间变换模块STN进行特征校正和对齐，使其特征分布更加在异常检测过程中更加鲁棒。同时在不使用异常标签样本的情况下，采用复制粘贴的数据增强方法在训练阶段学习正常样本和异常样本之间的潜在差异，使得该框架能对可疑异常样本有好的检测效果。

在异常检测领域，通过复制粘贴的方式模拟异常数据来使得自编码器学习正常样本和异常样本之间的差异；通过引入STN空间变换模块，在测试阶段提取到的特征对齐，具有良好的空间不变性。

为了实现上述实施例，本发明还提出针对姿态多样性物体缺陷的二阶段异常检测装置。

图5为本发明实施例提供的一种针对姿态多样性物体缺陷的二阶段异常检测装置的结构示意图。

如图5所示，该针对姿态多样性物体缺陷的二阶段异常检测装置包括：矫正模块100，提取模块200，计算模块300，输出模块400，其中，

矫正模块，用于获取待检测的图像，将图像输入空间变换网络，进行图像内容的姿态校正；

提取模块，用于将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

计算模块，用于在高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

输出模块，用于通过差异得分输出异常分数和异常图像。

进一步地，在本发明的一个实施例中，矫正模块，还用于：

将图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

进一步地，在本发明的一个实施例中，提取模块，还包括训练单元，用于：

获取原始图像的正常样本集，通过对正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型。

进一步地，在本发明的一个实施例中，训练单元，还用于：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k,b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对所述图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

进一步地，在本发明的一个实施例中，输出模块，还包括检测单元，用于：

根据实际场景调节阈值，并根据异常分数与所述阈值的逻辑判定输出异常检测结果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种针对姿态多样性物体缺陷的二阶段异常检测方法，其特征在于，包括以下步骤：

获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；

将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

通过所述差异得分输出异常分数和异常图像；

其中，在将校正的图像利用训练好的自编码器模型进行特征提取之前，还包括：

获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；

将所述正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建；

其中，所述将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，包括：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k,b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对所述图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中 ，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像输入空间变换网络，进行图像内容的姿态校正，包括：

将所述图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

3.根据权利要求1所述的方法，其特征在于，在通过所述差异得分输出异常分数和异常图像之后，还包括：

根据实际场景调节阈值，并根据所述异常分数与所述阈值的逻辑判定输出异常检测结果。

4.一种针对姿态多样性物体缺陷的二阶段异常检测装置，其特征在于，包括以下模块：

矫正模块，用于获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；

提取模块，用于将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；

计算模块，用于在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；

输出模块，用于通过所述差异得分输出异常分数和异常图像；

其中，所述提取模块，还包括训练单元，用于：

获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；

通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；

将所述正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建；

其中，所述训练单元，还用于：

S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；

S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；

S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k,b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；

S4：对所述图像随机进行数据增广rect_ik′ = Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；

S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：

Syn_image_ik_j = Syn(rect_ik′, Image_j)

其中 ，Syn 表示泊松融合方式；

S6：不断循环S1-S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。

5.根据权利要求4所述的装置，其特征在于，所述矫正模块，还用于：

将所述图像输入空间转换器；

通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，

由格点生成器根据参数得到变换前后像素点坐标的对应关系；

使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。

6.根据权利要求4所述的装置，其特征在于，所述输出模块，还包括检测单元，用于：

根据实际场景调节阈值，并根据所述异常分数与所述阈值的逻辑判定输出异常检测结果。

Images