CN115619784B - 一种基于深度特征记忆库的无监督缺陷检测方法及终端 - Google Patents

Abstract

本发明公开了一种基于深度特征记忆库的无监督缺陷检测方法及终端，涉及无监督缺陷检测技术领域，输入待检图片至预训练模型，提取待检图片的矩阵特征；输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。其通过增加可训练的特征描述器其做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

Description

一种基于深度特征记忆库的无监督缺陷检测方法及终端

技术领域

本发明涉及无监督缺陷检测技术领域，特别涉及一种基于深度特征记忆库的无监督缺陷检测方法及终端。

背景技术

在工业检测行业，缺陷检测是一个非常重要的领域。其中有监督的缺陷检测是指通过人工标注缺陷位置和类别，让深度学习网络进行学习，从而获得判别缺陷位置和缺陷类型的能力；而无监督缺陷检测则是不需要人工标注，仅通过学习无缺陷的样本，让模型获得判别异常图像以及异常位置的能力，无监督的缺陷检测无法判别缺陷的类型。

在很多行业场景里，缺陷样本数据的获取非常困难，而正常样本则很容易获取，因此无监督缺陷检测也成为行业的研究热点之一。现有技术中，中国专利申请文献CN114862772A提出了一种基于深度学习特征相关性的无监督缺陷检测方法。通过使用深度学习预训练网络作为图像特征提取模块，对输入的图像进行抽象描述，由正常样本训练缺陷检测模型，得到特征模板库，检测时，对待检测图像提取特征，将待检测图像的特征和正常样本的特征对比，对待检测图像的特征在特征模板库中进行k近邻检索，两个向量之间的距离衡量方式为欧式距离，根据距离衡量待检测样本的异常得分，判断是否存在缺陷。其通过无监督特征相关性的方式来进行缺陷检测，无需繁琐的人工标注，仅需要采用少量正常样本就能完成缺陷的检测分割。其特征库的构建过程如图1所示，检测过程如图2所示。

但该专利文献的所用的方法是实际上是将图像深度特征和核心特征库进行一一比对，如果偏离所有的核心特征库，就将其判定为异常，这一做法的问题在于，当图像出现旋转、缩放等常见操作时，图像的本质没有发生变化，但是会和核心特征库发生偏差，导致其将正常图像判定为异常。

发明内容

本发明所要解决的技术问题是：提供一种基于深度特征记忆库的无监督缺陷检测方法及终端，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于深度特征记忆库的无监督缺陷检测方法，包括步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于深度特征记忆库的无监督缺陷检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。

本发明的有益效果在于：一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

附图说明

图1为现有技术特征库的构建的流程示意图；

图2为现有技术检测的流程示意图；

图3为本发明实施例的一种基于深度特征记忆库的无监督缺陷检测方法的流程示意图；

图4为本发明实施例涉及的预训练模型的数据流向示意图；

图5为本发明实施例涉及的特征描述器的流程示意图；

图6为本发明实施例涉及的相似度计算的数据流向示意图；

图7本发明实施例涉及的特征描述器的训练的流程示意图；

图8为本发明实施例涉及的核心特征库的构建流程图；

图9为本发明实施例涉及的特征压缩的流程示意图；

图10为本发明实施例的一种基于深度特征记忆库的无监督缺陷检测终端的结构示意图。

标号说明：

1、一种基于深度特征记忆库的无监督缺陷检测终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图3至图9，一种基于深度特征记忆库的无监督缺陷检测方法，包括步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。

由上述描述可知，本发明的有益效果在于：一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

进一步地，所述核心特征库根据以下步骤获得：

A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征。

A2、使用初始化的特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征。

A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。

由上述描述可知，通过特征压缩的方式，在不舍弃特征的情况下，把所有模板特征压缩到固定大小，使核心特征库维持固定的大小同时尽可能保留所有模板特征信息，使其在增加模板数量时既可以提升效果，也不会使检测速度变慢。

进一步地，所述预训练模型具体是执行以下步骤：

B1、将输入图像缩放至预设尺寸；

B2、提取输入图像的不同尺度的特征。

由上述描述可知，实现了预训练模型提取输入图像的特征。

进一步地，所述特征描述器具体是执行以下步骤：

C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；

C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。

由上述描述可知，实现了对于特征的泛化，使其能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

进一步地，所述特征描述器根据以下方法进行训练：

获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：

D1、将图像集依次输入预训练模型和待训练的特征描述器，得到输入图像集的泛化特征；

D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：

；

D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，前K个计算损失函数L_att，根据后J个计算损失函数L_rep，根据损失函数L_att和L_rep反向传播更新特征描述器的参数；

其中，L_att的函数为：

；

L_rep的函数为：

。

式中，T表示每张输入图像的泛化特征数量，r是可训练的相似度距离参数，α是超参数。

由上述描述可知，实现了对于特征描述器的训练，以得到最优的泛化效果。

请参照图10，一种基于深度特征记忆库的无监督缺陷检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。

由上述描述可知，本发明的有益效果在于：一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

进一步地，所述核心特征库根据以下步骤获得：

A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征。

A2、使用特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征。

A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。

由上述描述可知，通过特征压缩的方式，在不舍弃特征的情况下，把所有模板特征压缩到固定大小，使核心特征库维持固定的大小同时尽可能保留所有模板特征信息，使其在增加模板数量时既可以提升效果，也不会使检测速度变慢。

进一步地，所述预训练模型具体是执行以下步骤：

B1、将输入图像缩放至预设尺寸；

B2、提取输入图像的不同尺度的特征。

由上述描述可知，实现了预训练模型提取输入图像的特征。

进一步地，所述特征描述器具体是执行以下步骤：

C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；

C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。

由上述描述可知，实现了对于特征的泛化，使其能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

进一步地，所述特征描述器根据以下方法进行训练：

获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：

D1、将图像集依次输入预训练模型和待训练的特征描述器，得到输入图像集的泛化特征；

D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：

；

D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，前K个计算损失函数L_att，根据后J个计算损失函数L_rep，根据损失函数L_att和L_rep反向传播更新特征描述器的参数；

其中，L_att的函数为：

；

L_rep的函数为：

。

式中，T表示每张输入图像的泛化特征数量，r是可训练的相似度距离参数，α是超参数。

本发明用于无监督缺陷检测，避免现有的无监督缺陷检测的方法因图像旋转、缩放等常见操作产生的图像分割异常。

请参照图3至图9，本发明的实施例一为：

一种基于深度特征记忆库的无监督缺陷检测方法及终端，包括以下步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

所述预训练模型具体是执行以下步骤：

B1、将输入图像缩放至预设尺寸（H，W）；

B2、提取输入图像的不同尺度的特征；

所述不同尺度的特征包括低维特征、中维特征和高维特征（1024，H/16，W/16），所述低维特征的尺度为（256，H/4，W/4），所述中维特征的尺度为（512，H/8，W/8），所述高维特征的尺度为（1024，H/16，W/16）。

S2、输入待检图片的矩阵特征至特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

所述特征描述器具体是执行以下步骤：

C1、以（H/4，W/4）的尺度为基准，将尺度更小的两种特征采样到（H/4，W/4），并进行特征合并，得到尺度为（1792，H/4，W/4）的多尺度特征；

其中，1792是特征向量的长度，（H/4，W/4）是每个图像提取的特征尺寸。也就是说，每个图像实际上总共提取得到H*W/16个长度为1792的特征。同时每个特征向量分别代表了原始图像上对应位置的4X4大小的一个图像块特征。

C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。

用特征描述器对预训练深度模型的多尺度特征进行融合编码，使其特征更具有泛化性，特征描述器的权重可训练；

所述特征描述器为使用模板库图片训练过的特征描述器。

本实施例中，所述对特征描述器进行训练具体是：

获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：

D1、将图像集依次输入预训练模型和特征描述器，得到输入图像集的泛化特征。

输入图像共B张，所有图像均为无缺陷样本图，宽高缩放到（H,W）；

每张图像经过预训练模型提取多尺度特征，得到特征表[（256，H/4，W/4）、（512，H/8，W/8）、（1024，H/16，W/16）];

多尺度特征输入特征描述器，得到泛化的多尺度特征（1792，H/4，W/4），特征维度为1792，特征尺寸为（H/4，W/4），该特征矩阵上的每个位置的长度为1792的特征向量代表了整张图上对应位置的4X4大小的一个图像块的特征；

D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：

；

D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，前K个计算损失函数L_att，根据后J个计算损失函数L_rep，根据损失函数L_att和L_rep反向传播更新特征描述器的参数；

其中，L_att的函数为：

；

L_rep的函数为：

。

式中，T表示每张输入图像的泛化特征数量，r是可训练的相似度距离参数，α是超参数。

本实施例中，具体是每次从模板库中随机抽取N次包含B张图像的图像集。

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷。

检测时，先使用同样的预训练模型提取待检图片的矩阵特征，然后用训练好的特征描述器做进一步特征融合泛化，然后将待测图片的矩阵特征和核心特征库的矩阵特征进行一一比对，用向量相似度衡量其特征差异，并归一化为异常得分，如果异常得分超过设定好的阈值，则判定为缺陷。

此外，专利申请文献CN114862772A的方法中，由于其检测速度和核心模板库的大小负相关，检测效果和核心模板库的大小正相关。该发明的核心特征库如果设置较大，则需要比对的数量变多，速度会变慢；如果核心特征库设置较小，则检测效果又会受到很大影响。如果想通过增加模板库来提升检测效果时，其核心特征库也需要相应增大才能提升检测效果，但是这样做会导致检测时间增加。

因此特征库的构建方式是从所有的模板特征库中按一定条件筛选一部分模板特征作为核心特征库，其核心特征库中舍弃了大量模板特征，虽然采用了欧氏距离的判断来使核心特征的挑选具有一定的代表性，但是这一小部分的核心特征库还是很难代表整个数据集的整体特征，和其有偏差的也未必是有缺陷的图像，该做法会导致模型的泛化性能受限，在遇到难例时的判别准确率不高。

其中，所述核心特征库根据以下步骤获得：

A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征。

采集一批无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型（基于imagenet训练的残差模型，冻结权重）对模板库的所有图片提取多尺度的矩阵特征，矩阵特征的每个位置为固定长度的特征序列，每个特征序列代表原始图像对应位置的图像块特征；

A2、使用初始化的特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征。

A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。

对获得的所有的泛化特征进行特征压缩，得到核心特征库，具体做法是将所有的模板矩阵特征取平均，这样的话最后得到的特征库就仅有一个图像特征的大小，平均的特征汇聚了整个模板特征库的核心特征，比采用筛选的方法获得核心特征表现更优秀。并且这样核心特征库的大小固定，检测时间固定，不会因为模板库的增加而变慢。

请参照图10，本发明的实施例二为：

一种基于深度特征记忆库的无监督缺陷检测终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一的步骤。

综上所述，本发明提供的一种基于深度特征记忆库的无监督缺陷检测方法及终端，其通过增加可训练的特征描述器做进一步的特征调整，使特征泛化，能自适应图像旋转、缩放等常见操作，不会因为这些常见的操作导致分割区域异常。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，包括步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至训练好的特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷；

所述特征描述器根据以下方法进行训练得到：

获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：

D1、将图像集依次输入预训练模型和特征描述器，得到输入图像集的泛化特征；

D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库的图像块特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：

；

D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，根据前K个计算损失函数L_att，根据后J个计算损失函数L_rep，根据损失函数L_att和L_rep反向传播更新特征描述器的参数；

其中，L_att的函数为：

；

L_rep的函数为：

；

式中，T表示每张输入图像的泛化特征数量，r是相似度距离参数，α是超参数。

2.根据权利要求1所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述核心特征库根据以下步骤获得：

A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征；

A2、使用特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征；

A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。

3.根据权利要求1或2所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述预训练模型具体是执行以下步骤：

B1、将输入图像缩放至预设尺寸；

B2、提取输入图像不同尺度的特征。

4.根据权利要求1或2所述的一种基于深度特征记忆库的无监督缺陷检测方法，其特征在于，所述特征描述器具体是执行以下步骤：

C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；

C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。

5.一种基于深度特征记忆库的无监督缺陷检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、输入待检图片至预训练模型，提取待检图片的矩阵特征；

S2、输入待检图片的矩阵特征至训练好的特征描述器，以对待检图片的矩阵特征进行融合编码，得到待检图片的泛化特征；

S3、将待检图片的泛化特征与核心特征库的特征进行比对，得到待检图片的泛化特征与核心特征库的特征的向量相似度，对向量相似度归一化得到异常得分，若异常得分超过设定阈值，判断为缺陷；

所述特征描述器根据以下方法进行训练得到：

获取N个包含B张无缺陷的图像的图像集，每次选取一个图像集执行以下步骤直到特征描述器的参数收敛：

D1、将图像集依次输入预训练模型和特征描述器，得到输入图像集的泛化特征；

D2、将图像集中每张图像的图像块泛化特征φ(p)和记忆库的图像块特征c对比，计算泛化特征φ(p)和记忆库的图像块特征的相似度D(φ(p)，c)，其中D(φ(p)，c)的计算公式为：

；

D3、分别选取核心特征库中和每个图像块泛化特征相似度最高的K+J个图像块特征，根据前K个计算损失函数L_att，根据后J个计算损失函数L_rep，根据损失函数L_att和L_rep反向传播更新特征描述器的参数；

其中，L_att的函数为：

；

L_rep的函数为：

；

式中，T表示每张输入图像的泛化特征数量，r是相似度距离参数，α是超参数。

6.根据权利要求5所述的一种基于深度特征记忆库的无监督缺陷检测终端，其特征在于，所述核心特征库根据以下步骤获得：

A1、获取无缺陷的样本图像作为模板库，使用基于深度学习的预训练模型提取各个样本图像的矩阵特征；

A2、使用初始化的特征描述器对多尺度的矩阵特征进行融合编码，得到样本图像的泛化特征；

A3、对样本图像的泛化特征进行特征压缩，得到核心特征库。

7.根据权利要求5或6所述的一种基于深度特征记忆库的无监督缺陷检测终端，其特征在于，所述预训练模型具体是执行以下步骤：

B1、将输入图像缩放至预设尺寸；

B2、提取输入图像不同尺度的特征。

8.根据权利要求5或6所述的一种基于深度特征记忆库的无监督缺陷检测终端，其特征在于，所述特征描述器具体是执行以下步骤：

C1、将不同尺度的特征采样到同一尺度后进行合并，得到多尺度特征；

C2、给多尺度特征加上位置编码，将加上位置编码的多尺度特征进行卷积操作得到泛化特征。

Images