CN114170184A - 一种基于嵌入特征向量的产品图像异常检测方法及装置 - Google Patents

一种基于嵌入特征向量的产品图像异常检测方法及装置 Download PDF

Info

Publication number
CN114170184A
CN114170184A CN202111492254.6A CN202111492254A CN114170184A CN 114170184 A CN114170184 A CN 114170184A CN 202111492254 A CN202111492254 A CN 202111492254A CN 114170184 A CN114170184 A CN 114170184A
Authority
CN
China
Prior art keywords
image
abnormal
product
model
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111492254.6A
Other languages
English (en)
Inventor
郑敏娥
胡亮
陶原野
展华益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202111492254.6A priority Critical patent/CN114170184A/zh
Publication of CN114170184A publication Critical patent/CN114170184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入特征向量的产品图像异常检测方法及装置，首先基于嵌入向量相似性，训练无监督的异常检测模型；然后训练基于编解码的后处理模型，对无监督模型计算的异常得分图做进一步的特征提取以突出异常点；训练完成后对待检产品图像进行异常检测。仅需要少量正常图像样本就可以训练无监督模型，采用嵌入向量相似度的方法，避免了重构误差过大的问题，能够比较精准地实现异常定位；此外，仅需要少量异常标注图像样本就可以继续训练后处理模型，进一步优化异常检测与定位的精确性；适用性很强，用户可以根据需求自行调整。

Description

一种基于嵌入特征向量的产品图像异常检测方法及装置
技术领域
本发明涉及异常检测技术领域，尤其涉及一种基于嵌入特征向量的产品图像异常检测方法及装置。
背景技术
产品的表面异常检测是近年来制造业中格外关注的一项技术问题，机器视觉技术是目前工业生产中最常用的自动检测技术之一，检测算法的关键在于从图像中提取出能够辨识异常的特征，再依据特征进行异常检测。
异常检测是正常类和异常类之间的一种二元分类。由于经常缺少异常的例子，或者异常可能表现为各种不同的模式，如果采用有监督的训练模型来完成这项分类任务，前期需要花费大量的人力资源来进行异常标注。因此，采用基于无监督学习的算法来进行异常检测与定位是很有必要的。
异常检测和定位方法可以分为基于重建的方法和基于嵌入相似度的方法。基于重建的方法训练自动编码器、变分自动编码器或生成对抗网络这样的神经网络体系结构，只重建正常的训练图像，因此，异常图像可以被发现，因为它们没有得到很好的重建，为了定位异常，基于重建的方法通常将像素级的重构误差作为异常评分，这类方法非常直观且具有很强的可解释性，但性能往往不够高，因为这些算法有时也会对异常图像产生良好的重建结果。基于嵌入相似度的方法利用深度神经网络提取描述整幅图像的有意义向量用于异常检测，或提取图像Patch用于异常定位，这类方法结果较好，但往往缺乏可解释性，因为它不可能知道异常图像的异常分数高是由哪一部分导致的，在这种情况下，异常分数是计算测试图像的嵌入向量与训练数据集的法向参考向量之间的距离而得到的。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于嵌入特征向量的产品图像异常检测方法及装置，用于实现工业产品表面的异常检测与异常定位，避免重构误差过大的问题，更精准地实现异常定位。本发明首先基于嵌入向量相似性，训练无监督的异常检测模型；然后训练基于编解码的后处理模型，对无监督模型计算的异常得分图做进一步的特征提取以突出异常点；训练完成后对待检产品图像进行异常检测。
本发明通过以下技术方案来实现上述目的：
一种基于嵌入特征向量的产品图像异常检测方法，包括以下步骤：
步骤1、采集工业产品的表面图像数据，包括正常图像和异常图像，并对数据做预处理操作；
步骤2、利用正常图像数据，训练基于嵌入向量相似性的无监督异常检测模型；
步骤3、采用训练好的无监督异常检测模型，针对异常图像数据进行推断，计算异常得分图；
步骤4、对异常得分图进行特征提取以突出异常点，得到异常检测图并与标注的mask图比较，有监督地训练基于编解码的后处理模型，优化其损失函数；
步骤5、采用上述训练得到的模型，对待检产品图像进行异常的检测与定位。
进一步地，步骤1中产品图像数据采集的方法：采集正常产品图像，用于训练无监督模型；采集异常产品图像，并对其进行异常标注，制作相应的分割掩码(mask)，用于训练基于编解码的后处理模型。
进一步地，步骤1中数据预处理的方法，包括但不限于：图像清洗、图像切割、图像分块、数据增强等。
进一步地，步骤2中基于嵌入向量相似性的无监督异常检测方法：利用预先训练好的卷积神经网络(CNN)进行图像特征提取，然后提取CNN不同语义层次的信息得到patch嵌入向量，分块嵌入，最后使用多元高斯分布来描述每个patch位置。
进一步地，步骤2中预训练的CNN模型，包括但不限于：ResNet18模型和WideResNet50 模型等。
进一步地，步骤3中无监督异常检测模型计算异常得分图的方法：使用马氏距离M(xij)给测试图像(i，j)位置处的patch一个异常分数，组合得到马氏距离矩阵，从而计算出异常得分图。
进一步地，步骤3中减小异常得分图背景噪声的方法，包括但不限于高斯滤波。
进一步地，步骤4中基于编解码的有监督图像处理模型，包括但不限于：U-Net模型， Transformer模型等。
进一步地，步骤4中计算损失函数的方法，包括但不限于：L2距离，图像结构相似度SSIM等.
进一步地，步骤5中异常检测的方法：采用训练好的模型，计算得到待检产品图像的异常检测图，设定分割阈值，如果异常检测图中存在大于分割阈值的像素点，判定为异常图像，否则为正常图像。
进一步地，步骤5中异常定位的方法：根据分割阈值对异常检测图进行分割，大于分割阈值的像素点置255(或较大值)，小于分割阈值的像素点置0(或较小值)，得到定位图像，图像中的亮点(白色区域)即为异常点。
进一步地，步骤5中评估模型定位性能的指标，包括但不限于：图像级别的查全率、查准率，像素级别的AUC、IOU
进一步地，所述步骤2具体步骤如下：
B-1、输入N张正常图像，使用预训练的CNN模型提取图像特征；
B-2、将输入图像均匀划分成H×W块，可以得到(i，j)位置对应的每个图像patch，在训练阶段，正常图像的每个patch与预训练的CNN激活图中空间对应的激活向量相关联，将来自不同层的激活向量连接起来，可以得到包含不同层和不同分辨率信息的嵌入向量：
{xij|i＝1…H，j＝1…W}
B-3、为了学习(i，j)位置处的正常图像特征，基于N张正常训练图像，计算在(i，j)处的 patch嵌入向量集合，即
Figure RE-GDA0003460780100000041
B-4、假设N个嵌入向量服从多元高斯分布N(μij，∑ij)，其中，μij是样本均值，∑ij是样本协方差，可以把这个高斯分布的期望和标准差作为这个位置的最终正常特征；根据每个 (i，j)位置处的patch嵌入向量集合Xij，学习该位置对应的高斯参数(μij，∑ij)：
Figure RE-GDA0003460780100000042
Figure RE-GDA0003460780100000043
其中，正则化项εI使样本协方差矩阵∑ij满秩且可逆；
B-5、最后，将H×W块patch对应的(μij，∑ij)组合，得到高斯参数矩阵。
进一步地，所述步骤3具体步骤如下：
计算异常得分图的方法：使用马氏距离M(xij)给测试图像(i，j)位置处的patch一个异常分数，从而计算出异常得分图；M(xij)解释为测试图像patch的嵌入向量xij与正常图像特征分布N(μij，∑ij)之间的距离，计算公式如下：
Figure RE-GDA0003460780100000044
由此，计算出构成异常得分图的马氏距离矩阵：
M＝(M(xij))1＜i＜H，1＜j＜W。
进一步地，训练后处理模型的过程如下：
D-1、将步骤3计算的异常得分图输入U-Net网络，进行特征提取，重建得到异常检测图；
D-2、对比异常检测图Ir和mask图像I，优化损失函数，损失函数采用L2距离和图像结构相似度，最终的损失函数如下：
Loss＝λSLS(I，Ir)+L2(I，Ir)
Figure RE-GDA0003460780100000051
其中，λS为超参数，LS(I，Ir)表示SSIM损失，L2表示距离损失，N表示原图像素个数。
本发明另一方面还提供了一种基于嵌入特征向量的产品图像异常检测装置，包括数据采集模块和异常检测模块；
所述数据采集模块，将相机固定在产品生产线上，用于采集工业产品的表面图像数据；
所述异常检测模块，包括计算机可读存储介质和处理器，通过数据线与所述相机连接；
计算机可读存储介质用于存储计算机程序，计算机程序通过处理器执行所述基于嵌入特征向量的产品图像异常检测方法中的步骤，对工业生产线上的产品做实时的表面异常检测。
本发明的有益效果在于：
(1)基于正常图像样本训练的无监督模型可以直接用于异常检测；
(2)在计算嵌入向量相似度时，考虑了CNN不同层之间语义的相关关系，提取到的信息更丰富；
(3)采用嵌入向量相似度的方法，避免了重构误差过大的问题，能够比较精准地实现异常定位；
(4)基于异常标注图像样本训练的有监督的后处理模型，极大提高了异常检测的准确性；
(5)适用性很强，用户可以根据需求自行调整。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中的基于嵌入特征向量的产品图像异常检测方法的流程图；
图2为本发明中的基于嵌入特征向量的产品图像异常检测网络结构图；
图3为本发明中的基于嵌入特征向量的产品图像异常检测装置。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
在任一实施例中，图1和图2分别示出了本发明中基于嵌入特征向量的产品图像异常检测方法的流程图和网络结构，异常检测方法包括以下步骤：
步骤A、采集工业产品的表面图像数据，包括正常图像和异常图像，并对数据做预处理操作。
其中，采集大小为256*256的图像数据，分为两部分：第一部分包含100张正常产品图像，用于训练无监督模型；第二部分包含300张标注好的异常产品图像，用于训练基于编解码的后处理模型。
其中，对异常产品图像进行异常标注并制作相应的分割掩码(mask)的方法为：首先采用Labelme标注工具对测试集图像进行异常标注，生成json文件；然后采用 labelme_json_to_dataset.exe将json文件转换成label.png，制作mask，mask是一个与原始图像大小相同的图像，但对于每个像素，它只有两个取值：0表示不存在异常，1表示存在异常。
其中，根据需求可对图像数据做一些预处理操作，包括但不限于：图像清洗、图像切割、图像分块、数据增强等。
步骤B、利用正常图像数据，训练基于嵌入向量相似性的无监督异常检测模型。
其中，基于嵌入向量相似性的无监督异常检测方法，首先使用预训练的CNN模型提取图片特征并分块嵌入，然后使用多元高斯分布来描述每个patch位置，步骤如下：
B-1、输入N张正常图像，使用预训练的CNN模型提取图像特征。
B-2、将输入图像均匀划分成H×W块，可以得到(i，j)位置对应的每个图像patch，在训练阶段，正常图像的每个patch与预训练的CNN激活图中空间对应的激活向量相关联，将来自不同层的激活向量连接起来，可以得到包含不同层和不同分辨率信息的嵌入向量：
{xij|i＝1…H，j＝1…W}
B-3、为了学习(i，j)位置处的正常图像特征，基于N张正常训练图像，计算在(i，j)处的 patch嵌入向量集合，即
Figure RE-GDA0003460780100000071
B-4、假设N个嵌入向量服从多元高斯分布N(μij，∑ij)，其中，μij是样本均值，∑ij是样本协方差，可以把这个高斯分布的期望和标准差作为这个位置的最终正常特征。根据每个 (i，j)位置处的patch嵌入向量集合Xij，学习该位置对应的高斯参数(μij，∑ij)：
Figure RE-GDA0003460780100000072
Figure RE-GDA0003460780100000073
其中，正则化项εI使样本协方差矩阵∑ij满秩且可逆。
B-5、最后，将H×W块patch对应的(μij，∑ij)组合，得到高斯参数矩阵。
步骤C、采用训练好的无监督异常检测模型，针对异常图像数据进行推断，计算异常得分图。
其中，计算异常得分图的方法：使用马氏距离M(xij)给测试图像(i，j)位置处的patch一个异常分数，从而计算出异常得分图。M(xij)可以解释为测试图像patch的嵌入向量xij与正常图像特征分布N(μij，∑ij)之间的距离，计算公式如下：
Figure RE-GDA0003460780100000081
由此，可以计算出构成异常得分图的马氏距离矩阵：
M＝(M(xij))1＜i＜H，1＜j＜W
其中，为了减小背景噪声的影响，还可对异常得分图做平滑处理，比如高斯滤波。
步骤D、对异常得分图进行特征提取以突出异常点，得到异常检测图并与标注的mask 图比较，有监督地训练基于编解码的后处理模型，优化其损失函数。
其中，基于编解码的有监督后处理模型，包括但不限于U-Net模型，Transformer模型等，这里采用U-Net模型，该模型在浅层和深层之间还使用了类似残差网络(ResNet)的跳连接 (Skip Connection)。训练后处理模型的过程如下：
D-1、将步骤C计算的异常得分图输入U-Net网络，进行特征提取，重建得到异常检测图。
D-2、对比异常检测图Ir和mask图像I，优化损失函数。损失函数采用L2距离和图像结构相似度(Structural Similarity，SSIM)，最终的损失函数如下：
Loss＝λSLS(I，Ir)+L2(I，Ir)
Figure RE-GDA0003460780100000082
其中，λS为超参数，LS(I，Ir)表示SSIM损失，L2表示距离损失，N表示原图像素个数。
步骤E、采用上述训练得到的模型，对待检产品图像进行异常的检测与定位。
其中，异常检测的方法：采用训练好的模型，计算得到待检产品图像的异常检测图，设定分割阈值，如果异常检测图中存在大于分割阈值的像素点，判定为异常图像，否则为正常图像。
其中，异常定位的方法：根据分割阈值对异常检测图进行分割，大于分割阈值的像素点置255(或较大值)，小于分割阈值的像素点置0(或较小值)，得到定位图像，图像中的亮点 (白色区域)即为异常点。
其中，评估模型定位性能的指标，包括但不限于：图像级别的查全率、查准率，像素级别的AUC、IOU
本发明提供的基于嵌入特征向量的产品图像异常检测方法：仅需要少量正常图像样本就可以训练无监督模型，采用嵌入向量相似度的方法，避免了重构误差过大的问题，能够比较精准地实现异常定位；此外，仅需要少量异常标注图像样本就可以继续训练后处理模型，进一步优化异常检测与定位的精确性；适用性很强，用户可以根据需求自行调整。
在任一实施例中，图3示出了本发明中基于嵌入特征向量的产品图像异常检测装置，包括数据采集模块和异常检测模块。数据采集模块，将相机固定在产品生产线上，用于采集工业产品的表面图像数据；异常检测模块，包括计算机可读存储介质和处理器，通过数据线与所述相机连接。计算机可读存储介质用于存储计算机程序，计算机程序通过处理器执行所述基于嵌入特征向量的产品图像异常检测方法中的步骤，对工业生产线上的产品做实时的表面异常检测。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，包括以下步骤：
步骤1、采集工业产品的表面图像数据，包括正常图像和异常图像，并对数据做预处理操作；
步骤2、利用正常图像数据，训练基于嵌入向量相似性的无监督异常检测模型；
步骤3、采用训练好的无监督异常检测模型，针对异常图像数据进行推断，计算异常得分图；
步骤4、对异常得分图进行特征提取，得到异常检测图并与标注的mask图比较，有监督地训练基于编解码的后处理模型，优化其损失函数；
步骤5、采用上述训练得到的模型，对待检产品图像进行异常的检测与定位。
2.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤1中产品图像数据采集的方法：采集正常产品图像，用于训练无监督模型；采集异常产品图像，并对其进行异常标注，制作相应的分割掩码mask，用于训练基于编解码的后处理模型；
所述步骤1中数据预处理的方法，包括图像清洗、图像切割、图像分块、数据增强。
3.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤2中基于嵌入向量相似性的无监督异常检测方法：利用预先训练好的卷积神经网络CNN进行图像特征提取，然后提取CNN不同语义层次的信息得到patch嵌入向量，分块嵌入，最后使用多元高斯分布来描述每个patch位置；
所述步骤2中预训练的CNN模型，包括ResNet18模型和Wide ResNet50模型。
4.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤3中无监督异常检测模型计算异常得分图的方法：使用马氏距离M(xij)给测试图像(i，j)位置处的patch一个异常分数，组合得到马氏距离矩阵，从而计算出异常得分图；
所述步骤3中减小异常得分图背景噪声的方法，包括高斯滤波。
5.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤4中基于编解码的有监督图像处理模型，包括U-Net模型，Transformer模型；
所述步骤4中计算损失函数的方法，包括L2距离，图像结构相似度SSIM。
6.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤5中异常检测的方法：采用训练好的模型，计算得到待检产品图像的异常检测图，设定分割阈值，如果异常检测图中存在大于分割阈值的像素点，判定为异常图像，否则为正常图像；
所述步骤5中异常定位的方法：根据分割阈值对异常检测图进行分割，大于分割阈值的像素点置255或较大值，小于分割阈值的像素点置0或较小值，得到定位图像，图像中的亮点即为异常点；
所述步骤5中评估模型定位性能的指标，包括图像级别的查全率、查准率，像素级别的AUC、IOU。
7.如权利要求3所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤2具体步骤如下：
B-1、输入N张正常图像，使用预训练的CNN模型提取图像特征；
B-2、将输入图像均匀划分成H×W块，可以得到(i，j)位置对应的每个图像patch，在训练阶段，正常图像的每个patch与预训练的CNN激活图中空间对应的激活向量相关联，将来自不同层的激活向量连接起来，可以得到包含不同层和不同分辨率信息的嵌入向量：
{xij|i＝1…H，j＝1…W}
B-3、为了学习(i，j)位置处的正常图像特征，基于N张正常训练图像，计算在(i，j)处的patch嵌入向量集合，即
Figure RE-FDA0003460780090000021
B-4、假设N个嵌入向量服从多元高斯分布N(μij，∑ij)，其中，μij是样本均值，∑ij是样本协方差，可以把这个高斯分布的期望和标准差作为这个位置的最终正常特征；根据每个(i，j)位置处的patch嵌入向量集合Xij，学习该位置对应的高斯参数(μij，∑ij)：
Figure RE-FDA0003460780090000031
Figure RE-FDA0003460780090000032
其中，正则化项εI使样本协方差矩阵∑ij满秩且可逆；
B-5、最后，将H×W块patch对应的(μij，∑ij)组合，得到高斯参数矩阵。
8.如权利要求4所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，所述步骤3具体步骤如下：
计算异常得分图的方法：使用马氏距离M(xij)给测试图像(i，j)位置处的patch一个异常分数，从而计算出异常得分图；M(xij)解释为测试图像patch的嵌入向量xij与正常图像特征分布N(μij，∑ij)之间的距离，计算公式如下：
Figure RE-FDA0003460780090000033
由此，计算出构成异常得分图的马氏距离矩阵：
M＝(M(xij))1＜i＜H，1＜j＜W。
9.如权利要求1所述的一种基于嵌入特征向量的产品图像异常检测方法，其特征在于，训练后处理模型的过程如下：
D-1、将步骤3计算的异常得分图输入U-Net网络，进行特征提取，重建得到异常检测图；
D-2、对比异常检测图Ir和mask图像I，优化损失函数，损失函数采用L2距离和图像结构相似度，最终的损失函数如下：
Loss＝λSLS(I，Ir)+L2(I，Ir)
Figure RE-FDA0003460780090000034
其中，λS为超参数，LS(I，Ir)表示SSIM损失，L2表示距离损失，N表示原图像素个数。
10.一种基于嵌入特征向量的产品图像异常检测装置，其特征在于，包括数据采集模块和异常检测模块；
所述数据采集模块，将相机固定在产品生产线上，用于采集工业产品的表面图像数据；
所述异常检测模块，包括计算机可读存储介质和处理器，通过数据线与所述相机连接；
计算机可读存储介质用于存储计算机程序，计算机程序通过处理器执行所述基于嵌入特征向量的产品图像异常检测方法中的步骤，对工业生产线上的产品做实时的表面异常检测。
CN202111492254.6A 2021-12-08 2021-12-08 一种基于嵌入特征向量的产品图像异常检测方法及装置 Pending CN114170184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111492254.6A CN114170184A (zh) 2021-12-08 2021-12-08 一种基于嵌入特征向量的产品图像异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111492254.6A CN114170184A (zh) 2021-12-08 2021-12-08 一种基于嵌入特征向量的产品图像异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN114170184A true CN114170184A (zh) 2022-03-11

Family

ID=80484283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111492254.6A Pending CN114170184A (zh) 2021-12-08 2021-12-08 一种基于嵌入特征向量的产品图像异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN114170184A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663742A (zh) * 2022-04-01 2022-06-24 北京优创新港科技股份有限公司 一种基于无监督学习的路面异常检测方法及系统
CN115170890A (zh) * 2022-07-28 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车连接拉杆链折断故障识别方法
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN116405661A (zh) * 2023-04-28 2023-07-07 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN116563281A (zh) * 2023-07-07 2023-08-08 浙江省北大信息技术高等研究院 五金件质量检测方法、装置、计算机设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663742A (zh) * 2022-04-01 2022-06-24 北京优创新港科技股份有限公司 一种基于无监督学习的路面异常检测方法及系统
CN115690561A (zh) * 2022-04-01 2023-02-03 北京优创新港科技股份有限公司 一种路面异常监测方法
CN115170890A (zh) * 2022-07-28 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车连接拉杆链折断故障识别方法
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN116128798B (zh) * 2022-11-17 2024-02-27 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻方法
CN116405661A (zh) * 2023-04-28 2023-07-07 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN116405661B (zh) * 2023-04-28 2023-09-29 可诺特软件(深圳)有限公司 一种智能电视开发性能测试方法和装置
CN116563281A (zh) * 2023-07-07 2023-08-08 浙江省北大信息技术高等研究院 五金件质量检测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111008643B (zh) 基于半监督学习的图片分类方法、装置和计算机设备
CN115222650A (zh) 一种混合工业零件缺陷检测算法
CN111738363A (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN112862830A (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
Avola et al. Real-time deep learning method for automated detection and localization of structural defects in manufactured products
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN115861226A (zh) 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN114972871A (zh) 基于图像配准的少样本图像异常检测方法及系统
CN114743257A (zh) 图像目标行为的检测识别方法
CN113723461A (zh) 超声设备及超声图像分析方法
CN113408356A (zh) 基于深度学习的行人重识别方法、装置、设备及存储介质
CN112614094A (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN116912183B (zh) 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统
CN115690026A (zh) 一种两阶段的基于生成对抗网络的缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination