CN114862857B - 一种基于两阶段学习的工业产品外观异常检测方法及系统 - Google Patents

一种基于两阶段学习的工业产品外观异常检测方法及系统 Download PDF

Info

Publication number
CN114862857B
CN114862857B CN202210796846.5A CN202210796846A CN114862857B CN 114862857 B CN114862857 B CN 114862857B CN 202210796846 A CN202210796846 A CN 202210796846A CN 114862857 B CN114862857 B CN 114862857B
Authority
CN
China
Prior art keywords
data set
abnormal
stage
test data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210796846.5A
Other languages
English (en)
Other versions
CN114862857A (zh
Inventor
宋艳枝
刘建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Gauss Intelligent Technology Co ltd
Original Assignee
Hefei Gauss Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Gauss Intelligent Technology Co ltd filed Critical Hefei Gauss Intelligent Technology Co ltd
Priority to CN202210796846.5A priority Critical patent/CN114862857B/zh
Publication of CN114862857A publication Critical patent/CN114862857A/zh
Application granted granted Critical
Publication of CN114862857B publication Critical patent/CN114862857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及深度学习与人工智能技术领域，解决了异常产品漏检率较高的技术问题，尤其涉及一种基于两阶段学习的工业产品外观异常检测方法，包括以下步骤：获取测试数据集和训练数据集及ImageNet图像数据集；根据训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；将测试数据集输入第一阶段异常检测模型，获得第一异常检测结果；根据ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；将测试数据集子集输入第二阶段异常检测模型，获得第二异常检测结果。本发明通过两阶段学习框架的设计，在待检测样本被任意一阶段判断为异常时，最终都将被检测为缺陷样本，提高了异常检测的准确性。

Description

一种基于两阶段学习的工业产品外观异常检测方法及系统
技术领域
本发明涉及深度学习与人工智能技术领域，尤其涉及一种基于两阶段学习的工业产品外观异常检测方法及系统。
背景技术
工业产品外观异常检测，是指通过数据挖掘的方法检测出与正常实例不同的、异常的或有缺陷的实例，是对正常类别和异常类别的二元分类，也是深度学习、计算机视觉和人工智能领域最重要、最常见的任务之一。但与监督分类问题不同的是，在工业场景中异常数据罕见，致使获取的成本高、难度大且工业产品缺陷情况复杂，因而异常检测模型只能使用正常样本进行学习和训练。此外，在检测过程中与正常产品不同的被归为异常并召回，这一过程也被称为工业冷启动。
目前，市面上现有的工业产品外观异常检测主要采用Auto-Encoder (AE)、Generative Adversarial Network (GAN)等相关网络结构，或其他非基于重构误差的方法，其中，AE和GAN具有良好的可解释性，但在实际检测过程中，由于工业产品在工业场景中的图像背景比较单一，且产品的缺陷通常表现在局部而非整个工件，使得上述方法对异常图像也有很好的重构效果，这会使得难以区分重构前后的图像，从而导致异常产品的漏检率较高。
此外，其他基于非重构的方法对于中心对齐或整个图像对齐的数据有较好的效果，但对于实际工业制造中采集到的存在位置偏移、重影失真等图像有一定的性能下降，更重要的是，在生产中遗漏异常产品的成本要比将正常样品误判为异常的成本大得多，而上述现有的方法并没有考虑到行业的实际需求，从而无法满足现代化企业的使用要求。
发明内容
针对现有技术的不足，本发明提供了一种基于两阶段学习的工业产品外观异常检测方法及系统，解决了异常产品漏检率较高的技术问题，达到了大大减少缺陷样品的漏检，从而满足了实际工业应用中对缺陷样品高召回率的严格要求的目的。
为解决上述技术问题，本发明提供了如下技术方案：一种基于两阶段学习的工业产品外观异常检测方法，包括以下步骤：
获取测试数据集和训练数据集及ImageNet图像数据集；
根据所述训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；
将所述测试数据集输入所述第一阶段异常检测模型，获得第一异常检测结果；
根据所述ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；
将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，其中，所述测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据；
生成召回指令将所述第一异常检测结果和第二异常检测结果对应的异常产品进行召回。
进一步地，所述训练数据集包括伪异常样本和含有点位信息的正常样本，其中，所述伪异常样本为根据CutCover方法和Outlier Exposure方法构造的区别于正常样本的图像。
进一步地，所述将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，包括：
获取所述训练数据集中正常样本的占比；
根据所述正常样本和所述训练数据集中正常样本的占比，计算所述测试数据集子集的异常分数和检测阈值；
判断所述测试数据集子集的异常分数是否小于检测阈值，如果所述测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
进一步地，所述训练数据集中正常样本的占比小于预设值时，计算所述测试数据集子集的异常分数和检测阈值，包括：
将所述正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量；
将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布；
将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数，并根据理论分位数给出检测阈值。
进一步地，所述训练数据集中正常样本的占比大于或等于预设值时，计算所述测试数据集子集的异常分数和检测阈值，包括：
从正常样本中抽取一批作为已知标签的测试样本，将剩余的正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量；
将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布；
将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数；
将从正常样本中抽取的已知标签的测试样本输入到上述多元高斯分布中得到已知标签的测试样本的异常分数，则取已知标签的测试样本的异常分数的概率分布的经验分位数作为检测阈值。
进一步地，所述训练数据集中还包括真实异常样本图像。
进一步地，所述测试数据集是由图像采集设备所采集的多个工业产品外观图像
本发明还提供了一种技术方案：一种基于两阶段学习的工业产品外观异常检测系统，包括：
数据集获取单元，所述数据集获取单元用于获取训练数据集和测试数据集及ImageNet图像数据集；
第一阶段异常检测模型构建单元，所述第一阶段异常检测模型构建单元用于根据所述训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；
第一检测单元，所述第一检测单元用于将所述测试数据集输入所述第一阶段异常检测模型，获得第一异常检测结果；
第二阶段异常检测模型构建单元，所述第二阶段异常检测模型构建单元用于根据所述ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；
第二检测单元，所述第二检测单元用于将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，其中，所述测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据；
召回指令生成单元，所述召回指令生成单元用于生成召回指令将所述第一异常检测结果和第二异常检测结果对应的异常产品进行召回。
进一步地，所述第二检测单元包括：
占比获取模块，所述占比获取单元用于获取所述训练数据集中正常样本的占比；
计算模块，所述计算单元用于根据所述正常样本和所述训练数据集中正常样本的占比，计算所述测试数据集子集的异常分数和检测阈值；
异常判断模块，所述异常判断单元用于判断所述测试数据集子集的异常分数是否小于检测阈值，如果所述测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
借由上述技术方案，本发明提供了一种基于两阶段学习的工业产品外观异常检测方法及系统，至少具备以下有益效果：
1、本发明第一阶段通过正常样本和根据CutCover和Outlier Exposure方法构造显著区别于正常样本的伪异常样本对卷积神经网络进行训练，获得第一阶段异常检测模型，从而可将图像采集设备所采集的测试数据集中具有重影和特征模糊的低质量图像以及一些具有明显缺陷的异常图像进行初步筛选，进而降低了异常产品漏检率。
2、本发明第二阶段通过ImageNet图像数据集训练卷积神经网络获得第二阶段异常检测模型，并根据训练数据集中正常样本的占比和正常样本，计算测试数据集子集的异常分数和异常检测模型的检测阈值，可对测试数据集中存在局部微小缺陷的图像进行筛选，提高了产品缺陷检测的准确性，满足实际工业应用中对缺陷样品高召回率的严格要求。
3、本发明通过在训练数据集中增加少量真实异常样本，便于促使卷积神经网络学习到正常样本和真实异常样本特征向量更加深层次的区别，而非得到简易的朴素解，提高了第一阶段异常检测的检测准确性，进一步降低了异常产品漏检率；另外，在训练数据集中正常样本的数量较多时，从正常样本中抽取部分样本参与特征分布拟合，而将剩余的正常样本输入到拟合好的多元高斯网络中去得到异常分数，之后选择这些分数的经验分位数替代理论分位数做为检测阈值，提高了第二阶段异常检测的准确性，更加适应于工业产品外观缺陷检测。
本发明通过两阶段学习框架的设计，在待检测样本被任意一阶段判断为异常时，最终都将被检测为缺陷样本，满足了实际工业应用中对缺陷样品高召回率的严格要求；另外在高斯假设下，当特征维度足够大时，异常分数近似服从一维高斯分布，则分布的分位数可以作为工业冷启动的检测阈值，而且使用经验分位数代替理论分位数作为异常检测的判定阈值，从而提高异常检测的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一提供的基于两阶段学习的工业产品外观异常检测方法的架构图；
图2为本发明实施例一提供的基于两阶段学习的工业产品外观异常检测方法的流程图；
图3为本发明实施例二提供的基于两阶段学习的工业产品外观异常检测方法的流程图；
图4为本发明实施例三提供的基于两阶段学习的工业产品外观异常检测方法的流程图；
图5为本发明实施例四提供的基于两阶段学习的工业产品外观异常检测方法的流程图；
图6为本发明提供的基于两阶段学习的工业产品外观异常检测方法中异常检测判定阈值的计算原理图；
图7为本发明实施例五提供的基于两阶段学习的工业产品外观异常检测系统的框图。
图中：100、数据集获取单元；200、第一阶段异常检测模型构建单元；300、第一检测单元；400、第二阶段异常检测模型构建单元；500、第二检测单元；501、占比获取模块；502、计算模块；503、异常判断模块；600、召回指令生成单元。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
实施例一
请参照图1、图2和图6，示出了根据本发明实施例一的一种基于两阶段学习的工业产品外观异常检测方法，该方法通过第一阶段学习可将具有重影和中心偏移的低质量图像以及具有明显缺陷的异常图像进行召回，再通过第二阶段学习可将特征清晰且对齐但存在局部微小缺陷的图像进行召回，大大减少了异常样本的漏检，而且便于冷启动后的模型优化迭代，适应于工业场景，如图2所示，具体包括以下步骤：
S11、获取训练数据集和测试数据集及ImageNet图像数据集，其中，训练数据集包括伪异常样本和含有点位信息的正常样本。
1）测试数据集是由图像采集设备所采集的多个工业产品外观图像。本实施例中，图像采集设备为工业相机。
2）训练数据集包括伪异常样本和含有点位信息的正常样本。
具体的，伪异常样本指通过根据CutCover和Outlier Exposure方法构造的显著区别于正常样本的图像，其中，CutCover方法指的是从正常样本中裁剪与待检测对象尺寸相同的矩形区域，并将矩形区域和正常样本中待检测对象重叠后构成的图像；OutlierExposure方法指的是从待检测产品零件附近区域进行随机裁剪操作，获得与正常样本尺寸相同的图像，作为辅助的异常图像集。
需要说明的是，与故意挑选的接近正常分布的异常数据或者人工合成的异常图像集相比，通过采用Outlier Exposure方法构造的作为辅助的异常图像集训练获得的异常检测模型更加有效，提高了泛化能力，能够检测出未见过的异常样本，从而降低了异常产品漏检率。
则可将第一阶段异常检测的训练目标定义如下：
Figure 479870DEST_PATH_IMAGE002
其中，
Figure 741218DEST_PATH_IMAGE003
表示正常样本，即in-distriubtion,
Figure 848852DEST_PATH_IMAGE004
和
Figure 57110DEST_PATH_IMAGE005
分别代表使用CutCover方法和Outlier Exposure方法构造的伪异常样本，out表示分布外数据，即out-of-distribution，
Figure 464958DEST_PATH_IMAGE006
表示测试数据集x输入卷积神经网络之后得到的预测标签，1代表正常样本的真实标签，0代表异常样本的真实标签，λ表示伪异常样本的权重系数，
Figure 100469DEST_PATH_IMAGE007
表示交叉熵损失，即
Figure 446131DEST_PATH_IMAGE008
，y代表真实标签，
Figure 972928DEST_PATH_IMAGE009
代表预测值，
Figure 720435DEST_PATH_IMAGE010
代表期望，在计算中选择用经验均值替代。
需要说明的是，λ的取值由训练集数据中样本分布决定，一般可取2～3之间。具体的，当训练数据集中正常样本的数量大于伪异常样本的数量时，可以选择较大的λ值以保持样本的平衡；当对异常样本的漏检率要求严格时，还可以选择更大的λ值以提高伪异常样本的训练权重，而这也会一定程度上导致部分正常样本被误判为异常样本。因此，可以选择交叉验证的方式，选择合适的λ值。
在本实施例中，含有点位信息的正常样本指在同一生产线上的工业产品有多个点位时，为每个正常样本定义一个点位标签，构成含有点位标签的正常样本；设产品包含的点位个数为I，则含有点位标签的正常样本可表示为：
Figure 41695DEST_PATH_IMAGE011
其中，i指点位信息，
Figure 874653DEST_PATH_IMAGE012
，
Figure 690293DEST_PATH_IMAGE013
指点位i对应的正常样本。
则可将第一阶段异常检测的训练目标定义如下：
Figure 275995DEST_PATH_IMAGE015
在工业产品不含有点位时，对正常样本进行一系列如旋转、水平翻折和随机裁剪等几何变换操作，并构造该几何变换的点位标签。
这样会促使卷积神经网络学习到正常样本和伪异常样本特征向量更加深层次的区别，而非得到简易的朴素解，从而提高了第一阶段异常检测的检测准确性。
3）ImageNet图像数据集是一个旨在为世界各地的研究人员提供易于访问的数据库，其中，总共含有14197122副图像，总共分为21841个类别，研究人员可根据需要下载相应的数据集。
S12、根据训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型。
在本实施例中，选择使用的是多层卷积神经网络，包括卷积层、平均池化层和多层感知机MLP，在输入训练数据集进行训练时，可以直接加载卷积层和池化层的预训练权重作为模型的权重，且只需将线性输出类别个数根据数据分布修改即可进行训练，经过多次迭代训练可获得进行第一阶段异常检测的模型。
S13、将测试数据集输入第一阶段异常检测模型，获得第一异常检测结果。
本实施例中，第一异常检测结果包括在实际工业场景中，工业产品在装配线上运输过程中或其它因素导致工业相机拍摄产品外观图像出现重影和中心偏移的图像。为此，实现了对测试数据集中图像重影和特征模糊等异常样本的初步筛选。
S14、根据ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型。
在本实施例中，选择使用的是多层卷积神经网络，包括卷积层、平均池化层和多层感知机MLP，采用Wide ResNet模型或EfficientNet模型，通过将下载的ImageNet图像数据集输入预设的卷积神经网络进行训练，便可获得用于进行第二阶段异常检测的模型。
S15、将测试数据集子集输入第二阶段异常检测模型，获得第二异常检测结果，其中，测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据。具体检测过程包括以下步骤：
S151、获取训练数据集中正常样本的占比；
S152、训练数据集中正常样本的占比小于预设值，则将正常样本图像输入第二阶段异常检测模型以提取不同层级的第一特征向量；
在本实施例中，预设值设为0.8，即当训练数据集中正常样本的占比小于0.8时，将正常样本图像输入第二阶段异常检测模型以提取不同层级的第一特征向量。
S153、将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布；
具体的，假设每一层级的第一特征向量均服从多元高斯分布，具体多元高斯分布概率密度函数为：
Figure 50047DEST_PATH_IMAGE016
其中，x指正常样本，
Figure 353990DEST_PATH_IMAGE017
μ指正常样本的均值向量，
Figure 696023DEST_PATH_IMAGE018
Figure 152543DEST_PATH_IMAGE019
，d指正常样本的维度，Τ指对向量或矩阵进行转置。
Figure 815606DEST_PATH_IMAGE021
则每一层的特征向量
Figure 357577DEST_PATH_IMAGE022
,其中，
Figure 764287DEST_PATH_IMAGE023
指卷积神经网络的第
Figure 340893DEST_PATH_IMAGE024
层，
Figure 174857DEST_PATH_IMAGE025
，N为卷积神经网络总共的层数，
Figure 204124DEST_PATH_IMAGE026
为第
Figure 165258DEST_PATH_IMAGE027
层特征的维度，
Figure 845638DEST_PATH_IMAGE028
，
Figure 866815DEST_PATH_IMAGE029
分别为第
Figure 367066DEST_PATH_IMAGE030
层高斯分布的均值和协方差矩阵。且假设不同特征层第一特征向量之间是相互独立的，则沿通道维度进行拼接之后的第二特征向量为
Figure 600733DEST_PATH_IMAGE031
,其中：
Figure 151931DEST_PATH_IMAGE033
记
Figure 327697DEST_PATH_IMAGE034
为将第j个正常样本图像不同层的第一特征向量拼接之后得到的第二特征向量，记为Embedding，则可得均值向量μ的极大似然估计为
Figure 65977DEST_PATH_IMAGE035
Figure 883760DEST_PATH_IMAGE036
，协方差矩阵Σ的极大似然估计为：
Figure 758307DEST_PATH_IMAGE037
其中，n为正常样本个数。由于训练数据集中正常样本个数是有限的，所以Embedding的维度远大于正常样本个数，
Figure 370554DEST_PATH_IMAGE038
变得奇异不可逆，为更好地估计协方差矩阵，引入了经验协方差矩阵的一种变换方式：
Figure 861709DEST_PATH_IMAGE040
其中，α是收缩系数，
Figure 702757DEST_PATH_IMAGE041
指
Figure 212236DEST_PATH_IMAGE042
的迹，即
Figure 480537DEST_PATH_IMAGE043
的主对角线元素之和，D指
Figure 442677DEST_PATH_IMAGE044
的维度，
Figure 87416DEST_PATH_IMAGE045
指维度为D的单位矩阵。在数据服从高斯分布的假设下，Oracle收缩近似协方差估计器有着较小均方误差的收缩系数，可以更好地估计协方差矩阵。因此，本实施例中选择使用协方差的Oracle近似收缩估计。当然，本步骤还可以选择 Ledoit-Wolf 协方差估计法对不同数据分布下的协方差进行估计，在此不再展开详细描述。
S154、将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数，并根据理论分位数给出检测阈值；
在本实施例中，使用测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为测试图像的异常分数，其中，Mahalanobis距离表达式如下：
Figure 451401DEST_PATH_IMAGE046
Figure 625025DEST_PATH_IMAGE047
表示特定的点x和一个具有均值μ、协方差矩阵Σ的多元高斯分布之间的距离。
测试数据集子集中测试图像的异常分数为：
Figure 74461DEST_PATH_IMAGE048
，当x来自高斯分布时，
Figure 347110DEST_PATH_IMAGE049
服从自由度
Figure 50754DEST_PATH_IMAGE050
的卡方分布，其中，
Figure 910126DEST_PATH_IMAGE051
是多元高斯分布的维度，即：
Figure 332011DEST_PATH_IMAGE052
。
根据中心极限定理，当自由度k足够大时，
Figure 98979DEST_PATH_IMAGE053
近似服从一维正态分布，其中正态分布的均值和方差分别是卡方分布的均值和方差，即
Figure 922710DEST_PATH_IMAGE054
。
则异常分数在中心极限定理保证下有：
Figure 234873DEST_PATH_IMAGE055
。
此时，检测阈值为下α分位数
Figure 393322DEST_PATH_IMAGE056
，即理论分位数，为了保证工业产品异常检测具有较低的异常样本漏检率，可选择了高斯分布75%、80%、85%的下α分位数作为检测阈值。
S155、判断测试数据集子集的异常分数是否小于检测阈值，如果测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
在本实施例中，如果测试数据集子集中的测试图像异常分数
Figure 183555DEST_PATH_IMAGE057
，则判定为正常产品，否则判定为异常产品。
S16、生成召回指令将第一异常检测结果和第二异常检测结果对应的异常产品进行召回。
本实施例，第一阶段通过正常样本和根据CutCover和Outlier Exposure方法构造显著区别于正常样本的伪异常样本对卷积神经网络进行训练，获得第一阶段异常检测模型，从而可将图像采集设备所采集的测试数据集中具有重影和特征模糊的低质量图像以及一些具有明显缺陷的异常图像进行初步筛选，第二阶段通过ImageNet图像数据集训练卷积神经网络获得第二阶段异常检测模型，并根据训练数据集中正常样本的占比和正常样本，计算测试数据集子集的异常分数和异常检测模型的检测阈值，可对测试数据集中存在局部微小缺陷的图像进行筛选，提高了产品缺陷检测的准确性，满足实际工业应用中对缺陷样品高召回率的严格要求。
实施例二
请参照图3和图6，示出了根据本发明实施例二的一种基于两阶段学习的工业产品外观异常检测方法，该方法的步骤S22～S26分别与步骤S12～S16相同，区别仅在于步骤S21，该方法的步骤流程如图3所示，步骤S21包括：获取训练数据集和测试数据集及ImageNet图像数据集，其中，训练数据集包括伪异常样本和含有点位信息的正常样本及真实异常样本。
1）测试数据集是由图像采集设备所采集的多个工业产品外观图像。本实施例中，图像采集设备为工业相机。
2）训练数据集包括伪异常样本和含有点位信息的正常样本及真实异常样本。
具体的，伪异常样本指通过根据CutCover和Outlier Exposure方法构造的显著区别于正常样本的图像，其中，CutCover方法指的是从正常样本中裁剪与待检测对象尺寸相同的矩形区域，并将矩形区域和正常样本中待检测对象重叠后构成的图像；OutlierExposure方法指的是从待检测产品零件附近区域进行随机裁剪操作，获得与正常样本尺寸相同的图像，作为辅助的异常图像集。
含有点位信息的正常样本指在同一生产线上的工业产品有多个点位时，为每个正常样本定义一个点位标签，构成含有点位标签的正常样本；设产品包含的点位个数为I，则含有点位标签的正常样本可表示为：
Figure 376639DEST_PATH_IMAGE058
其中，i指点位信息，
Figure 328545DEST_PATH_IMAGE059
，
Figure 974290DEST_PATH_IMAGE060
指点位i对应的正常样本图像。
真实异常样本指真实的存在缺陷的产品图像，且真实异常样本在训练数据集中占比较低，则第一阶段异常检测的训练目标定义如下：
Figure 37055DEST_PATH_IMAGE062
Figure 350225DEST_PATH_IMAGE063
其中，
Figure 207454DEST_PATH_IMAGE064
为真实异常样本，β为真实异常样本训练权重。
本实施例，通过在训练数据集中增加少量真实异常样本，便于促使卷积神经网络学习到正常样本和真实异常样本特征向量更加深层次的区别，而非得到简易的朴素解，提高了第一阶段异常检测的检测准确性，进一步降低了异常产品漏检率。
实施例三
请参照图4和图6，示出了根据本发明实施例三的一种基于两阶段学习的工业产品外观异常检测方法，该方法的步骤S31～S34、S36分别与步骤S11～S14、S16相同，区别仅在于步骤S35，该方法的步骤流程如图4所示，步骤S35包括：将测试数据集子集输入第二阶段异常检测模型，获得第二异常检测结果，其中，测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据。具体检测过程包括以下步骤：
S351、获取训练数据集中正常样本的占比。
S352、训练数据集中正常样本的占比大于或等于预设值，则从正常样本中抽取一批作为已知标签的测试样本，将剩余的正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量。
在本实施例中，预设值设为0.8，即当训练数据集中正常样本的占比大于或等于0.8时，从正常样本中抽取3/4的样本作为已知标签的测试样本，将剩余的1/4的正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量。
S353、将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布。
具体的，假设每一层级的第一特征向量均服从多元高斯分布，具体多元高斯分布概率密度函数为：
Figure 606074DEST_PATH_IMAGE065
其中，x指正常样本，
Figure 206951DEST_PATH_IMAGE066
，
Figure 374627DEST_PATH_IMAGE067
，d指正常样本的维度，Τ指对向量或矩阵进行转置。
Figure 668336DEST_PATH_IMAGE069
则每一层的特征向量
Figure 23094DEST_PATH_IMAGE070
,其中，
Figure 958820DEST_PATH_IMAGE071
指卷积神经网络的第
Figure 731735DEST_PATH_IMAGE072
层，
Figure 445614DEST_PATH_IMAGE073
，N为卷积神经网络总共的层数，
Figure 38400DEST_PATH_IMAGE074
为第
Figure 761505DEST_PATH_IMAGE075
层特征的维度，
Figure 388927DEST_PATH_IMAGE076
，
Figure 539286DEST_PATH_IMAGE077
分别为第
Figure 619368DEST_PATH_IMAGE078
层高斯分布的均值和协方差矩阵。且假设不同特征层第一特征向量之间是相互独立的，则沿通道维度进行拼接之后的第二特征向量为
Figure 880585DEST_PATH_IMAGE079
,其中：
Figure 85215DEST_PATH_IMAGE081
记
Figure 406475DEST_PATH_IMAGE082
为将第j个正常样本图像不同层的第一特征向量拼接之后得到的第二特征向量，记为Embedding，则可得均值向量μ的极大似然估计为
Figure 973854DEST_PATH_IMAGE083
Figure 38762DEST_PATH_IMAGE084
，协方差矩阵Σ的极大似然估计为：
Figure 109617DEST_PATH_IMAGE085
其中，n为样本个数。由于训练数据集中正常样本图像个数是有限的，所以Embedding的维度远大于样本个数，
Figure 601778DEST_PATH_IMAGE086
变得奇异不可逆，为更好地估计协方差矩阵，引入了经验协方差矩阵的一种变换方式：Shrinkage；在实际计算中，即可表示为简单的凸变换：
Figure 390874DEST_PATH_IMAGE087
其中，α是收缩系数，
Figure 259473DEST_PATH_IMAGE088
指
Figure 450414DEST_PATH_IMAGE089
的迹，即
Figure 847897DEST_PATH_IMAGE090
的主对角线元素之和，D指
Figure 389868DEST_PATH_IMAGE091
的维度，
Figure 530999DEST_PATH_IMAGE092
指维度为D的单位矩阵。在数据服从高斯分布的假设下，Oracle收缩近似协方差估计器有着较小均方误差的收缩系数，可以更好地估计协方差矩阵。因此，本实施例中选择使用协方差的Oracle近似收缩估计。当然，本步骤还可以选择 Ledoit-Wolf 协方差估计法对不同数据分布下的协方差进行估计，在此不再展开详细描述。
S354、将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数；将从正常样本图像中抽取的已知标签的测试样本输入到上述多元高斯分布中得到已知标签的测试样本的异常分数，则取已知标签的测试样本的异常分数的概率分布的经验分位数作为检测阈值。
在本实施例中，使用测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为测试图像的异常分数，其中，Mahalanobis距离表达式如下：
Figure 842026DEST_PATH_IMAGE093
Figure 410411DEST_PATH_IMAGE094
表示特定的点x和一个具有均值μ、协方差矩阵Σ的多元高斯分布之间的距离。
测试数据集子集中测试图像的异常分数为：
Figure 439678DEST_PATH_IMAGE095
，当x来自高斯分布时，S(x)服从自由度
Figure 384500DEST_PATH_IMAGE096
的卡方分布，其中，
Figure 550033DEST_PATH_IMAGE097
是多元高斯分布的维度，即：
Figure 554898DEST_PATH_IMAGE098
。
根据中心极限定理，当自由度k足够大时，
Figure 805882DEST_PATH_IMAGE099
近似服从一维正态分布，其中正态分布的均值和方差分别是卡方分布的均值和方差，即
Figure 288816DEST_PATH_IMAGE100
。
则异常分数在中心极限定理保证下有：
Figure 574435DEST_PATH_IMAGE101
。
将从正常样本图像中抽取的已知标签的测试样本输入到上述多元高斯分布中得到已知标签的测试样本的异常分数，则取已知标签的测试样本的异常分数的概率分布的经验分位数作为检测阈值，如图6所示，检测阈值可以根据正态分布
Figure 484622DEST_PATH_IMAGE102
的下α分位数
Figure 222902DEST_PATH_IMAGE103
确定，其中，下α分位数
Figure 509527DEST_PATH_IMAGE103
的概率定义为：
Figure 649653DEST_PATH_IMAGE104
也就是说，进行产品外观异常检测的阈值可以根据工业产线的要求来调整，即对异常样本漏检的容忍度越低，则下α分位数值应选择越小。
S355、判断测试数据集子集的异常分数是否小于检测阈值，如果测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
具体的，如果测试数据集子集中的测试图像异常分数
Figure 730741DEST_PATH_IMAGE105
,则判定为正常产品，否则判定为异常产品。
本实施例，在训练数据集中正常样本的数量较多时，从正常样本中抽取部分样本参与特征分布拟合，而将剩余的正常样本输入到拟合好的多元高斯网络中去得到异常分数，之后选择这些分数的经验分位数替代理论分位数做为检测阈值，提高了第二阶段异常检测的准确性，更加适用于工业场景。
实施例四
请参照图5和图6，示出了根据本发明实施例四的一种基于两阶段学习的工业产品外观异常检测方法，该方法的步骤S42～S46分别与步骤S32～S36相同，区别仅在于步骤S41，该方法的步骤流程如图5所示，步骤S41包括：获取训练数据集和测试数据集及ImageNet图像数据集，其中，训练数据集包括伪异常样本和含有点位信息的正常样本及真实异常样本。
1）测试数据集是由图像采集设备所采集的多个工业产品外观图像。本实施例中，图像采集设备为工业相机。
2）训练数据集包括伪异常样本和含有点位信息的正常样本及真实异常样本。
具体的，伪异常样本指通过根据CutCover和Outlier Exposure方法构造的显著区别于正常样本的图像，其中，CutCover方法指的是从正常样本中裁剪与待检测对象尺寸相同的矩形区域，并将矩形区域和正常样本中待检测对象重叠后构成的图像；OutlierExposure方法指的是从待检测产品零件附近区域进行随机裁剪操作，获得与正常样本尺寸相同的图像，作为辅助的异常图像集。
含有点位信息的正常样本指在同一生产线上的工业产品有多个点位时，为每个正常样本定义一个点位标签，构成含有点位标签的正常样本；设产品包含的点位个数为I，则含有点位标签的正常样本可表示为：
Figure DEST_PATH_IMAGE106
其中，i指点位信息，
Figure 18634DEST_PATH_IMAGE107
，
Figure DEST_PATH_IMAGE108
指点位i对应的正常样本。
真实异常样本指真实的存在缺陷的产品图像，且真实异常样本在训练数据集中占比较低，则第一阶段异常检测的训练目标定义如下：
Figure DEST_PATH_IMAGE110
Figure DEST_PATH_IMAGE111
其中，
Figure DEST_PATH_IMAGE112
为真实异常样本，β为真实异常样本训练权重。
本实施例，通过在训练数据集中增加少量真实异常样本，便于促使卷积神经网络学习到正常样本和真实异常样本特征向量更加深层次的区别，而非得到简易的朴素解，提高了第一阶段异常检测的检测准确性，进一步降低了异常产品漏检率；另外，由于训练数据集中正常样本的数量较多，则从正常样本中抽取部分样本参与特征分布拟合，而将剩余的正常样本输入到拟合好的多元高斯网络中去得到异常分数，之后选择这些分数的经验分位数替代理论分位数做为检测阈值，提高了第二阶段异常检测的准确性，从而满足了实际工业应用中对缺陷样品高召回率的严格要求。
实施例五
请参照图7，示出了根据本发明实施例三的一种基于两阶段学习的工业产品外观异常检测系统，包括：
数据集获取单元100，数据集获取单元100用于获取训练数据集和测试数据集及ImageNet图像数据集；
第一阶段异常检测模型构建单元200，第一阶段异常检测模型构建单元200用于根据训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；
第一检测单元300，第一检测单元300用于将测试数据集输入所述第一阶段异常检测模型，获得第一异常检测结果；
第二阶段异常检测模型构建单元400，第二阶段异常检测模型构建单元400用于根据ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；
第二检测单元500，第二检测单元500用于将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，其中，测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据；
召回指令生成单元600，召回指令生成单元600用于生成召回指令将所述第一异常检测结果和第二异常检测结果对应的异常产品进行召回。
其中，第二检测单元500包括：
占比获取模块501，占比获取模块501用于获取训练数据集中正常样本的占比；
计算模块502，计算模块502用于根据正常样本和训练数据集中正常样本的占比，计算测试数据集子集的异常分数和检测阈值；
异常判断模块503，异常判断模块503用于判断测试数据集子集的异常分数是否小于检测阈值，如果测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
本实施例，通过两阶段学习框架的设计，当待检测样本被任意一阶段判断为异常时，最终都将被检测为缺陷样本，满足了实际工业应用中对缺陷样品高召回率的严格要求；另外在高斯假设下，当特征维度足够大时，异常分数近似服从一维高斯分布，则分布的分位数可以作为工业冷启动的判别阈值，而且使用经验分位数代替理论分位数作为异常检测的判定阈值，从而提高异常检测的准确性。
本实施例的一种基于两阶段学习的工业产品外观异常检测系统用于实现前述多个方法实施例中相应的一种基于两阶段学习的工业产品外观异常检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实验例六
本实施例基于上述实施例一、二、三和四中所阐述的一种基于两阶段学习的工业产品外观异常检测方法进行验证，具体方案如下：
1、实验数据
本实施例中，围绕两组来自真实工业场景的工业产品数据集进行异常检测实验，且均使用Pytorch框架进行训练和测试。第一组实验在工业螺母数据集（Nut dataset）上进行；第二组实验在电机刷架数据集（Motor Brush Holder dataset）上进行，两组实验图像数据都被缩放到256×256像素，之后中心裁剪为224×224，多层感知机MLP的dropout设置为0.4，卷积神经网络模型选择Adam优化器，学习率设置为0.001，batch_size设置为32。
2、评价指标
评价指标采用FPR、FNR和AUROC，其中，FPR（False Positive Rate）指异常样本的漏检率；FNR（False Negative Rate）指正常样本的误判率；AUROC（Area Under theReceiver Operating Characteristic curve）指受试者工作特征曲线（ROC）下面的面积，其中，ROC指以FPR（False Positive Rate）为横轴、TPR（True Positive Rate）为纵轴绘制的曲线。FPR 和 FNR 越小则说明模型的性能越好，而AUROC取值位于0~1之间，并且AUROC取值越接近1表示性能越好。
3、实验结果
第一组实验按照点位信息将正常样本划分为10个类别，选择 Efficientnet-B4作为检测网络和特征拟合网络的基架网络，检测任务中伪异常样本的权重λ设为3，则10个点位的平均异常样本漏检率、误判率分别为0.3%和4%，AUROC高达99.3%，如表1所示：
表1第一组工业产品外观异常检测结果
Figure DEST_PATH_IMAGE114
第二组实验按照点位信息将正常样本图像划分为9个类别，同样选择Efficientnet-B4 作为检测网络和特征拟合网络的基架网络，检测任务中伪异常样本图像的权重λ设为2，则9个点位的平均异常样本漏检率、误判率分别为3.8%和4.4%，AUROC达到了97%，如表2所示：
表2第二组工业产品外观异常检测结果
Figure DEST_PATH_IMAGE116
通过实验结果可知，本发明通过两阶段学习框架的设计，提高了异常检测的准确性，从而满足实际工业应用中对缺陷样品高召回率的严格要求。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于两阶段学习的工业产品外观异常检测方法，其特征在于，包括以下步骤：
获取测试数据集和训练数据集及ImageNet图像数据集，其中，所述训练数据集包括伪异常样本和含有点位信息的正常样本，所述伪异常样本为根据CutCover方法和OutlierExposure方法构造的区别于正常样本的图像；
根据所述训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；
将所述测试数据集输入所述第一阶段异常检测模型，获得第一异常检测结果；
根据所述ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；
将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，其中，所述测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据；
生成召回指令将所述第一异常检测结果和第二异常检测结果对应的异常产品进行召回；
其中，所述将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，包括：
获取所述训练数据集中正常样本的占比；
根据所述正常样本和所述训练数据集中正常样本的占比，计算所述测试数据集子集的异常分数和检测阈值；
判断所述测试数据集子集的异常分数是否小于检测阈值，如果所述测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
2.根据权利要求1所述的一种基于两阶段学习的工业产品外观异常检测方法，其特征在于，所述训练数据集中正常样本的占比小于预设值时，计算所述测试数据集子集的异常分数和检测阈值，包括：
将所述正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量；
将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布；
将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数，并根据理论分位数给出检测阈值。
3.根据权利要求1所述的一种基于两阶段学习的工业产品外观异常检测方法，其特征在于，所述训练数据集中正常样本的占比大于或等于预设值时，计算所述测试数据集子集的异常分数和检测阈值，包括：
从正常样本中抽取一批作为已知标签的测试样本，将剩余的正常样本输入第二阶段异常检测模型以提取不同层级的第一特征向量；
将第一特征向量沿通道维度进行拼接以获得来自不同语义层次和分辨率的第二特征向量，并将第二特征向量拟合为多元高斯分布；
将测试数据集子集与上述多元高斯分布之间的Mahalanobis距离的平方作为异常分数；
将从正常样本中抽取的已知标签的测试样本输入到上述多元高斯分布中得到已知标签的测试样本的异常分数，则取已知标签的测试样本的异常分数的概率分布的经验分位数作为检测阈值。
4.根据权利要求1所述的一种基于两阶段学习的工业产品外观异常检测方法，其特征在于，所述训练数据集中还包括真实异常样本图像。
5.根据权利要求1所述的一种基于两阶段学习的工业产品外观异常检测方法，其特征在于，所述测试数据集是由图像采集设备所采集的多个工业产品外观图像。
6.一种基于两阶段学习的工业产品外观异常检测系统，其特征在于，包括：
数据集获取单元（100），所述数据集获取单元（100）用于获取训练数据集和测试数据集及ImageNet图像数据集，其中，所述训练数据集包括伪异常样本和含有点位信息的正常样本，所述伪异常样本为根据CutCover方法和Outlier Exposure方法构造的区别于正常样本的图像；
第一阶段异常检测模型构建单元（200），所述第一阶段异常检测模型构建单元（200）用于根据所述训练数据集训练预设的卷积神经网络以获得第一阶段异常检测模型；
第一检测单元（300），所述第一检测单元（300）用于将所述测试数据集输入所述第一阶段异常检测模型，获得第一异常检测结果；
第二阶段异常检测模型构建单元（400），所述第二阶段异常检测模型构建单元（400）用于根据所述ImageNet图像数据集训练预设的卷积神经网络以获得第二阶段异常检测模型；
第二检测单元（500），所述第二检测单元（500）用于将测试数据集子集输入所述第二阶段异常检测模型，获得第二异常检测结果，其中，所述测试数据集子集为从测试数据集中剔除第一异常检测结果后剩余的测试数据；
召回指令生成单元（600），所述召回指令生成单元（600）用于生成召回指令将所述第一异常检测结果和第二异常检测结果对应的异常产品进行召回；
其中，所述第二检测单元（500）包括：
占比获取模块（501），所述占比获取模块（501）用于获取所述训练数据集中正常样本的占比；
计算模块（502），所述计算模块（502）用于根据所述正常样本和所述训练数据集中正常样本的占比，计算所述测试数据集子集的异常分数和检测阈值；
异常判断模块（503），所述异常判断模块（503）用于判断所述测试数据集子集的异常分数是否小于检测阈值，如果所述测试数据集子集的异常分数小于检测阈值，则判定为正常产品；否则，判定为异常产品。
CN202210796846.5A 2022-07-07 2022-07-07 一种基于两阶段学习的工业产品外观异常检测方法及系统 Active CN114862857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796846.5A CN114862857B (zh) 2022-07-07 2022-07-07 一种基于两阶段学习的工业产品外观异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796846.5A CN114862857B (zh) 2022-07-07 2022-07-07 一种基于两阶段学习的工业产品外观异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN114862857A CN114862857A (zh) 2022-08-05
CN114862857B true CN114862857B (zh) 2022-10-11

Family

ID=82625868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796846.5A Active CN114862857B (zh) 2022-07-07 2022-07-07 一种基于两阶段学习的工业产品外观异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN114862857B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274148B (zh) * 2022-12-05 2024-07-09 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN116383743B (zh) * 2023-02-16 2024-10-01 国能信控技术股份有限公司 基于机器学习的光伏运行异常检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009193B2 (en) * 2006-06-05 2011-08-30 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
KR102583582B1 (ko) * 2020-02-24 2023-09-27 주식회사 마키나락스 어노말리 데이터 생성 방법
CN113902990A (zh) * 2021-09-30 2022-01-07 广东科凯达智能机器人有限公司 一种巡检机器人的异常预警方法及系统
CN114387451A (zh) * 2022-01-10 2022-04-22 中国人民公安大学 异常图像检测模型的训练方法、装置及介质
CN114092478B (zh) * 2022-01-21 2022-04-29 合肥中科类脑智能技术有限公司 一种异常检测方法

Also Published As

Publication number Publication date
CN114862857A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114862857B (zh) 一种基于两阶段学习的工业产品外观异常检测方法及系统
Mishra et al. VT-ADL: A vision transformer network for image anomaly detection and localization
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN112036513B (zh) 基于内存增强潜在空间自回归的图像异常检测方法
EP3885989A1 (en) Anomaly detection based on an autoencoder and clustering
Tayeh et al. Distance-based anomaly detection for industrial surfaces using triplet networks
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111079539B (zh) 一种基于异常追踪的视频异常行为检测方法
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN111402237A (zh) 基于时空级联自编码器的视频图像异常检测方法及系统
CN112150450A (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN114742799A (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
Mazumdar et al. Universal image manipulation detection using deep siamese convolutional neural network
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
KR20220066633A (ko) 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
Li et al. Fabric defect segmentation system based on a lightweight GAN for industrial Internet of Things
CN112949344B (zh) 一种用于异常检测的特征自回归方法
CN115830351B (zh) 图像处理方法、设备以及存储介质
CN115861306B (zh) 一种基于自监督拼图模块的工业品异常检测方法
CN117132919A (zh) 一种多尺度高维特征分析无监督学习视频异常检测方法
CN113487571A (zh) 一种基于图像质量评价的自监督异常检测方法
CN110580504A (zh) 一种基于自反馈互斥子类挖掘的视频异常事件检测方法
CN117011196B (zh) 一种基于组合滤波优化的红外小目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant