CN115205650B - 基于多尺度标准化流的无监督异常定位与检测方法及装置 - Google Patents

基于多尺度标准化流的无监督异常定位与检测方法及装置 Download PDF

Info

Publication number
CN115205650B
CN115205650B CN202211118934.6A CN202211118934A CN115205650B CN 115205650 B CN115205650 B CN 115205650B CN 202211118934 A CN202211118934 A CN 202211118934A CN 115205650 B CN115205650 B CN 115205650B
Authority
CN
China
Prior art keywords
scale
flow model
abnormal
standardized flow
standardized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211118934.6A
Other languages
English (en)
Other versions
CN115205650A (zh
Inventor
徐行
周宜轩
沈复民
申恒涛
白泞玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN202211118934.6A priority Critical patent/CN115205650B/zh
Publication of CN115205650A publication Critical patent/CN115205650A/zh
Application granted granted Critical
Publication of CN115205650B publication Critical patent/CN115205650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉中图像异常定位与检测技术领域，具体公开了基于多尺度标准化流的无监督异常定位与检测方法及装置，所述方法先通过构建的多尺度标准化流模型获取图片的多尺度融合特征；再分别针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案；最后由多尺度融合特征作为多尺度输出整合方案的输入计算得到用于异常定位分析的异常定位分数图和用于异常检测分析的异常检测分数，实现对输入图片的异常定位与检测。本发明增强了标准化流对异常区域大小多变性的泛化能力，提高了异常定位和检测性能。

Description

基于多尺度标准化流的无监督异常定位与检测方法及装置
技术领域
本发明属于计算机视觉中图像异常定位与检测技术领域，具体的说，是一种基于多尺度标准化流的无监督异常定位与检测方法及实现无监督异常定位与检测功能的装置。
背景技术
无监督异常检测是计算机视觉中一个具有高度实用性而又富有挑战性的问题，旨在不花费大量的人力物力对异常图片进行标志，仅通过收集到的无异常图片进行训练神经网络模型，最终判定输入图片是否存在异常并且进一步对异常区域进行定位。从提出至今一直是学术界研究的热点任务，并且在工业生产、金融安全、医疗诊断等行业中都有着广泛的应用，因此在工业界也备受关注。
近年来，基于深度学习的异常检测技术不断涌现，相较于手工设计数据的特征，深度学习方法可以自动学习数据的特征并由此对数据进行分类与回归，因此具有更高的鲁棒性。而且，深度学习方法不仅能够实现旨在判定输入图片是否存在异常的异常检测，还能够实现对图像中的异常区域进行异常定位。随着深度卷积神经网络的应用和MVTec AD等高质量异常检测数据集的发布，无监督异常检测与定位方法已经取得了较大的发展，它们大致可以分为基于重建、基于聚类和基于概率密度估计的方法。
1）基于重建的方法：此类方法通过无异常图片训练一个图像复原网络，该网络包括一个编码器和解码器。由于此类方法只对在无异常图片上训练过重建参数，因此对异常区域重建效果差甚至无法重建，由此实现对异常的检测与定位。此类方法的核心在于如何限制重建网络只对正常区域进行重建而不泛化到异常区域。
2）基于聚类的方法：此类方法对于无异常图像的编码特征构建特征库，并且对特征库中的所有特征进行聚类。在测试时，对测试图像的编码特征和在无异常数据上获取的聚类中心进行相似度计算，超过一定阈值则判定为异常特征，对应区域也标定为异常区域。此类方法的核心主要集中在对特征库的聚类和特征相似度的计算。
3）基于概率密度估计的方法：此类方法基于标准化流模型通过最大似然估计的方法对无异常图像进行概率估计，这样训练好的标准化流模型会对异常区域给出远低于正常区域的似然概率，从而分辨出异常区域。此类方法的核心在于对标准化流模型的设计。
相较于前两种方法，基于概率密度估计的方法在效果和实时性上都取得了更好的性能，但是仍然面临着不可预知、具有高度不确定性的异常样本中异常区域大小多变性问题，限制着标准化流模型的检测性能。
发明内容
本发明针对因异常样本中异常区域大小多变性而导致现有技术中标准化流模型检测性能受限的问题，提供了一种基于多尺度标准化流的无监督异常定位与检测方法，通过开发标准化流模型中的多尺度特性，并针对异常定位和异常检测两个任务设计不同的多尺度输出整合方案，增强了标准化流对异常区域大小多变性的泛化能力，提高了异常定位和检测性能。
本发明通过下述技术方案实现：
基于多尺度标准化流的无监督异常定位与检测方法，先通过构建的多尺度标准化流模型获取图片的多尺度融合特征；再分别针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案；最后由多尺度融合特征作为多尺度输出整合方案的输入计算得到用于异常定位分析的异常定位分数图和用于异常检测分析的异常检测分数，实现对输入图片的异常定位与检测。
本发明核心思想在于发掘标准化流模型中的多尺度特性，提高标准化流模型对于异常区域大小多变性的泛化能力不仅在模型设计上充分发掘了多尺度特性，还根据异常检测和异常定位两个任务之间的故有差距，分别设计不同的多尺度输出的整合方案。此方法增强了标准化流对异常区域多变性的泛化能力，提高了异常检测和定位性能。
进一步地，为了更好地实现本发明，针对异常定位任务设置的多尺度输出整合方案，是采用将不同尺度的输出相加的方式得到异常定位概率密度函数，再通过概率密度估计的方法计算得到异常定位分数。
进一步地，为了更好地实现本发明，针对异常检测任务设置的多尺度输出整合方案，是先采用将不同尺度的输出相乘的方式得到异常检测概率密度函数，再通过概率密度估计的方法计算得到异常检测分数图，最后从异常检测分数图中选择最大的K个分值取平均得到异常检测分数；K为不小于1的正整数。
进一步地，为了更好地实现本发明，所述通过构建多尺度标准化流模型获取图片的多尺度融合特征，具体是指：基于标准化流模型构建非对称的多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；利用构建的特征提取器提取图片的L个多尺度图像特征，并将L个多尺度图像特征作为多尺度标准化流模型的输入，L为不小于2的正整数；多尺度图像特征依次经多尺度并行标准化流模型、多尺度融合标准化流模型编码后得到对应的多尺度融合特征。
进一步地，为了更好地实现本发明，所述方法分为训练阶段和测试阶段：
所述训练阶段，具体是指：先选取异常检测数据集并仅以无异常的图片作为训练数据；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后对多尺度融合特征进行最大似然优化从而训练多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；
所述测试阶段，具体是指：先输入待分析的图片；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后根据多尺度输出整合方案对多尺度融合特征进行整合；最后计算得到异常定位分数图和异常检测分数。
进一步地，为了更好地实现本发明，所述多尺度并行标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建具有线性耦合层的标准化流模块；再将
Figure DEST_PATH_IMAGE001
个标准化流模块堆叠成标准化流模型的第i个模型分支，其中：1≦i≦L，
Figure 841122DEST_PATH_IMAGE001
﹤
Figure DEST_PATH_IMAGE002
且
Figure 351738DEST_PATH_IMAGE001
、
Figure 678945DEST_PATH_IMAGE002
、i均为正整数；然后将L个模型分支按顺序组合，得到分支并行且独立的并行标准化流模型，即非对称的多尺度并行标准化流模型。
进一步地，为了更好地实现本发明，所述多尺度融合标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建多尺度融合标准化流模型。
进一步地，为了更好地实现本发明，所述L取2或3。
进一步地，为了更好地实现本发明，基于多尺度标准化流的无监督异常定位与检测方法，具体包括以下步骤：
步骤S1：选取异常检测数据集，并仅以无异常的图片作为训练数据；
步骤S2：构建特征提取器，并从图片中提取L个多尺度图像特征作为多尺度标准化流模型的输入；
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型，并对步骤S2中提取出的多尺度图像特征进行编码得到对应的多尺度并行特征；
步骤S4：基于标准化流模型构建多尺度融合标准化流模型，并对步骤S3中提取出的多尺度并行特征进行特征融合，得到对应的多尺度融合特征；
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征进行最大似然优化从而训练多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图和图像级别的异常检测分数。
本发明还提供了一种基于多尺度标准化流的无监督异常定位与检测装置，所述装置为包括存储器和处理器的电子设备；
所述存储器，其上存储有计算机程序；
所述处理器，用于执行所述存储器中的所述计算机程序，以实现上述无监督异常定位与检测方法。
本发明还提供了一种基于多尺度标准化流的无监督异常定位与检测装置，所述装置为存储能实现上述无监督异常定位与检测方法的计算机程序的计算机可读存储介质。
本发明与现有技术相比，具有以下优点及有益效果。
（1）本发明提供的基于多尺度标准化流的无监督异常定位与检测方法，通过开发标准化流模型中的多尺度特性，并针对异常定位和异常检测两个任务设计不同的多尺度输出整合方案，增强了标准化流对异常区域大小多变性的泛化能力，提高了异常定位和检测性能。
（2）本发明提供的基于多尺度标准化流的无监督异常定位与检测方法，通过概率密度计算异常分数，在MVTecAD工业缺陷检测数据集上达到了99.7%的异常检测精度和98.8%的异常定位精度。
附图说明
图1为实施例6中基于多尺度标准化流的无监督异常定位与检测方法的主要环节的流程示意图。
图2为本发明所述基于多尺度标准化流的无监督异常定位与检测方法的网络框架图。
图3为本发明的多尺度融合标准化流模型的网络结构的示意图。
图4是具体实施方式中无异常的合格工业零件的图片。
图5是实施例9中异常定位检测的可视化结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例1：
异常检测是计算视觉里新兴的研究领域，它包含检测和定位两种功能。检测是图像的分类，区分正常异常样本；定位是图像像素的分割，定位异常区域。本领域中，实现异常检测的技术和实现异常定位的技术也通称为异常检测技术。
现有的异常检测技术中，基于概率密度估计的方法在效果和实时性上优于基于重建的方法和基于聚类的方法。但是面对不可预知、具有高度不确定性的异常样本，由于异常样本中异常区域大小多变性问题，限制了传统的标准化流模型的检测性能，导致传统的标准化流模型泛化能力较弱。泛化能力：英文名称是Generalization Ability，是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
基于上述技术背景，本实施例提供一种基于多尺度标准化流的无监督异常定位与检测方法，先通过构建的多尺度标准化流模型获取图片的多尺度融合特征；再分别针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案；最后由多尺度融合特征作为多尺度输出整合方案的输入计算得到用于异常定位分析的异常定位分数图和用于异常检测分析的异常检测分数，实现对输入图片的异常定位与检测。
首先，本实施例通过构建的多尺度标准化流模型获取图片的多尺度融合特征，捕捉输入图片的不同尺度的空间结构化信息，以解决异常样本中异常区域大小多变性问题。
不同尺度的空间结构化信息能够增强异常检测模型对不同大小的异常区域的感知能力，从而提高异常检测模型对异常区域大小多变性的泛化能力。
其次，本实施例所述方法既能实现异常检测又能实现异常定位。异常检测，旨在判定输入图片是否包含异常，对于一张输入图片只有一个异常得分。异常定位，旨在对输入图片中的异常区域进行定位，输出为和输入图片大小一样的异常分值图。因此，异常检测和异常定位两个任务之间的故有差距。
针对图像级异常检测任务，通过乘法对不同尺度的异常概率图进行整合，能够过滤掉单一尺度的异常概率图中的噪声；针对异常定位任务，通过加法对不同尺度的异常概率图进行整合，能够更好地保存对不同尺度感知能力。
再者，本实施例所述方法是一种无监督异常检测方法，旨在不花费大量的人力物力对异常图片进行标记，仅通过收集到的无异常图片训练神经网络模型，最终判定输入图片是否存在异常。本实施例采用无异常图片进行训练的无监督异常检测方法，不同于有监督异常检测方法，也不同于半监督异常检测方法。其中，训练采用的训练神经网络模型是多尺度标准化流模型。多尺度标准化流模型，英文名称是Multi-scale Flow-based Model，简称MSFlow。本实施例所述MSFlow，通过多尺度模型设计优化了标准化流模型的多尺度感知能力。
综合上述内容，本实施例提供的异常检测方法是一种基于多尺度标准化流的无监督异常定位与检测方法。所述方法先基于标准化流模型构建多尺度标准化流模型，实现对图片的多个尺度的空间结构信息进行交互融合；再针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案，最终获得用于异常定位分析的异常定位分数图和用于异常检测分析的异常检测分数，实现对输入图片的异常定位与检测。更确切地，本实施例所述方法的内在逻辑是先进行异常区域的定位，若定位到异常区域则判定输入图片存在异常，若未定位到异常区域则判定输入图片不存在异常。
本实施例所述方法通过构建多尺度标准化流模型和设置不同的多尺度输出整合方案两个主要技术手段对现有方法进行优化设计，解决了现有技术中基于概率密度估计的方法存在的异常样本中异常区域大小多变而导致异常检测与定位准确率较低的问题，提高了标准化流模型对于异常区域大小多变性的泛化能力。
实施例2：
本实施例在实施例1的基础上，进一步提供了一种通过构建多尺度标准化流模型获取图片的多尺度融合特征的具体实现方式。本实施例中，基于标准化流模型构建非对称的多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；利用构建的特征提取器提取图片的L个多尺度图像特征，并将L个多尺度图像特征作为多尺度标准化流模型的输入，L为不小于2的正整数；多尺度图像特征依次经多尺度并行标准化流模型、多尺度融合标准化流模型编码后得到对应的多尺度融合特征。
本实施例的一个关键技术手段是借助特征提取器提取图片的L个多尺度图像特征。在特征提取器中，不同阶段的输出对应了不同尺度。因此，通过对特征提取器不同阶段的输出的选取就能实现多尺度特征的提取。
从获取输入图片的空间结构化信息这个技术手段分析，只要获取两个或两个以上尺度的图像特征都可以获取输入图片的空间结构化信息。但是，由于第四阶段的输出只包含语义信息，并没有空间结构化信息，因此第四阶段对于异常检测与定位这个任务是不必要的。因此，实际应用时通常采用获取2个尺度的图像特征或获取3个尺度的图像特征的技术方案，即所述L取2或3。
本实施例的另一个关键技术手段是基于标准化流模型构建非对称的多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型，用于执行后续的异常定位和异常检测任务。
在另一具体实施例中，所述多尺度并行标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建具有线性耦合层的标准化流模块；再将
Figure DEST_PATH_IMAGE003
个标准化流模块堆叠成标准化流模型的第i个模型分支，其中：1≦i≦L，
Figure 215100DEST_PATH_IMAGE003
﹤
Figure 295051DEST_PATH_IMAGE002
且
Figure 648672DEST_PATH_IMAGE003
、
Figure 994334DEST_PATH_IMAGE002
、i均为正整数；然后将L个模型分支按顺序组合，得到分支并行且独立的并行标准化流模型，即非对称的多尺度并行标准化流模型。
在另一具体实施例中，所述多尺度融合标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建多尺度融合标准化流模型。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在实施例1的基础上，进一步提供了一种针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案的具体实现方式。
针对异常定位任务设置的多尺度输出整合方案，是采用将不同尺度的输出相加的方式得到异常定位概率密度函数，再通过概率密度估计的方法计算得到异常定位分数；
针对异常检测任务设置的多尺度输出整合方案，是先采用将不同尺度的输出相乘的方式得到异常检测概率密度函数，再通过概率密度估计的方法计算得到异常检测分数图，最后从异常检测分数图中选择最大的K个分值取平均得到异常检测分数；K为不小于1的正整数。
本实施例中首次基于概率密度估计提出乘法整合方案，其中单一尺度的异常分数图是通过概率密度估计的方式获取的。另一方面，异常检测分值代表整张图片是否包含异常，因此需要将异常分值图整合成一个分值。以前的方法或取最大值，或取平均。取最大值很容易收到噪音影响；取平均则对异常的感知敏感性差。本实施例所提出的topK算法结合了以上两种方案，弥补了他们所存在的缺陷。
本实施例的其他部分与实施例1或实施例2相同，故不再赘述。
实施例4：
本实施例在实施例1-实施例3任一项的基础上，对基于多尺度标准化流的无监督异常定位与检测方法进行详细说明。所述方法分为训练阶段和测试阶段。
所述训练阶段，具体是指：先选取异常检测数据集并仅以无异常的图片作为训练数据；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后对多尺度融合特征进行最大似然优化从而训练多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；
所述测试阶段，具体是指：先输入待分析的图片；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后根据多尺度输出整合方案对多尺度融合特征进行整合；最后计算得到异常定位分数图和异常检测分数。
本实施例的其他部分与实施例1-实施例3任一项相同，故不再赘述。
实施例5：
本实施例在实施例1-实施例4任一项的基础上，对基于多尺度标准化流的无监督异常定位与检测方法进行详细说明。
如图1所示，本实施例所述方法包括：选择训练数据集、构建基于预训练的特征提取器提取多尺度图像特征、构建多尺度并行标准化流模型、构建多尺度融合标准化流模型、使用损失函数训练网络、多尺度特征图融合并验证网络效果这六大环节。
所述方法具体包括以下步骤。
步骤S1：选取异常检测数据集，并仅以无异常的图片作为训练数据。
其中，异常检测数据集可以选择工业缺陷检测数据集，如：MVTec AD数据集、MTD数据集、BTAD数据集、AITEX数据集等，在工业产品视觉检测中用于检测产品缺陷。异常检测数据集可以选择医学病灶检测数据集，如：COVIDx数据集、HeadCT数据集、BrainMRI数据集、Hyper-Kvasir等，在数字医疗领域用于确认核磁共振图像中异常部位等。异常检测数据集还可以选择其他数据集，适用于不同的异常检测需求。
步骤S2：构建特征提取器，并从图片中提取L个多尺度图像特征
Figure DEST_PATH_IMAGE004
作为多尺度标准化流模型的输入，
Figure DEST_PATH_IMAGE005
。其中，特征提取器是一种基于预训练的多阶段特征提取器。
多阶段特征提取器实际上就是常规特征提取器，只是在不同阶段提取出特征。其中，“阶段”通常定义为Stage，就是在特征提取器中预先定义的模型层级。例如：ResNet50就有stage0到stage4多个阶段。
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型
Figure DEST_PATH_IMAGE006
，并对步骤S2中提取出的多尺度图像特征
Figure DEST_PATH_IMAGE007
进行编码得到对应的多尺度并行特征
Figure DEST_PATH_IMAGE008
。
步骤S4：基于标准化流模型构建多尺度融合标准化流模型
Figure DEST_PATH_IMAGE009
，并对步骤S3中提取出的多尺度并行特征
Figure 10876DEST_PATH_IMAGE008
进行特征融合，得到对应的多尺度融合特征
Figure DEST_PATH_IMAGE010
。
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征
Figure DEST_PATH_IMAGE011
进行最大似然优化从而训练多尺度并行标准化流模型
Figure 351859DEST_PATH_IMAGE006
和多尺度融合标准化流模型
Figure 689430DEST_PATH_IMAGE009
这两个多尺度标准化流模型。
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征
Figure 974918DEST_PATH_IMAGE010
进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图
Figure DEST_PATH_IMAGE012
和图像级别的异常检测分数
Figure DEST_PATH_IMAGE013
。
在另一具体实施例中，所述步骤S2具体包括以下步骤。
步骤S21：首先通过预训练的特征提取器对输入图片
Figure DEST_PATH_IMAGE014
进行特征编码，并且提取出其中
Figure DEST_PATH_IMAGE015
个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE016
；其中：
Figure DEST_PATH_IMAGE017
表示图片的高，
Figure DEST_PATH_IMAGE018
表示图片的宽，
Figure DEST_PATH_IMAGE019
表示特征提取器中第
Figure DEST_PATH_IMAGE020
个阶段特征的通道数；
Figure DEST_PATH_IMAGE021
表示特征提取器中第
Figure 134766DEST_PATH_IMAGE020
个阶段特征的高度；
Figure DEST_PATH_IMAGE022
表示特征提取器中第
Figure 2359DEST_PATH_IMAGE020
个阶段特征的宽度。
步骤S22：对步骤S21提取的
Figure 963362DEST_PATH_IMAGE015
个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE023
，通过核大小为3且步长为2的平均池化层进行特征下采样，得到多尺度图像特征
Figure DEST_PATH_IMAGE024
。
所述步骤S22中，通过“核大小为3且步长为2的平均池化层”进行特征下采样，能够减小每个尺度特征的空间大小，减少计算量，并且进一步扩大每个尺度特征的感受野。
在另一具体实施例中，所述步骤S3具体包括以下步骤。
步骤S31：构建基于线性耦合层的标准化流模块
Figure DEST_PATH_IMAGE025
；标准化流模块
Figure 221299DEST_PATH_IMAGE025
的线性耦合层中的子网络都是由两个核大小为3的卷积网络以及ReLU激活函数组合而成。
步骤S32：构建非对称的多尺度并行标准化流模型
Figure 778314DEST_PATH_IMAGE025
；多尺度并行标准化流模型
Figure 952943DEST_PATH_IMAGE025
包含
Figure DEST_PATH_IMAGE026
个分支并行且独立的并行标准化流模型
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
表示第i个阶段特征输出对应的并行标准化流模型。其中
Figure 694634DEST_PATH_IMAGE028
由
Figure DEST_PATH_IMAGE029
个步骤S32中所构建的标准化流模块
Figure 502184DEST_PATH_IMAGE025
堆叠而成，且
Figure 908895DEST_PATH_IMAGE029
<
Figure DEST_PATH_IMAGE030
。
步骤S33：通过步骤S32中构建的L个分支并行且独立的并行标准化流模型
Figure 829709DEST_PATH_IMAGE027
对步骤S2中提取到的多尺度图像特征
Figure 663672DEST_PATH_IMAGE007
分别进行特征编码，得到L个分支独立编码的多尺度并行特征
Figure 720420DEST_PATH_IMAGE008
。
在另一具体实施例中，所述步骤S4具体包括以下步骤。
步骤S41：将步骤S3得到的
Figure DEST_PATH_IMAGE031
个分支独立编码的多尺度并行特征
Figure 743871DEST_PATH_IMAGE008
都通过双线性插值的方式缩小到
Figure DEST_PATH_IMAGE032
的大小，并且沿特征维度拼接在一起，得到拼接特征
Figure DEST_PATH_IMAGE033
；
步骤S42：构建基于线性耦合层的多尺度融合标准化流模型
Figure DEST_PATH_IMAGE034
，多尺度融合标准化流模型
Figure 237301DEST_PATH_IMAGE034
的线性耦合层中的子网络由两个核大小为3的卷积网络以及ReLU激活函数组合；
步骤S43：用步骤S42中所构建的多尺度融合标准化流模型
Figure 507745DEST_PATH_IMAGE034
对步骤S41中得到的拼接特征
Figure DEST_PATH_IMAGE035
进行编码，得到融合特征
Figure DEST_PATH_IMAGE036
；
步骤S44：对步骤S43中得到的融合特征
Figure 837357DEST_PATH_IMAGE036
沿特征维度进行分割并且通过双线性插值对分割后的特征进行缩放，得到分割特征
Figure DEST_PATH_IMAGE037
；其中，
Figure DEST_PATH_IMAGE038
与步骤S3中编码得到的
Figure DEST_PATH_IMAGE039
特征维度保持一致。
步骤S45：将步骤S44得到的分割特征
Figure DEST_PATH_IMAGE040
与步骤S3得到的多尺度并行特征
Figure DEST_PATH_IMAGE041
分别进行元素维度的相加，从而得到最终的多尺度融合特征
Figure DEST_PATH_IMAGE042
；即：
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE044
表示元素维度的加号。
在另一具体实施例中，所述步骤S5具体包括以下步骤。
步骤S51：基于步骤S4得到的多尺度融合特征
Figure DEST_PATH_IMAGE045
，计算概率密度损失函数
Figure DEST_PATH_IMAGE046
。
更进一步地，所述步骤S51中提到的概率密度损失函数
Figure 697122DEST_PATH_IMAGE046
具体如下：
Figure DEST_PATH_IMAGE047
其中：
Figure DEST_PATH_IMAGE048
表示分支并行且独立的并行标准化流模型
Figure DEST_PATH_IMAGE049
的雅可比矩阵；
Figure DEST_PATH_IMAGE050
表示多尺度融合标准化流模型
Figure DEST_PATH_IMAGE051
的雅可比矩阵。
步骤S52：基于步骤S51所计算的概率密度损失函数
Figure DEST_PATH_IMAGE052
，通过梯度优化器对步骤S3中所构建的非对称的多尺度并行标准化流模型
Figure DEST_PATH_IMAGE053
和步骤S4中所构建的多尺度融合标准化流模型
Figure DEST_PATH_IMAGE054
进行训练。
在另一具体实施例中，所述步骤S6具体包括以下步骤。
步骤S61：在测试阶段，首先对步骤S4中编码得到的多尺度融合特征
Figure 671157DEST_PATH_IMAGE011
通过双线性插值的方式上采样到输入图片的大小
Figure DEST_PATH_IMAGE055
，得到最终的输出特征
Figure DEST_PATH_IMAGE056
。
步骤S62：基于步骤S61得到的输出特征
Figure 738601DEST_PATH_IMAGE056
，通过
Figure DEST_PATH_IMAGE057
的公式来分别计算包含不同尺度特性的概率密度图
Figure DEST_PATH_IMAGE058
。
步骤S63：针对异常定位任务，对步骤S62中计算得到的概率密度图
Figure 589796DEST_PATH_IMAGE058
通过相加的方式得到加性整合概率密度图
Figure DEST_PATH_IMAGE059
，进而计算像素级别的异常定位分数图
Figure DEST_PATH_IMAGE060
，其中
Figure DEST_PATH_IMAGE061
是
Figure DEST_PATH_IMAGE062
中的最大值。
步骤S64：针对异常检测任务，对步骤S62中计算得到的概率密度图
Figure 236940DEST_PATH_IMAGE058
通过相乘的方式得到乘性整合概率密度图
Figure DEST_PATH_IMAGE063
，并且计算异常检测分数图
Figure DEST_PATH_IMAGE064
，其中
Figure DEST_PATH_IMAGE065
是
Figure DEST_PATH_IMAGE066
中的最大值；进一步地，在异常检测分数图
Figure DEST_PATH_IMAGE067
中选择最大的
Figure DEST_PATH_IMAGE068
个分值，并且对这
Figure 111487DEST_PATH_IMAGE068
个分值取平均得到图像级别的异常检测分数
Figure 926996DEST_PATH_IMAGE013
。其中，
Figure 621414DEST_PATH_IMAGE068
是超参，人工设定，topK中的K的设置。
按异常分数图中所有位置的异常分值大小排序，选取异常分值较大的前K个分值。K一般根据图像大小变化而变化，例如图像大小为（H，W），则K选取为H*W*0.05，即前5%的最大值。
本实施例的其他部分与实施例1-实施例4任一项相同，故不再赘述。
实施例6：
本实施例在实施例5的基础上，以对MVTec AD数据集中的15类工业零件进行缺陷检测与定位为例，基于3个尺度特征提取方案，即L=3，采用一种基于多尺度标准化流的无监督异常定位与检测方法对这15类工业零件进行缺陷检测与定位。
所述基于多尺度标准化流的无监督异常定位与检测方法的网络框架图，如图2所示。所述方法具体步骤如下。
步骤S1：选取工业缺陷检测数据集中的MVTec AD数据集作为异常检测数据集，并仅以无异常的合格工业零件图片作为训练数据。无异常的合格工业零件图片如图4所示。
MVTec AD数据集包含15个工业零件类别，其中有10种工业物品和5种工业纹理，一共有3629张无异常图片用来训练，1725张包含无异常和异常的图片用来测试。MVTec AD的测试集中包含了各种各样的异常类型，异常区域大小多样，是一个非常具有挑战性的数据集。
步骤S2：选取ResNet网络构建特征提取器，并从图片中提取3个多尺度图像特征
Figure DEST_PATH_IMAGE069
作为多尺度标准化流模型的输入。
在另一具体实施例中，所述步骤S2具体包括以下步骤。
步骤S21：首先通过预训练的ResNet四阶段特征提取器
Figure DEST_PATH_IMAGE070
输入图片
Figure DEST_PATH_IMAGE071
进行特征编码，并且提取出其中的第1阶段、第2阶段、第3阶段共3个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
；其中：
Figure DEST_PATH_IMAGE074
表示图片的高，
Figure DEST_PATH_IMAGE075
表示图片的宽，
Figure DEST_PATH_IMAGE076
表示特征提取器中第
Figure DEST_PATH_IMAGE077
个阶段特征的通道数；
Figure DEST_PATH_IMAGE078
表示特征提取器中第
Figure 275511DEST_PATH_IMAGE077
个阶段特征的高度；
Figure 784990DEST_PATH_IMAGE022
表示特征提取器中第
Figure 505821DEST_PATH_IMAGE077
个阶段特征的宽度。
步骤S22：对步骤S21提取出的3个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE079
，通过核大小为3且步长为2的平均池化层进行特征下采样，从而得到多尺度图像特征
Figure DEST_PATH_IMAGE080
。其中，
Figure DEST_PATH_IMAGE081
表示特征提取器中第i个阶段的特征。此时，
Figure DEST_PATH_IMAGE082
也可以表示为
Figure DEST_PATH_IMAGE083
；
Figure DEST_PATH_IMAGE084
表示特征提取器中第1个阶段的特征；
Figure DEST_PATH_IMAGE085
表示特征提取器中第2个阶段的特征；
Figure DEST_PATH_IMAGE086
表示特征提取器中第3个阶段的特征。
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型
Figure 890797DEST_PATH_IMAGE006
，并对步骤S2中提取出的多尺度图像特征
Figure 738799DEST_PATH_IMAGE082
进行编码得到对应的多尺度并行特征
Figure DEST_PATH_IMAGE087
。
在另一具体实施例中，所述步骤S3具体包括以下步骤。
步骤S31：构建基于线性耦合层的标准化流模块
Figure DEST_PATH_IMAGE088
。标准化流模块
Figure DEST_PATH_IMAGE089
的线性耦合层中的子网络都是由两个核大小为3的卷积网络以及ReLU激活函数组合而成。基于线性耦合层的标准化流模型本身属于现有技术，本实施例仅利用此现有技术构建多尺度并行标准化流模型
Figure 915833DEST_PATH_IMAGE006
和多尺度融合标准化流模型
Figure 807566DEST_PATH_IMAGE009
，故不对基于线性耦合层的标准化流模型本身进行赘述。
步骤S32：构建非对称的多尺度并行标准化流模型
Figure 725843DEST_PATH_IMAGE006
。多尺度并行标准化流模型
Figure 626803DEST_PATH_IMAGE006
包含3个分支并行且独立的并行标准化流模型
Figure DEST_PATH_IMAGE090
，
Figure DEST_PATH_IMAGE091
表示第i个阶段特征输出对应的并行标准化流模型。此时，
Figure DEST_PATH_IMAGE092
也可以表示为
Figure DEST_PATH_IMAGE093
；
Figure DEST_PATH_IMAGE094
表示第1个阶段特征输出对应的并行标准化流模型；
Figure DEST_PATH_IMAGE095
表示第2个阶段特征输出对应的并行标准化流模型；
Figure DEST_PATH_IMAGE096
表示第3个阶段特征输出对应的并行标准化流模型。其中
Figure DEST_PATH_IMAGE097
由2个步骤S32中所构建的标准化流模块
Figure DEST_PATH_IMAGE098
堆叠而成，
Figure 143497DEST_PATH_IMAGE095
由5个步骤S32中所构建的标准化流模块
Figure DEST_PATH_IMAGE099
堆叠而成，
Figure DEST_PATH_IMAGE100
由8个步骤S32中所构建的标准化流模块
Figure DEST_PATH_IMAGE101
堆叠而成。
步骤S33：通过步骤S32中构建的并行标准化流模型
Figure 437424DEST_PATH_IMAGE092
对步骤S2中提取到的多尺度图像特征
Figure 577418DEST_PATH_IMAGE082
分别进行特征编码，得到3个分支独立编码的多尺度并行特征
Figure 32802DEST_PATH_IMAGE087
。其中
Figure DEST_PATH_IMAGE102
表示多尺度并行标准化流的第i个分值的输出，对应到特征提取器中第i个阶段。此时，
Figure 105800DEST_PATH_IMAGE087
也可以表示为
Figure DEST_PATH_IMAGE103
；
Figure DEST_PATH_IMAGE104
表示多尺度并行标准化流的第1个分值的输出；
Figure DEST_PATH_IMAGE105
表示多尺度并行标准化流的第2个分值的输出；
Figure DEST_PATH_IMAGE106
表示多尺度并行标准化流的第3个分值的输出。
步骤S4：基于标准化流模型构建多尺度融合标准化流模型
Figure 214701DEST_PATH_IMAGE009
，并对步骤S3中提取出的多尺度并行特征
Figure 389462DEST_PATH_IMAGE087
进行特征融合，得到对应的多尺度融合特征
Figure DEST_PATH_IMAGE107
。多尺度融合标准化流模型的网络结构，如图3所示。
在另一具体实施例中，所述步骤S4具体包括以下步骤。
步骤S41：将步骤S3得到的3个分支独立编码的多尺度并行特征
Figure 366645DEST_PATH_IMAGE087
都通过双线性插值的方式缩小到
Figure DEST_PATH_IMAGE108
的大小，并且沿特征维度拼接在一起，得到拼接特征
Figure DEST_PATH_IMAGE109
。
步骤S42：构建基于线性耦合层的多尺度融合标准化流模型
Figure 841620DEST_PATH_IMAGE009
，多尺度融合标准化流模型
Figure DEST_PATH_IMAGE110
的线性耦合层中的子网络由两个核大小为3的卷积网络以及ReLU激活函数组合。
步骤S43：用步骤S42中所构建的多尺度融合标准化流模型
Figure 777215DEST_PATH_IMAGE009
对步骤S41中得到的拼接特征
Figure 908113DEST_PATH_IMAGE109
进行编码，得到融合特征
Figure DEST_PATH_IMAGE111
；
步骤S44：对步骤S43中得到的融合特征
Figure 220146DEST_PATH_IMAGE111
沿特征维度进行分割并且通过双线性插值对分割后的特征进行缩放，得到分割特征
Figure DEST_PATH_IMAGE112
；
Figure DEST_PATH_IMAGE113
表示第i个分割后的特征，对应到特征提取器中第i个阶段。其中，
Figure 549627DEST_PATH_IMAGE113
与步骤S3中编码得到的
Figure DEST_PATH_IMAGE114
特征维度保持一致。
步骤S45：将步骤S44得到的分割特征
Figure 921703DEST_PATH_IMAGE112
与步骤S3得到的多尺度并行特征
Figure 8738DEST_PATH_IMAGE087
分别进行元素维度的相加，从而得到最终的多尺度融合特征
Figure 858883DEST_PATH_IMAGE107
；
Figure DEST_PATH_IMAGE115
表示第i个融合后特征。其中，
Figure DEST_PATH_IMAGE116
，
Figure DEST_PATH_IMAGE117
表示元素维度的加号。
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征
Figure DEST_PATH_IMAGE118
进行最大似然优化从而训练多尺度并行标准化流模型
Figure 308450DEST_PATH_IMAGE006
和多尺度融合标准化流模型
Figure 320268DEST_PATH_IMAGE009
这两个多尺度标准化流模型。
在另一具体实施例中，所述步骤S5具体包括以下步骤。
步骤S51：基于步骤S4得到的多尺度融合特征
Figure 409447DEST_PATH_IMAGE107
，计算概率密度损失函数
Figure DEST_PATH_IMAGE119
。
更进一步地，所述步骤S51中提到的概率密度损失函数
Figure 79594DEST_PATH_IMAGE119
具体如下：
Figure DEST_PATH_IMAGE120
其中：
Figure DEST_PATH_IMAGE121
表示分支并行且独立的并行标准化流模型
Figure 570618DEST_PATH_IMAGE091
的雅可比矩阵；
Figure DEST_PATH_IMAGE122
表示多尺度融合标准化流模型
Figure 35228DEST_PATH_IMAGE009
的雅可比矩阵。
步骤S52：基于步骤S51所计算的概率密度损失函数
Figure 877282DEST_PATH_IMAGE119
，通过梯度优化器对步骤S3中所构建的非对称的多尺度并行标准化流模型
Figure 803650DEST_PATH_IMAGE006
和步骤S4中所构建的多尺度融合标准化流模型
Figure 634334DEST_PATH_IMAGE110
进行训练。其中，Adam优化器的超参设置为：学习率le-4，用于计算梯度的运行平均值的系数
Figure DEST_PATH_IMAGE123
，用于计算梯度平方的运行平均值的系数
Figure DEST_PATH_IMAGE124
。
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征
Figure 519113DEST_PATH_IMAGE107
进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图
Figure 317305DEST_PATH_IMAGE012
和图像级别的异常检测分数
Figure 63675DEST_PATH_IMAGE013
。
在另一具体实施例中，所述步骤S6具体包括以下步骤。
步骤S61：在测试阶段，首先对步骤S4中编码得到的多尺度融合特征
Figure 998133DEST_PATH_IMAGE118
通过双线性插值的方式上采样到输入图片的大小
Figure 788235DEST_PATH_IMAGE055
，得到最终的输出特征
Figure DEST_PATH_IMAGE125
；
Figure DEST_PATH_IMAGE126
表示第i个输出特征。
步骤S62：基于步骤S61得到的输出特征
Figure 90034DEST_PATH_IMAGE125
，通过
Figure 358205DEST_PATH_IMAGE057
的公式来分别计算包含不同尺度特性的概率密度图
Figure DEST_PATH_IMAGE127
；
Figure DEST_PATH_IMAGE128
表示第i个阶段对应的概率密度图。
步骤S63：针对异常定位任务，对步骤S62中计算得到的概率密度图
Figure 491377DEST_PATH_IMAGE127
通过相加的方式得到加性整合概率密度图
Figure DEST_PATH_IMAGE129
，进而计算像素级别的异常定位分数图
Figure 186800DEST_PATH_IMAGE060
，其中
Figure 694005DEST_PATH_IMAGE061
是
Figure 765866DEST_PATH_IMAGE062
中的最大值。
步骤S64：针对异常检测任务，对步骤S62中计算得到的概率密度图
Figure 679509DEST_PATH_IMAGE127
通过相乘的方式得到乘性整合概率密度图
Figure DEST_PATH_IMAGE130
，并且计算异常检测分数图
Figure 342572DEST_PATH_IMAGE064
，其中
Figure 602652DEST_PATH_IMAGE065
是
Figure 963357DEST_PATH_IMAGE066
中的最大值；进一步地，在异常检测分数图
Figure 992493DEST_PATH_IMAGE067
中选择最大的
Figure 29719DEST_PATH_IMAGE068
个分值，并且对这
Figure DEST_PATH_IMAGE131
个分值取平均得到图像级别的异常检测分数
Figure 511516DEST_PATH_IMAGE013
。
本实施例的其他部分与实施例5相同，故不再赘述。
实施例7：
本实施例在实施例5的基础上，以对MVTec AD数据集中的15类工业零件进行缺陷检测与定位为例，基于2个尺度特征提取方案，即L=2，采用一种基于多尺度标准化流的无监督异常定位与检测方法对这15类工业零件进行缺陷检测与定位。
所述方法具体步骤如下。
步骤S1：选取工业缺陷检测数据集中的MVTec AD数据集作为异常检测数据集，并仅以无异常的合格工业零件图片作为训练数据。无异常的合格工业零件图片如图4所示。
MVTec AD数据集包含15个工业零件类别，其中有10种工业物品和5种工业纹理，一共有3629张无异常图片用来训练，1725张包含无异常和异常的图片用来测试。MVTec AD的测试集中包含了各种各样的异常类型，异常区域大小多样，是一个非常具有挑战性的数据集。
步骤S2：选取ResNet网络构建特征提取器，并从图片中提取2个多尺度图像特征
Figure DEST_PATH_IMAGE132
作为多尺度标准化流模型的输入。
在另一具体实施例中，所述步骤S2具体包括以下步骤。
步骤S21：首先通过预训练的ResNet四阶段特征提取器
Figure 472650DEST_PATH_IMAGE070
输入图片
Figure 356292DEST_PATH_IMAGE133
进行特征编码，并且提取出其中的第2阶段、第3阶段2个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE134
；其中：
Figure 111890DEST_PATH_IMAGE074
表示图片的高，
Figure 284245DEST_PATH_IMAGE075
表示图片的宽，
Figure 236021DEST_PATH_IMAGE076
表示特征提取器中第
Figure 239749DEST_PATH_IMAGE135
个阶段特征的通道数；
Figure 618778DEST_PATH_IMAGE078
表示特征提取器中第
Figure 825899DEST_PATH_IMAGE135
个阶段特征的高度；
Figure 581366DEST_PATH_IMAGE022
表示特征提取器中第
Figure 439600DEST_PATH_IMAGE135
个阶段特征的宽度。
第2阶段、第3阶段的输出特征既包括了局部的细节信息，有包括更大的感受野，从而得到一个全局感知，两种信息子这两个阶段的特征中达到了一个很好的平衡。
步骤S22：对步骤S21提取出的2个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE136
，通过核大小为3且步长为2的平均池化层进行特征下采样，从而得到多尺度图像特征
Figure 537000DEST_PATH_IMAGE137
。
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型
Figure 480686DEST_PATH_IMAGE006
，并对步骤S2中提取出的多尺度图像特征
Figure 774264DEST_PATH_IMAGE132
进行编码得到对应的多尺度并行特征
Figure DEST_PATH_IMAGE138
。
在另一具体实施例中，所述步骤S3具体包括以下步骤。
步骤S31：构建基于线性耦合层的标准化流模块
Figure 34475DEST_PATH_IMAGE089
。标准化流模块
Figure 286465DEST_PATH_IMAGE139
的线性耦合层中的子网络都是由两个核大小为3的卷积网络以及ReLU激活函数组合而成。
步骤S32：构建非对称的多尺度并行标准化流模型
Figure 717446DEST_PATH_IMAGE006
。多尺度并行标准化流模型
Figure 565447DEST_PATH_IMAGE006
包含2个分支并行且独立的并行标准化流模型
Figure DEST_PATH_IMAGE140
，其中
Figure 273640DEST_PATH_IMAGE094
由5个步骤S32中所构建的标准化流模块
Figure 430952DEST_PATH_IMAGE089
堆叠而成，
Figure 349230DEST_PATH_IMAGE141
由8个步骤S32中所构建的标准化流模块
Figure 187873DEST_PATH_IMAGE088
堆叠而成。
步骤S33：通过步骤S32中构建的并行标准化流模型
Figure 625938DEST_PATH_IMAGE140
对步骤S2中提取到的多尺度图像特征
Figure 954152DEST_PATH_IMAGE132
分别进行特征编码，得到2个分支独立编码的多尺度并行特征
Figure 94146DEST_PATH_IMAGE138
。
步骤S4：基于标准化流模型构建多尺度融合标准化流模型
Figure 798797DEST_PATH_IMAGE110
，并对步骤S3中提取出的多尺度并行特征
Figure 356948DEST_PATH_IMAGE138
进行特征融合，得到对应的多尺度融合特征
Figure DEST_PATH_IMAGE142
。
在另一具体实施例中，所述步骤S4具体包括以下步骤。
步骤S41：将步骤S3得到的3个分支独立编码的多尺度并行特征
Figure 387221DEST_PATH_IMAGE087
都通过双线性插值的方式缩小到
Figure 14511DEST_PATH_IMAGE105
的大小，并且沿特征维度拼接在一起，得到拼接特征
Figure 742427DEST_PATH_IMAGE109
。
步骤S42：构建基于线性耦合层的多尺度融合标准化流模型
Figure 607615DEST_PATH_IMAGE110
，多尺度融合标准化流模型
Figure 277631DEST_PATH_IMAGE009
的线性耦合层中的子网络由两个核大小为3的卷积网络以及ReLU激活函数组合。
步骤S43：用步骤S42中所构建的多尺度融合标准化流模型
Figure 392217DEST_PATH_IMAGE110
对步骤S41中得到的拼接特征
Figure 438671DEST_PATH_IMAGE109
进行编码，得到融合特征
Figure 440256DEST_PATH_IMAGE111
；
步骤S44：对步骤S43中得到的融合特征
Figure 546752DEST_PATH_IMAGE111
沿特征维度进行分割并且通过双线性插值对分割后的特征进行缩放，得到分割特征
Figure DEST_PATH_IMAGE143
；其中，
Figure 679793DEST_PATH_IMAGE113
与步骤S3中编码得到的
Figure 15091DEST_PATH_IMAGE114
特征维度保持一致。
步骤S45：将步骤S44得到的分割特征
Figure 386029DEST_PATH_IMAGE143
与步骤S3得到的多尺度并行特征
Figure 397848DEST_PATH_IMAGE138
分别进行元素维度的相加，从而得到最终的多尺度融合特征
Figure 221447DEST_PATH_IMAGE142
；其中，
Figure DEST_PATH_IMAGE144
，
Figure 94856DEST_PATH_IMAGE117
表示元素维度的加号。
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征
Figure DEST_PATH_IMAGE145
进行最大似然优化从而训练多尺度并行标准化流模型
Figure 851460DEST_PATH_IMAGE006
和多尺度融合标准化流模型
Figure 299759DEST_PATH_IMAGE009
这两个多尺度标准化流模型。
在另一具体实施例中，所述步骤S5具体包括以下步骤。
步骤S51：基于步骤S4得到的多尺度融合特征
Figure 626966DEST_PATH_IMAGE145
，计算概率密度损失函数
Figure 553334DEST_PATH_IMAGE119
。
更进一步地，所述步骤S51中提到的概率密度损失函数
Figure 633285DEST_PATH_IMAGE119
具体如下：
Figure DEST_PATH_IMAGE146
其中：
Figure DEST_PATH_IMAGE147
表示分支并行且独立的并行标准化流模型
Figure 280516DEST_PATH_IMAGE091
的雅可比矩阵；
Figure DEST_PATH_IMAGE148
表示多尺度融合标准化流模型
Figure 609866DEST_PATH_IMAGE009
的雅可比矩阵。
步骤S52：基于步骤S51所计算的概率密度损失函数
Figure 74345DEST_PATH_IMAGE119
，通过梯度优化器对步骤S3中所构建的非对称的多尺度并行标准化流模型
Figure 290694DEST_PATH_IMAGE006
和步骤S4中所构建的多尺度融合标准化流模型
Figure 80795DEST_PATH_IMAGE009
进行训练。其中，Adam优化器的超参设置为：学习率le-4，用于计算梯度的运行平均值的系数
Figure 100704DEST_PATH_IMAGE123
，用于计算梯度平方的运行平均值的系数
Figure 634454DEST_PATH_IMAGE124
。
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征
Figure 439730DEST_PATH_IMAGE142
进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图
Figure 135153DEST_PATH_IMAGE012
和图像级别的异常检测分数
Figure 111199DEST_PATH_IMAGE013
。
在另一具体实施例中，所述步骤S6具体包括以下步骤。
步骤S61：在测试阶段，首先对步骤S4中编码得到的多尺度融合特征
Figure 183061DEST_PATH_IMAGE145
通过双线性插值的方式上采样到输入图片的大小
Figure DEST_PATH_IMAGE149
，得到最终的输出特征
Figure DEST_PATH_IMAGE150
。
步骤S62：基于步骤S61得到的输出特征
Figure 905160DEST_PATH_IMAGE150
，通过
Figure 37064DEST_PATH_IMAGE057
的公式来分别计算包含不同尺度特性的概率密度图
Figure DEST_PATH_IMAGE151
。
步骤S63：针对异常定位任务，对步骤S62中计算得到的概率密度图
Figure 579035DEST_PATH_IMAGE151
通过相加的方式得到加性整合概率密度图
Figure DEST_PATH_IMAGE152
，进而计算像素级别的异常定位分数图
Figure 985746DEST_PATH_IMAGE060
，其中
Figure 218144DEST_PATH_IMAGE061
是
Figure 255370DEST_PATH_IMAGE062
中的最大值。
步骤S64：针对异常检测任务，对步骤S62中计算得到的概率密度图
Figure 753479DEST_PATH_IMAGE151
通过相乘的方式得到乘性整合概率密度图
Figure DEST_PATH_IMAGE153
，并且计算异常检测分数图
Figure 698301DEST_PATH_IMAGE064
，其中
Figure 847522DEST_PATH_IMAGE065
是
Figure 806382DEST_PATH_IMAGE066
中的最大值；进一步地，在异常检测分数图
Figure 775475DEST_PATH_IMAGE067
中选择最大的
Figure 196092DEST_PATH_IMAGE068
个分值，并且对这
Figure 934241DEST_PATH_IMAGE131
个分值取平均得到图像级别的异常检测分数
Figure 578849DEST_PATH_IMAGE013
。
本实施例的其他部分与实施例5相同，故不再赘述。
实施例8：
本实施例在实施例5的基础上，以对MVTec AD数据集中的15类工业零件进行缺陷检测与定位为例，基于4个尺度特征提取方案，即L=4，采用一种基于多尺度标准化流的无监督异常定位与检测方法对这15类工业零件进行缺陷检测与定位。
具体步骤如下。
步骤S1：选取工业缺陷检测数据集中的MVTec AD数据集作为异常检测数据集，并仅以无异常的合格工业零件图片作为训练数据。无异常的合格工业零件图片如图4所示。
MVTec AD数据集包含15个工业零件类别，其中有10种工业物品和5种工业纹理，一共有3629张无异常图片用来训练，1725张包含无异常和异常的图片用来测试。MVTec AD的测试集中包含了各种各样的异常类型，异常区域大小多样，是一个非常具有挑战性的数据集。
步骤S2：选取EfficientNet网络构建特征提取器，并从图片中提取4个多尺度图像特征
Figure DEST_PATH_IMAGE154
作为多尺度标准化流模型的输入。
在另一具体实施例中，所述步骤S2具体包括以下步骤。
步骤S21：首先通过预训练的EfficientNet九阶段特征提取器
Figure 317129DEST_PATH_IMAGE070
输入图片
Figure DEST_PATH_IMAGE155
进行特征编码，并且提取出其中的第3阶段、第4阶段、第5阶段、第7阶段4个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE156
；其中：
Figure 151224DEST_PATH_IMAGE074
表示图片的高，
Figure 9459DEST_PATH_IMAGE075
表示图片的宽，
Figure 824968DEST_PATH_IMAGE076
表示特征提取器中第
Figure DEST_PATH_IMAGE157
个阶段特征的通道数；
Figure 237495DEST_PATH_IMAGE078
表示特征提取器中第
Figure 547385DEST_PATH_IMAGE157
个阶段特征的高度；
Figure 260126DEST_PATH_IMAGE022
表示特征提取器中第
Figure 246536DEST_PATH_IMAGE157
个阶段特征的宽度。
步骤S22：对步骤S21提取出的4个阶段的多尺度输出特征
Figure DEST_PATH_IMAGE158
，通过核大小为3且步长为2的平均池化层进行特征下采样，从而得到多尺度图像特征
Figure DEST_PATH_IMAGE159
。
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型
Figure 756146DEST_PATH_IMAGE006
，并对步骤S2中提取出的多尺度图像特征
Figure 56677DEST_PATH_IMAGE154
进行编码得到对应的多尺度并行特征
Figure 623925DEST_PATH_IMAGE160
。
在另一具体实施例中，所述步骤S3具体包括以下步骤。
步骤S31：构建基于线性耦合层的标准化流模块
Figure 781237DEST_PATH_IMAGE089
。标准化流模块
Figure 184667DEST_PATH_IMAGE139
的线性耦合层中的子网络都是由两个核大小为3的卷积网络以及ReLU激活函数组合而成。
步骤S32：构建非对称的多尺度并行标准化流模型
Figure 85627DEST_PATH_IMAGE006
。多尺度并行标准化流模型
Figure 772961DEST_PATH_IMAGE006
包含4个分支并行且独立的并行标准化流模型
Figure DEST_PATH_IMAGE161
，其中
Figure 648644DEST_PATH_IMAGE094
由2个步骤S32中所构建的标准化流模块
Figure 788638DEST_PATH_IMAGE089
堆叠而成，
Figure 430972DEST_PATH_IMAGE141
由5个步骤S32中所构建的标准化流模块
Figure 972812DEST_PATH_IMAGE088
堆叠而成，
Figure 471926DEST_PATH_IMAGE096
由8个步骤S32中所构建的标准化流模块
Figure 849949DEST_PATH_IMAGE162
堆叠而成，
Figure DEST_PATH_IMAGE163
由11个步骤S32中所构建的标准化流模块
Figure 889449DEST_PATH_IMAGE162
堆叠而成。需要说明的是，
Figure 551375DEST_PATH_IMAGE163
中标准化流模块
Figure 972123DEST_PATH_IMAGE164
数量不影响结果，因此无需限定，但为了输出确切结果进行分析，此处设定
Figure 821130DEST_PATH_IMAGE163
由11个步骤S32中所构建的标准化流模块
Figure 70846DEST_PATH_IMAGE089
堆叠而成。
步骤S33：通过步骤S32中构建的并行标准化流模型
Figure 587278DEST_PATH_IMAGE161
对步骤S2中提取到的多尺度图像特征
Figure 428195DEST_PATH_IMAGE154
分别进行特征编码，得到4个分支独立编码的多尺度并行特征
Figure 515231DEST_PATH_IMAGE160
。
步骤S4：基于标准化流模型构建多尺度融合标准化流模型
Figure 365375DEST_PATH_IMAGE110
，并对步骤S3中提取出的多尺度并行特征
Figure 736314DEST_PATH_IMAGE160
进行特征融合，得到对应的多尺度融合特征
Figure DEST_PATH_IMAGE165
。
在另一具体实施例中，所述步骤S4具体包括以下步骤。
步骤S41：将步骤S3得到的4个分支独立编码的多尺度并行特征
Figure 482553DEST_PATH_IMAGE160
都通过双线性插值的方式缩小到
Figure 310745DEST_PATH_IMAGE166
的大小，并且沿特征维度拼接在一起，得到拼接特征
Figure 433422DEST_PATH_IMAGE109
。
步骤S42：构建基于线性耦合层的多尺度融合标准化流模型
Figure 924446DEST_PATH_IMAGE110
，多尺度融合标准化流模型
Figure 372745DEST_PATH_IMAGE009
的线性耦合层中的子网络由两个核大小为3的卷积网络以及ReLU激活函数组合。
步骤S43：用步骤S42中所构建的多尺度融合标准化流模型
Figure 434373DEST_PATH_IMAGE110
对步骤S41中得到的拼接特征
Figure 360741DEST_PATH_IMAGE109
进行编码，得到融合特征
Figure 706272DEST_PATH_IMAGE111
；
步骤S44：对步骤S43中得到的融合特征
Figure 59893DEST_PATH_IMAGE111
沿特征维度进行分割并且通过双线性插值对分割后的特征进行缩放，得到分割特征
Figure DEST_PATH_IMAGE167
；其中，
Figure 343237DEST_PATH_IMAGE113
与步骤S3中编码得到的
Figure 73296DEST_PATH_IMAGE114
特征维度保持一致。
步骤S45：将步骤S44得到的分割特征
Figure 273333DEST_PATH_IMAGE167
与步骤S3得到的多尺度并行特征
Figure 797855DEST_PATH_IMAGE160
分别进行元素维度的相加，从而得到最终的多尺度融合特征
Figure 99655DEST_PATH_IMAGE165
；其中，
Figure 633404DEST_PATH_IMAGE144
，
Figure 687948DEST_PATH_IMAGE117
表示元素维度的加号。
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征
Figure 383372DEST_PATH_IMAGE168
进行最大似然优化从而训练多尺度并行标准化流模型
Figure 906888DEST_PATH_IMAGE006
和多尺度融合标准化流模型
Figure 978749DEST_PATH_IMAGE009
这两个多尺度标准化流模型。
在另一具体实施例中，所述步骤S5具体包括以下步骤。
步骤S51：基于步骤S4得到的多尺度融合特征
Figure 91062DEST_PATH_IMAGE168
，计算概率密度损失函数
Figure 222966DEST_PATH_IMAGE119
。
更进一步地，所述步骤S51中提到的概率密度损失函数
Figure 217467DEST_PATH_IMAGE119
具体如下：
Figure DEST_PATH_IMAGE169
其中：
Figure 640489DEST_PATH_IMAGE147
表示分支并行且独立的并行标准化流模型
Figure 404046DEST_PATH_IMAGE091
的雅可比矩阵；
Figure 706851DEST_PATH_IMAGE148
表示多尺度融合标准化流模型
Figure 939380DEST_PATH_IMAGE009
的雅可比矩阵。
步骤S52：基于步骤S51所计算的概率密度损失函数
Figure 353044DEST_PATH_IMAGE119
，通过梯度优化器对步骤S3中所构建的非对称的多尺度并行标准化流模型
Figure 439949DEST_PATH_IMAGE006
和步骤S4中所构建的多尺度融合标准化流模型
Figure 913655DEST_PATH_IMAGE009
进行训练。其中，Adam优化器的超参设置为：学习率le-4，用于计算梯度的运行平均值的系数
Figure 882748DEST_PATH_IMAGE123
，用于计算梯度平方的运行平均值的系数
Figure 850836DEST_PATH_IMAGE124
。
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征
Figure 588984DEST_PATH_IMAGE165
进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图
Figure 499172DEST_PATH_IMAGE012
和图像级别的异常检测分数
Figure 955561DEST_PATH_IMAGE013
。
在另一具体实施例中，所述步骤S6具体包括以下步骤。
步骤S61：在测试阶段，首先对步骤S4中编码得到的多尺度融合特征
Figure 461760DEST_PATH_IMAGE168
通过双线性插值的方式上采样到输入图片的大小
Figure 319994DEST_PATH_IMAGE149
，得到最终的输出特征
Figure DEST_PATH_IMAGE170
。
步骤S62：基于步骤S61得到的输出特征
Figure 604345DEST_PATH_IMAGE170
，通过
Figure 548030DEST_PATH_IMAGE057
的公式来分别计算包含不同尺度特性的概率密度图
Figure DEST_PATH_IMAGE171
。
步骤S63：针对异常定位任务，对步骤S62中计算得到的概率密度图
Figure 654658DEST_PATH_IMAGE171
通过相加的方式得到加性整合概率密度图
Figure DEST_PATH_IMAGE172
，进而计算像素级别的异常定位分数图
Figure 898557DEST_PATH_IMAGE060
，其中
Figure 635700DEST_PATH_IMAGE061
是
Figure 801102DEST_PATH_IMAGE062
中的最大值。
步骤S64：针对异常检测任务，对步骤S62中计算得到的概率密度图
Figure 101634DEST_PATH_IMAGE171
通过相乘的方式得到乘性整合概率密度图
Figure DEST_PATH_IMAGE173
，并且计算异常检测分数图
Figure 465619DEST_PATH_IMAGE064
，其中
Figure 373663DEST_PATH_IMAGE065
是
Figure 291941DEST_PATH_IMAGE066
中的最大值；进一步地，在异常检测分数图
Figure 192900DEST_PATH_IMAGE067
中选择最大的
Figure 880234DEST_PATH_IMAGE068
个分值，并且对这
Figure 959179DEST_PATH_IMAGE131
个分值取平均得到图像级别的异常检测分数
Figure 99174DEST_PATH_IMAGE013
。
本实施例的其他部分与实施例5相同，故不再赘述。
实施例9：
所述基于多尺度标准化流的无监督异常定位与检测方法，简称MSFlow。
本实施例以如图4所示的MVTec AD数据集中的15类工业零件进行缺陷检测与定位为例，将实施例6中提取3个尺度特征的所述基于多尺度标准化流的无监督异常定位与检测方法与DRAEM、SSPCAB、RD4AD、PathCore、CFlow进行异常检测结果对比。
DRAEM模型：是一种发表于“DRAEM-A discriminatively trainedreconstruction embedding for surface anomaly detection”的基于异常生成的异常检测与定位方法。该方法通过在无异常的图像上人工生成“缺陷”，从而将无监督任务转变为全监督任务。
SSPCAB模型：是一种发表于“Self-Supervised Predictive ConvolutionalAttentive Block for Anomaly Detection”的自监督模块。这里的SSPCAB模型在DRAEM模型的基础上，通过这篇文章中所提出的自监督模块所构建的优化模型。
RD4AD模型：是一种发表于“Anomaly Detection via Reverse Distillationfrom One-Class Embedding”的基于知识蒸馏异常检测与定位方法。该方法通过反向蒸馏的网络架构和知识蒸馏的损失函数来实现无监督异常检测与定位。
PathCore模型：是一种发表于“Towards Total Recall in Industrial AnomalyDetection”的基于聚类算法的异常检测与定位方法。该方法通过对正常图像所提取出的特征进一步进行聚类，从而抑制噪点影响并且提升了检测精度和效率。
CFlow模型：是一种发表于“CFLOW-AD: Real-Time Unsupervised AnomalyDetection with Localization via Conditional Normalizing Flows”的基于标准化流的异常检测与定位方法。该方法通过标准化流模型对每个像素点的特征分别编码，实现了异常定位。
图像级别异常检测精度对比表如表1所示：
Figure DEST_PATH_IMAGE174
表1
从表1可以看出，实施例6所提出的MSFlow方法在MVTec AD数据集所包含的所有类别上都达到了很好的检测效果，并且在其中10类纹理或物品上都达到了100%的检测精度。对于MVTec AD数据集所有类别的平均检测精度也实现了高达99.7%的检测精度。
像素级别异常检测精度对比表如表2所示：
Figure DEST_PATH_IMAGE175
表2
从表2可以看出，实施例6所提出的MSFlow方法在MVTec AD数据集所包含的许多类别上都达到最优的定位效果。对于MVTec AD数据集所有类别的平均检测精度也实现了高达98.8%的定位精度，具有很强的可应用性。
综上，实施例6提供的基于多尺度标准化流的无监督异常定位与检测方法，通过概率密度计算异常分数，在MVTecAD工业缺陷检测数据集上达到了99.7%的异常检测精度和98.8%的异常定位精度。而且，实施例6所提出的MSFlow方法进行异常定位检测的可视化结果如图5所示，其中百分数表示缺陷位置相对于整张图片的占比，从图中也可以看出实施例6所提出的MSFlow方法对于缺陷的大小有很强的泛化能力，对各种大小的缺陷能进行高精度的定位与检测。
实施例10：
本实施例在实施例1-实施例8任一项的基础上，公开了一种基于多尺度标准化流的无监督异常定位与检测装置。
所述装置为包括存储器和处理器的电子设备；
所述存储器，其上存储有计算机程序；
所述处理器，用于执行所述存储器中的所述计算机程序，以实现实施例1-实施例8中任一项所述方法。
实施例11：
本实施例在实施例1-实施例8任一项的基础上，公开了一种基于多尺度标准化流的无监督异常定位与检测装置。
所述装置为存储能实现实施例1-实施例8中任一项所述方法的计算机程序的计算机可读存储介质。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，凡依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.基于多尺度标准化流的无监督异常定位与检测方法，其特征在于，先通过构建的多尺度标准化流模型获取图片的多尺度融合特征；再分别针对异常定位任务、异常检测任务设置不同的多尺度输出整合方案；最后由多尺度融合特征作为多尺度输出整合方案的输入计算得到用于异常定位分析的异常定位分数图和用于异常检测分析的异常检测分数，实现对输入图片的异常定位与检测；
针对异常定位任务设置的多尺度输出整合方案，是采用将不同尺度的输出相加的方式得到异常定位概率密度函数，再通过概率密度估计的方法计算得到异常定位分数；
针对异常检测任务设置的多尺度输出整合方案，是先采用将不同尺度的输出相乘的方式得到异常检测概率密度函数，再通过概率密度估计的方法计算得到异常检测分数图，最后从异常检测分数图中选择最大的K个分值取平均得到异常检测分数；K为不小于1的正整数；
所述通过构建多尺度标准化流模型获取图片的多尺度融合特征，具体是指：基于标准化流模型构建非对称的多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；利用构建的特征提取器提取图片的L个多尺度图像特征，并将L个多尺度图像特征作为多尺度标准化流模型的输入，L为不小于2的正整数；多尺度图像特征依次经多尺度并行标准化流模型、多尺度融合标准化流模型编码后得到对应的多尺度融合特征；
所述多尺度并行标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建具有线性耦合层的标准化流模块；再将ki个标准化流模块堆叠成标准化流模型的第i个模型分支，其中：1≤i≤L，ki＜ki+1且ki、ki+1、i均为正整数；然后将L个模型分支按顺序组合，得到分支并行且独立的并行标准化流模型，即非对称的多尺度并行标准化流模型；
所述多尺度融合标准化流模型的构建方法如下：先搭建由两个核大小为3的卷积网络以及ReLU激活函数组合而成的网络，将其作为线性耦合层的子网络并构建多尺度融合标准化流模型。
2.根据权利要求1所述的基于多尺度标准化流的无监督异常定位与检测方法，其特征在于，所述方法分为训练阶段和测试阶段；
所述训练阶段，具体是指：先选取异常检测数据集并仅以无异常的图片作为训练数据；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后对多尺度融合特征进行最大似然优化从而训练多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；
所述测试阶段，具体是指：先输入待分析的图片；接着利用构建的特征提取器从图片中提取L个多尺度图像特征；再将L个多尺度图像特征依次输入构建的多尺度并行标准化流模型和多尺度融合标准化流模型中得到多尺度融合特征；然后根据多尺度输出整合方案对多尺度融合特征进行整合；最后计算得到异常定位分数图和异常检测分数。
3.根据权利要求1所述的基于多尺度标准化流的无监督异常定位与检测方法，其特征在于，所述L取2或3。
4.根据权利要求1-3任一项所述的基于多尺度标准化流的无监督异常定位与检测方法，其特征在于，所述方法具体包括以下步骤：
步骤S1：选取异常检测数据集，并仅以无异常的图片作为训练数据；
步骤S2：构建特征提取器，并从图片中提取L个多尺度图像特征作为多尺度标准化流模型的输入；
步骤S3：基于标准化流模型构建非对称的多尺度并行标准化流模型，并对步骤S2中提取出的多尺度图像特征进行编码得到对应的多尺度并行特征；
步骤S4：基于标准化流模型构建多尺度融合标准化流模型，并对步骤S3中提取出的多尺度并行特征进行特征融合，得到对应的多尺度融合特征；
步骤S5：在训练阶段，对步骤S4中编码得到的多尺度融合特征进行最大似然优化从而训练多尺度并行标准化流模型和多尺度融合标准化流模型这两个多尺度标准化流模型；
步骤S6：在测试阶段，通过训练后的多尺度标准化流模型对步骤S4中编码得到的多尺度融合特征进行整合，并且通过多尺度输出整合方案计算像素级别的异常定位分数图和图像级别的异常检测分数。
5.基于多尺度标准化流的无监督异常定位与检测装置，其特征在于，所述装置为包括存储器和处理器的电子设备；
所述存储器，其上存储有计算机程序；
所述处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-4中任一项所述方法。
6.基于多尺度标准化流的无监督异常定位与检测装置，其特征在于，所述装置为存储能实现权利要求1-4中任一项所述方法的计算机程序的计算机可读存储介质。
CN202211118934.6A 2022-09-15 2022-09-15 基于多尺度标准化流的无监督异常定位与检测方法及装置 Active CN115205650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118934.6A CN115205650B (zh) 2022-09-15 2022-09-15 基于多尺度标准化流的无监督异常定位与检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118934.6A CN115205650B (zh) 2022-09-15 2022-09-15 基于多尺度标准化流的无监督异常定位与检测方法及装置

Publications (2)

Publication Number Publication Date
CN115205650A CN115205650A (zh) 2022-10-18
CN115205650B true CN115205650B (zh) 2022-11-29

Family

ID=83572433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118934.6A Active CN115205650B (zh) 2022-09-15 2022-09-15 基于多尺度标准化流的无监督异常定位与检测方法及装置

Country Status (1)

Country Link
CN (1) CN115205650B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937555A (zh) * 2023-03-09 2023-04-07 厦门微亚智能科技有限公司 一种基于标准化流模型的工业缺陷检测算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332008A (zh) * 2021-12-28 2022-04-12 福州大学 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077376A (ja) * 2019-11-07 2021-05-20 ハイパーコネクト インコーポレイテッド 画像変換装置及び方法、並びにコンピュータ読み取り可能な記録媒体
CN112036513B (zh) * 2020-11-04 2021-03-09 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
CN114332094B (zh) * 2021-12-07 2024-09-24 海南大学 基于轻量级多尺度信息融合网络的语义分割方法及装置
CN114299040A (zh) * 2021-12-30 2022-04-08 季华实验室 瓷砖瑕疵检测方法、装置和电子设备
CN114464159A (zh) * 2022-01-18 2022-05-10 同济大学 一种基于半流模型的声码器语音合成方法
CN114926754A (zh) * 2022-04-18 2022-08-19 阿里巴巴达摩院(杭州)科技有限公司 图像检测方法、存储介质及处理器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332008A (zh) * 2021-12-28 2022-04-12 福州大学 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN115205650A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Lee et al. AnoViT: Unsupervised anomaly detection and localization with vision transformer-based encoder-decoder
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
Chen et al. SNIS: A signal noise separation-based network for post-processed image forgery detection
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN114708255B (zh) 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
Zhu et al. ECFNet: A Siamese network with fewer FPs and fewer FNs for change detection of remote-sensing images
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN115205650B (zh) 基于多尺度标准化流的无监督异常定位与检测方法及装置
Li et al. Multi-Scale Fusion Siamese Network Based on Three-Branch Attention Mechanism for High-Resolution Remote Sensing Image Change Detection
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
CN111223113B (zh) 基于双重密集上下文感知网络的核磁共振海马体分割算法
CN112381818A (zh) 面向亚类疾病的医学图像识别增强方法
CN117253034A (zh) 一种基于差异化上下文的图像语义分割方法及系统
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
Ikeda et al. RGB-D salient object detection using saliency and edge reverse attention
Patnaik et al. Remote Sensing Single-Image Super-Resolution Using Convolutional Block Attention Residual Network With Joint Adversarial Mechanisms
CN114821524A (zh) 一种基于BiSeNet的轨道交通道路识别优化方法
CN114529794A (zh) 一种红外与可见光图像融合方法、系统及介质
Li et al. ESR-DMNet: Enhanced super-resolution-based dual-path metric change detection network for remote sensing images with different resolutions
CN116912183B (zh) 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统
Qiao et al. DeepSEM-Net: Enhancing SEM defect analysis in semiconductor manufacturing with a dual-branch CNN-Transformer architecture
CN118154906B (zh) 基于特征相似性和多尺度边缘注意力的图像篡改检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant