CN116403077A - 异常检测模型训练方法、异常检测方法、装置及电子设备 - Google Patents

异常检测模型训练方法、异常检测方法、装置及电子设备 Download PDF

Info

Publication number
CN116403077A
CN116403077A CN202310666476.8A CN202310666476A CN116403077A CN 116403077 A CN116403077 A CN 116403077A CN 202310666476 A CN202310666476 A CN 202310666476A CN 116403077 A CN116403077 A CN 116403077A
Authority
CN
China
Prior art keywords
sub
block
normal
abnormal
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310666476.8A
Other languages
English (en)
Other versions
CN116403077B (zh
Inventor
朱贵波
朱炳科
古兆鹏
陈盈盈
王金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310666476.8A priority Critical patent/CN116403077B/zh
Publication of CN116403077A publication Critical patent/CN116403077A/zh
Application granted granted Critical
Publication of CN116403077B publication Critical patent/CN116403077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉和模式识别技术领域，提供一种异常检测模型训练方法、异常检测方法、装置及电子设备，该方法获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；基于初始检测模型，分别对异常子块、正常子块和增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；基于异常语义特征与正常语义特征之间的语义特征相似度，计算对比损失，基于正常深度特征、正常语义特征和增强语义特征，计算一致性增强损失；基于对比损失和一致性增强损失，对初始检测模型进行交替迭代训练，得到异常检测模型，可以提高模型的检测性能。

Description

异常检测模型训练方法、异常检测方法、装置及电子设备
技术领域
本发明涉及计算机视觉和模式识别技术领域，尤其涉及一种异常检测模型训练方法、异常检测方法、装置及电子设备。
背景技术
异常检测研究旨在通过目标对象的拍照图像，检测该目标对象是否存在表面缺陷、表面附着物等可见异常。
异常检测是正常类和异常类之间的一种二元分类，通过模型提取图像特征后，将测试样本的特征与已知正常样本的特征进行对比，将与已知正常样本差别较大的测试样本标记为异常样本。小样本异常检测则研究在只有少量正常样本可用的情况下，进行异常检测。
现有技术中，在进行小样本异常检测时，通常通过归一化流、图像对齐等方式增加正常样本特征的稠密性与对比的准确性，这种方法仅能克服正常样本与异常样本的数据量的差异问题，但是依然无法保证异常检测结果的准确性，且存在效率低的问题。
发明内容
本发明提供一种异常检测模型训练方法、异常检测方法、装置及电子设备，用以解决现有技术中存在的缺陷。
本发明提供一种异常检测模型训练方法，包括：
获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常语义特征和所述增强语义特征，计算一致性增强损失；
基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
根据本发明提供的一种异常检测模型训练方法，所述基于所述初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征，包括：
将所述异常子块、所述正常子块和所述增强子块分别输入至所述初始检测模型的特征提取层，得到所述特征提取层输出的所述异常子块的异常深度特征、所述正常子块的正常深度特征和所述增强子块的增强深度特征；
将所述异常深度特征、所述正常深度特征和所述增强深度特征与对应的子块位置编码分别输入至所述初始检测模型的拼接层，得到所述拼接层输出的所述异常图像样本的第一拼接结果、所述正常图像样本的第二拼接结果和所述增强图像样本的第三拼接结果；
将所述第一拼接结果、所述第二拼接结果和所述第三拼接结果分别输入至所述初始检测模型的编解码层，得到所述编解码层输出的所述异常语义特征、所述正常语义特征和所述增强语义特征。
根据本发明提供的一种异常检测模型训练方法，所述特征提取层经过预训练得到。
根据本发明提供的一种异常检测模型训练方法，所述异常子块和所述正常子块均包括多个，且各异常子块和各正常子块均一一对应；
相应地，所述基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，包括：
遍历所述各异常子块中的每个异常子块，基于当前异常子块的异常语义特征与所述各正常子块的正常语义特征之间的语义特征相似度，确定所述各正常子块中与所述当前异常子块的语义特征相似度最高的第一目标正常子块以及与所述当前异常子块的语义特征相似度最低的第二目标正常子块，并基于所述当前异常子块与所述第一目标正常子块之间的第一距离，和所述当前异常子块与所述第二目标正常子块之间的第二距离，计算所述当前异常子块对应的子块对比损失；
基于所述各异常子块对应的子块对比损失，计算所述对比损失。
根据本发明提供的一种异常检测模型训练方法，所述正常子块和所述增强子块均包括多个，且各正常子块和各增强子块均一一对应；
相应地，所述基于所述正常语义特征和所述增强语义特征，计算一致性增强损失，包括：
遍历所述各正常子块中的每个正常子块，基于当前正常子块的正常深度特征、所述当前正常子块的正常语义特征和所述当前正常子块对应的增强子块的增强语义特征，计算所述当前正常子块对应的子块一致性损失；
基于所述各正常子块对应的子块一致性损失，计算所述一致性增强损失。
根据本发明提供的一种异常检测模型训练方法，所述基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型，包括：
基于所述对比损失和所述一致性增强损失，采用元学习方法，对所述初始检测模型的结构参数进行更新，得到所述异常检测模型。
本发明还提供一种异常检测方法，包括：
获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型进行交替迭代训练得到。
根据本发明提供的一种异常检测方法，所述基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块，包括：
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，建立二分图；
对所述二分图进行最小代价二分匹配，确定所述待检测子块匹配的最相似的参考子块。
本发明还提供一种异常检测模型训练装置，包括：
第一获取模块，用于获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
第一特征提取模块，用于基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
损失计算模块，用于基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常深度特征、所述正常语义特征和所述增强语义特征，计算一致性增强损失；
模型训练模块，用于基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
本发明还提供一种异常检测装置，包括：
第二获取模块，用于获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
第二特征提取模块，用于将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
最相似子块确定模块，用于基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
异常检测模块，用于基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型的结构参数进行交替迭代更新得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的异常检测模型训练方法，或异常检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的异常检测模型训练方法，或异常检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的异常检测模型训练方法，或异常检测方法。
本发明提供的异常检测模型训练方法、异常检测方法、装置及电子设备，该方法首先获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；然后基于初始检测模型，分别对异常子块、正常子块和增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；此后基于异常语义特征与正常语义特征之间的语义特征相似度，计算对比损失，并基于正常深度特征、正常语义特征和增强语义特征，计算一致性增强损失；最后基于对比损失和一致性增强损失，对初始检测模型进行交替迭代训练，得到异常检测模型。该方法利用对比损失，可以将深度特征与语义特征相结合，有助于图像子块的精确匹配，利用一致性增强损失，可以使异常检测模型学习到图像的一致性特征，进而可以从少量样本中归纳出正常样本的通用特征，提高异常检测模型的表达能力，从而提高异常检测模型的性能。采用两种损失对初始检测模型进行交替训练，可以提高异常检测模型的检测性能，进而为异常检测的准确、高效率提供理论基础。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的异常检测模型训练方法的流程示意图之一；
图2是本发明提供的异常检测模型训练方法的流程示意图之二；
图3是本发明提供的异常检测模型训练方法中步骤S24的流程示意图；
图4是本发明提供的异常检测模型训练方法中空间一致性的表征示意图；
图5是本发明提供的异常检测模型训练方法中语义一致性的表征示意图；
图6是本发明提供的异常检测方法的流程示意图之一；
图7是本发明提供的异常检测方法的流程示意图之二；
图8是本发明提供的异常检测模型训练装置的结构示意图；
图9是本发明提供的异常检测装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有技术中，在进行小样本异常检测时，无法保证异常检测结果的准确性，且存在效率低的问题。为此，本发明实施例中提供了一种异常检测模型训练方法，该方法训练得到的异常检测模型可以用于对目标对象进行表面缺陷、表面附着物等可见异常的检测。
图1为本发明实施例中提供的一种异常检测模型训练方法的流程示意图，如图1所示，该方法包括：
S11，获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
S12，基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
S13，基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常深度特征、所述正常语义特征和所述增强语义特征，计算一致性增强损失；
S14，基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
具体地，本发明实施例中提供的异常检测模型训练方法，其执行主体为异常检测模型训练装置，该装置可以配置于第一计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S11，获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块。此处，可以先获取目标样本的异常图像样本、正常图像样本和正常图像样本对应的增强图像样本，以构成用于进行模型训练的目标数据集。
该目标样本是指事先选取的、利用其相关图像进行模型训练的目标对象，该目标样本可以是桌面、电子产品、机械设备等，此处不作具体限定。
异常图像样本是指目标样本在存在可见异常的场景下的图像，该异常图像样本可以是经过对异常区域进行标注的异常图像样本。正常图像样本是目标对象在不存在可见异常的场景下的图像，异常图像样本和正常图像样本均可通过拍摄对应场景下的目标对象的表面得到。
正常图像样本对应的增强图像样本是指通过对正常图像样本进行增强处理操作后得到的图像，采用的增强处理操作可以包括旋转、平移、缩放等几何变换操作。如此可以为初始检测模型的训练提供不同位置、角度下的正常图像。
此处，目标样本的异常图像样本、正常图像样本以及增强图像样本均可以包括多个，且长度均相等，宽度均相等，用以对初始检测模型进行多轮迭代训练。
在获取到异常图像样本、正常图像样本和增强图像样本之后，可以将其分别进行分块，得到对应的异常子块、正常子块和增强子块。异常子块、正常子块和增强子块均可以包括一个或多个。对异常图像样本、正常图像样本和增强图像样本进行分块，可以采用相同的分块标准，即得到的异常子块、正常子块和增强子块的数量均相同、大小和位置也相同，即异常子块、正常子块和增强子块一一对应。在对每个图像样本进行分块时，可以采用均分的方式实现。
然后执行步骤S12，利用初始检测模型，分别对异常子块、正常子块和增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征。
此处，可以将各异常子块输入至初始检测模型，通过该初始检测模型先对每个异常子块进行深度特征提取，得到各异常子块的异常深度特征。然后可以对每个异常子块的异常深度特征进行语义特征提取，得到各异常子块的异常语义特征。
同样地，可以将各正常子块输入至初始检测模型，通过该初始检测模型先对每个正常子块进行深度特征提取，得到各正常子块的正常深度特征。然后可以对每个正常子块的正常深度特征进行语义特征提取，得到各正常子块的正常语义特征。
可以将各增强子块输入至初始检测模型，通过该初始检测模型先对每个增强子块进行深度特征提取，得到各增强子块的增强深度特征。然后可以对每个增强子块的增强深度特征进行语义特征提取，得到各增强子块的增强语义特征。
初始检测模型可以包括顺次连接的特征提取层和编解码层，特征提取层用于分别提取每个异常子块的异常深度特征、每个正常子块的正常深度特征和每个增强子块的增强深度特征，编解码层用于利用异常深度特征、正常深度特征和增强深度特征，分别提取每个异常子块的异常语义特征、每个正常子块的正常语义特征和每个增强子块的增强语义特征。各类语义特征相比于各类深度特征，具有更强的表达能力。
此处，特征提取层可以基于深度神经网络构建，编解码层可以基于Transformer网络构建，该Transformer网络包括Transformer编码器和Transformer解码器。进而，特征提取层提取的深度特征为深度卷积特征，属于局部注意力特征，编解码层提取的语义特征为注意力特征，属于全局注意力特征，此时的初始检测模型可以被看作是工业大模型。
此后执行步骤S13，可以计算每个异常子块的异常语义特征与每个正常子块的正常语义特征之间的语义特征相似度，然后利用该语义特征相似度计算对比损失。可以理解的是，对比损失用于拉近语义特征相似度较高的两个异类子块之间的距离，并增加语义特征相似度较低的两个异类子块之间的距离。此处，该语义特征相似度可以是余弦相似度。
除此之外，还可以利用每个正常子块的正常深度特征、正常语义特征和每个增强子块的增强语义特征，计算一致性增强损失（Consistency-Enhanced Loss，CEL）。可以理解的是，一致性增强损失用于保证深度特征与语义特征对于几何变换具有一致性。
一致性增强损失可以包含空间一致性，空间一致性是保证图像语义特征对于图像增强操作具有一致性，即经过增强操作后的图像提取出的语义特征经过逆变换后与原图像的语义特征一致。利用该一致性增强损失，可以使异常检测模型学习到图像在空间内不同位置和角度下的一致性特征。
最后执行步骤S14，利用对比损失和一致性增强损失，对初始检测模型进行交替迭代训练，得到异常检测模型。此处，交替迭代是指在对初始检测模型进行训练时，在第2n+1次迭代训练时可以采用对比损失，利用对比学习方法对初始检测模型进行训练；在第2n+2次迭代训练时可以采用一致性增强损失，对初始检测模型进行训练。
本发明实施例中提供的异常检测模型训练方法，首先获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；然后基于初始检测模型，分别对异常子块、正常子块和增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；此后基于异常语义特征与正常语义特征之间的语义特征相似度，计算对比损失，并基于正常深度特征、正常语义特征和增强语义特征，计算一致性增强损失；最后基于对比损失和一致性增强损失，对初始检测模型进行交替迭代训练，得到异常检测模型。该方法利用对比损失，可以将深度特征与语义特征相结合，有助于图像子块的精确匹配，利用一致性增强损失，可以使异常检测模型学习到图像的一致性特征，进而可以从少量样本中归纳出正常样本的通用特征，提高异常检测模型的表达能力，从而提高异常检测模型的性能。采用两种损失对初始检测模型进行交替训练，可以提高异常检测模型的检测性能，进而为异常检测的准确、高效率提供理论基础。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练方法，所述基于所述初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征，包括：
将所述异常子块、所述正常子块和所述增强子块分别输入至所述初始检测模型的特征提取层，得到所述特征提取层输出的所述异常子块的异常深度特征、所述正常子块的正常深度特征和所述增强子块的增强深度特征；
将所述异常深度特征、所述正常深度特征和所述增强深度特征与对应的子块位置编码分别输入至所述初始检测模型的拼接层，得到所述拼接层输出的所述异常图像样本的第一拼接结果、所述正常图像样本的第二拼接结果和所述增强图像样本的第三拼接结果；
将所述第一拼接结果、所述第二拼接结果和所述第三拼接结果分别输入至所述初始检测模型的编解码层，得到所述编解码层输出的所述异常语义特征、所述正常语义特征和所述增强语义特征。
具体地，本发明实施例中，先将异常子块、正常子块和增强子块分别输入至初始检测模型的特征提取层，得到特征提取层输出的异常子块的异常深度特征、正常子块的正常深度特征和增强子块的增强深度特征。
此后，由于编解码层的原理通常是通过跟踪序列数据中的关系来学习上下文，为防止各类子块经编解码层的序列化后丢失空间信息，引入子块位置编码，即各类子块在各类图像样本中对应的位置编码。该子块位置编码可以是正弦位置编码，也可以是其他形式的位置编码，此处不作具体限定。
将各异常子块的异常深度特征与各异常子块对应的子块位置编码输入至初始检测模型的拼接层，得到拼接层输出的异常图像样本的第一拼接结果。将各正常子块的正常深度特征与各正常子块对应的子块位置编码输入至初始检测模型的拼接层，得到拼接层输出的正常图像样本的第二拼接结果。将各增强子块的增强深度特征与各增强子块对应的子块位置编码输入至初始检测模型的拼接层，得到拼接层输出的增强图像样本的第三拼接结果。
此后，可以将第一拼接结果、第二拼接结果和第三拼接结果分别输入至初始检测模型的编解码层，得到编解码层输出的各异常子块的异常语义特征、各正常子块的正常语义特征和各增强子块的增强语义特征。
本发明实施例中，引入子块位置编码，可以保存各类图像样本中每个子块的位置信息，防止编解码层进行子块序列化后丢失各子块的空间信息，提高各类语义特征的精度和准确性。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练方法，所述特征提取层经过预训练得到。
具体地，本发明实施例中，初始检测模型的特征提取层可以是利用大规模通用的预训练数据集进行预训练得到的特征提取层。利用经过预训练的特征提取层进行深度特征提取，可以降低对初始检测模型的训练难度，提升训练效率。而且，结合对比损失，也可以避免从预训练数据集到下游的目标数据集的特征偏差，保证了预训练得到的特征提取层的可应用性。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练方法，所述异常子块和所述正常子块均包括多个，且各异常子块和各正常子块均一一对应；
相应地，所述基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，包括：
遍历所述各异常子块中的每个异常子块，基于当前异常子块的异常语义特征与所述各正常子块的正常语义特征之间的语义特征相似度，确定所述各正常子块中与所述当前异常子块的语义特征相似度最高的第一目标正常子块以及与所述当前异常子块的语义特征相似度最低的第二目标正常子块，并基于所述当前异常子块与所述第一目标正常子块之间的第一距离，和所述当前异常子块与所述第二目标正常子块之间的第二距离，计算所述当前异常子块对应的子块对比损失；
基于所述各异常子块对应的子块对比损失，计算所述对比损失。
具体地，本发明实施例中，每个异常图像样本的异常子块、每个正常图像样本的正常子块和每个增强图像样本的增强子块的数量均为多个，且一一对应，即各类图像样本的分块标准均一致，各类子块的位置一致，大小也相等。
进而，在计算对比损失时，可以遍历异常图像样本中的每个异常子块，即对每个异常子块均执行如下操作：
对于遍历到的当前异常子块，计算当前异常子块的异常语义特征与各正常子块的正常语义特征之间的语义特征相似度。该语义特征相似度可以通过余弦相似度(CosineSimilarity)、调整余弦相似度(Adjusted Cosine Similarity)、皮尔森相关系数(PearsonCorrelation Coefficient)、Jaccard相似系数(Jaccard Coefficient)、Tanimoto系数（广义Jaccard相似系数）、对数似然相似率等相似度度量中的任一个进行计算，也可以通过上述相似度度量中的多个进行计算，并将得到的多个结果进行加权求和，此处不作具体限定。
基于计算得到的语义特征相似度，确定各正常子块中与当前异常子块的语义特征相似度最高的第一目标正常子块以及与当前异常子块的语义特征相似度最低的第二目标正常子块。
此后，计算当前异常子块与第一目标正常子块之间的第一距离，和当前异常子块与第二目标正常子块之间的第二距离。第一距离和第二距离均可以通过计算语义特征之间的欧几里得距离（Euclidean Distance）以及欧式距离的标准化（Standardized Euclideandistance）、明可夫斯基距离(Minkowski Distance)、曼哈顿距离（Manhattan Distance）、切比雪夫距离（Chebyshev Distance）、马哈拉诺比斯距离(Mahalanobis Distance)、海明距离（Hamming distance）等距离度量中的任一个进行计算，也可以通过上述距离度量中的多个进行计算，并将得到的多个结果进行加权求和，此处不作具体限定。
最后，利用第一距离与第二距离，计算当前异常子块对应的子块对比损失。在计算当前异常子块对应的子块对比损失时，可以先计算第一距离与第二距离的差值，然后判断该差值与预设阈值之间的大小关系，若该差值与预设阈值之和小于零，即该差值小于预设阈值的负数时，将该差值与预设阈值之和作为当前异常子块对应的子块对比损失。否则，若该差值与预设阈值之和大于或等于零，则当前异常子块对应的子块对比损失为0。最终，利用各异常子块对应的子块对比损失，计算所需的对比损失。即将各异常子块对应的子块对比损失之和作为所需的对比损失。
对比损失计算公式如公式（1）所示：
Figure SMS_1
；（1）
其中，
Figure SMS_4
为对比损失，m为异常图像样本中的异常子块的个数，/>
Figure SMS_5
为遍历到的当前异常子块，/>
Figure SMS_10
为第一目标正常子块，/>
Figure SMS_3
为第二目标正常子块，/>
Figure SMS_6
为第一距离，/>
Figure SMS_8
为第二距离，/>
Figure SMS_9
为预设阈值，/>
Figure SMS_2
表示只有/>
Figure SMS_7
大于0才用于计算对比损失。
本发明实施例中，通过确定第一目标正常子块以及第二目标正常子块的方式分别计算第一距离与第二距离，进而计算得到对比损失，相比于直接计算距离的方式可以使对比损失的计算更加准确，也更能体现对比损失表征的含义。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练方法，所述正常子块和所述增强子块均包括多个，且各正常子块和各增强子块均一一对应；
相应地，所述基于所述正常语义特征和所述增强语义特征，计算一致性增强损失，包括：
遍历所述各正常子块中的每个正常子块，基于当前正常子块的正常深度特征、所述当前正常子块的正常语义特征和所述当前正常子块对应的增强子块的增强语义特征，计算所述当前正常子块对应的子块一致性损失；
基于所述各正常子块对应的子块一致性损失，计算所述一致性增强损失。
具体地，本发明实施例中，由于每个正常图像样本的正常子块和每个增强图像样本的增强子块的数量均为多个，且一一对应，因此在计算一致性增强损失时，可以遍历正常图像样本中的每个正常子块，即对每个正常子块均执行如下操作：
对于遍历到的当前正常子块，利用当前正常子块的正常深度特征、当前正常子块的正常语义特征和当前正常子块对应的增强子块的增强语义特征，计算当前正常子块对应的子块一致性损失。在计算当前正常子块对应的子块一致性损失时，可以先计算当前正常子块的正常深度特征与自身的第一点乘结果，然后计算当前正常子块的正常语义特征和当前正常子块对应的增强子块的增强语义特征的第二点乘结果，然后将第一点乘结果与第二点乘结果的差值作为当前正常子块对应的子块一致性损失。最终，利用各正常子块对应的子块一致性损失，计算所需的一致性增强损失。即将各正常子块对应的子块一致性损失的2范数作为所需的一致性增强损失。
由于当前正常子块的正常深度特征的引入，使得一致性增强损失在包含空间一致性的基础上，还包括语义一致性。该语义一致性可以用于表征特征提取层提取的深度特征与编解码层提取的语义特征对于初始检测模型的同一输入图像具有一致性。
一致性增强损失计算公式如公式（2）所示，即空间一致性与语义一致性，可以整合为如公式（2）的计算方式进行计算：
Figure SMS_11
； （2）
其中，
Figure SMS_12
为一致性增强损失，/>
Figure SMS_13
为遍历到的当前正常子块的正常深度特征，/>
Figure SMS_14
为当前正常子块的正常语义特征，/>
Figure SMS_15
为当前正常子块对应的增强子块的增强语义特征，/>
Figure SMS_16
为第一点乘结果，/>
Figure SMS_17
为第二点乘结果。
本发明实施例中，由于引入遍历到的当前正常子块的正常深度特征，使得一致性增强损失包括空间一致性和语义一致性两部分，不仅可以保证深度特征与语义特征对于几何变换具有一致性，还可以表征特征提取层提取的深度特征与编解码层提取的语义特征对于初始检测模型的同一输入图像具有一致性，可以进一步提升异常检测模型的准确性。特别地，若特征提取层是通过预训练得到，则该一致性增强损失由于语义一致性的引入，可以从特征提取层中进行知识蒸馏，进而保持特征提取层在预训练期间学习到的深度特征的强大表征能力，可以提升异常检测模型的性能及检测精度。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练方法，所述基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型，包括：
基于所述对比损失和所述一致性增强损失，采用元学习方法，对所述初始检测模型的结构参数进行更新，得到所述异常检测模型。
具体地，本发明实施例中，在利用对比损失和一致性增强损失，对初始检测模型的结构参数进行交替迭代更新，得到异常检测模型的过程中，可以采用元学习方法实现。元学习方法的实现方式可以包括循环模型、学习优化器、度量学习以及其他元学习的实现方式，此处不作具体限定。
本发明实施例中，由于采用元学习方法，在不同类别的目标样本上训练好的异常检测模型可以不经过任何参数调整，直接应用到其他类别的目标对象上，不需要重新训练，这提高了该异常检测模型的泛用性，提升检测率。
如图2所示，在上述实施例的基础上，本发明实施例中异常检测模型训练方法的完整流程包括：
S21、将异常图像样本的各异常子块输入到预训练的深度神经网络中，得到各异常子块的异常深度特征；此处，深度神经网络作为特征提取层；
S22、将各异常子块的异常深度特征与对应的子块位置编码进行拼接；
S23、将加入位置编码后的异常深度特征依次输入Transformer编码器和Transformer解码器中，得到每个异常子块的异常语义特征；此处，Transformer编码器和Transformer解码器共同构成的Transformer网络作为编解码层；
S24、将正常图像样本和其增强后的增强图像样本分别分块后，顺次通过特征提取层和编解码层，通过对比损失和一致性增强损失交替训练得到异常检测模型。
如图3所示，步骤S24具体包括：
S241，将正常图像样本和其增强后的增强图像样本分别分块后，顺次通过特征提取层和编解码层得到正常语义特征和增强语义特征；
S242，使用对比损失，拉近语义相似度较高的异常子块与正常子块之间的距离，并增加语义相似度较低的异常子块与正常子块之间的距离；
S243，使用一致性增强损失，学习正常图像样本的一致性增强特征，空间一致性使正常图像样本的正常语义特征与增强图像样本的增强语义特征对于图像增强操作具有一致性，即经过增强操作后的图像提取出的语义特征经过增强操作的逆变换后与原图像的语义特征一致，如图4所示；语义一致性使得编解码层输出的正常语义特征与特征提取层输出的正常深度特征具有一致性，如图5所示。
S244，利用对比损失和一致性增强损失交替训练得到异常检测模型。
综上所述，本发明实施例提供的异常检测模型训练方法，采用工业大模型技术将正常图像样本与异常图像样本分割得到的子块进行对比，利用对比损失与一致性增强损失以适应目标数据集特征、聚合图像局部与全局特征、并增强图像在不同位置、角度下的特征一致性，从而提高异常检测模型性能，并且采用元学习方式提高异常检测模型泛用性。
如图6所示，在上述实施例的基础上，本发明实施例中还提供了一种异常检测方法，该方法包括：
S61，获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
S62，将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
S63，基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
S64，基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型进行交替迭代训练得到。
具体地，本发明实施例中提供的异常检测方法，其执行主体为目标对象异常检测装置，该装置可以配置于第二计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。可以理解的是，第一计算机与第二计算机可以相同也可以不同，视实际情况而定。
首先，执行步骤S61，获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块。目标对象是指需要检测其是否具有表面缺陷、表面附着物等可见异常的对象。该目标对象可以是桌面、电子产品、机械设备等，此处不作具体限定。该目标对象可以与目标样本的类别相同。在异常检测模型采用元学习方法训练得到的情况下，目标对象与目标样本的类别也可以不同。
待检测图像是指无法确定目标对象是否存在可见异常的情况下拍摄的表面图像，通过对待检测图像进行分块可以得到待检测子块，该待检测子块的数量可以为多个。正常图像是指目标对象不存在可见异常的情况下拍摄的表面图像，通过对正常图像进行分块可以得到参考子块。该参考子块的数量也可以为多个，参考子块与待检测子块可以一一对应。
然后执行步骤S62，将待检测子块和参考子块分别输入至异常检测模型，利用异常检测模型分别对待检测子块和参考子块依次进行深度特征提取和语义特征提取，最终得到并输出待检测子块的第一语义特征和参考子块的第二语义特征。此处，该异常检测模型可以通过上述各实施例中提供的异常检测模型训练方法训练得到，即借助于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型进行交替迭代训练得到。详细步骤参见上述各实施例，此处不再赘述。
此后执行步骤S63，利用第一语义特征和第二语义特征之间的语义特征相似度，确定出与待检测子块最相似的参考子块。此处，每个待检测子块均具有一个最相似的参考子块。该最相似的参考子块可以是与待检测子块的第一语义特征的语义特征相似度最大的参考子块。
最后执行步骤S64，利用待检测子块与最相似的参考子块之间的距离，判断目标对象是否存在异常，并确定存在异常时的异常区域。此处，距离越大，说明该待检测子块存在异常的风险越高。因此可以引入距离阈值，若某一待检测子块与最相似的参考子块之间的距离超过距离阈值，则确定目标对象存在异常，并确定存在异常时的异常区域为该待检测子块所处的区域。
本发明实施例中提供的异常检测方法，首先获取目标对象的待检测图像的待检测子块和目标对象的正常图像的参考子块；然后将待检测子块和参考子块分别输入至异常检测模型，得到异常检测模型输出的待检测子块的第一语义特征和参考子块的第二语义特征；此后基于第一语义特征和第二语义特征之间的语义特征相似度，确定与待检测子块最相似的参考子块；最后基于待检测子块与最相似的参考子块之间的距离，判断目标对象是否存在异常，并确定存在异常时的异常区域。该方法利用异常检测模型提取语义特征，不仅可以使得到语义特征精度更高，更能表达图像内容，还可以提高检测效率。而且，该方法通过第一语义特征和第二语义特征之间的语义特征相似度，可以准确确定出最相似的参考子块，进而提高判断结果以及异常区域的准确性。
在上述实施例的基础上，本发明实施例中提供的异常检测方法，所述基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块，包括：
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，建立二分图；
对所述二分图进行最小代价二分匹配，确定所述待检测子块匹配的最相似的参考子块。
具体地，本发明实施例中，在确定与待检测子块最相似的参考子块时，可以引入二分匹配方法，利用第一语义特征和第二语义特征之间的语义特征相似度，对待检测子块与参考子块进行二分匹配，进而确定出与待检测子块匹配的最相似的参考子块。此处，语义特征相似度可以是余弦相似度。
二分匹配时，先利用第一语义特征和第二语义特征之间的语义特征相似度，建立二分图。该二分图中各顶点即为待检测子块和参考子块，任意两个顶点之间的连线赋值为待检测子块的第一语义特征与参考子块的第二语义特征之间的语义特征相似度。
此后，对二分图进行最小代价二分匹配，即可确定待检测子块匹配的最相似的参考子块。最小代价二分匹配可以是在二分匹配过程中，将为各连线赋值的语义特征相似度之和的最大值作为二分匹配的最小代价。
进而，为更直观地确定出异常区域，还可以利用待检测子块与最相似的参考子块之间的距离，计算待检测图像的异常分数图，该异常分数图中显示待检测图像中每个待检测子块的异常分数，该异常分数即每个待检测子块与最相似的参考子块之间的距离。此后，将异常分数图中的最大异常分数作为待检测图像的全局异常分数，并根据全局异常分数判断待检测图像中是否含有异常，根据异常分数图定位异常所处的区域。
本发明实施例中，采用二分匹配方法，可以为每个图像块匹配到其语义上最接近的图像块以进行特征对比，从而提高检测结果的准确性及精度。
在上述实施例的基础上，如图7所示，该异常检测方法的整体流程包括：
获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
将待检测子块和参考子块分别输入至异常检测模型，由其中的特征提取层分别得到待检测子块的深度特征和参考子块的深度特征；由其中的拼接层将待检测子块的深度特征和参考子块的深度特征分别与对应的子块位置编码进行拼接，分别得到第四拼接结果和第五拼接结果；由Transformer编码器和Transformer解码器构成的编解码层分别得到待检测子块的第一语义特征和参考子块的第二语义特征；
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，对待检测图像与正常图像进行二分匹配，确定待检测子块匹配的最相似的参考子块；
利用待检测子块与最相似的参考子块之间的距离，计算待检测图像的异常分数图，并根据异常分数图定位异常所处的区域。
如图8所示，在上述实施例的基础上，本发明实施例中提供了一种异常检测模型训练装置，包括：
第一获取模块81，用于获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
第一特征提取模块82，用于基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
损失计算模块83，用于基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常深度特征、所述正常语义特征和所述增强语义特征，计算一致性增强损失；
模型训练模块84，用于基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练装置，所述第一特征提取模块，具体用于：
将所述异常子块、所述正常子块和所述增强子块分别输入至所述初始检测模型的特征提取层，得到所述特征提取层输出的所述异常子块的异常深度特征、所述正常子块的正常深度特征和所述增强子块的增强深度特征；
将所述异常深度特征、所述正常深度特征和所述增强深度特征与对应的子块位置编码分别输入至所述初始检测模型的拼接层，得到所述拼接层输出的所述异常图像样本的第一拼接结果、所述正常图像样本的第二拼接结果和所述增强图像样本的第三拼接结果；
将所述第一拼接结果、所述第二拼接结果和所述第三拼接结果分别输入至所述初始检测模型的编解码层，得到所述编解码层输出的所述异常语义特征、所述正常语义特征和所述增强语义特征。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练装置，所述特征提取层经过预训练得到。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练装置，所述异常子块和所述正常子块均包括多个，且各异常子块和各正常子块均一一对应；
相应地，所述损失计算模块，具体用于：
遍历所述各异常子块中的每个异常子块，基于当前异常子块的异常语义特征与所述各正常子块的正常语义特征之间的语义特征相似度，确定所述各正常子块中与所述当前异常子块的语义特征相似度最高的第一目标正常子块以及与所述当前异常子块的语义特征相似度最低的第二目标正常子块，并基于所述当前异常子块与所述第一目标正常子块之间的第一距离，和所述当前异常子块与所述第二目标正常子块之间的第二距离，计算所述当前异常子块对应的子块对比损失；
基于所述各异常子块对应的子块对比损失，计算所述对比损失。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练装置，所述正常子块和所述增强子块均包括多个，且各正常子块和各增强子块均一一对应；
相应地，所述损失计算模块，还具体用于：
遍历所述各正常子块中的每个正常子块，基于当前正常子块的正常深度特征、所述当前正常子块的正常语义特征和所述当前正常子块对应的增强子块的增强语义特征，计算所述当前正常子块对应的子块一致性损失；
基于所述各正常子块对应的子块一致性损失，计算所述一致性增强损失。
在上述实施例的基础上，本发明实施例中提供的异常检测模型训练装置，所述模型训练模块，具体用于：
基于所述对比损失和所述一致性增强损失，采用元学习方法，对所述初始检测模型的结构参数进行更新，得到所述异常检测模型。
具体地，本发明实施例中提供的异常检测模型训练装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
如图9所示，在上述实施例的基础上，本发明实施例中提供了一种异常检测装置，包括：
第二获取模块91，用于获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
第二特征提取模块92，用于将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
最相似子块确定模块93，用于基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
异常检测模块94，用于基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型的结构参数进行交替迭代更新得到。
在上述实施例的基础上，本发明实施例中提供的异常检测装置，所述最相似子块确定模块，具体用于：
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，建立二分图；
对所述二分图进行最小代价二分匹配，确定所述待检测子块匹配的最相似的参考子块。
具体地，本发明实施例中提供的异常检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器（Processor）110、通信接口（Communications Interface）120、存储器（Memory）130和通信总线140，其中，处理器110，通信接口120，存储器130通过通信总线140完成相互间的通信。处理器110可以调用存储器130中的逻辑指令，以执行上述各实施例中提供的异常检测模型训练方法或异常检测方法。
此外，上述的存储器130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的异常检测模型训练方法或异常检测方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的异常检测模型训练方法或异常检测方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种异常检测模型训练方法，其特征在于，包括：
获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常语义特征和所述增强语义特征，计算一致性增强损失；
基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
2.根据权利要求1所述的异常检测模型训练方法，其特征在于，所述基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征，包括：
将所述异常子块、所述正常子块和所述增强子块分别输入至所述初始检测模型的特征提取层，得到所述特征提取层输出的所述异常子块的异常深度特征、所述正常子块的正常深度特征和所述增强子块的增强深度特征；
将所述异常深度特征、所述正常深度特征和所述增强深度特征与对应的子块位置编码分别输入至所述初始检测模型的拼接层，得到所述拼接层输出的所述异常图像样本的第一拼接结果、所述正常图像样本的第二拼接结果和所述增强图像样本的第三拼接结果；
将所述第一拼接结果、所述第二拼接结果和所述第三拼接结果分别输入至所述初始检测模型的编解码层，得到所述编解码层输出的所述异常语义特征、所述正常语义特征和所述增强语义特征。
3.根据权利要求2所述的异常检测模型训练方法，其特征在于，所述特征提取层经过预训练得到。
4.根据权利要求1所述的异常检测模型训练方法，其特征在于，所述异常子块和所述正常子块均包括多个，且各异常子块和各正常子块均一一对应；
相应地，所述基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，包括：
遍历所述各异常子块中的每个异常子块，基于当前异常子块的异常语义特征与所述各正常子块的正常语义特征之间的语义特征相似度，确定所述各正常子块中与所述当前异常子块的语义特征相似度最高的第一目标正常子块以及与所述当前异常子块的语义特征相似度最低的第二目标正常子块，并基于所述当前异常子块与所述第一目标正常子块之间的第一距离，和所述当前异常子块与所述第二目标正常子块之间的第二距离，计算所述当前异常子块对应的子块对比损失；
基于所述各异常子块对应的子块对比损失，计算所述对比损失。
5.根据权利要求1所述的异常检测模型训练方法，其特征在于，所述正常子块和所述增强子块均包括多个，且各正常子块和各增强子块均一一对应；
相应地，所述基于所述正常语义特征和所述增强语义特征，计算一致性增强损失，包括：
遍历所述各正常子块中的每个正常子块，基于当前正常子块的正常深度特征、所述当前正常子块的正常语义特征和所述当前正常子块对应的增强子块的增强语义特征，计算所述当前正常子块对应的子块一致性损失；
基于所述各正常子块对应的子块一致性损失，计算所述一致性增强损失。
6.根据权利要求1-5中任一项所述的异常检测模型训练方法，其特征在于，所述基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型，包括：
基于所述对比损失和所述一致性增强损失，采用元学习方法，对所述初始检测模型的结构参数进行更新，得到所述异常检测模型。
7.一种异常检测方法，其特征在于，包括：
获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型进行交替迭代训练得到。
8.根据权利要求7所述的异常检测方法，其特征在于，所述基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块，包括：
基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，建立二分图；
对所述二分图进行最小代价二分匹配，确定所述待检测子块匹配的最相似的参考子块。
9.一种异常检测模型训练装置，其特征在于，包括：
第一获取模块，用于获取目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块；
第一特征提取模块，用于基于初始检测模型，分别对所述异常子块、所述正常子块和所述增强子块依次进行深度特征提取和语义特征提取，得到异常语义特征、正常深度特征、正常语义特征和增强语义特征；
损失计算模块，用于基于所述异常语义特征与所述正常语义特征之间的语义特征相似度，计算对比损失，并基于所述正常深度特征、所述正常语义特征和所述增强语义特征，计算一致性增强损失；
模型训练模块，用于基于所述对比损失和所述一致性增强损失，对所述初始检测模型进行交替迭代训练，得到异常检测模型。
10.一种异常检测装置，其特征在于，包括：
第二获取模块，用于获取目标对象的待检测图像的待检测子块和所述目标对象的正常图像的参考子块；
第二特征提取模块，用于将所述待检测子块和所述参考子块分别输入至异常检测模型，得到所述异常检测模型输出的所述待检测子块的第一语义特征和所述参考子块的第二语义特征；
最相似子块确定模块，用于基于所述第一语义特征和所述第二语义特征之间的语义特征相似度，确定与所述待检测子块最相似的参考子块；
异常检测模块，用于基于所述待检测子块与最相似的参考子块之间的距离，判断所述目标对象是否存在异常，并确定存在异常时的异常区域；
其中，所述异常检测模型基于目标样本的异常图像样本的异常子块、正常图像样本的正常子块和所述正常图像样本对应的增强图像样本的增强子块，采用对比损失和一致性增强损失，对初始检测模型的结构参数进行交替迭代更新得到。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的异常检测模型训练方法，或如权利要求7-8中任一项所述的异常检测方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的异常检测模型训练方法，或如权利要求7-8中任一项所述的异常检测方法。
CN202310666476.8A 2023-06-07 2023-06-07 异常检测模型训练方法、异常检测方法、装置及电子设备 Active CN116403077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310666476.8A CN116403077B (zh) 2023-06-07 2023-06-07 异常检测模型训练方法、异常检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310666476.8A CN116403077B (zh) 2023-06-07 2023-06-07 异常检测模型训练方法、异常检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116403077A true CN116403077A (zh) 2023-07-07
CN116403077B CN116403077B (zh) 2023-08-15

Family

ID=87014563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310666476.8A Active CN116403077B (zh) 2023-06-07 2023-06-07 异常检测模型训练方法、异常检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116403077B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860429A (zh) * 2020-07-30 2020-10-30 科大讯飞股份有限公司 高炉风口异常检测方法、装置、电子设备和存储介质
CN111860674A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
CN113688889A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN114330572A (zh) * 2021-12-31 2022-04-12 哈尔滨工业大学（深圳） 基于对比学习的异常检测方法、系统及计算机存储介质
WO2022250808A1 (en) * 2021-05-28 2022-12-01 Zebra Technologies Corporation Image-based anomaly detection based on a machine learning analysis of an object
CN115984219A (zh) * 2022-12-30 2023-04-18 山东科讯信息科技有限公司 产品表面缺陷检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860674A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质
CN111860429A (zh) * 2020-07-30 2020-10-30 科大讯飞股份有限公司 高炉风口异常检测方法、装置、电子设备和存储介质
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
WO2022250808A1 (en) * 2021-05-28 2022-12-01 Zebra Technologies Corporation Image-based anomaly detection based on a machine learning analysis of an object
CN113688889A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN114330572A (zh) * 2021-12-31 2022-04-12 哈尔滨工业大学（深圳） 基于对比学习的异常检测方法、系统及计算机存储介质
CN115984219A (zh) * 2022-12-30 2023-04-18 山东科讯信息科技有限公司 产品表面缺陷检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116403077B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN108345827B (zh) 识别文档方向的方法、系统和神经网络
CN113902926A (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
US20220318623A1 (en) Transformation of data samples to normal data
CN113095333B (zh) 无监督特征点检测方法及装置
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
Goh et al. A hybrid evolutionary algorithm for feature and ensemble selection in image tampering detection
US11809519B2 (en) Semantic input sampling for explanation (SISE) of convolutional neural networks
WO2010043954A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN113065525A (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN117152554A (zh) 基于ViT模型的病理切片数据识别方法及系统
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN114140831A (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN111368602A (zh) 人脸图像模糊程度评价方法、装置、可读存储介质及设备
CN113762151A (zh) 一种故障数据处理方法、系统及故障预测方法
CN116403077B (zh) 异常检测模型训练方法、异常检测方法、装置及电子设备
CN117372617A (zh) 一种基于GCN-Transformer模型的点云数据重建方法及电子设备
CN117274212A (zh) 一种桥梁水下结构裂缝检测方法
CN116543259A (zh) 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质
CN115511262A (zh) 变压器质量检测方法及装置
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN115170599A (zh) 通过图神经网络的链路预测进行血管分割的方法和装置
CN113033397A (zh) 目标跟踪方法、装置、设备、介质及程序产品
CN113869337A (zh) 图像识别模型的训练方法及装置、图像识别方法及装置
CN111798376A (zh) 图像识别方法、装置、电子设备及存储介质
Savitha et al. Deep learning-based face hallucination: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant