CN113688889A - 异常检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

异常检测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113688889A
CN113688889A CN202110932191.5A CN202110932191A CN113688889A CN 113688889 A CN113688889 A CN 113688889A CN 202110932191 A CN202110932191 A CN 202110932191A CN 113688889 A CN113688889 A CN 113688889A
Authority
CN
China
Prior art keywords
image
abnormal
sample
detection
detection network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110932191.5A
Other languages
English (en)
Inventor
杨凯
尤志远
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202110932191.5A priority Critical patent/CN113688889A/zh
Publication of CN113688889A publication Critical patent/CN113688889A/zh
Priority to PCT/CN2022/071448 priority patent/WO2023015843A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种异常检测方法、装置、电子设备及计算机可读存储介质。该方法包括：采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。通过本公开，能够提高异常检测的准确性与灵活性。

Description

异常检测方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及机器视觉技术，尤其涉及一种异常检测方法、装置、电子设备及计算机可读存储介质。
背景技术
近年来，深度学习算法在各个领域都取得了巨大的进展，也在很多工业视觉检测领域取得了落地。相关技术通过深度学习算法训练得到异常检测模型用于异常图像的检测。深度学习算法往往需要大量的、高质量的训练样本，然而，目前基于正常样本学习方式与基于异常样本学习方式所适用的模型结构以及学习策略不同，因此目前的深度学习方法对于不同类型的训练样本的兼容能力较差，导致所能使用的训练样本较为单一，这样不仅降低了异常检测的灵活性，也降低了异常检测的准确性。
发明内容
本公开实施例提供一种异常检测方法、装置、电子设备及计算机可读存储介质，能够提高异常检测的准确性与灵活性。
本公开实施例的技术方案是这样实现的：
本公开实施例提供一种异常检测方法，包括：采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。
上述方法中，所述采用第一正样本集对初始检测网络进行训练，得到检测网络，包括：采用所述初始检测网络对所述第一样本集中的正样本进行检测，得到所述正样本对应的第一特征差异序列；根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的训练损失；基于所述训练损失，对所述初始检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本。
上述方法中，所述基于检测出的正常图像集和异常图像集，得到第二样本集，包括：从检测出的所述正常图像集和所述异常图像集中，确定待核验图像；对所述待核验图像进行核验，得到所述第二样本集。
上述方法中，所述待核验图像中包括：至少一张异常图像和至少一张正常图像；所述对所述待核验图像进行核验，得到所述第二样本集，包括：对所述至少一张异常图像和所述至少一张正常图像分别进行核验，得到各自的核验结果；将所述核验结果表征正确的异常图像作为所述负样本，并将所述核验结果表征正确的正常图像作为所述正样本；对所述核验结果表征错误的异常图像，以及所述核验结果表征错误的正常图像进行正确标注，得到所述正样本和所述负样本；将所述负样本和所述正样本的集合，确定为所述第二样本集。
上述方法中，所述采用第一样本集对初始检测网络进行训练，得到检测网络之后，所述方法还包括：采用所述检测网络对每张待检测图像进行异常检测，得到所述每张待检测图像的每个像素位置上的异常评分；基于所述异常评分，绘制所述每张待检测图像对应的异常检测图像；根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集。
上述方法中，所述根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集，包括：在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为异常图像的情况下，将所述每张待检测图像作为异常图像，在遍历所述多张待检测图像后，得到包含至少一张异常图像的所述异常图像集；在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为正常图像的情况下，将所述每张待检测图像作为正常图像，在遍历所述多张待检测图像后，得到包含至少一张正常图像的所述正常图像集。
上述方法中，所述从检测出的所述正常图像集和所述异常图像集中，确定待核验图像，包括：从所述异常图像集中的每个异常图像中，确定每个像素位置上的异常评分中最大的第一最大异常评分；从所述正常图像集中的每个正常图像中，确定每个像素位置上的异常评分中最大的第二最大异常评分；在所述第一最大异常评分属于预设异常阈值的第一预设数值范围的情况下，确定所述第一最大异常评分对应的异常图像属于所述待核验图像；在所述第二最大异常评分属于所述预设异常阈值的第二预设数值范围的情况下，确定所述第二最大异常评分对应的正常图像属于所述待核验图像。
上述方法中，所述从检测出的所述正常图像集和所述异常图像集中，确定待核验图像，包括：将所述正常图像集和所述异常图像集中的全部图像，确定为所述待核验图像。
上述方法中，所述采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络，包括：在采用所述第二样本集中的正样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述正样本对应的第一特征差异序列，并根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的第一训练损失；在采用所述第二样本集中的负样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述负样本对应的第二特征差异序列，并根据所述第二特征差异序列、预设的负样本的真实值和异常损失函数，确定出所述负样本对应的第二训练损失；基于所述第一训练损失和所述第二训练损失，分别对所述检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述更新后的检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本；所述异常损失函数表征所述负样本中的异常部分对应的重构特征序列推离所述异常部分，以及所述负样本中的正常部分对应的重构特征序列拉近所述正常部分。
上述方法中，所述更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络；在所述采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络之后，所述方法还包括：采用所述更新后的特征提取网络，对目标图像进行不同尺度的特征处理，得到多尺度特征序列；采用所述更新后的重构网络，对所述多尺度特征序列和预设的问询词序列进行重构，得到重构特征序列；根据所述重构特征序列与所述多尺度特征序列，确定所述目标图像的每个像素位置上的特征差异；基于所述特征差异，确定所述每个像素位置上的异常评分，并基于所述异常评分，绘制所述目标图像对应的异常检测图像。
本公开实施例提供一种异常检测装置，包括：第一训练单元，用于采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；获取单元，用于在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；第二训练单元，用于采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。
上述装置中，所述第一训练单元，还用于采用所述初始检测网络对所述第一样本集中的正样本进行检测，得到所述正样本对应的第一特征差异序列；根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的训练损失；基于所述训练损失，对所述初始检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本。
上述装置中，所述获取单元，还用于从检测出的所述正常图像集和所述异常图像集中，确定待核验图像；对所述待核验图像进行核验，得到所述第二样本集。
上述装置中，所述待核验图像中包括：至少一张异常图像和至少一张正常图像；所述获取单元，还用于对所述至少一张异常图像和所述至少一张正常图像分别进行核验，得到各自的核验结果；将所述核验结果表征正确的异常图像作为所述负样本，并将所述核验结果表征正确的正常图像作为所述正样本；对所述核验结果表征错误的异常图像，以及所述核验结果表征错误的正常图像进行正确标注，得到所述正样本和所述负样本；将所述负样本和所述正样本的集合，确定为所述第二样本集。
上述装置中，所述异常检测装置还包括：检测单元；所述检测单元，还用于采用第一样本集对初始检测网络进行训练，得到检测网络之后，采用所述检测网络对每张待检测图像进行异常检测，得到所述每张待检测图像的每个像素位置上的异常评分；基于所述异常评分，绘制所述每张待检测图像对应的异常检测图像；所述获取单元，还用于根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集。
上述装置中，所述获取单元，还用于在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为异常图像的情况下，将所述每张待检测图像作为异常图像，在遍历所述多张待检测图像后，得到包含至少一张异常图像的所述异常图像集；在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为正常图像的情况下，将所述每张待检测图像作为正常图像，在遍历所述多张待检测图像后，得到包含至少一张正常图像的所述正常图像集。
上述装置中，所述获取单元，还用于从所述异常图像集中的每个异常图像中，确定每个像素位置上的异常评分中最大的第一最大异常评分；从所述正常图像集中的每个正常图像中，确定每个像素位置上的异常评分中最大的第二最大异常评分；在所述第一最大异常评分属于预设异常阈值的第一预设数值范围的情况下，确定所述第一最大异常评分对应的异常图像属于所述待核验图像；在所述第二最大异常评分属于所述预设异常阈值的第二预设数值范围的情况下，确定所述第二最大异常评分对应的正常图像属于所述待核验图像。
上述装置中，所述获取单元，还用于将所述正常图像集和所述异常图像集中的全部图像，确定为所述待核验图像。
上述装置中，所述第二训练单元，还用于在采用所述第二样本集中的正样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述正样本对应的第一特征差异序列，并根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的第一训练损失；在采用所述第二样本集中的负样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述负样本对应的第二特征差异序列，并根据所述第二特征差异序列、预设的负样本的真实值和异常损失函数，确定出所述负样本对应的第二训练损失；基于所述第一训练损失和所述第二训练损失，分别对所述检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述更新后的检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本；所述异常损失函数表征所述负样本中的异常部分对应的重构特征序列推离所述异常部分，以及所述负样本中的正常部分对应的重构特征序列拉近所述正常部分。
上述装置中，所述更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络；所述检测单元，还用于采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络之后，采用所述更新后的特征提取网络，对目标图像进行不同尺度的特征处理，得到多尺度特征序列；采用所述更新后的重构网络，对所述多尺度特征序列和预设的问询词序列进行重构，得到重构特征序列；根据所述重构特征序列与所述多尺度特征序列，确定所述目标图像的每个像素位置上的特征差异；基于所述特征差异，确定所述每个像素位置上的异常评分，并基于所述异常评分，绘制所述目标图像对应的异常检测图像。
本公开实施例提供一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的异常检测方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述的异常检测方法。
本公开实施例具有以下有益效果：
采用正样本集对初始检测网络进行训练，得到检测网络，在检测网络对多张待检测图像进行异常检测的过程中，基于检测出的正常图像集和异常图像集，得到包含正样本和负样本的增量样本集，其中，负样本为图像中存在异常的异常图像，并采用包含正样本和负样本的增量样本集，对检测网络进行更新训练，得到更新后的检测网络，所以，得到的更新后的检测网络更加适应实际检测场景，更新后的检测网络的检测精度更高，使得后续在使用更新后的检测网络对待检测图像进行异常检测时，得到的检测结果更准确；同时，由于增量样本中包括了正样本和负样本，所以得到的更新后的检测网络可以是采用正样本和负样本的增量样本训练得到的，使得检测网络能够兼容正样本和负样本等不同的情况，提升了异常检测的通用性与灵活性。
附图说明
图1为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图2为本公开实施例提供的示例性地包含3个负样本的负样本集的示意图；
图3为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图4为本公开实施例提供的得到目标图像I的多尺度特征序列的流程示意图；
图5是本公开实施例提供的编码器-解码器结构的重构网络结构示意图；
图6为本公开实施例提供的示例性地得到图像的重构特征的流程示意图；
图7为本公开实施例提供的示例性地对目标图像A进行异常检测后得到的异常检测图像A’的效果示意图；
图8为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图9为本公开实施例提供的通过重构样本特征序列与多尺度样本特征序列之间的样本特征差异序列，得到正样本对应的训练损失的流程示意图；
图10为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图11为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图12为本公开实施例提供的异常检测方法的一个可选的流程示意图；
图13为本公开实施例提供的示例性地得到更新后的重构网络的一个流程示意图；
图14为本公开实施例提供的异常检测装置的结构示意图；
图15为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
本公开实施例提供一种异常检测方法，能够提高异常检测的准确性与灵活性。本公开实施例提供的异常检测方法应用于电子设备。本公开实施例提供的电子设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。
图1是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
S101、采用第一样本集对初始检测网络进行训练，得到检测网络；第一样本集为正样本集。
本公开实施例中的异常检测方法适用于通过图像检测方式发现异常的场景，示例性地，通过对生产线上的产品图像进行异常检测，发现异常产品，如残次品等；或者，对批量图像进行异常检测，发现其中不符合预设整体规范的异常图像等场景，具体的可根据实际情况进行选择，本公开实施例不作限定。
本公开实施例中，正样本集中包含了至少一张正样本。正样本为图像中的每个像素都正常的样本；而图像中存在异常部分的图像称为异常图像，且与正样本相对的是负样本，负样本实际为异常图像。示例性地，图2示出了包含3个负样本的负样本集，其中：负样本2-1为发芽的种子图像、负样本2-2为刷头尖端处刷毛异常的牙刷图像、负样本2-3为存在破损的坚果图像。图2中通过2-10、2-20与2-30分别示出了负样本2-1、负样本2-2与负样本2-3中包含异常(即异常像素)的区域。
本公开实施例中，电子设备可以采用包含至少一张正样本的正样本集，对初始检测网络进行持续训练，直至得到训练好的检测网络。
在一些实施例中，初始检测网络可以由初始特征提取网络和初始重构网络组成，电子设备可以对初始特征提取网络和初始重构网络同时或分别进行持续训练，得到训练好的特征提取网络和训练好的重构网络，并将得到的训练好的特征提取网络和训练好的重构网络，作为得到的检测网络。在另一些实施例中，初始检测网络也可以由预先训练好的特征提取网络和初始重构网络组成，电子设备可以只对初始重构网络进行持续训练，从而得到训练好的重构网络，并将预先训练好的特征提取网络和训练好的重构网络，作为得到的检测网络。
在一些实施例中，电子设备可以将包含多重特征提取层的深度卷积神经网络CNN(Convolutional Neural Network，CNN)网络，如ResNet-34作为特征提取网络。
在一些实施例中，重构网络可以通过编码器-解码器(Transformer)结构的神经网络来实现。其中，Transformer是一种具有全局注意机制的深层神经网络，最早出现在自然语言处理领域。近年来，Transformer以其强大的表示能力逐渐被广泛应用于计算机视觉任务中。目前，异常检测场景中还未涉及Transformer的应用，而本公开实施例可以将Transformer的应用扩展到异常检测场景中，利用Transformer对于输入序列的全局注意力的捕捉，加强重构网络对语义信息的深层次理解，使得重构网络可以在理解图像深层语义特征的前提下实现特征重构。
S102、在检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，第二样本集为包含正样本和负样本的增量样本集；其中，负样本为图像中存在异常的异常图像。
本公开实施例中，待检测图像可以是任何图像，例如，可以是上述的生产线上的产品图像，本公开实施例对此不作限定。在一些实施例中，电子设备可以通过图像采集设备，获取待检测物品的图像作为待检测图像，例如，对产线生产上的产品进行图像采集，得到待检测图像，以通过本公开实施例的方法对待检测图像进行异常检测，从而确定待检测物品是否存在异常；或者，电子设备也可以直接从其他设备处得到待检测图像。电子设备可以一次获取一张待检测图像，也可以一次获取多张待检测图像，本公开实施例对此不作限定。
本公开实施例中，电子设备可以采用由正样本集训练好的检测模型，对多张待检测图像进行异常检测，得到正常图像集和异常图像集，并根据得到的正常图像集和异常图像集，得到由正常图像集和异常图像集组成的增量样本集，其中，正常图像集中包含至少一张正常图像组成，异常图像集中包含至少一张异常图像。
在一些实施例中，电子设备可以将检测得到的所有正常图像作为正常图像集，以及，将检测得到的所有异常图像作为异常图像集。在一些实施例中，电子设备也可以从检测得到的所有正常图像和所有异常图像中，挑选出部分正常图像和异常图像，从而得到正常图像集和异常图像集，本公开实施例对此不作限定。
S103、采用第二样本集，对检测网络进行更新训练，得到更新后的检测网络。
本公开实施例中，电子设备可以采用包含正样本和负样本的增量样本集，对得到的检测网络继续进行更新训练，直到最终得到的损失达到预设损失阈值的情况下，得到训练好的检测网络，并将该训练好的检测网络作为更新后的检测网络。
在一些实施例中，在上述S103之后，还可以执行S104-S107；图3是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
S104、采用更新后的特征提取网络，对目标图像进行不同尺度的特征处理，得到多尺度特征序列；更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络。
本公开实施例中，目标图像可以是任何图像，例如，可以是上述的生产线上的产品图像，本公开实施例对此不作限定。
本公开实施例中，在更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络的情况下，电子设备可以采用更新后的特征提取网络，对目标图像进行不同尺度的特征提取，得到目标图像在多种尺度下的多个不同尺度的特征；并将多个不同尺度的特征进行融合，得到多尺度特征；对多尺度特征进行形状变换，将多维度的特征信息转换为序列形式，得到多尺度特征序列。例如，在采用ResNet-34作为特征提取网络的情况下，电子设备可以采用更新后的ResNet-34，对目标图像进行多重尺度的特征提取，利用ResNet-34的底层特征提取层得到目标图像的表观特征，如颜色，边界划分，对比度，亮度等等，利用ResNet-34的高层提取层输出目标图像的高层次的语义信息；电子设备将目标图像的表观特征与高层次的语义信息作为多个不同尺度的特征，进行特征融合，得到多尺度特征。
示例性地，如图4所示，电子设备通过更新后的CNN网络作为特征提取网络，对目标图像I进行4种尺度的特征提取，得到4个尺度的特征B(I)，其中，
Figure BDA0003211435820000111
B(I)＝f1,f2,f3,f4。这里，
Figure BDA0003211435820000112
i＝1,2,3,4，i表征CNN网络的第i个网络层。从图4中可以看出，不同网络层提取出的尺度特征的特征尺寸不同。电子设备可以先将不同尺寸的特征调整至同一尺寸，如调整至尺寸H×W，然后对调整尺寸后的4个特征进行特征融合，得到多尺度特征，如公式(1)所示：
Figure BDA0003211435820000121
公式(1)中，R代表调整尺寸的操作，C＝∑iCi代表多尺度特征f的特征通道。可以看出，本公开实施例中，由不同特征提取层得到的多个不同尺度的特征具有不同水平的感受野，对目标图像中可能存在的不同程度的异常区域非常敏感，因此，基于多尺度特征进行异常检测更有助于提高异常检测的准确性。
本公开实施例中，电子设备可以对多尺度特征进行形状变换，从而将多尺度特征转化为序列的形式，作为后续重构网络的输入。在一些实施例中，如图4所示，对于维度为H×W×C的多尺度特征f，电子设备可以对每个通道对应的H×W进行维度合并，实现对多尺度特征的形状变换，得到H×W个C维的多尺度特征向量，作为多尺度特征序列。
在一些实施例中，多尺度特征序列可以是包含任意形式词向量的特征词序列，如word2vec序列，GloVe序列，one-hot编码序列等等，具体的根据实际情况进行选择，本公开实施例不作限定。
S105、采用更新后的重构网络，对多尺度特征序列和预设的问询词序列进行重构，得到重构特征序列。
本公开实施例中，电子设备可以以序列到序列(Sequence to Sequence)的转换模型为更新后的重构网络，以序列形式的多尺度特征序列为指导信息，结合指导信息对预设的问询词序列进行重构，得到重构特征序列，进而基于重构特征序列实现异常检测。
在一些实施例中，更新后的重构网络可以通过编码器-解码器(Transformer)结构的神经网络来实现。需要说明的是，更新后的重构网络与采用正样本集训练得到的重构网络的结构相同，但网络参数不同。在一些实施例中，如果直接通过Transformer结构的重构网络对多尺度特征序列fs进行重构，会得到单输入单输出的重构特征序列
Figure BDA0003211435820000122
其中，
Figure BDA0003211435820000123
R表示重构操作。然而这种单输入单输出的方法容易导致重构网络仅能学习到简单的恒等映射，难以从输入的样本中理解到需要学习的任务目标，这样无论输入的是正常样本还是异常样本，模型都只能对将输入的样本进行简单的恒等映射进行输出，无法习得对异常图像的鉴别能力。因此，本公开实施例引入可学习的问询词序列，以问询词序列与多尺度特征序列作为重构网络的双输入来进行特征重构，得到重构特征序列。
在一些实施例中，本公开实施例中通过双输入单输出方法得到的重构特征序列可以表示为
Figure BDA0003211435820000131
其中，q表示预设的问询词序列，预设的问询词序列与多尺度特征序列具有相同的维度。
本公开实施例中，问询词序列是一种可学习得到的向量序列。电子设备可以在重构网络的模型训练的启动阶段，对问询词序列中的向量进行初始化，并在训练重构网络的过程中迭代地对初始问询词序列进行更新，最终得到预设的问询词序列。
本公开实施例中，电子设备基于Transformer结构的重构网络中的编码器部分，对多尺度特征序列进行编码，得到编码序列。电子设备可以以编码序列作为重构网络中的解码器部分的指导信息，用于对编码器的解码过程进行指导，从而基于编码序列，通过解码器对预设的问询词序列进行解码重构，得到重构特征序列。
在一些实施例中，Transformer结构的重构网络可以如图5所示，包含由N个编码模块堆叠得到的编码器，以及由N个解码模块堆叠得到的解码器。其中，N个编码模块中的每个编码模块包含多头自注意力(Multi-head Attention)层、前馈网络(Feed ForwardNetwork，FFN)以及残差与归一化(ADD&Normali ze)层。示例性地，前馈网络可以是全连接神经网络。
示例性地，如图5所示，电子设备将图4中得到的多尺度特征序列输入编码器中，通过三个预设权值矩阵转换为用于注意力计算的Q向量，K向量和V向量，进而通过多头自注意力层，根据Q向量，K向量和V向量计算注意力值，并通过残差与归一化层根据计算得到的注意力值以及原始的Q向量，K向量和V向量进行残差计算与归一化处理，通过前馈网络对处理结果进行线性与非线性变换，再经过一次残差与归一化层，得到多尺度特征序列对应的编码序列，将编码序列输入解码器。进而，在解码器中，通过多头自注意力层与残差与归一化层对预设的问询词序列进行注意力值计算与残差归一化处理，并将编码器输出的编码序列与预设的问询词序列的处理结果进行合并，再次进行注意力值计算，得到合并注意力值，并结合预设的问询词序列的处理结果与合并注意力值进行残差与归一化处理，再通过前馈网络与残差归一化网络，得到重构特征序列。
在一些实施例中，如图5所示，电子设备还可以利用Transformer置换不变的特性，在多头自注意力层的每层中加入位置信息，示例性地，可以是正弦位置信息，以通过位置信息进一步提高重构网络对语义的理解能力。具体的根据实际情况进行选择，本公开实施例不作限定。
这里，电子设备将从图像中提取得到的多尺度特征序列作为指导信息，对可学习的问询词序列进行双输入方式的特征重构，可以使得重构网络结合问询词序列中的语义，在深层语义理解的基础上进行解码重构，从而提高重构特征的准确性，进而提高异常检测的准确性。
上述S104-S105的过程可以采用图6表示，如图6所示，电子设备可以通过更新后的特征提取网络，对目标图像进行不同尺度的特征提取与特征融合，得到多尺度特征；对多尺度特征进行形状变换，得到多尺度特征序列，进而通过更新后的重构网络对多尺度特征序列与初始问询词序列进行重构，得到重构特征序列。进一步的，电子设备可以对序列形式的重构特征序列进行形状变换，得到重构特征。
S106、根据重构特征序列与多尺度特征序列，确定目标图像的每个像素位置上的特征差异。
本公开实施例中，多尺度特征序列表征目标图像中的原始特征，重构特征序列表征基于原始特征进行重构得到的特征，电子设备可以通过对比重构特征序列与多尺度特征序列之间的差异，确定目标图像的特征差异序列。
本公开实施例中，特征差异序列中的每个特征差异可以包含目标图像中对应的像素位置信息以及差异值。电子设备可以通过特征差异，确定目标图像中每个像素位置上的差异值，以特征差异表征重构网络对目标图像每个像素点的重构效果。
在一些实施例中，电子设备可以计算重构特征与多尺度特征之间的特征差异。示例性地，电子设备可通过公式(2)，计算重构特征与多尺度特征之间的特征差异，如下：
Figure BDA0003211435820000151
公式(2)中，f(u,i)为多尺度特征，
Figure BDA0003211435820000152
为重构特征；u为空间位置的索引坐标，示例性地，可以是多尺度特征或重构特征的H×W大小的特征地图中每个位置的坐标。i为特征通道的索引。电子设备可以通过公式(2)，对多尺度特征与重构特征进行对位相减，得到每个位置上的特征差异d(u,i)。
在一些实施例中，电子设备也可以根据多尺度特征序列与重构特征序列进行差异计算，得到特征差异序列。
S107、基于特征差异，确定每个像素位置上的异常评分，并基于异常评分，绘制目标图像对应的异常检测图像。
本公开实施例中，由于重构网络具有对正常图像或正常像素点的重构特征与原始特征相接近，同时对异常图像或异常像素点的重构特征与原始特征相远离的特性，因此电子设备可以基于特征差异所表征的每个像素位置上的重构效果，确定每个像素位置上的异常评分，异常评分用于表征对应像素点是否为异常像素点。电子设备基于异常评分，分别对正常像素点与异常像素点进行区别绘制，得到目标图像对应的异常检测图像。这样，就可以在异常检测图像中自动标记出异常区域。
在一些实施例中，电子设备可以将每个像素位置的异常评分与预设评分区间进行对比，根据异常评分落入的目标评分区间，以及预设评分区间与预设像素值的对应关系，确定每个像素位置对应的目标像素值。电子设备根据每个像素位置对应的目标像素值绘制出异常检测图像。
示例性地，在每个像素位置上的异常评分小于或者等于预设评分阈值的情况下，电子设备将该像素位置对应的像素值绘制为第一值；在每个像素位置上的异常评分大于预设评分阈值的情况下，电子设备将该像素位置对应的像素值绘制为第二值；直至将目标图像的像素位置绘制完成时，得到异常检测图像，例如，对于一目标图像A，电子设备可以得到目标图像A的异常评分，并根据该异常评分，绘制出异常检测图像A’，以采用异常检测图像A’来表征目标图像A是否为正常图像或异常图像。示例性地，图7为本公开实施例提供的示例性地对目标图像A进行异常检测后得到的异常检测图像A’的效果示意图；如图7所示，在目标图像A为牙刷图像的情况下，绘制的异常检测图像为牙刷图像A’，并且，如图像A所示，在刷头尖端处刷毛异常的情况下，绘制出的牙刷图像A’中，刷头尖端处刷毛所在区域7-10的像素颜色(像素值)与其他部分的刷毛所在区域7-20的像素颜色不同，以此表征目标图像A为异常图像。
在一些实施例中，对于上述S101可以通过S1011-S1013实现；图8是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图8示出的步骤进行说明。
S1011、采用初始检测网络对第一样本集中的正样本进行检测，得到正样本对应的第一特征差异序列。
本公开实施例中，对于每张正样本，电子设备可以通过初始检测网络得到该正样本的多尺度特征序列，并根据该多尺度特征序列和预设的问询词序列进行重构，得到该正样本的重构特征序列，并通过对比重构特征序列与多尺度特征序列之间的差异，确定该正样本的特征差异序列，以下称为第一特征差异序列。需要说明的是，初始检测网络与更新后的检测网络的网络结构相同，而网络参数不同，所以，电子设备得到正样本对应的第一特征差异序列的具体过程，与上述S104-S106部分相同，此处不再展开说明。
S1012、根据第一特征差异序列和正常损失函数，确定出正样本对应的训练损失；其中，正常损失函数表征正样本对应的重构特征序列拉近正样本。
本公开实施例中，电子设备在得到第一特征差异序列的情况下，可以采用正常损失函数计算出完全正样本对应的训练损失。
在一些实施例中，正常损失函数可以包括回归损失函数；示例性地，可以是平滑(Smooth)L1损失、MSE损失等等，具体的根据实际情况进行选择，本公开实施例不作限定。示例性的，电子设备可以将平滑L1损失作为正常损失函数来计算正样本对应的训练损失，如公式(3)所示，如下：
Figure BDA0003211435820000171
公式(3)中，
Figure BDA0003211435820000172
代表第一特征差异或第一特征差异序列，Lnor代表正样本对应的训练损失。
在一些实施例中，图9示出了在正样本情况下，通过正样本的第一特征差异序列得到正样本对应的训练损失的情况。
可以理解的是，电子设备可以通过正常损失函数，计算原始特征与重构特征之间的差距，来对初始检测网络针对正样本的重构能力进行评估，从而使得初始检测网络能够支持使用正样本的训练。
S1013、基于训练损失，对初始检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到检测网络。
本公开实施例中，电子设备在得到正样本对应的训练损失的情况下，可以基于正样本对应的训练损失，对初始检测网络进行网络参数的调整，完成当前轮使用正样本的训练过程。电子设备可以继续使用正样本集中的正样本，对初始检测网络进行迭代训练，直至最终得到的损失小于预设损失阈值的情况下，得到检测网络。
本公开实施例中，预设损失阈值可以根据实际需要设定，本公开实施例对此不作限定。
在一些实施例中，初始检测网络可以由预先训练好的特征提取网络和初始重构网络组成；基于此，电子设备可以根据得到的第一特征差异序列和正常损失函数，对初始重构网络进行训练，并在最终得到的损失小于预设损失阈值时，得到重构网络，从而得到由预先训练好的特征提取网络与得到的重构网络所组成的检测网络。
在另一些实施例中，初始检测网络可以由初始特征提取网络和初始重构网络组成，电子设备可以根据初始特征提取网络提取的多尺度特征，与初始特征提取网络对应的损失函数，计算出初始特征提取网络对应的训练损失，同时，根据得到的多尺度特征与重构特征得到第一特征差异序列，并根据第一特征差异序列和初始重构网络对应的正常损失函数，确定出初始重构网络对应的训练损失，并采用初始特征提取网络对应的训练损失，对初始特征提取网络进行调整，以及采用初始重构网络对应的训练损失，对初始重构网络进行训练调整，直至得到初始特征提取网络对应的最终损失小于对应的预设损失阈值，且初始重构网络对应的最终损失小于对应的预设损失阈值的情况下，得到特征提取网络与重构网络，从而得到由特征提取网络与重构网络组成的检测网络。在一些实施例中，电子设备也可以对初始特征提取网络和初始重构网络分别进行训练，训练方法与上述的方法相同，此处不再展开说明。
在一些实施例中，在上述S101之后，还可以执行S201-S203；图10是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图10示出的步骤进行说明。
S201、采用检测网络对每张待检测图像进行异常检测，得到每张待检测图像的每个像素位置上的异常评分。
本公开实施例中，对于每张待检测图像，电子设备可以采用检测网络对该张待检测图像进行不同尺度的特征处理，得到多尺度特征序列，并对得到的多尺度特征序列和预设问询词序列进行重构，得到重构特征序列，并根据重构特征序列与得到的多尺度特征序列，确定出该张待检测图像的每个像素位置上的特征差异，根据该特征差异，确定出该张待检测图像的每个像素位置上的异常评分。
S202、基于异常评分，绘制每张待检测图像对应的异常检测图像。
S203、根据异常检测图像，得到多张待检测图像中的正常图像集和异常图像集。
本公开实施例中，对于每张待检测图像，电子设备可以根据该张待检测图像的每个像素位置上的异常评分，以及预设评分阈值，绘制与该张待检测图像对应的异常检测图像，并根据对应的异常检测图像确定该张待检测图像是否为异常图像或正常图像；通过此方式，电子设备可以将多张检测过的待检测图像划分为正常图像集和异常图像集，从而得到包含至少一张正常图像的正常图像集，以及包含至少一张异常图像的异常图像集。
在本公开的一些实施例中，电子设备可以在每张待检测图像对应的异常检测图像表征，该张待检测图像为异常图像的情况下，将该张待检测图像作为异常图像，并在遍历多张待检测图像后，得到包含至少一张异常图像的异常图像集；以及，在每张待检测图像对应的异常检测图像表征，该张待检测图像为正常图像的情况下，将该张待检测图像作为正常图像，并在遍历多张待检测图像后，得到包含至少一张正常图像的正常图像集；通过此方式可以得到异常图像集和正常图像集。
在本公开的一些实施例中，电子设备可以在已检测过的待检测图像的数量达到预设数量的情况下，停止对待检测图像的检测，并根据已检测过的多张待检测图像中每张待检测图像所对应的异常检测图像，将多张待检测图像划分为正常图像集和异常图像集；如此，可以获得足够数量的正常图像和异常图像，有利于后续得到检测精度更高的更新后的检测网络。在本公开的一些实施例中，电子设备还可以在得到的异常图像集中的异常图像的数量达到预设数量的情况下，或者，在得到的正常图像集中的正常图像的数量达到预设数量的情况下，停止对待检测图像的检测，并根据已检测过的多张待检测图像中每张待检测图像所对应的异常检测图像，将多张待检测图像划分为正常图像集和异常图像集；如此，可以获得足够数量的异常图像和正常图像，有利于后续得到检测精度更高的更新后的检测网络。
在本公开的一些实施例中，电子设备还可以在得到的异常图像集中，对应的第一最大异常评分属于预设异常阈值的第一预设数值范围内的异常图像(以下称为异常可疑图像)的数量达到预设数量的情况下(每个异常图像对应的第一最大异常评分为：该异常图像中所有像素的异常评分中最大的异常评分)，或者，在得到的正常图像集中，对应的第二最大异常评分属于预设异常阈值的第二预设数值范围内的正常图像(以下称为正常可疑图像)的数量达到预设数量的情况下(每个正常图像对应的第二最大异常评分为：该正常图像中所有像素的异常评分中最大的异常评分)，停止对待检测图像的检测，并根据已检测过的多张待检测图像中每张待检测图像所对应的异常检测图像，将多张待检测图像划分为正常图像集和异常图像集；如此，可以得到足够数量的正常可疑图像或异常可疑图像，有利于后续得到检测精度更高的更新后的检测网络。需要说明的是，预设异常阈值的第一预设数值范围和预设异常阈值的第二预设数值范围，均是由接近预设异常阈值的数值组成的范围，可以根据实际需要设定。本公开的一些实施例中，异常图像对应的第一最大异常评分通常低于预设异常阈值，正常图像对应的第二最大异常评分通常高于预设异常阈值，例如，在预设异常阈值为5的情况下，第一预设数值范围可以为[4.5,5)，第二预设数值范围可以为(5,5.5]。
在本公开的一些实施例中，电子设备还可以在得到的异常图像集中，异常可疑图像的数量达到预设数量的情况下；并且，在得到的正常图像集中，正常可疑图像的数量达到预设数量的情况下，停止对待检测图像的检测，并根据已检测过的多张待检测图像中每张待检测图像所对应的异常检测图像，将多张待检测图像划分为正常图像集和异常图像集；如此，可以得到足够数量的正常可疑图像与异常可疑图像，有利于后续得到检测精度更高的更新后的检测网络。
在一些实施例中，对于上述S102中的基于检测出的正常图像集和异常图像集，得到第二样本集，可以通过S1021-S1022实现。
S1021、从检测出的正常图像集和异常图像集中，确定待核验图像。
S1022、对待核验图像进行核验，得到第二样本集。
本公开实施例中，电子设备可以根据得到的正常图像集和异常图像集中包含的所有正常图像和异常图像，确定出待核验图像进行核验，并根据核验结果得到由正样本和负样本组成的第二样本集。
本公开实施例中，电子设备可以对待核验图像进行自动核验，或者，也可以根据接收到的用户的核验操作，对待核验图像进行核验，本公开实施例对此不作限定。
在一些实施例中，电子设备可以将正常图像集和异常图像集中包含的所有正常图像和异常图像，均作为待核验图像进行核验。
在一些实施例中，电子设备也可以从正常图像集和异常图像集中选出部分正常图像和部分异常图像，作为待核验图像进行核验。示例性地，上述S1022可以采用S301-S304实现：
S301、从异常图像集中的每个异常图像中，确定每个像素位置上的异常评分中最大的第一最大异常评分。
电子设备在得到异常图像集的情况下，对于异常图像集中的每一张异常图像，可以从该张异常图像中所有像素的异常评分中，确定出一个最大的异常评分作为第一最大异常评分。
S302、从正常图像集中的每个正常图像中，确定每个像素位置上的异常评分中最大的第二最大异常评分。
电子设备在得到正常图像集的情况下，对于正常图像集中的每一张正常图像，可以从该张正常图像中所有像素的异常评分中，确定出一个最大的异常评分作为第二最大异常评分。
S303、在第一最大异常评分属于预设异常阈值的第一预设数值范围的情况下，确定第一最大异常评分对应的异常图像属于待核验图像。
对于一张异常图像，电子设备在选出第一最大异常评分的情况下，可以确定选出的第一最大异常评分是否在预设异常阈值的第一预设数值范围内，并在选出的第一最大异常评分在预设异常阈值的第一预设数值范围内的情况下，将该张异常图像作为待核验图像。
本公开的一些实施例中，预设异常阈值的第一预设数值范围是由接近预设异常阈值的数值组成的范围，可以根据实际需要设定，本公开实施例对此不作限定。本公开的一些实施例中，异常图像对应的第一最大异常评分通常低于预设异常阈值，例如，在预设异常阈值为5的情况下，第一预设数值范围可以为[4.5,5)；则在从一张异常图像B的所有像素的异常评分中，确定出的第一最大异常评分为4.5的情况下，说明异常图像B对应的第一最大异常评分属于第一预设数值范围[4.5,5)，则可将异常图像B作为待核验图像。
S304、在第二最大异常评分属于预设异常阈值的第二预设数值范围的情况下，确定第二最大异常评分对应的正常图像属于待核验图像。
电子设备在得到正常图像集合的情况下，对于正常图像集合中的每一张正常图像，可以从该张正常图像中所有像素的异常评分中，确定出一个最大的异常评分作为第二最大异常评分，并确定选出的第二最大异常评分是否在预设异常阈值的第二预设数值范围内，并在选出的第二最大异常评分在预设异常阈值的第二预设数值范围内的情况下，将该张正常图像作为待核验图像。
本公开的一些实施例中，预设异常阈值的第二预设数值范围也是由接近预设异常阈值的数值组成的范围，可以根据实际需要设定。本公开的一些实施例中，正常图像对应的第二最大异常评分通常高于预设异常阈值，例如，在预设异常阈值为5的情况下，第二预设数值范围可以为(5,5.5]；则在从一张正常图像C的所有像素的异常评分中，确定出的第二最大异常评分为5.1的情况下，说明正常图像C对应的第二最大异常评分属于第二预设数值范围(5,5.5]，则可将正常图像C作为待核验图像。
在一些实施例中，上述S1022可以通过S401-S404实现；图11是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图11示出的步骤进行说明。
S401、对至少一张异常图像和至少一张正常图像分别进行核验，得到各自的核验结果；待核验图像中包括：至少一张异常图像和至少一张正常图像。
本公开实施例中，电子设备可以对异常图像集和正常图像集中的每张图像进行核验，以确定该张图像的异常检测结果是否正确，并得到该张图像的核验结果，且该核验结果表征该张图像的检测结果正确或错误。
S402、将核验结果表征正确的异常图像作为负样本，并将核验结果表征正确的正常图像作为正样本。
本公开实施例中，对于核验结果正确的异常图像，电子设备为该异常图像设置表征该异常图像为负样本的标注信息，得到负样本；对于核验结果正确的正常图像，电子设备为该正常图像设置表征该正常图像为正样本的标注信息，得到正样本，以用于后续对检测网络进行更新训练。
S403、对核验结果表征错误的异常图像，以及核验结果表征错误的正常图像进行正确标注，得到正样本和负样本。
本公开实施例中，对于核验结果错误的异常图像，电子设备会判断该异常图像是否为异常图像或正常图像，并根据判断结果对该异常图像进行正确的标注信息的标注；以及，对于核验结果错误的正常图像，电子设备会判断该正常图像是否为异常图像或正常图像，并根据判断结果对该正常图像进行正确的标注信息的标注；在对所有核验结果错误的异常图像，以及所有核验结果错误的正常图像均进行正确标注之后，电子设备可以根据正确标注的标注信息，得到正样本和负样本。
S404、将负样本和正样本的集合，确定为第二样本集。
本公开实施例中，电子设备可以将得到的所有负样本和正样本，作为第二样本集，以用于对检测网络进行更新训练。
在一些实施例中，上述S103可以通过S1031-S1033实现；图12是本公开实施例提供的异常检测方法的一个可选的流程示意图，将结合图12示出的步骤进行说明。
S1031、在采用第二样本集中的正样本，对检测网络进行训练的情况下，采用检测网络得到正样本对应的第一特征差异序列，并根据第一特征差异序列和正常损失函数，确定出正样本对应的第一训练损失；正常损失函数表征正样本对应的重构特征序列拉近正样本。
本公开实施例中，电子设备可以在采用第二样本集中的正样本，对检测网络进行训练的情况下，可以通过上述图6中的方法对当前获取的正样本进行特征处理、重构，以及采用上述公式(2)进行特征差异度计算等处理，得到正样本对应的第一特征差异或第一特征差异序列，进而采用正常损失函数计算出正样本对应的第一训练损失，以用于对检测网络进行网络参数的调整。需要说明的是，S1031的过程与上述S1011-S1012部分的内容相同，此处不再展开说明。
S1032、在采用第二样本集中的负样本，对检测网络进行训练的情况下，采用检测网络得到负样本对应的第二特征差异序列，并根据第二特征差异序列、预设的负样本的真实值和异常损失函数，确定出负样本对应的第二训练损失。
本公开实施例中，电子设备可以在采用第二样本集中的负样本，对检测网络进行训练的情况下，可以从第二样本集中获取负样本，以及，负样本对应的预设的负样本的真实值。示例性地，预设的负样本的真实值可以是像素级标签或图像级标签形式的标注信息，其中，像素级标签可以是针对负样本中每个像素的标注信息，用于标注每个像素为正常像素或异常像素；图像级标签可以是针对整个图像的标注信息，用于标注整个图像中是否存在异常。示例性地，包含部分异常像素的图像所对应的图像级标签可以是表征整张图像异常的标签。
本公开实施中，电子设备通过上述图6中的方法对负样本进行特征处理、重构，以及采用上述公式(2)进行差异度计算等处理，得到负样本对应的第二特征差异或第二特征差异序列；进而，电子设备通过异常损失函数，计算第二特征差异或第二特征差异序列与预设的负样本的真实值之间的差异，得到负样本对应的第二训练损失，以用于对检测网络进行网络参数的调整。
S1033、基于第一训练损失和第二训练损失，分别对检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到更新后的检测网络；其中，异常损失函数表征负样本中的异常部分对应的重构特征序列推离异常部分，以及负样本中的正常部分对应的重构特征序列拉近正常部分。
本公开实施例中，电子设备基于正样本对应的第一训练损失或负样本对应的第二训练损失，对检测网络进行网络参数的调整，完成当前轮使用正样本或负样本的训练过程。之后，电子设备可以继续使用增量样本中的正样本与负样本，对检测网络进行迭代训练，直至满足预设训练条件的情况下，如最终损失小于预设损失阈值的情况下，得到更新后的检测网络。
需要说明的是，本公开实施例中，如上述S1013部分所述，检测网络可以由预先训练好的特征提取网络，以及重构网络组成，电子设备可以只对重构网络进行训练，得到由预先好的训练特征提取网络和更新后的重构网络组成的更新后的检测网络；以及，检测网络也可以由特征提取网络和重构网络组成，电子设备可以通过对特征提取网络和重构网络同时进行训练，或者，对特征提取网络和重构网络分别进行训练，得到由更新后的特征提取网络和更新后的重构网络组成的更新后的检测网络。电子设备采用第二样本集对检测网络进行训练的过程，与上述S1013部分的过程相同，不同之处仅在于所采用的样本不同，以及得到的样本所对应的训练损失不同；本公开实施例对此不作展开说明。
在一些实施例中，对于不同类型的预设的负样本的真实值，如像素级标签或图像级标签，电子设备可以通过不同的异常损失函数来计算负样本对应的第二训练损失。需要说明的是，对于不同类型的预设的负样本的真实值，异常损失函数需要符合的总体特性为：表征负样本中的异常部分对应的重构特征序列推离异常部分，以及负样本中的正常部分对应的重构特征序列拉近正常部分。
在一些实施例中，预设的负样本的真实值包括：像素级的真实值，即像素级标签；异常损失函数包括：像素级损失函数。电子设备基于负样本的第二特征差异序列、预设的负样本的真实值和异常损失函数，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络的过程可以包括：
(1)对负样本的第二特征差异序列进行通道维度的标量化处理，得到每个像素位置上的特征差异度量；这里，在负样本的真实值为预设的像素级的真实值的情况下，以通过第二特征差异序列进行异常损失函数的计算为例，电子设备可以将第二特征差异序列中，表征每个像素位置上的特征差异向量转换为通道维度的标量，使得每个像素位置只对应一个标量的特征差异度量；(2)基于特征差异度量、像素级的真实值和像素级损失函数，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络。
在一些实施例中，像素级损失函数为具有上述“拉近-推离”特性的损失函数，其设计目标可以为：利用像素级损失函数，将负样本中的正常像素点对应位置上的特征差异度量减小，以拉近正常像素点的重构特征与原始特征，如多尺度特征之间的距离；同时，将负样本中的异常像素点对应位置上的特征差异度量增大，即推远异常像素点的重构特征与原始特征之间的距离。
在一些实施例中，像素级损失函数包括：正常像素损失部分和异常像素损失部分。在一个负样本对应的像素级的真实值表征像素点为正常像素点的情况下，电子设备可以基于正常像素损失部分，对正常像素点的特征差异度量进行加权平均，得到正常像素点损失；在一个负样本对应的像素级的真实值表征像素点为异常像素点的情况下，电子设备可以基于异常像素损失部分，对异常像素点的特征差异度量进行加权平均，得到异常像素点损失。其中，正常像素点损失与正常像素点的特征差异度量成正相关，异常像素点损失与异常像素点的特征差异度量成负相关，从而达到拉近正常像素点的重构特征与原始特征之间的距离，以及推远异常像素点的重构特征与原始特征之间的距离的效果。
可以理解的是，电子设备可以通过像素级损失函数，来对检测网络针对像素级标签的负样本的重构能力进行评估，从而使得检测网络对正常像素点的重构特征接近原始特征，对异常像素点的重构特征远离原始特征，从而兼容对于像素级标签的负样本的训练，提高检测网络使用不同类型样本进行训练的灵活性和准确性，进而提高基于检测网络进行异常检测的灵活性与准确性。
在本公开的一些实施例中，电子设备在对每个像素位置上的特征差异向量进行标量化时，是同等地对不同特征通道对应的特征差异向量进行平均化处理的。实际应用中，不同的特征通道对于异常的贡献可能是不同的，因此，电子设备还可以通过分类网络，对每个特征通道对应的特征差异向量进行权重分析，以结合不同的权重进行像素级损失函数的计算，进一步提高准确性。在此种情况，电子设备基于第二特征差异序列、预设的负样本的真实值和异常损失函数，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络的过程可以包括：
(3)采用分类网络，对第二特征差异序列进行像素位置的分类，得到每个像素位置上的样本分类概率；(4)基于每个像素位置上的样本分类概率、像素级的真实值和分类损失函数，得到当前分类损失；(5)基于特征差异度量、像素级的真实值和像素级损失函数，得到第一当前损失；(6)基于当前分类损失和第一当前损失，对检测网络和分类网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的分类网络和更新后的检测网络。
在一些实施例中，对于H×W×C维的第二特征差异d(u,i)，第二特征差异中的每个特征差异向量可以通过C维的d(u)来表示，电子设备可以通过公式(4)，对每个d(u)进行分类，得到每个d(u)属于异常或缺陷的概率，作为对应像素位置u上的样本分类概率，从而得到每个像素位置上的样本分类概率，如下：
p(u)＝C(d(u)) (4)
公式(4)中，p(u)为像素位置u上的样本分类概率。这样，对于每个C维的特征差异向量，电子设备可以利用分类网络，结合C维通道中各个特征通道对应的特征差异进行分类预测，得到每个像素位置上的样本分类概率。
在一些实施例中，分类网络可以是FFN，也可以是其他具有分类功能的网络模型，具体的根据实际情况进行选择，本公开实施例不作限定。
可以理解的是，通过引入分类网络对第二特征差异序列进行分类预测，可以结合每个特征差异向量中各个维度的差异向量得到每个像素位置上的样本分类概率，基于样本分类概率权重进行第一当前损失的计算，从而进一步提高使用第一当前损失对检测网络进行训练的准确性，进而提高使用更新后的检测网络进行异常检测的准确性。
在一些实施例中，预设的负样本的真实值包括：图像级的真实值，即图像级像素标签；异常损失函数包括：图像级损失函数。电子设备基于第二特征差异序列、预设的负样本的真实值和异常损失函数，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络的过程可以包括：
(7)对第二特征差异序列进行通道维度的标量化处理，得到每个像素位置上的特征差异度量；(8)从每个像素位置上的特征差异度量中，确定数值最大的K个最大特征差异度量；K为大于1的正整数；(9)对K个最大特征差异度量进行平均，得到特征平均差异度量；(10)基于特征平均差异度量、图像级的真实值和图像级损失函数，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络。
在一些实施例中，图像级损失函数包括：正常图像损失部分和异常图像损失部分。在一个负样本对应的图像级的真实值表征图像为正常图像的情况下，电子设备基于正常图像损失部分，将特征平均差异度量，确定为正常图像损失；在一个负样本对应的图像级的真实值表征图像为负图像的情况下，电子设备基于异常图像损失部分和特征平均差异度量，得到异常图像损失。其中，正常图像的特征平均差异度量与正常图像损失成正相关，异常图像的特征平均差异度量与异常图像损失成负相关。电子设备基于正常图像损失或异常图像损失，确定第二当前损失；基于第二当前损失和预设损失阈值，对检测网络进行训练调整，直至得到最终损失小于预设损失阈值的更新后的检测网络。
在一些实施例中，图像级损失函数为具有上述“拉近-推离”特性的损失函数，其设计目标可以为：利用图像级损失函数，将正常图像对应的特征平均差异度量减小，以拉近正常图像的重构特征与原始特征之间的距离；同时，将异常图像对应的特征平均差异度量增大，即推远异常图像的重构特征与原始特征之间的距离。
可以理解的是，电子设备可以通过图像级损失函数，来对检测网络针对图像级标签的负样本的重构能力进行评估，从而使得检测网络对正常图像的重构特征接近原始特征，对负样本的重构特征远离原始特征，从而兼容对于图像级标签的负样本的训练，提高更新后的检测网络使用不同类型样本进行训练的灵活性和准确性，进而提高基于更新后的检测网络进行异常检测的灵活性与准确性。
在一些实施例中，在未使用分类网络训练得到检测网络或更新后的检测网络的情况下，电子设备计算每个像素位置上的异常评分的方法可以为：对每个像素位置上的特征差异进行通道平均，得到每个像素位置上的中间异常评分；将中间异常评分作为异常评分。
在一些实施例中，电子设备可以对待检测图像或目标图像中每个像素位置上的特征差异进行通道平均，得到每个像素位置上的中间异常评分，并将中间异常评分作为异常评分，如公式(5)所示，如下：
Figure BDA0003211435820000291
公式(5)中，d'(u,i)为每个像素位置上的特征差异，C为特征差异序列中每个特征差异对应的特征通道数，s(u)为通过对每个像素位置上的特征差异进行通道平均得到的中间异常评分，也即不包含分类网络的检测网络所输出的待检测图像或目标图像中各个像素位置上的异常评分。
在一些实施例中，在使用分类网络训练得到检测网络的情况下，电子设备计算每个像素位置上的异常评分的方法可以为：对每个像素位置上的特征差异进行通道平均，得到每个像素位置上的中间异常评分；采用分类网络，对每个像素位置上的特征差异进行像素位置上的分类，得到分类概率；将分类概率与中间异常评分进行相乘，得到每个像素位置上的异常评分。
在一些实施例中，电子设备将分类概率作为权重，与中间异常评分进行加权，得到每个像素位置上的异常评分。示例性地，如公式(6)所示：
Figure BDA0003211435820000292
本公开实施例中，在采用正样本，得到训练好的检测网络的基础上，还采用包含负样本和正样本的增量样本对训练好的检测网络继续进行训练，直到得到训练好的更新后的检测网络，使得检测网络可以兼容正样本学习和增量的异常样本学习这两种学习方式，从而提高了检测网络的兼容性和灵活性。
图13是本公开实施例提供的得到更新后的检测网络的一个流程示意图，以下将结合图13，通过一个详细的实施例对本公开实施例的技术方案进行说明。
电子设备在冷启动阶段，通过预设的正样本集对初始检测网络进行持续训练，直到得到训练好的检测网络。在部署增量训练阶段，电子设备将生产线上生成的多张待检测图像作为产线数据集，输入在冷启动阶段训练好的检测网络中，并收集检测网络输出的每张待检测图像对应的异常检测图像，将异常检测图像作为收集的检测结果，并根据收集的检测结果确定出对应的待检测图像是否为正常图像或异常图像，从而将已检测的多张待检测图像划分为正常图像集和异常图像集，并将正常图像集作为正常样本，将异常图像集作为异常样本；之后，对正常样本和异常样本均进行核验，并得到核验后的带有标注信息的正常样本和异常样本，并将带有标注信息的正常样本(正样本)和带有标注信息的异常样本(负样本)共同作为增量数据集(增量样本集)，采用增量数据集对冷启动阶段训练好的检测网络继续进行持续训练，直到得到训练好的更新后的检测网络，并采用更新后的检测网络更新冷启动阶段所得到的检测网络，从而采用更新后的检测网络继续对生产线上生成的图像进行检测。
本公开实施例提供的异常检测方法，可以应用于智能人工智能(ArtificialIntelligence，AI)训练平台、异常检测和异常检测在线自动训练提升等方面。
本公开还提供一种检测装置，图14为本公开实施例提供的异常检测装置的结构示意图；如图14所示，异常检测装置500包括：第一训练单元501，用于采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；获取单元502，用于在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；第二训练单元503，用于采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。。
在本公开的一些实施例中，所述第一训练单元501，还用于采用所述初始检测网络对所述第一样本集中的正样本进行检测，得到所述正样本对应的第一特征差异序列；根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的训练损失；基于所述训练损失，对所述初始检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本。
在本公开的一些实施例中，所述获取单元502，还用于从检测出的所述正常图像集和所述异常图像集中，确定待核验图像；对所述待核验图像进行核验，得到所述第二样本集。
在本公开的一些实施例中，所述待核验图像中包括：至少一张异常图像和至少一张正常图像；所述获取单元502，还用于对所述至少一张异常图像和所述至少一张正常图像分别进行核验，得到各自的核验结果；将所述核验结果表征正确的异常图像作为所述负样本，并将所述核验结果表征正确的正常图像作为所述正样本；对所述核验结果表征错误的异常图像，以及所述核验结果表征错误的正常图像进行正确标注，得到所述正样本和所述负样本；将所述负样本和所述正样本的集合，确定为所述第二样本集。
在本公开的一些实施例中，所述异常检测装置500还包括：检测单元；所述检测单元，还用于采用第一样本集对初始检测网络进行训练，得到检测网络之后，采用所述检测网络对每张待检测图像进行异常检测，得到所述每张待检测图像的每个像素位置上的异常评分；基于所述异常评分，绘制所述每张待检测图像对应的异常检测图像；所述获取单元502，还用于根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集。
在本公开的一些实施例中，所述获取单元502，还用于在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为异常图像的情况下，将所述每张待检测图像作为异常图像，在遍历所述多张待检测图像后，得到包含至少一张异常图像的所述异常图像集；在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为正常图像的情况下，将所述每张待检测图像作为正常图像，在遍历所述多张待检测图像后，得到包含至少一张正常图像的所述正常图像集。
在本公开的一些实施例中，所述获取单元502，还用于从所述异常图像集中的每个异常图像中，确定每个像素位置上的异常评分中最大的第一最大异常评分；从所述正常图像集中的每个正常图像中，确定每个像素位置上的异常评分中最大的第二最大异常评分；在所述第一最大异常评分属于预设异常阈值的第一预设数值范围的情况下，确定所述第一最大异常评分对应的异常图像属于所述待核验图像；在所述第二最大异常评分属于所述预设异常阈值的第二预设数值范围的情况下，确定所述第二最大异常评分对应的正常图像属于所述待核验图像。
在本公开的一些实施例中，所述获取单元502，还用于将所述正常图像集和所述异常图像集中的全部图像，确定为所述待核验图像。
在本公开的一些实施例中，所述第二训练单元502，还用于在采用所述第二样本集中的正样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述正样本对应的第一特征差异序列，并根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的第一训练损失；在采用所述第二样本集中的负样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述负样本对应的第二特征差异序列，并根据所述第二特征差异序列、预设的负样本的真实值和异常损失函数，确定出所述负样本对应的第二训练损失；基于所述第一训练损失和所述第二训练损失，分别对所述检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述更新后的检测网络；其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本；所述异常损失函数表征所述负样本中的异常部分对应的重构特征序列推离所述异常部分，以及所述负样本中的正常部分对应的重构特征序列拉近所述正常部分。
在本公开的一些实施例中，所述更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络；所述检测单元，还用于采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络之后，采用所述更新后的特征提取网络，对目标图像进行不同尺度的特征处理，得到多尺度特征序列；采用所述更新后的重构网络，对所述多尺度特征序列和预设的问询词序列进行重构，得到重构特征序列；根据所述重构特征序列与所述多尺度特征序列，确定所述目标图像的每个像素位置上的特征差异；基于所述特征差异，确定所述每个像素位置上的异常评分，并基于所述异常评分，绘制所述目标图像对应的异常检测图像。
本公开实施例还提供一种电子设备，图15为本公开实施例提供的电子设备的结构示意图，如图15所示，电子设备2包括：存储器21和处理器22，其中，存储器21和处理器22通过通信总线23连接；存储器21，用于存储可执行指令(可执行计算机程序)；处理器22，用于执行存储器21中存储的可执行指令时，实现本公开实施例提供的方法，例如，本公开实施例提供的异常检测方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器22执行时，实现本公开实施例提供的方法，例如，本公开实施例提供的异常检测方法。
在本公开的一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在本公开的一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，采用正样本集对初始检测网络进行训练，得到检测网络，在检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到包含正样本和负样本的增量样本集，其中，负样本为图像中存在异常的异常图像，并采用包含正样本和负样本的增量样本集，对检测网络进行更新训练，得到更新后的检测网络，所以，得到的更新后的检测网络更加适应实际生产线的检测场景，更新后的检测网络的检测精度更高，使得后续在使用更新后的检测网络对待检测图像进行异常检测时，得到的检测结果更准确；同时，由于增量样本中包括了正样本和负样本，所以得到的更新后的检测网络可以是采用正样本和负样本的增量样本训练得到的，使得检测网络能够兼容正样本和负样本等不同的情况，提升了异常检测的通用性与灵活性。
以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。

Claims (13)

1.一种异常检测方法，其特征在于，包括：
采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；
在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；
采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。
2.根据权利要求1所述的方法，其特征在于，所述采用第一正样本集对初始检测网络进行训练，得到检测网络，包括：
采用所述初始检测网络对所述第一样本集中的正样本进行检测，得到所述正样本对应的第一特征差异序列；
根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的训练损失；
基于所述训练损失，对所述初始检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述检测网络；
其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本。
3.根据权利要求1或2所述的方法，其特征在于，所述基于检测出的正常图像集和异常图像集，得到第二样本集，包括：
从检测出的所述正常图像集和所述异常图像集中，确定待核验图像；
对所述待核验图像进行核验，得到所述第二样本集。
4.根据权利要求3所述的方法，其特征在于，所述待核验图像中包括：至少一张异常图像和至少一张正常图像；所述对所述待核验图像进行核验，得到所述第二样本集，包括：
对所述至少一张异常图像和所述至少一张正常图像分别进行核验，得到各自的核验结果；
将所述核验结果表征正确的异常图像作为所述负样本，并将所述核验结果表征正确的正常图像作为所述正样本；
对所述核验结果表征错误的异常图像，以及所述核验结果表征错误的正常图像进行正确标注，得到所述正样本和所述负样本；
将所述负样本和所述正样本的集合，确定为所述第二样本集。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述采用第一样本集对初始检测网络进行训练，得到检测网络之后，所述方法还包括：
采用所述检测网络对每张待检测图像进行异常检测，得到所述每张待检测图像的每个像素位置上的异常评分；
基于所述异常评分，绘制所述每张待检测图像对应的异常检测图像；
根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集。
6.根据权利要求5的方法，其特征在于，所述根据所述异常检测图像，得到多张待检测图像中的所述正常图像集和所述异常图像集，包括：
在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为异常图像的情况下，将所述每张待检测图像作为异常图像，在遍历所述多张待检测图像后，得到包含至少一张异常图像的所述异常图像集；
在所述每张待检测图像对应的异常检测图像表征，所述每张待检测图像为正常图像的情况下，将所述每张待检测图像作为正常图像，在遍历所述多张待检测图像后，得到包含至少一张正常图像的所述正常图像集。
7.根据权利要求3所述的方法，其特征在于，所述从检测出的所述正常图像集和所述异常图像集中，确定待核验图像，包括：
从所述异常图像集中的每个异常图像中，确定每个像素位置上的异常评分中最大的第一最大异常评分；
从所述正常图像集中的每个正常图像中，确定每个像素位置上的异常评分中最大的第二最大异常评分；
在所述第一最大异常评分属于预设异常阈值的第一预设数值范围的情况下，确定所述第一最大异常评分对应的异常图像属于所述待核验图像；
在所述第二最大异常评分属于所述预设异常阈值的第二预设数值范围的情况下，确定所述第二最大异常评分对应的正常图像属于所述待核验图像。
8.根据权利要求3所述的方法，其特征在于，所述从检测出的所述正常图像集和所述异常图像集中，确定待核验图像，包括：
将所述正常图像集和所述异常图像集中的全部图像，确定为所述待核验图像。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络，包括：
在采用所述第二样本集中的正样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述正样本对应的第一特征差异序列，并根据所述第一特征差异序列和正常损失函数，确定出所述正样本对应的第一训练损失；
在采用所述第二样本集中的负样本，对所述检测网络进行训练的情况下，采用所述检测网络得到所述负样本对应的第二特征差异序列，并根据所述第二特征差异序列、预设的负样本的真实值和异常损失函数，确定出所述负样本对应的第二训练损失；
基于所述第一训练损失和所述第二训练损失，分别对所述检测网络进行训练调整，直至得到的最终损失小于预设损失阈值时，得到所述更新后的检测网络；
其中，所述正常损失函数表征所述正样本对应的重构特征序列拉近所述正样本；所述异常损失函数表征所述负样本中的异常部分对应的重构特征序列推离所述异常部分，以及所述负样本中的正常部分对应的重构特征序列拉近所述正常部分。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述更新后的检测网络包括：更新后的特征提取网络和更新后的重构网络；
所述采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络之后，所述方法还包括：
采用所述更新后的特征提取网络，对目标图像进行不同尺度的特征处理，得到多尺度特征序列；
采用所述更新后的重构网络，对所述多尺度特征序列和预设的问询词序列进行重构，得到重构特征序列；
根据所述重构特征序列与所述多尺度特征序列，确定所述目标图像的每个像素位置上的特征差异；
基于所述特征差异，确定所述每个像素位置上的异常评分，并基于所述异常评分，绘制所述目标图像对应的异常检测图像。
11.一种异常检测装置，其特征在于，包括：
第一训练单元，用于采用第一样本集对初始检测网络进行训练，得到检测网络；所述第一样本集为正样本集；
获取单元，用于在所述检测网络对多张待检测图像进行异常检测过程中，基于检测出的正常图像集和异常图像集，得到第二样本集，所述第二样本集为包含正样本和负样本的增量样本集；其中，所述负样本为图像中存在异常的异常图像；
第二训练单元，用于采用所述第二样本集，对所述检测网络进行更新训练，得到更新后的检测网络。
12.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1至10任一项所述的方法。
CN202110932191.5A 2021-08-13 2021-08-13 异常检测方法、装置、电子设备及计算机可读存储介质 Pending CN113688889A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110932191.5A CN113688889A (zh) 2021-08-13 2021-08-13 异常检测方法、装置、电子设备及计算机可读存储介质
PCT/CN2022/071448 WO2023015843A1 (zh) 2021-08-13 2022-01-11 异常检测方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110932191.5A CN113688889A (zh) 2021-08-13 2021-08-13 异常检测方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113688889A true CN113688889A (zh) 2021-11-23

Family

ID=78579883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110932191.5A Pending CN113688889A (zh) 2021-08-13 2021-08-13 异常检测方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113688889A (zh)
WO (1) WO2023015843A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419619A (zh) * 2022-03-29 2022-04-29 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN114445748A (zh) * 2022-01-28 2022-05-06 深圳市中云慧通科技有限公司 一种视频人体特征检测、联动告警方法及存储介质
CN114627102A (zh) * 2022-03-31 2022-06-14 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质
CN114996536A (zh) * 2022-08-08 2022-09-02 深圳市信润富联数字科技有限公司 维修方案查询方法、装置、设备及计算机可读存储介质
CN115082400A (zh) * 2022-06-21 2022-09-20 北京字跳网络技术有限公司 一种图像处理方法、装置、计算机设备及可读存储介质
WO2023015843A1 (zh) * 2021-08-13 2023-02-16 上海商汤智能科技有限公司 异常检测方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品
CN115984285A (zh) * 2023-03-21 2023-04-18 上海仙工智能科技有限公司 一种基于生成对抗网络的库位状态检测方法及系统、存储介质
CN116403077A (zh) * 2023-06-07 2023-07-07 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备
WO2023155494A1 (zh) * 2022-02-16 2023-08-24 上海商汤智能科技有限公司 图像检测及训练方法、相关装置、设备、介质和程序产品

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542290B (zh) * 2023-06-25 2023-09-08 城云科技（中国）有限公司 基于多源多维数据的信息预测模型构建方法、装置及应用
CN117493220B (zh) * 2024-01-03 2024-03-26 安徽思高智能科技有限公司 一种rpa流程操作异常检测方法、设备及存储设备
CN117724935B (zh) * 2024-02-06 2024-06-07 山东大学 一种软件系统多指标异常检测方法及系统
CN117808816B (zh) * 2024-03-01 2024-06-11 腾讯科技（深圳）有限公司 图像异常检测方法、装置及电子设备
CN118506299B (zh) * 2024-07-17 2024-09-20 中数智科(杭州)科技有限公司 一种轨道列车的车体异常检测方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110705630A (zh) * 2019-09-27 2020-01-17 聚时科技(上海)有限公司 半监督学习式目标检测神经网络训练方法、装置及应用
CN110765866A (zh) * 2019-09-18 2020-02-07 新疆爱华盈通信息技术有限公司 人脸识别方法和人脸识别设备
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111709907A (zh) * 2020-04-26 2020-09-25 江南大学 基于One-Class深度支持向量描述的布匹疵点检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112861906A (zh) * 2020-12-31 2021-05-28 深圳前海微众银行股份有限公司 一种图片异常检测的方法及装置
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
WO2021151276A1 (zh) * 2020-05-20 2021-08-05 平安科技（深圳）有限公司 基于oct图像的图像识别方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491790B (zh) * 2017-08-25 2021-04-02 北京图森智途科技有限公司 一种神经网络训练方法及装置
US10824935B2 (en) * 2018-10-17 2020-11-03 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting anomalies in video using a similarity function trained by machine learning
CN113688889A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110765866A (zh) * 2019-09-18 2020-02-07 新疆爱华盈通信息技术有限公司 人脸识别方法和人脸识别设备
CN110705630A (zh) * 2019-09-27 2020-01-17 聚时科技(上海)有限公司 半监督学习式目标检测神经网络训练方法、装置及应用
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111709907A (zh) * 2020-04-26 2020-09-25 江南大学 基于One-Class深度支持向量描述的布匹疵点检测方法
WO2021151276A1 (zh) * 2020-05-20 2021-08-05 平安科技（深圳）有限公司 基于oct图像的图像识别方法、装置、设备及存储介质
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112861906A (zh) * 2020-12-31 2021-05-28 深圳前海微众银行股份有限公司 一种图片异常检测的方法及装置
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015843A1 (zh) * 2021-08-13 2023-02-16 上海商汤智能科技有限公司 异常检测方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品
CN114445748A (zh) * 2022-01-28 2022-05-06 深圳市中云慧通科技有限公司 一种视频人体特征检测、联动告警方法及存储介质
WO2023155494A1 (zh) * 2022-02-16 2023-08-24 上海商汤智能科技有限公司 图像检测及训练方法、相关装置、设备、介质和程序产品
CN114419619A (zh) * 2022-03-29 2022-04-29 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN114627102A (zh) * 2022-03-31 2022-06-14 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质
CN114627102B (zh) * 2022-03-31 2024-02-13 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质
WO2023184918A1 (zh) * 2022-03-31 2023-10-05 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质
CN115082400A (zh) * 2022-06-21 2022-09-20 北京字跳网络技术有限公司 一种图像处理方法、装置、计算机设备及可读存储介质
CN114996536A (zh) * 2022-08-08 2022-09-02 深圳市信润富联数字科技有限公司 维修方案查询方法、装置、设备及计算机可读存储介质
CN115984285A (zh) * 2023-03-21 2023-04-18 上海仙工智能科技有限公司 一种基于生成对抗网络的库位状态检测方法及系统、存储介质
CN115984285B (zh) * 2023-03-21 2023-07-04 上海仙工智能科技有限公司 一种基于生成对抗网络的库位状态检测方法及系统、存储介质
CN116403077B (zh) * 2023-06-07 2023-08-15 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备
CN116403077A (zh) * 2023-06-07 2023-07-07 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备

Also Published As

Publication number Publication date
WO2023015843A1 (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
CN113688889A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Xie et al. Comparator networks
KR102266529B1 (ko) 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체
CN109241829B (zh) 基于时空注意卷积神经网络的行为识别方法及装置
CN113836992B (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN111310731A (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
CN113111154B (zh) 相似度评估方法、答案搜索方法、装置、设备及介质
CN113688890A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN113688844A (zh) 神经网络训练方法、装置、电子设备及存储介质
CN116524593A (zh) 一种动态手势识别方法、系统、设备及介质
CN115761908A (zh) 基于多模态数据学习的移动端儿童视觉注意异常筛查方法
CN113822264A (zh) 一种文本识别方法、装置、计算机设备和存储介质
CN112084887A (zh) 一种基于注意力机制的自适应视频分类方法及系统
CN113255701B (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
CN116776157B (zh) 支持模态增加的模型学习方法及其装置
CN117671800A (zh) 面向遮挡的人体姿态估计方法、装置及电子设备
CN113269038A (zh) 一种基于多尺度的行人检测方法
CN111242114B (zh) 文字识别方法及装置
CN116994049A (zh) 全自动针织横机及其方法
CN117036392A (zh) 图像检测方法及相关装置
CN115527083B (zh) 图像标注方法、装置和电子设备
CN118119935A (zh) 图像文本匹配模型的训练方法、装置、设备及存储介质
CN113239915B (zh) 一种课堂行为的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064061

Country of ref document: HK