CN117808816B - 图像异常检测方法、装置及电子设备 - Google Patents

图像异常检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117808816B
CN117808816B CN202410235468.2A CN202410235468A CN117808816B CN 117808816 B CN117808816 B CN 117808816B CN 202410235468 A CN202410235468 A CN 202410235468A CN 117808816 B CN117808816 B CN 117808816B
Authority
CN
China
Prior art keywords
image
loss function
anomaly detection
anomaly
frame loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410235468.2A
Other languages
English (en)
Other versions
CN117808816A (zh
Inventor
高斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410235468.2A priority Critical patent/CN117808816B/zh
Publication of CN117808816A publication Critical patent/CN117808816A/zh
Application granted granted Critical
Publication of CN117808816B publication Critical patent/CN117808816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种图像异常检测方法、装置及电子设备，该方法包括：将获取到的待检测图像输入训练好的图像异常检测模型中，利用图像异常检测模型对待检测图像进行图像分割，获得图像异常分割结果；其中，图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及异常图像样本中的边界框掩码训练获得的，图像异常检测模型的模型损失函数包括边界框掩码对应的区域内的框内损失函数和边界框掩码对应的区域之外的框外损失函数，框内损失函数基于预测正常概率值设置，预测正常概率值越高，框内损失函数的取值越小；基于图像异常分割结果，确定出待检测图像的异常检测结果。利用本说明书提供的技术方案，提升了异常检测的准确性。

Description

图像异常检测方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像异常检测方法、装置及电子设备。
背景技术
随着计算机互联网技术的发展，图像识别技术的应用场景越来越多，如：可以利用图像识别技术来对图像进行异常检测，判断图像中是否存在异常，可以用于产品的异常检测等场景。
一般的，图像异常检测可以使用智能学习算法进行异常检测模型的训练，利用训练好的模型来进行图像识别。异常检测模型的训练一般需要正负样本，由于合成的异常图像通常不够逼真且与真实异常存在差距，会影响图像检测的结果的准确性。
因此，如何提供一种图像异常检测方案，能够提升图像异常检测的准确性是本领域亟需解决的技术问题。
发明内容
本说明书实施例提供了一种图像异常检测方法、装置、设备、存储介质、计算机程序产品，提升了图像异常检测的准确性。
一方面，本说明书实施例提供了一种图像异常检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练好的图像异常检测模型中，利用所述图像异常检测模型对所述待检测图像进行图像分割，获得图像异常分割结果；其中，所述图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及所述异常图像样本中的边界框掩码训练获得的，所述边界框掩码用于表征所述异常图像样本中的异常区域，所述图像异常检测模型的模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；
基于所述图像异常分割结果，确定出所述待检测图像的异常检测结果。
另一方面，本说明书实施例提供了一种用于图像异常检测的图像异常检测模型的训练方法，所述方法包括：
获取图像样本集，所述图像样本集中包括正常图像样本和异常图像样本，所述异常图像样本为利用扩散模型基于所述正常图像样本和边界框掩码生成的，所述边界框掩码用于表征所述异常图像样本中的异常区域；
利用所述正常图像样本、所述异常图像样本以及所述异常图像样本对应的边界框掩码训练初始图像异常检测模型，直至满足预设条件，其中，训练所述初始图像异常检测模型时，模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；
将满足预设条件时的初始图像异常检测模型作为所述图像异常检测模型，以利用所述图像异常检测模型对待检测图像进行异常检测，获得所述待检测图像的异常检测结果。
另一方面，本说明书实施例提供了一种图像异常检测装置，所述装置包括：
图像获取模块，用于获取待检测图像；
图像异常分割模块，用于将所述待检测图像输入预先训练好的图像异常检测模型中，利用所述图像异常检测模型对所述待检测图像进行图像分割，获得图像异常分割结果；其中，所述图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及所述异常图像样本中的边界框掩码训练获得的，所述边界框掩码用于表征所述异常图像样本中的异常区域，所述图像异常检测模型的模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；
图像异常检测模块，用于基于所述图像异常分割结果，确定出所述待检测图像的异常检测结果。
另一方面，本说明书实施例提供了提供了一种电子设备，包括：处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述方法。
另一方面，本说明书实施例提供了提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述方法。
另一方面，本说明书实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本申请实施例中记载的方法。
本说明书实施例提供的图像异常检测方法、装置、设备、存储介质、计算机程序产品，具有如下技术效果：
本说明书实施例提供的图像异常检测方法，利用扩散模型来生成异常图像样本，再基于正常图像样本、生成的异常图像样本以及其对应的边界框掩码训练构建出图像异常检测模型，为图像异常检测模型的训练提供了相对准确并且充足的样本数据。再基于异常图像样本的异常区域，将图像异常检测模型的损失函数分为框内损失函数和框外损失函数。基于图像异常检测模型对预测位置处预测为正常的预测正常概率值设置框内损失函数，预测正常概率值越高，预测位置处为正常图像的可能性越大，将对应位置处的框内损失函数值设置的越小，这样可以弥补扩散模型生成的异常图像样本中的异常标注不准确的问题，减少将框内的正常像素识别为异常图像的情况，提升图像异常检测模型的性能，进而提升图像异常检测的准确性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本说明书实施例提供的一种图像异常检测方法的应用环境的示意图；
图2是本说明书一个实施例提供的图像异常检测方法的流程示意图；
图3是本说明书一个实施例中图像异常检测模型的训练原理示意图；
图4是本说明书一个实施例中异常图像样本的数量对图像异常检测模型的性能的影响示意图；
图5是本说明书一个实施例中图像异常检测模型的训练方法流程示意图；
图6是本说明书实施例提供的一种图像异常检测装置的结构示意图；
图7是本说明书一个实施例中提供的图像异常检测模型的训练装置；
图8是本说明书实施例提供的一种用于图像异常检测电子设备的框图；
图9是本说明书实施例提供的另一种用于图像异常检测电子设备的框图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本说明书保护的范围。
需要说明的是，本说明书实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本说明书的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本说明书实施例提供的一种图像异常检测方法的应用环境的示意图，该应用环境至少可以包括服务器100和终端200。
在一个可选的实施例中，服务器100可以用于接收终端200上传的图像，并利用训练号的模型对图像进行异常检测识别，或者利用终端200上传的图像进行图像异常检测模型的训练，再利用训练好的模型对图像进行异常检测。服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中，终端200可以是向服务器100发送图像数据的终端，当然，终端200也可以在本地进行图像异常检测模型的训练，基于训练好的终端进行图像的异常检测。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备、车载终端、智能电视等类型的电子设备；也可以为运行于上述电子设备的软体，例如应用程序、小程序等。本说明书实施例中电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是一种图像异常检测方法的应用环境，本说明书实施例并不以上述为限。
本说明书实施例中，上述服务器100和终端200可以通过有线或无线通信方式进行直接或间接地连接，本说明书实施例在此不做限制。
随着计算机互联网技术的发展，一般可以利用智能学习算法来辅助进行图像异常检测，一般异常检测的主要采用无监督的方法，无监督异常检测方法通常仅用正常图像的特征来学习正态分布或重构正常特征来进行异常检测，但由于缺乏判别性的表示导致性能次优，尤其在像素级表的异常定位上。而基于监督的异常检测技术，需要负样本，虽然通过合成异常来制造负样本进行监督训练，但由于合成的异常通常不够逼真且与真实异常存在差距，因此性能有限，影响异常检测的准确性。
本说明书实施例中的图像异常检测方法，可以利用扩散模型来生成异常图像样本，再利用正常图像样本和生成的异常图像样本的基础上训练构建出图像异常检测模型，并基于异常图像样本的异常区域，将图像异常检测模型的损失函数分为框内损失函数和框外损失函数，通过框内损失函数的设置可以减少边界框内潜在正常像素的冲突，提升异常检测的准确性。
以下介绍本说明书实施例一种图像异常检测方法，图2是本说明书一个实施例提供的图像异常检测方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。该方法可以应用于计算机、平板电脑、智能手机、智能穿戴设备、车载设备等终端上，当然，根据实际需要也可以应用在服务器中，本说明书实施例对此不做具体限定。具体的如图2所示，所述方法可以包括：
S202：获取待检测图像。
在具体的实施过程中，待检测图像可以理解为需要进行异常检测的图像，如：可以是需要检测的产品的图像信息，待检测图像的数量可以是一个或多个，待检测图像的大小、尺寸、颜色等，也可以根据实际需要进行设置，本说明书实施例不做具体限定。可以利用本说明书实施例提供的方案对该待检测图像进行异常检测，判断该待检测图像是否异常，拖待检测图像为异常图像，还可以确定出待检测图像中的异常区域等。
S204：将待检测图像输入预先训练好的图像异常检测模型中，利用图像异常检测模型对待检测图像进行图像分割，获得图像异常分割结果；其中，图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及异常图像样本中的边界框掩码训练获得的，边界框掩码用于表征异常图像样本中的异常区域，图像异常检测模型的模型损失函数包括边界框掩码对应的区域内的框内损失函数和边界框掩码对应的区域之外的框外损失函数，框内损失函数为基于预测正常概率值设置，预测正常概率值越高，框内损失函数的取值越小，预测正常概率值为图像异常检测模型输出的预测位置处为正常图像的概率值。
在具体的实施过程中，可以预先训练用于进行图像异常检测的图像异常检测模型，训练完成后，在需要对待检测图像进行异常检测时，可以将待检测图像输入到训练好的图像异常检测模型中，利用该图像异常检测模型对待检测图像进行图像分割，获得图像异常分割结果。其中待检测图像的图像异常分割结果中可以包括待检测图像中的异常区域以及异常区域对应的异常分值等，如：图像异常分割结果中可以包括模型预测出的待检测图像中的异常像素点以及异常像素点对应的异常分值，异常分值可以表征该异常像素点属于异常的概率值。
图3是本说明书一个实施例中图像异常检测模型的训练原理示意图，如图3所示，本说明书实施例中图像异常检测模型可以采用正常图像样本、扩散模型生成的异常图像样本/>以及异常图像样本/>中的边界框掩码/>进行模型训练，可以获得一个弱监督的图像异常检测模型。基于该图像异常检测模型可以对待检测图像进行图像分割，获得图像异常分割结果/>。图像异常检测模型的具体结构可以根据实际需要进行设置，如：可以选择重构异常嵌入模型或DeSTSeg（Denoising Student-Teacher Network，分割网络引导去噪学生教师模型），或者其他能够用于异常检测的模型。其中，边界框掩码/>可以用来表征异常图像样本中的异常区域，如：可以给定一个正常图像，并给出边界框掩码，利用扩散模型可以在该正常图像边界框掩码指定的区域生成一个异常图像，将生成的异常图像与正常图像叠加即可获得异常图像样本。
扩散模型可以理解为一种通过神经网络学习从纯噪声数据逐渐对数据进行去噪的过程，从单个图像样来看这个过程，扩散过程就是不断往图像上加噪声直到图像变成一个纯噪声。本说明书实施例中，可以利用扩散模型在正常图像的指定边界框内生成一个噪声，即可以获得异常图像样本。扩散模型的具体结构可以根据实际需要进行选择或设置，本说明书实施例不做具体限定。
本说明书一些实施例中，异常图像样本的生成方法包括：
选择预设数量的正常图像样本作为异常图像生成样本；
指定每个异常图像生成样本对应的边界框掩码；
将异常图像生成样本以及异常图像生成样本对应的边界框掩码输入到扩散模型中，利用扩散模型在所述异常图像生成样本指定的所述边界框掩码表征的位置处合成异常图像，获得异常图像样本；其中，扩散模型用于在指定的边界框位置处合成异常图像。
在具体的实施过程中，本说明书实施例中可以利用扩散模型在一个图像中指定的边界框位置处合成异常图像即合成噪声，这样就可以获得一个生成的异常图像样本。具体的，可以先从采集到的正常图像样本中选择预设数量的图像作为异常图像生成样本，并指定每一个选择出的异常图像生成样本中对应的边界框掩码，即指定每一个异常图像生成样本中合成噪声的边界框。再将异常图像生成样本以及其对应的边界框掩码输入到扩散模型中，扩散模型可以在异常图像生成样本指定的边界框掩码表征的边界框位置处合成异常图像即合成噪声，这样输入的异常图像生成样本就会变为异常图像样本，可以用于后续训练图像异常检测模型。此外，扩散模型还可以在生成的异常图像样本中将异常区域即边界框掩码标注出来，用于后续训练图像异常检测模型的一个异常标签使用。
其中，每一个异常图像生成样本可以对应有一个或多个边界框掩码，即可以在一个异常生成图像样本中合成一个或多个噪声，并且，每一个异常图像生成样本可以使用一次或多次，可以根据实际需要而定，本说明书实施例不做具体限定。如：指定异常图像生成样本A上的边界框掩码有两个，那么扩散模型可以在异常图像生成样本A上两个边界框掩码对应的边界框位置处合成噪声，生成一个异常图像样本；也可以先在异常图像生成样本A的一个边界框掩码对应的边界框位置处合成噪声，生成一个异常图像样本，再在异常图像生成样本A的另一个边界框掩码对应的边界框位置处合成噪声，生成另一个异常图像样本。以此类推，基于一个异常图像生成样本可以获得一个或多个不同的异常图像样本。
本说明书实施例利用扩散模型基于正常图像样本可以合成异常图像，并且只需使用少量真实的图像，就能生成逼真且多样性的异常图像，且自动携带缺陷位置框的标注信息，获得训练图像异常检测模型的负样本，为图像异常检测奠定了数据基础。
此外，本说明书实施例中的图像异常检测模型的模型损失函数包括边界框掩码对应的区域内的框内损失函数和边界框掩码对应的区域之外的框外损失函数，也就是说，本说明书实施例中将图像异常检测模型的模型损失函数基于异常图像所在的区域划分为框内损失函数和框外损失函数，若预测位置位于边界框掩码对应的区域内，则使用框内损失函数，若预测位置位于边界框掩码对应的区域外，则使用框外损失函数。其中，框外损失函数可以根据实际需要设置为常规的损失函数，而框内损失函数可以基于图像异常检测模型对预测位置处预测为正常图像的概率即预测正常概率值进行设置，预测正常概率值越高，则框内损失函数越小。如：在异常图像样本的边界框掩码对应的区域内有预测位置A、B，图像异常检测模型输出的预测位置A处的预测正常概率值为0.9，预测位置B处的预测正常概率为0.3，那么，预测位置A处对应的框内损失函数值就会小于预测位置B处的框内损失函数值。可以通过数据实验或专家经验，设置预测正常概率值与框内损失函数之间的函数关系，如：可以为一次或二次或三次函数关系等，具体的函数关系本说明书实施例不做具体限定，只需要满足预测正常概率值越高，则框内损失函数越小即可，不同的函数关系获得的效果可能会有所不同，可以根据实际需要进行调整。可以根据实际需要选择一个合适的损失函数作为初始框内损失函数，再将设置预测正常概率值与框内损失函数之间的函数关系与初始框内损失函数相乘，即可以获得框内损失函数。
本说明书实施例中的异常图像样本是采用扩散模型生成的，扩散模型是在正常图像中指定的边界框内生成一个噪声，获得异常图像样本，但是，因为框的标注是不精准的，即框内的所有像素不一定全是异常的，如直接使用整个框作为异常区域的监督信号，则会错误地将其中正常像素分类为异常像素，从而损害图像异常检测模型在图像异常分割任务中的模型性能，影响图像异常检测的准确性。本说明书实施例中，将图像异常检测模型的模型损失函数分为框内损失函数和框外损失函数两个部分，并设置框内损失函数与模型输出预测位置处的预测正常概率值相关，预测正常概率值越高，则说明该预测位置处为正常图像的可能性越高，框内损失函数的取值越小，该预测位置处的损失设置的越小，这样可以减少边界框内潜在正常像素的冲突，即减少将框内的正常像素识别为异常图像的情况，进而提升图像异常识别的准确性。对于框外损失函数则可以根据实际需要选择合适的损失函数即可，本说明书实施例不做具体限定。
可以看出，本说明书实施例中的图像异检测模型的训练过程实际上是一种弱监督的训练方式，使用了扩散模型合成异常图像样本时的异常标注即边界框掩码，但是又不是完全采用该异常标注作为训练的标签，同时对边界框内的损失函数进行了调整，来提升模型训练的准确性。
S206：基于图像异常分割结果，确定出待检测图像的异常检测结果。
在具体的实施过程中，利用图像异常检测模型对待检测图形进行图像分割，获得图像异常分割结果后，可以基于该图像异常分割结果确定出待检测图像的异常检测结果。如：图像异常检测结果中可以包括模型识别出的待检测图像中的异常区域或异常像素点等，该异常区域或异常像素点可以为一个或多个，每个异常区域或异常像素点可以对应有一个异常分值，可以基于异常分值筛选出异常检测结果，如：将异常分值大于指定数值的异常区域或异常像素点作为待检测图像的异常检测结果，或者，基于各个异常区域或异常像素点的异常分值来确定待检测图像是否存在异常，如：若异常分值的平均值或最大值大于某个数值，则确定待检测图像为异常图像。异常检测结果可以包括待检测图像是否为异常图像，也可以包括待检测图像中存在异常的区域或像素的位置等，具体可以根据实际需要进行设置，本说明书实施例不做具体限定。
本说明书实施例提供的图像异常检测方法，利用扩散模型来生成异常图像样本，再基于正常图像样本、生成的异常图像样本以及其对应的边界框掩码训练构建出图像异常检测模型，为图像异常检测模型的训练提供了相对准确并且充足的样本数据。再基于异常图像样本的异常区域，将图像异常检测模型的损失函数分为框内损失函数和框外损失函数。基于图像异常检测模型对预测位置处预测为正常的预测正常概率值设置框内损失函数，预测正常概率值越高，预测位置处为正常图像的可能性越大，将对应位置处的框内损失函数值设置的越小，这样可以弥补扩散模型生成的异常图像样本中的异常标注不准确的问题，减少将框内的正常像素识别为异常图像的情况，提升图像异常检测模型的性能，进而提升图像异常检测的准确性。
本说明书一些实施例中，框内损失函数的设置方法可以包括：
若预测位置位于边界框掩码对应的区域内，并且，预测位置处的预测正常概率值大于或等于预设阈值，则预测位置处的框内损失函数的取值设置为0，否则，将预测位置处的框内损失函数设置为等于预设损失函数。
在具体的实施过程中，本说明书实施例基于预测正常概率值的大小，可以确定出边界框掩码对应的区域内的各个位置处是否有正常的像素点或图像，将属于正常的图像的位置处对应的框内损失函数的取值设置为0，就可以减少边界框内的正常图像被识别为异常的概率，进而提升图像异常识别的准确性。基于此，本说明书实施例中，设置了一个预设阈值，若预测正常概率值大于或等于预设阈值，则可以认为该预测位置处的图像属于正常图像，若该预测位置位于边界框掩码的区域内，则可以将该预测位置处的框内损失函数设置为0，否则，可以将该预测位置处的框内损失函数设置为等于预设损失函数。其中，预设损失函数可以根据实际需要进行选择，如：可以与框外损失函数相同，或者选择为其他合适的损失函数，本说明书实施例对预设损失函数的具体内容不做限定。
其中，预设阈值的取值可以根据实际需要而定，本说明书一些实施例中，预设阈值可以设置在预设范围内。经过验证，预设阈值选择不同的值时，对检测结果的影响比较大，因此，需要合理设置预设阈值的取值。可以通过实验验证，选择效果比较好的取值范围，如：可以对训练好的图像异常检测模型进行验证，分别设置不同的预设阈值来验证图像异常检测模型的异常检测效果，选择异常检测结果比较准确的范围，将预设阈值设置在该范围内。表1是本说明书一个实施例中预设阈值对图像异常检测模型检测指标的影响分析表，如表1所示，预设阈值对图像异常检测模型的分割任务有显著影响，其中，本说明书实施例中分别从图像级和像素级两个维度对图像异常检测模型的检测指标进行分析。表1中的Image表示图像级，Pixel表示像素级，AU-ROC（Area Under the Receiver OperatingCharacteristic Curve，ROC曲线下的面积）和AU-PR（Area Under the Precision versusRecall Curve，PR曲线下的面积）可以理解为两个检测指标，该指标越高，说明模型的性能越好。如表1所示，当/>时，像素级AU-PR达到73.2%，而当/>和/>时，性能分别下降至68.9%和65.4％。这是因为如果阈值太低，模型将被迫将框区域内更多的正常像素分类为异常像素。相反，如果阈值太高，模型将忽略学习异常像素。根据实验，本说明书实施例中，可以将预设阈值设置在0.9~0.95这个预设范围内，如表1所示，/>和/>均能够取得比较好的效果，因为它可以在捕获异常像素和避免边界框内正常像素的错误分类之间取得较好的平衡。
表1
本说明书实施例通过设置预设阈值的方式，将预测正常概率值大于或等于预设阈值的预测位置处的框内损失函数设置为0，从而减少边界框内潜在正常像素的冲突，其他位置处的框内损失函数直接采用预设损失函数，方法简单，可以简单快速的获得框内损失函数的取值，不需要复杂的函数关系，就可以弥补扩散模型生成的异常图像的标注框不准确，导致边界框内的正常图像被误识别为异常图像的问题，提升异常检测的准确性。
本说明书一些实施例中，框内损失函数的设置方法还可以包括：
框内损失函数设置为指定参数与框外损失函数的乘积，指定参数基于预测正常概率值设置，预测正常概率值越高，指定参数越小。
在具体的实施过程中，一般的，边界框外的图像均为正常图像，一般不会存在将正常图像识别为异常图像的问题，可以根据实际需要选择一个合适的损失函数作为框外损失函数，再设置框内损失函数为指定参数与框外损失函数的乘积，这样就可以将框内损失函数转换为框外损失函数的倍数，并且，可以基于预测正常概率值设置指定参数，使得预测正常概率值越高，指定参数越小，进而使得框内损失函数越小，能够弥补边界框内的正常图像被识别为异常的问题。其中，指定参数与预测正常概率值之间的函数关系可以通过实验或专家经验获得，本说明书实施例对于预测正常概率值与指定参数之间的函数关系不做具体限定。
一般的，预测正常概率值一般为0-1之间的连续取值，在一个场景实施例中，可以将预测正常概率值转换为离散的预测置信度，基于预测置信度来设置指定参数，进而获得框内损失函数与框外损失函数的关系。具体的，可以先假设表示/>位置处的预测为正常的概率即预测正常概率值，再通过设置预设阈值来区分预测置信度，预测置信度可以表示如下：
其中，，/>表示/>位置处的预测为异常的概率，/>表示位置处的预测置信度，/>表示预设阈值。
对于边界框区域内的高置信度的预测像素点，可以将其损失设置为0，从而减少边界框内潜在正常像素的冲突。对于边界框外的所有像素，可以使用与正常的分割相同的损失函数（如：重构异常嵌入模型中的损失函数）。基于此，本说明书一些实施例中图像异常检测模型的模型损失函数可以表示为：
其中，表示图像异常检测模型的模型损失函数，/>表示异常图像样本生成中给定的边界框掩码，/>为上述实施例中的预测置信度，/>表示框外损失函数。
本说明书实施例中，只需要选择一个损失函数作为框外损失函数，再基于预测正常概率值设置框内损失函数与框外损失函数的关系，使得预测正常概率值越高，边界框内对应的框内损失函数值越小，既可以弥补框内潜在正常像素的冲突，又简化了图像异常检测模型的模型损失函数，提升了图像异常检测模型的模型性能以及异常检测的准确性。
此外，本说明书一些实施例中，异常图像样本的数量为正常图像样本的数量的指定倍数。
在具体的实施过程中，图4是本说明书一个实施例中异常图像样本的数量对图像异常检测模型的性能的影响示意图，经过实验验证，发现异常图像样本的数量会对图像异常检测模型的性能存在比较大的影响。如图4所示，可以设置图像异常检测模型训练时使用的异常图像样本的数量为正常图像样本的数量的N倍，分别取N为1、2、3和4，图4中纵坐标AU-PR可以理解为一种模型检测指标，该指标越高，说明模型的性能越好。可以看到，随着N的增加，异常检测指标整体是受益的。具体来说当N<3时，显然增加异常数量对模型有利。因考虑到生成更多异常需要额外的时间和资源，考虑到模型性能和图像生成成本之间的权衡，可以合理设置异常图像样本和正常图像样本之间的关系，如：可以将异常图像样本的数量设置为正常图像样本的数量的4倍，这样既兼顾了模型的性能，又考虑了异常图像样本的生成时间和成本，可以提升图像异常检测模型的训练效率以及异常检测结果的准确性。
图5是本说明书一个实施例中图像异常检测模型的训练方法流程示意图，如图5所示，本说明书一些实施例中，还可以提供一种用于图像异常检测的图像异常检测模型的训练方法，该方法可以应用于终端或服务器中，该方法可以包括：
S502、获取图像样本集，图像样本集中包括正常图像样本和异常图像样本，异常图像样本为利用扩散模型基于正常图像样本和边界框掩码生成的，边界框掩码用于表征异常图像样本中的异常区域。
S504、利用正常图像样本、异常图像样本以及异常图像样本对应的边界框掩码训练初始图像异常检测模型，直至满足预设条件，其中，训练初始图像异常检测模型时，模型损失函数包括边界框掩码对应的区域内的框内损失函数和边界框掩码对应的区域之外的框外损失函数，框内损失函数基于预测正常概率值设置，预测正常概率值越高，框内损失函数的取值越小，预测正常概率值为图像异常检测模型输出的预测位置处为正常图像的概率值。
S506、将满足预设条件时的初始图像异常检测模型作为图像异常检测模型，以利用图像异常检测模型对待检测图像进行异常检测，获得待检测图像的异常检测结果。
在具体的实施过程中，在训练图像异常检测模型时，可以先采集一些正常图像作为正常图像样本，利用扩散模型和采集到的正常图像样本合成异常图像样本，可以通过在正常图像样本中指定边界框掩码，扩散模型可以在正常图像样本的边界框掩码对应的边界框区域内合成噪声，即可获得异常图像样本。再利用正常图像样本和合成的异常图像样本作为训练样本，训练初始图像异常检测模型，直至满足预设条件，如：训练次数满足预设次数，或模型精度达到预设精度等，即可获得图像异常检测模型。图像异常检测模型的具体结构可以根据实际需要进行选择，本说明书实施例不做具体限定。
其中，在训练初始图像异常检测模型时，可以设置模型损失函数包括边界框掩码对应的区域内的框内损失函数和边界框掩码对应的区域之外的框外损失函数，其中，框外损失函数可以根据实际需要设置为常规的损失函数，而框内损失函数可以基于图像异常检测模型对预测位置处预测为正常图像的概率即预测正常概率值进行设置，预测正常概率值越高，则框内损失函数越小。可以看出，本说明书实施例中的图像异检测模型的训练过程实际上是一种弱监督的训练方式，使用了扩散模型合成异常图像样本时的异常标注即边界框掩码，但是又不是完全采用该异常标注作为训练的标签，同时对边界框内的损失函数进行了调整，来提升模型训练的准确性。训练完成图像异常检测模型后，就可以使用该图像异常检测模型对待检测图像进行图像异常分割，进而获得待检测图像的异常检测结果。
本说明书一些实施例中，框内损失函数的设置方法包括：
若预测位置位于边界框掩码对应的区域内，并且，预测位置处的预测正常概率值大于或等于预设阈值，则预测位置处的框内损失函数设置为0，否则，将预测位置处的框内损失函数设置为等于预设损失函数。
在具体的实施过程中，设置了一个预设阈值，若预测正常概率值大于或等于预设阈值，则可以认为该预测位置处的图像属于正常图像，若该预测位置位于边界框掩码的区域内，则可以将该预测位置处的框内损失函数设置为0，否则，可以将该预测位置处的框内损失函数设置为等于预设损失函数。其中，预设损失函数可以根据实际需要进行选择，如：可以与框外损失函数相同，或者选择为其他合适的损失函数，本说明书实施例对预设损失函数的具体内容不做限定。预设阈值的取值也可以根据实际需要而定，具体可以参见上述实施例的记载，此处不再赘述。
图像异常检测模型的训练过程还可以包括其他内容，具体参见上述实施例的记载，此处不再赘述。
本说明书实施例利用扩散模型来合成异常图像样本，为图像异常检测模型提供相对准确并且足够数量的负样本，同时，通过合理设置图像异常检测模型的模型损失函数，来弥补扩散模型生成的负样本的异常标注不准确的问题，进而提升了图像异常检测模型的性能和异常检测的准确性。表2是本说明书一个实施例中不同异常检测模型的模型性能的对比数据表，如表2所示，本说明书一些实施例中，可以使用DRAEM（A discriminativelytrained reconstruction embedding for surfaceanomaly detection，重构异常嵌入模型）和DeSTSeg作为两个基线模型，训练构建出上述实施例中的图像异常检测模型，除了超参数之外，保持其他超参数与原始模型一致以确保公平比较。对训练批次进行采样时，以0.5的概率对原始合成异常和生成的异常进行随机采样，为了评估性能，比较了异常分类和异常分割任务的AU-PR和AU-ROC指标。值得注意的是，由于正常像素和异常像素之间的严重不平衡，分割任务上的AU-PR度量可以更好地衡量模型的性能。本说明书实施例中，可以重点与DRAEM和DeSTSeg两个异常检测模型进行比较，以验证本说明书实施例中提供的方案训练出的图像异常检测模型拥有更好的性能。此外，如表2所示，本说明书实施例中还与其他无监督异常检测模型进行了比较：PaDim（Patch Distribution Modeling）、PatchCore、CS-Flow（Fully Convolutional Cross-Scale-Flows for Image-basedDefect Detection，全卷积跨尺度归一化流）。
如表2所示，相比较DRAEM和DeSTSeg算法，本说明书实施例提供的图像异常检测模型在异常检测的所有指标上均表现出一致的改进。例如，可以观察到使得DRAEM图像级AU-ROC提高1.6%，改善DeSTSeg图像级AU-ROC提高0.5%。同样，在像素级AU-PR方面，分别改善DRAEM、DeSTSeg5.8%和1.5%。这清楚地表明，结合现实世界的异常分布指导可能对模型有益，尤其是在异常分割任务中。其次，与无监督学习模型相比，基于判别式的模型在异常分割任务中的表现明显优于无监督学习模型，这一发现揭示了异常的引导对于异常分割任务具有重要意义。
表2
基于上述所述的图像异常检测方法，本说明书一个或多个实施例还提供一种图像异常检测处理的终端、服务端。所述终端、服务端可以包括使用了本说明书实施例所述方法的装置（包括分布式系统）、软件（应用）、模块、组件、服务器、终端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
由以上本说明书实施例提供的技术方案可见，本说明书本说明书实施例还提供了一种图像异常检测装置，图6是本说明书实施例提供的一种图像异常检测装置的结构示意图，如图6所示，上述装置包括：
图像获取模块610，用于获取待检测图像；
图像异常分割模块620，用于将所述待检测图像输入预先训练好的图像异常检测模型中，利用所述图像异常检测模型对所述待检测图像进行图像分割，获得图像异常分割结果；其中，所述图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及所述异常图像样本中的边界框掩码训练获得的，所述边界框掩码用于表征所述异常图像样本中的异常区域，所述图像异常检测模型的模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；
图像异常检测模块630，用于基于所述图像异常分割结果，确定出所述待检测图像的异常检测结果。
在一些实施例中，所述装置还包括模型训练模块，用于按照下述方法设置所述框内损失函数：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数的取值设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
在一些实施例中，所述装置还包括模型训练模块，用于按照下述方法设置所述框内损失函数：
所述框内损失函数设置为指定参数与所述框外损失函数的乘积，所述指定参数基于所述预测正常概率值设置，所述预测正常概率值越高，所述指定参数越小。
在一些实施例中，所述模型训练模块具体用于：将所述预设阈值设置在预设范围内。
在一些实施例中，所述装置还包括异常图像样本生成模块，用于：
选择预设数量的所述正常图像样本作为异常图像生成样本；
指定每个所述异常图像生成样本对应的边界框掩码；
将所述异常图像生成样本以及所述异常图像生成样本对应的边界框掩码输入到所述扩散模型中，利用所述扩散模型在所述异常图像生成样本指定的所述边界框掩码表征的位置处合成异常图像，获得所述异常图像样本；其中，所述扩散模型用于在指定的边界框位置处合成异常图像。
在一些实施例中，所述装置还包括模型训练模块，用于将所述异常图像样本的数量为所述正常图像样本的数量的指定倍数。
图7是本说明书一个实施例中提供的图像异常检测模型的训练装置，如图7所示，本说明书一些实施例中，还可以提供一种用于图像异常检测的图像异常检测模型的训练装置，所述装置包括：
样本构建模块710，用于获取图像样本集，所述图像样本集中包括正常图像样本和异常图像样本，所述异常图像样本为利用扩散模型基于所述正常图像样本和边界框掩码生成的，所述边界框掩码用于表征所述异常图像样本中的异常区域；
异常检测模型训练模块720，用于利用所述正常图像样本、所述异常图像样本以及所述异常图像样本对应的边界框掩码训练初始图像异常检测模型，直至满足预设条件，其中，训练所述初始图像异常检测模型时，模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；
模型获得模块730，用于将满足预设条件时的初始图像异常检测模型作为所述图像异常检测模型，以利用所述图像异常检测模型对待检测图像进行异常检测，获得所述待检测图像的异常检测结果。
在一些实施例中，异常检测模型训练模块具体用于采用下述方法设置所述框内损失函数：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。上述实施例中的装置根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
图8是本说明书实施例提供的一种用于图像异常检测电子设备的框图，该电子设备可以是终端，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像异常检测方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
图9是本说明书实施例提供的另一种用于图像异常检测电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像异常检测方法。
本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本说明书实施例方案相关的部分结构的框图，并不构成对本说明书实施例方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本说明书实施例中的图像异常检测方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本说明书实施例中的图像异常检测方法。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像异常检测方法。
可以理解的是，在本说明书的具体实施方式中，涉及到用户相关的数据，当本说明书以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本说明书所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本说明书实施例的其它实施方案。本说明书旨在涵盖本说明书实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书实施例的一般性原理并包括本说明书实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书实施例的范围仅由所附的权利要求来限制。

Claims (17)

1.一种图像异常检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练好的图像异常检测模型中，利用所述图像异常检测模型对所述待检测图像进行图像分割，获得图像异常分割结果；其中，所述图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及所述异常图像样本中的边界框掩码训练获得的，所述边界框掩码用于表征所述异常图像样本中的异常区域，所述图像异常检测模型的模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；所述框内损失函数的设置方法包括：所述框内损失函数设置为指定参数与所述框外损失函数的乘积，所述指定参数基于所述预测正常概率值设置，所述预测正常概率值越高，所述指定参数越小；
基于所述图像异常分割结果，确定出所述待检测图像的异常检测结果。
2.根据权利要求1所述的方法，其特征在于，所述框内损失函数的设置方法包括：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数的取值设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
3.根据权利要求2所述的方法，其特征在于，所述预设阈值设置在预设范围内。
4.根据权利要求1所述的方法，其特征在于，所述异常图像样本的生成方法包括：
选择预设数量的所述正常图像样本作为异常图像生成样本；
指定每个所述异常图像生成样本对应的边界框掩码；
将所述异常图像生成样本以及所述异常图像生成样本对应的边界框掩码输入到所述扩散模型中，利用所述扩散模型在所述异常图像生成样本指定的所述边界框掩码表征的位置处合成异常图像，获得所述异常图像样本；其中，所述扩散模型用于在指定的边界框位置处合成异常图像。
5.根据权利要求1所述的方法，其特征在于，所述异常图像样本的数量为所述正常图像样本的数量的指定倍数。
6.一种用于图像异常检测的图像异常检测模型的训练方法，其特征在于，所述方法包括：
获取图像样本集，所述图像样本集中包括正常图像样本和异常图像样本，所述异常图像样本为利用扩散模型基于所述正常图像样本和边界框掩码生成的，所述边界框掩码用于表征所述异常图像样本中的异常区域；
利用所述正常图像样本、所述异常图像样本以及所述异常图像样本对应的边界框掩码训练初始图像异常检测模型，直至满足预设条件，其中，训练所述初始图像异常检测模型时，模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；所述框内损失函数的设置方法包括：所述框内损失函数设置为指定参数与所述框外损失函数的乘积，所述指定参数基于所述预测正常概率值设置，所述预测正常概率值越高，所述指定参数越小；
将满足预设条件时的初始图像异常检测模型作为所述图像异常检测模型，以利用所述图像异常检测模型对待检测图像进行异常检测，获得所述待检测图像的异常检测结果。
7.根据权利要求6所述的方法，其特征在于，所述框内损失函数的设置方法包括：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
8.一种图像异常检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像；
图像异常分割模块，用于将所述待检测图像输入预先训练好的图像异常检测模型中，利用所述图像异常检测模型对所述待检测图像进行图像分割，获得图像异常分割结果；其中，所述图像异常检测模型是基于正常图像样本、扩散模型生成的异常图像样本以及所述异常图像样本中的边界框掩码训练获得的，所述边界框掩码用于表征所述异常图像样本中的异常区域，所述图像异常检测模型的模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；所述框内损失函数的设置方法包括：所述框内损失函数设置为指定参数与所述框外损失函数的乘积，所述指定参数基于所述预测正常概率值设置，所述预测正常概率值越高，所述指定参数越小；
图像异常检测模块，用于基于所述图像异常分割结果，确定出所述待检测图像的异常检测结果。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括模型训练模块，用于按照下述方法设置所述框内损失函数：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数的取值设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
10.根据权利要求9所述的装置，其特征在于，所述模型训练模块具体用于：将所述预设阈值设置在预设范围内。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括异常图像样本生成模块，用于：
选择预设数量的所述正常图像样本作为异常图像生成样本；
指定每个所述异常图像生成样本对应的边界框掩码；
将所述异常图像生成样本以及所述异常图像生成样本对应的边界框掩码输入到所述扩散模型中，利用所述扩散模型在所述异常图像生成样本指定的所述边界框掩码表征的位置处合成异常图像，获得所述异常图像样本；其中，所述扩散模型用于在指定的边界框位置处合成异常图像。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括模型训练模块，用于将所述异常图像样本的数量为所述正常图像样本的数量的指定倍数。
13.一种用于图像异常检测的图像异常检测模型的训练装置，其特征在于，所述装置包括：
样本构建模块，用于获取图像样本集，所述图像样本集中包括正常图像样本和异常图像样本，所述异常图像样本为利用扩散模型基于所述正常图像样本和边界框掩码生成的，所述边界框掩码用于表征所述异常图像样本中的异常区域；
异常检测模型训练模块，用于利用所述正常图像样本、所述异常图像样本以及所述异常图像样本对应的边界框掩码训练初始图像异常检测模型，直至满足预设条件，其中，训练所述初始图像异常检测模型时，模型损失函数包括所述边界框掩码对应的区域内的框内损失函数和所述边界框掩码对应的区域之外的框外损失函数，所述框内损失函数基于预测正常概率值设置，所述预测正常概率值越高，所述框内损失函数的取值越小，所述预测正常概率值为所述图像异常检测模型输出的预测位置处为正常图像的概率值；所述框内损失函数的设置方法包括：所述框内损失函数设置为指定参数与所述框外损失函数的乘积，所述指定参数基于所述预测正常概率值设置，所述预测正常概率值越高，所述指定参数越小；
模型获得模块，用于将满足预设条件时的初始图像异常检测模型作为所述图像异常检测模型，以利用所述图像异常检测模型对待检测图像进行异常检测，获得所述待检测图像的异常检测结果。
14.根据权利要求13所述的装置，其特征在于，所述异常检测模型训练模块具体用于采用下述方法设置所述框内损失函数：
若所述预测位置位于所述边界框掩码对应的区域内，并且，所述预测位置处的预测正常概率值大于或等于预设阈值，则所述预测位置处的框内损失函数设置为0，否则，将所述预测位置处的框内损失函数设置为等于预设损失函数。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-5中任一项所述的方法或权利要求6-7中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-5中任一项所述的方法或权利要求6-7中任一项所述的方法。
17.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行如权利要求1-5中任一项所述的方法或权利要求6-7中任一项所述的方法。
CN202410235468.2A 2024-03-01 2024-03-01 图像异常检测方法、装置及电子设备 Active CN117808816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410235468.2A CN117808816B (zh) 2024-03-01 2024-03-01 图像异常检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410235468.2A CN117808816B (zh) 2024-03-01 2024-03-01 图像异常检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN117808816A CN117808816A (zh) 2024-04-02
CN117808816B true CN117808816B (zh) 2024-06-11

Family

ID=90426130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410235468.2A Active CN117808816B (zh) 2024-03-01 2024-03-01 图像异常检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117808816B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673505A (zh) * 2021-06-29 2021-11-19 北京旷视科技有限公司 实例分割模型的训练方法、装置、系统及存储介质
CN115810011A (zh) * 2023-02-07 2023-03-17 广东奥普特科技股份有限公司 异常检测网络的训练及异常检测方法、装置和设备
CN117392464A (zh) * 2023-12-07 2024-01-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多尺度去噪概率模型的图像异常检测的方法、系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110426415A (zh) * 2019-07-15 2019-11-08 武汉大学 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法
CN114429441A (zh) * 2020-10-15 2022-05-03 华为云计算技术有限公司 一种异常检测方法及装置、设备、存储介质
CN113688889A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN114627102B (zh) * 2022-03-31 2024-02-13 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质
CN117009328A (zh) * 2022-09-29 2023-11-07 腾讯科技（深圳）有限公司 一种基于噪声过滤的模型训练方法、装置以及存储介质
CN116958919A (zh) * 2022-11-23 2023-10-27 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读介质及电子设备
CN116958131B (zh) * 2023-09-18 2024-01-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN117376575A (zh) * 2023-10-17 2024-01-09 西安交通大学 一种基于条件扩散模型的压缩域视频异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673505A (zh) * 2021-06-29 2021-11-19 北京旷视科技有限公司 实例分割模型的训练方法、装置、系统及存储介质
CN115810011A (zh) * 2023-02-07 2023-03-17 广东奥普特科技股份有限公司 异常检测网络的训练及异常检测方法、装置和设备
CN117392464A (zh) * 2023-12-07 2024-01-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多尺度去噪概率模型的图像异常检测的方法、系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TransFusion – A Transparency-Based Diffusion Model for Anomaly Detection;Matic Fucka et al.;《arXiv:2311.09999v1》;20231116;第1-10页 *
基于变径边界样本界面检测器的异常度检测方法;李栋等;《机械工程学报》;20200531(第10期);第73-79页 *

Also Published As

Publication number Publication date
CN117808816A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112330685B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN113965359B (zh) 面向联邦学习数据投毒攻击的防御方法及装置
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN116956906A (zh) 文本生成方法、装置及电子设备
CN113516251A (zh) 一种机器学习系统及模型训练方法
CN115982965A (zh) 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN111597966B (zh) 一种表情图像识别方法、装置及系统
CN117808816B (zh) 图像异常检测方法、装置及电子设备
CN116994084A (zh) 区域入侵检测模型训练方法及区域入侵检测方法
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN116958846A (zh) 视频检测方法、装置、设备、介质及产品
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN114445716A (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN114495108A (zh) 字符检测方法、装置、电子设备及可读介质
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN111444803A (zh) 图像处理方法、装置、电子设备及存储介质
CN115908998B (zh) 水深数据识别模型的训练方法、水深数据识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant