CN116958020A - 异常图像检测方法、模型训练方法、装置、设备和介质 - Google Patents

异常图像检测方法、模型训练方法、装置、设备和介质 Download PDF

Info

Publication number
CN116958020A
CN116958020A CN202211407948.XA CN202211407948A CN116958020A CN 116958020 A CN116958020 A CN 116958020A CN 202211407948 A CN202211407948 A CN 202211407948A CN 116958020 A CN116958020 A CN 116958020A
Authority
CN
China
Prior art keywords
image
sample
model
features
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211407948.XA
Other languages
English (en)
Inventor
张英豪
卢东焕
魏东
郑冶枫
王连生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211407948.XA priority Critical patent/CN116958020A/zh
Publication of CN116958020A publication Critical patent/CN116958020A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供了一种异常图像检测方法、模型训练方法、装置、设备和介质，涉及人工智能技术领域，可以应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，方法包括获取待检测图像；基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像；基于重建图像，以及基于待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；其中，目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。本申请能够可以显著提高异常图像检测的可靠性和泛化性能。

Description

异常图像检测方法、模型训练方法、装置、设备和介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种异常图像检测方法、模型训练方法、装置、设备和介质。
背景技术
随人工智能技术发展，图像检测模型被应用于异常图像检测领域，以识别图像是否为异常图像，例如将医学图像输入图像检测模型，输出结果表征该医学图像是否为病变图像。现有的异常图像检测模型通常以正常图像和异常图像作为正负样本，进行异常图像识别的约束训练，然而由于病变图像等异常图像通常难以采集，造成长尾问题，进而影响模型训练效果，降低异常检测可靠性；并且，现有技术通常针对每一特定类别的图像进行模型构建、训练和检测，如医学图像检测场景中，通常训练一个特定网络来检测每种对象(如器官)类别图像的异常，异常检测的泛化性能差。
发明内容
本申请提供了一种异常图像检测方法、模型训练方法、装置、设备和介质，可以显著提高异常图像检测的可靠性和泛化性能。
一方面，本申请提供了一种异常图像检测方法，所述方法包括：
获取待检测图像；
基于目标异常图像检测模型对所述待检测图像进行特征提取和图像重建，得到所述待检测图像对应的图像特征和重建图像；
基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；
其中，所述目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
另一方面提供了一种异常图像检测模型的训练方法，所述方法包括：
获取样本训练集，所述样本训练集包括多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签；
基于初始检测模型对所述多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标；
根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失；
基于所述模型损失训练所述初始检测模型，得到目标异常图像检测模型。
另一方面提供了一种异常图像检测装置，所述装置包括：
图像获取模块：用于获取待检测图像；
图像处理模块：用于基于目标异常图像检测模型对所述待检测图像进行特征提取和图像重建，得到所述待检测图像对应的图像特征和重建图像；
图像检测模块：用于基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；
其中，所述目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
另一方面提供了一种异常图像检测模型的训练装置，所述装置包括：
样本获取模块：用于获取样本训练集，所述样本训练集包括多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签；
样本处理模块：用于基于初始检测模型对所述多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
分类预测模块：用于基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标；
损失确定模块：用于根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失；
训练模块：用于基于所述模型损失训练所述初始检测模型，得到目标异常图像检测模型。
另一方面提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的异常图像检测方法或实现如上述的异常图像检测模型的训练方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的异常图像检测方法或实现如上述的异常图像检测模型的训练方法。
另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的异常图像检测方法或实现如上述的异常图像检测模型的训练方法。
另一方面提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的异常图像检测方法或实现如上述的异常图像检测模型的训练方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时实现如上述的异常图像检测方法或实现如上述的异常图像检测模型的训练方法。
本申请提供的异常图像检测方法、模型训练方法、装置、设备、存储介质、服务器、终端、计算机程序和计算机程序产品，具有如下技术效果：
本申请首先获取待检测图像，基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像；进而基于重建图像，以及基于待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；其中，目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型；如此，基于多种图像类别的正常图像和类别标签作为训练样本，针对同一初始检测模型，在进行特征提取和图像重建的同时结合类别预测，以便通过分类约束充分利用分类信息，进而结合分类信息、特征提取的特征和重建的图像进行模型训练，利用同一目标异常图像检测模型实现不同类别图像的通用异常检测，且无需异常图像作为训练样本，避免长尾问题引入的性能缺陷，协同提升异常检测的可靠性和泛化性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种异常图像检测方法的流程示意图；
图3是本申请实施例提供的一种异常图像检测模型的训练框架的结构示意图；
图4是本申请实施例提供的另一种异常图像检测方法的流程示意图；
图5是本申请实施例提供的一种异常图像检测模型的结构框架示意图；
图6是本申请实施例提供的另一种异常图像检测模型的结构框架示意图；
图7是本申请实施例提供的另一种异常图像检测模型的结构框架示意图；
图8是本申请实施例提供的另一种异常图像检测模型的结构框架示意图；
图9是本申请实施例提供的一种DPA模型的框架示意图；
图10是本申请实施例提供的异常图像检测方法的实验数据图；
图11是本申请实施例提供的一种异常图像检测模型的训练方法的流程示意图；
图12是本申请实施例提供的一种异常图像检测装置的框架示意图；
图13是本申请实施例提供的一种异常图像检测模型的训练装置的框架示意图；
图14是本申请实施例提供的一种异常图像检测方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及人工智能的机器学习/深度学习和自然语言处理等技术，具体通过如下实施例进行说明。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以至少包括终端01和服务器02。在实际应用中，终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中的服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体地，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术能够应用于各种领域，如医疗云、云物联、云安全、云教育、云会议、人工智能云服务、云应用、云呼叫和云社交等，云技术基于云计算(cloud computing)商业模式应用，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务))平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分，在IaaS层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
具体地，上述涉及的服务器02可以包括实体设备，可以具体包括有网络通信子模块、处理器和存储器等等，也可以包括运行于实体设备中的软体，可以具体包括有应用程序等。
具体地，终端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。
本申请实施例中，终端01可以用于向服务器02发送异常图像检测指令和待检测图像，以使服务器02执行对应的异常图像检测操作。服务器02可以用于提供异常图像检测服务，以得到待检测图像的异常检测结果。具体的，服务器02还可以用于提供初始检测模型的模型训练服务，以得到目标异常图像检测模型，以及还可以用于存储源样本训练集和模型训练数据等。
具体地，本申请的异常图像检测方法可以应用于异常图像较为罕见的场景，例如，图像中的检测对象为罕见物品，或者可以应用于多种对象类别(如多种器官类别)的医学图像异常检测，终端发送包括检测对象的医学图像，服务端基于目标异常图像检测模型对接收到的医学图像进行对象异常检测，如终端发送腹部器官医学图像，服务器进行肝脏、肾脏、肺部等器官的异常检测，并输出异常检测结果。
此外，可以理解的是，图1所示的仅仅是一种异常图像检测方法的应用环境，该应用环境可以包括更多或更少的节点，本申请在此不做限制。
本申请实施例涉及的应用环境，或应用环境中的终端01和服务器02等可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统，该区块链系统可以提供上述的异常图像检测服务和数据存储服务等。
以下基于上述应用环境介绍本申请的一种异常图像检测方法，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。请参考图2，图2是本申请实施例提供的一种异常图像检测方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地，如图2所示，方法可以包括下述步骤S201-S205。
S201：获取待检测图像。
本申请实施例中，待检测图像可以为包括检测对象的图像，检测对象的状态或属性正常，则待检测图像为正常图像，若检测对象存在异常，则待检测图像为异常图像。待检测图像可以为医学图像，具体地，可以属于多种预设类别中的一种或几种。如检测对象为器官，待检测图像为可以包括一种或几种器官的医学图像。
S203：基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像。
本申请实施例中，目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
具体地，预设图像类别可以表征图像中的检测对象所属的类别，类别标签值当前样本正常图像中检测对象所属的预设图像类别，正常图像是指检测对象不存在异常状态的图像，如医学图像中，检测对象为器官，则预设图像类别可以表征器官类别，相应的，多种预设类别的样本正常图像是指多种器官类别的且器官状态不存在病变等异常状态的医学图像。
实际应用中，请参考图3，目标异常图像检测模型可以基于包括编码器和解码器的初始检测模型构建，该初始检测模型可以为图像重建网络，通过编码器对待检测图像进行特征提取，进而得到图像特征z，通过解码器对图像特征进行解码处理，以生成图像特征对应的重建图像。预设分类器可以是单独设置的全连接神经网络，作为类别预测分支与初始检测模型进行级联，对样本图像特征进行分类处理。
具体实施例中，初始检测模型可以为各种类别的生成模型，包括编码器和解码器，基于图像重建进行异常图像检测。具体地，请参考图5-8，初始检测模型可以例如为DPA(Anomaly detection with deep perceptual autoencoders，基于深度感知自动编码器的异常检测模型)(图5)，MemAE(Memory-augmented deep autoencoder for unsupervisedanomaly detection，无监督记忆增强深度自编码器的异常检测模型)(图6)，GANomaly(基于对抗训练的半监督异常检测模型)(图7)或F-AnoGan(Fast-unsupervised anomalydetection with generative adversarial networks，基于生成对抗网络的快速无监督异常检测模型)(图8)等。
一些情况下，在对待检测图像进行特征提取前，还需要对待检测图像进行预处理，预处理可具体包括尺寸归一化和图像分割等，通过图像分割确定待检测图像中的多个检测对象(如多个器官)的区域，进而生成每一检测对象对应的预处理图像；基于编码器对预处理图像进行特征提取，得到每一检测对象对应的图像特征，基于解码器生成图像特征对应的重建图像，即得到每一检测对象对应的重建图像。可以理解的，上述图像分割能够实现粗略的区域检测框分割即可，无需进行掩码的精准边界分割，图像分割模块可以集成于目标异常图像检测模型中，也可以是设置于单独的预处理模块中。
S205：基于重建图像，以及基于待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果。
本申请实施例中，在模型的异常检测应用中，无需进行分类预测，在得到重建图像后，基于重建图像进行阈值辨别，以实现异常图像检测，异常图像检测结果表征待检测图像是否为异常图像，具体地，表征待检测图像中的目标检测对象是否存在异常状态。
综上，基于多种图像类别的正常图像和类别标签作为训练样本，针对同一初始检测模型，在进行特征提取和图像重建的同时结合类别预测，以便通过分类约束充分利用分类信息，进而结合分类信息、特征提取的特征和重建的图像进行模型训练，利用同一目标异常图像检测模型实现不同类别图像的通用异常检测，且无需异常图像作为训练样本，避免长尾问题引入的性能缺陷，协同提升异常检测的可靠性和泛化性能。
一些实施例中，目标异常图像检测模型基于图像域不变性进行差异阈值判别，以识别待检测图像是否为异常图像，相应的，S205可以包括：
S2051：对重建图像和待检测图像进行图像差异处理，得到图像差异指标；
S2052：在图像差异指标满足图像差异条件的情况下，确定待检测图像为异常图像。
可以理解的，若异常图像检测结果为待检测图像为正常图像，则重建图像与待检测图像应接近一致，而若为异常图像，则重建图像与待检测图像应存在较大差异，差异越大，则异常状态越显著。可以采用相关的图像差异对比算法进行上述的图像差异处理，在此不做限定。图像差异指标表征重建图像与待检测图像间的差异程度或相似程度，可以例如为差异度(如像素差异度或空间结构差异度)，或者也可以为相似度等。在表征差异程度的情况下，若图像差异指标超过图像差异阈值，则满足图像差异条件，确定为异常图像，反之为正常图像；在表征相似程度的情况下，若图像差异指标小于等于图像相似度阈值，则满足差异条件，确定为异常图像，反之为正常图像。
具体地，可以计算重建图像与待检测图像间的像素相似度、像素差异、空间结构相似度或空间结构差异，或者计算重建图像与对应的预处理图像间的像素相似度、像素差异、空间结构相似度或空间结构差异，得到图像差异指标。通过图像域差异处理，实现差异精准检测，简化模型结构，提升检测效率。
另一些实施例中，目标异常图像检测模型基于特征域转换不变性进行差异阈值判别，以识别待检测图像是否为异常图像，相应的，S205可以包括：
S2053：对重建图像进行特征提取，得到重建图像特征；
S2054：对图像特征和重建图像特征进行特征差异处理，得到特征差异指标；
S2055：在特征差异指标满足特征差异条件的情况下，确定待检测图像为异常图像。
可以理解的，若异常图像检测结果为待检测图像为正常图像，则重建图像特征与图像特征应接近一致，而若为异常图像，则重建图像特征与图像特征应存在较大差异，差异越大，则异常状态越显著。可以采用相关的特征差异处理方法法进行上述的特征差异处理，如特征相似度算法等，在此不做限定。相应的，特征差异指标表征重建图像特征与图像特征间的差异程度或相似程度，可以例如为特征距离或相似度等。在表征差异程度的情况下，若特征差异指标超过特征差异阈值，则满足特征差异条件，确定为异常图像，反之为正常图像；在表征相似程度的情况下，若特征差异指标小于等于特征相似度阈值，则满足差异条件，确定为异常图像，反之为正常图像。如此，结合特征域进行异常图像判别，能够降低图像噪音影响，提高检测准确性，并降低差异计算量，进而降低资源占用。
一些情况下，可以基于与进行待检测图像特征提取的编码器相同设置的编码器对重建图像进行特征提取，以得到重建图像特征；另一些情况下，可以采用另一特征提取网络重新对待检测图像(或预处理图像)和重建图像进行特征提取，以得到待检测图像的另一图像特征和重建图像特征，进而执行特征差异处理和异常图像的判定步骤。
以DPA模型为例，采用该模型作为主干网络，请参考图5和图9，DPA主要结构就是一个自动编码器(Autoencoder)，待检测图像x在经过自动编码器的编码器提取特征得到图像特征g(x)后，再通过自动编码器的解码器得到重建图像然后再通过预训练好的特征提取器，生成待检测图像x对应的另一图像特征f(x)和重建图像/>对应的重建图像特征/>进而计算另一图像特征与重建图像特征之间的相对特征距离，当超过特征距离阈值时即为异常图像。
图9中，x是待检测图像，是x经过自动编码器网络得到的重建图像，g是指自动编码器网络，由编码器和解码器两部分网络组成，其中编码器是由四个卷积块成，每个卷积块包含四个尺度为2、卷积核为3的卷积层，并连接一个批处理归一化层和一个LeakyReLU激活函数。解码器是由对应的四个反卷积块组成，起到升维还原的作用。f是指特征图提取器，是预训练好的特征提取器，如采用VGG19结构在Image-Net上训练得到的特征提取网络，用来提取待检测图像和重建图像的特征。一些情况下，该特征提取器不参与异常图像检测模型的训练过程。
另一些实施例中，目标异常图像检测模型结合图像域转换不变和特征域转换不变性进行差异阈值判别，以识别待检测图像是否为异常图像，相应的，S205可以包括：
S2056：对重建图像和待检测图像进行图像差异处理，得到图像差异指标；
S2057：对重建图像进行特征提取，得到重建图像特征；
S2058：对图像特征和重建图像特征进行特征差异处理，得到特征差异指标；
S2059：根据图像差异指标和特征差异指标确定异常图像检测结果。
一个实施例中，可以将特征差异指标与图像差异指标进行归一化处理，并对归一化的特征差异指标和归一化的图像差异指标进行加和处理，得到目标差异指标；在目标差异指标满足指标差异条件的情况下，确定待检测图像为异常图像。可以理解的，这里的图像差异指标和特征差异指标属性相同，均表征相似度属性或均表征差异性属性。在表征相似度属性的情况下，若目标差异指标小于等于相似度指标阈值，则确定待检测图像为异常图像，反之为正常图像；在表征差异性属性的情况下，若目标差异指标大于等于差异度指标阈值，则确定待检测图像为异常图像，反之为正常图像。如此，对图像差异指标和特征差异指标进行综合评价，提高检测准确性和可靠性。
另一实施例中，若特征差异指标满足特征差异条件和图像差异指标满足图像差异条件中的任一项成立，确定待检测图像为异常图像，反之为正常图像。如此，提高检测灵敏度，降低异常图像漏检率。
基于上述部分或全部实施方式，本申请实施例中，目标异常图像检测模型采用下述步骤S301-S309训练得到。
S301：获取样本训练集。
具体地，样本训练集包括多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，样本正常图像为检测对象为正常状态的图像，类别标签表征检测对象的对象类别。例如，样本正常图像为图像中器官不存在异常状态的医学图像，类别标签表征样本正常图像中的器官所属的类别，多种预设图像类别可以为多种器官类别对应的医学图像，包括但不限于包括肝脏、肺、肾脏和胆囊等中的至少一种的医学图像。一些情况下，可以将包括多种类别的检测对象的图像作为样本正常图像，例如，单张医学图像中包括多种器官(如腹部彩超图像)；或者将仅包括一种检测对象的图像作为样本正常图像，如仅包括肾脏或者仅包括肝脏的医学图像，以提高模型训练过程中分类约束的准确性，提高分类信息利用率。需要说明的是，样本正常图像为经图像所有者授权使用的文件，仅作为模型训练和检测使用。
一些实施例中，以医学图像为例，针对不同器官的异常图像检测任务，可以构建一个包括多种器官的正常图像的样本训练集，包括多种器官类别各自对应的训练子集。可以构建包括Nk个正常图像的样本训练集Dk和一个包括Mk个医学图像的测试集 中包括正常图像和异常图像(器官状态存在异常的医学图像)。样本训练集中，不同类别的器官图像，即肝脏、肾脏、肺部等器官图像用y1,...,yk表示，其中k代表器官类别标识。
S303：基于初始检测模型对多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像。
如前述的，初始检测模型为生成模型，基于图像重建进行异常检测，在训练时采用仅包括样本正常图像的样本训练集来训练初始检测模型的重建网络，使初始检测模型只能对正常图像进行较好的重建，与原图具备一致性，而无法对异常图像进行良好重建，进而实现无监督的异常图像判别。
实际应用中，初始检测模型包括编码器和解码器，相应的，S303可以包括：
S3031：基于编码器对样本正常图像进行特征提取，得到样本图像特征；
S3032：基于解码器对样本图像特征进行解码处理，得到样本重建图像。
具体地，将样本训练集中的多个样本正常图像分别输入初始检测模型，以得到每一样本正常图像的样本图像特征和样本重建图像。可以理解的，基于样本训练集的大小和机器配置，可以以整体样本训练集作为单次迭代训练的输入样本，或者可以对样本训练集进行随机拆分，以将得到的子集作为单次迭代训练的输入样本。如此，将初始检测模型集成在模型训练框架中，采用具有编码器和解码器的重建网络作为异常检测模型的主干网络，并作为实际图像检测应用时的结果输出模块，能够实现图像异常检测模块与模型训练框架中其它模块的弱连接，使模型训练框架能够适用于不同重建网络的训练，提高模型训练方法的泛化性。
S305：基于预设分类器对样本图像特征进行分类预测，得到类别预测指标。
实际应用中，预设分类器可以为全连接神经网络，该预设分类器用于为初始检测模型的训练提供辅助约束信息，优化模型的异常图像检测性能。基于预设分类器进行分类预测，以引入检测对象的分类约束，进而充分利用对象分类信息。以前述针对不同器官的异常图像检测任务为例，通过预设分类器区分不同的器官，对变换后的样本正常图像特征执行分类约束。
具体地，类别预测指标表征样本正常图像中目标检测对象属于对应的预设图像类别(即对象类别)的概率，如表征样本正常图像中器官属于对应的器官类别k的概率。
S307：根据样本重建图像、类别预测指标、类别标签和样本图像特征确定模型损失。
可以理解的，模型损失由异常检测损失、分类预测损失和特征紧凑度损失构成。其中，异常检测损失是指初始检测模型固有的损失，即目标异常图像检测模型的主干网络本身的约束损失，基于初始检测模型的配置决定，包括图像重建损失等，以DPA模型为例，其对应的异常检测损失基于感知损失函数确定。
实际应用中，S307可以包括下述步骤S401-S407。
S401：根据样本重建图像，以及基于样本正常图像和样本图像特征中的至少其一进行异常检测损失处理，得到第一模型损失。
具体地，第一模型损失相当于前述的异常检测损失，其取决于初始检测模型即主干网络设置。一些情况下，初始检测模型基于图像域的转换不变性进行异常检测(参见前述内容)，则第一模型损失基于样本重建图像和样本正常图像计算得到。另一些情况下，初始检测模型基于特征域的转换不变性进行异常检测(参见前述内容)，则第一模型损失基于样本重建图像对应的样本重建特征和样本图像特征计算得到。另一些情况下，也可以结合图像域和特征域进行损失计算，将基于样本重建图像和样本正常图像计算得到的图像域损失，以及基于样本重建特征和样本图像特征计算得到特征域损失进行加和处理，得到第一模型损失，这里的加和处理可以为简单加和或加权加和等。
以DPA模型为例，请参考图5和图9，DPA是通过提供一个损失函数来简化对训练数据固有的公共因素的学习，该损失函数衡量输入和输出的“内容不相似性”，包括两幅图像中存在的整体空间结构之间的不相似性。进一步地，采用的损失函数为感知损失函数，其表达式为：其中x和/>分别表示输入的样本正常图像和样本重建图像；/>μ是基于大型数据集预先计算得到的图像特征平均值，σ是基于大型数据集预先计算得到的图像特征标准差σ，以对图像特征进行标准化，其中，f(x)表示样本正常图像x的样本图像特征；/>其中，/>表示样本重建图像/>的样本重建图像特征。如此，通过感知损失函数计算从同一特征提取器中获得的深度特征之间的距离，得到第一模型损失，该特征提取器基于多样性的大型数据集上进行预先训练，以捕捉图像的内容差异性。DPA通过感知损失来训练自动编码器，并在评估期间计算恢复误差，不必通过其他损失项评价重建图像中的整个输入信息，如无需评价重建图像的逼真性，进而起到去噪效果，避免图像噪声造成的干扰。
S403：根据类别预测指标和类别标签进行类别损失处理，得到第二模型损失。
一些实施例中，将样本分类特征输入预设分类器，以进行分类识别，得到类别预测指标。并基于类别预测指标和类别标签进行类别损失计算，以对变换后的图像特征f(x)进行分类约束。可以理解的，第二模型损失相当于前述的分类预测损失。
一个实施例中，基于下述表达式进行类别损失计算，其中，k代表预设图像类别标识，K表示样本训练集中的检测对象类别数量，Nk为训练集中多种预设图像类别的样本正常图像的数量，αk为常数，用于平衡不同检测对象影响的权重，f(x)i为样本正常图像i的样本图像特征，Fk(f(x)i)表示样本正常图像i属于预设图像类别k的概率，聚焦参数γ为常数，用于减少简单样本对损失函数的贡献，并扩大损失值的范围以进行比较。如此，实现对变换后的样本分类特征f(x)i执行对象分类约束，并以αk和γ作为调制因子，解决不同预设图像类别之间潜在的数据不平衡问题。
可以理解的，以针对不同器官的异常图像检测任务为例，k代表器官类别标识，K为样本训练集中器官类别的数量，αk用于平衡不同器官影响的权重，Fk(f(x)i)表示样本正常图像i属于器官类别k的概率，以αk和γ作为调制因子，解决器官类别的数据不平衡问题，该公式中，器官类别k的类别标签的真值为1。
S405：根据样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失。
具体地，第三模型损失表征分属于不同预设图像类别的多个样本正常图像的样本图像特征在特征空间内的紧凑程度，基于第三模型损失能够压缩正态分布的特征表示，可以理解的，当样本图像特征紧密地聚集在特征空间中时，异常图像检测模型可以更好地将异常值(即异常图像)识别为异常。
一些实施例中，以样本图像特征作为预设分类器的输入，并以样本图像特征作为中心约束的元素，相应地，S405可以具体包括：基于分属于不同预设图像类别的多个样本正常图像的样本图像特征，确定平均特征；确定样本图像特征与平均特征间的第一特征距离；基于第一特征距离生成第三模型损失。如此，通过第三模型损失进行中心约束，提供样本训练集中各种不同类别的样本正常图像间的特征紧性度量，以在训练过程中压缩样本图像特征的正态分布空间，提升特征紧凑度，进而提升模型的检测效果。并且，通过对多种预设图像类别(如器官类别)的图像进行特征空间分布压缩，能够优化和促进模型对不同图像类别的共性元素和模式信息提取，并形成紧凑的共性特征分布，进而实现多种类别图像的异常检测泛化应用。
具体地，可以对样本训练集中样本正常图像i所属批次的全部样本正常图像对应的样本图像特征，进行平均计算处理，得到平均特征，或者，也可以是对所属批次中除样本正常图像i外的其它样本正常图像的样本图像特征，进行平均计算处理，得到平均特征。可以理解的，同一批次的样本正常图像可以从样本训练集中随机抽取，在机器配置允许的情况下，也可以将整体样本训练集作为一个批次。
具体地，计算样本正常图像i的样本图像特征f(x)i与平均特征mi间的第一特征距离，并基于样本训练集中的全部样本正常图像的第一特征距离得到第三模型损失，该第三模型损失相当于前述的特征紧凑度损失，用于表征多个样本图像特征间的特征紧凑型，上述特征距离可以为欧氏距离等，以作为进行度量。如此，以平均特征作为中心进行特征分布空间压缩，实现不同类别图像的共性特征提取优化和特征中心聚集。
一个实施例中，第三模型损失基于下述公式计算得到，其中，LC为第三模型损失，B表示批次数量，其中Lb表示批次b中的图像数量，是同一批次中除样本正常图像i外的其余图像的样本图像特征的平均值，即平均特征。
S407：对第一模型损失、第二模型损失和第三模型损失进行加和处理，得到模型损失。
实际应用中，将上述得到的各模型损失进行加和处理，得到总模型损失，这里的加和处理可以为简单加和或加权加和等。相应的，模型损失的表达式可以为：L＝LB(X)+λ1LO(X,Y)+λ2LC(X)，其中，其中λ1和λ2是平衡不同损失的权重，两者都可以设置为1，以实现简单加和，LB(X)为第一模型损失，LO(X,Y)为第二模型损失，LC(X)为第三模型损失，X指输入的样本正常图像，Y是指类别标签，表征图像所属的预设图像类别，如器官类别。
如此，由异常检测损失、分类预测损失和特征紧凑度损失构成模型损失，以协同实现异常检测约束、分类约束和特征的中心约束，以使初始检测模型训练过程中充分利用主干网络自身的图像重建误差信息、检测误差信息和分类信息，并充分学习不同预设图像类别的样本正常图像的公共因素和共性模式信息，弥合不同类别对象的外观差异，同时将正常图像的特征表示与中心约束紧密聚集，充分探索正常图像的潜在模式，进而在提高异常检测准确性的同时实现针对不同类别图像的异常检测。此外，通过加和处理，得到总损失，进而进行模型参数更新，不需要进行部分网络参数固定的分段式训练，不仅提高训练效率，同时提高模型效果。
可以理解的，在不同器官的异常图像检测任务场景中，上述技术方案能够弥合不同器官间的外形差异，提取共性信息，并将正常的各种器官的图像特征表示压缩至紧密的特征空间分布中，以基于同一异常检测模型实现不同器官类别的图像异常检测。
S309：基于模型损失训练初始检测模型，得到目标异常图像检测模型。
如此，结合多种图像类别的样本正常图像、类别标签和预设分类器，在模型训练过程中进行分类约束，使模型充分学习分类信息，以实现对多种类别图像的特征提取和图像重建优化，使模型习得不同类别的正常图像的一致性重建，在不进行异常样本学习的情况下，优化模型检测效果。
具体地，基于模型损失更新初始检测模型和预设分类器的模型参数，以进行初始检测模型和预设分类器的迭代训练，至满足训练结束条件，并将满足训练结束条件的更新的初始检测模型确定为目标异常图像检测模型。可以理解的，一次迭代过程中，基于模型损失整体更新初始检测模型中编码器、解码器等，以及预设分类器的模型参数，以优化特征提取、图像重建和分类效果。满足训练结束条件可以为两次迭代间的模型损失差小于等于模型损失阈值，或者迭代次数达到预设迭代次数。如此，通过能够表征特征紧凑程度、分类预测误差和模型本征的异常检测误差的模型损失，进行模型训练，协同实现不同类别图像的泛化检测和检测性能优化。
基于上述部分或全部实施方式，另一些实施例中，对样本图像特征进行解耦处理，以分别进行类别预测和特征紧凑度损失计算，相应的，在S305之前，方法还可以包括S501：对样本图像特征进行特征拆分处理，得到分类特征和图像空间特征。相应的，S405可以具体包括S4054：将分类特征输入预设分类器，得到类别预测指标。如此，通过拆分样本图像特征，实现样本类别特征表示和样本图像信息连续特征表示的解耦，以便于解耦后续的分类任务和特征分布压缩，解决分类任务中分离不同检测对象和将不同类别图像的特征表示压缩为同一表示簇间存在的矛盾性问题，提高模型训练效果和异常检测性能。
具体地，可以定义特征拆分维度参数，即预定义分类特征zc的维度或图像空间特征zs的维度，如定义样本图像特征的前10维为分类特征，其余维度为图像空间特征，以在模型训练过程中，使得编码器的学习趋势为将提取到的前十维特征学习为表征类别信息的特征，其余特征表征多种预设图像类别的正常图像的共性信息。
进一步地，在基于分类特征得到类别预测指标后，第二模型损失基于类别预测指标和类别标签进行计算，以对变换后的分类特征zc进行分类约束。一个实施例中，前述的第二模型损失的损失函数变形为下述公式，其中，为样本正常图像i的分类特征。
进一步地，S405可以具体包括：基于分属于不同预设图像类别的多个样本正常图像的图像空间特征，确定平均空间特征；确定平均空间特征与图像空间特征间的第二特征距离；基于第二特征距离生成第三模型损失。可以理解的，这里的第三模型损失计算的具体实施方式与前述内容相类似，在此不再赘述。相应的，前述的第三模型损失的损失函数变形为下述公式，其中，表征平均空间特征，/>为样本正常图像i的图像空间特征。
如此，基于解耦的图像空间特征进行特征紧凑度损失计算，以平均空间特征为中心指标，实现样本正常图像的特征表示约束，避免分类约束的特征提取优化干扰，提高模型效果。
请参考图3，图3示出了本申请技术方案的系统框架图，通过鼓励初始检测模型将输入图像x转换为潜在表示的样本图像特征z，该表示z由解耦分离的类别特征zc和能够表征图像个性信息的连续的图像空间特征zs组成。不同器官的异常检测任务场景下，样本图像特征z由器官类别特征zc和连续变化部分的图像空间特征zs组成，其中，zc表示器官分类信息，通过预设分类器将其转换为属于器官k的概率，zs用于描述每张样本正常图像的特征表示。基于类别标签，在zc上施加器官分类约束，以利用类别信息，同时在zs上施加中心约束，以压缩正态分布的特征表示，从而提升异常值识别的准确性和精度。此外，结合初始检测模型原有主干方法本身的约束损失，实现模型训练。相类似的，如图5-8所示，以DPA模型、MemAE模型、GANomaly模型和F-AnoGan模型为初始检测模型，即分别采用上述模型作为异常图像检测模型的主干网络，以它们的原始损失作为第一模型损失，结合上述分类信息的第二模型损失和特征紧凑的第三模型损失构成目标损失函数，进行模型训练。
进一步地，采用三种不同器官的四个基准数据集对目标异常检测模型的异常图像检测性能进行评估。将同一数据集中的图像随机分为三组，以7:1:2的比例进行训练、验证和测试。需要注意的是，基于受试者层面上进行数据划分，来自同一受试者的图像不会同时用于训练和测试，如果二维切片中有病变区域，则赋予异常标签，没有病变的则视为正常图像。训练样本均为正常图像，测试样本中存在正常图像和异常图像。采用的数据集信息如下：
LiTS数据集中收集了130名健康受试者和39名原发性至继发性肝肿瘤和转移患者的肝脏CT图像，实验共使用正常CT切片6319张，异常CT切片1423张。
KiTS19数据集中收集了2010年至2018年期间接受部分或根治性肾切除术的207名健康受试者和62名患者的肾脏CT图像。通过预处理过程，使用了7477个正常切片和1309个异常切片。
COVID数据集是通过合并两个肺部CT数据集:SARS-CoV2 CT扫描数据集和COVID-ct数据集，得到100名健康受试者和40名冠状病毒患者。实验共使用了1389个正常切片和1726个异常切片。
需要说明的，上述数据集中的图像数据均为经受试者授权使用的数据。
进一步地，采用了三个广泛使用的指标进行训练框架评估，包括ROC工作特性的曲线下面积(AUC)、f1评分和准确性(ACC)。根据验证集的f1分进行网格搜索，寻找最优阈值。对于这三个指标，分数越高表征性能越好。用不同的随机种子进行了三次重复实验，以验证本申请的异常图像检测方法和模型训练框架的鲁棒性。在模型框架中，保持大多数参数与骨干方法(初始检测模型)相同，如优化器和学习率。对于其它参数，z的维度为128，zc的维度设为10，为z的前10维，其余部分为zs，以确保有足够的模型容量来编码每张图像的特征表示。
表1中示出了本申请技术方案的定量结果，在使用不同主干方法的4个实验中(图5-8)，定量结果显示上述三个指标在不同器官上均存在显著改善，表明本申请的技术方案可以有效地提高异常检测性能。此外，原始的主干网络方法需要针对不同的器官训练单独的网络，而本申请技术方案可以使用一个通用网络来识别所有器官的异常，节省了三分之二训练时间。
表1:在LITS、KiTS和COVID数据集上的异常检测性能，示出了三个指标的均值和标准差。
请参考图10，图中示出了样本正常图像和异常图像的异常评分直方图，图中第一行的三张图为原始DPA模型的检测重叠比结果，第二为以DPA为主干网络(初始检测模型)，基于本申请的技术方案(MADDR)进行模型训练得到的目标异常检测模型的检测重叠比结果，重叠比越低，表明检测性能越好，基于该实验结果可知，本申请的技术方案异常检测性能显著提升，有效提高针对多器官异常的识别能力。
此外，采用以下多种方法进行了消融研究：1)以DPA为检测网络，分别基于三种器官训练数据集单独训练DPA；2)结合LiTS和KiTS数据集训练同一个DPA网络；3)基于上述技术方案，引入本申请的器官分类约束；4)基于上述技术方案，引入本申请技术方案的器官分类约束和无特征解纠缠的中心约束(f.d.)(即采用样本图像特征作为预设分类器的输入和第三模型损失计算的输入)；5)引入本申请技术方案的器官分类约束和特征解耦的中心约束(即采用分类特征作为预设分类器的输入，采用图像空间特征作为第三模型损失计算的输入)，训练集为LiTS和KiTS；6)模型框架与5)一致，训练集为LiTS、KiTS和COVID。
表2:以AUC(％)为评价指标的定量消融研究。
结果如表2所示，随着组件的增加，性能稳步提高。相较于采用样本图像特征进行分类约束和中心约束，解耦特征的实验组5)和6)具有更好的性能，降低器官分类约束与中心约束的冲突影响。
综上，本申请的技术方案提出一种可以兼容各种异常检测算法的框架，构建异常检测的通用网络，在只用正常图像数据进行训练的情况下，采用单一的主干网络来检测不同类别的图像异常，如检测不同器官的异常，学习不同类别图像的内在相似性。通过将图像特征分割为两部分，以分别施加图像分类约束和中心约束，并将正常图像的特征表示与中心约束紧密地聚集在一起，充分利用分类信息和主干网络的现有信息的同时，提高特征表示的紧凑性，不仅可以提高网络针对不同类别的异常图像进行同时检测的泛化能力，实现异常图像检测的通用网络以及通用的异常检测模型训练框架，而且还可以提高针对每种类别图像异常检测的性能。
本申请还提供一种异常图像检测模型的训练方法，请参考图11，图11是本申请实施例提供的一种异常图像检测模型的训练方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地，如图11所示，方法可以包括下述步骤S201-S609。
S601：获取样本训练集，样本训练集包括多种预设图像类别对应的样本正常图像和样本正常图像的类别标签；
S603：基于初始检测模型对多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
S605：基于预设分类器对样本图像特征进行分类预测，得到类别预测指标；
S607：根据样本重建图像、类别预测指标、类别标签和样本图像特征确定模型损失；
S609：基于模型损失训练初始检测模型，得到目标异常图像检测模型。
一些实施例中，初始检测模型包括编码器和解码器，S603包括：
S6031：基于编码器对样本正常图像进行特征提取，得到样本图像特征；
S6032：基于解码器对样本图像特征进行解码处理，得到样本重建图像。
一些实施例中，S607包括：
S6071：根据样本重建图像，以及基于样本正常图像和样本图像特征中的至少其一进行异常检测损失处理，得到第一模型损失；
S6072：根据类别预测指标和类别标签进行类别损失处理，得到第二模型损失；
S6073：根据样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失，第三模型损失表征分属于不同预设图像类别的多个样本正常图像的样本图像特征在特征空间内的紧凑程度；
S6074：对第一模型损失、第二模型损失和第三模型损失进行加和处理，得到模型损失。
一些实施例中，S6073包括：
1)基于分属于不同预设图像类别的多个样本正常图像的样本图像特征，确定平均特征；
2)确定样本图像特征与平均特征间的第一特征距离；
3)基于第一特征距离生成第三模型损失。
另一些实施例中，在S605之前，方法还包括S701：对样本图像特征进行特征拆分处理，得到分类特征和图像空间特征。
相应的，S605包括：将分类特征输入预设分类器，得到类别预测指标。
进一步地，S6073包括：
1)基于分属于不同预设图像类别的多个样本正常图像的图像空间特征，确定平均空间特征；
2)确定平均空间特征与图像空间特征间的第二特征距离；
3)基于第二特征距离生成第三模型损失。
本申请实施例还提供了一种异常图像检测装置700，如图12所示，图12示出了本申请实施例提供的一种异常图像检测装置的结构示意图，装置可以包括下述模块。
图像获取模块11：用于获取待检测图像；
图像处理模块12：用于基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像；
图像检测模块13：用于基于重建图像，以及基于待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；
其中，目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
一些实施例中，装置还包括：
样本获取模块：用于在基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像之前，获取样本训练集，样本训练集包括多种预设图像类别对应的样本正常图像和样本正常图像的类别标签；
样本处理模块：用于基于初始检测模型对多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
分类预测模块：用于基于预设分类器对样本图像特征进行分类预测，得到类别预测指标；
损失确定模块：用于根据样本重建图像、类别预测指标、类别标签和样本图像特征确定模型损失；
训练模块：用于基于模型损失训练初始检测模型，得到目标异常图像检测模型。
一些实施例中，初始检测模型包括编码器和解码器，样本处理模块包括：
特征提取子模块：用于基于编码器对样本正常图像进行特征提取，得到样本图像特征；
解码处理子模块：用于基于解码器对样本图像特征进行解码处理，得到样本重建图像。
一些实施例中，损失确定模块包括：
检测损失子模块：用于根据样本重建图像，以及基于样本正常图像和样本图像特征中的至少其一进行异常检测损失处理，得到第一模型损失；
类别损失子模块：用于根据类别预测指标和类别标签进行类别损失处理，得到第二模型损失；
紧凑损失子模块：用于根据样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失，第三模型损失表征分属于不同预设图像类别的多个样本正常图像的样本图像特征在特征空间内的紧凑程度；
加和处理子模块：用于对第一模型损失、第二模型损失和第三模型损失进行加和处理，得到模型损失。
一些实施例中，紧凑损失子模块包括：
平均特征确定单元：用于基于分属于不同预设图像类别的多个样本正常图像的样本图像特征，确定平均特征；
第一特征距离确定单元：用于确定样本图像特征与平均特征间的第一特征距离；
损失生成单元：用于基于第一特征距离生成第三模型损失。
一些实施例中，装置还包括特征拆分模块：用于在基于预设分类器对样本图像特征进行分类预测，得到类别预测指标之前，对样本图像特征进行特征拆分处理，得到分类特征和图像空间特征；
相应的，分类预测模块可以具体用于：将分类特征输入预设分类器，得到类别预测指标。
进一步地，紧凑损失子模块包括：
空间特征确定单元：用于基于分属于不同预设图像类别的多个样本正常图像的图像空间特征，确定平均空间特征；
第二特征距离确定单元：用于确定平均空间特征与图像空间特征间的第二特征距离；
损失生成单元：用于基于第二特征距离生成第三模型损失。
一些实施例中，图像检测模块13包括：
图像差异处理子模块：用于对重建图像和待检测图像进行图像差异处理，得到图像差异指标；
第一异常确定子模块：用于在图像差异指标满足图像差异条件的情况下，确定待检测图像为异常图像。
一些实施例中，图像检测模块13包括：
重建特征提取子模块：用于对重建图像进行特征提取，得到重建图像特征；
特征差异子模块：用于对图像特征和重建图像特征进行特征差异处理，得到特征差异指标；
第二异常确定子模块：用于在特征差异指标满足特征差异条件的情况下，确定待检测图像为异常图像。
本申请实施例还提供了一种异常图像检测模型的训练装置800，如图13所示，图13示出了本申请实施例提供的一种异常图像检测装置的结构示意图，装置可以包括下述模块。
样本获取模块21：用于获取样本训练集，样本训练集包括多种预设图像类别对应的样本正常图像和样本正常图像的类别标签；
样本处理模块22：用于基于初始检测模型对多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
分类预测模块23：用于基于预设分类器对样本图像特征进行分类预测，得到类别预测指标；
损失确定模块24：用于根据样本重建图像、类别预测指标、类别标签和样本图像特征确定模型损失；
训练模块25：用于基于模型损失训练初始检测模型，得到目标异常图像检测模型。
一些实施例中，初始检测模型包括编码器和解码器，样本处理模块22包括：
特征提取子模块：用于基于编码器对样本正常图像进行特征提取，得到样本图像特征；
解码处理子模块：用于基于解码器对样本图像特征进行解码处理，得到样本重建图像。
一些实施例中，损失确定模块包括：
检测损失子模块：用于根据样本重建图像，以及基于样本正常图像和样本图像特征中的至少其一进行异常检测损失处理，得到第一模型损失；
类别损失子模块：用于根据类别预测指标和类别标签进行类别损失处理，得到第二模型损失；
紧凑损失子模块：用于根据样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失，第三模型损失表征分属于不同预设图像类别的多个样本正常图像的样本图像特征在特征空间内的紧凑程度；
加和处理子模块：用于对第一模型损失、第二模型损失和第三模型损失进行加和处理，得到模型损失。
一些实施例中，紧凑损失子模块包括：
平均特征确定单元：用于基于分属于不同预设图像类别的多个样本正常图像的样本图像特征，确定平均特征；
第一特征距离确定单元：用于确定样本图像特征与平均特征间的第一特征距离；
损失生成单元：用于基于第一特征距离生成第三模型损失。
一些实施例中，装置还包括特征拆分模块：用于在基于预设分类器对样本图像特征进行分类预测，得到类别预测指标之前，对样本图像特征进行特征拆分处理，得到分类特征和图像空间特征；
相应的，分类预测模块可以具体用于：将分类特征输入预设分类器，得到类别预测指标。
进一步地，紧凑损失子模块包括：
空间特征确定单元：用于基于分属于不同预设图像类别的多个样本正常图像的图像空间特征，确定平均空间特征；
第二特征距离确定单元：用于确定平均空间特征与图像空间特征间的第二特征距离；
损失生成单元：用于基于第二特征距离生成第三模型损失。
需要说明的是，上述装置实施例与方法实施例基于相同的实施方式。
本申请实施例提供了一种异常图像检测设备，该调度设备可以为终端或服务器，包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的异常图像检测方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及异常图像检测。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图14是本申请实施例提供的一种异常图像检测方法的电子设备的硬件结构框图。如图14所示，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图14所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备900还可包括比图14中所示更多或者更少的组件，或者具有与图14所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，存储介质可设置于电子设备之中以保存用于实现方法实施例中一种异常图像检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的异常图像检测方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
由上述本申请提供的异常图像检测方法、模型训练方法、装置、设备、存储介质、服务器、终端和程序产品，本申请首先获取待检测图像，基于目标异常图像检测模型对待检测图像进行特征提取和图像重建，得到待检测图像对应的图像特征和重建图像；进而基于重建图像，以及基于待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；其中，目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型；如此，基于多种图像类别的正常图像和类别标签作为训练样本，针对同一初始检测模型，在进行特征提取和图像重建的同时结合类别预测，以便通过分类约束充分利用分类信息，进而结合分类信息、特征提取的特征和重建的图像进行模型训练，利用同一目标异常图像检测模型实现不同类别图像的通用异常检测，且无需异常图像作为训练样本，避免长尾问题引入的性能缺陷，协同提升异常检测的可靠性和泛化性能。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种异常图像检测方法，其特征在于，所述方法包括：
获取待检测图像；
基于目标异常图像检测模型对所述待检测图像进行特征提取和图像重建，得到所述待检测图像对应的图像特征和重建图像；
基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；
其中，所述目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
2.根据权利要求1所述的方法，其特征在于，在所述基于目标异常图像检测模型对所述待检测图像进行特征提取和图像重建，得到所述待检测图像对应的图像特征和重建图像之前，所述方法还包括：
获取样本训练集，所述样本训练集包括多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签；
基于所述初始检测模型对所述多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标；
根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失；
基于所述模型损失训练所述初始检测模型，得到所述目标异常图像检测模型。
3.根据权利要求2所述的方法，其特征在于，所述初始检测模型包括编码器和解码器，所述基于所述初始检测模型对所述样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像包括：
基于所述编码器对所述样本正常图像进行特征提取，得到所述样本图像特征；
基于所述解码器对所述样本图像特征进行解码处理，得到所述样本重建图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失包括：
根据所述样本重建图像，以及基于所述样本正常图像和样本图像特征中的至少其一进行异常检测损失处理，得到第一模型损失；
根据所述类别预测指标和类别标签进行类别损失处理，得到第二模型损失；
根据所述样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失，所述第三模型损失表征分属于不同预设图像类别的多个样本正常图像的样本图像特征在特征空间内的紧凑程度；
对所述第一模型损失、所述第二模型损失和所述第三模型损失进行加和处理，得到所述模型损失。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失包括：
基于分属于不同预设图像类别的多个样本正常图像的样本图像特征，确定平均特征；
确定所述样本图像特征与所述平均特征间的第一特征距离；
基于所述第一特征距离生成所述第三模型损失。
6.根据权利要求2-4中任一项所述的方法，其特征在于，在所述基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标之前，所述方法还包括：
对所述样本图像特征进行特征拆分处理，得到分类特征和图像空间特征；
所述基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标包括：
将所述分类特征输入所述预设分类器，得到所述类别预测指标。
7.根据权利要求6所述的方法，其特征在于，根据所述样本图像特征进行基于中心约束的特征紧凑损失处理，得到第三模型损失包括：
基于分属于不同预设图像类别的多个样本正常图像的图像空间特征，确定平均空间特征；
确定所述平均空间特征与所述图像空间特征间的第二特征距离；
基于所述第二特征距离生成所述第三模型损失。
8.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果包括：
对所述重建图像和所述待检测图像进行图像差异处理，得到图像差异指标；
在所述图像差异指标满足图像差异条件的情况下，确定所述待检测图像为异常图像。
9.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果包括：
对所述重建图像进行特征提取，得到重建图像特征；
对所述图像特征和所述重建图像特征进行特征差异处理，得到特征差异指标；
在所述特征差异指标满足特征差异条件的情况下，确定所述待检测图像为异常图像。
10.一种异常图像检测模型的训练方法，其特征在于，所述方法包括：
获取样本训练集，所述样本训练集包括多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签；
基于初始检测模型对所述多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标；
根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失；
基于所述模型损失训练所述初始检测模型，得到目标异常图像检测模型。
11.一种异常图像检测装置，其特征在于，所述装置包括：
图像获取模块：用于获取待检测图像；
图像处理模块：用于基于目标异常图像检测模型对所述待检测图像进行特征提取和图像重建，得到所述待检测图像对应的图像特征和重建图像；
图像检测模块：用于基于所述重建图像，以及基于所述待检测图像和图像特征中的至少其一进行异常图像检测，得到异常图像检测结果；
其中，所述目标异常图像检测模型是以多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签，对初始检测模型和预设分类器进行特征提取、图像重建和类别预测的约束训练得到的模型。
12.一种异常图像检测模型的训练装置，其特征在于，所述装置包括：
样本获取模块：用于获取样本训练集，所述样本训练集包括多种预设图像类别对应的样本正常图像和所述样本正常图像的类别标签；
样本处理模块：用于基于初始检测模型对所述多种预设图像类别的样本正常图像进行特征提取和图像重建，得到样本图像特征和样本重建图像；
分类预测模块：用于基于预设分类器对所述样本图像特征进行分类预测，得到类别预测指标；
损失确定模块：用于根据所述样本重建图像、所述类别预测指标、所述类别标签和所述样本图像特征确定模型损失；
训练模块：用于基于所述模型损失训练所述初始检测模型，得到目标异常图像检测模型。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-9中任一项所述的异常图像检测方法或如权利要求10中所述的异常图像检测模型的训练方法。
14.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-9中任一项所述的异常图像检测方法或如权利要求10中所述的异常图像检测模型的训练方法。
CN202211407948.XA 2022-11-10 2022-11-10 异常图像检测方法、模型训练方法、装置、设备和介质 Pending CN116958020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211407948.XA CN116958020A (zh) 2022-11-10 2022-11-10 异常图像检测方法、模型训练方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211407948.XA CN116958020A (zh) 2022-11-10 2022-11-10 异常图像检测方法、模型训练方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN116958020A true CN116958020A (zh) 2023-10-27

Family

ID=88441567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211407948.XA Pending CN116958020A (zh) 2022-11-10 2022-11-10 异常图像检测方法、模型训练方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116958020A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313900A (zh) * 2023-11-23 2023-12-29 全芯智造技术有限公司 用于数据处理的方法、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313900A (zh) * 2023-11-23 2023-12-29 全芯智造技术有限公司 用于数据处理的方法、设备和介质
CN117313900B (zh) * 2023-11-23 2024-03-08 全芯智造技术有限公司 用于数据处理的方法、设备和介质

Similar Documents

Publication Publication Date Title
CN114398961B (zh) 一种基于多模态深度特征融合的视觉问答方法及其模型
WO2019015246A1 (zh) 图像特征获取
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
US20190205331A1 (en) Image search system, image search method, and program
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
CN115965058B (zh) 神经网络训练方法、实体信息分类方法、装置及存储介质
CN109034370A (zh) 一种基于特征映射剪枝的卷积神经网络精简方法
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN114693624A (zh) 一种图像检测方法、装置、设备及可读存储介质
CN114238329A (zh) 向量相似度计算方法、装置、设备及存储介质
CN113570497A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116958020A (zh) 异常图像检测方法、模型训练方法、装置、设备和介质
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN116958033A (zh) 异常检测方法、模型训练方法、装置、设备和介质
CN111767419A (zh) 图片搜索方法、装置、设备及计算机可读存储介质
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
Gao et al. Data-driven lightweight interest point selection for large-scale visual search
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备
CN115146092A (zh) 特征模型的获取方法、图像处理方法、装置及计算机设备
CN114119351A (zh) 图像处理方法、装置、电子设备及存储介质
CN113704528A (zh) 聚类中心确定方法、装置和设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication