CN113592769A - 异常图像的检测、模型的训练方法、装置、设备及介质 - Google Patents
异常图像的检测、模型的训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113592769A CN113592769A CN202110696673.5A CN202110696673A CN113592769A CN 113592769 A CN113592769 A CN 113592769A CN 202110696673 A CN202110696673 A CN 202110696673A CN 113592769 A CN113592769 A CN 113592769A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- training
- generative
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 212
- 238000012549 training Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 123
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 90
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 description 44
- 238000011976 chest X-ray Methods 0.000 description 30
- 230000036541 health Effects 0.000 description 23
- 238000012014 optical coherence tomography Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 241000219793 Trifolium Species 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 4
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 4
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 201000011190 diabetic macular edema Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 206010035664 Pneumonia Diseases 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 208000035977 Rare disease Diseases 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种异常图像的检测、模型的训练方法、装置、设备及介质，涉及计算机视觉领域。应用于包括编码器和解码器的生成式检测模型中，该方法包括：获取待检测的输入图像；调用编码器将输入图像编码为第一特征；调用解码器将第一特征解码为生成图像，以及调用编码器将生成图像重构为第二特征；在第一特征和第二特征之间的误差达到第一阈值的情况下，确定输入图像为异常图像；其中，生成式检测模型是，在输入图像为正常图像的情况下，输入图像与生成图像的误差小于第二阈值的模型。该方法可以在缺乏异常图像样本的情况下使模型具有异常图像的识别能力。
Description
技术领域
本申请涉及计算机视觉领域，特别涉及一种异常图像的检测、模型的训练方法、装置、设备及介质。
背景技术
随着人工智能的发展，图像检测模型被广泛地应用于医学领域的病变图像识别场景中。
相关技术中，在图像检测模型的训练阶段，使用健康图像样本和病变图像样本训练图像检测模型，从而使图像检测模型能够分辨健康图像和病变图像。在应用阶段，将目标图像输入图像检测模型，得到图像监测模型对目标图像的检测结果，检测结果为健康或病变。
但在医学领域中，有许多罕见病的病变图像样本难以采集，导致图像检测模型缺乏对罕见病的病变图像的识别能力。
发明内容
本申请实施例提供了一种异常图像的检测、模型的训练方法、装置、设备及介质，可以在缺乏异常图像样本的情况下使模型具有异常图像的识别能力。所述技术方案如下。
根据本申请的一方面，提供了一种异常图像的检测方法，应用于包括编码器和解码器的生成式检测模型中，所述方法包括：
获取待检测的输入图像；
调用所述编码器将所述输入图像编码为第一特征；
调用所述解码器将所述第一特征解码为输出图像，以及调用所述编码器将所述输出图像重构为第二特征；
在所述第一特征和所述第二特征之间的误差达到第一阈值的情况下，确定所述输入图像为异常图像；
其中，所述生成式检测模型是，在所述输入图像为正常图像的情况下，所述输入图像与所述输出图像的误差小于第二阈值的模型。
根据本申请的另一方面，提供了一种生成式检测模型的训练方法，所述生成式检测模型包括编码器和解码器，所述方法包括：
调用所述编码器将样本图像编码为样本图像特征，调用所述解码器将所述样本图像特征解码为还原图像；
调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果，调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
根据本申请的另一方面，提供了一种异常图像的检测装置，所述装置存储有包括编码器和解码器的生成式检测模型，所述装置包括：
获取模块，用于获取待检测的输入图像；
编码模块，用于调用所述编码器将所述输入图像编码为第一特征；
解码模块，用于调用所述解码器将所述第一特征解码为输出图像，以及调用所述编码器将所述输出图像重构为第二特征；
确定模块，用于在所述第一特征和所述第二特征之间的误差达到第一阈值的情况下，确定所述输入图像为异常图像；
其中，所述生成式检测模型是，在所述输入图像为正常图像的情况下，所述输入图像与所述输出图像的误差小于第二阈值的模型。
根据本申请的另一方面，提供了一种生成式检测模型的训练装置，所述生成式检测模型包括编码器和解码器，所述装置包括：
训练编码模块，用于调用所述编码器将样本图像编码为样本图像特征，调用所述解码器将所述样本图像特征解码为还原图像；
训练解码模块，用于调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
训练图像判别模块，用于调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果；
训练特征判别模块，用于调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
训练对抗训练模块，用于基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的异常图像的检测方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的异常图像的检测方法。
根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的异常图像的检测方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过训练生成式检测模型在输入图像为正常图像的情况下，能够根据输入的输入图像，输出与输入图像误差小于阈值的输出图像。利用正常图像作为训练样本训练生成式检测模型，使生成式检测模型能够准确学习正常图像的图像特征，并根据图像特征恢复出正常图像。当异常图像输入生成式检测模型时，生成式检测模型无法根据异常图像的特征恢复出异常图像。因此，在应用阶段，当根据输入图像编码得到的第一特征，以及根据输出图像编码得到的第二特征之间的误差大于阈值，则可以判定输入图像为异常图像，进而完成对异常图像的检测。该方法无需使用异常图像的训练样本，也可以训练生成式检测模型获得识别异常图像的能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机设备的框图；
图2是本申请另一个示例性实施例提供的异常图像的检测方法的方法流程图；
图3是本申请另一个示例性实施例提供的生成式检测模型的应用示意图；
图4是本申请另一个示例性实施例提供的生成式检测模型的训练方法的方法流程图；
图5是本申请另一个示例性实施例提供的生成式检测模型的训练示意图；
图6是本申请另一个示例性实施例提供的生成式检测模型的训练方法的方法流程图；
图7是本申请另一个示例性实施例提供的生成式检测模型的训练方法的方法流程图；
图8是本申请另一个示例性实施例提供的生成式检测模型的训练示意图；
图9是本申请另一个示例性实施例提供的打乱图像的示意图；
图10是本申请另一个示例性实施例提供的生成式检测模型的训练方法和异常图像的检测方法的方法流程图；
图11是本申请另一个示例性实施例提供的生成式检测模型的训练方法和异常图像的检测方法的方法流程图；
图12是本申请另一个示例性实施例提供的实验结果曲线图；
图13是本申请另一个示例性实施例提供的异常图像的检测装置的框图；
图14是本申请另一个示例性实施例提供的生成式检测模型的训练装置的框图；
图15是本申请另一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括异常图像的检测、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图1示出了本申请一个示例性实施例提供的计算机设备101的示意图，该计算机设备101可以是终端或服务器。
终端可以包括数码相机、智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。在一种可选的实现方式中，本申请提供的图像异常图像的检测方法可以应用于具有异常图像的检测功能的应用程序中，该应用程序可以是：病理图像识别应用程序、图像处理程序、医用辅助应用程序、图像检测应用程序等。可选地，终端上安装有该应用程序的客户端。
示例性的，终端上存储有异常检测模型，当客户端需要使用异常图像的检测功能时，客户端可以调用生成式检测模型进行异常图像的检测。示例性的，生成式检测模型的训练过程可以由终端来完成，也可以由服务器来完成。
终端与服务器之间通过有线或者无线网络相互连接。
终端包括第一存储器和第一处理器。第一存储器中存储有生成式检测模型；上述生成式检测模型被第一处理器调用执行以实现本申请提供的异常图像的检测方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)。
第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(NetworkProcessor，NP)。可选地，第一处理器可以通过运行程序或代码来实现本申请提供的异常图像的检测方法。
服务器包括第二存储器和第二处理器。第二存储器中存储有生成式检测模型；上述生成式检测模型被第二处理器调用来实现本申请提供的异常图像的检测方法。可选地，第二存储器可以包括但不限于以下几种：RAM、ROM、PROM、EPROM、EEPROM。可选地，第二处理器可以是通用处理器，比如，CPU或者NP。
示例性的，本申请提供异常图像的检测方法，可以应用于医学领域的病变图像检测。在生成式检测模型的训练阶段，通过利用健康图像作为训练样本(样本图像)，训练生成式检测模型能够准确提取健康图像的图像特征，并根据图像特征还原出健康图像。在应用阶段，当病变图像输入生成式检测模型时，生成式检测模型则无法准确还原出病变图像，基于此，实现对病变图像的检测。
如图1所示，生成式检测模型包括编码器ME和解码器MD，在生成式检测模型的训练阶段还用到了：特征判别器DF、图像判别器DI和辅助解码器MD’。
在生成式检测模型的训练过程中，计算机设备调用编码器ME将样本图像x映射到特征空间Z中得到样本图像特征z’，之后，调用解码器MD对样本图像特征z’进行图像还原得到还原图像
调用特征判别器DF对图像特征z’和正态分布特征z进行辨别，以进行对抗训练，即让特征判别器DF判断输入的特征为编码器ME得到的样本图像特征z’还是从正态分布中采样得到的正态分布特征z。该方法利用编码器ME和解码器MD在图像域对样本图像x提取特征进行转换不变约束。
此外，该方法还在特征域构建了转换不变正则对图像特征进行约束。计算机设备从正态分布采样得到的正态分布特征z，调用解码器MD对正态分布特征z进行解码得到响应的生成图像x’。接着，调用编码器ME对生成图像x’进行编码得到生成图像特征
调用图像判别器DI对生成的生成图像x’和样本图像x进行辨别，从而使图像判别器DI能够分辨生成图像(fake)和真实采集图像(real)。通过特征域和图像域的转换不变约束，编码器ME所提取的特征能够很好地描述健康图像的特征。
该方法还利用了自监督技术鼓励生成式检测模型从健康图像中尽可能多的提取有用信息。计算机设备采用遮掩，像素打乱和非线性像素转换三种方式中的任意一种对样本图像x进行打乱。将该打乱后的图像记作打乱图像xs。将打乱图像xs作为异常检测模型的输入，经过编码器ME和辅助解码器MD’，得到恢复图像xs’，其中，辅助解码器MD’与解码器MD的网络结构相同、网络参数不同，训练生成式检测模型使恢复图像xs’趋近未被打乱的样本图像x。即未被打乱的样本图像x将作为自监督代理任务的监督信号。
在训练得到生成式检测模型后，在应用阶段，调用编码器ME将输入图像xt编码为第一特征zt；调用解码器MD将第一特征解码zt为输出图像
以及调用编码器MD将输出图像
重构为第二特征
在第一特征zt和第二特征
之间的误差达到第一阈值的情况下，确定输入图像为异常图像。
图2示出了本申请一个示例性实施例提供的异常图像的检测方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。方法包括如下步骤。
步骤201，获取待检测的输入图像。
本申请实施例提供的方法用于检测输入图像为正常图像或异常图像。该方法由计算机设备执行，计算机设备中存储有包括编码器和解码器的生成式检测模型。
生成式检测模型是：在输入图像为正常图像的情况下，输入图像与输出图像的误差小于第二阈值的模型。
示例性的，生成式检测模型是使用正常图像作为训练样本集训练得到的检测模型，生成式检测模型用于识别正常图像上的图像特征，根据图像特征还原正常图像。当将异常图像输入生成式检测模型时，生成式检测模型无法准确提取异常图像的图像特征，也就无法准确还原出异常图像。因此，可以将输入图像输入生成式检测模型，根据生成式检测模型的输出结果是否与输入图像相匹配来确定输入图像是否为异常图像。
示例性的，生成式检测模型在应用阶段包括编码器和解码器；或，生成式检测模型在应用阶段包括两个相同的编码器，以及一个解码器。
其中，编码器和解码器是为深度学习网络模型，例如，编码器和解码器可以是卷积神经网络(Convolutional Neural Network，CNN)。本申请实施例对编码器和解码器的网络结构不加以限定。
输入图像属于正常图像(健康图像)或异常图像(病变图像)。
正常图像和异常图像是从一个分类为对对图像的进行分类得到的两个类别。采用任意一种分类维度皆可将图像分为两个类别，两个类别的类别名称可以分别称为正常图像和异常图像。进一步的，正常图像是两种类别中较容易获取样本集的图像，异常图像是两种类别中较难获取样本集的图像。在将本实施例提供的方法应用于医学领域的病变识别场景中时，正常图像可以是指不具有病变区域的健康图像，异常图像可以是指具有病变区域的病变图像。
在另一种应用场景中，可以将本实施例提供的方法应用于识别罕见物品的场景中，此时，正常图像是指不包含罕见物品的常见图像，异常图像是指包含罕见物品的罕见图像。例如，罕见物品可以是四叶草，则，正常图像是指不包含四叶草的三叶草图像，异常图像是指包含四叶草的四叶草图像。
输入图像为真实图像，例如，输入图像是通过拍摄获得的真实图像，或，通过扫描获得的真实图像。即，输入图像是通过自然规律获取到的图像。
步骤202，调用编码器将输入图像编码为第一特征。
例如，如图3所示，计算机设备调用编码器ME对输入图像xt进行特征提取，得到输入图像xt的第一特征zt。
步骤203，调用解码器将第一特征解码为输出图像，以及调用编码器将输出图像重构为第二特征。
例如，如图3所示，计算机设备调用解码器MD对第一特征zt进行解码，得到输出图像
调用编码器ME对输出图像
进行特征提取得到第二特征
输出图像是生成式检测模型根据输入图像的第一特征自动生成的图像。
步骤204，在第一特征和第二特征之间的误差达到第一阈值的情况下，确定输入图像为异常图像。
示例性的，计算机设备计算第一特征和第二特征的差值，响应于差值大于第一阈值，确定输入图像为异常图像；响应于差值小于第一阈值，确定输入图像为正常图像。
在一个可选的实施例中，步骤203还可以替换为：调用解码器将第一特征解码为输出图像。步骤204还可以替换为：在输入图像和输出图像的相似度大于第三阈值的情况下，确定输入图像为异常图像。
即，计算机设备计算输入图像和输出图像的图像相似度，响应于图像相似度大于第三阈值，确定输入图像为异常图像；响应于图像相似度小于第三阈值，确定输入图像为正常图像。
综上所述，本实施例提供的方法，通过训练生成式检测模型在输入图像为正常图像的情况下，能够根据输入的输入图像，输出与输入图像误差小于阈值的输出图像。利用正常图像作为训练样本训练生成式检测模型，使生成式检测模型能够准确学习正常图像的图像特征，并根据图像特征恢复出正常图像。当异常图像输入生成式检测模型时，生成式检测模型无法根据异常图像的特征恢复出异常图像。因此，在应用阶段，当根据输入图像编码得到的第一特征，以及根据输出图像编码得到的第二特征之间的误差大于阈值，则可以判定输入图像为异常图像，进而完成对异常图像的检测。该方法无需使用异常图像的训练样本，也可以训练生成式检测模型获得识别异常图像的能力。
示例性的，给出一种训练生成式检测模型的方法。
图4示出了本申请一个示例性实施例提供的生成式检测模型的训练方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。方法包括如下步骤。
步骤310，调用编码器将样本图像编码为样本图像特征，调用解码器将样本图像特征解码为还原图像。
样本图像为正常图像(健康图像)。由多张样本图像组成样本图像集，使用样本图像集作为训练样本训练生成式检测模型。样本图像为真实图像。还原图像为生成式检测模型根据输入的样本图像输出的图像。训练生成式检测模型的训练趋势为：使还原图像趋近于样本图像。
例如，如图5所示，计算机设备调用编码器ME对样本图像x进行编码得到样本图像特征z’，调用解码器MD对样本图像特征z’进行解码得到还原图像
本申请实施例的训练目标是训练一个生成式检测模型，该生成式检测模型能够识别异常图像。
为了实现这一目标，本申请实施例鼓励生成式检测模型通过图像空间和特征空间之间的转换，充分利用正常图像中包含的有用信息。图像空间和特征空间有两个对抗性重建过程，具体来说，编码器转换样本图像得到样本图像特征，而解码器将样本图像特征重构回还原图像。本实施例提供的方法还分别为图像空间和特征空间引入了两个对抗性判别器。此外，本实施例提供的方法还提出了一个具有代理恢复任务的自监督学习模块，以鼓励生成式检测模型从正常图像中深入挖掘有用的、健壮的图像特征来进行特征嵌入。
直观地说，如果编码器生成的正常图像的图像特征紧密地聚集在特征空间中，那么远离正常聚类的异常图像的图像特征很容易被识别。因此，本实施例提供的方法提出了一个中心约束来压缩在特征空间中从正常图像中提取的图像特征的表示簇。特征空间的正则化可以提高生编码器学习到的图像特征的鲁棒性，这是本实施例提供的方法与相关技术中的方法的主要区别。
在应用阶段，对于输入图像，通过测量第一特征和第二特征之间的差异来构造异常评分，根据异常评分鉴别异常图像。
步骤320，调用解码器将从正态分布中采样的正态分布特征解码为生成图像，调用编码器对生成图像重构为生成图像特征。
正态分布特征是从呈现正态分布空间中随机采样出的一组一维特征，正态分布特征呈现正态分布。示例性的，正态分布空间中存在多组呈正态分布的一维特征。例如，可以从呈正态分布的二维图像中，随机采样一行或一列像素值，得到一维的正态分布特征。
例如，如图5所示，计算机设备调用解码器MD对正态分布特征z进行解码得到生成图像x′，调用编码器ME对生成图像x′进行编码得到生成图像特征
生成图像是解码器根据正态分布特征解码得到的图像，为非真实图像。训练生成式检测模型的训练趋势为：使生成图像趋近于样本图像。
步骤330，调用图像判别器判别样本图像和生成图像得到图像判别结果，调用特征判别器判别样本图像特征和正态分布特征得到特征判别结果。
图像判别器用于判别：真实的样本图像，和，根据正态分布特征生成的生成图像。图像判别器用于与解码器进行对抗训练，使解码器能够根据正态分布特征生成贴近真实图像的生成图像。
特征判别器用于判别：根据真实的样本图像编码得到的样本图像特征，和，从正态分布中采样的正态分布特征。特征判别器与编码器进行对抗训练，使编码器能够输出呈正态分布的样本图像特征。
示例性的，图像判别结果包括图像判别器对样本图像的样本图像判别结果、图像判别器对生成图像的生成图像判别结果。示例性的，图像判别器用于将真实的样本图像判别为1，将生成图像判别为0；或，图像判别器用于将真实的样本图像判别为0，将生成图像判别为1。
示例性的，特征判别结果包括特征判别器对样本图像特征的样本特征判别结果、特征判别器对正态分布特征的正态特征判别结果。示例性的，特征判别器用于将样本图像特征判别为0，将正态分布特征判别为1；或，特征判别器用于将样本图像特征判别为1，将正态分布特征判别为0。
步骤340，基于图像判别结果的生成损失和基于特征判别结果的生成损失，交替对生成式检测模型、图像判别器和特征判别器进行对抗训练。
示例性的，如图6所示，步骤340包括步骤341、步骤342和步骤344。
步骤341，固定生成式检测模型的模型参数不变，基于图像判别结果的生成损失训练图像判别器；以及，基于特征判别结果的生成损失训练特征判别器。
基于图像判别结果的生成损失训练图像判别器的公式如下：
其中，
为图像判别器的生成损失，a、b分别设置为0、1，DI为图像判别器，MD为解码器，z为正态分布特征，pz为正态分布空间，x为样本图像，D为样本图像集；MD(z)为生成图像，DI(MD(z))为图像判别器判别生成图像的生成图像判别结果；DI(x)为图像判别器判别样本图像的样本图像判别结果。
即，计算机设备基于图像判别器的生成损失训练图像判别器，图像判别器的生成损失为第一损失和第二损失之和，第一损失为生成图像判别结果与生成图像标签的距离，第二损失为样本图像判别结果与样本图像标签的距离。示例性的，生成图像标签为0，样本图像标签为1。
基于特征判别结果的生成损失训练特征判别器的公式如下：
其中，
为特征判别器的生成损失，a、b分别设置为0、1，DF为特征判别器，ME为编码器，z为正态分布特征，pz为正态分布空间，x为样本图像，D为样本图像集；ME(x)为样本图像特征，DF(ME(x))为特征判别器对样本图像特征的样本特征判别结果；DF(z)为特征判别器对正态分布特征的正态特征判别结果。
即，计算机设备基于特征判别器的生成损失训练特征判别器，特征判别器的生成损失为第三损失和第四损失之和，第三损失为样本特征判别结果与样本特征标签的距离，第四损失为正态特征判别结果与正态特征标签的距离。其中，样本特征标签为0，正态特征标签为1。
步骤342，固定图像判别器和特征判别器的模型参数不变，基于图像判别结果的生成损失和基于特征判别结果的生成损失训练生成式检测模型。
基于图像判别结果的生成损失和基于特征判别结果的生成损失训练生成式检测模型的公式如下：
其中，Ladv为生成式检测模型的生成损失，c设置为1，DI为图像判别器，DF为特征判别器，ME为编码器，MD为解码器，z为正态分布特征，pz为正态分布空间，x为样本图像，D为样本图像集；MD(z)为生成图像，DI(MD(z))为图像判别器判别生成图像的生成图像判别结果；ME(x)为样本图像特征，DF(ME(x))为特征判别器对样本图像特征的样本特征判别结果。
即，计算机设备基于生成式检测模型的生成损失训生成式检测模型，生成式检测模型的生成损失为第五损失和第六损失之和，第五损失为样本特征判别结果与正态特征标签的距离，第六损失为生成图像判别结果与样本图像标签的距离。其中，正态特征标签为1，样本图像标签为1。
步骤344，交替执行上述两个步骤，直至满足训练结束条件。
计算机设备交替执行步骤341和步骤342，直至满足训练结束条件。示例性的，计算机设备可以先执行步骤.341，也可以先执行步骤342，本实施例对此不加以限定。训练结束条件可以是训练次数满足次数阈值，或，生成损失的数值小于阈值。
综上所述，本实施例提供的方法，通过采用图像判别器和特征判别器与生成式检测模型进行对抗训练，使编码器输出的图像特征呈现正态分布，使解码器根据呈正态分布的图像特征能够准确还原出真实图像，进而训练生成式检测模型能够准确学习正常图像中的图像特征，并准确进行正常图像的还原。
示例性的，在固定图像判别器和特征判别器的模型参数不变，训练生成式检测模型时，还可以基于图像域和特征域的转换不变性、图像特征的紧凑性，以及自监督训练的方式，对生成式检测模型的训练进行约束。
图7示出了本申请一个示例性实施例提供的生成式检测模型的训练方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。基于图6所示的示例性实施例，步骤342还可以替换为步骤343，基于上述的多种约束方式，可以将步骤343拆分为步骤343-1至步骤343-5。
1)基于判别器。
步骤343-1，固定图像判别器和特征判别器的模型参数不变，基于图像判别结果的生成损失和基于特征判别结果的生成损失训练生成式检测模型。
步骤343-1同步骤342，在此不再赘述。
2)基于图像域的转换不变性。
基于图像域的转换不变性是指输入编码器的样本图像，与解码器输出的还原图像，应保持一致。
步骤343-2，计算样本图像与还原图像的图像域重建损失；基于图像域重建损失，训练生成式检测模型。
图像域重建损失的公式如下：
其中，
Lstr为图像域重建损失；x为样本图像，
为还原图像；μ为图像的均值，μx为样本图像的均值，
为还原图像的均值；σ为图像的方差，
为样本图像和还原图像的方差，σx为样本图像的方差，
为还原图像的方差，c1为0.01，c2为0.03。
示例性的，SSIM(Structural Similarity，结构相似性)，是一种衡量两幅图像相似度的指标，当两个图像相同时，其SSIM值为1。计算机设备将样本图像与还原图像的相似度，作为重建损失，训练生成式检测模型。
3)基于特征域的转换不变性。
基于图像域的转换不变性是指输入解码器的正态分布特征，与编码器输出的生成图像特征，应保持一致。
步骤343-3，计算正态分布特征与生成图像特征之间的特征域重建损失；基于特征域重建损失，训练生成式检测模型。
特征域重建损失的公式如下：
其中，Lfea为特征域重建损失，
为生成图像特征，z为正态分布特征，MD为解码器，ME为编码器。
示例性的，计算机设备计算正态分布特征与生成图像特征的第一差值，将第一差值的绝对值作为损失，训练生成式检测模型。
4)基于图像特征的紧凑性。
为了使编码器输出的图像特征在特征空间上更紧凑，使用center loss(中心损失)对特征空间进行约束。
步骤343-4，计算样本图像特征距离特征空间的中心点的中心损失，特征空间是编码器对图像进行编码映射后的空间；基于中心损失训练生成式检测模型。
中心损失的公式如下：
其中，Lct为中心损失，z′为样本图像特征，C为特征空间的中心点，ME为编码器，ME()为样本图像特征。
特征空间的中心点是根据多个样本图像在特征空间的样本图像特征，人工确定出的点。
5)自监督训练。
为了鼓励编码器从正常图像中尽可能多的提取有效信息，本实施例还利用了自监督技术对编码器ME进行训练。
步骤343-5，打乱样本图像得到打乱图像；调用编码器将打乱图像编码为打乱图像特征，调用辅助解码器将打乱图像特征解码为恢复图像；基于恢复图像与样本图像之间的自监督损失，训练编码器和辅助解码器。
示例性的，计算机设备将样本图像打乱，得到打乱图像，使编码器从打乱图像中提取图像特征，使辅助解码器根据提取出的特征能够输出打乱前的样本图像，进而提高编码器的特征提取能力。
打乱图像是将样本图像打乱后获得的图像，恢复图像是编码器和辅助解码器根据输入的打乱图像输出的图像。训练编码器和辅助解码器的训练趋势为：使恢复图像趋近于样本图像。
例如，如图8所示，计算机设备将样本图像x打乱得到打乱图像xs，调用编码器ME对打乱图像xs进行编码得到打乱图像特征zs’，调用辅助解码器MD’对打乱图像特征zs’进行解码得到恢复图像xs’。
自监督损失的公式为：
minLself＝|x′ s-x|＝|M′ D(ME(xs))-x|；
其中，Lself为自监督损失，x′ s为恢复图像，x为样本图像，M′ D为辅助解码器，ME为编码器，xs为打乱图像。
示例性的，辅助解码器与解码器的网络结构相同，网络参数不同。在模型初始化时，辅助解码器与解码器相同，随着模型的迭代训练，辅助解码器和解码器的网络参数发生不同的改变。
示例性的，打乱样本图像的方式包括：遮掩样本图像中第一区域的像素，得到打乱图像；或，交换样本图像中第三区域像素和第四区域像素的位置，得到打乱图像；或，将样本图像进行非线性像素转换，得到打乱图像。
例如，如图9所示，选取样本图像401中的第一区域，取第一区域全部像素的像素值平均数，覆盖第一区域的全部像素，实现对样本图像的部分区域的遮掩，得到第一打乱图像402。
再如，如图9所示，选取样本图像401中部分区域，将该部分区域的像素点进行位置互换，得到第二打乱图像403。
再如，如图9所示，对样本图像401中全部或部分像素点的像素值进行非线性变换，得到第三打乱图像404。
基于上述五种用于训练生成式检测模型的损失函数，可以得到生成式检测模型的最终损失函数为：
L＝αLadv+βLstr+γLfea+δLct+ηLself；
其中，α，β，γ，δ，η为损失函数权重。
综上所述，本实施例提供的方法，通过采用图像判别器和特征判别器与生成式检测模型进行对抗训练，使编码器输出的图像特征呈现正态分布，使解码器根据呈正态分布的图像特征能够准确还原出真实图像，进而训练生成式检测模型能够准确学习正常图像中的图像特征，并准确进行正常图像的还原。
本实施例提供的方法，通过基于图像域和特征域的不变性约束，训练生成式检测模型，使生成式检测模型能够根据图像域的输入还原出图像域的输入，根据特征域的输入还原出特征域的输入，使生成式检测模型充分学习正常图像的图像特征，保证正常图像输入生成式检测模型后可以输出相似度极高的还原图像，保证正态分布特征经过解码器和编码器后可以输出相似度极高的生成图像特征，进而提高生成式检测模型的识别准确度。
本实施例提供的方法，通过基于图像特征的紧凑性，使用中心损失训练生成式检测模型，使编码器输出的图像特征在特征空间中向中心点聚拢。如果编码器生成的正常图像的图像特征紧密地聚集在特征空间中，那么远离正常聚类的异常图像的图像特征很容易被识别。因此，使用中心损失来压缩在特征空间中正常图像的图像特征的特征表示簇。特征空间的正则化可以提高编码器学习到的图像特征的鲁棒性。
本实施例提供的方法，通过打乱图像可以提高模型对正常图像的变化的鲁棒性。计算机设备随机选择一种打乱方式来打乱样本图像得到打乱图像，训练编码器和辅助解码器从打乱图像中恢复样本图像，将样本图像作为自监督任务的监视信号。使编码器通过自监督训练从样本图像中提取更多有用的图像特征进行异常检测。
示例性的，给出一种应用本申请提供的生成式检测模型的训练方法和异常图像的检测方法，识别光学相干断层扫描(Optical Coherence Tomography，OCT)的病变图像的示例性实施例。
图10示出了本申请一个示例性实施例提供的生成式检测模型的训练方法和异常图像的检测的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。该方法包括以下步骤：
步骤1001，调用编码器将健康图像编码为健康图像特征，调用解码器将健康图像特征解码为健康还原图像。
示例性的，对于OCT图像可以分为：健康图像和病变图像，其中，健康图像为不具有病变的OCT图像，病变图像为具有病变的OCT图像。病变图像中的病变类型可以包括：drusen(玻璃膜疣)、糖尿病性黄斑水肿(DME)和脉络膜新生血管(CNV)中的至少一种。
步骤1001至步骤1007的方法用于训练生成式检测模型学习健康图像中的图像特征，以训练生成式检测模型能够准确还原健康图像。
步骤1002，调用解码器将从正态分布中采样的正态分布特征解码为健康生成图像，调用编码器对健康生成图像重构为健康生成图像特征。
步骤1003，调用图像判别器判别健康图像和健康生成图像得到图像判别结果，调用特征判别器判别健康图像特征和正态分布特征得到特征判别结果。
步骤1004，基于图像判别结果的生成损失和基于特征判别结果的生成损失，交替对生成式检测模型、图像判别器和特征判别器进行对抗训练。
示例性的，步骤1004的方法可以参照上述实施例中，对步骤340的解释。
在满足训练结束条件时，得到具有识别OCT图像中的病变图像的能力的生成式检测模型。
步骤1005，获取待检测的OTC图像。
步骤1006，调用编码器将OTC图像编码为第一OTC特征。
步骤1007，调用解码器将第一OTC特征解码为输出OTC图像，以及调用编码器将输出OTC图像重构为第二OTC特征。
步骤1008，在第一OTC特征和第二OTC特征之间的误差达到第一阈值的情况下，确定OTC图像为病变图像。
在第一OTC特征和第二OTC特征之间的误差小于第一阈值的情况下，确定OTC图像为健康图像。
综上所述，本实施例提供的方法，由于OCT图像中，病变图像的样本获取较为困难，采用本实施例提供的方法，使用OCT图像的健康图像训练生成式检测模型，使其能够准确地提取健康图像中的健康图像特征，并基于健康图像特征还原出健康图像。在输入病变图像时，生成式检测模型无法准确还原出病变图像，因此，可以基于输入的OTC图像的图像特征与还原得到的输出OTC图像的图像特征之间的误差，判断输入的OTC图像是否为病变图像，进而实现在不需要病变图像样本的情况下，识别OCT图像中的病变图像。
示例性的，给出一种应用本申请提供的生成式检测模型的训练方法和异常图像的检测方法，识别胸部X射线图像的病变图像的示例性实施例。
图11示出了本申请一个示例性实施例提供的生成式检测模型的训练方法和异常图像的检测的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。该方法包括以下步骤：
步骤1101，调用编码器将健康图像编码为健康图像特征，调用解码器将健康图像特征解码为健康还原图像。
示例性的，对于胸部X射线图像可以分为：健康图像和病变图像，其中，健康图像为不具有病变的胸部X射线图像，病变图像为具有病变的胸部X射线图像。病变图像中的病变类型可以为肺炎。
步骤1101至步骤1107的方法用于训练生成式检测模型学习健康图像中的图像特征，以训练生成式检测模型能够准确还原健康图像。
步骤1102，调用解码器将从正态分布中采样的正态分布特征解码为健康生成图像，调用编码器对健康生成图像重构为健康生成图像特征。
步骤1103，调用图像判别器判别健康图像和健康生成图像得到图像判别结果，调用特征判别器判别健康图像特征和正态分布特征得到特征判别结果。
步骤1104，基于图像判别结果的生成损失和基于特征判别结果的生成损失，交替对生成式检测模型、图像判别器和特征判别器进行对抗训练。
示例性的，步骤1104的方法可以参照上述实施例中，对步骤340的解释。
步骤1105，获取待检测的胸部X射线图像。
步骤1106，调用编码器将胸部X射线图像编码为第一胸部X射线特征。
步骤1107，调用解码器将第一胸部X射线特征解码为输出胸部X射线图像，以及调用编码器将输出胸部X射线图像重构为第二胸部X射线特征。
步骤1108，在第一胸部X射线特征和第二胸部X射线特征之间的误差达到第一阈值的情况下，确定胸部X射线图像为病变图像。
在第一胸部X射线特征和第二胸部X射线特征之间的误差小于第一阈值的情况下，确定胸部X射线图像为健康图像。
综上所述，本实施例提供的方法，由于胸部X射线图像中，病变图像的样本获取较为困难，采用本实施例提供的方法，使用胸部X射线图像的健康图像训练生成式检测模型，使其能够准确地提取健康图像中的健康图像特征，并基于健康图像特征还原出健康图像。在输入病变图像时，生成式检测模型无法准确还原出病变图像，因此，可以基于输入的胸部X射线图像的图像特征与还原得到的输出胸部X射线图像的图像特征之间的误差，判断输入的胸部X射线图像是否为病变图像，进而实现在不需要病变图像样本的情况下，识别胸部X射线图像中的病变图像。
在一个示例性的实施例中，使用本申请提供的生成式检测模型，检测两种医学数据集的异常，即：光学相干断层扫描(Optical Coherence Tomography，OCT)和胸部X射线图像。
首先，介绍每个数据集的细节。然后，给出了与现有方法相比较的实验结果。
一、数据集集合
两个公开的数据集，即OCT数据集和胸部X射线数据集。
1、OCT数据集：数据集分为四类，包括正常、drusen(玻璃膜疣)、糖尿病性黄斑水肿(DME)和脉络膜新生血管(CNV)，这四类数据已被分为训练集和测试集以进行公平比较。使用训练集中的17922张健康图像来训练生成式检测模型，并在测试集上评估其性能，该测试集由上述四类图像共769张图像组成。由于数据集中的图像大小不同，将其统一为256像素×256像素大小。
2、胸部X射线数据集：胸部X射线数据集包括从6480名患者收集的正常图像和肺炎图像。为每个图像对应有标签。训练集中有1349张正常图像，测试集中有234张正常图像和390张肺炎图像。与OCT数据集类似，将胸部X射线图像的大小调整为256像素×256像素大小。与OCT图像相比，胸部X线图像包含肺、骨等多种解剖结构，更加复杂。由于病变可能出现在胸部X线图像的不同位置，这类图像增加了准确检测异常的难度。
二、实验装置
使用PyTorch工具箱进行实验。对于上述两个数据集，使用插值法进行图像尺寸的标准化，并将图像的像素值统一到一定的范围内，网络优化采用学习率为0.0002的Adam优化器(参见D.P.Kingma和J.Ba,“Adam:A method for stochastic optimization(Adam:随机优化方法),”arXiv preprint arXiv:1412.6980,2014)。编码器和解码器分别由六个卷积层和反卷积层组成。在每个卷积/反卷积层之后使用InstanceNorm(归一化层)和LeakyReLU(激活函数)。PatchGAN(参见C.Li和M.Wand,“Precomputed real-time texturesynthesis with Markovian generative adversarial networks(利用马尔可夫生成对抗网络进行预计算实时纹理合成),”in European Conference on Computer Vision(欧洲计算机视觉会议).Springer,2016,第702–716页)作为图像判别器。特征判别器为一个多层感知器(MLP)网络。经过200次训练后，网络收敛。生成式检测模型的最终损失函数公式中的α，β，γ，δ，η权重分别设置为1、10、10、10和10。
在实验中，除了使用本申请提供的生成式检测模型的编码器和解码器通过重建误差进行异常检测外，还涉及几种相关技术中的异常检测方法的比较：
·原始的自动编码器(参见C.Zhou和R.C.Paffenroth,“Anomaly detection withrobust deep autoencoders(使用强大的深度自动编码器进行异常检测),”inProceedings of the 23rd ACM SIGKDD International Conference on KnowledgeDiscovery and Data Mining(《第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集》),2017,第665–674页)。
·变分自动编码器(VAE)(参见D.P.Kingma和M.Welling,“Auto-encodingvariational bayes(自动编码变分贝叶斯),”in International Conference onLearning Representations,2014(2014年学习表征国际会议))。
·f-AnoGAN(参见T.Schlegl,P.Seeb¨ock,S.M.Waldstein,G.Langs,和U.SchmidtErfurth,“f-AnoGAN:Fast unsupervised anomaly detection withgenerative adversarial networks(f-AnoGAN：利用生成性对抗网络进行快速无监督异常检测),”Medical Image Analysis(医学图像分析),第54卷,第30–44页,2019)是一个生成性对抗框架，它学习图像和潜在空间之间的映射。f-AnoGAN采用图像重建误差作为异常图像识别的度量。
·Ganomaly(参见S.Akcay,A.Atapour-Abarghouei,和T.P.Breckon,“Ganomaly:Semi-supervised anomaly detection via adversarial training(Breckon著《灵媒：通过对抗训练的半监督异常检测》),”in Asian Conference on Computer Vision(在亚洲计算机视觉会议上).Springer,2018,第622–637页)联合学习图像和潜在空间。该算法采用编解码结构，生成重构的潜在向量，捕获潜在空间中的特征进行异常检测。
采用特征曲线下面积(AUC)、F1评分、平均分类准确率(ACC)和灵敏度(SEN)作为评价指标。
三、与相关技术的比较
如表一所示，比较了本申请提供的生成式检测模型在OCT数据集和胸部X射线数据集上的性能。
表一
1)OCT数据集结果：在OCT数据集上评估生成式检测模型和相关技术中的方法的性能。实验结果见表一。可以观察到，基于图像重建的方法(即，自动编码器、VAE和f-AnoGAN)比使用从图像和潜在空间提取图像特征的方法(即，Ganomaly和生成式检测模型)实现的分类精度相对较低。实验结果表明，图像重建误差可能不足以实现稳健的异常检测，现有的研究也揭示了这一点。
借助于从潜在特征空间中提取的图像特征，生成式检测模型具有更好的异常检测性能，AUC为0.8402。与Ganomaly相比，我们的生成式检测模型制定了一个图像域和特征域的双域约束(即，图像-特征-图像和特征-图像-特征)，并实现了多种约束，以加强生成式检测模型从图像和特征空间中深度挖掘有用信息进行异常检测，从而显著提高了AUC(+0.1240)。中心损失减少了正常图像特征之间的距离，从而放大了异常图像的特征重构误差。
此外，除AUC外，生成式检测模型的F1评分(93.42％)和ACC评分(90.64％)在所有算法中都是最好的，分别比F1评分和ACC评分的亚军自动编码器高7.63％和12.36％。尽管Ganomaly的灵敏度最佳为98.69％，但其特异性显著降低，生成式检测模型的灵敏度(即95.69％)的结果仍具有可比性。我们还绘制了图12中的(a)中的ROC曲线，用于绩效评估。其中，横坐标为错误率，纵坐标为正确率，图中包括自动编码器对应的第一ROC曲线605、VAE对应的第一ROC曲线604、f-AnoGAN对应的第一ROC曲线603、Ganomaly对应的第一ROC曲线602、生成式检测模型的第一ROC曲线601。可以观察到，生成式检测模型的第一ROC曲线601比相关技术中最优的方法有很大的优势。
2)胸片数据集结果：在胸部X射线数据集上进一步测试了生成式检测模型。实验结果见表一。相应的ROC曲线也绘制在图12中的(b)中，其中，横坐标为错误率，纵坐标为正确率，图中包括自动编码器对应的第二ROC曲线705、VAE对应的第二ROC曲线704、f-AnoGAN对应的第二ROC曲线703、Ganomaly对应的第二ROC曲线702、生成式检测模型的第二ROC曲线701。可以观察到，生成式检测模型的第二ROC曲线701比相关技术中最优的方法有很大的优势。如表一所示，与OCT数据集的精度变化趋势类似，我们使用图像和特征信息以及中心约束的方法优于基于图像重建的方法。与OCT数据集上的结果相比，相关技术中的方法的异常检测精度不断下降。性能下降的根本原因是胸部X射线图像的内容比OCT图像更复杂，这增加了特征嵌入的难度，从而不仅降低了基于图像重建的方法(如自动编码器和f-AnoGAN)的性能，而且也降低了图像质量。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
图13示出了本申请的一个示例性实施例提供的异常图像的检测装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，所述装置存储有包括编码器和解码器的生成式检测模型，所述装置包括：
获取模块501，用于获取待检测的输入图像；
编码模块502，用于调用所述编码器将所述输入图像编码为第一特征；
解码模块503，用于调用所述解码器将所述第一特征解码为输出图像，以及调用所述编码器将所述输出图像重构为第二特征；
确定模块504，用于在所述第一特征和所述第二特征之间的误差达到第一阈值的情况下，确定所述输入图像为异常图像；
其中，所述生成式检测模型是，在所述输入图像为正常图像的情况下，所述输入图像与所述输出图像的误差小于第二阈值，的模型。
在一种可选的实施例中，所述装置还包括：
所述编码模块502，还用于调用所述编码器将样本图像编码为样本图像特征；
所述解码模块503，还用于调用所述解码器将所述样本图像特征解码为还原图像；
所述解码模块503，还用于调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
图像判别模块507，用于调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果；
特征判别模块506，用于调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
对抗训练模块508，用于基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
在一种可选的实施例中，所述对抗训练模块508，用于固定所述生成式检测模型的模型参数不变，基于所述图像判别结果的生成损失训练所述图像判别器；以及，基于所述特征判别结果的生成损失训练所述特征判别器；
所述对抗训练模块508，用于固定所述图像判别器和所述特征判别器的模型参数不变，基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失训练所述生成式检测模型；
所述对抗训练模块508，用于交替执行上述两个步骤，直至满足训练结束条件。
在一种可选的实施例中，所述装置还包括：
图像重建训练模块509，用于计算所述样本图像与所述还原图像的图像域重建损失；
所述图像重建训练模块509，用于基于所述图像域重建损失，训练所述生成式检测模型；
在一种可选的实施例中，所述装置还包括：
特征重建训练模块511，用于计算所述正态分布特征与所述生成图像特征之间的特征域重建损失；
所述特征重建训练模块511，用于基于所述特征域重建损失，训练所述生成式检测模型。
在一种可选的实施例中，所述装置还包括：
特征中心训练模块510，用于计算所述样本图像特征距离特征空间的中心点的中心损失，所述特征空间是所述编码器对图像进行编码映射后的空间；
所述特征中心训练模块510，用于基于所述中心损失训练所述生成式检测模型。
在一种可选的实施例中，所述装置还包括：
打乱模块505，用于打乱所述样本图像得到打乱图像；
所述编码模块502，用于调用所述编码器将所述打乱图像编码为打乱图像特征；
所述解码模块503，用于调用辅助解码器将所述打乱图像特征解码为恢复图像；
自监督训练模块512，用于基于所述恢复图像与所述样本图像之间的自监督损失，训练所述编码器和所述辅助解码器。
在一种可选的实施例中，所述打乱模块505，用于遮掩所述样本图像中第一区域的像素，得到所述打乱图像；
或，
所述打乱模块505，用于交换所述样本图像中第三区域像素和第四区域像素的位置，得到所述打乱图像；
或，
所述打乱模块505，用于将所述样本图像进行非线性像素转换，得到所述打乱图像。
图14示出了本申请的一个示例性实施例提供的生成式检测模型的训练装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，所述装置存储有包括编码器和解码器的生成式检测模型，所述装置包括：
训练编码模块902，还用于调用所述编码器将样本图像编码为样本图像特征；
训练解码模块903，还用于调用所述解码器将所述样本图像特征解码为还原图像；
所述训练解码模块903，还用于调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
训练图像判别模块907，用于调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果；
训练特征判别模块906，用于调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
训练对抗训练模块908，用于基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
在一种可选的实施例中，所述训练对抗训练模块908，用于固定所述生成式检测模型的模型参数不变，基于所述图像判别结果的生成损失训练所述图像判别器；以及，基于所述特征判别结果的生成损失训练所述特征判别器；
所述训练对抗训练模块908，用于固定所述图像判别器和所述特征判别器的模型参数不变，基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失训练所述生成式检测模型；
所述训练对抗训练模块908，用于交替执行上述两个步骤，直至满足训练结束条件。
在一种可选的实施例中，所述装置还包括：
训练图像重建训练模块909，用于计算所述样本图像与所述还原图像的图像域重建损失；
所述训练图像重建训练模块909，用于基于所述图像域重建损失，训练所述生成式检测模型；
在一种可选的实施例中，所述装置还包括：
训练特征重建训练模块911，用于计算所述正态分布特征与所述生成图像特征之间的特征域重建损失；
所述训练特征重建训练模块911，用于基于所述特征域重建损失，训练所述生成式检测模型。
在一种可选的实施例中，所述装置还包括：
训练特征中心训练模块910，用于计算所述样本图像特征距离特征空间的中心点的中心损失，所述特征空间是所述编码器对图像进行编码映射后的空间；
所述训练特征中心训练模块910，用于基于所述中心损失训练所述生成式检测模型。
在一种可选的实施例中，所述装置还包括：
训练打乱模块905，用于打乱所述样本图像得到打乱图像；
所述训练编码模块902，用于调用所述编码器将所述打乱图像编码为打乱图像特征；
所述训练解码模块903，用于调用辅助解码器将所述打乱图像特征解码为恢复图像；
训练自监督训练模块912，用于基于所述恢复图像与所述样本图像之间的自监督损失，训练所述编码器和所述辅助解码器。
在一种可选的实施例中，所述训练打乱模块905，用于遮掩所述样本图像中第一区域的像素，得到所述打乱图像；
或，
所述训练打乱模块905，用于交换所述样本图像中第三区域像素和第四区域像素的位置，得到所述打乱图像；
或，
所述训练打乱模块905，用于将所述样本图像进行非线性像素转换，得到所述打乱图像。
图15是本申请一个实施例提供的计算机设备的结构示意图。具体来讲：计算机设备800包括中央处理单元(英文：Central Processing Unit，简称：CPU)801、包括随机存取存储器(英文：Random Access Memory，简称：RAM)802和只读存储器(英文：Read-OnlyMemory，简称：ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
基本输入/输出系统806包括有用于显示信息的显示器808和用于用户帐号输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入/输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入/输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者只读光盘(英文：Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(英文：Erasable Programmable Read-Only Memory，简称：EPROM)、电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(英文：Digital Versatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
根据本申请的各种实施例，计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的异常图像的检测方法或生成式检测模型的训练方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的异常图像的检测方法或生成式检测模型的训练方法。
本申请还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的异常图像的检测方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种异常图像的检测方法，其特征在于，应用于包括编码器和解码器的生成式检测模型中，所述方法包括：
获取待检测的输入图像；
调用所述编码器将所述输入图像编码为第一特征；
调用所述解码器将所述第一特征解码为输出图像，以及调用所述编码器将所述输出图像重构为第二特征；
在所述第一特征和所述第二特征之间的误差达到第一阈值的情况下，确定所述输入图像为异常图像；
其中，所述生成式检测模型是，在所述输入图像为正常图像的情况下，所述输入图像与所述输出图像的误差小于第二阈值的模型。
2.根据权利要求1所述的方法，其特征在于，所述生成式检测模型是采用如下方式训练得到的：
调用所述编码器将样本图像编码为样本图像特征，调用所述解码器将所述样本图像特征解码为还原图像；
调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果，调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
3.根据权利要求2所述的方法，其特征在于，所述基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练，包括：
固定所述生成式检测模型的模型参数不变，基于所述图像判别结果的生成损失训练所述图像判别器；以及，基于所述特征判别结果的生成损失训练所述特征判别器；
固定所述图像判别器和所述特征判别器的模型参数不变，基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失训练所述生成式检测模型；
交替执行上述两个步骤，直至满足训练结束条件。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
计算所述样本图像与所述还原图像的图像域重建损失；
基于所述图像域重建损失，训练所述生成式检测模型。
5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
计算所述正态分布特征与所述生成图像特征之间的特征域重建损失；
基于所述特征域重建损失，训练所述生成式检测模型。
6.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
计算所述样本图像特征距离特征空间的中心点的中心损失，所述特征空间是所述编码器对图像进行编码映射后的空间；
基于所述中心损失训练所述生成式检测模型。
7.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
打乱所述样本图像得到打乱图像；
调用所述编码器将所述打乱图像编码为打乱图像特征，调用辅助解码器将所述打乱图像特征解码为恢复图像；
基于所述恢复图像与所述样本图像之间的自监督损失，训练所述编码器和所述辅助解码器。
8.根据权利要求7所述的方法，其特征在于，所述打乱所述样本图像得到打乱图像，包括：
遮掩所述样本图像中第一区域的像素，得到所述打乱图像；
或，
交换所述样本图像中第三区域像素和第四区域像素的位置，得到所述打乱图像；
或，
将所述样本图像进行非线性像素转换，得到所述打乱图像。
9.一种生成式检测模型的训练方法，其特征在于，所述生成式检测模型包括编码器和解码器，所述方法包括：
调用所述编码器将样本图像编码为样本图像特征，调用所述解码器将所述样本图像特征解码为还原图像；
调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果，调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
10.一种异常图像的检测装置，其特征在于，所述装置存储有包括编码器和解码器的生成式检测模型，所述装置包括：
获取模块，用于获取待检测的输入图像；
编码模块，用于调用所述编码器将所述输入图像编码为第一特征；
解码模块，用于调用所述解码器将所述第一特征解码为输出图像，以及调用所述编码器将所述输出图像重构为第二特征；
确定模块，用于在所述第一特征和所述第二特征之间的误差达到第一阈值的情况下，确定所述输入图像为异常图像；
其中，所述生成式检测模型是，在所述输入图像为正常图像的情况下，所述输入图像与所述输出图像的误差小于第二阈值的模型。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
所述编码模块，还用于调用所述编码器将样本图像编码为样本图像特征；
所述解码模块，还用于调用所述解码器将所述样本图像特征解码为还原图像；
所述解码模块，还用于调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
图像判别模块，用于调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果；
特征判别模块，用于调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
对抗训练模块，用于基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
12.根据权利要求11所述的装置，其特征在于，所述对抗训练模块，用于固定所述生成式检测模型的模型参数不变，基于所述图像判别结果的生成损失训练所述图像判别器；以及，基于所述特征判别结果的生成损失训练所述特征判别器；
所述对抗训练模块，用于固定所述图像判别器和所述特征判别器的模型参数不变，基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失训练所述生成式检测模型；
所述对抗训练模块，用于交替执行上述两个步骤，直至满足训练结束条件。
13.一种生成式检测模型的训练装置，其特征在于，所述生成式检测模型包括编码器和解码器，所述装置包括：
训练编码模块，用于调用所述编码器将样本图像编码为样本图像特征，调用所述解码器将所述样本图像特征解码为还原图像；
训练解码模块，用于调用所述解码器将从正态分布中采样的正态分布特征解码为生成图像，调用所述编码器对所述生成图像重构为生成图像特征；
训练图像判别模块，用于调用图像判别器判别所述样本图像和所述生成图像得到图像判别结果；
训练特征判别模块，用于调用特征判别器判别所述样本图像特征和所述正态分布特征得到特征判别结果；
训练对抗训练模块，用于基于所述图像判别结果的生成损失和基于所述特征判别结果的生成损失，交替对所述生成式检测模型、所述图像判别器和所述特征判别器进行对抗训练。
14.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至8任一项所述的异常图像的检测方法，或，如权利要求9所述的生成式检测模型的训练方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如权利要求1至8任一项所述的异常图像的检测方法，或，如权利要求9所述的生成式检测模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110696673.5A CN113592769B (zh) | 2021-06-23 | 2021-06-23 | 异常图像的检测、模型的训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110696673.5A CN113592769B (zh) | 2021-06-23 | 2021-06-23 | 异常图像的检测、模型的训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113592769A true CN113592769A (zh) | 2021-11-02 |
| CN113592769B CN113592769B (zh) | 2024-04-12 |
Family
ID=78244308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110696673.5A Active CN113592769B (zh) | 2021-06-23 | 2021-06-23 | 异常图像的检测、模型的训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592769B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842342A (zh) * | 2022-05-16 | 2022-08-02 | 网思科技股份有限公司 | 一种基于人工智能的杂乱场景检测方法、装置及相关设备 |
| TWI797857B (zh) * | 2021-11-30 | 2023-04-01 | 鴻海精密工業股份有限公司 | 異常圖像檢測方法、系統、終端設備及存儲介質 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
| CN110555474A (zh) * | 2019-08-28 | 2019-12-10 | 上海电力大学 | 一种基于半监督学习的光伏面板故障检测方法 |
| CN111860485A (zh) * | 2020-07-24 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 图像识别模型的训练方法、图像的识别方法、装置、设备 |
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
| CN112435221A (zh) * | 2020-11-10 | 2021-03-02 | 东南大学 | 一种基于生成式对抗网络模型的图像异常检测方法 |
| US20210092369A1 (en) * | 2019-09-19 | 2021-03-25 | Samsung Electronics Co., Ltd. | Method and electronic device for analyzing image |
| CN112837295A (zh) * | 2021-02-01 | 2021-05-25 | 北京工业大学 | 一种基于生成对抗网络的橡胶手套缺陷检测方法 |
| CN112967251A (zh) * | 2021-03-03 | 2021-06-15 | 网易（杭州）网络有限公司 | 图片检测方法、图片检测模型的训练方法及装置 |
-
2021
- 2021-06-23 CN CN202110696673.5A patent/CN113592769B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
| CN110555474A (zh) * | 2019-08-28 | 2019-12-10 | 上海电力大学 | 一种基于半监督学习的光伏面板故障检测方法 |
| US20210092369A1 (en) * | 2019-09-19 | 2021-03-25 | Samsung Electronics Co., Ltd. | Method and electronic device for analyzing image |
| CN111860485A (zh) * | 2020-07-24 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 图像识别模型的训练方法、图像的识别方法、装置、设备 |
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
| CN112435221A (zh) * | 2020-11-10 | 2021-03-02 | 东南大学 | 一种基于生成式对抗网络模型的图像异常检测方法 |
| CN112837295A (zh) * | 2021-02-01 | 2021-05-25 | 北京工业大学 | 一种基于生成对抗网络的橡胶手套缺陷检测方法 |
| CN112967251A (zh) * | 2021-03-03 | 2021-06-15 | 网易（杭州）网络有限公司 | 图片检测方法、图片检测模型的训练方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| SAMET AKCAY, AMIR ATAPOUR-ABARGHOUEI, AND TOBY P. BRECKON: "GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training", COMPUTER VISION AND PATTERN RECGNITION, 13 November 2018 (2018-11-13), pages 1 - 3 * |
| 朱松豪;赵云斌;: "基于半监督生成式对抗网络的异常行为检测", 南京邮电大学学报(自然科学版), no. 04, 31 August 2020 (2020-08-31) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI797857B (zh) * | 2021-11-30 | 2023-04-01 | 鴻海精密工業股份有限公司 | 異常圖像檢測方法、系統、終端設備及存儲介質 |
| CN114842342A (zh) * | 2022-05-16 | 2022-08-02 | 网思科技股份有限公司 | 一种基于人工智能的杂乱场景检测方法、装置及相关设备 |
| CN114842342B (zh) * | 2022-05-16 | 2023-01-24 | 网思科技集团有限公司 | 一种基于人工智能的杂乱场景检测方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113592769B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stacke et al. | Measuring domain shift for deep learning in histopathology | |
| CN110097130B (zh) | 分类任务模型的训练方法、装置、设备及存储介质 | |
| CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN112507990A (zh) | 视频时空特征学习、抽取方法、装置、设备及存储介质 | |
| Adu et al. | DHS‐CapsNet: Dual horizontal squash capsule networks for lung and colon cancer classification from whole slide histopathological images | |
| Xiang et al. | Towards interpretable skin lesion classification with deep learning models | |
| CN113592769B (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN111242948A (zh) | 图像处理、模型训练方法、装置、设备和存储介质 | |
| CN114638767A (zh) | 基于生成对抗网络的腹腔镜影像除烟方法 | |
| CN112488102A (zh) | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 | |
| CN116958637A (zh) | 图像检测模型的训练方法、装置、设备及存储介质 | |
| CN114298997B (zh) | 一种伪造图片检测方法、装置及存储介质 | |
| CN115170401A (zh) | 图像补全方法、装置、设备及存储介质 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
| CN116091446A (zh) | 食管内窥镜图像的异常检测方法、系统、介质及设备 | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| Huang et al. | Deep Multimodal Fusion Autoencoder for Saliency Prediction of RGB‐D Images | |
| CN111598904B (zh) | 图像分割方法、装置、设备及存储介质 | |
| Galib | Applications of machine learning in nuclear imaging and radiation detection | |
| CN114581396A (zh) | 三维医学图像的识别方法、装置、设备、存储介质及产品 | |
| CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 | |
| CN113192085A (zh) | 三维器官图像分割方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40055313 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |