CN111753865A - 基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别 - Google Patents

基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别 Download PDF

Info

Publication number
CN111753865A
CN111753865A CN202010149375.XA CN202010149375A CN111753865A CN 111753865 A CN111753865 A CN 111753865A CN 202010149375 A CN202010149375 A CN 202010149375A CN 111753865 A CN111753865 A CN 111753865A
Authority
CN
China
Prior art keywords
images
authentic
image
real
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149375.XA
Other languages
English (en)
Inventor
拉维·索尼
张敏
马梓力
戈帕尔·B·阿维纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN111753865A publication Critical patent/CN111753865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明题为“基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别”。本发明提供了用于对使用生成式对抗网络(GAN)来生成的现实合成图像的深度神经网络(DNN)识别的技术。根据一个实施方案，描述了一种系统，该系统可以包括存储计算机可执行部件的存储器以及执行存储在存储器中的计算机可执行部件的处理器。计算机可执行部件可以包括第一提取部件，该第一提取部件提取被分类为非真实而不是真实的合成图像的子集，其中合成图像的子集使用GAN模型来生成。计算机可执行部件还可以包括训练部件，该训练部件采用合成图像的子集和真实图像来训练DNN模型以将使用GAN模型来生成的合成图像分类为真实或非真实。

Description

基于深度神经网络的对使用生成式对抗网络来生成的现实合 成图像的识别
技术领域
本专利申请整体涉及人工智能图像分析，并且更具体地讲，涉及用于采用深度神经网络(DNN)来识别使用生成式对抗网络(GAN)来生成的现实合成图像的计算机实现的技术。
发明内容
以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施方案中，提供了采用DNN以识别使用GAN来生成的现实合成图像的系统、计算机实现方法、装置和/或计算机程序产品。
根据一个实施方案，一种系统可包括存储计算机可执行部件的存储器以及执行存储在存储器中的计算机可执行部件的处理器。计算机可执行部件可以包括第一提取部件，该第一提取部件提取被分类为非真实而不是真实的合成图像的子集，其中合成图像的子集使用GAN模型来生成。计算机可执行部件还可以包括训练部件，该训练部件采用合成图像的子集和真实图像来训练DNN网络模型以将使用GAN模型来生成的合成图像分类为真实或非真实。在一个或多个实施方案中，DNN包括非常深的卷积神经网络。
在各种具体实施中，计算机可执行部件还包括：使用GAN模型来生成第一合成图像的合成图像生成器，以及将第一合成图像标记为真实或非真实的注释部件。关于这些具体实施，其中第一提取部件响应于将包括在子集中的相应合成图像标记为非真实而从第一合成图像提取合成图像的子集。在一些实施方案中，注释部件基于接收到将第一合成图像分类为真实或非真实的手动输入来标记第一合成图像。
在一个或多个实施方案中，合成图像生成器还使用GAN模型来生成第二合成图像，并且计算机可执行部件还包括采用DNN模型以将第二合成图像分类为真实或非真实的推断部件。关于这些实施方案，合成图像的子集包括合成图像的第一子集，并且计算机可执行部件还包括第二提取部件，该第二提取部件从第二合成图像提取由推断部件分类为真实而不是非真实的合成图像的第二子集。在一些具体实施中，计算机可执行部件还包括目标模型训练部件，该目标模型训练部件采用合成图像的第二子集来训练机器学习模型以对真实图像执行人工智能分析。例如，在各种实施方案中，第一合成图像、第二合成图像和真实图像包括医学图像，并且目标模型训练部件采用合成图像的第二子集来训练机器学习模型以诊断真实图像中反映的医学状况。
在一些实施方案中，结合系统描述的元件可以不同形式(诸如计算机实现方法、计算机程序产品、或另一种形式)体现。
附图说明
图1示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统的框图，该系统有助于开发深度神经网络(DNN)模型，该模型有助于识别使用GAN来生成的现实合成图像。
图2示出了根据所公开主题的一个或多个实施方案的使用GAN模型来生成的示例性真实和非真实合成医学图像。
图3示出了根据所公开主题的一个或多个实施方案的用于开发DNN模型的示例性非限制性过程的流程图，该DNN模型有助于识别使用GAN来生成的现实合成图像。
图4示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统的框图，该系统有助于采用DNN模型来识别使用GAN模型来生成的现实合成图像。
图5示出了根据所公开主题的一个或多个实施方案的用于采用DNN模型来识别使用GAN模型来生成的现实合成图像的示例性非限制性过程的流程图。
图6示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统的框图，该系统有助于使用现实合成图像来训练机器学习模型以对真实图像进行推断。
图7提供了根据所公开主题的一个或多个实施方案的用于开发DNN模型的示例性非限制性计算机实现方法的流程图，该DNN模型有助于识别使用GAN来生成的现实合成图像。
图8提供了根据所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法的流程图。
图9提供了根据所公开主题的一个或多个实施方案的用于采用DNN模型来识别使用GAN模型来生成的现实合成图像的示例性非限制性计算机实现方法的流程图。
图10提供了根据所公开主题的一个或多个实施方案的示例性非限制性计算机实现方法的流程图，该计算机实现方法用于使用现实合成图像来训练机器学习模型以对真实图像进行推断。
图11示出了示例性非限制性操作环境的框图，在该示例性非限制性操作环境中可有助于本文所述的一个或多个实施方案。
具体实施方式
以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。
本公开提供了有助于使用深度神经网络(DNN)模型来自动识别和提取现实合成图像而不是非现实合成图像的系统、计算机实现方法、装置和/或计算机程序产品，该深度神经网络对真实图像和被分类为非真实的先前识别的合成图像进行训练。合成图像可以包括使用生成式对抗网络(GAN)模型来生成的图像。可以将所识别和提取的现实合成图像与真实图像组合以形成综合训练数据集，该综合训练数据集可以用于训练目标机器学习模型以执行各种自动化图像分析功能。例如，在各种实施方案中，合成图像可以包括使用GAN模型来生成的合成医学图像，并且目标机器学习模型可以包括医学图像分析模型，该医学图像分析模型被配置为自动评估和诊断在真实(例如，非合成)医学图像中反映的医学状况。
在这方面，人工智能(AI)和机器学习(ML)是影响许多行业的正在快速发展的技术领域。机器学习技术(诸如深度神经网络(DNN))的进步最近在各种AI领域中表现出令人印象深刻的性能，有时甚至超过了人类，这些AI领域包括计算机视觉、语音、自然语言处理(NPL)、生物信息学、药物设计、医学图像分析等。这些成就由于计算能力的显著提高以及大规模带注释数据集的可用性而成为可能，从而导致比传统模型更好的推断性能。然而，基于数据驱动的机器学习方法(诸如DNN)的基本问题之一是，最终模型推断能力被用于开发模型的训练数据的范围限制。相对于医学成像领域，由于与访问和使用患者数据相关联的各种规则和隐私限制，因此可能难以获得用于提供不同患者群体中的目标医学状况的综合表示的模型训练的足够医学图像。因此，已经开发了用于生成合成医学图像的技术以增加可用训练图像的数量和分布。
用于生成合成医学图像的一种技术涉及生成式对抗网络(GAN)模型的使用。GAN模型是可用于学习复杂真实世界数据分布的强大潜在变量模型。在计算机视觉中，GAN已成为用于在学习训练图像数据分布后生成看起来现实的样本的主要方法之一。然而，生成高质量合成图像非常具有挑战性。例如，在医疗保健领域中，每名患者及其医疗状况不同于该群体的其余患者。许多变量在图像外观中起着至关重要的作用，诸如病史、家族史、日常活动或工作环境。在GAN模型训练期间，算法的唯一责任是模仿输入数据分布，使得输出数据分布类似于输入数据分布。
已经探索了不同类型的GAN模型以增加输出合成图像的现实质量和分辨率。然而，GAN在实践中可难以训练，并且尽管有改进，但已观察到优化并不会一直引起收敛。一种常见故障模式涉及生成器崩溃，从而仅产生单个样本或一小系列的非常类似样本。尽管一些GAN模型针对用于绝对连续数据和生成器分布的训练已经展示出局部收敛性，但即使实现收敛，生成器也可能将会产生非现实合成图像。这些非现实合成图像可污染训练数据集，并且显著减小对其训练的最终机器学习模型的性能。
所公开的主题提供了用于自动地从训练数据集识别和移除这些看起来非现实的GAN模型生成的合成图像的技术，特别是在GAN模型已展示出收敛的背景下。在一个或多个实施方案中，所公开的技术涉及训练DNN以过滤看起来非现实的合成图像。在一些实施方式中，DNN模型可以包括非常复杂的卷积DNN模型，其是二元分类器。已训练模型可以提供将合成图像分类为真实图像(例如，看起来现实)或非真实图像(例如，看起来非现实)。例如，当应用于医学图像时，已训练DNN模型可以模仿放射科医师，其对看起来现实和非现实的合成医学图像进行分类。在训练DNN模型以按这种方式对合成医学图像进行分类的一些实施方案中，DNN模型在本文中被称为虚拟放射科医师网络(VRN)。
可以将此问题建模为细粒度分类问题。在这方面，可以使用真实(例如，非合成)图像和先前被分类并标记为非真实的非真实合成图像来训练DNN模型。在一些实施方案中，可以使用AI技术从一组GAN模型生成的合成图像中自动识别和选择非真实合成训练图像。例如，可以使用一个或多个有监督、半监督或无监督的学习机学习模型从真实合成图像中识别和提取非真实合成图像。在其他实施方案中，可以手动标记非真实合成训练图像。例如，在其中合成图像包括医学图像的具体实施中，放射科医师和/或非领域专家可以手动查看合成图像并将它们标记为真实或非真实。
一旦有足够的合成训练图像用于非真实类训练，就可以使用真实图像类的训练集中的真实图像来训练DNN模型。然后，已训练的DNN模型可以用于通过以推断模式运行来分离真实和非真实合成图像。然后，所有分类的真实合成图像可以用于增强临床模型的训练数据集以改善其性能。
所公开主题的各种实施方案针对于过滤真实合成医学图像与非真实合成医学图像。这些可以包括与各种不同捕获方式(包括(但不限于)X射线、计算机断层扫描(CT)、乳房X线照相(MG)、磁共振成像(MRI)等)相关联的各种类型的合成医学图像。然而，所公开的技术不限于医学图像。在这方面，所公开的技术可以应用于将基本上基于任何类型的GAN模型的合成图像自动分类为真实或非真实。
现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
现在转到附图，图1示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统100的框图，该系统有助于开发DNN模型，该模型用于识别使用GAN来生成的现实合成图像。本文描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。
例如，系统100包括合成图像生成模块102和DNN开发模块112。合成图像生成模块102和DNN开发模块112可以分别是并且包括存储在与一个或多个机器(未示出)相关联的存储器(未示出)中的机器可执行部件。存储器可以进一步可操作地耦接到至少一个处理器(未示出)，使得至少一个处理器可以执行部件(例如，合成图像生成模块102、DNN开发模块112、以及与其相关联的部件)以执行所描述的操作。所述存储器和处理器以及其他合适的计算机或基于计算的元件的示例可以参考图11找到，并且可以结合实现关于图1或本文公开的其他附图所示和所述的一个或多个系统或部件来使用。
系统100和/或系统100或本文公开的其他系统的一个或多个部件可以用于使用硬件和/或软件来解决本质上是高度技术性的、不是抽象的、并且不能作为一系列精神行为由人类执行的问题。在这方面，系统100和/或系统100的部件可以采用GAN模型(例如，GAN模型108)来生成合成图像并进一步训练DNN模型(例如，DNN模型126)以自动识别和提取现实合成图像，而不是看起来非现实的合成图像。这些DNN模型选择的真实合成图像可以用于进一步临床模型训练。先前的解决方案涉及要求领域专家(例如，在医学图像的背景下的放射科医师)或非领域专家基于视觉观察来手动查看和分离真实或非真实的合成图像。然后，他们选择真实图像以进行临床模型训练。然而，这是高度劳动密集的并且因此不是可扩展的解决方案，因为在为不同临床模型训练生成合成图像时，有必要再次查看合成图像。从技术上讲，已训练的GAN模型可以生成可计数的无限合成图像，这些合成图像可以用于增强训练数据集以进行临床AI模型训练。
因此，已训练的DNN模型可以用于适当地过滤这些可计数的无限合成图像并且仅选择真实图像用于进行模型训练。
因此，系统100和/或系统100的部件(以及本文中描述的其他系统)可以通过以有效的自动化方式用看起来现实的合成图像增强训练数据集来促进改善训练数据集的质量和数量。因此，系统100和/或系统100的部件用于改善使用真实合成图像来训练的最终目标模型的性能准确性和特异性。在这方面，系统100和/或系统100的部件或本文所述的其他系统可以用于解决因技术、计算机网络、互联网等的进步而出现的新问题，具体是其中可以使用真实合成图像来增强模型训练和性能的AI解决方案的进步。
在这方面，合成图像生成模块102可以提供生成合成图像。合成图像生成模块102可以包括合成图像生成器部件106、包括潜在随机变量数据104的数据库或数据存储装置、以及GAN模型108。合成图像生成器部件106可以被配置为将GAN模型108应用于潜在随机变量数据104以生成合成图像。例如，在所示的实施方案中，合成图像生成器部件106可以使用GAN模型108和潜在随机变量数据104来生成第一合成图像110。在各种示例性实施方案中，第一合成图像110可以包括合成医学图像。
GAN模型(诸如GAN模型108)可以被配置为在学习训练图像数据分布之后生成看起来现实的合成图像。
GAN通常涉及两个神经网络，即生成式网络和鉴别网络。生成器从潜在代码(例如，潜在随机变量数据104)产生样本(诸如合成图像)。在理想情况下，从潜在代码生成的合成图像的分布应当与训练分布没有区别。由于通常无法设计出告诉情况如何的功能，因此训练鉴别器网络来进行评估。因为神经网络可区分，因此可以使用梯度以将这两个网络转向到正确的方向。生成器网络是主要感兴趣的。鉴别器网络是作为相对较弱分类器的自适应损失函数。一旦已经训练生成器网络，鉴别器网络就被丢弃。在这方面，GAN模型108可以包括被配置为生成合成图像的模型的已训练生成器网络。
在GAN模型训练期间，算法的唯一责任是模仿输入数据分布，使得输出数据分布类似于输入数据分布。然而，GAN在实践中可难以训练，并且尽管有改进，但已观察到优化并不会一直引起收敛。一种常见故障模式涉及生成器崩溃，从而仅产生单个样本或一小系列的非常类似样本。尽管一些GAN模型针对用于绝对连续数据和生成器分布的训练已经展示出局部收敛性，但即使实现收敛，生成器也可能将会产生非现实合成图像。
例如，图2示出了根据所公开主题的一个或多个实施方案的使用GAN模型(例如，GAN模型108)来生成的示例性真实和非真实合成医学图像。图2所示的合成图像由已收敛的GAN模型生成。合成图像分别对应于真实胸部x射线。图像201提供了由GAN模型生成的示例性看起来真实的合成图像，并且图像202-204展示了由相同GAN模型生成的非真实合成图像。通过与图像201的比较可以看出，图像202具有许多不规则性，诸如严重损毁的肺部、肋骨和心脏特征。
图像203和204可能乍看之下似乎非常真实，但它们也具有不可避免的问题，诸如消失的肋骨部分、两个心特征等。
再次参考图1，DNN开发模块112可以接收和处理第一合成图像110以识别非真实合成图像并将其与真实合成图像分离。DNN开发模块112还可以采用非真实合成图像120来训练DNN模型126以自动将合成图像分类为真实或非真实。在所示的实施方案中，DNN开发模块112可以包括注释部件114、第一提取部件116和训练部件122。
注释部件114可以促进将第一合成图像110注释或标记为真实或非真实。在一些实施方案中，注释部件114可以基于接收到将相应图像识别或分类为真实或非真实的用户输入而将第一合成图像标记为真实或非真实。例如，在一些实施方案中，第一合成图像110可以由领域专家(例如，放射科医师)或非领域专家手动查看和注释。通过这些实施方案，注释部件114可以应用标签(例如，元数据)或以其他方式将标签与相应第一合成图像相关联，从而基于手动输入将相应第一合成图像分类为真实或非真实。
在其他实施方案中，注释部件114可以采用AI和一种或多种机器学习技术来将相应第一合成图像110标记为真实或非真实。关于这些实施方案，注释部件114可以包括提供使用一个或多个机器学习模型来自动地(例如，无需人工输入)将第一合成图像110分类为真实或非真实。
例如，一个或多个机器学习类别模型可以包括一个或多个AI/机器学习分类模型，其被配置为识别可用于将合成图像分类为真实或非真实的与合成图像相关联的区别特征。利用这些实施方案，注释部件114可以采用一个或多个机器学习分类模型来将第一合成图像的相应图像分类为真实或非真实，并且然后根据通过使用一个或多个机器学习分类模型而确定的分类来标记相应图像。
在这方面，一个或多个机器学习分类模型可以采用与将合成图像分类为真实或非真实结合的各种分类(显式和/或隐式训练的)方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯置信网络、模糊逻辑、数据融合引擎等)。例如，一个或多个机器学习分类模型可以映射输入属性向量x＝(xl,x2,x4,x4,xn)，以确保输入属于真实或非真实的类别，诸如通过f(x)＝confidence(class)。这种分类可以采用基于概率和/或统计的分析(例如，考虑分析工具和成本)来预测或推断用户期望自动执行的动作。支持向量机(SVM)是可以使用的分类器的示例。SVM通过在可能输入的空间中找到超表面来操作，其中超表面尝试将触发标准与非触发事件分开。直观地，这使得分类对于测试接近但不同于训练数据的数据是正确的。可由注释部件114使用以将第一合成图像110分类和标记为真实或非真实的其他有向和无向模型分类方法可以包括但不限于：朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型和概率分类模型，其提供可采用的不同独立性模式。
本文所用的分类还包括用于开发优先级模型的统计回归。不管将第一合成图像110分类和标记为真实还是非真实的方式如何(例如，使用手动注释输入和/或自动使用一种或多种基于AI的分类技术)，第一提取部件116可以进一步过滤合成图像以分离真实合成图像和非真实合成图像。在各种实施方案中，第一提取部件可以识别和提取被分类/标记为非真实的第一合成图像110的全部(或者在一些具体实施中为一个或多个)并且将它们收集到训练数据集中。在所示的实施方案中，所提取的非真实合成图像在包括(仅)非真实合成图像120的单独数据库中示出。第一提取部件116还可以识别和提取被分类/标记为真实的第一合成图像的全部(或在一些具体实施中为一个或多个)，并且将其添加到目标模型数据集118。例如，目标模型数据集可以包括将用于训练目标模型的所有“良好”图像，诸如被设计为诊断反映在真实(非合成)图像中的医学状况的临床模型。
训练部件122还可以采用非真实合成图像120和真实图像124来训练DNN模型126以将合成图像分类为真实或非真实。与用于训练GAN模型108(其是弱分类器)的鉴别器网络不同，DNN模型126可以包括作为二元分类器的非常深的卷积神经网络。在这方面，训练部件122可以训练DNN模型126以区分使用非真实合成图像120来表示“非真实”类别的非真实合成图像与用于表示真实类别的真实图像(例如，非合成)。例如，在其中非真实合成图像是特定类型(例如，胸部x射线)的医学图像的具体实施中，真实图像124可以包括相同特定类型的真实医学图像。如下文更详细描述的，一旦DNN模型126的训练完成，则DNN模型126可以用于将使用GAN模型108来生成的合成图像自动分类为真实或非真实。
图3示出了根据所公开主题的一个或多个实施方案的用于开发DNN模型(例如，DNN模型126)的示例性非限制性过程300的流程图，该DNN模型有助于识别使用GAN来生成的现实合成图像。在一个或多个实施方案中，过程300提供可由系统100执行以生成DNN模型126的示例性过程。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在302处，可以使用GAN模型108基于潜在随机变量数据104来生成第一合成图像110(例如，经由合成图像生成器部件106)。在304处，可以将第一合成图像110的相应第一合成图像标记为真实或非真实(例如，经由注释部件114)。例如，在一些实施方案中，相应第一合成图像可以被手动查看和注释(例如，由放射科医师或非领域专家)。在其他实施方案中，可以应用一种或多种机器学习技术来将合成图像自动分类为真实或非真实。在306处，可以基于第一合成图像的作为真实或非真实的分类来过滤第一合成图像中的每一个(或在一些具体实施中为一个或多个)。例如，在306处，如果将合成图像分类/标记为真实，则在308处，可以提取真实合成图像(例如，经由第一提取部件116)并且将其添加到目标模型数据集118。
然而，如果在306处，将第一合成图像分类为非真实，则可以提取非真实图像合成图像并且将其添加到非真实图像合成图像120的训练数据集中。一旦有足够的非真实合成图像120(例如，基于限定的最小量或另一个确定性标准)，则在312处，可以(例如，经由训练部件122)训练DNN模型。在这方面，可以使用真实图像124(例如，非合成图像)和非真实合成图像120作为输入来训练DNN模型126以将合成图像分类为真实或非真实。
图4示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统400的框图，该系统有助于采用DNN模型来识别使用GAN模型来生成的现实合成图像。
系统400包括至少一些与系统100相同或类似的部件。在一个或多个实施方案中，系统100可以包括系统400，反之亦然。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
类似于系统100，系统400可以包括合成图像生成模块102和目标模型数据集118。系统400还包括DNN应用模块404，其可以包括推断部件406和第二提取部件408。DNN应用模块404可以是并且包括存储在与一个或多个机器(未示出)相关联的存储器(未示出)中的机器可执行部件。存储器可以进一步可操作地耦接到至少一个处理器(未示出)，使得至少一个处理器可以执行部件(例如，DNN应用模块404和与其相关联的部件)以执行所描述的操作。所述存储器和处理器以及其他合适的计算机或基于计算的元件的示例可以参考图11找到，并且可以结合实现关于图4或本文公开的其他附图所示和所述的一个或多个系统或部件来使用。
DNN应用模块404可以被配置为在训练和开发DNN模型126之后(例如，通过DNN开发模块112)应用该DNN模型，以通过以推断模式运行来分离真实合成图像和非真实合成图像。在这方面，在已经训练DNN模型126之后，合成图像生成模块102可以使用合成图像生成器部件106、GAN模型108和潜在随机变量数据104来生成第二合成图像。推断部件406可以进一步采用DNN模型126以将第二合成图像中的每一个(或者在一些具体实施中为一个或多个)分类为真实或非真实。第二提取部件408可以进一步提取被分类为真实(如图4中描绘的被分类为真实合成图像410)的第二合成图像的全部(或者在一些具体实施中为一个或多个)。这些真实合成图像可以进一步添加到目标模型数据集118中。在一些实施方案中，第二提取部件408可以丢弃被分类为非真实的第二合成图像402。
图5示出了根据所公开主题的一个或多个实施方案的用于采用DNN模型来识别使用GAN模型来生成的现实合成图像的示例性非限制性过程的流程图。在一个或多个实施方案中，过程500提供可由系统400执行以生成包括真实合成图像并且排除非真实合成图像的目标模型数据集(例如，目标模型数据集118)的示例性过程。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在502处，可以使用GAN模型108基于潜在随机变量数据104来生成第二合成图像402(例如，经由合成图像生成器部件106)。在504处，使用DNN模型126，可以将相应第二合成图像402分类为真实或非真实(例如，通过推断部件406)。在506处，可以基于第二合成图像的作为真实或非真实的分类来过滤第二合成图像中的每一个(或在一些具体实施中为一个或多个)。例如，在506处，如果将第二合成图像分类为真实，则在508处，可以提取真实合成图像(例如，经由第二提取部件408)并且将其添加到目标模型数据集118。然而，如果在506处，第二合成图像被分类为非真实，则可以丢弃非真实图像(例如，将其添加到垃圾512)。
图6示出了根据所公开主题的一个或多个实施方案的示例性非限制性系统600的框图，该系统有助于使用现实合成图像来训练机器学习模型以对真实图像进行推断。系统600包括与系统400相同或类似的部件，并增加了目标模型训练模块602和第二真实图像608。在一个或多个实施方案中，系统100可以包括系统600，反之亦然。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
目标模型训练模块602可以是并且包括存储在与一个或多个机器(未示出)相关联的存储器(未示出)中的机器可执行部件。存储器可以进一步可操作地耦接到至少一个处理器(未示出)，使得至少一个处理器可以执行部件(例如，目标模型训练模块602和与其相关联的部件)以执行所描述的操作。所述存储器和处理器以及其他合适的计算机或基于计算的元件的示例可以参考图11找到，并且可以结合实现关于图6或本文公开的其他附图所示和所述的一个或多个系统或部件来使用。
目标模型训练模块602可以包括目标模型训练部件604和目标模型606。目标模型训练部件604被配置为应用包括真实合成图像410的目标模型数据集118来训练目标模型606。例如，在一个实施方案中，目标模型606可以包括机器学习模型，该机器学习模型被配置为识别和/或诊断反映在真实医学图像中(例如，在临床背景下)的医学状况。关于这些实施方案，目标模型数据集118可以包括真实合成医学图像，并且目标模型训练部件604可以训练目标模型606，以便基于在真实合成图像410中反映的医学状况的表示来识别和/或诊断真实医学图像中的医学状况。在一些实施方式中，目标模型数据集118还包括真实图像。在这方面，在其中训练样本的真实医学图像不可用或受限的场景中，真实合成图像410可以用于增加训练图像的大小和分布。因此，可以改善(已训练的)目标模型606的最终性能。
图7提供了根据所公开主题的一个或多个实施方案的示例性非限制性计算机实现方法800的流程图，该方法有助于对使用GAN来生成的现实合成图像的DNN识别。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在702处，可操作地耦接到处理器的系统(例如，系统100等)可以提取被分类为非真实而不是真实的合成图像(例如，非真实合成图像120)的子集(例如，使用第一提取部件116)，其中合成图像的子集使用GAN模型(例如，GAN模型108)来生成(例如，通过合成图像生成模块102)。在702处，系统可以采用合成图像的子集和真实图像(例如，真实图像124)来训练(例如，使用训练部件122)DNN模型(例如，DNN模型126)，以便将使用生成式对抗网络模型来生成的合成图像分类为真实或非真实。
图8提供了根据所公开主题的一个或多个实施方案的另一个示例性非限制性计算机实现方法800的流程图，该方法有助于对使用GAN来生成的现实合成图像的DNN识别。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在802处，可操作地耦接到处理器的系统(例如，系统100等)可以使用GAN模型(例如，GAN模型108)来生成(例如，使用合成图像生成模块102)第一合成图像(例如，第一合成图像110)。在804处，系统可以使用人工智能将第一合成图像分类为真实或非真实。在806处，系统可以提取(例如，使用第一提取部件116)被分类为非真实而不是真实的第一合成图像(例如，非真实合成图像120)的子集(例如，使用第一提取部件116)。在808处，系统可以采用第一合成图像的子集和真实图像(例如，真实图像124)来训练(例如，使用训练部件122)DNN模型(例如，DNN模型126)，以便将使用GAN模型来生成的第二合成图像分类为真实或非真实。
图9提供了根据所公开主题的一个或多个实施方案的另一个示例性非限制性计算机实现方法900的流程图，该方法有助于对使用GAN来生成的现实合成图像的DNN识别。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在902处，可操作地耦接到处理器的系统(例如，系统100和/或系统400)可以基于合成图像的第一子集被分类为非真实而不是真实从第一合成图像(例如，第一合成图像110)提取(例如，使用第一提取部件116)合成图像(例如，非真实合成图像120)的第一子集，其中第一合成图像使用GAN模型(例如，GAN模型108)来生成。在904处，系统可以采用合成图像的第一子集和真实图像(例如，真实图像124)来训练(例如，使用训练部件122)DNN模型(例如，DNN模型126)，以便将使用GAN模型来生成的第二合成图像分类为真实或非真实。在906处，系统可以采用DNN模型将第二合成图像分类为真实或非真实(例如，使用推断部件406)。在908处，系统可以基于合成图像的第二子集被分类为真实而不是非真实从第二合成图像提取(例如，使用第二提取部件408)合成图像(例如，真实合成图像410)的第二子集。
图10提供了根据所公开主题的一个或多个实施方案的另一个示例性非限制性计算机实现方法1000的流程图，该方法有助于对使用GAN来生成的现实合成图像的DNN识别。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
在1002处，可操作地耦接到处理器的系统(例如，系统100、系统400和/或系统600)可以采用第一真实图像(例如，真实图像124)和被分类为非真实的第一合成图像(例如，非真实合成图像120)来训练(例如，使用训练部件122)DNN模型(例如，DNN模型126)以将第二合成图像分类为真实或非真实，其中第一合成图像和第二合成图像包括使用GAN模型(例如，GAN模型108)来生成的合成图像。在1004处，系统可以采用DNN模型将第二合成图像分类为真实或非真实(例如，使用推断部件406)。在1006处，系统可以提取(例如，使用第二提取部件408)被分类为真实的第二合成图像的子集(例如，真实合成图像410)。在1008处，系统可以采用第二合成图像的子集来训练(例如，使用目标模型训练部件604)目标机器学习模型(例如，目标模型606)以对第二真实图像执行AI分析。
一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处理器执行本发明的方面的计算机可读存储介质(或多个介质)。
计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介质的更具体示例的非穷举列表包括以下项：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)、以及上述项的任何适当组合。如本文所用的，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)、或通过电线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言(包括面向对象的编程语言，诸如Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)、或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
本文参考根据本发明的实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本发明的各方面。可以理解，流程图图示和/或框图的每个框、以及流程图图示和/或框图中的框组合可以由计算机可读程序指令来实现。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，以致使一系列操作步骤在计算机、其他可编程装置、或其他设备上执行以产生计算机实现过程，使得在计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代性具体实施中，框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框组合可以由基于专用硬件的系统来实现，这些系统执行指定功能或动作或执行专用硬件和计算机指令的组合。
结合图11，下文所述的系统和过程可以体现在硬件内，诸如单个集成电路(IC)芯片、多个IC、专用集成电路(ASIC)等。此外，一些或所有过程框在每个过程中出现的顺序不应视为限制性的。相反，应当理解，一些过程框能够以各种顺序执行，并非所有这些顺序都可以在本文中明确示出。
参考图11，用于实现要求保护的主题的各个方面的示例性环境1100包括计算机1102。计算机1102包括处理单元1104、系统存储器1106、编解码器1135和系统总线1108。系统总线1108将包括但不限于系统存储器1106的系统部件耦接到处理单元1104。处理单元1104可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可以用作处理单元1104。
系统总线1108可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线或者使用各种可用总线架构的本地总线，包括但不限于工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子设备(IDE)、VESA本地总线(VLB)、外围部件互连件(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储器卡国际协会总线(PCMCIA)、火线(IEEE 1394)和小型计算机系统接口(SCSI)。
在各种实施方案中，系统存储器1106包括易失性存储器1110和非易失性存储器1112，其可以采用所公开的存储器架构中的一个或多个。基本输入/输出系统(BIOS)(包含在计算机1102内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器1112中。此外，根据本发明，编解码器1135可以包括编码器或解码器中的至少一个，其中编码器或解码器中的至少一个可以由硬件、软件、或硬件和软件的组合组成。
尽管编解码器1135被示为单独的部件，但编解码器1135可以包含在非易失性存储器1112中。以举例说明而非限制的方式，非易失性存储器1112可包括只读存储器(ROM)、可编程RO(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器、3D闪存存储器、或电阻性存储器，诸如电阻性随机存取存储器(RRAM)。在至少一些实施方案中，非易失性存储器1112可以采用一个或多个公开的存储器设备。此外，非易失性存储器1112可以是计算机存储器(例如，与计算机1102或其主板物理集成)或可移除存储器。可以用来实现所公开的实施方案的合适的可移除存储器的示例可以包括安全数字(SD)卡、紧凑型闪存(CF)卡、通用串行总线(USB)记忆棒等。易失性存储器1110包括充当外部高速缓存存储器的随机存取存储器(RAM)，并且在各种实施方案中还可以采用一个或多个公开的存储器设备。以举例说明而非限制的方式，RAM能以多种形式提供，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)和增强型SDRAM(ESDRAM)等。
计算机1102还可以包括可移除/不可移除、易失性/非易失性计算机存储介质。图11示出了例如磁盘存储装置1114。磁盘存储装置1114包括但不限于如磁盘驱动器、固态盘(SSD)、闪存存储器卡或记忆棒的设备。此外，磁盘存储装置1114可以单独或与其他存储介质组合包括存储介质，包括但不限于光盘驱动器，诸如光盘ROM设备(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了便于将磁盘存储装置1114连接到系统总线1108，通常使用可移动或不可移动的接口，诸如接口1116。应当理解，磁盘存储装置1114可以存储与用户相关的信息。此类信息可以存储在服务器处或者提供给服务器或用户设备上运行的应用程序。在一个实施方案中，可以向用户通知(例如，通过一个或多个输出设备1136)存储到磁盘存储装置1114或传输到服务器或应用程序的信息的类型。可以向用户提供选择加入或选择退出通过服务器或应用程序来收集或共享此类信息的机会(例如，通过来自一个或多个输入设备1128的输入)。
应当理解，图11描述了充当用户和合适的操作环境1100中所述的基本计算机资源之间的中介的软件。此类软件包括操作系统1118。可以存储在磁盘存储装置1114上的操作系统1118用于控制和分配计算机1102的资源。应用程序1120利用操作系统1118通过程序模块1124来管理资源，以及存储在系统存储器1106或磁盘存储装置1114上的程序数据1126，诸如引导/关机事务表等。应当理解，要求保护的主题可以用各种操作系统或操作系统的组合来实现。
用户通过输入设备1128将命令或信息输入到计算机1102中。输入设备1128包括但不限于诸如鼠标、轨迹球、触控笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等的指向设备。这些和其他输入设备经由接口端口1130通过系统总线1108连接到处理单元1104。接口端口1130包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备1136使用与输入设备1128相同类型的端口中的一些端口。因此，例如，USB端口可以用于向计算机1102提供输入，并将信息从计算机1102输出到输出设备1136。提供输出适配器1134以示出存在如监视器、扬声器和打印机的一些输出设备1136，以及需要特殊适配器的其他输出设备1136。通过举例说明而非限制的方式，输出适配器1134包括在输出设备1136和系统总线1108之间提供连接手段的视频和声卡。应当指出的是，其他设备或设备的系统提供输入和输出能力，诸如远程计算机1138。
计算机1102可以使用到一个或多个远程计算机(诸如，远程计算机1138)的逻辑连接在联网环境中操作。远程计算机1138可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的设备、对等设备、智能电话、平板电脑或其他网络节点，并且通常包括许多相对于计算机1102描述的元件。出于简洁的目的，仅示出了具有远程计算机1138的存储器存储设备1140。远程计算机1138通过网络接口1142逻辑连接到计算机1102，然后经由通信连接1144连接。
网络接口1142包括有线或无线通信网络，诸如局域网(LAN)和广域网(WAN)和蜂窝网络。LAN技术包括光纤分布式数据接口(FDDI)、铜分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点到点链路、如综合业务数字网络(ISDN)及其上的变体的电路交换网络、分组交换网络和数字用户线(DSL)。
通信连接1144是指用于将网络接口1142连接到总线1108的硬件/软件。虽然为了清楚说明而在计算机1102内示出了通信连接1144，但是其也可以在计算机1102外部。仅出于举例的目的，连接到网络接口1142所需的硬件/软件包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器，以及有线和无线以太网卡、集线器和路由器。
尽管上面已经在一个或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开也可以或者可以与其他程序模块结合实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，PDA、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
如本申请中使用的，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体、或与具有一种或多种特定功能的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以从其上存储有各种数据结构的各种计算机可读介质执行。部件可以诸如根据具有一个或多个数据分组的信号(例如，来自与本地系统、分布式系统中的另一个部件进行交互，和/或经由信号跨网络(诸如互联网)与其他系统进行交互的一个部件的数据)经由本地和/或远程进程进行通信。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件所提供的特定功能的装置，该电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是通过不具有机械零件的电子部件提供特定功能的装置，其中电子部件可以包括处理器或其他装置以执行至少部分地赋予电子部件功能的软件或固件。在一个方面中，部件可以经由例如云计算系统内的虚拟机来仿真电子部件。
此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“X采用A或B”旨在表示任何自然的包含性置换。也就是说，如果X采用A；X采用B；或者X采用A和B两者，则在任何前述情况下都满足“X采用A或B”。此外，在本说明书和附图中使用的冠词“一”和“一个”通常应被解释是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文所用，术语“示例”和/或“示例性”用于表示用作示例、实例或说明，并且旨在是非限制性的。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。
如在本主题说明书中所采用的，术语“处理器”可以基本上指代任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、分立门或晶体管逻辑、分立硬件部件、或被设计成执行本文所述功能的其任意组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件的术语用于指代“存储器部件”、“存储器”中体现的实体、或包括存储器的部件。应当理解，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。作为说明而非限制，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存存储器、或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器可以包括RAM，例如，该RAM可以用作外部高速缓存存储器。作为说明而非限制，RAM可能以多种形式，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)、以及Rambus动态RAM(RDRAM)。另外，本文公开的系统或计算机实现方法的存储器部件旨在包括但不限于包括这些以及任何其他合适类型的存储器。
上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，对于在具体实施方式、权利要求、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包含性的，如在权利要求中用作过渡词时解释“包括”。已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。
在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域普通技术人员而言是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

Claims (20)

1.一种系统，包括：
存储器，所述存储器存储计算机可执行部件；和
处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：
第一提取部件，所述第一提取部件提取被分类为非真实而不是真实的合成图像的子集，其中所述合成图像的子集使用生成式对抗网络模型来生成；以及
训练部件，所述训练部件采用所述合成图像的子集和真实图像来训练深度神经网络模型以将使用所述生成式对抗网络模型来生成的合成图像分类为真实或非真实。
2.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
合成图像生成器，所述合成图像生成器使用所述生成式对抗网络模型来生成第一合成图像；以及
注释部件，所述注释部件将所述第一合成图像标记为真实或非真实，其中所述第一提取部件响应于将包括在所述子集中的相应合成图像标记为非真实而从所述第一合成图像提取所述合成图像的子集。
3.根据权利要求2所述的系统，其中所述注释部件基于接收到将所述第一合成图像分类为真实或非真实的手动输入来标记所述第一合成图像。
4.根据权利要求2所述的系统，其中所述合成图像生成器使用所述生成式对抗网络模型来生成第二合成图像，并且其中所述计算机可执行部件还包括：
推断部件，所述推断部件采用所述深度神经网络模型以将所述第二合成图像分类为真实或非真实。
5.根据权利要求4所述的系统，其中所述合成图像的子集包括合成图像的第一子集，并且其中所述计算机可执行部件还包括：
第二提取部件，所述第二提取部件从所述第二合成图像提取由所述推断部件分类为真实而不是非真实的合成图像的第二子集。
6.根据权利要求5所述的系统，其中所述真实图像包括第一真实图像并且其中所述计算机可执行部件还包括：
目标模型训练部件，所述目标模型训练部件采用所述合成图像的第二子集来训练机器学习模型以对第二真实图像执行人工智能分析。
7.根据权利要求6所述的系统，其中所述第一合成图像、所述第二合成图像、所述第一真实图像和所述第二真实图像包括医学图像，并且其中所述目标模型训练部件采用所述合成图像的第二子集来训练所述机器学习模型以诊断所述第二真实图像中反映的医学状况。
8.根据权利要求6所述的系统，其中所述真实图像包括第一真实图像并且其中所述第二提取部件将所述合成图像的第二子集与第二真实图像组合以形成目标模型训练数据集，并且其中所述计算机可执行部件还包括：
目标模型训练部件，所述目标模型训练部件采用所述目标模型训练数据集来训练机器学习模型以对第三真实图像执行人工智能分析。
9.根据权利要求8所述的系统，其中所述第一合成图像、所述第二合成图像、所述第一真实图像、所述第二真实图像和所述第三真实图像包括医学图像，并且其中所述目标模型训练部件采用所述目标模型训练数据集来训练所述机器学习模型以诊断在所述第三真实图像中反映的医学状况。
10.根据权利要求1所述的系统，其中所述合成图像的子集和所述真实图像包括医学图像。
11.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
推断部件，所述推断部件采用所述深度神经网络模型以将所述合成图像分类为真实或非真实。
12.根据权利要求11所述的系统，其中所述合成图像的子集包括第一子集，其中所述真实图像包括第一真实图像，并且其中所述计算机可执行部件还包括：
第二提取部件，所述第二提取部件从所述第二合成图像提取由所述推断部件分类为真实而不是非真实的合成图像的第二子集；以及
目标模型训练部件，所述目标模型训练部件采用所述合成图像的第二子集来训练机器学习模型以对第二真实图像执行人工智能分析。
13.一种方法，包括：
由可操作地耦接到处理器的系统提取被分类为非真实而不是真实的合成图像的子集，其中所述合成图像的子集使用生成式对抗网络模型来生成；以及
由所述系统采用所述合成图像的子集和真实图像来训练深度神经网络模型以将使用所述生成式对抗网络模型来生成的合成图像分类为真实或非真实。
14.根据权利要求13所述的方法，其中所述深度神经网络模型包括非常深的卷积神经网络。
15.根据权利要求13所述的方法，还包括：
由所述系统使用所述生成式对抗网络模型来生成第一合成图像；以及
由所述系统将所述第一合成图像标记为真实或非真实，其中所述提取包括响应于将包括在所述子集中的相应合成图像标记为非真实而从所述第一合成图像提取所述合成图像的子集。
16.根据权利要求15所述的方法，其中所述标记基于接收到将所述第一合成图像分类为真实或非真实的手动输入。
17.根据权利要求15所述的方法，还包括：
由所述系统使用人工智能将所述第一合成图像分类为真实或非真实，其中所述标记基于所述分类。
18.根据权利要求13所述的方法，还包括：
由所述系统采用所述深度神经网络模型以将所述合成图像分类为真实或非真实。
19.根据权利要求18所述的方法，其中所述合成图像的子集包括第一子集，其中所述真实图像包括第一真实图像，并且其中所述方法还包括：
由所述系统从所述第二合成图像提取由所述深度神经网络模型分类为真实而不是非真实的合成图像的第二子集；以及
由所述系统采用所述合成图像的第二子集来训练机器学习模型以对第二真实图像执行人工智能分析。
20.一种包括可执行指令的机器可读存储介质，当由处理器执行所述可执行指令时促进操作的执行，所述操作包括：
提取被分类为非真实而不是真实的合成图像的子集，其中所述合成图像的子集使用生成式对抗网络模型来生成；以及
使用所述合成图像的子集和真实图像来训练深度神经网络模型以将使用所述生成式对抗网络模型来生成的合成图像分类为真实或非真实。
CN202010149375.XA 2019-03-29 2020-03-05 基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别 Pending CN111753865A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/370,082 US11049239B2 (en) 2019-03-29 2019-03-29 Deep neural network based identification of realistic synthetic images generated using a generative adversarial network
US16/370,082 2019-03-29

Publications (1)

Publication Number Publication Date
CN111753865A true CN111753865A (zh) 2020-10-09

Family

ID=72605937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149375.XA Pending CN111753865A (zh) 2019-03-29 2020-03-05 基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别

Country Status (2)

Country Link
US (2) US11049239B2 (zh)
CN (1) CN111753865A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309068A (zh) * 2020-10-29 2021-02-02 电子科技大学中山学院 一种基于深度学习的森林火灾预警方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11950877B2 (en) * 2019-02-05 2024-04-09 University Of Virginia Patent Foundation System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
US11049239B2 (en) * 2019-03-29 2021-06-29 GE Precision Healthcare LLC Deep neural network based identification of realistic synthetic images generated using a generative adversarial network
US11475246B2 (en) 2019-04-02 2022-10-18 Synthesis Ai, Inc. System and method for generating training data for computer vision systems based on image segmentation
US11243746B2 (en) 2019-07-01 2022-02-08 X Development Llc Learning and using programming styles
CN111401407B (zh) * 2020-02-25 2021-05-14 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
US11908047B2 (en) * 2021-03-11 2024-02-20 Siemens Healthineers Ag Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
CN113205521A (zh) * 2021-04-23 2021-08-03 复旦大学 一种医学影像数据的图像分割方法
WO2022269626A1 (en) * 2021-06-23 2022-12-29 Mimyk Medical Simulations Private Limited System and method for generating ground truth annotated dataset for analysing medical images
US11651554B2 (en) * 2021-07-30 2023-05-16 The Boeing Company Systems and methods for synthetic image generation
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
CN114816513B (zh) * 2022-06-29 2022-09-20 湖南大佳数据科技有限公司 一种网络安全靶场与卫星导航训练系统的融合系统与方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9501707B2 (en) * 2015-04-16 2016-11-22 Xerox Corporation Method and system for bootstrapping an OCR engine for license plate recognition
US9767386B2 (en) * 2015-06-23 2017-09-19 Adobe Systems Incorporated Training a classifier algorithm used for automatically generating tags to be applied to images
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
EP3369036A4 (en) * 2015-10-30 2019-05-22 Microsoft Technology Licensing, LLC DETECTION OF MANIPULATED FACES
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
US11551353B2 (en) * 2017-11-22 2023-01-10 Arterys Inc. Content based image retrieval for lesion analysis
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US10586344B2 (en) * 2018-02-21 2020-03-10 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for feature screening in SLAM
US11132792B2 (en) * 2018-02-22 2021-09-28 Siemens Healthcare Gmbh Cross domain medical image segmentation
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US11030485B2 (en) * 2018-03-30 2021-06-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification
US11056227B2 (en) * 2018-05-23 2021-07-06 Koninklijke Philips N.V. System and method for generating textual descriptions from medical images
US11420075B2 (en) * 2018-09-21 2022-08-23 Wisconsin Alumni Research Foundation System and method for reconstructing image volumes from sparse two-dimensional projection data
US11144748B2 (en) * 2018-12-07 2021-10-12 IOT Technology, LLC. Classification system
US10504504B1 (en) * 2018-12-07 2019-12-10 Vocalid, Inc. Image-based approaches to classifying audio data
US11049239B2 (en) * 2019-03-29 2021-06-29 GE Precision Healthcare LLC Deep neural network based identification of realistic synthetic images generated using a generative adversarial network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309068A (zh) * 2020-10-29 2021-02-02 电子科技大学中山学院 一种基于深度学习的森林火灾预警方法

Also Published As

Publication number Publication date
US11049239B2 (en) 2021-06-29
US20210279869A1 (en) 2021-09-09
US11688518B2 (en) 2023-06-27
US20200311913A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111753865A (zh) 基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别
Huff et al. Interpretation and visualization techniques for deep learning models in medical imaging
Madani et al. Fast and accurate view classification of echocardiograms using deep learning
Stephen et al. An efficient deep learning approach to pneumonia classification in healthcare
Lynch et al. New machine-learning technologies for computer-aided diagnosis
Behrmann et al. Unified fully and timestamp supervised temporal action segmentation via sequence to sequence translation
JP2024500182A (ja) 説明可能なトランスデューサ・トランスフォーマ
US20190122104A1 (en) Building a binary neural network architecture
CN112368712A (zh) 基于注释信息的分类和定位
CN112262395A (zh) 基于注释信息的分类
US11977625B2 (en) Using multimodal model consistency to detect adversarial attacks
Shou et al. Object detection in medical images based on hierarchical transformer and mask mechanism
WO2021052875A1 (en) Systems and methods for incorporating multimodal data to improve attention mechanisms
Logan et al. Deep convolutional neural networks with ensemble learning and generative adversarial networks for Alzheimer’s disease image data classification
CN113711236A (zh) 数据驱动的深度学习模型泛化分析和改进
Zhang et al. Glenet: Boosting 3d object detectors with generative label uncertainty estimation
Borys et al. Explainable AI in Medical Imaging: An overview for clinical practitioners–Saliency-based XAI approaches
Zhang et al. Multiple sclerosis lesion segmentation-a survey of supervised cnn-based methods
Ben Ali et al. Implementing machine learning in interventional cardiology: the benefits are worth the trouble
Nair et al. Deep learning for medical image recognition: open issues and a way to forward
Najdenkoska et al. Uncertainty-aware report generation for chest X-rays by variational topic inference
Santurkar et al. Toward streaming synapse detection with compositional convnets
Kim et al. Towards novel methods for effective transfer learning and unsupervised deep learning for medical image analysis
Placidi et al. Multiple Sclerosis lesions identification/segmentation in Magnetic Resonance Imaging using ensemble CNN and uncertainty classification
Wollek et al. Out‐of‐distribution detection with in‐distribution voting using the medical example of chest x‐ray classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination