CN110991636B - 生成式对抗网络的训练方法及装置、图像增强方法及设备 - Google Patents

生成式对抗网络的训练方法及装置、图像增强方法及设备 Download PDF

Info

Publication number
CN110991636B
CN110991636B CN201911113924.1A CN201911113924A CN110991636B CN 110991636 B CN110991636 B CN 110991636B CN 201911113924 A CN201911113924 A CN 201911113924A CN 110991636 B CN110991636 B CN 110991636B
Authority
CN
China
Prior art keywords
discriminator
image data
network
error
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911113924.1A
Other languages
English (en)
Other versions
CN110991636A (zh
Inventor
黄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201911113924.1A priority Critical patent/CN110991636B/zh
Publication of CN110991636A publication Critical patent/CN110991636A/zh
Application granted granted Critical
Publication of CN110991636B publication Critical patent/CN110991636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了生成式对抗网络的训练方法及装置、图像增强方法及设备、电子设备、存储介质。训练方法包括：获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和对应的增强图像数据，所述第二样本集合包括第二图像数据；将第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的输出结果计算第一损失误差，以调整所述生成式对抗网络的网络参数；将第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的输出结果计算第二损失误差，以调整所述生成式对抗网络的网络参数。本发明基于半监督深度学习训练生成式对抗网络，在减轻了样本数据收集难度的同时，提高了生成式对抗网络的精确度和鲁棒性。

Description

生成式对抗网络的训练方法及装置、图像增强方法及设备
技术领域
本发明涉及医学成像技术领域，特别涉及生成式对抗网络的训练方法及装置、图像增强方法及设备、电子设备、存储介质。
背景技术
医学图像增强(Image Enhancement)是一类逆问题，包括图像去噪(Denoising)，伪影去除(Artifact Reduction)，去模糊(De-blur)，图像复原(Recovery)等范畴，属于由果求因的过程。
目前，一般基于深度学习的图像增强算法实现图像增强，传统的基于深度学习的算法需要大量结构信息完全匹配的由低质量图像和高质量图像共同构成的图像对作为训练集合，但是这类图像对在实际应用中是很难获取到的，特别是在医学图像处理领域，例如，对于低剂量CT图像的增强任务而言，不可能实现对同一个病人即进行低剂量扫描也进行正常剂量扫描。
鉴于医学图像的特殊性，医学图像的样本数据获取难度大，不能满足网络训练的样本数据的多样性的要求，导致基于深度学习的图像增强算法建立的模型准确度不高，对医学影像边缘轮廓等细节信息的重建效果不够理想，不利于医生诊断。
发明内容
针对现有方法的不足，本发明提供一种生成式对抗网络的训练方法及装置、图像增强方法及设备、电子设备、存储介质。
具体地，本发明是通过如下技术方案实现的：
第一方面，提供一种用于图像增强的生成式对抗网络的训练方法，所述训练方法包括：
获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和所述第一图像数据的增强图像数据，所述第二样本集合包括第二图像数据；
分别将每一第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，并根据所述第一损失误差调整所述生成式对抗网络的网络参数；
分别将每一第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的第二网络输出结果计算第二损失误差，并根据所述第二损失误差调整所述生成式对抗网络的网络参数。
可选地，所述生成式对抗网络包括生成器和判别器；
将所述第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，包括：
将所述第一图像数据输入所述生成器，得到所述生成器输出的待判别图像数据；
将所述待判别图像数据输入所述判别器，得到所述判别器的第一判别器输出结果；
根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，以根据所述生成器的第一生成器损失误差调整所述生成器的网络参数；
将所述增强图像数据输入判别器，得到所述判别器的第二判别器输出结果；
根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，以根据所述判别器的第一判别器损失误差调整所述判别器的网络参数。
可选地，根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，包括：
根据所述第一判别器输出结果计算第一类误差期望值，根据所述待判别图像数据和所述增强图像数据计算图像误差；
对所述第一类误差期望值和所述图像误差进行加权求和得到所述生成器的第一生成器损失误差；
根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，包括：
根据所述第一判别器输出结果计算第二类误差期望值，根据所述第二判别器输出结果计算第三类误差期望值；
对所述第二类误差期望值和所述第三类误差期望值进行加权求和得到所述判别器的第一判别器损失误差。
可选地，所述生成式对抗网络包括生成器和判别器；
将所述第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的输出结果计算第二损失误差，包括：
将所述第二图像数据输入所述生成器，得到所述生成器输出的待判别图像数据；
将所述待判别图像数据输入所述判别器，得到所述判别器的第三判别器输出结果；
根据所述第三判别器输出结果分别计算所述生成器的第二生成器损失误差以及所述判别器的第二判别器损失误差，以根据所述生成器的第二生成器损失误差调整所述生成器的网络参数，根据所述判别器的第二判别器损失误差调整所述判别器的网络参数。
可选地，根据所述第三判别器输出结果计算所述生成器的第二生成器损失误差，包括：
根据所述第三判别器输出结果计算第一类误差期望值，根据所述第一类误差期望值确定所述生成器的第二生成器损失误差；
根据所述第三判别器输出结果计算所述判别器的第二损失误差，包括：
根据所述第三判别器输出结果计算第二类误差期望值，根据所述第二类误差期望值确定所述判别器的第二判别器损失误差。
可选地，根据所述第一损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第一损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数；
和/或，根据所述第二损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第二损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数。
第二方面，提供一种图像增强方法，所述图像增强方法包括：
获取待增强图像数据；
将所述待增强图像数据输入所述生成式对抗网络，其中，所述生成式对抗网络由第一方面中任一项所述的生成式对抗网络的训练方法得到；
经过所述生成式对抗网络对输入的待增强图像数据进行图像增强，得到增强图像数据。
第三方面，提供一种用于图像增强的生成式对抗网络的训练装置，所述训练装置包括：
获取模块，用于获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和所述第一图像数据的增强图像数据，所述第二样本集合包括第二图像数据；
第一网络训练模块，用于分别将每一第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，并根据所述第一损失误差调整所述生成式对抗网络的网络参数；
第二网络训练模块，用于分别将每一第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的第二网络输出结果计算第二损失误差，并根据所述第二损失误差调整所述生成式对抗网络的网络参数。
可选地，所述生成式对抗网络包括生成器和判别器；
所述第一网络训练模块包括：
第一输入单元，用于将所述第一图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第一判别器输出结果；
第一调整单元，用于根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，以根据所述生成器的第一生成器损失误差调整所述生成器的网络参数；
第二输入单元，用于将所述增强图像数据输入判别器，得到所述判别器的第二判别器输出结果；
第二调整单元，用于根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，以根据所述判别器的第一判别器损失误差调整所述判别器的网络参数。
可选地，在根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差时，所述第一调整单元具体用于：
根据所述第一判别器输出结果计算第一类误差期望值，根据所述待判别图像数据和所述增强图像数据计算图像误差；
对所述第一类误差期望值和所述图像误差进行加权求和得到所述生成器的第一生成器损失误差；
在根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差时，所述第二调整单元具体用于：
根据所述第一判别器输出结果计算第二类误差期望值，根据所述第二判别器输出结果计算第三类误差期望值；
对所述第二类误差期望值和所述第三类误差期望值进行加权求和得到所述判别器的第一判别器损失误差。
可选地，所述生成式对抗网络包括生成器和判别器；
所述第二网络训练模块包括：
第三输入单元，用于将所述第二图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第三判别器输出结果；
第三调整单元，用于根据所述第三判别器输出结果分别计算所述生成器的第二生成器损失误差以及所述判别器的第二判别器损失误差，以根据所述生成器的第二生成器损失误差调整所述生成器的网络参数，根据所述判别器的第二判别器损失误差调整所述判别器的网络参数。
可选地，在根据所述第三判别器输出结果计算所述生成器的第二生成器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第一类误差期望值，并根据所述第一类误差期望值确定所述生成器的第二生成器损失误差；
在根据所述第三判别器输出结果计算所述判别器的第二判别器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第二类误差期望值，并根据所述第二类误差期望值确定所述判别器的第二判别器损失误差。
可选地，在根据所述第一损失误差调整所述生成式对抗网络的网络参数时，所述第一网络训练模块具体用于：
将所述第一损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数；
和/或，在根据所述第二损失误差调整所述生成式对抗网络的网络参数时，所述第二网络训练模块具体用于：
将所述第二损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数。
第四方面，提供一种图像增强系统，所述图像增强系统包括：获取装置、输入装置和生成式对抗网络；
所述获取装置用于获取待增强图像数据；
所述输入装置用于将所述待增强图像数据输入所述生成式对抗网络，其中，所述生成式对抗网络由第三方面中任一项所述的生成式对抗网络的训练装置得到；
所述生成式对抗网络用于对输入的待增强图像数据进行图像增强，得到增强图像数据。
第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述的生成式对抗网络的训练方法。
第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的生成式对抗网络的训练方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例基于半监督深度学习训练生成式对抗网络，也即采用少量有标签(增强图像数据)的图像数据和大量没有标签的图像数据训练生成式对抗网络，在减轻了样本数据收集难度的同时，提高了生成式对抗网络的精确度和鲁棒性，训练完成的生成式对抗网络能够生成视觉更清晰、分辨率更高的正常剂量图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明一示例性实施例示出的一种用于图像增强的生成式对抗网络的训练方法的流程图；
图2是本发明另一示例性实施例示出的一种用于图像增强的生成式对抗网络的训练方法的流程图；
图3是本发明一示例性实施例示出的一种图像增强方法的流程图；
图4是本发明一示例性实施例示出的一种用于图像增强的生成式对抗网络的训练装置的模块示意图；
图5是本发明一示例性实施例示出的一种图像增强系统的模块示意图；
图6是本发明一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本发明一示例性实施例示出的一种用于图像增强的生成式对抗网络(GAN)的训练方法的流程图，该训练方法包括以下步骤：
步骤101、获取第一样本集合和第二样本集合，第一样本集合包括第一图像数据和第一图像数据的增强图像数据，第二样本集合包括第二图像数据。
其中，第一样本集合用于对生成式对抗网络进行有监督学习，第二样本集合用于对生成式对抗网络进行无监督学习。
第一样本集合包括多组图像对，每组图像对包括第一图像数据和增强图像数据。针对一个目标对象，分别采用低剂量的参数进行扫描(例如，采用120kv、10mAs的参数进行CT扫描)和正常剂量的参数进行扫描(例如，采用120kv、20mAs的参数进行CT扫描)，可得到第一图像数据和增强图像数据，第一图像数据一般为低剂量图像，增强图像数据为正常剂量图像。由于很少会对同一个病人即进行低剂量扫描也进行正常剂量扫描，故第一样本集合中的样本数量较少。第二样本集合中的第二图像数据不带增强图像数据，较容易获取。
第一样本集合中的第一图像数据可以为来自相同domain(域)的医疗图像数据，第二样本集合包括大量来自不同domain(域)的医疗图像数据，第一图像数据和第二图像数据可从各个医疗设备收集。所谓不同domain的图像数据也即医疗设备扫描时，采用不同的扫描参数(例如，管电压、管电流)获得的数据。
步骤102、将第一图像数据输入生成式对抗网络，根据增强图像数据与生成式对抗网络的第一网络输出结果计算第一损失误差，并根据第一损失误差调整生成式对抗网络的网络参数。
在一种具体实现方式中，调整生成式对抗网络的网络参数时，将第一损失误差在生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整网络参数。
步骤103、将第二图像数据输入生成式对抗网络，根据生成式对抗网络的第二网络输出结果计算第二损失误差，并根据第二损失误差调整生成式对抗网络的网络参数。
在一种具体实现方式中，调整生成式对抗网络的网络参数时，将第二损失误差在生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整网络参数。
需要说明的是，步骤102与步骤103的执行顺序不限于图1示出的执行顺序；在一种实现方式中，可以先执行步骤103再执行步骤102；在另一种实现方式中，也可以采用第一图像数据与第二图像数据交叉训练的方式。
本实施例中，基于半监督深度学习训练生成式对抗网络，也即采用少量有标签(增强图像数据)的图像数据和大量没有标签的图像数据训练生成式对抗网络，训练完成的生成式对抗网络表征不同剂量图像与正常剂量图像之间的映射关系。本实施例的训练方法，在减轻了样本数据收集难度的同时，提高了生成式对抗网络的精确度和鲁棒性，训练完成的生成式对抗网络能够生成视觉更清晰、分辨率更高的正常剂量图像。
在图1示出的生成式对抗网络的训练方法的流程图的基础上，图2是本发明另一示例性实施例示出的一种用于图像增强的生成式对抗网络的训练方法的流程图，其中，生成式对抗网络包括生成器(G网络)和判别器(D网络)，该训练方法包括以下步骤：
步骤201、获取第一样本集合和第二样本集合，第一样本集合包括第一图像数据和第一图像数据的增强图像数据，第二样本集合包括第二图像数据。
步骤202-1、将第一图像数据输入生成器，得到生成器输出的待判别图像数据。
其中，生成器表征图像数据与增强图像数据之间的映射关系，生成器输出的待判别图像数据即为生成器预测的第一图像数据的增强图像数据。生成器利用卷积操作自身的特点和优势，同时引入激活函数，以增强生成器的非线性拟合能力。
步骤202-2、将待判别图像数据输入判别器，得到判别器的第一判别器输出结果。
步骤202-3、根据增强图像数据、待判别图像数据和第一判别器输出结果计算生成器的第一生成器损失误差，并根据生成器的第一生成器损失误差调整生成器的网络参数。
步骤202-4、将增强图像数据输入判别器，得到判别器的第二判别器输出结果。
步骤202-5、根据第二判别器输出结果和第一判别器输出结果计算判别器的第一判别器损失误差，并根据判别器的第一判别器损失误差调整判别器的网络参数。
可以理解的，模型训练过程中，第一判别器输出结果和第二判别器输出结果也即第一网络输出结果。第一损失误差包括第一生成器损失误差和第一判别器损失误差。
其中，步骤202-1～步骤202-5为对生成式对抗网络进行有监督学习。步骤202-3、步骤202-5中，使用损失函数计算第一损失误差。由于是有监督学习，构建的损失函数包含两部分，第一部分是待判别图像数据与其对应的增强图像数据之间的图像误差，第二部分是根据第一输出结果与判别标准(判别器的输入为真实的增强图像时，输出为1)之间的误差计算的误差期望值，将图像误差和误差期望值进行加权求和，确定最终的损失函数计算公式可以但不限于表示如下：
G＝min{λ*||Networkpredict-label||2+(1-λ)*E[(D(Networkpredict)-1)2]}； (1)
Figure BDA0002273528020000111
其中，公式(1)为进行有监督学习时，生成器的损失函数；公式(2)为进行有监督学习时，判别器的损失函数；Networkpredict表征待判别图像数据；label表征增强图像数据(正常剂量图像数据)；D(label)表示将label输入判别器，判别器的第二输出结果；D(Networkpredict)表示将Networkpredict输入判别器，判别器的第一输出结果；E[(D(Networkpredict)-1)2]表示(D(Networkpredict)-1)2的误差期望值。
步骤203-1、将第二图像数据输入生成器，得到待判别图像数据。
步骤203-2、将待判别图像数据输入判别器，得到判别器的第三判别器输出结果。
步骤203-3、根据第三判别器输出结果分别计算生成器的第二生成器损失误差以及判别器的第二判别器损失误差，并根据第二生成器损失误差调整生成器的网络参数，根据第二判别器损失误差调整判别器的网络参数。
可以理解的，模型训练过程中，第三判别器输出结果也即第二网络输出结果。第二损失误差包括第二生成器损失误差和第二判别器损失误差。
其中，步骤203-1～步骤203-3为对生成式对抗网络进行无监督学习。步骤203-3中，使用损失函数计算第二损失误差。由于是无监督学习，第二样本集合中不包括增强图像数据，构建的损失函数仅包括一部分，即根据第一输出结果与判别标准(判别器输入为真实的增强图像，输出为1)之间的误差计算的误差期望值，确定最终的损失函数计算公式可以但不限于表示如下：
G＝min{E[(D(Networkpredict)-1)2]}； (3)
D＝min{E[(D(Networkpredict))2]}； (4)
其中，公式(3)为进行无监督学习时，生成器的损失函数；公式(4)为进行无监督学习时，判别器的损失函数；E[(D(Networkpredict))2]表示D(Networkpredict)的误差期望。
本实施例中，通过带增强图像数据(Label数据)的图像数据训练网络，网络可以更快速更稳定更准确的确定训练的方向；通过不带增强图像数据的图像数据训练网络，可以从大量的数据中，学习到更准确的数据分布，由此构建精准的、表征不同剂量图像与正常剂量图像之间的映射关系的生成式对抗网络。
重复执行步骤202-1～步骤203-3，在每次迭代训练过程中，使用公式(1)～和公式(4)计算的误差在网络中进行反向传播操作，根据随机梯度下降法，调整生成器的网络参数和判别器的网络参数，直至收敛。
本实施例中，通过定义不同的损失函数，在对生成式对抗网络训练过程中，利用少量带增强图像数据(Label数据)的图像数据同时，充分利用大量无增强图像数据的图像数据，使得无监督学习和有监督学习共享生成式对抗网络的网络参数，实现了领域自适应(domain adaptation)，一方面提高了网络模型的精度，另一方面提升了网络模型的泛化性能。图3是本发明一示例性实施例示出的一种图像增强方法的流程图，该图像增强方法包括：
步骤301、获取待增强图像数据。
其中，待增强图像数据一般为低剂量图像。
步骤302、将待增强图像数据输入生成式对抗网络。
其中，生成式对抗网络由上述任一实施例的生成式对抗网络的训练方法得到。在网络训练阶段，由于通过损失函数对生成式对抗网络的解空间进行了约束，同时生成器产生的图像已经能够混淆判别器的判断，说明生成器生成的图像已经与真实的正常剂量图像一样，即抑制了低剂量图像中的噪声；另一方面，生成器生成的图像也不会出现过平滑问题，因为过平滑的图像与正常剂量图像的差异是很大的，判别器是很容易判别出来的，因此本实施例的生成式对抗网络能够得到边界更清晰，分辨率更高，没有过平滑现象的增强后的正常剂量图像。
步骤303、经过生成式对抗网络对输入的待增强图像数据进行图像增强，得到增强图像数据。
其中，图像增强包括图像去噪、伪影去除、去模糊和图像复原(Recovery)等。
本实施例中，将待增强的低剂量图像输入到训练完成的生成式对抗网络中，即能得到正常剂量图像，从而在医疗设备扫描时，即便降低辐射剂量，也可以获得清晰、分辨率高的图像。
与前述生成式对抗网络的训练方法、图像增强方法实施例相对应，本发明还提供了生成式对抗网络的训练装置、图像增强系统的实施例。
图4是本发明一示例性实施例示出的一种用于图像增强的生成式对抗网络的训练装置的模块示意图，该训练装置包括：获取模块41、第一网络训练模块42和第二网络训练模块43。
获取模块41用于获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和所述第一图像数据的增强图像数据，所述第二样本集合包括第二图像数据；
第一网络训练模块42用于分别将每一第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，并根据所述第一损失误差调整所述生成式对抗网络的网络参数；
第二网络训练模块43用于分别将每一第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的第二网络输出结果计算第二损失误差，并根据所述第二损失误差调整所述生成式对抗网络的网络参数。
可选地，所述生成式对抗网络包括生成器和判别器；
所述第一网络训练模块包括：
第一输入单元，用于将所述第一图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第一判别器输出结果；
第一调整单元，用于根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，以根据所述生成器的第一生成器损失误差调整所述生成器的网络参数；
第二输入单元，用于将所述增强图像数据输入判别器，得到所述判别器的第二判别器输出结果；
第二调整单元，用于根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，以根据所述判别器的第一判别器损失误差调整所述判别器的网络参数。
可选地，在根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差时，所述第一调整单元具体用于：
根据所述第一判别器输出结果计算第一类误差期望值，根据所述待判别图像数据和所述增强图像数据计算图像误差；
对所述第一类误差期望值和所述图像误差进行加权求和得到所述生成器的第一生成器损失误差；
在根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差时，所述第二调整单元具体用于：
根据所述第一判别器输出结果计算第二类误差期望值，根据所述第二判别器输出结果计算第三类误差期望值；
对所述第二类误差期望值和所述第三类误差期望值进行加权求和得到所述判别器的第一判别器损失误差。
可选地，所述生成式对抗网络包括生成器和判别器；
所述第二网络训练模块包括：
第三输入单元，用于将所述第二图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第三判别器输出结果；
第三调整单元，用于根据所述第三判别器输出结果分别计算所述生成器的第二生成器损失误差以及所述判别器的第二判别器损失误差，以根据所述生成器的第二生成器损失误差调整所述生成器的网络参数，根据所述判别器的第二判别器损失误差调整所述判别器的网络参数。
可选地，在根据所述第三判别器输出结果计算所述生成器的第二生成器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第一类误差期望值，并根据所述第一类误差期望值确定所述生成器的第二生成器损失误差；
在根据所述第三判别器输出结果计算所述判别器的第二判别器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第二类误差期望值，并根据所述第二类误差期望值确定所述判别器的第二判别器损失误差。
可选地，在根据所述第一损失误差调整所述生成式对抗网络的网络参数时，所述第一网络训练模块具体用于：
将所述第一损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数；
和/或，在根据所述第二损失误差调整所述生成式对抗网络的网络参数时，所述第二网络训练模块具体用于：
将所述第二损失误差在所述生成式对抗网络中进行反向传播操作，并根据所述随机梯度下降方法调整所述网络参数。
图5是本发明一示例性实施例示出的一种图像增强系统，该图像增强系统包括：获取装置51、输入装置52和生成式对抗网络53；
所述获取装置51用于获取待增强图像数据；
所述输入装置52用于将所述待增强图像数据输入所述生成式对抗网络53，其中，所述生成式对抗网络由上述任一实施例示出的生成式对抗网络的训练装置得到；
所述生成式对抗网络53用于对输入的待增强图像数据进行图像增强，得到增强图像数据。
图6是本发明一示例性实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
总线63包括数据总线、地址总线和控制总线。
存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。
存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明上述任一实施例示出的方法。
电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例示出的方法步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种用于图像增强的生成式对抗网络的训练方法，其特征在于，所述生成式对抗网络包括生成器和判别器，所述训练方法包括：
获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和所述第一图像数据的增强图像数据，所述第二样本集合包括第二图像数据；
分别将每一第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，并根据所述第一损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第一图像数据输入所述生成器，得到所述生成器输出的待判别图像数据；
将所述待判别图像数据输入所述判别器，得到所述判别器的第一判别器输出结果；
根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，以根据所述第一生成器损失误差调整所述生成器的网络参数；
将所述增强图像数据输入所述判别器，得到所述判别器的第二判别器输出结果；
根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，以根据所述第一判别器损失误差调整所述判别器的网络参数；
分别将每一第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的第二网络输出结果计算第二损失误差，并根据所述第二损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第二图像数据输入所述生成器，得到所述生成器输出的待判别图像数据；
将所述待判别图像数据输入所述判别器，得到所述判别器的第三判别器输出结果；
根据所述第三判别器输出结果分别计算所述生成器的第二生成器损失误差以及所述判别器的第二判别器损失误差，以根据所述第二生成器损失误差调整所述生成器的网络参数，根据所述第二判别器损失误差调整所述判别器的网络参数；
根据所述第一损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第一损失误差在所述生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整所述网络参数；
和/或，根据所述第二损失误差调整所述生成式对抗网络的网络参数，包括：
将所述第二损失误差在所述生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整所述网络参数。
2.如权利要求1所述的生成式对抗网络的训练方法，其特征在于，根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，包括：
根据所述第一判别器输出结果计算第一类误差期望值，根据所述待判别图像数据和所述增强图像数据计算图像误差；
对所述第一类误差期望值和所述图像误差进行加权求和得到所述第一生成器损失误差；
根据所述第二判别器输出结果和所述第一判别器输出结果计算所述第一判别器损失误差，包括：
根据所述第一判别器输出结果计算第二类误差期望值，根据所述第二判别器输出结果计算第三类误差期望值；
对所述第二类误差期望值和所述第三类误差期望值进行加权求和得到所述第一判别器损失误差。
3.如权利要求1所述的生成式对抗网络的训练方法，其特征在于，根据所述第三判别器输出结果计算所述第二生成器损失误差，包括：
根据所述第三判别器输出结果计算第一类误差期望值，根据所述第一类误差期望值确定所述第二生成器损失误差；
根据所述第三判别器输出结果计算所述第二判别器损失误差，包括：
根据所述第三判别器输出结果计算第二类误差期望值，根据所述第二类误差期望值确定所述第二判别器损失误差。
4.一种图像增强方法，其特征在于，所述图像增强方法包括：
获取待增强图像数据；
将所述待增强图像数据输入生成式对抗网络，其中，所述生成式对抗网络由权利要求1-3中任一项所述的生成式对抗网络的训练方法得到；
经过所述生成式对抗网络对输入的待增强图像数据进行图像增强，得到增强图像数据。
5.一种用于图像增强的生成式对抗网络的训练装置，其特征在于，所述生成式对抗网络包括生成器和判别器，所述训练装置包括：
获取模块，用于获取第一样本集合和第二样本集合，所述第一样本集合包括第一图像数据和所述第一图像数据的增强图像数据，所述第二样本集合包括第二图像数据；
第一网络训练模块，用于分别将每一第一图像数据输入生成式对抗网络，根据所述增强图像数据与所述生成式对抗网络的第一网络输出结果计算第一损失误差，并根据所述第一损失误差调整所述生成式对抗网络的网络参数，包括：
第一输入单元，用于将所述第一图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第一判别器输出结果；
第一调整单元，用于根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述生成器的第一生成器损失误差，以根据所述生成器的第一生成器损失误差调整所述生成器的网络参数；
第二输入单元，用于将所述增强图像数据输入判别器，得到所述判别器的第二判别器输出结果；
第二调整单元，用于根据所述第二判别器输出结果和所述第一判别器输出结果计算所述判别器的第一判别器损失误差，以根据所述判别器的第一判别器损失误差调整所述判别器的网络参数；
第二网络训练模块，用于分别将每一第二图像数据输入生成式对抗网络，根据所述生成式对抗网络的第二网络输出结果计算第二损失误差，并根据所述第二损失误差调整所述生成式对抗网络的网络参数，包括：
第三输入单元，用于将所述第二图像数据输入所述生成器，得到所述生成器输出的待判别图像数据，并将所述待判别图像数据输入所述判别器，得到所述判别器的第三判别器输出结果；
第三调整单元，用于根据所述第三判别器输出结果分别计算所述生成器的第二生成器损失误差以及所述判别器的第二判别器损失误差，以根据所述生成器的第二生成器损失误差调整所述生成器的网络参数，根据所述判别器的第二判别器损失误差调整所述判别器的网络参数；
在根据所述第一损失误差调整所述生成式对抗网络的网络参数时，所述第一网络训练模块具体用于：
将所述第一损失误差在所述生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整所述网络参数；
和/或，在根据所述第二损失误差调整所述生成式对抗网络的网络参数时，所述第二网络训练模块具体用于：
将所述第二损失误差在所述生成式对抗网络中进行反向传播操作，并根据随机梯度下降方法调整所述网络参数。
6.如权利要求5所述的生成式对抗网络的训练装置，其特征在于，在根据所述增强图像数据、所述待判别图像数据和所述第一判别器输出结果计算所述第一生成器损失误差时，所述第一调整单元具体用于：
根据所述第一判别器输出结果计算第一类误差期望值，根据所述待判别图像数据和所述增强图像数据计算图像误差；
对所述第一类误差期望值和所述图像误差进行加权求和得到所述第一生成器损失误差；
在根据所述第二判别器输出结果和所述第一判别器输出结果计算所述第一判别器损失误差时，所述第二调整单元具体用于：
根据所述第一判别器输出结果计算第二类误差期望值，根据所述第二判别器输出结果计算第三类误差期望值；
对所述第二类误差期望值和所述第三类误差期望值进行加权求和得到所述第一判别器损失误差。
7.如权利要求5所述的生成式对抗网络的训练装置，其特征在于，在根据所述第三判别器输出结果计算所述第二生成器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第一类误差期望值，并根据所述第一类误差期望值确定所述第二生成器损失误差；
在根据所述第三判别器输出结果计算所述第二判别器损失误差时，所述第三调整单元具体用于：
根据所述第三判别器输出结果计算第二类误差期望值，并根据所述第二类误差期望值确定所述第二判别器损失误差。
8.一种图像增强系统，其特征在于，所述图像增强系统包括：获取装置、输入装置和生成式对抗网络；
所述获取装置用于获取待增强图像数据；
所述输入装置用于将所述待增强图像数据输入所述生成式对抗网络，其中，所述生成式对抗网络由权利要求5-7中任一项所述的生成式对抗网络的训练装置得到；
所述生成式对抗网络用于对输入的待增强图像数据进行图像增强，得到增强图像数据。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的生成式对抗网络的训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的生成式对抗网络的训练方法的步骤。
CN201911113924.1A 2019-11-14 2019-11-14 生成式对抗网络的训练方法及装置、图像增强方法及设备 Active CN110991636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113924.1A CN110991636B (zh) 2019-11-14 2019-11-14 生成式对抗网络的训练方法及装置、图像增强方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113924.1A CN110991636B (zh) 2019-11-14 2019-11-14 生成式对抗网络的训练方法及装置、图像增强方法及设备

Publications (2)

Publication Number Publication Date
CN110991636A CN110991636A (zh) 2020-04-10
CN110991636B true CN110991636B (zh) 2023-07-04

Family

ID=70084336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113924.1A Active CN110991636B (zh) 2019-11-14 2019-11-14 生成式对抗网络的训练方法及装置、图像增强方法及设备

Country Status (1)

Country Link
CN (1) CN110991636B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111888665B (zh) * 2020-08-13 2022-09-02 四川大学华西医院 基于自适应对抗网络的三维剂量分布预测模型的构建方法
CN112164008B (zh) * 2020-09-29 2024-02-23 中国科学院深圳先进技术研究院 图像数据增强网络的训练方法及其训练装置、介质和设备
US12019747B2 (en) * 2020-10-13 2024-06-25 International Business Machines Corporation Adversarial interpolation backdoor detection
CN112786003A (zh) * 2020-12-29 2021-05-11 平安科技（深圳）有限公司 语音合成模型训练方法、装置、终端设备及存储介质
CN113744166B (zh) * 2021-08-18 2023-08-08 中国科学院计算技术研究所 一种用于浑浊水下鱼类图像增强的方法
CN114511473B (zh) * 2022-04-19 2022-07-05 武汉大学 一种基于无监督自适应学习的高光谱遥感影像去噪方法
CN114999447B (zh) * 2022-07-20 2022-10-25 南京硅基智能科技有限公司 一种基于对抗生成网络的语音合成模型及语音合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110210524A (zh) * 2019-05-13 2019-09-06 东软医疗系统股份有限公司 一种图像增强模型的训练方法、图像增强方法及装置
CN110264435A (zh) * 2019-06-12 2019-09-20 上海联影医疗科技有限公司 低剂量mip图像的增强方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110210524A (zh) * 2019-05-13 2019-09-06 东软医疗系统股份有限公司 一种图像增强模型的训练方法、图像增强方法及装置
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110264435A (zh) * 2019-06-12 2019-09-20 上海联影医疗科技有限公司 低剂量mip图像的增强方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人工智能在医学影像中的研究与应用;韩冬 等;《大数据》;20190228(第1期);第39-67页 *
生成式对抗网络图像增强研究综述;马春光等;《信息网络安全》;20190510(第05期);第10-21页 *

Also Published As

Publication number Publication date
CN110991636A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991636B (zh) 生成式对抗网络的训练方法及装置、图像增强方法及设备
CN107610193B (zh) 使用深度生成式机器学习模型的图像校正
Johnson et al. Conditional generative adversarial network for 3D rigid‐body motion correction in MRI
JP6855223B2 (ja) 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法
Arndt et al. Deep learning CT image reconstruction in clinical practice
CN107527359B (zh) 一种pet图像重建方法及pet成像设备
CN107516330B (zh) 模型生成方法、图像处理方法及医学成像设备
Shaw et al. MRI k-space motion artefact augmentation: model robustness and task-specific uncertainty
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
CN109785243B (zh) 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN110570492A (zh) 神经网络训练方法和设备、图像处理方法和设备以及介质
JP2023515367A (ja) モデルへの入力インスタンスの分布外検出
CN112767505B (zh) 图像处理方法、训练方法、装置、电子终端及存储介质
Mohebbian et al. Classifying MRI motion severity using a stacked ensemble approach
Yu et al. A generalizable brain extraction net (BEN) for multimodal MRI data from rodents, nonhuman primates, and humans
Patwari et al. Measuring CT reconstruction quality with deep convolutional neural networks
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
CN111161182A (zh) Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法
CN117876519A (zh) 一种基于扩散模型的弦图恢复方法及系统
Kim et al. An unsupervised two‐step training framework for low‐dose computed tomography denoising
EP4343680A1 (en) De-noising data
CN111311531A (zh) 图像增强方法、装置、控制台设备及医学成像系统
Beevi et al. Denoising transthoracic echocardiographic images in regional wall motion abnormality using deep learning techniques
US20230385643A1 (en) Generating neural networks tailored to optimize specific medical image properties using novel loss functions
Angelie et al. Optimizing the automatic segmentation of the left ventricle in magnetic resonance images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant