CN111178502A - 循环生成对抗网络模型的训练方法、系统以及电子设备 - Google Patents

循环生成对抗网络模型的训练方法、系统以及电子设备 Download PDF

Info

Publication number
CN111178502A
CN111178502A CN201911277148.9A CN201911277148A CN111178502A CN 111178502 A CN111178502 A CN 111178502A CN 201911277148 A CN201911277148 A CN 201911277148A CN 111178502 A CN111178502 A CN 111178502A
Authority
CN
China
Prior art keywords
image
network model
training
dimensional
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911277148.9A
Other languages
English (en)
Inventor
贾富仓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911277148.9A priority Critical patent/CN111178502A/zh
Publication of CN111178502A publication Critical patent/CN111178502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种循环生成对抗网络模型的训练方法、系统以及电子设备，该循环生成对抗网络模型的训练方法包括：构建循环生成对抗网络模型；藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。通过上述方式，旨在解决现有技术中难以获得足够数据进行训练，影响循环生成对抗网络模型的优化效果的技术问题。

Description

循环生成对抗网络模型的训练方法、系统以及电子设备
技术领域
本申请涉及医学图像处理技术领域，特别是涉及循环生成对抗网络模型的训练方法、系统以及电子设备。
背景技术
CT/MR成像已是一个成熟的和被广泛使用的医学成像技术。CT/MR成像系统的成本适中，操作简单，密度分辨率高，断面解剖关系清楚，病变细节显示良好，无骨骼伪影干扰，可进行图像重建等优点，对病情的定性诊断很有帮助。除此之外，CT/MR是一种相对安全的成像模式，被广泛应用于临床微创手术的辅助诊疗过程中。
本申请的发明人在长期的研发过程中，发现分开获得的MR和CT图像之间的体素空间对齐可能会受到影响，需要MR和CT进行图像的精确配准，但常规的深度学习方法配准好的数据量很小，难以获得足够数据进行训练，容易出现过拟合，进而影响循环生成对抗网络模型的优化效果。
发明内容
本申请在于提供一种循环生成对抗网络模型的训练方法、系统以及电子设备，旨在解决现有技术中难以获得足够数据进行训练，影响循环生成对抗网络模型的优化效果的技术问题。
一方面，本申请提供一种循环生成对抗网络模型的训练方法，该方法包括：构建循环生成对抗网络模型；藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
其中，循环生成对抗网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器；训练数据集包括至少一对MR训练图像和CT训练图像，藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型的步骤包括：藉由第一生成器将MR训练图像生成为CT生成图像；藉由第二生成器将CT训练图像生成为MR生成图像；藉由第一判别器判别CT生成图像是否符合CT训练图像的分布，并向第一生成器输出第一判别结果；藉由第二判别器判别MR生成图像是否符合MR训练图像的分布，并向第二生成器输出第二判别结果；藉由第一生成器、第二生成器分别根据第一判别结果、第二判别结果进行下一轮迭代，直到第一判别器和第二判别器无法判别生成图像的真伪性。
其中，第一生成器和第二生成器采用U-Net神经网络；方法还包括：在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，反池化层包含反池化操作；采用残差连接结构替换原U-Net神经网络中的跳跃连接结构；采用实例归一化操作原U-Net神经网络中的批量归一化操作，以完成U-Net神经网络的改进。
其中，该方法还包括：获取三维MR图像和三维CT图像；切割三维MR图像和三维CT图像，以得到对应的二维MR切片图像和二维CT切片图像；对二维MR切片图像和二维CT切片图像进行增强处理，以使二维MR切片图像和二维CT切片图像的像素强度值归一化至0～255；从二维MR切片图像和二维CT切片图像中随机采样，对随机采样得到的二维MR切片图像和二维CT切片图像进行图像增强处理，以扩大训练数据集。
另一方面，本申请提供一种循环生成对抗网络模型的训练系统，该系统包括：构建单元，用于构建循环生成对抗网络模型；对抗优化训练单元，用于藉由一对MR训练图像和CT训练图像对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
其中，该系统还包括：U-Net神经网络改进单元，用于在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，反池化层包含反池化操作；U-Net神经网络改进单元还用于采用残差连接结构替换原U-Net神经网络中的跳跃连接结构；U-Net神经网络改进单元还用于采用实例归一化操作原U-Net神经网络中的批量归一化操作，以完成U-Net神经网络的改进。
又一方面，本申请提供一种基于循环生成对抗网络模型的图像合成方法，该方法包括：获取待合成MR切片图像；将待合成MR图像输入优化后的循环生成对抗网络模型中，得到待合成MR图像对应的CT切片图像，其中，优化后的循环生成对抗网络模型为经前述的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
再一方面，本申请提供一种基于循环生成对抗网络模型的图像合成系统，该方法包括：获取单元，用于获取待合成MR切片图像；输入单元，用于将待合成MR图像输入优化后的循环生成对抗网络模型中，得到待合成MR图像对应的CT切片图像，其中，优化后的循环生成对抗网络模型为经前述的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
再一方面，本申请提供一种电子设备，电子设备包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行如前述的循环生成对抗网络模型的训练方法。
再一方面，本申请提供一种具有存储功能的装置，装置上存储有计算机可读指令，当计算机可读指令被计算机的处理器执行时，使计算机执行如前述的循环生成对抗网络模型的训练方法。
本申请的有益效果是：区别于现有技术的情况，本申请构建循环生成对抗网络模型；藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型，该对抗优化训练可以使循环生成对抗网络模型得到强化学习，对比于普通的生成对抗网络处理，本申请的循环生成对抗网络模型不需要大量配准好的MR和CT图像，且合成速度快速。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例中循环生成对抗网络模型的训练方法的第一流程示意图；
图2为图1中步骤S20的流程示意图；
图3为本申请实施例中循环生成对抗网络模型的训练方法的第二流程示意图；
图4为本申请实施例中循环生成对抗网络模型的训练方法的第三流程示意图；
图5为本申请实施例中循环生成对抗网络模型的训练系统的第一结构示意图；
图6为本申请实施例中循环生成对抗网络模型的训练系统的第二结构示意图；
图7为本申请实施例中基于循环生成对抗网络模型的图像合成方法的流程示意图；
图8为本申请实施例中基于循环生成对抗网络模型的图像合成系统的结构示意图；
图9为本申请实施例中电子设备的结构示意图；
图10为本申请实施例中具有存储功能的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例中循环生成对抗网络模型的训练方法的第一流程示意图，上述方法包括以下步骤：
S10：构建循环生成对抗网络模型。
S20：藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
区别于现有技术的情况，本申请构建循环生成对抗网络模型。藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型，该对抗优化训练可以使循环生成对抗网络模型得到强化学习，对比于普通的生成对抗网络处理，本申请的循环生成对抗网络模型不需要大量配准好的MR和CT图像，且合成速度快速。
进一步的，本申请实施例中循环生成对抗网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器。训练数据集包括至少一对MR训练图像和CT训练图像，CT训练图像为MR训练图像的在指定条件下的生成图像，MR训练图像为CT训练图像的在指定条件下的生成图像。参照图2，图2为图1中步骤S20的流程示意图，步骤S20包括以下步骤：
S21：藉由第一生成器将MR训练图像生成为CT生成图像。
S22：藉由第二生成器将CT训练图像生成为MR生成图像。
S23：藉由第一判别器判别CT生成图像是否符合CT训练图像的分布，并向第一生成器输出第一判别结果。
S24：藉由第二判别器判别MR生成图像是否符合MR训练图像的分布，并向第二生成器输出第二判别结果。
S25：藉由第一生成器、第二生成器分别根据第一判别结果、第二判别结果进行下一轮迭代，直到第一判别器和第二判别器无法判别生成图像的真伪性。
具体地，MR训练图像为二维MR切片图像，CT训练图像为二维CT切片图像。通过获取病人的三维CT/MR图像并切割该CT/MR图像，得到对应的组织切片图像。随着3D计算机断层扫描(CT)和磁共振成像(MR)扫描的数据的增多，更加容易获得解剖学相关超声数据。因此，本发明使用CT和MR数据提供的真实解剖信息来简化超声模拟。
在对抗优化训练过程中，输入一对MR训练图像和CT训练图像，利用对抗损失项控制判别器和生成器的博弈过程，第一判别器要尽量区分训练CT生成图像和CT训练图像，第二判别器要尽量区分训练MR生成图像和MR训练图像。第一生成器要尽量生成能骗过第一判别器的CT生成图像，第二生成器要尽量生成能骗过第二判别器的MR生成图像。当循环生成对抗网络模型收敛之后，迭代过程终止，并得到优化后的循环生成对抗网络模型，优化后的循环生成对抗网络的合成效果优于原始的循环生成对抗网络模型。
进一步的，本申请实施例中第一生成器和第二生成器采用U-Net神经网络，利用U-Net神经网络强大的特征表示能力，并结合了U-Net神经网络的多尺度和生成对抗的优势。
参照图3，图3为本申请实施例中循环生成对抗网络模型的训练方法的第二流程示意图，上述方法包括以下步骤：
S30：在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，反池化层包含反池化操作。
S40：采用残差连接结构替换原U-Net神经网络中的跳跃连接结构。
S50：采用实例归一化操作原U-Net神经网络中的批量归一化操作，以完成U-Net神经网络的改进。
具体地，U-Net神经网络的改进主要在于三点：1、在U-Net神经网络的上采样阶段，采用反池化代替原本的反卷积操作；2、使用残差连接代替U-Net神经网络原本的跳跃连接。3、使用实例归一化操作代替U-Net神经网络原本的批量归一化操作。
对于图像外观，简单的外观变化例如颜色和亮度偏移可以通过用平均值和标准偏差对图像的每个RGB通道进行归一化来消除。对于更复杂的外观变化，如风格变换，最近的研究发现这些信息可以被编码在特征图的均值和方差中。因此，实例归一化层就显示出了消除这种外观差异的潜力。
将上述改进的U-Net神经网络作为循环生成对抗网络模型的第一生成器和第二生成器，能够有效提高MR图像合成的正确率。
参照图4，图4为本申请实施例中循环生成对抗网络模型的训练方法的第三流程示意图，上述方法包括以下步骤：
S60：获取三维MR图像和三维CT图像。
S70：切割三维MR图像和三维CT图像，以得到对应的二维MR切片图像和二维CT切片图像。
S80：对二维MR切片图像和二维CT切片图像进行增强处理，以使二维MR切片图像和二维CT切片图像的像素强度值归一化至0～255。
S90：从二维MR切片图像和二维CT切片图像中随机采样，对随机采样得到的二维MR切片图像和二维CT切片图像进行图像增强处理，以扩大训练数据集。
具体地，数据预处理分三部分：第一部分，切割三维MR图像和三维CT图像，以得到对应的二维MR切片图像和二维CT切片图像。第二部分，将二维MR切片图像和二维CT切片图像的像素强度值归一化至0～255。第三部分，对获得的所有二维MR切片图像和二维CT切片图像进行随机的图像增强，以达到扩大训练数据集的目的。
参照图5，图5为本申请实施例中循环生成对抗网络模型的训练系统的第一结构示意图，该循环生成对抗网络模型的训练系统10包括：构建单元11和对抗优化训练单元12。
构建单元11，用于构建循环生成对抗网络模型。
对抗优化训练单元12，用于藉由一对MR训练图像和CT训练图像对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
参照图6，图6为本申请实施例中循环生成对抗网络模型的训练系统的第二结构示意图，该循环生成对抗网络模型的训练系统10还包括：
U-Net神经网络改进单元13，用于在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，反池化层包含反池化操作。
U-Net神经网络改进单元13还用于采用残差连接结构替换原U-Net神经网络中的跳跃连接结构。
U-Net神经网络改进单元13还用于采用实例归一化操作原U-Net神经网络中的批量归一化操作，以完成U-Net神经网络的改进。
参照图7，图7为本申请实施例中基于循环生成对抗网络模型的图像合成方法的流程示意图，该方法包括：
S201：获取待合成MR切片图像。
通过获取病人的三维MR图像并切割该三维MR图像，得到对应的待合成MR切片图像。
进一步地，可以对待合成MR切片图像依次进行加窗处理、N4偏差矫正处理、直方图均衡处理和对比度增强处理后生成增强处理的待合成MR切片图像，能够提高肝脏及肿瘤和周围其他器官组织的像素差异性，便于后续的循环生成对抗网络模型的合成。
S202：将待合成MR图像输入优化后的循环生成对抗网络模型中，得到待合成MR图像对应的CT切片图像，其中，优化后的循环生成对抗网络模型为经上述实施例的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
本申请实施例中基于循环生成对抗网络模型的图像合成方法具有如下优点：
(1)不需要大量配准好的MR切片图像和CT切片图像；
(2)优化后的循环生成对抗网络模型的合成效果优于原始的循环生成对抗网络模型；
(3)图像合成速度非常快速，完成一次MR切片图像合成对应的CT切片图像平均耗时只需要5秒。
参照图8，图8为本申请实施例中基于循环生成对抗网络模型的图像合成系统的结构示意图，该基于循环生成对抗网络模型的图像合成系统20包括：
获取单元21，用于获取待合成MR切片图像。
输入单元22，用于将待合成MR图像输入优化后的循环生成对抗网络模型中，得到待合成MR图像对应的CT切片图像，其中，优化后的循环生成对抗网络模型为经上述实施例的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
参照图9，图9为本申请实施例中电子设备的结构示意图，该电子设备30包括：存储器31和处理器32。
存储器31，用于存储有计算机可读指令。
处理器32，用于读取存储器存储的计算机可读指令，以执行上述任一项实施方式中循环生成对抗网络模型的训练方法中的步骤。
处理器32，用于构建循环生成对抗网络模型；藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
处理器32，用于藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型的步骤包括：藉由第一生成器将MR训练图像生成为CT生成图像；藉由第二生成器将CT训练图像生成为MR生成图像；藉由第一判别器判别CT生成图像是否符合CT训练图像的分布，并向第一生成器输出第一判别结果；藉由第二判别器判别MR生成图像是否符合MR训练图像的分布，并向第二生成器输出第二判别结果；藉由第一生成器、第二生成器分别根据第一判别结果、第二判别结果进行下一轮迭代，直到第一判别器和第二判别器无法判别生成图像的真伪性。
处理器32，用于在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，反池化层包含反池化操作；采用残差连接结构替换原U-Net神经网络中的跳跃连接结构；采用实例归一化操作原U-Net神经网络中的批量归一化操作，以完成U-Net神经网络的改进。
处理器32，用于获取三维MR图像和三维CT图像；切割三维MR图像和三维CT图像，以得到对应的二维MR切片图像和二维CT切片图像；对二维MR切片图像和二维CT切片图像进行增强处理，以使二维MR切片图像和二维CT切片图像的像素强度值归一化至0～255；从二维MR切片图像和二维CT切片图像中随机采样，对随机采样得到的二维MR切片图像和二维CT切片图像进行图像增强处理，以扩大训练数据集。
上述电子设备可包括但不仅限于处理器32、存储器31。本领域技术人员可以理解，图9仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器32、数字信号处理器32(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器32可以是微处理器32或者该处理器32也可以是任何常规的处理器32等。
存储器31可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器31也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器31还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器31用于存储计算机程序以及电子设备所需的其他程序和数据。存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
参阅图10，图10为本申请实施例中具有存储功能的装置的结构示意图，具有存储功能的装置90存储有程序数据901，程序数据901能够被执行以实现上述任一项实施方式中循环生成对抗网络模型的训练方法中的步骤中的步骤。
其中，具有存储功能的装置90可以是便携式存储介质，如U盘、光盘，也可以是终端、服务器等。详细的循环生成对抗网络模型的训练方法中的步骤可参见上述实施例，在此不再赘述。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种循环生成对抗网络模型的训练方法，其特征在于，所述方法包括：
构建循环生成对抗网络模型；
藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
2.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器；
所述训练数据集包括至少一对MR训练图像和CT训练图像，所述藉由训练数据集对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型的步骤包括：
藉由所述第一生成器将所述MR训练图像生成为CT生成图像；
藉由所述第二生成器将所述CT训练图像生成为MR生成图像；
藉由所述第一判别器判别所述CT生成图像是否符合所述CT训练图像的分布，并向所述第一生成器输出第一判别结果；
藉由所述第二判别器判别所述MR生成图像是否符合所述MR训练图像的分布，并向所述第二生成器输出第二判别结果；
藉由所述第一生成器、所述第二生成器分别根据所述第一判别结果、所述第二判别结果进行下一轮迭代，直到所述第一判别器和所述第二判别器无法判别生成图像的真伪性。
3.根据权利要求2所述的方法，其特征在于，所述第一生成器和所述第二生成器采用U-Net神经网络；所述方法还包括：
在所述U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，所述反池化层包含反池化操作；
采用残差连接结构替换所述原U-Net神经网络中的跳跃连接结构；
采用实例归一化操作所述原U-Net神经网络中的批量归一化操作，以完成所述U-Net神经网络的改进。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取三维MR图像和三维CT图像；
切割所述三维MR图像和所述三维CT图像，以得到对应的二维MR切片图像和二维CT切片图像；
对所述二维MR切片图像和所述二维CT切片图像进行增强处理，以使所述二维MR切片图像和所述二维CT切片图像的像素强度值归一化至0～255；
从所述二维MR切片图像和二维CT切片图像中随机采样，对随机采样得到的所述二维MR切片图像和二维CT切片图像进行图像增强处理，以扩大所述训练数据集。
5.一种循环生成对抗网络模型的训练系统，其特征在于，所述系统包括：
构建单元，用于构建循环生成对抗网络模型；
对抗优化训练单元，用于藉由一对MR训练图像和CT训练图像对循环生成对抗网络模型进行对抗优化训练以得到优化后的循环生成对抗网络模型。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
U-Net神经网络改进单元，用于在U-Net神经网络的上采样阶段，采用反池化层替换原U-Net神经网络中的反卷积层，所述反池化层包含反池化操作；
所述U-Net神经网络改进单元还用于采用残差连接结构替换所述原U-Net神经网络中的跳跃连接结构；
所述U-Net神经网络改进单元还用于采用实例归一化操作所述原U-Net神经网络中的批量归一化操作，以完成所述U-Net神经网络的改进。
7.一种基于循环生成对抗网络模型的图像合成方法，其特征在于，所述方法包括：
获取待合成MR切片图像；
将所述待合成MR图像输入优化后的循环生成对抗网络模型中，得到所述待合成MR图像对应的CT切片图像，其中，所述优化后的循环生成对抗网络模型为经权利要求1-4任一项所述的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
8.一种基于循环生成对抗网络模型的图像合成系统，其特征在于，所述系统包括：
获取单元，用于获取待合成MR切片图像；
输入单元，用于将所述待合成MR图像输入优化后的循环生成对抗网络模型中，得到所述待合成MR图像对应的CT切片图像，其中，所述优化后的循环生成对抗网络模型为经权利要求1-4任一项所述的循环生成对抗网络模型的训练方法优化后的循环生成对抗网络模型。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有计算机可读指令；
处理器，读取存储器存储的计算机可读指令，以执行如权利要求1-4任一项所述的循环生成对抗网络模型的训练方法。
10.一种具有存储功能的装置，其特征在于，所述装置上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如权利要求1-4任一项所述的循环生成对抗网络模型的训练方法。
CN201911277148.9A 2019-12-12 2019-12-12 循环生成对抗网络模型的训练方法、系统以及电子设备 Pending CN111178502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277148.9A CN111178502A (zh) 2019-12-12 2019-12-12 循环生成对抗网络模型的训练方法、系统以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277148.9A CN111178502A (zh) 2019-12-12 2019-12-12 循环生成对抗网络模型的训练方法、系统以及电子设备

Publications (1)

Publication Number Publication Date
CN111178502A true CN111178502A (zh) 2020-05-19

Family

ID=70646254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277148.9A Pending CN111178502A (zh) 2019-12-12 2019-12-12 循环生成对抗网络模型的训练方法、系统以及电子设备

Country Status (1)

Country Link
CN (1) CN111178502A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN112802046A (zh) * 2021-01-28 2021-05-14 华南理工大学 基于深度学习从多序列mr中生成伪ct的影像生成系统
CN113780519A (zh) * 2021-08-13 2021-12-10 深圳市联影高端医疗装备创新研究院 生成对抗网络训练方法、装置、计算机设备和存储介质
WO2022120758A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种医学图像降噪方法、系统、终端以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109886909A (zh) * 2019-02-18 2019-06-14 上海健康医学院 一种基于ct图像合成pet-ct图像的方法
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109886909A (zh) * 2019-02-18 2019-06-14 上海健康医学院 一种基于ct图像合成pet-ct图像的方法
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAITAO WU ET AL: ""UC-GAN for MR to CT Image Synthesis"" *
韩健稳: ""基于生成对抗学习的图像去雾"" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915525A (zh) * 2020-08-05 2020-11-10 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN111915525B (zh) * 2020-08-05 2024-03-01 湖北工业大学 基于改进深度可分离生成对抗网络的低照度图像增强方法
WO2022120758A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种医学图像降噪方法、系统、终端以及存储介质
CN112802046A (zh) * 2021-01-28 2021-05-14 华南理工大学 基于深度学习从多序列mr中生成伪ct的影像生成系统
CN113780519A (zh) * 2021-08-13 2021-12-10 深圳市联影高端医疗装备创新研究院 生成对抗网络训练方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
US11610308B2 (en) Localization and classification of abnormalities in medical images
CN111178502A (zh) 循环生成对抗网络模型的训练方法、系统以及电子设备
Huynh et al. Estimating CT image from MRI data using structured random forest and auto-context model
Milchenko et al. Obscuring surface anatomy in volumetric imaging data
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
Tian et al. SDnDTI: Self-supervised deep learning-based denoising for diffusion tensor MRI
US10803354B2 (en) Cross-modality image synthesis
Yu et al. Sample-adaptive GANs: linking global and local mappings for cross-modality MR image synthesis
Fei et al. Deep learning‐based multi‐modal computing with feature disentanglement for MRI image synthesis
CN111462885B (zh) 扫描系统的扫描参数确定方法、装置、设备和存储介质
CN112329844A (zh) 图像目标分类方法及相关装置、设备、存储介质
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
CN116309217A (zh) Mri合成ct影像的方法、装置、设备及可读存储介质
Zhong et al. Flexible prediction of CT images from MRI data through improved neighborhood anchored regression for PET attenuation correction
CN110490857B (zh) 图像处理方法、装置、电子设备和存储介质
Jafari et al. LMISA: A lightweight multi-modality image segmentation network via domain adaptation using gradient magnitude and shape constraint
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN115546334A (zh) 基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法
WO2015175852A1 (en) System and method for ct image synthesis from mri using generative sub-image synthesis
CN114494014A (zh) 一种磁共振图像超分辨率重建方法及装置
WO2022026661A1 (en) Systems and methods for image denoising via adversarial learning
CN113538395A (zh) 图像处理方法、装置、设备、可读存储介质
Ni et al. A sparse volume reconstruction method for fetal brain MRI using adaptive kernel regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jia Fucang

Inventor after: Wu Haitao

Inventor before: Jia Fucang