CN111402179A - 结合对抗自编码器和生成对抗网络的图像合成方法及系统 - Google Patents

结合对抗自编码器和生成对抗网络的图像合成方法及系统 Download PDF

Info

Publication number
CN111402179A
CN111402179A CN202010169306.5A CN202010169306A CN111402179A CN 111402179 A CN111402179 A CN 111402179A CN 202010169306 A CN202010169306 A CN 202010169306A CN 111402179 A CN111402179 A CN 111402179A
Authority
CN
China
Prior art keywords
image
loss function
discriminator
encoder
countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010169306.5A
Other languages
English (en)
Other versions
CN111402179B (zh
Inventor
张桂梅
胡强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202010169306.5A priority Critical patent/CN111402179B/zh
Publication of CN111402179A publication Critical patent/CN111402179A/zh
Application granted granted Critical
Publication of CN111402179B publication Critical patent/CN111402179B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种结合对抗自编码器和生成对抗网络的图像合成方法及系统。该方法包括构造包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器的增强型对抗自动编码器；构造包括生成器和第二判别器的改进后条件式生成对抗网络；将人工分割血管树图像和原始眼底视网膜图像作为训练数据，对结合增强型对抗自动编码器和改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；基于最优血管树图像生成器和最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。本发明可以生成精度更高、风格更多样化的样本数据，有效扩增有限的训练样本数据。

Description

结合对抗自编码器和生成对抗网络的图像合成方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种结合对抗自编码器和生成对抗网络的图像合成方法及系统。
背景技术
医疗应用领域，性能优越的医学图像处理算法需要大量有效、带有特定标注信息的医学图像数据作为训练样本数据。因实际的治疗过程中，医疗设备会带有较大辐射损害人体健康和涉及病人自身隐私等原因，所以直接获取医学图像数据比较困难，从而人体不同器官的医学图像数据样本非常稀缺；同时，不同人体器官引发的病灶复杂程度不同，人工标注有效特征信息标签难度也会非常大，花费也很高。因此，为了促进医学图像分割、医学图像识别和医学图像配准等医疗技术水平的提升，合成医学图像扩增样本数据集受到广泛的关注。
综合国内外医学图像数据扩增技术的研究现状，相关研究方法可分为两大类：基于传统的医学图像扩增方法和基于深度学习的医学图像扩增方法。其中传统扩增方法包括刚性变换，如平移、翻转、旋转、缩放和仿射变换等；非刚性变换，如弹性变换；刚性变换是通过设定几个固定的转换映射矩阵对图像进行变换，最终获取扩增后的数据集也仅仅只包含这几种预先设定好的对应转换关系；非刚性变换是通过对像素点设定相应的约束范围，如局部像素点的旋转角度和像素点的平移距离等，虽能扩增数据集，也能呈现多样性的变化，但是对变换之后的图像没有一个具体的评估标准，很难把控数据变换的一个合理范围，得到的扩增数据不稳定。上述基于传统的医学图像扩增的方法虽然能使得有限的数据样本在数量上得到扩增，但是扩充数据的多样性本质上没有太大的改变，如真正意义上的旋转应该是按照一定的角度，图像中的每一个像素点进行3D旋转，而不仅仅是图像本身整体按照角度旋转。
为了能够解决基于传统数据扩增方法中存在的问题和局限性，于2014年，相关学者提出生成对抗网络合成方法用于生成与真实数据集在像素灰度和结构性上相似的扩增样本数据，训练期间不需要依赖大量带有标签的样本，该合成方法是通过生成器网络和判别器网络互相博弈产生最佳的输出。但是生成对抗网络的实际训练难度极大，易出现梯度消失和过拟合等问题。有相关学者为缓解该问题，提出最小二乘生成对抗网络的方法，通过收敛条件更严格的最小二乘法构造损失函数。为了使得生成对抗网络合成方法更有目的性、更高效地生成所需要的合成样本，相关学者提出条件式生成对抗网络合成方法，通过给训练模型提供少量的标签信息来实现图像的合成。
综上所述，基于传统的医学数据扩增方法虽然能在数量上对有限数据集进行增加，但是扩增图像缺乏多样性的变化；基于深度学习的医学图像扩增方法虽能在数量和多样性上对有限训练样本进行扩增，但是合成网络的训练过程欠缺稳定性，需要进一步优化合成模型。
发明内容
基于此，有必要提供一种结合对抗自编码器和生成对抗网络的图像合成方法及系统，能够对有限的医学图像数据集进行样本数据扩增，丰富医学图像数据库，能够提高合成网络的训练过程的稳定性，提升图像合成的精度和泛化性能，进而促进医学图像分割、医学图像配准和医学图像识别等医疗技术的精度和泛化性能提升。
为实现上述目的，本发明提供了如下方案：
一种结合对抗自编码器和生成对抗网络的图像合成方法，包括：
构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像；
构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练；
将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；
基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
可选的，所述构造增强型对抗自动编码器，具体包括：
构造内容编码器；所述内容编码器包括依次连接的第一下采样层和第一残差块网络；所述第一下采样层包括卷积层和第一卷积块；所述第一残差块网络包括多个第一标准残差块；所述卷积层包括卷积核和激活函数层；所述第一卷积块包括一个卷积核、一个实例归一化层和一个激活函数层；所述第一标准残差块包括跃连接的两个所述第一卷积块；
构造风格编码器；所述风格编码器包括依次连接的第二下采样层、全局平均池化层和全连接层；所述第二下采样层包括多个所述卷积层；
构造内容编码判别器；所述内容编码判别器包括多个依次连接的所述第一卷积块；
构造风格编码判别器；所述风格编码判别器包括多个依次连接的所述第二卷积块；
构造解码器；所述解码器包括第二残差块网络、多层感知机和上采样层；所述第二残差块网络包括多个第一标准残差块；所述第一标准残差块包括跃连接的两个第二卷积块；所述第二卷积块包括一个卷积层、一个自适应实例归一化层和一个激活函数层；所述多层感知机用于输出所述风格编码向量对应的自适应实例归一化风格参数；所述上采样层包括反卷积层和激活函数层；所述上采样层的数量与所述第一下采样层和所述第二下采样层数量之和相匹配。
可选的，所述构造改进后条件式生成对抗网络，具体包括：
构造生成器；所述生成器包括卷积层、反卷积层和逐信道全连接层，所述生成器的连接方式为跳跃连接；所述卷积层和所述反卷积层的数量相匹配；所述卷积层包括卷积核和激活函数层；所述反卷积层包括反卷积核和激活函数层；
构造第二判别器；所述第二判别器包括判别器对应的卷积层、全连接层和二分类层；所述判别器对应的卷积层包括结合批量归一化层和激活函数层。
可选的，所述将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器，具体包括：
获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应；
将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像；
将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别；
根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数；
将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像；
将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断；
根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数；
根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数；
根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。
可选的，所述根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数，具体包括：
根据所述编码器重建损失函数和所述第一判别器对抗损失函数得到对抗自动编码器总损失函数；
根据所述第二判别器对抗损失函数和所述生成器全局一致性损失函数得到生成对抗网络总损失函数；
将所述对抗自动编码器总损失函数和所述生成对抗网络总损失函数进行线性加和，得到合成模型总损失函数。
可选的，所述对抗自动编码器总损失函数为
Figure BDA0002408608680000051
其中，
Figure BDA0002408608680000052
为对抗自动编码器总损失函数；
Figure BDA0002408608680000053
为内容编码判别器，
Figure BDA0002408608680000054
为风格编码判别器，Qc为内容编码器，Qs为风格编码器，R为解码器；
Figure BDA0002408608680000055
为内容编码判别器对应的对抗损失，
Figure BDA0002408608680000056
为风格编码判别器对应的对抗损失；LRecon为编码器重建损失；第一判别器对抗损失包括
Figure BDA0002408608680000057
和
Figure BDA0002408608680000058
λ0为对抗自动编码器总损失函数对应的权重参数，λ0用于平衡对抗损失和重建损失；
Figure BDA0002408608680000059
其中，v表示人工分割血管树图像；
Figure BDA0002408608680000061
表示人工分割血管树图像对应的期望值，Pdata(v)表示人工分割血管树图像的数据分布；Qc(ν)为输入为v的内容编码器，Qs(ν)为输入为人工分割血管树图像的风格编码器；
Figure BDA0002408608680000062
Figure BDA0002408608680000063
其中，zc表示内容编码向量，zs表示风格编码向量，P(zc)表示人工加入的内容潜变量先验分布，P(zs)表示人工加入的风格潜变量先验分布；
Figure BDA0002408608680000064
表示内容编码向量对应的期望值，
Figure BDA0002408608680000065
表示风格编码向量对应的期望值；Qc(zc|v)表示内容编码分布函数，Qs(zs|v)表示风格编码分布函数，Qc(zc|v)用于获取内容编码向量，Qs(zs|v)用于获取风格编码向量；
Figure BDA0002408608680000066
为输入为zc的内容编码判别器，
Figure BDA0002408608680000067
为输入为zs的风格编码判别器；
Figure BDA0002408608680000068
为输入为Qc(zc|v)的内容编码判别器，
Figure BDA0002408608680000069
为输入为Qs(zs|v)的风格编码判别器。
可选的，所述生成对抗网络总损失函数为
Figure BDA00024086086800000610
其中，Lim2im(G,D)表示生成对抗网络总损失函数；G表示改进后条件式生成对抗网络中的生成器，D表示改进后条件式生成对抗网络中的第二判别器；Ladv(G,D)表示第二判别器对抗损失函数；
Figure BDA00024086086800000611
表示生成器全局一致性损失函数；
Figure BDA00024086086800000612
表示人工分割血管树图像和原始眼底视网膜图像对应的期望值；v表示人工分割血管树图像，r表示原始眼底视网膜图像，
Figure BDA00024086086800000613
表示重建血管树图像，m为视网膜外轮廓掩码；λ1为生成对抗网络总损失函数对应的权重参数，λ1用于平衡第二判别器的对抗损失和生成器的全局一致性损失；
Figure BDA00024086086800000614
表示输入为
Figure BDA00024086086800000615
和m的生成器；
Figure BDA00024086086800000616
其中，
Figure BDA00024086086800000617
表示重建血管树图像对应的期望值；D(m,(v,r))表示输入为m、v和r的第二判别器；
Figure BDA00024086086800000618
表示输入为m、
Figure BDA00024086086800000619
和
Figure BDA00024086086800000620
的第二判别器；
Figure BDA00024086086800000621
表示输入为m和
Figure BDA00024086086800000622
的生成器。
可选的，所述合成模型总损失函数为
Figure BDA0002408608680000071
其中，
Figure BDA0002408608680000072
表示合成模型总损失函数。
本发明还提供了一种结合对抗自编码器和生成对抗网络的图像合成系统，包括：
增强型对抗自动编码器构造模块，用于构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像；
改进后条件式生成对抗网络构造模块，用于构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练；
模型训练模块，用于将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；
合成图像确定模块，用于基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
可选的，所述模型训练模块，具体包括：
训练数据获取单元，用于获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应；
血管树图像重建单元，用于将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像；
编码判断单元，用于将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别；
增强型对抗自动编码器损失函数建立单元，用于根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数；
眼底视网膜图像重建单元，用于将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像；
眼底视网膜图像判别单元，用于将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断；
生成对抗网络损失函数建立单元，用于根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数；
合成模型总损失函数建立单元，用于根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数；
最优模型确定单元，用于根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。
与现有技术相比，本发明的有益效果是：
本发明提出了结合对抗自编码器和生成对抗网络的图像合成方法及系统，该方法首先构造包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器的增强型对抗自动编码器，构造包括生成器和第二判别器的改进后条件式生成对抗网络；然后将人工分割血管树图像和原始眼底视网膜图像作为训练数据，对上述构建的模型进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；最后基于上述的最优模型得到精度更高、风格更多样化的合成样本数据。采用本发明的方法或系统，能够对有限的医学图像数据集进行样本数据扩增，丰富医学图像数据库，能够提高合成网络的训练过程的稳定性，提升图像合成的精度和泛化性能，进而促进医学图像分割、医学图像配准和医学图像识别等医疗技术的精度和泛化性能提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例结合对抗自编码器和生成对抗网络的图像合成方法的流程图；
图2为本发明实施例增强型对抗自动编码器的结构图；
图3为本发明实施例增强型对抗自动编码器中编码器的结构示意图；
图4为本发明实施例增强型对抗自动编码器中第一判别器的结构示意图；
图5为本发明实施例增强型对抗自动编码器中解码器的结构示意图；
图6为本发明实施例改进后条件式生成对抗网络中生成器的结构示意图；
图7为本发明实施例改进后条件式生成对抗网络中第二判别器的结构示意图；
图8为本发明实施例结合增强型对抗自动编码器和改进后条件式生成对抗网络的图像合成模型结构图；
图9为本发明实施例结合对抗自编码器和生成对抗网络的图像合成系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例结合对抗自编码器和生成对抗网络的图像合成方法的流程图。参见图1，本实施例的结合对抗自编码器和生成对抗网络的图像合成方法，包括：
步骤101：获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据。
所述人工分割血管树图像和所述原始眼底视网膜图像相对应。
步骤102：构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器。
其中，所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像。增强型对抗自动编码器具体结构如图2所示。
步骤103：构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器。
其中，所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练。
步骤104：将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器。
步骤105：基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
其中，步骤102为本实施例中血管树图像的重建过程，在深度学习的Tensorflow框架下执行完成。血管树图像重建的主要目的：为了获取更多特性多样化的重建血管树图像，通过不同类别的编码器，提取人工分割血管树图像中的内容编码向量和风格编码向量，将两种类别的编码向量进行重组。血管树图像重建的目标：对血管树图像数据集进行扩增，为后阶段眼底视网膜图像合成做准备。步骤102具体重建过程如下：
11)构造内容编码器和风格编码器。
所述内容编码器包括依次连接的第一下采样层和第一残差块网络；所述第一下采样层包括卷积层和第一卷积块；所述第一残差块网络包括多个第一标准残差块；所述卷积层包括卷积核和激活函数层；所述第一卷积块包括一个卷积核、一个实例归一化层和一个激活函数层；所述第一标准残差块包括跃连接的两个所述第一卷积块。所述风格编码器包括依次连接的第二下采样层、全局平均池化层和全连接层；所述第二下采样层包括多个所述卷积层。
其中，为了能够充分提取人工分割血管树图像中的特征信息，本实施例中的内容编码器和风格编码器分别采用不同的卷积神经网络的结构；内容编码器采用标准残差块结构，用于获取人工分割的血管树图像中内容编码向量，其具有域不变性，是联系人工分割的血管树图像和重建血管树图像间的载体，确定两者间的结构相似性；风格编码器采用卷积块、全局平局池化和全连接的组合结构，用于获取人工分割的血管树图像中风格编码向量，其具有异域独特性，是丰富重建血管树图像多样性的引导因子，丰富重建血管树图像的特性。
内容编码器和风格编码器的结构如图3所示：
具体地，采用的内容编码器包括：依次连接人工分割血管树图像、一个卷积层、两个卷积块和四个标准残差块(每个残差块包含两个卷积块)；第一个卷积层使用64个7*7卷积核连接输入图像，并使用大小为1的步距，卷积层由卷积核和激活函数组成；第一个卷积块和第二个卷积块步距均为2，均采用尺寸大小为4*4的卷积核，对应的通道数分别为128和256；四个标准残差块结构相同，图3中仅画出第一个标准残差块的结构，它包含两个卷积块，每个卷积块由卷积核、实例归一化和激活函数组成，并使用256个3*3卷积核，步距大小为2。
具体地，采用的风格编码器包括：依次连接人工分割血管树图像、五个卷积层、一个全局平均池化层和一个全连接层；第一个卷积层与内容编码器中的第一个卷积层相同；第二个卷积层至第四个卷积层均采用尺寸大小为4*4、步距为2的卷积核，对应的通道数依次为128、256、256、256；全局平均池化层的卷积核大小为2*2，步距为2；全连接层的通道数为8。
12)构造内容编码判别器和风格编码判别器。所述内容编码判别器包括多个依次连接的所述第一卷积块。所述风格编码判别器包括多个依次连接的所述第二卷积块。
其中，为了对不同类别编码器获取的内容编码向量和风格编码向量的精度进行判别约束，使得提取的不同类别编码向量精度最佳；本实施例构造内容编码判别器和风格编码判别器，两种不同类别的判别器结构相同，均采用卷积块的结构；将提取的内容编码向量、风格编码向量与对应人工获取的先验内容编码向量、人工获取的先验风格编码向量分别作为内容编码判别器和风格编码判别器的输入，判别两者间的差异程度，输出评估反馈信号对不同类别编码器进行参数调优，使之最佳。
内容编码判别器和风格编码判别器的结构如图4所示：
具体地，采用的内容编码判别器和风格编码判别器结构相同包括：依次连接内容编码向量(风格编码向量)和人工获取的先验内容编码向量(人工获取的先验风格编码向量)和四个卷积块；四个卷积块的结构相似，均采用尺寸大小为4*4、步距为2的卷积核，对应的通道数分别为64、128、256、512；每个卷积块包含卷积核、实例归一化和激活函数。
13)构造解码器；所述解码器包括第二残差块网络、多层感知机和上采样层；所述第二残差块网络包括多个第一标准残差块；所述第一标准残差块包括跃连接的两个第二卷积块；所述第二卷积块包括一个卷积层、一个自适应实例归一化层和一个激活函数层；所述多层感知机用于输出所述风格编码向量对应的自适应实例归一化风格参数；所述上采样层包括反卷积层和激活函数层；所述上采样层的数量与所述第一下采样层和所述第二下采样层数量之和相匹配。
其中，为了重组不同类别的编码向量，获取特性多样的重建血管树图像，本实施例采用与内容编码器中相同的标准残差块结构和多层感知机来结合构造解码器结构；多层感知机用于提取风格编码向量中的自适应实例归一化风格参数，作为引导因子丰富重建血管树图像的多样性；四个标准残差块与三个卷积层的结合，用于生成重建血管树图像。
解码器的结构如图5所示：
具体地，采用的解码器结构包括：内容编码向量连接四个标准残差块、两个上采样层和一个卷积层；风格编码向量连接多层感知机，再与四个残差块的输出结果结合；四个标准残差块的结构与内容编码器中的结构相同；每个标准残差块中包含两个卷积块，每个卷积块由卷积核、自适应实例归一化和激活函数组成；两个上采样层的结构相同，均采用尺寸大小为5*5、步距为2的卷积核，对应的通道数分别为128、64，每个上采样层均由卷积核和激活函数组成；最后一个卷积层采用尺寸大小为7*7，步距为2的卷积核，输出的通道数为3；风格编码向量作为多层感知机的输入，获取自适应实例归一化参数，用于丰富重建的血管树图像。
本实施例的增强型对抗自动编码器中内容编码器和解码器均采用标准残差块的主要原因如下：
(1)能够很好的缓解训练模型因层数越深出现梯度弥散的问题，并使得浅层部分的网络权重参数得到更好的训练。
(2)标准残差块中的跳跃连接能够有效地融合低、高层间的特征信息，使得梯度信息都能够顺利通过每一个残差块。
其中，步骤103为本实施例眼底视网膜图像的合成过程，也在深度学习的Tensorflow框架下执行完成。眼底视网膜图像合成的主要目的：为了获取更多多样性丰富，在结构上与原始眼底视网膜图像相似的重建眼底视网膜图像。眼底视网膜图像合成的目标：扩增有限的眼底视网膜训练数据集。步骤103中具体合成如下：
21)构造生成器；所述生成器包括卷积层、反卷积层和逐信道全连接层，所述生成器的连接方式为跳跃连接；所述卷积层和所述反卷积层的数量相匹配；所述卷积层包括卷积核和激活函数层；所述反卷积层包括反卷积核和激活函数层。
其中，为了生成特性多样、逼真度高、与原始眼底视网膜图像在结构上相似的重建眼底视网膜图像，本实施例生成器网络采用类似于“U-Net”的卷积神经网络结构；由于随着模型深度的增加，重建图像中的部分有效特征信息会丢失，通过添加跳跃连接融合低、高层的特征信息来补偿丢失的部分有效信息；在改进后条件式生成对抗网络中添加眼底视网膜外轮廓掩码，能更高效地获取眼底视网膜图像。
生成器的结构如6所示：
具体的，采用的生成器网络结构包括：依次连接眼底视网膜外轮廓掩码与重建血管树图像、四个卷积层、一个逐信道全连接层和四个反卷积层。第一个卷积层采用尺寸大小为7*7、步距为2的卷积核，第二个卷积层和第三个卷积层均采用尺寸大小为5*5、步距为2的卷积核，第四个卷积层采用的卷积核尺寸大小为3*3，步距为2，四个卷积层对应的通道数分别为64、128、256、512；逐信道全连接层的通道数为512；四个反卷积层与四个卷积层是对称的结构，第一个反卷积层参数与第四个卷积层的参数相同，第二个反卷积层和第三个反卷积层与第三个卷积层和第二个卷积层的参数相同，第四个反卷积层与第一个卷积层中的参数设置相同。
22)构造第二判别器；所述第二判别器包括判别器对应的卷积层、全连接层和二分类层；所述判别器对应的卷积层包括结合批量归一化层和激活函数层。所述二分类层是根据全连接层的输出特征对真实图像和生成图像进行判别。
其中，为了保证重建眼底视网膜图像在视觉上更真实，结构上与原始眼底视网膜图像相似，构造一个二分类判别器网络，用于判别输入的图像为原始眼底视网膜图像还是重建眼底视网膜图像。
判别器的结构如图7所示：
具体的，采用的第二判别器包括：依次连接重建血管树图像和重建眼底视网膜图像与人工分割的血管树图像和原始眼底视网膜图像、四个卷积层、一个全连接层和一个二分类层；四个卷积层的结构相同，均采用尺寸大小为5*5、步距为2的卷积核，对应的通道数分别为64、128、256、512；全连接层的通道数为512；二分类的通道数为1024。
本实施例的改进后条件式生成对抗网络中生成器网络采用类似于“U-Net”的对称结构主要原因如下：
(1)对称结构的分布，通过添加跳跃连接能够有效地融合低、高层间的特征信息，弥补因模型网络层越深出现有效信息丢失的问题。
(2)“U-Net”网络的结构独特，适应能力强，在有限的数据集上训练，也能获取一个性能较好的模型。
其中，步骤104为本实施例基于人工分割血管树图像和原始眼底视网膜图像训练数据集，对所述结合增强型对抗自动编码器和改进后条件式生成对抗网络合成模型进行迭代训练过程。步骤104中具体迭代训练步骤如下：
31)获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应。
32)将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像。
33)将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别。
34)根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数。
35)将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像。
36)将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断。
37)根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数。
38)根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数。该步骤具体包括：
根据所述编码器重建损失函数和所述第一判别器对抗损失函数得到对抗自动编码器总损失函数；根据所述第二判别器对抗损失函数和所述生成器全局一致性损失函数得到生成对抗网络总损失函数；将所述对抗自动编码器总损失函数和所述生成对抗网络总损失函数进行线性加和，得到合成模型总损失函数。
39)根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络；最优血管树图像生成器和最优眼底视网膜图像生成器构成最终的整个合成模型，整个合成模型如图8所示。
该步骤中，在不断更新优化的过程中，整个合成模型会生成一系列的重建血管树图像和重建眼底视网膜图像，判别器网络通过学习重建眼底视网膜图像与原始眼底视网膜图像，来确定重建眼底视网膜图像与原始眼底视网膜图像在结构上的贴近程度，输出合成质量评估的反馈信号；血管树图像生成器网络和眼底视网膜图像生成器网络会根据反馈信号来优化网络参数，从而获取更过特性多样化的重建眼底视网膜图像，最终得到最优血管树图像生成器网络和最优眼底视网膜图像生成器网络。
其中，步骤38)中的所述对抗自动编码器总损失函数为
Figure BDA0002408608680000171
其中，
Figure BDA0002408608680000172
为对抗自动编码器总损失函数；
Figure BDA0002408608680000173
为内容编码判别器，
Figure BDA0002408608680000174
为风格编码判别器，Qc为内容编码器，Qs为风格编码器，R为解码器；
Figure BDA0002408608680000175
为内容编码判别器对应的对抗损失，
Figure BDA0002408608680000176
为风格编码判别器对应的对抗损失；LRecon为编码器重建损失；第一判别器对抗损失包括
Figure BDA0002408608680000177
和
Figure BDA0002408608680000178
λ0为对抗自动编码器总损失函数对应的权重参数，λ0用于平衡对抗损失和重建损失。
Figure BDA0002408608680000179
其中，v表示人工分割血管树图像；
Figure BDA00024086086800001710
表示人工分割血管树图像对应的期望值，Pdata(v)表示人工分割血管树图像的数据分布；Qc(ν)为输入为v的内容编码器，Qs(ν)为输入为人工分割血管树图像的风格编码器。
Figure BDA00024086086800001711
Figure BDA00024086086800001712
其中，zc表示内容编码向量，zs表示风格编码向量，P(zc)表示人工加入的内容潜变量先验分布，P(zs)表示人工加入的风格潜变量先验分布；
Figure BDA00024086086800001713
表示内容编码向量对应的期望值，
Figure BDA00024086086800001714
表示风格编码向量对应的期望值；Qc(zc|v)表示内容编码分布函数，Qs(zs|v)表示风格编码分布函数，Qc(zc|v)用于获取内容编码向量，Qs(zs|v)用于获取风格编码向量；
Figure BDA00024086086800001715
为输入为zc的内容编码判别器，
Figure BDA00024086086800001716
为输入为zs的风格编码判别器；
Figure BDA00024086086800001717
为输入为Qc(zc|v)的内容编码判别器，
Figure BDA00024086086800001718
为输入为Qs(zs|v)的风格编码判别器。
步骤38)中的所述生成对抗网络总损失函数为
Figure BDA0002408608680000181
其中，Lim2im(G,D)表示生成对抗网络总损失函数；G表示改进后条件式生成对抗网络中的生成器，D表示改进后条件式生成对抗网络中的第二判别器；Ladv(G,D)表示第二判别器对抗损失函数；
Figure BDA0002408608680000182
表示生成器全局一致性损失函数；
Figure BDA0002408608680000183
表示人工分割血管树图像和原始眼底视网膜图像对应的期望值；v表示人工分割血管树图像，r表示原始眼底视网膜图像，v表示重建血管树图像，m为视网膜外轮廓掩码；λ1为生成对抗网络总损失函数对应的权重参数，λ1用于平衡第二判别器的对抗损失和生成器的全局一致性损失；
Figure BDA0002408608680000184
表示输入为v和m的生成器。
Figure BDA0002408608680000185
其中，
Figure BDA0002408608680000186
表示重建血管树图像对应的期望值；D(m,(v,r))表示输入为m、v和r的第二判别器；
Figure BDA0002408608680000187
表示输入为m、
Figure BDA0002408608680000188
和
Figure BDA0002408608680000189
的第二判别器；
Figure BDA00024086086800001810
表示输入为m和
Figure BDA00024086086800001811
的生成器。
步骤38)中的所述合成模型总损失函数为
Figure BDA00024086086800001812
其中，
Figure BDA00024086086800001813
表示合成模型总损失函数。
本实施中的结合对抗自编码器和生成对抗网络的图像合成方法，能够对有限的医学图像数据集进行样本数据扩增，丰富医学图像数据库，能够提高合成网络的训练过程的稳定性，提升图像合成的精度和泛化性能，进而促进医学图像分割、医学图像配准和医学图像识别等医疗技术的精度和泛化性能提升。
此外，本实施例通过构造改进后条件式生成对抗网络中的对抗损失函数和全局一致性损失函数，能够直接给出定量评估参数，确定重建眼底视网膜图像与原始眼底视网膜图像在结构上的贴近程度。
本发明还提供了一种结合对抗自编码器和生成对抗网络的图像合成系统，图9为本发明实施例结合对抗自编码器和生成对抗网络的图像合成系统的结构示意图。
参见图9，本实施例的结合对抗自编码器和生成对抗网络的图像合成系统包括：
训练数据获取模块201，用于获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据。
增强型对抗自动编码器构造模块202，用于构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像。
改进后条件式生成对抗网络构造模块203，用于构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练。
模型训练模块204，用于将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器。
合成图像确定模块205，用于基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
作为一种可选的实施方式，所述增强型对抗自动编码器构造模块202，具体包括：
内容编码器构造单元，用于构造内容编码器；所述内容编码器包括依次连接的第一下采样层和第一残差块网络；所述第一下采样层包括卷积层和第一卷积块；所述第一残差块网络包括多个第一标准残差块；所述卷积层包括卷积核和激活函数层；所述第一卷积块包括一个卷积核、一个实例归一化层和一个激活函数层；所述第一标准残差块包括跃连接的两个所述第一卷积块。
风格编码器构造单元，用于构造风格编码器；所述风格编码器包括依次连接的第二下采样层、全局平均池化层和全连接层；所述第二下采样层包括多个所述卷积层。
内容编码判别器构造单元，用于构造内容编码判别器；所述内容编码判别器包括多个依次连接的所述第一卷积块。
风格编码判别器构造单元，用于构造风格编码判别器；所述风格编码判别器包括多个依次连接的所述第二卷积块。
解码器构造单元，用于构造解码器；所述解码器包括第二残差块网络、多层感知机和上采样层；所述第二残差块网络包括多个第一标准残差块；所述第一标准残差块包括跃连接的两个第二卷积块；所述第二卷积块包括一个卷积层、一个自适应实例归一化层和一个激活函数层；所述多层感知机用于输出所述风格编码向量对应的自适应实例归一化风格参数；所述上采样层包括反卷积层和激活函数层；所述上采样层的数量与所述第一下采样层和所述第二下采样层数量之和相匹配。
生成器构造单元，用于构造生成器；所述生成器包括卷积层、反卷积层和逐信道全连接层，所述生成器的连接方式为跳跃连接；所述卷积层和所述反卷积层的数量相匹配；所述卷积层包括卷积核和激活函数层；所述反卷积层包括反卷积核和激活函数层。
第二判别器构造单元，用于构造第二判别器；所述第二判别器包括判别器对应的卷积层、全连接层和二分类层；所述判别器对应的卷积层包括结合批量归一化层和激活函数层。
作为一种可选的实施方式，所述模型训练模块204，具体包括：
训练数据获取单元，用于获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应。
血管树图像重建单元，用于将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像。
编码判断单元，用于将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别。
增强型对抗自动编码器损失函数建立单元，用于根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数。
眼底视网膜图像重建单元，用于将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像。
眼底视网膜图像判别单元，用于将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断。
生成对抗网络损失函数建立单元，用于根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数。
合成模型总损失函数建立单元，用于根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数。
最优模型确定单元，用于根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。
作为一种可选的实施方式，所述合成模型总损失函数建立单元，具体包括：
第一总损失函数确定子单元，用于根据所述编码器重建损失函数和所述第一判别器对抗损失函数得到对抗自动编码器总损失函数；
第二总损失函数确定子单元，用于根据所述第二判别器对抗损失函数和所述生成器全局一致性损失函数得到生成对抗网络总损失函数；
第三总损失函数确定子单元，用于将所述对抗自动编码器总损失函数和所述生成对抗网络总损失函数进行线性加和，得到合成模型总损失函数。
作为一种可选的实施方式，所述第一总损失函数确定子单元中的所述对抗自动编码器总损失函数为
Figure BDA0002408608680000221
其中，
Figure BDA0002408608680000222
为对抗自动编码器总损失函数；
Figure BDA0002408608680000223
为内容编码判别器，
Figure BDA0002408608680000224
为风格编码判别器，Qc为内容编码器，Qs为风格编码器，R为解码器；
Figure BDA0002408608680000225
为内容编码判别器对应的对抗损失，
Figure BDA0002408608680000226
为风格编码判别器对应的对抗损失；LRecon为编码器重建损失；第一判别器对抗损失包括
Figure BDA0002408608680000227
和
Figure BDA0002408608680000228
λ0为对抗自动编码器总损失函数对应的权重参数，λ0用于平衡对抗损失和重建损失；
Figure BDA0002408608680000229
其中，v表示人工分割血管树图像；
Figure BDA00024086086800002210
表示人工分割血管树图像对应的期望值，Pdata(v)表示人工分割血管树图像的数据分布；Qc(ν)为输入为v的内容编码器，Qs(ν)为输入为人工分割血管树图像的风格编码器；
Figure BDA00024086086800002211
Figure BDA00024086086800002212
其中，zc表示内容编码向量，zs表示风格编码向量，P(zc)表示人工加入的内容潜变量先验分布，P(zs)表示人工加入的风格潜变量先验分布；
Figure BDA00024086086800002213
表示内容编码向量对应的期望值，
Figure BDA00024086086800002214
表示风格编码向量对应的期望值；Qc(zc|v)表示内容编码分布函数，Qs(zs|v)表示风格编码分布函数，Qc(zc|v)用于获取内容编码向量，Qs(zs|v)用于获取风格编码向量；
Figure BDA0002408608680000231
为输入为zc的内容编码判别器，
Figure BDA0002408608680000232
为输入为zs的风格编码判别器；
Figure BDA0002408608680000233
为输入为Qc(zc|v)的内容编码判别器，
Figure BDA0002408608680000234
为输入为Qs(zs|v)的风格编码判别器。
作为一种可选的实施方式，所述第二总损失函数确定子单元中所述生成对抗网络总损失函数为
Figure BDA0002408608680000235
其中，Lim2im(G,D)表示生成对抗网络总损失函数；G表示改进后条件式生成对抗网络中的生成器，D表示改进后条件式生成对抗网络中的第二判别器；Ladv(G,D)表示第二判别器对抗损失函数；
Figure BDA0002408608680000236
表示生成器全局一致性损失函数；
Figure BDA0002408608680000237
表示人工分割血管树图像和原始眼底视网膜图像对应的期望值；v表示人工分割血管树图像，r表示原始眼底视网膜图像，
Figure BDA0002408608680000238
表示重建血管树图像，m为视网膜外轮廓掩码；λ1为生成对抗网络总损失函数对应的权重参数，λ1用于平衡第二判别器的对抗损失和生成器的全局一致性损失；
Figure BDA0002408608680000239
表示输入为v和m的生成器；
Figure BDA00024086086800002310
其中，
Figure BDA00024086086800002311
表示重建血管树图像对应的期望值；D(m,(v,r))表示输入为m、v和r的第二判别器；
Figure BDA00024086086800002312
表示输入为m、
Figure BDA00024086086800002313
和
Figure BDA00024086086800002314
的第二判别器；
Figure BDA00024086086800002315
表示输入为m和
Figure BDA00024086086800002316
的生成器。
作为一种可选的实施方式，所述第三总损失函数确定子单元中的所述合成模型总损失函数为
Figure BDA00024086086800002317
其中，
Figure BDA00024086086800002318
表示合成模型总损失函数。
本实施例的结合对抗自编码器和生成对抗网络的图像合成系统，能够对有限的医学图像数据集进行样本数据扩增，丰富医学图像数据库，能够提高合成网络的训练过程的稳定性，提升图像合成的精度和泛化性能，进而促进医学图像分割、医学图像配准和医学图像识别等医疗技术的精度和泛化性能提升。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，包括：
构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像；
构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练；
将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；
基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
2.根据权利要求1所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述构造增强型对抗自动编码器，具体包括：
构造内容编码器；所述内容编码器包括依次连接的第一下采样层和第一残差块网络；所述第一下采样层包括卷积层和第一卷积块；所述第一残差块网络包括多个第一标准残差块；所述卷积层包括卷积核和激活函数层；所述第一卷积块包括一个卷积核、一个实例归一化层和一个激活函数层；所述第一标准残差块包括跃连接的两个所述第一卷积块；
构造风格编码器；所述风格编码器包括依次连接的第二下采样层、全局平均池化层和全连接层；所述第二下采样层包括多个所述卷积层；
构造内容编码判别器；所述内容编码判别器包括多个依次连接的所述第一卷积块；
构造风格编码判别器；所述风格编码判别器包括多个依次连接的所述第二卷积块；
构造解码器；所述解码器包括第二残差块网络、多层感知机和上采样层；所述第二残差块网络包括多个第一标准残差块；所述第一标准残差块包括跃连接的两个第二卷积块；所述第二卷积块包括一个卷积层、一个自适应实例归一化层和一个激活函数层；所述多层感知机用于输出所述风格编码向量对应的自适应实例归一化风格参数；所述上采样层包括反卷积层和激活函数层；所述上采样层的数量与所述第一下采样层和所述第二下采样层数量之和相匹配。
3.根据权利要求1所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述构造改进后条件式生成对抗网络，具体包括：
构造生成器；所述生成器包括卷积层、反卷积层和逐信道全连接层，所述生成器的连接方式为跳跃连接；所述卷积层和所述反卷积层的数量相匹配；所述卷积层包括卷积核和激活函数层；所述反卷积层包括反卷积核和激活函数层；
构造第二判别器；所述第二判别器包括判别器对应的卷积层、全连接层和二分类层；所述判别器对应的卷积层包括结合批量归一化层和激活函数层。
4.根据权利要求1所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器，具体包括：
获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应；
将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像；
将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别；
根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数；
将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像；
将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断；
根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数；
根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数；
根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。
5.根据权利要求4所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数，具体包括：
根据所述编码器重建损失函数和所述第一判别器对抗损失函数得到对抗自动编码器总损失函数；
根据所述第二判别器对抗损失函数和所述生成器全局一致性损失函数得到生成对抗网络总损失函数；
将所述对抗自动编码器总损失函数和所述生成对抗网络总损失函数进行线性加和，得到合成模型总损失函数。
6.根据权利要求5所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述对抗自动编码器总损失函数为
Figure FDA0002408608670000041
其中，
Figure FDA0002408608670000042
为对抗自动编码器总损失函数；
Figure FDA0002408608670000043
为内容编码判别器，
Figure FDA0002408608670000044
为风格编码判别器，Qc为内容编码器，Qs为风格编码器，R为解码器；
Figure FDA0002408608670000045
为内容编码判别器对应的对抗损失，
Figure FDA0002408608670000046
为风格编码判别器对应的对抗损失；LRecon为编码器重建损失；第一判别器对抗损失包括
Figure FDA0002408608670000047
和
Figure FDA0002408608670000048
λ0为对抗自动编码器总损失函数对应的权重参数，λ0用于平衡对抗损失和重建损失；
Figure FDA0002408608670000049
其中，v表示人工分割血管树图像；
Figure FDA00024086086700000410
表示人工分割血管树图像对应的期望值，Pdata(v)表示人工分割血管树图像的数据分布；Qc(ν)为输入为v的内容编码器，Qs(ν)为输入为人工分割血管树图像的风格编码器；
Figure FDA00024086086700000411
Figure FDA00024086086700000412
其中，zc表示内容编码向量，zs表示风格编码向量，P(zc)表示人工加入的内容潜变量先验分布，P(zs)表示人工加入的风格潜变量先验分布；
Figure FDA00024086086700000413
表示内容编码向量对应的期望值，
Figure FDA00024086086700000414
表示风格编码向量对应的期望值；Qc(zc|v)表示内容编码分布函数，Qs(zs|v)表示风格编码分布函数，Qc(zc|v)用于获取内容编码向量，Qs(zs|v)用于获取风格编码向量；
Figure FDA00024086086700000415
为输入为zc的内容编码判别器，
Figure FDA0002408608670000051
为输入为zs的风格编码判别器；
Figure FDA0002408608670000052
为输入为Qc(zc|v)的内容编码判别器，
Figure FDA0002408608670000053
为输入为Qs(zs|v)的风格编码判别器。
7.根据权利要求6所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述生成对抗网络总损失函数为
Figure FDA0002408608670000054
其中，Lim2im(G，D)表示生成对抗网络总损失函数；G表示改进后条件式生成对抗网络中的生成器，D表示改进后条件式生成对抗网络中的第二判别器；Ladv(G，D)表示第二判别器对抗损失函数；
Figure FDA0002408608670000055
表示生成器全局一致性损失函数；
Figure FDA0002408608670000056
表示人工分割血管树图像和原始眼底视网膜图像对应的期望值；v表示人工分割血管树图像，r表示原始眼底视网膜图像，
Figure FDA0002408608670000057
表示重建血管树图像，m为视网膜外轮廓掩码；λ1为生成对抗网络总损失函数对应的权重参数，λ1用于平衡第二判别器的对抗损失和生成器的全局一致性损失；
Figure FDA0002408608670000058
表示输入为
Figure FDA0002408608670000059
和m的生成器；
Figure FDA00024086086700000510
其中，
Figure FDA00024086086700000511
表示重建血管树图像对应的期望值；D(m，(v，r))表示输入为m、v和r的第二判别器；
Figure FDA00024086086700000512
表示输入为m、
Figure FDA00024086086700000513
和
Figure FDA00024086086700000514
的第二判别器；
Figure FDA00024086086700000515
表示输入为m和
Figure FDA00024086086700000516
的生成器。
8.根据权利要求7所述的结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，所述合成模型总损失函数为
Figure FDA00024086086700000517
其中，
Figure FDA00024086086700000518
表示合成模型总损失函数。
9.结合对抗自编码器和生成对抗网络的图像合成系统，其特征在于，包括：
增强型对抗自动编码器构造模块，用于构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像；
改进后条件式生成对抗网络构造模块，用于构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述构造增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练；
模型训练模块，用于将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；
合成图像确定模块，用于基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。
10.根据权利要求9所述的结合对抗自编码器和生成对抗网络的图像合成系统，其特征在于，所述模型训练模块，具体包括：
训练数据获取单元，用于获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应；
血管树图像重建单元，用于将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像；
编码判断单元，用于将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别；
增强型对抗自动编码器损失函数建立单元，用于根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数；
眼底视网膜图像重建单元，用于将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像；
眼底视网膜图像判别单元，用于将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断；
生成对抗网络损失函数建立单元，用于根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数；
合成模型总损失函数建立单元，用于根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数；
最优模型确定单元，用于根据所述合成模型总损失函数，采用反向传播的方式对所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述结合增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。
CN202010169306.5A 2020-03-12 2020-03-12 结合对抗自编码器和生成对抗网络的图像合成方法及系统 Expired - Fee Related CN111402179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010169306.5A CN111402179B (zh) 2020-03-12 2020-03-12 结合对抗自编码器和生成对抗网络的图像合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169306.5A CN111402179B (zh) 2020-03-12 2020-03-12 结合对抗自编码器和生成对抗网络的图像合成方法及系统

Publications (2)

Publication Number Publication Date
CN111402179A true CN111402179A (zh) 2020-07-10
CN111402179B CN111402179B (zh) 2022-08-09

Family

ID=71430747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169306.5A Expired - Fee Related CN111402179B (zh) 2020-03-12 2020-03-12 结合对抗自编码器和生成对抗网络的图像合成方法及系统

Country Status (1)

Country Link
CN (1) CN111402179B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111862253A (zh) * 2020-07-14 2020-10-30 华中师范大学 一种基于深度卷积生成对抗网络的草图着色方法及系统
CN112230210A (zh) * 2020-09-09 2021-01-15 南昌航空大学 一种基于改进的lsgan和cnn的hrrp雷达目标识别方法
CN112348806A (zh) * 2020-11-14 2021-02-09 四川大学华西医院 一种无参考数字病理切片模糊度评价算法
CN112364838A (zh) * 2020-12-09 2021-02-12 佛山市南海区广工大数控装备协同创新研究院 一种利用合成的联机文本图像改进手写ocr性能的方法
CN112396674A (zh) * 2020-10-21 2021-02-23 浙江工业大学 一种基于轻量生成对抗网络的快速事件图像填补方法及系统
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112465007A (zh) * 2020-11-24 2021-03-09 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN112967251A (zh) * 2021-03-03 2021-06-15 网易（杭州）网络有限公司 图片检测方法、图片检测模型的训练方法及装置
CN113096169A (zh) * 2021-03-31 2021-07-09 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113269274A (zh) * 2021-06-18 2021-08-17 南昌航空大学 一种基于循环一致性的零样本识别方法及系统
CN114298206A (zh) * 2021-12-24 2022-04-08 北京理工大学 一种眼底图像域转换方法及系统
GB2607385A (en) * 2021-02-24 2022-12-07 Nvidia Corp Generating frames for neural simulation using one or more neural networks
CN116109891A (zh) * 2023-02-08 2023-05-12 人民网股份有限公司 图像数据扩增方法、装置、计算设备及存储介质
WO2023080845A3 (en) * 2021-11-05 2023-08-10 Lemon Inc. Portrait stylization framework to control the similarity between stylized portraits and original photo
FR3139225A1 (fr) 2022-08-23 2024-03-01 Compagnie Generale Des Etablissements Michelin Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977629A (zh) * 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN109949278A (zh) * 2019-03-06 2019-06-28 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
US20190287217A1 (en) * 2018-03-13 2019-09-19 Microsoft Technology Licensing, Llc Machine learning system for reduced network bandwidth transmission of content
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
US20190392304A1 (en) * 2018-06-22 2019-12-26 Insilico Medicine, Inc. Mutual information adversarial autoencoder
CN110827265A (zh) * 2019-11-07 2020-02-21 南开大学 基于深度学习的图片异常检测方法
CN110852935A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种人脸图像随年龄变化的图像处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977629A (zh) * 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
US20190287217A1 (en) * 2018-03-13 2019-09-19 Microsoft Technology Licensing, Llc Machine learning system for reduced network bandwidth transmission of content
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
US20190392304A1 (en) * 2018-06-22 2019-12-26 Insilico Medicine, Inc. Mutual information adversarial autoencoder
CN109543745A (zh) * 2018-11-20 2019-03-29 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN109949278A (zh) * 2019-03-06 2019-06-28 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN110852935A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种人脸图像随年龄变化的图像处理方法
CN110827265A (zh) * 2019-11-07 2020-02-21 南开大学 基于深度学习的图片异常检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANG LI 等: "A Method for Face Fusion Based on Variational Auto-Encoder", 《2018 15TH INTERNATIONAL COMPUTER CONFERENCE ON WAVELET ACTIVE MEDIA TECHNOLOGY AND INFORMATION PROCESSING (ICCWAMTIP)》 *
康莉等: "基于分步生成模型的视网膜眼底图像合成", 《中国体视学与图像分析》 *
张鹏鹏等: "高斯核方向导数和RILPQ融合的人脸表情识别", 《计算机与数字工程》 *
黄菲等: "基于生成对抗网络的异质人脸图像合成:进展与挑战", 《南京信息工程大学学报(自然科学版)》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833359B (zh) * 2020-07-13 2022-07-12 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN111862253A (zh) * 2020-07-14 2020-10-30 华中师范大学 一种基于深度卷积生成对抗网络的草图着色方法及系统
CN111862253B (zh) * 2020-07-14 2023-09-15 华中师范大学 一种基于深度卷积生成对抗网络的草图着色方法及系统
CN111835983B (zh) * 2020-07-23 2021-06-29 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN112230210A (zh) * 2020-09-09 2021-01-15 南昌航空大学 一种基于改进的lsgan和cnn的hrrp雷达目标识别方法
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112396674A (zh) * 2020-10-21 2021-02-23 浙江工业大学 一种基于轻量生成对抗网络的快速事件图像填补方法及系统
CN112348806A (zh) * 2020-11-14 2021-02-09 四川大学华西医院 一种无参考数字病理切片模糊度评价算法
CN112348806B (zh) * 2020-11-14 2022-08-26 四川大学华西医院 一种无参考数字病理切片模糊度评价方法
CN112465007A (zh) * 2020-11-24 2021-03-09 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN112465007B (zh) * 2020-11-24 2023-10-13 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
CN112364838A (zh) * 2020-12-09 2021-02-12 佛山市南海区广工大数控装备协同创新研究院 一种利用合成的联机文本图像改进手写ocr性能的方法
GB2607385A (en) * 2021-02-24 2022-12-07 Nvidia Corp Generating frames for neural simulation using one or more neural networks
CN112967251A (zh) * 2021-03-03 2021-06-15 网易（杭州）网络有限公司 图片检测方法、图片检测模型的训练方法及装置
CN112967251B (zh) * 2021-03-03 2024-06-04 网易（杭州）网络有限公司 图片检测方法、图片检测模型的训练方法及装置
CN113096169A (zh) * 2021-03-31 2021-07-09 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113096169B (zh) * 2021-03-31 2022-05-20 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113269274A (zh) * 2021-06-18 2021-08-17 南昌航空大学 一种基于循环一致性的零样本识别方法及系统
WO2023080845A3 (en) * 2021-11-05 2023-08-10 Lemon Inc. Portrait stylization framework to control the similarity between stylized portraits and original photo
CN114298206B (zh) * 2021-12-24 2024-05-24 北京理工大学 一种眼底图像域转换方法及系统
CN114298206A (zh) * 2021-12-24 2022-04-08 北京理工大学 一种眼底图像域转换方法及系统
FR3139225A1 (fr) 2022-08-23 2024-03-01 Compagnie Generale Des Etablissements Michelin Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique
FR3139224A1 (fr) 2022-08-23 2024-03-01 Compagnie Generale Des Etablissements Michelin Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique
CN116109891A (zh) * 2023-02-08 2023-05-12 人民网股份有限公司 图像数据扩增方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN111402179B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111402179B (zh) 结合对抗自编码器和生成对抗网络的图像合成方法及系统
CN110874842B (zh) 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN110070935B (zh) 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN113343705A (zh) 一种基于文本语义的细节保持图像生成方法及系统
CN111652049A (zh) 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN113240792B (zh) 一种基于人脸重建的图像融合生成式换脸方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN113205096B (zh) 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
CN111797891A (zh) 基于生成对抗网络的非成对异质人脸图像生成方法、装置
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
CN111476241B (zh) 一种人物服饰转换方法及系统
Song et al. SP-GAN: Self-growing and pruning generative adversarial networks
CN111814891A (zh) 医学图像合成方法、装置及存储介质
CN113160032A (zh) 一种基于生成对抗网络的无监督多模态图像转换方法
CN114677263A (zh) Ct图像与mri图像的跨模态转换方法和装置
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
CN111414928A (zh) 一种人脸图像数据生成方法、装置及设备
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
CN111368734A (zh) 一种基于正常表情辅助的微表情识别方法
CN114463214A (zh) 区域注意力机制引导的双路虹膜补全方法及系统
CN110415261A (zh) 一种分区域训练的表情动画转换方法及系统
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN115908662B (zh) 说话人视频的生成模型训练和使用方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220809

CF01 Termination of patent right due to non-payment of annual fee