CN110084863A - 一种基于生成对抗网络的多域图像转换方法与系统 - Google Patents
一种基于生成对抗网络的多域图像转换方法与系统 Download PDFInfo
- Publication number
- CN110084863A CN110084863A CN201910340044.1A CN201910340044A CN110084863A CN 110084863 A CN110084863 A CN 110084863A CN 201910340044 A CN201910340044 A CN 201910340044A CN 110084863 A CN110084863 A CN 110084863A
- Authority
- CN
- China
- Prior art keywords
- mode
- loss
- code
- original image
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 58
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 12
- 230000004069 differentiation Effects 0.000 claims description 42
- 238000005070 sampling Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 40
- 238000012546 transfer Methods 0.000 abstract description 6
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 21
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000013461 design Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000001613 Gambling Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成对抗网络的多域图像转换方法与系统,本发明的多域图像转换方法包括输入指定的X、Y两个模态的原图x、原图y;在重建训练部分针对原图x、原图y分别进行编、解压,分别得到原图特征、重建图、重建特征,并进行特征和图的模态鉴别对抗学习;循环训练部分基于前文的原图特征交换模态的编码器生成重建图、重建图特征以及循环重建图,并再次进行特征和图的模态鉴别对抗学习,最终将循环重建图输出。本发明采用半监督学习方法,既可以利用已有的标签数据也可以使用无标签数据,本发明能够实现多向的多域图像转换而不限于单向域转换或双向的二域转换,对域的数量没有限制,能解决图像风格迁移和医学图像多模态转换等问题。
Description
技术领域
本发明涉及深度学习领域的图像生成技术,具体涉及一种基于生成对抗网络的多域图像转换方法与系统。
背景技术
近年来,卷积神经网络(Convolution Neural Network,简称CNN)在计算机视觉、自然语言处理、医学图像处理等领域表现出了优异性能,以其为代表的深度学习迅速成为当前人工智能技术研究的核心。而在2014年生成对抗网络(Generative AdversarialNetwork,简称GAN)的出现也为深度学习带来了新的思路,2016年GAN与CNN结合,此后GAN被广泛的应用在许多计算机视觉任务中。
GAN是一种训练框架,由一个生成器(Generator)和一个鉴别器(Discriminator)两部分组成,且生成器与鉴别器是对抗(Adversarial)关系。GAN的原理如名字所示,生成器是一个生成图像的网络,它接收一张输入图像,经过网络得到一张生成图像,而鉴别器是一个鉴别网络,鉴别一张图像是不是“真实的”,它对输入图像进行鉴别,输出这张图像为真实图像的概率,如果为1,表示是真实图像,如果为0,表示不是真实图像。在GAN的训练过程中,生成器的目标就是尽量生成真实的图像去欺骗鉴别器。而鉴别器的目标就是尽量把生成器生成的图像和真实的图像分别开来。这样,生成器和鉴别器构成了一个动态的“博弈过程”,理想的博弈结果是:生成器可以生成足以“以假乱真”的图像,而对于鉴别器来说,它难以鉴别生成器生成的图像究竟是不是真实的,因此输出的概率为0.5。
随着GAN的发展,出现了大量基于图像生成的任务,其中图像到图像的转换是热点研究问题,但是基于GAN的图像转换方法只能将图像单向地从一个域转换为另一个域,对此,一些研究提出了可实现图像到图像的多域转换方案或模型,如循环生成对抗网络(CycleGenerative Adversarial Network,简称CycleGAN)。
CycleGAN可以实现两个域的无配对图像转换,本质上是由两个镜像对称的GAN构成一个环形网络,两个GAN包含两个生成器和两个模态鉴别器。GAN模型从模态A获取输入图像,通过A2B生成器将模态A的输入图像转换得到模态B的生成图,然后再用B2A生成器将模态B的生成图转换得到模态A的循环重建图。另一个GAN镜像对称,模态A鉴别器对模态A原图和模态A生成图鉴别,模态B鉴别器对模态B原图和模态B生成图鉴别。且循环重建图像必须与原始输入图像相似,用来定义非配对数据集中原来不存在的映射。
GAN的训练既可以用无监督学习也可以用有监督学习,在任务处理中可以利用有标签数据也可以使用无标签数据,因此成为图像生成领域十分受欢迎的方案。在GAN的基础上设计的这些多域转换方案或模型,被应用到各种不同的场景的任务。常见的有图像风格迁移,图像风格包括油画、水彩、素描等多种风格,图像风格迁移就是把一种风格的图像转换成另一种风格的图像,又或者是将照片转换为指定的风格图像。另外还有将马转换为斑马等类似的风格转换。除了照片和艺术图像的场景外,医学图像的模态转换也是一个重要研究应用场景。因为当前医学图像的多模态转换有着迫切的应用需求,医学图像有多种模态,如:MRI、CT、超声波等。目前的医学图像处理主要针对MRI和CT两种模态进行研究。对于医生来说,不同模态的医学图像具有不同的参考价值,比如MRI图像可提供足够的软组织细节,具有高分辨率的解剖信息,CT图像可用于骨骼、植入物等致密结构的精确定位。越多模态的数据可以给医生的诊断和治疗带来越多的依据。而在当前流行的医学图像公开数据集中,我们发现样本少是普遍的,而且配对的多模态图像数据是更加稀缺的。
此时,如果能实现医学图像的跨模态转换,就能通过已获取模态图像转换生成其他模态的图像,构建出多模态配准的预训练数据集,缓解医学图像领域数据样本稀少的难题,为其他智能医学图像处理任务提供预训练数据集的选择。甚至还能为医生提供其他模态的辅助图像,帮助医生综合考量多种模态图像对诊断做出准确的决策。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于生成对抗网络的多域图像转换方法与系统,本发明采用半监督学习方法,既可以利用已有的标签数据也可以使用无标签数据,本发明能够实现多向的多域图像转换而不局限于单向的域转换或双向的二域转换,对域的数量没有限制,能解决图像风格迁移和医学图像多模态转换的问题。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于生成对抗网络的多域图像转换方法,实施步骤包括:
1)输入指定的X、Y两个模态的原图x、原图y;
2)将原图x进行X模态编码得到第一原图特征code_x,将第一原图特征code_x进行X模态解码得到第一重建图x',将第一重建图x'进行X模态编码得到第一重建特征code_x';将原图y进行Y模态编码得到第二原图特征code_y,将第二原图特征code_y进行Y模态解码得到第二重建图y',将第二重建图y'进行Y模态编码得到第二重建特征code_y';
3)将第一原图特征code_x、第一重建特征code_x'进行特征鉴别,将第二原图特征code_y、第二重建特征code_y'进行特征鉴别对抗学习;将原图x、第一重建图x'进行X模态鉴别对抗学习,将原图y、第二重建图y'进行Y模态鉴别对抗学习;
4)将第一原图特征code_x进行Y模态解码得到第三重建图y”,将第三重建图y”进行Y模态编码得到第三重建图特征code_y”,将第三重建图特征code_y”进行X模态解码得到第一循环重建图x”';将第二原图特征code_y进行X模态解码得到第四重建图x”,将第四重建图x”进行X模态编码得到第四重建图特征code_x”,将第四重建图特征code_x”进行Y模态解码得到第二循环重建图y”';
5)将原图x、第四重建图x”进行X模态鉴别对抗学习,将原图y、第三重建图y”进行Y模态鉴别对抗学习;将第一原图特征code_x、第三重建图特征code_y”进行特征鉴别对抗学习,将第二原图特征code_y、第四重建图特征code_x”进行特征鉴别对抗学习;
6)计算系统网络总体损失;
7)对系统网络总体损失求导,开启反向传播每个损失函数反向逐层计算出各层参数的梯度值,然后根据各层参数梯度更新这些参数,完成本轮迭代,且所述第一循环重建图x”'以及第二循环重建图y”'构成本轮迭代的输出结果。
优选地,所述X、Y两个模态均均有各自独立的编码器、解码器及鉴别器,且由编码器、解码器构成对应模态下的生成器,所述X、Y两个模态具有共用的特征鉴别器,所述X模态编码是通过X模态对应的编码器实现的,所述X模态解码是通过X模态对应的解码器实现的,所述X模态鉴别是通过X模态对应的鉴别器实现的,所述Y模态编码是通过Y模态对应的编码器实现的,所述Y模态解码是通过Y模态对应的解码器实现的,所述Y模态鉴别是通过Y模态对应的鉴别器实现的。
优选地,所述对应模态下的生成器为U-net网络,且编码器对应U-net网络的收缩路径,解码器对应U-net网络的扩张路径,所述收缩路径和扩张路径均为卷积神经网络结构。
优选地,所述收缩路径由两个重复的3×3卷积核组成,且均使用修正线性单元激活函数和一个用于下采样的全卷积操作,在每一个全卷积操作下采样的步骤中,特征通道数量都加倍。
优选地,所述扩张路径的每一步都包含的一个3×3的卷积核,通过卷积核的反卷积操作对特征图进行上采样减少一半的特征通道数量、通过resize方法对每个像素根据插值方法计算得到插值从而扩大图像尺寸,对resize方法的结果进行卷积操作使通道数与特征图的反卷积结果保持一致,然后卷积结果与反卷积结果按位加,进行修正线性单元激活函数激活完成上采样操作,然后连接着级联收缩路径中相应的裁剪后的特征图;最后再用两个3×3的卷积核进行卷积运算且均使用修正线性单元激活函数,并利用1×1的卷积核进行卷积运算,将每个多维的特征向量映射到网络的输出层。
优选地,所述鉴别器和特征鉴别器为多层卷积结构。
优选地,步骤6)的详细步骤包括:
6.1)分别计算X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c,并计算网络生成总体损失loss4;
6.2)根据X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c以及网络生成总体损失loss4计算系统网络总体损失。
优选地,步骤6.2)中计算系统网络总体损失的函数表达式如式(1)所示;
losstotal=(loss4+lossD,x+lossD,y+lossD,c)×γ (1)
式(1)中,losstotal表示系统网络总体损失,loss4为网络生成总体损失,lossD,x为X模态鉴别损失,lossD,y为Y模态鉴别损失,lossD,c为特征鉴别损失,γ为网络的学习率。
此外,本发明还提供一种基于生成对抗网络的多域图像转换系统,包括计算机设备,该计算机设备被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的计算机程序。
此外,本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的计算机程序。
和现有技术相比,本发明具有下述优点:
1、本发明基于生成对抗网络的多域图像转换方法采用半监督学习方法,既可以利用已有的标签数据也可以使用无标签数据。
2、本发明基于生成对抗网络的多域图像转换方法能解决图像风格迁移和医学图像多模态转换的问题,能够实现多向的多域图像转换而不局限于单向的域转换或双向的二域转换,对域的数量没有限制。
附图说明
图1为本发明实施例方法的基本流程图。
图2为本发明实施例采用的生成器结构图(左侧虚线框为编码器,右侧虚线框为解码器)。
图3为本发明实施例采用的解码器的上采样方法示意图。
图4为本发明实施例采用的模态X的重建训练架构图。
图5为本发明实施例采用的模态Y的重建训练架构图。
图6为本发明实施例采用的循环训练架构图(虚线框内为重建训练中已完成部分)。
具体实施方式
如图1所示,本实施例基于生成对抗网络的多域图像转换方法的实施步骤包括:
1)输入指定的X、Y两个模态的原图x、原图y;
2)将原图x进行X模态编码得到第一原图特征code_x,将第一原图特征code_x进行X模态解码得到第一重建图x',将第一重建图x'进行X模态编码得到第一重建特征code_x';将原图y进行Y模态编码得到第二原图特征code_y,将第二原图特征code_y进行Y模态解码得到第二重建图y',将第二重建图y'进行Y模态编码得到第二重建特征code_y';
3)将第一原图特征code_x、第一重建特征code_x'进行特征鉴别,将第二原图特征code_y、第二重建特征code_y'进行特征鉴别对抗学习;将原图x、第一重建图x'进行X模态鉴别对抗学习,将原图y、第二重建图y'进行Y模态鉴别对抗学习;
4)将第一原图特征code_x进行Y模态解码得到第三重建图y”,将第三重建图y”进行Y模态编码得到第三重建图特征code_y”,将第三重建图特征code_y”进行X模态解码得到第一循环重建图x”';将第二原图特征code_y进行X模态解码得到第四重建图x”,将第四重建图x”进行X模态编码得到第四重建图特征code_x”,将第四重建图特征code_x”进行Y模态解码得到第二循环重建图y”';
5)将原图x、第四重建图x”进行X模态鉴别对抗学习,将原图y、第三重建图y”进行Y模态鉴别对抗学习;将第一原图特征code_x、第三重建图特征code_y”进行特征鉴别对抗学习,将第二原图特征code_y、第四重建图特征code_x”进行特征鉴别对抗学习;
6)计算系统网络总体损失;
7)对系统网络总体损失求导,开启反向传播每个损失函数反向逐层计算出各层参数的梯度值,然后根据各层参数梯度更新这些参数,完成本轮迭代(然后退出或者进入下一轮迭代过程),且所述第一循环重建图x”'以及第二循环重建图y”'构成本轮迭代的输出结果。
本实施例中,X、Y两个模态均均有各自独立的编码器、解码器及鉴别器,且由编码器、解码器构成对应模态下的生成器,X、Y两个模态具有共用的特征鉴别器,X模态编码是通过X模态对应的编码器实现的,X模态解码是通过X模态对应的解码器实现的,X模态鉴别是通过X模态对应的鉴别器实现的,Y模态编码是通过Y模态对应的编码器实现的,Y模态解码是通过Y模态对应的解码器实现的,Y模态鉴别是通过Y模态对应的鉴别器实现的。本实施例采用模块化的方法构建多组件模型。将GAN中的生成器模块化为一个编码器和一个解码器,即对每个医学模态构建3个模块:编码器、解码器、鉴别器,所有模态共用一个特征鉴别器。即对于包含n个模态相互转换的系统,需要构建3n+1个模块。模块化的方法适用于模态数量不多图像风格迁移和医学图像多模态转换,比如医学图像的模态数量较少,所以进行模块化设计时构建的模块数量也不多,就以常见3种医学图像模态T1、T2、CT为例,3种模态之间互相转换的系统共有10个模块。模块化的设计具有两个优点:一是模块可重用,训练好的模块可以很方便的重用;二是模态之间参数独立,当有新的模态加入转换系统时,只需对新模态的各个模块进行训练,而不用整个系统模型重新训练。
如图2所示,将GAN中的生成器分解为编码器与解码器两个模块,以此获得两个模块间的中间输出——一组特征图(为了与原图、重建图、生成图更好的区分,简称为特征),这组特征作为除原图外另一约束条件,在后续训练过程中约束网络模型的学习方向。
本实施例中,对应模态下的生成器为U-net网络,且编码器对应U-net网络的收缩路径,解码器对应U-net网络的扩张路径,收缩路径和扩张路径均为卷积神经网络结构。
作为一种优选的实施方式,本实施例中还针对U-net网络进行了改进:
本实施例中,收缩路径由两个重复的3×3卷积核(无填充卷积,UnpaddedConvolution)组成,且均使用修正线性单元(Rectified Linear Unit,简称ReLU)激活函数和一个用于下采样(Down-sampling)的全卷积操作,在每一个全卷积操作下采样的步骤中,特征通道数量都加倍。本实施例中将传统编码器的下采样最大池化操作步长为2的2×2替换为全卷积操作,因为最大池化在每次操作时会将池化核覆盖区域中的最大值作为池化结果,这样的下采样方法使信息丢失非常快,而我们采用的全卷积操作包含了参数的学习,可以在实现降维的同时有效减少信息丢失。
本实施例中,扩张路径的每一步都包含的一个3×3的卷积核,通过卷积核的反卷积操作对特征图进行上采样减少一半的特征通道数量、通过resize方法对每个像素根据插值方法计算得到插值从而扩大图像尺寸,对resize方法的结果进行卷积操作使通道数与特征图的反卷积结果保持一致,然后卷积结果与反卷积结果按位加,进行修正线性单元(Rectified Linear Unit,简称ReLU)激活函数激活完成上采样操作,然后连接着级联收缩路径中相应的裁剪后的特征图;最后再用两个3×3的卷积核进行卷积运算且均使用修正线性单元激活函数,并利用1×1的卷积核进行卷积运算,将每个多维的特征向量映射到网络的输出层。
普通的U-net网络没有使用resize方法,只有反卷积方法,本实施例在改进网络结构同时将反卷积与resize方法结合,本实施例中将解码器的上采样反卷积操作替换为反卷积+resize的操作,因为普通的反卷积由于边缘信息的丢失通常会带来棋盘效应(Checkerboard Artifacts),即实际生成的图像由深深浅浅的相近色方块组成,像素颜色过渡不平滑,形成像棋盘一样的网格。resize方法是对每个像素根据插值方法计算得到插值从而扩大图像尺寸,如果只采用resize方法进行上采样同样会出现棋盘效应。因此我们采用反卷积+resize方法的操作,利用resize方法对图像进行最近邻插值,然后进行卷积操作使通道数与图像的反卷积结果保持一致,最后卷积结果与反卷积结果按位加,进行修正线性单元激活函数激活,完成上采样,这样既能保留反卷积的学习能力,又利用插值进行平滑过渡,从而避免了棋盘效应。
针对图像转换任务,对编码器和解码器的内部网络结构基于U-net网络进行了改进,编码器对应U-net网络的收缩路径,整个过程是对输入的图像进行下采样降维,将U-net网络中的最大池化方法改为全卷积的方法进行下采样,这样在训练过程中能进行参数学习且能有效减少信息的丢失。解码器对应U-net网络的扩张路径,如图3所示,主要对扩张路径中的上采样过程进行了改进,将U-net网络中的反卷积改为反卷积+resize方法的操作,对图像分别进行反卷积操作和resize方法的操作,进行resize方法操作时对图像进行最近邻插值,然后对resize方法的结果进行卷积操作使通道数与图像的反卷积结果保持一致,最后卷积结果与反卷积结果按位加,得到上采样图像。
本实施例中,鉴别器和特征鉴别器为多层卷积结构。鉴别器包含8个卷积层,最后一层使用Sigmod激活函数实现二分类,将图像鉴别为真或为假。特征鉴别器包含3个卷积层,最后使用Sigmod激活函数实现四分类。
本实施例中,步骤1)-3)对应系统的重建训练部分,抽象出来的架构如图4和图5所示,图4为针对原图x的重建训练部分,图5为针对原图y的重建训练部分,在普通的原始图像与重建图像的GAN架构上,增加了重建特征的GAN,即对重建图再一次通过编码器得到重建特征,对原图特征与重建特征利用特征鉴别器进行对抗学习。
重建训练部分是针对单个模态的图像重建过程,在GAN的基础上进行了改进。以模态X为例,由原图得到重建图的具体处理过程如下:
①、X模态的编码器Encoderx将将原图x编码得到第一原图特征code_x;
②、X模态的解码器Decoderx将第一原图特征code_x解码得到重建的第一重建图x′;
③、X模态的鉴别器Discriminatorx分别对原图x、第一重建图x′进行特征鉴别,将前者鉴别为真,后者鉴别为假。
④、X模态的编码器Encoderx将重建第一重建图x′图像编码为第一重建特征code_x′。
⑤、特征鉴别器Discriminatorcode分别对第一原图特征code_x和第一重建特征code_x′进行鉴别,将前者鉴别为真,后者鉴别为假。
其他模态的重建训练方法同上。在这个过程中,我们希望重建图越来越真实,所以通过鉴别器Discriminator对原图与重建图进行对抗学习,此外,还添加了编码特征的GAN,通过特征鉴别器Discriminatorcode对特征Code和重建特征Coderebuild进行对抗学习,从而约束Code与Coderebuild在同一特征空间S中,且在纳什均衡的作用下重建图会越来越接近原图,与原图保持在同一特征空间中。
本实施例中,步骤4)-5)对应系统的循环训练部分,抽象出来的架构如图6所示,与重建训练一样,添加了特征的GAN,并且如图中虚线框所示重用了重建训练过程中已训练的编码器、原图特征及模态鉴别器。在每轮迭代中,重建训练与循环训练在线同步进行,而不是先训练重建部分再训练循环部分,这样能有效促进网络的参数学习,提高学习效率。
CycleGAN是一种针对两个模态之间相互转换的方法,本实施例中根据模块化设计思想,基于前面的重建方法对CycleGAN进行改进。两个模态X、Y的循环训练具体过程如下:
X->Y->X的生成重建过程:
①、重用重建方法中的X模态的编码器Encoderx与第一原图特征code_x。
②、Y模态的解码器Decodery将第一原图特征code_x解码生成第三重建图y″。
③、重用Y模态的鉴别器Discriminatory分别对原图y和第三重建图y″进行鉴别,将前者鉴别为真,后者鉴别为假。
④、Y模态的编码器Encodery将生成的第三重建图y″编码为第三重建图特征code_y″。
⑤、特征鉴别器Discriminatorcode分别对Codex和第三重建图特征code_y″进行鉴别,将前者鉴别为真,后者鉴别为假。
⑥、X模态的解码器Decoderx将第三重建图特征code_y″解码得到循环重建的第一循环重建图x″′。
Y->X->Y的生成重建过程:
①、重用重建方法中的Y模态的编码器Encodery与第二原图特征code_y。
②、X模态的解码器Decoderx将第二原图特征code_y解码生成第四重建图x″。
③、重用X模态的鉴别器Discriminatorx分别对原图x和第四重建图x″进行鉴别,将前者鉴别为真,后者鉴别为假。
④、X模态的编码器Encoderx将生成的第四重建图x″编码为第四重建图特征code_x″。
⑤、特征鉴别器Discriminatorcode分别对第二原图特征code_y和第四重建图特征code_x″进行鉴别,将前者鉴别为真,后者鉴别为假。
⑥、Y模态的解码器Decodery将第四重建图特征code_x″解码得到循环重建的第二循环重建图y″′。
两个生成重建过程组合在一起,构成完整的CycleGAN,实现循环训练。其中①、③利用了模块化的特性,重用了重建方法中训练好的模态编码器、编码特征、模态鉴别器,可以加速模型的训练。此外,我们希望所有模态通过各自编码器提取到的特征都在同一特征空间S中,所以对不同模态提取出的特征Code采用同一个特征鉴别器Discriminatorcode进行鉴别,以此来约束不同模态的编码器将特征映射到同一空间。
以上是两个模态的循环训练方法,两个以上的模态转换需要两两模态构建CycleGAN,如有X、Y、Z三种模态,则需要构建X与Y、Y与Z、Z与X三个CycleGAN,再由这三个CycleGAN构成完整的三模态循环训练。
两个模态X、Y的跨模态转换为例,重建训练部分和循环训练部分的综合训练过程具体公式如下所示:
重建训练过程可用公式表示为:
Codex=Encoderx(x)
Codey=Encodery(y)
xrebuild=Decoderx(Codex)
yrebuild=Decodery(Codey)
Codex,rebuild=Encoderx(xrebuild)
Codey,rebuild=Encodery(yrebuild)
在获取到重建训练生成的Codex、Codey的基础上,循环训练过程可表示为:
yfake=Decodery(Codex)
xfake=Decoderx(Codey)
Codey,fake=Encodery(yfake)
Codex,fake=Encoderx(xfake)
xcycle=Decoderx(Codey,fake)
ycycle=Decodery(Codex,fake)
上述公式中,x表示原图x,y表示原图y,xrebuild表示第一重建图x′,yrebuild表示第二重建图y′进,xfake表示第四重建图x″,yfake表示第三重建图y″,xcycle表示第一循环重建图x″′,ycycle表示第二循环重建图y″′,分别对应X,Y两个模态的原始图像,重建图,生成图和循环重建图。Encoderx、Encodery、Decoderx、Decodery分别表示模态X、Y的编码器与解码器。Codex表示第一原图特征code_x,Codey表示第二原图特征code_y,Codex,rebuild表示第一重建特征code_x′,Codey,rebuild表示第二重建特征code_y′,Codex,fake表示第四重建图特征code_x″,Codey,fake表示第三重建图特征code_y″,分别为通过对应编码器Encoderx、Encodery编码之后得到的特征结果。另外,前面训练方法已提到的Discriminatorx、Discriminatory表示的是模态X、Y的鉴别器,Discriminatorcode是多个模态共用的特征鉴别器。后面模态鉴别器损失函数设计时,定义真实图像的特征Codex、Codey对应组别名RealCodex,RealCodey,重建图及生成图的特征Codex,rebuild、Codex,fake、Codey,rebuild、Codey,fake对应组别名FakeCodex,FakeCodey。
在本实施例中,步骤6)-7)为系统在每轮重建+循环的训练结束后,计算损失函数,进行反向传播更新参数并进入下一轮迭代或退出迭代的过程。整个系统的损失函数主要由三部分组成:模态鉴别器损失、特征鉴别器损失及网络生成器总体损失,利用了网络中所有输出信息,使网络中的重建图、生成图及循环重建图越来越接近原图,重建特征与生成特征越来越接近原图特征。系统经过上述步骤训练后,训练好的系统即可由X、Y模态的原图x、y转换为另一个模态的生成图(第二循环重建图y″′以及第一循环重建图x″′),从而实现医学图像的跨模态转换。后面的生成特征、循环重建图、损失计算流程,都约束生成图像第一循环重建图x″′以及第二循环重建图y″′)的优化方向,使其与原图x、y越来越像。
本实施例中,步骤6)的详细步骤包括:
6.1)分别计算X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c,并计算网络生成总体损失loss4;
6.2)根据X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c以及网络生成总体损失loss4计算系统网络总体损失。
在训练过程中通过设计损失函数作为模型的学习准则,用于约束模型的优化方向。本实施例中,步骤6.2)中计算系统网络总体损失的函数表达式如式(1)所示;
losstotal=(loss4+lossD,x+lossD,y+lossD,c)×γ (1)
式(1)中,losstotal表示系统网络总体损失,loss4为网络生成总体损失,lossD,x为X模态鉴别损失,lossD,y为Y模态鉴别损失,lossD,c为特征鉴别损失,γ为网络的学习率。
其中,网络生成总体损失loss4实际上是loss(Encoderx,Decoderx,Encodery,Decodery)的简写,其具体的函数表达式表示为:
loss4=lossGenerator+losssupervision+lossbce+losscycle+lossGenerator,code+losssupervision,code+losscycle,code (2)
式(2)中,lossGenerator为生成器损失,losssupervision为自监督损失,lossbce为图像梯度差损失,losscycle为循环一致性损失,lossGenerator,code为特征的生成器损失,losssupervision,code为特征的自监督损失,losscycle,code为特征的循环一致性损失。
生成器损失lossGenerator由重建图对抗损失和生成图对抗损失组成。生成器损失lossGenerator的函数表达式表示如式(2-1)所示;
lossGenerator=||Discriminatorx(xrebuild)-1||2×ω1+||Discriminatory(yrebuild)-1||2×ω2+||Discriminatorx(xfake)-1||2×ω3+||Discriminatory(yfake)-1||2×ω4 (2-1)
式(2-1)中,x表示原图x,y表示原图y,xrebuild表示第一重建图x′,yrebuild表示第二重建图y′进,xfake表示第四重建图x″,yfake表示第三重建图y″,Discriminatorx(xrebuild)是模态X鉴别器对重建图xrebuild的鉴别结果,||Discriminatorx(xrebuild)-1||2是重建图xrebuild与原图x的对抗损失,由此约束xrebuild越来越接近x。xfake、yrebuild、yfake同理。Discriminatory(yrebuild)是模态Y鉴别器对重建图yrebuild的鉴别结果,||Discriminatory(yrebuild)-1||2是重建图yrebuild与原图y的对抗损失,由此约束yrebuild越来越接近y。Discriminatorx(xfake)是模态X鉴别器对生成图xfake的鉴别结果,||Discriminatorx(xfake)-1||2是重建图xfake与原图x的对抗损失,由此约束xfake越来越接近x。Discriminatory(yfake)是模态Y鉴别器对生成图yfake的鉴别结果,||Discriminatory(yfake)-1||2是重建图yfake与原图y的对抗损失,由此约束yfake越来越接近y。式(2-1)中的“-1”是指重建图或生成图与原图的对抗,因为原图是真实的,鉴别器输出1表示为真,但重建图和生成图实际上是假的,我们希望它越来越接近1,往真实靠近。ωi是各项损失的权重,可以设置固定值,也可以动态地根据上一次迭代的各项损失值与评估结果更新下一次迭代的各项损失的权重。
自监督损失losssupervision由各模态的重建图与生成图的自监督损失组成,自监督损失losssupervision的函数表达式表示如式(2-2)所示;
losssupervision=||x-xrebuild||2×ω5+||y-yrebuild||2×ω6+||x-xfake||2×ω7+||y-yfake||2×ω8 (2-2)
式(2-2)中,各变量与式(2-1)中相同。
图像梯度差损失lossbce的函数表达式表示如式(2-3)所示;
lossbce=|||x-y|-|x-yfake|||2×ω9+|||y-x|-|y-xfake|||2×ω10 (2-3)
式(2-3)中,各变量与式(2-1)中相同。通过约束|x-y|图像差与|x-yfake|图像差之间的差值,间接地约束生成图yfake与y在同一分布域,yfake越来越接近y。xfake同理。
循环一致性损失losscycle由模态X与模态Y的循环一致性损失组成,循环一致性损失losscycle的函数表达式表示如式(2-4)所示;
losscycle=||x-xcycle||2×ω11+||y-ycycle||2×ω12 (2-4)
式(2-4)中,各变量与式(2-1)中相同。
特征的生成器损失lossGenerator,code由重建特征对抗损失和生成特征对抗损失组成。特征的生成器损失losscenerator,code的函数表达式表示如式(2-5)所示;
lossGenerator,code=||H(Discriminatorcode(Codex,rebuild),0)||2×ω13+HDiscriminatorcodeCodex,fake,02×ω14+HDiscriminatorcodeCodey,rebuild,22×ω15+HDiscriminatorcodeCodey,fake,22×ω16 (2-5)
式(2-5)中,ω9是特征的生成器损失权重,||H(Discriminatorcode(Codex,rebuild),0)||2是重建特征Codex,rebuild与原图特征Codex的对抗损失,由此约束生成器将Codex,rebuild与Codex编码至同一特征空间S;同理,||H(Discriminatorcode(Codex,fake),0)||2是生成特征Codex,fake与原图特征Codex的对抗损失、||H(Discriminatorcode(Codey,rebuild),2)||2是重建特征Codey,rebuild与原图特征Codey的对抗损失、||H(Discriminatorcode(Codey,fake),2)||2是生成特征Codey,fake与原图特征Codey的对抗损失,其中0是真实特征Codex的标签,2是真实特征Codey的标签。Codex表示第一原图特征code_x,Codey表示第二原图特征code_y,Codex,rebuild表示第一重建特征code_x′,Codey,rebuild表示第二重建特征code_y′,Codex,fake表示第四重建图特征code_x″,Codey,fake表示第三重建图特征code_y″,其余各项变量与式(2-1)中相同。
特征的自监督损失losssupervision,code由各模态之间的重建特征与生成特征的自监督损失组成,特征的自监督损失losssupervision,code的函数表达式表示如式(2-6)所示;
losssupervision,code=||Codex-Codex,rebuild||2×ω17+||Codex-Codex,fake||2×ω18+||Codex-Codey,rebuild||2×ω19+||Codex-Codey,fake||2×ω20+||Codey-Codex,rebuild||2×ω21+||Codey-Codex,fake||2×ω22+||Codey-Codey,rebuild||2×ω23+||Codey-Codey,fake||2×ω24 (2-6)
式(2-6)中,各变量与式(2-5)中相同。
特征的循环一致性损失losscycle,code由原图特征一致性损失与生成特征一致性损失组成,特征的循环一致性损失losscycle,code的函数表达式表示如式(2-7)所示;
losscycle,code=||Codex-Codey||2×ω25+||Codex,fake-Codey,fake||2×ω26 (2-7)
式(2-7)中,各变量与式(2-5)中相同。
鉴别器损失函数由原图损失、重建图损失、生成图损失组成。本实施例中,X模态鉴别损失lossD,x实际上是lossDiscriminator,x的简写,其函数表达式表示如式(3)所示;Y模态鉴别损失lossD,y实际上是lossDiscriminator,x的简写,其函数表达式表示如式(4)所示;
lossDiscriminator,x=||Discriminatorx(x)-1||2×ω27+||Discriminatorx(xrebuild)||2×ω28+||Discriminatorx(xfake)||2×ω29 (3)
lossDiscriminator,y=||Discriminatory(y)-1||2×ω30+||Discriminatory(yrebuild)-02×ω31+Discriminatoryyfake-02×ω32 (4)
式(3)和式(4)中,Discriminatorx(x)为模态X鉴别器对原图x的鉴别结果,||Discriminatorx(x)-1||2为模态X鉴别器对原图x的鉴别损失,Discriminatorx(xrebuild)为模态X鉴别器对重建图xrebuild的鉴别结果,||Discriminatorx(xrebuild)||2为模态X鉴别器对重建图xrebuild的鉴别损失,Discriminatorx(xfake)为模态X鉴别器对生成图xfake的鉴别结果,||Discriminatorx(xfake)||2为模态X鉴别器对生成图xfake的鉴别损失,Discriminatory(y)模态Y鉴别器对原图y的鉴别结果,||Discriminatory(y)-1||2为模态Y鉴别器对原图y的鉴别损失,Discriminatory(yrebuild)为模态Y鉴别器对重建图yrebuild的鉴别结果,||Discriminatory(yrebuild)||2为模态Y鉴别器对重建图yrebuild的鉴别损失,Discriminatory(yfake)为模态Y鉴别器对生成图yfake的鉴别结果,||Discriminatory(yfake)||2为模态Y鉴别器对生成图yfake的鉴别损失,其余各项损失权重ωi与式(2-1)中相同。
鉴别器Discriminatorx对输入的图像x、xrebuild、xfake进行鉴别输出在一个在[0,1]区间内的结果,1表示为真,0表示为假,所以我们希望原图x鉴别结果为1,重建图xrebuild和生成图xfake鉴别结果为0,ω1是模态鉴别器的权重。模态Y的鉴别器损失设计同理。
特征鉴别器是两个模态共用的,可以实现RealCodex、FakeCodex、RealCodey、FakeCodey四分类,对应标签为0、1、2、3。因此采用交叉熵损失衡量特征鉴别器的损失,交叉熵的函数表达式如式(5)所示;
式(5)中,N为类别数,Yi为真实标签Y通过独热编码(one-hot编码)转换得到概率分布向量中第i个值,Xi为特征鉴别器预测结果X的概率分布向量中对应标签为Y的概率值。
特征鉴别损失lossD,c即为特征鉴别器的损失lossDiscriminator,code,因此特征鉴别损失lossD,c可构建为如式(6)所示;
lossDiscriminator,code=||H(Discriminatorcode(Codex),0)||2×ω33+||H(Discriminatorcode(Codex,rebuild),1)||2×ω34+||H(Discriminatorcode(Codex,fake),1)||2×ω35+||H(Discriminatorcode(Codey),2)||2×ω36+||H(Discriminatorcode(Codey,rebuild),3)||2×ω37+||H(Discriminatorcode(Codey,fake),3)||2×ω38 (6)
式(6)中,Discriminatorcode(Codex)为特征鉴别器对原图特征Codex的鉴别结果,||H(Discriminatorcode(Codex),0)||2为特征鉴别器对原图特征Codex的鉴别损失,Discriminatorcode(Codex,rebuild)为特征鉴别器对重建特征Codex,rebuild的鉴别结果,||H(Discriminatorcode(Codex,rebuild),1)||2为特征鉴别器对重建特征Codex,rebuild的鉴别损失,Discriminatorcode(Codex,fake)为特征鉴别器对生成特征Codex,fake的鉴别结果,||H(Discriminatorcode(Codex,fake),1)||2为特征鉴别器对生成特征Codex,fake的鉴别损失,Discriminatorcode(Codey)为特征鉴别器对原图特征Codey的鉴别结果,||H(Discriminatorcode(Codey),0)||2为特征鉴别器对原图特征Codey的鉴别损失,Discriminatorcode(Codey,rebuild)为特征鉴别器对重建特征Codey,rebuild的鉴别结果,||H(Discriminatorcode(Codey,rebuild),1)||2为特征鉴别器对重建特征Codey,rebuild的鉴别损失,Discriminatorcode(Codey,fake)为特征鉴别器对生成特征Codey,fake的鉴别结果,||H(Discriminatorcode(Codey,fake),1)||2为特征鉴别器对生成特征Codey,fake的鉴别损失,其余各项损失权重ωi与式(2-1)中相同。
Codex对应RealCodex的标签0,Codex,rebuild与Codex,fake对应FakeCodex的标签1,Codey对应RealCodey的标签2,Codey,rebuild与Codey,fake对应FakeCodey的标签3。
综上所述,为了解决图像风格迁移和医学图像多模态转换的问题,本实施例设计了一种基于生成对抗网络的多域图像转换方法,具有下述优点:
1、本实施例采用半监督学习方法,既可以利用已有的标签数据也可以使用无标签数据,
2、本实施例基于生成对抗网络的多域图像转换方法能够实现多向的多域图像转换而不局限于单向的域转换或双向的二域转换,对域的数量没有限制。
3、本实施例为X、Y两个模态均均有各自独立的编码器、解码器及鉴别器,模块化的设计使模型训练更灵活,训练好的模块可重用,多个模态之间参数独立,当有新的模态加入转换系统时,只需对新模态的各个模块进行训练,而不用整个系统模型重新训练。
4、本实施例在训练过程中添加编码特征的GAN,多个模态共用一个特征鉴别器,以此来约束不同模态的编码器将特征映射到同一空间。
5、本实施例编码器里下采样采用全卷积的方法,解码器上采样采用改进的反卷积+resize方法,消除转换得到图像的棋盘效应,转换图像质量高,效果好。
此外,本实施例还提供一种基于生成对抗网络的多域图像转换系统,包括计算机设备,该计算机设备被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的计算机程序。
此外,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有被编程或配置以执行本发明前述基于生成对抗网络的多域图像转换方法的计算机程序。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于生成对抗网络的多域图像转换方法,其特征在于实施步骤包括:
1)输入指定的X、Y两个模态的原图x、原图y;
2)将原图x进行X模态编码得到第一原图特征code_x,将第一原图特征code_x进行X模态解码得到第一重建图x',将第一重建图x'进行X模态编码得到第一重建特征code_x';将原图y进行Y模态编码得到第二原图特征code_y,将第二原图特征code_y进行Y模态解码得到第二重建图y',将第二重建图y'进行Y模态编码得到第二重建特征code_y';
3)将第一原图特征code_x、第一重建特征code_x'进行特征鉴别,将第二原图特征code_y、第二重建特征code_y'进行特征鉴别对抗学习;将原图x、第一重建图x'进行X模态鉴别对抗学习,将原图y、第二重建图y'进行Y模态鉴别对抗学习;
4)将第一原图特征code_x进行Y模态解码得到第三重建图y”,将第三重建图y”进行Y模态编码得到第三重建图特征code_y”,将第三重建图特征code_y”进行X模态解码得到第一循环重建图x”';将第二原图特征code_y进行X模态解码得到第四重建图x”,将第四重建图x”进行X模态编码得到第四重建图特征code_x”,将第四重建图特征code_x”进行Y模态解码得到第二循环重建图y”';
5)将原图x、第四重建图x”进行X模态鉴别对抗学习,将原图y、第三重建图y”进行Y模态鉴别对抗学习;将第一原图特征code_x、第三重建图特征code_y”进行特征鉴别对抗学习,将第二原图特征code_y、第四重建图特征code_x”进行特征鉴别对抗学习;
6)计算系统网络总体损失;
7)对系统网络总体损失求导,开启反向传播每个损失函数反向逐层计算出各层参数的梯度值,然后根据各层参数梯度更新这些参数,完成本轮迭代,且所述第一循环重建图x”'以及第二循环重建图y”'构成本轮迭代的输出结果。
2.根据权利要求1所述的基于生成对抗网络的多域图像转换方法,其特征在于,所述X、Y两个模态均均有各自独立的编码器、解码器及鉴别器,且由编码器、解码器构成对应模态下的生成器,所述X、Y两个模态具有共用的特征鉴别器,所述X模态编码是通过X模态对应的编码器实现的,所述X模态解码是通过X模态对应的解码器实现的,所述X模态鉴别是通过X模态对应的鉴别器实现的,所述Y模态编码是通过Y模态对应的编码器实现的,所述Y模态解码是通过Y模态对应的解码器实现的,所述Y模态鉴别是通过Y模态对应的鉴别器实现的。
3.根据权利要求2所述的基于生成对抗网络的多域图像转换方法,其特征在于,所述对应模态下的生成器为U-net网络,且编码器对应U-net网络的收缩路径,解码器对应U-net网络的扩张路径,所述收缩路径和扩张路径均为卷积神经网络结构。
4.根据权利要求3所述的基于生成对抗网络的多域图像转换方法,其特征在于,所述收缩路径由两个重复的3×3卷积核组成,且均使用修正线性单元激活函数和一个用于下采样的全卷积操作,在每一个全卷积操作下采样的步骤中,特征通道数量都加倍。
5.根据权利要求3所述的基于生成对抗网络的多域图像转换方法,其特征在于,所述扩张路径的每一步都包含的一个3×3的卷积核,通过卷积核的反卷积操作对特征图进行上采样减少一半的特征通道数量、通过resize方法对每个像素根据插值方法计算得到插值从而扩大图像尺寸,对resize方法的结果进行卷积操作使通道数与特征图的反卷积结果保持一致,然后卷积结果与反卷积结果按位加,进行修正线性单元激活函数激活完成上采样操作,然后连接着级联收缩路径中相应的裁剪后的特征图;最后再用两个3×3的卷积核进行卷积运算且均使用修正线性单元激活函数,并利用1×1的卷积核进行卷积运算,将每个多维的特征向量映射到网络的输出层。
6.根据权利要求2所述的基于生成对抗网络的多域图像转换方法,其特征在于,所述鉴别器和特征鉴别器为多层卷积结构。
7.根据权利要求1所述的基于生成对抗网络的多域图像转换方法,其特征在于,步骤6)的详细步骤包括:
6.1)分别计算X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c,并计算网络生成总体损失loss4;
6.2)根据X模态鉴别损失lossD,x、Y模态鉴别器损失lossD,y、特征鉴别损失lossD,c以及网络生成总体损失loss4计算系统网络总体损失。
8.根据权利要求7所述的基于生成对抗网络的多域图像转换方法,其特征在于,步骤6.2)中计算系统网络总体损失的函数表达式如式(1)所示;
losstotal=(loss4+lossD,x+lossD,y+lossD,c)×γ (1)
式(1)中,losstotal表示系统网络总体损失,loss4为网络生成总体损失,lossD,x为X模态鉴别损失,lossD,y为Y模态鉴别损失,lossD,c为特征鉴别损失,γ为网络的学习率。
9.一种基于生成对抗网络的多域图像转换系统,包括计算机设备,其特征在于,该计算机设备被编程或配置以执行权利要求1~8中任意一项所述基于生成对抗网络的多域图像转换方法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行权利要求1~8中任意一项所述基于生成对抗网络的多域图像转换方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有被编程或配置以执行权利要求1~8中任意一项所述基于生成对抗网络的多域图像转换方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340044.1A CN110084863B (zh) | 2019-04-25 | 2019-04-25 | 一种基于生成对抗网络的多域图像转换方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340044.1A CN110084863B (zh) | 2019-04-25 | 2019-04-25 | 一种基于生成对抗网络的多域图像转换方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084863A true CN110084863A (zh) | 2019-08-02 |
CN110084863B CN110084863B (zh) | 2020-12-25 |
Family
ID=67416783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910340044.1A Active CN110084863B (zh) | 2019-04-25 | 2019-04-25 | 一种基于生成对抗网络的多域图像转换方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084863B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
CN110689561A (zh) * | 2019-09-18 | 2020-01-14 | 中山大学 | 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质 |
CN111091059A (zh) * | 2019-11-19 | 2020-05-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种生活垃圾塑料瓶分类中的数据均衡方法 |
CN111242213A (zh) * | 2020-01-13 | 2020-06-05 | 上海大学 | 无标签的自动人脸属性编辑方法 |
CN111353499A (zh) * | 2020-02-24 | 2020-06-30 | 上海交通大学 | 多模态医学图像分割方法、系统、存储介质及电子设备 |
CN111445476A (zh) * | 2020-02-27 | 2020-07-24 | 上海交通大学 | 基于多模态无监督图像内容解耦的单目深度估计方法 |
CN111436936A (zh) * | 2020-04-29 | 2020-07-24 | 浙江大学 | 基于mri的ct图像重建方法 |
CN111723840A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种用于超声影像的聚类和风格迁移的方法 |
CN111797891A (zh) * | 2020-05-21 | 2020-10-20 | 南京大学 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
CN112288622A (zh) * | 2020-10-29 | 2021-01-29 | 中山大学 | 一种基于多尺度生成对抗网络的伪装图像生成方法 |
CN112348786A (zh) * | 2020-10-29 | 2021-02-09 | 厦门大学 | 一种基于双向相关性的one-shot脑图像分割方法 |
CN112508775A (zh) * | 2020-12-10 | 2021-03-16 | 深圳先进技术研究院 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
WO2021087659A1 (zh) * | 2019-11-04 | 2021-05-14 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
CN113052930A (zh) * | 2021-03-12 | 2021-06-29 | 北京医准智能科技有限公司 | 一种胸部dr双能量数字减影图像生成方法 |
CN113239977A (zh) * | 2021-04-22 | 2021-08-10 | 武汉大学 | 多域图像转换模型的训练方法、装置、设备及存储介质 |
CN113436128A (zh) * | 2021-07-23 | 2021-09-24 | 山东财经大学 | 一种双鉴别器多模态mr图像融合方法、系统及终端 |
CN113498526A (zh) * | 2020-02-05 | 2021-10-12 | 谷歌有限责任公司 | 使用可解释变换参数的图像变换 |
CN113515188A (zh) * | 2019-10-01 | 2021-10-19 | 富士胶片商业创新有限公司 | 辅助装置的特征向量到音频的跨模态转换的设备及方法 |
WO2021248749A1 (zh) * | 2020-06-10 | 2021-12-16 | 四川大学华西医院 | 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法 |
CN113850710A (zh) * | 2021-08-16 | 2021-12-28 | 中山大学 | 一种跨模态医学影像精准转换方法 |
CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
CN116434347A (zh) * | 2023-06-12 | 2023-07-14 | 中山大学 | 一种基于掩码图自编码器的骨架序列识别方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
US20190095798A1 (en) * | 2017-09-28 | 2019-03-28 | D5Ai Llc | Stochastic categorical autoencoder network |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
-
2019
- 2019-04-25 CN CN201910340044.1A patent/CN110084863B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
US20190095798A1 (en) * | 2017-09-28 | 2019-03-28 | D5Ai Llc | Stochastic categorical autoencoder network |
CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
Title |
---|
ZHONGLING WANG等: "Thermal to Visible Facial Image Translation Using Generative Adversarial Networks", 《IEEE SIGNAL PROCESSING LETTERS》 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
CN110544275B (zh) * | 2019-08-19 | 2022-04-26 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
CN110544239B (zh) * | 2019-08-19 | 2021-12-17 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
CN110675316B (zh) * | 2019-08-29 | 2021-07-09 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
CN110689561A (zh) * | 2019-09-18 | 2020-01-14 | 中山大学 | 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质 |
CN113515188A (zh) * | 2019-10-01 | 2021-10-19 | 富士胶片商业创新有限公司 | 辅助装置的特征向量到音频的跨模态转换的设备及方法 |
WO2021087659A1 (zh) * | 2019-11-04 | 2021-05-14 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
CN111091059A (zh) * | 2019-11-19 | 2020-05-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种生活垃圾塑料瓶分类中的数据均衡方法 |
CN111242213B (zh) * | 2020-01-13 | 2023-07-25 | 上海大学 | 无标签的自动人脸属性编辑方法 |
CN111242213A (zh) * | 2020-01-13 | 2020-06-05 | 上海大学 | 无标签的自动人脸属性编辑方法 |
CN113498526A (zh) * | 2020-02-05 | 2021-10-12 | 谷歌有限责任公司 | 使用可解释变换参数的图像变换 |
CN111353499B (zh) * | 2020-02-24 | 2022-08-19 | 上海交通大学 | 多模态医学图像分割方法、系统、存储介质及电子设备 |
CN111353499A (zh) * | 2020-02-24 | 2020-06-30 | 上海交通大学 | 多模态医学图像分割方法、系统、存储介质及电子设备 |
CN111445476B (zh) * | 2020-02-27 | 2023-05-26 | 上海交通大学 | 基于多模态无监督图像内容解耦的单目深度估计方法 |
CN111445476A (zh) * | 2020-02-27 | 2020-07-24 | 上海交通大学 | 基于多模态无监督图像内容解耦的单目深度估计方法 |
CN111436936A (zh) * | 2020-04-29 | 2020-07-24 | 浙江大学 | 基于mri的ct图像重建方法 |
CN111723840A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种用于超声影像的聚类和风格迁移的方法 |
CN111797891B (zh) * | 2020-05-21 | 2024-08-23 | 南京大学 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
CN111797891A (zh) * | 2020-05-21 | 2020-10-20 | 南京大学 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
WO2021248749A1 (zh) * | 2020-06-10 | 2021-12-16 | 四川大学华西医院 | 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法 |
CN112288622A (zh) * | 2020-10-29 | 2021-01-29 | 中山大学 | 一种基于多尺度生成对抗网络的伪装图像生成方法 |
CN112348786B (zh) * | 2020-10-29 | 2022-09-13 | 厦门大学 | 一种基于双向相关性的one-shot脑图像分割方法 |
CN112348786A (zh) * | 2020-10-29 | 2021-02-09 | 厦门大学 | 一种基于双向相关性的one-shot脑图像分割方法 |
CN112508775A (zh) * | 2020-12-10 | 2021-03-16 | 深圳先进技术研究院 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
CN113052930A (zh) * | 2021-03-12 | 2021-06-29 | 北京医准智能科技有限公司 | 一种胸部dr双能量数字减影图像生成方法 |
CN113239977A (zh) * | 2021-04-22 | 2021-08-10 | 武汉大学 | 多域图像转换模型的训练方法、装置、设备及存储介质 |
CN113436128A (zh) * | 2021-07-23 | 2021-09-24 | 山东财经大学 | 一种双鉴别器多模态mr图像融合方法、系统及终端 |
CN113850710A (zh) * | 2021-08-16 | 2021-12-28 | 中山大学 | 一种跨模态医学影像精准转换方法 |
CN113850710B (zh) * | 2021-08-16 | 2024-05-24 | 中山大学 | 一种跨模态医学影像精准转换方法 |
CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
CN114677263B (zh) * | 2022-03-11 | 2024-10-01 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
CN116434347A (zh) * | 2023-06-12 | 2023-07-14 | 中山大学 | 一种基于掩码图自编码器的骨架序列识别方法及系统 |
CN116434347B (zh) * | 2023-06-12 | 2023-10-13 | 中山大学 | 一种基于掩码图自编码器的骨架序列识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110084863B (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084863A (zh) | 一种基于生成对抗网络的多域图像转换方法与系统 | |
Zhou et al. | nnformer: Volumetric medical image segmentation via a 3d transformer | |
Deng et al. | Transbridge: A lightweight transformer for left ventricle segmentation in echocardiography | |
Zhao et al. | Modular generative adversarial networks | |
CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
CN108447020A (zh) | 一种基于极深卷积神经网络的人脸超分辨率重建方法 | |
CN109166130A (zh) | 一种图像处理方法及图像处理装置 | |
CN110675316B (zh) | 基于条件生成对抗网络的多域图像转换方法、系统及介质 | |
CN111368662A (zh) | 一种人脸图像属性编辑方法、装置、存储介质及设备 | |
Ma et al. | Image superresolution via dense discriminative network | |
CN116012344B (zh) | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 | |
CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
CN111814891A (zh) | 医学图像合成方法、装置及存储介质 | |
Zhang et al. | PTNet3D: A 3D high-resolution longitudinal infant brain MRI synthesizer based on transformers | |
CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
Gu et al. | ConvFormer: Combining CNN and Transformer for Medical Image Segmentation | |
Xie et al. | MRSCFusion: Joint residual Swin transformer and multiscale CNN for unsupervised multimodal medical image fusion | |
Liu et al. | 3D medical axial transformer: a lightweight transformer model for 3D brain tumor segmentation | |
CN117710670A (zh) | 一种基于多种特征融合的胶质瘤影像分割方法及系统 | |
CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
Heidari et al. | Enhancing Efficiency in Vision Transformer Networks: Design Techniques and Insights | |
Kerfoot et al. | Synthesising images and labels between MR sequence types with CycleGAN | |
Kadri et al. | Multimodal deep learning based on the combination of EfficientNetV2 and ViT for Alzheimer’s disease early diagnosis enhanced by SAGAN data augmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221028 Address after: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee after: SUN YAT-SEN University Patentee after: National University of Defense Technology Address before: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee before: SUN YAT-SEN University |