CN110827216A - 图像去噪的多生成器生成对抗网络学习方法 - Google Patents

Abstract

本发明涉及一种图像去噪的多生成器生成对抗网络学习方法，提出了具有三个生成器的生成对抗网络，每个生成器分别用于给泊松噪声，高斯模糊噪声和形变噪声去噪，改善低剂量CT(LDCT)图像的质量；生成器采用了残差结构，残差网络中使用的映射短连接可以避免深度神经网络中的梯度消失问题，且可加速网络训练；由于生成分布和真实分布之间不合理的度量，GAN的训练一直是棘手的问题，本发明通过限制权重矩阵的谱范数可以稳定训练，增强训练模型的鲁棒性。

Description

图像去噪的多生成器生成对抗网络学习方法

技术领域

本发明涉及一种图像处理技术，特别涉及一种图像去噪的多生成器生成对抗网络学习方法。

背景技术

X射线计算机断层扫描(CT)自问世以来给医学领域做出了巨大贡献。CT扫描从身体的不同角度拍摄X射线图像，并利用计算机处理来产生血管，骨骼和软组织等横截面图像(切片)。CT图像具有较为广泛的应用，例如扫描可以诊断骨肿瘤，内部损伤和内部出血，这是人们无法用肉眼直接观察到的。CT技术虽然提供了众多益处，但也引起了人类对辐射泄露的关注。当患者受到的辐射剂量成倍增加时，诱发癌症和患遗传性疾病的几率也显著增加。为了解决这个问题，相关机构已采用尽可能低剂量的合理可行(ALARA)原则来保护患者使他们避免接受过量的辐射。

降低辐射剂量会增加CT图像噪声并在CT图像中产生块状和蜡状伪影，这将影响医生做出正确且有效的诊断。目前人们已经致力于低剂量CT(LDCT)图像去噪，并且通过各种技术取得了较为理想的结果。去噪技术目前包括重建前的正弦图过滤[1]-[3]，迭代重建[4]-[5]，以及重构后的图像处理等[6]-[8]。如今各项技术中最受到广泛关注的莫过于深度学习方法。

深度学习模型包含多层神经网络，通过不同层次的特征提取来学习复杂的数据表达。深度网络尤其是卷积神经网络(CNN)可以发现高维数据中的复杂结构，因此深度神经网络已经成功被应用于图像处理，视频，语音等重要领域。自21世纪以来，CNN在计算机视觉方面取得了重大突破。在过去几年中，许多研究致力于处理LDCT图像。一种深度卷积神经网络被用于解决图像超分辨率问题[9]。接着人们提出多种混合架构来处理LDCT去噪的问题，例如RED-CNN[10]。RED-CNN结合了自动编码器，反卷积网络和短连接来取代U-net的池化层。最后方向小波应用变换被用来提取伪影方向分量[11]。

尽管各种创新取得了令人瞩目的成果，到目前为止，LDCT图像去噪方面还存在一些固有缺陷。众所周知，LDCT图像主要包含泊松噪声，高斯模糊和形变等噪声。如果实验直接最小化生成图像与正常剂量CT(NDCT)图像之间每个像素的损失值，则去噪的结果倾向产生过度平滑的边缘。并且基于均方误差(MSE)损失的方法采用了高分辨率补丁，该补丁运用的是欧几里德距离而不是测地距离，在这种情况下，实验结果往往忽略细微的图像特征并在视觉上对人们没有吸引力。此外，去噪后的图片经常引入伪影，特别是非均匀偏差。

[1]Wang,Jing,Hongbing Lu,Tianfang Li,and Zhengrong Liang.“Sinogramnoise reduction for low-dose CT by statistics-based nonlinear filters.”InMedical Imaging 2005:Image Processing,vol.5747,International SocietyforOptics and Photonics,pp.2058-2067,2005.

[2]Wang,Jing,Tianfang Li,Hongbing Lu,and Zhengrong Liang.“Penalizedweighted least-squares approach to sinogram noise reduction and imagereconstruction for low-dose X-ray computed tomography.”IEEE transactions onmedical imaging 25,no.10,pp.1272-1283,2006.

[3]Manduca,Armando,Lifeng Yu,Joshua D.Trzasko,Natalia Khaylova,JamesM.Kofler,Cynthia M.McCollough,and Joel G.Fletcher.“Projection space denoisingwith bilateral filtering and CT noise modeling for dose reduction in CT.”Medical physics 36,no.11,pp.4911-4919,2009.

[4]Beister,Marcel,Daniel Kolditz,and Willi A.Kalender.“Iterativereconstruction methods in X-ray CT.”Physica medica 28.2,pp.94-108,2012.

[5]Hara,Amy K.,Robert G.Paden,Alvin C.Silva,Jennifer L.Kujak,HollyJ.Lawder,and William Pavlicek.“Iterative reconstruction technique forreducing body radiation dose at CT:feasibility study.”American Journal ofRoentgenology 193,no.3,pp.764-771,2009.

[6]Ma,Jianhua,Jing Huang,Qianjin Feng,Hua Zhang,Hongbing Lu,ZhengrongLiang,and Wufan Chen.“Low-dose computed tomography image restoration usingprevious normal-dose scan.”Medical physics 38,no.10,pp.5713-5731,2011.

[7]Chen,Yang,Xindao Yin,Luyao Shi,Huazhong Shu,Limin Luo,JeanLouisCoatrieux,and Christine Toumoulin.“Improving abdomen tumor low-dose CT imagesusing a fast dictionary learning based processing.”Physics in Medicine andBiology 58,no.16,pp.5803,2013.

[8]Feruglio,P.Fumene,Claudio Vinegoni,J.Gros,A.Sbarbati,andR.Weissleder.“Block matching 3D random noise filtering for absorption opticalprojection tomography.”Physics in Medicine and Biology 55,no.18,pp.5401,2010.

[9]Dong,Chao,Chen Change Loy,Kaiming He,and Xiaoou Tang.“Image super-resolution using deep convolutional networks.”IEEE transactions on patternanalysis and machine intelligence 38,no.2,pp.295-307,2015.

[10]Chen,Hu,Yi Zhang,Mannudeep K.Kalra,Feng Lin,Yang Chen,Peixi Liao,Jiliu Zhou,and Ge Wang.“Low-dose CT with a residual encoderdecoderconvolutional neural network.”IEEE transactions on medical imaging 36,no.12,pp.2524-2535,2017.

[11]Kang,Eunhee,Junhong Min,and Jong Chul Ye.“Adeep convolutionalneural network using directional wavelets for low dose X-ray CTreconstruction.”Medical physics 44.10,pp.360-375,2017.

发明内容

本发明是针对LDCT图像去噪存在的问题，提出了一种图像去噪的多生成器生成对抗网络学习方法，训练了三个生成器来改善低剂量CT(LDCT)图像的质量，并利用ResNet和谱归一化使网络获得更高效的训练和更好的收敛性能。

本发明的技术方案为：一种图像去噪的多生成器生成对抗网络学习方法，LDCT图像代表低剂量CT图像，NDCT图像代表正常剂量CT图像，具体包括如下步骤：

1)构建对抗网络结构：包括三个不同的生成器G1、G2、G3和一个判别器D，G1、G2、G3分别是针对去除高斯模糊噪声、泊松量子噪声和形变噪声的生成器，判别器D用于判别真实和生成的图像，生成器和判别器都采用神经网络结构，G1，G2，G3采用残差结构，并且参数各自独立；

2)生成器：LDCT图像作为样本根据各个生成器的权重λ₁、λ₂、λ₃对应输入到3个生成器中，G1生成器输出的生成图像一方面进入判别器D和预处理的λ₁D₂₃进行像素损失的计算，另一方面G1生成器输出的生成图像与G2、G3生成图像相加生成一张新的生成器图片，并与NDCT图像一起作为判别器D的输入，其余两个生成器同理；

G1是针对高斯模糊去噪的生成器，D₂₃是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本，G2是针对泊松量子噪声去噪的生成器，那D₁₃是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本，G3是针对形变去噪的生成器，D₁₂是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本；

3)判别器：为了使生成器生成的图像及其对应的NDCT图像尽可能接近以至于成功欺骗判别器，最小化由生成器损失和判别器损失组成的对抗损失函数L_a，整个判别器的损失函数如下:

Loss＝L_a+L_p1+L_p2+L_p3

L_p1＝μ₁E[||G₁(λ₁z)-λ₁D₂₃||₂]

L_p2＝μ₂E[||G₂(λ₂z)-λ₂D₁₃||₂]

L_p3＝μ₃E[||G₃(λ₃z)-λ₃D₁₂||₂]

其中，L_a表示对抗损失函数；其中λ₁+λ₂+λ₃＝1；f(x)是1-Lipschitz函数；E_s～λiPrf(s)表示s是真实样本时，f(s)的均值；E_t～_Pgif(t)表示t是生成器生成的样本时，f(t)的均值；‖f‖_L≤1表示f(x)的lipschitz常数‖f‖_L不超过1；Pr是NDCT图像分布，λ_i Pr是指选取λ_i倍的NDCT图像分布；P_gi代表第i个生成器生成CT图的分布；s和t分别是λ_i Pr和P_gi的样本；

表示Frobenius-2范数；z表示LDCT图像的分布；L_p1、L_p2、L_p3代表每个生成器生成的图片和对应预处理加了噪声之后的标签图之间的像素损失,而μ₁,μ₂,μ₃是预定义的对不同的像素损失的权重，作用是权衡各像素损失；

4)对建立的对抗网络结构进行训练，然后对实际采样的LDCT图像进行学习处理。

本发明的有益效果在于：本发明图像去噪的多生成器生成式对抗网络学习方法，提出了具有三个生成器的生成式对抗网络，每个生成器分别用于给泊松噪声，高斯模糊噪声和形变噪声去噪；生成器采用了残差结构，残差网络中使用的映射短连接可以避免深度神经网络中的梯度消失问题，且可加速网络训练；由于生成分布和真实分布之间不合理的度量，GAN的训练一直是棘手的问题，本发明通过限制权重矩阵的谱范数可以稳定训练，增强训练模型的鲁棒性。

附图说明

图1为本发明三个生成器的生成式对抗网络结构图；

图2a为一个分布模型拟合的噪声分布仿真图；

图2b为本发明噪声分布仿真图；

图3为本发明离散分布λiPr和Pgi在x和y区域分别有l种状态示意图；

图4为本发明生成器的网络结构图；

图5为本发明判别器的网络结构图。

具体实施方式

1、生成对抗网络(GAN)

生成对抗网络通过对抗过程估计生成式模型。GAN网络同时训练一对竞争模型：生成模型(G)合成真实数据的潜在分布，判别模型(D)计算样本来自真实数据而不是来自生成模型(G)产生的样本的可能性。然而，GAN的损失函数是以Jensen-Shannon(JS)散度的形式，而该散度和生成器的参数不是持续相关的。这种不合理的度量导致GAN训练过程中出现两个严重的问题：不稳定的梯度和模式崩塌，这也是GAN训练不稳定的本质原因。因此，Wasserstein-GAN(WGAN)用推土法(EM)取代其他流行的距离度量。EM距离几乎处处连续并可微。WGAN函数主要利用了Kantorovich-Rubinstein的对偶性：

其中：f(x)是1-Lipschitz函数；

表示x是真实样本时，f(x)的均值；

表示x是GAN生成的样本时，f(x)的均值；‖f‖_L≤1表示f(x)的lipschitz常数‖f‖_L不超过1；P_r是真实数据的分布；P_g是GAN生成的数据的分布；sup是函数的上确界；W(P_r,P_g)是P_r和P_g的EM距离。

为了实现Lipschitz约束，WGAN会在每个梯度更新后将权重限制在一定范围内。Wasserstein GANs(WGAN-GP)通过权重剪切来限制梯度。本发明采用谱归一化法来控制Lipschitz常数。

如今GAN在医学图像去噪领域逐渐受到广泛关注。生成器和判别器都采用卷积神经网络的形式来实现LDCT图像的去噪。WGAN和视觉损失函数被用来捕捉微小的纹理和特征。对抗生成网络和清晰度检测网络被应用从而获取微小的分辨率损失并消除图片模糊的效果。

2、深度残差网络

自神经网络问世以来，网络结构的探索一直是神经网络研究的重要组成部分。随着卷积神经网络层数的增加，不同结构之间的差异逐渐扩大，这一趋势也激发了人们对不同连接模式的探索。VGGNet利用多层堆叠的小尺寸的卷积核将网络深度增加到16-19层，这使得网络能够提取出更加复杂和具有代表性的特征。GoogleNet设计了一个叫做inception的模块，该模块近似一个最优的局部稀疏结构，并且采用不同大小的卷积核来捕捉不同尺度的细节。此外，a bottlenecklayer的采用大大减少了计算量。

更深层次的网络开始收敛时，会出现一系列的问题:梯度消失/爆炸的出现阻碍了网络的收敛速度；深度模型在训练集上的精度达到饱和甚至降低很多；卷积网络实际上只提取图像的一部分信息，太深的网络反而会丢失图像更多的细节，因为网络从原始图像中只提取了少量的特征。深度残差学习框架(ResNet)的提出通过短连接解决了深度神经网络的退化问题。短连接可以跳过一个或多个神经层，将输出通过恒等映射直接添加到堆叠层的最终输出中。短连接的结构可以传输梯度信息，并从以前的层中保持更多的图像信息。更重要的是，残差结构既不增加额外的参数，也不增加计算复杂度。实验表明，ResNet比VGGNet和GoogleNet有着更高的准确率。

3、图像去噪

数字图像在日常生活中扮演着重要的角色，图像被广泛应用于卫星电视、目标检测、以及人脸识别等领域。获取图像的过程经常引入不同类型的噪声和蜡质伪影。因此，在数字图像领域，去噪比其它图像处理有着更为重要的地位。去噪的目的是保留图片中的重要信息并尽可能消除随机噪声。自适应滤波通过自动跟踪未知的情况来给非平稳图像去噪。小波变换通过不同的窗口或分辨率研究信号。小波阈值被用来对高斯噪声进行滤波。BayesShrink使用软阈值化来最小化贝叶斯风险。随着深度学习的发展，越来越多的深度学习方法被应用于图像去噪。

4、TriGAN

众所周知，计算机断层扫描图像中的噪声可视为泊松量子噪声，高斯模糊和形变的组合。因此，本发明将LDCT图像视为多分布组合的数据，即其分布具有多个“峰值”。为了更有效地对LDCT图像进行去噪，提出了一种并行框架，以便可以获得近似分布来拟合所有噪声。TriGAN(多生成器生成式对抗网络)是以WGAN(Wasserstein GAN)为基础。不同的是，模型由三个不同的生成器G1、G2、G3(Generator1、Generator2、Generator3)和一个判别器D(Discriminator)组成。以LDCT图像中的样本x为输入，模型训练三个生成器来产生逼真的图像。G1、G2、G3三个生成器分别针对性地去除高斯模糊、泊松量子噪声噪声和形变噪声。判别器D的作用和在WGAN中类似，用于区分真实和生成的图像。生成器和判别器都采用神经网络的形式，G1，G2，G3的参数各自独立。本发明将该模型称为TriGAN，具体结构如图1所示，输入是LDCT图像，然后根据各个生成器的权重λ₁、λ₂、λ₃分别对应输入到3个生成器中。若第一个生成器针对的是高斯模糊噪声，G1生成图像一方面进入GAN判别器D和之前预处理的λ₁D₂₃进行像素损失的计算，一方面G1生成图像与G2、G3生成图像相加生成一张新的生成器图片，并与NDCT图片(正常剂量CT图像)一起作为GAN判别器D的输入。其余两个生成器同理。LDCT图像数据集的泊松噪声通常会多于形变噪声和高斯模糊噪声，而高斯模糊噪声会多于形变噪声，所以在λ₁、λ₂、λ₃的选取，呈现λ₁>λ₂>λ₃的规律，但保证总和为1。尝试了多种组合实验，根据经验选取了实验指标最好的一组。μ₁、μ₂、μ₃的设置是为了实现对抗网络的损失值和各个像素损失值之间的一种平衡。

D12、D13、D23和LDCT均是在NDCT图像上加相应的噪声。比如：D12在NDCT图像加入高斯模糊和泊松噪声，D13在NDCT图像加入高斯模糊和形变噪声，D23是在NDCT图像加入泊松噪声和形变噪声，LDCT图像汇集了三类噪声。如果G1是针对高斯模糊去噪的生成器，那D₂₃是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本，如G2是针对泊松量子噪声去噪的生成器，那D₁₃是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本，如G3是针对形变去噪的生成器，那D₁₂是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本。

4.1、在概率论和统计学习中，随机变量往往通过几个分布来赋予其具体的概率值。如图2a、2b所示，不同的灰度代表不同的噪声分布。从图2a可以看出，仅仅一个分布模型不能很好地拟合所有的随机变量。部分灰色表示的噪声未被包含在模型范围内。若用多个模型逼近复杂的概率分布，根据经验效果更佳，如图2b所示。

于是，本发明采用三个生成器汇集三类图像噪声：

其中，π₁+π₂+π₃＝1，π₁、π₂、π₃分别表示3个生成器的混合系数；x_k是三个生成器的内部参数(k＝1,2,3)，x表示只有一个生成器时的参数；θ_k为不同的噪声分布；等式左边由于复杂的参数和结构，使得模型拟合噪声变得困难。所以，本发明在已知多个噪声分布的情况下，采取并行网络结构更好地拟合NDCT(Normal dose CT images常规剂量的CT图)图像的分布。即用多个模型(三个生成器)去拟合噪声比用单个模型(一个生成器)去拟合要表现更加优异。

定理：已知LDCT和NDCT图像分布，实际是解决以下最优化问题：

其中λ₁+λ₂+λ₃＝1，λ₁、λ₂、λ₃分别代表G1、G2、G3的权重参数；λ_i Pr表示NDCT图像的部分分布(Pr是NDCT图像分布，这里的λ_i Pr是指选取λ_i倍的NDCT图像分布)；P_gi代表第i个生成器生成CT图的分布(i＝1,2,3)；s和t分别是λ_i Pr和P_gi的样本。

证明：如图3所示离散分布λ_i Pr和P_gi在x和y区域分别有l种状态，x、y是λ_iPr和P_gi不同空间下的随机变量，该随机变量有l种状态，即不同空间下各种概率状态，两个状态在不同空间中有映射关系。实验有多种方法可以将数据从x域转到y域中，而目标是找到最优解，根据Wasserstein距离的定义，优化问题转化为:

γ_i是联合概率分布，并且服从γ_i∈Π(λ_i Pr,P_gi)(Π是指λ_i Pr、P_gi的联合概率分布，γ_i服从这样的分布)，‖λ_ix-y_i‖表示欧式距离，inf代表下限，或最低界。分布γ_i上的所有约束可以被基于1-Lipschitz函数f的额外优化取代：

s是λ_i Pr分布的部分样本，t是P_gi的部分样本。λ_ix是Pr的部分概率分布，y_i是另一种概率分布。加上f这样的1-Lipschitz函数能够实现联合分布的各种约束。

运用极小极大值原理，上式可转化为：

因为下限是凹函数的，Lipschitz连续函数f可以产生与其相同的最优解。因此，我们将上述条件转变为对上限的限制。Wasserstein距离的对偶形式为：

4.2训练的稳定性

GAN训练过程中存在两个固有缺陷:1)模式崩塌，无论模型的输入是什么，生成器生成的样本多样性是有限的，甚至样本是相同的。2)漂移收敛，判别器被训练的过于完美。尽管将生成数据与目标分布区分开来，生成器却无法获得有效的梯度信息。因此，网络难以训练。本发明使用谱归一化来改善这种现象。谱归一化对各层权重矩阵的谱范数进行约束，使lipschitz常数近似等于1。如公式(8)所示,我们首先随机初始化每个权重向量

根据幂次法的原理，通过遵循以下规则可以得到第一个左右奇异向量:

其中W为权值矩阵，然后实验用这对近似奇异向量逼近W的谱范数:

对每个W的谱范数进行归一化:

与其他正则化方法如权值归一化和梯度惩罚相比，谱归一化能更有效地提高生成图像的质量。

4.3网络结构：

1)生成器:如图4所示，生成器采用编码器-解码器的对称结构，直接学习LDCT图像到对应生成图像的端到端映射。两个卷积层(conv layers)叠加在生成器的前部(这里是把生成器看成了整体，意思指在生成器内部的前部)。类似地，在网络末端嵌套两个反卷积层(deconv layers)。卷积层和反卷积层之间存在残差模块(Residual Block)，这些残差模块利用短连接来解决网络退化问题。每个卷积层采用小的3*3卷积核，而不是较大尺寸的卷积核，原因是前者参数较少，有更好的非线性，并且能使得网络同时覆盖足够大的感受域。生成器网络的前两个卷积层有32,64个卷积核，而后两个反卷积层有64,32个卷积核。第一个残差模块的输入和输出有64和256个卷积核，而第二个残差块的输入和输出有256和64个卷积核。所有神经网络层都通过relu激活函数来稳定训练。

2)判别器:判别器的目的是区分输入是NDCT图像还是3个生成器生成的图像。如图5所示，判别器有依次连接的四个卷积层，分别有32,64,128,256个卷积核。在判别器网络的末端，有两个全连接层，第一个全连接层有1024个输出，而另一个全连接层只有一个输出。由于本发明采用的是Wasserstein距离，网络模型未采用sigmoid函数。

3)TriGAN:TriGAN结构如图1所示。为了获得良好的视觉效果和量化分析，本发明定义了一种新的损失函数，其包含像素之间的欧几里德损失和对抗损失。像素间的损失(pixel-topixel Euclidean loss,pixel loss)主要为了确保每个生成器去噪的专一性和有效性。这个过程可以通过将生成图像的每个像素与具有其他两个噪声的图像进行比较来完成。具体来说，Generator1是针对高斯模糊进行训练的，实验最小化Generator1生成的G1图像与带有泊松量子噪声和形变的图像D₂₃之间的像素损失。为了使生成器生成的图像及其预处理的对应NDCT图像尽可能接近以至于成功欺骗判别器，实验同时最小化由生成器损失和判别器损失组成的对抗损失函数。具体损失函数如下:

Loss＝L_a+L_p1+L_p2+L_p3 (11)

L_p1＝μ₁E[||G₁(λ₁z)-λ₁D₂₃||₂] (13)

L_p2＝μ₂E[||G₂(λ₂z)-λ₂D₁₃||₂] (14)

L_p3＝μ₃E[||G₃(λ₃z)-λ₃D₁₂||₂] (15)

其中，L_a表示对抗损失函数；表示Frobenius-2范数；z表示LDCT图像的分布；D₂₃、D₁₃、D₁₂是指有着不同噪声分布的样本，具体情况如图1所示；L_p1、L_p2、L_p3代表每个生成器生成的图片(G₁、G₂、G₃)和现有预处理加了噪声之后的标签图(λ₁D₂₃、λ₂D₁₃、λ₃D₁₂)之间的像素损失,而μ₁,μ₂,μ₃是预定义的对不同的像素损失的权重，作用是权衡各像素损失。

Claims (1)

1.一种图像去噪的多生成器生成对抗网络学习方法，LDCT图像代表低剂量CT图像，NDCT图像代表正常剂量CT图像，其特征在于，具体包括如下步骤：

1)构建对抗网络结构：包括三个不同的生成器G1、G2、G3和一个判别器D，G1、G2、G3分别是针对去除高斯模糊噪声、泊松量子噪声和形变噪声的生成器，判别器D用于判别真实和生成的图像，生成器和判别器都采用神经网络结构，G1，G2，G3采用残差结构，并且参数各自独立；

2)生成器：LDCT图像作为样本根据各个生成器的权重λ₁、λ₂、λ₃对应输入到3个生成器中，G1生成器输出的生成图像一方面进入判别器D和预处理的λ₁D₂₃进行像素损失的计算，另一方面G1生成器输出的生成图像与G2、G3生成图像相加生成一张新的生成器图片，并与NDCT图像一起作为判别器D的输入，其余两个生成器同理；

G1是针对高斯模糊去噪的生成器，D₂₃是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本，G2是针对泊松量子噪声去噪的生成器，那D₁₃是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本，G3是针对形变去噪的生成器，D₁₂是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本；

3)判别器：为了使生成器生成的图像及其对应的NDCT图像尽可能接近以至于成功欺骗判别器，最小化由生成器损失和判别器损失组成的对抗损失函数L_a，整个判别器的损失函数如下:

Loss＝L_a+L_p1+L_p2+L_p3

L_p1＝μ₁E[||G₁(λ₁z)-λ₁D₂₃||₂]

L_p2＝μ₂E[||G₂(λ₂z)-λ₂D₁₃||₂]

L_p3＝μ₃E[||G₃(λ₃z)-λ₃D₁₂||₂]

其中，L_a表示对抗损失函数；其中λ₁+λ₂+λ₃＝1；f(x)是1-Lipschitz函数；

表示s是真实样本时，f(s)的均值；

表示t是生成器生成的样本时，f(t)的均值；‖f‖_L≤1表示f(x)的lipschitz常数‖f‖_L不超过1；Pr是NDCT图像分布，λ_i Pr是指选取λ_i倍的NDCT图像分布；P_gi代表第i个生成器生成CT图的分布；s和t分别是λ_i Pr和P_gi的样本；|| ||表示Frobenius-2范数；z表示LDCT图像的分布；L_p1、L_p2、L_p3代表每个生成器生成的图片和对应预处理加了噪声之后的标签图之间的像素损失,而μ₁,μ₂,μ₃是预定义的对不同的像素损失的权重，作用是权衡各像素损失；

4)对建立的对抗网络结构进行训练，然后对实际采样的LDCT图像进行学习处理。

Images