CN110827216B - 图像去噪的多生成器生成对抗网络学习方法 - Google Patents
图像去噪的多生成器生成对抗网络学习方法 Download PDFInfo
- Publication number
- CN110827216B CN110827216B CN201911012057.2A CN201911012057A CN110827216B CN 110827216 B CN110827216 B CN 110827216B CN 201911012057 A CN201911012057 A CN 201911012057A CN 110827216 B CN110827216 B CN 110827216B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- noise
- distribution
- ndct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 4
- BXBVPYSHEOQGHP-UHFFFAOYSA-N Nordihydrocapsiate Chemical compound COC1=CC(COC(=O)CCCCCC(C)C)=CC=C1O BXBVPYSHEOQGHP-UHFFFAOYSA-N 0.000 claims 16
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000001228 spectrum Methods 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 18
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 14
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000018084 Bone neoplasm Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010061245 Internal injury Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像去噪的多生成器生成对抗网络学习方法,提出了具有三个生成器的生成对抗网络,每个生成器分别用于给泊松噪声,高斯模糊噪声和形变噪声去噪,改善低剂量CT(LDCT)图像的质量;生成器采用了残差结构,残差网络中使用的映射短连接可以避免深度神经网络中的梯度消失问题,且可加速网络训练;由于生成分布和真实分布之间不合理的度量,GAN的训练一直是棘手的问题,本发明通过限制权重矩阵的谱范数可以稳定训练,增强训练模型的鲁棒性。
Description
技术领域
本发明涉及一种图像处理技术,特别涉及一种图像去噪的多生成器生成对抗网络学习方法。
背景技术
X射线计算机断层扫描(CT)自问世以来给医学领域做出了巨大贡献。CT扫描从身体的不同角度拍摄X射线图像,并利用计算机处理来产生血管,骨骼和软组织等横截面图像(切片)。CT图像具有较为广泛的应用,例如扫描可以诊断骨肿瘤,内部损伤和内部出血,这是人们无法用肉眼直接观察到的。CT技术虽然提供了众多益处,但也引起了人类对辐射泄露的关注。当患者受到的辐射剂量成倍增加时,诱发癌症和患遗传性疾病的几率也显著增加。为了解决这个问题,相关机构已采用尽可能低剂量的合理可行(ALARA)原则来保护患者使他们避免接受过量的辐射。
降低辐射剂量会增加CT图像噪声并在CT图像中产生块状和蜡状伪影,这将影响医生做出正确且有效的诊断。目前人们已经致力于低剂量CT(LDCT)图像去噪,并且通过各种技术取得了较为理想的结果。去噪技术目前包括重建前的正弦图过滤[1]-[3],迭代重建[4]-[5],以及重构后的图像处理等[6]-[8]。如今各项技术中最受到广泛关注的莫过于深度学习方法。
深度学习模型包含多层神经网络,通过不同层次的特征提取来学习复杂的数据表达。深度网络尤其是卷积神经网络(CNN)可以发现高维数据中的复杂结构,因此深度神经网络已经成功被应用于图像处理,视频,语音等重要领域。自21世纪以来,CNN在计算机视觉方面取得了重大突破。在过去几年中,许多研究致力于处理LDCT图像。一种深度卷积神经网络被用于解决图像超分辨率问题[9]。接着人们提出多种混合架构来处理LDCT去噪的问题,例如RED-CNN[10]。RED-CNN结合了自动编码器,反卷积网络和短连接来取代U-net的池化层。最后方向小波应用变换被用来提取伪影方向分量[11]。
尽管各种创新取得了令人瞩目的成果,到目前为止,LDCT图像去噪方面还存在一些固有缺陷。众所周知,LDCT图像主要包含泊松噪声,高斯模糊和形变等噪声。如果实验直接最小化生成图像与正常剂量CT(NDCT)图像之间每个像素的损失值,则去噪的结果倾向产生过度平滑的边缘。并且基于均方误差(MSE)损失的方法采用了高分辨率补丁,该补丁运用的是欧几里德距离而不是测地距离,在这种情况下,实验结果往往忽略细微的图像特征并在视觉上对人们没有吸引力。此外,去噪后的图片经常引入伪影,特别是非均匀偏差。
[1]Wang,Jing,Hongbing Lu,Tianfang Li,and Zhengrong Liang.“Sinogramnoise reduction for low-dose CT by statistics-based nonlinear filters.”InMedical Imaging 2005:Image Processing,vol.5747,International SocietyforOptics and Photonics,pp.2058-2067,2005.
[2]Wang,Jing,Tianfang Li,Hongbing Lu,and Zhengrong Liang.“Penalizedweighted least-squares approach to sinogram noise reduction and imagereconstruction for low-dose X-ray computed tomography.”IEEE transactions onmedical imaging 25,no.10,pp.1272-1283,2006.
[3]Manduca,Armando,Lifeng Yu,Joshua D.Trzasko,Natalia Khaylova,JamesM.Kofler,Cynthia M.McCollough,and Joel G.Fletcher.“Projection space denoisingwith bilateral filtering and CT noise modeling for dose reduction in CT.”Medical physics 36,no.11,pp.4911-4919,2009.
[4]Beister,Marcel,Daniel Kolditz,and Willi A.Kalender.“Iterativereconstruction methods in X-ray CT.”Physica medica 28.2,pp.94-108,2012.
[5]Hara,Amy K.,Robert G.Paden,Alvin C.Silva,Jennifer L.Kujak,HollyJ.Lawder,and William Pavlicek.“Iterative reconstruction technique forreducing body radiation dose at CT:feasibility study.”American Journal ofRoentgenology 193,no.3,pp.764-771,2009.
[6]Ma,Jianhua,Jing Huang,Qianjin Feng,Hua Zhang,Hongbing Lu,ZhengrongLiang,and Wufan Chen.“Low-dose computed tomography image restoration usingprevious normal-dose scan.”Medical physics 38,no.10,pp.5713-5731,2011.
[7]Chen,Yang,Xindao Yin,Luyao Shi,Huazhong Shu,Limin Luo,JeanLouisCoatrieux,and Christine Toumoulin.“Improving abdomen tumor low-dose CT imagesusing a fast dictionary learning based processing.”Physics in Medicine andBiology 58,no.16,pp.5803,2013.
[8]Feruglio,P.Fumene,Claudio Vinegoni,J.Gros,A.Sbarbati,andR.Weissleder.“Block matching 3D random noise filtering for absorption opticalprojection tomography.”Physics in Medicine and Biology 55,no.18,pp.5401,2010.
[9]Dong,Chao,Chen Change Loy,Kaiming He,and Xiaoou Tang.“Image super-resolution using deep convolutional networks.”IEEE transactions on patternanalysis and machine intelligence 38,no.2,pp.295-307,2015.
[10]Chen,Hu,Yi Zhang,Mannudeep K.Kalra,Feng Lin,Yang Chen,Peixi Liao,Jiliu Zhou,and Ge Wang.“Low-dose CT with a residual encoderdecoderconvolutional neural network.”IEEE transactions on medical imaging 36,no.12,pp.2524-2535,2017.
[11]Kang,Eunhee,Junhong Min,and Jong Chul Ye.“Adeep convolutionalneural network using directional wavelets for low dose X-ray CTreconstruction.”Medical physics 44.10,pp.360-375,2017.
发明内容
本发明是针对LDCT图像去噪存在的问题,提出了一种图像去噪的多生成器生成对抗网络学习方法,训练了三个生成器来改善低剂量CT(LDCT)图像的质量,并利用ResNet和谱归一化使网络获得更高效的训练和更好的收敛性能。
本发明的技术方案为:一种图像去噪的多生成器生成对抗网络学习方法,LDCT图像代表低剂量CT图像,NDCT图像代表正常剂量CT图像,具体包括如下步骤:
1)构建对抗网络结构:包括三个不同的生成器G1、G2、G3和一个判别器D,G1、G2、G3分别是针对去除高斯模糊噪声、泊松量子噪声和形变噪声的生成器,判别器D用于判别真实和生成的图像,生成器和判别器都采用神经网络结构,G1,G2,G3采用残差结构,并且参数各自独立;
2)生成器:LDCT图像作为样本根据各个生成器的权重λ1、λ2、λ3对应输入到3个生成器中,G1生成器输出的生成图像一方面进入判别器D和预处理的λ1D23进行像素损失的计算,另一方面G1生成器输出的生成图像与G2、G3生成图像相加生成一张新的生成器图片,并与NDCT图像一起作为判别器D的输入,其余两个生成器同理;
G1是针对高斯模糊去噪的生成器,D23是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本,G2是针对泊松量子噪声去噪的生成器,那D13是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本,G3是针对形变去噪的生成器,D12是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本;
3)判别器:为了使生成器生成的图像及其对应的NDCT图像尽可能接近以至于成功欺骗判别器,最小化由生成器损失和判别器损失组成的对抗损失函数La,整个判别器的损失函数如下:
Loss=La+Lp1+Lp2+Lp3
Lp1=μ1E[||G1(λ1z)-λ1D23||2]
Lp2=μ2E[||G2(λ2z)-λ2D13||2]
Lp3=μ3E[||G3(λ3z)-λ3D12||2]
其中,La表示对抗损失函数;其中λ1+λ2+λ3=1;f(x)是1-Lipschitz函数;Es~λiPrf(s)表示s是真实样本时,f(s)的均值;Et~Pgif(t)表示t是生成器生成的样本时,f(t)的均值;‖f‖L≤1表示f(x)的lipschitz常数‖f‖L不超过1;Pr是NDCT图像分布,λi Pr是指选取λi倍的NDCT图像分布;Pgi代表第i个生成器生成CT图的分布;s和t分别是λi Pr和Pgi的样本;表示Frobenius-2范数;z表示LDCT图像的分布;Lp1、Lp2、Lp3代表每个生成器生成的图片和对应预处理加了噪声之后的标签图之间的像素损失,而μ1,μ2,μ3是预定义的对不同的像素损失的权重,作用是权衡各像素损失;
4)对建立的对抗网络结构进行训练,然后对实际采样的LDCT图像进行学习处理。
本发明的有益效果在于:本发明图像去噪的多生成器生成式对抗网络学习方法,提出了具有三个生成器的生成式对抗网络,每个生成器分别用于给泊松噪声,高斯模糊噪声和形变噪声去噪;生成器采用了残差结构,残差网络中使用的映射短连接可以避免深度神经网络中的梯度消失问题,且可加速网络训练;由于生成分布和真实分布之间不合理的度量,GAN的训练一直是棘手的问题,本发明通过限制权重矩阵的谱范数可以稳定训练,增强训练模型的鲁棒性。
附图说明
图1为本发明三个生成器的生成式对抗网络结构图;
图2a为一个分布模型拟合的噪声分布仿真图;
图2b为本发明噪声分布仿真图;
图3为本发明离散分布λiPr和Pgi在x和y区域分别有l种状态示意图;
图4为本发明生成器的网络结构图;
图5为本发明判别器的网络结构图。
具体实施方式
1、生成对抗网络(GAN)
生成对抗网络通过对抗过程估计生成式模型。GAN网络同时训练一对竞争模型:生成模型(G)合成真实数据的潜在分布,判别模型(D)计算样本来自真实数据而不是来自生成模型(G)产生的样本的可能性。然而,GAN的损失函数是以Jensen-Shannon(JS)散度的形式,而该散度和生成器的参数不是持续相关的。这种不合理的度量导致GAN训练过程中出现两个严重的问题:不稳定的梯度和模式崩塌,这也是GAN训练不稳定的本质原因。因此,Wasserstein-GAN(WGAN)用推土法(EM)取代其他流行的距离度量。EM距离几乎处处连续并可微。WGAN函数主要利用了Kantorovich-Rubinstein的对偶性:
其中:f(x)是1-Lipschitz函数;表示x是真实样本时,f(x)的均值;表示x是GAN生成的样本时,f(x)的均值;‖f‖L≤1表示f(x)的lipschitz常数‖f‖L不超过1;Pr是真实数据的分布;Pg是GAN生成的数据的分布;sup是函数的上确界;W(Pr,Pg)是Pr和Pg的EM距离。
为了实现Lipschitz约束,WGAN会在每个梯度更新后将权重限制在一定范围内。Wasserstein GANs(WGAN-GP)通过权重剪切来限制梯度。本发明采用谱归一化法来控制Lipschitz常数。
如今GAN在医学图像去噪领域逐渐受到广泛关注。生成器和判别器都采用卷积神经网络的形式来实现LDCT图像的去噪。WGAN和视觉损失函数被用来捕捉微小的纹理和特征。对抗生成网络和清晰度检测网络被应用从而获取微小的分辨率损失并消除图片模糊的效果。
2、深度残差网络
自神经网络问世以来,网络结构的探索一直是神经网络研究的重要组成部分。随着卷积神经网络层数的增加,不同结构之间的差异逐渐扩大,这一趋势也激发了人们对不同连接模式的探索。VGGNet利用多层堆叠的小尺寸的卷积核将网络深度增加到16-19层,这使得网络能够提取出更加复杂和具有代表性的特征。GoogleNet设计了一个叫做inception的模块,该模块近似一个最优的局部稀疏结构,并且采用不同大小的卷积核来捕捉不同尺度的细节。此外,a bottlenecklayer的采用大大减少了计算量。
更深层次的网络开始收敛时,会出现一系列的问题:梯度消失/爆炸的出现阻碍了网络的收敛速度;深度模型在训练集上的精度达到饱和甚至降低很多;卷积网络实际上只提取图像的一部分信息,太深的网络反而会丢失图像更多的细节,因为网络从原始图像中只提取了少量的特征。深度残差学习框架(ResNet)的提出通过短连接解决了深度神经网络的退化问题。短连接可以跳过一个或多个神经层,将输出通过恒等映射直接添加到堆叠层的最终输出中。短连接的结构可以传输梯度信息,并从以前的层中保持更多的图像信息。更重要的是,残差结构既不增加额外的参数,也不增加计算复杂度。实验表明,ResNet比VGGNet和GoogleNet有着更高的准确率。
3、图像去噪
数字图像在日常生活中扮演着重要的角色,图像被广泛应用于卫星电视、目标检测、以及人脸识别等领域。获取图像的过程经常引入不同类型的噪声和蜡质伪影。因此,在数字图像领域,去噪比其它图像处理有着更为重要的地位。去噪的目的是保留图片中的重要信息并尽可能消除随机噪声。自适应滤波通过自动跟踪未知的情况来给非平稳图像去噪。小波变换通过不同的窗口或分辨率研究信号。小波阈值被用来对高斯噪声进行滤波。BayesShrink使用软阈值化来最小化贝叶斯风险。随着深度学习的发展,越来越多的深度学习方法被应用于图像去噪。
4、TriGAN
众所周知,计算机断层扫描图像中的噪声可视为泊松量子噪声,高斯模糊和形变的组合。因此,本发明将LDCT图像视为多分布组合的数据,即其分布具有多个“峰值”。为了更有效地对LDCT图像进行去噪,提出了一种并行框架,以便可以获得近似分布来拟合所有噪声。TriGAN(多生成器生成式对抗网络)是以WGAN(Wasserstein GAN)为基础。不同的是,模型由三个不同的生成器G1、G2、G3(Generator1、Generator2、Generator3)和一个判别器D(Discriminator)组成。以LDCT图像中的样本x为输入,模型训练三个生成器来产生逼真的图像。G1、G2、G3三个生成器分别针对性地去除高斯模糊、泊松量子噪声噪声和形变噪声。判别器D的作用和在WGAN中类似,用于区分真实和生成的图像。生成器和判别器都采用神经网络的形式,G1,G2,G3的参数各自独立。本发明将该模型称为TriGAN,具体结构如图1所示,输入是LDCT图像,然后根据各个生成器的权重λ1、λ2、λ3分别对应输入到3个生成器中。若第一个生成器针对的是高斯模糊噪声,G1生成图像一方面进入GAN判别器D和之前预处理的λ1D23进行像素损失的计算,一方面G1生成图像与G2、G3生成图像相加生成一张新的生成器图片,并与NDCT图片(正常剂量CT图像)一起作为GAN判别器D的输入。其余两个生成器同理。LDCT图像数据集的泊松噪声通常会多于形变噪声和高斯模糊噪声,而高斯模糊噪声会多于形变噪声,所以在λ1、λ2、λ3的选取,呈现λ1>λ2>λ3的规律,但保证总和为1。尝试了多种组合实验,根据经验选取了实验指标最好的一组。μ1、μ2、μ3的设置是为了实现对抗网络的损失值和各个像素损失值之间的一种平衡。
D12、D13、D23和LDCT均是在NDCT图像上加相应的噪声。比如:D12在NDCT图像加入高斯模糊和泊松噪声,D13在NDCT图像加入高斯模糊和形变噪声,D23是在NDCT图像加入泊松噪声和形变噪声,LDCT图像汇集了三类噪声。如果G1是针对高斯模糊去噪的生成器,那D23是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本,如G2是针对泊松量子噪声去噪的生成器,那D13是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本,如G3是针对形变去噪的生成器,那D12是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本。
4.1、在概率论和统计学习中,随机变量往往通过几个分布来赋予其具体的概率值。如图2a、2b所示,不同的灰度代表不同的噪声分布。从图2a可以看出,仅仅一个分布模型不能很好地拟合所有的随机变量。部分灰色表示的噪声未被包含在模型范围内。若用多个模型逼近复杂的概率分布,根据经验效果更佳,如图2b所示。
于是,本发明采用三个生成器汇集三类图像噪声:
其中,π1+π2+π3=1,π1、π2、π3分别表示3个生成器的混合系数;xk是三个生成器的内部参数(k=1,2,3),x表示只有一个生成器时的参数;θk为不同的噪声分布;等式左边由于复杂的参数和结构,使得模型拟合噪声变得困难。所以,本发明在已知多个噪声分布的情况下,采取并行网络结构更好地拟合NDCT(Normal dose CT images常规剂量的CT图)图像的分布。即用多个模型(三个生成器)去拟合噪声比用单个模型(一个生成器)去拟合要表现更加优异。
定理:已知LDCT和NDCT图像分布,实际是解决以下最优化问题:
其中λ1+λ2+λ3=1,λ1、λ2、λ3分别代表G1、G2、G3的权重参数;λi Pr表示NDCT图像的部分分布(Pr是NDCT图像分布,这里的λi Pr是指选取λi倍的NDCT图像分布);Pgi代表第i个生成器生成CT图的分布(i=1,2,3);s和t分别是λi Pr和Pgi的样本。
证明:如图3所示离散分布λi Pr和Pgi在x和y区域分别有l种状态,x、y是λiPr和Pgi不同空间下的随机变量,该随机变量有l种状态,即不同空间下各种概率状态,两个状态在不同空间中有映射关系。实验有多种方法可以将数据从x域转到y域中,而目标是找到最优解,根据Wasserstein距离的定义,优化问题转化为:
γi是联合概率分布,并且服从γi∈Π(λi Pr,Pgi)(Π是指λi Pr、Pgi的联合概率分布,γi服从这样的分布),‖λix-yi‖表示欧式距离,inf代表下限,或最低界。分布γi上的所有约束可以被基于1-Lipschitz函数f的额外优化取代:
s是λi Pr分布的部分样本,t是Pgi的部分样本。λix是Pr的部分概率分布,yi是另一种概率分布。加上f这样的1-Lipschitz函数能够实现联合分布的各种约束。
运用极小极大值原理,上式可转化为:
因为下限是凹函数的,Lipschitz连续函数f可以产生与其相同的最优解。因此,我们将上述条件转变为对上限的限制。Wasserstein距离的对偶形式为:
4.2训练的稳定性
GAN训练过程中存在两个固有缺陷:1)模式崩塌,无论模型的输入是什么,生成器生成的样本多样性是有限的,甚至样本是相同的。2)漂移收敛,判别器被训练的过于完美。尽管将生成数据与目标分布区分开来,生成器却无法获得有效的梯度信息。因此,网络难以训练。本发明使用谱归一化来改善这种现象。谱归一化对各层权重矩阵的谱范数进行约束,使lipschitz常数近似等于1。如公式(8)所示,我们首先随机初始化每个权重向量根据幂次法的原理,通过遵循以下规则可以得到第一个左右奇异向量:
其中W为权值矩阵,然后实验用这对近似奇异向量逼近W的谱范数:
对每个W的谱范数进行归一化:
与其他正则化方法如权值归一化和梯度惩罚相比,谱归一化能更有效地提高生成图像的质量。
4.3网络结构:
1)生成器:如图4所示,生成器采用编码器-解码器的对称结构,直接学习LDCT图像到对应生成图像的端到端映射。两个卷积层(conv layers)叠加在生成器的前部(这里是把生成器看成了整体,意思指在生成器内部的前部)。类似地,在网络末端嵌套两个反卷积层(deconv layers)。卷积层和反卷积层之间存在残差模块(Residual Block),这些残差模块利用短连接来解决网络退化问题。每个卷积层采用小的3*3卷积核,而不是较大尺寸的卷积核,原因是前者参数较少,有更好的非线性,并且能使得网络同时覆盖足够大的感受域。生成器网络的前两个卷积层有32,64个卷积核,而后两个反卷积层有64,32个卷积核。第一个残差模块的输入和输出有64和256个卷积核,而第二个残差块的输入和输出有256和64个卷积核。所有神经网络层都通过relu激活函数来稳定训练。
2)判别器:判别器的目的是区分输入是NDCT图像还是3个生成器生成的图像。如图5所示,判别器有依次连接的四个卷积层,分别有32,64,128,256个卷积核。在判别器网络的末端,有两个全连接层,第一个全连接层有1024个输出,而另一个全连接层只有一个输出。由于本发明采用的是Wasserstein距离,网络模型未采用sigmoid函数。
3)TriGAN:TriGAN结构如图1所示。为了获得良好的视觉效果和量化分析,本发明定义了一种新的损失函数,其包含像素之间的欧几里德损失和对抗损失。像素间的损失(pixel-topixel Euclidean loss,pixel loss)主要为了确保每个生成器去噪的专一性和有效性。这个过程可以通过将生成图像的每个像素与具有其他两个噪声的图像进行比较来完成。具体来说,Generator1是针对高斯模糊进行训练的,实验最小化Generator1生成的G1图像与带有泊松量子噪声和形变的图像D23之间的像素损失。为了使生成器生成的图像及其预处理的对应NDCT图像尽可能接近以至于成功欺骗判别器,实验同时最小化由生成器损失和判别器损失组成的对抗损失函数。具体损失函数如下:
Loss=La+Lp1+Lp2+Lp3 (11)
Lp1=μ1E[||G1(λ1z)-λ1D23||2] (13)
Lp2=μ2E[||G2(λ2z)-λ2D13||2] (14)
Lp3=μ3E[||G3(λ3z)-λ3D12||2] (15)
Claims (1)
1.一种图像去噪的多生成器生成对抗网络学习方法,LDCT图像代表低剂量CT图像,NDCT图像代表正常剂量CT图像,其特征在于,具体包括如下步骤:
1)构建对抗网络结构:包括三个不同的生成器G1、G2、G3和一个判别器D,G1、G2、G3分别是针对去除高斯模糊噪声、泊松量子噪声和形变噪声的生成器,判别器D用于判别真实和生成的图像,生成器和判别器都采用神经网络结构,G1,G2,G3采用残差结构,并且参数各自独立;
2)生成器:LDCT图像作为样本根据各个生成器的权重λ1、λ2、λ3对应输入到3个生成器中,G1生成器输出的生成图像一方面进入判别器D和预处理的λ1D23进行像素损失的计算,另一方面G1生成器输出的生成图像与G2、G3生成图像相加生成一张新的生成器图片,并与NDCT图像一起作为判别器D的输入,其余两个生成器同理;
G1是针对高斯模糊去噪的生成器,D23是在NDCT图像上加上带有泊松量子噪声和形变的图像分布的样本,G2是针对泊松量子噪声去噪的生成器,那D13是在NDCT图像上加上带有高斯模糊和形变的图像分布的样本,G3是针对形变去噪的生成器,D12是在NDCT图像上加上带有高斯模糊和泊松量子噪声的图像分布的样本;
3)判别器:为了使生成器生成的图像及其对应的NDCT图像尽可能接近以至于成功欺骗判别器,最小化由生成器损失和判别器损失组成的对抗损失函数La,整个判别器的损失函数如下:
Loss=La+Lp1+Lp2+Lp3
Lp1=μ1E[||G1(λ1z)-λ1D23||2]
Lp2=μ2E[||G2(λ2z)-λ2D13||2]
Lp3=μ3E[||G3(λ3z)-λ3D12||2]
其中,La表示对抗损失函数;其中λ1+λ2+λ3=1;f(x)是1-Lipschitz函数;表示s是真实样本时,f(s)的均值;/>表示t是生成器生成的样本时,f(t)的均值;‖f‖L≤1表示f(x)的lipschitz常数‖f‖L不超过1;Pr是NDCT图像分布,λi Pr是指选取λi倍的NDCT图像分布;Pgi代表第i个生成器生成CT图的分布;s和t分别是λi Pr和Pgi的样本;|| ||表示Frobenius-2范数;z表示LDCT图像的分布;Lp1、Lp2、Lp3代表每个生成器生成的图片和对应预处理加了噪声之后的标签图之间的像素损失,而μ1,μ2,μ3是预定义的对不同的像素损失的权重,作用是权衡各像素损失;
4)对建立的对抗网络结构进行训练,然后对实际采样的LDCT图像进行学习处理。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911012057.2A CN110827216B (zh) | 2019-10-23 | 2019-10-23 | 图像去噪的多生成器生成对抗网络学习方法 |
PCT/CN2020/118697 WO2021077997A1 (zh) | 2019-10-23 | 2020-09-29 | 图像去噪的多生成器生成对抗网络学习方法 |
US17/288,933 US11308587B2 (en) | 2019-10-23 | 2020-09-29 | Learning method of generative adversarial network with multiple generators for image denoising |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911012057.2A CN110827216B (zh) | 2019-10-23 | 2019-10-23 | 图像去噪的多生成器生成对抗网络学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110827216A CN110827216A (zh) | 2020-02-21 |
CN110827216B true CN110827216B (zh) | 2023-07-14 |
Family
ID=69550244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911012057.2A Active CN110827216B (zh) | 2019-10-23 | 2019-10-23 | 图像去噪的多生成器生成对抗网络学习方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11308587B2 (zh) |
CN (1) | CN110827216B (zh) |
WO (1) | WO2021077997A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3648017A4 (en) * | 2017-06-29 | 2021-08-04 | Preferred Networks, Inc. | DATA DISCRIMINATOR LEARNING PROCESS, DATA DISCRIMINATOR LEARNING DEVICE, PROGRAM, AND LEARNING PROCESS |
CN110827216B (zh) * | 2019-10-23 | 2023-07-14 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
CN111564160B (zh) * | 2020-04-21 | 2022-10-18 | 重庆邮电大学 | 一种基于aewgan的语音降噪的方法 |
CN111739016B (zh) * | 2020-07-20 | 2020-12-08 | 平安国际智慧城市科技股份有限公司 | 目标检测模型训练方法、装置、电子设备及存储介质 |
CN111861930A (zh) * | 2020-07-27 | 2020-10-30 | 京东方科技集团股份有限公司 | 图像去噪方法、装置以及电子设备、图像超分去噪方法 |
CN111968195B (zh) * | 2020-08-20 | 2022-09-02 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
US20220108434A1 (en) * | 2020-10-07 | 2022-04-07 | National Technology & Engineering Solutions Of Sandia, Llc | Deep learning for defect detection in high-reliability components |
CN112529796B (zh) * | 2020-12-02 | 2022-07-05 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
CN112488951B (zh) * | 2020-12-07 | 2022-05-20 | 深圳先进技术研究院 | 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法 |
CN112766189B (zh) * | 2021-01-25 | 2023-08-08 | 北京有竹居网络技术有限公司 | 深度伪造检测方法、装置、存储介质及电子设备 |
US11763135B2 (en) * | 2021-03-01 | 2023-09-19 | Robert Bosch Gmbh | Concept-based adversarial generation method with steerable and diverse semantics |
CN113205461B (zh) * | 2021-04-02 | 2023-07-07 | 上海慧虎信息科技有限公司 | 一种低剂量ct影像去噪模型训练方法、去噪方法及装置 |
DE102021206106A1 (de) * | 2021-06-15 | 2022-12-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Maschinenlernsystems zum Entrauschen eines Eingangssignals |
CN113538257B (zh) * | 2021-06-15 | 2022-07-22 | 复旦大学 | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 |
CN113538260B (zh) * | 2021-06-21 | 2022-04-12 | 复旦大学 | 自监督和有监督联合训练的ldct图像去噪与分类方法 |
CN114219778B (zh) * | 2021-12-07 | 2024-04-02 | 北京工业大学 | 一种基于wgan-gp数据生成与泊松融合的数据深度增强方法 |
CN114781445B (zh) * | 2022-04-11 | 2022-11-18 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
CN115375975B (zh) * | 2022-09-05 | 2023-06-06 | 长春大学 | 一种基于深度卷积生成对抗网络的wce图像生成方法 |
CN115170579B (zh) * | 2022-09-09 | 2023-05-12 | 之江实验室 | 一种金属锈蚀图像分割方法和装置 |
CN115471709B (zh) * | 2022-09-28 | 2023-06-27 | 武汉中安智通科技有限公司 | 定向信号智能分析系统 |
CN115761242B (zh) * | 2022-11-15 | 2023-09-19 | 山东财经大学 | 一种基于卷积神经网络和模糊图像特征的去噪方法及终端机 |
CN116859247B (zh) * | 2023-07-26 | 2024-06-14 | 哈尔滨工业大学 | 基于多源迁移学习的电动汽车锂电池soh估算方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN108765334A (zh) * | 2018-05-24 | 2018-11-06 | 北京飞搜科技有限公司 | 一种图像去噪方法、装置以及电子设备 |
CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019147767A1 (en) * | 2018-01-24 | 2019-08-01 | Rensselaer Polytechnic Institute | 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network |
US10552714B2 (en) * | 2018-03-16 | 2020-02-04 | Ebay Inc. | Generating a digital image using a generative adversarial network |
US10925568B2 (en) * | 2019-07-12 | 2021-02-23 | Canon Medical Systems Corporation | Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT) |
CN110827216B (zh) * | 2019-10-23 | 2023-07-14 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
WO2021226346A1 (en) * | 2020-05-06 | 2021-11-11 | Quantitative Imaging Solutions, Llc | Synthetic tumor models for use in thepareutic response prediction |
-
2019
- 2019-10-23 CN CN201911012057.2A patent/CN110827216B/zh active Active
-
2020
- 2020-09-29 WO PCT/CN2020/118697 patent/WO2021077997A1/zh active Application Filing
- 2020-09-29 US US17/288,933 patent/US11308587B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN108765334A (zh) * | 2018-05-24 | 2018-11-06 | 北京飞搜科技有限公司 | 一种图像去噪方法、装置以及电子设备 |
CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220092742A1 (en) | 2022-03-24 |
CN110827216A (zh) | 2020-02-21 |
WO2021077997A9 (zh) | 2021-06-17 |
US11308587B2 (en) | 2022-04-19 |
WO2021077997A1 (zh) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827216B (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
McCann et al. | Convolutional neural networks for inverse problems in imaging: A review | |
Hong et al. | End-to-end unpaired image denoising with conditional adversarial networks | |
Chang et al. | Two-stage convolutional neural network for medical noise removal via image decomposition | |
US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
CN109754403A (zh) | 一种ct图像内的肿瘤自动分割方法及系统 | |
CN112949838B (zh) | 基于四分支注意力机制的卷积神经网络及图像分割方法 | |
CN112837244B (zh) | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 | |
Jiang et al. | Low-dose CT lung images denoising based on multiscale parallel convolution neural network | |
Kim et al. | Deeply aggregated alternating minimization for image restoration | |
WO2021168920A1 (zh) | 基于多剂量等级的低剂量图像增强方法、系统、计算机设备及存储介质 | |
Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
Li et al. | An adaptive self-guided wavelet convolutional neural network with compound loss for low-dose CT denoising | |
Zhang et al. | A novel denoising method for low-dose CT images based on transformer and CNN | |
Yu et al. | FS-GAN: Fuzzy Self-guided structure retention generative adversarial network for medical image enhancement | |
Liu et al. | MRCON-Net: Multiscale reweighted convolutional coding neural network for low-dose CT imaging | |
Chan et al. | An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction | |
Du et al. | Deep-learning-based metal artefact reduction with unsupervised domain adaptation regularization for practical CT images | |
CN116894783A (zh) | 基于时变约束的对抗生成网络模型的金属伪影去除方法 | |
CN116563554A (zh) | 基于混合表征学习的低剂量ct图像去噪方法 | |
Farooq et al. | Noise removal from the image using convolutional neural networks-based denoising auto encoder | |
Shen et al. | Local to non-local: Multi-scale progressive attention network for image restoration | |
Yang et al. | X‐Ray Breast Images Denoising Method Based on the Convolutional Autoencoder | |
Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |