CN110517198A - 用于ldct图像去噪的高频敏感gan网络 - Google Patents

用于ldct图像去噪的高频敏感gan网络 Download PDF

Info

Publication number
CN110517198A
CN110517198A CN201910779574.6A CN201910779574A CN110517198A CN 110517198 A CN110517198 A CN 110517198A CN 201910779574 A CN201910779574 A CN 201910779574A CN 110517198 A CN110517198 A CN 110517198A
Authority
CN
China
Prior art keywords
image
generator
level
high frequency
ldct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910779574.6A
Other languages
English (en)
Other versions
CN110517198B (zh
Inventor
张�雄
杨琳琳
上官宏
王安红
武晓嘉
韩泽芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201910779574.6A priority Critical patent/CN110517198B/zh
Publication of CN110517198A publication Critical patent/CN110517198A/zh
Application granted granted Critical
Publication of CN110517198B publication Critical patent/CN110517198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于CT图像处理技术领域,具体涉及一种用于LDCT图像去噪的高频敏感GAN网络,采用两级嵌套生成器,将LDCT图像分解成高频和低频两部分进行处理,一级生成器采用U‑Net处理高频部分,生成的高频图像与低频图像叠加作为二级生成器的输入,从而生成最终去噪图像,在一级生成器中加入了衡量高频网络生成的高频图像与NDCT高频分量之间L1距离的细节损失LD项来约束高频部分生成的图像质量,在二级生成器中加入衡量二级U‑Net网络生成的去噪图像与NDCT图像之间L1距离的LG项,将inception模块融入到判别器网络中,用于提取真假图片的多尺度特征,使得去噪后的图像纹理细节以及清晰度更接近于真实图像。

Description

用于LDCT图像去噪的高频敏感GAN网络
技术领域
本发明属于CT图像处理技术领域,具体涉及一种用于LDCT图像去噪的高频敏感GAN网络。
背景技术
自20世纪70年代引入X射线计算机断层扫描成像(CT)技术以来,CT图像被广泛应用于医学,在临床医学上,在确保可接受的诊断准确性的前提下,同时应尽可能将辐射降到最低。然而,辐射剂量的降低往往导致重建后的图像中含有放大的斑驳噪声和非平稳条纹伪影,这将会导致图像质量下降,进而对临床诊断产生不利影响。人们已经在最佳的扫描协议、先进的硬件技术和先进的图像重构算法等方面做了大量的努力,以提高低剂量CT重建图像的质量,但是硬件提升成本相对较高,去噪效果不是很理想。
在图像重构算法方面,最常用的投影域方法是滤波反投影算法(FBP),但这类方法有两个主要的局限,一方面是这些技术是特定于供应商的,用户和其他供应商无法获得扫描仪几何矫正步骤的详细信息;另一方面是受到剩余伪影和较高计算成本的困扰。
近年来,深度卷积神经网络(CNN)的爆炸性发展在医学成像领域中展现出巨大的潜力,基于CNN强大的特征学习和映射能力,从网络结构和目标函数的角度出发,学者们提出了多种基于CNN的LDCT图像去噪方法。传统的CNN网络采用单损失函数来优化网络,相比较而言,生成对抗性网络(GAN)生成器和判别器对抗训练在图像处理方面展现更好的性能。目前出现许多占主流趋势的GAN重构算法网络,例如,WGAN、SAGAN以及pix2pix等网络在去噪方面取得不错的效果。然而,这些网络没有针对于CT图像特殊性将图像分频处理,也未进一步改进GAN网络的判别器来内部优化生成器。
发明内容
为解决现有技术存在的技术问题,本发明提供了一种用于LDCT图像去噪的高频敏感GAN网络,相对于现有的去噪算法,对不同低剂量CT图像去除噪声和抑制伪影的效果明显提高,去噪后的图像视觉效果好,去噪模型具有很好的泛化能力。
为实现上述目的,本发明所采用的技术方案为:用于LDCT图像去噪的高频敏感GAN网络,具体结构如下:
一、建立去噪模型,X表示为LDCT图像(低剂量CT),Y表示为NDCT图像(正常剂量CT);
二、构建去噪网络框架:
a、采用两级生成器结构的生成器,生成器以GAN(生成式对抗网络)为基线模型,采用两级嵌套生成器,将LDCT图像分解为高频分量和低频分量,一级U-Net(卷积神经网络)处理LDCT高频图像XH作为一级生成器,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加作为二级生成器的输入,具体可表示为:
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net;
b、布置判别器,生成器生成的图像输入判别器进行判别,采用多尺度提取图像特征的inception判别器(启动块判别器)进一步约束生成器,提升整个去噪网络性能。
其中,采用LSGAN最小二乘代价函数,在一级生成器中加入衡量一级U-Net生成的高频图像与NDCT高频分量YH之间L1距离的LD项,LD项用来约束一级U-Net生成的高频图像质量,在二级生成器中加入衡量二级U-Net生成的图像与NDCT图像之间L1距离的LG项,LG项用来约束二级U-Net生成的去噪图像质量。通过LD项约束LDCT高频分量生成的图像质量,增加整个网络对于高频部分的敏感度,LG项来约束生成器网络所生成的图像质量,确保去噪网络生成图像质量。
其中,LD项的损失函数与LG项的损失函数表达如下:
其中,XH为LDCT高频图像,XL为LDCT低频图像,YH为NDCT高频图像,Z作为生成器输入的高斯噪声。
为了进一步加强优化效果,在判别器网络中加入多尺度的inception模块,采用多尺度机制来提取图像特征,用于提取真假图片的多尺度特征,增加网络感受野的同时,也扩大了网络宽度,进一步提升判别器和生成器对抗优化效果,使得去噪后的图像在纹理细节、病理信息以及清晰度各方面更接近于NDCT。
本发明的有益效果体现在:本发明将LDCT图像的高频部分和低频部分分离,首先对高频部分进行一级处理,引入LD项对处理后的高频图像与相应的NDCT高频分量进行比对,并将处理后的高频图像与LDCT分离后的低频部分结合进行二级处理,引入LG项对二级处理后的去噪图像与对应的NDCT进行比对,并对最终生成去噪后的图像输入判别器进行判别,两次使用U-Net网络增加了整个网络的深度,不仅能够去除LDCT图像中的噪声和伪影,去噪后的图像在纹理细节、病理信息以及清晰度各方面与NDCT图像非常接近,相对完整地保存了图像的纹理和细节信息,在临床医学的视觉分析和传统图像质量评价指标方面均有很好的效果。
附图说明
图1为本发明的整体网络框架图。
图2为可视化腹部CT图像在不同算法之间的比较图。
图3为图2中矩形框标出的感兴趣区域部分放大图。
图4为可视化胸部CT图像进行不同算法之间比较。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,用于LDCT图像去噪的高频敏感GAN网络,具体结构如下:
建立去噪模型:X表示为LDCT图像,XH表示为LDCT高频图像,XL表示为LDCT低频图像,Y表示为NDCT图像;YH表示为NDCT高频图像;
构建去噪网络框架:
采用两级生成器结构的生成器网络,生成器网络以GAN为基线模型,采用两级嵌套生成器,一级U-Net处理LDCT高频图像XH作为一级生成器,LDCT图像中的高频图像XH分离出来并送入一级生成器内的学习网络进行处理,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加并送入二级生成器进行处理,具体可表示为:
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net。
两个U-Net网络均采用低频信息在编码器和解码器堆栈中的镜像层之间的跳跃连接方式,从而确保输入和输出之间共享信息。
G被用来学习U生成的高频图像与输入LDCT图像的低频信息进行级联后与NDCT的映射关系,融合了第一级生成器生成的高频图像特征,一级U-Net网络学习到的高频信息对整个去噪网络起到积极作用,但生成器最终仍是学习NDCT与LDCT之间的映射关系,实现LDCT去噪目的。
G捕捉LDCT图像的全局特征,将U网络处理过后的LDCT高频部分的输出图像叠加LDCT图像的低频信息作为二级U-Net输入,叠加图像的低频部分通过G旁路连接传输可以被充分利用,高频信息融入到整幅图像网络进行二次增强学习,更有利于G生成清晰且真实的去噪图像。
我们在LSGAN网络框架下采用两级嵌套生成器,生成器的损失函数表达如下:
其中:U(XH)为用嵌套网络U生成的高频图像,与LDCT的低频图像进行叠加输入到主干网络G中,最终输出去噪后的清晰图像。
由于我们采用的是嵌套生成网络,我们既需要保证生成器最终生成图像的质量,也需要约束U网络生成的中间高频图像,使其接近NDCT高频图像输出。故我们定义了两项基于不同分频信息的LD项(细节损失)和LG项(全局损失),其中,采用LSGAN代价函数,为了保证输入到G中的高频图像满足要求,在一级生成器中加入衡量一级U-Net网络生成的高频图像与NDCT高频分量YH之间L1距离的LD项,通过LD项约束LDCT高频分量生成的图像质量,增加整个网络对于高频部分的敏感度。
其中,LD项的损失函数与LG项的损失函数表达如下:
其中,Z作为生成器输入的高斯噪声。
网络采取的是统一训练GAN,两个U-Net联合训练,生成的Y与NDCT分别作为真假图像输入到判别器中,训练判别器网络。由于开始时网络参数未达到最优,U网络生成的图像不理想,但随着网络迭代次数增多,组合的生成器生成的去噪图像质量优于单一U-Net。
为了进一步加强优化效果,判别器整体框架沿用pix2pix网络,采用马尔可夫判别器(PatchGAN判别器),但是为了更好地区分真实NDCT和生成的去噪图像,需要具有大的感受野,这将需要更深的网络或更大的卷积内核,为了进一步改进PatchGAN判别器网络,由于加深网络和增大卷积内核都会导致网络容量增加,两种选择都会造成更大的内存消耗,为了解决这个问题,在判别器网络中加入多尺度的inception模块,采用多尺度机制来提取图像特征,用于提取真假图片的多尺度特征,增加网络感受野的同时,也扩大了网络宽度,进一步提升判别器和生成器对抗优化效果,使得去噪后的图像在纹理细节、病理信息以及清晰度各方面更接近于NDCT。
判别器网络第一层和最后一层使用4x4卷积核、滑动步长为2的卷积层,用来提取图像特征。中间层采用inception模块,随着网络的深层特征越来越抽象,每个特征所涉及的感受野也越来越大,采用不同大小的卷积核就意味着不同大小的感受野,从而在多尺度进行图像特征的捕获。将不同尺度特征叠加,最后通过瓶颈层进行特征融合。1×1卷积滤波器可以看作是输入通道的线性变换,在增加网络深度和广度的同时保持了尽可能少的计算量,并达到了较好的性能,即减少网络参数同时又意味着不同尺度特征的融合。
本发明的最终目标函数为:
其中λ1和λ2控制着内容损失LG和LD两项的重要性。
如图2、图3和图4所示,比较去噪后的LDCT图像与NDCT在纹理细节、信息保留程度和噪声伪影移除情况,从图中可以明确看出,针对LDCT图像特性,我们采用两级生成器以及多尺度的inception判别器去噪网络性能提升,生成的去噪图片非常接近NDCT。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包在本发明范围内。

Claims (3)

1.用于LDCT图像去噪的高频敏感GAN网络,其特征在于,具体结构如下:
一、建立去噪模型,X表示为LDCT图像,Y表示为NDCT图像;
二、构建去噪网络框架:
a、采用两级生成器结构的生成器,生成器以GAN为基线模型,采用两级嵌套生成器,将LDCT图像分解为高频分量和低频分量,一级U-Net处理LDCT高频图像XH作为一级生成器,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加作为二级生成器的输入,具体可表示为:
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net,为去噪后图像;
b、布置判别器,生成器生成的图像与对应的NDCT图像分别输入判别器进行判别,采用多尺度提取图像特征的inception判别器进一步约束生成器,提升整个去噪网络性能。
2.根据权利要求1所述的用于LDCT图像去噪的高频敏感GAN网络,其特征在于,在一级生成器中加入LD项来衡量一级U-Net生成的高频图像与NDCT高频分量YH之间的L1距离,细节损失LD项用来约束一级U-Net生成的图像质量,在二级生成器中加入LG项来衡量二级U-Net生成的去噪图像与NDCT图像之间的L1距离,即约束LDCT图像去噪后的图像质量。
3.根据权利要求2所述的用于LDCT图像去噪的高频敏感GAN网络,其特征在于,LD项的损失函数与LG项的损失函数表达如下:
其中,XH为LDCT高频图像,XL为LDCT低频图像,YH为NDCT高频图像,Z为作为生成器输入的高斯噪声。
CN201910779574.6A 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络 Active CN110517198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779574.6A CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779574.6A CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Publications (2)

Publication Number Publication Date
CN110517198A true CN110517198A (zh) 2019-11-29
CN110517198B CN110517198B (zh) 2022-12-27

Family

ID=68626393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779574.6A Active CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Country Status (1)

Country Link
CN (1) CN110517198B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275640A (zh) * 2020-01-17 2020-06-12 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113409377A (zh) * 2021-06-23 2021-09-17 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113538257A (zh) * 2021-06-15 2021-10-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN109961411A (zh) * 2019-03-12 2019-07-02 浙江工业大学之江学院 非下采样剪切波变换医学ct图像去噪方法
CN110047054A (zh) * 2019-04-26 2019-07-23 东北大学 一种基于vgg-19提取特征的gan医学图像降噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN109961411A (zh) * 2019-03-12 2019-07-02 浙江工业大学之江学院 非下采样剪切波变换医学ct图像去噪方法
CN110047054A (zh) * 2019-04-26 2019-07-23 东北大学 一种基于vgg-19提取特征的gan医学图像降噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐曾春等: "基于改进型WGAN的低剂量CT图像去噪方法", 《光学与光电技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275640A (zh) * 2020-01-17 2020-06-12 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN111275640B (zh) * 2020-01-17 2022-12-09 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN111968195B (zh) * 2020-08-20 2022-09-02 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112598759B (zh) * 2020-12-15 2022-09-13 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113538257A (zh) * 2021-06-15 2021-10-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN113538257B (zh) * 2021-06-15 2022-07-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN113409377A (zh) * 2021-06-23 2021-09-17 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113409377B (zh) * 2021-06-23 2022-09-27 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法

Also Published As

Publication number Publication date
CN110517198B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110517198A (zh) 用于ldct图像去噪的高频敏感gan网络
US11308587B2 (en) Learning method of generative adversarial network with multiple generators for image denoising
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN109102550A (zh) 基于卷积残差网络的全网络低剂量ct成像方法及装置
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN108961237A (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN108416821A (zh) 一种深度神经网络的ct图像超分辨重建方法
Cong et al. BCS-Net: Boundary, context, and semantic for automatic COVID-19 lung infection segmentation from CT images
CN113538257B (zh) 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN106909947A (zh) 基于Mean Shift算法的CT图像金属伪影消除方法及消除系统
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
Jiang et al. CT image super resolution based on improved SRGAN
CN103034989A (zh) 一种基于优质先验图像的低剂量cbct图像去噪方法
CN113935976A (zh) 一种增强ct图像的脏器内血管自动分割方法及系统
CN108305268A (zh) 一种图像分割方法及装置
CN115018728A (zh) 基于多尺度变换和卷积稀疏表示的图像融合方法及系统
Kong et al. Multimodal medical image fusion using gradient domain guided filter random walk and side window filtering in framelet domain
Liu et al. Low-dose CT noise reduction based on local total variation and improved wavelet residual CNN
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Huang et al. ADDNS: An asymmetric dual deep network with sharing mechanism for medical image fusion of CT and MR-T2
Huang et al. Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN115796264A (zh) 一种基于模糊自引导的结构保护生成对抗网络的方法
Li et al. Dual-domain fusion deep convolutional neural network for low-dose CT denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant