CN110517198B - 用于ldct图像去噪的高频敏感gan网络 - Google Patents

用于ldct图像去噪的高频敏感gan网络 Download PDF

Info

Publication number
CN110517198B
CN110517198B CN201910779574.6A CN201910779574A CN110517198B CN 110517198 B CN110517198 B CN 110517198B CN 201910779574 A CN201910779574 A CN 201910779574A CN 110517198 B CN110517198 B CN 110517198B
Authority
CN
China
Prior art keywords
image
frequency
ldct
generator
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910779574.6A
Other languages
English (en)
Other versions
CN110517198A (zh
Inventor
张�雄
杨琳琳
上官宏
王安红
武晓嘉
韩泽芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201910779574.6A priority Critical patent/CN110517198B/zh
Publication of CN110517198A publication Critical patent/CN110517198A/zh
Application granted granted Critical
Publication of CN110517198B publication Critical patent/CN110517198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于CT图像处理技术领域,具体涉及一种用于LDCT图像去噪的高频敏感GAN网络,采用两级嵌套生成器,将LDCT图像分解成高频和低频两部分进行处理,一级生成器采用U‑Net处理高频部分,生成的高频图像与低频图像叠加作为二级生成器的输入,从而生成最终去噪图像,在一级生成器中加入了衡量高频网络生成的高频图像与NDCT高频分量之间L1距离的细节损失LD项来约束高频部分生成的图像质量,在二级生成器中加入衡量二级U‑Net网络生成的去噪图像与NDCT图像之间L1距离的LG项,将inception模块融入到判别器网络中,用于提取真假图片的多尺度特征,使得去噪后的图像纹理细节以及清晰度更接近于真实图像。

Description

用于LDCT图像去噪的高频敏感GAN网络
技术领域
本发明属于CT图像处理技术领域,具体涉及一种用于LDCT图像去噪的高频敏感GAN网络。
背景技术
自20世纪70年代引入X射线计算机断层扫描成像(CT)技术以来,CT图像被广泛应用于医学,在临床医学上,在确保可接受的诊断准确性的前提下,同时应尽可能将辐射降到最低。然而,辐射剂量的降低往往导致重建后的图像中含有放大的斑驳噪声和非平稳条纹伪影,这将会导致图像质量下降,进而对临床诊断产生不利影响。人们已经在最佳的扫描协议、先进的硬件技术和先进的图像重构算法等方面做了大量的努力,以提高低剂量CT重建图像的质量,但是硬件提升成本相对较高,去噪效果不是很理想。
在图像重构算法方面,最常用的投影域方法是滤波反投影算法(FBP),但这类方法有两个主要的局限,一方面是这些技术是特定于供应商的,用户和其他供应商无法获得扫描仪几何矫正步骤的详细信息;另一方面是受到剩余伪影和较高计算成本的困扰。
近年来,深度卷积神经网络(CNN)的爆炸性发展在医学成像领域中展现出巨大的潜力,基于CNN强大的特征学习和映射能力,从网络结构和目标函数的角度出发,学者们提出了多种基于CNN的LDCT图像去噪方法。传统的CNN网络采用单损失函数来优化网络,相比较而言,生成对抗性网络(GAN)生成器和判别器对抗训练在图像处理方面展现更好的性能。目前出现许多占主流趋势的GAN重构算法网络,例如,WGAN、SAGAN以及pix2pix等网络在去噪方面取得不错的效果。然而,这些网络没有针对于CT图像特殊性将图像分频处理,也未进一步改进GAN网络的判别器来内部优化生成器。
发明内容
为解决现有技术存在的技术问题,本发明提供了一种用于LDCT图像去噪的高频敏感GAN网络,相对于现有的去噪算法,对不同低剂量CT图像去除噪声和抑制伪影的效果明显提高,去噪后的图像视觉效果好,去噪模型具有很好的泛化能力。
为实现上述目的,本发明所采用的技术方案为:用于LDCT图像去噪的高频敏感GAN网络,具体结构如下:
一、建立去噪模型,X表示为LDCT图像(低剂量CT),Y表示为NDCT图像(正常剂量CT);
二、构建去噪网络框架:
a、采用两级生成器结构的生成器,生成器以GAN(生成式对抗网络)为基线模型,采用两级嵌套生成器,将LDCT图像分解为高频分量和低频分量,一级U-Net(卷积神经网络)处理LDCT高频图像XH作为一级生成器,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加作为二级生成器的输入,具体可表示为:
Figure BDA0002176152950000021
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net;
b、布置判别器,生成器生成的图像输入判别器进行判别,采用多尺度提取图像特征的inception判别器(启动块判别器)进一步约束生成器,提升整个去噪网络性能。
其中,采用LSGAN最小二乘代价函数,在一级生成器中加入衡量一级U-Net生成的高频图像与NDCT高频分量YH之间L1距离的LD项,LD项用来约束一级U-Net生成的高频图像质量,在二级生成器中加入衡量二级U-Net生成的图像与NDCT图像之间L1距离的LG项,LG项用来约束二级U-Net生成的去噪图像质量。通过LD项约束LDCT高频分量生成的图像质量,增加整个网络对于高频部分的敏感度,LG项来约束生成器网络所生成的图像质量,确保去噪网络生成图像质量。
其中,LD项的损失函数与LG项的损失函数表达如下:
Figure BDA0002176152950000022
Figure BDA0002176152950000023
其中,XH为LDCT高频图像,XL为LDCT低频图像,YH为NDCT高频图像,Z作为生成器输入的高斯噪声。
为了进一步加强优化效果,在判别器网络中加入多尺度的inception模块,采用多尺度机制来提取图像特征,用于提取真假图片的多尺度特征,增加网络感受野的同时,也扩大了网络宽度,进一步提升判别器和生成器对抗优化效果,使得去噪后的图像在纹理细节、病理信息以及清晰度各方面更接近于NDCT。
本发明的有益效果体现在:本发明将LDCT图像的高频部分和低频部分分离,首先对高频部分进行一级处理,引入LD项对处理后的高频图像与相应的NDCT高频分量进行比对,并将处理后的高频图像与LDCT分离后的低频部分结合进行二级处理,引入LG项对二级处理后的去噪图像与对应的NDCT进行比对,并对最终生成去噪后的图像输入判别器进行判别,两次使用U-Net网络增加了整个网络的深度,不仅能够去除LDCT图像中的噪声和伪影,去噪后的图像在纹理细节、病理信息以及清晰度各方面与NDCT图像非常接近,相对完整地保存了图像的纹理和细节信息,在临床医学的视觉分析和传统图像质量评价指标方面均有很好的效果。
附图说明
图1为本发明的整体网络框架图。
图2为可视化腹部CT图像在不同算法之间的比较图。
图3为图2中矩形框标出的感兴趣区域部分放大图。
图4为可视化胸部CT图像进行不同算法之间比较。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,用于LDCT图像去噪的高频敏感GAN网络,具体结构如下:
建立去噪模型:X表示为LDCT图像,XH表示为LDCT高频图像,XL表示为LDCT低频图像,Y表示为NDCT图像;YH表示为NDCT高频图像;
构建去噪网络框架:
采用两级生成器结构的生成器网络,生成器网络以GAN为基线模型,采用两级嵌套生成器,一级U-Net处理LDCT高频图像XH作为一级生成器,LDCT图像中的高频图像XH分离出来并送入一级生成器内的学习网络进行处理,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加并送入二级生成器进行处理,具体可表示为:
Figure BDA0002176152950000031
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net。
两个U-Net网络均采用低频信息在编码器和解码器堆栈中的镜像层之间的跳跃连接方式,从而确保输入和输出之间共享信息。
G被用来学习U生成的高频图像与输入LDCT图像的低频信息进行级联后与NDCT的映射关系,融合了第一级生成器生成的高频图像特征,一级U-Net网络学习到的高频信息对整个去噪网络起到积极作用,但生成器最终仍是学习NDCT与LDCT之间的映射关系,实现LDCT去噪目的。
G捕捉LDCT图像的全局特征,将U网络处理过后的LDCT高频部分的输出图像叠加LDCT图像的低频信息作为二级U-Net输入,叠加图像的低频部分通过G旁路连接传输可以被充分利用,高频信息融入到整幅图像网络进行二次增强学习,更有利于G生成清晰且真实的去噪图像。
我们在LSGAN网络框架下采用两级嵌套生成器,生成器的损失函数表达如下:
Figure BDA0002176152950000041
其中:U(XH)为用嵌套网络U生成的高频图像,与LDCT的低频图像进行叠加输入到主干网络G中,最终输出去噪后的清晰图像。
由于我们采用的是嵌套生成网络,我们既需要保证生成器最终生成图像的质量,也需要约束U网络生成的中间高频图像,使其接近NDCT高频图像输出。故我们定义了两项基于不同分频信息的LD项(细节损失)和LG项(全局损失),其中,采用LSGAN代价函数,为了保证输入到G中的高频图像满足要求,在一级生成器中加入衡量一级U-Net网络生成的高频图像与NDCT高频分量YH之间L1距离的LD项,通过LD项约束LDCT高频分量生成的图像质量,增加整个网络对于高频部分的敏感度。
其中,LD项的损失函数与LG项的损失函数表达如下:
Figure BDA0002176152950000042
Figure BDA0002176152950000043
其中,Z作为生成器输入的高斯噪声。
网络采取的是统一训练GAN,两个U-Net联合训练,生成的Y与NDCT分别作为真假图像输入到判别器中,训练判别器网络。由于开始时网络参数未达到最优,U网络生成的图像不理想,但随着网络迭代次数增多,组合的生成器生成的去噪图像质量优于单一U-Net。
为了进一步加强优化效果,判别器整体框架沿用pix2pix网络,采用马尔可夫判别器(PatchGAN判别器),但是为了更好地区分真实NDCT和生成的去噪图像,需要具有大的感受野,这将需要更深的网络或更大的卷积内核,为了进一步改进PatchGAN判别器网络,由于加深网络和增大卷积内核都会导致网络容量增加,两种选择都会造成更大的内存消耗,为了解决这个问题,在判别器网络中加入多尺度的inception模块,采用多尺度机制来提取图像特征,用于提取真假图片的多尺度特征,增加网络感受野的同时,也扩大了网络宽度,进一步提升判别器和生成器对抗优化效果,使得去噪后的图像在纹理细节、病理信息以及清晰度各方面更接近于NDCT。
判别器网络第一层和最后一层使用4x4卷积核、滑动步长为2的卷积层,用来提取图像特征。中间层采用inception模块,随着网络的深层特征越来越抽象,每个特征所涉及的感受野也越来越大,采用不同大小的卷积核就意味着不同大小的感受野,从而在多尺度进行图像特征的捕获。将不同尺度特征叠加,最后通过瓶颈层进行特征融合。1×1卷积滤波器可以看作是输入通道的线性变换,在增加网络深度和广度的同时保持了尽可能少的计算量,并达到了较好的性能,即减少网络参数同时又意味着不同尺度特征的融合。
本发明的最终目标函数为:
Figure BDA0002176152950000051
Figure BDA0002176152950000052
其中λ1和λ2控制着内容损失LG和LD两项的重要性。
如图2、图3和图4所示,比较去噪后的LDCT图像与NDCT在纹理细节、信息保留程度和噪声伪影移除情况,从图中可以明确看出,针对LDCT图像特性,我们采用两级生成器以及多尺度的inception判别器去噪网络性能提升,生成的去噪图片非常接近NDCT。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包在本发明范围内。

Claims (3)

1.用于LDCT图像去噪的高频敏感GAN网络,其特征在于,具体结构如下:
一、建立去噪模型,X表示为LDCT图像,Y表示为NDCT图像;
二、构建去噪网络框架:
a、采用两级生成器结构的生成器,生成器以GAN为基线模型,采用两级嵌套生成器,将LDCT图像分解为高频分量和低频分量,一级U-Net处理LDCT高频图像XH作为一级生成器,二级U-Net将一级生成器的输出高频图像与LDCT低频图像XL叠加作为二级生成器的输入,具体可表示为:
Figure FDA0002176152940000011
其中,U被定义为高频图像特征一级U-Net学习的映射关系,G被定义为图像空间映射二级U-Net,
Figure FDA0002176152940000012
为去噪后图像;
b、布置判别器,生成器生成的图像与对应的NDCT图像分别输入判别器进行判别,采用多尺度提取图像特征的inception判别器进一步约束生成器,提升整个去噪网络性能。
2.根据权利要求1所述的用于LDCT图像去噪的高频敏感GAN网络,其特征在于,在一级生成器中加入LD项来衡量一级U-Net生成的高频图像与NDCT高频分量YH之间的L1距离,细节损失LD项用来约束一级U-Net生成的图像质量,在二级生成器中加入LG项来衡量二级U-Net生成的去噪图像与NDCT图像之间的L1距离,即约束LDCT图像去噪后的图像质量。
3.根据权利要求2所述的用于LDCT图像去噪的高频敏感GAN网络,其特征在于,LD项的损失函数与LG项的损失函数表达如下:
Figure FDA0002176152940000013
Figure FDA0002176152940000014
其中,XH为LDCT高频图像,XL为LDCT低频图像,YH为NDCT高频图像,Z为作为生成器输入的高斯噪声。
CN201910779574.6A 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络 Active CN110517198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779574.6A CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779574.6A CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Publications (2)

Publication Number Publication Date
CN110517198A CN110517198A (zh) 2019-11-29
CN110517198B true CN110517198B (zh) 2022-12-27

Family

ID=68626393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779574.6A Active CN110517198B (zh) 2019-08-22 2019-08-22 用于ldct图像去噪的高频敏感gan网络

Country Status (1)

Country Link
CN (1) CN110517198B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275640B (zh) * 2020-01-17 2022-12-09 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN111968195B (zh) * 2020-08-20 2022-09-02 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112233038B (zh) * 2020-10-23 2021-06-01 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112598759B (zh) * 2020-12-15 2022-09-13 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113538257B (zh) * 2021-06-15 2022-07-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN113409377B (zh) * 2021-06-23 2022-09-27 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN109961411A (zh) * 2019-03-12 2019-07-02 浙江工业大学之江学院 非下采样剪切波变换医学ct图像去噪方法
CN110047054A (zh) * 2019-04-26 2019-07-23 东北大学 一种基于vgg-19提取特征的gan医学图像降噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN109961411A (zh) * 2019-03-12 2019-07-02 浙江工业大学之江学院 非下采样剪切波变换医学ct图像去噪方法
CN110047054A (zh) * 2019-04-26 2019-07-23 东北大学 一种基于vgg-19提取特征的gan医学图像降噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进型WGAN的低剂量CT图像去噪方法;徐曾春等;《光学与光电技术》;20190630;第17卷(第3期);全文 *

Also Published As

Publication number Publication date
CN110517198A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110517198B (zh) 用于ldct图像去噪的高频敏感gan网络
Nishio et al. Convolutional auto-encoder for image denoising of ultra-low-dose CT
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN109785243B (zh) 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
Zhang et al. LU-NET: An improved U-Net for ventricular segmentation
CN112598759B (zh) 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
US8139891B2 (en) System and method for structure enhancement and noise reduction in medical images
CN113538260B (zh) 自监督和有监督联合训练的ldct图像去噪与分类方法
Hao et al. Skeletal bone age assessments for young children based on regression convolutional neural networks
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Guan et al. Generative modeling in sinogram domain for sparse-view CT reconstruction
Panda et al. A 3D wide residual network with perceptual loss for brain MRI image denoising
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
Lepcha et al. Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Bhonsle et al. Reduction of Gaussian noise from Computed Tomography Images using Optimized Bilateral Filter by Enhanced Grasshopper Algorithm
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
Kipele et al. Poisson noise reduction with nonlocal-pca hybrid model in medical x-ray images
Li et al. Dual-domain fusion deep convolutional neural network for low-dose CT denoising
Li et al. Low-dose sinogram restoration enabled by conditional GAN with cross-domain regularization in SPECT imaging
KR20220071554A (ko) 의료 영상 융합 시스템
Ashwini et al. Denoising of COVID-19 CT and chest X-ray images using deep learning techniques for various noises using single image
Wang et al. SemiMAR: Semi-Supervised Learning for CT Metal Artifact Reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant