CN112598759A - 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 - Google Patents

Abstract

本发明属于CT成像技术领域，具体方案为：抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，选择LDCT图像降噪模型，构建成对LDCT图像与NDCT图像数据集，将LDCT图像输入误差反馈金字塔生成器网络中，金字塔生成器网络从不同角度来提取LDCT图像的跨尺度特征，LDCT图像经过误差反馈金字塔生成器网络处理后输出初步降噪结果图，NDCT图像与初步降噪结果图共同输入交错卷积判别器子网络中迭代训练，输出最终降噪结果图；误差反馈金字塔生成器能够提取图像同一尺度内的浅层特征与深层特征，增加特征提取的丰富性，提高判别器的鉴别能力，本发明解决了因噪声伪影与组织结构分布高度相似而引发的欠降噪或过降噪问题。

Description

抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络

技术领域

本发明属于CT成像技术领域，公开了一种用于高效抑制低剂量CT图像中的噪声与伪影、便于后期精确地医学诊断与分析的深度学习方法。

背景技术

自20世纪70年代计算机断层扫描成像(Computed Tomography,CT)技术问世以来，因其具有操作简单、成像速度快、灵敏度高等优点而被广泛应用于工农业生产、安全检查、生物医学成像、工业无损检测、地质学等领域。在医学诊疗领域，CT图像具有成像清晰、密度分辨率高、能够清晰地显示图像的三维信息等优点，因而广泛应用于各种先天性发育异常、炎症性疾病、代谢性病变、外伤性改变、良恶性肿瘤以及心血管疾病等检查中。在对血管性病变的诊断和显示中，为了提高对病灶的定性分析能力、肿瘤分期的准确性或判断肿瘤手术切除的可能性，有时还需要进行动态增强扫描。为了随时掌握自身健康状况，定期健康检查更是必不可少。

然而，重复的CT扫描检查使得受检者接收X射线的辐射伤害的风险增加，易导致受检者余生遭受免疫力功能下降、新陈代谢异常、生殖器官受损、患白血病、癌症与遗传性疾病等风险增加。由于体质弱于成年人，儿童遭受的辐射伤害更大。在ALARA(As Low AsReasonably Achievable)原则指导下，研究人员的研究兴趣主要集中在低剂量CT(Low-dose CT，LDCT)成像技术的改善方面。

一般可分为三类：投影域方法、重建方法、后处理方法。由于后处理方法是在图像域进行操作，不依赖于原始投影数据，可移植性较强，便于推广，已经成为LDCT成像领域的热点研究方向。在深度学习被广泛应用之前，已经出现了一些比较成熟的后处理方案：如非局部均值(Non-local means,NLM)及其改进方法、三维块匹配滤波(BM3D)算法、基于字典学习与稀疏表示的LDCT降噪算法。这些传统算法可以实现简单的图像降噪任务，然而在伪影与结构高度相似的LDCT图像的低密度区，降噪效果仍不够理想。

近年，深度学习的快速发展，为医学成像领域提供了新的研究思路并展现出巨大潜力。为了提高特征提取丰富性，学者们设计了2D CNN，3D CNN，残差编码器/解码器CNN和级联CNN等网络结构；为了提高特征提取的有效性和充分性，提出了基于多尺度编解码结构的U-Net、金字塔结构、沙漏结构；在损失函数的设计方面提出了均方误差用于指导降噪网络学习输出与目标图像之间像素级差异，提出了感知损失和风格损失用于指导降噪网络学习输出与目标图像之间语义特征的差异，并提高网络对低质量图像的特征重构能力。总的来说，这类方法的优势是可以通过大量数据集的不断迭代训练而达到提高降噪图像质量的目的。然而受数据集、硬件资源及运行时间等制约，这类方法并没有得到广泛应用。目前LDCT成像领域研究热点主要集中在更加高效的成像算法改进方面。

发明内容

为解决现有技术存在的网络复杂度大、网络参数多、网络训练过程不稳定的技术问题，本发明提供了一种能够实现快速高效LDCT图像降噪的深度学习方法，该方法能够在不增加网络复杂度与运算时间的前提下实现比较好的伪影噪声抑制与细节保留效果。

为实现上述目的，本发明所采用的技术方案为：抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，包括如下内容：

1、建立LDCT图像降噪模型：

降噪模型能够建立NDCT、LDCT与伪影和噪声之间的相互关系，本发明采用的降噪模型是加性模型，具体表达式为：

X＝T(Y) 1-1

X＝Y+N 1-2

Y＝X-N 1-3

式1-1为NDCT图像的降质过程，其中X∈R^c×h×w表示LDCT图像，Y∈R^c×h×w表示与之对应的NDCT图像，T表示X与Y之间的函数映射关系，体现了NDCT以非线性的形式退化为LDCT的降质过程；T在不同的应用场景中可以表示不同的含义，如果是在图像去模糊领域，T表示不同形式的模糊核操作，如果是在图像超分辨率领域，T则表示图像降采样操作，因此，此处的T更准确地说是包含获取LDCT图像过程中产生的所有影响图像质量的因素。

式1-2为模拟的LDCT图像生成过程，其中N表示加性高斯白噪声，通过人为在NDCT图像中加入噪声，最终产生了LDCT图像。

式1-3为从LDCT图像中恢复原始的NDCT图像的过程。

2、在尺度敏感生成对抗网络中设计误差反馈金字塔生成器：

误差反馈金字塔生成器的主要特点在于考虑了LDCT图像中的伪影噪声与人体正常组织结构、医学诊疗病理信息的本质特性，最大程度地解决了两者结构复杂、高度相似难以有效区分这一问题，为了提取方向不同、密度分布不同、分布不规则的噪声与伪影的特征，利用shuffle操作(以获取1/2输入图像为例，按照奇数行和列(或者偶数行和列)逐次提取图像像素值，并将其进行重新排列，多余的图像像素值按照通道方向进行级联，得到尺寸减半、通道数增加四倍的图像)能够快速获得不同分辨率的输入图像的特性、U-Net能够通过串行编码结构实现多尺度特征提取的特性，设计了误差反馈金字塔生成器网络，用来提取LDCT图像中组织结构、微小病变等有用信息与噪声伪影等干扰信息的跨尺度特征。

3、建立基于shuffle操作自下而上的金字塔输入模块：

为了提取LDCT图像的多尺度特征，利用shuffle操作具有能够促进不同特征之间的相互联系、在不损失特征的同时，得到不同分辨率输入图像的特性，自下而上设计了基于shuffle操作的金字塔输入模块来解决传统下采样过程中特征丢失的问题，进而产生多分辨率的输入图像。

4、基于误差反馈机制的跨尺度融合模块的设计：

不同于普通卷积神经网络，误差反馈机制强调了以下要求：从低分辨率图像反映射到高分辨率图像、从高分辨率图像映射到低分辨率图像这两个过程是同等重要的。这两种映射关系之间存在一定联系，通过使用迭代式上下采样式的误差反馈机制，网络可以利用不同尺度特征之间的相互关系，获得更加充足有效的特征。为了能够将金字塔结构提取的不同分辨率特征进行融合，同时利用误差反馈机制的优势，我们将误差反馈思想引入跨尺度融合模块中，增强了网络对跨尺度特征提取的敏感度。

5、设计交错卷积判别器：

考虑到“小卷积核对应的感受野较小，能够提取图像的小尺度特征；大卷积核对应的感受野较大，能够提取图像的大尺度特征”这一特点，本设计提出了基于交错卷积(将特征提取网络前一层不同尺寸卷积核所提取的特征进行融合，送入下一层特征提取网络中继续进行特征提取)的判别器设计。交错卷积判别器通过对NDCT与降噪后的CT图像进行多尺度特征提取，进而提高判别器的鉴别能力与生成器的降噪能力。

6、针对不同分辨率的输入图像，设立了由浅到深的多级编码U-Net结构：

考虑到高分辨率图像中特征比较丰富，且图像中含有大量噪声伪影、低分辨率图像中特征相对较少且噪声伪影并不十分明显，为了在不增加网络结构复杂度的同时提升网络的多尺度特征表达能力，本发明在1/2原始图像上设计了7层的U-Net结构、在1/4原始图像上设计了6层的U-Net结构、在1/8原始图像上设计了4层的U-Net结构。

7、对生成对抗网络设计对应的对抗损失函数：

为了解决生成对抗网络固有的缺陷：训练不稳定性，本发明选取了最小二乘损失函数作为对抗损失，一定程度上缓解了训练难题。

8、对降噪后的图像设计全局损失函数：

本发明选取了传统的像素级L1损失作为全局约束，用于实现基本降噪功能。

L1损失为：

其中，

表示降噪图像，Y表示NDCT图像。

9、通过不同层数的U-Net编解码结构消融实验来优化网络：本发明对不同分辨率输入图像的U-Net降噪网络层数进行了实验。

本发明的具体图像处理步骤如下：

一、选择LDCT图像降噪模型，构建成对LDCT图像与NDCT图像数据集。

二、将LDCT图像输入误差反馈金字塔生成器网络中，通过shuffle操作获得不同分辨率图像输入，通过不同层数的多级编码U-Net网络对不同分辨率的LDCT图像进行特征提取，并利用基于误差反馈机制的跨尺度融合模块来实现跨尺度特征融合，最终输出降噪结果图。

金字塔输入模块共包含4级，分别为输入图像、1/2输入图像、1/4输入图像与1/8输入图像。为了获得不同分辨率特征输入，本发明采用了shuffle操作，以获取1/2输入图像为例，按照奇数行和列(或者偶数行和列)逐次提取图像像素值，并将其进行重新排列，多余的图像像素值按照通道方向进行级联，得到尺寸减半、通道数增加四倍的图像。

分别在1/2输入图像、1/4输入图像与1/8输入图像上运用多级编码U-Net模块，多级编码U-Net模块的编码端均采用卷积核大小为4×4、步长为2的卷积操作，解码端均采用卷积核大小为4×4、步长为2的转置卷积操作，编码端与解码端通过跨层连接进行特征融合。

基于误差反馈机制的跨尺度融合模块主要由上下采样对构成：为了实现跨尺度特征融合，首先将较大尺度的特征下采样到与需要融合的特征同等尺度，其次对下采样后的特征与需要融合的特征做差，得到误差值，并将误差进行上采样，扩展到原始尺寸空间，最后将其与原始特征相加，得到最终特征。

三、设计对抗损失函数与全局损失函数对降噪结果图进行约束。

四、NDCT图像与降噪结果图共同输入交错卷积判别器子网络中迭代训练。

五、输出最终降噪结果图。

本发明与现有技术相比，具体有益效果体现在：

一、本发明在不破坏图像原有结构的前提下改善了重构图像的质量，速度快，网络参数少，成本低，可推广性好。

二、本发明通过设置自下而上的金字塔输入模块与自上而下的误差反馈校正网络相结合的误差反馈金字塔生成器网络，对同一分辨率图像的不同网络深度的特征与同一网络深度的不同分辨率特征进行了有效融合，丰富了网络特征提取的多样性，最终实现了多层次降噪。

三、本发明采用交错卷积判别器，交错卷积判别器将尺度不同的卷积核所提取的特征融合后，再次送给尺度不同的卷积核进行下一层特征提取，在不增加网络复杂度的同时，提高了判别器网络对多尺度特征表达的能力，从而提升了判别器鉴别能力。

附图说明

图1为本发明降噪网络的整体框架示意图。

图2为误差反馈金字塔生成器网络的结构示意图。

图3为交错卷积判别器网络的结构示意图。

图4为五种降噪方法对胸部LDCT图像的降噪结果示意图。

图5为五种降噪方法对0000049腹部LDCT图像的降噪结果示意图。

图6为五种降噪方法对0000270腹部LDCT图像的降噪结果示意图。

图7为五种方法在piglet数据集上对不同剂量LDCT图像的降噪结果。

图8为LDCT与图7所示不同方法降噪图像的残差图。

图9为五种算法在图4、图5与图6中4个ROI的定量比较。

其中，图4-8中的显示窗均为[40,400]HU。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，以GAN网络作为主框架，利用尺度敏感生成对抗网络抑制低剂量CT图像中的伪影。

如图1所示，降噪网络整体框架分为2个子网：误差反馈金字塔生成器子网络与交错卷积判别器子网络。首先，将含有大量伪影和噪声的LDCT图像输入误差反馈金字塔生成器子网络中，可以得到初步降噪结果；其次，将获取的初步降噪图像与NDCT共同输入交错卷积判别器子网络中，判别器D在对图像的真伪加以鉴别的过程中不断提升自身的判别能力(如果输入图像为NDCT时，判别器D输出结果为1，输入图像为降噪后的图像时，判别器D输出结果为0，则表示该判别器可以准确地区别真伪图像)；最后，通过对抗损失与全局损失函数的共同约束，判别器D将信息反馈给生成器G，指导生成器G进一步生成质量更高的降噪结果图，判别器D继续加以判别，直到生成器G和判别器D的能力达到平衡，网络停止训练，此时的输出最接近NDCT，最终实现了LDCT图像降噪的目的。

如图2所示，考虑到LDCT图像中包含丰富的伪影噪声、人体正常组织结构、医学诊疗病理信息等特征，本发明提出了一种包含自下而上的金字塔输入模块、多级编码U-Net结构与自上而下的跨尺度特征融合网络的误差反馈金字塔生成器子网络用来提取丰富的特征。

具体的，首先将LDCT图像输入自下而上的金字塔输入模块中获得多分辨率图像输入，分别为输入图像、1/2输入图像、1/4输入图像与1/8输入图像：其中，金字塔输入模块的设计利用了shuffle操作，能够在不丢失图像特征的前提下快速提取多尺度特征的特性，共包含4级；其次，分别在不同分辨率图像上采用不同层数的U-Net结构进行降噪：其中1/2输入图像采用了7层U-Net结构，1/4输入图像采用了6层U-Net结构，1/8输入图像采用了4层U-Net结构，每个U-Net结构均采用卷积核大小为4×4、步长为2的卷积操作与卷积核大小为4×4、步长为2的转置卷积操作，在卷积过程中，特征图减小，通道数加倍，在转置卷积过程中特征图增大，通道数减半；为了能够充分捕获不同分辨率特征之间的关系，本发明还引入了自上而下的跨尺度特征融合网络：首先将较大尺度的特征下采样到与需要融合的特征同等尺度，其次对下采样后的特征与需要融合的特征做差，得到误差值，并将误差进行上采样，扩展到原始尺寸空间，最后将其与原始特征进行相加，得到最终特征。

考虑到LDCT图像中的噪声呈现不同尺度、不同方向、不同密度分布的特点，本发明将多尺度特征提取思想引入判别器的设计中，提出了交错卷积判别器。如图3所示，该网络第一层由卷积核大小为4×4，步长为2的卷积层组成，用来提取图像的低层视觉特征，卷积层后分别增加了批量归一化层(Batchnorm,BN)与LeakyReLU激活函数；第二层由交错卷积模块组成，目的是对不同尺度特征进行融合，充分利用图像的有效信息；第三层与第一层网络设置基本相同，区别在于第三层的卷积主要是为了提取图像的高层语义特征，且卷积之后加入了Sigmoid激活函数来对输入图像的真伪进行鉴别。以往的多尺度框架均是通过增加网络层数来扩大网络感受野，而交错卷积模块则是通过采用不同尺寸的卷积核进行特征提取与融合来实现多尺度特征的合理利用。

如图3所示，首先分别采用卷积核大小为3×3与5×5的卷积操作实现不同尺度特征提取；之后再将不同尺度的特征进行级联，一起作为下一层网络的输入，继续采用卷积核大小为3×3与5×5的卷积操作来提取不同尺度特征，并将结果进行级联；然后采用1×1卷积进行特征降维；最后利用残差学习的思想，将网络的最后一层输出特征、第一层3×3卷积与5×5卷积结果相加，运用跨层连接思想实现了深层特征与浅层特征地充分利用，且有效解决了训练过程中的梯度消失或梯度爆炸问题。

交错卷积判别器通过增加多尺度特征融合模块，提升了特征提取能力与鉴别能力。

为了提高网络生成图像的质量，充分发挥尺度敏感生成对抗网络的优势，本发明分别设计了对抗损失与全局损失，具体如下公式所示：

针对NDCT&降噪结果所提出的像素级L1损失函数为：

像素级L1损失与生成对抗网络特有的对抗损失均是全局损失，来对降噪图像进行约束。其中，

表示降噪图像，Y表示NDCT图像。像素级L1(1范数)损失是在像素空间上对降噪图像进行的约束，提高了PSNR(峰值信噪比)值。然而，仅仅在像素空间进行约束，易产生降噪图像分辨率不高、视觉效果不佳等问题。因此，本发明引入了对抗损失(对抗损失采用了最小二乘生成对抗网络中最小二乘损失，用来解决GAN训练过程中不稳定问题)来进一步提高图像的视觉效果。

整体损失函数表示为：

其中，X表示给定的LDCT图像，Y表示与之对应的NDCT图像，L_pixel表示像素级L1损失函数，λ₁表示超参数，用来调节对抗损失与像素级L1损失之间的比例关系，D表示交错卷积判别器网络，G表示误差反馈金字塔生成器，E表示数学期望。

如图4所示，比较五种降噪方法对胸部LDCT图像的降噪结果在纹理细节、信息保留程度和噪声伪影移除方面的表现情况，本发明的降噪图像与NDCT最接近，且条形伪影的抑制效果非常好。

如图5、图6所示，比较五种降噪算法对腹部LDCT图像的降噪结果与NDCT在局部ROI的降噪表现，本发明的降噪结果中点状噪声去除效果更加明显，且图像边缘结构保留的比较完整。

如图7、图8所示，比较五种降噪方法对真实数据集piglet在不同剂量下的降噪结果与NDCT在整体降噪效果、噪声伪影抑制情况，本发明算法具有较强的鲁棒性，能够适应不同剂量的LDCT图像降噪问题，且降噪效果优异。

如图9所示，除了在ROI1内PSNR值略低于HFSGAN，本发明的SSIM(结构相似性)值、PSNR(峰值信噪比)值、VIF(视觉信息保真度)值与IFC(信息保真度)值均高于BM3D(三维块匹配)、RED-CNN(残差编解码卷积神经网络)、pix2pix(基于条件生成对抗网络的图像翻译网络)与HFSGAN(高频敏感的生成对抗网络)。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (6)

1.抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，具体步骤如下：

一、选择LDCT图像降噪模型，构建成对LDCT图像与NDCT图像数据集；

二、将LDCT图像输入误差反馈金字塔生成器网络中，误差反馈金字塔生成器网络内设有基于shuffle操作的金字塔输入模块、基于误差反馈机制的跨尺度融合模块和由浅到深的多级编码U-Net模块，金字塔生成器网络从不同角度来提取LDCT图像的跨尺度特征，LDCT图像经过反馈金字塔生成器网络处理后输出降噪结果图；

三、NDCT图像与步骤二中得到的降噪结果图共同输入交错卷积判别器子网络中迭代训练；

四、输出最终降噪结果图。

2.根据权利要求1所述的抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，步骤一中的LDCT图像降噪模型为加性模型，具体表达式为：

X＝T(Y) 1-1

X＝Y+N 1-2

Y＝X-N 1-3

式1-1为NDCT图像的降质过程，其中X∈R^c×h×w表示LDCT图像，Y∈R^c×h×w表示与LDCT图像对应的NDCT图像，T表示X与Y之间的函数映射关系，体现了NDCT以非线性的形式退化为LDCT的降质过程；

式1-2为模拟的LDCT图像生成过程，其中N表示加性高斯白噪声，通过人为在NDCT图像中加入噪声，最终产生了LDCT图像；

式1-3为从LDCT图像中恢复原始的NDCT图像的过程。

3.根据权利要求1所述的抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，所述金字塔输入模块内设4个特征级别，即输入图像尺寸、1/2输入图像尺寸、1/4输入图像尺寸与1/8输入图像尺寸。

4.根据权利要求1所述的抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，所述跨尺度融合模块内设基础卷积操作与转置卷积操作。

5.根据权利要求1所述的抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，所述多级编码U-Net模块包括作用于1/8分辨率输入图像的4层U-Net、作用于1/4分辨率输入图像的6层U-Net与作用于1/2分辨率输入图像的7层U-Net，每个U-Net的编码端均采用卷积核大小为4×4、步长为2的卷积操作，每个U-Net的解码端均采用卷积核大小为4×4、步长为2的转置卷积操作，编码端特征通过跨层连接并入到解码端同一尺度的特征中。

6.根据权利要求1所述的抑制低剂量CT图像中伪影噪声的多尺度特征生成对抗网络，其特征在于，交错卷积判别器是一种多尺度特征提取网络，包括浅层特征提取网络、交错卷积模块和深层特征提取网络；

浅层特征提取网络由卷积核大小为4×4、步长为2的卷积操作组成，卷积层后加入批量归一化与LeakyReLU激活函数；

交错卷积模块是由卷积核大小为3×3与5×5的卷积操作混合而成；

深层特征提取网络由卷积核大小为4×4、步长为2的卷积操作组成，卷积后加入Sigmoid激活函数。

Images