CN111968195A - 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 - Google Patents

用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 Download PDF

Info

Publication number
CN111968195A
CN111968195A CN202010842110.8A CN202010842110A CN111968195A CN 111968195 A CN111968195 A CN 111968195A CN 202010842110 A CN202010842110 A CN 202010842110A CN 111968195 A CN111968195 A CN 111968195A
Authority
CN
China
Prior art keywords
image
artifact
attention
network
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010842110.8A
Other languages
English (en)
Other versions
CN111968195B (zh
Inventor
张�雄
韩泽芳
上官宏
韩兴隆
杨琳琳
王安红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202010842110.8A priority Critical patent/CN111968195B/zh
Publication of CN111968195A publication Critical patent/CN111968195A/zh
Application granted granted Critical
Publication of CN111968195B publication Critical patent/CN111968195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于CT成像技术领域,公开了一种用于抑制低剂量CT图像中的噪声与伪影、便于后期精确地医学诊断与分析的深度学习方法;具体技术方案为:用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,双注意力生成对抗网络分别用于分布不均匀、无规则的噪声特征与分布复杂的组织纹理特征的提取;设计多尺度特征提取的Res2Net判别器网络,既提高了判别器的鉴别能力,又增强了对抗训练的稳定性与鲁棒性;设计伪影注意力损失、伪影一致性损失、结构约束损失、对抗损失与像素级L1损失相结合的多描述损失函数进一步提高各个子网络的功能;本发明解决了因噪声伪影与组织结构分布高度相似而引发的欠降噪或过降噪现象。

Description

用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络
技术领域
本发明属于CT成像技术领域,公开了一种用于抑制低剂量CT图像中的噪声与伪影、便于后期精确地医学诊断与分析的深度学习方法。
背景技术
计算机断层扫描成像(computed tomography,CT)是一种广泛应用于生物医学、图像引导介入、安检、工农业生产、地质学与石油勘测等领域的无损检测技术。作为医学诊疗的重要辅助手段,CT成像速度快、精度高,可以完整呈现被检查部位的三维信息,且在骨伤、肿瘤与节点、血管病变与肺部积水、细胞癌变等的检测中发挥着不可替代的作用。目前,CT检查与每个人息息相关,常规体检、特定医学诊疗等均需按照要求对被检者进行不同程度的扫描。有资料表明,在美国,CT检查占所有放射检查的13%,但其导致患者接受的辐射剂量却占患者接受的全部辐射剂量的70%。一般地,人体做一次胸部X射线平片检查所承受的辐射剂量大约为0.1mSv。而常用CT检查需要进行多角度扫描,重复X射线扫描致使人体承受的辐射剂量比普通平片检查高的多,例如,人体在一次常规胸部CT检查中所受辐射剂量大约是一次胸部平片检查的100倍,乳腺钼靶检查的10倍,而对于多排CT,这个倍数则更大,特别地,癌症患者接受放疗或CT增强扫描所承受的辐射剂量则更大。伴随着X射线辐射而来的潜在危害包括白内障、新陈代谢异常、生育功能退化、染色体变异导致的胎儿畸变以及癌症等。由于体质弱于成年人,儿童遭受辐射伤害后引发疾病的比例更高,一份来自英国的调查结果表明,在被调查的15周岁以下儿童中,有约1/500死于腹部CT扫描引发的癌症,约1/1500死于脑部CT扫描引发的癌症。相对较高的辐射剂量已然成为制约CT成像技术在医学诊疗领域进一步发展的一个重要因素。
由此,降低CT扫描的辐射剂量已刻不容缓。然而,辐射剂量降低会引起“光子饥饿”现象,导致重建图像中产生条纹伪影与斑点噪声,进而影响医学诊断的准确性,尤其易导致对面积小、形态细微的早期病变的误诊和漏诊。在此背景下,衍生出了CT成像领域的一个重要研究方向——低剂量CT(Low-dose CT,LDCT)技术。与常规剂量CT(Normal Dose CT,NDCT)相比,LDCT质量严重退化,LDCT图像中的伪影和噪声与人体正常组织和低密度病变等具有相似的分布规律,能量主要集中在图像的高频部分,图像中的边缘和细节信息主要分布在高频部分同时污染图像的噪声和伪影也分布在这一区域,如何在不破坏图像原有结构的前提下改善重构图像的质量是目前LDCT成像领域的研究热点。
自LDCT出现以来,针对如何提高低剂量条件下CT成像质量这一问题,学者们从降低扫描剂量、提升硬件性能与改善成像算法这三个角度出发,做了大量研究尝试。降低辐射剂量的方法主要包括两类:①由于管电流与辐射剂量之间呈正相关且操作简单,降低管电流是目前临床应用中最常用的降低X射线剂量的方式之一。然而此方法的最大弊端在于获取的LDCT图像密度分辨率较低、出现明显斑点噪声和条状伪影;降低管电压也是降低X射线辐射的一种选择,然而管电压降低的同时X射线的穿透能力也将随之下降,进而导致成像质量严重退化;②减少X射线数目也是降低辐射剂量的主要方式,这类方法(如内部扫描、少视角、有限角度)获取的投影数据不完备,对重建算法性能有更高的要求。此外,也有许多学者致力于硬件设备改进方面的研究,例如:改善X射线晶体管的材质,可以延长晶体管的使用寿命;改进探测器的组成结构,可以在大幅降低X射线辐射剂量的同时提高图像信噪比;改进扫描方式,可以减少获取投影数据的时间,降低硬件设备的损耗。
总的来说,这类方法的优势是可以在降低扫描剂量的同时提高重建图像的分辨率,由于降低扫描剂量严重影响CT成像质量,而改善硬件设备性能要求更高的成本和技术水平,目前LDCT成像领域研究热点主要集中在代价更小且可移植性更好的成像算法改进方面。
发明内容
为解决现有技术存在的问题,本发明提供了一种能够在抑制噪声的同时保留CT图像重要结构特征的深度学习方法,使用该方法降噪后的图像边缘和细节信息体现完全,降噪后的图像信息完整。
为实现上述目的,本发明所采用的技术方案为:用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,具体设计思路如下:
1、LDCT图像降噪模型的选择:
降噪模型的主要特点是建立NDCT、LDCT与伪影和噪声之间的相互关系,既有利于降噪算法的设计,又有利于模拟数据集的生成,降噪模型一般分为加性噪声模型与乘性噪声模型,本发明采用的是加性模型,具体表达式为:
X=T(Y) 1-1
X=Y+N 1-2
Y=X-N 1-3
式1-1为NDCT图像的降质过程,其中X∈Rc×h×w表示LDCT图像,Y∈Rc×h×w表示与之对应的NDCT图像,T表示X与Y之间的函数映射关系,体现了NDCT以非线性的形式退化为LDCT的降质过程;T在不同的应用场景中可以表示不同的含义,如果是在图像去模糊领域,T表示不同形式的模糊核操作,如果是在图像超分辨率领域,T则表示图像降采样操作,因此此处的T更准确地说是包含获取LDCT图像过程中产生的所有影响图像质量的因素。
式1-2为模拟的LDCT图像生成过程,其中N表示加性高斯白噪声,通过人为在NDCT图像中加入噪声,最终产生了LDCT图像;
式1-3从LDCT图像中恢复原始的NDCT图像。
2、基于伪影特征提取的注意力模块设计:
双注意力生成器子网的主要特点在于考虑了LDCT图像中的伪影噪声与人体正常组织结构、医学诊疗病理信息的本质特性,最大程度地解决了两者高度相似难以有效区分这一问题,为了提取方向不同、密度分布不同、分布不规则的噪声与伪影的特征,利用循环神经网络特有的长短期记忆特性,设计了循环注意力网络用来提取伪影的位置特征。
3、主通道特征提取网络的设计:
为了提取LDCT图像的多尺度特征,利用“小卷积核对应的感受野小,能够提取小尺度的特征,大卷积核对应的感受野大,能够提取大尺度的特征”的特性,设计了多稠密残差块相级联的多尺度特征提取网络来解决LDCT图像中伪影噪声分布不规则的问题。
4、基于复杂生理结构特征提取的注意力模块的设计:
全变分(Total Variation,TV)是指通过图像的左右像素值与上下像素值之差来提取图像的梯度信息。而TV正则化项可以在降噪的同时增强图像的边缘信息。为了避免降噪过程中组织结构被破坏,利用重建算法中TV正则化项的优势,将TV操作引入结构注意力分支,增强了图像的边缘信息。
5、多尺度判别器的设计:
多尺度地对NDCT与降噪后的CT图像进行鉴别,进而提高判别器的鉴别能力与生成器的图像生成能力,利用Res2Net能够充分利用输入图像的特征(通过增加块内的感受野,而不是一层一层地捕获图像中更细粒度的不同级别的尺度,从而提高卷积神经网络管理图像中物体的能力),将其引入判别器的设计之中。
其中,Res2Net为多尺度骨干网络结构。
6、设计对应的伪影注意力损失函数与伪影一致性损失函数:
为了充分发挥注意力机制的优势,本发明设计了多种损失函数协同作用来增加网络之间的相互约束关系,具体地,为了提高伪影注意力子网提取伪影特征的能力,设计伪影注意力损失:首先将输入LDCT与NDCT图像相减,得到对应的真实伪影分布;其次对真实伪影图进行阈值化(自适应设置阈值,当该像素大于阈值时,输出为1,当该像素小于阈值时,输出为0),得到尺寸为512*512*1的二值化图像,“1”表示该像素属于伪影区,“0”表示该像素属于干净背景区;最后通过L1损失来对伪影注意力子网的输出结果进行约束。此外,还设计了伪影一致性损失来对初步降噪后的结果加以约束。
7、设计对应的结构注意力损失:
TV是通过求梯度的操作来实现图像边缘特征的提取。用TV边缘提取操作分别提取NDCT与输入LDCT图像的边缘,用NDCT图像的边缘来约束LDCT图像,使其尽可能完整地保留图像的结构特征且不引入新的伪影,并将其作为增强特征来强化降噪后CT图像的边缘特征,使得因降噪而丢失的特征补充进来。
8、对生成对抗网络设计对应的对抗损失:
为了解决生成对抗网络固有的缺陷:训练不稳定性,本发明选取了最小二乘损失函数作为对抗损失,一定程度上缓解了训练难题。
9、对降噪后的图像设计全局损失函数:
本发明选取了传统的像素级L1损失作为全局约束,为了缓解降噪过平滑现象,本发明还在L1损失之后增加了惩罚项,用于平衡图像降噪与结构保留。
L1损失为:
Figure BDA0002642203260000051
10、通过参数实验来调整损失函数的比例:
本发明通过选取两组比较有代表性的参数进行参数选取实验,一个是伪影一致性损失(伪影注意力损失与其均是为了约束伪影注意力子网),一个是全局损失中的惩罚项超参数(结构注意力损失与惩罚向设置均为了补充结构特征)。
本发明的具体图像处理步骤如下:
一、选择LDCT图像降噪模型,构建成对LDCT图像与NDCT图像数据集;
二、将LDCT图像输入双注意力生成器子网中,双注意力生成器子网包括伪影注意力网络和结构注意力网络,伪影注意力网络对LDCT图像提取伪影后输出初始降噪结果图,结构注意力网络通过提取LDCT图像的边缘细节特征对初始降噪结果图进行特征增强,最终输出二次降噪结果图;
伪影注意力网络内设4个循环,每个循环内设5个串联的残差网络、1个长短期记忆网络单元和1个卷积核,LDCT图像经过各个循环学习、长短期记忆和卷积后,输出能够代表噪声伪影位置、512*512*1的掩码矩阵(矩阵中元素均位于0到1之间,表示该像素处噪声伪影的相对强度);
结构注意力网络运用卷积核大小分别为3×3、5×5与7×7的稠密连接块与多尺度残差网络来分别提取伪影的密度信息与尺度信息;
三、多损失函数对二次降噪结果图进行约束;
四、NDCT图像与二次降噪结果图共同输入多尺度判别器子网中迭代训练;
五、输出最终降噪结果图。
本发明与现有技术相比,具体有益效果体现在:
一、本发明在不破坏图像原有结构的前提下改善了重构图像的质量,成本低,可推广性好。
二、本发明通过设置双注意力生成器子网,伪影注意力子支路定位伪影区域,捕获伪影分布特征,结构特征提取子支路获取边缘信息,伪影分布特征作为辅助特征与多尺度主通道特征进行级联,多尺度残差网络实现残差伪影的有效提取,并将输入LDCT与之相减,得到初步降噪后的结果;本发明还将结构特征提取子支路获取的边缘纹理信息作为新的补充特征,来弥补网络丢失的特征,最终实现了深层次降噪。
三、本发明采用Res2Net判别器,Res2Net判别器通过在一个给定的残差块中使用分层的、层叠的特征组,取代了通用的单个3x3卷积核。通过增加块内的感受野,而不是一层一层地捕获图像中更细小、不同级别的尺度,在不增加网络复杂度的同时帮助卷积神经网络更好地关注图像中感兴趣的区域,从而提升了特征提取能力与鉴别能力;并运用跨层连接思想实现了深层特征与浅层特征的充分利用,且有效解决了训练过程中的梯度消失或梯度爆炸问题。
附图说明
图1为降噪网络结构框架示意图。
图2为本发明的整体框架简图。
图3为双注意力生成器结构示意图。
图4为多尺度Res2Net判别器结构示意图。
图5为人体不同部位CT示意图。
图6为不同剂量piglet小猪数据集CT示意图。
图7为人体数据集图0和图270不同对比算法的结构相似度值。
图8为人体数据集图0和图270不同对比算法的峰值信噪比值。
图9为人体数据集图0和图270不同对比算法的视觉信息保真度值。
图10为四种降噪方法对腹部LDCT图像的降噪结果示意图。
图11为四种降噪方法对胸部LDCT图像的降噪结果示意图。
图12为piglet数据集的详细扫描方案。
图13为损失函数消融实验结果对照表。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,以GAN网络作为主框架,提出了一种双注意力生成对抗网络用于解决低剂量CT图像中伪影抑制的技术方案。
如图1-2所示,降噪网络整体框架分为2个子网:双注意力生成器子网与多尺度判别器子网。首先,将含有大量伪影和噪声的LDCT图像输入双注意力生成器子网中,可以得到初步降噪的结果;其次,将获取的初步降噪图像与NDCT共同输入多尺度判别器子网中,判别器D在对图像的真伪加以鉴别的过程中不断提升自身的判别能力(如果输入图像为NDCT时,判别器D输出结果为1,输入图像为降噪后的图像时,判别器D输出结果为0,则表示该判别器可以准确地区别真伪图像);最后,通过多损失函数的约束,判别器D将信息反馈给生成器G,指导生成器G进一步生成质量更高的降噪结果图,判别器D继续加以判别,直到生成器G和判别器D的能力达到平衡,网络停止训练,此时的输出最接近NDCT,最终实现了LDCT图像降噪的目的。
如图3所示,针对LDCT图像中的伪影噪声与人体正常组织结构、医学诊疗病理信息高度相似难以有效区分这一问题,本发明提出了一种双注意力生成器子网(一路用于感知结构特征,一路用于感知伪影分布特征)用以提取特定的语义信息,并将其作为补充信息反馈给特征提取主通道,进一步增强网络对各类信息的敏感度。
具体的,首先将LDCT图像送入伪影注意力子支路、结构特征提取子支路与特征提取主通道中分别提取对应的伪影分布特征、结构特征与多尺度主通道特征:其中,伪影注意力子支路的结构借鉴了循环注意力思想(该结构共循环4次,每次循环均有5个ResNet(残差网络)、1个LSTM(长短期记忆网络)单元与1个卷积核组成),利用LSTM的长短期记忆功能,将视觉注意力模型应用于定位伪影区域,以捕获伪影分布特征。结构特征提取子支路则将CT图像统计迭代重建领域的TV正则化项应用到后处理过程中,来加强图像的边缘特征表达能力。为了提高网络对不同尺度的特征表达能力,本发明还运用卷积核大小分别为3×3、5×5与7×7的稠密连接块与包含4种不同尺度的下采样-上采样操作的Multi-scale ResNet(多尺度残差网络)来分别提取伪影的密度信息与尺度信息,进一步丰富了网络的特征,有利于提升网络的降噪性能。其次把伪影分布特征作为辅助特征与多尺度主通道特征进行级联,增强网络对LDCT中含有伪影区域的特征表达。然后,用Multi-scale ResNet网络实现残差伪影的有效提取,并将输入LDCT与之相减,得到初步降噪后的结果。最后,为了避免因降噪过度而导致的图像边缘模糊现象,本发明还将结构特征提取子支路获取的边缘纹理信息作为新的补充特征,来弥补网络丢失的特征,最终实现了深层次降噪。
考虑到LDCT图像中的噪声呈现不同尺度、不同方向、不同密度分布的特点,本发明将多尺度特征提取思想引入判别器的设计中,提出了Res2Net判别器。
如图4所示,该网络第一层由卷积核大小为4×4,步长为2的卷积层组成,用来提取图像的低层视觉特征,卷积层后分别增加了批量归一化(Batchnorm,BN)层(BN层是深度学习中经常见到的一种训练策略,通过沿着数据的批尺寸方向做归一化,使得批量数据归一化具有0均值1方差的统计分布,避免数据处于激活函数的饱和区,具有较大的梯度,从而加速网络的训练过程;缓解深度神经网络训练中的梯度消失/爆炸现象,加快模型的训练速度。)与LeakyReLU激活函数;第二层由Res2Net模块组成,目的是提取块内的多尺度图像特征,充分利用图像的有效信息;第三层与第一层的设置基本相同,区别在于第三层的卷积主要是为了提取图像的高层语义特征,且卷积之后加入了Sigmoid激活函数来对输入图像的真伪进行鉴别。以往的多尺度框架均是在不同层的基础上使用了多尺度结构,而Res2Net网络则是在一个给定的残差块中使用分层的、层叠的特征组,取代了以往的单个3×3的卷积结构,中间的主卷积从单分支变为多分支。
如图4右侧虚线框所示,首先采用1×1的卷积操作实现特征维度变换;之后再将变换后的特征分通道进行处理,前一通道经处理后的特征与后一通道特征相加,一起作为后一通道的输入,继续进行相应尺度操作,同样的操作进行4次;然后将所有中间特征进行级联,送入1×1的卷积层中进行特征降维;最后运用跨层连接思想实现了深层特征与浅层特征的充分利用,且有效解决了训练过程中的梯度消失或梯度爆炸问题。
Res2Net判别器(多尺度骨干网络结构)通过增加块内的感受野,而不是一层一层的捕获图像中更细小的不同级别的尺度,从而提升了特征提取能力与鉴别能力。
为了提高网络生成图像的质量,充分发挥双注意力GAN网络的优势,本发明针对性地为每一个子功能设计了相应的损失函数,用来约束其生成图像的质量。具体地,可以将损失函数分为3类:与伪影相关的损失、与结构相关的损失、与降噪后的图像相关的损失,具体如下所示:
针对(LDCT-NDCT)&生成伪影所提出的伪影一致性损失函数为:
Figure BDA0002642203260000091
针对真实伪影的二进制掩码&网络生成的注意力图所提出的伪影注意力损失函数为:
Figure BDA0002642203260000092
针对NDCT结构&LDCT结构所提出的结构损失函数为:
Figure BDA0002642203260000093
针对NDCT&Results所提出的像素级L1损失函数为:
Figure BDA0002642203260000094
针对NDCT&Results所提出的对抗损失函数为:
Figure BDA0002642203260000095
Figure BDA0002642203260000096
为了提高网络捕获伪影特征的能力,针对伪影本发明共设计了两种损失函数。第一种是伪影一致性损失,其中X表示输入的LDCT图像,Y为对应的NDCT图像,α表示与伪影特征提取相关部分(即包括“-”之前的网络结构)。伪影抑制一致性损失通过将真实的伪影特征(X-Y)与网络通过多尺度特征提取与多尺度残差网络提取的伪影进行比较,使得网络拟合伪影特征的本领不断增强,最终生成的初步降噪图像中噪声伪影尽可能被抑制。第二种是伪影注意力损失,在公式中,δ表示阈值操作,δ(X-Y)表示真实伪影图像的二进制掩码图,即体现了伪影的位置分布特征:有伪影的区域标为1,无伪影的区域则标为0,β代表伪影注意力子支路获取的伪影分布特征图,该图中所有像素值均为零到一之间的数,表示该像素区域属于伪影的概率。通过求取真实的二进制掩码图与伪影分布特征图之间的L1范数,来提高伪影注意力子支路提取伪影分布的准确性,以达到最终降噪的目的。
为了提高网络捕获结构特征的能力,本发明针对结构特征也设计了对应的损失函数,即结构损失。该损失函数用NDCT图像的边缘来对LDCT图像所提取的边缘进行约束,试图实现在LDCT图像上获取与NDCT相同边缘分布特征的目的,便于后期的特征加强。
最重要的也最常用的损失函数则是像素级L1损失与生成对抗网络特有的对抗损失。这两种损失均是全局损失,来对降噪后的图像进行约束。其中,
Figure BDA0002642203260000103
表示降噪后的图像,像素级L1损失共包括两项,数据保真项(约束图像降噪的程度)与惩罚项(约束图像结构保留的程度),公式中TV(全变分)表示提取梯度操作,λ用来控制数据保真项与惩罚项之间的比例关系。像素级L1(1范数)损失是在像素空间上实现对降噪后的图像进行的约束,提高了PSNR(峰值信噪比)的量化指标值。然而,仅仅在像素空间进行约束,易产生图像分辨率不高、视觉效果不佳等问题。因此,本发明引入了对抗损失(对抗损失采用了最小二乘生成对抗网络论文中最小二乘损失,用来解决GAN训练过程中不稳定问题)来进一步提高图像的视觉效果。
整体损失函数表示为:
D:
Figure BDA0002642203260000101
G:
Figure BDA0002642203260000102
本发明选取的CT图像位置如图5-6所示。
如图7所示,本发明的SSIM(Structural Similarity Index,结构相似性)值均高于BM3D(三维块匹配)、RED-CNN(残差编解码卷积神经网络)、pix2pix(基于条件生成对抗网络的图像翻译网络)。
如图8所示,本发明的PSNR(Peak Signal to Noise Ratio,峰值信噪比)值均高于BM3D(三维块匹配)、RED-CNN(残差编解码卷积神经网络)、pix2pix(基于条件生成对抗网络的图像翻译网络)。
如图9所示,本发明的VIF(Visual Information Fidelity,视觉信息保真度)值均高于BM3D(三维块匹配)、RED-CNN(残差编解码卷积神经网络)、pix2pix(基于条件生成对抗网络的图像翻译网络)。
如图10、图11所示,比较去噪后的LDCT图像与NDCT在纹理细节、信息保留程度和噪声伪影移除情况,生成的去噪图片非常接近NDCT。
如图12、图13所示,不同损失函数所获得的SSIM值与平均PSNR值对比下,本发明的效果较好。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包在本发明范围内。

Claims (9)

1.用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,具体如下:
一、选择LDCT图像降噪模型,构建成对LDCT图像与NDCT图像数据集;
二、将LDCT图像输入双注意力生成器子网中,双注意力生成器子网内设基于伪影特征提取的注意力模块、基于复杂生理结构特征提起的注意力模块和主通道特征提取网络;
三、多描述损失函数对双注意力生成器子网中的降噪结果图进行约束;
四、NDCT图像与步骤三中得到的降噪结果图共同输入多尺度判别器子网中迭代训练;
五、输出最终降噪结果图。
2.根据权利要求1所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,步骤三中的多损失函数包括:
针对伪影注意力网络的伪影注意力损失函数与伪影一致性损失函数;
针对结构注意力网络的结构注意力损失函数;
针对生成对抗网络的对抗损失函数;
针对降噪结果图的全局损失函数。
3.根据权利要求1所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,所述基于伪影特征提取的注意力模块内设4个循环,每个循环内设5个串联的残差网络、1个长短期记忆网络单元和1个卷积核,LDCT图像经过各个循环学习、长短期记忆和卷积后,输出能够代表噪声伪影位置、512*512*1的掩码矩阵;
基于复杂生理结构特征提取的注意力模块运用边缘提取操作来增强边缘信息;
主通道特征提取网络运用卷积核大小分别为3×3、5×5与7×7的稠密连接块与多尺度残差网络来分别提取伪影的密度信息与尺度信息。
4.根据权利要求1所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,多尺度判别器子网的第一层由卷积核大小为4×4,步长为2的卷积层组成,用来提取图像的低层视觉特征,卷积层后分别增加了BN层与LeakyReLU激活函数;
第二层是由Res2Net模块组成,用于提取块内的多尺度图像特征;
第三层用于提取图像的高层语义特征,卷积之后加入Sigmoid激活函数来对输入图像的真伪进行鉴别。
5.根据权利要求1所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,步骤一中的LDCT图像降噪模型为加性模型,具体表达式为:
X=T(Y) 1-1
X=Y+N 1-2
Y=X-N 1-3
式1-1为NDCT图像的降质过程,其中X∈Rc×h×w表示LDCT图像,Y∈Rc×h×w表示与之对应的NDCT图像,T表示X与Y之间的函数映射关系,体现了NDCT以非线性的形式退化为LDCT的降质过程;
式1-2为模拟的LDCT图像生成过程,其中N表示加性高斯白噪声,通过人为在NDCT图像中加入噪声,最终产生了LDCT图像;
式1-3从LDCT图像中恢复原始的NDCT图像。
6.根据权利要求2所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,采用全变分边缘提取操作分别提取NDCT与输入LDCT图像的边缘,用NDCT图像的边缘来约束LDCT图像。
7.根据权利要求2所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,选取最小二乘损失函数作为对抗损失函数。
8.根据权利要求2所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,针对伪影注意力网络分别设计了伪影注意力损失函数与伪影一致性损失函数:输入LDCT与NDCT图像相减,得到对应的真实伪影分布,用真实伪影图阈值化的结果来约束伪影注意力网络输出的伪影图。
9.根据权利要求8所述的用于低剂量CT图像降噪及去伪影的双注意力生成对抗网络,其特征在于,通过L1损失函数来对伪影注意力子网的输出结果进行约束,在L1损失函数之后增加惩罚项来平衡图像降噪与结构保留。
CN202010842110.8A 2020-08-20 2020-08-20 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 Active CN111968195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842110.8A CN111968195B (zh) 2020-08-20 2020-08-20 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842110.8A CN111968195B (zh) 2020-08-20 2020-08-20 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络

Publications (2)

Publication Number Publication Date
CN111968195A true CN111968195A (zh) 2020-11-20
CN111968195B CN111968195B (zh) 2022-09-02

Family

ID=73387967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842110.8A Active CN111968195B (zh) 2020-08-20 2020-08-20 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络

Country Status (1)

Country Link
CN (1) CN111968195B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435164A (zh) * 2020-11-23 2021-03-02 浙江工业大学 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112634146A (zh) * 2020-12-02 2021-04-09 浙江工业大学之江学院 基于多种注意力机制的多通道cnn医学ct图像去噪方法
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN113205461A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 一种低剂量ct影像去噪模型训练方法、去噪方法及装置
CN113269256A (zh) * 2021-05-26 2021-08-17 广州密码营地科技有限公司 一种MiSrc-GAN模型的构建方法及应用
CN113362250A (zh) * 2021-06-25 2021-09-07 南昌航空大学 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113487506A (zh) * 2021-07-06 2021-10-08 杭州海康威视数字技术股份有限公司 基于注意力去噪的对抗样本防御方法、装置和系统
CN113506353A (zh) * 2021-07-22 2021-10-15 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
CN113538260A (zh) * 2021-06-21 2021-10-22 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113538230A (zh) * 2021-06-09 2021-10-22 安徽七天教育科技有限公司 一种基于扫描试卷的图像恢复系统以及使用方法
CN113554089A (zh) * 2021-07-22 2021-10-26 西安电子科技大学 一种图像分类对抗样本防御方法、系统及数据处理终端
CN113689359A (zh) * 2021-09-23 2021-11-23 上海联影医疗科技股份有限公司 一种图像伪影去除模型及其训练方法和系统
CN113706419A (zh) * 2021-09-13 2021-11-26 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN113808753A (zh) * 2021-09-11 2021-12-17 中南大学 基于多损失的分解表达学习预测辅助放化疗疗效的方法
CN113935467A (zh) * 2021-10-19 2022-01-14 吉林大学 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法
WO2022120737A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN116416339A (zh) * 2021-12-20 2023-07-11 西门子医疗有限公司 用于生成合成x射线图像的方法、控制单元和计算机程序
CN116703867A (zh) * 2023-06-09 2023-09-05 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009145076A1 (ja) * 2008-05-28 2011-10-06 株式会社日立メディコ 画像処理装置、画像処理方法、及び画像処理プログラム
CN104050631A (zh) * 2013-11-25 2014-09-17 中国科学院上海应用物理研究所 一种低剂量ct图像重建方法
CN104166971A (zh) * 2013-05-17 2014-11-26 上海联影医疗科技有限公司 一种ct图像重建的方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
WO2019147767A1 (en) * 2018-01-24 2019-08-01 Rensselaer Polytechnic Institute 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
CN110517198A (zh) * 2019-08-22 2019-11-29 太原科技大学 用于ldct图像去噪的高频敏感gan网络
CN110827216A (zh) * 2019-10-23 2020-02-21 上海理工大学 图像去噪的多生成器生成对抗网络学习方法
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009145076A1 (ja) * 2008-05-28 2011-10-06 株式会社日立メディコ 画像処理装置、画像処理方法、及び画像処理プログラム
CN104166971A (zh) * 2013-05-17 2014-11-26 上海联影医疗科技有限公司 一种ct图像重建的方法
CN104050631A (zh) * 2013-11-25 2014-09-17 中国科学院上海应用物理研究所 一种低剂量ct图像重建方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
WO2019147767A1 (en) * 2018-01-24 2019-08-01 Rensselaer Polytechnic Institute 3-d convolutional autoencoder for low-dose ct via transfer learning from a 2-d trained network
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN110517198A (zh) * 2019-08-22 2019-11-29 太原科技大学 用于ldct图像去噪的高频敏感gan网络
CN110827216A (zh) * 2019-10-23 2020-02-21 上海理工大学 图像去噪的多生成器生成对抗网络学习方法
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何琳 等: "低剂量CT图像的自适应广义总变分降噪算法", 《计算机应用》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435164A (zh) * 2020-11-23 2021-03-02 浙江工业大学 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN112435164B (zh) * 2020-11-23 2024-04-30 浙江工业大学 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN112634146B (zh) * 2020-12-02 2023-09-15 四川玄光立影医疗科技有限公司 基于多种注意力机制的多通道cnn医学ct图像去噪方法
CN112634146A (zh) * 2020-12-02 2021-04-09 浙江工业大学之江学院 基于多种注意力机制的多通道cnn医学ct图像去噪方法
WO2022120737A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN112598759B (zh) * 2020-12-15 2022-09-13 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN112837244B (zh) * 2021-03-11 2022-07-22 太原科技大学 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN113205461A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 一种低剂量ct影像去噪模型训练方法、去噪方法及装置
CN113205461B (zh) * 2021-04-02 2023-07-07 上海慧虎信息科技有限公司 一种低剂量ct影像去噪模型训练方法、去噪方法及装置
CN113269256A (zh) * 2021-05-26 2021-08-17 广州密码营地科技有限公司 一种MiSrc-GAN模型的构建方法及应用
CN113538230A (zh) * 2021-06-09 2021-10-22 安徽七天教育科技有限公司 一种基于扫描试卷的图像恢复系统以及使用方法
CN113538260A (zh) * 2021-06-21 2021-10-22 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113538260B (zh) * 2021-06-21 2022-04-12 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113362250A (zh) * 2021-06-25 2021-09-07 南昌航空大学 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN113362250B (zh) * 2021-06-25 2022-03-22 南昌航空大学 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN113487506A (zh) * 2021-07-06 2021-10-08 杭州海康威视数字技术股份有限公司 基于注意力去噪的对抗样本防御方法、装置和系统
CN113487506B (zh) * 2021-07-06 2023-08-29 杭州海康威视数字技术股份有限公司 基于注意力去噪的对抗样本防御方法、装置和系统
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113554089A (zh) * 2021-07-22 2021-10-26 西安电子科技大学 一种图像分类对抗样本防御方法、系统及数据处理终端
CN113506353A (zh) * 2021-07-22 2021-10-15 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
CN113808753A (zh) * 2021-09-11 2021-12-17 中南大学 基于多损失的分解表达学习预测辅助放化疗疗效的方法
CN113808753B (zh) * 2021-09-11 2023-09-26 中南大学 基于多损失的分解表达学习预测辅助放化疗疗效的方法
CN113706419A (zh) * 2021-09-13 2021-11-26 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN113689359A (zh) * 2021-09-23 2021-11-23 上海联影医疗科技股份有限公司 一种图像伪影去除模型及其训练方法和系统
CN113689359B (zh) * 2021-09-23 2024-05-14 上海联影医疗科技股份有限公司 一种图像伪影去除模型及其训练方法和系统
CN113935467A (zh) * 2021-10-19 2022-01-14 吉林大学 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法
CN113935467B (zh) * 2021-10-19 2024-05-07 吉林大学 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法
CN116416339A (zh) * 2021-12-20 2023-07-11 西门子医疗有限公司 用于生成合成x射线图像的方法、控制单元和计算机程序
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN114998138B (zh) * 2022-06-01 2024-05-28 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN116703867A (zh) * 2023-06-09 2023-09-05 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法
CN116703867B (zh) * 2023-06-09 2023-12-08 太原理工大学 残差网络与通道注意力协同驱动下的基因突变预测方法

Also Published As

Publication number Publication date
CN111968195B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111968195B (zh) 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
Shan et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network
Wu et al. A high-quality photon-counting CT technique based on weight adaptive total-variation and image-spectral tensor factorization for small animals imaging
Kim et al. A performance comparison of convolutional neural network‐based image denoising methods: The effect of loss functions on low‐dose CT images
Kang et al. Wavelet domain residual network (WavResNet) for low-dose X-ray CT reconstruction
US10217216B2 (en) Kind of x-ray chest image rib suppression method based on poisson model
CN112598759B (zh) 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
Zhang et al. Artifact and detail attention generative adversarial networks for low-dose CT denoising
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
Yang et al. High-frequency sensitive generative adversarial network for low-dose CT image denoising
Han et al. A dual-encoder-single-decoder based low-dose CT denoising network
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
Li et al. Incorporation of residual attention modules into two neural networks for low‐dose CT denoising
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
Gunduzalp et al. 3d u-netr: Low dose computed tomography reconstruction via deep learning and 3 dimensional convolutions
Mazandarani et al. Gradient-based optimization algorithm for hybrid loss function in low-dose ct denoising
Wu et al. Unsharp structure guided filtering for self-supervised low-dose CT imaging
CN112258438B (zh) 一种基于非配对数据的ldct图像恢复方法
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
Yang et al. Abdomen MRI synthesis based on conditional GAN
Cui et al. Artifact-Assisted multi-level and multi-scale feature fusion attention network for low-dose CT denoising
Chen et al. A Total-Body Ultra-Low Dose PET Reconstruction Method via Image Space Shuffle U-Net and Body Sampling
Farhadi et al. Data augmentation of CT images of liver tumors to reconstruct super-resolution slices based on a multi-frame approach
Liu et al. 4D-CBCT reconstruction via motion compensataion learning induced sparse tensor constraint
Zhang et al. Edge-enhanced dense network based on attention for low-dose CT denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant