CN112837244B - 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 - Google Patents
一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 Download PDFInfo
- Publication number
- CN112837244B CN112837244B CN202110267452.6A CN202110267452A CN112837244B CN 112837244 B CN112837244 B CN 112837244B CN 202110267452 A CN202110267452 A CN 202110267452A CN 112837244 B CN112837244 B CN 112837244B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- noise reduction
- network
- ldct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 52
- 230000000750 progressive effect Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 30
- 239000003623 enhancer Substances 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 11
- BXBVPYSHEOQGHP-UHFFFAOYSA-N Nordihydrocapsiate Chemical compound COC1=CC(COC(=O)CCCCCC(C)C)=CC=C1O BXBVPYSHEOQGHP-UHFFFAOYSA-N 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 4
- 230000000593 degrading effect Effects 0.000 claims 1
- 230000009977 dual effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 15
- 239000003638 chemical reducing agent Substances 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000013170 computed tomography imaging Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 11
- 230000001629 suppression Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000021959 Abnormal metabolism Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009547 development abnormality Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006371 metabolic abnormality Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于CT成像技术领域，具体公开了用于低剂量CT图像降噪及去伪影的渐进式生成对抗网络，设计了双生成器嵌套子网络，该生成器包括全局特征降噪器和局部纹理特征增强器，全局特征降噪器是在全分辨率输入图像上进行特征提取，获取图像的全局特征，局部纹理特征增强器是在输入图像经下采样后的分辨率较低的图像上进行特征提取，捕获图像的局部细节特征；两者共同完成了LDCT图像降噪任务，本发明设计了一种多尺度特征提取的shuffle判别器网络，在不增加网络结构复杂度与运算时间的同时，提高了判别器的鉴别能力，增强了GAN对抗训练的稳定性与鲁棒性，解决了因噪声伪影与组织结构分布高度相似而导致的欠降噪或过降噪问题。
Description
技术领域
本发明属于CT成像技术领域，公开了一种用于高效抑制低剂量CT图像中的噪声与伪影、便于后期精确地医学诊断与分析的深度学习方法。
背景技术
自20世纪70年代计算机断层扫描成像(Computed Tomography，CT)技术问世以来，因其具有操作简单、成像速度快、灵敏度高等优点而被广泛应用于工农业生产、安全检查、生物医学成像、工业无损检测、地质学等领域。在医学诊疗领域，CT图像具有成像清晰、密度分辨率高、能够清晰地显示图像的三维信息等优点，因而广泛应用于各种先天性发育异常、炎症性疾病、代谢性病变、外伤性改变、良恶性肿瘤以及心血管疾病等检查中。在对血管性病变的诊断和显示中，为了提高对病灶的定性分析能力、肿瘤分期的准确性或判断肿瘤手术切除的可能性，有时还需要进行动态增强扫描。为了随时掌握自身健康状况，定期健康检查更是必不可少。
然而，重复的CT扫描检查使得受检者接收X射线的辐射伤害的风险增加，易导致受检者余生遭受免疫力功能下降、新陈代谢异常、生殖器官受损、患白血病、癌症与遗传性疾病等风险增加。由于体质弱于成年人，儿童遭受的辐射伤害更大。在ALARA(As Low AsReasonably Achievable)原则指导下，研究人员的研究兴趣主要集中在低剂量CT(Low-dose CT，LDCT)成像技术的改善方面。
一般可分为三类：投影域方法、重建方法、后处理方法。由于后处理方法是在图像域进行操作，不依赖于原始投影数据，可移植性较强，便于推广，已经成为LDCT成像领域的热点研究方向。在深度学习被广泛应用之前，已经出现了一些比较成熟的后处理方案：如非局部均值(Non-local means,NLM)及其改进方法、三维块匹配滤波(Block Matching 3D,BM3D)算法、基于字典学习与稀疏表示的LDCT降噪算法。这些传统算法可以实现简单的图像降噪任务，然而在伪影与结构高度相似的LDCT图像的低密度区，降噪效果仍不够理想。
发明内容
为解决现有技术存在的网络复杂度高、参数量多、训练过程不稳定的技术问题，本发明提供了一种能够实现快速高效LDCT图像降噪的深度学习方法，该方法能够在不增加网络复杂度与运算时间的前提下实现比较好的伪影噪声抑制与细节保留效果。
为实现上述目的，本发明所采用的技术方案为：一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，包括如下内容：
1、建立LDCT图像降噪模型：
降噪模型能够建立NDCT、LDCT与伪影和噪声之间的相互关系，本渐进式生成对抗网络采用的降噪模型是加性模型，具体表达式为：
X＝T(Y) 1-1
X＝Y+N 1-2
Y＝X-N 1-3
式1-1为NDCT图像的降质过程，其中，X∈Rc×h×w表示LDCT图像，Y∈Rc×h×w表示与之对应的NDCT图像，T表示X与Y之间的函数映射关系，体现了NDCT以非线性的形式退化为LDCT的降质过程；T在不同的应用场景中可以表示不同的含义，如果是在图像去模糊领域，T表示不同形式的模糊核操作，如果是在图像超分辨率领域，T则表示图像降采样操作，因此，此处的T更准确地说是包含获取LDCT图像过程中产生的所有影响图像质量的因素。
式1-2为模拟的LDCT图像生成过程，其中，N表示噪声与伪影，通过人为在NDCT图像中加入噪声，最终产生了LDCT图像。
式1-3为从LDCT图像中恢复原始的NDCT图像的过程。
2、渐进式生成对抗网络中双生成器嵌套子网络的设计：
双生成器嵌套子网络的主要特点在于将LDCT图像降噪问题分解为两个子问题，噪声抑制与结构保留。众所周知，图像的分辨率越高，图像中所含的信息越丰富，图像质量也越高，但是图像的上下文信息较少，感受野小；将图像通过下采样的方式进行数据降维，能够减少网络需要学习的参数量，提高网络的计算效率，增加感受野，但是同时也存在图像分辨率下降，细节丢失的问题。为了尽可能兼顾分辨率与感受野之间的关系，考虑到LDCT图像中包含丰富的组织器官边缘，纹理特征以及大量干扰医学诊断的噪声和伪影，本设计将生成器分为两个模块，全局特征降噪器与局部纹理特征增强器。
3、双生成器嵌套子网络中全局特征降噪器的设计：
为了提高网络的降噪性能，本设计从全局特征与局部特征角度出发，同时考虑了噪声伪影抑制与细节修复两种因素，在编解码结构的基础上嵌入了局部纹理特征增强子模块，提出了全局特征降噪器网络。该网络的输入是原始图像，通过自适应特征校准网络将原始图像的浅层特征与局部纹理特征增强器获得的纹理特征进行融合，并送入全局特征降噪器网络的主干部分进行LDCT图像降噪与细节恢复。
4、双生成器嵌套子网络中局部纹理特征增强器的设计：
由于U-Net网络在编码过程中采用了降采样操作，使得降噪后的图像往往会丢失CT图像的部分结构。为了解决这一问题，本发明在此基础上嵌入了局部纹理特征增强器，增加了纹理特征作为补充，用来缓解因多次降采样操作而导致的图像细节丢失、降噪结果过度平滑的问题。局部纹理特征增强器的输入是原始图像经下采样后分辨率降低为原始图像尺寸1/2的图像，经6层编解码结构后输出分辨率为输入图像尺寸1/2的纹理特征图。
5、shuffle判别器的设计：
为了增加网络多尺度特征提取的能力，现有的网络结构往往采取不同尺寸的卷积核或者池化核、不同空洞率因子的空洞卷积进行特征提取。然而，这些操作存在的最大问题在于容易造成特征丢失或者新特征产生等问题。为了解决这一问题，利用shuffle操作能够在不增加网络参数量、不增加计算复杂度、不丢失信息的情况下实现特征之间的信息共享、改变图像分辨率的优点，本发明提出了一种快速高效的多尺度特征提取网络shuffle判别器。shuffle判别器通过分别提取NDCT与降噪后的CT图像的多尺度特征，进而达到提高判别器的鉴别能力与生成器的降噪能力的目的。
6、对渐进式生成对抗网络设计对应的损失函数：
为了解决生成对抗网络固有的训练不稳定性缺陷，本发明选取了最小二乘损失函数作为对抗损失，一定程度上缓解了训练难题。
7、对全局特征降噪器设计对应的像素级L1损失：
本发明选取了传统的像素级L1损失来约束全局特征降噪器，用来实现基本降噪功能。
L1损失为：
8、对局部纹理特征增强器设计对应的纹理损失：
本发明利用NDCT经Gabor滤波器特征提取后的纹理特征作为局部纹理特征增强器网络的约束条件，指导局部纹理特征增强器网络进行特征学习，尽可能地输出接近NDCT纹理特征的图像。
本发明的具体图像处理步骤如下：
一、选择LDCT图像降噪模型，构建成对LDCT图像与NDCT图像数据集；
二、将LDCT图像输入双生成器嵌套子网络中，双生成器嵌套子网络包括全局特征降噪器与局部纹理特征增强器，通过局部纹理特征增强器提取图像的局部纹理特征，通过全局特征降噪器的前端网络提取图像的全局特征，将局部纹理特征与全局特征相加，作为自适应特征校准网络的输入，经自适应特征校准网络进行特征校准后，网络会输出更具表征能力、更加丰富的特征，将这些特征经全局降噪器进行处理，最终输出降噪结果图；
三、分别采用基于最小二乘思想的对抗损失与全局损失函数对降噪结果图进行约束，采用纹理损失对局部纹理特征增强器的输出结果进行约束；
四、将NDCT图像与降噪结果图共同输入shuffle判别器子网络中迭代训练；
五、输出最终降噪结果图。
本发明与现有技术相比，具体有益效果体现在：
一、本发明在不破坏图像原有结构的前提下改善了重构图像的质量，速度快，网络参数少，成本低，可推广性好；
二、本发明通过设计双生成器嵌套子网络，对LDCT图像的全局特征与局部特征进行了有效融合，增加了特征提取的丰富性，最终实现了LDCT图像降噪任务；
三、本发明采用shuffle判别器，shuffle判别器利用shuffle操作能够在不丢失图像特征的情况下，将尺度不同的卷积核所提取的特征融合后再次送给尺度不同的卷积核进行下一层特征提取，在不增加网络复杂度的同时提高了判别器网络对多尺度特征表达的能力，从而提升了判别器鉴别能力。
附图说明
图1为渐进式GAN降噪网络的整体框架示意图。
图2为双生成器嵌套子网络的结构示意图。
图3为自适应特征校准网络的结构示意图。
图4为shuffle判别器网络的结构示意图。
图5为八种降噪方法(三种对比算法，四种消融网络与本文算法)对胸部LDCT图像的降噪结果示意图。
图6为四种消融网络与本文算法在piglet数据集上对不同剂量LDCT图像的降噪结果示意图。
图7为五种算法在图5中三个ROI的定量比较，其中，图7(a)为五种算法的SSIM值降噪结果比较图，图7(b)为五种算法的PSNR值降噪结果比较图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，以GAN网络作为主框架，提出了一种包含全局特征降噪器与局部纹理特征增强器的渐进式生成对抗网络，用于解决低剂量CT图像中的伪影抑制。
如图1所示，降噪网络整体框架分为2个子网络：双生成器嵌套子网络与shuffle判别器子网络。首先，将含有大量伪影和噪声的LDCT图像输入全局特征降噪器与局部纹理特征增强器中，可以得到LDCT图像的全局特征以及局部纹理特征；其次，将获取的全局特征以及局部纹理特征共同输入自适应特征校准网络(该网络会根据输入特征之间的内在关联，自适应地在每个像素周围建立远距离空间与通道之间的相互依赖关系，帮助卷积神经网络提取更具有判别能力的特征，提高特征的丰富性)中进行特征融合，并将融合后的结果反馈给全局特征降噪器，输出初步降噪结果；然后将初步降噪结果和与之对应的NDCT图像共同输入shuffle判别器子网络中，判别器通过对输入图像的真伪加以鉴别，指导生成器输出质量更优的降噪结果，与此同时，判别器自身的鉴别能力也随之增强；最后，通过生成器与判别器的博弈对抗训练，基于最小二乘思想的对抗损失与像素级L1损失的共同约束，指导网络的参数优化过程，直到生成器的降噪能力和判别器的鉴别能力达到平衡，网络收敛停止训练，此时生成器的输出最接近NDCT，最终实现了LDCT图像降噪的目的。
如图2所示，考虑到LDCT图像中包含分布复杂的伪影噪声等干扰信息、结构丰富的人体正常软组织结构、医学诊疗病理等有用信息，如果仅通过一步降噪容易导致噪声伪影抑制与有用信息保留效果不佳。为了解决这一问题，本发明提出了一种包含全局特征降噪器与局部纹理特征增强器的双生成器嵌套子网络，用来提高降噪网络对干扰信息与有用信息的敏感度，进而能够提取更加丰富的特征。
具体的，首先将LDCT图像输入全局特征降噪器的前端网络中来提取输入图像的浅层特征，如边缘，其中前端网络是由2个卷积核大小为4×4的卷积层组成；其次，通过降采样操作将输入的LDCT图像变为原始图像的1/2，并将变换后的结果送入局部纹理特征增强器中，用来提取图像的局部纹理特征：局部纹理特征增强器是由6层编解码结构构成，编码端第一层采用卷积核大小为5×5、步长为1的卷积层，后5层均采用卷积核大小为4×4、步长为2的卷积层进行特征编码，编码结束后，通过跨层连接将编码端特征并入到对应的解码端进行特征重构，其中解码端采用与编码端相同的卷积核设置；随后，将局部纹理特征增强器的倒数第二层的特征与全局特征增强器的浅层特征相加后输入到自适应特征校准网络中进行特征的筛选与融合：自适应特征校准网络是由两个卷积核大小分别为3×3与5×5的自校准卷积网络构成，如图3所示，自校准卷积网络的工作机理如下：
(1)将尺寸为C×H×W的特征图X拆分为2个尺寸为C/2×H×W的特征图X1与X2；
(2)将维度为C×C×H×W的卷积核C分解为4个维度均为C/2×C/2×H×W的卷积核，分别记为C1，C2，C3和C4；
(3)为了充分捕获图像每个空间位置的上下文信息，利用下采样后特征具有较大的感受野，将特征图在原始尺度空间和下采样后的具有较小分辨率的潜在空间中进行特征转换，即对特征图X1先经过平均池化进行下采样，再经过双线性插值进行上采样，并与原始尺度空间特征相加，经Sigmoid激活函数后得到一个校准概率，最后将校准概率与C3卷积核提取的特征相乘进行校准，得到最终输出特征Y1；
(4)将特征图X2经卷积核C4进行特征提取，输出特征Y2；
(5)将特征图Y1与Y2进行拼接，得到最终输出特征Y；
在基于生成对抗网络的降噪算法的设计中，判别器性能的好坏也间接影响了降噪图像的质量。考虑到LDCT图像中噪声与伪影的分布特征，且受inception模块启发，本发明对判别器也进行了针对性设计，通过将shuffle操作(shuffle操作是一种在不增加网络参数、不损失图像信息的前提下，能够快速实现特征分辨率降低的方法：以1/2shuffle操作为例，输入尺寸为H×W×C的特征图，先按行(或按列)遍历图像，提取图像的奇数行和列或偶数行和列的特征像素值，再把其余的特征像素值在特征维度上进行拼接，最终输出尺寸为((H/2)×(W/2)×4C)的特征图)引入判别器的设计中，提出了一种能够快速提取图像特征的shuffle判别器。
如图4所示，该网络第一层由卷积核大小为4×4，步长为2的卷积层组成，卷积层后增加了LeakyReLU激活函数；第二层由3个shuffle模块组成，目的是通过调整输入特征图的感受野与分辨率，快速提取输入特征的多尺度特征，进而提高判别器的尺度敏感性；第三层采用卷积核大小为4×4，步长为2的卷积操作，卷积层后加入了Sigmoid激活函数来对输入图像的真伪进行鉴别。
shuffle模块的具体结构如图4右侧虚线框所示，首先采用1/2shuffle操作来降低图像分辨率，增加感受野，促进通道特征之间的相互交流；其次分别采用卷积核大小为1×1、3×3与5×5的卷积层实现多尺度特征提取；最后再将3个卷积层的输出特征进行级联，并通过1×1卷积进行特征降维。
shuffle判别器通过增加shuffle操作来调整输入特征图的尺寸，并用卷积核大小不同的卷积层进行特征提取，增加了判别器的尺度敏感性，提升了判别器的特征提取与鉴别能力。
为了保障降噪网络的性能，本发明共设计了3种损失：基于最小二乘思想的对抗损失、用于约束全局降噪器性能的像素级L1损失和用于约束局部纹理特征增强器的纹理损失。具体如下公式所示：
(1)针对全局特征降噪器，设计了像素级L1损失用来约束降噪结果的整体性能：
其中，
表示降噪结果图，Y表示NDCT图像。
(2)针对局部纹理特征增强器，设计了纹理损失用来约束局部纹理特征：
其中，
表示局部纹理特征增强器提取的纹理特征，T表示NDCT图像的纹理特征。
(3)针对生成对抗网络，设计了对抗损失用来改善降噪效果与增加生成对抗网络训练稳定性。
整体损失函数表示为：
D：
G：
其中，E表示求数学期望，D和G分别表示判别器和生成器，X表示LDCT图像，Y表示相应的NDCT图像，Lpixel和Ltexture分别表示像素级L1损失与纹理损失，λ1和λ2分别表示像素级L1损失与纹理损失的权重。如图5所示，比较不同降噪算法对胸部LDCT图像的降噪结果在纹理细节、信息保留程度和噪声伪影移除方面的表现情况，本发明的降噪结果视觉效果最佳，条形伪影的抑制效果非常好。
如图6所示，比较消融降噪网络对真实数据集piglet在不同剂量下的降噪结果与NDCT在整体降噪效果、噪声伪影抑制情况，本发明算法具有较强的鲁棒性，能够适应不同剂量的LDCT图像降噪问题，且降噪效果优异。
如图7所示，比较不同降噪算法在三个ROI内的量化表现可以发现，本文算法降噪结果的SSIM和PSNR值在四种算法中均是最高的，这也进一步证明了本文算法的优越性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。
Claims (7)
1.一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，具体步骤如下：
一、选择LDCT图像降噪模型，构建成对LDCT图像与NDCT图像数据集；
二、将LDCT图像输入双生成器嵌套子网络中可输出一幅接近NDCT的降噪结果；
所述双生成器嵌套子网络是由全局特征降噪器与局部纹理特征增强器两部分组成：将全分辨率图像输入到全局特征降噪器网络中进行特征提取，捕捉图像的全局特征；将降采样后的图像输入到局部纹理特征增强器中进行特征提取，并通过纹理损失函数协同作用来约束局部纹理特征增强器的输出，最终捕获图像的局部纹理细节；
三、NDCT图像与步骤二中得到的降噪结果图共同输入shuffle判别器网络中，判别器对其真伪进行判断，进而指导生成器进行参数优化，生成器与判别器进行交替迭代训练；
四、直到在生成器与判别器相互训练过程中，两者的能力趋于平衡，输出最终降噪结果图。
2.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，步骤一中的LDCT图像降噪模型为加性模型，具体表达式为：
X＝T(Y) 1-1
X＝Y+N 1-2
Y＝X-N 1-3
式1-1为NDCT图像的降质过程，其中，X∈Rc×h×w表示给定的LDCT图像，Y∈Rc×h×w表示与之对应的NDCT图像，T表示X与Y之间的函数映射关系，体现了NDCT图像以非线性的形式退化为LDCT图像的降质过程；
式1-2为模拟的LDCT图像生成过程，其中，N表示噪声与伪影，通过人为在NDCT图像中加入噪声，最终产生了LDCT图像；
式1-3为从LDCT图像中恢复原始的NDCT图像的过程。
3.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，采用NDCT图像经Gabor滤波器提取的纹理细节特征图作为约束，指导局部纹理特征增强器的训练过程。
4.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，设计了一种自适应特征校准结构。
5.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，设计了一种纹理损失函数，用来约束局部纹理特征增强器的输出结果。
6.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，步骤三所述的shuffle判别器是一种多尺度特征融合网络，由浅层特征变换模块、3个shuffle模块与深层特征变换模块三部分组成：
浅层特征变换模块由卷积核大小为4×4、步长为2的卷积操作组成，卷积层后增加了LeakyReLU激活函数；
shuffle模块包括shuffle操作、卷积核大小分别为1×1、3×3与5×5的不同感受野的卷积操作和基于1×1的特征降维操作；
深层特征变换模块是由卷积核大小为4×4、步长为1的卷积操作组成，卷积层后增加了Sigmoid激活函数。
7.根据权利要求1所述的一种基于渐进式生成对抗网络的低剂量CT图像降噪及去伪影方法，其特征在于，设计了全局像素级L1损失函数和基于最小二乘思想的对抗损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267452.6A CN112837244B (zh) | 2021-03-11 | 2021-03-11 | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267452.6A CN112837244B (zh) | 2021-03-11 | 2021-03-11 | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837244A CN112837244A (zh) | 2021-05-25 |
| CN112837244B true CN112837244B (zh) | 2022-07-22 |
Family
ID=75929979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110267452.6A Active CN112837244B (zh) | 2021-03-11 | 2021-03-11 | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837244B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538257B (zh) * | 2021-06-15 | 2022-07-22 | 复旦大学 | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 |
| CN113379868A (zh) * | 2021-07-08 | 2021-09-10 | 安徽工程大学 | 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法 |
| CN114548156B (zh) * | 2022-01-24 | 2023-05-12 | 成都理工大学 | 基于降采样和卷积神经网络的分布式光纤测温降噪方法 |
| CN114841882A (zh) * | 2022-04-29 | 2022-08-02 | 北京鼎事兴教育咨询有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN114663318B (zh) * | 2022-05-25 | 2022-08-30 | 江西财经大学 | 基于生成对抗网络的眼底图像生成方法与系统 |
| CN117391984B (zh) * | 2023-11-02 | 2024-04-05 | 中国人民解放军空军军医大学 | 一种提升cbct影像质量的方法 |
| CN118587683B (zh) * | 2024-08-05 | 2024-12-31 | 中国第一汽车股份有限公司 | 自动驾驶障碍物识别方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140004433A (ko) * | 2012-07-02 | 2014-01-13 | 충남대학교산학협력단 | 저선량 엑스선 콘빔 시티 촬영장치 |
| CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
| CN111861910A (zh) * | 2020-06-29 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种ct图像降噪系统及方法 |
| CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017080847A1 (en) * | 2015-11-10 | 2017-05-18 | Koninklijke Philips N.V. | Method for automatic optimization of quantitative map generation in functional medical imaging |
| KR102220029B1 (ko) * | 2018-10-12 | 2021-02-25 | 한국과학기술원 | 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 |
-
2021
- 2021-03-11 CN CN202110267452.6A patent/CN112837244B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140004433A (ko) * | 2012-07-02 | 2014-01-13 | 충남대학교산학협력단 | 저선량 엑스선 콘빔 시티 촬영장치 |
| CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
| CN111861910A (zh) * | 2020-06-29 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种ct图像降噪系统及方法 |
| CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
Non-Patent Citations (1)
| Title |
|---|
| 用于低剂量CT图像去噪的递归残差编解码网络;刘文斌 等;《太原科技大学学报》;20200831;第41卷(第4期);第323-327页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837244A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112837244B (zh) | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 | |
| CN112598759B (zh) | 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 | |
| CN110827216B (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| CN111667424B (zh) | 一种基于无监督的真实图像去噪方法 | |
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN116739899B (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN110517198B (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| CN114548265A (zh) | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 | |
| CN113191968B (zh) | 三维超声图像盲去噪模型的建立方法及其应用 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN115953317A (zh) | 图像增强方法、装置、电子设备及存储介质 | |
| CN118396853A (zh) | 一种基于生成式对抗网络的图像超分辨率重构方法 | |
| CN116596785A (zh) | 基于纹理特征引导的纹理保持低剂量ct图像去噪 | |
| Yue et al. | Deep pyramid network for low-light endoscopic image enhancement | |
| Liu et al. | MRCON-Net: Multiscale reweighted convolutional coding neural network for low-dose CT imaging | |
| Li et al. | Multi-scale feature fusion network for low-dose CT denoising | |
| KR20220071554A (ko) | 의료 영상 융합 시스템 | |
| Kim et al. | Unsupervised image denoising with frequency domain knowledge | |
| CN109658464B (zh) | 基于加权核范数极小的稀疏角ct图像重建方法 | |
| CN116563554A (zh) | 基于混合表征学习的低剂量ct图像去噪方法 | |
| Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |