CN113538257A - 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 - Google Patents
一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 Download PDFInfo
- Publication number
- CN113538257A CN113538257A CN202110657818.0A CN202110657818A CN113538257A CN 113538257 A CN113538257 A CN 113538257A CN 202110657818 A CN202110657818 A CN 202110657818A CN 113538257 A CN113538257 A CN 113538257A
- Authority
- CN
- China
- Prior art keywords
- discriminator
- image
- domain
- dose
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008485 antagonism Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013185 thoracic computed tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于医学影像分析技术领域，具体为一种基于双域U‑net判别器的生成对抗低剂量CT去噪方法。本发明以U‑Net判别器来学习正常剂量图像和生成图像在图像域和生成域之间的全局和局部差异；该判别器通过全局输出向去噪网络提供逐像素反馈，通过中间层在语义层面使去噪网络关注全局结构；图像梯度域中应用该判别器，以减轻低剂量CT中的伪影，增强去噪CT图像的边缘；使用CutMix技术使判别器逐像素输出，为放射科医生提供置信度图，以避免可视化去噪结果的不确定性，促进低剂量CT的筛查和诊断；本发明可有效提高去噪低剂量CT的质量，使生成的图像清晰度更高，具有更丰富的边缘并减小伪影的影响，提高医学影像分析过程中的准确度。
Description
技术领域
本发明属于医学影像分析技术领域，具体涉及一种低剂量CT去噪方法。
背景技术
由于CT相关X射线辐射对患者的潜在健康风险，低剂量计算机断层扫描在医学成像领域引起了广泛关注。然而，减少辐射剂量会降低重建图像的质量，从而影响诊断性能。在过去几年中，各种深度学习技术，特别是生成对抗网络(GAN)被引入，通过去噪来提高低剂量CT图像的图像质量，取得了优于传统方法的令人印象深刻的结果。基于GAN的去噪方法通常利用额外的分类网络，即鉴别器，来学习去噪和正常剂量图像之间最具辨别力的差异，从而相应地对去噪模型进行正则化；然而这些方法通常只侧重于全局结构或局部细节。
根据目前的文献，低剂量CT的去噪算法可以归纳为三类：1)正弦图滤波；2)迭代重建；3)图像后处理。低剂量CT与正常剂量CT的显着区别在于低剂量CT从扫描仪获取噪声正弦图数据。一个直接的解决方案是在图像重建之前对正弦图数据进行去噪处理，即基于正弦图过滤的方法[1][2][3]。迭代重建方法结合了sinogram域中原始数据的统计[4]和图像域中的先验信息，如全变分[5]和字典学习[6]；这些通用信息可以有效地集成到最大似然和压缩感知框架中。然而，这两种方法需要访问商业CT扫描仪通常无法提供的原始数据。
深度学习技术的飞速发展推动了医学分类、分割、重建、放疗等诸多医学应用.在低剂量CT去噪方面，基于深度学习的模型取得了骄人的成绩[7][8][9][10][11][16][18]。设计基于深度学习的去噪模型有两个关键组成部分：网络架构和损失函数；前一个决定去噪模型的能力，而后一个控制去噪图像的视觉效果。虽然文献已经提出了几种不同的低剂量CT去噪网络架构，例如2D CNN[7]、3D CNN[8][9]、RED-CNN[18]和级联CNN[11]，文献[8]表明损失函数比网络架构起着更重要的作用，因为它直接影响图像质量。最简单的损失函数是均方误差，然而它已被证明与人类对图像质量的感知相关性很差[12][13]。鉴于这一观察结果，已经研究了用于低剂量CT去噪的替代损失函数，例如感知损失、l1损失、对抗性损失或混合损失函数。其中，对抗性损失已被证明是一种强大的损失，因为它可以在训练期间动态测量去噪图像和正常剂量图像之间的相似性，这使得去噪图像能够保留更多来自正常剂量图像的纹理信息。对抗性损失反映了全局或局部相似性，这取决于鉴别器的设计。与前两类不同，图像后处理方法直接对去除患者隐私后公开可用的重建图像进行操作。然而，诸如非局部均值[14]和块匹配[15]等传统方法会导致一些关键结构细节的丢失，并导致去噪低剂量CT图像过度平滑。
与传统的对抗性损失不同，本发明使用的对抗性损失是基于U-Net的鉴别器，它可以同时表征去噪和正常剂量图像之间的全局和局部差异，更好地规范去噪模型。除了图像域中的对抗性损失，本文提出的图像梯度域中的对抗性损失可以条纹伪影，增强去噪图像的边缘。
发明内容
本发明的目的在于提出一种能够有效提高去噪低剂量CT的质量，从而提高医学影像分析准确度的低剂量CT去噪方法。
本发明提供的低剂量CT去噪方法，是基于GAN的双重U-Net鉴别器技术的，即以U-Net判别器[17]替代GAN框架中的鉴别器，来学习正常剂量图像和生成图像在图像域和生成域之间的全局和局部差异。这种U-Net判别器的优点在于，不仅可以通过U-Net的全局输出向去噪网络提供逐像素反馈，还可以通过中间层在语义层面使去噪网络关注全局结构；除了图像域中的对抗训练，本发明还在图像梯度域中应用另一个基于U-Net的判别器，以减轻低剂量CT中由于金属等引起的伪影，并增强去噪CT图像的边缘；此外，奔赴没还使用CutMix技术，使基于U-Net的鉴别器的逐像素输出，能够为放射科医生提供置信度图，以避免可视化去噪结果的不确定性，促进基于低剂量CT的筛查和诊断。本发明通过模拟和真实数据上的大量实验，在定性和定量方面都证明了它的优越性能。
本发明提供的基于双域U-net判别器的生成对抗低剂量CT去噪方法，具体步骤如下。
(1)首先，针对低剂量CT存在大量噪声降低了诊断质量的问题，同时直接使用深度学习方法训练得到的图像比较模糊，本发明首先采用生成器对抗网络对低剂量CT去噪，以提高图像质量；
所述去噪的过程是学习一个生成器模型G[18]的过程，该生成器模型G映射一张大小为w×h的低剂量CT图像ILD到它的正常剂量CT对应物IND，来去除低剂量CT中的噪声图像，ILD∈Rw×h，IND∈Rw×h；
Rw×h表示w×h实数空间，w和h分别表示图像的宽和高；
因此，基于GAN的方法利用GAN来提高去噪LDCT图像的视觉质量，这要归功于GAN在生成高质量图像方面的强大能力；与传统的GAN使用噪声向量生成图像不同，本发明的生成器作为去噪模型，将低剂量CT图像作为输入；整个去噪过程可以建模为：
Iden＝G(ILD)≈IND； (1)
Iden是去噪后的图像(denoised image)
经过步骤(1)去噪处理的低剂量CT图像，分别进入图像域分支和梯度域分支，作进一步处理。
(2)在图像域分支，基于GAN的框架下，针对传统的分类鉴别器无法捕捉全局和局部图像差异的问题，本发明使用U-Net判别器替换掉传统的分类鉴别器，来捕捉全局和局部图像差异；U-Net判别器的结构介绍如下：
为了学习可以表示全局和局部差异的数据表征，本发明设计了一个基于GAN的低剂量CT去噪框架来处理低剂量CT去噪；传统上的U-Net包含一个编码器、一个解码器和几个跳过连接，将特征映射从编码器复制到解码器以保留高分辨率特征；本发明调整了U-Net判别器的网络结构，并替换GAN中的标准分类鉴别器，使鉴别器具有U-Net结构；该U-Net判别器可以同时维护全局和局部数据表示；附图2详细说明了基于U-Net的鉴别器和传统分类鉴别器架构上的区别；传统的判别器只能从全局或者局部来判断图像的真假，而基于U-net的判别器可以同时实现全局和局部的真假判断，在低剂量CT去噪中，可以有效提升影像质量。
具体来说，本发明使用Dimg来表示图像域中U-Net判别器。Dimg中的编码器
遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文。Dimg中的解码器
使用来自编码器
的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力。此外，判别器损失是根据
和
的输出计算的，而传统鉴别器只将来自编码器的输入分为真假。
于是，U-Net判别器可以向生成器提供更多反馈信息，包括局部每像素和全局结构信息。本发明使用最小二乘GAN而不是传统的GAN作为鉴别器的损失函数来稳定训练过程并提高去噪结果的视觉质量；形式上，损失函数可以写成：
其中，1是最小二乘GAN的决策边界，Iden为去噪后图像，IND为正常剂量图像，
为图像域判别器的编码器，
为图像域判别器的解码器；E表示期望，
表示对应于IND的期望(下面同，即带下标的E，表示对于该下表所代表量的期望)；
为判别器图像域的损失函数。
(3)由于图像领域的GAN无法生成更好的边缘来保持原始正常剂量CT图像的病理变化，减轻低剂量CT中的伪影，本发明增加一个额外的梯度域分支，用于去除伪影，使边缘更清晰；
具体说明如下：
参考图3所示，由于CT图像中的条纹和边缘在其水平和垂直梯度中更加突出显示出来，而在图像中很难分辨出；因此，本发明首先使用索贝尔算子估计梯度，作为一个额外的梯度分支，和图像域分支同时存在；这样可以鼓励生成的去噪图像有更好的边缘信息并减轻条纹伪影；类似于图像域分支中的U-Net判别器结构，用Dgrd表示梯度域中的判别器,
定义表示梯度域中的判别器损失。
具体来说，本发明使用Dgrd来表示梯度域中U-Net判别器。Dgrd中的编码器
遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文。Dgrd中的解码器
使用来自编码器
的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力。此外，判别器损失是根据
和
的输出计算的，而传统鉴别器只将来自编码器的输入分为真假。
于是，U-Net判别器可以向生成器提供更多反馈信息，包括局部每像素和全局结构信息。本发明使用最小二乘GAN而不是传统的GAN作为鉴别器的损失函数来稳定训练过程并提高去噪结果的视觉质量。形式上，损失函数可以写成：
其中，1是最小二乘GAN的决策边界，Iden为去噪后图像，IND为正常剂量图像，
为梯度域判别器的编码器，
为图像域判别器的解码器；E表示期望；
为判别器梯度域的损失函数,
为索贝尔算子，用来获取影像梯度信息。
所以，双域的判别器损失函数可以写为：
(4)随着训练的进行，判别器Dimg在识别真实和假样本之间局部差异方面的能力下降，这可能会意外地损害去噪性能；此外，判别器需要关注全局级别的结构变化和像素级别的局部细节；为此，本发明进一步采用CutMix增强技术对判别器进行正则化，使判别器能够学习真假样本之间的内在差异，即CutMix增强技术是从生成图像中切出一块，并将其粘贴到另一个图像中，从而生成新的训练图像；具体表达如下：
其中，M∈{0,1}w×h，是控制如何混合正常剂量CT和去噪图像的二进制掩码，
表示元素乘法，IND为正常剂量图像，Iden为去噪后的图像，Imix表示二者通过M混合后的影像。
因为CutMix操作破坏了正常剂量CT图像的全局上下文，混合样本应该被编码器
视为全局水平的假样本；否则，在GAN的训练过程中，CutMix可能会引入去噪的低剂量CT图像，从而导致无关的去噪结果；类似地，
应该能够识别混合区域，为生成器提供准确的逐像素反馈；因此，CutMix的正则化损失可以表示为：
其中，CutMix中使用的M也是
的标签，
表示对应于Imix的期望；
此外，为了惩罚判别器的输出与CutMix操作后的像素预测一致，本发明进一步引入了另一个一致性损失对判别器进行正则化，可以写成：
其中，‖·‖F代表Frobenius范数,‖·‖2表示L2范数。
这两种“损失”可以选择性使用，增加模型的效果。
本发明使用的CutMix增强技术，具体流程如下：
(4.1)从beta分布Beta(1,1)中采样组合比r，然后从均匀采样裁剪区域的边界框的左上角坐标IND到Iden，确保r比率；
(4.2)使用概率pmix来控制是否对每个小批量样本应用CutMix正则化技术；具体地，可以将pmix设置为0.5；附图4展示了Dimg使用CutMix正则化技术的视觉效果。
(5)最后，遵循GAN框架，训练生成器，并进行低剂量CT去噪，整个框架包含基于U-Net的判别器同时关注全局结构和局部细节，额外的梯度分支鼓励更好的边界和细节。仔细设计了生成器和基于U-Net的鉴别器的网络架构。
其中，使用的具体网络结构和损失函数如下：
本发明中，使用RED-CNN作为生成器(即步骤(1)中生成器)，即该生成器包括堆叠的10个卷积层，每个层都有32个卷积和ReLU激活函数。
本发明中，在图像域和梯度域中都有独立的判别器(即步骤(2)和步骤(3)中的两个判别器)，每个判别器都遵循U-Net架构。具体来说，编码器
有6个下采样残差块，卷积数量分别为：64,128,256,512,512,512。在
的底部，使用全连接层输出全局置信度分数。类似地，解码器
以相反的顺序使用相同数量的残差块来处理双线性上采样的特征和相同分辨率的残差，然后是1×1卷积层以输出逐像素置信度图。两个独立的判别器的结构是一样的；用在不同的域，优化的损失函数有差别。
关于于损失函数，为了鼓励生成器输出与具有像素级和梯度级的正常剂量CT图像匹配的去噪CT图像，本发明在正常剂量CT图像和去噪CT图像之间采用对抗损失、像素级损失。
其中，对抗损失是固定双域判别器而得到的损失函数，可以写成：
像素级损失包括每个分支的像素损失Limg和梯度损失Lgrd。梯度损失可以鼓励在像素级别更好地保留边缘信息。这两个损失可以写成：
最终的损失函数则为以上损失函数的加权。具体而言，生成器的优化损失可以写成：
LG＝λadvLadv+λimgLimg+λgrdLgrd； (11)
其中，λadv,λimg,λgrd为超参数，控制各损失函数之间的权重。
双域判别器的损失函数为：
LD＝LDdud+Lreg+Lcon； (12)
训练过程生成器和判别器为交替训练。
本发明可有效提高去噪低剂量CT的质量，使生成的图像清晰度更高，具有更丰富的边缘并减小伪影的影响，最终提高医学影像分析过程中的准确度。
本发明通过模拟和真实数据上的大量实验，在定性和定量方面都证明了它的优越性能。
附图说明
图1为本发明的模型整体框架。
图2为传统分类鉴别器和基于U-Net的判别器的结构对比。
图3为梯度域可视化低剂量CT金属伪影的效果图。
图4为CutMix技术、全局和逐像素置信度的可视化。
图5为本发明和其他方法在多个数据集上去噪效果上的对比。
具体实施方式
介绍了本发明的算法原理和具体步骤之后，下面展示该发明在真实数据和模拟数据上的去噪效果和其他方法的对比，包括去噪的质量和量化指标。
本发明所用的模拟数据集最初是为了2016NIHAAPM-Mayo Clinic Low-Dose CTGrand Challenge准备，它以不同的模拟低剂量提供来自身体三个区域的扫描：正常剂量的头部为25％，腹部为25％，胸部为10％。本发明使用了25％的腹部和10％的胸部数据集，分别命名为Mayo-25％和Mayo-10％。本发明使用了腹部CT，以便与更多以前的工作进行比较，也对胸部CT进行了实验，因为与腹部正常剂量25％相比，胸部正常剂量10％更具有挑战性。对于每个数据集，本发明随机选择20名患者进行训练，另外20名患者进行测试；训练和测试之间没有身份重叠。具体来说，分别从每组随机选择300K和64K图像块。本发明所用的真实数据集来自[16]的真实世界数据集包括通过GE扫描仪(Discovery CT750 HD)获得的死猪的850个CT扫描。该数据集提供了正常剂量、50％、25％、10％和5％剂量的CT扫描，大小为512×512，其中708个用于训练，剩下的用于测试。本发明在5％低剂量CT上评估了该发明，因为它是最具挑战性的剂量，其中数据集被命名为Piglet-5％。分别随机选择了60K、12K的图像块进行训练和测试。
实验中，采用峰值信噪比(PSNR)均方根误差(RMSE)和结构相似性(SSIM)三个指标来度量实验效果，PSNR的定义方式为：
RMSE的定义方式为：
SSIM的定义方式为：
PSNR和RMSE代表了算法在去噪结果和正常剂量CT之间像素级别的匹配，SSIM则代表了两者结构上的相似性。
实验例1：算法的量化性能表现
表1：不同方法在两个模拟数据集和一个真实数据集的测试集上的定量比较:PSNR/RMSE/SSIM。
| 方法 | Mayo-5％ | Mayo-25％ | Piglet-5％ |
| 低剂量CT | 14.6382/0.1913/0.6561 | 31.5517/0.0283/0.8639 | 28.7279/0.0395/0.8587 |
| RED-CNN | 23.1388/0.0721/0.7249 | 34.5740/0.0196/0.9236 | 26.9691/0.0450/0.9318 |
| WGAN-VGG | 20.3922/0.0992/0.7029 | 33.2910/0.0226/0.9092 | 30.3787/0.0318/0.9232 |
| CPCE-2D | 20.1435/0.0899/0.7295 | 33.0612/0.0232/0.9125 | 28.5329/0.0379/0.9211 |
| Q-AE | 21.3149/0.0884/0.7045 | 34.6477/0.0197/0.9215 | 29.7081/0.0331/0.9317 |
| DU-GAN | 22.3075/0.0802/0.7489 | 34.6186/0.0196/0.9196 | 29.8598/0.0325/0.9345 |
DU-GAN为本发明方法。最优结果为粗黑体，次优结果为斜黑体。表1说明，本发明方法与现有其它方法相比，具有明显的优越性。
实验例2：去噪结果可视化效果比较
图5展示了不同方法对三个数据集的去噪效果对比，来自于Mayo-10％、Mayo-25％和Piglet-5％的横向CT图像。ROI显示在红色矩形中，其中红色矩形的放大ROI分别如下所示。显示窗口为[-160,240]HU，以实现更好的可视化。红色箭头表示低衰减病变。绿色箭头表示一些基线算法中显示的白色边缘伪影。所有方法都在某种程度上呈现了视觉上很好的去噪结果。然而，RED-CNN过度平滑和模糊了低剂量CT图像，因为它使用均方误差优化，倾向于平均结果，导致结构细节的损失。尽管WGAN-VGG和CPCE-2D极大地提高了视觉保真度，但正如预期的那样，由于使用了对抗性损失，它们的传统分类鉴别器只为生成器提供全局结构反馈，所以仍然可以观察到轻微的条纹伪影。此外，它们利用特征空间中的感知损失来抑制均方误差损失导致的模糊。然而，因为在经过预先训练的模型处理后可能会丢失一些局部细节，感知损失只能保留正常剂量CT图像的结构。例如，图4中的低衰减病变中的骨骼在WGAN-VGG和CPCE-2D中不太清楚，但它们可以很容易地在正常剂量CT以及本发明的结果中观察到。最重要的是，带有边界的小结构始终保持清晰的视觉保真度。这得益于精心设计的基于双域U-Net的鉴别器，与仅具有结构信息的WGAN-VGG和CPCE-2D中使用的传统分类鉴别器相比，它可以向生成器提供全局结构和局部细节的反馈.此外，梯度域分支还可以鼓励去噪模型更好地保留边缘信息。
综上，本发明提出的双域U-Net鉴别器的方法和其他方法相比，在所有数据上和性能指标上取得了最好的性能。其中，比较的其他算法都是目前低剂量CT去噪领域非常常见的算法。
参考文献
[1]J.Wang,H.Lu,T.Li,and Z.Liang,“Sinogram noise reduction for low-dose CT by statistics-based nonlinear filters,”in Proc.of SPIE,vol.5747,2005,p.2059.
[2]J.Wang,T.Li,H.Lu,and Z.Liang,“Penalized weighted least-squaresapproach to sinogram noise reduction and image reconstruction for low-dose X-ray computed tomography,”IEEE Trans.Med.Imaging,vol.25,no.10,pp.1272–1283,2006.
[3]A.Manduca et al.,“Projection space denoising with bilateralfiltering and CT noise modeling for dose reduction in CT,”Med.Phys.,vol.36,no.11,pp.4911–4919,2009.
[4]S.Ramani and J.A.Fessler,“A splitting-based iterative algorithmfor accelerated statistical x-ray ct reconstruction,”IEEE Trans.Med.Imaging,vol.31,no.3,pp.677–688,2011.
[5]X.Zheng,S.Ravishankar,Y.Long,and J.A.Fessler,“PWLS-ULTRA:Anefficient clustering and learning-based approach for low-dose 3d ct imagereconstruction,”IEEE Trans.Med.Imaging,vol.37,no.6,pp.1498–1510,2018.
[6]Q.Xu,H.Yu,X.Mou,L.Zhang,J.Hsieh,and G.Wang,“Low-dose x-ray CTreconstruction via dictionary learning,”IEEE Trans.Med.Imaging,vol.31,no.9,pp.1682–1697,2012.
[7]H.Chen,Y.Zhang,W.Zhang,P.Liao,K.Li,J.Zhou,and G.Wang,“Low-dose CTvia convolutional neural network,”Biomed.Opt.Express,vol.8,no.2,pp.679–694,2017.
[8]H.Shan et al.,“3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network,”IEEETrans.Med.Imaging,vol.37,no.6,pp.1522–1534,2018.
[9]H.Shan et al.,“Competitive performance of a modularized deepneural network compared to commercial algorithms for low-dose CT imagereconstruction,”Nat.Mach.Intell.,vol.1,no.6,pp.269–276,2019.
[10]J.M.Wolterink,T.Leiner,M.A.Viergever,and I.Isgum,“Generativeadversarial networks for noise reduction in low-dose CT,”IEEETrans.Med.Imaging,vol.36,no.12,pp.2536–2545,2017.
[11]D.Wu,K.Kim,G.E.Fakhri,and Q.Li,“A cascaded convolutional nerualnetwork for x-ray low-dose CT image denoising,”arXiv preprint arXiv:1705.04267,2017.
[12]I.Goodfellow et al.,“Generative adversarial nets,”inProc.Adv.Neural Inf.Process.Syst.,2014,pp.2672–2680.
[13]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image qualityassessment:from error visibility to structural similarity,”IEEE Trans.ImageProcess.,vol.13,no.4,pp.600–612,2004.
[14]J.Ma et al.,“Low-dose computed tomography image restoration usingprevious normal-dose scan,”Med.Phys.,vol.38,no.10,pp.5713–5731,2011.
[15]P.F.Feruglio,C.Vinegoni,J.Gros,A.Sbarbati,and R.Weissleder,“Blockmatching 3D random noise filtering for absorption optical projectiontomography,”Phys.Med.Biol.,vol.55,no.18,p.5401,2010.
[16]X.Yi and P.Babyn,“Sharpness-aware low-dose CT denoising usingconditional generative adversarial network,”J.Digit.Imaging,vol.31,no.5,pp.655–669,2018.
[17]E.Schonfeld,B.Schiele,and A.Khoreva.“A u-net based discriminatorfor generative adversarial networks”.In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition(pp.8207-8216),2020
[18]Chen H,Zhang Y,Kalra MK,Lin F,Chen Y,Liao P,Zhou J,Wang G.Low-dose CT with a residual encoder-decoder convolutional neural network.IEEEtransactions on medical imaging.2017 Jun 13；36(12):2524-35.。
Claims (3)
1.一种基于双域U-net判别器的生成对抗低剂量CT去噪方法，其特征在于，以U-Net判别器替代GAN框架中的鉴别器，来学习正常剂量图像和生成图像在图像域和生成域之间的全局和局部差异；该U-Net判别器通过U-Net的全局输出向去噪网络提供逐像素反馈，通过中间层在语义层面使去噪网络关注全局结构；除了图像域中的对抗训练，还在图像梯度域中应用基于U-Net的判别器，以减轻低剂量CT中由于金属等引起的伪影，并增强去噪CT图像的边缘；此外，还使用CutMix技术，使基于U-Net的判别器的逐像素输出，为放射科医生提供置信度图，以避免可视化去噪结果的不确定性，促进基于低剂量CT的筛查和诊断；具体步骤如下：
(1)针对低剂量CT存在的大量噪声，采用生成器对抗网络对低剂量CT去噪，以提高图像质量；
所述去噪的过程是学习一个生成器模型G的过程，该生成器模型G映射一张大小为w×h的低剂量CT图像ILD到它的正常剂量CT对应物IND，来去除低剂量CT中的噪声图像，ILD∈Rw×h，IND∈Rw×h；Rw×h表示w×h实数空间，w和h分别表示图像的宽和高；
生成器模型G作为去噪模型，将低剂量CT图像作为输入，Iden是去噪后的图像；整个去噪过程建模为：
Iden＝G(ILD)≈IND； (1)
经过步骤(1)去噪处理的低剂量CT图像，分别进入图像域分支和梯度域分支，作进一步处理；
(2)在图像域分支，使用U-Net判别器替换掉传统的分类鉴别器，来捕捉全局和局部图像差异；
所述U-Net判别器可以同时维护全局和局部数据表示，即可以同时实现全局和局部的真假判断；具体地，使用Dimg来表示图像域中U-Net判别器；Dimg中的编码器
遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文；Dimg中的解码器
使用来自编码器
的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力；判别器损失根据
和
的输出计算；具体使用最小二乘GAN作为鉴别器的损失函数，损失函数表达式为：
其中，1是最小二乘GAN的决策边界，Iden为去噪后图像，IND为正常剂量图像，
为图像域判别器的编码器，
为图像域判别器的解码器；E表示期望；
为判别器图像域的损失函数；
(3)增加一个额外的梯度域分支，用于去除伪影，使边缘更清晰；
首先使用索贝尔算子估计梯度，作为一个额外的梯度分支，和图像域分支同时存在；类似于图像域分支中的U-Net判别器结构，用Dgrd表示梯度域中的判别器,
定义表示梯度域中的判别器损失；
Dgrd中的编码器
遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文；Dgrd中的解码器
使用来自编码器
的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力；此外，判别器损失根据
和
的输出计算；损失函数表达式为：
其中，1是最小二乘GAN的决策边界，Iden为去噪后图像，IND为正常剂量图像，
为梯度域判别器的编码器，
为图像域判别器的解码器；E表示期望；
为判别器梯度域的损失函数,
为索贝尔算子，用来获取影像梯度信息；
于是，双域的判别器损失函数为：
(4)随着训练的进行，判别器Dimg在识别真实和假样本之间局部差异方面的能力下降，这可能会意外地损害去噪性能；此外，判别器需要关注全局级别的结构变化和像素级别的局部细节；为此，进一步采用CutMix增强技术对判别器进行正则化，使判别器能够学习真假样本之间的内在差异，即CutMix增强技术是从生成图像中切出一块，并将其粘贴到另一个图像中，从而生成新的训练图像；具体表达如下：
其中，M∈{0,1}w×h，是控制如何混合正常剂量CT和去噪图像的二进制掩码，
表示元素乘法，IND为正常剂量图像，Iden为去噪后的图像，Imix表示二者通过M混合后的影像；
CutMix的正则化损失的表达式为：
其中，CutMix中使用的M也是
的标签；
此外，为了惩罚判别器的输出与CutMix操作后的像素预测一致，进一步引入另一个一致性损失对判别器进行正则化，该一致性损失的表达式为：
其中，‖·‖F代表Frobenius范数,‖·‖2表示L2范数；
这两种“损失”可以选择性使用；
(5)最后，遵循GAN框架，训练生成器，并进行低剂量CT去噪，整个框架包含基于U-Net的判别器同时关注全局结构和局部细节，额外的梯度分支鼓励更好的边界和细节。
2.根据权利要求1所述的基于双域U-net判别器的生成对抗低剂量CT去噪方法，其特征在于，步骤(4)中所述CutMix增强技术，具体流程如下：
(4.1)从beta分布Beta(1,1)中采样组合比r，然后从均匀采样裁剪区域的边界框的左上角坐标IND到Iden，确保r比率；
(4.2)使用概率pmix来控制是否对每个小批量样本应用CutMix正则化技术。
3.根据权利要求1所述的基于双域U-net判别器的生成对抗低剂量CT去噪方法，其特征在于，使用RED-CNN作为生成器，该生成器包括堆叠的10个卷积层，每个层都有32个卷积和ReLU激活函数；
图像域和梯度域中的两个判别器，每个判别器都遵循U-Net架构；具体来说，编码器
或
有6个下采样残差块，卷积数量分别为：64,128,256,512,512,512；在
或
的底部，使用全连接层输出全局置信度分数；类似地，解码器
或
以相反的顺序使用相同数量的残差块来处理双线性上采样的特征和相同分辨率的残差，然后是1×1卷积层以输出逐像素置信度图；两个独立的判别器的结构一致；
在正常剂量CT图像和去噪CT图像之间采用对抗损失、像素级损失；其中，对抗损失是固定双域判别器而得到的损失函数，表达式为：
像素级损失包括每个分支的像素损失Limg和梯度损失Lgrd；这两个损失表达式为：
最终的损失函数为以上损失函数的加权，即生成器的优化损失表达式为：
LG＝λadvLadv+λimgLimg+λgrdLgrd； (11)
其中，λadv,λimg,λgrd为超参数，控制各损失函数之间的权重；
双域判别器的损失函数为：
训练过程生成器和判别器为交替训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110657818.0A CN113538257B (zh) | 2021-06-15 | 2021-06-15 | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110657818.0A CN113538257B (zh) | 2021-06-15 | 2021-06-15 | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538257A true CN113538257A (zh) | 2021-10-22 |
| CN113538257B CN113538257B (zh) | 2022-07-22 |
Family
ID=78124871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110657818.0A Active CN113538257B (zh) | 2021-06-15 | 2021-06-15 | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538257B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494498A (zh) * | 2022-01-28 | 2022-05-13 | 复旦大学 | 一种基于双域傅里叶神经网络的金属伪影去除方法 |
| CN114549842A (zh) * | 2022-04-22 | 2022-05-27 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及系统 |
| CN116630466A (zh) * | 2023-07-26 | 2023-08-22 | 济南大学 | 基于生成对抗性网络的脊柱ct到mr转换方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517198A (zh) * | 2019-08-22 | 2019-11-29 | 太原科技大学 | 用于ldct图像去噪的高频敏感gan网络 |
| CN110827216A (zh) * | 2019-10-23 | 2020-02-21 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
| CN112837244A (zh) * | 2021-03-11 | 2021-05-25 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络 |
-
2021
- 2021-06-15 CN CN202110657818.0A patent/CN113538257B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517198A (zh) * | 2019-08-22 | 2019-11-29 | 太原科技大学 | 用于ldct图像去噪的高频敏感gan网络 |
| CN110827216A (zh) * | 2019-10-23 | 2020-02-21 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
| WO2021077997A1 (zh) * | 2019-10-23 | 2021-04-29 | 上海理工大学 | 图像去噪的多生成器生成对抗网络学习方法 |
| CN112837244A (zh) * | 2021-03-11 | 2021-05-25 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络 |
Non-Patent Citations (6)
| Title |
|---|
| BERNT SCHIELE ET.AL: "A U-Net Based Discriminator for Generative Adversarial Networks", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| BERNT SCHIELE ET.AL: "A U-Net Based Discriminator for Generative Adversarial Networks", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2020 (2020-12-31), pages 8204 - 8213 * |
| ZHIZHONG HUANG ET.AL: "DU-GAN: Generative Adversarial Networks With Dual-Domain U-Net-Based Discriminators for Low-Dose CT Denoising", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| ZHIZHONG HUANG ET.AL: "DU-GAN: Generative Adversarial Networks With Dual-Domain U-Net-Based Discriminators for Low-Dose CT Denoising", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, 16 November 2021 (2021-11-16), pages 1 - 12 * |
| 张雄 等: "基于生成对抗网络和噪声水平估计的低剂量CT图像降噪方法", 《电子与信息学报》 * |
| 张雄 等: "基于生成对抗网络和噪声水平估计的低剂量CT图像降噪方法", 《电子与信息学报》, 1 March 2021 (2021-03-01), pages 2404 - 2418 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494498A (zh) * | 2022-01-28 | 2022-05-13 | 复旦大学 | 一种基于双域傅里叶神经网络的金属伪影去除方法 |
| CN114494498B (zh) * | 2022-01-28 | 2023-04-18 | 复旦大学 | 一种基于双域傅里叶神经网络的金属伪影去除方法 |
| CN114549842A (zh) * | 2022-04-22 | 2022-05-27 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及系统 |
| CN116630466A (zh) * | 2023-07-26 | 2023-08-22 | 济南大学 | 基于生成对抗性网络的脊柱ct到mr转换方法及系统 |
| CN116630466B (zh) * | 2023-07-26 | 2023-10-24 | 济南大学 | 基于生成对抗性网络的脊柱ct到mr转换方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538257B (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | DU-GAN: Generative adversarial networks with dual-domain U-Net-based discriminators for low-dose CT denoising | |
| Li et al. | SACNN: Self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network | |
| CN113538257B (zh) | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 | |
| WO2021077997A1 (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| Yang et al. | High-frequency sensitive generative adversarial network for low-dose CT image denoising | |
| Islam et al. | Image enhancement based medical image analysis | |
| Yan et al. | Image denoising for low-dose CT via convolutional dictionary learning and neural network | |
| Jiang et al. | CT image super resolution based on improved SRGAN | |
| Li et al. | Low-dose computed tomography image reconstruction via a multistage convolutional neural network with autoencoder perceptual loss network | |
| Ghahremani et al. | Adversarial distortion learning for medical image denoising | |
| Liu et al. | Low-dose CT noise reduction based on local total variation and improved wavelet residual CNN | |
| Jeon et al. | Mm-net: Multiframe and multimask-based unsupervised deep denoising for low-dose computed tomography | |
| Wang et al. | Noise removal of low-dose CT images using modified smooth patch ordering | |
| Liu et al. | SDCNet: Smoothed dense-convolution network for restoring low-dose cerebral CT perfusion | |
| WO2022246677A1 (zh) | 一种增强ct图像的重建方法 | |
| Kottath et al. | Image preprocessing techniques in skin diseases prediction using deep learning: A review | |
| Xie et al. | Speckle denoising of optical coherence tomography image using residual encoder–decoder CycleGAN | |
| Zhan et al. | Nonlocal means image denoising with minimum MSE-based decay parameter adaptation | |
| Prakoso et al. | Enhancement methods of brain MRI images: A Review | |
| Li et al. | Dual-domain fusion deep convolutional neural network for low-dose CT denoising | |
| Chaudhary et al. | Denoising Tc-99m DMSA images using denoising convolutional neural network with comparison to a block matching filter | |
| Kang et al. | Denoising Low-Dose CT Images Using a Multi-Layer Convolutional Analysis-Based Sparse Encoder Network | |
| Liu et al. | Joint sparsity and fidelity regularization for segmentation-driven CT image preprocessing | |
| Lepcha et al. | A constructive non-local means algorithm for low-dose computed tomography denoising with morphological residual processing | |
| WO2023001089A1 (en) | Generative adversarial network-based lossless image compression model for cross-sectional imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |