CN115456890A - 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 - Google Patents
基于多尺度双域判别器的生成对抗医学ct图像去噪方法 Download PDFInfo
- Publication number
- CN115456890A CN115456890A CN202211011789.1A CN202211011789A CN115456890A CN 115456890 A CN115456890 A CN 115456890A CN 202211011789 A CN202211011789 A CN 202211011789A CN 115456890 A CN115456890 A CN 115456890A
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- layer
- domain
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 23
- 238000003708 edge detection Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000008485 antagonism Effects 0.000 abstract description 5
- BXBVPYSHEOQGHP-UHFFFAOYSA-N Nordihydrocapsiate Chemical compound COC1=CC(COC(=O)CCCCCC(C)C)=CC=C1O BXBVPYSHEOQGHP-UHFFFAOYSA-N 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010061245 Internal injury Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 210000004392 genitalia Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 230000006371 metabolic abnormality Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
基于多尺度双域判别器的GAN医学CT图像去噪方法，具体步骤如下：步骤1)创建医学CT图像模型；步骤2)构建去噪网络生成器部分；步骤3)构建去噪网络判别器部分；步骤4)数据集预处理；步骤5)训练去噪网络并更新参数；本发明具有以下优点：1)提出了使用GAN网络的对抗性损失对医学CT图像去噪，增强去噪图像的结构和纹理细节，同时防止去噪图像发生过度平滑的问题；2)对GAN网络的判别器进行改进，使用包含多尺度特征提取模的判别器块代替原有的判别器，增强判别器辨别真假的能力；3)在已有图像域判别器的基础上，新增图像梯度域的判别器，增强去噪网络有效减轻条纹伪影和获取图像边缘信息的能力。
Description
技术领域
本发明涉及医学图像去噪领域，具体涉及一种生成对抗(GAN)医学CT图像去噪方法。
技术背景
计算机断层扫描是一种可靠且无创的医学图像成像模式，有助于发现人体的病理异常，肿瘤、心血管疾病、肺结节、内伤和骨折等。除了诊断方面以外，CT在指导各种临床治疗方面也大有用处，如放射治疗和手术等。
然而反复的CT扫描过程中的X射线辐射可能对人体有害，可能导致免疫功能下降、代谢异常、生殖器损伤，增加白血病、癌症、遗传疾病的风险。所以需要尽可能降低X射线辐射剂量，同时还要保证CT图像质量满足诊断需求。然而，降低辐射剂量会增加投影数据的量子噪声，从而导致恢复图像出现明显的条纹伪影和散斑噪声。CT图像的质量下降严重影响诊断的准确性，尤其是对小面积、形状细微的早期的病变的诊断。因此非常有必要对医学图像预处理中的去噪技术进行分析和研究，在尽可能低的辐射剂量下，对噪声区域和细微结构纹理进行准确的区分，并对噪声区域进行高效的去噪处理，从而获得与NDCT图像质量相近的CT图像。
过去的几十年里，人们提出了很多LDCT恢复方法，这些传统方法可以分为三大类：正弦域滤波(sinogram domain filtering)、迭代重建(iterative reconstruction)和图像域恢复(image domain restoration)，这些传统的LDCT去噪算法对提高去噪图像的质量起到了重要的作用。随着深度学习的兴起，CNN被广泛应用于图像去噪领域。由于CNN强大的特征学习能力和特征映射能力，基于CNN的LDCT图像去噪网络取得了很好的效果,但仍然存在去噪图像过度平滑而导致关键细节丢失或引入了新的噪声等问题。
发明内容
本发明要克服现有技术的上述弊端，提供一种基于多尺度双域判别器的GAN医学CT图像去噪方法。
本发明的目的在于提高医学CT图像的去噪效果，在以往采用的图像去噪任务中，最常用的损失函数是MSE损失，虽然MSE损失在峰值信噪比这种纸面上的指标的效果很好，但是从直观的人眼角度去观察去噪效果的话，MSE损失通常会导致去噪图像发生过度平滑(over smooth)的问题，与此同时会丢失一定的结构和纹理细节。为了提高网络的去噪能力，本发明提出了基于GAN的低剂量CT去噪方法，利用GAN的对抗性损失在训练期间动态的测量去噪图像和正常剂量图像之间的相似性，使得图像去噪后能保留更多的结构和纹理信息。本发明以一种包含多尺度特征提取模块的判别器来替代GAN结构中的判别器，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野。此外，本发明还在原有的图像域判别器的基础上，新增了基于图像梯度域的判别器。
本发明的创新和优点在于：本发明在原有的GAN去噪网络基础之上对判别器进行改进，使用包含多尺度特征提取模块的判别器替代原有的判别器，增强去噪网络对多尺度特征的学习能力。此外，采用Canny算子计算图像梯度，再送入图像梯度域判别器中进行处理，增强了去噪网络去除伪影和获取图像边缘信息的能力。
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案进行详细的描述，基于多尺度双域判别器的生成对抗医学CT图像去噪方法，具体步骤如下：
步骤1)创建医学CT图像模型：
创建医学CT图像模型：
采用高斯噪声模型，其数学表达式为：
Y＝X+V (1)
其中X为不含噪声的干净图像，Y为实际含噪声图像，V为噪声；V的噪声分布服从高斯分布，高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声，即为高斯随机变量z概率密度函数，其数学表达式为：
其中μ表示为数学期望，σ表示为标准差；
步骤2)构建去噪网络生成器部分：
基于GAN框架构建去噪网络，包括生成器和判别器，去噪过程就是使用生成器模型G将一张低剂量CT图像ILD映射到它对应的常规剂量CT图像IND，从而达到去除噪声的目的,Igen表示G生成的去噪图像，去噪过程的表达式为：
Igen＝G(ILD)≈IND (3)
生成器使用编码器-解码器结构，生成器总共由20层组成，为了尽可能避免细节的丢失，没有加入池化层；其中前10层为编码层，每一层都由卷积核大小为5x5、步长为2、填充为0的卷积层和ReLU层构成，第1层的输入通道为1，输出通道为32，第2层至第10层网络的输入通道和输出通道均为32；解码层也是由10层网络组成，每一层由5x5大小的反卷积和ReLU构成，解码层的前9层的输入通道和输出通道均为32，最后1层网络的输入通道为32，输出通道为1；
编码层和解码层之间由跳跃连接相连，这样生成器就类似于残差网络结构，避免梯度消失等问题，同时使得恢复的图像保留更多细节；
步骤3)构建去噪网络判别器部分：
去噪网络的判别器包括图像域和图像梯度域中的两个判别器；图像域判别器包含三个部分，图像域判别器的第一部分包括1个卷积核大小为3x3、步长为2的卷积层和1个batch normalization层和1个ReLU层，以减少网络的计算量，扩大感受野；
图像域判别器的第二部分由多尺度特征提取模块组成，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野，从而提高判别器的鉴别能力；具体来说，首先利用含有128个大小为1x1步长为1的卷积核的卷积层进行卷积运算，实现特征维数的变换；变换后的128个特征被平分成四组，每组有32个通道；第一组特征保持不变直接作为输出，第二组特征经过卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；第三组特征与第二组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；以此类推，第四组特征与第三组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；将每一组特征的输出在通道上叠加，经过一个包含1x1卷积核的卷积层实现降维，完成多尺度信息的融合；
图像域判别器的第三部分包括1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数；
去噪网络判别器的另一个分支是图像梯度域的判别器；图像梯度域判别器按结构先后顺序包含四个部分；图像梯度域判别器的第一部分使用Canny边缘检测算子来估算生成器的输出图像的梯度，增强去噪网络对图像边缘信息的获取能力；图像梯度域判别器的第二部分由1个卷积核大小为3x3、步长为2的卷积层和1个batch normalization层和1个ReLU层组成，用于减少网络的计算量，扩大感受野；图像梯度域判别器的第三部分是与图像域判别器中相同的Res2Net残差块，提取图像相同尺度下的多尺度特征来扩展模块中的感受野，提高图像梯度域判别器的鉴别能力；图像梯度域的第四部分由1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数组成；
双域判别器的总损失函数为图像域的判别器损失加上图像梯度域的判别器损失；
步骤4)数据集预处理：
在数据集预处理阶段将数据集划分为训练集，验证集与测试集；对于训练集和验证集的图片进行统一裁剪至64x64大小，并使用高斯加性白噪声替代医学CT图像中的噪声，对原始干净图像分别添加均值为0，标准差为5、10、15、20、25、30、35、40、45、50的高斯白噪声，得到去噪网络训练数据；
步骤5)训练去噪网络并更新参数：
去噪网络遵循GAN框架训练生成器和判别器，将加噪图像输入到生成器后得到生成的去噪图像，随后将原始图像和加噪图像输入到图像域的判别器和图像梯度域的判别器当中，对生成器生成的去噪图像进行真假判断，使用最小二乘损失函数来计算总体损失，去噪网络的生成器的损失函数表达式为：
其中，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，IG表示生成器G的损失函数；
去噪网络的判别器的损失函数表达式为：
其中，
表示常规剂量CT图像的分布期望，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，LD表示判别器的损失函数；
最后使用Adam优化器来更新网络权重参数，训练过程中，生成器和判别器进行交替训练。
本发明具有如下特点：其一：双域判别器的特点(涉及为什么双域判别器能够减轻条纹伪影和增强获取图像边缘的能力)；
其二：包含多尺度特征提取模块判别器的特点(涉及为什么多尺度特征提取模块能够增强辨别真假的能力)；
其三：对抗性损失区别于MSE损失的地方(涉及为什么GAN的对抗性损失能够增强图像的结构和纹理细节)。
本发明的工作原理详述如下：在进行CT扫描时，若穿透过病人到达探测器的光子不足，就会产生严重的条纹伪影，在CT图像中表现为或亮或暗的直线，这种情况在进行低剂量CT扫描时更为明显。GAN去噪网络当中，判别器的设计对提高去噪图像的质量起着关键的作用，如果判别器判别能力强，这样输入生成的去噪图像就会形成比较大的误差，这样生成器就能有较大的权值更新。为了更好得增强去噪图像的边缘细节以及在一定程度上减轻条纹伪影问题，本发明提出了一种多尺度双域判别器，具体表现在与传统的GAN相比多了一个判别器，因该判别器作用于图像梯度域，所以称作图像梯度域判别器，相应的另一个常规判别器称为图像域判别器。图像梯度域判别器在结构上与图像域判别器几乎相同，差别体现在生成器G生成的去噪图像G(x)在进入图像梯度域判别器之前要经过Canny边缘检测算法的计算，输出G(x)的一阶梯度图▽G(x)。边缘检测算法的具体步骤如下：因为边缘检测算法主要基于图像强度的一阶导数，但导数通常对噪声很敏感，所以算法的第一步是去噪，使用大小为5x5高斯滤波器初步去除输入图像中的噪声，在这个阶段能够在一定程度上消除CT图像的条纹伪影；第二步使用Sobel滤波器在水平和垂直方向上获得图像的一阶导数，进而获得梯度的方向和大小。第三步扫描图像，将局部范围内梯度方向上，灰度变化最大的像素进行保留，使得图像边缘得到一定程度的缩窄，在这个阶段也能够在一定程度上减轻条纹伪影问题。第三步设置高阈值(maxVal)和低阈值(minVal)，若某一像素梯度大于maxVal则被保留为边缘像素；若某一像素梯度小于minVal，则该像素被排除；若某一像素梯度大小介于maxVal和minVal之间，如它们与边缘像素相连则视为边缘的一部分，否则它们也将被抛弃。经过上述Canny边缘检测算法的处理后得到一幅减轻了条纹伪影且边缘信息得到增强的一阶梯度图像，随后将输出的梯度图送入判别器进行后续的处理判断。与图像域的判别器相比，图像梯度域判别器将更侧重于区分图像的边缘信息，这有利于生成器学习更多的边缘细节。
因为LDCT图像中的噪声呈现出不同尺度、不同方向和不同密度分布等特征，所以获取不同尺度下的噪声信息对增强去噪图像质量是至关重要的。在本发明提出的去噪网络的训练阶段，由生成器G生成的去噪图像G(x)与真实NDCT图像在进入判别器后，首先经过一个步长为2的卷积层来进行下采样得到特征A，扩大感受野并在一定程度上降低计算量。随后将特征A输入到第二层的Res2Net残差块，首先利用含有128个大小为1x1步长为1的卷积核的卷积层进行卷积运算，将输入特征的通道变为128。变换后的128个通道被平分成通道数均为32的完全相同的四组：特征B、特征C、特征D、特征E。特征B不参与计算，特征C经过3个大小为3步长为1的卷积，特征D经过2个大小为3步长为1的卷积，特征E经过1个大小为3步长为1的卷积。对于特征A来说，通过这种方式使得特征A同时经历了多个不同大小的卷积层，获得了不同大小的感受野，即能够在相同尺度下获取了多个不同尺度的特征。小的感受野可能会获取更多的细节，而大的感受野可以感受图像的整体结构，因此这种方式也能在一定程度上解决LDCT图像噪声复杂多样的问题。最后将每组特征的输出在通道上叠加，经过一个包含1x1卷积核的卷积层实现降维，完成多尺度信息的融合。判别器的第三层和第一层之间通过跳跃连接相连，用于降低模型复杂度以及防止梯度消失，第三层包括了步长为1的卷积层和一个Sigmoid激活函数。特征经过第三层后输出最终的判断。
损失函数的选择对图像的去噪效果起到了决定性的作用。通过传统的像素级损失函数如MSE Loss来计算生成的去噪图像与NDCT图像对应像素点误差的平方和的均值，旨在取可能输出的平均值来适应预测中的不确定性。因为LDCT图像中的噪声呈现出不同尺度、不同方向和不同密度分布等特征，所以通过这种方式训练生成的去噪图像通常会发生模糊、过度平滑、缺少纹理细节的问题。本发明提出的基于多尺度双域判别器的生成对抗医学CT图像去噪方法采用生成对抗网络作为去噪方法的框架，在去噪网络的训练过程中生成器G将输入的LDCT图像x转化为去噪图像G(x)使之尽可能得与真实NDCT图像y相似，而判别器D则试图将生成的G(x)与y区分开来。G和D交替进行训练，逐步优化对抗性损失函数V(D,G)。判别器D在训练过程中动态地测量G(x)与y之间的相似性，这使得G(x)能保留更多地纹理细节。在此基础上，使用最小二乘(Least Squares)GAN的最小二乘Loss替代传统GAN的交叉熵Loss，更严格得惩罚远离决策边界的样本，使得生成的G(x)与y更加相近，同时也解决原本的GAN训练不稳定的问题。虽然最小二乘Loss对远离决策边界的样本的过度惩罚可能会导致生成图像的“多样性”降低，表现在生成的G(x)很可能只是针对真实图像y的细微变换，但对于LDCT图像去噪来说，对生成图像“多样性”的约束是优点。
本发明具有以下优点：
1.提出了使用GAN网络的对抗性损失对医学CT图像去噪，增强去噪图像的结构和纹理细节，同时防止去噪图像发生过度平滑的问题。
2.对GAN网络的判别器进行改进，使用包含多尺度特征提取模块的判别器代替原有的判别器，增强判别器辨别真假的能力。
3.在已有图像域判别器的基础上，新增图像梯度域的判别器，增强去噪网络减轻条纹伪影和获取图像边缘信息的能力。
附图说明
图1是含有高斯噪声的医学CT图像示意图；
图2是本发明的整体网络结构示意图；
图3是本发明的生成器模块示意图；
图4是本发明的多尺度特征提取模块示意图；
具体实施方式：
以下结合附图对本发明做具体的解释说明
本发明的基于多尺度双域判别器的GAN医学CT图像去噪方法，具体步骤如下：
步骤1)创建医学CT图像模型：
创建医学CT图像模型：
采用高斯噪声模型，其数学表达式为：
Y＝X+V (1)
其中X为不含噪声的干净图像，Y为实际含噪声图像，V为噪声；V的噪声分布服从高斯分布，高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声，即为高斯随机变量z概率密度函数，其数学表达式为：
其中μ表示为数学期望，σ表示为标准差；
步骤2)构建去噪网络生成器部分：
基于GAN框架构建去噪网络，包括生成器和判别器，去噪过程就是使用生成器模型G将一张低剂量CT图像ILD映射到它对应的常规剂量CT图像IND，从而达到去除噪声的目的,Igen表示G生成的去噪图像，去噪过程的表达式为：
Igen＝G(ILD)≈IND (3)
生成器使用编码器-解码器结构，生成器总共由20层组成，为了尽可能避免细节的丢失，没有加入池化层；其中前10层为编码层，每一层都由卷积核大小为5x5、步长为2、填充为0的卷积层和ReLU层构成，第1层的输入通道为1，输出通道为32，第2层至第10层网络的输入通道和输出通道均为32；解码层也是由10层网络组成，每一层由5x5大小的反卷积和ReLU构成，解码层的前9层的输入通道和输出通道均为32，最后1层网络的输入通道为32，输出通道为1；
编码层和解码层之间由跳跃连接相连，这样生成器就类似于残差网络结构，避免梯度消失等问题，同时使得恢复的图像保留更多细节；
步骤3)构建去噪网络判别器部分：
去噪网络的判别器包括图像域和图像梯度域中的两个判别器；图像域判别器包含三个部分，图像域判别器的第一部分包括1个卷积核大小为3x3、步长为2的卷积层和1个batch normalization层和1个ReLU层，以减少网络的计算量，扩大感受野；
图像域判别器的第二部分由多尺度特征提取模块组成，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野，从而提高判别器的鉴别能力；具体来说，首先利用含有128个大小为1x1步长为1的卷积核的卷积层进行卷积运算，实现特征维数的变换；变换后的128个特征被平分成四组，每组有32个通道；第一组特征保持不变直接作为输出，第二组特征经过卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；第三组特征与第二组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；以此类推，第四组特征与第三组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；将每一组特征的输出在通道上叠加，经过一个包含1x1卷积核的卷积层实现降维，完成多尺度信息的融合；
图像域判别器的第三部分包括1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数；
去噪网络判别器的另一个分支是图像梯度域的判别器；图像梯度域判别器按结构先后顺序包含四个部分；图像梯度域判别器的第一部分使用Canny边缘检测算子来估算生成器的输出图像的梯度，增强去噪网络对图像边缘信息的获取能力；图像梯度域判别器的第二部分由1个卷积核大小为3x3、步长为2的卷积层和1个batch normalization层和1个ReLU层组成，用于减少网络的计算量，扩大感受野；图像梯度域判别器的第三部分是与图像域判别器中相同的Res2Net残差块，提取图像相同尺度下的多尺度特征来扩展模块中的感受野，提高图像梯度域判别器的鉴别能力；图像梯度域的第四部分由1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数组成；
双域判别器的总损失函数为图像域的判别器损失加上图像梯度域的判别器损失；
步骤4)数据集预处理：
在数据集预处理阶段将数据集划分为训练集，验证集与测试集；对于训练集和验证集的图片进行统一裁剪至64x64大小，并使用高斯加性白噪声替代医学CT图像中的噪声，对原始干净图像分别添加均值为0，标准差为5、10、15、20、25、30、35、40、45、50的高斯白噪声，得到去噪网络训练数据；
步骤5)训练去噪网络并更新参数：
去噪网络遵循GAN框架训练生成器和判别器，将加噪图像输入到生成器后得到生成的去噪图像，随后将原始图像和加噪图像输入到图像域的判别器和图像梯度域的判别器当中，对生成器生成的去噪图像进行真假判断，使用最小二乘损失函数来计算总体损失，去噪网络的生成器的损失函数表达式为：
其中，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，LG表示生成器的损失函数；
去噪网络的判别器的损失函数表达式为：
其中，
表示常规剂量CT图像的分布期望，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，LD表示判别器的损失函数；
最后使用Adam优化器来更新网络权重参数，训练过程中，生成器和判别器进行交替训练。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.基于多尺度双域判别器的生成对抗医学CT图像去噪方法，具体步骤如下：
步骤1)创建医学CT图像模型：
创建医学CT图像模型：
采用高斯噪声模型，其数学表达式为：
Y＝X+V (1)
其中X为不含噪声的干净图像，Y为实际含噪声图像，V为噪声；V的噪声分布服从高斯分布，高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声，即为高斯随机变量z概率密度函数，其数学表达式为：
其中μ表示为数学期望，σ表示为标准差；
步骤2)构建去噪网络生成器部分：
基于GAN框架构建去噪网络，包括生成器和判别器，去噪过程就是使用生成器模型G将一张低剂量CT图像ILD映射到它对应的常规剂量CT图像IND，从而达到去除噪声的目的,Igen表示G生成的去噪图像，去噪过程的表达式为：
Igen＝G(ILD)≈IND (3)
生成器使用编码器-解码器结构，生成器总共由20层组成，为了尽可能避免细节的丢失，没有加入池化层；其中前10层为编码层，每一层都由卷积核大小为5x5、步长为2、填充为0的卷积层和ReLU层构成，第1层的输入通道为1，输出通道为32，第2层至第10层网络的输入通道和输出通道均为32；解码层也是由10层网络组成，每一层由5x5大小的反卷积和ReLU构成，解码层的前9层的输入通道和输出通道均为32，最后1层网络的输入通道为32，输出通道为1；
编码层和解码层之间由跳跃连接相连，这样生成器就类似于残差网络结构，避免梯度消失等问题，同时使得恢复的图像保留更多细节；
步骤3)构建去噪网络判别器部分：
去噪网络的判别器包括图像域和图像梯度域中的两个判别器；图像域判别器包含三个部分，图像域判别器的第一部分包括1个卷积核大小为3x3、步长为2的卷积层和1个batchnormalization层和1个ReLU层，以减少网络的计算量，扩大感受野；
图像域判别器的第二部分由多尺度特征提取模块组成，通过提取图像相同尺度下的多尺度特征来扩展模块中的感受野，从而提高判别器的鉴别能力；具体来说，首先利用含有128个大小为1x1步长为1的卷积核的卷积层进行卷积运算，实现特征维数的变换；变换后的128个特征被平分成四组，每组有32个通道；第一组特征保持不变直接作为输出，第二组特征经过卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；第三组特征与第二组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；以此类推，第四组特征与第三组特征的输出相加后经过同样的卷积核大小为3x3、步长为1、填充为1的卷积层进行计算后作为输出；将每一组特征的输出在通道上叠加，经过一个包含1x1卷积核的卷积层实现降维，完成多尺度信息的融合；
图像域判别器的第三部分包括1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数；
去噪网络判别器的另一个分支是图像梯度域的判别器；图像梯度域判别器按结构先后顺序包含四个部分；图像梯度域判别器的第一部分使用Canny边缘检测算子来估算生成器的输出图像的梯度，增强去噪网络对图像边缘信息的获取能力；图像梯度域判别器的第二部分由1个卷积核大小为3x3、步长为2的卷积层和1个batch normalization层和1个ReLU层组成，用于减少网络的计算量，扩大感受野；图像梯度域判别器的第三部分是与图像域判别器中相同的Res2Net残差块，提取图像相同尺度下的多尺度特征来扩展模块中的感受野，提高图像梯度域判别器的鉴别能力；图像梯度域的第四部分由1个卷积核大小为3x3，步长为1的卷积层和一个sigmoid激活函数组成；
双域判别器的总损失函数为图像域的判别器损失加上图像梯度域的判别器损失；
步骤4)数据集预处理：
在数据集预处理阶段将数据集划分为训练集，验证集与测试集；对于训练集和验证集的图片进行统一裁剪至64x64大小，并使用高斯加性白噪声替代医学CT图像中的噪声，对原始干净图像分别添加均值为0，标准差为5、10、15、20、25、30、35、40、45、50的高斯白噪声，得到去噪网络训练数据；
步骤5)训练去噪网络并更新参数：
去噪网络遵循GAN框架训练生成器和判别器，将加噪图像输入到生成器后得到生成的去噪图像，随后将原始图像和加噪图像输入到图像域的判别器和图像梯度域的判别器当中，对生成器生成的去噪图像进行真假判断，使用最小二乘损失函数来计算总体损失，去噪网络的生成器的损失函数表达式为：
其中，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，LG表示生成器G的损失函数；
去噪网络的判别器的损失函数表达式为：
其中，
表示常规剂量CT图像的分布期望，
表示低剂量CT图像的分布期望，Dimg为图像域判别器，Dgrd为图像梯度域判别器，Igen为由经生成器G生成的去噪图像，1是最小二乘GAN的决策边界，
表示Canny边缘检测函数，LD表示判别器的损失函数；
最后使用Adam优化器来更新网络权重参数，训练过程中，生成器和判别器进行交替训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211011789.1A CN115456890A (zh) | 2022-08-23 | 2022-08-23 | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211011789.1A CN115456890A (zh) | 2022-08-23 | 2022-08-23 | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115456890A true CN115456890A (zh) | 2022-12-09 |
Family
ID=84298533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211011789.1A Pending CN115456890A (zh) | 2022-08-23 | 2022-08-23 | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115456890A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095074A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
-
2022
- 2022-08-23 CN CN202211011789.1A patent/CN115456890A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095074A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
| CN117095074B (zh) * | 2023-08-23 | 2024-04-09 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166161B (zh) | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 | |
| CN110827216A (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| John et al. | Multilevel thresholding based segmentation and feature extraction for pulmonary nodule detection | |
| CN109785243B (zh) | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 | |
| CN110163809A (zh) | 基于U-net生成对抗网络DSA成像方法及装置 | |
| CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| Yan et al. | Image denoising for low-dose CT via convolutional dictionary learning and neural network | |
| Juneja et al. | Denoising of magnetic resonance imaging using Bayes shrinkage based fused wavelet transform and autoencoder based deep learning approach | |
| CN115239588A (zh) | 基于生成对抗式网络的极度稀疏视图ct重建的抑制伪影方法 | |
| CN113538257B (zh) | 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法 | |
| CN115601268A (zh) | 基于多尺度自注意力生成对抗网络的ldct图像去噪方法 | |
| KR102351283B1 (ko) | 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN115456890A (zh) | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 | |
| CN107862699A (zh) | 骨骼ct图像的骨骼边缘提取方法、装置、设备及存储介质 | |
| Liu et al. | SDCNet: Smoothed dense-convolution network for restoring low-dose cerebral CT perfusion | |
| Tsai et al. | Adaptive segmentation of vessels from coronary angiograms using multi-scale filtering | |
| Rezatofighi et al. | An enhanced segmentation of blood vessels in retinal images using contourlet | |
| CN113436118B (zh) | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| Kumar et al. | Automatic segmentation of lung lobes and fissures for surgical planning | |
| Datta et al. | Denoising magnetic resonance images with Rician noise based on deep learning | |
| Yerramneni et al. | A generalized grayscale image processing framework for retinal fundus images | |
| Sapthagirivasan et al. | Denoising and fissure extraction in high resolution isotropic CT images using Dual Tree Complex Wavelet Transform | |
| Slavova et al. | Denoising and Analysis Methods of Computer Tomography Results of Lung Diagnostics for Use in Neural Network Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |