CN113516586A - 一种低剂量ct图像超分辨率去噪方法和装置 - Google Patents
一种低剂量ct图像超分辨率去噪方法和装置 Download PDFInfo
- Publication number
- CN113516586A CN113516586A CN202110443108.8A CN202110443108A CN113516586A CN 113516586 A CN113516586 A CN 113516586A CN 202110443108 A CN202110443108 A CN 202110443108A CN 113516586 A CN113516586 A CN 113516586A
- Authority
- CN
- China
- Prior art keywords
- image
- dose
- denoising
- low
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 60
- 230000004913 activation Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 110
- 210000004072 lung Anatomy 0.000 description 11
- 230000005855 radiation Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种低剂量CT图像超分辨率去噪方法，包括：获取低剂量CT图像；基于生成式对抗网络构建训练系统，包括生成器和判别器，生成器包括特征提取模块、至少1个轻量高效像素注意力模块、至少1个多尺度细节上下文模块和融合模块，融合模块用于将去噪特征向量和上下文细节紧密联系的特征向量进行融合处理得到预测高剂量CT图像；构建训练系统的总损失函数，利用总损失函数对训练系统进行训练，训练结束时，确定参数的生成器组成CT图像超分辨率去噪模型；应用时，将低剂量CT图像输入至CT图像超分辨率去噪模型，经计算获得超分辨去噪的CT图像。利用所述方法能够抑制低剂量CT图像噪音，提高低剂量CT图像分辨率。
Description
技术领域
本发明属于深度学习领域，具体涉及一种低剂量CT图像超分辨率去噪方法和装置。
背景技术
计算机断层扫描技术(Computed Tomography，CT)成像也被称为计算机断层扫描，利用计算机处理许多的组合x射线测量了从不同角度产生的横断面的特定区域扫描对象，允许用户看到对象的内部并且没有削减。由于CT成像技术检查为横断面成像，可以通过图像重建，任意方位显示组织或器官，对病变显示更为全面，防止遗漏；具有高密度分辨率，对有密度改变的细微病变也能显示出来，可以明确病变的性质；此外，CT具有无创、成像快等优势已经成为一种广泛使用且高度安全的医疗诊断技术。
随着CT的不断发展，CT诊断在早期的疾病筛查中起到了越来越重要的作用，但是，在CT扫描过程中会产生较高的辐射，这会对人体产生伤害。现在医学研究表明，有1.5％-2％的肿瘤可能是由于CT的高辐射剂量导致。特别是对于高危疾病患者和婴幼儿，高剂量的CT诊断就不再适用。
由于高剂量的CT诊断存在高辐射问题，低剂量CT(LDCT)的概念被提出，在保证其他扫描参数不变的情况下，通过降低管电流来减少辐射CT的辐射剂量。因为肺部和其他组织器官的结构有很大不同，含空气量多，密度低，因此采用比常规剂量低75％-90％的CT扫描就可以形成较满意的图像，虽然低剂量CT可以降低辐射带来的伤害，但是这会导致投影的数据受到污染，低剂量CT肺部图像不仅会有明显的噪声，而且会存在条状的伪影，当CT图像中含有少量噪声时，通常采用图像域技术可以得到不错的图像质量。但是对于存在严重噪声的CT图像，这些噪声甚至完全覆盖结构信息，图像域技术在消除噪声的同时也会牺牲图像的结构。这些噪声的干扰都会降低肺癌被筛查出来的概率，同时会在一定程度上干扰医生对疾病的判断，不利于临床的诊断，因此对低剂量CT肺部图像进行去噪和复原就具有十分重要的意义。
虽然传统的去除噪声算法在低剂量CT肺部图像上的复原上取得了不错的效果，但是由于块状噪声的影响，在抑制噪声和伪影的同时，也会造成边缘细节的损失。
目前针对低剂量CT高质量重建的主流方法可以分为投影域滤波法，迭代法以及图像域法。投影域滤波法主要是利用已知的噪声分布信息，设计相应的滤波函数，在投影域提升投影图像的质量从而提升重建图像的质量，例如FDK算法；投影域滤波法容易造成投影图像中一些结构的丢失，从而造成重建图像也丢失一些结构信息。迭代法主要是利用投影数据的统计特性以及重建图像的先验信息，设计相应的优化函数，在迭代过程中通过优化目标函数来得到高质量重建图像，例如联合代数迭代技术；迭代法通常是耗时的，而且超参数需要根据经验调节。图像域法分为两类，一是传统方法，例如Block-Matchingand 3Dfiltering(BM3D)，字典学习等；二是图像域深度学习技术，例如残差编解码器卷积神经网络；但是图像域法在保证图像质量的前提下降低X射线剂量的潜力较小，无论是传统图像域法还是图像域深度学习法都无法恢复重建图像中已经丢失的图像细节。
发明内容
本发明提供一种低剂量CT图像超分辨率去噪方法，利用所述方法能够抑制低剂量CT图像噪音，提高低剂量CT图像分辨率。
一种低剂量CT图像超分辨率去噪方法，包括以下步骤：
(1)获取真实高剂量CT图像，将真实高剂量CT图像处理为低剂量CT图像；
(2)基于生成式对抗网络构建训练系统，包括生成器和判别器，生成器包括第一特征提取模块、至少1个轻量高效像素注意力模块、至少1个多尺度细节上下文模块和融合模块，第一特征提取模块用于从输入低剂量CT图像提取浅层特征向量，轻量高效像素注意力模块用于对输入浅层特征向量进行去噪，输出去噪特征向量，多尺度细节上下文模块用于对输入浅层特征向量扩大感受野，输出上下文细节紧密联系特征向量，融合模块用于将去噪特征向量和上下文细节紧密联系特征向量进行融合处理得到预测高剂量CT图像；
(3)构建训练系统的总损失函数，根据真实高剂量CT图像通过判别器输出第一判别信息，低剂量CT图像通过生成器输出预测高剂量CT图像，预测高剂量CT图像通过判别器输出第二判别信息，第一判别信息与第二判别信息的期望构建判别器的第一损失函数；
根据第二判别信息与第一判别信息的期望构建判别器的第二损失函数；
根据预测高剂量CT图像与真实高剂量CT图像数据的均方差，第一判别信息与第二判别信息的均方差，第一损失函数，以及第二损失函数构建训练系统的总损失函数；
(4)利用总损失函数对训练系统进行训练，训练结束时，确定参数的生成器组成CT图像超分辨率去噪模型；
(5)应用时，将低剂量CT图像输入至CT图像超分辨率去噪模型，经计算获得超分辨去噪的CT图像。
通过引入一种轻量高效像素注意力模块(light weight pixel attentionblock,LPAB)能够高效的提取突出的目标特征，抑制周边环境特征对目标特征的噪音，引入多尺度细节上下文模块(multiscale detail context block,MDCB)能够扩大感受野，通过获取不同尺寸的特性信息，更好的提取目标特征的上下文细节及依赖性，与去噪的目标特征进行融合从而加强目标特征信息的能力，得到去噪超分辨率的CT图像。
所述第一特征提取模块采用至少一个卷积层，即利用卷积层对低剂量CT图像进行提取，获得浅层特征向量。
所述轻量高效像素注意力模块包括第一通道、第二通道和第一融合单元，所述第一通道包括第一分支和第二分支，每个分支均采用至少1个卷积实现对输入浅层特征向量的去噪，两个分支的去噪结果经过第一激活函数处理后得到第一通道去噪结果，所述第二通道采用至少1个卷积实现对输入浅层特征向量的去噪得到第二通道去噪结果，所述第一融合单元对输入第一通道去噪结果和第二通道去噪结果进行融合得到去噪特征向量。
所述第一分支采用至少一个1×1卷积实现对输入浅层特征向量的去噪，所述第二分支采用至少一个1×1卷积和至少一个3×3卷积实现对浅层特征向量的去噪，两个分支的去噪结果经过第一激活函数处理后得到第一通道去噪结果。
所述第一融合单元包括第一拼接模块和轻量化模块，第一拼接模块用于对输入第一通道去噪结果和第二通道去噪结果进行拼接，输出第一拼接特征向量，轻量化模块采用至少一个1×1卷积层实现对输入第一拼接特征向量的轻量化得到去噪特征向量。
通过对浅层特征进行多通道卷积，能够同时对浅层特征去噪以及目标特征进行提取，提高效率同时突出目标特征，1×1卷积核用于减少卷积操作的参数，用于网络轻量化。
所述多尺度细节上下文模块包括第二特征提取模块，第一批归一化层，第二激活函数，第二批归一化层和第三激活函数，所述第二特征提取模块采用多个不同尺度的膨胀卷积实现对浅层特征向量的多尺寸特征提取，第二特征提取模块的提取结果经过第一批归一化层和第二激活函数处理后得到多尺寸特征向量，所述第二融合单元用于对多尺寸特征向量进行融合，融合后的结果经过第二批归一化层和第三激活函数处理后得到上下文细节紧密联系特征向量。
利用不同尺度的膨胀卷积扩大感受野，获得不同尺寸的特征信息，从而扩展特征的接收范围，聚合更详细的特征信息，通过融合，更好的提取目标特征的上下文细节及依赖性。
第一损失函数loss_d1为：
loss_d1＝σ(D(y)-E[D(G(x)])
第二损失函数loss_d2为：
loss_d2＝σ(D(G(x))-E[D(y)])
训练系统的总损失函数loss_d3为：
其中，x为低剂量CT图像，y为真实高剂量CT图像，σ()为Sigmoid函数，G(x)为低剂量CT图像经过生成器输出的预测高剂量CT图像，D(y)为真实高剂量CT图像经过判别器输出的第一判别信息，D(G(x))为预测高剂量CT图像经过判别器输出的第二判别信息，E[D(y)]为第一判别信息的期望，E[D(G(x)]为第二判别信息的期望，α、β和γ为权重系数，生成器D()通过VGG网络模型进行训练，yi为第i幅真实高剂量CT图像，xi为第i幅低剂量CT图像。
如果真实高剂量CT图像比预测高剂量CT图像更真实，则第一损失函数loss_d1为1，如果预测高剂量CT图像比真实高剂量CT图像更真实，第二损失函数loss_d2为0。
对训练系统进行训练时，优化器采用adam，初始学习率设置为0.001，然后每50个epoch衰减0.1倍。
所述融合模块包括第二拼接模块和上采样模块，第二拼接模块用于对输入去噪特征向量和上下文细节紧密联系特征向量进行拼接，输出第二拼接特征向量，上采样模块用于对输入第二拼接特征向量扩大像素得到预测高剂量CT图像。
一种基于生成式对抗网络对低剂量CT图像超分辨率去噪装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用生成式对抗网络对低剂量CT图像超分辨率去噪方法构建的CT图像超分辨率去噪模型；
所述计算机处理器执行所述计算机程序时实现以下步骤：
将低剂量CT图像输入至CT图像超分辨率去噪模型中，经计算获得超分辨去噪的CT图像。
与现有技术相比，本发明的有益效果为：
1.本发明提供了一种轻量级、高效的基于像素注意方案(lig ht weight pixelattention block,LPAB)的块，提高了卷积的表达能力，高效的对低剂量CT图像进行去噪。
2.本发明提供了一种多尺度细节上下文模块(multiscale detail contextblock,MDCB)，能够增大感受野，更好地提取细节上下文的相互依赖性。能够提取低剂量计算机断层扫描(LDCT)图像在不同尺度因子下的信息，得到与目标信息的关系和依赖性。
3.本发明通过上采样模块将采用像素注意模块得到的去噪特征向量与采用多尺度细节上下文模块得到的上下文细节紧密联系特征向量进行融合，扩展像素，最终得到超分辨率的，去噪的CT图像。
附图说明
图1为本发明实施例提供的一种低剂量CT图像超分辨率去噪方法的结构示意图，其中k代表卷积核大小，n代表输出通道大小，s代表步长，p代表填充数；
图2为本发明实施例提供的多尺度细节上下文模块结构示意图；
图3为本发明实施例提供的不同去噪方法的重建可视化结果对比图；
图4为本发明实施例提供的一种低剂量CT图像超分辨率去噪方法复原的CT图像，a为低分辨率含噪声低剂量CT肺部图像，b为复原后的CT图像。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
一种低剂量CT图像超分辨率去噪方法流程图如图1所示，具体步骤如下：
步骤1：收集真实高剂量CT肺部图像，并通过图像预处理方法，将真实高剂量CT肺部图像退化成低剂量CT肺部图像，每个高剂量CT肺部图像与对应的低剂量CT肺部图像组成一个样本；
步骤2：输入低剂量CT图像，利用两个并行通道低剂量CT图像中提取不同层次的特征细节。
具体过程为：
步骤2.1：收集低剂量CT图像。通过一个3×3卷积提取出低剂量CT图像的浅特征H。浅特征H可被设置为如公式(1)所示。
H＝fshallow(INLR) (1)
其中，fshallow为浅层学习的3×3卷积函数，INLR为低分辨率含噪声的CT图像(Noiseand Low-resolution)，NLR为低分辨率和噪声。
步骤2.2：采用两个并行通道的策略，根据输入特征对应的输出特征构建映射，该映射由12个轻量高效像素注意力模块(LPAB)和10个多尺度细节上下文模块(MDCB)组成，为了防止每个通道的剩余学习随着网络的增加而梯度下降，如式(2)和式(3)其中fLPAB表示LPAB，k表示LPAB的级数，Lout表示LPAB的输出，Lk-1为第k-1级LPAB。
其中，构建LPAB，提高卷积的表达能力的具体步骤如下：
所述轻量高效像素注意力模块包括第一通道、第二通道和第一融合单元，所述第一通道包括第一分支和第二分支，浅层特征向量经过第一分支的两个1×1卷积实现对输入浅层特征向量的去噪，同时经过第二分支的1×1卷积和3×3卷积去噪得到目标特征向量，两个分支的去噪结果经过第一激活函数Sigmold处理后得到第一通道去噪结果，所述第二通道采用1×1卷积和3×3卷积实现对输入浅层特征向量的去噪得到第二通道去噪结果，并保证与第一通道去噪结果相同的特征向量尺寸，所述第一融合单元对输入的第一通道去噪结果和第二通道去噪结果进行拼接，将输出的第一拼接特征向量经过1×1卷积实现对输入第一拼接特征向量的轻量化得到去噪特征向量。
步骤2.3：给定第二个通道包含MDCB，如公式(4)和公式(5)，其中fMDCB表示MDCB，n表示MDCB的级数，Mout表示MDCB的输出，Mn-1为第n-1级MDCB。
其中，构建MDCB的具体步骤如图2所示，具体步骤如下：
MDCB包括第二特征提取模块，第一批归一化层(BN)和第二激活函数(PRelu)，第二融合单元，第二批归一化层(BN)和第三激活函数(PRelu)，所述第二特征提取模块采用膨胀尺度分别为1、2和3的膨胀卷积实现对浅层特征向量的多尺寸特征提取，第二特征提取模块的提取结果经过第一批归一化层(BN)和第二激活函数(PRelu)处理后得到多尺寸特征向量K3D1、K3D2、K3D3，其中，K为卷积核尺寸大小，D为空洞卷积核大小，所述第二融合单元用于对多尺寸特征向量进行融合，融合后的结果经过1×1卷积，再经过第二批归一化层(BN)和第三激活函数(PRelu)处理后，得到上下文细节紧密联系特征向量。
步骤2.4：所述第一融合模块包括拼接模块和上采样模块(Upsclae)，第二拼接模块用于对输入去噪特征向量和上下文细节紧密联系的特征向量进行拼接，输出第二拼接特征向量，上采样模块用于对输出第二拼接特征向量扩大像素得到预测高剂量CT图像。
如式(6)所示的结果，式中fUpscale表示上采样模块，fConcat为第二拼接模块，ICHR为低分辨率含噪声的CT图像(Noise and Low-resolution)CHR为高分辨率和清晰，使用Pixelshuffle的上采样模块，以扩充像素。
ICHR＝fUpscale(fConcat(Mout+Lout)) (6)
构建上采样模块的具体步骤如下：
第二拼接特征向量经过规格为k3n256s1p1(卷积核为3，通道为25，步长和填充数均为1)的卷积后，将卷积结果通过第四激活函数，输入到分辨率倍率为2(scale＝2)的Pixelshuffle，然后通过k3n256s1p1卷积后得到预测高剂量CT图像，
步骤3：构建训练系统的总损失函数，根据真实高剂量CT图像通过判别器输出第一判别信息，低剂量CT图像通过生成器输出预测高剂量CT图像，预测高剂量CT图像通过判别器输出第二判别信息，第一判别信息与第二判别信息的期望构建判别器的第一损失函数；
根据第二判别信息与第一判别信息的期望构建判别器的第二损失函数；
根据预测高剂量CT图像与真实高剂量CT图像数据的均方差，第一判别信息与第二判别信息的均方差，第一损失函数，以及第二损失函数构建训练系统的总损失函数；
具体地，构建的总损失函数为：
第一损失函数loss_d1为：
loss_d1＝σ(D(y)-E[D(G(x)])
第二损失函数loss_d2为：
loss_d2＝σ(D(G(x))-E[D(y)])
训练系统的总损失函数loss_d3为：
其中，x为低剂量CT图像，y为真实高剂量CT图像，σ()为Sigmoid函数，G(x)为低剂量CT图像经过生成器输出的预测高剂量CT图像，D(y)为真实高剂量CT图像经过判别器输出的第一判别信息，D(G(x))为预测高剂量CT图像经过判别器输出的第二判别信息，E[D(y)]为第一判别信息的期望，E[D(G(x)]为第二判别信息的期望，α、β和γ为权重系数，生成器D()通过VGG网络模型进行训练，yi为第i幅真实高剂量CT图像，xi为第i幅低剂量CT图像。
如果真实高剂量CT图像比预测高剂量CT图像更真实，则第一损失函数loss_d1为1，如果预测高剂量CT图像比真实高剂量CT图像更真实，第二损失函数loss_d2为0。
利用总损失函数对训练系统进行训练，训练结束时，确定参数的生成器组成CT图像超分辨率去噪模型。
具体实验例
(1)选取实验数据
我们使用了来自2016年NIH-AAPMMayo诊所低剂量CT大挑战的实际临床数据集来训练我们的模型。在实验中，随机选取1500幅CT图像作为训练数据，200幅CT图像作为测试数据。此外，从COVID-CT数据集中选取了三幅真实的LDCT图像来评估模型的鲁棒性。
(2)实验结果
按照上述基于像素注意力的轻量级并行生成对抗网络低剂量CT图像超分辨率去噪方法中步骤训练低剂量CT图像超分辨和去噪的多尺度生成对抗网络，构造完模型后，通过加载训练模型中精度最高的生成器进行微调，然后用验证集中的图片对模型性能进行验证，得到低剂量CT图像的超分辨和去噪模型CT-LSDGAN。
图3所示，以验证集中的1张图片为例，以不同的为了评估CT-LSDGAN的性能，我们将我们的方法与目前最先进的恢复方法，即BM3D+BICUBIC，SRGAN，EDSR，VDSR，ESRGAN进行了定量比较。如图3所示，在2倍尺度下我们的CT-LSDGAN比其他方法获得了更好的度量。
图4所示，以验证集中的3张图片为例，a为高剂量CT肺部图像；b为模型COVID-CT复原图像效果图，可以很直观的看到COVID-CT的超分辨率和去噪性能具有很好的性能。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种低剂量CT图像超分辨率去噪方法，其特征在于，包括以下步骤：
(1)获取真实高剂量CT图像，将真实高剂量CT图像处理为低剂量CT图像；
(2)基于生成式对抗网络构建训练系统，包括生成器和判别器，生成器包括第一特征提取模块、至少1个轻量高效像素注意力模块、至少1个多尺度细节上下文模块和融合模块，第一特征提取模块用于从输入低剂量CT图像提取浅层特征向量，轻量高效像素注意力模块用于对输入浅层特征向量进行去噪，输出去噪特征向量，多尺度细节上下文模块用于对输入浅层特征向量扩大感受野，输出上下文细节紧密联系特征向量，融合模块用于将去噪特征向量和上下文细节紧密联系特征向量进行融合处理得到预测高剂量CT图像；
(3)构建训练系统的总损失函数，根据真实高剂量CT图像通过判别器输出第一判别信息，低剂量CT图像通过生成器输出预测高剂量CT图像，预测高剂量CT图像通过判别器输出第二判别信息，第一判别信息与第二判别信息的期望构建判别器的第一损失函数；
根据第二判别信息与第一判别信息的期望构建判别器的第二损失函数；
根据预测高剂量CT图像与真实高剂量CT图像数据的均方差，第一判别信息与第二判别信息的均方差，第一损失函数，以及第二损失函数构建训练系统的总损失函数；
(4)利用总损失函数对训练系统进行训练，训练结束时，确定参数的生成器组成CT图像超分辨率去噪模型；
(5)应用时，将低剂量CT图像输入至CT图像超分辨率去噪模型，经计算获得超分辨去噪的CT图像。
2.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述第一特征提取模块采用至少一个卷积层，即利用卷积层对低剂量CT图像进行提取，获得浅层特征向量。
3.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述轻量高效像素注意力模块包括第一通道、第二通道和第一融合单元，所述第一通道包括第一分支和第二分支，每个分支均采用至少1个卷积实现对输入浅层特征向量的去噪，两个分支的去噪结果经过第一激活函数处理后得到第一通道去噪结果，所述第二通道采用至少1个卷积实现对输入浅层特征向量的去噪得到第二通道去噪结果，所述第一融合单元对输入的第一通道去噪结果和第二通道去噪结果进行融合得到去噪特征向量。
4.根据权利要求3所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述第一分支采用至少一个1×1卷积实现对输入浅层特征向量的去噪，所述第二分支采用至少一个1×1卷积和至少一个3×3卷积实现对浅层特征向量的去噪，两个分支的去噪结果经过第一激活函数处理后得到第一通道去噪结果。
5.根据权利要求3所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述第一融合单元包括第一拼接模块和轻量化模块，第一拼接模块用于对输入第一通道去噪结果和第二通道去噪结果进行拼接，输出第一拼接特征向量，轻量化模块采用至少一个1×1卷积层实现对输入第一拼接特征向量的轻量化得到去噪特征向量。
6.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述多尺度细节上下文模块包括第二特征提取模块，第一批归一化层，第二激活函数，第二批归一化层和第三激活函数，所述第二特征提取模块采用多个不同尺度的膨胀卷积实现对浅层特征向量的多尺寸特征提取，第二特征提取模块的提取结果经过第一批归一化层和第二激活函数处理后得到多尺寸特征向量，所述第二融合单元用于对多尺寸特征向量进行融合，融合后的结果经过第二批归一化层和第三激活函数处理后得到上下文细节紧密联系特征向量。
7.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，第一损失函数loss_d1为：
loss_d1＝σ(D(y)-E[D(G(x)])
第二损失函数loss_d2为：
loss_d2＝σ(D(G(x))-E[D(y)])
训练系统的总损失函数loss_d3为：
其中，x为低剂量CT图像，y为真实高剂量CT图像，σ()为Sigmoid函数，G(x)为低剂量CT图像经过生成器输出的预测高剂量CT图像，D(y)为真实高剂量CT图像经过判别器输出的第一判别信息，D(G(x))为预测高剂量CT图像经过判别器输出的第二判别信息，E[D(y)]为第一判别信息的期望，E[D(G(x)]为第二判别信息的期望，α、β和γ为权重系数，生成器D()通过VGG网络模型进行训练，yi为第i幅真实高剂量CT图像，xi为第i幅低剂量CT图像。
8.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，对训练系统进行训练时，优化器采用adam，初始学习率设置为0.001，然后每50个epoch衰减0.1倍。
9.根据权利要求1所述的低剂量CT图像超分辨率去噪方法，其特征在于，所述融合模块包括第二拼接模块和上采样模块，第二拼接模块用于对输入去噪特征向量和上下文细节紧密联系特征向量进行拼接，输出第二拼接特征向量，上采样模块用于对输入第二拼接特征向量扩大像素得到预测高剂量CT图像。
10.一种低剂量CT图像超分辨率去噪装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用权利要求1～9任一项所述的低剂量CT图像超分辨率去噪方法构建的CT图像超分辨率去噪模型；
所述计算机处理器执行所述计算机程序时实现以下步骤：
将低剂量CT图像输入至CT图像超分辨率去噪模型中，经计算获得超分辨去噪的CT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443108.8A CN113516586A (zh) | 2021-04-23 | 2021-04-23 | 一种低剂量ct图像超分辨率去噪方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443108.8A CN113516586A (zh) | 2021-04-23 | 2021-04-23 | 一种低剂量ct图像超分辨率去噪方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113516586A true CN113516586A (zh) | 2021-10-19 |
Family
ID=78061184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443108.8A Pending CN113516586A (zh) | 2021-04-23 | 2021-04-23 | 一种低剂量ct图像超分辨率去噪方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516586A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241074A (zh) * | 2021-12-20 | 2022-03-25 | 四川大学 | 一种深度学习和电子学噪声模拟的cbct图像重建方法 |
| CN115953494A (zh) * | 2023-03-09 | 2023-04-11 | 南京航空航天大学 | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 |
| CN116725560A (zh) * | 2023-06-27 | 2023-09-12 | 深圳扬奇医芯智能科技有限公司 | 一种基于空间扩散模型的低剂量dsa血管造影方法 |
| CN116863016A (zh) * | 2023-05-31 | 2023-10-10 | 北京长木谷医疗科技股份有限公司 | 基于深度学习生成对抗网络的医学图像重建方法及装置 |
| WO2023206426A1 (zh) * | 2022-04-24 | 2023-11-02 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展 U-Net 及其在低剂量 X 射线成像的应用方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258415A (zh) * | 2020-10-27 | 2021-01-22 | 浙江工业大学 | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 |
| CN112435164A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
-
2021
- 2021-04-23 CN CN202110443108.8A patent/CN113516586A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258415A (zh) * | 2020-10-27 | 2021-01-22 | 浙江工业大学 | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 |
| CN112435164A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张杰，赵惠军，李贤威，王亚林，张梦圆: "基于生成式对抗网络技术合成医学图像的研究进展与展望", 《医疗卫生装备》, 15 October 2019 (2019-10-15), pages 93 - 98 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241074A (zh) * | 2021-12-20 | 2022-03-25 | 四川大学 | 一种深度学习和电子学噪声模拟的cbct图像重建方法 |
| WO2023206426A1 (zh) * | 2022-04-24 | 2023-11-02 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展 U-Net 及其在低剂量 X 射线成像的应用方法 |
| CN115953494A (zh) * | 2023-03-09 | 2023-04-11 | 南京航空航天大学 | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 |
| CN116863016A (zh) * | 2023-05-31 | 2023-10-10 | 北京长木谷医疗科技股份有限公司 | 基于深度学习生成对抗网络的医学图像重建方法及装置 |
| CN116725560A (zh) * | 2023-06-27 | 2023-09-12 | 深圳扬奇医芯智能科技有限公司 | 一种基于空间扩散模型的低剂量dsa血管造影方法 |
| CN116725560B (zh) * | 2023-06-27 | 2024-05-10 | 深圳扬奇医芯智能科技有限公司 | 一种基于空间扩散模型的低剂量dsa血管造影方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang et al. | Deep convolutional framelet denosing for low-dose CT via wavelet residual network | |
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| Shan et al. | 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network | |
| CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
| Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
| CN109785243B (zh) | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 | |
| CN112435164B (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| Yang et al. | High-frequency sensitive generative adversarial network for low-dose CT image denoising | |
| Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
| WO2022246677A1 (zh) | 一种增强ct图像的重建方法 | |
| CN113870138A (zh) | 基于三维U-net的低剂量CT图像去噪方法及系统 | |
| He et al. | Downsampled imaging geometric modeling for accurate CT reconstruction via deep learning | |
| CN112330565A (zh) | 基于改善的U-net的低剂量CT投影域中图像去噪方法 | |
| CN115601268A (zh) | 基于多尺度自注意力生成对抗网络的ldct图像去噪方法 | |
| Chan et al. | An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction | |
| Jeon et al. | Mm-net: Multiframe and multimask-based unsupervised deep denoising for low-dose computed tomography | |
| CN117152365B (zh) | 一种口腔cbct超低剂量成像的方法、系统及装置 | |
| CN117876261A (zh) | 一种基于深度学习的cbct散射校正成像方法 | |
| Chen et al. | Deep learning-based algorithms for low-dose CT imaging: A review | |
| Liang et al. | A model-based unsupervised deep learning method for low-dose CT reconstruction | |
| CN116596785A (zh) | 基于纹理特征引导的纹理保持低剂量ct图像去噪 | |
| Kim et al. | CNN-based CT denoising with an accurate image domain noise insertion technique | |
| Xia et al. | Dynamic controllable residual generative adversarial network for low-dose computed tomography imaging | |
| Zhu et al. | CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |