CN113436118A - 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 - Google Patents
一种基于多尺度卷积编码网络的低剂量ct图像复原方法 Download PDFInfo
- Publication number
- CN113436118A CN113436118A CN202110911552.8A CN202110911552A CN113436118A CN 113436118 A CN113436118 A CN 113436118A CN 202110911552 A CN202110911552 A CN 202110911552A CN 113436118 A CN113436118 A CN 113436118A
- Authority
- CN
- China
- Prior art keywords
- dose
- image
- low
- scale
- noise artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 abstract description 115
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001449342 Chlorocrambe hastata Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001950 radioprotection Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度卷积编码网络的低剂量CT图像复原方法,属于计算机断层成像技术领域。本发明具体公开了一种多尺度卷积编码网络,包括多尺度特征提取器,噪声伪影特征编码器,噪声伪影特征解码器和复原图像生成器四个部分,多尺度特征提取器是用于输入的低剂量CT图像的特征提取;噪声伪影特征编码器是对多尺度特征中的噪声伪影信息进行稀疏编码;噪声伪影特征解码器是解码出低剂量CT图像中的噪声伪影成分;复原图像生成器是将原输入的低剂量CT图像减去噪声伪影成分,输出复原后的CT图像。本发明可实现低剂量CT图像的高质量复原,使得复原后的图像噪声伪影少,图像质量更好,更有利于临床诊断和分析。
Description
技术领域
本发明涉及计算机断层成像技术领域,更具体地说,涉及一种基于多尺度卷积编码网络的低剂量CT图像复原方法。
背景技术
作为临床放射筛查及诊断领域内不可缺少的影像设备之一,计算机断层成像(Computed Tomography,CT)能够在毫米尺度上提供不同人体组织关于X射线的衰减差异的信息,实现无创的组织结构呈现。尤其是近年来,螺旋CT以及锥束CT等新技术的快速发展,大大扩展了其在不同领域中的应用。然而,CT扫描广泛使用的同时也带来了巨大的X射线辐射伤害,尤其是其累积效应,也就是X射线伤害剂量会在一个较长时期内累积,会增加被扫描者获得潜在疾病的风险,且影响范围广。国际辐射防护委员会曾建议,在能得到清晰图像的情况下,“剂量越低越好”,因此“Low Dose”已经成为目前影像设备研发的主要方向。
然而降低放射剂量和清晰的高质量图像永远是一对矛盾体,对于一定的扫描条件和检查部位,为了得到更好的图像质量和对更小病变的定位显示,一般需要大量的X射线扫描来提高组织衰减信号的获取强度,而单方面降低病人所受的X射线照射将带来投影数据中的组织衰减信息总量的减少,导致重建图像中噪声的增加,同时由降低曝光剂量所导致的一些投影角或探测器通道上的数据量减少也会给重建图像带来斑点噪声和星条状伪影,影响临床医生对病灶的检测。为了解决这一问题,科学研究领域和工业界纷纷提出各种低剂量CT图像处理及复原的方法,包括对各阶段数据进行去噪、复原等处理,及各种新型的重建算法等。尤其是近年来以数据为驱动的学习型方法,具有测试时间短、处理效果好等优势,已逐步应用于低剂量CT图像处理及复原领域中,是数据量充足条件下优先考虑的算法类型。
在众多以数据驱动的算法中,稀疏学习的研究尤为广泛,在特征识别、纹理分类和图像去噪、复原等领域中受到广泛关注,与此同时也已逐渐应用于低剂量CT图像处理中,其直观优越的性能也逐步显露出来。此外,随着深度学习的发展,在医学成像及辅助诊断领域逐步得到了应用。深度学习方法是通过多个网络层的非线性叠加将低层特征提取组合,从而构成更加抽象、表示能力更强的深层次特征,可实现对任意复杂非线性函数的近似最优化逼近。为克服稀疏学习特征提取单一,结构简单的不足,及深度学习的可解释性问题,处理过程中的不透明性等缺点,本发明提出一种基于多尺度卷积编码网络,并用于低剂量CT图像的复原。本发明方法是通过结合多尺度卷积编码与深度卷积网络强大的表示能力的优势,建立可解释的多尺度卷积编码网络模型,以增强特征学习能力,充分提取低剂量CT图像中的噪声伪影特征,提高复原后的CT图像质量,实现高对比度、高分辨、少噪声、少伪影、低剂量的CT成像,为患者降低额外辐射,增加诊疗收益。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
1.发明要解决的技术问题
本发明的目的在于克服现有技术中低剂量CT图像复原方法存在的复原后图像质量不高、对比度下降,细节保持与噪声伪影残留难以统一,算法普适性差等问题,拟提供一种基于多尺度卷积编码网络的低剂量CT图像复原方法,称之为多尺度卷积编码网络(Multi-scale Convolutional Coding Network,简称MCCN)。该方法是在不改变现有的CT硬件成本条件下,通过多尺度上的卷积特征学习,以提高特征信息感知、编码及解码能力,从大量数据中获得丰富的先验知识,服务于低剂量CT图像复原,提高复原后的CT图像质量,实现高对比度、高分辨、少噪声、少伪影、低剂量的CT成像,为患者降低额外辐射,增加诊疗收益。
2.技术方案
为达到上述目的,本发明提供的技术方案为:
本发明的一种基于多尺度卷积编码网络的低剂量CT图像复原方法,包括以下步骤:
步骤1、采集数据多组匹配的低剂量CT图像与常规剂量的CT图像,构建数据集并用于网络训练;
步骤2、建立多尺度卷积编码网络,用于低剂量CT图像与常规剂量的CT图像之间的映射;
步骤3、使用数据集中的数据对多尺度卷积编码网络进行训练,获得网络模型参数;
作为本发明更进一步的改进,步骤1中采集数据的基本要求为,使用特定部位的仿真体模进行扫描,除扫描剂量不同外,其它扫描参数均相同,同时保证低剂量CT图像与常规剂量的CT图像的扫描位置是匹配的,在所构建的数据集中,低剂量CT图像为训练数据,常规剂量的CT图像为标签数据。
作为本发明更进一步的改进,步骤2中所构建的多尺度卷积编码网络包括四个部分:多尺度特征提取器、噪声伪影特征编码器、噪声伪影特征解码器和复原图像生成器。
作为本发明更进一步的改进,步骤2中的多尺度特征提取器主要结构为,首先是三个不同尺度的卷积,每个尺度包括两个卷积层,可表示为:Fi,j,其中i为尺度,j为单个尺度下的卷积层个数,每个卷积层后均使用一个ReLU激活函数,为提取不同尺度低剂量CT图像的特征信息;然后通过Concat层将不同尺度特征信息组合;接下来按先后顺序连接一个卷积层E及一个ReLU激活函数,以获取最终的图像的多尺度特征,用于噪声伪影特征编码器的特征提取。
作为本发明更进一步的改进,步骤2中的噪声伪影特征编码器为编码低剂量CT图像中的噪声伪影高频特征,基本结构为,首先是注意力权重学习层AWL1,ReLU激活函数和注意力权重学习层AWL2,实现对不同尺度特征的权重编码;然后通过一个稀疏卷积层S,实现噪声伪影特征的稀疏编码。
作为本发明更进一步的改进,步骤2中的注意力权重学习层基本结构的先后顺序为:一个平均池化层,一个全连接层,ReLU激活函数,一个全连接层,sigmoid激活函数。
作为本发明更进一步的改进,步骤2中的噪声伪影特征解码器,包括一个卷积层R1,一个ReLU激活函数和一个卷积层R2,用于编码后的噪声伪影特征表达,解码出低剂量CT图像中的噪声伪影成分。
作为本发明更进一步的改进,步骤2中的复原图像生成器为网络的输出,通过将噪声伪影成分与低剂量CT图像相减,输出复原后的CT图像。
作为本发明更进一步的改进,步骤2中所建立的多尺度卷积编码网络,先后顺序级联了20次噪声伪影特征编码器,以实现噪声伪影特征的充分编码。
作为本发明更进一步的改进,步骤3中,训练数据低剂量CT图像和标签数据常规剂量的CT图像输入到网络中,输出复原后的CT图像并以均方误差的形式建立复原后图像与标签数据之间的损失函数;通过小批量随机梯度下降算法来迭代更新网络模型参数,降低损失值;当训练周期前后Loss的值变化在2%范围内停止迭代,得到网络模型参数。
3.有益效果
采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
本发明公开了用于低剂量CT图像复原的多尺度卷积编码网络,该网络包括多尺度特征提取器,噪声伪影特征编码器,噪声伪影特征解码器,复原图像生成器四个部分。其中,多尺度特征提取器是在输入的低剂量CT图像上进行特征提取,可初步获取图像的多尺度特征;噪声伪影特征编码器是对多尺度特征中的噪声伪影信息进行稀疏编码;噪声伪影特征解码器是对编码后的噪声伪影特征进行表达,解码出低剂量CT图像中的噪声伪影成分;复原图像生成器是将原输入的低剂量CT图像减去解码出的噪声伪影成分,输出复原后的CT图像。本发明的方法可实现低剂量CT图像的复原,建立低剂量CT图像与高质量复原图像之间的映射,使得复原后的图像噪声伪影少,结构细节对比度高,图像质量更好,其结果更有利于临床诊断和分析。实验结果验证了在约1/4常规剂量的CT图像复原中,本发明方法(MCCN)与现有的残差卷积神经网络(Residual Convolutional Neural Network,简称ResNet)和稠密型卷积神经网络(Densely Connected Convolutional Neural Networks,简称DenseNet)相比,可有效的去除低剂量CT图像中的斑点噪声及条状伪影信息,改善原低剂量CT图像质量,且不破坏解剖结构信息,复原后的图像具有较好的视觉效果与对比度。本发明方法有望为国内医院影像科室和CT制造商提供先进实用的低剂量CT图像处理框架,为患者降低额外辐射,增加诊疗收益,具有较高的应用和推广前景。本发明的基于多尺度卷积编码网络的低剂量CT图像复原方法,是在前期的研究基础上,采用多尺度的卷积编码分形式,增加特征提取的丰富性,可将不同尺度提取的特征进行融合编码。噪声伪影特征编码器中采用了注意力权重学习策略,可对噪声伪影特征进行权重编码,提高了特征编码效率。最终建立可解释的网络模型,实现了低剂量CT图像的优质复原。
附图说明
图1为本发明实施例中基于多尺度卷积编码网络的低剂量CT图像复原方法的网络结构图;
图2为本发明实施例中五幅典型的训练数据(a1~a5:常规剂量CT图像;b1~b5低剂量CT图像);
图3为本发明实施例中用于测试的横断面常规剂量CT图像及低剂量CT图像(a:常规剂量CT图像;b:低剂量CT图像);
图4为本发明实施例中使用不同方法复原后的横断面结果(a:ResNet;b:DenseNet;c:MCCN);
图5为本发明实施例中使用不同方法复原后的横断面误差图(a:ResNet;b:DenseNet;c:MCCN);
图6为本发明实施例中用于测试的矢状面常规剂量CT图像及低剂量CT图像(a:常规剂量CT图像;b:低剂量CT图像);
图7为本发明实施例中使用不同方法复原后的矢状面结果(a:ResNet;b:DenseNet;c:MCCN);
图8为本发明实施例中使用不同方法复原后的矢状面误差图(a:ResNet;b:DenseNet;c:MCCN);
图9为本发明实施例中不同方法复原后图像的Profile曲线对比图(a:横断面;b:矢状面)。
具体实施方式
为进一步了解本发明的内容,结合附图对本发明作详细描述。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
下面结合实施例对本发明作进一步的描述。
实施例1
本实施例的一种基于多尺度卷积编码网络的低剂量CT图像复原方法的网络结构图如图1所示,具体步骤如下:
步骤1、采集数据多组匹配的低剂量CT图像与常规剂量的CT图像,构建数据集Ω并用于网络训练;
具体的,组建特定的训练数据集,其基本要求为,使用特定部位的仿真体模进行扫描,除扫描剂量不同外,其它扫描参数均相同,要求保证低剂量CT图像与常规剂量的CT图像的扫描位置是匹配的,如对腹部进行低剂量CT扫描,可使用降低电流的方式降低剂量,即除扫描电流参数不同,其它参数均相同(如:扫描管电压,扫描角度,体素大小)的策略进行数据采集。在所构建的数据集Ω中,低剂量CT图像为训练数据,常规剂量的CT图像为标签数据。
步骤2、建立多尺度卷积编码网络,用于低剂量CT图像与常规剂量的CT图像之间的映射;
具体的,使用以低剂量CT图像为训练数据,常规剂量的CT图像为标签数据的数据集,来设计专用于低剂量CT图像复原的端到端的多尺度卷积编码网络,来去除低剂量CT图像中的噪声伪影成分,使其接近于常规剂量的CT图像该网络我们称之为多尺度卷积编码网络(Multi-scale Convolutional Coding Network,简称MCCN),如图1所示。多尺度卷积编码网络包括四个部分:多尺度特征提取器,噪声伪影特征编码器,噪声伪影特征解码器,复原图像生成器。多尺度特征提取器主要结构为,首先是三个不同尺度的卷积,每个尺度包括两个卷积层,可表示为:Fi,j,其中i为尺度,j为单个尺度下的卷积层个数,每个卷积层后均使用一个ReLU激活函数,为提取不同尺度低剂量CT图像的特征信息;然后通过Concat层将不同尺度特征信息组合;接下来按先后顺序连接一个卷积层E及一个ReLU激活函数,以获取最终的图像的多尺度特征,用于噪声伪影特征编码器的特征提取。多尺度特征提取器数学模型可表示为:
噪声伪影特征编码器为编码低剂量CT图像中的噪声伪影高频特征,基本结构为,首先是注意力权重学习层AWL1,ReLU激活函数和注意力权重学习层AWL2,实现对不同尺度特征的权重编码,其中注意力权重学习层基本结构按先后顺序为:一个平均池化层,一个全连接层,ReLU激活函数,一个全连接层,sigmoid激活函数;然后通过一个稀疏卷积层S,实现噪声伪影特征的稀疏编码。在本发明所建立的多尺度卷积编码网络中,先后顺序级联了20次噪声伪影特征编码器,以实现噪声伪影特征的充分编码。则噪声伪影特征编码器数学模型可表示为:
η(k)=S*α(k)+y (2)
α(k+1)=AWL1(ReLU(AWL2(η(k)))-τ) (3)
其中α为学习型卷积稀疏编码阶段的输出,η为中间变量,S表示稀疏卷积层,上标k为级联次数,τ为训练获得的阈值参数,AWL1(·)和AWL2(·)分别为两个注意力权重学习层,注意力权重学习层AWL(ε)的数学模型可表示为:AWL(ε)=δ(FC2(ReLU(FC1(AP(ε)))));δ(·)为sigmoid激活函数,FC1(·)和FC2(·)分别为两个全连接层,AP(·)为平均池化层,ReLU(·)为ReLU激活函数。
噪声伪影特征解码器,包括一个卷积层R1,一个ReLU激活函数和一个卷积层R2,用于编码后的噪声伪影特征表达,解码出低剂量CT图像中的噪声伪影成分。则噪声伪影特征解码器可表示为:
复原图像生成器为网络的输出,通过将噪声伪影成分与低剂量CT图像相减,输出网络预测图像,也就是复原后的CT图像,可表示为:
步骤3、使用数据集中的数据对多尺度卷积编码网络进行训练,获得网络模型参数;
其中为训练数据复原后的图像,为训练数据,为标签数据,Ω为数据集。通过小批量随机梯度下降算法来迭代更新网络模型参数,降低损失函数Loss的值,实验中批量数据大小为32,动量为0.9,衰减权重为10-4;当训练周期前后Loss的值变化在2%范围内停止迭代,得到网络模型参数。
步骤4、用训练好的网络来处理低剂量CT图像,输出复原后的图像。
效果评估准则
为了验证本发明方法效果,进行如下对比实验:从Lowdose Challenge比赛公布的数据[https://www.aapm.org/GrandChallenge/LowDoseCT],选取其中九组扫描数据作为训练数据集,一组数据用于测试。扫描设备为:Somatom Definition AS+CT,参数为:管电压100KVp,管电流为360mAs(常规剂量)/85mAs(约1/4常规剂量的低剂量条件),探测器单元尺寸为1.2856×1.0947mm2,个数为736×64,射线源到物体中心和探测器中心的距离分别为595mm和1085.6mm。图像数据均来自扫描设备所提供的FBP算法重建图,未进行任何预处理。重建图像横断面像素大小512×512,图像像素尺寸为0.8×0.8 mm2,重建层厚为1mm。
图2为五幅典型的训练数据,第一行为常规剂量CT图像,作为数据集中的标签数据,第二行为低剂量CT图像,作为数据集中的训练数据。图3为本发明实施例中用于测试的横断面常规剂量CT图像及低剂量CT图像噪声伪影图像,图6为本发明实施例中用于测试的矢状面常规剂量CT图像及低剂量CT图像。图3与图6为参照图,用于对比不同方法复原效果情况。附图中,低剂量CT图像、正常剂量CT图像和复原后的图像其显示窗宽均为400HU(Housfield Units,HU),窗位均为50HU;误差图显示窗宽为200HU,窗位为0HU。
主观评价
从实验结果图3-8中可以看到,可以看到本发明的复原方法获得的图像质量均优于ResNet和DenseNet的,具有更好的视觉效果,在纹理细节、边界及细节信息保留程度和噪声伪影移除方面性能更优。通过与常规剂量CT图像相比,本发明复原后的图像更加接近常规剂量CT图像,视觉纹理更自然,误差图中的组织结构信息更少。而ResNet和DenseNet方法复原后的图像均残留部分噪声伪影,部分细节边界模糊,尤其是在软组织区域,区分度低,容易影响诊断。
客观评价
在使用主观评价本发明方法在对低剂量CT图像复原有效性的同时,实验将进一步采用MSE,PSNR和SSIM三个量化指标来验证本发明方法的有效性,MSE,PSNR和SSIM的计算方法如下:
其中xT为复原后图像,xr为用于常规剂量下的CT图像,i,j为图像像素总数;Hmax为xr的最大值,μxT和μxr分别表示CT图像xT和xr中总像素CT值的平均值;σxT和σxr分别表示CT图像xT和xr中总像素CT值的标准差值,σxTr为CT图像xT与xr的协方差,常数C1=(0.01×Hmax)2,C2=(0.03×Hmax)2。以常规剂量CT图像为参考图,可计算MCCN,ResNet及DenseNet方法复原后图像的MSE,PSNR和SSIM值,其结果如表1所示。
表1
从表1中可以看到,在横断面及矢状面数据上本发明的复原方法可获得更低MSE,更高PSNR和SSIM值的CT图像,也意味着复原后的图像更加接近常规剂量的CT图像。图9为量化比较复原后图像在同一位置上的像素波动情况,可以发现,MCCN复原后的图像像素曲线更加平滑,强度波动范围小,即噪声伪影干扰少,这也表明本发明方法复原后图像视觉效果更好。从上述实验可以看到,采用本发明方法可有效去除低剂量CT图像中的斑点噪声及条状伪影信息,改善原低剂量CT图像质量,且不破坏组织解剖结构信息,使得复原后的图像具有较好的视觉效果与对比度。本发明方法有望为国内医院影像科室和CT制造商提供先进实用的低剂量CT图像处理框架,为患者降低额外辐射,增加诊疗收益,具有较高的应用和推广前景。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
Claims (10)
3.根据权利要求1所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中所构建的多尺度卷积编码网络包括四个部分:多尺度特征提取器、噪声伪影特征编码器、噪声伪影特征解码器和复原图像生成器。
4.根据权利要求3所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中的多尺度特征提取器主要结构为,首先是三个不同尺度的卷积,每个尺度包括两个卷积层,可表示为:Fi,j,其中i为尺度,j为单个尺度下的卷积层个数,每个卷积层后均使用一个ReLU激活函数,为提取不同尺度低剂量CT图像的特征信息;然后通过Concat层将不同尺度特征信息组合;接下来按先后顺序连接一个卷积层E及一个ReLU激活函数,以获取最终的图像的多尺度特征,用于噪声伪影特征编码器的特征提取。
5.根据权利要求3所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中的噪声伪影特征编码器为编码低剂量CT图像中的噪声伪影高频特征,基本结构为,首先是注意力权重学习层AWL1,ReLU激活函数和注意力权重学习层AWL2,实现对不同尺度特征的权重编码;然后通过一个稀疏卷积层S,实现噪声伪影特征的稀疏编码。
6.根据权利要求5所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中的注意力权重学习层基本结构按先后顺序为:一个平均池化层,一个全连接层,ReLU激活函数,一个全连接层,sigmoid激活函数。
7.根据权利要求3所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中的噪声伪影特征解码器,包括一个卷积层R1,一个ReLU激活函数和一个卷积层R2,用于编码后的噪声伪影特征表达,解码出低剂量CT图像中的噪声伪影成分。
8.根据权利要求7所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中的复原图像生成器为网络的输出,通过将噪声伪影成分与低剂量CT图像相减,输出复原后的CT图像。
9.根据权利要求3所述的基于多尺度卷积编码网络的低剂量CT图像复原方法,其特征在于:步骤2中所建立的多尺度卷积编码网络,先后顺序级联了20次噪声伪影特征编码器,以实现噪声伪影特征的充分编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911552.8A CN113436118B (zh) | 2021-08-10 | 2021-08-10 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911552.8A CN113436118B (zh) | 2021-08-10 | 2021-08-10 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436118A true CN113436118A (zh) | 2021-09-24 |
CN113436118B CN113436118B (zh) | 2022-09-27 |
Family
ID=77763094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110911552.8A Active CN113436118B (zh) | 2021-08-10 | 2021-08-10 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436118B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823660A (zh) * | 2023-06-29 | 2023-09-29 | 杭州雅智医疗技术有限公司 | 用于ct图像修复的双流网络模型的构建方法、装置及应用 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961237A (zh) * | 2018-06-28 | 2018-12-07 | 安徽工程大学 | 一种基于卷积神经网络的低剂量ct图像分解方法 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
CN109166161A (zh) * | 2018-07-04 | 2019-01-08 | 东南大学 | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 |
CN110753935A (zh) * | 2017-04-25 | 2020-02-04 | 小利兰·斯坦福大学托管委员会 | 用于医学成像的使用深度卷积神经网络的剂量减少 |
CN110766632A (zh) * | 2019-10-22 | 2020-02-07 | 广东启迪图卫科技股份有限公司 | 基于通道注意力机制和特征金字塔的图像去噪方法 |
CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
CN111815536A (zh) * | 2020-07-15 | 2020-10-23 | 电子科技大学 | 一种基于轮廓加强策略的运动模糊修复方法 |
CN111899193A (zh) * | 2020-07-30 | 2020-11-06 | 湖北工业大学 | 一种基于低照度图像增强算法的刑侦摄影系统及方法 |
CN111968058A (zh) * | 2020-08-25 | 2020-11-20 | 北京交通大学 | 一种低剂量ct图像降噪方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN113034641A (zh) * | 2021-03-29 | 2021-06-25 | 安徽工程大学 | 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法 |
-
2021
- 2021-08-10 CN CN202110911552.8A patent/CN113436118B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110753935A (zh) * | 2017-04-25 | 2020-02-04 | 小利兰·斯坦福大学托管委员会 | 用于医学成像的使用深度卷积神经网络的剂量减少 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
CN108961237A (zh) * | 2018-06-28 | 2018-12-07 | 安徽工程大学 | 一种基于卷积神经网络的低剂量ct图像分解方法 |
CN109166161A (zh) * | 2018-07-04 | 2019-01-08 | 东南大学 | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 |
CN110766632A (zh) * | 2019-10-22 | 2020-02-07 | 广东启迪图卫科技股份有限公司 | 基于通道注意力机制和特征金字塔的图像去噪方法 |
CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
CN111815536A (zh) * | 2020-07-15 | 2020-10-23 | 电子科技大学 | 一种基于轮廓加强策略的运动模糊修复方法 |
CN111899193A (zh) * | 2020-07-30 | 2020-11-06 | 湖北工业大学 | 一种基于低照度图像增强算法的刑侦摄影系统及方法 |
CN111968058A (zh) * | 2020-08-25 | 2020-11-20 | 北京交通大学 | 一种低剂量ct图像降噪方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN113034641A (zh) * | 2021-03-29 | 2021-06-25 | 安徽工程大学 | 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法 |
Non-Patent Citations (2)
Title |
---|
WEISHENG DONG等: "《Denoising Prior Driven Deep Neural Network for Image Restoration》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
亢艳芹等: "《联合卷积稀疏编码与梯度L0范数的低剂量CT三维重建》", 《光学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823660A (zh) * | 2023-06-29 | 2023-09-29 | 杭州雅智医疗技术有限公司 | 用于ct图像修复的双流网络模型的构建方法、装置及应用 |
CN116823660B (zh) * | 2023-06-29 | 2023-12-22 | 杭州雅智医疗技术有限公司 | 用于ct图像修复的双流网络模型的构建方法、装置及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN113436118B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898642B (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
Hu et al. | Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks | |
Yang et al. | Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss | |
CN109166161B (zh) | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 | |
CN108961237B (zh) | 一种基于卷积神经网络的低剂量ct图像分解方法 | |
CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
Nishio et al. | Convolutional auto-encoder for image denoising of ultra-low-dose CT | |
Kuanar et al. | Low dose abdominal CT image reconstruction: An unsupervised learning based approach | |
Heinrich et al. | Residual U-net convolutional neural network architecture for low-dose CT denoising | |
CN109102550B (zh) | 基于卷积残差网络的全网络低剂量ct成像方法及装置 | |
CN110223255B (zh) | 一种基于残差编解码网络的低剂量ct图像去噪递归方法 | |
CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
CN111047524A (zh) | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 | |
CN112258642B (zh) | 基于深度学习的低剂量pet数据三维迭代更新重建方法 | |
CN111882503A (zh) | 一种图像降噪方法及其应用 | |
CN112381741A (zh) | 基于spect数据采样与噪声特性的断层图像重建方法 | |
Song et al. | Low-dose cardiac-gated spect studies using a residual convolutional neural network | |
CN113052936A (zh) | 集成fdk和深度学习的单视角ct重建方法 | |
CN113436118B (zh) | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 | |
Feng et al. | Dual residual convolutional neural network (DRCNN) for low-dose CT imaging | |
CN109816747A (zh) | 一种头部ct图像的金属伪影校正方法 | |
CN111860836A (zh) | 一种自监督学习方法及应用 | |
CN116630738A (zh) | 一种基于深度卷积稀疏表示重建网络的能谱ct成像方法 | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |