CN111968058A - 一种低剂量ct图像降噪方法 - Google Patents
一种低剂量ct图像降噪方法 Download PDFInfo
- Publication number
- CN111968058A CN111968058A CN202010863754.5A CN202010863754A CN111968058A CN 111968058 A CN111968058 A CN 111968058A CN 202010863754 A CN202010863754 A CN 202010863754A CN 111968058 A CN111968058 A CN 111968058A
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- image
- network model
- layer
- dose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000009191 jumping Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 71
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种低剂量CT图像降噪方法，包括：获取训练数据集；建立降噪网络模型，包括自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取；第一融合层对自适应边缘特征提取模块的输出信号和输入信号进行融合；卷积模块包括多层卷积层构成的编码器、多层返卷积层构成的解码器以及第二融合层，编码器对第一融合层的输出信号进行编码，第二融合层使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，输出降噪后的特征图；对降噪网络模型进行训练、测试；采用测试好的降噪网络模型对低剂量CT图像降噪。本方法能够保留更多细粒度的信息，得到更加接近目标图像的降噪结果。
Description
技术领域
本发明涉及医学影像图像研究领域，尤其涉及一种低剂量CT图像降噪方法。
背景技术
电子计算机断层扫描(Computed Tomography，简称CT)在当今时代的医学诊断中发挥着非常重要的作用，但该项技术所使用的射线存在的安全隐患也引起了越来越多人的担忧。对于CT图像的成像效果来说，高剂量射线的使用能够提高成像的质量，但同时会增加射线带来的安全隐患，而使用低剂量的射线能够极大降低射线的危害，却会降低图像的清晰度，引入较多的噪声，给后期医生的诊断带来挑战。
在医学影像图像研究领域中，CT图像降噪问题即是该领域的一个重要研究问题，该研究问题要解决的是低剂量射线拍摄的CT图像的噪声抑制和信息重建的任务。这样可以同时兼顾安全性和拍摄的图像质量的问题。
低剂量CT图像降噪任务的目标是利用设计的算法对低剂量射线拍摄得到的CT图像做噪声抑制和信息重建处理，使其能够达到高剂量的射线拍摄的CT图像的图像质量，在使用过程中可将该算法集成到CT机中，使得CT机可以实现以一种更加安全的用较低剂量的射线方式，得到高质量的成像结果。
现有技术中关于低剂量CT图像降噪算法，主要有三类：第一类是正弦图域滤波(SDF,Sinogram Domain Filtration)，该技术在图像重建前对原始数据或对数变换后的数据进行滤波，如滤波反投影，典型的方法包括结构自适应滤波、双边滤波和惩罚加权最小二乘算法等，这类方法存在的问题是会将图像的一些边缘变模糊，使图像失真；第二类是迭代重建(IR,Iterative Reconstruction)，该方法将正弦图域数据的统计特性、图像域中的先验信息、甚至成像系统的参数统一为一个目标函数，这类方法也是目前较多的商用的CT机器上使用的算法，能够达到降噪效果，但是迭代的过程复杂，耗费时间长，影响计算效率；第三类是图像后处理(IPP,Image Post-Processing)，这类方法是直接对CT图像数据进行后处理，直接端到端的完成图像的降噪工作，结合近几年飞速发展的深度学习技术，有潜力能够高效的完成降噪工作，基于近几年快速发展的深度学习技术，涌现出了很多使用卷积神经网络的模型算法，采用该方法，力求以图像后处理的方式又快又好的完成低剂量CT图像的降噪与信息重建工作，如图1所示的REDCNN(Residual Encoder-Decoder ConvolutionalNeural Network，剩余编解码卷积神经网络)方法，整体结构上使用的是编码器解码器的结构，关于模型算法的处理流程，输入的低剂量CT图像首先通过若干个卷积层和激活函数层构成的编码器，进行编码工作，之后对称的通过由若干个反卷积层和激活函数层构成的解码器，进行解码工作，其间使用了从编码器阶段取过来的特征，将其和当前阶段的特征进行逐元素的相加，进行特征的融合，之后直接输出降噪后的CT图像。在训练过程中，该算法直接计算的输出图像和目标图像(高剂量射线所拍摄的CT图像)之间的均方误差损失(MSELoss),利用该损失函数对模型算法内部的权重进行梯度更新；在测试过程中，直接使用该算法模型，输入待降噪的低剂量CT图像，即可获得算法模型输出的降噪后的CT图像。但是该方法的缺点主要表现为：编码器和解码器之间的特征融合使用了直接相加的方式，不能很好的做好内部特征的保留和结合；逐像素的距离计算并不能很好的代表最终的图像降噪效果，基于MSE Loss的模型更容易发生图像过平滑的问题，使图像变模糊。
因此，亟需一种可以提高了输出图像质量以及更加接近于目标图像降噪结果的低剂量CT图像降噪方法。
发明内容
本发明提供了一种低剂量CT图像降噪方法，以解决现有技术问题中的缺陷。
为了实现上述目的，本发明采取了如下技术方案。
本实施例提供了一种低剂量CT图像降噪方法，包括：
获取训练数据集，所述训练数据集包括多组成对的低剂量CT图像和高剂量CT图像，所述的高剂量CT图像作为降噪方法的目标图像；
建立降噪网络模型，所述降噪网络模型包括依次连接的自适应边缘特征提取模块、第一融合层、卷积模块，所述的自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取，所述的第一融合层用于对自适应边缘特征提取模块的输出信号和输入信号进行融合，所述的卷积模块包括多层卷积层构成的编码器和多层返卷积层构成的解码器以及第二融合层，所述编码器对第一融合层的输出信号进行编码，所述第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，最终通过解码器输出降噪后的特征图；
利用所述的训练数据集对所述的降噪网络模型进行训练，得到训练好的降噪网络模型；
对所述训练好的降噪网络模型进行测试，得到测试好的降噪网络模型；
采用测试好的降噪网络模型对低剂量CT图像降噪。
优选地，自适应边缘特征提取模块包括可训练的Sobel算子，可训练的Sobel算子为固定数值的Sobel算子增加了一个可学习参数α作为可训练的Sobel算子的权重，在前向传播计算损失的过程中计算梯度，并在反向传播的利用优化算法结合计算的梯度进行可学习参数α的更新操作，实现自适应的调整过程，在使用的过程中成组的使用X轴方向、Y轴方向和两个对角线方向。
优选地，自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取，所述的第一融合层用于对自适应边缘特征提取模块的输出信号和输入信号进行融合，包括：使用一定数量的可训练的Sobel算子作为卷积核的权重，进行卷积操作，得到一组提取边缘信息的特征图，之后通过第一融合层将所述特征图和输入的低剂量CT图像在通道维度堆叠在一起，然后通过使用1x1的普通卷积操作，将跨通道的信息联系在一起得到融合后的特征图。
优选地，第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合包括：第二融合层用于使用跳跃的方式将解码器的反卷积层与其在编码器中对称的卷积层分别定义了对应的可学习的一维的权重参数向量，向量的长度和待融合的特征图的通道数一致，在融合的过程中对应通道进行softmax运算，将数值转化为0和1之间的比率表示，然后对应通道相乘再相加，得到融合之后的特征图。
优选地，卷积模块包括5层卷积层构成的编码器和5层返卷积层构成的解码器，所述编码器和解码器的卷积核的数量为32，卷积核使用的尺寸为3x。
优选地，利用所述的训练数据集对所述的降噪网络模型进行训练，得到训练好的降噪网络模型，包括：采用均方误差损失和感知损失的复合损失函数计算降噪图像和目标图像之间的损失，使用损失进行反向传播，更新降噪网络模型，重复更新直至达到设定的迭代轮数。
优选地，对所述训练好的降噪网络模型进行测试，得到测试好的降噪网络模型，包括：加载测试集的数据至训练好的模型，计算评估指标，降噪网络模型的性能是否满足预期要求，若不满足，则重新回到训练环节，进行进一步的调整训练参数，若满足评估指标，则保存模型参数，并将对应该参数的降噪网络模型作为测试好的降噪网络模型。
优选地，获取训练数据集之后还需要对低剂量CT图像和高剂量CT图像进行预处理。
优选地，采用均方误差损失和感知损失的复合损失函数计算降噪图像和目标图像之间的损失，具体包括：选取一个已经训练好的图像分类的模型φ，使用图像分类的模型前面的卷积层结构，并加载该图像分类模型的模型权重，将降噪的输出结果和目标图像都通过这个模型，得到输出的特征图，之后在特征空间再进行均方误差损失的计算如下式(3)所示，得到感知损失值；进而使用设置好的超参数wp，根据上式(1)计算得到最终的复合损失值：
Loss＝MSE Loss+wp*PerceptualLoss (1)
其中，(2)为均方误差损失函数，(3)为感知损失函数。
优选地，所述第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，包括：所述第二融合层具体用于将第五卷积层与第一反卷积层融合输入至第二反卷积层；第三卷积层和第三反卷积层融合输入至第四反卷积层；卷积模块的输入和第五反卷积层的输出融合。
由上述本发明的低剂量CT图像降噪方法提供的技术方案可以看出，本发明首先使用设计的自适应边缘特征提取方法进行边缘特征的提取，并与原始输入图像进行了特征的融合，之后使用了轻量级的编码器解码器的结构，其间使用选择性的特征融合模块进行了编码器和解码器的特征融合，最终输出了降噪后的结果，本发明采用的降噪网络模型的算法参数大大减少，有效地减少了训练时间以及对于硬件的消耗；通过自适应的边缘特征提取模块，能够丰富输入端的信息，提高降噪网络模型的降噪性能；使用了选择性的加权的特征融合，相较于直接相加的方方式进行特征融合，提高了降噪网络模型的评估指标；融合使用均方误差损失和感知损失的复合损失，相较于单一使用均方误差损失，输出图像的细节保留程度更好，图像的清晰度更高。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的REDCNN方法示意图；
图2为本实施例的低剂量CT图像降噪方法流程示意图；
图3为本实施例的采用第二融合层进行融合的具体实施方式示意图；
图4为本实施例的可训练算子示意图；
图5为从特征提取模块到第一融合层的流程示意图；
图6为本实施例的第二融合层的处理步骤示意图；
图7为采用本实施例的方法对低剂量CT图像降噪的具体流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且并不构成对本发明实施例的限定。
实施例
图2为本实施例的低剂量CT图像降噪方法流程示意图，参照图2，该方法包括：
S1获取训练数据集。
训练数据集包括多组成对的低剂量CT图像和高剂量CT图像，高剂量CT图像作为降噪方法的目标图像。
获取训练数据集之后还需要对低剂量CT图像和高剂量CT图像进行预处理，包括数据的标准化、图像的裁剪以及增强变换。
S2建立降噪网络模型，降噪网络模型包括依次连接的自适应边缘特征提取模块、第一融合层和卷积模块。
自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取，第一融合层用于对自适应边缘特征提取模块的输出信号和输入信号进行融合，卷积模块包括多层卷积层构成的编码器和多层返卷积层构成的解码器以及第二融合层，编码器对第一融合层的输出信号进行编码，第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，最终通过解码器输出降噪后的特征图。
自适应边缘特征提取模块包括一个可训练的Sobel算子，图4为本实施例的可训练算子示意图，与传统的固定数值的Sobel算子不同的是，可训练的Sobel算子为传统的固定数值的Sobel算子增加了可学习参数α(被称为Sobel因子)作为Sobel算子的权重，这个参数可以在训练的过程中以自适应的方式进行动态调整α，在前向传播计算损失的过程中计算梯度，并在反向传播的利用优化算法结合计算的梯度进行可学习参数α的更新操作，实现自适应的调整过程，在使用的过程中成组的使用X轴方向、Y轴方向和两个对角线方向。
从特征提取模块到第一融合层的流程示意图如图5所示，使用一定数量的可训练的Sobel算子(对其中的Sobel因子α进行了初始化，将其值均设置为1)作为卷积核的权重，进行卷积操作，得到一组提取边缘信息的特征图，之后通过第一融合层将特征图和输入的低剂量CT图像在通道维度堆叠在一起，然后通过使用1x1的普通卷积操作，将跨通道的信息联系在一起得到融合后的特征图。
图6为本实施例的第二融合层的处理步骤示意图，参照图6，第二融合层用于使用跳跃的方式将解码器的反卷积层与其在编码器中对称的卷积层分别定义了对应的可学习的一维的权重参数向量，向量的长度和待融合的特征图的通道数一致，在融合的过程中对应通道进行softmax运算，将数值转化为0和1之间的比率表示，然后对应通道相乘再相加，得到融合之后的特征图。
优选地，卷积模块包括5层卷积层构成的编码器和5层返卷积层构成的解码器，编码器和解码器的卷积核的数量为32，卷积核使用的尺寸为3x。图3为本实施例的采用第二融合层进行融合的具体实施方式示意图，参照图3，第二融合层具体用于将第五卷积层与第一反卷积层融合输入至第二反卷积层；第三卷积层和第三反卷积层融合输入至第四反卷积层；卷积模块的输入和第五反卷积层的输出融合。
S3利用训练数据集对降噪网络模型进行训练，得到训练好的降噪网络模型。
直接采用的均方误差损失(MSE)算法(2)作为损失函数的，对模型输出的图像和目标图像做逐像素的L2的距离计算，这样的损失经过实验验证，会使得输出图像趋于平滑，图像的模糊程度增加。本实施例采用MSE和感知损失(Perceptual Loss)的复合损失函数计算降噪图像和目标图像之间的损失，使用损失进行反向传播，更新降噪网络模型，重复更新直至达到设定的迭代轮数。
选取一个在图像分类数据集(例如ImageNet图像分类数据集)上已经训练好的图像分类的模型φ，使用图像分类的模型前面的卷积层结构，并加载该图像分类模型的模型权重，将降噪的输出结果和目标图像都通过这个模型，得到输出的特征图，之后在特征空间再进行均方误差损失的计算如下式(3)所示，得到感知损失值；进而使用设置好的超参数wp，根据上式(1)计算得到最终的复合损失值：
Loss＝MSE Loss+wp*PerceptualLoss (1)
其中，(2)为均方误差损失函数，(3)为感知损失函数。
S4对训练好的降噪网络模型进行测试，得到测试好的降噪网络模型。
加载测试集的数据至训练好的模型，计算评估指标，降噪网络模型的性能是否满足预期要求，若不满足，则重新回到训练环节，进行进一步的调整训练参数，若满足评估指标，则保存模型参数，并将对应该参数的降噪网络模型作为测试好的降噪网络模型。
S5采用测试好的降噪网络模型对低剂量CT图像降噪。
图7为采用本实施例的方法对低剂量CT图像降噪的具体流程图，参照图7，该方法包括：
1.选取CT图像数据：包括训练集和测试集，由低剂量CT图像和高剂量CT图像成对组合，分别用于算法模型的输入和作为目标图像计算损失；
2.选取降噪网络模型的超参数：包括图像的裁剪尺寸，训练中的批量大小、迭代轮数及学习率，复合损失函数中的权重wp。
算法的输出：
得到训练好的达到性能评估标准的降噪网络模型的参数权重。
执行步骤：
一：输入CT图像预处理阶段
步骤1-1：从CT图像数据集中获取成对的低剂量和高剂量的CT图像数据，加载到GPU显存中；
步骤1-2：对图像做标准化操作，将数值范围缩放到0到1之间，根据设置的大小进行成对的裁剪，并使用随机翻转、旋转数据增强操作；
步骤1-3：根据设置好的批量大小将数据组成批量的形式，对应的将低剂量CT图像组成一批，高剂量CT图像组成一批，分别用于后期模型算法的输入和作为目标图像计算距离损失。
二、边缘特征提取融合阶段
步骤2-1：在输入的低剂量CT图像上使用32个的可训练的Sobel算子进行卷积操作，进行自适应的边缘特征提取操作；
步骤2-2：将自适应的边缘特征提取操作输出的特征图和初始的CT图像在通道维度堆叠在一起，为下一步的特征融合做准备；
步骤2-3：使用32个的1x1的卷积核进行经典的卷积操作，每个卷积核将对应于一个特征图输出，将它们组合在一起，得到这个阶段的输出。
三、降噪网络模型的算法降噪阶段
步骤3-1：输入特征提取和融合后的特征图，通过由卷积层构成的编码器中，进行特征的编码操作，得到空间尺寸比原始输入的CT图像小的特征图；
步骤3-2：将特征图输入到由反卷积层构成的解码器中，进行解码操作，其间使用第二融合层的处理，取编码器内部的特征图和当前阶段的特征图进行特征融合，解码器最后直接输出降噪后的CT图像。
四、复合损失计算阶段
步骤4-1：计算均方误差损失
步骤4-1-1：以成对的方式取模型算法降噪后的CT图像和高剂量的CT图像作为均方误差损失函数的输入；
步骤4-1-2：根据上式(2)1计算两个图片的MSE损失。
步骤4-2：计算感知损失
步骤4-2-1：同样以成对的方式取降噪后的CT图像和高剂量CT图像作为感知损失函数的输入；
步骤4-2-2：选取一个图像分类的模型φ(例如VGGNet、ResNet等)，使用模型前面的卷积层结构，并加载该图像分类模型在图像分类数据集上已经训练好的模型权重，并冻结该图像分类模型的权重，将降噪的输出结果和目标图像都通过这个模型，得到输出的两个特征图；
步骤4-2-3：取步骤4-2-2得到的两个特征图，进行MSE损失的计算，进而得到感知损失值；
步骤4-3：计算复合损失的值，使用设置好的超参数wp，依据公式(1)对两种损失进行加权融合，得到最终的复合损失值。
五、模型优化阶段
步骤5-1：代码实现基于PyTorch深度学习框架，可以从最终计算的复合损失值出发进行反向传播，自动计算模型中参数的梯度值；
步骤5-2：利用前面步骤中计算的梯度，使用优化器(例如Pytorch的Adam优化器)对模型算法的可学习参数值进行更新操作；
步骤5-3：在模型达到超参数设定的轮数之前重复上述所有执行步骤，达到训练轮数后停止模型的训练过程。
六、测试评估阶段
步骤6-1：读取测试集的CT图像(以成对的方式)，作为测试模型的输入和目标图像，加载至GPU显存，并进行和训练环节相同的标准化操作(注意测试时不需要进行裁剪和图像增强)；
步骤6-2：采用低剂量CT图像降噪中常用的峰值信噪比PSNR、结构相似性SSIM和均方根误差RMSE作为评价指标，通过评估计算的指标值，初步进行模型优劣的评价。
步骤6-3：由于上一步骤中的评估指标并不能完全代表模型算法的降噪效果，在实际使用中，也需要由放射科的医生进一步盲测打分，针对CT医学图像给出更为专业的质量评估。
步骤6-4：若评估结果未达到要求，则需要调整模型的超参数，回到执行步骤的第一步，重新进行模型的训练环节，若评估结果达到要求，则可以保存模型权重，得到低剂量CT图像降噪的解决方案。
需要说明的是，在使用该方法之前，需要技术人员进行相关环节的配置工作，其中包括安装Linux操作系统、Python 3.6(及以上版本)的开发环境、PyTorch 1.4(及以上版本)的深度框架，因为本方法为基于深度学习的模型算法，推荐在GPU环境中进行模型的训练过程，需要安装GPU版本的Pytorch1.4(及以上版本)以及对应版本的CUDA并行计算架构。
本领域技术人员应能理解，上述所举的评估策略仅为更好地说明本发明实施例的技术方案，而非对本发明实施例作出的限定。任何根据用户属性来作评价策略的方法，均包含在本发明实施例的范围内。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种低剂量CT图像降噪方法，其特征在于，包括：
获取训练数据集，所述训练数据集包括多组成对的低剂量CT图像和高剂量CT图像，所述的高剂量CT图像作为降噪方法的目标图像；
建立降噪网络模型，所述降噪网络模型包括依次连接的自适应边缘特征提取模块、第一融合层、卷积模块，所述的自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取，所述的第一融合层用于对自适应边缘特征提取模块的输出信号和输入信号进行融合，所述的卷积模块包括多层卷积层构成的编码器和多层返卷积层构成的解码器以及第二融合层，所述编码器对第一融合层的输出信号进行编码，所述第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，最终通过解码器输出降噪后的特征图；
利用所述的训练数据集对所述的降噪网络模型进行训练，得到训练好的降噪网络模型；
对所述训练好的降噪网络模型进行测试，得到测试好的降噪网络模型；
采用测试好的降噪网络模型对低剂量CT图像降噪。
2.根据权利要求1所述的方法，其特征在于，所述的自适应边缘特征提取模块包括可训练的Sobel算子，可训练的Sobel算子为固定数值的Sobel算子增加了一个可学习参数α作为可训练的Sobel算子的权重，在前向传播计算损失的过程中计算梯度，并在反向传播的利用优化算法结合计算的梯度进行可学习参数α的更新操作，实现自适应的调整过程，在使用的过程中成组的使用X轴方向、Y轴方向和两个对角线方向。
3.根据权利要求1所述的方法，其特征在于，所述的自适应边缘特征提取模块用于对输入的训练数据集中低剂量CT图像进行边缘特征的提取，所述的第一融合层用于对自适应边缘特征提取模块的输出信号和输入信号进行融合，包括：使用一定数量的可训练的Sobel算子作为卷积核的权重，进行卷积操作，得到一组提取边缘信息的特征图，之后通过第一融合层将所述特征图和输入的低剂量CT图像在通道维度堆叠在一起，然后通过使用1x1的普通卷积操作，将跨通道的信息联系在一起得到融合后的特征图。
4.根据权利要求1所述的方法，其特征在于，所述的第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合包括：第二融合层用于使用跳跃的方式将解码器的反卷积层与其在编码器中对称的卷积层分别定义了对应的可学习的一维的权重参数向量，向量的长度和待融合的特征图的通道数一致，在融合的过程中对应通道进行softmax运算，将数值转化为0和1之间的比率表示，然后对应通道相乘再相加，得到融合之后的特征图。
5.根据权利要求1所述的方法，其特征在于，所述的卷积模块包括5层卷积层构成的编码器和5层返卷积层构成的解码器，所述编码器和解码器的卷积核的数量为32，卷积核使用的尺寸为3x。
6.根据权利要求1所述的方法，其特征在于，所述的利用所述的训练数据集对所述的降噪网络模型进行训练，得到训练好的降噪网络模型，包括：采用均方误差损失和感知损失的复合损失函数计算降噪图像和目标图像之间的损失，使用损失进行反向传播，更新降噪网络模型，重复更新直至达到设定的迭代轮数。
7.根据权利要求1所述的方法，其特征在于，所述的对所述训练好的降噪网络模型进行测试，得到测试好的降噪网络模型，包括：加载测试集的数据至训练好的模型，计算评估指标，降噪网络模型的性能是否满足预期要求，若不满足，则重新回到训练环节，进行进一步的调整训练参数，若满足评估指标，则保存模型参数，并将对应该参数的降噪网络模型作为测试好的降噪网络模型。
8.根据权利要求1所述的方法，其特征在于，所述的获取训练数据集之后还需要对低剂量CT图像和高剂量CT图像进行预处理。
9.根据权利要求6所述的方法，其特征在于，所述的采用均方误差损失和感知损失的复合损失函数计算降噪图像和目标图像之间的损失，具体包括：选取一个已经训练好的图像分类的模型φ，使用图像分类的模型前面的卷积层结构，并加载该图像分类模型的模型权重，将降噪的输出结果和目标图像都通过这个模型，得到输出的特征图，之后在特征空间再进行均方误差损失的计算如下式(3)所示，得到感知损失值；进而使用设置好的超参数wp，根据上式(1)计算得到最终的复合损失值：
Loss＝MSE Loss+wp*Perceptual Loss (1)
其中，(2)为均方误差损失函数，(3)为感知损失函数。
10.根据权利要求5所述的方法，其特征在于，所述的所述第二融合层用于使用跳跃的方式将解码器的反卷积层的特征图与其在编码器中对称的卷积层的特征图进行融合，包括：所述第二融合层具体用于将第五卷积层与第一反卷积层融合输入至第二反卷积层；第三卷积层和第三反卷积层融合输入至第四反卷积层；卷积模块的输入和第五反卷积层的输出融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010863754.5A CN111968058B (zh) | 2020-08-25 | 2020-08-25 | 一种低剂量ct图像降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010863754.5A CN111968058B (zh) | 2020-08-25 | 2020-08-25 | 一种低剂量ct图像降噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968058A true CN111968058A (zh) | 2020-11-20 |
| CN111968058B CN111968058B (zh) | 2023-08-04 |
Family
ID=73389698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010863754.5A Active CN111968058B (zh) | 2020-08-25 | 2020-08-25 | 一种低剂量ct图像降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968058B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112546463A (zh) * | 2021-02-25 | 2021-03-26 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN112651890A (zh) * | 2020-12-18 | 2021-04-13 | 深圳先进技术研究院 | 基于双编码融合网络模型的pet-mri图像去噪方法、装置 |
| CN112819713A (zh) * | 2021-01-28 | 2021-05-18 | 明峰医疗系统股份有限公司 | 基于无监督学习的低剂量pet图像降噪方法 |
| CN113256752A (zh) * | 2021-06-07 | 2021-08-13 | 太原理工大学 | 一种基于双域交织网络的低剂量ct重建方法 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
| CN113436118A (zh) * | 2021-08-10 | 2021-09-24 | 安徽工程大学 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
| WO2022134971A1 (zh) * | 2020-12-25 | 2022-06-30 | 华为技术有限公司 | 一种降噪模型的训练方法及相关装置 |
| CN117671074A (zh) * | 2024-02-01 | 2024-03-08 | 赛诺威盛科技(北京)股份有限公司 | 图像重建方法、装置、电子设备及ct成像系统 |
| CN117671074B (zh) * | 2024-02-01 | 2024-05-14 | 赛诺威盛科技(北京)股份有限公司 | 图像重建方法、装置、电子设备及ct成像系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037621A (ja) * | 2007-08-03 | 2009-02-19 | Fujitsu Ltd | 低品質文字の識別方法及び装置 |
| CN107730451A (zh) * | 2017-09-20 | 2018-02-23 | 中国科学院计算技术研究所 | 一种基于深度残差网络的压缩感知重建方法和系统 |
| US20180182076A1 (en) * | 2016-12-26 | 2018-06-28 | General Electric Company | Apparatus and method for enhancing spatial resolution of ct image and ct imaging system |
| CN110232341A (zh) * | 2019-05-30 | 2019-09-13 | 重庆邮电大学 | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 |
| CN110264428A (zh) * | 2019-06-27 | 2019-09-20 | 东北大学 | 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法 |
| CN110956094A (zh) * | 2019-11-09 | 2020-04-03 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN110992290A (zh) * | 2019-12-09 | 2020-04-10 | 深圳先进技术研究院 | 低剂量ct图像去噪网络的训练方法及系统 |
-
2020
- 2020-08-25 CN CN202010863754.5A patent/CN111968058B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037621A (ja) * | 2007-08-03 | 2009-02-19 | Fujitsu Ltd | 低品質文字の識別方法及び装置 |
| US20180182076A1 (en) * | 2016-12-26 | 2018-06-28 | General Electric Company | Apparatus and method for enhancing spatial resolution of ct image and ct imaging system |
| CN107730451A (zh) * | 2017-09-20 | 2018-02-23 | 中国科学院计算技术研究所 | 一种基于深度残差网络的压缩感知重建方法和系统 |
| CN110232341A (zh) * | 2019-05-30 | 2019-09-13 | 重庆邮电大学 | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 |
| CN110264428A (zh) * | 2019-06-27 | 2019-09-20 | 东北大学 | 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法 |
| CN110956094A (zh) * | 2019-11-09 | 2020-04-03 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN110992290A (zh) * | 2019-12-09 | 2020-04-10 | 深圳先进技术研究院 | 低剂量ct图像去噪网络的训练方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| MAOSONG RAN等: "Denoising of 3-D Magnetic Resonance Images Using a Residual Encoder-Decoder Wasserstein Generative Adversarial Network", 《ARXIV-MEDICAL PHYSICS》, pages 1 - 29 * |
| QINGSONG YANG等: "Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 37, no. 6, pages 1348 - 1357 * |
| 刘一畅等: "基于卷积神经网络的边缘保真图像去噪算法", 《计算机辅助设计与图形学学报》, pages 1 - 10 * |
| 杨娟等: "融合感知损失的生成式对抗超分辨率算法", 《中国图象图形学报》, vol. 24, no. 8, pages 1270 - 1282 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651890A (zh) * | 2020-12-18 | 2021-04-13 | 深圳先进技术研究院 | 基于双编码融合网络模型的pet-mri图像去噪方法、装置 |
| WO2022134971A1 (zh) * | 2020-12-25 | 2022-06-30 | 华为技术有限公司 | 一种降噪模型的训练方法及相关装置 |
| CN112819713A (zh) * | 2021-01-28 | 2021-05-18 | 明峰医疗系统股份有限公司 | 基于无监督学习的低剂量pet图像降噪方法 |
| CN112819713B (zh) * | 2021-01-28 | 2022-11-04 | 明峰医疗系统股份有限公司 | 基于无监督学习的低剂量pet图像降噪方法 |
| CN112546463A (zh) * | 2021-02-25 | 2021-03-26 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN112546463B (zh) * | 2021-02-25 | 2021-06-01 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN113256752A (zh) * | 2021-06-07 | 2021-08-13 | 太原理工大学 | 一种基于双域交织网络的低剂量ct重建方法 |
| CN113256752B (zh) * | 2021-06-07 | 2022-07-26 | 太原理工大学 | 一种基于双域交织网络的低剂量ct重建方法 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
| CN113436118A (zh) * | 2021-08-10 | 2021-09-24 | 安徽工程大学 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
| CN117671074A (zh) * | 2024-02-01 | 2024-03-08 | 赛诺威盛科技(北京)股份有限公司 | 图像重建方法、装置、电子设备及ct成像系统 |
| CN117671074B (zh) * | 2024-02-01 | 2024-05-14 | 赛诺威盛科技(北京)股份有限公司 | 图像重建方法、装置、电子设备及ct成像系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968058B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968058B (zh) | 一种低剂量ct图像降噪方法 | |
| Zhang et al. | Image restoration: From sparse and low-rank priors to deep priors [lecture notes] | |
| Shen et al. | Modeling and enhancing low-quality retinal fundus images | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| Mao et al. | Image restoration using convolutional auto-encoders with symmetric skip connections | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
| US20210217151A1 (en) | Neural network trained system for producing low dynamic range images from wide dynamic range images | |
| Zhang et al. | REDAEP: Robust and enhanced denoising autoencoding prior for sparse-view CT reconstruction | |
| US20220156891A1 (en) | Methods and systems for deblurring blurry images | |
| US20220164927A1 (en) | Method and system of statistical image restoration for low-dose ct image using deep learning | |
| Zeng et al. | Noise-generating-mechanism-driven unsupervised learning for low-dose CT sinogram recovery | |
| Karimi et al. | Patch-based models and algorithms for image processing: a review of the basic principles and methods, and their application in computed tomography | |
| Zhao et al. | A deep variational Bayesian framework for blind image deblurring | |
| US11948278B2 (en) | Image quality improvement method and image processing apparatus using the same | |
| Zhou et al. | A unified weighted variational model for simultaneously haze removal and noise suppression of hazy images | |
| Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
| Li et al. | A comprehensive survey on deep learning techniques in CT image quality improvement | |
| CN114202460A (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
| Tan et al. | Low-light image enhancement with geometrical sparse representation | |
| Liu et al. | Deep residual constrained reconstruction via learned convolutional sparse coding for low-dose CT imaging | |
| Singh et al. | HoEnTOA: Holoentropy and Taylor Assisted Optimization based Novel Image Quality Enhancement Algorithm for Multi-Focus Image Fusion | |
| CN116228900A (zh) | 一种基于深度学习的压缩能谱x射线ct图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |