CN116863014A - 一种基于深度双域联合引导学习的ldct图像重建方法 - Google Patents
一种基于深度双域联合引导学习的ldct图像重建方法 Download PDFInfo
- Publication number
- CN116863014A CN116863014A CN202310619288.XA CN202310619288A CN116863014A CN 116863014 A CN116863014 A CN 116863014A CN 202310619288 A CN202310619288 A CN 202310619288A CN 116863014 A CN116863014 A CN 116863014A
- Authority
- CN
- China
- Prior art keywords
- domain
- image
- reconstruction
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001914 filtration Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000002679 ablation Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 4
- 230000008485 antagonism Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度双域联合引导学习的LDCT图像重建方法，包括：临床获取的低剂量CT的投影域数据先在投影域网络中进行重建恢复，同时将只经过反投影操作的投影域数据作为引导，一起进入图像域重建网络，实现低剂量CT的重建操作，此外，双域网络也采用了一种新的结构，可以更好地融合局部与全局信息。本发明实现了低剂量CT的高质量重建，有效利用了原始投影域的数据。本发明不仅提出了一个新的域引导策略，利用原始投影域数据指导图像域的重建，还设计了一种新的网络模块，用于融合全局与局部信息，加强了传统双域模型的重建效果。
Description
技术领域
本发明涉及一种基于深度双域联合引导学习的LDCT图像重建算法，属于计算机图像处理领域。
背景技术
计算机断层扫描(Computed Tomography，简称CT)是一种医学影像技术，通过使用X射线和计算机算法来生成身体内部的三维影像。CT扫描会将X射线从不同角度通过人体扫描，然后计算机会将这些影像数据组合在一起，形成高分辨率的三维图像，可用于诊断许多不同的疾病和损伤。CT技术与MRI相比，其优势在于其成像速度更快，对于检测骨骼组织和肺部疾病更具有优势。然而，众所周知，过量的X射线辐射剂量对患者是有害的，可能会导致遗传、癌症或其他疾病。
目前在CT技术的临床使用上，ALARA(as low as reasonablyachievable)原则被广泛接受，然而，辐射剂量直接影响X射线成像质量，这是一种量子累积过程，用于控制CT扫描信号噪声比(SNR)。显然，减少X射线剂量将降低重建图像质量并引入噪声和伪影。为了解决这个矛盾的问题，许多算法被提出来以提高低剂量CT(LDCT)的图像质量并避免不必要的辐射剂量。这些算法可以分为三类：正弦图域滤波方法，迭代重建方法和图像域去噪方法。
(1)正弦图域滤波方法：
正弦图域滤波方法主要利用正弦变换将投影数据转换为正弦图像，然后对正弦图像进行滤波处理，最后再通过反正弦变换将处理后的正弦图像转换为重建图像。这种方法主要适用于低噪声和低散射情况下的重建，可以快速重建出较为清晰的图像，计算量较小。然而，由于正弦变换在投影角度较小的时候有可能会丢失一些高频信息，导致图像质量下降。因此，该方法在高噪声和高散射情况下效果不佳。
(2)迭代重建方法：
迭代重建方法是指通过多次迭代计算得到最终的重建图像，其重建过程通常由两个步骤组成：投影数据的更新和图像的更新。在投影数据更新步骤中，通常采用投影反向法来更新投影数据；在图像更新步骤中，通常采用基于梯度的优化算法来更新图像。这种方法可以通过多次迭代逐步优化重建图像的质量，可以根据需要进行灵活的参数调节。然而，该方法需要较长的计算时间，可能导致重建时间过长
(3)图像域去噪方法：
图像域去噪方法主要是针对重建图像进行去噪处理，去除噪声和伪影，以提高图像质量。常用的去噪方法包括基于小波变换的去噪方法、基于全变分的去噪方法、基于字典学习的去噪方法、基于深度学习的方法等。这种方法的主要优点是可以保留较多的高频信息，并且能够提高图像的分辨率和对比度。缺点是可能会导致一些细节信息的损失，需要对噪声和信号之间的平衡进行权衡。
随着深度学习的发展，同时为了更好的利用正弦图域滤波方法与图像域去噪方法的优势并同时利用投影域和图像域的信息，基于深度学习(DL)的具有知识模型的双域学习被应用到从非理想场景中获得投影重建CT图像，并且它们已被证明在LDCT重建的噪声抑制中具有良好的性能。传统的双域方法思路如下，其流程图可见附图2：
(1)在投影域对数据进行处理；
(2)对投影域处理后的数据采用FBP算法进行重建，获得图像域数据；
(2)在图像域进行重建；
发明内容
为了解决低剂量计算机断层扫描(LDCT)图像重建中的噪声和伪影问题，本发明提供了一种基于深度双域联合引导学习的LDCT图像重建方法，解决了以往双域学习中存在的二次伪影与结构退化问题，充分利用了数据的全局与局部特征，实现了LDCT图像的高质量重建。
为了达到上述目的，本发明提供如下技术方案：
一种基于深度双域联合引导学习的LDCT图像重建方法，包括以下步骤：
步骤1：准备训练数据，获得低剂量CT临床数据与其对应的正常剂量数据，所述低剂量CT是正常剂量的1/4。
步骤2：搭建投影域重建的神经网络，投影域网络设置为残差学习网络。
步骤3：对低剂量投影域数据以及投影域重建网络输出的投影域数据采用FBP算法进行重建，分别获得图像域数据。
步骤4：搭建图像域重建的神经网络，以步骤3所得的两个图像域数据作为输入，经网络处理后获得最终的低剂量CT重建图像。
步骤5：构建损失函数并对投影域与图像域网络进行训练。
步骤6：测试与评估，分别在两个数据集训练集上训练收敛后的网络，在对应的测试集中进行测试和评估。
进一步的，所述步骤1中，训练数据分别来自AAPM挑战赛数据与在西门子SomtomSensation 64层CT扫描仪上采集的真实数据。
进一步的，所述步骤2中，投影域重建的神经网络是一种新的全局局部Transformer-Convolution U-Net，它基于一个典型的U-Net架构，由四个协作元素构建：GSTEncoder，LCEncoder，差异化融合模型(DFM)，TransDecoder。
(1)Global Swin Transformer Encoder(GSTEncoder)
GSTDencoder执行上下文全局远程特征提取。受Transformer在计算机视觉任务中取得巨大成功的启发，Swin Transformer被用于LDCT重建。与典型的ViT不同，SwinTransformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征。
(2)LCEncoder执行分层短程局部特征提取。与GSTDencoder相对应，LCEncode器由四级卷积块组成。每个块包括一个卷积层，内核大小为3×3,批次归一化(BN)和校正线性单元(ReLU)激活功能。步长为2的Maxpoolinglayer用于下采样。
(3)差分融合模型(DFM)被设计成非线性的，紧密地连接和传输分层的全局和局部特征。对于设计的GSTDencoder和LCEncoder，这些分层特征图的大小不同。将GSTEncoder生成的全局特征与LCEncoder生成的局部特征相结合是关键，决定了最终的重建性能。
(4)TransDecoder对提取的深层特征进行上采样并得到最终的重建结果。与GSTEncoder中的补丁合并层相对应，补丁扩展层将相邻维度的特征映射重塑为更高分辨率的特征映射，并相应地将特征维度减少到原始维度的一半。
进一步的，所述步骤3中，FBP算法(Filtered Back Projection Algorithm)是一种基于滤波的重建算法，用于将X射线投影数据转换为二维或三维的图像。FBP算法主要分为两个步骤：滤波和反投影。滤波是将投影数据进行傅里叶变换，并对变换结果进行滤波，滤波的方法可以是Butterworth滤波、Ram-Lak滤波等。反投影将滤波后的数据沿着各个不同角度的方向反投影回空间中的点，形成一个三维数据集。具体来说，对于每一个角度，将经过该角度的投影数据在对应的位置上叠加，并乘以一个权重因子，最终得到每个空间点的像素值。
进一步的，所述步骤4具体包括如下过程：搭建图像域重建的神经网络，图像域重建的神经网络的结构与投影域重建的神经网络完全相同；将步骤3所得的两个投影域数据进行拼接操作，作为图像域网络的输入；经网络处理后，获得最终的低剂量CT重建图像。
进一步的，所述步骤5中，对于提出的DUGL-Net，设计了两个损失函数Ls和LI，分别限制了投影域网络Sino-Net和图像域网络Image-Net。它们用于调节所有涉及的网络组件，使其更新朝着高质量的重建方向。具体表达式为：
其中：
MP表示投影域网络，MI表示图像域网络，[a,b]表示对a和b进行拼接操作，R是滤波反投影(FBP)运算符。α和β是这两个损失函数的权重参数。具体的：
Ls(Mp(PLD,PRD)＝L1(Mp(PLD,PRD)
L1损失用于我们的网络重建LDCT图像和加速训练，L1损失公式表示如下：
采用对抗性损失来改善去噪图像的视觉质量。在判别器中，利用Wasserstein距离计算生成图像与真实图像之间的分布差异，利用梯度惩罚计算Lipschitz约束，具体公式如下：
使用该损失函数对网络不断进行训练。
进一步的，所述步骤6中，在所用两个数据集上进行了消融实验，并将所提出的方法与现有最先进的方法进行比较。实验结果表明，所提出的DUGL-Net优于其他最先进的方法，这表明该方法在LDCT重建中是有效的。
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明实现了一种深度双域联合引导学习框架，通过同时利用投影域和图像域网络的优势来进行LDCT图像重建，并且与先前基于域渐进的解决方案不同，本发明采用了域引导策略，其中投影域网络执行噪声和伪影的降低，LDCT图像作为补充，共同指导图像域网络进行LDCT图像重建，充分利用了LDCT的信息。
2.本发明实现了将Swin Transformer和CNN机制分层地组合成编码器-解码器体系结构，用以捕捉全面和互补的特征。设计了GSTEncoder，其中包含多个分层SwinTransformer块以提取全局长距离特征；同时，还设计了LCEncoder，其中包含多个CNN块以提取双编码器U形结构中的局部特征。
3.本发明实现了一种新型的差异化融合模块，用于GSTEncoder和LCEncoder之间的分层组合，以实现充分聚合和传递全局和局部特征，使得LDCT的重建过程中可以更充分地利用全局与局部特征。
4.本发明使用了联合训练的方式，通过多个损失函数来同时训练模型，提高了模型的稳定性和泛化能力，能够适用于不同的LDCT数据集和临床应用场景。
附图说明
图1为本发明提供的基于深度双域联合引导学习的LDCT图像重建整体流程图；
图2为传统的双域方法进行LDCT重建的流程图；
图3为本发明实现的GL-TCUNet的整体结构图；
图4为本发明实现的差分融合模块(DFM)结构图：
图5为在aapm数据集上本发明对LDCT的重建效果与其他最先进算法重建效果的比较，其中，显示窗口为[-360，40]HU：
图6为图5中矩形区域的放大ROI：
图7为在西门子Somtom Sensation 64层CT扫描仪采集的真实数据上不同重建方法对实际数据的轴向重建结果，其中，以FBP常规剂量投影重建的图像为参照，显示窗口为[0,250]HU。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供了一种基于深度双域联合引导学习的LDCT图像重建方法，先从临床扫描获取低剂量计算机断层扫描投影域数据，将所得数据输入投影域网络进行处理，通过提取局部与全局特征并将其融合，实现优秀的处理效果，获得输出后，利用FBP算法将其变换至图像域，作为待重建图像，此外，对临床扫描获取低剂量计算机断层扫描投影域数据直接采用FBP算法将其变换至投影域，作为引导图像，将待重建图像与引导图像作为图像域网络的输入，获得最终的额重建结果，实现基于深度双域联合引导学习的LDCT图像重建。最终，将该基于深度双域联合引导学习的LDCT图像重建结果与使用其他算法得到的结果进行对比，并评估该网络模型的性能。
具体地说，本发明总体流程如附图1所示，包括如下步骤：
步骤1，准备训练数据：获得低剂量CT临床数据与其对应的正常剂量数据，所述低剂量CT是正常剂量的1/4，训练数据分别来自AAPM挑战赛数据与在西门子SomtomSensation 64层CT扫描仪上采集的真实数据。。
步骤2，搭建投影域重建的神经网络，投影域网络设置为残差学习网络。投影域重建的神经网络是一种新的全局局部Transformer-Convolution U-Net，它基于一个典型的U-Net架构，由四个协作元素构建：GSTEncoder，LCEncoder，差异化融合模型(DFM)，TransDecoder。
(1)Global Swin Transformer Encoder(GSTEncoder)
GSTDencoder执行上下文全局远程特征提取。受Transformer在计算机视觉任务中取得巨大成功的启发，Swin Transformer被用于LDCT重建。与典型的ViT不同，SwinTransformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征。
(2)LCEncoder执行分层短程局部特征提取。与GSTDencoder相对应，LCEncode器由四级卷积块组成。每个块包括一个卷积层，内核大小为333,批次归一化(BN)和校正线性单元(ReLU)激活功能。步长为2的Maxpoolinglayer用于下采样。
(3)差分融合模块(DFM)被设计成非线性的，紧密地连接和传输分层的全局和局部特征。对于设计的GSTDencoder和LCEncoder，这些分层特征图的大小不同。将GSTEncoder生成的全局特征与LCEncoder生成的局部特征相结合是关键，决定了最终的重建性能。
(4)TransDecoder对提取的深层特征进行上采样并得到最终的重建结果。与GSTEncoder中的补丁合并层相对应，补丁扩展层将相邻维度的特征映射重塑为更高分辨率的特征映射，并相应地将特征维度减少到原始维度的一半。
步骤3，对低剂量投影域数据以及投影域重建网络输出的投影域数据采用FBP算法进行重建，分别获得图像域数据。FBP算法(Filtered Back Projection Algorithm)是一种基于滤波的重建算法，用于将X射线投影数据转换为二维或三维的图像。FBP算法主要分为两个步骤：滤波和反投影。滤波是将投影数据进行傅里叶变换，并对变换结果进行滤波，滤波的方法可以是Butterworth滤波、Ram-Lak滤波等。反投影将滤波后的数据沿着各个不同角度的方向反投影回空间中的点，形成一个三维数据集。具体来说，对于每一个角度，将经过该角度的投影数据在对应的位置上叠加，并乘以一个权重因子，最终得到每个空间点的像素值。
步骤4，搭建图像域重建的神经网络，以步骤3所得的两个图像域数据作为输入，经网络处理后获得最终的低剂量CT重建图像。搭建图像域重建的神经网络，图像域重建的神经网络的结构与投影域重建的神经网络完全相同；将步骤3所得的两个投影域数据进行拼接操作，作为图像域网络的输入；经网络处理后，获得最终的低剂量CT重建图像。
步骤5，构建损失函数并对投影域与图像域网络进行训练。对于提出的DUGL-Net，设计了两个损失函数Ls和LI，分别限制了Sino-Net和Image-Net。它们用于调节所有涉及的网络组件，使其更新朝着高质量的重建方向。具体表达式为：
其中：
MP表示投影域网络，MI表示图像域网络，[a,b]表示对a和b进行拼接操作，R是滤波反投影(FBP)运算符。α和β是这两个损失函数的权重参数。具体的：
Ls(Mp(PLD,PRD)＝L1(Mp(PLD,PRD)
L1损失用于我们的网络重建LDCT图像和加速训练，L1损失公式表示如下：
采用对抗性损失来改善去噪图像的视觉质量。在判别器中，利用Wasserstein距离计算生成图像与真实图像之间的分布差异，利用梯度惩罚计算Lipschitz约束，具体公式如下：
使用该损失函数对网络不断进行训练。
步骤6，测试与评估：分别在两个数据集训练集上训练网络，在对应的测试集中进行测试和评估，得到的基于深度双域联合引导学习的LDCT图像重建结果，与传统算法重建的效果进行比较，并评估该网络模型的性能。
为了验证本发明公开的基于深度双域联合引导学习的LDCT图像重建算法效果，使用来自AAPM挑战赛数据与在西门子Somtom Sensation 64层CT扫描仪上采集的真实数据。以人体的胸部数据为例进行对比实验，附图6展示了在AAPM挑战赛数据上分别使用其他几种最先进的方法与使用本发明的重建算法最终得到的LDCT重建结果的效果对比图，附图7展示了在真实数据上分别使用其他几种最先进的方法与使用本发明的重建算法最终得到的LDCT重建结果的效果对比图，几者比较而言，我们提出的DUGL-Net在去除噪声和恢复良好的视觉效果和清晰图像方面是有效的。此外，由于域引导策略，我们提出的DUGL-Net保持了空间纹理，避免了在投影域中引入伪影。所提出的DUGL-Net在LDCT重建任务中始终优于最先进的方法，重建效果得到显著提升，对开展临床医学研究具有深刻的意义。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，包括以下步骤：
步骤1：准备训练数据，获得低剂量CT临床数据与其对应的正常剂量数据，所述低剂量CT是正常剂量的1/4；
步骤2：搭建投影域重建的神经网络，投影域网络设置为残差学习网络；
步骤3：对低剂量投影域数据以及投影域重建网络输出的投影域数据采用FBP算法进行重建，分别获得图像域数据；
步骤4：搭建图像域重建的神经网络，以步骤3所得的两个图像域数据作为输入，经网络处理后获得最终的低剂量CT重建图像；
步骤5：构建出整体的图像重建网络DUGL-Net，设计损失函数并对DUGL-Net中的投影域与图像域网络进行训练；
步骤6：测试与评估，分别在两个数据集训练集上训练收敛后的网络，在对应的测试集中进行测试和评估。
2.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤1中，训练数据分别来自AAPM挑战赛数据与在西门子SomtomSensation 64层CT扫描仪上采集的真实数据。
3.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤2中，投影域重建的神经网络是一种新的全局局部Transformer-Convolution U-Net，它基于一个典型的U-Net架构，由四个协作元素构建：GSTEncoder，LCEncoder，差异化融合模型，TransDecoder；
(1)GSTDencoder执行上下文全局远程特征提取；受Transformer在计算机视觉任务中取得巨大成功的启发，Swin Transformer被用于LDCT重建；与典型的ViT不同，SwinTransformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征；
(2)LCEncoder执行分层短程局部特征提取；与GSTDencoder相对应，LCEncode器由四级卷积块组成；每个块包括一个卷积层，内核大小为3×3,批次归一化和校正线性单元激活功能；步长为2的Maxpoolinglayer用于下采样；
(3)差分融合模型被设计成非线性的，紧密地连接和传输分层的全局和局部特征；对于设计的GSTDencoder和LCEncoder，这些分层特征图的大小不同；将GSTEncoder生成的全局特征与LCEncoder生成的局部特征相结合是关键，决定了最终的重建性能；
(4)TransDecoder对提取的深层特征进行上采样并得到最终的重建结果；与GSTEncoder中的补丁合并层相对应，补丁扩展层将相邻维度的特征映射重塑为更高分辨率的特征映射，并相应地将特征维度减少到原始维度的一半。
4.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤3中，FBP算法是一种基于滤波的重建算法，用于将X射线投影数据转换为二维或三维的图像；FBP算法分为两个步骤：滤波和反投影；滤波是将投影数据进行傅里叶变换，并对变换结果进行滤波，滤波的方法包括Butterworth滤波、Ram-Lak滤波；反投影将滤波后的数据沿着各个不同角度的方向反投影回空间中的点，形成一个三维数据集；具体来说，对于每一个角度，将经过该角度的投影数据在对应的位置上叠加，并乘以一个权重因子，最终得到每个空间点的像素值。
5.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤4具体包括如下过程：搭建图像域重建的神经网络，图像域重建的神经网络的结构与投影域重建的神经网络完全相同；将步骤3所得的两个投影域数据进行拼接操作，作为图像域网络的输入；经网络处理后，获得最终的低剂量CT重建图像。
6.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤5中，对于提出的DUGL-Net，设计了两个损失函数Ls和LI，分别限制了投影域网络和图像域网络；它们用于调节所有涉及的网络组件，使其更新朝着高质量的重建方向；具体表达式为：
其中：
MP表示投影域网络，MI表示图像域网络，[a，b]表示对a和b进行拼接操作，R是滤波反投影FBP运算符；α和β是这两个损失函数的权重参数；具体的：
Ls(Mp(PLD，PRD)＝L1(Mp(PLD，PRD)
L1损失用于网络重建低剂量CT图像和加速训练，L1损失公式表示如下：
采用对抗性损失来改善去噪图像的视觉质量；在判别器中，利用Wasserstein距离计算生成图像与真实图像之间的分布差异，利用梯度惩罚计算Lipschitz约束，具体公式如下：
最终采用上述损失函数对网络进行训练。
7.根据权利要求1所述的一种基于深度双域联合引导学习的LDCT图像重建方法，其特征在于，所述步骤6中，在两个数据集上进行了消融实验，并将所提出的方法与现有最先进的方法进行比较；实验结果表明，所提出的DUGL-Net优于其他最先进的方法，这表明该方法在低剂量CT图像重建中是有效的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310619288.XA CN116863014A (zh) | 2023-05-29 | 2023-05-29 | 一种基于深度双域联合引导学习的ldct图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310619288.XA CN116863014A (zh) | 2023-05-29 | 2023-05-29 | 一种基于深度双域联合引导学习的ldct图像重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863014A true CN116863014A (zh) | 2023-10-10 |
Family
ID=88225629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310619288.XA Pending CN116863014A (zh) | 2023-05-29 | 2023-05-29 | 一种基于深度双域联合引导学习的ldct图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863014A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474806A (zh) * | 2023-12-26 | 2024-01-30 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
| CN117495680A (zh) * | 2024-01-02 | 2024-02-02 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
-
2023
- 2023-05-29 CN CN202310619288.XA patent/CN116863014A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474806A (zh) * | 2023-12-26 | 2024-01-30 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
| CN117474806B (zh) * | 2023-12-26 | 2024-04-12 | 松立控股集团股份有限公司 | 一种基于全局结构编码的全景图像修复方法 |
| CN117495680A (zh) * | 2024-01-02 | 2024-02-02 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
| CN117495680B (zh) * | 2024-01-02 | 2024-05-24 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116863014A (zh) | 一种基于深度双域联合引导学习的ldct图像重建方法 | |
| CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| CN105046675B (zh) | 基于mvct图像消除kvct图像中金属伪影的方法 | |
| CN112102213B (zh) | 低剂量ct图像处理方法、扫描系统及计算机存储介质 | |
| KR20220067543A (ko) | 저 도스 체적 대조 강화 mri를 개선하기 위한 시스템 및 방법 | |
| CN105118066A (zh) | 一种基于三维区别性特征表示的低剂量ct图像分解方法 | |
| CN113052936A (zh) | 集成fdk和深度学习的单视角ct重建方法 | |
| CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
| CN115239588A (zh) | 基于生成对抗式网络的极度稀疏视图ct重建的抑制伪影方法 | |
| WO2022257959A1 (en) | Multi-modality and multi-scale feature aggregation for synthesizing spect image from fast spect scan and ct image | |
| Fournié et al. | CT field of view extension using combined channels extension and deep learning methods | |
| CN111340903A (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
| CN113205461B (zh) | 一种低剂量ct影像去噪模型训练方法、去噪方法及装置 | |
| CN108596995A (zh) | 一种pet-mri最大后验联合重建方法 | |
| Xia et al. | Deep residual neural network based image enhancement algorithm for low dose CT images | |
| CN112070856B (zh) | 基于非下采样轮廓波变换的有限角c型臂ct图像重建方法 | |
| CN112070704A (zh) | 一种基于紧小波框架的双正则化有限角ct图像重建方法 | |
| CN110084772B (zh) | 基于弯曲波的mri/ct融合方法 | |
| CN105719256A (zh) | 一种基于结构图像引导的pet图像部分容积校正方法 | |
| CN111950705A (zh) | 一种重建神经网络及其应用 | |
| CN112529980B (zh) | 一种基于极大极小化的多目标有限角ct图像重建方法 | |
| Yan et al. | Artificial Intelligence-Based Image Reconstruction for Computed Tomography: A Survey | |
| CN113744356B (zh) | 一种低剂量spect弦图恢复和散射校正的方法 | |
| Zhang et al. | An Innovative Low-dose CT Inpainting Algorithm based on Limited-angle Imaging Inpainting Model | |
| CN113436708B (zh) | 一种基于深度学习算法的延迟ct图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |