CN116246025B - 基于三维建模和mr图像的ct图像合成方法及成像方法 - Google Patents
基于三维建模和mr图像的ct图像合成方法及成像方法 Download PDFInfo
- Publication number
- CN116246025B CN116246025B CN202310475206.9A CN202310475206A CN116246025B CN 116246025 B CN116246025 B CN 116246025B CN 202310475206 A CN202310475206 A CN 202310475206A CN 116246025 B CN116246025 B CN 116246025B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- module
- shuffling
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 33
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 29
- 230000017105 transposition Effects 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010189 synthetic method Methods 0.000 description 26
- 230000000052 comparative effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于三维建模和MR图像的CT图像合成方法,包括获取MR图像和CT图像数据信息;编码MR图像得到MR图像隐空间表示;进行特征提取得到MR图像局部特征;将MR图像局部特征分别输入构建的CT图像合成模块和MR图像重建模块得到合成CT图像隐空间表示和重建MR图像隐空间表示;解码得到合成CT图像和重建MR图像;计算CT图像损失和MR图像损失,并更新参数得到最优参数;将实际的MR图像数据信息输入到具有最优参数的系统实现CT图像的合成。本发明还公开了一种包括所述基于三维建模和MR图像的CT图像合成方法的成像方法。本发明的可靠性高、精确性好且效果较好。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于三维建模和MR图像的CT图像合成方法及成像方法。
背景技术
随着经济技术的发展和生活水平的提高,人们对于健康的关注也越来越高。目前,CT图像和MR图像,无论是在临床领域还是医学研究领域,都有着极为广泛的应用。
当前,临床领域已经广泛开始了CT图像和MR图像的联合应用,尤其是MR-CT联合放疗方案。目前,CT图像的电子密度可以用于计算辐射剂量,但是CT图像缺乏用于解剖定位的软组织信息;然而,这种信息在MR图像上较为清晰,所以在传统的放疗过程中通常采用MR-CT联合放疗的方案。这类方案,需要获得患者的MR图像和CT图像,并在MR上勾画出目标区域和危险器官,然后通过图像配准将勾画的轮廓映射到CT上,最后根据CT的电子密度信息进行辐射剂量计算。
但是,在临床上同时获取这两种图像既费时费力,还增加了患者的经济负担,并且会给患者带来额外的辐射风险。因此,只需一次MR扫描,并从MR图像中合成CT图像,以同时提供解剖信息和电子密度的需求越来越多。
目前,传统的CT图像的三维跨模态图像合成过程,依旧是一项具有挑战性的任务。现有方法通常采用二维建模的方法,每个二维切片都是基于单个切片单独合成的;这类方法只利用二维切片来预测CT图像,而忽略了切片间潜在的三维结构信息,这必然使得这类方法所得到的生成结果必然不是最优解。
随着深度学习算法在医疗领域的广泛使用,人们逐渐开始采用深度学习方案来进行跨模式的图像合成任务。但是,在三维建模的情况下,目前的方案均无法直接从MR图像实现CT图像的合成,其主要原因在于:1)高复杂性;三维建模需要在三维空间中建立体素与体素之间的关系,这种关系是非常复杂和庞大的,目前尚没有较好的方法来实现这种关系;2)三维细节信息的损失;从MR图像合成CT图像的过程,是从一个三维空间到另一个三维空间的重建过程,这往往需要编码和解码;而目前的方案,其编码过程会丢失很多细节,不利于CT图像的重建;3)MR和CT之间的巨大差异;MR图像和CT图像的成像方式是基于两种不同的成像方案,显示同一个身体部位的不同方面;MR更擅长显示三维软组织信息,而CT则更擅长显示三维电子密度信息;因此,要对这种差异性进行建模和还原,是过程是非常困难的。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且效果较好的基于三维建模和MR图像的CT图像合成方法。
本发明的目的之二在于提供一种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法。
本发明提供的这种基于三维建模和MR图像的CT图像合成方法,包括如下步骤:
S1. 获取现有的MR图像及对应的CT图像的数据信息;
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码,从而将MR图像压缩到隐空间,得到MR图像隐空间表示;
S3. 将步骤S2得到的MR图像隐空间表示,输入到共享特征提取模块进行特征提取,从而得到MR图像局部特征;
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer模块构建CT图像合成模块;基于卷积模块、残差模块、上采样模块和特征拼接模块构建MR图像重建模块;将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块,分别得到合成CT图像隐空间表示和重建MR图像隐空间表示;
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中,分别得到合成CT图像和重建MR图像;
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失,同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失;根据得到的CT图像损失和MR图像损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新,得到最终的最优参数;
S7. 获取实际的MR图像数据信息,并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理,从而合成对应的CT图像。
所述的步骤S2,具体包括如下步骤:
所述编码模块包括依次串接的3D卷积层、激活层、归一化层;层数根据下采样的倍率进行设定;
其中,3D卷积层用于学习图像的三维特征的压缩编码表示;激活层用于引入非线性因素,提高编码器的编码能力;归一化层用于加速模型的收敛;
所述编码模块用于将MR图像压缩到隐空间,得到MR图像隐空间表示,以优化三维模型的计算复杂度。
所述的步骤S3,具体包括如下步骤:
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块;
所述的5层3D残差模块用于学习MR图像的三维局部特征;所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率,以获得多个尺度的特征图;
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取,提取MR图像隐空间表示的各个尺度的三维局部特征,以满足MR图像中各个尺度的视觉要求。
步骤S4所述的基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块,具体包括如下步骤:
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层;
所述的3D混洗上采样层用于对输入的特征数据进行上采样;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系,从而得到3D局部-全局特征;所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度;所述的3D卷积模块层用于将合成的特征转换得到隐空间表示。
所述的3D混洗上采样层,具体包括如下内容:
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层;
所述的3D卷积层用于将局部特征的通道数扩充若干倍,并保持分辨率不变;所述的3D体素混洗层用于将通道维度的体素混洗到空间维度。
所述的特征拼接层,具体包括如下步骤:
所述的3D门控转置Transformer层,具体包括如下内容:
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层;
采用如下算式表示3D门控转置Transformer层的处理过程:
式中I为多头门控转置自注意力层的输入特征,;G为门控向量,/>,且/>,/>为/>的3D卷积;/>为哈达玛积;A为注意力矩阵,/>且/>,为归一化指数函数,K为键向量,/>且/>,/>为的3D卷积,Q为查询向量,/>且/>,/>为/>的3D卷积,/>为待学习的参数;V为值向量,/>且/>,/>为/>的3D卷积;H为特征图的高度,W为特征图的宽度,D为特征图的深度,C为特征图的通道数,为实数空间中维度为/>的向量,/>为实数空间中维度为的向量。
所述的窗口混洗层,具体包括如下内容:
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程,从而降低多头门控转置自注意力层的计算复杂度;
窗口混洗层用于在计算多头门控转置自注意力层之后,在窗口间进行通道混洗操作以获得窗口间的交互。
步骤S4所述的基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块,具体包括如下步骤:
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层;
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D残差卷积层用于学习拼接的两个尺度的特征图的特征以用于重建MR图像的隐空间表示;所述的3D卷积模块层用于将合成特征转换到隐空间表示。
所述的3D混洗上采样层,具体包括如下内容:
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层;
所述的3D卷积层用于将局部特征的通道数扩充若干倍,并保持分辨率不变;所述的3D体素混洗层用于将通道维度的像素混洗到空间维度。
所述的特征拼接层,具体包括如下步骤:
所述的步骤S5,具体包括如下步骤:
所述解码模块与编码模块对应;解码模块包括依次串接的3D反卷积层、激活层和归一化层;层数根据上采样的倍率进行设定;
其中,3D反卷积层用于重建特征图(将低分辨率的特征图重建为高分辨率的特征图);激活层用于引入非线性因素,提高解码器的编码能力;归一化层用于加速模型的收敛;
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像,同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像。
所述的步骤S6,具体包括如下步骤:
将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比,并计算CT图像的L1损失;
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比,并计算MR图像的L1损失;
根据得到的CT图像的L1损失和MR图像的L1损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数,进行迭代更新,直至损失收敛,从而得到对应的最优参数。
本发明还公开了一种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法,还包括如下步骤:
S8. 根据步骤S7合成的CT图像,进行二次成像,得到基于MR图像的合成CT图像,并一同输出MR图像和对应的CT图像。
本发明提供的这种基于三维建模和MR图像的CT图像合成方法及成像方法,通过设计的编码器压缩到隐空间,并实现了在在纯三维空间中高效地从MR图像中合成准确的CT图像;同时,采用CT图像合成模块在三维空间中建模复杂的全局体素依赖关系,以完成高质量的CT图像重建;最后,本发明能够避免在从MR图像特征合成CT图像的过程中由于上采样插值而引入的噪声对细节特征造成干扰以学习解剖结构和细节的表述,使本发明能够从低分辨率的特征中恢复更准确的高分辨率的特征图,从而有效实现更高的CT图像合成细节;因此本发明的可靠性高、精确性好且效果较好。
附图说明
图1为本发明合成方法的方法流程示意图。
图2为本发明合成方法的简要流程示意图。
图3为本发明合成方法与现有方法在二维模型和三维模型的轴位面可视化结果对比示意图。
图4为本发明合成方法与现有方法在二维模型和三维模型的冠状面可视化结果对比示意图。
图5为本发明合成方法与现有方法在二维模型和三维模型的矢状面可视化结果对比示意图。
图6为本发明合成方法与现有的CycleGAN合成方法、Pix2Pix合成方法在头部MR-CT数据集上的对比效果示意图。
图7为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在头部MR-CT数据集上的对比效果示意图。
图8为本发明合成方法与现有的ResVit合成方法在头部MR-CT数据集上的对比效果示意图。
图9为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在颈部MR-CT数据集上的对比效果示意图。
图10为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在颈部MR-CT数据集上的对比效果示意图。
图11为本发明合成方法与现有的ResVit合成方法在颈部MR-CT数据集上的对比效果示意图。
图12为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在骨盆MR-CT数据集上的对比效果示意图。
图13为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在骨盆MR-CT数据集上的对比效果示意图。
图14为本发明合成方法与现有的ResVit合成方法在骨盆MR-CT数据集上的对比效果示意图。
图15为本发明成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明合成方法的方法流程示意图:本发明提供的这种基于三维建模和MR图像的CT图像合成方法,包括如下步骤:
S1. 获取现有的MR图像及对应的CT图像的数据信息;
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码,从而将MR图像压缩到隐空间,得到MR图像隐空间表示;具体包括如下步骤:
所述编码模块包括依次串接的3D卷积层、激活层、归一化层和全连接层;层数根据下采样的倍率进行设定;
其中,3D卷积层用于学习图像的三维特征的压缩编码表示;激活层用于引入非线性因素,提高编码器的编码能力;归一化层用于加速模型的收敛;
所述编码模块用于将MR图像压缩到隐空间,得到MR图像隐空间表示,并优化三维模型的计算复杂度;
本步骤将MR图像压缩到隐空间,忽略部分难以捕捉的高频信息,以优化三维模型的计算复杂度;
S3. 将步骤S2得到的MR图像隐空间表示,输入到共享特征提取模块进行特征提取,从而得到MR图像局部特征;具体包括如下步骤:
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块;
所述的5层3D残差模块用于学习MR图像的三维局部特征;所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率,以获得多个尺度的特征图;
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取,提取MR图像隐空间表示的各个尺度的三维局部特征,以满足MR图像中各个尺度的视觉要求;
本步骤提取MR图像隐空间表示的多个尺度的三维局部特征,以满足MR图像中从大尺度的人体,到中尺度的器官,以及小尺度的组织均有意义的多尺度视觉要求;
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块;基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块;将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块,分别得到合成CT图像隐空间表示和重建MR图像隐空间表示;
具体实施时,采用如下步骤构建CT图像合成模块:
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层;
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样,从而得到3D局部特征;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系,从而得到3D局部-全局特征,同时控制对MR合成有用的特征继续向前流动,并筛除无用的特征,从而建模MR图像和CT图像之间的分布差异,以完成高质量的CT图像重建;所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度;所述的3D卷积模块层用于将合成的特征转换得到隐空间表示;
其中,3D混洗上采样层具体包括如下内容:
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层;
所述的3D卷积层用于将局部特征的通道数扩充若干倍(优选为4倍),并保持分辨率不变;所述的3D体素混洗层用于将通道维度的像素混洗到空间维度;
3D混洗上采样层可以上采样共享特征提取模块提取的MR图像隐空间表示的3D局部特征,用于避免在从MR图像特征合成CT图像的过程中由于上采样插值而引入的噪声对细节特征造成干扰以学习解剖结构和细节的表述,使模型能够从低分辨率的特征中恢复更准确的高分辨率的特征图;
特征拼接层具体包括如下步骤:
3D门控转置Transformer层具体包括如下内容:
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层;
采用如下算式表示3D门控转置Transformer层的处理过程: 式中/>为第1层多头门控转置自注意力层的输出;/>为3D门控转置Transformer层的输入特征;/>为第2层多头门控转置自注意力层的输出;/>为层归一化处理函数;
为多头门控转置自注意力层的处理函数,多头门控转置自注意力层是一种高效的带有门控机制的自注意力机制,且采用如下算式进行表示:式中I为多头门控转置自注意力层的输入特征,;G为门控向量,/>,且/>,/>为/>的3D卷积;/>为哈达玛积;A为注意力矩阵,/>且/>,为归一化指数函数,K为键向量,/>且/>,/>为的3D卷积,Q为查询向量,/>且/>,/>为/>的3D卷积,/>为待学习的参数;V为值向量,/>且/>,/>为/>的3D卷积;H为特征图的高度,W为特征图的宽度,D为特征图的深度,C为特征图的通道数,为实数空间中维度为/>的向量,/>为实数空间中维度为的向量;
与传统的自注意力机制相比,多头门控转置自注意力层通过转置注意力计算将自注意力计算复杂度的二次项从空间维度转移到通道维度从而减轻了对3D模型应用自注意力的负担;从注意力矩阵也可以体现本发明的计算优势,与原始的自注意力矩阵相比,多头门控转置自注意力层的注意力矩阵为/>,其空间占用得到显著优化,以支持多头门控转置自注意力层在保持计算相关性效果的同时大大降低计算复杂度;得益于门控机制的引入,本方案的自注意力机制可以从同一器官组织的两种不同模式中学习结构信息,同时过滤掉不一致的信息,以弥补MR和CT之间的差异;此外,门控转置自注意力机制不仅结合了门控和注意机制,还整合了Transfomrer中的自注意力层和前馈神经网络层,优化了Transformer的建模方式;
窗口混洗层具体包括如下内容:
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程,从而降低多头门控转置自注意力层的计算复杂度;
窗口混洗层用于在计算多头门控转置自注意力层之后,在窗口间进行通道混洗操作以获得窗口间的交互;
窗口混洗层用于优化3D 门控转置Transformer的计算复杂度,该层将通道进行窗口化,并在窗口内执行3D 门控转置Transformer,并通过混洗操作弥补窗口间的相关性丢失,它和多头转置自注意力层共同构建了一个非常高效的Transformer执行方式,以辅助3D门控转置Transformer在复杂的3D空间中建立体素和体素之间的长程关系,使3D大数据的MR图像合成CT图像任务中应用自注意力变得可行;窗口混洗层通过窗口化多头转置自注意力模块的计算进一步降低自注意力层的复杂性,其对通道进行窗口化,仅在局部窗口内计算多头门控转置自注意力,大大降低了计算量;窗口混洗层在计算多头转置自注意力之后在窗口间进行通道混洗操作以获得窗口间的交互;假设每个窗口包含N个通道,一个多头转置自注意力模块和一个基于窗口混洗的多头转置自注意力模块在一个的图像上的计算复杂性分别为/>和/>,其中前者是对通道数C的二次方,而后者在W固定时是线性的;此外,混洗上采样模块与窗口混洗模块配合,增加了空间和通道之间的信息流,使不同尺度的特征可以相互影响,从而增强了特征表示的效果;
采用如下步骤构建MR图像重建模块:
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层;
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样,从而得到3D局部特征;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D残差卷积层用于采用拼接的两个尺度的MR图像特惠总能重建MR图像的隐空间表示;所述的3D卷积模块层用于将合成特征转换到隐空间表示;
其中,3D混洗上采样层具体包括如下内容:
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层;
所述的3D卷积层用于将局部特征的通道数扩充若干倍,并保持分辨率不变;所述的3D体素混洗层用于将通道维度的像素混洗到空间维度;
特征拼接层具体包括如下步骤:
3D残差卷积层利用拼接的两个尺度的MR图像特征重建MR图像的隐空间表示;
MR图像重建模块能够弥补编码器为了优化计算而将图像压缩到隐空间所丢失的高频信息,从而辅助CT图像的合成;
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中,分别得到合成CT图像和重建MR图像;具体包括如下步骤:
所述解码模块与编码模块对应;解码模块包括依次串接的3D反卷积层、激活层额归一化层;层数根据上采样的倍率进行设定;
其中,3D反卷积层用于重建特征图(将低分辨率的特征图还原为高分辨率的特征图);激活层用于引入非线性因素,提高解码器的编码能力;归一化层用于加速模型的收敛;
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像,同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像;
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失,同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失;根据得到的CT图像损失和MR图像损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新,得到最终的最优参数;
具体实施时,将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比,并计算CT图像的L1损失;
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比,并计算MR图像的L1损失;
根据得到的CT图像的L1损失和MR图像的L1损失,采用设置的优化算法(比如AdamW)对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数,进行迭代更新,直至损失收敛,从而得到对应的最优参数;
S7. 获取实际的MR图像数据信息,并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理,从而合成对应的CT图像;
本发明合成方法的简要流程图如图2所示;具体实施时,在训练阶段,本发明需要构建MR图像重建模块,重建MR图像并计算重建损失(对应于图2中的虚线部分),该部分的目的在于弥补将图像压缩到隐空间所丢失的高频信息,从而辅助CT图像的合成;但是,在模型训练完成后,在实施阶段,图2中的虚线部分就不需要再保留了,即训练完成后的模型只需要进行CT图像的合成,并不需要进行MR图像的重建;
以下结合实施例,对本发明的合成方法的效果进行说明:
本发明在两个具有挑战性的数据集进行了实验,以评估本发明的有效性。定量分析实验结果如表1所示:
表1 定量分析实验结果示意表
在表1中,平均绝对误差(MAE)指标越小越好;峰值信噪声比(PSNR)指标越大越好;结构相似性(SSIM)指标越大越好。本发明在两个数据集上成功地在三维空间从MR图像合成了准确的CT图像,平均绝对误差(MAE)在两个数据集上的平均值为43.005,峰值信噪声比(PSNR)在两个数据集上的平均值为23.674,结构相似性(SSIM)在两个数据上的平均值为0.837,均优于现有技术。
定性分析的可视化结果如图3~图14所示;其中,图3为本发明合成方法与现有方法在二维模型和三维模型的轴位面可视化结果对比示意图;图4为本发明合成方法与现有方法在二维模型和三维模型的冠状面可视化结果对比示意图;图5为本发明合成方法与现有方法在二维模型和三维模型的矢状面可视化结果对比示意图;图6为本发明合成方法与现有的CycleGAN合成方法、Pix2Pix合成方法在头部MR-CT数据集上的对比效果示意图;图7为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在头部MR-CT数据集上的对比效果示意图;图8为本发明合成方法与现有的ResVit合成方法在头部MR-CT数据集上的对比效果示意图;图9为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在颈部MR-CT数据集上的对比效果示意图;图10为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在颈部MR-CT数据集上的对比效果示意图;图11为本发明合成方法与现有的ResVit合成方法在颈部MR-CT数据集上的对比效果示意图;图12为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在骨盆MR-CT数据集上的对比效果示意图;图13为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在骨盆MR-CT数据集上的对比效果示意图;图14为本发明合成方法与现有的ResVit合成方法在骨盆MR-CT数据集上的对比效果示意图;
在图3~图5中,本发明利用三维结构信息在每个轴平面均成功合成了高质量的CT图像,而二维方法中只有轴位面效果较好,其余轴面(冠状面和矢状面)则效果较差。
而在图6~图14中,从各个差异图像(差异图像的定义为:合成图像与原始图像之间求差后形成的图像)中的方框中很容易观察到,与所有现有技术相比,本发明在多个实施例上合成的CT图像与参考CT图像的差异最小。
如图15所示为本发明成像方法的方法流程示意图:本发明提供这种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法,具体包括如下步骤:
S1. 获取现有的MR图像及对应的CT图像的数据信息;
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码,从而将MR图像压缩到隐空间,得到MR图像隐空间表示;
S3. 将步骤S2得到的MR图像隐空间表示,输入到共享特征提取模块进行特征提取,从而得到MR图像局部特征;
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块;基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块;将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块,分别得到合成CT图像隐空间表示和重建MR图像隐空间表示;
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中,分别得到合成CT图像和重建MR图像;
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失,同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失;根据得到的CT图像损失和MR图像损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新,得到最终的最优参数;
S7. 获取实际的MR图像数据信息,并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理,从而合成对应的CT图像;
S8. 根据步骤S7合成的CT图像,进行二次成像,得到基于MR图像的合成CT图像,并一同输出MR图像和对应的CT图像。
本发明提供的这种成像方法,适用于现有的MR图像获取设备,比如现有的MR检测设备。具体应用时,将本发明的成像方法应用到MR检测设备上;运行时,MR检测设备先按照正常工作方式获取实际的MR图像,然后根据获取的MR图像,采用本发明提供的、已经应用到设备上的成像方法进行二次成像,得到MR图像所对应的合成CT图像,然后MR检测设备就能够一次性输出MR图像和对应的合成CT图像,从而极大的方便了工作人员和被检测人员。
Claims (10)
1.一种基于三维建模和MR图像的CT图像合成方法,其特征在于包括如下步骤:
S1. 获取现有的MR图像及对应的CT图像的数据信息;
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码,从而将MR图像压缩到隐空间,得到MR图像隐空间表示;
S3. 将步骤S2得到的MR图像隐空间表示,输入到共享特征提取模块进行特征提取,从而得到MR图像局部特征;
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块;基于卷积模块、残差模块、上采样模块和特征拼接模块构建MR图像重建模块;将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块,分别得到合成CT图像隐空间表示和重建MR图像隐空间表示;
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中,分别得到合成CT图像和重建MR图像;
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失,同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失;根据得到的CT图像损失和MR图像损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新,得到最终的最优参数;
S7. 获取实际的MR图像数据信息,并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理,从而合成对应的CT图像。
2.根据权利要求1所述的基于三维建模和MR图像的CT图像合成方法,其特征在于所述的步骤S2,具体包括如下步骤:
所述编码模块包括依次串接的3D卷积层、激活层、归一化层和全连接层;层数根据下采样的倍率进行设定;
其中,3D卷积层用于学习图像的三维特征的压缩编码表示;激活层用于引入非线性因素,提高编码器的编码能力;归一化层用于加速模型的收敛;
所述编码模块用于将MR图像压缩到隐空间,得到MR图像隐空间表示,并优化三维模型的计算复杂度。
3.根据权利要求2所述的基于三维建模和MR图像的CT图像合成方法,其特征在于所述的步骤S3,具体包括如下步骤:
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块;
所述的5层3D残差模块用于学习MR图像的三维局部特征;所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率,以获得若干个尺度的特征图;
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取,提取MR图像隐空间表示的各个尺度的三维局部特征,以满足MR图像中各个尺度的视觉要求。
4.根据权利要求3所述的基于三维建模和MR图像的CT图像合成方法,其特征在于步骤S4所述的基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块,具体包括如下步骤:
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层;
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样,从而得到3D局部特征;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系,从而得到3D局部-全局特征;所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度;所述的3D卷积模块层用于将合成的特征转换得到隐空间表示。
5.根据权利要求4所述的基于三维建模和MR图像的CT图像合成方法,其特征在于所述的3D混洗上采样层,具体包括如下内容:
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层;
所述的3D卷积层用于将局部特征的通道数扩充若干倍,并保持分辨率不变;所述的3D体素混洗层用于将通道维度的像素混洗到空间维度;
所述的特征拼接层,具体包括如下步骤:
所述的3D门控转置Transformer层,具体包括如下内容:
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层;
采用如下算式表示3D门控转置Transformer层的处理过程:和/>式中/>为第1层多头门控转置自注意力层的输出;/>为3D门控转置Transformer层的输入特征;/>为第2层多头门控转置自注意力层的输出;/>为层归一化处理函数;
为多头门控转置自注意力层的处理函数,且采用如下算式进行表示:式中I为多头门控转置自注意力层的输入特征,;G为门控向量,/>,且/>,/>为/>的3D卷积;/>为哈达玛积;A为注意力矩阵,/>且/>,为归一化指数函数,K为键向量,/>且/>,/>为的3D卷积,Q为查询向量,/>且/>,/>为/>的3D卷积,/>为待学习的参数;V为值向量,/>且/>,/>为/>的3D卷积;H为特征图的高度,W为特征图的宽度,D为特征图的深度,C为特征图的通道数,为实数空间中维度为/>的向量,/>为实数空间中维度为的向量;
所述的窗口混洗层,具体包括如下内容:
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程,从而降低多头门控转置自注意力层的计算复杂度;
窗口混洗层用于在计算多头门控转置自注意力层之后,在窗口间进行通道混洗操作以获得窗口间的交互。
6.根据权利要求5所述的基于三维建模和MR图像的CT图像合成方法,其特征在于步骤S4所述的基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块,具体包括如下步骤:
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层;
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样,从而得到3D局部特征;所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征;所述的3D残差卷积层用于采用拼接的两个尺度的MR图像特惠总能重建MR图像的隐空间表示;所述的3D卷积模块层用于将合成特征转换到隐空间表示。
8.根据权利要求7所述的基于三维建模和MR图像的CT图像合成方法,其特征在于所述的步骤S5,具体包括如下步骤:
所述解码模块与编码模块对应;解码模块包括依次串接的3D反卷积层、激活层额归一化层;层数根据上采样的倍率进行设定;
其中,3D反卷积层用于特征图的重建;激活层用于引入非线性因素,提高解码器的编码能力;归一化层用于加速模型的收敛;
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像,同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像。
9.根据权利要求8所述的基于三维建模和MR图像的CT图像合成方法,其特征在于所述的步骤S6,具体包括如下步骤:
将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比,并计算CT图像的L1损失;
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比,并计算MR图像的L1损失;
根据得到的CT图像的L1损失和MR图像的L1损失,对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数,进行迭代更新,直至损失收敛,从而得到对应的最优参数。
10.一种包括了权利要求1~9之一所述的基于三维建模和MR图像的CT图像合成方法的成像方法,其特征在于还包括如下步骤:
S8. 根据步骤S7合成的CT图像,进行二次成像,得到基于MR图像的合成CT图像,并一同输出MR图像和对应的CT图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475206.9A CN116246025B (zh) | 2023-04-28 | 2023-04-28 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475206.9A CN116246025B (zh) | 2023-04-28 | 2023-04-28 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116246025A CN116246025A (zh) | 2023-06-09 |
CN116246025B true CN116246025B (zh) | 2023-07-11 |
Family
ID=86631579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310475206.9A Active CN116246025B (zh) | 2023-04-28 | 2023-04-28 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116246025B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114331911A (zh) * | 2022-01-05 | 2022-04-12 | 北京理工大学重庆创新中心 | 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法 |
WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4030385A1 (en) * | 2021-01-14 | 2022-07-20 | TheraPanacea | Devices and process for synthesizing images from a source nature to a target nature |
-
2023
- 2023-04-28 CN CN202310475206.9A patent/CN116246025B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
CN114331911A (zh) * | 2022-01-05 | 2022-04-12 | 北京理工大学重庆创新中心 | 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法 |
Non-Patent Citations (2)
Title |
---|
LatentPCN: latent space-constrained point cloud network for reconstruction of 3D patient-specific bone surfacemodels from calibrated biplanar X-ray images;Wenyuan Sun;《International Journal of Computer Assisted Radiology and Surgery》;1-11 * |
Multimodal image synthesis based on disentanglement representations of anatomical and modality specific features, learned using uncooperative relativistic GAN;Siemens Healthineers;《Medical Image Analysis》;第第80卷卷;1-24 * |
Also Published As
Publication number | Publication date |
---|---|
CN116246025A (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Armanious et al. | MedGAN: Medical image translation using GANs | |
CN104156994B (zh) | 一种压缩感知磁共振成像的重建方法 | |
CN110021037A (zh) | 一种基于生成对抗网络的图像非刚性配准方法及系统 | |
CN116012344B (zh) | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 | |
CN110827232B (zh) | 基于形态特征gan的跨模态mri合成方法 | |
CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
CN113256749B (zh) | 一种基于高维相关性先验信息的快速磁共振成像重建算法 | |
Yao et al. | A weighted feature transfer gan for medical image synthesis | |
CN105957029A (zh) | 基于张量字典学习的磁共振图像重建方法 | |
CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
CN116740170A (zh) | 一种单目内窥镜视频深度与位姿估计方法 | |
CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
CN116823625A (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
Dayarathna et al. | Deep learning based synthesis of MRI, CT and PET: Review and analysis | |
WO2020113148A1 (en) | Single or a few views computed tomography imaging with deep neural network | |
Hu et al. | Data-enabled intelligence in complex industrial systems cross-model transformer method for medical image synthesis | |
Poonkodi et al. | 3d-medtrancsgan: 3d medical image transformation using csgan | |
CN116246025B (zh) | 基于三维建模和mr图像的ct图像合成方法及成像方法 | |
Iddrisu et al. | 3D reconstructions of brain from MRI scans using neural radiance fields | |
CN115731444A (zh) | 一种基于人工智能和超像素分割的医学影像融合方法 | |
CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
Xu | A Robust and Efficient Framework for Slice-to-Volume Reconstruction: Application to Fetal MRI | |
CN113298907B (zh) | 一种基于伽马核范数和总变分的核磁图像重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |