CN116246025A - 基于三维建模和mr图像的ct图像合成方法及成像方法 - Google Patents

基于三维建模和mr图像的ct图像合成方法及成像方法 Download PDF

Info

Publication number
CN116246025A
CN116246025A CN202310475206.9A CN202310475206A CN116246025A CN 116246025 A CN116246025 A CN 116246025A CN 202310475206 A CN202310475206 A CN 202310475206A CN 116246025 A CN116246025 A CN 116246025A
Authority
CN
China
Prior art keywords
layer
image
module
shuffling
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310475206.9A
Other languages
English (en)
Other versions
CN116246025B (zh
Inventor
赵荣昌
杨腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310475206.9A priority Critical patent/CN116246025B/zh
Publication of CN116246025A publication Critical patent/CN116246025A/zh
Application granted granted Critical
Publication of CN116246025B publication Critical patent/CN116246025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维建模和MR图像的CT图像合成方法，包括获取MR图像和CT图像数据信息；编码MR图像得到MR图像隐空间表示；进行特征提取得到MR图像局部特征；将MR图像局部特征分别输入构建的CT图像合成模块和MR图像重建模块得到合成CT图像隐空间表示和重建MR图像隐空间表示；解码得到合成CT图像和重建MR图像；计算CT图像损失和MR图像损失，并更新参数得到最优参数；将实际的MR图像数据信息输入到具有最优参数的系统实现CT图像的合成。本发明还公开了一种包括所述基于三维建模和MR图像的CT图像合成方法的成像方法。本发明的可靠性高、精确性好且效果较好。

Description

基于三维建模和MR图像的CT图像合成方法及成像方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于三维建模和MR图像的CT图像合成方法及成像方法。
背景技术
随着经济技术的发展和生活水平的提高，人们对于健康的关注也越来越高。目前，CT图像和MR图像，无论是在临床领域还是医学研究领域，都有着极为广泛的应用。
当前，临床领域已经广泛开始了CT图像和MR图像的联合应用，尤其是MR-CT联合放疗方案。目前，CT图像的电子密度可以用于计算辐射剂量，但是CT图像缺乏用于解剖定位的软组织信息；然而，这种信息在MR图像上较为清晰，所以在传统的放疗过程中通常采用MR-CT联合放疗的方案。这类方案，需要获得患者的MR图像和CT图像，并在MR上勾画出目标区域和危险器官，然后通过图像配准将勾画的轮廓映射到CT上，最后根据CT的电子密度信息进行辐射剂量计算。
但是，在临床上同时获取这两种图像既费时费力，还增加了患者的经济负担，并且会给患者带来额外的辐射风险。因此，只需一次MR扫描，并从MR图像中合成CT图像，以同时提供解剖信息和电子密度的需求越来越多。
目前，传统的CT图像的三维跨模态图像合成过程，依旧是一项具有挑战性的任务。现有方法通常采用二维建模的方法，每个二维切片都是基于单个切片单独合成的；这类方法只利用二维切片来预测CT图像，而忽略了切片间潜在的三维结构信息，这必然使得这类方法所得到的生成结果必然不是最优解。
随着深度学习算法在医疗领域的广泛使用，人们逐渐开始采用深度学习方案来进行跨模式的图像合成任务。但是，在三维建模的情况下，目前的方案均无法直接从MR图像实现CT图像的合成，其主要原因在于：1）高复杂性；三维建模需要在三维空间中建立体素与体素之间的关系，这种关系是非常复杂和庞大的，目前尚没有较好的方法来实现这种关系；2）三维细节信息的损失；从MR图像合成CT图像的过程，是从一个三维空间到另一个三维空间的重建过程，这往往需要编码和解码；而目前的方案，其编码过程会丢失很多细节，不利于CT图像的重建；3）MR和CT之间的巨大差异；MR图像和CT图像的成像方式是基于两种不同的成像方案，显示同一个身体部位的不同方面；MR更擅长显示三维软组织信息，而CT则更擅长显示三维电子密度信息；因此，要对这种差异性进行建模和还原，是过程是非常困难的。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且效果较好的基于三维建模和MR图像的CT图像合成方法。
本发明的目的之二在于提供一种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法。
本发明提供的这种基于三维建模和MR图像的CT图像合成方法，包括如下步骤：
S1. 获取现有的MR图像及对应的CT图像的数据信息；
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码，从而将MR图像压缩到隐空间，得到MR图像隐空间表示；
S3. 将步骤S2得到的MR图像隐空间表示，输入到共享特征提取模块进行特征提取，从而得到MR图像局部特征；
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer模块构建CT图像合成模块；基于卷积模块、残差模块、上采样模块和特征拼接模块构建MR图像重建模块；将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块，分别得到合成CT图像隐空间表示和重建MR图像隐空间表示；
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中，分别得到合成CT图像和重建MR图像；
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失，同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失；根据得到的CT图像损失和MR图像损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新，得到最终的最优参数；
S7. 获取实际的MR图像数据信息，并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理，从而合成对应的CT图像。
所述的步骤S2，具体包括如下步骤：
所述编码模块包括依次串接的3D卷积层、激活层、归一化层；层数根据下采样的倍率进行设定；
其中，3D卷积层用于学习图像的三维特征的压缩编码表示；激活层用于引入非线性因素，提高编码器的编码能力；归一化层用于加速模型的收敛；
所述编码模块用于将MR图像压缩到隐空间，得到MR图像隐空间表示，以优化三维模型的计算复杂度。
所述的步骤S3，具体包括如下步骤：
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块；
所述的5层3D残差模块用于学习MR图像的三维局部特征；所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率，以获得多个尺度的特征图；
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取，提取MR图像隐空间表示的各个尺度的三维局部特征，以满足MR图像中各个尺度的视觉要求。
步骤S4所述的基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块，具体包括如下步骤：
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层；
所述的3D混洗上采样层用于对输入的特征数据进行上采样；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系，从而得到3D局部-全局特征；所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度；所述的3D卷积模块层用于将合成的特征转换得到隐空间表示。
所述的3D混洗上采样层，具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍，并保持分辨率不变；所述的3D体素混洗层用于将通道维度的体素混洗到空间维度。
所述的特征拼接层，具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure SMS_1
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征。
所述的3D门控转置Transformer层，具体包括如下内容：
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层；
采用如下算式表示3D门控转置Transformer层的处理过程：
Figure SMS_2
和/>
Figure SMS_3
式中/>
Figure SMS_4
为第1层多头门控转置自注意力层的输出；/>
Figure SMS_5
为3D门控转置Transformer层的输入特征；/>
Figure SMS_6
为第2层多头门控转置自注意力层的输出；/>
Figure SMS_7
为层归一化处理函数；
Figure SMS_8
为多头门控转置自注意力层的处理函数，且采用如下算式进行表示：
Figure SMS_12
式中I为多头门控转置自注意力层的输入特征，
Figure SMS_18
；G为门控向量，/>
Figure SMS_23
，且/>
Figure SMS_11
，/>
Figure SMS_22
为/>
Figure SMS_25
的3D卷积；/>
Figure SMS_32
为哈达玛积；A为注意力矩阵，/>
Figure SMS_14
且/>
Figure SMS_28
，/>
Figure SMS_30
为归一化指数函数，K为键向量，/>
Figure SMS_31
且/>
Figure SMS_15
，/>
Figure SMS_19
为/>
Figure SMS_27
的3D卷积，Q为查询向量，
Figure SMS_29
且/>
Figure SMS_13
，/>
Figure SMS_21
为/>
Figure SMS_24
的3D卷积，/>
Figure SMS_34
为待学习的参数；V为值向量，
Figure SMS_9
且/>
Figure SMS_16
，/>
Figure SMS_33
为/>
Figure SMS_35
的3D卷积；H为特征图的高度，W为特征图的宽度，D为特征图的深度，C为特征图的通道数，/>
Figure SMS_10
为实数空间中维度为/>
Figure SMS_17
的向量，/>
Figure SMS_20
为实数空间中维度为/>
Figure SMS_26
的向量。
所述的窗口混洗层，具体包括如下内容：
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程，从而降低多头门控转置自注意力层的计算复杂度；
窗口混洗层用于在计算多头门控转置自注意力层之后，在窗口间进行通道混洗操作以获得窗口间的交互。
步骤S4所述的基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块，具体包括如下步骤：
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层；
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D残差卷积层用于学习拼接的两个尺度的特征图的特征以用于重建MR图像的隐空间表示；所述的3D卷积模块层用于将合成特征转换到隐空间表示。
所述的3D混洗上采样层，具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍，并保持分辨率不变；所述的3D体素混洗层用于将通道维度的像素混洗到空间维度。
所述的特征拼接层，具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure SMS_36
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征。
所述的步骤S5，具体包括如下步骤：
所述解码模块与编码模块对应；解码模块包括依次串接的3D反卷积层、激活层和归一化层；层数根据上采样的倍率进行设定；
其中，3D反卷积层用于重建特征图（将低分辨率的特征图重建为高分辨率的特征图）；激活层用于引入非线性因素，提高解码器的编码能力；归一化层用于加速模型的收敛；
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像，同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像。
所述的步骤S6，具体包括如下步骤：
将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比，并计算CT图像的L1损失；
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比，并计算MR图像的L1损失；
根据得到的CT图像的L1损失和MR图像的L1损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数，进行迭代更新，直至损失收敛，从而得到对应的最优参数。
本发明还公开了一种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法，还包括如下步骤：
S8. 根据步骤S7合成的CT图像，进行二次成像，得到基于MR图像的合成CT图像，并一同输出MR图像和对应的CT图像。
本发明提供的这种基于三维建模和MR图像的CT图像合成方法及成像方法，通过设计的编码器压缩到隐空间，并实现了在在纯三维空间中高效地从MR图像中合成准确的CT图像；同时，采用CT图像合成模块在三维空间中建模复杂的全局体素依赖关系，以完成高质量的CT图像重建；最后，本发明能够避免在从MR图像特征合成CT图像的过程中由于上采样插值而引入的噪声对细节特征造成干扰以学习解剖结构和细节的表述，使本发明能够从低分辨率的特征中恢复更准确的高分辨率的特征图，从而有效实现更高的CT图像合成细节；因此本发明的可靠性高、精确性好且效果较好。
附图说明
图1为本发明合成方法的方法流程示意图。
图2为本发明合成方法的简要流程示意图。
图3为本发明合成方法与现有方法在二维模型和三维模型的轴位面可视化结果对比示意图。
图4为本发明合成方法与现有方法在二维模型和三维模型的冠状面可视化结果对比示意图。
图5为本发明合成方法与现有方法在二维模型和三维模型的矢状面可视化结果对比示意图。
图6为本发明合成方法与现有的CycleGAN合成方法、Pix2Pix合成方法在头部MR-CT数据集上的对比效果示意图。
图7为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在头部MR-CT数据集上的对比效果示意图。
图8为本发明合成方法与现有的ResVit合成方法在头部MR-CT数据集上的对比效果示意图。
图9为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在颈部MR-CT数据集上的对比效果示意图。
图10为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在颈部MR-CT数据集上的对比效果示意图。
图11为本发明合成方法与现有的ResVit合成方法在颈部MR-CT数据集上的对比效果示意图。
图12为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在骨盆MR-CT数据集上的对比效果示意图。
图13为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在骨盆MR-CT数据集上的对比效果示意图。
图14为本发明合成方法与现有的ResVit合成方法在骨盆MR-CT数据集上的对比效果示意图。
图15为本发明成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明合成方法的方法流程示意图：本发明提供的这种基于三维建模和MR图像的CT图像合成方法，包括如下步骤：
S1. 获取现有的MR图像及对应的CT图像的数据信息；
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码，从而将MR图像压缩到隐空间，得到MR图像隐空间表示；具体包括如下步骤：
所述编码模块包括依次串接的3D卷积层、激活层、归一化层和全连接层；层数根据下采样的倍率进行设定；
其中，3D卷积层用于学习图像的三维特征的压缩编码表示；激活层用于引入非线性因素，提高编码器的编码能力；归一化层用于加速模型的收敛；
所述编码模块用于将MR图像压缩到隐空间，得到MR图像隐空间表示，并优化三维模型的计算复杂度；
本步骤将MR图像压缩到隐空间，忽略部分难以捕捉的高频信息，以优化三维模型的计算复杂度；
S3. 将步骤S2得到的MR图像隐空间表示，输入到共享特征提取模块进行特征提取，从而得到MR图像局部特征；具体包括如下步骤：
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块；
所述的5层3D残差模块用于学习MR图像的三维局部特征；所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率，以获得多个尺度的特征图；
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取，提取MR图像隐空间表示的各个尺度的三维局部特征，以满足MR图像中各个尺度的视觉要求；
本步骤提取MR图像隐空间表示的多个尺度的三维局部特征，以满足MR图像中从大尺度的人体，到中尺度的器官，以及小尺度的组织均有意义的多尺度视觉要求；
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块；基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块；将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块，分别得到合成CT图像隐空间表示和重建MR图像隐空间表示；
具体实施时，采用如下步骤构建CT图像合成模块：
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层；
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样，从而得到3D局部特征；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系，从而得到3D局部-全局特征，同时控制对MR合成有用的特征继续向前流动，并筛除无用的特征，从而建模MR图像和CT图像之间的分布差异，以完成高质量的CT图像重建；所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度；所述的3D卷积模块层用于将合成的特征转换得到隐空间表示；
其中，3D混洗上采样层具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍（优选为4倍），并保持分辨率不变；所述的3D体素混洗层用于将通道维度的像素混洗到空间维度；
3D混洗上采样层可以上采样共享特征提取模块提取的MR图像隐空间表示的3D局部特征，用于避免在从MR图像特征合成CT图像的过程中由于上采样插值而引入的噪声对细节特征造成干扰以学习解剖结构和细节的表述，使模型能够从低分辨率的特征中恢复更准确的高分辨率的特征图；
特征拼接层具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure SMS_37
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；
3D门控转置Transformer层具体包括如下内容：
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层；
采用如下算式表示3D门控转置Transformer层的处理过程：
Figure SMS_38
Figure SMS_39
式中/>
Figure SMS_40
为第1层多头门控转置自注意力层的输出；/>
Figure SMS_41
为3D门控转置Transformer层的输入特征；/>
Figure SMS_42
为第2层多头门控转置自注意力层的输出；/>
Figure SMS_43
为层归一化处理函数；
Figure SMS_50
为多头门控转置自注意力层的处理函数，多头门控转置自注意力层是一种高效的带有门控机制的自注意力机制，且采用如下算式进行表示：/>
Figure SMS_64
式中I为多头门控转置自注意力层的输入特征，/>
Figure SMS_67
；G为门控向量，/>
Figure SMS_48
，且/>
Figure SMS_53
，/>
Figure SMS_62
为/>
Figure SMS_63
的3D卷积；/>
Figure SMS_46
为哈达玛积；A为注意力矩阵，/>
Figure SMS_54
且
Figure SMS_57
，/>
Figure SMS_66
为归一化指数函数，K为键向量，/>
Figure SMS_47
且
Figure SMS_55
，/>
Figure SMS_59
为/>
Figure SMS_65
的3D卷积，Q为查询向量，/>
Figure SMS_45
且/>
Figure SMS_60
，/>
Figure SMS_61
为/>
Figure SMS_68
的3D卷积，/>
Figure SMS_44
为待学习的参数；V为值向量，/>
Figure SMS_69
且/>
Figure SMS_70
，/>
Figure SMS_71
为/>
Figure SMS_49
的3D卷积；H为特征图的高度，W为特征图的宽度，D为特征图的深度，C为特征图的通道数，
Figure SMS_52
为实数空间中维度为/>
Figure SMS_56
的向量，/>
Figure SMS_58
为实数空间中维度为/>
Figure SMS_51
的向量；
与传统的自注意力机制相比，多头门控转置自注意力层通过转置注意力计算将自注意力计算复杂度的二次项从空间维度转移到通道维度从而减轻了对3D模型应用自注意力的负担；从注意力矩阵也可以体现本发明的计算优势，与原始的自注意力矩阵
Figure SMS_72
相比，多头门控转置自注意力层的注意力矩阵为/>
Figure SMS_73
，其空间占用得到显著优化，以支持多头门控转置自注意力层在保持计算相关性效果的同时大大降低计算复杂度；得益于门控机制的引入，本方案的自注意力机制可以从同一器官组织的两种不同模式中学习结构信息，同时过滤掉不一致的信息，以弥补MR和CT之间的差异；此外，门控转置自注意力机制不仅结合了门控和注意机制，还整合了Transfomrer中的自注意力层和前馈神经网络层，优化了Transformer的建模方式；
窗口混洗层具体包括如下内容：
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程，从而降低多头门控转置自注意力层的计算复杂度；
窗口混洗层用于在计算多头门控转置自注意力层之后，在窗口间进行通道混洗操作以获得窗口间的交互；
窗口混洗层用于优化3D 门控转置Transformer的计算复杂度，该层将通道进行窗口化，并在窗口内执行3D 门控转置Transformer，并通过混洗操作弥补窗口间的相关性丢失，它和多头转置自注意力层共同构建了一个非常高效的Transformer执行方式，以辅助3D门控转置Transformer在复杂的3D空间中建立体素和体素之间的长程关系，使3D大数据的MR图像合成CT图像任务中应用自注意力变得可行；窗口混洗层通过窗口化多头转置自注意力模块的计算进一步降低自注意力层的复杂性，其对通道进行窗口化，仅在局部窗口内计算多头门控转置自注意力，大大降低了计算量；窗口混洗层在计算多头转置自注意力之后在窗口间进行通道混洗操作以获得窗口间的交互；假设每个窗口包含N个通道，一个多头转置自注意力模块和一个基于窗口混洗的多头转置自注意力模块在一个
Figure SMS_74
的图像上的计算复杂性分别为/>
Figure SMS_75
和/>
Figure SMS_76
，其中前者是对通道数C的二次方，而后者在W固定时是线性的；此外，混洗上采样模块与窗口混洗模块配合，增加了空间和通道之间的信息流，使不同尺度的特征可以相互影响，从而增强了特征表示的效果；
采用如下步骤构建MR图像重建模块：
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层；
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样，从而得到3D局部特征；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D残差卷积层用于采用拼接的两个尺度的MR图像特惠总能重建MR图像的隐空间表示；所述的3D卷积模块层用于将合成特征转换到隐空间表示；
其中，3D混洗上采样层具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍，并保持分辨率不变；所述的3D体素混洗层用于将通道维度的像素混洗到空间维度；
特征拼接层具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure SMS_77
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；
3D残差卷积层利用拼接的两个尺度的MR图像特征重建MR图像的隐空间表示；
MR图像重建模块能够弥补编码器为了优化计算而将图像压缩到隐空间所丢失的高频信息，从而辅助CT图像的合成；
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中，分别得到合成CT图像和重建MR图像；具体包括如下步骤：
所述解码模块与编码模块对应；解码模块包括依次串接的3D反卷积层、激活层额归一化层；层数根据上采样的倍率进行设定；
其中，3D反卷积层用于重建特征图（将低分辨率的特征图还原为高分辨率的特征图）；激活层用于引入非线性因素，提高解码器的编码能力；归一化层用于加速模型的收敛；
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像，同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像；
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失，同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失；根据得到的CT图像损失和MR图像损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新，得到最终的最优参数；
具体实施时，将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比，并计算CT图像的L1损失；
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比，并计算MR图像的L1损失；
根据得到的CT图像的L1损失和MR图像的L1损失，采用设置的优化算法（比如AdamW）对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数，进行迭代更新，直至损失收敛，从而得到对应的最优参数；
S7. 获取实际的MR图像数据信息，并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理，从而合成对应的CT图像；
本发明合成方法的简要流程图如图2所示；具体实施时，在训练阶段，本发明需要构建MR图像重建模块，重建MR图像并计算重建损失（对应于图2中的虚线部分），该部分的目的在于弥补将图像压缩到隐空间所丢失的高频信息，从而辅助CT图像的合成；但是，在模型训练完成后，在实施阶段，图2中的虚线部分就不需要再保留了，即训练完成后的模型只需要进行CT图像的合成，并不需要进行MR图像的重建；
以下结合实施例，对本发明的合成方法的效果进行说明：
本发明在两个具有挑战性的数据集进行了实验，以评估本发明的有效性。定量分析实验结果如表1所示：
表1 定量分析实验结果示意表
Figure SMS_78
在表1中，平均绝对误差（MAE）指标越小越好；峰值信噪声比（PSNR）指标越大越好；结构相似性（SSIM）指标越大越好。本发明在两个数据集上成功地在三维空间从MR图像合成了准确的CT图像，平均绝对误差（MAE）在两个数据集上的平均值为43.005，峰值信噪声比（PSNR）在两个数据集上的平均值为23.674，结构相似性（SSIM）在两个数据上的平均值为0.837，均优于现有技术。
定性分析的可视化结果如图3~图14所示；其中，图3为本发明合成方法与现有方法在二维模型和三维模型的轴位面可视化结果对比示意图；图4为本发明合成方法与现有方法在二维模型和三维模型的冠状面可视化结果对比示意图；图5为本发明合成方法与现有方法在二维模型和三维模型的矢状面可视化结果对比示意图；图6为本发明合成方法与现有的CycleGAN合成方法、Pix2Pix合成方法在头部MR-CT数据集上的对比效果示意图；图7为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在头部MR-CT数据集上的对比效果示意图；图8为本发明合成方法与现有的ResVit合成方法在头部MR-CT数据集上的对比效果示意图；图9为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在颈部MR-CT数据集上的对比效果示意图；图10为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在颈部MR-CT数据集上的对比效果示意图；图11为本发明合成方法与现有的ResVit合成方法在颈部MR-CT数据集上的对比效果示意图；图12为本发明合成方法与现有CycleGAN合成方法、Pix2Pix合成方法在骨盆MR-CT数据集上的对比效果示意图；图13为本发明合成方法与现有的Unet2D合成方法、RegGAN合成方法在骨盆MR-CT数据集上的对比效果示意图；图14为本发明合成方法与现有的ResVit合成方法在骨盆MR-CT数据集上的对比效果示意图；
在图3~图5中，本发明利用三维结构信息在每个轴平面均成功合成了高质量的CT图像，而二维方法中只有轴位面效果较好，其余轴面（冠状面和矢状面）则效果较差。
而在图6~图14中，从各个差异图像（差异图像的定义为：合成图像与原始图像之间求差后形成的图像）中的方框中很容易观察到，与所有现有技术相比，本发明在多个实施例上合成的CT图像与参考CT图像的差异最小。
如图15所示为本发明成像方法的方法流程示意图：本发明提供这种包括了所述基于三维建模和MR图像的CT图像合成方法的成像方法，具体包括如下步骤：
S1. 获取现有的MR图像及对应的CT图像的数据信息；
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码，从而将MR图像压缩到隐空间，得到MR图像隐空间表示；
S3. 将步骤S2得到的MR图像隐空间表示，输入到共享特征提取模块进行特征提取，从而得到MR图像局部特征；
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块；基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块；将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块，分别得到合成CT图像隐空间表示和重建MR图像隐空间表示；
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中，分别得到合成CT图像和重建MR图像；
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失，同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失；根据得到的CT图像损失和MR图像损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新，得到最终的最优参数；
S7. 获取实际的MR图像数据信息，并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理，从而合成对应的CT图像；
S8. 根据步骤S7合成的CT图像，进行二次成像，得到基于MR图像的合成CT图像，并一同输出MR图像和对应的CT图像。
本发明提供的这种成像方法，适用于现有的MR图像获取设备，比如现有的MR检测设备。具体应用时，将本发明的成像方法应用到MR检测设备上；运行时，MR检测设备先按照正常工作方式获取实际的MR图像，然后根据获取的MR图像，采用本发明提供的、已经应用到设备上的成像方法进行二次成像，得到MR图像所对应的合成CT图像，然后MR检测设备就能够一次性输出MR图像和对应的合成CT图像，从而极大的方便了工作人员和被检测人员。

Claims (10)

1.一种基于三维建模和MR图像的CT图像合成方法，其特征在于包括如下步骤：
S1. 获取现有的MR图像及对应的CT图像的数据信息；
S2. 将步骤S1获取的MR图像输入到编码模块中进行编码，从而将MR图像压缩到隐空间，得到MR图像隐空间表示；
S3. 将步骤S2得到的MR图像隐空间表示，输入到共享特征提取模块进行特征提取，从而得到MR图像局部特征；
S4. 基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块；基于卷积模块、残差模块、上采样模块和特征拼接模块构建MR图像重建模块；将步骤S3得到的MR图像局部特征分别输入到CT图像合成模块和MR图像重建模块，分别得到合成CT图像隐空间表示和重建MR图像隐空间表示；
S5. 将步骤S4得到的合成CT图像隐空间表示和重建MR图像隐空间表示分别输入到与编码模块对应的解码模块中，分别得到合成CT图像和重建MR图像；
S6. 将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比并计算CT图像损失，同时将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比并计算MR图像损失；根据得到的CT图像损失和MR图像损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块进行参数迭代更新，得到最终的最优参数；
S7. 获取实际的MR图像数据信息，并依次通过具有步骤S6得到的最优参数的编码模块、共享特征提取模块、CT图像合成模块和解码模块进行处理，从而合成对应的CT图像。
2.根据权利要求1所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的步骤S2，具体包括如下步骤：
所述编码模块包括依次串接的3D卷积层、激活层、归一化层和全连接层；层数根据下采样的倍率进行设定；
其中，3D卷积层用于学习图像的三维特征的压缩编码表示；激活层用于引入非线性因素，提高编码器的编码能力；归一化层用于加速模型的收敛；
所述编码模块用于将MR图像压缩到隐空间，得到MR图像隐空间表示，并优化三维模型的计算复杂度。
3.根据权利要求2所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的步骤S3，具体包括如下步骤：
所述的共享特征提取模块包括依次串接的5层3D残差模块和4层3D最大池化下采样模块；
所述的5层3D残差模块用于学习MR图像的三维局部特征；所述的4层3D最大池化下采样模块用于降低三维特征图的分辨率，以获得若干个尺度的特征图；
所述的共享特征提取模块对输入的MR图像隐空间表示进行特征提取，提取MR图像隐空间表示的各个尺度的三维局部特征，以满足MR图像中各个尺度的视觉要求。
4.根据权利要求3所述的基于三维建模和MR图像的CT图像合成方法，其特征在于步骤S4所述的基于卷积模块、上采样模块、特征拼接模块和门控转置Transformer层构建CT图像合成模块，具体包括如下步骤：
所述的CT图像合成模块包括依次串接的4层3D混洗上采样层、4层特征拼接层、8层3D门控转置Transformer层、8层窗口混洗层和1层3D卷积模块层；
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样，从而得到3D局部特征；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D门控转置Transformer层用于建立拼接的若干尺度的图像特征在3D空间中的全局体素依赖关系，从而得到3D局部-全局特征；所述的窗口混洗层用于优化3D门控转置Transformer层的计算复杂度；所述的3D卷积模块层用于将合成的特征转换得到隐空间表示。
5.根据权利要求4所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的3D混洗上采样层，具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍，并保持分辨率不变；所述的3D体素混洗层用于将通道维度的像素混洗到空间维度；
所述的特征拼接层，具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure QLYQS_1
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；
所述的3D门控转置Transformer层，具体包括如下内容：
3D门控转置Transformer层包括依次串接的2层多头门控转置自注意力层和2层层级归一化层；
采用如下算式表示3D门控转置Transformer层的处理过程：
Figure QLYQS_2
和/>
Figure QLYQS_3
式中/>
Figure QLYQS_4
为第1层多头门控转置自注意力层的输出；/>
Figure QLYQS_5
为3D门控转置Transformer层的输入特征；/>
Figure QLYQS_6
为第2层多头门控转置自注意力层的输出；/>
Figure QLYQS_7
为层归一化处理函数；
Figure QLYQS_9
为多头门控转置自注意力层的处理函数，且采用如下算式进行表示：
Figure QLYQS_11
式中I为多头门控转置自注意力层的输入特征，/>
Figure QLYQS_13
；G为门控向量，/>
Figure QLYQS_15
，且/>
Figure QLYQS_17
，/>
Figure QLYQS_19
为/>
Figure QLYQS_21
的3D卷积；/>
Figure QLYQS_23
为哈达玛积；A为注意力矩阵，/>
Figure QLYQS_25
且/>
Figure QLYQS_26
，/>
Figure QLYQS_28
为归一化指数函数，K为键向量，
Figure QLYQS_29
且/>
Figure QLYQS_31
，/>
Figure QLYQS_33
为/>
Figure QLYQS_35
的3D卷积，Q为查询向量，/>
Figure QLYQS_8
且
Figure QLYQS_10
，/>
Figure QLYQS_12
为/>
Figure QLYQS_14
的3D卷积，/>
Figure QLYQS_16
为待学习的参数；V为值向量，/>
Figure QLYQS_18
且
Figure QLYQS_20
，/>
Figure QLYQS_22
为/>
Figure QLYQS_24
的3D卷积；H为特征图的高度，W为特征图的宽度，D为特征图的深度，C为特征图的通道数，/>
Figure QLYQS_27
为实数空间中维度为/>
Figure QLYQS_30
的向量，/>
Figure QLYQS_32
为实数空间中维度为/>
Figure QLYQS_34
的向量；
所述的窗口混洗层，具体包括如下内容：
窗口混洗层用于窗口化多头门控转置自注意力层的计算过程，从而降低多头门控转置自注意力层的计算复杂度；
窗口混洗层用于在计算多头门控转置自注意力层之后，在窗口间进行通道混洗操作以获得窗口间的交互。
6.根据权利要求5所述的基于三维建模和MR图像的CT图像合成方法，其特征在于步骤S4所述的基于卷积模块、上采样模块和特征拼接模块构建MR图像重建模块，具体包括如下步骤：
所述的MR图像重建模块包括4层3D混洗上采样层、4层特征拼接层、4层3D残差卷积层和1层3D卷积模块层；
所述的3D混洗上采样层用于用于对输入的特征数据进行上采样，从而得到3D局部特征；所述特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征；所述的3D残差卷积层用于采用拼接的两个尺度的MR图像特惠总能重建MR图像的隐空间表示；所述的3D卷积模块层用于将合成特征转换到隐空间表示。
7.根据权利要求6所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的3D混洗上采样层，具体包括如下内容：
3D混洗上采样层包括依次串接的1层3D卷积层和1层3D体素混洗层；
所述的3D卷积层用于将局部特征的通道数扩充若干倍，并保持分辨率不变；所述的3D体素混洗层用于将通道维度的像素混洗到空间维度；
所述的特征拼接层，具体包括如下步骤：
特征拼接层包括依次串接的拼接操作模块和1个
Figure QLYQS_36
的3D卷积；特征拼接层用于拼接上一层级经过3D混洗上采样层的图像特征和本层级的图像特征。
8.根据权利要求7所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的步骤S5，具体包括如下步骤：
所述解码模块与编码模块对应；解码模块包括依次串接的3D反卷积层、激活层额归一化层；层数根据上采样的倍率进行设定；
其中，3D反卷积层用于特征图的重建；激活层用于引入非线性因素，提高解码器的编码能力；归一化层用于加速模型的收敛；
所述解码模块用于将输入的合成CT图像隐空间表示转换为合成的CT图像，同时也用于将输入的重建MR图像隐空间表示转换为重建MR图像。
9.根据权利要求8所述的基于三维建模和MR图像的CT图像合成方法，其特征在于所述的步骤S6，具体包括如下步骤：
将步骤S5得到的合成CT图像和步骤S1获取的CT图像进行对比，并计算CT图像的L1损失；
将步骤S5得到的重建MR图像和步骤S1获取的MR图像进行对比，并计算MR图像的L1损失；
根据得到的CT图像的L1损失和MR图像的L1损失，对编码模块、共享特征提取模块、CT图像合成模块、MR图像重建模块和解码模块中的参数，进行迭代更新，直至损失收敛，从而得到对应的最优参数。
10.一种包括了权利要求1~9之一所述的基于三维建模和MR图像的CT图像合成方法的成像方法，其特征在于还包括如下步骤：
S8. 根据步骤S7合成的CT图像，进行二次成像，得到基于MR图像的合成CT图像，并一同输出MR图像和对应的CT图像。
CN202310475206.9A 2023-04-28 2023-04-28 基于三维建模和mr图像的ct图像合成方法及成像方法 Active CN116246025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310475206.9A CN116246025B (zh) 2023-04-28 2023-04-28 基于三维建模和mr图像的ct图像合成方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310475206.9A CN116246025B (zh) 2023-04-28 2023-04-28 基于三维建模和mr图像的ct图像合成方法及成像方法

Publications (2)

Publication Number Publication Date
CN116246025A true CN116246025A (zh) 2023-06-09
CN116246025B CN116246025B (zh) 2023-07-11

Family

ID=86631579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310475206.9A Active CN116246025B (zh) 2023-04-28 2023-04-28 基于三维建模和mr图像的ct图像合成方法及成像方法

Country Status (1)

Country Link
CN (1) CN116246025B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331911A (zh) * 2022-01-05 2022-04-12 北京理工大学重庆创新中心 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法
US20220222873A1 (en) * 2021-01-14 2022-07-14 Therapanacea Devices and process for synthesizing images from a source nature to a target nature
WO2023005186A1 (zh) * 2021-07-29 2023-02-02 广州柏视医疗科技有限公司 一种基于深度学习的模态转换方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222873A1 (en) * 2021-01-14 2022-07-14 Therapanacea Devices and process for synthesizing images from a source nature to a target nature
WO2023005186A1 (zh) * 2021-07-29 2023-02-02 广州柏视医疗科技有限公司 一种基于深度学习的模态转换方法
CN114331911A (zh) * 2022-01-05 2022-04-12 北京理工大学重庆创新中心 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIEMENS HEALTHINEERS: "Multimodal image synthesis based on disentanglement representations of anatomical and modality specific features, learned using uncooperative relativistic GAN", 《MEDICAL IMAGE ANALYSIS》, vol. 80, pages 1 - 24 *
WENYUAN SUN: "LatentPCN: latent space-constrained point cloud network for reconstruction of 3D patient-specific bone surfacemodels from calibrated biplanar X-ray images", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》, pages 1 - 11 *

Also Published As

Publication number Publication date
CN116246025B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
Armanious et al. MedGAN: Medical image translation using GANs
CN104156994B (zh) 一种压缩感知磁共振成像的重建方法
CN116012344B (zh) 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法
CN107292858B (zh) 一种基于低秩分解和稀疏表示的多模态医学图像融合方法
CN113112592A (zh) 一种可驱动的隐式三维人体表示方法
CN105654425A (zh) 一种应用于医学x光图像的单幅图像超分辨率重建方法
CN113256749B (zh) 一种基于高维相关性先验信息的快速磁共振成像重建算法
CN107301630A (zh) 一种基于排序结构组非凸约束的cs‑mri图像重构方法
CN105957029A (zh) 基于张量字典学习的磁共振图像重建方法
CN110827232A (zh) 基于形态特征gan的跨模态mri合成方法
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
CN116740170A (zh) 一种单目内窥镜视频深度与位姿估计方法
CN115830016A (zh) 医学图像配准模型训练方法及设备
Dayarathna et al. Deep learning based synthesis of MRI, CT and PET: Review and analysis
WO2020113148A1 (en) Single or a few views computed tomography imaging with deep neural network
Hu et al. Data-enabled intelligence in complex industrial systems cross-model transformer method for medical image synthesis
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
CN116246025B (zh) 基于三维建模和mr图像的ct图像合成方法及成像方法
CN115731444A (zh) 一种基于人工智能和超像素分割的医学影像融合方法
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
Dalmaz et al. edagan: Encoder-decoder attention generative adversarial networks for multi-contrast mr image synthesis
WO2022120731A1 (zh) 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
Yu et al. Deep learning single view computed tomography guided by FBP algorithm
Dong et al. Fp roi-GAN with Fused Regional Features for the Synthesis of High-Quality Paired Medical Images.
CN113298907B (zh) 一种基于伽马核范数和总变分的核磁图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant