CN116402865B - 一种利用扩散模型的多模态影像配准方法、装置和介质 - Google Patents
一种利用扩散模型的多模态影像配准方法、装置和介质 Download PDFInfo
- Publication number
- CN116402865B CN116402865B CN202310661495.1A CN202310661495A CN116402865B CN 116402865 B CN116402865 B CN 116402865B CN 202310661495 A CN202310661495 A CN 202310661495A CN 116402865 B CN116402865 B CN 116402865B
- Authority
- CN
- China
- Prior art keywords
- image
- modal
- cross
- registration
- registration network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009792 diffusion process Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000002591 computed tomography Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 210000003484 anatomy Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011295 pitch Substances 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ROFVEXUMMXZLPA-UHFFFAOYSA-N Bipyridyl Chemical compound N1=CC=CC=C1C1=CC=CC=N1 ROFVEXUMMXZLPA-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利用扩散模型的多模态影像配准方法、装置和介质，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后构建跨模态的生成网络和可变形配准网络，进一步构建跨模态配准网络模型，并基于数据集对该模型进行训练；再使用数据集通过评估指标对训练好的跨模态配准网络模型的性能进行评估，并根据评估结果进一步调整模型参数，以获取最优跨模态配准网络模型；最后获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像输入最优可变形配准网络中以获取配准后的图像。本发明包含了利用扩散思想的无判别器的生成模型，有助于减少生成图像的不一致性和伪影，提高多模态配准的结果，提高生成图像的质量。
Description
技术领域
本发明涉及计算机技术和医学影像跨模态配准的交叉技术领域，尤其涉及一种利用扩散模型的多模态影像配准方法、装置和介质。
背景技术
在临床实践中，良好对齐的多模态图像，例如磁共振（MR）和计算机断层扫描（CT），可以通过融合等手段共同为图像引导治疗提供组合信息，帮助医学做出更明智的决定。由于图像需要通过配准进行图像融合，因此使用多模态图像配准建立不同模态图像之间的解剖对应关系非常重要。
基于学习的配准旨在预测变形场，通过最大化预定义的相似度度量直接从一对图像中提取字段。监督或半监督的学习策略在训练阶段使用真实的变形场或分割掩码，并且可能会受到缺乏数据标记的影响。由于即使对于专家来说标记配准数据也非常耗时且费力，因此已经提出了无监督的方法来克服这一限制，仅通过最大化目标图像和源图像之间的图像相似性来克服这一限制。然而，无监督方法的性能高度依赖于跨模态相似性度量的选择，以目前比较成功的互信息为例，互信息是在逐个体素的基础上计算的，因此它只考虑相应的个体素之间的关系，不考虑原始图像固有的相关空间信息。对于基于强度的多模态图像配准，互信息已被证明是一种非常稳健和可靠的相似性度量。然而，它面临着小尺寸图像配准困难的问题。
鉴于最近多模态图像生成的成功，解决多模态配准的另一种解决方案是使用图像到图像转换框架将问题转换为更简单的单模态任务。具体来说，基于生成的方法使用生成对抗网络（GAN，Generative Adversarial Network）模式将图像从源模态转换为目标模态。然而，这种基于GAN的图像转换往往会产生形状不一致的结果和人工解剖特征，这反过来会降低配准的性能。更具体地说，不同的模态具有由成像床的形状、扫描仪的成像协议和视野引起的非常明显的几何差异。
最近的研究表明，形状不一致性和伪影是由鉴别器引入的，该鉴别器错误地将一些领域的变形编码为不可或缺的外观特征，并鼓励生成器重现变形。这往往会给配准任务带来不必要的困难。然而，失去了鉴别器的对抗生成思想，生成图像的质量会有明显下降。
发明内容
本发明的目的在于针对现有技术的不足，提供一种利用扩散模型的多模态影像配准方法、装置和介质。本发明使用的多模态配准网络包含了利用扩散思想的无判别器的生成模型，将多模态配准问题转化为单模态配准问题，在保证图像转换过程中生成图像的形状一致性的同时，提高了生成图像的质量。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种利用扩散模型的多模态影像配准方法，包括以下步骤：
（1）获取磁共振图像和计算机断层扫描图像；
（2）对磁共振图像和计算机断层扫描图像进行预处理，根据预处理后的磁共振图像和计算机断层扫描图像构建数据集，并将数据集划分为训练集、验证集和测试集；
（3）构建跨模态的生成网络和可变形配准网络，以构建跨模态配准网络模型，并基于训练集对跨模态配准网络模型进行训练，以获取训练好的跨模态配准网络模型；
（4）使用验证集通过评估指标对训练好的跨模态配准网络模型的性能进行评估，并根据评估结果调整跨模态配准网络模型的参数，以获取最优跨模态配准网络模型；
（5）获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像或测试集中的待配准图像输入最优可变形配准网络中以获取配准后的图像。
进一步地，所述预处理包括以下步骤：
（2.1）调整窗宽窗位：对计算机断层扫描图像和磁共振图像调整窗宽窗位，以获取去噪后的计算机断层扫描图像和磁共振图像；
（2.2）重新采样：对计算机断层扫描图像和磁共振图像进行重新采样，以调整计算机断层扫描图像和磁共振图像的体素间距；
（2.3）归一化：对计算机断层扫描图像和磁共振图像的像素值进行归一化。
进一步地，所述步骤（3）包括以下子步骤：
（3.1）构建跨模态的生成网络，其中，所述生成网络包括无扩散模型模块和有扩散模型模块；
（3.2）构建可变形配准网络，并根据可变形配准网络和生成网络构建跨模态配准网络模型；
（3.3）使用训练集对跨模态配准网络模型进行训练，并根据跨模态配准网络模型的损失更新跨模态配准网络模型的参数，以获取训练好的跨模态配准网络模型。
进一步地，所述无扩散模型模块包括两个网络结构一致的第一生成器，所述第一生成器包括编码块、残差模块和解码块，所述编码块包括卷积层、激活函数和归一化层；所述残差模块包括卷积层、归一化层和激活函数；所述解码块包括反卷积层、归一化层和激活函数。
进一步地，所述有扩散模型模块包括一个第二生成器，所述第二生成器包括下采样块和上采样块，所述下采样块包括残差模块、卷积层和多层感知器，所述上采样块包括残差模块和卷积层；
所述第二生成器在时间 t 接收噪声图像样本及其时间索引以及在无扩散模型模块中得到的生成的模态数据作为源图像输入，并在时间t-k为目标模态输出去噪图像样本。
进一步地，所述可变形配准网络采用基于UNet的架构，具有从收缩路径到扩展路径的跳跃连接；所述可变形配准网络包括收缩路径和扩展路径。
进一步地，所述步骤（3.3）具体为：设置迭代的次数和学习率，使用优化器对跨模态配准网络模型进行训练，将训练集中的待配准图像和目标图像输入跨模态配准网络模型中，以获取输出的配准后的图像，根据配准后的图像和目标图像计算跨模态配准网络模型的损失，并根据计算跨模态配准网络模型的损失调整更新计算跨模态配准网络模型的参数，以获取训练好的跨模态配准网络模型；
所述跨模态配准网络模型的损失包括生成网络的损失和可变形配准网络的损失，所述生成网络的损失包括循环一致性损失、零均值广义高斯分布的损失和扩散模型的损失，所述可变形配准网络的损失包括配准前后图像间的像素损失形变场的平滑损失。
进一步地，所述评估指标包括豪斯多夫距离的 95%和骰子相似系数。
本发明实施例第二方面提供了一种利用扩散模型的多模态影像配准装置，包括一个或多个处理器，用于实现上述的利用扩散模型的多模态影像配准方法。
本发明实施例第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的利用扩散模型的多模态影像配准方法。
本发明的有益效果是，本发明通过一种全新的利用扩散模型的无监督器的生成网络模型来代替基于对抗生成的网络模型，解决了图像转换中会产生形状不一致和人工解剖特征结果的问题；本发明能够消除形状不一致性和伪影，同时提高了生成图像的质量，实现精准配准；本发明的配准方法无监督，能够在不依赖配对数据的情况下学习多模态医学图像配准。
附图说明
图1是本发明实施例中的利用扩散模型的多模态影像配准方法的流程框图；
图2是本发明实施例提供的生成网络的示意图；
图3是本发明实施例提供的多模态配准网络的示意图；
图4是本发明实施例中的生成器网络中的残差模块的网络结构示意图；
图5是本发明实施例中的MR和CT图像预处理流程；
图6是本发明的利用扩散模型的多模态影像配准装置的一种结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
参见图1，本发明的利用扩散模型的多模态影像配准方法，具体包括以下步骤：
（1）获取磁共振（MR）图像和计算机断层扫描（CT）图像。
本实施例中，采用的是医院的私人数据，数据包含305个病人的磁共振（MR）图像、计算机断层扫描（CT）图像。其中真实CT图像和MR图像都包含：平扫期（NC），动脉期（ART），门脉期（PV），延迟期（DL）。 MR图像和CT图像的数据格式为nii。
（2）对MR图像和CT图像进行预处理，根据预处理后的MR图像和CT图像构建数据集，并将数据集划分为训练集、验证集和测试集。
本实施例中，可以根据实际需要将数据集按照一定的比例划分为训练集、验证集和测试集，例如6:2:2等；也可以随机抽取数据构建训练集、验证集和测试集。
其中，如图5所示，预处理的具体流程包括如下步骤：
（2.1）调整窗宽窗位：对CT图像和MR图像调整窗宽窗位，以获取去噪后的CT图像和MR图像。
本实施例中，对于CT图像，可以根据医生的先验知识，设置窗宽为(-110,190)，其对应的窗位为(40,300)，通常选择一个数值进行设置即可；可以使用截断方法获取去噪后的CT图像，如numpy库中np.clip算法。对于MR 图像，由于MR图像无法选取固定的值调整窗宽窗位，因此可以使用图像去噪方法获得去噪后的MR图像，如dipy库中的estimate_sigma算法和nlmeans算法。
（2.2）重新采样：对CT图像和MR图像进行重新采样，以调整CT图像和MR图像的体素间距（spacing）。
本实施例中，由于不同的扫描仪或者不同的采集协议，通常会产生具有不同体素间距的数据集，通常CT图像的体素间距在7左右，而MR图像在3左右，因此需要重新采样使得CT图像和MR图像的体素间距相同，如都到1。应当理解的是，可以采用nilearn库中的一个叫resample_image的方法对CT图像和MR图像进行重新采样。
（2.3）归一化：对CT 图像和MR图像的像素值进行归一化。
具体地，对于CT 图像，直接使用线性归一化将其像素值归一化到[-1,1]。对于MR图像，先使用z-score对像素值进行初步的归一化，再使用线性归一化对像素值进行归一化，例如可以归一化到[-1,1]，方便后续计算。应当理解的是，z-score标准化是数据处理的一种常用方法，通过它能够将不同量级的数据转化为统一量度的Z-Score分值进行比较；当然，也可以采用其他归一化方法对像素值进行归一化，例如零均值归一化等。
（3）构建跨模态的生成网络和可变形配准网络，以构建跨模态配准网络模型，并基于训练集对跨模态配准网络模型进行训练，以获取训练好的跨模态配准网络模型。
（3.1）构建跨模态的生成网络，其中，生成网络包括无扩散模型模块和有扩散模型模块。
本实施例中，构建一个利用扩散思想的无判别器的跨模态的生成网络，用于将图像从源域映射到目标域并从目标域重建图像。生成网络包括一个无扩散模型模块和一个有扩散模型模块，如图2所示。
本实施例中，无扩散模型（Non-Diffusion Model）模块的网络架构和Cycle Gan类似，但是并不包含鉴别器，无扩散模型模块的网络架构使用了两个网络结构一致的第一生成器用以不同模态之间的互相生成。无扩散模型模块中的第一生成器采用 ResNet作为主干网络，ResNet主干网络包括三个编码块、六个残差模块和三个解码块，在ResNet主干网络的最后一层包含三个检测头（head），分别输出生成的图像以及零均值广义高斯分布的损失函数所需要的映射参数α（scale map）和形状图参数β（shape map）。其中，编码块包括卷积层、激活函数和归一化层；残差模块包括卷积层、归一化层和激活函数；解码块包括反卷积层、归一化层和激活函数。
本实施例中，有扩散模型（Diffusion Model）模块中引入了扩散模型。扩散模型的思想是：对于数据分布，前向构造T个不同时段（代表不同噪声等级）的高斯噪声概率分布。之后，逐步反向预测前一个时刻的分布，直至回溯到初始时刻，使得预测的分布与真实分布相近。整个时序具有马尔科夫链的性质。应当理解的是，扩散模型分为扩散阶段和逆扩散阶段，在扩散阶段，通过不断对原始数据添加噪声，使得数据从原始分布变成所期望的分布，例如通过不断添加高斯噪声将原始数据分布变为正态分布；在逆扩散阶段，使用神经网络将数据从正态分布恢复到原始数据分布；其中正态分布上的每个点都是真实数据的映射，该扩散模型具有更好的可解释性。
有扩散模型模块包括一个第二生成器，第二生成器在时间 t 接收噪声图像样本及其时间索引以及在无扩散模型模块中得到的生成的模态数据作为源图像输入，并在时间t-k为目标模态输出去噪图像样本。其中，在步骤（2）中预处理后的图像样本的基础上，设置t个不同的时刻，通过扩散模型不断的添加高斯噪声，以获取噪声图像样本及其时间索引。应当理解的是，无扩散模型模块输出的模态数据包括生成的图像以及零均值广义高斯分布的损失函数所需要的映射参数α和形状图参数β，将这些模态数据作为有扩散模型模块的部分源图像输入；最终有扩散模型模块可以输出去噪图像样本。
有扩散模型模块的第二生成器采用UNet作为主干网络，UNet主干网络采用了六个下采样块和六个上采样块。其中，每个下采样模块使用两个残差模块，后跟一个卷积层将特征图分辨率减半，而通道维数每隔一个下采样块加倍；然后通过两层多层感知器（MLP，Multilayer Perceptron）投影 32 维正弦位置编码来计算每个时间索引的时间嵌入，再将时间嵌入添加到残差子块的特征图上。每个上采样块使用两个残差模块，后跟一个卷积层以使特征图分辨率加倍，而通道维数每隔一个上采样块减半。
进一步地，卷积层的内核大小（kernel size）为3，即卷积核为3*3的卷积层，填充（padding）是1。
本实施例中，残差模块的结构如图4 所示，残差模块包括卷积层（Conv）、归一化层（BatchNorm）和激活函数（ReLU激活函数）。
示例性地，由MR图像生成CT图像时，真实（real）的MR图像和生成的虚假（fake）的CT图像的结构一致，由CT图像生成MR图像时，真实（real）的CT图像和生成的虚假（fake）的MR图像的结构一致，由此可见，模态发生了转换。在配准中，把多模态问题转化为单模态问题，需要的是模态和图像结构都一致，配准效果更好。本实施例中的生成网络通过无扩散模型模块和有扩散模型模块相结合能够使得生成的虚假（fake）的CT图像和真实（real）的CT图像一致，包括图像的结构一致、模态也一致。
应当理解的是，在有扩散模型模块中，因为是非配对数据，所以不能直接使用真实的CT图像作为解剖结构的引导，因为CT图像的解剖结构与MR图像的不一样；因此需要增加无扩散模型模块生成虚假的CT图像，这里生成的虚假的CT图像的解剖结构与真实的MR图像的一致。
（3.2）构建可变形配准网络，并根据可变形配准网络和生成网络构建跨模态配准网络模型。
本实施例中，跨模态配准网络模型包含一个可变形配准网络和步骤（3.1）中构建的生成网络。需要说明的是，可变形配准网络和生成网络这两个组件是联合训练的，训练好以后，在测试的时候就不需要生成网络了，只使用可变形配准网络即可，只需要将图像输入到训练好的可变形配准网络中即可获取配准好的图像，即完成本发明所述的影像配准。
本实施例中，可变形配准网络采用基于UNet的架构，具有从收缩路径到扩展路径的跳跃连接，该可变形配准网络由收缩路径和扩展路径组成。收缩路径遵循卷积网络的典型架构，它由两个3×3 卷积的重复层组成，每个卷积后跟一个整流线性单元（ReLU）和一个2×2 最大池化操作，步幅为2，用于下采样，在每个下采样步骤中，能够将特征通道的数量加倍。 扩展路径中的每一步都包括对特征图进行上采样，然后是将特征通道数量减半的2×2卷积，与收缩路径中对应裁剪的特征图进行连接，还包括两个3×3卷积，每个卷积后跟一个整流线性单元（ReLU）。应当理解的是，由于在每个卷积中都会丢失边界像素，因此裁剪是必要的。
（3.3）使用训练集对跨模态配准网络模型进行训练，并根据跨模态配准网络模型的损失更新跨模态配准网络模型的参数，以获取训练好的跨模态配准网络模型。
如图3所示，将可变形配准网络表示为R，生成网络表示为T。使用训练集中的CT图像和MR图像对跨模态配准网络模型进行训练，设X和Y表示两个成对的图像域，其中X是源域，Y是目标域。“配对”意味着每个图像x∈X都有一个对应的未对齐图像y∈Y代表相同的解剖结构；配准的过程就是找到一个变形场，使源图像x与目标图像y准确对齐。
应当理解的是，源域中的源图像即为待配准图像，目标域中的图像为目标图像；当CT图像作为待配准图像时，其对应的MR图像即为目标图像；当MR图像作为待配准图像时，其对应的CT图像即为目标图像。
给定一个图像对（x，y）作为输入，R学习预测一个形变场φ，它描述了如何非刚性地将x与y对齐。同时，生成网络T 包含两个模块：无扩散模型模块和有扩散模型模块。构建无扩散模型模块是因为在利用扩散模型去噪的过程中，需要目标域的模态数据作为解剖结构的引导，这就要求目标域的模态数据和源域的数据是配对的。为了解决在非配对数据下，源域数据和目标域数据的解剖结构的不一致性，因此设计了一个无扩散模型模块，其结构如图2所示，通过该无扩散模型模块可以使得非配对数据情况下源域数据和目标域数据的解剖结构一致。在无扩散模型模块中，接受目标域的数据y∈Y，经过第一个第一生成器得到生成的目标域的数据，/>经过第二个相同网络结构的第一生成器得到重建的源域数据/>。在有扩散模型模块中，其中的第二生成器在时间t接收噪声图像样本/>及其时间索引t以及在无扩散模型的模块中得到的生成的模态数据/>作为源图像输入，并在时间t-k为目标模态输出去噪图像样本/>，其中/>是目标域数据CT增加高斯噪声得到的。在可变形配准网络中，当待配准图像和目标图像这一对数据进入到可变形配准网络中时，可以得到形变场φ，将形变场φ作用于输入的待配准图像经过生成网络T得到的虚假的目标图像上，如此即可把多模态配准转换为单模态配准，即利用预测的形变场φ变形得到图像/>，如图3所示。
在对跨模态配准网络模型进行训练时，设置迭代的次数和学习率，使用优化器对跨模态配准网络模型进行训练。将图像对（x，y）输入到跨模态配准网络模型中最终输出配准后的图像，根据输出的配准后的图像和目标图像计算跨模态配准网络模型的损失，并根据该损失调整更新跨模态配准网络模型的参数。应当理解的是，跨模态配准网络模型的参数包括损失函数、模型结构、学习率等等。
优选地，将迭代的次数设置为300，学习率设为0.0002，学习率线性衰减在200次迭代后。
进一步地，优化器包括自适应矩估计（Adam）优化器、AdaGrad优化器和RMSProp优化器等。应当理解的是，可以根据实际的要求选择合适的优化器对跨模态配准网络模型进行训练，Adam优化器利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，其优点主要在于经过偏置校正后，每一次迭代学习率都会有个确定的范围，使得参数比较稳定；AdaGrad优化器可以独立调整模型参数的学习率，可以对稀疏参数进行大幅更新和对频繁参数进行小幅更新，适合处理稀疏数据；RMSProp优化器针对梯度平方和累计越来越大的问题，采用指数加权的移动平均代替梯度平方和。
本实施例中，跨模态配准网络模型的损失来源于两个网络，在可变形配准网络中，可变形配准网络的损失包括配准前后图像间的像素损失和形变场的平滑损失；在生成网络中，生成网络的损失包括循环一致性损失、零均值广义高斯分布的损失和扩散模型的损失。
进一步地，循环一致性损失的表达式为：
其中，表示循环一致性损失，/>表示输入图像的目标图像，/>和/>分别表示无扩散模型模块中的两个第一生成器。应当理解的是，循环一致性损失函数的意义是计算和/>的重建图像之间的L1的损失，属于公开知识。
进一步地，零均值广义高斯分布的损失函数的表达式为：
其中，表示零均值广义高斯分布的损失，K表示数据中所有像素点的总和，/>表示伽玛函数，α表示映射参数，β表示形状图参数，/>表示输入图像的目标图像，表示/>经过第一个第一生成器/>后得到的图像。
进一步地，扩散模型的损失的表达式为：
其中，表示时间t时的扩散模型损失函数，/>表示原始输入图像，/>表示t时的噪声标签，/>表示经过扩散模型后得到的噪声图像，/>，/>，。
进一步地，配准前后图像间的像素损失的表达式为：
其中，表示配准前后图像间的像素损失，T表示生成网络，R表示可变形配准网络，/>表示输入图像的待配准图像经过生成网络和可变形配准网络得到的配准后的图像，/>表示输入图像的目标图像。
进一步地，形变场的平滑损失的表达式为：
其中，表示形变场的平滑损失，φ表示形变场，u表示像素点v的各相邻像素点，像素点v =（i，j），N(v)表示v的一组相邻像素。
综上所述，跨模态配准网络模型的损失函数表示为：
其中，表示跨模态配准网络模型的损失，/>、/>、/>、/>、/>表示各个损失的权重。
（4）使用验证集通过评估指标对训练好的跨模态配准网络模型的性能进行评估，并根据评估结果进一步调整跨模态配准网络模型的参数，以获取最优跨模态配准网络模型。
本实施例中，需要使用验证集对训练好的跨模态配准网络模型的性能进行评估。将验证集中的待配准图像和目标图像输入到训练好的跨模态配准网络模型中，可以得到配准后的图像。通过目标图像和配准后的图像的比对，可以得到评估结果，该评估结果包括跨模态配准网络模型的收敛情况，判断跨模态配准网络模型是否发生过拟合情况，若有过拟合情况，还需要根据验证集进一步调整跨模态配准网络模型的参数，以获取最优跨模态配准网络模型。
本实施例中，评估指标包括豪斯多夫距离的 95%（95% percentile of Hausdorffdistance，HD95）和骰子相似系数（Dice similarity coefficien，DSC），通过这两个评估指标对训练好的跨模态配准网络模型的性能进行评估。豪斯多夫距离的 95%越小表示跨模态配准网络模型的性能越好，骰子相似系数越大表示跨模态配准网络模型的性能越好。
示例性地，采用包含60个病人不同期相（ART，PV，NC）的样本数据，使用上述的两个评估指标，其结果如表1所示。
表1：模型评估结果
| 方法（Method） | 骰子相似系数（DSC） | 豪斯多夫距离的 95%（HD95） |
| CGAN | 0.674 | 13.529 |
| Ours | 0.780 | 12.215 |
其中，CGAN是一个已在样本数据上预训练的CycleGAN，结合使用单模态相似性度量 NCC的VoxelMorph配准网络。应当理解的是，CycleGAN是对抗生成网络中一个经典的用于非配对数据生成的模型；NCC是归一化的相关系数，用以计算单模态图像的相似性损失。VoxelMorph是一种现有的用于医学图像配准的配准网络。
由表1可知，本发明所述的跨模态配准网络模型的性能更加优良。
应当理解的是，也可以选择其他评估指标对训练好的跨模态配准网络模型的性能进行评估，例如图像的峰值信噪比（PSNR，Peak Signal to Noise Ratio），PSNR值越大，说明失真越少，表示跨模态配准网络模型的性能更加优良。
（5）获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像或测试集中的待配准图像输入最优可变形配准网络中以获取配准后的图像。
本实施例中，在步骤（4）使用验证集评估过跨模态配准网络模型的性能以后，获取到最优跨模态配准网络模型，之后，不在需要生成网络，仅需要可变形配准网络用于影像配准，即获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像或测试集中的待配准图像输入最优可变形配准网络中即可获取配准后的图像。
综上所述，目前主流的跨模态医学影像配准算法利用对抗生成网络将多模态问题转化为单模态问题，但这依赖于对抗生成网络的结果。尤其对于腹腔位置的多模态数据，难以获得配对的数据，而使用循环一致性的对抗生成网络会导致多个结果，这意味着生成后的图像不能保持源图像的解剖结构，并且可能包含伪影。本发明设计的跨模态配准网络模型包含了利用扩散思想的无判别器的生成模型，将多模态配准问题转化为单模态配准问题，在保证图像转换过程中生成图像的形状一致性的同时，有助于减少生成的不一致性和伪影，进一步提高多模态配准的结果，提高了生成图像的质量。
与前述利用扩散模型的多模态影像配准方法的实施例相对应，本发明还提供了利用扩散模型的多模态影像配准装置的实施例。
参见图6，本发明实施例提供的一种利用扩散模型的多模态影像配准装置，包括一个或多个处理器，用于实现上述实施例中的利用扩散模型的多模态影像配准方法。
本发明利用扩散模型的多模态影像配准装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明利用扩散模型的多模态影像配准装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的利用扩散模型的多模态影像配准方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (8)
1.一种利用扩散模型的多模态影像配准方法，其特征在于，包括以下步骤：
(1)获取磁共振图像和计算机断层扫描图像；
(2)对磁共振图像和计算机断层扫描图像进行预处理，根据预处理后的磁共振图像和计算机断层扫描图像构建数据集，并将数据集划分为训练集、验证集和测试集；
(3)构建跨模态的生成网络和可变形配准网络，以构建跨模态配准网络模型，并基于训练集对跨模态配准网络模型进行训练，以获取训练好的跨模态配准网络模型；
所述步骤(3)包括以下子步骤：
(3.1)构建一个利用扩散思想的无判别器的跨模态的生成网络，用于将图像从源域映射到目标域并从目标域重建图像；其中，所述生成网络包括无扩散模型模块和有扩散模型模块；
所述无扩散模型模块包括两个网络结构一致的第一生成器，所述第一生成器包括编码块、残差模块和解码块，所述编码块包括卷积层、激活函数和归一化层；所述残差模块包括卷积层、归一化层和激活函数；所述解码块包括反卷积层、归一化层和激活函数；
所述有扩散模型模块包括一个第二生成器，所述第二生成器包括下采样块和上采样块，所述下采样块包括残差模块、卷积层和多层感知器，所述上采样块包括残差模块和卷积层；
(3.2)构建可变形配准网络，并根据可变形配准网络和生成网络构建跨模态配准网络模型；
(3.3)使用训练集对跨模态配准网络模型进行训练，并根据跨模态配准网络模型的损失更新跨模态配准网络模型的参数，以获取训练好的跨模态配准网络模型；
(4)使用验证集通过评估指标对训练好的跨模态配准网络模型的性能进行评估，并根据评估结果调整跨模态配准网络模型的参数，以获取最优跨模态配准网络模型；
(5)获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像或测试集中的待配准图像输入最优可变形配准网络中以获取配准后的图像。
2.根据权利要求1所述的利用扩散模型的多模态影像配准方法，其特征在于，所述预处理包括以下步骤：
(2.1)调整窗宽窗位：对计算机断层扫描图像和磁共振图像调整窗宽窗位，以获取去噪后的计算机断层扫描图像和磁共振图像；
(2.2)重新采样：对计算机断层扫描图像和磁共振图像进行重新采样，以调整计算机断层扫描图像和磁共振图像的体素间距；
(2.3)归一化：对计算机断层扫描图像和磁共振图像的像素值进行归一化。
3.根据权利要求1所述的利用扩散模型的多模态影像配准方法，其特征在于，所述第二生成器在时间t接收噪声图像样本及其时间索引以及在无扩散模型模块中得到的生成的模态数据作为源图像输入，并在时间t-k为目标模态输出去噪图像样本。
4.根据权利要求1所述的利用扩散模型的多模态影像配准方法，其特征在于，所述可变形配准网络采用基于UNet的架构，具有从收缩路径到扩展路径的跳跃连接；所述可变形配准网络包括收缩路径和扩展路径。
5.根据权利要求1所述的利用扩散模型的多模态影像配准方法，其特征在于，所述步骤(3.3)具体为：设置迭代的次数和学习率，使用优化器对跨模态配准网络模型进行训练，将训练集中的待配准图像和目标图像输入跨模态配准网络模型中，以获取输出的配准后的图像，根据配准后的图像和目标图像计算跨模态配准网络模型的损失，并根据计算跨模态配准网络模型的损失调整更新计算跨模态配准网络模型的参数，以获取训练好的跨模态配准网络模型；
所述跨模态配准网络模型的损失包括生成网络的损失和可变形配准网络的损失，所述生成网络的损失包括循环一致性损失、零均值广义高斯分布的损失和扩散模型的损失，所述可变形配准网络的损失包括配准前后图像间的像素损失和形变场的平滑损失。
6.根据权利要求1所述的利用扩散模型的多模态影像配准方法，其特征在于，所述评估指标包括豪斯多夫距离的95％和骰子相似系数。
7.一种利用扩散模型的多模态影像配准装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的利用扩散模型的多模态影像配准方法。
8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-6中任一项所述的利用扩散模型的多模态影像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310661495.1A CN116402865B (zh) | 2023-06-06 | 2023-06-06 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310661495.1A CN116402865B (zh) | 2023-06-06 | 2023-06-06 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402865A CN116402865A (zh) | 2023-07-07 |
| CN116402865B true CN116402865B (zh) | 2023-09-15 |
Family
ID=87016455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310661495.1A Active CN116402865B (zh) | 2023-06-06 | 2023-06-06 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402865B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116644439B (zh) * | 2023-07-25 | 2023-10-17 | 中国海洋大学 | 一种基于去噪扩散模型的模型安全性评估方法 |
| CN116664605B (zh) * | 2023-08-01 | 2023-10-10 | 昆明理工大学 | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 |
| CN117173222A (zh) * | 2023-09-01 | 2023-12-05 | 深圳扬奇医芯智能科技有限公司 | 一种基于扩散模型的配准方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| CN112837357A (zh) * | 2021-02-25 | 2021-05-25 | 平安科技（深圳）有限公司 | 医学影像配准方法、装置、计算机设备及存储介质 |
| CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| CN113538209A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 |
| CN113763442A (zh) * | 2021-09-07 | 2021-12-07 | 南昌航空大学 | 一种可变形医学图像配准方法及系统 |
| CN114170118A (zh) * | 2021-10-21 | 2022-03-11 | 北京交通大学 | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 |
| CN114612535A (zh) * | 2022-03-19 | 2022-06-10 | 西安电子科技大学 | 基于偏微分对抗学习的图像配准方法、系统、设备和介质 |
| WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
| CN115457020A (zh) * | 2022-09-29 | 2022-12-09 | 电子科技大学 | 一种融合残差图像信息的2d医学图像配准方法 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN115830163A (zh) * | 2022-11-22 | 2023-03-21 | 之江实验室 | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 |
-
2023
- 2023-06-06 CN CN202310661495.1A patent/CN116402865B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538209A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 |
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
| CN112837357A (zh) * | 2021-02-25 | 2021-05-25 | 平安科技（深圳）有限公司 | 医学影像配准方法、装置、计算机设备及存储介质 |
| CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| WO2023005186A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN113763442A (zh) * | 2021-09-07 | 2021-12-07 | 南昌航空大学 | 一种可变形医学图像配准方法及系统 |
| CN114170118A (zh) * | 2021-10-21 | 2022-03-11 | 北京交通大学 | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 |
| CN114612535A (zh) * | 2022-03-19 | 2022-06-10 | 西安电子科技大学 | 基于偏微分对抗学习的图像配准方法、系统、设备和介质 |
| CN115457020A (zh) * | 2022-09-29 | 2022-12-09 | 电子科技大学 | 一种融合残差图像信息的2d医学图像配准方法 |
| CN115830163A (zh) * | 2022-11-22 | 2023-03-21 | 之江实验室 | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 |
Non-Patent Citations (6)
| Title |
|---|
| DiffuseMorph:Unsupervised Deformable Image Registration Along Continuous Trajectory Using Diffusion Models;Boah Kim et al.;《arXiv》;1-20 * |
| Diffusion models in medicalimaging:A comprehensive survey;Amirhossein Kazerouni et al.;《Medical Image Analysis》;1-22 * |
| SymmetricTransformer-based Network for Unsupervised Image Registration;Mingrui Ma et al.;《arXiv》;1-11 * |
| 基于图像配准与半监督学习的医疗图像分割算法研究;池伟城;《中国优秀硕士学位论文全文数据库》;1-75 * |
| 基于生成对抗网络的多模态可变形医学图像配准;宋枭 等;《工程与应用》;第51卷(第9期);999-1006 * |
| 面向医学影像配准的深度双层优化学习;李孜;《中国优秀硕士学位论文全文数据库》;1-73 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402865A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| US11756160B2 (en) | ML-based methods for pseudo-CT and HR MR image estimation | |
| US10698063B2 (en) | Motion artifact reduction of magnetic resonance images with an adversarial trained network | |
| US11449759B2 (en) | Medical imaging diffeomorphic registration based on machine learning | |
| US20170372193A1 (en) | Image Correction Using A Deep Generative Machine-Learning Model | |
| US8165361B2 (en) | System and method for image based multiple-modality cardiac image alignment | |
| CN110444277B (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
| CN111862249A (zh) | 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法 | |
| CN110036409B (zh) | 使用联合深度学习模型进行图像分割的系统和方法 | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN113160138B (zh) | 一种脑部核磁共振图像分割方法及系统 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
| CN114331849A (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| WO2023219963A1 (en) | Deep learning-based enhancement of multispectral magnetic resonance imaging | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| CN116071270A (zh) | 基于可变形卷积生成对抗网络的电子数据生成方法及系统 | |
| CN116385330B (zh) | 一种利用图知识引导的多模态医学影像生成方法和装置 | |
| KR20220071554A (ko) | 의료 영상 융합 시스템 | |
| CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN116385329B (zh) | 基于特征融合的多层知识蒸馏医学影像生成方法和装置 | |
| CN115423894B (zh) | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |