CN110298871A - 图像配准方法及装置 - Google Patents

图像配准方法及装置 Download PDF

Info

Publication number
CN110298871A
CN110298871A CN201910496249.9A CN201910496249A CN110298871A CN 110298871 A CN110298871 A CN 110298871A CN 201910496249 A CN201910496249 A CN 201910496249A CN 110298871 A CN110298871 A CN 110298871A
Authority
CN
China
Prior art keywords
image
mode
registration
images
modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910496249.9A
Other languages
English (en)
Inventor
李广
白璐
朱传伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201910496249.9A priority Critical patent/CN110298871A/zh
Publication of CN110298871A publication Critical patent/CN110298871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本公开提供一种图像配准方法及装置，所述方法包括：获取用于图像配准的多模态图像；对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。因此，本公开既解决了不同模态间的图像灰度分布特性不一致引起的配准误差，又通过组合不同多通道图像对，从而提高了图像配准的准确度。

Description

图像配准方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及图像配准方法及装置。
背景技术
图像配准在医学领域有着重要的临床应用价值，比如：对多模态图像(即通过不同影像设备采集到的图像)进行配准，不仅可以用于医疗诊断，还可以用于手术计划的制定等。相关技术中，在图像配准时，一般基于传统的配准框架进行配准，比如：基于原始的MR(Magnetic Resonance，磁共振)或者CT(Computed Tomography，电子计算机断层扫描)图像，进行灰度结合其他结构信息之间的计算。但是，由于多模态图像的成像原理不同，使得不同模态间的图像灰度差异较大，从而降低了图像配准的精度。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种图像配准方法及装置。
根据本公开实施例的第一方面，提供一种图像配准方法，所述方法包括：
获得用于图像配准的多模态图像；
对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
可选地，所述对所述多模态图像进行模态转换，包括：
通过生成对抗网络GAN网络模型对所述多模态图像进行模态转换。
可选地，所述GAN网络模型包括循环GAN网络模型。
可选地，所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；
所述通过所述GAN网络模型对所述多模态图像进行模态转换，包括：
通过所述GAN网络模型对所述第一图像进行模态转换，得到所述第二模态的第一合成图像，所述第一合成图像与所述第二图像为相同模态的第一图像对；
通过所述GAN网络模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
可选地，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；
所述通过所述GAN网络模型对所述第一图像进行模态转换，包括：
通过所述第一模型对所述第一图像进行模态转换；
所述通过所述GAN网络模型对所述第二图像进行模态转换，包括：
通过所述第二模型对所述第二图像进行模态转换。
可选地，所述第一模态和所述第二模态为以下任意两项：
电子计算机断层扫描CT；
磁共振MR；
超声；
X光；
正电子发射型计算机断层显像PET；
单光子发射计算机断层成像术SPECT。
可选地，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；
所述对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像，包括：
对所述第一图像对和所述第二图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据；
利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
可选地，所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；
所述通过所述GAN网络模型对所述多模态图像进行模态转换，包括：
通过所述GAN网络模型对所述第三图像进行模态转换，得到所述第二扫描方式的第三合成图像，所述第三合成图像与所述第四图像为相同扫描序列的第三图像对；
通过所述GAN网络模型对所述第四图像进行模态转换，得到所述第一扫描序列的第四合成图像，所述第四合成图像与所述第三图像为相同扫描序列的第四图像对。
可选地，所述第一扫描方式为T1加权方式，所述第二扫描方式为质子密度加权PDW方式；或所述第一扫描方式为所述PDW方式，所述第二扫描方式为所述T1加权方式。
可选地，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；
所述对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像，包括：
对所述第三图像对和所述第四图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第三图像对和所述第四图像对为多通道配准架构的输入数据；
利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
根据本公开实施例的第二方面，提供一种图像配准装置，所述装置包括：
图像获得模块，被配置为获得用于图像配准的多模态图像；
模态转换模块，被配置为对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
多通道配准模块，被配置为对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
可选地，所述模态转换模块包括：
模态转换子模块，被配置为通过生成对抗网络GAN网络模型对所述多模态图像进行模态转换。
可选地，所述GAN网络模型包括循环GAN网络模型。
可选地，所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；所述模态转换子模块包括：
第一转换单元，被配置为通过所述GAN网络模型对所述第一图像进行模态转换，得到所述第二模态的第一合成图像，所述第一合成图像与所述第二图像为相同模态的第一图像对；
第二转换单元，被配置为通过所述GAN网络模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
可选地，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；
所述第一转换单元包括：
第一转换子单元，被配置为通过所述第一模型对所述第一图像进行模态转换；
所述第二转换单元包括：
第二转换子单元，被配置为通过所述第二模型对所述第二图像进行模态转换。
可选地，所述第一模态和所述第二模态为以下任意两项：
电子计算机断层扫描CT；
磁共振MR；
超声；
X光；
正电子发射型计算机断层显像PET；
单光子发射计算机断层成像术SPECT。
可选地，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；
所述多通道配准模块包括：
第一多通道配准子模块，被配置为对所述第一图像对和所述第二图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据；
第一重采样子模块，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
可选地，所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；
所述模态转换子模块包括：
第三转换单元，被配置为通过所述GAN网络模型对所述第三图像进行模态转换，得到所述第二扫描方式的第三合成图像，所述第三合成图像与所述第四图像为相同扫描序列的第三图像对；
第四转换单元，被配置为通过所述GAN网络模型对所述第四图像进行模态转换，得到所述第一扫描序列的第四合成图像，所述第四合成图像与所述第三图像为相同扫描序列的第四图像对。
可选地，所述第一扫描方式为T1加权方式，所述第二扫描方式为质子密度加权PDW方式；或所述第一扫描方式为所述PDW方式，所述第二扫描方式为所述T1加权方式。
可选地，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；
所述多通道配准模块包括：
第二多通道配准子模块，被配置为对所述第三图像对和所述第四图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第三图像对和所述第四图像对为多通道配准架构的输入数据；
第二重采样子模块，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
根据本公开实施例的第三方面，提供一种图像配准装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取用于图像配准的多模态图像；
对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过获取用于图像配准的多模态图像，并对多模态图像进行模态转换，得到至少两组相同模态的图像对，以及对至少两组相同模态的图像对进行多通道配准，得到配准后的图像，这样既解决了不同模态间的图像灰度分布特性不一致引起的配准误差，又通过组合不同多通道图像对，从而提高了图像配准的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种图像配准方法流程图；
图1A是本公开根据一示例性实施例示出的一种图像配准方法的示意图；
图2是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图2A是本公开根据一示例性实施例示出的Cycle-GAN网络模型的示意图；
图2B是本公开根据一示例性实施例示出的多模态图像进行模态转换的示意图；
图3是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图3A是本公开根据一示例性实施例示出的配准后的MR图像的示意图；
图3B是本公开根据一示例性实施例示出的配准后的MR图像的另一示意图；
图4是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图4A是本公开根据一示例性实施例示出的配准后的PDW图像的示意图；
图5是本公开根据一示例性实施例示出的一种图像配准方法流程图；
图6是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图7是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图8是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图9是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图10是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图11是本公开根据一示例性实施例示出的另一种图像配准方法流程图；
图12是本公开根据一示例性实施例示出的一种用于图像配准装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本公开根据一示例性实施例示出的一种图像配准方法流程图，图1A是根据一示例性实施例示出的一种图像配准方法的示意图；该方法可以用于图像配准设备，比如：专门用于图像配准的医疗设备；如图1所示，该图像配准方法可以包括以下步骤110-130：
在步骤110中，获得用于图像配准的多模态图像。
本公开实施例中，多模态图像可以是不同影像设备采集到的医疗图像，比如：MR图像、CT图像、超声(ultrasound)图像、X光(x-ray)图像、PET(正电子发射型计算机断层显像)图像、SPECT(Single-Photon Emission Computed Tomography，单光子发射计算机断层成像术)图像等。
另外，该多模态图像还可以是不同扫描方式得到的医疗图像。比如：T1W(T1Weighted，T1加权)图像、PDW(Proton Density Weighted，质子密度加权)图像等。
在步骤120中，对多模态图像进行模态转换，得到至少两组相同模态的图像对。
本公开实施例中，模态转换的目的是：将不同模态的图像转换为相同模态的图像，得到至少两组相同模态的图像对。
比如：多模态图像包括CT图像和MR图像，对CT图像进行从CT到MR的模态转换，得到MR合成图像，对MR图像进行从MR到CT的模态转换，得到CT合成图像，这样，CT图像和CT合成图像为另一组相同模态的图像对，MR图像和MR合成图像为一组相同模态的图像对。
又比如：多模态图像包括T1加权图像和PDW图像，对T1加权图像进行从T1加权到PDW的模态转换，得到PDW合成图像，对PDW图像进行从PDW到T1加权的模态转换，得到T1加权合成图像，这样，T1加权图像和T1加权合成图像为另一组相同模态的图像对，PDW图像和PDW合成图像为一组相同模态的图像对。
在一实施例中，在执行步骤120中的对多模态图像进行模态转换时，可以通过GAN(Generative Adversarial Networks，生成对抗网络)网络模型对多模态图像进行模态转换。
在一实施例中，上述GAN网络模型可以具体为Cycle-GAN(CycleGenerativeAdversarial Networks，循环生成对抗网络)网络模型。
在步骤130中，对至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
本公开实施例中，可以通过多通道配准架构对至少两组相同模态的图像对进行多通道配准。其中，该至少两组相同模态的图像对作为多通道配准架构的输入数据。
在一实施例中，多模态图像包括在图像配准中位置保持不变的源图像和用于对源图像进行图像配准的目标图像；在执行步骤130时，可以先对至少两组相同模态的图像对进行多通道配准，得到配准后的变换矩阵或形变场；然后利用该变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像。其中，目标图像在图像配准中需要进行位置变换。
在一实例性示意图中，如图1A所示，获取用于图像配准的多模态图像，该多模态图像包括CT图像和MR图像(比如：CT图像为在图像配准中位置保持不变的源图像，MR图像为用于对所述源图像进行图像配准的目标图像)；通过深度学习模型对CT图像进行从CT到MR的模态转换，得到MR合成图像；以及通过深度学习模型对MR图像进行从MR到CT的模态转换，得到CT合成图像，这样，MR图像和MR合成图像为一组相同模态的图像对，CT图像和CT合成图像为另一组相同模态的图像对；然后对上述至少两组相同模态的图像对进行多通道配准，得到配准后的变换矩阵或形变场；最后利用所述变换矩阵或者形变场对MR图像进行重采样，得到配准后的MR图像。
由上述实施例可见，通过获取用于图像配准的多模态图像，并对多模态图像进行模态转换，得到至少两组相同模态的图像对，以及对至少两组相同模态的图像对进行多通道配准，得到配准后的图像，这样既解决了不同模态间的图像灰度分布特性不一致引起的配准误差，又通过组合不同多通道图像对，从而提高了图像配准的准确度。
图2是本公开根据一示例性实施例示出的另一种图像配准方法流程图，该方法可以用于图像配准设备，并建立在图1所示方法的基础上，如图2所示，在执行步骤120中，可以包括以下步骤210：
在步骤210中，通过GAN网络模型对多模态图像进行模态转换，得到至少两组相同模态的图像对。
本公开实施例中，GAN网络模型可以是基于深度学习的端到端的配准框架，其本质是不同模态之间的特征空间的映射。比如：MR到CT或者CT到MR的特征空间的映射，
在一实施例中，上述步骤210中的GAN网络模型可以具体为Cycle-GAN网络模型。
本公开实施例中，Cycle-GAN网络模型用于实现不同模态间的医学模态转换，其整体的代价函数可以包括两部分，第一部分是生成网络和判别网络的代价函数，第二部分是模型的正则化项目,本公开中采用一阶范数作为正则化项，如下述公式(1)～(3)所示。
其中，是代价函数，G是生成网络得到的图像，D是判别网络得到的图像，λ是正则化系数，其取值范围为[0，1]。
其中，E(Error)是代价函数；D(x，y)是辨别网络的代价函数，图像x和图像y在辨别网络的输出；G(x，z)是图像x和噪声z在输入到生成网络后的输出；x是输入的图像，y是和x对应的图像，z是噪声；Pdata(x，y)是x和y的图像对数据集。
其中，E(Error)是代价函数；G(x，z)是图像x和噪声z在输入到生成网络后的输出；x是输入的图像，y是和x对应的图像，z是噪声；Pdata(x，y)是x和y的图像对数据集。
另外，针对Cycle-GAN网络模型，其网络结构可以如图2A所示，其中，Xi是指原始输入的第i个图像；Yi是指Xi对应的需要转换模态的图像(比如Xi是MRI图像，那么Yi就是对应于Xi的CT图像)；Y'i是Xi图像经过G网络后生成的合成图像；G网络用于生成仿真数据，D网络用于判别仿真数据和真实数据，Z是噪声。
以多模态图像包括CT图像和MR图像为例，在预先训练Cycle-GAN网络模型的过程中，会得到可以得到两个模型：正向模型和反向模型。其中，正向模型是从MR图像转换到CT图像的模型，反向模型是从CT图像到MR图像的模型。如图2B所示，第一行是多模态图像，包括CT图像和MR图像，第二行是通过GAN网络模型对多模态图像进行模态转换得到的转换后的CT图像和MR图像。
由上述实施例可见，在对多模态图像进行模态转换时，可以通过GAN网络模型对多模态图像进行模态转换，得到至少两组相同模态的图像对，从而提高了图像配准的效率。
图3是本公开根据一示例性实施例示出的另一种图像配准方法流程图，该方法可以用于图像配准设备，并建立在图2所示方法的基础上,所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；如图3所示，在执行步骤210中，可以包括以下步骤310-320：
在步骤310中，通过GAN网络模型对第一图像进行模态转换，得到第二模态的第一合成图像，该第一合成图像与第二图像为相同模态的第一图像对。
在一实施例中，上述步骤310中的GAN网络模型可以具体为Cycle-GAN网络模型。
比如：第一图像为CT图像，第二图像为MR图像，通过GAN网络模型对CT图像进行模态转换，得到MR合成图像，这样MR图像和MR合成图像为一组相同模态的图像对。
在一实施例中，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；在执行步骤310时，可以通过第一模型对第一图像进行模态转换，得到第二模态的第一合成图像，该第一合成图像与第二图像为相同模态的第一图像对。
在步骤320中，通过GAN网络模型对第二图像进行模态转换，得到第一模态的第二合成图像，该第二合成图像与第一图像为相同模态的第二图像对。
比如：第一图像为CT图像，第二图像为MR图像，通过GAN网络模型对MR图像进行模态转换，得到CT合成图像，这样，CT图像和CT合成图像为另一组相同模态的图像对。
在一实施例中，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；在执行步骤320时，可以通过第二模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
在一实施例中，上述所述第一模态和所述第二模态可以为但不限于以下任意两项：(1)CT；(2)MR；(3)超声；(4)X光；(5)PET；(6)SPECT。
与上述步骤310-320相对应的，在一实施例中，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；在执行步骤130时，可以包括步骤330-340：
在步骤330中，对第一图像对和第二图像对进行多通道配准，得到配准后的变换矩阵或形变场。其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据。
本公开实施例中，以多模态图像包括CT图像和MR图像为例，第一图像对在多通道配准中，其相似性测度的计算公式，如下述公式(4)所示。
NMI(ICT，IMR，IsCT，IsMR)＝α×NMI(ICT，IsCT)+(1-α)NMI(IMR，IsMR)..........公式(4)
其中，NMI为归一化的互信息(Normalized mutual information)，ICT为CT图像，IMR为MR图像，IsCT为合成的CT图像，IsMR为合成的MR图像。另外，系数a可以根据具体应用选择，一般可以取a＝0.5。
另外，多通道配准架构可以如图3A所示，输入的数据为两个图像对，包括CT图像和MR图像、以及通过GAN网络模型对第二图像进行模态转换后得到的合成图像。
在步骤340中，利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像。
本公开实施例中，以CT图像为源图像，MR图像为目标对象为例，在利用变换矩阵或者形变场对MR图像进行重采样，得到配准后的MR图像，如图3A或3B所示。
由上述实施例可见，在多模态图像中包括第一模态的第一图像和第二模态的第二图像时，可以通过GAN网络模型分别对第一图像和第二图像进行模态转换，得到第一图像对和第二图像对，并对第一图像对和第二图像对进行多通道配准，得到配准后的变换矩阵或形变场，以及利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像，从而实现了不同模态的第一图像和第二图像之间的多通道配准，提高了图像配准的实用性。
图4是本公开根据一示例性实施例示出的另一种图像配准方法流程图，该方法可以用于图像配准设备，并建立在图2所示方法的基础上,所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；比如：所述第一扫描方式为T1W方式，所述第二扫描方式为PDW方式；或所述第一扫描方式为PDW方式，所述第二扫描方式为T1W方式。如图4所示，在执行步骤210中，可以包括以下步骤410-420：
在步骤410中，通过GAN网络模型对第三图像进行模态转换，得到第二扫描方式的第三合成图像，该第三合成图像与第四图像为相同扫描序列的第三图像对。
在一实施例中，上述步骤410中的GAN网络模型可以具体为Cycle-GAN网络模型。
比如：第三图像为T1W图像，第四图像为PDW图像，通过GAN网络模型对T1W进行模态转换，得到PDW合成图像，这样PDW图像和PDW合成图像为一组相同模态的图像对。
在一实施例中，所述GAN网络模型中包括用于从所述第一扫描方式转换为所述第二扫描方式的第三模型、以及从所述第二扫描方式转换为所述第一扫描方式的第四模型；在执行步骤410时，可以通过第四模型对第三图像进行模态转换，得到第二扫描方式的第三合成图像，该第三合成图像与第四图像为相同模态的第一图像对。
在步骤420中，通过GAN网络模型对第四图像进行模态转换，得到第一扫描序列的第四合成图像，该第四合成图像与第三图像为相同扫描序列的第四图像对。
比如：第三图像为T1W图像，第四图像为PDW图像，通过GAN网络模型对PDW图像进行模态转换，得到T1W合成图像，这样，T1W图像和T1W合成图像为另一组相同模态的图像对。
在一实施例中，所述GAN网络模型中包括用于从所述第一扫描方式转换为所述第二扫描方式的第三模型、以及从所述第二扫描方式转换为所述第一扫描方式的第四模型；在执行步骤420时，可以通过第四模型对所述第四图像进行模态转换，得到所述第一扫描方式的第四合成图像，所述第四合成图像与所述第三图像为相同模态的第二图像对。
与上述步骤410-420相对应的，在一实施例中，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；在执行步骤130时，可以包括步骤430-440：
在步骤430中，对第三图像对和第四图像对进行多通道配准，得到配准后的变换矩阵或形变场。其中，所述第三图像对和第四图像对对为多通道配准架构的输入数据。
在步骤440中，利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像。
本公开实施例中，以T1W图像为源图像，PDW图像为目标对象为例，在利用变换矩阵或者形变场对PDW图像进行重采样，得到配准后的PDW图像，如图4A所示。
由上述实施例可见，在多模态图像中包括多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像时，可以通过GAN网络模型分别对第三图像和第四图像进行模态转换，得到第三图像对和第四图像对，并对第三图像对和第四图像对进行多通道配准，得到配准后的变换矩阵或形变场，以及利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像，从而实现了不同扫描方式的第三图像和第四图像之间的多通道配准，也提高了图像配准的实用性。
与前述图像配准方法实施例相对应，本公开还提供了图像配准装置的实施例。
如图5所示，图5是本公开根据一示例性实施例示出的一种图像配准装置的框图，所述装置可以应用可以用于图像配准设备，比如：专门用于图像配准的医疗设备，并用于执行图1所示的图像配准方法，如图5所示，该图像配准装置可以包括：
图像获得模块51，被配置为获得用于图像配准的多模态图像；
模态转换模块52，被配置为对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
多通道配准模块53，被配置为对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
由上述实施例可见，通过获取用于图像配准的多模态图像，并对多模态图像进行模态转换，得到至少两组相同模态的图像对，以及对至少两组相同模态的图像对进行多通道配准，得到配准后的图像，这样既解决了不同模态间的图像灰度分布特性不一致引起的配准误差，又通过组合不同多通道图像对，从而提高了图像配准的准确度。
在一实施例中，建立在图5所示装置的基础上，如图6所示，所述模态转换模块52可以包括：
模态转换子模块61，被配置为通过GAN网络模型对所述多模态图像进行模态转换。
由上述实施例可见，在对多模态图像进行模态转换时，可以通过GAN网络模型对多模态图像进行模态转换，得到至少两组相同模态的图像对，从而提高了图像配准的效率。
在一实施例中，建立在图6所示装置的基础上，所述GAN网络模型可以包括循环GAN网络模型。
在一实施例中，建立在图6所示装置的基础上，如图7所示，所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；所述模态转换子模块61可以包括：
第一转换单元71，被配置为通过所述GAN网络模型对所述第一图像进行模态转换，得到所述第二模态的第一合成图像，所述第一合成图像与所述第二图像为相同模态的第一图像对；
第二转换单元72，被配置为通过所述GAN网络模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
在一实施例中，建立在图7所示装置的基础上，如图8所示，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；
所述第一转换单元71可以包括：
第一转换子单元81，被配置为通过所述第一模型对所述第一图像进行模态转换；
所述第二转换单元71可以包括：
第二转换子单元82，被配置为通过所述第二模型对所述第二图像进行模态转换。
在一实施例中，建立在图7所示装置的基础上，所述第一模态和所述第二模态可以为但不限于以下任意两项：CT；MR；超声；X光；PET；SPECT。
在一实施例中，建立在图7所示装置的基础上，如图9所示，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；所述多通道配准模块53可以包括：
第一多通道配准子模块91，被配置为对所述第一图像对和所述第二图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据；
第一重采样子模块92，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
由上述实施例可见，在多模态图像中包括第一模态的第一图像和第二模态的第二图像时，可以通过GAN网络模型分别对第一图像和第二图像进行模态转换，得到第一图像对和第二图像对，并对第一图像对和第二图像对进行多通道配准，得到配准后的变换矩阵或形变场，以及利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像，从而实现了不同模态的第一图像和第二图像之间的多通道配准，提高了图像配准的实用性。
在一实施例中，建立在图5所示装置的基础上，如图10所示，所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；
所述模态转换子模块61可以包括：
第三转换单元101，被配置为通过所述GAN网络模型对所述第三图像进行模态转换，得到所述第二扫描方式的第三合成图像，所述第三合成图像与所述第四图像为相同扫描序列的第三图像对；
第四转换单元102，被配置为通过所述GAN网络模型对所述第四图像进行模态转换，得到所述第一扫描序列的第四合成图像，所述第四合成图像与所述第三图像为相同扫描序列的第四图像对。
在一实施例中，建立在图10所示装置的基础上，所述第一扫描方式为T1加权方式，所述第二扫描方式为PDW方式；或所述第一扫描方式为所述PDW方式，所述第二扫描方式为所述T1加权方式。
在一实施例中，建立在图10所示装置的基础上，如图11所示，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；所述多通道配准模块53可以包括：
第二多通道配准子模块111，被配置为对所述第三图像对和所述第四图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第三图像对和所述第四图像对为多通道配准架构的输入数据；
第二重采样子模块112，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
由上述实施例可见，在多模态图像中包括多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像时，可以通过GAN网络模型分别对第三图像和第四图像进行模态转换，得到第三图像对和第四图像对，并对第三图像对和第四图像对进行多通道配准，得到配准后的变换矩阵或形变场，以及利用变换矩阵或者形变场对目标图像进行重采样，得到配准后的目标图像，从而实现了不同扫描方式的第三图像和第四图像之间的多通道配准，也提高了图像配准的实用性。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
与图5相应的，本公开还提供另一种图像配准装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取用于图像配准的多模态图像；
对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
如图12所示，图12是本公开根据一示例性实施例示出的一种用于图像配准装置1200的一结构示意图。例如，装置1200可以是专门用于图像配准的医疗设备。
参照图12，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在装置1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当装置1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到装置1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置信息改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器，微波传感器或温度传感器。
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种图像配准方法，其特征在于，所述方法包括：
获得用于图像配准的多模态图像；
对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述多模态图像进行模态转换，包括：
通过生成对抗网络GAN网络模型对所述多模态图像进行模态转换。
3.根据权利要求2所述的方法，其特征在于，所述GAN网络模型包括循环GAN网络模型。
4.根据权利要求2所述的方法，其特征在于，所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；
所述通过所述GAN网络模型对所述多模态图像进行模态转换，包括：
通过所述GAN网络模型对所述第一图像进行模态转换，得到所述第二模态的第一合成图像，所述第一合成图像与所述第二图像为相同模态的第一图像对；
通过所述GAN网络模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
5.根据权利要求4所述的方法，其特征在于，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；
所述通过所述GAN网络模型对所述第一图像进行模态转换，包括：
通过所述第一模型对所述第一图像进行模态转换；
所述通过所述GAN网络模型对所述第二图像进行模态转换，包括：
通过所述第二模型对所述第二图像进行模态转换。
6.根据权利要求4所述的方法，其特征在于，所述第一模态和所述第二模态为以下任意两项：
电子计算机断层扫描CT；
磁共振MR；
超声；
X光；
正电子发射型计算机断层显像PET；
单光子发射计算机断层成像术SPECT。
7.根据权利要求4所述的方法，其特征在于，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；
所述对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像，包括：
对所述第一图像对和所述第二图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据；
利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
8.根据权利要求2所述的方法，其特征在于，所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；
所述通过所述GAN网络模型对所述多模态图像进行模态转换，包括：
通过所述GAN网络模型对所述第三图像进行模态转换，得到所述第二扫描方式的第三合成图像，所述第三合成图像与所述第四图像为相同扫描序列的第三图像对；
通过所述GAN网络模型对所述第四图像进行模态转换，得到所述第一扫描序列的第四合成图像，所述第四合成图像与所述第三图像为相同扫描序列的第四图像对。
9.根据权利要求8所述的方法，其特征在于，所述第一扫描方式为T1加权方式，所述第二扫描方式为质子密度加权PDW方式；或所述第一扫描方式为所述PDW方式，所述第二扫描方式为所述T1加权方式。
10.根据权利要求8所述的方法，其特征在于，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；
所述对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像，包括：
对所述第三图像对和所述第四图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第三图像对和所述第四图像对为多通道配准架构的输入数据；
利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
11.一种图像配准装置，其特征在于，所述装置包括：
图像获得模块，被配置为获得用于图像配准的多模态图像；
模态转换模块，被配置为对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
多通道配准模块，被配置为对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
12.根据权利要求11所述的装置，其特征在于，所述模态转换模块包括：
模态转换子模块，被配置为通过生成对抗网络GAN网络模型对所述多模态图像进行模态转换。
13.根据权利要求12所述的装置，其特征在于，所述GAN网络模型包括循环GAN网络模型。
14.根据权利要求12所述的装置，其特征在于，所述多模态图像中包括第一模态的第一图像和第二模态的第二图像，所述第一模态与所述第二模态不同；所述模态转换子模块包括：
第一转换单元，被配置为通过所述GAN网络模型对所述第一图像进行模态转换，得到所述第二模态的第一合成图像，所述第一合成图像与所述第二图像为相同模态的第一图像对；
第二转换单元，被配置为通过所述GAN网络模型对所述第二图像进行模态转换，得到所述第一模态的第二合成图像，所述第二合成图像与所述第一图像为相同模态的第二图像对。
15.根据权利要求14所述的装置，其特征在于，所述GAN网络模型中包括用于从所述第一模态转换为所述第二模态的第一模型、以及从所述第二模态转换为所述第一模态的第二模型；
所述第一转换单元包括：
第一转换子单元，被配置为通过所述第一模型对所述第一图像进行模态转换；
所述第二转换单元包括：
第二转换子单元，被配置为通过所述第二模型对所述第二图像进行模态转换。
16.根据权利要求14所述的装置，其特征在于，所述第一模态和所述第二模态为以下任意两项：
电子计算机断层扫描CT；
磁共振MR；
超声；
X光；
正电子发射型计算机断层显像PET；
单光子发射计算机断层成像术SPECT。
17.根据权利要求14所述的装置，其特征在于，所述第一图像为在图像配准中位置保持不变的源图像，所述第二图像是待配准的目标图像；
所述多通道配准模块包括：
第一多通道配准子模块，被配置为对所述第一图像对和所述第二图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第一图像对和所述第二图像对为多通道配准架构的输入数据；
第一重采样子模块，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
18.根据权利要求12所述的装置，其特征在于，所述多模态图像中包括使用第一扫描方式得到的第三图像和使用第二扫描方式得到的第四图像，所述第一扫描方式与所述第二扫描方式不同；
所述模态转换子模块包括：
第三转换单元，被配置为通过所述GAN网络模型对所述第三图像进行模态转换，得到所述第二扫描方式的第三合成图像，所述第三合成图像与所述第四图像为相同扫描序列的第三图像对；
第四转换单元，被配置为通过所述GAN网络模型对所述第四图像进行模态转换，得到所述第一扫描序列的第四合成图像，所述第四合成图像与所述第三图像为相同扫描序列的第四图像对。
19.根据权利要求18所述的装置，其特征在于，所述第一扫描方式为T1加权方式，所述第二扫描方式为质子密度加权PDW方式；或所述第一扫描方式为所述PDW方式，所述第二扫描方式为所述T1加权方式。
20.根据权利要求18所述的装置，其特征在于，所述第三图像为在图像配准中位置保持不变的源图像，所述第四图像是待配准的目标图像；
所述多通道配准模块包括：
第二多通道配准子模块，被配置为对所述第三图像对和所述第四图像对进行多通道配准，得到配准后的变换矩阵或形变场；其中，所述第三图像对和所述第四图像对为多通道配准架构的输入数据；
第二重采样子模块，被配置为利用所述变换矩阵或者形变场对所述目标图像进行重采样，得到配准后的目标图像。
21.一种图像配准装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取用于图像配准的多模态图像；
对所述多模态图像进行模态转换，得到至少两组相同模态的图像对；
对所述至少两组相同模态的图像对进行多通道配准，得到配准后的图像。
CN201910496249.9A 2019-06-10 2019-06-10 图像配准方法及装置 Pending CN110298871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910496249.9A CN110298871A (zh) 2019-06-10 2019-06-10 图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910496249.9A CN110298871A (zh) 2019-06-10 2019-06-10 图像配准方法及装置

Publications (1)

Publication Number Publication Date
CN110298871A true CN110298871A (zh) 2019-10-01

Family

ID=68027635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910496249.9A Pending CN110298871A (zh) 2019-06-10 2019-06-10 图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN110298871A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111832656A (zh) * 2020-07-17 2020-10-27 复旦大学 医用人机交互辅助系统及含该程序的计算机可读存储介质
CN112102385A (zh) * 2020-08-20 2020-12-18 复旦大学 一种基于深度学习的多模态肝脏磁共振影像配准系统
WO2021087659A1 (zh) * 2019-11-04 2021-05-14 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN113012204A (zh) * 2021-04-09 2021-06-22 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
WO2022120737A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN115861394A (zh) * 2023-02-28 2023-03-28 福建自贸试验区厦门片区Manteia数据科技有限公司 医学图像的处理方法和装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926574A (zh) * 2004-02-20 2007-03-07 皇家飞利浦电子股份有限公司 用于图像的多模式配准的设备和方法
CN102750692A (zh) * 2012-05-31 2012-10-24 东南大学 结合多模态造影剂进行图像配准的方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926574A (zh) * 2004-02-20 2007-03-07 皇家飞利浦电子股份有限公司 用于图像的多模式配准的设备和方法
CN102750692A (zh) * 2012-05-31 2012-10-24 东南大学 结合多模态造影剂进行图像配准的方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丽芳等: "基于多通道稀疏编码的非刚性多模态医学图像配准", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
WO2021087659A1 (zh) * 2019-11-04 2021-05-14 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111832656A (zh) * 2020-07-17 2020-10-27 复旦大学 医用人机交互辅助系统及含该程序的计算机可读存储介质
CN112102385A (zh) * 2020-08-20 2020-12-18 复旦大学 一种基于深度学习的多模态肝脏磁共振影像配准系统
WO2022120737A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN113012204A (zh) * 2021-04-09 2021-06-22 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN113012204B (zh) * 2021-04-09 2024-01-16 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN114359360B (zh) * 2022-03-17 2022-06-10 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN115861394A (zh) * 2023-02-28 2023-03-28 福建自贸试验区厦门片区Manteia数据科技有限公司 医学图像的处理方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110298871A (zh) 图像配准方法及装置
CN108549863B (zh) 人体姿态预测方法、装置、设备及存储介质
CN109858524A (zh) 手势识别方法、装置、电子设备及存储介质
CN103140862B (zh) 用户界面系统及其操作方法
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN109727303B (zh) 视频展示方法、系统、计算机设备、存储介质和终端
WO2021259393A2 (zh) 图像处理方法及装置、电子设备
CN104700353B (zh) 图像滤镜生成方法及装置
TW202027033A (zh) 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN107833219A (zh) 图像识别方法及装置
CN108353129B (zh) 拍摄设备及其控制方法
US20150253977A1 (en) Medical imaging apparatus for providing guide information and method of providing guide information
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN115131289A (zh) 图像处理模型的训练方法
CN116250012A (zh) 用于图像动画的方法、系统和计算机可读存储介质
TW202203854A (zh) 圖像處理方法及電子設備、電腦可讀儲存介質
CN115439171A (zh) 商品信息展示方法、装置及电子设备
CN114140536A (zh) 位姿数据处理方法、装置、电子设备及存储介质
CN105867371A (zh) 控制平衡车移动的方法及装置
CN108989666A (zh) 拍摄方法、装置、移动终端及计算机可读取存储介质
WO2017010810A1 (ko) 초음파 영상 녹화 장치 및 방법
KR20230071720A (ko) 얼굴 이미지의 랜드마크 좌표 예측 방법 및 장치
KR102502026B1 (ko) 피부 촬영 사진을 이용한 피부 유형 분석 시스템 및 그 방법
TW202346826A (zh) 影像處理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination