CN111311655A - 多模态图像配准方法、装置、电子设备、存储介质 - Google Patents

多模态图像配准方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111311655A
CN111311655A CN202010091165.XA CN202010091165A CN111311655A CN 111311655 A CN111311655 A CN 111311655A CN 202010091165 A CN202010091165 A CN 202010091165A CN 111311655 A CN111311655 A CN 111311655A
Authority
CN
China
Prior art keywords
image
registered
registration
slice
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010091165.XA
Other languages
English (en)
Other versions
CN111311655B (zh
Inventor
白璐
李广
朱传伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN202010091165.XA priority Critical patent/CN111311655B/zh
Publication of CN111311655A publication Critical patent/CN111311655A/zh
Application granted granted Critical
Publication of CN111311655B publication Critical patent/CN111311655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了多模态图像配准方法、装置、电子设备、存储介质。方法包括：判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。实现了多模态图像的粗配准，且计算量小，效率高。

Description

多模态图像配准方法、装置、电子设备、存储介质
技术领域
本发明涉及医学成像技术领域，特别涉及多模态图像配准方法、装置、电子设备、存储介质。
背景技术
图像配准是医学图像对比、数据融合、变化分析等临床应用需求的必要处理步骤。在图像配准中常需要把来源于不同成像设备的图像进行配准处理(多模态图像配准技术)，互补融合不同模态信息特点，对医学诊断、手术规划等应用有重要意义。
多模态图像配准是将不同类型的医学设备采集到的同一病人图像进行配准。由于不同设备成像机制差异，使得多模态图像配准面临更多的挑战。例如，不同类型设备采集图像的覆盖范围不同，CT(电子计算机断层扫描)、PET(正电子发射计算机断层显像)可获得全身图像，MR(磁共振)仅能获得较小视野范围的图像；多模态图像即使采集相同部位的图像，但他们之间的特征差异明显，CT图像对骨骼等致密组织的轮廓反映清晰，PET图像则对生理代谢异常区域敏感，MR图像对软组织对比度高；多模态图像往往是不同设备在不同时间采集的，由于病人体位变化，会引起器官在影像中大小、形态的变化，增加了配准处理的难度。
发明内容
本发明提供了多模态图像配准方法、装置、电子设备、存储介质，以减小多模态图像配准的计算量。
具体地，本发明是通过如下技术方案实现的：
第一方面，提供一种多模态图像配准方法，所述多模态图像配准方法包括：
判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；
在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；
根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。
可选地，判断待配准图像和配准参考图像中是否存在待配准区域，包括：
分别对所述待配准图像和所述配准参考图像进行所述第一图像方向的重采样，得到所述待配准图像的多幅第一切片图以及所述配准参考图像的多幅第二切片图；
将每幅第一切片图和每幅第二切片图分别输入与其图像方向和图像模态均相同的部位识别模型，每个部位识别模型采用标注有组织器官标注信息的切片图对霍夫森林训练得到，其中，同一部位识别模型训练过程中所采用的所有切片图均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的切片图由不同模态的成像设备获取和/或具有不同的图像方向；
根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，所述预测结果包括多个组织器官在切片图中的中心位置和对应的置信度。
可选地，
得到所述待配准图像的多幅第一切片图之后，还包括：
从所述多幅第一切片图中挑选出包含所述待配准图像的组织器官信息最多的若干第一切片图；
得到所述配准参考图像的多幅第二切片图之后，还包括：
从所述多幅第二切片图中挑选出包含所述配准参考图像的组织器官信息最多的若干第二切片图；
然后使用将所述若干第一切片图和若干第二切片图输入所述部位识别模型的步骤代替将每幅切片图输入所述部位识别模型的步骤。
可选地，根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，包括：
对于所述多幅第一切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
对于所述多幅第二切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
将置信度为最大值的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定所述待配准图像和所述配准参考图像中各自所包含的组织器官；
若所述待配准图像中包含与所述配准参考图像中相同的组织器官，则将所述相同的组织器官对应的区域确定为所述待配准区域。
可选地，对所述待配准图像和所述配准参考图像进行所述第一图像方向的二维滑窗搜索，包括：
对于每个像素点，从所述若干第一切片图中获取最大像素值，并填充于所述第一图像方向的第一最大投影图中；
对于每个像素点，从所述若干第二切片图中获取最大像素值，并填充于所述第一图像方向的第二最大投影图中；
使用所述第一图像方向的第一最大投影图对所述第一图像方向的第二最大投影图进行滑窗搜索，同时使用若干第一切片图对若干第二切片图进行滑窗搜索，并根据多组滑窗搜索的结果在所述第一图像方向上优化所述待配准区域，其中，所述第一图像方向的第一最大投影图每在所述第一图像方向的第二最大投影图上以预设步长移动一次计算一次所述第一图像方向的第一最大投影图与所述第一图像方向的第二最大投影图的第一互信息，所述第一切片图每在所述第二切片图上以所述预设步长移动一次计算一次所述第一切片图与所述第二切片图的第二互信息，直至所述第一互信息与所述第二互信息的平均值为最大值；
对所述待配准图像和所述配准参考图像进行所述第二图像方向的二维滑窗搜索，包括：
分别对所述待配准图像和所述配准参考图像在第一图像方向优化后的待配准区域内进行沿所述第二图像方向的重采样，得到所述待配准图像的多幅第三切片图以及所述配准参考图像的多幅第四切片图；
对于每个像素点，从所述多幅第三切片图中获取最大像素值，并填充于所述第二图像方向的第一最大投影图中；
对于每个像素点，从所述多幅第四切片图中获取最大像素值，并填充于所述第二图像方向的第二最大投影图中；
使用所述第二图像方向的第一最大投影图对所述第二图像方向的第二最大投影图进行滑窗搜索，同时使用若干第三切片图对若干第四切片图进行滑窗搜索，根据多组滑窗搜索的结果在所述第二图像方向上优化所述待配准区域，其中，所述第二图像方向的第一最大投影图每在所述第二图像方向的第二最大投影图上以所述预设步长移动一次计算一次所述第二图像方向的第一最大投影图与所述第二图像方向的第二最大投影图的第三互信息，所述第三切片图每在所述第四切片图上以所述预设步长移动一次计算一次所述第三切片图与所述第四切片图的第四互信息，直至所述第三互信息与所述第四互信息的平均值为最大值。
可选地，若所述待配准图像与所述配置参考图像中存在多个待配准区域，则基于最小二乘法拟合所述多个待配准区域的中心位置，以确定所述待配准图像与所述配准参考图像的初始偏移量；
对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，还包括：
根据所述多组滑窗搜索的结果在所述第一图像方向上优化所述初始偏移量；
对所述待配准图像和所述配准参考图像进行第二图像方向的二维滑窗搜索，还包括：
根据所述多组滑窗搜索的结果在所述第二图像方向上优化所述初始偏移量。
可选地，使用所述第一最大投影图对所述第二最大投影图进行滑窗搜索之前，还包括：
基于区域增长算法去除所述第一最大投影图像和所述第二最大投影图像中的背景区域；
基于所述待配准区域的中心位置，将去除背景区域后的第一最大投影图和第二最大投影图重叠，以确定所述第一最大投影图和所述第二最大投影图的重叠区域；
按照预设比例扩大所述重叠区域，并将扩大后的重叠区域确定为所述第一最大投影图在所述第二最大投影图上进行滑窗搜索的搜索区域。
第二方面，提供一种多模态图像配准装置，所述多模态图像配准装置包括：
判断模块，用于判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；
滑窗模块，用于在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；
确定模块，用于根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。
可选地，所述判断模块包括：
采用单元，用于分别对所述待配准图像和所述配准参考图像进行所述第一图像方向的重采样，得到所述待配准图像的多幅第一切片图以及所述配准参考图像的多幅第二切片图；
输入单元，用于将每幅第一切片图和每幅第二切片图输入与其图像方向和图像模态均相同的部位识别模型，每个部位识别模型采用标注有组织器官标注信息的切片图对霍夫森林训练得到，其中，同一部位识别模型训练过程中所采用的所有切片图均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的切片图由不同模态的成像设备获取和/或具有不同的图像方向；
判断单元，用于根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，所述预测结果包括多个组织器官在切片图中的中心位置和对应的置信度。
可选地，所述多模态图像配准装置还包括：
挑选模块，用于从所述待配准图像的多幅第一切片图中挑选出包含所述待配准图像的组织器官信息最多的若干第一切片图；并从所述配准参考图像的多幅第二切片图中挑选出包含所述配准参考图像的组织器官信息最多的若干第二切片图；
所述输入单元则将所述若干第一切片图和所述第二切片图输入所述部位识别模型。
可选地，所述判断单元具体用于：
对于所述待配准图像的多幅第一切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
对于所述配准参考图像的多幅第二切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
将置信度为最大值的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定所述待配准图像和所述配准参考图像中各自所包含的组织器官；
若所述待配准图像中包含与所述配准参考图像中相同的组织器官，则将所述相同的组织器官对应的区域确定为所述待配准区域。
可选地，在对所述待配准图像和所述配准参考图像进行所述第一图像方向的二维滑窗搜索时，所述滑窗模块用于：
对于每个像素点，从所述若干第一切片图中获取最大像素值，并填充于所述第一图像方向的第一最大投影图中；
对于每个像素点，从所述若干第二切片图中获取最大像素值，并填充于所述第一图像方向的第二最大投影图中；
使用所述第一图像方向的第一最大投影图对所述第一图像方向的第二最大投影图进行滑窗搜索，同时使用若干第一切片图对若干第二切片图进行滑窗搜索，并根据多组滑窗搜索的结果在所述第一图像方向上优化所述待配准区域，其中，所述第一图像方向的第一最大投影图每在所述第一图像方向的第二最大投影图上移动一次计算一次所述第一图像方向的第一最大投影图与所述第一图像方向的第二最大投影图的第一互信息，所述第一切片图每在所述第二切片图上以所述预设步长移动一次计算一次所述第一切片图与所述第二切片图的第二互信息，直至所述第一互信息与所述第二互信息的平均值为最大值；
在对所述待配准图像和所述配准参考图像进行所述第二图像方向的二维滑窗搜索时，所述滑窗模块用于：
分别对所述待配准图像和所述配准参考图像在第一图像方向优化后的待配准区域内进行沿所述第二图像方向的重采样，得到所述待配准图像的多幅第三切片图以及所述配准参考图像的多幅第四切片图；
对于每个像素点，从所述多幅第三切片图中获取最大像素值，并填充于所述第二图像方向的第一最大投影图中；
对于每个像素点，从所述多幅第四切片图中获取最大像素值，并填充于所述第二图像方向的第二最大投影图中；
使用所述第二图像方向的第一最大投影图对所述第二图像方向的第二最大投影图进行滑窗搜索，同时使用若干第三切片图对若干第四切片图进行滑窗搜索，根据多组滑窗搜索的结果在所述第二图像方向上优化所述待配准区域，其中，所述第二图像方向的第一最大投影图每在所述第二图像方向的第二最大投影图上以所述预设步长移动一次计算一次所述第二图像方向的第一最大投影图与所述第二图像方向的第二最大投影图的第三互信息，所述第三切片图每在所述第四切片图上以所述预设步长移动一次计算一次所述第三切片图与所述第四切片图的第四互信息，直至所述第三互信息与所述第四互信息的平均值为最大值。
可选地，所述多模态图像配准装置还包括：
拟合模块，用于在所述待配准图像与所述配置参考图像中存在多个待配准区域的情况下，基于最小二乘法拟合多个待配准区域的中心位置，以确定所述待配准图像与所述配准参考图像的初始偏移量；
在进行滑窗搜索时，所述滑窗模块还用于：
根据所述多组滑窗搜索的结果在分别在所述第一图像方向上和所述第二图像方向上优化所述初始偏移量。
可选地，所述多模态图像配准装置还包括：
去除模块，用于基于区域增长算法去除所述第一最大投影图像和所述第二最大投影图像中的背景区域；
重叠模块，用于基于所述待配准区域的中心位置，将去除背景区域后的第一最大投影图和第二最大投影图重叠，以确定所述第一最大投影图和所述第二最大投影图的重叠区域；
扩大模块，用于按照预设比例扩大所述重叠区域，并将扩大后的重叠区域确定为所述第一最大投影图在所述第二最大投影图上进行滑窗搜索的搜索区域。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的多模态图像配准方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的多模态图像配准方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例，采用不同图像方向的两次二维滑窗搜索，实现三维偏移量估计，替代了耗时的三维滑窗搜索定位方法，可快速有效的完成待配准图像向配准参考图像的粗配准，为后续进行刚体或非刚体的精配准处理，提供可靠的初始配准参数(配准信息)估计。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明一示例性实施例示出的一种多模态图像配准方法的流程图；
图2是本发明一示例性实施例示出的另一种多模态图像配准方法的部分流程图；
图3a是本发明一示例性实施例示出的对一组轴状面图像数据进行重采样获得的冠状面的切片图；
图3b是本发明一示例性实施例示出的对一组轴状面图像数据进行重采样获得的矢状面的切片图；
图4是本发明一示例性实施例示出的图2中步骤101-3的流程图；
图5是本发明一示例性实施例示出的将切片图输入部位识别模型的输出结果示意图；
图6是本发明一示例性实施例示出的图1中步骤102的流程图；
图7a是本发明一示例性实施例示出的第一最大投影图的示意图；
图7b是本发明一示例性实施例示出的将第一最大投影图和第二最大投影图重叠后的第一示意图；
图7c是本发明一示例性实施例示出的将第一最大投影图和第二最大投影图重叠后的第二示意图；
图7d是本发明一示例性实施例示出的将第一最大投影图和第二最大投影图重叠后的第三示意图；
图7e是本发明一示例性实施例示出的确定第一最大投影图和第二最大投影图的滑窗搜索区域的示意图；
图8a是本发明一示例性实施例示出的一种配准参考图像的示意图；
图8b是本发明一示例性实施例示出的另一种配准参考图像的示意图；
图8c是本发明一示例性实施例示出的另一种配准参考图像的示意图；
图8d是本发明一示例性实施例示出的一种待配准图像的示意图；
图8e是本发明一示例性实施例示出的另一种待配准图像的示意图；
图8f是本发明一示例性实施例示出的另一种待配准图像的示意图；
图8g是使用本发明一示例性实施例的多模态图像配准方法对图8a和图8d进行配准的结果示意图；
图8h是使用本发明一示例性实施例的多模态图像配准方法对图8b和图8e进行配准的结果示意图；
图8i是使用本发明一示例性实施例的多模态图像配准方法对图8c和图8f进行配准的结果示意图；
图9a是本发明一示例性实施例示出的另一种配准参考图像的示意图；
图9b是本发明一示例性实施例示出的另一种配准参考图像的示意图；
图9c是本发明一示例性实施例示出的另一种配准参考图像的示意图；
图9d是本发明一示例性实施例示出的另一种待配准图像的示意图；
图9e是本发明一示例性实施例示出的另一种待配准图像的示意图；
图9f是本发明一示例性实施例示出的另一种待配准图像的示意图；
图9g是使用本发明一示例性实施例的多模态图像配准方法对图9a和图9d进行配准的结果示意图；
图9h是使用本发明一示例性实施例的多模态图像配准方法对图9b和图9e进行配准的结果示意图；
图9i是使用本发明一示例性实施例的多模态图像配准方法对图9c和图9f进行配准的结果示意图；
图10是本发明一示例性实施例示出的一种多模态图像配准装置模块示意图；
图11是本发明一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图像配准是医学图像对比、数据融合、变化分析等临床应用需求的必要处理步骤，通过对图像进行平移、旋转、拉伸以及其他非线性空间变换操作，从而实现不同图像之间位置的匹配对准。配准处理后的一组图像，位于相同图像位置(m，n)(m表示行标号，n表示列标号)的信息对应于同一个身体部位，因此配准后的图像可用于病灶变化分析等应用。
对于图像配准，有时需要把来源于不同成像设备的医学图像进行配准处理也即多模态图像配准。多模态图像配准是将不同模态的成像设备采集到的同一病人的医学图像进行配准，多模态图像例如CT(电子计算机断层扫描)图像、MRI(磁共振)图像、PET(正电子发射计算机断层显像)图像等。互补融合不同模态信息特点，对医学诊断、手术规划等应用有重要意义。
由于不同成像设备的成像机制的差异，使得多模态图像配准面临更多的挑战。例如，不同类型设备采集图像的覆盖范围不同，CT设备、PET设备可获得全身图像，MR设备仅能获得较小视野范围的图像；即使多模态图像为相同部位的图像，但他们之间的特征差异明显，CT图像对骨骼等致密组织的轮廓反映清晰，PET图像则对生理代谢异常区域敏感，MR图像对软组织对比度高；多模态图像往往是不同成像设备在不同时间采集的，由于病人体位变化，会引起器官在影像中大小、形态的变化，增加了配准处理的难度。上述这些多模态图像的特性，无疑增加了图像配准的难度。
一般来讲，图像配准过程分为两个阶段实施，第一个阶段为粗配准阶段，即粗略进行部位对准，用于解决大的偏移校正，确定配准参考图像与待配准图像的重合区域及偏移量，并为第二阶段处理提供初始配准参数估计；第二个阶段为精配准阶段，优化初始配准参数使得配准效果达到最优，用于确定旋转、拉伸以及非刚体形变。精配准处理的效果优劣，较大程度依赖粗配准的精确度。如果粗配准未能提供较好的初始配准参数估计，精配准将会陷入到某一局部最优解中，无法生成期望的结果，造成配准失败。
相关技术中，一般基于三维滑窗搜索实现图像粗配准，将待配准图像在配准参考图像上滑动，计算所有可能对准位置的相似性测度(表征两幅图像的匹配程度)，将提供最佳相似性系数的位置作为粗配准的位置。该方式直接利用滑窗技术在三维图像数据上搜索匹配位置，计算量比较大，非常耗时，尤其当待配准图像与配准参考图像分别为不同模态的图像时，例如，分别为CT图像和MR图像，两类模态图像的FOV(视野，Field of Vision)差异大，搜索范围过大，偶尔还会出现错误，因此有时还需要手动协助。
基于上述情况，针对不同模态的医学图像在粗配准阶段的相互配准问题，本发明实施例提供一种多模态图像配准方法，能够更加普适、快速的解决不同模态的医学图像之间的粗配准问题。本发明实施例中所指的多模态图像，主要是指采用不同模态的医疗成像设备对扫描对象进行扫描获得的医学图像，如CT图像、MRI图像、PET图像等。
对多模态图像进行粗配准的过程中，选择其中一幅图像作为配准参考图像，其他的图像作为待配准图像。先确定配准参考图像与待配准图像中大致的待配准区域，也即对两幅图像中各自所包含的组织器官进行识别，以解决不同大小FOV的图像之间的匹配难题，然后将识别结果进行筛选和匹配，用于粗略计算两幅图像的待配准区域。在粗略估算的待配准区域内，应用两次二维滑窗搜索替代耗时的三维滑窗搜索，综合两次二维滑窗搜索的结果即可实现三维偏移估计优化，确定更加准确的待配准区域及待配准图像向配准参考图像配准的三维偏移量。
下面对本发明实施例的多模态图像配准实施例进行详细描述。
图1是本发明一示例性实施例示出的一种多模态图像配准方法的流程图，方法包括以下步骤：
步骤101、判断待配准图像和配准参考图像中是否存在待配准区域。
其中，待配准图像和配准参考图像为使用不同模态的成像设备对目标对象进行扫描获得的医学图像。目标对象可以但不限于包括以下组织器官中的至少一种：脑部、颈部、胸部、腹部、臀部等。成像设备例如可以是CT设备、MR设备、PET设备等。待配准图像/配准参考图像可以是CT图像、MR图像、PET图像等。
步骤101中，引入待配准区域的识别，也即判断待配准图像和配准参考图像中是否包含对相同的组织器官进行扫描获得的图像数据(待配准区域)，如果待配准图像和配准参考图像中包含对相同组织器官进行扫描获得的图像数据，则进行后续处理步骤，否则无需进入后续处理步骤。
步骤102、在待配准图像和配准参考图像存在待配准区域的情况下，对待配准图像和配准参考图像进行第一图像方向的二维滑窗搜索，并对配准图像和配准参考图像进行与第一图像方向垂直的第二图像方向的二维滑窗搜索。
医学图像的图像方向包括轴状面(Axial)方向、矢状面(Sagittal)方向和冠状面(Coronal)方向，三个图像方向相互垂直。进行二维滑窗搜索时，从三个图像方向中选择2个方向分别作为第一图像方向和第二图像方向，例如，选择矢状面方向或冠状面方向作为第一图像方向，选择轴状面方向作为第二图像方向。
步骤103、根据滑窗搜索结果确定待配准图像向配准参考图像配准的配准信息。
其中，配准信息包括：待配准图像向配准参考图像配准的三维偏移量、更加准确的待配准区域。
从而，通过对待配准图像和配准参考图像进行第一图像方向的二维滑窗搜索，确定两幅图像在第一图像方向上两个维度的偏移估计；再进行第二图像方向的二维滑窗搜索，确定两幅图像在第二图像方向上两个维度的偏移估计；综合两次二维滑窗搜索的结果，即可完成三维偏移量优化估计，实现不同模态图像的粗配准。
本实施例中，采用不同图像方向的两次二维滑窗搜索，实现三维偏移量估计，替代了耗时的三维滑窗搜索定位方法，可快速有效的完成待配准图像向配准参考图像的粗配准，为后续进行刚体或非刚体的精配准处理，提供可靠的初始配准参数(配准信息)估计。
图2是本发明一示例性实施例示出的另一种多模态图像配准方法的部分流程图，图中以第一图像方向为例，对待配准图像和配准参考图像的粗配准过程作进一步说明。参见图2，方法包括以下步骤：
步骤101-1、对待配准图像进行第一图像方向的重采样，得到待配准图像的多幅切片图。
举例来说，若选取冠状面方向作为第一图像方向，由于CT设备只能获取轴状面图像，则需要对扫描获得的轴状面图像(待配准图像)进行沿冠状面方向的重采样，以获取冠状面方向的切片图；即便待配准图像为冠状面图像，由于待配准图像和配准参考图像由不同的医疗成像设备获得，为了统一图像参数，便于实现配准，需要以相同的采样参数对待配准图像和配准参考图像沿冠状面方向进行重采样。其中，采样参数包括：层间距、切片厚度、像素尺寸(相邻两像素之间的距离)等。此处的采样参数需与步骤101-2提及的部位识别模型的训练样本的采样参数相同，例如，均采用4mm*4mm的像素尺寸。
参见图3a和图3b，图3a示出了对一组轴状面图像数据进行重采样获得的冠状面的切片图，图3b示出了对该组轴状面图像数据进行重采样获得的矢状面的切片图。图3a中，横线条表征该冠状面切片图中轴状面的切片图位置，纵线条表征该冠状面切片图中矢状面的切片图位置。图3b中，横线条表征该矢状面切片图中轴状面的切片图位置，纵线条表征该矢状面切片图中冠状面的切片图位置。
可以理解的，矢状面方向和冠状面方向的切片图可包含多个组织器官的三维图像数据，也即若对头部、颈部和胸部进行扫描，矢状面方向和冠状面方向的靠近目标对象质心的切片图可包含头部、颈部和胸部的三维图像数据，能有效确定从脚到头方向各身体部位出现的位置；而轴状面方向的切片图并不能包含多个组织器官的三维图像数据，不能完全反映出组织器官的结构特性。因此，可选择矢状面方向或冠状面方向作为第一图像方向，使得步骤101-2和步骤101-3中可依据更少的切片图，获得待配准图像中完整的组织器官信息，从而能快速准确实现待配准图像中所包含的组织器官区域的判断以及待配准区域的判断。
步骤101-2、将切片图输入与其图像模态和图像方向均相同的部位识别模型。
部位识别模型用于识别切片图中可能包含的组织器官。为了能够识别出不同图像模态、不同图像方向的切片图所包含的组织器官，需要建立多个部位识别模型，也即针对n种图像模态、m个图像方向需要训练n*m个部位识别模型。每个部位识别模型，采用标注有组织器官标注信息的医学图像训练得到。
例如，对于CT图像的三个图像方向，分别训练得到用于识别CT冠状面切片图的部位识别模型、用于识别CT矢状面切片图的部位识别模型、用于识别CT轴状面切片图的部位识别模型；对于MR图像的三个图像方向，分别训练得到用于识别MR冠状面切片图的部位识别模型、用于识别MR矢状面切片图的部位识别模型、用于识别MR轴状面切片图的部位识别模型；对于PET图像的三个图像方向，分别训练得到用于识别PET冠状面切片图的部位识别模型、用于识别PET矢状面切片图的部位识别模型、用于识别PET轴状面切片图的部位识别模型。
需要注意的是，训练同一部位识别模型所采用的所有医学图像均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的医学图像由不同模态的成像设备获取和/或具有不同的图像方向。在一个实施例中，部位识别模型可以但不限于通过对霍夫森林(Random Forest)或yolo神经网络或其他卷积神经网络训练得到。例如，用于识别CT冠状面切片图的部位识别模型采用冠状面方向的CT图像作为训练样本训练得到；用于识别CT轴状面切片图的部位识别模型采用轴状面方向的CT图像作为训练样本训练得到；用于识别PET矢状面切片图的部位识别模型采用矢状面方向的PET图像作为训练样本训练得到。
若待配准图像为CT图像，选择冠状面方向作为第一图像方向，步骤101-2中，则选择用于识别CT冠状面切片图的部位识别模型，并将对CT图像沿冠状面方向进行重采样得到的切片图输入该部位识别模型。
可以理解的，由于身体部位不是完全对称的，切片位置不同，切片内容差异可能存在明显差异。为了避免因切片位置不佳，使得切片图中未包含待参考图像中的所有组织器官信息的情况(参见图3a边缘区域中用纵线条表征的矢状面的切片图位置或图3b边缘区域中用纵线条表征的冠状面的切片图位置)，导致部位识别不准确，故而不能仅仅使用一张切片图进行部位识别，而对所有切片图进行部位识别，计算量非常大，因此可从中选择若干切片图进行识别，保证预测结果的准确性。
又由于越靠近组织器官质心位置的切片图，越能够反映出较多待参考图像中的组织器官信息。参考图3a中图片中间区域的纵线条表征的矢状面的切片图位置或图3b中图片中间区域的纵线条表征的冠状面的切片图位置，越靠近组织器官质心位置的切片图包括越多待参考图像包含的组织器官信息；而与组织器官质心位置越远的切片图(参见图3a和图3b边缘区域的纵线条表征的切片图位置)，所反映的组织器官信息越少。因此在另一个实施例中，可从步骤101-1获得的所有切片图中选择靠近组织器官质心的若干切片图，也即包含待配准图像的组织器官信息最多的若干切片图，输入部位识别模型中进行识别，而无需将步骤101-1获得的待配准图像的所有切片图均输入部位识别模型。这样一方面可确保预测结果的准确性，另一方面可以大大减少计算量。
以选择3幅切片图为例。若步骤101-1中对待配准图像进行第一图像方向的重采样得到a幅切片图，依次为A1、A2、…、Aa-1和Aa，则从中选择切片图
Figure BDA0002383772480000171
和
Figure BDA0002383772480000172
输入部位识别模型。其中，[]表示取整运算符。
步骤101-3、根据部位识别模型输出的多组预测结果确定待配准图像所包含的组织器官区域。
其中，每组预测结果包括多个组织器官在切片图中的中心位置和对应的置信度。
以组织器官包括头部、颈部、胸部、腹部、臀部5个部位为例，将一幅切片图输入部位识别模型，模型针对头部会输出一个中心位置和对应的置信度，针对颈部会输出一个中心位置和对应的置信度，针对胸部会输出一个中心位置和对应的置信度，针对腹部会输出一个中心位置和对应的置信度，针对臀部会输出一个中心位置和对应的置信度。其中，中心位置表征组织器官在切片图中的预测位置。置信度表征预测结果的可信程度。
虽然基于部位识别模型可有效的识别出切片图所包含的组织器官区域及其位置信息，但是有时会出现估计不准确的情况。为了进一步确保预测结果的准确性，需要对部位识别模型输出的结果进行筛选，选出可信度高且符合组织器官分布逻辑关系的结果，作为最终确定的待配准图像包含的组织器官，进行后续粗配准处理。
下面对确定待配准图像所包含的组织器官的实现过程说明如下，参见图4，包括以下步骤：
步骤101-31、从部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置。
步骤101-31也即将对待配准图像的多幅切片图进行组织器官识别的预测结果按照置信度从高到低依次排列，以最大置信度对应的中心位置作为表征待配准图像所包含的组织器官的参考，具体的：
将待配准图像的1幅切片图输入部位识别模型，参见图5，会输出一组预测结果，包括针对头部、颈部、胸部、腹部、臀部5个组织器官的中心位置和对应的置信度，图中示出了部位识别模型识别出的该切片图中头部的中心位置为(156,156)，置信度为0.8；颈部的中心位置为(160,200)，置信度为0.81；胸部的中心位置为(160,205)，置信度为0.2；腹部的中心位置为(200,200)，置信度为0.1；臀部的中心位置为(156,200)，置信度为0.1。
将3幅切片图分别输入部位识别模型，就会输出3组预测结果。由于每幅医学图像中，头部、颈部、胸部、腹部、臀部等组织器官正常情况下有且仅有一个，需从多组预测结果中的筛选出每个组织器官置信度最高的一组预测结果，以进行下一步筛选。
假设将待配准图像的另2幅切片图也输入部位识别模型，得到的两组结果分别为{[(156,156),0.75],[(160,200),0.85],[(158,200),0.25],[(160,200),0.2],[(166,200),0.15]}、{[(156,160),0.81],[(160,200),0.85],[(200,200),0.2],[(200,200),0.15],[(156,156),0.03]}。3幅靠近质心的切片图对应的3组预测结果用表格表示如下：
Figure BDA0002383772480000191
参见上述表格，上述三组预测结果中，对于头部来说，置信度的最高值为0.81，对应的中心位置为(156,160)；对于颈部来说，置信度的最高值为0.85，对应的中心位置为(160,200)；对于胸部来说，置信度的最高值为0.25，对应的中心位置为(158,200)；对于腹部来说，置信度的最高值为0.2，对应的中心位置为(160,200)；对于臀部来说，置信度的最高值为0.15，对应的中心位置为(166,200)。从而，置信度最高的5个中心位置分为(156,160)、(160,200)、(158,200)、(160,200)和(166,200)。
对于上述置信度最高的结果，需要执行步骤101-32以进行下一步筛选，剔除错误估计。
步骤101-32、将最大置信度对应的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定待配准图像所包含的组织器官。
步骤101-32中，剩下的中心位置对应的组织器官，即为待配准图像所包含的组织器官。
器官逻辑关系也即人体组织器官的分布规律，例如，头部、颈部、胸部、腹部、臀部是从头到脚分布的，通过判断各个部位的中心位置的纵坐标即可将不符合器官逻辑关系的中心位置剔除。例如，胸部位于腹部的上方，若胸部对应的中心位置的纵坐标小于腹部对应的中心位置的纵坐标，则说明胸部与腹部对应的中心位置符合器官逻辑关系，应保留；若胸部对应的中心位置的纵坐标大于或等于腹部对应的中心位置的纵坐标，则说明胸部与腹部对应的中心位置不符合器官逻辑关系，应剔除。
置信度阈值可根据实际需求自行设置，例如设置为0.5，以上述置信度最高的5个中心位置为例，其中，胸部、腹部、臀部的中心位置对应的置信度均小于0.5，说明这三个结果的可信度很低，很可能是错误的预测结果，应当剔除。头部的中心位置对应的置信度高达0.81，颈部的中心位置对应的置信度高达0.85，说明这两个结果的可信度很高，为最终的预测结果，也即待配准图像包含头部、颈部两个组织器官。
需要说明的是，步骤101-32中，可以选择上述1种剔除策略(按照器官逻辑关系剔除或按照置信度阈值剔除)；也可以同时采用上述2种剔除策略，当选择2种剔除策略时，只有既符合器官逻辑关系，对应的置信度又大于置信度阈值的中心位置才被保留。
图2中步骤101-1’～步骤101-3’为对配准参考图像沿第一图像方向进行重采样得到的切片图、识别配准参考图像所包含的组织器官的步骤，与步骤101-1～步骤101-3类似，不同之处仅在于对象不同，具体实现过程，此处不再赘述。
需要注意的是，因步骤102中采用步骤101-1和步骤101-1’获得的切片图进行二维滑窗搜索，因而要求步骤101-1和步骤101-1’中以相同的图像方向和采样参数对待配准图像和配准参考图像进行重采样。
步骤101-4、根据待配准图像和配准参考图像中各自所包含的组织器官，判断待配准图像和配准参考图像中是否存在待配准区域。
步骤101-3和步骤101-3’中分别识别出了待配准图像和配准参考图像各自所包含的组织器官，步骤101-4中，通过对照2幅图像各自所包含的组织器官，将2幅图像均包含的组织器官所对应的区域确定为待配准区域，步骤101-4确定的待配准区域为初始待配准区域，用于估计待配准图像相对于配准参考图像的初始偏移量，以进行滑窗搜索，对初始待配准区域及初始偏移量进行优化。
例如，若步骤101-3中识别出待配准图像包含头部和颈部两个组织器官，步骤101-3’识别出配准参考图像包含头部一个组织器官，步骤101-4中则将待配准图像中头部对应的区域确定为待配准图像的待配准区域，将配准参考图像中头部对应的区域确定为配准参考图像的待配准区域。可以理解的，待配准图像中头部的中心位置也即待配准区域在待配准图像中的中心位置；配准参考图像中头部的中心位置也即待配准区域在配准参考图像中的中心位置。
若配准参考图像与待配准图像不包含相同的组织器官，例如，假设待配准图像仅包含头部一个组织器官，配准参考图像仅包含颈部一个组织器官，两者不存在相同的组织器官，则无需进入后续的配准步骤。
本实施例中，在进行二维滑窗搜索前，先基于部位识别模型对待配准图像和配准参考图像中的待配准区域进行识别判断，可有效的缩小进行滑窗搜索时待配准图像相对于配准参考图像的配准搜索范围，减小计算量，提高粗配准处理的时效性及准确性，同时避免了将不同的组织器官进行强制配准的明显错误出现。
步骤101-5、若存在待配准区域，则根据待配准区域的中心位置确定待配准图像向配准参考图像配准的初始配准信息。
其中，初始配准信息包括待配准图像向配准参考图像配准的初始偏移量和初始待配准区域。
若待配准图像与配准参考图像仅存在一个待配准区域，待配准图像中待配准区域的中心位置表示为Pmov(x,y)，Pmov(x,y)也即下文中第一最大投影图中待配准区域的中心位置；配准参考图像中待配准区域的中心位置表示为Pfix(x,y)，Pfix(x,y)也即下文中第二最大投影图中待配准区域的中心位置。那么2幅图像的初始偏移量deta＝Pmov(x,y)-Pfix(x,y)。
若待配准图像与配准参考图像存在i个待配准区域，待配准图像中待配准区域的中心位置表示为Pmov1(x,y)、Pmov2(x,y)、…、Pmovi(x,y)，配准参考图像中待配准区域的中心位置表示为Pfix1(x,y)、Pfix2(x,y)、…、Pfixi(x,y)，i≥2。初始偏移量通过对i个待配准区域的中心位置进行最小二乘法确定：将i个待配准区域的中心位置拟合成一个中心位置，并将拟合过程中所有待配准区域的中心位置的(Pmovi-Pfixi-deta)2之和为最小值时的deta确定为初始偏移量。待配准图像中拟合得到的中心位置也即下文中第一最大投影图中待配准区域的中心位置，配准参考图像中拟合得到的中心位置也即下文中第二最大投影图中待配准区域的中心位置。
下面介绍利用步骤101-4确定的初始待配准区域以及步骤101-5确定的初始偏移量对待配准图像和配准参考图像进行第一图像方向的二维滑窗搜索，以优化初始待配准区域和初始偏移量，确定最终的配准信息的过程。
图6是本发明一示例性实施例示出的图1中步骤102的流程图，本实施例中，使用步骤101-1和步骤101-1’获得的待配准图像和配准参考图像的切片图实现第一图像方向的二维滑窗搜索，参见图6，包括以下步骤：
步骤102-1、对比待配准图像的多幅切片图中每个像素点的像素值，对于每个像素点，从多幅切片图中获取最大像素值，并填充于第一最大投影图中。
举例来说，若对于(1,1)像素点位置，待配准图像的3幅切片图在该像素点位置处的像素值分别为248、244和230，最大值为248，则第一最大投影图中(1,1)像素点位置的像素值为248；又若对于(142,121)像素点位置，待配准图像的3幅切片图在该像素点位置处的像素值分别为222、233和120，最大值为233，则第一最大投影图中(142,121)像素点位置的像素值为233。
步骤102-2、对比配准参考图像的多幅切片图中每个像素点的像素值，对于每个像素点，从多幅切片图中获取最大像素值，并填充于第二最大投影图中。
接下来就使用最大投影图和切片图组成的堆叠图进行的滑窗搜索。
步骤102-3、使用第一最大投影图在第二最大投影图上进行滑窗搜索，同时使用若干第一切片图对若干第二切片图进行滑窗搜索，以优化待配准区域和初始偏移量。
其中，第一最大投影图在第二最大投影图上以预设步长每移动一次计算一次第一最大投影图与第二最大投影图的重叠区域的第一互信息，第一切片图每在第二切片图上以预设步长移动一次计算一次第一切片图与第二切片图的第二互信息，根据第一互信息与第二互信息的平均值为最大值时，滑窗位置确定配准信息。
互信息的计算公式可以但不限于表示如下：
Figure BDA0002383772480000231
其中，X和Y分别表示第一最大投影图和第二最大投影图重叠后，第一最大投影图上重叠区域的像素值和第二最大投影图上重叠区域的像素值；p(x，y)表示X和Y的联合概率分布函数，而p(x)和p(y)分别表示X和Y的边缘概率分布函数。
步骤102-3中，通过滑窗搜索优化待配准区域和初始偏移量，具体的：
按照初始偏移量deta，基于中心位置对第一最大投影图中的待配准区域进行移动，参见图7a，将第一最大投影图中的待配准区域从实线位置移动至虚线位置处。参见图7b，然后将经过位移的第一最大投影图中的待配准区域的中心位置与第二最大投影图中的待配准区域的中心位置重叠。参见图7c～图7d，在第二最大投影图上移动第一最大投影图，每移动一次计算一次第一最大投影图与第二最大投影图的互信息，并更新偏移量deta，更新后的偏移量表示为(detax+a，detay+b)，其中，detax、detay表示上一次移动第一最大投影图之后确定的第一最大投影图相对于第二最大投影图的行、列偏移量；a、b表示本次移动第一最大投影图像的行、列位移。
与最大投影图类似的，对待配准图像的三幅切片图
Figure BDA0002383772480000232
和
Figure BDA0002383772480000233
和配准参考图像的三幅切片图
Figure BDA0002383772480000234
和
Figure BDA0002383772480000235
进行滑窗搜索，其中，
Figure BDA0002383772480000236
和
Figure BDA0002383772480000237
表征从对配准参考图像进行第一图像方向的重采样得到b幅切片图中选取的包含组织器官区域信息最多的3幅切片图。
举例来说，因为待配准图像/配准参考图像的最大投影图和切片图的尺寸大小是一致的，若将第一最大投影图的像素位置(m1，n1)对齐到第二最大投影图(m2，n2)的时候，2幅最大投影图之间形成一个重叠区域(width1，height1)，计算第一互信息。同步挪动移动切片图
Figure BDA0002383772480000241
使得切片图
Figure BDA0002383772480000242
的像素位置(m1，n1)对齐到切片图
Figure BDA0002383772480000243
的像素位置(m2，n2)，同样也形成一个重叠区域(width1，height1)，计算一个第二互信息。同步挪动移动切片图
Figure BDA0002383772480000244
使得切片图
Figure BDA0002383772480000245
的像素位置(m1，n1)对齐到切片图
Figure BDA0002383772480000246
的像素位置(m2，n2)，同样也形成一个重叠区域(width1，height1)，计算又一个第二互信息。同步挪动移动切片图
Figure BDA0002383772480000247
使得切片图
Figure BDA0002383772480000248
的像素位置(m1，n1)对齐到切片图
Figure BDA0002383772480000249
的像素位置(m2，n2)，同样也形成一个重叠区域(width1，height1)，计算又一个第二互信息。从而，堆叠四张图，就有1个第一互信息，3个第二互信息，共4个互信息，求4个互信息的平均值作为堆叠图(由最大投影图与切片图组成)的互信息。依照上述方式，找到互信息最大的重叠区域。
将互信息为最大值时，待配准图像与配准参考图像的重叠区域确定为第一图像方向的最终的待配准区域，并将当前deta确定为粗配准阶段第一图像方向的偏移量，用于给精配准阶段提供参考。
若配准参考图像的切片图与待配准图像的切片图的切片位置不一致，会造成滑窗搜索定位不准确，故而直接利用步骤101-1和步骤101-1’获得的切片图进行二维滑窗搜索确定配准信息存在一定风险。故而本实施例中，采用堆叠图进行滑窗搜索，堆叠图是由选定的切片图及其最大投影组成，最大投影图能够反映身体轮廓信息，而切片图反映了局部解剖组织器官的结构细节信息，堆叠图综合了轮廓信息和结构信息，可使滑窗搜索结果更加准确可靠。
其中，滑窗搜索时，第一最大投影图在第二最大投影图中的移动区域，为在第一最大投影图和第二最大投影区域的中心位置重叠后，在重叠区域的基础上向四周(向上、向下、向左、向右)扩大预设比例之后的区域，例如，将重叠区域沿四周方向扩大1/3区域，参见图7e，将扩大后的区域确定为滑窗搜索区域。第一最大投影图中待配准区域的中心位置则在滑窗搜索区域内移动。
在另一个实施例中，进行滑窗搜索之前，可先去除第一最大投影图、第二最大投影图以及切片图的背景，并使用去除背景后的最大投影图和切片图进行滑窗搜索，以进一步减小滑窗搜索的计算量。具体的，包括以下步骤：基于区域增长算法去除第一最大投影图像和第二最大投影图像中的背景区域。因为医学图像中背景和组织器官的像素值有明显的差异，可以利用直方图分析获得阈值，从图像边缘开始生长，将像素值低于阈值的区域确定为图像中的背景区域，继续生长，直至确定出图像中所有背景区域区域，并去除图像中的背景区域，提取第一最大投影图和第二最大投影图中待配准区域的轮廓信息。切片图的背景去除方式与最大投影图类似，此处不再赘述。
完成了第一图像方向的滑窗搜索之后，可以确定z轴方向(头脚方向)的偏移量，利用z轴方向的偏移量能确定待配准图像和配置参考图像最终的待配准区域在垂直方向的区域。在该垂直方向的区域内对待配准图像和配置参考图像分别做轴状面方向(第二图像方向)的切片图，以进行第二图像方向的滑窗搜索，确定待配准图像相对于配准参考图像在第二图像方向上的配准信息，具体实现过程与图2示出的对配准参考图像和待配准图像沿第一图像方向进行滑窗搜索的实现过程类似，此处不再赘述。
从而，先确定待配准图像与配准参考图像在第一图像方向的初始待配准区域和初始偏移量，再对待配准图像和配准参考图像进行第一图像方向的二维滑窗搜索，以优化初始待配准区域和初始偏移量，确定第一图像方向的待配准区域和偏移量(最佳的z方向的偏移量)；然后在优化后的待配准区域内对待配准图像和配准参考图像进行第二图像方向的重采样并进行第二图像方向的二维滑窗搜索，优化第二图像方向的待配准区域和偏移量(最佳的x、y方向的偏移量)；最后结合2个图像方向的配准信息，得到最终的配准信息，包括三维偏移量(x、y、z三个方向的偏移量)和最终的待配准区域，为后续精配准提供配准参考。精配准过程中，根据上述粗配准过程提供的配准信息，进行后续精细配准，例如刚体配准或非刚体配准，完成解剖结构上精细对应，最终完成配准操作。
本实施例中，由于较为准确的估计了待配准区域，且进行滑窗搜索前去除了最大投影图的背景区域，因而大幅减少了滑窗搜索的图像范围，大大减小了计算量，为后续精配准处理提供了便利。
下面通过2个实例，对本发明实施例的效果说明如下：
实例1
如图8(a)-8(c)所示的配准参考图像，是由GE Discovery STE设备采集的脑部CT图像。图8(d)-8(f)所示的待配准图像，是GE Genesis_Signa设备采集的同一病人的FLAIRMR图像。从图8(a)-8(f)中可看出，CT数据包含了完整的脑部信息，而MR仅仅提供了一部分脑部信息，且两者图像方向也存在明显差别。由于CT设备和MR设备是不同的，二者提供的图像位置信息不能直接用于精配准。
图8(g)-8(i)显示出经过本发明实施例提供的多模态图像配准方法确定出待配准图像与参考参考图像的配准信息，并依据该配准信息对待配准图像与参考参考图像进行融合的结果。结果表明，经过本发明实施例提供的方法对待配准图像和配准参考图像进行粗配准处理后，说明本发明实施例提供的方法可解决不同模态图像、不同FOV、不同图像方向之间的配准。但粗配准结果，还有少量旋转未矫正，若要获得结构更加吻合的配准结果，还需要进行精配准处理。
实例2
图9(a)-9(i)是另一位病人的臀部PET-CT配准的实例。图9(a)-9(c)所示的参考图像，是由GE Discovery STE设备采集的躯干部分的CT图像。图9(d)-9(f)所示的移动图像，是GE设备采集的同一病人的轴状面PET数据。从图9(a)-9(f)中可以看出，CT数据包含了完整的躯干信息，而PET包含臀部信息，且两者FOV存在差异。
图9(g)-9(i)显示出经过本发明实施例提供的多模态图像配准方法确定出待配准图像与参考参考图像的配准信息，并依据该配准信息对待配准图像与参考参考图像进行融合的结果。结果表明，经过本发明实施例提供的方法对待配准图像和配准参考图像进行粗配准处理后，PET图像与CT图像前列腺部位基本对齐。
与前述多模态图像配准实施例相对应，本发明还提供了多模态图像配准装置的实施例。
图10是本发明一示例性实施例示出的一种多模态图像配准装置的模块示意图，多模态图像配准装置包括：判断模块11、滑窗模块12和确定模块13。
判断模块11用于判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；
滑窗模块12用于在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；
确定模块13用于根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。
可选地，所述判断模块包括：
采用单元，用于分别对所述待配准图像和所述配准参考图像进行所述第一图像方向的重采样，得到沿所述第一图像方向的所述待配准图像的多幅切片图以及所述配准参考图像的多幅切片图；
输入单元，用于将每幅切片图输入与其图像方向和图像模态均相同的部位识别模型，每个部位识别模型采用标注有组织器官标注信息的医学图像对霍夫森林训练得到，其中，同一部位识别模型训练过程中所采用的所有医学图像均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的医学图像由不同模态的成像设备获取和/或具有不同的图像方向；
判断单元，用于根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，所述预测结果包括多个组织器官在所述切片图中的中心位置和对应的置信度。
可选地，所述多模态图像配准装置还包括：
挑选模块，用于从所述待配准图像的多幅切片图中挑选出包含所述待配准图像的组织器官信息最多的若干切片图；并从所述配准参考图像的多幅切片图中挑选出包含所述配准参考图像的组织器官信息最多的若干切片图；
所述输入单元则将所述若干切片图输入所述部位识别模型。
可选地，所述判断单元具体用于：
对于所述待配准图像的多幅切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
对于所述配准参考图像的多幅切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
将置信度为最大值的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定所述待配准图像和所述配准参考图像中各自所包含的组织器官；
若所述待配准图像中包含与所述配准参考图像中相同的组织器官，则将所述相同的组织器官对应的区域确定为所述待配准区域。
可选地，在对所述待配准图像和所述配准参考图像进行所述第一图像方向的二维滑窗搜索时，所述滑窗模块用于：
对于每个像素点，从沿所述第一图像方向的所述待配准图像的多幅切片图中获取最大像素值，并填充于所述第一图像方向的第一最大投影图中；
对于每个像素点，从沿所述第一图像方向的所述配准参考图像的多幅切片图中获取最大像素值，并填充于所述第一图像方向的第二最大投影图中；
使用所述第一图像方向的第一最大投影图对所述第一图像方向的第二最大投影图进行滑窗搜索，以在所述第一图像方向上优化所述待配准区域，其中，所述第一最大投影图每在所述第二最大投影图上移动一次计算一次所述第一最大投影图与所述第二最大投影图的互信息，直至所述互信息为最大值；
在对所述待配准图像和所述配准参考图像进行所述第二图像方向的二维滑窗搜索时，所述滑窗模块用于：
分别对所述待配准图像和所述配准参考图像在优化后的待配准区域内进行沿所述第二图像方向的重采样；
对于每个像素点，从沿所述第二图像方向的所述待配准图像的多幅切片图中获取最大像素值，并填充于所述第二图像方向的第一最大投影图中；
对于每个像素点，从沿所述第二图像方向的所述配准参考图像的多幅切片图中获取最大像素值，并填充于所述第二图像方向的第二最大投影图中；
使用所述第二图像方向的第一最大投影图对所述第二图像方向的第二最大投影图进行滑窗搜索，以在所述第二图像方向上优化所述待配准区域。
可选地，所述多模态图像配准装置还包括：
去除模块，用于基于区域增长算法去除所述第一最大投影图像和所述第二最大投影图像中的背景区域；
重叠模块，用于基于所述待配准区域的中心位置，将去除背景区域后的第一最大投影图和第二最大投影图重叠，以确定所述第一最大投影图和所述第二最大投影图的重叠区域；
扩大模块，用于按照预设比例扩大所述重叠区域，并将扩大后的重叠区域确定为所述第一最大投影图在所述第二最大投影图上进行滑窗搜索的搜索区域。
可选地，所述多模态图像配准装置还包括：
拟合模块，用于在所述待配准区域为多个的情况下，基于最小二乘法拟合多个待配准区域的中心位置，以确定所述待配准图像与所述配准参考图像的初始偏移量；
在进行滑窗搜索时，所述滑窗模块用于：
使用所述第一最大投影图对所述第二最大投影图进行滑窗搜索，以对所述初始偏移量进行优化，确定最终的偏移量。
图11是本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备110的框图。图11显示的电子设备110仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备110可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备110的组件可以包括但不限于：上述至少一个处理器111、上述至少一个存储器112、连接不同系统组件(包括存储器112和处理器111)的总线113。
总线113包括数据总线、地址总线和控制总线。
存储器112可以包括易失性存储器，例如随机存取存储器(RAM)1121和/或高速缓存存储器1122，还可以进一步包括只读存储器(ROM)1123。
存储器112还可以包括具有一组(至少一个)程序模块1124的程序工具1125(或实用工具)，这样的程序模块1124包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器111通过运行存储在存储器112中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
电子设备110也可以与一个或多个外部设备114(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口115进行。并且，模型生成的电子设备110还可以通过网络适配器116与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器116通过总线113与模型生成的电子设备110的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备110使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一实施例所提供的方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：
判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；
在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；
根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。
2.如权利要求1所述的多模态图像配准方法，其特征在于，判断待配准图像和配准参考图像中是否存在待配准区域，包括：
分别对所述待配准图像和所述配准参考图像进行所述第一图像方向的重采样，得到所述待配准图像的多幅第一切片图以及所述配准参考图像的多幅第二切片图；
将每幅第一切片图和每幅第二切片图分别输入与其图像方向和图像模态均相同的部位识别模型，每个部位识别模型采用标注有组织器官标注信息的切片图对霍夫森林训练得到，其中，同一部位识别模型训练过程中所采用的所有切片图均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的切片图由不同模态的成像设备获取和/或具有不同的图像方向；
根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，所述预测结果包括多个组织器官在切片图中的中心位置和对应的置信度。
3.如权利要求2所述的多模态图像配准方法，其特征在于，
得到所述待配准图像的多幅第一切片图之后，还包括：
从所述多幅第一切片图中挑选出包含所述待配准图像的组织器官信息最多的若干第一切片图；
得到所述配准参考图像的多幅第二切片图之后，还包括：
从所述多幅第二切片图中挑选出包含所述配准参考图像的组织器官信息最多的若干第二切片图；
然后使用将所述若干第一切片图和若干第二切片图输入所述部位识别模型的步骤代替将每幅切片图输入所述部位识别模型的步骤。
4.如权利要求2所述的多模态图像配准方法，其特征在于，根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，包括：
对于所述多幅第一切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
对于所述多幅第二切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
将置信度为最大值的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定所述待配准图像和所述配准参考图像中各自所包含的组织器官；
若所述待配准图像中包含与所述配准参考图像中相同的组织器官，则将所述相同的组织器官对应的区域确定为所述待配准区域。
5.如权利要求3所述的多模态图像配准方法，其特征在于，对所述待配准图像和所述配准参考图像进行所述第一图像方向的二维滑窗搜索，包括：
对于每个像素点，从所述若干第一切片图中获取最大像素值，并填充于所述第一图像方向的第一最大投影图中；
对于每个像素点，从所述若干第二切片图中获取最大像素值，并填充于所述第一图像方向的第二最大投影图中；
使用所述第一图像方向的第一最大投影图对所述第一图像方向的第二最大投影图进行滑窗搜索，同时使用若干第一切片图对若干第二切片图进行滑窗搜索，并根据多组滑窗搜索的结果在所述第一图像方向上优化所述待配准区域，其中，所述第一图像方向的第一最大投影图每在所述第一图像方向的第二最大投影图上以预设步长移动一次计算一次所述第一图像方向的第一最大投影图与所述第一图像方向的第二最大投影图的第一互信息，所述第一切片图每在所述第二切片图上以所述预设步长移动一次计算一次所述第一切片图与所述第二切片图的第二互信息，直至所述第一互信息与所述第二互信息的平均值为最大值；
对所述待配准图像和所述配准参考图像进行所述第二图像方向的二维滑窗搜索，包括：
分别对所述待配准图像和所述配准参考图像在第一图像方向优化后的待配准区域内进行沿所述第二图像方向的重采样，得到所述待配准图像的多幅第三切片图以及所述配准参考图像的多幅第四切片图；
对于每个像素点，从所述多幅第三切片图中获取最大像素值，并填充于所述第二图像方向的第一最大投影图中；
对于每个像素点，从所述多幅第四切片图中获取最大像素值，并填充于所述第二图像方向的第二最大投影图中；
使用所述第二图像方向的第一最大投影图对所述第二图像方向的第二最大投影图进行滑窗搜索，同时使用若干第三切片图对若干第四切片图进行滑窗搜索，根据多组滑窗搜索的结果在所述第二图像方向上优化所述待配准区域，其中，所述第二图像方向的第一最大投影图每在所述第二图像方向的第二最大投影图上以所述预设步长移动一次计算一次所述第二图像方向的第一最大投影图与所述第二图像方向的第二最大投影图的第三互信息，所述第三切片图每在所述第四切片图上以所述预设步长移动一次计算一次所述第三切片图与所述第四切片图的第四互信息，直至所述第三互信息与所述第四互信息的平均值为最大值。
6.如权利要求5所述的多模态图像配准方法，其特征在于，若所述待配准图像与所述配置参考图像中存在多个待配准区域，则基于最小二乘法拟合所述多个待配准区域的中心位置，以确定所述待配准图像与所述配准参考图像的初始偏移量；
对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，还包括：
根据所述多组滑窗搜索的结果在所述第一图像方向上优化所述初始偏移量；
对所述待配准图像和所述配准参考图像进行第二图像方向的二维滑窗搜索，还包括：
根据所述多组滑窗搜索的结果在所述第二图像方向上优化所述初始偏移量。
7.如权利要求5所述的多模态图像配准方法，其特征在于，使用所述第一最大投影图对所述第二最大投影图进行滑窗搜索之前，还包括：
基于区域增长算法去除所述第一最大投影图像和所述第二最大投影图像中的背景区域；
基于所述待配准区域的中心位置，将去除背景区域后的第一最大投影图和第二最大投影图重叠，以确定所述第一最大投影图和所述第二最大投影图的重叠区域；
按照预设比例扩大所述重叠区域，并将扩大后的重叠区域确定为所述第一最大投影图在所述第二最大投影图上进行滑窗搜索的搜索区域。
8.一种多模态图像配准装置，其特征在于，所述多模态图像配准装置包括：
判断模块，用于判断待配准图像和配准参考图像中是否存在待配准区域，所述待配准图像和所述配准参考图像为使用不同模态的成像设备获取的医学图像；
滑窗模块，用于在所述待配准图像和所述配准参考图像存在待配准区域的情况下，对所述待配准图像和所述配准参考图像进行第一图像方向的二维滑窗搜索，以及与所述第一图像方向垂直的第二图像方向的二维滑窗搜索；
确定模块，用于根据滑窗搜索结果确定所述待配准图像向所述配准参考图像配准的配准信息。
9.如权利要求8所述的多模态图像配准装置，其特征在于，所述判断模块包括：
采用单元，用于分别对所述待配准图像和所述配准参考图像进行所述第一图像方向的重采样，得到所述待配准图像的多幅第一切片图以及所述配准参考图像的多幅第二切片图；
输入单元，用于将每幅第一切片图和每幅第二切片图输入与其图像方向和图像模态均相同的部位识别模型，每个部位识别模型采用标注有组织器官标注信息的切片图对霍夫森林训练得到，其中，同一部位识别模型训练过程中所采用的所有切片图均由相同模态的成像设备获取且具有相同的图像方向，不同的部位识别模型所采用的切片图由不同模态的成像设备获取和/或具有不同的图像方向；
判断单元，用于根据所述部位识别模型输出的多组预测结果判断是否存在所述待配准区域，所述预测结果包括多个组织器官在切片图中的中心位置和对应的置信度。
10.如权利要求9所述的多模态图像配准装置，其特征在于，所述多模态图像配准装置还包括：
挑选模块，用于从所述待配准图像的多幅第一切片图中挑选出包含所述待配准图像的组织器官信息最多的若干第一切片图；并从所述配准参考图像的多幅第二切片图中挑选出包含所述配准参考图像的组织器官信息最多的若干第二切片图；
所述输入单元则将所述若干第一切片图和所述第二切片图输入所述部位识别模型。
11.如权利要求9所述的多模态图像配准装置，其特征在于，所述判断单元具体用于：
对于所述待配准图像的多幅第一切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
对于所述配准参考图像的多幅第二切片图，从所述部位识别模型输出的多组预测结果中挑选出置信度为最大值的每个组织器官的中心位置；
将置信度为最大值的中心位置中不符合器官逻辑关系的中心位置剔除和/或将对应的置信度小于置信度阈值的中心位置剔除，根据剩下的中心位置确定所述待配准图像和所述配准参考图像中各自所包含的组织器官；
若所述待配准图像中包含与所述配准参考图像中相同的组织器官，则将所述相同的组织器官对应的区域确定为所述待配准区域。
12.如权利要求9所述的多模态图像配准装置，其特征在于，在对所述待配准图像和所述配准参考图像进行所述第一图像方向的二维滑窗搜索时，所述滑窗模块用于：
对于每个像素点，从所述若干第一切片图中获取最大像素值，并填充于所述第一图像方向的第一最大投影图中；
对于每个像素点，从所述若干第二切片图中获取最大像素值，并填充于所述第一图像方向的第二最大投影图中；
使用所述第一图像方向的第一最大投影图对所述第一图像方向的第二最大投影图进行滑窗搜索，同时使用若干第一切片图对若干第二切片图进行滑窗搜索，并根据多组滑窗搜索的结果在所述第一图像方向上优化所述待配准区域，其中，所述第一图像方向的第一最大投影图每在所述第一图像方向的第二最大投影图上移动一次计算一次所述第一图像方向的第一最大投影图与所述第一图像方向的第二最大投影图的第一互信息，所述第一切片图每在所述第二切片图上以所述预设步长移动一次计算一次所述第一切片图与所述第二切片图的第二互信息，直至所述第一互信息与所述第二互信息的平均值为最大值；
在对所述待配准图像和所述配准参考图像进行所述第二图像方向的二维滑窗搜索时，所述滑窗模块用于：
分别对所述待配准图像和所述配准参考图像在第一图像方向优化后的待配准区域内进行沿所述第二图像方向的重采样，得到所述待配准图像的多幅第三切片图以及所述配准参考图像的多幅第四切片图；
对于每个像素点，从所述多幅第三切片图中获取最大像素值，并填充于所述第二图像方向的第一最大投影图中；
对于每个像素点，从所述多幅第四切片图中获取最大像素值，并填充于所述第二图像方向的第二最大投影图中；
使用所述第二图像方向的第一最大投影图对所述第二图像方向的第二最大投影图进行滑窗搜索，同时使用若干第三切片图对若干第四切片图进行滑窗搜索，根据多组滑窗搜索的结果在所述第二图像方向上优化所述待配准区域，其中，所述第二图像方向的第一最大投影图每在所述第二图像方向的第二最大投影图上以所述预设步长移动一次计算一次所述第二图像方向的第一最大投影图与所述第二图像方向的第二最大投影图的第三互信息，所述第三切片图每在所述第四切片图上以所述预设步长移动一次计算一次所述第三切片图与所述第四切片图的第四互信息，直至所述第三互信息与所述第四互信息的平均值为最大值。
13.如权利要求12所述的多模态图像配准装置，其特征在于，所述多模态图像配准装置还包括：
拟合模块，用于在所述待配准图像与所述配置参考图像中存在多个待配准区域的情况下，基于最小二乘法拟合多个待配准区域的中心位置，以确定所述待配准图像与所述配准参考图像的初始偏移量；
在进行滑窗搜索时，所述滑窗模块还用于：
根据所述多组滑窗搜索的结果在分别在所述第一图像方向上和所述第二图像方向上优化所述初始偏移量。
14.如权利要求12所述的多模态图像配准装置，其特征在于，所述多模态图像配准装置还包括：
去除模块，用于基于区域增长算法去除所述第一最大投影图像和所述第二最大投影图像中的背景区域；
重叠模块，用于基于所述待配准区域的中心位置，将去除背景区域后的第一最大投影图和第二最大投影图重叠，以确定所述第一最大投影图和所述第二最大投影图的重叠区域；
扩大模块，用于按照预设比例扩大所述重叠区域，并将扩大后的重叠区域确定为所述第一最大投影图在所述第二最大投影图上进行滑窗搜索的搜索区域。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多模态图像配准方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的多模态图像配准方法的步骤。
CN202010091165.XA 2020-02-13 2020-02-13 多模态图像配准方法、装置、电子设备、存储介质 Active CN111311655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091165.XA CN111311655B (zh) 2020-02-13 2020-02-13 多模态图像配准方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091165.XA CN111311655B (zh) 2020-02-13 2020-02-13 多模态图像配准方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111311655A true CN111311655A (zh) 2020-06-19
CN111311655B CN111311655B (zh) 2023-07-04

Family

ID=71147037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091165.XA Active CN111311655B (zh) 2020-02-13 2020-02-13 多模态图像配准方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111311655B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598716A (zh) * 2020-12-01 2021-04-02 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113538251A (zh) * 2021-09-16 2021-10-22 浙江太美医疗科技股份有限公司 确定医学影像拼接异常的方法及装置
CN113689477A (zh) * 2021-09-09 2021-11-23 上海联影医疗科技股份有限公司 多模态医学图像配准方法、系统、可读存储介质和设备
CN113902780A (zh) * 2021-08-31 2022-01-07 数坤（北京）网络科技有限公司 一种影像配准方法、装置、设备和可读存储介质
CN115830087A (zh) * 2022-12-09 2023-03-21 陕西航天技术应用研究院有限公司 一种针对平移运动连续帧影像集的批量化快速配准技术

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0550101A1 (fr) * 1991-12-30 1993-07-07 Laboratoires D'electronique Philips Procédé de recalage d'images
US20030216631A1 (en) * 2002-04-03 2003-11-20 Isabelle Bloch Registration of thoracic and abdominal imaging modalities
US20060093209A1 (en) * 2004-10-28 2006-05-04 Christoph Guetter Non-rigid multi-modal registration using statistical learning methods
JP2007130305A (ja) * 2005-11-11 2007-05-31 Ge Medical Systems Global Technology Co Llc 画像診断装置
US20140029812A1 (en) * 2012-07-30 2014-01-30 General Electric Company Methods and systems for determining a transformation function to automatically register different modality medical images
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
US20160189382A1 (en) * 2014-12-24 2016-06-30 Infosys Limited System and method for registration of brain images
CN106228510A (zh) * 2016-08-11 2016-12-14 中国电子科技集团公司第三十八研究所 基于畸变程度分割的无人机载实时sar图像配准方法
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN105282399B (zh) * 2015-10-21 2018-06-26 中国科学院自动化研究所 基于数字电路和稀疏点配准的零延迟电子稳像方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0550101A1 (fr) * 1991-12-30 1993-07-07 Laboratoires D'electronique Philips Procédé de recalage d'images
US20030216631A1 (en) * 2002-04-03 2003-11-20 Isabelle Bloch Registration of thoracic and abdominal imaging modalities
US20060093209A1 (en) * 2004-10-28 2006-05-04 Christoph Guetter Non-rigid multi-modal registration using statistical learning methods
JP2007130305A (ja) * 2005-11-11 2007-05-31 Ge Medical Systems Global Technology Co Llc 画像診断装置
US20140029812A1 (en) * 2012-07-30 2014-01-30 General Electric Company Methods and systems for determining a transformation function to automatically register different modality medical images
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
US20160189382A1 (en) * 2014-12-24 2016-06-30 Infosys Limited System and method for registration of brain images
CN105282399B (zh) * 2015-10-21 2018-06-26 中国科学院自动化研究所 基于数字电路和稀疏点配准的零延迟电子稳像方法
CN106228510A (zh) * 2016-08-11 2016-12-14 中国电子科技集团公司第三十八研究所 基于畸变程度分割的无人机载实时sar图像配准方法
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李彬等: "胸部多模医学图像快速配准", 《计算机工程与应用》 *
石跃祥等: "基于最优Atlas多模态图像的非刚性配准分割算法", 《光学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598716A (zh) * 2020-12-01 2021-04-02 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
CN112598716B (zh) * 2020-12-01 2024-04-05 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
CN113393427A (zh) * 2021-05-28 2021-09-14 上海联影医疗科技股份有限公司 斑块分析方法、装置、计算机设备和存储介质
CN113902780A (zh) * 2021-08-31 2022-01-07 数坤（北京）网络科技有限公司 一种影像配准方法、装置、设备和可读存储介质
CN113902780B (zh) * 2021-08-31 2023-02-21 数坤(北京)网络科技股份有限公司 一种影像配准方法、装置、设备和可读存储介质
CN113689477A (zh) * 2021-09-09 2021-11-23 上海联影医疗科技股份有限公司 多模态医学图像配准方法、系统、可读存储介质和设备
CN113538251A (zh) * 2021-09-16 2021-10-22 浙江太美医疗科技股份有限公司 确定医学影像拼接异常的方法及装置
CN113538251B (zh) * 2021-09-16 2021-12-28 浙江太美医疗科技股份有限公司 确定医学影像拼接异常的方法及装置
CN115830087A (zh) * 2022-12-09 2023-03-21 陕西航天技术应用研究院有限公司 一种针对平移运动连续帧影像集的批量化快速配准技术
CN115830087B (zh) * 2022-12-09 2024-02-20 陕西航天技术应用研究院有限公司 一种针对平移运动连续帧影像集的批量化快速配准方法

Also Published As

Publication number Publication date
CN111311655B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111311655B (zh) 多模态图像配准方法、装置、电子设备、存储介质
Ferrante et al. Slice-to-volume medical image registration: A survey
US7583857B2 (en) System and method for salient region feature based 3D multi modality registration of medical images
US8437521B2 (en) Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
Shimizu et al. Segmentation of multiple organs in non-contrast 3D abdominal CT images
US20090232378A1 (en) Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
US8953856B2 (en) Method and system for registering a medical image
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
US8977029B2 (en) Method and system for multi-atlas segmentation of brain computed tomography image data
US8498459B2 (en) System and method for verifying registration accuracy in digital medical images
US8958614B2 (en) Image-based detection using hierarchical learning
US20010036302A1 (en) Method and apparatus for cross modality image registration
US10152786B2 (en) Registration of a magnetic tracking system with an imaging device
US8818057B2 (en) Methods and apparatus for registration of medical images
van Rikxoort et al. Automatic segmentation of the liver in computed tomography scans with voxel classification and atlas matching
US9336457B2 (en) Adaptive anatomical region prediction
JP5832938B2 (ja) 画像処理装置、方法及びプログラム
CN110464462B (zh) 腹部外科介入手术的图像导航配准系统及相关装置
US20210271914A1 (en) Image processing apparatus, image processing method, and program
US20220207771A1 (en) Heart Position Estimation
US9020216B2 (en) Knowledge-based automatic image segmentation
CN116612166A (zh) 一种多模态影像的配准融合算法
Daly et al. Multimodal medical image registration based on a hybrid optimization strategy
US12008760B2 (en) Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue
Morais et al. Automated segmentation of the atrial region and fossa ovalis towards computer-aided planning of inter-atrial wall interventions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant