CN113506334A - 基于深度学习的多模态医学图像融合方法及系统 - Google Patents

基于深度学习的多模态医学图像融合方法及系统 Download PDF

Info

Publication number
CN113506334A
CN113506334A CN202110633334.2A CN202110633334A CN113506334A CN 113506334 A CN113506334 A CN 113506334A CN 202110633334 A CN202110633334 A CN 202110633334A CN 113506334 A CN113506334 A CN 113506334A
Authority
CN
China
Prior art keywords
dimensional
medical image
image
dimensional medical
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110633334.2A
Other languages
English (en)
Other versions
CN113506334B (zh
Inventor
刘星宇
张逸凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202110633334.2A priority Critical patent/CN113506334B/zh
Publication of CN113506334A publication Critical patent/CN113506334A/zh
Priority to PCT/CN2021/128242 priority patent/WO2022257345A1/zh
Application granted granted Critical
Publication of CN113506334B publication Critical patent/CN113506334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的多模态医学图像融合方法及系统，该方法包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。本发明的多模态医学图像配准精度高，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率。

Description

基于深度学习的多模态医学图像融合方法及系统
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于深度学习的多模态医学图像融合方法及系统。
背景技术
在现代数字化医疗诊断过程中，医护人员通常需要在进行手术之前利用已采集的患者的多模态三维图像对患者病变部位进行分析，从而制定适宜的手术计划。由于各个图像突出显示的图像特征不同，为了便于医生观察和制定手术计划，则需要对术前采集的多种模态的图像的优点进行综合，即需要进行多模态图像配准，以将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示。
相关的多模态图像配准技术，通常采用迭代最近点方法、或求解待配准图像间距离函数最优化问题的方法，在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
对各图像初始对齐状况、相似度要求较高，导致图像配准融合的复杂度较高，图像配准融合精度较低，时间成本较高，且无法有效应用于非刚性配准。
发明内容
本发明提供一种基于深度学习的多模态医学图像融合方法及系统，用以克服现有技术中多模态图像配准融合精度低、复杂度高、时间成本高以及无法有效应用于非刚性配准情况等的缺陷，实现提升多模态图像融合精准度、降低时间成本，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率，以及可有效应用于非刚性配准情况的效果。
本发明提供一种基于深度学习的多模态医学图像融合方法，包括：
获取患者的至少两种模态的二维医学图像；
将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
在一些实施例中，基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，包括：
分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集；
基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像。
在一些实施例中，所述至少两种模态的二维医学图像包括二维 CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT 医学图像中的至少两种，所述本体包括股骨，所述本体头包括股骨头；
分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：
基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于所述股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集；
其中，基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像，包括：
基于ICP点云配准算法，将所述第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像。
在一些实施例中，对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像，包括：
将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，所述三维重建网络包括编码网络、转换网络和解码网络；将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像，包括：
基于所述编码网络，提取所述多模态相融合二维医学图像的二维图像特征；
基于所述转换网络，将所述多模态相融合二维医学图像的二维图像特征转换为三维图像特征；
基于所述解码网络，将所述三维图像特征转换为所述多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，所述图像分割网络模型的训练过程，包括：
获取多个患者的二维医学图像数据集，其中，所述二维医学图像数据集中包含有多个二维医学图像；
采用自动标注、手动标注中的至少一种方式，标注出各个所述二维医学图像中的股骨位置区域；
将经过标注后的各个二维医学图像按照预设比例划分为训练数据集和测试数据集；
基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型。
在一些实施例中，基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型，包括：
通过第一图像分割模型对所述训练数据集进行分割：对所述训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中，获得图像粗分割结果；
基于所述图像粗分割结果，通过第二图像分割模型从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果；
基于最终的图像分割结果以及所述训练数据集计算损失函数；
基于所述损失函数调整所述图像分割网络模型的参数，直至所述图像分割网络模型训练成功。
在一些实施例中，改方法还包括：
在所述各卷积层后设置激活函数；
和/或，在最后一次上采样结束后，通过设置的dropout层按照预设概率将所述图像分割网络模型中的部分神经网络单元丢弃。
本发明还提供一种基于深度学习的多模态医学图像融合系统，包括：
多模态图像获取单元，被配置为获取患者的至少两种模态的二维医学图像；
二维图像输出单元，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
二维图像融合单元，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
三维重建单元，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据如上任一项所述的基于深度学习的多模态医学图像融合方法的全部或部分步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使所述计算机执行根据如上任一项所述的基于深度学习的多模态医学图像融合方法的全部或部分步骤。
本发明提供一种基于深度学习的多模态医学图像融合方法及系统，所述方法通过将同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，完成图像分割后将各个模态本体位置区域的二维医学图像进行精准的点云配准融合，获得多模态相融合二维医学图像，再将多模态相融合二维医学图像三维重建为多模态相融合三维医学图像；该方法使得多模态医学图像配准精度高，可以降低时间成本，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明提供的基于深度学习的多模态医学图像融合方法的流程示意图之一；
图2A是本发明实施例提供的股骨位置区域的二维CT医学图像；
图2B是本发明实施例提供的股骨位置区域的二维MRI医学图像；
图2C是本发明实施例提供的股骨位置区域的CT模态和MRI模态相融合的二维医学图像；
图3是本发明提供的基于深度学习的多模态医学图像融合方法的流程示意图；
图4是本发明提供的股骨位置区域的CT模态和股骨位置区域的 MRI模态相融合三维医学图像；
图5是本发明提供的股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；
图6是本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨位置区域的三维CT医学图像；
图7是本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨位置区域的三维MRI医学图像；
图8是通过本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像；
图9是本发明提供的方法中CT图像分割网络模型的预先训练过程的流程示意图；
图10是本发明提供的方法中MRI图像分割网络模型的预先训练过程的流程示意图；
图11是图9和图10所示训练过程的深度学习训练网络结构图；
图12是本发明提供的基于深度学习的多模态医学图像融合系统的结构示意图之一；
图13是本发明提供的电子设备的结构示意图。
附图标记：
1010：多模态图像获取单元；1020：二维图像输出单元；1030：二维图像融合单元；1040：三维重建单元；
1310：处理器；1320：通信接口；1330：存储器；1340：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明的技术方案进行清除完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
CT医学图像空间分辨率较高，可以清晰地定位刚性的骨骼，但是对软组织的成像对比度较低，无法清晰地显示病灶本身；MRI医学图像对软组织、血管、器官等解剖结构有高对比度成像，但空间分辨率低于CT医学图像，缺乏刚性的骨骼结构作为病灶的定位参照。因此，临床应用中，单一模态的医学图像往往不能为相关医护人员提供全面的医学参考信息。
而本发明实施例将人工智能图像分割算法与多模态医学图像融合技术相结合，综合多种医学成像技术的优势，提取不同模态的医学图像的互补信息，融合后生成一幅比任何单一模态图像包含有更多有效医学参考信息的合成图像，以帮助相关医护人员对股骨头坏死等多种类型病症进行诊断、分期和治疗。
以下结合附图1-图13描述本发明提供的基于深度学习的多模态医学图像融合方法、系统、计算机存储介质及电子设备。本发明提供了一种基于深度学习的多模态医学图像融合方法，图1是本发明提供的基于深度学习的多模态医学图像融合方法的流程示意图之一，如图 1所示，方法包括：
S110、获取患者的至少两种模态的二维医学图像。
可以获取同一患者的针对身体同一部位的两种或者两种以上的模态的二维医学图像，例如，对于一位患髋关节疾病的患者，可以获取该患者的髋关节股骨部位的二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像等多个模态下的二维医学图像。
S120、将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出。
将步骤S110中获取的多种模态的二维医学图像，逐一地分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，例如，将该患者的二维CT医学图像输入至其相对应的针对于CT图像的CT图像分割网络模型中，以获得股骨位置区域的CT医学图像；或者，将该患者的二维MRI医学图像输入至其相对应的针对于MRI图像的MRI图像分割网络模型中，以获得股骨位置区域的MRI医学图像；或者，将该患者的二维超声医学图像输入至其相对应的针对于超声医学图像的超声医学图像分割网络模型中，以获得股骨位置区域的超声医学图像；或者，将该患者的二维PETCT医学图像输入至其相对应的针对于PETCT医学图像的PETCT医学图像分割网络模型中，以获得股骨位置区域的PETCT 医学图像。可选地，还可以将患者的该同一身体部位的其他二维医学图像输入至其分别相应的图像分割网络模型中进行处理，本发明实施例对此不做限定。
如果该患者该身体部位并没有任何病症，则各模态的二维医学图像均为正常图像，不会出现关于病灶或坏死情况的图像。而若是该患者的该身体部位存在着一定的病灶或坏死情况，则在多个模态的二维医学图像中，至少有一种模态本体位置区域的二维医学图像中是能够表示出该模态下该患者的本体坏死位置区域的二维医学图像。比如，所分别输出的CT模态下本体位置区域的二维医学图像和MRI模态下本体位置区域的二维医学图像当中，至少有一种，比如是MRI模态下本体位置区域的二维医学图像中包括着MRI模态下该患者的本体坏死位置区域的二维医学图像，或者也可以将MRI模态下该患者的本体坏死位置区域的二维医学图像理解为在MRI模态下与其MRI模态下本体位置区域的二维医学图像并列存在的另一个独立的二维医学图像，但仍将其与同模态下本体位置区域的二维医学图像视作一个整体。
S130、基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像。
参加图2A-图2C，图2A是本发明实施例提供的股骨位置区域的二维CT医学图像；图2B是本发明实施例提供的股骨位置区域的二维MRI医学图像；图2C是本发明实施例提供的股骨位置区域的CT 模态和MRI模态相融合的二维医学图像。
在一些实施例中，分别基于各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：
基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为 MRI模态相应的第二点云集；
其中，基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像，包括：
基于ICP点云配准算法，将第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像。
S140、对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
在一些实施例中，还可以将各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。可选地，将获得的各个模态本体位置区域的二维医学图像分别进行三维重建后获得各个模态本体位置区域的三维医学图像，再将各个模态本体位置区域的三维医学图像进行点云配准融合，以获得多模态相融合三维医学图像。
本发明提供一种基于深度学习的多模态医学图像融合方法，该方法通过将同一患者相同部位不同模态的二维医学图像完成图像分割后进行精准的点云配准融合，获得多模态相融合二维医学图像，再将多模态相融合二维医学图像三维重建为多模态相融合三维医学图像；或者将不同模态的二维医学图像分别进行图像分割处理，再进行三维重建，最后将三维重建后的不同模态的三维医学图像进行精准的点云配准融合，获得多模态相融合三维医学图像该方法多模态图像配准精度高、时间成本低，还能处理较为复杂的多模态图像融合情况，以及还可应用于非刚性配准情况，配准结果准确，还可以提高术者的手术准确性以及提高手术效率。
在图1所示实施例的基础上，步骤S130执行基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，可以包括：
S1311、分别基于各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态二维医学图像相应的点云集；
分别基于各个模态本体位置区域的二维医学图像，去确定其本体标志点集和本体头标志点集以确定出各个模态相应的点云集。本体标志点和本体头标志点均可以根据实际需求选取参考点来设置。当然，还可以将本体标志点和本体头标志点均选择本体中心点和本体中心点，以确定出各个模态下的本体中心点集和本体头中心点集。本体区域的中心点和本体头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态相应的点云集。
可选地，本体可以包括股骨，本体头可以包括股骨头。
S1312、基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像；
基于点云配准算法，将步骤S1311所确定的各个模态二维医学图像相应的点云集进行综合的点云配准融合，以获得多模态相融合二维医学图像。
在图1所示实施例的基础上，步骤S140执行对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像，可以包括：将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，三维重建网络包括编码网络、转换网络和解码网络；将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像，包括：
基于编码网络，提取多模态相融合二维医学图像的二维图像特征；
基于转换网络，将多模态相融合二维医学图像的二维图像特征转换为三维图像特征；
基于解码网络，将三维图像特征转换为多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，还可以基于三维图像重建法，将多模态相融合二维医学图像重建为多模态相融合三维医学图像。
基于三维图像重建法(使用三维图像处理库)，将多模态相融合二维医学图像进行三维重建，获得多模态相融合三维医学图像。三维图像重建法可以参照现有的三维图像开源处理库等技术进行，此处不作赘述。
图3是本发明提供的基于深度学习的多模态医学图像融合方法的流程示意图，如图3所示，将各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像时，可以包括：
S1321、基于三维图像重建法，将各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
基于三维图像重建法(使用三维图像处理库)，将各个模态本体位置区域的二维医学图像分别进行三维重建，并分别对应地获得各个模态本体位置区域的三维医学图像。三维图像重建法可以参照现有的三维图像开源处理库等技术进行，此处不作赘述。
S1322、分别基于各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为该模态相应的点云集；
再分别基于步骤S1321重建好的各个模态本体位置区域的三维医学图像，分别根据其确定的本体标志点集和本体头标志点集确定出各个模态相应的点云集。本体标志点和本体头标志点均可以根据实际需求选取参考点来设置。当然，还可以将本体标志点和本体头标志点均选择本体中心点和本体中心点，以确定出各个模态下的本体中心点集和本体头中心点集。本体区域的中心点和本体头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态相应的点云集。
S1323、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
最后基于点云配准算法，将步骤S1322所确定的各个模态三维医学图像相应的点云集进行综合的点云配准融合，最终获得多模态相融合三维医学图像。
根据本发明提供的基于深度学习的多模态医学图像融合方法，至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种。当然还可以包括其他模态下的二维医学图像，本发明对此不做限定。
可选地，当所应用患者为患髋关节疾病的该类患者时，可以采集该类患者的髋关节部位尤其是股骨部位的二维医学图像，以便于医护人员诊断参考。所以，本实施例设置本体理解为股骨，相应地，本体头则为股骨头。因此，步骤S120中通过图像分割网络模型输出的各个模态本体位置区域的二维医学图像，举例为CT模态下和MRI模态下的股骨位置区域的二维医学图像。
根据本发明提供的基于深度学习多模态医学图像融合方法，在上述实施例的基础上，上述步骤S120、将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，进一步包括：
将二维CT医学图像输入至预先训练的CT图像分割网络模型以获得股骨位置区域的CT医学图像；和/或，将二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得股骨位置区域的MRI 医学图像；和/或，将二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将二维PETCT医学图像输入至预先训练的PETCT图像分割网络模型以获得股骨位置区域的PETCT医学图像。
当患者股骨位置区域存在坏死或病灶情况时，还设置股骨位置区域的MRI医学图像包括着股骨坏死位置区域MRI医学图像，也可以设置为单独获取将带有股骨坏死的二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得单独的一个股骨坏死位置区域 MRI医学图像。
上述步骤S120还可以包括：将二维CT医学图像和二维MRI医学图像分别输入至各自相应的预先训练的图像分割网络模型中，从而分别输出股骨位置区域的CT医学图像，以及股骨位置区域的MRI 医学图像。并且，股骨位置区域的MRI医学图像中包括股骨坏死位置区域的MRI医学图像，即，输出的股骨位置区域的MRI医学图像中包含着MRI模态下股骨坏死位置区域的MRI医学图像的表示。或者，也可将股骨坏死位置区域的MRI医学图像理解为是在MRI模态下与股骨位置区域的MRI医学图像并存的另一独立的二维医学图像，但仍将需其与股骨位置区域的MRI医学图像在逻辑上视作一个整体。
而当执行步骤S1321-S1323方法时，结合股骨位置区域的MRI 医学图像包括着股骨坏死位置区域MRI医学图像的设置，具体过程说明如下：
步骤S131、基于三维图像重建法，将各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像。
即，基于三维图像重建法，可以使用三维图像处理库，将股骨位置区域的CT医学图像重建为股骨位置区域的三维CT医学图像，以及将股骨位置区域的MRI医学图像(包含股骨坏死位置区域MRI医学图像)重建为股骨位置区域的三维MRI医学图像(包含股骨坏死位置区域的三维MRI医学图像)。其中，股骨坏死位置区域的三维 MRI医学图像既可以理解为是与股骨位置区域的三维MRI医学图像并存的另一个独立三维医学图像，也可以理解为是包含在股骨位置区域的三维MRI医学图像中与其共同作为一个三维医学图像整体。
步骤S132、分别基于各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集，具体是确定其本体中心点集和本体头中心点集作为各个模态三维医学图像相应的点云集，包括：
即，基于股骨位置区域的三维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态下三维CT医学图像相应的第一点云集；基于股骨位置区域的三维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态下三维MRI医学图像相应的第二点云集；
股骨的中心点和股骨头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态三维医学图像相应的点云集。
各个模态三维医学图像相应的点云集的确定过程具体包括：
基于股骨位置区域的三维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集M。根据模型输出的股骨位置区域的二维CT医学图像，其股骨区域是在二维横断面上显示的，股骨头层面是近似圆形的，所以可以直接计算出股骨头中心点，然后在髓腔层面确定每一层的髓腔中心点即可构成股骨中心点。根据该二维图像进行三维重建后的股骨位置区域的三维CT医学图像中也可以得出这些点。而多个股骨位置区域的三维CT医学图像则得出股骨中心点集和股骨头中心点集，进而由其组合构成第一点云集M。
同理，再基于股骨位置区域的三维MRI医学图像(包含股骨坏死位置区域的三维MRI医学图像)，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集N。
步骤S133、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合医学图像.
即，基于ICP点云配准算法，将第一点云集M和第二点云集N 这两组点云进行点云配准融合，进而获得CT模态和MRI模态相融合三维医学图像，配准精确度更高且配准时间成本低。
其中，ICP点云配准算法，可以采用三维点云配准方法：基于主成分析法计算待配准点云集对应的第一参考坐标系以及参考点云集对应的第二参考坐标系；基于第一参考坐标系以及第二参考坐标系，对待配准点云集和参考点云集进行初始配准；再基于多维二叉搜索树算法，在初始配准后的参考点云集中寻找与待配准点云集中距离最近的点，得到多组对应点对；分别计算多组对应点对之间的方向向量夹角；基于预设夹角阈值和方向向量夹角，对待配准点云集和参考点云集进行精配准，最终获得CT模态和MRI模态相融合三维医学图像。
再结合图4-图8，进行进一步说明，图4是股骨位置区域的CT 模态和股骨位置区域的MRI模态相融合三维医学图像；图5是股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；图6是通过本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨位置区域的三维CT医学图像；图7是通过本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨位置区域的三维MRI医学图像；图8是通过本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像；
图2C是经上述步骤进行点云配准融合后获得的该患者的股骨位置区域的CT模态和MRI模态相融合二维医学图像；图4则是图2C 经上述步骤进行三维重建后获得的该患者的股骨位置区域的CT模态和MRI模态相融合三维医学图像；图5则是经上述步骤进行点云配准融合后获得的该患者的股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；图6则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维CT医学图像；图7则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维MRI医学图像，图8则是经上述步骤进行三维重建后获得的该患者的股骨坏死位置区域的三维MRI医学图像。
图6和图7可以先进行融合后获得图4，图4表示股骨没有坏死的情况下相融合三维图像，而图8是通过本发明提供的基于深度学习的多模态医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像，也可理解为是独立的股骨坏死位置区域的三维MRI医学图像。可以将图8的股骨坏死位置区域的三维MRI 医学图像与图7的股骨位置区域的三维MRI医学图像共同作为一个三维医学图像整体，但是在具体进行点云配准融合处理时本质上还是先将这二者的三维医学图像进行融合处理后作为一个三维医学图像整体，以新的股骨位置区域的三维MRI医学图像的整体，再去与股骨位置区域的三维CT医学图像进行进一步的点云配准融合，当然，也可以先将图6所示的股骨位置区域的三维CT医学图像和图7所示的股骨位置区域的三维MRI医学图像融合获得图4，再将图4和图8 融合获得图5，即最终获得股骨位置区域的三维CT医学图像和股骨位置区域的三维MRI医学图像以及股骨坏死位置区域的三维MRI医学图像。
依ICP点云配准算法进行配准到一起后再进行三维重建所获得的综合结果：CT模态和MRI模态相融合三维医学图像。该CT模态和MRI模态相融合三维医学图像精准地融合了CT模态和MRI模态的图像的不同特征，并且还能体现出该患者真正的股骨坏死位置区域(如图5中股骨头内部上方的异形小区域部位所示)，进而能够为医护人员提供对该患有髋关节疾病的患者进行治疗前的精准的参考依据。需要说明的是，本申请的实施例仅示出该患者的股骨位置区域的三维CT医学图像和三维MRI医学图像中的股骨形态示意，而在真正进行点云配准融合时所依据的各个点集均需要在计算机系统中结合上述各图像建立相应坐标系及获取相应坐标点值，具体参量均根据实际应用场景进行设置，此处不作任何限制。
根据本发明提供的基于深度学习的多模态医学图像配准融合方法，各模态下二维医学图像分别相应的各个图像分割网络模型的预先训练过程的原理均相一致，本发明实施例仅以CT图像分割网络模型的预先训练过程和MRI图像分割网络模型的预先训练过程为例进行说明。
图9是本发明提供的方法中CT图像分割网络模型的预先训练过程的流程示意图，如图9所示，该方法中CT图像分割网络模型的预先训练过程，包括：
S610、获取多个患者的二维CT医学图像数据集，其中，二维 CT医学图像数据集中包含有多个二维CT医学图像；
获取大量的患有髋关节疾病患者的二维CT医学图像数据集，其中，二维CT医学图像数据集中包含有多个二维CT医学图像。
S620、采用自动标注、手动标注中的至少一种方式，标注出各个二维CT医学图像中的股骨位置区域；
对二维CT医学图像数据集中的各个二维CT医学图像，分别自动或者手动地标注出股骨位置区域，将其作为我们的数据库基础。自动标注时可借助标注软件进行。从而获得经过标注后的各个二维CT 医学图像形成的二维CT医学图像数据集。
S630、将经过标注后的各个二维CT医学图像按照预设比例划分为CT训练数据集和CT测试数据集；
在进行训练数据集和测试数据集划分之前，还需要将经过标注后的二维CT医学图像数据集中的各个二维CT医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。具体地，是将经过标注后的二维CT医学图像数据集中的各个二维CT医学图像的二维横断面DICOM格式转换成JPG格式的图片。
将经过标注并经过格式转换后的各个二维CT医学图像，按照预比例7∶3来划分为CT训练数据集和CT测试数据集。CT训练数据集用于作为CT图像分割网络的输入，以训练出CT图像分割网络模型。而CT测试数据集用于后续对CT图像分割网络模型的性能进行测试和优化。
S640、基于CT训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型；
基于CT训练数据集并结合神经网络算法和深度学习，利用多次下采样识别CT训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出CT图像分割网络模型。
或者，图10是本发明提供的方法中MRI图像分割网络模型的预先训练过程的流程示意图，如图10所示，该方法中MRI图像分割网络模型的预先训练过程，包括：
S710、获取多个患者的二维MRI医学图像数据集，其中，二维 MRI医学图像数据集中包含有多个二维MRI医学图像；
获取大量的患有髋关节疾病患者(需要与步骤S610中为相同患者)的二维MRI医学图像数据集，其中，二维MRI医学图像数据集中包含有多个二维MRI医学图像；
S720、采用自动标注、手动标注中的至少一种方式，标注出各个二维MRI医学图像中的股骨位置区域；
对二维MRI医学图像数据集中的各个二维MRI医学图像，分别自动或者手动地标注出股骨位置区域，当然若有股骨坏死情况，还应该一并标注出股骨坏死位置区域，也将其作为我们的数据库基础。自动标注时可借助标注软件进行。从而获得经过标注后的各个二维MRI 医学图像形成的二维MRI医学图像数据集。
S730、将经过标注后的各个二维MRI医学图像按照预设比例划分为MRI训练数据集和MRI测试数据集；
在进行训练数据集和测试数据集划分之前，还需要将经过标注后的二维MRI医学图像数据集中的各个二维MRI医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。具体地，是将经过标注后的二维MRI医学图像数据集中的各个二维MRI医学图像的原格式转换成PNG格式的图片。
将经过标注并经过格式转换后的各个二维MRI医学图像，按照预比例7∶3来划分为MRI训练数据集和MRI测试数据集。MRI训练数据集用于作为MRI图像分割网络的输入，以训练出MRI图像分割网络模型。而MRI测试数据集用于后续对MRI图像分割网络模型的性能进行测试和优化。
S740、基于MRI训练数据集并结合神经网络算法和深度学习训练出MRI图像分割网络模型。
基于MRI训练数据集并结合神经网络算法和深度学习，利用多次下采样识别MRI训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出MRI图像分割网络模型。根据本发明提供的多模态医学图像配准融合方法，基于CT 训练数据集或MRI训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型或MRI图像分割网络模型，图11是图9和图10所示训练过程的深度学习训练网络结构图，再结合图11所示，模型的训练过程具体包括以下几个步骤：
(1)通过第一图像分割模型对CT训练数据集或MRI训练数据集进行粗分割处理：对CT训练数据集或MRI训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储深层特征至图像数据中；利用Adam分类优化器进行图像粗分类处理，获得图像粗分割结果；
首先利用第一图像分割模型(unet backbone主干神经网络，简称 unet主神经网络)，对CT训练数据集或MRI训练数据集进行粗分割处理(Coarse prediction)。第一阶段执行4次下采样来学习CT训练数据集或MRI训练数据集各个图像数据的深层特征。其中每个下采样层中包括2个卷积层和1个池化层，卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128、 256、512等。对进行下采样后的图像数据再执行4次上采样，以将下采样所学习的各个图像数据的深层特征重新存储到图像数据中。其中每个上采样层中包括1个上采样层和2个卷积层，其中，卷积层的卷积核大小为3*2，而上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512、256、128等。上述的卷积神经网络的采样过程就是对各个图像数据进行特征提取的过程。我们需要在各个原图像中识别出特征部分，具体是通过卷积神经网络不断重复地去学习其深层的特征，最后反向存储到原图像上。利用Adam分类优化器进行图像粗分类处理，获得图像粗分割结果。
(2)通过第二图像分割模型对图像粗分割结果进行精分割处理：从深层特征中筛选预设置信度的特征点数据，对特征点数据进行双线性插值计算，基于计算后的特征点数据识别深层特征的所属类别，获得最终的图像分割结果。
再通过第二图像分割模型(pointrend从属神经网络，简称 pointrend从神经网络)，对经unet主神经网络处理后获得的图像粗分割结果进行进一步的精分割处理。通过Bilinear双线性插值法对图像粗分割结果进行上采样学习计算，以获得各个图像的密集特征图；针对每一个图像的密集特征图，均从中选择多个所属分类未知的点，也即是选择N个所属分类最不确定的点，比如选择多个置信度/概率为0.5的点，然后计算表并提取这N个点的深层特征表示，并利用 MLP多层感知器逐点预测这N个点经精分割后各自的所属分类，比如判断该点是属于股骨区域，还是非股骨区域；重复执行上述步骤直至这N个点中的每一个点在精分割后的所属分类逐一预测完毕。其利用MLP多层感知器逐点预测这N个点经精分割后各自的所属分类时使用一个小型的分类器去判断这个点属于哪个分类，这其是等价于用一个1*1的卷积来预测。但是对于置信度接近于1或0的点，其所属分类依然很明确，故而这些点不再需要进行逐点预测。减少了所需预测点的数量，并且从整体上提升了最终图像分割结果的精准度。从而，最终获得最优化的图像精分割结果(optimized prediction)。
(3)基于最终的图像分割结果以及CT训练数据集或MRI训练数据集计算损失函数；
(4)基于损失函数调整CT图像分割网络模型或MRI图像分割网络模型的参数，直至CT图像分割网络模型或MRI图像分割网络模型训练成功。
其中，设置损失函数的作用是，可以在模型预训练过程中根据损失函数的变化对每次训练的样本数的大小进行调整。具体地，在通过 unet主神经网络对CT训练数据集或MRI训练数据集进行粗分割处理的过程中，每次训练的样本数Batch_Size的大小的初始值设置为6，学习率设置为1e-4，优化器使用Adam优化器，并设置损失函数DICE loss。将CT训练数据集或MRI训练数据集全部送入unet主神经网络进行训练时，便可根据训练过程中损失函数的变化情况，实时有效地调整每次训练的样本数Batch_Size的大小，从而在粗分割处理阶段提升处理精确度。
根据本发明提供的基于深度学习的多模态医学图像配准融合方法，方法还包括：
在各卷积层后均设置激活函数；
其中，所有的卷积层后面还均设有激活函数，比如可以是relu激活函数、Sigmoid激活函数、tanh激活函数、leaky relu激活函数等等，以增强卷积神经网络的非线性因素，使得经该卷积神经网络能更好地解决较为复杂的计算处理过程。
和/或，通过第一图像分割模型对CT训练数据集或MRI训练数据集进行粗分割处理的过程中，最后一次上采样结束后设置有 dropout层；
最后一次上采样结束后，或者说最后一个上采样层之后，设有一个dropout层，用于在深度学习网络的训练过程中，按照一定的概率将一些神经网络单元暂时从网络中丢弃，以进一步提升模型训练的精确度。其中，dropout层的概率设置为0.7。
下面对本发明提供的基于深度学习的多模态医学图像融合系统进行说明，基于深度学习的多模态医学图像融合系统与上述任一实施例的基于深度学习的多模态医学图像融合方法相对应，原理可相互参照，故此处不再重复赘述。
本发明还提供一种基于深度学习的多模态医学图像融合系统，图 12是本发明提供的基于深度学习的多模态医学图像融合系统的结构示意图之一，如图12所示，该系统包括：多模态图像获取单元1010、二维图像输出单元1020、二维图像融合单元1030和三维重建单元 1040，其中，
多模态图像获取单元1010，被配置为获取患者的至少两种模态的二维医学图像；
二维图像输出单元1020，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
二维图像融合单元1030，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
三维重建单元1040，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
本发明提供的基于深度学习的多模态医学图像融合系统，各个模块相互配合工作，使得本系统能够通过对同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，再将不同模态的二维医学图像进行精准的点云配准融合，最后再进行三维重建，获得多模态相融合的三维医学图像。该系统对多模态医学图像融合配准的配准精度高、时间成本低，还能处理较为复杂的多模态图像融合情况，以及还可应用于非刚性配准情况，能够为医护人员提供准确的治疗参考依据。
本发明还提供一种电子设备，图13是本发明提供的电子设备的结构示意图，如图13所示，该电子设备可以包括：处理器 (processor)1310、通信接口(CommunicationsInterface)1320、存储器 (memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行所述基于深度学习的多模态医学图像融合方法的全部或部分步骤，该方法包括：
获取患者的至少两种模态的二维医学图像；
将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述多模态医学图像配准融合方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的基于深度学习的多模态医学图像融合方法的全部或部分步骤，该方法包括：
获取患者的至少两种模态的二维医学图像；
将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如上各实施例所提供的基于深度学习的多模态医学图像融合方法的全部或部分步骤，该方法包括：
获取患者的至少两种模态的二维医学图像；
将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的多模态医学图像配准融合方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的多模态医学图像融合方法，其特征在于，包括：
获取患者的至少两种模态的二维医学图像；
将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
2.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，包括：
分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集；
基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像。
3.根据权利要求2所述的基于深度学习的多模态医学图像融合方法，其特征在于，所述至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种，所述本体包括股骨，所述本体头包括股骨头；
分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：
基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于所述股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集；
其中，基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像，包括：
基于ICP点云配准算法，将所述第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像。
4.根据权利要求1至3任一项所述的基于深度学习的多模态医学图像融合方法，其特征在于，对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像，包括：
将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像。
5.根据权利要求4所述的基于深度学习的多模态医学图像融合方法，其特征在于，所述三维重建网络包括编码网络、转换网络和解码网络；将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像，包括：
基于所述编码网络，提取所述多模态相融合二维医学图像的二维图像特征；
基于所述转换网络，将所述多模态相融合二维医学图像的二维图像特征转换为三维图像特征；
基于所述解码网络，将所述三维图像特征转换为所述多模态相融合二维医学图像对应的多模态相融合三维医学图像。
6.根据权利要求3所述的基于深度学习的多模态医学图像融合方法，其特征在于，所述图像分割网络模型的训练过程，包括：
获取多个患者的二维医学图像数据集，其中，所述二维医学图像数据集中包含有多个二维医学图像；
采用自动标注、手动标注中的至少一种方式，标注出各个所述二维医学图像中的股骨位置区域；
将经过标注后的各个二维医学图像按照预设比例划分为训练数据集和测试数据集；
基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型。
7.根据权利要求6所述的基于深度学习的多模态医学图像融合方法，其特征在于，基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型，包括：
通过第一图像分割模型对所述训练数据集进行分割：对所述训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中，获得图像粗分割结果；
基于所述图像粗分割结果，通过第二图像分割模型从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果；
基于最终的图像分割结果以及所述训练数据集计算损失函数；
基于所述损失函数调整所述图像分割网络模型的参数，直至所述图像分割网络模型训练成功。
8.根据权利要求7所述的基于深度学习的多模态医学图像融合方法，其特征在于，所述方法还包括：
在所述各卷积层后设置激活函数；
和/或，在最后一次上采样结束后，通过设置的dropout层按照预设概率将所述图像分割网络模型中的部分神经网络单元丢弃。
9.一种基于深度学习的多模态医学图像融合系统，其特征在于，包括：
多模态图像获取单元，被配置为获取患者的至少两种模态的二维医学图像；
二维图像输出单元，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
二维图像融合单元，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；
三维重建单元，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1至8任一项所述的基于深度学习的多模态医学图像融合方法的全部或部分步骤。
CN202110633334.2A 2021-06-07 2021-06-07 基于深度学习的多模态医学图像融合方法及系统 Active CN113506334B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110633334.2A CN113506334B (zh) 2021-06-07 2021-06-07 基于深度学习的多模态医学图像融合方法及系统
PCT/CN2021/128242 WO2022257345A1 (zh) 2021-06-07 2021-11-02 医学图像融合方法及系统、模型训练方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110633334.2A CN113506334B (zh) 2021-06-07 2021-06-07 基于深度学习的多模态医学图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN113506334A true CN113506334A (zh) 2021-10-15
CN113506334B CN113506334B (zh) 2023-12-15

Family

ID=78009108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110633334.2A Active CN113506334B (zh) 2021-06-07 2021-06-07 基于深度学习的多模态医学图像融合方法及系统

Country Status (2)

Country Link
CN (1) CN113506334B (zh)
WO (1) WO2022257345A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387317A (zh) * 2022-03-24 2022-04-22 真健康（北京）医疗科技有限公司 Ct图像和mri三维图像的配准方法、装置
CN115462903A (zh) * 2022-11-14 2022-12-13 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质
CN116228903A (zh) * 2023-01-18 2023-06-06 北京长木谷医疗科技有限公司 基于csa模块及深度学习模型的高清ct图像重建方法
CN116955681A (zh) * 2023-09-08 2023-10-27 北京触幻科技有限公司 一种三维可视化医学影像系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071386B (zh) * 2023-01-09 2023-10-03 安徽爱朋科技有限公司 一种关节疾病的医学影像的动态分割方法
CN116416235B (zh) * 2023-04-12 2023-12-05 北京建筑大学 一种基于多模态超声数据的特征区域预测方法和装置
CN116797726B (zh) * 2023-05-20 2024-05-07 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116863146B (zh) * 2023-06-09 2024-03-08 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质
CN116958132B (zh) * 2023-09-18 2023-12-26 中南大学 基于视觉分析的手术导航系统
CN117974735A (zh) * 2024-04-02 2024-05-03 西北工业大学 一种面向数字人的跨模态医学影像配准方法、系统和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN110060227A (zh) * 2019-04-11 2019-07-26 艾瑞迈迪科技石家庄有限公司 多模态影像融合显示方法和装置
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387270B2 (ja) * 2019-03-06 2023-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
CN111179231B (zh) * 2019-12-20 2024-05-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN112150524B (zh) * 2020-09-29 2022-03-11 武汉大学 一种基于深度学习的二维和三维医学图像配准方法和系统
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113506334B (zh) * 2021-06-07 2023-12-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN110060227A (zh) * 2019-04-11 2019-07-26 艾瑞迈迪科技石家庄有限公司 多模态影像融合显示方法和装置
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质
CN114387317A (zh) * 2022-03-24 2022-04-22 真健康（北京）医疗科技有限公司 Ct图像和mri三维图像的配准方法、装置
CN115462903A (zh) * 2022-11-14 2022-12-13 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统
CN116228903A (zh) * 2023-01-18 2023-06-06 北京长木谷医疗科技有限公司 基于csa模块及深度学习模型的高清ct图像重建方法
CN116228903B (zh) * 2023-01-18 2024-02-09 北京长木谷医疗科技股份有限公司 基于csa模块及深度学习模型的高清ct图像重建方法
CN116955681A (zh) * 2023-09-08 2023-10-27 北京触幻科技有限公司 一种三维可视化医学影像系统
CN116955681B (zh) * 2023-09-08 2024-04-26 北京触幻科技有限公司 一种三维可视化医学影像系统

Also Published As

Publication number Publication date
CN113506334B (zh) 2023-12-15
WO2022257345A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
WO2022257344A1 (zh) 图像配准融合方法及装置、模型训练方法及电子设备
CN112353381B (zh) 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
CN115004223A (zh) 用于在医学图像中自动检测解剖结构的方法和系统
WO2024001140A1 (zh) 一种椎体亚区域分割方法、装置及存储介质
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Liu et al. Integrated learning approach based on fused segmentation information for skeletal fluorosis diagnosis and severity grading
CN115830016A (zh) 医学图像配准模型训练方法及设备
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
Zia et al. VANT-GAN: adversarial learning for discrepancy-based visual attribution in medical imaging
Ilesanmi et al. Organ segmentation from computed tomography images using the 3D convolutional neural network: a systematic review
Xu et al. RUnT: A network combining residual U-Net and transformer for vertebral edge feature fusion constrained spine CT image segmentation
CN117218453A (zh) 一种不完备多模态医学影像学习方法
CN112767374A (zh) 基于mri的阿尔茨海默症病灶区域语义分割算法
Mahapatra Multimodal generalized zero shot learning for gleason grading using self-supervised learning
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN115953416A (zh) 基于深度学习的膝骨关节核磁共振图像自动分割方法
Mostafa et al. Hybridization between deep learning algorithms and neutrosophic theory in medical image processing: A survey
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Sha et al. A robust segmentation method based on improved U-Net
CN116797519A (zh) 脑胶质瘤分割和三维可视化模型训练方法及系统
CN114757894A (zh) 一种骨肿瘤病灶分析系统
Fatema et al. Development of an automated optimal distance feature-based decision system for diagnosing knee osteoarthritis using segmented X-ray images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1904, unit 2, building 9, yard 2, Simiao Road, Daxing District, Beijing 100176

Applicant after: Liu Xingyu

Applicant after: Beijing Changmugu Medical Technology Co.,Ltd.

Address before: Room 1904, unit 2, building 9, yard 2, Simiao Road, Daxing District, Beijing 100176

Applicant before: Liu Xingyu

Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant