CN115375595A - 图像融合方法、装置、系统、计算机设备和存储介质 - Google Patents

图像融合方法、装置、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN115375595A
CN115375595A CN202210779803.6A CN202210779803A CN115375595A CN 115375595 A CN115375595 A CN 115375595A CN 202210779803 A CN202210779803 A CN 202210779803A CN 115375595 A CN115375595 A CN 115375595A
Authority
CN
China
Prior art keywords
image
fusion
point cloud
cloud model
intraoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210779803.6A
Other languages
English (en)
Inventor
汪先远
张璟
张文伟
方伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Original Assignee
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Zhirong Medical Technology Co Ltd filed Critical Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority to CN202210779803.6A priority Critical patent/CN115375595A/zh
Publication of CN115375595A publication Critical patent/CN115375595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种图像融合方法、装置、系统、计算机设备和存储介质。该方法包括：获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像，将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像，以及将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像，最后，将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像；能够实现对术前扫描图像、术中超声图像以及术中内窥镜图像的三种不同模态和类型的图像的准确融合，且得到的融合图像的质量较高，提高融合图像的质量和准确性。

Description

图像融合方法、装置、系统、计算机设备和存储介质
技术领域
本申请涉及医学检测技术领域，特别是涉及一种图像融合方法、装置、系统、计算机设备和存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(MagneticResonance Imaging，MRI)、超声成像(Ultrasound，US)以及内窥镜成像(LaparoscopicUltrasonography，LUS)等技术在计算机辅助诊断和手术导航中被广泛应用。特别是在微创外科手术中，由于术前得到的图像和术中得到的图像进行融合后的融合图像能够更加直观的显示各个器官组织的结构、位置等信息，所以融合图像被广泛用于手术导航和定位。
目前，术前和术后的融合图像通常包括：术前的CT/MRI图像、术中的超声图像、内窥镜图像。然而，由于这三种图像是不同模态和类型的图像，导致这三种图像难以进行准确融合，进而影响融合图像的质量。基于此，如何提供一种能够准确融合CT/MRI图像、超声图像、内窥镜图像的方法成为目前医学检测技术领域亟待解决的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现术前的CT/MRI图像、术中的超声图像以及术中内窥镜图像三种不同模态图像的融合，以及提高融合图像的质量和准确性的图像融合方法、装置、系统、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像融合方法，该方法包括：
获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像；
将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像；
将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像；
将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
在其中一个实施例中，将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像，包括：
根据术前扫描图像生成第一点云模型，根据术中内窥镜图像生成第二点云模型；
对第一点云模型和第二点云模型进行融合，得到第一融合图像。
在其中一个实施例中，根据术前扫描图像生成第一点云模型，包括：
采用图像分割技术对术前扫描图像进行分割，得到第一分割图像；第一分割图像中包括目标区域的器官组织信息；
采用三维重建技术对第一分割图像进行重建，得到第一三维模型；
对第一三维模型进行转换，得到第一点云模型。
在其中一个实施例中，根据术中内窥镜图像生成第二点云模型，包括：
采用图像分割技术对术中内窥镜图像进行分割，得到第二分割图像；第二分割图像中包括目标区域的目标器官信息；
获取第二分割图像中各像素点的像素值和深度信息；
基于各像素点的像素值和深度信息，生成第二点云模型。
在其中一个实施例中，对第一点云模型和第二点云模型进行融合，得到第一融合图像，包括：
从第一点云模型中确定预设数量的第一配准对象；
从第二点云模型中确定与第一配准对象对应的第二配准对象；
基于第一配准对象和第二配准对象计算配准矩阵；
根据配准矩阵对第一点云模型与第二点云模型进行融合，得到第一融合图像。
在其中一个实施例中，将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像，包括：
对术中超声图像进行图像分割处理，得到第三分割图像；第三分割图像中包括目标区域的血管和肿瘤信息；
采用三维重建技术对第三分割图像进行重建，得到第二三维模型；
对第二三维模型进行转换，得到第三点云模型；
对第二点云模型与第三点云模型进行融合，生成第二融合图像。
在其中一个实施例中，对第二点云模型与第三点云模型进行融合，生成第二融合图像，包括：
获取第二点云模型在预设的世界坐标系下的第一位置信息；
获取第三点云模型在世界坐标系下的第二位置信息；
基于第一位置信息和第二位置信息，对第二点云模型和第三点云模型进行融合，得到第二融合图像。
第二方面，本申请还提供了一种图像融合装置，该装置包括：
获取模块，用于获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像；
第一融合模块，用于将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像；
第二融合模块，用于将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像；
生成模块，用于将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
第三方面，本申请还提供了一种图像融合系统，该图像融合系统包括内窥镜设备、超声设备和处理设备；处理设备分别与内窥镜设备和超声设备通信连接；
内窥镜设备，用于采集患者目标区域的术中内窥镜图像，并将术中内窥镜图像发送至处理设备；
超声设备，用于采集目标区域的术中超声图像，并将术中超声图像发送至处理设备；
处理设备，用于接收内窥镜设备发送的术中内窥镜图像，以及接收超声设备发送的术中超声图像；
处理设备，还用于获取目标区域的术前扫描图像，并将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像；将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像；将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
在其中一个实施例中，该系统还包括追踪设备；
追踪设备，用于对内窥镜设备和超声设备进行实时追踪。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一实施例中的方法步骤。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
上述图像融合方法、装置、系统、计算机设备、存储介质和计算机程序产品，通过获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像，将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像，以及将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像，最后，将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像；能够实现对术前扫描图像、术中超声图像以及术中内窥镜图像的三种不同模态和类型的图像的准确融合，且得到的融合图像的质量较高，提高融合图像的质量和准确性。
附图说明
图1为一个实施例中图像融合方法的应用环境图；
图2为一个实施例中图像融合方法的流程示意图；
图3为另一个实施例中图像融合方法的流程示意图；
图4为另一个实施例中图像融合方法的流程示意图；
图5为另一个实施例中图像融合方法的流程示意图；
图6为另一个实施例中图像融合方法的流程示意图；
图7为另一个实施例中图像融合方法的流程示意图；
图8为另一个实施例中图像融合方法的流程示意图；
图9为一个实施例中内窥镜设备和超声设备的定位结构示意图；
图10为一个实施例中图像融合装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
微创手术具有创伤小、恢复快、术后并发症少等传统开放式无法比拟的优势。随着医疗水平的快速进步，以及电子立体腹腔镜和达芬奇手术机器人等出现，“微创”这一概念已深入到外科手术的各个领域，给广大患者带来福音。其中，腹腔镜手术是微创手术的主要术式，受限于腹腔镜的视野，腹腔内复杂多变的组织结构，即使有经验的医生也很难准确定位目标器官的位置；并且肿瘤和重要血管往往深藏在器官组织内部，通过腹腔镜无法“透视”的观察内部结构，仅仅凭借医生经验很难实现肿瘤组织与正常器官组织的正确分离，肿瘤组织的欠切割会造成肿瘤组织的扩散和二次复发，肿瘤组织的过切割会造成大面积正常组织损失，不利于患者快速康复。
因此，通常采用将术前的CT/MRI图像、术中的超声图像、以及术中内窥镜图像进行融合的方式，通过融合图像来更加直观的显示各个器官组织的结构、位置、表面信息、内部血管和肿瘤等信息，被广泛用于手术导航和定位。
其中，以上三种模态的图像的优缺点分析如下：
(1)术前CT/MR影像方便做手术规划，对器官表面和轮廓的表示较清晰，但是对器官内部的肿瘤和关键血管的定位没有超声图像准确。
(2)术中内窥镜图像在手术中充当医生的“眼睛”，具有视觉直观的特点，但是腹腔镜图像视野有限，并且无法“透视”的观察到器官组织内部的肿瘤和血管的位置。
(3)术中超声图像可以实现实时成像，对肿瘤和血管的显影非常明显，但是成像质量差，信噪比低，不易解读。
相关技术中，内窥镜手术中使用到的多模态影像融合的技术主要包括：将术前CT/MRI图像与术中超声图像融合后再与术中内窥镜图像进行融合，且术前CT/MRI图像与术中超声图像是通过基于图像特征的方法进行配准和融合的，其效果并不直观，导致最终的影像效果不佳。
有鉴于此，本申请实施例提出了一种术前术中多模态的影像配准融合技术，结合上述三种影像模态的优点，首先，基于术前CT/MR分割得到三维重建和手术规划结果；术中使用内窥镜设备采集内窥镜图像并对器官的表面进行图像分割(表层特征)；术中使用超声设备采集超声影像并对器官深层的血管和肿瘤进行图像分割(深层特征)；最后将三种分割结果通过配准，相机标定和坐标系统一等技术融合在一起并显示在内窥镜图像上。本申请实施例提出的方法是通过将术前术中多模态的影像进行配准融合显示，借助超声设备实现实时配准和融合，以实现目标器官及其内部肿瘤和血管的准确导航和定位，能有效减少手术时间，并提高手术成功率；另外，还可以将术前手术计划成功导入术中影像数据，并且对器官表面，器官内部(肿瘤，血管)以及器官之间相对位置关系精确定位，能够实现真正意义上的术中手术导航。
本申请实施例提出的图像融合方法具有以下技术优势：
(1)通过将术前的CT/MRI图像、术中的超声图像以及术中的内窥镜图像进行融合，能够实现器官实质和器官内部关键组织(肿瘤，血管，神经，骨组织等)的准确定位，可以有效提高手术准确率，减少肿瘤复发的风险，并且能减少手术并发症的产生。
(2)可以快速定位目标器官及其周边器官组织的相对位置关系，有效减少手术时间，从而减少患者疼痛感，缓解医生长时间手术的疲劳感。
(3)可以对目标器官(表层特征)及其内部肿瘤血管(深层特征)进行实时的增强现实(AR)显示，并将术前制定的手术计划(例如切割范围，深度，入刀路径等)导入到术中影像中；还可以对病灶区域，待切割区域进行直观而准确的显示，避免肿瘤组织的欠分割以及正常组织的欠分割，实现真正意义上的手术导航。
(4)以增强现实(AR)的技术将术前规划结果叠加显示在内窥镜图像上，可以指定任意器官进行增强显示，也可以隐藏任意器官只关注靶器官，还可以调节增强显示效果的透明度，还可以用不同颜色和透明度显示不同模态影像的特征。
(5)本申请实施例所提出的图像融合方法具有普适性：
a)同时适用于普外科、外科、消化内科、神经外科、妇科、骨科等多种微创手术术式；
b)同时适用于各种电子内窥镜，如腹腔镜、结肠镜、宫腔镜、支气管镜、脑部内窥镜等内窥镜设备；
c)该图像融合方法中所涉及到的融合显示方法可以采用视频叠加、光学叠加(佩戴AR眼镜设备)、投影叠加、以及3D图像叠加等一系列叠加显示方式。
下面结合本申请实施例所应用的场景，对本申请实施例涉及的技术方案进行介绍。
本申请实施例提供的图像融合方法，可以应用于如图1所示的应用环境中。其中，处理设备101分别与内窥镜设备102、超声设备103以及显示设备104通信连接。该显示设备104可以包括一个显示器，即通过一个显示器来显示不同设备的内容，其中，可以分区域显示，也可以叠加显示等；该显示设备也可以包括多个显示器，各显示器分别用于显示不同设备的内容；处理设备101可以为具有计算功能的计算设备，如计算机工作站、本地服务器等。
在一个实施例中，如图2所示，提供了一种图像融合方法，以该方法应用于图1中的处理设备为例进行说明，包括以下步骤：
步骤201，获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像。
其中，术前扫描图像可以为术前通过医疗成像设备对患者的目标区域进行图像扫描后得到的扫描图像，包括但不限于CT扫描图像、MR扫描图像等；术中内窥镜图像可以为术中通过内窥镜设备在患者目标区域内部移动过程中实时采集得到的原始图像；术中超声图像可以为术中通过超声设备在患者目标区域内部移动过程中实时采集得到的超声图像。
可选地，处理设备可以从医疗成像设备、或者与该医疗成像设备连接的存储设备、又或者与该医疗成像设备连接的服务器中获取患者目标区域的术前扫描图像，而在对患者目标区域进行手术操作的过程中，处理设备可以从内窥镜设备实时获取该患者目标区域的术中内窥镜图像、以及从超声设备实时获取该患者目标区域的术中超声图像。
可选地，在处理设备和内窥镜设备之间还可以包括至少一个第一中间设备，该第一中间设备可以对该内窥镜设备实时采集的术中内窥镜图像进行处理后发送至处理设备，也可以将内窥镜设备实时采集的术中内窥镜图像转发至处理设备；同样地，在处理设备和超声设备之间也可以包括至少一个第二中间设备，该第二中间设备可以对该超声设备实时采集的术中超声图像进行处理后发送至处理设备，也可以将超声设备实时采集的术中超声图像转发至处理设备。需要说明的是，本申请实施例中对第一中间设备的数量和功能、以及第二中间设备的数量和功能不做限定，另外，该第一中间设备和该第二中间设备可以为同一设备或者为不同设备。
步骤202，将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像。
其中，术前扫描图像为对患者目标区域进行扫描得到的图像，其涵盖目标区域的靶器官及其邻近器官组织区域，通过术前扫描图像可以确定各个器官之间的相对位置关系，基于这种相对位置关系，可以用于制定术前规划，例如：确定切割范围、深度、入刀路径等；术中内窥镜图像为内窥镜设备在目标区域内部移动过程中采集得到的图像，其包括目标区域内的目标器官。将术前扫描图像与术中内窥镜图像进行图像融合，是为了将术中内窥镜图像中的目标器官与术前扫描图像中的器官对应匹配，也就是将术中内窥镜图像匹配到术前扫描图像的相应位置，得到匹配融合后的图像。
可选地，可以将术前扫描图像和术中内窥镜图像输入预设的第一融合算法中，得到第一融合图像。其中，第一融合图像中包括器官表面、器官之间的相对位置关系以及术前规划等信息。
可选地，还可以对术前扫描图像和术中内窥镜图像进行图像转换，以使转换后的术前扫描图像和转换后的术中内窥镜图像为同一类型的图像数据，例如：三维图像数据、三维点云数据等；进而，对转换后的术前扫描图像和转换后的术中内窥镜图像进行图像融合处理，生成第一融合图像。
需要说明的是，在进行图像融合时，可以采用传统的图像融合算法来实现，因此，本申请实施例中对传统图像融合算法的具体实现原理不做过多描述。
步骤203，将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像。
其中，术中超声图像为超声设备在目标区域内部移动过程中采集得到的图像，其包括目标区域内的目标器官和肿瘤组织。
可选地，可以将术中超声图像和术中内窥镜图像输入预设的第二融合算法中，得到第二融合图像。其中，第二融合图像中主要包括器官内部的肿瘤和血管信息。
可选地，还可以对术中超声图像和术中内窥镜图像进行图像转换，以使转换后的术中超声图像和转换后的术中内窥镜图像为同一类型的图像数据，例如：三维图像数据、三维点云数据等；进而，对转换后的术中超声图像和转换后的术中内窥镜图像进行图像融合处理，生成第二融合图像。
需要说明的是，在进行图像融合时，可以采用传统的图像融合算法来实现，因此，本申请实施例中对传统图像融合算法的具体实现原理不做过多描述。
步骤204，将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
可选地，可以将第一融合图像和第二融合图像通过增强现实的方法叠加显示在术中内窥镜图像上，也可以通过视频叠加、光学叠加(如佩戴AR眼镜设备等)、投影叠加以及3D图像叠加等一系列叠加显示方式，本申请实施例对此并不做限定。
另外，对于叠加后的目标融合图像中即包括术前扫描图像、术中内窥镜图像以及术中超声图像的全部信息，可用于术中精确导航和定位。
上述图像融合方法中，通过获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像，将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像，以及将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像，最后，将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像；能够实现对术前扫描图像、术中超声图像以及术中内窥镜图像的三种不同模态和类型的图像的准确融合，且得到的融合图像的质量较高，提高融合图像的质量和准确性。
在本申请的一个可选的实施例中，上述显示设备，用于显示术前扫描图像、术中内窥镜图像、术中超声图像、以及上述目标融合图像等中的至少一个，可选的，在显示设备包括一个的情况下，可以采用分区域的形式显示这些图像，在显示设备包括多个的情况下，各显示设备可以显示上述图像中的至少一个，各显示设备可以显示相同的图像，也可以显示不同的图像；本申请对此并不做限定。
图3为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像的一种可选的实现过程，在上述实施例的基础上，如图3所示，上述步骤202包括：
步骤301，根据术前扫描图像生成第一点云模型，根据术中内窥镜图像生成第二点云模型。
也就是说，本实施例中，将术前扫描图像和术中内窥镜图像均转换为同一类型的点云模型，由于术前扫描图像为通过医疗成像设备采集的断层图像，术中内窥镜图像为通过内窥镜摄像头或者内窥镜探头采集到的二维平面图像，因此，术前扫描图像与术中内窥镜图像的模态是不同的；因此，可以针对术前扫描图像和术中内窥镜图像分别预设图像转换算法，以便将术前扫描图像输入至第一图像转换算法中得到第一点云模型，以及将术中内窥镜图像输入至第二图像转换算法中得到第二点云模型。
步骤302，对第一点云模型和第二点云模型进行融合，得到第一融合图像。
可选地，可以采用传统的图像融合算法，对第一点云模型和第二点云模型进行融合处理，得到第一融合图像。
本实施例中，根据术前扫描图像生成第一点云模型，以及根据术中内窥镜图像生成第二点云模型，接着，对第一点云模型和第二点云模型进行融合，得到第一融合图像；也就是说，本实施例中将处于不同模态的术前扫描图像和术中内窥镜图像转换为相同模态的点云模型，进而对处于相同模态下的第一点云模型和第二点云模型进行图像融合处理，得到第一融合图像，由于相同模态的多张图像易于进行融合处理，因此，能够大大提高图像融合的准确性和图像融合的效率。
图4为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备根据术前扫描图像生成第一点云模型的一种可选的实现过程，在上述实施例的基础上，如图4所示，上述步骤301包括：
步骤401，采用图像分割技术对术前扫描图像进行分割，得到第一分割图像。
其中，第一分割图像中包括目标区域的器官组织信息，可选地，该器官组织信息包括器官的标签信息和器官的位置信息，该第一分割图像中还可以包括目前区域的各器官的相对位置关系。
可选地，可以采用图像分割技术，对术前扫描图像中的靶器官及其邻近器官进行图像分割，得到分割后的第一分割图像。其中，图像分割技术是传统的较为成熟的图像处理技术，因此，在此不对图像分割的具体原理进行详细论述。
进一步地，在得到第一分割图像之后，可以对该第一分割图像中的器官进行识别，并为不同的器官或者组织赋予不同的标签，以此便可得到各器官之间的相对位置关系。
步骤402，采用三维重建技术对第一分割图像进行重建，得到第一三维模型。
其中，三维重建技术也是传统的较为成熟的图像处理技术，在此对于图像重建的具体原理不做详细论述。
步骤403，对第一三维模型进行转换，得到第一点云模型。
对于本领域技术人员来说，从三维模型转点云也是常用的图像处理手段，在此不做过多描述。
本实施例中，通过采用图像分割技术对术前扫描图像进行分割，得到第一分割图像；接着，采用三维重建技术对第一分割图像进行重建，得到第一三维模型；对第一三维模型进行转换，得到第一点云模型；其中，第一分割图像中包括目标区域的器官组织信息；通过本实施例中提供的图像转换方法，能够实现将术前扫描图像转换为点云模型，实现图像模态的转换，且本实施例中提供的图像转换方法的转换效果较好。
图5为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备根据术中内窥镜图像生成第二点云模型的一种可选的实现过程，在上述实施例的基础上，如图5所示，上述步骤301包括：
步骤501，采用图像分割技术对术中内窥镜图像进行分割，得到第二分割图像。
其中，第二分割图像中包括目标区域的目标器官信息，该目标器官信息可以包括目前器官的表面信息。
示例性地，在对患者进行腹腔镜手术时，可以在患者腹部表面制造若干个戳卡口，并充入二氧化碳气体以获得充足的手术空间。然后将腹腔镜前端从戳卡口探入腹腔，并选取合适角度使得目标器官最大程度的暴露在腹腔镜的视野内部，然后开始采集术中内窥镜图像，并将该术中内窥镜图像发送至处理设备。
处理设备在得到术中内窥镜图像之后，可以采用图像分割算法对该术中内窥镜图像进行图像分割，得到该第二分割图像；可选地，该第二分割图像可以为表面掩膜图像，该表面掩膜图像中包括器官的表面信息。
步骤502，获取第二分割图像中各像素点的像素值和深度信息。
可选地，可以采用预设的特征提取算法，提取第二分割图像中各像素点的像素值和深度信息。
步骤503，基于各像素点的像素值和深度信息，生成第二点云模型。
可选地，可以基于各像素点的像素值和深度信息，进行三维重建，生成与该术中内窥镜图像对应的第二点云模型。
本实施例中，通过采用图像分割技术对术中内窥镜图像进行分割，得到第二分割图像；获取第二分割图像中各像素点的像素值和深度信息；接着，基于各像素点的像素值和深度信息，生成第二点云模型；其中，第二分割图像中包括目标区域的目标器官信息；通过本实施例中提供的图像转换方法，能够实现将术中内窥镜图像转换为点云模型，实现图像模态的转换，且本实施例中提供的图像转换方法的转换效果较好。
图6为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备对第一点云模型和第二点云模型进行融合，得到第一融合图像的一种可选的实现过程，在上述实施例的基础上，如图6所示，上述步骤302包括：
步骤601，从第一点云模型中确定预设数量的第一配准对象。
可选地，该第一配准对象可以是第一点云模型中的点、线、面。
在对第一点云模型和第二点云模型进行融合时，可以采用对第一点云模型和第二点云模型进行配准的方式实现图像融合，其中，配准可以采用基于点的配准或者基于表面的配准等的配准方式。
示例性地，在采用基于点的配准算法时，可以在第一点云模型和第二点云模型上分别选取若干关键点，然后通过点对的对应关系得到配准矩阵。也就是说，从第一点云模型中确定预设数量的第一配准对象，该第一配准对象为第一点云模型中的第一关键点的特征。
步骤602，从第二点云模型中确定与第一配准对象对应的第二配准对象。
示例性地，在获取到第一点云模型中的预设数量的第一关键点的特征之后，相应地，可以从第二点云模型中获取与第一点云模型中的多个第一关键点对应的多个第二关键点的特征，得到与第一点云模型的第一配准对象对应的第二配准对象。
步骤603，基于第一配准对象和第二配准对象计算配准矩阵。
可选地，可以通过对第一配准对象和第二配准对象进行旋转、平移、几何纠正、投影变换等操作，来获取第一配准对象和第二配准对象之间的配准矩阵。
步骤604，根据配准矩阵对第一点云模型与第二点云模型进行融合，得到第一融合图像。
可选地，可以基于该配准矩阵，将第一点云模型融合至第二点云模型，得到第一融合图像。
本实施例中，通过从第一点云模型中确定预设数量的第一配准对象，再从第二点云模型中确定与第一配准对象对应的第二配准对象；接着，基于第一配准对象和第二配准对象计算配准矩阵，根据该配准矩阵对第一点云模型与第二点云模型进行融合，得到第一融合图像；能够实现对术前重建图像与术中内窥镜重建图像之间的融合处理，提高融合图像的可实施性，以及图像融合的效果。
在本申请的一个可选的实施例中，处理设备在对第一点云模型和第二点云模型进行融合得到第一融合图像时，还可以采用另一种实现方式，即在对第一点云模型和第二点云模型进行配准时，还可以采用基于表面的配准方式。基于表面的配准方式是指在利用第一点云模型的表面和第二点云模型的表面进行配准，从而得到配准矩阵，进而，基于该配准矩阵，将第一点云模型融合至第二点云模型，进而使其能够融合显示在术中内窥镜图像上，得到融合图像。
图7为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像的一种可选的实现过程，在上述实施例的基础上，如图7所示，上述步骤203包括：
步骤701，对术中超声图像进行图像分割处理，得到第三分割图像。
其中，第三分割图像中包括目标区域的血管和肿瘤信息。
示例性地，在对患者进行腹腔镜手术时，可以通过戳卡口插入超声探头，然后选取合适角度下的术中超声图像，使得超声图像包含目标器官和肿瘤组织，接着，将采集到的术中超声图像发送至处理设备。
处理设备在得到术中超声图像之后，可以采用图像分割算法对该术中超声图像进行图像分割，得到该第三分割图像；可选地，该第三分割图像可以为分割掩膜图像，该分割掩膜图像中包括血管和肿瘤等内部组织信息。
步骤702，采用三维重建技术对第三分割图像进行重建，得到第二三维模型。
同样地，三维重建技术也是传统的较为成熟的图像处理技术，在此对于图像重建的具体原理不做详细论述。
步骤703，对第二三维模型进行转换，得到第三点云模型。
同样地，对于本领域技术人员来说，从三维模型转点云也是常用的图像处理手段，在此不做过多描述。
步骤704，对第二点云模型与第三点云模型进行融合，生成第二融合图像。
可选地，可以采用传统的图像融合算法，对第二点云模型和第三点云模型进行融合处理，得到第二融合图像。
本实施例中，通过对术中超声图像进行图像分割处理，得到第三分割图像；采用三维重建技术对第三分割图像进行重建，得到第二三维模型；对第二三维模型进行转换，得到第三点云模型；接着，对第二点云模型与第三点云模型进行融合，生成第二融合图像；其中，第三分割图像中包括目标区域的血管和肿瘤信息；也就是说，本实施例中能够将处于不同模态的术中超声图像以及术中内窥镜图像均转换为相同模态的点云模型，进而对处于相同模态下的第二点云模型和第三点云模型进行图像融合处理，得到第二融合图像，由于相同模态的多张图像易于进行融合处理，因此，能够大大提高图像融合的准确性和图像融合的效率。
图8为另一个实施例中图像融合方法的流程示意图。本实施例涉及的是处理设备对第二点云模型与第三点云模型进行融合，生成第二融合图像的一种可选的实现过程，在上述实施例的基础上，如图8所示，上述步骤704包括：
步骤801，获取第二点云模型在预设的世界坐标系下的第一位置信息。
可选地，内窥镜设备(如上述的腹腔镜)在进入患者的目标区域进行实时移动时，为了实时掌握内窥镜设备的实时位置信息，对该内窥镜设备进行精确定位，可以在该内窥镜设备上集成定位装置，可选地，该定位装置可以是光学定位装置、电磁定位装置等。优选地，可以在该内窥镜设备的末端绑定光学阵列，并且打开光学追踪器用以追踪和记录内窥镜设备的空间位置坐标。
由于该第二点云模型是通过内窥镜设备实时采集的术中内窥镜图像所生成的点云模型，而该术中内窥镜图像是该内窥镜设备当前所在位置对应的内窥镜图像；因此，通过该内窥镜设备的当前位置信息可以确定出该第二点云模型对应的第一位置信息。其中，内窥镜设备的当前位置信息可以通过光学追踪器对内窥镜设备末端绑定的光学阵列进行追踪来确定。
另外，对于预设的世界坐标系，其可以为区别于光学追踪器所在的坐标系之外的任一坐标系，也可以为该光学追踪器所在的坐标系；如果预设的世界坐标系为该光学追踪器所在的坐标系，那么，通过该光学追踪器所获取到的该第二点云模型的位置信息即为该第二点云模型在预设的世界坐标系下的第一位置信息。如果预设的世界坐标系不是光学追踪器所在的坐标系，那么，在通过光学追踪器获取到第二点云模型的位置信息之后，还需要根据光学追踪器所在的坐标系与该预设的世界坐标系之间的变换关系，将第二点云模型在光学追踪器所在的坐标系下的位置信息，转换为在预设的世界坐标系下的第一位置信息。
步骤802，获取第三点云模型在世界坐标系下的第二位置信息。
可选地，超声设备(如上述的超声探头)在进入患者的目标区域进行实时移动时，为了实时掌握超声设备的实时位置信息，对该超声设备进行精确定位，可以在该超声设备上集成定位装置，当然，该定位装置可以是光学定位装置、电磁定位装置等。优选地，可以在该超声设备的前端绑定电磁追踪传感器，同时打开电磁追踪器用以记录超声探头的空间位置坐标。
可选地，如图9所示，可以在内窥镜设备的末端绑定光学阵列1，通过光学追踪器来追踪和记录内窥镜设备的空间位置坐标，也可以在该超声设备的末端绑定光学阵列2，通过光学追踪器来追踪和记录超声设备的空间位置坐标。
可选地，在该预设的世界坐标系为该光学追踪器所在的坐标系的情况下，那么，通过该光学追踪器可以获取到超声设备的当前位置信息，该当前位置信息即为超声设备所采集到的术中超声图像对应的第三点云模型的位置信息，也就是第三点云模型在世界坐标系下的第二位置信息。
可选地，在该预设的世界坐标系不是光学追踪器所在的坐标系，那么，在通过光学追踪器获取到第三点云模型的位置信息之后，还需要根据光学追踪器所在的坐标系与该预设的世界坐标系之间的变换关系，将第三点云模型在光学追踪器所在的坐标系下的位置信息，转换为在预设的世界坐标系下的第二位置信息。
步骤803，基于第一位置信息和第二位置信息，对第二点云模型和第三点云模型进行融合，得到第二融合图像。
本实施例中，通过获取第二点云模型在预设的世界坐标系下的第一位置信息；以及获取第三点云模型在世界坐标系下的第二位置信息；基于第一位置信息和第二位置信息，对第二点云模型和第三点云模型进行融合，得到第二融合图像；本实施例中，通过将第二点云模型和第三点云模型均统一至预设的世界坐标系中，进而根据统一后的位置信息，对第二点云模型和第三点云模型进行融合处理，使得融合后的各器官、组织、血管等的匹配程度较高，融合误差较小，进而使得所得到的融合后的第二融合图像的准确性较高，能够提高融合图像的融合效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像融合方法的图像融合装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像融合装置实施例中的具体限定可以参见上文中对于图像融合方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种图像融合装置1000，包括：获取模块1001、第一融合模块1002、第二融合模块1003和生成模块1004，其中：
获取模块1001，用于获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像。
第一融合模块1002，用于将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像。
第二融合模块1003，用于将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像。
生成模块1004，用于将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
在其中一个实施例中，上述第一融合模块1002包括生成单元和融合单元；其中，生成单元，用于根据术前扫描图像生成第一点云模型，根据术中内窥镜图像生成第二点云模型；第一融合单元，用于对第一点云模型和第二点云模型进行融合，得到第一融合图像。
在其中一个实施例中，上述生成单元，具体用于采用图像分割技术对术前扫描图像进行分割，得到第一分割图像；采用三维重建技术对第一分割图像进行重建，得到第一三维模型；对第一三维模型进行转换，得到第一点云模型；其中，第一分割图像中包括目标区域的器官组织信息。
在其中一个实施例中，上述生成单元，具体用于采用图像分割技术对术中内窥镜图像进行分割，得到第二分割图像；获取第二分割图像中各像素点的像素值和深度信息；基于各像素点的像素值和深度信息，生成第二点云模型；其中，第二分割图像中包括目标区域的目标器官信息。
在其中一个实施例中，上述第一融合单元，具体用于从第一点云模型中确定预设数量的第一配准对象；从第二点云模型中确定与第一配准对象对应的第二配准对象；基于第一配准对象和第二配准对象计算配准矩阵；根据配准矩阵对第一点云模型与第二点云模型进行融合，得到第一融合图像。
在其中一个实施例中，上述第二融合模块1003包括分割单元、重建单元、转换单元和第二融合单元；其中，分割单元，用于对术中超声图像进行图像分割处理，得到第三分割图像；第三分割图像中包括目标区域的血管和肿瘤信息；重建单元，用于采用三维重建技术对第三分割图像进行重建，得到第二三维模型；转换单元，用于对第二三维模型进行转换，得到第三点云模型；第二融合单元，用于对第二点云模型与第三点云模型进行融合，生成第二融合图像。
在其中一个实施例中，上述第二融合单元，具体用于获取第二点云模型在预设的世界坐标系下的第一位置信息；获取第三点云模型在世界坐标系下的第二位置信息；基于第一位置信息和第二位置信息，对第二点云模型和第三点云模型进行融合，得到第二融合图像。
上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种图像融合系统，如图1所示，该图像融合系统包括内窥镜设备、超声设备和处理设备；处理设备分别与内窥镜设备和超声设备通信连接。
其中，内窥镜设备，用于采集患者目标区域的术中内窥镜图像，并将术中内窥镜图像发送至处理设备；超声设备，用于采集目标区域的术中超声图像，并将术中超声图像发送至处理设备；处理设备，用于接收内窥镜设备发送的术中内窥镜图像，以及接收超声设备发送的术中超声图像；另外，该处理设备，还用于获取目标区域的术前扫描图像，并将术前扫描图像与术中内窥镜图像进行图像融合，生成第一融合图像；将术中超声图像与术中内窥镜图像进行图像融合，生成第二融合图像；将第一融合图像、第二融合图像叠加至术中内窥镜图像中，生成目标融合图像。
本申请实施例提供的图像融合系统，其中对于处理设备的实现原理和技术效果与上述图像融合方法的各个实施例类似，在此不再赘述。
在本申请的一个可选的实施例中，该图像融合系统还可以包括追踪设备；该追踪设备，用于对内窥镜设备和超声设备进行实时追踪。可选地，该追踪设备可以是一个，也可以是多个；即可以通过一个追踪设备来共同实现对内窥镜设备和超声设备的实时追踪；当然，也可以通过一个追踪设备来实现对内窥镜设备的实时追踪，通过另一个追踪设备来实现对超声设备的实时追踪；本申请实施例对此并不做限定。
可选地，该追踪设备可以包括光学追踪器和电磁追踪器，其中，电磁追踪器不受光线遮挡，可以“穿透人体”追踪器官表面的电磁传感器的位置，因此超声设备的空间位置信息得到追踪。光学追踪器具有实时精确的优点，但是对遮挡比较敏感，无法“穿透人体”，因此光学追踪器需要追踪绑定在内窥镜末端的光学阵列上的小球，从而内窥镜设备的空间位置坐标信息得到记录。
示例性地，参考图9，在内窥镜设备的末端可以绑定光学阵列1，以使光学追踪器能够追踪该光学阵列1上的小球，从而获得内窥镜设备在光学追踪器所在坐标系下的空间位置坐标。另外，在超声设备的前端绑定电磁传感器、以及在超声设备的末端绑定电磁追踪器和光学阵列2，通过电磁追踪器可以获取到电磁传感器的信号，进而获取到超声设备在电磁追踪器(也就是光学阵列2)所在坐标系下的空间位置坐标；接着，通过光学追踪器能够追踪该光学阵列2上的小球，获取到该光学阵列2在光学追踪器所在坐标系下的空间位置坐标，进而，根据光学阵列2在光学追踪器所在坐标系下的空间位置坐标、以及超声设备在光学阵列2所在坐标系下的空间位置坐标，执行坐标变换操作，即可得到超声设备在光学追踪器所在坐标系下的空间位置坐标。至此，即可实现对内窥镜设备和超声设备的实时追踪。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述处理设备，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储术前扫描图像、术中内窥镜图像以及术中超声图像等图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像融合方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一实施例中的图像融合方法的步骤。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的图像融合方法的步骤。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一实施例中的图像融合方法的步骤。
本实施例提供的计算机程序产品，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像融合方法，其特征在于，所述方法包括：
获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像；
将所述术前扫描图像与所述术中内窥镜图像进行图像融合，生成第一融合图像；
将所述术中超声图像与所述术中内窥镜图像进行图像融合，生成第二融合图像；
将所述第一融合图像、所述第二融合图像叠加至所述术中内窥镜图像中，生成目标融合图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述术前扫描图像与所述术中内窥镜图像进行图像融合，生成第一融合图像，包括：
根据所述术前扫描图像生成第一点云模型，根据所述术中内窥镜图像生成第二点云模型；
对所述第一点云模型和所述第二点云模型进行融合，得到所述第一融合图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述术前扫描图像生成第一点云模型，包括：
采用图像分割技术对所述术前扫描图像进行分割，得到第一分割图像；所述第一分割图像中包括所述目标区域的器官组织信息；
采用三维重建技术对所述第一分割图像进行重建，得到第一三维模型；
对所述第一三维模型进行转换，得到所述第一点云模型。
4.根据权利要求2所述的方法，其特征在于，所述根据所述术中内窥镜图像生成第二点云模型，包括：
采用图像分割技术对所述术中内窥镜图像进行分割，得到第二分割图像；所述第二分割图像中包括所述目标区域的目标器官信息；
获取所述第二分割图像中各像素点的像素值和深度信息；
基于所述各像素点的像素值和深度信息，生成所述第二点云模型。
5.根据权利要求2所述的方法，其特征在于，所述对所述第一点云模型和所述第二点云模型进行融合，得到所述第一融合图像，包括：
从所述第一点云模型中确定预设数量的第一配准对象；
从所述第二点云模型中确定与所述第一配准对象对应的第二配准对象；
基于所述第一配准对象和所述第二配准对象计算配准矩阵；
根据所述配准矩阵对所述第一点云模型与所述第二点云模型进行融合，得到所述第一融合图像。
6.根据权利要求2所述的方法，其特征在于，所述将所述术中超声图像与所述术中内窥镜图像进行图像融合，生成第二融合图像，包括：
对所述术中超声图像进行图像分割处理，得到第三分割图像；所述第三分割图像中包括所述目标区域的血管和肿瘤信息；
采用三维重建技术对所述第三分割图像进行重建，得到第二三维模型；
对所述第二三维模型进行转换，得到第三点云模型；
对所述第二点云模型与所述第三点云模型进行融合，生成所述第二融合图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述第二点云模型与所述第三点云模型进行融合，生成所述第二融合图像，包括：
获取所述第二点云模型在预设的世界坐标系下的第一位置信息；
获取所述第三点云模型在所述世界坐标系下的第二位置信息；
基于所述第一位置信息和所述第二位置信息，对所述第二点云模型和所述第三点云模型进行融合，得到所述第二融合图像。
8.一种图像融合装置，其特征在于，所述装置包括：
获取模块，用于获取患者目标区域的术前扫描图像、术中内窥镜图像及术中超声图像；
第一融合模块，用于将所述术前扫描图像与所述术中内窥镜图像进行图像融合，生成第一融合图像；
第二融合模块，用于将所述术中超声图像与所述术中内窥镜图像进行图像融合，生成第二融合图像；
生成模块，用于将所述第一融合图像、所述第二融合图像叠加至所述术中内窥镜图像中，生成目标融合图像。
9.一种图像融合系统，其特征在于，所述图像融合系统包括内窥镜设备、超声设备和处理设备；所述处理设备分别与所述内窥镜设备和所述超声设备通信连接；
所述内窥镜设备，用于采集患者目标区域的术中内窥镜图像，并将所述术中内窥镜图像发送至所述处理设备；
所述超声设备，用于采集所述目标区域的术中超声图像，并将所述术中超声图像发送至所述处理设备；
所述处理设备，用于接收所述内窥镜设备发送的所述术中内窥镜图像，以及接收所述超声设备发送的所述术中超声图像；
所述处理设备，还用于获取所述目标区域的术前扫描图像，并将所述术前扫描图像与所述术中内窥镜图像进行图像融合，生成第一融合图像；将所述术中超声图像与所述术中内窥镜图像进行图像融合，生成第二融合图像；将所述第一融合图像、所述第二融合图像叠加至所述术中内窥镜图像中，生成目标融合图像。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括追踪设备；
所述追踪设备，用于对所述内窥镜设备和所述超声设备进行实时追踪。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210779803.6A 2022-07-04 2022-07-04 图像融合方法、装置、系统、计算机设备和存储介质 Pending CN115375595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210779803.6A CN115375595A (zh) 2022-07-04 2022-07-04 图像融合方法、装置、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210779803.6A CN115375595A (zh) 2022-07-04 2022-07-04 图像融合方法、装置、系统、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115375595A true CN115375595A (zh) 2022-11-22

Family

ID=84061252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210779803.6A Pending CN115375595A (zh) 2022-07-04 2022-07-04 图像融合方法、装置、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115375595A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710229A (zh) * 2023-12-18 2024-03-15 湖南半岛医疗科技有限公司 一种基于多模态的成像图融合叠加方法及相关装置
CN118236174A (zh) * 2024-03-15 2024-06-25 中国人民解放军空军军医大学 手术辅助系统、方法、电子设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710229A (zh) * 2023-12-18 2024-03-15 湖南半岛医疗科技有限公司 一种基于多模态的成像图融合叠加方法及相关装置
CN118236174A (zh) * 2024-03-15 2024-06-25 中国人民解放军空军军医大学 手术辅助系统、方法、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US11883118B2 (en) Using augmented reality in surgical navigation
US9978141B2 (en) System and method for fused image based navigation with late marker placement
JP6395995B2 (ja) 医療映像処理方法及び装置
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US9138597B2 (en) Quantitative endoscopy
Samei et al. A partial augmented reality system with live ultrasound and registered preoperative MRI for guiding robot-assisted radical prostatectomy
US20090143677A1 (en) Flashlight view of an anatomical structure
CN109464194A (zh) 医学图像的显示方法、装置、医学设备及计算机存储介质
CN115375595A (zh) 图像融合方法、装置、系统、计算机设备和存储介质
Liu et al. Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance
Stolka et al. A 3D-elastography-guided system for laparoscopic partial nephrectomies
Li et al. Towards quantitative and intuitive percutaneous tumor puncture via augmented virtual reality
KR20140052524A (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
Langø et al. Navigation in laparoscopy–prototype research platform for improved image‐guided surgery
De Paolis et al. Augmented reality in minimally invasive surgery
Vogt Real-Time Augmented Reality for Image-Guided Interventions
De Paolis et al. An augmented reality application for minimally invasive surgery
US20220296303A1 (en) Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning
CN116528752A (zh) 自动分割与配准系统及方法
Shahidi et al. Volumetric image guidance via a stereotactic endoscope
Chen et al. Towards transcervical ultrasound image guidance for transoral robotic surgery
US20240225748A1 (en) Planning and performing three-dimensional holographic interventional procedures with holographic guide
Pandya Medical augmented reality system for image-guided and robotic surgery: development and surgeon factors analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination