CN117462256A - 一种手术导航方法、导航系统以及电子设备 - Google Patents

一种手术导航方法、导航系统以及电子设备 Download PDF

Info

Publication number
CN117462256A
CN117462256A CN202311405989.XA CN202311405989A CN117462256A CN 117462256 A CN117462256 A CN 117462256A CN 202311405989 A CN202311405989 A CN 202311405989A CN 117462256 A CN117462256 A CN 117462256A
Authority
CN
China
Prior art keywords
image
medical image
space
feature
image space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311405989.XA
Other languages
English (en)
Inventor
朱星星
吴晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Wuhan Mindray Medical Technology Research Institute Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Wuhan Mindray Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd, Wuhan Mindray Medical Technology Research Institute Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to CN202311405989.XA priority Critical patent/CN117462256A/zh
Publication of CN117462256A publication Critical patent/CN117462256A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本申请实施例公开了一种手术导航方法、导航系统以及电子设备，其中手术导航方法包括在第一医学影像空间中显示第一影像；在第二医学影像空间中显示第二影像；对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征，便于手术实施人员从凭借第二影像能够获得第一影像上的部分信息，提高了临床的便捷性和实用性。

Description

一种手术导航方法、导航系统以及电子设备
技术领域
本申请涉及医疗设备技术领域，特别是涉及一种手术导航方法、导航系统以及电子设备。
背景技术
微创手术已经成为现代外科手术的主流方式。随着微创手术技术的逐步发展，对手术的要求越来越精细。由于精细手术需要准确地辨别手术目标以及周边血管，神经的关系，然而这些器官在实际场景中往往被包裹在各种组织内，很难辨别清楚。
为了解决这个问题，当前临床中会使用CT、MRI等影像学设备对人体进行断层扫描，并使用扫描数据建立人体的三维模型。由于每个人的组织都有其特异性，因此这个模型是为每个病人单独定制的。这些模型建立起来以后，临床医生会将其按器官进行分割，识别出手术目标，保留部分和血管等，以便进行术前分析，并依据这个模型来制定手术方案。
在实施手术时，由于人体结构的复杂性，医护人员较难记住患者器官的位置，术中往往要对三维重建模型进行回顾，利用三维重建模型指导医护人员进行手术，这也称为手术导航。由于内窥镜拍摄的画面和三维重建模型的显示画面是相互独立的，因此在手术过程中，手术实施人员需要来回观察内窥镜拍摄的画面和三维重建模型的画面，临床应用上存在诸多不便。
发明内容
以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种手术导航方法、导航系统以及电子设备，能够在手术导航的过程中实现不同类型影像空间的信息交互，便于医护人员在手术过程中查看手术导航信息。
一方面，本申请实施例提供了一种手术导航方法，包括：
在第一医学影像空间中显示第一影像；
在第二医学影像空间中显示第二影像；
对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的虚拟影像特征。
另一方面，本申请实施例还提供了一种手术导航系统，包括：
显示设备；
内窥镜主机，与所述显示设备连接，用于获取内窥镜摄像头拍摄的第一影像，并通过所述显示设备在第一医学影像空间中显示所述第一影像；
手术导航主机，与所述显示设备以及所述内窥镜主机连接，所述手术导航主机用于获取目标组织的三维重建模型，并根据所述三维重建模型在第二医学影像空间中显示第二影像；
所述手术导航主机还用于：
从所述内窥镜主机中获取所述第一影像，并对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，并通过所述显示设备在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征。
另一方面，本申请实施例还提供了一种手术导航系统，包括：
显示设备；
手术导航主机，与所述显示设备连接，用于获取目标组织的三维重建模型，并根据所述三维重建模型，通过所述显示设备在第一医学影像空间中显示第一影像；
内窥镜主机，与所述显示设备和所述手术导航主机连接，用于获取内窥镜摄像头拍摄的第二影像，并通过所述显示设备在第二医学影像空间中显示第二影像；
所述手术导航主机还用于：
从所述内窥镜主机中获取所述第二影像，并对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，确定所述第一目标特征在所述第二医学影像空间中的影像特征；
所述内窥镜主机还用于从所述手术导航主机中获取所述影像特征，并通过所述显示设备在所述第二医学影像空间中叠加显示所述第一目标特征的所述影像特征。
另一方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的手术导航方法。
另一方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的手术导航方法。
本申请实施例至少包括以下有益效果：在第一医学影像空间显示第一影像，以及在第二医学影像空间显示第二影像，通过在第一影像和第二影像中相对应的信息进行配准，得到第一医学影像空间和第二医学影像空间之间的空间对应关系，通过空间对应关系以及第一目标特征在第一医学影像中的空间位置信息，生成并在第二医学影像空间对应的位置叠加第一目标特征的影像特征，从而将第一影像上的信息叠加至第二影像上进行显示，使得手术导航中显示的两种影像实现信息同步，使得手术实施人员能够凭借第二影像能够获得第一影像上的部分信息，减少了来回观察内窥镜拍摄的画面和三维重建模型的画面的次数，提高了手术导航的临床便捷性以及实用性；并且，第一影像和第二影像的信息叠加形成了信息增强的效果，使得手术实施人员更容易的了解当前术野可见以及不可见的情况，降低了手术的难度，减少了内窥镜带来的术野限制。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请一个实施例提供的一种可选的手术导航方法的流程图；
图2为本申请一个实施例提供的叠加重建模型特征的显示效果图；
图3为本申请一个实施例提供的叠加标记图像特征的显示效果图；
图4为本申请另一个实施例提供的手术导航方法的流程图；
图5为本申请一个实施例提供的叠加第二影像特征的流程图；
图6为本申请一个实施例提供的叠加标记图像的流程图；
图7为本申请一个实施例提供的在荧光图像叠加第一目标特征的影像特征的流程图；
图8为本申请一个实施例提供的第一影像和第二影像的显示结果匹配的流程图；
图9为本申请一个实施例提供的第一影像和第二影像的视角和/或形貌匹配的流程图；
图10为本申请一个实施例提供的第一影像和第二影像相互叠加影像特征的流程图；
图11为本申请一个实施例提供的一种手术导航系统的示意性结构图；
图12为本申请一个实施例提供的终端的部分结构框图；
图13为本申请另一个实施例提供的终端的部分结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。其中，目标对象可以是用户。此外，当本申请实施例需要获取目标对象属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象相关数据。
为便于理解本申请实施例提供的技术方案，这里先对本申请实施例使用的一些关键名词进行解释：
微创手术：利用腹腔镜、胸腔镜等现代医疗器械及相关设备进行的手术,目的是努力维持病人内环境稳定，降低手术带来的损害，减少手术对身体带来的影响,以最小的组织器官创伤、最轻的全身应激反应、最完美的伤口愈合，最终达到最理想的医疗效果
电子计算机断层扫描(Computed Tomography，CT)：利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同对人体的某一部位一定厚度的层面进行扫描，探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模数字转换器(ADC)转为数字信号，输入计算机处理，得到扫描数据或者扫描图像。
磁共振成像(Magnetic Resonance Imaging，MRI)：一种非侵入性成像技术,通过使用强大的磁铁产生强大的磁场，迫使体内的质子与该磁场对齐。然后产生一定的射频场，当射频电流通过患者脉冲时，质子受到刺激，并失去平衡，从而抵抗磁场的拉力。当射频场关闭时，MRI传感器能够检测到质子与磁场重新对齐时释放的能量时产生的电磁信号，通过计算机计算得到MRI图像。
微创手术已经成为现代外科手术的主流方式。随着微创手术技术的逐步发展，对手术的要求越来越精细。由于精细手术需要准确地辨别手术目标以及周边血管，神经的关系，然而这些器官在实际场景中往往被包裹在各种组织内，很难辨别清楚。
为了解决这个问题，当前临床中会使用CT、MRI等影像学设备对人体进行断层扫描，并使用扫描数据建立人体的三维模型。由于每个人的组织都有其特异性，因此这个模型是为每个病人单独定制的。这些模型建立起来以后，临床手术实施人员会将其按器官进行分割，识别出手术目标，保留部分和血管等，以便进行术前分析，并依据这个模型来制定手术方案。
在实施手术时，由于人体结构的复杂性，医护人员较难记住患者器官的位置，术中往往要对三维重建模型进行回顾，利用三维重建模型指导医护人员进行手术，这也称为手术导航。由于内窥镜拍摄的画面和三维重建模型的显示画面是相互独立的，因此在手术过程中，手术实施人员需要来回观察内窥镜拍摄的画面和三维重建模型的画面，临床应用上存在诸多不便。
基于此，本申请提供一种手术导航方法、导航系统以及电子设备，能够在手术导航的过程中实现不同类型影像空间的信息交互，便于医护人员在手术过程中查看手术导航信息。首先，先对手术导航方法的各个实施例进行详细说明。
参照图1，图1为本申请实施例提供的一种可选的手术导航方法的流程图。该方法包括但不仅限于步骤S100至步骤S500：
步骤S100，在第一医学影像空间中显示第一影像。
本步骤中，第一影像为二维图像和三维图像上的一种，对应的，第一医学影像空间为二维影像空间或者三维影像空间。
需要注意的是，在本申请提供的手术导航方法所出现的医学影像空间指的是一种虚拟空间，医学影像空间根据影像中的某一个参照点建立空间参考系，从而使得影像上的部分信息可以通过在医学影像空间建立的空间参考系进行表达。在本申请的各个实施例中，医学影像空间可以是固定的，也可以是灵活变动的，手术实施人员可以根据实际情况在术前设定医学影像空间，也可以在术中临时更改医学影像空间，本申请实施例对此不作限定。
具体地，第一影像为内窥镜图像以及三维重建模型中的一种。当第一影像为内窥镜图像时，内窥镜图像可以为二维图像，也可以为三维图像。
对于二维的内窥镜图像，内窥镜摄像头是类如CMOS等普通的单目摄像头，内窥镜摄像头拍摄实时的影像只能通过摄像头的显卡进行一定的滤波等相关的图像处理，以此得到内窥镜图像，此类内窥镜图像只带有二维的空间位置信息。
对于三维的内窥镜图像，内窥镜摄像头是一个三维摄像头，内窥镜摄像头拍摄实时的影像会通过一定的立体视觉算法，进行立体影像处理形成双目效果，得到内窥镜图像，因此，三维的内窥镜图像带有三维的空间位置信息。
需要注意的是，由于内窥镜手术的限制、内窥镜摄像头的尺寸以及光学镜组的限制，手术实施人员通过内窥镜摄像头能够获取的术野有限，为了手术能够进行，内窥镜摄像头一般都是需要部署于目标组织所在的腔内，并且，在术中会调整内窥镜摄像头在人体内的角度或者通过调整光学镜组的光圈、焦距等光学参数以对显示的内窥镜图像产生放大或者缩小的效果，这些操作都会影响在术野能够观察的信息。为了保证对目标组织观察，手术实施人员对内窥镜摄像头的调整都会保证术野中能够观察到目标组织，也即内窥镜图像包括目标组织图像，其次才是目标组织以外的组织。这里的目标组织指的是需要进行内窥镜手术的特定器官组织，比如，在胆囊手术中，目标组织为包括胆囊在内的一部分胃部组织，或者需要注意的脉管组织(切除胆囊需要进行止血血管连接等手术操作)；再比如在肝脏肿瘤手术，目标组织为肿瘤组织或者需要注意的脉管组织等。
对于三维重建模型，三维重建模型指的是目标组织图像的三维重建模型，在本申请中，三维重建模型表示的人体器官组织涵括目标组织或者为目标组织本体，从而能够更全面的观察目标组织的情况。三维重建模型可以在术前通过CT、MRI等影像学设备对目标组织的所在位置进行断层扫描，通过扫描得到的数据建立一个关于目标组织的三维重组模型；亦或者可以在术中，通过手术室设置的CT等影像学设备对目标组织进行术中断层扫描，根据当前扫描得到的数据重新建立一个关于目标组织的三维重建模型，以方便手术实施人员根据目标组织当前的情况调整手术策略。
步骤S200，在第二医学影像空间中显示第二影像。
本步骤中，第二影像与第一影像互为相对影像，第二影像为二维图像和三维图像上的一种，第二医学影像空间与第二影像相对应。
具体地，第二影像为内窥镜图像以及三维重建模型中的一种。当第一影像为内窥镜图像，则第二影像为三维重建模型，此时的第二影像为三维图像；当第一影像为三维重建模型，则第二影像为内窥镜图像，此时第二影像可以为二维图像，也可以为三维图像。
步骤S300，对第一影像和第二影像进行配准，确定第一医学影像空间和第二医学影像空间之间的空间对应关系。
本步骤中，影像配准基于两个影像中的相同的组织进行配准。由于已建立的三维重建模型一定会包括目标组织，以及内窥镜摄像头一定会观察到目标组织，两者在医学上是一一对应的，也就是说，内窥镜图像上所看到的目标组织或者其他组织都能在三维重建模型上找到对应的模型结构。因此，可以通过内窥镜图上的组织图像与三维重建模型上的模型结构确定两个医学影像空间的空间对应关系。
在本步骤中，通过预训练好的神经网络模型对内窥镜图像进行识别以及三维重建模型进行识别，识别出在医学上对应的组织和模型结构，获取两者在各自医学影像空间中的空间位置信息，根据两个空间位置信息确定空间对应关系。
步骤S400，从第一影像中提取第一目标特征，确定第一目标特征在第一医学影像空间中的空间位置信息。
本步骤中，第一目标特征指的是在第一影像中需要被关注的特定信息，需要注意的是，这里第一目标特征多样，通过预训练好的神经网络模型进行识别以及提取，可以是神经网络模型预先训练好的固定识别目标，也可以是在多个预先训练好的固定识别目标范围内，根据手术实施人员自行输入的识别目标。当第一影像为内窥镜图像时，第一目标特征则是内窥镜图像中部分图像或者整个内窥镜图像，根据第一医学影像空间的空间参考系获取第一目标特征在图像上的位置，从而确定空间位置信息。
当第二影像为三维重建模型时，第一目标特征则是三维重建模型上的部分模型结构，根据第一医学影像空间的空间参考系获取部分模型结构在整个三维重建模型的位置，从而确定空间位置信息。
需要注意的是，从第一影像中提取第一目标特征的具体方法是多样的，可以为以下实施例，也可以为其他实施例，本申请实施例对此不作限定。
在一些实施例中，可以采用传统的基于滑窗的方法，对第一影像内的第一目标特征进行特征提取操作，特征提取方法可以采用传统的PCA(Principal ComponentAnalysis，主成分分析)、LDA(Linear Discriminate Analysis，线性判别分析)、Harris特征点检测、纹理特征等，也可以采用深度神经网络，如CNN(Convolutional NeuralNetworks，卷积神经网络)、ResNet(残差网络)、VGG(Visual Geometry Group Network)等一种或多种提取操作组合使用进行特征提取，然后将提取到的具体的第一目标特征的特征信息与数据库记录的目标组织的特征信息进行匹配，采用支持向量机、神经网络、最邻近分类、随机森林等分类器进行分类，从而确定第一目标特征。
在一实施例中，可以采用图像分割的方法对第一影像内的第一目标特征进行特征提取操作，图像分割可以采用主动轮廓模型(Active Contours Model,ACMs)、掩膜区域卷积神经网络(Mask Region-CNN，Mask R-CNN)等模型或者网络实现，通过图像分割将第一目标特征从第一影像中分割出来(即提取第一目标特征)。
在一些实施例中，还可以采用基于深度学习的边界框回归方式对第一影像进行第一目标特征提取，具体地，可通过堆叠基层卷积层和全连接层来对构建的数据库进行具体地的第一目标特征的学习和参数的回归，对于输入的第一影像，可以通过神经网络直接回归得到对应的第一目标特征的边界框，并确定第一目标特征，其中，神经网络包括但不限于R-CNN(Region-based Convolutional Neural Networks)、Fast R-CNN(Fast Region-based Convolutional Neural Networks)、Faster-RCNN、SSD、YOLO等。
步骤S500，根据第一目标特征的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，在第二医学影像空间中叠加显示第一目标特征的影像特征。
具体地，在目前的内窥镜手术中，一般通过三维重建模型实现手术导航效果，但是，第一医学影像空间和第二医学影像空间相互独立，使得内窥镜图像和三维重建模型在各自的影像空间中并不存在影像关联，只存在医学关联，使得第一影像上的信息无法在第二影像上叠加显示，比如，内窥镜摄像头改变术野视角或者翻动目标组织时，三维重建模型静止不动，或者，手术实施人员转动三维重建模型或者解构三维重建模型时，内窥镜图像上不会显示三维重建模型上的任何信息等，这就使得手术实施人员在使用手术导航时，需要耗费相当的注意力来回观察第一影像和第二影像，并且需要耗费一定的精力辨别第一影像和第二影像上对应的信息。
为了实现内窥镜图像和三维重建模型进行信息同步，需要将内窥镜图像上的信息向三维重建模型上进行映射，和/或将三维重建模型上的信息向内窥镜图像上进行映射。而第一医学影像空间和第二医学影像空间存在空间参考系差异，并且两者显示的图像一个为实体图像(即内窥镜图像)，另一个为虚拟图像(即三维重建模型)，甚至，两者还存在维度差异(即一个是三维图像，另一个是二维图像的情况)，上述差异使得第一影像上的信息无法直接显示与第二影像中，需要对第一目标特征进行一定的影像转换，倘若直接显示会产生叠加图像错误、叠加位置错误而当情况出现，产生干扰术野等问题。
在本步骤中，根据第一目标特征的空间位置信息和两个医学影像空间之间的空间对应关系，确定第一目标特征在第二医学影像空间中的位置，根据第一目标特征及其在第二医学影像空间中的位置，在第二医学影像空间内进行影像转换，在第二医学影像空间中对应的位置生成一个影像特征，将影像特征叠加于第二影像上。
在一实施例中，生成影像特征的方法为传统图像处理方法。具体地，通过图像处理方法对第一目标特征在不同的方向进行如拉伸、翻转、压缩等图像处理形成影像特征。
在一实施例中，生成影像特征的方法通过神经网络模型实现。具体地，通过神经网络模型中的卷积层和全连接层对第一目标特征进行特征提取，得到特征信息，根据特征信息进行多次深度卷积，并通过编码器生成第一目标特征的影像特征。进一步地，生成影像特征的神经网络包括就但不仅限于PixelRNN(Pixel Recurrent Neural Networks)、VAE(Variational Autoencoder)、GAN(Generative Adversarial Network)等。
需要注意的是，这里的叠加显示的方式是多样的，根据影像特征的属性确定具体的叠加形式，包括但不仅限于以下实施例。
在一实施例中，影像特征为图像特征，即根据第一目标特征生成一个图像。图像特征不是在三维模型上直接添加或者在内窥镜图像上直接添加，而是以建立图层的形式进行图层叠加，将映射的信息和原医学影像空间的图像设置于不同的图层，减少映射的信息原医学影像空间的图像，并且，也方便手术实施人员通过是否显示某一图层的形式显示/隐藏映射的信息，提高手术导航的便捷性。
另一实施例中，对于第一影像为内窥镜图像，第二影像为三维重建模型这一应用场景，影像特征为模型特征，即根据第一目标特征重新生成模型结构，根据第一目标特征在第二医学影像空间中的位置，将重新生成的模型结构叠加至已有的三维重建模型上，形成复合模型。
以第一影像为内窥镜图像，第二影像为三维重建模型为例，说明上述步骤S100至步骤S500的应用实施例：
具体地，对内窥镜图像进行特征识别，在内窥镜图像中识别出特定的器官组织。因此内窥镜图像会携带图像上各组织的空间位置信息，由此，在识别出特定的器官组织后，根据内窥镜图像提取特定器官组织的空间位置信息。
与此同时，根据识别出特定的器官组织在三维重建模型上识别出对应的模型部分，而三维重建模型包括多个模型结构，每个模型结构都是通过多个坐标数据形成，换而言之，三维重建模型是一个坐标数据集合体，根据识别出对应的模型部分提取得到在三维重建模型所在的医学影像空间的空间位置信息。此时，根据在内窥镜图像上提取到的特定器官组织的空间位置信息，以及在三维重建模型上提取到的特定器官组织的空间位置信息进行配准，得到第一医学影像空间和第二医学影像空间之间的空间对应关系。
需要注意的是，这里的特定的器官组织是多样的，可以为目标组织，也可以为术野中目标组织以外的器官组织等，本申请实施例对此不作限定。
在得到空间对应关系后，从第一影像中的提取第一目标特征，在第一医学影像空间内，提取第一目标特征的空间位置信息，该空间位置信息表示第一目标特征在第一医学影像空间中的位置，由此，根据上述所说的空间对应关系和得到的空间位置信息，得到第一目标特征在第二医学影像空间中的位置，并且，根据第一目标特征在第二医学影像空间中生成对应的影像特征，与第二影像一同显示，形成叠加效果。
本申请实施例通过在第一医学影像空间显示第一影像，以及在第二医学影像空间显示第二影像，通过在第一影像和第二影像中相对应的信息进行配准，得到第一医学影像空间和第二医学影像空间之间的空间对应关系，通过空间对应关系以及第一目标特征在第一医学影像中的空间位置信息，生成并在第二医学影像空间对应的位置叠加第一目标特征的影像特征，从而将第一影像上的信息叠加至第二影像上进行显示，使得手术导航中显示的两种影像实现信息同步，使得手术实施人员能够凭借第二影像能够获得第一影像上的部分信息，减少了来回观察内窥镜拍摄的画面和三维重建模型的画面的次数，提高了手术导航的临床便捷性以及实用性；并且，第一影像和第二影像的信息叠加形成了信息增强的效果，使得手术实施人员更容易的了解当前术野可见以及不可见的情况，降低了手术的难度，减少了内窥镜带来的术野限制。
需要注意的是，在本申请的手术导航方法所提供的各个实施例中，会存在第一影像为内窥镜图像，第二影像为三维重建模型，以及第一影像为三维重建模型，第二影像为内窥镜图像的两种应用场景，每种应用场景由于映射对象不同(包括单向映射和双向映射，单向映射即内窥镜图像叠加至三维重建模型，或三维重建模型叠加至内窥镜图像；双向映射即内窥镜图像和三维重建模型相互叠加)，第一目标特征以及影像特征在不同应用场景中的具体内容不同。
在一实施例中，第一影像为内窥镜图像，第二影像为三维重建模型，这里的影像特征包括但不仅限于重建影像特征和/或拍摄图像特征，需要注意的是，这里的重建影像特征指的是在第二医学影像空间中，根据第一目标特征进行特征重建得到的重建特征，包括但不仅限于第一目标特征的重建模型特征和第一目标特征的标记图像特征两个中的至少之一。
其中，重建模型特征即上述重新生成的模型结构。进一步地，模型结构包括但不仅限于表面模型结构和立体模型结构，表面模型结构即三维重建模型的表面，将第一目标特征生成的表面模型结构叠加于三维重建模型上，对三维重建模型的部分表面进行覆盖，形成第一目标特征和三维重建模型的融合；立体模型结构即三维重建模型的一部分，确定第一目标特征在三维重建模型上对应的模型结构，根据上述的表面模型结构生成方式以及现有的模型结构数据，重新生成一个模型结构，并替换掉原模型结构。
标记图像特征即标记信息的标记图像，进一步地，标记信息包括但不仅限于目标组织和/或目标组织的局部组织的轮廓标记或者指示标记、手术器械的指示标记、内窥镜摄像头视角标记等。
同时，第一目标特征包括但不仅限于如下至少之一：
目标组织图像；
目标组织图像中的局部特征图像；
目标组织图像的标记特征；
手术器械图像。
其中，标记特征指的是目标组织图像中出现的标记图像部分(区别于下方出现的荧光图像)，这些标记是在术中通过手术器械在目标组织上标示得到，包括但不仅限于通过手术器械在目标组织上进线纳米炭注射标记、在术前未使用造影剂得情况下通过术中注射染色剂产生的脉管、组织等荧光标记。
局部特征图像指的是目标组织图像中的特定图像部分，包括但不仅限于荧光图像、特定组织图像等。在内窥镜图像中，由于内窥镜摄像头伸入人体腔内，能够在一定程度上显示人体的血管、淋巴管等脉管组织，这些脉管组织通常较为规则、管面平滑且与周围组织边界分明，容易识别；而荧光图像则是通过造影剂和内窥镜摄像头产生的激发光得到，目标组织受到造影剂的影响，在目标组织图像上形成颜色对比鲜明的多个图像部分。
其中，对于目标组织图像出现的荧光特征而言，荧光图像与荧光标记的区别在于荧光范围的大小，荧光图像显示的是目标组织上大范围产生荧光的组织，荧光标记在内窥镜图像上显示为目标组织上出现的荧光点或荧光线标记。
手术器械图像指的是内窥镜图像上出现的手术器械的部分，出现的手术的器械可以是一个或多个，进一步地，手术器械图像包括但不仅限于超声刀图像、止血钳图像、吸引器图像等。
在一具体实施例中，局部特征图像为内窥镜摄像头拍摄得到的荧光图像，影像特征包括但不仅限于荧光图像在第二医学影像空间中的重建图像、拍摄图像或者标记图像，在肿瘤手术中产生的荧光图像，患者需要在术前服用类如吲哚菁绿(indocyanine green，ICG)等造影剂，造影剂由于肿瘤在正常组织中的占位作用而在肿瘤处产生积累进行肿瘤造影，以及在血管中留存进行血管造影，或者在某些手术中，需要在术中临时注射造影剂进行组织造影。而内窥镜摄像头一般需要配合光源进行使用，通过光源产生的激发光对造影剂进行激发从而产生辐射光，通过内窥镜摄像头配合一定的滤光设备，或者对内窥镜图像以进行一定的图像处理，得到荧光图像。
对于重建图像而言，通过对荧光图像进行特征提取，根据提取的特征信息进行图像生成，得到重建图像，将重建图像叠加于第二医学影像空间的对应位置上。进一步地，重建图像上可以根据荧光图像上的信息出现其他标记信息、增强信息等图像信息，比如，根据荧光图像显示的内容生成与三维重建模型色调匹配的图像，并在图像上增加组织、脉管、神经标识；亦或者，对荧光图像上的出现组织形态进行增强，显示表面脉络。
对于拍摄图像而言，通过对荧光图像进行一定的图像处理，将原来的荧光图像直接叠加至第二医学影像空间中。进一步地，这里的图像处理包括但不仅限于画面处理、长宽比处理、色彩处理等。
对于标记图像而言，与重建图像相似，采用特征提取的方式，根据特征信息生成与荧光图像对应的标记图像，从而在三维重建模型上标记荧光图像上的内容。进一步地，标记图像包括边缘标记图像，将荧光图像上产生荧光的组织的边缘进行标示；或者，只是箭头标记图像，将荧光图像上产生荧光的组织所对应的模型结构通过箭头进行可视化指示等。
当第一影像为内窥镜图像，第二影像为三维重建模型时，步骤S100至步骤S500具体有但不仅限于如下实施例：
在一实施例中，影像特征为拍摄图像特征，在内窥镜图像提取包括第一目标特征在内的部分图像，根据空间对应关系以及第一目标特征在第一目标特征的空间位置信息，在第二医学影像空间中对应的位置形成一个新的图层，在这个图层中显示在内窥镜图像提取的图像，从而进行实体投影。其中，拍摄图像特征包括但不仅限于目标组织图像，目标组织中的局部组织图像等，在三维重建模型上，拍摄图像特征能够实时显示当前术野中的组织情况，使得手术实施人员能够清楚直观的知晓当前术野所观察的位置，以及目标组织的周围组织的情况。
另一实施例中，影像特征为重建模型特征，根据第一目标特征以及其空间位置信息进行点云数据提取，得到第一目标特征的点云特征，进行模型结构重建，生成重建模型特征，将生成的重建模型特征与先前的三维重建模型进行叠加，从而在三维重建模型上显示重建模型特征。其中，重建模型特征包括但不继续仅限于部分组织或者手术器械的模型结构、整体的组织或者手术器械模型结构。在第二医学影像空间中，当三维重建模型的体积较大，则通过生成部分组织或者手术器械的模型结构以减少第二影像的处理数据量；当三维重建模型的体积较小，可以根据第一目标特征重新生成一个新的三维重建模型或者增加完整的手术器械模型。
举例而言，见图2，对于目标组织图像、目标组织图像中的局部特征图像或者标记特征，通过这些图像提取目标组织或者目标组织的局部的点云数据，得到点云特征，根据点云特征生成目标组织或者目标组织的局部的重建模型特征，根据空间位置信息以及空间对应关系将重建模型特征叠加至第二医学影像空间中的对应位置，从而与三维重建模型进行叠加，显示当前术野所看到的组织相对于所属器官组织的虚拟位置。
再举例而言，对于手术器械图像，通过手术器械图像提取手术器械的点云数据，得到点云特征，根据点云特征生成手术器械的，根据空间位置信息以及空间对应关系将重建模型特征叠加至第二医学影像空间中的对应位置，从而与三维重建模型进行叠加，在三维重建模型上显示出一个手术器械模型结构。
另一实施例中，影像特征为标记图像特征，根据第一目标特征以及其空间位置信息生成在第二医学影像空间中对应的位置生成标记图像特征，在三维重建模型上叠加该标记图像特征，从而将第一目标特征在三维重建模型上标示出来。
举例而言，见图3，对于目标组织图像、目标组织图像中的局部特征图像或者标记特征，识别目标组织或者目标组织的局部的轮廓，并得到轮廓数据，根据空间位置信息以及空间对应关系将轮廓数据映射至第二医学影像空间中的对应位置，根据轮廓数据生成类如轮廓、中心线、标注箭头等标记图像特征，将目标组织、目标组织中的局部或者标记特征在三维重建模型中进行标示。
再举例而言，对于手术器械图像，根据手术器械图像识别出手术器械的类型，以及手术器械的尖端、手术器械的走向等三维数据，根据空间位置信息以及空间对应关系将这些三维数据映射至第二医学影像空间中的对应位置，根据这些三维数据以及手术器械的类型生成手术器械的标记图像特征，从而在三维重建模型上显示手术器械的标记以及手术器械的走向。
另一实施例中，影像特征同时包括重建模型特征以及标记图像特征，目标组织图像上包括手术器械图像、局部特征图像等，不同类型的第一目标特征对应的影像特征不同，将第一目标特征映射至第二医学影像空间中，通过重建模型特征以及标记图像特征在三维重建模型上复合表示内窥镜图像上的信息。
另一实施例中，第一影像为三维重建模型，第二影像为内窥镜图像，内窥镜图像包括目标组织图像，三维重建模型为目标组织图像的三维重建模型。第一目标特征包括但不仅限于以下之一：三维重建模型中的目标组织结构和三维重建模型中的手术导航标记特征。需要注意的是，这里的目标组织结构包括但不仅限于肿瘤结构、脉管结构、神经结构中的至少一种；这里的手术导航标记特征指的是区别于组织结构外的标记特征，包括但不仅限于手术方案标记、术中需要谨慎对待的组织结构的标示标记等。
同时影像特征包括但不仅限于重建影像特征，需要注意的是，在这一实施例中，重建影像特征指的是在第二医学影像空间中，根据第一目标特征进行特征重建得到的图像特征，这些图像特征叠加于内窥镜图像上形成复合图像，包括但不仅限于标记图像特征，具体地，影像特征包括以下至少之一：目标组织结构的重建图像和目标组织结构的标注图像(对应于标记图像特征)。需要注意的是，这里的重建图像是根据三维模型中的目标组织结构生成的增强图像，叠加于内窥镜图像上达到现实增强的视觉效果。
当第一影像为三维重建模型，第二影像为内窥镜图像时，步骤S100至步骤S500具体有但不仅限于如下实施例。
在一实施例中，影像特征为重建图像。在第一医学影像空间中，确定目标组织结构或者手术标记特征的空间位置信息，根据空间对应关系确定目标组织结构或者手术标记特征在第二医学影像空间中的空间位置信息。将目标组织结构或者手术标记特征转换为虚拟影像，并将虚拟影像映射至内窥镜图像上，内窥镜图像上的目标组织图像将会叠加显示这些虚拟影像，以在目标组织图像上标示出目标组织的内部组织结构，亦或者是在术前制定的手术方案标记。
举例而言，以肿瘤手术为例，第一目标特征为目标组织结构，在这一场景中的目标组织结构包括肿瘤结构、脉管结构以及神经结构，根据目标组织结构的空间位置信息以及空间对应关系，在目标组织图像上，叠加显示重建的肿瘤结构图像、脉管结构图像、神经结构图像，从而在目标组织图像标示出肿瘤的形状、脉管以及神经的走向，便于手术实施人员对于肿瘤结构进行切除。
再举例而言，以肿瘤手术为例，第一目标特征为手术导航标记特征，在这一场景中的手术导航标记特征包括肿瘤切除标记、周围组织清扫标记以及淋巴结清扫标记。根据手术导航标记特征的空间位置信息以及空间对应关系，在目标组织图像上，叠加显示肿瘤切除标记、周围组织清洗标记以及淋巴结清洗标记，便于手术实施人员能够直观的观察到肿瘤切除的下刀点以及肿瘤的切除范围(在实际情况下，肿瘤组织不一定完全切除)、清扫周围组织的下刀点以及清扫范围，以及清扫淋巴结的下刀点以及清扫范围。
另一实施例中，影像特征为标注图像。在第一医学影像空间中，确定目标组织结构或者手术标记特征的空间位置信息，根据空间对应关系确定目标组织结构或者手术标记特征在第二医学影像空间中的空间位置信息。根据具体的目标组织结构或者手术标记特征在第二医学影像空间中的对应位置生成对应的标注，形成标注图像，将标注图像以图层叠加的方式在内窥镜图像上显示第一医学影像空间中的标注信息以及原本的目标组织图像。
参见图4，本申请提供的手术导航方法中的步骤S100和步骤S200包括但不仅限于步骤S600。
步骤S600，控制显示设备在第一医学影像空间中显示第一影像，以及在第二医学影像空间中显示第二影像。
在本步骤中，显示设备是多样的，通过显示设备可以实现同屏显示第一影像和第二影像，或者实现单屏幕显示第一影像和第二影像。
在一实施例中，显示设备包括第一显示器，用于同屏显示第一医学影像空间中的第一影像和第二医学影像空间中的第二影像。具体地，内窥镜摄像头配置于内窥镜主机上，内窥镜摄像头拍摄得到的内窥镜图像通过内窥镜主机处理得到，而三维重建模型则是通过手术导航主机得到，内窥镜主机和手术导航主机同时连接第一显示器，第一影像和第二影像被输出至第一显示器上。其中，第一显示器同时显示第一影像和第二影像的方式是多样的，比如第一影像和第二影像可以左右并列，也可以上下并列，也可以通过“画中画”的形式将一个影像显示与一个影像之中等。
另一实施例中，显示设备包括第二显示器和第三显示器，第二显示器和第三显示器中的一个用于显示第一医学影像空间中的第一影像，另一个用于显示第二医学影像空间中的第二影像。具体地，内窥镜主机和手术导航主机连接，内窥镜主机单独使用两个显示器中的一个进行显示，手术导航主机使用另一个显示器进行显示。其中，第二显示器和第三显示器的显示第一影像和第二影像的方式是多样的，比如，可以将第一影像固定显示于第二显示器以及将第二影像固定显示于第三显示器，也可以两者进行切换，即第二显示器显示第一影像，第三显示器显示第二影像，当进行显示切换后，第二显示器显示第二影像，第三显示器显示第一影像。
参见图5，上述步骤S500包括但不仅限于步骤S501至步骤S503：
步骤S501，根据第一目标特征在第一影像中的空间位置信息，确定第一目标特征在第一医学影像空间中的第一影像特征。
步骤S502，根据第一目标特征的第一影像特征，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，将第一影像特征映射至第二医学影像空间，得到第二医学影像空间中的第二影像特征。
步骤S503，根据第二影像特征在第二医学影像空间中的位置，在第二医学影像空间中叠加显示第二影像特征。
应该理解的是，这里的第一影像特征与步骤S500中的影像特征不同，第一影像特征指的是在第一目标特征向第二医学影像空间叠加影像特征的过程中所产生的中间特征信息，示例性的，如点云特征(对应于重建模型特征)、第一目标特征的影像(对应于拍摄图像特征)、第一目标特征的边缘轮廓(对应于标记图像特征)等，第二影像特征为步骤S500中所说的影像特征。
在一实施例中，第一影像为内窥镜影像，第二影像为三维重建模型，根据第一目标特征在内窥镜图像中的空间位置信息，从内窥镜图像提取第一目标特征在第一医学影像空间中的第一表面点云特征(对应于第一影像特征)，第一表面点云特征用于表示器官组织表面的三维坐标数据，此处为了方便阐述本实施例，以第一目标特征为目标组织图像，第二影像特征为重建模型特征为例进行说明，其他具体的第一目标特征的实施例可以参照本实施例。
根据步骤S300中得到的空间对应关系以及第一表面点云特征的空间位置信息，确定目标组织表面在第二医学影像空间中的对应位置，即确定第一表面点云特征在第二医学影像空间中的空间位置信息，由此，将第一表面点云特征映射至第二医学影像空间中，得到第二表面点云特征，根据第二点云特征形成重建模型特征(对应于第二影像特征)，得到一个目标组织表面模型结构或立体模型结构，与三维重建模型重叠或者融合，从而在第二医学影像空间中叠加显示重建模型特征。其中，重建模型特征可以通过高亮、改变周围颜色等方式进线凸显，便于手术实施人员明确所叠加的重建模型特征。
另一实施例中，第一影像为内窥镜影像，第二影像为三维重建模型，根据第一目标特征在内窥镜图像中的空间位置信息，从内窥镜图像中将第一目标特征所在的图像部分分离出来，得到表面图像特征(对应于第一影像特征)，此处以第一目标特征为目标组织图像，第二影像特征为拍摄图像特征为例进行说明，其他具体的第一目标特征的实施例可以参照本实施例。
根据空间对应关系以及表面图像特征在第一医学影像空间中的空间位置信息，将表面图像特征映射至第二医学影像空间中，形成拍摄图像特征，得到一个第一目标特征的在三维重建模型上的投影画面，从而在第二医学影像空间中叠加显示拍摄图像特征。
其中，显示的拍摄图像特征可以根据三维重建模型的表面进行图像处理，比如，三维重建模型的表面平坦，则拍摄图像特征可以以平铺图层的形式叠加，三维重建模型的表面凹凸不平，拍摄图像特征根据三维重建模型的表面进行拉伸或者压缩，使得拍摄图像特征与三维重建模型的表面凹凸程度相匹配。
本申请实施例通过第一影像特征、空间位置信息和空间对应关系在第二医学影像空间中生成第二影像特征，使得实际图像信息能够叠加至虚拟模型中，实现虚拟增强的效果，使得三维重建模型上显示的信息更贴近术野，提高了手术导航信息的真实性以及可靠性。
参见图6，上述步骤S500包括但不仅限于步骤S504至步骤S505：
步骤S504，根据第一目标特征在第一影像中的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，确定第一目标特征在第二医学影像空间中的标记图像。
步骤S505，在第二医学影像空间中叠加显示标记图像。
具体地，第一影像为内窥镜图像，第二影像为三维重建模型，根据第一目标特征在内窥镜图像中的空间位置信息，以及空间对应关系，确定第一目标特征在第二医学影像空间中的位置。根据第一目标特征的具体内容生成标记图像，将标记图像在第二医学影像空间中的对应位置投影该标记图像，并于图层叠加的形式叠加于第二影像上，从而在第二医学影像空间中显示标记图像。需要注意的是，三维重建模型所在的图层以及标记图像所在的图层不同。
在一实施例中，第一目标特征为目标组织图像、目标组织图像中的局部特征图像或者目标组织图像的标记特征中的至少一种。根据第一目标特征生成组织标记图像，在第二医学影像空间中叠加一个或多个标记图像图层，与三维重建模型进行叠加显示，达到在三维重建模型上标注内窥镜图像信息的效果，便于手术实施人员能够直观地从第二医学影像空间中获取内窥镜图像上的信息。
另一实施例中，第一目标特征为手术器械图像。根据第一目标特征获取手术器械的类型信息以及器械走向信息，根据类型信息以及器械走向信息生成手术标记图像，在第二医学影像空间中叠加一个或多个标记图像图层与三维重建模型进行叠加显示，达到在三维重建模型上标注术野内手术器械信息的效果，相当于在第二医学影像空间中重现当前术野中的实际手术过程，方便手术实施人员判断当前的手术过程是否按照术前方案进行或者手术器械是否对术野内的目标组织造成或者将造成预估之外的组织损伤。
本申请实施例通过在第二医学影像空间中叠加显示标记图像，减少了实际图像信息叠加至三维重建模型中的运算量，提高了手术导航系统的响应速度，提高了手术导航系统上的信息的时效性。
参见图7，当第二影像包括白光内窥镜图像和叠加在白光内窥镜图像上显示的荧光图像时，上述步骤S500包括但不仅限于步骤S506：
步骤S506，根据第一目标特征的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，在第二医学影像空间中的荧光图像中叠加显示第一目标特征的影像特征。
本步骤中，患者的目标组织由于术前服用的造影剂或者在术中使用的染色剂产生荧光，手术实施人员可以通过术前设置或者术中设置的具体第一目标特征，以保证第一目标特征在第二医学影像空间中的空间位置在荧光范围内。对于三维重建模型而言，根据手术实施人员设置的第一目标特征在三维重建模型上进行提取，并确定第一目标特征在第一医学影像空间中的空间位置信息，根据空间对应关系，确定第一目标特征在荧光范围内的准确位置，并在该准确位置上叠加生成的影像特征，从而实现在荧光图像上叠加第一目标特征的影像特征。
本实施例中通过将三维重建模型上的第一目标特征转化为虚拟影像特征并叠加于荧光图像中，使得荧光图像能够增强显示第一目标特征，从而使得手术实施人员能够在荧光图像中重点观察到肿瘤组织或者脉管组织，以便后续手术的进行。
在一实际场景中，手术实施人员为了获得更好的术野，会在术中调整内窥镜摄像头的角度，由于内窥镜摄像头的角度调整，此时内窥镜图像上的内容会产生变化，根据步骤S100至步骤S500依旧可以在第二医学影像空间上叠加显示影像特征，叠加的影像并未给随视角，导致手术实施人员观察不便。举例而言，内窥镜图像映射三维重建模型，假设内窥镜图像在转换前的视角为第一视角，转换后的视角为第二视角，三维重建模型的视角为第三视角，第一视角和第三视角匹配，在未转换视角前，根据第一视角的内窥镜图像与第三视角的三维重建模型确定空间对应关系，在内窥镜图像变换为第二视角后，根据步骤S300会重新对第二视角的内窥镜图像与第三视角的三维重建模型进行配准，确定新的空间对应关系，此时会将第二视角的内窥镜图像上的第一目标特征映射至第三视角的三维重建模型上，但是第二视角和第三视角并不匹配，使得手术实施人员在进行手术的过程中查看三维重建模型不便，为此需要在确定空间对应关系的过程中进行视角跟随。
参见图8，步骤S300包括但不仅限于步骤S301和步骤S302：
步骤S301，将第一影像与第二影像进行配准，确定第一医学影像空间和第二医学影像空间之间的空间对应关系。
步骤S302，根据空间变换矩阵，控制第二医学影像空间中第二影像的视角，使其与第一影像的显示结果匹配。
需要注意的是，步骤S301中的空间对应关系为空间变换矩阵。
参考上述步骤S300中的空间对应关系的获取方式，手术实施人员可以根据内窥镜摄像头以及三维重建模型确定一个用于校准的画面，根据出于各自校准画面下的内窥镜图像以及三维重建模型进行配准，确定第一医学影像空间和第二医学影像空间之间的空间变换矩阵，此时，空间变化矩阵将第一医学影像空间和第二医学影像空间中各自的某一个视角进行绑定，当第一医学影像空间中的第一影像发生视角改变时，第二医学影像空间中的视角也会跟随改变，对叠加的影像特征跟随第一影像的显示结果。需要注意的是，这里的空间变换矩阵可以是完全固定，也可以在术中自行改变。
需要注意的是，这里的显示结果包括但不仅限于显示视角和/或形貌，参见图9，上述步骤S302包括但不仅限于步骤S3021：
步骤S3021，根据空间变换矩阵，控制第二医学影像空间中第二影像的视角，使其与第一影像的显示视角和/或形貌匹配。
在一实施例中，当第一影像为内窥镜图像，第二影像为三维重建模型时，在某一个视角下得到空间变换矩阵，当内窥镜摄像头改变视角时，同一特定的器官组织在内窥镜图像上会发生移位，该特定的器官组织在第一医学影像空间上的空间位置信息会发生改变，此时，根据空间变换矩阵，以及该特定的器官组织分别在第一医学影像空间和第二医学影像空间的空间位置信息，计算第二医学影像空间的视角偏转量，根据视觉偏转量对第二医学影像空间中三维重建模型的视角进行更改，直观而言，在第二医学影像空间中的三维重建模型进行整体性地旋转、偏转、缩放、压缩等视角改变动作，使得特定的器官组织在三维重建模型上对应的模型结构的第二医学影像空间中的特定位置出现，从而使其与内窥镜图像的显示视角匹配。
举例而言，对于某一个器官组织上的一个点，其在第一医学影像空间中的空间位置信息通过三维坐标表示为(1，2，3)，通过建立的空间变换矩阵，在第二医学影像空间中的空间位置信息通过三维坐标表示为(2，8，19)，当内窥镜图像的显示视角变动，其在第一医学影像空间中的空间位置信息变更为(9，8，16)，此时，根据空间变换矩阵，其在第一医学影像空间中的空间位置信息，计算得到其在第二医学影像空间视角变动后的空间位置为(10，14，32)，根据其在第一医学影像空间中的空间位置信息(9，8，16)以及在第二医学影像空间的空间位置信息(10，14，32)计算第二医学影像空间的视角偏转量，根据视角偏转量对第二医学影像空间进行视角更改，使该点位于(10，14，32)处，从而使三维重建模型与内窥镜图像的显示结果匹配。
在另一实施例中，当在第一影像为内窥镜图像，第二影像为三维重建模型时，根据上述实施例的方式得到空间变换矩阵，当手术实施人员因需改变三维重建模型视角时，此时内窥镜的视角时不会跟随三维重建模型视角的变化而变化，当手术实施人员停止变动三维重建模型视角时，由于三维重建模型视角变动后的视角与内窥镜图像并不满足空间变化矩阵，此时会根据内窥镜图像以及空间变化矩阵进行视角回位，将三维重建模型的视角重新变换为之前的视角，重新使三维重建模型的视角与内窥镜图像的显示视角匹配。
在另一实施例中，当第一影像为三维重建模型，第二影像为内窥镜图像时，在某一个视角下得到空间变换矩阵，内窥镜图像上叠加的影像特征会跟随内窥镜图像的视角变化而产生变化，需要注意的是，三维重建模型的视角会根据内窥镜图像的视角变化而变化，而内窥镜图像的视角并不会根据三维重建模型的视角变化而变化。具体地，根据上述实施例的方式得到空间变换矩阵，当手术实施人员因需使用手术器械翻动目标组织或者目标组织的局部，使得目标组织在内窥镜图像上产生形貌变化，此时，先前叠加与第二影像空间上的影像特征则与当前的目标组织形貌不匹配，造成术野干扰。由于形貌变化，导致目标组织在第二影像空间上的空间位置信息产生了而变化，此时，会根据内窥镜图像以及空间变化矩阵计算形貌变化量，第一目标特征映射至内窥镜图像上的影像特征根据形貌变化量对目标组织在第二影像空间上的空间位置信息进行形貌更改，直观而言，影像特征在内窥镜图像上产生拉伸、压缩、翻转等形貌更改动作，使影像特征与内窥镜图像的形貌匹配。
举例而言，影像特征显示的是脉管结构的重建图像，当手术实施人员使用手术器械翻起目标组织时，重建图像会根据计算的形貌变化量进行拉伸并且翻转，准确地映射于被翻起的目标组织上。
在另一实施例中，当在第一影像为内窥镜图像，第二影像为三维重建模型时，在某一个视角下得到空间变换矩阵，当手术实施人员因需改变手术视角以及翻动目标组织或者目标组织的局部时，通过空间变换矩阵计算视角偏转量以及形貌变化量，使三维重建模型发生视角偏转以及形貌变化，从而同时匹配当前的内窥镜图像视角以及形貌。
举例而言，手术实施人员因需改变手术视角以及翻动目标组织或者目标组织的局部，此时根据内窥镜图像和空间变换矩阵计算视角偏转量以及形貌变化量，三维重建模型根据视角偏转量进行视角偏转，并且，根据形貌变化量使目标组织或者目标组织的局部对应的模型结构产生翻动动作，使得三维重建模型与当前内窥镜图像的显示视角以及形貌同时匹配，在后续映射的过程中能够更准确地在三维重建模型上映射影像特征，使得第二医学影像空间更好地还原内窥镜图像中的手术过程。
本实施例中通过设定空间转移矩阵，使得第二影像的视角随着第一影像的视角的改变而改变，使得手术实施人员能够根据自己所需的视角获得匹配视角的两个影像，降低手术实施人员在术中的使用手术导航观测影像的难度，减少了手术实施人员需要分出的注意力。
参见图10，本申请提供的手术导航方法还包括但不仅限于步骤S700至步骤S800。
步骤S700，从第二影像中提取第二目标特征，确定第二目标特征在第二医学影像空间中的空间位置信息。
在本步骤中，第一目标特征指的是在第一影像中需要被关注的特定信息，需要注意的是，这里第一目标特征多样，通过预训练好的神经网络模型进行识别以及提取，可以是神经网络模型预先训练好的固定识别目标，也可以是在多个预先训练好的固定识别目标范围内，根据手术实施人员自行输入的识别目标。
本步骤对第二影像进行第二目标特征进行提取，而不是对叠加影像特征后的影像进行提取，防止已叠加的影像特征对于第二目标特征的提取造成影响，根据第二医学影像空间的空间参考系确定第二目标特征的在第二医学影像空间中的空间位置信息。
需要注意的是，这里的第二目标特征可以与第一目标特征相对应；也可以与第一目标特征相互独立，在两个医学影像空间中叠加显示所需信息。举例而言，第一影像为内窥镜图像，第二影像为三维重建模型，第一目标特征为手术器械图像，而第二目标特征为目标组织结构的模型结构，在内窥镜图像上显示目标组织结构的模型结构，形成现实增强效果，同时在三维重建模型上显示或标示手术器械，使手术实施人员可以知晓手术器械的虚拟位置。
步骤S800，根据第二目标特征的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，在第一医学影像空间中叠加显示第二目标特征的影像特征。
本步骤中，根据第二目标特征生成对应的影像特征(区别于第一目标特征的影像特征)，根据第二目标特征的空间位置信息和空间对应关系，确定第二目标特征在第一医学影像空间中的位置，将第二目标特征的影像特征叠加于第一医学影像空间中的对应位置。
在一实施例中，第一影像为内窥镜图像，第二影像为三维重建模型，在将根据内窥镜图像上的第一目标特征生成的影像特征叠加至三维重建模型上后，根据叠加第一目标特征的影像特征前的三维重建模型提取第二目标特征，生成第二目标特征的影像特征，将第二目标特征的影像特征叠加至内窥镜图像上。
另一实施例中，第一影像为三维重建模型，第二影像为内窥镜图像，在将根据三维重建模型上的第一目标特征生成的影像特征叠加至内窥镜图像上后，根据叠加第一目标特征的影像特征前的内窥镜图像提取第二目标特征，生成第二目标特征的影像特征，将第二目标特征的影像特征叠加至内窥镜图像上。
本申请实施例通过同时在第一医学影像空间叠加显示第二目标特征的影像特征和在第二医学影像空间叠加显示第一目标特征的影像特征，使得内窥镜图像上的信息和三维重建模型上的信息实现相互映射，使得内窥镜图像和三维重建模型都可以实现手术导航；并且，由于两者可以向对方叠加不对应的信息，使得内窥镜图像和三维重建模型可以同时实现两种不同的手术导航效果，提高了手术导航的实用性以及信息扩展性，更便于手术实施人员在术中获取更多的手术信息，以更好的进行手术。
可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时间执行完成，而是可以在不同的时间执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
参见图11，图11为本申请实施例提供的一种手术导航系统的示意性结构图。该手术导航系统900包括但不仅限于显示设备910、内窥镜主机920以及手术导航主机930。内窥镜主机920和手术导航主机930均与显示设备连接，内窥镜主机920还与手术导航主机930之间进行连接。
显示设备910通过通信线缆940分别与内窥镜主机920和手术导航主机930通信连接，具体地，显示设备120可以包括液晶显示器、LED显示器、OLED显示器以及用于人机交互的触摸显示器等，也可以为与内窥镜主机920通信连接的手机、平板电脑或者个人电脑等电子设备上的显示器等等。
内窥镜主机920通过通信线缆940连接有内窥镜摄像头，内窥镜摄像头包括操作部921和插入部922，插入部922包括至少一个图像传感器、镜管以及照明光路，操作部921和插入部922可以是一体式结构或可分离式结构；镜管的前端插入待观察部位970，镜管可以是硬管或软管。照明光路通过外部设置的光源主机950提供照明光源，照明光路通过导光束960与光源主机950连接。
在一实施例中，内窥镜主机920用于获取内窥镜摄像头拍摄的第一影像，并通过显示设备910在第一医学影像空间中显示第一影像。具体地，内窥镜摄像头通过在人体创造的切口通道或者人体的天然孔道进入人体腔内，并到达待观测部位970。照明光路将光源照射于当前腔内，图像传感器将腔内目标组织反射的光信号转换为电信号，内窥镜主机920通过图像传感器反馈的电信号形成第一影像。手术导航主机930用于获取目标组织的三维重建模型，并根据三维重建模型在第二医学影像空间中显示第二影像。
手术导航主机930与内窥镜主机920之间通过通信线缆进行通信连接，手术导航主机930内设有人工智能处理模块，人工智能处理模块通过通信线缆从内窥镜主机920获取第一影像，对第一影像和第二影像进行配准，确定第一医学影像空间和第二医学影像空间之间的空间对应关系；从第一影像中提取第一目标特征，确定第一目标特征在第一医学影像空间中的空间位置信息；根据第一目标特征的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，并通过显示设备在第二医学影像空间中叠加显示第一目标特征的影像特征。
具体地，人工智能处理模块中可配置有支持向量机、神经网络、最邻近分类、随机森林等分类器，分别对第一影像以及第二影像进行识别，从而第一影像和第二影像中确定相对应的组织图像以及模型结构，根据两者在各自的医学影像空间中的空间位置进行配准，得到空间对应关系，并对第一影像中的第一目标特征进行识别，根据识别结果从第一影像中提取第一目标特征在第一医学影像中的空间位置信息，根据空间对应关系和空间位置信息确定第一目标特征在第二医学影像空间中的空间位置，并生成第一目标特征的影像特征，将影像特征叠加于第二医学影像空间中对应的空间位置，从而实现内窥镜图像向三维重建模型投影的效果。
需要注意的是，这里的图像传感器包括但不仅限于CCD传感器，CMOS传感器等，本申请实施例对此不作限定。
需要注意的是，照明光路产生的光源可以是多样的，根据不同的情况调节光源的波长，从而产生不同的光学信号。
在一些实施例中，患者服用造影剂在体内的目标组织处形成造影剂积累，通过照明光路产生的光源波长，使得光源产生激发光。将内窥镜摄像头伸至目标组织处时，光源产生的激发光作用于造影剂上，造影剂在目标组织上产生荧光，图像传感器将腔内目标组织反射的光信号以及荧光信号转换为电信号，内窥镜主机920通过图像传感器反馈的电信号形成包括荧光图像的第一影像。在一些实施例中，手术导航主机930还与影像学设备、外部终端等外部设备连接，用于更新目标组织的三维重建模型，使手术导航主机930根据更新后的三维重建模型在第二医学影像空间中显示第二影像。
另一实施例中，内窥镜主机920用于获取内窥镜摄像头拍摄的第二影像，并通过显示设备910在第二医学影像空间中显示第二影像。手术导航主机930用于获取目标组织的三维重建模型，并根据三维重建模型，通过显示设备910在第一医学影像空间中显示第一影像。
具体地，内窥镜机主机920形成第二影像的过程可以参照上述实施例中内窥镜机主机120形成的第一影像的过程，此处不作赘述。
手术导航主机930与内窥镜主机920之间通过通信线缆进行通信连接，手术导航主机930设有人工智能处理模块，人工智能处理模块通过通信线缆从内窥镜主机920中获取第二影像，并对所述第一影像和第二影像进行配准，确定第一医学影像空间和第二医学影像空间之间的空间对应关系；从第一影像中提取第一目标特征，确定第一目标特征在第一医学影像空间中的空间位置信息；根据第一目标特征的空间位置信息，以及第一医学影像空间和第二医学影像空间之间的空间对应关系，确定第一目标特征在第二医学影像空间中的影像特征。
具体地，人工智能处理模块分别对第一影像以及第二影像进行识别，从而第一影像和第二影像中确定相对应的模型结构以及组织图像，根据两者在各自的医学影像空间中的空间位置进行配准，得到空间对应关系，并对第一影像进行识别，根据识别结果从三维重建模型上提取第一目标特征的空间位置信息，根据空间对应关系和空间位置信息确定第一目标特征在第二医学影像空间中的空间位置，并生成第一目标特征的影像特征。
内窥镜主机920还用于从手术导航主机930中获取影像特征，并通过显示设备910在第二医学影像空间中叠加显示第一目标特征的影像特征。
具体地，内窥镜主机920通过通信线缆从手术导航主机930处获取影像特征，通过内窥镜主机920中的处理器进行处理，形成一个影像图层，以图层叠加的形式叠加于内窥镜图像上，并输出至显示设备910中进行显示，从而实现三维重建模型向内窥镜图像投影的效果。
本申请实施例提供的用于执行上述手术导航方法的电子设备可以是终端，参照图12，图12为本申请实施例提供的终端的部分结构框图，该终端包括：摄像头组件1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wirelessfidelity，简称WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
摄像头组件1010可用于采集图像或视频。可选地，摄像头组件1010包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。
输入单元1030可用于接收输入的数字或字符信息，以及产生与终端的设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触摸面板以及其他输入装置。
显示单元1040可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元1040可包括显示面板1041。
音频电路1060、扬声器，传声器可提供音频接口。
电源1090可以是交流电、直流电、一次性电池或可充电电池。
传感器1050的数量可以为一个或者多个，该一个或多个传感器1050包括但不限于：加速度传感器、陀螺仪传感器、压力传感器、光学传感器等等。其中：
加速度传感器可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器可以用于检测重力加速度在三个坐标轴上的分量。处理器1080可以根据加速度传感器采集的重力加速度信号，控制显示单元1040以横向视图或纵向视图进行用户界面的显示。加速度传感器还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器可以检测终端的机体方向及转动角度，陀螺仪传感器可以与加速度传感器协同采集用户对终端的3D动作。处理器1080根据陀螺仪传感器采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器可以设置在终端的侧边框和/或显示单元1040的下层。当压力传感器设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1080根据压力传感器采集的握持信号进行左右手识别或快捷操作。当压力传感器设置在显示单元1040的下层时，由处理器1080根据用户对显示单元1040的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器用于采集环境光强度。在一个实施例中，处理器1080可以根据光学传感器采集的环境光强度，控制显示单元1040的显示亮度。具体地，当环境光强度较高时，调高显示单元1040的显示亮度；当环境光强度较低时，调低显示单元1040的显示亮度。在另一个实施例中，处理器1080还可以根据光学传感器采集的环境光强度，动态调整摄像头组件1010的拍摄参数。
在本实施例中，该终端所包括的处理器1080可以执行前面实施例的手术导航方法。
本申请实施例提供的用于执行上述手术导航方法的电子设备也可以是服务器，参照图13，图13为本申请实施例提供的服务器的部分结构框图，服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，简称CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序或数据的存储介质1130(例如一个或一个以上海量存储装置)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器1100中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
服务器1100中的处理器可以用于执行人脸识别方法或者模型训练方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行前述各个实施例的手术导航方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的手术导航方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便描述本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
应了解，在本申请实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
还应了解，本申请实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。
以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本申请权利要求所限定的范围内。

Claims (22)

1.一种手术导航方法，其特征在于，包括：
在第一医学影像空间中显示第一影像；
在第二医学影像空间中显示第二影像；
对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征。
2.根据权利要求1所述的手术导航方法，其特征在于，所述影像特征包括所述第一目标特征的重建影像特征和/或拍摄图像特征。
3.根据权利要求2所述的手术导航方法，其特征在于，所述重建影像特征包括以下至少之一：
所述第一目标特征的重建模型特征；
所述第一目标特征的标记图像特征。
4.根据权利要求1所述的手术导航方法，其特征在于，所述根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征，包括：
根据所述第一目标特征在所述第一影像中的空间位置信息，确定所述第一目标特征在所述第一医学影像空间中的第一影像特征；
根据所述第一目标特征的所述第一影像特征，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，将所述第一影像特征映射至所述第二医学影像空间，得到所述第二医学影像空间中的第二影像特征；
根据所述第二影像特征在所述第二医学影像空间中的位置，在所述第二医学影像空间中叠加显示所述第二影像特征。
5.根据权利要求1所述的手术导航方法，其特征在于，所述根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征，包括：
根据所述第一目标特征在所述第一影像中的空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，确定所述第一目标特征在所述第二医学影像空间中的标记图像；
在所述第二医学影像空间中叠加显示所述标记图像。
6.根据权利要求1至5任意一项所述的手术导航方法，其特征在于，所述第一影像为内窥镜摄像头拍摄的内窥镜图像，所述内窥镜图像包括目标组织图像，所述第二影像为所述目标组织图像的三维重建模型。
7.根据权利要求6所述的手术导航方法，其特征在于，所述第一目标特征为以下至少之一：
所述目标组织图像；
所述目标组织图像中的局部特征图像；
所述目标组织图像的标记特征；
手术器械图像。
8.根据权利要求7所述的手术导航方法，其特征在于，所述局部特征图像为所述内窥镜摄像头拍摄得到的荧光图像，所述影像特征包括所述荧光图像在所述第二医学影像空间中的重建图像、拍摄图像或者标记图像。
9.根据权利要求1所述的手术导航方法，其特征在于，所述对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，包括：
将所述第一影像与所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，其中所述空间对应关系为空间变换矩阵；
根据所述空间变换矩阵，控制所述第二医学影像空间中所述第二影像的视角，使其与所述第一影像的显示结果匹配。
10.根据权利要求9所述的手术导航方法，其特征在于，所述根据所述空间变换矩阵，控制所述第二医学影像空间中所述第二影像的视角，使其与所述第一影像的显示结果匹配，包括：
根据所述空间变换矩阵，控制所述第二医学影像空间中所述第二影像的视角，使其与所述第一影像的显示视角和/或形貌匹配。
11.根据权利要求1至3任意一项所述的手术导航方法，其特征在于，所述第二影像为内窥镜摄像头拍摄的内窥镜图像，所述内窥镜图像包括目标组织图像，所述第一影像为所述目标组织图像的三维重建模型。
12.根据权利要求11所述的手术导航方法，其特征在于，所述第一目标特征为以下至少之一：
所述三维重建模型中的目标组织结构；
所述三维重建模型中的手术导航标记特征。
13.根据权利要求11所述的手术导航方法，其特征在于，所述第二影像包括白光内窥镜图像和叠加在所述白光内窥镜图像上显示的荧光图像；
所述根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征，包括：
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第二医学影像空间中的荧光图像中叠加显示所述第一目标特征的所述影像特征。
14.根据权利要求12或13所述的手术导航方法，其特征在于，所述影像特征包括以下至少之一：
所述目标组织结构的重建图像；
所述目标组织结构的标注图像；
所述三维重建模型中手术导航标记特征的标注图像。
15.根据权利要求14所述的手术导航方法，其特征在于，所述目标组织结构包括肿瘤结构、脉管结构、神经结构中的至少一种。
16.根据权利要求11所述的手术导航方法，其特征在于，所述方法还包括：
从所述第二影像中提取第二目标特征，确定所述第二目标特征在所述第二医学影像空间中的空间位置信息；
根据所述第二目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，在所述第一医学影像空间中叠加显示所述第二目标特征的所述影像特征。
17.根据权利要求16所述的手术导航方法，其特征在于，所述第二目标特征为以下至少之一：
所述目标组织图像；
所述目标组织图像中的局部特征图像；
所述目标组织图像的标记特征；
手术器械图像。
18.根据权利要求1所述的手术导航方法，其特征在于，所述在所述第一医学影像空间中显示第一影像，以及在所述第二医学影像空间中显示第二影像，包括：
控制显示设备在所述第一医学影像空间中显示所述第一影像，以及在所述第二医学影像空间中显示所述第二影像；
所述显示设备包括：
第一显示器，所述第一显示器用于同屏显示所述第一医学影像空间中的所述第一影像和所述第二医学影像空间中的所述第二影像；
或者，第二显示器和第三显示器，所述第二显示器和所述第三显示器中的一个用于显示所述第一医学影像空间中的所述第一影像，所述第二显示器和所述第三显示器中的另一个用于显示所述第二医学影像空间中的所述第二影像。
19.根据权利要求1或18所述的手术导航方法，其特征在于，所述第一影像为二维图像或者三维图像，所述第二影像为二维图像或者三维图像。
20.一种手术导航系统，其特征在于，包括：
显示设备；
内窥镜主机，与所述显示设备连接，用于获取内窥镜摄像头拍摄的第一影像，并通过所述显示设备在第一医学影像空间中显示所述第一影像；
手术导航主机，与所述显示设备以及所述内窥镜主机连接，所述手术导航主机用于获取目标组织的三维重建模型，并根据所述三维重建模型在第二医学影像空间中显示第二影像；
所述手术导航主机还用于：
从所述内窥镜主机中获取所述第一影像，并对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，并通过所述显示设备在所述第二医学影像空间中叠加显示所述第一目标特征的影像特征。
21.一种手术导航系统，其特征在于，包括：
显示设备；
手术导航主机，与所述显示设备连接，用于获取目标组织的三维重建模型，并根据所述三维重建模型，通过所述显示设备在第一医学影像空间中显示第一影像；
内窥镜主机，与所述显示设备和所述手术导航主机连接，用于获取内窥镜摄像头拍摄的第二影像，并通过所述显示设备在第二医学影像空间中显示第二影像；
所述手术导航主机还用于：
从所述内窥镜主机中获取所述第二影像，并对所述第一影像和所述第二影像进行配准，确定所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系；
从所述第一影像中提取第一目标特征，确定所述第一目标特征在所述第一医学影像空间中的空间位置信息；
根据所述第一目标特征的所述空间位置信息，以及所述第一医学影像空间和所述第二医学影像空间之间的空间对应关系，确定所述第一目标特征在所述第二医学影像空间中的影像特征；
所述内窥镜主机还用于从所述手术导航主机中获取所述影像特征，并通过所述显示设备在所述第二医学影像空间中叠加显示所述第一目标特征的所述影像特征。
22.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至19中任意一项所述的手术导航方法。
CN202311405989.XA 2023-10-26 2023-10-26 一种手术导航方法、导航系统以及电子设备 Pending CN117462256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311405989.XA CN117462256A (zh) 2023-10-26 2023-10-26 一种手术导航方法、导航系统以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311405989.XA CN117462256A (zh) 2023-10-26 2023-10-26 一种手术导航方法、导航系统以及电子设备

Publications (1)

Publication Number Publication Date
CN117462256A true CN117462256A (zh) 2024-01-30

Family

ID=89623191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311405989.XA Pending CN117462256A (zh) 2023-10-26 2023-10-26 一种手术导航方法、导航系统以及电子设备

Country Status (1)

Country Link
CN (1) CN117462256A (zh)

Similar Documents

Publication Publication Date Title
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5535725B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US20220095903A1 (en) Augmented medical vision systems and methods
JP7346693B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
EP2423877A1 (en) Endoscopic image processing device, method and program
JP2013059609A (ja) 医用画像表示装置及びｘ線診断装置
WO2012014437A1 (ja) 画像処理装置、方法及びプログラム
JP3707830B2 (ja) 術式支援用画像表示装置
US20220265125A1 (en) Wireless swivel camera laparoscopic instrument with a virtual mapping and guidance system
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US8902305B2 (en) System and method for managing face data
WO2014050018A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
US20220215539A1 (en) Composite medical imaging systems and methods
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
EP4039167A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
JPWO2016076262A1 (ja) 医療装置
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
US10631948B2 (en) Image alignment device, method, and program
CN117462256A (zh) 一种手术导航方法、导航系统以及电子设备
JPWO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
US10049480B2 (en) Image alignment device, method, and program
WO2020092262A1 (en) Anatomical structure visualization systems and methods
EP3871193B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination