CN111588464B - 一种手术导航方法及系统 - Google Patents

Abstract

本发明提供一种手术导航方法及系统，所述方法是通过根据手术工具定位信息、手术工具采集的图像信息及术前影像信息，确定手术工具的实际位置，以引导手术工具到达目标区域。采用本发明所述方法及系统，可以实现手术精确可视化三维导航。

Description

一种手术导航方法及系统

技术领域

本发明属于医疗技术领域，特别涉及一种手术导航方法及系统。

背景技术

现有的微创介入技术广泛用于各种外科手术过程，微创手术器械如医学电子内镜等成像工具通过人体自然孔径(例如口腔和鼻腔等)或某部位小切口进入人体内部器官某特定区域，进行诊断或治疗。目前，这种微创介入手术过程，主要使用单模态术中影像(例如介入CT、核磁共振(MRI)图像、PET-CT、超声)引导技术，同时加上外科医生的经验，实施手术器械与病人靶区定位。这种引导技术的主要缺点有：(1)手术器械操作困难，难以精确控制与定位；(2)肿瘤区域盲穿及其定位不够精确；(3)术中单模态成像提供人体解剖学结构信息较为有限，图像质量较为低下，也会产生伪影，增加手术器械定位难度；(4)无法自动融合术前医学影像与术中多模态信息；(5)无法提供立体虚拟现实可视化导航。这些缺点会导致无法精准微创介入手术过程，尤其是对于患者人体中微小或细小的肿瘤(5-10毫米左右)无法精确到达与定位。这些缺点会增加微创介入手术风险，降低手术成功率。

发明内容

针对上述问题，本发明了一种多模态的三维可视化导航方法及系统。

一种手术导航方法，根据手术工具定位信息、手术工具采集的图像信息及术前影像信息，确定手术工具的实际位置，以引导手术工具到达目标区域。

进一步地，所述手术导航方法包括：

获取第一位置转换关系，所述第一位置转换关系为所述定位信息与所述图像信息的采集装置之间的空间位置转换参数；

获取第二位置转换关系，所述第二位置转换关系为所述手术工具定位信息转换到所述术前影像坐标系的转换参数；

根据所述第二位置转换关系将所述手术工具定位信息转换到所述术前影像的空间坐标系中，获得转换位姿信息；

基于所述采集的图像信息、所述第一位置转换关系、所述术前影像信息对所述转换位姿信息进行优化。

进一步地，所述手术导航方法包括：采用粒子滤波随机优化算法对转换位姿信息进行优化。

进一步地，所述采用粒子滤波随机优化算法对转换位姿信息进行优化具体为：

使用所述转换位姿信息初始化粒子群；

对所述粒子群中的粒子进行拆分进化；

根据所述转换位姿信息以及其前一个采集的转换位姿信息对所述粒子进行状态转移更新；

计算粒子观测概率，选择最优粒子。

进一步地，所述计算粒子观测概率，选择最优粒子，包括：

根据所述粒子对应的所述转换位姿信息和所述术前影像，生成虚拟图像；

计算所述虚拟图像与所述手术工具采集的图像的相似度；

根据所述粒子群中多个粒子的所述相似度值选择最优粒子。

进一步地，所述手术导航方法还包括：

在进行所述采用粒子滤波随机优化算法对转换位姿信息进行优化之前，对所述转换位姿信息进行优化变换，并使用优化变换后的转换位姿信息进行所述粒子滤波随机优化算法优化。

进一步地，对所述转换位姿信息进行优化变换具体为：

提取所述术前影像中管腔结构中心线；

计算所述距离所述转换位姿的位置点最近的中心线；

将所述转换位姿信息替换为中心线位姿信息，所述中心线位姿的位置点在所述最近的中心线上且距离所述转换位姿的位置点最近。

进一步地，所述转换位姿信息为包括位置和方向的三维信息。

进一步地，所述获取第一位置转换关系具体为：

基于深度学习的手眼标定方法，求解所述手术工具中图像采集装置与所述手术工具中定位装置之间的空间变换关系。

进一步地，所述获取第二位置转换关系具体为：

基于无标记点的配准方法，求解了所述手术工具中定位设备位置信息与所述术前影像的空间变换关系。

进一步地，所述手术导航方法还包括：利用介入影像确认所述手术工具和所述目标区域的相对位置关系。

进一步地，所述利用介入影像确认所述手术工具和所述目标区域的相对位置关系具体为：

使用介入影像采集装置采集多帧断面图像；

获取第三位置转换关系，所述第三位置转换关系为所述定位信息与所述介入影像之间的空间转换参数；

根据所述第三位置转换关系将所述多帧断面图像中选定的像素点转化到同一坐标系下，形成介入影像三维模型。

进一步地，所述手术导航方法还包括：根据所述第三位置转换关系和所述第二位置转换关系，将所述接入影像三维模型拟合到所述术前影像中。

进一步地，所述手术导航方法还包括：

采集多张光学活检图像；

对所述光学活检图像进行拼接。

进一步地，对所述光学活检图像进行拼接包括：

提取所述多张光学活检图像特征点；

配准所述特征点，获得图像之间的匹配对应点，计算所述图像之间的拼接变换关系；

根据所述拼接变换关系，将所述多张光学活检图像投影到同一平面，形成初步拼接图像。

进一步地，所述手术导航方法还包括：

采用图像金字塔融合策略，对所述初步拼接图像进行消除伪影边缘。

一种手术导航系统，其特征在于，包括：定位装置、手术视频图像采集装置、承载装置、和多模态导航装置，

所述定位装置用于获取定位信息；

所述手术视频图像采集装置用于采集实时视频图像信息，所述视频图像信息用于优化所述定位信息；

所述承载装置与所述视频图像采集装置连接；

所述承载装置用于承载所述定位装置；

所述多模态导航装置，用于将所述定位信息拟合到术前影像中。

进一步地，所述承载装置为手术导管，所述手术导管置于所述视频图像采集装置内或与所述视频图像采集装置平行绑定。

进一步地，所述手术导航系统还包括光学活检图像采集装置，用于采集光学活检图像。

进一步地，所述手术导航系统包括光学活检图像拼接装置，所述光学活检图像拼接装置用于将多张所述光学活检图像进行拼接，所述拼接包括：

提取所述多张光学活检图像特征点；

配准所述特征点，获得图像之间的匹配对应点，计算所述图像之间的拼接变换关系；

根据所述拼接变换关系，将所述多张光学活检图像投影到同一平面，形成初步拼接图像；

采用图像金字塔融合策略，对所述初步拼接图像进行消除伪影边缘。

进一步地，所述手术导航系统还包括介入影像装置，所述介入影像装置包括介入影像采集单元、介入影像处理单元和介入影像拟合单元，

所述介入影像采集单元用于通过介入影像采集设备采集多帧断面图像；

所述介入影像处理单元用于基于所述多帧断面图像构建三维介入影像模型；

所述介入影像拟合单元用于将所述三维介入影像模型拟合到所述术前影像中。

进一步地，所述承载装置还用于承载消融针。

本发明利用内镜视频图像信息和定位信息，能够对手术进行三维可视化的多模态导航。导航过程引入了人体管腔结构中心线约束和差分进化粒子滤波随机优化算法，补偿了患者人体运动形变所带来的导航误差，提高了导航的准确性。

本发明提出了一种基于稳健特征点的全景拼接算法，对光学活检局部图像进行拼接，实现了大范围宽视角的病理诊断。

本发明还通过介入影像手段确认共聚焦激光显微内镜探头或者肿瘤消融针与肿瘤病灶之间的相对位置关系，同时利用介入影像实时采集到的人体组织运动形变信息。通过介入影像与术前影像的精准融合，重建了三维人体运动形变模型，以补偿手术导航误差，更为精确地刻画显微内镜探头或者肿瘤消融针与肿瘤病灶的相对位置关系。

本发明的手术系统，尤其是手术承载装置，允许先后循环置入光学活检装置和消融针，从而能够实现在循环诊疗一体化。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的手术导航系统结构示意图；

图2示出了本发明实施例的手术导航流程图；

图3示出了本发明实施例的手术导航方法流程图；

图4示出了本发明实施例的采用差分进化粒子滤波随机优化方法优化转化位姿信息的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种三维可视化精准导航系统，可配合治疗装置，实现导航诊疗一体化。如图1所示，是本实施例的一种手术导航结构示意图。手术导航系统包括：

手术视频图像采集装置，用于采集实时视频图像信息。本实施例中手术视频图像采集装置为电子内镜，具体实施中，根据诊疗器官对象不同，手术视频图像采集装置可以是软性内镜与硬性内镜等，例如支气管镜、大肠镜、胃镜等；

承载装置，与电子内镜连接，随着电子内镜一起在人体或动物体内运动。本实施例中，承载装置为手术导管，置于电子内镜中。手术导管用于承载定位装置和其他手术工具，在本实施例中，手术导管用于同时地或者先后的承载定位装置(如微型定位传感器)、光学活检图像采集装置(光学活检探头)、肿瘤消融治疗系统的消融针、介入影像的成像探头等。在其他的实施例中，承载装置也可以是能够随电子内镜弯折的带状装置，承载装置也可以与内镜贴合绑定。定位装置等被承载装置可以吸附、粘结、绑定或装入承载装置中。本实施例中，手术导管为一根预弯型导管，这更有利用于精准肿瘤穿刺或消融。在其他的实施例中，手术导管也可以是可调节型导管。

定位装置，用于置于手术导管中，与电子内镜一起移动，获取三维定位信息，从而将确定手术工具在人体中的位置，并将光学活检、介入影像等采集的图像信息拟合到术前影像中，实现可视化定位。本实施例中，定位装置采用微型定位传感器。具体应用中，定位装置可以选择电磁导航仪和基于光电传感器的导航仪等设备。

多模态导航装置(可运行在高性能电脑中)，与术前影像系统、电子内镜、微型定位传感器等装置连接，用于将微型定位传感器采集的定位信息拟合到术前影像中，并且结合电子内镜采集的实时视频图像信息进行位置优化；

光学活检图像采集装置，用于采集光学活检图像。尤其是，在微创介入手术诊断过程中，在肿瘤或病灶上移动光学活检图像采集装置，进行光学活检。本实施例中，光学活检图像采集装置为共聚焦激光显微内镜探头；

光学活检图像拼接装置(可运行在高性能电脑中)，用于将多张光学活检图像进行拼接。本实施例中，共聚焦激光显微内镜探头获得一系列连续病灶局部病理实时图像，通过光学活检图像拼接装置将这些图像拼接，获得病灶较为完整全面的图像信息。图像拼接的过程将在后面做进一步介绍。

介入影像装置(可运行在高性能电脑中)，用于采集手术工具附近的人体内二维断面单帧图像，据此重建人体形变三维模型，并将三维模型拟合到术前影像中。介入影像可以是是B超、CT和介入磁共振等。介入影像装置包括：介入影像采集单元、介入影像处理单元、介入影像拟合单元；

介入影像采集单元用于通过介入影像采集装置采集多帧断面图像，本实施例中，介入影像采集单元包括介入影像的成像探头，介入影像成像探头在手术工具导航到病灶区域后，置入手术导管中，随着手术导管一起移动；介入影像成像探头与共聚焦激光显微内镜探头或者肿瘤消融针一起置入手术导管，所获得的接入影像中包含病灶区域和共聚焦激光显微内镜探头或者肿瘤消融针图像信息，从而通过介入影像识别处理，进一步确认共聚焦激光显微内镜探头或者肿瘤消融针与肿瘤病灶之间的相对位置关系；

介入影像处理单元用于基于所述多帧断面图像构建三维介入影像模型，具体构建过程将在后面做进一步介绍；

介入影像拟合单元用于将所述三维介入影像模型拟合到所述术前影像中；

消融针，用于对病灶(如肿瘤)进行消融治疗。本示例中，将消融针可置于手术导管中，在使用共聚焦激光显微内镜进行光学活检后，拔出显微内镜探头，把消融针和手术导管引导并到达肿瘤靶区，实施肿瘤消融治疗。通过交替使用消融针和共聚焦激光显微内镜，实现诊断治疗循环一体化。本实施例中，采用肿瘤冷热交替循环消融精准治疗的机制进行消融治疗。

手术导航系统还包括：

控制装置，与定位装置连接，通过控制定位器控制电子内镜、手术导管和其中的手术工具在人体内移动。控制装置与定位装置共同构成导航仪，实现手术器械在人体中的导航移动。

高性能电脑，包括一个或多个显示器、一个或多个处理器和存储器：

显示器用于显示上述术前影像(术前影像系统安装运行于高性能电脑中)，术中导航影像：包括上述电子内镜采集的实时视频图像、介入影像、光学活检图像，定位信息：传感器位置信息等。不同功能模块的影像信息可以通过界面单独地或者同时地直观地显示出来。

术中导航影像通过使用传输设备，如视频转接器，将视频采集装置(如上述电子内镜、共聚焦激光显微内镜探头、介入影像的成像探头)采集的影像信息传输到高性能电脑。

存储器用于存储处理装置的软件系统，处理器与存储器连接，用于运行软件系统实现数据处理，如术中图像、定位信息与术前影像信息的拟合，介入影像三维重建、介入影像拟合、光学活检图像拼接等。

本实施例中，发生数字交换的各个模块通过传输设备、高性能电脑内部软件系统实现数字链接和信息整合。

本实施例中，导航系统还包括手术推车，用于承载性能电脑(含键盘、和高清显示器等)与数字视频转接器、导航仪，方便医生手术操作。

本实施例中，医生使用上述手术导航系统进行手术的流程如图2所示。

包括：

步骤1：术前影像采集处理。

步骤2：术中混合多模态可视化导航。

步骤3：病灶区域诊断与位置确认。包括

步骤3.1光学活检。

步骤3.2介入影像采集与处理。

步骤4：病灶治疗。

其中，导航到病灶区域后，对病灶区域的进一步诊断与治疗采用循环交替进行，避免多次穿孔和引导。即，步骤3和步骤4循环交替执行。

下面对手术导航中各个步骤做进一步描述。

步骤1，术前影像采集处理。手术规划是精准微创介入手术过程的必要前提。手术规划首先需要采集术前病灶影像信息，本实施例中，术前影像信息主要是CT或者MRI图像。通过对采集的术前影像进行处理实现术前影像三维可视化。术前影像处理主要提取与分割出影像中感兴趣的人体解剖结构器官与肿瘤病灶(或目标)区域，三维重建及数字可视化这些提取分割出的区域，同时对这些三维可视化(区域)模型位置进行术前标定。本发明提出了基于深度学习3D-U-Net网络的术前影像自动分割方法，精准感兴趣或目标区域(例如肿瘤病灶及其周围血管走形)的提取和标定，同时获得人体管腔结构中心线信息。

对术前影像进行三维数字可视化之后，还基于可视化术前影像目标区域及其周围血管走形结构进行微创手术介入三维路径规划，作为术中引导手术器械的基础依据。还可以在手术前，根据规划路径进行微创介入手术模拟和虚拟内镜成像，以再次确认规划路径的可行性。

步骤2，术中混合多模态可视化导航。手术导航是指在微创介入手术过程中，引导外科医生操作手术器械或工具，快速高效精确到达肿瘤病灶目标区域的方法。通过三维可视化导航给外科医生提供直观、实时在线、三维数字可视化与虚拟现实的手术环境与视野。从技术上来说，手术导航是利用术前影像及其分割结果、术中医学电子内镜视频图像以及导航仪微型定位传感器等多模态信息，引入稳健高效的算法，在同一个坐标空间里，同步与融合立体可视化这些多模态信息，引导电子内镜以及手术导管到达肿瘤病灶目标区域。现有的电磁导航技术与视觉导航技术有各自的优缺点，本实施例中，使用一种混合多模态手术导航技术新方案，融合了电磁导航技术与视觉导航技术的优点，设计了差分进化粒子滤波随机优化算法，实施了精准混合导航技术策略。对于管腔结构内的手术导航，还定义了人体管腔结构中心线约束，提高导航的速度和准确性。混合手术导航的输入信息包括术前影像系统的术前影像(包含目标区域三维标定和管腔中心线信息，如人体肺部器官中心线)实时电子内镜视频图像以及实时导航仪微型定位传感器位姿信息(位置与方向信息)。如图3所示，混合手术导航通过将定位信息拟合到术前影像中，并结合内镜视频图像信息优化拟合后的定位信息，实现三维可视化精准导航。具体包含以下步骤：

(1)获取实时视频图像信息，本实施例中，将电子内镜图像信息实时传送到电脑。

(2)获取第一位置转换关系，所述第一位置转换关系为所述定位信息与所述图像信息采集装置之间的空间位置转换参数；

(3)获取第二位置转换关系，所述第二转换关系为所述手术工具位置信息转换到所述术前影像坐标系的转换参数；

(4)根据第二位置转换关系将所述手术工具位置定位信息转换到所述术前影像的空间坐标系中，获得转换位姿信息；

(5)基于所述采集的图像信息、所述第一位置转换关系、所述术前影像信息对所述转换位姿信息进行优化。

本实施例中，获取第一位置转换关系采用基于深度学习的手眼标定方法，求解电子内镜相机(“眼睛”)与放置在电子内镜工作通道中的三维导航仪微型定位传感器(“手臂”)之间的空间变换关系(手眼变换矩阵)。

本实施例中，获取第二位置转换关系采用基于无标记点的配准方法，精确求解了三维导航仪微型定位传感器位姿信息与三维术前影像之间的空间变换关系(术中人体与术前影像变换矩阵)。

转换位姿信息对导航定位是否准确性起关键作用。本实施例中，通过采用粒子滤波随机优化算法对转换位姿信息进行优化，提高导航的准确性。对于手术器具在人体管腔结构中的导航，还引入管腔结构中心线约束进一步精确导航定位。具体包括：

确定转换位姿信息是否满足人体管腔结构中心线约束：由于导航仪微型定位传感器测量的不确定性与人体呼吸运动形变，使得所对应的术前影像空间中的转换位姿(也就是转换后，手术器械在术前影像空间中的位置点)，有可能不在患者人体管腔内部，这与实际情况不相符合。针对这一问题，本发明提出了中心线约束方案：利用在术前影像中提取出来的人体管腔结构中心线信息，计算转换(位姿)位置点到该中心线的距离，找到与转换位置点所对应的距离最近的且在人体管腔结构中心线上的位置点(称为中心线位置点)，该中心线位置点取代术前影像空间中的转换(位姿)位置点，从而确保转换位置点在患者人体管腔内部，消除传感器测量不确定性与人体呼吸运动形变所带导航误差。

采用差分进化粒子滤波随机优化算法，对每一个实时的术前影像空间中的转换位姿所对应中心线位置点进行随机优化，获得最佳的手术器械位姿，如图4所示，包括以下步骤：

(1)粒子生成与初始化：使用所述转换位姿信息初始化粒子群。一个粒子可定义为一个含有位置与方向信息的七维标量，本实施例中，七维标量分别为表示位置的三个标量以及采用四元数表示方向的四个标量，在另外的实施例中，也可以采用六维标量，即三个位置标量和三个欧拉角方向标量；本算法在预测手术器械的每一个位姿(位置与方向)过程中，产生N个粒子群；利用所获得的人体管腔结构中心线位置点对这些粒子进行初始化；

(2)粒子差分进化：由于粒子群在多次状态转移更新中，会产生一种粒子贫化现象，即是大部分的粒子都会变得相同，缺乏粒子的多样性，这会导致优化算法只能获得局部最优的结果，无法获得全局最优的预测。针对这一问题，本发明引入了差分进化计算方法，在粒子状态转移更新之前，对粒子进行变异、交叉与选择运算，以大幅度提高粒子群的多样性，提高随机优化性能；

(3)粒子状态转移更新：在粒子群进行差分进化计算之后，利用前一个时态的中心线位置点与当前所观测到的中心线位置点的差值，转移所有粒子的状态，更新粒子的位置与方向参数，获得新的粒子群；

(4)粒子观测概率计算：对于更新的粒子群中的每一个粒子，计算其观测概率。粒子观测概率定义为粒子权重。本发明提出一种基于图像相似度的粒子权重计算方案：每个粒子对应了手术器械在术前影像空间中的一个位姿；基于这个位姿信息，利用体绘制方法，产生基于术前三维影像的二维虚拟图像；从而可以计算该虚拟图像与电子内镜实时视频图像之间的相似度；该相似度就是该粒子的观测概率(权重)。这种粒子观测概率(权重)计算策略，引入了电子内镜实时视频图像信息，能够减少人体呼吸运动形变带来的导航误差。

(5)确定最优手术器械的位姿：计算粒子观测概率后，对所有粒子进行评价：在当前时态或时刻，基于观测概率的大小，将所有粒子进行排序，选择观测概率最大的粒子，即是最优粒子。最优粒子对应了当前的最优手术器械位姿预测结果，即优化后的转换位姿信息(位置与方向)。在其他的实施例中，也可以使用最近点迭代算法进行多模态导航的转换位姿信息优化。

手术导航中，通控制手术工具移动，多次采集实时视频信息、位姿信息，对转换位姿信息进行上述优化，最终引导手术器械(电子内镜与手术导管)到达肿瘤病灶目标区域。

步骤3，病灶区域诊断与位置确认。手术器械导航到病灶区域后，把微型定位传感器从手术导管取出并固定手术导管的位置与方向，把光学活检探头置于手术导管中，实施光学活检诊断过程，即步骤3.1：

在微创介入手术诊断过程，外科医生在肿瘤或病灶上移动共聚焦激光显微内镜探头，进行光学活检，获得一些列连续病灶局部病理实时图像，单帧图像只能看到局部组织病理，无法全面实时分析整个肿瘤的病理信息，导致医生需来回重复操作显微内镜探头，使得手术过程耗时耗力。针对这一问题，本实施例中，采用基于稳健特征点与图像金字塔的混合拼接全新方法获得肿瘤病灶大角度病理视图：

(1)提取图像特征点：利用稳健特征检测方法，在这些连续图像上提取特征点；

(2)配准图像:引入USAC算法，配准这些特征点并获得图像之间的匹配对应点，求得图像之间的拼接变换关系；

(3)拼接图像：根据拼接变换关系，将多张光学活检图像投影到同一平面，形成初步拼接图像；

(4)去除边缘伪影：由于配准误差会在初步拼接图像上产生边缘复制现象或伪影边缘；本发明引入了图像金字塔融合策略，消除了伪影边缘，从而获得精确的光学活检拼接图像。

上述拼接过程中，将选定的一张图像作为配准参考图像，将与之相邻的第二张图像作为配准目标图像，实现两张图像的拼接，之后将第二张图像作为配准参考图像，将与之相邻的第三张图像作为配准目标图像，以此类推，实现多张图像拼接。

在对病灶进行治疗之前，为了进一步确认手术器械与组织器官的相对位置关系，本实施例还包括实施介入影像采集处理，即步骤3.2：

介入影像是指一系列连续的二维切面(横断面)实时图像。这些实时横断面图像只能提供人体解剖结构器官(例如血管)、肿瘤病灶以及手术器械等各自的很小一部分信息，无法三维可视化解剖结构器官、肿瘤与手术器械(例如病理诊断显微内镜探头，如光学活检探头与治疗消融针)等整体信息，尤其是无法三维可视化手术器械与肿瘤病灶的相对位置关系。本实施例中，在导航到病灶区域后，将上述取出导航仪微型定位传感器固定在介入影像的成像探头上，实时追踪该成像探头，获取一系列介入影像(多帧断面图像)，并对这些多帧断面图像进行处理:

(1)从连续的二维切面实时图像中提取解剖结构器官、肿瘤病灶以及手术器械等感兴趣区域；

(2)获取第三位置转换关系，该第三位置转换关系为所述定位信息与所述介入影像之间的空间转换参数。本实施例中，基于深度学习的手眼自动标定算法，求解三维导航仪微型定位传感器输出信息与二维切面实时图像之间的空间转换关系参数(矩阵)。

(3)利用上述步骤(2)中的转换关系矩阵，把步骤(1)中所提取感兴趣区域中的每个像素点转换到三维导航仪系统空间从而形成三维立体模型。

上述步骤(1)、(2)不分先后。按照上述步骤对三维影像建模后可以在高性能电脑的显示器中单独的显示。介入影像与术前影像相比较来说，术前影像能够更为清晰地描述人体解剖组织结构信息，而介入影像可以实时地描述术中人体器官和肿瘤病灶动态信息。为了在微创介入诊疗手术中，更为精准肿瘤病灶与手术器械的相对位置关系，本实施例中优选的将介入影像与术前影像融合显示：

在电子内镜多模态混合导航过程中，已经获得了三维导航仪微型定位传感器定位信息与术前影像的第二位置转换关系；

在上述介入影像三维重建的过程中，获得了三维导航仪微型定位传感器定位信息与二维切面实时图像之间的空间变换关系，即第三位置转换关系；

根据第三位置转换关系和第二位置转换关系，可求得二维切面实时图像与三维术前影像之间的空间变换关系，利用该空间变换关系，实现介入影像(二维切面实时图像)与术前影像融合，将多帧二维切面实时图像与拟合到术前三维影像中则实现了介入影像三维模型与术前影像的拟合。

步骤4，病灶治疗。在进行共聚焦激光显微内镜光学活检后，拔出显微内镜探头，把肿瘤消融针在放入手术导管并引导到达肿瘤靶区，实施肿瘤消融治疗。

本实施例中，采用肿瘤冷热交替循环消融精准治疗的机制，同时利用共聚焦激光显微内镜，循环交替使用肿瘤光学活检诊断与消融治疗方式，即步骤3和步骤4循环进行，从而更加充分、高效与彻底的进行肿瘤病治疗。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种手术导航系统，其特征在于，包括：定位装置、手术视频图像采集装置、承载装置、和多模态导航装置，

所述定位装置用于获取手术工具定位信息；

所述手术视频图像采集装置用于采集实时视频图像信息，所述视频图像信息用于优化所述手术工具定位信息；

所述承载装置与所述视频图像采集装置连接；

所述承载装置用于承载所述定位装置；

所述多模态导航装置，用于将所述手术工具定位信息拟合到术前影像中；并获取第一位置转换关系，所述第一位置转换关系为所述手术工具定位信息与所述图像信息的采集装置之间的空间位置转换参数；获取第二位置转换关系，所述第二位置转换关系为所述手术工具定位信息转换到所述术前影像坐标系的转换参数；根据所述第二位置转换关系将所述手术工具定位信息转换到所述术前影像的空间坐标系中，获得转换位姿信息；基于所述采集的图像信息、所述第一位置转换关系、所述术前影像信息对所述转换位姿信息进行优化；具体，采用粒子滤波随机优化算法对转换位姿信息进行优化，对于手术器具在人体管腔结构中的导航，还引入管腔结构中心线约束进一步精确导航定位，利用在术前影像中提取出来的人体管腔结构中心线信息，计算转换位姿位置点到该中心线的距离，找到与转换位姿位置点所对应的距离最近的且在人体管腔结构中心线上的位置点，即中心线位置点，该中心线位置点取代术前影像空间中的转换位姿位置点，从而确保转换位姿位置点在患者人体管腔内部，消除传感器测量不确定性与人体呼吸运动形变所带导航误差；采用差分进化粒子滤波随机优化算法，对每一个实时的术前影像空间中的转换位姿所对应中心线位置点进行随机优化，获得最佳的手术器械位姿；获取第一位置转换关系采用基于深度学习的手眼标定方法；获取第二位置转换关系采用基于无标记点的配准方法。

2.根据权利要求1所述的手术导航系统，其特征在于，所述承载装置为手术导管，所述手术导管置于所述视频图像采集装置内或与所述视频图像采集装置平行绑定。

3.根据权利要求1所述的手术导航系统，其特征在于，所述系统还包括光学活检图像采集装置，用于采集光学活检图像。

4.根据权利要求3所述的手术导航系统，其特征在于，所述系统包括光学活检图像拼接装置，所述光学活检图像拼接装置用于将多张所述光学活检图像进行拼接，所述拼接包括：

根据所述拼接变换关系，将多张所述光学活检图像投影到同一平面，形成初步拼接图像。

5.根据权利要求1所述的手术导航系统，其特征在于，所述系统还包括介入影像装置，所述介入影像装置包括介入影像采集单元、介入影像处理单元和介入影像拟合单元，

所述介入影像采集单元用于通过介入影像采集设备采集多帧断面图像；

所述介入影像处理单元用于基于所述多帧断面图像构建三维介入影像模型；

所述介入影像拟合单元用于将所述三维介入影像模型拟合到所述术前影像中。

6.根据权利要求1所述的手术导航系统，其特征在于，所述承载装置还用于承载消融针。

Images