CN114073579B - 手术导航方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种手术导航方法、装置、电子设备及存储介质。该方法包括：获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，手术器械用于对目标对象进行手术操作；根据手术器械在第一二维医学图像中的位置以及拍摄第一二维医学图像时拍摄设备的位姿数据和手术器械的位姿数据，确定手术器械的坐标系与拍摄设备的坐标系之间的转换关系；获取目标对象的三维医学图像，并对三维医学图像与第一二维医学图像进行图像配准；根据图像配准的结果和转换关系将手术器械的实时位姿数据与和拍摄设备的实时位姿数据与三维医学图像进行融合并显示融合结果。从而实现精准的手术导航。

Description

手术导航方法、装置、电子设备及存储介质

技术领域

本发明涉及手术导航技术领域，特别涉及手术导航方法、装置、电子设备及存储介质。

背景技术

近年来，外科手术取得了巨大的发展，但是对于解剖结构复杂的病变部位来说，手术难度和风险依然很高。以脊柱外科手术为例，脊柱的解剖结构复杂且毗邻重要血管神经，脊柱外科手术中椎弓根螺钉的准确置入，是完成良好矫形的前提，因此精准的植钉操作成为了手术的关键和技术难点。

手术导引系统可以帮助医疗人员定位病变部位，降低手术难度和风险，越来越多的用于外科手术。然而，传统的手术导引系统精确度有待提高，且需要实时拍摄医学影像来得知病患的病变部位信息以及手术器械的位置，会增加病患受到的辐射剂量。

发明内容

本发明提供一种手术导航方法、装置、电子设备及存储介质，以解决相关技术中的不足。

具体地，本发明是通过如下技术方案实现的：

第一方面，提供一种手术导航方法，包括：

获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准；

根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据与和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

可选地，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

可选地，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

可选地，所述方法还包括：

根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

可选地，所述方法还包括：

在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

第二方面，提供一种手术导航装置，包括：

获取模块，用于获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

确定模块，用于根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

配准模块，用于获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准；

融合模块，用于根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

可选地，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

可选地，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

可选地，所述装置还包括：

规划模块，用于根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

驱动模块，用于根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

可选地，所述装置还包括：

触发模块，用于在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

重建模块，用于根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的手术导航方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的手术导航方法的步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明实施例中，借助术前获取的三维医学图像，术中拍摄病变部位和手术器械的少量医学图像，可以实现手术器械的位姿、病变部位的位姿和三维医学图像之间的联动配准，对手术器械的实时位姿和病变部位的实时位姿进行跟踪并显示在术前获得的三维医学图像中，对医疗人员的手术操作过程进行指引。术中无需对病变部位以及手术器械进行实时拍摄，即可确定两者之间的位置关系，可以减少病患在术中受到医学图像拍摄的辐射剂量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明一示例性实施例示出的一种手术导航系统的结构示意图；

图2是本发明一示例性实施例示出的一种手术导航方法的流程图；

图3是本发明一示例性实施例示出的另一种手术导航方法的流程图；

图4是本发明一示例实施例示出的一种手术导航装置的模块示意图；

图5是本发明一示例实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

近年来，外科手术取得了巨大的发展，但是对于解剖结构复杂的病变部位来说，手术难度和风险依然很高。以脊柱外科手术为例，脊柱的解剖结构复杂且毗邻重要血管神经，脊柱外科手术中椎弓根螺钉的准确置入，是完成良好矫形的前提，因此精准的植钉操作成为了手术的关键和技术难点。

手术导引系统可以帮助医疗人员定位病变部位，降低手术难度和风险，越来越多的用于外科手术。然而，传统的手术导引系统精确度有待提高，且需要实时拍摄医学影像来得知病患的病变部位信息以及手术器械的位置，会增加病患受到的辐射剂量。

基于上述情况，本发明实施提供一种手术导航方法，借助术前对病变部位扫描得到的医学图像，该医学图像用于医疗人员对病变部位进行初步的医疗诊断，术中拍摄病变部位的少量医学图像，即可实现对病变部位的精准手术导航。

图1是本发明一示例性实施例示出的一种手术导航系统的结构示意图，手术导航系统包含机械臂台车11和拍摄设备12。机械臂台车11上设有手术器械111、多轴机械臂112，手术器械111可以在多轴机械臂112的驱动下对病患进行手术操作，多轴机械臂112可以实现上下升降、前后移动、左右移动、绕基座旋转。拍摄设备12包括扫描床121、机架组件122、支撑组件123和拍摄组件124。支撑组件123用于支撑扫描床121，支撑组件123可以实现上下左右前后的移动、旋转，以调节扫描床121的位姿。机架组件122也可以实现上下左右前后的移动、旋转，以调节拍摄组件的位姿，使得拍摄组件124能够从任意角度对扫描床121上的病患13进行拍摄得到医学图像，满足医疗人员从不同角度观察病患的病变部位以及手术器械的需求。机械臂台车11与拍摄设备12可以通过有线或者无线的方式建立通信连接。当然，机械臂台车还可以包含图中未示出的控制系统，拍摄设备也可以包含控制系统，以控制各自的多轴机械臂进行运动。

下面结合图1所示的手术导航系统对本发明的手术导航方法实施例进行详细描述。

图2是本发明一示例性实施例示出的一种手术导航方法的流程图，可以包括以下步骤：

步骤201、获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像。

其中，目标对象例如可以是需要进行手术的病患的某个组织器官(病变部位)，例如，若需要对病患的头部进行手术，则调整拍摄设备和手术器械的位姿，并对病患的头部(目标对象)以及手术器械进行拍摄得到第一二维医学图像；若需要对病患的颈椎进行手术，则对病患的颈椎(目标对象)以及手术器械进行拍摄得到第一二维医学图像。

第一二维医学图像为对目标对象进行手术过程中获取的二维图像，术中一般只能获取二维图像，该二维医学图像可以是断层扫描图像不同片层的图像，例如，PET(正电子发射型计算机断层显像)切片图、CT(电子计算机断层扫描)切片图；该二维医学图像还可以是X光图像。目前，术中一般采用X光机拍摄X光图像(第一二维医学图像)进行导航。

步骤201中获得的第一二维图像一方面用于确定手术器械的坐标系与拍摄设备的坐标系之间的转换关系，一方面用于实现二维图像与下文中三维图像的图像配准，最终实现三维图像、手术器械和拍摄设备的位姿的联动配准。单凭一张第一二维图像确定两个坐标系之间的转换关系以及图像配准结果的准确性难以保证，因此需要获取以不同拍摄角度对目标对象和手术器械进行拍摄得到的至少两张第一二维医学图像。不同拍摄角度也即拍摄设备、手术器械处于不同的位姿，以不同拍摄角度拍摄得到的二维医学图像进行配准可以相互牵制，相比于仅以一个拍摄角度获得的图像进行配准，大大提高了配准精度。

需要说明的是，拍摄角度的不同，可以通过仅调节机架组件的位姿实现，还可以同时调节手术器械的多轴机械臂以及机架组件实现。

以获取两个拍摄角度的医学图像为例，可以先将手术器械的多轴机械臂调整到位姿P₁₁，将扫描床的支撑组件调整到位姿P₁₂，将机架组件调整到位姿P₁₃，当病患的病变部位和手术器械均在拍摄设备的拍摄视野内的情况下进行拍摄，以拍摄设备为X光机为例，X光机发出的X光射线需要经过手术器械以及病变部位，以该拍摄角度拍摄得到的二维医学图像中能显现病变部位和手术器械。然后，将手术器械的多轴机械臂调整到位姿P₂₁，扫描床的位姿保存不变，将机架组件调整到位姿P₂₃，经过位姿调整后，还是需要确保病患的病变部位和手术器械均在拍摄设备的拍摄视野内，以该拍摄角度拍摄得到的二维医学图像中能显现病变部位和手术器械。

步骤202、根据手术器械在第一二维医学图像中的位置以及拍摄第一二维医学图像时拍摄设备的位姿数据和手术器械的位姿数据，确定手术器械的坐标系与拍摄设备的坐标系之间的转换关系。

其中，位姿数据包含各个运动轴的位置坐标、旋转角度等，可以通过设备的控制系统确定。

两个坐标系之间的转换关系可以通过空间几何运算确定，在确定转换关系之前，可以在手术器械上设置标识点，获取第一二维图像的过程中拍摄装置发出的拍摄光线路径需要经过该标识点，标识点的数量可以为多个，根据该多个标识点在第一二维图像中所处的位置、标识点在手术器械的坐标系中的位置，确定手术器械的坐标系与拍摄设备的坐标系之间的转换关系。

可以理解地，拍摄设备为多轴设备，为了便于拍摄设备的控制，会设置多个坐标系，例如，机架组件的局部坐标系、拍摄组件的局部坐标系、扫描床的局部坐标系、拍摄设备的全局坐标系等。同样的，手术器械为多轴设备，为了便于手术器械的控制，会设置多个坐标系，例如，手术器械的局部坐标系、多轴机械臂的局部坐标系、手术器械的全局坐标系等。局部坐标系下的坐标、向量，可以通过坐标转换矩阵，转换为全局坐标系下的坐标、向量；全局坐标系下的坐标、向量，也可以通过坐标转换矩阵，转换为局部坐标系下的坐标、向量。而不同设备的坐标转换矩阵不同，需要根据设备的具体结构(例如，各个运动轴的长度、相对距离、旋转角度等)确定。

拍摄设备的位姿数据可以通过机架组件的位姿数据表征，位姿数据P₁₃和位姿数据P₂₃可以是机架组件的局部坐标系下的位姿数据，也可以是拍摄设备的全局坐标系下的位姿数据。若上述位姿数据处于不同的坐标系下，确定坐标系的转换关系之前，需要将其转换为相同坐标系下的数据。因此可以定义一个全局坐标系，由于在机架组件和扫描床的位姿调整过程中，机架组件的底座自始至终是不动的，因此可以但不限于将以机架组件的底座上的一点作为原点，建立全局坐标系；也可以将机械臂台车的坐标系作为全局坐标系，将多轴机械臂上的一点作为该全局坐标系的原点。

步骤203、获取目标对象的三维医学图像，并对三维医学图像与第一二维医学图像进行图像配准。

医学图像配准是将一幅图像置于固定的空间坐标系下，确定其具体位置，作为参考图像，将另一幅图像作为待配准图像，对待配准图像做一系列的空间变换(用来描述待配准图像与参考图像之间点的空间位置对应映射关系)，使待配准图像上的点或者待配准图像中至少感兴趣区域的点与参考图像进行空间对齐。

进行手术之前，医疗人员一般需要拍摄目标对象的医学图像，以对目标对象进行初步的诊断以及制定手术方案。为了便于医疗术前诊断以及制定手术方案，术前一般会获取空间分辨率较高的医学图像，例如CT图像、PET图像、MRI(磁共振成像)图像等。本实施例中，可以借助术前获取的三维医学图像，并可以依据三维医学图像与术中获取的二维医学图像之间的图像配准结果，确定三维医学图像与二维医学图像之间的空间位置的对应关系。二维医学图像中反映的病变部位的位置和大小与拍摄设备的位姿相关，确定了三维医学图像与二维医学图像之间的空间位置的对应关系，相当于确定了拍摄设备的位姿与三维医学图像之间的对应关系。若术前获取的是二维断层扫描图像，则需要依据该二维断层扫描图像重建出三维医学图像。

在一个实施例中，对第一二维医学图像与三维医学图像进行图像配准，可以包括：

S1、基于数字影像重建算法(DRR)建立与三维医学图像对应的二维模拟图像。

为了便于医疗术前诊断，术前一般会获取空间分辨率较高的医学图像，而术中一般只能获取二维图像，例如X光图像，因此在手术过程中实现图像配准时需要将三维医学图像降到二维，即基于DRR算法建立与三维医学图像对应的二维模拟图像(DRR图像)。

S2、对二维模拟图像与第一二维医学图像进行图像配准。

图像配准的过程中，可以自定义一个配准空间坐标系，以拍摄设备的全局坐标系为例，在拍摄设备的全局坐标系中，从三维医学图像数据中重建出一幅或若干幅DRR图像，依次对各幅DRR图像和步骤201获得的多张第一二维图像进行配准，可以获得术中病患的实时位姿以及病变部位在成像中的大小变换等信息。图像配准算法可以但不限于采用刚体变换、仿射变换、投影变换、弹性变换等。

为了提高图像配准的准确性，同时减小计算量，在一个实施例中，对第一二维医学图像与三维医学图像进行图像配准的过程中，可以先识别出第一二维医学图像中目标对象所在的第一区域，以及三维医学图像中目标对象所在的第二区域，在进行图像配准时只对第一区域与第二区域进行图像配准。

需要说明的是，步骤203的执行顺序不限于在步骤202执行之后执行，步骤203与步骤202可以同步执行，也可以先执行步骤203再执行步骤202。

步骤204、根据图像配准的结果和转换关系将手术器械的实时位姿数据和拍摄设备的实时位姿数据与三维医学图像进行融合并显示融合结果。

将手术器械的实时位姿数据和拍摄设备的实时位姿数据与三维医学图像融合后，可以得到病变部位和手术器械的实时位置关系动态图像，通过显示屏幕实时显示的动态图像，使得医疗人员可以通过观察显示屏幕进行同步手术，从而实现手术的可视化导航。

本实施例中，借助术前获取的三维医学图像，术中拍摄病变部位和手术器械的少量医学图像，可以实现手术器械的位姿、病变部位的位姿和三维医学图像之间的联动配准，对手术器械的实时位姿和病变部位的实时位姿进行跟踪并显示在术前获得的三维医学图像中，对医疗人员的手术操作过程进行指引。术中无需对病变部位以及手术器械进行实时拍摄，即可确定两者之间的位置关系，可以减少病患在术中受到医学图像拍摄的辐射剂量。

在一个实施例中，医疗人员可以通过观察显示屏幕，手动对手术器械的多轴机械臂进行操控，以使得在多轴机械臂的驱动下通过手术器械对病患进行手术操作，例如，将螺钉植入颈椎以完成良好矫形。

在另一个实施例中，手术导航系统也可以实现多轴机械臂的自动操控，具体的：医疗人员可以在显示屏幕呈现的三维医学图像上选定手术区域位置，系统可以根据该手术区域位置、图像配准的结果、转换关系以及当前手术器械的位姿数据、拍摄设备的位姿数据规划手术器械的移动路径，并控制手术器械依照该移动路径移动至与手术区域位置对应的目标位置处，进而对目标对象进行手术操作。通过路径规划，手术器械可以最短路径运行，可以提高手术器械定位的安全性和效率。

在另一个实施例中，还可以在机械臂台车上设置超声波传感器、红外传感器、摄像头等以使机械臂台车具备避障功能，当手术器械的运动过程中避免与周围的物体或人发生碰撞。

在另一个实施例中，在手术器械完成手术操作的情况下，可以触发拍摄设备对目标对象进行拍摄得到第二二维医学图像，该第二二维医学图像能够反映手术操作的具体位置；可以根据图像配准的结果重建与第二二维医学图像相对应的三维模拟图像，并将该三维模拟图像显示在显示屏幕中，显示三维模拟图像的屏幕可以与显示三维医学图像共用屏幕，也即将三维模拟图像与三维医学图像显示在一台显示屏幕上；当然也可以将三维模拟图像与三维医学图像显示在不同的设备中。医疗人员可以根据显示屏幕显示的三维模拟图像与三维医学图像确定手术操作的具体位置是否符合预期，例如，螺钉是否打在正确的位置上，在不符合预期的情况下，及时纠错，避免造成严重的医疗事故。

在另一个实施例中，在手术器械完成手术操作的情况下，还可以计算三维模拟图像中手术操作的位置，例如，螺钉植入位置，与三维医学图像上选定的手术区域位置的位置偏移，若位置偏移大于阈值，说明不符合手术预期，可能需要重新手术，则可以发出提示信息。其中，提示信息可以但不限于采用语音、文字等方式发出。

需要说明的是，上述任一实施例提供的手术导航方法可以通过机械臂台车执行，也可以另外设置操作台车执行上述手术导航方法，也可以通过机械臂台车、操作台车以及拍摄设备三者之间的交互实现上述手术导航。

图3是本发明一示例性实施例示出的另一种手术导航方法的流程图，图中以机械臂台车、操作台车以及拍摄设备三者之间的交互实现手术导航为例，通过对病患进行脊椎手术，对手术过程中的手术导航的具体实现过程进行说明。参见图3，方法可以包括以下步骤：

步骤301、操作台车获取病患颈椎的三维医学图像。

其中，该三维医学图像可以是术前对病患颈椎进行CT扫描，根据CT扫描得到的切片图重建得到的三维图像。术前，医疗人员可以根据该三维医学图像进行初步诊断并制定手术方案。

步骤302、拍摄设备对病患颈椎和手术器械进行初始拍摄，得到初始拍摄的二维医学图像。

手术过程中，病患躺在拍摄设备的扫描床上，医疗人员可以对拍摄设备和手术器械的多轴机械臂的位姿进行调整，使得二维医学图像的拍摄过程中拍摄设备的光线能够经过手术器械的标识点和病患的颈椎位置。为了便于区分，将步骤302中拍摄二维医学图像时拍摄设备的位姿称为第一位姿，将手术器械的位姿称为第二位姿。

步骤303、拍摄设备将初始拍摄的二维医学图像及第一位姿的位姿数据发送给操作台，手术器械将第二位姿的位姿数据发送给操作台。

其中，第一位姿的位姿数据可以由拍摄设备的控制系统确定，第二位姿的位姿数据可以由机械臂台车的控制系统确定。

步骤304、拍摄设备对病患颈椎和手术器械进行二次拍摄，得到二次拍摄的二维医学图像。

在进行二次拍摄之前，需要重新调整手术器械与拍摄设备的位姿，获取拍摄角度不同于步骤302的二维医学图像。需要注意的是，重新调整位姿之后，需要确保二维医学图像的拍摄过程中拍摄设备的光线能够经过手术器械的标识点和病患的颈椎位置。为了便于区分，将步骤304中拍摄二维医学图像时拍摄设备的位姿称为第三位姿，将手术器械的位姿称为第四位姿。

步骤305、拍摄设备将二次拍摄的二维医学图像及第三位姿的位姿数据发送给操作台，手术器械将第四位姿的位姿数据发送给操作台。

步骤306、操作台根据初始拍摄的二维医学图像、第一位姿的位姿数据、第二位姿的位姿数据、二次拍摄的二维医学图像、第三位姿的位姿数据和第四位姿的位姿数据确定手术器械的坐标系与拍摄设备的坐标系之间的转换关系。

本实施例中，以对病患颈椎进行2次拍摄建立两个坐标系之间的转换关为例，但是拍摄次数不限于2次，可以是3次、4次不等。采用多个姿态的三维医学图像分别与多张二维医学图像联动配准，由于多个姿态的图像相互牵制相比采用单个姿态的配准模式，大大提高了配准精度。

步骤307、操作台对三维医学图像与二维医学图像进行图像配准。

步骤308、操作台根据图像配准的结果和转换关系将手术器械的实时位姿数据和拍摄设备的实时位姿数据与三维医学图像进行融合并显示融合结果。

步骤307、步骤308的具体实现方式与步骤203、步骤204类似，此处不再赘述。

操作台可以将病患颈椎的三维医学图像、病变部位与手术器械的之间的位置关系通过成像的方式直观地显示在显示屏幕上，可以引导医疗人员进行手术，实现手术导航。

在一个实施例中，医疗人员可以通过观察显示屏幕，手动对手术器械的多轴机械臂进行操控，以使得在多轴机械臂的驱动下通过手术器械对将螺钉植入颈椎的病变部位，以对颈椎进行校正。

在另一个实施例中，手术导航系统也可以实现多轴机械臂的自动操控，具体的：医疗人员可以在显示屏幕呈现的三维医学图像上选定人员选定的置顶位置位置(手术区域位置)，手术操作台可以根据该选定的植钉位置、图像配准的结果、转换关系以及当前手术器械的位姿数据、拍摄设备的位姿数据规划手术器械的移动路径，并控制手术器械依照该移动路径移动至与植钉位置对应的病患颈椎处，进行螺钉植入操作。

在另一个实施例中，在螺钉植入之后，可以触发拍摄设备对病患颈椎进行拍摄得到二维医学图像，该二维医学图像能够反映植入螺钉在颈椎中的具体位置；拍摄设备可以将该二维医学图像发送给操作台，以使操作台根据图像配准的结果重建与二维医学图像相对应的三维模拟图像，并将该三维模拟图像显示在显示屏幕中。医疗人员可以根据显示屏幕显示的三维模拟图像与三维医学图像确定螺钉植入的位置是否符合预期。

在另一个实施例中，操作台还可以计算三维模拟图像中螺钉的位置与医疗人员在三维医学图像上选定的置钉位置的位置偏移，若位置偏移大于阈值，说明不符合手术预期，可能需要重新手术，则可以发出提示信息。其中，提示信息可以但不限于采用语音、文字等方式发出。

与前述手术导航方法实施例相对应，本发明还提供了手术导航装置的实施例。

图4是本发明一示例性实施例示出的一种手术导航装置的模块示意图，该装置可以包括：

获取模块41，用于获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

确定模块42，用于根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

配准模块43，用于获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准；

融合模块44，用于根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

可选地，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

可选地，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

可选地，所述装置还包括：

规划模块，用于根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

驱动模块，用于根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

可选地，所述装置还包括：

触发模块，用于在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

重建模块，用于根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

图5是本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备50的框图。图5显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。

总线53包括数据总线、地址总线和控制总线。

存储器52可以包括易失性存储器，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。

存储器52还可以包括具有一组(至少一个)程序模块524的程序工具525(或实用工具)，这样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。

电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，模型生成的电子设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器56通过总线53与模型生成的电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所提供的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种手术导航装置，其特征在于，包括：

获取模块，用于获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

确定模块，用于根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

配准模块，用于获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准，所述三维医学图像为手术前获取；

融合模块，用于根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

2.如权利要求1所述的手术导航装置，其特征在于，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

3.如权利要求1或2所述的手术导航装置，其特征在于，在对所述第一二维医学图像与所述三维医学图像进行图像配准时，所述配准模块用于：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

4.如权利要求1所述的手术导航装置，其特征在于，所述装置还包括：

规划模块，用于根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

驱动模块，用于根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

5.如权利要求1所述的手术导航装置，其特征在于，所述装置还包括：

触发模块，用于在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

重建模块，用于根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种手术导航方法，所述手术导航方法包括：

获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准，所述三维医学图像为手术前获取；

根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据与和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

7.如权利要求6所述的电子设备，其特征在于，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

8.如权利要求6或7所述的电子设备，其特征在于，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

9.如权利要求8所述的电子设备，其特征在于，所述手术导航方法还包括：

根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

10.如权利要求6所述的电子设备，其特征在于，所述手术导航方法还包括：

在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种手术导航方法的步骤，所述手术导航方法包括：

获取拍摄设备对目标对象和手术器械进行拍摄得到的第一二维医学图像，其中，所述手术器械用于对所述目标对象进行手术操作；

根据所述手术器械在所述第一二维医学图像中的位置以及拍摄所述第一二维医学图像时所述拍摄设备的位姿数据和所述手术器械的位姿数据，确定所述手术器械的坐标系与所述拍摄设备的坐标系之间的转换关系；

获取所述目标对象的三维医学图像，并对所述三维医学图像与所述第一二维医学图像进行图像配准，所述三维医学图像为手术前获取；

根据所述图像配准的结果和所述转换关系将所述手术器械的实时位姿数据与和所述拍摄设备的实时位姿数据与所述三维医学图像进行融合并显示融合结果。

12.如权利要求11所述的计算机可读存储介质，其特征在于，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像；

对所述二维模拟图像与所述第一二维医学图像进行图像配准。

13.如权利要求11或12所述的计算机可读存储介质，其特征在于，对所述第一二维医学图像与所述三维医学图像进行图像配准，包括：

识别所述第一二维医学图像中所述目标对象所在的第一区域，识别所述三维医学图像中所述目标对象所在的第二区域；

对所述第一区域与所述第二区域进行图像配准。

14.如权利要求11所述的计算机可读存储介质，其特征在于，所述手术导航方法还包括：

根据在所述三维医学图像上选定的手术区域位置、所述图像配准的结果和所述转换关系规划所述手术器械的移动路径；

根据所述移动路径将手术器械移动至与所述手术区域位置对应的目标位置处，以对所述目标对象进行手术操作。

15.如权利要求11所述的计算机可读存储介质，其特征在于，所述手术导航方法还包括：

在所述手术器械完成手术操作的情况下，触发所述拍摄设备对所述目标对象进行拍摄得到第二二维医学图像；

根据所述图像配准的结果重建与所述第二二维医学图像相对应的三维模拟图像。

Images