CN112533556A - 用于计算机辅助外科手术的系统方法以及计算机程序产品 - Google Patents

Abstract

一种帮助一外科医生终端用户的计算机化方法，包括：提供一投光器配置为将至少一个图案投射到脊柱上，提供3D摄像机，当所述脊柱在他们的视野中时工作以捕获所述脊柱和图案的3D视频影像；提供一工具跟踪器包括一INS工作以重复计算脊柱外科手术中使用的工具的一当前方向和位置的一输出工具状态指示，以及一无线通信模块提供子系统和一处理器间的数据通信包括发送所述输出工具状态指示至所述处理器；所述处理器包括逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及用所述处理器已知的所述图案追踪脊椎骨，并且相应地给所述外科医生提供反馈。

Description

用于计算机辅助外科手术的系统方法以及计算机程序产品

相关申请的交互引用

本申请要求于2018年7月12日提交的标题为“用于计算机辅助外科手术的系统和方法”申请号为62/696882的美国临时申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明总体上是有关于外科手术，特别是有关于计算机辅助外科手术。

背景技术

现有技术包括“计算机辅助外科手术器械-U.S.Pat.No.5,251,127”；“图像导向螺丝刀-US 6021343 B2；U.S.2001/0036245”,该专利导向一外科手术工具，以及“外科手术导航追踪器，系统和方法US7771436B2”，校准一外科手术工具及其适配器的方法和系统-US7166114B2。

说明书中提到的所有出版物和专利文献，以及其中直接或间接引用的出版物和专利文献的公开内容，本发明通过引用并入，除了主体免责声明或否认外。如果并入内容与本发明表达公开内容不一致，解释为本发明表达公开内容描述了一些实施例，然而并入内容描述了另一些实施例。并入内容里的定义可以被认为是所讨论术语的一种可能定义。

发明内容

本发明的一些实施例试图提供电路，所述电路通常包括至少一个与至少一存储器通信的处理器，所述处理器执行存储在所述存储器中的指令以提供本发明具体描述的功能。本发明所描述的任何功能可以适当地由软件实现或处理器实现。

一些实施例试图提供辅助一外科医生终端用户的一计算机化系统，所述系统包括以下所有或任意子集：

一光投影仪通常配置为将至少一个图案投射到至少一脊柱上，

多个3D摄像机，当所述脊柱在它们的视野内时，通常可运行以捕获所述脊柱和图案的3D视频影像；

一工具跟踪器，又称工具适配器；以及

一计算机，又称处理器，通常包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，和/或例如使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，和/或，在所述外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪。

所述工具追踪器可能包括:一惯性导航子系统(INS)，用以重复计算在脊柱上的一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；和/或一无线通信模块，可运行以提供所述子系统和所述处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器。

本发明描述的任何模块、子系统、器械、单元可能包括一合适的逻辑器或处理器配置为执行所述功能。

一些实施例尤其具有优势，因为在所述外科医生的视野中提供反馈当他/她进行外科手术并且注视所述术野时。

一些实施例尤其具有优势，因为将工具和/或螺丝相对一脊柱或所述人体的其他部位的所述位置和/或角定向呈递例如展示给所述外科医生终端用户。

一些实施例试图连续确定每个工具的位置，例如通过派生，例如从标记追踪数据，每个工具当前的3d位置和方向。

一些实施例试图提供一工具适配器可运行以辅助外科医生计划和进行脊柱外科手术。

一些实施例试图提供一系统和方法可能与常规的术前方案共同使用，包括：

给一患者的脊柱或其中部分做一CT影像，以及

分析一CT影像来确定在哪个脊椎骨上进行手术，以及用何种方式，以及

生成一外科手术方案。

所述系统可以执行，或指导一外科医生执行，以下操作的所有或任意子集：

手术前：

激活CT扫描分析功能，所述功能将所述骨骼表面从所述CT“分离”并且提供一所述脊柱脊椎骨的3D模型。

激活软件，所述软件在CT影像中识别最可用于追踪的骨骼特征，例如棘突和外侧突，例如如图10所示。

当外科手术开始时：

将手术方案展示给外科医生。

假设外科医生在所述外科手术所需的每个工具上安装一追踪器，所述系统利用安装在工具上的追踪器，给每个工具初始配准，例如对外科医生在相机视野中“展示”每个工具作出响应。如果追踪因为某些原因丢失，通常重复配准，并且继续连续的工具追踪。

脊椎骨的CT到3D影像配准例如本文所示和所述，每个外科手术只进行一次。

通常，接收一数字CT扫描或其它影像并且所述系统在例如对外科医生可见的一屏幕上生成输出，所述输出将所述CT扫描的骨骼和非骨骼部分分开并且将每个脊椎骨作为一3D对象分开显示。

从术前CT中提取骨骼特征。

应当理解的是，要追踪的骨骼特征通常在此时被外科医生暴露出来。

当外科医生完成她/他的手术方案，在外科手术中连续地：

追踪每个工具的3d位置和方向；

反馈给外科医生手术工具的位置和方向相对预先计划的位置和方向；

实时追踪脊椎骨骨骼特征-连续的单个脊椎骨级别的追踪。

如果因为某些原因追踪丢失，通常会重复配准并且继续连续的追踪。

可以调用骨骼移除程序，所述程序通过比较所述脊椎骨在其连续照片中的图像，提供移除骨骼的数量以及移除体积的形态的持续估计。

外科手术方案通常需要人体的精确测量、各种临床数据、基于之前的外科手术给外科医生的建议以及一模拟过程。使用计算机辅助外科手术(CAS)系统在外科手术中辅助外科医生在本领域中是众所周知的。这种CAS系统在外科手术中被外科医生广泛用于精确定位和外科器械追踪。现有的CAS系统使用术前影像例如接受外科手术患者的不做改变的磁共振成像(MRI)扫描，和/或计算机断层摄影(CT)扫描成像。然而，当一患者在所述外科手术中移动，由于呼吸或在手术中所述外科医生的操作，所述术前CT扫描成像可能无法很好地用作精确定位和外科器械追踪的参考。

另外，现有的CAS系统使用标记作登记和校准。所述标记可以是多个光发射器，所述光发射器能够被导航工具检测到来确定一外科器械的位置和方向。然而现有的CAS系统使用标记假设标记和一患者相关的解剖结构的距离是固定的，然而因为患者身体的移动，所述标记和相关的解剖结构之间的距离可能改变，从而使用于追踪外科器械的基于固定标记的计算不精确。

另外，现有CAS系统配置的导航工具不能完全避免外科手术中由于手指、手、头和手臂以及外科医生身体其他部位导致的阻塞。例如，如果所述外科医生的身体一部分干扰了成像，那么追踪失败，并且导航停止。因此，所述手术将会减慢或所述手术可能必须在次佳的或是非有利位置进行。另外，在外科手术中，现有CAS系统不能给所述外科医生提供实时和精确的反馈来在外科手术中到达期望的解剖部位。

现有外科手术导航系统的另一挑战是恰当运用和校准所述追踪设备以与常规的外科手术器械一起工作所需的时间。例如，提供下述现有技术用作支持性教导，并且通过引用并入。

一些实施例试图提供一种用于CAS的系统和方法，在脊柱外科手术期间提供所述脊柱的每个脊椎骨的实时三维追踪，用于指导外科器械导航的动态优化标记，以及在外科手术中用于到达期望解剖部位而给外科医生的实时而精确的反馈。相应地，公开了另一种辅助一外科医生进行脊柱外科手术的系统和方法。

一些实施例试图提供一种辅助一外科医生进行外科手术的方法和系统，尤其是脊柱。一些实施例试图提供一所述脊柱的每个脊椎骨的一实时追踪，能够抵消外科手术中所述患者的移动，从而给进行该手术的外科医生精确的导航反馈。

一些实施例试图提供给予外科手术中的辅助的一种系统，所述系统包括一扫描仪，所述扫描仪通过捕获所述患者的一解剖结构和一周围场景的三维视野来追踪接受一外科手术的一患者的一脊柱的每个脊椎骨的移动；一外科手术导航工具包括一工具适配器，所述工具适配器包括一惯性导航子系统(INS)，所述惯性导航子系统追踪在外科手术中使用的一个或多个外科器械的一角度和位置；一固定在所述外科手术导航工具上的相机，所述相机能够使所述扫描仪追踪所述工具；以及一投影仪，所述投影仪展示所述解剖结构的一相关部位的一照明的图案从而给所述外科医生视觉，以及基于从一计算机设备和所述外科手术导航工具接收的信号在外科手术中给所述外科医生提供主动反馈帮助导航。

一些实施例试图提供多个在扫描仪里的传感器，每个传感器有一不同的视野(FOV)来追踪所述FOV里放置的一系列光学标记。

一些实施例试图提供一3D位置和空间角度给所述外科手术导航工具，并且追踪光学标记集。

一些实施例试图在工具适配器里提供一活动屏幕，使用一箭头组合来指导所述外科医生沿着一轨迹和位置，其中所述箭头照明来指示变化，并且所述工具适配器中的一显示设备用来提供关于所述外科手术精确性的视觉反馈。

一些实施例试图提供基于陀螺仪、加速计、磁力仪、热感器和其它传感器的所述INS(惯性导航系统)，以及开展所述角度和位置追踪的机制。

一些实施例试图提供一通信模块将数据从所述扫描仪传输至所述计算机设备。

一些实施例试图提供一处理器和一存储计算机可读指令的存储器，当所述处理器执行时进行所述脊柱和所述脊椎骨的预定义的临床参数的测量；在一数据库中存储所述临床参数；在所述数据库中存储所述患者的相关解剖结构的多个扫描图和三维视图；在一站立姿势的二维图像和一站立姿势的三维图像间创建一配准，使所述外科医生能够纠正站立姿势时的所述脊柱并且确定一外科手术方案；从所述数据库中检索有类似临床参数的外科手术结果的临床案例，从而给外科医生在确定所述手术方案时提供更多的临床支持，将所述脊柱的配准传递给所述投影仪进行显示，并且将所述脊柱和多个脊椎骨的一3D重建传递给一3D打印制造设备。

一些实施例试图提供一种方法，所述方法通过一扫描仪捕获所述患者的一解剖结构和一周围场景的一三维视野从而追踪接受手术患者的一脊柱的每个脊椎骨的移动；通过一工具适配器内置的一惯性导航系统(INS)追踪所述外科手术中使用的一个或多个外科器械的一角度和位置，其中所述工具适配器设置在一外科手术导航工具内；通过一连接在所述工具适配器上的活动屏，利用一箭头组，在所述外科手术中指导所述外科手术导航工具的导航沿着一轨迹，其中所述箭头照明在导航中指导改变；通过一固定在所述外科导航工具上的相机，追踪所述外科导航工具的导航；通过一投影仪显示所述解剖结构的相关部分的照明的图案从而给所述外科医生视觉；通过所述投影仪提供在外科手术中给所述外科医生主动反馈来辅助导航，所述反馈基于从一计算机设备和所述外科手术导航工具接收的信号。

一些实施例试图提供多个传感器，每个传感器有一不同的视野(FOV)来追踪所述FOV里放置的一系列光学标记。

一些实施例试图通过所述扫描仪为所述外科手术导航工具创建一3D位置和空间角度；并且通过扫描仪追踪所述光学标记集。

一些实施例试图通过一显示设备提供关于所述外科手术精确性的视觉反馈，其中所述显示设备和所述工具适配器连接。

一些实施例试图提供一种系统方法和计算机程序产品为一脊柱外科手术中一外科医生提供辅助。所述系统包括一扫描仪，所述扫描仪通过捕获所述患者的一解剖结构和一周围场景的三维视野来追踪接受一外科手术的一患者的一脊柱的每个脊椎骨的移动；一外科手术导航工具包括一工具适配器201，所述工具适配器包括一惯性导航系统(INS)，所述惯性导航子系统追踪在外科手术中使用的一个或多个外科器械的一角度和位置；一固定在所述外科手术导航工具上的相机，所述相机能够使所述扫描仪追踪所述工具；以及一投影仪，所述投影仪展示所述解剖结构的一相关部位的一照明的图案从而给所述外科医生视觉，以及基于从一计算机设备和所述外科手术导航工具接收的信号在外科手术中给所述外科医生提供主动反馈帮助导航。

本发明通常包括至少以下实施例：

实施例1.一种帮助一外科医生终端用户的计算机化系统，所述系统包括：

一光投影仪配置为将至少一个图案投射到至少一脊柱上，

多个3D摄像机，当所述脊柱在它们的视野内时，可运行以捕获所述脊柱和图案的3D视频影像；

一工具跟踪器，又称工具适配器；以及

一计算机，又称处理器，包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪，

所述工具追踪器包括:

一惯性导航子系统(INS)，用以重复计算在脊柱上的一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及

一无线通信模块，可运行以提供所述子系统和所述处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器。

实施例2.一种根据上述任一实施例所述的系统，所述反馈包括在至少近乎实时地，对关于所述脊柱的至少一部分的至少一所述工具的一当前相对位置和角度的一指示。

实施例3.一种根据上述任一实施例所述的系统，其中所述反馈包括在一显示屏上呈现给所述外科医生终端用户的视觉反馈，所述显示屏和所述逻辑器进行数据通信。

实施例4.一种根据上述任一实施例所述的系统，其中所述工具追踪器安装在所述工具上。

实施例5.一种根据上述任一实施例所述的系统，其中提供多个工具追踪器并且安装在多个工具上，从而能够实时追踪多个工具。

实施例6.一种根据上述任一实施例所述的系统，其中用于追踪所述工具的标记是固定在所述工具和/或工具追踪器上的。

实施例7.一种根据上述任一实施例所述的系统，并且还包括一用户界面，通过在所述用户界面上所述外科医生终端用户能够在脊柱上标记至少一要追踪的骨特征，并且其中所标记的所述骨特征用来追踪所述脊柱的至少一部分。

实施例8.一种根据上述任一实施例所述的系统，其中所述处理器能够访问以数字方式存储的脊椎骨形状的和邻近脊椎骨之间的几何学关系的先验知识，并且其中所述处理器配置为将所述脊柱分割为单独的脊椎骨从而便于追踪所述脊柱的每个单独的脊椎骨。

实施例9.一种根据上述任一实施例所述的系统，其中所述工具追踪器向所述外科医生终端用户呈现由所述处理器产生的且通过所述通信模块发送到所述工具追踪器的视觉反馈，所述视觉反馈指示如何改变所述工具的当前角定向，具有包括至少一所述工具的位置，角定位和深度的反馈，从而提供所述反馈给所述外科医生终端用户，而不需要所述外科医生终端用户从外科手术区中转移目光去看一个远离所述外科手术区的屏幕。

实施例10.一种根据上述任一实施例所述的系统，其中至少一LED安装在所述工具追踪器上并且其中所述至少一LED被控制以提供所述视觉反馈。

实施例11.一种根据上述任一实施例所述的系统，其中所述先验知识包括至少一单独的脊椎骨的至少一3D模型。

实施例12.一种根据上述任一实施例所述的系统，其中所述标记包括基准标记。

实施例13.一种根据上述任一实施例所述的系统，其中所述标记包括球形标记。

实施例14.一种根据上述任一实施例所述的系统，其中所述惯性导航子系统(INS)可运行以连续地计算至少一工具的当前角定向和当前位置的输出工具状态指示。

实施例15.一种根据上述任一实施例所述的系统，其中所述投影仪使用超出可见光光谱的光投射所述图案。

实施例16.一种计算机程序产品，包括其中包含有计算机可读程序代码的一非暂时性有形计算机可读介质，所述计算机可读程序代码适于执行以实现包括以下操作的一方法：提供一光投影仪配置为将至少一个图案投射到至少一脊柱上，提供多个3D摄像机，当所述脊柱在它们的视野内时，可运行以捕获所述脊柱和图案的3D视频影像；提供一工具跟踪器，又称工具适配器，所述工具追踪器包括：一惯性导航子系统(INS)，被构建并且可运行以重复计算在所述脊柱上的一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及一无线通信模块，可运行以提供所述子系统和一处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器；其中所述处理器包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪。

实施例17.一种帮助一外科医生终端用户的计算机化方法，所述方法包括：提供一光投影仪配置为将至少一个图案投射到至少一脊柱上，提供多个3D摄像机，当所述脊柱在它们的视野中时，可运行以捕获所述脊柱和图案的3D视频影像；提供一工具跟踪器，又称工具适配器，所述工具追踪器包括：一惯性导航子系统(INS)，被构建并且可运行以重复计算在所述脊柱上一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及一无线通信模块，可运行以提供所述子系统和一处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器；其中所述处理器包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪。

实施例还包括：

实施例101.一种提供外科手术辅助的系统，方法或计算机程序产品，包括以下所有或任意子集：

一扫描仪，所述扫描仪通过捕获所述患者的一解剖结构和一周围场景的三维视野来追踪接受一外科手术的一患者的一脊柱的每个脊椎骨的移动；

一外科手术导航工具包括一工具适配器201，所述工具适配器包括一惯性导航系统(INS)，所述惯性导航子系统追踪在外科手术中使用的一个或多个外科器械的一角度和位置；

一固定在所述外科手术导航工具上的相机，所述相机能够使所述扫描仪追踪所述工具；以及

一投影仪：

所述投影仪展示所述解剖结构的一相关部位的一照明的图像从而给所述外科医生视觉；和/或

基于从一计算机设备和所述外科手术导航工具接收的信号在外科手术中给所述外科医生提供主动反馈帮助导航。

实施例102.根据实施例101所述的系统，其中所述扫描仪进一步包括：多个传感器，每个传感器有一不同的视野(FOV)来追踪所述FOV里放置的一系列光学标记。

实施例103.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述扫描仪为一三维(3D)扫描仪，所述扫描仪进一步配置为:

为外科手术导航工具创建一3D位置和空间角度；并且通过扫描仪追踪所述光学标记集。

实施例104.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述工具适配器201包括：

一活动屏幕，使用一箭头组合来指导所述外科医生沿着一轨迹和位置，其中所述箭头照明来指示变化；以及

一显示设备用来提供关于所述外科手术精确性的视觉反馈。

实施例105.根据上述任一实施例所述的系统，其中所述解剖结构是所述脊柱，其中所述脊柱包括多个脊椎骨。

实施例106.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述工具适配器201的所述INS基于陀螺仪、加速计、磁力仪、热感器和其它传感器以及开展所述角度和位置追踪的机制。

实施例107.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述外科手术导航工具进一步包括：

一通信模块将数据从所述扫描仪传输至所述计算机设备。

实施例108.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述计算机设备包括：

一处理器；以及

一存储计算机可读指令的存储器，当所述处理器执行时进行：

所述脊柱和所述脊椎骨的预定义的临床参数的测量；

在一数据库中存储所述临床参数；

在所述数据库中存储所述患者的相关解剖结构的多个扫描图和三维视图；

在一站立姿势的二维图像和一站立姿势的三维图像间创建一配准，使所述外科医生能够纠正站立姿势时的所述脊柱并且确定一外科手术方案；以及

从所述数据库中检索有类似临床参数的外科手术结果的临床案例，从而给外科医生在确定所述手术方案时提供更多的临床支持。

实施例109.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述计算机设备进一步配置为：将所述脊柱的配准传递给所述投影仪进行显示。

实施例110.根据上述任一实施例所述的系统方法或计算机程序产品，其中所述计算机设备进一步配置为将所述脊柱和多个脊椎骨的一3D重建传递给一3D打印制造设备。

术语突起(process)意为包括描述从脊柱脊椎骨后部的骨突起的医学术语，例如SP或棘突，SAP或上关节突，IAP或下关节突等。

应当理解的是，本发明提到的任何引用或详述的执行的操作是，例如如果所述操作至少部分是在软件上执行，意为既包括由服务器A完全执行所述操作的实施例，也包括“外包”或“云”的任何形式的实施例，在所述实施例中所述操作或其中部分，或是由一远程处理器P(或几个这样的处理器)执行，所述处理器离岸部署，或是“在云上”，并且然后将所述操作的一输出传递给，例如在一合适的计算机网络上，并且被服务器A使用。类似地，所述远程处理器P本身可能不会执行所有的操作，并且相反，所述远程处理器P本身可能会从另一个/一些处理器P’接收所述操作的部分输出，所述处理器P’可能部署到相对于P的离岸，或“云上”等。

除信号外还提供了一种计算机程序，所述计算机程序包括：计算机程序代码，当所述程序在至少一计算机上运行时，所述计算机程序代码用于执行本发明所示和所述的任何方法；以及一计算机程序产品，包括一通常非暂时性计算机可用或可读介质例如非暂时性计算机可用或可读存储介质，通常是有形的，其中包含有一计算机可读程序代码，所述计算机可读程序代码适于执行实现本发明所示和所述的任何或所有方法。本发明根据教导的所述操作可以由至少一计算机执行，所述计算机特别构建用于期望的用途或一般用途，所述计算机特别配置为通过储存在一通常非暂时性计算机可读存储介质的至少一计算机程序达到期望的目的。本发明中使用的术语“非暂时性”排除了暂时性，传播信号或波，但另外包括任何不稳定或稳定的适用于本申请的计算机存储技术。

任何合适的处理器，显示和输入方法可以用于处理、显示例如在一计算机屏幕上或另外的计算机输出设备上，存储、和接收信息，所述信息例如本发明所示和所述的任何方法和设备使用或产生的信息；根据本发明的所有或任意实施例子集，上述处理器，显示和输入方法包括计算机程序。本发明所示和所述的任何或所有功能，例如但不限于流程图内的操作，可能由任一或多个执行：至少一常规的个人计算机处理器，工作站或其它可编程设备或计算机或电子计算设备或处理器，通用用途或特别构建，用于处理；一用于显示的计算机显示屏和/或打印机和/或扬声器；机器可读存储器例如闪存盘、光盘、CDROM、DVD、BluRays、磁光盘或其它磁盘；RAM、ROM、EPROM、EEPROM、磁性或光学或其它卡，用于存储，以及键盘或鼠标用于接收。本发明说明和描述的模块可能包括任一或组合或多个：一服务器、一数据处理器、一存储器/计算机存储器、一通信界面(无线(例如BLE)或有线(例如USB))，或一存储在存储器/计算机存储器中的计算机程序。

上文使用的术语“过程(process)”意为包括数据的任何形式的计算或操作或转换，所述数据表示为物理的，例如电子，可能在例如至少一计算机或处理器的暂存器和/或存储器里发生或属于的现象。使用名词的单数形式不意为限制；因此所述术语处理器意为包括多个可能分散或远程的处理单元，以及所述术语服务器意为包括多个，通常互联的模块，在多个分别的服务器上运行等。

上述设备可以通过任何常规的有线或无线数字通信方法通信，例如通过一有线或移动电话网络或一计算机网络例如因特网。

本发明的所述设备可以包括，根据本发明一些实施例，机器可读存储包括或另外存储一指令程序，当所述机器执行，所述指令程序实现本发明所示和所述的设备、方法、特征和功能的所有或任意子集。替代地或另外，本发明所述设备可以包括，根据本发明的一些实施例，上述一程序可以用任何常规程序语言来写，以及可选地执行所述程序的一机器例如但不限于一般用途计算机，所述计算机可选地配置为或根据本发明的教导激活。本发明并入的任何教导可能在任何合适的代表物理物体或物质的信号上操作。

上述提到的实施例，以及其它实施例，在下个部分具体描述。

在文本或附图中出现的任何商标是其所有者的财产，并且本发明中出现仅仅为了解释或阐述本发明的一实施例如何实现的一例子。

除非另外说明，术语例如，“处理”、“电脑运算”、“估计”、“选择”、“排名”、“分级”、“计算”、“确定”、“产生”、“再评价”、“分类”、“产生”、“生产”、“立体匹配”、“配准”、“检测”、“联合”、“叠加”、“获得”、“提供”、“评价”、“设置”或类似，指至少一计算机或计算机系统、或处理器或类似电子计算机设备或电路的动作和/或过程，所述动作和/或过程操纵和/或转换数据，所述数据表示为物理的，例如电子，数量例如在所述计算机系统的暂存器和/或存储器里，和/或运行中提供，进入其它数据，所述其它数据可能同样表示为物理量在所述计算机系统的存储器、暂存器或其它这种信息存储、传输或显示设备中或可能提供给外部因素例如通过一适合的数据网络。所述“计算机”应该被广义地解释为包括具有数据处理能力的任何种类的电子设备，包括，不限于这些例子，个人计算机、服务器、嵌入式内核、计算机系统、通信设备、处理器(例如电子信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、等。)以及其它电子计算机设备。对一计算机，控制器或处理器的任何引用意为包括一个或多个硬件设备例如芯片，所述硬件设备可能同位或彼此远离。任何控制器或处理器可能例如包括至少一CPU、DSP、FPGA或ASIC，根据本发明所述逻辑和功能合适地配置。

本发明所述的任何特征或逻辑或功能可以由根据描述的特征或逻辑或功能配置的处理器或控制器实现，即使因为简化没有具体阐述所述处理器或控制器。所述控制器或处理器可以以硬件实现，例如，使用一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或可能包括一微处理器，所述微处理器运行合适的软件，或一硬件和软件元素的组合。

仅为了清楚，可以用特定的术语或参考，特定的编程语言、操作系统、浏览器、系统版本、个人产品、协议等来描述本发明。应当理解的是这个术语或此类参考文献意为清楚简要地传递一般操作原理，通过举例的方式，不是为了限制本发明的范围到一特定的编程语言、操作系统、浏览器、系统版本、或个人产品或协议。但是，公开定义讨论中的编程语言、操作系统、浏览器、系统版本、或个人产品或协议的标准或其它专业文献，通过引用整体并入本文。

本发明分开列出的元素不需要是不同的元件并且或者可能是同一个结构。一元素或特征可能存在的陈述意为包括(a)所述元素或特征存在的实施例；(b)所述元素或特征不存在的实施例；以及(c)所述元素或特征可选地存在的实施例，例如一用户可以配置或选择所述元素或特征是否存在。

任何合适的输入设备，例如但不限于一传感器，可以用作生成或以其它方式提供从本发明所示和所述的器械和方法接收的信息。任何合适的输出设备或显示可以用作显示或输出由本发明所示和所述的器械和方法生成的信息。任何合适的处理器可以用作计算或生成本发明所述的信息和/或用作执行本发明所述的功能和/或用作实现本发明所说明或所描述的任何引擎，界面或其它系统。任何合适的计算机化数据存储例如计算机存储器可以用作存储本发明所示和所述的系统接收或生成的信息。本发明所示和所述的功能可以在一服务器计算机和多个用户计算机之间划分。本发明所示和所述的这些或其它计算机化组件可以通过一合适的计算机网络在它们之间通信。

本发明所示和所述的系统可以包括用户界面，如本发明所述可能包括例如所有或任意子集：交互式语音响应界面、自动响应工具、语音转文字转录系统、有交互式视觉组件的自动化数字或电子界面、门户网站、视觉界面，所述视觉界面加载为网页或屏幕通过通信网络从服务器到一网页浏览器或下载到一用户设备上的其它应用、自动化语音转文字转换工具、包括其中一前端界面部分和与此交互的后端逻辑。因此本发明所用术语用户界面或“ui”也包括控制所述数据呈递给所述用户的逻辑例如通过所述系统显示和接收和处理和/或提供给本发明的其他模块，一用户输入的数据例如用她或他的工作站/设备。

附图说明

在各个附图中示出了实施例。附图示出了本发明公开的各种其他方面的系统、方法、和实施例。任何本领域普通技术人员将理解图中所示元素边界(例如盒子、盒子组、或其他形状)代表了边界的一个实施例。可能在一些实施例中一个元素可以被设计为多个元素或多个元素可能被设计为一个元素。在一些实施例中，被示为一个元素内部元件的元素可能在另一个元素中被实现为外部组件，反之亦然。另外，元素可能未按比例绘制。参考以下附图描述了非限制性和非全面的描述。附图中的组件不一定按比例。特别地：

图1是根据一实施例的一环境100的示意图，所述环境100包括在一脊柱外科手术期间给一外科医生提供辅助的一系统。

图2是根据一实施例的含有一工具适配器201的一外科手术导航工具103的示意图。

图3A是根据一实施例的由外科手术方案软件在所述脊柱的选定的脊椎骨上创建的配准的示意图。

图3B是根据一实施例的由所述外科手术方案软件创建的选定的脊椎骨的脊椎骨分析，和/或各种脊椎骨测量的示意图。

图3C是根据一实施例的所述脊柱的三维示意图。

图4是给开展一脊柱外科手术的一医生提供计算机辅助帮助的一方法的流程图400。

图5是一相机系统的简化图。

图6是对一相机的示例设计考虑的示意图。

图7a和图7b是一工具追踪器，又称一工具适配器的示意图。

图8a、8b、9a-9c是根据本发明所示和所述的可以由GUI生成的单个脊椎骨的示意图。

图10是根据本发明的一实施例提供的从一术前影像例如一脊柱的CT扫描中提取骨骼特征的一方法的一简化流程图，；在该流程和其它流程中，可能提供适当地排序的所述操作的所有或任何子集，例如如图所示。

本发明的某些实施例如下图中所示；在框图中，模块间的箭头可以被实现为API并且可以用任何合适的技术使本发明所述的功能组件或模块互相连接以一适合的顺序或规则例如通过一合适的API/界面。例如，可以使用先进的工具，例如但不限于提供远程呼叫支持的Apache Thrift和Avro。或者，可以使用一标准通信协议，例如但不限于HTTP或MQTT，并且可以与一标准数据格式结合，例如但不限于JSON或XML。

本发明范围内包括的方法和系统可以包括实施例具体描述的实现方式所示的任何子集或所有功能框，以任何合适的顺序例如如图所示。流程可以包括所述操作的所有或任何子集，例如如图所示适当地排序。本文的表格可以包括所描述的字段和/或记录和/或单元格和/或行和/或列的所有或任何子集。

在泳道线图表中，可以理解的是可以采用任何所示操作的任何顺序而不是所示的顺序，优选地，该顺序是为了其他操作利用某些操作的结果，通过前者先于后者执行，如图表所示。

本发明所描述和所说明的计算的，功能的或逻辑的组件可以以各种形式实施，例如，作为硬件电路例如但不限于定制的VLSI电路或门阵列或可编程的硬件设备例如但不限于FPGA，或作为存储在至少一有形的或无形的计算机可读介质上的软件程序代码，并且通过至少一处理器或其任何合适的组合执行。一特定的功能组件可以由一特定的软件代码序列，或多个特定的软件代码序列组成，所述软件代码序列共同作用或行为或如本发明所述参考讨论中的所述功能组件作用。例如，所述组件可以分布在几个代码序列上，例如但不限于对象、过程、功能、例程和程序，并且可以源自通常协同运行的几个电脑文件。

本发明的每个功能或方法可以以软件(例如以在合适的处理硬件上例如一微处理器或数字信号处理器上执行)，固件，硬件(使用任何常规的硬件技术例如集成电路技术)或其任意组合。

规定为软件实现的功能或操作可以替代地由等同的硬件或固件模块全部或部分实现，反之亦然。如果提供了本发明所述的实现功能的固件，可以设置在任何合适的存储设备和一合适的处理单元(又称处理器)，所述处理单元可以配置为执行固件代码。替代地，本发明所述的某些实施例可以在硬件中部分或专有地实现，在这种情况下，本发明所述的变量、参数、和计算的全部或任意自己可以在硬件中。

本发明所述的任何模块或功能可以包括一适当配置的硬件组件或电路。可替代地或另外，本发明所述的模块或功能可以通过一个一般用途计算机或更通常一合适的微处理器执行，所述微处理器根据本发明所示和所述的方法配置，或在该方法中包括任意合适的子集、以合适的顺序的所述操作，或根据本领域已知的方法。

本发明所述的任何逻辑功能可以实现为一实时应用，如果适当，并且可以采用任何合适的体系结构选项，例如但不限于FPGA、ASIC或DSP或其任何适合的组合。

本发明提到的任何硬件组件实际上可以包括一个或多个硬件设备例如芯片，所述芯片可以同位或彼此远离。

本发明所述的任何方法意为包括在本发明实施例范围内的任何软件或计算机程序，所述软件或计算机程序执行所述方法的操作的所有或任何子集，包括一移动应用、平台或操作系统例如在介质中存储的，以及将计算机程序和一硬件设备结合从而执行所述方法的操作的所有或任何子集。

数据可以存储在一个或多个有形的或无形的计算机可读介质中，所述计算机可读介质存储在一个或多个不同的位置、不同的网络节点或在单个节点或位置处的不同的储存设备。

可以理解的是任何计算机数据存储技术，包括将用于计算的数字数据保留一定时间间隔的任何类型的存储或存储器以及任何类型的计算机组件和记录介质，以及任何类型的信息保留技术，可以用作存储本发明提供和采用的各种数据。合适的计算机数据存储或信息保留设备可以包括主要的、次要的、第三的或离线的设备；合适的计算机数据存储或信息保留设备是具有波动性、分化、可变性、可及性、可寻址性、容量、性能和能源使用的任何类型或水平或数量或类别；合适的计算机数据存储或信息保留设备是基于任何合适的技术例如半导体、磁性、光学、纸和其它。

具体实施方式

图1所示为一计算机辅助外科手术(CAS)系统的一环境100，所述计算机辅助外科手术系统给特别是开展一所述脊柱的外科手术的一外科医生提供辅助。所述CAS系统包括一监视器104、一三维(3D)扫描仪105、机械联动装置107、一外科手术导航工具103、以及手术室照明装置106a-b。所述环境100也包括一手术台102，一在背上有切口的患者101躺在所述手术台上，并且一刺激器108刺激所述患者101。

所述3D扫描仪105用于追踪外科手术中使用的一个或多个外科手术工具并且通过校准将两个系统组合成单个设备。在本发明的某些实施例中，通常所述3D扫描仪105执行两种功能，和/或一场景分析的附加功能。所述3D扫描仪105通常基于一个或多个已知的3D捕获方法和它们的变型。光通常以一已知的图案投射，所述图案可以是恒定的，取决于色度或时间。另一可能使用的方法是离焦(聚焦)深度法，通过离焦(聚焦)深度法改变景深和空间位置，例如通过机械移动一个或多个镜头，或使用液体镜头或其它参数改变的镜头。例如，所述3D扫描仪105可以有以下的参数：1-2米的范围，400mm×200mm、100×100mm或1000m×1000m的视场(FOV)，0.1mm的分辨率，最小分辨率为最小0.5mm，0.3mm的精度，1mm的最小精度，一700-900nm的投射波长，400-900nm的成像波长，以及一无线通信能力。

一基于DLP，MEMS或其它任何方法来投射变化的图案的数字投影仪可以用作所述3D扫描仪105的部分。除了这一用途之外，一基于可见光的投影可以作为所述外科医生的指导。所述数字投影仪可以创建一照明的图案，例如一点或一圆形或其它图案，在所述患者101的相关解剖结构上。例如，在所述患者101的椎弓根区域上所述外科医生将要钻孔处创建一个圆形。创建一照明的图案的一个优势是所述外科医生能够集中他/她的视线在所述患者101上，而不是看一个远程屏幕。因此，可以更快更精确地完成所述外科手术。而且，在所述解剖结构的正确的部位创建一照明区域增加了所述外科医生的信任，因为证明了所述系统识别所述外科区域和指导所述外科医生的能力。

在一实施例中，所述3D扫描仪105也可以提供一场景和场景分析，即所述外科手术周围的一3D视图，以及所述患者101的一解剖结构。例如，在一机器人辅助手术中，所述3D扫描仪105可以和一系列安装在所述机器人本身上的相机结合工作来提供场景分析给所述机器人。

在一实施例中，所述3D扫描仪105可以有不同FOV的传感器。一个传感器可以有高分辨率能高精度查看骨骼，以及另一个传感器可以调配为捕获一般场景。例如，所述3D扫描仪的相关参数可以包括离所述手术台102

0.5-1.5m的扫描仪高度，高分辨率传感器的FOV的直径为150-400mm，当和一1000万像素相机一起使用时像素分辨率为0.1mm，低分辨率传感器的FOV为400-1000mm，当和10万像素相机一起使用时像素分辨率可以达到0.3mm。上述3D扫描仪105达到的像素分辨率比现有技术的高分辨率CT扫描仪更高。

在一实施例中，所述3D扫描仪105可以通过机械联动装置107和所述手术室的一天花板和一墙壁连接。所述机械联动装置107可以是一机械臂，所述机械臂可以用作关于环境100的3D扫描仪的3D移动。

此外，所述3D扫描仪105可以包括多个传感器，所述传感器追踪所述外科医生和所述患者101的外科手术中使用的外科手术工具的移动。例如，可以利用多个传感器追踪手术室中固定的项目，例如，但不限于所述手术台。此外，所述3D扫描仪105可以追踪设置在所述FOV中在一固定物体例如一天花板或一墙壁上的多个预定义光学标记。此外，另一放置在3D扫描仪105顶上的传感器定向为朝着天花板向上看，所述天花板上设置有多个光学标记。

此外，所述3D扫描仪105可以追踪所述患者102的一脊柱的每个脊椎骨的移动，实时抵消所述患者102的任何移动。例如，移动可以因为所述患者102的呼吸或因为所述手术中所述外科医生的操作。所述3D扫描仪105也能够支持机器人手术中的一机械臂。所述3D扫描仪105可以指导3D空间内的所述机械臂并且能够通过接收实时精确反馈在障碍物周围操纵来到达一解剖区域。

所述外科手术导航工具103克服在导航中导致的阻塞。

图2所示为根据一实施例，具有一工具适配器201的一外科手术导航工具103。图2仅显示一个例子；还可以包括其它附件或布置例如一用于查看所述外科手术的LED/LCD屏幕。所述工具适配器201有一内在追踪能力。这是基于惯性导航系统(INS)的，所述惯性导航系统基于陀螺仪、加速度计、磁力仪、热传感器以及其它传感器和机制，执行角度和位置的追踪。内部机制更好因为他们稳健对抗阻塞，并且，与外部追踪结合，使得更精确的定位。结果更易于使用并且具有更精确的导航和工具追踪。在大部分过程中，INS追踪与3D扫描仪105结合工作。与现有技术中仅基于3D相机和具有被动或主动应答器的无线三角测量相比，结合追踪创建更精确和稳定的工具追踪。

所述工具适配器201也具有通信功能，从所述计算机和所述3D扫描仪接收和传输数据并且支持所有系统部件间的同步。

在本发明中通常，所述导航系统基于给所述外科医生的反馈，所述反馈来自于一起呈现脊柱(或脊柱元素)和工具显示它们的位置和角度关系的一计算机屏幕，或来自于一增强现实概念，所述增强现实概念呈现叠加在物理世界之上的一类似视觉反馈。

本发明通常使用可以添加到两种方法的内部反馈机制。所述工具适配器201有一活动屏(图2未示出)或能够指导所述外科医生到正确的轨迹和位置的照明。它使用箭头组合，点亮以指示更改和一“交通灯”LED 201a来反馈以确保精确性。当所述外科手术导航工具在目标上时，所述LED 201a灯是绿色的，并且当它稍微远离所述目标它就变成黄色，并且最终当它离所述目标太远然后它就变成红色。任何其它类型的内部反馈是可能的-例如一数字屏幕-可以指导所述外科医生移动。所述工具适配器具有四个导航键(表示为箭头，201b)，用来导航所述外科医生导航工具向左、向右、向上、以及向下。

一活动屏是一电子屏幕(例如在智能手表中发现的那些屏幕)能够实时呈现给所述外科医生图形和文本的信息。

本发明的方法通常消除了在最终使用所述工具中看屏幕的需要，和/或消除了处理复杂增强现实系统的需要。

在涉及微创外科手术的另一实施例中，在没有足够的骨骼来创建术前手术的实时3D配准的情况下，一微型照相机或内窥相机的使用可以插入一小切口。此外，拍摄所述切口中的骨骼的图像用来创建一CT扫描的一配准。所述相机能利用螺钉中的中空部分来看插入深度。相机的尺寸小于2mm是理想的，但即使2-8mm的相机都能使用。

此外，在一计算机系统上运行的外科手术方案软件，布置于自动检测一CT扫描中的一脊椎骨和另外所述脊柱上的脊椎骨。通过使用各种计算机视觉和机器学习算法，检测变得更精确。外科手术方案软件然后呈现给所述外科医生一所述脊柱的3D和2D重建，从而消除阻塞并且支持所述患者的更好的临床评估。通常，配准算法使用额外的信息来提高所述配准可能性和质量。外科手术方案软件中使用的CT扫描经过了一系列图像增强算法例如降噪、平滑、超分辨率和基于脊柱和脊椎骨检测的特征检测。基于外科手术方案，如图3所示，配准算法在选定的脊椎骨上创建一配准。所述配准算法利用额外的信息提高配准的可能性和质量。计划SW所用的CT扫描经过一系列图像增强算法例如降噪、平滑、超分辨率和基于脊柱和脊椎骨检测的特征检测。基于外科手术方案，所述配准算法仅在相关脊椎骨上尝试创建配准：在计划过程中所述外科医生定义的那些脊椎骨。如果发生变化，所述外科医生可以使用所述计算机来选择和定义所述外科手术中的相关脊椎骨。所述3D扫描仪使用其它视觉提示为所述配准创建更小的搜索区域：例如，基于所述患者的可见解剖结构，所述系统估计背上相关的脊椎骨的位置并且在那里开始搜索。另一个提示是人体中开口的位置。

图3A为根据一实施例，通过外科手术方案软件在所述脊柱选定的脊椎骨上创建的一配准的图示300A。进行一脊柱302a的CT扫描并且所述外科手术方案软件创建了多个选定的脊椎骨302b，如图所示，的一配准，如图所示。在计划过程中，所述外科医生定义了多个脊椎骨302b。如果发生变化，所述外科医生可以使用所述计算机来选择和定义所述外科手术中的相关脊椎骨。在一实施例中，所述3D扫描仪105可以利用额外的视觉提示为配准创建一更小的搜索区域。例如，基于患者的可见解剖结构，所述3D扫描仪能够估计背上相关的脊椎骨的位置并且在那里开始搜索。另一个提示是人体中开口的位置。

此外，所述外科手术方案软件测量所述脊柱和脊椎骨的预定义临床参数。这些参数存储进一数据库用作进一步的分析并且呈现给所述外科医生用于手动分析。所述外科手术方案软件能进一步在多个选定的脊椎骨302b上进行分析并且如图3B所示说明每个选定的脊椎骨的详细参数。

如图3B所示为根据一实施例，由所述外科手术方案软件创建的多个选定的脊椎骨302b的脊椎骨分析的图示300B。一脊椎骨308的详细信息可以在图示300B的右手侧显示。例如，脊椎骨L3的详细表示在308中显示。

此外，外科手术方案软件可以创建站立姿势拍摄的一2D X光片和平躺姿势拍摄的一3D CT扫描间的配准。所述配准在脊椎骨级别进行。这个结果是两种姿势的不同脊柱曲线的视觉化，使所述外科医生能够矫正所述脊柱为一站立姿势，而不是一平躺姿势。如图3C所示为根据一实施例，所述脊柱的一三维表示300C。所述脊柱300C的3D重建可以直接发送给一3D打印或制造设备。这不需要外部技术人员的额外输入和人工操作就可以完成。所述外科手术计划可以用作定义用于所述外科手术中的精确植入物以及可以允许只订购特定的植入物。此外，使定制的植入物和棒状物的生产成为可能。另外，使定制的外科手术指南和患者特定的外科手术工具和器械的生产成为可能。

此外，所述软件呈现给所述外科医生所述脊柱的3D和2D重建，从而消除阻塞并且支持所述患者的更好的临床评估。所述软件测量所述脊柱和脊椎骨的预定义临床参数。所述临床参数存储进一数据库用作进一步的分析并且呈现给所述外科医生用于手动分析。例如：测量所述骨骼中的钙量可以导致一骨质疏松症的诊断，从而影响所述外科医生的决策和计划。有条件时，所述软件使用额外的临床数据例如不同位置(站立，弯曲，等等)的X射线成像、年龄、性别、身高、体重、所述患者的一般临床数据以及他/她的健康状况，以及基因信息。通过使用数据库，可以发现相似的病例，并且所述外科医生能接收由另一个外科医生作出决定的一临床病例，以及一之前的外科手术的结果。利用上述信息，所述外科医生可以决定去改变一外科手术方案。

外科手术方案软件的实施例可以提供为一计算机程序产品，所述计算机程序产品可以包括其上有形包含的一计算机可读介质，指令，可以用于对计算机进行编程(或其它电子设备)来执行一过程。所述计算机可读介质可以包括，但不限于，固定的(硬盘)驱动器、磁带、软盘、光盘、光盘只读存储器(CD-ROM)、以及磁光盘、半导体存储器，例如ROM、随机存取存储器(RAM)、可编程只读存储器(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、闪存、磁卡或光卡、或适合储存电子指令(例如，计算机编程代码，例如软件或固件)的其它类型的介质/机器可读的介质。另外，本发明公开的实施例也可以作为一个或多个计算机程序产品下载，其中所述程序可以通过一通信连接(例如，一调制解调器或网络连接)经由一载波或其它传播介质包含的数据信号从一远程计算机传输给一需求计算机。

如图4所示的流程图400为一脊柱外科手术中给一外科医生提供辅助的一方法。每个方块可以表示代码的一模块、段或部分，从而组成了一个或多个实现所述特定逻辑功能的可执行指令。应该注意的是在一些替代实现中，方块中提出的所述功能可以不按图中提出的顺序发生，或根本不发生。例如，图4所示的连续两个方块可以实际上大体同时执行，或所述方块有时以相反的顺序执行，取决于涉及的功能。流程图中的任何过程描述或方块应理解为代表代码的模块、段落或部分，包括一个或多个用于实现过程中特定逻辑功能或步骤的可执行指令，并且替代的实现包括在实施例范围内，功能可以不以示出的或讨论的顺序执行，包括几乎同时地，或以相反的顺序，取决于所涉及的功能。另外，流程图中的过程描述或方块应理解为代表由一硬件结构例如一状态机作出的决定。流程图400在步骤401开始并且继续执行至步骤406。

在步骤401，通过一扫描仪可追踪进行外科手术的一患者的一脊柱的每个脊椎骨的一移动，通过捕获所述患者的一解剖结构和一周围场景的三维视图。

在步骤402，外科手术中使用的一个或多个外科手术器械的一角度和位置，由一工具导航系统的一工具适配器内置的一惯性导航系统(INS)追踪。

在步骤403，利用一箭头组合，在外科手术中指导所述外科手术导航工具的一导航沿着一轨迹，其中所述箭头照明来指导导航中的改变。

在步骤404，所述外科手术导航工具的所述导航由附着在所述外科手术导航工具顶端的一相机追踪。

在步骤405，给所述外科医生提供视觉的所述解剖区域相关部分的一照明图案显示在一投影仪上，是所述外科医生能够看突出显示的部分。例如，可以在一椎弓根区域创建一圆圈，从而所述外科医生能够将他/她的视野集中在所述患者上，而不是看着一远程屏幕。

在步骤410，基于从一计算机设备和所述外科手术导航工具接收的信号，给所述外科医生提供一主动反馈来辅助导航。来自所述计算机设备的所述信号可以包括过去外科手术的结果、X射线到CT扫描的配准、以及所述患者的所述脊柱的3D重建。来自所述导航系统的所述信号包括基于所述扫描仪的实时追踪的所述工具的在空间的角度和位置，以及附着在所述外科手术导航工具顶端的相机拍摄的图像。

本发明所示和所述系统的硬件组件通常包括所有或任何子集：

i.如图5所示的近红外(NIR)3d视频成像子系统1100，所述子系统对所述脊柱脊椎骨和外科手术工具进行成像，通过软件(以下iii)进行追踪。

ii.工具追踪器包括以下内部组件中的所有或任何子集：

惯性测量装置(IMU)芯片包括加速度计和陀螺仪、无线通信模块、用于用户反馈的指示LED或屏幕、用于工具追踪的基准的/球形的标记、电池。

所述工具追踪器可以安装在旧的工具上或提供包括一整体形成的追踪器的工具，通常邻近所述工具的后端，例如尽可能远离工具尖端。

iii.计算机例如PC，运行本发明所示和所述的软件功能并且通过有线或无线通信与3D相机和工具追踪器相连。如果需要，所述计算机可以和所述相机整合。

iv.提供显示的显示屏，所述显示代表本发明所述的各种应用和功能生成的输出。

NIR 3D视频成像子系统1100又称3D相机系统的设计和规格通常针对脊柱外科手术进行独特优化。如图5所示，所述NIR 3D视频成像子系统1100通常包括：

a.一结构化的NIR光投影仪1101，例如说，深圳安华光电技术有限公司的M8M-NIR型，或其它任何适合3D测量的近红外又称NIR结构化光投影仪模块，所述光投影仪模块可以由所述外科医生布置或放置来照亮所述术野；以及

b.多个常规的3D摄像机1102a和1102b，例如说海康威视MV-CE013-80UM单色1/2.7”4□m CMOS USB3.0 1280×1024@148fps摄像机，具有MVL-MF1620M-5MP f＝16mm,F#2.0，2/3”，5MP的镜头。通常，为保证以亚毫米精度重建3D深度，提供至少两个相机；其它相机通常提供更好的精度，但以更高的系统复杂性和花费为代价。

所述NIR 3D视频成像子系统1100的所述投影仪1101和相机1102通常全部整合于单个外壳中，所述相机1102在投影仪1101的两侧均有放置。所述相机1102相对于所述投影仪1101的确切位置可以在系统安装时校准和维护，以确保系统进行精确的深度测量。为达到期望的0.3mm像素精度，所述相机1102和投影仪1101间的距离通常维持在校准时测量的距离的0.1mm内或更小。所述系统可能在已知目标上进行定期测试从而保证校准精度。

所述结构化光投影仪1101通常投射NIR(例如，850nm波长)光形成一所述软件已知的图案从而照亮目标。所述图案可以是一随机的点图案、线、二进制编码图像、或本领域已知的其它任何图案。

所述3D成像处理软件通常运行以：

i.接收多个相机拍摄的显示同一照明图案的视频流，

ii.确定来自多个相机的同步图像间的像素偏移，然后

iii.如像素偏移的一功能，确定每个图像像素到所述相机子系统1100的距离。

图像中的每个像素通常有X，Y，Z(深度)坐标。每个工具和每个脊椎骨位置通常由所述系统连续追踪，例如通过了解所述工具或脊椎骨的最终位置以及已追踪的特征来确定它的新的位置。对于工具-用于确定一工具的新的位置的已追踪的特征可以包括特定的工具标记，例如基准，球形等。对于脊椎骨-用于确定一工具的新的位置的已追踪的特征可以包括由所述外科医生确定的特定的骨骼特征，例如如本文所述。

可以在所述系统中使用软件功能来从所述相机提供3D像素数据。例如，opensourceimaging.org/project/stmctured-light-3d-scanner/网站是一个利用(开源)软件产生一3D扫描仪系统的示例项目，从一商用的可见光投影仪(例如InFocus LP330),两个现有的网络摄像头(例如Logitech C920C)以及基于OpenCV和NumPy包的Python代码。

使用NIR光保证了所述外科医生看不到的图案不会干扰所述外科手术。照明波长通常与相机最大响应的波长一致，从而提供最大的图像对比度。

所述相机1102和投影仪视野1101间的基线距离通常由所述相机设计者选择，从而匹配所需视野和离所述患者的距离，以在脊柱外科手术中有最佳表现。例如，也许所述视野需要比大约400mm×200mm大从而能够覆盖沿着所述脊柱的相关区域(在其上进行所述外科手术)以及邻近这个相关区域的区域。所述相机距离“目标”的距离，又称患者的背部或脊柱，可能在1200mm至1500mm从而保证所述相机不干扰所述外科手术，仍然追踪所述外科医生在外科手术中可能使用的不同工具。扫描仪和相机的分辨率通常相同，产生足够小的像素，例如在手术部位或术野小于0.33mm，或足够提供精确配准和所述脊柱和工具追踪的任何其它值。

放置一椎弓根螺钉在一脊柱脊椎骨中的期望误差范围可以是1mm或更小。一通常的椎弓根螺钉直径为4.5mm至7.5mm(例如，VTI提供的椎弓根螺钉组，例如vti-spine.com/product/interlink)。椎弓根骨宽度通常在L5脊椎骨的18mm至T5脊椎骨的4.5mm间。椎弓根螺钉直径通常不小于4mm因为它们的长度必须为>25mm，以便横穿所述椎弓根并且通过进入脊椎骨体提供足够的机械支撑。

如果在一5mm宽度椎弓根上使用一4mm螺钉，每一边剩余的宽度为0.5mm，并且误差范围<0.5mm。一提供0.3mm精度的系统可以防止所述螺钉破坏骨骼。

在此实施例中，所述相机和投影仪的像素数可以大于1200×600像素(400mm×200mm/0.33mm)，考虑到上述FOV和分辨率。

子系统1100的外壳大小可以由相机1102的基线距离决定，而基线距离又由所述系统的精度要求和景深来设置。如图6所示为相机和相关距离以及一些可能设计考虑的一示例布置。

如图6所示，所述景深由dZ给出，所述相机镜头到所述脊柱的标称距离为Z，以及两个相机1102a,1102b间的基线距离，又称“基线尺寸”，又称“基线”为B。每个像素的3D深度由所述两个相机1102a,1102b-D1和D2的相同的像素的偏移决定。相机镜头焦距标记为f。

标称距离Z＝1300mm，镜头的焦距f＝16mm，相机分辨率1280×1024像素，每个相机102a,102b的景深(DOF)覆盖了所需的dZ如果数值孔径(F#，镜头可变光圈直径和景深的比值)为F#≈5。

像素D1和D2间的偏移应小于图像传感器的宽度。如图6所示，

并且对于在域中间D2＝-D1的一目标。

所述传感器尺寸D和所述基线尺寸B以满足D＝2D1>f*B/Z*dZ/Z而确定。

例如，对一个具有4微米像素且D＝5.12mm宽的传感器来说，一合适的基线可以是B<2000mm。通常采用具有上述参数的一基线距离，尽可能宽地置于手术室(OR)环境。通常基线尺寸为B＝350mm至500mm。

上述计算例示了3D相机的一个合适的设计。认为这只是相机一种可能的设计；因此到物体更近的距离和/或不同的FOV也是可能的，并且可以和脊柱外科手术协同使用。

关于所述外科医生使用所述3D相机的另一个参数，在外科手术中，是获得工具和脊椎骨3D追踪的时延。因为所述患者每10到20秒呼吸大约1周期，所述脊柱在每个呼吸最多移动10或20mm。因此，寻求以0.3mm或更好的精度来追踪所述脊椎骨，所以所述3D相机和关联的软件，通常设计提供每周期至少60帧数，或者刷新率高于每秒6帧。

相机1102可以包括一IR带通玻璃滤片，所述滤片使结构光波长附近波长的光通过(例如，所述滤片可以使波长落在840nm至860nm间的光通过，考虑到一结构光投影器1101的照明波长为850nm)，并且优先阻挡所有其它波长，例如可见光。OR环境通常用高强度的光照明，以使所述外科医生能够看见所述外科手术的精细细节。利用超出可见光谱的光，例如近IR或IR波长，使即使在强照明时也有高图像对比度。

主动阻止-例如通过合适的滤片-来自OR光的光发射是有益的，所述光落在相机1102的光滤片的可接受带宽内。这确保了所述OR光不会降低所述3D相机的图像对比度。

上述的3D相机实施例利用850NIR光。其它实施例可能使用NIR的其它波长，例如700nm，940nm，或由标准或NIR增强CMOS传感器可检测的700nm到1000nm间的其它波长。

所述工具追踪器(又称工具追踪单元)可以具有以下所有或任何子集的特征：

脊柱外科手术的一部分包括椎弓根螺钉的插入和植入所述患者脊柱的其它部分。工具追踪能够使所述工具精确映射到计划前操作中，并且降低外科手术中骨骼破坏的可能性或脊髓损伤。

追踪单元的位置由软件追踪来追踪，例如可能由所述3D相机产生的至少一图像，具有特定的特征，例如基准或标记。可以理解的是，可以采用追踪单元上的任何特定的标记-球形，基准，或本领域已知的其它容易识别的标记。所述标记通常附着在所述工具和/或工具追踪器，例如如图2所示，所述工具追踪器通常附着于所述工具。所述工具和工具追踪器可以整体形成，或所述工具追踪器可以安装在旧工具上。例如，所述工具追踪器，又称追踪单元，可以固定附着于合适的外科手术工具，例如一螺钉导引插入器，螺丝刀等，或可以扣紧或以其它方式牢固地固定，通常每个外科手术一次，在外科手术结束后即可拆卸并丢弃，能够在外科手术间消毒所述工具。

一基准标记或基准是一物理物体，或其数字表示，例如有等距标记的网格或标尺，放置在一成像系统的视野中(或其数字表示并入，例如在视野的成像上叠加)；因此，所述标记出现在由所述成像系统产生的图像中并且用作一参考和/或度量。一基准标记可以包括放置在被成像的主题里或上的一物理物体。

利用所述工具的一3D模型由所述系统的计算机决定所述工具的尖端的位置，包括附着于它的所述工具追踪器，以及来自所述追踪单元的所述工具追踪器的已知的位置和角度。所有外科手术工具的3D模型由它们的制造商提供，并且作为系统软件的一部分包含。例如，工具3D模型可以作为.stl文件提供。可以展示可用工具(文件)的图像给所述外科医生并且单击他/她准备呈现给所述系统的特定的工具。当所述系统通过识别所述工具上的追踪标记在其FOV内识别所述工具时，追踪通常开始，并且通常向所述外科医生指示所述工具已追踪所述工具，例如通过在监视器上显示所述工具位置和/或角度。

不同于有标记附着在工具上的被动工具追踪，所述标记追踪器是一个主动的设备。它包括一IMU芯片(例如，来自STMicroElectronics，Bosch，TDK等的具有三个加速度计和三个陀螺仪的6轴MEMS单芯片IMU)、通信芯片(例如ZigBee，Bluetooth Low Energy，专有RF等)、充电器芯片和可充电电池或不可充电电池(一次性使用)电池、和指示器LED或屏幕。所述工具追踪器通常发送，通常连续地，IMU测量的加速度和旋转到所述系统计算机，例如通过所述通信芯片。这个信息可以通过所述追踪软件与从所述3D相机获得的所述工具追踪器位置和/或角度信息相结合。在所述3D相机看到所述工具追踪器阻塞的情况下-例如，被所述外科医生的头或手臂-IMU数据可以继续提供信息用于连续地跟踪所述工具的所述角度和位置。

如图7a和7b所示分别为所述工具追踪器的内部和外部设计的一实施例的半框图半图示图。

工具追踪器1200内部包括IMU芯片1201、通信芯片1202、以及电池1203。在外部该实施例显示彩色LED 1206、1207、1208的一系列指示器，用于显示或以其它方式呈现给所述外科医生从所述计算机发送回到所述工具1200的反馈角度信息，以及用于通过3D相机追踪的一系列基准标记1205。可以使用任何常规的程序来开展利用标记的基准追踪。一开源基准追踪包的一例子在：docs.opencv.org/3.1.0/d5/dae/tutorial arucodetection.html-利用OpenCV来检测和追踪ArUco标记。

例如，中心LED 1206灯从红色变为黄色变为绿色，当单元的倾斜角分别为关闭、接近设计角度和等于设计角度。

所述外部LED例如1207，1208根据校正亮起，这将会产生在所述术前计划规定的期望角度(又称设计角度)，最外围的LED 1208表明更大的校正，内部的LED1207指示更小的校正，以及只有中心LED1206指示不需要校正。该反馈使所述外科医生可以保持他/她的眼睛在所述患者上(而不是转移目光看他视野外的一屏幕，该屏幕通常用来显示工具位置信息)，并且仍然知道怎样握持所述工具，以便插入的螺钉(例如)会在正确的计划前的角度。

上述外科医生的反馈示例描述了LED用作反馈的指示器。替代地或另外地，可以采用声音反馈、触觉反馈、屏幕反馈、或上述的各种组合。

所述工具追踪器和所述计算机之间的连续的通信允许设置在术前计划中规定的期望角度或在外科手术中改变计划。倾斜和旋转的所述IMU测量提供了两个附加功能：

1.通过测量倾斜角与重力的关系来测量一工具的角定向。所述追踪单元必须在所述工具的顶部的附近，为了使所述外科医生和所述3D相机能看到并且不会干扰所述外科手术。这一相对较大的距离(通常一工具可以是10cm至20cm长)限制了3D相机测量所述工具角度的精确度。所述IMU提供所述工具倾斜角的连续测量，从而加强所述工具尖端的估计。

2.持续提供工具角度反馈信息或一工具的角定向的估计，即使所述外科医生的头或其它物体阻挡了所述工具的3D相机视野。通信频道保持给所述工具发送反馈信息以及给所述计算机发送IMU测量，使所述外科医生能够集中于外科手术本身。

如图7b的工具追踪器实现显示了一圆形设计。然而，可替代地，所述设计可以修改，例如所述工具追踪器可以为一圆环包围所述工具把手的形状，或者所述工具追踪器可以配置为沿着工具的边缘延伸，并且固定附着在所述工具的边缘上。所述LED可以以其它方式布置，例如以一圆形或多个同心圆而不是以十字形，或者可以用显示器或任何其他具有成本效益的反馈代替或增强。

所述工具追踪器的设计做得十分简洁，从而允许无菌，一次性使用操作。在这种情况下，所述电池可以为一次性使用电池。

所述系统计算机可能具有以下所有或任何子集的特征：

所述系统计算机通常与与图1所示的3D相机，工具跟踪器以及手术显示器或监视器单元的各个控制器或主处理器的所有或任何子集进行数据通信。它可以放置在一医疗工具架、可移动架、或在OR外部具有合适的通信通道。所述计算机在图1所示的手术监视器或显示屏上显示手术预计划，又称术前计划或“计划”，并且接受用户输入来改变所述计划，例如使用所述预计划软件。通常，所述监视器上也显示所述3D相机和外科手术工具的初始配准，以及通常外科手术中所述工具的追踪位置。所述计算机与所述工具追踪器通信为了接收IMU数据并且发送给所述外科医生反馈信息(通常“在板上”呈现每个工具，例如尤其如本发明图7b所述)，所述反馈信息关于外科手术中使用的任何或所有工具的追踪位置。

所述计算机也允许在监视器上呈现新的应用，例如，去骨应用。

可以理解的是在一些脊柱外科手术中所述外科医生试图从各个身体区域移除骨骼，可以用作为相同患者的另一个位置做植骨的材料，或用于去除多余的骨骼。在这些情况下所述去骨应用可以提供目前已经移除的骨骼量的一测量给所述外科医生。

当调用所述去骨程序时，软件图形用户界面(GUI)通常提供所移除骨骼数量的一准确估计，以及移除量的形状。所述3D相机连续地扫描所述脊椎骨，并且所述软件连续地比较骨移除过程中的骨表面和骨移除开始前的骨表面，并且提供给所述外科医生移除骨骼的数量和形状的通常一持续的，即时的和精确的测量，并且选择性地提供决策支持以确定什么时候停止，或是否以及怎样改变骨骼移除方向。如图8B所示为一2D图像，将骨骼移除前和移除区域的一示例脊椎骨横切面的2D图像显示给一外科医生终端用户，所移除区域可以显示为，例如，和没有被移除的剩余的骨骼不同的颜色，包括深度和宽度测量。在每个2D视野中通常有两个移除的骨骼量的测量，例如如图8b所示。

本文所述的系统的软件组成可以包括以下全部或任何子集：

i.一些实施例包括脊椎骨特征的识别用于实时追踪。

ii.一些实施例包括术前CT的骨骼特征的提取。

iii.一些实施例包括脊椎骨的CT到3D配准。

iv.一些实施例包括连续的单个脊椎骨水平追踪。

通常，配准在所述外科医生在手术室中暴露要追踪的骨骼特征之后，并且在通常是连续的追踪之前。如果追踪因为一些原因丢失，通常重复配准并且恢复所述连续的追踪。

v.每个工具的配准包括初始获取，通过在相机视野中呈现所述工具开始追踪。初始工具获取可以包括在一工具菜单中选择所述工具，通过仅仅在相机FOV中展示所述工具，或使用软件的其它任何提示。

vi.一些实施例包括连续的工具追踪，例如如本文所述。根据一些实施例，现在详细描述上述过程I、ii、iii。

i.实时追踪脊椎骨特征：

实时追踪多个脊柱脊椎骨通常依赖于每个脊椎骨外部骨表面的特定特征的识别。脊椎骨追踪的输入可以包括一术前CT扫描，从术前CT扫描可以提取脊椎骨表面，例如如下所述。所述外科医生选择外科手术中用于追踪的一系列骨特征，在外科手术计划中或在外科手术中。这些骨特征通常包括有变化曲率的区域。在外科手术中，实际的骨表面区域通常暴露并且从组织和血液中“清除”，以使3D图像和所述CT间有良好的匹配。

由所述外科医生挑选作为“追踪的特征”的这一区域的一示例为棘突顶部或其它任何特征。通常这个区域在外科手术中暴露，并且一旦所述外科医生从周围组织中清洁所述区域以及在外科手术中暴露骨骼，所述区域可以作为第一次配准的一个特征。为此，所述外科医生将组织从那些他/她选择作为追踪特征的骨特征上清除，并且在CT图像上标记所述“追踪特征”，例如通过使用CT图像上的计算机输入来选择特征，和/或追踪或跟踪系统围绕特征追踪的一手术工具的尖端。

精确的配准和追踪通常依赖于距离尽可能远的骨特征。至于脊柱脊椎骨，要追踪的自然特征是棘突和/或外侧突的边缘，例如如图8A所示。

如果仅追踪所述棘突，例如，则可能较难确定所述脊柱相对于围绕所述棘突“轴”顶部旋转的确切位置。可以通过清除和追踪所述棘突的整个区域来限制该不合需要的“自由度”为误差，但这是耗时的，并且仍旧留下相对大的误差，由于所述棘突非常狭窄。

如果所述外科医生选择顶部边缘(例如棘突的和至少一外侧突的-分别在图8A中标记为2101和2102a，2102b)作为追踪特征，这可能在估计所述脊椎骨位置时提供更少的“自由度”为误差，但在有利地需要在手术期间仅清洁一相对小的骨区域。所述棘突和所述外侧突的顶端边缘间的较宽间隔使得位置误差较小。

如图8a-b,9a-9c所示为一示例腰椎脊椎骨2100的各种视野；如图8A，所述棘突的顶部标记为2101，两个外侧上关节突的顶部标记为2102a和2102b。由三个边缘形成的三角形的较长边，又称“底边”通常为几厘米宽，用于所述脊椎骨位置的精确配准以及用于初始配准后的连续追踪位置。

脊椎骨的典型尺寸可以从文献中获得，例如Zhou等“下腰椎的几何尺寸-数字化CT图像数据的分析”(在线提供：ncbi.nlm.nih.gov/pmc/articles/PMC3611390/pdfr586_2000_Article_90242.586.pdf)。两个外侧突的顶端间的距离通常大致等于脊椎骨体的宽度，并且在成人中腰椎通常为大约50mm。所述棘突的高度通常为大约30mm，产生一几乎等边的三角形用于配准和/或追踪。

如果使用所述棘突的顶部和单个外侧突的顶部，分开40mm，配准精度为例如，在每端0.3mm，这会产生通常仅仅0.6度的一估计角度误差。加上第二个外侧突增加三角形的大小到两倍宽并且使角误差达到，通常小于0.3度，因为对于小角度sin(θ)＝θ(弧度)。

上述示例骨特征不是唯一可用来配准和追踪的特征；脊椎骨的所有或任何暴露的以及清洁过的骨骼区域可以用于配准；暴露骨骼区域越大，可以使用更多的骨特征，配准和追踪的误差越小。

即使清洁一很小的骨骼区域，例如大约总共1cm＾2，通常足够提供充分支持有效外科手术的一输出。

ii.从术前CT提取骨特征：

术前外科手术计划通常包括成像，例如给所述患者做一CT成像，分析图像来确定会在哪个脊椎骨上做手术，以及以何种方式，并且计划所述外科手术。

所述CT扫描(例如)具有突出的-明亮的-骨骼区域的身体的横截面。所述系统的CT扫描分析软件，例如如下所述，将骨表面从所述CT“分离”，并且提供一所述脊柱脊椎骨的3D模型。在将骨特征从所述CT匹配到所述3D相机图像的特定实现中，构建所述软件来优化合适的识别并且确定最可用于追踪的骨特征-所述棘突和外侧突。如图10所示为从一CT中确定骨特征的一方法。

图10的骨特征提取方法可以包括以下操作的所有或任何子集，合适地排列，例如如下所示：

操作6100：加载数字CT扫描

操作6200：从CT扫描确定脊柱中心

操作6300：定义脊柱体积的外部范围

操作6400：通过确定骨骼的3D边缘找出骨骼表面

操作6500：填充3D边缘之间的骨骼区域

操作6600：确定落在脊柱体积内的骨骼区域

操作6700：删除向外延伸的骨骼区域(肋骨部分)

操作6800：利用3D脊椎骨模型细化脊椎骨定义

操作6900：向用户显示分开的脊椎骨

现详细描述这些操作的实施例

操作6200：从CT扫描确定脊柱中心-在一CT扫描的每个切片中，包括骨骼的区域比带有软组织的区域显示“更亮”。利用高斯滤镜，精细的细节“趋于平滑”，并且突出有较高平均亮度的区域。找出这些区域的中线能够确定3D的脊柱中心。在一些区域-例如脖子，该区域脊柱骨头更小并且锁骨较厚，所述中心由从较低区域延伸的中心确定，并且保持切片间的误差小于一物理最大值(因为所述锁骨离所述脊柱中心相对较远)。

操作6300：定义脊柱体积的外部范围-按照所述脊柱中心，确认在所述中心周围的“连接”体积。平滑的高斯滤镜通过平滑精细细节确保体积是连续的，并且它也延伸超出所述脊柱的范围。最大的连接体积定义了所述脊柱体积。根据一些实施例，该体积可以用于仅保持或存储所述脊柱。

操作6400：通过确认骨骼的3D边缘找出骨骼表面-因为所述骨骼表面比它周围组织和骨骼中心更亮，运用一边缘检测算法能够确认所述骨骼表面。通过沿着不同方向寻找“边缘”，“突出”所有3D骨骼表面。本领域已知几种图像中的边缘检测的方法，例如Canny算法，卷积等。为了减少假边缘，首先对数据”去噪“来移除不连接在所述脊柱中心上的明亮区域。为了突出边缘，也可以通过运用一更高的Gamma滤镜来“拉伸”原始的CT强度图。

操作6500：填充在3D边缘间的骨骼区域。首先，填充“骨骼”的骨骼体积。这可以通过“区域生长”来进行，首先关闭任何开放的边缘，然后连接彼此靠近的区域。

操作6600：确认落在脊柱体积内的骨骼区域。所述软件自动检测哪些骨骼区域落在脊柱体积内，例如如在操作6300中确定。

操作6700：删除向外延伸的骨骼区域(肋骨部分)。所述软件丢弃在操作6300中确认的被发现完全或部分落在所述脊柱体积外的骨骼区域。这帮助消除所述肋骨并且仅保留所述脊柱。

操作6800：利用3D模型细化脊椎骨定义。按照由所述CT确定所述脊柱，通常所述脊柱分为单个脊椎骨(分割)。一先验脊椎骨模型帮助分开作为每个脊椎骨部分的骨骼部分，并且将所述脊柱分割为单个脊椎骨。上述操作可以利用3D数据操作软件来实现，例如Open3D和点云库(PCL)-用于点云处理任务和3D处理的算法库，包括特征估计、表面重建、3D配准、模型拟合、和分割的所有或任何子集。

操作6900：将分开的脊椎骨展示给用户。所述展示通常用作外科手术预计划。

图10的方法通常由所述系统中央计算机执行，每个外科手术一次，在可以进行CT扫描后以及在外科手术开始前。也可以由存在于互联网上的一应用来执行，例如云应用，或其它任何合适的方法，所述方法能够允许一CT扫描的下载、在数据上运行算法、以及将结果显示给所述用户。

将所述脊柱分割为分开的脊椎骨通常需要利用每个脊椎骨形态和与相邻脊椎骨关系的先验知识。所述知识可以以由CT扫描分析软件生成的单个椎骨的3D模型的形式提供。一种使用一大知识库的方法，所述大知识库包括积累的关于许多患者的脊柱脊椎骨的结构的大数据，是创建一神经网络，所述神经网络可以通过浏览带注释的CT扫描的一大数据库来“学习”分割所述分开的脊椎骨。

iii.单个脊椎骨的配准和追踪：

通常，配准的输入包括由所述外科医生生成的标记，所述外科医生从他/她选择作为追踪特征的那些骨骼特征上清除组织并且在所述CT成像和所述脊柱上标记所述“追踪的特征”。

为了展示给所述外科医生怎样执行所述外科手术前计划(通常通过所述软件在所述患者的脊柱的CT扫描上做标记并且利用所述软件的用户界面展示给所述外科医生)，先建立配准，在术前CT扫描和3D相机图像间。从所述CT扫描中提取和标记在图像上的所述骨骼特征在所述3D相机图像中认定。例如，在图1的场景中所述外科医生可以用具有追踪标记的一工具(例如图2的工具202)在所述患者的脊柱上标记一特定的点。所述3D相机追踪所述工具尖端，并且所述外科医生也可以在所述CT扫描数据上标记相关的点。每个脊椎骨标记一些点-例如1或2或4或6或10，使所述CT扫描匹配到所述3D相机图像。通常，所述外科医生在每个脊椎骨上识别特定的点、区域或痕迹，在所述CT上以及通过将他们标记在相机上，例如通过将一合适的工具的尖端放置在每个点或在暴露的骨骼区域跟踪一条线。所述软件将所述CT和通过相机看到的点或痕迹的3D位置进行匹配，并且告诉所述外科医生所述CT和相机图像间是否有好的配准。如果所述软件确认配准不“好”，所述外科医生可以重复所述配准，或添加其它点、痕迹或特征。例如，所述外科医生可以从组织清理如上述的小的骨骼特征。利用一追踪的工具尖端，所述外科医生可以跟踪3D相机的“干净”的骨骼区域，并且利用任何合适的计算机输入设备在所述CT扫描上标记相同的区域。通过这种方法建立了骨骼特征间的同步(例如所述术前CT扫描和当外科手术开始生成的至少一3D相机图像间的配准)，并且所述3D图像可以配准到所述CT扫描。

所述计算机或处理器或逻辑器可以使用一合适的配准算法，包括已知的3D点云配准方法例如迭代最近点(ICP)。当所述计算机发出信号它已获得一“好的”配准结果时，例如在所述CT和3D点之间有均方根误差(RMSE)拟合度大于，例如0.5mm，所述外科医生能够开始操作并且所述系统可以利用所述骨骼特征的配准来连续追踪每个单个脊椎骨。

单个脊椎骨上骨骼特征的直接连续的追踪通常保持追踪所述脊椎骨对于所述3D相机的任何运动，通常包括相机对于患者的有意的或无意的运动。例如，所述外科医生可能希望改变所述相机的位置为了看到所述患者脊柱的一不同的部分，或移动所述相机到更适合特定步骤的另一个位置。在该移动中所述相机继续追踪所述脊椎骨，因此在所述外科手术中没有“间断”并且所述外科医生可以无缝继续。这对于相机的有意的和无意的运动都成立，例如当所述相机转移或移动时，只要所述追踪的骨骼特征保留在所述相机FOV中。

在所述骨骼特征初配准中，所述外科医生可以有意地移动所述相机来增加FOV或从其它角度“看到”所述脊柱。所述相机软件通常配置用于将在运动中获取的图像集“合并”为扩展FOV的单个3D视图。该特征允许更好的初配准，因为所述相机可以使用增加的点和多个视图来匹配所述CT扫描。可以进行相同对象的多个点云图像的合并，例如，使用Open3D包多路注册代码，例如在以下网址的在线文档中描述：www.open3d.org/docs/release/ tutorial/Advanced/multiway_registration.html。

一旦获得所述骨骼特征的初配准，并且所述相机开始追踪所述分开的脊椎骨，可以增加在配准的特征周围的其它图像区域用于追踪。例如，初配准可以仅仅使用“已清洁的“和暴露的骨骼区域来匹配所述CT骨骼表面。所述“干净的”骨骼的靠近的周边，包括组织、肌肉、韧带等，在离所述暴露区域1cm的半径范围内，也可以被用作追踪，因为它附着到骨骼上并且在外科手术中相对于它不会移动。这增加了所述图像中的追踪区域并且通过允许追踪更多数量的3D图像像素提高所述追踪精确度。

利用一计算机辅助外科手术系统做外科手术计划和/或执行的一方法，例如现描述本发明的任何或所有的硬件和软件组件。可以执行下述所有或任何子集的操作，以任何合适的顺序，例如所示。

操作前计划：

这可以包括下述操作的所有或任何子集，以任何合适的顺序：

i.由外科医生选择CT扫描，下载选择的CT扫描到合适的外科手术方案软件

ii.显示分开的脊椎骨和骨骼特征，例如使用本发明的骨骼提取方法

iii.由所述外科医生选择在外科手术中要放置的螺钉或其它可植入设备

iv.由所述外科医生利用GUI将所述可植入设备放置在特定的脊椎骨上它们计划的位置

v.由所述外科医生在外科手术中保存要用的计划。

所述术前方案软件通常包括一图形用户界面(GUI)，所述图形用户界面例如用标准工具设计使所述外科医生能够进行上述的操作i-v。操作ii通常采用图10的方法。

所述GUI可以具有以下所有或任何子集的特征：

根据一些实施例，当下载一脊柱CT，原始的扫描可以以2D和/或3D视图查看。通常，提供一“仅脊柱”选项，如果选择该选项，例如点击导致本发明的处理器移除背景、和肋骨、血管和其它器官，并且仅显示所述脊柱。通常，提供一“脊椎骨”选项，如果选择该选项，例如点击，导致通常在所述分割的脊柱的一显示旁为分割的脊椎骨的一显示。

点击“仅脊柱”可以移除背景，并且仅生成所述脊柱。

点击“脊椎骨”可以显示分割的脊柱旁的分割的脊椎骨。这里所述系统可以通过点击“扫描和配准”并且启动相机来显示配准。在点击完成扫描，可以显示配准结果。

可以理解的是所述GUI可以给所述外科医生终端用户提供以下屏幕显示的所有或任何子集：

一主屏幕可以显示所述患者的姓名和ID，以及外科手术识别细节，例如日期，外科医生姓名等。

一2D查看器屏幕可以提供所述术野的一2D视图，例如本文所述。

一具有角度测量屏幕的2D查看器可以提供同样的，在其上叠加角度测量。

一3D查看器可以图像化显示仅所述脊柱的侧视图或等距视图，或所述脊柱和工具和/或螺钉的侧视图或等距视图，使得所述外科医生可以查看关于所述脊柱的工具和或屏幕位置和角定向。

一扫描和配准屏幕可以显示扫描/配准的系统进度，例如本文所述。

通常提供一仅脊柱屏幕使所述外科医生看见没有工具、螺钉、角度等的屏幕。

通常提供一脊椎骨屏幕显示单个特定的脊椎骨，例如其等距视图和/或其各种2D视图。

一校正屏幕通常指导所述用户通过校正，例如“打开相机”等。

一活动阶段屏幕可以显示所有或任意子集：一所述脊柱的图像、螺钉列表、外科医生可用选项。

可以理解的是可以执行任何适合的技术来导入一患者的数据，例如下载包含所述患者的CT扫描的DICOM文件或所述患者的脊柱的其它数字表示，通常和一患者的元数据相关联，例如患者的姓名，出生日期等。

可以理解的是通常提供一2D查看器应用为了使本发明的显示屏呈现给一外科医生终端用户，一期望的CT的2D视图。通常，所述系统支持对所述图像添加注释，然后可以保存该注释并且在下次所述2D查看器应用启动时下载。

可以理解的是通常提供一3D查看器应用为了允许CT扫描的一3D视图和/或三个2D视图(轴向、矢状、冠状)。通常所述系统支持用户添加预定义STL对象，例如螺钉和/或工具和其3D操作，然后所述系统显示改变或操作，反映在所有视图中。通常，所述用户也可以在2D平面移动对象。通常，选择例如在一对象上点击会自动设置该对象在2D视图中所在位置的切片。通常，所述外科医生终端用户可以，例如通过点击任何2D视图上的扩展按钮，放大这些视图，让它们更易于交互。通常，除了移除对象，所述用户可以，例如通过点击一“保存位置”按钮，保存对象的当前位置用于下一次应用启动时重新加载。

执行外科手术：

在手术室实际执行外科手术的过程，可以包括以下操作的所有或任何子集，以任何合适的顺序：

i.由一外科医生选择特定外科手术的一术前计划和所述计划的下载

ii.由一外科医生在特定的脊椎骨上暴露/清洁的骨骼区域定义为“追踪特征”

iii.由一系统在追踪特征的3D图像和一术前CT扫描间配准

iv.在外科手术中由所述系统连续追踪特定的脊椎骨位置

v.由所述系统配准所述外科医生显示给一3D相机的外科手术工具。

vi.由所述系统连续追踪外科手术工具，通常在CT图像上显示工具和它们的位置，用于给所述外科医生在一显示监视器上查看

vii.由外科医生执行外科手术计划-在患者的脊柱放置可植入设备

viii.由所述外科医生利用术前方案软件改变计划-在外科手术中任何时间都可以

本发明所述的外科手术执行流程的另一个优势为所述流程通常不包括CT使用和/或其它X射线方式例如荧光镜检查。本发明所述的硬件和算法使所述系统能够在外科手术中辅助所述外科医生执行外科手术前计划，而不需要其它的辐射暴露。

可以理解的是术语例如“强制性”、“需要的”、“需要”和“必须”指为了清楚在本文所述的特定实施方式或应用的背景下做出的实施方式选择，而并非旨在进行限制，因为在替代实施中，相同的元素可能被定义为非强制性和非必需的，或甚至可能被完全消除。

本发明所述为软件的组件，可替代地，可以由硬件和/或固件全部或部分实现，如果需要，利用常规技术，反之亦然。每个模块或组件或处理器可以集中在单个物理位置或物理设备或分布在几个物理位置或物理设备。

在本发明公开范围内包括，尤其是电磁信号符合本发明的描述。这些可以可以携带计算机可读指令，用于执行本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序包括适当同时进行合适的操作组。本发明公开范围内包括，尤其是机器可读的指令，用于执行本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序；机器可读的程序存储设备，有形地体现了该机器可执行的指令程序，执行本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序(即不一定如图所示)，包括并行或同时执行各种操作而不是如图所示顺序进行；一计算机程序产品包括一计算机可用介质具有在其中体现的计算机可读程序代码，例如可执行代码，和/或包括计算机可读程序代码用于执行，本发明所示和所述的任何方法的任何或所有操作，以任何顺序；当以任何合适的顺序执行时，本发明所示和所述的任何方法的任何或所有操作所带来的任何技术效果；任何合适的装置或设备或这些的结合，编程来执行，单独或组合，本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序；每个电子设备包括至少一处理器和/或合作的输入设备和/或输出设备，并且运行以执行，例如在软件中，本发明所示和所述的任何操作；信息存储设备或物理记录，例如磁盘或硬盘驱动器，导致至少一计算机或其它设备被配置为实现本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序；至少一预存储程序，例如在存储器或在在一信息网络上例如互联网，在下载前或下载后，体现本发明所示和所述的任何方法的任何或所有操作，以任何合适顺序，以及上传或下载这些的方法，以及包括服务器和/或使用这些的客户的一系统；至少一处理器配置为执行所述操作的任何组合或执行所述模块的任何组合；以及硬件执行本发明所示和所述的任何方法的任何或所有操作，以任何合适的顺序，单独或与软件结合。本发明所述的任何计算机可读或机器可读介质旨在包括非暂时性计算机或机器可读介质。

本发明所述的任何计算或其它形式的分析可以通过一合适的计算机化方法执行。本发明所述的任何操作或功能可以全部或部分计算机实现，例如通过一个或多个处理器。本发明所示和所述包括利用一计算机化方法来识别本发明所述的任何问题或为了任何目的的一解决方案，所述解决方案可选择地包括一决定、一行动、一产品、一服务或本发明所述的其它任何信息的至少一种，所述解决方案以一积极的方式影响本发明所述的一问题或目的；以及(b)输出所述解决方案。

若需要，所述系统可以实现为一基于网络的系统，所述系统适当地采用软件、计算机、路由器和电信设备。

可以采用任何合适的部署来提供功能，例如本文所示和所述的软件和功能。例如，一服务器可以存储一些应用，用于下载到客户端，这在客户端执行，所述服务器端仅仅作为一储存库。任何或所有的功能，例如本文所示和所述的软件功能可以部署在一云环境中。客户端，例如移动通信设备例如智能手机可以运行与云关联，但是在云外部。

本发明的范围不限制于本文具体描述的结构和功能，本发明的范围也旨在包括本发明所述的具有产生一结构，或执行一功能的能力的设备，使得即使设备的使用者可以不使用所述能力，若需要，他们可以修改所述设备来获得所述结构或功能。

本发明所述的任何“如果-那么”逻辑旨在包括实施例，所述实施例中一处理器编程为重复确定条件x，该条件有时为真有时为假，当前是真或假，并且每次x确定为真时执行y，从而产生至少执行一次y的处理器，通常基于一“当且仅当”的基础，例如仅在确定x为真时引发并且从不在确定x为假时引发。

本发明所述的一情形或条件的任何确定，和/或本发明产生的其它数据，可以利用于任何合适的技术效果。例如，所述确定可以传输或供应给任何合适的硬件，固件或软件模块，所述硬件，固件或软件模块为已知或为本发明所述的具有响应所述情形或条件执行一技术操作的能力。所述技术操作可以，例如，包含改变所述情形或条件，或可以更普遍地导致任何技术上有利的结果，考虑到所述情形或条件或数据，和/或考虑到所述情形或条件或数据可以阻止至少一不利的结果。可替代地或另外，可以给一合适的人工操作者或给一合适的外部系统提供一警报。

在分开的实施例的上下文中描述的本发明的特征，包括操作，也可以结合在单个实施例中提供。例如，一系统实施例旨在包括一相应的过程实施例，反之亦然。而且，每个系统实施例旨在包括一以服务器为中心的“视图”或以客户为中心的“视图”，或来自所述系统其它节点的“视图”，所述视图为所述系统、计算机可读介质、装置、包括仅在该服务器或客户或节点执行的那些功能的所有功能。特征也可以与本领域已知的特征结合，并且特别地，然而不限于在背景部分或在其提到的出版物中描述的那些。

相反地，为简洁起见在单个实施例的上下文中或以某种顺序描述的本发明的特征(包括操作)可以单独提供或以任何合适的子组合提供，包括本领域已知的特征(特别是然而不限于背景部分或其中提及的出版物中所述的那些)或以其他顺序。(本发明使用的“例如”意义为一特定的示例，不是旨在进行限制。每个方法可以包括所示或所述的操作的所有或任何子集，适当排序，例如本文所述示或所述的。

在任何附图中所示连接的设备，装置或系统可以实际上在一些实施例中整合成单个平台或可以通过任何合适的有限或无线连接来连接，所述连接例如但不限于光纤、以太网、无线局域网、家庭网络、电力线通信、手机、智能手机(例如iPhone)、平板电脑、笔记本电脑、掌上电脑、黑莓GPRS、卫星包括GPS、或其它移动传输。可以理解的是在本发明所示和所述的描述和附图中，描述或示出为系统和其子单元的功能也可以作为其中的方法和操作来提供，并且描述或示出为方法和操作的功能也可以作为其中的系统及其子单元来提供。附图中用来图解各种元素的比例仅仅为示例性的和/或为了呈现的清楚而适当的和不旨在限制。

在本发明分开的单元间可以采用任何合适的通信，例如有线数据通信和/或带传感器的短程无线通信，所述传感器例如相机，例如通过WiFi，蓝牙或物联网。

可以理解的是本发明所述的通过一手机应用的实现只是一示例，并且替代地，本发明所述的实施例可以实现为，例如一智能手机SDK、一硬件组件、一STK应用、或上述任何的合适的组合。

图示(或本文描述)的任何处理功能可以由具有一处理器的任何设备执行，例如但不限于一移动电话，机顶盒，电视，远程台式计算机，游戏机，平板电脑，移动设备例如便携式计算机或其他计算机终端，嵌入式远程单元，它们既可以自身联网(例如，本身可以是一常规通信网络中的一个节点)，也可以通常绑定到一联网设备(到一设备，所述设备是一常规通信网络中的一节点或直接或间接/最终绑定到这样一节点)。

Claims (17)

1.一种帮助一外科医生终端用户的计算机化系统，所述系统包括：

一光投影仪配置为将至少一个图案投射到至少一脊柱上，

多个3D摄像机，当所述脊柱在它们的视野内时，可运行以捕获所述脊柱和图案的3D视频影像；

一工具跟踪器，又称工具适配器；以及

一计算机，又称处理器，包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪，

所述工具追踪器包括:

一惯性导航子系统(INS)，用以重复计算在脊柱上的一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及

一无线通信模块，可运行以提供所述子系统和所述处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器。

2.如权利要求1所述的系统，其特征在于：所述反馈包括在至少近乎实时地，对关于所述脊柱的至少一部分的至少一所述工具的一当前相对位置和角度的一指示。

3.如权利要求1所述的系统，其特征在于：所述反馈包括在一显示屏上呈现给所述外科医生终端用户的视觉反馈，所述显示屏和所述逻辑器进行数据通信。

4.如权利要求1所述的系统，其特征在于：所述工具追踪器安装在所述工具上。

5.如权利要求4所述的系统，其特征在于：提供多个工具追踪器并且安装在多个工具上，从而能够实时追踪多个工具。

6.如权利要求1所述的系统，其特征在于：用于追踪所述工具的标记是固定在所述工具和/或工具追踪器上的。

7.如权利要求1所述的系统，其特征在于：所述系统还包括一用户界面，通过在所述用户界面上所述外科医生终端用户能够在脊柱上标记至少一要追踪的骨特征，并且其中所标记的所述骨特征用来追踪所述脊柱的至少一部分。

8.如权利要求1所述的系统，其特征在于：所述处理器能够访问以数字方式存储的脊椎骨形状的和邻近脊椎骨之间的几何学关系的先验知识，并且其中所述处理器配置为将所述脊柱分割为单独的脊椎骨从而便于追踪所述脊柱的每个单独的脊椎骨。

9.如权利要求1所述的系统，其特征在于：所述工具追踪器向所述外科医生终端用户呈现由所述处理器产生的且通过所述通信模块发送到所述工具追踪器的视觉反馈，所述视觉反馈指示如何改变所述工具的当前角定向，具有包括至少一所述工具的位置，角定位和深度的反馈，从而提供所述反馈给所述外科医生终端用户，而不需要所述外科医生终端用户从外科手术区中转移目光去看一个远离所述外科手术区的屏幕。

10.如权利要求9所述的系统，其特征在于：至少一LED安装在所述工具追踪器上并且其中所述至少一LED被控制以提供所述视觉反馈。

11.如权利要求8所述的系统，其特征在于：所述先验知识包括至少一单独的脊椎骨的至少一3D模型。

12.如权利要求6所述的系统，其特征在于：所述标记包括基准标记。

13.如权利要求6所述的系统，其特征在于：所述标记包括球形标记。

14.如权利要求1所述的系统，其特征在于：所述惯性导航子系统(INS)可运行以连续地计算至少一工具的当前角定向和当前位置的输出工具状态指示。

15.如权利要求1所述的系统，其特征在于：所述投影仪使用超出可见光光谱的光投射所述图案。

16.一种计算机程序产品，包括其中包含有计算机可读程序代码的一非暂时性有形计算机可读介质，所述计算机可读程序代码适于执行以实现包括以下操作的一方法：

提供一光投影仪配置为将至少一个图案投射到至少一脊柱上，

提供多个3D摄像机，当所述脊柱在它们的视野内时，可运行以捕获所述脊柱和图案的3D视频影像；

提供一工具跟踪器，又称工具适配器，所述工具追踪器包括：

一惯性导航子系统(INS)，被构建并且可运行以重复计算在所述脊柱上的一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及

一无线通信模块，可运行以提供所述子系统和一处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器；

其中所述处理器包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪。

17.一种帮助一外科医生终端用户的计算机化方法，所述方法包括：

提供一光投影仪配置为将至少一个图案投射到至少一脊柱上，

提供多个3D摄像机，当所述脊柱在它们的视野中时，可运行以捕获所述脊柱和图案的3D视频影像；

提供一工具跟踪器，又称工具适配器，所述工具追踪器包括：

一惯性导航子系统(INS)，被构建并且可运行以重复计算在所述脊柱上一外科手术过程中使用的至少一工具(又称外科手术器械)的一当前方向(又称角度，又称角定向)和一当前位置的一输出工具状态指示，从而提供对所述工具的位置和角度的惯性追踪；以及

一无线通信模块，可运行以提供所述子系统和一处理器间的数据通信，所述数据通信包括发送所述输出工具状态指示至所述处理器；

其中所述处理器包括逻辑器，所述逻辑器配置为接收由所述工具跟踪器和所述3D视频影像产生的所述输出工具状态指示，以及使用所述处理器已知的所述图案来追踪所述脊柱的至少一脊椎骨，并且在一外科手术过程中相应地给所述外科医生提供反馈，从而提供对脊椎骨的直接追踪，而不是对附着在所述脊柱上的标记的追踪。

Images