CN104869934B - 利用三维跟踪传感器进行配准及导航 - Google Patents

Abstract

本文显示并描述利用3D跟踪传感器进行配准和导航的系统(100)和方法。所述系统和方法利用耦合至便携式手术元件(38)的3D跟踪传感器(36)跟踪固定至物体的可跟踪元件(40)。至少部分基于所述3D跟踪传感器所提供的信息确定所述可跟踪元件的姿态，且所述物体与所述物体的三维呈现配准。所述3D跟踪传感器也可在手术程序期间用于跟踪各种物体。

Description

利用三维跟踪传感器进行配准及导航

相关申请的交叉参考

本申请主张2012年12月13日申请的第13/714,066号美国专利的权益和优先权，该案的全文以引用的方式并入本文中。

背景技术

本发明大体上涉及物体的配准及导航领域，且更特定来说涉及利用三维跟踪传感器进行配准和导航。

三维跟踪传感器(“3D跟踪传感器”)可跟踪移动物体的位置及取向(也就是姿态)。例如，用于WINDOWS的KINECT 3D跟踪传感器使用相机和红外深度传感器来实现骨骼和面部跟踪。3D跟踪传感器已经实施在(例如)游戏产业中(例如，用于XBOX 360游戏系统的KINECT跟踪传感器)，来让用户与计算机或其它装置互动，而无需实际接触所述装置。

3D跟踪传感器的另一个例子是Leap Motion,Inc.(加利福尼亚州圣弗朗西斯科)研发的3D跟踪传感器。由Leap Motion,Inc.研发的装置可跟踪位于所述装置周围3D“互动空间”内的物体。通过使物体(例如，手)在互动空间内移动，用户可与以可通信方式链接至所述装置的软件互动，并控制软件。例如，用户可将装置连接至膝上型计算机，并在3D空间中通过执行手势进行点击及滚动，而无需实际接触鼠标或膝上型计算机屏幕。

第2010/0110165号美国专利公开中公开3D跟踪传感器的另一个例子，该案的全文以引用的方式并入本文中。第2010/0110165号美国专利公开公开了用于获得和计算与一个或多个目标物体相关的三维信息。

发明内容

本发明的一个实施方案涉及一种手术系统。所述手术系统包括耦合至便携式手术元件的3D跟踪传感器和固定至物体的可跟踪元件。所述手术系统另外包括至少部分基于所述3D跟踪传感器所提供的信息确定所述可跟踪元件的姿态及使所述物体与所述物体的三维呈现配准的手术控制器。

本发明的另一个实施方案涉及一种利用3D跟踪传感器进行配准的方法。所述方法包括利用3D跟踪传感器跟踪可跟踪元件，其中所述3D跟踪传感器与便携式手术元件耦合，且所述可跟踪元件固定至物体；基于所述3D跟踪传感器所提供的信息确定所述可跟踪元件的姿态；及使所述物体与所述物体的三维呈现配准。

替代性示例实施方案涉及通常在权利要求书中列举的其它特征和特征组合。

附图说明

通过以下详细说明，结合附图将更充分理解本公开，其中相同参考数字指代相同元件，其中：

图1是根据示例性实施方案的手术控制器的框图。

图2是根据示例性实施方案的利用3D跟踪传感器进行配准的手术系统。

图3是根据另一个示例性实施方案的利用3D跟踪传感器进行配准的手术系统。

图4是根据示例性实施方案的利用3D跟踪传感器进行导航的手术系统。

图5是根据另一个示例性实施方案的利用3D跟踪传感器进行导航的手术系统。

图6是根据示例性实施方案的利用多个3D跟踪传感器进行导航的手术系统。

具体实施方式

在转向详细说明示例性实施方案的图示之前，应理解，本申请并不限于说明中所列或图示中所述细节或方法。还应理解，术语的目的只是为了描述，而不应视为限制。

本文所述示例性实施方案涉及利用3D跟踪传感器(诸如(上述)由Leap Motion,Inc.所研发的装置，其可跟踪物体相对于所述3D跟踪传感器的姿态)的手术应用。两种利用3D跟踪传感器的示例性应用是手术程序期间的配准和导航。根据一个实施方案，3D跟踪传感器用于使物体(诸如患者解剖结构的一部分)与在所述手术程序之前所生成的患者解剖结构的三维呈现配准。在另一个实施方案中，3D跟踪传感器用于在手术程序期间协助跟踪物体(例如，所述患者、手术工具)。

参考图1，手术控制器10可用于实现本文所述各种功能(例如，计算、控制机制、过程)。手术控制器10包括具有处理器14和存储器16的处理电路12。处理器14可实施为通用处理器、专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、处理组件组或其它合适的电子处理组件。存储器16(例如，存储器、存储器单元、存储装置等)是一种或多种用于存储完成或协助本申请中所述各种过程的数据和/或计算机代码的装置(例如，RAM、ROM、闪速存储器、硬盘存储器等)。存储器16可以是或包括易失性存储器或非易失性存储器。存储器16可包括数据库组件、目标代码组件、脚本组件或者用于支持本申请中所述各种活动的任何其它类型信息结构。根据示例性实施方案，存储器16可与处理器14通信连接，且包括用于执行本文所述一个或多个过程的计算机代码。存储器16可包括各种模块，每个模块可存储与特定类型功能有关的数据和/或计算机代码。在一个实施方案中，存储器16包括几个与手术程序有关的模块，诸如规划模块24、导航模块26、配准模块28和机器人控制模块30。

应理解，手术控制器10无需容纳在单个壳体中。确切的说，手术控制器10的组件可位于图2中所示手术系统100的各个位置，或甚至位于远处。手术控制器10的组件可位于(例如)3D跟踪传感器36或触觉装置32中。

本公开预期任何机器可读介质上用于完成各种操作的方法、系统及程序产品。机器可读介质可以是手术控制器10的一部分或者可与其接合。本公开的实施方案可利用现有计算机处理器，或通过出于此目的或另一目的并入的用于合适系统的专用计算机处理器，或通过硬接线系统实施。本公开的范畴内的实施方案包括程序产品，其包括用于携带或在其上存储机器可执行指令或数据结构的机器可读介质。此种机器可读介质可以是可被通用或专用计算机或者其它具有处理器的机器访问的任何可用介质。举例而言，此种机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器、其他磁存储装置、固态存储装置或者可用于携带或存储呈机器可执行指令或数据结构形式的期望的程序代码且可被通用计算机或专用计算机或者其它具有处理器的机器访问的任何其它介质。当通过网络或另一种通信连接(硬接线连接、无线连接或者硬接线连接或无线连接的组合)将信息转移或提供至机器时，所述机器适当地将所述连接视为机器可读介质。因此，适当地将任何此种连接称为机器可读介质。上述组合还包括在机器可读介质的范畴内。机器可执行指令包括(例如)使通用计算机、专用计算机或专用处理机器执行一定功能或功能组的指令和数据。

再次参考图1，手术控制器10进一步包括通信接口18。通信接口18可以是或包括经由直接连接或网络连接(例如因特网连接、LAN、WAN或WLAN连接等)与外部源进行数据通信的有线或无线接口(例如插口、天线、发射器、接收器、收发器、电线接头等)。例如，通信接口18可包括用于经由基于以太网的通信链路或网络发送及接收数据的以太网卡及端口。在另一例子中，通信接口18可包括经由无线通信网络进行通信的WiFi收发器。因此，如果手术控制器10与图2中所示手术系统100的其它组件(诸如3D跟踪传感器36和触觉装置32)物理分离，那么通信接口18可使得在手术控制器10与这些分离组件之间进行无线通信。

在手术程序之前，任何形式的术前图像数据20(例如，二维图像、三维模型)可经由通信接口18传送至手术控制器10。然后可在制定手术计划期间使用术前图像数据20。为了获得术前图像数据20，可利用任何已知成像技术(诸如CT、MRI或超声波)扫描患者。然后(通过手术控制器10或另一处理器)分割扫描数据，以获得所述患者的一部分解剖结构的三维呈现。例如，在对膝盖实施手术程序之前，生成患者股骨和胫骨的三维呈现。在另一个实施方案中，可通过从骨模型数据库或文库选择三维模型获得三维呈现。然后可基于特定患者的特征使从数据库选择的骨模型变形，以获得所述患者的一部分解剖结构的三维呈现。

位于手术控制器10的存储器16中的规划模块24可存储处理输入的术前图像数据20和在规划手术期间使用图像数据20所必需的指令。生成患者的一部分解剖结构的三维呈现后，外科医生可基于所述三维呈现制定手术计划。所述手术计划可包括在手术程序期间要对骨头(例如，孔、切口)进行所期望的修饰，且可进一步包括期望放置在手术程序期间要植入的任何组件。作为一个例子，在用植入物替换膝盖的一个或多个关节面的手术程序之前，可制定手术计划来模拟计划切除骨及放置植入物。

手术计划可进一步包括触觉物体。在手术程序期间，所述触觉物体与耦合至触觉装置32的手术工具34互动(图2)，以控制手术工具34的运动，如2011年8月30日授权的标题为“Haptic Guidance System and Method”的第8,010,180号美国专利案中所述，且该案的全文特此以引用的方式并入本文中。在各种实施方案中，触觉物体可代表手术工具34的期望轨迹、期望对骨头所作的修饰(例如，孔或切口的界限)或要通过手术工具34切除的骨的三维部分。外科医生以交互方式使用触觉装置32，且触觉物体控制(例如，引导或限制)手术工具34的运动，以在手术程序期间协助所述外科医生。手术控制器10内的机器人控制模块10(图1)可存储以触觉方式控制手术工具34所必需的指令。

在手术程序期间，在使用触觉装置32之前，患者的解剖结构必须与所述患者解剖结构的三维呈现配准。配准过程包括使患者实际解剖结构(在物理空间中)的坐标系统与所述患者解剖结构(在虚拟空间中)的三维呈现的坐标系统相关联。与虚拟图像配准后，可在手术程序期间实时跟踪患者解剖结构的姿态，如下文进一步所描述的。跟踪患者解剖结构和手术工具34的位置是实现触觉控制手术工具34(及因而实施手术计划)所必需的。

在某些配准方法(诸如第8,010,180号美国专利中所述的基于点的配准方法)中，患者解剖结构中要在配准期间配准的部分是通过导航系统跟踪。例如，在骨配准期间，导航系统跟踪固定至所述骨的可跟踪元件。导航系统通常包括相对于手术室坐标系统固定的相机。在这些导航方法中，固定相机检测固定至要跟踪的可移动物体(例如，骨)的可跟踪元件。所述物体一旦配准后，可基于所述可跟踪元件的位置、独特几何形状和相对于所跟踪物体的已知几何关系计算所述物体的姿态。

根据图2和3中所示配准方法，利用3D跟踪传感器36完成物体的配准。与其它配准方法相比，本文所述方法无需使用具有相对于手术室固定的相机的导航系统来跟踪要配准的物体。确切的说，3D跟踪传感器36耦合至便携式手术元件。所述便携式手术元件可以在手术程序期间重新定位或可重新定位，而不会影响3D跟踪传感器执行其预期功能的能力的任何手术元件或物体。便携式手术元件的例子包括配准探针、手术工具、触觉装置或患者的一部分解剖结构(例如骨)。再次参考图1，3D跟踪传感器36可与手术控制器10进行无线通信，且可将3D跟踪传感器数据22发送至手术控制器10。执行如本文所述与跟踪相关的功能的指令可存储在手术控制器10的导航模块26内。类似地，执行与物体配准相关的功能的指令可存储在手术控制器10的配准模块28内。

参考图2，在利用3D跟踪传感器36进行配准的一个实施方案中，3D跟踪传感器36耦合至探针38。因此，3D跟踪传感器36的坐标系统与探针38的坐标系统间的关系是已知的。将可跟踪元件40放置在要配准的物体，诸如骨44上。可跟踪元件40可以是具有传达可跟踪元件40的取向的可识别形状的阵列。然后将探针38放置于骨44上，以使得可跟踪元件40在3D跟踪传感器36的互动空间内。因此，3D跟踪传感器36可“看见”可跟踪元件40，且可计算可跟踪元件40相对于3D跟踪传感器36的姿态。因此，可计算探针38的坐标系统与可跟踪元件40间的转换关系。如此，手术控制器10可确定配准探针38的尖端相对于可跟踪元件40的位置在何处。

然后可通过利用配准探针38的尖端接触骨44上的几个点完成骨44的配准。在一个实施方案中，外科医生用探针38接触骨44十五到二十次。利用许多接触点生成点云。然后所述点云可与手术前生成的骨44的三维呈现对齐，以使骨44与所述三维呈现配准。

参考图3，在利用3D跟踪传感器36进行配准的另一个实施方案中，不使用探针38接触骨44上的点。取而代之，固定3D跟踪传感器36，使得可跟踪元件40和骨44的至少一部分表面处于3D跟踪传感器36的互动空间内。然后生成骨44上包括许多点的点云，而无需使用探针38实际接触骨44。然后使这个点云与骨44的三维呈现对齐，以配准骨44。另一可跟踪元件42和另一骨46的一部分还可处于所述互动空间内，在这种情形下，骨46可以与骨44相同的方式配准。

在图3的实施方案中，如果3D跟踪装置36可在配准期间捕获足够曝露的骨，那么可利用CT扫描生成骨44和/或骨46的三维呈现。或者，可利用MRI生成三维呈现。如果在配准期间曝露至3D跟踪传感器36的骨部分被软骨或其它软组织覆盖，那么可使用显示围绕骨44、46的软组织的三维呈现。

骨44配准后，可将骨44的图像输出到显示器48，诸如平板装置(图3)或标准计算机监视器。如果与显示器48物理分离，那么手术控制器10(图1)可经由通信接口18与显示器48通信。在一个实施方案中，显示器48显示骨44的从3D跟踪传感器36角度看到的数字重建放射影像(DRR)。在这个实施方案中，外科医生可在患者解剖结构周围操纵3D跟踪传感器36，以从不同角度观察所述解剖结构的DRR。

参考图4，在示例性实施方案中，3D跟踪传感器36耦合至手术工具34，以确定一个或多个可跟踪元件或其它物体在手术程序期间的姿态。如在图2和3的实施方案中一样，可跟踪元件40、42分别固定至骨44、46。在一个实施方案中，手术工具34耦合至触觉装置32，如图2所示。当用户使手术工具34在手术程序期间复位时，可跟踪元件40、42仍留在3D跟踪传感器36的互动空间内。手术控制器10可至少部分基于从3D跟踪传感器36接收到的信息确定可跟踪元件40、42中的一个或多个在手术程序期间的姿态。因此，所述3D跟踪传感器跟踪可跟踪元件40、42。如果骨44、46已经配准，那么手术系统100在手术程序期间(通过连续确定可跟踪元件40、42的姿态)还跟踪骨44、46。因此，在手术程序期间，耦合至手术工具34的3D跟踪传感器36使手术系统100可跟踪各种物体(例如，可跟踪元件、患者的一部分解剖结构)。此外，不同于要求相机相对于手术室固定的其它导航系统，3D跟踪传感器36可自由复位，而不会干扰手术系统跟踪物体的能力。

参考图5中所示示例性实施方案，3D跟踪传感器36耦合至便携式触觉装置32。可跟踪元件40、42是在3D跟踪传感器36的互动空间内。因为每个可跟踪元件都在3D跟踪传感器36的互动空间内，所以可通过手术控制器10确定每个被跟踪物体相对于传感器36的姿态。因此，3D跟踪传感器36可用于确定骨44、46和任何其它被跟踪物体在手术系统100内的姿态。在手术程序期间，3D跟踪传感器36可相对于触觉装置32的基座固定，以使得所述基座与3D跟踪传感器36间的坐标转换关系是已知的。然后，手术控制器10可基于其相对于触觉装置32的基座的位置和/或取向计算手术工具34的定位。3D跟踪传感器可安装至机械臂(如图5所示)或直接安装至触觉装置32。所述机械臂是可调节的，以便用户可确定所述3D跟踪传感器的位置，以确保要跟踪的任何物体都在3D跟踪传感器36的互动空间内。

参考图6，在另一个示例性实施方案中，3D跟踪传感器36放置在患者的骨44、46上，且可跟踪元件52相对于手术工具34固定。因此，可至少部分基于一个或多个跟踪传感器36所提供的信息确定可跟踪元件52及因而手术工具34的姿态。也可利用耦合至患者解剖结构的3D跟踪传感器36跟踪其它物体。

如各种示例性实施方案中所示系统和方法的构造和配置仅用作说明。虽然本公开中仅详细描述一些实施方案，但可作许多修改(例如，以下变化：各种元件的尺寸、组件和结构、参数值、安装方式、所用材料、取向等)。例如，元件的位置可颠倒或者以其它方式变化，且可改变或变动分立元件的性质或数量或者位置。因此，希望所有这些修改都包括在本公开范畴内。任何过程或方法步骤的次序或顺序都可根据替代性实施方案变动或重新排序。可在不脱离本公开范畴的情况下对示例性实施方案的设计、操作条件和配置作其它替换、修改、变化和删减。

虽然可描述方法步骤的具体次序，但所述步骤的次序可不同于所述情形。而且，两个或更多个步骤可同时或部分同时进行。这种变动将取决于所选软件和硬件系统以及设计员的选择。所有这些变动都在本公开范畴内。同样，软件实施可通过标准编程技术和实现各种连接步骤、处理步骤、比较步骤和决策步骤的基于规则的逻辑及其它逻辑完成。

Claims (11)

1.一种手术系统，其包括：

3D跟踪传感器，其耦合至便携式手术元件；

可跟踪元件，其固定至物体；

手术控制器，其被配置来：

至少部分基于所述3D跟踪传感器所提供的信息确定所述可跟踪元件的姿态；及

使所述物体与所述物体的三维呈现配准，

其中所述3D跟踪传感器被配置来通过捕获至少所述可跟踪元件的第一图像与第二图像来获得关于所述可跟踪元件的三维信息；且

其中所述手术控制器至少部分通过比较所述第一和第二图像的图像强度确定所述可跟踪元件的姿态。

2.根据权利要求1所述的手术系统，其中所述3D跟踪传感器被配置来与所述手术控制器进行无线通信。

3.根据权利要求1所述的手术系统，其中所述可跟踪元件是形状被配置来传送所述可跟踪元件的取向的阵列。

4.根据权利要求1所述的手术系统，其中所述手术控制器进一步被配置来至少部分基于所述3D跟踪传感器所提供的信息确定所述物体在手术程序期间的姿态。

5.根据权利要求1所述的手术系统，其进一步包括触觉装置，其中所述手术控制器被配置来控制所述触觉装置。

6.根据权利要求1所述的手术系统，其中所述便携式手术元件是配准探针。

7.根据权利要求6所述的手术系统，其中所述手术控制器被配置来利用点云配准所述物体，其中所述点云包括所述配准探针与所述物体间的多个接触点。

8.根据权利要求1所述的手术系统，其中所述手术控制器被配置来利用由所述3D跟踪传感器所得点云配准所述物体。

9.根据权利要求1所述的手术系统，其进一步包括显示器，其中所述手术控制器基于所述3D跟踪传感器相对于所述物体的姿态使所述显示器显示所述物体的图像。

10.根据权利要求1所述的手术系统，其中所述便携式手术元件是触觉装置或手术工具。

11.根据权利要求1所述的手术系统，其中所述物体是患者解剖结构的一部分。