CN111970986A - 用于执行术中指导的系统和方法 - Google Patents

Abstract

提供了系统和方法，其中利用基于检测到的所追踪的医疗器械的方向和位置的一个或多个虚拟显示特征来增强术中视频传送。在一些示例性的实施方案中，虚拟显示特征可以用于以增强的视频传送呈现与先前检测到的追踪的医疗器械的术中位置和方向相关的信息。虚拟的显示元件可以用于例如利用先前确定的追踪的医疗器械的术中位置和方向来促进未追踪的医疗器械的对准。在其他示例性的实施方案中，虚拟的显示元件可以以相对于追踪的医疗器械的固定的空间关系动态显示。

Description

用于执行术中指导的系统和方法

相关申请的交叉引用

本申请要求标题为“SYSTEMS AND METHODS FOR PERFORMING INTRAOPERATIVEGUIDANCE”并于2018年4月9日递交的第62/655,102号美国临时专利申请的优先权，其完整内容通过引用并入本文，以及标题为“SYSTEMS AND METHODS FOR PERFROMINGINTRAOPERATIVE GUIDANCE”并于2018年9月25日递交的第62/736,348号美国临时专利申请的优先权，其完整内容通过引用并入本文。

背景技术

本公开涉及受导引的医疗程序。

导引使得外科手术医生能够可视化医疗器械相对于患者解剖结构的位置和方向。为了可视化医疗器械的位置和方向，将基准标记附接至医疗器械，使得来自基准标记的信号可被摄像机或其他感应设备(例如，电磁追踪设备)检测到，并且医疗器械的位置和方向可被三角测量法测定。

发明概述

本文提供了系统和方法，其中基于检测到的所追踪的医疗器械方向和位置，利用一个或多个虚拟显示特征来增强术中视频传送。在一些示例性的实施方案中，虚拟显示特征可用于以增强的视频传送来呈现与先前检测到的追踪的医疗器械的术中位置和方向相关的信息。虚拟的显示元件可用于例如利用先前确定的所追踪的医疗器械的术中位置和方向，促进未追踪的医疗器械的对准。在其他示例性的实施方案中，虚拟的显示元件可以以相对于追踪的医疗器械的固定的空间关系动态显示。

因此，在第一方面，本文提供了在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置；

采用摄像机以获得术中视频传送；

显示术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，采用与摄像机相关的参考系和与追踪系统相关的参考系之间的坐标转换，利用识别先前确定的可追踪的医疗器械的术中方向和位置的虚拟显示特征增强术中视频传送，从而在医疗程序的随后阶段中，使得不可追踪的医疗器械能够相对于先前确定的可追踪的医疗器械的术中方向和位置可视化对准。

在另一方面，本文提供了在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用表面探测系统检测来自与可追踪的医疗器械相关的一个或多个表面基准特征的信号；

处理信号以确定可追踪的医疗器械的术中方向和位置；

采用表面探测系统的摄像机来获得术中视频传送；

显示术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，利用与先前确定的可追踪的医疗器械的术中方向和位置相关的虚拟显示特征增强术中视频传送，从而在医疗程序的随后阶段中，使得不可追踪的医疗器械能够相对于先前确定的可追踪的医疗器械的术中方向和位置可视化对准。

在另一方面，本文提供了在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定可追踪的医疗器械的术中方向和位置；

采用追踪系统的摄像机来获得术中视频传送；

显示术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，利用与先前确定的可追踪的医疗器械的术中方向和位置相关的虚拟显示特征增强术中视频传送，从而在医疗程序的随后阶段中，使得不可追踪的医疗器械能够相对于先前确定的可追踪的医疗器械的术中方向和位置可视化对准。

在另一方面，本文提供了在医疗程序期间对准不可追踪的医疗器械的方法，所述方法包括：

在相对于患者的术中方向和位置上，术中定向和定位可追踪的医疗器械；

采用导引和追踪系统来：

检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

显示术中视频传送

采用与摄像机相关的参考系和与追踪系统相关的参考系之间的坐标转换，利用与确定的可追踪的医疗器械的术中位置和方向相关的虚拟显示特征增强术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，观察术中视频传送，并采用虚拟显示特征来定位和定向未追踪的医疗器械。

在另一方面，本文提供了在外科手术程序期间提供术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

显示术中视频传送；以及

采用与摄像机相关的参考系和与追踪系统相关的参考系之间的坐标转换，利用与可追踪的医疗器械相关的虚拟显示特征来实时增强术中视频传送。

在另一方面，本文提供了在医疗程序期间提供对准不可追踪的医疗器械的术中指导的系统，所述系统包括：

追踪子系统

显示器；以及

可操作地偶联至追踪子系统的计算机硬件，其中所述计算机硬件包括与一个或多个处理器偶联以存储指令的存储器，所述指令在由一个或多个处理器执行时，造成一个或多个处理器执行以下操作，包括：

采用所述追踪子系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

在显示器上显示术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，采用与摄像机相关的参考系和与追踪系统相关的参考系之间的坐标转换，利用识别先前确定的可追踪的医疗器械的术中方向和位置的虚拟显示特征来增强术中视频传送，从而在医疗程序的随后阶段中，使得不可追踪的医疗器械能够相对于先前确定的可追踪的医疗器械的术中方向和位置可视化对准。

在另一方面，本文提供了在外科手术程序期间提供术中指导的系统，所述系统包括：

追踪子系统；

显示器；以及

可操作地偶联至所述追踪子系统的计算机硬件，其中所述计算机硬件包括与一个或多个处理器偶联以存储指令的存储器，所述指令在由一个或多个处理器执行时，造成一个或多个处理器执行以下操作，包括：

采用所述追踪子系统来检测来自与可追踪的医疗器械相关的基准标记的信号；

处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

在显示器上显示术中视频传送；以及

采用与摄像机相关的参考系和与追踪系统相关的参考系之间的坐标转换，利用与可追踪的医疗器械相关的虚拟显示特征来实时增强术中视频传送。

通过参考以下详细描述和附图，可以实现对本公开的功能和有利方面的进一步理解。

附图的简要说明

现在将通过实例的方式，参考附图描述实施方案，其中：

图1显示了用于提供可追踪的和不可追踪的医疗器械的术中指导的示例性的系统。

图2的流程图示出了提供术中指导的示例性的方法，其中利用与检测到的可追踪的医疗器械的术中方向和位置相关的虚拟显示特征来增强术中视频传送。

图3A显示了显示追踪的医疗器械相对于体积图像的不同的术中视图的导引用户界面的实例，其中椎弓根探针被显示为插入椎弓根中。

图3B显示了图3A的导引用户界面，并显示了与检测到的椎弓根探针的位置和方向相关的线性的虚拟特征。

图4A显示了使用结构光表面探测系统的两个立体摄像机获得的术中视频传送的示例性的帧。追踪的椎弓根探针可以在视频帧中看到。

图4B显示了在从术野移走椎弓根探针后获得的术中视频传送的示例性的帧。利用指示先前确定追踪的医疗器械的的术中位置和方向的线性的虚拟显示特征增强术中视频传送。

图4C显示了在从术野移走椎弓根探针后获得的术中视频传送的示例性的帧，其中不可追踪的医疗器械被显示为与线性的虚拟显示特征对准，使得不可追踪的医疗器械与先前确定的追踪的医疗器械的术中位置和方向对准。

图5A-图5C示出了实例情形，其中简并性在对准线性的注释和未追踪的医疗器械中消失(exits)。

图6的流程图示出了从一对立体摄像机产生和增强视频传送的示例性的处理。

图7的流程图示出了从单个摄像机产生和增强视频传送的示例性的处理。

图8的流程图示出了提供术中指导的示例性的方法，其中利用与当前的可追踪的医疗器械的术中方向和位置相关的虚拟显示特征实时增强术中视频传送。

图9A-图9D显示了示例性的实施方案，其中可以任选地旋转显示的视频传送，使得现实世界中的动作在视频传送中以正确的方向显示。

发明详述

将参考下面讨论的细节来描述本公开的各种实施方案和方面。以下描述和附图是本公开的说明，并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施方案的透彻理解。然而，在某些情况下，未描述众所周知的或常规的细节以便提供对本公开的实施方案的简要讨论。

如本文所使用，术语“包含(comprises)”和“包含(comprising)”应被解释为是包括性的和开放式的，而不是排他性的。具体地，当在说明书和权利要求书中使用时，术语“包含(comprises)”和“包含(comprising)”及其变型意味着包括指定的特征、步骤或组成部分。这些术语不应解释为排除其他特征、步骤或组成部分的存在。

如本文所用，术语“示例性的”是指“用作实例、例子或示例”，并且不应被解释为比本文所公开的其他配置优选或有利。

如本文中所使用的，术语“约(about)”和“大约(approximately)”旨在涵盖可能存在于值的范围的上限和下限中的变化，诸如性质、参数和尺寸的变化。除非另有说明，否则术语“约(about)”和“大约(approximately)”意指正负25％或更小。

应当理解，除非另有规定，否则任何指定的范围或组均是分别作为有关范围或组的每个和每个成员，以及其中包含的每一个可能的子范围或子组及类似地关于其中的任何子范围或子组的速记方式。除非另有说明，否则本公开内容涉及并且明确地并入每一个具体成员以及子范围或子组的组合。

如本文所用，术语“属于…同级别的(on the order of)”当与数量或参数结合使用时，是指跨越所述数量或参数的约十分之一至十倍的范围。

大多数外科手术程序通常利用大量不同的医疗器械来实施外科手术计划。尽管一些医疗器械可以经由检测来自基准标记(基准)的信号通过追踪系统进行追踪，但通常的情况是所采用的医疗器械中的仅一部分在程序期间通过导引系统进行追踪。例如，在给定的医疗程序期间，常常采用各种不同的制造商提供的医疗器械(例如外科手术器械)，而使用给定的追踪系统仅可追踪一些医疗器械。因此，在本领域存在着技术问题，即所采用的医疗器械中的仅一部分在医疗程序期间可被追踪，并适合在导引显示器(例如导引用户界面窗口)上呈现。

本公开的各个方面通过基于检测到的追踪的医疗器械的方向和位置，利用一个或多个虚拟显示特征来增强术中视频传送，提供了解决该问题的方案。在一些示例性的实施方案中，虚拟显示特征可用于以增强的视频传送，呈现与先前检测的追踪的医疗器械的术中位置和方向相关的信息。虚拟的显示元件可用于例如利用先前确定的追踪的医疗器械的术中位置和方向来促进对准未追踪的医疗器械。在另一示例性的应用中，用户或临床医生可以首先在据信为正确的术中位置和方向的给定位置和方向上，定位和对准未追踪的医疗器械，然后观察未追踪的医疗器械在增强的视频传送中相对于虚拟的显示元件的位置和方向，以便确定当前的位置和方向是否确实相对于先前检测到的追踪的医疗器械的术中位置和方向对准。在其他示例性的实施方案中，虚拟的显示元件可以以相对于追踪的医疗器械的固定的空间关系动态显示。

现对于图1，示出了用于确定追踪的医疗器械的术中方向并基于检测到的追踪的医疗器械的方向和位置增强术中视频传送的示例性的系统。尽管本示例性的系统包括表面探测系统以促进患者在术中参考系中的体积图像数据的配准，但是可以替代性地采用其他系统和方法。例如，在一个可选的实施方案中，可以利用附接至患者的基准标记位置的参考阵列来执行术中CT扫描，以促进患者体积图像数据的直接的术中配准。示例性的系统包括可操作地与控制和处理硬件100界面结合的表面探测系统10。表面探测系统10可以是用于检测、测量、成像或以其他方式确定一个或多个目标(诸如但不限于暴露的患者脊柱区域50)的表面形貌的任何合适的系统。根据本非限制性的示例性实施方案，从表面探测系统10的一个或多个摄像机获得了术中视频传送(或多个术中视频传送)。合适的表面探测系统的非限制性的实例包括摄影测量系统、立体成像系统和结构光检测系统。

图1中显示的示例性系统还包括追踪系统20，其可用于追踪一个或多个可追踪的医疗器械40的位置和方向。显示出其上附接有基准标记45的可追踪的医疗器械40，并且通过追踪系统20(例如，采用两个追踪摄像机的立体观测仪追踪系统)检测从基准标记45发射或反射(例如，散射的)的无源或有源信号。

在一个示例性的实施方案中，光学追踪子系统20可以包括具有集成红外照明的立体摄像机。由于基准标记45对红外光的高反射率，因此可以容易地将其定位在两个摄像机的每个图像中。这些图像位置可以用于通过几何三角测量来计算每个基准标记45的三维位置。例如，可以通过首先计算立体校准的摄像机系统的两个摄像机视图中每个检测标记的质心来执行三角化处理。这会在两个摄像机视图中产生一组标记点，然后可以从中计算出两个视图中对应点之间的差异。然后，可以使用透视转换将该差异与一个摄像机视图中的每个标记的x和y像素位置一起转换为三维空间坐标(在追踪系统20的坐标系中)。如果至少三个基准标记45刚性附接到医疗器械40，则计算其位置和方向(六个自由度)是可能的。

在本文提供的一些示例性例示中，用于光学追踪系统的基准标记45被示为反射球，其通常用于无源光学追踪。然而，根据使用的追踪系统，可以使用任何其他类型的标记或标记属性，例如但不限于有源标记(即不需要集成另外的照明和电磁标记的LED)和无源标记(例如，字形、不同的标记颜色、不同的标记大小、不同的标记形状)。应当理解，在一些实施方案中，可以采用少于三种标记用于位置和定位追踪。例如，可以为位置和定位追踪提供单一标记，只要该单一标记包括足够的空间结构和/或内容物。这种单一标记的一个实例是字形，包括共面的空间特征，如拐角或边缘特征。

尽管图1示出了具有两个子系统(追踪和表面探测)的示例性的系统，但要注意的是，可以利用集成的系统，例如，如PCT/CA2011/050257国际专利申请中所述的系统，将替代性的系统配置用于执行同时追踪和获取解剖表面，该专利申请在此通过引用整体并入本文。

图1还示出了控制和处理硬件100的示例性的实施方式，其包括一个或多个处理器110(例如CPU/微处理器)、总线105、存储器115，其中可能包括随机存取存储器(RAM)和/或只读存储器(ROM)、数据获取界面120、显示器125、外部存储器130、一个或多个通信界面135、电源140和一个或多个输入/输出设备和/或界面145(例如，扬声器、用户输入设备，如键盘、按键、鼠标、位置追踪的针、位置追踪的探针、脚踏开关和/或用于捕获语音命令的麦克风)。

应当理解，图1所示的示例性系统是非限制性示例性实施方式的说明，并且不旨在限于所示的组成部分。此外，控制和处理硬件100的一个或多个组成部分可以被提供为与处理设备界面结合的外部组成部分。例如，如图所示，表面探测系统10和追踪系统20中的一个或两个可以被包括作为控制和处理硬件100的组成部分，或者可以被提供为一个或多个外部设备。

尽管在图1中仅示出了每种组成部分中的一个，但是在控制和处理硬件100中可以包括任意数量的各种组成部分。例如，计算机通常包含多个不同的数据存储介质。此外，尽管将总线105描绘为所有组成部分之间的单一连接，但是应当理解，总线105可以代表连接两个或更多个组成部分的一个或多个电路、设备或通信通道。例如，在个人计算机中，总线105通常包括主板或是主板。控制和处理硬件100可以包括比所示的那些更多或更少的组成部分。

控制和处理硬件100可被实现为通过多个通信信道或界面中的一个与处理器110偶联的一个或多个物理设备。例如，控制和处理硬件100可以使用专用集成电路(ASICs)来实现。可选地，控制和处理硬件100可被实现为硬件和软件的组合，其中软件被从存储器或在网络连接上加载到处理器中。

本公开的一些方面可以至少部分地以软件来体现。换言之，可以在计算机系统或其他数据处理系统中执行该技术，所述其他数据处理系统响应其处理器如微处理器，执行包含在存储器如ROM、易失性RAM、非易失性的存储器、高速缓存、磁盘和光盘或远程存储设备中的指令序列。此外，可以以编译和链接版本的形式在数据网络上将指令下载到计算设备中。可选地，可以在另外的计算机和/或机器可读介质诸如离散硬件组成部分，如大规模集成电路(LSI's)、专用集成电路(ASIC's)，或固件，如电可擦可编程只读存储器(EEPROM's)和现场可编程门阵列(FPGAs)中实现执行如上所述的处理的逻辑。

可以使用计算机可读介质来存储软件和数据，这些软件和数据在由数据处理系统执行时使得系统执行各种方法。可执行软件和数据可以存储在各个位置，包括例如ROM、易失性RAM、非易失性存储器和/或缓存。该软件和/或数据的一部分可以存储在这些存储设备中的任一个中。通常，机器可读介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一组的一个或多个处理器的任何设备)可访问的形式提供(即，存储和/或传输)信息的任何机制。

计算机可读介质的实例包括但不限于可记录和不可记录类型的介质，如易失性和非易失性存储设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存设备、软盘和其他可移动的磁盘、磁盘存储介质、光学存储介质(例如，光盘(CD)、数字通用磁盘(DVD)等)等。指令可以体现在用于电、光、声学或其他形式的传播信号如载波、红外信号、数字信号等的数字和模拟通信链路中。如本文中所使用，短语“计算机可读材料”和“计算机可读存储介质”是指所有计算机可读介质，除了瞬时传播信号本身之外。

可以经由处理器110和/或存储器115来实现本公开的实施方案。例如，以下描述的功能可以经由处理器110中的硬件逻辑来部分地实现，并且可以部分地使用存储在存储器115中的指令来实现。一些实施方案使用处理器110来实现，而没有在存储器115中存储另外的指令。一些实施方案使用存储在存储器115中的指令来实现，以由一个或多个微处理器执行，所述微处理器可以是通用处理器或专用处理器。因此，本公开不限于硬件和/或软件的特定配置。

控制和处理硬件100利用包括可执行指令的子程序、应用或模块150进行编程，所述指令在由一个或多个处理器110执行时，使得系统执行本公开中描述的一种或多种方法。例如，此类指令可以存储在存储器115和/或其他内部存储器中。

例如，如下文详细描述的，控制和处理硬件100的增强现实模块155可以用于基于经由追踪系统20确定的可追踪的医疗探针的术中方向和位置，增强从获自表面探测系统10的一个或多个摄像机或者具有一个或多个虚拟显示元件的一个或多个另外的摄像机的视频数据获得的一个或多个术中视频传送。

导引用户界面模块165包括用于显示用户界面的可执行的指令，以执行例如，图像引导的外科手术程序和显示一个或多个术中视频传送。

此外，在所示的示例性的实施方案中，配准模块160包括可执行的指令，以利用如上所述的表面探测系统10获得的术中表面数据配准区段表面数据(获自体积图像数据30的数据)。例如，可将体积图像数据30提供给控制和处理硬件100，以配准至术中获取的表面数据。

配准模块160执行从体积图像数据30和术中表面数据产生的区段表面之间的图像配准。表面分割方法的非限制性实例包括非基于模板的方法和利用解剖形状模型的方法。非基于模板的方法可以利用几何属性如连通性、表面法线和曲率来确定分割区域的边界，或者统计属性如与表面上附近相邻点的差异。基于解剖形状模型的方法可以利用预先计算的图谱(atlases)(例如椎骨)作为模板来执行分割。这两类方法也可以组合使用。在所有这些方法中，一个或多个体积基准点可以用作初始化分割处理的种子点。可选地，对于完全自动的和在整个体积数据上操作的分割方法(其通常是基于解剖图谱)，可以使用一个或多个体积基准来标记目标水平。

表面配准可以作为基于在体积图像数据30中定义的体积基准点与在分割的表面上识别出的分别的术中基准点之间的一致性的初始配准来执行。在产生初始配准之后，然后可以在分割的表面数据和术中表面数据之间执行从表面到表面的配准，从而获得配准转换。配准转换将体积参考系中的分割表面映射到术中表面数据。将理解的是，当根据本文公开的示例性实施方案执行方法时，可以将任何合适的表面配准方法用于执行表面之间的配准。合适的配准方法的非限制性实例包括迭代最近点算法，其中来自不同表面的点之间的距离最小。

在其中表面探测系统10是结构光检测系统的示例性的情况下，投影装置被用于将表面形貌检测光投射到目标区域上，并且一个或多个摄像机检测从目标区域散射或反射的表面形貌光。检测的光学信号可用于生成由点云或网格组成的表面形貌数据集。更具体地，投影设备将经时间和/或空间调制的光投影到要成像的表面上，而摄像机捕获被照明表面的图像。这种主动照明能够对校准后的摄像机-投影仪(可以将投影仪视为逆摄像机)或校准后的摄像机-摄像机系统之间的像素对应关系进行鲁棒而有效的识别。然后，可以通过几何三角化将对应关系(差异)数据转换为已校准摄像机和/或投影仪的坐标系中的实空间坐标数据。在外科手术程序期间，可以对结构光检测系统进行定位，以便获取外科手术部位的三维表面(例如暴露的脊柱的骨表面)。然后，通过配准模块160，使用例如第PCT/CA2011/050257号国际专利申请中所述的方法，将所创建的三维表面的虚拟的呈现形式配准到体积图像数据30(例如CT、MRI、US、PET等)。体积图像数据30可以在可操作之前获取，但不一定是在可操作之前获取。例如，在一些应用中，体积图像数据30也可以在术中获取。

为了在导引图像中呈现可追踪的医疗器械，在表面探测系统10的参考框架和追踪系统20的参考框架之间确定校准转换。如果追踪系统和表面成像系统的相对位置是固定的，则可以通过获得来自两个系统的校准对象的至少3个点的位置，并将这些点对准以获得校准转换，来执行此校准，如第PCT/CA2011/050257号国际专利申请中所述。

在可选的实施方案中，如第PCT/CA2011/050257号国际专利申请中所公开的，表面探测设备可以具有附接到其上的基准标记，并且该基准标记可以通过追踪系统追踪。在这种配置下，可以使用附接基准标记，将校准程序用于获得从表面探测系统的参考系到追踪系统的参考系的校准转换。随后随着表面成像设备位置的改变，追踪系统和表面成像系统的坐标系之间的校准转换被连续更新。

在执行校准之后，追踪系统和表面成像系统系统的坐标系之间的校准转换是已知的。因此配准表面数据集和体积图像数据是等同的，以识别追踪系统的坐标系中的体积图像数据的位置。因此，可以将随后利用追踪子系统追踪的任何可追踪的医疗器械40提供给外科手术医生，作为显示器或其他可视化设备上医疗器械40在配准的3D图像数据上的叠加图。

为了补偿患者或系统的运动，使用附接到患者解剖结构(例如，到患者解剖结构的骨骼特征)的追踪的设备也是有利的。因此，如图1所示，与获取表面数据集同时通过追踪系统记录追踪标记支持器结构55的位置。将表面数据集转换为追踪系统的坐标系(使用先前获取的校准转换)，然后将其配准到体积图像数据中。可以基于追踪的追踪标记支持器结构，执行相对于体积图像数据的后续医疗器械的追踪，并补偿患者或系统运动，而无需连续获取表面数据。

在一个示例性的实施方案中，如标题为“TRACKING MARKER SUPPORT STRUCTUREAND SURFACE REGISTRATION METHODS EMPLOYING THE SAME FOR PERFORMING NAVIGATEDSURGICAL PROCEDURES”并于2015年9月23日递交的第PCT/CA2015/050939号国际PCT专利申请中所述的(其在此通过引用整体并入本文)，追踪标记支持器结构55被用于计算追踪系统和表面成像系统之间的实时校准转换，例如，以评估先前确定的校准转换的有效性。如下所述，这可以通过执行表面探测以确定追踪标记支持器结构在表面成像系统参考框架中的位置和方向，并将该位置与基于来自标记的信号检测由追踪系统确定的追踪标记支持器结构的位置进行比较来实现，其中所述比较采用最后的校准转换(先前确定的校准转换)。因此，可以通过确定所计算的位置和方向是否在规定的公差范围内来评估最后的校准转换的有效性。

该方法可以在外科手术程序之前或期间的任何时间执行，如每次执行配准时，以及任选地每次将追踪标记支持器结构附加到患者的新的骨骼特征时执行。例如，在脊柱外科手术程序的情形下，当追踪标记支持器结构(或另外的追踪标记支持器结构)被附接至新的脊椎水平时，可以执行或重复该方法。该方法在本文中将被称为“主动校准”。

再次对于图1，典型的医疗程序可能涉及使用两种可追踪的医疗器械，如可追踪的医疗器械40以及不可追踪的医疗器械，如不可追踪的医疗器械60。虽然追踪系统20能够追踪可追踪的医疗器械40，使得可追踪的医疗器械40相对于与患者相关的体积图像数据可以在导引图像上显示，但是系统有效地无视不可追踪的医疗器械60的存在。

尽管系统不能追踪不可追踪的器械60，但是不可追踪的器械可被临床医生或操作员在术中视频传送中看到。认识到在医疗程序先前的(早期的)阶段或步骤中，未追踪的医疗器械的术中位置和方向常常与追踪的医疗器械的术中位置和方向有关，本发明人意识到如果使用具有与追踪系统的参考系有关的参考系的摄像机产生术中视频传送(经由已知的坐标转换)，则利用一个或多个虚拟显示特征，基于检测的追踪的医疗器械的方向和位置来增强术中视频传送是可能的，使得在术中视频传送中显示的一个或多个虚拟显示特征可以用于促进随后的未追踪的医疗器械的对准。

因此，在一些示例性的实施方案中，一个或多个虚拟显示特征可以用于以增强的视频传送呈现与先前检测的追踪的医疗器械的术中位置和方向相关的信息，其中用于生成术中视频传送的摄像机和追踪系统的参考系之间的坐标转换是已知的。如下所述，可以采用虚拟的显示元件，例如，以促进未追踪的医疗器械的对准。

图2提供了示出此类示例性实施方案的流程图实例。在步骤200中，追踪系统被用于检测来自与可追踪的医疗器械相关的基准标记的信号。可以在医疗器械处于限定了与医疗程序期间随后步骤有关的参考术中方向和位置的特定的术中方向和位置时，执行该步骤。如下文进一步详细描述，并且此类参考术中方向和位置的实例是套管插入术操作期间椎弓根探针的方向和位置，其限定了医疗程序的后续阶段期间，如攻入筒状轨迹和插入椎弓根螺钉期间相关的术中轴。在步骤205中处理信号，以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置。

例如，如上所述，检测的基准标记信号的图像可以用于通过几何三角化计算每个基准标记45的三维位置，并且因为基准标记相对于可追踪的医疗器械以固定的空间关系排列，因此可以确定可追踪的医疗器械的位置和方向(例如，使用至少一部分的可追踪的医疗器械的已知的几何模型和基准标记的相对位置)。

在步骤210中，摄像机用于生成术中视频传送，然后将其术中显示(例如，在导引用户界面的显示窗上)。配置摄像机使得摄像机的参考系和追踪系统的参考系之间的坐标转换是已知的。

在步骤215中，使用摄像机的参考系和追踪系统的参考系之间的已知的坐标转换，将如在步骤205中确定的可追踪的医疗器械的术中方向和位置转换到追踪系统的参考系中。在将可追踪的医疗器械的术中方向和位置转换到追踪系统的参考系后，可以利用与可追踪的医疗器械的术中方向和位置相关的显示信息，如虚拟显示特征，来增强术中视频传送。例如，可以利用识别先前确定的可追踪的医疗器械的术中方向和位置的虚拟显示特征来增强术中视频传送，如步骤220处所示。

利用医疗程序更早时期可追踪的医疗器械的术中方向和位置，可以在医疗程序的随后阶段(阶段、时间、步骤或事件)中将先前的方法用于促进未追踪的医疗器械的对准。通过利用指示先前确定的可追踪的医疗器械的方向和位置的虚拟显示特征增强术中视频传送，外科手术医生或其他医学从业人员可以观察术中视频传送并使不可追踪的医疗器械相对于虚拟显示特征对准。

例如，如以下提供的实例中所述，本示例性的实施方案可以用于帮助在涉及植入椎弓根螺钉的医疗程序期间定位一个或多个不可追踪的医疗器械。例如，可以利用追踪系统检测和存储追踪的椎弓根探针的术中方向和位置。在医疗程序的随后阶段中，可以根据上述的示例性方法，利用指示先前确定的椎弓根探针的术中方向和位置的虚拟显示特征，来增强术中视频传送。随后在观察增强的术中视频传送同时，可以可视化地将一个或多个未追踪的医疗器械如螺丝攻或螺丝刀与虚拟显示特征对准。

现对于图3A-图3B和图4A-图4C，且针对椎弓根螺钉放置的临床应用，示出了图2中示出的方法的示例性的实施方式。在涉及椎弓根螺钉放置的医疗程序期间，常常使用可追踪的医疗器械如可追踪的锥子和可追踪的椎弓根探针，来开发使用外科手术导引系统放置椎弓根螺钉的初始轨迹，其中可追踪的锥子被用于创建入口点，并且可追踪的椎弓根探针被用于沿合适轨迹的套管插入术。图3A显示了示例性的外科手术导引用户界面，其中相对于患者外科手术前的体积图像305示出了椎弓根探针300。

图3A和图3B中显示的示例性的导引窗口包括空间注释，其可以用于执行测量以确定合适的螺杆直径和长度，如标题为“SYSTEMS AND METHODS FOR DISPLAYING GUIDANCEIMAGES WITH SPATIAL ANNOTATIONS DURING A GUIDED MEDICAL PROCEDURE”且于2017年1月12日递交的第20170202626号美国专利公开中所公开的，其在此通过引用整体并入本文。简言之，指导图像显示了通过脊柱的二维横截面，其中二维图像包括并示出了椎弓根探针300的纵轴310。沿着椎弓根探针300的纵轴310生成了多个空间注释315，其中每个空间注释都集中在纵轴310上。在本示例性的实施方案中，生成了空间注释315，以使与每个空间注释相关的图像区域(线性的分割)在垂直于纵轴的方向上相对于纵轴310延伸。每个空间注释描绘(指示)具有与之相关联的已知长度度量的图像区域(在这种情况下，线性的图像分割)。因此，每个空间注释都提供了一个分级，使操作员/用户可以获得导引图像中解剖和/或功能特征的相对大小的可视化度量。

如图3A中所示，套管插入操作期间椎弓根探针的追踪，以及追踪系统和术中患者参考系(例如，使用如上所述的表面探测，或使用追踪工具经由基准点拣选促进的)之间的已知的转换，使得能够确定椎弓根探针300的术中方向和位置。图3A显示了指示椎弓根探针300的术中方向和位置的椎弓根探针300的概略图。可以以任何合适的方式，例如，经由定征椎弓根探针的术中方向的纵轴310以及椎弓根探针300的远末端的远端位置320，指定、存储和显示椎弓根探针的术中方向和位置。图3B显示了导引图像，其中显示了椎弓根探针300的术中纵轴310，其相对于椎弓根探针的远末端在近端和远端方向上延伸。

在于套管插入术并识别与套管插入程序相关的术中轴期间确定椎弓根探针300的术中方向和位置之后，可以增强一个或多个术中视频传送，以显示与椎弓根探针的术中方向和位置相关的一个或多个虚拟显示特征。如上文解释，使用坐标转换将如追踪系统的参考系中定义的术中方向和位置转换成摄像机的参考系。然后可以利用一个或多个虚拟显示特征增强术中视频传送，以通过在术中视频传送中呈现识别椎弓根探针的术中方向和位置的信息来帮助临床医生。

现参考图4A，显示出示例性的实施方式，其中使用表面探测系统的两个摄像机生成一对术中视频传送。两个术中视频传送中的每个显示椎弓根探针300在套管插入术期间的术中方向和位置，并且术中视频传送已利用识别与椎弓根探针的术中方向相关的术中轴的虚拟显示特征进行了增强。如下文中进一步详细解释，由于已知的坐标转换存在于表面探测系统的参考系和追踪系统的参考系之间，因此如在追踪系统的参考系中确定的追踪的椎弓根探针的术中方向和位置可被转换和呈现在表面探测系统的参考系中。这使得能够增强获自表面探测系统的摄像机的术中视频传送。处理术中视频传送以执行增强的示例性的方法在下文中有详细描述。

在图4A中示出的示例性的实施方式中，虚拟显示特征显示为指示椎弓根探针300的纵轴的术中方向的线性的注释330。可以看见线性的注释330与椎弓根探针330的图像同轴对准。图4B示出了示例性的实施方式，其中在从术野去除椎弓根探针之后利用线性的注释330(虚拟的显示元件)来增强术中视频传送。此外，如图4C中所示，当在医疗程序的随后阶段中将不可追踪的螺丝刀340引入术野时，观察显示的增强的视频传送的临床医生可以相对于线性的注释330可视化地对准螺丝刀340的轴，从而有效地采用先前追踪的医疗器械来支持不可追踪的或未追踪的医疗器械随后的术中指导。

在一些示例性的实施方案中，可以基于来自操作员的输入，例如包括但不限于声音指令、手势或脚踏开关在内的输入，来显示虚拟的显示元件。在一些示例性的实施方案中，仅当可追踪的医疗器械不在术野中时，才可以显示与给定的可追踪的医疗器械相关的一个或多个虚拟的显示元件。在一些示例性的实施方案中，可以根据预选的医疗程序阶段显示与给定的可追踪的医疗器械相关的一个或多个虚拟的显示元件。

尽管图3A、图3B和图4A-图4C显示了线性的注释形式的示例性的虚拟显示元件，但是应该理解，虚拟的显示元件可以具有许多不同的形式。例如，在一个示例性的实施方式中，可以将虚拟的显示元件渲染为代表医疗器械，如与检测的术中方向和位置相关的可追踪的医疗器械、将在医疗程序的随后阶段中采用的不可追踪的器械，和/或与可追踪的医疗器械或不可追踪的医疗器械相关的外科手术植入物的形状。在另一个示例性的实施方案中，虚拟的显示元件可以采取沿着术中轴离散地显示的一组共线的形状的形式，诸如但不限于圆形的线性阵列。在另一示例性的实施方式中，虚拟的显示元件可以包括指示可追踪的医疗器械的远末端的形状(例如，圆形或箭头)。在又一个示例性的实施方式中，虚拟的显示元件可以包括方向特征(如箭头)，其指示与可追踪的医疗器械相关的方向，如远端方向。应该理解，虚拟的显示元件可以提供对术中位置、术中方向和/或术中方向和位置的可视化指示。

在一些示例性的实施方案中，多个虚拟的显示元件可以以增强的视频传送显示，其中多个虚拟的显示元件中的至少一个子集与可追踪的医疗探针的不同的术中方向和位置相关。在一个示例性的实施方案中，可以同时显示分别与可追踪的医疗探针的不同的术中方向和位置相关的两个或更多个虚拟的显示元件。在一些示例性的实施方案中，可以将不同的术中方向和位置与涉及可追踪的医疗器械的不同的外科手术操作相关联。在其他示例性的实施方案中，可以将不同的术中方向和位置与不同的时间点相关联，同时将可追踪的医疗器械从一个位置移动到另一个位置。在其他示例性的实施方案中，可以将两个或更多个虚拟的显示元件分别与不同的可追踪的医疗器械相关联。

在一些示例性的实施方案中，诸如在图4A-图4C中所示的示例性实施方案中，可以生成并显示多个注释的术中视频传送，其中多个视频传送涉及相对于术野的不同的视角(不同的摄像机对准)。多个增强的视频传送的显示可能是有利的，因为他们提供了有助于相对于虚拟的显示元件对准一个或多个不可追踪的医疗器械的多方向的视角。如上所述，在其中采用具有用于表面探测的立体摄像机的表面探测系统的情形下，可以利用表面探测系统的两个摄像机生成术中视频传送。可选地，可以基于获自一个摄像机的视频传送或基于获自两个摄像机的视频传送生成单个术中视频传送。

在示例性的实施方案中，其中追踪系统包括限定了立体对的两个摄像机，观察者基于虚拟的显示元件在增强的视频传送的位置和方向明确地确定可追踪的医疗器械的术中方向和位置的能力可能受损，这是由于可追踪的医疗器械相对于包括分别与摄像机相关的方向轴(沿摄像机分别的观察方向限定的轴)在内的平面的接近度。换言之，如果与可追踪的医疗器械的术中方向相关的术中轴位于立体摄像机系统的基线上，或接近立体摄像机系统的基线，则简并性轴妨碍观察者基于虚拟的显示元件在增强的视频传送中的显示独特地确定可追踪的医疗器械的术中方向。

这样的情形的一个实例在图5A-图5C中示出，其中与先前确定的追踪的医疗器械的术中位置和方向相关的虚拟的显示元件以沿与追踪的医疗器械相关的术中轴的线性注释的形式显示在330处。图5A-图5C中的每个还示出了未追踪的医疗器械与线性注释330的对准，其中未追踪的医疗器械的竖直倾斜角在每个图中均不同。尽管未追踪的医疗器械的倾斜角度发生了变化，但在术中视频传送中的对准简并性导致未追踪的医疗器械的每个不同方向似乎都与线性注释330对准。这种简并性是由于追踪的医疗器械在由摄像机的方向轴形成的平面内对准而引起的。

在一些示例性的实施方案中，可以通过检测简并性并向操作员提供指示来防止这种情况。指示可以指示操作员移动和/或旋转追踪系统。例如，指示可能包括显示的或声音警告或警报。在另一个示例性实施方案中，系统可以自动旋转追踪系统，以消除此类简并性，或防止其发生。在另一示例性实施方案中，可以通过自动重新定位立体摄像机系统，诸如经由控制一个或多个能够平移和/或旋转立体摄像机系统的电机，来防止或纠正这种简并性。可以根据许多不同的示例性实施方式检测简并性，其涉及到追踪的医疗工具的术中轴相对于摄像机对的位置和方向。例如，当沿与追踪的医疗器械的功能端相关的沿器械中轴的位置位于相对于由摄像机方向轴限定的平面的预选空间偏移内时，且当术中轴与由摄像机方向轴限定的平面之间的角度在预定角度范围内时，可以确定存在简并性。可选地，可以基于术中轴到包括摄像机基线在内的并且垂直于包括摄像机方向轴在内的平面的平面上的投影，来规定与简并性相关的标准。

在其中至少一个术中视频传送基于获自追踪系统的一个或多个摄像机的视频传送而生成和增强的一些示例性实施方案中，可以将一个或多个另外的摄像机(追踪系统外部的摄像机)用于生成一个或多个另外的增强的术中视频传送，只要坐标转换。例如，图1显示了示例性的实施方案，其中具有附接至其上的一组基准标记75的另外的追踪的摄像机70被用于获得另外的术中视频传送。另外的摄像机70的追踪有助于确定与另外的摄像机相关的参考系和与追踪系统相关的参考系之间的另外的坐标转换，从而允许利用与可追踪的医疗器械的术中方向和位置相关的另外的虚拟显示特征来增强另外的术中视频传送。可以以非头部上方配置定向另外的摄像机。在一些示例性实施方式中，一个或多个另外的摄像机可以位于患者支持器(例如，治疗卧榻或床)的头部和/或脚部处。

在另一示例性实施方案中，可以通过一个或多个追踪的摄像机生成术中视频传送，而不依赖于与表面探测系统的追踪系统或摄像机相关的摄像机的使用。

在又一示例性实施方案中，可以基于获自追踪系统的一个或多个摄像机的视频数据生成一个或多个术中视频传送。在此类情形下，因为追踪系统的摄像机被用于追踪和生成一个或多个术中视频传送，因此一个或多个术中视频传送和追踪的医疗器械位于共同的参考系中，并且不需要进行坐标转换来利用与追踪的医疗器械相关的一个或多个虚拟的显示元件增强一个或多个术中视频传送。

在另一示例性实施方案中，表面探测系统可用于检测术中表面数据以及追踪医疗器械，并且可以基于获自表面探测系统的一个或多个摄像机的视频数据生成一个或多个术中视频传送。例如，可以通过表面探测系统，基于一个或多个形貌表面基准特征追踪医疗器械，例如，第PCT/CA2011/050257号国际专利申请和第PCT/CA2015/050939号国际PCT专利申请中所述。在此类情形下，由于表面探测系统的摄像机被用于追踪和生成一个或多个术中视频传送，因此一个或多个术中视频传送和追踪的医疗器械位于共同的参考系中，并且不需要进行坐标转换来利用与追踪的医疗器械相关的一个或多个虚拟的显示元件增强一个或多个术中视频传送。

图6示出了实施方案，其中基于立体校正的摄像机系统和追踪系统的结构光扫描仪被一起使用，以用于配准和导引的目的，如同所述的，例如，第PCT/CA2011/050257号国际专利申请中所述。包括内部和外部参数的立体摄像机校准数据400被用于生成透视转换420和425，以将3D点映射到左右摄像机2D图像上的结构光成像空间中。生成透视转换410的步骤实际上可以在使用stereoRectify()函数的常用计算机视觉SDK OpenCV中完成。另外，还可以在步骤410中从所述校准数据400生成用于左右摄像机的立体校正图430和435，以校正和非失真向用户显示的实时馈送490和495。在OpenCV中，可以使用initUndistortRectifyMap()函数来执行立体校正图的生成。来自追踪系统的3D位置数据440可以例如使用第PCT/CA2011/050257号国际专利申请和第PCT/CA2015/050939号国际PCT专利申请中所述的方法，经由校准转换450、460转移到结构光扫描仪的3D坐标系中。一旦位置数据在结构光系统的坐标系中，则左右摄像机视角转换420和425可用于将追踪的器械3D位置投影到左右摄像机2D图像空间内的2D呈现480和485中。然后，可以将转换后的左右摄像机2D位置数据480和485分别直接叠加到来自左右摄像机的校正和非失真的视频传送数据510和515上。再次对于在openCV中发现的常见实施方式，可以通过使用输入430和435调用remap()函数来完成校正步骤500和505。然后可以将合成的图像520和525显示给用户以帮助定向未追踪的器械。

图7所示的单个摄像机实施方案利用了由一个或多个摄像机/传感器组成的追踪系统来追踪医疗器械的位置。追踪系统输出追踪的器械的位置信息600。追踪系统被校准到摄像机，其输出术野的2D图像630，使得追踪系统坐标空间中的已知3D位置可以投影到2D摄像机图像空间中。该转换610通常可以描述为用于将3D工具位置映射到2D摄像机图像空间中的坐标620的视角转换。可以通过使用追踪系统3D空间中的点与2D图像空间中的对应点之间的一组已知对应关系来确定它。一旦位置信息已经投影到2D图像空间中，就可以将其直接叠加或渲染到2D图像框架640中以显示给用户。

现对于图8，提供了流程图，其中示出了基于可追踪的医疗器械的方向和位置的术中检测而增强术中视频传送的替代性示例性方法。与上述涉及利用与先前确定的追踪的医疗探针的术中位置和方向相关的虚拟的显示元件增强术中视频传送的方法不同，本示例性实施方式涉及实时利用与追踪的医疗器械当前的(例如目前的或实时的)方向和位置相关的虚拟的显示元件增强术中视频传送。因此，可以动态显示虚拟的显示元件，使得可以看到其在术中视频传送中以相对于追踪的医疗器械的固定的空间关系移动。

在步骤800中，当摄像机被用于生成随后被术中显示(例如，在导引用户界面的显示窗上)的术中视频传送时，追踪系统被用于检测来自与可追踪的医疗器械相关的基准标记的信号。摄像机被配置为使得摄像机的参考系与追踪系统的参考系之间的坐标转换是已知的。在步骤805中处理信号以确定在与追踪系统相关的参考系中，可追踪的医疗器械的术中方向和位置，例如，如上文参考图2所述。

在步骤810中，如在步骤805中确定的可追踪的医疗器械当前的术中方向和位置被使用摄像机的参考系和追踪系统的参考系之间的已知的坐标转换转换到追踪系统的参考系中。在将可追踪的医疗器械当前的术中方向和位置转换到追踪系统的参考系中后，可以利用与可追踪的医疗器械当前的术中方向和位置相关的虚拟显示特征增强术中视频传送，如815中所示。

例如，在一个示例性实施方案中，术中视频传送可在规定的空间位置处被增强(例如，注释)，或相对于追踪的医疗探针、呈现将在医疗程序期间使用的与追踪的医疗器械相关的工具或植入物的虚拟的显示元件发生偏移。可以在术中视频传送中或在相对于追踪的医疗器械的固定的空间关系处动态显示虚拟的显示元件。在其中虚拟的显示元件是植入物(或可植入的设备)的一个示例性实施方式中，可追踪的医疗器械可以包括具有纵轴的长型杆，并且可以沿远端方向上的纵轴相对于长型杆的远末端显示外科手术植入物的虚拟的显示。

尽管本文提供的实例指的是用于执行脊柱程序的医疗器械，但应理解，本文所述的方法和系统可广泛应用于多种医疗程序，即多种可追踪的和不可追踪的医疗器械。例如，本文所述的方法和系统可用于导引的医疗程序，诸如但不限于涉及活检、深部脑刺激电极放置、机器人外科手术、针对癫痫的多电极放置和激光间质内疗法的医疗程序。追踪的医疗器械的实例包括但不限于探针、吸引器、钻头、螺丝攻、螺丝刀、电灼、内窥镜、腹腔镜、椎弓根探查器、针头，并且不可追踪的医疗器械的实例包括但不限于螺丝攻、螺丝刀、k线、钳子、剪刀、手术刀、夹具、牵开器、刮匙、窥器、针头驱动器、窥器、打孔器和咬骨钳。

现参考图9A，示出了外科手术室的俯视图，其中示出了外科手术医生750，其站立在位于俯卧位置的患者700的左侧。导引摄像机系统740位于患者700上方。导引观察屏幕730位于患者的右侧，且屏幕朝向外科手术医生。在增强现实显示期间，示出了患者770的视频传送，其中患者在垂直方向上定向，结果，外科手术医生750的水平手部运动在视图屏幕730上在垂直方向上显示。这种配置可能使外科手术医生感到困惑和沮丧。

为了正确地呈现外科手术医生的运动，可以将用户界面配置为促进显示的视频传送的任选的旋转。例如，如图9B所示，用户界面可以包括按钮760，其可被选择以产生显示的视频传送的旋转。在各种示例性的实施方式中，视频传送可以响应于用户输入而连续地旋转或通过固定的旋转增量如45度、90度或180度进行旋转，以便将在视频传送中看到的患者方向与患者在手术室方向上的患者方向对准。

图9C示出了实例，其中导引观察屏730位于患者头部附近。在增强现实显示期间，可以旋转患者的视频传送770，使得患者被垂直对准，从而将外科手术医生的真实运动与在视频传送器上显示的运动对准。在所示的示例性实施方式中，视频传送可以旋转(例如，经由用户界面按钮760)90度，以使视频传送中看到的患者方向与手术室中患者的方向对准。

图9D示出了另一示例性实施方式，其中导引观察屏730被以相对于患者的上下轴的倾斜角α定位。在增强现实显示期间，可以将患者770的视频传送旋转(例如，经由用户界面按钮761)α度，以使在视频传送中看到的患者方向与手术室中患者的方向对准。

已经通过实例的方式示出了上述具体的实施方案，并且应当理解，这些实施方案可能易于进行各种修改和替代形式。应当进一步理解，权利要求并不旨在限于所公开的特定形式，而是涵盖落入本公开的精神和范围内的所有修改、等同形式和替代形式。

Claims (45)

1.在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理所述信号以确定在与所述追踪系统相关的参考系中，所述可追踪的医疗器械的术中方向和位置；

采用摄像机以获得术中视频传送；

显示所述术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段，采用与所述摄像机相关的参考系和与所述追踪系统相关的参考系之间的坐标转换，利用识别先前确定的所述可追踪的医疗器械的术中方向和位置的虚拟显示特征增强所述术中视频传送，从而在所述医疗程序的随后阶段，使得所述不可追踪的医疗器械能够相对于先前确定的所述可追踪的医疗器械的术中方向和位置可视化对准。

2.如权利要求1所述的方法，其中所述追踪系统包括第一摄像机和第二摄像机，所述第一摄像机和第二摄像机限定了立体摄像机对，所述方法还包括：

假如基于所显示的虚拟的显示元件，实现所述未追踪的医疗器械相对于所述可追踪的医疗器械的术中方向和位置的可视化对准的精度被认为由于对准简并性而受损时，则向操作员提供指示，所述指示指导所述操作员移动和/或旋转所述追踪系统。

3.如权利要求1所述的方法，其中所述虚拟显示特征包括所述可追踪的医疗器械的虚拟显示。

4.如权利要求1所述的方法，其中所述虚拟显示特征包括所述不可追踪的医疗器械的虚拟显示。

5.如权利要求1所述的方法，其中所述虚拟显示特征包括外科手术植入物的虚拟显示。

6.如权利要求1所述的方法，其还包括：

基于所述可追踪的医疗器械的术中方向和位置，确定对应于所述可追踪的医疗器械的远末端的远端位置；以及

渲染所述虚拟显示特征，使得至少一部分的所述虚拟显示特征指示所述远端位置。

7.如权利要求1所述的方法，其中在操作员接收到输入时确定所述术中方向和位置。

8.如权利要求1-6中任一项所述的方法，其中在所述可追踪的医疗器械自所述追踪系统的视野消失时，利用所述虚拟显示特征增强所述术中视频传送。

9.如权利要求1-8中任一项所述的方法，其中根据操作员接收到的输入来选择性地显示所述虚拟显示特征。

10.如权利要求1-8中任一项所述的方法，其中所述术中方向和位置是第一术中方向和位置，并且所述虚拟显示特征是第一虚拟显示特征，所述方法还包括：

确定所述可追踪的医疗器械的另外的术中方向和位置；以及

在所述医疗程序的随后阶段中，利用与所述可追踪的医疗器械的另外的术中方向和位置相关的另外的虚拟显示特征增强所述术中视频传送。

11.如权利要求10所述的方法，其中所述第一虚拟显示特征和所述另外的虚拟显示特征在所述医疗程序的随后阶段中被同时渲染。

12.如权利要求10或11所述的方法，其中所述第一术中方向和位置以及所述另外的术中方向和位置与涉及所述可追踪的医疗器械的不同的外科手术操作相关。

13.如权利要求10-12中任一项所述的方法，其中当所述可追踪的医疗器械从一个位置移至另一个位置时，所述第一术中方向和位置以及所述另外的术中方向和位置与不同的时间点相关。

14.如权利要求1-8中任一项所述的方法，其中所述可追踪的医疗器械是第一可追踪的医疗器械，并且所述术中方向和位置是第一术中方向和位置，并且所述虚拟显示特征是第一虚拟显示特征，所述方法还包括：

确定另外的可追踪的医疗器械的另外的术中方向和位置；以及

利用与所述另外的可追踪的医疗器械的另外的术中方向和位置相关的另外的虚拟显示特征，增强所述术中视频传送。

15.如权利要求14所述的方法，其中在所述医疗程序的一个或多个随后阶段中，根据从用户接收到的输入，选择性地显示所述第一虚拟显示特征和所述另外的虚拟显示特征。

16.如权利要求1所述的方法，其还包括处理所述可追踪的医疗器械的术中方向和位置，以基于所述可追踪的医疗器械的模型确定术中轴。

17.如权利要求16所述的方法，其中由所述模型限定的所述可追踪的医疗器械的长型部分的纵轴确定所述术中轴。

18.如权利要求16或17所述的方法，其中所述追踪系统包括第一摄像机和第二摄像机，所述第一摄像机和第二摄像机限定了立体摄像机对，所述方法还包括：

确定所述术中轴是否位于包括分别与所述第一摄像机和所述第二摄像机相关的方向轴的平面内；以及

当所述术中轴位于包括分别与所述第一摄像机和所述第二摄像机相关的方向轴的平面内时，向操作员提供指示，指导操作员移动和/或旋转所述追踪系统，以去除确定术中轴中的简并性。

19.如权利要求16-18中任一项所述的方法，其中所述虚拟显示特征是指示所述术中轴的位置和方向的线性注释。

20.如权利要求19所述的方法，其中所述线性注释包括指示与所述可追踪的医疗器械的远末端相关方向的方向标记。

21.如权利要求19所述的方法，其还包括：

基于所述可追踪的医疗器械的术中方向和位置，确定对应于所述可追踪的医疗器械的远末端的远端位置；以及

渲染所述虚拟显示特征，使得所述线性注释与所述远端位置重叠或者从临近所述远端位置的位置延伸。

22.如权利要求1-21中任一项所述的方法，其中所述摄像机是表面探测系统的组成部分，并且其中根据所述表面探测系统和所述追踪系统之间的校准来获得所述坐标转换。

23.如权利要求22所述的方法，所述表面探测系统是结构光表面探测系统。

24.如权利要求22或23所述的方法，其还包括：

采用另外的摄像机获得和显示另外的术中视频传送，其中所述另外的摄像机包括另外的基准标记，并且其中通过所述追踪系统追踪所述另外的摄像机的位置和方向；以及

采用与所述另外的摄像机相关的参考系和与所述追踪系统相关的参考系之间的另外的坐标转换，利用与所述可追踪的医疗器械的术中方向和位置相关的另外的虚拟显示特征以增强所述另外的术中视频传送。

25.如权利要求24所述的方法，其中所述另外的摄像机位于患者支持器的头端或脚端。

26.如权利要求1-21中任一项所述的方法，其中所述摄像机包括另外的基准标记，并且其中通过所述追踪系统追踪所述摄像机的位置和方向。

27.如权利要求26所述的方法，其中所述摄像机是可移动的，从而允许从多个观察方向观察注释有所述虚拟显示特征的所述术中视频传送。

28.如权利要求1-21中任一项所述的方法，其中所述追踪系统相对于所述摄像机为刚性固定的。

29.如权利要求1-28中任一项所述的方法，其中所述医疗程序包括放置椎弓根螺钉。

30.如权利要求29所述的方法，其中所述可追踪的医疗器械是椎弓根探针，并且所述不可追踪的医疗器械是螺丝攻或螺丝刀。

31.如权利要求1-28中任一项所述的方法，其中所述医疗程序选自：活检、深部脑刺激电极放置、机器人外科手术、针对癫痫的多电极放置和激光间质内疗法。

32.如权利要求1所述的方法，其中所述追踪系统是电磁追踪系统。

33.在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用表面探测系统检测来自与可追踪的医疗器械相关的一个或多个表面基准特征的信号；

处理所述信号以确定所述可追踪的医疗器械的术中方向和位置；

采用所述表面探测系统的摄像机获得术中视频传送；

显示所述术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，利用与先前确定的所述可追踪的医疗器械的术中方向和位置相关的虚拟显示特征增强所述术中视频传送，从而在所述医疗程序的随后阶段中，使得所述不可追踪的医疗器械能够相对于先前确定的所述可追踪的医疗器械的术中方向和位置可视化对准。

34.在医疗程序期间提供对准不可追踪的医疗器械的术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理所述信号以确定所述可追踪的医疗器械的术中方向和位置；

采用所述追踪系统的摄像机获得术中视频传送；

显示所述术中视频传送；以及

在涉及不可追踪的医疗器械的医疗程序的随后阶段中，利用与先前确定的所述可追踪的医疗器械的术中方向和位置相关的虚拟显示特征增强所述术中视频传送，从而在所述医疗程序的随后阶段中，使得所述不可追踪的医疗器械能够相对于先前确定的所述可追踪的医疗器械的术中方向和位置可视化对准。

35.如权利要求34所述的方法，其中所述追踪系统包括单个摄像机。

36.在医疗程序期间对准不可追踪的医疗器械的方法，所述方法包括：

在相对于患者的术中方向和位置上，术中定向并放置可追踪的医疗器械；

采用导引和追踪系统以：

检测来自与所述可追踪的医疗器械相关的基准标记的信号；

处理所述信号以确定在与所述追踪系统相关的参考系中，所述可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

显示所述术中视频传送

采用与所述摄像机相关的参考系和与所述追踪系统相关的参考系之间的坐标转换，利用与所确定的所述可追踪的医疗器械的术中位置和方向相关的虚拟显示特征增强所述术中视频传送；以及

在涉及所述不可追踪的医疗器械的医疗程序的随后阶段中，观察所述术中视频传送，并采用所述虚拟显示特征来定位和定向所述未追踪的医疗器械。

37.如权利要求36所述的方法，其中所述摄像机包括另外的基准标记，并且其中通过所述导引和追踪系统来追踪所述摄像机的位置和方向，所述方法还包括：

术中移动所述摄像机，以允许从多个观察方向观察注释有所述虚拟显示特征的术中视频传送。

38.如权利要求36所述的方法，其中所述医疗程序包括放置椎弓根螺钉。

39.如权利要求38所述的方法，其中所述可追踪的医疗器械是椎弓根探针，并且所述不可追踪的医疗器械是螺丝攻或螺丝刀。

40.如权利要求36所述的方法，其中所述医疗程序选自：活检、深部脑刺激电极放置、机器人外科手术、针对癫痫的多电极放置和激光间质内疗法。

41.在外科手术程序期间提供术中指导的方法，所述方法包括：

采用追踪系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理所述信号以确定在与所述追踪系统相关的参考系中，所述可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

显示所述术中视频传送；以及

采用与所述摄像机相关的参考系和与所述追踪系统相关的参考系之间的坐标转换，利用与所述可追踪的医疗器械相关的虚拟显示特征来实时增强所述术中视频传送。

42.如权利要求41所述的方法，其中所述外科手术程序的随后步骤包括经由所述可追踪的医疗器械植入外科手术植入物；

其中所述虚拟显示特征包括处于相对于所述可追踪的医疗器械的固定的空间关系的外科手术植入物的虚拟显示。

43.如权利要求42所述的方法，其中所述可追踪的医疗器械包括具有纵轴的长型杆，并且其中所述外科手术植入物的虚拟显示在相对于所述长型杆的远末端的远端方向上沿所述纵轴显示。

44.在医疗程序期间提供对准不可追踪的医疗器械的术中指导的系统，所述系统包括：

追踪子系统

显示器；以及

计算机硬件，所述计算机硬件可操作地偶联到所述追踪子系统，其中所述计算机硬件包括与一个或多个处理器偶联以存储指令的存储器，所述指令在由所述一个或多个处理器执行时，造成所述一个或多个处理器执行以下操作，包括：

采用所述追踪子系统检测来自与可追踪的医疗器械相关的基准标记的信号；

处理所述信号以确定在与所述追踪系统相关的参考系中，所述可追踪的医疗器械的术中方向和位置；

采用摄像机获得术中视频传送；

在所述显示器上显示所述术中视频传送；以及

在涉及所述不可追踪的医疗器械的医疗程序的随后阶段中，采用与所述摄像机相关的参考系和与所述追踪系统相关的参考系之间的坐标转换，利用识别先前确定的所述可追踪的医疗器械的术中方向和位置的虚拟显示特征增强所述术中视频传送，从而在所述医疗程序的随后阶段中，使得所述不可追踪的医疗器械能够相对于先前确定的所述可追踪的医疗器械术中方向和位置可视化对准。

45.在外科手术程序期间提供术中指导的系统，所述系统包括：

追踪子系统；

显示器；和

计算机硬件，所述计算机硬件可操作地偶联至所述追踪子系统，其中所述计算机硬件包括与一个或多个处理器偶联以存储指令的存储器，所述指令在由所述一个或多个处理器执行时，造成所述一个或多个处理器执行以下操作，包括：

采用所述追踪子系统检测来自与可追踪的医疗器相关的基准标记的信号；

处理所述信号以确定在与所述追踪系统相关的参考系中，所述可追踪的医疗器械的术中方向和位置；

采用摄像机以获得术中视频传送；

在所述显示器上显示所述术中视频传送；以及

采用与所述摄像机相关的参考系和与所述追踪系统相关的参考系之间的坐标转换，利用与所述可追踪的医疗器械相关的虚拟显示特征来实时增强所述术中视频传送。

Images