CN110169822B - 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法 - Google Patents

Abstract

本公开涉及增强现实导航系统及其使用方法，其尤其解决了对机器人外科手术系统导航的系统和方法的需要，同时减少了外科医生的分心。本文中所公开的增强现实导航系统使得外科医生能够保持集中于外科手术部位和/或用于外科手术的外科手术工具，同时获得与手术相关的广泛范围的导航信息。当在手术期间被呈现在安置于外科医生的自然视野中的虚拟显示器上时，导航信息可显现在所述增强现实导航系统中。导航信息还可显现为覆盖在患者的解剖结构上。增强现实导航系统包括：头戴式显示器，其包括至少部分透明的显示屏；至少一个检测器，其连接到所述头戴式显示器以用于识别实物特征；以及计算机子系统。

Description

用于与机器人外科手术系统一起使用的增强现实导航系统及 其使用方法

技术领域

本发明大体上涉及用于与机器人外科手术系统一起使用的增强现实系统及其使用方法。

背景技术

机器人外科手术系统用于许多外科手术以便帮助外科医生精确地和准确地执行手术。这些手术经常需要精确放置一个或多个植入物且可使用微创技术执行。机器人外科手术系统遵循预先规划的或手术中规划的轨迹，所述预先规划的或手术中规划的轨迹帮助外科医生放置植入物，同时保持其既定对准。贯穿外科手术环境放置的导航标记用于使环境(例如，患者解剖结构)与机器人外科手术系统配准以便使机器人恰当地定向到预先规划的或手术中规划的轨迹。另外，医学图像数据可被与机器人外科手术系统配准以提供患者的解剖结构的模型用于导航。

外科医生在手术期间使用固定显示器规划和监控轨迹以及监控机器人外科手术系统的状态和患者的解剖结构，所述固定显示器例如附接到或紧靠机器人外科手术系统。这种固定显示器是用于在手术期间导航和监控机器人外科手术系统的主要机构。这对于患者的解剖结构阻挡对外科手术部位的直视的微创手术尤其正确。然而，固定显示器需要外科医生将他或她的视线远离外科手术部位和/或他或她正操控的外科手术工具转移以便获得显示在屏幕上的导航信息。此外，显示屏可能会在物理上阻碍外科医生观看外科手术环境的一部分。

发明内容

需要用于观看来自机器人外科手术系统的导航信息的系统和方法，所述系统和方法减少了外科医生对转移他或她的视觉的需要，同时不会阻碍观看外科手术环境。本公开涉及增强现实导航系统及其使用方法，其除了别的以外解决了对机器人外科手术系统导航的系统和方法的需要，同时减少了外科医生的分心。本文中所公开的增强现实导航系统使得外科医生能够保持集中于外科手术部位和/或用于外科手术的外科手术工具，同时获得与手术相关的广泛范围的导航信息。导航信息包含但不限于来源于医学图像数据的患者解剖结构的模型、外科手术工具或机器人外科手术系统的轨迹或位置、或者外科手术植入物的位置和定向。导航信息可被发送到增强现实导航系统作为来自机器人外科手术系统的导航输入数据。当在手术期间被呈现在安置于外科医生的自然视野中的虚拟显示器上时，导航信息可显现在增强现实导航系统中。导航信息还可显现为覆盖在患者的解剖结构上。导航信息可包含否则在外科医生的自然视野中不可见的信息，例如，轨迹和或外科手术工具被患者的解剖结构遮挡的部分。

增强现实导航系统包括：头戴式显示器，其包括至少部分透明的显示屏；至少一个检测器，其连接到头戴式显示器以用于识别实物特征；和计算机子系统。显示屏显示增强图形，例如，向外科医生提供导航信息的导航增强图形。导航增强图形在外科医生的视野中可表现为单独显示器或覆盖在患者的解剖结构上。至少一个检测器识别实物特征，其中所述实物特征可例如为经由图像辨识方法辨识的基准和/或患者解剖结构。以此方式，安装到头戴式显示器的至少一个检测器充当在外科手术期间使用的典型导航系统中的检测器(例如，可用于使患者的解剖结构与机器人外科手术系统配准)，而在外科手术环境中无需额外设备件。计算机子系统可被配置成在手术期间执行对外科医生有用的各种导航任务，包含例如轨迹规划和执行。运动传感器可任选地被包含以检测佩戴增强现实导航系统的外科医生的头部运动，所述增强现实导航系统提供额外功能和/或性能(例如，选择输入装置或偏移校正)。

在某些实施例中，增强现实导航系统消除了对例如通常与当前机器人外科手术系统一起使用的那些系统等辅助导航子系统的需要。增强现实导航系统中的至少一个检测器以充分数量和分辨率检测实物特征(例如，基准)以便使患者与机器人外科手术系统且任选地与来源于医学图像数据的患者解剖结构的一个或多个模型恰当地配准。因此，增强现实导航系统充当独立系统，而无需额外设备。但在某些实施例中，辅助检测器结合增强现实导航系统使用。辅助检测器可实现更大的配准域、改进的配准分辨率和/或冗余。

在一个方面中，本发明涉及一种用于与机器人外科手术系统一起使用的增强现实导航系统，所述系统包括：头戴式显示器，其包括被配置成显示增强图形(例如，半不透明图像)(例如，导航增强图形)的至少部分透明的显示屏，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上；用于识别实物特征的至少一个检测器，所述至少一个检测器连接到头戴式显示器[例如，其中所述至少一个检测器包括光学相机(例如，摄像机)、EMF检测器、LiDAR检测器、声学检测器和RF检测器中的至少一个][例如，其中所述实物特征包括基准和/或经识别患者解剖结构(例如，其中所述实物特征是连接到患者、外科手术工具和机器人外科手术系统(例如，机器人臂、机器人臂的一部分和/或机器人臂的末端执行器)中的至少一个的基准)]；计算装置的处理器；和上面存储指令的非暂时性计算机可读媒体，其中所述指令在由处理器执行时使所述处理器来：通过处理器从至少一个检测器接收检测器输入信号，其中所述检测器输入信号对应于至少一个检测器的视野且所述视野包括在外科手术期间患者的解剖结构的至少一部分；通过处理器确定实物特征中的一个或多个中的每一个在检测器输入信号中的相对位置和/或定向；通过处理器生成和/或存取外科手术工具的至少一部分和/或外科手术工具的轨迹的表示，其中所述外科手术工具被插入或连接到机器人外科手术系统(例如，其中外科手术工具的部分从用户的自然视野被隐藏，例如，在患者内)；通过处理器基于一个或多个实物特征的相对位置和/或定向修改(例如，旋转、缩放和平移中的至少一个)表示的至少一部分，由此形成经更新表示；通过处理器基于经更新表示呈现外科手术工具增强图形；和通过处理器将外科手术工具增强图形显示在显示屏上(例如，经由头戴式显示器的至少部分透明的显示屏显示叠加在用户的自然视野的至少一部分上的外科手术工具增强图形)。

在一些实施例中，所述指令使处理器来：通过处理器呈现多个外科手术工具轨迹(例如，经规划外科手术工具轨迹)中的每一个的外科手术工具增强图形；和通过处理器将多个外科手术工具增强图形显示在显示屏上，使得外科手术工具增强图形显现为覆盖在患者的解剖结构上且轨迹增强图形中的每一个指示在外科手术期间可遵循的物理轨迹。

在一些实施例中，所述指令使处理器来：通过处理器确定来自经检测输入信号的至少一个实物特征中的每一个的相对位置和/或定向；通过处理器基于根据经检测输入信号确定的相对位置和/或定向修改(例如，通过旋转、缩放和平移中的至少一个)患者的解剖模型(例如，3D模型)，由此形成经更新解剖模型(例如，与患者的解剖结构配准)；通过处理器至少部分地基于经更新解剖模型呈现解剖模型增强图形；和通过处理器将解剖模型增强图形显示在显示屏上，使得经更新解剖模型显现为覆盖在患者的解剖结构上。

在一些实施例中，增强现实导航系统包括运动传感器(例如，惯性运动单元(IMU))，所述运动传感器连接到头戴式显示器以用于基于头戴式显示器的经测量运动输出运动信号，且其中所述指令使处理器来：通过处理器基于由运动传感器检测到的运动更新经确定实物特征在检测器输入信号中的相对位置和定向；和通过处理器基于经更新相对位置和定向更新外科手术工具增强图形。

在一些实施例中，所述指令使处理器来：通过处理器接收用户输入轨迹选择信号，所述用户输入轨迹选择信号从一组一个或多个经规划轨迹(例如，一个或多个手术前或手术中规划的轨迹)中选择轨迹(例如，其中用户输入轨迹选择信号对应于由用户作出的示意动作或声音或机器人外科手术系统的机器人臂和/或末端执行器的位置和/或定向)；通过处理器至少部分地基于用户输入轨迹选择信号确定经选择轨迹；和通过处理器将机器人外科手术系统的机器人臂和/或末端执行器自动移动到与经选择轨迹配准。

在一些实施例中，所述指令使处理器来：通过处理器沿着经选择轨迹(例如，朝向患者的解剖结构)自动移动机器人外科手术系统的机器人臂和/或末端执行器。

在一些实施例中，所述指令使处理器来：通过处理器限定和/或更新包括经选择轨迹的触觉对象；通过处理器约束机器人臂和/或末端执行器的运动，使得外科手术工具被插入或附接到机器人臂和/或末端执行器的至少一部分的运动被约束在触觉对象内。

在一些实施例中，至少一个检测器包括至少40度最小视野(例如，如以对角线测量)的检测器。在一些实施例中，显示屏具有至少1280x 720像素的分辨率。

在一些实施例中，增强现实导航系统包括用于进行外科手术规划选择(例如，轨迹和/或限定轨迹的位置和/或定向)的指针工具，其中所述指针工具被配置成由至少一个检测器检测。

在一些实施例中，所述指令使处理器来基于医学图像数据(例如，X射线数据、CT数据、MRI数据、荧光检查数据)使患者的解剖结构与机器人外科手术系统、增强现实导航系统且任选地，患者的解剖模型配准。

在一些实施例中，至少一个检测器包括摄像机且所述指令使处理器来：通过处理器基于检测器输入信号生成视频信号；和通过处理器输出视频信号以供显示在以下各项中的至少一个上：(i)监控器和(ii)第二头戴式显示器，其包括至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形(例如，半不透明图像)，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上。

在一些实施例中，系统包括连接到头戴式显示器的一个或多个基准标记。在一些实施例中，所述指令使处理器来：通过处理器接收连接到头戴式显示器的一个或多个基准标记的相对位置和定向，其中所述一个或多个基准标记由次要检测器(例如，并未物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测；和基于由次要检测器检测到的一个或多个基准标记修改(例如，旋转、缩放和平移中的至少一个)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)外科手术工具的轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示。

在一些实施例中，所述指令使处理器来：通过处理器接收由次要检测器(例如，并未物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测到的一个或多个实物特征的相对位置和定向；通过处理器基于由次要检测器检测到的一个或多个实物特征修改(例如，旋转、缩放和平移中的至少一个)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)外科手术工具的轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示；通过处理器至少部分地基于经修改(i)、(ii)、(iii)和(iv)中的至少一个呈现和/或更新经更新增强图形；通过处理器将经更新增强图形显示在显示屏上。

在一些实施例中，外科手术包括脊柱外科手术、矫形外科手术、矫形损伤外科手术和神经外科手术中的至少一个。在一些实施例中，外科手术包括微创外科手术。

在一个方面中，本发明涉及一种用于与机器人外科手术系统一起使用的增强现实导航系统，所述系统包括：头戴式显示器，其包括至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形(例如，半不透明图像)(例如，导航增强图形)，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上；用于识别实物特征的至少一个检测器，所述至少一个检测器连接到头戴式显示器[例如，其中所述至少一个检测器包括光学相机(例如，摄像机)、EMF检测器、LiDAR检测器、声学检测器和RF检测器中的至少一个][例如，其中所述实物特征包括基准和/或经识别患者解剖结构(例如，其中所述实物特征是连接到患者、外科手术工具和机器人外科手术系统(例如，机器人臂、机器人臂的一部分和/或机器人臂的末端执行器)中的至少一个的基准)]；和计算机子系统，其被配置成在外科手术期间生成和/或存取外科手术工具的至少一部分和/或外科手术工具的轨迹的表示，基于一个或多个实物特征在从至少一个检测器接收的检测器输入信号中的相对位置和/或定向修改所述表示的至少一部分，和基于经修改表示将外科手术工具增强图形显示在显示屏上，其中所述外科手术工具被插入或连接到机器人外科手术系统(例如，其中外科手术工具的部分从用户的自然视野隐藏，例如，在患者内)。

在一些实施例中，计算机子系统被配置成呈现多个外科手术工具轨迹(例如，经规划外科手术工具轨迹)中的每一个的外科手术工具增强图形，和将多个外科手术工具增强图形显示在显示屏上，使得外科手术工具增强图形显现为覆盖在患者的解剖结构上且轨迹增强图形中的每一个指示在外科手术期间可遵循的物理轨迹。

在一些实施例中，计算机子系统被配置成基于根据经检测输入信号确定的一个或多个相对位置和/或定向修改(例如，通过旋转、缩放和平移中的至少一个)患者的解剖模型(例如，3D模型)，由此形成经更新解剖模型(例如，与患者的解剖结构配准)，且计算机子系统被配置成将对应于经更新解剖模型的解剖模型增强图形显示在显示屏上，使得经更新解剖模型显现为覆盖在患者的解剖结构上。

在一些实施例中，增强现实导航系统包括运动传感器(例如，惯性运动单元(IMU))，所述运动传感器连接到头戴式显示器以用于基于头戴式显示器的经测量运动输出运动信号，其中计算机子系统被配置成基于由运动传感器检测到的运动更新外科手术工具增强图形。

在一些实施例中，计算机子系统被配置成至少部分地基于用户输入轨迹选择信号确定经选择轨迹，所述用户输入轨迹选择信号从一组一个或多个经规划轨迹(例如，一个或多个手术前或手术中规划的轨迹)选择经选择轨迹(例如，其中用户输入轨迹选择信号对应于由用户做出的示意动作或声音或机器人外科手术系统的机器人臂和/或末端执行器的位置和/或定向)，且将机器人外科手术系统的机器人臂和/或末端执行器自动移动到与经选择轨迹配准。

在一些实施例中，计算机子系统被配置成沿着轨迹(例如，朝向患者的解剖结构)自动移动机器人外科手术系统的机器人臂和/或末端执行器。

在一些实施例中，计算机子系统被配置成限定触觉对象，所述触觉对象包括机器人臂和/或末端执行器的轨迹和约束运动，使得外科手术工具附接到机器人臂和/或末端执行器的至少一部分的运动被约束在触觉对象内。

在一些实施例中，至少一个检测器包括至少40度最小视野(例如，如以对角线测量)的检测器。在一些实施例中，显示屏具有至少1280x 720像素的分辨率。在一些实施例中，增强现实导航系统包括用于进行外科手术规划选择的指针工具，其中所述指针工具被配置成由至少一个检测器检测。

在一些实施例中，计算机子系统被配置成基于医学图像数据(例如，X射线数据、CT数据、MRI数据、荧光检查数据)使患者的解剖结构与机器人外科手术系统、增强现实导航系统且任选地，患者的解剖模型配准。

在一些实施例中，计算机子系统被配置成基于检测器输入信号生成视频信号且输出视频信号以供显示在以下各项中的至少一个上：(i)监控器和(ii)第二头戴式显示器，所述第二头戴式显示器包括至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形(例如，半不透明图像)，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上。

在一些实施例中，系统包括连接到头戴式显示器的一个或多个基准标记。在一些实施例中，计算机子系统被配置成接收连接到头戴式显示器的一个或多个基准标记的由次要检测器(例如，并非物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测到的相对位置和定向和基于由次要检测器检测到的一个或多个基准标记修改(例如，旋转、缩放和平移中的至少一个)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)外科手术工具的轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示。

在一些实施例中，计算机子系统被配置成接收由次要检测器(例如，并非物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测到的一个或多个实物特征的相对位置和定向和基于由次要检测器检测到的一个或多个实物特征修改(例如，旋转、缩放和平移中的至少一个)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示，且计算机子系统被配置成至少部分地基于经修改(i)、(ii)、(iii)和(iv)中的至少一个将经更新增强图形显示在显示屏上。

在一些实施例中，外科手术包括脊柱外科手术、矫形外科手术、矫形损伤外科手术和神经外科手术中的至少一个。在一些实施例中，外科手术包括微创外科手术。

在一个方面中，本发明涉及一种使用具有机器人外科手术系统的增强现实导航系统的方法，所述方法包括：提供和/或存取增强现实导航系统，其中所述增强现实导航系统包括：头戴式显示器，其包括至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形(例如，半不透明图像)(例如，导航增强图形)，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上；任选地，运动传感器(例如，惯性运动单元(IMU))，所述运动传感器连接到头戴式显示器以用于基于头戴式显示器的经测量运动输出运动信号；和用于识别实物特征的至少一个检测器，所述至少一个检测器连接到头戴式显示器[例如，其中所述至少一个检测器包括光学相机(例如，摄像机)、EMF检测器、LiDAR检测器、声学检测器和RF检测器中的至少一个][例如，其中实物特征包括基准和/或经识别患者解剖结构(例如，其中所述实物特征是连接到患者、外科手术工具和机器人外科手术系统(例如，机器人臂、机器人臂的一部分和/或机器人臂的末端执行器)中的至少一个的基准)]；从至少一个检测器接收(例如，通过计算机子系统的处理器)检测器输入信号，其中所述检测器输入信号对应于至少一个检测器的视野且所述视野包括在外科手术期间患者的解剖结构的至少一部分；确定(例如，通过计算机子系统的处理器)一个或多个实物特征中的每一个在检测器输入信号中的相对位置和/或定向；生成和/或存取(例如，通过计算机子系统的处理器)外科手术工具的至少一部分和/或外科手术工具的轨迹的表示，其中所述外科手术工具被插入或连接到机器人外科手术系统(例如，其中外科手术工具的部分从用户的自然视野隐藏，例如，在患者内)；基于一个或多个实物特征的相对位置和定向修改(例如，旋转、缩放和平移中的至少一个)(例如，通过计算机子系统的处理器)所述表示的至少一部分，由此形成经更新表示；基于经更新表示呈现(例如，通过计算机子系统的处理器)外科手术工具增强图形；和将外科手术工具增强图形显示(例如，通过计算机子系统的处理器)在显示屏上(例如，经由头戴式显示器的至少部分透明的显示屏显示叠加在用户的自然视野的至少一部分上的外科手术工具增强图形)。

在一些实施例中，所述方法包括：呈现(例如，通过计算机子系统的处理器)多个外科手术工具轨迹(例如，经规划外科手术工具轨迹)中的每一个的外科手术工具增强图形；和将多个外科手术工具增强图形显示(例如，通过计算机子系统的处理器)在显示屏上，使得外科手术工具增强图形显现为覆盖在患者的解剖结构上且轨迹增强图形中的每一个指示在外科手术期间可遵循的物理轨迹。

在一些实施例中，所述方法包括：确定(例如，通过计算机子系统的处理器)来自经检测输入信号的至少一个实物特征中的每一个的相对位置和/或定向；基于根据经检测输入信号确定的相对位置和/或定向修改(例如，通过旋转、缩放和平移中的至少一个)(例如，通过计算机子系统的处理器)患者的解剖模型(例如，3D模型)，由此形成经更新解剖模型(例如，与患者的解剖结构配准)；至少部分地基于经更新解剖模型呈现(例如，通过计算机子系统的处理器)解剖模型增强图形；和将解剖模型增强图形显示(例如，通过计算机子系统的处理器)在显示屏上，使得经更新解剖模型显现为覆盖在患者的解剖结构上。

在一些实施例中，所述方法包括：基于由运动传感器检测到的运动更新(例如，通过计算机子系统的处理器)经确定实物特征在检测器输入信号中的相对位置和定向；和基于经更新相对位置和定向更新(例如，通过计算机子系统的处理器)外科手术工具增强图形。

在一些实施例中，所述方法包括：接收(例如，通过计算机子系统的处理器)用户输入轨迹选择信号，所述用户输入轨迹选择信号从一组一个或多个经规划轨迹(例如，一个或多个手术前或手术中规划的轨迹)选择轨迹(例如，其中所述用户输入轨迹选择信号对应于由用户做出的示意动作或声音或机器人外科手术系统的机器人臂和/或末端执行器的位置和/或定向)；至少部分地基于用户输入轨迹选择信号确定(例如，通过计算机子系统的处理器)经选择轨迹；和将机器人外科手术系统的机器人臂和/或末端执行器自动移动(例如，通过计算机子系统的处理器)到与经选择轨迹配准。

在一些实施例中，所述方法包括：沿着经选择轨迹(例如，朝向患者的解剖结构)自动移动(例如，通过计算机子系统的处理器)机器人外科手术系统的机器人臂和/或末端执行器。在一些实施例中，所述方法包括：限定和/或更新(例如，通过计算机子系统的处理器)包括经选择轨迹的触觉对象；和约束机器人臂和/或末端执行器的运动，使得外科手术工具被插入或附接到机器人臂和/或末端执行器的至少一部分被约束在触觉对象内。

在一些实施例中，至少一个检测器包括至少40度最小视野(例如，如以对角线测量)的检测器。在一些实施例中，显示屏具有至少1280x 720像素的分辨率。

在一些实施例中，所述方法包括：基于医学图像数据(例如，X射线数据、CT数据、MRI数据、荧光检查数据)使患者的解剖结构与机器人外科手术系统、增强现实导航系统且任选地，患者的解剖模型配准。

在一些实施例中，至少一个检测器包括摄像机且所述方法包括：基于检测器输入信号生成(例如，通过计算机子系统的处理器)视频信号；和输出(例如，通过计算机子系统的处理器)视频信号以供显示在以下各项中的至少一个上：(i)监控器，和(ii)第二头戴式显示器，所述第二头戴式显示器包括至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形(例如，半不透明图像)，所述增强图形对于用户显现为叠加在用户的自然视野的至少一部分上。

在一些实施例中，所述系统包括连接到头戴式显示器的一个或多个基准标记且所述方法包括：接收(例如，通过计算机子系统的处理器)连接到头戴式显示器的一个或多个基准标记的相对位置和定向，其中所述一个或多个基准标记由次要检测器(例如，并非物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测；和基于由次要检测器检测到的一个或多个基准标记修改(例如，旋转、缩放和平移中的至少一个)(例如，通过计算机子系统的处理器)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)外科手术工具的轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示。

在一些实施例中，所述方法包括：接收(例如，通过计算机子系统的处理器)由次要检测器(例如，并非物理连接到头戴式显示器)(例如，EMF检测器、RF检测器、声学检测器、LiDAR检测器、光学检测器)检测到的一个或多个实物特征的相对位置和定向；基于由次要检测器检测到的一个或多个实物特征修改(例如，旋转、缩放和平移中的至少一个)(例如，通过计算机子系统的处理器)以下各项中的至少一个：(i)解剖模型，(ii)外科手术植入物的表示，(iii)外科手术工具的轨迹的表示，和(iv)外科手术工具从自然视野隐藏的至少一部分的表示；至少部分地基于经修改(i)、(ii)、(iii)和(iv)中的至少一个呈现和/或更新(例如，通过计算机子系统的处理器)经更新增强图形；和将经更新增强图形显示(例如，通过计算机子系统的处理器)显示在显示屏上。

在一些实施例中，外科手术包括脊柱外科手术、矫形外科手术、矫形损伤外科手术和神经外科手术中的至少一个。在一些实施例中，外科手术包括微创外科手术。

定义

为了使本公开更容易理解，下文定义本文中所使用的某些术语。可在整个说明书中阐述以下术语和其它术语的额外定义。

在本申请中，除非另外陈述，否则“或”的使用意味着“和/或”。如本申请中所使用，术语“包括”和所述术语的变化，例如“包括(comprising)”和“包括(comprises)”)并不意欲排除其它添加物、组件、整数或步骤。如本申请中所使用，术语“约”和“大约”用作等效物。在存在或不存在约/大约的情况下，用于本申请中的任何数值皆意味着涵盖相关领域中普通技术人员所了解的任何正常波动。在某些实施例中，术语“大约”或“约”指代在经陈述参考值的任一方向上(大于或小于)落入25％、20％、19％、18％、17％、16％、15％、14％、13％、12％、11％、10％、9％、8％、7％、6％、5％、4％、3％、2％、1％或更小内的值的范围，除非另外陈述或从情境另外显而易见(除此类数字将超出可能值的100％外)。

以下描述大体上使用笛卡尔坐标系来描述本文中所描述的系统的各种元件的位置、定向和行进方向以及关于本文中所描述的方法。然而，应理解，具体坐标(例如，“x、y、z”)和基于具体坐标的相关公约(例如，“正x方向”、“x、y或z轴”、“xy、xz或yz平面”等)出于方便和清晰目的呈现，且如由所属领域的技术人员所理解，可使用其它坐标系(例如，圆柱形、球形)且被认为是在权利要求书的范围内。

导航信息：如本文中所使用，术语“导航信息”意味着可在外科手术期间用于导航的信息。在某些实施例中，导航包含导航一个或多个外科手术工具和/或植入物(或其它外科手术设备)。外科手术工具可附接到机器人外科手术系统。导航信息包含但不限于外科手术工具和/或设备(例如，植入物)和/或外科手术设备(例如，外科手术台)的外科手术轨迹、位置和/或定向，患者解剖结构和/或其模型、医学图像数据以及机器人外科手术系统的位置和/或定向中的一个或多个。如本文中所使用，其中增强现实导航系统被描述为向外科医生显示导航信息，应理解，也可显示(例如，以类似方式)不与导航直接相关但大体上与外科手术相关的其它信息。举例来说，关于患者的生命或状况的患者健康信息(例如，患者病史)或与外科手术相关的状态信息(例如，进展、指令或其它信息)可被显示(例如，在呈现于增强现实导航系统的显示屏上的虚拟显示器上)。在适当时，导航信息可任选地显现为覆盖在患者的解剖结构上。

增强图形：如本文中所使用，术语“增强图形”指代由处理器呈现且显示在增强现实导航系统的显示屏上的图形，使得图形在被通过显示屏观看时显现为叠加在外科医生的自然视野上。在某些实施例中，增强图形还可呈现以供显示在远程监控器上以允许第三方观察者观察外科医生正看到什么东西(例如，安装在手术室的壁上的东西)。增强图形可为显现在自然视野中的独立图形(例如，作为漂浮在外科医生的视野中的虚拟显示器)。增强图形在自然视野中可显现为覆盖在一个或多个对象(例如，患者解剖结构)上，使得增强图形与由增强图形表示的物理对象(例如，患者解剖结构的部分)重合(例如，其中物理对象或其部分否则不会被外科医生看见)。在某些实施例中，增强图形可表现为邻近于其表示的物理对象(例如，具有共同定向但通过空间平移偏移)搁置的3D对象。在一些实施例中，增强图形包括若干图形以供按按时间顺序显示，使得其在显示屏上显现为视频，从而增强外科医生的自然视野。举例来说，因为所述增强图形将会出现覆盖在患者的身体解剖结构上，所以外科医生可观看手术的一部分。

医学图像数据：如本文中所使用，医学图像数据指代表示患者的至少一部分的图像数据。医学图像数据可使用任何合适的技术生成，所述任何合适的技术包含但不限于：X射线技术、射线照相技术(荧光检查技术(例如，使用O形臂或C形臂生成))、断层技术(例如，X射线计算机断层扫描、正电子发射断层扫描(PET)或磁共振成像(MRI))、超声技术或弹性成像技术。

指针工具：如本文中所使用，术语“指针工具”指代用于指示所要位置和/或定向的工具。指针工具可被配置成插入机器人外科手术系统，例如，插入机器人外科手术系统的末端执行器或附接到机器人外科手术系统的工具导引件。指针工具可为仅仅用于指向的专门配置的仪器。外科手术工具可被用作指针工具。举例来说，钻头、钻探导引件、工具导引件、锥子或类似外科手术工具可被用作指针工具。指针工具可具有附接到工具的一个或多个基准(例如，足以确定指针工具的位置和定向(例如，通过三角测量))。

实物特征：如本文中所使用，术语“实物特征”指代可由检测器检测到的身体对象或其部分，使得可确定关于对象的空间信息。空间信息包括位置和/或定向。实物特征可为使用一个或多个图像辨识技术检测到的经识别患者解剖结构(例如，参考解剖结构数据库(例如，患者解剖结构的图像的数据库)识别)。实物特征可为任何合适的基准。基准可附接到例如外科手术设备(例如，手术台)、患者、外科手术工具、植入物、机器人外科手术系统或增强现实导航系统(例如，头戴式显示器上)。基准可包括多个标记以帮助在导航(例如，跟踪)期间定向环境中的基准。举例来说，在某些实施例中，基准包括附接到可附接到对象的刚性容纳设备的多个空间上分离的标记(例如，3个标记或4个标记)，其中所述标记中的每一个被配置成由安置在头戴式显示器上的检测器检测(例如，针对EMF检测器发射或更改电磁场或针对光学检测器具有某一反射性)。实物特征用于确定对象在外科手术环境中的位置和定向。用于使用本文中所公开的系统作出这种确定的技术的实例是三角测量，然而，对于患者配准领域的技术人员将显而易见的是可单独地或组合地使用多种技术中的任一种，例如表面匹配或其它类似相关性技术。

轨迹：如本文中所使用，术语“轨迹”指代所要和/或意图遵循的路径。可对轨迹进行建模且可将表示轨迹的图形显示在增强现实导航系统的显示屏上。轨迹可为线性轨迹(例如，其中沿着轨迹的所有点落到直线上)或非线性轨迹。由处理器发送(例如，发送到机器人外科手术系统)或存储在计算机可读媒体上(例如，用于由处理器操控)的轨迹可由足以限定轨迹的任何数据表示。用于限定轨迹的数据的非限制性实例包含空间中的单个坐标和定向(例如，向量)、多个坐标和函数关系(例如，包含x、y和z变量)。在某些实施例中，可使用机器人外科手术系统(例如，自动地)或由外科医生手动地遵循路径。

机器人外科手术系统：如本文中所使用，术语“机器人外科手术系统”指代包括被配置成帮助外科手术的机器人臂的系统。机器人臂可通过容纳和/或操控(例如，导引和/或移动)一个或多个外科手术工具来帮助外科手术。在某些实施例中，机器人外科手术系统包括主动的、不可反向驱动的机器人臂。在某些实施例中，机器人外科手术系统包括被动的、可反向驱动的机器人臂。在某些实施例中，机器人外科手术系统被配置成由外科医生直接操控(例如，通过抓握和操纵)。在某些实施例中，机器人被配置成由外科医生远程操控(例如，类似于主/从系统)。在某些实施例中，机器人外科手术系统的机器人臂被配置成通过防止外科医生主动地操纵附接到位于经限定触觉对象(即，触觉体积)外部的机器人臂的外科手术工具来帮助外科手术。在某些实施例中，机器人外科手术系统的机器人臂被配置成在外科医生输入时自动移动到轨迹上和/或沿着轨迹自动移动，所述轨迹例如使用与机器人外科手术系统通信的增强现实导航系统在手术前或手术中规划的轨迹。在某些实施例中，机器人外科手术系统和增强现实导航系统具有共同计算机子系统。

附图说明

本文中出于说明而非限制的目的呈现图式。本发明的前述和其它目的、方面、特征和优点将变得更加明显，且可通过结合附图参考以下说明书被更好地理解，在附图中：

图1说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图2说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图3说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图4说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图5说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图6说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图7说明可佩戴在用户头上且根据本发明的一些实施例操作的头戴式显示器设备；

图8说明根据本发明的一些说明性实施例的可由包含头戴式显示器的增强现实导航系统执行以通过头戴式显示器的显示屏显示虚拟显示面板的操作和方法；

图9是根据本发明的说明性实施例的联接到增强现实导航系统中的头戴式显示器的计算机子系统的电子组件的框图；

图10是根据本发明的说明性实施例的增强现实导航系统的组件的框图，所述增强现实导航系统跟踪设备(外科手术工具、外科医生的头戴式显示器和患者的解剖结构的部分)的位置且根据显示在头戴式显示器上的患者数据生成三维(3D)模型以呈现为叠加在患者身体上的视觉上对准的位置处；

图11是根据本发明的说明性实施例的增强现实外科手术系统的电子组件和模块的另一框图；

图12是根据本发明的说明性实施例的一种用于使用增强现实导航系统以显示外科手术工具和/或其轨迹的图形表示的示范性方法的框图；

图13是根据本发明的说明性实施例的一种用于使用具有固定十字准线的增强现实导航系统的示范性方法的框图；

图14是根据本发明的说明性实施例的一种用于使用具有指针工具的增强现实导航系统的示范性方法的框图；

图15说明根据本发明的说明性实施例的在外科手术期间可显示在增强现实导航系统上的导航信息；

图16示意性地说明根据本发明的说明性实施例的如显示在增强现实导航系统上的患者解剖结构和使用连接到机器人外科手术系统的外科手术工具沿着预规划或手术中规划的轨迹插入的植入物的模型的部分，所述部分否则对佩戴者不可见；

图17是根据本发明的说明性实施例的供用于本文中所描述的方法和系统中的实例网络环境的框图；且

图18是供用于本发明的说明性实施例中的实例计算装置和实例移动计算装置的框图。

具体实施方式

可设想要求保护的发明的系统、装置、方法和过程包括使用来自本文中所描述的实施例的信息开发的变型和改编。相关领域的技术人员可执行本文中所描述的系统、装置、方法和过程的调适和/或修改。

在整个说明书中，物品、装备和系统被描述为具有、包含或包括具体组件，或其中过程和方法被描述为具有、包含或包括具体步骤，另外，可设想，存在本发明的基本上由所叙述组件组成或由所叙述组件组成的物品、装置和系统，且存在根据本发明的基本上由所叙述处理步骤组成或由所叙述处理步骤组成的过程和方法。

应理解，步骤次序或用于执行某些动作的次序是不重要的，只要本发明保持可操作即可。此外，可同时进行两个或多于两个步骤或动作。

本文中所提及的任何出版物，例如，在背景技术部分中，并不是承认所述出版物作为关于本文中所提出的任何权利要求的现有技术。背景技术部分是出于清楚的目的而存在，且不意味是关于任何权利要求的现有技术的描述。提供标题以方便读者且并不意欲关于所要求保护的主题限制。

增强现实导航系统及其组件

本文中所公开的增强现实导航系统包括头戴式显示器，所述头戴式显示器包括：至少部分透明的显示屏；至少一个检测器，其连接到头戴式显示器(例如，安置在头戴式显示器上)以用于识别实物特征；和计算机子系统。计算机子系统可被配置成在手术期间执行对外科医生有用的各种导航任务，包含例如轨迹规划和执行。运动传感器可任选地被包含以检测佩戴增强现实导航系统的外科医生的头部运动，所述增强现实导航系统提供额外功能和/或性能(例如，选择输入装置或偏移校正)。根据本公开的某些实施例的用于某些外科手术的增强现实导航系统在2016年8月4日公布的第2016-0225192A1号美国专利公开中描述，所述美国专利公开的公开内容在此以全文引用的方式并入本文中。

本公开的实施例涉及一种增强现实外科手术系统，其包含头戴式显示器(HMD)设备，所述头戴式显示器设备可由外科医生、内科医生或其它人员在医疗手术期间佩戴。贯穿本公开，其中增强现实导航系统被描述为由佩戴者、用户或外科医生佩戴或使用，但应理解，帮助、引导或观察外科手术的任何人可按如所描述相同的方式同等地与增强现实导航系统交互。用户不限于与外科手术具有具体关系的任何一位特定个体。HMD可被配置成向佩戴者提供局部化的实时情境感知。HMD包含显示屏，所述显示屏可定位在佩戴者的自然视线和/或周边视野(FOV)内以提供视觉信息，所述显示屏可被组织和显示为单个虚拟显示器或虚拟显示器的集合，佩戴者可使用头部移动、手势、语音命令、眼睛控制和/或本文中所公开的其它操作在虚拟显示器的集合之间导航以进行观看。在某些实施例中，显示屏可被操控进入或离开外科医生的自然视野(例如，通过将屏幕从“在使用中”翻转到“不再使用”位置)。

在某些实施例中，外科医生或其他人可佩戴HMD以查看在患者身体内但视线被皮肤、肌肉、器官、骨骼结构等覆盖的物体的图形表示。在某些实施例中，使用HMD可使得外科医生能够通过观察需要在何处作出切口以暴露身体的目标部分而最小化切口的大小。类似地，当用假体替换骨骼时可使用HMD以使得外科医生能够观察实物特征，所述实物特征有助于在手术期间定向和移动外科手术工具(例如，附接到机器人外科手术系统)和/或假体。HMD可操作以提高佩戴者的医疗手术执行的效率、生产率、吞吐量和/或精确度和/或安全性。此外，HMD可通过减少或消除佩戴者在医疗手术期间参考具有显著角度偏移的远程显示装置的需要来减少精神疲劳。

在某些实施例中，增强现实导航系统具有10分钟以下(例如，5分钟以下)的初始化时间，由此最小化外科手术的延迟和干扰。在某些实施例中，增强现实导航系统可舒适地持续作用最小一小时且高达四小时或更长时间。在某些实施例中，增强现实导航系统与外科医生的放大镜兼容。在某些实施例中，增强现实导航系统与个人验光眼镜兼容。在某些实施例中，增强现实导航系统提供如在对角线上测量的40度(例如，50度、60度、70度、90度或更大)最小视野。在某些实施例中，增强现实导航系统包括头戴式显示器和计算机子系统，所述头戴式显示器和计算机子系统联接在一起以提供从显示屏移动到经更新导航信息由显示屏接收为止的时间开始的小于50毫秒延时(例如，小于20毫秒延时)。在某些实施例中，显示屏可具有30帧/秒或更大(例如，60帧/秒或120帧/秒)的帧率。

本文中所公开的增强现实导航系统包括头戴式显示器，所述头戴式显示器包括至少部分透明的显示屏。包括至少部分透明的显示屏的头戴式显示器可具有类似于眼镜的形状因数。举例来说，其可为双眼或单眼的(即，显示屏可用于增强一个或两个眼睛的视觉)。在某些实施例中，头戴式显示器是双眼头戴式显示器。双眼布置可由当被佩戴时至少部分地覆盖两只眼睛的一个连续显示屏制成，或其可为两个分开的显示屏(即，每只眼睛一个屏幕)。可使用电枢(如在一对典型眼镜中)或某一其它安装装置(例如，条带、带或大小和形状被设定成佩戴在人的头上的固定件)将头戴式显示器固持在佩戴者的头上。被配置成显示增强图形的至少部分透明的显示屏可为任何合适的可商购的显示屏，例如，在用于引航或体育运动的平视显示器中使用的那些显示屏。显示屏是至少部分透明的，使得佩戴者可通过显示屏看见其自然视野的至少一部分，同时还可看见显示在屏幕上的任何增强图形。在某些实施例中，显示屏是高分辨率显示屏(例如，具有至少1280x 720的分辨率)。

本文中所公开的增强现实导航子系统包括至少一个检测器。检测器是适合用于确定关于实物特征在检测器的视野中的空间信息的检测器。检测器可为光学相机(例如，摄像机)、EMF检测器、LiDAR检测器、声学检测器、RF检测器或类似能量传感器。检测器从检测器的视野中的环境接收信息且产生被发送到计算子系统的检测器输入信号。在某些实施例中，检测器被安置(例如，附接)到头戴式显示器)。在某些实施例中，检测器被连接(例如，以电气方式)到头戴式显示器但在空间上远离头戴式显示器。在某些实施例中，在外科手术期间基于连接到头戴式显示器的检测器的类型选择和使用适当类型的基准。举例来说，输出EMF信号的基准由安装到头戴式显示器的EMF检测器检测。一个或多个基准可安置在头戴式显示器上以用于在外科手术环境中跟踪和/或定向头戴式显示器(例如，如由辅助检测器或第二增强现实导航系统检测)。在某些实施例中，检测器是光学相机且计算机子系统对检测器输入信号执行图像辨识以便确定一个或多个实物特征。不同类型的检测器可结合单个增强现实导航系统使用。两个相同类型的检测器可安置在头戴式显示器上且在头戴式显示器上空间分离(例如，以便对实物特征进行三角测量)。在某些实施例中，检测器是可移除的，使得其可由不同类型的检测器替换。在某些实施例中，与计算机子系统联接的检测器使得患者配准能够针对每个位置自由度精确到2mm(例如，1.5mm内或1mm)RMS内。在某些实施例中，一个或多个检测器(例如，安置在头戴式显示器上)被配置成贯穿外科手术环境中的某一空间体积(例如，大于2英尺半径、4英尺半径、6英尺半径或更大的球形体积的体积)内的一时间段(例如，外科手术)提供精确配准。在某些实施例中，这种体积可进一步由顶点位于头戴式显示器处的圆锥体限定。

在某些实施例中，增强现实导航系统包括运动传感器。运动传感器可随时间跟踪佩戴者的头部运动。此类跟踪可用于例如平滑或甚至移除由佩戴者头部的自然少量移动生成的增强图形的抖动。在某些实施例中，运动传感器还提供一种用于确定佩戴者的头部运动的装置且实现头戴式显示器与计算机子系统的新定向和/或位置以便更新显示在头戴式显示器的显示屏上的增强图形。在某些实施例中，运动传感器被配置成实现增强图形的位置与其基线位置的小于2cm(例如，小于1cm)偏移(即，如由增强现实导航系统与患者的解剖结构的配准确定)，如在开放回路中所测量。在某些实施例中，与增强现实导航系统中的检测器联接的运动传感器实现光学校准(即，闭合回路)的亚毫米偏移/小时。在某些实施例中，运动传感器用于记录用于进行选择的用户输入(例如，点头或摇头)。

在某些实施例中，增强现实导航系统包括麦克风。麦克风可安置在头戴式显示器上。麦克风可用于接收外科医生命令(即，口头命令)以用于控制增强现实导航系统。举例来说，口头命令可充当用于进行选择、修改或更新显示屏的设定或图形或者其它类似任务的用户输入。举例来说，口头命令可用于重新布置显示在头戴式显示器的显示屏上的虚拟显示面板或用于改变显示在虚拟显示器上的导航信息。类似地，经覆盖图形可由口头命令修改(例如，以改变经覆盖图形的亮度、颜色或数据源)。

在一些实施例中，除口头命令或通过运动传感器的运动输入的命令之外或代替所述命令，由外科医生作出的示意动作可用于信号选择或控制增强现实导航系统。举例来说，在某些实施例中，外科医生可作出拨动、点击、重新调整大小或刷新类型的示意动作(例如，类似于与智能电话或其它触碰控制装置一起使用的那些示意动作)以控制增强现实导航系统。此类示意动作可按可由增强现实导航系统的检测器检测到的方式作出。举例来说，可使用图像辨识类型手术检测示意动作(例如，当检测器是光学相机时)。举例来说，外科医生在作出示意动作时可佩戴或固持可由增强现实导航系统检测到的基准，使得基于基准的运动会检测到示意动作。在某些实施例中，替代地或另外，辅助机械输入端(例如，脚踏板)可被用作输入(例如，选择)装置。

本文中所公开的增强现实导航系统包括计算机子系统。计算机子系统除了别的以外处理(例如，呈现)增强图形以供显示在增强现实导航系统的显示屏上。计算机子系统可为远程的。举例来说，计算机子系统可通过具有速断的线缆连接到头戴式显示器。这种线缆还可向头戴式显示器的组件(例如，显示屏)提供电力。在某些实施例中，计算机子系统部分地或完全地安置在头戴式显示器(例如，使用电池功率操作)上。在某些实施例中，计算机子系统被配置成从机器人外科手术系统接收导航输入数据，所述导航输入数据包括导航信息。举例来说，存储在机器人外科手术系统中的轨迹和/或存储在机器人外科手术系统中的坐标(例如，使用机器人外科手术系统记录)。在某些实施例中，计算机子系统可使用来自增强现实导航系统的输出(例如轨迹数据输出)控制机器人外科手术系统。

在某些实施例中，计算机子系统被配置成帮助手术前和/或手术中规划(例如，轨迹规划)。在某些实施例中，计算机子系统被配置成使用指针工具和/或显示在显示屏上的轨迹选择导引增强图形(例如，十字准线)执行轨迹规划。在某些实施例中，计算机子系统包括模型模块，所述模型模块除了别的以外存储、存取和/或更新患者解剖结构的模型(例如，来源于医学图像数据)。在某些实施例中，计算机子系统包括坐标模块，所述坐标模块除了别的以外产生、存储、存取和/或更新用于导航的参考坐标系。这种参考坐标系可在配准方法期间(例如，在外科手术开始时)被限定。坐标模块可用于执行可能会在外科手术期间连续地或周期性地发生的重新配准，其中可使用增强现实导航系统执行所述配准。

在某些实施例中，增强现实导航系统与辅助导航子系统协作地操作。举例来说，外科手术环境中的辅助检测器可用于提供对外科手术环境中的实物特征(除由安置在头戴式显示器上的检测器检测到的那些实物特征之外)的额外检测。以此方式，在某些实施例中，增强现实导航系统与结合机器人手术系统使用的现有导航系统联接以便在外科手术期间进行导航。举例来说，可将由增强现实导航系统执行的配准与由辅助检测器执行的配准进行比较以确定由增强现实导航系统在外科手术的导航期间使用的配准的精确度。计算机子系统可执行重新配准以最小化根据增强现实导航系统与辅助检测器的配准之间的误差。当使用辅助检测器时，例如由于每个检测器检测否则与其它检测器混淆的实物特征而可提高在手术期间的配准精确度和跟踪。在某些实施例中，辅助检测器是安置在第二增强现实导航系统的头戴式显示器上的检测器。辅助检测器当存在时可用于检测安置在头戴式显示器上的一个或多个基准(例如，以帮助配准、抖动校正和/或偏移校正)。

在某些实施例中，协作地和/或结合地(例如，同时)使用两个或多于两个增强现实导航系统。举例来说，两名外科医生可在外科手术期间各自佩戴头戴式显示器。在某些实施例中，来自一个头戴式显示器的导航信息(例如，来自安装到头戴式显示器的检测器的检测器输入数据)可被提供给其它头戴式显示器，例如，以便共享共同配准或提供视频输入反馈以供显示在来自另一头戴式显示器的检测器的一个头戴式显示器的显示屏上。在某些实施例中，除被提供给第二增强现实导航系统之外或代替被提供给第二增强现实导航系统，视频输入反馈被提供给外部监控器(例如，附近墙壁上或远程位置中，例如教室)以用于由(例如，同一外科手术环境中的)其它人观看。在某些实施例中，安置在每个头戴式显示器上的基准帮助共同配准在单个外科手术环境中使用的两个增强现实导航系统。两个或多于两个增强现实导航系统可共享共同计算机子系统(例如，各自通过其自身的线缆连接到共同计算机子系统)。

示范性增强现实导航系统

图1说明根据本公开的一些实施例配置的增强现实导航系统100(也被称为“HMD100”)。参考图1，HMD 100包含连接到显示模块的半透明显示屏110，所述显示模块处理增强图形(例如，视频和其它图像)且将其显示在显示屏110(例如，LCD显示器、显示模块在上面投射图像的反射屏等)上以供用户观看。显示模块可在HMD 100的外壳118内或可容纳于以通信方式连接的计算机子系统内。

在所说明的实施例中，HMD 100安装到束头带120且被定位成使得显示屏110在用户的周边视觉内延伸。外壳118封闭电子组件，所述电子组件将信息显示在显示屏110上且可结合远程但以通信方式连接的计算机设备和/或结合集成于外壳118内的计算机设备操作以感测和解译头部移动，感测和解译由用户的手或其它对象作出的示意动作，和/或感测和解译用户的语音命令。显示屏110可提供单眼透视显示器或一组立体声透视显示器，从而使得用户可观看显示在显示器上的信息，同时仔细查看显示器以观看其它对象。束头带120可包含前灯、相机或可佩戴在用户头上的其它设备。

用户被图示为佩戴眼镜150，所述眼镜150包含从眼镜150的透镜突出的向用户提供放大视图的透镜式(TTL)小型放大镜152。显示屏110从外壳118向下延伸且可由用户定位在用户的视野中或紧邻用户周边视觉内的TTL小型放大镜152。显示屏110可为透视显示装置，从而允许用户看见叠加在通过显示屏110看见的环境上的视频。

当显示屏110被配置成在用户的直接视线中时，TTL小型放大镜152可能不包含在HMD 100中。替代地，显示屏110可被定位成邻近于TTL小型放大镜152，从而使得用户可作出眼睛视线从仔细查看TTL小型放大镜152的微小向上移位以实际上观看显示在显示屏110上的信息。在一些实施例中，显示屏110可并入在一个或两个TTL小型放大镜152内，从而使得用户可仔细查看TTL小型放大镜152以观看叠加在TTL小型放大镜152的FOV内的对象上的图形图像。HMD 100可被配置成可附接到任何类型的眼镜框，包含验光眼镜、护目镜、不含透镜的框、透明罩或防护罩等。

显示屏110可由用户通过双臂摩擦接合键112移动到实现方便的视觉参考的位置，所述双臂摩擦接合键112实现外壳118的位置的可伸缩和上下调节。球窝接头114连接于键112与外壳118之间以实现显示屏110的平面调节。连接于球窝接头114与外壳118之间的枢转接头116允许用户枢转外壳118和经连接显示屏110。显示屏110在不使用时可由此被向上倒装在用户的周边视觉外。

HMD 100可包含运动传感器，例如惯性传感器或者一个或多个其它传感器，例如陀螺仪、加速度计(例如，多轴加速度计)和/或磁力计，所述磁力计输出指示用户头部在佩戴HMD 100时的移动测量值或静态定向的信号。举例来说，运动传感器可输出头部运动信号，所述头部运动信号指示侧转(即，用户头部左转或右转)、俯仰(即，用户抬头或低头)和/或侧倾(即，用户头部左右倾斜)。传感器可在束头带120上间隔开或封闭在外壳118内。

HMD 100可包含背对用户的光学相机(例如，充当检测器或除其它检测器之外)，所述光学相机输出视频和/或其它图像以用于处理和转发到由帮助手术的其它人员佩戴的其它HMD 100、其它显示装置和/或视频服务器以用于存储。举例来说，相机可被配置成当用户已将显示屏110调节成由用户舒适地观看时与用户的视线对准。当多于一个相机连接到HMD100时，来自相机的视频流可被提供给操作函数，所述操作函数估计与由相机观看的对象的距离。操作函数可包含基于在视频流中所观看的对象的角度偏移和相机之间的已知距离对与对象的距离进行的三角测量。

相机(或另一检测器)可连接到示意动作解译模块，所述示意动作解译模块被配置成感测由用户的手或其它对象作出的示意动作，将示意动作辨识为对应于多个经限定命令中的一个，和触发命令的操作。HMD 100可包含连接到语音解译模块的麦克风，所述语音解译模块被配置成将经接收语音命令辨识为对应于多个经限定语音命令中的一个，和触发命令的操作。

束头带120可具有多个附接点，其中惯性传感器、检测器(例如，光学相机、麦克风等)可按可释放方式附接到所述多个附接点。附接点中的一些之间可具有刚性支撑结构以保持经附接惯性传感器、检测器等之间的经限定物理对准。

图2说明根据本公开的一些实施例配置的具有显示屏210和电子组件214(被示出为不含外壳)的另一示范性HMD 200的侧视图。显示屏210从电子组件214向下延伸到用户的视线或紧邻用户的周边视觉内的TTL小型放大镜152。电子组件214经由枢轴212连接到束头带120，从而允许电子组件214和经连接显示屏210被向下倒装到如图2中所示出的展开位置且被向上倒装到用户并不期望观看显示屏210的经存储位置。

图3说明根据本公开的一些实施例配置的另一示范性HMD 300。HMD 300包含显示屏，所述显示屏被图示为在从封闭电子组件的外壳318向下延伸的防护罩310后方。显示屏和/或防护罩310可包含涂层，所述涂层提供可变对比度以增强经显示信息的可视性，同时经受一系列环境亮度。防护罩310可提供可变焦点(屈光度)。防护罩310可被从经存储向上位置倒装到防护性向下位置(如图3中所示出)以覆盖显示屏的外表面，所述外表面面向患者且作用来保护显示屏免于流体和在手术期间出现的其它材料。显示屏可由用户通过双臂摩擦接合键312移动，所述双臂摩擦接合键312实现外壳318的位置的可伸缩和上下调节，以使得用户能够将显示屏定位在提供方便的视觉参考的位置处。球窝接头316连接于键312与外壳118之间以实现显示屏的平面调节。键312通过枢轴接头314连接到束头带120以允许用户上下翻转外壳318和经连接显示屏。显示屏在不使用时可由此被向上倒装在用户的视线或用户的周边视觉外。

图4说明根据本公开的一些实施例配置的另一示范性HMD 400。HMD 400包含显示屏410，所述显示屏410从封闭电子组件的外壳418向下延伸。显示屏410和外壳418连接到球窝接头416，所述球窝接头416实现显示屏410的平面调节。球窝接头416连接到枢轴414，所述枢轴414允许外壳418和经连接显示屏410上下枢转，从而使得显示屏410在不使用时可被向上倒装在用户的视线或用户的周边视觉外。枢轴414连接到滑动臂412，所述滑动臂412连接到束头带120。滑动臂412实现可伸缩调节以允许用户将显示屏410放置在与眼睛相距所要距离的位置。

图5说明图4的HMD 400的正视图，其中外壳418被移除以暴露印刷电路板(PCB)450，所述印刷电路板450操作性地连接安装在上面的电子组件(例如，显示屏、检测器，且任选地麦克风和运动传感器)。电子组件中的一些用于将图像显示在显示屏410上，且可结合集成或远程计算机设备操作以感测和解译头部的移动，感测和解译由用户的手、眼睛或其它对象作出的示意动作，和/或感测和解译用户的语音命令。在一些实施例中，PCB 450相对于垂直线以经限定非零角度倾斜以减少外壳418的轮廓横截面。举例来说，PCB 450可大体上跨外壳418对角地延伸。

图6说明具有可连接到眼镜框以使得用户能够单眼观看的单个显示屏的另一HMD500。图7说明包含可连接到眼镜框的相对侧以实现双眼观看的一对显示屏的另一HMD 502。尽管图6和7中的显示屏被示出为不透明，但其可实际上允许用户透视显示屏，同时观看显示在上面的信息。

图8示出某些增强现实导航系统的某些示范性功能。增强现实导航系统允许外科医生或其它用户看见不同医学信息的一个或多个虚拟显示器(在图8中所示出的实例中的若干虚拟显示器)，而不会把目光从外科手术部位移开且聚焦远处以观看可跨外科手术环境或邻近于患者的别处安装的身体监控器。在一些实施例中，基于外科医生头部的俯仰和用户的对应观看视线而选择性地启动虚拟显示器的三个操作“模式”。可通过在观看角度的三个对应范围内增大HMD750的俯仰角来分开启动三个操作，所述三个对应范围例如低(直接在外科手术空间处)、中、高(水平视线高度)。在某些实施例中，可根据由HMD 750的运动传感器输出的头部运动信号确定外科医生的观看角度。

当确定(例如，由运动传感器)外科医生正向下看操作部位时可触发全屏操作模式，可通过当俯仰低于第一俯仰阈值(例如，约-45°)时确定外科医生正向下看操作部位。第一俯仰阈值可由外科医生基于通过物理用户接口键入的语音命令等限定和/或调节。在全屏操作模式中，使用增强图形通过HMD 750的显示屏752全屏显示视频流中的经限定一个(例如，经由HDMI信道接收的主要视频流)。外科医生的对应偏好设定可保存在存储于计算机子系统的存储器630中的配置文件中，其中外科医生具有标识符，从而使得可在辨识出外科医生时(例如，经由通过计算机设备620的登录过程)自动地检索外科医生的偏好设定。

图9是根据本文中所公开的增强现实导航系统的某些实施例的示范性计算机子系统的电子组件的框图，所述示范性计算机子系统包含用于处理从头戴式显示器输入和输出到头戴式显示器的数据的模块600、计算机处理设备620和外科手术视频服务器650(例如，提供输入数据流)。视频服务器650可经由数据网络640连接到例如患者数据库642、成像设备644和其它电子设备646。HMD 600可对应于例如图1到7的HMD中的任一个。尽管计算机设备620被说明为与HMD 600分离，但本文中所公开的如由计算机设备620执行的操作中的一些或全部可另外或替代地由驻留在HMD 600内的一个或多个处理器执行。类似地，本文中所公开的如由HMD 600执行的操作中的一些可另外或替代地由驻留在计算机设备620内的一个或多个处理器执行。

视频服务器650可在患者数据库642、成像设备644与其它电子设备646和HMD 600之间接收、存储和路由信息。如本文中所使用，视频流可包含可被提供给显示装置以供显示的任何类型的信息，包含但不限于静态图像(例如，数字照片)、静态图像序列和具有以经限定帧率设置的帧的视频。视频流可包括导航信息。成像设备644可包含内窥镜相机、磁共振成像设备、计算机断层扫描设备、三维超声设备、内窥镜设备和/或计算机建模设备，所述计算机建模设备可基于组合来自成像设备的图像而生成多维(例如，3D)模型。患者数据库642能够可检索地存储关于患者的病史的信息，且可存储来自经由成像设备644进行的早期手术的患者图像。其它设备646可提供关于患者的实时监控的信息，包含例如血流动力学、呼吸道和电生理学信号。

计算机设备620使HMD 600与视频服务器650操作性地接口连接。计算机设备620包含视频捕获卡622，所述视频捕获卡622可同时从视频服务器650和/或直接从成像设备644、患者数据库642和/或其它设备646接收多个(N)视频流和信息(例如，文本描述、音频信号等)。计算机设备620可使用任何适当的通信媒体经由无线和/或有线网络接口628与视频服务器650、HMD 600和系统的其它设备通信，所述无线和/或有线网络接口628包含但不限于无线空中接口(例如，3GPP长期演进(LTE)、WLAN(IEEE 802.11)、WiMax等)、缆线、光纤电缆或其任何组合。在图9的实例实施例中，视频捕获卡622经由4个HDMI接口同时接收高达4个视频流。在一些实施例中，HMD 600经由HDMI电缆、连接到运动传感器604和/或示意动作传感器602的USB或RS 422电缆和连接到相机610的USB 3.0或火线电缆以通信方式连接到计算机设备620。示意动作传感器602可为运动传感器604、检测器610或用于检测和处理示意动作的不同传感器。麦克风612可连接到计算机设备620。视频和/或传感器信号可替代地通过例如网络接口628等无线空中接口在HMD 600与计算机设备620之间通信。

HMD 600包含显示模块606，所述显示模块606处理视频和其它图像且将所述视频和其它图像显示在显示屏608上以供用户观看。由视频捕获卡622接收的视频流由图形处理单元(GPU)638处理，由显示器驱动器614调节，且被提供给显示模块606以供显示在显示屏608上。符号生成器624可基于从视频服务器650接收(例如，经由患者数据库642)的信息向被提供给HMD 600的视频流增加图形标记和/或文本信息。

显示器驱动器614可驻留在计算机设备620或HMD 600中。在一些实施例中，显示器驱动器614经由HDMI接口从GPU 638接收视频，且将数字视频信号转换成模拟视频信号，所述模拟视频信号作为低电压差分信号(LVDS)输出到显示模块606。显示器驱动器614还可经由LED驱动信号向显示模块606提供功率和/或其它信号。

HMD 600可包含背对佩戴者的检测器(例如，光学相机)610或多个检测器610，所述检测器610经由无线和/或有线网络接口628将视频和/或其它图像输出到GPU 638以用于处理和转发到视频服务器650，以供存储和可能地进一步转发到由帮助手术的其它人员佩戴的其它HMD 600，所述无线和/或有线网络接口628在图9中说明为HDMI电缆。举例来说，检测器610可被配置成当佩戴者已将显示屏608调节成被佩戴者舒适地观看时与佩戴者的视线对准。在某些实施例中，可通过计算机设备620处理来自检测器610的视频信号且将所述视频信号提供给视频服务器650以用于记录佩戴者在手术期间观看到什么和/或可作为实时视频流提供给由帮助手术的人员佩戴的其它HMD 600，从而使得所述人员可观察用户正看到什么。来自检测器610的视频信号可通过符号生成器624扩充有一个或多个指定符号，使得显示在(由另一佩戴者佩戴的HMD的)显示屏上的增强图形包括视频信号和一个或多个符号两者。包括一个或多个符号的增强图形可例如将第一佩戴者识别为视频流的来源和/或被佩戴者加入视频流以识别所观察的特征，例如患者的解剖结构。

HMD 600可包含运动传感器604和/或示意动作传感器602。运动传感器604可为惯性运动单元(IMU)、陀螺仪、加速度计(例如，多轴加速度计)和/或倾斜传感器，所述倾斜传感器输出指示用户在佩戴HMD 600时的头部移动的测量值的头部运动信号。运动传感器604可由计算机设备620供电且可经由通信接口输出头部运动信号，所述通信接口例如RS-422串行数字接口。举例来说，运动传感器604可输出指示侧转移动(即，用户头部左转或右转)和/或指示俯仰移动(即，用户抬头或低头)的头部运动信号。

运动传感器604可为无源定向传感器。由运动传感器输出的头部运动信号可由HMD600和/或计算机设备620处理以补偿运动传感器604引入的偏移误差。在一些实施例中，头部运动信号的一个方向性参考(例如，侧转)分量响应于头部运动信号的另一参考分量(例如，俯仰)在经限定值的阈值偏移内而被朝向零校正。可基于在用户正以经限定俯仰角(例如，俯仰角在经限定值的阈值范围内)向下看时监控运动信号的侧转值确定头部运动信号中的侧转偏移误差以使用户的眼睛与对象对准(例如，当外科医生反复向下看以观看患者的外科手术部位时)。在一些实施例中，响应于头部运动信号的俯仰分量指示外科医生向下看指示外科医生在视觉上全神贯注于外科手术部位的至少阈值时间，计算机设备620假设HMD 600沿着侧转轴线稳定且基于在经限定时间间隔内测量的侧转分量的改变计算侧转偏移误差。接着补偿头部运动信号以去除经确定侧转偏移误差。在一些实施例中，计算机设备620在静态图像显示在显示屏上时测量头部运动信号的侧转分量的偏移，从而假设外科医生的头部沿着侧转轴线稳定，且接着补偿头部运动信号以去除侧转分量中的经测量偏移。

头部运动信号可由HMD 600和/或计算机设备620处理以识别移动据以参考的一个或多个方向性参考分量的起点。举例来说，可基于在用户以经限定俯仰角向下看的时间期间头部运动信号的侧转分量的平均值(例如，中值或模式)识别开始测量侧转的起点位置以使用户的眼睛与对象(例如，外科医生向下看以观看外科手术部位)对准。

头部运动信号的方向性参考(例如，俯仰或侧转)，其被限定以触发偏移误差补偿和/或被限定为移动测量的参考起点，可基于用户保持HMD 600的基本上恒定定向持续阈值时间(例如，停留时间)而被识别。举例来说，当外科医生在观看患者的外科手术部位持续阈值时间的同时已保持相对恒定的头部位置时，在所述停留时间期间头部运动信号的方向性参考(例如，俯仰或侧转)可用作补偿偏移误差的基础和/或设定为参考起点以供显示虚拟显示面板(例如，如图8中所说明)和/或其它增强图形(例如，显现为覆盖在例如患者解剖结构等物理对象上)。在一些实施例中，头部运动信号可由HMD 600和/或计算机设备620处理以基于由头部运动信号提供的侧转和/或俯仰的伪测量值估计导致随时间累积的侧转偏移和/或俯仰偏移的陀螺仪偏置，预计在外科医生每次向下看同一外科手术部位且使头部稳定以使视线在患者上的同一位置处居中时所述陀螺仪偏置几乎为零。

示意动作传感器602可包含可感测由用户作出的示意动作的任何类型的传感器。在外科手术环境中，使用示意动作传感器602来从外科医生或其它OR人员接收基于示意动作的命令可为有利的，原因是其使得用户无需触碰HMD600或其它装置的非无菌表面。示意动作传感器602可为或包含检测器610，所述检测器610输出信号(例如，RGB-D视频)，所述信号显示用户的手、手指、臂或由用户移动的其它对象沿着用户了解将限定可由外科手术程序(OSP)632和/或系统的另一组件识别的命令的路径的移动检测器610或另一相机可指向用户的眼睛中的一只以识别眼睛的停留时间、眨眼时间和/或眼睛的移动以生成来自用户的命令，从而控制显示在显示屏608上的内容。

示意动作传感器602可替代地或另外包含一个或多个光电运动和/或接近度传感器。在一些实施例中，示意动作传感器602具有一个或多个红外发射器和光电二极管中的一个或多个(例如，所述光电二极管的至少一部分可另外充当用于导航的检测器)。举例来说，邻近对的红外发射器和光电二极管可间隔开且被布置以形成从HMD 600的外壳向外面向的方向性阵列以感测用户的手邻近于阵列的存在和/或感测用户的手跨阵列移动时的移动方向。用户可例如在跨阵列的第一方向上挥手(不触碰外壳)以输入由处理器626处理的OSP632所辨识的第一类型的示意动作，所述第一类型的示意动作通过OSP 632触发第一类型的操作，在跨阵列的围绕与第一方向相反的第二方向上挥手以输入由OSP632辨识的第二类型的示意动作，所述第二类型的示意动作触发OSP 632的第二类型的操作，在跨阵列的围绕垂直于第一方向的第三方向上挥手以输入由OSP 632辨识的第三类型的示意动作，所述第三类型的示意动作触发OSP 632的第三类型的操作等，其中其它移动方向可被识别为由用户提供的其它类型的示意动作以触发OSP 632的其它类型的操作。

在一些实施例中，示意动作传感器602包含超声回波测距换能器，所述超声回波测距换能器感测来自用户手的信号回波反射且将信号输出到处理器626，所述处理器626识别由手的移动形成的示意动作。在一些实施例中，示意动作传感器602包含电容性传感器，所述电容性传感器通过电荷板与用户的手之间的电容联接感测用户手的存在。多个电容性传感器可间隔开以形成示意动作传感器602且被配置成感测用户手相对于电荷板阵列的移动方向(例如，感测板经历到用户手的增加的联接的次序)。感测到的不同移动方向可由OSP632和/或系统的另一组件解译为表示由用户选择用于操作的不同命令。

HMD 600可包含麦克风612，所述麦克风612被配置成从用户接收语音命令。执行OSP 632和/或系统的另一组件的处理器626可被配置成将经接收语音命令辨识为对应于多个经限定语音命令中的一个，且触发对应于经辨识语音命令的命令的操作以控制显示在显示屏上(即，经由增强图形)的信息(例如，导航信息)。

在一些实施例中，来自检测器610的视频信号被显示在HMD 600的显示装置608上，且符号生成器624结合由处理器626处理的OSP 632可操作以显示轨迹选择导引增强图形(例如，标线，如十字准线)，所述轨迹选择导引增强图形可由外科医生定位在视频流的平面内(例如，响应于经由麦克风612辨识到语音命令或响应于经由示意动作传感器602的示意动作)。以此方式，外科医生可将他或她的自然视野定向到外科手术部位，操控轨迹选择导引增强图形以与关注点(例如，在患者的解剖结构中)对准，且触发捕获表示由轨迹选择导引增强图形所指示的所关注(例如，轨迹的)位置和/或定向的数据。举例来说，使用与患者解剖结构配准的增强现实导航系统，可通过定相和/或定位轨迹选择导引增强图形(例如，通过外科医生头部的移动或增强图形的移动)以及提供捕获由轨迹选择导引增强图形所指示的位置和/或定向的用户输入来规划轨迹。轨迹选择导引增强图形在显示屏上的位置可固定或可能够移动。在一些实施例中，指针工具用于确定这种关注点。

图10是增强现实外科手术系统的组件的框图，所述组件包含位置跟踪系统810(例如，安装在头戴式显示器上的一个或多个检测器，和任选地在手术室中间隔开的相机)，所述位置跟踪系统810跟踪患者的解剖结构、外科手术工具800和/或手术设备(例如，植入物或用作外科手术的部分的其它对象)的位置。通常，可跟踪包括能够由检测器(例如，安装在头戴式显示器上)识别的实物特征的任何对象且与根据本文中所公开的实施例的增强现实导航系统一起用于导航。在某些实施例中，计算机子系统820使用来自成像设备830的患者数据以生成二维(2D)或三维(3D)模型。成像设备830可包含但不限于x射线设备、内窥镜相机、磁共振成像设备、计算机断层扫描设备、三维超声设备、内窥镜设备和/或计算机建模设备，所述计算机建模设备可生成患者的目标部位的多维(例如，2D或3D)模型。患者数据可包含来自成像设备830的实时反馈和/或早期所存储数据，且可包含特定患者或更具体地说人类所特定的解剖学数据库。

模型可包含帮助执行患者模型中的实物特征的表示的虚拟位置与(例如，患者身体上的)实物特征的物理位置之间的相关性(例如，配准)的实物特征的表示。计算机子系统820可使用(i)位置跟踪系统810通过检测一个或多个实物特征获得的HMD 100、外科手术部位804和外科手术工具800和/或手术设备802的当前位置，和(ii)容纳于患者模型内的实物特征表示以将患者模型变换成HMD 100的佩戴者的当前透视图。接着可使用增强图形将经变换患者模型中的一些或全部显示在HMD 100的显示屏上例如以向外科医生提供经覆盖增强图形覆盖，所述经覆盖增强图形在外科手术部位804或患者上的其它目标位置上精确地定向和缩放。

计算机子系统820可将表示患者模型、外科手术工具和/或手术设备的增强图形显示在HMD 100的显示屏110上。增强图形可为外科手术工具和/或手术设备的部分，所述增强图形否则在外科手术的至少一部分期间不可由外科医生观看(例如，被例如患者皮肤等患者解剖结构覆盖)。计算机子系统820可另外被配置成动画化经显示患者模式、工具和/或手术设备(例如，以说明相对于外科手术部位804的经限定位置或患者身体上的其它目标位置规划的手术)的移动。HMD 100可通过无线收发器和/或有线网络接口以通信方式连接到计算机子系统820。

计算机子系统820可将来自HMD 100上的检测器(例如，相机)的检测器输入信号(例如，视频流)中的对象的图案与患者模型中的实物特征的图案进行比较以识别对应关系级别，且可响应于识别经比较对象之间的对应关系的阈值级别控制患者模型的变换。举例来说，由安装有HMD的相机在患者的外科手术期间捕获的实时视频可由计算机子系统820处理且与由一个或多个其它来源捕获的视频进行比较，所述一个或多个其它来源例如成像设备830的辅助检测器。图案匹配可被约束为由外科医生限定为与当前手术相关的对象或一组对象的特性。

计算机子系统820可基于图案匹配(例如，与或不与来自辅助成像设备的检测器输入信号进行比较)使用增强图形控制患者模型的变换以供显示在显示屏110上。计算机子系统820可将与来自HMD相机的视频内的经识别对象对准的标记(例如，十字准线或颜色标记)显示在显示屏110上以帮助外科医生识别患者上的对应位置。在一个实施例中，计算机子系统820响应于识别解剖学对象中的一个的图案与来自摄像机的视频流中的解剖学对象中的一个的图案之间的对应关系阈值级别而将来自经旋转和缩放的三维解剖模型的与显示在显示屏110上的解剖学对象中的一个对准的图形标记显示在显示屏110上。

计算机子系统820可类似地从患者数据库和其它电子设备接收其它数据和视频流，可使用增强图形将所述数据和视频流选择性地显示在HMD 100的一个或多个显示屏上。如本文中所使用，视频流可包含可被提供给显示装置以供显示的任何类型的信息，包含但不限于静态图像(例如，数字照片)、静态图像序列和具有以经限定帧率设置的帧的视频。计算机子系统820可检索关于患者的病史的患者健康信息和通过患者的实时监控获得的数据，包含例如血流动力学、呼吸道和电生理学信号。此类信息可使用增强图形显示在显示屏上，且此外可显现为显示在虚拟显示屏上和/或覆盖在外科手术环境中的对象(例如，患者解剖结构或外科手术设备)上。

在某些实施例中，计算机子系统820在物理上与经连接HMD 100分开(例如，远程)。在一些实施例中，本文中所公开的如由计算机子系统820执行的操作中的一些或全部另外或替代地由驻留在HMD 100内的一个或多个处理器执行。同样地，在一些实施例中，本文中所公开的如由HMD 100执行的操作中的一些或全部另外或替代地由驻留在计算机子系统820内的一个或多个处理器执行。

图11是根据本公开的一些实施例的增强现实外科手术系统中的电子组件的框图。参考图11，导航系统810可包含至少一个检测器902，所述至少一个检测器902跟踪例如以下各项中的至少一个：识别和/或附接到手术台904的实物特征、识别和/或附接到患者906(例如，邻近于外科手术部位或其它目标部位)的实物特征、识别和/或附接到外科手术工具和/或手术设备(例如，植入物)和/或机器人外科手术系统908的实物特征，和任选地附接到HMD910的实物特征。在一些实施例中，用于导航(例如，跟踪)的检测器唯一地附接到HMD(即，不使用辅助检测器)。在这些实施例中，机器人外科手术系统和患者和任选地患者模型在上面配准的体积由至少暂时在附接到HMD的检测器的视野内的体积限定。在一些实施例中，不附接到HMD的辅助检测器用于导航。举例来说，在一些实施例中，至少一个检测器902包含多个相机，所述多个相机在手术室内的经限定位置处间隔开且各自具有可观察待跟踪对象的视野。在所说明的实例中，相机系统902包含间隔开已知距离和相对定向的两组相机。导航系统810可使用例如但不限于有源光学实物特征(例如，发光源)或无源光学实物特征(例如，光反射器)。导航系统810可另外或替代地使用基于电磁场或辐射的跟踪、基于超声的导航跟踪等(例如，取决于安装到头戴式显示器的检测器的类型和/或辅助检测器的类型)。

在一些实施例中，HMD 100的定位数据可包含根据附接到HMD 910的实物特征的位置和/或来自附接到HMD的运动传感器的惯性坐标系数据确定的导航坐标系。在一些实施例中，可补偿导航坐标系数据和惯性坐标系数据以便于校准模块912随时间进行初始校准和偏移校正且由融合模块914组合以输出经组合HMD位置数据。校准组件和融合组件可为计算机子系统的模块。

相对定位模块916识别经跟踪实物特征904到910中的每一个的相对位置和角度定向以及经组合HMD位置数据。相对定位组件可为计算机子系统的组件。模块916可执行例如手术台、患者、外科手术工具(和/或指针工具)和HMD 100的相对坐标系到统一(共同)坐标系的坐标变换。在一些实施例中，相对定位模块916将视线坐标数据、患者模型坐标数据和工具坐标数据输出到增强图形生成器模块918和/或机器人外科手术系统。增强图形生成器模块918可为增强现实导航系统的计算机子系统的部分。视线坐标数据可基于变换成统一坐标系的经组合HMD位置数据而生成。在一些实施例中，HMD的空间位置(例如，HMD上的位置，如安装到HMD的检测器的位置)被认为是统一坐标系的起点且使用与所述位置统一的坐标系作为起点而使根据各种实物特征确定的额外空间坐标与HMD配准。因此，在一些实施例中，更新配准[例如，连续地(例如，以某一刷新频率)]以考虑HMD贯穿外科手术的移动，所述移动使外科手术环境的物理空间中的统一坐标系的起点的位置发生改变。HMD的移动可由运动传感器或固定位置实物特征(例如，由手术台识别或附接到手术台的实物特征)的改变确定。患者模型坐标数据可基于根据患者906识别或附接到患者906的实物特征的位置和/或定向变换成统一坐标系而生成。工具坐标数据可基于根据外科手术工具908识别或附接到外科手术工具908的实物特征的位置和/或定向变换成统一坐标系而生成。工具坐标数据可基于根据外科手术工具908识别或附接到外科手术工具908的实物特征的位置和/或定向变换成统一坐标系而生成。在一些实施例中，机器人外科手术系统坐标数据和工具坐标数据是等效的(即，一个坐标系同时用于外科手术工具和机器人外科手术系统，例如，当外科手术工具附接到机器人外科手术系统时)。

在某些实施例中，增强图形生成器模块918将患者模型(例如，来源于医学图像数据)变换(例如，缩放、旋转、平移)成HMD 100的佩戴者的当前透视图(例如，映射到显示屏110的FOV内的对应对象)。同样地，在一些实施例中，例如机器人外科手术系统、外科手术工具、手术设备的模型或机器人外科手术系统、外科手术工具、手术设备的轨迹可由增强图形生成器模块变换。在一些实施例中，图形增强生成器模块918可将基于经变换患者模型生成的视频提供给HMD 100的显示屏以供显示为视觉模型，所述视觉模型随覆盖在外科手术部位804上或别处的图形动态地定向和缩放到患者上的HMD 100的佩戴者正在看的对应位置，且所述对应位置包含由患者模型建模的对应对象。

举例来说，在一些实施例中，增强图形生成器模块918确定患者身体的任何部分当前是否在外科医生通过显示屏110看见(例如，使用安装到与显示屏相同的HMD的检测器)的视野内，所述任何部分对应于经变换患者模型的任何部分。在一些实施例中，当经变换(例如，经缩放、经平移、经旋转)患者模型的一部分对应于患者身体在外科医生通过显示屏110的视野内的一部分时，图像生成器918基于经变换患者模型的对应部分生成增强图形以供显示在显示屏110上，同时平移和/或旋转经变换患者模型的部分且缩放经变换患者模型的部分的大小以提供例如根据患者成像或根据例如解剖学数据库等另一来源建模的对象的精确缩放的图形表示。

因此，举例来说，在一些实施例中，当外科医生转头从而使得患者身体的具有通过CT成像数据建模的骨骼的一部分变得在显示屏110的视野内(例如，在安装到与显示屏110相同的HMD的检测器的视野内)时，增强图形生成器模块918变换骨骼的患者模型以生成在显示屏110中显示为从外科医生的角度匹配骨骼的定向和大小的图形覆盖的骨骼的增强图形表示，好像外科医生可通过组织和/或器官的介入层观看骨骼一样。同样地，在一些实施例中，外科手术工具的至少一部分、手术设备的至少一部分和/或机器人外科手术系统的至少一部分(例如，被患者的解剖结构覆盖)在一些实施例中可使用增强图形向外科医生表现为匹配物理对象的定向和大小的图形覆盖。

在框920的实例图示中，已例如基于腿的CT扫描生成的腿骨骼模型被变换和显示在显示屏110上以相对于当腿骨骼922的经观看增强图形叠加在腿的皮肤表面上时的腿骨骼具有精确定向和大小(例如，六个自由度定位)。在此实例中，外科医生因此通过HMD 100的半透明显示屏110看见腿的皮肤表面，其中腿骨骼模型的以图形方式说明的表示覆盖在所述半透明显示屏110上。

尽管腿骨骼922的增强图形在图11中被说明为显示在腿的皮肤表面上的叠加位置中，但增强图形922可显示在可由外科医生控制的其它位置处。外科医生可例如选择使图形表示922以高于或低于腿的经限定偏移距离显示。此外，外科医生可控制经显示增强图形922相对于腿的大小。外科医生可例如暂时放大增强图形922以观看某些细节且接着使增强图形922返回到被缩放且与腿对准。另外，增强图形922可被修改以显现为显示在靠近外科手术部位悬停的虚拟显示屏上。增强图形922可被修改以还显示外科手术工具的一部分、手术设备的至少一部分、机器人外科手术系统的至少一部分和/或外科手术工具、手术设备、机器人外科手术系统中的任一个的轨迹，所述轨迹覆盖在患者的腿上或覆盖在虚拟显示屏中。

增强现实导航系统在外科手术中的使用

根据本文所公开的实施例的增强现实导航系统可在执行外科手术的方法中使用以便在手术期间提供和/或帮助导航。由此，导航输入数据可被提供给机器人外科手术系统、从机器人外科手术系统获得，或在某些实施例中两者都有。通常，在本文中所公开的方法中，使用安装在头戴式显示器上(例如，附接到头戴式显示器)的至少一个检测器以便确定用于基于由至少一个检测器检测到的实物特征进行导航的坐标系。在一些实施例中，增强现实导航系统显示增强图形，所述增强图形示出外科手术工具、手术设备和/或机器人外科手术系统的部分，所述部分否则从外科医生的自然视野隐藏。外科手术工具可附接到或插入机器人外科手术系统(例如，通过附接到其的工具导引件)。在一些实施例中，增强现实导航系统从机器人外科手术系统接收导航输入数据(例如，包括机器人外科手术系统的位置和/或定向、存储在导航输入数据上或由导航输入数据形成的模型、和/或机器人外科手术系统可遵循的一个或多个轨迹)。在一些实施例中，增强现实导航系统结合指针工具使用以便限定机器人外科手术系统可遵循的轨迹。指针工具可附接到或插入机器人外科手术系统。在一些实施例中，增强现实导航系统被配置成显示轨迹选择导引增强图形以便使用图形来确定机器人外科手术系统可遵循的轨迹。

本文中所公开的方法和系统可与机器人外科手术系统一起使用以使用特定机器人外科手术系统执行外科手术。在某些实施例中，执行特定外科手术的部分或全部而不使用机器人外科手术系统。举例来说，一个或多个外科手术工具可由外科医生以“徒手”方式操控，其中外科医生固持工具或工具由不连接到机器人外科手术系统的设备固持。此类徒手操控可与由机器人外科手术系统(例如，自动地)或借助于机器人外科手术系统执行的任何动作同时发生、在所述任何动作之前发生、在所述任何动作之后发生或代替任何动作。在任何此类情况中，根据本公开的一个或多个实施例的增强现实导航系统可用于显示与任何外科手术工具或植入物的徒手操控相关的导航信息，例如对这种植入物或外科手术工具的跟踪和轨迹规划(例如，使用或不使用任何额外和/或辅助导航子系统)。所属领域的技术人员应了解，在以下所描述的示范性方法中，其中参考附接到或插入机器人外科手术系统的外科手术工具，增强现实导航系统可有可能在被描述为同样地对由外科医生固持的工具执行同一功能的特定示范性方法中使用。

现在参考图12中所示出的框流程图，示范性方法1200是一种使用根据本公开的一些实施例的增强现实导航系统的方法。示范性方法1200是一种方法，增强现实导航系统借以用于显示表示外科手术工具(例如，附接到或插入机器人外科手术系统)和/或其轨迹的增强图形。应理解，这种示范性方法还可适用于显示表示手术设备(例如，植入物)的例如直接或间接附接到机器人外科手术系统的至少一部分的增强图形。举例来说，例如螺钉等植入物可附接到钻头，所述钻头附接到机器人外科手术系统。所述设备可包括一个或多个实物特征(例如，附接到其的基准)。示范性方法1200的计算步骤可由增强现实导航系统的计算机子系统执行。

在步骤1202中，安装在增强现实导航系统的头戴式显示器上的一个或多个检测器生成由增强现实导航系统的计算机子系统接收的检测器输入信号。检测器输入信号表示一个或多个检测器的视野，包括患者解剖结构的至少一部分(例如，与待执行的外科手术相关)。在步骤1204中，确定一个或多个实物特征在检测器输入信号中(即，在由检测器输入信号表示的视野中)的相对位置和/或定向。相对位置和/或定向可实时确定或可被视为在由增强现实导航系统与外科手术环境的配准(例如，增强现实导航系统与外科手术环境中的对象之间的配准，所述对象例如患者、外科手术工具和机器人外科手术系统)所产生的统一坐标系中表示的绝对位置和/或定向。检测器输入信号可由计算机子系统从安装到增强现实导航系统的头戴式显示器的一个或多个检测器、安装到第二增强现实导航系统的头戴式显示器的一个或多个检测器和/或贯穿外科手术环境定位的一个或多个辅助检测器接收。在步骤1206中，生成和/或存取连接到和/或插入机器人外科手术系统的外科手术工具的至少一部分的表示和/或外科手术工具的轨迹(例如，实际或经规划轨迹)。可使用增强现实导航系统使外科手术工具的至少一部分从外科医生的自然视野隐藏。在步骤1208中，通过在步骤1204中确定的一个或多个实物特征的相对位置和/或定向修改(例如，缩放、平移和/或旋转)表示。在步骤1210中，呈现对应于表示的增强图形且将其显示在增强现实导航系统的头戴式显示器的显示屏上。任选地，还可显示外科手术工具未从外科医生的自然视野隐藏的至少一部分，使得增强图形示出外科手术工具的更大部分(例如，整个外科手术工具)的表示，其中工具中的一些被隐藏且工具中的一些未被隐藏。这种方法还可用于外科手术设备(例如，植入物)。同样地，外科手术工具增强图形还可用于示出物理上不存在(例如，尚未被插入机器人外科手术系统)的外科手术工具(或其部分)。另外，在一些实施例中，可使用增强图形在一时间段内显现外科手术工具的位置和/或其轨迹，使得外科医生可在手术的至少一部分期间观看工具将如何沿着轨迹移动。

生成和/或存取表示步骤可包括确定对应于所关注外科手术工具的一个或多个实物特征的相对位置和/或定向。举例来说，外科手术工具可具有附连到其上的基准。表示可为导入计算机子系统或由计算机子系统存取(例如，被机器人外科手术系统作为导航信息提供给计算机子系统)的外科手术工具的经存储模型(例如，CAD模型或图示)。类似地，在一些实施例中，否则难以显现(由于来自患者的解剖结构的干扰)的外科手术工具的轨迹可在头戴式显示器的显示屏上显示为外科手术工具增强图形，使得外科医生可在手术中观看一个或多个经规划轨迹以更好地显现一个或多个轨迹且因此更好地导航机器人外科手术系统。外科手术工具的轨迹可由机器人外科手术系统提供给计算机子系统。举例来说，外科医生可将机器人外科手术系统移动到所要位置和定向且保存接着稍后在生成和/或存取步骤1204中被提供给增强现实导航系统的对应轨迹表示。可使用来自外科医生的输入，例如，使用如上文中所描述的示意动作、运动或信号输入选择外科手术工具的至少一部分的表示和/或在示范性方法1200中显示在显示屏上的轨迹。

示范性方法1200包含任选步骤1212和1214。任选步骤中的任一个或两个可为方法的一部分。在任选步骤1212中，限定包括由在步骤1210中显示的外科手术工具增强图形表示的轨迹的触觉对象。触觉对象可由增强现实导航系统确定(例如，使用由系统的检测器检测到的实物特征的相对位置和/或定向)且由增强现实导航系统的计算机子系统提供给机器人外科手术系统。机器人外科手术系统的运动接着可被约束，使得连接到或插入机器人外科手术系统(例如，对应于在步骤1206中生成和/或存取的表示的外科手术工具)的外科手术工具的至少一部分无法移动到触觉对象外部(例如，由于被提供给操作机器人外科手术系统的外科医生的触觉反馈)。在任选步骤1214中，来自增强现实导航系统的输出使机器人外科手术系统自动地与经表示轨迹对准和/或自动地沿着轨迹移动。在一些实施例中，多个轨迹的表示可同时显示且外科医生可选择经表示轨迹中的一个以使机器人外科手术系统与其对准(例如，使用指针工具)。在一些实施例中，不管轨迹的一个或多个表示是否显示，所使用的增强图形可显现为覆盖在患者解剖结构上以给予外科医生轨迹如何与患者的解剖结构相交的精确视野。在一些实施例中，外科手术工具的部分和/或其轨迹显现在通过头戴式显示器的显示屏观看的虚拟显示屏上(例如，与患者解剖结构的模型呈空间对应关系，使得轨迹表示、外科手术工具的部分和模型显现为与物理现实具有相同的相对位置和定向)。举例来说，虚拟显示屏可表现为图15的图A或图B。经覆盖增强图形可表现为图16说明的草图。

现在参考图13中所示出的框流程图，示范性方法1300是一种使用根据本公开的一些实施例的增强现实导航系统的方法。示范性方法1300是一种方法，增强现实导航系统借以使用轨迹选择导引增强图形(例如，十字准线)来帮助规划和/或更新对应于外科手术的一个或多个轨迹。示范性方法1300的计算步骤可由增强现实导航系统的计算机子系统执行。

在步骤1302中，轨迹选择增强图形(例如，十字准线)显示在增强现实导航系统的显示屏上。轨迹选择导引增强图形可显现为固定在显示屏上的适当位置(例如，使得相关联头戴式显示器的运动不会导致增强图形在外科医生的视野中移动位置)。在一些实施例中，轨迹选择导引增强图形可由外科医生定位(例如，手术前和/或手术中)。举例来说，外科医生可偏好增强图形表现在某一位置中(例如，显示屏的中心或拐角)且可相应地使用选择输入对其进行定位。在步骤1304中，接收检测器输入信号，其中检测器输入信号对应于连接到增强现实导航系统的头戴式显示器的一个或多个检测器的视野，其中所述视野包括患者的解剖结构的至少一部分。

在步骤1306中，基于来自连接到头戴式显示器的一个或多个检测器的检测器输入信号确定一个或多个实物特征(即，在由检测器输入信号表示的视野中)的相对位置和/或定向。相对位置和/或定向可实时确定或可被视为在由增强现实导航系统与外科手术环境的配准(例如，增强现实导航系统与外科手术环境中的对象之间的配准，所述对象例如患者、外科手术工具和机器人外科手术系统)所产生的统一坐标系中表示的绝对位置和/或定向。检测器输入信号可由计算机子系统从安装到增强现实导航系统的头戴式显示器的一个或多个检测器、安装到第二增强现实导航系统的头戴式显示器的一个或多个检测器和/或贯穿外科手术环境定位的一个或多个辅助检测器接收。在步骤1308中，确定由轨迹选择导引增强图形指示的物理位置和/或定向。举例来说，外科医生可定位和定向头戴式显示器，使得轨迹选择导引增强图形显现为指示患者沿着优选定向的位置(例如，驻留在显示屏上的十字准线内的位置)。使用在步骤1308中确定的相对位置和/或定向确定物理位置和/或定向。举例来说，可使用在配准手术期间限定的统一坐标系确定由轨迹指示的物理位置坐标和/或定向。在步骤1310中，用户输入信号由计算机子系统接收，其中所述用户输入信号由于外科医生使用增强现实导航系统作出的动作(例如，示意动作)而生成，且当轨迹选择导引增强图形在所要位置和/或定向中时作出所述动作。举例来说，可使用上文所描述的任何用户输入机构。

在步骤1312中，基于在步骤1308中确定的物理位置和/或定向确定轨迹。因此，在一些实施例中，步骤1308仅响应于步骤1310被执行。还因此，在一些实施例中，步骤1308在一时间段内被连续地执行[例如，以某一频率(例如，大于约每秒一次)]且基于当接收到用户输入信号时确定的最近物理位置和/或定向确定轨迹。在步骤1314中，将轨迹输出到机器人外科手术系统(例如，用于执行外科手术)。在任选步骤1316中，例如根据上文所论述的实施例(参考示范性方法1200)将表示在步骤1312中确定的轨迹的轨迹增强图形显示在增强现实导航系统的显示屏上。可在将轨迹增强图形显示在显示屏上之前对其进行修改(例如，使用配准和/或统一坐标系)。

示范性方法1300包含任选步骤1318和1320。任选步骤中的任一个或两个可为方法的一部分。在任选步骤1318中，限定包括在步骤1312中确定的轨迹的触觉对象。触觉对象可由增强现实导航系统确定(例如，使用由系统的检测器检测到的实物特征的相对位置和/或定向)且由增强现实导航系统的计算机子系统提供给机器人外科手术系统。机器人外科手术系统的运动接着可被约束，使得连接到或插入机器人外科手术系统的外科手术工具的至少一部分无法移动到触觉对象外部(例如，由于被提供给操作机器人外科手术系统的外科医生的触觉反馈)。在任选步骤1320中，来自增强现实导航系统的输出使机器人外科手术系统自动地与经表示轨迹对准和/或自动地沿着轨迹移动。在一些实施例中，多个轨迹的表示可同时显示且外科医生可选择经表示轨迹中的一个以使机器人外科手术系统与其对准(例如，使用指针工具)。在一些实施例中，不管轨迹的一个或多个表示是否显示，所使用的增强图形可显现为覆盖在患者解剖结构上以给予外科医生轨迹如何与患者的解剖结构相交的精确视野。在一些实施例中，外科手术工具的部分和/或其轨迹显现在通过头戴式显示器的显示屏观看的虚拟显示屏上(例如，与患者解剖结构的模型呈空间对应关系，使得轨迹表示、外科手术工具的部分和模型显现为与物理现实具有相同的相对位置和定向)。举例来说，虚拟显示屏可表现为图15的图A或图B。经覆盖增强图形可表现为图16说明的草图。

患者解剖结构的模型可在示范性方法1300期间显示为经覆盖增强图形以便帮助外科医生限定轨迹。可限定多个所要轨迹。轨迹选择导引增强图形还可用于通过定向头戴式显示器选择多个经限定轨迹(例如，手术前和/或手术中限定的轨迹)中的一个，使得轨迹选择导引增强图形显现为与多个轨迹中的一个一致。还可使用示范性方法1300通过以下方式更新先前限定的轨迹：加载和/或选择预限定轨迹且接着遵循示范性方法1300以修正轨迹的位置和/或定向。

现在参考图14中所示出的框流程图，示范性方法1400是一种使用根据本公开的一些实施例的增强现实导航系统的方法。示范性方法1400是一种方法，增强现实导航系统借以检测指针工具以帮助规划和/或更新对应于外科手术的一个或多个轨迹。在一些实施例中，增强现实导航系统包括指针工具。示范性方法1400的计算步骤可由增强现实导航系统的计算机子系统执行。

在步骤1402中，安装在增强现实导航系统的头戴式显示器上的一个或多个检测器生成由增强现实导航系统的计算机子系统接收的检测器输入信号。检测器输入信号表示一个或多个检测器的视野，包括患者解剖结构的至少一部分(例如，与待执行的外科手术相关)。在步骤1404中，确定一个或多个实物特征在对应于指针工具的检测器输入信号中(即，在由检测器输入信号表示的视野中)的相对位置和/或定向。相对位置和/或定向可实时确定或可被视为在由增强现实导航系统与外科手术环境的配准(例如，增强现实导航系统与外科手术环境中的对象之间的配准，所述对象例如患者、外科手术工具和机器人外科手术系统)所产生的统一坐标系中表示的绝对位置和/或定向。检测器输入信号可由计算机子系统从安装到增强现实导航系统的头戴式显示器的一个或多个检测器、安装到第二增强现实导航系统的头戴式显示器的一个或多个检测器和/或贯穿外科手术环境定位的一个或多个辅助检测器接收。在步骤1406中，基于在步骤1404中确定的实物特征的相对位置和/或定向确定指针工具的位置和/或定向。举例来说，可使用在配准手术期间限定的统一坐标系确定指针工具的物理位置坐标和/或定向。

在任选步骤1408中，将对应于指针工具从外科医生的自然视野隐藏的一部分的表示的增强图形显示在头戴式显示器的显示屏上。增强图形可显现为覆盖在患者解剖结构上，使得外科医生可精确地目视指针工具的隐藏部分，同时定位和/或定向所述隐藏部分。对应于患者解剖结构的模型的增强图形可另外被覆盖在患者解剖结构上以提供其它导航信息。替代地或另外，指针工具增强图形可在患者解剖结构的经定向模型旁边显现在虚拟显示屏上，使得指针工具相对于虚拟显示器中的模型(例如，医学图像数据)的位置和定向精确地表示指针工具与患者的解剖结构之间的正确物理关系。

在步骤1410中，至少部分地基于在步骤1406中确定的指针工具的位置和/或定向确定和/或更新轨迹。在一些实施例中，指针工具可用于选择空间中的多个点，所述多个点接着用于共同地确定轨迹(例如，线性或非线性轨迹)。可响应于由计算机子系统接收的用户输入信号在步骤1410中确定轨迹，其中所述用户输入信号由于外科医生使用增强现实导航系统作出的动作(例如，示意动作)而生成，且当指针工具在所要位置和/或定向中时作出所述动作。举例来说，可使用上文所描述的任何用户输入机构。在一些实施例中，步骤1402到1410被重复一次或多次以便限定多个轨迹。在步骤1412中，将轨迹(或多个轨迹)输出到机器人外科手术系统(例如，用于执行外科手术)。在任选步骤1414中，例如根据上文所论述的实施例(参考示范性方法1200)将表示在步骤1412中确定的轨迹的轨迹增强图形显示在增强现实导航系统的显示屏上。可在将轨迹增强图形显示在显示屏上之前对其进行修改(例如，使用配准和/或统一坐标系)。

示范性方法1400另外包含任选步骤1416和1418。任选步骤中的任一个或两个可为方法的一部分。在任选步骤1416中，限定包括在步骤1410中确定的轨迹的触觉对象。触觉对象可由增强现实导航系统确定(例如，使用由系统的检测器检测到的实物特征的相对位置和/或定向)且由增强现实导航系统的计算机子系统提供给机器人外科手术系统。机器人外科手术系统的运动接着可被约束，使得连接到或插入机器人外科手术系统的外科手术工具的至少一部分无法移动到触觉对象外部(例如，由于被提供给操作机器人外科手术系统的外科医生的触觉反馈)。在任选步骤1418中，来自增强现实导航系统的输出使机器人外科手术系统自动地与经表示轨迹对准和/或自动地沿着轨迹移动。在一些实施例中，多个轨迹的表示可同时显示且外科医生可选择经表示轨迹中的一个以使机器人外科手术系统与其对准(例如，使用指针工具)。在一些实施例中，不管轨迹的一个或多个表示是否显示，所使用的增强图形可显现为覆盖在患者解剖结构上以给予外科医生轨迹如何与患者的解剖结构相交的精确视野。在一些实施例中，外科手术工具的部分和/或其轨迹显现在通过头戴式显示器的显示屏观看的虚拟显示屏上(例如，与患者解剖结构的模型呈空间对应关系，使得轨迹表示、外科手术工具的部分和模型显现为与物理现实具有相同的相对位置和定向)。举例来说，虚拟显示屏可表现为图15的图A或图B。经覆盖增强图形可表现为图16说明的草图。

单个增强现实导航系统可被配置成除了别的以外执行示范性方法1200、示范性方法1300和示范性1400中的每一个。限定轨迹或特定类型的增强图形以显示的特定方法的选项可取决于正执行的外科手术。举例来说，外科医生当执行某些微创外科(MIS)手术时可偏好不同于当执行等效传统的(即，非MIS)手术时使用的那些的增强图形和/或轨迹限定方法。同样地，方法和图形可取决于执行手术的特定外科医生或特定患者。因此，在某些实施例中，增强现实导航系统可在每次手术、每名患者和/或每名外科医生的基础上存储设定。在一些实施例中，患者健康信息显示在一个或多个虚拟显示屏上，同时导航信息使用经覆盖增强图形且任选地显示在额外虚拟显示器上。

以下是增强现实导航系统的说明性实施例的示范性使用的描述。在增强现实导航系统接收患者的医学图像数据之后，显示在增强现实导航系统的显示屏上的用户接口通过允许外科医生按需要导航来源于医学图像数据的模型和外科手术植入物和/或轨迹的位置虚拟表示实现外科手术的规划。可使用外科医生输入端进行定位(例如，经由运动传感器或辅助输入装置)。增强现实导航系统接着用于跟踪机器人臂和与患者相关联的一个或多个实物特征(例如，如由检测器检测)的位置。增强现实导航系统始终使其坐标系与患者解剖结构和机器人外科手术系统的坐标系同步(例如，通过周期性或连续重新配准)。在例如经由运动传感器从外科医生接收输入时，增强现实导航系统使机器人臂的末端执行器自动地定位成与经规划轨迹对准，从而始终补偿患者的位置移位且允许在治疗的同时避开致命解剖结构。

在另一示范性使用中，来源于医学图像数据的模型被配准以便规划植入物轨迹。在某些实施例中，医学图像自身(对应于医学图像数据)用作患者解剖结构的模型。特定配准方法可基于用于生成医学图像数据的成像技术进行选择。成像可在手术前或手术中进行。在配准后，外科医生将使用显示在头戴式显示器的显示屏上的增强图形确定外科手术植入物的必要轨迹和位置。在规划完成后，来自外科医生的输入可使机器人外科手术系统的机器人臂自动地移动到经规划轨迹上。如果规划了多个轨迹，那么外科医生可将末端执行器移动到接近第一经规划轨迹。替代地，可使用用户输入(例如，进入运动传感器)选择第一经规划轨迹。增强现实导航系统将指示哪一经规划轨迹在显示屏上的范围内且系统将会将机器人臂缓慢地移动到所选择的(例如，近端)经规划轨迹上。增强图形可用于指示已实现所选择的经规划轨迹且运动可沿着轨迹受限的时间。外科医生接着将使用连接到机器人外科手术系统的外科手术工具来插入所要外科手术植入物。导航相机将实时跟踪工具的位置且将模型显示在显示屏上，例如，显现为覆盖在患者解剖结构上。

在某些实施例中，本文中所公开的增强现实导航系统可由可受益于增强现实可视化和精确度运动跟踪(例如，创伤、导航脊柱、预先规划的颅侧)两者的医学特制品使用。在某些实施例中，本文中所公开的增强现实导航系统可用于在手术室或介入门诊手术中执行的开放性、经皮、微创外科(MIS)手术，以上所有手术可含有某一形式的患者成像。在某些实施例中，本文中所公开的增强现实导航系统对需要外科医生观看远程显示器的关键导航信息且在精神上将所述信息转译成外科手术空间或患者内的任何此类手术将是宝贵的。举例来说，其中使用本文中所公开的增强现实导航系统的外科手术可为脊柱手术、矫形外科手术、矫形外科创伤手术、神经外科手术、微创手术或其任何组合。在某些实施例中，增强现实导航系统用于使用患者解剖结构的尸体或假体模型例如训练外科手术的模拟。

上文参考在本地由计算装置执行的计算描述本文中所公开的系统和方法的示范性实施例。然而，还设想在网络上执行的计算。图17示出用于本文中所描述的方法和系统的说明性网络环境1700。简洁概括地说，现在参考图17，示出和描述示范性云计算环境1700的框图。云计算环境1700可包含一个或多个资源提供商1702a、1702b、1702c(统称为1702)。每个资源提供商1702可包含计算资源。在一些实施方案中，计算资源可包含用于处理数据的任何硬件和/或软件。举例来说，计算资源可包含能够执行算法、计算机程序和/或计算机应用程序的硬件和/或软件。在一些实施方案中，示范性计算资源可包含具有存储和检索能力的应用程序服务器和/或数据库。每个资源提供商1702可连接到云计算环境1700中的任何其它资源提供商1702。在一些实施方案中，资源提供商1702可通过计算机网络1708连接。每个资源提供商1702可通过计算机网络1708连接到一个或多个计算装置1704a、1704b、1704c(统称为1704)。

云计算环境1700可包含资源管理器1706。资源管理器1706可通过计算机网络1708连接到资源提供商1702和计算装置1704资源管理器1906可以经计算机网络1908连接到资源提供商1902和计算装置1904。在一些实施方案中，资源管理器1706可促进一个或多个资源提供商1702将计算资源提供给一个或多个计算装置1704。资源管理器1706可从特定计算装置1704接收有关计算资源的请求。资源管理器1706可识别能够提供计算装置1704所要求的计算资源的一个或多个资源提供商1702。资源管理器1706可选择资源提供商1702以提供计算资源。资源管理器1706可促进资源提供商1702与特定计算装置1704之间的连接。在一些实施方案中，资源管理器1706可建立特定资源提供商1702与特定计算装置1704之间的连接。在一些实施方案中，资源管理器1706可将特定计算装置1704重新导向具有所要求的计算资源的特定资源提供商1702。

图18示出可用于本公开中所描述的方法和系统的计算装置1800和移动计算装置1850的实例。计算装置1800旨在表示各种形式的数字计算机，例如膝上型计算机、桌上型计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。移动计算装置1850旨在表示各种形式的移动装置，例如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里示出的组件，它们的连接和关系以及它们的功能仅仅意味着是实例，并不意味着限制。

计算装置1800包含处理器1802、存储器1804、存储装置1806、连接到存储器1804和多个高速扩展端口1810的高速接口1808，和连接到低速扩展端口1814和存储装置1806的低速接口1812。处理器1802、存储器1804、存储装置1806、高速接口1808、高速扩展端口1810和低速接口1812中的每一个使用各种总线互连，且可安装在共同母板上或适当时以其它方式安装。处理器1802可处理用于在计算装置1800内执行的指令，包含存储于存储器1804中或存储装置1806上的指令，以将GUI图形信息显示在例如联接到高速接口1808的显示器1816等外部输入/输出装置上。在其它实施方案中，可适当地使用多个处理器和/或多个总线连同多个存储器和存储器类型。而且，多个计算装置可被连接，其中每个装置提供所需操作的部分(例如，作为服务器组、刀片服务器的群组或多处理器系统)。而且，多个计算装置可被连接，其中每个装置提供所需操作的部分(例如，作为服务器组、刀片服务器的群组或多处理器系统)。因此，当术语在本文中使用时，其中多个功能被描述为由“处理器”执行，这涵盖其中多个功能由任何数目的计算装置(例如，一个或多个计算装置)的任何数目的处理器(例如，一个或多个处理器)执行的实施例。此外，在功能被描述为由“处理器”执行的情况下，这涵盖其中功能由任何数目的计算装置(例如，一个或多个计算装置)(例如，在分布式计算系统中)的任何数目的处理器(例如，一个或多个处理器)执行的实施例。

存储器1804将信息存储在计算装置1800内。在一些实施方案中，存储器1804是一个或多个易失性存储器单元。在一些实施方案中，存储器1804是一个或多个非易失性存储器单元。存储器1804也可为另一形式的计算机可读媒体，例如磁盘或光盘。

存储装置1806能够为计算装置1800提供海量存储。在一些实施方案中，存储装置1806可为或包含计算机可读媒体，例如软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其它类似的固态存储装置、或装置阵列，包含存储区域网络或其它配置中的装置。指令可被存储在信息载体中。所述指令在由一个或多个处理装置(例如，处理器1802)执行时执行例如上文所描述的那些方法的一种或多种方法。所述指令也可由一个或多个存储装置存储，所述一个或多个存储装置例如计算机或机器可读媒体(例如，存储器1804、存储装置1806或处理器1802上的存储器)。

高速接口1808管理计算装置1800的带宽密集操作，而低速接口1812管理更低带宽密集操作。此类功能分配仅仅是实例。在一些实施方案中，高速接口1808联接到存储器1804、显示器1816(例如，通过图形处理器或加速器)，且联接到高速扩展端口1810，所述高速扩展端口1810可接受各种扩展卡(未示出)。在所述实施方案中，低速接口1812联接到存储装置1806和低速扩展端口1814。低速扩展端口1814，其可包含各种通信端口(USB、

以太网、无线以太网)，可例如通过网络适配器联接到一个或多个输入/输出装置，例如键盘、定点装置、扫描仪或联网装置，所述联网装置例如交换机或路由器。

如图式中所示出，计算装置1800可按多个不同形式实施。举例来说，其可被实施为标准服务器1820，或在此类服务器的群组中多次实施。另外，其可在例如膝上型计算机1822等个人计算机中实施。其还可被实施为机架服务器系统1824的部分。替代地，来自计算装置1800的组件可与移动装置(未示出)中的例如移动计算装置1850等其它组件组合。此类装置中的每一个可含有计算装置1800和移动计算装置1850中的一个或多个，且整个系统可由彼此通信的多个计算装置构成。

移动计算装置1850包含处理器1852、存储器1864、例如显示器1854等输入/输出装置、通信接口1866和收发器1868以及其它组件。移动计算装置1850也可具有例如微型驱动器或其它装置等存储装置以提供额外存储。处理器1852、存储器1864、显示器1854、通信接口1866和收发器1868中的每一个使用各种总线互连，且所述组件中的若干者可安装在共同母板上或适当时以其它方式安装。

处理器1852可执行移动计算装置1850内的指令，包含存储于存储器1864中的指令。处理器1852可被实施为一组芯片，包含单个和多个模拟和数字处理器。处理器1852可提供例如移动计算装置1850的其它组件的协调，例如用户接口的控制、由移动计算装置1850运行的应用程序和由移动计算装置1850进行的无线通信。

处理器1852可通过联接到显示器1854的控制接口1858和显示接口1856与用户通信。显示器1854可为例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器或其它适当的显示器技术。显示接口1856可包括用于驱动显示器1854以向用户呈现图形和其它信息的适当电路。控制接口1858可从用户接收命令且对其进行转换以提交给处理器1852。另外，外部接口1862可实现与处理器1852的通信，以便实现移动计算装置1850与其它装置的近区通信。外部接口1862可例如在一些实施方案中用于有线通信或在其它实施方案中用于无线通信，且也可使用多个接口。

存储器1864将信息存储在移动计算装置1850中。存储器1864可被实施为一个或多个计算机可读媒体、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元中的一个或多个。扩展存储器1874还可被提供且通过扩展接口1872连接到移动计算装置1850，所述扩展接口1872可包含例如SIMM(单列直插存储器模块)卡接口。扩展存储器1874可为移动计算装置1850提供额外存储空间，或还可存储应用程序或有关移动计算装置1850的其它信息。具体地说，扩展存储器1874可包含有关进行或补充上文所描述的过程的指令，且还可包含安全信息。因此，例如，扩展存储器1874可被提供为用于移动计算装置1850的安全模块，且可用准许安全使用移动计算装置1850的指令编程。另外，安全应用程序可经由SIMM卡提供，连同额外信息，例如以不可破解的方式在SIMM卡上放置识别信息。

存储器可包含例如快闪存储器和/或NVRAM存储器(非易失性随机存取存储器)，如下文所论述。在一些实施方案中，指令存储于信息载体中，且在由一个或多个处理装置(例如，处理器1852)执行时执行一个或多个方法，例如上文所描述的那些方法。指令也可由一个或多个存储装置存储，例如一个或多个计算机或机器可读媒体(例如，存储器1864、扩展存储器1874、或处理器1852上的存储器)。在一些实施方案中，指令可例如通过收发器1868或外部接口1862在传播信号中接收。

移动计算装置1850可通过通信接口1866无线通信，所述通信接口1866必要时可包含数字信号处理电路。通信接口1866可提供各种模式或协议下的通信，例如GSM语音呼叫(全球移动通信系统)、SMS(短消息服务)、EMS(增强消息服务)或MMS消息(多媒体消息服务)、CDMA(码分多址)、TDMA(时分多址)、PDC(个人数字蜂窝)、WCDMA(宽带码分多址)、CDMA2000或GPRS(通用分组无线业务)等。此类通信可例如使用射频，通过收发器1868发生。另外，短程通信可例如使用

Wi-Fi^TM或其它此类收发器(未示出)发生。另外，GPS(全球定位系统)接收器模块1870可向移动计算装置1850提供额外导航和位置相关无线数据，所述额外导航和位置相关无线数据可在适当时由在移动计算装置1850上运行的应用程序使用。

移动计算装置1850还可使用音频编解码器1860以音频方式通信，所述音频编解码器1860可从用户接收口头信息且将其转换成可用的数字信息。音频编解码器1860同样可为用户生成可听声音，例如通过如移动计算装置1850的手机中的扬声器。此类声音可包含来自语音电话呼叫的声音，可包含记录的声音(例如，语音消息、音乐文件等)且还可包含由在移动计算装置1850上操作的应用程序生成的声音。

如图式中所示出，移动计算装置1850可按多个不同形式实施。举例来说，其可被实施为蜂窝电话1880。其也可被实施为智能电话1882、个人数字助理或其它类似移动装置的一部分。

这里所描述的系统和技术的各种实施方案可在数字电子电路系统、集成电路系统、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方案可包含一个或多个计算机程序中的实施方案，所述一个或多个计算机程序可在可编程系统上执行和/或解译，所述可编程系统包含至少一个可编程处理器，所述至少一个可编程处理器可为专用的或通用的，经联接以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，且向存储系统、至少一个输入装置和至少一个输出装置传输数据和指令。

这些计算机程序(也被称为程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令，且可用高级程序和/或面向对象的编程语言和/或用汇编/机器语言实施。如本文中所使用，术语机器可读媒体和计算机可读媒体指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包含接收机器指令作为机器可读信号的机器可读媒体。术语机器可读信号指代用于向可编程处理器提供机器指令和/或数据的任何信号。

为了实现与用户的交互，这里所描述的系统和技术可在具有显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监控器)的计算机上实施，所述显示装置用于向用户以及键盘和定点装置(例如，鼠标或轨迹球)显示信息，用户可通过所述键盘和所述定点装置向计算机提供输入。其它种类的装置同样可用于实现与用户的交互；举例来说，向用户提供的反馈可为任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触感反馈)；且来自用户的输入可按任何形式接收，包含声学、语音或触感输入。

这里所描述的系统和技术可实施于计算系统中，所述计算系统包含后端组件(例如，作为数据服务器)，或包含中间件组件(例如，应用程序服务器)，或包含前端组件(例如，具有图形用户接口或网页浏览器的客户端计算机，用户可通过所述图形用户接口或网页浏览器与这里所描述的系统和技术的实施方案交互)，或此类后端、中间件或前端组件的任何组合。所述系统的组件可通过任何形式或媒体的数字数据通信(例如，通信网络)互连。通信网络的实例包含局域网(LAN)、广域网(WAN)和因特网。

计算系统可包含客户端和服务器。客户端和服务器大体上远离彼此且通常通过通信网络交互。客户端与服务器的关系是借助于在相应计算机上运行且彼此具有客户端-服务器关系的计算机程序产生。

在一些实施方案中，本文中所描述的模块或计算子系统(例如，位置跟踪模块和用户输入模块)可分开、组合或并入单个或经组合模块。图式中所描绘的其模块和布置并不旨在将本文中所描述的系统和方法限制为其中所示出的软件架构。

上文描述了本发明的某些实施例。然而，应明确地注意，本发明不限于那些实施例，而实际上意图在于对本文中所明确地描述的内容的添加和修改也包含于本发明的范围内。此外，应理解，本文中所描述的各种实施例的特征并不相互排斥且可在不脱离本发明的精神和范围的情况下以各种组合和排列存在，即使此类组合或排列在本文中未进行表述。实际上，对于所属领域的技术人员来说，在不脱离本发明的精神和范围下将进行本文中所描述的内容的变化、修改和其它实施。由此，本发明并不仅仅由先前说明性说明限定。

已经描述用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法的某些实施方案，现在对于所属领域的技术人员显而易见的是可使用并入本公开的概念的其它实施方案。因此，本公开不应限于某些实施方案，而实际上应仅由所附权利要求书的精神和范围限制。

Claims (9)

1.一种用于与机器人外科手术系统一起使用的增强现实导航系统，所述系统包括：

头戴式显示器，其具有至少部分透明的显示屏，所述至少部分透明的显示屏被配置成显示增强图形，所述增强图形对于用户显现为叠加在所述用户的自然视野的至少一部分上；

用于识别实物特征的至少一个检测器，所述至少一个检测器安装到所述头戴式显示器；

处理器；

外科手术工具，其具有标记且被配置成由所述至少一个检测器检测，

其中所述处理器适于：

在一个模式中，在所述头戴式显示器中显示叠加在从患者医学图像数据导出的模型上的所述外科手术工具的至少一部分的图形表示和所述外科手术工具的轨迹的图形表示，和

在另一个模式中，基于所识别的实物特征，在所述头戴式显示器中显示叠加在所述用户的所述自然视野上且从所述外科手术工具延伸的外科手术工具轨迹的图形表示，而不显示所述外科手术工具的虚拟表示，

响应于用户输入选择，基于由所述至少一个检测器识别的所述用户的动作来确定所述外科手术工具的用户选择轨迹，且当轨迹选择导引增强图形处于期望位置和/或方向时，做出该动作，

将所述用户选择轨迹输出到所述机器人外科手术系统，以便对准所述机器人外科手术系统的末端执行器，所述末端执行器对应于所述外科手术工具的所述用户选择轨迹，

其中来自所述至少一个检测器的检测器输入信号对应于所述至少一个检测器的视野，且所述视野包括在外科手术期间患者的解剖结构的至少一部分，

其中所述检测器输入信号包含所述实物特征中的一个或多个中的每一个的相对位置和/或定向，

其中所述头戴式显示器配置为在所述显示屏中显示隐藏身体部位的增强图形表示，

其中所述机器人外科手术系统包含：

臂；

联接到所述臂的第一末端的末端执行器；和

联接到所述臂的第二末端的底部，

其中所述臂将被配置成接收所述外科手术工具的所述末端执行器移动到由用户选择的轨迹，

其中所述增强现实导航系统包含触觉反馈系统以在经选择轨迹内控制所述臂。

2.根据权利要求1所述的增强现实导航系统，其中所述检测器包含用于检测实物特征的相机系统，且电联接到所述头戴式显示器，并且所述处理器通过所述用户的示意动作接收所述用户输入选择。

3.根据权利要求1所述的增强现实导航系统，其中所述头戴式显示器提供所述外科手术工具和所述外科手术工具覆盖在所述患者的所述解剖结构上的轨迹的表示。

4.根据权利要求1所述的增强现实导航系统，其进一步包含运动传感器，所述运动传感器连接到所述头戴式显示器以用于基于所述头戴式显示器的经测量运动输出运动信号。

5.根据权利要求1所述的增强现实导航系统，其中所述机器人外科手术系统和所述增强现实导航系统包含触觉反馈系统以在经选择轨迹内控制所述臂。

6.根据权利要求5所述的增强现实导航系统，其中所述外科手术工具包含与所述触觉反馈系统通信的跟踪标记，所述跟踪标记将所述外科手术工具约束到用户选择的轨迹。

7.根据权利要求1所述的增强现实导航系统，其中所述至少一个检测器包括具有至少40度最小视野的检测器。

8.根据权利要求1所述的增强现实导航系统，其中所述头戴式显示器被配置为在所述显示屏中显示外科手术工具的隐藏部分的增强图形表示，作为从所述用户的角度匹配所述外科手术工具的定向和大小的图形覆盖，好像所述用户正在通过所述患者的介入身体部分观看所述外科手术工具的所述隐藏部分。

9.根据权利要求1所述的增强现实导航系统，其包括用于进行外科手术规划选择的指针工具，其中所述指针工具被配置成由所述至少一个检测器检测。

Images