CN116600732A - 用于外科机器人的增强现实头戴式耳机 - Google Patents

Abstract

公开了一种增强现实(AR)头戴式耳机，AR头戴式耳机向佩戴者提供外科机器人系统的空间、系统和时间上下文信息，以指导佩戴者在外科手术之前、期间或之后对外科机器人系统进行配置、操作或故障诊断。空间上下文信息可在AR头戴式耳机的坐标系中渲染以显示外科机器人系统的机器人臂、器械、床和其他部件的空间固定3D生成虚拟模型，该空间固定3D生成虚拟模型与外科机器人系统的实际位置或取向相匹配。AR头戴式耳机可与外科机器人系统通信以接收外科机器人系统的部件的实时状态信息。AR头戴式耳机可使用实时状态信息显示上下文敏感用户界面信息，诸如关于将机器人臂和台操纵到它们的目标位置和取向或用于故障诊断目的的提醒、建议、视觉或音频提示。

Description

用于外科机器人的增强现实头戴式耳机

技术领域

本主题技术整体涉及机器人和外科系统，并且更具体地涉及一种增强现实头戴式耳机，该增强现实头戴式耳机用于在准备或执行微创外科手术时指导机器人辅助外科系统的用户设置机器人辅助外科系统的外科机器人臂或其他部件。

背景技术

微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜式手术通常涉及在患者体内(例如，在腹部)形成多个小切口，并通过切口将一个或多个手术工具(例如，端部执行器和内窥镜)引入患者体内。然后可使用引入的手术工具执行外科手术，其中可视化辅助由内窥镜提供。

一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。最近的技术发展允许使用机器人系统执行更多的MIS，该机器人系统包括一个或多个机器人臂，该机器人臂用于基于来自远程操作员的命令操纵手术工具。机器人臂可以例如在其远侧端部处支承各种设备，诸如外科端部执行器、成像设备、用于提供进入患者体腔和器官的通路的插管等。在机器人MIS系统中，可能期望为由机器人臂支承的外科器械建立并保持较高定位准确度。

医务人员和人员通常在开始外科手术之前设置机器人臂。重要的是，机器人臂必须相对于患者处于正确的位姿；否则，在外科手术期间可能出现复杂问题。机器人臂以及更一般地机器人系统的设置是复杂且乏味的任务，通常需要庞大的专业教育团队来训练新手术室工作人员如何适当地配置机器人臂的位姿以进行外科手术。当出现问题时，医务人员还可能需要对机器人臂或附接的外科工具的设置进行故障诊断。关于如何故障诊断的先前训练可能容易被忘记，尤其是当场景少见时。

在外科手术期间，机器人臂的控制可能需要用户(例如，外科医生或其他操作者)经由一个或多个用户界面装置进行控制输入，该一个或多个用户界面装置将用户的操纵或命令转换成对机器人臂的控制。例如，当外科工具定位在患者的外科手术部位处时，具有一个或多个马达的工具驱动器可以响应于用户命令而致动外科工具的一个或多个自由度。有时，在外科手术期间，医务人员必需快速地将机器人臂从患者移开，诸如当患者的生命体征急剧下降时。当在紧急情况下如何操纵机器人臂的先前训练可能容易被忘记时，可能出现复杂问题。移动错误的机器人臂可能对患者、其他装备或床边人员造成严重伤害。

因此，期望具有一种工具来减轻新用户训练的复杂性、降低雇用和训练专用教育团队的费用、防止机器人系统设置的延迟并且消除在故障诊断或紧急场景期间可能由用户混淆引起的事故。当准备和执行机器人辅助外科手术时，医务人员可使用该工具来尽量减少错误。

发明内容

本文所公开的是一种增强现实头戴式耳机，该增强现实头戴式耳机可被穿戴以提供实时空间且上下文信息以在设置和操作机器人辅助外科系统也称为外科机器人系统时指导医务人员，该机器人辅助外科系统是被设计来供外科医生执行微创外科手术的软件控制机电系统。该增强现实头戴式耳机可将该外科机器人系统的空间固定3D生成模型和上下文敏感用户界面信息叠置到护目镜上。该增强现实头戴式耳机的佩戴者可接收关于为外科手术准备该外科机器人系统的部件诸如机器人臂所需的任务的直观指导。例如，佩戴者可接收空间信息诸如该机器人臂的位置和取向、系统状态信息诸如臂模式、工具类型、工具抓持状态和机器人臂的其他实时信息以及用于实现机器人臂的移动的时间上下文信息。

该增强现实头戴式耳机可包括传感器、处理器和显示器。该传感器可捕获该外科机器人系统的部件诸如机器人臂或手术台的图像数据。该处理器可基于该图像数据来在该增强现实装置和该外科机器人系统之间建立共同坐标系。该增强现实头戴式耳机可与该外科机器人系统通信以接收该外科机器人系统的空间信息和实时系统状态信息。该处理器可创建该外科机器人系统的另一部件的3D虚拟模型，该另一部件可以是与被获取图像数据的该部件相同或不同的部件。基于该外科机器人系统的该空间信息和该实时系统状态信息并且基于该增强现实装置和该外科机器人系统之间的该共同坐标系来在该增强现实头戴式耳机的坐标系中创建该3D虚拟模型。该显示器可将该部件的该3D虚拟模型呈现给该增强现实头戴式耳机的佩戴者。

公开了一种供增强现实头戴式耳机与外科机器人系统交互的方法。该方法包括：该增强现实头戴式耳机捕获该外科机器人系统的部件诸如臂或手术台的图像数据。该方法还包括：由该增强现实头戴式耳机基于该图像数据来在该增强现实头戴式耳机的坐标系中建立该外科机器人系统的3D位置和取向。该方法还包括：由该增强现实头戴式耳机接收该外科机器人系统的空间信息和实时系统状态信息。该方法还包括：由该增强现实头戴式耳机基于该外科机器人系统的该空间信息和该实时系统状态信息以及基于该外科机器人系统的在该增强现实头戴式耳机的坐标系中的该3D位置和该取向来在该增强现实头戴式耳机的该坐标系中创建该外科机器人系统的另一部件的3D虚拟模型。该方法还包括：在该AR装置的该坐标系相对于该外科机器人系统的坐标系改变时，该增强现实头戴式耳机维持该部件的该3D虚拟模型。

附图说明

为了更全面地理解本发明，附图与本主题技术的各个方面和实施方案的以下描述一起提供。附图和实施方案是对本发明的例示，并且不旨在限制本发明的范围。应当理解，本领域的普通技术人员可修改附图以生成仍将落入本发明的范围内的其他实施方案的附图。

图1是根据本主题技术的各方面的处于手术场所的示例性外科机器人系统1的绘画视图。

图2示出了根据本主题技术的各方面的增强现实头戴式耳机和外科机器人系统之间的信息交换，以供增强现实头戴式耳机基于使用图像传感器在增强现实头戴式耳机和外科机器人系统之间建立共同坐标系来显示外科机器人系统的部件的空间、系统和时间信息。

图3示出了根据本主题技术的各方面的由增强现实头戴式耳机渲染的全息图，该全息图示出机器人臂的实际和目标位姿以指导医务人员将机器人臂移动到目标位姿。

图4示出了根据本主题技术的各方面的机器人臂的实际位姿和目标位姿，这些位姿可用于生成如在增强现实头戴式耳机上渲染的路点以指导医务人员将机器人臂从实际位姿移动到目标位姿。

图5示出了根据本主题技术的各方面的由增强现实头戴式耳机渲染的全息图，该全息图突出显示了机器人臂的工作空间和附接的内窥镜以帮助医务人员定位机器人臂。

图6示出了根据本主题技术的各方面的增强现实头戴式耳机和外科机器人系统之间的信息交换，以供增强现实头戴式耳机基于使用固定基准标记在增强现实头戴式耳机和外科机器人系统之间建立共同坐标系来在增强现实头戴式耳机的坐标系中显示外科机器人系统的部件的空间、系统和时间信息。

图7是示出根据本主题技术的各方面的增强现实头戴式耳机和外科机器人系统的示例性硬件部件的框图。

图8是示出根据本主题技术的各方面的外科机器人系统与增强现实头戴式耳机交换信息以在增强现实头戴式耳机和外科机器人系统之间建立共同坐标系并且将外科机器人系统的部件的空间、系统和时间信息传输到增强现实头戴式耳机以用于将部件和系统信息渲染为虚拟图像的方法的流程图。

图9是示出根据本主题技术的各方面的增强现实头戴式耳机使用固定基准标记以在增强现实头戴式耳机和外科机器人系统之间建立共同坐标系并且接收外科机器人系统的部件的空间、系统和时间信息以用于渲染图像的方法的流程图。

具体实施方式

本主题技术的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。

公开了一种增强现实(AR)头戴式耳机，该AR头戴式耳机向佩戴者提供外科机器人系统的部件的空间、系统和时间上下文信息，以指导佩戴者在外科手术之前、期间或之后对外科机器人系统进行配置和故障诊断。空间上下文信息可被渲染以显示外科机器人系统的机器人臂、器械、床和其他部件的空间固定3D生成虚拟模型，该空间固定3D生成虚拟模型与外科机器人系统在AR头戴式耳机的坐标系中的实时实际位置或取向相匹配。同时定位和映射(SLAM)算法可在AR头戴式耳机上运行以定位AR头戴式耳机的位置和取向，使得外科机器人系统的虚拟模型被渲染以在佩戴者在手术室中四处移动时维持外科机器人系统的实际位置和取向。在一个实施方案中，表示机器人臂的期望或目标位置和取向的虚拟模型可被渲染为叠置机器人臂的实际位置和取向。虚拟模型可用于指导AR头戴式耳机的佩戴者以将机器人臂从当前位置和取向移动到目标位置和取向。

AR头戴式耳机还可与外科机器人系统通信以接收外科机器人系统的部件的实时状态信息。AR头戴式耳机可使用状态信息来显示上下文敏感用户界面信息以指导佩戴者对外科机器人系统进行配置、操作或故障诊断。在一个实施方案中，外科机器人系统的状态信息可包括机器人臂的关节角度、工具类型、工具抓持状态、活动工具能量、臂模式、故障诊断代码等。在一个实施方案中，状态信息可包括床的位置、取向、角度、操作模式等。AR头戴式耳机可显示关于在如何手动地移动机器人臂或执行自动化序列以机器人式指导机器人臂进入目标位置而不碰撞障碍物、患者、床或其他机器人臂的提醒、建议、视觉或音频提示等。

图1是根据本主题技术的各方面的处于手术场所的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机械臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。

每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓持患者的组织的抓持器。外科工具7可以由床边操作者8手动控制；或者其可以由其所附接的外科机械臂4的致动移动而由机器人控制。机械臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。

一般来讲，远程操作者9(诸如外科医生或另一人员)可使用用户控制台2来远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控制件13和手持式UID14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。

在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，例如，用一只手握持手持式UID 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。

在示例性规程(外科手术)期间，为患者6做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。例如，用户控制台2处的远程操作者9或床边操作者8可使用手持式UID 14在术前设置期间将臂4从收起构造移动到患者6上方的准备位置。另选地，直接查看台5的外科医生或床边人员可佩戴本文所公开的AR头戴式耳机，以接收关于移动臂4的指导。例如，AR头戴式耳机可渲染臂4的实际收起构型的虚拟图像、期望准备位置的虚拟图像以及一连串路点，以指导外科医生或床边人员如何将臂4从当前收起构型移动到准备位置。

接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如床边操作者8)在手术床或手术台5处提供手动辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。在外科手术或术后规程期间，床边人员可佩戴本文所公开的AR头戴式耳机以在执行臂4的手动或自动化重新定位时接收指导。

在一个实施方案中，远程操作者9保持并且移动UID 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。UID 14可例如经由控制台计算机系统16通信地耦接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具7的抓持器的钳口闭合并夹持患者6的组织。

外科机器人系统1可包括若干UID 14，其中为每个UID生成控制相应臂4的致动器和外科工具(端部执行器)的相应控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台5的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，该一个或多个马达被控制成使得它们驱动臂4的关节旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的夹持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。

在一些方面，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。

在利用外科机器人系统1开始外科手术之前，外科手术团队可执行术前设置。在术前设置期间，外科机器人系统的主要部件(台5和机器人臂4、控制塔3和用户控制台2)定位在手术室中、连接并通电。台5和机器人臂4可处于完全收起构型，其中臂4处于台5下方，以便储存和/或运输。外科手术团队可将臂从其收起位置延伸以进行无菌盖布。在盖布之后，臂4可部分地回缩，直到需要再用。可能需要执行多个常规腹腔镜步骤，包括套管针放置和注气。例如，每个套筒可借助于填塞器插入到小切口中并穿过体壁。套筒和插塞允许光线进入，以在插入期间使组织层可视，从而使放置时的损伤风险最小化。通常，首先放置内窥镜以提供手持式相机可视化，用于放置其他套管针。在注气之后，如果需要，可将手动器械插入穿过套筒，以用手执行任何腹腔镜步骤。

接下来，外科手术团队可将机器人臂4定位在患者上方并且将每个臂附接到其对应的套管。在一个实施方案中，用于操纵臂4以安全地附接到对应套筒或工具的指导可由外科手术团队的成员佩戴的AR头戴式耳机提供。AR头戴式耳机可渲染臂4的目标位置和取向以及用于将臂4从它们的当前位置和取向操纵到目标位置和取向的一连串路点的虚拟图像。外科机器人系统1具有一旦被附接就能够立马唯一地标识每个工具(内窥镜和外科器械)并且在用户控制台2处的开放式或沉浸式显示器15上以及控制塔3上的触摸屏显示器上显示工具类型和臂位置。启用对应的工具功能并且可使用主UID 14和脚踏板13将其激活。患者侧助手可在整个规程中根据需要附接和拆卸工具。坐在用户控制台2处的外科医生可使用由两个主UID 14和脚踏板13控制的工具开始执行手术。系统通过主UID 14将外科医生的手部移动、腕部移动和手指移动转换成外科手术工具的精确实时移动。因此，系统会持续监控外科医生的每次外科手术操作，并且如果系统无法精确反映外科医生的手部运动，则会暂停器械移动。在外科手术期间，内窥镜从一个臂移动到另一臂的情况下，该系统可调节主UID 14以便器械校准，并继续器械控制和运动。脚踏板13可用于激活各种系统模式，诸如内窥镜控制和各种器械功能，包括单极烧灼和双极烧灼，而无需使外科医生的手移开主UID116。

台5可在术中重新定位。出于安全原因，所有刀头应当处于在用户控制台2处的外科医生的视野中并受其主动控制。必须移除未受外科医生主动控制的器械，并且必须锁定台脚。在台运动期间，集成机器人臂4可以被动地跟随台移动。音频提示和视觉提示可用于在台运动期间指导外科手术团队。音频提示可包括音调和语音提示。在用户控制台2和控制塔3处的显示器上的视觉消息传送可向外科手术团队通知台运动状态。

图2示出了根据本主题技术的各方面的增强现实头戴式耳机和外科机器人系统之间的信息交换，以供AR头戴式耳机基于使用图像传感器在AR头戴式耳机和外科机器人系统之间建立共同或全局坐标系来显示外科机器人系统的部件的空间、系统和时间信息。AR头戴式耳机可具有捕获真实场景对象的色彩和深度信息的一个或多个相机。例如，AR头戴式耳机可具有RGB和深度(RGBD)传感器以从AR头戴式耳机的佩戴者的角度捕获外科机器人系统1的臂4和台5的彩色图像和深度图像信息。因此，由AR头戴式耳机捕获的RGBD图像是基于AR头戴式耳机的坐标系的真实场景臂4和台5的图像。在一个实施方案中，AR头戴式耳机可运行对象识别算法以识别臂4和台5。外科机器人系统1可具有安装在各种位置处的一套RGBD传感器，以捕获臂4和台5的配置的彩色图像和深度信息。因此，由外科机器人系统1捕获的RGBD图像是基于外科机器人系统1的坐标系的臂4和5的图像。为了使AR头戴式耳机渲染与臂4和台5的实时真实场景位置和取向相匹配的臂4和台5的虚拟重建，或者渲染可与臂4和台5的实时真实场景位置和取向相融合的臂4和台5的虚拟图像，可在AR头戴式耳机和外科机器人系统1之间建立共同坐标系。在一个实施方案中，外科机器人系统1可具有其他类型的传感器诸如红外传感器，以捕获外科机器人系统1的臂4和台5或患者的图像和其他信息。

AR头戴式耳机可将RGBD图像(也称为点云)传输到外科机器人系统1诸如控制塔3以请求辅助分析点云。外科机器人系统1可处理来自AR头戴式耳机的经分析点云、由外科机器人系统1捕获的RGBD图像以及描述臂4和台5的位置和取向信息的实时数据流，以识别并在AR头戴式耳机的坐标系中虚拟地建立臂4和台5的3D位置和取向。因此，外科机器人系统1可在AR头戴式耳机和外科机器人系统1之间建立共同或全局坐标系。基于共同坐标系，外科机器人系统1可将信息传输到AR头戴式耳机以供AR头戴式耳机创建臂4和台5的与它们的实际位置和取向相匹配的3D虚拟模型，或者创建可臂4和台5的与它们的实时真实场景位置和取向相融合的3D虚拟模型。外科机器人系统1可将全局坐标系传输到AR头戴式耳机。

外科机器人系统1传输到AR头戴式耳机的信息可包括：臂4和台5的位置和取向的实时信息、从AR头戴式耳机接收的点云的分析结果、外科机器人系统1或手术室的部件的3D网格模型、外科机器人系统1的实时系统状态信息等。在一个实施方案中，实时系统状态信息可包括：臂4的关节角度和旋转程度、附接到臂4的工具的类型、工具抓持状态、活动工具能量、臂模式(例如，收起构型、准备位姿、离合模式、遥操作控制等)、故障诊断误差代码等。使用从外科机器人系统1接收的信息，AR头戴式耳机可将臂4、台5或外科机器人系统1或手术室的其他部件的虚拟图像渲染成与由AR头戴式耳机的坐标系中的RGBD传感器捕获的真实场景对象相融合。

同时定位和映射(SLAM)算法可在AR头戴式耳机上运行以定位AR头戴式耳机的位置和取向，使得外科机器人系统1的部件的虚拟图像在空间上固定以在佩戴者在手术室中四处移动时维持它们的虚拟位置和取向。例如，在AR头戴式耳机的坐标系相对于外科机器人系统1的坐标系改变时，臂4和台5的虚拟重建可与臂4和台5的实时真实场景位置和取向相匹配。除渲染外科机器人系统1的实时空间信息之外，使用从外科机器人系统1接收的状态信息，AR头戴式耳机可渲染外科机器人系统1的RGBD传感器和计算机视觉算法无法检测的实时系统信息。由AR头戴式耳机提供的外科机器人系统1的空间、系统和时间上下文敏感信息可用于指导佩戴者在外科手术之前、期间或之后对外科机器人系统1进行配置、操作或故障诊断。

图3示出了根据本主题技术的各方面的由增强现实头戴式耳机渲染的全息图，该全息图示出机器人臂的实际和目标位姿以指导医务人员将机器人臂移动到目标位姿。机器人臂可以盖布位姿延伸以进行无菌盖布。AR头戴式耳机可重建臂的虚拟图像(标记为真实臂)以与该臂处于盖布位姿的实时位置和取向相匹配。在一个实施方案中，AR头戴式耳机可投影由RGBD传感器捕获的真实场景臂。期望在术前设置期间诸如在将臂对接到套管针的操纵中，将臂移动到其在患者上方的准备位姿。

AR头戴式耳机可从外科机器人系统接收关于处于准备位姿的臂的目标位置和取向的信息，以供AR头戴式耳机渲染处于准备位姿的臂的虚拟图像(标记为虚拟臂)。在AR头戴式耳机的坐标系由于佩戴者的移动而改变时，真实臂的图像和虚拟臂的图像可维持它们的相对位姿。在一个实施方案中，如果臂要从其当前盖布位姿机器人式移动到准备位姿，则AR头戴式耳机可从外科机器人系统接收关于由机器人控制算法生成以用于移动臂的轨迹的信息。在臂由机器人控制算法沿着从盖布位姿到准备位姿的轨迹指导时，AR头戴式耳机可生成该臂的一连串虚拟图像。佩戴AR头戴式耳机的床边人员可在命令外科机器人系统执行机器人控制算法以移动臂之前确认臂可沿着轨迹不受潜在障碍物阻碍地移动。

在一个实施方案中，如果臂要手动移动到准备位姿，则AR头戴式耳机可从外科机器人系统接收关于用于移动臂以避免碰撞其他障碍物、患者、床边人员、台、其他臂等的推荐轨迹的信息。AR头戴式耳机可生成一连串路点以指导床边人员如何移动臂。当机器人式移动臂时，路点可被渲染为臂的一连串虚拟图像。床边人员可操纵臂以沿着推荐轨迹与臂的虚拟图像对准并且最终进入目标位姿中。

图4示出了根据本主题技术的各方面的机器人臂的实际位姿和目标位姿，这些位姿可用于生成如在增强现实头戴式耳机上渲染的路点以指导医务人员将机器人臂从实际位姿移动到目标位姿。处于其当前位姿309的臂可被渲染为虚拟图像或者被投影为由RGBD传感器捕获的真实场景对象。该臂还被渲染为处于其目标位姿的虚拟臂311。臂将沿着轨迹310移动到虚拟臂311的目标位姿。AR头戴式耳机可在与其当前位姿309中的臂相同的锚定/安装点处渲染虚拟臂311，从而给予真实和虚拟机器人臂共同的锚定参考点。在一个实施方案中，AR头戴式耳机可将轨迹310渲染为一连串路点或臂的一连串虚拟图像。佩戴AR头戴式耳机的床边人员可操纵臂从当前位姿309沿着路点或与轨迹310的虚拟图像对准，直到臂最终与处于其目标位姿的虚拟臂311对准。当臂处于目标位姿或在目标位姿的容限内时，AR头戴式耳机可利用指示诸如通过突出显示臂对用户作出响应。AR头戴式耳机还可渲染视觉提示或生成音频提示以帮助用户沿着轨迹310操纵臂。

在一个实施方案中，AR头戴式耳机可提供上下文敏感信息以指导用户将一臂移动离开其他臂的路径。例如，在外科手术之前或在外科手术期间，当外科医生仅使用三个臂以进行外科手术时，AR头戴式耳机可突出显示第4臂上的“释放臂移动”按钮以供床边人员将臂从其准备或预对接位姿脱离并且将臂安全地移动远离三个其他臂和床5。

在一个实施方案中，AR头戴式耳机可提供关于外科手术工具是否已被正确地连接到臂4的信息以及其他上下文敏感故障诊断信息。例如，AR头戴式耳机可从外科机器人系统1接收关于附接到臂4的工具的类型以及附接有工具的臂4的标识的系统状态信息。当工具已经适当地附接到臂时，AR头戴式耳机可以蓝色突出显示臂或工具以向用户可视地指示该工具是可操作的。当臂或附接到臂上的工具未以蓝色突出显示或以红色突出显示时，警告用户对不正确安装的工具进行故障诊断。在一个实施方案中，AR头戴式耳机可显示故障诊断代码或生成音频指导以辅助用户诊断问题。

在一个实施方案中，AR头戴式耳机可向床边人员提供关于如何处理紧急情况的指导。例如，如果患者的生命体征急剧下降并且机器人臂4必须快速移动远离患者以允许干预措施，则AR头戴式耳机可向床边人员提供危急指导。AR头戴式耳机可从外科机器人系统1接收关于操作序列的指令，以释放工具、使臂4从对接位置脱离并且操纵臂4远离患者。AR头戴式耳机可使用上下文敏感实时信息(诸如，突出显示臂4上的按钮、显示文本或提供关于如何快速地移动臂4而不对患者、其他装备或床边人员造成伤害的其他类型的视觉或音频指令)来指导床边人员完成操作序列。因此，AR头戴式耳机可提供关于可能已被床边人员遗忘的紧急规程的指导，从而消除在紧急情况下可能由用户混淆或错误导致的事故。

在一个实施方案中，AR头戴式耳机可显示当前位姿的影响，诸如提供关于臂4或附接到臂4的工具的工作空间的信息。在臂4或工具当前被定位和定向时，AR头戴式耳机可从外科机器人系统1接收关于臂4或工具的最大和最小可达距离的信息。AR头戴式耳机可渲染工作空间体积的图像以帮助床边人员以更高的精度定位臂4或工具。在一个实施方案中，AR头戴式耳机可从外科机器人系统1接收患者的3D扫描。AR头戴式耳机可基于3D扫描渲染套管针的图像，以指导床边人员定位臂以与套管针对接。

图5示出了根据本主题技术的各方面的由AR头戴式耳机渲染的全息图，该全息图突出显示机器人臂的工作空间和附接的内窥镜以帮助医务人员定位机器人臂。全息图可指导用户定位臂和内窥镜以在设置外科手术的起始位置时提供相机可视化。全息图可显示相对于内窥镜的位置和取向的视角和来自相机的视频流。

图6示出了根据本主题技术的各方面的增强现实头戴式耳机和外科机器人系统1之间的信息交换，以供增强现实头戴式耳机基于使用固定基准标记在增强现实头戴式耳机和外科机器人系统1之间建立共同坐标系来在增强现实头戴式耳机的坐标系中显示外科机器人系统1的部件的空间、系统和时间信息。相比于图2的外科机器人系统1，图6的外科机器人系统1缺少捕获外科机器人系统1的图像的一套RGBD传感器，这些图像可用来自头戴式耳机的RGBD传感器的点云来分析以在AR头戴式耳机和外科机器人系统1之间建立共同坐标系。

而是，为了在AR头戴式耳机的坐标系中建立臂4和台5的位置和取向信息，AR头戴式耳机可捕获床5上的一个或多个预定且固定基准标记。在一个实施方案中，基准标记可以是QR码。基准标记的位置可基于外科机器人系统1的坐标系来获知。通过基于外科机器人系统1的坐标系中的基准标记的固定位置的知识来分析AR头戴式耳机的坐标系中的基准标记的RGBD图像，AR头戴式耳机可在AR头戴式耳机和外科机器人系统1之间建立共同坐标系。在一个实施方案中，AR头戴式耳机可将基准标记的点云传输到外科机器人系统1，以供外科机器人系统1建立共同坐标系。在一个实施方案中，AR头戴式耳机可对外科机器人系统1的RGBD图像运行对象识别算法以识别臂4和台5。在一个实施方案中，外科机器人系统1可具有图2的该套RGBD传感器和固定基准标记两者。由AR头戴式耳机的RGBD传感器捕获的基准标记的图像以及臂4和台5的图像可与由外科机器人系统1的RGBD传感器捕获的图像进行串联分析，以在AR头戴式耳机和外科机器人系统1之间建立共同坐标系。

一旦建立了共同坐标系，外科机器人系统1就可将信息传输到AR头戴式耳机以供AR头戴式耳机创建臂4和台5的与它们的实际位置和取向相匹配的3D虚拟模型，或者创建臂4和台5的可与它们的实时真实场景位置和取向融合的3D虚拟模型。在一个实施方案中，外科机器人系统1可向AR头戴式耳机传输臂4和台5的位置和取向的实时信息、外科机器人系统1或手术室的部件的3D网格模型、外科机器人系统1的实时系统状态信息等。

在AR头戴式耳机的坐标系相对于外科机器人系统1改变时，在AR头戴式耳机上运行的SLAM算法可定位外科机器人系统1的臂4、台5和其他部件的虚拟位置和取向。AR头戴式耳机可基于从外科机器人系统1接收的实时信息来渲染臂4和台5的上下文敏感信息。上下文敏感信息可相对于臂4和台5定位以指导佩戴者在手术之前、期间或之后对外科机器人系统1进行配置、操作或故障诊断。

AR头戴式耳机可提供其他特征，诸如Web门户(例如，浏览器)，并且可显示信息，诸如病例设置、外科医生偏好卡、器械寿命、归档、用于归档的来自内窥镜的快照、用于归档的患者的照片、患者数据等。其他特征可包括：使用麦克风、扬声器、后置网络摄像头的电话会议；使用指纹读取器和/或NFC读卡器的用户身份验证；使用蓝牙和WiFi进行以监测连接的信号强度并在界面装置过远时触发警报的对AR头戴式耳机到控制塔3的范围检测。

图7是示出根据本主题技术的各方面的AR头戴式耳机60和外科机器人系统的示例性硬件部件的框图。外科机器人系统可包括外科机器人80和控制塔70。外科机器人系统可包括其他或附加的硬件部件；因此，以示例的方式提供该图，而并非是对系统架构的限制。

AR头戴式耳机60包括相机51、传感器52、显示器53、用户命令界面54、处理器55、存储器56和网络接口57。相机51和传感器52可配置为RGBD传感器以捕获外科机器人系统的彩色图像和深度图像信息。由相机51和传感器52捕获的图像或由AR头戴式耳机60渲染的虚拟图像可投影在显示器53上。

处理器55可被配置为运行图像处理算法以处理由相机51和传感器52捕获的图像，从而自动标识外科机器人80的部件诸如臂4或床5。在一个实施方案中，基于从外科机器人系统(例如，控制塔70)接收的实时系统状态信息以及AR头戴式耳机60和外科机器人80之间的共同坐标系，处理器55可被配置为创建外科机器人80的部件的与它们的实际位置和取向相匹配的3D虚拟模型，或创建可外科机器人80的部件的与它们的实时真实场景位置和取向相融合的3D虚拟模型。在一个实施方案中，在AR头戴式耳机60的坐标系相对于外科机器人80的坐标系改变时，处理器55可运行SLAM算法以定位外科机器人80的部件的虚拟位置和取向。处理器55可被配置成运行操作系统以控制界面设备50的操作。存储器56可存储处理器55所使用的图像处理算法、虚拟图像渲染算法、SLAM算法、操作系统、程序代码和其他数据存储器。

用户命令界面54可包括用于其他特征诸如Web门户的接口。硬件部件可经由总线通信。界面设备可使用网络接口57通过外部接口58与外科机器人系统通信。外部接口58可以是无线或有线接口。

控制塔70可以是容纳触摸屏显示器的移动现场护理推车、控制外科医生通过机器人辅助操纵器械的计算机、用于在外科机器人80和AR头戴式耳机60之间建立共同坐标系的计算机、安全系统、图形用户界面(GUI)、光源以及视频计算机和图形计算机。控制塔70可包括中央计算机71(至少可包括可视化计算机、控制计算机和辅助计算机)、各种显示器73(可包括团队显示器和护士显示器)和将控制塔70耦接到AR头戴式耳机60和外科机器人80两者的网络接口78。控制塔70还可容纳第三方设备，诸如高级光引擎72、电外科发生器装置(ESU)74以及吹入器和CO2罐75。控制塔70可为用户方便提供附加功能，诸如护士显示触摸屏、软电源和E保持按钮、用于视频和静止图像的面向用户的USB以及电子脚轮控制接口。辅助计算机还可运行实时Linux，从而提供日志记录/监测以及与基于云的web服务的交互。

外科机器人80包括具有多个集成臂82的关节运动式手术台84，多个集成臂可定位在目标患者解剖结构上方。可将一组兼容工具83附接到/拆卸离开臂82的远侧端部，使得外科医生能够执行各种外科规程。外科机器人80还可包括用于手动控制臂82、手术台84和工具83的控制接口85。控制接口85可包括诸如但不限于遥控器、按钮、面板和触摸屏等物品。可还操纵其他附件诸如套管针(套管、密封药筒和填塞器)和盖布，以使用系统执行手术。在一个实施方案中，多个臂82可包括安装在手术台84的两侧上的四个臂，其中每侧上具有两个臂。对于特定的外科规程，安装在手术台84的一侧上的臂可通过在手术台84和安装在另一侧上的臂下方拉伸和交叉而定位在手术台84的另一侧上，从而总共三个臂定位在手术台84的相同侧上。外科工具还可包括台计算机81和网络接口88，该网络接口可将外科机器人80放置在与控制塔70通信的位置。

图8是示出根据本主题技术的各方面的外科机器人系统与AR头戴式耳机交换信息以在AR头戴式耳机和外科机器人系统之间建立共同坐标系并且将外科机器人系统的部件的空间、系统和时间信息传输到AR头戴式耳机以用于将部件和系统信息渲染为虚拟图像的方法的流程图800。外科机器人系统可以是图2、图6或图7的外科机器人系统。

在框801中，外科机器人系统接收由AR头戴式耳机捕获的图像数据。在一个实施方案中，图像数据可以是由AR头戴式耳机的RGBD传感器捕获的外科机器人系统的臂和台的RGBD图像数据。该图像数据基于AR头戴式耳机的坐标系。

在框803中，外科机器人系统接收由外科机器人系统捕获的图像数据。在一个实施方案中，图像数据可以是由外科机器人系统的RGBD传感器捕获的外科机器人系统的臂和台的RGBD图像数据。该图像数据基于外科机器人系统的坐标系。

在框805中，外科机器人系统基于来自AR头戴式耳机的图像数据和由外科机器人系统捕获的图像数据来在AR头戴式耳机和外科机器人系统之间建立共同坐标系。在一个实施方案中，外科机器人系统可处理来自AR头戴式耳机的基于AR头戴式耳机的坐标系的臂和台的图像数据、由外科机器人系统捕获的基于外科机器人系统的坐标系的臂和台的图像数据以及描述臂和台的位置和取向信息的实时数据流，以识别并在AR头戴式耳机的坐标系中虚拟地建立臂和台的3D位置和取向。

在框807中，外科机器人系统向AR头戴式耳机传输外科机器人系统基于共同坐标系的实时信息，以使得AR头戴式耳机能够在AR头戴式耳机的坐标系中创建外科机器人系统的部件的3D虚拟模型。在一个实施方案中，外科机器人系统的实时信息可包括：臂和台的位置和取向的实时信息、从AR头戴式耳机接收的图像数据的分析结果、外科机器人系统的部件的3D网格模型、外科机器人系统的实时系统状态信息等。在一个实施方案中，外科机器人系统的实时系统状态信息可包括：臂的关节角度和旋转程度、附接到臂的工具的类型、工具抓持状态、活动工具能量、臂模式、故障诊断误差代码等。AR头戴式耳机可创建与臂和台的实际位置和取向相匹配的臂和台的3D虚拟模型、可与臂和台的实时真实场景位置和取向相融合的臂和台的目标位置和取向的3D虚拟模型或者关于臂和台的其他上下文敏感信息。

由外科机器人系统传输到AR头戴式耳机的外科机器人系统基于共同坐标系的实时信息可由AR头戴式耳机用来在AR头戴式耳机的坐标系相对于外科机器人系统改变时维持外科机器人系统的部件诸如臂和台的位置和取向。在一个实施方案中，SLAM算法可在AR头戴式耳机上运行以定位AR头戴式耳机的位置和取向，使得外科机器人系统的部件的虚拟图像在空间上固定以在佩戴者在手术室中四处移动时维持它们的虚拟位置和取向。例如，在AR头戴式耳机的坐标系相对于外科机器人系统的坐标系改变时，臂和台的虚拟重建可与臂和台的实时真实场景位置和取向相匹配。

图9是示出根据本主题技术的各方面的AR头戴式耳机在AR头戴式耳机和外科机器人系统之间建立共同坐标系并且接收外科机器人系统的部件的空间、系统和时间信息以用于将部件和系统信息渲染为虚拟图像的方法900的流程图。AR头戴式耳机可以是图2、图6或图7的AR头戴式耳机。。

在框901中，AR头戴式耳机捕获外科机器人系统的图像数据。在一个实施方案中，图像数据可以是由AR头戴式耳机的RGBD传感器捕获的外科机器人系统的臂和台的RGBD图像数据。在一个实施方案中，图像数据可以是显示在外科机器人系统上的预定且固定基准标记(例如，QR码)的RGBD图像数据。图像数据基于AR头戴式耳机的坐标系。

在框903中，AR头戴式耳机基于所捕获的图像数据来在AR头戴式耳机的坐标系中建立外科机器人系统的3D位置和取向。可建立针对AR头戴式耳机和外科机器人系统的全局坐标系，以便在AR头戴式耳机的坐标系中创建或渲染外科机器人系统的虚拟部件。在一个实施方案中，AR头戴式耳机可将外科机器人系统的臂和台的RGBD图像数据传输到外科机器人系统。外科机器人系统可基于来自AR头戴式耳机的基于AR头戴式耳机的坐标系的臂和台的图像数据、由外科机器人系统捕获的基于外科机器人系统的坐标系的臂和台的图像数据以及描述臂和台的位置和取向信息的实时数据流来在AR头戴式耳机和外科机器人系统之间建立共同坐标系。

在一个实施方案中，AR头戴式耳机可基于外科机器人系统的坐标系中的基准标记的固定位置的知识来分析AR头戴式耳机的坐标系中的基准标记的RGBD图像，以在AR头戴式耳机和外科机器人系统之间建立共同坐标系。

在框905中，AR头戴式耳机从外科机器人系统接收外科机器人系统的实时信息。在一个实施方案中，外科机器人系统的实时信息可包括：臂和台的位置和取向的实时信息、从AR头戴式耳机接收的图像数据的分析结果、外科机器人系统的部件的3D网格模型、外科机器人系统的实时系统状态信息等。在一个实施方案中，外科机器人系统的实时系统状态信息可包括：臂的关节角度和旋转程度、附接到臂的工具的类型、工具抓持状态、活动工具能量、臂模式、故障诊断误差代码等。在一个实施方案中，如果外科机器人系统在AR头戴式耳机和外科机器人系统之间建立了共同坐标系，则从外科机器人系统接收的信息可能已由外科机器人系统转换到AR头戴式耳机的坐标系。在一个实施方案中，如果AR头戴式耳机使用基准标记在AR头戴式耳机和外科机器人系统之间建立共同坐标系，则从外科机器人系统接收的信息可位于外科机器人系统的坐标系中。AR头戴式耳机可基于共同坐标系将来自外科机器人系统的坐标系的信息转换到AR头戴式耳机的坐标系。

在框907中，AR头戴式耳机可基于所接收的信息在AR头戴式耳机的坐标系中创建外科机器人系统的部件的3D虚拟模型。在一个实施方案中，AR头戴式耳机可创建臂和台的与它们的实际位置和取向相匹配的3D虚拟模型、臂和台的可与它们的实时真实场景位置和取向相融合的目标位置和取向的3D虚拟模型或者关于臂和台的其他上下文敏感信息。在一个实施方案中，上下文敏感信息可相对于臂和台5定位以指导佩戴者在手术之前、期间或之后对外科机器人系统进行配置、操作或故障诊断。

在框909中，在AR头戴式耳机的坐标系相对于外科机器人系统改变时，AR头戴式耳机维持外科机器人系统的部件诸如臂和台的位置和取向。在一个实施方案中，SLAM算法可在AR头戴式耳机上运行以定位AR头戴式耳机的位置和取向，使得外科机器人系统的部件的虚拟图像在空间上固定以在佩戴者在手术室中四处移动时维持它们的虚拟位置和取向。例如，在AR头戴式耳机的坐标系相对于外科机器人系统的坐标系改变时，臂和台的虚拟重建可与臂和台的实时真实场景位置和取向相匹配。

出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用。因此，这些实施方案使得本领域的其他技术人员能够最好地利用本发明以及经过适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。

可按多种不同的方式和硬件和软件的多种不同组合来实现上述方法、设备、处理和逻辑部件。控制器和估计器可包括电子电路。例如，实施方式的全部或部分可以是电路，该电路包括指令处理器，诸如中央处理单元(CPU)、微控制器或微处理器；专用集成电路(ASIC)、可编程逻辑设备(PLD)或现场可编程门阵列(FPGA)；或包括分立逻辑部件或其他电路部件(包括模拟电路部件、数字电路部件或两者)的电路；或它们的任何组合。作为示例，该电路可包括分立互连的硬件部件，并且/或者可组合在单个集成电路管芯上，分布在多个集成电路管芯之间，或者在共同封装中的多个集成电路管芯的多芯片模块(MCM)中实现。

该电路还可包括或访问由电路执行的指令。该指令可存储在除瞬态信号之外的有形存储介质中，诸如闪存存储器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)；或在磁盘或光盘上，诸如光盘只读存储器(CDROM)、硬盘驱动器(HDD)或其他磁盘或光盘上；或在另一机器可读介质之中或之上。产品(诸如计算机程序产品)可包括存储介质和存储在该介质中或介质上的指令，并且该指令在由设备中的电路执行时可使得该设备实现上文所述或附图所示的任何处理。

这些实施方式可作为电路分布在多个系统部件之间，诸如在多个处理器和存储器之间，可选地包括多个分布式处理系统。可将参数、数据库和其他数据结构单独存储和管理，可将其结合到单个存储器或数据库中，可以多种不同的方式在逻辑上和物理上对其进行组织，并且可以多种不同的方式实现，包括作为数据结构，诸如链接表、散列表、阵列、记录、对象或隐式存储机构。程序可以是单个程序的部分(例如，子例程)、独立的程序、跨多个存储器和处理器分布、或以多种不同方式实现，诸如在库中，诸如共享库(例如，动态链接库(DLL))。例如，当由电路执行时，该DLL可存储执行上文所述或附图所示的任何处理的指令。

另外，本文所讨论的各种控制器可采用例如处理电路、微处理器或处理器以及存储可由(微)处理器执行的计算机可读程序代码(例如，固件)的计算机可读介质、逻辑门电路、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入式微控制器的形式。控制器可配置有硬件和/或固件以执行下文所述和流程图中所示的各种功能。另外，被示出为在控制器内部的一些部件也可存储在控制器外部，并且可使用其他部件。

Claims (20)

1.一种用于外科机器人系统的增强现实(AR)装置，包括：

传感器，所述传感器被配置为捕获所述外科机器人系统的第一部件的图像数据；

处理器，所述处理器被配置成：

基于所述图像数据来针对所述AR装置和所述外科机器人系统建立全局坐标系，以便在所述AR装置的坐标系中创建所述外科机器人系统的虚拟部件；

接收所述外科机器人系统的空间信息和实时系统状态信息；以及

基于所述外科机器人系统的所述空间信息和所述实时系统状态信息并且基于所述全局坐标系来在所述AR装置的所述坐标系中创建所述外科机器人系统的第二部件的3D虚拟模型；

以及

显示器，所述显示器被配置为呈现所述外科机器人系统的所述第二部件的所述3D虚拟模型。

2.根据权利要求1所述的AR装置，其中所述处理器被配置为针对所述AR装置和所述外科机器人系统来建立所述全局坐标系包括：

由所述AR装置将所述第一部件的所述图像数据传输到所述外科机器人系统，以供所述外科机器人系统针对所述AR装置的所述坐标系和所述外科机器人系统的坐标系来建立所述全局坐标系。

3.根据权利要求2所述的AR装置，其中所述外科机器人系统的所述空间信息是在所述AR装置的所述坐标系中接收的。

4.根据权利要求1所述的AR装置，其中所述外科机器人系统的所述第一部件是所述外科机器人系统的基准标记，并且其中所述处理器被配置为针对所述AR装置和所述外科机器人系统来建立所述全局坐标系包括：

基于所述外科机器人系统的坐标系中的所述基准标记的固定位置来分析所述基准标记的图像数据，以针对所述外科机器人系统的所述坐标系针对所述AR装置的所述坐标系来建立所述全局坐标系。

5.根据权利要求4所述的AR装置，其中所述外科机器人系统的所述空间信息包括所述第二部件在所述外科机器人系统的所述坐标系中的空间信息，并且其中所述处理器被配置为在所述AR装置的所述坐标系中创建所述外科机器人系统的所述第二部件的所述3D虚拟模型包括：

基于所述全局坐标系来将所述第二部件在所述外科机器人系统的所述坐标系中的所述空间信息转换到所述AR装置的所述坐标系。

6.根据权利要求1所述的AR装置，还包括：所述处理器被配置为在所述AR装置的所述坐标系相对于所述外科机器人系统的坐标系改变时维持所述外科机器人系统的所述第二部件的所述3D虚拟模型的位置和取向。

7.根据权利要求1所述的AR装置，其中所述外科机器人系统的所述空间信息包括所述第二部件的空间信息，并且其中所述处理器被配置为创建所述第二部件的所述3D虚拟模型包括：

基于所述第二部件的所述空间信息来在所述AR装置的所述坐标系中创建所述外科机器人系统的所述第二部件的位置和取向，其中所述第二部件在所述AR装置的所述坐标系中的所述位置和所述取向与所述第二部件的实际位置和取向或所述第二部件的目标位置和取向相匹配。

8.根据权利要求7所述的AR装置，其中所述外科机器人系统的所述实时系统状态信息包括所述第二部件的实时系统状态信息，并且其中所述处理器被配置为创建所述第二部件的所述3D虚拟模型还包括：

基于所述第二部件的所述实时系统状态信息来创建所述外科机器人系统的所述第二部件的上下文敏感信息。

9.根据权利要求1所述的AR装置，其中所述外科机器人系统的所述第二部件包括所述外科机器人系统的机器人臂或手术台。

10.根据权利要求9所述的AR装置，其中所述第二部件的所述3D虚拟模型包括：

所述机器人臂或所述手术台的位置和取向的3D虚拟渲染；以及

所述机器人臂或所述手术台的所述实时系统状态信息的视觉或听觉通信。

11.一种用于与外科机器人系统交互的方法，包括：

使用增强现实(AR)头戴式耳机来捕获所述外科机器人系统的第一部件的图像数据；

基于所述图像数据并且基于针对所述AR头戴式耳机并针对所述外科机器人系统的全局坐标系来在所述AR头戴式耳机的坐标系中建立所述外科机器人系统的三维(3D)位置和取向；

由所述AR头戴式耳机接收所述外科机器人系统的空间信息和实时系统状态信息；

由所述AR头戴式耳机基于所述外科机器人系统的所述空间信息和所述实时系统状态信息、所述外科机器人系统在所述AR头戴式耳机的所述坐标系中的所述3D位置和取向以及所述全局坐标系来在所述AR头戴式耳机的所述坐标系中创建所述外科机器人系统的第二部件的3D虚拟模型；以及

在所述AR装置的所述坐标系相对于所述外科机器人系统的坐标系改变时维持所述外科机器人系统的所述第二部件的所述3D虚拟模型。

12.根据权利要求11所述的方法，其中在所述AR头戴式耳机的所述坐标系中建立所述外科机器人系统的所述3D位置和取向包括：

将所述第一部件的所述图像数据传输到所述外科机器人系统，以供所述外科机器人系统针对所述AR头戴式耳机的所述坐标系和所述外科机器人系统的坐标系来建立所述全局坐标系。

13.根据权利要求11所述的方法，其中所述外科机器人系统的所述第一部件是所述外科机器人系统的基准标记，并且其中在所述AR头戴式耳机的所述坐标系中建立所述外科机器人系统的所述3D位置和取向包括：

基于所述外科机器人系统的坐标系中的所述基准标记的固定位置来分析所述基准标记的图像数据，以针对所述AR装置的所述坐标系和所述外科机器人系统的所述坐标系来建立所述全局坐标系。

14.根据权利要求11所述的方法，其中所述外科机器人系统的所述空间信息包括所述第二部件的空间信息，并且其中创建所述第二部件的所述3D虚拟模型包括：

基于所述第二部件的所述空间信息来在所述AR装置的所述坐标系中渲染所述外科机器人系统的所述第二部件，其中在所述AR装置的所述坐标系中渲染的所述第二部件的位置和取向与所述第二部件的实际位置和取向或所述第二部件的目标位置和取向相匹配。

15.根据权利要求14所述的方法，其中所述外科机器人系统的所述实时系统状态信息包括所述第二部件的实时系统状态信息，并且其中创建所述第二部件的所述3D虚拟模型还包括：

基于所述第二部件的所述实时系统状态信息来渲染所述外科机器人系统的所述第二部件的上下文敏感信息。

16.根据权利要求11所述的方法，其中所述外科机器人系统的所述第二部件包括所述外科机器人系统的机器人臂或手术台。

17.根据权利要求16所述的方法，其中所述外科机器人系统的所述第二部件的所述3D虚拟模型提供关于手动或自动操纵所述外科机器人系统的所述臂的实时指导。

18.根据权利要求16所述的方法，其中所述外科机器人系统的所述第二部件的所述3D虚拟模型提供所述外科机器人系统的所述臂的工作空间的实时渲染。

19.一种外科机器人系统，包括：

手术台；

多个机器人臂，所述多个机器人臂被耦接至所述手术台；

处理器，所述处理器通信地耦接到所述手术台、所述多个机器人臂和增强现实(AR)头戴式耳机；以及

所述AR头戴式耳机，所述AR头戴式耳机被配置为：

捕获所述手术台或所述多个机器人臂中的一个或多个机器人臂的图像数据；

与所述处理器协作以基于所述图像数据来针对所述AR装置并且针对所述手术台或所述多个机器人臂建立全局坐标系；

从所述处理器接收所述手术台或所述多个机器人臂的空间信息和实时系统状态信息；

基于所述空间信息和所述实时系统状态信息并且基于所述全局坐标系来在所述AR装置的坐标系中创建所述手术台或所述多个机器人臂中的所述一个或多个机器人臂的3D虚拟模型；以及

显示所述手术台或所述多个机器人臂中的所述一个或多个机器人臂的所述3D虚拟模型。

20.根据权利要求19所述的外科机器人系统，其中所述手术台或所述多个机器人臂中的所述一个或多个机器人臂的所述3D虚拟模型包括所述手术台或所述机器人臂的上下文敏感实时信息，以帮助所述外科机器人系统的用户对所述手术台或所述机器人臂进行操纵或故障诊断。