CN109791801A - 机器人外科手术系统中的虚拟现实训练、模拟和协作 - Google Patents

Abstract

本发明题为“机器人外科手术系统中的虚拟现实训练、模拟和协作”。本文描述了一种虚拟现实系统，该虚拟现实系统提供虚拟机器人外科手术环境，以及用于使用所述虚拟现实系统的方法。在所述虚拟现实系统内，各种用户模式实现在用户与所述虚拟机器人外科手术环境之间的不同种类的交互。例如，用于促进虚拟机器人外科手术环境的导航的方法的一种变型形式包括从第一有利位置显示所述虚拟机器人外科手术环境的第一人称透视图，从第二有利位置显示所述虚拟机器人外科手术环境的第一窗口视图，以及从第三有利位置显示所述虚拟机器人外科手术环境的第二窗口视图。另外，响应于将所述第一窗口视图和所述第二窗口视图相关联的用户输入，可生成在所述第二有利位置与所述第三有利位置之间的轨线，顺序地链接所述第一窗口视图和所述第二窗口视图。

Description

机器人外科手术系统中的虚拟现实训练、模拟和协作

交叉引用和相关申请

本申请要求2017年6月29日提交的美国临时专利申请序列号62/526,919的优先权，该申请据此全文以引用方式并入本文。

技术领域

本发明整体涉及机器人外科手术的领域，并且更具体地讲，涉及用于提供虚拟机器人外科手术环境的新的且有用的系统和方法。

背景技术

微创外科(MIS)诸如腹腔镜式外科手术涉及旨在外科手术规程期间减少组织损伤的技术。例如，腹腔镜式规程通常涉及在患者内(例如，在腹腔中)产生多个小切口，并且通过切口将一个或多个外科手术器械(例如，端部执行器，至少一个摄像机等)引入到患者中。然后可使用引入的外科手术器械执行外科手术规程，其中可视化辅助由摄像机提供。

一般来讲，MIS提供多种益处，诸如减少患者瘢痕、减轻患者疼痛、缩短患者恢复期并且降低与患者恢复相关联的医疗费用。在一些实施方案中，MIS可用机器人系统来执行，该机器人系统包括用于基于来自操作者的命令操纵外科手术器械的一个或多个机器人臂。例如，机器人臂可在其远侧端部处支撑各种装置，诸如外科手术端部执行器、成像装置、用于提供进入患者的体腔和器官的套管等。

机器人外科手术系统通常是执行复杂规程的复杂系统。因此，用户(例如，外科医生)通常可能需要大量的训练和经验来成功地操作机器人外科手术系统。此类训练和经验有利于有效地规划MIS规程的细节(例如，确定机器人臂的最佳数量、位置和取向，确定切口的最佳数量和位置，确定外科手术器械的最佳类型和大小，确定规程中的动作顺序等)。

另外，机器人外科手术系统的设计过程也可能是复杂的。例如，硬件(例如，机器人臂)的改进被原型化为物理实施方案并且进行物理测试。软件(例如，用于机器人臂的控制算法)的改进也可能需要物理实施方案。这样的循环原型设计和测试通常是累积地昂贵且耗时的。

发明内容

一般来讲，用于提供虚拟机器人外科手术环境的虚拟现实系统可包括用于生成虚拟机器人外科手术环境的虚拟现实处理器(例如，实现存储在存储器中的指令的计算机中的处理器)，可由用户穿戴的头戴式显示器，以及可由用户操纵以用于与虚拟机器人外科手术环境交互的一个或多个手持控制器。在一些变型形式中，虚拟现实处理器可被配置为基于描述虚拟环境中的虚拟部件(例如，虚拟机器人部件)的至少一个预定配置文件生成虚拟机器人外科手术环境。头戴式显示器可包括用于(例如，以虚拟环境的第一人称透视图)向用户显示虚拟机器人外科手术环境的沉浸式显示器。在一些变型形式中，虚拟现实系统可除此之外或作为另外一种选择包括用于显示虚拟机器人外科手术环境的外部显示器。如果两者都存在，则沉浸式显示器和外部显示器可被同步以显示相同或相似的内容。虚拟现实系统可被配置为生成虚拟机器人外科手术环境，在该虚拟机器人外科手术环境内，用户可在虚拟手术室周围导航并且经由头戴式显示器和/或手持控制器与虚拟对象交互。在包括但不限于多人间训练、模拟和/或协作的应用程序中，虚拟现实系统(及其变型形式，如本文中进一步所述的)可用作关于机器人外科手术的有用工具。

在一些变型形式中，虚拟现实系统可与真实或实际(非虚拟)手术室配合。虚拟现实系统可实现机器人外科手术环境的可视化，并且可包括虚拟现实处理器，该虚拟现实处理器被配置为生成虚拟机器人外科手术环境，该虚拟机器人外科手术环境包括至少一个虚拟机器人部件，以及机器人外科手术环境中的至少一个传感器。传感器可与虚拟现实处理器通信并且被配置为检测与虚拟机器人部件对应的机器人部件的状态。虚拟现实处理器被配置为接收机器人部件的检测到的状态，并且至少部分地基于检测到的状态来修改虚拟机器人部件，使得虚拟机器人部件模仿机器人部件。

例如，用户可经由与真实手术室配合的虚拟现实系统来监视真实手术室中的实际机器人外科手术规程(例如，用户可与反映真实手术室中的状况的虚拟现实环境交互)。可将在外科手术规程期间检测到的机器人部件的位置与其在虚拟环境中从外科手术预先规划确定的预期位置进行比较，使得外科手术规划的偏差可触发外科医生执行调整以避免碰撞(例如，改变机器人臂的姿势等)。

在一些变型形式中，一个或多个传感器可被配置为检测机器人部件的特性或状态，诸如位置、取向、速率和/或速度。作为例示性示例，机器人外科手术环境中的一个或多个传感器可被配置为检测机器人部件(诸如机器人臂)的位置和/或取向。机器人臂的位置和取向可被馈送到虚拟现实处理器，该虚拟现实处理器移动或以其它方式修改对应于实际机器人臂的虚拟机器人臂。因此，观看虚拟机器人外科手术环境的用户可使经调整的虚拟机器人臂可视化。作为另一个例示性示例，一个或多个传感器可被配置为检测涉及机器人外科手术环境中的机器人部件的碰撞，并且系统可提供警报以通知用户碰撞的发生。

在虚拟现实系统内，各种用户模式实现在用户与虚拟机器人外科手术环境之间的不同种类的交互。例如，用于促进虚拟机器人外科手术环境的导航的方法的一种变型形式包括从在虚拟机器人外科手术环境内的第一有利位置显示虚拟机器人外科手术环境的第一人称透视图，从第二有利位置显示虚拟机器人外科手术环境的第一窗口视图，以及从第三有利位置显示虚拟机器人外科手术环境的第二窗口视图。第一窗口视图和第二窗口视图可被显示在所显示的第一人称透视图的相应区域中。另外，该方法可包括响应于将第一窗口视图和第二窗口视图相关联的用户输入，顺序地链接第一窗口视图和第二窗口视图以生成在第二有利位置与第三有利位置之间的轨线。虚拟机器人外科手术环境的窗口视图可以不同比例因子(例如，“缩放”级别)显示，并且可从虚拟环境中的任何合适的有利位置(诸如在虚拟患者内，在虚拟患者头顶上等)提供虚拟环境的视图。

响应于指示特定窗口视图的选择的用户输入，方法可包括从所选择的窗口视图的有利位置显示虚拟环境的新第一人称透视图。换句话讲，窗口视图可例如作为促进在虚拟环境内的不同有利位置之间的运输的入口来操作。

作为在用户与虚拟机器人外科手术环境之间的用户交互的另一个示例，用于促进虚拟机器人外科手术环境的可视化的方法的一种变型形式包括从在虚拟机器人外科手术环境内的第一有利位置显示虚拟机器人外科手术环境的第一人称透视图；接收指示虚拟摄像机在虚拟机器人外科手术环境内的不同于第一有利位置的第二有利位置处的放置的用户输入；从第二有利位置生成虚拟机器人外科手术环境的虚拟摄像机透视图；以及在所显示的第一人称透视图的区域中显示虚拟摄像机透视图。摄像机视图可例如向用户提供虚拟环境的补充视图，该补充视图使用户能够同时监视环境的各个方面，同时仍然保持主要关注主第一人称透视图。在一些变型形式中，该方法还可包括接收指示虚拟摄像机类型(例如，被配置为放置在虚拟患者外的电影摄像机，被配置为放置在虚拟患者内的内窥镜式摄像机，360度摄像机等)的选择的用户输入，以及在虚拟机器人外科手术环境内的第二有利位置处显示所选择的虚拟摄像机类型的虚拟模型。本文中描述了与虚拟环境的用户交互的其它示例。

在虚拟现实系统的另一种变型形式中，虚拟现实系统可模拟机器人外科手术环境，其中用户可操作使用手持控制器的机器人控制的外科手术器械和手动腹腔镜式外科手术器械(例如，在与手术台相邻，或“跨床”时)。例如，用于模拟机器人外科手术环境的虚拟现实系统可包括虚拟现实控制器，该虚拟现实控制器被配置为生成包括至少一个虚拟机器人臂和至少一个虚拟手动腹腔镜式工具的虚拟机器人外科手术环境；第一手持装置，该第一手持装置通信地联接到虚拟现实控制器以用于在虚拟机器人外科手术环境中操纵至少一个虚拟机器人臂；以及第二手持装置，该第二手持装置包括手持部分和代表手动腹腔镜式工具的至少一部分的工具特征结构，其中第二手持装置通信地联接到虚拟现实控制器以用于在虚拟机器人外科手术环境中操纵至少一个虚拟手动腹腔镜式工具。例如，在一些变型形式中，工具特征结构可包括工具轴和轴适配器，以用于将工具轴联接到第二手持装置的手持部分(例如，轴适配器可包括紧固件)。第二手持装置可以是功能性手动腹腔镜式工具或手动腹腔镜式工具的实物模型(例如，复制或通用版本)，其运动(例如，在工具特征结构中)可由虚拟现实控制器映射以对应于虚拟手动腹腔镜式工具的运动。

第二手持装置可以是模块化的。例如，工具特征结构可以是可从第二手持装置的手持部分移除的，从而使第二手持装置能够在工具特征结构附接到手持部分时用作腹腔镜式手持装置(以用于控制虚拟手动腹腔镜式工具)，以及在工具特征结构与手持部分分离时充当非腹腔镜式手持装置(例如，以用于控制机器人控制的工具或机器人臂)。在一些变型形式中，第二手持装置的手持部分可基本上类似于第一手持装置。

第二手持装置的手持部分可包括交互式特征结构，诸如触发器或按钮，该交互式特征结构响应于用户对交互式特征结构的接合来致动虚拟手动腹腔镜式工具的功能。例如，第二手持装置的手持部分上的触发器可被映射到虚拟手动腹腔镜式工具上的虚拟触发器。作为例示性示例，在其中虚拟手动腹腔镜式工具是虚拟手动腹腔镜式缝合器的变型形式中，手持部分上的触发器可被映射以在虚拟环境中击发虚拟钉。系统的其它方面可进一步近似虚拟环境中的虚拟工具设置。例如，虚拟现实系统还可包括患者模拟器(例如，模拟患者腹部)，该患者模拟器包括被配置为接收第二手持装置的工具特征结构的至少一部分的套管，从而进一步模拟手动腹腔镜式工具的用户感觉。

一般来讲，用于操作虚拟机器人外科手术环境的计算机实现的方法可包括使用客户端应用程序来生成虚拟机器人外科手术环境，其中虚拟机器人外科手术环境包括至少一个虚拟机器人部件；以及在两个软件应用程序之间传递信息以便实现虚拟机器人部件的运动。例如，响应于用以在虚拟机器人外科手术环境中移动至少一个虚拟机器人部件的用户输入，该方法可包括将关于至少一个虚拟机器人部件的状态信息从客户端应用程序传递到服务器应用程序；基于用户输入和状态信息使用服务器应用程序生成致动命令；将致动命令从服务器应用程序传递到客户端应用程序；以及基于致动命令移动至少一个虚拟机器人部件。客户端应用程序和服务器应用程序可在共享处理器装置上，或在单独处理器装置上运行。

在一些变型形式中，传递状态信息和/或传递致动命令可包括调用应用程序编程接口(API)以支持在客户端应用程序与服务器应用程序之间的通信。API可包括虚拟环境中的虚拟机器人部件和其它虚拟部件的数据结构的一个或多个定义。例如，API可包括用于虚拟机器人臂、虚拟机器人臂区段(例如，连杆)、虚拟手术台、虚拟套管和/或虚拟外科手术器械的多个数据结构。作为另一个示例，API可包括用于虚拟触点的数据结构，以用于允许操纵至少一个虚拟机器人部件(例如，虚拟机器人臂)或其它虚拟部件。

例如，该方法可包括传递关于虚拟机器人臂的状态信息，诸如位置和取向(例如，虚拟机器人臂的姿势)。客户端应用程序可将这样的状态信息传递到服务器应用程序，由此服务器应用程序可基于与虚拟机器人臂相关联的运动学生成致动命令。

如本文所述，存在用于虚拟现实系统的各种应用程序和用途。在一种变型形式中，虚拟现实系统可用于在机器人外科手术系统的开发期间加速R&D循环，诸如通过在无需时间和物理原型的显著费用的情况下允许模拟潜在设计。例如，用于设计机器人外科手术系统的方法可包括生成机器人外科手术系统的虚拟模型，在虚拟手术室环境中测试机器人外科手术系统的虚拟模型，基于测试修改机器人外科手术系统的虚拟模型，以及基于修改的虚拟模型生成机器人外科手术系统的真实模型。测试虚拟模型可例如涉及诸如通过本文所述的客户端应用程序，使用虚拟机器人臂和由虚拟机器人臂支撑的虚拟外科手术器械来执行虚拟外科手术规程。在测试期间，系统可检测涉及虚拟机器人臂的一个或多个碰撞事件，该虚拟机器人臂可例如响应于检测到的碰撞事件来触发对虚拟模型的修改(例如，修改虚拟机器人臂的连杆长度、直径等)。然后可执行对修改的虚拟模型的进一步测试，从而确认修改是否减少了在虚拟外科手术规程期间发生碰撞事件的可能性。因此，在测试设计的物理原型之前，可使用在虚拟环境中测试并修改机器人外科手术系统设计来识别问题。

在另一种变型形式中，虚拟现实系统可用于测试机器人外科手术部件的控制模式。例如，用于测试机器人外科手术部件的控制模式的方法可包括生成虚拟机器人外科手术环境，该虚拟机器人外科手术环境包括对应于机器人外科手术部件的至少一个虚拟机器人部件；在虚拟机器人外科手术环境中模仿机器人外科手术部件的控制模式；以及响应于用以移动至少一个虚拟机器人部件的用户输入，根据模仿的控制模式来移动至少一个虚拟机器人部件。在一些变型形式中，移动虚拟机器人部件可包括将关于至少一个虚拟机器人部件的状态信息从第一应用程序(例如，虚拟手术环境应用程序)传递到第二应用程序(例如，运动学应用程序)；基于状态信息和模仿的控制模式生成致动命令；将致动命令从第二应用程序传递到第一应用程序；并且基于致动命令在虚拟机器人外科手术环境中移动至少一个虚拟机器人部件。

例如，要测试的控制模式可以是遵循机器人臂的控制模式的轨线。在遵循的轨线中，可以编程机器人臂的运动，然后使用虚拟现实系统来模仿机器人臂的运动。因此，当系统用于模仿遵循控制模式的轨线时，由运动学应用程序生成的致动命令可包括生成用于虚拟机器人臂中的多个虚拟接头中的每个的致动命令。该组致动命令可由虚拟手术环境应用程序实现，以在虚拟环境中移动虚拟机器人臂，从而允许测试碰撞、体积或运动工作空间等。

本文进一步详细描述了虚拟现实系统的其它变型形式和示例、它们的用户模式和交互，以及虚拟现实系统的应用程序和用途。

附图说明

图1A示出具有机器人外科手术系统和外科医生控制台的手术室布置的示例。图1B是具有外科手术工具的机器人臂操纵器、工具驱动器和套管的一种示例性变型形式的示意图。

图2A是虚拟现实系统的一种变型形式的示意图。图2B是用于显示虚拟现实环境的沉浸式视图的沉浸式显示器的示意图。

图3是虚拟现实系统的部件的示意图。

图4A是用于在虚拟现实系统中使用的虚拟现实环境应用程序与运动学应用程序之间的通信的示例性结构。图4B和图4C是概述用于在虚拟现实环境应用程序与运动学应用程序之间的通信的应用程序接口的示例性数据结构和字段的表。

图5A是包括腹腔镜式手持控制器的示例性变型形式的虚拟现实系统的另一种变型形式的示意图。图5B是用于显示虚拟现实环境的沉浸式视图的沉浸式显示器的示意图，该虚拟现实环境包括由腹腔镜式手持控制器控制的虚拟手动腹腔镜式工具。

图6A是腹腔镜式手持控制器的示例性变型形式的透视图。图6B是覆盖在图6A中所示的腹腔镜式手持控制器的一部分上的虚拟手动腹腔镜式工具的示意图。图6C至图6E分别是图6A中所示的腹腔镜式手持控制器的侧视图、详细局部透视图和局部剖视图。

图7是与机器人外科手术环境交接的虚拟现实系统的另一种变型形式的示意图。

图8是用于选择虚拟现实系统的一种变型形式的一个或多个用户模式的显示菜单的示意图。

图9A至图9C是具有示例性入口的虚拟机器人外科手术环境的示意图。

图10A和10B是在飞行模式中观看的示例性虚拟机器人外科手术环境的示意图。图10C是用于在飞行模式中修改示例性虚拟机器人外科手术环境的视图的转换区域的示意图。

图11是从有利位置观看的虚拟机器人外科手术环境的示意图，其提供虚拟手术室的示例性玩偶屋视图。

图12是具有用于显示补充视图的示例性平视显示器的虚拟机器人外科手术环境的视图的示意图。

图13是由在虚拟命令站模式下操作的虚拟现实系统的一种变型形式提供的显示器的示意图。

图14是用于操作用于在虚拟现实系统中选择用户模式的用户模式菜单的方法的示例性变型形式的流程图。

图15是用于在虚拟现实系统中以环境视图旋转模式操作的方法的示例性变型形式的流程图。

图16是用于操作在虚拟环境中启用快照点的用户模式的方法的示例性变型形式的流程图。

具体实施方式

本发明的各方面和变型形式的示例在本文中进行描述并示出于附图。以下描述不旨在将本发明限制于这些实施方案，而是允许本领域的技术人员来制作和使用本发明。

机器人外科手术系统概述

示例性机器人外科手术系统和外科手术环境示于图1A中。如图1A所示，机器人外科手术系统150可包括位于外科手术平台(例如，桌子、床等)处的一个或多个机器人臂160，其中端部执行器或外科手术工具附接到机器人臂160的远侧端部以用于执行外科手术规程。例如，如图1B的示例性示意图所示，机器人外科手术系统150可包括联接到外科手术平台的至少一个机器人臂160，以及通常附接到机器人臂160的远侧端部的工具驱动器170。联接到工具驱动器170的端部的套管100可接收和引导外科手术器械190(例如，端部执行器、摄像机等)。此外，机器人臂160可包括多个连杆，这些连杆被致动以便对工具驱动器170进行定位和取向，该工具驱动器致动外科手术器械190。机器人外科手术系统还可包括控制塔152(例如，包括电源、计算设备等)以及/或者用于支持机器人部件的功能的其它合适的设备。

在一些变型形式中，用户(诸如外科医生或其它操作者)可使用用户控制台100来远程操纵机器人臂160和/或外科手术器械(例如，远程手术)。用户控制台100可与机器人系统150位于相同的手术室中，如图1A所示。在其他实施方案中，用户控制台100可位于相邻的或附近的房间中，或者从不同的建筑物、城市或国家的远程位置进行远程手术。在一个示例中，用户控制台100包括座位110、用脚操作的控件120、一个或多个手持用户界面装置122和至少一个用户显示器130，该用户显示器被配置为显示例如在患者内的外科手术部位的视图。例如，如示于图1C中的示例性用户控制台中所示，位于座位110中并且观看用户显示器130的用户可操纵用脚操作的控件120和/或手持用户界面装置来远程地控制机器人臂160和/或外科手术器械。

在一些变型形式中，用户可在“跨床”(OTB)模式下操作机器人外科手术系统150，其中用户在患者的一侧并同时地操纵附接至其的机器人驱动的工具驱动器/端部执行器(例如，用一只手保持手持用户界面装置122)和手动腹腔镜式工具。例如，用户的左手可操纵手持用户界面装置122来控制机器人外科手术部件，而该用户的右手则可以操纵手动腹腔镜式工具。因此，在这些变型形式中，用户可对患者执行机器人辅助MIS和手动腹腔镜式技术。

在示例性规程或外科手术期间，患者准备就绪并且以无菌方式被覆盖，并且实现麻醉。向外科手术部位的初始进入可利用呈收起构型或抽出构型的机器人系统150来手动地执行以便于进入外科手术部位。一旦完成进入，可执行机器人系统的初始定位和/或准备。在外科手术规程期间，用户控制台100中的外科医生或其它用户可利用用脚操作的控件120和/或用户界面装置122来操纵各种端部执行器和/或成像系统以执行规程。还可由着无菌手术服的人员在手术台处提供手动协助，这些人员可执行的任务包括但不限于使器官回缩，或者执行涉及一个或多个机器人臂160的手动重新定位或工具更换。还可以存在非无菌人员以在用户控制台100处协助外科医生。当规程或外科手术完成时，机器人系统150和/或用户控制台100可以被配置或设置为处于某状态以便于一个或多个手术后规程，包括但不限于机器人系统150清洁和/或灭菌、和/或诸如经由用户控制台100来进行的保健记录输入或打印输出(无论是电子的还是硬拷贝的)。

在图1A中，机器人臂160被示出为具有桌上安装系统，但在其它实施方案中，机器人臂可被安装在手推车、天花板或侧壁、或其它合适的支撑表面中。在机器人系统150、用户控制台100与任何其它显示器之间的通信可经由有线和/或无线连接。任何有线连接可任选地内置于地板和/或墙壁或天花板中。在用户控制台100与机器人系统150之间的通信可以是有线和/或无线的，并且可以是专有的和/或使用各种数据通信协议中的任何一种来执行的。在另外的其它变型形式中，用户控制台100不包括集成显示器130，但是可提供可以连接到一个或多个通用显示器的输出的视频输出，包括可经由互连网或网络访问的远程显示器。视频输出或馈送还可以被加密以确保隐私，并且全部或部分视频输出可以被保存到服务器或电子保健记录系统。

在其它示例中，可提供附加用户控制台100，例如以控制附加外科手术器械，和/或控制在主用户控制台处的一个或多个外科手术器械。例如，这将允许外科医生在外科手术规程期间与医学生和培训医师接管或说明技术，或者在需要多个外科医生同时或以协调方式进行的复杂手术期间进行协助。

虚拟现实系统

本文中描述了用于提供虚拟机器人外科手术环境的虚拟现实系统。如图2A所示，虚拟现实系统200可包括用于生成虚拟机器人外科手术环境的虚拟现实处理器210(例如，实现存储在存储器中的指令的计算机中的处理器)，可由用户U穿戴的头戴式显示器220，以及可由用户U操纵以与虚拟机器人外科手术环境交互的一个或多个手持控制器230。如图2B所示，头戴式显示器220可包括用于(例如，以虚拟环境的第一人称透视图)向用户U显示虚拟机器人外科手术环境的沉浸式显示器222。沉浸式显示器可例如是由目镜组件提供的立体显示器。在一些变型形式中，虚拟现实系统200可除此之外或作为另外一种选择包括用于显示虚拟机器人外科手术环境的外部显示器240。如果两者都存在，则沉浸式显示器222和外部显示器240可被同步以显示相同或相似的内容。

如本文进一步详细所述，在包括但不限于多人间训练、模拟和/或协作的应用程序中，虚拟现实系统(及其变型形式，如本文中进一步所述的)可用作关于机器人外科手术的有用工具。本文中描述了虚拟现实系统的应用程序和用途的多个具体示例。

一般来讲，虚拟现实处理器被配置为生成虚拟机器人外科手术环境，在该虚拟机器人外科手术环境内，用户可在虚拟手术室周围导航并且经由头戴式显示器和/或手持控制器与虚拟对象交互。例如，虚拟机器人外科手术系统可被集成到虚拟手术室中，其中一个或多个虚拟机器人部件具有三维网格和所选择的特性(例如，虚拟机器人臂和/或虚拟外科手术工具的尺寸和运动学约束，其数量和布置等)。其它虚拟对象(诸如虚拟控制塔或表示支持机器人外科手术系统的设备的其它虚拟设备、虚拟患者、用于患者的虚拟台或其它表面、虚拟医务人员、虚拟用户控制台等)也可被集成到虚拟现实手术室中。

在一些变型形式中，头戴式显示器220和/或手持控制器230可以是包括在任何合适的虚拟现实硬件系统中的那些的修改版本，并且是本领域普通技术人员所熟悉的，所述虚拟现实硬件系统可商购获得以用于包括虚拟和增强现实环境的应用程序(例如，用于游戏和/或军事目的)。例如，头戴式显示器220和/或手持控制器230可被修改以使用户能够与虚拟机器人外科手术环境交互(例如，手持控制器230可如下所述进行修改以作为腹腔镜式手持控制器操作)。手持控制器可包括例如携带的装置(例如，识别笔、远程装置等)和/或穿戴在用户的手上的装束(例如，手套、戒指、腕带等)，该装束包括传感器并且/或者被配置为与外部传感器协作，由此提供对用户的手、个体手指、手腕等的跟踪。可除此之外或作为另外一种选择使用其它合适的控制器(例如，被配置为提供对用户的手臂的跟踪的袖套)。

一般来讲，当用户U在物理工作空间(诸如训练室)周围移动时，用户U可穿戴头戴式显示器220并且携带(或穿戴)至少一个手持控制器230。在穿戴头戴式显示器220时，用户可观看由虚拟现实处理器210生成并且显示在沉浸式显示器222上的虚拟机器人外科手术环境的沉浸式第一人称透视图。如图2B所示，显示在沉浸式显示器222上的视图可包括手持控制器的一个或多个图形表示230’(例如，手持控制器的虚拟模型，代替手持控制器或保持手持控制器的人手的虚拟模型等)。类似的第一人称透视图可显示在外部显示器240上(例如，以便于助理、导师或其它合适的人员观看)。当用户在工作空间内移动和导航时，虚拟现实处理器210可至少部分地基于头戴式显示器的位置和取向(以及因此用户的位置和取向)来改变显示在沉浸式显示器222上的虚拟机器人外科手术环境的视图，从而允许用户感觉他或她好像正在虚拟机器人外科手术环境内探索和移动。

另外，用户可通过移动和/或操纵手持控制器230来进一步与虚拟机器人外科手术环境交互。例如，手持控制器230可包括一个或多个按钮、触发器、触敏特征结构、滚轮、交换机、和/或用户可操纵以与虚拟环境交互的其它合适的交互式特征结构。当用户移动手持控制器230时，虚拟现实处理器210可在虚拟机器人外科手术环境内移动手持控制器的图形表示230’(或光标或其它代表性图标)。此外，接合手持控制器230的一个或多个交互式特征结构可使用户能够操纵虚拟环境的各方面。例如，用户可移动手持控制器230直到手持控制器的图形表示230’接近环境中的虚拟机器人臂上的虚拟触点(例如，可选择的位置)，接合手持控制器230上的触发器或其它交互式特征结构以选择虚拟触点，然后在接合触发器的同时移动手持控制器230以经由虚拟触点拖动或以其它方式操纵虚拟机器人臂。下文中进一步详细描述了与虚拟机器人外科手术环境的用户交互的其它示例。

在一些变型形式中，虚拟现实系统可参与用户的其它感官。例如，虚拟现实系统可包括一个或多个音频装置(例如，用于用户的耳机，扬声器等)，以用于将音频反馈传送给用户。作为另一个示例，虚拟现实系统可在手持控制器230、头戴式显示器220或接触用户的其它触觉装置(例如，手套、腕带等)中的一个或多个中提供诸如振动之类的触觉反馈。

虚拟现实处理器

虚拟现实处理器210可被配置为生成虚拟机器人外科手术环境，在该虚拟机器人外科手术环境内，用户可在虚拟手术室周围导航并且与虚拟对象交互。示出在虚拟现实处理器与虚拟现实系统的至少一些部件之间的示例性交互的一般示意图在图3中示出。

在一些变型形式中，虚拟现实处理器210可与诸如头戴式显示器220和/或手持控制器230之类的硬件部件通信。例如，虚拟现实处理器210可从头戴式显示器220中的传感器接收输入以确定用户在物理工作空间内的位置和取向，这可用于生成虚拟环境的合适的、对应的第一人称透视图以在头戴式显示器220中显示给用户。作为另一个示例，虚拟现实控件210可从手持控制器230中的传感器接收输入以确定手持控制器230的位置和取向，这可用于生成手持控制器230的合适的图形表示以在头戴式显示器220中显示给用户，以及将用户输入(用于与虚拟环境交互)转换成虚拟机器人外科手术环境的对应修改。虚拟现实处理器210可联接到外部显示器240(例如，监视器屏幕)，该外部显示器以非沉浸方式对用户可见并且/或者对其它人员(诸如可能希望观看用户与虚拟环境的交互的助理或导师)可见。

在一些变型形式中，虚拟现实处理器210(或多个处理器机器)可被配置为执行一个或多个软件应用程序以便生成虚拟机器人外科手术环境。例如，如图4所示，虚拟现实处理器210可利用至少两个软件应用程序，包括虚拟手术环境应用程序410和运动学应用程序420。虚拟手术环境应用程序和运动学应用程序可经由客户端-服务器模型通信。例如，虚拟手术环境应用程序可作为客户端运行，而运动学应用程序可作为服务器运行。虚拟手术环境应用程序410和运动学应用程序420可在相同处理机上执行，或者在经由计算机网络联接的单独处理机上执行(例如，客户端或服务器可以是远程装置，或者机器可以在本地计算机网络上)。另外，应当理解，在其它变型形式中，虚拟手术环境应用程序410和/或运动学应用程序420可与其它软件部件配合。在一些变型形式中，虚拟手术环境应用程序410和运动学应用程序520可调用一个或多个应用程序接口(API)，所述应用程序接口定义应用程序彼此通信的方式。

虚拟手术环境410可允许虚拟手术室环境(例如，手术室、手术台、控制塔或其它部件、用户控制台、机器人臂、将机器人臂联接到手术台的台适配器连杆等)的描述或定义。可以保存虚拟手术室环境的至少一些描述(例如，在模型虚拟现实部件数据库202中)并且将其作为配置文件提供给处理器。例如，在一些变型形式中，如图3所示，虚拟现实处理器(诸如通过上述虚拟手术环境应用程序410)可与模型虚拟现实部件数据库202(例如，存储在服务器、本地或远程硬盘驱动器、或其它合适的存储器上)通信。模型虚拟现实部件数据库202可存储描述虚拟机器人外科手术环境的虚拟部件的一个或多个配置文件。例如，数据库202可存储描述以下各项的文件：不同种类的手术室(例如，房间形状或房间尺寸不同)，手术台或患者躺在其上的其它表面(例如，大小、高度、表面、材料构造等不同)，控制塔(例如，大小和形状不同)，用户控制台(例如，用户座位设计不同)，机器人臂(例如，臂连杆和接头的设计、其数量和布置、臂上的虚拟触点的数量和位置等)，将机器人臂联接到手术台的台适配器连杆(例如，台适配器连杆和接头的设计、其数量和布置等)，患者类型(例如，性别、年龄、体重、身高、围长等不同)以及/或者医务人员(例如，人的通用图形表示、实际医务人员的图形表示等)。作为一个特定示例，统一机器人描述格式(URDF)中的配置文件可存储特定机器人臂的配置，包括字段的定义或值，诸如臂连杆的数量、连接臂连杆的臂接头的数量、每个臂连杆的长度、每个臂连杆的直径或围长、每个臂连杆的质量、臂接头的类型(例如，滚动、俯仰、偏航等)等。另外，运动学约束可以作为虚拟机器人部件(例如，臂)上方的“包裹料”加载，以进一步定义虚拟机器人部件的运动学行为。在其它变型形式中，虚拟现实处理器210可接收虚拟部件的任何合适的描述以在虚拟机器人外科手术环境中加载并生成。因此，虚拟现实处理器210可接收并利用配置文件的不同组合和/或虚拟部件的其它描述来生成特定的虚拟机器人外科手术环境。

在一些变型形式中，如图3所示，虚拟现实处理器210可除此之外或作为另外一种选择与患者记录数据库204通信，该患者记录数据库可存储患者特定信息。此类患者特定信息可包括例如患者成像数据(例如，X射线、MRI、CT、超声等)、病史和/或患者度量标准(例如，年龄、体重、身高等)，但是其它合适的患者特定信息可除此之外或作为另外一种选择存储在患者记录数据库204中。当生成虚拟机器人外科手术环境时，虚拟现实处理器210可从患者记录数据库204接收患者特定信息，并且将接收的信息中的至少一些集成到虚拟现实环境中。例如，患者的身体或其它组织的真实表示可生成并且结合到虚拟现实环境(例如，从2D图像，诸如MRI图像的组合堆叠生成的3D模型)中，这可例如用于确定患者周围的机器人臂的期望布置、特定于特定患者的最佳端口放置等，如本文进一步所述。作为另一个示例，患者成像数据可覆盖在用户的虚拟环境的视野的一部分上(例如，患者的组织的超声图像覆盖在虚拟患者的组织上方)。

在一些变型形式中，虚拟现实处理器210可经由运动学应用程序420嵌入一个或多个运动学算法，以至少部分地描述虚拟机器人外科手术环境中虚拟机器人系统的一个或多个部件的行为。例如，一个或多个算法可定义虚拟机器人臂如何响应于用户交互(例如，通过选择和操纵虚拟机器人臂上的触点来移动虚拟机器人臂)，或者虚拟机器人臂如何以所选择的控制模式运行。其它运动学算法，诸如定义虚拟工具驱动器、虚拟手术台或其它虚拟部件的运行的那些运动学算法，可除此之外或作为另外一种选择嵌入在虚拟环境中。通过在虚拟环境中嵌入准确描述实际(真实)机器人外科手术系统的行为的一个或多个运动学算法，虚拟现实处理器210可允许虚拟机器人外科手术系统与对应的真实机器人外科手术系统的物理实现相比准确或现实地运行。例如，虚拟现实处理器210可嵌入至少一个控制算法，该控制算法表示或对应于限定机器人部件(例如，臂)在实际机器人外科手术系统中的运动的一个或多个控制模式。

例如，诸如对于虚拟机器人臂或虚拟环境中的其它合适的虚拟部件，运动学应用程序420可允许一个或多个虚拟控制模式的描述或定义。一般来讲，例如，用于虚拟机器人臂的控制模式可对应于使虚拟机器人臂能够执行或进行特定任务的功能块。例如，如图4所示，控制系统430可包括多个虚拟控制模式432、434、436等，从而控制虚拟机器人臂中的至少一个接头的致动。虚拟控制模式432、434、436等可包括至少一个原始模式(其控制用于致动至少一个接头的基础行为)和/或至少一个用户模式(其控制更高级别的任务特定行为并且可利用一个或多个原始模式)。在一些变型形式中，用户可激活虚拟机器人臂或其它虚拟对象的虚拟触点表面，从而触发特定控制模式(例如，经由状态机或其它控制器)。在一些变型形式中，用户可通过例如显示在虚拟环境的第一人称透视图中的菜单直接选择特定控制模式。

原始虚拟控制模式的示例包括但不限于接头命令模式(其允许用户单独地直接致动单个虚拟接头，和/或共同地致动多个虚拟接头)，重力补偿模式(其中虚拟机器人臂以特定姿势保持其自身，具有连杆和接头的特定位置和取向，不会由于模拟重力而向下漂移)，以及轨线遵循模式(其中虚拟机器人臂可移动以遵循一个或多个笛卡尔或其它轨线命令的序列)。包含一个或多个原始控制模式的用户模式的示例包括但不限于空闲模式(其中虚拟机器人臂可停止在当前或默认姿势，等待进一步命令)，设置模式(其中虚拟机器人臂可转换到用于特定类型的外科手术规程的默认设置姿势或预定模板姿势)，以及对接模式(其中机器人臂便于用户诸如以重力补偿等将机器人臂附接到部件的过程)。

一般来讲，虚拟手术环境应用程序410和运动学应用程序420可经由预定义的通信协议(诸如应用程序接口(API))彼此通信，该通信协议组织虚拟对象的信息(例如，状态或其它特性)和虚拟环境的其它方面。例如，API可包括指定如何传送关于虚拟对象的信息的数据结构，所述虚拟对象诸如为虚拟机器人臂(在整体上和/或在逐段的基础上)、虚拟台、将虚拟臂连接到虚拟台的虚拟台适配器、虚拟套管、虚拟工具、用于促进与虚拟环境的用户交互的虚拟触点、用户输入系统、手持控制器装置等。此外，API可包括一个或多个数据结构，该数据结构指定如何传送关于虚拟环境中的事件(例如，在两个虚拟实体之间的碰撞事件)或与虚拟环境相关的其它方面(例如，用于显示虚拟环境、控制系统框架等的参考系)的信息。图4B和图4C中列出并描述了用于包含其信息的示例性数据结构和示例性字段，但应当理解，API的其它变型形式可包括任何合适的类型、名称和数据结构的数量和示例性字段结构。

在一些变型形式中，如图4A中一般示意性地所示，虚拟手术环境应用程序410将状态信息传递到运动学应用程序420，并且运动学应用程序420经由API将命令传递到虚拟手术环境应用程序410，其中命令基于状态信息生成并且随后由虚拟现实处理器210用来生成虚拟机器人外科手术环境的变化。例如，用于在虚拟机器人外科手术环境中嵌入一个或多个运动学算法以控制虚拟机器人臂的方法可包括将关于虚拟机器人臂的至少一部分的状态信息从虚拟手术环境应用程序410传递到运动学应用程序420；在算法上确定致动命令以致动虚拟机器人臂的至少一个虚拟接头；以及将致动命令从运动学应用程序420传递到虚拟手术环境应用程序410。虚拟现实处理器210可随后根据致动命令移动虚拟机器人臂。

作为用于控制虚拟机器人臂的例示性示例，可调用虚拟机器人臂的重力补偿控制模式，从而需要一个或多个虚拟接头致动命令，以便抵消虚拟机器人臂中的虚拟接头上的模拟重力。虚拟手术环境应用程序410可向运动学应用程序420传递关于虚拟机器人臂的相关状态信息(例如，虚拟机器人臂的至少一部分的位置，虚拟机器人臂所安装的虚拟手术台的位置，用户可能已经操纵以移动虚拟机器人臂的虚拟触点的位置，在相邻的虚拟臂连杆之间的接头角度)以及状态信息(例如，虚拟机器人臂上的模拟重力的方向)。基于来自虚拟手术环境应用程序410的接收的状态信息以及虚拟机器人臂和/或附接到虚拟机器人臂的虚拟工具驱动的已知运动学和/或动态特性(例如，从配置文件等中已知)，控制系统430可在算法上确定在每个虚拟接头处需要什么致动力来补偿作用在该虚拟接头上的模拟重力。例如，控制系统430可利用正向运动学算法、逆向算法或任何合适的算法。一旦确定了虚拟机器人臂的每个相关虚拟接头的致动力命令，运动学应用程序420便可将力命令发送到虚拟手术环境应用程序410。虚拟现实处理器随后可根据力命令来致动虚拟机器人臂的虚拟接头，从而致使虚拟机器人臂可视化为维持其当前姿势，而不管虚拟环境中的模拟重力(例如，而不是在模拟的重力下跌倒或塌缩)。

用于控制虚拟机器人臂的另一个示例是遵循机器人臂的轨线。在遵循的轨线中，可以编程机器人臂的运动，然后使用虚拟现实系统来模仿机器人臂的运动。因此，当系统用于模仿规划控制模式的轨线时，由运动学应用程序生成的致动命令可包括生成用于虚拟机器人臂中的多个虚拟接头中的每个的致动命令。该组致动命令可由虚拟手术环境应用程序实现，以在虚拟环境中移动虚拟机器人臂，从而允许测试碰撞、体积或运动工作空间等。

用于虚拟机器人臂和/或其它虚拟部件的其它虚拟控制算法(例如，将虚拟机器人臂联接到虚拟手术台的虚拟台适配器连杆)可经由在虚拟手术环境应用程序410与运动学应用程序420之间的类似通信来实现。

虽然虚拟现实处理器210在本文中通常称为单个处理器，但应当理解，在一些变型形式中，可使用多个处理器来执行本文所述的处理器。一个或多个处理器可包括例如通用计算机的处理器、专用计算机或控制器、或其它可编程数据处理装置或部件等。一般来讲，一个或多个处理器可被配置为执行存储在任何合适的计算机可读介质上的指令。计算机可读介质可包括例如磁介质、光学介质、磁光介质和专门被配置为存储和执行程序代码的硬件器件，诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)、ROM和RAM器件、闪速存储器、EEPROM、光学器件(例如，CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的器件。计算机程序代码的示例包括诸如由编译器产生的机器代码，以及包含由计算机使用解释器执行的更高级代码的文件。例如，可使用C++、JAVA或其它合适的面向对象的编程语言和开发工具来实现一种变型形式。作为另一个示例，可以在硬连线电路中实现另一种变型形式来代替机器可执行软件指令或与机器可执行软件指令组合。

头戴式显示器和手持控制器

如图2A所示，用户U可穿戴头戴式显示器220并且/或者持有一个或多个手持控制器230。头戴式显示器220和手持控制器230通常可以使用户能够导航由虚拟现实处理器210生成的虚拟机器人外科手术环境并且/或者与该虚拟机器人外科手术环境交互。头戴式显示器220和/或手持控制器230可以经由有线或无线连接将信号传送到虚拟现实处理器210。

在一些变型形式中，头戴式显示器220和/或手持控制器230可以是包括在任何合适的虚拟现实硬件系统中的那些的修改版本，所述虚拟现实硬件系统可商购获得以用于包括虚拟和增强现实环境的应用程序。例如，头戴式显示器220和/或手持控制器230可被修改以使用户能够与虚拟机器人外科手术环境交互(例如，手持控制器230可如下所述进行修改以作为腹腔镜式手持控制器操作)。在一些变型形式中，虚拟现实系统还可包括一个或多个跟踪发射器212，该跟踪发射器将红外光发射到用户U的工作空间中。跟踪发射器212可例如安装在墙壁、天花板、固定装置或其它合适的安装表面上。传感器可联接到头戴式显示器220和/或手持控制器230的面向外的表面，以用于检测发射的红外光。基于检测发射的光的任何传感器的位置并且当此类传感器在发射光之后检测到发射的光时，虚拟现实处理器210可被配置为确定(例如，通过三角测量)头戴式显示器220和/或手持控制器230在工作空间内的位置和取向。在其它变型形式中，其它合适的装置(例如，诸如加速计或陀螺仪之类的其它传感器技术，其它传感器布置等)可用于确定头戴式显示器220和手持控制器230的位置和取向。

在一些变型形式中，头戴式显示器220可包括便于将显示器220安装到用户的头部的条带(例如，带有带扣、松紧带、按扣等)。例如，头戴式显示器220可被构造成类似于护目镜、头带或耳机、帽等。头戴式显示器220可包括提供立体沉浸式显示器的两个目镜组件，但是作为另外一种选择可包括任何合适的显示器。

手持控制器230可包括用户可操纵以与虚拟机器人外科手术环境交互的交互式特征结构。例如，手持控制器230可包括一个或多个按钮、触发器、触敏特征结构、滚轮、交换机、和/或其它合适的交互式特征结构。另外，手持控制器230可具有各种形状因数中的任何一种，诸如识别笔、夹钳，通常为圆形(例如，球形或蛋形)等。在一些变型形式中，显示在头戴式显示器220和/或外部显示器240上的图形表示230’通常可模仿实际、真实手持控制器230的形状因数。在一些变型形式中，手持控制器可包括携带的装置(例如，识别笔、远程装置等)和/或穿戴在用户的手上的装束(例如，手套、戒指、腕带等)，并且该装束包括传感器并且/或者被配置为与外部传感器协作，由此提供对用户的手、个体手指、手腕等的跟踪。可除此之外或作为另外一种选择使用其它合适的控制器(例如，被配置为提供对用户的手臂的跟踪的袖套)。

腹腔镜式手持控制器

在一些变型形式中，如图5A的示意图所示，手持控制器230还可包括代表手动腹腔镜式工具的至少一部分的至少一个工具特征结构232，从而形成可用于控制虚拟手动腹腔镜式工具的腹腔镜式手持控制器234。一般来讲，例如，工具特征结构232可用于使手持控制器230适应于在形式(例如，用户感觉和触摸)上基本上类似于手动腹腔镜式工具的控制器。腹腔镜式手持控制器234可通信地联接到虚拟现实处理器210以用于在虚拟机器人外科手术环境中操纵虚拟手动腹腔镜式工具，并且可帮助使用户能够在与虚拟机器人外科手术环境交互时感觉他或她好像正在使用实际的手动腹腔镜式工具。在一些变型形式中，腹腔镜式手持装置可以是手动腹腔镜式工具的实物模型(例如，复制或通用版本)，而在其它变型形式中，腹腔镜式手持装置可以是功能性手动腹腔镜式工具。腹腔镜式手持控制器的至少一部分的运动可由虚拟现实控制器映射以对应于虚拟手动腹腔镜式工具的运动。因此，在一些变型形式中，虚拟现实系统可模拟手动MIS的手动腹腔镜式工具的用途。

如图5A所示，腹腔镜式手持控制器234可与模拟患者设置一起使用，以进一步模拟虚拟手动腹腔镜式工具的感觉。例如，腹腔镜式手持控制器234可被插入套管250中(例如，在MIS规程中使用的实际套管，用以提供在套管内的手动工具的真实感觉，或其合适的表示，诸如具有用于接收腹腔镜式手持控制器234的工具轴部分的内腔的管)。套管250可被放置在模拟患者腹部260中，诸如具有用于接收套管250的一个或多个插入部位或端口的泡沫主体。作为另外一种选择，可使用其它合适的模拟患者设置，诸如(例如，用流体等)提供具有与实际患者腹部相似的感觉的阻力的空腔。

另外，如图5B所示，虚拟现实处理器可生成虚拟机器人外科手术环境，该虚拟机器人外科手术环境相对于虚拟患者包括虚拟手动腹腔镜式工具236’和/或虚拟套管250’(例如，被示为插入虚拟患者中的套管的图形表示250’)。因此，具有虚拟手动腹腔镜式工具236’和虚拟套管250’的虚拟环境可被显示在由头戴式显示器220和/或外部显示器240提供的沉浸式显示器上。可执行校准规程以将腹腔镜式手持控制器234映射到虚拟环境内的虚拟手动腹腔镜式工具236’。因此，在用户移动和操纵腹腔镜式手持控制器234时，至少一个工具特征结构234和模拟患者设置的组合可允许用户触觉地感觉他或她好像正在虚拟机器人外科手术环境中使用手动腹腔镜式工具。同样，在用户移动和操纵腹腔镜式手持控制器234时，虚拟手动腹腔镜式工具236’的对应运动可允许用户可视化他或她正在虚拟机器人外科手术环境中使用手动腹腔镜式工具的模拟。

在一些变型形式中，用于腹腔镜式手持控制器的校准规程通常将腹腔镜式手持控制器234映射到虚拟手动腹腔镜式工具236’。例如，一般来讲，校准规程可将其相对于在虚拟环境内的参考点的位置“归零”。在示例性校准规程中，用户可通过套管250将腹腔镜式手持控制器插入模拟患者腹部260中，该模拟患者腹部可被放置在用户前面的台上(例如，在代表真实病患手术台的高度的高度处)。用户可继续将腹腔镜式手持控制器插入模拟患者腹部260中，进入代表在真实腹腔镜式规程期间实现的深度的合适深度。一旦腹腔镜式手持控制器适当地放置在模拟患者腹部260中，用户便可提供输入(例如，通过语音命令等挤压触发器或按下腹腔镜式手持控制器上的按钮)以确认虚拟患者并且使该虚拟患者取向到模拟患者腹部260的位置和高度。另外，可校准虚拟环境的其它方面以与系统的真实有形方面对齐，诸如通过示出可调整地移动到目标位置的虚拟部件并且允许用户输入确认虚拟部件与目标位置的新对齐(例如，通过挤压触发器或按下腹腔镜式手持控制器上的按钮，语音命令等)。可用腹腔镜式手持控制器或其它装置上的触摸板、轨迹球或其它合适的输入来调整虚拟部件的取向(例如，轴的旋转取向)。例如，虚拟手术室可与用户站立的真实房间对齐，虚拟套管或套管针的远侧端部可与模拟患者腹部中的真实进入位置等对齐。此外，在一些变型形式中，虚拟端部执行器(例如，内切割器、修剪器)可经由腹腔镜式手持控制器以类似的方式定位和取向到新的目标位置和取向。

在一些变型形式中，如图5B所示，系统可包括手持控制器230和腹腔镜式手持控制器234两者。因此，虚拟现实处理器可生成虚拟环境，该虚拟环境包括手持控制器230的图形表示230’(没有腹腔镜式附件)和虚拟手动腹腔镜式工具236’，如上所述。手持控制器230可通信地联接到虚拟现实处理器210以用于操纵至少一个虚拟机器人臂，并且腹腔镜式手持控制器234可通信地联接到虚拟现实处理器210以用于操纵虚拟手动腹腔镜式工具236’。因此，在一些变型形式中，虚拟现实系统可模拟使用机器人外科手术系统的“跨床”模式，其中操作者在患者的一侧并且操纵提供机器人辅助的MIS的机器人臂(例如，用一只手)，和提供手动MIS的手动腹腔镜式工具两者。

工具特征结构232可包括通常近似或表示手动腹腔镜式工具的一部分的任何合适的特征结构。例如，工具特征结构232通常可近似于腹腔镜式工具轴(例如，包括从控制器的手持部分延伸的细长构件)。作为另一个示例，工具特征结构232可包括触发器、按钮或类似于手动腹腔镜式工具上存在的腹腔镜式交互式特征结构的其它腹腔镜式交互式特征结构，该手动腹腔镜式工具接合手持控制器230上的交互式特征结构，但提供模仿手动腹腔镜式工具的感觉的真实形状因数(例如，工具特征结构232可包括具有真实形状因数的较大触发器，该触发器与手持控制器230上的通用交互式特征结构重叠并且接合该通用交互式特征结构)。作为又一个示例，工具特征结构232可包括所选择的材料和/或质量以产生腹腔镜式手持控制器234，该腹腔镜式手持控制器具有类似于特定种类的手动腹腔镜式工具的重量分布。在一些变型形式中，工具特征结构232可包括塑料(例如，聚碳酸酯、丙烯腈-丁二烯-苯乙烯(ABS)、尼龙等)，该塑料是注塑成型、机械加工、3D打印或以任何合适方式成形的其它合适材料。在其它变型形式中，工具特征结构232可包括机械加工、铸造等的金属或其它合适的材料。

在一些变型形式中，工具特征结构236可以是适配器或其它附件，其与手持控制器230分开形成并且经由紧固件(例如，螺钉、磁体等)、互锁特征结构(例如，螺纹或按扣配合特征结构，诸如凸片和狭槽等)、用环氧树脂胶合、焊接(例如，超声波焊接)等联接到手持控制器230。工具特征结构236可以可逆地联接到手持控制器230。例如，工具特征结构236可选择性地附接到手持控制器230，以便在需要腹腔镜式手持控制器230时适配手持控制器230，而当不需要腹腔镜式手持控制器230时，工具特征结构236可选择性地与手持控制器230分离。作为另外一种选择，工具特征结构236可诸如在制造期间永久地联接到手持部分234。此外，在一些变型形式中，手持部分234和工具特征结构236可整体地形成(例如，一起注塑成型为单件)。

腹腔镜式手持控制器的一种示例性变型形式示于图6A中。腹腔镜式手持控制器600可包括手持部分610(例如，类似于上述手持控制器230)、工具轴630、以及用于将工具轴630联接到手持部分610的轴适配器620。如图6B所示，腹腔镜式手持控制器600通常可用于控制虚拟手动腹腔镜式缝合器工具600’，但是腹腔镜式手持控制器600可用于控制其它种类的虚拟手动腹腔镜式工具(例如，剪刀、解剖器、抓紧器、持针器、探针、夹钳、活组织检查工具等)。例如，手持部分610可与具有缝合器端部执行器640’的虚拟手动腹腔镜式缝合器工具600’的虚拟手柄610’相关联，使得用户对手持部分610的操纵被映射到虚拟手柄610’的操纵。类似地，工具轴630可对应于虚拟手动腹腔镜式缝合器工具600’的虚拟工具轴630’。工具轴630和虚拟工具轴630’可被分别插入套管和虚拟套管中，使得工具轴630相对于套管的运动在虚拟机器人外科手术环境中被映射到虚拟工具轴630’在虚拟套管内的运动。

手持部分610可包括一个或多个交互式特征结构，诸如手指触发器612和/或按钮614，该交互式特征结构可从用户的手指、手掌等接收用户输入，并且可通信地联接到虚拟现实处理器。在该示例性实施方案中，手指触发器612可被映射到虚拟手动腹腔镜式缝合器工具600’上的虚拟触发器612’。虚拟触发器612’可被可视化为致动虚拟端部执行器640’(例如，致使虚拟端部执行器640’的虚拟构件闭合并击发缝合器)以在虚拟环境中缝合虚拟组织。因此，当用户致动腹腔镜式手持控制器上的手指触发器612时，来自手指触发器612的信号可被传送到虚拟现实处理器，该虚拟现实处理器修改虚拟手动腹腔镜式缝合器工具600’以在虚拟环境内交互以模拟实际手动腹腔镜式缝合器工具。在另一种变型形式中，触发器附件可在物理上(例如，在形状和形式上)类似于虚拟手动腹腔镜式缝合器工具600’上的虚拟触发器612’，并且可联接到手指触发器612，这可使腹腔镜式手持控制器600甚至能够更接近地模仿虚拟手动腹腔镜式缝合器工具600’的用户感觉。

如图6C至图6E所示，轴适配器620通常可用于将工具轴630联接到手持部分610，这可例如使手持控制器(类似于上述手持控制器210)适应于腹腔镜式手持控制器。轴适配器620通常可包括用于联接到手持部分610的第一端部和用于联接到工具轴630的第二端部。如图6E最佳所示，轴适配器620的第一端部可包括被配置为夹持在手持部分610的特征结构上的近侧部分620a和远侧部分620b。例如，手持部分610可包括大致环状部分，该环状部分限定中心空间614，该中心空间接收近侧部分620a和远侧部分620b。近侧部分620a和远侧部分620b可在其内径处夹持在环状部分的任一侧上，并且经由穿过紧固件孔622的紧固件(未示出)固定到环状部分，从而将轴适配器620固定到手持部分610。除此之外或作为另外一种选择，轴适配器620可以任何合适的方式联接到手持部分610，诸如过盈配合、用环氧树脂胶合、互锁特征结构(例如，在近侧部分620a与远侧部分620b之间)等。另外如图6E所示，轴适配器620的第二端部可包括用于接收工具轴620的凹槽。例如，凹槽可以是大致圆柱形的，以用于接收工具轴部分630的大致圆柱形端部，诸如通过压配合、摩擦配合或其它过盈配合。除此之外或作为另外一种选择，工具轴620可用紧固件(例如，螺钉、螺栓、用环氧树脂胶合，超声波焊接等)联接到轴适配器620。工具轴630可以是任何合适的大小(例如，长度、直径)，以用于模仿或表示手动腹腔镜式工具。

在一些变型形式中，轴适配器620可以选择性地从手持部分610移除，以允许选择性地使用手持部分610作为独立的手持控制器(例如，手持控制器210)以及作为腹腔镜式手持控制器600。除此之外或作为另外一种选择，工具轴630可以选择性地从轴适配器620移除(例如，虽然轴适配器620可被有意地固定到手持部分610，但是工具轴620可以选择性地从轴适配器620移除，以将腹腔镜式手持控制器600转换成独立的手持控制器210)。

一般来讲，腹腔镜式手持控制器600的工具特征结构(诸如轴适配器620和工具轴630)可由刚性或半刚性塑料或金属制成，并且可通过任何合适的制造工艺(诸如3D打印、注塑成型、铣削、车削等)形成。工具特征结构可包括多种材料和/或重量或其它质量，以进一步模拟特定手动腹腔镜式工具的用户感觉。

系统变型形式

上述虚拟现实系统的一个或多个方面可被结合到系统的其它变型形式中。例如，在一些变型形式中，用于提供虚拟机器人外科手术环境的虚拟现实系统可与真实机器人外科手术环境的一个或多个特征结构配合。例如，如图3所示，系统700可包括一个或多个处理器(例如，虚拟现实处理器210)，该处理器被配置为生成虚拟机器人外科手术环境；以及机器人外科手术环境中的一个或多个传感器750，其中一个或多个传感器750与一个或多个处理器通信。来自机器人外科手术环境的传感器信息可被配置为检测机器人外科手术环境的一方面的状态，诸如以用于模仿或复制虚拟机器人外科手术环境中的机器人外科手术环境的特征结构。例如，用户可经由与真实手术室配合的虚拟现实系统来监视真实手术室中的实际机器人外科手术规程(例如，用户可与反映真实手术室中的状况的虚拟现实环境交互)。

在一些变型形式中，一个或多个传感器750可被配置为检测至少一个机器人部件(例如，机器人外科手术系统的部件，诸如机器人臂、联接到机器人臂的工具驱动器、机器人臂附接到其的患者手术台、控制塔等)或机器人外科手术手术室的其它部件的状态。这样的状态可指示例如部件的位置、取向、速率、速度、操作状态(例如，导通或断开、功率电平、模式)或任何其它合适的状态。

例如，一个或多个加速度计可联接到机器人臂连杆并且被配置为提供关于机器人臂连杆的位置、取向和/或运动速度等的信息。多个机器人臂上的多个加速度计可被配置为提供关于在机器人臂之间，在机器人臂的不同连杆之间，或在机器人臂与具有已知位置的附近障碍物之间的即将发生和/或存在的碰撞的信息。

作为另一个示例，一个或多个接近传感器(例如，红外传感器、电容传感器)可联接到机器人臂的一部分或机器人外科手术系统或外科手术环境的其它部件。此类接近传感器可例如被配置为提供关于在对象之间即将发生的碰撞的信息。除此之外或作为另外一种选择，接触或触摸传感器可联接到机器人臂的一部分或机器人外科手术环境的其它部件，并且可被配置为提供关于在对象之间的目前碰撞的信息。

在另一个示例中，机器人外科手术系统或外科手术环境的一个或多个部件可包括标记(例如，红外标记)以便于诸如用监视外科手术环境中的标记的顶置传感器来光学跟踪各种部件的位置、取向和/或速度。类似地，外科手术环境可除此之外或作为另外一种选择包括用于扫描和/或建模外科手术环境及其内容的摄像机。此类光学跟踪传感器和/或摄像机可被配置为提供关于在对象之间即将发生和/或目前的碰撞的信息。

作为另一个示例，一个或多个传感器750可被配置为检测患者、外科医生或其它外科手术人员的状态。这样的状态可指示例如位置、取向、速率、速度和/或生物度量，诸如心率、血压、温度等。例如，心率监测器、血压监测器、温度计和/或氧合传感器等可联接到患者并且使用户能够跟踪患者的状况。

一般来讲，在这些变型形式中，虚拟现实处理器210可生成类似于本文在别处描述的虚拟机器人外科手术环境。另外，在从一个或多个传感器750接收状态信息时，系统中的虚拟现实处理器210或其它处理器可以任何一种或多种合适的方式结合检测到的状态。例如，在一种变型形式中，虚拟现实处理器210可被配置为生成机器人外科手术环境的虚拟现实复制品或近似复制品和/或在其中执行的机器人外科手术规程。例如，机器人外科手术环境中的一个或多个传感器750可被配置为检测与虚拟机器人外科手术环境中的虚拟机器人部件相对应的机器人部件的状态(例如，虚拟机器人部件可基本上以视觉形式和/或功能代表机器人部件)。在该变型形式中，虚拟现实处理器210可被配置为接收机器人部件的检测到的状态，并且然后至少部分地基于检测到的状态来修改虚拟机器人部件，使得虚拟机器人部件模仿机器人部件。例如，如果外科医生在机器人外科手术规程期间将机器人臂移动到特定姿势，则虚拟环境中的虚拟机器人臂可相应地移动。

作为另一个示例，虚拟现实处理器210可接收指示警报事件的状态信息，诸如在对象之间即将发生或目前的碰撞，或者不良的患者健康状况。在接收到这样的信息时，虚拟现实处理器210可以向用户提供事件发生的警告或警报，诸如通过显示视觉警报(例如，文本、指示碰撞的图标、在虚拟环境内的示出碰撞的视图等)，音频警报等。

作为又一个示例，机器人外科手术环境中的一个或多个传感器可用于将实际外科手术规程(在非虚拟机器人外科手术环境中进行)与如在虚拟机器人外科手术环境中规划的规划外科手术规程进行比较。例如，可在外科预先规划期间确定至少一个机器人部件(例如，机器人臂)的预期位置，如在虚拟机器人外科手术环境中可视化为对应的虚拟机器人部件。在实际外科手术规程期间，一个或多个传感器可提供关于实际机器人部件的测量位置的信息。在机器人部件的预期位置与测量位置之间的任何差异可指示与在虚拟现实环境中构建的外科手术规划的偏差。由于此类偏差可最终导致不期望的后果(例如，在机器人臂之间的意外碰撞等)，因此偏差的识别可允许用户相应地调整外科手术规划(例如，重新配置接近外科手术部位，更换外科手术器械等)。

用户模式

一般来讲，虚拟现实系统可包括一个或多个用户模式，所述用户模式使用户能够通过移动和/或操纵手持控制器230来与虚拟机器人外科手术环境交互。此类交互可包括例如在虚拟环境中移动虚拟对象(例如，虚拟机器人臂、虚拟工具等)，添加摄像机视点以从多个有利位置同时观看虚拟环境，在虚拟环境内导航而无需用户移动头戴式显示器220(例如，通过步行)等，如下文进一步所述。

在一些变型形式中，虚拟现实系统可包括多个用户模式，其中每个用户模式与用户交互的相应子集相关联。如图8所示，用户模式中的至少一些可显示在显示器(例如，头戴式显示器220)上以供用户选择。例如，用户模式中的至少一些可对应于显示在用户模式菜单810中的可选用户模式图标812。用户模式菜单810可覆盖在虚拟机器人外科手术环境的显示器上，使得手持控制器的图形表示230’(或用户手、其它合适的代表性图标等)可由用户操纵以选择用户模式图标，从而激活对应于所选择的用户模式图标的用户模式。如图8所示，用户模式图标812通常可被布置在选项板或圆圈中，但是可作为另外一种选择布置成网格或其它合适的布置。在一些变型形式中，可基于例如用户偏好(例如，与用户登录信息的集合相关联)、与当前用户类似的用户的偏好、外科手术规程的类型等在菜单810中呈现可能的用户模式的所选择的子集。

图14示出提供对一个或多个用户模式图标的选择的用户模式菜单的示例性变型形式的操作1400的方法。为了激活用户菜单，用户可激活与菜单相关联的用户输入方法。例如，输入方法可由与手持控制器(例如，手持用户界面装置)接合的用户来激活，诸如通过按下手持控制器上的按钮或其它合适的特征结构(1410)。作为另一个示例，输入方法可由接合用户控制台的踏板或其它特征结构的用户来激活(1410’)。语音命令和/或其它装置可除此之外或作为另外一种选择用于激活与菜单相关联的输入方法。当参与输入方法时(1412)，虚拟现实系统可呈现并显示用户模式图标的阵列(例如，如图8A所示，围绕中心原点布置在选项板中)。用户模式图标的阵列通常可显示在手持控制器的图形表示附近或周围以及/或者在由手持控制器控制的渲染光标处。

例如，在其中手持控制器包括圆形菜单按钮并且手持控制器的图形表示还具有显示在虚拟现实环境中的圆形菜单按钮的一种变型形式中，用户模式图标的阵列可以菜单按钮为中心并且与该菜单按钮对齐，使得菜单平面和菜单按钮的法向向量基本上对齐。圆形或径向菜单可包括例如多个不同的菜单区域(1414)或分区，所述菜单区域或分区中的每个可与角度范围(例如，圆形菜单的弧形区段)和用户模式图标(例如，如图8所示)相关联。可在所选择的状态与未选择的状态之间来回切换每个区域。

方法1400通常可包括确定用户对用户模式的选择，以及接收用户想要激活虚拟现实系统的所选择的用户模式的确认。为了选择用户模式菜单中的用户模式，用户可移动手持控制器(1420)以自由地操纵手持控制器的图形表示并且在用户模式菜单中导航通过用户模式图标。一般来讲，可分析手持控制器的位置/取向(以及与手持控制器相对应地移动的手持控制器的图形表示的位置/取向)以确定用户是否已经选择了特定的用户模式图标。例如，在其中用户模式图标围绕中心原点布置在大致圆形选项板中的变型形式中，该方法可包括确定手持控制器的图形表示相对于中心原点的径向距离和/或角度取向。例如，用于确定用户模式图标的用户选择的测试可包括一个或多个插脚，所述插脚可以任何合适的顺序来满足。在第一插脚(1422)中，将手持控制器的图形表示到用户模式菜单的中心(或用户模式菜单中的另一个参考点)的距离与距离阈值进行比较。距离可以绝对距离(例如，像素数)或比率(例如，在中心点与布置在用户模式菜单周边周围的用户模式图标之间的距离百分比，诸如80％以上)来表示。如果距离小于阈值，则可以确定没有选择用户模式图标。除此之外或作为另外一种选择，用户模式图标的选择可取决于第二插脚(1424)。在第二插脚(1424)中，测量手持控制器的图形表示的取向并且将其与跟菜单的弧形区段相关联的用户模式图标相关。如果取向对应于菜单的所选择的弧形区段，则可以确定用户选择了特定用户模式(与所选择的弧形区段相关联)。例如，如果手持控制器的图形表示相对于原点的距离和角度取向均满足条件(1422)和(1424)，则用户模式图标可被确定为由用户选择。

在确定用户已经选择了特定用户模式图标之后，在一些变型形式中，该方法可通过视觉和/或听觉指示将这样的选择传达给用户(例如，作为确认)。例如，在一些变型形式中，该方法可包括响应于确定用户已经选择了用户模式图标，在所显示的虚拟现实环境中呈现视觉提示(1430)。如图14所示，示例性视觉提示(1432)包括用以下各项来修改所选择的用户模式图标(和/或与所选择的用户模式图标相关联的弧形区段)的外观：突出显示(例如，加粗的轮廓)，动画(例如，摆动线、“跳舞”或“脉动”图标)，大小的变化(例如，图标放大)，表观深度的变化，颜色或不透明度的变化(例如，或多或少半透明，图标的图案填充变化)，位置变化(例如，从中心原点等径向向外或向内移动)，和/或任何合适的视觉修改。在一些变型形式中，在用户确认选择特定用户模式之前，以这些或任何合适的方式向用户指示可通知用户将激活哪个用户模式。例如，该方法可包括在用户导航或滚动菜单中的各种用户模式图标时呈现视觉提示(1430)。

用户可以一种或多种不同方式确认批准所选择的用户模式图标。例如，用户可释放或停用与菜单相关联的用户输入方法(1440)(例如，释放手持控制器上的按钮，脱离脚踏板)，诸如以指示批准所选择的用户模式。在其它变型形式中，用户可通过以下方式来确认选择：悬停在所选择的用户模式图标上方持续至少预定的时间段(例如，至少5秒)，双击与用户菜单相关联的用户输入方法(例如，双击按钮等)，说出指示批准的口头命令等。

在一些变型形式中，在接收到用户批准所选择的用户模式的确认后，该方法可包括验证已经选择了哪个用户模式图标。例如，如图14所示，用于验证已经选择了哪个用户模式图标的测试可包括一个或多个插脚，所述插脚可以任何合适的顺序来满足。例如，在其中用户模式图标围绕中心原点布置在大致圆形选项板中的变型形式中，该方法可包括确定相对于中心原点的径向距离(1442)以及/或者在用户指示批准用户模式选择图标时手持控制器的图形表示相对于中心原点的角度取向(1446)。在一些变型形式中，插脚(1442)和(1446)可分别类似于上述插脚(1422)和(1424)。如果不满足这些插脚(1442)和(1444)中的至少一个，则用户输入方法的释放可与未选择用户模式图标相关(例如，用户可能已经更改他或她关于选择新用户模式的想法)。因此，如果手持控制器的图形表示未能满足距离阈值(1442)，则可保留原始或先前的用户模式(1444)。类似地，如果手持控制器的图形表示未能对应于菜单的弧形区段(1446)，则可保留原始或先前的用户模式(1448)。如果手持控制器的图形表示确实满足距离阈值(1442)并且对应于菜单的弧形区段，则可以激活所选择的用户模式(1450)。在其它变型形式中，用户模式可除此之外或作为另外一种选择与其它交互一起选择，诸如语音命令，经由传感器的眼睛跟踪等。此外，系统可除此之外或作为另外一种选择基于诸如外科手术规程类型等内的用户活动之类的标准建议激活一个或多个用户模式(例如，如果用户经常转头看他的视野边缘上的细节，则系统可以建议用户模式，使能够放置摄像机以从期望的有利位置提供平视显示器窗口视图，如下所述)。

对象抓持

具有虚拟机器人外科手术环境的一个示例性用户模式使用户能够抓持、移动或以其它方式操纵虚拟环境中的虚拟对象。操纵的虚拟对象的示例包括但不限于物理项的虚拟表示(例如，一个或多个虚拟机器人臂、一个或多个虚拟工具驱动器、虚拟手动腹腔镜式工具、虚拟患者手术台或其它停止表面、虚拟控制塔或其它设备、虚拟用户控制台等)和其它虚拟或图形构造，诸如入口、窗口显示、平视显示器上的患者成像或其它投影等，这在下文中进一步描述。

虚拟对象中的至少一些可包括至少一个虚拟触点或可选择特征结构或与之相关联。当用户选择虚拟触点时，用户可移动(例如，调整位置和/或取向)与所选择的虚拟触点相关联的虚拟对象。此外，可以在相同虚拟对象或多个单独的虚拟对象上同时选择多个虚拟触点(例如，用多个手持控制器230及其图形表示230’)。

用户通常可通过以下方式来选择虚拟触点：移动手持控制器230以相应地将图形表示230’移动到虚拟环境中的虚拟触点，然后接合交互式特征结构诸如手持控制器230上的触发器或按钮来指示虚拟触点的选择。在一些变型形式中，只要用户接合手持控制器230上的接合交互式特征结构(例如，只要用户按下触发器)虚拟触点可保持被选择，并且当用户释放交互式特征结构时可变为未被选择。例如，虚拟触点可使用户能够经由虚拟触点“点击并拖动”虚拟对象。在一些变型形式中，虚拟触点可以在所选择的状态与未选择的状态之间来回切换，因为在手持控制器上的交互式特征结构的单次接合之后虚拟触点可保持被选择，直到交互式特征结构的第二接合将虚拟触点切换为未选择的状态。在虚拟机器人外科手术环境中，可存在一个或两个种类的虚拟触点。

虚拟对象可包括用于直接操纵虚拟对象的至少一个虚拟触点。例如，虚拟环境中的虚拟机器人臂可在其虚拟臂连杆之一上包括虚拟触点。用户可移动手持控制器230，直到手持控制器的图形表示230’接近虚拟触点(例如，悬停在虚拟触点上方)，接合手持控制器230上的触发器或其它交互式特征结构以选择虚拟触点，然后移动手持控制器230以经由虚拟触点操纵虚拟机器人臂。因此，用户可操纵手持控制器230以便将虚拟机器人臂重新定位在新姿势中，诸如以通过患者在虚拟环境中创建更宽敞的工作空间，测试虚拟机器人臂的运动范围以确定在虚拟机器人臂与其它对象之间的碰撞的可能性等。

虚拟对象可包括与第二虚拟对象相关联的至少一个虚拟触点，以用于间接操纵第二虚拟对象。例如，虚拟控制面板可包括虚拟交换机上的虚拟触点或与患者手术台相关联的按钮。虚拟交换机或按钮可例如控制虚拟环境中的虚拟患者手术台的高度或角度，类似于真实控制面板上的交换机或按钮可以电子地或机械地修改真实患者手术台的高度或角度的方式。用户可移动手持控制器230，直到手持控制器的图形表示230’接近虚拟触点(例如，悬停在虚拟触点上方)，接合手持控制器230上的触发器或其它交互式特征结构以选择虚拟触点，然后移动手持控制器230以经由虚拟触点操纵虚拟交换机或按钮。因此，用户可操纵手持控制器230以便修改虚拟环境的高度或角度，诸如以改善接近或进入虚拟环境中的工作空间的角度。

当选择虚拟触点时，虚拟现实处理器可修改虚拟机器人外科手术环境以向用户指示确实选择了虚拟触点。例如，包括虚拟触点的虚拟对象可通过以不同颜色(例如，蓝色或红色)图形地呈现和/或以不同线宽或颜色勾画来突出显示，以便在视觉上将受影响的虚拟对象与虚拟环境中的其它虚拟对象进行比较。除此之外或作为另外一种选择，虚拟现实处理器可通过指示选择虚拟触点的音频装置来提供音频反馈(例如，音调、嘟嘟声或口头确认)，并且/或者通过手持控制器230、头戴式显示器220或其它合适的装置来提供触觉反馈(例如，振动)。

导航

具有虚拟机器人外科手术环境的其它示例性用户模式可使用户能够导航并探索在虚拟环境内的虚拟空间。

快照点

在一些变型形式中，系统可包括启用“快照点”的用户模式，或在虚拟环境内的虚拟目标，该虚拟目标可用于帮助用户在虚拟环境内导航。快照点可例如放置在虚拟环境内的用户所选择的或默认的位置处，并且使用户能够在选择快照点时快速导航到该位置。在一些变型形式中，快照点可与在虚拟环境内的取向和/或来自该有利位置的环境显示的表观比例(缩放级别)相关联。快照点可例如在视觉上被指示为在第一人称透视图中以图形方式显示的色点或其它颜色标记。通过选择快照点，可将用户运送到在虚拟机器人外科手术环境内的所选择的快照点的有利位置。

例如，图16示出启用快照点的用户模式的示例性变型形式的操作1600的方法。如图16所示，快照点可由用户或作为预定设置定位(1610)在虚拟环境中。例如，如上所述，用户可通过用户模式菜单导航，并且用手持控制器从菜单中选择或“抓住”快照点图标(例如，用色点或其它合适的标记指示)，并且将快照点图标拖放到虚拟环境中的期望位置和/或取向。在一些变型形式中，快照点可通过以下方式重新定位：用户重新选择快照点(例如，移动手持控制器的图形表示，直到其与快照点或快照点周围的碰撞体积边界相交，然后接合输入特征结构，诸如按钮或触发器)，并且将快照点图标拖放到新的期望位置。在一些变型形式中，用户可设置与快照点相关联的有利位置的比例或缩放级别(1620)，诸如通过调整显示的滑动条或滚轮、如上所述的用于设置环境视图操纵的比例级别的运动等。在一些示例中，快照点可具有与快照点的全部或子类别相关联的默认比例级别，当用户放置快照点时与用户的当前有利位置相关联，或者如上所述进行调整的比例级别。此外，一旦放置了快照点，便可将快照点存储(1630)在存储器(例如，本地或远程存储装置)中以供将来访问。在一些变型形式中，可从虚拟环境和存储器中删除快照点。例如，快照点可被选择(以与重新定位快照点类似的方式)并且设计用于通过以下方式来删除：将其拖出屏幕到预定位置(例如，虚拟垃圾桶)并且/或者用预定速度(例如，以大于预定阈值的速度沿远离用户的有利位置的方向“抛出”)、辅助菜单选项的选择、语音命令等移动快照点。

一旦虚拟环境的一个或多个快照点存储在存储器中，用户便可选择存储的快照点之一(1640)以供使用。例如，在选择存储的快照点时，可将用户的有利位置调整到所选择的快照点的设置的位置、取向和/或比例(1650)，从而允许用户感觉他们好像正在远程运送到与所选择的快照点相关联的位置。在一些变型形式中，可将用户的先前有利位置存储为快照点(1660)，以使得能够容易地“撤消”用户的感知的远程运送并且将用户转换回其先前的有利位置。这样的快照点可以是暂时的(例如，在预定时间段之后消失，诸如在5至10秒之后消失)。在一些示例中，仅在用户的先前位置不是预先存在的快照点的情况下，用户的先前有利位置才可被存储为快照点。此外，在一些变型形式中，虚拟轨迹或轨线(例如，线或弧)可显示在虚拟环境中，该虚拟环境将用户的先前有利位置连接到与所选择的快照点相关联的用户的新有利位置，这可例如向用户提供关于他们如何在虚拟环境内远程运送的来龙去脉。可在预定时间段之后(例如，在5至10秒之后)从虚拟环境的显示器移除这样的视觉指示。

一般来讲，在一些变型形式中，快照点可以与下文描述的入口类似的方式操作，不同之处在于快照点可指示有利位置而不提供虚拟环境的窗口预览。例如，快照点可被放置在虚拟患者外和/或在虚拟患者内的用户所选择的有利位置处，并且可被链接到一个或多个轨线，类似于如上所述的入口。在一些变型形式中，用户可以与下文针对入口所描述类似的方式设置快照点轨线。

入口

在一些变型形式中，该系统可包括用户模式，该用户模式便于在虚拟环境中的用户所选择的位置处放置一个或多个入口或远程运送点。每个入口可例如用作到虚拟环境中的对应有利位置的运送网关，从而允许用户快速地改变有利位置以便观看和导航虚拟环境。一般来讲，在选择(例如，用一个或多个手持控制器230)入口时，用户的表观位置可转换到所选择的入口的位置，使得用户从所选择的入口的有利位置观看虚拟环境并且具有围绕虚拟环境“跳跃”的感觉。通过在虚拟环境周围放置一个或多个入口，用户可具有在各种有利位置之间快速移动的能力。虚拟环境周围的入口的放置、调整、存储和/或导航可类似于上述快照点的放置、调整、存储和/或导航。

例如，如上文一般所述，系统可从在虚拟机器人外科手术环境内的第一有利位置显示虚拟机器人外科手术环境的第一人称透视图。用户可通过菜单导航以选择允许放置入口的用户模式。如图9A所示，用户可操纵手持控式制器的图形表示230’以将入口910定位在虚拟环境中的所选择的位置中。例如，用户可在入口放置启用用户模式被激活的同时接合手持控制器上的特征结构(例如，触发器或按钮)，使得当特征结构被接合并且用户移动手持控制器的位置和/或取向时，入口910可出现并在虚拟环境内移动。一个或多个入口放置指示器920(例如，将图形表示230’连接到预期入口位置的一个或多个箭头、线、弧等)可帮助向用户传送入口910的预期位置，诸如通过帮助深度感知。可通过经由手持控制器“抓住”并拉伸或收缩入口910的侧面来调整入口910的大小。当入口910位置(例如，通过用户释放手持控制器上的接合特征结构、双击等)被确认时，可以更新用户在虚拟环境内的表观位置以匹配与入口910相关联的有利位置。在一些变型形式中，如下所述，可禁止在虚拟位置内的至少一些有利位置。这些禁止的有利位置可被存储在存储器(例如，本地或远程存储装置)中。在这些变型形式中，如果入口910位置被确认在禁止的位置中(例如，与存储在存储器中的禁止的有利位置列表进行比较并且在该列表之中匹配)，则可以保留用户在虚拟环境内的表观位置而不进行改变。然而，如果入口910位置被确认为允许的(例如，与禁止的有利位置列表进行比较并且在该列表之中不匹配)，则可如上所述更新用户在虚拟环境内的表观位置。

在一些变型形式中，一旦用户将入口910放置在期望的有利位置处，便可在入口910内显示来自放置的入口910的有利位置的虚拟环境的窗口视图，从而提供由入口910提供的视图的“预览”。用户可例如通过入口910以全视差观看，使得入口910表现为一种类型的放大透镜。例如，在查看入口910时，用户可观看虚拟环境，就好像用户已经缩放到入口的比例因子的倒数(这会影响瞳孔间距和焦距)并且好像用户已被转换成入口的从入口910到用户的当前位置的距离的比例因子的倒数(1/入口比例因子)。此外，入口910可包括“事件视界”，其可以是平面上的纹理，该纹理例如使用如上所述定位的在虚拟环境场景内的附加的一个或多个摄像机(在下文描述)来呈现。在这些变型形式中，当在选择用于远程运送的入口910之后“行进”穿过入口910时，在用户接近入口期间，用户对虚拟环境的观看可自然地收敛于用户的表观有利位置，因为用户的有利位置被偏移为距入口的距离的一部分(偏移1/入口比例因子)。因此，用户可能感觉他们好像平稳且自然地步入以与所选择的入口相关联的比例因子观看虚拟环境。

如图9A所示，在一些变型形式中，入口910可为大致圆形的。然而，在其它变型形式中，一个或多个入口910可以是任何合适的形状，诸如椭圆形、正方形、矩形、不规则形状等。此外，入口中显示的虚拟环境的窗口视图可以与入口相关联的比例因子显示虚拟环境，使得在不同入口中显示的虚拟环境的视图可以不同的“缩放”级别显示(例如，1倍、1.5倍、2倍、2.5倍、3倍等)，从而也改变了用户相对于环境的比例。入口中的窗口视图的比例因子还可指示或对应于在用户被运送到该入口的有利位置的情况下将显示的视图的比例。例如，如果在虚拟患者外的虚拟环境的视图为约1倍，则在虚拟患者内的虚拟环境的窗口视图可为约2倍以上，从而向用户提供在虚拟患者内部组织的更多细节。比例因子可以是用户定义的或由系统预先确定的(例如，基于入口在虚拟环境中的位置)。在一些变型形式中，比例因子可与入口910的显示尺寸相关，但是在其它变型形式中，比例因子可与入口大小无关。

在一些变型形式中，入口910可被放置在虚拟环境中的用户期望的基本上任何有利位置中。例如，入口910可被放置在虚拟手术室的虚拟地面上的任何地方或虚拟对象(例如，桌子、椅子、用户控制台等)上。作为另一个示例，如图9B所示，入口910可被放置在虚拟地面上方任何合适高度的半空中。作为又一个示例，如图9C所示，入口可被放置在虚拟患者上或在虚拟患者内，诸如被放置在患者的腹部上并且允许观看虚拟患者的肠和其它内部器官(例如，模拟增强现实)的入口910a和910b。在该示例中，虚拟患者可从医学成像和真实(非虚拟)患者的其它信息生成，使得入口910a和910b可使用户能够具有真实患者的组织的准确表示的沉浸式视图(例如，以用于观察肿瘤等)，并且/或者从放置在患者内的内部虚拟摄像机(在下文描述)生成。在一些变型形式中，系统可根据预定义的指导限制入口910的放置(例如，仅在患者外或仅在患者内)，这可例如对应于与虚拟环境相关联的一种类型的模拟外科手术规程或训练水平(例如，“初级”或“高级”用户级别)。此类禁止位置可通过例如入口910在其被放置时的视觉变化(例如，在入口910被放置时改变轮廓颜色，在该入口内显示变灰或不透明的窗口视图)和/或听觉指示(例如，嘟嘟声、音调、口头反馈)来向用户指示。在又一种变型形式中，系统除此之外或作为另外一种选择包括放置在预定位置的一个或多个入口910，诸如在虚拟环境中的虚拟用户控制台处，与虚拟手术台相邻等。此类预定位置可例如取决于规程的类型，被或者保存为配置文件的一部分。

入口910可从入口的任一“侧面”(例如，前侧和后侧)可见。在一些变型形式中，来自入口910的一侧的视图可与入口910的相对侧不同。例如，当从入口910的第一侧(例如，前侧)观看时，入口可提供具有如上所述的比例因子和视差效果的虚拟环境的视图，而当从入口910的第二侧(例如，后侧)观看时，入口可以提供具有约一的比例因子的虚拟环境的视图。作为另一个示例，当从入口的第一侧和第二侧观看时，入口可提供具有比例因子和视差效果的虚拟环境的视图。

在一些变型形式中，多个入口910可顺序地链接以在虚拟环境中包括轨线。例如，如图9C所示，可显示来自第一有利位置的虚拟机器人外科手术环境的第一人称透视图(例如，沉浸式视图)。用户可将第一入口910a放置在与第一有利位置不同的第二有利位置中(例如，比第一有利位置更靠近虚拟患者)，并且可在第一入口910a中显示来自第二有利位置的虚拟机器人外科手术环境的第一窗口视图。类似地，用户可将第二入口910b放置在第三有利位置中(例如，比第一有利位置和第二有利位置更靠近患者)，并且可在第二入口910b中显示虚拟机器人外科手术环境的第二窗口视图。用户可提供将第一入口910a和第二入口910b相关联的用户输入(例如，通过选择手持控制器，在第一入口与第二入口之间用手持控制器绘制线等)，使得第一入口和第二入口顺序地链接，从而在第一入口与第二入口之间生成轨线。

在一些变型形式中，在多个入口910被链接以生成轨线之后，沿着轨线的运送可能不需要显式选择每个顺序入口。例如，一旦在轨线上(例如，在第二有利位置处)，便可通过触发器、按钮、触摸板、滚轮、手持控制器的其它交互式特征结构、语音命令等的接合来完成在链接入口之间的行进。

附加入口可以以类似的方式链接。例如，两个、三个或更多个入口可串联链接以生成延伸的轨线。作为另一个示例，多个入口可形成“分支”轨线，其中至少两个轨线共享至少一个共同的入口，但是否则每个轨线具有对该轨线唯一的至少一个入口。作为又一个示例，多个人口可形成两个或更多个部共享共同入口的轨线。用户可选择要行进的轨线，诸如通过使用手持控制器和/或语音命令等。可以在视觉上指示在入口之间的一个或多个轨线(例如，用虚线、沿着相同轨线的入口的颜色编码等)，并且可诸如基于用户偏好回切换打开和关闭轨线的此类视觉指示。

其它入口特征结构可便于在入口之间轻松导航轨线。例如，当用户进入并通过该入口时，入口可改变颜色。如图9C所示，在另一个示例中，入口本身可显示有方向箭头，指示包括该入口的轨线的可允许方向。此外，沿着轨线行进可以通过“撤销”命令(经由手持控制器和/或语音命令等)来完成，该命令将用户返回到先前的有利位置(例如，从先前的有利位置显示虚拟环境的视图)。在一些变型形式中，可(诸如根据用户偏好或系统设置)建立归属或默认有利位置，以便使用户能够用快捷命令快速返回到该归属有利位置，该快捷命令诸如为手持控制器上的交互式特征结构或语音命令(例如，“重置我的位置”)。例如，归属或默认有利位置可在虚拟用户控制台处或与虚拟手术台相邻。

便于入口的放置和使用的用户模式或另一个单独的用户模式可进一步便于删除一个或多个入口。例如，可用手持控制器选择入口以便于删除。作为另一个示例，可经由语音命令(例如，“删除所有入口”或“删除入口A”)选择一个或多个入口以用于删除。

自由导航

系统可包括便于虚拟机器人外科手术环境周围的自由导航的用户模式。例如，如本文所述，系统可被配置为基于头戴式显示器和/或手持控制器中的传感器检测用户的步行运动，并且可将用户的运动与在虚拟手术室内的重新定位相关。

在另一种变型形式中，系统可包括飞行模式，该飞行模式使用户能够以不同的高度和/或速度以及以不同的角度以“飞行”方式快速地导航虚拟环境。例如，用户可通过以期望的飞行方向导向一个或多个手持控制器和/或耳机来以飞行模式导航。手持控制器上的交互式特征结构可进一步控制飞行。例如，方向键或触摸板可以提供对前进、后退、扫射等运动的控制，同时保持虚拟环境的基本上相同的透视图。在一些变型形式中，平移可在没有加速的情况下发生，因为加速可能倾向于增加模拟器综合征的可能性。在另一个用户设置中，方向键或触摸板(或耳机的取向)可提供对用户的表观位置在虚拟环境内的高度的控制。此外，在一些变型形式中，类似于上文关于入口所述，可建立在飞行模式内的归属或默认有利位置，以便使用户能够利用快捷命令快速返回到该归属有利位置。响应于用户输入的诸如飞行速度之类的参数可由用户调整并且/或者由系统默认地设置。

此外，在飞行模式中，可经由手持控制器控制所显示视图的比例因子。比例因子可例如影响用户的位置在虚拟环境内的表观高度。在一些变型形式中，用户可使用手持控制器来拉开显示视图中的两个点来缩小并且拉近显示视图中的两个点来放大，或者相反地拉开显示视图中的两个点来放大并且拉近显示视图中的两个点来缩小。除此之外或作为另外一种选择，用户可利用语音命令(例如，“将缩放增加到2倍”)来改变显示视图的比例因子。例如，图10A和图10B分别示出了相对“放大”和“缩小”的虚拟环境的示例性视图。诸如比例因子的变化速度、最小和最大比例因子范围等的参数可由用户调整并且/或者由系统默认地设置。

当用户在飞行模式中自由地导航虚拟环境时，显示视图可包括用以减少眼睛疲劳、恶心等的特征结构。例如，在一些变型形式中，系统可包括“舒适模式”，其中当用户在飞行模式中导航时移除显示视图的外区域，这可以例如帮助减少用户的晕动病。如图10C所示，当处于舒适模式时，系统可在用户的视图的焦点区域(例如，中心)周围的内转换边界1010与外转换边界1020之间限定转换区域1030。在转换区域内(在内转换边界1010内)，显示虚拟机器人外科手术环境的正常视图。在转换区域外(在外转换边界1020外)，显示中立视图或普通背景(例如，普通的灰色背景)。在转换区域1030内，显示视图可具有将虚拟环境的视图逐渐转换为中立视图的梯度。尽管图10C中所示的转换区域1030被描绘为大致圆形，具有大致圆形的内转换边界1010和外转换边界1020，但在其它变型形式中，内转换边界1010和外转换边界1020可限定椭圆形或其它合适形状的转换区域1030。此外，在一些变型形式中，转换区域的各种参数，诸如大小、形状、梯度等可由用户调整和/或由系统默认地设置。

在一些变型形式中，如图11所示，用户可从玩偶屋视图观看虚拟机器人外科手术环境，该玩偶屋视图允许用户以自顶向下角度从头顶的有利位置观看虚拟手术室。在玩偶屋视图中，虚拟手术室可在显示器上以较小的比例因子(例如，小于真人大小)显示，从而改变用户相对于虚拟手术室的比例。玩偶屋视图可为用户提供虚拟环境的附加情境感知，因为用户可立即观看整个虚拟手术室，以及其内容的布置，诸如虚拟设备、虚拟人员、虚拟患者等。例如，通过玩偶屋视图，用户可用更全面的情境感知重新布置虚拟手术室中的虚拟对象。在一些变型形式中，玩偶屋视图可与上述入口和/或快照点一起链接在轨线中。

环境视图旋转

在一些变型形式中，系统可以包括用户模式，该用户模式使用户能够通过围绕他或她的当前有利位置移动虚拟环境来导航虚拟机器人外科手术环境。环境视图旋转模式可提供用户可导航虚拟环境的不同方式，诸如通过“抓紧”和操纵环境，就像它是对象一样。当用户以这样的方式导航通过虚拟环境时，可另外实现类似于上述的“舒适模式”以帮助减少与模拟相关的晕动病。例如，在环境视图旋转模式中，用户可通过在用户的当前有利位置周围选择和拖动虚拟环境的视图来围绕当前有利位置旋转显示的场景。换句话讲，在环境视图旋转模式中，当虚拟环境可被移动时，用户在虚拟环境中的表观位置看起来是固定的。这与其它模式(诸如例如上述飞行模式)形成对比，其中通常环境在用户移动时可能看起来是固定的。类似于上面针对飞行模式描述的比例因子调整，在环境视图旋转模式中，环境的显示视图的比例因子可由手持控制器和/或语音命令来控制(例如，通过使用手持控制器来选择并拉开显示视图中的两个点以放大等)。

例如，如图15所示，在用于在环境视图旋转模式下操作的方法1500的一个示例性变型形式中，用户可激活用户输入方法(1510)，诸如在手持控制器(例如，按钮或触发器或其它合适的特征结构)或任何合适的装置上。在一些变型形式中，在激活用户输入方法时可以检测到一个手持控制器(1520)。可检测并存储手持控制器在激活时的原始位置(1522)。此后，当用户移动手持控制器时(例如，在继续激活用户输入方法时)，可检测到手持控制器的当前位置(1524)。可计算在手持控制器的原始(或先前)位置与当前位置之间的向量差(1526)，并且可至少部分地基于计算的向量差来调整(1528)用户的有利位置的位置，从而产生使用户感觉他们正在“抓住”并拖动虚拟环境的效果。

在一些变型形式中，在激活用户输入方法时可以检测到两个手持控制器(1520’)。可检测到(1522’)手持控制器的原始位置，并且可计算并存储在手持控制器的原始位置之间的中心点和原始向量(1523’)。此后，当用户移动一个或多个手持控制器时(例如，在继续激活用户输入方法时)，可检测到(1524’)手持控制器的当前位置并且将其用于形成在手持控制器之间的原始向量与当前向量之间的计算的向量差的基础(1528’)。可基于计算的向量差调整(1528’)用户的有利位置的位置和/或取向。例如，显示视图的取向或旋转可围绕在手持控制器位置之间的中心点旋转，从而产生使用户感觉他们正在“抓住”并拖动周围环境的效果。类似地，可基于计算的在两个手持控制器之间的距离差调整虚拟环境的显示比例(1529’)，从而产生使用户感觉他们正在“抓住”并放大和缩小虚拟环境的显示视图的效果。

尽管单独描述了上述用户模式，但是应当理解，这些模式的方面表征用户可导航虚拟机器人外科手术环境的示例性方式，并且可以单个用户模式组合。此外，这些方面中的一些可被无缝链接。例如，通常与飞行模式相关联的头顶有利位置可与轨线中的一个或多个入口顺序地链接。更进一步地，在一些变型形式中，虚拟环境的有利位置或显示视图(例如，如经由上述用户模式中的一个或多个调整的)可被链接到至少一个默认有利位置(例如，默认位置、取向和/或比例)。例如，通过激活用户输入(例如，在手持控制器，脚踏板等上)，用户可将当前有利位置“重置”到虚拟环境中的指定或预定有利位置。用户的当前有利位置可例如逐渐且平滑地动画化，以便转换到位置、取向和/或比例的默认值。

补充视图

在一些变型形式中，系统的一个或多个示例性用户模式可向用户显示附加信息的一个或多个补充视图，诸如覆盖在虚拟机器人外科手术环境的主要第一人称透视图上方或插入其中。例如，如图12所示，平视显示器1210(HUD)可在虚拟环境的主要第一人称透视图上方提供透明覆盖。HUD1210可来回切换打开和关闭，从而允许用户控制是否在任何特定时间显示HUD 1210。可将诸如下文描述的附加信息的补充视图放置到HUD上，使得用户可观察补充视图而无需将目光远离主视图。例如，补充视图可“粘附”到HUD 1210并随着用户的头部运动而移动，使得补充视图总是在用户的视野中。作为另一个示例，附加信息的补充视图可被松散地固定到HUD1210，因为当用户的头部通常面向前方时，补充视图可以是小的或至少部分隐藏在屏幕外或在周边视觉中，但是到一侧的小的或轻微的头部运动可扩展并且/或者将一个或多个补充视图带入用户的视野中。一个或多个补充视图可以行、网格或其它合适的布置布置在HUD 1210上。在一些变型形式中，HUD 1210可以包括预定的“快照”点，补充视图(例如，摄像机视图等)被定位到该“快照”点。例如，用户可在HUD 1210上选择补充视图以进行更近的检查，然后通常通过沿快照点的方向拖动HUD 1210上的补充视图来替换其，由此补充视图可以被绘制并固定在快照点处，而无需由用户精确地放置在那里。

作为另一个示例，在虚拟命令站模式中，可在虚拟空间中显示一个或多个补充视图，其中一个或多个内容窗口或面板在虚拟空间中布置在用户前面(例如，类似于可导航菜单)。例如，如图13所示，多个内容窗口(例如，1310a、1310b、1310c和1310d)可以半圆形布置或其它合适的布置定位以便于显示给用户。内容窗口的布置可由用户调整(例如，使用具有其图形表示230’的手持控制器来选择并拖动或旋转内容窗口)。内容窗口可显示例如内窥镜视频馈送、入口视图、虚拟手术室的“体育场”顶视图、患者数据(例如，成像)、其它摄像机或患者信息视图，诸如本文所述的那些等。通过同时观看多个面板，用户可能够同时监测虚拟手术室和/或患者的多个方面，从而允许用户具有对虚拟环境的总体和更广泛的认识。例如，用户可意识到并且然后更快地响应虚拟环境中的任何不利事件(例如，在模拟外科手术规程期间虚拟患者的模拟负面反应)。

此外，虚拟命令站模式可使用户能够选择内容窗口中的任何一个并且变得沉浸在所显示的内容中(例如，以第一人称视角)。这样的完全沉浸式模式可暂时解除其它内容窗口，或者可最小化(例如，降级到覆盖在所选择的沉浸式内容上方的HUD)。作为例示性示例，在虚拟命令站模式中，系统可显示多个内容窗口，包括示出在虚拟患者的腹部内的内窥镜式摄像机视频馈送。用户可选择内窥镜式摄像机视频馈送以变得完全沉浸在虚拟患者的腹部中(例如，同时仍然操纵附接到臂的机器人臂和器械)。

摄像机视图

在一些变型形式中，用户模式可使用户能够将虚拟摄像机放置在虚拟环境中的所选择的有利位置中，并且可在HUD中显示来自所选择的有利位置的虚拟环境的窗口视图，使得用户可同时观看他的第一人称视角视野和可以实时更新的摄像机视图(由虚拟摄像机提供的视图)。虚拟摄像机可被放置在虚拟环境中的任何合适的位置中(例如，在患者内或在患者外、患者的头顶、虚拟手术室的顶等)。例如，如图12所示，用户可将虚拟摄像机1220(例如，使用如上所述的对象抓持)放置为靠近虚拟患者的骨盆区域并且面向患者的腹部，以便提供患者的腹部的“虚拟视频馈送”。一旦放置，随后便可重新定位虚拟摄像机1220。可将摄像机视图(例如，圆形插入视图或任何合适形状的窗口)放置在HUD上作为示出来自虚拟摄像机1220的有利位置的虚拟视频馈送的窗口视图。类似地，可在虚拟环境中放置多个虚拟摄像机以允许在HUD上示出多个摄像机视图。在一些变型形式中，可加载一个或多个虚拟摄像机的预定布置，诸如用于虚拟现实处理器的配置文件的一部分以结合到虚拟环境中。

在一些变型形式中，系统可提供一系列不同种类的虚拟摄像机，所述虚拟摄像机可提供不同种类的摄像机视图。虚拟摄像机的一个示例性变型形式是“电影”摄像机，其被配置为提供虚拟环境的实时虚拟馈送(例如，图12中的电影摄像机视图1212)。虚拟摄像机的另一个示例性变型形式是内窥镜式摄像机，其附接到虚拟内窥镜以放置在虚拟患者中。在该变型形式中，用户可例如虚拟地执行用于将虚拟内窥镜摄像机引入虚拟患者中的技术，并且随后通过观看虚拟内窥镜式视频馈送来监视在患者内的内部工作空间(例如，图12中的内窥镜式摄像机视图1214)。在另一种示例性变型形式中，虚拟摄像机可以是广角(例如，360度、全景等)摄像机，其被配置为提供虚拟环境的更大视野。在该变型形式中，窗口摄像机视图可例如显示为鱼眼或大致球形的显示器。

用户可调整摄像机视图的各个方面。例如，用户可调整摄像机视图的位置、大小、比例因子等(例如，类似于如上所述的入口的调整)。作为另一个示例，用户可选择要应用于摄像机视图的一个或多个滤镜或其它特殊成像效果。示例性滤镜包括突出显示虚拟患者的特定解剖特征结构(例如，肿瘤)或组织特性(例如，灌注)的滤镜。在一些变型形式中，诸如如果虚拟摄像机或其相关联的摄像机视图正在阻碍用户观看虚拟摄像机或摄像机视图后面的虚拟环境，则可取消选择或“关断”(例如，使虚拟摄像机和/或相关联的摄像机视图选择性地隐藏)或删除一个或多个虚拟摄像机。

在一些变型形式中，摄像机视图可类似于入口(如上所述)起作用，以使用户能够在虚拟环境周围快速导航。例如，参考图12，用户可选择要运送到摄像机视图1212的有利位置的摄像机视图1212(例如，突出显示或抓住摄像机视图1212并将该摄像机视图拉向他自己)、患者数据视图等。

在一些变型形式中，用户模式可允许在HUD或显示器中的另一个合适位置上显示患者数据和其它信息。例如，患者成像信息(例如，超声、X射线、MRI等)可被显示在补充显示器中，覆盖在患者身上(例如，作为模拟增强现实)。用户可例如在与虚拟患者交互时观看患者图像作为参考。作为另一个示例，患者生命体征(例如，心率、血压等)可在补充视图中显示给用户。

在另一种变型形式中，用户模式可允许显示其它合适的信息，诸如训练视频(例如，从先前规程记录的示例性外科手术规程)、来自导师或教练外科医生的视频馈送等，从而向用户提供指导。

虚拟现实系统应用程序

一般来讲，虚拟现实系统可用于任何合适的场景中，其中模拟或复制机器人外科手术环境是有用的。在一些变型形式中，虚拟现实系统可用于训练目的，诸如允许外科医生练习控制机器人外科手术系统和/或使用机器人外科手术系统来练习执行特定种类的微创外科手术规程。虚拟现实系统可使用户能够响应于用户命令更好地理解机器人外科手术系统在患者内和在患者外的运动。例如，用户可以在导师或教练的监督下穿戴头戴式显示器，该导师或教练可与用户一起观看虚拟现实环境(例如，通过第二头戴式显示器，通过外部显示器等)，并且通过虚拟现实环境内的虚拟机器人外科手术系统引导用户作手术。作为另一个示例，用户可穿戴头戴式显示器，并且如在沉浸式显示器上(例如，在内容窗口，HUD等中)显示的，可观看训练相关视频，诸如先前执行的外科手术规程的记录。

作为另一个示例，虚拟现实系统可用于外科手术规划目的。例如，用户可操作虚拟现实系统以规划外科手术工作流程。虚拟对象的配置文件(例如，包括臂和工具驱动器、用户控制台、端部执行器、其它设备、病床、患者、人员等的机器人外科手术系统)可被加载到虚拟机器人外科手术环境中作为实际对象的代表，该实际对象将在实际(即，非虚拟或真实)手术室中。在虚拟现实环境内，用户可调整虚拟手术室的特征结构，诸如将用户控制台、病床和其它设备相对于彼此以期望的布置定位。用户可除此之外或作为另外一种选择使用虚拟现实系统来规划机器人外科手术系统的各方面，诸如选择用于进入患者腹部的外科手术器械的端口的数量和位置，或者确定用于规程的机器人臂的最佳数量和位置/取向(例如，安装位置、臂姿势等)，诸如以用于最小化外科手术规程期间在系统部件之间的潜在碰撞。这样的虚拟布置可基于例如反复试验，类似外科手术规程和/或类似患者的先前设置等。在一些变型形式中，系统可除此之外或作为另外一种选择提出基于机器学习技术选择的虚拟布置，该机器学习技术应用于针对各种患者的先前执行的外科手术规程的数据集。

作为又一个示例，虚拟现实系统可用于R&D目的(例如，模拟)。例如，用于设计机器人外科手术系统的方法可包括生成机器人外科手术系统的虚拟模型，在虚拟手术室环境中测试机器人外科手术系统的虚拟模型，基于测试修改机器入外科手术系统的虚拟模型，以及基于修改的虚拟模型构建机器人外科手术系统。可在虚拟手术室环境中测试的机器人外科手术系统的虚拟模型的方面包括机器人外科手术系统的一个或多个部件的物理特性(例如，臂连杆的直径或长度)。例如，可在虚拟环境中构建和实现机器人臂的特定设计的虚拟模型，其中可关于特定的臂运动，外科手术规程等来测试虚拟模型(例如，测试在机器人臂与其它对象之间碰撞的可能性)。因此，机器人臂(或类似地，机器人外科手术系统的任何其它部件)的设计可至少最初通过测试设计的虚拟实现，而不是测试物理原型来测试，从而加速R&D循环并且减少成本。

可以测试的其它方面包括机器人外科手术系统的一个或多个部件的功能(例如，控制系统的控制模式)。例如，如上所述，虚拟手术环境应用程序可将状态信息传递到运动学应用程序，并且运动学应用程序可基于控制算法生成并传递命令，其中虚拟现实处理器可使用命令来致使虚拟机器人外科手术环境的变化(例如，根据相关控制算法以特定方式移动虚拟机器人臂)。因此，软件控制算法可体现在虚拟机器人系统中，以用于测试、改进等，而不需要相关机器人部件的物理原型，从而节省R&D资源并且加速R&D循环。

在另一个示例中，虚拟现实系统可用于使多个外科医生能够在相同虚拟现实环境中协作。例如，多个用户可在虚拟现实环境中穿戴头戴式显示器并且彼此(并且与相同虚拟机器人系统、相同虚拟患者等)交互。用户可在物理上在相同房间或一般位置中，或者可彼此远离。例如，一个用户可正在远程指导另一个用户，因为他们协作以对虚拟患者执行外科手术规程。

下面进一步详细描述虚拟现实系统的特定说明性示例性应用程序。然而，应当理解，虚拟现实系统的应用程序不限于本文描述的这些示例和一般应用场景。

实施例1-跨床

用户可使用虚拟现实系统来模拟跨床情景，其中该用户与病床或桌子相邻并且操作机器人外科手术系统和手动腹腔镜式工具。这样的模拟可用于训练、外科手术规划等。例如，用户可使用虚拟机器人工具和虚拟手动工具来将组织缝合在虚拟患者的肠的目标区段中。

在该示例中，用户穿戴提供虚拟现实环境的沉浸式视图的头戴式显示器，并且可使用手持控制器来在虚拟现实环境内导航以与虚拟患者躺在其上的虚拟手术台相邻。虚拟机器人臂的近侧端部附接到虚拟手术台，并且虚拟机器人臂的远侧端部支撑致动虚拟夹钳的虚拟工具驱动器，该虚拟夹钳定位在虚拟患者的腹部内。虚拟手动腹腔镜式缝合器工具穿过虚拟套管并且具有定位在虚拟患者的腹部内的远侧端部。另外，内窥镜式摄像机定位在虚拟患者的腹部内，并且提供虚拟摄像机馈送，该虚拟摄像机馈送示出在虚拟患者腹部内的外科手术工作空间(包括患者组织、虚拟机器人控制的夹钳和虚拟手动腹腔镜式缝合器工具)。

用户继续通过头戴式显示器中的沉浸式显示器观看虚拟环境，以及在用户的视野中覆盖的平视显示器中的窗口视图中显示的虚拟内窥镜式摄像机馈送。用户用一只手保持手持控制器，该手持控制器被配置为控制机器人驱动的虚拟夹钳。用户用另一只手保持腹腔镜式手控制器，该腹腔镜式手控制器被配置为控制虚拟手动腹腔镜式缝合器工具，其中腹腔镜式手控制器穿过安装在由泡沫制成的模拟患者身体中的套管。腹腔镜式手控制器被校准以对应于虚拟手动腹腔镜式缝合器工具。用户操纵手持控制器以操作机器人控制的夹钳以操纵虚拟患者的肠并且露出肠的目标区段。在肠的目标区段暴露并且可接近的情况下，用户操纵腹腔镜式手控制器以经由虚拟手动腹腔镜式缝合器工具将虚拟钉施加到目标区段。

实施例2-来自用户控制台的碰撞解决方案

当使用虚拟现实系统时，用户可能期望解决在虚拟机器人外科手术系统的虚拟部件之间的碰撞，即使用户可能不与碰撞的虚拟部件相邻(例如，用户可坐在远离虚拟手术台的距离处，诸如在虚拟用户控制台处)。在该示例中，用户穿戴头戴式显示器，该头戴式显示器提供由放置在虚拟患者腹部内的虚拟内窥镜提供的沉浸式视图。两个虚拟机器人臂的近侧端部附接到虚拟手术台上的单独位置，虚拟患者躺在该虚拟手术台上。虚拟机器人臂的远侧端部支撑致动虚拟夹钳的相应工具驱动器，该虚拟夹钳定位在虚拟患者的腹部内。用户操纵手持控制器以操作两个机器人控制的虚拟夹钳，该虚拟夹钳操纵虚拟在患者内的虚拟组织。该运动可致使涉及虚拟机器人臂中的至少一个的碰撞(例如，可将虚拟机器人臂的姿势设计成与其自身产生碰撞，可将虚拟机器人臂的姿势设计成彼此产生碰撞，可将虚拟机器人臂的姿势设计成与患者或附近障碍物等产生碰撞)。

虚拟现实系统基于虚拟机器人臂的状态信息检测碰撞，并且关于碰撞警示用户。系统从虚拟机器人外科手术系统的合适有利位置显示头顶或其它合适的视图，诸如在窗口视图中(例如，画中画视图)。碰撞的位置在显示的窗口视图中是突出显示的，诸如通过用红色或其它对比色勾画受影响的碰撞部件。作为另外一种选择，用户可通过监视从放置在虚拟手术台顶的虚拟摄像机馈送的摄像机视频来自己检测到碰撞。

在意识到碰撞后，用户可缩小或调整他的虚拟现实环境的沉浸式视图的比例。用户可参与臂重新定位控制模式，该臂重新定位控制模式将虚拟夹钳的位置和取向锁定在患者内。在对象抓持用户模式中使用手持控制器，用户可抓住虚拟机器人臂上的虚拟触点并且重新定位虚拟机器人臂(对虚拟机器人臂重新设计姿势)以便在控制模式在臂重新定位期间保持虚拟夹钳的位置和取向时解决碰撞。一旦虚拟机器人臂被重新定位使得碰撞被解决，用户便可缩回到先前的有利位置，脱离臂重新定位控制模式，并且继续使用手持控制器来操作在虚拟患者内的虚拟夹钳。

实施例3-来自用户控制台的多个外科手术器械的协调的重新定位

当使用虚拟现实系统时，用户可能发现基本上停留在内窥镜式视图中并且将多个虚拟外科手术器械(例如，端部执行器、摄像机)重新定位为一组而不是在虚拟患者内单独地重新定位是有用的，从而节省时间，以及使用户更容易保持器械相对于虚拟患者的解剖结构的情境感知。在该示例中，用户穿戴头戴式显示器，该头戴式显示器提供由放置在虚拟患者腹部内的虚拟内窥镜提供的沉浸式视图。两个虚拟机器人臂的近侧端部附接到虚拟手术台上的单独位置，虚拟患者躺在该虚拟手术台上。虚拟机器人臂的远侧端部支撑致动虚拟夹钳的相应工具驱动器，该虚拟夹钳定位在虚拟患者的骨盆区域中。用户可操纵手持控制器来操作虚拟夹钳。

用户可能希望将虚拟内窥镜和虚拟夹钳移动到虚拟患者的腹部的另一个目标区域，诸如脾脏。用户可参与协调的重新定位模式，而不是单独移动每个外科手术器械。一旦参与该模式，内窥镜式摄像机视图便沿着内窥镜的轴线缩小到足以允许用户观看新目标区域(脾脏)的距离。球形指示器显示在内窥镜的远侧端部处，该内窥镜包封封装虚拟内窥镜的远侧端部和虚拟夹钳的远侧端部。用户操纵至少一个手持控制器以远离外科手术工作空间抽出虚拟内窥镜和虚拟夹钳(例如，直到用户可在虚拟内窥镜式视图中看到虚拟套管的远侧端部)，然后抓住球形指示器并且将该球形指示器从骨盆区域移动到脾脏。一旦用户通过将球形指示器移动到新目标区域来最终确定新目标区域，虚拟内窥镜和虚拟夹钳便自动行进到新目标区域，并且虚拟内窥镜式摄像机视图缩放以显示新目标区域。在整个这种相对大规模的移动中，用户基本上以虚拟环境的内窥镜式视图观看虚拟环境，从而使用户能够保持对虚拟患者的解剖结构的认识，而不是在器械与解剖结构之间转移其焦点。

为了便于解释，上文的描述使用了特定的命名法来提供对本发明的透彻理解。然而，对于本领域技术人员而言显而易见的是，为了实施本发明，不需要具体细节。因此，对本发明的特定实施方案的以上描述是出于举例说明和描述的目的而提供。它们并非旨在穷举或将本发明限于所公开的精确形式；显然，鉴于上述教导内容，许多修改和变型形式都是可能的。选择和描述实施方案以便最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够最好地利用本发明以及具有适合于预期的特定用途的各种修改的各种实施方案。预期的是，以下权利要求及其等同物限定本发明的范围。

Claims (20)

1.一种虚拟现实系统，所述虚拟现实系统用于使虚拟机器人外科手术可视化，包括：

处理器，所述处理器被配置为生成虚拟手术室，所述虚拟手术室包括安装在虚拟手术台上的一个或多个虚拟机器人臂，各自联接到虚拟机器人臂的远侧端部的一个或多个虚拟外科手术器械，以及在所述虚拟手术台上的虚拟患者；以及

手持装置，所述手持装置通信地联接到所述处理器，其中所述手持装置被配置为操纵所述虚拟机器人臂和所述虚拟外科手术器械以对所述虚拟患者进行虚拟外科手术；

其中所述处理器被配置为在显示器上呈现对在所述虚拟手术室中的所述虚拟患者进行的所述虚拟外科手术。

2.根据权利要求1所述的系统，其中生成所述虚拟手术室基于所述虚拟手术室、所述虚拟机器人臂、所述虚拟手术台、所述虚拟外科手术器械和所述虚拟患者的预定模型。

3.根据权利要求2所述的系统，其中所述一个或多个虚拟外科手术器械中的每个穿过虚拟套管并且远侧端部定位在所述虚拟患者的腹部内。

4.根据权利要求3所述的系统，其中所述手持装置被配置为选择用于进入所述虚拟患者腹部的所述虚拟外科手术器械的端口的数量和位置，并且确定用于所述虚拟外科手术的所述虚拟机器人臂的数量和位置和取向。

5.根据权利要求1所述的系统，其中所述手持装置被配置为在所述虚拟手术室中的位置处形成入口，所述入口允许在选择所述入口时快速导航到所述位置。

6.根据权利要求5所述的系统，其中所述入口被定位在所述虚拟患者内或在所述虚拟患者外。

7.根据权利要求1所述的系统，其中所述虚拟外科手术器械包括虚拟内窥镜，所述虚拟内窥镜具有定位在所述虚拟患者的所述腹部内的虚拟摄像机，并且在所述虚拟患者的所述腹部内提供外科手术工作空间的视图。

8.根据权利要求7所述的系统，其中所述处理器被配置为在所述显示器上呈现来自所述虚拟内窥镜的所述外科手术工作空间的所述视图。

9.根据权利要求7所述的系统，其中所述手持装置被配置为以协调的重新定位模式将所述虚拟内窥镜和其它虚拟外科手术器械协调地移动到所述虚拟患者的所述腹部的另一个区域。

10.根据权利要求9所述的系统，其中在所述协调的重新定位模式中，所述虚拟摄像机沿着所述虚拟内窥镜的轴线缩小以在所述外科手术工作空间的所述视图中包括所述腹部的其它区域。

11.一种用于促进虚拟机器人外科手术环境的导航的方法，所述方法包括：

从所述虚拟机器人外科手术环境中的第一有利位置显示所述虚拟机器人外科手术环境的第一人称透视图；

从第二有利位置显示所述虚拟机器人外科手术环境的第一窗口视图，其中所述第一窗口视图被显示在所述显示的第一人称透视图的第一区域中；

从第三有利位置显示所述虚拟机器人外科手术环境的第二窗口视图，其中所述第二窗口视图被显示在所述显示的第一人称透视图的第二区域中；以及

响应于将所述第一窗口视图和所述第二窗口视图相关联的用户输入，顺序地链接所述第一窗口视图和所述第二窗口视图以在所述第二有利位置与所述第三有利位置之间生成轨线。

12.根据权利要求11所述的方法，其中所述虚拟机器人外科手术环境的所述第一窗口视图和所述第二窗口视图中的至少一个以不同于所述透视图的比例因子显示。

13.根据权利要求11所述的方法，其中所述第一有利位置或所述第二有利位置中的至少一个位于虚拟患者内。

14.根据权利要求11所述的方法，还包括：

接收指示虚拟摄像机在不同于所述第一有利位置的第四有利位置处的放置的用户输入；

从所述第二有利位置生成所述虚拟机器人外科手术环境的虚拟摄像机透视图；以及

在所述第一人称透视图的区域中显示所述虚拟摄像机透视图。

15.根据权利要求14所述的方法，其中所述虚拟摄像机是放置在虚拟患者内的虚拟内窥镜式摄像机或放置在虚拟患者外的虚拟视频摄像机中的一个。

16.一种用于使虚拟机器人外科手术可视化的计算机实现的方法，包括：

生成虚拟手术室，所述虚拟手术室包括安装在虚拟手术台上的一个或多个虚拟机器人臂，各自联接到虚拟机器人臂的一个或多个虚拟外科手术器械，所述一个或多个虚拟外科手术器械穿过虚拟套管并且具有定位在虚拟患者的腹部内的远侧端部，以及定位在所述虚拟手术台的顶部上的所述虚拟患者；

接收用户输入以操纵所述虚拟机器人臂和所述虚拟外科手术器械，以对所述虚拟患者执行虚拟外科手术；以及

在显示器上呈现对所述虚拟手术室中的所述虚拟患者进行的所述虚拟外科手术。

17.根据权利要求16所述的方法，其中生成所述虚拟手术室基于所述虚拟手术室、所述虚拟机器人臂、所述虚拟手术台、所述虚拟外科手术器械、所述虚拟套管和所述虚拟患者的预定模型。

18.根据权利要求16所述的方法，还包括：

选择用于进入所述虚拟患者腹部的所述虚拟外科手术器械的端口的数量和位置；以及

确定用于所述虚拟外科手术的所述虚拟机器人臂的数量和位置和取向。

19.根据权利要求16所述的方法，还包括在所述虚拟手术室中的在所述虚拟患者内或在所述虚拟患者外的位置处形成入口，所述入口允许在选择所述入口时快速导航到所述位置。

20.根据权利要求16所述的方法，还包括以协调的重新定位模式将包括虚拟内窥镜和其它虚拟器械的所述一个或多个虚拟外科手术器械协调地移动到所述虚拟患者的所述腹部的另一个区域。