CN110461269B - 用于机器人外科系统的多面板图形用户界面 - Google Patents

Abstract

本发明题为“用于机器人外科系统的多面板图形用户界面。”本发明公开了一种用于机器人外科系统的方法，所述方法包括在显示器上向用户显示图形用户界面，其中所述图形用户界面包括多个可重新配置的显示面板；在一个或多个用户输入装置处接收用户输入，其中所述用户输入指示对与所述机器人外科系统有关的至少一个软件应用程序的选择；以及呈现来自所述多个可重新配置的显示面板中的所述至少一个所选软件应用程序的内容。

Description

用于机器人外科系统的多面板图形用户界面

技术领域

本发明整体涉及机器人外科手术的领域，并且更具体地讲，涉及用于机器人外科系统的图形用户界面(GUI)。

背景技术

微创外科手术(MIS)，诸如腹腔镜外科手术，涉及旨在减少外科手术期间的组织损伤的技术。例如，腹腔镜手术通常涉及在患者体内（例如，在腹腔中）产生多个小切口，并且通过切口将一个或多个外科器械（例如，端部执行器，至少一个照相机等）引入到患者体内。然后可使用引入的外科器械执行外科手术，其中可视化辅助由照相机提供。

一般来讲，MIS提供多个益处，诸如减少患者瘢痕形成、减少患者疼痛、缩短患者恢复期、和降低与患者恢复相关联的医疗费用。在一些实施方案中，MIS可用机器人系统来执行，该机器人系统包括用于基于来自操作者的命令来操纵外科器械的一个或多个机器人臂。例如，机器人臂可在其远侧端部处支撑各种装置，诸如外科端部执行器、成像装置、用于提供进入患者的体腔和器官的套管等。

在一些实施方案中，操作者可在查看由照相机提供并在显示器上向用户显示的图像的同时提供用于操纵外科器械的命令。然而，常规的显示系统在实现机器人外科系统的有效操作方面不足，这可例如涉及大量信息的监督和协调。因此，需要用于机器人外科系统的图形用户界面。

发明内容

一般来讲，用于机器人外科系统的方法可包括在显示器上向用户显示图形用户界面；其中图形用户界面包括多个可重新配置的显示面板，在一个或多个用户输入装置处接收用户输入，其中用户输入指示对与机器人外科系统有关的至少一个软件应用程序的选择；以及呈现来自多个可重新配置的显示面板中的至少一个所选软件应用程序的内容。手术部位的内窥镜图像可除此之外或作为另外一种选择显示在显示器上。在一些变型中，方法还可包括可重新配置显示面板的至少一部分的布局。例如，至少一个显示面板可被重新定位和/或调整大小。作为另一个示例，来自第二所选软件应用程序的内容可呈现在至少一个显示面板中。此外，在一些变型中，方法可包括将所呈现的内容中的至少一些镜像到第二显示器上。

在一些变型中，方法可包括响应于指示用户优选布局的第二用户输入（诸如选择特定模板布局或“单击并拖动”面板和/或软件应用程序图标进入所需布局的第二用户输入）来重新配置显示面板的至少一部分的布局。除此之外或作为另外一种选择，方法可包括检测用机器人外科系统执行的正在进行的手术任务，其中重新配置显示面板的至少一部分可响应于检测到的正在进行的手术任务而自动执行。

在一些变型中，用于提供用户输入的一个或多个用户输入装置可包括手持用户输入装置，该手持用户输入装置被配置为远程控制机器人外科系统中的机器人外科器械。手持用户界面可进一步被配置为诸如通过在控制机器人外科器械和控制图形用户界面之间切换来选择性地控制图形用户界面。

此外，一般来讲，机器人外科系统可包括机器人外科器械，被配置为远程控制机器人外科器械的一个或多个手持用户输入装置，以及被配置为显示包括多个可重新配置的显示面板的图形用户界面的显示器。一个或多个手持用户输入装置可进一步被配置为选择性地控制接收指示对与机器人外科系统相关的至少一个软件应用程序的选择的用户输入。以这种方式以及以其他合适的方式，一个或多个手持用户输入装置可被配置为选择性地控制图形用户界面。显示器可被配置为呈现来自多个可重新配置的显示面板中的至少一个所选软件应用程序的内容，以及/或者手术部位的至少一个内窥镜图像。在一些变型中，可将所呈现的内容中的至少一些镜像在第二显示器上。

在一些变型中，多个可重新配置的显示面板能够在布局中重新配置。例如，可通过重新定位和/或调整大小来重新配置显示面板中的至少一者。除此之外或作为另外一种选择，显示面板中的至少一者可被重新配置以呈现来自第二所选软件应用程序的内容。在一些变型中，显示面板中的至少一者能够响应于指示用户优选布局的第二用户输入而重新配置，和/或能够响应于检测到的正在进行的手术任务而重新配置。

附图说明

图1A描绘了具有机器人外科系统和用户控制台的手术室布置的示例。图1B是具有外科工具的机器人臂操纵器、工具驱动器和套管的一种示例性变型的示意图。图1C是示例性用户控制台的示意图。

图2是用于与一个或多个第三方装置通信的机器人外科系统的用户控制台的示例性变型的示意图。

图3是具有GUI模块的外科机器人平台的示意图，其中外科机器人平台与多个医疗数据资源通信。

图4A-图4E是用于机器人外科系统中的GUI的多面板显示器的示例性布局。

图5A-图5F是用于机器人外科系统中的GUI的多面板显示器的不同布局的示例性变型。

图6是描绘应用程序子菜单的GUI的示例性变型。

图7是包括图像查看器应用程序的GUI的示例性变型。

图8是包括定时器应用程序的GUI的示例性变型。

图9A-图9E是包括病期观察应用程序的GUI的示例性变型。

图10A和图10B是包括远程应用程序的GUI的示例性变型。

图11A和图11B描绘了具有对接工具小部件的GUI的示例性变型。

图12是用于说明GUI中的外科器械的操作状态的工具小部件工作流程的示例性变型的示意图。

图13是具有工具通知的GUI的示例性变型。

图14是具有浮动工具小部件的GUI的示例性变型。

图15是具有快速访问菜单的GUI的示例性变型。

图16和图17是用于团队显示的GUI的示例性变型。

图18和图19是诸如用于护士或其他医务人员的另一个显示器的GUI的示例性变型。

图20A和图20B分别是手持用户输入装置的一个示例性变型的透视图和纵向剖面图。

图21A是用于导航GUI的光标的示例性变型的示意图。图21B是手持用户输入装置的操作与可用于控制GUI的动作之间的示例性相关性的图表。

图22是包括具有手术任务清单的手术模板应用程序的GUI的示例性变型。

图23是包括具有端口放置示意图的手术模板应用程序的GUI的示例性变型。

图24是具有视频标签应用程序的GUI的示例性变型。

图25是包括侧栏面板的GUI的示例性变型。

具体实施方式

本发明的各方面和变型的非限制性示例在本文中描述并示出于附图。

机器人外科系统概述

图1A是具有机器人外科系统的示例性手术室环境的图示。一般来讲，如图1A所示，机器人外科系统包括用户控制台100、控制塔133、以及位于机器人平台（例如，工作台、床等）处的一个或多个机器人臂160，其中外科器械（例如，具有端部执行器）被附接到机器人臂160的远侧端部以用于执行外科手术。机器人臂160被示出为安装在工作台上的系统，但在其他配置中，可将一个或多个机器人臂安装到手推车、天花板或侧壁、或其他合适的支撑表面。

作为另外的图示，如图1B的示例性示意图所示，机器人外科系统可包括至少一个机器人臂160，以及通常附接到机器人臂160的远侧端部的工具驱动器170。联接到工具驱动器170的端部的套管180可接收和引导外科器械190 (例如，端部执行器、照相机等)。此外，机器人臂160可包括多个连杆，这些连杆被致动以便对工具驱动器170进行定位和取向，该工具驱动器致动外科器械190。机器人外科系统中的机器人臂的示例性变型在2017年9月15日提交的标题为“ROBOTIC ARMS”的美国专利申请序列号15/706,536中更详细地描述，该申请全文以引用方式并入本文。

一般来讲，如图1A所示，用户控制台100可用于与机器人外科系统150接合。用户（诸如外科医生或其他操作者）可使用用户控制台100来远程操纵机器人臂160和/或外科器械（例如，在远程操作中）。用户控制台100可位于与机器人系统150相同的手术室内，如图1A所示。在其他实施方案中，用户控制台100可位于邻近的或附近的房间中，或者从不同的建筑物、城市或国家的远程位置进行远程操作。在一个示例中，用户控制台100可包括座椅110、用脚操作的控件120、一个或多个手持用户输入装置122、以及至少一个用户显示器130，该用户显示器被配置为显示例如患者体内的手术部位的视图（例如，用内窥镜照相机捕获）和/或其他外科或医疗信息。用户控制台的示例性变型在2017年9月21日提交的标题为“USER CONSOLE SYSTEM FOR ROBOTIC SURGERY”的美国专利申请序列号15/712,052中更详细地描述，该申请全文以引用方式并入本文。

例如，在图1C所示的示例性用户控制台中，位于座椅110中并且观察用户显示器130的用户可操纵用脚操作的控件120和/或手持用户输入装置122以远程控制安装到臂的远侧端部的机器人臂160和/或外科器械。用脚操作的控件120和/或手持用户输入装置122可除此之外或作为另外一种选择用于控制用户控制台100或机器人系统150的其他方面。例如，在用户通常控制（在任何给定时间）指定的“左手”机器人臂/器械和指定的“右手”机器人臂/器械的变型中，用脚操作的控件120可使得用户能够从一大组可用的机器人臂/器械中指定哪些机器人臂/器械包括“左手”和“右手”机器人臂/器械（例如，通过在可用机器人臂/器械中的选择中切换或旋转）。其他示例包括调整或配置座椅110、用脚操作的控件120、用户输入装置122、和/或用户显示器130。本文描述了用脚操作的控件120的另外的示例性变型。

在一些变型中，用户可以在“跨床”(OTB)模式下操作外科机器人系统，其中用户在患者的一侧并同时地操纵与之附接的机器人驱动的器械/端部执行器（例如，用一只手抓持手持用户输入装置122）和手动腹腔镜工具。例如，用户的左手可操纵手持用户输入装置122以控制机器人外科部件，而用户的右手可操纵手动腹腔镜工具。因此，在这些变型中，用户可对患者执行机器人辅助MIS和手动腹腔镜外科手术。

在示例性手术或外科手术期间，以无菌的方式为患者进行术前预备并且覆上盖布，并且可以实施麻醉。向手术部位的初始进入可利用呈收起构型或抽出构型的机器人系统150来手动地进行以便于进入手术部位。一旦完成进入，可执行机器人系统的初始定位和/或准备。在外科手术期间，外科医生或用户控制台100中的其他用户可利用用脚操作的控件120、用户输入装置122、和/或其他合适的控件来操纵各种端部执行器和/或成像系统以执行手术。其他人员可在手术台上提供手动辅助，这些人员可执行任务，包括但不限于回缩组织，或执行涉及一个或多个机器人臂160的手动重新定位或工具更换。可存在其他人员以在用户控制台100处辅助用户。可以在附加显示器诸如控制塔133（例如，用于机器人外科系统的控制系统）上的显示器134和/或位于靠近患者的床边的显示器132上提供用以帮助其他医务人员（例如，护士）的医疗和外科手术相关信息。例如，如本文更详细地描述，在用户控制台100中显示给用户的信息中的一些或全部也可显示在用于其他人员的至少一个附加显示器上并且/或者提供用于人员间通信的附加路径。当手术或外科手术完成时，机器人系统150和/或用户控制台100可以被配置或设置为处于某状态以便于一个或多个术后过程，包括但不限于机器人系统150清洁和/或灭菌、和/或诸如经由用户控制台100来进行的保健记录输入或打印输出（无论是电子的还是硬拷贝的）。

在一些变型中，机器人系统150、用户控制台100和任何其他显示器之间的通信可通过控制塔133来进行，该控制塔可将来自用户控制台100的用户命令翻译成机器人控制命令并将它们传输至机器人系统150。控制塔133可将来自机器人系统150的状态和反馈传输回到用户控制台100（和/或其他显示器）。机器人系统150、用户控制台100、其他显示器和控制塔133之间的连接可经由有线和/或无线连接，并且可以是专有的或使用各种数据通信协议中的任一者执行。任何有线连接都可以内置到手术室的地板和/或墙壁或天花板中。机器人外科系统可向一个或多个显示器提供视频输出，包括在手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。视频输出或供给可以被加密以确保隐私性，并且视频输出的全部或一个或多个部分可以保存到服务器、电子保健记录系统或其他合适的存储介质。

在一些变型中，可提供附加用户控制台100，例如以控制附加外科器械，和/或控制在主用户控制台处的一个或多个外科器械。例如，这将允许外科医生在外科手术期间与医学生和培训医师接管或说明技术，或者在需要多个外科医生同时或以协调方式进行的复杂手术期间进行协助。

在一些变型中，如图2的示意图所示，一个或多个第三方装置240可被配置为与用户控制台210和/或机器人外科系统的其他合适的部分进行通信。例如，如本文在别处所述，外科医生或其他用户可坐在用户控制台210中，该用户控制台可与控制塔230和/或机器人系统220中的机器人器械进行通信。医疗数据（例如，内窥镜图像、患者生命体征、工具状态等）可显示在用户控制台210、控制塔230、和/或其他显示器处。此外，外科和其他医疗相关信息的至少一个子集可显示在第三方装置240处，诸如由相同房间中或房间外的手术合作者查看的远程计算机显示器。其他通信，诸如利用音频和/或可视通信的电话会议可进一步被提供给第三方装置以及从第三方装置提供。手术合作者可以是例如监督者或训练者、医学同事（例如，放射科医师）、或者可例如经由第三方装置240查看并进行通信以协助外科手术的其他第三方。

图3是包括机器人外科系统的系统300以及其与其他装置和其他方的交互的示例性变型的示意图。虽然各种连接和通信系统的特定架构在图3中示出，但应当理解，在其他变型中，可使用其他合适的架构，并且示于图3中的布置是为了示例性目的。系统300可包括外科机器人平台302，该外科机器人平台有利于整合来自各方产生的离散医疗数据资源的医疗数据。来自离散医疗数据资源的数据可例如用于形成时间协调的医疗数据。时间协调的医疗数据的多面板显示器可被配置和呈现，如本文进一步所述。

平台302可以是例如具有经由总线314连接到一个或多个输入/输出装置312的一个或多个处理器310的机器。至少一个处理器可例如包括中央处理单元、图形处理单元、专用集成电路、现场可编程逻辑装置，或它们的组合。

外科机器人平台302可包括一个或多个输入端口以接收来自离散医疗数据资源的医疗数据。例如，外科机器人端口329可接收来自外科机器人330的外科机器人数据。这样的数据可例如包括位置数据或其他合适的状态信息。成像端口331可接收来自成像装置332（诸如内窥镜）的成像数据，该成像装置被配置为捕获手术部位的图像（例如，静态图像、视频图像）。内窥镜可例如插入穿过天然孔口或穿过外科患者体内的孔。作为另一个示例，一个或多个医疗器械端口333可接收来自医疗器械334（例如，脉搏血氧计、心电图装置、超声装置等）的患者生命体征信息。另外，作为另一个示例，一个或多个用户控制数据端口335可接收来自一个或多个控制装置的用户交互数据，该控制装置接收来自用户的用户输入以用于控制系统。例如，一个或多个手持用户输入装置、一个或多个脚踏板，和/或其他合适的装置（例如，眼睛跟踪、头部跟踪传感器）可接收用户输入。

外科机器人平台302还可包括被配置用于连接到一个或多个显示器338的一个或多个输出端口337。例如，显示器338可包括在用户控制台中的开放的显示器（例如，监视器屏幕）、沉浸式显示器或具有显示器的头戴装置、诸如在控制塔显示器上的补充显示器（例如，团队显示器）、床边显示器（例如，护士显示器）、过顶“体育场”式屏幕等。例如，本文所公开的多面板配置可存在于一个或多个显示器338上。一个或多个显示器338可呈现三维图像。在一些变型中，一个或多个显示器338可包括触摸屏。一个或多个显示器138可为具有多个面板的单个显示器，其中每个面板呈现不同的内容。作为另外一种选择，一个或多个显示器138可包括单独显示器的集合，其中每个单独显示器呈现至少一个面板。

在一些变型中，网络接口316也可连接到总线314。网络接口316可例如提供到网络317的连接，该网络可为一个或多个有线和/或无线网络的任何组合。例如，网络317可帮助实现外科机器人平台302与其他数据源或其他装置之间的通信。例如，一个或多个第三方数据源340也可连接到网络317。第三方源340可包括第三方装置（例如，由诸如另一个医生或医学专家之类的第三方操作的另一台计算机），外科手术视频数据（例如，其可与正在由外科医生执行的手术相关）的存储库，或与外科手术相关的附加信息的其他合适源。例如，第三方装置数据可被传输到在手术之前、期间或之后被显示给外科医生的面板。

作为另一个示例，一个或多个应用程序数据库342可连接到网络317（或作为另外一种选择，本地存储在外科机器人平台302内的存储器320内）。应用程序数据库342可包括在手术期间外科医生可能感兴趣的软件应用程序（例如，如下文更详细地描述）。例如，软件应用程序可提供对所存储的患者医疗记录的访问，提供外科手术的手术任务清单，执行机器视觉技术以辅助手术，执行机器学习任务以改善手术任务等等。可调用任何合适数量的应用程序。与应用程序相关联的信息可在手术期间显示在多面板显示器或其他合适的显示器中。除此之外或作为另外一种选择，由一个或多个应用程序提供的信息可由以其他方式适当地与外科机器人平台302通信的单独资源（例如，机器学习资源）提供。

在一些变型中，软件应用程序中的一个或多个可作为使用应用程序接口(API)来在显示器上绘制对象和/或图像的单独过程运行。可使用不同的复杂度的API。例如，简单的API可包括具有固定小部件尺寸和位置的几个模板，该模板可由GUI模块使用以定制文本和/或图像。作为另一个示例，更复杂的API可允许软件应用程序创建、放置、和删除不同的小部件，诸如标签、列表、按钮和图像。

除此之外或作为另外一种选择，一个或多个软件应用程序可呈现其自身以供显示。例如，这可允许针对应用程序的高级定制和复杂行为。例如，可通过允许应用程序传递由GUI模块324呈现的帧来实现该方法（在下文描述）。作为另外一种选择，图像缓冲器可用作应用程序呈现其自身的存储库。

在一些变型中，一个或多个软件应用程序可独立于GUI模块324运行和呈现其自身。然而，GUI模块仍然可启动此类应用程序，指示应用程序或应用程序要定位在显示器上的操作系统等。

作为另一种方法，在一些变型中，一个或多个应用程序可与GUI模块所呈现的GUI完全分离地运行。例如，此类应用程序可具有与系统的物理视频连接和数据连接（例如，通过合适的输入/输出装置、网络等）。数据连接可用于将应用程序的视频供给配置为适当的像素尺寸（例如，全屏、半屏等）。

如图3所示，在一些变型中，存储器320也可连接到总线314。存储器320可被配置为存储根据本文所述的方法和系统的实施方案处理的数据。

在一些变型中，存储器320可被配置为存储用于执行的其他种类的数据和/或软件模块。例如，用户控制台可包括存储器320，该存储器存储GUI模块324与用以执行本文所公开的操作的可执行指令。例如，GUI模块可组合和聚集来自各种软件应用程序和/或其他医疗数据资源的信息以供显示。在一些示例性变型中，可将一个或多个软件应用程序并入GUI模块的基本代码中，使得模块在显示器上的适当位置中绘制图形并显示文本。例如，模块可从数据库中获取图像，或者可经由有线或无线接口将图像从手术室中的器械（例如，内窥镜照相机）推送到界面。

在一些变型中，医疗数据可从离散医疗数据资源（例如，外科机器人330、内窥镜332、医疗器械334、控制装置336、第三方数据源340、应用程序数据库342等）收集。另外，医疗数据中的至少一些可在时间上协调，使得在必要时，来自不同医疗数据资源的时间敏感信息在公共时间轴上对齐。例如，外科机器人位置数据可与内窥镜数据时间协调，该内窥镜数据与来自控制装置的操作者交互数据协调。类似地，网络资源，诸如由一个或多个软件应用程序提供的信息，可以与其他时间协调的数据一起在适当的时间点处呈现。多面板显示器和/或其他合适的显示器可被配置为将医疗信息（例如，包括时间协调的医疗数据）作为图形用户界面的一部分(GUI)传送。

本文描述了用于机器人外科系统的GUI的各种示例性方面。在一些变型中，GUI可显示在控制机器人外科系统的用户控制台处的多面板显示器中。除此之外或作为另外一种选择，GUI可在一个或多个附加显示器处，诸如在机器人外科系统的控制塔处，在患者床边等处显示。GUI可显示在其上的显示器的另一个示例是沉浸式显示器，诸如2017年10月3日提交的标题为“IMMERSIVE THREE-DIMENSIONAL DISPLAY FOR ROBOTIC SURGERY”的美国专利申请序列号15/724,185中所述的那些，并且该申请全文以引用方式并入本文。一般来讲，GUI可为用户控制台中的用户和/或其他人员提供更有效的信息通信，以及在外科手术中涉及的不同方之间的更有效的通信和协作，如下文进一步所述。

图形用户界面(GUI)

机器人外科系统的GUI可提供信息和/或交互式内容，从而帮助用户用机器人外科系统中的一个或多个机器人器械来执行外科手术。例如，内容中的一些可经由一个或多个软件应用程序（例如，模块、小部件）来显示。在一些变型中，诸如在外科手术期间，GUI所提供的内容中的至少一些可靠近手术部位的图像（例如，来自内窥镜照相机）叠加或显示。此类软件应用程序可被用户选择性地激活以显示其内容。示例性软件应用程序以及它们可提供的内容在下文中更详细地描述。另外，所选软件应用程序显示其内容（例如，显示器上的布局、尺寸）的方式可由用户定制。因此，在一些方面，GUI可为用户提供交互式、可定制的体验。

布局

在一些变型中，GUI可包括多面板显示器（或在多个相邻显示器上）。可在多个面板上选择性地布置应用程序内的各种软件应用程序以便以重新配置的方式显示它们各自的内容。例如，与多个软件应用程序相关的信息可显示在显示器的多个可重新配置的面板上。可重新配置的面板的不同布局可由于例如调整不同面板的尺寸和/或形状而导致。除此之外或作为另外一种选择，不同的布局可由于多个显示面板中不同内容（例如，不同应用程序）的填充而导致。

一般来讲，用户（例如，外科医生、其他手术人员）可通过选择例如哪些应用程序是可见的以及它们被放置在多面板显示器上的应用程序布局内的位置来用不同应用程序填充显示器的各个面板。因此，用户可定义他或她的应用程序环境，如在至少一个多面板显示器上所显示的那样。例如，如图5B所示，用户可访问应用程序工具栏520，该工具栏被填充有代表各种应用程序的可选图标。应用程序工具栏520可默认隐藏，并且在用户希望设置显示器布局，在用于显示的应用程序之间交换等时被拉起以供显示。使用一个或多个输入装置（例如，手持用户输入装置、脚踏板）和/或通过诸如眼睛跟踪或头部跟踪传感器之类的其他传感器，用户可从应用程序工具栏520选择期望的应用程序以呈现在显示器上。所选应用程序可根据模板布局呈现在显示器上。用户可除此之外或作为另外一种选择将所显示的应用程序重新布置和/或调整大小（例如，通过单击并拖动）到期望的布局。在一些变型中，用户可通过门户网站或其他在线环境类似地设置显示器的一个或多个各种面板。在这些变型中，例如，用户可在进入手术室之前预定义多面板显示器上的应用程序环境。此外，应用程序环境可以不同方式（例如，哪些应用程序及其布局）针对不同屏幕来定义或预定义，诸如对于外科医生控制台中的开放的显示器为第一布局，对于控制塔显示器为第二布局，对于床边护士显示器为第三布局，并且/或者对于过顶“体育场”式屏幕为第四布局等。

此外，GUI布局在整个外科手术中可以是动态的。例如，各种内容的重要性可根据外科医生的需要、外科手术期间发生的情况等而有所不同。因此，因为将来自不同应用程序或数据源的内容呈现在较大的观察区域中可能变得更有用，所以布局可能会不时变化。在一些变型中，用户可手动地移动不同面板的位置和/或尺寸，诸如通过单击或拖动、通过语音命令、通过眼睛跟踪和/或头部跟踪传感器等。

在一些变型中，布局可自动改变。例如，如果系统检测到用户正在控制手持用户输入装置来控制手术部位中的机器人外科器械，则GUI可自动地在大面板中显示手术部位的内窥镜图像以为用户提供较大观察区域以便更详细地了解正在手术部位发生的情况。作为另一个示例，如果系统随后检测到用户已暂停对机器人外科系统的控制并且（例如，通过眼睛跟踪传感器）检测到用户正在观察DICOM图像，则GUI可自动将内窥镜图像移动到较小的面板，并且将成像应用程序移动到较大的面板以使图像更易于分析。作为又一个示例，系统可检测到用户已完成了外科手术中的特定手术任务（例如，通过机器视觉技术），同时观察大面板中内窥镜图像和小面板中的手术模板应用程序。作为响应，GUI可自动地短暂交换手术模板应用程序和内窥镜图像的面板位置，诸如以更显著地指示在恢复在较大面板中的内窥镜图像和小面板中的手术模板应用程序的显示之前完成预定的时间段内的手术任务。作为另一个示例，如果系统检测到即将发生的机器人臂之间的碰撞，则GUI可自动地在较大的面板中的病期观察应用程序（在下文描述）中显示机器人臂的呈现，以便更显著地警示用户碰撞的存在和性质。其他合适的事件可触发GUI的布局中的自动变化。

图4A-图4E是多面板GUI的示例性布局的示意图。如图4A所示，多面板GUI的示例性布局包括一个大的主面板400，该主面板位于显示器中心或中间。主面板400的两侧可以是四个左侧面板410a-410d和四个右侧面板410e-410h。例如，该布局对于期望在大面板中显示主要感兴趣的内容（例如，手术部位的图像）并且在较小面板中显示补充内容（例如，来自诸如下文所述的那些应用程序之类的应用程序）的用户可能是有用的。该布局的示例性实施方式在图5A中示出，该图描绘了中心面板500，该中心面板被配置为显示包括组织和外科工具的外科工作部位的内窥镜图像；以及在中心面板500的每一侧上的四个面板，其中侧面板可用于由来自应用程序的内容填充。应当理解，较小的面板可除此之外或作为另外一种选择沿着显示器的顶部边缘和/或沿着显示器的底部边缘被显示。

虽然图4A示出了用于显示来自应用程序的信息的主面板400的每一侧上的四个面板，但应当理解，在其他变型中，左侧和右侧可包括任何合适数量的合适尺寸的附加面板。例如，如图4B的示意图所示，主面板400的两侧可以是单个左侧面板410a和单个右侧面板410b。左侧面板和右侧面板可大于图4A中的那些面板，以便有利于更好地查看来自显示在侧面板中的应用程序的内容。该布局的示例性实施方式在图5C中示出，该图描绘了被配置为显示外科工作部位的内窥镜图像的中心面板500，被配置为显示来自图像查看器应用程序的内容的单个左侧面板510a（在下文描述），以及被配置为显示来自手术模板应用程序的内容的单个右侧面板510b（在下文所述）。

另外，在主面板的左侧上显示的应用程序的数量可能不同于在主面板的右侧上显示的应用程序的数量。例如，如图5D所示，主面板500的左侧可包括用于分别显示来自手术模板应用程序和图像查看器应用程序的内容的两个面板510c和510d，而主面板的右侧可包括用于显示来自病期观察应用程序、定时器应用程序、患者生命体征查看器应用程序和电话会议应用程序（全部在下文描述）的内容的四个面板510e-510h。

在一些变型中，可在主面板的一侧上收集较小的面板，而不是在两侧上侧接主面板。例如，如图4C中示出的示意图所示，主面板400可与一组较小的左侧面板410a-410e一起显示。此外，左侧面板中的一些可为不同的尺寸（例如，侧面板410a为中等尺寸的面板，而侧面板410b-410e为布置在象限中的较小面板）以使得用于应用程序的各种内容的不同观察区域能够显示在左侧面板中。应当理解，较小的面板可替代地沿着显示器的顶部边缘，沿着显示器的底部边缘显示在显示器的右侧上，以及/或者显示在其他合适的位置。

GUI中的面板中的一些的尺寸可被设计成提供多个数据源的内容的大观察区域。例如，如图4D的示意图所示，两个大面板410a和410b中的每个被显示在大约一半的可用观察区域上，并且可共同占据显示器的基本上所有可用的观察区域。虽然图4D描绘了两个大面板是基本上相等的尺寸，但在其他变型中，较大面板中的一个可略微大于另一个（例如，一个面板可介于显示器的观察区域的约50%和约75%之间，而另一个面板可介于显示器的观察区域的约25%和约50%之间）。除此之外或作为另外一种选择，可竖直布置较大的面板，其中一个在显示器的顶部上，而另一个在显示器的底部上。两个较大并排面板的示例性实施方式示于图5E中，该图描绘了被配置为显示来自占据观察区域的约25%的图像查看器应用程序的内容的左侧面板510i，以及被配置为显示占据显示器的观察区域的约75%的内窥镜图像右侧面板510j。应当理解，更少（例如，单个主面板）或更多（例如，三个面板、四个面板等）可共同占据显示器的基本上所有可用的观察区域。例如，如图4E的示意图所示，两个大面板410a和410b可占据显示器的观察区域的大部分，而六个较小面板410c-410h可沿着显示器的底部边缘（或作为另外一种选择，顶部）布置。该布局的示例性实施方式在图5F中示出，该图描绘了被配置为分别显示内窥镜图像和来自图像查看器应用程序的内容的较大并排面板510k和510l，以及被布置在面板510k和510l下方的较小面板510m-510r。

上述布局仅为示例性的示例。在一些变型中，用户可定制面板的数量、面板的尺寸和/或面板的形状以获得与这些示例不同的GUI布局。本文所述的布局中的至少一些可被存储为可由用户选择的模板布局。例如，在一些变型中，模板布局中的一个或多个可与一个或多个外科手术类型相关联（例如，作为用于特定种类的外科手术的默认或优选布局）。作为另一个示例，模板布局中的一个或多个可与一个或多个用户简档相关联（例如，因此用户优选的布局可在用户登录到系统或其他合适的用户标识时被自动调出和呈现）。作为又一个示例，模板布局中的一个或多个可与一个或多个用户类型相关联，诸如针对无经验的用户的简化布局（例如，更少的面板）或针对经验丰富的用户的更复杂的布局（例如，更多的面板）。

应用程序

如上所述，GUI可被配置为显示来自一个或多个所选软件应用程序的专用内容。用户可访问应用程序工具栏，并且经由输入装置或与其他合适的传感器的交互来选择用于在多面板显示器中显示一个或多个期望应用程序。应用程序可由应用程序工具栏中的图形图标来表示，并且可以任何合适的顺序布置，诸如按照相关性或功能（例如，与外科手术有关，与患者有关，与团队协作有关），按字母顺序，用户选择的“收藏夹”，最流行等来分组。下文描述各种示例性种类的软件应用程序，但应当理解，可以在GUI中提供软件应用程序的其他变型。

软件应用程序中的至少一些可具有可导航的内容。在一些变型中，软件应用程序中的一个或多个可利用子菜单导航。例如，如图6所示，软件应用程序（例如，图像查看器应用程序）可包括具有多个图标的子菜单612，其中每个图标与应用程序内的相应功能或操作相关联。如图6所示，图标大致以环形布置，但可替代地以任何合适的方式布置。此外，子菜单项中的任何合适的树分级结构可在软件应用程序中提供，使得对子菜单图标的选择可提示显示与所选子菜单图标有关的一个或多个第二子菜单图标等。

一些子菜单功能通常可适用于许多应用程序。例如，一个示例性子菜单功能是搜索功能，该功能可使得用户能够对由应用程序提供的特定内容执行搜索（例如，在图像查看器应用程序中，用户可从期望的日期搜索术前图像）。另一个示例性子菜单功能是共享功能，该功能可使得用户能够与另一方（例如，与房间中的另一个显示器，诸如床边显示器，与房间外的第三方装置等）共享该应用程序的所显示内容。除此之外或作为另外一种选择，一些子菜单功能可特定于子菜单所属的所选应用程序。例如，图像查看器应用程序可包括具有用于图像调整（例如，对比度、饱和度、清晰度等）的交互式工具的子菜单。在一些变型中，某些子菜单项可被用户“保存”以按照用户偏好自动显示，并且/或者可根据外科手术类型或任何合适的因素在树分级结构中重新排序。

图像查看器应用程序

GUI的应用程序的一个变型是图像查看器应用程序。图像查看器应用程序可与医疗记录数据库或其他合适的存储库通信，使得图像查看器应用程序可接收与外科手术相关的医疗图像。例如，图像查看器应用程序可接收并显示患者的术前图像（例如，X射线、CT、MRI、超声等）。术前图像的这种显示可允许外科医生和/或其他用户在外科手术之前、期间和/或之后容易地查看术前图像，并且可帮助手术团队做出与外科手术相关的更好、更明智的决策。例如，术前图像可经由图像查看器应用程序显示以便有利于术前计划，诸如手术团队在病例开始时审查手术计划。作为另一个示例，术前图像可经由图像查看器应用程序与利用内窥镜获得的实时术中图像并排显示（例如，以评估待切除的肿瘤的边缘）。作为另一个示例，术前图像可经由图像查看器应用程序与其他方（诸如手术室中的另一个显示器或房间外的第三方装置）共享。作为又一个示例，可以在术后审查术前图像以评估手术治疗目标是否已经实现。

如图7的图像查看应用程序700的示例性实施方式所示，图像查看器应用程序可包括显示各种图像和/或图像相关信息的多个子面板。在该示例中，子面板710可显示图像识别信息，诸如患者姓名、患者医疗记录号、图像类型、拍摄图像的方法，以及图像的日期。还可提供基于术前分析信息的其他相关信息诸如诊断信息或其他发现。

一个或多个子面板（示为子面板720a-720c）可显示术前图像。多个子面板可同时显示多个图像，诸如一定体积的组织的不同视图（例如，矢状，横向和/或冠状视图）。可诸如用字词或表示视图的图形图标来标记组织的每个相应视图。除此之外或作为另外一种选择，可在子面板730中显示其他图像的缩略图视图。每个缩略图可与单个图像相关联，或者可与图像系列相关联（例如，在同一个日期拍摄的多个图像）。图像查看应用程序可允许用户诸如用如下所述的手持用户输入装置，或以任何合适的方式滚动浏览缩略图视图。响应于对缩略图中的任一个或多个的选择（或单击和拖动等），图像查看应用程序可显示与较大子面板中的所选缩略图相关联的一个或多个图像。在一些变型中，图像查看器应用程序可响应于添加选择要查看的另一个图像而自动调整较大子面板的大小。例如，如果选择子面板730中的缩略图之一，则图像查看器应用程序可自动减小子面板720a-720c的尺寸以适应与所选的缩略图相关联的第四图像的显示。

实时视频应用程序

GUI的应用程序的另一个变型是视频应用程序，该视频应用程序被配置为在外科手术期间接收和显示来自捕获外科工作部位的图像的装置的一个或多个实时图像数据。在一些变型中，实时视频应用程序被配置为诸如通过附加（例如，第三方）内窥镜装置、超声机器等接收并显示除了来自机器人外科系统的内窥镜视频供给之外的信息。例如，向用户显示附加实时数据流可以帮助使得手术人员能够查看更多信息（例如，从不同的角度或视角，利用不同的成像助剂，诸如ICG或其他成像试剂等），该信息可帮助他们做出更好的治疗决策。在一些变型中，实时视频应用程序可除此之外或作为另外一种选择从机器人外科系统接收来自内窥镜视频供给的图像数据。

患者生命体征应用程序

GUI的应用程序的另一个变型是患者生命体征应用程序。患者生命体征应用程序可与跟踪患者的生命体征（诸如脉搏、血压、血氧测量数据、呼吸速率、温度等）的一个或多个传感器通信（或与存储所述生命体征的存储装置通信）。患者生命体征在显示器上的显示可使外科医生和/或其他用户容易地获取患者的状态（例如，无需询问现有的麻醉医师）。例如，患者生命体征在患者生命体征应用程序中的显示可帮助外科医生更快速地对紧急情况作出反应。此外，患者生命体征应用程序可针对触发事件提供视觉和/或音频警报，诸如满足预定阈值的患者生命体征（例如，超过预定值的心率）。

患者生命体征应用程序的示例性实施方式在图5D中的面板510g中示出。如图5D所示，在一些变型中，患者生命体征可伴随有与患者生命体征有关的图形代表图标，诸如用以指示值是针对患者体温的温度计。

在一些变型中，患者生命体征应用程序可另外接收和显示与用户（例如，在用户控制台处的外科医生，或手术团队的另一个成员）的生命体征、生物测定等有关的信息以便跟踪用户的状态。例如，诸如脉率、血压、呼吸速率等的用户生命体征可被跟踪和显示，以帮助实现用户对任何不良状态（诸如压力、疲劳、醉酒或任何合适的健康特征）的征象的监测。除此之外或作为另外一种选择，可由与患者生命体征应用程序类似的单独的用户生命体征应用程序来接收和显示用户生命体征。例如，如上所述，软件应用程序可提供用于触发与用户生命体征相关的事件的视觉和/或音频警报，使得可采取一个或多个校正动作（例如，在另一个外科医生中交换，暂停手术任务或外科手术等）。

手术模板应用程序

GUI的应用程序的一个变型是手术模板应用程序。手术模板应用程序可与存储在存储器中的手术数据库通信，使得其可接收与手术计划相关的数据。手术模板应用程序可生成与外科手术的性能相关的项目列表。例如，手术模板应用程序可显示作为外科手术的一部分的手术任务的清单，外科手术所需的设备或工具的列表，手术室设置任务的列表，端口位置和臂/外科器械设置的示意图等。在一些变型中，清单可以是模板列表，或者可以是定制的（例如，已经针对特定患者进行了微调或调整的模板清单，或者以其他方式定制的列表）。例如，手术模板应用程序可为手术团队提供在外科手术开始之前或开始时查看手术步骤、设备和/或设置任务的方式。

手术模板上的项目中的至少一些可包括与项目相关的注释。例如，注释可与列表上的一个或多个项目相关联以便为特定患者定制模板列表。注释可包括例如与术前发现（例如，肿瘤的特定位置、异常解剖体、粘连、肿瘤边缘、淋巴结受累等）有关的评论，相关术前图像的链接（例如，与图像查看器应用程序的通信，描绘肿瘤边缘、感兴趣区域、图像叠加的一个或多个图像等），手术任务的更详细的描述，手术任务的视频剪辑等。在一些变型中，项目中的一个或多个可包括在较大项目下分级组织的次级项目。例如，诸如“在患者体内产生切口”的通用手术任务可包括次级任务，诸如“定位期望的端口位置”，“对期望的端口位置进行灭菌”，“切入患者体内”等。作为另一个示例，通用手术任务可除此之外或作为另外一种选择包括一个或多个次级项目，该次级项目与用于手术计划目的的后续任务相关。例如，虽然第一通用手术任务可利用附接到特定臂的第一外科器械（例如，手术刀），但第二通用手术任务可在不再需要第一外科器械之后利用附接到相同臂的第二外科器械（缝合器）。在该示例中，手术模板应用程序可显示第一通用手术任务，并且显示与将第一外科器械替换成在第一通用手术任务下组织的第二外科器械（例如，交换手术刀与缝合器）相关的次级项目，即使第二器械不需要执行第一手术任务。

在一些变型中，清单上的所显示的项目可按顺序排序，诸如以预期的执行顺序或项目的相关性排序。可诸如根据类别类型来过滤项目的显示。例如，在其中手术模板包括特定外科手术所需的设备或工具的指示的变型中，用户可选择过滤器以仅包括与所需设备或工具相关的项目的显示（例如，使得在外科手术开始时，手术团队可快速识别手术期间将需要的所有设备或工具并确保全部可用）。

手术模板应用程序的示例性实施方式在图5D中的面板510c中示出。例如，可以在GUI的面板中显示用于外科手术的手术模板项目的完整列表。作为另外一种选择，可仅显示用于外科手术的手术模板项目的局部列表。例如，可显示正在进行的当前手术任务，连同预定数量的（例如，五个）后续手术任务，或连同预期在预定时间段内（例如，在接下来的三十分钟内或下一个小时内）执行的一组后续手术任务。

在一些变型中，在手术期间当前相关的项目（诸如正在进行的当前手术任务）可以在手术模板应用程序显示器中加亮，而与未来相关的显示项目可在手术模板应用程序显示器中变暗。例如，可基于执行相同类型的外科手术的先前情况来确定手术任务的预期持续时间的数据。例如，可经由下述定时器应用程序来收集手术任务的该定时数据。

在一些变型中，在外科手术期间，手术模板应用程序可结合或使用机器视觉技术来识别清单上的一个或多个项目何时完成或不再相关。例如，机器视觉技术可在内窥镜图像供给中识别某个手术任务何时完成，并且响应于识别任务完成，手术模板应用程序可删除该任务（例如，对该任务的显示加删除线或使其变暗，对下一个任务加亮等）。除此之外或作为另外一种选择，手术团队的成员可手动指示特定项目完成。此外，机器视觉技术和/或来自手术团队的关于外科手术的状态或进展的反馈可由手术模板应用程序接收，该手术模板应用程序可以基于外科手术的状态或进展来触发其他合适的动作项目。例如，基于外科手术的当前进展，手术模板应用程序可预见到特定任务何时需要特定的设备，并且向手术团队提供应获得特定设备的警报或通知（例如，在其相关联的任务之前，以便不减慢外科手术)。

手术模板应用程序的一个示例性实施方式在图22中示出。如手术模板应用程序2200中所示，可显示具有一个或多个手术任务2212的手术任务清单2210。手术任务清单2210可包括例如多个步骤（例如，步骤4至步骤10，如图22所示），所述步骤按计划执行的顺序列出。手术任务2212中的至少一个（例如，“步骤6：缝合”）可包括一个或多个次级项目2214（例如“交换针驱动器的缝合器”），该次级项目指示在通用手术任务下分级组织的另一个任务。如图22所示，在一些变型中，手术模板应用程序可另外包括与外科手术相关的其他有益信息。例如，手术模板应用程序可显示外科器械列表2220，该外科器械列表指示相关外科器械附接到哪个机器人臂。

手术模板应用程序的另一个示例性实施方式在图23中示出。如手术模板应用程序2300中所示，可显示患者身上的外科端口位置的示意图。外科端口位置可映射端口的相对位置以用于使外科器械进入患者体内。除此之外或作为另外一种选择，外科器械的一个或多个图标或图形表示可被显示并且与相应端口相关联（例如，经由颜色编码和/或线等）以说明当前正在使用什么种类的外科器械以及它们所在的位置。例如，这样的映射可用于在手术前的设置期间，在外科手术期间帮助引导手术团队来跟踪外科器械的类型和位置等。在一些变型中，示意图还可指示预期的工具更换。例如，如果根据手术任务清单将特定外科器械换为另一个外科器械，则要交换的外科器械的图标可改变颜色，变成动画（例如，脉动或闪烁），或者以任何合适的方式改变外观以确认要交换的外科器械。类似地，如本文在别处所述，例如，如果存在器械误差或其他故障，则示意图可显示警报或其他通知。

随着外科手术的进行，手术模板应用程序（或从手术模板应用程序接收指示的相关应用程序）可在一些变型中引起内窥镜图像或GUI的其他部分的扩增版本的显示。例如，如果正在进行的当前手术任务涉及放置在患者组织中的特定位置处的切口，则手术模板应用程序可提供（或触发另一个应用程序以提供）内窥镜图像上的指示，该指示诸如用虚线和/或标记的箭头来指导用户在哪里切割。在其他变型中，任何合适种类的扩増图像或显示器可通过由手术模板应用程序跟踪的外科手术的进展或以任何其他合适的方式来触发。

定时器应用程序

GUI的应用程序的另一个变型是定时器应用程序。定时器应用程序可例如跟踪外科手术的持续时间和/或外科手术的片段的持续时间（例如，单独的手术任务和其他执行的任务，和/或它们的组）。在一些变型中，定时器应用程序可为医务人员提供在术中方便地监测外科手术的进展的方式。除此之外或作为另外一种选择，定时器应用程序可在术后分析（或有利于分析）外科手术的执行，以帮助使得手术团队能够识别提高效率、通信等的可能方式。在一些变型中，经由定时器应用程序收集的数据可被显示在其他显示器（例如，手术室中的附加显示器）上和/或传送并存储以供稍后分析。例如，经由定时器应用程序收集的数据可被上传到门户网站或数据库以帮助实现外科手术的术中和/或术后审查。

各种时间相关的图标和/或度量可显示在定时器应用程序内。例如，定时器应用程序可提供一个或多个秒表定时器来跟踪从一个或多个特定事件经过的时间。此类秒表定时器可以是用户激活的（例如，选择按钮，语音激活）和/或自动激活的（例如，响应于识别特定事件何时开始的传感器或机器视觉技术）。作为另一个示例，定时器应用程序可为特定事件提供倒计时定时器。其他图表或图形可指示外科医生的执行度量（例如，手术相对于先前执行的相同类型的手术的进展）。

定时器应用程序的示例性实施方式在图8中示出。如该示例中所示，定时器应用程序800可显示第一切口810的时钟时间和/或用于手术812的持续时间的正在进行的秒表定时器。第一秒表定时器820可跟踪自所有机器人臂已对接（联接）到患者以来经过的时间。第二秒表定时器822可跟踪自第一切口以来经过的时间。第三秒表定时器824可跟踪自将吲哚菁绿(ICG)或另一种合适的成像试剂引入到患者体内以来经过的时间。

定时器应用程序可显示饼图830或指示单独事件的相对持续时间的其他合适的图形。例如，饼图830的不同片段可被颜色编码或以其他方式指示为与相应事件相关联（例如，与机器人对接所经过的时间相关联的一个片段，与自引入成像试剂以来经过的时间相关联的另一片段等）。虽然圆形饼图830在图8中示出，但应当理解，在其他变型中，与外科手术中的事件相关的数据可以任何合适的方式呈现。

定时器应用程序可显示时间图表840或指示执行度量（诸如当前外科手术相对于先前手术的进展）的合适的图形。例如，当前外科手术可与相同类型的其他手术，由同一用户或类似用户执行的其他手术，对同一患者或类似患者执行的其他手术，在同一医院或其他地理类别执行的其他手术等进行比较。例如，示于图8中的示例性时间图表840可包括与指示先前手术的进展的背景阴影图进行比较的指示当前外科手术的进展的线图。外科手术的进展可以任何合适的方式来测量，包括但不限于在给定经过的时间段内完成的手术任务的数量（例如，移除粘附力的时间，自ICG注射以来的时间等）。在一些变型中，定时器数据可用于跟踪和累计训练时间（例如，用户已经完成1000小时的机器人外科手术）。如上所述，在一些变型中，执行度量可被传送至门户网站或数据库以进行审查和进一步分析。在一些变型中，来自定时器应用程序的数据可除此之外或作为另外一种选择被医院管理用户使用以开发操作度量诸如外科手术的预期持续时间，诸如以更有效或准确地计划手术室计划表，并且/或者在手术的某些部分需要比预期更长的时间时调整外科手术的预期持续时间。作为另一个示例，来自定时器应用程序的数据可用于提供关于如何优化手术室时间的建议（例如，当手术的端口放置片段在一个手术室中比另一个手术室常规花费更长时间时，识别并建议校正动作）。

病期观察应用程序

GUI的应用程序的另一个变型是病期观察应用程序，该病期观察应用程序在手术期间提供机器人系统、患者台或床、和/或手术室中的工作人员的实时视图。在一些变型中，病期观察应用程序可接收与机器人臂、患者台、和/或工作人员等的当前位置相关的实时或接近实时的信息，基于接收的信息生成手术室环境的呈现（图形表示），并且向用户显示该呈现。在一些变型中，呈现可以是3D的，但是作为另外一种选择可以是2D的。作为另外一种选择，呈现可由远程装置（例如，单独处理器）生成并且传递到病期观察应用程序以供显示。因此，所显示的呈现可向用户提供手术室中的机器人外科系统、患者和/或工作人员等的“患者体外”视图。例如，用户可监测机器人系统的状态诸如工具状态、潜在碰撞等，并且向手术团队的其他成员传送关于任何问题的这样的状态和解决方案。此外，在一些变型中，用户可与病期观察应用程序内的图形表示进行交互并影响机器人外科系统中的一个或多个变化，如下所述。

可使用各种信息来生成手术室环境的呈现。例如，机器人臂的呈现可至少部分地基于控制机器人臂的一个或多个运动学算法。可将一个或多个运动学算法馈送到建模模块中，该建模模块将运动学信息转换成呈现的3D（或2D）模型。作为另一个示例，机器人臂、患者台、和/或工作人员（或手术室环境的其他部分）的呈现可至少部分地基于一个或多个传感器（例如，臂中的位置传感器、围绕放置在臂、台或手术人员等上的房间跟踪标记的IR传感器）。

病期观察应用程序的示例性实施方式在图9A中示出。如图9A所示，病期观察应用程序900可显示患者台上的患者的3D呈现910，以及对接到患者的多个机器人臂。另外可显示透视导向920以指示当前正在显示3D呈现的哪个视图（例如，透视图、平面图等）。此外，例如，如图9C所示，机器人臂中的至少一些可被数字标记，以便区分不同的机器人臂（例如，帮助实现关于特定臂的状态的更好通信）。在病期观察应用程序900内的另一个视图中，关于机器人系统状态的附加信息（例如，附接到相应机器人臂的工具的种类、工具的激活状态等）可另外邻近呈现910显示。

可基于所呈现的对象的状态来修改病期观察应用程序中的3D呈现910的显示。例如，如图9B所示，呈现910通常是标称呈现，而呈现910的特定部分没有被选择或加亮。如图9C所示，病期观察应用程序可被配置为诸如响应于用户对臂的选择来加亮机器人臂中的至少一个（在图9C中标记为“2”）。例如，用户可选择特定机器人臂，并且作为响应，病期观察应用程序可显示关于所选臂的状态的信息。如例如图9E所示，响应于用户对臂的选择，病期观察应用程序还可显示和/或加亮与所选臂及其相关联的工具有关的信息，诸如工具类型（例如“剪刀”）、工具状态（例如，操作状态诸如“切割”或“凝结”、和/或剩余的钉等）等。作为另一个示例，用户可选择特定机器人臂，使得其在用户的显示的GUI中以及在GUI的另一个显示的实例中（例如，在控制塔显示器上）加亮，以便关于该机器人臂更容易地与其他手术人员进行通信，从而减少混淆。

作为另一个示例，用户可选择在病期观察应用程序中呈现的机器人臂并将其移动（例如，通过单击和拖动交互）以实现实际选择的机器人臂的位置（姿势）的变化。例如，所选的呈现的机器人臂的移动可被传送至机器人臂控制器，该机器人臂控制器将新位置解析成一系列一个或多个致动器命令以致动机器人臂中的关节，使得机器人臂位置与呈现的机器人臂的新位置匹配。因此，病期观察应用程序可提供帮助使得用户控制台中的用户能够“手动地”从用户控制台重新定位机器人臂而无需物理接触机器人臂的方式。类似地，可经由调整病期观察应用程序内的呈现的患者台来调整患者台的位置。

作为另一个示例，可修改机器人系统中的一个或多个部分的呈现的显示以帮助在机器人外科系统的设置和/或拆卸（例如，术前和/或术后过程）期间引导手术团队。例如，可以在机器人系统的设置期间在病期观察应用程序中加亮特定机器人臂以指示根据手术模板应用程序（在上文描述）的下一个工具应当附接到该特定机器人臂。可经由病期观察应用程序来提供其他引导（诸如工具和动画的文本描述和/或其他图形表示等）以进一步帮助手术人员设置、拆卸或以其他方式注意系统。

在一些变型中，病期观察应用程序可被配置为将机器人臂之间的碰撞通知用户。在一些变型中，可基于机器人臂上的接近或接触传感器、机器视觉技术，以及/或者以任何合适的方式检测碰撞（例如，即将发生或已发生）。响应于接收指示碰撞即将发生或已发生的信息，病期观察应用程序可加亮碰撞中涉及的一个或多个机器人臂。例如，如图9D所示，一个或多个呈现的机器人臂（标记为“3”和“4”）可被加亮。除此之外或作为另外一种选择，警报通知930可被显示为解释碰撞。指示碰撞的音频警报可另外通过病期观察应用程序向用户提供。应当理解，在其他变型中，病期观察应用程序可以类似的方式提供用于其他种类的状态更新（诸如外科器械误差）的警报或通知。例如，机器人系统的其他部分、和/或手术室环境的其他合适部分的呈现的显示可被加亮以指示其他种类的状态变化或提供合适的更新。也可经由病期观察应用程序提供与用于其他种类的状态更新的警报通知930类似的通知。

电话会议应用程序

GUI的应用程序的一个变型是电话会议应用程序，该电话会议应用程序可使得用户能够在外科手术之前、期间和/或之后联系同事或其他联系人。例如，电话会议应用程序可通过蜂窝网络、有线或无线互联网网络（例如，通过WiFi）、直接线路网络连接，或以任何适当的方式实现通信。在一些变型中，电话会议应用程序可存储联系人信息，包括但不限于姓名、照片、角色或头衔、地点、电话号码或其他联系人等。通过电话会议应用程序，用户可例如寻求与联系人进行会诊以获得建议或其他远程辅导，或寻求用于外科手术的任何其他合适种类的协作。电话会议应用程序可有利于音频和/或视觉协作，诸如通过电话和/或视频会议、以及/或者屏幕共享。

电话会议应用程序的一个示例性实施方式在图5D中示于面板510h中。如图5D所示，电话会议应用程序可显示与至少一个联系人相关联的一个或多个图标，诸如此人的缩略图视图连同姓名标签。

远程应用程序

GUI的应用程序的另一个变型是远程应用程序，该远程应用程序可使得一个或多个用户能够对显示的图像或GUI的其他方面作出注释。例如，远程应用程序可显示一个或多个注释工具的调色板。注释工具可用于标记或标注所显示的图像诸如内窥镜图像，然后可在合作者之间（例如，在同时显示在不同显示器上的不同GUI中）共享带有注释的图像，保存以供参考或未来分析等。例如，带有注释的图像可用于更清楚地与协作者沟通病变边缘、邻近淋巴结和/或其他关键解剖结构（例如，解剖学目标、要避免的组织）等的位置。合作者可以在相同的手术团队中或在相同的手术室中，并且/或者可在手术室外部（例如，远程合作者，诸如电话会议指导者）。

注释工具的一个示例是绘图工具，诸如具有可选宽度、颜色、线条类型等的钢笔或铅笔工具。注释工具的另一个示例是擦除工具，该擦除工具可“撤消”或擦除绘图工具的标记。作为另一个示例，注释工具可实现文本标签。文本标签可以是键入或口述的条目，并且/或者可包括预定的模板标签（例如，“1号切割”）。注释工具可例如利用使用手势的用户输入装置来控制，如下文进一步所述。在使用注释工具时，注释工具的图形表示可替换由用户输入装置控制的光标。例如，当用户正在操作绘图工具时，光标可以是钢笔或铅笔的图形表示。

远程应用程序的示例性实施方式在图10A中示出。如图10A所示，用户（诸如在用户控制台处的外科医生）可使用绘图工具（用光标1012）用注释来标记内窥镜图像。例如，注释1010为围绕组织的一部分绘制的圆形以识别组织区域。作为另一个示例，注释1012是指示在1010中识别的组织可以回缩的方向的箭头。带有注释的图像（远程）可被发送到正在显示GUI的另一个实例的第二显示器（例如，在第二显示器可被手术团队的其他成员看到的控制塔处）以帮助传送手术计划。如图10B所示，第二显示器可显示具有镜像注释1014的远程内容。因此，远程应用程序可提供视觉工具以帮助促进在外科手术期间与其他人的实时协作。

视频标签应用程序

GUI的应用程序的另一个变型是视频标签应用程序。在一些变型中，可诸如在整个外科手术中获得外科手术的视频记录。视频标签应用程序可包括注释工具（例如，类似于上文对于远程应用程序所述的那些注释工具），该注释工具可用于对记录的外科手术视频作出注释或以其他方式进行标注。例如，视频标签应用程序可帮助使得用户能够将外科手术视频与特定患者相关联（例如，用患者姓名、医疗记录号码等作出注释），以便实现对视频的未来访问，诸如以进行术后审查。

在一些变型中，可诸如通过实现键入文本、覆盖图等来手动控制注释工具。在一些变型中，注释可除此之外或作为另外一种选择是自动或半自动的，诸如通过自动导入患者信息并将视频加上导入信息的标签。

图24描绘了视频标签应用程序的示例性实施方式。视频标签应用程序2400可帮助使得用户能够生成视频简档，包括视频标签2410（例如，文件名等）、患者信息2420（例如，患者姓名、医疗记录号、出生日期、身高、体重、年龄等）、诊断信息2430、任何注释或评论2440（例如，与视频或外科手术等有关），外科手术信息2450（例如，外科医生和/或手术团队中的任何其他人员的姓名、在视频中执行和描绘的外科手术的名称或类型、外科手术日期等），对视频加标签的人的姓名，和/或其他合适的信息。

视频播放器应用程序

GUI的应用程序的一个变型是视频播放器应用程序。例如，视频播放器应用程序可与视频数据库通信，使得视频播放器应用程序可接收视频（或指向视频的指针）并且将其显示在GUI上。视频播放器应用程序可显示例如用于相关外科手术或手术任务，或用于与外科手术相关的其他任务（例如，用于对接机器人臂的端口的设置）的指导或训练视频。在一些变型中，用户可使用视频播放器应用程序来查看术前设置中的视频，诸如以准备外科手术。除此之外或作为另外一种选择，视频播放器应用程序可用于查看术中设置中的视频，诸如以帮助解决在外科手术期间产生的并发症。然而，可播放其他合适的视频。此外，应当理解，可经由GUI提供视频播放器应用程序的变型（例如，音乐播放器）。

模拟器应用程序

GUI的应用程序的另一个变型是模拟器应用程序。模拟器应用程序可例如与存储模拟的外科机器人体验或模拟练习的数据库通信，诸如以教授用于机器人模拟的用户特定的心理运动技能（例如，用以练习执行手持用户输入装置的滚动动作和/或其他技能的游戏等)。模拟的外科机器人体验可包括例如与模拟患者的模拟和训练练习。模拟器应用程序可将此类模拟体验加载到GUI中，包括模拟内窥镜视图和其他患者参数。模拟体验还可包括模拟事件，诸如机器人臂碰撞、患者痛苦，以及可帮助使得新用户（例如，在训练中的外科医生）能够了解如何适当地响应和解决问题的其他合适的事件。模拟可诸如用模拟开发者软件与模拟器应用程序分开生成，或者作为另外一种选择可在模拟器应用程序本身内生成。

在一些变型中，模拟器应用程序可基于他或她在模拟练习中的表现来为用户评分，诸如通过为用户提供分数。随着时间的推移，可以跟踪此类分数来测量受训者在使用机器人外科系统方面的进展和流畅度。在一些变型中，模拟器应用程序可在整个设定课程中显示用户的进展（例如，指示用户已经完成了十分之三的练习），评估用户定制或调整课程的基准技能，和/或基于用户的表现提供对特定模拟练习的建议。

人体工程学设置应用程序

GUI的应用程序的另一个变型是人体工程学设置应用程序，该人体工程学设置应用程序可例如在具有可调节的人体工程学设置的用户控制台处显示的GUI中实现。具有可调节的人体工程学设置的用户控制台的示例性变型在2017年9月21日提交的标题为“USERCONSOLE SYSTEM FOR ROBOTIC SURGERY”的美国专利申请序列号15/712,052中更详细地描述，该申请全文并入本文，如上所述。人体工程学设置应用程序可为用户提供界面以调整用户控制台的各种设置，诸如座椅高度、座椅角度、脚踏板托盘角度等。例如，用户控制台的各个人体工程学设置可被手动调整并传送至用户控制台控制器以实现对用户控制台中的这些设置的调整。

除此之外或作为另外一种选择，在另一个示例中，人体工程学设置应用程序可接收用户信息的用户输入以便在用户控制台中为用户调出或生成合适的人体工程学设置。例如，用户信息可包括与具有一个或多个存储的人体工程学设置的座位简档相关联的用户登录，其中可从用户数据库中调出座位简档。作为另一个示例，人体工程学设置应用程序可使得用户能够提供他或她的人体测量信息（例如，身高、性别等）以自动地为用户生成合适的人体工程学设置。与上述相似，随后可将用户控制台的人体工程学设置传送给用户控制台控制器以实现用户控制台中的人体工程学设置。

发生器应用程序

在一些变型中，GUI可包括发生器应用程序，该发生器应用程序可实现对外科器械的一个或多个设置的控制。例如，在用户控制台处包括发生器应用程序的GUI可使得坐在用户控制台处的外科医生能够直接控制外科器械的设置。在一些情况下，这可提高外科手术的总体效率，因为在用户控制台处的外科医生可避免必须询问手术人员的另一个成员以改变设置。

例如，发生器应用程序可显示用于调整外科器械的能量设置的一个或多个交互控件。例如，如图19所示，发生器应用程序1900可包括用于减少和增加电外科切割器械的单极能级的交互控件1910，用于减小和增加电外科切割器械的双极能级的交互控件1912。高级设置控件1920可提供更多的专业调整（例如，以指示“高级止血”设置）。作为另一个示例，发生器应用程序可包括照明控件1930以调节提供光源的外科器械的照明水平。此外，发生器应用程序可显示一个或多个交互控件以调整外科器械的任何合适的设置。例如，发生器应用程序可包括设置1940和/或1942，该设置可被选择为在用于内窥镜照相机的静态图像捕获模式和视频捕获模式之间切换。

工具小部件

在一些变型中，GUI可另外显示一个或多个工具小部件，该工具小部件被配置为以方便、有效的方式传送关于外科器械的信息。例如，工具小部件可总结高优先级信息，诸如工具类型、工具状态、工具设置和/或工具剩余“寿命”（例如，留在仓中的击发次数等）。工具小部件可覆盖在内窥镜图像上方，邻近或靠近内窥镜图像，以及/或者在所显示的GUI的任何其他合适的部分中。工具小部件的示例性说明性变型在下文更详细地描述。

工具套件

在一些变型中，一个或多个工具小部件可被布置在“工具套件”或工具栏中，该“工具套件”或工具栏对接在GUI中的固定位置处。工具套件可提供工具（器械）状态的摘要。例如，如图11A所示，工具套件可包括至少一个工具小部件（例如，与由左手控制器控制的外科器械相对应的左侧工具小部件1110L，以及与由右手控制器控制的外科器械相对应的右侧工具小部件1110R），该工具小部件通常可被显示并覆盖在内窥镜图像上方。工具套件还可包括一个或多个附加工具小部件，诸如与可容易地用于控制的其他“备用”外科器械（例如，相对于显示的内窥镜图像位于屏幕外的器械）相对应的工具小部件1112C。

示于图11A中的工具套件沿着显示器的底部边缘显示，但是在其他变型中，工具套件可除此之外或作为另外一种选择被显示在任何合适的位置中。例如，如图25所示，工具套件可包括工具小部件2532、2534和2536，所述工具小部件显示在显示器的侧栏上并且分别对应于位于屏幕外的第一“备用”外科器械、由右手控制器控制的第二外科器械，以及由左手控制器控制的第三外科器械。对应于第一“备用”外科器械的工具小部件2532被显示在侧栏的上拐角中，相对看不清。对应于受控的第二外科器械和第三外科器械的工具小部件2534和2536分别被显示在右侧栏和左侧栏的下拐角中。

虽然在一些情况下工具小部件可通常为不透明的以改善工具小部件的内容的可见性，但如果工具小部件有使图像的重要部分模糊的风险，则工具小部件中的一个或多个可能会变得半透明或隐藏。例如，GUI可响应于指示工具小部件是半透明或隐藏的用户输入来相应地呈现工具小部件。作为另一个示例，如果例如一个或多个眼睛跟踪传感器或头部跟踪传感器检测到用户正在试图查看工具小部件后面的图像，则GUI可呈现半透明或隐藏的工具小部件。在一些变型中，工具套件的至少一部分（或其等同工具信息）可邻近或靠近内窥镜图像呈现而不是覆盖在内窥镜图像上方，诸如以在没有阻碍的情况下改善整个内窥镜图像的可见性。

工具套件可提供与工具状态相关的信息，诸如工具类型、能级、状态等。例如，如图11B所示，左手工具小部件1110L可包括器械的图形表示来指示由左手控制器控制的外科器械的类型（例如，剪刀、缝合器等）。在左手工具小部件1110L的旁边，工具套件还可包括文本标签（“剪刀—单极、弯曲”），该文本标签可明确描述与左手工具小部件1110L相关联的外科器械的类型；以及一个或多个工具状态图标1114L，该工具状态图标可指示附加工具信息状态，诸如能量发生器级别。在一些变型中，工具套件可实现工具状态的修改，诸如调整外科器械的能量发生器级别（例如，显示用于增加或减小能量发生器级别的一个或多个按钮或刻度盘）。在一些变型中，文本标签和工具状态图标1114L可与左手工具小部件1110L在视觉上分组在一起，以便形成左手工具小部件1110L的延伸，但作为另外一种选择，与左手工具相关联的这些显示部件可为离散的。类似地，如图11B所示，右手工具小部件1110R可包括器械的图形表示以指示与右手工具小部件1110R相关联的外科器械的类型，并且工具套件还可包括文本标签和/或一个或多个工具状态图标1114R，该工具状态图标可指示附加工具信息状态。

一般来讲，工具套件的部件中的任一个可基于其相关联的外科器械的活动或状态而在外观方面变化。例如，参考图11B，工具小部件1110R中的器械的图形表示可根据相关联器械的当前操作状态在外观方面改变。作为另一个示例，工具套件的部件中的任一个的颜色可根据相关联器械的当前操作状态而改变。此外，在一些变型中，GUI可根据相关联器械的当前操作状态在工具套件中或工具套件附近包括一个或多个动画。

在一些变型中，工具套件通常可根据工具小部件的预定方案或工作流程而在外观方面变化。工具小部件工作流程的一个示例性变型在图12中针对缝合器器械示出。例如，用于在GUI中显示的工具套件可包括工具小部件1202，该工具小部件包括缝合器的图形表示、缝合器的文本描述，被配置为示出缝合器的夹紧状态的夹具图标1204，以及被配置为示出缝合器的击发状态的击发图标1206。在一些变型中，文本描述、夹具图标1204和击发图标1206可与工具小部件1202在视觉上分组在一起以便形成工具小部件1202的延伸。

在工具小部件工作流程的步骤1212中，缝合器处于空档状态，因为它的功能都没有被激活。因此，工具套件也处于空档状态，其中工具小部件1202具有打开（即，未夹紧）的缝合器的图形表示，并且夹具图标1204和击发图标1206处于非激活状态（例如，在显示器中变暗）。

在工具小部件工作流程的步骤1214中，用户将他或她的脚悬停在脚踏板控件上方，该脚踏板控件被配置为致动缝合器的夹紧状态。例如，用户的脚可与脚踏板接触（或刚好在脚踏板上方）但不完全压下脚踏板，并且该悬停状态可通过一个或多个传感器（诸如脚踏板中的角度传感器）来检测。在检测到用户的悬停脚时，夹具图标1204可产生“光晕”效应。“光晕”效应可为半透明的或透明的，并且/或者可在动画中脉冲以指示夹紧准备就绪状态。

在工具小部件工作流程的步骤1216中，用户已压下并接合脚踏板控件，从而激活缝合器的夹紧状态。夹具图标1204上的“光晕”效应可被替换为“填充”的进度条以指示夹紧动作的经过时间和预期剩余时间。此外，夹具图标1204可被放大以引起对缝合器的夹紧状态的注意。工具小部件可除此之外或作为另外一种选择包括子文本（“夹紧”）以明确指示当前动作正在进行。

在工具小部件工作流程的步骤1218中，缝合器已成功完成夹紧动作。夹具图标1204中的图形图标可相应地改变以模仿夹紧机构（例如，闭合的衣夹）。另外，工具小部件1202中的缝合器的图形表示也可模仿夹紧的缝合器机构（例如，在缝合器臂闭合的情况下）。

在工具小部件工作流程的步骤1220中，倒计时定时器被显示在夹具图标1204上方。例如，15秒（或任何合适的时间段）的倒计时定时器可指示何时已经过去15秒，并且可评估夹紧动作的成功。经过15秒后，工具套件中的子文本可指示缝合器的成功“夹紧”状态。除此之外或作为另外一种选择，击发图标1206可改变颜色和/或尺寸以指示缝合器的击发步骤的准备。

在工具小部件工作流程的步骤1222中，用户再次将其脚悬停在脚踏板上方（例如，以与上述步骤1214类似的方式）。在检测到用户悬停在脚踏板上方的脚后（并且在缝合器的已知的成功“夹紧”状态下），击发图标1206可产生半透明或透明的“光晕”效应，并且/或者可在动画中脉冲以指示缝合器击发准备就绪的状态。

在工具小部件工作流程的步骤1224中，用户已压下并接合脚踏板控件，从而激活缝合器的击发状态。击发图标1206上的“光晕”效应可停止，并且整个工具小部件可改变颜色以指示缝合器已开始击发。

在工具小部件工作流程的步骤1226-1232中，整个工具小部件可改变颜色。例如，工具小部件可被着色以匹配缝合器仓颜色（例如，对应于缝合器仓中的钉的尺寸）。从步骤1224中的踏板激活开始的倒计时定时器（例如，3秒）可显示在工具小部件上或附近以指示缝合的进展。除此之外或作为另外一种选择，进度指示器（诸如动画进度条）可行进跨过工具小部件以指示缝合的进展。例如，步骤1226-1232指示进度条动画随着倒计时进行而逐渐行进跨过工具小部件的长度。

在工具小部件工作流程的步骤1234中，击发阶段已经完成并且缝合器的刀（先前用于切割组织作为缝合过程的一部分）正在回缩。击发图标1206可以是暗淡、空白的，或以其他方式具有外观变化以指示“耗尽”状态。除此之外或作为另外一种选择，工具小部件的子文本（“刀回缩”）可明确指示当前状态。

在工具小部件工作流程的步骤1236中，组织可开始松开并释放。夹具图标1204可包括“未填充”（例如，在夹紧期间处于与步骤1216中相反的方向）的进度条以指示松开动作的经过时间和预期剩余时间。此外，夹具图标1204可被放大以引起对缝合器的松开状态的注意。工具小部件可除此之外或作为另外一种选择包括子文本（“松开”）以明确指示当前动作正在进行。在一些变型中，松开可在缝合器击发完成之后自动执行。

最后，在工具小部件工作流程的步骤1238中，组织已完成松开并且缝合器仓被完全耗尽（空）。在工具小部件1202上的缝合器的图形表示可被描绘为打开（例如，将缝合器臂隔开）。夹具图标1204被描绘为打开的夹具机构（例如，打开的衣夹），并且击发图标1206保持处于指示“耗尽”状态的状态。

应当理解，图12是仅出于示例性目的而描述和示出的示例性工具小部件工作流程，并且工具小部件可具有任何其他合适种类的显示改变作为其工作流程的一部分，这取决于用户和工具小部件之间的期望的交互行为，取决于外科器械的类型等。除此之外或作为另外一种选择，可向用户提供整个工作流程中的其他形式的通知，诸如外科器械操作的基于音频的状态更新（例如，口头描述、嘟嘟声或音调等）。

在一些变型中，工具小部件可响应于检测到在工作流程期间发生的触发事件而显示警报或通知。例如，如图13所示，在一个或多个传感器（例如，在工具驱动器上）检测到器械未正确加载的情况下，相关联的工具小部件可显示向用户指示问题的文本通知1310。另外，单独的通知1312可在显示器上的其他地方显示。例如，单独的通知1312可包括与在工具小部件中未显示的触发事件相关的附加（例如，更详细的）信息。触发事件的其他示例可包括器械“寿命”的耗尽（例如，超出缝合器的预定击发次数）、器械干扰、或其他器械故障。可定义用于提示通知的警报的任何合适的触发事件。在一些变型中，警报或通知可按照紧急程度进行优先显示。

浮动工具小部件

在一些情况下，用户将目光远离在内窥镜图像中描绘外科器械的位置是不切实际的，因为用户可能期望将眼睛保持集中在器械正在对组织进行的操作等。在此类情况下，一个或多个“浮动”工具小部件可以覆盖在外科器械附近的内窥镜图像上方，如内窥镜图像中所示。通过将工具小部件定位在外科器械上或附近，用户可查看与外科器械相关的状态信息而同时将焦点保持在内窥镜图像中的外科器械上，并且可避免必须注视可对接在显示器中的不方便位置中的工具套件。因此，此类浮动工具小部件在GUI的一些变型中可有助于使得用户能够更有效、更安全、并且以更大的信心来执行外科手术。

在一些变型中，机器视觉技术可用于确定外科器械在内窥镜图像中的位置，然后GUI可被配置为在该工具的预定距离内显示与该工具相关联的浮动工具小部件（例如，覆盖在器械的远侧端部执行器上方或附近，覆盖在器械轴的远侧端部上方或附近等）。在外科器械四处移动时，浮动工具小部件可能是“粘性的”或跟随外科器械。

在其他变型中，浮动工具小部件可放置在显示器的其他位置处，诸如以指示其他外科器械位于屏幕外的位置。例如，如图14所示，浮动工具小部件1410可位于内窥镜图像的顶部边缘处，从而指示如果内窥镜图像要向上平移，则另一个外科器械可变得可见。作为另一个示例，与提供所显示的内窥镜图像的内窥镜照相机相关的浮动工具小部件可具有相关联的工具小部件1414，如图14所示。在该示例中，浮动工具小部件1414可包括水平线，该水平线可指示内窥镜照相机的取向（例如，相对于内窥镜照相机装置的远侧端部处30度尖端，或任何合适的范围）。

浮动工具小部件可基本上类似于上文相对于工具套件所述的那些浮动工具小部件。例如，浮动工具小部件可基于外科器械的操作状态来跟踪工具小部件工作流程，类似于相对于图12所述。例如，如图14所示，浮动工具小部件1412可产生具有特定颜色的“光晕效应”以简略地指示在工具小部件工作流程中的特定步骤（例如，蓝色光晕指示用户的脚悬停在蓝色踏板上方或停留在蓝色踏板上，黄色光晕指示用户的脚悬停在黄色踏板上方或停留在黄色踏板上等）。

快速访问菜单

在一些变型中，快速访问菜单可被激活并显示以提供对GUI的一个或多个功能（诸如一个或多个应用程序的功能）的直接访问。例如，快速访问菜单可减少用户输入装置的无意和/或不必要的移动的量以接合一个或多个应用程序的某些功能。例如，快速访问菜单可根据用户请求，诸如响应于在用户输入装置上检测到的手势的特定组合来显示，如下文更详细地描述。在一个示例性变型中，用户通过滚动和挤压用户输入装置来选择快速访问菜单中的选项。该滚动运动可将用户输入装置保持在与工具端部执行器相同的轴线上，从而允许用户更快速地返回到手术中（使用用户输入装置来控制外科器械），而不必将用户输入装置重新对准到工具端部执行器。

快速访问菜单的示例性实施方式在图10A和图15中示出，其中快速访问菜单1020和1510分别可包括被布置成环形的可选择图标。可选择图标中的至少一些可对应于GUI的软件应用程序（例如，远程应用程序、电话会议应用程序、定时器等）。可选择图标中的至少一些可对应于通用GUI功能，诸如允许用户与另一个装置共享显示面板中的一个或多个上的当前显示的“共享”功能，拍摄显示面板中的一个或多个上的当前显示的屏幕截图的“照相机”功能。当用户在快速访问菜单中选择图标时，用户访问与所选图标相关联的功能的快捷方式。

快速访问菜单的布局（例如，内容、形状、交互形式等）可被重新配置为填充有应用程序和/或通用GUI功能的任何合适的组合。与多面板显示器中的面板类似，用户可基于用户输入来定制快速访问菜单的内容（例如，将选择拖放到快速访问菜单中）。此外，虽然图10A和图15描绘了环形快速访问菜单，但应当理解，快速访问菜单的其他合适的形状和/或显示位置可被实现。例如，除此之外或作为另外一种选择，用户可定制快速访问菜单的形状因数（例如，圆形或环形的列表，诸如图25中所示的快速访问菜单2520变型，矩形或其他网格的可选择图标或描述符，下拉列表，或任何合适的格式）。快速访问菜单可显示在显示器（例如，外科医生控制台中的开放的显示器）上的任何合适的位置中。此外，快速访问菜单可基于用于某些种类的外科手术、某些种类的用户等的快速访问菜单的先前有效布局来自动配置。

虽然GUI的特定变型在附图中有所描绘并且在以上随附说明书中有所描述，但应当理解，在其他变型中，GUI可在仍然保持本文所述的合适功能的同时在外观（例如，布局）方面变化。例如，如上所述，快速访问菜单2520以靠近屏幕底部的列表的形式显示，而不是以带有图标的环的形式显示（如例如图10A所示）。工具小部件2532、2534和2536被显示在侧栏上，而不是覆盖在内窥镜图像上（如例如图11A所示）。

此外，图25描绘了可供选择的GUI变型2500，其中各种应用程序被显示在位于主面板显示器的任一侧上的侧栏面板中，其中侧栏面板中的至少一些可被选择性地隐藏、最小化、制成透明，以及/或者钉扎，这取决于用户的当前偏好。例如，在图25中，实时视频应用程序的控制部分2510a、定时器应用程序2512、手术模板应用程序2514、和/或图像查看应用程序2516被显示在显示器的侧栏面板上。实时视频应用程序的视频供给部分2510b被显示在显示器的侧栏面板之间的主面板中。如果观察GUI 2500的外科医生希望查看主面板中显示的视频供给部分2510b或其他内容的隔离和/或放大视图（例如，以减少分心），则外科医生可具有用于实现此的若干选项。作为一个示例，外科医生可选择性地隐藏侧栏面板的一部分（或全部），从而使侧栏面板看起来被隐藏。此外，在该示例中，主面板可被放大以占据至少基本上整个显示器（例如，以避免视觉干扰）。作为另一个示例，外科医生可选择性地最小化侧栏面板的一部分（或全部），从而减小侧栏面板的可见尺寸（例如，将可见部分限制为头部或代表性图标的等同物）。作为又一个示例，外科医生可调整侧栏面板的一部分（或全部）的透明度并且将透明侧栏面板覆盖在主面板上方，从而允许外科医生在侧栏面板后面观察视频供给。相反，如果外科医生希望恢复侧栏面板的隐藏的、最小化的、或透明的部分，则外科医生可通过例如“悬停”在显示器的与侧栏面板的典型位置相对应的区域上方或点击该区域来完成。例如，虽然主面板是隔离的/或放大的（例如，占据整个显示器），而其他内容诸如其他应用程序和/或一个或多个工具套件可叠加出现在主面板上方（例如，弹出、“流动”等到主面板上方）。作为另一个示例，可减小主面板的显示尺寸以适应一个或多个侧栏面板的显示。外科医生可使用用户输入装置和/或其他合适的选择过程用点击手势来钉扎侧栏面板的先前隐藏的、最小化的、或透明部分。图25中未描绘的其他应用程序可除此之外或作为另外一种选择填充侧栏面板。在一些变型中，填充侧栏面板的应用程序可以极简化的样式（例如，简单和干净的线条等）或其他合适的样式来描绘。此外，应当理解，参考图25描述的GUI和示例性用户交互的各个方面可以任何合适的方式与本文在别处所述的其他GUI变型和用户交互组合。

示例性GUI变型

如上所述，在一些变型中，GUI可显示在各种显示器上，诸如在用户控制台中，在控制塔显示器上的团队显示器上，在护士显示器上（例如，在患者的床边）等。在一些变型中，GUI在这些各种显示器上可基本上相同，并且GUI中的内容可在所有显示器上实时镜像或重复。

然而，在一些变型中，显示器中的至少一些可被配置为显示GUI的不同变型或版本。例如，由于GUI的一些外科医生特定的内容可针对坐在用户控制台中并控制机器人系统的外科医生，所以并非GUI中的所有内容都必须显示在团队显示器或护士显示器上。在此类变型中，团队显示器、护士显示器、和/或其他显示器（除了在用户控制台处的显示器之外）可显示GUI的省去外科医生特定内容的版本，以较大尺寸呈现某些应用程序以增加可视性等。相反，显示器中的一个或多个（除了在用户控制台处的显示器之外）可显示GUI的显示针对非外科医生工作人员（诸如护士、远程场外合作者等）的内容的版本。在此类变型中，用户控制台显示器可省去针对非外科医生工作人员的内容。在一些变型中，例如，外科医生控制台中的显示器（例如，开放的显示器、沉浸式显示器等）、控制塔上的团队显示器和床边护士显示器可显示为其各自的主要观察者定制的不同内容。例如，外科医生控制台中的显示器可用作用于手术的外科医生主要视觉界面，团队显示器可使得手术人员能够遵循手术（例如，示出手术清单以准备下一个步骤），并且护士显示器可专注于数据输入（例如，与工具设置相关）。

例如，图16和图17示出了可显示在机器人系统的控制塔顶部上的团队显示器处的GUI 1600的示例性变型，其中团队显示器可旨在由距显示器不同距离（例如，在显示器旁边或从显示器横跨房间）的大量人群观察。如图16所示，用于团队显示器的示例性高优先级项目可包括显示在大面板中的内窥镜图像1610（连同快速访问菜单1640、和工具小部件1650），来自呈现在中等面板中的图像查看器应用程序1620的内容，以及来自呈现在中等面板中的定时器应用程序1630的内容。在一些变型中，医疗数据的这些来源可被认为对于手术团队的所有成员在外科手术期间进行观察来说是特别重要的。

在外科手术期间的某个时刻，团队显示器的布局可在显示器的面板中动态地变化。例如，内容可被自动重新布置（例如，以在用户控制台显示器上镜像重新布置，或基于根据手术模板应用程序的外科手术中的当前进展等）或基于在团队显示器处的用户输入重新布置。例如，如图17所示，图像查看器应用程序1620可与内窥镜图像1610交换，使得来自图像查看器应用程序1620的内容可呈现在大面板中，内窥镜图像可显示在中等面板中，并且来自定时器应用程序1630的内容可呈现在另一个中等面板中。然而，应当理解，团队显示器的布局可以任何合适的方式改变（例如，各种数量的面板、各种尺寸的面板等）。

作为另一个示例，图18示出了可显示在护士显示器处的GUI 1800的示例性变型，其中护士显示器可旨在由在外科手术之前、期间和/或之后提供帮助的护士或其他工作成员观察。GUI 1800可包括主要针对护士显示器的内容，诸如与术前设置（例如，套管针放置、患者台上的机器人臂设置、对于特定外科医生个性化的外科机器人设置）或术后拆卸有关的信息。作为另一个示例，GUI 1800可包括管理内容，诸如对于手术室（和/或手术人员，可能在其他手术室中）的即将到来的病例的计划表。在一些变型中，诸如在设置完成之后，GUI1800可在GUI的其他变型（诸如类似于上述团队显示GUI 1600的一个变型）之间切换。

图19示出了包括如上所述的发生器应用程序1900的GUI的至少一部分的另一个示例性变型。例如，在护士显示器处的GUI可将发生器应用程序1900呈现在大面板中，使得护士或其他工作成员可经由发生器应用程序1900调整外科器械的能量设置和其他设置。

图22和图23示出了包括手术模板应用程序的示例的GUI的至少一部分的附加示例性变型。如图22所示，可放大手术任务清单2210和外科器械列表2220以填充护士显示器或其他合适的显示器的大面板。类似地，如图23所示，可放大端口放置的示意图以填充护士显示器或其他合适的显示器的大面板。

作为又一个示例，图24示出了包括视频标签应用程序2400的GUI的至少一部分的另一个示例性变型。如图24所示，可放大视频标签应用程序以填充护士显示器或其他合适的显示器的大面板。

GUI交互

如上所述，GUI可包括可由用户控制、选择，或以其他方式与用户进行交互的一个或多个交互式图形对象。在一些变型中，用户可经由诸如触摸屏、鼠标、键盘等的用户输入装置，或其他通信方案（例如，语音命令、眼睛跟踪等）与GUI进行交互。在其中GUI被显示在用于（例如，由外科医生）控制机器人外科系统的用户控制台中的显示器上的变型中，交互式图形对象中的至少一些可经由一个或多个用户控件控制、选择，或以其他方式与一个或多个用户控件进行交互，该用户控件也用于控制外科系统（例如，外科器械）的方面。例如，用户可使用一个或多个手持用户输入装置和/或一个或多个脚踏板来选择性地控制机器人外科系统的方面并且选择性地与GUI进行交互。通过用相同用户控件实现对机器人外科系统和GUI的控制，用户可有利地避免必须在两个不同种类的用户控件之间切换。使用户能够使用相同输入装置来控制机器人系统和GUI，从而简化外科手术并提高效率，并且帮助用户在整个外科手术中保持无菌。

例如，在外科手术期间，用户可使用一个或多个控件，诸如至少一个手持用户输入装置或至少一个脚踏板。用于机器人外科系统的控件的示例性变型在2016年12月9日提交的标题为“USER INTERFACE DEVICES FOR USE IN ROBOTIC SURGERY”的美国专利申请序列号62/432,528，以及2017年3月31日提交的标题为“MULTI-FUNCTIONAL FOOT PEDALASSEMBLY FOR CONTROLLING A ROBOTIC SURGICAL SYSTEM”的美国专利申请序列号15/476,454中更详细地描述，所述申请中的每个全文以引用方式并入本文。

如图20A和图20B中一般所示，用于控制机器人系统的手持用户输入装置2000的示例性变型可包括构件2010；外壳2020，该外壳至少部分地设置在构件周围并且被配置为保持在用户的手中；以及跟踪传感器系统2040，该跟踪传感器系统被配置为至少检测装置的至少一部分的位置和/或取向。外壳2020可以是柔性的（例如，由有机硅制成）。在一些情况下，装置的检测到的位置和/或取向可与机器人系统的控件关联。例如，用户输入装置2000可控制机器人臂的至少一部分，联接到机器人臂的远侧端部的端部执行器或工具（例如，抓紧器或钳口），GUI，或机器人外科系统的其他合适方面或特征。另外，在一些情况下，装置的检测到的位置和/或取向可与GUI的控件关联。此外，在一些变型中，用户输入装置2000可包括用于检测用户输入装置2000的其他操纵（诸如外壳2020的挤压）的一个或多个传感器（例如，经由一个或多个压力传感器、一个或多个电容传感器等）。

一般来讲，用于控制机器人外科系统的用户界面可包括至少一个手持用户输入装置2000，或者可包括至少两个手持用户输入装置2000（例如，要由用户的左手保持的第一用户输入装置，和要由用户的右手保持的第二用户输入装置），或任何合适数量。每个用户输入装置2000可被配置为控制机器人系统的一个或多个不同方面或特征。例如，保持在用户的左手中的用户输入装置可被配置为控制在提供给用户的照相机视图的左侧上呈现的端部执行器，而保持在用户的右手中的用户输入装置可被配置为控制在照相机视图的右侧上呈现的端部执行器。作为另一个示例，用户输入装置2000可在不同模式之间“离合”，以用于控制机器人系统的不同方面或特征，诸如以下所述。

在一些变型中，手持用户输入装置2000可以是被配置为保持在手中并且在自由空间中操纵的无接地用户输入装置。例如，用户输入装置2000可被配置为保持在用户的手指之间，并且在用户移动他或她的臂、手、和/或手指时由用户自由地移动（例如，平移、旋转、倾斜等）。除此之外或作为另外一种选择，手持用户输入装置2000可以是主体接地的用户输入装置，因为用户输入装置2000可直接或经由任何合适的机构（诸如手套、手带、袖套等）联接到用户的一部分（例如，联接到用户的手指、手和/或臂）。这样的主体接地的用户输入装置仍然可使得用户能够在自由空间中操纵用户输入装置。因此，在其中用户输入装置2000是无接地或主体接地（与永久地安装或接地到固定控制台等相反）的变型中，用户输入装置2000可以是符合人体工程学的并且提供灵巧的控制，诸如通过使得用户能够以不受接地系统的固定性质阻碍的自然的身体移动来控制用户输入装置。

手持用户输入装置2000可包括有线连接，该有线连接例如可以向用户输入装置2000提供电力，携带传感器信号（例如，来自跟踪传感器组件和/或诸如电容传感器、光学传感器等的其他传感器）。作为另外一种选择，用户输入装置可以是无线的，如图20A所示，并且经由无线通信诸如射频信号（例如，WiFi或诸如400-500mm范围的短程等）或其他合适的无线通信协议诸如蓝牙来传送命令和其他信号。可利用光学读取器传感器和/或照相机来促进其他无线连接，该光学读取器传感器和/或照相机被配置为检测用户输入装置2000红外传感器、超声传感器或其他合适的传感器上的光学标记。

手持用户输入装置可包括用于在控制机器人臂或端部执行器和控制图形用户界面等之间，和/或在其他控制模式之间切换的离合器机构。下文更详细描述的各种用户输入中的一个或多个可以任何合适的组合用作离合器。例如，触摸装置的手势触摸区域，挤压外壳，轻击或旋转用户输入装置等可用于接合离合器。作为另一个示例，挤压和保持用户输入装置，以及旋转用户输入装置的组合可用作离合器。然而，手势的任何合适的组合都可用作离合器。除此之外或作为另外一种选择，到其他用户输入装置（例如，脚踏板组件）的用户输入可单独或与到手持用户输入装置的用户输入组合，用作离合器。

在一些变型中，离合器机构的接合和脱离接合可实现在使用手持用户输入装置作为机器人系统的控件和使用手持用户输入装置作为GUI的控件之间的转换（例如，以操作显示在屏幕上的光标）。当接合离合器机构以使得用户输入装置用于控制GUI时，机器人臂的位置或姿势可以被基本上锁定到适当位置以“暂停”机器人系统的操作，使得用户输入装置的后续移动在离合器接合时将不会无意地引起机器人臂的移动。

如图21A所示，左手用户输入装置和右手用户输入装置可提供分别对左手光标图标2100L和右手光标图标2100R的控制。在一些变型中，光标图标可为手持用户输入装置的程式化图形表示。例如，示例性用户输入装置2000可为大致蛋形形状，如图20A所示。因此，它们可被用于操作大致为蛋形形状的光标，如图21A所示，其中附加点指示光标图标的方向性和/或旋向性。在一些变型中，光标图标可沿着GUI的显示器内的X-Y平面移动，并且可在屏幕上彼此重叠。

当用户输入装置被用作GUI的控件时，其检测到的装置的位置和/或取向的变化可与用于对GUI进行交互的一个或多个动作关联。例如，图21B示出了将手持用户输入装置的移动与适合于控制GUI的动作关联的示例性控制方案。例如，在左、右、向下和向上方向上的正交轻击（例如，持续时间短，随后返回到中心点的方向点）可指示左、右、向下和向上GUI动作，诸如用于滚动。作为另一个示例，用户输入装置诸如围绕装置的中心轴线的扭转可用于调整GUI项目诸如虚拟滑块和虚拟旋钮。

在一些变型中，可在一个或多个方向上有效地限制轻击，诸如用于GUI内的滚动目的。例如，只有用户输入装置的移动的水平方向分量可用于与GUI的控制关联，而竖直方向分量可被忽略。作为另外一种选择，只有用户输入装置的移动的竖直方向分量可用于与GUI的控制关联，而水平方向分量被忽略。

除此之外或作为另外一种选择，挤压输入可以一种或多种方式来解释为GUI的控制输入。例如，如图21B所示，用户输入装置的外壳的单次挤压可与选择操作（例如，类似于键盘上的“输入”）关联。快速连续的双重挤压可与“返回”或“撤消”操作关联。作为另一个示例，可将用户输入装置在延长时间段（例如，3秒）内的挤压和保持用作专用操作，诸如以离合“退出”GUI并返回到使用用户输入装置来控制机器人系统。

此外，左手用户输入装置和右手用户输入装置的相对位置和/或取向可与GUI的附加种类的控制关联。例如，用户可使用两个装置来操纵3D对象（例如，旋转中），或者放大和缩小所显示的图像（例如，通过移动装置更靠近在一起以缩小，以及移动装置隔得更远以放大）。除此之外或作为另外一种选择，装置彼此的相对位置和/或取向可以任何合适的方式与GUI的控制关联。

在上述描述中，为了进行解释，使用了具体的命名以便于充分理解本发明。但是，对于本领域的技术人员将显而易见的是，实践本发明不需要这些具体细节。因此，出于说明和描述的目的呈现了对本发明的具体实施方案的上述描述。它们不旨在是穷尽性的或将本发明限制于公开的精确的形式；显然，鉴于上述教导内容，许多修改和变型是可能的。选择和描述实施方案以便最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明以及具有适合于预期的特定用途的各种修改的各种实施方案。旨在以下权利要求及其等同物限定本发明的范围。

Claims (9)

1.一种机器人外科系统，包括：

机器人外科器械；

手持用户输入装置UID，所述UID被配置为在手持UID在用户的手中的同时并且在所述机器人外科系统处于远程操作的同时控制所述机器人外科器械的移动；

显示器，所述显示器被配置为显示图形用户界面GUI，所述GUI包括第一显示面板和第二显示面板，所述第一显示面板包含来自第一软件应用程序的可视内容，所述第二显示面板包含来自第二软件应用程序的可视内容，其中来自所述第一软件应用程序的所述可视内容是手术部位的内窥镜视频并且所述第一显示面板大于所述第二显示面板；以及

眼睛跟踪传感器，所述眼睛跟踪传感器被配置为检测所述用户是否正在集中于所述显示器的一部分上，

其中，响应于所述手持UID处的用户输入，所述机器人外科器械被配置为在适当的位置暂停，

其中，响应于1）所述机器人外科器械在适当的位置暂停以及2）所述眼睛跟踪传感器检测到所述用户正在集中于所述GUI中的所述第二显示面板上，所述显示器被重新配置为在所述第一显示面板中呈现来自所述第二软件应用程序的可视内容并且在所述第二显示面板中呈现来自所述第一软件应用程序的可视内容。

2.根据权利要求1所述的系统，其中，所述第一显示面板和所述第二显示面板能够在布局中重新配置。

3.根据权利要求1所述的系统，其中，能够通过重新定位或调整大小中的至少一种来重新配置所述第一显示面板和所述第二显示面板中的至少一者。

4.根据权利要求1所述的系统，其中，所述手术部位是要由所述机器人外科器械执行手术任务所在的位置。

5.根据权利要求4所述的系统，其中，所述用户输入是第一用户输入，

其中，所述手持UID进一步被配置为接收第二用户输入以控制所述机器人外科器械来在所述手术部位处执行所述手术任务，

其中，所述系统被配置为对所述内窥镜视频执行机器视觉算法以检测所述手术任务是否完成，

其中，响应于所述机器视觉算法检测到由所述机器人外科器械完成所述手术任务，

所述手持UID从控制所述机器人外科器械的移动被重新配置到控制所述GUI，以及

所述显示器被重新配置为在所述第一显示面板中呈现来自所述第一软件应用程序的可视内容并且在所述第二显示面板中呈现来自所述第二软件应用程序的可视内容。

6.根据权利要求1所述的系统，其中，所述手持UID被配置为响应于所述用户输入而选择性地控制所述GUI。

7.根据权利要求1所述的系统，其中，所述手持UID包括用于使所述机器人外科器械在适当的位置暂停的离合器机构，其中，所述用户输入接合所述离合器机构以促使所述机器人外科器械在适当的位置暂停。

8.根据权利要求1所述的系统，其中，所述第二软件应用程序是图像查看器应用程序、手术模板应用程序、电话会议应用程序和定时器应用程序中的一者。

9.根据权利要求1所述的系统，其中，呈现的内容中的至少一些被镜像到第二显示器上。

Images