CN113905683B - 用于基于用户的注视来确定是否应脱离远程操作的方法 - Google Patents

Abstract

本发明公开了一种用于脱离外科机器人系统的外科器械的方法，该方法包括从眼睛跟踪器接收注视输入；由一个或多个处理器确定注视输入是指示用户的注视在显示器的外部还是内部；响应于确定注视输入指示用户的注视在显示器的外部，确定用户的注视在显示器的外部的时间量；响应于确定用户的注视在显示器的外部达小于最大时间量，使外科机器人系统暂停远程操作模式；以及响应于确定用户的注视在显示器的外部达超过最大时间量，使外科机器人系统脱离远程操作模式。

Description

用于基于用户的注视来确定是否应脱离远程操作的方法

背景技术

技术领域

本发明公开了涉及外科机器人系统的实施方案。更具体地，本发明公开了涉及外科机器人系统及用于基于用户的注视来确定是否应脱离外科机器人系统的远程操作模式的对应方法的实施方案。

背景技术

内窥镜式外科手术涉及使用内窥镜和其他外科工具检查患者的身体内部并且在体内执行手术。例如，腹腔镜式外科手术可使用腹腔镜进入并观察腹腔。可使用手动工具和/或具有机器人辅助工具的外科机器人系统执行内窥镜式外科手术。

外科医生可远程操作外科机器人系统以指挥位于手术台的机器人辅助工具。外科医生远程地对机器人辅助工具进行的这种操作通常可称为远程操作或远程操作模式。例如，外科医生可使用位于手术室中的计算机控制台(或其可位于不同城市)指挥机器人操纵安装在手术台上的外科工具。机器人控制的外科工具可以是安装在外科机器人臂上的内窥镜。因此，远程外科医生可使用外科机器人系统来执行内窥镜式外科手术。

外科医生可向外科机器人系统提供输入命令，并且外科机器人系统的一个或多个处理器可响应于所述输入命令而控制系统部件。例如，外科医生可手持用户输入装置诸如操纵杆或计算机鼠标，她操纵该用户输入装置以生成控制信号，从而促使外科机器人系统部件(例如，机器人系统的致动器、外科机器人臂和/或外科工具)运动。

发明内容

对于具有用户可查看其周围环境(与潜望镜式显示器相比)的开放式显示器的远程操作外科机器人系统而言，有可能外科医生从屏幕移开注视但仍手持控制机器人工具的用户输入装置(UlD)。这会带来风险，因为外科医生可能在未聚焦于屏幕时移动UlD并且无意地移动工具。本公开描述了用于基于用户的注视来确定是应暂停还是脱离远程操作模式的方法。例如，该系统包括附接到三维(3D)显示器的眼睛跟踪器，该眼睛跟踪器可检测外科医生的注视是否在屏幕外，并且一旦外科医生被确定为移开注视，就可暂停远程操作。如果满足附加条件(诸如在移开注视或移开注视的时间长于预先确定的时间时移动UlD)，可脱离远程操作。如果脱离了远程操作，则该系统可被配置成要求外科医生在回头看屏幕时主动地再次接合。如果仅暂停远程操作，则该系统可被配置成允许外科医生在回头看屏幕时立即控制工具，而不需要任何另外的动作。

在一些方面，该方法可包括本文所称的注视在屏幕外操作和注视-远程操作联锁操作。注视在屏幕外操作可确定用户的注视是否在屏幕外。注视-远程操作联锁可基于注视在屏幕外操作的结果来确定何时应暂停远程操作以及何时应部分地脱离远程操作。例如，在注视在屏幕外操作中，该系统基于眼睛跟踪器所收集的注视数据来确定用户是否看着屏幕。代表性地，基于眼睛跟踪器所收集的数据，注视在屏幕外操作确定用户看着屏幕(并因此远程操作模式可继续或被接合)或用户的注视在屏幕外(并因此远程操作模式应被暂停或脱离)的概率。可在注视在屏幕外操作中评估的示例性数据和/或信息可包括以下几项：

(1)如果两只眼睛均无效(例如，未被跟踪器检测到)或如果两只眼睛均有效(例如，被跟踪器检测到)但它们的所计算屏幕点之间的距离太大，则用户可能未看着屏幕的概率增加；

(2)如果至少一只眼睛有效并且在内部(例如，在显示器的边界内)，则这指示跟踪器确定至少一只眼睛看向内部。用户未看着屏幕的概率减小和/或较低，或换句话讲，用户看着屏幕的概率被确定为较高；

(3)如果两只眼睛均有效且在外部或一只眼睛有效且在外部，则这指示跟踪器确定没有眼睛看向内部并且至少一只眼睛看向外部。用户未看着屏幕的概率增加和/或较高，或换句话讲，用户看着屏幕的概率减小和/或较低。

在另一个实施方案中，示例性注视在屏幕外操作可包括以下几项：

(1)确定注视落点是注视还是扫视(例如，注视点之间的快速移动)。这针对左注视落点和右注视落点进行；

(2)如果至少一只眼睛正在注视且在内部，则在屏幕上的概率增加。

(3)如果至少一只眼睛正在注视且在外部，则在屏幕外的概率增加。

(4)如果两只眼睛均在扫视，则在屏幕外的概率增加。

用于基于注视在屏幕外分析来确定是否应脱离、暂停和/或接合远程操作模式的示例性注视-远程操作联锁场景如下：(1)如果用户因超过一次眨眼或快速扫视而移开注视，则暂停远程操作，并且当用户回头看屏幕时，她/他可立即控制工具；(2)如果用户移开注视达显著的时间量或用户在移开注视时将远程操作控制器(UID)移动显著的量，则脱离远程操作模式。一旦脱离，用户就需要主动地再次接合以控制工具。

代表性地，在一个方面，本发明涉及一种用于脱离外科机器人系统的外科器械的方法。该方法可包括从眼睛跟踪器接收注视输入，该眼睛跟踪器跟踪用户相对于显示器的注视,该显示器与外科机器人系统相关联；以及由通信地耦合到眼睛跟踪器的一个或多个处理器确定注视输入是指示用户的注视在显示器的外部还是内部。响应于确定注视输入指示用户的注视在显示器的外部，该方法确定用户的注视在显示器的外部的时间量。响应于确定用户的注视在显示器的外部达小于最大时间量，该方法可使外科机器人系统暂停远程操作模式，使得防止外科机器人系统的用户界面装置控制外科器械直到接收到指示用户的注视在显示器的内部的注视输入。另外，响应于确定用户的注视在显示器的外部达超过最大时间量，该方法可包括使外科机器人系统脱离远程操作模式，使得防止用户界面装置控制外科器械直到接收到主动接合输入。另外，确定注视输入指示用户的注视在显示器的外部可包括接收有效注视输入，该有效注视输入指示用户的两只眼睛的注视均被眼睛跟踪器检测到；以及确定两只眼睛的注视之间的距离在与显示器的尺寸相关联的最大距离之外。更进一步地，确定注视输入指示用户的注视在显示器的外部的方面可包括接收无效注视输入，该无效注视输入指示用户的至少一只眼睛的注视无法被眼睛跟踪器检测到；以及确定至少一只眼睛的注视路径或注视位置正朝向显示器的边界移动。此外，确定注视输入指示用户的注视在显示器的外部的方面可包括从与外科机器人系统相关联的头部跟踪器接收头部位置输入；以及基于头部位置输入来确定用户的鼻部未面向显示器或用户的面部无法检测。另外，确定用户的注视在显示器的内部可包括接收有效注视输入，该有效注视输入指示用户的至少一只眼睛的注视被眼睛跟踪器检测到；以及确定注视的位置在显示器内。该方法还可包括从外科机器人系统的用户界面装置接收移动输入；以及响应于在暂停外科机器人系统时接收到移动输入，脱离外科机器人系统。在一些方面，主动接合输入指示用户面向显示器，外科手术椅处于特定取向，或用户界面装置处于特定取向。在一些方面，最大时间量可超过100毫秒。

在另一个方面，一种外科机器人系统。该外科机器人系统可包括外科器械；用户控制台，该用户控制台包括显示器、用于跟踪用户相对于显示器的注视的眼睛跟踪器和用户界面装置；和一个或多个处理器，该一个或多个处理器通信地耦合到外科器械和用户控制台。该处理器可被配置成：从眼睛跟踪器接收注视输入；基于注视输入来确定用户的注视是在显示器的外部还是内部；以及在用户注视在显示器的外部时使外科机器人系统暂停和/或脱离远程操作模式，使得防止用户界面装置控制外科器械。显示器可以是包括屏幕和围绕屏幕的框架的开放式显示器。用户界面装置可以是相对于用户控制台机械不接地的便携式手持用户输入装置。该系统还可包括头部跟踪器，并且确定用户的注视是在显示器的外部还是内部基于来自头部跟踪器的头部位置输入。另外，当用户的两只眼睛的注视均被眼睛跟踪器检测到；并且两只眼睛的注视之间的距离在与显示器的尺寸相关联的最大距离之外时，用户的注视可被确定为在显示器的外部。在一些方面，当用户的至少一只眼睛的注视无法被眼睛跟踪器检测到；并且至少一只眼睛的注视路径或注视位置正朝向显示器的边界移动时，用户的注视被确定为在显示器的外部。在其他方面，当来自与外科机器人系统相关联的头部跟踪器的头部位置输入指示用户的鼻部未面向显示器或用户的面部无法检测时，用户的注视被确定为在显示器的外部。更进一步地，当用户的至少一只眼睛的注视被眼睛跟踪器检测到；并且注视的位置在显示器内时，用户的注视被确定为在显示器的内部。在一些方面，该系统还包括用户界面装置运动传感器，并且当检测到大于最大平移的用户界面装置的运动时，使外科机器人系统暂停和/或脱离远程操作模式。在一些方面，响应于确定用户的注视在显示器的外部达小于最大时间量，使外科机器人系统暂停远程操作模式，使得防止外科机器人系统的用户界面装置控制外科器械直到接收到指示用户的注视在显示器的内部的注视输入。在一些方面，最大时间量可超过100毫秒。响应于确定用户的注视在显示器的外部达超过最大时间量，可使外科机器人系统脱离远程操作模式，使得防止用户界面装置控制外科器械直到接收到主动接合输入。

以上发明内容不包括本发明的所有方面的详尽列表。可以设想到，本发明包括可利用上面概述的各个方面以及下面的具体实施方式中公开的并且随本申请一同提交的权利要求中特别指出的那些方面的所有合适组合来实践的所有系统和方法。此类组合具有以上发明内容中未具体叙述的特定优点。

附图说明

本发明的实施方案以举例的方式而非限制的方式在附图的图中示出，在附图中，类似的附图标记是指类似的元件。应当注意，本公开中提及的本发明的“一个”或“一种”实施方案不一定是指相同的实施方案，而是它们意指至少一个。另外，为了简洁和减少图的总数，可使用给定的图来示出本发明的超过一个实施方案的特征，而对于给定的实施方案，可能不需要图中的所有元件。

图1是根据实施方案的手术场所中的示例性外科机器人系统的绘画视图。

图2是根据实施方案的显示器和注视跟踪器的绘画视图。

图3是根据实施方案的用于基于用户注视来脱离远程操作模式的示例性操作的框图。

图4是根据实施方案的用于确定用户注视是否在显示器的外部的示例性操作的框图。

图5是根据实施方案的用于确定用户注视是否在显示器的外部的示例性操作的绘画视图。

图6是根据实施方案的用于确定用户注视是否在显示器的外部的示例性操作的绘画视图。

图7是根据实施方案的外科机器人系统的计算机部分的框图。

具体实施方式

在各种实施方案中，参考附图进行描述。然而，可在没有这些具体细节中的一个或多个具体细节的情况下或者在与其他已知的方法和构型组合的情况下实践某些实施方案。在以下描述中，阐述了许多具体细节，诸如具体构型、尺寸和过程，以便提供对实施方案的全面理解。在其他情况下，没有特别详细地描述熟知的过程和制造技术，以避免不必要地模糊该描述。本说明书通篇提及的“一个实施方案”、“实施方案”等意指所述的特定特征、结构、构型或特性包括在至少一个实施方案中。因此，在整个说明书中各处出现的短语“一个实施方案”、“实施方案”等不一定是指同一实施方案。此外，在一个或多个实施方案中，特定特征、结构、构型或特性可以以任何合适的方式组合。

另外，本文所用的术语只是为了描述特定方面的目的，并非旨在对本发明进行限制。为便于描述，本文可使用空间相关的术语诸如“下面”、“下方”、“下部”、“上方”、“上部”等来描述附图中所示的一个元件或特征与另一个元件或特征的关系。应当理解，空间相关的术语旨在在使用或操作中涵盖除附图中所描绘的取向之外的装置的不同取向。例如，如果附图中的装置被翻转，则被描述为在其他元件或特征“下方”或“下面”的元件将被取向成在其他元件或特征“上方”。因此，示例性术语“下方”可涵盖上方和下方的取向。装置可以另外地取向(例如，旋转90度或处于其他取向)，并且本文中使用的空间相关描述词相应地进行解释。

如本文所用，除非上下文另有说明，否则单数形式“一个”、“一种”和“该”也包括复数形式。还应当理解，术语“包括”和/或“包含”指定所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或其组的存在或添加。

如本文所用，术语“或”和“和/或”应被解释为包含性的或意指任何一个或任何组合。因此，“A、B或C”或“A、B和/或C”意指“以下的任何一者：A；B；C；A和B；A和C；B和C；A、B和C。”仅当元件、功能、步骤或动作的组合以某种方式固有地相互排斥时，才会出现该定义的例外。

此外，整个描述中对相对术语的使用可以表示相对位置或方向。例如，“远侧”可指示远离参考点(例如，远离用户)的第一方向。类似地，“近侧”可指示处于与第一方向相反的第二方向(例如，朝向用户)的位置。然而，提供此类术语是为了建立相对参照系，并非旨在将任何特定外科机器人部件的使用或取向限于以下各种实施方案中描述的具体构型。

参见图1，这是手术场所中的示例性外科机器人系统100的绘画视图。外科机器人系统100包括用户控制台102、控制塔103以及外科机器人平台105(例如，手术台、床等)处的一个或多个外科机器人120(包括机器人臂104)。系统100可结合用于对患者106执行外科手术的任何数量的装置、工具或附件。例如，系统100可包括用于执行外科手术的一个或多个外科工具107。外科工具107可以是附接到外科臂104的远侧端部的端部执行器，用于执行外科规程。

每个外科工具107可在外科手术期间手动操纵、机器人操纵或两者兼有。例如，外科工具107可以是用于进入、查看或操纵患者106的内部解剖结构的工具。在一个实施方案中，外科工具107为可抓紧患者的组织的抓紧器。外科工具107可由床边操作者108手动控制；或者其可经由其所附接的外科机器人臂104的致动移动而由机器人控制。机器人臂104被示出为台上安装系统，但是在其他构型中，臂104可安装在手推车、天花板或侧壁中，或者安装在另一个合适的结构支撑件中。

一般来讲，远程操作者109(诸如外科医生或其他操作者)可使用用户控制台102远程操纵臂104和/或所附接的外科工具107，例如远程操作或远程操作模式。用户控制台102可位于与系统100的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台102可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台102可包括座椅110、脚动控制件113、一个或多个手持用户输入装置(UID)114以及至少一个用户显示器115，该用户显示器被配置成显示例如患者106体内的手术部位的视图。在示例性用户控制台102中，远程操作者109坐在座椅110中并查看用户显示器115，同时操纵脚动控制件113和手持式UID 114，以便远程控制臂104和外科工具107(其安装在臂104的远侧端部上)。

在一些变型中，床边操作者108还可以以“床上”模式操作系统100，其中床边操作者108(用户)现在位于患者106的一侧并且同时操纵机器人驱动的工具(附接到臂104的端部执行器)，例如，用一只手握持手持式UID 114和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者108可对患者106执行机器人辅助微创手术和手动腹腔镜手术两者。

在示例性规程(外科手术)期间，以无菌方式对患者106进行准备并盖布以实现麻醉。可在机器人系统100的臂处于收起构型或缩回构型时手动地执行对手术部位的初始接近(以便于接近手术部位)。一旦完成接近，就可进行机器人系统100(包括其臂104)的初始定位或准备。接下来，由远程操作者109在用户控制台102处继续进行该外科手术，该远程操作者利用脚动控制件113和UID 114操纵各种端部执行器并可能操纵成像系统，以执行该外科手术。还可由穿着无菌手术服的床边人员(例如，床边操作者108)在手术床或台处提供手动辅助，该床边操作者可执行诸如牵开组织、执行手动重新定位以及在一个或多个机器人臂104上更换工具之类的任务。非无菌人员也可在场以在用户控制台102处辅助远程操作者109。当完成规程或外科手术时，系统100和用户控制台102可被配置或设置为处于便于进行术后规程(诸如清洁或消毒)和经由用户控制台102的医疗记录输入或打印输出的状态。

在一个实施方案中，远程操作者109手持并移动UID 114以提供输入命令，从而移动机器人系统100中的机器人臂致动器117。UID 114可例如经由控制台计算机系统116通信地耦合到机器人系统100的其余部分。代表性地，在一些实施方案中，UID 114可以是相对于外科机器人系统的另一个部件不接地的便携式手持用户输入装置或控制器。例如，UID 114可在栓系用户控制台或从用户控制台解下时不接地。术语“不接地”旨在指代例如两个UID既不在机械上也不在动力学上相对于用户控制台受到约束的具体实施。例如，用户可手持UID 114并且自由地移动到仅由例如用户控制台102的跟踪机构限制的空间内的任何可能位置和取向。UID 114可生成对应于UID 114的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器117的运动的输入信号。机器人系统100可使用源自空间状态信号的控制信号来控制致动器117的成比例运动。在一个实施方案中，控制台计算机系统116的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器117如何通电以移动臂104的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 114的移动。类似地，远程操作者109与UID 114之间的交互可生成例如抓持控制信号，该抓持控制信号导致外科工具107的抓紧器的钳口闭合并抓持患者106的组织。

外科机器人系统100可包括若干UID 114，其中为每个UID生成控制相应臂104的致动器和外科工具(端部执行器)的相应控制信号。例如，远程操作者109可移动第一UID 114以控制位于左机器人臂中的致动器117的运动，其中致动器通过移动臂104中的连杆、齿轮等来响应。类似地，远程操作者109对第二UID 114的移动控制另一个致动器117的运动，这继而移动机器人系统100的其他连杆、齿轮等。机器人系统100可包括位于患者的右侧的固定到床或台的右臂104，以及位于患者的左侧的左臂104。致动器117可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂104的接合部的旋转，以例如相对于患者改变附接到该臂的外科工具107的内窥镜或抓紧器的取向。同一臂104中的若干致动器117的运动可由从特定UID 114生成的空间状态信号控制。UID 114还可控制相应外科工具抓紧器的运动。例如，每个UID 114可生成相应的抓持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具107的远侧端部处打开或闭合抓紧器的钳口以抓持患者106体内的组织。

在一些方面，平台105和用户控制台102之间的通信可通过控制塔103，该控制塔可将从用户控制台102(并且更具体地从控制台计算机系统116)接收的用户命令转换成传输到机器人平台105上的臂104的机器人控制命令。控制塔103还可将状态和反馈从平台105传输回用户控制台102。可使用各种数据通信协议中的任何合适的数据通信协议经由有线和/或无线链路通信连接机器人平台105、用户控制台102和控制塔103。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统100可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。应当理解，图1中的手术室场景是示例性的并且可能无法准确表示某些医疗实践。

另外，在一些方面，外科机器人系统100还可包括用于跟踪用户(例如，远程操作者109)的特性的跟踪部件118。所跟踪的特性继而可由系统100用来自动地控制外科机器人系统的操作。例如，在用户使用UID 114控制外科工具107的外科机器人系统100的远程操作模式期间，用户应在显示器115上查看工具移动。然而，在一些情况下，用户可能从显示器115移开注视(有意地或无意地)，同时仍手持UID 114并控制外科工具107。这会带来风险，因为用户可能在未聚焦于显示器115时移动UID 114，继而无意地移动工具107。因此外科机器人系统100还可包括跟踪用户的特性的跟踪部件118，该特性可用于确定用户是聚焦于显示器115，继而有意地操作UID 114和相关联的工具107，还是未聚焦于显示器，使得应脱离远程操作模式或系统应转变为非远程操作模式。例如，在一个方面，跟踪部件118可以是眼睛跟踪器，其可基于用户的注视来检测用户是从显示器移开注视还是以其他方式看向显示器的外部。如果确定用户注视在显示器的外部，并因此用户可从显示器移开注视，则该系统可自动地暂停远程操作模式以使得暂时防止用户使用UID 114移动外科工具107。例如，可暂停远程操作模式直到跟踪部件118检测到注视在显示器的内部，并因此用户回头看显示器。另外，跟踪部件118可用于检测用户的附加特性，如果除了检测到用户移开注视之外还检测到所述附加特性，则这会引起外科机器人系统脱离远程操作模式。例如，如果确定用户注视在显示器的外部并且进一步确定用户注视在显示器的外部达超过最大时间量，则该系统可自动地脱离远程操作模式。另外，如果确定注视在显示器的外部并且UID 114正在移动，则该系统可自动地脱离远程操作模式。

应当理解，“暂停”远程操作模式旨在指代与“脱离”远程操作模式不同的且具有不同结果的系统操作。具体地讲，暂停远程操作模式可以是在该系统确定用户可能短暂地从显示器移开注视(例如，以伸手去取另一个系统部件，重新调节其位置等)但另外存在用户大体专注并聚焦于外科操作或规程的高概率时发生的操作。在该方面，该系统确定只需要暂时防止UID 114控制工具107，并且远程操作模式被暂停，但未被脱离或未被完全转变到远程操作模式之外。另外，由于用户原本与该系统接合并且发生非预期动作的风险很小，因此对该系统的相对较少输入可取消暂停远程操作模式。例如，如果引起该系统暂停远程操作模式的输入是用户注视在显示器的外部达不超过最大时间段的确定或检测，则取消暂停远程操作模式所需的输入可以是用户注视再一次在显示器的内部的确定或检测。

另一方面，“脱离”远程操作模式旨在指代在确定存在用户不专注或聚焦于外科操作或规程的高概率，因此不宜继续处于远程操作模式时发生的操作。因此脱离远程操作模式是更持久的操作，其防止UID 114控制工具107直到发生清楚地指示用户现已专注或聚焦于该操作的有意动作或动作序列以及对重新接合远程操作模式的期望。例如，如先前所讨论，当该系统确定用户注视在显示器的外部达超过最大时间段或在显示器的外部外加UID的移动的检测时，可脱离远程操作模式。此类动作表明了用户未聚焦于手边的规程的高概率，并且可能不宜继续处于远程操作模式。因此该系统将自动地脱离远程操作模式以使得UID 114无法控制工具107。为了重新接合远程操作模式，清楚地指示用户聚焦于控制该系统的有意动作或动作序列是必要的。例如，指示用户聚焦于该操作的动作可以是用户面向显示器，用户的椅子处于特定取向，UID处于特定取向等。

另外，应当注意，术语“开放式显示器”旨在指代这样的显示器，该显示器被设计为即使直接面向显示器，也允许用户例如利用其周边视觉看到显示器的外部。另外，在开放式显示器中，用户可与显示屏相距一定距离，或不在显示器的正前方，并且仍在显示器上查看外科规程。因此，在如本文所公开的开放式显示器系统中，用户可不接近显示器或其面部不在显示器的正前方的事实不一定被解释为用户分心或没有集中足够的注意力继续外科规程。就用户可转动其头部并且仍可使用其周边视觉查看显示器的开放式显示器而言，因此重要的是轻微转动头部不被视为将自动地脱离远程操作模式的特性。相反，如本文所公开的开放式架构或显示器外科机器人系统具有对此类动作的一些容差并且允许用户继续控制外科工具。这与封闭式架构系统截然不同，该封闭式架构系统包括例如具有完全沉浸式显示器的潜望镜，其在用户面向显示器时防止用户看到显示屏的外部并且要求用户相对地接近显示屏。例如，就潜望镜而言，用户必须让他们的面部相对地接近显示屏并且面向显示屏以使用其查看进行中的外科规程。如果用户从显示屏扭转他们的头部或不面向显示屏，则他们不能再看到显示屏，因此这通常被解释为意指用户分心或没有集中足够的注意力继续外科规程。

现在参见图2，图2示出了示例性显示与跟踪部件的侧面绘画视图。代表性地，显示器115可包括跟踪部件118，该跟踪部件以一定方式耦合到显示器115，使得其可跟踪用户的特性。例如，在一个实施方案中，跟踪部件118是眼睛跟踪器，其可操作以跟踪用户相对于显示器115的注视。在该方面，跟踪部件118可附接到适用于跟踪用户109的注视的显示器115的任何部分或集成在适用于跟踪用户109的注视的显示器115的任何部分内。例如，跟踪部件118可附接到显示器115的外壳202，例如外壳202的顶壁、底壁或侧壁，或集成在安装于显示器115的外壳202内的屏幕(未示出)内。跟踪部件118可包括面向用户并且可用于跟踪用户的注视的一个或多个投影仪和相机。代表性地，投影仪可创建用户的眼睛上的近红外光的图案，并且相机可拍摄用户的眼睛和该图案的图像。跟踪部件118可进一步被编程为使用该信息(例如，执行机器学习、图像处理和/或数学算法)基于用户的每只眼睛的位置和/或相对于彼此和显示器115的注视落点或位置来确定用户看向何处。例如，当用户109定位在显示器115的前方(如图2所示)时，跟踪部件118可被配置成在用户的头部在跟踪器118的预先确定的感测范围204内时创建用户的眼睛上的近红外光的图案并且拍摄用户的眼睛和该图案的图像。该信息继而可由外科机器人系统处理部件用来确定用户109的注视206是处于显示器115内部还是外部的注视落点208，用户的注视是朝向显示器115还是从该显示器移开，以及是要暂停还是脱离远程操作模式。

代表性地，在一个方面，外科机器人系统实现用于基于用户的注视来确定是应暂停还是脱离远程操作模式的双重过程。例如，该过程一般可包括用于确定用户的注视是朝向显示器还是从显示器移开(在一些实施方案中也称为注视在屏幕外操作)的第一操作序列。该过程还可包括用于部分地基于注视在屏幕外操作的结果和用户的注视在显示器上/外的概率来确定何时应暂停远程操作模式以及何时应脱离远程操作的第二操作序列。第二操作序列在一些实施方案中可称为注视-远程操作联锁操作，因为其可包括在暂停或脱离远程操作模式时可考虑的一个或多个联锁(例如，确定用户是否聚焦于远程操作的条件)。

现在更详细参见注视在屏幕外操作，该操作可用于通过评估眼睛跟踪器所收集的注视数据来确定用户看着显示器或从显示器移开注视的概率或可能性。还应当注意，注视在屏幕外操作可被配置成丢弃眨眼，并且适用于具有例如不同眼睛解剖结构、未戴眼镜、戴着眼镜和/或隐形眼镜的不同用户。眼睛跟踪器在该操作期间收集的数据可被视为“有效的”(意指一只/两只眼睛被眼睛跟踪器检测到)或“无效的”(意指一只/两只眼睛未被眼睛跟踪器检测到)。例如，眼睛跟踪器被编程为在预先确定的感测或注视范围内检测用户注视和/或注视落点，该预先确定的感测或注视范围可例如基于显示器的尺寸(具有显示器外部的一些容差范围)来确定。当眼睛跟踪器无法在该预先确定的感测或注视范围内识别或检测用户一只或两只眼睛的注视或瞳孔时，其生成无效信号。例如，当用户的头部转动使得用户的一只或两只眼睛与显示器成一定角度或用户正在眨眼时，眼睛跟踪器可能不能够识别或检测用户的瞳孔或注视，并且生成无效信号。另外，如果检测到两只眼睛，但两只眼睛之间的注视落点异常大或在其他方面与典型用户注视不一致，则眼睛跟踪器可生成无效信号。另一方面，当眼睛跟踪器可检测到一只或两只眼睛和/或两只眼睛之间的注视落点正常或在其他方面与典型用户注视一致时，眼睛跟踪器可生成有效信号。

然后基于所接收的有效信号和/或无效信号来确定用户注视在屏幕上或在屏幕外的概率或可能性。例如，如果眼睛跟踪器确定两只眼睛均无效或两只眼睛均有效，但对应注视落点的所计算屏幕点之间的距离太大，则这表明在眨眼，跟踪器不能看见眼睛或两只眼睛的不一致性。在此类情况下，注视在屏幕外的概率增加并且注视在屏幕上的概率减小。另外，如果至少一只眼睛有效，并且注视在显示器的内部，则注视在屏幕上的概率增加并且注视在屏幕外的概率减小。此外，如果两只眼睛均有效，并且两只眼睛的注视均在显示器的内部，则注视在屏幕外操作确定注视在屏幕上并且注视在屏幕上的概率增加得甚至更多。另一方面，如果两只眼睛均有效并且在显示器的外部，或一只眼睛有效并且在显示器的外部，则这表明两只眼睛均看向显示器的外部或至少一只眼睛看向显示器的外部，因此注视在屏幕外的概率较高。

另外，为了避免因例如来自眨眼、斜视或不准确注视数据的注视损失所引起的误报，注视在屏幕外操作还可考虑检测到无效信号的时间量、在无效信号之前检测到的注视落点或注视路径、头部和/或面部的位置和/或取向，和/或跟踪眼球位置。基于所收集的所有数据，权衡用户的注视在屏幕外的概率或可能性与用户的注视在屏幕上的概率以评估继续远程操作模式的风险和对进一步动作(例如，暂停或脱离远程操作模式)的需要。

具体地讲，注视-远程操作联锁操作可至少部分地基于注视在屏幕外操作的结果来确定是要暂停还是脱离远程操作。例如，当接收到数据并使用该数据通过注视-远程操作联锁操作来评估用户的注视是朝向显示器还是从显示器移开，继而是应暂停(例如，用户的注视朝向显示器的概率>用户的注视从显示器移开的概率)还是脱离(例如，用户的注视从显示器移开的概率>用户的注视朝向显示器的概率)远程操作时，即可对注视在屏幕上概率和注视在屏幕外概率彼此进行权衡。此外，在如本文所设想的开放式架构系统中，用户与工作人员之间的交互是预期的并且该系统应在一定程度上支持该行为。为此，当注视在屏幕外操作确定用户的注视在屏幕外时，注视-远程操作联锁操作确定用户是否因超过一次眨眼或快速扫视而移开注视，如果是这样，则引起该系统暂停远程操作模式。当确定用户回头看显示器(例如，检测到有效信号)时，取消暂停远程操作，并且用户可立即控制这些工具。另一方面，如果用户移开注视达显著的时间量，或用户在移开注视时将UID移动显著的量，则注视-远程操作联锁操作确定用户不宜继续操作该工具并且引起该系统脱离远程操作。

现在将参考图3至图6更详细地讨论用于确定用户注视是在显示器115的内部还是外部，用户的注视是朝向显示器还是从显示器移开和/或是要暂停还是脱离远程操作模式的示例性过程。

代表性地，现在参见图3，图3示出了用于基于用户注视来脱离远程操作模式的示例性过程的框图。具体地讲，过程300可包括接收注视输入的初始操作(框302)。注视输入可以是跟踪部件118(更具体地，如先前所讨论的眼睛跟踪部件)所检测到的用户注视、注视落点和/或注视位置信息。然后使用该信息来确定用户注视是在显示器的外部还是内部(框304)。将参考图4更详细地讨论用于基于该信息来确定用户注视是在显示器的外部还是内部的过程。

现在返回图3，如果确定用户注视在显示器的内部，则远程操作模式继续(框306)。然而，如果在操作304处确定用户注视在显示器的外部，则暂停远程操作模式(框308)。如先前所讨论，远程操作模式的暂停暂时防止UID 114控制工具107直到例如检测到反向操作。在该方面，跟踪部件118可继续例如每10至20毫秒检查一次用户注视，以确定用户注视是否在显示器的外部达超过最大时间量(框310)。如果其未在显示器的外部达超过最大时间量，换句话讲，在已经过最大时间量之前检测到显示器的内部的用户注视，则过程300返回到操作306并且将自动地取消暂停远程操作模式以使得用户可继续远程操作模式并且使用UID来控制该器械。最大时间量可以是例如人眨眼所用的时间量。例如，普通眨眼可持续100毫秒至300毫秒，因此最大时间量可为100毫秒、200毫秒、300毫秒。在再另外的实施方案中，最大时间量可对应于被确定为不宜继续该系统的操作的时间量。例如，最大时间量可为约5秒或更多。

另一方面，如果用户注视被确定为在显示器的外部达超过最大时间量(例如，超过100毫秒、超过200毫秒、超过300毫秒或超过5秒)，则可脱离远程操作模式(框314)。另外，在一些情况下，过程300还可检测UID运动输入，并且使用该运动输入与该注视输入的组合来确定是否要脱离远程操作模式。代表性地，过程300可包括使用与该系统相关联的UID运动传感器来检测UID的运动并且确定该运动输入是否大于最大平移的另外操作(框312)。如果该UID运动输入不大于最大平移，则远程操作模式可保持暂停。如果该UID运动输入大于最大平移，则脱离远程操作模式(框314)。“最大平移”可指例如在用户未看着显示器时可发生的UID的最大可接受运动范围。例如，UID的相对较小移动(诸如在用户手持UID时调节其手部和/或腕部位置的时候将发生的移动)将被视为可接受范围。另选地，UID的相对较大移动(诸如在用户进行UID的无意移动或掉落UID时将发生的移动)将大于UID的最大可接受运动范围并且引起该系统脱离远程操作。一旦脱离远程操作模式，过程300就确定是否接收到主动接合输入(框316)。如果接收到主动接合输入，则过程300将返回到操作306并且可重新接合远程操作模式以使得远程操作模式可继续。如果未接收到主动接合输入，则过程300将保持脱离远程操作模式直到接收到主动接合输入。如先前所讨论，主动接合输入可以是指示用户重新接合远程操作模式(例如，使用UID 114来控制器械107)的期望的有意动作或动作序列。例如，指示用户聚焦于该操作的动作可以是用户面向显示器，用户的椅子处于特定取向，UID处于特定取向等。

图4是根据实施方案的用于确定用户注视是否在显示器的外部的示例性操作的框图。过程400可包括接收注视输入的初始操作(框402)，这类似于过程300的操作框302。然后使用过程400的其余操作来确定用户的注视是在显示器的外部还是内部(例如，过程300的操作框304)。代表性地，一旦接收到注视输入(框402)，就确定注视输入是有效还是无效(框404)，如先前所讨论。

如果接收到有效注视输入，则过程400继续到操作406以确定是否两只眼睛均有效。如果两只眼睛均有效，则过程400继续到操作410，在该操作中分析两只眼睛的注视落点之间的距离以确定其是否大于最大距离。最大距离可以是被视为在看着显示器的正常用户注视的范围内的用户每只眼睛的注视落点之间的距离。图5中示出了每只眼睛的注视落点之间的示例性最大距离。代表性地，图5示出了显示器115，该显示器包括屏幕502和屏幕502周围的框架504。左眼的注视落点或位置由点508示出，并且右眼的注视落点或位置由点510示出。注视落点508、510之间的距离的测量值由线512示出。如果两只眼睛的注视落点之间的该距离512不大于最大距离，则用户注视被视为与用户看着显示器一致，并且确定用户注视在显示器的内部(框412)。另一方面，如果两只眼睛的注视落点之间的距离512大于最大距离，则注视不与用户看着显示器一致，并且确定用户注视在显示器的外部(框414)。

如果两只眼睛并非都无效(例如，一只眼睛无效并且一只眼睛有效)，则操作400继续到操作框416，在该操作框中确定至少一只有效眼睛的注视落点或位置是否在显示器的尺寸的外部。例如，如先前参考图5所讨论，显示器115可包括屏幕502和屏幕502周围的框架504，使得显示器的尺寸对应于至少与围绕屏幕的框架一样大的面积或区域。在一些情况下，显示器的尺寸可延伸到框架外部的一定距离，从而考虑用户的周边视觉。包括框架外部的该容差范围在内的显示器的尺寸由虚线506示出。换句话讲，注视落点或位置可略微在框架的外部(例如，在范围506内)但用户的周边视觉将允许用户仍看见屏幕，因此用户注视落点或注视位置、继而用户注视仍将被视为在显示器的尺寸的内部(或在显示器的内部)。另选地，如果注视落点或注视位置在范围506的外部，则注视落点或注视位置、继而用户注视被视为在显示器的尺寸的外部(或在显示器的外部)。如果至少一只有效眼睛的注视位置未被确定为在显示器的尺寸506的外部，则过程400继续到操作框412并且确定用户注视在显示器的内部。然而，如果一只有效眼睛的注视落点或位置在显示器的尺寸的外部，则过程在操作框414处确定用户注视在显示器的外部。

另一方面，如果在操作框404处接收到无效注视输入，则过程400继续到操作框408以确定是否两只眼睛均无效。如果两只眼睛并非都无效(例如，一只眼睛无效并且一只眼睛有效)，则操作400继续到操作框416，在该操作框中确定至少一只有效眼睛的用户注视、注视落点或位置是否在显示器的尺寸的外部，如先前所讨论。

另一方面，如果在操作框408处确定两只眼睛均无效，则过程400继续到操作框418，在该操作框中确定两只眼睛是否无效达超过最大时间量。最大时间量可以是例如普通眨眼持续的时间量。例如，最大时间量可为100毫秒、200毫秒或300毫秒。在一些情况下，最大时间量可为约5秒。如果两只眼睛并未无效达超过最大时间量(例如，在100毫秒、200毫秒或300毫秒或更少时间内接收到有效输入)，则过程确定用户正在眨眼(框422)。眨眼被看成好像用户仍看着屏幕，因此过程400返回到操作框402并且继续注视输入分析。

另一方面，如果两只眼睛无效达超过最大时间量(例如，超过100毫秒、超过200毫秒或超过300毫秒)，则无效信号不太可能因例如用户眨眼、斜视、不准确的数据等引起。相反，更可能的情况是用户从显示器移开注视。为了确认可排除眨眼，过程400可进一步在操作框420处评估用户的最后注视位置或注视路径、头部位置/取向和/或眼球位置。

代表性地，图6示出了用于评估用户的最后注视落点或位置或注视路径的一个示例性操作。最后注视落点或位置在图6中被示出为点510并且注视路径被示出为虚线602。如果在接收到无效信号之前注视落点510和注视路径602被眼睛跟踪器检测为朝向显示器的边界506移动，则这表明用户正远离显示器转动其头部并且可用于排除眨眼、斜视和/或不准确的数据。另选地，如果在接收到无效信号之前注视落点510固定，则这表明用户未远离显示器转动其头部并且仍存在无效信号因用户眨眼、斜视和/或不准确的数据而引起的可能性。

在一些情况下，例如在从注视位置/路径信息中还不完全清楚无效输入是否是因用户眨眼或从显示器移开注视而引起的情况下，可进一步在操作420中接收和考虑头部位置/取向输入。可例如从跟踪用户的头部位置和/或面部的跟踪部件接收头部位置输入。例如，跟踪部件118可以是或还可以包括头部跟踪器，该头部跟踪器具有可用于检测用户的鼻部何时指向显示器的类似跟踪部件(例如，投影仪和相机)。跟踪器可进一步跟踪用户的面部并且指示面部何时不再可见。例如，如果接收到指示用户的面部不再可见或不与显示器对准(例如，用户的鼻部不面向显示器)的头部位置输入，则过程400确认可排除眨眼。更进一步地，在一些情况下，作为头部跟踪的替代或补充，跟踪部件可跟踪眼球位置，并且用于区分从显示器移开注视和眨眼。例如，跟踪部件可跟踪最后检测到的眼球位置是固定，还是朝向显示器的边界506移动，以区分眨眼和从显示器移开注视。

然而，操作420是任选的，因此在一些情况下，省略操作420并且过程400从操作框418进行到操作框414，在操作框414中推断出注视在显示器的外部。

现在参见图7，图7是根据实施方案的外科机器人系统的计算机部分的框图，该外科机器人系统可操作以实现先前所讨论的操作。示例性外科机器人系统700可包括用户控制台102、控制塔103和外科机器人120。外科机器人系统700可包括其他硬件部件或附加的硬件部件；因此，以示例的方式提供该图，而并非是对系统架构的限制。

如上所述，用户控制台102可包括控制台计算机711、一个或多个UID712、控制台致动器713、显示器714、UID跟踪器715、脚踏开关716和网络接口728。坐在用户控制台102处的用户或外科医生可以手动调整用户控制台102的人体工程学设置，或者可以根据用户配置文件或用户偏好自动调整该设置。可通过基于用户输入或控制台计算机711存储的配置来驱动控制台致动器713来实现手动调整和自动调整。用户可通过使用一个或多个主UID 712和脚踏开关716控制外科机器人120来执行机器人辅助的外科手术。UID 712的位置和取向由UID跟踪器715连续跟踪，并且状态变化由控制台计算机711记录以作为用户输入并经由网络接口718调度到控制塔103。可在高分辨率3D显示器714(包括开放式显示器或沉浸式显示器)上向用户呈现患者解剖结构、器械和相关软件应用程序的实时外科手术视频。

用户控制台102可通信地耦合到控制塔103。用户控制台还提供用于改善人体工程学的附加功能。例如，用户控制台可以是包括开放式显示器的开放式架构系统，但在一些情况下可以提供沉浸式显示器。此外，在用户控制台102处包括高度可调节的外科医生座椅以及通过电磁跟踪器或光学跟踪器跟踪的主UID，以用于改善人体工程学。

另外，如先前所讨论，用户控制台可包括用于跟踪用户的特性的跟踪部件，该特性继而可用于在用户的注视在预先确定的时间段内未专注于开放式显示器上的手术部位时防止工具意外运动，例如，通过暂停或脱离远程操作。代表性地，用户控制台102可包括注视跟踪器710，该注视跟踪器跟踪用户的注视以确定是要暂停还是脱离远程操作模式，如先前参考图3和图4所讨论。另外，注视跟踪器710可包括可进一步用于确定是要暂停还是脱离如先前所讨论的远程操作模式的头部跟踪、眼球跟踪和/或外科部件跟踪机构。

控制塔103可以是容纳触摸屏显示器的移动现场护理推车、控制外科医生通过机器人辅助操纵器械的计算机、安全系统、图形用户界面(GUI)、光源以及视频计算机和图形计算机。如图7所示，控制塔103可包括中央计算机731(至少包括可视化计算机)、控制计算机和辅助计算机、各种显示器733(包括团队显示器和护士显示器)以及将控制塔103耦合到用户控制台102和外科机器人120两者的网络接口728。控制塔103可提供附加功能以实现用户便捷性，诸如护士显示器触摸屏、软电源和E保持按钮、用于视频和静止图像的面向用户的USB、以及电子铸造机控制接口。辅助计算机还可运行实时Linux，从而提供日志记录/监测以及与基于云的web服务的交互。

外科机器人120可包括具有多个集成臂722的铰接式手术台724，多个集成臂可定位在目标患者解剖结构上方。可将一组兼容工具723附接到/拆卸离开臂722的远侧端部，使得外科医生能够进行各种外科手术。外科机器人120还可包括用于手动控制臂722的控制接口725、台724和工具723。该控制接口可包括诸如但不限于遥控器、按钮、面板和触摸屏等物品。可能还需要其他附件诸如套管针(套管、密封药筒和填塞器)和盖布，以使用系统执行手术。在一些变型中，多个臂722包括安装在手术台724的两侧上的四个臂，其中每侧上具有两个臂。对于特定的外科手术，安装在台的一侧上的臂可以通过在台和安装在另一侧上的臂下方拉伸和交叉而定位在台的另一侧上，从而总共三个臂定位在台724的相同侧上。外科工具还可包括台计算机721和网络接口728，该网络接口可将外科机器人120放置在与控制塔103通信的位置。

在前述说明书中，已参考本发明的具体示例性实施方案描述了本发明。显而易见的是，在不脱离如以下权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图将被视为示例性的而非限制性的。

Claims (18)

1.一种用于脱离外科机器人系统的外科器械的方法，所述方法包括：

从眼睛跟踪器接收注视输入，所述眼睛跟踪器跟踪用户相对于显示器的注视,所述显示器与所述外科机器人系统相关联；

由通信地耦合到所述眼睛跟踪器的一个或多个处理器确定所述注视输入是指示所述用户的所述注视在所述显示器的外部还是内部，其中确定所述注视输入指示所述用户的所述注视在所述显示器的外部包括：

接收无效注视输入，所述无效注视输入指示所述用户的至少一只眼睛的注视无法被所述眼睛跟踪器检测到；以及

确定所述至少一只眼睛的注视路径或注视位置正朝向所述显示器的边界移动；

响应于确定所述注视输入指示所述用户的所述注视在所述显示器的外部，确定所述用户的所述注视在所述显示器的外部的时间量；

响应于确定所述用户的所述注视在所述显示器的外部达小于最大时间量，使所述外科机器人系统暂停远程操作模式，使得防止所述外科机器人系统的用户界面装置控制所述外科器械直到接收到指示所述用户的所述注视在所述显示器的内部的注视输入；以及

响应于确定所述用户的所述注视在所述显示器的外部达超过最大时间量，使所述外科机器人系统脱离所述远程操作模式，使得防止所述用户界面装置控制所述外科器械直到接收到主动接合输入。

2.根据权利要求1所述的方法，其中，确定所述注视输入指示所述用户的所述注视在所述显示器的外部还包括：

接收有效注视输入，所述有效注视输入指示所述用户的两只眼睛的注视均被所述眼睛跟踪器检测到；以及

确定两只眼睛的所述注视之间的距离在与所述显示器的尺寸相关联的最大距离之外。

3.根据权利要求1所述的方法，其中，确定所述注视输入指示所述用户的所述注视在所述显示器的外部还包括：

从与所述外科机器人系统相关联的头部跟踪器接收头部位置输入；以及

基于所述头部位置输入来确定所述用户的鼻部未面向所述显示器或所述用户的面部无法检测。

4.根据权利要求1所述的方法，其中，确定所述用户的所述注视在所述显示器的内部包括：

接收有效注视输入，所述有效注视输入指示所述用户的至少一只眼睛的注视被所述眼睛跟踪器检测到；以及

确定所述注视的位置在所述显示器内。

5.根据权利要求1所述的方法，所述方法还包括：

从所述外科机器人系统的所述用户界面装置接收移动输入；以及

响应于在暂停所述外科机器人系统时接收到所述移动输入，脱离所述外科机器人系统。

6.根据权利要求1所述的方法，其中所述主动接合输入指示用户面向所述显示器，外科手术椅处于特定取向，或所述用户界面装置处于特定取向。

7.根据权利要求1所述的方法，其中所述最大时间量超过100毫秒。

8.一种外科机器人系统，包括：

外科器械；

用户控制台，所述用户控制台包括显示器、用于跟踪用户相对于所述显示器的注视的眼睛跟踪器和用户界面装置；和

一个或多个处理器，所述一个或多个处理器通信地耦合到所述外科器械和所述用户控制台，所述处理器被配置成：

从所述眼睛跟踪器接收注视输入；

基于所述注视输入来确定所述用户的所述注视是在所述显示器的外部还是内部，其中当所述用户的至少一只眼睛的注视无法被所述眼睛跟踪器检测到；并且所述至少一只眼睛的注视路径或注视位置正朝向所述显示器的边界移动时，所述用户的所述注视被确定为在所述显示器的外部；以及

在所述用户注视在所述显示器的外部时使所述外科机器人系统暂停和/或脱离远程操作模式，使得防止所述用户界面装置控制所述外科器械。

9.根据权利要求8所述的外科机器人系统，其中，所述显示器是包括屏幕和围绕所述屏幕的框架的开放式显示器。

10.根据权利要求8所述的外科机器人系统，其中，所述用户界面装置是相对于所述用户控制台机械不接地的便携式手持用户输入装置。

11.根据权利要求8所述的外科机器人系统，所述外科机器人系统还包括头部跟踪器，并且其中确定所述用户的所述注视是在所述显示器的外部还是内部基于来自所述头部跟踪器的头部位置输入。

12.根据权利要求8所述的外科机器人系统，其中，当所述用户的两只眼睛的注视均被所述眼睛跟踪器检测到；并且两只眼睛的所述注视之间的距离在与所述显示器的尺寸相关联的最大距离之外时，所述用户的所述注视进一步被确定为在所述显示器的外部。

13.根据权利要求8所述的外科机器人系统，其中，当来自与所述外科机器人系统相关联的头部跟踪器的头部位置输入指示所述用户的鼻部未面向所述显示器或所述用户的面部无法检测时，所述用户的所述注视进一步被确定为在所述显示器的外部。

14.根据权利要求8所述的外科机器人系统，其中，当所述用户的至少一只眼睛的注视被所述眼睛跟踪器检测到；并且所述注视的位置在所述显示器内时，所述用户的所述注视被确定为在所述显示器的内部。

15.根据权利要求8所述的外科机器人系统，所述外科机器人系统还包括用户界面装置运动传感器，并且其中当检测到大于最大平移的所述用户界面装置的运动时，使所述外科机器人系统暂停和/或脱离远程操作模式。

16.根据权利要求8所述的外科机器人系统，其中，响应于确定所述用户的所述注视在所述显示器的外部达小于最大时间量，使所述外科机器人系统暂停远程操作模式，使得防止所述外科机器人系统的用户界面装置控制所述外科器械直到接收到指示所述用户的所述注视在所述显示器的内部的注视输入。

17.根据权利要求16所述的外科机器人系统，其中，所述最大时间量超过100毫秒。

18.根据权利要求8所述的外科机器人系统，其中，响应于确定所述用户的所述注视在所述显示器的外部达超过最大时间量，使所述外科机器人系统脱离所述远程操作模式，使得防止所述用户界面装置控制所述外科器械直到接收到主动接合输入。