CN110402120B - 用于控制手术机器人的控制系统 - Google Patents

Abstract

一种用于通过远离手术机器人的手术医生控制台控制手术机器人的系统，该系统被配置为：接收与多个器械相关联的一个或多个状态信号，多个器械中的每一个可附接到手术机器人，一个或多个状态信号指示多个器械中的每一个供手术医生控制台控制的可选择性以及来自模式组的对多个器械中的每一个的控制模式，模式组包括操纵模式和选择模式，在操纵模式中，多个器械的器械可由手术医生控制台控制，在选择模式中，多个器械的器械可由手术医生控制台选择以供控制；根据接收到的一个或多个状态信号来确定用于显示的图标的图形布置，并且输出显示信号以使图标的图形布置显示，其中，每个图标表示多个器械中的相应一个；接收指示模式改变为选择模式的模式改变信号；响应于接收到的模式改变信号，来修改图标的图形布置，以允许识别多个器械中的可选器械；从手术医生控制台接收指示选择可选器械中的一个的选择信号；响应于接收到的选择信号，来修改图标的图形布置，以允许识别所选器械；并且使得手术医生控制台能够控制所选器械。

Description

用于控制手术机器人的控制系统

技术领域

本发明涉及用于控制诸如手术机器人之类的机器人的控制系统。

背景技术

机器人通常用于一系列工业任务，并且还用于执行手术。机器人可以纯粹在程序控制下操作，或者它们可以被配置为对实时来自用户界面的输入进行响应。在最复杂和关键的任务(诸如手术)中，对于机器人而言，在操作者的实时命令下操作是正常的。为此，向操作者呈现合适的输入设备。这通常是可以由操作者三维移动的物理机构。机器人的控制系统感测输入设备的配置。控制系统被编程为使机器人手臂/操纵器响应于感测到的控制机构的配置而移动。另外，对于机器人而言，向用户呈现机器人状态的视觉指示是正常的，以有助于操作者理解实现特定任务所需的输入。视觉指示可以是由机器人手臂上或附近的相机捕获的并在显示屏上呈现给操作者的视频流。

机器人可以包括多个手臂。每个手臂可以在其远端具有器械，该器械可以由操作者操作以执行期望的任务。

在存在多于一个手臂的情况下，机器人可以向操作者指示正在控制哪个手臂。例如，对于两个手臂，机器人可以向操作者指示哪个手臂由操作者的左手(即，通过左手控制器)控制并且哪个手臂由操作者的右手控件(即，通过右手控制器)。一种这样做的方式是使机器人在显示器上显示由操作者操作的器械的图像。图像可以显示在显示器的左侧或右侧，以指示它是由左手还是右手(或左或右输入设备)控制。

在某些情况下，操作者将需要将其注意力从视频流上转移开，以检查手臂或器械的状态并且何时尝试改变他们控制的哪个器械。这可能意味着操作者当时没有给予视频流足够的注意力。这可能在控制机器人时出现操作者错误的风险。

需要一种改进的控制系统。

发明内容

根据本发明的一方面，提供了一种用于通过远离手术机器人的手术医生控制台来控制手术机器人的控制系统，控制系统被配置为：接收与多个器械相关联的一个或多个状态信号，多个器械中的每一个可附接到手术机器人，一个或多个状态信号指示多个器械中的每一个供手术医生控制台控制的可选择性以及来自模式组的对多个器械中的每一个的控制模式，模式组包括操纵模式和选择模式，在操纵模式中，多个器械的器械可由手术医生控制台控制，在选择模式中，多个器械的器械可由手术医生控制台选择以供控制；根据接收到的一个或多个状态信号来确定用于显示的图标的图形布置，并且输出显示信号以使图标的图形布置显示，其中，每个图标表示多个器械中的相应一个；接收指示模式改变为选择模式的模式改变信号；响应于接收到的模式改变信号，来修改图标的图形布置，以允许识别多个器械中的可选器械；从手术医生控制台接收指示选择可选器械中的一个的选择信号；响应于接收到的选择信号，来修改图标的图形布置，以允许识别所选器械；并且使得手术医生控制台能够控制所选器械。

合适地，图标的图形布置包括：列表区域，在列表区域中，使得表示多个器械中的一个的图标在模式改变为选择模式之前被显示，以及选择区域，在选择区域中，使得表示多个器械中的可选器械的图标以选择模式被显示；列表区域和选择区域至少部分不重叠。

图标的图形布置包括用于显示手术部位的图像的图像区域，图像区域朝向图标的图形布置的中心设置，并且其中，选择区域设置为至少部分地与图像区域重叠。合适地，列表区域设置在图标的图形布置的周边或者朝向周边设置。合适地，列表区域至少部分地不与图像区域重叠。

合适地，列表区域包括新器械区域，在新器械区域中，使得表示新添加的器械的图标被显示，新器械区域设置为至少部分地与图像区域重叠。

合适地，控制系统被配置为响应于接收到模式改变信号，而使得表示可选器械的图标迁移到选择区域，以指示相应的器械是可选的。合适地，控制系统被配置为使得迁移为连续迁移。

合适地，控制系统被配置为从手术医生控制台和手术机器人中的至少一个接收模式改变信号。合适地，控制系统被配置为响应于接收到模式改变信号，而从操纵模式和设定模式中的一个改变为选择模式，在设定模式中，多个器械中的器械设定成用于可操作地耦接到手术医生控制台。

合适地，控制系统被配置为从手术医生控制台的多个输入设备中的每一个接收输入信号，图标的图形布置包括多个选择区域，其中，每个输入设备与多个选择区域中的相应一个相关联，控制系统被配置为响应于接收到模式改变信号，而使得表示可由每个输入设备选择的器械的图标显示在用于该输入设备的相应的选择区域中。

合适地，允许识别可选器械的图标的图形布置的修改包括下列项中的一个或多个：改变图标的颜色，改变图标的大小，改变图标的背景，将图标从二维图标改变为三维图标，将图标从三维图标改变为二维图标，使图标闪烁，和使图标以修改频率闪烁。

合适地，控制系统被配置为从手术部位接收表示图像的图像信号，并且使得图像显示在图像区域中，显示图像包括手术部位处的器械的器械图像，并且控制系统被配置为响应于接收到模式改变信号而修改器械图像。

合适地，控制系统被配置为通过将图形叠加在图像区域上、修改叠加在图像区域上的图形和去除叠加在图像区域上的图形中的至少一个，来修改器械图像。

合适地，控制系统被配置为修改器械图像以对应于允许识别可选器械的图标的图形布置的修改。

合适地，列表区域、选择区域和新器械区域中的至少一个包括围绕其周边的至少一部分的边界，并且控制系统被配置为响应于接收到模式改变信号而修改边界，以允许识别模式的改变。

合适地，控制系统包括运动学控制器，运动学控制器被配置为根据与多个器械相关联的一个或多个状态信号来确定界面状态，界面状态包括与用于显示的图标的图形布置相关联的数据。

合适地，控制系统包括视觉处理器，视觉处理器被配置为从运动学控制器接收界面状态并且渲染用于显示的图标的图形布置，运动学控制器能够以比视觉处理器更高的频率操作。

合适地，图标的图形布置的图标包括图标集群。

根据本发明的另一方面，提供了一种用于通过远离手术机器人的手术医生控制台来控制手术机器人的方法，方法包括以下步骤：接收与多个器械相关联的一个或多个状态信号，多个器械中的每一个可附接到手术机器人，一个或多个状态信号指示多个器械的每一个供手术医生控制台控制的可选择性以及来自模式组的对多个器械中的每一个的控制模式，模式组包括操纵模式和选择模式，在操纵模式中，多个器械的器械可由手术医生控制台控制，在选择模式中，多个器械的器械可由手术医生控制台选择以供控制；根据接收到的一个或多个状态信号来确定用于显示的图标的图形布置，并且输出显示信号以使图标的图形布置显示，其中，每个图标表示多个器械中的相应一个；接收指示模式改变为选择模式的模式改变信号；响应于接收到的模式改变信号，来修改图标的图形布置，以允许识别多个器械中的可选器械；从手术医生控制台接收指示选择可选器械中的一个的选择信号；响应于接收到的选择信号，来修改图标的图形布置，以允许识别所选器械；以及使得手术医生控制台能够控制所选器械。

根据本发明的另一方面，提供了一种用于实现如本文所定义的方法的机器可读代码。

以上任何方面的任何一个或多个特征可以与以上任何其它方面的任何一个或多个特征组合。在任何可能的情况下，任何设备特征都可以被写为方法特征，反之亦然。仅为了简洁起见，这些并未完全写出。

提供该发明内容是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。该发明内容中的特征的提及并不指示它们是本发明或所要求保护的主题的关键特征或基本特征，也不应视为限制所要求保护的主题的范围。

附图说明

现在将参照附图仅以示例的方式描述本发明。在附图中：

图1图示了手术机器人手臂；

图2图示了与图1的手臂一起使用的器械；

图3A图示了机器人手术系统的示意图；

图3B图示了使用机器人手术系统的示例方法；

图4图示了手术医生控制台；

图5图示了手术机器人；

图6图示了示出图标的图形布置的显示器的示例；

图7图示了示出图标的图形布置的显示器的另一个示例；

图8图示了示出图标的图形布置的显示器的另一个示例；

图9示意性地图示了基于计算的设备；

图10图示了示出图标的图形布置的显示器的另一个示例；

图11图示了示出图标的图形布置的显示器的另一个示例；

图12图示了示出图标的图形布置的显示器的另一个示例；

图13图示了示出图标的图形布置的显示器的另一个示例；并且

图14图示了示出图标的图形布置的显示器的另一个示例。

具体实施方式

以下描述在手术机器人系统的背景下描述了本技术，尽管下述特征不限于这样的系统，而是更一般地适用于机器人系统。

机器人系统可以包括诸如车辆制造系统等的制造系统、零件处理系统、实验室系统以及诸如用于危险材料等的操纵器或手术操纵器。

图1图示了手术机器人，其具有从基座101延伸的手臂100。手臂包括多个刚性肢状件102。肢状件由旋转关节103耦接。最近端肢状件102a由近端关节103a耦接到基座。最近端肢状件和其它肢状件由其它关节103串联耦接。合适地，腕部104由四个单独的旋转关节构成。腕部104将一个肢状件(102b)耦接到臂的最远端肢状件(102c)。最远端肢状件102c承载用于手术器械106的附接件105。手臂的每个关节103具有一个或多个马达107以及一个或多个位置和/或扭矩传感器108，一个或多个马达107可以操作以引起相应的关节处的旋转运动，一个或多个位置和/或扭矩传感器108提供关于该关节处的当前配置和/或负载的信息。合适地，马达布置在运动由马达驱动的关节的近端，以便改进重量分布。为清楚起见，图1中仅图示了一些马达和传感器。手臂一般地可以如我们的共同未决专利申请PCT/GB2014/053523(公布为WO/2015/132549)中所述。

手臂终止于附接件105中以与器械106交接。合适地，器械106采用针对图2所述的形式。图2图示了用于执行机器人腹腔镜手术的典型手术器械200。手术器械包括基座201，手术器械通过基座201耦接到机器人手臂。轴202在基座201和铰接件203之间延伸。铰接件203终止于末端执行器204。在图2中，一对锯齿状的钳部被示为末端执行器204。铰接件203允许末端执行器204相对于轴202移动。期望通过铰接件为末端执行器204的运动提供至少两个自由度。

器械具有小于8mm的直径。合适地，器械具有5mm的直径。器械可以具有小于5mm的直径。器械直径可以是轴的直径。器械直径可以是铰接件的轮廓的直径。合适地，铰接件的轮廓的直径匹配于或者窄于轴的直径。附接件105包括用于驱动器械的铰接件的驱动组件。

器械106包括用于执行操作的末端执行器。末端执行器可以采用任何合适的形式。例如，末端执行器可以是平滑的钳部、锯齿状的钳部、夹持器、一对剪刀、用于缝合的针、相机、激光器、刀、吻合器、烧灼器、抽吸器。如针对图2所述，器械包括器械轴和末端执行器之间的铰接件。铰接件包括允许末端执行器相对于器械的轴移动的若干关节。

用于马达、扭矩传感器和编码器的控制器分布在机器人手臂内。控制器经由通信总线耦接到控制单元109。控制单元109包括处理器110和存储器111。存储器111以非瞬态方式存储软件，软件可由处理器执行以控制马达107的操作，从而使手臂100操作。特别地，软件可以控制处理器110以使马达(例如经由分布式控制器)根据来自传感器108和来自手术医生命令界面112的输入来驱动。控制单元109耦接到马达107以用于根据执行软件所生成的输出来驱动它们。控制单元109耦接到传感器108以用于从传感器接收感应输入，并且耦接到命令界面112以用于从命令界面接收输入。各个耦接件例如可以各自为电缆或光缆，或者可以通过无线耦接来提供。命令界面112包括一个或多个输入设备，由此用户可以以期望的方式请求末端执行器的运动。输入设备或输入控制器可以是例如可手动操作的机械输入设备(诸如控制手柄或操纵杆等)、可触摸操作的输入器(诸如触摸屏)或者非接触式输入设备(诸如光学手势传感器或语音传感器)。输入设备可以监视眼睛运动以接收输入。输入设备可以是例如这些类型的输入设备的某种组合。由输入设备输入的命令可以包括移动命令，以便例如以特定方式移动器械，诸如横向移动和/或旋转。这样的命令可以包括末端执行器命令，以便例如控制耦接到器械的远端的末端执行器，从而操作末端执行器，诸如打开/关闭夹持器钳部或者操作(打开或关闭)电手术末端执行器。

合适地，用户控制台(诸如手术医生控制台)包括命令界面112。合适地，用户控制台包括两个输入设备。

输入设备可以与左手控件和右手控件之一相关联。合适地，在存在多个输入设备的情况下，输入设备中的一个与左手控件相关联，而输入设备中的另一个与右手控件相关联。换句话说，输入设备的一个可以被配置为由用户的右手操作(右手控件，其合适地朝向用户控制台的右手侧设置)，并且输入设备中的另一个可以被配置为由用户的左手操作(左手控件，其合适地朝向用户控制台的左手侧设置)。

存储在存储器111中的软件被配置为对那些输入进行响应并且按照预定的控制策略使得手臂的关节和器械相应地移动。控制策略可以包括安全特征，其响应于命令输入而缓和手臂和器械的运动。因此，总之，合适地包括命令界面112的手术医生控制台处的手术医生可以控制器械106以执行期望的手术过程的方式移动。控制单元109和/或命令界面112可以远离手臂100。

现在将参照图3A描述机器人手术系统的示意图。机器人手术系统300包括手术机器人，手术机器人包括多个机器人手臂302、多个(通常是两个)输入设备304、显示设备306(诸如屏幕)和控制系统308。控制系统308合适地包括控制单元109。控制系统308可以包括多个处理器。控制系统合适地包括运动学控制器310和视觉处理器312。机器人手臂302在其远端设置有手术器械和/或其它器具320，诸如夹持器、切割器、烧灼器、针、成像设备(例如诸如内窥镜之类的相机)等。机器人手臂302、输入设备304和屏幕306可操作地耦接到控制系统308。控制系统308对从手术医生控制台(诸如从输入设备304)、机器人手臂302和器械320接收的信号进行响应，并且可以将信号提供给机器人手臂302、器械320和屏幕306。控制系统308从手术医生控制台接收信号，并且处理信号，以便输出用于驱动机器人手臂302中的一个或多个和/或器械320中的一个或多个的驱动信号。驱动信号由控制系统发送到相应的机器人手臂302和器械320。

合适地，成像设备被配置为输出图像信号。合适地，图像信号包括图像。图像信号合适地包括视频信号。

虽然以上描述涉及单个屏幕作为显示设备，但是在一些示例中，机器人手术系统包括多个显示设备或屏幕。屏幕被合适地配置为将图像显示为二维图像和/或三维图像。屏幕可以设置在单个用户控制台上，或者两个或更多个控制台各自可以包括至少一个屏幕。这允许附加的观察屏幕，其能够用于允许除控制台用户之外的人观察手术部位，例如用于训练，和/或用于供手术室中的其它人观察。

图4中图示了诸如手术医生控制台400之类的用户控制台的示例性示意图。诸如手术医生之类的用户可以经由手术医生控制台400处的输入设备304来控制机器人手臂302和耦接到机器人手臂302的器械320，并且可以根据期望操纵机器人手臂和/或器械。如图4所示，手术医生控制台400包括非接触式输入设备410，其包括手势传感器(诸如光学手势传感器)和语音传感器中的至少一个。手术医生控制台400包括触摸屏输入设备420。附加地或替代地，显示器306可以包括触摸屏输入。手术医生控制台400包括可用脚操作的输入设备430，诸如脚踏板。图4中图示了设备410、420、430中的每一种中的一个，但是将理解，在其它示例中可以提供这些设备的任何数量的任何组合。并非需要在所有示例中提供所有的输入设备或所有类型的输入设备。

操纵器械320包括操纵或操作器械的末端执行器。换句话说，打开或关闭末端执行器的钳部或者激活或停用诸如烧灼器之类的电手术工具。

合适地，机器人手臂302和/或器械320被配置为向控制系统308发送信号。在一些示例中，该信号包括一个或多个状态信号。在一些示例中，该信号包括指示相应的机器人手臂302或器械320的位置和/或取向的位置和/或取向信号。该信号可以包括指示相应的机器人手臂302和器械320中的一个或两个上的力的一个或多个力信号。

在前文中，机器人系统可以被配置为通过有线连接发送和接收信号。合适地，机器人系统包括一个或多个无线收发器，以无线地发射和/或接收信号。这允许减小通过机器人系统的有线连接的需要。合适地，机器人系统被配置为通过无线和/或有线信号发送和/或接收信号。

合适地，输入设备304和机器人手臂302中的至少一个包括第一无线发射器、第一无线接收器和/或第一无线收发器。合适地，控制系统包括第二无线发射器、第二无线接收器和/或第二无线收发器，以用于与第一无线接收器、第一无线发射器和/或第一无线收发器中的相应一个通信。合适地，器械320包括第一无线发射器、第一无线接收器和/或第一无线收发器中的相应一个。

用户可能远离手臂302和器械320，因此可能无法直接看到它们。器械320可以嵌入手术部位内，从而防止直接观看。图5图示了这种装置的示例。图5图示了典型的手术机器人500，其由基座508、手臂502和器械505组成。基座支撑机器人，并且自身刚性地附接到例如手术室地板、手术室天花板或手推车。手臂在基座和器械之间延伸。手臂沿其长度通过多个柔性关节503铰接，柔性关节503用于将手术器械相对于患者定位在期望位置处。手术器械附接到机器人手臂的远端504。手术器械在端口507处穿透患者501的身体，以便访问手术部位。在其远端，器械包括用于参与医疗过程的末端执行器506。

虽然图5图示了具有单个器械的单个手臂，但是实际上将使用多个手臂和器械。一个手臂耦接到提供表示手术部位的图像信号的成像设备。例如，成像设备可以是内窥镜。内窥镜可以从手术部位提供图像馈送，诸如视频流。由成像设备提供的图像使得用户能够例如经由显示设备306看到手术部位处的末端执行器。这使得机器人手术系统300的用户或操作者(诸如手术医生)能够实现对器械的控制，以实现手术。

在许多手术过程中，用户期望能够从两个或更多个器械320中进行选择。例如，输入设备304可用于控制多个器械320。输入设备304在耦接到一个器械时可用于控制该一个器械，并且在耦接到另一个器械时可用于控制该另一个器械。换句话说，输入设备304可用于控制与其可操作地耦接的器械320。输入设备和器械之间的耦接是可变的。一个器械可以由多个输入设备控制。器械可耦接到一个输入设备，以允许由该一个输入设备控制器械。一旦与该一个输入设备解耦，则器械就可耦接到另一个输入设备，以允许由该另一个输入设备控制器械。多于一个器械320可以与单个输入设备304可操作地相关联。

一般地，手术医生控制台可操作地耦接到一个或多个器械，以允许或使得手术医生控制台控制器械。合适地，手术医生控制台可操作地耦接到多个器械，以便能够一次控制多于一个器械。例如，手术医生控制台可以可操作地耦接到三个或更多个器械，并且可以使得一次控制这些器械中的两个。在其它示例中，可以一次控制更多个器械。手术医生控制台例如可以使得一次控制两个手术工具和内窥镜。

器械或多个器械与一个或多个状态信号相关联。在一个示例中，每个器械被配置为输出相应的状态信号。一个或多个状态信号可以包括指示多个器械的状态的信号。一个或多个状态信号可以包括指示单个器械的状态的信号。控制系统308被配置为接收一个或多个状态信号(参照图3B，其在350处图示了方法步骤)。

一个或多个状态信号指示器械或多个器械中的每一个的可选择性，以供手术医生控制台控制。这意味着控制系统能够确定该器械或每个器械的可选择性(步骤352)。在一个示例中，一个或多个状态信号可以指示器械耦接到手术机器人且能够从控制系统接收命令(诸如经由控制系统来自手术医生控制台的命令)，并且可以指示器械能够相应地对这些命令进行响应。

在一些示例中，器械的状态包括器械识别、器械的电源状态(诸如电池和/或另一组件的内部电源状态)或者电动工具(诸如烧灼器)的电源状态中的至少一个。合适地，在器械的状态指示电动工具不能供电的情况下，控制系统不能选择该器械。

器械的状态可以包括器械的温度或器械的一部分的温度。合适地，在器械的状态指示温度在操作范围之外(例如器械可能已经过热)的情况下，控制系统不能选择该器械。温度的操作范围合适地是预定的和/或是用户可选的。

器械的状态合适地包括器械之前使用的次数或器械的使用时间(诸如累积时间)、该器械剩余的使用次数和/或该器械的剩余寿命。合适地，在器械的状态指示不应再使用器械(例如由于它已经超过预定使用次数或预定使用时间(诸如累积时间))的情况下，控制系统不能选择该器械。

器械的状态合适地包括故障状况。故障状况合适地指示在手臂和/或器械的操作中发生故障。故障可以是现在的或者是过去的。也就是说，导致故障的情况可能正在进行，或者其可能已经停止。例如，手臂和/或器械可以经受高于阈值力的力。高于阈值力的力可以指示已经发生了或可能已经发生了线缆拉伸。故障状况可以指示手臂和/或器械正在经受高于阈值力的力。故障状况可以指示手臂和/或器械在其历史上(即，在过去(例如从耦接到系统起)的某个时间点)经受了高于阈值力的力。

合适地，控制系统被配置为根据一个或多个状态信号，来确定器械是否可选。

器械的状态可以包括器械的配置，其包括关节状态信号和末端执行器信号中的一个或多个。关节状态信号合适地指示关节的取向和/或扭矩、和/或关节上的力。末端执行器信号合适地指示器械的末端执行器的取向和/或配置(诸如夹持器的钳部是打开还是关闭)和/或末端执行器上的力。

在一些示例中，多个器械中的至少一个器械被配置为输出一个或多个状态信号。合适地，至少一个器械被配置为根据器械或多个器械的状态输出一个或多个状态信号。器械的状态可以包括末端执行器的布置(其中，末端执行器可移动)。换句话说，在末端执行器是夹持器的情况下，器械的状态可以包括夹持器的状态：无论其打开、关闭还是处于某个中间配置。例如，器械的状态包括夹持器的钳部的分离角度。合适地，在末端执行器包括单独的元件(诸如钳部)的情况下，可以单独地控制单独的元件。例如，一对钳部中的每一个都是可以被独立控制的。合适地，器械的状态包括每个单独的元件(诸如钳部)的状态。在末端执行器包括电手术工具的情况下，器械的状态合适地包括电手术工具的激活状态(例如工具是否被电激活、未被电激活)和/或其它相关信息(诸如工具的温度)(注意，在电激活之后，工具的温度将在给定的时间段内保持升高)。合适地，器械的状态包括电手术工具是处于“切割”模式还是处于“凝固”模式的指示。

合适地，该器械或每个器械包括一个或多个传感器，以确定器械状态的至少一部分。至少一个器械被合适地配置为将一个或多个状态信号发送到控制系统。

在一些示例中，一个或多个状态信号包括兼容性信号，该兼容性信号指示器械与手术医生控制台和/或手术机器人的兼容性。兼容性信号可以用于验证器械与外科医生控制台和/或手术机器人是兼容的，并且根据确定器械是兼容的，允许器械可由控制系统选择。

器械可以由器械耦接或安装到手术机器人的手术医生控制台选择以供控制。在器械经历了任何一个或多个必要的后耦接检查(诸如软件初始化程序、设定检查、配置检查等)、重新插入端口并且向手术部位推进时，器械可以由手术医生控制台选择。在耦接到手术机器人时可能无法立即选择器械。在优选的示例中，后耦接检查合适地花费少于30秒来完成，并且优选地花费少于20秒来完成，例如它们可以花费少于10秒来完成。

器械与控制模式相关联。控制模式指示器械的控制或操作模式。合适地，存在包括多个控制模式的模式组。

该模式组包括操纵模式，在操纵模式中，器械可由手术医生控制台控制。当器械可操作地耦接到手术医生控制台时，器械可由手术医生控制台控制。合适地，在操纵模式中，在手术医生控制台处输入的输入命令(诸如来自输入设备的信号)使得实现对器械的控制。例如，输入设备处的用于使器械横向移动的输入信号可以使控制系统向手术机器人输出控制信号，从而使相应的器械经历相应的横向移动。在操纵模式中，控制系统将手术医生控制台可操作地耦接到器械。

该模式组包括选择模式，在选择模式中，器械可以由手术医生控制台选择以供控制。合适地，在选择模式中，多个器械可以由手术医生控制台选择以供控制。

一个或多个状态信号指示来自该模式组的对器械或多个器械中的每一个的控制模式，该模式组包括操纵模式和选择模式。这意味着控制系统能够确定器械处于哪种控制模式。合适地，控制系统被配置为确定多个器械中的每一个的控制模式(步骤354)。

在手术医生控制台处，合适地向用户指示关联或耦接。这可以通过显示设备306。合适地，控制系统308被配置为使显示设备显示器械的图形表示，以便允许用户尤其识别哪些器械耦接到系统、这些器械中的哪个/哪些可供手术医生控制台400控制、这些器械中的哪个/哪些当前由手术医生控制台选择(或者哪些器械当前由提供两个或更多个输入设备的手术医生控制台选择)以及器械是否处于操纵模式(其中，器械能够由手术医生控制台操纵或控制)或者器械是否处于选择模式(其中，器械能够由手术医生控制台选择以供控制)。合适地，控制系统308被配置为使显示设备显示器械的图形表示，以便允许用户在操纵模式中识别哪个或哪些器械可由手术医生控制台控制。合适地，控制系统308被配置为使显示设备显示器械的图形表示，以便允许用户在选择模式中识别手术医生控制台可选择哪个或哪些器械。

控制系统308被配置为根据接收的一个或多个状态信号，来确定用于显示的图标的图形布置(步骤356)。每个图标表示多个器械中的相应一个。例如，第一图标表示第一器械、第二图标表示第二器械。类似地，一个或多个其它图标表示相应的一个或多个其它器械。控制系统308被配置为输出显示信号以使图标的图形布置被显示。

在手术医生控制台400包括多于一个输入设备的情况下，控制系统308被合适地配置为使显示设备306示出图标的图形布置，以便允许用户识别哪个或哪些器械可由输入设备中的一个控制。例如，在提供左手输入设备和右手输入设备的情况下，控制系统可以指示器械中的哪一个可由左手输入设备选择以及器械中的哪一个可由右手输入设备选择。

合适地，该图标或每个图标包括图像、象形图和表意文字中的至少一个。合适地，控制系统被配置为使图标包括图像、象形图和表意文字中的至少一个。图标可以是二维或三维的。图标合适地包括器械的末端执行器的表示。图标可以包括器械和/或末端执行器的静态表示。图标可以包括器械和/或末端执行器的动态表示。动态表示的示例是在器械和/或末端执行器本身在图像馈送中示出时，以相同的取向示出的一个示例。由于其能随时间改变，因此这是动态表示。

合适地，图标被着色以匹配末端执行器、器械和安装该器械的机器人手臂中的至少一个的颜色。器械合适地包括从末端执行器(或从与末端执行器耦接的铰接件)延伸到器械的基座的轴。末端执行器可以插入手术部位。器械的基座耦接到机器人手臂。因此，基座未处于手术部位。器械的轴从外部延伸到手术部位、进入患者并且朝向手术部位。因此，器械的不同部分可以以不同方式可见。例如，器械的基座将直接对手术室(OR)工作人员可见。OR工作人员也将可以直接看到器械轴的位于患者体外的一部分。末端执行器(当在患者体内的手术部位时)将不会直接可见，但是可以经由显示器上显示的图像(如由成像设备捕获的)来观察。器械轴的位于患者体内的一部分将不会直接可见，但是可以经由显示器上显示的图像来观察。合适地，图标被着色以匹配器械的一个或多个部分(即，基座、轴的部分、铰接件和末端执行器)。这在下面更详细地描述。因此，图标的图形布置中显示的图标允许识别该图标表示的器械。

如上所讨论的，该模式组包括操纵模式和选择模式。控制系统308被合适地配置为响应于接收到模式改变信号，而控制将模式改变为选择模式。控制系统308被配置为从手术医生控制台和机器人手臂中的一个或两个接收模式改变信号(步骤358)。机器人手臂被合适地配置为例如响应于机器人手臂处的控制或输入设备(诸如按钮或开关)的操作，而输出模式改变信号。以这种方式，OR工作人员的成员可以操作控件，以使机器人手臂输出模式改变信号。合适地，手术医生控制台400被配置为输出模式改变信号。例如，手术医生控制台被配置为在对手术医生控制台的控件进行操作(诸如由用户)时，输出模式改变信号。合适地，输入设备304被配置为输出模式改变信号。例如，输入设备304的按钮或其它控件被配置为使手术医生控制台输出模式改变信号。通过这种方式，手术医生控制台处的手术医生可以通过按下按钮或操作另一个控件，来选择进入选择模式。手术医生控制台处的手术医生能够在手术医生控制台处输进命令，以使手术医生控制台输出模式改变信号。

器械可以响应于控制系统308处接收的模式改变信号而进入选择模式。器械可以从操纵模式或者从该模式组的另一个模式进入选择模式。器械可以从设定模式或启动模式进入选择模式。合适地，设定模式或启动模式是这样的模式，其中，手术机器人、手术医生控制台、控制系统和/或器械经历启动程序以准备操作或可操作地耦接到系统的至少一个其它部分。合适地，设定模式是这样的模式，其中，设定多个器械中的器械以可操作地耦接到手术医生控制台。合适地，模式组包括设定模式。器械可以从新器械模式(其中，器械被添加到系统中)进入选择模式。这将在下面更详细地描述。合适地，模式组包括新器械模式。

控制系统308被配置为响应于所接收的模式改变信号，来修改图标的图形布置(步骤360)。修改诸如是为了允许识别一个可选器械或多个可选器械。修改图标的图形布置不仅限于修改图标的布局，还包括修改图标本身和/或修改所显示的图像的其它方面，诸如图标的出现方式、图标的取向等。将在这些修改的示例的背景下更详细地讨论这一点。

合适地，控制系统308被配置为根据所接收的模式改变信号，来确定可选择哪个或哪些器械以供手术医生控制台400控制。

手术医生控制台被合适地配置为通过向控制系统提供选择信号，来选择可选器械或者在可选器械之间进行选择。选择信号指示选择可选器械中的哪一个，以供手术医生控制台可操作地控制。选择信号合适地由手术医生控制台处的输入设备(例如手动操作的输入设备304)提供。用户可以合适地操作输入设备304上的控件，例如操纵杆控件、按钮控件、触摸控件和/或触发控件，以便使手术医生控制台输出选择信号。手术医生控制台被合适地配置为将选择信号输出到控制系统。控制系统被合适地配置为接收选择信号(步骤362)。

可以在手术医生控制台400处进行选择，以从选择区域中选择所期望的器械的相关图标。输入设备304本身无需用于进行该选择。可以使用另一个按钮或控件(诸如手术医生控制台400处的脚踏板430或开关)来代替输入设备304使用或者与输入设备304一起使用。这提供了器械选择的灵活性。在典型的系统中，允许一次存在与输入设备304一样多的活动器械。例如，在提供两个输入设备304的情况下，一次最多可以存在两个活动器械320。

控制系统308可以被配置为允许每个输入设备304选择要可操作地耦接到该输入设备304的器械320。控制系统308可以被配置为允许输入设备304选择要可操作地耦接到另一输入设备304的器械320。

可选器械的选择可以任何方便的方式完成。例如，要选择的器械可以由表示该器械的图标的突出显示来指示。例如，可以通过改变图标的方面(诸如其颜色、大小和/或背景)来突出示出图标。例如，可以使图标闪烁。例如，可以通过修改其在显示器内的位置(例如通过移动到图标列表的顶部(或其它预定义位置))来突出示出图标。在一个示例中，突出显示的图标可以位于“选择框”内，该“选择框”可以保留在所显示的图标的图形布置中的一个位置，以指示要选择由该图标表示的器械。合适地，手术医生控制台可以使图标突出显示，以循环通过表示可选器械的图标。这允许选择所需的器械。合适地，可以通过在图标附近显示指示符(诸如箭头或类似物)来突出示出图标。可以响应于用户输入来移动指示符，以改变突出显示的图标。指示符合适地指示突出显示的图标是否针对右手输入设备或左手输入设备突出显示。合适地，指示符设置在图标的左侧以指示该图标针对左手输入设备突出显示。合适地，指示符设置在图标的右侧以指示该图标针对右手输入设备突出显示。

一旦突出显示或以其它方式指示所需的器械，就可以确认该器械的选择。合适地，选择信号包括指示要选择的器械的第一选择信号和确认选择的第二选择信号。这允许手术医生控制台处的用户(诸如手术医生)在可选器械之间移动，然后选择所需的器械。控制系统308被配置为响应于所接收的选择信号，来修改图标的图形布置(步骤364)。修改诸如是为了允许识别所选择的器械。下面讨论这种修改的示例。

控制系统308被配置为响应于接收到选择信号，使手术医生控制台400能够控制所选择的器械(步骤366)。这可以通过使得在所选择的器械和手术医生控制台之间能够可操作耦接来实现。所选择的器械和手术医生控制台之间的可操作耦接可以在所选择的器械和手术医生控制台400的输入设备304之间。合适地，选择信号允许识别要与所选择的器械可操作地耦接的输入设备。例如，选择信号可以包括输入设备标识符，以用于识别器械要可操作地耦接到其的输入设备。合适地，控制系统308被配置为使得能够通过由输入设备标识符标识的输入设备304来控制所选择的器械。选择信号无需包括输入设备标识符。例如，在一个输入设备选择要与该输入设备可操作地耦接的器械的情况下，控制系统可以使得能够在选择信号源自的输入设备和所选择的器械之间进行可操作地控制。

输入设备304一次可与一个器械320相关联或可操作地耦接。在一个示例中，该关联或耦接由控制系统308控制。关联或耦接可以在软件控制中实现。当该器械与操纵模式相关联时，输入设备304可合适地与器械相关联或可操作地耦接。控制系统308可以被配置为响应于所接收的选择信号，而使所选择的器械进入操纵模式。

现在参照图6，其图示了图标的图形布置的示例。图标的图形布置显示在显示器306上。显示器306包括矩形屏幕。在其它示例中，可以使用其它尺寸的屏幕。合适地，图标的图形布置包括列表区域和选择区域。列表区域是这样的区域，其中，例如在将模式改变为选择模式之前，使得显示表示多个器械中的一个的图标。选择区域是使得在选择模式中显示表示多个器械中的可选器械的图标的区域。合适地，列表区域和选择区域至少部分地不重叠。

图标的图形布置合适地设置在显示设备上，以便叠加接收的图像馈送，例如从手术部位接收的图像馈送。这使用户能够观察图标与图像馈送。图标的图形布置允许用户识别系统状态的一个或多个方面，例如相应的器械是否可用于控制或可选择以供控制、器械是否被控制、例如器械是否处于操纵模式、和/或哪个输入设备可操作地耦接到器械。

在图6所示的示例中，图像馈送602设置在显示器306的中心。图像馈送被示出为大致圆形图像，但是可以是任何形状。通常，来自诸如内窥镜之类的成像设备的图像将是矩形的。可以提供其它尺寸的图像馈送。图中所示的圆形图像合适地表示手术部位的图像的中心部分，或者最重要或最感兴趣的手术部位的图像的部分。如图所示，图像可以具有任何合适的形状。图像馈送602基本上占据显示器的整个高度，但是在所示示例中不占据显示器的整个宽度。这意味着在所显示的图像馈送的任一侧存在这样的区域，其中，可以提供图形表示而不干扰手术医生对图像馈送的观察。这些在图6中由框区域604和606示出。每个框区域604和606合适地对应于相应的输入设备。框区域无需在显示器上显示为框，而是指示区域的范围。在一些示例中，在显示的图像馈送的顶部和/或底部可以存在这样的区域，其中，可以提供图形表示而不干扰手术医生对图像馈送的观察。

一个框区域604设置在显示器的左侧，并且合适地对应于左手输入设备。另一个框区域606设置在显示器的右侧，并且合适地对应于右手输入设备。每个框区域包含表示耦接到机器人系统的器械的图标608。左手框区域604合适地包含用于可操作地耦接到左手输入设备的器械的图标，或者最近耦接到左手输入设备的图标。右手框区域606合适地包含用于可操作地耦接到右手输入设备的器械的图标，或者最近耦接到右手输入设备的图标。

列表区域合适地包括框区域604、606。控制系统308被合适地配置为当这些器械处于模式组中的至少一种模式(诸如操纵模式)时使得表示器械的图标显示在列表区域604、606中。

在相应的输入设备304(或更一般地，手术医生控制台400)可操作地耦接到器械的情况下，相应的框区域604、606中的图标608中的一个与该框区域中的剩余图标合适地区分，以允许识别由该输入设备304(或由手术医生控制台400)控制的器械。被控制的器械可以称为活动器械。其它未受控制的器械可称为未活动器械。

合适地，系统被配置为通过使该器械的相应图标改变大小、位置、在其它图标列表中的位置、颜色、打光、背景、廓形、突出显示图像和视觉效果(诸如发光效果)中的至少一个，来向用户突出显示哪个器械是当前的活动器械。附加地或替代地，系统可以被配置为通过使该器械的相应图标从二维改变为三维或者从三维改变为二维，来向用户突出显示活动器械。当图像以三维显示时，这可以特别有效，这是由于这可以允许用户更自然地看到活动末端执行器的表示与图像中可视化的相应末端执行器之间的对应关系。

改变背景的方式的示例包括使图标包含在诸如圆形或多边形之类的形状中。包含活动器械的图标的形状可以大于其它图标的形状，和/或具有不同宽度的边界。例如，包含活动器械的图标的形状合适地具有比其它形状更厚的边界。在一些示例中，包含活动器械的图标的形状与包含其它图标的形状不同。合适地，包含其它图标的形状都是相同的形状。例如，活动器械的图标可以包含在圆圈中，并且所有其它图标可以包含在正方形中。可以使用其它形状或形状组合。在一些示例中，可以区分活动器械的图标和其它图标的背景颜色。例如，活动器械的图标的背景可以是绿色，并且其它图标的背景可以是橙色。

在一些示例中，活动器械可以比未活动器械的图标更大。与未活动器械的图标位置相比，活动器械的图标可以从显示器的边缘缩进(或更接近显示器的边缘)。与一个或多个未活动器械相比，活动器械的图标可以放置在列表(诸如竖直列表)中的较高或较低位置或放置在列表(诸如水平列表)中的右侧或左侧。合适地，列表是竖直列表，并且活动器械图标位于列表的顶部。在图标的列表水平和/或朝向显示器的底部定位的其它示例中，活动器械图标可以类似地设置为最接近显示器的角部(或另一个易于确定的特征)。这可以允许快速识别活动器械。合适地，图标朝向显示器的右边沿或左边沿布置或者在显示器的右边沿或左边沿布置，和/或朝向显示器的上边沿或下边沿布置或者在显示器的上边沿或下边沿布置，以便减小或最小化图标对图像馈送的干扰。

表示活动末端执行器的图标可以以与未活动末端执行器的表示不同的颜色(诸如以更亮和/或更不同的颜色)来设置。在一个示例中，表示未活动末端执行器的图标以黑色和白色来设置，并且表示活动末端执行器的图标以全彩色来设置。

图标的透明度的差异可用于区分表示活动末端执行器的图标和表示未活动末端执行器的图标。表示活动末端执行器的图标可以设置为相对较不透明的图标，并且表示未活动末端执行器的图标可以设置为相对更透明的图标。例如，表示活动末端执行器的图标可以设置为实心图标，并且表示未活动末端执行器的图标可以设置为透明、部分透明或灰色图标。参照图12至图14，相对更透明的图标用虚线指示。虽然显示器上的图标可以用虚线显示，但不一定是这种情况。

在一些示例中，这些方法的组合是可行的。

如图6所示的示例中所示，朝向显示器的周边设置图标可能意味着当诸如手术医生之类的用户正在观察显示器时，图标显示在用户的周边视觉中。因此存在这样的风险：用户可能需要改变他们的注视，或者改变他们注意力指向的位置，以便充分观察图标并且能够完全评估手术机器人的状态。这是由于用户周边视觉的视敏度显着降低。这可能是不期望的，尤其是在手术机器人背景下，其中，在手术过程期间，手术医生的注意力更充分地聚焦在手术部位上。因此，期望的是，系统可以在不依赖于用户的周边视觉的情况下并且在当操作手术机器人并与手术医生控制台交互时不会将用户的注意力从手术部位转移开的情况下进行操作。

图6中所示的图标的图形布置包括选择区域610。合适地，在选择模式中，使得与一个或多个可选器械相关联的图标显示在选择区域610中。合适地，器械选择区域610与列表区域604、606不重叠，如图6所示。例如，器械选择区域610设置在显示器的与列表区域604、606不同的部分。这允许易于识别图标是设置在列表区域还是选择区域中。其还允许将列表区域设置于在手术过程期间图标将不会干扰手术医生视觉的位置处，并且将选择区域设置在图标易于由手术医生识别的位置处，而无需使用周边视觉或将注意力从手术部位的图像转移开。

合适地，列表区域设置在图标的图形布置的周边或朝向该周边设置。列表区域优选朝向显示器的周边设置，例如以便处于查看显示器306的中心部分的用户的周边视觉区域(诸如显示图像馈送602的那部分)。

合适地，图标的图形布置包括用于显示手术部位的图像的图像区域。图像区域朝向图标的图形布置的中心设置。合适地，列表区域与图像区域至少部分不重叠。这可以减小列表区域中的图标与图像区域中所示的图像相干扰。

合适地，选择区域610朝向显示器306的中心设置。选择区域610可以设置为与图像区域602至少部分重叠。因此，聚焦在图像馈送上的用户将能够观察选择区域，而无需将其注意力从图像馈送转移开。在一个示例中，控制系统308被配置为使选择区域610显示在显示器306的中心，如图6中示意性所示。

在这样的示例中，当在操纵模式中时，向用户呈现列表区域中的、不干扰用户对图像馈送的观察的图标608。在选择模式中，向用户呈现选择区域610中的、易于由用户识别的图标612、614，以便允许选择期望的器械，同时仍然观察图像区域602。

在一个示例中，在系统处于操纵模式的情况下，器械320将例如通过可操作地耦接到手术医生控制台400的输入设备304，来可操作地耦接到手术医生控制台400。在这样的示例中，控制系统308被配置为使得该器械的图标608显示在列表区域604、606中。在另一个示例中，在系统处于设定模式或启动模式的情况下，器械320可以耦接到手术医生控制台400但是这种耦接可能不允许手术医生控制台对器械进行可操作的控制。例如，器械320可以新耦接到手术机器人。在这种情况下，器械可能不会立即可操作地耦接到手术医生控制台400。器械可以稍后(例如在已经执行设定检查之后)可操作地耦接到手术医生控制台。在该示例中，控制系统308可以被配置为使得该器械的图标显示在列表区域中。

合适地，列表区域包括使得显示表示新添加的器械的图标的新器械区域。合适地，新器械区域设置为至少部分地与图像区域重叠。如果器械在特定时间帧内被添加或耦接到手术机器人，则可以认为该器械是新添加的。特定时间帧可以是前5秒、前30秒、前1分钟或任何其它时间帧，诸如用户可选时间帧。用户可选时间帧合适地可由手术医生控制台选择。可以在手术医生控制台、手术机器人和/或器械的启动程序中指定时间帧。合适地，如果器械由于耦接到手术机器人而未被选择使用，则认为该器械是新添加的。合适地，如果器械由于耦接到手术机器人而未进入选择模式，则认为该器械是新添加的。

参照图7中所示的示例，控制系统308被配置为提供新器械区域720。控制系统308被配置为使新添加的器械的图标显示在新器械区域720中。合适地，新器械区域720与列表区域的一部分(例如由附图标记704、706描绘的部分)不重叠。合适地，新器械区域720设置在显示器的周边或朝向显示器的周边。在所示示例中，新器械区域720设置为至少部分地与图像区域702重叠。例如，新器械区域720可以设置在图像区域702的底部。新器械区域720中的图标设置向用户指示相关器械320是可用的，例如它们可由手术医生控制台选择以供控制。使得这些器械的图标显示在显示器的中心部分(而非显示器的左侧或右侧部分)可以向用户指示器械未与(或者不曾与)任何特定的输入设备304相关联。这些图标在中心区域中的显示可以向用户指示相关器械未与(或者不曾与)左手输入设备和右手输入设备中的一个或另一个相关联。新器械区域720的中心位置可以指示相关器械的“中性”，例如相对于输入设备。

响应于从手术医生控制台接收到指示模式改变为选择模式的模式改变信号，控制系统308被合适地配置为修改图标的图形布置，以便使与可选器械相关联的图标显示在选择区域610、710而非列表区域604、606、704、706、720中。该修改向用户指示哪些器械可选。此外，由于使得可选器械的图标显示在合适地设置为与图像区域702重叠的选择区域710中，因此用户无需把目光从图像区域转移开以能够选择器械320。因此，诸如手术医生之类的用户可以在器械选择步骤期间将其焦点保持在图像馈送上。这可以有助于降低在手术过程期间手术医生的注意力从手术部位的图像馈送转移开的相关风险。

合适地，新器械区域720与选择区域710重叠。因此，当控制系统对图标的图形布置进行修改以显示与选择区域中而非新器械区域中的可选器械相关联的图标时，无需移动各个图标。在一个示例中，使得表示可选器械的特定图标显示在显示器上的、位于新器械区域中的特定位置。当进入选择模式时，控制系统可以使得该特定图标与选择区域相关联以代替新器械区域。显示该图标的区域的改变(或与该图标相关联的区域的改变)无需使得显示器上的显示该图标的位置发生改变。

表示不可选器械的图标可以保留在图标的图形布置中的先前位置，例如在列表区域中(诸如在新器械区域中)。

合适地，控制系统308被配置为响应于接收到模式改变信号，使得表示可选器械的图标迁移到选择区域710，以指示相应器械可选。图标的迁移可以从列表区域到选择区域。

例如，迁移可以包括渐进或平滑迁移。迁移可以是连续迁移。迁移可以是动画的。这种迁移的示例是图标横跨显示器朝向选择区域710移动。这可以有助于用户理解哪些器械可供选择。因此，如果来自右手列表706的图标迁移到选择区域720，则用户例如可以理解已经与右手输入设备相关联的器械可选。

这在图8中示意性地示出。图8图示了显示器306，控制系统308使得图像区域802显示在显示器306上，以用于提供诸如来自手术部位的图像馈送的视图。图标808设置在左手列表区域和右手列表区域806中。在改变为选择模式时，与可选器械相关联的图标830从右手列表区域806迁移到选择区域810。虚线832示意性地图示了该迁移。类似地，参照图7，可以使新器械区域720中的图标迁移到选择区域710(如图7中由虚线732示意性示出的)。这允许用户理解尚未使用和/或选择的新器械可选。这种迁移可以向用户提供关于哪些器械可选的直观指示。

合适地，控制系统308被配置为从手术医生控制台的多个输入设备中的每一个接收输入信号。图标的图形布置合适地包括多个选择区域，其中，每个输入设备与多个选择区域中的相应一个相关联。例如，图标的图形布置可以包括与左手输入设备相关联的左手选择区域和与右手输入设备相关联的右手选择区域。合适地，控制系统被配置为响应于接收到模式改变信号，使得表示可由每个输入设备选择的器械的图标显示在该输入设备的相应选择区域中。例如，当接收到模式改变信号时，控制系统308被配置为使得表示可由左手输入设备选择的器械的图标显示在左手选择区域中，并且使得表示可由右手输入设备选择的器械的图标显示在右手选择区域中。

注意，可以存在可以在每个相应的选择区域中显示的图标。例如，器械可以由左手输入设备和右手输入设备中的任一个来控制。在一个示例中，控制系统308被配置为使得表示这种器械的图标显示在每个相应的选择区域中。在选择区域中的一个中进行选择时，图标将不再可在其它一个或多个选择区域选择。这可以通过使图标变灰、从其它一个或多个选择区域移除图标或以任何其它合适的方式向用户指示。

例如，图标的透明度可以指示它不再可选。即当图标可选时，图标可以是实心的，并且当其不再可选时，可以是至少部分透明的。

合适地，控制系统被配置为使得允许识别可选器械的图标的图形布置的修改包括改变图标的颜色、改变图标的大小、改变图标的背景、将图标从二维图标改变为三维图标、将图标从三维图标改变为二维图标、使图标闪烁以及使图标以修改的频率闪烁中的一个或多个。可以使用区分图标的任何方便的方式，例如如上所述的在区分活动器械的图标的背景下的那样。合适地，可选器械的图标以与活动器械的图标不同的方式区分。这种修改允许用户易于识别可选器械。

在一些示例中，控制系统308被配置为从手术部位接收表示图像的图像信号，并且使图像显示在图像区域中。所显示的图像合适地包括手术部位处的器械的器械图像。控制系统合适地配置为响应于接收到模式改变信号而修改器械图像。这允许易于识别与修改的器械图像相对应的器械。

例如，可以修改与可选器械相对应的器械图像。因此，手术医生控制台处的用户可以在观察手术部位的图像的同时识别可选器械，而无需转移他们的注意力。除了突出显示和/或迁移图标之外或者作为图标的突出显示和/或迁移的替代，还可以对一个或多个器械图像进行这种修改。

控制系统308被合适地配置为通过将图形叠加在图像区域上、修改叠加在图像区域上的图形和去除叠加在图像区域上的图形中的至少一个来修改器械图像。在一个示例中，可以通过将颜色叠加在所显示的器械图像的至少一部分上，来将“伪彩色”以图形的方式施加到器械图像。颜色叠加无需连续地施加到器械图像。在一个示例中，响应于操作用户控件的用户来施加颜色叠加。用户可以再次操作相同的控件，或者操作另一个控件，以使颜色叠加消失。在过去特定时间段之后，颜色叠加可能会自动消失。特定时间段可以是可选的，诸如由用户选择。特定时间段可以是例如2秒、5秒、10秒或任何其它合适的时间段。

施加颜色叠加的器械图像的一部分可以是器械的轴(或一部分)(在图像区域中可见的程度)。这允许在没有任何叠加的情况下看到器械的末端执行器。这有助于提高手术医生观察末端执行器的清晰度。

合适地，控制系统308被配置为修改器械图像以对应于允许识别可选器械的图标的图形布置的修改。这允许用户从图标和器械图像中的任一个或两个中识别可选器械。这使得用户可以根据情况将焦点保持在显示器的最适当的部分上。

在一些示例中，控制系统308被配置为响应于接收到选择信号，来使与所选器械相关联的图标显示在列表区域604、606、704、706、806中。例如，控制系统308可以被配置为使相关图标显示在与相应的输入设备相关联的列表区域中。

在至少一些示例中，控制系统308被配置为使所选图标从选择区域610、710、810迁移到列表区域。例如，迁移可以是动画迁移，诸如横跨显示器移动的图标。迁移可以允许用户直观地理解相关器械的选择。该迁移可以允许用户直观地理解相关器械与特定输入设备的操作耦接。例如，在图标向左诸如迁移到与左手输入设备相关联的列表区域的情况下，用户可以易于理解相关联的器械继而可操作地耦接到左手输入设备。

合适地，列表区域、选择区域和新器械区域中的至少一个包括围绕其周边的至少一部分的边界。合适地，控制系统被配置为响应于接收到模式改变信号而修改边界，以允许识别模式的改变。合适地，该边界与显示器的边界隔开。可以用粗体、明亮和/或闪烁的颜色对边界进行修改。即使边界(诸如列表区域的边界)在显示在如下区域中，这也使得能够注意到改变，其中，当集中于显示器上显示的手术部位的图像时，该区域将处于手术医生的周边视觉中。这可以有助于将机器人系统的状态传达给手术医生。

合适地，控制系统被配置为根据机器人系统的状态的方面来修改边界。例如，边界可以包括色条，并且控制系统可以被配置为修改色条以指示电手术工具的状态。例如，色条可以指示电手术工具的电源状态和/或温度。这可以使手术医生能够区分处于“切割”状态的电手术工具与处于“凝固”状态的电手术工具。例如，蓝色边界可用于指示切割状态和凝固状态中的一个，并且黄色边界可用于指示切割状态和凝固状态中的另一个。

合适地，图标包括图标边界。图标边界可以是彩色的和/或阴影的等，以指示相应的器械和/或末端执行器的状态的方面。例如，电手术工具可以具有切割模式和凝固模式。表示这种电手术工具的图标可以包括彩色图标边界。图标边界合适地能够允许区分这些模式。例如，黄色图标边界可以指示器械处于切割模式，并且蓝色图标边界可以指示器械处于凝固模式。在一些示例中，当器械既未处于切割模式也未处于凝固模式时，边界可以是第三颜色，例如白色。这可能是由于器械关闭(或尚未接通)和/或由于电手术末端执行器没有电源。

在所有示例中，无需朝向显示器的侧周边设置列表区域。参照图7，在一个示例中，列表区域705朝向显示器306的上部设置。以与上述类似的方式，控制系统308被合适地配置为响应于接收到指示模式改变为选择模式的模式改变信号，来使列表区域705中的、与可选器械相关联的图标迁移到选择区域710。

现在，将简要描述控制系统的操作的示例。在该示例中，在第一次使用之前，即在初始设定阶段，耦接到系统的器械的所有图标将出现在选择区域710中，合适地使该区域显示在显示器的中心。然后，手术医生控制台处的手术医生可以选择他们希望将哪些器械放入与左手输入设备相关联的器械列表中以及他们希望将哪些器械放入与右手输入设备相关联的器械列表中。

左手输入设备(例如操纵杆控件)处的控件合适地能够从选择区域中选择图标。与左手输入设备相关联的指示器(例如位于图标左侧并指向右侧的箭头(或三角形))可以由左手输入设备的控件移动。可以操作按钮(例如左手输入设备上的按钮)以选择图标。右手输入设备上的控件(例如操纵杆控件)合适地能够从选择区域中选择图标。与右手输入设备相关联的指示器(例如位于图标右侧并指向左侧的箭头(或三角形))可以由右手输入设备上的控件移动。可以操作按钮(例如右手输入设备上的按钮)以选择图标。

一旦被选择，图标就合适地移动到列表区域704、706。由左手输入设备选择的图标合适地移动到列表区域704的朝向显示器左侧的一部分。由右手输入设备选择的图标合适地移动到列表区域706的朝向显示器右侧的一部分。第一活动器械可以以类似的方式由相应的输入设备选择。然后，所选活动器械的图标合适地突出显示在列表区域704、706中的图标列表中。例如，活动器械的图标可以变大和/或移动到列表的顶部。

控制系统被合适地配置为对来自输入设备的信号进行响应，以允许输入设备可独立操作。即，手术医生能够一次或同时使用两个输入设备来选择图标。

然后，各个活动图标(与活动器械相关联)将与每个输入设备相关联。在进入选择模式时，控制系统被合适地配置为允许由可操作地耦接到另一个输入设备的器械之外的任何器械(即，除了活动图标或器械之外可以选择任何图标或器械)的一个输入设备来选择。合适地，器械改变步骤(由此输入设备可操作以选择另一个图标)对于每个输入设备而言顺序地发生。在示例中，手术医生最初可以将特定图标移动到列表区域704的与左手输入设备相关联的一部分，但是不将其选择作为活动图标。然后，在进入选择模式时，右手输入设备能够选择该特定图标。在选择时，该特定图标合适地移动到列表区域的与右手输入设备706相关联的一部分。该特定图标可以被突出显示，以示出它是活动图标，即，该图标与活动器械相关联。

控制系统被合适地配置为使得在初始阶段(其中，手术医生将图标分配到列表区域704、706中的左侧或右侧部分)之后添加到系统的新器械的图标显示在显示器的中心，例如，列表区域705的朝向显示器的上部的一部分和新器械区域720中的一个中。在任一个区域中，控制系统被合适地配置为允许手术医生以与上述类似的方式将图标分配到列表区域704、706的左侧或右侧部分中的一个。

现在将描述图标的图形布置的其它示例。参照图10，图标1000的图形布置包括表示耦接到机器人系统的四个机器人手臂中的每一个的图标1002、1004、1006、1008。这些图标朝向显示器的上部中心部分设置。

合适地，图标与耦接到系统的相应手臂相关联。合适地，颜色用于将图标与手臂相关联。例如，图标的背景可以是或可以包括与特定手臂相关联的颜色。例如，在四个手臂设置用于四个器械的耦接的情况下，手臂可以各自具有与手臂相关联的不同颜色，诸如黄色、蓝色、红色和紫色。各个图标的背景可以是这四种颜色中的一种。当然，可以使用任何颜色和/或颜色组合。颜色和/或颜色组合用于将图标/手臂彼此区分开。

图标1000的图形布置包括菜单图标1010，在该示例中，菜单图标1010设置在显示器的左下部分中。图标的图形布置包括成像设备图标1012，在该示例中，成像设备图标1012设置在显示器的右下部分中。合适地，菜单图标1010和成像设备图标1012彼此设置在显示器的不同区域中。

菜单图标1010可用于调出或访问不同选项。合适地，所有选项都可以通过菜单图标访问。例如，选择菜单图标可以调出选项列表或表格。可以通过这些菜单选项中的一个或多个来访问子选项。这种菜单结构对于技术人员来说将是公知的。合适地，通过使用输入设备处的一个或多个控件，来对菜单进行导航。合适地，左手输入设备和右手输入设备中的至少一个的拇指杆用于对菜单进行导航。

图标的图形布置的至少一个图标可以包括多个子图标。子图标可以形成图标集群。参照图10，图标1002、1004、1006、1008和成像设备图标1012包括三个圆形子图标的集群。每个子图标合适地设置与相应的手臂相关联的状态。例如，每个子图标合适地提供该图标表示的器械或手臂的不同方面的状态。可以将一个子图标与多个子图标中的其余子图标区分开。通过大于多个子图标中的其余子图标来合适地区分一个子图标。可以以例如如本文所述的任何方便的方式(诸如通过成为不同的颜色、形状、透明度、强度、通过闪烁等)将一个子图标与其它子图标区分开。

合适地，在设定模式、选择模式和新器械模式中的至少一个期间，图标集群是可见的。合适地，在器械的正常操作或控制期间，相应的图标包括单个图标。合适地，当子图标集群可见时与其它子图标区分开的子图标是在正常操作期间显示的图标。合适地，该子图标表示器械类型。因此，在正常操作中，显示的图标将是指示可操作地耦接到机器人手臂的特定器械和/或末端执行器的图标。

在图10所示的示例中，图标集群包括三个子图标。一个子图标包括电池图标1014。这表示相应手臂的电池电量。它可以附加地或替代地指示剩余的电量，而无论手臂是否耦接到电源，和/或手臂电池是否正在充电。

另一个子图标包括取向图标1016。取向图标1016在机器人手臂可以以多于一个取向安装的情况下可以是有用的。取向可以相对于参照系，诸如手术室或病床。一般地，取向图标1016可以包括多个方向指示器(诸如箭头)，其对应于手臂可以面对的可能方向的数量(或者手臂可以设置的方向)。可能方向或取向的数量合适地涉及许多可能的有效方向或取向。合适地存在多个方向或取向，其中，手臂可以有效地设置以在过程期间使用。在图示的示例中，存在四个等间隔的有效方向或取向。在该示例中，取向图标1016包括四个方向指示符。在一些示例中，这四个取向对应于在床的左、右、头部和脚部处设置的手臂。例如，设置在床的左侧的手臂可以说是指向右侧，设置在床的右侧的手臂可以说是指向左侧，设置在床的头部的手臂可以说是指向下方，并且设置在床的脚部的手臂可以说是指向上方。

在两个机器人手臂安装或设置在病床的一侧并且两个机器人手臂安装到病床的相对侧的配置中，用于手臂图标中的两个的取向图标1016将例如通过取向图标1016中的右箭头被突出显示或者是显示的唯一箭头，来指示这些手臂朝向右侧。用于其它两个手臂图标的取向图标1016将例如通过取向图标1016中的左箭头被突出显示或者是显示的唯一箭头，来指示这些手臂朝向左侧。

当手臂安装到接收支座中时，可以自动确定手臂的取向，其中，接收支座的位置和/或取向是已知的。可以由用户选择手臂的取向。可以在将手臂安装到接收支座中之前(例如，在用户选择手臂将位于的位置处)或者在安装到接收支座中之后(例如，在没有自动完成的情况下)执行该选择。例如，可以通过使用输入设备(诸如拇指杆)处的控件输入和/或通过使用手臂和/或接收支座处的控件输入(诸如按钮)来选择取向。在一些示例中，控件输入可以包括以类似于取向图标1016中所示的方向指示符的布局布置的多个按钮。

每个图标集群的取向图标1016允许诸如手术医生之类的用户知道哪个手臂面向哪个方向。这有助于将器械安装到正确的手臂上。

再次参照图10，每个图标1002、1004、1006、1008的较大子图标1018图示了水平线。在其它示例中，较大子图标可以是空白的或空的。这指示没有器械耦接到相应的手臂。图10中的图标的图形布置图示了四个手臂耦接到系统，但是器械尚未耦接到这些手臂中的任何一个的情况。例如，这可以是设定阶段的图示。合适地，在将器械耦接到手臂上时，较大子图标1018将包括该器械的指示。

图标1002、1008中的两个包括箭头：最左侧的图标1002包括指向右侧的箭头1020并且最右侧的图标1008包括指向左侧的箭头1021。如上所讨论的，这些箭头1020、1021指示系统处于选择模式，其中，用户能够选择用于可操作地耦接到输入设备(诸如左手输入设备和右手输入设备中的一个)的手臂。

合适地，即使在没有器械附接到该手臂的情况下，用户也可以为左手控件和右手控件中的一个分配手臂。合适地，控制系统允许在由用户选择手臂的同时将器械耦接到手臂。

此外，取向图标1016指示尚未选择或确定各个手臂的取向。

四个图标1002、1004、1006、1008中的每一个包括相应图标上方的弧1022。弧包括标记1024。弧指示器械和/或手臂(或器械和/或手臂的一个或多个关节)的旋转范围内的当前位置。例如，标记在弧上的位置可以指示器械的终端关节的旋转位置。关节可以具有±360度的范围，即，两个完整的旋转。标记可以设置在弧的一端，例如最左端，以指示关节旋转到-360度。标记可以设置在弧的另一端，例如最右端，以指示关节旋转到+360度。如图10中所示，标记1024中的每一个指示相应的手臂在旋转范围的中间。

成像设备图标1012包括图标集群。如图10所示，成像设备图标1012还包括电池图标和取向图标。较大子图标或主要子图标1026提供成像设备(诸如内窥镜)的指示。在所示的示例中，存在警告三角形，指示内窥镜不存在，和/或无法可操作地控制。该警告无需在所有示例中显示。显示器上没有图像也可以表示成像设备不存在(或存在问题)。

可以将本系统与手动腹腔镜一起使用。例如，腹腔镜可以从机器人手臂上移除并且手动地操纵。在这种情况下，成像设备图标可以指示成像设备不可用于通过使用手术医生控制台来进行控制(即，当手动使用腹腔镜时，腹腔镜可以不是机器人可控制的)。

合适地，菜单图标1010和成像设备图标1012中的至少一个总是以图标的图形布置显示。合适地，菜单图标1010和成像设备图标1012中的至少一个总是显示在图标的图形布置中的相同位置。

在一些示例中，子图标不限于指示电池和取向信息。在一些示例中，子图标合适地指示以下各项中的至少一个：电池状态、取向状态、手臂所处的模式、警告状况、用户动作请求等。

子图标可以在用户期望时例如通过对控件进行操作而出现，以使子图标可见。子图标可以根据系统的模式出现。例如，图标集群(即，显示子图标)可以在选择模式中出现。如果需要，可以出现至少一个子图标，例如在警告状况下或有用户动作请求时。合适地，控制系统确定何时出现子图标。合适地，控制系统被配置为根据相应手臂的状态和/或耦接到该手臂的器械的状态、来自手术医生控制台的控制信号和来自手术机器人的控制信号中的至少一个来进行该确定。合适地，控制系统被配置为使得与器械相关的警告出现在主要子图标中，即在正常操作期间显示的子图标。合适地，警告替换主要子图标(或单个显示的图标)中的器械类型的指示。

合适地，在显示器的中心下部处的图标的图形布置的区域用于与系统本身相关的图标，例如整个系统，而非一个手臂。控制系统被合适地配置为使得在系统区域中显示一个或多个图标和/或系统状态或与系统有关的细节。控制系统被合适地布置成使得图标和/或系统状态或细节在系统启动时、在过程中的预定点处、在过程完成时、在系统关闭时和/或在例如来自手术医生控制台的请求时显示。下面参照图14更多地讨论这一点。

图11图示了器械耦接到系统的图标的图形布置。设置四个手臂(附加手臂合适地设置用于耦接到诸如内窥镜之类的成像设备)，每个手臂耦接到器械。表示两个器械的图标设置在显示器的左侧，并且表示剩余的两个器械的图标朝向显示器的右侧设置。设置表示电手术器械的图标(由图标中存在“闪电”来指示)，显示器的每侧各有一个。

相机在成像设备图标1102中示出，以指示成像设备耦接到系统。

图11图示了处于选择模式的系统。所有图标都示出为实心图标。这指示用户可以选择所有图标。成像设备是可选的。例如，可以通过光标选择成像设备。以这种方式，可以在无需控制器械的情况下控制成像设备。成像设备可由两个输入设备同时选择。

箭头1104指示要由右手输入设备和左手输入设备选择的图标。与右手输入设备相关联的箭头(即，指向左侧的箭头)突出显示出夹持器工具1106。与左手输入设备相关联的箭头(即，指向右侧的箭头)突出显示出电手术工具1108。

合适地，当具有附加选项的器械被选择箭头突出显示时，附加选项出现以供选择。这里，电手术工具(诸如双极电手术工具)具有切割模式和凝固模式。切割模式由朝向左侧的图标1108指示(在所示示例中)。该图标合适地具有黄色边界或周边(更一般地，图标的至少一部分可以是黄色的)。凝固模式由朝向右侧的图标1110指示(再次，在所示示例中)。该图标合适地具有蓝色边界或周边(更一般地，图标的至少一部分可以是蓝色的)。边界可以替代地或附加地通过阴影线或以任何其它方便的方式来区分。当前选择的模式或选项可以由比其它模式或选项的图标大的相关图标来指示。可以附加地或替代地使用突出显示所选图标的其它方式，诸如本文所述的那些方式。可以根据期望使箭头在所选图标(例如较大图标)和未选择图标(例如较小的一个或多个图标)之间移动。选择操作(诸如在相应的输入设备处)可以使突出显示的或选择的选项变为或保持为当前选项。表示可用模式或选项的图标可以由控制系统排序，例如以从可用模式或选项中指示最近使用的、最后使用的、最常使用的、默认的和/或用户偏好的。

在通过右手输入设备选择夹持器工具时，使相应的图标1106与其它图标区分开，以指示已经选择了夹持器工具。如图12所示，该工具的图标1206大于另一工具的图标1111。所选工具的图标1206以纯色图示。表示可由该输入设备选择的其它器械的图标1112变为灰色或部分透明。这可以指示它不再是可选的。这在图12中的1212处示出。

在通过左手输入设备选择电手术工具的切割模式时，使得相应的图标1108与其它图标区分开，以指示已经选择了该工具。如图12所示，该工具的图标1208大于另一工具的图标1211。与未选选项相关或与所选工具相关联的模式(这里表示凝固模式)相关的图标消失。作为表示未选选项的图标消失的替代，它们可以被布置为好像显示在所选图标的“下方”，并且至少部分地从该图标下方突起。所选工具的图标1208以纯色示出。表示可由该输入设备选择的其它器械的图标1111变为灰色或部分透明。这可以指示它不再是可选的。这在图12中的1211处示出。

在图11和图12所示的示例中，菜单图标1120和成像设备图标1102在图11中以纯色示出，以指示它们是可选的。这些图标1202、1220在图12中示出为部分透明，以指示它们是不可选的。

在一些示例配置中，诸如内窥镜之类的成像设备可由左手输入设备和右手输入设备两者上的控件输入来控制。例如，左手输入设备上的拇指杆可以控制变焦和/或滚动，并且右手输入设备上的拇指杆可以控制内窥镜的平移或移动。在一些示例中，这些控件反之亦然。

合适地，在选择模式中，输入设备的拇指杆用于选择器械(和/或与器械相关的选项或模式，例如在电手术工具的情况下，工具是否可用于切割或凝固模式)。因此，在这些示例中，在选择模式中，拇指杆不可用于控制成像设备。因此，在这些示例中，当系统处于选择模式时，成像设备不是用户可控制的。在一些示例中，成像设备可以保持部分可控。例如，在右手输入设备进入选择模式并且左手输入设备保持可操作地耦接到器械的情况下，左手输入设备合适地仍然能够控制成像设备。在上面的示例中，左手输入设备用于控制成像设备的变焦和/或滚动。因此，在使用右手输入设备的器械选择期间，仍然可以对成像设备进行这种控制。反之亦然：在左手输入设备处于选择模式的情况下，右手输入设备合适地仍然能够控制成像设备的平移。如所提及的，可以根据期望选择由每个拇指杆实现的控制。

在其它示例中，控制系统被配置为使得当任一输入设备处于选择模式时，成像设备无法由任一输入设备控制。这可以避免混淆或成像设备的无意操作。类似地，当访问菜单时，可以通过至少一个拇指杆来对菜单进行导航。合适地，控制系统因此被配置为使得至少一个拇指杆控制菜单导航，而非成像设备。合适地，在仅使用一个拇指杆来对菜单进行导航的情况下，另一个拇指杆不允许控制成像设备。这可以避免在对菜单进行导航时无意地操作成像设备。

图13图示了图标的图形布置的示例，其中，与右手输入控制器相关联的离合器是活动的或接合的。当离合器接合时，右手输入控制器无法选择图标或控制器械。在该配置中，右手输入控制器可以移动到例如更方便的位置，而无需先前可操作地耦接到该输入设备的器械也移动。作为右手输入设备离合器接合的结果，与右手输入设备1302、1304、1306相关联的图标是灰色的或者是部分透明的。

当右手输入设备离合器接合时，左手输入设备可保持可操作地耦接到相应的器械。这在图13中由以纯色显示的活动图标1308(关于可操作地耦接到左手输入设备的器械)指示。合适地，当左手输入设备离合器接合时，即右手输入设备保持可操作地耦接到器械时，实际上也是如此。在其它示例中，离合器可以同时接合左手输入设备和右手输入设备两者。这可能是由于用于每个输入设备的分离的离合器同时接合或导致接合，或者由于单个离合器可以相对于两个输入设备接合。

合适地，控制系统被配置为确定用户是否正在握持输入设备。例如，输入设备304合适地包括用于确定用户是否正在握持输入设备的传感器440。传感器可以是任何合适的传感器，诸如触摸传感器，例如电容传感器、温度传感器、光传感器、红外传感器、开关等。可以使用这些类型的传感器的任何组合。

合适地，控制系统被配置为使图标的图形布置提供输入设备未被握持的指示。例如，如图14所示，图标的图形布置可以包括指示输入设备未被握持的警告图标1402、1404。指示左手输入设备未被握持的左手警告图标1402可以包括左手的指示(或者其可以以显示在显示器的左手侧的附加或替代的某种其它方式，来指示它与左手和/或左手输入设备有关)。指示右手输入设备未被握持的右手警告图标1404可以包括右手的指示(或者其可以以显示在显示器的右手侧的附加或替代的某种其它方式，来指示它与右手和/或右手输入相关)。

控制系统被合适地配置为确定已输进警告状况。控制系统被合适地配置为响应于该确定，使得在与系统相关联的图标的图形布置的区域中显示警告图标(或者以其它方式表示警告状况的图标)，例如如上所讨论的系统区域。警告图标可以包括警告三角形1406。这在图14中示出。这可以警报用户警告状况的存在或在场。可以根据期望选择与警告状况有关的标准。合适地，警告状况指示控制台故障或系统级故障。控制系统被合适地配置为监视这样的标准，并且据此，使得显示警告图标。

更一般地，在存在系统范围的状况或警报(例如警告状况)的情况下，控制系统可以使得图标(例如警告图标)显示在系统区域中。由于在该区域中显示的图标通常与系统相关，因此它们合适地大于菜单图标和成像设备图标。合适地，系统区域中显示的图标包括单个图标。

控制系统308合适地包括运动学控制器310，其被配置为根据与多个器械相关联的一个或多个状态信号，来确定界面状态。界面状态包括与用于显示的图标的图形布置相关联的数据。

合适地，运动学控制器310被配置为处理遥测数据以渲染图标。换句话说，遥测数据由控制系统308正常处理。这确保了与渲染图标的图形布置相关联的处理不会影响系统的任何其它部分所依赖的数据。合适地，为了渲染图标的图形布置而执行的处理的输出仅用于渲染图标的图形布置。合适地，其它任何东西都不取决于图标数据。因此，对机器人系统的操作至关重要的数据不受图标处理或渲染的影响。可以在标准数据处理的下游执行图标渲染或处理。这允许保持操作的安全性。

合适地，控制系统308包括视觉处理器312，其被配置为从运动学控制器310接收界面状态并渲染图标的图形布置以供显示。运动学控制器310合适地以比视觉处理器312更高的频率操作。在优选示例中，用于在显示设备306上显示的界面由视觉处理器312生成。视觉处理器合适地与运动学控制器310分离。视觉处理器可以只关心图像输出。即，机器人系统中没有关键系统取决于视觉处理器的输出。

控制系统可以以连续方式操作。视觉处理器合适地以连续方式操作。视觉处理器被合适地配置为以连续方式生成用于显示的界面。因此，运动学控制器可以被配置为连续地输出数据，并且可以根据运动学控制器输出的数据，来连续地生成界面。在一些示例中，视觉处理器无需连续操作。对于视觉处理器而言，以视觉处理器生成的界面所显示的帧速率来操作可能就足够了。

视觉处理器312无需以与控制系统308和/或运动学控制器310相同的频率操作。视觉处理器可以被配置为以比控制系统和/或运动学控制器更低的频率操作。视觉处理器被合适地配置为操作的频率取决于所显示图像的期望的帧刷新率。合适地，视觉处理器被配置为操作的频率等于或大于期望的帧刷新率。

控制系统和/或运动学控制器可能需要以相对较高的频率(可能是几百赫兹的数量级)操作，以满足安全需求。所显示图像的帧刷新率可能远低于此，并且在一个示例中是120赫兹或60赫兹的量级。以较慢的操作频率对视觉处理器进行操作在处理方面可以更有效。这可能意味着较慢的处理器可用作视觉处理器。合适地，视觉处理器312的操作频率和/或所显示图像的帧刷新率高于人类感知极限，使得图标渲染和改变看起来平滑。

如上所提及的，运动学控制器被配置为对输入数据进行分析和计算并且输出图标渲染可以基于的数据。也就是说，运动学控制器输出与应当在显示设备上显示的内容相对应的数据以作为显示图像的一部分。运动学控制器被合适地配置为输出指示一个或多个器械的状态的数据、指示一个或多个器械的可选择性的数据、指示一个或多个器械的控制模式的数据和/或与图标的图形布置有关的数据。因此，运动学控制器处理界面状态。界面状态包括渲染显示器所需的信息，包括图标的图形布置。视觉处理器被配置为对运动学控制器输出的信息进行必要的处理，以便生成所显示的图像，包括图标的图形布置。视觉处理器根据运动学控制器输出的界面状态进行处理和渲染，以生成界面。这可以通过将图像处理移位到视觉处理器来减轻运动学控制器的负担。无需为了生成图标和/或界面的图形布置而专门计算来自运动学控制器的输出。合适地，视觉处理器被配置为根据运动学控制器在其正常操作进程中所输出的数据生成界面(即，不执行与渲染界面有关的和/或专门用于渲染界面的附加操作)。

如上所述，图标的图形布置中的图标可以被着色以匹配末端执行器、器械和该器械所耦接的机器人手臂中的至少一个的颜色。视觉处理器被合适地配置为生成图标的图形布置中的图标，以匹配末端执行器、器械和机器人手臂中的至少一个。例如，视觉处理器被配置为匹配视觉指示，诸如图案、取向、轮廓和/或颜色。在一些示例中，颜色可以施加到器械或者器械的将出现在由成像设备(诸如末端执行器和/或器械轴的远端部分)捕获的图像中的至少一部分。可以渲染图标以匹配这些颜色。因此，特定的器械轴可以是绿色的，并且显示器上对应于该器械的图标也可以是绿色的。这允许快速且直观地识别器械和图标之间的对应关系。可以根据器械类型选择颜色，例如所有夹持器器械都可以是绿色的。替代地，可以为每种类型的器械选择一系列颜色。为一种类型的器械选择的颜色合适地与为另一种类型的器械选择的颜色不同，尽管不一定是这种情况。例如，在电手术器械与两个夹持器器械一起使用的情况下，电手术器械可以是白色的，一个夹持器器械可以是绿色的并且另一个夹持器器械可以是蓝色的。可以通过任何合适的颜色施加步骤将期望的颜色施加到器械上，诸如物理气相沉积以对不锈钢着色以及阳极氧化以对铝着色。

可以基于存储在器械上的射频识别(RFID)标签中的数据来确定施加到显示器中的图标的颜色。控制系统被合适地配置为查询存储在RFID标签中的数据。存储的数据合适地包括对应于该器械的颜色。因此，控制系统可以根据存储的数据将图标的颜色与器械的颜色相匹配。

器械本身无需着色。可以虚拟地将颜色施加例如在显示图像上。因此，控制系统被合适地配置为基于存储在器械上的RFID标签中的数据或者以任何其它合适的方式，来确定与器械相关联的颜色，并且被配置为在显示图像上生成叠加物或者生成作为显示图像的一部分的叠加物，以对器械着色。在显示图像中可见的整个器械无需虚拟着色。合适地，为了避免模糊末端执行器的操作，末端执行器没有虚拟着色。合适地，控制系统被配置为将颜色施加到与器械相关联的更有限的区域，例如远离末端执行器的区域，诸如器械轴上的圆形区域。更一般地，虚拟颜色可以施加到与器械相关联的标记，其无需与在显示器上观察的器械的廓形精确对准。叠加物的产生或虚拟着色的施加合适地由视觉处理器处理。

在一个示例中，机器人手臂或器械的至少一部分的颜色是动态可变的。例如，机器人手臂或器械可以包括色带。色带可以包括一部分有色材料，诸如塑料或金属。色带可以可移除地安装在器械或机器人手臂上。色带可以包括被配置为示出颜色的显示部分。显示部分合适地是屏幕、LED或诸如LED阵列之类的阵列。LED可以是多色LED。LED阵列可以包括多个单色LED、多个多色LED或者一个或多个单色LED和一个或多个多色LED。显示部分例如基于存储在RFID标签中的数据，合适地对颜色控制信号进行响应，以控制显示部分所示的颜色。

现在参照图9。图9图示了基于计算的设备900，其中，可以实现机器人手术系统300。基于计算的设备可以是电子设备。基于计算的设备图示了用于接收一个或多个状态信号、模式改变信号和选择信号的功能。基于计算的设备图示了用于存储所接收的信号、确定用于显示的图标的图形布置以及输出显示信号以使得图标的图形布置被显示的功能。基于计算机的设备合适地包括使得手术医生控制台能够控制所选器械的功能。

基于计算的设备900包括用于处理计算机可执行指令的处理器902，该计算机可执行指令被配置为控制设备的操作以便执行本文所述的方法。可以使用诸如存储器904之类的任何计算机可读介质来提供计算机可执行指令。在基于计算机的设备900处可以提供的其它软件包括用于确定图标的图形布置的逻辑电路906。替代地，逻辑电路906部分或全部以硬件实现。数据存储器907可以存储数据，诸如一个或多个状态信号、模式改变信号和/或选择信号。

基于计算的设备900还包括接收界面910，以用于接收一个或多个状态信号、模式改变信号和/或选择信号。基于计算的设备900还包括输出界面912，以用于将所确定的图标的图形布置输出到显示设备以供显示，和/或输出控制信号以实现手术医生控制台对所选器械的控制。图9图示了单个基于计算的设备，其中，实现了机器人手术系统300。然而，机器人手术系统300的功能可以在分离的基于计算的设备上实现。

由此，申请人在以下程度上独立地公开了本文中描述的每个单独的特征以及两个或更多个这样的特征的任何组合：不论这些特征或特征的组合是否解决了本文公开的任何问题并且并非限制权利要求的范围，按照本领域技术人员的公知常识这些特征或组合能够基于本说明书而作为整体来执行。申请人指出，本发明的各方面可以由任何这样的个体特征或特征组合组成。鉴于前面的描述，本领域技术人员显而易见的是，可以在本发明的范围内进行各种修改。

Claims (20)

1.一种用于通过远离手术机器人的手术医生控制台来控制所述手术机器人的控制系统，所述控制系统被配置为：

接收与多个器械相关联的一个或多个状态信号，所述多个器械中的每一个可附接到所述手术机器人，所述一个或多个状态信号指示：

所述多个器械中的每一个供所述手术医生控制台控制的可选择性，和

来自模式组的对所述多个器械中的每一个的控制模式，所述模式组包括：

操纵模式，在所述操纵模式中，所述多个器械的器械可由所述手术医生控制台控制，和

选择模式，在所述选择模式中，所述多个器械的器械可由所述手术医生控制台选择以供控制；

根据接收到的所述一个或多个状态信号来确定用于显示的图标的图形布置，并且输出显示信号以使所述图标的图形布置显示，其中，每个图标表示所述多个器械中的相应一个；

接收指示模式改变为所述选择模式的模式改变信号；

响应于接收到的所述模式改变信号，来修改所述图标的图形布置，以允许识别所述多个器械中的可选器械；

从所述手术医生控制台接收指示选择所述可选器械中的一个的选择信号；

响应于接收到的所述选择信号，来修改所述图标的图形布置，以允许识别所选器械；并且

使得所述手术医生控制台能够控制所述所选器械。

2.根据权利要求1所述的控制系统，其中，所述图标的图形布置包括：

列表区域，在所述列表区域中，使得表示所述多个器械中的一个的图标在模式改变为所述选择模式之前被显示，以及

选择区域，在所述选择区域中，使得表示所述多个器械中的所述可选器械的图标以所述选择模式被显示；

所述列表区域和所述选择区域至少部分不重叠。

3.根据权利要求2所述的控制系统，其中，所述图标的图形布置包括用于显示手术部位的图像的图像区域，所述图像区域朝向所述图标的图形布置的中心设置，并且其中，所述选择区域设置为至少部分地与所述图像区域重叠。

4.根据权利要求2或3所述的控制系统，其中，所述列表区域设置在所述图标的图形布置的周边或者朝向所述周边设置。

5.根据权利要求3所述的控制系统，其中，所述列表区域至少部分地不与所述图像区域重叠。

6.根据权利要求3或5所述的控制系统，其中，所述列表区域包括新器械区域，在所述新器械区域中使得表示新添加的器械的图标被显示，所述新器械区域设置为至少部分地与所述图像区域重叠。

7.根据权利要求2、3或5中任一项所述的控制系统，其被配置为响应于接收到所述模式改变信号，而使得表示所述可选器械的图标迁移到所述选择区域，以指示相应的器械是可选的。

8.根据权利要求1、2、3或5中任一项所述的控制系统，其被配置为从所述手术医生控制台和所述手术机器人中的至少一个接收所述模式改变信号。

9.根据权利要求1、2、3或5中任一项所述的控制系统，其被配置为响应于接收到所述模式改变信号，而从所述操纵模式和设定模式中的一个改变为所述选择模式，在所述设定模式中，所述多个器械中的器械设定用于可操作地耦接到所述手术医生控制台。

10.根据权利要求2、3或5中任一项所述的控制系统，其被配置为从所述手术医生控制台的多个输入设备中的每一个接收输入信号，所述图标的图形布置包括多个选择区域，其中，每个输入设备与所述多个选择区域中的相应一个相关联，所述控制系统被配置为响应于接收到所述模式改变信号，而使得表示可由每个输入设备选择的器械的图标显示在用于该输入设备的相应的所述选择区域中。

11.根据权利要求1、2、3或5中任一项所述的控制系统，其中，允许识别所述可选器械的所述图标的图形布置的修改包括下列项中的一个或多个：

改变图标的颜色，

改变图标的大小，

改变图标的背景，

将图标从二维图标改变为三维图标，

将图标从三维图标改变为二维图标，

使图标闪烁，和

使图标以修改频率闪烁。

12.根据权利要求3或5所述的控制系统，其被配置为从手术部位接收表示图像的图像信号，并且使得图像显示在所述图像区域中，显示图像包括所述手术部位处的器械的器械图像，并且所述控制系统被配置为响应于接收到所述模式改变信号而修改所述器械图像。

13.根据权利要求12所述的控制系统，其被配置为通过将图形叠加在所述图像区域上、修改叠加在所述图像区域上的图形和去除叠加在所述图像区域上的图形中的至少一个，来修改所述器械图像。

14.根据权利要求12所述的控制系统，其被配置为修改所述器械图像以对应于允许识别所述可选器械的所述图标的图形布置的修改。

15.根据权利要求6所述的控制系统，其中，所述列表区域、所述选择区域和所述新器械区域中的至少一个包括围绕其周边的至少一部分的边界，并且所述控制系统被配置为响应于接收到所述模式改变信号而修改所述边界，以允许识别模式的改变。

16.根据权利要求1、2、3或5中任一项所述的控制系统，其包括运动学控制器，所述运动学控制器被配置为根据与所述多个器械相关联的所述一个或多个状态信号来确定界面状态，所述界面状态包括与用于显示的所述图标的图形布置相关联的数据。

17.根据权利要求16所述的控制系统，其包括视觉处理器，所述视觉处理器被配置为从所述运动学控制器接收所述界面状态并且渲染用于显示的所述图标的图形布置，所述运动学控制器能够以比所述视觉处理器更高的频率操作。

18.根据权利要求1、2、3或5中任一项所述的控制系统，其中，所述图标的图形布置的图标包括图标集群。

19.一种用于通过远离手术机器人的手术医生控制台来控制所述手术机器人的方法，所述方法包括以下步骤：

接收与多个器械相关联的一个或多个状态信号，所述多个器械中的每一个可附接到所述手术机器人，所述一个或多个状态信号指示：

所述多个器械的每一个供所述手术医生控制台控制的可选择性，和

来自模式组的对所述多个器械中的每一个的控制模式，所述模式组包括：

操纵模式，在所述操纵模式中，所述多个器械的器械可由所述手术医生控制台控制，和

选择模式，在所述选择模式中，所述多个器械的器械可由所述手术医生控制台选择以供控制；

根据接收到的所述一个或多个状态信号来确定用于显示的图标的图形布置，并且输出显示信号以使所述图标的图形布置显示，其中，每个图标表示所述多个器械中的相应一个；

接收指示模式改变为所述选择模式的模式改变信号；

响应于接收到的所述模式改变信号，来修改所述图标的图形布置，以允许识别所述多个器械中的可选器械；

从所述手术医生控制台接收指示选择所述可选器械中的一个的选择信号；

响应于接收到的所述选择信号，来修改所述图标的图形布置，以允许识别所选器械；以及

使得所述手术医生控制台能够控制所述所选器械。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时被配置为实现根据权利要求19所述的方法。

Images