CN109310480A - 用于远程操作医疗系统中的屏幕菜单的系统和方法 - Google Patents

Abstract

一种系统包括远程操作装配件，该远程操作装配件包含操作员控制系统和第一远程操作操纵器，第一远程操作操纵器配置成由操作员控制系统的操作员控制装置操作。该第一远程操作操纵器被配置为控制外科手术环境中的第一医疗器械的操作。该系统还包括包含一个或多个处理器的处理单元。处理单元被配置为显示外科手术环境的视场的图像，并在视场的图像中显示接近第一医疗器械的图像的菜单。该菜单包含表示第一医疗器械的功能的至少一个图标。

Description

用于远程操作医疗系统中的屏幕菜单的系统和方法

相关申请

本专利申请要求2016年7月14日提交的题为“SYSTEMS AND METHODS FORONSCREEN MENUS IN A TELEOPERATIONAL MEDICAL SYSTEM”的美国临时专利申请62/362，376的申请日的优先权和权益，该临时专利申请通过整体引用结合于此。

技术领域

本公开涉及用于执行远程操作医疗过程的系统和方法，并且更具体地涉及用于显示用于外科手术环境中的远程操作器械的功能菜单的系统和方法。

背景技术

微创医疗技术旨在减少在侵入性医疗过程期间受损的组织量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织方位。微创医疗工具包含器械，诸如治疗器械、诊断器械和外科手术器械。微创医疗工具还可以包含成像器械，诸如内窥镜器械。成像器械为用户提供患者解剖结构内的视场。一些微创医疗工具和成像器械可以是远程操作的或以其他方式计算机辅助的。随着远程操作医疗系统变得更加复杂，具有附加特征和交互模态，向操作员控制站添加附加的物理控制装置变得不太可行。为了扩展远程操作系统的能力，需要操作员可见和可访问的图形菜单。

发明内容

通过下面的权利要求概述了本发明的实施例。

在一个实施例中，一种系统包括远程操作装配件，该远程操作装配件包含操作员控制系统和第一远程操作操纵器，该第一远程操作操纵器配置成由操作员控制系统的操作员控制装置操作。第一远程操作操纵器被配置为控制外科手术环境中的第一医疗器械的操作。该系统还包括包含一个或多个处理器的处理单元。处理单元被配置为显示外科手术环境的视场的图像，并在视场的图像中显示接近第一医疗器械的图像的菜单。该菜单包含表示第一医疗器械的功能的至少一个图标。

在另一个实施例中，一种方法包括显示外科手术环境的视场的图像。视场中的第一医疗器械耦接到远程操作装配件中的第一操纵器。该方法还包括在视场的图像中显示接近第一医疗器械的图像的菜单。该菜单包含多个图标，其中每个图标与第一医疗器械的功能相关联。该方法还包括基于远程操作操作员控制系统的操作员控制装置的移动从多个图标中识别所选图标。

附图说明

当结合附图阅读时，从以下详细描述中可以最好地理解本公开的各方面。需要强调的是，根据工业上的标准实践，各种特征未按比例绘制。实际上，为了清楚讨论，可以任意增加或减少各种特征的尺寸。另外，本公开可以在各种示例中重复参考数字和/或字母。该重复是为了简单和清楚的目的，并且其本身并不表示所讨论的各种实施例和/或配置之间的关系。

图1A是根据本公开的实施例的远程操作医疗系统的示意图。

图1B是根据本文描述的原理的一个示例的患者侧推车的透视图。

图1C是根据多个实施例的用于远程操作医疗系统的外科医生的控制台的透视图。

图2示出了外科医生的控制台的输入控制装置。

图3示出了具有接近视场中的医疗器械的图形菜单的手术环境的视场。

图4示出了最小化图形菜单。

图5示出了用于访问医疗器械的特征的方法。

图6示出了打开的图形菜单。

图7示出了另一个图形菜单。

图8A至图8C示出了根据本公开的实施例的夹具图标。

图9A示出了与功能的活动状态相关联的图标。

图9B示出了与功能的选定状态相关联的图标。

图9C示出了与功能的启用状态相关联的图标。

图9D示出了与不可用功能相关联的图标。

图10示出了根据本公开的另一个实施例的图形用户界面。

图11示出了根据本公开的另一个实施例的图形菜单。

具体实施方式

为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解的是，不旨在限制本公开的范围。在以下对本发明各方面的详细描述中，阐述了许多具体细节以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述公知的方法、过程、部件和电路，以免不必要地模糊本发明的实施例的各方面。

如本公开所涉及领域的技术人员通常会想到的，对所描述的装置、器械、方法以及本公开的原理的任何进一步应用的任何改变和进一步修改都是完全预期的。具体地，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合是完全预期的。另外，本文所提供的尺寸是用于特定示例，并且可以预期可以使用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，可以使用或省略根据一个说明性实施例描述的一个或多个部件或动作，如适用于其他说明性实施例。为简洁起见，将不单独描述这些组合的多次迭代。为简单起见，在某些情况下，在所有附图中使用相同的附图标记来表示相同的部分或相似的部分。

以下实施例将在三维空间中描述各种器械和器械的部分的状态。如本文所使用的，术语“位置”指的是物体或物体的部分在三维空间中的方位(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指物体或物体的部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿势”是指物体或物体的部分在至少一个平移自由度中的位置以及该物体或物体的部分在至少一个旋转自由度中的取向(多大总共六个自由度)。如本文所用的，术语“形状”是指沿物体测量的一组姿势、位置或取向。

参考附图的图1A，用于例如包含诊断、治疗或外科手术的医疗过程的远程操作医疗系统通常由附图标记10指示。如将被描述的，本公开的远程操作医疗系统处于外科医生的远程操作控制之下。在可替代的实施例中，远程操作医疗系统可以在被编程为执行过程或子过程的计算机的部分控制之下。在其他可替代的实施例中，在被编程为执行过程或子过程的计算机的完全控制之下的全自动医疗系统可以用于执行过程或子过程。如图1所示，远程操作医疗系统10通常包含安装到手术台O上或附近的远程操作装配件12，患者P定位在手术台O上。远程操作装配件12可以被称为患者侧推车。医疗器械系统14(也称为“医疗器械14”)和内窥镜成像系统15(也称为“内窥镜15”)可操作地耦接到远程操作装配件12。操作员输入系统16允许外科医生或其他类型的临床医生S观察外科手术部位的图像或观察表示外科手术部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。

操作员输入系统16可以位于外科医生的控制台或其他控制台，外科医生的控制台或其他控制台通常位于与手术台O相同的房间中。然而，应当理解的是，外科医生S可以位于不同的房间或与患者P完全不同的建筑物。操作员输入系统16通常包含用于控制医疗器械系统14的一个或多个控制装置。(一个或多个)控制装置可包含任意数量的各种输入装置的一种或多种，诸如手柄、操纵杆、轨迹球、数据手套、触发枪、脚踏板、手动控制器、语音识别装置、触摸屏、身体运动或存在传感器等。在一些实施例中，(一个或多个)控制装置将具有与远程操作装配件的医疗器械相同的自由度，以向外科医生提供远程呈现，以及(一个或多个)控制装置与器械成为一体的感知，使得外科医生具有强烈的直接控制器械的感觉，就像在外科手术部位一样。在其他实施例中，(一个或多个)控制装置可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，(一个或多个)控制装置是手动输入装置，该手动输入装置以六个自由度移动并且还可以包含用于致动器械的可致动手柄(例如，用于闭合抓取钳口末端执行器，将电势施加到电极，提供药物治疗等)。

当外科医生S通过操作员输入系统16观察外科手术部位时，远程操作装配件12支撑并操纵医疗器械系统14。外科手术部位的图像可以通过内窥镜成像系统15(诸如立体内窥镜)获得，内窥镜成像系统15可以由远程操作装配件12操纵以定向内窥镜成像系统15。电子系统18(当被配置为推车或被配置为可用作推车的一部分时，也称为“电子推车18”)可以用于处理外科手术部位的图像以便随后通过包括操作员输入系统16的外科医生的控制台显示给外科医生S。一次使用的医疗器械系统14的数量通常取决于诊断或外科手术过程和手术室内的空间限制以及其他因素。远程操作装配件12可以包含一个或多个非伺服控制连杆的运动结构(例如，可以手动定位并锁定到位的一个或多个连杆，通常称为设置结构)和远程操作操纵器。远程操作装配件12包含驱动医疗器械系统14上的输入的多个马达。这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包含驱动系统，当驱动系统耦接到医疗器械系统14时，驱动系统可以将医疗器械推进到自然或外科手术创建的解剖孔口中。其他电动驱动系统可以以多个自由度移动医疗器械的远端，多个自由度可以包含三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔坐标轴旋转)。此外，马达可以用于致动器械的可铰接的末端执行器，以抓取活组织检查装置的钳口中的组织等。器械14可以包含末端执行器，该末端执行器具有单个工作构件，诸如手术刀、钝刀片、光纤或电极。其他末端执行器可以包含例如镊子、抓取器、剪刀或夹子施放器。

远程操作医疗系统10还包含控制系统20。控制系统20包含至少一个存储器和至少一个处理器(未示出)，并且通常包含多个处理器，以用于实现医疗器械系统14、操作员输入系统16和电子系统18之间的控制。控制系统20还包含编程指令(例如，存储指令的计算机可读介质)，以实现根据本文公开的方面描述的一些方法或所有方法。虽然控制系统20在图1A的简化示意图中示为单个框，但是该系统可以包含两个或更多个数据处理电路，其中一部分的处理可选地在远程操作装配件12上或其附近执行，另一部分的处理在操作员输入系统16处执行，等等。可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以实现为多个单独的程序或子例程，或者它们可以集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。

在一些实施例中，控制系统20可以包含一个或多个伺服控制器，一个或多个伺服控制器接收来自医疗器械系统14的力和/或扭矩反馈。响应于反馈，伺服控制器将信号传输到操作员输入系统16。(一个或多个)伺服控制器还可以传输指示远程操作装配件12的信号，以移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15，医疗器械系统14和/或内窥镜成像系统15通过身体中的开口延伸到患者体内的内部外科手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作装配件12分离或集成。在一些实施例中，伺服控制器和远程操作装配件作为邻近患者身体定位的远程操作臂推车的一部分被提供。

电子系统18可以与内窥镜成像系统15耦接，并且可以包含处理器以处理捕获的图像以用于后续显示，诸如显示给外科医生的控制台上的外科医生，或者显示在位于本地和/或远程的另一合适显示器上。例如，在使用立体内窥镜的情况下，电子系统18可以处理捕获的图像以向外科医生呈现外科手术部位的协调立体图像。这种协调可以包含相对图像之间的对齐，并且可以包含调节立体内窥镜的立体工作距离。作为另一个示例，图像处理可以包含使用先前确定的相机校准参数来补偿图像捕获装置的成像误差，诸如光学像差。电子系统18还可以包含显示监视器和控制系统20的部件。

远程操作医疗系统10还可以包含可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在可替代的实施例中，远程操作系统可以包含一个以上的远程操作装配件和/或一个以上的操作员输入系统。操纵器装配件的确切数量将取决于外科手术过程和手术室内的空间限制，以及其他因素。操作员输入系统可以并置，或者它们可以位于分开的方位。多个操作员输入系统允许一个以上的操作员以各种组合控制一个或多个操纵器装配件。

图1B是远程操作装配件12的一个实施例的透视图，当该远程操作装配件12被设计成在医疗操作期间放置在患者附近时，其可以被称为患者侧推车12。所示的远程操作装配件12提供对三个外科手术器械26a、26b、26c(例如，器械系统14)和成像器械28(例如，内窥镜成像系统15)的操纵，该成像器械28诸如用于捕获该过程的部位的图像的立体内窥镜。成像装置28也可以称为“成像装置28”，并且可以通过缆线56将信号传输到控制系统20。由具有多个接头的远程操作机构来提供操纵。成像装置28和外科手术器械26a-26c可以通过患者的切口定位和操纵，使得运动远程中心维持在切口处以最小化切口的大小。外科手术部位的图像可以包含当外科手术工具26a-26c定位在成像装置28的视场内时外科手术工具26a-26c的远端的图像。

患者侧推车22包含可驱动基座58。可驱动基座58连接到伸缩柱57，伸缩柱57允许调节臂54的高度。臂54可以包含旋转接头55，旋转接头55旋转并上下移动。每个臂54可以连接到定向平台53。定向平台53可以能够360度旋转。患者侧推车22还可包含伸缩式水平悬臂52，以用于在水平方向上移动定向平台53。

在本示例中，每个臂54连接到操纵器臂51。操纵器臂51可以直接连接到医疗器械26。操纵器臂51可以是可远程操作的。在一些示例中，连接到定向平台的臂54不可远程操作。而是，在外科医生S开始用远程操作部件操作之前，根据需要定位此类臂54。

内窥镜成像系统(例如，包括成像装置15或28的系统)可以以包含刚性或柔性内窥镜的各种配置提供。刚性内窥镜包含容纳中继透镜系统的刚性管，以用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一个或多个柔性光纤传输图像。基于数字图像的内窥镜具有“尖端芯片”设计，其中诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)装置的远端数字传感器存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的装配件，其中内窥镜缆线、手柄和轴都刚性地耦接并且气密密封。

图1C是包括操作员输入系统16的外科医生的控制台的透视图。包括操作员输入系统16的外科医生的控制台包含左眼显示器32和右眼显示器34，以用于向外科医生S呈现外科手术环境的使能深度感知的协调立体视图。包括操作员输入系统16的控制台还包括一个或多个输入控制装置36，其进而使远程操作装配件12操纵一个或多个器械或内窥镜成像系统。输入控制装置36可以提供与其相关联的器械14相同的自由度，以向外科医生S提供远程呈现，或者输入控制装置36与器械14成为一体的感知，使得外科医生具有强烈的直接控制器械14的感觉。为此，可以采用位置、力和触觉反馈传感器(未示出)通过输入控制装置36将来自器械14的位置、力和触感传输回外科医生的手。输入控制装置37是接收来自用户脚的输入的脚踏板。

参考图2，每个控制装置36包含四自由度万向节或腕部，四自由度万向节或腕部允许可致动手柄70绕三个轴线(轴线A1、轴线A2和轴线A3)旋转。手柄70通过第一可旋转接头74耦接到第一肘形连杆72，第一可旋转接头74允许手柄连续旋转。第一连杆72耦接到平台76。每个控制装置36通常将允许手柄70在工作空间控制工作空间内以多个自由度移动，通常具有六个自由度，三个旋转自由度和三个平移自由度。这允许可致动手柄70移动到其运动范围内的任何位置和任何取向。可致动手柄70包含夹具致动器78和/或开关80，以允许操作员致动通过手柄的运动定位的器械26或28。手指环82附接到手柄70，以防止操作员的手指在手柄上滑动。

包括操作员输入系统16的外科医生的控制台提供“头进式(head-in)”图形用户界面，该“头进式”图形用户界面允许外科医生在他或她的头部保持在包括操作员输入系统16的控制台中用眼睛观察显示器32、34并且用手保持与控制装置36接合的同时利用医疗器械执行各种功能。如下所述，当用户的头部保持在包括操作员输入系统16的控制台中时可以执行的过程的示例是器械交换过程。随着远程操作系统和医疗器械的特征和交互模态的增加，继续为每个附加特征添加附加的物理输入控制装置(例如，脚踏板、开关、按钮)变得不可行。在用户界面中包含图形菜单提供了丰富可扩展平台，以访问器械和系统能力，而无需添加附加的物理用户输入。

图3示出了患者P内的外科手术环境100。成像器械(例如，成像器械28)用于在外科手术环境100内显示成像器械的视场的图像102。图像102可以是三维图像，该三维图像通过立体内窥镜获得并通过右眼显示器和左眼显示器生成为用户可见的图像的合成图像。视场包含器械26a的远端部分、器械26b的远端部分和器械26c的远端部分的图像。图像102还包含位于图像外围的信息字段104，信息字段104可以包含对临床医生的指令、警告、器械识别信息、状态信息或与外科手术过程相关的其他信息。

在一个实施例中，如图3所示，通过叠加在图像102上的图形菜单110来实现访问视场中的器械26b的特征和能力。图形菜单110显示为接近医疗器械26b的远端的图像，以便外科医生可以容易地告知共同定位的图形菜单110属于医疗器械26b。在该实施例中，图形菜单110含有与医疗器械26b相关的关联信息，诸如与器械耦接的远程操作臂(例如，臂“3”)的数字标识符。2015年3月17日提交的美国专利申请No.62/134，297中提供“用于远程操作医疗系统中的器械的屏幕识别的系统和方法(Systems and Methods for OnscreenIdentification of Instruments in a Teleoperational Medical System)”，其整体引用并入本文。

在一些实施例中，用于放置图形菜单110的默认方位叠加在器械26b的远端的一部分上。在其他实施例中，图形菜单110显示为邻近远端部分。菜单的默认方位可以取决于视场中的医疗器械26b的远端部分的大小。例如，如果图像被紧密地放大并且末端执行器占据图像的大部分，则菜单可以位于一个末端执行器钳口的近侧部分上，而不会妨碍钳口远端处的观察。然而，如果图像被缩小并且末端执行器钳口在图像中相对小，则菜单可以位于接头区域或轴上以避免使钳口模糊。菜单110的放置允许临床医生在保持聚焦在外科手术环境上的同时访问器械的特征。

图形菜单110具有最小化配置，其中与器械26b相关联的功能被呈现为围绕选择器图标114的外围径向布置的小型最小化功能图标112a、112b。选择器图标114包含指针116和主体118。在该实施例中，用于远程操作臂的数字标识符位于主体118的中心区域中。响应于与器械26b相关联的控制装置36的移动，选择器图标114被动画化以围绕主体118的中心枢转，从而以类似拨号方式移动指针116。

如图4所示，图形菜单110可以可选地包含指示器械26b的末端执行器的状态的夹具指示器120和指示器械26b的轴的方向的轴指示器122。如果器械26b具有双夹具末端执行器，则夹具可以示为打开的夹具指示器170(图8A)或闭合的夹具指示器172(图8B)。如果器械26b具有单个刀片末端执行器，则刀片可以示为单个手指174(图8C)。指示器120、122通过帮助理解图形菜单与哪个器械相关联来帮助观察外科医生。例如，在关于菜单和器械之间的关联存在模糊性的情况下，外科医生可以观察指示器120、122并查看附近器械远端的配置。然后，外科医生可以将附近器械与匹配指示器120、122的末端执行器和轴配置相关联。

图5示出了用于经由图形菜单110访问医疗器械26b或耦接的远程操作臂3的特征的方法150。在过程152处，在远程操作系统处于外科手术器械控制或“跟随”操作模式时，显示视场图像102，在该操作模式中，器械(包含器械26b)的移动跟随用户的手在相关联的控制装置36中的移动。在过程154处，外科医生使远程操作系统进入菜单模式，在菜单模式中，用户的手在相关联的控制装置36中的移动与器械26b和臂3的移动解耦。在一个实施例中，当外科医生踩踏包括操作员输入系统16的控制台的离合器踏板(例如，包括输入控制装置37的踏板)时，可以进入菜单模式。在按下离合器踏板之后，控制装置36对医疗器械26b的控制被暂停。控制装置36可以自由移动而无需医疗器械26b的相应移动。在菜单模式中，控制装置36的夹具致动器78的移动与器械26b末端执行器的移动解耦。在进入菜单模式时出现最小化图形菜单110。

为了提供关于与指示器120、122相关联的每个功能的更多信息，可以显示扩展图形菜单130，如图6所示。图形菜单130包含选择器图标114，并用扩展功能图标132a、132b替换最小化功能图标112a、112b。在该实施例中，每个扩展功能图标包含象形图134和功能标签136，象形图134和功能标签136描述与功能图标相关联的功能。例如，图标132a与“退出”功能相关联，该功能将扩展菜单130返回到最小化图形菜单110的格式。图标132b与“弹出”功能相关联，该功能启动医疗器械26b的器械弹出序列。当控制装置36的手柄70绕轴线A1旋转时，显示扩展图形菜单130。可选地，当手柄70旋转时，提供“点击(click)”感的触觉力将通过控制装置36提供给外科医生，以提供图形菜单130的启动的确认。

用于打开扩展图形菜单130或移动选择器图标114的手柄70(围绕轴线A1)的旋转移动是以在系统处于其他操作模式(诸如外科手术器械控制模式)时不用于操作器械的自由度(即，滚动自由度)的移动。因此，外科医生可以认识到围绕控制装置的轴线的滚动自由度被解耦并且用于菜单选择，而不是器械操作。滚动轴线的取向在菜单模式中(或通常在离合器踏板接合时)不会改变，并且维持与器械末端执行器的最后取向对齐。在其他实施例中，用于控制选择器图标的相同自由度可以用于在外科手术器械控制模式中控制工具移动。

返回图5，在过程156处，可以从菜单130识别功能图标132a、132b中的一个。更具体地，当首次打开扩展图形菜单130时，指针116被定位在诸如向上朝向图标132a的中性位置。指针的该中性位置对应于控制装置的中性位置。控制装置的中性位置可以是器械控制模式中控制装置的最新位置。在其他实施例中，指针指向中性位置中的其他径向方向。在图6的实施例中，当手柄70绕轴线A1顺时针旋转时，指针116从中性位置朝向下一个功能图标132b顺时针旋转。手柄70可以旋转，例如，小于180°或甚至小于90°，以使指针116移动到下一个功能图标。在该示例中，手柄70旋转大约40°。可以通过控制装置36向外科医生提供触觉力(例如“点击”感)以提供指针116指向径向图标序列中的下一个功能图标132b的确认。

在手柄70顺时针转动并施加相应的触觉力之后，手柄返回或“快速跳回”到中性位置，但指针116保持指向功能图标132b。返回到中性位置允许外科医生的手的姿势的最小偏差以提供更好的人体工程学(例如，外科医生的腕部不需要过度转动)。手柄70的这种回到中心位置还允许重新进入器械控制模式以更快地进行。尽管仅示出了两个功能图标，但是在其他实施例中，功能图标可以布置在选择器图标的整个圆周围。在手柄70每次旋转之后，指针前进到径向系列中的下一个图标，但是控制装置36可以返回到中性位置。手柄70也可以绕轴线A1逆时针移动，以使指针116逆时针移动。

可以通过图标的图形特性来识别可用于选择的功能。例如，禁止功能可以通过颜色(例如，白色象形图和文本)、通过诸如框188(图9D)的图形特征，或通过放置在象形图和/或文本上的“X”来指示。启用的功能可以由颜色和/或预定尺寸的角托架186指示。(图9C)

当指针116指向功能图标132b时，该功能图标被认为是“被选择”。可以通过功能图标132b的外观的改变来指示所选择的功能。例如，与处于启用状态的角托架186相比，角托架184可以具有更窄的宽度。(图9B)

为了激活与图标132b相关联的功能，外科医生在包括操作员输入系统16的控制台处按下夹具致动器78或其他按钮或开关。在该实施例中，图标132b与弹出功能相关联，并且按下夹具致动器启动器械弹出序列。当已激活所选功能时，功能图标132的外观可以改变以指示功能被选择。例如，双角托架182可以看起来向观察者指示弹出功能已被激活。(图9A)

器械弹出序列可以以短暂的延迟时段开始。该时段可以通过图形菜单中的改变来标记，诸如选择器图标的颜色的渐进改变或者选择器图标的边缘周围的环的增量增长。接下来，如果器械具有双指夹具末端执行器，则夹具打开以释放任何组织，并且器械的手腕伸直与器械轴对齐。轴可以略微缩回。在弹出功能的这些阶段期间，选择器图标114上的进度指示器138指示弹出功能的当前阶段。例如，进度指示器138可以是图形环，其递增地改变颜色并以顺时针方向前进。在图形环形成整圆之前，可以通过例如打开控制装置的夹具或释放离合器踏板来取消弹出功能。在进度指示器138指示器械被拉直之后，器械可以沿着套管的插入轴线缩回到进入套管中。在将末端执行器带入套管的缩回过程中，弹出功能可能不会中断。

外科医生的右手可以在相应的控制装置中控制图6的菜单。对于左手控制的器械，图标可以以相反的配置(即，弹出图标在结束图标左侧)布置。在各种实施例中，选择器图标114的移动可以耦接到右手控制装置或者可替代地耦接到左手控制装置。不同的图形用户界面菜单可以与每只手相关联，使得右手从第一菜单中选择而左手从第二菜单中选择。可替代地，可以配置菜单以便通过逆时针旋转来选择菜单项。在其他实施例中，控制装置可以在顺时针和逆时针方向上移动以选择菜单项。在各种可替代的实施例中，可以在视场的图像中将多于一个的图形菜单与器械的尖端共同定位。

图7示出了根据可替代的实施例的图形菜单160。在该实施例中，选择器图标162响应于控制装置手柄70的顺时针旋转而沿着线性路径163向下移动，并且响应于控制装置手柄的逆时针旋转而向上移动。功能图标164沿着线性路径163线性对齐。图标线性对齐的该实施例的选择和激活过程与图标径向布置时的上述描述大致相同。

图10示出了根据本公开的另一个实施例的图形用户界面200。在该实施例中，图形菜单202可以与全局控制模式选择相关联，而不是与特定器械或器械驱动器相关联。在该实施例中，菜单202位于外科手术视图中的固定方位，以表示远程操作系统的部件的器械导航器的图形图像204为中心。例如，器械导航器可以表示系统的末端执行器的配置。当外科医生通过操纵控制台上的控制装置(例如，离合器脚踏板)进入调节控制模式时，菜单202出现。该菜单包含选择器图标206，选择器图标206在该实施例中包含具有指针的部分圆形形状，以及径向布置的功能图标208、210。在初始位置，选择器图标可以直立指向以指示当前的主动控制模式。如上所述，通过围绕滚动轴线A1转动控制手柄70，可以使选择器图标206枢转。当手柄顺时针转动大约40°时，选择器图标206的指针指向功能图标208以选择相机控制功能。如前所述，当选择器图标到达图标208时，可以提供触觉力以给外科医生“点击”感。可以通过挤压夹具致动器78来选择该功能。一旦处于相机控制模式，选择器图标206就可以消失。当外科医生释放脚踏板时，可以退出相机控制模式。如前所述，在每次点击选择器图标206之后，控制装置的手柄70可以返回到中性位置。图11示出了修改的图形菜单212，修改的图形菜单212进一步包含用于重定位控制功能的图标214。在该实施例中，图标214位于图标208的左侧，因此外科医生可以逆时针旋转选择器图标206。

本发明的实施例中的一个或多个元素可以用软件实现，以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本发明的实施例的元素本质上是执行必要任务的代码段。程序或代码段可以存储在处理器可读存储介质或装置中，该处理器可读存储介质或装置可以已经通过体现为载波的计算机数据信号经由传输介质或通信链路下载。处理器可读存储装置可以包含可以存储包括光学介质、半导体介质和磁介质的信息的任何介质。处理器可读存储装置示例包含电子电路、半导体装置、半导体存储器装置、只读存储器(ROM)、快闪存储器、可擦除可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘或其他存储装置。可以通过诸如因特网、内联网等计算机网络下载代码段。

注意，所呈现的过程和显示可能不固有地与任何特定计算机或其他仪器相关。各种通用系统可以与根据本文的教导的过程一起使用，或者可以证明构造更专用的仪器以执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，不参考任何特定编程语言描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。

虽然已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，这些实施例仅仅是对本发明的说明而非限制，并且本发明的实施例不限于所示和所述的具体构造和布置，因为本领域普通技术人员可以想到各种其他修改。

Claims (36)

1.一种系统，其包括：

远程操作装配件，其包含：

操作员控制系统，以及

第一远程操作操纵器，其配置成用于由所述操作员控制系统的操作员控制装置操作，其中所述第一远程操作操纵器被配置为控制外科手术环境中的第一医疗器械的操作；以及

处理单元，其包括一个或多个处理器，其中所述处理单元被配置为：

显示所述外科手术环境的视场的图像，以及

在所述视场的图像中显示接近所述第一医疗器械的图像的菜单，其中所述菜单包含表示所述第一医疗器械的功能的至少一个图标。

2.根据权利要求1所述的系统，其中所述处理单元还被配置为在禁止所述操作员控制装置控制所述第一医疗器械的操作之后显示所述菜单。

3.根据权利要求2所述的系统，其中所述处理单元还被配置为响应于所述操作员控制系统的离合器机构的激活而禁用所述操作员控制装置。

4.根据权利要求1所述的系统，其中所述菜单包含所述视场中的选择器图标，其中响应于所述操作员控制装置的移动，所述选择器图标在所述视场中可移动，以指示表示所述第一医疗器械的功能的所述至少一个图标中的一个。

5.根据权利要求4所述的系统，其中响应于所述操作员控制装置围绕滚动轴线的旋转，所述选择器图标在所述视场中可移动。

6.根据权利要求5所述的系统，其中在器械控制模式中，所述第一医疗器械的所述滚动轴线是未使用的自由度。

7.根据权利要求1所述的系统，其中响应于所述操作员控制装置的旋转而修改所述至少一个图标以显示扩展图标。

8.根据权利要求1所述的系统，其中所述菜单还包含末端执行器指示器，所述末端执行器指示器对应于所述第一医疗器械的末端执行器的配置。

9.根据权利要求1所述的系统，其中所述第一医疗器械的所述功能是所述第一医疗器械从所述外科手术环境的弹出功能。

10.根据权利要求1所述的系统，其中所述处理单元还被配置为显示所述功能的进度指示。

11.根据权利要求1所述的系统，其中所述处理单元还被配置为基于激活触发器的接收来激活所述第一医疗器械的所述功能。

12.根据权利要求11所述的系统，其中所述激活触发器是激活开关。

13.根据权利要求11所述的系统，其中所述激活触发器是关闭所述操作员控制装置的抓握机构。

14.根据权利要求11所述的系统，其中所述处理单元还被配置为在所述激活触发器的接收之后，在激活所述第一医疗器械的所述功能之前启动延迟时段。

15.一种方法，其包括：

显示外科手术环境的视场的图像，其中所述视场中的第一医疗器械耦接到远程操作装配件中的第一操纵器；

在所述视场的图像中显示接近所述第一医疗器械的图像的菜单，所述菜单包含多个图标，其中每个图标与所述第一医疗器械的功能相关联；以及

基于远程操作操作员控制系统的操作员控制装置的移动，从所述多个图标中识别所选图标。

16.根据权利要求15所述的方法，其还包括：

接收命令以禁止所述操作员控制装置控制所述第一医疗器械的操作。

17.根据权利要求16所述的方法，其中接收禁止所述操作员控制装置的命令由所述操作员控制系统的离合器机构的激活而引起。

18.根据权利要求15所述的方法，其中显示所述菜单包含在所述视场中显示选择器图标，其中响应于所述操作员控制装置的移动，所述选择器图标在所述视场中可移动以指示所述多个图标中的一个。

19.根据权利要求18所述的方法，还包括：

响应于所述操作员控制装置围绕滚动轴线的旋转，在所述视场中移动所述选择器图标。

20.根据权利要求19所述的方法，其中在器械控制模式中，所述第一医疗器械的所述滚动轴线是未使用的自由度。

21.根据权利要求15所述的方法，其还包括：

响应于所述操作员控制装置的旋转，修改所述多个图标以显示多个修改的图标。

22.根据权利要求15所述的方法，其中显示所述菜单包含显示指示所述第一医疗器械的末端执行器的配置的末端执行器指示器。

23.根据权利要求15所述的方法，其中由所述多个图标中的一个表示的所述功能中的一个是所述第一医疗器械从所述外科手术环境的弹出功能。

24.根据权利要求15所述的方法，其还包括：

显示与所选图标相关联的所述功能的进度指示。

25.一种系统，其包括：

远程操作装配件，其包含操作员控制系统和第一远程操作操纵器，所述第一远程操作操纵器配置成由所述操作员控制系统的操作员控制装置操作；以及

处理单元，其包含一个或多个处理器，其中所述处理单元被配置为显示菜单，所述菜单包含表示所述远程操作装配件的部件的功能的至少一个功能图标。

26.根据权利要求25所述的系统，其中所述远程操作装配件的所述部件是耦接到所述第一远程操作操纵器的器械，并且所述菜单与所述器械相关联。

27.根据权利要求25所述的系统，其中所述处理单元还被配置为显示表示所述远程操作装配件的所述部件的系统图标并显示接近所述系统图标的菜单。

28.根据权利要求25所述的系统，其中所述远程操作装配件的所述部件是耦接到所述第一远程操作操纵器的成像系统。

29.根据权利要求25所述的系统，其中所述处理单元还被配置为通过操纵所述操作员控制装置进入所述远程操作装配件的所述部件的控制模式。

30.根据权利要求29所述的系统，其中所述操作员控制装置是踏板。

31.根据权利要求25所述的系统，其中所述菜单包含选择器图标，响应于所述操作员控制装置的移动，所述选择器图标可移动以指示表示所述远程操作装配件的所述部件的功能的所述至少一个功能图标的图标。

32.根据权利要求31所述的系统，其中所述选择器图标响应于所述操作员控制装置绕滚动轴线的旋转可移动。

33.根据权利要求32所述的系统，其中在器械控制模式中，所述滚动轴线是未使用的自由度。

34.根据权利要求25所述的系统，其中所述处理单元还被配置为基于激活触发器的接收来激活所述功能。

35.根据权利要求34所述的系统，其中所述激活触发器是激活开关。

36.根据权利要求34所述的系统，其中所述激活触发器是关闭所述操作员控制装置的抓握机构。