CN110381873A - 机器人外科手术系统、器械和控件 - Google Patents

机器人外科手术系统、器械和控件 Download PDF

Info

Publication number
CN110381873A
CN110381873A CN201880016094.8A CN201880016094A CN110381873A CN 110381873 A CN110381873 A CN 110381873A CN 201880016094 A CN201880016094 A CN 201880016094A CN 110381873 A CN110381873 A CN 110381873A
Authority
CN
China
Prior art keywords
user interface
icon
endoscope
control
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880016094.8A
Other languages
English (en)
Inventor
贾里德·法洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN110381873A publication Critical patent/CN110381873A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

一种机器人外科手术系统的用户接口的显示器上的图形用户界面包含工作区域和功能区。所述工作区域被配置成显示外科手术部位处的第一末端执行器的表示。所述功能区具有第一图标，所述第一图标被配置成显示所述第一末端执行器的末端执行器数据。

Description

机器人外科手术系统、器械和控件
相关申请的交叉引用
本申请要求于2017年3月15日提交的美国临时专利申请序列号62/471,716的权益和优先权，所述美国临时专利申请的全部内容通过引用并入本文中。
背景技术
已经在微创医疗手术中使用机器人外科手术系统。在医疗手术过程中，机器人外科手术系统由与用户接口介接的外科医生控制。用户接口允许外科医生操纵作用于患者的外科手术器械的末端执行器。用户接口包含可由外科医生移动以控制机器人外科手术系统的输入控制器或手柄。
市场上存在不同的机器人外科手术系统，每一种机器人外科手术系统具有不同的控件和显示器。当外科医生从一个机器人外科手术系统移动到另一个机器人外科手术系统时，外科医生必须熟悉特定机器人外科手术系统的控件和显示器。另外，在外科手术过程中，每个系统可以具有不同的警报或警告以指示机器人外科手术系统或患者的状况，这可能延迟不熟悉特定机器人外科手术系统的外科医生对警告的识别。
发明内容
本公开总体上涉及用于机器人外科手术系统的标准化控件和显示器。
在本公开的一方面，一种机器人外科手术系统的用户接口的显示器上的图形用户界面包含工作区域和功能区(ribbon)。所述工作区域被配置成显示外科手术部位处的第一末端执行器的表示。所述功能区具有第一图标，所述第一图标被配置成显示所述第一末端执行器的末端执行器数据。
在各方面，所述末端执行器数据包含所述第一末端执行器的标识符、所述第一末端执行器的类型、所述第一末端执行器的选定功能以及所述第一末端执行器的状态。所述第一末端执行器的所述状态可以指示所述第一末端执行器的可耗尽资源的供应水平。
在一些方面，所述功能区包含内窥镜图标，所述内窥镜图标被配置成显示提供所述外科手术部位的视图的内窥镜的内窥镜数据。所述内窥镜数据可以包含旋转指示器或倾斜指示器中的至少一个。当所述第一末端执行器由所述用户接口的左手柄控制时，所述第一图标可以显示在所述内窥镜图标的左侧，并且当所述第一末端执行器由所述用户接口的右手柄控制时，所述第一图标显示在所述内窥镜图标的右侧。所述功能区可以包含第二图标，所述第二图标被配置成显示第二末端执行器的末端执行器数据，所述第二末端执行器具有显示在所述工作区域中的表示。当所述第二末端执行器由所述用户接口的左手柄控制时，所述第二图标可以显示在所述内窥镜图标的左侧，并且当所述第二末端执行器由所述用户接口的右手柄控制时，所述第二图标显示在所述内窥镜图标的右侧。
在一些方面，所述功能区包含内窥镜控制图标以提供所述外科手术部位的视野的内窥镜何时被用户控制。所述内窥镜控制图标可以显示在所述功能区的一侧、指示受所述内窥镜控制的外科手术机器人的控制手柄。
在一些方面，所述功能区包含离合器图标以指示所述用户接口的控制手柄何时被紧握。所述离合器图标可以显示在所述功能区的一侧、指示所述用户接口的被紧握的所述控制手柄。
在特定方面，所述图形用户界面包含击发(firing)指示器，所述击发指示器沿着形成与所述功能区相对的拐角的两个边缘显示。所述击发指示器可在所述第一末端执行器被击发时显示。所述图形用户界面可以包含离屏指示器，当所述第一末端执行器处于所述显示器上示出的所述工作区域之外时，所述离屏指示器沿着所述显示器的边缘显示。所述离屏指示器可以沿着所述显示器的边缘定位、指示处于所述工作区域之外的所述第一末端执行器的方向。
在本公开的另一方面，一种机器人外科手术系统的用户接口的显示器上的图形用户界面包含所述用户接口的相应手柄的表示和多个选择框。所述表示具有多个控制接口。所述多个选择框中的每一个选择框具有将所述选择框与所述控制接口中的一个控制接口相关联的指示符。所述多个选择框中的所述选择框中的每一个选择框显示与相应控制接口相关联的功能的文本。可选择所述选择框中的至少一个选择框以修改与所述相应控制接口相关联的功能。
在本公开的另一方面，一种与用户接口介接以模拟或控制外科手术机器人的方法包含：可视化所述用户接口的显示器上的图形用户界面的功能区中的第一图标；以及移动所述用户接口的第一控制手柄以在所述显示器的工作区域内移动第一末端执行器。所述第一图标提供与所述第一控制手柄相关联的所述第一末端执行器的末端执行器数据。所述第一个图标具有状态指示器，当所述第一控制手柄与所述第一控制手柄相关联时，所述状态指示器提供所述第一末端执行器活动的标记。所述第一图标具有提供所述第一末端执行器的当前模式的标记的模式指示器。
在各方面中，所述方法包含击发所述第一末端执行器。所述显示器可在所述第一末端执行器被击发时沿着形成与所述功能区相对的拐角的两个边缘指示击发指示器，以提供所述第一个末端执行器的所述击发的视觉标记。
在一些方面，移动所述第一控制手柄包含移动所述第一控制手柄，使得所述第一末端执行器移动到所述显示器的所述工作区域之外。所述显示器可以包含沿着所述显示器的边缘的指示所述第一末端执行器的方向的离屏指示器。
在某些方面，所述方法包含将内窥镜与所述第一控制手柄相关联以移动将视图提供在所述显示器上的内窥镜。在所述第一控制手柄的移动与所述内窥镜相关联时，内窥镜控制图标可以出现在所述功能区的一侧、指示第一控制手柄。
进一步地，在一致性程度上，本文描述的方面的任何方面可以与本文描述的其它方面的任何或所有结合使用。
附图说明
下文参照并入本说明书中并构成本说明书的一部分的附图描述了本公开的各个方面，在附图中：
图1是根据本公开的机器人外科手术系统的示意图；
图2是图1的具有图形用户界面(“GUI”)的机器人外科手术系统的显示器的视图；
图3A-3C是图2的GUI的示例性图标的视图；
图4是图2的GUI的另一个图标的视图；
图5是图1的具有GUI的机器人外科手术系统的显示器的视图，所述GUI指示图1的机器人外科手术系统的右手柄正在控制内窥镜；
图6是可以由GUI显示的示例性图标的表格；
图7是图1的具有GUI的机器人外科手术系统的显示器的视图，所述GUI指示与图1的机器人外科手术系统的左手柄相关联的末端执行器正在击发；
图8是图1的具有GUI的机器人外科手术系统的显示器的视图，所述GUI指示与图1的机器人外科手术系统的左手柄相关联的末端执行器定位在显示器的视图外面；
图9是在定制模式期间展示另一个GUI的图1的机器人外科手术系统的显示器的视图；并且
图10是图1的机器人外科手术系统的手柄中的一个手柄的视图。
具体实施方式
现在参照附图对本公开的实施例进行详细的说明，在附图中，相似的附图标记指代若干视图中的每个视图中的完全相同或对应的元件。如本文所使用的，术语“临床医师”指医生、护士或任何其它护理提供者并且可以包含辅助人员。贯穿本说明书，术语“近侧”是指装置或其部件的距临床医师较近的部分，并且术语“远侧”是指装置或其部件的距临床医师较远的部分。
参照图1，根据本公开的机器人外科手术系统1通常被示出为外科手术机器人10、处理单元30以及用户控制台40。外科手术机器人10总体上包含连杆12和机器人底座18。连杆12可移动地支撑末端执行器或工具20，所述末端执行器或工具被配置成作用于组织。连杆12可以呈臂的形式，所述臂各自具有末端14，所述末端支撑末端执行器或工具20，所述末端执行器或工具被配置成作用于组织。此外，连杆12的末端14可以包含用于对外科手术部位“S”进行成像的成像装置16。用户控制台40通过处理单元30与机器人底座18通信。
用户控制台40包含显示装置44，所述显示装置被配置成显示三维图像。显示装置44显示外科手术部位“S”的三维图像，所述三维图像可以包含由定位在连杆12的末端14上的成像装置16捕获的数据和/或包含由围绕外科手术室定位的成像装置(例如，定位在外科手术部位“S”内的成像装置、邻近患者“P”定位的成像装置、定位在成像臂52的远端处的成像装置56)捕获的数据。成像装置(例如，成像装置16、56)可以捕获视觉图像、红外图像、超声图像、X射线图像、热图像和/或外科手术部位“S”的任何其它已知的实时图像。成像装置将捕获的成像数据传送到根据成像数据实时地创建外科手术部位“S”的三维图像的处理单元30并且将三维图像传送到显示装置44以供显示。
控制台40还包含在允许临床医师操纵外科手术机器人10(例如，移动连杆12、连杆12的末端14和/或工具20)的控制臂43上支撑的输入手柄42。输入手柄42中的每一个与处理单元30通信以将控制信号传送到所述处理单元并且从所述处理单元接收反馈信号。另外地或可替代地，输入手柄42中的每一个可以包含输入装置(未明确示出)，所述输入装置允许外科医生操控(例如，夹持、抓握、击发、打开、闭合、旋转、推进、切开等)支撑在连杆12的末端14处的工具20。
输入手柄42中的每一个可穿过预先限定的工作空间移动以在外科手术部位“S”内移动连杆12的末端14，例如工具20。显示装置44上的三维图像被朝向成使得输入手柄42的移动使连杆12的末端14如在显示装置44上所观察到的进行移动。三维图像保持静止，同时输入手柄42的移动被缩放成三维图像内的连杆12的末端14的移动。为了维持三维图像的朝向，输入手柄42的运动学映射基于相对于连杆12的末端14的朝向的相机朝向。显示装置44上的三维图像的朝向可以相对于由成像装置16、56捕获的视图成镜像或旋转。此外，显示装置44上的三维图像的大小可以被缩放成比外科手术部位的实际结构大或小，从而准许临床医师更好地看到外科手术部位“S”内的结构。如以下详细描述的，当输入手柄42移动时，工具20在外科手术部位“S”内移动。工具20的移动还可以包含支撑工具20的连杆12的末端14的移动。
对于机器人外科手术系统1的构造和操作的详细论述，可以参考美国专利第8,828,023号，所述美国专利的全部内容以引用的方式并入本文中。
用户控制台40进一步包含可以用于控制机器人外科手术系统1的各个方面的一个或更多个脚踏板60。例如，脚踏板60可以选择性地与输入手柄(例如，输入手柄42)相关联以致动与相应输入手柄相关联的工具20。另外地或可替代地，脚踏板60可以与相机(例如，相机56)相关联以使相机围绕外科手术部位“S”移动。关于合适的脚踏板的详细讨论，可以参考于2017年5月24日提交的题为“用于机器人外科手术系统的踏板控制(PEDALCONTROL FORROBOTIC SURGICAL SYSTEMS)”的美国临时专利申请序列号62/510,502和于2017年9月8日提交的题为“机器人外科系统的高精度器械控制模式(HIGH PRECISION INSTRUMENTCONTROL MODE FOR ROBOTIC SURGICAL SYSTEMS)”的美国临时专利申请序列号62/566,100，上述申请中的每一个申请的全部内容在此以引用的方式并入。
现在参考图2，示出了根据本公开的显示器44的图形用户界面(GUI)100。GUI 100包含工作区域110和信息功能区120。工作区域110显示外科手术部位S(图1)的图像或表示。如图所示，工作区域110示出了三个外科手术器械，每个外科手术器械具有末端执行器或工具A、B和C。工作区域110的视图可以是从相机中的一个或多个(例如，相机56)(图1)捕获的图像。另外地或可替代地，工作区域110中的图像可以包含定位在外科手术部位内的内窥镜E的表示，所述表示提供显示器44上示出的工作区域110的视图。
信息功能区120呈现在显示器44的区域中，其最小化工作区域110的模糊，同时向临床医师提供关于在工作区域110中可见的外科手术器械、末端执行器和/或内窥镜(例如，末端执行器A、B、和C和内窥镜E)的信息。另外，信息功能区120可以向临床医师提供关于工作区域110之外的外科手术机器人(例如，外科手术机器人10)的外科手术器械、末端执行器和/或内窥镜的信息。如所示出的，信息功能区120跨显示器44的顶部定位；然而，可以设想的是，信息功能区120可以跨显示器44的底部和/或沿着显示器44的侧面定位。
信息功能区120包含显示与末端执行器A、B和C以及内窥镜E有关的信息的图标。如图所示，信息功能区120包含提供关于末端执行器A的信息的图标122、提供关于末端执行器B的信息的图标124、提供关于末端执行器C的信息的图标126以及提供关于内窥镜E的信息的图标128。信息功能区120可以具有限定的边界(例如，一条线)，或者可以是无边界的。图标122-128跨信息功能区120布置，其中图标122、126与由临床医师的左手操纵的末端执行器(例如，末端执行器A和C)相关联、显示在信息功能区120的左侧；图标124与由临床医师的右手操纵的末端执行器(例如，末端执行器B)相关联、显示在信息功能区120的右侧；并且提供关于内窥镜E的信息的图标128定位在由临床医师的左手和右手控制的器械之间，并且可以在信息功能区120中基本上居中。图标122和126两者与由临床医师的左手操纵的末端执行器相关联、布置成图标126在图标122的左侧以对应于末端执行器C在工作区域110中相对于末端执行器A的位置。随着末端执行器A、C的位置在外科手术期间改变，图标122、126的位置可以相对于彼此切换或交换。位置可以实时交换，或者可能存在轻微的延迟，使得位置仅在末端执行器A、C的相对位置不正确时(例如，末端执行器C定位在工作区域110中的末端执行器A的右侧超过预定时间量，例如5秒)交换。这可以减少图标122、126的交换次数，这可能在外科手术期间分散临床医师的注意力。
图标122、124、126提供关于与相应图标相关联的末端执行器的信息。每一个末端执行器的信息以标准格式显示，但可能因末端执行器的器械类型而异。例如，电外科手术器械的图标可以具有与针对吻合器或抓握器的图标不同的信息。
特别参考图3A，提供了图标126的实施例以显示关于相关末端执行器C的信息。图标126基本上是具有圆形末端的矩形形状，并且包含背景162、臂标识符164、器械类型指示器165、模式指示器166和状态指示器168。背景162可以是固定的，或者可以指示相关联的末端执行器的状态。例如，当末端执行器(例如，末端执行器C)连接到外科手术机器人10(图1)的臂(例如，臂12)时，背景162可以具有第一颜色，例如蓝色或青色，并且当没有末端执行器连接到臂时，背景162可以是黑色的。臂标识符164显示信息以识别外科手术机器人的哪个臂或连杆与特定图标相关联。如图所示，臂标识符164显示“C”以指示图标126正在显示与外科手术机器人10(图1)的臂C相关的信息。
器械类型指示器165显示固定到外科手术机器人10的相应臂的末端执行器或工具的类型和/或名称以允许临床医师快速识别固定到相应臂的工具的类型。如图所示，末端执行器C的器械类型165是“电外科手术钳”。
图标126的模式指示器166提供与相关联的末端执行器的所选模式有关的信息。如图所示，当相关联的末端执行器处于第一模式(例如，单极或MonoCUT)时，模式指示器166可以是第一颜色，例如黄色，并且当相关联的末端执行器处于第二模式(例如，双极或BiSEAL)时，所述模式指示器可以是第二颜色，例如绿色。当不同类型的末端执行器与图标126相关联时，模式指示器166可以显示不同的模式。例如，当缝合末端执行器与图标126相关联时，第一模式可以指示抓握模式，并且第二模式可以指示缝合模式。
状态指示器168提供与相关联的末端执行器的状态有关的信息。例如，当相关联的末端执行器活动(例如，在用户接口40(图1)的手柄42的控制下)时，状态指示器168可以显示第一颜色，例如蓝色或青色，并且当相关联的末端执行器未活动(例如，不在用户接口40的手柄42的控制下)时，所述状态指示器可以显示第二颜色，例如红色或黄色。可替代地或另外地，状态指示器168可以提供何时执行相关联的末端执行器的功能的指示。例如，当正在执行例如递送电外科手术能量或缝合的功能时，状态指示器168可以显示第三颜色，例如绿色。另外，状态指示器168可以提供指示相关联的末端执行器的可耗尽资源的供应水平的信息。例如，当相关联的末端执行器是施夹器时，状态指示器168可以在施夹器充满夹具时具有第一尺寸或长度，并且所述状态指示器可以在从施夹器击发每一个夹具时减小其尺寸或长度。
参考图3B，公开了根据本公开的另一个图标226。图标226包含臂标识符264、器械类型265、模式指示器266和状态指示器268，其每一个的功能类似于上文详述的图标126的相似元件的功能，并且出于简洁的原因将不再进行讨论。图标226不包含限定的背景以增加显示器44的工作区域110的量。如图所示，模式指示器266是圆形形状的并且包含在其中的臂标识符264。模式指示器266可以具有各种形状。模式指示器266的形状可以表示与相关联的末端执行器有关的另外的信息，例如末端执行器的类型或末端执行器的模式。器械类型265显示在模式指示器266下方。状态指示器268显示在器械类型265下方。在一些实施例中，模式指示器266的形状表示相关联的末端执行器的模式，并且模式指示器266的颜色指示相关联的末端执行器的状态，使得可以去除状态指示器268。
参考图3C，公开了根据本公开的另一个图标326。图标326包含背景362、臂标识符364、器械类型365、模式指示器366和状态指示器368，其每一个的功能类似于上文详述的图标126的相似元件的功能，并且出于简洁的原因将不再进行讨论。图标326的形状基本上是矩形的。臂标识符364安置在背景的右侧，器械类型365显示在背景362内、在彼此相邻地显示的模式指示器366和状态指示器368上方。
应当理解，图标122、124、126中的每一个可以具有与上文详述的图标126、226和326类似的样式。根据与相应图标相关联的末端执行器的类型，图标122、124、126可以具有相同的样式或者各自可以具有不同的样式。图标122、124、126的每一个的信息可以增强临床医师的态势感知。增强临床医师的态势感知可以减少手术的持续时间和/或改善患者的结果。
返回参考图4，图标128是相关联的内窥镜(例如，内窥镜E)的表示并且提供了关于相关联的内窥镜的信息。内窥镜可以将外科手术部位的视图提供在显示器44上。图标128包含旋转指示器172，所述旋转指示器指示相关联的内窥镜绕其纵向轴线从中性位置(图2)旋转的程度。当相关联的内窥镜绕其纵向轴线旋转时，旋转指示器172绕图标128的中心旋转。图标128还包含倾斜指示器174，所述倾斜指示器指示相关联的内窥镜的纵向轴线的倾斜程度。倾斜指示器174是水平线，图标128的内部在水平线下方填充并且在水平线上方打开。当倾斜指示器174填充图标128的内部的一半时，相关联的内窥镜处于中性位置。图标128还可以增强临床医师的态势感知。
参考图5和6，信息功能区120可以包含指示其它控制模式的另外图标。例如，当手柄(例如，手柄42(图1))正在用于控制内窥镜(例如，内窥镜E)时，图标132显示在信息功能区120的相应侧上的信息功能区120中。特别参考图5，与临床医师的右手相关联的手柄正在用于内窥镜控制。当相关联的内窥镜的倾斜度改变时，信息功能区120还可以显示图标134。当手柄中的一个被“紧握”时，图标136可以显示在相应侧，以指示相应的手柄(例如，手柄42)被紧握。当控制从一个末端执行器交换到另一个末端执行器(例如，从末端执行器A交换到末端执行器C时)时，图标138可以显示在信息功能区120的相应侧上。另外，当末端执行器的控制从一个手柄交换到另一个手柄(例如，从左手柄交换到右手柄)时，可以显示图标138以指示末端执行器的控制正在交换侧，例如，末端执行器A的控制正在从左手柄交换到右手柄。应当理解，当控制正在交换侧时，与交换末端执行器相关联的图标可以改变信息功能区120的侧面。
现在参考图7，描述了根据本公开的GUI 100的击发指示器140。击发指示器140向临床医师提供正在击发的相关联的末端执行器的视觉标记。如图7所示出，末端执行器A是活动的并且由临床医师的左手控制的手柄操纵。当末端执行器A正在被击发时；例如，递送电外科手术能量、击发外科手术紧固件、施加夹具和/或用刀切断组织；击发指示器140在与具有信息功能区120的GUI 100的侧面相对的拐角中被激活；例如，当信息功能区120横跨GUI 100的顶部时，GUI 100的底部。例如，如图所示，当末端执行器A被击发时，击发指示器140定位在GUI 100的左下拐角中。击发指示器140沿着GUI 100的底部边缘和侧面边缘尺寸最大化以在不损害临床医师对工作区域110的视野的情况下增加击发指示器140的可见性。应当理解，击发指示器140远离底部边缘和侧面边缘延伸的距离被最小化以减少对工作区域110的干扰。击发指示器140可以显示为纯色或者可以以图案显示。另外，随着预定的击发持续时间减少，击发指示器140的尺寸可以减小，以提供击发剩余持续时间的指示。例如，击发指示器140跨底部边缘和/或侧面边缘的长度可以在击发期间减小。击发指示器140可以增强临床医师的态势感知。
参考图8，描述了根据本公开的GUI 100的离屏指示器150。离屏指示器150向临床医师提供相关联的末端执行器在工作区域110之外的视觉标记。如图8所示，末端执行器A处于工作区域110之外，并且由临床医师的左手控制的手柄操纵。当末端执行器A处于工作区域110之外时，离屏指示器150在与具有信息功能区120的GUI 100的侧面相对的拐角(例如，当信息功能区120横跨GUI 100的顶部时，GUI 100的底部)中被激活。例如，当末端执行器A处于工作区域110之外时，离屏指示器150定位在GUI 100的左下拐角中。离屏指示器150沿着GUI 100的底部边缘和侧面边缘的尺寸最大化以在不损害临床医师对工作区域110的视野的情况下增加离屏指示器150的可见性。另外地或可替代地，离屏指示器150可以定位在GUI 100的边缘上，以指示处于工作区域110之外的末端执行器A的位置。在这种实施例中，当末端执行器A移动到工作区域110之外时和/或当工作区域110的视野移动时，离屏指示器150可以围绕GUI 100的边缘移动。可以用交替颜色的图案显示离屏指示器150。可替代地，离屏指示器150可以显示为指向工作区域110外部的末端执行器A的位置的箭头。离屏指示器150可以增强临床医师的态势感知。
现在参考图9和10，提供了根据本公开的定制GUI 200。GUI 200允许临床医师理解和/或修改手柄42的控制。GUI 200包含相应手柄42的表示42'，相应手柄42的每一个控制接口用相应的功能标识。例如，标签210'标识手柄42的触发器210并且将触发器210的对应功能列为“抓握”。临床医师可以使用GUI 200来修改或映射哪个控制接口执行特定功能。例如，通过修改指示按钮214和218的框中的选择，临床医师可以使用GUI 200来将“钳口锁定”的功能从按钮214映射到按钮218，并且将“切割”的功能从按钮218映射到按钮214。进一步地，临床医师可以从这些按钮中的一个或多个(例如，按钮214)移除功能，使得可以在外科手术过程中停用相应的按钮。可设想到，临床医师可以创建分配给临床医师的简档，使得每次临床医师登录到简档时，临床医师的定制设置被自动分配到机器人外科手术系统1(图1)。如以上所详述的，GUI 200可以增强临床医师的态势感知。
如以上所详述并在图1中所示出的，用户接口40与机器人系统10可操作地通信，以对患者“P”进行外科手术。然而，可设想到，用户接口40可以与外科手术模拟器(未示出)可操作地通信以在模拟环境中虚拟地致动机器人系统和/或工具。例如，外科手术机器人系统1可以具有第一模式和第二模式，在所述第一模式下，用户接口40被联接以致动机器人系统10，在所述第二模式下，用户接口40被联接到外科手术模拟器以虚拟地致动机器人系统。外科手术模拟器可以是独立单元或者可以被整合到处理单元30中。外科手术模拟器通过用户接口40将视觉反馈、可听反馈、力反馈和/或触觉反馈提供给临床医师来虚拟地响应与用户接口40介接的临床医师。例如，当临床医师与输入装置手柄42介接时，外科手术模拟器移动虚拟地作用于模拟外科手术部位处的组织的代表性工具。可设想到，外科手术模拟器可以允许临床医师在对患者进行外科手术之前对所述外科手术进行实践。此外，外科手术模拟器可以用于在外科手术上对临床医师进行训练。进一步地，外科手术模拟器可以在提出的外科手术过程中模拟“并发症”以准许临床医师对外科手术进行规划。
虽然已经在附图中示出本公开的若干实施例，但是本公开并不旨在受其限制，因为本公开的范围旨在如领域将允许的一样广泛并且说明书同样以此方式阅读。以上实施例的任何组合还被设想并且处于所附权利要求的范围内。因此，以上描述不应被解释为限制性的，而仅作为特定实施例的例证。本领域技术人员将设想在所附权利要求的范围内的其它修改。

Claims (20)

1.一种机器人外科手术系统的用户接口的显示器上的图形用户界面，所述图形用户界面包括：
工作区域，其被配置成显示外科手术部位处的第一末端执行器的表示；以及
功能区，其具有第一图标，所述第一图标被配置成显示所述第一末端执行器的末端执行器数据。
2.根据权利要求1所述的图形用户界面，其中所述末端执行器数据包含所述第一末端执行器的标识符、所述第一末端执行器的类型、所述第一末端执行器的选定功能以及所述第一末端执行器的状态。
3.根据权利要求2所述的图形用户界面，其中所述第一末端执行器的所述状态指示所述第一末端执行器的可耗尽资源的供应水平。
4.根据权利要求1所述的图形用户界面，其中所述功能区包含内窥镜图标，所述内窥镜图标被配置成显示提供所述外科手术部位的视图的内窥镜的内窥镜数据。
5.根据权利要求4所述的图形用户界面，其中所述内窥镜数据包含旋转指示器或倾斜指示器中的至少一个。
6.根据权利要求4所述的图形用户界面，其中当所述第一末端执行器由所述用户接口的左手柄控制时，所述第一图标显示在所述内窥镜图标的左侧，并且当所述第一末端执行器由所述用户接口的右手柄控制时，所述第一图标显示在所述内窥镜图标的右侧。
7.根据权利要求4所述的图形用户界面，其中所述功能区包含第二图标，所述第二图标被配置成显示第二末端执行器的末端执行器数据，所述第二末端执行器具有显示在所述工作区域中的表示。
8.根据权利要求7所述的图形用户界面，其中当所述第二末端执行器由所述用户接口的左手柄控制时，所述第二图标显示在所述内窥镜图标的左侧，并且当所述第二末端执行器由所述用户接口的右手柄控制时，所述第二图标显示在所述内窥镜图标的右侧。
9.根据权利要求1所述的图形用户界面，其中所述功能区包含内窥镜控制图标，所述内窥镜控制图标用于指示提供所述外科手术部位的视图的内窥镜何时被用户控制。
10.根据权利要求9所述的图形用户界面，其中所述内窥镜控制图标显示在所述功能区的一侧、指示受所述内窥镜控制的外科手术机器人的控制手柄。
11.根据权利要求1所述的图形用户界面，其中所述功能区包含离合器图标以指示所述用户接口的控制手柄何时被紧握。
12.根据权利要求11所述的图形用户界面，其中所述离合器图标显示在所述功能区的一侧、指示所述用户接口的被紧握的所述控制手柄。
13.根据权利要求1所述的图形用户界面，其进一步包括击发指示器，其沿着形成与所述功能区相对的拐角的两个边缘显示，所述击发指示器在所述第一末端执行器被击发时显示。
14.根据权利要求1所述的图形用户界面，其进一步包括离屏指示器，当所述第一末端执行器处于所述显示器上示出的所述工作区域之外时，沿着所述显示器的边缘显示所述离屏指示器。
15.根据权利要求14所述的图形用户界面，其中所述离屏指示器沿着所述显示器的边缘定位、指示处于所述工作区域之外的所述第一末端执行器的方向。
16.一种机器人外科手术系统的用户接口的显示器上的图形用户界面，所述图形用户界面包括：
所述用户接口的相应手柄的表示，所述表示具有多个控制接口；以及
多个选择框，所述多个选择框中的每一个选择框具有将所述选择框与所述控制接口中的一个控制接口相关联的指示符，所述多个选择框中的所述选择框中的每一个选择框显示与相应控制接口相关联的功能的文本，可选择所述选择框中的至少一个选择框以修改与所述相应控制接口相关联的功能。
17.一种与用户接口介接以模拟或控制外科手术机器人的方法，所述方法包括：
可视化所述用户接口的显示器上的图形用户界面的功能区中的第一图标，所述第一图标提供与所述用户接口的第一控制手柄相关联的外科手术机器人的第一末端执行器的末端执行器数据，所述第一图标具有状态指示器，当所述第一控制手柄与所述第一控制手柄相关联时，所述状态指示器提供所述第一末端执行器活动的标记，所述第一图标具有提供所述第一末端执行器的当前模式的标记的模式指示器；以及
移动所述用户接口的所述第一控制手柄以在所述显示器的工作区域内移动所述第一末端执行器。
18.根据权利要求17所述的方法，其进一步包括击发所述第一末端执行器，在所述第一末端执行器被击发时，所述显示器包含沿着形成与所述功能区相对的拐角的两个边缘的击发指示器，以提供所述第一个末端执行器的所述击发的视觉标记。
19.根据权利要求17所述的方法，其中移动所述第一控制手柄包含移动所述第一控制手柄以使得所述第一末端执行器移动到所述显示器的所述工作区域之外，所述显示器包含沿着所述显示器的边缘的指示所述第一末端执行器的方向的离屏指示器。
20.根据权利要求17所述的方法，其进一步包括将内窥镜与所述第一控制手柄相关联以移动将视图提供在所述显示器上的内窥镜，在所述第一控制手柄的移动与所述内窥镜相关联时，内窥镜控制图标出现在所述功能区的一侧、指示所述第一控制手柄。
CN201880016094.8A 2017-03-15 2018-03-14 机器人外科手术系统、器械和控件 Pending CN110381873A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762471716P 2017-03-15 2017-03-15
US62/471,716 2017-03-15
PCT/US2018/022288 WO2018170031A1 (en) 2017-03-15 2018-03-14 Robotic surgical systems, instruments, and controls

Publications (1)

Publication Number Publication Date
CN110381873A true CN110381873A (zh) 2019-10-25

Family

ID=63522557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880016094.8A Pending CN110381873A (zh) 2017-03-15 2018-03-14 机器人外科手术系统、器械和控件

Country Status (4)

Country Link
US (1) US20200038125A1 (zh)
EP (1) EP3595565A4 (zh)
CN (1) CN110381873A (zh)
WO (1) WO2018170031A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6898285B2 (ja) * 2018-09-25 2021-07-07 株式会社メディカロイド 手術システムおよび表示方法
JP6902639B2 (ja) * 2018-09-25 2021-07-14 株式会社メディカロイド 手術システム
JP6856594B2 (ja) 2018-09-25 2021-04-07 株式会社メディカロイド 手術システムおよび表示方法
US11553956B2 (en) * 2019-04-04 2023-01-17 Cilag Gmbh International Surgical devices with visual indicators
EP3970603A4 (en) * 2019-05-16 2023-07-12 Hoya Corporation ENDOSCOPE PROCESSOR, PROGRAM AND INFORMATION PROCESSING METHOD
JP7080861B2 (ja) * 2019-07-29 2022-06-06 株式会社メディカロイド 手術システム
JP7128326B2 (ja) * 2020-02-21 2022-08-30 株式会社メディカロイド 手術システム
GB2594509B (en) * 2020-04-30 2024-04-10 Gyrus Medical Ltd Electrosurgical system with customised control
JP2022088805A (ja) * 2020-12-03 2022-06-15 株式会社メディカロイド ロボット手術システムおよび表示方法
JP7016400B2 (ja) * 2020-12-14 2022-02-04 株式会社メディカロイド 手術システムおよび表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220541A1 (en) * 1998-12-08 2003-11-27 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
CN102421387A (zh) * 2009-03-09 2012-04-18 直观外科手术操作公司 在自动化外科手术系统中用于电外科手术工具的可适配的集成能量控制系统
US20130217967A1 (en) * 2009-03-09 2013-08-22 Intuitive Surgical Operations, Inc. Method of user interfaces for electrosurgical tools in robotic surgical systems
WO2016149345A1 (en) * 2015-03-17 2016-09-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
WO2016201325A1 (en) * 2015-06-12 2016-12-15 Intuitive Surgical Operations, Inc. User interfaces and displays for flux supply units

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044295A1 (en) * 2002-08-19 2004-03-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
WO2009037576A2 (en) * 2007-04-16 2009-03-26 The Governors Of The University Of Calgary Methods, devices, and systems for non-mechanically restricting and/or programming movement of a tool of a manipulator along a single axis
US20110225545A1 (en) * 2010-03-09 2011-09-15 Horodezky Samuel J System and method of displaying graphical user interface objects
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
EP4082468A1 (en) * 2012-09-17 2022-11-02 Intuitive Surgical Operations, Inc. Methods and systems for assigning input devices to teleoperated surgical instrument functions
JP6350037B2 (ja) * 2014-06-30 2018-07-04 株式会社安川電機 ロボットシミュレータおよびロボットシミュレータのファイル生成方法
GB201703878D0 (en) * 2017-03-10 2017-04-26 Cambridge Medical Robotics Ltd Control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220541A1 (en) * 1998-12-08 2003-11-27 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
CN102421387A (zh) * 2009-03-09 2012-04-18 直观外科手术操作公司 在自动化外科手术系统中用于电外科手术工具的可适配的集成能量控制系统
US20130217967A1 (en) * 2009-03-09 2013-08-22 Intuitive Surgical Operations, Inc. Method of user interfaces for electrosurgical tools in robotic surgical systems
WO2016149345A1 (en) * 2015-03-17 2016-09-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
WO2016201325A1 (en) * 2015-06-12 2016-12-15 Intuitive Surgical Operations, Inc. User interfaces and displays for flux supply units

Also Published As

Publication number Publication date
WO2018170031A1 (en) 2018-09-20
US20200038125A1 (en) 2020-02-06
EP3595565A1 (en) 2020-01-22
EP3595565A4 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
CN110381873A (zh) 机器人外科手术系统、器械和控件
JP7195385B2 (ja) 医療処置トレーニングのためのシミュレータシステム
US11337765B2 (en) Indicator for tool state and communication in multi-arm robotic telesurgery
Bethea et al. Application of haptic feedback to robotic surgery
CN101291635B (zh) 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US8273076B2 (en) Indicator for tool state and communication in multi-arm robotic telesurgery
US20240033005A1 (en) Systems and methods for generating virtual reality guidance
Falcone Future directions and development in reproductive surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191025

WD01 Invention patent application deemed withdrawn after publication