CN110545748A - 具有用户接合监控的机器人外科手术系统 - Google Patents
具有用户接合监控的机器人外科手术系统 Download PDFInfo
- Publication number
- CN110545748A CN110545748A CN201980001014.6A CN201980001014A CN110545748A CN 110545748 A CN110545748 A CN 110545748A CN 201980001014 A CN201980001014 A CN 201980001014A CN 110545748 A CN110545748 A CN 110545748A
- Authority
- CN
- China
- Prior art keywords
- surgeon console
- handle
- user
- movement
- robotic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/03—Automatic limiting or abutting means, e.g. for safety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Manipulator (AREA)
Abstract
一种具有用户接合监控的机器人外科手术系统包含机器人组合件、外科医生控制台和跟踪装置。所述机器人组合件包含联接到外科手术器械的机械臂。所述外科医生控制台包含显示装置以及通信地联接到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的手柄。所述跟踪装置包含配置成捕获用户位置参考点的图像的图像捕获装置。所述外科医生控制台或所述跟踪装置中的至少一个配置成基于所述图像,计算所述用户位置参考点的位置;基于所述计算的位置,确定用户是否与所述外科医生控制台接合;并且响应于确定所述用户与所述外科医生控制台脱离接合,使所述机器人外科手术系统以安全模式操作。
Description
背景技术
机器人外科手术系统越来越受欢迎,并且使用机器人外科手术系统的人类工效学和舒适性已经通过开放式-控制台架构得到了改善。与需要外科医生将她的头部放置在沉浸式显示设备内以操作机器人外科手术系统的封闭式-控制台架构相比,开放式-控制台架构使外科医生能够在使用外科医生控制台的同时与手术室中的其它外科医生和工作人员保持更开放的交流。开放式-控制台架构还使外科医生能够更清醒地了解手术室内发生的事件,并且使外科医生处于更好的位置以处理外科手术过程期间可能出现的紧急情况。
然而,与使用封闭式-控制台架构相比,使用开放式-控制台架构的外科医生可能更容易从与外科医生控制台的接合分心。因此,具有开放式-控制台架构的机器人外科手术系统可能带来增加的安全风险。因此,需要系统、装置和方法来减轻由于外科医生从与机器人外科手术系统的接合分心而引起的安全风险。
发明内容
一方面,本公开描述了一种具有用户接合监控的机器人外科手术系统。所述机器人外科手术系统包含机器人组合件、外科医生控制台和跟踪装置。所述机器人组合件包含联接到外科手术器械的机械臂。所述外科医生控制台包含手柄和显示装置。所述手柄通信地联接到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个。所述跟踪装置包含配置成捕获用户位置参考点的图像的图像捕获装置。所述外科医生控制台或所述跟踪装置中的至少一个配置成基于所述捕获的图像,计算所述用户位置参考点相对于所述显示装置的位置;基于所述计算的位置,确定用户是与所述外科医生控制台接合还是脱离接合;并且响应于确定所述用户与所述外科医生控制台脱离接合,使所述机器人外科手术系统以安全模式操作。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成通过生成与所述用户位置参考点相对于所述显示装置在三维坐标空间内的所述位置或朝向中的至少一个相对应的位置数据,计算所述用户位置参考点的所述位置。
在实施例中,在确定所述用户是与所述外科医生控制台接合还是脱离接合中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成基于所述用户位置参考点相对于所述显示装置的所述位置和朝向,计算差异角度;将所述差异角度与第一阈值角度进行比较;并且响应于确定所述差异角度大于所述第一阈值角度,确定所述用户与所述外科医生控制台脱离接合。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成基于所述用户位置参考点相对于所述显示装置的所述位置和所述朝向,从多个第一阈值角度选择所述第一阈值角度。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成基于所述用户位置参考点的所述位置和所述朝向,计算所述用户位置参考点相对于所述显示装置的移动方向;并且基于所述用户位置参考点的所述移动方向,选择所述第一阈值角度。
在实施例中,在确定所述用户是与所述外科医生控制台接合还是脱离接合中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成响应于确定所述差异角度小于所述第一阈值角度,确定所述差异角度是否小于第二阈值角度,所述第二阈值角度小于所述第一阈值角度;并且响应于确定所述差异角度小于所述第二阈值角度,确定所述用户与所述外科医生控制台接合。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成响应于确定所述用户与所述外科医生控制台接合,使所述机器人外科手术系统退出所述安全模式。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成,在所述机器人外科手术系统以所述安全模式操作时,并且响应于确定所述用户与所述外科医生控制台接合,在确定所述用户接合之后经过阈值量的时间之后使所述机器人外科手术系统退出所述安全模式。
在实施例中,所述机器人外科手术系统另外包括计算装置。所述外科医生控制台或所述跟踪装置中的至少一个另外配置成在所述机器人外科手术系统以所述安全模式操作时,限制所述手柄从所述手柄的先前位置移动;并且向所述计算装置发射用于限制所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动的指令。所述计算装置配置成接收所述指令,并且将所述指令发射到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个。所述机械臂、所述机器人组合件或所述外科手术器械中的至少一个配置成接收所述指令,并且响应于所述指令,限制所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成在所述机器人外科手术系统以所述安全模式操作时,防止所述手柄的移动引起通信地联接到所述手柄的所述机械臂的对应移动。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成检测所述手柄的移动量;基于所述手柄的所述移动量,确定响应于所述手柄的所述移动而引起的所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动量;并且使所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个移动所述确定的移动量。在所述机器人外科手术系统以所述安全模式操作时,确定所引起的所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的所述移动量包含施加向下缩放因子。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成计算所述手柄的移动速度,并且基于所述速度,修改所述向下缩放因子。
在实施例中,所述外科医生控制台包含多个对应于所述手柄的电机,所述电机中的每一个电机可操作地联接到所述手柄并且与所述手柄的移动方向相关联。在所述机器人外科手术系统以所述安全模式操作时,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成计算所述手柄的移动速度;计算所述手柄的所述移动方向;基于所述手柄的所述移动的所述速度,计算与所述手柄的所述移动的所述方向相反的方向上的力;在所述手柄的所述多个电机中,识别和与所述手柄的所述移动的所述方向相反的所述方向相关联的电机;并且使所述识别的电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,以在与所述手柄的所述移动的所述方向相反的所述方向上产生所述计算的力。
在实施例中,所述外科医生控制台另外包括多个电机,所述多个电机可操作地联接到所述手柄并且分别与所述手柄的多个移动方向相关联。所述外科医生控制台或所述跟踪装置中的至少一个另外配置成响应于确定所述用户与所述外科医生控制台脱离接合,识别所述手柄的第一位置;计算由所述手柄从所述手柄的所述第一位置行进的距离;计算所述手柄的所述移动方向;基于所述距离,计算与所述手柄的所述移动的所述方向相反的方向上的力;在所述手柄的所述多个电机中,识别和与所述手柄的所述移动的所述方向相反的所述方向相关联的电机;并且使所述识别的电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,以在与所述手柄的所述移动的所述方向相反的所述方向上产生所述计算的力。
在实施例中,所述外科医生控制台另外配置成使所述电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,直到所述手柄定位在所述第一位置中。
在实施例中,所述机器人外科手术系统另外包括护目镜,所述护目镜包含多个标记,并且所述用户位置参考点包含所述多个标记中的至少一个标记。
在实施例中,所述用户位置参考点包含所述用户的眼睛、头部或另一个部分中的至少一个。
在实施例中,所述显示装置是自动立体显示装置。
根据另一方面,本公开描述了另一种具有用户接合监控的机器人外科手术系统。所述机器人外科手术系统包含机器人组合件和外科医生控制台。所述机器人组合件包含联接到外科手术器械的机械臂。所述外科医生控制台包含通信地联接到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的手柄。所述手柄包含电容传感器或光学传感器中的至少一个。所述外科医生控制台配置成从所述电容传感器或所述光学传感器中的至少一个接收与用户与所述手柄接触相关的数据;基于和与所述手柄接触相关的所述数据,确定所述用户是与所述外科医生控制台接合还是脱离接合;并且响应于确定所述用户与所述外科医生控制台脱离接合,使所述机器人外科手术系统以安全模式操作。
在实施例中,所述外科医生控制台另外配置成在确定所述用户是否与所述外科医生控制台脱离接合中,响应于和与所述手柄的所述接触相关的所述数据指示所述用户未与所述手柄接触,确定所述用户与所述外科医生控制台脱离接合。
附图说明
下文中参考附图描述了本公开的机器人外科手术系统和方法的各个方面和特征,其中:
图1A展示了根据本文的说明性实施例的示例性机器人外科手术系统;图1B和1C展示了图1的机器人外科手术系统的示例性光学跟踪装置;
图2A-2C展示了图1的机器人外科手术系统如何可以用于监控用户接合的示例性方面;
图3是展示了用于基于用户是与其外科医生控制台接合还是脱离接合来控制图1的机器人外科手术系统的操作模式的示例性方法的流程图;
图4是展示了用于确定用户是与图1的机器人外科手术系统的外科医生控制台接合还是脱离接合的示例性方法的流程图;
图5是展示了用于确定用户是与图1的机器人外科手术系统的外科医生控制台接合还是脱离接合的另一个示例性方法的流程图;
图6是展示了用于以一种或多种安全操作模式操作图1的机器人外科手术系统的示例性方法的流程图;并且
图7是展示了用于终止图1的机器人外科手术系统的一种或多种安全操作模式的示例性方法的流程图。
具体实施方式
本公开涉及减轻在外科机器人手术期间由于外科医生从与机器人外科手术系统的接合分心而引起的安全风险的机器人外科手术系统、装置、方法以及计算机可读媒体。更具体地说,本公开涉及系统和方法,其用于使用机器人外科手术系统识别用户的脱离接合并且当用户脱离接合时使机器人外科手术系统以一种或多种安全模式操作,从而减轻了用户无意地伤害患者或在分心时以其它方式通过使机器人外科手术系统致动而危及外科手术过程的风险。本文描述的系统和方法提供了用于跟踪相对于外科医生控制台的显示器的用户位置的各种技术,并且基于跟踪的用户位置确定用户是否与外科医生控制台脱离接合,甚至对于开放式-控制台架构也是如此。如果用户与外科医生控制台脱离接合,则机器人外科手术系统以一种或多种安全模式操作。利用本文描述的技术(technologies)、技术(techniques)和实施例,向用户提供进行机器人外科手术的更安全的操作环境,并且向患者提供通过机器人外科手术系统接受外科手术治疗的更安全的环境。现在参考附图对本公开的实施例进行详细的说明,在附图中,相似的附图标记指代若干视图中的每个视图中的相同或对应的元件。如本文所使用的,术语“用户”和“临床医生”是指医生、外科医生、护士、技术人员、医疗助理或类似的辅助人员或可以使用本文所描述的机器人外科手术系统的任何其它人。另外,在附图以及随后的描述中,使用如“前”、“后”、“上”、“下”、“顶部”、“底部”以及类似的方向术语等术语仅仅是为了方便描述并且不旨在限制本公开。在以下描述中,没有详细地描述公知的功能或结构,以避免不必要的细节混淆了本公开。
图1A示出了根据本文的示例性实施例的示例机器人外科手术系统100。通常,外科手术系统100配置成确定用户是否与外科手术系统100的外科医生控制台接合,并且基于所述确定,以各种操作模式中的一种操作模式操作,其中系统配置成以包含一种或多种安全模式以及一种或多种非安全模式,其也被称为正常模式操作。如图6所示并且如下所描述的,系统100配置成以如下类型的安全模式操作,所述类型的安全模式包含但不限于(1)基于锁定手柄和外科手术系统100的机器人组合件的安全模式;(2)基于防止手柄移动造成对应的机器人组合件移动的安全模式;(3)基于手柄的移动速度的安全模式;(4)基于基于-手柄速度的反向力的安全模式以及(5)基于基于-位置的反向力的安全模式。在图2到7的上下文中,本文提供了确定用户是与机器人外科手术系统100接合还是脱离接合,并且作为响应,使外科手术系统100以非-安全模式或安全模式操作的附加细节。仅出于说明性的目的提供图1A中描绘的系统100的部件的具体数量及其布置和配置,并且不应被解释为限制性的。例如,本文的各个实施例采用比图1A中所示的所有部件更少或更多的部件。另外,图1A中描绘的系统100是作为说明性上下文提供的,其中本文的各个示例性实施例均适用。
系统100包含外科手术期间患者104躺在上面的手术台102;跟踪装置160;外科手术期间用户用于交互的外科医生控制台170);计算装置180以及一个或多个机器人组合件190。跟踪装置160、外科医生控制台170和计算装置180彼此通信地联接,并且在本文的各个实施例中,借助于通信路径106的所述一个或多个机器人组合件190可以作为有线通信路径和/或作为无线通信路径实施。
所述一个或多个机器人组合件190中的每一个机器人组合件包含多个子单元191、192、193和194。子单元191是小车单元;子单元192是安装臂单元;子单元193是机械臂单元,并且子单元194是器械驱动单元。子单元191、192、193、194直接或间接地可操作地彼此联接,并且借助于一条或多条通信路径(图1A中未示出)直接或间接地彼此通信地联接。将小车单元191布置成邻近经历外科手术的患者104的范围内的手术台102,并且配置成沿手术台102或患者104的一侧并且朝且远离手术台102或患者104移动。器械驱动单元194可联接到可以互换地固定到其上的一个或多个对应的外科手术器械(图1A中未示出)和/或图像捕获装置(图1A中未示出),这取决于正在进行的特定外科手术。外科手术器械的示例性类型包含但不限于探针、末端执行器、抓紧器、刀、剪刀、和/或等。图像捕获装置的示例性类型包含但不限于内窥镜摄像机、腹腔镜摄像机、任何类型的图像捕获设备或联接到图像捕获设备的器械。计算装置180包含一个或多个处理器118以及一个或多个存储器单元120,并且所述一个或多个处理器118可操作地联接到所述一个或多个存储器单元120。在各个实施例中,计算装置180可以与外科医生控制台170集成,或者可以是安置在手术室内或附近的独立装置,如计算塔。所述一个或多个处理器118可以是适用于进行或执行本文描述的技术或操作或指令的任何类型的合适的处理器。所述一个或多个存储器单元120存储将由所述一个或多个处理器118执行的指令,如指令136(在一个实例中,软件),并且由计算装置180响应于执行存储在所述一个或多个存储器单元120中的指令的所述一个或多个处理器118而执行本文描述的技术。所述一个或多个存储器单元120可以是适合于存储机器指令、数据、和/或等的任何类型的硬件装置。
外科医生控制台170包含通信链路138;显示装置122;一个或多个手柄112A、112B(统称为一个或多个手柄112);一个或多个处理器133;一个或多个存储器单元134;脚踏板128;以及至少一个与手柄112配置成移动的方向相对应的电机,如用于手柄112A的电机132A和用于手柄112B的电机132B。显示装置122可以是触摸显示器,或者包含触摸屏,其配置成通过用户的触摸接收输入。在一些实施例中,显示装置122配置成显示配置成接收用于外科手术系统100的各种设置的输入的图形用户界面(GUI),所述设置包含但不限于用于确定用户是否与外科医生控制台170脱离接合中使用的安全模式和阈值数据的设置。显示装置122可以配置成显示由外科医生控制台170接收的图像,所述图像包含与来自联接到机器人组合件190的图像捕获装置的患者104上或所述患者内的外科手术部位相关的图像。在一些实施例中,显示装置122是二维(2D)显示装置。在一些实施例中,显示装置122配置成显示由外科医生控制台170接收的一个或多个立体图像,以允许用户将所述一个或多个立体图像视为三维(3D)图像。在一些实施例中,显示装置122是自动立体显示装置。
在外科手术期间,用户使用手柄112与外科医生控制台170交互。在一些实施例中,手柄112A是左手柄并且手柄112B是右手柄,分别由用户的左手和右手操作。在一些实施例中,手柄112A包含各种触觉件124A和/或致动器126A,所述触觉件和/或致动器向用户提供与各种组织参数或条件有关的反馈,如由于操纵、切割或以其它方式处理而产生的组织阻力;器械对组织的压力;组织温度;组织阻抗、和/或等。类似地,在一些实施例中,手柄112B包含各种触觉件124B和/或致动器126B,所述触觉件和/或致动器配置成类似于触觉件124A和/或致动器126A。触觉件124A和124B在本文中统称为触觉件124。致动器126A和126B在本文中统称为致动器126。如可以理解的,这种触觉件124向外科医生提供了模拟实际操作条件的增强型触觉反馈。触觉件124可以包含振动电机、电活性聚合物、压电装置、静电装置、亚音速音频波表面致动装置、反-电振动、或能够向用户提供触觉反馈的任何其它装置。如上所提及的,手柄112还可以包含各种不同的致动器126,例如,所述致动器可以用于精细的组织操纵和/或治疗,进一步增强外科医生模拟实际操作条件的能力。
外科医生控制台170包含可操作地联接到手柄112的一个或多个传感器130A和130B(统称为130)。例如,传感器130A可以可操作地联接到手柄112A,并且传感器130B可以可操作地联接到手柄112B。传感器130A和130B中的一个或多个传感器可以配置成确定与它们可操作地联接到的手柄的运动相关的度量。与手柄112的运动相关的度量的示例性类型包含但不限于手柄112的移动方向、手柄112的移动速度、手柄112的移动距离、和/或等。在一些实施例中,外科医生控制台170将与手柄112的运动相关的度量数据发射到外科手术系统100的计算装置180和/或机器人组合件,如机器人组合件190。传感器130A和130B中的一个或多个传感器可以是电容传感器和/或光学传感器,并且外科医生控制台170可以配置成基于从传感器130A和130B的电容传感器和/或光学传感器接收的数据,确定用户是否与手柄112A或手柄112B接触。
手柄112中的每一个手柄可操作地联接到至少一个电机,并且与手柄112配置成移动的每个移动方向上的至少一个电机相关联。这种电机的实例分别是用于手柄112A和手柄112B的电机132A和电机132B(统称为电机132)。电机132A中的每个电机可操作地联接到手柄112A,并且电机132A中的每个电机与手柄112A配置成移动的移动方向相关联。类似地,电机132B中的每个电机可操作地联接到手柄112B,并且电机132B中的每个电机与手柄112B配置成移动的移动方向相关联。与方向相关联的电机132中的每个电机配置成在相关联的方向上致动,以引起手柄112在相关联的方向上的移动,并且在与其相关联的方向相反的方向上致动,以抵抗手柄112在相关联的方向上的移动。例如,如果手柄112A配置成在左方向上移动,然后电机132A中的至少一个电机与左方向相关联。如果期望手柄112A应在左方向上移动,然后外科医生控制台170在与左方向相对应的方向上使与左方向相关联的电机致动,以协助手柄112A在左方向上的移动,并且如果期望抵抗手柄112A在左方向上的移动,然后外科医生控制台170在对应于与左方向相反的方向的方向上使与左方向相关联的电机致动,以抵抗手柄112A在左方向上的移动。电机132配置成以各种速度致动。
脚踏板128配置成从用户接收对外科医生控制台170的一个或多个输入。脚踏板128配置成放置在两个或更多个位置中,并且脚踏板128的一个位置与外科医生控制台170的输入相关联。脚踏板128的位置的选择向外科医生控制台170提供相关联的输入。在一些实施例中,用户使用脚踏板128提供输入以更新与外科手术系统100的一个或多个部件相关的设置和/或配置数据。外科医生控制台170配置成基于通过脚踏板128接收的输入来更新设置和/或配置数据,并且将经过更新的设置和/或配置数据发射到计算装置180和/或所述一个或多个机器人组合件,如机器人组件190。在一些实施例中,脚踏板128的位置中的一个位置配置成脚踏板128的静止位置,并且当脚踏板128处于静止位置中时,将指示脚踏板128处于静止位置中的输入信号发射到外科医生控制台170。在一些实施例中,脚踏板128是瞬时脚踏开关,并且基于对脚踏板128的一系列询问,如双击脚踏板128,发射外科医生控制台170的输入。外科医生控制台170将通过脚踏板128接收的输入发射到外科手术系统100的计算装置180和/或机器人组合件,如机器人组合件190。
虽然图1A将跟踪装置160和外科医生控制台170作为通过通信路径和通信链路138、167彼此通信地联接的独立部件示出,但是此配置仅作为说明性实例提供。在其它实施例中,将跟踪装置160集成到外科医生控制台170中。因此,在各个其它实施例中,本文中描述的由跟踪装置160和/或由外科医生控制台170执行的功能可以由跟踪装置160、由外科医生控制台170、由其任何组合和/或由其部件的任何组合执行,如处理器133或165和/或存储器134或166。
在一个实施例中,跟踪装置160包含一个或多个图像捕获装置161、一个或多个处理器165、一个或多个存储器166、以及一个或多个通信链路167。外科医生控制台170配置成实时或近乎-实时地识别并跟踪用户位置参考点(例如,用户或由用户佩戴的护目镜163的一部分);确定用户是与外科医生控制台170接合还是脱离接合;并且基于确定的结果使外科手术系统100以非安全模式或安全模式操作。如本文所使用的,术语用户位置参考点通常是指用户的至少一部分和/或外科医生控制台170可以用作基础的物体(如眼镜)的至少一部分,在所述物体上计算和/或跟踪用户相对于参考坐标系)的位置和/或朝向,如由面向用户的显示装置122的前平面限定的坐标系。在各个实施例中,用户位置参考点可以包含用户或物体的单个部分或者包含用户或物体的多个部分。如本文在此上下文中所使用的,术语“用户的一部分”是指用户的任何解剖部位,包含但不限于眼睛、眼睛内的瞳孔、头部、面部、和/或等。所述一个或多个图像捕获装置161的示例性类型是图1B中所示的图像捕获装置161a和161b。如图1B所示,图像捕获装置161a和161b彼此分开定位。外科医生控制台170配置成使图像捕获装置161移动,以在一个或多个时间段内跟踪用户部分参考点。在一些实施例中,所述一个或多个图像捕获装置161置放在壳体单元内,如壳体单元162,并且壳体单元162包含在外科医生控制台170内或附接到所述外科医生控制台。
在一些实施例中,在一个或多个面部和/或特征识别算法上训练外科医生控制台170,并且所述外科医生控制台配置成通过将所述一个或多个面部和/或特征识别算法应用于由图像捕获装置161捕获的一个或多个图像上来检测用户的眼睛、瞳孔、头部、面部、和/或等。在一些实施例中,外科医生控制台170配置成执行用户位置参考点的光学跟踪,并且所述一个或多个图像捕获装置161在其透镜前面配备有红外(IR)边通滤光片(图1A-1C中未示出)并且围绕透镜配备有一圈IR发光二极管(LED)(图1A-1C中未示出)。在光学跟踪用户位置参考点时,外科医生控制台170用使用IR LED的IR光周期性地照射所需的空间,并且使用所述一个或多个图像捕获装置161,通过检测来自放置在用户或物体,如由用户佩戴的护目镜163的一部分上的标记的IR光反射来识别并跟踪用户位置参考点。护目镜163的示例性类型包含标记164a、164b、164c、164d、164e(统称为164),所述标记可以是图1C中示出的定位于所述护目镜上的反射标记。
外科医生控制台170包含一个或多个处理器133和一个或多个存储器单元134。所述一个或多个处理器133可操作地联接到所述一个或多个存储器单元134。所述一个或多个处理器133可以是适用于进行或执行本文描述的技术或操作或指令的任何类型的合适的处理器。所述一个或多个存储器单元134存储将由所述一个或多个处理器133执行的指令(图1A中未示出),并且响应于执行存储在所述一个或多个存储器单元134中的指令的所述一个或多个处理器133,可以由外科医生控制台170执行本文描述的技术。所述一个或多个存储器单元134可以是适合于存储机器指令、数据、和/或等的任何类型的硬件装置。
机器人组合件190的处理器118、133、165和处理器(图1A中未示出)(统称为外科手术系统100的处理器)可以是被编程成依照固件、存储器或其它存储器或其组合中的指令执行本文描述的技术的硬件处理器。类似地,外科手术系统100的处理器也可以是被持续编程成执行本文描述的技术或操作的一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)。外科手术系统100的处理器还可以是中央处理单元(CPU)、数字信号处理器(DSP)、微处理器或并入用于执行本文描述的操作或技术的硬连线逻辑或程序逻辑或两者的任何其它装置。
机器人组合件190的存储器单元120、134、166和存储器单元(图1A中未示出)(统称为机器人外科手术系统100的存储器单元)可以是易失性存储器,如随机存取存储器(RAM)(例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和/或等)。机器人外科手术系统100的存储器单元可以是非易失性存储器,如只读存储器(ROM)(例如,可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、非易失性RAM(NVRAM)、和/或等)。外科手术系统100的存储器单元也可以是磁性、光学或电子媒体。如将理解的,机器人外科手术系统100实施方案的处理器和存储器单元仅借助于实例提供,并且不应被解释为限制性的。例如,本公开的实施例中的任何实施例的过程可以由硬件部件、固件部件、软件部件和/或其任何组合实施。
现在转向图2A,示出了根据本文的一个或多个实施例的显示装置122和所述一个或多个图像捕获装置161的示例性布置。所述一个或多个图像捕获装置161在位置上被固定到显示装置122,使得图像捕获装置161与显示装置122之间的位置关系是已知的,并且外科医生控制台170、跟踪装置160和/或计算装置180配置成部分地基于图像捕获装置161与显示装置122之间的位置关系,确定用户是与外科医生控制台170接合还是脱离接合。在一些实施例中,图像捕获装置161与显示装置122之间的位置关系作为输入,例如,由用户提供给外科医生控制台170。
基于显示装置122相对于放置外科医生控制台170的环境的固定位置,如房间的地面或地板的朝向,外科医生控制台170可以配置成计算所述一个或多个图像捕获装置161与显示装置122之间的位置关系。在实时地和在一个或多个时间段内跟踪用户位置参考点时,外科医生控制台170计算时间段中的每一个时间段中用户位置参考点相对于显示装置122的位置。部分地基于与所述一个或多个图像捕获装置161与显示装置122之间的位置关系相关的数据,计算用户位置参考点相对于显示装置122的位置。在计算用户位置参考点相对于显示装置122的位置时,外科医生控制台170计算用户位置参考点的位置和朝向。在三维坐标空间中,例如,在x、y和z坐标空间中计算用户位置参考点的位置,并且通过计算用户位置参考点的滚动角度、俯仰角度和偏航角度来计算用户位置参考点的朝向。计算用户位置参考点相对于显示装置122的位置和朝向。
使用用户位置参考点的位置和朝向,外科医生控制台170计算差异角度θΔ。如本文所使用的,术语“差异角度”是在垂直于(normal to)或垂直于(perpendicular to)显示装置122的前平面的假想线206与正交于由一个或多个被跟踪的用户位置参考点(例如,与标记164中的三个标记相对应的三个用户位置参考点)形成的平面的假想线207之间的角度。这种差异角度θΔ的实例在图2A中示出为差异角度θΔ201。垂直的假想线207基本上与外科医生正在观察的方向对齐。在图2A、图2B、图2C的实例中,用户佩戴其上定位有标记164的护目镜163,所述标记中的至少三个标记164表示用户位置参考点,并且外科医生控制台170正在执行用户位置参考点的光学跟踪。通过计算在垂直于由标记164形成的平面的假想线207与垂直于显示装置122的前平面的假想线206之间的相对角度,外科医生控制台170计算差异角度θΔ201。
当用户的头部移动时,垂直于由标记164形成的平面的假想线207的位置从第一位置(例如,图2A中所示的位置)改变到第二位置(例如,图2A或图2B中所示的位置),并且因此差异角度θΔ201发生改变,如图2B和图2C所示。在外科医生控制台170通过检测如用户的眼睛等用户特征来跟踪用户位置参考点的实施例中,通过计算垂直于所检测到的用户特征的假想线(图2A-2C中未示出)的位置以及垂直于显示装置122的前平面的假想线206的位置,并且通过计算在两条假想线的经过计算的位置之间的角度,外科医生控制台170计算差异角度θΔ201。当所检测到的特征相对于显示装置122移动时,垂直于所检测到的特征的假想线的位置发生改变,并且因此差异角度θΔ201发生改变。
外科医生控制台170配置成部分地基于差异角度θΔ201,确定用户是与外科医生控制台接合还是脱离接合。在图3、图4和图5的上下文中,本文提供了通过外科医生控制台170确定关于用户是与外科医生控制台170接合还是脱离接合的额外细节。
图3展示了根据本文的示例性实施例,用于基于用户是与外科医生控制台170接合还是脱离接合控制机器人外科手术系统100的操作模式的方法。在步骤302处,外科医生控制台170确定外科医生控制台170当前正在操作的模式,如安全模式或正常模式(除安全模式之外的任何模式)。如果外科医生控制台170确定外科医生控制台170当前正以正常模式(步骤302处的“正常模式”)操作,然后处理进行到框304。在框304处,外科医生控制台170确定用户是与外科医生控制台170接合还是脱离接合。以下结合图4和图5提供了外科医生控制台170如何在步骤304处进行确定的示例性方面。通常,外科医生控制台170可以通过跟踪用户的头部或眼睛位置(例如,相对于显示装置122)、手部位置(例如,与一个或多个手柄112接触)或其任何组合,确定用户是与外科医生控制台170接合还是脱离接合。如果外科医生控制台170确定用户与外科医生控制台170接合(在框304处“接合”),然后处理进行到框306,在所述框处,外科医生控制台170继续以正常模式操作。如果外科医生控制台170确定用户与外科医生控制台170脱离接合(在框304处“脱离接合”),然后处理进行到框308,在所述框处,外科医生控制台170停止以正常模式操作,并且开始以安全模式(如下所描述的安全模式)操作。根据步骤306和308中的每一个步骤,处理进行到步骤316,这将在下文中进行描述。
返回参考步骤302,如果外科医生控制台170确定外科医生控制台170当前正以安全模式(步骤302处的“安全模式”)操作,然后处理进行到框310。在框310处,外科医生控制台170确定用户是与外科医生控制台170接合还是脱离接合。以下结合图4和图5提供了外科医生控制台170如何在步骤304处进行确定的示例性方面。如果外科医生控制台170确定用户与外科医生控制台170脱离接合(在框310处“脱离接合”),然后处理进行到框312,在所述框处,外科医生控制台170继续以安全模式操作。如果外科医生控制台170确定用户与外科医生控制台170接合(在框310处“接合”),然后处理进行到框314,在所述框处,外科医生控制台170停止以安全模式操作,并且开始以正常模式操作。根据步骤312和314中的每一个步骤,处理进行到步骤316。
在步骤316处,外科医生控制台170例如,通过确定用户是否已经输入关闭外科医生控制台170的命令,确定是否终止外科医生控制台170的操作。如果外科医生控制台170确定将终止外科医生控制台170的操作(在316处的“是”),然后外科医生控制台170进入非活动状态(例如,断电状态或睡眠状态)并且方法300终止。如果外科医生控制台170确定将不终止外科医生控制台170的操作(在316处的“否”),然后处理返回到如上所描述的步骤302。
图4是展示了用于确定用户是与图1的机器人外科手术系统100的外科医生控制台170接合还是脱离接合的示例性方法的流程图。在步骤402处,外科医生控制台170以多种方式中的一种方式检测用户位置参考点。例如,在用户位置参考点是用户的一部分(如头部、眼睛、和/或等)的实施例中,外科医生控制台170可以通过通过图像捕获装置161捕获包含用户的一部分的图像,并且通过在所捕获的图像上执行一个或多个已知的图像识别算法,检测用户位置参考点。在用户位置参考点是用户佩戴的护目镜163的一部分(如,对应于标记164中的三个标记的一个或多个用户位置参考点)的实施例中,外科医生控制台170可以通过通过图像捕获装置161捕获包含标记164的图像,并且通过在所捕获的图像上执行一个或多个图像识别算法,检测用户位置参考点。
在步骤404处,外科医生控制台170计算所检测到的用户位置参考点相对于显示装置122的位置。在步骤406中,外科医生控制台170计算所检测到的用户位置参考点相对于显示装置122的朝向。在图像捕获装置161配备有IR边通滤光片和IR LED并且外科医生控制台170配置成执行光学跟踪的实施例中,外科医生控制台170计算一个或多个标记相对于显示装置122的位置和朝向,并且基于所述一个或多个标记的位置和朝向,计算用户位置参考点和/或用户的一部分的位置和朝向。
在步骤408中,外科医生控制台170基于分别在步骤404和406处计算的用户位置参考点的位置和朝向,计算差异角度θΔ201。如上所描述的,在计算差异角度θΔ201时,外科医生控制台170计算垂直于由用户位置参考点限定的平面的假想线的位置以及垂直于显示装置122的前平面的假想线的位置,并且计算位置之间作为差异角度的角度θΔ201。在步骤410中,外科医生控制台170基于分别在步骤404和406处计算的用户位置参考点的位置和朝向,计算用户位置参考点的移动方向。在一些实施例中,外科医生控制台170通过将当前时间实例中的用户位置参考点的位置和朝向与先前时间实例的位置和朝向进行比较,计算用户位置参考点的移动方向。
在步骤412中,外科医生控制台170基于用户部分的移动方向选择第一阈值角度θt1(例如,参考图2B和图2C,向上方向的θt1u 202或向下方向的θt1d 204)。用户位置参考点的每个可能的移动方向或者用户位置参考点的可能的移动方向的至少一个子集与阈值角度相关联,并且在存储在外科医生控制台170的存储器单元,如存储器单元134中的一个存储器单元或可操作地联接到外科医生控制台170的存储装置中的一组规则中指定阈值角度与用户位置参考点的移动方向之间的关联性。例如,如果如上、下、左、右等每个移动的基本方向都与第一阈值角度相关联,然后一组规则为上、下、左和右中的每一个基本方向指定对应的第一阈值角度θt1,并且外科医生控制台170使用一组规则选择与用户位置参考点的所计算的移动方向相对应的第一阈值角度。
在一些实施例中,与与另一个移动方向相关联的阈值角度相比,与一个移动方向相关联的阈值角度具有不同的大小。例如,与向下的移动方向相关联的阈值角度(例如,参考图2C,θt1d 204)可以大于与向右的移动方向(图2C中未示出)相关联的阈值角度。特定移动方向的阈值角度的大小部分地基于外科手术系统100的部件是否定位于所述方向上以及所述部件与显示装置122的距离。例如,如果脚踏板128定位于显示装置122下方,然后向下方向的阈值角度的大小应该足够大到在未将用户识别为与外科医生控制台170脱离接合的用户的情况下,容纳所述用户观看脚踏板128。在一些实施例中,特定移动方向的阈值角度的大小取决于外科医生控制台170的用户与外科手术系统100的部件在所述方向上交互的可能性。例如,如果第二显示装置定位于显示装置122的右侧,但是第二显示装置未向外科医生控制台170的用户提供任何有用的信息,然后用户将不太可能在观看第二显示装置的同时仍然打算与外科医生控制台170接合。因此,与第二显示装置所定位的方向,在此实例中为右方向相关联的阈值角度不应该足够大到容纳用户观看第二显示装置。然而,如果第二显示装置向用户提供有用信息或者用户与所述第二显示装置交互,然后用户更可能观看第二显示装置,并且所述方向上的阈值角度的大小应该足够大到容纳用户观看第二显示装置。
在一些实施例中,外科医生控制台170配置成相对于面向显示装置122的用户识别可操作地且通信地联接到外科医生控制台170的附加部件的位置和朝向,并且基于附加部件的位置和朝向增加与所述方向相关联的阈值角度。例如,如果除了默认数量的显示装置之外的显示装置可操作地且通信地联接到面向外科医生控制台170的用户的右侧的外科医生控制台170,然后外科医生控制台170基于附加显示装置相对于面向显示装置122或使用外科医生控制台170的用户的位置和朝向,增加与用户的右方向相关联的阈值角度。在一些实施例中,将可操作地且通信地联接到外科医生控制台170的附加部件的位置和朝向作为输入提供给外科医生控制台170,并且外科医生控制台170确定附加部件相对于外科医生控制台170的用户所处的方向,计算与所述方向相关联的阈值角度的大小的增加,并且通过所述所计算的大小的增加来增加所述阈值角度。
因此,通过为不同的移动方向指定不同的阈值角度,外科医生控制台170减小了当用户与外科医生控制台170接合时错误地将用户识别为与外科医生控制台170脱离接合的可能性。减少这种错误识别进一步减少了错误地使外科手术系统100以安全模式启动和操作,并且提高了外科手术系统100的整体效率。
在一些实施例中,每个移动方向还与小于第一阈值角度θt1(例如,向上方向的θt1u202或向下方向的θt1d 204)的第二阈值角度θt2(例如,参考图2B和图2C,向上方向的θt2u 203或向下方向的θt2d 205)相关联,并且一组规则指定了每个移动方向的相关联的第二阈值角度θt2。在这种实施例中,在步骤414中,外科医生控制台170使用一组规则选择与在步骤410处计算出的用户位置参考点的移动方向相对应的第二阈值角度θt2。第二阈值角度θt2用于确定已经被识别为与外科医生控制台170脱离接合的用户是否与外科医生控制台170重新接合。通过提供小于第一阈值角度θt1的第二阈值角度θt2,外科手术系统100创建防止外科手术系统100在以安全模式与非安全模式操作之间快速振荡的缓冲区。
在步骤416中,外科医生控制台170将在步骤408处基于分别在步骤404和406处计算的用户位置参考点的位置和朝向计算的差异角度θΔ201与第一阈值角度θt1进行比较。如果外科医生控制台170确定差异角度θΔ201大于第一阈值角度θt1(在步骤416处“θΔ>θt1”),然后在步骤418中,外科医生控制台170确定用户脱离接合。在一些实施例中,如上文结合图3的步骤308和/或312所描述的,外科医生控制台170响应于将用户识别为脱离接合,使外科手术系统100以选定的安全模式操作,例如,通过启动并处理与所选安全模式相关联的步骤。
在一些实施例中,外科医生控制台170被配置有存储在存储器单元134中或可操作地联接到外科医生控制台170的存储装置中的指示器,所述指示器的值指示外科手术系统100是以安全模式还是非安全模式操作,本文称为“安全模式指示器”,并且外科医生控制台170至少部分地基于安全模式指示器的值,确定外科手术系统100是否以安全模式操作。外科医生控制台170配置成更新安全模式指示器的值,以指示在使外科手术系统100以安全模式操作时或者在用户被识别为与外科医生控制台170脱离接合时,外科手术系统100以安全模式操作。安全模式指示器的实例包含但不限于标志变量,外科医生控制台170更新所述标志变量的值以指示外科手术系统100是否以安全模式操作,例如通过设置标志变量的值为一(1)以指示外科手术系统100以安全模式操作,并且设置为零(0)以指示外科手术系统100以非安全模式操作。
在一些实施例中,外科医生控制台170配置成选择存储在外科医生控制台170的存储器单元,如存储器单元134中或可操作地联接到外科医生控制台170的存储装置中的一组规则中指定的默认安全模式。在一些实施例中,多种安全模式的列表,其中所述多种安全模式中的每一种安全模式与排序相关联,存储在一个或多个存储器单元134或可操作地联接到外科医生控制台170的存储装置中,并且外科医生控制台170配置成基于与安全模式相关联的排序从多种安全模式的列表中选择。在一些实施例中,外科医生控制台170提供呈现各种安全模式的列表的GUI,其中外科手术系统100配置成以所述各种安全模式操作,并且用户选择安全模式并使用GUI将选择作为输入提供给外科医生控制台170。本文在图6和图7的上下文中提供了安全模式中的一些安全模式的附加细节,其中外科手术系统100配置成以所述安全模式操作。
在步骤416中,如果外科医生控制台170确定差异角度θΔ201不大于第一阈值角度θt1(在步骤416处“θΔ≤θt1”),然后在第二阈值角度θt2与移动方向相关联并且选择了第二阈值角度t2的实施例中,外科医生控制台170进行到步骤420。在步骤420中,外科医生控制台170将差异角度θΔ与第二阈值角度θt2进行比较。如果外科医生控制台确定差异角度θΔ小于第二阈值角度θt2(在步骤420处,“θΔ<θt2”),然后在步骤422中,外科医生控制台170确定用户接合。在实施例中,外科医生控制台170可以进一步确定用户的XYZ位置(即,确定用户的头部、面部或3D眼镜在三维空间中相对于外科医生控制台170的位置)以确定用户是否接合。例如,通过确定用户相对于外科医生控制台170的XYZ位置,外科医生控制台170可以确定用户是否离外科医生控制台太远,并且提供指示这一点的通知。另外,在多个个体处于外科医生控制台170的预定距离内的实施例中,外科医生控制台170可以确保跟踪正确的个体(即用户),并且确保站在用户后面的另一个个体未被确定为与外科医生控制台170接合。
如果外科医生控制台170确定差异角度θΔ不小于第二阈值角度θt2(在步骤420处“θΔ≥θt2”),然后在步骤424处,外科医生控制台170确定外科手术系统100是否以安全模式操作。在一些实施例中,外科医生控制台170可以另外确定用户的位移是否大于预定阈值。另外地或替代性地,外科医生控制台170可以确定位移梯度。通过确定位移梯度和/或位移是否大于预定阈值,外科医生控制台170可以确定位移在太短的时间段内是否过大,可能会出现以下情况:如果在外科医生控制台170的接合区域中有多个个体,并且错误地将用户以外的个体的移动归因于用户,或者跟踪器从一个用户跳转到另一个用户。如果确定位移大于预定阈值或者位移梯度指示跟踪器可能已经在个体之间跳转,则可以激活安全模式。如果外科医生控制台170确定外科手术系统100正在以安全模式操作(步骤424处的“是”),然后在步骤418中,外科医生控制台170将用户识别为与外科医生控制台170脱离接合。如果外科医生控制台170确定外科手术系统100未以安全模式操作(步骤424处的“否”),然后在步骤422中,外科医生控制台170将用户识别为与外科医生控制台170接合(或重新接合,视情况而定)。如上文结合图3的步骤306和/或314所描述的,响应于将用户识别为接合状态,外科医生控制台170使外科手术系统100以正常(非-安全)模式操作,例如,通过启动并处理与正常模式相关联的步骤。在一些实施例中,在步骤420中,外科医生控制台170配置成在将用户识别为与外科医生控制台170重新接合之前,等待阈值量的时间。在外科医生控制台170被配置有安全模式指示器的实施例中,外科医生控制台170更新安全模式指示器的值,以指示在用户被识别为与外科医生控制台170接合或重新接合时,或者在使外科手术系统100退出安全模式时,外科手术系统100未以安全模式操作。
图5示出了确定外科医生控制台170的用户是与外科医生控制台170接合还是脱离接合的另一个说明性方法500。在各个实施例中,外科医生控制台170可以配置成通过单独地或彼此任意组合采用方法300(图3)和/或方法400(图4),确定用户是与外科医生控制台170接合还是脱离接合。
在步骤502处,外科医生控制台170的处理器133从一个或多个传感器130获得指示用户是否与外科医生控制台170的一个或多个手柄112接触的数据。在步骤504处,外科医生控制台170基于在步骤502处获得的数据,确定用户是否与手柄112接触。具体地,例如,外科医生控制台170可以在步骤504处基于来自一个或多个传感器130A的输出,如联接到手柄112A并且配置成识别用户与手柄112A的接触的电容传感器和/或光学传感器,确定用户是否与手柄112A接触。来自这种传感器130A的示例性输出类型包含但不限于当用户与联接到传感器的手柄112A接触时的高信号或一(1)以及当用户未与手柄112A接触时的低信号或零(0)。例如,传感器130A是电容传感器,所述电容传感器配置成当用户与手柄112A接触时,将高信号或一(1)发射到外科医生控制台170的处理器133,并且当用户未与手柄112A接触时,将低信号或零(0)发射到所述外科医生控制台的所述处理器,然后如果处理器133从电容传感器130A接收到高信号或1,则外科医生控制台170确定用户与手柄112A接触,并且如果处理器133从电容传感器130A接收到低信号或(0),则所述外科医生控制台确定用户未与手柄112A接触。在一些实施例中,如果用户同时与手柄112中的大多数手柄接触,则外科医生控制台170确定用户与外科医生控制台170接触。例如,如果外科医生控制台170包含三个手柄112,并且外科医生控制台配置成如果用户与手柄112中的大多数手柄接触,则确定用户与外科医生控制台170接触,然后如果用户同时与手柄112中的至少两个手柄接触,则外科医生控制台170确定用户与外科医生控制台170接触。类似地,如果外科医生控制台170包含两个手柄112,然后如果用户与手柄112中的两个手柄,外科医生控制台170的手柄112中的大多数手柄接触,则外科医生控制台170确定用户与外科医生控制台170接触。
在步骤506中,如果外科医生控制台170确定用户未与外科医生控制台170接触(在步骤506处的“否”),然后在步骤510中,外科医生控制台170将用户识别为与外科医生控制台170脱离接合。在步骤506中,如果外科医生控制台170确定用户与外科医生控制台170接触(在步骤506处的“是”),然后在步骤508中,外科医生控制台170将用户识别为与外科医生控制台170重新接合。
如上所描述的,外科手术系统100配置成单独地或以任何组合以一种或多种安全模式操作,并且本文在图6和图7的上下文中提供了这些安全模式的附加细节。具体地,图6和图7示出了展示了用于以以下五种说明性安全操作模式中的一种或多种安全操作模式操作图1的机器人外科手术系统100的示例性方法600的流程图:(1)离合安全模式;(2)锁定安全模式;(3)缩放因子安全模式;(4)基于手柄速度的反向力安全模式;以及(5)基于手柄位置的反向力安全模式。在一些实施例中,外科手术系统100配置成基于关于用户是与外科医生控制台170接合还是脱离接合的确定(参见例如图3的步骤304和/或310、图4的方法400和/或图5的方法500),根据方法600进入(参见例如图3的步骤308)或保持在(参见例如图3的步骤312)安全模式中的一种或多种安全模式中。现在参考图6,在步骤602处,外科医生控制台170例如基于上文描述的安全模式指示器的值,确定进入或保持在哪种安全模式。虽然本文在控制机器人组合件190或其子单元191、192、193和194中的一个机器人组合件或其子单元的上下文中描述了一些安全模式,但是在各个实施例中,安全模式包含同时控制多个机器人组合件190和/或其子单元191、192、193和194。
如果外科医生控制台170确定进入或保持在离合安全模式中(在步骤602处的“离合”),然后处理进行到步骤604。当外科手术系统100以非安全模式操作时,外科医生控制台170通过将与外科医生控制台170的手柄112的移动相关的数据发射到通信地联接到手柄112的机器人组合件190的子单元191、192、193和194中的一个或多个子单元,使机器人组合件190的子单元191、192、193和194中的一个或多个子单元移动,并且接收与手柄112的移动相关的数据的子单元191、192、193和194中的一个或多个子单元部分地基于所接收的数据移动。
在步骤604中,当外科手术系统100以离合安全模式操作时,对于外科医生控制台170的每个手柄112来说,外科医生控制台170例如通过防止将与手柄112的移动相关的数据发射到一个或多个子单元191、192、193和/或194,防止手柄112的移动引起通信地联接到所述手柄112的机器人组合件190的子单元191、192、193和194中的一个或多个子单元的对应移动。在一些实施例中,外科医生控制台170被配置有存储在存储器单元134中或可操作地联接到外科医生控制台170的存储装置中的指示器,所述指示器的值指示是否启用或禁用离合安全模式,本文称为“离合安全模式指示器”,并且外科医生控制台170部分地基于移动平移指示器的值,确定是否发射与手柄112的移动相关的数据。指示禁用离合安全模式的离合安全模式指示器的值的实例是一(1)或一系列一(例如“11111”),并且指示启用离合安全模式的离合安全模式指示器的值的实例是零(0)或一序列零(例如“00000”)。在一些实施例中,离合安全模式指示器的值的每个位与外科医生控制台170的手柄112相关联,并且外科医生控制台170部分地基于与所述手柄112相关联的位的值,确定是否发射特定手柄112的移动数据。例如,值的第零位可以与手柄112A相关联,并且值的第一位可以与手柄112B相关联,并且外科医生控制台170基于第零位是高(1)还是低(0),确定是否发射与手柄112A的移动相关的数据,并且外科医生控制台170基于第一位是高还是低,确定是否发射与手柄112B的移动相关的数据。
外科医生控制台170配置成更新离合安全模式指示器的值,以指示在禁用从手柄112的移动到通信地联接的机械臂的移动的平移运动时,启用离合安全模式。处理从步骤604进行到步骤606,在所述步骤处,外科医生控制台170向用户提供指示外科医生控制台170处于安全模式(在这种情况下是离合安全模式)的警告。可以在步骤606处提供的警告的实例包含但不限于类似于上文描述的警告的视觉和/或听觉警告。
返回参考步骤602,如果外科医生控制台170确定进入或保持在锁定安全模式中(在步骤602处的“锁定”),然后处理进行到步骤608。在步骤608处,外科医生控制台170将外科医生控制台170的每个手柄112锁定在其位置上,并且防止手柄112从其位置移动。在一些实施例中,外科医生控制台170在锁定手柄112时识别手柄112中的每一个手柄的位置,并且将与手柄112的位置相关的数据存储在外科医生控制台170的存储器单元134中或可操作地联接到外科医生控制台170的存储装置中。在一些实施例中,外科医生控制台170通过防止手柄112的电机,如电机132A和132B和致动器的移动,将手柄112锁定在其位置上。例如,外科医生控制台170可以使电机伺服或施加扭矩以将手柄112恢复到存储位置,使得被锁定的每个子单元191、192、193、194维持存储位置。在步骤610中,外科医生控制台170通过向子单元191、192、193、194中的每一个子单元发射锁定指令,使通信地联接到手柄112的子单元191、192、193、194中的每一个子单元锁定在其位置上。如上所描述的,外科医生控制台170通过计算装置180通信地联接到机器人组合件190,并且外科医生控制台170通过将指令发射到计算装置180,所述计算装置转而将指令发射到机器人组合件190,以发射指令将子单元191、192、193、194锁定到机器人组合件190。在一些实施例中,外科医生控制台170直接通信地联接到外科手术系统100的每个机器人组合件190,并且外科医生控制台170发射指令以将在其位置上的机械臂直接锁定到通信地联接到手柄112的机械臂的机器人组合件190。接收指令的每个机器人组合件响应于接收指令,将其机械臂锁定在其位置上。处理从步骤610进行到步骤606,在所述步骤处,外科医生控制台170向用户提供指示安全模式(在这种情况下是锁定安全模式)被激活的警告。在一些实施例中,外科医生控制台170提供指示手柄112以及通信地联接的机械臂被锁定的视觉警告。
视觉警告的实例包含但不限于在如显示装置122等外科医生控制台170的一个或多个显示装置上显示的图形项。视觉警告的另一个实例包含外科医生控制台170上的发光二极管(LED),所述发光二极管在手柄112以及通信地联接的机械臂被锁定时通电。在一些实施例中,外科医生控制台170配置成提供如录音等听觉警告和/或如振动或指示手柄112以及通信地联接的机械臂被锁定的其它物理反馈等触觉警告。
返回参考步骤602,如果外科医生控制台170确定进入或保持在缩放因子安全模式中(在步骤602处的“缩放因子”),然后处理进行到步骤612。在步骤612处,外科医生控制台170检测外科医生控制台170的手柄112的移动。如上所描述的,每个手柄112可操作地且通信地联接到一个或多个传感器130,所述一个或多个传感器配置成检测手柄112的移动和手柄112的移动速度以及指示手柄112是否移动和/或手柄112的速度的输出值。基于联接到手柄112的所述一个或多个传感器130的输出值,外科医生控制台170检测手柄112的移动。在步骤614处,外科医生控制台170计算手柄112移动的速度。如上所描述的,外科医生控制台170基于通过联接到手柄112,并且配置成感测手柄112的移动的一个或多个传感器130随时间感测到的手柄的多个位置,计算速度。
在步骤616处,基于在步骤614处计算的手柄112的移动速度,外科医生控制台170从安全模式缩放因子列表中选择缩放因子。如本文所使用的,术语“缩放因子”是指手柄112的移动与由通信地联接到手柄112的一个或多个子单元191、192、193和194引起的对应移动之间的比率。例如,缩放因子3:1指示手柄112的三英寸的移动转化为通信地联接的子单元191、192、193和/或194的1英寸的移动。类似地,缩放因子50:1指示手柄112的5英寸的移动转化为通信地联接的子单元191、192、193和/或194的0.1英寸的移动。安全模式缩放因子是在一组规则或配置数据中指定的缩放因子,如果外科手术系统100以缩放因子安全模式操作,则外科医生控制台170配置成使用所述安全模式缩放因子。一组规则或配置数据进一步指定用于每个安全模式缩放因子的速度或速度范围,并且存储在存储器单元134的一个或多个存储器单元或可操作地联接到外科医生控制台170的存储装置中。在一些实施例中,在从安全模式缩放因子的列表中选择缩放因子时,外科医生控制台170识别最接近手柄112的所计算的速度或包含所计算的速度的速度范围的速度,并且选择相关联的缩放因子。在其它实施例中,外科医生控制台170计算手柄112的移动速度,并且基于所计算的速度更改向下缩放因子。
在步骤618处,外科医生控制台170将在步骤616处选择的安全模式缩放因子应用于手柄112行进的距离,以计算缩放距离,并且将缩放距离发射到通信地联接到手柄112的子单元191、192、193或194中的一个或多个子单元,所述一个或多个子单元部分地基于所接收的缩放距离而移动。在一些实例中,所选择的安全模式缩放因子可以是相对于非安全模式缩放因子的向下缩放因子,对于手柄112的给定移动量,所述向下缩放因子引起子单元191、192、193或194中的一个或多个子单元的少量移动。在一些实施例中,外科医生控制台170将所选择的安全模式缩放因子和手柄112行进的距离发射到子单元191、192、193和/或194中的一个或多个特定子单元,并且部分地基于机械臂移动,计算缩放距离。在步骤710之后,外科医生控制台170返回到步骤302(图3A中所示)。处理从步骤618进行到步骤606,在所述步骤处,外科医生控制台170向用户提供指示基于手柄速度的安全模式被启用的视觉和/或听觉警告。
再次参考步骤602,如果外科医生控制台170基于手柄速度,确定进入或保持在反向力安全模式中(在步骤602处的“反向力(基于速度的)”),然后处理进行到步骤620。在步骤620处,外科医生检测手柄112中的一个或多个手柄的移动。外科医生控制台170以与上文所描述的步骤612类似的方式检测手柄112的移动。在步骤622处,外科医生控制台170使用可操作地且通信地联接到手柄112的所述一个或多个传感器130,计算手柄112的移动速度。
在步骤624处,外科医生控制台170计算手柄112的移动方向。如上所描述的,传感器130中的一个或多个传感器配置成感测手柄112在一个或多个方向上的移动方向,并且外科医生控制台170基于来自所述一个或多个传感器130的输出,计算手柄112例如相对于手柄112的先前位置的移动方向。
在步骤626中,外科医生控制台170基于所计算的手柄112的移动速度和所计算的手柄112的移动方向,计算在与所计算的手柄112的移动方向相反的方向上施加到手柄112的反向力。在步骤628处,外科医生控制台170在手柄112的电机132中识别与施加在626处计算的反向力的方向相关联的电机,并且在步骤630处,外科医生控制台170在与所计算的手柄112的移动方向相反的方向上以足以生成在与所计算的手柄移动的方向相反的方向上、在步骤626处计算的反向力的速度使电机致动,并且从而显著减少手柄112的任何行进。因此,外科医生控制台170在与手柄112的移动方向相反的方向上向用户提供足够的力,从而向用户提供外科手术系统100以安全模式操作的触觉反馈。处理从步骤630进行到步骤606以提供安全模式(在这种情况下是基于速度的反向力安全模式)被激活的警告。
再次参考步骤602,如果外科医生控制台170基于手柄位置确定进入或保持在反向力安全模式中(在步骤602处的“反向力(基于位置的)”),然后处理进行到步骤632。在步骤632处,对于每个手柄112来说,外科医生控制台170在外科手术系统100以基于手柄位置的反向力安全模式操作时,识别手柄112的位置。外科医生控制台170将所识别的手柄112的位置存储在存储器单元134或可操作地联接到外科医生控制台170的数据存储装置中。
在步骤634处,外科医生控制台170根据在步骤632处识别的手柄112中的一个或多个手柄的相应位置,检测所述一个或多个手柄的移动。在步骤634处,外科医生控制台170计算由一个或多个移动的手柄112行进的距离。如上所描述的,联接到手柄112的一个或多个传感器130配置成感测手柄112行进的距离,并且外科医生控制台170使用来自所述一个或多个传感器130的数据,计算由手柄112行进的距离。
在步骤636处,外科医生控制台170计算手柄112的移动方向,并且在步骤638处,基于所计算的手柄112的移动速度和所计算的手柄112的移动方向,外科手术控制台170计算在与所计算的手柄移动的方向相反的方向上施加到手柄112的反向力。在步骤628处,外科医生控制台170在手柄112的电机132中识别与所计算的移动方向相关联的电机,并且在步骤630处,外科医生控制台170在与所计算的手柄移动方向相反的方向上以足以生成所计算的反向力的速度旋转所识别的电机,并且继续使电机致动,直到手柄112返回到在步骤632处识别的位置,从而减少手柄112的任何行进,并且向用户提供指示运动被抵抗的反馈,从而警告用户外科手术系统100正以安全模式操作。
图7是展示了用于终止图1的机器人外科手术系统100的一种或多种安全操作模式的示例性方法700的流程图。在步骤702处,外科医生控制台170例如基于上文描述的安全模式指示器的值,确定退出哪种安全模式。如果外科医生控制台170确定退出离合安全模式(在步骤702处的“离合”),然后处理进行到步骤704。在步骤704处,对于外科医生控制台170的每个手柄112来说,外科医生控制台170通过启用与手柄112的移动相关的数据到一个或多个子单元191、192、193或194的传输,来启用手柄112的移动到通信地联接到手柄112的子单元191、192、193和/或194的移动的平移移动。在外科医生控制台170被配置有离合安全模式指示器的实施例中,外科医生控制台170将离合安全模式指示器的值更新为指示离合安全模式被禁用的值。在步骤706处,外科医生控制台170向用户提供指示禁用离合安全模式和/或启用正常(非安全)模式的警告。
如果外科医生控制台170确定退出锁定安全模式(在步骤702处的“锁定”),然后处理进行到步骤708。在步骤708处,外科医生控制台170解锁外科医生控制台170的每个手柄112。在一些实施例中,外科医生控制台170响应于用户移动手柄112,通过按照电机132的非安全模式配置使与手柄112相关联的所述电机致动来解锁每个手柄112。例如,当确定外科医生重新接合(例如,观看外科医生控制台170)时和/或在用户执行预定动作,如使按钮或脚踏板致动或执行手柄112的特定运动之后,外科医生控制台170可以解锁每个手柄112。在步骤710处,外科医生控制台170通过例如响应于向计算装置180发射用于解锁一个或多个子单元191、192、193或194的指令,计算装置180向一个或多个子单元191、192、193、194发射指令,使通信地联接到手柄112的每个子单元191、192、193或194解锁。在机器人组合件190直接连接到外科医生控制台170的实施例中,外科医生控制台170发射指令,以将机械臂直接释放到通信地联接到手柄112的机械臂的机器人组合件190。接收指令的每个机器人组合件响应于接收指令,解锁其子单元191、192、193和/或194。
在步骤706处,外科医生控制台170向用户提供指示已经退出安全模式和/或已经进入正常模式(非安全模式)的警告。在一个实例中,警告包含指示手柄112以及通信地联接到手柄112的机械臂被解锁。在一些实施例中,向用户提供的警告是视觉警告,并且在一些实施例中是听觉警告。视觉警告的实例包含但不限于在外科医生控制台170的一个或多个显示装置和外科医生控制台170上的LED上显示的图形项。
返回参考步骤702,如果外科医生控制台170确定退出缩放因子安全模式(在步骤702处的“缩放因子”),然后处理进行到步骤712。在步骤712处,外科医生控制台170将缩放因子重置回如1:1值等预定值,以在正常(非安全模式)操作期间使用。
如果外科医生控制台170确定退出基于手柄速度的反向力安全模式或基于手柄位置的反向力安全模式(在步骤702处的“反向力(基于速度的)”或“反向力(基于位置的)”),然后处理进行到步骤714。在步骤714处,外科医生控制台170停止致动在图6的步骤630处启动的电机。处理从步骤714进行到步骤706,在所述步骤处生成指示已经禁用安全模式并且已经启用正常模式的警告。
短语“在一个实例中”、“在实例中”、“在一些实例中”、“在一个实施例中”、“在实施例中”、“在一些实施例中”或“在其它实施例中”可以各自指代根据本公开的相同或不同的实施例中的一个或多个实施例。“A或B”形式的短语意味着“(A)、(B)或(A和B)。”“A、B或C中的至少一个”形式的短语意味着“(A);(B);(C);(A和B);(A和C);(B和C);或(A、B和C)。”本文描述的系统还可以利用一个或多个控制器来接收各种信息,并且对所接收的信息进行转换以生成输出。控制器可以包含任何类型的计算装置、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包含多个处理器和/或多核中央处理单元(CPU),并且可以包含如微处理器、数字信号处理器、微控制器、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等任何类型的处理器。控制器还可以包含用于存储数据和/或指令的存储器,当由所述一个或多个处理器执行所述数据和/或指令时,使所述一个或多个处理器执行一种或多种方法和/或算法。
本文描述的任何方法、程序、算法或代码可以被转换成编程语言或计算机程序,或者以编程语言或计算机程序表达。如本文所用,术语“编程语言”和“计算机程序”各自包含用于指定计算机指令的任何语言,并且包含(但不限于)以下语言和其衍生物:汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、可视化Basic、元语言自指定程序以及所有第一代、第二代、第三代、第四代、第五代或更高代的计算机语言。还包含数据库和其它数据模式以及任何其它元语言。解译、编译或使用编译和解译方法两者的语言之间没有区别。程序的编译版本与源版本之间没有区别。因此,对其中编程语言可以以多于一种的状态(如源、编译、对象或链接)存在的程序的引用是对任何和所有这种状态的引用。对程序的引用可以涵盖实际指令和/或那些指令的意图。
本文描述的任何方法、程序、算法或代码可以包含在本文描述的一个或多个机器可读媒体或存储器上。其上包含的代码或指令可以由载波信号、红外信号、数字信号和其它相似信号表示。
应理解,前述描述仅是对本公开的说明性描述。在不脱离本公开的情况下,本领域的技术人员可以设计出各种替代性方案和修改。因此,本公开旨在涵盖所有此类替代性方案、修改和变化。参考附图描述的实施例被呈现仅用于证明本公开的某些实例。非实质上不同于上文和/或所附权利要求中所描述的那些的其它元件、步骤、方法和技术也旨在处于本公开的范围内。
Claims (20)
1.一种具有用户接合监控的机器人外科手术系统,其包括:
机器人组合件,所述机器人组合件包含联接到外科手术器械的机械臂;
外科医生控制台,所述外科医生控制台包含
手柄,所述手柄通信地联接到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个,以及
显示装置;以及
跟踪装置,所述跟踪装置包含配置成捕获用户位置参考点的图像的图像捕获装置,
其中所述外科医生控制台或所述跟踪装置中的至少一个配置成:
基于所述捕获的图像,计算所述用户位置参考点相对于所述显示装置的位置,基于所述计算的位置,确定用户是与所述外科医生控制台接合还是脱离接合,并且
响应于确定所述用户与所述外科医生控制台脱离接合,使所述机器人外科手术系统以安全模式操作。
2.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成通过生成与所述用户位置参考点相对于所述显示装置在三维坐标空间内的所述位置或朝向中的至少一个相对应的位置数据,计算所述用户位置参考点的所述位置。
3.根据权利要求2所述的机器人外科手术系统,其中在确定所述用户是与所述外科医生控制台接合还是脱离接合中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
基于所述用户位置参考点相对于所述显示装置的所述位置和朝向,计算差异角度;
将所述差异角度与第一阈值角度进行比较;并且
响应于确定所述差异角度大于所述第一阈值角度,确定所述用户与所述外科医生控制台脱离接合。
4.根据权利要求3所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成基于所述用户位置参考点相对于所述显示装置的所述位置和所述朝向,从多个第一阈值角度选择所述第一阈值角度。
5.根据权利要求3所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
基于所述用户位置参考点的所述位置和所述朝向,计算所述用户位置参考点相对于所述显示装置的移动方向;并且
基于所述用户位置参考点的所述移动方向,选择所述第一阈值角度。
6.根据权利要求3所述的机器人外科手术系统,其中在确定所述用户是与所述外科医生控制台接合还是脱离接合中,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
响应于确定所述差异角度小于所述第一阈值角度,确定所述差异角度是否小于第二阈值角度,所述第二阈值角度小于所述第一阈值角度;并且
响应于确定所述差异角度小于所述第二阈值角度,确定所述用户与所述外科医生控制台接合。
7.根据权利要求6所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成响应于确定所述用户与所述外科医生控制台接合,使所述机器人外科手术系统退出所述安全模式。
8.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成在所述机器人外科手术系统以所述安全模式操作时:
响应于确定所述用户与所述外科医生控制台接合,在确定所述用户接合之后经过阈值量的时间之后使所述机器人外科手术系统退出所述安全模式。
9.根据权利要求1所述的机器人外科手术系统,其另外包括计算装置,
其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成在所述机器人外科手术系统以所述安全模式操作时:
限制所述手柄从所述手柄的先前位置移动,并且
向所述计算装置发射用于限制所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动的指令;
其中所述计算装置配置成:
接收所述指令,并且
将所述指令发射到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个;并且
其中所述机械臂、所述机器人组合件或所述外科手术器械中的至少一个配置成:
接收所述指令,并且
响应于所述指令,限制所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动。
10.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成在所述机器人外科手术系统以所述安全模式操作时:
防止所述手柄的移动引起通信地联接到所述手柄的所述机械臂的对应移动。
11.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
检测所述手柄的移动量;
基于所述手柄的所述移动量,确定响应于所述手柄的所述移动而引起的所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的移动量;并且
使所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个移动所述确定的移动量,
其中在所述机器人外科手术系统以所述安全模式操作时,确定所引起的所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的所述移动量包含施加向下缩放因子。
12.根据权利要求11所述的机器人外科手术系统,其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
计算所述手柄的移动速度;并且
基于所述速度修改所述向下缩放因子。
13.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台包含多个对应于所述手柄的电机,所述电机中的每一个电机能操作地联接到所述手柄并且与所述手柄的移动方向相关联,
其中在所述机器人外科手术系统以所述安全模式操作时,所述外科医生控制台或所述跟踪装置中的至少一个另外配置成:
计算所述手柄的移动速度,
计算所述手柄的所述移动方向,
基于所述手柄的所述移动的所述速度,计算与所述手柄的所述移动的所述方向相反的方向上的力,
在所述手柄的所述多个电机中,识别和与所述手柄的所述移动的所述方向相反的所述方向相关联的电机,并且
使所述识别的电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,以在与所述手柄的所述移动的所述方向相反的所述方向上产生所述计算的力。
14.根据权利要求1所述的机器人外科手术系统,其中所述外科医生控制台另外包括:
多个电机,其中所述多个电机能操作地联接到所述手柄,并且分别与所述手柄的多个移动方向相关联;
其中所述外科医生控制台或所述跟踪装置中的至少一个另外配置成响应于确定所述用户与所述外科医生控制台脱离接合:
识别所述手柄的第一位置,
计算由所述手柄从所述手柄的所述第一位置行进的距离,
计算所述手柄的所述移动的方向,
基于所述距离,计算与所述手柄的所述移动的所述方向相反的方向上的力,
在所述手柄的所述多个电机中,识别与所述手柄的所述移动的所述方向相反的所述方向相关联的电机,并且
使所述识别的电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,以在与所述手柄的所述移动的所述方向相反的所述方向上产生所述计算的力。
15.根据权利要求14所述的机器人外科手术系统,其中所述外科医生控制台另外配置成:
使所述电机在与所述手柄的所述移动的所述方向相反的所述方向上致动,直到所述手柄定位在所述第一位置中。
16.根据权利要求1所述的机器人外科手术系统,其另外包括护目镜,所述护目镜包含多个标记,其中所述用户位置参考点包含所述多个标记中的至少一个标记。
17.根据权利要求1所述的机器人外科手术系统,其中所述用户位置参考点包含所述用户的眼睛、头部或另一个部分中的至少一个。
18.根据权利要求1所述的机器人外科手术系统,其中所述显示装置是自动立体显示装置。
19.一种具有用户接合监控的机器人外科手术系统,其包括:
机器人组合件,所述机器人组合件包含联接到外科手术器械的机械臂;
外科医生控制台,所述外科医生控制台包含通信地联接到所述机器人组合件、所述机械臂或所述外科手术器械中的至少一个的手柄,
其中所述手柄包含电容传感器或光学传感器中的至少一个,并且其中所述外科医生控制台配置成:
从所述电容传感器或所述光学传感器中的至少一个接收与用户与所述手柄接触相关的数据,
基于和与所述手柄接触相关的所述数据,确定所述用户是与所述外科医生控制台接合还是脱离接合,并且
响应于确定所述用户与所述外科医生控制台脱离接合,使所述机器人外科手术系统以安全模式操作。
20.根据权利要求19所述的机器人外科手术系统,其中所述外科医生控制台另外配置成在确定所述用户是否与所述外科医生控制台脱离接合中,响应于和与所述手柄的所述接触相关的所述数据指示所述用户未与所述手柄接触,确定所述用户与所述外科医生控制台脱离接合。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862625714P | 2018-02-02 | 2018-02-02 | |
US62/625,714 | 2018-02-02 | ||
PCT/US2019/016241 WO2019152771A1 (en) | 2018-02-02 | 2019-02-01 | Robotic surgical systems with user engagement monitoring |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110545748A true CN110545748A (zh) | 2019-12-06 |
Family
ID=67478976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980001014.6A Pending CN110545748A (zh) | 2018-02-02 | 2019-02-01 | 具有用户接合监控的机器人外科手术系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210030498A1 (zh) |
EP (1) | EP3745985A4 (zh) |
JP (1) | JP2021511892A (zh) |
CN (1) | CN110545748A (zh) |
WO (1) | WO2019152771A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111616803A (zh) * | 2019-12-17 | 2020-09-04 | 柯惠Lp公司 | 具有用户接合监视的机器人手术系统 |
CN112370165A (zh) * | 2020-11-05 | 2021-02-19 | 李志强 | 一种操作手柄控制系统、方法、操作手柄及医疗设备 |
CN115005976A (zh) * | 2022-08-03 | 2022-09-06 | 杭州德适生物科技有限公司 | 一种外科手术用智能机械手 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11571269B2 (en) * | 2020-03-11 | 2023-02-07 | Verb Surgical Inc. | Surgeon disengagement detection during termination of teleoperation |
DE102021204494A1 (de) * | 2021-05-04 | 2022-11-10 | Kuka Deutschland Gmbh | Verfahren und System zum Steuern eines Teleroboters |
WO2023038918A1 (en) * | 2021-09-09 | 2023-03-16 | Covidien Lp | Surgical robotic system with user engagement monitoring |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030060927A1 (en) * | 2001-09-25 | 2003-03-27 | Intuitive Surgical, Inc. | Removable infinite roll master grip handle and touch sensor for robotic surgery |
US20130030571A1 (en) * | 2010-04-07 | 2013-01-31 | Sofar Spa | Robotized surgery system with improved control |
KR20130015437A (ko) * | 2011-08-03 | 2013-02-14 | 주식회사 이턴 | 수술용 로봇의 마스터 암 구조 및 수술용 마스터 로봇의 제어방법 |
US20150100066A1 (en) * | 2013-10-04 | 2015-04-09 | KB Medical SA | Apparatus, systems, and methods for precise guidance of surgical tools |
CN106102633A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于远程操作医疗系统的结构调整系统和方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1915963A1 (en) * | 2006-10-25 | 2008-04-30 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Force estimation for a minimally invasive robotic surgery system |
US8521331B2 (en) * | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
WO2012127404A2 (en) * | 2011-03-18 | 2012-09-27 | Ecole Polytechnique Federale De Lausanne (Epfl) | Ergonomic handle for haptic devices |
JP5800616B2 (ja) * | 2011-07-15 | 2015-10-28 | オリンパス株式会社 | マニピュレータシステム |
US20140024889A1 (en) * | 2012-07-17 | 2014-01-23 | Wilkes University | Gaze Contingent Control System for a Robotic Laparoscope Holder |
US20170329402A1 (en) * | 2014-03-17 | 2017-11-16 | Spatial Intelligence Llc | Stereoscopic display |
CN109475387B (zh) * | 2016-06-03 | 2022-07-19 | 柯惠Lp公司 | 用于控制机器人外科手术装置和观看者自适应立体显示器的方面的系统、方法和存储媒体 |
US10245112B2 (en) * | 2016-06-27 | 2019-04-02 | Corindus, Inc. | Interlocking system and method for joysticks in a catheter procedure system |
KR101706994B1 (ko) * | 2016-10-17 | 2017-02-17 | (주)미래컴퍼니 | 수술 로봇 시스템 및 그 복강경 조작 방법 |
EP3554412A4 (en) * | 2016-12-15 | 2020-08-05 | Intuitive Surgical Operations Inc. | ACTUATED HANDLES FOR CONTROL DEVICE |
JP7053811B2 (ja) * | 2017-09-29 | 2022-04-12 | シー・アール・バード・インコーポレーテッド | 医療用超音波対象物を追跡するための装置および方法 |
JP2019091267A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法、およびプログラム |
-
2019
- 2019-01-02 US US16/966,666 patent/US20210030498A1/en active Pending
- 2019-02-01 JP JP2020541902A patent/JP2021511892A/ja active Pending
- 2019-02-01 EP EP19747135.2A patent/EP3745985A4/en active Pending
- 2019-02-01 WO PCT/US2019/016241 patent/WO2019152771A1/en unknown
- 2019-02-01 CN CN201980001014.6A patent/CN110545748A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030060927A1 (en) * | 2001-09-25 | 2003-03-27 | Intuitive Surgical, Inc. | Removable infinite roll master grip handle and touch sensor for robotic surgery |
US20130030571A1 (en) * | 2010-04-07 | 2013-01-31 | Sofar Spa | Robotized surgery system with improved control |
KR20130015437A (ko) * | 2011-08-03 | 2013-02-14 | 주식회사 이턴 | 수술용 로봇의 마스터 암 구조 및 수술용 마스터 로봇의 제어방법 |
US20150100066A1 (en) * | 2013-10-04 | 2015-04-09 | KB Medical SA | Apparatus, systems, and methods for precise guidance of surgical tools |
CN106102633A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于远程操作医疗系统的结构调整系统和方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111616803A (zh) * | 2019-12-17 | 2020-09-04 | 柯惠Lp公司 | 具有用户接合监视的机器人手术系统 |
CN111616803B (zh) * | 2019-12-17 | 2023-08-15 | 柯惠Lp公司 | 具有用户接合监视的机器人手术系统 |
CN112370165A (zh) * | 2020-11-05 | 2021-02-19 | 李志强 | 一种操作手柄控制系统、方法、操作手柄及医疗设备 |
CN115005976A (zh) * | 2022-08-03 | 2022-09-06 | 杭州德适生物科技有限公司 | 一种外科手术用智能机械手 |
CN115005976B (zh) * | 2022-08-03 | 2022-11-18 | 杭州德适生物科技有限公司 | 一种外科手术用智能机械手 |
Also Published As
Publication number | Publication date |
---|---|
EP3745985A4 (en) | 2022-03-16 |
EP3745985A1 (en) | 2020-12-09 |
JP2021511892A (ja) | 2021-05-13 |
WO2019152771A1 (en) | 2019-08-08 |
US20210030498A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110545748A (zh) | 具有用户接合监控的机器人外科手术系统 | |
US20210157403A1 (en) | Operating room and surgical site awareness | |
US11007023B2 (en) | System and method of registration between devices with movable arms | |
CN110650704B (zh) | 用于检测图像捕获装置的视野内的物体的系统和方法 | |
CN111616803B (zh) | 具有用户接合监视的机器人手术系统 | |
US11553974B2 (en) | Systems and methods for detection of objects within a field of view of an image capture device | |
EP3678582A1 (en) | Camera control for surgical robotic systems | |
EP3975909B1 (en) | Operating mode control systems and methods for a computer-assisted surgical system | |
KR20110049703A (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
KR101114234B1 (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
US20230010350A1 (en) | Robotic surgical systems with user engagement monitoring | |
CN117202869A (zh) | 用于提供输入设备重新定位提醒的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191206 Assignee: Kehui Co., Ltd Assignor: Ke Hui LP Co. Contract record no.: X2020990000364 Denomination of invention: ROBOTIC SURGICAL SYSTEMS WITH USER ENGAGEMENT MONITORING License type: Common License Record date: 20200722 |
|
EE01 | Entry into force of recordation of patent licensing contract | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |