CN111616803B - 具有用户接合监视的机器人手术系统 - Google Patents
具有用户接合监视的机器人手术系统 Download PDFInfo
- Publication number
- CN111616803B CN111616803B CN202010490511.1A CN202010490511A CN111616803B CN 111616803 B CN111616803 B CN 111616803B CN 202010490511 A CN202010490511 A CN 202010490511A CN 111616803 B CN111616803 B CN 111616803B
- Authority
- CN
- China
- Prior art keywords
- user
- surgeon console
- robotic
- surgical system
- handle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
- A61B2017/00123—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
- A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0818—Redundant systems, e.g. using two independent measuring systems and comparing the signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
Abstract
一种具有用户接合监视的机器人手术系统包括具有手检测系统的外科医生控制台和包括图像捕获装置的跟踪装置,所述图像捕获装置构造成捕获用户位置参考点的图像,其中来自所述手检测系统和所述跟踪装置的信息相结合来控制所述机器人手术系统的运行。
Description
相关申请的交叉引用
本申请是要求于2019年2月1日提交的国际专利申请序号PCT/US2019/016241的权益和优先权的部分继续申请,该国际专利申请序号PCT/US2019/016241要求于2018年2月2日提交的美国临时专利申请序号62/625,714的权益和优先权,上述各申请的全部内容通过引用合并于本文中。
技术领域
本公开总体上涉及机器人手术系统,并且更具体地涉及具有用户接合监视的机器人手术系统。
背景技术
机器人手术系统已经变得越来越流行,并且已经通过开放式控制台体系结构改善了使用机器人手术系统的人体工程学和舒适性。与要求外科医生将其头置于沉浸式显示设备内以操作机器人手术系统的封闭式控制台体系结构不同,开放式控制台体系结构使外科医生能够在保持与手术室中的其他外科医生和工作人员进行更开放式的沟通的同时来使用外科医生控制台。开放式控制台体系结构还使外科医生能够更清楚地了解手术室内发生的事件并将外科医生置于更好的位置以应对可能在手术规程的过程中发生的紧急情况。
然而,利用开放式控制台体系结构,与利用封闭式控制台体系结构的情况相比,外科医生可能更容易因与外科医生控制台接合而分心。此外,系统需要实现成使得外科医生控制台仅接收和/或跟踪来自外科医生的信息,或者能够将接收和/或跟踪的与外科医生有关的信息与接收和/或跟踪的与紧靠近外科医生控制台的其他个体有关的信息分离。因此,具有开放式控制台体系结构的机器人手术系统可能会带来更高的安全风险。因此,需要减轻由于外科医生因与机器人手术系统接合而分心所引起的安全风险的系统、装置和方法。
发明内容
在一个方面中,本公开描述了一种具有用户接合监视的机器人手术系统。所述机器人手术系统包括机器人组件、外科医生控制台和跟踪装置。所述机器人组件包括联接至手术器械的机器人臂。外科医生控制台包括手柄和显示装置。手柄通信地联接至所述机器人组件、所述机器人臂或所述手术器械中的至少一个。所述跟踪装置包括被配置成捕获用户位置参考点的图像的图像捕获装置。所述外科医生控制台或所述跟踪装置中的至少一个被配置成基于捕获的图像计算所述用户位置参考点相对于所述显示装置的位置;基于计算出的位置确定用户是否与所述外科医生控制台接合或脱离了所述外科医生控制台;并且响应于所述用户脱离了所述外科医生控制台的确定,引起所述机器人手术系统以安全模式运行。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个进一步被配置成通过生成与所述用户位置参考点在三维坐标空间内相对于所述显示装置的位置或取向中的至少一个相对应的定位数据来计算所述用户位置参考点的位置。
在实施例中,在用户是否与外科医生控制台接合或脱离外科医生控制台的确定中,外科医生控制台或跟踪装置中的至少一个进一步被配置成基于用户位置参考点相对于显示装置的位置和取向计算差角;将该差角与第一阈值进行比较;并且,响应于该差角大于第一阈值的确定,确定用户脱离了外科医生控制台。
在实施例中,外科医生控制台或跟踪装置中的至少一个进一步被配置成基于用户位置参考点相对于显示装置的位置和取向来从多个第一阈值角中选择第一阈值角。
在实施例中,外科医生控制台或跟踪装置中的至少一个进一步被配置成基于用户位置参考点的位置和取向计算用户位置参考点相对于显示装置的移动方向;并且基于用户位置参考点的移动方向选择第一阈值角。
在实施例中,在用户是否与外科医生控制台接合或脱离外科医生控制台的确定中,外科医生控制台或跟踪装置中的至少一个进一步被配置成:响应于差角小于第一阈值角的确定,确定差角是否小于比第一阈值角小的第二阈值角;并且,响应于差角小于第二阈值角的确定,确定用户与外科医生控制台接合。
在实施例中,外科医生控制台或跟踪装置中的至少一个进一步被配置成:响应于用户与外科医生控制台接合的确定,引起机器人手术系统退出安全模式。
在实施例中,外科医生控制台或跟踪装置中的至少一个进一步被配置成:在机器人手术系统以安全模式运行时并且响应于用户与外科医生控制台接合的确定,在确定用户接合之后经过阈值时间量后使所述机器人手术系统退出所述安全模式。
在实施例中,机器人手术系统进一步包括计算装置。所述外科医生控制台或所述跟踪装置中的至少一个进一步被配置成:在所述机器人手术系统以所述安全模式运行时,限制手柄从手柄的先前位置移动;并且将限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动的指令发送至所述计算装置。所述计算装置被配置成接收所述指令并将所述指令发送至所述机器人组件、所述机器人臂或所述手术器械中的至少一个。所述机器人臂、所述机器人组件或所述手术器械中的至少一个被配置成接收所述指令并且响应于所述指令而限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个进一步配置成:在所述机器人手术系统以所述安全模式运行时,防止所述手柄的移动引起与所述手柄通信地联接的所述机器人臂的对应移动。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个进一步被配置成:检测所述手柄的移动量;基于所述手柄的移动量确定响应于所述手柄的移动要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量;以及引起所述机器人组件、所述机器人臂或所述手术器械中的至少一个移动所确定的移动量。在所述机器人手术系统以所述安全模式运行时,要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量的确定包括应用向下缩放因子。
在实施例中,所述外科医生控制台或所述跟踪装置中的至少一个进一步被配置成计算手柄的移动速度以及基于所述速度修改所述向下缩放因子。
在实施例中,外科医生控制台包括对应于手柄的多个电动机,每个电动机可操作地联接至手柄并且与手柄的移动方向相关联。在机器人手术系统以安全模式运行时,外科医生控制台或跟踪装置中的至少一个进一步被配置成计算手柄的移动速度;计算手柄的移动方向;基于手柄的移动速度计算在与手柄的移动方向相反的方向上的力;在手柄的多个电动机之中识别与手柄的移动方向相反的方向相关联的电动机;并且引起所识别的电动机在与手柄的移动方向相反的方向上致动以在与手柄的移动方向相反的方向上产生所计算的力。
在实施例中,外科医生控制台进一步包括多个电动机,多个电动机可操作地联接至手柄并且分别与手柄的多个移动方向相关联。外科医生控制台或跟踪装置中的至少一个进一步被配置成:响应于用户脱离了外科医生控制台的确定,识别手柄的第一位置;计算手柄从手柄的第一位置行进的距离;计算手柄的移动方向;基于所述距离计算在与手柄的移动方向相反的方向上的力;在手柄的多个电动机之中识别关联于与手柄的移动方向相反的方向的电动机;并且引起所识别的电动机在与手柄的移动方向相反的方向上致动以在与手柄的移动方向相反的方向上产生所计算的力。
在实施例中,外科医生控制台进一步被配置成在与手柄的移动方向相反的方向上致动电动机直到手柄位于第一位置。
在实施例中,机器人手术系统进一步包括包含多个标记的眼镜,并且用户位置参考点包括多个标记中的至少一个标记。
在实施例中,用户位置参考点包括眼睛、头部或用户的另一部位中的至少一个。
在实施例中,显示装置是自动立体显示装置。
根据另一方面,本公开描述了具有用户接合监视的另一机器人手术系统。所述机器人手术系统包括机器人组件和外科医生控制台。所述机器人组件包括联接至手术器械的机器人臂。所述外科医生控制台包括与所述机器人组件、所述机器人臂或所述手术器械中的至少一个通信地联接的手柄。所述手柄包括电容式传感器或光学传感器中的至少一个。所述外科医生控制台被配置成从电容式传感器或光学传感器中的至少一个接收与由用户接触手柄相关的数据;基于与接触手柄相关的数据,确定用户是否与外科医生控制台接合或脱离了外科医生控制台;并且响应于用户脱离了外科医生控制台的确定,引起机器人手术系统以安全模式运行。
在实施例中,外科医生控制台进一步被配置成:在用户是否脱离外科医生控制台的确定中,响应于与接触手柄相关的数据指示用户未与手柄接触,确定用户脱离了外科医生控制台。
根据本公开的另一方面,具有用户接合监视的机器人手术系统包括具有手检测系统的外科医生控制台和包括图像捕获装置的跟踪装置,所述图像捕获装置被配置成捕获用户位置参考点的图像,其中来自手检测系统的信息和来自跟踪装置的信息相结合来控制机器人手术系统的运行。
具有用户接合监视的机器人手术系统包括:机器人组件,其包括联接至手术器械的机器人臂;外科医生控制台,以及跟踪装置。所述外科医生控制台包括手柄组件,其通信地联接至所述机器人组件、所述机器人臂或所述手术器械中的至少一个;所述手柄组件包括具有近侧端部和远侧端部的主体部,所述主体部包括能在打开位置和闭合位置之间移动的第一致动器。所述外科医生控制台还包括手检测系统,其包括布置在所述手柄组件的所述第一致动器内用于检测所述第一致动器上的手指存在的第一传感器、布置在所述手柄组件的所述近侧端部上用于检测所述近侧端部附近的手掌存在的第二传感器,以及布置在所述手柄组件的所述主体部内用于检测所述第一致动器相对于所述主体部的位置的编码器。所述外科医生控制台进一步包括:显示装置;以及处理单元,其电联接至所述第一传感器、所述第二传感器和第三传感器用于接收并处理来自所述第一传感器、所述第二传感器和所述第三传感器的数据。
所述跟踪装置包括被配置成捕获用户位置参考点的图像的图像捕获装置。
所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个被配置成基于捕获的图像计算所述用户位置参考点相对于所述显示装置的位置;基于计算出的位置确定用户是否与所述外科医生控制台接合或脱离了外科医生控制台;确定所述用户的手是否与所述手检测系统的第一传感器、第二传感器或第三传感器中的至少一个接合或脱离了所述手检测系统的第一传感器、第二传感器或第三传感器中的至少一个;并且响应于所述用户脱离了所述外科医生控制台或者所述用户的手脱离了所述手检测系统的第一传感器、第二传感器或第三传感器中的至少一个的确定,引起所述机器人手术系统以安全模式运行。
所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成:通过生成与所述用户位置参考点在三维坐标空间内相对于所述显示装置的位置或取向中的至少一个相对应的定位数据来计算所述用户位置参考点的位置。
所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成:在所述机器人手术系统以所述安全模式运行时,响应于通过所述跟踪装置或所述手检测系统中的至少一个对所述用户与所述外科医生控制台接合的确定,在确定用户接合之后经过阈值时间量后使所述机器人手术系统退出所述安全模式。
所述机器人手术系统可进一步包括计算装置。所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成:在所述机器人手术系统以所述安全模式运行时,限制所述手柄组件从所述手柄组件的先前位置移动,并且将限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动的指令发送至所述计算装置。所述计算装置可被配置成接收所述指令,并将所述指令发送至所述机器人组件、所述机器人臂或所述手术器械中的至少一个。所述机器人臂、所述机器人组件或所述手术器械中的至少一个可被配置成接收所述指令,并且响应于所述指令而限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动。
所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成:在所述机器人手术系统以所述安全模式运行时,防止所述手柄组件的移动引起与所述手柄组件通信地联接的所述机器人臂的对应移动。
在实施例中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成:检测所述手柄组件的移动量;基于所述手柄组件的移动量确定响应于所述手柄组件的移动要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量;以及引起所述机器人组件、所述机器人臂或所述手术器械中的至少一个移动所确定的移动量。在所述机器人手术系统以所述安全模式运行时,要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量的确定可包括应用向下缩放因子。
所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个可进一步被配置成计算手柄组件的移动速度以及基于所述速度修改所述向下缩放因子。
所述机器人手术系统可进一步包括多个眼镜,所述多个眼镜各自包括离散的多个标记,其中第一用户位置参考点包括来自与所述用户对应的第一眼镜的第一多个标记的第一数据,并且第二用户位置参考点包括来自与非用户对应的第二眼镜的第二多个标记的第二数据,所述第二数据不同于所述第一数据。
所述第一传感器可以是电容式传感器,所述第二传感器可以是红外传感器,并且所述第三传感器可以是编码器。
在操作中,当所述手检测系统处于初始化阶段时,所述手检测系统可利用仅来自所述第一传感器和所述第三传感器的数据,而当所述手检测系统处于运行阶段时,所述手检测系统可利用来自所述第一传感器、所述第二传感器和所述第三传感器的数据。
在操作中,当所述手检测系统处于初始化阶段时,所述第一致动器可移动通过打开位置和闭合位置之间的整个运动范围,并且所述第一传感器检测所述整个运动范围内的多个点中的每个点处的电容值,并且所述第三传感器生成所述多个点中的每个点处的编码器计数。
所述手检测系统可包括查找表,所述查找表包括作为所述编码器计数的函数的电容值的基线曲线和作为所述编码器计数的函数的阈值电容值的校准后曲线。
在操作中,当所述手检测系统处于运行阶段时,所述第一传感器可检测实时电容值并且所述第三传感器检测实时编码器计数,并且将所述实时电容值和所述实时编码器计数与所述查找表比较以识别所述手柄组件的肯定手指存在状态或否定手指存在状态。
在操作中,当所述手检测系统处于运行阶段时,所述第二传感器可检测实时值,将所述实时值与阈值进行比较以识别所述手柄组件的肯定手掌存在状态或否定手掌存在状态。
所述手术器械可以是包括对置的钳夹构件的钳夹组件,并且当所述第一致动器处于所述打开位置时,所述钳夹构件处于打开构造,而当所述第一致动器处于所述闭合位置时,所述钳夹构件处于闭合构造。
所述跟踪装置可监视所述用户的头部的姿态并且可将有关头部姿态的数据与有关所述手柄组件的移动的数据相结合以实现对所述手术器械的控制。
所述手术器械可以是内窥镜。
有关由所述跟踪装置监视的头部姿态的数据可以传送给内窥镜以控制由所述内窥镜捕获的图像的缩放比例、侧倾、俯仰或横摆。
所述机器人手术系统可进一步包括所述用户能穿戴的无线识别装置以识别所述用户或外科医生与所述外科医生控制台的接合。所述无线识别装置可包括以下至少之一:与所述用户有关的识别信息;与所述用户关联的机器人手术系统性能特征;或所述无线识别装置相对于所述外科医生控制台和/或所述手柄组件的接近度信息。
所述无线识别装置可与所述手检测系统结合使用来用于确定所述用户的意识。
附图说明
在下文中参照附图描述本公开的机器人手术系统和方法的各个方面和特征,其中:
图1A示出了根据本文的说明性实施例的示例性机器人手术系统;
图1B和图1C示出了图1A的机器人手术系统的示例性光学跟踪装置;
图2A至图2C示出了图1A的机器人手术系统可以如何使用来监视用户接合的示例性方面;
图3是示出用于基于用户是否与图1A的机器人手术系统的外科医生控制台接合或脱离该外科医生控制台来控制图1A的机器人手术系统的运行模式的示例性方法的流程图;
图4是示出用于确定用户是否与图1A的机器人手术系统的外科医生控制台接合或脱离图1A的机器人手术系统的外科医生控制台的示例性方法的流程图;
图5是示出用于确定用户是否与图1A的机器人手术系统的外科医生控制台接合或脱离图1A的机器人手术系统的外科医生控制台的另一示例性方法的流程图;
图6是示出用于以一种或多种安全运行模式操作图1A的机器人手术系统的示例性方法的流程图;
图7是示出用于终止图1A的机器人手术系统的一种或多种安全运行模式的示例性方法的流程图;
图8是根据本公开的实施例的、包括机器人系统和用户接口或外科医生控制台的机器人手术系统的示意图;
图9是图8的用户接口的控制臂组件的放大透视图;
图10是图9的控制臂组件之一的手柄组件的透视图,以幻像示出了临床医生的手;
图11是图8的机器人手术系统的工具的透视图;
图12是图10的手柄组件的去除一部分的状态下的俯视透视图;
图13和图14是示出根据本公开的实例的、作为用于图8的机器人手术系统的手柄组件的编码器计数的函数的电容值的曲线图;以及
图15是根据本公开的实例的、示出作为编码器计数的函数的电容值的查找表。
具体实施方式
本公开涉及机器人手术系统、装置、方法和计算机可读介质,该机器人手术系统、装置、方法和计算机可读介质减轻了在机器人手术规程期间外科医生因与机器人手术系统接合而分心所引起的安全风险。更具体地,本公开涉及这样的系统和方法:用于使用机器人手术系统识别用户的脱离,并在用户脱离时使机器人手术系统以一种或多种安全模式运行,从而减轻用户由于在分心时致动机器人手术系统而无意中伤害到患者或以其他方式损害手术规程的风险。本文描述的系统和方法提供了用于跟踪相对于外科医生控制台的显示器的用户位置并且基于所跟踪的用户位置来确定用户是否脱离外科医生控制台的各种技术,即使对于开放式控制台体系结构也是如此。如果用户脱离了外科医生控制台,则使机器人手术系统以一种或多种安全模式运行。利用本文描述的技术、方法和实施例,为用户提供了执行机器人手术的更安全的操作环境,并且给予了患者一种经由机器人手术系统接受手术治疗的更安全的环境。
现在参照附图详细描述本公开的实施例,在附图中,相同的附图标记在若干视图的每一个中指示相同或相应的元件。如本文所使用的,术语“用户”和“临床医生”指的是医生、外科医生、护士、技术人员、医疗助手或类似的支持人员或可以使用本文所述的机器人手术系统的任何其他人。另外,在附图和下面的描述中,诸如前、后、上、下、顶部、底部和类似方向性术语的术语仅是为了便于描述而使用,并不旨在限制本公开。在下面的描述中,没有详细描述公知功能或构造以避免在不必要的细节上使本公开模糊。
在整个说明书中,术语“近侧”指的是系统、装置或其部件的更靠近临床医生的手的部分,而术语“远侧”指的是系统、装置或其部件的更远离临床医生的手的部分。
术语“人工智能”、“数据模型”或“机器学习”可以包括但不限于神经网络、卷积神经网络(CNN)、递归神经网络(RNN)、生成式对抗网络(GAN)、贝叶斯回归、朴素贝叶斯、最近邻、最小平方、均值和支持向量回归,以及其他数据科学和人工科学技术。
图1A示出了根据本文的示例性实施例的示例性机器人手术系统100。通常,手术系统100被配置为确定用户是否与手术系统100的外科医生控制台接合,并且基于该确定,以系统配置为运行的各种运行模式之一运行,该各种运行模式包括一种或多种安全模式和一种或多种非安全模式,非安全模式也称为正常模式。如图6中所示并在下面进行描述的,系统100配置为运行的安全模式的类型包括但不限于(1)基于锁定手术系统100的手柄和机器人组件的安全模式,(2)基于防止手柄移动引起相应的机器人组件移动的安全模式,(3)基于手柄运动速度的安全模式,(4)基于以手柄速度为基础的反向力的安全模式,以及(5)基于以位置为基础的反向力的安全模式。本文在图2A至图7的上下文中提供了确定用户是否与机器人手术系统100接合或脱离机器人手术系统100并且作为响应而引起手术系统100以非安全模式或安全模式运行的附加细节。图1A中描绘的系统100的部件的特定数量及其布置和构造仅仅出于说明性目的而提供,并且不应解释为限制性的。例如,本文的各种实施例采用比图1A中所示的全部部件更少或更多的部件。另外,图1A中描绘的系统100被提供作为本文的各种示例性实施例适用的说明性上下文。
系统100包括在手术规程期间中患者104躺在其上的手术台102、跟踪装置160、在手术规程期间中用户与之交互的外科医生控制台170、计算装置180以及一个或多个机器人组件190。跟踪装置160和计算装置180通过通信路径106彼此通信地联接并通信地联接至一个或多个机器人组件190,在本文的各个实施例中,该通信路径106可以实现为有线通信路径和/或无线通信路径。
一个或多个机器人组件190中的每一个包括多个子单元191、192、193和194。子单元191是推车单元,子单元192是安装臂单元,子单元193是机器人臂单元,并且子单元194是器械驱动单元。子单元191、192、193、194直接或间接地可操作地彼此联接,并且通过一个或多个通信路径(图1A中未示出)直接或间接地彼此通信地联接。推车单元191布置成在接受手术规程的患者104的范围内与手术台102相邻,并且被配置为沿着手术台102或患者104的侧面移动并且朝向和远离手术台102或患者104移动。器械驱动单元194能够与一个或多个相应的手术器械(图1A中未示出)和/或图像捕获装置(图1A中未示出)相联接,所述图像捕获装置根据所执行的特定手术规程而可互换地紧固在手术器械上。手术器械的示例性类型包括但不限于探针、末端执行器、抓紧器、刀、剪刀等。图像捕获装置的示例性类型包括但不限于内窥镜相机、腹腔镜相机、任何类型的图像捕获设备或与图像捕获设备联接的器械。
计算装置180包括一个或多个处理器118和一个或多个存储器单元120,并且一个或多个处理器118可操作地联接到一个或多个存储器单元120。在各种实施例中,计算装置180可以与外科医生控制台170整合在一起,或者可以是布置在手术室内或附近的独立装置,例如计算塔。一个或多个处理器118可以是适于实行或执行本文描述的技术或操作或指令的任何类型的合适处理器。一个或多个存储器单元120存储待由一个或多个处理器118实行的指令,诸如指令136(在实例中为软件),并且本文所述的技术由计算装置180响应于一个或多个处理器118执行存储在一个或多个存储器单元120中的指令来实行。一个或多个存储器单元120可以是适合于存储机器指令、数据等的任何类型的硬件装置。
外科医生控制台170包括通信链路138、显示装置122、一个或多个手柄112A、112B(统称,手柄112)、一个或多个处理器133、一个或多个存储器单元134、脚踏板128,以及与手柄112配置为移动所沿的方向相对应的至少一个电动机,诸如用于手柄112A的电动机132A和用于手柄112B的电动机132B。显示装置122可以是触摸显示器,或者包括触摸屏,其被配置为经由用户的触摸来接收输入。在一些实施例中,显示装置122被配置为显示图形用户界面(GUI),该图形用户界面被配置为接收用于手术系统100的各种设置的输入,包括但不限于确定用户是否脱离外科医生控制台170时所使用的安全模式和阈值数据的设置。显示装置122可以被配置为显示由外科医生控制台170从联接至机器人组件190的图像捕获装置接收的图像,其包括与患者104上或内部的手术部位有关的图像。在一些实施例中,显示装置122是二维(2D)显示装置。在一些实施例中,显示装置122被配置为显示由外科医生控制台170接收的一个或多个立体图像,以允许用户将一个或多个立体图像作为三维(3D)图像来观看。在一些实施例中,显示装置122是自动立体显示装置。
在手术规程期间,用户使用手柄112与外科医生控制台170进行交互。在一些实施例中,手柄112A是左手柄并且手柄112B是右手柄,其分别由用户的左手和右手进行操作。在一些实施例中,手柄112A包括各种触觉装置124A和/或致动器126A,其向用户提供有关各种组织参数或状况的反馈,诸如由于操纵、切割或其他处理而引起的组织阻力、器械作用在组织上的压力、组织温度、组织阻抗等。类似地,在一些实施例中,手柄112B包括各种触觉装置124B和/或致动器126B,其被构造成类似于触觉装置124A和/或致动器126A。触觉装置124A和124B在本文中统称为触觉装置124。致动器126A和126B在本文中统称为致动器126。可以理解的是,这样的触觉装置124为外科医生提供模拟实际操作条件的增强的触觉反馈。触觉装置124可以包括振动电动机、电活性聚合物、压电装置、静电装置、亚音速声频波表面致动装置、反向电振动或能够向用户提供触觉反馈的任何其他装置。如上所述,手柄112还可以包括各种不同的致动器126,例如,其可以用于微妙的组织操纵和/或治疗,从而进一步增强外科医生模仿实际操作条件的能力。
外科医生控制台170包括可操作地联接到手柄112的一个或多个传感器130A和130B(统称,130)。例如,传感器130A可以可操作地联接到手柄112A并且传感器130B可以可操作地联接至手柄112B。传感器130A和130B中的一个或多个可以被配置为确定与手柄的运动相关的度量,该传感器130A和130B可操作地联接至所述手柄。与手柄112的运动有关的度量的示例性类型包括但不限于手柄112的移动方向、手柄112的移动速度、手柄112的移动距离等。在一些实施例中,外科医生控制台170将与手柄112的运动有关的度量数据发送到手术系统100的计算装置180和/或诸如机器人组件190之类的机器人组件。传感器130A和130B中的一个或多个可以是电容式传感器和/或光学传感器,并且外科医生控制台170可以被配置为基于从传感器130A和130B中的电容式传感器和/或光学传感器接收的数据来确定用户是否与手柄112A或手柄112B接触。
每个手柄112可操作地联接到至少一个电动机并与之关联,以实现手柄112配置成移动所沿的每个运动方向。这样的电动机的实例是分别用于手柄112A和手柄112B的电动机132A和电动机132B(统称,电动机132)。电动机132A中的每个电动机可操作地联接到手柄112A并且电动机132A中的每个电动机与手柄112A配置成移动所沿的运动方向相关联。类似地,电动机132B中的每个电动机可操作地联接到手柄112B并且电动机132B中的每个电动机与手柄112B配置成移动所沿的运动方向相关联。电动机132中与方向相关联的每个电动机被配置成在相关联的方向上致动以引起手柄112在相关联的方向上的移动,并且在与它们的相关联的方向相反的方向上致动以抵制手柄112在相关联的方向上的移动。例如,如果手柄112A配置成沿左向移动,则电动机132A中的至少一个电动机与左向相关联。如果期望手柄112A应沿左向移动,则外科医生控制台170使与左向相关联的电动机在与左向相对应的方向上致动以辅助手柄112A沿左向的移动,并且如果期望应当抵制手柄112A沿左向的移动,则外科医生控制台170使与左向相关联的电动机在与左向相反的方向相对应的方向上致动以便抵制手柄112A沿左向的移动。电动机132配置成以各种速度被致动。
脚踏板128被配置为接收由用户对外科医生控制台170的一个或多个输入。脚踏板128被配置为置于两个或更多位置,并且脚踏板128的位置与对外科医生控制台170的输入相关联。脚踏板128的位置的选择将相关联输入提供给外科医生控制台170。在一些实施例中,用户使用脚踏板128提供输入以更新与手术系统100的一个或多个部件有关的设置和/或配置数据。外科医生控制台170被配置成基于经由脚踏板128接收的输入来更新设置和/或配置数据,并将更新后的设置和/或配置数据发送到计算装置180和/或一个或多个机器人组件,诸如机器人组件190。在一些实施例中,脚踏板128的位置之一被配置为脚踏板128的静止位置,并且当脚踏板128处于静止位置时,指示脚踏板128处于静止位置的输入信号被发送至外科医生控制台170。在一些实施例中,脚踏板128是瞬时脚踏板开关,并且基于对脚踏板128的一系列询问,诸如双轻踏脚踏板128,来发送对外科医生控制台170的输入。外科医生控制台170将经由脚踏板128接收的输入发送到手术系统100的计算装置180和/或机器人组件,诸如机器人组件190。
尽管图1A将跟踪装置160和外科医生控制台170示为经由通信路径和通信链路138、167彼此通信地联接的独立部件,但是该配置仅被提供作为说明性实例。在其他实施例中,跟踪装置160整合到外科医生控制台170中。因此,本文描述的由跟踪装置160和/或由外科医生控制台170执行的功能在各种其他实施例中可以由跟踪装置160、由外科医生控制台170、由其任何组合和/或由其部件的任何组合来执行,诸如处理器133或165和/或存储器134或166。根据另一个实施例,如在下文中将更详细描述的,跟踪装置160的功能可以补充有用于外科医生控制台170的手柄组件1000(见图9至图11)的手检测系统的功能。
在一个实施例中,跟踪装置160包括一个或多个图像捕获装置161、一个或多个处理器165、一个或多个存储器166以及一个或多个通信链路167。外科医生控制台170配置为实时或接近实时地识别并跟踪用户位置参考点(例如,用户的一部分或用户佩戴的眼镜163的一部分);确定用户是否与外科医生控制台170接合或脱离外科医生控制台170;并且基于确定结果使手术系统100以非安全模式或安全模式运行。如本文所使用的,术语用户位置参考点通常指的是用户的至少一部分和/或对象(诸如眼镜)的至少一部分,外科医生控制台170能够利用其作为计算和/或跟踪用户相对于参考坐标系的位置和/或取向的基础,该参考坐标系诸如为由显示装置122的面向用户的前平面定义的坐标系。在各个实施例中,用户位置参考点可以包括用户或对象的单个部分,或者包括用户或对象的多个部分。如本文中在此上下文所使用的,术语“用户的一部分”指的是用户的任何解剖部分,包括但不限于眼睛、眼睛内的瞳孔、头部、面部等。一个或多个图像捕获装置161的示例性类型是图1B中所示的图像捕获装置161a和161b。如图1B中所示,图像捕获装置161a和161b定位成彼此分开。外科医生控制台170配置为使图像捕获装置161在一个或多个时间段内移动以跟踪用户位置参考点。在一些实施例中,一个或多个图像捕获装置161被容纳在诸如外壳单元162的外壳单元内,并且外壳单元162被包括在外科医生控制台170内或附接到外科医生控制台170。
在一些实施例中,外科医生控制台170针对一个或多个面部和/或特征识别算法进行训练,并且被配置为通过在由图像捕获装置161捕获的一个或多个图像上应用一个或多个面部和/或特征识别算法来检测用户的眼睛、瞳孔、头部、面部等。在一些实施例中,外科医生控制台170被配置为执行用户位置参考点的光学跟踪,并且一个或多个图像捕获装置161在其透镜前面配备有红外(IR)通滤波器(图1A至图1C中未示出),并且在透镜周围配备有一圈IR发光二极管(LED)(图1A至图1C中未示出)。在光学跟踪用户位置参考点时,外科医生控制台170使用IR LED用IR光周期性地照射期望的空间,并通过使用一个或多个图像捕获装置161检测来自放置在用户的一部分上或用户佩戴的对象(诸如眼镜163)上的标记的IR光反射来识别并跟踪用户位置参考点。图1C中示出了眼镜163的示例性类型,该眼镜163包括位于其上面的标记164a、164b、164c、164d、164e(统称为164),该标记可为反射性标记。
外科医生控制台170包括一个或多个处理器133和一个或多个存储器单元134。一个或多个处理器133可操作地联接到一个或多个存储器单元134。一个或多个处理器133可以是任何类型的合适处理器,其适于实行或执行本文所述的技术或操作或指令。一个或多个存储器单元134存储要由一个或多个处理器133执行的指令(图1A中未示出),并且可以通过外科医生控制台170响应于一个或多个处理器133执行存储在一个或多个存储器单元134中的指令来实行本文所述的技术。一个或多个存储器单元134可以是适合于存储机器指令、数据等的任何类型的硬件装置。
处理器118、133、165和机器人组件190的处理器(图1A中未示出)(统称为手术系统100的处理器)可以是硬件处理器,其被编程为根据固件、存储器或其他存储装置或其组合中的指令实行本文所述的技术。类似地,手术系统100的处理器也可以是一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA),其被持久地编程以实行本文所述的技术或操作。手术系统100的处理器还可以是中央处理单元(CPU)、数字信号处理器(DSP)、微处理器或结合了硬连线逻辑或程序逻辑或两者以实行本文所述的操作或技术的任何其他装置。
存储器单元120、134、166和机器人组件190的存储器单元(图1A中未示出)(统称为机器人手术系统100的存储器单元)可以是易失性存储器,诸如随机存取存储器(RAM)(例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)。机器人手术系统100的存储器单元可以是非易失性存储器,诸如只读存储器(ROM)(例如,可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性RAM(NVRAM)等)。手术系统100的存储器单元也可以是磁性介质、光学介质或电介质。应当理解,机器人手术系统100实施方式的处理器和存储器单元仅以示例的方式提供,并且不应解释为限制性的。例如,本公开的任何实施例的规程可以通过硬件部件、固件部件、软件部件和/或其任何组合来实现。
现在转到图2A,根据本文的一个或多个实施例示出了显示装置122和一个或多个图像捕获装置161的示例性布置。一个或多个图像捕获装置161在位置上固定于显示装置122,使得图像捕获装置161和显示装置122之间的位置关系是已知的,并且外科医生控制台170、跟踪装置160和/或计算装置180被配置为部分地基于图像捕获装置161和显示装置122之间的位置关系来确定用户是否与外科医生控制台170接合或脱离外科医生控制台170。在一些实施例中,图像捕获装置161和显示装置122之间的位置关系例如由用户提供为对外科医生控制台170的输入。外科医生控制台170可以被配置为基于显示装置122相对于外科医生控制台170所处的环境的固定位置(诸如房间的地面或地板)的取向来计算一个或多个图像捕获装置161与显示装置122之间的位置关系。
在一个或多个时间段内实时跟踪用户位置参考点时,外科医生控制台170在每个时间段中计算用户位置参考点相对于显示装置122的位置。用户位置参考点相对于显示装置122的位置是部分地基于与一个或多个图像捕获装置161和显示装置122之间的位置关系有关的数据来计算的。在计算用户位置参考点相对于显示装置122的位置时,外科医生控制台170计算用户位置参考点的位置和取向。用户位置参考点的位置是在三维坐标空间(例如x、y和z坐标空间)中计算的,并且用户位置参考点的取向是通过计算用户位置参考点的侧倾角、俯仰角和横摆角来计算的。用户位置参考点的位置和取向是相对于显示装置122计算的。
使用用户位置参考点的位置和取向,外科医生控制台170计算差角θΔ。如本文所使用的,术语“差角”是正交于或垂直于显示装置122的前平面的假想线206与正交于由被跟踪的用户位置参考点(例如,与三个标记164对应的三个用户位置参考点)形成的平面的假想线207的夹角。这样的差角θΔ的实例在图2A中示出为差角θΔ201。法向假想线207与外科医生所看的方向基本对准。在图2A、图2B、图2C的实例中,用户佩戴眼镜163,该眼镜具有定位在其上的标记164,该标记164中的至少三个标记164表示用户位置参考点,并且外科医生控制台170正在执行用户位置参考点的光学跟踪。外科医生控制台170通过计算正交于由标记164形成的平面的假想线207与正交于显示装置122的前平面的假想线206之间的相对角度来计算差角θΔ201。
随着用户的头部移动,正交于由标记164形成的平面的假想线207的位置从第一位置(例如,图2A中所示的位置)改变到第二位置(例如,图2A或图2B中所示的位置),相应地,差角θΔ201发生变化,如图2B和图2C中所示。在外科医生控制台170通过检测用户的特征(诸如用户的眼睛)来跟踪用户位置参考点的实施例中,外科医生控制台170通过计算正交于所检测到的用户的特征的假想线(图2A至图2C中未示出)的位置和正交于显示装置122的前平面的假想线206的位置,并且通过计算所计算出的两个假想线的位置之间的角度,来计算差角θΔ201。随着所检测到的特征相对于显示装置122移动,正交于检测到的特征的假想线的位置改变,因此该差角θΔ201改变。
外科医生控制台170被配置成,部分地基于所述差角θΔ201来确定用户是否与所述外科医生控制台接合或脱离所述外科医生控制台。本文在图3、图4和图5的上下文中提供了由外科医生控制台170进行的、关于用户是否与外科医生控制台170接合或脱离外科医生控制台170的确定的附加细节。
图3示出了根据本文的示例性实施例的用于基于用户是否与外科医生控制台170接合或脱离外科医生控制台170来控制机器人手术系统100的运行模式的方法。在步骤302,外科医生控制台170确定外科医生控制台170当前正在运行所处的模式,诸如安全模式或正常模式(除了安全模式以外的任何模式)。如果外科医生控制台170确定外科医生控制台170当前正在以正常模式运行(在步骤302处为“正常模式”),则处理进行到框304。在框304处,外科医生控制台170确定用户是否与外科医生控制台170接合或脱离外科医生控制台170。下面结合图4和图5提供了在步骤304处外科医生控制台170如何进行确定的示例性方面。通常,外科医生控制台170可以通过跟踪用户的头部或眼睛位置(例如,相对于显示装置122)、手位置(例如,接触手柄112)或它们的任意组合来确定用户是否与外科医生控制台170接合或脱离外科医生控制台170。如果外科医生控制台170确定用户与外科医生控制台170接合(在框304处为“接合”),则处理进行到框306,在框306处,外科医生控制台170继续以正常模式运行。如果外科医生控制台170确定用户脱离外科医生控制台170(在框304处为“脱离”),则处理进行到框308,在框308处,外科医生控制台170停止以正常模式运行并开始以安全模式运行(诸如以下所述的安全模式)。从步骤306和308中的每一个步骤,处理进行到步骤316,在下面描述步骤316。
返回到步骤302,如果外科医生控制台170确定外科医生控制台170当前正在以安全模式运行(在步骤302处为“安全模式”),则处理进行到框310。在框310处,外科医生控制台170确定用户是否与外科医生控制台170接合或脱离外科医生控制台170。在下面结合图4和图5提供在步骤304处外科医生控制台170如何进行确定的示例性方面。如果外科医生控制台170确定用户已脱离外科医生控制台170(在框310处为“脱离”),则处理进行到框312,在框312处,外科医生控制台170继续以安全模式运行。如果外科医生控制台170确定用户与外科医生控制台170接合(在框310处为“接合”),则处理进行到框314,在框314处,外科医生控制台170停止以安全模式运行并开始以正常模式运行。从步骤312和步骤314中的每一个步骤,处理进行到步骤316。
在步骤316处,外科医生控制台170例如通过确定用户是否已经输入了关闭外科医生控制台170的命令,来确定是否终止外科医生控制台170的操作。如果外科医生控制台170确定将要终止外科医生控制台170的操作(在316处为“是”),则外科医生控制台170进入不活动状态(例如,断电状态或睡眠状态)并且方法300终止。如果外科医生控制台170确定将不终止外科医生控制台170的操作(在316处为“否”),则处理返回到如上所述的步骤302。
图4是示出用于确定用户是否与图1A的机器人手术系统100的外科医生控制台170接合或脱离图1A的机器人手术系统100的外科医生控制台170的示例性方法的流程图。在步骤402处,外科医生控制台170以多种方式之一来检测用户位置参考点。例如,在用户位置参考点是用户的一部分(诸如头部、眼睛等)的实施例中,外科医生控制台170可以通过经由图像捕获装置161捕获包括用户的一部分的图像,并且通过对捕获的图像执行一种或多种已知的图像识别算法,来检测用户位置参考点。在用户位置参考点是用户佩戴的眼镜163的一部分的实施例中(诸如与三个标记164相对应的一个或多个用户位置参考点),外科医生控制台170可以通过经由图像捕获装置161捕获包括标记164的图像,并且通过对捕获的图像执行一种或多种图像识别算法,来检测用户位置参考点。
在步骤404处,外科医生控制台170计算检测到的用户位置参考点相对于显示装置122的位置。在步骤406处,外科医生控制台170计算检测到的用户位置参考点相对于显示装置122的取向。在图像捕获装置161配备有IR通滤波器和IR LED并且外科医生控制台170被配置为执行光学跟踪的实施例中,外科医生控制台170计算一个或多个标记相对于显示装置122的位置和取向,并且基于一个或多个标记的位置和取向,计算用户位置参考点的位置和取向和/或用户的一部分的位置和取向。
在步骤408中,外科医生控制台170基于分别在步骤404和406中计算出的用户位置参考点的位置和取向来计算差角θΔ201。如上所述,在计算差角θΔ201时,外科医生控制台170计算正交于由用户位置参考点限定的平面的假想线的位置和正交于显示装置122的前表面的假想线的位置,并且计算两个位置之间的角θΔ201作为差角。在步骤410中,外科医生控制台170基于分别在步骤404和406处计算出的用户位置参考点的位置和取向,来计算用户位置参考点的运动方向。在一些实施例中,外科医生控制台170通过将当前时间实例中的用户位置参考点的位置和取向与先前时间实例的位置和取向进行比较,来计算用户位置参考点的运动方向。
在步骤412中,外科医生控制台170基于用户的一部分的运动方向来选择第一阈值角θt1(例如,参照图2B和图2C,针对向上方向的θt1u202或针对向下方向的θt1d204)。用户位置参考点的每个可能的运动方向,或者用户位置参考点的可能的运动方向的至少子集与阈值角相关联,并且在存储于外科医生控制台170的存储器单元(诸如存储器单元134中的一个)中或可操作地联接至外科医生控制台170的存储装置中的一组规则中指定了阈值角与用户位置参考点的运动方向之间的关联。例如,如果每个基本运动方向(诸如上、下、左、右)均与第一阈值角相关联,那么该组规则指定针对上、下、左和右中的每个的对应的第一阈值角θt1,并且外科医生控制台170使用该组规则来选择与所计算出的用户位置参考点的运动方向相对应的第一阈值角。
在一些实施例中,与一个运动方向相关联的阈值角的大小不同于与另一运动方向相关联的阈值角的大小。例如,与向下运动方向相关联的阈值角(例如,参照图2C,θt1d204)可以大于与向右运动方向相关联的阈值角(在图2C中未示出)。针对特定运动方向的阈值角的大小部分地基于手术系统100的部件是否沿该方向定位以及该部件与显示装置122的距离。例如,如果脚踏板128定位在显示装置122下方,则针对向下方向的阈值角的大小应该足够大,以适应用户查看脚踏板128而不会将该用户识别为脱离外科医生控制台170的用户。在一些实施例中,针对特定运动方向的阈值角的大小取决于外科医生控制台170的用户在该方向上与手术系统100的部件交互的可能性。例如,如果第二显示装置位于显示装置122的右侧,但是第二显示装置没有向外科医生控制台170的用户提供任何有用的信息,则不太可能的是:用户将看着第二显示装置,同时仍打算与外科医生控制台170接合。因此,与第二显示装置所处的方向(在此实例中为右向)相关联的阈值角不应大到足以适应用户看第二显示装置的程度。然而,如果第二显示装置向用户提供有用的信息或用户与第二显示装置进行交互,则更可能的是:用户将看着第二显示装置并且该方向上的阈值角的大小应足够大以适应用户看第二显示装置。
在一些实施例中,外科医生控制台170被配置为相对于面对显示装置122的用户识别可操作地且通信地联接至外科医生控制台170的附加部件的位置和取向,并基于该附加部件的位置和取向来增加与该方向相关联的阈值角。例如,如果作为默认数量的显示装置的附加的显示装置可操作地且通信地联接到外科医生控制台170以朝向面对外科医生控制台170的用户的右侧,则外科医生控制台170基于附加显示装置相对于面对显示装置122或使用外科医生控制台170的用户的位置和取向来增加与用户的右向相关联的阈值角。在一些实施例中,可操作地且通信地联接到外科医生控制台170的附加部件的位置和取向作为输入被提供给外科医生控制台170,并且外科医生控制台170确定相对于外科医生控制台170的用户的、附加部件所在的方向,计算与该方向相关联的阈值角的大小的增加量,并将该阈值角增加该计算出的大小的增加量。
因此,通过针对不同的运动方向指定不同的阈值角,外科医生控制台170减少了当用户与外科医生控制台170接合时错误地识别为用户脱离外科医生控制台170的可能性。减少这样的错误识别进一步减少了错误地导致手术系统100以安全模式启动和运行,并提高了手术系统100的整体效率。
在一些实施例中,每个运动方向还与第二阈值角θt2相关联(例如,参照图2B和图2C,针对向上方向的θt2u203或针对向下方向的θt2d205),该第二阈值角θt2小于第一阈值角θt1(例如,针对向上方向的θt1u202或针对向下方向的θt1d204),并且该组规则指定针对每个运动方向的关联的第二阈值角θt2。在这样的实施例中,在步骤414中,外科医生控制台170使用该组规则来选择与在步骤410中计算出的用户位置参考点的运动方向相对应的第二阈值角θt2。第二阈值角θt2被用于确定已经被识别为脱离外科医生控制台170的用户是否与外科医生控制台170重新接合。通过提供小于第一阈值角θt1的第二阈值角θt2,手术系统100产生了防止手术系统100在以安全模式运行与以非安全模式运行之间快速振荡的缓冲。
在步骤416中,外科医生控制台170将差角θΔ201与第一阈值角θt1进行比较,该差角θΔ201是在步骤408处基于分别在步骤404和406中计算出的用户位置参考点的位置和取向来计算的。如果外科医生控制台170确定差角θΔ201大于第一阈值角θt1(在步骤416处“θΔ>θt1”),则在步骤418中,外科医生控制台170确定用户已脱离。在一些实施例中,如以上结合图3的步骤308和/或步骤312所描述的,响应于识别为用户已脱离,外科医生控制台170例如通过启动和处理与所选的安全模式相关的步骤来使手术系统100以所选的安全模式运行。
在一些实施例中,外科医生控制台170配置有指示器,该指示器存储在存储器单元134中或存储在可操作地联接到外科医生控制台170的存储装置中,该指示器的值指示手术系统100是否以安全模式或非安全模式运行,该指示器在本文中称为“安全模式指示器”,并且外科医生控制台170至少部分地基于安全模式指示器的值来确定手术系统100是否以安全模式运行。外科医生控制台170被配置为更新安全模式指示器的值,以在使手术系统100以安全模式运行时或在用户被识别为脱离了外科医生控制台170时指示手术系统100以安全模式运行。安全模式指示器的实例包括但不限于标志变量,外科医生控制台170更新该标志变量的值以例如通过将标志变量的值设置为一(1)以指示手术系统100正在以安全模式运行并设置为零(0)以指示手术系统100正在以非安全模式运行来指示手术系统100是否正在以安全模式运行。
在一些实施例中,外科医生控制台170被配置为选择存储在外科医生控制台170的存储器单元中的一组规则中所指定的默认安全模式,所述存储器单元诸如是存储器单元134或可操作地联接至外科医生控制台170的存储装置。在一些实施例中,每个均与等级相关联的多个安全模式的列表存储在一个或多个存储器单元134或可操作地联接至外科医生控制台170的存储装置中,并且外科医生控制台170被配置为基于与安全模式相关联的等级来从多个安全模式的列表中进行选择。在一些实施例中,外科医生控制台170提供了呈现各种安全模式的列表的GUI,手术系统100被配置为以各种安全模式运行,并且用户选择安全模式,并且使用该GUI将选择作为输入提供给外科医生控制台170。本文在图6和图7的上下文中提供了手术系统100被配置为运行所处于的一些安全模式的附加细节。
在步骤416中,如果外科医生控制台170确定差角θΔ201不大于第一阈值角θt1(在步骤416处“θΔ≤θt1”),则在第二阈值角θt2与运动方向相关联并且选择第二阈值角θt2的实施例中,处理进行到步骤420。在步骤420中,外科医生控制台170将差角θΔ与第二阈值角θt2进行比较。如果外科医生控制台确定差角θΔ小于第二阈值角θt2(在步骤420处“θΔ<θt2”),则在步骤422中,外科医生控制台170确定用户已接合。在实施例中,外科医生控制台170可以进一步确定用户的XYZ位置(即,确定用户的头部、面部或3D眼镜在三维空间中相对于外科医生控制台170的位置)以确定用户是否已接合。例如,通过确定用户相对于外科医生控制台170的XYZ位置,外科医生控制台170能够确定用户是否离外科医生控制台太远,并提供指示这种情况的通知。另外,在多个个体在外科医生控制台170的预定距离内的实施例中,外科医生控制台170可以确保正确的个体(即,用户)被跟踪,并且站在用户后方的另一个个体不会被确定为与外科医生控制台170接合。
如果外科医生控制台170确定差角θΔ不小于第二阈值角θt2(在步骤420处“θΔ≥θt2”),则在步骤424处,外科医生控制台170确定手术系统100是否正在以安全模式运行。在一些实施例中,外科医生控制台170可以另外确定用户的位移是否大于预定阈值。另外地或替代地,外科医生控制台170可以确定位移梯度。通过确定位移梯度和/或位移是否大于预定阈值,外科医生控制台170可以确定位移是否在太短的时间段内太大,正如可能是如下情形:如果在外科医生控制台170的接合区域中有多个个体并且用户以外的个体的运动被错误地归于该用户,或者跟踪器从一个用户跳转到另一个用户。如果确定位移大于预定阈值或位移梯度指示跟踪器可能已在个体之间跳转,则可以激活安全模式。如果外科医生控制台170确定手术系统100正在以安全模式运行(在步骤424处为“是”),则在步骤418中,外科医生控制台170将用户识别为脱离了外科医生控制台170。如果外科医生控制台170确定手术系统100没有以安全模式运行(在步骤424处为“否”),则在步骤422中,外科医生控制台170将用户识别为与外科医生控制台170接合(或重新接合,视情况而定)。如上结合图3的步骤306和/或步骤314所述,外科医生控制台170响应于将用户识别为已接合,例如通过启动和处理与正常模式相关联的步骤,来使手术系统100以正常(非安全)模式运行。在一些实施例中,在步骤420中,外科医生控制台170被配置为在将用户识别为与外科医生控制台170重新接合之前等待阈值时间量。在外科医生控制台170被配置有安全模式指示器的实施例中,外科医生控制台170更新安全模式指示器的值,以在用户被识别为已与外科医生控制台170重新接合或接合时或在使手术系统100退出安全模式时,指示手术系统100没有以安全模式运行。
图5示出了确定外科医生控制台170的用户是否与外科医生控制台170接合或脱离外科医生控制台170的另一说明性方法500。在各个实施例中,通过单独地或彼此任意组合地采用方法300(图3)和/或方法400(图4),外科医生控制台170可以被配置为确定用户是否与外科医生控制台170接合或脱离外科医生控制台170。
在步骤502处,外科医生控制台170的处理器133从一个或多个传感器130获取指示用户是否与外科医生控制台170的一个或多个手柄112接触的数据。在步骤504处,外科医生控制台170基于在步骤502获得的数据来确定用户是否与手柄112接触。具体地,例如,外科医生控制台170可以在步骤504处基于来自一个或多个传感器130A(诸如电容式传感器和/或光学传感器)的输出来确定用户是否与手柄112A接触,一个或多个传感器130A联接到手柄112A并且被配置为识别用户与手柄112A的接触。来自这样的传感器130A的输出的示例性类型包括但不限于:当用户与联接到传感器的手柄112A接触时,高信号或一(1);当用户没有与手柄112A接触时,低信号或零(0)。例如,传感器130A是电容式传感器,其被配置为当用户与手柄112A接触时将高信号或一(1)发送到外科医生控制台170的处理器133,而当用户未与手柄112A接触时发送低信号或零(0),于是,如果由处理器133从电容式传感器130A接收到高信号或1,则外科医生控制台170确定用户与手柄112A接触,而如果由处理器133从电容式传感器130A接收到低信号或零(0),则外科医生控制台170确定用户未与手柄112A接触。在一些实施例中,如果用户同时与手柄112中的大多数手柄接触,则外科医生控制台170确定用户与外科医生控制台170接触。例如,如果外科医生控制台170包括三个手柄112并且外科医生控制台被配置为在用户与大多数手柄112接触的情况下则确定用户与外科医生控制台170接触,于是,如果用户同时接触至少两个手柄112,则外科医生控制台170确定用户与外科医生控制台170接触。类似地,如果外科医生控制台170包括两个手柄112,则如果用户与两个手柄112(即与外科医生控制台170的手柄112中的大多数手柄)接触,则外科医生控制台170确定用户与外科医生控制台170接触。
在步骤506中,如果外科医生控制台170确定用户未与外科医生控制台170接触(在步骤506处为“否”),则在步骤510中,外科医生控制台170将用户识别为脱离外科医生控制台170。在步骤506中,如果外科医生控制台170确定用户与外科医生控制台170接触(在步骤506处为“是”),则在步骤508中,外科医生控制台170将用户识别为与外科医生控制台170重新接合。
如上所述,手术系统100被配置为以单独地或以任何组合的一种或多种安全模式运行,并且本文在图6和图7的上下文中提供了这些安全模式的附加细节。特别地,图6和图7示出了流程图,这些流程图示出了用于在以下五个示例性安全运行模式中的一个或多个安全运行模式下运行图1A的机器人手术系统100的示例性方法600:(1)咬合安全模式;(2)锁定安全模式;(3)缩放因子安全模式;(4)基于手柄速度的反向力安全模式;以及(5)基于手柄位置的反向力安全模式。在一些实施例中,手术系统100被配置为基于有关用户是否与外科医生控制台170接合或脱离外科医生控制台170的确定(参见例如图3的步骤304和/或310、图4的方法400,和/或图5的方法500)根据方法600来进入一种或多种安全模式(例如参见图3的步骤308)或保持在一种或多种安全模式中(例如参见图3的步骤312)。现在参照图6,在步骤602处,外科医生控制台170例如基于上述安全模式指示器的值来确定进入哪种安全模式或保持在哪种安全模式中。尽管本文在控制机器人组件190或其子单元191、192、193和194之一的上下文中描述了一些安全模式,但在各种实施例中,安全模式包括同时控制多个机器人组件190和/或其子单元191、192、193和194。
如果外科医生控制台170确定进入或保持在咬合安全模式中(在步骤602处为“咬合”),则处理进行到步骤604。在手术系统100以非安全模式运行时,外科医生控制台170通过将与外科医生控制台170的手柄112的运动有关的数据发送到通信地联接至手柄112的机器人组件190的子单元191、192、193和194中的一个或多个,来使机器人组件190的子单元191、192、193和194中的一个或多个移动,并且接收与手柄112的运动有关的数据的子单元191、192、193、194中的一个或多个部分地基于所接收的数据而移动。
在步骤604中,在手术系统100以咬合安全模式运行时,对于外科医生控制台170的每个手柄112,例如通过防止将与手柄112的运动有关的数据发送到子单元191、192、193和/或194,外科医生控制台170防止手柄112的运动引起通信地联接至手柄112的机器人组件190的子单元191、192、193和194中的一个或多个的相应运动。在一些实施例中,外科医生控制台170配置有存储在存储器单元134中或可操作地联接到外科医生控制台170的存储装置中的指示器,该指示器的值指示是否启用或禁用咬合安全模式,该指示器在本文中称为“咬合安全模式指示器”,并且外科医生控制台170部分地基于咬合安全模式指示器的值来确定是否发送与手柄112的运动有关的数据。指示禁用咬合安全模式的咬合安全模式指示器的值的实例是一(1)或一连串一(1)(例如“11111”),并且指示启用咬合安全模式的咬合安全模式指示器的值的实例是零(0)或一连串零(0)(例如“00000”)。在一些实施例中,咬合安全模式指示器的值的每一位与外科医生控制台170的手柄112相关联,并且外科医生控制台170部分地基于与该手柄112相关联的位的值来确定是否发送特定手柄112的运动数据。例如,该值的第零位可以与手柄112A相关联并且该值的第一位可以与手柄112B相关联,并且外科医生控制台170基于第零位是高(1)还是低(0)来确定是否发送与手柄112A的运动有关的数据,并且外科医生控制台170基于第一位是高还是低来确定是否发送与手柄112B的运动有关的数据。
外科医生控制台170被配置为更新咬合安全模式指示器的值,以在从手柄112的运动到通信地联接的机器人臂的运动的运动转换被禁用时,指示咬合安全模式被启用。从步骤604,处理进行到步骤606,在该步骤606中,外科医生控制台170向用户提供警报,警报指示外科医生控制台170处于安全模式(在这种情况下为咬合安全模式)。可以在步骤606处提供的警报的实例包括但不限于视觉和/或听觉警报,类似于上述警报。
返回到步骤602,如果外科医生控制台170确定进入或保持在锁定安全模式中(在步骤602处为“锁定”),则处理进行到步骤608。在步骤608处,外科医生控制台170将外科医生控制台170的每个手柄112锁定在其位置,并防止手柄112从其位置运动。在一些实施例中,外科医生控制台170在锁定手柄112时识别每个手柄112的位置,并将与手柄112的位置有关的数据存储在外科医生控制台170的存储器单元134或可操作地联接至外科医生控制台170的存储装置中。在一些实施例中,外科医生控制台170通过防止手柄112的电动机和致动器(诸如电动机132A和132B)的运动来将手柄112锁定在其位置。例如,外科医生控制台170可以使电动机伺服或施加扭矩以将手柄112恢复到所存储的位置,使得被锁定的每个子单元191、192、193、194维持所存储的位置。在步骤610中,外科医生控制台170通过将锁定指令发送到子单元191、192、193、194中的每个而使通信地联接至手柄112的子单元191、192、193、194中的每个锁定在其位置。如上所述,外科医生控制台170经由计算装置180通信地联接到机器人组件190,并且外科医生控制台170通过将锁定子单元191、192、193、194的指令发送到计算装置180、该计算装置180进而将指令发送到机器人组件190,来将锁定子单元191、192、193、194的指令发送到机器人组件190。在一些实施例中,外科医生控制台170直接通信地联接到手术系统100的每个机器人组件190,并且外科医生控制台170将锁定机器人臂在其位置的指令直接发送到通信地联接至手柄112的机器人臂的机器人组件190。接收该指令的每个机器人组件响应于接收到指令而将其机器人臂锁定在其位置。
从步骤610,处理进行到步骤606,在该步骤606处,外科医生控制台170向用户提供指示安全模式(在这种情况下为锁定安全模式)被激活的警报。在一些实施例中,外科医生控制台170提供指示手柄112和通信地联接的机器人臂被锁定的视觉警报。该视觉警报的实例包括但不限于在外科医生控制台170的一个或多个显示装置(诸如显示装置122)上显示的图形项目。视觉警报的另一实例包括外科医生控制台170上的发光二极管(LED),其在手柄112和通信地联接的机器人臂被锁定时被通电。在一些实施例中,外科医生控制台170被配置为提供诸如声音记录的听觉警报,和/或诸如振动或其他物理反馈的触觉警报,其指示手柄112和通信地联接的机器人臂被锁定。
返回到步骤602,如果外科医生控制台170确定进入或保持在缩放因子安全模式中(在步骤602处为“缩放因子”),则处理进行到步骤612。在步骤612处,外科医生控制台170检测外科医生控制台170的手柄112的运动。如上所述,每个手柄112可操作地且通信地联接到一个或多个传感器130,所述一个或多个传感器130被配置为检测手柄112的运动和手柄112的运动速度并且输出指示手柄112是否运动和/或手柄112的速度的值。基于联接到手柄112的一个或多个传感器130的输出值,外科医生控制台170检测手柄112的运动。在步骤614处,外科医生控制台170计算手柄112移动的速度。如上所述,外科医生控制台170基于经由联接到手柄112并被配置为感测手柄112的运动的一个或多个传感器130随时间推移而感测到的手柄的多个位置来计算速度。
在步骤616处,外科医生控制台170基于在步骤614处计算出的手柄112的运动速度,从安全模式缩放因子列表中选择缩放因子。如本文所使用的,术语“缩放因子”指的是手柄112的运动与所引起的通信地联接到手柄112的一个或多个子单元191、192、193和194的相应运动之间的比率。例如,缩放因子3:1表示手柄112移动3英寸会转换成通信地联接的子单元191、192、193和/或194移动1英寸。类似地,缩放因子为50:1表示手柄112移动5英寸会转换成通信地联接的子单元191、192、193和/或194移动0.1英寸。安全模式缩放因子是在一组规则或配置数据中指定的缩放因子,外科医生控制台170被配置为如果手术系统100以缩放因子安全模式运行则使用该缩放因子。该组规则或配置数据还为每个安全模式缩放因子指定速度或速度范围,并存储在存储器单元134的一个或多个存储器单元或可操作地联接到外科医生控制台170的存储装置中。在一些实施例中,在从安全模式缩放因子列表中选择缩放因子时,外科医生控制台170识别最接近计算出的手柄112的速度的速度或包括计算出的速度的速度范围,并选择相关联的缩放因子。在其他实施例中,外科医生控制台170计算手柄112的运动速度,并基于计算出的速度来修改向下缩放因子。
在步骤618处,外科医生控制台170将在步骤616处选择的安全模式缩放因子应用于手柄112所行进的距离以计算缩放后距离,并将缩放后距离发送至通信地联接到手柄112的子单元191、192、193或194中的一个或多个子单元,一个或多个子单元部分地基于接收到的缩放后距离而移动。在一些实例中,所选择的安全模式缩放因子可以是向下缩放因子,对于手柄112的给定运动量而言,该向下缩放因子,相对于非安全模式缩放因子,引起子单元191、192、193或194中的一个或多个子单元的少量运动。在一些实施例中,外科医生控制台170将所选的安全模式缩放因子和手柄112所行进的距离发送到子单元191、192、193和/或194中的特定的一个或多个子单元,并且计算缩放后距离,机器人臂部分地基于该缩放后距离而运动。在步骤710之后,外科医生控制台170返回到步骤302(在图3中示出)。从步骤618,处理进行到步骤606,在该步骤606处,外科医生控制台170向用户提供指示基于手柄速度的安全模式被启用的视觉和/或听觉警报。
再次参照步骤602,如果外科医生控制台170基于手柄速度确定进入或保持在反向力安全模式中(在步骤602处为“反向力(基于速度)”),则处理进行到步骤620。在步骤620处,外科医生控制台170检测手柄112中的一个或多个手柄的运动。外科医生控制台170以与上述步骤612类似的方式检测手柄112的运动。在步骤622处,外科医生控制台170使用可操作地且通信地联接到手柄112的一个或多个传感器130来计算手柄112的运动速度。
在步骤624处,外科医生控制台170计算手柄112的运动方向。如上所述,传感器130中的一个或多个被配置为感测手柄112在一个或多个方向上的运动方向,并且外科医生控制台170基于来自一个或多个传感器130的输出来计算手柄112例如相对于手柄112的先前位置的运动方向。
在步骤626中,外科医生控制台170基于计算出的手柄112的运动速度和计算出的手柄112的运动方向,来计算在与计算出的手柄112的运动方向相反的方向上施加到手柄112的反向力。在步骤628处,外科医生控制台170识别手柄112的电动机132之中与要施加在步骤626处计算出的反向力的方向相关联的电动机,并且,在步骤630处,外科医生控制台170以足以在与所计算出的手柄运动方向相反的方向上产生在步骤626中计算出的反向力并且由此显著地减少手柄112的任何行程的速度,在与计算出的手柄112的运动方向相反的方向上致动所识别的电动机。因此,外科医生控制台170在与手柄112的运动方向相反的方向上向用户提供足够的力,从而向用户提供手术系统100正在以安全模式运行的触觉反馈。从步骤630,处理进行到步骤606以提供安全模式(在这种情况下为基于速度的反向力安全模式)被激活的警报。
再次参照步骤602,如果外科医生控制台170基于手柄位置确定进入或保持在反向力安全模式中(在步骤602处为“反向力(基于位置)”),则处理进行到步骤632。在步骤632处,对于每个手柄112,外科医生控制台170基于手柄位置来识别在使手术系统100以反向力安全模式运行时的手柄112的位置。外科医生控制台170将识别的手柄112的位置存储在存储器单元134或可操作地联接到外科医生控制台170的数据存储装置中。
在步骤634处,外科医生控制台170检测手柄112中的一个或多个手柄从在步骤632处识别的其相应位置的运动。在步骤634处,外科医生控制台170计算运动了的手柄112所行进的距离。如上所述,联接到手柄112的一个或多个传感器130被配置为感测手柄112行进的距离,并且外科医生控制台170使用来自一个或多个传感器130的数据来计算手柄112所行进的距离。
在步骤636处,外科医生控制台170计算手柄112的运动方向,并且在步骤638处,基于计算出的手柄112的运动速度和/或计算出的手柄112的运动方向,外科医生控制台170计算在与计算出的手柄运动方向相反的方向上施加到手柄112上的反向力。在步骤628处,外科医生控制台170在手柄112的电动机132之中识别与计算出的运动方向相关联的电动机,并且在步骤630处,外科医生控制台170以足以在与计算出的手柄运动方向相反的方向上产生计算出的反向力的速度旋转所识别的电动机,并继续致动电动机,直到手柄112返回到在步骤632处识别的位置,从而减少手柄112的任何行程并向用户提供指示运动正在被抵制的反馈,从而提醒用户手术系统100正在以安全模式运行。
图7是示出用于终止图1A的机器人手术系统100的一种或多种安全运行模式的示例性方法700的流程图。在步骤702处,外科医生控制台170例如基于上述安全模式指示器的值来确定退出哪种安全模式。如果外科医生控制台170确定退出咬合安全模式(在步骤702处为“咬合”),则处理进行到步骤704。在步骤704处,对于外科医生控制台170的每个手柄112,通过能够将与手柄112的运动有关的数据发送到子单元191、192、193或194,外科医生控制台170能够实现从手柄112的运动到通信地联接到手柄112的子单元191、192、193和/或194的运动的运动转换。在外科医生控制台170配置有咬合安全模式指示器的实施例中,外科医生控制台170将咬合安全模式指示器的值更新为指示禁用咬合安全模式的值。在步骤706处,外科医生控制台170向用户提供警报,该警报指示咬合安全模式被禁用和/或正常(非安全)模式被启用。
如果外科医生控制台170确定退出锁定安全模式(在步骤702处为“锁定”),则处理进行到步骤708。在步骤708处,外科医生控制台170解锁外科医生控制台170的每个手柄112。在一些实施例中,外科医生控制台170通过响应于用户移动手柄112而按照其非安全模式配置致动与手柄112相关联的电动机132来解锁每个手柄112。例如,外科医生控制台170可以在确定外科医生重新接合(例如,看着外科医生控制台170)时解锁每个手柄112,和/或外科医生控制台170可以在用户执行预定动作(诸如致动按钮或踏板或执行手柄112的特定运动)之后解锁每个手柄112。在步骤710处,通过例如向计算装置180发送解锁子单元191、192、193或194的指令,外科医生控制台170使通信地联接到手柄112的每个子单元191、192、193或194解锁,响应于此,计算装置180将该指令发送到子单元191、192、193或194。在机器人组件190直接连接到外科医生控制台170的实施例中,外科医生控制台170将释放机器人臂的指令直接发送到与手柄112通信地联接的机器人臂的机器人组件190。接收指令的每个机器人组件响应于接收到指令而解锁其子单元191、192、193和/或194。
在步骤706处,外科医生控制台170向用户提供指示已退出安全模式和/或已进入正常模式(非安全模式)的警报。在一实例中,该警报包括指示手柄112和通信地联接到手柄112的机器人臂被解锁。在一些实施例中提供给用户的警报是视觉警报,并且在一些实施例中,提供给用户的警报是听觉警报。该视觉警报的实例包括但不限于在外科医生控制台170的一个或多个显示装置和外科医生控制台170上的LED上显示的图形项目。
返回到步骤702,如果外科医生控制台170确定退出缩放因子安全模式(在步骤702处为“缩放因子”),则处理进行到步骤712。在步骤712处,外科医生控制台170将缩放因子重置回要在正常(非安全模式)运行期间使用的预定值,诸如值1:1。
如果外科医生控制台170确定退出基于手柄速度的反向力安全模式或基于手柄位置的反向力安全模式(在步骤702处为“反向力(基于速度)”或“反向力(基于位置)”),则处理进行到步骤714。在步骤714处,外科医生控制台170停止在图6的步骤630处开始的电动机的致动。从步骤714,处理进行到步骤706,在步骤706处,生成指示安全模式已被禁用并且正常模式已被启用的警报。
现在转到图8,再次示出了根据本公开的机器人手术系统100。机器人手术系统100包括多个机器人组件190、处理单元或计算装置180以及外科医生控制台或用户接口170。机器人组件190通常包括机器人基座191,以及用于可移动地支撑配置为在手术部位“S”上作用于患者104的组织的末端执行器、机器人手术器械或工具1020的机器人臂192。每个臂192的端部可包括用于对手术部位“S”成像的成像装置56,和/或识别被支撑或附接到臂192的端部的工具1020(例如,一种手术器械)的工具检测系统(未示出)。
处理单元180将机器人组件190和外科医生控制台170电互连,以处理和/或发送在外科医生控制台170和机器人系统190之间发送和/或接收的信号,如下面进一步详细描述的。
外科医生控制台170包括配置为显示三维图像的显示装置122。该显示装置122显示手术部位“S”的三维图像,其可以包括由位于臂192的端部上的成像装置56捕获的数据和/或包括由位于手术室周围的成像装置(例如,位于手术部位“S”内的成像装置56、邻近患者104定位的成像装置、位于成像臂的远侧端的成像装置56)捕获的数据。该成像装置56可以捕获手术部位“S”的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其他已知的实时图像。成像装置56将捕获的成像数据发送到处理单元180,该处理单元180根据成像数据实时创建手术部位“S”的三维图像并将三维图像发送至显示装置122以进行显示。
外科医生控制台170包括控制臂1042,控制臂1042支撑控制臂组件1046以允许临床医生操纵机器人组件190(例如,移动臂192、臂192的端部和/或工具1020)。控制臂组件1046与处理单元180通信以向处理单元180发送控制信号并从处理单元180接收反馈信号,该处理单元180继而向机器人组件190发送控制信号并从机器人组件190接收反馈信号以执行机器人组件190的期望运动。
每个控制臂组件1046包括可操作地联接到控制臂1042的万向节1060和可操作地联接到万向节1060的输入装置或手柄组件1000(例如,类似于上述的手柄112A、112B)。手柄组件1000中的每个能够在具有“X”轴、“Y”轴和“Z”轴的坐标系内移动通过预定的工作空间,以在手术部位“S”内移动臂192的端部。随着手柄组件1000移动,工具1020在手术部位“S”内移动。应当理解,工具1020的运动还可以包括臂192和/或臂192的支撑工具1020的端部的运动。
显示装置122上的三维图像被定向成使得由于手柄组件1000的运动导致的万向节1060的运动使臂192的端部运动,如在显示装置122上观察到的那样。应当理解,相对于患者104上方的视角,显示装置122上的三维图像的取向可以是镜像的或旋转的。此外,应当理解,在显示装置122上的三维图像的尺寸可以缩放成大于或小于手术部位“S”的实际结构,以允许临床医生更好地观察手术部位“S”内的结构。对于手柄组件运动的缩放的详细讨论,可以参照共同拥有的国际专利申请序号PCT/US16/65588,其全部内容通过引用合并于本文中。
对于机器人手术系统的构造和操作的详细讨论,可以参照美国专利第8,828,023号,其全部内容通过引用并入本文中。
现在参照图9,控制臂组件1046的每个万向节1060包括外连杆1062、中间连杆1064和内连杆1066。外连杆1062包括可枢转地连接到控制臂1042的第一端1062a和可枢转地连接到中间连杆1064的第一端1064a的第二端1062b,使得中间连杆1064能够绕着“X”轴如由箭头“X1”(图8)所示地旋转。中间连杆1064包括可枢转地连接到内连杆1066的第一端1066a的第二端1064b,使得内连杆1066能够绕着“Y”轴如由箭头“Y1”(图8)所示地旋转。内连杆1066包括具有连接器1068的第二端1066b,该连接器1068被构造成可释放地接合手柄组件1000的远侧端部1000a,使得手柄组件1000能够绕着“Z”轴如由箭头“Z1”(图8)所示地旋转。
在实施例中,外连杆1062、中间连杆1064和内连杆1066各自是被构造为彼此嵌套的大致L形的框架。然而,应当理解,外连杆1062、中间连杆1064和内连杆1066可以是任何形状,只要“X”轴、“Y”轴和“Z”轴在零位或原位中彼此正交(参见例如图9)。还应该理解,可在控制臂组件1046中利用其他万向节构造,只要保持手柄组件1000绕“X”轴、“Y”轴和“Z”轴的运动即可。更进一步,万向节1060的连接器1068可以允许使用不同尺寸或种类的手柄组件1000来控制机器人组件190的臂192和/或工具1020。
如图9和图10中所示,每个控制臂组件1046的手柄组件1000包括主体部1110和抓握部1120。主体部1110包括壳体1112,其支撑用于控制机器人组件190的工具1020(图8)的各种功能的多个致动器1114、1116、1118。如图10中示出并定向的,第一致动器1114以拨片的形式布置在壳体1112的外侧表面1112a上,第二致动器1116以按钮的形式布置在壳体1112的顶表面1112b上,并且第三致动器1118以触发器的形式从壳体1112的底表面1112c延伸出。应当理解,第一致动器1114、第二致动器1116和第三致动器1118可以具有任何合适的构造(例如,按钮、旋钮、拨片、肘节、滑动件、触发器、摇杆等),并且第一致动器1114、第二致动器1116和第三致动器1118的数量和关于手柄组件1000的安置可以变化。第一致动器1114包括指托1122和在指托1122上延伸的带子1124,以将临床医生的手的手指(例如,食指“I”)紧固到第一致动器1114,使得手柄组件1000不相对于手指滑动。
继续参照图10,手柄组件1000被外科医生或临床医生抓握,使得临床医生的手“H”的食指“I”(以幻像示出)放在第一致动器1114上,临床医生的手“H”的手掌“L”放在手柄组件1000的主体部1110和抓握部1120上,并且临床医生的手“H”的拇指“T”和中指“M”是自由的以分别致动第二致动器1116和第三致动器1118。
每个手柄组件1000允许临床医生操纵(例如,夹紧、握住、发射、打开、关闭、旋转、推、切等)支撑在臂192的端部处的相应工具1020(图8)。例如,如图11中所示,工具1020可以是包括从工具轴1026延伸的对置的钳夹构件1022、1024的钳夹组件。第一致动器1114可以被配置为在打开构造与闭合构造之间致动工具1020的钳夹构件1022、1024。第二致动器1116和第三致动器1118实现工具1020的其他功能,诸如固定钳夹构件1022、1024相对于彼此的构造,使钳夹构件1022、1024相对于工具轴1026旋转,从钳夹构件1022、1024中的一个发射紧固件(未示出),致动布置在钳夹构件1022、1024中的一个内的刀(未示出),激活电手术能量源而使得电手术能量经由钳夹构件1022、1024被传递到组织,以及在本领域技术人员视界内的其他功能。
如图12中所示,控制器1130布置在手柄组件1000的主体部1110内,使得第一致动器1114、第二致动器1116和/或第三致动器1118(图10)的致动会致动控制器1130,该控制器130将第一致动器1114、第二致动器1116和/或第三致动器1118的机械运动转换成供处理单元180(图8)进行处理的电信号,该处理单元180进而将电信号发送至机器人组件190(图8)以致动工具1020(图8)的功能。应当理解,机器人组件190可以将信号发送到计算装置180,并且因此发送到控制器1130,以向操作手柄组件1000的临床医生提供反馈。
第一致动器1114通过连杆组件1140机械地联接至控制器1130,该连杆组件包括四杆式连杆1142和在四杆式连杆1142运动时可旋转的齿轮(未示出)。第一致动器1114的致动引起控制器1130的部件的机械运动,该机械运动由控制器1130转换成电信号。对于四杆式连杆组件的构造和操作的详细讨论,可以参照国际专利申请序号PCT/US2017/035583,其全部内容通过引用合并于本文中。
第一致动器1114包括近侧部1114a和包括指托1122的远侧部1114b。当没有力施加到第一致动器1114时,第一致动器1114具有偏置或打开位置,在该位置,远侧部1114b从手柄组件1000的壳体1112的外侧表面1112a侧向延伸并且近侧部1114a与外侧表面1112a齐平或布置在外侧表面1112a内,如图12中所示。
在使用时,当临床医生按压指托1122并向其施加力时,第一致动器1114移动到被致动或闭合位置,在该位置,第一致动器1114的远侧部1114b朝着手柄组件1000的主体部1110移动,使第一致动器1114的近侧部1114a远离主体部1110侧向移动,从而导致连杆组件1140进行相应的移动。四杆式连杆1142用作用于旋转连杆组件1140的齿轮(未示出)的曲柄,该齿轮与控制器1130的齿轮(未示出)啮合地接合,使得连杆组件1140的齿轮的旋转引起控制器1130的齿轮的相应旋转。控制器1130然后将齿轮的机械运动转换成包括数字位置和运动信息的电信号,电信号被发送到处理单元180(图8),如上文所论述的。
由临床医生施加到第一致动器1114上的力的量将第一致动器1114从打开位置移动到闭合位置,以对钳夹构件1022、1024(图11)相对于彼此的位置起作用。在实施例中,第一致动器1114被配置为使得在打开位置,钳夹构件1022、1024处于完全打开位置。随着力朝向闭合位置施加到第一致动器1114,第一致动器1114使钳夹构件1022、1024朝向彼此移动,直到它们到达完全闭合位置。
继续参照图12,每个手柄组件1000包括手检测系统的部件,该手检测系统可以独立于其他外科医生意识监视系统来操作或与其他外科医生意识监视系统结合来操作(如下更详细描述的)。这些部件包括第一传感器1150、第二传感器1160和第三传感器1170。第一传感器1150布置或嵌入在第一致动器1114内用于感测手指在第一致动器1114上的存在,第二传感器1160布置在主体部1110的近侧端部1100b内用于感测手的一部分(例如,手的手掌)在主体部1110周围或主体部1110上的存在,并且第三传感器1170联接到控制器1130或布置在控制器1130内用于测量第一致动器1114的位置。
在实施例中,第一传感器1150是电容式传感器,第二传感器1160是红外传感器,并且第三传感器1170是编码器。第一传感器1150检测手柄组件1000的第一致动器1114和主体部1110之间的电容性耦合的变化,第二传感器1160检测第二传感器1160周围的区域中的变化(例如,热或运动),并且第三传感器1170检测第一致动器1114的位置。应当理解,在手柄组件1000中可以利用其他传感器来检测电特性的变化(例如,感测和/或测量导电的或具有不同于环境的电介质的物体的存在),检测物体的接近度,或检测机械运动并响应于该运动而生成信号,这在本领域技术人员的视界内。
当手指在第一致动器1114上或与第一致动器1114接触时,由手柄组件1000的第一传感器1150感测的电容改变,和/或由手柄组件1000的第一传感器1150感测的电容随着第一致动器1114的运动而改变。第一致动器1114的位置与第一致动器1114的指托1112上的手指相关,使得第一传感器1150不仅仅检测手指在第一致动器1114的指托1112上的存在或不存在。电容性耦合随着第一致动器1114移动而改变,并且当第一致动器1114处于闭合位置时电容性耦合是强的或相对高的。因此,随着第一致动器1114接近闭合位置或处于闭合位置,检测手指在第一致动器1114上的存在变得困难。
例如,如图13和图14中所示,示例性曲线示出了在第一致动器1114的位置移动通过打开位置和闭合位置之间的整个运动范围时作为编码器计数的函数的电容值。图13示出了与在临床医生的左手中使用的手柄组件1000相对应的数据并且图14示出了与在临床医生的右手中使用的手柄组件1000相对应的数据。图13和图14中的不同曲线对应于第一致动器1114在打开位置与闭合位置之间的致动期间的不同变量,诸如戴着手套和未戴手套,在手柄组件1000上的抓握不同等。图13中的“A”和图14中的“B”标记的两条曲线对应于在打开位置与闭合位置之间移动期间在第一致动器1114上不存在手指。如图13和图14中所示,随着第一致动器1114接近闭合位置并且编码器计数高,很难确定手指是否存在于第一致动器1114上。
为了检测临床医生的手是否在手柄组件1000上,第一传感器1150不仅用于感测手指在手柄组件1000上的存在,而且还用于感测第一致动器1114的位置,并且通过手检测系统的手检测算法将来自第一传感器1150、第二传感器1160和第三传感器1170的数据融合或组合。手检测算法作为指令存储在计算机可读介质上并由处理单元180(图1A和图8)执行和/或在控制器1130的处理单元(例如,微控制器)中执行。当由处理单元180执行时,指令使手检测系统确定在手柄组件1000上是否存在手,并进而将适当的信号发送给机器人组件190(图1A和图8)。
手检测系统的指令(例如,软件)在初始化阶段和运行阶段期间进行操作。在初始化阶段期间,当手柄组件1000上不存在手时(例如,没有手指在第一致动器1114上),记录数据,该数据捕获由第一传感器1150感测的电容值与由第三传感器1170感测的第一致动器1114的位置之间的关系。然后记录的数据经过处理以构造查找表。在运行阶段期间,将查找表与第一传感器1150、第二传感器1160和第三传感器1170结合使用,以推断手是否存在于手柄组件1000上。
在初始化阶段期间,根据第一致动器1114的位置来测量当手柄组件1000上不存在手时第一传感器1150的响应。该测量每当外科医生控制台170(图1A和图8)初始化时在校准阶段期间发生,并且针对不同的机器人手术系统和/或其部件之间的差异以及针对其他环境因素,解释了第一传感器1150与手柄组件1000之间的电容性耦合。在校准阶段期间,第一致动器1114从打开位置缓慢地扫掠至闭合位置(例如,指令从手检测系统发送至机器人手术系统的桨式控制器),并且由第一传感器1150感测到电容值和由第三传感器1170产生的编码器计数在整个运动中同时被记录。这记录了当第一致动器1114上不存在手指时的基线曲线(对应于图13和图14中的黑色曲线)。第一致动器1114在两个方向上扫掠(例如,从打开位置到闭合位置,然后返回到打开位置)以解决第一致动器1114中的间隙(backlash)。
然后,将数据处理成适合于手术规程期间实时使用的查找表中,以推断手指在第一致动器1114上的存在。如果第一传感器1150检测到的实时电容值超过由查找表产生的校准后曲线的阈值电容值,则推断手指存在。查找表被设计为使低延迟访问能够用于检测第一致动器1114上的手指。
图15中示出了说明性查找表。该查找表由仓(bin)的数目N以及编码器最小值(encodermin)和编码器最大值(encodermax)参数化,它们代表由查找表表示的一系列编码器值。每个仓的宽度Wbin为:
每个仓覆盖一系列编码器值:
如在查找表中所见,仓被示出为矩形并且标记为“C”的基线曲线表示在校准阶段期间扫掠第一致动器1114时记录的示例感测数据(例如,电容值)。标记为“D”的校准后曲线表示将由在查找表中查找阈值电容值产生的并且标有仓索引的内插值,内插值落在仓索引之间。
为了构造查找表,记录的数据中的每个点都按照其编码器计数分类到适当的仓中。然后仓的阈值电容值被选择为这些点的最大电容值,如果仓中没有点,则会引发错误。最大电容值被选择为阈值电容值,以减小当不存在手指时错误地检测到第一致动器1114上的手指的可能性。
一旦构造了查询表,可以使用在连续仓的中心之间内插的线性段(参见例如图15中的线“D”)来查询给定编码器计数所对应的电容值。在给定编码器计数的情况下,找到合适的成对的连续仓,并计算内插值。通过设计,这是快速的恒定时间操作,因为此操作用于实时循环。当查询小于encodermin或大于encodermax的编码器计数时,分别使用第一个仓或最后一个仓的电容值。
在初始化阶段之后,运行阶段开始并继续进行处理,同时机器人手术系统100保持在使用模式中。在手柄组件1000的操作期间,如上所述,查询表与第一传感器1150、第二传感器1160和第三传感器1170结合使用,以推断手在手柄组件1000上的存在或不存在。
使用第一传感器1150上(例如,在手柄组件1000的第一致动器1114上)的手指存在与第三传感器1170测量的第一致动器1114的位置以及第二传感器1160上(例如,在手柄组件1000的近侧段1100a上)的手掌存在的组合,来推断手存在。在实施例中,通过将从第一传感器1150、第一致动器1114和第二传感器1160接收的数据与从跟踪装置160接收的数据(如上所述)一起补充,可以更准确地推断手存在。
为了检测手指存在,第一传感器1150与第三传感器1170结合使用。如果第一致动器1114大部分闭合(例如,编码器计数超出某个阈值),则假定手指存在,而不管由第一传感器1150感测到的实时电容值如何。该假定例如基于以下事实:第一致动器1114在没有手指握住其的情况下被偏置为弹开(例如,由于施加了向外的桨式弹簧扭矩)。这种假定允许在难以区分手指的存在与不存在(例如,当编码器计数高时)的挑战性机制中忽略实时电容值。否则,如果第一致动器1114未闭合或大部分未闭合(例如,第一致动器1114向闭合位置移动少于路径的约70%),则获得实时电容值并经由查找表将实时电容值与阈值电容值(对应于没有手指)进行比较。如果实时电容值超过该阈值电容值,则推断手指存在于第一致动器1114上。否则,推断手指不存在于手柄组件1000上。
为了检测手掌的存在,获得第二传感器1160的实时值(例如,红外值),并对照与关于手柄组件1000定位的手掌相对应的阈值进行核对。通过核对实时值是否超过阈值来推断手掌存在与否。
最后,将手指存在状态和手掌存在状态组合起来以确定手存在状态(在手柄组件1000上是否存在手)。手存在状态利用“二进二出”规则。为了从否定手存在状态转变为肯定手存在状态,需要对手指存在和手掌存在中的每个进行肯定检测。为了从肯定手存在状态转变为否定手存在状态,需要对手指存在和手掌存在中的每个进行否定检测。否则,不会从确立的肯定手存在状态或否定手存在状态作出任何改变。当手检测系统处于肯定手存在状态时,手柄组件1000的移动将引起机器人组件190中的相应运动,而当手检测系统处于否定手存在状态时,机器人组件190在当手柄组件1000移动时将不移动(例如,被锁定)。
在某些情况下,手检测系统也会引发异常。例如,当在构造查找表中使用的数据量不足时,当数据无效(例如,编码器的长度和电容感测值不匹配)时和/或没有与查找表中的一个或多个仓对应的数据时,指令将引发异常。
手检测系统还可以在查找表上运行测试。该测试可以验证:查找表正确地在基于提供给它的数据的值之间进行内插、如果在查找表的一个或多个仓中没有数据则会引发错误、手检测算法的正确操作,和/或手存在检测器表现正常。例如,测试可以针对临床医生的手生成类似于实际电容感测数据的人造数据,并构建用于手检测的查找表。传入红外数据、电容值和编码器位置的各种值以验证:遵循“二进二出”规则(例如,需要进行手指检测(经由电容值和/或编码器计数)和手掌检测(经由红外值)两者来转变为肯定手存在状态,并且需要检测到无手指和检测到无手掌两者来转变为否定手存在状态),和/或系统正确考虑了在第一致动器1114闭合(或大部分闭合)时的情况并且使用第一致动器1114的位置来检测手指的存在。
根据本公开的另一个方面,由于机器人手术系统100的开放式控制台体系结构,相对于直接围绕外科医生控制台170的区域和更远离外科医生控制台的区域,可以实现外科医生控制台170周围的意识增强。例如但不限于,机器人手术系统100可以包括:外科医生的头部跟踪,用于控制患者的手术部位内的相机或内窥镜;外科医生的头部跟踪或姿势识别,用于自动立体显示;改善了眼睛跟踪和注视检测,用于识别关键结构;外科医生170和外科医生控制台附近的手术团队成员的情境意识;使用具有不同标记图案的特殊眼镜,用于区分佩戴者的专业水平(例如,新手还是专家);自动检测培训模式;改变戴眼镜的用户或个体的系统参数,该眼镜具有用于新手标识的标记;以及在用户或外科医生佩戴的腕带或指环中使用无线识别技术(例如,射频识别或RFID)以识别用户或外科医生与外科医生控制台170的接合。
在具有开放式控制台体系结构的机器人手术系统100中,如上所述,可以实施系统和算法以经由眼镜163的标记164a-164e(参见图1C)跟踪外科医生的头部用于控制位于臂192的端部上的成像装置56(例如,相机或内窥镜),所述臂位于患者自身的手术部位“S”内和/或在成像装置56捕获的图像中。例如,跟踪装置160的图像捕获装置161可以监视和跟踪外科医生配戴的眼镜163的标记164a-164e,然后应用算法或计算来确定通过跟踪装置160的图像捕获装置161观察到的标记164a-164e的运动类型。根据观察到的运动或姿势的类型,例如,外科医生的头从一侧到另一侧或从前到后倾斜,外科医生的头关于脖子的枢转和/或外科医生的头部距跟踪装置160的图像捕获装置161的距离,计算装置180将转换该信息(独立地或在外科医生的提示下)以实现位于臂192自身的端部的成像装置56的变化和/或由成像装置56捕获的图像的变化。例如,计算装置180可以命令臂192和/或成像装置56改变插入深度,改变图像缩放的光学缩放比例和/或成像装置56和/或其捕获的图像的侧倾/俯仰/横摆。
还可以预期,由跟踪装置160观察或跟踪的外科医生的头部的运动或姿势可以用于控制机器人手术系统100的其他高级功能,而不仅仅是成像装置56。例如,由跟踪装置160观察或跟踪的外科医生的头部的运动或姿势可用来将命令传达给机器人手术系统100,以将控制发送给臂192,并且更具体地,发送给器械驱动单元194和/或工具或器械1020以控制器械1020(例如,钳子、抓紧器、吻合器、施夹器、能量输送装置等)的运动。
可以预期,除了跟踪标记164a-164e之外或代替跟踪标记164a-164e,自动立体显示器可用于向位于外科医生控制台170处的外科医生的面部发射白光和/或红外光,以及相对紧靠近外科医生控制台170的个体。可以使用高级计算机算法(例如,人工智能或机器学习)对外科医生和/或其他个体执行面部识别来跟踪、监视和/或记录并分析白光和/或红外光从外科医生和/或其他个体的反射。以这种方式,面部识别信息可以用于将外科医生和/或个体识别为专家或新手,并相应地自动调整机器人手术系统100的性能特征。更进一步,面部识别信息可以补充有或结合通过输入装置或手柄组件1000对外科医生的手的检测,以确定位于外科医生控制台170处和/或周围的外科医生和/或个体的意识。
进一步可以预期的,机器人手术系统100可以配置为更好地跟踪佩戴具有标记164a-164e的眼镜163的外科医生的眼睛或注视。如上所述,跟踪装置160被配置为监视和跟踪标记164a-164e的位置和取向,并且还可以跟踪外科医生的眼睛或眼睛注视的位置和/或取向的方向。具体地,由跟踪装置160的图像捕获装置161捕获的关于眼镜163的标记164a-164e的数据可以补充有关于外科医生的眼睛的注视方向的数据。以这种方式,计算装置180可以计算由眼镜163的标记164a-164e限定的平面的角取向,并且还计算延伸通过由眼镜163的标记164a-164e限定的平面的外科医生注视的视线的轴线。这两个参照几何形状(例如,由眼镜163的标记164a-164e限定的平面,以及外科医生的注视的视线的轴线)可由计算装置180使用,来以提高的精度突出显示或识别显示器122上的感兴趣区域。外科医生的注视的视线的轴线可以被估计为假想线207(正交于标记164a-164e所限定的平面,如上所述),或者可以通过监视和跟踪外科医生的眼睛来更准确地确定,并因此不必正交于标记164a-164e所限定的平面。
如上所述,根据本公开,机器人手术系统100包括外科医生和在外科医生控制台170附近的手术团队成员的改善的情境意识。具体地,跟踪装置160的图像捕获装置161可以在围绕外科手术控制台的任何方向上捕获图像,而不仅限于朝向外科医生定向的方向。这些图像可以显示在显示器122上,以供外科医生和附近的手术团队成员观察。例如,机器人手术系统100可以跟踪眼镜163的标记164a-164e的组的数目,以确定外科医生控制台周围的个体的位置和运动,以及位于外科医生控制台170周围的个体的数目。此外,机器人手术系统100可以使用高级算法或人工智能来执行面部识别,从而还确定外科医生控制台周围的个体的位置和运动以及外科医生控制台周围的个体的数目。以这种方式,机器人手术系统100正在监视并了解外科医生控制台170周围的情况,并且还可以通过机器人手术系统100使外科医生了解外科医生控制台170周围的情况。
在本公开的另一方面中,机器人手术系统100可以被配置为使得跟踪装置160被调整或编程为识别并跟踪多组眼镜163,每组眼镜具有相同图案的标记164a-164e或不同图案的标记164a-164e。具体地,在实例中,每个标记164a-164e可以具有共同的图案/形状/颜色,并且可以相对于彼此以共同的距离布置。这些特定细节可以被登记在计算装置180中,并由跟踪装置160监视或跟踪。由于标记164a-164e的这些特定特性是固定的并且是已知的,因此计算装置180和/或跟踪装置160能够更好地跟踪眼镜163并更高效且更准确地执行计算。可以设想,眼镜163可以以各种尺寸可用,该尺寸对应于特定佩戴者可能期望/需要的眼镜尺寸。然而,设置在不同尺寸的眼镜上的标记164a-164e可以具有彼此相同的特定特性。换句话说,例如,相对较小眼镜163上的标记164a-164e的特定位置或相对较小眼镜163上的标记164a-164e之间的相对距离可以与相对较大眼镜163的情况下的相同。
在另一种稍微不同的实施例中,眼镜163可以设置有彼此不同的标记164a-164e。例如,外科医生(例如,“专家”或大师)佩戴的眼镜163可能具有一组离散的标记164a-164e,而手术室临床医生、更新手的外科医生或学生(例如“新手”或助理)佩戴的眼镜163可以具有一组不同的标记164a-164e。以这种方式,机器人手术系统100可以被配置为使得跟踪装置160被调整或编程为监视并跟踪标记164a-164e的图案/特性中的这些差异,并且修改机器人手术系统100的任意方面的性能特征。
例如,如果跟踪装置160识别出坐在外科医生控制台170处的专家外科医生的存在,则机器人手术系统100可以启用其所有特征的全部功能和/或适当地设置某些参数、特征为特定级别,例如设置特定缩放比例、速度限制、力限制、力反馈限制和/或其他高级人工智能特征(例如面部识别、姿势识别等)。然而,如果跟踪装置160识别出坐在外科医生控制台170处的新手外科医生或学生的存在,则机器人手术系统100可以禁用其某些特征的特定功能和/或适当地设置上述机器人手术系统100的至少上述参数或特征。在特定实例中,如果跟踪装置160识别出用于眼镜163的标记164a-164e的具体的特定图案的存在,其对应于坐在外科医生控制台170处的新手外科医生或学生,则机器人手术系统100可以自动进入培训模式,并且例如提示用户完成各种培训模块等。
此外,如果跟踪装置160识别出紧靠近外科医生控制台170定位的专家外科医生和新手外科医生两者的存在,则机器人手术系统100可以启用其所有特征的全部功能和/或适当地设置某些特征为特定级别或其他一些预先指定的设置。
还可以预见,机器人手术系统100可以被配置为计算任何组标记164a-164e相对于外科医生控制台170和/或跟踪装置160的接近度,以可选地激活或停用机器人手术系统100的某些特征。在实施例中,如果跟踪装置160检测到两组或更多组眼镜163的存在,则机器人手术系统100可以向被计算为位于输入装置或手柄组件1000之间的眼镜163或最接近输入装置或手柄组件1000定位的眼镜163提供控制或从其接收控制。
根据本公开,如上所述,进一步设想到,机器人手术系统100可以在由用户或外科医生佩戴的腕带1050(参见图10)或指环中配备有无线识别技术(例如,射频识别或RFID),以识别用户或外科医生与外科医生控制台170的接合。该无线识别技术可以与上述手检测特征(例如,电容式传感器、红外传感器和/或位置传感器)配合起作用或将其替代,以确定外科医生的手是否与输入装置或手柄组件1000接合,或者确定用户的其他意识参数。
无线识别装置可以包括与用户有关的识别信息;与用户相关联的机器人手术系统性能特征(例如,外科医生对机器人手术系统的操作和/或控制的偏好参数,诸如缩放因子、力反馈因子、性能或输入响应因子等);和/或无线识别装置相对于外科医生控制台和/或手柄组件的接近度信息。
除了RFID通信之外,可以想到的是,任何形式的通信都可以用于腕带1050,诸如例如但不限于光学、WIFI、(用于在短距离(使用短长度的无线电波)与固定装置和移动装置交换数据的开放式无线协议、创建个人区域网(PAN))、/>(使用基于针对无线个人区域网(WPAN)的IEEE 802.15.4-2003标准的小型低功耗数字无线电的一套高级通信协议的规范)、近场通信等。
根据本公开,如以上实施例中的任何一个中所述的眼镜163的跟踪可以与通过输入装置或手柄组件1000对外科医生的手的检测(如以上实施例中的任何一个中所述的相结合),以便补充对机器人手术系统100的外科医生注意力监视。具体地,对眼镜163的标记164a-164e的跟踪进行计分并提供有头部跟踪值,对第一输入装置1000(例如,右侧输入装置)中的外科医生的手的检测进行计分并提供有第一手值,并且对第二输入装置1000(例如,左侧输入装置)中的外科医生的手的检测进行计分并提供有第二手值。这三个值都被监视并且对其应用了算法,以确定外科医生对机器人手术系统100的注意程度。
在一种实施方式中,机器人手术系统100可以仅当确定每个值都高于某个预定阈值时,才在全功能状态下运行。在另一种运行模式中,机器人手术系统100可以仅当确定三个值中的两个值高于某个预定阈值时,才在全功能状态下运行,或者当确定三个值中的两个值高于某个预定阈值时,机器人手术系统100可以在功能不全状态下运行。
在另一种运行模式中,当观察到或确定头部跟踪值高于预定阈值并且第一手值和第二手值中的一个高于预定阈值时,机器人手术系统100可以在全功能状态或某个其他预定状态下运行。以这种方式,当外科医生释放右侧输入装置1000和左侧输入装置1000中的一个时,机器人手术系统100仍可以在某功能状态下运行。这允许外科医生物理地指向显示器122上的图像用于指导或教学目的,或与外科医生控制台170的其他输入控件(例如,触摸屏控制器等)进行交互。然而,如果观察到或确定头部跟踪值低于预定阈值,并且仅第一手值和第二手值中的一个高于预定阈值,则机器人手术系统100可仅在作为功能不全状态的某功能状态下运行。
短语“在实例中”、“在各实例中”、“在一些实例中”、“在实施例中”、“在各实施例中”、“在一些实施例中”或“在其他实施例中”可分别指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)”。
本文所述的系统还可利用一个或多个控制器来接收各种信息并对接收的信息进行变换以生成输出。该控制器可以包括能够执行存储在存储器中的一系列指令的任何类型的计算装置、计算电路或任何类型的处理器或处理电路。该控制器可以包括多个处理器和/或多核中央处理器(CPU),并且可以包括任何类型的处理器,诸如微处理器、数字信号处理器、微控制器、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。该控制器还可包括存储器以用于存储数据和/或指令,当由一个或多个处理器执行指令时,使一个或多个处理器执行一种或多种方法和/或算法。
此处描述的任何方法、程序、算法或代码都可以转换为或表达为编程语言或计算机程序。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于指定对计算机的指令的任何语言,并且包括(但不限于)以下语言及其派生物:汇编程序(Assembler)、培基语言(Basic)、批处理文件(Batch files)、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身指定程序的元语言以及所有第一代、第二代、第三代、第四代、第五代或更多代的计算机语言。还包括数据库和其他数据模式以及任何其他元语言。在解释、编译或同时使用编译和解释方法的语言之间没有区别。程序的编译版本和源版本之间没有区别。因此,对程序的引用(其中编程语言可以以多个状态(例如源、编译、对象或链接)存在)是对任何和全部此类状态的引用。对程序的引用可能包含实际指令和/或这些指令的意图。
本文描述的任何方法、程序、算法或代码都可以包含在本文描述的一个或多个机器可读介质或存储器上。包含在其上的代码或指令可以由载波信号、红外信号、数字信号和其他类似信号表示。
应该理解,以上描述仅是对本公开的说明。在不脱离本公开的情况下,本领域技术人员可以设计出各种替代和修改。因此,本公开旨在涵盖所有这样的替代、修改和变化。呈现参照附图描述的实施例仅是为了展示本公开的某些实例。与以上和/或所附权利要求书中所描述的元件、步骤、方法和技术没有实质性不同的其他元件、步骤、方法和技术也意图在本公开的范围内。
Claims (20)
1.一种具有用户接合监视的机器人手术系统,包括:
机器人组件,其包括联接至手术器械的机器人臂;
外科医生控制台,其包括:
手柄组件,其通信地联接至所述机器人组件、所述机器人臂或所述手术器械中的至少一个,所述手柄组件包括具有近侧端部和远侧端部的主体部,所述主体部包括能在打开位置和闭合位置之间移动的第一致动器;
手检测系统,其包括布置在所述手柄组件的所述第一致动器内用于检测所述第一致动器上的手指存在的第一传感器、布置在所述手柄组件的所述近侧端部上用于检测所述近侧端部附近的手掌存在的第二传感器,以及布置在所述手柄组件的所述主体部内用于检测所述第一致动器相对于所述主体部的位置的编码器;
显示装置;以及
处理单元,其电联接至所述第一传感器、所述第二传感器和第三传感器,用于接收并处理来自所述第一传感器、所述第二传感器和所述第三传感器的数据;以及
跟踪装置,其包括配置成捕获用户位置参考点的图像的图像捕获装置,其中所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个被配置成:
基于捕获的图像计算所述用户位置参考点相对于所述显示装置的位置,
基于计算出的位置确定用户是否与所述外科医生控制台接合或脱离,
确定所述用户的手是否与所述手检测系统的所述第一传感器、所述第二传感器或所述第三传感器中的至少一个接合或脱离,并且
响应于确定所述用户脱离了所述外科医生控制台或所述用户的手脱离了所述手检测系统的所述第一传感器、所述第二传感器或所述第三传感器中的至少一个,使所述机器人手术系统以安全模式运行。
2.根据权利要求1所述的机器人手术系统,其中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成通过生成与所述用户位置参考点在三维坐标空间内相对于所述显示装置的位置或取向中的至少一个相对应的定位数据来计算所述用户位置参考点的位置。
3.根据权利要求1或2所述的机器人手术系统,其中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成,在所述机器人手术系统以所述安全模式运行时:
响应于通过所述跟踪装置或所述手检测系统中的至少一个确定所述用户与所述外科医生控制台接合,在确定所述用户接合之后经过阈值时间量后使所述机器人手术系统退出所述安全模式。
4.根据权利要求1或2所述的机器人手术系统,进一步包括计算装置,
其中所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成,在所述机器人手术系统以所述安全模式运行时:
限制所述手柄组件从所述手柄组件的先前位置移动,以及
将限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动的指令发送至所述计算装置;
其中所述计算装置被配置成:
接收所述指令,以及
将所述指令发送至所述机器人组件、所述机器人臂或所述手术器械中的至少一个;并且
其中所述机器人臂、所述机器人组件或所述手术器械中的至少一个被配置成:
接收所述指令,以及
响应于所述指令而限制所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动。
5.根据权利要求1或2所述的机器人手术系统,其中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成,在所述机器人手术系统以所述安全模式运行时:
防止所述手柄组件的移动引起与所述手柄组件通信地联接的所述机器人臂的对应移动。
6.根据权利要求1或2所述的机器人手术系统,其中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成:
检测所述手柄组件的移动量;
基于所述手柄组件的移动量确定响应于所述手柄组件的移动而要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量;以及
引起所述机器人组件、所述机器人臂或所述手术器械中的至少一个移动所确定的移动量,
其中,在所述机器人手术系统以所述安全模式运行时,要引起的所述机器人组件、所述机器人臂或所述手术器械中的至少一个的移动量的确定包括应用向下缩放因子。
7.根据权利要求6所述的机器人手术系统,其中,所述外科医生控制台、所述手检测系统或所述跟踪装置中的至少一个进一步被配置成:
计算所述手柄组件的移动速度;以及
基于所述速度修改所述向下缩放因子。
8.根据权利要求1或2所述的机器人手术系统,进一步包括多个眼镜,所述多个眼镜各自包括离散的多个标记,其中第一用户位置参考点包括来自与所述用户对应的第一眼镜的第一多个标记的第一数据,并且第二用户位置参考点包括来自与非用户对应的第二眼镜的第二多个标记的第二数据,所述第二数据不同于所述第一数据。
9.根据权利要求1或2所述的机器人手术系统,其中,所述第一传感器是电容式传感器,所述第二传感器是红外传感器,并且所述第三传感器是编码器。
10.根据权利要求1或2所述的机器人手术系统,其中,当所述手检测系统处于初始化阶段时,所述手检测系统利用仅来自所述第一传感器和所述第三传感器的数据,而当所述手检测系统处于运行阶段时,所述手检测系统利用来自所述第一传感器、所述第二传感器和所述第三传感器的数据。
11.根据权利要求1或2所述的机器人手术系统,其中,当所述手检测系统处于初始化阶段时,所述第一致动器移动通过打开位置和闭合位置之间的整个运动范围,并且所述第一传感器检测在所述整个运动范围内的多个点中的每个点处的电容值,并且所述第三传感器生成所述多个点中的每个点处的编码器计数。
12.根据权利要求1或2所述的机器人手术系统,其中,所述手检测系统包括查找表,所述查找表包括作为所述编码器计数的函数的电容值的基线曲线和作为所述编码器计数的函数的阈值电容值的校准后曲线。
13.根据权利要求12所述的机器人手术系统,其中,当所述手检测系统处于运行阶段时,所述第一传感器检测实时电容值并且所述第三传感器检测实时编码器计数,并且将所述实时电容值和所述实时编码器计数与所述查找表比较以识别所述手柄组件的肯定手指存在状态或否定手指存在状态。
14.根据权利要求1或2所述的机器人手术系统,其中,当所述手检测系统处于运行阶段时,所述第二传感器检测实时值,将所述实时值与阈值进行比较以识别所述手柄组件的肯定手掌存在状态或否定手掌存在状态。
15.根据权利要求1或2所述的机器人手术系统,其中,所述手术器械是包括对置的钳夹构件的钳夹组件,并且当所述第一致动器处于所述打开位置时,所述钳夹构件处于打开构造,而当所述第一致动器处于所述闭合位置时,所述钳夹构件处于闭合构造。
16.根据权利要求1或2所述的机器人手术系统,其中,所述跟踪装置监视所述用户的头部的姿态并且将有关头部姿态的数据与有关所述手柄组件的移动的数据相结合以实现对所述手术器械的控制。
17.根据权利要求1或2所述的机器人手术系统,其中,所述手术器械是内窥镜。
18.根据权利要求1或2所述的机器人手术系统,其中,有关由所述跟踪装置监视的头部姿态的数据被传送给内窥镜以控制由所述内窥镜捕获的图像的缩放比例、侧倾、俯仰或横摆。
19.根据权利要求1或2所述的机器人手术系统,进一步包括所述用户能穿戴的无线识别装置以识别所述用户或外科医生与所述外科医生控制台的接合,所述无线识别装置包括以下至少之一:
与所述用户有关的识别信息;
与所述用户关联的机器人手术系统性能特征;或
所述无线识别装置相对于所述外科医生控制台和/或所述手柄组件的接近度信息。
20.根据权利要求19所述的机器人手术系统,其中,所述无线识别装置与所述手检测系统结合使用来用于确定所述用户的意识。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IBPCT/US2019/066735 | 2019-12-17 | ||
PCT/US2019/066735 WO2021126163A1 (en) | 2019-12-17 | 2019-12-17 | Robotic surgical systems with user engagement monitoring |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111616803A CN111616803A (zh) | 2020-09-04 |
CN111616803B true CN111616803B (zh) | 2023-08-15 |
Family
ID=72255213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010490511.1A Active CN111616803B (zh) | 2019-12-17 | 2020-06-02 | 具有用户接合监视的机器人手术系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4076259A4 (zh) |
CN (1) | CN111616803B (zh) |
WO (1) | WO2021126163A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021216201A1 (en) * | 2020-04-21 | 2021-10-28 | Covidien Lp | Hand detection for robotic surgical systems |
US11694533B2 (en) | 2021-01-22 | 2023-07-04 | Cilag Gmbh International | Predictive based system adjustments based on biomarker trending |
US11682487B2 (en) | 2021-01-22 | 2023-06-20 | Cilag Gmbh International | Active recognition and pairing sensing systems |
US20220233253A1 (en) * | 2021-01-22 | 2022-07-28 | Ethicon Llc | Situation adaptable surgical instrument control |
CN115227390B (zh) * | 2022-06-30 | 2023-03-28 | 中国科学院自动化研究所 | 机器人主操作手 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011060185A1 (en) * | 2009-11-13 | 2011-05-19 | Intuitive Surgical Operations, Inc. | Method and system for hand presence detection in a minimally invasive surgical system |
WO2011060171A1 (en) * | 2009-11-13 | 2011-05-19 | Intuitive Surgical Operations, Inc. | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument |
CN102647955A (zh) * | 2009-11-13 | 2012-08-22 | 直观外科手术操作公司 | 用于微创外科手术系统中的手势控制的方法和设备 |
CN102958464A (zh) * | 2010-04-07 | 2013-03-06 | 索发有限公司 | 具有改进的控制器的自动化外科手术系统 |
CN104812327A (zh) * | 2012-11-29 | 2015-07-29 | 奥林巴斯株式会社 | 器械、机械手系统和器械的控制方法 |
WO2016133644A1 (en) * | 2015-02-20 | 2016-08-25 | Covidien Lp | Operating room and surgical site awareness |
CN106232048A (zh) * | 2014-04-24 | 2016-12-14 | 柯惠Lp公司 | 机器人接口定位确定系统及方法 |
CN106695736A (zh) * | 2016-07-04 | 2017-05-24 | 浙江理工大学 | 基于多传感器融合的手势识别仿人机械手系统及同步方法 |
CN107708594A (zh) * | 2016-06-03 | 2018-02-16 | 柯惠Lp公司 | 用于机器人手术系统的控制臂组合件 |
WO2018179749A1 (en) * | 2017-03-27 | 2018-10-04 | Sony Corporation | Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure |
WO2019050729A1 (en) * | 2017-09-05 | 2019-03-14 | Covidien Lp | ROBOTIC SURGICAL SYSTEMS AND METHODS AND COMPUTER-READABLE MEDIA FOR CONTROLLING THEM |
WO2019050821A1 (en) * | 2017-09-05 | 2019-03-14 | Covidien Lp | CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS |
US10426561B1 (en) * | 2018-10-30 | 2019-10-01 | Titan Medical Inc. | Hand controller apparatus for detecting input position in a robotic surgery system |
CN110545748A (zh) * | 2018-02-02 | 2019-12-06 | 柯惠Lp公司 | 具有用户接合监控的机器人外科手术系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8641663B2 (en) * | 2008-03-27 | 2014-02-04 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter system input device |
JP6165365B2 (ja) * | 2015-01-16 | 2017-07-19 | オリンパス株式会社 | 操作入力装置および医療用マニピュレータシステム |
CA2895868A1 (fr) * | 2015-06-30 | 2016-12-30 | Unipi Canada Inc. | Systeme constructif pour batiments modulaires evolutifs permanents et demontables |
WO2018031861A1 (en) * | 2016-08-12 | 2018-02-15 | Intuitive Surgical Operations, Inc. | Systems and methods for onscreen menus in a teleoperational medical system |
US11712314B2 (en) * | 2017-11-15 | 2023-08-01 | Intuitive Surgical Operations, Inc. | Master control device and methods therefor |
-
2019
- 2019-12-17 WO PCT/US2019/066735 patent/WO2021126163A1/en unknown
- 2019-12-17 EP EP19956887.4A patent/EP4076259A4/en active Pending
-
2020
- 2020-06-02 CN CN202010490511.1A patent/CN111616803B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011060185A1 (en) * | 2009-11-13 | 2011-05-19 | Intuitive Surgical Operations, Inc. | Method and system for hand presence detection in a minimally invasive surgical system |
WO2011060171A1 (en) * | 2009-11-13 | 2011-05-19 | Intuitive Surgical Operations, Inc. | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument |
CN102647955A (zh) * | 2009-11-13 | 2012-08-22 | 直观外科手术操作公司 | 用于微创外科手术系统中的手势控制的方法和设备 |
CN102958464A (zh) * | 2010-04-07 | 2013-03-06 | 索发有限公司 | 具有改进的控制器的自动化外科手术系统 |
CN104812327A (zh) * | 2012-11-29 | 2015-07-29 | 奥林巴斯株式会社 | 器械、机械手系统和器械的控制方法 |
CN106232048A (zh) * | 2014-04-24 | 2016-12-14 | 柯惠Lp公司 | 机器人接口定位确定系统及方法 |
WO2016133644A1 (en) * | 2015-02-20 | 2016-08-25 | Covidien Lp | Operating room and surgical site awareness |
CN107249497A (zh) * | 2015-02-20 | 2017-10-13 | 柯惠Lp公司 | 手术室和手术部位感知 |
CN107708594A (zh) * | 2016-06-03 | 2018-02-16 | 柯惠Lp公司 | 用于机器人手术系统的控制臂组合件 |
CN106695736A (zh) * | 2016-07-04 | 2017-05-24 | 浙江理工大学 | 基于多传感器融合的手势识别仿人机械手系统及同步方法 |
WO2018179749A1 (en) * | 2017-03-27 | 2018-10-04 | Sony Corporation | Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure |
WO2019050729A1 (en) * | 2017-09-05 | 2019-03-14 | Covidien Lp | ROBOTIC SURGICAL SYSTEMS AND METHODS AND COMPUTER-READABLE MEDIA FOR CONTROLLING THEM |
WO2019050821A1 (en) * | 2017-09-05 | 2019-03-14 | Covidien Lp | CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS |
CN110545748A (zh) * | 2018-02-02 | 2019-12-06 | 柯惠Lp公司 | 具有用户接合监控的机器人外科手术系统 |
US10426561B1 (en) * | 2018-10-30 | 2019-10-01 | Titan Medical Inc. | Hand controller apparatus for detecting input position in a robotic surgery system |
Also Published As
Publication number | Publication date |
---|---|
CN111616803A (zh) | 2020-09-04 |
EP4076259A4 (en) | 2023-09-20 |
WO2021126163A1 (en) | 2021-06-24 |
EP4076259A1 (en) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111616803B (zh) | 具有用户接合监视的机器人手术系统 | |
JP7080915B2 (ja) | 立体ビューワのための視線追跡を統合する医療装置、システム、及び方法 | |
US20230190392A1 (en) | Apparatus and method for using a remote control system in surgical procedures | |
US20230301738A1 (en) | Master control device and methods therefor | |
EP3258876B1 (en) | Operating room and surgical site awareness | |
US11344374B2 (en) | Detection of unintentional movement of a user interface device | |
WO2017169098A1 (ja) | 制御装置及び制御方法 | |
CN114340544A (zh) | 具有用于根据组织接近度比例缩放外科工具运动的机构的机器人外科系统 | |
US11135031B2 (en) | User interface device having grip linkages | |
US20200275985A1 (en) | Master control device with multi-finger grip and methods therefor | |
US20140194699A1 (en) | Single port surgical robot and control method thereof | |
CN110545748A (zh) | 具有用户接合监控的机器人外科手术系统 | |
EP3678582A1 (en) | Camera control for surgical robotic systems | |
CN115038399A (zh) | 用于控制外科手术臂的用户输入装置的定向 | |
KR20110049703A (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
JP2023052889A (ja) | グリップリンクを有するユーザインターフェース装置 | |
KR101114234B1 (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
US20230010350A1 (en) | Robotic surgical systems with user engagement monitoring | |
US11998291B2 (en) | Robotic surgical systems with user engagement monitoring | |
CN113272910A (zh) | 使用索引到运动图片来训练用户 | |
CN117202869A (zh) | 用于提供输入设备重新定位提醒的方法和装置 | |
CN115397343A (zh) | 用于机器人外科系统的手检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200904 Assignee: Kehui Co.,Ltd. Assignor: COVIDIEN L.P. Contract record no.: X2020990000364 Denomination of invention: Robotic surgery system with user engagement monitoring License type: Common License Record date: 20200722 |
|
EE01 | Entry into force of recordation of patent licensing contract | ||
GR01 | Patent grant | ||
GR01 | Patent grant |