CN107430389A - 超灵巧型系统用户界面 - Google Patents

超灵巧型系统用户界面 Download PDF

Info

Publication number
CN107430389A
CN107430389A CN201580078264.1A CN201580078264A CN107430389A CN 107430389 A CN107430389 A CN 107430389A CN 201580078264 A CN201580078264 A CN 201580078264A CN 107430389 A CN107430389 A CN 107430389A
Authority
CN
China
Prior art keywords
uid
robot tool
component
operator
earth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580078264.1A
Other languages
English (en)
Other versions
CN107430389B (zh
Inventor
帕布洛·爱德华多·加西亚·基尔罗伊
尹乘国
卡伦·沙克斯皮尔·柯尼希
琼·萨瓦里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SRI International Inc
Original Assignee
Stanford Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanford Research Institute filed Critical Stanford Research Institute
Publication of CN107430389A publication Critical patent/CN107430389A/zh
Application granted granted Critical
Publication of CN107430389B publication Critical patent/CN107430389B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/741Glove like input devices, e.g. "data gloves"
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于使用不接地用户输入装置(UID)的超灵巧型机器人系统的实施例的系统和方法。在一些实施例中,甚至在从属控制器和主控制器未对准时,所述超灵巧型系统也允许所述从属控制器跟随所述主控制器。可将在多个自由度上发生的所述主控器控制的运动解耦成其分量部分并且进行不同处理。每个自由度可独立处理且不同地按比例缩放。举例来说,在一些实施例中,仅传递所述不接地用户界面装置的所述滚动运动,在一些实施例中,仅在所述主控器和受控器在彼此的一定区域内时允许所述主从控制。

Description

超灵巧型系统用户界面
优先权和参考引用
本申请根据35U.S.C.§119(e)主张2015年2月24日提交的美国临时申请第62/120,128号的优先权和权益,所述申请在此以其全文引用的方式并入本文中并且应当视为本说明书的一部分。
技术领域
本申请一般涉及如用于执行外科手术的超灵巧型机器人系统。
背景技术
机器人技术在外科手术中的使用变得越来越普遍。在这类机器人系统中,操作员如外科医生通常操作被称作主控制器的控制器。然后,在可用于控制一个或多个外科手术工具或器械的从属系统上再现主控制器的移动。因此,外科医生可通过操纵主控制器,从而引起由在从属控制器处的外科手术工具执行的对应移动来对患者执行外科手术操作。
发明内容
本文中公开的系统和方法的实施例公开了使用不接地用户输入装置(UID)的超灵巧型机器人系统。操作员如执行外科手术操作的外科医生操作主控制器以便引起由从属系统的机器人工具执行的对应移动。因为主控制器使用不接地UID,所以操作员可在自由空间中从任何适当位置操作主控制器。然而,因为操作员的移动不受用户控制台的约束或定向,所以所述不接地UID对于用户眼睛框架的取向可变得与机器人工具对于在从属系统的实时视频内容中显示给用户的相机框架的取向未对准实时视频内容可处于相对于从属系统的任意取向和位置。因此,可需要使对于用户眼睛框架的UID框架与对于相机框架的机器人工具框架匹配。
在一些实施例中,甚至在从属控制器和主控制器未对准时超灵巧型系统也允许从属控制器跟随主控制器。举例来说,在至少一个实施例中,仅传递不接地用户界面装置的滚动运动。在一些实施例中,仅在主控器和受控器在各自的一定区域内时,才允许主从控制。
在一些实施例中,将在多个自由度上发生的主控制器的运动解耦成其分量部分且进行不同的处理。然后,每个自由度可进行独立地处理并且不同地按比例缩放。在一些实施例中,可实施各向异性按比例缩放,其中根据用户界面装置及其控制的机器人工具的状态,不同地按比例缩放不接地用户界面装置的运动。
在一些实施例中,因为超灵巧型系统可不必具有必须使操作员坐下以便控制机器人系统的控制台,所以限定了工作区的中心。工作区的中心可为操作员可识别且返回以便确定他自身或她自身取向的空间中的区域。使用此工作区的中心,定义了将操作人员的自然移动转换为机器人工具的特定移动的自然坐标系。可相对于操作员的身体,包括操作员的一个多个身体部位如眼睛或眼角、手部、躯体等定义自然坐标系。
在一个实施例中,公开了一种系统。所述系统可包括第一机器人工具和供操作员使用并且被配置成使用第一参考系控制第一机器人工具的第一不接地用户界面装置(UID),所述控制包含识别第一UID的第一UID运动和至少部分地基于所识别的第一UID的第一UID运动执行第一机器人工具的第一机器人工具移动。所述系统可进一步包括第二机器人工具和第二不接地用户界面装置(UID),所述第二不接地用户界面装置供操作员使用并且被配置成使用独立于第一参考系的第二参考系控制第二机器人工具,所述控制包含识别第二UID的第二UID运动和至少部分地基于所识别的第二UID的第二UID运动来执行第二机器人工具的第二机器人工具移动。
在一些实施例中,系统可包括以下中的一个或多个。第一机器人工具可包含抓钳、外科手术工具或相机中的至少一个。第一UID可进一步被配置成由操作员的第一只手控制并且第二UID进一步被配置成由操作员的第二只手控制。控制第一工具可进一步包含:确定已经接合传动机构;以及响应于确定已经接合传动机构,在与第一只手关联的操作员的第一前臂上建立位置,其中测量第一UID关于第一前臂上的位置的UID运动。控制第一机器人工具可进一步包含:将第一UID对于第一坐标框架的取向与第一机器人工具对于第二坐标框架的取向相较,其中如果第一UID对于第一坐标框架的取向在相对于第一机器人工具对于第二坐标框架的一定区域内,那么第一UID控制第一机器人工具。第一坐标框架可对应于与操作员关联的自然坐标框架,而第二坐标框架对应于与第一机器人工具关联的相机框架。区域可包含围绕第一机器人工具的锥形,所述锥形包含对应于第一机器人工具端部的顶点。可至少部分地基于第一UID相对于第一机器人工具的取向之间的所计算差值来调节第一机器人工具的第一机器人工具移动的速度。第一机器人工具可与关联于多种不同区域的多种控制方案关联,并且其中由第一UID使用来控制第一机器人工具的多个控制方案中的一个控制方案至少部分地基于第一UID对于第一坐标框架的取向相对于第一机器人工具对于第二坐标框架的取向。
在另一个实施例中,公开了一种系统。所述系统可包括第一机器人工具和被配置成使用第一参考框架控制第一机器人工具的第一不接地用户界面装置(UID),所述控制包含识别第一UID的第一UID运动,将第一UID运动解耦成包含至少第一分量和第二分量的两个或更多个分量,对两个或更多个分量执行第一转换,其中第一分量和第二分量进行不同转换,以及至少部分地基于第一转换执行机器人工具的第一机器人工具移动。
在一些实施例中,系统可包括以下中的一个或多个。两个或更多个分量可包含至少滚动分量,俯仰分量和横摆分量,并且第一转换包含响应于确定所识别的第一UID运动满足所建立的标准,将滚动分量(而非俯仰分量或横摆分量)转换成执行的第一机器人工具的第一机器人工具移动。两个或更多个分量可包含至少滚动分量、俯仰分量和横摆分量,并且第一转换包含:对横摆分量和俯仰分量执行中间转换,其中中间转换生成经修改的横摆分量、经修改的俯仰分量和中间滚动分量;以及确定经修改的滚动分量,所述经修改的滚动分量至少部分地基于滚动分量和由中间转换获得的中间滚动分量的总和,其中第一机器人工具的第一机器人工具移动至少部分地基于经修改的滚动分量、经修改的横摆分量或经修改的俯仰分量中的一个。两个或更多个分量可包含至少转动分量和平移分量,并且其中第一转换包含:自动地确定平移分量是否满足阈值,和如果平移分量不满足所述阈值,那么将第一机器人工具的第一机器人工具移动的平移分量设定为0;以及自动地确定转动分量是否满足阈值,并且如果转动分量不满足所述阈值,那么将第一机器人工具的第一机器人工具移动的转动分量设定为0。第一转换可包含按比例缩放两个或更多个分量的至少一个分量,并且其中按比例缩放的量至少部分地基于第一UID的位置。第一UID可包含被配置成由操作员持握的UID,使得UID的位置至少部分地基于操作员的手腕位置,将操作员手腕的运动范围分割成至少舒适区域和不适区域,并且其中按比例缩放的量至少部分地基于手腕处于的区域。仅当第一UID位于自然工作区域内时,第一UID才可控制第一机器人工具。控制第一机器人工具可进一步包含:确定已经接合传动机构;确定第一UID在自然工作区域内;以及响应于确定已经接合传动机构和第一UID在自然工作区内,建立针对第一UID的对应于第一机器人工具位置的零位置。
在另一实施例中,公开了计算机实施的方法。可通过被配置有特定的计算机可执行指令的一个或多个计算装置实施的所述方法包括,识别至少一个不接地用户界面装置(UID)的运动,将所识别的运动解耦成包含至少第一分量和第二分量的两个或更多个分量,对所述两个或更多个分量执行至少一个转换,其中第一分量和第二分量进行不同转换,和执行至少一个机器人工具的移动,其中所述移动至少部分地基于对第一分量和第二分量执行的至少一个转换。
在一些实施例中,所述计算机实施的方法可使用以下中的一个或多个实施。至少一个机器人工具可包含抓钳、外科手术工具或相机中的至少一个。至少一个UID可包含第一UID和第二UID,所述第一UID和第二UID被配置成由操作员的第一只手和第二只手控制,并且其中第一UID和第二UID可由第一只手和第二只手在独立坐标框架中移动。计算机实施的方法可进一步包含:在具体坐标框架中比较至少一个UID的取向与至少一个机器人工具的取向,其中如果在坐标框架中,至少一个UID的取向在相对于至少一个机器人工具的一定区域内,那么至少一个UID控制至少一个机器人工具。可至少部分地基于至少一个UID相对于至少一个机器人工具的取向之间的所计算差来调节至少一个机器人工具的移动速度。
附图说明
图1示出根据一些实施例的超灵巧型外科手术系统。
图2示出根据一些实施例的显示坐标框架的超灵巧型外科手术系统。
图3示出根据一些实施例的图2的各种坐标框架。
图4示出根据一些实施例的在超灵巧型外科手术系统的抓钳和不接地UID对准时移动的传递。
图5示出根据一些实施例的在抓钳和不接地UID未对准时滚动移动的传递。
图6A示出根据一些实施例的在绝对控制模式下的坐标框架。
图6B示出根据一些实施例的在增量控制模式下的坐标框架。
图7示出根据一些实施例的在主控制器和从属控制器未对准时施加滚动运动的方法。
图8示出根据一些实施例的在主控制器和从属控制器未对准时施加滚动运动的另一方法。
图9A示出根据一些实施例的解耦和按比例缩放操作。
图9B示出根据一些实施例的解耦和按比例缩放操作的另一实例。
图10示出根据一些实施例的各向异性按比例缩放。
图11A和图11B示出根据一些实施例的可驱性锥体。
图11C示出根据一些实施例的显示取向角作为偏角函数的曲线图。
图11D示出根据一些实施例的最小化误差驱动方案。
图12A、图12B和图12C示出根据一些实施例的工作区的中心。
图12D和图12E示出根据一些实施例的对工作区中心的利用。
图13A示出根据一些实施例的对于操作员每个手臂的左方向和右方向,其中左和右的方向通常与操作员的左侧和右侧一致。
图13B示出根据一些实施例的操作员每个手臂的左方向和右方向,其中左方向和右方向与操作员的头部或身体的左方向和右方向不一致。
图14示出根据一些实施例的两个独立坐标框架,其中一个与每个手臂都关联。
图15示出根据一些实施例的对于图14中描述的两个独立坐标系的坐标转换。
图16示出根据一些实施例的两个独立坐标框架。
图17示出根据一些实施例的具有将操作员的手的耦合运动解耦的多个传感器的超灵巧型外科手术系统。
图18示出可利用其实施本文讨论的某些系统和方法的计算机系统的实施例。
具体实施方式
概述
虽然在下文公开了某些实施例和实例,但是附加主题延伸超出具体所公开的实施例到其它可替代实施例和/或用途并且延伸到其修改和等效物。因此,本公开的范围不受下文所描述的具体实施例中的任一实施例限制。举例来说,在本文公开的任何方法或过程中,方法或过程的动作或操作可以任何合适顺序执行并且不必受限于任何具体公开的顺序。可以有助于理解某些实施例的方式将各种操作描述为按顺序的多个不连续的操作;然而,描述的次序不应理解为暗示这些操作是与次序相关的。此外,本文所述的结构、系统和/或装置可实施为集成式部件或实施为独立部件。出于比较各种实施例的目的,描述了这些实施例的某些方面和优点。所有这类方面或优点不必通过任何具体实施例来实现。因此,例如,可以实现或优化如本文所教导的一个优点或一组优点而不必实现如本文可教导或建议的其它方面或优点的方式来实施各种实施例。
虽然出于实例的目的,本公开将主要涉及用于外科手术或其它医疗操作的机器人系统,但是本文所述的方法和系统可应用到任何类型的超灵巧型机器人系统。
机器人技术在外科手术中的使用变得越来越普遍。在这类机器人系统中,操作员如外科医生通常操作被称作主控制器的控制器。然后,在从属系统上再现主控制器的移动。通常,在这类系统中,主控制器耦合到外科医生可坐下或站立的控制台。控制台与主控制器之间的耦合使得虽然可允许以若干自由度的移动,但是控制台和主控制器无法分离。这些类型的主控制器通常被称作接地控制器。在此类型的布置中,外科医生使用控制台来确定他自身或她自身的取向。因为主控制输入装置和从属器械的显示视频内容对准,所以通过从属器械来精确地再现外科医生的手部移动。然而,虽然这类系统允许外科医生执行复杂的外科手术,但是外科医生经常被约束于距离患者和从属机器人系统许多英尺的位置以便容纳控制台,所述控制台加强了从属机器人工具的显示视频内容与主输入装置之间的这种对准。
本文所述的系统和方法的实施例公开了一种机器人系统,其允许外科医生用机器人工具和手动工具(如腹腔镜工具)执行外科手术,其中外科医生能够将他自身或她自身定位在与患者相关的有利位置中。外科医生可通过使用不接地用户界面装置操作机器人工具。与接地装置相比,不接地装置可在自由空间中操控。不接地装置可为有线、无线的或不接地的,且为外科医生提供从任何适当位置执行外科手术的能力。举例来说,外科医生可采用接近床的位置,使得可执行机器人外科手术或手动外科手术。此外,因为外科医生不需要远离患者,所以可使外科医生与医疗人员之间能够进行更好地交流。超灵巧型外科手术系统的实施例公开于2014年9月25日提交的标题为“超灵巧型外科手术系统”的美国专利申请第14/388,180号、2014年10月9日提交的标题为“超灵巧型外科手术系统”的美国专利申请第14/510,465号、2014年10月9日提交的标题为“超灵巧型外科手术系统”美国专利申请第14/510,474号以及2014年10月9日提交的标题为“超灵巧型外科手术系统”的美国专利申请第14/510,566号中,并且所有这类申请在此以全文引用的方式并入本文中并且应当被视为本说明书的一部分。此外,用户界面装置和相关系统的实施例公开于2015年4月15日提交的标题为“超灵巧型外科手术系统用户界面装置”的美国临时专利申请第62/151,596号中,所述申请在此以全文引用的方式并入本文中并且应当被视为本说明书的一部分。
然而,控制系统以便实施不接地装置的新范例和新方式可是有益的。不需要外科医生在用户控制台处推动了一些实施例的一个此类益处。如上所述,接地装置通常使用控制台作为一种外科医生确定取向的方式。因为控制台为物理装置,所以其在外科医生操作主控制台时也为外科医生提供放置他或她手臂的位置,这再次可用于提供取向。虽然在自由空间中操作不接地装置,但是取向参考不再存在。在这些情形下,需要主输入装置与从属运动的实时反馈之间的完全对准可使系统更难以操作。因此,需要使系统即使主控制器和从属视频内容在某些界限内未对准情况下也可操作。相反,使用接地装置的系统在主输入装置和从属视频内容未对准时通常不允许所属操作。此外,有益的是,向用户提供与物理从属机器人工具的取向对从属机器人工具显示视频内容的取向有关的提示,以便有助于用户同时操作手动工具如腹腔镜工具和机器人主输入装置这两者。作为一个实例,可通过呈现一系列内插帧来提供所述提示,所述内插帧示出从用户眼睛坐标框架到由从属机器人持握的相机的坐标框架的三维“变焦”运动。
在一些实施例的另一方面,为了返回到使用接地装置的系统,用户界面控制台的物理性质通常迫使外科医生的手部以某些方式运动。在其中可通过不接地用户输入装置实现对系统控制的系统中,外科医生的手部运动不受约束。在一些情况下,不受约束的运动可导致不期望的运动。作为一实例,人(如外科医生)的腕部在六个自由度(DOF)上移动。假设直线坐标系与腕部关联,这些DOF为滚动、俯仰、横摆、在X方向上的移动、在Y方向上的移动以及在Z方向上的移动。肘部和肩膀可提供附加的DOF。然而,对于此实例,它们可忽略。当抓住不接地输入装置的外科医生移动他或她的腕部以执行滚动操作时,腕部的自然趋势是也在其它自由度上移动,这可不是期望的。在这些情形下,在一些实施例中,可有益的是,解耦或按比例缩放在命令受控器通过的不同DOF上的运动。因此,在一些实施例中,可存在这样的益处:进行不同解耦或按比例缩放在受控器可通过的每个DOF上的受控器的运动,使得主控器的一些运动被加强,而一些被弱化。在相关方面,在一些实施例中,可存在另外的益处:确立加强哪些自由度和弱化哪些自由度。因此,系统的实施例可建立视情况而定的强调层次结构。举例来说,在一种配置中,外科医生可发现,施加滚动运动比施加俯仰运动和横摆运动更容易;此外,外科医生可发现施加俯仰运动和横摆运动比施加平移运动更容易。在使用不接地UID时,这种类型的层次结构可改进易于使用。
在一些实施例中,外科医生在空气中而非在控制台处操作用户输入装置的能力建立了另一种需要。如上所述,在具有接地装置的系统中,外科医生使用控制台作为用于确定方向的方式。在不接地UID情况下,可不存在可提供这种类型的取向的类似物理结构。在与物理结构(例如扶手或椅子)关联的不接地UID情况下,不接地UID可不机械地约束于仅在规定区域中移动。因此,在一些实施例中,可有益的是,在对于返回的用户而言感觉到自然的用户周围的空间中创建主工作区。如果外科医生不确定他或她的手与从属机器人工具之间的关系,那么通过返回到主工作区,可获得重新定向。
在本公开中描述了若干方法。在一个实施例中,代替需要主控器和从属机器人(有时被称作从属控制器)的所显示图像对准的系统,即使在从属控制器和主控制器未对准时超灵巧型系统也允许从属控制器跟随主控制器。描述了这种概念的若干变型和实施例。在一个实施例中,仅传递不接地用户界面装置的滚动运动。在另一个实施例中,在主控器和受控器彼此在某一区域内或多个区域内时仅允许主从控制。举例来说,多个区域可包括以0度未对准为中心的区域和以180度未对准为中心的另一区域(围绕滚动轴)。在又一其它实施例中,将在多个自由度上发生的主控制器的运动解耦成其分量部分且进行不同处理。然后,每个自由度可进行独立地处理并且不同地按比例缩放。这种概念的变型和实施例可包括各向异性按比例缩放,其中根据用户界面装置及其控制的机器人工具的状态,进行不同地按比例缩放不接地用户界面装置的运动。在又一其它实施例中,因为超灵巧型系统可不必具有操作员必须坐下以便控制机器然系统的控制台,所以限定了工作区的中心。此工作区的中心为操作员可识别且返回以便确定他自身或她自身方向的空间中的区域。使用此工作区中心概念,并且在另外概念中,定义了将操作人员的自然移动转换成机器人工具的特定移动的自然坐标系。
附图描述
图1示出根据一些实施例的超灵巧型系统10。如图所示,操作员20如外科医生用以机器人方式控制的工具40对患者30进行手术。以机器人方式控制的工具由不接地用户界面装置(UID)50控制。在一些实施例中,机器人工具40由电动接合臂70持握,所述电动接合臂70经由被动臂75耦合到床。在一些实施例中,所述臂是被动的,而在其它实施例中,所述臂是主动的。举例来说,电动接合臂70可经由主动臂耦合到床。
在所示图中,用户界面支架60在操作员后面,但是应理解在其它实施例中,用户界面支架60可定位在相对于操作员的其它定位中或可完全不存在。操作员不需要在用户界面支架60的附近。替代地,操作员可将他自身或她自身定位在与患者有关的最佳位置中并且经由不接地用户界面装置50操纵机器人工具40。
在一些实施例中,由于接近患者,系统10可使得外科医生在手术期间能够使用机器人工具或手动工具或这两者。如果外科医生希望使用机器人工具,那么他或她可使用不接地UID 50控制器所述工具。系统10将外科医生的手部移动转变成机器人工具的移动,因此使得他或她能够执行外科手术。可以使用不同类型的机器人工具,如但不限于抓钳及钉合器。机器人工具还可包括相机。借助于这些相机,外科医生可观察身体内的器官和工具以执行外科手术。在一些实施例中,经由不接地UID对机器人工具的操纵对于外科医生而言是可理解的并且感觉自然。外科医生可使用多个视觉提示来了解在患者体内机器人工具的运动。这些视觉提示可包括但不限于通过相机看到并且显示在监视器85上的器官和工具的图像、外科医生对于患者的位置以及在患者身体之外的工具的可见部分的位置和取向。作为实例,如果外科医生随着他或她的手部左右移动来帮助外科医生的理解,那么工具还可在监视器85上左右移动。作为另一实例,如果外科医生上下移动他或她的手部,那么工具还可在监视器85上上下移动。除以上实例之外,手部移动与它们如何显示在监视器上之间的各种关联类型是可能的并且可根据用户偏好或其它手段来选择或设定。为作出这些关联,与系统10关联的计算机(未在图1和图2中示出)将用户的手部运动转换成机器人工具的运动。在一些实施例中,计算机可为如在下文进一步描述的图18中所示的计算机系统。
在一些实施例中,这些转换需要与系统10的一个或若干个传感器关联的坐标系。坐标框架可认为定义与框架关联的身体对于参考框架的取向的坐标系。举例来说,图2示出根据一些实施例的可与超灵巧型系统10关联的坐标框架。在图2中,坐标框架显示为分别与被动臂75、机器人工具40(其可为抓钳,作为实例)、相机45、不接地UID 50、用户界面装置基座65以及外科医生20的眼睛关联的110、120、130、140、150以及160。系统10的其它传感器还可用于定义各种坐标框架。UID基座65为这样的传感器,其从不接地UID 50接收不接地信号并且将这些UID的位置转化成相对于与其关联的框架的空间座标。因此,与系统10关联的计算机的一个任务是以操作员可理解且了解的方式将操作员作出的运动转化成机器人工具的运动。
实现所述理解的一种技术是使主控制器或操作员使用的控制器与由主控制器控制的机器人工具对准。更具体地说,系统可将(a)对于操作员眼睛框架的UID框架与(b)对于已捕获机器人工具运动的相机框架的机器人工具框架对准。一般来说,这些类型的控制系统被称作主从控制系统,其中从属(在此情况下为机器人工具)精确地跟随主控器的运动。举例来说,操作员使用控制台并且操纵以机电方式耦合到控制台的主控制器,作为使他自身或她自身确定方向的方式。然而,在一些实施例中,如图1中所示的系统10,由于操作员可使用不接地UID,所以不一定存在所述类型的视觉提示和/或机械约束条件。因此,在一些实施例中,准许未对准的运动。在一些实施例中,在不接地UID相对于操作员的眼睛框架的取向未与由不接地UID控制的机器人工具对于描绘机器人工具的相机框架(例如,在呈现给操作员的视频内容中的相机框架)的取向对准时,可认为主控制器与机器人工具未对准。
方法的各种实施例可用于解耦或弱化不想要的运动。为用具体实例进一步解释这种情况,在操作员用他或她的手执行滚动运动时,仅仅由于手的力学问题,对于手部还存在进行平移运动的趋势。这种平移运动可为不期望和不想要的。在这些情况下,在一些实施例中,可能有利的是抑制或去除平移运动。更一般来说,在操作员如外科医生操纵不接地UID时,在许多情况下可存在不期望或不想要的耦合运动。不同于有物理约束的UID,不接地UID无法迫使操作员解耦这类运动。因此,在一些实施例中,可期望能够抑制或去除这种耦合运动。下文详细地说明这些和其它概念。然而,为更好理解所述概念,现在在下文详细地解释与系统10关联的坐标框架的实施例。
坐标框架
图2示出根据一些实施例的坐标框架,所述坐标框架与可与其关联的系统10的传感器有关。图3以可用于解释坐标框架之间转换的方式示出根据一些实施例的图2中显示的坐标框架。对于在这些实施例中起作用的转换的数学问题,可导出、计算、已知所有这些坐标框架的位置和取向或以某一方式将所有这些坐标框架的位置和取向输入到与系统10关联的控制系统。
在多接合机器人系统(例如系统10)的实施例中,通常可选择被称作世界坐标框架的参考坐标框架并且将其用作系统的其它坐标框架的共同参考。可以各种方式导出、计算、已知其它坐标框架对于参考坐标框架的位置和取向或将所述位置和取向输入到控制系统。在一些情况下,可手动或自动地获取实际测量值以发现坐标框架对于参考框架的的位置和取向。可通过将传感器如位置传感器耦合到与坐标框架关联的传感器来获得自动测量值。通过手动或自动测量值已知其位置和取向的坐标框架可被称为“经测量的”坐标框架。
在一些实施例中,通过经由将传感器耦合到与坐标框架关联的一个或多个被跟踪目标感测这些参数来已知坐标框架的位置和取向。可使用各种类型的传感器,如电磁位置传感器或编码器。举例来说,电磁感测线圈可用于在由系统的另一个部件产生的所建立电磁场中追踪电磁感测线圈的定位和取向。在一些实施例中,可使用光学追踪,其中一个或多个相机用于追踪关于被追踪目标的特征,如发光特征,反射特征如反射球、独特表面等。相机可放置在被跟踪目标上或者被跟踪目标可包括由相机跟踪的反射特征。在一些实施例中,传感器可包含编码器,其中编码器可提供取向信息(例如,一个自由度的取向)。可关于某一其它参考如参考坐标框架或任一其它坐标框架给出来自这些传感器的测量值。在本公开内,通过感测已知其位置和取向的坐标框架可被称为“感测的”坐标框架。应认识到,传感器或相机可置于操作员的身体、UID、机器人工具以及系统的其它部分上的多个定位中。
在一些实施例中,如下文进一步描述,坐标框架的位置和取向可赋予某些值或可假设为类似于或等同于另一坐标框架。
返回到图3,图的左侧显示通常与操作员关联的三个坐标框架,而右侧显示通常与机器人关联的三个坐标框架。在左侧,显示了三个坐标框架,眼睛坐标框架160、UID基座坐标框架150以及UID坐标框架140。
眼睛坐标框架160与操作员关联;其相对于操作员的取向可被固定但是可配置的。作为实例,在一些实施例中,眼睛坐标框架可与操作员的眼睛关联,但可设定成相对于地平线的30°角。这种可归因于这样的事实:操作员如外科医生在医学手术期间可查看在设定为一定角度的监视器上显示的图像。因此,外科医生必须向下看或向上看以便查看监视器。因此,可基于监视器的角度设定眼睛坐标框架的角度。
返回参考各种坐标框架的讨论,眼睛坐标框架为其中假设其具有某一取向的实例。应理解,在其它实施例中,也可使用除30°之外的角度。出于在坐标框架转换中涉及的数学问题的目的,眼睛坐标框架可定义操作员如何根据目标的位置和取向感知到他或她看到的目标。此外,在一些其它实施例中,除眼睛坐标框架之外的坐标框架可与操作员关联。
在一些实施例中,可测量而非假设眼睛坐标框架。举例来说,3D追踪器可用于测量操作员的头部框架并且确定眼睛坐标框架。在一些实施例中,为了维持稳定的远程操作,可通过3D追踪器在周期性基础上测量眼睛坐标框架,而非实时追踪。
在一些实施例中,UID基座坐标框架150可与被称作UID基座65的系统10的物理传感器关联。UID基座65可放置在系统10环境中的任何地方。可通过直接测量已知UID基座坐标框架相对于固定坐标参考系如世界坐标参考系的定位和取向。因此,UID基座坐标框架为测量的坐标框架的实例。UID基座坐标系可由系统10用作参考以获得不接地UID 50的定位和取向。
在一些实施例中,坐标框架140可与不接地UID关联并且在不接地UID周围与不接地UID本身的移动一致地移动。由于不接地UID可具有传感器,所以可因直接感测而已知UID坐标框架对于UID基座坐标框架的位置和取向。箭头155指示可相对于UID基座坐标框架150感测的UID坐标框架140。UID坐标框架为感测的坐标框架的实例。
在一些实施例中,不接地UID 50可在六个自由度(DOF)上移动,其中三个为平移DOF,并且其它三个为转动DOF。参考图3中的坐标框架140,平移自由度可围绕X轴、Y轴和Z轴。按照惯例,滚动轴、俯仰轴和横摆轴分别对准于X轴、Y轴和Z轴。因此,按照此惯例滚动轴与坐标框架140的X轴一致。然而,在其它实施例中,可遵循其它惯例,如滚动轴可与Y轴对准。本公开中描述的概念也同样应用于其它实施例。在本部分中,将假设滚动轴将与X轴对准。下文将描述与系统10关联的更多实施例。
通常与机器人关联的坐标框架显示在图3的右侧。在一些实施例中,相机坐标框架130可与相机45关联。使用上述实施例,相机的滚动轴可与相机坐标框架130的X轴对准。由于操作员看到由相机获得的图像,所以在一些实施例中可假设眼睛坐标框架160和相机坐标框架130对准。举例来说,在一些实施例中,在眼睛坐标框架与相机坐标框架匹配并且UID坐标框架与抓钳坐标框架匹配时执行远程操作、在一些实施例中,将眼睛坐标框架设定或假设成与相机坐标框架匹配。在一些实施例中,抓钳坐标框架和UID坐标框架可未对准。
臂基座坐标框架110可与持握机器人工具的臂尤其主动臂关联。此坐标框架可沿臂放置于任何地方。举例来说,在一些实施例中,臂基座坐标框架100可位于基座处或在主动臂的第一接合部处。与可仅具有被动组件的被动臂相反,主动臂可包含电动机或致动器以及其它组件。在一些实施例中,臂基座坐标框架为测量的坐标框架的实例,因为臂基座坐标框架相对于参考坐标系的位置和取向也可因直接测量值而已知。
抓钳坐标框架120可与机器人工具关联。在一些实施例中,类似于与UID有关的UID坐标框架140,抓钳坐标框架120与工具一致地在周围移动。同样类似于UID坐标框架,可因感测已知相对于臂基座坐标框架110的抓钳坐标框架120。主动臂在所有其接合部上可具有编码器;这些编码器提供通过其可已知相对于臂基座坐标框架110的抓钳坐标框架120的感测的值。箭头115指示可已知相对于臂基座坐标框架的抓钳坐标框架,这类似于如何感测关于UID基座坐标框架150的UID坐标框架140。
在一些实施例中,如图2中示出的实施例,可看到通过独特的被动臂/主动臂组合持握相机。在其它实施例中,相机可由机器人臂中的任一个持握。在一些实施例中,可已知相对于在持握相机的主动臂基座处的坐标框架的相机坐标框架。然而,因为可已知关于世界坐标系的所有主动臂的位置和定位,所以在一些实施例中可不必需单独地调出或指定与持握相机的主动臂关联的坐标框架。因此,在此实施例中,不单独地指定与持握相机的主动臂关联的坐标框架。
应理解,在本公开中,在说明书中和图上的词语“抓钳”包括任何类型的机器人工具,如但不限于抓钳和钉合器。词语“机器人工具”和“抓钳”可同义地使用。如先前指定,虽然机器人工具一般还包括相机,但在本公开中将单独地指定相机和相机坐标框架。根据机器人工具或由臂持握的相机的类型,可存在将UID坐标框架运动转换成机器人工具或相机运动的不同方法。在许多实施例中的臂配备有传感器以确定机器人工具或安装在其上的相机的类型。
针对一些实施例,定义这些坐标框架的目标是将UID输入转换成机器人工具的输出。换句话说,当操作员移动不接地UID时,以可由操作员理解的方式将此等移动转换成机器人工具的移动。在一些实施例中,为了实现这种理解,假设眼睛坐标框架和相机坐标框架对准,使得当操作员操纵不接地UID时,如通过相机看到并且显示在监视器上的机器人工具的运动对应于手部移动。
在一些实施例中,平移移动和俯仰移动以及横摆移动一般比滚动运动更好理解。不接地UID和机器人工具的滚动轴的未对准导致难以理解工具的移动。举例来说,在用UID执行运动时,未对准可导致机器人工具的运动更加难以预测,或可导致机器人工具以不同于操作员所期望的方式移动。这可导致操作员精神疲劳增加,这种情况可导致操作员慢下来并且这种情况可不利于执行成功的外科手术。在使用在空间中自由移动的不接地UID的系统中,可难以将UID与机器人工具精确地对准。即使在系统10的情形下,需要实现以操作员可理解的方式将不接地UID的滚动运动转换成抓钳的滚动运动。本公开中所描述的一些概念实现这种情况并且将在稍后部分中解释。现在描述如何将来自UID(主控器)的转动位移传递到机器人工具(受控器)的方法以及在将滚动从主控器传递到受控器期间未对准的问题。
转动位移的传递
图4示出根据一些实施例的如何将UID的转动传递到机器人工具。如先前指定,虽然机器人工具一般还包括机器人相机,但是出于坐标转换的目的,可单独地指定相机和与相机关联的坐标框架。举例来说,如图4中的200所示,UID坐标框架140和眼睛坐标框架160显示出具有相同的起点。箭头240示出不接地UID 50已经经历了具有滚动、俯仰和横摆分量的转动运动。操作员必须在他或她的参考框架(因为他或她可很好地引起此运动),眼睛坐标框架160中最终了解此运动。因此,将UID坐标框架中的运动转换到眼睛坐标框架。箭头215显示了此转换。为了将转动从UID坐标框架转换到眼睛坐标框架,可发生两次转换。第一转换为将转动从UID坐标框架转换到UID基座坐标框架。第二转换为将转动从UID基座坐标框架转换到眼睛坐标框架。
在一些实施例中,可使用转动矩阵完成转动在数学上的转换。在此实施例中遵循以表示转动矩阵的定则为其中R为坐标框架A对于坐标框架B的转动矩阵。换句话说,为了在坐标框架A中转动向量,将所述向量乘以转动矩阵以找出其在坐标框架B中的取向。因此,以上提到的从UID到UID基座和从UID基座到眼睛坐标框架的两次转换可表达为如下一个操作:
认识到其中T描绘转置操作,等式1可写成
接下来,仍参考图4,将UID对于眼睛坐标框架的转动传递到抓钳对于相机坐标框架的转动并且由箭头225显示。抓钳对于相机坐标框架的运动是所期望的。抓钳对于相机坐标框架的转动在数学上可写成:
如图2中所示,将抓钳耦合到主动臂70,所述主动臂70随后耦合到被动臂75。这在数学上是方便的,尽管不必使用静止参考框架来追踪抓钳移动。在一些实施例中,被动臂的基座(被称作“臂基座”)提供这类方便的方位以定位静止坐标框架。应注意,虽然此定位被描述为静止,但是在系统10的初始设定期间,被动臂可沿底座的侧边定位在任何地方。因此,抓钳对于相机坐标框架的移动可转换成抓钳对于臂基座坐标框架的移动。这由图4中的箭头235显示并且在数学上描绘为:
因此,等式1到等式4可组合成一个等式:
此等式描绘了UID对于UID基座坐标框架的运动转换成抓钳对于臂基座的运动的实施例量形成控制器输入并且被感测;感测相对于UID基座的UID取向。量形成控制器输出并且如等式5中所指定计算。然后可根据所计算的值对于臂基座操纵机器人工具。
UID和机器人工具的未对准对滚动运动的影响
如果不接地UID 50和机器人工具40未对准或在时,不可以可理解的方式转换不接地UID的滚动运动。图5示出根据一些实施例,其中不接地UID和机器人工具未对准的滚动运动的实例。出于示出未对准影响的目的,眼睛坐标框架160、UID基座坐标框架150、相机坐标框架130以及臂基座坐标框架110可认为是对准的。另外,同样出于此实例的目的,如图示300清晰地所示,UID坐标框架140和抓钳坐标框架120未处于转动对准,在图示300中这两个坐标框架在彼此的顶部重叠,其中它们的起点在相同位置处。UID坐标框架140由虚线所示以将其与抓钳坐标框架120区分开。
在图示140上,假设UID滚动轴、俯仰轴和横摆轴分别与坐标框架的X轴、Y轴及Z轴对准,如果UID经历滚动运动,那么所述运动可由箭头310描绘。因为如上所述,除UID坐标框架和抓钳坐标框架外,所有坐标框架均对准,在UID的滚动运动传递到机器人工具时,可沿图300中的虚线箭头320发生UID的这种滚动运动,从而引起不想要的俯仰运动和横摆运动。如果机器人工具的滚动轴沿抓钳坐标框架120的X轴对准,那么机器人工具将沿虚线路径320转动-换句话说,机器人工具可展现摆动运动。另外,随着未对准变大摆动运动变得更加明显。机器人工具的运动可形象化为源于坐标框架的原点的锥形。因此机器人工具可进行不是滚动运动的运动。操作员可能并不完全理解,当所有期望的运动为机器人工具的滚动运动时为何会发生此种类型的运动。为了完整起见,阐述了X位置、Y位置、Z位置可不受未对准影响并且根据需要基于UID运动应用到机器人工具。因此,在下文描述的概念中,描述了在存在未对准时保留滚动运动的各种方法。
控制模式
在一些实施例中,可通过已知所述取向相对于初始取向已改变了多少来计算机器人工具的取向。可以各种方式测量初始取向。举例来说,在被称作“绝对控制模式”的方法中,在用户接合与系统10关联的传动机构(还可被称作“离合器”)时建立初始取向。为了进行参考,接合传动机构告知系统10需要将不接地UID的运动转变成机器人工具的移动。另外,在脱离接合状态下,机器人工具保持稳定并且不受不接地UID的运动影响。在绝对控制模式中,机器人工具对于臂基座坐标框架的转动矩阵的一个实施例可表达为:
其中上标t=0或t=τ指示将在时间0或在时间τ处取得的上标应用于其的坐标框架,应注意在发生驱动动作的瞬间建立t=0并且时间τ为当前瞬时时间。
在等式6中,右手侧的最后两项指示工具和UID的初始未对准。可在整个驱动周期保持这种未对准。
在一些实施例中,在计算机器人工具的取向另一方法中,初始取向为在紧接的前一个采样瞬时的取向。此方法可被称作“增量控制模式”。这里等式可表达为:
其中τ为当前时刻,τ-dτ指示前一时刻,并且其中由下式给出:
另外,在等式8的右手侧的两个转动矩阵的实施例可写为
因此,通过使用绝对控制模式等式6允许将不接地UID的转动运动转换成机器人工具的转动运动。通过使用增量控制模式等式7允许将不接地UID的转动运动转换成机器人工具的转动运动。这两种控制模式可用于解释在主控器与受控器未对准时允许运动的概念。使用接地UID的系统通常使用绝对控制模型。然而,增量控制模式为针对使用不接地UID的系统如系统10导出的概念。
欧拉角(Euler Angle)
欧拉角为一组三个角,通过所述三个角可导出转动矩阵。这三个角告知初始坐标框架可如何转动以获得所得坐标框架。欧拉角由欧拉转动定理(Euler's RotationTheorem)获得,所述定理陈述了任意转动可仅由三个参数(被称作欧拉角)描述。详细描述可见于Craig,JohnJ.,《机器人学导论:力学与控制(Introduction to Robotics:Mechanics and Control)》,1989,其在此以其全文引用的方式并入本文中并且应被视为本说明书的一部分。然而,出于本公开的目的,转动矩阵可表征为欧拉角。基于此简要说明,根据一些实施例定义了将如下文描述使用的两个函数。
第一函数f欧拉YPR可定义为:
(横摆,俯仰,滚动)=f欧拉YPR(R) 等式11
并且第二函数gEulerYPR可定义为:
(R)=g欧拉YPR(横摆,俯仰,滚动) 等式12
根据一些实施例,函数f欧拉YPR采用转动矩阵R作为其输入并且输出三个欧拉角,横摆、俯仰和滚动角。函数g欧拉YPR采用三个欧拉角(横摆、俯仰和滚动角)作为其输入并且输出转动矩阵R。通过此简要说明,可以说,欧拉角和转动矩阵是同义的数学定义,这引起坐标框架的相同转动。
滚动移动-摆动抑制方法
如先前所论述,在一些实施例中有利的是即使不接地UID 50(主控制器)和工具未对准,也允许操纵机器人工具(受控器)如抓钳。同样如先前所陈述,由于图5中示出的效果(其中不接地UID的滚动运动沿不期望的轴转变成摆动或转动),操作员可对主控器与受控器的滚动轴的未对准最为敏感。
在一些实施例中,如沿滚动轴的选择性对准而非全部的3轴对准可提供改进的系统性能。举例来说,由于不接地UID的滚动运动,“摆动抑制”方法的实施例可用于允许机器人工具沿其轴滚动。在一些实施例中,如果滚动角的量值大于不接地UID的俯仰角和横摆角的量值,那么只有滚动运动应用于机器人工具。可忽略在俯仰和横摆自由度上的移动。在数学上,这可表达为:
如果:
|滚动|>|俯仰|+|横摆| 等式13
那么,仅将滚动角从主控器应用到受控器。在一般意义上,如果滚动角满足针对俯仰与横摆函数的一些定义准则,那么系统10可仅应用滚动角。举例来说,在一些实施例中,可有利的是如果满足以下条件,那么仅应用滚动:
|滚动|≥k1*|俯仰|+k2*|横摆| 等式14
其中k1和k2可为实验得到或经由用户偏好设定的系数。在其它实施例中,可使用确定是否仅应用滚动的不同方式。此外,在一些实施例中,在满足一个或多个准则条件下,俯仰和横摆可按比例缩放或封顶,而非忽略。
图7示出根据一些实施例的“摆动抑制”方法。在图400中,显示了两个UID坐标框架140和140A。UID坐标框架140发生在时间t=τ-dτ,而UID坐标框架140A发生在时间t=τ。选择例举140和140A以加强这两个坐标框架与相同传感器,UID关联-如以上刚刚所解释,这些坐标框架之间的差异为它们发生的时间。沿滚动轴、俯仰轴和横摆轴的箭头430、箭头435和箭头440分别指示不接地UID 50经历在所有三条轴上的运动。图示450指示在时间t=T-dT处抓钳坐标框架120对于UID坐标框架未对准。然而,图示450还指示,仅沿滚动轴的一个移动应用到机器人工具。在所示的实施例中,应用等式13以确定不接地UID的滚动角的量值大于横摆角和俯仰角的量值的总和,并且因此仅滚动角应用于机器人工具。因此,在时间t=T,在图示450中,仅应用不接地UID经历的滚动角。在数学上,如果ΔR如等式8中所定义,那么假设ΔR已知或可计算,函数f欧拉YPR可用于找出以下角:
(横摆UID,俯仰UID’滚动UID)=f欧拉YPR(ΔR) 等式15
“摆动抑制”方法然后可写为:
(ΔR抓钳)=g欧拉YPR(0,0,滚动UID) 等式16
在一些实施例中,可通过观察人类如何滚动目标如在它们拇指与食指之间的铅笔,容易发现使用“摆动抑制”方法的优点。在滚动目标时,人手通常赋予在其它自由度上的运动,但仅意图赋予纯滚动运动。例如在期望纯滚动运动但由于手的力学问题而并未实现时,“摆动抑制”提供了一种赋予机器人工具纯滚动运动的方式。在系统10使用等式13以确定机器人工具的运动时间期间,如果操作员想要有意地在除沿滚动轴之外的自由度上移动,那么可在期望的方向上完成故意移动,使得不满足等式13。在不满足等式13时,沿横摆轴和俯仰轴的运动可转换到机器人工具。在其它情况下,在主控器和受控器未对准时,可使用摆动抑制。
虽然在实践中此方法是稳健的,但是在一些实施例中,可失去UID的精细俯仰运动和横摆运动。在由于小的采样时刻而使先前取向取向与当前取向之间的差较小时,此方法在增量控制模式下最佳地起作用。现在描述也可在绝对控制模式下起作用并且保留UID的俯仰和横摆转动的另一种方法。
在未对准时的滚动移动-滚动投影
图8示出根据一些实施例的“滚动投影”方法的应用。在此图中,图示500示出UID可经历在UID坐标框架140中沿滚动轴、俯仰轴和横摆轴的运动;沿这些轴的运动由弯曲箭头515(滚动)、510(俯仰)和520(横摆)表示。在一些实施例中,UID运动(忽略任何平移运动)可在至少两个独立但平行的步骤中转换到抓钳坐标框架。
在一个步骤中,转换横摆运动和俯仰运动。在图式中,这通过图示530A和图示540A指示。在图示540A中,在抓钳坐标框架中的转换运动可具有俯仰(550)分量、横摆(555)分量和滚动(557)分量,尽管事实是在进行转换时抑制了滚动运动。
在第二步骤中,在抓钳坐标框架中机器人工具的滚动角可通过将UID的滚动角与通过上述步骤获得的滚动角相加来计算。这通过图示530B和图540B来指示。因此,独立于横摆和俯仰来操控滚动。在一些实施例中,等式6和等式7用于将来自UID坐标框架的横摆和俯仰转换成抓钳坐标框架的横摆、俯仰和滚动。在一些实施例中,此方法可为有利的,因为消除了由不接地UID与机器人工具的未对准导致的摆动运动。作为实例,在不接地UID仅经历滚动运动时,未对准导致不想要的俯仰运动和横摆运动,这是导致摆动的原因;所述摆动可通过使用此方法而消除。另外,此方法在增量控制模式或绝对控制模式下起作用。参考图8,由图示530A中的510和520指示的转动被转换成图示540A的抓钳坐标框架130中的转动550(俯仰)、555(横摆)和滚动(557)。将滚动角557与滚动角515相加,得到最终的滚动角565。然后,将转换的横摆和俯仰与相加的滚动角组合以计算机器人工具的最终运动。因此,在此方法中,保留了俯仰运动和横摆运动。此外,如上所陈述,此方法于绝对控制模式和增量控制模式起作用。根据一些实施例,以下等式在数学上以若干步骤解释此方法。
步骤1:找出UID的欧拉角
(横摆UID,俯仰,UID)=f欧拉YPR(ΔRUID) 等式17
因为此方法可对增量控制模式或绝对控制模式起作用,所以可计算针对任一模式的ΔR。对于增量模式,ΔR如等式8中所定义。对于绝对控制模式,可使用相同等式,其中使dτ等于0,其为接合传动机构时的瞬时。
步骤2:利用设定成等于0的滚动UID计算新ΔR
(ΔRUID)=g欧拉YPR(横摆UID俯仰UID,0) 等式18
步骤3:将ΔRUID转换成ΔR抓钳
步骤4:找出抓钳的欧拉角
(横摆抓钳抓钳滚动抓钳)=f欧拉YPR(ΔR抓钳) 等式20
步骤5:利用滚动角重新计算R抓钳,所述滚动角直接通过将如由等式20计算的机器人工具的滚动角与UID的滚动角相加而计算出。
(ΔR抓钳)=g欧拉YPR(横摆抓钳俯仰抓钳滚动UID+滚动抓钳) 等式21
如在等式21中可看出,最终ΔR可基于在俯仰和横摆的情况下的转换运动以及滚动角而计算出,所述滚动角通过将UID的直接滚动角与在转换俯仰和横摆时获得的滚动角相加而计算出。如果未对准小于+/-30度(但不排除其它角度),那么此方法将最有利地起作用。
一般来说,可根据一些实施例使用两种方法中的任一种(“摆动抑制”和“滚动投影”)以保留UID的滚动运动并且将所述运动应用到机器人工具,即使主控制器与从属控制器未对准。现在关于系统10讨论其它有利的概念。
UID运动的应用层次结构、解耦和按比例缩放
在一些实施例中,可在系统10内部以解耦方式处理不接地UID的运动。在计算机器人工具的最终输出时,可进行不同地分析和处理每个DOF中的输入运动。举例来说,可优先于其它输入运动给出一些输入运动-系统层次结构可应用于计算最终的输出运动。换句话说,在操作员在系统10内部以复杂方式移动不接地UID时,可根据一些建立的准则进行不同地解耦和操纵这些运动。
作为实例,如果操作员滚动不接地UID以执行如将缝合线施加到组织的动作,那么由于人腕部如何工作的力学问题,对于腕部而言可存在仅应用平移运动的自然趋势。在这些情况下,如果符合某些准则,那么可在将UID移动转换到机器人工具时抑制或去除平移分量。
举例来说,图9A示出根据一些实施例的在将UID移动转换到机器人工具时解耦并按比例缩放平移分量。在此图中,图示600描绘了UID经历从由UID坐标框架140所示的初始位置到由坐标框架140B(由虚线所示)所示的位置的运动。从图可看出,所述运动涉及转动和平移这两者。虽然从图中并不是显而易见的,但是可沿滚动轴、俯仰轴和横摆轴中的一个或多个发生转动。
如图9A所示,图示630示出机器人工具的运动。这里,机器人工具的初始位置显示为130。根据所示出的实施例,与UID坐标框架140B对应的机器人工具的新位置由坐标框架130B(由虚线)显示。已经从如由图示630所示的机器人工具的转换运动中去除了在图示600中所示的UID的平移运动。虽然在此实例中已经去除了平移运动,但在其它概念中,可按比例缩放所述平移运动。举例来说,按比例缩放因子可为0.5;这将导致机器人工具的新位置仅平移UID经历的平移的一半。
图9B示出根据一些实施例的解耦和按比例缩放的另一实例。在此,图示700和图示720分别是指不接地UID的初始位置和最终位置,并且图示740和图示760分别是指机器人工具的初始位置和最终位置。为清楚起见,假设图示700和图示720发生在世界坐标系的XY平面中以指示UID坐标框架已经从700中的其初始位置平移且转动到720中的其最终位置。可看到与转动相比,平移相对较大。在图示740和图示760中,显示了机器人工具的初始位置和最终位置。为清楚起见,还在相同世界坐标系中显示了这些图示。在所示出的实施例中,仅平移运动被保留和在UID与机器人工具之间转换,并且已经去除了转动。因此,图9A和图9B示出在将所述运动传递到机器人工具时解耦和按比例缩放不接地UID的运动的概念的实例。
在一些实施例中,可概括以上实例并在数学上表达如下。
如果不接地UID的总运动由表示,那么:
其中是UID坐标框架对于眼睛坐标框架的转动矩阵,并且是表示不接地UID对于眼睛坐标框架的平移的位置向量。如果R为3×3转动矩阵并且P为3×1平移矩阵,那么T的最后一列为1×4矩阵,其中在等式22中0为用于[0 0 0]的简式表示法。
类似地,如果机器人工具的总运动由表示,那么:
其中为抓钳坐标框架对于臂基座坐标框架的转动矩阵,而表示抓钳对于臂基座坐标框架的平移的位置向量。应认识到,的变形。在一些实施例中,等式23的右手侧的最后一列可以与如上所述的等式22右手侧的最后一列相同的方式解释。
现在,根据一些实施例,机器人工具的最终施加的运动可写为经转换矩阵的某个一般函数
举例来说,如图9A中所示,设定成0。在一些实施例中,系统可检查以查看量值是否小于阈值。阈值可由用户设定,或由系统自动地或半自动地确定,或仅预编程在系统中。在一些实施例中,的值可按比例缩放而非设定成0。可使用任何其它合适值,如但不限于
类似地,在图9B的实例中,可设定成I(单位矩阵)。在此情况下,系统10可检查以查看量值是否大于阈值。同样,阈值可由用户设定,或由系统自动地或半自动地确定,或仅预编程在系统中。另外,如上所述,在一些实施例中,的值也不必设定成I。可使用任何其它合适的按比例缩放因子。为了应用按比例缩放,可使用等式17首先得到分量横摆角、俯仰角和滚动角。然后,这些角可按比例缩放并且可使用等式18得到新的转动矩阵。
在一些实施例中,层次转换可被配置成使得滚动运动易于跟随俯仰运动和横摆运动,跟随平移运动。举例来说,为了配置这种行为,等式24A以及等式11和等式12可使用如下。最终施加的运动可写为:
其中
并且其中横摆、俯仰和滚动可由下式计算:
在一些实施例中,系数α、β、γ、δ可由用户调节或在设定期间由机器人系统预设,或以其它方式调节。它们还可基于平移值或横摆角、俯仰角和滚动角来调节。举例来说,在一种配置中,可如下设定系数:
(α,β,γ,δ)=(0.5,0.5,1,0.25) 等式24E
这种配置可使得与俯仰和滚动运动(系数为0.5)相比更容易实现所述滚动运动,而俯仰和滚动运动又可比平移运动(系数为0.25)更容易实现。换句话说,最大程度地抑制了平移运动,接着是俯仰和横摆。滚动运动完全未被抑制。
在一些实施例中,系数可基于运动的其它特性而非只是量值。举例来说,可基于速度、加速度或其它合适特性调节系数。作为一个实例,如果平移的速度缓慢,那么δ可在等式24E中设定成低值或零。这将具有如下效应:如果不接地UID的平移的速度缓慢,那么在计算工具的最终输出时将抑制平移运动。类似地,在一些实施例中,如果用户将滚动运动施加到不接地UID的角速度高或比某一预设或用户可设定值高,那么与横摆DOF和俯仰DOF关联的系数α、β可设定成零或低值。在用户他或她以某一高速率(高于可由用户设定或由系统设定的某一阈值)滚动不接地UID时,这将具有由用户作出的抑制横摆和俯仰运动的效应。因此,可看出,可关于物理特性如速度设定系数。还可使用其它特性如加速度。
因此,在一些实施例中,UID的运动可按解耦方式处理并且系统10可基于某一建立的准则决定每个解耦分量的多少可应用于机器人工具的最终运动。此外,通过调节系数,可加强或弱化运动的每个分量以实现不同行为。
各向异性按比例缩放
图10示出根据一些实施例的各向异性按比例缩放的实例。在一些实施例中,可根据各种条件不同地按比例缩放运动。举例来说,图10显示出持握不接地UID 50的操作员20的人手810。弯曲箭头850指示归因于腕部运动的的运动的舒适范围。用虚线绘制的弯曲箭头860和870示出其中腕部可延伸到但张紧的区域。操作员在试图接近这些区域时可感觉不适。在所示的实施例中,从不接地UID轴向延伸的锥形820表示在沿弯曲箭头850移动腕部时可接近的区域,而由虚线示出的锥形830和840表示通过沿弯曲箭头860和870移动腕部可接近的区域。在一些实施例中,为使系统10的操作更容易,根据操作员的腕部是否沿弯曲箭头850或沿860或870定位,在UID的运动转换成机器人工具的运动时UID的运动可不同地按比例缩放。
举例来说,在具体实施例中,如果腕部沿与锥形820对应的弯曲箭头850定位,那么UID运动与机器人工具之间的运动的缩放比例可为1:1。另一方面,如果腕部沿与区域830和840对应的860和870定位,那么UID运动与机器人工具之间的运动的缩放比例可替代地为2:1。这意味着如果沿弯曲箭头860和870操作,那么转动角(滚动、俯仰和横摆)可加倍。借助这种类型或布置,在其中可张紧腕部的区域中,系统放大腕部的运动试图降低在此类区域中操作的难度。
如果仅考虑转动,那么在一些实施例中可在下文给出各向异性按比例缩放的数学描述。如果ΔR抓钳对应于与UID的转动对应的转动矩阵,那么欧拉角横摆抓钳,俯仰抓钳,滚动抓钳可使用等式20得到。接着最终施加的转动可写为
(ΔR抓钳_路线)=g欧拉YPR(α*横摆抓钳,β*俯仰抓钳γ*滚动抓钳) 等式25
在一些实施例中,如果腕部沿弯曲箭头850定位,那么α、β、γ可全部设定成1。另一方面,如果腕部沿弯曲箭头860和870,那么α、β、γ可全部设定成不同值,例如2.0。此外,在一些实施例中,α、β、γ不需要设定成相同。它们可设定成不同值。另外,它们还可在每个区域中不同地设定。举例来说,在区域860中这些值可设定成1.5,而在区域870中这些值可设定成2.0。在一些实施例中,不接地UID 50可与具有不同缩放比例值的不同区域关联。即使可存在两个区域,例如,其中一个容易达到,而另一难以达到,也可可存在两个以上的区域。
在图11A中,示出了机器人工具40,并且在图11B中,示出了显示如通过机器人相机看到的机器人工具的图像的屏幕85。图11C示出根据一些实施例的如何将α、β、γ设定作为手的舒适位置偏差的函数的实例。随着偏角增加超出舒适位置(通过在曲线中第一弯曲指示),这些参数可不同地设定直至达到最大值。如所提到,α、β、γ可不必具有相同值。此外,γ可设定成1或可根据上文所论述方法设定。.
在一些实施例中,各向异性按比例缩放的概念不仅限于转动。举例来说,所述概念可使用如下等式24的形式概括:
其中每个系数α、β、γ、δ、ξ、μ可根据不接地UID的位置及取向或机器人工具的位置及取向设定成不同值,其中X抓钳、Y抓钳、Z抓钳为平移向量的X分量、Y分量及Z分量。
作为接合部极限的各向异性按比例缩放
在一些实施例中,用于各向异性按比例缩放的一般等式(等式26)可以各种方式使用。在一个实例中,在操作员驱动UID使得系统10的一个或多个接合部可接近它们的操作极限时,等式26中的缩放比例可通过系统10自动地改变,使得用户发现难以进一步进入将导致到达接合部极限的区域中。举例来说,每个接合部可至少部分地基于接合部相对于其操作极限的位置而与一个或多个区域关联,其中在达到区域中的缩放比例可不同。在一些实施例中,系统10可以使得促使用户移动UID并随后使接合部接近其极限的方式,在防止一个或多个接合部到达到它们极限的方向上按比例缩放在其它轴上的运动。
在一些实施例中,显示器(例如,显示器85)可用于显示接合部极限以便警告用户系统10的一个或多个接合部正接近它们的操作极限,并且有助于引导用户操纵UID使得不达到接合部极限。举例来说,在系统10的一个或多个接合部在距它们的操作极限的某一阈值内时,可在显示器上提供视觉指示,告知用户状态,并且在将避免接合部到达它们的极限的方向上促使接合部调整UID的接合部的操纵。在一些实施例中,可提供其它类型的指示,如音频指示。
在未对准时的一般运动-可驱性及重影图像
虽然上文描述了在UID与机器人工具未对准时保留UID的滚动运动的技术,但是在一些实施例中,在未对准在某一阈值内时系统10允许机器人工具跟随不接地UID。图11A和图11B示出根据一些实施例的其中机器人工具可基于未对准的量而跟随不接地UID的实例。
在图11A中,示出了机器人工具40。在所示的实施例中,如果假想锥形绘制在机器人工具周围并且还假想机器人工具和不接地UID具有相同的原点,如果UID在此锥形内,那么系统10可允许工具跟随UID。在一些实施例中,假想围绕机器人工具的滚动轴绘制锥形。机器人工具对于相机的滚动轴可与不接地UID对于操作员的眼睛的滚动轴相比较。
在图11B中,示出了显示如通过机器人相机看到的机器人工具的图像的屏幕85。如图中所示,虚线示出了假想的锥形。此外,不接地UID 50还呈现到图像中。在一些实施例中,所呈现图像可包含不接地UID 50的3-D目标、模型或表示。由相机看到的内容和机器人工具的呈现图像构成的合成图像显示在屏幕上。显示的实际方法如是否使用虚线对于此讨论并不重要。为了进行参考,机器人工具的呈现图像被称作“重影图像”并且在机器人工具周围的假想锥形可被称作“可驱性锥形”。在一些实施例中,为了更容易查看,机器人工具的“重影图像”和/或假想锥形可是半透明的。在一些实施例中,使用3-D重影图像叠加允许操作员更好地看出UID的取向与抓钳或机器人工具的取向之间的差异。在一些实施例中,除了机器人工具或代替在机器人工具周围,假想锥形可呈现在不接地UID(或“重影图像”或不接地UID)周围。
在一些实施例中,可按以下方式选择在屏幕上呈现不接地UID的位置。在操作员接合传动机构以表示他或她准备好使机器人工具跟随不接地UID之后,系统10可将不接地UID的位置映射到抓钳坐标框架的原点。不接地UID和机器人工具的取向可匹配或可不匹配-在所述两个坐标框架最终与被称作世界坐标框架的相同参考坐标系相比时系统10可确定这种情况。在不考虑取向情况下,如图11B中所示,不接地UID的呈现可放置成与抓钳坐标框架的原点一致。举例来说,可从图中看出,机器人工具和不接地UID未对准,但具有相同起点。如果不接地UID的图像出现在此锥形内,那么系统10可允许机器人工具跟随不接地UID,即使两者并未精确地对准。出现在锥形内的不接地UID的图像表示,操作员察觉如在屏幕上关于实时视频内容呈现给操作员的不接地UID的取向和机器人工具的取向在某种程度上对准。在一些实施例中,对于操作员的眼睛框架的不接地UID可在某种程度上与对于相机框架的机器人工具对准,所述相机框架用于将机器人工具的视图呈现给操作员。在其它实施例中,不接地UID和机器人工具可实际上在某种程度上对准(例如,与世界坐标系相比)。锥形的角度可由操作员设定或通过经验确定并且设定为系统10内可编辑或不可编辑参数。在不接地UID离开此锥形时,系统10可选择不使机器人工具跟随不接地UID。在发生此情形时,机器人工具必须重新接合,随后其可跟随不接地UID。
如上所述,在一些实施例中,在不接地UID在可驱性锥形外时,系统10可不允许机器人工具跟随不接地UID。在一些实施例中,为了重新接合机器人工具,用户可操纵不接地UID,使得其回到锥形内。在一些实施例中,系统10可不断地计算不接地UID的坐标框架取向与机器人工具的坐标框架取向之间的向量差或误差。当操作员使不接地UID的取向越来越接近机器人工具的取向时,误差变得越来越小。如果操作员继续对准不接地UID,那么他或她最终可使位置过冲并且使误差更大。此时,系统10可命令机器人工具跟随不接地UID。然后,此方法允许工具和UID紧密地对准。在此区域中允许控制工具。
在一些实施例中,根据操纵的机器人工具,锥形可具有不同尺寸。举例来说,如果操纵抓钳或钉合器,那么锥形的角度可为小的,这表示未对准的公差较小。另一方面,如果操纵机器人相机,那么锥形的角度可为更大,因为可接受并容许更大程度的未对准。在一些实施例中,可使用除锥形之外的形状。
在一些实施例中,系统10可具有与不接地UID与机器人工具之间的不同对准对应的多个控制方案。举例来说,系统10可使用以上公开的方案,并且/或者系统可根据UID与机器人工具之间的对准使用不同的方案。对于每个控制方案,不接地UID的运动如何平移到机器人工具可不同。举例来说,在不接地UID基本上与机器人工具垂直(例如,机器人工具的滚动轴垂直于不接地UID的滚动轴)时,系统10可允许控制方案。在一些实施例中,被定向成相对于机器人工具为180度的不接地UID还可与控制方案关联。这些不同的对准可被认为是,随着对于图11B中描绘的锥形取向变化的多个区域或锥形。对于不同对准区域中的每一个,将不接地UID的不同自由度(例如滚动、俯仰和横摆)转换成机器人工具的运动可是不同的。举例来说,在由具有与工具的工具轴杆和/或夹钳垂直的轴的锥形表示的区域中,不接地UID的纯俯仰运动可映射到机器人工具的纯滚动运动。
在一些实施例中,如果不接地UID变得与目标如机器人工具的第一对准区域未对准,这对应于第一控制方案(例如,如果操作员使输入系统的传动机构脱离接合(这导致机器人工具不再跟随UID)并且使UID在恢复控制之前移动到不同的取向),那么操作员可被告知不接地UID在与第二控制方案(其不同于第一控制方案)关联的第二对准区域内。在一些实施例中,可驱性锥形可与不同可能对准中的每一个关联,其中用于具体对准的可驱性锥形指示对于不接地UID可容许一定量的未对准以仍使用与所述对准关联的控制方案来控制机器人工具。在一些实施例中,当UID的重影图像接近所述对准时,用于具体对准的可驱性锥形可显示在屏幕85上。这些多个对准区域使得操作员能够以更灵活的方式使用系统。举例来说,通过利用180度偏移的对准区域,可由在操作员右手边的UID控制在屏幕85的左侧显示的机器人工具。通过提供允许UID与机器人工具之间的“未对准”的控制方案,系统使操作员能够持续高效地使用机器人工具,即使在他或她处于对于机器人工具的实时视频内容的显示或对于物理机器人工具本身的不理想取向或位置时。如果操作员被定为在靠近外科手术床,例如以便操作手动工具或腹腔镜工具,那么这种状态可频繁发生。
一般来说,这些实施例(其源于即使主控制器和从属控制器未对准某一有限量下,系统仍可被驱动的概念)可改进系统的易用性,尤其是可用不接地UID控制的系统。
最小化的误差驱动方案
在一些实施例中,只要机器人工具在可驱性锥形内,可根据不接地UID与机器人工具之间的向量误差调节抓钳的速度。可基于某一建立的准则调节速度。举例来说,如果看到向量误差增加,那么抓钳可加速使得抓钳跟得上不接地UID。另一方面,如果看到误差降低,那么抓钳可减速使得UID跟得上抓钳。可以若干方式计算误差。举例来说,在一些实施例中,得到UID坐标框架的X轴与抓钳坐标之间的角度,原因可在下文在数学上描述。
如果如上所述R表示转动矩阵,那么
其中为UID坐标框架对于眼睛坐标框架的转动矩阵的第一列。
类似地
其中为抓钳坐标框架对于相机坐标框架的转动矩阵的第一列。
误差可被计算为:
Δ=|cos-1(XUID*X抓钳)| 等式29
可通过使用以下式调节机器人工具的取向:
ΔR抓钳=g欧拉YPR(β*横摆G,β*俯仰G,滚动G) 等式30
其中横摆G,俯仰G,滚动G为抓钳的横摆、俯仰滚动并且其中β为可设定成使抓钳加速或减速的系数。
图11D示出根据一些实施例的可如何设定β的实例。在此图中,X轴可设定成(Δ(t=τ)-Δ(t=τ-dτ))。随着误差增加,β可设定成更大的正值使得抓钳跟得上。在误差降低时,β设定成更小的值使得抓钳减速。在一些实施例中,在误差接近于0时,β可设定成1。因此,不接地UID和抓钳倾向于保持对准。
工作区的中心
如先前所述,系统10提供操作员可使用以控制一个或多个机器人工具的不接地UID。不同于具有接地UID的系统(其可提供操作员可坐下或站立的控制台),系统10为操作员提供在周围自由移动并且将他自身或她自身定位在对于患者的理想位置中的能力。借助接地UID,操作员使用控制台来使他自身或她自身确定方向。然而,虽然系统10可提供控制台或用户界面支架,但是需要他或她返回到这类控制台或支架减小了一些实施例系统的优点。
尽管不必具有控制台或用户界面支架,但在一些实施例中可有利的是,提供操作员可返回到并且可易于接近以获得取向方向的空间。此空间可被称作工作区或自然工作区的中心。工作区中心的尺寸和位置可以各种方式建立。举例来说,可关于操作员建立工作区的中心,在他或她躯干附近的前方,其中操作员的手可自然地返回。因此,作为实例,可将工作区的中心想像为在操作员前方直径为约12英寸的虚拟圈。
图12A示出根据一些实施例的与操作员20前方的工作区1000的中心对应的虚拟圈。可将虚拟圈的位置选择为静态或动态的。举例来说,如果圈的方位选择为静态的,那么可关于某一物理目标如被动臂75的基座建立位置。也可选择其它目标。另一方面,如果虚拟圈的位置选择为动态的,那么可关于移动的目标如操作员建立位置。如上所述,在一些实施例中,可在操作员的前方他或她的躯干附近建立虚拟圈。当操作员四处移动时,虚拟圈将保持其关于操作员的位置。这需要追踪操作员的位置。可以各种方式,包括光学方法和电磁方法进行这种追踪。作为实例,操作员可穿戴具有位置传感器的腰带,所述位置传感器位于所述腰带上。在一些实施例中,可用与追踪不接地UID相同的跟踪系统追踪位置传感器。
可以各种方式使用工作区的中心。在一些实施例中,在操作员的手在虚拟圈内的任何地方时并且在操作员接合传动机构时,建立了用于不接地UID的零位置和取向(下文简称为“零位置”)。因此,可将此零位置与机器人工具的当前位置对应。一旦建立零位置,那么在系统处于驱动状态时可跟随例程行为。图12B和图12C示出根据一些实施例的这种行为。举例来说,在图12B中,在系统未处于驱动状态时,操作员可将他或她的手放置在虚拟圈1000内的任何地方。在此区域内,在接合传动机构之后,将所述特定位置建立为用于UID坐标框架140的零位置。这还意指,如果操作员的手在虚拟圈1000外,那么即使在接合传动机构时,系统10也不允许驱动并且给操作员发送消息,警告他或她尚未出现驱动动作。然后,需要操作员将他或她的手定位在虚拟圈内。然而,如果手在虚拟圈中并且接合了传动机构,那么在接合传动机构的瞬时将不接地UID的特定位置建立为用于接合传动机构的持续时间的零位置。因此,在对患者手术的过程期间,虚拟圈(不管其是静态还是动态的)提供一种使操作员确定方向的方式。这些实施例可用于这样的系统:其是正常接合的系统或未正常接合的系统。此外,在一些实施例中,可包括次级传动机构以提供安全锁定件,除非一个或多个条件符合,否则所述安全锁定件防止操作。举例来说,系统可从显示屏幕追踪操作员的眼睛,并且如果眼睛不在屏幕上,那么不允许驱动工具。作为另一实例,系统可从在UID上的传感器(例如,压力传感器或电容性传感器)接收反馈,并且然后如果操作员的手不在UID上,那么不允许驱动。
在一些实施例中,可建立对于操作员的自然坐标框架。这种自然坐标框架的目的是将操作员的自然移动映射到一个或多个机器人工具的特定移动。作为实例,在图12D中,显示了操作员20站立在床35附近。箭头1020(其显示为倾斜和朝向以及远离操作员)可为操作员移动他或她的手的自然方式。如图12E中所示,这种自然移动可映射到沿相机轴的一个或多个机器人工具的移动中,其中工作区的中心由虚拟圈1000显示。显示了其原点在圈内的坐标系1030,使得此坐标系的Z轴与操作员可如何移动他或她的手的自然方向1020对准。因此,沿1030的Z轴的运动可映射到沿相机轴的机器人工具的运动。换句话说,如果在屏幕85上看到机器人工具的图像,那么沿1030的Z轴的运动可表现为进入和离开屏幕。在一些实施例中,坐标框架1030的取向是可配置的。作为实例,在开始手术之前或在设定过程期间,系统10可指示操作员执行某些动作如向上和向下移动他或她的手臂。通过追踪并且记录手臂的位置和操作员身体的位置,可设定坐标框架的取向。此外,在一些实施例中,这种相同步骤也可用于建立工作区中心的位置。在一些实施例中,对于自然坐标框架的上述转换也可应用到眼睛坐标框架。
在一些实施例中,,显示器(例如,监视器85)可用于警告操作员不接地UID是否在机器人系统的可使用工作区外或在距可使用工作区的边缘的某一距离内,从而提示操作员将不接地UID返回到可使用工作区。
对于每只手的独立坐标框架
在人移动它们的手时,通过大脑以复杂方式解释所述移动。在一些情况下,可参看参考物的内部坐标框架理解移动。在一些情况下,可关于其它坐标框架理解移动;例如可关于附接到某人前臂的参考物框架理解移动。
为了进一步用具体实例解释这一情况,手臂伸出在他前方的人员可使手臂向左或向右移动并且大脑可将这种运动理解为关于内部参考框架的向左或向右运动。然而,这一相同人员可在他后面摆动相同手臂并且可向左或向右移动臂。现在大脑理解关于与手臂的某一部分如前臂关联的坐标框架的左方向或右方向。此外,关于先前的内部参考框架,左和右的概念是相反的。可用向后指向的另一只手进行这一相同实验。因此,这种想象实验的一个暗示是,两只手可在参考物的独立坐标框架中移动,每个坐标参考框架耦合到手臂的某一部分。举例来说,在一些实施例中,操作员可使用第一只手控制第一UID,并且使用第二只手控制第二UID。第一只手和第二只手可与第一参考框架和第二参考框架关联。在一些实施例中,第一参考框架和第二参考框架可相同。在其它实施例中,第一参考框架和第二参考框架可彼此不同。第一参考框架和第二参考框架可彼此正交,或彼此不正交。
在一些实施例中,在操作员用不接地UID控制系统10时,复制在独立坐标框架中移动两只手的这种行为可是有利的。图13A和图13B示出根据一些实施例的与两只手关联的独立坐标框架。在图13A中,箭头1000和箭头1010显示操作员20的每个手臂的左位置和右位置。如所示,在一些实施例中,每个手臂的右侧和左侧可与操作员的右侧和左侧一致。在图13B中,操作员使他的手臂成一定角度;在此情况下每个手臂的右侧和左侧与操作员的右侧和左不侧一致。箭头1020和箭头1040显示相关于箭头1000和箭头1010和关于操作员的右侧和左侧成一定角度的每个手臂的右侧和左侧。另外,在一些实施例中,每个手臂的右侧和左侧可甚至与彼此不共面或与操作员的右侧和左侧不共面。然而,在图13B中示出的情形中,可有利的是,在一些实施例中,如通过相机所看到和再屏幕上所显示将每个手臂的左方向和右方向映射到机器人工具的左方向和右方向。
因此,在一些实施例中,可需要允许在两个独立坐标框架中对不接地UID进行操纵。在下文在数学上以及在图14和图15中描述这种概念。在一些实施例中,两个独立坐标框架的使用提供了增加的系统性能。
图14示出根据一些实施例的两个独立坐标框架,其中一个与每个手臂都关联。如图14中所示,图示1100和图示1110描绘了UID可由左手操纵,可在与左手关联的坐标框架1100中移动。在一些实施例中,可测量关于与左前臂关联的坐标系1110的此坐标系。如图示1110指示,可在操作员接合传动机构时建立与左前臂关联的坐标框架。换句话说,在接合传动机构时(在时间t=0)左前臂的瞬时位置和取向可被用作在驱动时期由左臂操纵的UID的参考框架。
类似地,如由图示1120所示,在接合传动机构的瞬时,也可关于右前臂建立独立坐标框架。接着,可测量关于与右前臂关联的坐标框架1120的与由右手1130持握的UID关联的坐标框架。在一些实施例中,在前臂中的坐标框架可由某一类型的追踪装置追踪,所述追踪装置如但不限于光学跟踪装置或磁性追踪装置。
在上文论述的一些实施例中,关于对于两只手的独立坐标框架的概念,UID基座65用作用于追踪UID装置的装置。在其中关于前臂建立独立坐标框架的一些实施例中,相同UID基座65可用于追踪前臂。操作员的身体的前臂或其它部分可配备有由UID基座65追踪的附加器械如磁传感器或可光学识别的特征件。因此,UID对于其关联的前臂的运动可写为:
等式31在无左指示符或右指示符的情况下编写,但可应用于双手。
图15示出根据一些实施例的用于两种独立坐标系如在图14中描述的那些的坐标转换。还如上所述,未使用用于左臂和手以及右臂和手的指示符“左”和“右”;因此图可适用于每个手臂和手,其中应理解在每个前臂中的坐标框架可是独立的。图15极其类似于图3;实际上右侧或“机器人”侧等同于图3中的相同侧。图3与图15之间的差异在于,在图3中,双手以及臂参考一个共同的参考框架,“UID基座”参考框架。然而,在图15中,可关于与前臂关联的坐标参考系统追踪与每只手关联的框架。
另外,如上所述,根据一些实施例,可在应用传动机构的瞬时建立与每个前臂关联的坐标框架。在系统处于驱动状态的时间期间,前臂和关联的手可四处移动,但是可关于在接合传动机构时建立的位置而测量。在一些实施例中,可在传动机构脱离接合并且和再次接合时建立新的坐标参考框架。因此,在接合传动机构的瞬时并且对于前臂建立每个手臂的左和右方向。此外,每个手臂的方向可独立于另一手臂的方向。
图16示出根据一些实施例的两个独立坐标框架。如图16中所示,可看见操作员以及两个坐标参考系1200和1300。操作员可在这两个平面中移动不接地UID。在一些实施例中,这两个平面的角度可独立于彼此设定。举例来说,角度可在传动机构接合时设定或其可在其它时间设定。
参考平面1200,在一些实施例中,沿箭头1210移动不接地UID可平移到在经由相机观看时机器人工具的向右和向左运动。类似地,沿箭头1230移动不接地UID可平移到同样在经由相机观看时机器人工具的向上和向下运动。最后,在一些实施例中,如关于图12E所描述,虚线1240可描绘用于手从脸部上的位置如口移开的自然方式。此方向可映射到工具沿相机轴的运动中。因此,挑选身体的自然运动以映射到工具(或工具沿相机轴的移动)的进和出运动以及平面中可增加机器人系统的易用性,所述平面可垂直于向左和向右运动以及向上和向下运动定义在其内的自然运动。类似于平面1200,平面1300示出相同但关于左手臂的运动(例如,向上、向下、向左、向右、进和出)。
在一些实施例中,如果用户沿平面1200中的箭头1210移动不接地UID,那么如由相机看到的机器人工具可向左和向右移动。与这种运动无关,如果用户沿平面1300中的箭头1310移动不接地UID,那么也如由相机看到的机器人工具还可向左和向右移动。不论平面1200及1300的角度如何,由每只手发起的向左和向右运动均应用于工具。在一些实施例中,当操作员在房间中四处移动或改变取向时或当他或她的前臂位置变化时,坐标框架1200和1300可变化。在一些实施例中,对于坐标框架1200和1300的更新可连续地发生(例如,在接合传动机构时)。可立刻或在延迟之后发生所述更新。在一些实施例中,对于坐标框架1200和1300的更新可离散地发生(例如,在传动机构的每次接合或脱离接合时),或仅在由操作员输入或选择后(例如,操作员选择何时重新定义UID工作区)。因此,如果操作员移动,那么这些平面还可随着操作员移动。这在一些实施例中可有利的,从而允许操作员以方便且舒适的方式操纵机器人。
利用硬件使耦合运动解耦
描述了以上方法的实施例用以解耦操作员的手的耦合运动。在一些实施例中,可通过使用附加追踪装置实现解耦。举例来说,图17示出根据一些实施例的超灵巧型外科手术系统,其具有解耦操作员的手的耦合运动的多个传感器。
如图17中所示,看到操作员20利用不接地UID 50操作系统10。还可见操作员耦合到装置1400'和1400"。在一些实施例中,这些装置位于操作员的手背上。在其它实施例中,这些装置可位于沿操作员手臂的某一其它位置处。在一些实施例中,装置1400'和1400"可包含一个或多个传感器(例如,用于磁追踪的传感器、用于惯性感测的传感器等)。在其它实施例中,如使用光学追踪的那些实施例中,装置1400'和1400"可不含有任何传感器,并且可替代地包含一个或多个灯和/或反射表面。
在图中还看到两个相机1410'和1410"。在一些实施例中,可看到相机1410'直接瞄准装置1400',并且可看到相机1410"直接瞄准装置1400"。装置1400'和装置1400"可具有与相机1400'和1410"一起形成光学追系统的反射表面、灯、插销或滚珠。因此,相机1410'和装置1400'可追踪操作员20的左手位置,而相机1410"和装置1400"可追踪操作员的右手位置。虽然装置1400'和1400"示出在操作员的手的背面处,但是可选择其它位置(例如,在不接地UID50上,或在操作员的身体的其它位置上)。在一些实施例中,可颠倒装置1400'和1400"位置以及相机1410'和1410"的位置(例如,相机位于操作员的手的背面,而装置被安装成直接瞄准相机)。在一些实施例中,可利用其它类型的传感器如磁追踪系统或可见追踪系统,其被配置成识别操作员的手而非附连于操作员的手或身体的具体装置或器械的形状。此外,可使用惯性感测(如加速计),其将不需要外部追踪装置如1410'和1410"的存在。
借助此实施例,在UID的运动被施加到末端执行器的运动时,可解耦并且减少或消除在操作员用他或她的手指滚动UID时不接地UID可进行的耦合平移运动。为了进一步解释这种情况,如果操作员滚动不接地UID 50(在一些实施例中,是否使用一只或两只手是不重要的)例如以便将缝合线施加到组织,从以上讨论可知,预期某一平移运动可耦合到不接地UID中。然而使用上述的辅助追踪系统或其它追踪系统,可测量平移运动。假设追踪系统测量不接地UID经历的相同平移运动,那么可从施加到末端执行器的运动中去除或消除耦合的平移运动。在数学方面,如果任一个UID的运动由描绘,那么如果UID经历滚动和平移运动,在一些实施例中其可写为:
在通过操作员使用他或她的手指而使不接地UID经受滚动运动时(尽管其可经历相同的平移运动),装置1400'和1400"可不经历任何滚动运动。不接地UID还可通过由人手的运动学特性确定的函数而经历在数学上与不接地UID的平移运动有关的运动。因此,假设不接地UID的平移运动与传感器在手背上的平移运动相同,以下等式可写为:
其中表示不接地UID的平移运动且表示传感器1400'或1400"的平移运动。现在,机器人工具的最终施加运动可写为以下两个参数的某一通用函数UID的运动(其具有耦合的运动)和传感器在手背中的运动。因此,
如在等式33中所指定,不接地UID的平移运动与装置在手背上的平移运动相同。在计算等式34中的最终输出时,可消除此分量。因此,具有仅经历平移运动的独立装置允许从不接地UID运动中解耦此运动。
在一些实施例中,虽然两个相机1410'和1410"示出在图17中,但可仅需要一个相机。其它实施例可包括使用在本质上非光学的传感器。因此,传感器1400'和1400"可为各种类型,包括但不限于电磁传感器。此外,虽然不接地UID在图中的图形展示看起来像长管结构,但应理解在其它实施例中,其它形状是可能的。
因此,可看出,借助以上概念,可提供一种用于取向的方法。此外,提供了一种将操作员的自然运动映射到机器人工具的特定运动的方法。这些方法的实施例可有利地改进系统10的易用性。
实施机制
根据实施例,本文所述的超灵巧型系统用户界面和其它方法及技术可由一个或多个专用计算装置实施。所述专用计算装置可为执行技术的硬连线,或可包括经持续地编程以执行技术的数字电子装置如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA),或可包括经编程以依照固件、存储器、其它存储装置或组合中的程序指令执行技术的一个或多个通用的硬件处理器。这类专用计算装置还可将定制硬连线的逻辑、ASIC或FPGA与定制编程组合以实现所述技术。专用计算装置可为台式型计算机系统、服务器计算机系统、便携式计算机系统、手持型装置、联网装置或任何其它装置或结合硬连线和/或程序逻辑以实施技术的装置的组合。
一个或多个计算装置通常由操作系统软件,如iOS、Android、Chrome OS、WindowsXP、Windows Vista、Windows 7、Windows 8、Windows Server、Windows CE、UNix、Linux、SunOS、Solaris、iOS、Blackberry OS、VxWorks或其它可兼容操作系统,控制和协调。在其它实施例中,计算装置可由专属操作系统控制。其中,常规操作系统控制并调度用于执行的计算机过程,执行存储器管理,提供文件系统、联网I/O服务,及提供用户界面功能,如图形用户界面(“GUI”)。
举例来说,图18为示出计算机系统1800的实施例的框图,可根据所述计算机系统1800实施本文讨论的各种系统和方法。举例来说,与如上所述的系统10关联的计算机系统可被实施为如图18中所示的一个或多个计算机系统1800或服务器1830。
计算机系统1800包括用于进行信息通信的总线1802或其它通信结构,和与用于处理信息的总线1802耦合的硬件处理器或多个处理器1804。一个或多个硬件处理器1804可为例如一个或多个通用的微处理器。
计算机系统1800还包括主存储器1806,如随机存取存储器(RAM)、高速缓冲存储器和/或耦合到总线1802用于存储信息和由处理器1804执行的指令的其它动态存储装置。主存储器1806也可用于在执行待由处理器1804执行的指令期间存储暂时变量或其它中间信息。在存储于可访问处理器1804的存储媒体中时,这类指令使得计算机系统1800成为经定制用于执行指令中指定的操作的专用机器。
计算系统1800还包括只读存储器(ROM)1808或与总线1802耦合用于存储处理器1804的静态信息和指令的其它静态存储装置。提供了存储装置1810如磁盘、光盘或USB拇指驱动器(闪存驱动器)和/或任何其它合适的数据存储并且将其耦合到总线1802用于存储信息和指令如传感器数据、机器人工具控制指令等。
计算机系统1800可经由总线1802耦合到显示器1812如阴极射线管(CRT)、LCD显示器或触摸屏显示器以用于向用户显示信息和/或从用户接收输入。举例来说,如图1中所示的监视器85可实施为显示器1812。可包括字母数字键和其它键的输入装置1814可耦合到总线1802以用于将信息和命令选择通信到处理器1804。另一类型的用户输入装置是用于将方向信息和命令选择通信到处理器1804并且用于控制显示器1812上的光标移动的光标控制器1816,如鼠标、轨迹球或光标方向键。此输入装置在两个轴(第一轴(例如,x)和第二轴(例如,y))上通常具有至少两个自由度,这允许装置指定平面中的位置在一些实施例中,可经由在触摸屏幕上接收触摸而非光标来实施相同的方向信息和命令选择如光标控制。在一些实施例中,如图1中所示的UID 50可实施为输入装置1812和/或光标控制器1816。
计算系统1800可包括用户界面模块和/或各种其它类型的模块以实施如上所述的数据分析系统的一个或多个图形用户界面。模块可作为由一个或多个计算装置执行的可执行软件编码存储于大容量存储装置中。这种和其它模块可包括(举例来说)各种组件(如软件组件、面向对象的软件组件、类组件和任务组件)、进程、函数、属性、步骤、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表格、阵列以及变量。
一般来说,如本文所使用的词语“模块”是指软件指令的集合,所述软件指令可能具有登录和退出点、以编程语言例如Java、Lua、C或C++编写。软件模块可汇编并链接到安装在动态链接库中的可执行程序中,或可以解译编程语言例如BASIC、Perl或Python语言编写。应了解软件模块可以从其它模块或本身调用,和/或可响应于检测事件或中断而被调用。被配置成用于在计算装置上执行的软件模块可提供在计算机可读媒体(如压缩光盘、数字视频光盘、闪存驱动器、磁盘或任何其它有形媒体)上,或呈现数字下载的形式(并且可最初以在执行之前需要安装、解压或解密的压缩或可安装格式存储)。这类软件代码可部分或完全存储在执行计算装置的存储装置上,以便由计算装置执行。软件指令可内嵌于固件中,例如EPROM。还应进一步理解,硬件装置(如处理器和CPU)可包含连接逻辑单元如门和触发器,并且/或者可包含可编程单元,如可编程门阵列或处理器。一般来说,本文所述的模块是指逻辑模块,不管逻辑模块的物理组织或存储如何,所述逻辑模块均可与其它模块结合或划分成子模块。在各种实施例中,本文所述的方法和系统的方面可由例如作为逻辑电路的一个或多个硬件装置实施。在各种实施例中,本文所述的方法和系统的一些方面可实施为软件指令,而其方面可以任何组合在硬件实施中实施。
如所提到,计算机系统1800可使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑实施本文所述的技术,以上装置与计算机系统结合使得计算机系统1800成为或将计算机系统1800编程为专用机器。根据一个实施例,响应于执行一个或多个模块的一个或多个序列和/或包含于中主存储器1806中的指令的一个或多个处理器1804,由计算机系统1800来执行本文中的技术。这类指令可被读入到来自另一存储媒体如存储装置1810的主存储器1806中。执行包含于主存储器1806中的指令序列致使一个或多个处理器1804执行本文中所描述的过程步骤。在替代实施例中,硬连线电路可用于代替软件指令或与软件指令组合。
如本文所使用的术语“非暂时性媒体”以及类似术语是指存储使得机器以特定方式操作的数据和/或指令的任何媒体。这类非暂时性媒体可包含非易失性媒体和/或易失性媒体。非易失性媒体包括例如光盘或磁盘,如存储装置1810。易失性媒体包括动态存储器,如主存储器1806。非暂时性媒体的常见形式包括例如软盘、软磁盘、硬盘、固态硬盘、磁带,或任何其它磁性数据存储媒体、CD-ROM、任何其它光学数据存储媒体、具有孔洞图案的任何其它物理媒体、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒带及其连网的版本。
非暂时性媒体与传输媒体不同但可以用于与传输媒体结合。传输媒体参与传递非暂时性媒体之间的信息。举例来说,传输媒体包括同轴电缆、铜线和光纤,包括包含总线1802的电线。传输媒体还可以采用声波或光波的形式,如在无线电波和红外线数据通信期间产生的声波或光波。
各种媒体形式可涉及将一或多个指令的一个或多个序列载送到处理器1804用于执行。举例来说,指令可初始地承载在远程计算机的磁盘或固态硬盘上。远程计算机可将指令和/或模块加载到其动态存储器中且使用调制解调器经由电话线发送指令。计算系统1800的本地调制解调器可接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可接收在红外信号中承载的数据并且合适的电路可将数据置于总线1802上。总线1802将数据载送到主存储器1806,从所述主存储器1806中处理器1804检索并执行指令。由主存储器1806接收的指令可任选地在通过处理器1804执行之前或之后存储在存储装置1810上。
在一些实施例中,计算机系统1800还可包括耦合到总线1802的通信接口1818。通信接口1818提供耦合到网路链路1820的双向数据通信,所述网路链路1820连接到本地网1822。举例来说,通信接口1818可为综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或为对应类型的电话线提供数据通信连接的调制解调器。作为另一实例,通信接口1818可为向兼容LAN(或与WAN通信的WAN组件)提供数据通信连接的局域网(LAN)卡。还可实施无线链路。在任何这类实施中,通信接口1818发送并接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网路链路1820通常通过一个或多个网路向其它数据装置提供数据通信。举例来说,网路链路1820可通过本地网1822向主计算机1824或由互联网服务提供方(InternetService Provider)(ISP)1826操作的数据装备提供连接。ISP 1826转而通过全球分组数据通信网络(现在通常被称为“互联网”)1828提供数据通信服务。本地网1822和互联网1828两者均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网路的信号以及在网路链路1820上和通过通信接口1818的信号(这些信号载送数字数据到计算机系统1800和从计算机系统1800载送数字数据)为传输媒体的实例形式。
计算机系统1800可通过一种或多种网路、网路链路1820和通信接口1818发送消息和接收数据(包括程序代码)。在互联网实例中,服务器1830可以通过互联网1828、ISP1826、本地网1822和通信接口1818传输用于应用程序的请求编码。举例来说,在实施例中,数据分析系统的各个方面可在服务器1830中的一个或多个上实施并且可被传输到计算机系统1800并从计算机系统1800传输。举例来说,数据可在计算机系统1800与一个或多个服务器1830之间传输。在实例中,传感器数据可被传输到一个或多个服务器1830,并且分析数据如机器人工具控制指令接着可从服务器1830传输回来。
附加实施例
除非另外特别陈述,或另外在如所使用的上下文内进行理解,否则条件性语言(例如,“可(can、could、might或may)”连同其它者)一般旨在传达某些实施例包括而其它实施例并不包括某些特征、要素和/或步骤。因此,这类条件性语言一般不旨在暗示特征、要素和/或步骤无论如何都是一个或多个实施例所需要的,或者一个或多个实施例无论有或没有用户输入或提示都必然包括用于决定任何特定实施例中是否包括或将执行这些特征、要素和/或步骤的逻辑。
应将本文中所描述和/或在附图中所描绘的流程图中的任何过程描述、元素或块理解为可能代表模块、分段或代码的包括一个或多个用于实施所述过程中的特定逻辑功能或步骤的可执行指令的部分。如所属领域的技术人员将理解,替代实施方案包括在本文所述的实施例的范围内,其中要素或功能可被删除、按照与所显示或所论述的次序不同的次序执行,包括基本上同时或以相反地次序执行,这取决于所涉及的功能。
本文所述的方法和任务可通过计算机系统执行并且全自动化。在一些情况下,计算机系统可包括通过网路以电子方式通信并且交互操作以执行所述功能的多个不同的计算机或计算装置(例如,物理服务器、工作站、存储阵列等)。每个这类计算装置通常包括处理器(或多个处理器),所述处理器执行存储于存储器或其它计算机可读存储媒体中的程序指令或模块。在系统包括多个计算装置的情况下,这些装置可但不必位于同一处。所公开的方法和任务的结果可通过转换物理存储装置如固态存储器芯片和/或磁盘而持续地存储到不同状态中。
上述方法和过程可在由一个或多个通用计算机执行的软件代码模块中实行,并且经由所述软件代码模块完全自动化。代码模块可存储于任何类型的计算机可读媒体或其它计算机存储装置中。可替代性地在专用计算机硬件中实现一些方法或全部方法。所公开的方法的结果可存储于使用磁盘存储器和/或固态RAM的任何类型的计算机数据存储库中,如关系数据库和平面文件系统。
可对上述实施例作出许多变型和修改,其中要素应理解为在其它可接受实例之中。所有此类修改和变化旨在于本文中包括在本发明的范围内。前述描述详述了本发明的某些实施例。然而,应了解不管前述内容在文字上如何详细,本发明也可以多种方式实践。还如上文所述,在描述本发明的特某些特征或方面时使用特定术语不应被理解为暗示所述术语在本文中被重新定义为受限于包括所述术语与其关联的本发明的特征或方面的任何特定特性。

Claims (23)

1.一种系统,包含:
第一机器人工具;
第一不接地用户界面装置(UID),用于供被配置成使用第一参考框架控制所述第一机器人工具的操作员使用,所述控制包含:
识别所述第一UID的第一UID运动;以及
至少部分地基于所述第一UID的所述识别的第一UID运动执行所述第一机器人工具的第一机器人工具移动。
2.根据权利要求1所述的系统,进一步包含第二机器人工具和第二不接地用户界面装置(UID),所述第二不接地用户界面装置(UID)用于供被配置成使用独立于所述第一参考框架的第二参考框架控制所述第二机器人工具的所述操作员使用,所述控制包含:
识别所述第二UID的第二UID运动;以及
至少部分地基于所述第二UID的所述识别的第二UID运动执行所述第二机器人工具的第二机器人工具移动。
3.根据权利要求1所述的系统,其中所述第一机器人工具包含抓钳、外科手术工具或相机中的至少一个。
4.根据权利要求2所述的系统,其中所述第一UID进一步被配置成由所述操作员的第一只手控制,并且所述第二UID进一步被配置成由所述操作员的第二只手控制。
5.根据权利要求3所述的系统,其中控制所述第一工具进一步包含:
确定已经接合传动机构;以及
响应于确定已经接合所述传动机构,在与所述第一只手关联的所述操作员的第一前臂上建立位置,其中测量所述第一UID关于在所述第一前臂上的所述位置的UID运动。
6.根据权利要求1所述的系统,其中控制所述第一机器人工具进一步包含:
比较所述第一UID对于第一坐标框架的取向与所述第一机器人工具对于第二坐标框架的取向,
其中如果所述第一UID对于所述第一坐标框架的所述取向在相对于所述第一机器人工具对于所述第二坐标框架的某一区域内,那么所述第一UID控制所述第一机器人工具。
7.根据权利要求5所述的系统,其中所述第一坐标框架对应于与所述操作员关联的自然坐标框架,并且所述第二坐标框架对应于与所述第一机器人工具关联的相机框架。
8.根据权利要求5所述的系统,其中所述区域包含在所述第一机器人工具周围的锥形,所述锥形包含与所述第一机器人工具的一端对应的顶点。
9.根据权利要求5所述的系统,其中至少部分地基于所述第一UID相对于所述第一机器人工具的所述取向之间的所计算差值,调节所述第一机器人工具的所述第一机器人工具移动的速度。
10.根据权利要求5所述的系统,其中所述第一机器人工具与关联于多种不同区域的多种控制方案关联,并且其中由所述第一UID使用以控制所述第一机器人工具的多个控制方案中的一个至少部分地基于所述第一UID对于所述第一坐标框架的所述取向相对于所述第一机器人工具对于所述第二坐标框架的所述取向。
11.一种系统,包含:
第一机器人工具;以及
第一不接地用户界面装置(UID),其被配置成使用第一参考框架控制所述第一机器人工具,所述控制包含:
识别所述第一UID的第一UID运动;
将所述第一UID运动解耦成包含第一分量和第二分量的两个或更多个分量;
对所述两个或更多个分量执行第一转换,其中所述第一分量和所述第二分量进行不同转换;以及
至少部分地基于所述第一转换,执行所述机器人工具的第一机器人工具移动。
12.根据权利要求1011所述的系统,其中所述两个或更多个分量包含至少滚动分量,俯仰分量和横摆分量,并且所述第一转换包含响应于确定所述识别的第一UID运动满足建立的准则而转换所述滚动分量,而不是所述俯仰分量或所述横摆分量,以执行所述第一机器人工具的第一机器人工具移动。
13.根据权利要求10所述的系统,其中所述两个或更多个分量包含至少滚动分量、俯仰分量和横摆分量,并且所述第一转换包含:
对所述横摆分量和所述俯仰分量执行中间转换,其中所述中间转换生成经修改的横摆分量、经修改的俯仰分量和中间滚动分量;以及
确定经修改的滚动分量,所述经修改的滚动分量至少部分地基于所述滚动分量和从所述中间转换获得的所述中间滚动分量的总和,
其中所述第一机器人工具的所述第一机器人工具移动至少部分地基于所述经修改的滚动分量、所述经修改的横摆分量或所述经修改的俯仰分量中的一个。
14.根据权利要求10所述的系统,其中所述两个或更多个分量包含至少转动分量和平移分量,并且其中所述第一转换包含:
自动地确定所述平移分量是否满足阈值,并且如果所述平移分量不满足所述阈值,那么将所述第一机器人工具的所述第一机器人工具移动的平移分量设定为0;以及
自动地确定所述转动分量是否满足阈值,并且如果所述转动分量不满足所述阈值,那么将所述第一机器人工具的所述第一机器人工具移动的转动分量设定为0。
15.根据权利要求10所述的系统,其中所述第一转换包含按比例缩放所述两个或更多个分量的至少一个分量,并且其中按比例缩放的量至少部分地基于所述第一UID的位置。
16.根据权利要求14所述的系统,其中所述第一UID包含UID,所述UID被配置成由操作员持握,使得所述UID的位置至少部分地基于所述操作员的腕部位置,所述操作员的所述腕部的运动范围被分割成至少舒适区域和不舒适区域,并且其中按比例缩放的量至少部分地基于所述腕部处于哪个区域。
17.根据权利要求10所述的系统,其中仅在所述第一UID位于自然工作区域内情况下所述第一UID才控制所述第一机器人工具。
18.根据权利要求16所述的系统,其中控制所述第一机器人工具进一步包含:
确定已经接合传动机构;
确定所述第一UID在所述自然工作区域内;以及
响应于确定已经接合所述传动机构和所述第一UID在所述自然工作区内,建立与所述第一机器人工具的位置对应的所述第一UID的零位置。
19.一种计算机实施的方法,包含:
如通过被配置有特定计算机可执行指令的一个或多个计算装置实施,
识别至少一个不接地用户界面(UID)的运动;
将所述识别的运动解耦成包含至少第一分量和第二分量的两个或更多个分量;
对所述两个或更多个分量执行至少一个转换,其中所述第一分量和所述第二分量进行不同转换;以及
执行至少一个机器人工具的移动,其中所述移动至少部分地基于对所述第一分量和所述第二分量执行的所述至少一个转换。
20.根据权利要求18所述的计算机实施的方法,其中所述至少一个机器人工具包含抓钳、外科手术工具或相机中的至少一个。
21.根据权利要求18所述的计算机实施的方法,其中所述至少一个UID包含第一UID和第二UID,所述第一UID和所述第二UID被配置成由操作员的第一只手和第二只手控制,并且其中所述第一UID和所述第二UID能够通过所述第一只手和所述第二只手在独立坐标框架中移动。
22.根据权利要求18所述的计算机实施的方法,进一步包含:
在具体坐标框架中将所述至少一个UID的取向与所述至少一个机器人工具的取向相比较,
其中如果在所述坐标框架中所述至少一个UID的所述取向在相对于所述至少一个机器人工具的某一区域内,那么所述至少一个UID控制所述至少一个机器人技术工具。
23.根据权利要求21所述的计算机实施的方法,其中至少部分地基于所述至少一个UID相对于所述至少一个机器人工具的所述取向之间的所计算差值,调节所述至少一个机器人工具的所述移动的速度。
CN201580078264.1A 2015-02-24 2015-07-30 超灵巧型系统用户界面 Expired - Fee Related CN107430389B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120128P 2015-02-24 2015-02-24
US62/120,128 2015-02-24
PCT/US2015/042991 WO2016137527A1 (en) 2015-02-24 2015-07-30 Hyperdexterous system user interface

Publications (2)

Publication Number Publication Date
CN107430389A true CN107430389A (zh) 2017-12-01
CN107430389B CN107430389B (zh) 2020-11-06

Family

ID=56789663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078264.1A Expired - Fee Related CN107430389B (zh) 2015-02-24 2015-07-30 超灵巧型系统用户界面

Country Status (6)

Country Link
US (1) US10842577B2 (zh)
EP (1) EP3262469B1 (zh)
JP (1) JP6787623B2 (zh)
KR (1) KR20170140179A (zh)
CN (1) CN107430389B (zh)
WO (1) WO2016137527A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111956333A (zh) * 2019-09-10 2020-11-20 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6787623B2 (ja) 2015-02-24 2020-11-18 エスアールアイ インターナショナルSRI International 非常に器用なシステムのユーザインタフェース
EP3307198B1 (en) * 2015-06-10 2022-11-16 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned
JP6673684B2 (ja) 2015-12-11 2020-03-25 株式会社メディカロイド 遠隔操作装置及び遠隔手術システム
WO2019050828A1 (en) * 2017-09-05 2019-03-14 Covidien Lp SURGICAL ROBOTIC SYSTEMS HAVING REALIGNMENT OF ROLL, BLEND, AND LACET COMPRISING TRAPPING AND TURNING ALGORITHMS
US11534252B2 (en) 2017-11-16 2022-12-27 Intuitive Surgical Operations, Inc. Master/slave registration and control for teleoperation
EP3787852B1 (en) * 2018-06-15 2023-10-25 Verb Surgical Inc. User interface device having grip linkages
US11135031B2 (en) 2018-06-15 2021-10-05 Verb Surgical Inc. User interface device having grip linkages
US11534246B2 (en) 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11337767B2 (en) 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
US11571269B2 (en) 2020-03-11 2023-02-07 Verb Surgical Inc. Surgeon disengagement detection during termination of teleoperation
US11911120B2 (en) 2020-03-27 2024-02-27 Verb Surgical Inc. Training and feedback for a controller workspace boundary
CN116056843A (zh) * 2020-08-03 2023-05-02 三菱电机株式会社 远程操作装置
US20220061936A1 (en) * 2020-08-27 2022-03-03 Verb Surgical Inc. Control of an endoscope by a surgical robot
US20220061938A1 (en) * 2020-08-31 2022-03-03 Livsmed Inc. Methods for laparoscopic surgery with assist robot and controlling methods for laparoscopic surgery system with assist robot
IT202100003431A1 (it) * 2021-02-16 2022-08-16 Medical Microinstruments Inc Metodo per controllare una teleoperazione limitata, su un sottoinsieme di gradi libertà, di un sistema robotico di tipo master-slave per teleoperazione medica o chirurgica
CN113842209B (zh) * 2021-08-24 2024-02-09 深圳市德力凯医疗设备股份有限公司 超声设备控制方法、超声设备及计算机可读存储介质
IT202200011789A1 (it) 2022-06-03 2023-12-03 Medical Microinstruments Inc Metodo di controllo di un sistema robotico per teleoperazione medica o chirurgica e relativo sistema robotico
GB2625105A (en) * 2022-12-06 2024-06-12 Cmr Surgical Ltd Control system for a surgical robotic system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1155833A (zh) * 1995-06-20 1997-07-30 伍云升 用于医疗处理的活节机械手
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
CN1457747A (zh) * 2003-05-28 2003-11-26 天津大学 用于显微外科手术机器人中的机械臂
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
JP2006302019A (ja) * 2005-04-21 2006-11-02 Toyota Motor Corp ロボット制御装置
US20150038982A1 (en) * 2013-03-15 2015-02-05 Sri International Hyperdexterous surgical system
CN105551033A (zh) * 2015-12-09 2016-05-04 广州视源电子科技股份有限公司 元件标记方法、系统和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US636488A (en) * 1899-07-14 1899-11-07 Giacomo Catanzano Propeller.
JPH0871072A (ja) * 1994-09-01 1996-03-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
DE102006010469A1 (de) * 2006-03-07 2007-09-13 GM Global Technology Operations, Inc., Detroit Bördeleinrichtung sowie Verfahren zum Rollbördeln von Werkstücken
US20080248871A1 (en) * 2007-03-15 2008-10-09 Szturm Anthony Interface device
US8282653B2 (en) * 2008-03-24 2012-10-09 Board Of Regents Of The University Of Nebraska System and methods for controlling surgical tool elements
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
CN102646275B (zh) 2012-02-22 2016-01-20 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
US9733727B2 (en) 2012-12-07 2017-08-15 Wen-Chieh Geoffrey Lee Optical mouse with cursor rotating ability
KR102188100B1 (ko) * 2013-03-15 2020-12-07 삼성전자주식회사 로봇 및 그 제어방법
CN104252225A (zh) 2013-06-27 2014-12-31 南京迈瑞生物医疗电子有限公司 体感控制医疗设备及医疗设备体感控制方法
KR102206198B1 (ko) * 2013-07-10 2021-01-22 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
DE102013110847B3 (de) 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
EP3136973B1 (en) * 2014-04-28 2019-08-14 Mazor Robotics Ltd. Ultrasound guided hand held robot
CN103995592A (zh) 2014-05-21 2014-08-20 上海华勤通讯技术有限公司 穿戴式设备与终端进行信息交互的方法及终端
JP6787623B2 (ja) 2015-02-24 2020-11-18 エスアールアイ インターナショナルSRI International 非常に器用なシステムのユーザインタフェース

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1155833A (zh) * 1995-06-20 1997-07-30 伍云升 用于医疗处理的活节机械手
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
CN1457747A (zh) * 2003-05-28 2003-11-26 天津大学 用于显微外科手术机器人中的机械臂
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
JP2006302019A (ja) * 2005-04-21 2006-11-02 Toyota Motor Corp ロボット制御装置
US20150038982A1 (en) * 2013-03-15 2015-02-05 Sri International Hyperdexterous surgical system
CN105551033A (zh) * 2015-12-09 2016-05-04 广州视源电子科技股份有限公司 元件标记方法、系统和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111956333A (zh) * 2019-09-10 2020-11-20 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN111956333B (zh) * 2019-09-10 2021-09-24 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法
CN117140539B (zh) * 2023-11-01 2024-01-23 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Also Published As

Publication number Publication date
EP3262469B1 (en) 2023-11-22
JP6787623B2 (ja) 2020-11-18
EP3262469A4 (en) 2018-08-22
US10842577B2 (en) 2020-11-24
EP3262469A1 (en) 2018-01-03
KR20170140179A (ko) 2017-12-20
WO2016137527A1 (en) 2016-09-01
JP2018513711A (ja) 2018-05-31
US20180036088A1 (en) 2018-02-08
CN107430389B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN107430389A (zh) 超灵巧型系统用户界面
CN109791801B (zh) 机器人外科手术系统中的虚拟现实训练、模拟和协作
CN110800033B (zh) 虚拟现实腹腔镜式工具
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
JP7213899B2 (ja) 視線に基づく拡張現実環境のためのインターフェース
US20220147150A1 (en) Method and system for interacting with medical information
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
CA2684475C (en) Frame mapping and force feedback methods, devices and systems
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
Frank et al. Mobile mixed-reality interfaces that enhance human–robot interaction in shared spaces
US20110169832A1 (en) 3D Motion Interface Systems and Methods
NO339941B1 (no) System og fremgangsmåte for et gestbasert styringssystem
KR20130108643A (ko) 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들
JP2005046931A (ja) ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
TW201619754A (zh) 醫用影像物件化介面輔助解說控制系統及其方法
US20190163287A1 (en) Method for the interaction of an operator with a model of a technical system
US20240335245A1 (en) Techniques for adjusting a field of view of an imaging device based on head motion of an operator
Twardon et al. Exploiting eye-hand coordination: A novel approach to remote manipulation
CN115645054A (zh) 一种医生端手术控制设备、控制方法及存储介质
JP2023017440A (ja) 画像処理装置
JP2024114228A (ja) 情報処理装置、情報処理方法およびプログラム
KR20240011560A (ko) 의료 단면 이미지의 제공 방법 및 장치
US20160004318A1 (en) System and method of touch-free operation of a picture archiving and communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201106

Termination date: 20210730