CN118438439A - 用于主机/工具配准和控制以进行直观运动的系统和方法 - Google Patents

用于主机/工具配准和控制以进行直观运动的系统和方法 Download PDF

Info

Publication number
CN118438439A
CN118438439A CN202410526010.2A CN202410526010A CN118438439A CN 118438439 A CN118438439 A CN 118438439A CN 202410526010 A CN202410526010 A CN 202410526010A CN 118438439 A CN118438439 A CN 118438439A
Authority
CN
China
Prior art keywords
tool
disambiguation
manipulator
motion
image space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410526010.2A
Other languages
English (en)
Inventor
S·P·迪马奥
A·G·格斯瓦米
D·拉宾德兰
C·史恩
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN118438439A publication Critical patent/CN118438439A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0071—Gripping heads and other end effectors with needles engaging into objects to be gripped
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40158—Correlate actual image at angle with image presented to operator without angle
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及用于主机/工具配准和控制以进行直观运动的系统和方法，并提供了一种由计算系统执行的方法。该方法包括从成像设备接收图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联，每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。

Description

用于主机/工具配准和控制以进行直观运动的系统和方法
本申请是申请日为2019年10月16日的名称为“用于主机/工具配准和控制以进行直观运动的系统和方法”的中国专利申请201980045463.0的分案申请。
相关申请的交叉引用
本申请要求2018年10月22日提交的美国临时申请62/748,698的权益，该专利申请的全部内容以引用方式并入本文。
技术领域
本公开涉及用于执行机器人规程的系统和方法，并且更具体地涉及用于确定在控制工具的移动中使用的主机与工具对准的系统和方法。
背景技术
机器人设备的系统可以用于在工作现场执行任务。例如，机器人系统可以包括机器人操纵器以操纵用于执行任务的器械。机器人操纵器可以包括通过一个或多个关节联接在一起的两个或更多个连杆。关节可以是被主动控制的主动关节。关节也可以是在主动关节被主动控制时符合主动关节的移动的被动关节。此类主动关节和被动关节可以是旋转关节或棱柱关节。然后，可通过关节的位置和取向、机器人操纵器的结构以及连杆的联接来确定机器人操纵器的配置。
机器人系统包括工业和娱乐机器人系统。机器人系统还包括用于诊断、非外科手术治疗、外科手术治疗等的规程中使用的医疗机器人系统。作为具体示例，机器人系统包括微创机器人远程外科手术系统，其中外科医生可以从床边或远程位置对患者进行操作。远程外科手术通常是指使用外科手术系统来执行的外科手术，其中外科医生使用某种形式的远程控制(例如，伺服机构)来操纵外科手术器械移动而不是用手直接保持和移动器械。可用于远程外科手术或其他远程医疗规程的机器人医疗系统可以包括可远程控制的机器人操纵器。操作者可以远程控制可远程控制的机器人操纵器的运动。操作者还可以手动将机器人医疗系统的各个部分移动到其环境中的位置或取向。
在机器人系统中，各种应用可以依赖于工具和工作部位图像(例如，由受机器人操纵器或人类操纵者控制的成像设备提供)中的图像空间工具之间的准确对应关系。例如，此类应用可以包括：图形信息显示系统，其将操纵器及其工具的图形信息叠加到显示器中对应的图像空间工具；自主任务执行系统，其主要由工作部位的机器视觉引导。对于进一步的示例，对于在外科手术环境中使用的机器人远程外科手术系统，可以将多个图像引导工具插入患者解剖结构中，并且包括多个图像空间工具的患者解剖结构的图像可以用于引导医疗操作。然而，在机器人系统包括多个工具的实施例中，在建立多个工具与图像中的多个图像空间工具的对应关系时可能出现歧义，这可能影响依赖于可出现的器械的多个工具与多个图像空间工具的对应关系的那些应用的性能(例如，图形信息显示系统的内容准确性、机器人远程外科手术系统的直观性)，这可以影响远程操作系统的直观性。
因此，提供用于建立器械与图像的对应关系的改善消歧过程将是有利的。
发明内容
本发明的实施例由下面随附的权利要求概括。
在一些实施例中，一种机器人系统包括：多个操纵器，其被配置为物理地联接到多个工具；以及控制系统，其可通信地联接到多个操纵器。控制系统被配置为接收由成像设备提供的图像数据，并且基于图像数据来确定多个图像空间工具。每个图像空间工具与多个工具中的工具相关联。控制系统被进一步配置为基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
在一些实施例中，一种方法由计算系统执行。该方法包括接收由成像设备提供的图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联。每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
在一些实施例中，一种非暂时性机器可读介质包括多个机器可读指令，多个机器可读指令在由一个或多个处理器执行时，适于致使一个或多个处理器执行一种方法。该方法包括从成像设备接收图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联，每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
应当理解，前面的一般描述和下面的详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
当与附图一起阅读时，根据以下详细描述最好地理解本公开的各方面。需要强调的是，根据标准惯例，各种特征并未按比例绘制。实际上，为了讨论的清楚，各种特征的尺寸可以任意增加或减小。此外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据本公开的实施例的机器人医疗系统的示意图。
图1B是根据本公开的实施例的操纵器组件的透视图。
图1C是根据本公开的实施例的用于机器人医疗系统的操作者的控制台的透视图。
图2是根据本公开的实施例的操作者的输入控制器的透视图。
图3A是根据本公开的实施例的机器人医疗系统的三个操纵器组件的透视图；图3B是根据本公开的实施例的机器人医疗系统的工具的透视图。
图4A是根据本公开的实施例的通过操作者的控制台的显示器的成像图；图4B是根据本公开的实施例的通过操作者的控制台的显示器的另一个成像图。
图5示出了提供根据本公开的实施例的用于执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图6示出了提供根据本公开的实施例的用于使用控制系统命令运动来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图7示出了提供根据本公开的实施例的用于使用运动估计来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图8示出了提供根据本公开的实施例的用于使用操作者命令运动的变换来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图9示出了提供根据本公开的实施例的用于使用姿势估计来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图10示出了提供根据本公开的实施例的用于使用基于外观的消歧设置来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图11示出了提供根据本公开的实施例的用于使用操作者指定的消歧设置来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
图12示出了根据本公开的实施例的工具的示例外观和姿势估计。
具体实施方式
为了促进对本公开的原理的理解的目的，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，应当理解，不意图限制本公开的范围。在本发明的各方面的以下详细描述中，阐述了许多具体细节以提供对所公开实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述公知的方法、规程、部件和电路，以免不必要地使本发明的实施例的各方面模糊。
如本公开涉及的领域中的技术人员通常会想到的，完全预期了对本公开的所描述的设备、工具、方法和原理的任何进一步应用的任何改变和进一步修改。具体地，完全预期了关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于特定示例，并且预期了可以利用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以根据其他说明性实施例的适用来使用或省略。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在一些情况下，在所有附图中使用相同的附图标记来指代相同或相似的部分。
尽管本文描述的一些示例涉及外科手术规程或工具，或医疗规程和医疗工具，但所公开的技术适用于医疗和非医疗规程以及医疗和非医疗工具。例如，本文描述的工具、系统和方法可以用于非医疗目的，包括工业用途、一般的机器人用途以及感测或操纵非组织工件。其他示例应用涉及美容改善、人类或动物解剖结构的成像、从人类或动物解剖结构收集数据、建立或拆卸系统以及培训医疗人员或非医疗人员。附加的示例应用包括用于对从人类或动物解剖结构移除的组织进行的规程(不返回人类或动物解剖结构)，以及对人类或动物尸体执行规程。此外，这些技术还可以用于包括或不包括外科手术方面的医学治疗或诊断规程。
下面的实施例将根据它们在三维空间中的状态来描述各种工具和工具的部分。如本文所用，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，可以使用笛卡尔X、Y、Z坐标的变化(诸如沿笛卡尔X、Y、Z轴的变化)来描述三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度—例如，其可以使用滚转、俯仰和偏航来描述)。如本文所用，对象或对象的一部分的术语“姿势”是指对象或对象的该部分的位置和取向。姿势信息可以包括至少一个平移自由度的位置数据、至少一个旋转自由度的取向数据、或者位置和取向数据两者。例如，对于三维空间中的刚体，可以用包括六个总自由度(例如，三个平移自由度用于位置，并且三个旋转自由度用于取向)中的六个参数的姿势数据来描述完整的姿势。作为另一个示例，可以用包括少于六个参数的姿势数据来描述部分姿势，并且仅描述位置，仅描述取向，或者描述位置和取向两者但是至少于完整的姿势。
参见附图的图1A，示出了示例机器人系统。具体地，在图1A中，用附图标记10综合指示计算机辅助的机器人医疗系统，其可以远程操作并且例如可以用在包括诊断、治疗或外科手术规程的医疗规程中。如将描述的，本公开的远程操作系统在操作者的远程操作控制下。在一些实施例中，机器人系统的操纵器或其他部分可以通过与操纵器(或其他部分)本身的手动交互来直接控制。因此，本申请中使用的“远程操作操纵器”包括只能通过远程操作控制的操纵器，以及可以通过远程操作以及通过直接手动控制来控制的操纵器。此外，在一些实施例中，非远程操作或机器人医疗系统可以在被编程为执行该规程或子规程的计算机的部分控制下。在又一些其他替代实施例中，在被编程为执行规程或子规程的计算机的完全控制下的全自动化医疗系统可以用于执行规程或子规程。
如图1A所示，机器人医疗系统10通常包括安装到手术台O或其附近的操纵器组件12，患者P位于该手术台O上。本文所述的操纵器组件通常包括一个或多个机器人操纵器和安装在其上的工具，尽管术语“操纵器组件”也涵盖了其上未安装工具的操纵器。在该示例中，操纵器组件12可以被称为患者侧推车，因为其包括推车并且被设计为在患者旁边使用。医疗工具14(也称为工具14)和医疗工具15可操作地联接到操纵器组件12。在本公开内，医疗工具15包括成像设备，并且也可以被称为成像工具15。成像工具15可以包括使用光学成像技术的内窥镜成像系统，或者可以包括使用其他技术(例如，超声、荧光镜等)的其他类型的成像系统。操作者输入系统16允许诸如外科医生或其他类型的临床医生S的操作者查看或表示规程部位的图像，并控制医疗工具14和/或成像工具15的操作。
如图1A所示，在外科手术规程期间，操作者输入系统16连接到通常与手术台O位于同一房间的操作者的控制台38。然而，应当理解，操作者S可以位于与患者P不同的房间或完全不同的建筑物中。操作者输入系统16通常包括用于控制医疗工具14的一个或多个控制设备。操作者输入系统16在本文中也被称为“主机输入设备”和“输入设备”。(一个或多个)控制设备可以包括任何数量的各种输入设备中的一种或多种，诸如手柄、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手动控制器、语音识别设备、触摸屏、人体运动或存在感测器等。在一些实施例中，将为(一个或多个)控制设备提供与机器人组件的医疗工具相同的自由度以向操作者提供远程呈现；也就是说，向操作者提供(一个或多个)控制设备与工具成一体的感知，使得操作者具有直接控制工具的感觉，就像存在于规程部位一样。在其他实施例中，(一个或多个)控制设备可以具有比相关联的医疗工具更多或更少的自由度，并且仍然为操作者提供远程呈现。在一些实施例中，(一个或多个)控制设备是手动输入设备，其以六个自由度移动，并且还可以包括用于致动医疗工具(例如，用于闭合抓取钳口末端执行器，向电极施加电势，捕获图像，递送药物治疗等)的可致动手柄。
当操作者S通过操作者的控制台查看规程部位时，操纵器组件12支撑并操纵医疗工具14。可以由医疗工具15(诸如经由包括单视场或立体视场内窥镜的成像系统)来获得规程部位的图像，该成像系统可以由操纵器组件12操纵以对医疗工具15进行取向。可以使用电子手推车来处理规程部位的图像以便随后通过操作者的控制台显示给操作者S。一次使用的医疗工具14的数量通常将取决于医疗诊断或治疗(例如，外科手术)规程以及操作环境内的空间约束以及其他因素。操纵器组件12可以包括一个或多个非伺服控制的连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆)和机器人操纵器的运动学结构。操纵器组件12包括多个马达，其驱动医疗工具14上的输入。这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，该驱动系统在联接到医疗工具14时可以将医疗器械推进到自然地或手术产生的解剖学孔口中。其他机动驱动系统可以以多个自由度移动医用器械的远端，该多个自由度可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔坐标轴的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔坐标轴的旋转)。另外，马达可以用于致动工具的可关节运动(articulable)的末端执行器，以用于在活检设备等的钳口中抓取组织。医疗工具14可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、针、成像传感器、光纤、电极等。其他末端执行器可以包括多个工作构件，并且示例包括钳子、抓取器、剪刀、施夹器、吻合器、双极电灼器械等。
机器人医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22，并且通常包括多个处理器，以实现医疗工具14、操作者输入系统16和其他辅助系统26之间的控制，该其他辅助系统26可以包括例如成像系统、音频系统、流体递送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20还包括编程的指令(例如，存储指令的计算机可读介质)以实现根据本文公开的方面描述的方法的一些或全部。虽然在图1A的简化示意图中将控制系统20示为单个框，但该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在操纵器组件12上或其附近执行，处理的另一个部分在操作者输入系统16处执行等。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程的指令可以被实现为多个分开的程序或子例程，或者它们可以被集成到本文描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。
在一些实施例中，控制系统20可以包括一个或多个伺服控制器，其从医疗工具14或从操纵器组件12接收力和/或扭矩反馈。响应于反馈，伺服控制器将信号传输到操作者输入系统16。(一个或多个)伺服控制器还可以传输指导操纵器组件12移动(一个或多个)医疗工具14和/或15的信号，该(一个或多个)医疗工具14和/或15经由身体中的开口延伸到患者体内的内部规程部位。可以使用任何合适的常规或专用控制器。控制器可以与操纵器组件12分离或与其集成。在一些实施例中，控制器和操纵器组件作为集成系统的一部分被提供，诸如在医疗规程期间位于患者身体附近的远程操作臂推车。
控制系统20可以联接到医疗工具15并且可以包括处理器以处理捕获的图像，从而用于后续在控制系统附近的一个或多个固定或可移动监视器上，或在本地和/或远程定位的另一个合适显示器上诸如向使用操作者的控制台或佩戴头戴式显示系统的操作者显示。例如，在使用立体视场内窥镜的情况下，控制系统20可以对所捕获的图像进行处理以向操作者呈现规程部位的协调立体图像。这样的协调可以包括立体图像之间的对准，并且可以包括调整立体视场内窥镜的立体工作距离。
在替代实施例中，机器人系统可以包括多于一个操纵器组件和/或多于一个操作者输入系统。操纵器组件的确切数量将取决于外科手术规程和机器人系统的空间约束以及其他因素。操作者输入系统可以并置，也可以放置在分离的位置。多个操作者输入系统允许多于一个操作者以各种组合控制一个或多个操纵器组件。
图1B是操纵器组件12的一个实施例的透视图，该操纵器组件以推车的形式配置，该推车在医疗规程期间位于患者附近。因此，图1B的该操纵器组件也可以被称为患者侧推车。所示的操纵器组件12提供了对三个医疗工具30a、30b、30c(例如，医疗工具14)和包括成像设备的医疗工具28(例如，医疗工具15)的操纵，成像设备诸如用于捕获工件或规程部位(也称为“工作部位”)的图像的立体视场内窥镜。医疗工具28可以通过缆线56将信号传输到控制系统20。由具有多个关节的机器人操纵器提供操纵。可以通过患者中的切口或自然孔口定位和操纵医疗工具28和外科手术工具30a-30c，使得在切口或自然孔口处保持运动学远程中心。当外科手术工具30a-30c的远端位于医疗工具28的成像设备的视场内时，工作部位的图像可以包括外科手术工具30a-30c的远端的图像。
操纵器组件12包括可移动的、可锁定的和可驱动的基部58。基部58连接到伸缩柱57，该伸缩柱允许调整臂54(也称为“操纵器54”)的高度。臂54可以包括旋转关节55，该旋转关节55平行于柱体57旋转和平移。臂54可以连接到取向平台53。取向平台53可以能够旋转360度。操纵器组件12还可以包括用于在水平方向上移动取向平台53的伸缩水平悬臂52。
在本示例中，每个臂54包括操纵器臂部分51。操纵器臂部分51可以直接连接到医疗工具14。操纵器臂部分51可以是可远程操作的。在一些示例中，连接到取向平台的臂54不是可远程操作的。而是，这些臂54在操作者S以远程操作部件开始操作之前按需要定位。
内窥镜和其他成像系统(例如，医疗工具15、28)可以以各种配置来提供，包括具有刚性或柔性结构的配置，以及可关节运动的或不可关节运动的配置。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一个或多个柔性光纤来传输图像。基于数字图像的内窥镜可以具有“尖端上芯片”设计，其中诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件的远侧数字传感器存储图像数据。内窥镜成像系统还可以利用其他成像技术，诸如超声、红外和荧光镜技术。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜工具采用立体相机来捕获患者解剖结构的立体图像。内窥镜工具可以是完全可消毒的组件，其内窥镜缆线、手柄和轴均刚性地联接并气密密封。
图1C是操作者的控制台38的透视图。操作者的控制台38包括左眼显示器32和右眼显示器34，其用于向操作者S呈现实现深度感知的外科手术环境的协调立体图。操作者的控制台38的操作者输入系统16包括一个或多个输入控制设备36，其继而致使操纵器组件12操纵一个或多个医疗工具(例如，医疗工具14、15、28、30a-30c)。输入控制设备36可以用于例如闭合抓取钳口末端执行器，向电极施加电势，递送药物治疗等。在各种替代方案中，输入控制设备36可以附加地或替代地包括操纵杆设备、轨迹球、数据手套、扳机枪、手动控制器、语音识别设备、触摸屏、人体运动或存在感测器等。在一些实施例中，并且对于一些相关联的医疗工具14，输入控制设备36将提供与其相关联的医疗工具14相同的自由度以便向操作者S提供远程呈现或输入控制设备36与工具14成一体的感知，使得操作者S具有直接控制工具14的感觉。在其他实施例中，输入控制设备36可以具有比相关联的医疗工具更多或更少的自由度，并且仍然为操作者S提供远程呈现。为此，位置、力和触觉反馈传感器可以用于通过输入控制设备36将来自工具14的位置、力和触觉感传输回操作者S的手。操作者的控制台38的操作者输入系统16还可以包括输入控制设备37，该输入控制设备37是从操作者的脚接收输入的脚踏板。
如图2所示，在一些实施例中，输入控制设备36可以包括左手输入控制设备36-1(例如，从操作者的左手接收输入)和右手输入控制设备36-2(例如，从操作者的右手接收输入)。操作者可以使用左手输入控制设备36-1和右手输入控制设备36-2以分别使用对应的操纵器来控制其相关联的医疗工具14和/或15。输入控制设备36-1和36-2中的每一者可以包括任何数量的各种输入设备中的一个或多个，诸如握把输入206和触发开关208。可以提供与输入控制设备36-1和36-2中的每一者相关联的主机参考系。如图2的示例中所示，提供了与输入控制设备36-2相关联的主机参考系202。主机参考系202的Z轴平行于输入控制设备36-2的对称轴204。主机参考系202的X和Y轴从对称轴204垂直延伸。在一些实施例中，可替代地或附加地，操作者可以使用身体运动和姿态(例如，手部运动、手部姿态、眼睛移动)使用图像或运动跟踪系统来控制医疗工具14和/或15。
参见图3A和图3B，在各个实施例中，机器人系统(例如，医疗机器人系统)可以包括可以由机器人操纵器、人类操纵者和/或它们的组合控制的多个工具(例如，医疗工具14和/或15)。在一些实施例中，一个或多个工具可以被设计为安装到夹具。夹具可以被手动调整或者通过位于其上或其附近的输入设备来进行调整。在一些实施例中，一个或多个工具可以可操作地联接到远程操作医疗系统(例如，其中操作者使用操作者的控制台来控制远程操作操纵器的远程操作医疗系统)的对应远程操作操纵器。例如，如图1B所示，两个或更多个工具的远程操作操纵器可以共享相同的基部(例如，基部58)。对于进一步的示例，如图3A所示，两个或更多个工具的远程操作操纵器可以具有分离的基部。在一些实施例中，如图3B所示，一个或多个工具可以由一个或多个人类操纵者手持并控制。例如，操作者可以用他或她的手来移动工具的近侧壳体以控制工具。
参见图3A的示例，示出了包括分别具有分离的基部308、310和312的三个操纵器组件302、304和306的机器人系统(例如，图1A的机器人医疗系统10)。操纵器组件302包括基部308、结构支撑件314和操纵器316。在图3的示例中，成像工具15被安装在操纵器316上，并且因此操纵器组件302可以被认为进一步包括所安装的成像工具15。成像工具15包括轴318和成像设备320。成像设备320可以包括例如光学成像器、超声成像器、电磁成像器(诸如荧光镜成像器)、热成像器、热声成像器、体积成像设备(诸如计算机断层摄影(CT)和磁共振成像(MRI)成像器)，以及任何其他合适的成像器。
如图3A所示，基部308具有参考系322。机器人系统还包括操纵器组件304。操纵器组件304包括与操纵器组件302的基部308在物理上分离并且独立的基部310。操纵器组件304包括结构支撑件324和操纵器326。在图3A的示例中，工具328(例如，医疗工具14)被安装在操纵器326上，并且因此操纵器组件304可以被认为进一步包括所安装的工具328。工具328包括轴330、联接到轴330的远端的腕部332，以及联接到腕部332的末端执行器334。基部310具有参考系336。
在图3A的示例中，机器人系统还包括操纵器组件306。操纵器组件306包括与操纵器组件302的基部308和操纵器组件304的基部310在物理上分离并且独立的基部312。操纵器组件306包括结构支撑件338和操纵器340。在图3的示例中，工具342(例如，医疗工具14)被安装在操纵器340上，并且因此操纵器组件306可以被认为进一步包括所安装的工具342。工具342包括轴344、联接到轴344的远端的腕部346，以及联接到腕部346的末端执行器348。基部312具有参考系350。尽管在图3A的示例中，基部308、310和312彼此在物理上分离且独立，但在替代实施例中，机器人系统的操纵器在物理上不是分离的，并且一个或多个未器械化的连杆或关节(即没有提供足够信息以确定连杆或关节的所有空间平移和取向参数的传感器)可以连接操纵器。在一些实施例中，基部的参考系之间的变换被测量并且是已知的。在替代实施例中，基部的参考系之间的变换是未知的。
参见图3B，示出了医疗工具360。在一些实施例中，医疗工具360被设计为安装到夹具，该夹具可以被手动地调整或者通过位于夹具上或附近的输入设备来调整。在一些实施例中，医疗工具360可操作地联接到远程操作医疗系统的远程操作操纵器。如图3B所示，医疗工具360包括具有近端364和远端366的细长轴362。远侧部分368(例如，末端执行器、成像设备等)设置在轴362的远端366处。在示例中，远侧部分368是可关节运动的。近侧壳体370设置在轴362的近端364处。医疗工具360可以包括用于驱动可关节运动的远侧部分368的运动的致动组件374。在一些实施例中，致动组件374可以从医疗工具360的近侧部分脱离。传感器系统376可以用于感测轴362的运动。在一些实施例中，传感器系统376被包括在医疗工具360中。例如，传感器系统376和致动组件374可以设置在近侧壳体370中。对于另一示例，如图3B所示，传感器系统376和致动组件374可以设置在轴362上，靠近近侧壳体370。可替代地，在一些实施例中，传感器系统376不被包括在医疗工具360中。在各种实施例中，传感器系统376、致动组件374和近侧壳体370与控制系统(例如，图1的控制系统20)通信。
在一些实施例中，医疗工具360是手持式设备，并且操作者可以使用他或她的手来移动近侧壳体370以控制轴362相对于近侧壳体370以一个或多个自由度的移动。
在一些实施例中，医疗工具360可操作地联接到远程操作医疗系统的远程操作操纵器。近侧壳体370可以可移除地连接到远程操作医疗系统，以将医疗工具360可释放地安装和接口连接(interfacing)到远程操作医疗系统的远程操作操纵器。近侧壳体370可以传输来自远程操作医疗系统的驱动信号和/或运动输入以便使轴362相对于近侧壳体370以至少一个自由度移动。
在图3B的所示示例中，轴362穿过医疗工具360的支点枢轴点372(由图3B中的环指示)并且可关节运动的远侧部分368包括成像设备。成像设备具有视场378。在图3B的所示示例中，视场378具有三维金字塔形截头锥体形状。在一些实施例中，成像设备是具有两个成像设备的立体视场成像器械，并且成像设备的视场378是成像设备中的每个成像设备的三维金字塔形截头锥体的组合体积。在替代实施例中，成像设备的视场可以提供另一可视化区域，诸如通过提供圆锥形截头锥体形状、饼切片的形状或某种其他形状。成像设备可以捕获患者解剖结构内的工具和自然特征的图像。在一些实施例中，成像设备(例如，磁共振成像(MRI)设备、计算机断层摄影(CT)扫描设备等)可以位于患者体外，并且在那些实施例中，工具运动的可见反馈是从一系列的三维(3D)图像中导出的。
参见图4A和图4B，可以使用显示器将来自成像设备的图像数据提供给操作者。参见图4A，其中示出了显示器400(例如，操作者的控制台38的显示器)，其提供来自成像设备320的图像，该图像示出了在成像设备320(例如，图3的操纵器组件302的成像设备320)的视场中的工具328和342的部分。在图4A的示例中，工具328和342分别具有不同形状的末端执行器，并且因此，其对应图像(也称为图像空间工具)也分别具有不同形状的末端执行器。如图4A所示，显示器400包括与工具328和342中的一者相对应的图像空间工具402。图像空间工具402包括轴404的一部分、腕部406和末端执行器408，其中末端执行器408可以是针、手术刀、单极烧灼钩、或任何其他合适的末端执行器。显示器400还包括与工具328和342中的另一者相对应的图像空间工具410。图像空间工具410包括轴412的一部分、腕部414和末端执行器416。末端执行器416包括两个钳口418和420。
参见图4B，在一些实施例中，多个工具(例如，工具328和342)可以具有相同或基本上相似的外观。这样，其在捕获的图像中的对应图像空间工具也具有外观基本上类似的末端执行器。在图4B的示例中，显示器400(例如，操作者的控制台38的显示器)包括来自成像设备320的捕获的图像，该图像示出了在成像设备320(例如，图3A的操纵器组件302的成像设备320)的视场中的工具328和342的部分。具体地，显示器400包括与工具328和342中的一者相对应的图像空间工具450。图像空间工具450包括轴452的一部分、腕部454和末端执行器456，其中末端执行器456包括两个钳口457和458。显示器400还包括与工具328和342中的另一者相对应的图像空间工具460。图像空间工具460包括轴462的一部分、腕部464和末端执行器466。末端执行器466包括两个钳口468和470。在图4B的示例中，工具328和342具有外观基本上类似的末端执行器。这样，其在捕获的图像中的对应图像空间工具也具有外观基本上类似的末端执行器，这可以导致工具328和342到图像空间工具450和460之间的映射中的歧义问题。在依赖于工具328和342与图像空间工具450和460之间的准确映射的各种应用(例如，配准，用于将工具信息叠加在显示器中的对应工具的图像上的应用)中，映射中的该歧义可以引起问题(例如，影响直观性，影响显示给操作的信息的准确性等)。
如下面详细讨论的，消歧过程可以用于解决歧义问题。虽然本文中将使用消歧过程的配准应用用作示例，但消歧过程可以用于依赖于工具和图像空间工具之间的准确映射的任何应用(例如，用于将工具信息叠加在显示器中的对应工具的图像上的应用)。
在各种实施例中，可以使用来自成像设备的图像数据来执行配准过程，这可以用于改善远程操作系统的直观性。例如，配准过程可以确定主机控制设备与其相关联的工具/末端执行器之间的空间对准(也称为主机-工具对准)和主机-工具变换。可以使用此类空间对准来提供主机控制设备与其相应从机工具/末端执行器之间的有效控制关系。主机控制设备与其从机工具之间的每个空间对准可以提供操作者感知到的主机控制设备的运动(例如，本体感觉)与操作者感知到的包括轴和末端执行器的工具的所得运动(例如，可见感觉)之间的适度准确的关系。例如，如果操作者将抓住主机控制设备的手向左移动，则操作者预期感知到相关联的从机工具/末端执行器也向左移动。如果感知到的空间运动匹配，则操作者可以通过移动主机控制设备来轻松地控制从机移动。但是，如果感知到的空间运动不匹配(例如，主机控制设备向左移动导致从机向上和向右移动)，则操作者难以通过移动主机控制设备来控制从机移动。
然而，在基于图像的配准过程期间，在建立图像数据中的多个图像空间工具(例如，图4A的图像空间工具402和410、图4B的图像空间工具450和460)与相应物理工具及其相关联的操纵器之间的对应关系时可以出现歧义，从而可以影响远程操作系统的直观性。在各种实施例中，在主机-工具变换部分或全部未知(例如，由于成像设备的相机参考系与工具的工具参考系之间的未知变换)的情况下，可以出现这种歧义。在一些示例中，工具(例如，成像工具15以及工具328和342)由具有分开的基部并且不共享共同的机械参考系的操纵器控制。在一些示例中，工具(例如，成像工具15以及工具328和342)由具有相同基部的操纵器控制，但那些操纵器之间的自由度没有全部被测量(例如，通过操纵器中的传感器)。在一些示例中，这些工具在物理上如此接近，使得操纵器数据(例如，传感器数据，包括来自操纵器的关节编码器数据、操纵器的运动学信息)不足以对图像空间工具和物理工具之间的对应关系进行消歧。在一些示例中，一个或多个工具(例如，成像工具15以及工具328和342)是由人类操纵者操作的手持式工具。
参见图5至图11，描述了用于执行消歧过程的各种系统和方法。如下详细所述，消歧过程可以用于生成图像数据中的图像空间工具与其相应工具之间的正确对应关系，然后其可以用于在配准过程期间确定主机-工具对准和主机-工具变换。可以基于与对应工具相关联的消歧设置(例如，基于运动、基于姿势、基于外观、操作者指定)来执行不同的消歧过程。在各种实施例中，消歧设置可以包括用于执行消歧过程的消歧参数的各种类型和值，并且可以由操作者配置。
参见图5，其中示出了用于执行消歧过程的方法500。方法500在图5中被示为一组操作或过程502至518。并非全部的所示过程502至518都可以在方法500的所有实施例中执行。可替代地，在图5中未明确示出的一个或多个过程可以被包括在过程502至518之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
在各种实施例中，方法500可以在操作(例如，医疗操作)之前或期间执行。在医疗示例中，方法500可以在患者外部或患者内部的医疗操作之前(例如，在设置期间)执行。在示例中，方法500可以在将多个图像空间工具捕获在图像数据中之后但在多个工具与其相应主机输入设备之间连接控制回路之前执行。在另一个示例中，方法500可以在医疗操作期间执行。
方法500从过程502开始，其中控制系统(例如，图1的控制系统20)从机器人医疗系统的成像设备接收图像数据。机器人医疗系统可以包括由相应操纵器控制的多个工具。在图3A的示例中，机器人医疗系统包括分别由操纵器316、326和340控制的工具15、328和342。在过程502处，显示器400显示由成像工具15的成像设备320捕获的图像。如图4A和图4B的示例所示，捕获的图像包括对应于工具328和342的图像空间工具。在示例中，通过操作者的控制台(例如，操作者的控制台38)的显示器将捕获的图像提供给操作者。
然后，方法500可以行进到过程504，其中控制系统(例如，控制系统20)确定分别用于第一工具和第二工具(例如，工具328和342)的第一消歧设置和第二消歧设置。第一消歧设置和第二消歧设置中的每一者可以具有从各种消歧设置类型中选择的类型，包括例如基于运动的消歧设置、基于姿势的消歧设置、基于外观的消歧设置、操作者指定的消歧设置，任何合适类型的消歧设置或它们的组合。在一些实施例中，可以基于工具(例如，具有基本上相同的外观的工具)的属性和操作性能要求(例如，工作流连续性、对操作者误差的敏感性)来确定工具的消歧设置。在一个示例中，如图4A所示，其中工具328和342具有不同的末端执行器外观，控制系统可以确定基于外观的消歧设置可以用于这两个工具。在另一个示例中，如图4B所示，其中工具328和342具有基本上相同的外观，基于外观的消歧设置对消歧可能无效。在该示例中，控制系统可以确定基于运动的消歧设置和/或基于姿势的消歧设置可以用于工具。
在各种实施例中，两个工具可以具有相同类型或不同类型的消歧设置。在一些实施例中，两个工具所具有的消歧设置具有相同的类型但具有不同的消歧参数值(例如，用于移动对应工具的不同的消歧时段、不同的运动类型、不同的运动量等)。例如，第一消歧设置和第二消歧设置具有相同的类型(例如，基于运动的消歧设置)，可以具有不同的运动类型(例如，分别为旋转和平移)。在另一个示例中，第一消歧设置和第二消歧设置具有相同的运动类型(例如，振动运动、旋转运动)，但是具有不同的运动参数(例如，不同的振动频率、不同的旋转量)。
在一些实施例中，第一消歧设置和第二消歧设置具有不同的消歧设置类型。例如，第一消歧设置是包括基于运动的消歧设置、基于姿势的消歧设置、基于外观的消歧设置和操作者指定的消歧设置的组中的一者。第二消歧设置是包括基于运动的消歧设置、基于姿势的消歧设置、基于外观的消歧设置和操作者指定的消歧设置的组中的另一者。
方法500可以行进到过程506，其中控制系统基于第一消歧设置和第二消歧设置来确定图像数据的第一图像空间工具和第二图像空间工具与第一工具和第二工具之间的对应关系。在过程506处，基于第一消歧设置和第二消歧设置，可以执行对应的消歧过程(例如，消歧过程508、510、512和514中的一个)。将参考图6至图11详细描述那些不同的消歧过程。
方法500可以行进到过程516，其中控制系统使用图像数据的第一图像空间工具和第二图像空间工具与第一工具和第二工具之间的对应关系来执行配准过程，并且确定第一工具和第二工具的主机-工具对准。例如，可以基于第一图像空间工具和第二图像空间工具以及对应关系来确定第一工具和第二工具中的每一者的主机-工具变换。在一些实施例中，配准过程使用用于消歧的相同数据中的至少一些(例如，在过程506处)。作为具体示例，在一个实施例中，过程506使用基于外观的消歧设置(包括有关工具的几何信息)，并且过程516使用相同几何信息中的至少一些以进行配准。作为另一个具体示例，在一个实施例中，过程506使用基于姿势的消歧设置(包括工具的一个或多个部分的姿势信息)，并且过程516使用相同姿势信息中的至少一些以进行配准。
方法500可以行进到过程518，其中操作者使用在配准过程期间确定的主机-工具对准使用对应的主机输入设备来控制第一工具和第二工具。此类主机-工具对准可以用于改善机器人医疗系统的直观性。
参见图6至图11，可以执行各种消歧过程(例如，在图5的过程506处)以确定图像数据的第一图像空间工具和第二图像空间工具与第一工具和第二工具之间的对应关系。图6、图7和图8分别示出了使用不同的基于运动的消歧设置的不同消歧过程。图9示出了使用基于姿势的消歧设置的消歧过程。图10示出了使用基于外观的消歧设置的消歧过程。图11示出了使用操作者指定的消歧设置的消歧过程。
参见图6，示出了基于运动的消歧方法600(例如，图5的基于运动的消歧过程508)，其中控制系统基于该工具的由基于运动的消歧设置提供的目标运动来控制特定机器人操纵器移动其对应工具。在各种实施例中，该工具的这种目标运动在图像数据中可见的其他工具的运动中是唯一的，这可以用于识别该工具的对应图像空间工具。在一些实施例中，基于成像设备类型和/或针对不同运动类型的运动估计准确性来确定目标运动。在示例中，可以选择钳口打开/关闭运动而不是轴滚转运动，因为轴滚转运动更难以估计。在成像设备是单视场且没有深度信息的另一个示例中，选择单视场成像设备的二维(2D)成像空间中的2D目标运动。在一些实施例中，可以通过选择相机的对准相对于运动不变(例如，其中已知相机空间和操纵器空间之间的变换)的运动轨迹和运动估计方法来确定(一个或多个)目标运动。在一个示例中，目标运动包括在正交平面中的一系列运动。
方法600在图6中被示为一组操作或过程602至608。并非全部的所示过程602至608都可以在方法600的所有实施例中执行。可替代地，在图6中未明确示出的一个或多个过程可以被包括在过程602至608之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法600从过程602开始，其中控制系统确定第一基于运动的消歧设置与第一机器人操纵器所控制的第一工具相关联。基于运动的消歧设置可以包括第一工具的目标运动。目标运动可以包括工具或其部分(例如，末端执行器)的旋转运动(例如，滚转、偏航、俯仰)、平移运动(例如，插入、退出、横向移动)、或以特定频率的振动运动(例如，沿着特定轴线)。在一些实施例中，目标运动是滚转运动，其中末端执行器的尖端不移动。在一些实施例中，目标运动包括第一量的退出运动，然后是小于或等于第一量的第二量的插入运动，使得在执行目标运动后，末端执行器的尖端不会延伸超出其在目标运动之前的位置。
在一些实施例中，在过程602处，控制系统确定第二基于运动的消歧设置与第一机器人操纵器所控制的第二工具相关联。在一些示例中，第一基于运动的消歧设置和第二基于运动的消歧设置的目标运动是相同的，但是要在不同的时间执行。在一些示例中，第一基于运动的消歧设置和第二基于运动的消歧设置的目标运动是不同的。例如，第一基于运动的消歧设置和第二基于运动的消歧设置的目标运动可以具有不同的运动类型。对于进一步的示例，第一基于运动的消歧设置和第二基于运动的消歧设置的目标运动可以具有相同的运动类型(例如，振动运动)，但是具有不同的运动量或其他运动参数(例如，运动幅度或运动频率)。
方法600可以行进到过程604，其中控制系统控制第一机器人操纵器以根据第一目标运动来移动第一工具。在一些实施例中，在医疗规程中的消歧时段期间执行过程604。例如，可以使用医疗规程的非关键时段来确定消歧时段，例如，包括将工具引入患者体内时以及在操作者控制工具之前的时段。消歧时段可以在工具交换的一部分期间或在离合期间。
在一些实施例中，可以通过在某些时间和/或在某些事件或系统状态期间叠加在操作者命令运动的顶部上来执行目标运动。在一些实施例中，目标运动可以具有人类操作者难以辨认或不可能辨认并且对于人的肉眼不可见的运动量。在一些实施例中，操作者命令运动可以与不同于确定图像空间工具与工具之间的对应关系的操作者目标相关联。
在一些实施例中，可以在消歧时段期间按特定序列移动多个工具。例如，序列可以依次包括：第一工具的第一目标运动(例如，沿着其滚转轴线持续0.5秒的振动)、第二工具的第二目标运动(例如，沿着其俯仰轴持续0.7秒的振动)等。
方法600可以行进到过程606，其中控制系统可以处理图像数据(例如，特征提取、对象跟踪)以确定第一图像空间工具和第二图像空间工具及其相应观察运动。图像数据可以包括包含一系列帧的视频，其中每个帧可以包括多个工具的图像。可以使用各种图像处理算法来确定捕获的图像中的每个工具的观察运动。在一些实施例中，图像(例如，静止图像、视频)处理算法(例如，欧拉视频放大算法)可以用于通过放大人的肉眼可能不可见的运动来生成图像中的相应工具的观察运动。在一些示例中，运动消歧设置可以提供可以用于生成放大运动的有区别的运动属性(例如，频率、幅度、运动轴线)。在一些实施例中，在运动估计中可能会丢失运动信息，并且难以确定目标运动与观察图像运动之间的对应关系。在那些实施例中，可以执行使用不同目标运动的附加基于运动的消歧过程。可替代地，可以执行基于不同类型的消歧设置(例如，基于姿势的消歧、基于外观的消歧、操作者指定的消歧)的消歧过程。
方法600可以行进到过程608，其中控制系统基于第一观察运动和第二观察运动以及第一目标运动来建立第一选定图像空间工具与第一工具之间的第一对应关系。可以从第一图像空间工具和第二图像空间工具中选择第一选定图像空间工具。在示例中，选择第一选定图像空间工具，因为它具有与第一目标运动相匹配的观察运动(例如，沿着滚转轴线持续0.5秒的振动)，其中另一个未选定图像空间工具具有与第一目标运动不匹配的观察运动(例如，沿俯仰轴线持续0.7秒的振动)。这样，在该示例中，控制系统可以建立第一选定图像空间工具与第一工具之间的第一对应关系，因为第一选定图像空间工具具有与第一目标运动相匹配的观察运动。
在一些实施例中，在过程608处，控制系统基于第一观察运动和第二观察运动以及第二目标运动来建立第二选定图像空间工具与第二工具之间的第二对应关系。在示例中，选择第二选定图像空间工具，因为它具有与第二工具的基于运动的消歧设置的目标运动相匹配的观察运动(例如，沿着俯仰轴线持续0.7秒的振动)。这样，在该示例中，控制系统可以建立第二选定图像空间工具与第二工具之间的第二对应关系，因为第二选定图像空间工具具有与第二目标运动相匹配的观察运动。然后，那些对应关系可以在配准中用于分别确定第一工具和第二工具的主机-工具对准，如上面参考图5的过程516所讨论的。
参见图7，示出了基于运动估计的消歧方法700(例如，图5的基于运动的消歧过程508)，其中控制系统基于相关联的操纵器/输入设备的信息(包括例如由传感器系统提供的传感器信息、相关联的操纵器/输入设备的运动学信息或它们的组合)来生成工具的运动估计。控制系统可以基于运动估计和使用图像数据的图像空间工具的观察运动来建立工具与图像空间工具之间的对应关系。方法700在图7中被示为一组操作或过程702至708。并非全部所示过程702至708都可以在方法700的所有实施例中执行。另外，在图7中未明确示出的一个或多个过程可以被包括在过程702至708之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法700从过程702开始，其中控制系统提供与第一操纵器和/或第一主机输入设备所控制的第一工具相关联的第一基于运动估计的消歧设置。第一基于运动估计的消歧设置可以包括各种消歧参数，包括例如操纵器/输入设备数据源类型、运动估计类型等。操纵器/输入设备数据源类型可以包括例如传感器数据、运动学数据或它们的组合以用于运动估计。在另一个示例中，第一基于运动估计的消歧设置可以提供运动估计类型，包括例如速度估计类型、加速度估计类型、运动模式类型等。
方法700可以行进到过程704，其中控制系统使用与联接到第一工具的第一操纵器相关联的信息来生成第一工具的第一运动估计。可以基于第一基于运动估计的消歧设置来生成这种第一运动估计。例如，操纵器信息可以包括具有操纵器数据源类型的数据(例如，由传感器系统提供的传感器信息、来自相关联的第一机器人操纵器的运动学信息、或它们的组合)。传感器系统可以包括一个或多个传感器，包括例如惯性测量单元(IMU)、电磁传感器、光学跟踪系统、图像跟踪系统、混合传感器系统、第一操纵器的编码器、其他合适的传感器系统及它们的组合。在示例中，图像跟踪系统可以包括在患者解剖结构外部的相机，并且使用图像跟踪算法来提供操纵器信息(例如，第一操纵器与其他操纵器和/或患者之间的对准信息、第一操纵器移动信息等)。
对于进一步的示例，可以根据由第一基于运动估计的消歧设置提供的运动估计类型来生成第一运动估计。第一运动估计可以包括例如第一工具或其一部分(例如，轴、末端执行器)的速度估计、加速度估计、运动模式和/或任何其他合适的运动估计类型。在示例中，第一运动估计可以包括第一运动模式，该第一运动模式指示第一工具内移入和移出成像工具15的成像设备320的视场持续第一时间段(例如，约10秒)。
在一些实施例中，在过程704处，控制系统可以使用与联接到第二工具的第二操纵器/第二输入设备相关联的操纵器/输入设备信息(例如，传感器数据、运动学数据、历史工具状态(例如，运动、姿势)数据、或它们的组合)来生成第二工具的第二运动估计。可以基于与第二工具相关联的第二基于运动估计的消歧设置来生成第二运动估计。在示例中，第二运动估计可以包括第二运动模式，该第二运动模式指示第二工具在成像工具15的成像设备320的视场中从一边到另一边移动(例如，在左侧和右侧之间移动)持续第二时段(例如，与第一时段相同或不同于第一时段)。
方法700可以行进到过程706，其中控制系统将图像处理算法应用于来自成像设备的图像数据，并且生成与第一图像空间工具相关联的第一观察运动和与第二图像空间工具相关联的第二观察运动。在一些实施例中，基于第一基于运动估计的消歧设置和第二基于运动估计的消歧设置来生成第一观察运动和第二观察运动，其中第一观察运动和第二观察运动中的每一者可以包括与运动估计类型相对应的观察运动数据。
方法700可以行进到过程708，其中控制系统基于第一观察运动和第二观察运动以及第一工具的第一运动估计来建立第一选定图像空间工具与第一工具之间的第一对应关系。在一些示例中，控制系统确定来自第一图像空间工具和第二图像空间工具的第一选定图像空间工具的观察运动(例如，观察速度、观察加速度、观察运动模式)与第一运动估计(例如，速度估计、加速度估计、运动模式)相匹配，并且建立该第一选定图像空间工具与第一工具之间的对应关系。在示例中，第一选定图像空间工具的观察运动包括移入和移出成像设备的FOV的观察运动模式，并且第一工具的第一运动估计也包括移入和移出成像设备的FOV的运动模式。
在一些实施例中，在过程708处，控制系统基于第一观察运动和第二观察运动以及第二工具的第二运动估计来建立第二选定图像空间工具与第二工具之间的第二对应关系。在示例中，选择第二选定图像空间工具，因为其具有与第二工具的第二运动估计(例如，从一侧移动到另一侧的运动模式)相匹配的观察运动(例如，从一侧移动到另一侧的观察运动模式)。然后，那些第一对应关系和第二对应关系可以在配准中用于分别确定第一工具和第二工具的主机-工具对准，如上面参考图5的过程516所讨论的。
参见图8，示出了可以在图5的过程508中使用的基于变换的消歧方法800(也称为基于修改的消歧方法800)，其中控制系统可以使用与操作者命令运动相关联的变换(也称为修改)以用于消歧。可以在基于变换的消歧设置(也称为基于修改的消歧设置)中提供变换/修改。变换可以包括例如应用输入到工具运动缩放(也称为主机-从机缩放)、应用滤波器，以及识别与特定事件相关联的特性运动类型。在各种实施例中，变换可以不影响操作者命令运动的表现，并且可能无法用人的肉眼识别，但可以在图像数据中观察到(例如，通过使用图像处理算法)。
方法800在图8中被示为一组操作或过程802至812。并非全部所示过程802至812都可以在方法800的所有实施例中执行。另外，在图8中未明确示出的一个或多个过程可以被包括在过程802至812之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法800从过程802开始，其中控制系统可以提供与第一操纵器所控制的第一工具相关联的第一基于变换的消歧设置。第一基于变换的消歧设置可以向与第一工具相关联的第一操作者命令运动提供第一预定义变换。控制系统可以进一步提供与第二操纵器所控制的第二工具相关联的第二基于变换的消歧设置。第二基于变换的消歧设置可以向与第二工具相关联的第二操作者命令运动提供第二预定义变换。第二预定义变换可以与第一变换不同。在一些实施例中，第一预定义变换和第二预定义变换具有不同的类型(例如，分别是主机-从机缩放变换和滤波器变换)。在替代实施例中，第一预定义变换和第二预定义变换具有相同的类型但具有不同的变换量。例如，第一预定义变换和第二预定义变换都是主机-从机缩放变换，但提供不同的缩放值。对于进一步的示例，第一预定义变换和第二预定义变换都是滤波器变换，但提供不同的截止频率或具有不同阶数的滤波器。控制系统可以使用这种差异来分别建立图像空间工具与第一工具和第二工具之间的对应关系。
在一些实施例中，方法800然后可以行进到过程804，其中第一预定义变换包括第一主机-从机缩放。在那些实施例中，在过程804处，控制系统可以将第一主机-从机缩放应用于第一操作者命令运动以控制第一工具。在示例中，第一主机-从机缩放具有1:3的值，其中操作者使用第一输入设备(例如，图2的左手输入控制设备36-1)来控制第一工具。在一些实施例中，在过程804处，控制系统可以将第二预定义变换的第二主机-从机缩放应用于第二操作者命令运动以控制第二工具。在示例中，第二主机-从机缩放具有与第一主机-从机缩放的值(例如，1:3)不同的值(例如，1:3.1)，其中操作者使用第二输入设备(例如，图2的右手输入控制设备36-2)来控制第二工具。
方法800可以行进到过程806，其中控制系统对图像数据执行图像分析算法，并且为所有可能的主机-从机对生成观察主机-从机缩放。在存在两个图像空间工具的示例中，对于特定的输入设备，可能存在两个可能对，包括包含特定输入设备和第一图像空间工具的第一可能对，以及包含特定输入设备和第二图像空间工具的第二可能对。在示例中，图像分析算法包括工具跟踪算法，该工具跟踪算法可以计算第一图像空间工具和第二图像空间工具所行进的距离，然后其可以用于计算所有可能的主机-从机对的观察主机-从机缩放。
方法800可以行进到过程808，其中控制系统基于预定义变换和观察可能变换来建立图像空间工具与第一工具和第二工具之间的对应关系。例如，对于第一输入设备所控制的第一工具，控制系统确定包括第一输入设备和第二图像空间工具的可能对的观察主机-从机缩放最接近第一预定义变换的预定义第一主机-从机缩放，并且建立第二图像空间工具和第一工具之间的对应关系。对于进一步的示例，对于第二输入设备所控制的第二工具，控制系统确定包括第二输入设备和第一图像空间工具的可能对的观察主机-从机缩放最接近第二预定义变换的预定义第二主机-从机缩放，并且建立第一图像空间工具与第二工具之间的对应关系。
可替代地，在一些实施例中，在过程802之后，方法800可以行进到过程810，其中第一预定义变换包括第一滤波器。在那些实施例中，在过程810处，控制系统可以将第一滤波器应用于第一操作者命令运动以控制第一工具。第一滤波器可以包括一个或多个滤波参数，包括例如第一截止频率、第一相移、第一陷波频率、第一谐振频率、第一滚降斜率(例如，基于第一滤波器的阶数)。在示例中，第一滤波器是具有7Hz的第一截止频率的低通滤波器。在一些实施例中，在过程810处，控制系统可以将第二预定义变换的第二滤波器应用于第二操作者命令运动以控制第二工具。第二滤波器可以包括一个或多个滤波参数，包括例如第二截止频率、第二相移、第二陷波频率、第二谐振频率、第二滚降斜率(例如，基于第二滤波器的阶数)。在各种示例中，第二滤波器的一个或多个滤波参数可以具有与第一滤波器的对应一个或多个滤波参数不同的值。在示例中，第二滤波器是具有7.5Hz的第二截止频率的低通滤波器。
方法800可以行进到过程812，其中控制系统处理图像数据以生成图像空间工具的第一观察滤波参数和第二观察滤波参数。在示例中，对于特定图像空间工具，控制系统针对该特定图像空间工具沿单个轴的观察运动执行快速傅立叶变换(FFT)以生成频域中的频谱功率，并且使用频域中的频谱功率分布来确定滤波参数(例如，截止频率、相移、陷波频率、谐振频率、滚降斜率)。在一些实施例中，在主机输入设备和工具运动估计的每个组合之间计算传递函数(例如，对于使用缩放的消歧)。
方法800可以行进到过程808，其中控制系统基于预定义变换(例如，预定义截止频率)和观察变换(例如，观察截止频率)来建立图像空间工具与第一工具和第二工具之间的对应关系。例如，对于第一工具，控制系统确定第一图像空间工具的观察截止频率最接近第一预定义变换的预定义截止频率，并且建立第一图像空间工具与第一工具之间的对应关系。例如，对于第二工具，控制系统确定第二图像空间工具的观察截止频率最接近第二预定义变换的预定义截止频率，并且建立第二图像空间工具与第二工具之间的对应关系。
在另一个替代实施例中，在过程802之后，方法800可以行进到过程814，其中控制系统确定与第一工具相关联的第一事件。第一事件的示例是工具接合事件，其中第一工具接合在第一操纵器中并插入患者体内。在各个实施例中，控制系统可以使用来自传感器系统(例如，具有患者外部相机的工具跟踪系统)的传感器数据、来自联接到第一工具的第一操纵器的运动学数据、历史工具状态(例如，运动、姿势)数据或它们的组合来确定第一事件。在一些实施例中，控制系统可以通过使用工具跟踪系统以跟踪第一工具上的一个或多个预定义特征来确定第一事件。
方法800可以行进到过程816，其中控制系统可以基于第一基于变换的消歧设置来确定与第一事件相关联的第一预定义运动特性。例如，与第一工具相关联的第一基于变换的消歧设置可以规定，在工具接合事件期间，第一工具的运动具有第一预定义运动特性(例如，大体上线性的移动)。
方法800可以行进到过程818，其中控制系统使用图像处理算法来处理来自成像设备的图像数据以分别生成图像空间工具的观察运动特性。在示例中，控制系统生成包括线性移动的第一图像空间工具的第一观察运动特性，以及包括第二图像空间工具的静止的第二图像空间工具的第二观察运动特性。
方法800可以行进到过程808，其中控制系统基于预定义变换(例如，与特定事件相关联的预定义运动特性)和观察变换(例如，观察运动特性)来建立图像空间工具与第一工具和第二工具之间的对应关系。例如，对于第一工具，控制系统确定第一图像空间工具的观察运动特性(例如，线性移动)匹配与第一工具的第一事件(例如，工具接合事件)相关联的预定义运动特性(例如，线性移动)，并且建立第一图像空间工具与第一工具之间的对应关系。基于与第二工具相关联的第二基于变换的消歧设置，可以基本上相同地确定图像空间工具与第二工具之间的第二对应关系。
参见图9，示出了基于姿势估计的消歧方法900(例如，图5的基于姿势的消歧过程510)，其中消歧利用基于姿势的消歧设置。在方法900中，控制系统基于相关联的操纵器/输入设备的信息(包括例如由传感器系统提供的传感器信息、相关联的操纵器/输入设备的运动学信息或其组合)来生成工具的一个或多个部分的姿势估计。控制系统可以基于姿势估计和使用图像数据的图像空间工具的对应一个或多个部分的观察姿势来建立工具与图像空间工具之间的对应关系。姿势估计可以包括足以描述工具的(一个或多个)相关部分的完整姿势的参数。姿势估计可以替代地包括较少的参数并描述工具的(一个或多个)相关部分的部分姿势，诸如仅描述位置，仅描述取向，或描述位置和取向两者但小于完整的姿势。可以通过任何适当的方式来确定图像空间工具的(一个或多个)部分的观察姿势，包括通过使用人工智能—诸如经由用适当训练数据集训练的机器学习系统或神经网络。
在一些实施例中，姿势估计是工具的一部分(诸如工具的轴、关节、或末端执行器)的姿势估计。在一些实施例中，姿势估计是工具的两个部分之间的相对姿势。在示例中，姿势是末端执行器相对于轴的取向。在使用钳式工具的另一个示例中，姿势估计包括关于末端执行器的两个钳口的钳口姿势(例如，“钳口打开”、“钳口关闭”、钳口打开量)。钳口打开量可以由任何适当的参数或参数集来表示，诸如钳口打开大小、钳口打开形状、钳口打开特性尺寸(诸如打开角度)等。在那些实施例中，通过使用工具的两个部分的相对姿势，与使用工具的一部分相对于图像的工具姿势(其中工具的部分相对于图像的工具姿势可能不足以进行消歧，因为在基部位置未知的情况下，它不能与运动学信息相关)相比，改善了消歧过程。
在一些实施例中，姿势估计描述了工具的多于两个部分之间的相对姿势。在示例中，姿势估计描述了末端执行器和腕部之间的第一相对姿势，以及腕部和工具轴之间的第二姿势相对姿势。作为钳式工具的另一个示例，姿势估计描述了钳口姿势以及钳口相对于轴的取向。在这些实施例中，控制系统可以基于使用图像数据将姿势估计中的多个姿势与图像空间工具的对应部分的观察姿势进行匹配来建立工具与图像空间工具之间的对应关系。
在一个实施例中，工具包括钳口和腕部，并且姿势估计包括由线模型“工具骨架”表示的简化工具轮廓。这种简化工具轮廓是基于工具的参考特征的估计制定的，其中这些估计是从工具的已知几何尺寸和运动学信息中导出的。例如，这些估计可以包括工具的钳口的尖端、U形夹(clevis)位置、腕部中心和工具轴的轴线的估计。控制系统利用经训练的AI以使用图像数据在图像数据中识别图像空间工具的对应部分(例如，工具钳口的尖端、U形夹位置、腕部中心和工具轴的轴线)。然后，控制系统使用这些识别的图像特征来生成观察的简化工具轮廓以匹配姿势估计的简化工具轮廓。
图12示出了根据本公开的实施例的工具1200的示例外观和姿势估计。工具1200包括一组钳口，其包括第一钳口1225和第二钳口1227。钳口1225、1127可旋转地联接到U形夹1220，该U形夹将钳口1225、1227联接到轴1230。在各种实施例中，控制系统可以确定工具1200的任何数量的姿势估计，诸如以下的估计：第一钳口1225和轴1230之间的角度(θ1)、第二钳口1227和轴1230之间的角度(θ2)或钳口打开量。可以使用任何适当的参数来表征钳口打开量，包括钳口1225、1227之间的分离距离(d)，钳口1225、1227之间的角度(θ3)等。在确定姿势估计时，控制系统可以识别工具1200上的界标点，诸如第一轴点1241、第二轴点1242、U形夹点1243、第一钳口1225的第一尖端点1244和第二钳口1227的第二尖端点1245。可以基于轴的特定特征定义第一轴点和第二轴点，该特征定义为沿轴方向与U形夹相距的偏移距离等。在进行姿势估计时，控制系统可以单独使用这些界标点，或在计算距离、角度或任何其他姿势估计参数时用于定义线段、矢量方向或其他几何抽象。图12仅示出了姿势估计的一个示例，并且其他实施例可以涉及更少、更多或不同的姿势估计、界标点等。例如，非钳式工具将缺少钳口打开量，并且可以有或可以没有多个点。作为另一个示例，在实施例中，控制系统可以仅限定第一轴点1241并且不限定第二轴点1242(反之亦然)。作为又一个示例，在具有包括多个U形夹的工具的另一个实施例中，控制系统可以定义多个U形夹点，其中每个U形夹点对应于U形夹。
为了使用图像数据将姿势估计与图像空间工具的对应一个或多个部分相匹配，控制系统可以识别优化最小二乘拟合或其他标准的成对的姿势估计和图像空间工具。作为具体示例，可以为姿势估计到图像空间工具对的每个排列计算残差，并且确定具有最低残差的对的集合是匹配的以进行消歧。也可以应用最小或最大阈值以要求匹配满足关于误差、残差、确定性等的特定要求。
方法900在图9中被示为一组操作或过程902至908。并非全部的所示过程902至908都可以在方法900的所有实施例中执行。另外，在图9中未明确示出的一个或多个过程可以被包括在过程902至908之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法900从过程902开始，其中控制系统提供与第一操纵器和/或第一主机输入设备所控制的第一工具相关联的第一基于姿势估计的消歧设置。第一基于姿势估计的消歧设置可以包括各种消歧参数，包括例如操纵器/输入设备数据源类型、姿势估计类型等。操纵器/输入设备数据源类型可以包括例如传感器数据、运动学数据、历史工具状态(例如，运动、姿势)数据或它们的组合以用于姿势估计。第一基于姿势估计的消歧设置可以提供姿势估计类型，包括例如末端执行器姿势估计类型(例如，工具尖端姿势估计、钳口姿势估计、末端执行器相对于关节或轴或工具的另一个部分的相对姿势估计等)、轴姿势估计类型(例如，轴滚转估计、轴相对于工具另一个部分的相对姿势估计)、工具的至少一部分的单自由度姿势估计类型、腕部姿势估计(例如，弯曲估计、腕部相对于工具的另一个部分的相对姿势估计)等。在一些实施例中，钳口姿势估计类型可以对应于分类为两个或更多个状态的钳口自由度，包括例如“钳口打开”或“钳口关闭”。在一些实施例中，钳口姿势估计类型可以规定，钳口姿势估计包括钳口打开量估计(例如，使用末端执行器的两个钳口之间的角度)。在示例中，单自由度姿势估计类型对应于六个自由度姿势估计中的一者，包括前/后估计、上/下估计、左/右估计、偏航估计、俯仰估计和滚转估计。与使用完整姿势估计(例如，六自由度姿势估计)相比，这种单自由度姿势估计类型可以提供更简单的消歧解决方案。
方法900可以行进到过程904，其中控制系统使用与联接到第一工具的第一操纵器相关联的操纵器/输入设备信息(例如，传感器数据、运动学数据、历史工具状态(例如，运动、姿势)数据、或它们的组合)信息来生成第一工具或其一部分的第一姿势估计。可以基于第一基于姿势估计的消歧设置来生成这种第一姿势估计。例如，操纵器信息可以包括具有操纵器数据源类型的数据。传感器系统可以包括一个或多个传感器，包括例如惯性测量单元(IMU)、电磁传感器、光学跟踪系统、图像跟踪系统、混合传感器系统、第一操纵器的编码器、其他合适的传感器系统及它们的组合。在示例中，图像跟踪系统可以包括在患者解剖结构外部的相机，并且使用图像跟踪算法来提供操纵器信息(例如，第一操纵器和其他操纵器和/或患者之间的对准信息、第一操纵器移动信息等)。
对于进一步的示例，可以根据由第一基于姿势估计的消歧设置提供的姿势估计类型来生成第一姿势估计。第一姿势估计可以包括例如末端执行器姿势估计、腕部姿势估计、轴姿势估计等。每个姿势估计可以具有一个或多个自由度，如第一基于姿势估计的消歧设置所提供的。
在一些实施例中，在过程904处，控制系统可以使用与联接到第二工具的第二操纵器/第二输入设备相关联的操纵器/输入设备信息(例如，传感器数据、运动学数据、历史工具状态(例如，运动、姿势)数据、或它们的组合)来生成第二工具或其一部分的第二姿势估计。可以基于与第二工具相关联的第二基于姿势估计的消歧设置来生成第二姿势估计。在一些实施例中，第一基于姿势估计的消歧设置和第二基于姿势估计的消歧设置包括不同的姿势估计类型。在一些实施例中，在过程904处，第一姿势估计和第二姿势估计中的每一者可以包括在成像设备的视场中的工具的近似位置。
方法900可以行进到过程906，其中控制系统将图像处理算法应用于来自成像设备的图像数据，并且生成与第一图像空间工具相关联的第一观察姿势和与第二图像空间工具相关联的第二观察姿势。在一些实施例中，基于第一基于姿势估计的消歧设置和第二基于姿势估计的消歧设置来生成第一观察姿势和第二观察姿势，第一观察姿势和第二观察姿势中的每一者可以包括与姿势估计类型相对应的观察姿势数据。在将成像设备的视场划分为区域(例如，象限)的示例中，第一观察姿势信息和第二观察姿势信息中的每一者可以包括图像空间工具所位于的FOV的对应区域。使用其中每个图像空间工具位于有区别的区域的粗略位置估计，可以实现消歧。
方法900可以行进到过程908，其中控制系统基于第一观察姿势和第二观察姿势以及第一工具的第一姿势估计来建立第一选定图像空间工具与第一工具之间的第一对应关系。在一些示例中，控制系统确定第一选定图像空间工具的观察姿势(例如，观察钳口打开量)与第一姿势估计(例如，钳口打开量估计)相匹配，并且建立该第一选定图像空间工具与第一工具之间的对应关系。
在一些实施例中，在过程908处，控制系统基于第一观察姿势和第二观察姿势以及第二工具的第二姿势估计来建立第二选定图像空间工具与第二工具之间的第二对应关系。在示例中，选择第二选定图像空间工具，因为它具有与第二工具的第二姿势估计相匹配的观察姿势。然后，那些第一对应关系和第二对应关系可以在配准中用于分别确定第一工具和第二工具的主机-工具对准，如上面参考图5的过程516所讨论的。
参见图10，示出了基于外观的消歧方法1000(例如，图5的基于外观的消歧过程512)，其中控制系统可以基于由基于外观的消歧设置提供的预定义外观和使用图像数据的图像空间工具的观察外观来建立工具与图像空间工具之间的对应关系。方法1000在图10中被示为一组操作或过程1002至1006。并非全部的所示过程1002至1006都可以在方法1000的所有实施例中执行。另外，在图10中未明确示出的一个或多个过程可以包括在过程1002至1006之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法1000从过程1002开始，其中控制系统提供与第一操纵器所控制的第一工具相关联的第一基于外观的消歧设置，以及与第二操纵器所控制的第二工具相关联的第二基于外观的消歧设置。基于外观的消歧设置可以提供预定义外观，包括例如工具或工具的一部分的光学可识别属性。光学可识别属性的示例包括：颜色；对可见光、红外光或紫外光的反射率或透射率；几何属性，诸如形状或尺寸(例如，宽度、长度、大小)；自由度的数量；自由度的类型；关节的数量；关节的类型；半透明度；表面图案、文字或图形标记；自然工具界标；人工标记；任何其他呈现属性；和/或它们的组合。工具的示例部分包括轴、末端执行器、钳式工具的钳口、腕式工具的腕部以及工具的任何其他部分。
例如，基于外观的消歧设置包括一个或多个基于工具几何属性的尺寸，诸如尖端长度、末端执行器宽度、工具的两个关节之间的距离、轴直径或某个其他工具尺寸。可以通过任何适当的方式来确定图像空间工具的观察外观(包括通过使用人工智能，诸如经由用适当训练数据集训练的机器学习系统或神经网络)，以识别相关的形状、颜色、图案、工具界标等。诸如面积、长度、宽度、周长、距离等的尺寸可以通过对所识别的工具形状和工具界标进行后处理来确定。
图12示出了根据本公开的实施例的工具1200的示例外观和姿势估计。在各种实施例中，控制系统可以确定基于外观的消歧的任意数量的几何参数，诸如以下的估计：沿轴的定义位置(例如，第二轴点1242)与U形夹之间的长度(l1)、第一钳口1225的长度(l2)、第二钳口1227的长度(l3)等。在确定姿势估计时，控制系统可以识别并使用工具1200上的界标点。例如，在一些实施例中，控制系统通过使用U形夹点1243来计算到U形夹的距离，将第一钳口1225的长度(l2)计算为U形夹点1243与第一尖端点1244之间的距离，或将第一钳口1227的长度(l3)计算为U形夹点1243与第二尖端点1245之间的距离。图12仅示出了基于外观的消歧的几何参数的一个示例，并且其他实施例可以涉及更少、更多或不同的几何参数、界标点等。
在特定示例中，在工具包括钳口和腕部的实施例中，基于外观的消歧设置包括工具的几何属性，包括尖端长度和U形夹到腕部的距离。工具的基于外观的消歧设置是从预先编程信息中导出的。在实施例中，工具的几何属性存储在工具的存储器中并由工具提供给控制系统。在另一个实施例中，几何属性被存储在控制系统的存储器中；工具将其模型或特定身份传达给控制系统，并且控制系统将该模型或特定身份与该工具的适用几何属性进行相互对照。
在一些实施例中，预定义外观可以包括包含识别特征的唯一合成标记。标记可以包括光学的、机器可读的数据表示。在示例中，标记可以包括条形码、快速响应(QR)码。在另一个示例中，标记可以包括编码工具序列号，其可以用于在成像设备的视场中的具有相同工具样式的工具中识别特定工具。在另一个示例中，标记可以仅在对于人的肉眼而言的可见光谱(例如，约390纳米至700纳米之间)外部的频带中的光波长带中(例如，近红外波长带中)可见。在又一个示例中，标记包括光谱编码(例如，使用特定波长带下的反射、吸收、透射或荧光中的一者)。在又一个示例中，标记可以是有源的(例如，通过发光)。在该示例中，标记(例如，位于工具的轴或工具尖端处)可以发射光(例如，使用与工具尖端、光纤、光导等集成的光源(例如，发光二极管(LED)))。该有源标记的发射光的属性(例如，颜色、波长、脉冲波形)可以用于识别工具。
在一些实施例中，这样的预定义外观对于特定工具可以是有区别的，这可以用于将来自多个图像空间工具中的图像空间工具唯一地识别为其对应工具。在一些实施例中，工具的预定义外观可以用于将工具映射到对应的操纵器。在一些实施例中，这样的预定义外观对于特定工具可以是有区别的，这可以用于将来自多个图像空间工具中的图像空间工具唯一地识别为其对应工具。在一些实施例中，工具的预定义外观可以用于将工具映射到对应的操纵器。在示例中，当工具接合和/或附接到操纵器时，控制系统可以使用来自图像空间外部的工具的信息来确定工具的预定义外观。例如，工具的预定义外观可以由工具直接或间接提供(例如，直接编码在来自射频识别(RFID)标签、电路、存储器等的信息中，或通过足以使控制系统相互对照相关联的预定义外观的工具识别信息来间接提供)。
方法1000然后可以行进到过程1004，其中控制系统处理来自成像设备的图像数据以生成与第一图像空间工具相关联的第一观察外观以及与第二图像空间工具相关联的第二观察外观。在一些实施例中，成像设备是多光谱成像设备并且可以用于使用光谱编码来捕获用于标记的图像数据。控制系统可以使用各种算法(例如，图像处理、解码)来提取图像空间工具的观察外观信息，包括例如从标记生成工具识别信息。
方法1000然后可以行进到过程1006，其中控制系统通过将第一选定图像空间工具的观察外观与第一工具的预定义外观进行匹配来建立第一选定图像空间工具与第一工具之间的第一对应关系。类似地，在过程1006处，控制系统可以通过将第二选定图像空间工具的观察外观与第二工具的预定义外观进行匹配来建立第二选定图像空间工具与第二工具之间的第一对应关系。
参见图11，示出了操作者指定的消歧方法1000(例如，图5的操作者指定的消歧过程514)，其中控制系统可以基于操作者指定的消歧设置所提供的指导操作者输入来建立工具和图像空间工具之间的对应关系。方法1100在图11中被示为一组操作或过程1102至1112。并非全部的所示过程1102至1112都可以在方法1100的所有实施例中执行。另外，在图11中未明确示出的一个或多个过程可以被包括在过程1102至1112之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时致使一个或多个处理器执行一个或多个过程。
方法1100从过程1102开始，其中控制系统提供与第一操纵器所控制的第一工具相关联的第一操作者指定的消歧设置。在一些实施例中，在过程1102处，控制系统还提供与第二操纵器所控制的第二工具相关联的第二操作者指定的消歧设置。第一操作者指定的消歧设置和第二操作者指定的消歧设置中的每一者可以提供预定义操作者操作，包括例如目标操作者命令运动或对关于图像空间工具与第一工具/第二工具之间的对应关系的操作者输入的请求。
在一些实施例中，方法1100行进到过程1104，其中控制系统可以向操作者提供指令(例如，使用显示器、音频指令)以便以目标运动(例如，以目标运动类型、目标运动量)或目标姿势(例如，以一个或多个自由度)移动特定工具(使用左手主机输入设备或右手主机输入设备)。控制系统还可以向操作者提供指令以使其他工具保持静止。方法1100可以行进到过程1106，其中控制系统处理来自成像设备的图像数据以生成与图像空间工具相关联的观察运动/姿势。然后，方法1100可以行进到过程1108，其中控制系统通过将第一选定图像空间工具的观察运动/姿势与第一工具的指导目标运动/姿势进行匹配来建立第一选定图像空间工具与第一工具之间的对应关系。
可替代地，在一些实施例中，在过程1102之后，方法1100可以行进到过程1110，其中控制系统可以指导操作者提供输入以将显示器中的对应图像空间工具识别为对应工具。在示例中，操作者可以使用图形光标以悬停在每个图像空间工具以及其与工具的对应关系上方并点击。可以由操作者通过识别手(例如，左手或右手)、操纵器(例如，具有特定位置)或操作者(例如，具有特定位置)来执行这种识别。在另一个示例中，操作者可以使用操作者控制台的触摸屏来提供这样的输入。方法1100然后可以行进到过程1112，其中控制系统基于操作者输入来建立图像空间工具与第一工具之间的对应关系。
在各种实施例中，可以在操作(例如，医疗操作)之前或期间执行消歧过程。在医疗示例中，消歧过程可以在患者外部或患者内部的医疗操作之前(例如，在设置期间)执行。在另一个示例中，消歧过程可以在医疗操作期间执行。在又一示例中，消歧过程可以用于具有相同基部上的操纵器的机器人系统中，以检查和确认那些操纵器与其相应工具的配准。在一些实施例中，可以执行消歧过程(例如，过程600、700、800、900、1000、1100)的组合以提供改善的准确性、稳健性和冗余性。例如，当一些工具(例如，成像工具和成像工具的FOV中的工具)被机器人控制并且其他工具被手动控制时，可以使用遇到的消歧过程的这种组合。在一些实施例中，可以执行一次消歧过程以建立图像空间工具与工具之间的对应关系，并且随着时间的推移跟踪此类对应关系。在一些实施例中，当控制系统确定可能增加歧义的事件时，可以执行一个或多个消歧过程。此类事件可以包括例如替换成像工具15的成像设备、替换工具、系统重新对接等。
在各种实施例中，消歧过程可以用于外科手术和非外科手术机器人系统以及医疗和非医疗机器人系统(例如，工业和娱乐机器人系统)中的各种应用中。尽管使用外科手术机器人系统中的配准作为使用消歧过程的此类应用的示例，但消歧过程可以用于外科手术和非外科手术机器人系统以及医疗和非医疗机器人系统中的各种其他应用中。在示例中，消歧过程用于机器人系统的图形信息显示系统，该系统在显示器中的对应工具的图像顶部上叠加有关特定操纵器、其工具或其输入设备的图形信息。图形信息可以包括操纵器信息(例如，操纵器状态、操纵器运动或速度)和工具信息(例如，工具状态和特性)。图形信息还可以包括末端执行器命令的特殊功能(例如，诸如抽吸冲洗器的抽吸或冲洗、用于吻合器的夹持或切割的命令、用于电灼或超声的能量或某种其他能量的施加等)、手映射信息、来自操作者输入的控制功能可用性、配准的质量、工具或输入设备的运动范围信息、针对替代工具的建议、用于在多个操作者之间共享/交换工具的界面、场景注释和工具的测量、训练和指导信息等。在又一个示例中，通过能够指示(例如，在显示器上、在每个操纵器上、或在可穿戴增强现实头戴式耳机中)工具和操纵器映射，消歧过程被用于向助手提供指导。例如，在接收到操作者的指令(例如“请移除我左手的器械”，“请移除屏右侧的抓取器”)后，消歧过程所提供的工具和操纵器映射辅助助手按照操作者的指令移动对应的操纵器。在又一个示例中，消歧过程用于与自主任务执行、工具的可见伺服(例如，通过使用基于视觉的跟踪反馈信号以进行控制)、或使用机器视觉信息的多个工具的协调相关的应用。在那些示例中，消歧过程可以包括从图像空间到操纵器空间的映射。
本发明的实施例中的一个或多个要素可能以软件实现以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本发明的实施例的要素本质上是用于执行必要任务的代码段。程序或代码段可以存储在处理器可读存储介质或设备中，其可以通过传输介质或通信链路借助于体现在载波中的计算机数据信号下载。处理器可读存储器设备可以包括可以存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备示例包括电子电路；半导体设备、半导体存储器设备、只读存储器(ROM)、闪存存储器、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储设备。可以经由计算机网络(诸如互联网、内联网等)下载代码段。
应当注意，所呈现的过程和显示器可能并非固有地与任何特定计算机或其他装置相关。各种通用系统可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置来执行所描述的操作是方便的。各种的这些系统所需的结构将作为权利要求中的要素出现。此外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出了本发明的某些示例性实施例，但应当理解，此类实施例仅是对本发明的说明而不是对本发明的限制，并且本发明的实施例不限于所示出和描述的具体构造和布置，因为本领域普通技术人员可以想到各种其他修改。

Claims (10)

1.一种机器人系统，包括：
第一操纵器；以及
控制系统，所述控制系统被配置为：
接收由成像设备提供的图像数据，所述图像数据是至少一个工具的图像数据；
基于所述图像数据来确定至少一个图像空间工具；并且
基于与物理地联接到所述第一操纵器的第一工具相关联的第一消歧设置来确定所述至少一个图像空间工具中的第一图像空间工具即是所述第一工具的第一对应关系；
其中所述第一消歧设置包括选自由以下各项组成的组的类型：基于姿势的消歧设置、操作者指定的消歧设置、基于外观的消歧设置和基于运动的消歧设置。
2.根据权利要求1所述的机器人系统，其中所述控制系统被进一步配置为：
基于所述第一对应关系来确定所述成像设备与所述第一工具之间的第一对准关系；并且
基于所述第一对准关系使用所述第一操纵器来控制所述第一工具。
3.根据权利要求2所述的机器人系统，进一步包括：
输入设备，所述输入设备可通信地联接到所述控制系统；
其中为了基于所述第一对准关系使用所述第一操纵器来控制所述第一工具，所述控制系统被配置为：
基于所述第一对准关系命令所述第一操纵器根据从所述输入设备接收的移动命令来移动所述第一工具。
4.根据权利要求1所述的机器人系统，其中：
所述机器人系统进一步包括多个操纵器，所述多个操纵器包括所述第一操纵器；
当所述第一工具联接到所述第一操纵器时，所述控制系统确定所述第一对应关系，并且当所述成像设备联接到所述多个操纵器中的第二操纵器时，所述控制系统接收所述图像数据；
所述第一操纵器具有第一基部；并且
所述第二操纵器具有物理上独立于所述第一基部的第二基部。
5.根据权利要求1所述的机器人系统，其中所述控制系统被进一步配置为：
基于与第二工具相关联的第二消歧设置来确定所述至少一个图像空间工具中的第二图像空间工具即是所述第二工具的第二对应关系，其中所述第一消歧设置和所述第二消歧设置具有不同的类型。
6.根据权利要求1所述的机器人系统，其中所述控制系统被进一步配置为：
基于与第二工具相关联的第二消歧设置来确定所述至少一个图像空间工具中的第二图像空间工具即是所述第二工具的第二对应关系，其中所述第一消歧设置和所述第二消歧设置具有相同的类型。
7.根据权利要求1至6中任一项所述的机器人系统，其中所述第一消歧设置包括：操作者指定的消歧设置。
8.根据权利要求7所述的机器人系统，其中所述控制系统被进一步配置为：
指导操作者以第一移动来移动所述第一工具；并且
基于所述第一移动的表现来确定所述第一消歧设置。
9.根据权利要求1至6中任一项所述的机器人系统，其中所述第一消歧设置包括：基于外观的消歧设置。
10.根据权利要求9所述的机器人系统，其中所述基于外观的消歧设置包括：所述第一工具的可见特征。
CN202410526010.2A 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法 Pending CN118438439A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862748698P 2018-10-22 2018-10-22
US62/748,698 2018-10-22
CN201980045463.0A CN112384339B (zh) 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法
PCT/US2019/056443 WO2020086345A1 (en) 2018-10-22 2019-10-16 Systems and methods for master/tool registration and control for intuitive motion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980045463.0A Division CN112384339B (zh) 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法

Publications (1)

Publication Number Publication Date
CN118438439A true CN118438439A (zh) 2024-08-06

Family

ID=68426889

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410526010.2A Pending CN118438439A (zh) 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法
CN201980045463.0A Active CN112384339B (zh) 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980045463.0A Active CN112384339B (zh) 2018-10-22 2019-10-16 用于主机/工具配准和控制以进行直观运动的系统和方法

Country Status (4)

Country Link
US (2) US11897127B2 (zh)
EP (1) EP3870409A1 (zh)
CN (2) CN118438439A (zh)
WO (1) WO2020086345A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348324B1 (ko) * 2017-11-10 2022-01-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 로봇 조작기 또는 연관 도구를 제어하기 위한 시스템 및 방법
JP2020141833A (ja) * 2019-03-06 2020-09-10 川崎重工業株式会社 外科手術システムの制御方法および外科手術システム
PE20220161A1 (es) * 2019-05-31 2022-01-27 Cqms Pty Ltd Sistema de monitoreo de herramienta de contacto de tierra
GB2594325B (en) * 2020-04-24 2024-09-18 Cmr Surgical Ltd Powering a surgical robot arm
US11890060B2 (en) * 2020-04-29 2024-02-06 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
US11816831B2 (en) 2020-04-29 2023-11-14 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
CN115942912A (zh) * 2020-06-16 2023-04-07 直观外科手术操作公司 用于计算机辅助医疗系统的用户输入系统和方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5560360A (en) * 1992-03-09 1996-10-01 University Of Washington Image neurography and diffusion anisotropy imaging
US6044308A (en) 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
US6165170A (en) * 1998-01-29 2000-12-26 International Business Machines Corporation Laser dermablator and dermablation
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6711433B1 (en) * 1999-09-30 2004-03-23 Siemens Corporate Research, Inc. Method for providing a virtual contrast agent for augmented angioscopy
US6941513B2 (en) * 2000-06-15 2005-09-06 Cognisphere, Inc. System and method for text structuring and text generation
US7010390B2 (en) 2003-07-17 2006-03-07 Kuka Roboter Gmbh Method and system for controlling robots
JP3733364B2 (ja) 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
WO2006095324A1 (en) * 2005-03-10 2006-09-14 Koninklijke Philips Electronics N.V. Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9492240B2 (en) * 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US20080091634A1 (en) * 2006-10-15 2008-04-17 Lisa Seeman Content enhancement system and method and applications thereof
US7621169B2 (en) * 2006-10-26 2009-11-24 General Electric Company Systems and methods for integrating a navigation field replaceable unit into a fluoroscopy system
WO2010044852A2 (en) * 2008-10-14 2010-04-22 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
CN102294695A (zh) 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
CN103188987B (zh) 2010-11-02 2015-08-05 伊顿株式会社 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
WO2012060586A2 (ko) 2010-11-02 2012-05-10 주식회사 이턴 수술 로봇 시스템 및 그 복강경 조작 방법 및 체감형 수술용 영상 처리 장치 및 방법
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
EP2729850A4 (en) 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
US10758315B2 (en) * 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US10842461B2 (en) * 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11395706B2 (en) * 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11116576B2 (en) * 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
IN2015DN02064A (zh) 2012-10-05 2015-08-14 Beckman Coulter Inc
US10561470B2 (en) 2013-03-15 2020-02-18 Intuitive Surgical Operations, Inc. Software configurable manipulator degrees of freedom
WO2014146090A1 (en) 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Inter-operative switching of tools in a robotic surgical system
EP2968857B1 (en) 2013-03-15 2022-05-04 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments
US9840008B2 (en) 2013-03-19 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Robot system control method and robot system
DE102014214935A1 (de) 2014-07-30 2016-02-04 Siemens Aktiengesellschaft Verfahren zum Betreiben eines medizinisch-robotischen Geräts
US10828104B2 (en) * 2014-09-15 2020-11-10 Synaptive Medical (Barbados) Inc. Surgical navigation system using image segmentation
KR102617042B1 (ko) 2014-10-27 2023-12-27 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 테이블에 등록하기 위한 시스템 및 방법
GB201509341D0 (en) 2015-05-29 2015-07-15 Cambridge Medical Robotics Ltd Characterising robot environments
JP2017156511A (ja) * 2016-03-01 2017-09-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11071594B2 (en) * 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US10675094B2 (en) * 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
WO2019099346A2 (en) 2017-11-16 2019-05-23 Intuitive Surgical Operations, Inc. Master/slave registration and control for teleoperation
WO2019103954A1 (en) 2017-11-21 2019-05-31 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room

Also Published As

Publication number Publication date
CN112384339B (zh) 2024-05-14
US20240139936A1 (en) 2024-05-02
US11897127B2 (en) 2024-02-13
US20210354286A1 (en) 2021-11-18
CN112384339A (zh) 2021-02-19
EP3870409A1 (en) 2021-09-01
WO2020086345A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN112384339B (zh) 用于主机/工具配准和控制以进行直观运动的系统和方法
US20240108426A1 (en) Systems and methods for master/tool registration and control for intuitive motion
CN110944595B (zh) 用于将内窥镜图像数据集映射到三维体积上的系统
CN112004496B (zh) 与细长装置有关的系统和方法
JP7118890B2 (ja) 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
US20240325098A1 (en) Systems and methods for controlling tool with articulatable distal portion
CN113874951A (zh) 用于产生工作区体积和识别外科器械的可及工作区的系统和方法
US20200246084A1 (en) Systems and methods for rendering alerts in a display of a teleoperational system
US20220323157A1 (en) System and method related to registration for a medical procedure
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
EP3829826B1 (en) Systems and methods for controlling a robotic manipulator or associated tool
US20230092980A1 (en) Surgical robotic system setup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination