CN111050686A - 手术机器人系统的摄像机控制 - Google Patents

手术机器人系统的摄像机控制 Download PDF

Info

Publication number
CN111050686A
CN111050686A CN201880057442.6A CN201880057442A CN111050686A CN 111050686 A CN111050686 A CN 111050686A CN 201880057442 A CN201880057442 A CN 201880057442A CN 111050686 A CN111050686 A CN 111050686A
Authority
CN
China
Prior art keywords
image capture
robotic
capture device
handle
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880057442.6A
Other languages
English (en)
Other versions
CN111050686B (zh
Inventor
威廉·派纳
艾伯特·德沃尔尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111050686A publication Critical patent/CN111050686A/zh
Application granted granted Critical
Publication of CN111050686B publication Critical patent/CN111050686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mechanical Engineering (AREA)
  • Gynecology & Obstetrics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Manipulator (AREA)

Abstract

提供了用于手术机器人系统中的摄像机控制的系统和方法。该系统包括计算设备、多个机器人组件和外科医生控制台。多个机器人组件中的每个机器人组件均包括机械臂。第一机器人组件的机械臂联接到图像捕获设备。与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械。外科医生控制台包括多个手柄，每个手柄可通信地联接至与手术器械联接的机器人组件。外科医生控制台被配置为向计算设备传输一个或多个数据包，该一个或多个数据包包括与至少一个手柄的移动有关的数据。计算设备被配置为计算图像捕获设备的新位置并将指令传送到第一机器人组件以将图像捕获设备移动到新位置。

Description

手术机器人系统的摄像机控制
背景技术
使用手术机器人系统执行手术通常涉及使用摄像机，该摄像机被插入患者体内，以使外科医生能够观察患者体内的手术部位。通常，当将手术器械移动到摄像机提供的图像框之外或甚至图像框边缘附近的新位置时，外科医生需要重新定位摄像机，以将手术器械正确地捕获在新位置。外科医生通常需要停止控制手术器械以重新定位摄像机，这降低了外科医生可完成手术过程的效率。因此，需要系统和设备来改善手术机器人系统中的摄像机控制，并使外科医生能够更有效地使用手术机器人系统执行外科手术。
发明内容
根据本公开的一方面，提供了解决上述需求的系统和方法。在本公开的一方面中，提供一种手术机器人系统。该系统包括计算设备、多个机器人组件和外科医生控制台。多个机器人组件中的每个机器人组件均包括机械臂。多个机器人组件中的第一机器人组件的机械臂联接到图像捕获设备。与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械。外科医生控制台包括多个手柄，多个手柄中的每个手柄可通信地联接至机器人组件，该机器人组件包括联接至手术器械的机械臂。外科医生控制台被配置为向计算设备传输一个或多个数据包，该一个或多个数据包包括与多个手柄中的至少一个手柄的移动有关的数据。计算设备被配置为计算图像捕获设备的新位置并将指令传送到第一机器人组件以将图像捕获设备移动到新位置。
在实施例中，与至少一个手柄的移动有关的数据包括与至少一个手柄行进的距离有关的数据，并且至少部分地基于与至少一个手柄行进的距离有关的数据计算图像捕获设备的新位置。
在实施例中，至少部分地基于与至少一个手柄行进的距离有关的数据和应用于至少一个手柄行进的距离的比例因子计算图像捕获设备的新位置。
在实施例中，应用于距离的比例因子在多个比例因子之中，多个比例因子之中的每个比例因子与移动方向相关联。
在实施例中，系统还包括被配置为至少基于至少一个手柄行进的方向选择比例因子的计算设备。
在实施例中，与至少一个手柄的移动有关的数据包括与至少一个手柄行进的方向有关的数据，并且至少部分地基于与至少一个手柄行进的方向有关的数据计算图像捕获设备的新位置。
在实施例中，图像捕获设备的新位置相对于图像捕获设备的当前位置的方向与至少一个手柄行进的方向相同。
在实施例中，计算设备还被配置为响应于确定至少一个手柄的移动速度大于移动阈值计算图像捕获设备的新位置。
在实施例中，计算设备还被配置为响应于确定至少一个手柄的移动速度小于急剧移动阈值计算图像捕获设备的新位置。
在实施例中，计算设备还被配置为使用卡尔曼(Kalman)滤波器确定至少一个手柄的移动速度是否小于急剧移动阈值。
在实施例中，计算设备还被配置为使用低通滤波器确定至少一个手柄的移动速度是否小于急剧移动阈值。
根据本公开的另一方面，提供了一种手术机器人系统，其包括计算设备和多个机器人组件，其中多个机器人组件中的每个机器人组件包括机械臂。多个机器人组件中的第一机器人组件的机械臂联接到图像捕获设备。与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械。具有联接至手术器械的机械臂的机器人组件的至少子集被配置为将联接至手术器械的机械臂的运动学数据传输至计算设备。计算设备被配置为至少部分地基于联接到手术器械的机械臂的运动学数据计算图像捕获设备的新位置，并且将指令传送到第一机器人组件以将图像捕获设备移动到新位置。
在实施例中，计算设备还被配置为识别联接到机械臂的每个手术器械的先前位置，并且至少部分地基于每个手术器械的先前位置以及接收到的运动学数据计算图像捕获设备的新位置。
在实施例中，计算设备还被配置为基于每个手术器械的先前位置和新位置计算每个手术器械的位置变化，识别图像捕获设备的当前位置，并至少部分地基于图像捕获设备的当前位置和每个手术器械的位置变化计算图像捕获设备的新位置。
根据本公开的另一方面，提供了一种手术机器人系统，其包括计算设备和多个机器人组件，其中多个机器人组件中的每个机器人组件包括机械臂。多个机器人组件中的第一机器人组件的机械臂联接到图像捕获设备，该图像捕获设备被配置为捕获一个或多个图像。第一机器人组件配置成将一个或多个捕获的图像传输到计算设备。与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械。计算设备被配置为识别一个或多个图像内的手术器械，基于所识别的手术器械识别相对感兴趣点，至少部分基于相对感兴趣点计算图像捕获设备的新位置，并将指令传送到第一机器人组件以将图像捕获设备移动到新位置。
在实施例中，相对感兴趣点是基于一个或多个图像内的手术器械的位置计算的质心。
在实施例中，相对感兴趣点是相对于中心点的位置偏移，该中心点基于一个或多个图像内的手术器械的位置而计算。
在实施例中，计算设备还被配置为至少部分地基于图像捕获设备的当前位置和相对感兴趣点计算图像捕获设备的新位置。
在实施例中，手术机器人系统还包括联接到第二图像捕获设备的多个机器人组件之中的第二机器人组件的机械臂。第二图像捕获设备被配置为捕获一个或多个图像，该一个或多个图像包括手术器械和联接至第一机器人组件的图像捕获设备。第二机器人组件被配置为将一个或多个捕获的图像传输到计算设备。计算设备还被配置为在由第二图像捕获设备捕获的一个或多个图像内识别手术器械和联接至第一机器人组件的图像捕获设备，使用由第二图像捕获设备捕获的一个或多个图像基于所识别的手术器械识别相对感兴趣点，并将指令传输到第一机器人组件，以将联接到第一机器人组件的图像捕获设备移动到新位置。
在实施例中，第二图像捕获设备的变焦镜头以广角视图定位，使得第二图像捕获设备的图像框包括手术器械和与第一机器人组件联接的图像捕获设备。
在实施例中，提供了一种用于在手术机器人系统内进行摄像机控制的方法。该方法包括接收与外科医生控制台的多个手柄中的至少一个手柄的移动有关的数据。计算至少部分地基于与移动有关的数据的图像捕获设备的新位置，并且传输联接至图像捕获设备的第一机器人组件的指令以将图像捕获设备移动至新位置。
在实施例中，该方法还包括至少基于至少一个手柄行进的方向来选择比例因子。
在实施例中，提供了一种用于在手术机器人系统内进行摄像机控制的方法。该方法包括接收联接到手术器械的机械臂的运动学数据。至少部分地基于运动学数据计算图像捕获设备的新位置。将指令传输到联接到图像捕获设备的第一机器人组件，以将图像捕获设备移动到新位置。
在实施例中，该方法还包括识别联接到机械臂的每个手术器械的先前位置，其中至少部分地基于每个手术器械的先前位置和接收到的运动学数据计算图像捕获设备的新位置。
在实施例中，计算每个手术器械的位置变化是基于每个手术器械的先前位置和新位置。识别图像捕获设备的当前位置，其中至少部分地基于图像捕获设备的当前位置和每个手术器械的位置变化来计算图像捕获设备的新位置。
根据本公开的另一方面，提供了一种用于在手术机器人系统内进行摄像机控制的方法。该方法包括接收由与多个机器人组件中的第一机器人组件的机械臂联接的图像捕获设备捕获的一个或多个图像。在一个或多个图像中，识别出多个机器人组件中联接到与第一机器人组件不同的机器人组件的至少一个子集的机械臂的手术器械。识别基于所识别的手术器械的相对感兴趣点。计算至少部分地基于相对感兴趣点的图像捕获设备的新位置，并且向第一机器人组件发送指令以将图像捕获设备移动到新位置。
在实施例中，该方法还包括接收由联接至多个机器人组件中的第二机器人组件的机械臂的第二图像捕获设备捕获的一个或多个图像，其中由第二图像捕获设备捕获的一个或多个图像包括手术器械和联接到第一机器人组件的图像捕获设备。在由第二图像捕获设备捕获的一个或多个图像内，识别手术器械和与第一机器人组件联接的图像捕获设备。基于所识别的手术器械，使用由第二图像捕获设备捕获的一个或多个图像来识别相对感兴趣点。使用由第二图像捕获设备捕获的一个或多个图像基于识别的相对感兴趣点，计算图像捕获设备的新位置。传输到第一机器人组件的指令以将联接到第一机器人组件的图像捕获设备移动到新位置。
附图说明
下文中参考附图描述了本公开的各个方面和特征，其中：
图1展示了根据本文的说明性实施例的示例性机器人手术系统；
图2是示出了采用图1的手术机器人系统的示例性方法的流程图，以确定是否激活了任何类型的同时移动控制模式；
图3是示出了采用图1的手术机器人系统的示例性方法的流程图，以基于手术控制台的手柄的运动来移动摄像机；
图4是示出了采用图1的手术机器人系统的示例性方法的流程图，以基于运动学数据移动摄像机；和
图5是示出了采用图1的手术机器人系统的示例性方法的流程图，以基于图像处理移动摄像机。
具体实施方式
本公开涉及用于机器人手术并在使用手术机器人系统执行手术时改善用户体验的手术机器人系统、方法和计算机可读介质。更具体地，本公开涉及用于手术机器人系统中的摄像机控制的系统和方法。具体地，本文描述的系统和方法提供了多种技术，用于同时控制手术机器人系统的一个或多个摄像机以及与手术机器人系统联接的一个或多个手术器械，同时使用手术机器人系统执行手术。一个或多个摄像机和一个或多个手术器械的同时控制减少了手术期间因执行以下过程而造成的中断：将控制从仅手术器械的移动切换到仅摄像机的移动，然后将摄像机移动到期望位置，然后将控制从仅摄像机的移动切换回仅手术器械的移动，然后恢复手术。因此，利用本文所述的技术、技能和实施例，为外科医生提供了与他或她在直接视觉接触(例如，不使用摄像机的视觉接触)手术器械和患者体内的手术部位的手术时所经历的体验相似的体验，这导致使用手术机器人系统更有效地进行手术。
现在参照附图对本公开的实施例进行详细的说明，在附图中，相似的附图标记指代若干视图中的每个视图中的完全相同或对应的元件。如本文所使用的，术语“用户”和“临床医生”是指医生、外科医生、护士、技术人员、医疗助理或类似的辅助人员或可以使用本文所描述的手术机器人系统的任何其它人。此外，在附图中和在以下描述中，为描述方便起见简单地使用术语，如前部、后部、上部、下部、顶部、底部和类似的方向术语，并且不旨在限制本公开。在以下描述中，未详细描述众所周知的功能或构造，以免以不必要的细节使本公开模糊不清。
现在参考图1，示出了根据本文的各种示例性实施例采用的说明性机器人手术系统100。本文所述的手术系统100被配置为以各种操作模式进行操作，包括但不限于同时控制在手术系统100中使用的一个或多个摄像机和手术器械的移动。手术系统100的一个或多个摄像机和手术器械的移动的同时控制的操作模式在本文中通常被称为“同时移动控制”模式。手术系统100被配置为在多个同时移动控制模式下操作，诸如基于手柄的运动的同时移动控制模式(例如，参见图3)、基于运动学数据的同时移动控制模式(例如，参见图4)和基于图像处理的同时移动控制模式(例如，参见图5)。在图2、图3、图4和图5的上下文中，在此提供了同时移动模式的附加细节。仅出于说明性的目的提供图1中描绘的系统100的部件的具体数量及其布置和配置，并且不应被解释为限制性的。例如，本文中的各种实施例采用比图1所示的所有组件更少或更多的组件。另外，图1中描绘的系统100是作为说明性上下文提供的，其中本文的各个示例性实施例均适用。
系统100包含手术期间患者104躺在上面的手术台102；手术期间用户用于交互的外科医生控制台170；计算设备180；以及一个或多个机器人组件，例如机器人组件190a、190b，其在本文统称为机器人组件190。为了方便起见，在两个机器人组件190a、190b的背景下进行本描述，但是应当理解，本公开内容类似地适用于包括两个以上机器人组件的实施例。借助于相应的通信路径106(分别地106a、106b和106c)，外科医生控制台170和计算设备180彼此通信地联接，并联接至机器人组件190a、190b，所述通信路径在本文的各个实施例中可以作为有线通信路径和/或作为无线通信路径实施。特别地，外科医生控制台170和计算设备180通过通信路径106a彼此通信地联接。计算设备180和机器人组件190a通过通信路径106b彼此通信地联接，并且计算设备180和机器人组件190b通过通信路径106c彼此通信地联接。外科医生控制台170和机器人组件190a通过通信路径106a、计算设备180和通信路径106b彼此通信地联接。类似地，外科医生控制台170和机器人组件190b通过通信路径106a、计算设备180和通信路径106c彼此通信地联接。
机器人组件190a包括多个子单元191a、192a、193a、194a。类似地，机器人组件190b包括多个子单元191b、192b、193b和194b。子单元191a和191b(统称191)是推车单元，子单元192a和192b(统称192)是设置臂单元，子单元193a和193b(统称193)是机械臂单元，子单元194a和194b(统称194)是器械驱动单元。在一些实施例中，本文描述的机器人组件的机械臂单元包括器械驱动单元，使得机械臂单元包括子单元193a(或193b)和子单元194a(或194b)。机器人组件190a的子单元191a、192a、193a和194a可操作地彼此直接或间接联接。例如，推车单元191a可操作地联接到设置臂单元192a、机械臂单元193a和器械驱动单元194a。类似地，设置臂单元192a可操作地联接至推车单元191a、机械臂单元193a和器械驱动单元194a，而机械臂单元193a可操作地联接至推车单元191a、设置臂单元192a、器械驱动单元194a，以及器械驱动单元194a可操作地联接到推车单元191a、设置臂单元192a和机械臂单元193a。子单元191a、192a、193a和194a还通过一个或多个通信路径(图1中未示出)直接或间接地彼此通信地联接。机器人组件190b的子单元191b、192b、193b和194b与机器人组件190a的子单元191a、192a、193a和194a可操作且通信地联接。
推车单元191a和191b在进行外科手术的患者104的范围内邻近手术台102布置。器械驱动单元194a和194b可与一个或多个相应的手术器械例如手术器械195a和/或图像捕获设备例如图像捕获设备196a联接，它们可以根据所执行的特定手术过程而互换地固定在其上。虽然图1示出了具有联接到手术器械195a的单个机器人组件190a的系统100，但系统100可以包括其每个联接到手术器械195a(统称为195)的几个机器人组件190，以及其每个联接到图像捕获设备196a(统称为196)的几个机器人组件190。如本文所述，图像捕获设备196的示例性类型包含但不限于内窥镜摄像机、腹腔镜摄像机、任何类型的图像捕获设备或联接到图像捕获设备的器械。尽管可以采用任何类型的手术器械195a，但是这种手术器械195的示例类型包括例如但不限于探针、末端执行器、抓紧器、刀、剪刀和/或类似物。根据本文的一些实施例，联接到器械驱动单元194b的一个或多个图像捕获设备196，例如图像捕获设备196a，是包括在探针中的立体图像捕获设备，并且被插入到患者104中，以在手术过程中捕获患者104内感兴趣区域的立体图像。由图像捕获设备196a捕获的图像被传输到外科医生控制台170的显示设备122(在本文中也称为“显示器”)，该显示设备向外科医生显示图像。
推车单元191a和191b被配置为沿着手术台102或患者104的侧面并且朝向和远离手术台102或患者104移动。在一些实施例中，手术系统100的机器人组件，例如机器人组件190a或190b，包括一个或多个驱动马达(图1中未示出)，其联接至机器人组件的设置臂单元192、机械臂单元193和/或器械驱动单元194，以引起相应的子单元和/或与之联接的手术器械195a或图像捕获设备196a的运动。
计算设备180包括一个或多个处理器118和一个或多个存储器单元120。所述一个或多个处理器118可操作地联接到所述一个或多个存储器单元120。在各个实施例中，计算设备180可以与外科医生控制台170集成，或者可以是安置在手术室内或附近的独立设备，如计算塔。所述一个或多个处理器118可以是适用于进行或执行本文描述的技术或操作或指令的任何类型的合适的处理器。例如，处理器可以是硬件处理器，其被编程为根据固件、存储器或其他储存器或其组合中的指令执行本文所述的技术。类似地，处理器也可以是被持续编程成执行本文描述的技术或操作的一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)。处理器还可以是中央处理单元(CPU)、数字信号处理器(DSP)、微处理器或并入用于执行本文描述的操作或技术的硬连线逻辑或程序逻辑或两者的任何其它设备。
所述一个或多个存储器单元120存储将由所述一个或多个处理器118执行的指令，如指令136(在一个实例中，软件)，并且由计算设备180响应于执行存储在所述一个或多个存储器单元120中的指令的所述一个或多个处理器118而执行本文描述的技术。所述一个或多个存储器单元120可以是用于存储数据的任何类型的硬件设备。一个或多个存储单元120可以是易失性存储器，例如随机存取存储器(RAM)(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)。一个或多个存储单元120可以是非易失性存储器，如只读存储器(ROM)(例如，可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、非易失性RAM(NVRAM)、和/或等)。一个或多个存储单元120也可以是磁性、光学或电介质。应当理解，处理器118和存储单元120的实施方式仅以示例的方式提供，并且不应被解释为限制性的。例如，本公开的实施例中的任何实施例的过程可以由硬件部件、固件部件、软件部件和/或其任何组合实施。
外科医生控制台170包括显示设备122、手柄112A、手柄112B(统称为手柄112)，使用者在外科手术过程中与之交互，以及脚踏板128。在一些实施例中，手柄112A是左手柄并且手柄112B是右手柄，分别由用户的左手和右手操作。显示设备122被配置为显示由外科医生控制台170接收的图像。外科医生控制台170从包括图像捕获设备196a的多个图像捕获设备196接收与患者104内的手术部位有关的图像，并且被配置为在显示设备122上显示接收到的图像。在一些实施例中，显示设备122被配置为显示三维(3D)图像。在一些实施例中，外科医生控制台170包括控制器(未示出)，该控制器被配置为从一个或多个被配置为捕获立体图像的图像捕获设备196(例如，图像捕获设备196a)接收一个或多个立体图像，并生成要在显示设备122上显示的3D图像。在一些实施例中，显示设备122是触摸显示器，或者包含触摸屏，其配置成通过临床医师的触摸接收输入。在手术系统100的操作期间，临床医生移动外科医生控制台170的手柄112以产生设置臂单元(例如设置臂单元192a)、机械臂单元(例如机械臂单元193a)、器械驱动单元(例如器械驱动单元194a)和/或一个或多个手术器械195(例如与器械驱动单元194a相连的手术器械195a)的相应移动和/或致动。基于临床医生对手柄112的询问，外科医生控制台170向机器人组件190a或190b提供信号和/或消息。在将信号和/或消息提供给机器人组件190a或190b时，外科医生控制台170通过通信路径106a将信号和/或消息发送给计算设备180。计算设备180通过通信路径106b将信号和/或消息传输至机器人组件190a，和/或通过通信路径106c将信号和/或消息传输至机器人组件190b。在一些实施例中，信号和/或消息分别被传送到机器人组件190a或190b的推车单元191a或推车单元191b，它们通过其他通信路径(图1中未示出)提供相应的信号或指令给相应机器人组件的子单元，以引起所命令的动作的执行。
外科医生控制台170包括传感器130A和130B(统称为传感器130)，其被配置为分别确定与手柄112A和手柄112B的运动有关的度量。与手柄112的运动有关的度量的示例性类型包括但不限于手柄112的移动方向、手柄112的移动速度、手柄112的移动距离、手柄112的移动的力、手柄112的移动的转矩等。外科医生控制台170将与手柄112的运动相关的度量数据发射到外科手术系统100的计算设备180和/或机器人组件，如机器人组件190a和机器人组件190b。
在一些实施例中，手柄112A包含各种触觉件124A和/或致动器126A，所述触觉件和/或致动器向外科医生提供与各种组织参数或条件有关的反馈，如由于操纵、切割或以其它方式处理而产生的组织阻力；器械对组织的压力；组织温度；组织阻抗、和/或等。类似地，在一些实施例中，手柄112B包含各种触觉件124B和/或致动器126B，所述触觉件和/或致动器配置成类似于触觉件124A和/或致动器126A。触觉件124A和124B在本文中统称为触觉件124。致动器126A和126B在本文中统称为致动器126。可以理解，这样的触觉件124为外科医生提供了可以通过肌肉和关节感测到的增强的反馈，例如动觉反馈(例如总力反馈、总运动反馈等)，和/或通过皮肤中的机械感受器感测到的触觉反馈(例如振动反馈、温度反馈、小规模形状反馈等)，从而模拟实际操作状况。触觉件124可以包含振动电机、电活性聚合物、压电装置、静电装置、亚音速音频波表面致动装置、反-电振动、或能够向用户提供触觉反馈的任何其它装置。如上所提及的，手柄112还可以包含各种不同的致动器126，例如，所述致动器可以用于精细的组织操纵和/或治疗，进一步增强外科医生模拟实际操作条件的能力。在一些实施例中，一个或多个马达(在图1中未单独示出)驱动触觉件124和/或致动器126以提供动觉力反馈，例如指示一种或多种组织特性、指示手术器械195a的运动范围、和/或指示跟踪错误已变大，这可能是由于碰撞或其他运动障碍所致。
脚踏板128配置成从临床医师接收对外科医生控制台170的一个或多个输入。从脚踏板128到外科医生控制台170的输入的示例性类型包括但不限于用于激活和停用手术系统100的一个或多个操作模式的输入，包括同时移动控制模式。脚踏板128配置成放置在两个或更多个位置中，并且脚踏板128的一个位置与外科医生控制台170的输入相关联。脚踏板128的位置的选择向外科医生控制台170提供相关联的输入。例如，如果脚踏板128的第一位置与激活手术系统100的操作模式相关联，而脚踏板128的第二位置与禁用手术系统100的操作模式相关联，则选择第一位置向外科医生控制台170提供了输入以激活操作模式，而第二位置的选择向外科医生控制台170提供了输入以取消操作模式。脚踏板128的位置之一被配置为脚踏板128的静止位置。当脚踏板128处于静止位置时，输入信号不传输到外科医生控制台170。在一些实施例中，当脚踏板128处于静止位置时，指示脚踏板128没有被用户询问的输入被传输至外科医生控制台170。在一些实施例中，脚踏板128是瞬时脚踏开关，并且基于对脚踏板128的一系列询问，如双击脚踏板128，发射外科医生控制台170的输入。
外科医生控制台170被配置为基于经由脚踏板128接收的输入来确定要执行的一项或多项操作。外科医生控制台170将通过脚踏板128接收的输入发射到外科手术系统100的计算设备180和/或机器人组合件。外科医生控制台170还被配置成基于经由脚踏板128接收的输入来确定是否选择了手术系统100的操作模式，然后基于通过脚踏板128接收的输入确定与进行选择的操作模式相关联的一个或多个操作。
在一些实施例中，脚踏板128可操作地和/或通信地联接到计算设备180，并且响应于接收到来自用户的输入，例如脚踏板128的位置的选择，脚踏板128发送与所选位置相关联的输入信号直接到计算设备180。计算设备180被配置为基于从脚踏板128接收到的输入信号确定要执行的一个或多个操作，包括激活或停用外科手术系统100的操作模式。在一些实施例中，计算设备180将消息或数据包发送到外科医生控制台170，其包括标识经由脚踏板128从用户接收的输入的数据。
如上所述，系统100的部件，例如外科医生控制台170、计算设备180、机器人组件190等，被配置为从彼此接收数据并向彼此发送数据。在一些实施例中，由系统100的部件接收和发送的数据与指示数据类型的标识符相关联。如本文在上下文中所使用的，术语“数据类型”通常是指与数据相关的信息类别。每种类型的数据都与唯一的标识符相关联，在此称为“数据类型标识符”。例如，与外科医生控制台170的手柄112的移动有关的数据与数据类型标识符相关联，而提供确认的数据与另一数据类型标识符相关联。系统100的部件被配置为将与数据相关联的数据类型标识符发送到接收数据的部件。系统100的部件被配置为基于与所接收的数据相关联的数据类型标识符来确定由部件接收的数据的类型。系统100的部件配置有一组规则，这些规则将数据的类型与对应的数据类型标识符相关联，在本文中称为“数据类型规则”。
系统100的部件被配置为基于数据类型规则来识别与数据类型相关联的数据类型标识符。例如，外科医生控制台170被配置为基于数据类型规则来识别与手柄112的移动有关的数据相对应的数据类型标识符，并将与手柄112的移动有关的数据与对应的数据类型相关联，并将关联的数据类型标识符发送到系统100的接收了与手柄112的移动有关的数据的部件，例如计算设备180。诸如计算机设备180的接收与手柄112的移动有关的数据的部件被配置为基于数据类型规则以及由该部件接收并与收到的数据相关的数据类型标识符确定接收到的数据的类型。在一些实施例中，系统100的部件被配置为以一个或多个数据包向彼此发送数据和从彼此接收数据。在一些实施例中，以一个或多个数据包发送数据的系统100的部件包括与在一个或多个数据包中的至少一个中发送的数据相关联的数据类型标识符。
现在转到图2，示出了确定同时移动控制模式是否被激活并且识别同时移动控制模式的激活类型的说明性方法200。用户通过提供指示用户期望启用手术系统100的同时移动控制模式的输入来激活手术系统100的同时移动控制模式。由用户提供这种输入的示例是通过用户选择脚踏板128上的相应位置，从而使外科医生控制台170将数据传输到计算设备180，从而指示计算设备180激活同时移动控制模式。在脚踏板128可操作地和/或通信地直接联接到计算设备180的实施例中，计算设备180直接从脚踏板128接收输入信号，该输入信号指示用户期望手术系统100的同时移动控制模式，并且计算设备180将数据发送到用户希望激活手术系统100的同时移动控制模式的外科医生控制台170。
用户提供指示用户期望激活手术系统100的同时移动控制模式的输入的另一示例是通过选择呈现给用户的图形用户界面(GUI)上的一个或多个图形项目来进行的。外科医生控制台170被配置为在显示设备122上呈现这样的GUI(图2中未示出)。显示在显示设备122上的GUI呈现一个或多个图形项目，该图形项目被配置为接收到外科医生控制台170的输入，以激活或停用手术系统100的各种操作模式，包括但不限于同时移动控制模式。外科医生控制台170响应于经由GUI接收的用于激活同时移动控制模式的输入，将用于激活同时移动控制模式的数据发送给计算设备180。在一些实施例中，外科医生控制台170被配置为处理语音并从用户口头接收输入，并且向用户口头输出提示或请求，并且以口头形式提供给外科医生控制台170以激活同时移动控制模式的输入。随着同时移动控制模式的激活，外科医生控制台170的手柄112不会与控制诸如手术器械195a之类的手术器械195的移动断开。此外，随着同时移动控制模式的激活，手柄112A和手柄112B没有锁定在一起，而是保持彼此独立，使得用户可以彼此独立地移动手柄112A和手柄112B。
在步骤202中，计算设备180接收与外科医生控制台170的手柄112的移动有关的数据。与外科医生控制台170的手柄112的移动有关的数据是基于用户经由手柄112到外科医生控制台170的输入的数据，以移动联接到系统100的机器人组件例如机器人组件190的一个或多个手术器械195。在一些实施例中，由计算设备180接收的数据包括与手柄112的运动有关的度量数据，诸如手柄112的运动的距离、方向、速度等。在步骤204中，计算设备180确定同时移动控制模式是否被激活。响应于确定未激活同时移动模式(步骤204为“否”)，则在步骤208，计算设备180不移动一个或多个图像捕获设备196，例如联接至手术系统100的机器人组件例如机器人组件190b的图像捕获设备196a。
响应于确定同时控制模式被激活(步骤204为“是”)，然后在步骤206中，计算设备180确定被激活的同时移动模式的类型。在用户提供激活同时移动控制模式的输入之后，提示用户指定用户希望激活的同时移动控制模式的类型。在一些实施例中，经由在显示器122上呈现的GUI上显示的图形提示项来提示用户指定同时移动控制模式的类型。图形提示项显示其中手术系统100配置成操作并且请求用户选择同时移动控制模式的类型之一的各种类型的同时移动控制模式。在外科医生控制台170被配置为处理语音并从用户口头接收输入的实施例中，外科医生控制台口头输出提示或请求以指定同时移动控制模式的类型。例如，外科医生控制台170响应于从用户接收到用于激活同时移动控制模式的口头输入，向用户输出提示以陈述要激活的同时移动控制模式的类型。在脚踏板128可操作地和/或通信地直接联接到计算设备180的实施例中，计算设备180将数据传输到外科医生控制台170以请求用户指定同时移动控制模式的类型。
在一些实施例中，外科医生控制台170包括一个或多个输入设备(未示出)，诸如手柄、开关、旋钮、操纵杆和/或类似物，并且输入设备的每个位置与同时移动控制模式的类型相关联，输入设备位置的选择将相应的信号发送到外科医生控制台170。例如，如果外科医生控制台170配置有具有多个位置的旋钮，并且旋钮的第一位置与基于手柄112的移动的同时移动控制模式相关联，第二位置与基于联接到手术器械的机器人组件的机械臂单元的运动学数据的同时移动控制模式相关联，并且第三位置与基于图像处理的同时移动控制模式相关联，则旋钮的第三位置的选择为外科医生控制台170提供选择基于图像处理的同时移动控制模式的输入。
响应于接收到指示用户选择的同时移动控制模式的类型的数据，计算设备180通过存储指示所选择的同时移动控制模式类型被激活的数据来激活手术系统100的同时移动控制模式的类型，并且响应于从外科医生控制台170接收到与手柄112的移动有关的数据，计算设备180被配置为检查存储的数据以确定是否应当移动手术系统100的一个或多个图像捕获设备196。在一些实施例中，计算设备180被配置有默认类型的同时移动控制模式，并且响应于接收到用户期望激活同时移动控制模式的输入，计算设备180通过存储指示同时移动控制模式的默认类型已激活的数据激活同时移动控制模式的默认类型。在一些实施例中，向用户呈现用于改变同时移动控制模式的激活类型的选项，并且响应于对选项的选择，计算设备180停用同时移动控制模式的激活类型并激活新的同时移动控制模式类型。例如，如果同时移动控制模式的默认类型是基于外科医生控制台170的手柄112的运动的同时移动控制模式，并且用户提供输入以激活手术系统100的同时移动控制模式，则计算设备180激活默认类型的同时移动控制模式，并将数据传输到外科医生控制台170，以通过显示在显示屏122上的GUI向用户呈现其他类型的同时移动控制模式的选项。响应于对在GUI上显示的选项的选择，计算设备180停用激活的同时移动控制模式(基于外科医生控制台170的手柄112的运动的同时移动控制模式)，并激活与选定的选项相关联的同时移动控制模式。
在步骤206中，响应于确定同时移动控制模式的类型是基于手术系统100的外科医生控制台170的手柄112的运动(在步骤206中为“基于手柄”)，计算设备180执行子过程302，其额外细节在本文中在图3的上下文中提供。响应于确定同时移动控制模式的类型是基于运动学数据(在步骤206为“基于运动学的”)，计算设备180执行子过程402，本文在图4的上下文中提供其额外细节。响应于确定同时移动控制模式的类型是基于图像处理的(步骤206中的“基于图像处理”)，计算设备180执行子过程502，本文在图5的上下文中提供其额外细节。现在转到图3，示出了用于基于手术系统100的外科医生控制台170的手柄112的运动以同时移动控制模式移动图像捕获设备196的说明性方法300。在步骤306中，计算设备180识别要跟踪的外科医生控制台170的手柄112。如上所述，与基于手柄112的运动的同时移动控制模式相关联的设置被发送到计算设备180，并且计算设备180将该设置存储在可操作地联接到计算设备180的数据存储单元中。基于手柄112的运动与同时移动控制模式相关联的设置之一指定要跟踪的手柄112。例如，该设置可以指示仅跟踪手柄112中的一个，例如手柄112A。类似地，设置可以指示将跟踪所有手柄112。计算设备180基于与激活的同时移动控制模式相关联的设置数据来识别要跟踪的手柄112。
计算设备180被配置为防止外科医生控制台170的手柄112的意外移动转换为一个或多个图像捕获设备196例如图像捕获设备196a的移动。通过防止手柄112的意外移动的转换，计算设备180消除了来自用户的任何其他步骤或输入，以将图像捕获设备196重新定位回到其在手柄112的意外移动之前的位置。因此，计算设备180有效地消除了图像捕获设备196的意外移动，并防止了由于手柄112的突然运动而导致的手术部位的不稳定图像。这些技术的实例在步骤308和310中显示。在步骤308，计算设备180识别每个识别出的手柄112的移动速度。在步骤310中，计算设备180确定所识别的手柄112的速度是否高于急剧移动阈值。如本文所使用的，术语“急剧移动阈值”对应于当被移动时显著大于在外科手术过程中当被移动时手柄112的预期速度的手柄112的速度的值。在一些实施例中，在存储在计算设备180的一个或多个存储器中或在可操作地联接到计算设备180的存储单元中的配置数据中指定急剧移动阈值，并且在确定所识别的手柄112的速度是否高于急剧移动阈值时，计算设备180被配置为从存储器或数据存储单元检索急剧移动阈值。
如果计算设备180确定任何识别出的手柄112的速度高于急剧移动阈值(步骤310为“是”)，则计算设备180将手柄112的移动识别为无意的并且使过程返回到图2的步骤208。计算设备180不将指令发送到系统100的联接到一个或多个图像捕获设备196一个或多个机器人组件例如机器人组件190b来移动一个或多个图像捕获设备196。在一些实施例中，计算设备180被配置为将低通滤波器或卡尔曼滤波器应用于与手柄112的移动有关的数据，以便滤除所识别的手柄112的在急剧移动阈值之上的速度。在一些实施例中，计算设备180向外科医生控制台170发送消息，该消息指示手柄112的移动已被确定为无意移动，并且联接至机器人组件190的一个或多个图像捕获设备196将不会被移动。在一些实施例中，外科医生控制台170在GUI上显示警报消息，该警报消息指示由于手柄112的速度超过安全阈值而未移动与机器人组件190联接的一个或多个图像捕获设备196。
如果计算设备180确定每个识别出的手柄112的速度不高于急剧移动阈值(在步骤310为“否”)，则在步骤314中，计算设备180确定每个识别出的手柄112的速度是否高于移动阈值。如本文所使用的，术语“移动阈值”是指指示将手柄112的移动确定为用户的故意和预期移动所必需的手柄112的最小速度的值。在一些实施例中，类似于急剧移动阈值，在存储在计算设备180的存储器中或在可操作地联接到计算设备180的存储单元中的配置数据中指定移动阈值，并且在确定所识别的手柄112的速度是否高于移动阈值时，计算设备180被配置为从存储器或数据存储单元检索移动阈值。
在一些实施例中，对识别出的手柄112的速度进行滤波以实现反冲型特征，其操作如下。手柄112必须在一个方向上移动足够远，以使图像捕获设备196开始在相应方向上移动。只要手柄112继续沿大致相似的方向移动，则图像捕获设备196将在极限内继续沿相应的方向移动。如果手柄112反转方向，则手柄112必须移动通过盲区，然后图像捕获设备196将开始跟踪新的(反转的)方向上的手柄运动。以此方式，外科医生可以在不引起图像捕获设备196的相应运动的情况下在盲区内移动手柄112，然后可以将手柄112移到盲区之外以使图像捕获设备196在相应的方向中跟踪并沿相似的方向拖动盲区。
如果计算设备180确定任何识别出的手柄112的速度不高于移动阈值(在步骤314为“否”)，则在步骤316，计算设备180确定是否应调整图像框中相对感兴趣点。如本文所用，术语“图像框中的相对感兴趣点”是指图像框中相对于联接至系统100的机器人组件的一个或多个手术器械195的特定位置或点，例如，手术工具的尖端的中心点、两个或多个手术工具尖端之间的中心点、两个或多个手术工具尖端的质心、与两个或多个手术工具尖端的中心点或质心偏移的位置和/或类似点。
在确定是否应当调整图像框中的相对感兴趣点时，计算设备180基于手术工具尖端的位置的变化来计算图像框中的新的相对感兴趣点，然后确定图像框中新的和先前的相对感兴趣点之间的距离是否大于阈值。如果计算设备180确定该距离不大于阈值(步骤316为“否”)，则计算设备180将过程返回到图2中的步骤208，并且不向机器人组件发送指令以移动图像捕获设备196。如果计算设备180确定该距离大于阈值(在步骤316为“是”)，则在步骤318，计算设备180生成指令以将图像捕获设备196移动到图像框中新的相对感兴趣点。在一些实施例中，基于该距离和手术工具的尖端被移动的角度来计算图像框中的新的相对感兴趣点。
如果计算设备180确定每个识别出的手柄112的速度高于移动阈值(步骤314为“是”)，则在步骤320中，计算设备180识别每个识别出的手柄112的移动距离。在一些实施例中，计算设备180接收与每个识别出的手柄112的移动距离有关的数据。例如，在与所识别的手柄112的移动有关的数据相对应的一个或多个数据包中，接收每个所识别的手柄112的移动距离。如果在手柄112中识别出一个以上的手柄，则计算设备180通过基于每个所识别的手柄112的移动距离计算统计测量值，例如平均值，识别所识别的手柄112的移动距离。例如，如果将手柄112中的两个手柄标识为要跟踪的手柄112，并且一个手柄移动了10厘米(沿单个方向)，而另一个手柄移动了15厘米(沿相同单个方向)，并且选择了平均值作为要计算的统计度量，则计算设备180计算手柄112组合移动的平均距离12.5厘米，并将12.5厘米标识为标识的手柄112的移动距离。
在步骤322中，计算设备180识别所识别的手柄112的移动方向。如上所述，外科医生控制台170的手柄112被配置为在各种方向上移动，包括但不限于向左、向右、向上和/或向下，和/或以导致图像捕获设备196放大或缩小的方式移动。在一些实施例中，计算设备180在一个或多个数据包中接收与识别的手柄112的移动方向有关的数据，该一个或多个数据包与识别的手柄112的移动有关的数据相对应。在一些实施例中，与所识别的手柄112的移动方向有关的数据被指定为在0度至359度之间的范围内的值。
在步骤324中，计算设备180为每个识别出的手柄112识别比例因子。如本文所使用的，术语“比例因子”是指手柄112的移动与联接至机器人组件的手术器械的移动之间的比率。例如，比例因子为3：1表示手柄112移动三英寸转换为与机器人组件联接的手术工具移动1英寸。类似地，比例因子为2：1表示手柄112移动2英寸转换为与机器人组联接的手术工具的移动1英寸，比例因子为5：1表示手柄112移动5英寸转换为与机器人组件连接的手术工具移动1英寸。通过在同时移动控制模式激活期间或之后选择脚踏板128的位置，可以以任何一种或多种方式选择系统100的比例因子，包括但不限于通过外科医生控制台170的显示器122上显示的GUI，经由诸如旋钮之类的模拟输入机构选择比例因子。例如，如果同时移动控制模式被激活并且脚踏板128的第一位置与增加比例因子相关联，以将手柄112的移动转换成图像捕获设备196的移动，以及脚踏板128的第二位置与减小比例因子相关联以将手柄112的移动转换成图像捕获设备196的移动，则第一位置的选择增加比例因子，而第二位置的选择减小比例因子。
系统100被配置为允许针对特定操作模式(诸如同时移动控制操作模式之一)选择多个比例因子。每个比例因子与外科医生控制台170的手柄112的不同移动方向相关联，和/或与联接至系统100的机器人组件例如机器人组件190b的图像捕获设备196例如图像捕获设备196a的透镜的不同位置相关联。在存储在计算设备180的存储器或可操作地联接到计算设备180的数据存储单元中的配置数据中指定比例因子，并且计算设备180被配置为基于所识别的手柄112的移动方向或图像捕获设备196的透镜相对于手术器械195的位置识别手柄112的比例因子。例如，如果3：1的比例因子与手柄112向左的移动相关联，2：1的比例因子与手柄112向右的移动相关联，则计算设备180对于向左移动的手柄112选择比例因子为3：1，对于向右移动的手柄112选择比例因子为2：1。类似地，例如，如果图像捕获设备196的透镜处于与被缩小的镜头相对应的位置，则计算设备180确定镜头是否处于缩小的位置，并且响应于确定镜头处于缩小位置，标识为缩小位置的镜头指定的比例因子。在一些实施例中，如果每个手柄112在相同方向上移动，则将单个比例因子应用于每个手柄112。例如，如果手柄112A和手柄112B向左移动，则与左方向相关联的比例因子被应用于手柄112A和112B。
在步骤326中，计算设备180基于所识别的距离、方向和比例因子计算图像捕获设备196的新位置。计算设备180通过以下方式计算图像捕获设备196的新位置：将每个手柄112的相应比例因子应用于该手柄112的识别出的移动距离，计算每个识别出的手柄112的缩放的移动距离，并基于数学函数计算图像捕获设备196的最终距离和移动方向，该数学函数接受每个识别出的手柄112的缩放的移动距离和每个识别出的手柄112的移动方向作为输入。接受每个识别出的手柄112的缩放的移动距离和每个识别出的手柄112的移动方向作为输入的数学函数的实例是平均函数，其接受具有大小和方向的矢量作为输入。例如，如果识别出手柄112中的两个手柄，并且如果其中一个已识别的手柄112向右移动了10厘米(即移动方向为零度)，而另一个已识别的手柄112向左移动了15厘米(即移动方向为180度)，并且比例因子为5：1，数学函数为平均函数，则缩放距离为向右2cm，向左3cm，并应用平均函数至缩放的距离和它们各自的方向导致图像捕获设备196的最终距离和移动方向向左(或180度)0.5cm。因此，图像捕获设备196的新位置在图像捕获设备196的当前位置的左侧(或180度)0.5cm。
在步骤330中，计算设备180生成指令并将其传输到联接到图像捕获设备196的机器人组件190，以将图像捕获设备196移动到新位置。在一些实施例中，计算设备180识别与联接至图像捕获设备196的机器人组件相关联的唯一标识符，并使用该唯一标识符生成指令并将指令发送给机器人组件。如以上结合步骤204和208所指出的，如果未激活同时移动控制模式(在步骤204处为“否”)，例如在图像捕获设备196被拉出或处于保持模式期间，则图像捕获设备196不会跟踪手柄112的移动。
现在转到图4，示出了用于基于联接至手术系统100的机器人组件的手术器械195的机械臂193的运动学数据以同时移动控制模式移动图像捕获设备196的说明性方法400。如本文所使用的，术语“运动学数据”是指与设置臂单元192、机械臂单元193、器械驱动单元194和/或机器人组件190的其他关节的位置和/或方向有关的数据。在步骤406中，计算设备180识别联接到诸如手术器械195a的手术器械195的机械臂193的运动学数据。机器人组件190包括编码器，该编码器配置为输出机械臂例如机械臂193a的运动学数据。运动学数据包括与机械臂193a向左、右、上、下移动，朝向患者、远离患者的臂移动、臂的旋转程度有关的数据。机械臂193的运动学数据从机器人组件190传输到计算设备180，该机器人组件的机械臂193连接到手术器械195，例如手术器械195a。在一些实施例中，计算设备180被配置为基于传输至机器人组件以移动其机械臂的命令或指令识别联接至手术器械195的机械臂(诸如联接至手术器械195a的机械臂193a)的运动学数据。
在步骤408中，计算设备180识别手术器械195例如手术器械195a的先前位置。手术器械195的位置以三维坐标系表示，该三维坐标系由在x、y和z方向上的坐标系表示。计算设备180被配置为将手术器械195的先前位置保存在计算设备180的存储器或可操作地联接到计算设备180的数据存储单元中。在一些实施例中，计算设备180从联接至手术器械195的机器人组件接收手术器械195的位置，并且配置成将所接收的手术器械195的位置存储在计算设备180的存储器或可操作地联接到计算设备180的数据存储单元中。在步骤410中，计算设备180基于与手术器械195联接的机械臂的识别的运动学数据和手术器械195的先前位置，为与移动的一个或多个手柄112相关联的每个手术器械195计算新位置。
在步骤412中，计算设备180计算每个手术器械的先前位置和新位置之间的位置变化。在三维坐标空间中计算x、y和z方向上的点的位置变化。在步骤414中，计算设备180识别图像捕获设备196的当前位置。在一些实施例中，在移动图像捕获设备196之后，计算设备180从联接至图像捕获设备196的机器人组件接收图像捕获设备196的位置，并且计算设备180将该位置存储在计算设备180的存储器或可操作地联接到计算设备180的数据存储单元中。在一些实施例中，在图像捕获设备196被移动之后，计算设备180从机器人组件190接收联接到图像捕获设备196的机械臂的运动学数据，并且计算设备180被配置为基于接收到的运动学数据计算图像捕获设备196的位置并将图像捕获设备196的计算出的位置存储在计算设备180的存储器或可操作地联接到计算设备180的数据存储单元中。
在步骤416中，计算设备180基于所识别的图像捕获设备196的当前位置以及手术器械195的先前位置与新位置之间的位置变化来计算图像捕获设备196的新位置。在步骤418中，计算设备180生成并发送指令以将图像捕获设备196移动到新位置到联接至图像捕获设备196的机器人组件。在一些实施例中，可以将各种附加特征应用于结合图4描述的基于运动学数据的同时移动控制模式，方式类似于本文结合图3关于基于手柄运动的同时移动控制模式所描述的方式。这样的特征的示例性类型包括但不限于滤波、速度限制、反冲/盲区功能和/或图像捕获设备196的运动与手柄112的位置和/或多个手柄112的相应位置的数学组合的联系。
现在转到图5，示出了用于基于图像处理以同时移动控制模式移动图像捕获设备196的说明性方法500。在步骤506中，计算设备180在由计算设备180接收的一个或多个图像内识别一个或多个手术器械195或手术器械195的部分。计算设备180接收由图像捕获设备196捕获的一个或多个图像，该图像捕获设备联接至诸如机器人组件190a或190b的机器人组件的机械臂。在一些实施例中，图像捕获设备196包括在内窥镜内。一个或多个接收到的图像包括一个或多个手术器械195。计算设备180配置有多种图像处理技术和算法，包括用于识别图像内的对象或对象的一部分的图像处理技术，诸如手术器械195或手术器械195的部分，例如手术器械195的尖端。在一些实施例中，第二图像捕获设备196联接到不同机器人组件的不同机械臂，并且计算设备180接收由第二图像捕获设备196捕获的图像。在一些实施例中，第二图像捕获设备196的透镜被定位在广角视图中，使得捕获的图像包括第一图像捕获设备196和手术器械195，并且计算设备180被配置为在从第二图像捕获设备196接收的图像中识别手术器械195或手术器械195的部分。
在步骤508中，计算设备180识别每个接收到的图像的图像框中的相对感兴趣点。如上所述，术语“图像框中的相对感兴趣点”是指图像框中相对于联接至系统100的机器人组件的一个或多个手术器械195的特定位置或点。相对感兴趣点的实例包括但不限于手术器械的尖端的中心点、两个或更多个手术器械的尖端之间的中心点、两个或更多个手术器械的尖端的质心、偏离两个或多个手术器械尖端的中心点或质心的位置。计算设备180基于所识别的手术器械195或手术器械工具尖端的位置计算图像内的相对感兴趣点。因此，随着手术器械195在患者体内的移动，由计算设备180计算的相对感兴趣点相应地改变。
在步骤510中，计算设备180识别图像捕获设备196的当前位置。在一些实施例中，计算设备180被配置为将图像捕获设备196的最新或当前位置保存在计算设备180的存储器或可操作地联接到图像计算设备180的存储区域中。在一些实施例中，在图像捕获设备196移动到位置之后，计算设备180接收与图像捕获设备196的位置有关的数据。计算设备180被配置为通过访问存储图像捕获设备196的最近保存位置的存储区域来识别图像捕获设备196的当前位置。
在步骤512中，计算设备180基于图像捕获设备196的当前位置和图像内所识别的相对感兴趣点计算图像捕获设备196的新位置。如上所述，相对感兴趣点基于手术器械195的移动而改变。因此，部分地基于手术器械195的移动，移动图像捕获设备196的位置。因此，随着手术器械195在手术部位内的移动，图像捕获设备196跟随手术器械195。在步骤514中，计算设备180生成指令以将图像捕获设备196移动到新位置，并且将指令传输到联接至图像捕获设备196的机器人组件。在一些实施例中，可以将各种附加特征应用于结合图5描述的基于图像处理的同时移动控制模式，方式类似于本文结合图3关于基于手柄运动的同时移动控制模式所描述的方式。这样的特征的示例性类型包括但不限于滤波、速度限制、反冲/盲区功能和/或图像捕获设备196的运动与手柄112的位置和/或多个手柄112的相应位置的数学组合的联系。
短语“在一个实例中”、“在实例中”、“在一些实例中”、“在一个实施例中”、“在实施例中”、“在一些实施例中”或“在其它实施例中”可以各自指代根据本公开的相同或不同的实施例中的一个或多个实施例。“A或B”形式的短语意味着“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语意味着“(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)”。
本文描述的系统还可以利用一个或多个控制器来接收各种信息，并且对所接收的信息进行转换以生成输出。控制器可以包含任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包含多个处理器和/或多核中央处理单元(CPU)，并且可以包含如微处理器、数字信号处理器、微控制器、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等任何类型的处理器。控制器还可以包含用于存储数据和/或指令的存储器，当由所述一个或多个处理器执行所述数据和/或指令时，使所述一个或多个处理器执行一种或多种方法和/或算法。
本文描述的任何方法、程序、算法或代码可以被转换成编程语言或计算机程序，或者以编程语言或计算机程序表达。如本文所用，术语“编程语言”和“计算机程序”各自包含用于指定计算机指令的任何语言，并且包含(但不限于)以下语言和其衍生物：汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、可视化Basic、元语言自指定程序以及所有第一代、第二代、第三代、第四代、第五代或更高代的计算机语言。还包含数据库和其它数据模式以及任何其它元语言。解译、编译或使用编译和解译方法两者的语言之间没有区别。程序的编译版本与源版本之间没有区别。因此，对其中编程语言可以以多于一种的状态(如源、编译、对象或链接)存在的程序的引用是对任何和所有这种状态的引用。对程序的引用可以涵盖实际指令和/或那些指令的意图。
本文描述的任何方法、程序、算法或代码可以包含在本文描述的一个或多个机器可读媒体或存储器上。其上包含的代码或指令可以由载波信号、红外信号、数字信号和其它相似信号表示。
应理解，前文描述仅是对本公开的说明。在不脱离本公开的情况下，本领域的技术人员可以设计出各种替代性方案和修改。因此，本公开旨在涵盖所有这类替代、修改和变化。参考附图描述的实施例被呈现仅用于证明本公开的某些实例。非实质上不同于上文和/或所附权利要求中所描述的那些的其它元件、步骤、方法和技术也旨在处于本公开的范围内。

Claims (40)

1.一种手术机器人系统，其包括：
计算设备；
多个机器人组件，所述多个机器人组件中的每个机器人组件包括机械臂，
所述多个机器人组件中的第一机器人组件的机械臂联接到图像捕获设备，
与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械；和
包括多个手柄的外科医生控制台，所述多个手柄中的每个手柄通信地联接至机器人组件，该机器人组件包括联接至手术器械的机械臂，所述外科医生控制台被配置为向所述计算设备传输一个或多个包括与所述多个手柄中的至少一个手柄的移动有关的数据的数据包；
所述计算设备被配置为至少部分地基于与至少一个手柄的移动有关的数据计算所述图像捕获设备的新位置，并将指令传送到第一机器人组件以将所述图像捕获设备移动到所述新位置。
2.根据权利要求1所述的手术机器人系统，其中所述与至少一个手柄的移动有关的数据包括与所述至少一个手柄行进的距离有关的数据，并且至少部分地基于所述与至少一个手柄行进的距离有关的数据计算所述图像捕获设备的新位置。
3.根据权利要求2所述的手术机器人系统，其中至少部分地基于所述与至少一个手柄行进的距离有关的数据和应用于所述至少一个手柄行进的距离的比例因子计算所述图像捕获设备的新位置。
4.根据权利要求3所述的手术机器人系统，其中应用于距离的所述比例因子在多个比例因子之中，所述多个比例因子之中的每个比例因子与移动方向相关联。
5.根据权利要求4所述的手术机器人系统，其中所述计算设备被进一步配置成至少基于所述至少一个手柄行驶的方向选择所述比例因子。
6.根据权利要求1所述的手术机器人系统，其中所述与至少一个手柄的移动有关的数据包括与所述至少一个手柄行进的方向有关的数据，并且至少部分地基于所述与至少一个手柄行进的方向有关的数据计算所述图像捕获设备的新位置。
7.根据权利要求6所述的手术机器人系统，其中所述图像捕获设备的新位置相对于所述图像捕获设备的当前位置的方向处于与所述至少一个手柄行进的方向相同的方向。
8.根据权利要求1所述的手术机器人系统，其中所述计算设备还被配置为响应于确定所述至少一个手柄的移动速度大于移动阈值计算所述图像捕获设备的新位置。
9.根据权利要求1所述的手术机器人系统，其中所述计算设备还被配置为响应于确定所述至少一个手柄的移动速度小于急剧移动阈值计算所述图像捕获设备的新位置。
10.根据权利要求9所述的手术机器人系统，其中所述计算设备还被配置为使用卡尔曼滤波器确定所述至少一个手柄的移动速度是否小于急剧移动阈值。
11.根据权利要求9所述的手术机器人系统，其中所述计算设备还被配置为使用低通滤波器确定所述至少一个手柄的移动速度是否小于急剧移动阈值。
12.一种手术机器人系统，其包括：
计算设备；
多个机器人组件，所述多个机器人组件中的每个机器人组件包括机械臂，
所述多个机器人组件中的第一机器人组件的机械臂联接到图像捕获设备，和
与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械；
具有联接至所述手术器械的机械臂的机器人组件的所述至少一个子集被配置为将联接至所述手术器械的机械臂的运动学数据传输至所述计算设备；和
所述计算设备被配置为至少部分地基于联接到所述手术器械的机械臂的运动学数据计算所述图像捕获设备的新位置，并且将指令传送到第一机器人组件以将所述图像捕获设备移动到新位置。
13.根据权利要求12所述的手术机器人系统，其中所述计算设备还被配置为识别联接到所述机械臂的每个手术器械的先前位置，并且至少部分地基于每个手术器械的所述先前位置以及接收到的运动学数据计算所述图像捕获设备的新位置。
14.根据权利要求12所述的手术机器人系统，其中所述计算设备被进一步配置成：
基于每个手术器械的先前位置和新位置，计算每个手术器械的位置变化，
识别所述图像捕获设备的当前位置，和
至少部分地基于所述图像捕获设备的当前位置和每个手术器械的位置变化计算所述图像捕获设备的新位置。
15.一种手术机器人系统，其包括：
计算设备；
多个机器人组件，所述多个机器人组件中的每个机器人组件包括机械臂，
所述多个机器人组件中的联接到图像捕获设备的第一机器人组件的机械臂，所述图像捕获设备被配置成捕获一个或多个图像，所述第一机器人组件配置为将所述一个或多个捕获的图像传输到所述计算设备；和
与第一机器人组件不同的机器人组件的至少一个子集的机械臂联接到手术器械；
所述计算设备被配置为识别所述一个或多个图像内的所述手术器械，基于所识别的手术器械识别相对感兴趣点，至少部分基于所述相对感兴趣点计算所述图像捕获设备的新位置，并将指令传送到第一机器人组件以将所述图像捕获设备移动到新位置。
16.根据权利要求15所述的手术机器人系统，其中所述相对感兴趣点是基于所述一个或多个图像内的手术器械的位置计算的。
17.根据权利要求15所述的手术机器人系统，其中所述相对感兴趣点是从基于所述一个或多个图像内的手术器械的位置计算的中心点偏移的位置。
18.根据权利要求15所述的手术机器人系统，其中所述计算设备还被配置为至少部分地基于所述图像捕获设备的当前位置和所述相对感兴趣点计算所述图像捕获设备的新位置。
19.根据权利要求15所述的手术机器人系统，其进一步包括：
所述多个机器人组件中的联接到第二图像捕获设备的第二机器人组件的机械臂，所述第二图像捕获设备配置为捕获包括所述手术器械和联接到所述第一机器人组件的所述图像捕获设备的一个或多个图像，所述第二机器人组件配置成将一个或多个捕获的图像传输到所述计算设备；
其中所述计算设备还被配置为在由第二图像捕获设备捕获的一个或多个图像内识别所述手术器械和联接至第一机器人组件的图像捕获设备，和使用由第二图像捕获设备捕获的一个或多个图像基于所识别的手术器械识别所述相对感兴趣点，基于使用由第二图像捕获设备捕获的一个或多个图像识别的所述相对感兴趣点计算所述图形捕获设备的新位置并将指令传输到第一机器人组件，以将联接到第一机器人组件的图像捕获设备移动到新位置。
20.根据权利要求19所述的手术机器人系统，其中第二图像捕获设备的变焦镜头以广角视图定位，使得第二图像捕获设备的图像框包括所述手术器械和与第一机器人组件联接的所述图像捕获设备。
21.一种用于手术机器人系统中的摄像机控制的方法，所述方法包括：
接收与外科医生控制台的多个手柄中的至少一个手柄的移动有关的数据；
至少部分地基于与所述移动相关的数据计算所述图像捕获设备的新位置；和
将指令传输到联接到所述图像捕获设备的第一机器人组件，以将所述图像捕获设备移动到所述新位置。
22.根据权利要求21所述的方法，其中所述与至少一个手柄的移动有关的数据包括与所述至少一个手柄行进的距离有关的数据，并且至少部分地基于所述与至少一个手柄行进的距离有关的数据计算所述图像捕获设备的新位置。
23.根据权利要求22所述的方法，其中至少部分地基于所述与至少一个手柄行进的距离有关的数据和应用于所述至少一个手柄行进的距离的比例因子计算所述图像捕获设备的新位置。
24.根据权利要求23所述的方法，其中应用于所述距离的比例因子在多个比例因子之中，所述多个比例因子之中的每个比例因子与移动方向相关联。
25.根据权利要求24所述的方法，其进一步包括：
至少基于所述至少一个手柄行进的方向选择所述比例因子。
26.根据权利要求21所述的方法，其中所述与至少一个手柄的移动有关的数据包括与所述至少一个手柄行进的方向有关的数据，并且至少部分地基于所述与至少一个手柄行进的方向有关的数据计算所述图像捕获设备的新位置。
27.根据权利要求26所述的方法，其中所述图像捕获设备的新位置相对于所述图像捕获设备的当前位置的方向处于与所述至少一个手柄行进的方向相同的方向。
28.根据权利要求21所述的方法，其中所述图像捕获设备的新位置响应于确定所述至少一个手柄的移动速度大于移动阈值进行计算。
29.根据权利要求21所述的方法，其中所述图像捕获设备的新位置响应于确定所述至少一个手柄的移动速度小于急剧移动阈值进行计算。
30.根据权利要求29所述的方法，其中使用卡尔曼滤波器确定所述至少一个手柄的移动速度是否小于急剧移动阈值。
31.根据权利要求29所述的方法，其中使用低通滤波器确定所述至少一个手柄的移动速度是否小于急剧移动阈值。
32.一种用于手术机器人系统中的摄像机控制的方法，所述方法包括：
接收联接到手术器械的机械臂的运动学数据；
至少部分地基于所述运动学数据计算所述图像捕获设备的新位置；和
将指令传输到联接到所述图像捕获设备的第一机器人组件，以将所述图像捕获设备移动到所述新位置。
33.根据权利要求32所述的方法，其进一步包括：
识别联接到所述机械臂的每个所述手术器械的先前位置，
其中至少部分地基于每个所述手术器械的先前位置和接收到的运动学数据计算所述图像捕获设备的新位置。
34.根据权利要求32所述的方法，其进一步包括：
基于每个所述手术器械的先前位置和新位置，计算每个所述手术器械的位置变化；
识别所述图像捕获设备的当前位置，和
其中至少部分地基于所述图像捕获设备的当前位置和每个所述手术器械的位置变化计算所述图像捕获设备的新位置。
35.一种用于手术机器人系统中的摄像机控制的方法，所述方法包括：
接收由与多个机器人组件中的第一机器人组件的机械臂联接的图像捕获设备捕获的一个或多个图像；
在所述一个或多个图像中，识别出所述多个机器人组件中联接到与第一机器人组件不同的机器人组件的至少一个子集的机械臂的手术器械；
基于所识别的手术器械识别相对感兴趣点；
至少部分地基于所述相对感兴趣点计算所述图像捕获设备的新位置；和
将指令传输到第一机器人组件，以将所述图像捕获设备移动到所述新位置。
36.根据权利要求35所述的方法，其中所述相对感兴趣点是基于所述一个或多个图像内的手术器械的位置计算的。
37.根据权利要求35所述的方法，其中所述相对感兴趣点是从基于所述一个或多个图像内的手术器械的位置计算的中心点偏移的位置。
38.根据权利要求35所述的方法，其中至少部分地基于所述图像捕获设备的当前位置和所述相对感兴趣点计算所述图像捕获设备的新位置。
39.根据权利要求35所述的方法，其进一步包括：
接收由联接至在所述多个机器人组件中的第二机器人组件的机械臂的第二图像捕获设备捕获的一个或多个图像，其中由第二图像捕获设备捕获的所述一个或多个图像包括所述手术器械和联接到第一机器人组件的图像捕获设备；
在由第二图像捕获设备捕获的所述一个或多个图像内，识别所述手术器械和与第一机器人组件联接的图像捕获设备；
基于所识别的手术器械，使用由第二图像捕获设备捕获的所述一个或多个图像识别所述相对感兴趣点；
使用由第二图像捕获设备捕获的所述一个或多个图像基于识别的相对感兴趣点，计算所述图像捕获设备的新位置；和
将指令传输到第一机器人组件以将联接到第一机器人组件的图像捕获设备移动到所述新位置。
40.根据权利要求39所述的方法，其中第二图像捕获设备的变焦镜头以广角视图定位，使得第二图像捕获设备的图像框包括所述手术器械和与第一机器人组件联接的所述图像捕获设备。
CN201880057442.6A 2017-09-05 2018-09-04 手术机器人系统的摄像机控制 Active CN111050686B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762554247P 2017-09-05 2017-09-05
US62/554,247 2017-09-05
PCT/US2018/049318 WO2019050821A1 (en) 2017-09-05 2018-09-04 CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS

Publications (2)

Publication Number Publication Date
CN111050686A true CN111050686A (zh) 2020-04-21
CN111050686B CN111050686B (zh) 2023-06-16

Family

ID=65635296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057442.6A Active CN111050686B (zh) 2017-09-05 2018-09-04 手术机器人系统的摄像机控制

Country Status (5)

Country Link
US (2) US11612450B2 (zh)
EP (1) EP3678582A4 (zh)
JP (1) JP2020532383A (zh)
CN (1) CN111050686B (zh)
WO (1) WO2019050821A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112754644A (zh) * 2020-12-31 2021-05-07 杭州堃博生物科技有限公司 一种射频消融仪的控制方法及其系统
CN113334391A (zh) * 2021-08-06 2021-09-03 成都博恩思医学机器人有限公司 一种机械臂的摆位控制方法、系统、机器人及存储介质
US11957301B2 (en) * 2011-08-21 2024-04-16 Asensus Surgical Europe S.à.R.L. Device and method for assisting laparoscopic surgery—rule based approach

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612450B2 (en) 2017-09-05 2023-03-28 Covidien Lp Camera control for surgical robotic systems
US11259793B2 (en) 2018-07-16 2022-03-01 Cilag Gmbh International Operative communication of light
US20200289205A1 (en) * 2019-03-15 2020-09-17 Ethicon Llc Robotic surgical systems with mechanisms for scaling camera magnification according to proximity of surgical tool to tissue
EP4076259A4 (en) * 2019-12-17 2023-09-20 Covidien LP ROBOTIC SURGICAL SYSTEMS WITH USER INTERVENTION MONITORING
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
GB2593741A (en) * 2020-03-31 2021-10-06 Cmr Surgical Ltd Configuring a surgical robotic system
CN111843978B (zh) * 2020-05-29 2022-07-08 成都博恩思医学机器人有限公司 一种器械控制方法
WO2023083676A1 (en) * 2021-11-10 2023-05-19 Koninklijke Philips N.V. Controller for imaging and controlling robotic device using imaging interface
EP4179980A1 (en) * 2021-11-10 2023-05-17 Koninklijke Philips N.V. Controller for imaging and controlling robotic device using imaging interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040306A1 (en) * 2008-03-31 2011-02-17 Intuitive Surgical Operations, Inc. Medical Robotic System Adapted to Inhibit Motions Resulting in Excessive End Effector Forces
CN102905641A (zh) * 2010-05-14 2013-01-30 直观外科手术操作公司 具有联动式控制模式的医疗机器人系统
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
WO2016133633A1 (en) * 2015-02-19 2016-08-25 Covidien Lp Repositioning method of input device for robotic surgical system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5951461A (en) 1996-12-20 1999-09-14 Nyo; Tin Image-guided laryngoscope for tracheal intubation
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
WO2009120992A2 (en) * 2008-03-27 2009-10-01 St. Jude Medical, Arrial Fibrillation Division Inc. Robotic castheter system input device
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8335590B2 (en) * 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8918207B2 (en) * 2009-03-09 2014-12-23 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
US8918211B2 (en) * 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
DE102011005917A1 (de) * 2011-03-22 2012-09-27 Kuka Laboratories Gmbh Medizinischer Arbeitsplatz
KR102218244B1 (ko) * 2012-12-10 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
DE102013108115A1 (de) * 2013-07-30 2015-02-05 gomtec GmbH Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
KR20170035831A (ko) * 2014-03-14 2017-03-31 시냅티브 메디컬 (바베이도스) 아이엔씨. 인텔리전트 포지셔닝 시스템과 그것의 방법들
US10335116B2 (en) * 2014-04-17 2019-07-02 The Johns Hopkins University Robot assisted ultrasound system
US10743947B2 (en) * 2014-05-15 2020-08-18 Covidien Lp Systems and methods for controlling a camera position in a surgical robotic system
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
US11612450B2 (en) 2017-09-05 2023-03-28 Covidien Lp Camera control for surgical robotic systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040306A1 (en) * 2008-03-31 2011-02-17 Intuitive Surgical Operations, Inc. Medical Robotic System Adapted to Inhibit Motions Resulting in Excessive End Effector Forces
CN102905641A (zh) * 2010-05-14 2013-01-30 直观外科手术操作公司 具有联动式控制模式的医疗机器人系统
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
WO2016133633A1 (en) * 2015-02-19 2016-08-25 Covidien Lp Repositioning method of input device for robotic surgical system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11957301B2 (en) * 2011-08-21 2024-04-16 Asensus Surgical Europe S.à.R.L. Device and method for assisting laparoscopic surgery—rule based approach
CN112754644A (zh) * 2020-12-31 2021-05-07 杭州堃博生物科技有限公司 一种射频消融仪的控制方法及其系统
CN113334391A (zh) * 2021-08-06 2021-09-03 成都博恩思医学机器人有限公司 一种机械臂的摆位控制方法、系统、机器人及存储介质
CN113334391B (zh) * 2021-08-06 2021-11-09 成都博恩思医学机器人有限公司 一种机械臂的摆位控制方法、系统、机器人及存储介质

Also Published As

Publication number Publication date
US11925513B2 (en) 2024-03-12
CN111050686B (zh) 2023-06-16
EP3678582A1 (en) 2020-07-15
US20200345451A1 (en) 2020-11-05
US11612450B2 (en) 2023-03-28
JP2020532383A (ja) 2020-11-12
US20230200929A1 (en) 2023-06-29
WO2019050821A1 (en) 2019-03-14
EP3678582A4 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US11925513B2 (en) Camera control for surgical robotic systems
US11197731B2 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
US20230200923A1 (en) Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US20200275985A1 (en) Master control device with multi-finger grip and methods therefor
CN111065351B (zh) 用于装置的安全操作的系统和方法
US11896331B2 (en) Detection of user touch on controller handle
US11944396B2 (en) Systems and methods for controlling robotic movement of a tool based on a virtual boundary
CN110662507A (zh) 具有自动引导的机器人手术系统
US20240138942A1 (en) Detection of user touch on controller handle
US20240081934A1 (en) Robotic surgical systems and methods for guiding a tool along a path using hybrid automated/manual control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant