CN114376733A - 利用外科手术过程图集配置外科手术系统 - Google Patents

利用外科手术过程图集配置外科手术系统 Download PDF

Info

Publication number
CN114376733A
CN114376733A CN202210109756.4A CN202210109756A CN114376733A CN 114376733 A CN114376733 A CN 114376733A CN 202210109756 A CN202210109756 A CN 202210109756A CN 114376733 A CN114376733 A CN 114376733A
Authority
CN
China
Prior art keywords
surgical
instrument
image
during
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210109756.4A
Other languages
English (en)
Inventor
B·托卡库克
M·阿兹兹安
J·周
S·迪迈尔
B·D·霍夫曼
A·M·扎克
H·C·林
I·E·麦克道尔
W·C·诺林
J·D·希曼二世
J·M·索格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114376733A publication Critical patent/CN114376733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40134—Force sensation of slave converted to vibration for operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40137—Force sensation feedback from simulated tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40143—Slip, texture sensation feedback, by vibration stimulation of fingers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40144—Force sensation feedback from slave
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40161—Visual display of machining, operation, remote viewing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40167—Switch between simulated display of remote site, and actual display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40169—Display of actual situation at the remote site
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40191—Autonomous manipulation, computer assists operator during manipulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了利用外科手术过程图集配置外科手术系统。提供一种与遥控外科手术系统(外科手术系统)一起使用的外科手术方法，该方法包括：在外科手术过程的发生期间，记录指示在外科手术系统内产生的外科手术器械运动的外科手术器械运动学信息；确定与相应外科手术器械运动相关联的相应运动学签名；在计算机可读存储设备中产生使相应运动学签名与相应控制信号相关联的信息结构；在外科手术过程的执行期间，将在该执行期间的外科手术器械运动学信息与至少一个相应运动学签名进行比较；在外科手术过程的执行期间，响应于在该执行期间的外科手术器械运动学与相应运动学签名之间的匹配，发射相关联的相应控制信号。

Description

利用外科手术过程图集配置外科手术系统
本申请是2016年6月9日提交的名称为：“利用外科手术过程图集配置外科手术系统”的中国专利申请201680038267.7(PCT/US2016/036733)的分案申请。
相关申请的交叉引用
本申请要求于2015年6月9日提交的临时申请序列号62/173,077的优先权，其内容通过引用整体并入本文，并且在此要求该优先权的权益。
技术领域
本发明的方面与在外科手术期间使用的医疗设备相关联。更具体地，该方面与基于来自先前外科手术过程的运动学信息和解剖组织图像信息控制机器人辅助的外科手术系统中的外科手术器械相关联。
背景技术
外科医生通常在执行外科手术过程前进行深入地研究。传统上，外科医生受限于研究一般的解剖模型，诸如照片或图片。近年来，各种术前诊断过程(例如x射线、CT、MRI等)已经使患者特定的解剖学信息可用。
在一些情况下，期望的是，使附加的、相关的解剖和外科手术过程信息可用于外科医生。在一方面，期望的是，向计划对特定患者进行手术的外科医生提供对该特定患者执行的较早外科手术过程的外科手术部位视频记录。在另一方面，期望的是，向外科医生提供与针对特定患者所计划的外科手术过程相类似的在其他患者上的外科手术过程的一个或更多个外科手术部位视频记录。在一方面，期望的是，在外科医生进行特定外科手术过程之前，向外科医生提供这样的信息。且在另一方面，可以期望的是，在术中向外科医生提供此信息。
在一方面，期望的是，配置包括由各种患者所经历的各种过程的术中外科手术部位视频记录的视频数据库。在一方面，期望的是，配置一种能够进行视频记录的医疗设备，其还包括输入，该输入能够使外科医生使用该医疗设备随着视频记录正被记录而实时地对该视频记录进行标记(highlight)和注释(annotation)。在一方面，期望的是，配置基于计算机的形态(pattern)匹配算法，以通过视频数据库的各个记录进行搜索，识别相关的视频记录，并且向外科医生提供特定外科手术过程的此相关信息。
发明内容
以下发明内容介绍本发明主题的某些方面，以便提供基本的理解。此发明内容不是对本发明主题的广泛概述，并且不意在识别关键或重要要素和界定本发明主题的范围。虽然此发明内容包含与本发明主题的各个方面和实施例相关的信息，但是其唯一目的是以一般形式呈现某些方面和实施例，作为下文的具体实施方式的前奏。
在一方面，提供一种用于与遥控外科手术系统一起使用的方法。指示外科手术器械运动的外科手术器械运动学信息针对外科手术过程的多次发生(multiplicity ofoccurrence)而被记录。基于所记录的表示外科手术器械运动的运动学信息来确定运动学签名(signature)。在计算机可读存储设备中产生信息结构，其使相应运动学签名与用于外科手术系统的相应电子控制信号相关联。在使用外科手术系统执行外科手术过程期间，在该过程期间由该系统产生的外科手术器械运动学信息与至少一个运动学签名进行比较。响应于在外科手术过程期间产生的运动学信息与相应运动学签名之间的匹配，与至少一个运动学签名相关联的电子控制信号在外科手术系统内被发射。更具体地，一些系统行为基于运动学分析被触发。
在另一方面，提供一种用于与遥控外科手术系统一起使用的方法。在机器人辅助的外科手术过程期间产生的外科手术场景的运动图/影片(motion picture)图像针对外科手术过程的多次发生而被记录。基于所记录的运动图图像确定外科手术图像签名。在计算机可读存储设备中产生信息结构，其使相应外科手术图像签名与用于外科手术系统的相应电子控制信号相关联。在使用外科手术系统执行外科手术过程期间，在该过程期间产生的运动图图像与至少一个外科手术图像签名进行比较。响应于在外科手术过程期间产生的外科手术图像与相应外科手术图像签名之间的匹配，与至少一个外科手术图像签名相关联的电子控制信号在外科手术系统内被发射。更具体地，一些系统行为基于视频分析被触发。
在另一方面，提供一种用于与遥控外科手术系统一起使用的训练方法。记录运动图图像，其示出在外科手术过程期间在外科手术系统的查看器内显示的外科手术场景内的解剖组织。响应于在与所显示的解剖组织接触期间赋予(imparted)外科手术器械的力而被赋予外科手术器械控制的外科手术系统控制触觉信息被记录。在外科手术过程的模拟期间，所记录的运动图图像在外科手术系统观察器内被重放。在外科手术过程的模拟期间在所记录的运动图图像的重放期间，所记录的外科手术器械控制触觉被赋予外科手术器械控制。在一些实施例中，通过控制输入的振动触觉模拟，重放外科手术控制触觉。
在另一方面，提供一种用于与遥控外科手术系统一起使用的训练方法。针对外科手术过程在机器人辅助的外科手术系统内的许多次发生中的每次，记录(一个或更多个)诊断数据信息实例。每个诊断数据信息实例包括：在外科手术过程期间，在外科手术系统的查看器内显示的外科手术场景内的解剖组织的相应运动图图像。每个诊断数据信息实例还包括：在外科手术过程期间，响应于在与所显示的解剖结构接触期间赋予外科手术器械的力，被赋予外科手术器械控制的外科手术器械控制触觉。在计算机可读存储设备中产生信息结构，其使相应诊断数据信息实例和相应诊断相关联。选择相应诊断数据信息实例。在外科手术过程的模拟期间，来自经选择的相应记录的诊断数据信息实例的记录的运动图图像在外科手术系统查看器内被重放。在外科手术过程的模拟期间在重放记录的运动图图像期间，来自经选择的相应记录的诊断数据信息实例的记录的外科手术器械控制触觉信息被赋予外科手术器械控制。
在另一方面，遥控外科手术系统包括在计算机可读存储设备中的信息结构，其使外科手术图像签名与控制信号相关联。处理器被配置为将在外科手术过程期间的外科手术场景内产生的外科手术图像与至少一个外科手术图像签名进行比较。处理器被配置为响应于外科手术图像与至少一个外科手术图像签名之间的匹配而发射控制信号。器械被配置为响应于控制信号调整其运动。
在另一方面，遥控外科手术系统包括在计算机可读存储设备中的信息结构，其使相应外科手术图像签名与相应控制信号相关联。处理器被配置为将在外科手术过程期间的外科手术场景内的外科手术图像与至少一个外科手术图像签名进行比较。处理器被配置为响应于在外科手术过程期间的外科手术图像与至少一个外科手术图像签名之间的匹配而发射控制信号。器械被配置为响应于控制信号调整其运动。
附图说明
图1是微创遥控外科手术系统的平面图。
图2是外科医生的控制台的透视图。
图3是电子推车的透视图。
图4是遥控外科手术系统的示意图。
图5A是遥控外科手术系统的示意图。
图5B是外科手术系统的患者侧推车的透视图。
图5C是外科手术场景的示意图。
图6是外科手术器械的正视图。
图7是器械操纵器的透视图。
图8是外科手术计划工具的示意图。
图9是使用外科手术计划工具的方法的流程图。
图10是表示根据一些实施例的在计算机可读存储设备中存储图集(atlas)的示意图。
图11是表示根据一些实施例的包括在图集内的第一数据信息结构的示例性实例的示意图，其包括关于各个外科手术过程的信息。
图12是表示根据一些实施例的包括在图集内的第二数据信息结构的示例性实例的示意图，其关联来自各个外科手术过程的所记录的运动图图像片段、对应的外科手术器械运动学信息片段、对应的外科手术系统致动状态和对应的注释。
图13A-13C是示出根据一些实施例的示例性外科手术器械和致动器组件的示意图，其中外科手术器械以三种不同的示例性器械状态被示出。
图14是表示根据一些实施例的控制信号规则信息结构的示例性实例的示意图，其包括关联运动学、图像和系统致动状态与控制信号的规则。
图15是表示根据一些实施例的至少部分基于解剖图像信息、器械运动学和系统状态产生控制信号的过程的示意流程图。
图16是表示根据一些实施例的包括在图集内的第三数据信息结构的示例性实例的示意图，其将所记录的运动图图像片段与触觉信息片段相关联。
图17是表示根据一些实施例的配置遥控机器人辅助的外科手术系统以重放外科手术经历的过程的示意流程图。
图18是表示根据一些实施例的包括在图集内的诊断规则信息结构的示例性实例的示意图，其包括关联图像签名信息和触觉反馈信息与诊断的规则。
图19是表示根据一些实施例的至少部分基于解剖图像信息和触觉反馈信息产生诊断的过程的示意流程图。
具体实施方式
图示说明本发明的方面、实施例、实施方式或应用的此说明书和附图不应当被认为是限制性的—权利要求限定所保护的发明。在不脱离此说明书和权利要求的范围的情况下，可以做出各种机械、成分、结构、电气和操作变更。在一些实例中，众所周知的电路、结构或技术未被详细地示出和描述，以免混淆本发明。两个或更多个附图中的相似数字表示相同或相似元素。
参考一个实施例、实施方式或应用详细描述的元素无论何时实施都可以被包括在未具体显示和描述的其他实施例、实施方式或应用中。例如，即使一个元素参考一个实施例被详细描述而不参考第二实施例进行描述，然而该元素可以被视为包括在第二实施例中。因此，为了避免在以下描述中的不必要的重复，除非特别地以其他方式进行描述，否则与一个实施例、实施方式或应用相关联的所示出和描述的一个或更多个元素可以被并入其他实施例、实施方式或方面中，除非一个或更多个元素使某个实施例或实施方式不起作用或者除非两个或更多个元素提供相冲突的功能。
虽然主要根据使用由加利福尼亚州的森尼韦尔市的直观外科手术操作公司商业化的da
Figure BDA0003493490150000051
外科手术系统(具体地，Model IS4000，其被销售为da
Figure BDA0003493490150000052
XiTM HDTM外科手术系统)的实施方式来描述本发明的各方面，但是本领域技术人员将理解的是本文公开的本发明方面可以以各种方式(包括机器人，并且如果适用的话也包括非机器人实施例和实施方式)来体现和实施。在da
Figure BDA0003493490150000053
外科手术系统(例如，Model IS4000 da
Figure BDA0003493490150000054
XiTM外科手术系统、Model IS3000 da Vinci
Figure BDA0003493490150000055
外科手术系统)上的实施方式仅仅是示例性的，并且不被认为限制本文公开的发明方面的范围。
根据各个方面，本公开描述了一种外科手术计划工具，其包括被配置为对外科手术过程的执行进行视频记录的医疗设备。视频记录能够被嵌入有各种元数据，例如医疗人员所做出的标记。此外，视频记录能够被标识有各种元数据，例如描述视频的某一主题的文本注释、视频记录所对应的患者的身份、关于患者的档案或医疗信息等。在一方面，被标识的元数据被嵌入视频记录中。
根据进一步的方面，信息形态在从若干遥控外科手术过程收集的运动图图像和外科手术器械运动学信息内被识别。例如，运动图信息能够指示解剖组织的几何形状和颜色。运动学信息能够指示外科手术器械运动特性，例如，诸如器械运动的方向、器械运动的速度和加速度和器械运动的顺序。信息形态能够基于记录的运动图被识别，且运动学信息能够作为在外科手术期间管理或调节控制外科手术器械的基础。信息形态能够用作向外科医生提供术中引导的基础。
根据进一步的方面，与触觉反馈一致的运动图图像能够用作外科手术训练的基础。例如，一个外科医生能够通过外科手术模拟重放由该同一外科医生在先前外科手术期间产生的运动图图像和对应的触觉反馈来重新经历由该外科医生执行的先前外科手术过程。替代地，例如，一个外科医生能够通过外科手术模拟重放由另一外科医生在之前的外科手术期间产生的运动图图像和对应的触觉反馈来经历由不同的外科医生执行的该之前的外科手术过程。因此，外科医生能够使用外科手术模拟作为机会来通过模拟的实践外科手术重放由该外科医生或另一外科医生的视觉线索和触觉线索之间的关系的实际外科手术经历来改善外科手术技能。
根据又进一步的方面，基于从若干遥控外科手术过程收集的运动图图像和外科手术器械运动学信息内识别的信息形态，开发推荐的术中诊断。一个熟练的外科医生通常能够至少部分地基于组织几何形状和颜色来评估组织疾病状态和组织损伤状态。所记录的运动图提供关于外科手术系统内的外科手术场景内的解剖组织的组织几何形状和组织颜色的信息。再者，一个熟练的外科医生能够至少部分地基于组织的触诊来评估组织疾病状态和组织损伤状态。在遥控外科手术系统中，组织的触诊能够通过使用外科医生操作的器械控制以触摸组织结构来实现，该外科医生操作的器械控制向操作该控制的外科医生提供触觉反馈，这指示响应于器械触摸组织结构而赋予器械的反作用力。所收集的运动图图像和外科手术器械运动学信息的专家外科医生评估被用于识别指示不同术中诊断的不同形态的图像和运动学。视频记录和关联运动图图像与外科手术器械运动学信息的信息结构能够被存档在本地或远程(例如，在远程计算机系统上、在LAN或WAN上、或在云数据存储服务器上)实施的电子医疗记录数据库上。相似地，在一些实施例中，例如，关联运动图图像与控制触觉反馈信息和对应的诊断建议的信息结构能够被存档在本地或远程实施的电子医疗记录数据库上，以用于外科医生训练。该视频记录和信息结构能够可用于感兴趣的卫生保健提供者。在一些实施例中，存储的信息结构能够可用于与遥控机器人辅助的外科手术系统一起使用，以生成提供到外科手术系统的控制信号信息以在外科手术过程期间产生对外科医生的术中外科手术引导并且提供器械的机器人辅助的外科手术控制。在一些实施例中，存储的信息结构能够可用于与外科手术模拟系统一起使用，以重放外科手术场景和对应的触觉反馈，以用在外科医生训练操作外科手术系统的技术中。在一些实施例中，存储的信息结构能够可用于与外科手术模拟系统一起使用，以重放外科手术场景和对应的触觉反馈，以用在外科医生训练在使用外科手术系统执行外科手术时诊断组织结构疾病状态和组织破损状态中。
例如，卫生保健提供者能够基于待执行的外科手术过程、组织结构特性和使用上述元数据标识针对感兴趣的视频和信息结构关系的外科手术器械运动学中的一个或更多个来搜索医疗设备数据库。另外，在一方面，外科手术计划工具包括基于计算机的形态匹配和分析算法。在一方面，形态匹配算法通过存储在电子医疗记录数据库上的视频挑选，以识别在视频记录中的视觉特性与医疗人员做出的相关联的元数据标识之间的相关性。外科手术计划工具能够将这些相关性应用到新遇到的解剖结构，从而帮助执行过程的医疗人员确定患者解剖结构、优选的外科手术途径、疾病状态、潜在的并发症等。
在另一方面，例如，形态匹配算法通过记录的运动图图像信息和可选的运动学信息挑选，以识别解剖组织特征(诸如几何形状)与器械运动之间的相关性。此形态能够是有用的，例如以识别与各种器械运动相关联的各种解剖学特征。此形态也能够是有用的，例如以识别与各种器械运动不相关联的各种解剖学特征。例如，此形态信息能够用作在外科手术期间产生外科手术引导以呈现给外科医生的基础。例如，此形态信息能够用作在外科手术期间制止或赋予外科手术一定的外科手术器械运动的基础。
在另一方面，例如，形态匹配算法通过记录的运动图图像信息和触觉反馈信息挑选，以响应于通过外科手术器械的触摸来识别解剖组织特征(诸如几何形状)与由组织结构赋予的反作用力之间的相关性。此形态能够是有用的，例如，以响应于通过机器人辅助的器械的触诊，识别可视的解剖组织结构与由组织结构赋予的触觉反馈之间的相关性。在一些实施例中，相关的运动图图像形态和触觉反馈信息与用在外科医生训练中的专家外科医生诊断评估相关联。
微创遥控外科手术系统
遥控/远程操作指的是在一定距离操作机器。在微创遥控医疗系统中，外科医生可以使用包括摄像机的内窥镜来查看患者体内的外科手术部位。在一些实施例中，立体图像能够被捕获，这允许在外科手术过程期间的深度的感知。
现在参考附图，其中在整个附图中相似的参考符号表示相似的部件，图1是微创遥控外科手术系统10的平面图，该微创遥控外科手术系统10通常用于对躺在手术台14上的患者12执行微创诊断或外科手术过程。该系统包括外科医生的控制台16，用于由外科医生18在该过程期间使用。一个或更多个助手20也可以参与到该过程中。微创遥控外科手术系统10还包括(一个或多个)患者侧推车22和电子推车24。患者侧推车22能够通过患者12体内的微创切口操纵至少一个外科手术器械26，同时外科医生18通过外科医生的控制台16查看外科手术部位。外科手术部位的图像能够通过内窥镜28(例如立体内窥镜)获得，患者侧推车22能够操纵该内窥镜以对内窥镜28进行取向。位于电子推车24上的计算机处理器能够用于处理外科手术部位的图像，以随后通过外科医生的控制台16显示给外科医生18。注意：虽然为了示例性目的而描绘和描述了分离式系统部件(即，患者侧推车22、电子推车24和外科医生的控制台16)，但是在各种实施例中，其中所包含的元件能够被组合和/或分离。例如，在一些实施例中，电子推车24的计算机处理器能够被并入到外科医生的控制台16和/或患者侧推车22中。一次使用的外科手术器械26的数量一般取决于诊断或外科手术过程以及手术部位内的空间约束等因素。如果需要更换在过程中正被使用的外科手术器械26中的一个或更多个，则助手20能够在手术室中从患者侧推车22移除外科手术器械26，并且用来自托盘30的另一外科器械26替换它。
图2是外科医生的控制台16的透视图。外科医生的控制台16包括查看器31，其包括左眼显示器32和右眼显示器34，用于向外科医生18呈现能够进行深度感知的外科手术部位的协调的立体图像。控制台16进一步包括一个或更多个控制输入36。被安装用在患者侧推车22(如图1所示)上的一个或更多个外科手术器械响应于外科医生18对一个或更多个控制输入36的操纵而移动。控制输入36能够提供与其相关联的外科手术器械26(如图1所示)相同的机械自由度，以便向外科医生18提供控制输入36与器械26为一体化的远程呈现或感知，使得外科医生具有直接控制器械26的强烈意识。为此目的，位置、力和触觉反馈传感器(未显示)可以被采用以将位置、力和触觉感知从外科手术器械26通过控制输入36传送回到外科医生的手，这遭受通信延迟约束。需要注意的是，虽然为了示例性目的描绘和描述了带有固定查看器31和机械耦接的控制输入36的物理控制台16，但是在各种其他实施例中，能够使用“无基础的(ungrounded)”控制输入和/或显示结构。例如，在一些实施例中，查看器31能够是头戴式显示器和/或控制输入36能够机械地独立于任何基本结构(例如，有线、无线或基于手势的，如微软的Kinect)。
外科医生的控制台16通常位于与患者相同的房间中，使得外科医生能够直接监视该过程，如果必要能够在实际存在，并且直接与患者侧助手通话，而不是通过电话或其他通信介质。然而，外科医生能够位于允许远程外科手术过程的与患者不同的房间、完全不同的建筑物或其他远程位置中。
图3是电子推车24的透视图。电子推车24能够与内窥镜28相耦接，并且电子推车24包括计算机处理器来处理捕获的图像用于随后显示，如在外科医生的控制台上或位于本地和/或远程的另一合适显示器上显示给外科医生。例如，如果使用立体内窥镜，电子推车24上的计算机处理器能够处理捕获的图像，以便向外科医生呈现外科手术部位的协调的立体图像。此类协调能够包括对置图像之间的对准，并且能够包括调整该立体内窥镜的立体工作距离。作为另一示例，图像处理能够包括使用之前确定的摄像机校准参数，以便补偿图像捕获装置的成像误差，如光学像差。任选地，电子推车中的装备可以被集成到外科医生的控制台或患者侧推车中，或者它可以分布于手术室中的各种其他位置。
图4图示地说明遥控外科手术系统50(诸如图1的微创遥控外科手术系统10)。外科医生的控制台52(诸如图1中的外科医生的控制台16)能够在微创过程期间由外科医生使用以控制患者侧推车54(诸如图1中的患者侧推车22)。患者侧推车54能够使用成像设备，诸如立体内窥镜，以捕获外科手术部位的图像并将捕获的图像输出到位于电子推车56(如图1中的电子推车24)上的计算机处理器。计算机处理器通常包括一个或更多个数据处理板，其打算用于执行存储在计算机处理器的非易失性存储器设备中的计算机可读代码。在一方面，计算机处理器能够在任何后续显示之前以各种方式处理捕获的图像。例如，计算机处理器能够利用虚拟控制界面对捕获的图像进行叠加，然后通过外科医生的控制台52向外科医生显示组合的图像。
另外或者替代地，捕获的图像能够由位于电子推车56外部的计算机处理器来进行图像处理。在一方面，遥控外科手术系统50包括类似于位于电子推车56上的计算机处理器的可选的计算机处理器58(如虚线所示)，并且在外科医生的控制台52上显示前，患者侧推车54将捕获的图像输出到计算机处理器58以用于图像处理。在另一方面，捕获的图像首先由电子推车56上的计算机处理器进行图像处理，且然后在外科医生的控制台52上显示之前，通过计算机处理器58进行额外的图像处理。遥控外科手术系统50能够包括可选的显示器60，如虚线所指示的。显示器60与位于电子推车56上的计算机处理器以及与计算机处理器58相耦接，并且由这些计算机处理器处理的捕获的图像除了被显示在外科医生的控制台52的显示器上之外也能够被显示在显示器60上。
图5A是示出根据一些实施例的使用一个或更多个机械支撑臂510执行外科手术过程的遥控外科手术系统10的部件的布置的示意性简化框图。系统10的方面包括机器人辅助的和自主手术的特征。这些机械支撑臂510经常支撑外科手术器械。例如，机械外科手术臂(例如，中心机械外科手术臂510C)可以用来支撑具有立体或三维外科手术图像捕获设备101C的内窥镜。机械外科手术臂510C可以包括无菌适配器、或钳子、夹子、螺钉、槽/沟，或其他紧固机构来将包括图像捕获设备101C的内窥镜机械地固定到机械臂。
用户或操作者O(一般为外科医生)通过操纵控制输入设备36(诸如，在主控制控制台16处的手柄和脚踏板)对患者P执行外科手术过程。操作者能够通过立体显示查看器31查看患者体内的外科手术部位的图像的视频帧。控制台16的计算机处理器58通过控制线159引导遥控控制的内窥镜外科手术器械101A-101C的运动，从而影响使用患者侧系统24(也称为患者侧推车)的器械的运动。
患者侧系统24包括一个或更多个机械支撑臂510。通常地，患者侧系统24包括至少三个机械外科手术臂510A-510C(一般称为机械外科手术支撑臂510)，其通过对应的定位设定臂156来支撑。中心机械外科手术臂510C可以支撑内窥镜摄像机101C，其适合捕获在摄像机的视场内的图像。中间的左右两边的机械外科手术支撑臂510A和510B分别可以支撑可以操纵组织的器械101A和101B。
图5B是根据实施例的微创遥控外科手术系统10的患者侧推车500的透视图。患者侧推车500包括一个或更多个支撑臂组件510。外科手术器械操纵器512被安装在每个支撑臂组件510的末端处。此外，每个支撑臂组件510能够任选地包括一个或更多个设定接头(例如，无动力的和/或可锁定的)，其用于相对于患者定位附接的外科手术器械操纵器512以用于外科手术。如所描述的，患者侧推车500放置在地板上。在其他实施例中，患者侧推车的操作部分能够被安装到壁、安装到天花板、安装到也支撑患者身体522的手术台526或安装到其他手术室设备。进一步地，虽然患者侧推车500被显示为包括四个外科手术器械操纵器512，但是可以使用更多或更少的外科手术器械操纵器512。
功能性遥控外科手术系统一般将包括视觉系统部分，其使该遥控外科手术系统的用户能够从患者身体552的外面查看外科手术部位。该视觉系统通常包括用于捕获视频图像的摄像机器械528和用于显示所捕获的视频图像的一个或更多个视频显示器。在一些外科手术系统配置中，摄像机器械528包括光学装置，其从摄像机器械528的远端向患者身体522外面的一个或更多个成像传感器(例如，CCD或CMOS传感器)传输图像。替代地，(一个或多个)成像传感器能够被定位在摄像机器械528的远端处，并且由(一个或多个)传感器产生的信号能够沿着引线传输或者无线地传输，以进行处理并在一个或更多个视频显示器上显示。视频显示器的一个示例是由加利福尼亚州的森尼韦尔市的直观外科手术操作公司商业化的在外科手术系统中的外科医生的控制台上的立体显示器。
参考图5A-5B，安装到每个外科手术器械操纵器512的是外科手术器械520，其在患者身体522内的外科手术部位处操作。每个外科手术器械操纵器512能够以各种形式被提供，以允许相关联的外科手术器械以一个或更多个机械自由度(例如，所有的六个笛卡尔自由度、五个或更少的笛卡尔自由度等)移动。通常地，机械或控制约束限制每个操纵器512围绕器械上的相对于患者处于静止的运动中心移动其相关联的外科手术器械，并且此运动中心通常位于器械进入身体的位置处。
在一方面，外科手术器械520通过计算机辅助的遥控来控制。功能性微创遥控外科手术系统包括控制输入，该控制输入从遥控外科手术系统的用户(例如，外科医生或其他医疗人员)接收输入。控制输入与一个或更多个计算机控制的遥控致动器通信，所述致动器诸如，外科手术器械520被耦接到的所述一个或更多个马达。以这种方式，外科手术器械520响应于控制输入的医疗人员的移动而移动。在一方面，一个或更多个控制输入被包含在外科医生的控制台(诸如图2处所示的外科医生的控制台16)中。外科医生能够操纵外科医生的控制台16的控制输入设备36，从而操作患者侧推车500的遥控致动器。由遥控致动器生成的力经由动力传动机构被转移，该动力传动机构将力从遥控致动器传送到外科手术器械520。
参考图5A-5B，在一方面，外科手术器械520和套管524被可移除地耦接到操纵器512，其中外科手术器械520通过套管524插入。操纵器512的一个或更多个遥控致动器整体移动外科手术器械512。操纵器512还包括器械托架530。外科手术器械520被可拆卸地连接到器械托架530。在一方面，器械托架530将一个或更多个遥控致动器容纳在里面，从而提供许多控制器运动，外科手术器械520使这些控制器运动转化成外科手术器械520上的末端执行器的各种移动。因此，在器械托架530中的遥控致动器仅移动外科手术器械520的一个或更多个部件而不整体移动该器械。整体控制器械或者控制器械的部件的输入使得由外科医生或者其他医疗人员提供到控制输入(“主”命令)的输入被转化成外科手术器械的对应动作(“从”响应)。
根据一些实施例，外科手术系统10能够具有多个系统致动状态，包括对接(docked)、跟随(following)、器械类型(instrument type)和导向(head-in)。在对接系统状态期间，一个或更多个操纵器512已经被耦接到套管524。在跟随状态期间，外科手术器械(“从”)正在追踪控制输入(“主”命令)。在器械类型系统状态期间，该系统已经在其中安装了适合于执行特定外科手术过程或适合于在外科手术过程期间执行特定外科手术活动的一套器械。在导向系统状态期间，系统正在等待外科医生指示他/她已经掌控“主”控制输入设备。
在替代实施例中，器械托架530没有容纳遥控致动器。能够实现外科手术器械520的末端执行器的各种移动的遥控致动器被容纳在远离器械托架530的位置中，例如在患者侧推车500上的其他地方。基于电缆的力传输机构或类似物被用于将远程定位的遥控致动器中的每个的运动转移到位于器械托架530上的对应的与器械接口的致动器输出。在一些实施例中，外科手术器械520被机械地耦接到第一致动器，该第一致动器控制外科手术器械的第一运动，诸如纵向(z轴线)旋转。外科手术器械520被机械地耦接到第二致动器，该第二致动器控制外科手术器械的第二运动，诸如二维(x，y)运动。外科手术器械520被机械地耦接到第三致动器，该第三致动器控制外科手术器械的第三运动，诸如夹爪末端执行器的打开和关闭。
图5C是根据一些实施例的表示外科手术场景550并且也示出安装用于记录场景的摄像机528的内窥镜101C的示意图。场景550被设置在患者的体腔内。场景550包括示例性假设球面解剖结构552，该球面解剖结构包括几何轮廓554。场景550包含外科手术器械556。安装在内窥镜101C上的摄像机528捕获场景，该场景被显示在查看器31内并且被记录以用于稍后重放。
图6是外科手术器械520的侧视图，其包括通过具有细长管中心轴线611的细长管610耦接的远侧部分650和近侧控制机构640。外科手术器械520被配置成插入到患者的体内并且用于执行外科手术或诊断过程。外科手术器械520的远侧部分650能够提供各种末端执行器654中的任一个，诸如所示出的镊子、针驱动器、烧灼装置、切割工具、成像设备(例如，内窥镜或超声波探头)或者类似物。外科手术末端执行器654能够包括功能性机械自由度，例如打开或者关闭的夹爪，或者沿着路径平移的刀。在所示的实施例中，末端操纵器654通过腕部652被耦接到细长管610，从而允许末端执行器相对于细长管中心轴线611进行取向。外科手术器械520也能够包含(例如，在与器械相关联的半导体存储器上)存储的信息，该存储的信息可以是永久性的或可以通过被配置成操作外科手术器械520的外科手术系统更新。因此，外科手术系统可以提供外科手术器械520与外科手术系统的一个或更多个部件之间的单向或者双向信息通信。
图7是外科手术器械操纵器512的透视图。器械操纵器512被显示为没有安装外科手术器械。器械操纵器512包括器械托架530，外科手术器械(例如，外科手术器械520)能够被可拆卸地连接到该器械托架530。器械托架530容纳多个遥控致动器。每个遥控致动器包括致动器输出705。当外科手术器械被安装在器械操纵器512上时，器械近侧控制机构(例如，图6处的近侧控制机构640)的一个或更多个器械输入(未显示)与对应的致动器输出705机械地耦接。在一方面，这种机械耦接是直接的，其中致动器输出705直接接触对应的器械输入。在另一方面，这种机械耦接通过中间接口发生，所述中间接口诸如被配置为在器械操纵器512与相关联的外科手术器械之间提供无菌屏障的帷帘的部件。
在一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致外科手术器械机械自由度的移动。例如，在一方面，安装在器械操纵器512上的外科手术器械是外科手术器械520，如图6所示。参考图6，在一方面，通过对应的遥控致动器的近侧控制机构640的一个或更多个器械输入的移动相对于近侧控制机构640围绕细长管中心轴线611旋转细长管610(和附接的腕部652和末端执行器654)。在另一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致腕部652的移动，从而相对于细长管中心轴线611对末端执行器654进行取向。在另一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致末端执行器654的一个或更多个可移动元件(例如，夹爪构件、刀构件等)的移功。因此，安装在器械操纵器512上的外科手术器械的各种机械自由度能够通过器械托架530的遥控致动器的操作而被移动。
注释记录的视频
图8示出示例性外科手术计划工具800的示意图。在一方面，外科手术计划工具800包括遥控外科手术系统50，该遥控外科手术系统50与电子医疗设备记录数据库830进行数据通信。在此所示的遥控外科手术系统50类似于图4处所示的遥控外科手术系统50。在一方面，电子医疗记录数据库830包括患者在特定医院或多个医院进行治疗的医疗记录。数据库830能够在位于医院现场的服务器上实现。数据库830中包含的医疗记录条目能够从医院计算机通过内部网络进行访问。替代地，数据库830能够在医院外定位的远程服务器上实现，例如使用多种云数据存储服务器中的一种。在这种情况下，数据库830的医疗记录条目被存储在云服务器上，并且能够通过计算机利用互联网接入来访问。
在一方面，使用遥控外科手术系统50对第一患者执行外科手术过程。与遥控外科手术系统50相关联的成像设备捕获外科手术部位的图像并且将捕获的图像作为视频帧显示在外科医生的控制台52的显示器上。在一方面，在外科医生的控制台52处的医疗人员使用外科医生的控制台52的输入设备标记或者注释在所显示的视频中示出的某一患者解剖结构。这种输入设备的一个示例是图2处所示的控制输入36，该控制输入36被耦接到与覆盖在所显示的视频上的图形用户界面相结合操作的光标。该图形用户界面能够包括QWERTY键盘、定点设备(诸如鼠标)和交互式屏幕显示器、触摸屏显示器、或用于数据或者用于文本条目或声音注释/或通过麦克风和处理器的语音到文本的转换的其他装置。因此，医疗人员能够在所显示的图像中标记某些感兴趣的组织或录入文本注释。
在一方面，外科手术部位视频被附加地显示在位于电子推车56上的显示器上。在一方面，电子推车的显示器是触摸屏用户界面，其可由医疗人员使用，以标记或者注释在被显示用于在电子推车上的显示器上查看的图像上示出的患者解剖结构的某些部分。用户通过触摸显示在触摸屏用户界面上的患者解剖结构的部分能够标记所显示的图像的部分。此外，包括QWERTY键盘的图形界面能够覆盖在所显示的图像上。用户能够使用QWERTY键盘录入文本注释。
在一方面，由与遥控外科手术系统50相关联的成像设备捕获的外科手术部位视频除了实时地或接近实时地显示给用户外还被遥控外科手术系统50记录并且存储在数据库830上。由用户做出的与记录的视频相关联的标记和/或注释也能够被存储在数据库830上。在一方面，由用户做出的标记在其存储在数据库830上之前被嵌入有记录的视频。在稍后的时间，记录的视频能够被检索以用于查看。在一方面，查看记录的视频的人能够选择是否从视图显示或隐藏标记。类似地，与记录的视频相关联的注释也能够被存储在数据库830上。在一方面，由用户做出的注释被用于标识记录的视频，并且能够被用于提供为一种识别记录的视频中所包含的主题的手段。例如，一个注释可以描述某种疾病状态的状况。此注释被用于标识记录的视频。在稍后的时间，希望查看与这种疾病状态相关的记录过程的人能够使用关键字搜索来定位视频。
存储的视频检索
在一些情况下，期望的是医疗人员能够查看对给定患者执行的过去外科手术过程的视频记录。在一方面，先前经受第一外科手术过程治疗医疗状况的患者随后需要第二外科手术过程来治疗重复出现的同一医疗状况或治疗与第一外科手术过程的外科手术部位相邻的解剖结构。在一方面，第一外科手术过程的外科手术部位事件被捕获在外科手术部位视频记录中，并且该视频记录被存档在数据库830中，作为患者的电子医疗记录的一部分。在对患者执行第二外科手术过程之前，医疗人员能够执行数据库830的搜索以找出患者的较早外科手术过程的视频记录。
在一些情况下，期望的是计划对患者执行外科手术过程的医疗人员能够查看对具有某些类似于该患者的特性的人执行的类似外科手术过程的视频记录。在一方面，在每个视频记录被存档在数据库830中之前，外科手术过程的外科手术部位视频记录能够被标识有元数据信息，诸如患者的年龄、性别、体重指数、遗传信息、患者经受的手术类型等。在一方面，用于标识视频记录的元数据信息自动地从患者的现有医疗记录中检索，并且然后被用于在该视频记录被存档到数据库830中之前标识该视频记录。因此，在对患者执行医疗过程之前，医疗人员能够针对对与该患者具有某些共同特性的患者执行的类似过程的视频记录来搜索数据库830。例如，如果医疗人员计划使用遥控外科手术系统50对一个体重指数升高的65岁男性患者执行前列腺切除术，则该医疗人员能够针对使用遥控外科手术系统50对具有相似年龄并具有相似升高的体重指数的其他男性患者执行的前列腺切除术的外科手术部位视频记录来搜索数据库830。
在一方面，外科手术过程的视频记录通过数据库830通信到可选的个人计算机820(如虚线所示)，并且可用于由计划执行外科手术过程的医疗人员查看。另外地或替代地，较早的外科手术过程的视频记录能够通过数据库830通信到遥控外科手术系统50，并且可用于术前或术中查看。在一方面，视频记录通过遥控外科手术系统50被显示在位于外科医生的控制台52上的显示器上。在另一方面，第一外科手术过程的视频记录被显示在位于电子推车56上的显示器上。
基于云的视频数据库
在一方面，数据库830使用云数据存储服务器在远程服务器上实现，并且可供多个卫生保健提供者访问。参考图8，如虚线所示，外科手术计划工具800可选地包括遥控外科手术系统850(如虚线所示)和个人计算机840(如虚线所示)。在一方面，遥控外科手术系统850类似于遥控外科手术系统50，并且个人计算机840类似于个人计算机820，除了遥控外科手术系统50和个人计算机820位于第一卫生保健提供者处，而遥控外科手术系统850和个人计算机840位于第二位置或甚至具有第二卫生保健提供者的第二位置处。在一方面，第一患者需要医疗状况的外科手术治疗，并且在第一卫生保健提供者处使用遥控外科手术系统50进行外科手术过程。外科手术过程的视频记录被存档在数据库830上。在稍后的时间，第二患者需要同一医疗状况的外科手术治疗，并且计划在第二卫生保健提供者处接受(receive)使用遥控外科手术系统850的外科手术治疗。在对第二患者执行外科手术过程之前，医疗人员通过安全网络连接访问数据库830，并且针对类似过程的外科手术部位视频记录搜索数据库830。在一方面，治疗第二患者的医疗人员能够从数据库830中检索第一患者的外科手术过程的视频记录，而不需要了解第一患者的身份。以这种方式，维护第一患者的隐私。在一方面，第一患者的外科手术过程的视频记录包括对第一患者进行治疗的医疗人员所做出的标记和/或注释。
基于计算机的形态匹配与分析
外科手术计划工具800能够包括形态匹配和分析算法，其以计算机可执行代码的形式来实现。在一方面，形态匹配和分析算法被存储在外科手术计划工具800的非易失性存储器设备中，并且被配置为分析数据库830中存档的视频记录。如之前讨论的，存档在数据库830中的每个视频记录能够被标识和/或嵌入某些元数据信息。此元数据信息能够包括患者信息，诸如患者年龄、性别和描述患者健康或医疗历史的其他信息。此外，如之前讨论的，元数据信息能够包括由医疗人员做出的标记或注释。在一方面，这些标记和注释被嵌入有视频记录，并且与数据库830中的视频一起被存档。
在一方面，形态匹配和分析算法包括图像分析部件，该图像分析部件识别存储在数据库830上的多个视频记录之中共享的形状和颜色的形态。形态匹配和分析算法然后检查与视频记录的子集相关联的标识的元数据，以确定任何单词和短语是否与该子集内的视频频繁关联。通过形态匹配和分析算法执行的这些分析能够被用于辅助医疗人员关于患者解剖结构、优选外科手术途径、疾病状态、潜在并发症等做出决定。
使用外科手术计划工具的方法
图9示出使用外科手术计划工具的方法900。在一方面，外科手术计划工具与图8处的外科手术计划工具800相似。在910处，描述医疗患者的事实或特性(例如患者遭受的医疗状况)由医疗设备接收。医疗设备能够经由位于遥控外科手术系统(例如，图1处的遥控外科手术系统10或图4处的遥控外科手术系统50)上的用户接口来接收这种事实或情况，或者替代地，通过类似于图8处的个人计算机820的个人计算机来接收这种事实或情况。在920处，医疗设备使用在910处接收到的事实或特性从医疗设备数据库检索外科手术过程的至少一个相关视频记录。在930处，医疗设备使用视频记录确定外科手术计划信息。在一方面，外科手术计划信息包括在记录的过程中使用的器械类型。在940处，医疗设备向用户显示在930处确定的外科手术计划信息。
图10是根据一些实施例的表示在计算机可读存储设备1004中的存储图集1002的示意图。存储图集1002包括第一数据信息结构1006，其指示之前执行的外科手术过程的实例。第一数据信息结构1006的每个不同实例对应于不同的外科手术。与各个外科手术事件相关联的第二数据信息结构1008在对应的时间间隔(t1、t2、……tn)使运动图图像片段(MPI1、MPl2、……MPIn)与运动学信息片段(KIN1、KIN2、……KINn)相关联、与外科手术系统致动状态(Astate1、Astate2、……Astaten)相关联以及与对应的注释(ANOT1、ANOT2、……ANOTn)相关联。基于给定类型的多个外科手术事件产生的第一控制信号规则信息结构1010使运动学/图像签名/致动状态组合与控制信号相联，例如(SigK1、SigI1、Astate1、CNTLKIA1)……(SigKn、SigIn、Astaten、CNTLKIAn)。第一规则信息结构1010的每个不同实例对应于不同的外科手术类别。与各个外科手术事件相关联的第三数据信息结构1012在对应的时间间隔(t1、t2、……tn)使运动图图像片段(MPI1、MPl2、……MPIn)与触觉信息片段(HAP1、HAP2、……HAPn)相关联。基于给定类型的多个外科手术事件产生的第二诊断规则信息结构1014使诊断图像签名(SigIDIAG1、SigIDIAG2、……SigIDIAGm)与诊断运动学签名(SigKDIAG1、SigKDIAG2、……SigKDIAGm)相关联和与诊断(DIAG1、DIAG2、……DIAGm)相关联。第二诊断规则信息结构1014的每个不同实例对应于不同的外科手术类别。
根据一些实施例，图像信息能够为跨越整个可见光谱、荧光、高光谱、CT/MRI的视频图像的形式。图像信息或这些图像信息中的一些的组合能够作为用于评估疾病状态/确定诊断的基础。
图11是表示根据一些实施例的被包括在存储设备1004中的图集1002内的第一数据信息结构1006的示例性实例的示意图，其包括关于各个外科手术过程的信息。应当理解的是，由许多不同外科医生使用本文描述的机器人辅助的外科手术系统的许多不同实例对多个不同的患者执行多次外科手术过程。第一数据信息结构1006的实例能够针对被执行的每个外科手术过程被产生并且存储在计算机可读存储设备中。例如，示例性第一数据信息结构1006包括外科手术类型字段1006-1，其指示外科手术的类型，诸如前列腺切除术、子宫切除或部分肾切除术。
例如，示例性第一数据信息结构1006包括患者健康记录字段1006-2，其提供关于在做手术的患者的信息，诸如年龄、体重、血型、身高、性别和种族。例如，示例性第一数据信息结构1006包括医师信息字段1006-3，其提供关于执行各个手术的外科医生的信息，诸如大体的经验水平和操作机器人辅助的外科手术系统的经验水平。例如，示例性第一数据信息结构1006包括外科手术系统字段1006-4，其提供关于用于执行手术的外科手术系统的信息，诸如制造、模型和序列号。例如，示例性第一数据信息结构1006包括外科手术记录字段1006-5，其提供在外科手术过程期间使用系统提供的诸如运动图图像、器械运动学和触觉反馈的信息。示例性第一数据信息结构1006包括外科手术记录字段1006-6，其提供注释信息，诸如包含描述性信息的已经与示例性第一数据信息结构1006内的图像信息、运动学信息或触觉信息相关联的标识。
图12是表示根据一些实施例的包括在存储设备1004中的图集1002内的第二数据信息结构1008的示例性实例的示意图，其关联来自各个外科手术过程的所记录的运动图图像片段、对应的外科手术器械运动学信息片段、对应的外科手术系统致动状态和对应的注释。示例性第二数据信息结构1008在第一数据信息结构1006的记录字段1006-5内提供额外的信息细节。在一方面，患者解剖结构的运动图图像、对应的外科手术器械运动学和对应的外科手术系统致动状态被记录，并且在外科手术期间进行时间戳记(t1、t2、……tn)，以产生外科手术活动的时序记录和在该外科手术过程期间的对应的外科手术器械运动学。在一些实施例中，运动图图像也包含用于在外科手术期间在解剖结构上操作的外科手术器械的图像。时间戳记将运动图图像与外科手术器械运动学临时配准。
在外科手术期间，用户(例如外科医生或外科手术团队的其他成员)可利用元数据注释记录的运动图信息和相关联的记录的外科手术器械运动学信息，其指示对应的外科手术活动，例如，诸如解剖或缝合、解剖学特征、特定的外科手术复杂性、外科医生观察或过程的阶段。例如，注释可以包括标识到记录的运动图信息和/或记录的外科手术器械运动学信息的编写笔记、视频记录中的图像的颜色或标记(例如，远程图解(telestration))中的一个或更多个，或者是其组合。例如，注释可以稍后被添加到时间戳记的记录的图像信息和/或记录的运动学信息。
应当理解的是，在遥控外科手术过程期间，外科手术活动能够出现，从而导致外科手术系统致动状态的改变。外科医生可以将他的头移动到查看器31中并且从查看器31移出，从而导致导向状态的改变。例如，外科医生可以将他的手或脚移动接触或不接触控制器输入36，从而导致跟随状态的改变。例如，使用中的器械的组合可以被改变，从而导致器械类型状态的改变。
外科手术器械支持在一个或更多个外科手术状态中的外科手术活动的操作导致在外科手术系统内的指示器械运动的运动学信息的产生，该器械运动指示外科医生执行外科手术活动的实际方式。例如，外科医生可能已经迅速或缓慢地移动器械。例如，外科医生可能已经在一个方向上朝向解剖结构或在一个方向上远离解剖结构沿着一个或另一个路径移动外科手术器械。例如，外科医生在致动特定器械之前可能已经调整不同器械的位置。应当理解的是，所记录的解剖结构图像信息和所记录的器械运动学信息的组合以及所记录的系统致动状态提供在外科手术期间呈现给外科医生什么图像以及外科医生从事的哪些活动与这些图像有关以及当时的外科手术系统是什么系统致动状态的记录。对应的注释能够对在外科手术过程中记录的相关联的图像和运动学提供额外的了解。注意：虽然运动学信息能够直接从外科手术系统(例如，经由接头数据或其他机械跟踪)中导出，但是在各种其他实施例中，运动学信息能够从图像处理或传感器数据(例如，内窥镜图像内的工具/器械跟踪)中提取。
图13A-13C是示出根据一些实施例的示例性外科手术器械1202和致动器组件1203的示意图，其中外科手术器械以三种不同的示例性器械致动状态被示出。示例性器械1202包括夹爪末端执行器1204，该夹爪末端执行器1204能够在打开状态和关闭状态之间转变，以及连续在其间的部分打开/部分关闭状态之间转变。示例性器械1202也包括二自由度(2-dof)腕部1206，其能够在不同的二维(x、y)位置状态之间移动。示例性致动器组件1203包括第一致动器1208，在一些实施例中该第一致动器1208包括用于致动夹爪末端执行器1204的夹爪马达(JM)。示例性致动器组件1203包括第二致动器1210，在一些实施例中该第二致动器1210包括用于致动腕部1206的腕部马达(WM)。在外科手术期间，外科手术器械1202可以转变通过对应于在外科手术过程期间的不同活动的各种器械致动状态。每次转变导致运动学信息的生成，该运动学信息被捕获和存储并且指示随着器械从在一种状态下的其物理位置和部署(如，打开的或关闭的)转变到在下一种状态下的其物理位置和部署的器械运动。如图13A中所表示的，例如，外科手术过程可涉及第一外科手术活动，其中第一致动器1208(JM)将夹爪末端执行器1204布置成完全打开状态，并且第二致动器1210(WM)将腕部1206布置成第一位置状态(x1、y1)。如图13B中所表示的，例如，外科手术过程可涉及第二外科手术活动，其中第一致动器1208将夹爪末端执行器1204转变到完全关闭状态，并且第二致动器1210将腕部1206转变到第二位置状态(x2、y2)。如图13C中所表示的，例如，外科手术过程可涉及第三外科手术活动，其中第一致动器1208将夹爪末端执行器1104布置成部分打开/部分关闭状态，并且第二致动器1210将腕部1206转变到第三位置状态(x3、y3)。
图14是表示根据一些实施例的被包括在存储设备1004中的图集1002内的第一控制信号规则信息结构1010的示例性实例的示意图，其包括关联运动学签名信息、图像签名信息和系统致动状态信息与控制信号的规则。该规则基于来自在第一和第二数据信息结构1006、1008中所表示的先前外科手术的数据来开发。第一规则将解剖图像、器械运动学和系统状态的形态与用于控制系统操作或在外科手术期间向外科医生提供引导的控制信号关联。
根据一些实施例，运动学签名包括多维矢量。在一些实施例中，例如，将器械的记录的运动学运动被分解为表示运动学特征的多个矢量，该运动学特征诸如瞬时速度、瞬时加速度、瞬时三维位置、当前运动路径和预测的运动路径。不仅器械的运动和位置，而且该器械的背景(诸如解剖结构相对于该器械的物理位置、其他器械的物理位置、患者的健康和外科手术的性质)与运动学信息的解释有关。而且，之前的器械运动能够与评估有关，例如器械下一步移动到的位置，其至少部分地基于器械运动学。因此，在一些实施例中，例如，器械运动学矢量还包括指示解剖结构的位置、其他器械的位置、患者健康、外科手术的类型和器械的先前运动的矢量。
根据一些实施例，图像签名包括多维矢量。例如，在一些实施例中，解剖结构的记录的运动图图像被分解成多个矢量，其表示图像特征，诸如颜色、纹理和几何形状。而且，在卷积神经网络中，存在较低级的特征(例如，颜色边缘等)；在随后的层中，获悉较高级的特征，最终导致例如解剖结构或组织类型的分类。不仅解剖结构的外观，而且该解剖结构的背景(诸如患者的健康、外科手术的性质、外科医生在特定类型的机器人辅助外科手术中的技能水平，以及系统状态是否指示当前系统中安装了正确的外科手术器械)与解剖图像的解释有关。而且，在外科手术过程中的解剖结构的外观的改变能够与解剖图像的解释有关。因此，在一些实施例中，例如，图像矢量还包括指示患者健康记录信息、外科手术类型以及在不同外科手术阶段解剖图像外观的比较的矢量。
根据一些实施例，不同的控制信号与图像签名、运动学签名和致动系统状态的不同组合相关联。在一些实施例中，一些控制信号控制器械致动状态。例如，图像签名、运动学签名和致动系统状态的某些组合可对应于不安全的外科手术活动，并且对应的控制信号可以操作使外科手术系统冻结器械的运动，和/或向外科医生生成通知(例如，可视的、可听见的和/或触觉警告，或相关引导/信息可用的指示)。例如，器械运动在摄像机的视场之外。替代地，例如，图像签名、运动学签名和致动系统状态的某些组合可对应于特别精细的外科手术活动，并且对应的控制信号可以操作使外科手术系统降低器械运动的速率到安全速度或可以限制器械的运动范围以避免损伤或可以向外科医生生成建议通知(例如，查看器内显示的纠正/警告信息的叠加，或相关引导/信息的入口的呈现)。例如，在前列腺切除术期间保留神经，或在二尖瓣修复期间缝合。
根据一些实施例，机器学习技术能够被用于生成图像签名并生成运动学签名。更具体地，例如，分类器能够与专家知识一起使用，以将图像签名和运动学签名与控制信号相关联。基于例如专家外科医生输入，对第一和第二数据信息结构1006、1008内的外科手术数据进行评估，以在不同的解剖图像、器械运动学和外科手术系统状态的背景下确定合适的系统操作。影响确定的系统操作的控制信号在第一规则信息结构1010中与解剖图像签名、器械运动学签名和系统状态相关联。根据一些实施例，图像签名和运动学签名能够与系统状态信息被组合在一起，以产生对应于控制信号的一个总体签名。
图15是表示根据一些实施例的至少部分基于解剖图像信息、器械运动学和系统状态产生控制信号的过程1502的示意流程图。根据一些实施例，计算机处理器58被配置成执行过程1502。在执行外科手术过程期间，规则块1504基于在外科手术期间的运动图图像、器械运动学和外科手术系统状态以及来自第一规则信息结构1010的规则确定是否引起控制信号的发射。
更具体地，在使用系统10执行外科手术过程期间，规则块1504接收在外科手术期间生成的运动图图像信息，接收在外科手术期间生成的器械运动学信息并且接收在外科手术期间生成的系统状态信息。摄像机528在外科手术期间捕获运动图信息。计算机处理器58在块1506处向规则块1504提供对应的图像信息。器械致动器(诸如致动器1208、1210)接收在外科手术期间导致器械运动的致动命令。计算机处理器58在块1508处基于致动命令确定器械运动学信息，并且向规则块1504提供运动学信息。该系统包括感测系统状态的传感器(未显示)，所述系统状态诸如操作者是否已经将他的头放置于查看器，操作者是否已经接合控制输入与手和/或脚36，以及哪些器械被插入使用。计算机处理器58在块1510处向规则块1504提供系统状态信息。
同样，在外科手术过程期间，控制信号规则存储块1512向规则块1504提供来自第一控制信号规则信息结构1010的第一规则块部分1010A内的图像签名信息、运动学签名信息和系统致动状态信息。规则块1504将块1506、1508、1510提供的图像、运动学和系统信息分别与来自第一规则块部分1010A的相关联的图像签名(SigI)、运动学签名(SigK)和系统状态(Astate)信息进行比较。应当理解的是，在一些实施例中，计算机处理器58被配置为将由系统10生成的图像、运动学和系统信息转化为适合与来自控制信号规则信息结构1010的第一部分1010A的签名和状态信息进行比较的格式。特别地，在一些实施例中，对原始图像/运动学/系统状态进行处理，以导出一个分类(信号/概率)，该分类然后在表中查找以基于确定的分类确定采取何种动作。
决定模块1506在提供的图像、运动学和系统状态信息与来自第一规则块部分1010A的规则信息之间确定是否发生匹配。应当理解的是，在机器学习实施例中，基于图像、运动学和系统状态信息与规则信息之间的相似范围来确定匹配。因此，例如，在某一规则的某阈值极限内的生成的图像、生成的运动学和生成的系统状态信息的组合被确定以匹配该规则。
响应于确定图像、运动学和系统状态信息的组合与规则之间的匹配，块1514从控制信号规则信息结构1010的第二规则部分1010B内发射控制信号，这相当于匹配规则。例如，响应于确定在外科手术期间接收的图像、运动学和系统状态信息匹配第一部分1010A的SigI2、SigK2和Astat2，块1516从控制信号信息结构1010的第二部分101B内发射信号CNTLIKA2。因此，发射的控制信号取决于实际的系统信息。而且，发射的控制信号能够操作以控制器械致动。例如，控制信号能够被发射，以阻止某个器械运动，诸如避免与另一器械碰撞。例如，控制信号能够被发射，以控制某个器械运动如何发生，诸如通过限制速度的速率。例如，控制信号能够被发射，以控制器械下一步做什么，诸如将器械移到中立位置以防止与外科医生接下来可能使用的器械发生碰撞。当未检测到匹配时，决定模块将控制流程反馈到规则块1504。类似地，在控制信号的发射之后，控制流程返回到规则块1504，以继续将外科手术期间生成的图像、运动学和系统信息与来自控制信号信息结构1010的规则进行比较。
图16是表示根据一些实施例的包括在存储设备1004的图集1002内的第三数据信息结构1012的示例性实例的示意图，其将所记录的运动图图像片段与触觉信息片段相关联。示例性第三数据信息结构1012提供第一数据信息结构1006的记录字段1006-5内的信息的额外细节。在一方面，在外科手术期间赋予外科医生/操作者的患者解剖结构和对应的触觉反馈信息的运动图图像被记录并进行时间戳记(tl、t2……tn)，以产生在外科手术过程期间外科医生所观察到的内容和外科医生通过控制输入处的物理触摸感觉所感测到的内容的时序记录。时间戳记将运动图图像与外科手术器械运动学临时配准。
触觉通常描述触摸反馈，其可以包括动觉(力)和皮肤(触觉)反馈，以及振动和移动。在遥控外科手术系统中，由于外科医生不直接操纵器械，因而自然触觉反馈被极大地消除。参考图6，根据一些实施例，安装在外科手术器械520的患者侧上的人工触觉传感器660能够获取触觉信息，并且在外科医生侧上的触觉显示器将感测的信息传送给外科医生。参考图5A，动觉或力反馈系统通常测量或估计通过外科手术器械施加到外科手术场景内的患者解剖结构的力，并且经由安装在控制输入36上的力反馈设备39向外科医生的手提供分解的力。触觉反馈能够被用于提供信息，诸如局部组织变形和分布在组织表面上的压力。
再次参考图16，第三数据信息结构1012将运动图信息片段和递送到力反馈设备39的即时触觉反馈信息相关联。因此，在第三数据信息结构中的数据能够表示外科医生在外科手术过程期间的视觉和触觉输入的记录。此信息能够被用于帮助训练外科医生的机械技术并且也用作帮助训练外科医生诊断。
图17是表示根据一些实施例的配置遥控机器人辅助的外科手术系统重放外科手术经历的过程1702的示意流程图。根据一些实施例，计算机处理器58被配置为执行过程1702。处理器58使用记录的运动图信息来配置摄像机528，以在查看器处重放记录的运动图。处理器58使用记录的触觉信息来配置力反馈设备39，以在控制输入36处赋予记录的触觉反馈。在一些实施例中，力反馈设备39包括振动触觉设备。
应当理解的是，此重放能够有助于训练外科医生基于该外科医生自身的先前外科手术经历或基于另一外科医生的外科手术经历而更有效地使用外科手术系统。通过观看查看器31和触摸控制输入36，同时图像和对应的触觉反馈力被重放，外科医生能够经历所记录的外科手术。例如，外科医生然后能够试验交替的外科手术方法，并且将在这些交替的方法期间的视觉和触觉感受与先前外科手术的视觉和触觉感受进行比较。图18是表示根据一些实施例的包括在存储设备1004中的图集1002内的第二诊断规则信息结构1014的示例性实例的示意图，其包括关联图像签名信息和触觉反馈信息与诊断的规则。该规则基于来自第一和第三数据信息结构1006、1012中所表示的先前外科手术的数据而被开发。第二规则将解剖图像和触觉反馈的形态与诊断关联。
如以上所解释的，图像签名包括多维矢量。此外，根据一些实施例，触觉反馈签名包括多维矢量。根据一些实施例，所记录的触觉反馈被分解成为多个矢量，其表示触觉反馈特征，诸如反馈力的位置、频率和强度。不仅反馈力的位置、频率和强度，而且反馈力的背景(诸如患者的健康和外科手术的性质)与反馈信号的解释相关。因此，例如，在一些实施例中，多维触觉反馈矢量也包括指示患者健康和外科手术类型的矢量。
根据一些实施例，机器学习技术能够被用于生成图像签名并且生成触觉反馈签名。更具体地，例如，分类器能够与专家知识一起被使用，以将图像签名和触觉签名与诊断关联。基于例如专家外科医生输入，对在第一和第三数据信息结构1006、1012内的外科手术数据进行评估，以在不同解剖图像以及触觉反馈力的背景下确定合适的诊断。根据一些实施例，图像签名和触觉签名能组合在一起，以产生对应于诊断的一个总体签名。
图19是表示根据一些实施例的至少部分基于解剖图像信息和触觉反馈信息产生诊断的过程1902的示意流程图。根据一些实施例，计算机处理器58被配置为执行过程1902。在执行外科手术过程期间，基于在外科手术期间的运动图图像和触觉反馈力以及来自第二规则信息结构1014的规则，规则块1904确定是否报告诊断。
更具体地，在使用系统10执行外科手术过程期间，规则块1904接收在外科手术期间生成的运动图图像信息，并且接收在外科手术期间生成的触觉反馈信息。摄像机528在外科手术期间捕获运动图信息。计算机处理器58在块1906处向规则块1904提供对应的图像信息。触觉反馈力设备39生成触觉反馈力。计算机处理器58在块1908处基于致动命令确定触觉反馈力信息并且向规则块1904提供运动学信息。
同样，在外科手术过程期间，诊断规则存储块1912向规则块1904提供来自诊断规则信息结构1014的第一规则块部分1014A的图像签名信息和触觉反馈信息。规则块1904将由块1906、1908提供的图像和触觉反馈信息分别与来自规则诊断结构1014的第一规则块部分1014A的相关联的图像签名(SigI)和触觉反馈签名(SigH)进行比较。应当理解的是，在一些实施例中，计算机处理器58被配置将由系统10生成的图像和触觉反馈信息转化成适合与来自诊断规则信息结构1014的第一部分1014A的签名和状态信息进行比较的格式。
决定模块1914确定在提供的图像和触觉反馈信息与来自诊断规则信息结构1014的第一规则部分1014A的规则信息之间是否出现匹配。应当理解的是，在机器学习实施例中，基于图像和触觉信息与规则信息之间的相似范围来确定匹配。因此，例如，在某一规则的某阈值极限内的生成的图像和生成的触觉信息的组合被确定以匹配该规则。
响应于确定图像、运动学和系统状态信息的组合与规则之间的匹配，块1914从第一控制信号规则信息结构1010的第二规则块1010B部分内发射控制信号，这相当于匹配规则。例如，响应于确定外科手术过程期间接收的图像和触觉反馈信息匹配诊断信息结构1014的第一部分1014A中SigI2和SigH2，块1916报告在查看器31上，诊断DIAG1形成诊断信息结构1014的第二部分。因此，在外科手术期间的诊断取决于外科手术期间生成的实际系统信息和许多先前外科手术中记录的信息。在过程1902期间，当没有检测到匹配时，决定模块1914将控制流程反馈到规则块1904。类似地，在诊断后，流程控制返回规则块1904，以继续将外科手术期间生成的图像和触觉与来自诊断规则信息结构1014的规则进行比较。
尽管已经示出和描述说明性实施例，但是在上述公开中设想广泛的修改、更改和替代，并且在一些实例中，可以采用实施例的一些特征而其他特征不对应使用。本领域的一个普通技术人员将意识到许多变化、替代和修改。因此，本公开的范围应当仅由随附的权利要求来限定，并且宽泛地且以与本文公开的实施例的范围相一致的方式来构建权利要求是合适的。

Claims (10)

1.一种用于与遥控外科手术系统(外科手术系统)一起使用的方法，所述方法包括：
针对外科手术过程在所述外科手术系统的一个或更多个实例中的多次发生中的每次，记录指示在所述外科手术过程的所述发生期间在所述外科手术系统内产生的外科手术器械运动的外科手术器械运动学信息；
确定与相应外科手术器械运动相关联的相应运动学签名；
在计算机可读存储设备中产生使相应运动学签名与相应控制信号相关联的信息结构；
在所述外科手术过程在所述外科手术系统的实例中执行期间，将在所述执行期间的外科手术器械运动学信息与至少一个相应运动学签名进行比较；
在所述外科手术过程在所述外科手术系统的所述实例中执行期间，响应于在所述执行期间的外科手术器械运动学与相应运动学签名之间的匹配，在所述外科手术系统内发射相关联的相应控制信号。
2.根据权利要求1所述的方法，其进一步包括：
响应于所述控制信号，调整器械移动的速度。
3.根据权利要求1所述的方法，其进一步包括：
响应于所述控制信号，调整器械的运动范围。
4.根据权利要求1所述的方法，其进一步包括：
响应于所述控制信号，提供向操作者提供引导的视觉图像。
5.一种用于与遥控外科手术系统(外科手术系统)一起使用的方法，所述方法包括：
针对外科手术过程在所述外科手术系统的一个或更多个实例中的多次发生中的每次，记录在所述外科手术过程的所述发生期间在所述外科手术系统内的外科手术场景图像；
确定与相应外科手术场景图像相关联的相应外科手术图像签名；
在计算机可读存储设备中产生使相应外科手术图像签名与相应控制信号相关联的信息结构；
在所述外科手术过程在所述外科手术系统的实例中执行期间，将在所述外科手术的所述实例中在外科手术场景内的外科手术图像与至少一个相应外科手术图像签名进行比较；
在所述外科手术过程在所述外科手术系统的所述实例中执行期间，响应于在所述执行期间的外科手术图像与相应外科手术图像签名之间的匹配，在所述外科手术系统内发射相关联的相应控制信号。
6.根据权利要求5所述的方法，其进一步包括：
响应于所述控制信号，调整器械移动的速度。
7.根据权利要求5所述的方法，其进一步包括：
响应于所述控制信号，调整器械的运动范围。
8.根据权利要求5所述的方法，其进一步包括：
响应于所述控制信号，提供向操作者提供引导的视觉图像。
9.一种用于与遥控外科手术系统(外科手术系统)一起使用的方法，所述方法包括：
针对外科手术过程在所述外科手术系统的一个或更多个实例中的多次发生中的每次，记录在所述外科手术过程的所述发生期间在所述外科手术系统内的外科手术场景图像；
确定与相应外科手术场景图像相关联的相应外科手术图像签名和运动学签名；
在计算机可读存储设备中产生使相应外科手术图像签名和运动学签名与相应控制信号相关联的信息结构；
在所述外科手术过程在所述外科手术系统的实例中执行期间，将在所述外科手术系统的所述实例中在外科手术场景内的外科手术图像与至少一个相应外科手术图像签名进行比较；
在所述外科手术过程在所述外科手术系统的实例中执行期间，将在所述执行期间的外科手术器械运动学信息与至少一个相应运动学签名进行比较；
在所述外科手术过程在所述外科手术系统的所述实例中执行期间，响应于在所述执行期间的外科手术图像与相应外科手术图像签名之间的匹配以及在所述执行期间的所述外科手术器械运动学与相应运动学签名之间的匹配，在所述外科手术系统内发射相关联的相应控制信号。
10.一种用于与遥控外科手术系统(外科手术系统)一起使用的方法，所述方法包括：
在外科手术过程期间，记录在所述外科手术系统的第一实例的查看器内显示的外科手术场景内的解剖组织的图像；
在所述外科手术过程期间，响应于在与查看器内显示的所述外科手术场景内的所述解剖组织接触期间赋予所述外科手术器械的力，记录赋予所述外科手术系统的所述第一实例的外科手术器械控制的外科手术器械控制触觉；
在所述外科手术过程的模拟期间，在所述外科手术系统的第二实例的查看器内重放记录的图像；并且
在所述外科手术过程的所述模拟期间在重放所述记录的图像期间，将记录的外科手术器械控制触觉赋予所述外科手术系统的所述第二实例的外科手术器械控制。
CN202210109756.4A 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统 Pending CN114376733A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562173077P 2015-06-09 2015-06-09
US62/173,077 2015-06-09
CN201680038267.7A CN107847283B (zh) 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统
PCT/US2016/036733 WO2016201123A1 (en) 2015-06-09 2016-06-09 Configuring surgical system with surgical procedures atlas

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680038267.7A Division CN107847283B (zh) 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统

Publications (1)

Publication Number Publication Date
CN114376733A true CN114376733A (zh) 2022-04-22

Family

ID=57504375

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680038267.7A Active CN107847283B (zh) 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统
CN202210109756.4A Pending CN114376733A (zh) 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680038267.7A Active CN107847283B (zh) 2015-06-09 2016-06-09 利用外科手术过程图集配置外科手术系统

Country Status (6)

Country Link
US (3) US11058501B2 (zh)
EP (1) EP3307196A4 (zh)
JP (3) JP7166760B2 (zh)
KR (2) KR102523779B1 (zh)
CN (2) CN107847283B (zh)
WO (1) WO2016201123A1 (zh)

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
EP3079608B8 (en) 2013-12-11 2020-04-01 Covidien LP Wrist and jaw assemblies for robotic surgical systems
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
WO2016133633A1 (en) 2015-02-19 2016-08-25 Covidien Lp Repositioning method of input device for robotic surgical system
CA2977413A1 (en) 2015-03-10 2016-09-15 Covidien Lp Measuring health of a connector member of a robotic surgical system
US11058501B2 (en) * 2015-06-09 2021-07-13 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
AU2016284040B2 (en) 2015-06-23 2020-04-30 Covidien Lp Robotic surgical assemblies
WO2017053363A1 (en) 2015-09-25 2017-03-30 Covidien Lp Robotic surgical assemblies and instrument drive connectors thereof
CN108472084B (zh) 2015-11-12 2021-08-27 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
US10660714B2 (en) 2015-11-19 2020-05-26 Covidien Lp Optical force sensor for robotic surgical system
WO2017173524A1 (en) 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
EP3463162A4 (en) 2016-06-03 2020-06-24 Covidien LP SYSTEMS, METHODS AND COMPUTER READABLE PROGRAM PRODUCTS FOR CONTROLLING A ROBOT CONTROLLED MANIPULATOR
US11446099B2 (en) 2016-06-03 2022-09-20 Covidien Lp Control arm for robotic surgical systems
EP3582708A4 (en) 2017-02-15 2020-12-23 Covidien LP CRUSH PREVENTION SYSTEM AND DEVICE FOR MEDICAL ROBOTIC APPLICATIONS
US11717361B2 (en) 2017-05-24 2023-08-08 Covidien Lp Electrosurgical robotic system having tool presence detection
JP2020520745A (ja) 2017-05-25 2020-07-16 コヴィディエン リミテッド パートナーシップ 自動誘導付きロボット外科システム
US11628022B2 (en) 2017-09-05 2023-04-18 Covidien Lp Collision handling algorithms for robotic surgical systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11406390B2 (en) 2017-10-30 2022-08-09 Cilag Gmbh International Clip applier comprising interchangeable clip reloads
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11819231B2 (en) 2017-10-30 2023-11-21 Cilag Gmbh International Adaptive control programs for a surgical system comprising more than one type of cartridge
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11756668B2 (en) * 2017-11-12 2023-09-12 Aleph Bot Ltd Systems methods devices circuits and computer executable code for tracking evaluating and facilitating a medical procedure
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US20190201087A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Smoke evacuation system including a segmented control circuit for interactive surgical platform
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11612444B2 (en) * 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
CN111542886B (zh) * 2017-12-28 2024-08-30 爱惜康有限责任公司 用于基于围术期信息调节端部执行器参数的系统
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
WO2019133143A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Surgical hub and modular device response adjustment based on situational awareness
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US10892899B2 (en) * 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
BR112020012955A2 (pt) * 2017-12-28 2020-12-01 Ethicon Llc sistemas cirúrgicos com capacidades de transmissão de dados priorizada
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US20190201140A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Surgical hub situational awareness
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11419667B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US12127729B2 (en) 2017-12-28 2024-10-29 Cilag Gmbh International Method for smoke evacuation for surgical hub
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11273001B2 (en) * 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11559308B2 (en) * 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
CN111556735A (zh) 2018-01-04 2020-08-18 柯惠Lp公司 将手术配件安装至机器人手术系统并且提供穿过其的通路的系统和组件
WO2019139949A1 (en) 2018-01-10 2019-07-18 Covidien Lp Determining positions and conditions of tools of a robotic surgical system utilizing computer vision
US12102403B2 (en) 2018-02-02 2024-10-01 Coviden Lp Robotic surgical systems with user engagement monitoring
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11389188B2 (en) 2018-03-08 2022-07-19 Cilag Gmbh International Start temperature of blade
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11129611B2 (en) 2018-03-28 2021-09-28 Cilag Gmbh International Surgical staplers with arrangements for maintaining a firing member thereof in a locked configuration unless a compatible cartridge has been installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
JP6730363B2 (ja) * 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
US11986261B2 (en) 2018-04-20 2024-05-21 Covidien Lp Systems and methods for surgical robotic cart placement
US20210205027A1 (en) * 2018-05-30 2021-07-08 Intuitive Surgical Operations, Inc. Context-awareness systems and methods for a computer-assisted surgical system
CN112105312A (zh) 2018-07-03 2020-12-18 柯惠Lp公司 用于在手术程序期间检测图像退化的系统、方法和计算机可读介质
US11419604B2 (en) * 2018-07-16 2022-08-23 Cilag Gmbh International Robotic systems with separate photoacoustic receivers
CN112739282A (zh) 2018-09-17 2021-04-30 柯惠Lp公司 手术机器人系统
EP3837697B1 (en) * 2018-10-12 2024-05-08 Sony Group Corporation Haptic barriers for avoiding collision with robotic surgery devices
KR20210100144A (ko) * 2018-12-05 2021-08-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조직 내의 발색단 농도의 결정
CN109754651A (zh) * 2019-01-31 2019-05-14 北京汉博信息技术有限公司 手术示教方法及系统
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11291445B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical staple cartridges with integral authentication keys
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
IT201900002737A1 (it) * 2019-02-26 2020-08-26 Sparkbio S R L Metodo e sistema per l'identificazione e il trattamento di eventi in un sistema per la sincronizzazione e la visualizzazione combinata di informazioni
EP3745417A1 (en) * 2019-05-29 2020-12-02 Université de Rennes 1 Method for converting a virtual surgical process
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US10671934B1 (en) 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
CN112397180B (zh) * 2019-08-19 2024-05-07 台北医学大学 手术影像的智能标记系统及其方法
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11911120B2 (en) 2020-03-27 2024-02-27 Verb Surgical Inc. Training and feedback for a controller workspace boundary
EP4146115A4 (en) * 2020-05-04 2024-09-04 Raytrx Llc SURGICAL VIEWING ROOM
WO2021226134A1 (en) 2020-05-04 2021-11-11 Raytrx, Llc Surgery visualization theatre
US11478124B2 (en) 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
JP2023553392A (ja) * 2020-12-01 2023-12-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 仮想現実ガイダンスを生成するためのシステムと方法
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
US12076005B2 (en) * 2022-03-23 2024-09-03 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070083098A1 (en) * 2005-09-29 2007-04-12 Intuitive Surgical Inc. Autofocus and/or autoscaling in telesurgery
US20110224668A1 (en) * 2010-03-10 2011-09-15 Tyco Healthcare Group Lp System and Method for Determining Proximity Relative to a Critical Structure
CN101160104B (zh) * 2005-02-22 2012-07-04 马科外科公司 触觉引导系统及方法
CN102665589A (zh) * 2009-11-13 2012-09-12 直观外科手术操作公司 用于远程操作的微创外科手术器械的病人侧外科医生界面
US20120316573A1 (en) * 2011-05-31 2012-12-13 Intuitive Surgical Operations, Inc. Positive control of robotic surgical instrument end effector
US20130041368A1 (en) * 2011-08-09 2013-02-14 Tyco Healthcare Group Lp Apparatus and Method for Using a Remote Control System in Surgical Procedures

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0820894B2 (ja) * 1987-07-01 1996-03-04 株式会社日立製作所 産業用ロボツトの動作制御方法
WO1993013916A1 (en) 1992-01-21 1993-07-22 Sri International Teleoperator system and method with telepresence
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6074213A (en) 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6573889B1 (en) * 1999-02-08 2003-06-03 Adobe Systems Incorporated Analytic warping
JP2000287986A (ja) 1999-04-01 2000-10-17 Olympus Optical Co Ltd 手術具
WO2002005217A1 (en) 2000-07-07 2002-01-17 Kent Ridge Digital Labs A virtual surgery system with force feedback
JP4032410B2 (ja) 2001-11-09 2008-01-16 ソニー株式会社 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US20100312129A1 (en) * 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
WO2007127338A2 (en) * 2006-04-27 2007-11-08 Bruce Reiner Apparatus and method for utilizing biometrics in medical applications
US7950306B2 (en) * 2007-02-23 2011-05-31 Microdexterity Systems, Inc. Manipulator
US20090017430A1 (en) 2007-05-15 2009-01-15 Stryker Trauma Gmbh Virtual surgical training tool
JP5394622B2 (ja) 2007-07-31 2014-01-22 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
US8317744B2 (en) * 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
US9161817B2 (en) * 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US20100248200A1 (en) 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training
US9092650B2 (en) * 2009-01-06 2015-07-28 Siemens Healthcare Diagnostics Inc. Methods and apparatus for automated detection of the presence and type of caps on vials and containers
US8126736B2 (en) 2009-01-23 2012-02-28 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
JP2012518519A (ja) * 2009-02-25 2012-08-16 モハメッド ラシュワン マーフォーズ カスタマイズされた整形外科用インプラント及び関連方法並びに変形可能な関節テンプレート
WO2013130895A1 (en) 2012-02-29 2013-09-06 Aquabeam, Llc Automated image-guided tissue resection and treatment
KR101914303B1 (ko) 2009-03-20 2018-11-01 더 존스 홉킨스 유니버시티 전문 기술을 정량화하는 방법 및 시스템
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
WO2011128766A2 (en) * 2010-04-13 2011-10-20 Picard Frederic Methods and systems for object tracking
US20110295268A1 (en) 2010-05-28 2011-12-01 Hansen Medical, Inc. System and method for automated master input scaling
US20120178069A1 (en) 2010-06-15 2012-07-12 Mckenzie Frederic D Surgical Procedure Planning and Training Tool
JP2012065698A (ja) 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
KR101975808B1 (ko) 2010-11-04 2019-08-28 더 존스 홉킨스 유니버시티 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
EP2637594A4 (en) 2010-11-11 2015-05-06 Univ Johns Hopkins ROBOT SYSTEMS FOR HUMAN MACHINE COLLABORATION
WO2012082615A2 (en) * 2010-12-13 2012-06-21 Ortho Kinematics, Inc. Methods, systems and devices for clinical data reporting and surgical navigation
CN103380441B (zh) * 2010-12-20 2016-06-22 皇家飞利浦电子股份有限公司 用于自动生成初始辐射处置规划的系统和方法
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9498231B2 (en) * 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
AU2012289973B2 (en) * 2011-08-03 2017-01-19 Conformis, Inc. Automated design, selection, manufacturing and implantation of patient-adapted and improved articular implants, designs and related guide tools
US9268915B2 (en) * 2011-09-25 2016-02-23 Theranos, Inc. Systems and methods for diagnosis or treatment
US8992230B2 (en) 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
CN104271046B (zh) 2012-03-07 2018-01-16 齐特奥股份有限公司 用于跟踪和引导传感器和仪器的方法和系统
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11395706B2 (en) * 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US9198714B2 (en) 2012-06-29 2015-12-01 Ethicon Endo-Surgery, Inc. Haptic feedback devices for surgical robot
CA2879414A1 (en) * 2012-08-03 2014-02-06 Stryker Corporation Systems and methods for robotic surgery
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP5719819B2 (ja) 2012-09-28 2015-05-20 日本光電工業株式会社 手術支援システム
JP5908172B2 (ja) 2012-11-30 2016-04-26 オリンパス株式会社 手術支援システムおよび手術支援システムの制御方法
EP2925495B1 (en) 2012-12-03 2021-02-03 ABB Schweiz AG Teleoperation of machines having at least one actuated mechanism
WO2014110069A1 (en) * 2013-01-11 2014-07-17 The Cleveland Clinic Foundation Alignment of manipulable sensor assembly
CN103077633A (zh) 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
CA2897897C (en) * 2013-01-16 2023-09-05 Medaware Ltd. Medical database and system
CN103961178B (zh) 2013-01-30 2016-05-11 深圳先进技术研究院 远程手术规划与导航系统
CA2897873A1 (en) 2013-03-13 2014-10-09 Stryker Corporation Systems and methods for establishing virtual constraint boundaries
KR102274277B1 (ko) * 2013-03-13 2021-07-08 스트리커 코포레이션 수술 절차들을 위한 준비시 수술실에 대상들을 배치하는 시스템
CN105163684B (zh) 2013-03-15 2018-02-02 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
WO2014152668A1 (en) 2013-03-15 2014-09-25 Ratcliffe Mark B System and method for performing virtual surgery
JP6473919B2 (ja) * 2013-06-24 2019-02-27 パナソニックＩｐマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
US20160270861A1 (en) 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
KR102405656B1 (ko) 2013-12-20 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
EP3119320B1 (en) * 2014-03-17 2020-07-22 Intuitive Surgical Operations, Inc. Automated structure with pre-established arm positions in a teleoperated medical system
KR102365191B1 (ko) * 2014-10-20 2022-02-18 삼성전자주식회사 사용자의 동작을 인식하기 위한 장치 및 방법
KR20160066928A (ko) 2014-12-03 2016-06-13 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법, 프로브의 초음파 송신 패턴 조절 장치
US11058501B2 (en) * 2015-06-09 2021-07-13 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
US10595941B2 (en) * 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
CN108472084B (zh) 2015-11-12 2021-08-27 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
CN109069208B (zh) * 2016-03-14 2023-02-28 穆罕默德·R·马赫福兹 用于无线超声跟踪和通信的超宽带定位
KR20190000940A (ko) * 2016-05-27 2019-01-03 마코 서지컬 코포레이션 수술 시스템을 위한 수술 전 계획 및 연관된 수술 중 등록
US10357315B2 (en) * 2016-05-27 2019-07-23 Mako Surgical Corp. Preoperative planning and associated intraoperative registration for a surgical system
FR3059541B1 (fr) 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason
KR101842372B1 (ko) * 2016-12-23 2018-03-27 한양로보틱스 주식회사 사출성형기의 원격관제시스템
US11141231B2 (en) * 2018-12-13 2021-10-12 Cilag Gmbh International Surgical tool performance via measurement and display of tissue tension
US20210153959A1 (en) * 2019-11-26 2021-05-27 Intuitive Surgical Operations, Inc. Physical medical element affixation systems, methods, and materials
US20210312949A1 (en) * 2020-04-05 2021-10-07 Theator inc. Systems and methods for intraoperative video review

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160104B (zh) * 2005-02-22 2012-07-04 马科外科公司 触觉引导系统及方法
US20070083098A1 (en) * 2005-09-29 2007-04-12 Intuitive Surgical Inc. Autofocus and/or autoscaling in telesurgery
CN102665589A (zh) * 2009-11-13 2012-09-12 直观外科手术操作公司 用于远程操作的微创外科手术器械的病人侧外科医生界面
US20110224668A1 (en) * 2010-03-10 2011-09-15 Tyco Healthcare Group Lp System and Method for Determining Proximity Relative to a Critical Structure
US20120316573A1 (en) * 2011-05-31 2012-12-13 Intuitive Surgical Operations, Inc. Positive control of robotic surgical instrument end effector
US20130041368A1 (en) * 2011-08-09 2013-02-14 Tyco Healthcare Group Lp Apparatus and Method for Using a Remote Control System in Surgical Procedures

Also Published As

Publication number Publication date
JP2022162123A (ja) 2022-10-21
KR20230054760A (ko) 2023-04-25
US11058501B2 (en) 2021-07-13
JP2018517506A (ja) 2018-07-05
US20240024051A1 (en) 2024-01-25
KR102523779B1 (ko) 2023-04-20
US20180153632A1 (en) 2018-06-07
JP7166760B2 (ja) 2022-11-08
WO2016201123A1 (en) 2016-12-15
KR20180006939A (ko) 2018-01-19
JP2024138402A (ja) 2024-10-08
CN107847283B (zh) 2022-02-22
US20210315650A1 (en) 2021-10-14
CN107847283A (zh) 2018-03-27
EP3307196A4 (en) 2019-06-19
US11737841B2 (en) 2023-08-29
EP3307196A1 (en) 2018-04-18
KR102673560B1 (ko) 2024-06-12

Similar Documents

Publication Publication Date Title
CN107847283B (zh) 利用外科手术过程图集配置外科手术系统
KR102654065B1 (ko) 스캔 기반 배치를 갖는 원격조작 수술 시스템
CN109996508B (zh) 带有基于患者健康记录的器械控制的远程操作手术系统
JP7504154B2 (ja) 手術技能レベルベース器具制御を備える遠隔操作手術システム
CN116035698A (zh) 具有手术器械磨损跟踪的远程操作手术系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination