CN110325138B - 用于智能种子配准的系统和方法 - Google Patents

用于智能种子配准的系统和方法 Download PDF

Info

Publication number
CN110325138B
CN110325138B CN201880012575.1A CN201880012575A CN110325138B CN 110325138 B CN110325138 B CN 110325138B CN 201880012575 A CN201880012575 A CN 201880012575A CN 110325138 B CN110325138 B CN 110325138B
Authority
CN
China
Prior art keywords
model
information
model points
registration
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012575.1A
Other languages
English (en)
Other versions
CN110325138A (zh
Inventor
F·巴巴格力
T·D·苏珀尔
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202310561647.0A priority Critical patent/CN116585031A/zh
Publication of CN110325138A publication Critical patent/CN110325138A/zh
Application granted granted Critical
Publication of CN110325138B publication Critical patent/CN110325138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40174—Robot teleoperation through internet

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Urology & Nephrology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)

Abstract

本申请提供一种配准在医疗程序期间使用的解剖数据集的方法。该方法可以包括访问感兴趣的患者解剖体的第一模型点集，以及通过用视觉探针可视化患者的解剖表面的一部分在术中获取第二模型点集。该方法可以进一步包括提取包括来自医疗系统的机器人臂的运动学信息和/或设置信息的系统信息，以及基于提取的系统信息生成初始种子变换。此后，该方法可以包括将初始种子变换应用于第一模型点集，以及生成第一模型点集和第二模型点集之间的第一配准，以允许操作者既查看又使用模型和实际信息。

Description

用于智能种子配准的系统和方法
相关申请的交叉引用
本申请要求2017年3月22日提交的美国临时申请62/474,866的权益，该临时申请通过引用以其整体并入本文。
技术领域
本公开涉及用于进行图像引导程序的系统和方法，并且更具体地涉及用于显示在图像引导程序期间采样的组织的病理数据的系统和方法。
背景技术
微创医疗技术旨在减少在医疗程序期间受损的组织数量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖体中的天然孔口或通过一个或多个外科手术切口执行。临床医生可以通过这些天然孔口或切口插入微创医疗器械(包括外科手术器械、诊断器械、治疗器械或活组织检查器械)以到达目标组织位置。为了协助到达目标组织位置，医疗器械的位置和移动可以与患者解剖体的术前或术中图像相互关联。通过使图像引导器械与图像相互关联，器械可以在解剖系统(诸如肺部、结肠、肠、肾、心脏、循环系统或诸如此类)中导航天然或外科手术创建的通道。传统的器械跟踪系统和参考系统可能需要在术前和手术成像期间使用患者垫，并且可能干扰临床环境或工作流程。用于以最小临床干扰执行图像引导外科手术的系统和方法是需要的。
发明内容
通过说明书随附的权利要求最好地总结了本发明的实施例。
然而，本文提供了一种配准在医疗程序中使用的解剖数据集的示例性方法。该方法可以包括访问表示感兴趣的患者解剖体的第一模型点集、通过表示感兴趣的解剖体的传感器数据在术中获取第二模型点集，以及提取包括来自医疗系统的机器人臂的运动学信息和/或设置信息的系统信息，并且由控制系统处理器基于提取的系统信息生成该模型点集和该表面点集之间的第一配准。
本文提供了另一种配准在医疗程序中使用的解剖数据集的示例性方法，该方法可以包括访问表示感兴趣的患者解剖体的第一模型点集，以及通过用视觉探针可视化感兴趣的患者解剖体的一部分来获取第二模型点集。该方法可以进一步包括提取包括来自医疗系统的机器人臂的运动学信息和/或设置信息的系统信息，以及在生成第一配准之前基于提取的系统信息生成初始种子变换。此后，该方法可以包括将初始种子变换应用于第一模型点集，以及生成第一模型集点和第二模型点集之间的第一配准、允许既查看又使用模型和实际信息。
示例性医疗系统可以包括机器人操纵臂、视觉探针以及控制系统，该机器人操纵臂具有多个关节以允许机器人操纵臂的移动，该视觉探针耦连到机器人操纵臂使得视觉探针可与机器人操纵臂一起移动，以及该控制系统与机器人操纵臂和视觉探针通信。控制系统可以被配置为提取包括来自医疗系统的机器人臂的运动学信息和/或设置信息的系统信息，以及被配置为基于提取的系统信息在感兴趣的患者解剖体的第一模型点集和感兴趣的患者解剖体的一部分的术中收集的第二模型点集之间生成第一配准。
应当理解，前面的一般性描述和以下的详细描述本质上是示例性的和解释性的，并且旨在提供对本公开的理解而非限制本公开的范围。在这方面，从以下的详细描述中，本公开的附加方面、特征和优点对于本领域技术人员而言将是显而易见的。
附图说明
当结合附图阅读时，从以下的详细描述中可以最好地理解本公开的各方面。强调指出，根据行业中的标准实践，各种特征未按比例绘制。事实上，为了清楚起见，各种特征的尺寸可以被任意增加或减少。此外，本公开可以在各种示例中重复参考数字和/或字母。这种重复是为了简单和清楚的目的而不是在其自身中规定各种实施例和/或所讨论的配置之间的关系。
图1A是根据本公开的实施例的远程操作医疗系统。
图1B示出根据本公开的实施例的示例性远程操作组装件的各方面的正视图。
图2A示出利用本公开的各方面的医疗器械系统。
图2B示出利用本公开的各方面的另一医疗器械系统。
图3A和图3B是根据本公开的实施例的包括安装在插入组装件上的医疗器械的患者坐标空间的侧视图。
图3C是根据本公开的实施例的包括定位用于示例性程序的多个器械的患者坐标空间的侧视图。
图4是示出根据本公开的实施例的将模型配准到对应的解剖结构以在图像引导医疗程序中提供引导的通用方法的流程图。
图5是示出根据本公开的实施例的将模型配准到对应的解剖结构以在图像引导医疗程序中提供引导的方法的另一流程图。
图6A示出根据本公开的各方面的通过视觉探针成像的图3C的器官。
图6B描绘根据本公开的各方面的表示图6A的器官的三维点集。
图7示出表示图6A和图6B的器官的解剖模型。
图8A描绘根据本公开的各方面的图7的模型的相对取向和方位以及图6B的表示器官的点。
图8B描绘根据本公开的各方面的图7的模型与显示器中渲染的图6B的器官之间的配准。
通过参考以下的详细描述可以更好地理解这些附图。
具体实施方式
在以下的描述中，阐述了描述与本公开一致的一些实施例的具体细节。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文公开的具体实施例是说明性的而非限制性的。本领域技术人员可以实现在本公开的范围和精神内的其他元素(虽然本文没有具体描述)。另外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以被结合到其他实施例中，除非另外特别描述或者如果该一个或多个特征使得实施例不起作用。
在一些情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊实施例的各方面。
本公开根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所使用的，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x坐标、y坐标和z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(多达六个总体自由度)。如本文所使用的，术语“形状”是指沿对象测量的一组姿势、方位或取向。
图1A是根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如外科手术程序、诊断程序、治疗程序或活组织检查程序。如图1A所示，医疗系统100通常包括用于操作医疗器械104以对患者P执行各种程序的远程操作操纵器组装件102。远程操作操纵器组装件102被安装到手术台T或安装在手术台T附近。主控组装件106允许操作者(例如，外科医生、临床医生或如图1A所示的操作者O)观察介入部位并且控制远程操作操纵器组装件102。
主控组装件106可以位于操作者的控制台处，该操作者的控制台通常位于与手术台T相同的房间中，诸如在患者P所在的外科手术台的侧面。然而，应当理解，操作者O可以位于与患者P不同的房间中或者完全不同的建筑物中。主控组装件106通常包括用于控制远程操作操纵器组装件102的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别设备、身体运动或存在传感器和/或诸如此类。为了向操作者O提供强烈的直接控制器械104的感觉，控制装置可以被提供有与相关联的医疗器械104相同的自由度。以这种方式，控制装置为操作者O提供控制装置与医疗器械104是一体的远程呈现/远程临场感(telepresence)或感知。
在一些实施例中，控制装置可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然为操作者O提供远程呈现。在一些实施例中，控制装置可以可选地是手动输入装置，该手动输入装置以六个自由度移动并且还可以包括用于致动器械(例如，用于闭合抓取夹具、向电极施加电势、输送药物治疗和/或诸如此类)的可致动手柄。
远程操作操纵器组装件102支撑医疗器械104并且可以包括一个或多个非伺服控制连杆(例如，手动定位并且锁定在适当位置的一个或多个连杆，通常称为设置结构)的运动学结构和远程操作操纵器。远程操作操纵器组装件102可以可选地包括多个致动器或马达，该多个致动器或马达响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入装置。致动器可以可选地包括驱动系统，当被耦连到医疗器械104时，该驱动系统可以将医疗器械104推进到天然或手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔坐标轴的旋转)。另外，致动器可以用于致动医疗器械104的可铰接的末端执行器，以用于抓取活组织检查装置的夹具中的组织和/或诸如此类。诸如解算器、编码器、电位计和其他机构的致动器方位传感器可以向医疗系统100提供描述马达轴的旋转和取向的传感器数据。该方位传感器数据可以用于确定由致动器操纵的对象的运动。
远程操作医疗系统100可以包括具有一个或多个子系统的传感器系统108，以用于接收关于远程操作操纵器组装件102的器械的信息。这种子系统可以包括：方位/位置传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，以用于确定沿着可以构成医疗器械104的柔性主体的远端和/或一个或多个区段的方位、取向、速率、速度、姿势和/或形状；和/或用于从医疗器械104的远端捕获图像的可视化系统。
远程操作医疗系统100还包括显示系统110，以用于显示由传感器系统108的子系统生成的解剖部位和医疗器械104的图像或表示。显示系统110和主控组装件106可以被取向为使得操作者O可以用远程呈现的感知来控制医疗器械104和主控组装件106。
在一些实施例中，医疗器械104可以具有可视化系统(下面更详细地讨论)，该可视化系统可以包括观察镜组装件，该观察镜组装件记录解剖部位的即时(concurrent)或实时图像并且将图像通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)提供给操作者或操作者O。即时图像可以是例如由定位在解剖部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜部件，该内窥镜部件可以整体地或者可移除地耦连到医疗器械104。然而，在一些实施例中，附连到单独的操纵器组装件的单独的内窥镜可以与医疗器械104一起使用以对解剖部位成像。在一些示例中，内窥镜可以包括用于在一个或多个透镜被内窥镜遇到的流体和/或其他材料部分和/或完全遮挡时清洁内窥镜的一个或多个透镜的一个或多个机构。在一些示例中，一个或多个清洁机构可以可选地包括空气和/或其他气体输送系统，该气体输送系统可用于发射一股空气和/或其他气体以吹净一个或多个透镜。国际公布号WO/2016/025465(2016年8月11日提交)(公开了“Systems and Methods for Cleaning an Endoscopic Instrument”)中更详细地讨论了一个或多个清洁机构的示例，该国际申请通过引用以其整体并入本文。可视化系统可以被实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，该一个或多个计算机处理器可以包括控制系统112的处理器。
显示系统110还可以显示由可视化系统捕获的解剖部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组装件106的控件，使得医疗器械的相对方位类似于操作者O的眼睛和手的相对方位。以这种方式，操作者O能够操纵医疗器械104和手控件好像在基本上真实存在的情况下观察工作空间一样。就真实临场而言，它意味着图像的呈现是模拟物理操纵医疗器械104的操作者的视角的真实透视图像。
在一些示例中，显示系统110可以使用来自成像技术的图像数据来呈现术前或术中记录的解剖部位的图像，成像技术诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似技术。术前或术中图像数据可以被呈现为二维图像、三维图像或四维(包括例如基于时间或基于速度的信息)图像和/或被呈现来自为从术前或术中图像数据集创建的模型的图像。
在一些实施例中，通常出于成像引导医疗程序的目的，显示系统110可以显示虚拟导航图像，在虚拟导航图像中医疗器械104的实际位置与术前或即时图像/模型配准(即，动态参考)。这佯做可以从医疗器械104的视角向操作者O呈现内部解剖部位的虚拟图像。在一些示例中，视角可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形指示符或字母数字指示符可以被叠加在虚拟图像上以帮助操作者O控制医疗器械104。在一些示例中，医疗器械104可以在虚拟图像中不可见。
在一些实施例中，显示系统110可以显示虚拟导航图像，在中虚拟导航图像医疗器械104的实际位置与术前或即时图像配准，以从外部视角向操作者O呈现解剖部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形指示符或字母数字指示符可以被叠加在虚拟图像上，以帮助操作者O控制医疗器械104。如本文所描述的，数据点的视觉表示图(representation)可以被渲染给显示系统110。例如，本文描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示图被显示在显示系统110上。数据点可以通过显示系统110上的多个点(point)或圆斑(dot)或作为渲染模型(诸如基于数据点集所创建的网格或线模型)在用户界面上可视地表示。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作中已经被实现以改变数据点之后，视觉表示图可以在显示系统110中被刷新。
远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和用于实现医疗器械104、主控组装件106、传感器系统108和显示系统110之间的控制的至少一个计算机处理器(未示出)。控制系统112还包括用于实现根据本文公开的各方面描述的一些或全部方法的编程指令(例如，存储这些指令的非暂时性机器可读介质)，该编程指令包括用于向显示系统110提供信息的指令。虽然控制系统112在图1A的简化示意图中被示出为单个方框，但该系统可以包括两个或多个数据处理电路，其中一部分处理可选地在远程操作操纵器组装件102上执行或邻近远程操作操纵器组装件102执行，另一部分处理在主控组装件106和/或类似物处执行。控制系统112的处理器可以执行包括与本文公开的并且在下面更详细描述的处理对应的指令的指令。各种集中式或分布式数据处理架构中的任何一种可以被采用。类似地，编程指令可以被实现为多个单独的程序或子例程，或者编程指令可以被集成到本文描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA(红外数据通信)、HomeRF(家用射频)、IEEE 802.11、DECT(数位加强式无线通信)和无线遥测。
在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以向主控组装件106传输信号。在一些示例中，控制系统112可以传输指示远程操作操纵器组装件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可以经由患者P的身体中的开口延伸到患者P的体内的内部解剖部位。可以使用任何合适的传统和/或专用致动器。在一些示例中，一个或多个致动器可以与远程操作操纵器组装件102分开或者与远程操作操纵器组装件102集成在一起。在一些实施例中，一个或多个致动器和远程操作操纵器组装件102被提供作为邻近患者P和手术台T定位的远程操作推车的一部分。
控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导医疗程序期间控制医疗器械104时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的解剖部位的图像，成像技术诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似技术。可以与手动输入结合使用的软件被用于将记录的图像转换成部分或整体解剖器官或解剖区域的分割二维或三维复合表示图。图像数据集与复合表示图相关联。复合表示图和图像数据集描述通道的各种位置和形状及其连通性。用于产生复合表示图的图像可以在临床程序期间在术前或术中被记录。在一些实施例中，虚拟可视化系统可以使用标准表示图(即，不是患者特定的)或者使用标准表示图与患者特定数据的混合。复合表示图和由复合表示图生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿态。
在虚拟导航程序期间，传感器系统108可以用于计算医疗器械104相对于患者P的解剖体的近似位置。该位置可以用于产生患者P的解剖体的宏观层面(外部)跟踪图像和患者P的解剖体的虚拟内部图像两者。系统可以实现一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器，以配准并显示医疗器具和术前记录的解剖学图像，诸如来自虚拟可视化系统的那些那些图像。例如，美国专利申请号13/107,562(2011年5月13日提交)(公开了“Medical System Providing Dynamic Registration of a Model of an AnatomicStructure for Image-Guided Surgery”)公开了一种这样的系统，该申请通过引用以其整体并入本文。远程操作医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括一个以上的远程操作操纵器组装件和/或一个以上的主控组装件。远程操作操纵器组装件的确切数量将取决于医疗程序和手术室内的空间限制以及其他因素。主控组装件106可以被并置或者可以被定位在不同的位置中。多个主控组装件允许一个以上的操作者以各种组合控制一个或多个远程操作操纵器组装件。
图1B是图1A中所示的远程操作组装件102的一些实施例的正视图。组装件102包括搁置在地板上的底座120、安装在底座120上的支撑塔122以及支撑医疗工具的若干臂。如图1B所示，臂124A、臂124B、臂124C是支撑和移动用于操纵组织的医疗器械的器械臂，臂124D是支撑和移动内窥镜的摄像机臂。图1B进一步示出分别安装在器械臂124A、器械臂124B、器械臂124C上的可互换医疗器械104A、可互换医疗器械104B、可互换医疗器械104C，并且示出安装在摄像机臂124D上的成像系统126。成像系统126可以是用于捕获解剖部位的立体图像并且将单独的立体图像提供给图1A的显示系统110的立体内窥镜。在本文中讨论了成像系统126的其他实施方式。本领域技术人员将理解，支撑器械和摄像机的臂也可以由底座120支撑或者由安装到天花板或墙壁或某些情况下安装到手术室中的另一台设备(例如，手术台T)的另一个底座平台(固定的或可移动的)支撑。同样地，他们将理解可以使用两个或更多个单独的底座(例如，一个底座支撑每个臂)。
如图1B中进一步所示，器械104A、器械104B、器械104C和成像系统126分别包括器械接口130A、器械接口130B、器械接口130C和器械接口130D以及分别包括器械轴132A、器械轴132B、器械轴132C和器械轴132D。在一些实施例中，远程操作组装件102可以包括用于套管的支撑件，该支撑件相对于套管固定器械104A、器械104B、器械104C和成像系统126。在一些实施例中，器械臂124A-124D中的每个的部分可以由手术室中的人员调节，以便相对于患者定位器械104A-104C和成像系统126。臂124A、臂124B、臂124C和臂124D的其他部分可以由操作者在操作者输入系统处致动和控制。医疗器械104A、医疗器械104B、医疗器械104C和成像系统126也可以由操作者O在操作者输入系统(诸如主控组装件106)处控制。
图2A示出医疗器械系统200，医疗器械系统200可以是利用远程操作医疗系统100的一些实施例执行的图像引导医疗程序中的医疗器械系统104和/或操纵器组装件102的实施例。可替代地，医疗器械系统200可以用于非远程操作探索程序或者涉及传统手动操作医疗器械(诸如内窥镜)的程序。另外地或可替代地，医疗器械系统200可以用于收集(即，测量)与患者解剖通道的位置对应的数据点集。
器械系统200包括耦连到器械主体或壳体204的导管系统202。导管系统202包括具有近端217和远端218或尖端部分的细长柔性导管主体216。在一个实施例中，柔性主体216具有大约3mm的外直径。其他柔性主体外直径可以更大或更小。导管系统202可以可选地包括形状传感器222，以用于确定在远端218处导管尖端的方位、取向、速率、速度、姿势和/或形状，和/或确定沿着主体216的一个或多个区段224的方位、取向、速率、速度、姿势和/或形状。主体216在远端218和近端217之间的整个长度可以有效地分成区段224。如果器械系统200是远程操作医疗系统100的医疗器械系统104，则形状传感器222可以是传感器系统108的部件。如果器械系统200是手动操作或以其他方式用于非远程操作程序，则形状传感器222可以被耦连到跟踪系统230，跟踪系统230询问形状传感器并且处理接收的形状数据。
形状传感器222可以包括与柔性导管主体216对准的光纤(例如，提供在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，尺寸可以更大或更小。形状传感器系统222的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤被用于在一个或多个维度上提供结构中的应变测量值。用于三维监视光纤的形状和相对方位的各种系统和方法被描述在美国专利申请11/180,389(2005年7月13日提交)(公开了“Fiber opticposition and shape sensing device and method relating thereto”)、美国专利申请号12/047,056(2004年7月16日提交)(公开了“Fiber-optic shape and relativeposition sensing”)、美国专利号6,389,187(1998年6月17日提交)(公开了“OpticalFibre Bend Sensor”)中，上述专利文献全部通过引用以其整体并入本文。替代实施例中的传感器可以采用其他合适的应变传感技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在其他替代实施例中，导管的形状可以使用其他技术来确定。例如，导管的远端尖端姿势的历史可以用于在时间间隔内重建装置的形状。作为另一示例，沿着交替运动的循环(诸如呼吸)针对器械系统的已知点的历史姿势、方位或取向数据可以被存储。该存储的数据可以用于发展有关导管的形状信息。可替代地，沿着导管定位的一系列方位传感器(诸如电磁(EM)传感器)可以用于形状感测。可替代地，特别是如果解剖通道是大体静态的，在程序期间来自器械系统上的方位传感器(诸如EM传感器)的数据历史可以用于表示器械的形状。可替代地，具有由外部磁场控制的方位或取向的无线装置可以用于形状感测。无线装置的方位的历史可以用于确定导航通道的形状。
可选地，医疗器械系统可以包括方位传感器系统220。方位传感器系统220可以是EM传感器系统的部件，其中传感器220包括可以经受外部生成的电磁场的一个或多个导电线圈。然后，EM传感器系统220的每个线圈产生感应电信号，该感应电信号具有取决于线圈相对于外部生成的电磁场的方位和取向的特性。在一个实施例中，EM传感器系统可以被配置和定位成测量六个自由度(例如三个方位坐标X、Y、Z和指示基点的俯仰、偏转和滚动的三个取向角)或者五个自由度(例如三个方位坐标X、Y、Z和指示基点的俯仰和偏转的两个方位角)。在美国专利号6,380,732(1999年8月11日提交)(公开了“Six-Degree of FreedomTracking System Having a Passive Transponder on the Object Being Tracked”)中提供了对EM传感器系统的进一步描述，该专利文献通过引用以其整体并入本文。在一些实施例中，因为传感器的形状连同形状传感器的底座的位置信息(在患者的固定坐标系中)允许沿着形状传感器的各个点(包括远端尖端)的位置计算，形状传感器还可以用作方位传感器。
跟踪系统230可以包括方位传感器系统220和形状传感器系统222，以用于确定远端218和/或沿器械200的一个或多个区段224的方位、取向、速率、姿势和/或形状。跟踪系统230可以被实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，该一个或多个计算机处理器可以包括控制系统116的处理器。
柔性导管主体216包括通道221，通道221的尺寸和形状设计成接收医疗器械226。医疗器械可以包括例如图像捕获探针、活组织检查器械、激光消融纤维或其他外科手术工具、诊断工具、外科手术诊断工具和/或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤或电极。其他末端执行器可以包括例如镊子、抓取器、剪刀或施夹器。电激活的末端执行器的示例包括电外科手术电极、换能器、传感器和诸如此类。在各种实施例中，医疗工具226可以是图像捕获探针，该图像捕获探针包括在柔性导管主体216的远端218处或附近具有立体或单视场摄像机的远侧部分，以用于捕获由可视化系统231处理以供显示的图像(包括视频图像)。图像捕获探针可以包括耦连到摄像机的用于传输捕获的图像数据的电缆。可替代地，图像捕获器械可以是耦连到可视化系统的光纤束(诸如纤维镜)。图像捕获器械可以是单光谱的或多光谱的，例如捕获可见光光谱、红外光谱或紫外光谱中的一个或多个光谱中的图像数据。
医疗器械226可以容纳在器械的近端和远端之间延伸以可控制地弯曲器械的远端的电缆、连动装置或其他致动控件(未示出)。可转向的器械被详细描述在美国专利号7,316,681(2005年10月4日提交)(公开了“Articulated Surgical Instrument forPerforming Minimally Invasive Surgery with Enhanced Dexterity andSensitivity”)和美国专利申请号12/286,644(2008年9月30日提交)(公开了“PassivePreload and Capstan Drive for Surgical Instruments”)中，上述文献通过引用以其整体并入本文。
柔性导管主体216还可以容纳在壳体204和远端218之间延伸以可控地弯曲远端218的电缆、连动装置或其他转向控件(未示出)，例如通过远端的虚线描绘219所示。可转向的导管被详细描述在美国专利申请号13/274,208(2011年10月14日提交)(公开了“Catheter with Removable Vision Probe”)中，该专利申请通过引用以其整体并入本文。在器械系统200是由远程操作组装件致动的实施例中，壳体204可以包括驱动输入装置，该驱动输入装置可移除地耦连到远程操作组装件的机动驱动元件并且从其接收电力。在器械系统200是手动操作的实施例中，壳体204可以包括夹持特征件、手动致动器或者用于手动控制器械系统的运动的其他部件。导管系统可以是可转向的，或可替代地，系统在没有用于操作者控制器械弯曲的集成机构的情况下可以是不可转向的。此外或者可替代地，一个或多个管腔被限定在柔性主体216的壁中，医疗器械能够通过一个或多个管腔在目标解剖位置处被部署和使用。
在各种实施例中，医疗器械系统200可以包括柔性支气管器械，诸如用于在肺的检查、诊断、活组织检查或治疗中使用的支气管镜或支气管导管。系统200也适用于在任何各种解剖系统(包括结肠、肠、肾和肾盏、大脑、心脏、包括脉管系统的循环系统和/或类似物)中的任一解剖系统中经由天然或手术创建的连接通道对其他组织进行导航和治疗。
来自跟踪系统230的信息可以被发送到导航系统232，在导航系统232中，来自跟踪系统230的信息与来自可视化系统231和/或术前获得的模型的信息组合，以向外科医生或其他操作者在显示系统100上提供实时方位信息，以用于控制器械200。控制系统116可以利用方位信息作为用于定位器械200的反馈。用于使用光纤传感器来配准和显示医疗器械与外科手术图像的各种系统被提供在2011年5月13日提交的美国专利申请号13/107,562(公开了“Medical System Providing Dynamic Registration of a Model of an AnatomicStructure for Image-Guided Surgery”)中，该专利申请通过引用以其整体并入本文。
在图2A的实施例中，器械200在远程操作医疗系统100内被远程操作。在可替代实施例中，远程操作组装件102可以由直接操作者控件代替。在直接操作替代方案中，可以包括各种手柄和操作者界面以用于器械的手持操作。
在可替代实施例中，远程操作系统可以包括一个以上的从动操纵器组装件和/或一个以上的主控组装件。操纵器组装件的确切数量将取决于医疗程序和手术室内的空间限制以及其他因素。主控组装件可以被并置或者可以定位在不同的位置中。多个主控组装件允许一个以上的操作者以各种组合控制一个或多个从动操纵器组装件。
图2B示出医疗器械系统250，该医疗器械系统250可以在利用如图1B所示的实施例远程操作医疗系统100执行的医疗程序中用作医疗器械系统104。另外地或者可替代地，医疗器械系统250可以被用于收集(即，测量)与患者解剖通道和患者解剖特征(诸如器官或体腔)的表面的位置相对应的数据点集。图2B是可以安装到组装件102上的控制臂的操纵器252的透视图。为了清楚起见，省略了外科手术期间通常使用的无菌帷帘和相关机构。操纵器252包括偏转伺服致动器254、俯仰伺服致动器256以及插入和抽出(“I/O”)致动器258。医疗器械259被示出为安装在包括安装托架261的器械翼梁(spar)260处。示例性直套管262被示出为安装到套管安装件264。可以使用其他类型的套管，如下面更详细讨论的。器械259的轴266延伸穿过套管262。操纵器252被机械约束，使得其使器械259围绕沿器械轴定位的静止远程运动中心268移动。偏转致动器254提供绕远程中心268的偏转运动270，俯仰致动器256提供绕远程中心268的俯仰运动272，以及I/O致动器258提供通过远程中心268的插入和抽出运动274。操纵器252可以包括用于沿着I/O致动器258的插入轴线跟踪与伺服方位相关联的方位和速度的编码器，以及用于跟踪偏转伺服致动器254和俯仰伺服致动器256的方位和速度的其他编码器。在外科手术期间，远程中心268可以被锁定在患者体壁的切口处，并且允许可用于执行预期的医疗任务的足够的偏转和俯仰运动。可替代地，远程运动中心可以位于体外，以允许更大范围的运动而不接触患者。本领域技术人员将理解绕远程运动中心的运动可能受到软件的使用或者由机械组装件限定的物理约束的约束。
安装托架261和器械力传递组装件276中的匹配力传递盘耦连来自操纵器252中的致动器的致动力以移动器械259的各个部分，以便定位和取向安装在弧形轴266的远端处的探针278。这种致动力通常可以使器械轴266滚动(从而通过远程中心268提供另一自由度(DOF))。可以经由编码器跟踪滚动的量。力传递组装件的实施例被提供在美国专利号6,331,191(1999年10月15日提交；公开了“Surgical Robotic Tools,Data Architecture,and Use”)和美国专利号6,491,701(2001年1月12日提交；公开了“Mechanical ActuatorInterface System for Robotic Surgical Tools”)中，上述专利文献通过引用以其整体并入本文。在替代实施例中，器械259可以包括在轴的远端处的腕部，该腕部提供附加的偏转和俯仰自由度。探针278例如可以是能够经由操纵器252被引入和定位的视觉探针，诸如具有立体摄像机或三维结构光扫描仪的立体成像导管。
在本公开的范围内的器械系统的一些实施例包括组合图2A的器械系统200的各方面和图2B的器械系统250的各方面的器械。例如，可以在医疗系统100中使用的一些器械系统可以包括柔性导管，如由图1A和图2B中的一个或多个臂124A-124D支撑的图2A的柔性导管主体216。作为更具体的示例，如臂124A的臂可以为如柔性导管主体216的柔性装置提供插入和抽出运动274。在这样的实施例中，控制系统112可以使用来自设置在该臂上或多个臂上的、设置在该臂中或多个臂中的或者沿该臂或多个臂设置的传感器的传感器信息以及使用来自设置在导管上的、设置在导管中的或者沿导管设置的传感器的传感器信息确定导管主体216的任何部分(诸如可以包括成像部件或另一末端执行器的导管主体216的远端)的方位和取向。
图3A和图3B是根据一些实施例的包括安装在插入组装件上的医疗器械的患者坐标空间的侧视图的简化图。如图3A和图3B所示，外科手术环境300包括定位在图1A的手术台T上的患者P。从通过镇静、约束和/或其他手段来限制总体患者移动的意义上讲，患者P在外科手术环境内可以是静止的。包括患者P的呼吸和心脏运动的周期性解剖学运动可以继续，除非要求患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，数据可以在呼吸中的特定阶段处进行收集，并且利用该阶段来进行标记和识别。在一些实施例中，在其间收集数据的阶段可以从患者P收集的生理信息来推断。在外科手术环境300内，点收集器械304被耦连到器械托架306。在一些实施例中，点收集器械304可以使用EM传感器模态、形状传感器模态和/或其他传感器模态。器械托架306被安装到固定在外科手术环境300内的插入台308。可替代地，插入台308可以是可移动的，但在外科手术环境300内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。器械托架306可以是远程操作操纵器组装件(例如，远程操作操纵器组装件102)的部件，其耦连到点收集器械304以控制插入运动(即，沿着A轴线的运动)以及可选地控制细长装置310的远端318在多个方向(包括偏转、俯仰和滚动)上的运动。器械托架306或插入台308可以包括诸如伺服马达的致动器(未示出)，该致动器控制器械托架306沿插入台308的运动。
细长装置310被耦连到器械主体312。器械主体312相对于器械托架306被耦连并且固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以与器械主体312一起移动，但是近侧点316的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置来获知)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。点收集器械304可以基本上类似于图2A的医疗器械系统200。可替代地，点收集器械本身可以是耦连到近侧刚性器械主体的刚性器械或者是可以被致动成刚性状态的柔性导管。
随着方位测量装置320沿插入轴线A在插入台308上移动，方位测量装置320提供关于器械主体312的方位的信息。方位测量装置320可以包括解算器、编码器、电位计和/或确定控制器械托架306的运动并且因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是弧形的或者是具有弧形部段和线性部段的组合。
图3A示出处于沿插入台308的缩回方位的器械主体312和器械托架306。在该缩回方位中，近侧点316位于轴线A上的方位L0。在沿插入台308的该方位中，近侧点316的位置分量可以被设定为零和/或另一参考值，以提供描述器械托架306的方位并且因此描述近侧点316插入台308上的方位的基准参考。通过器械主体312和器械托架306的该缩回方位，细长装置310的远端318可以被恰好定位在患者P的进入孔口内。同样在该方位，方位测量装置320可以被设定为零和/或另一参考值(例如，I＝0)。在图3B中，器械主体312和器械托架306已经沿插入台308的线性轨道推进，并且细长装置310的远端318已经被推进到患者P中。在该推进方位中，近侧点316位于轴线A上的方位L1处。在一些示例中，编码器和/或来自控制器械托架306沿插入台308的移动的一个或多个致动器和/或与器械托架306和/或插入台308相关联的一个或多个方位传感器的其他方位数据被用于确定近侧点316相对于方位L0的方位Lx。在一些示例中，方位Lx可以进一步用作细长装置310的远端318插入患者P的解剖体的通道内的距离或插入深度的指示。
图3C是根据本公开的一些方面的正在经历医疗程序的患者P的透视图。如图所示，该医疗程序是肝脏外科手术。患者P的右臂RA和腹部A透明地示出，以便可以更清楚地观察肝脏L。图3C进一步示出图1B的臂124A-124D，其中医疗器械130A-130C的器械轴132A-132C突出到腹部A中。为了更好地接近腹部A内的医疗器械130A-130C，器械130A-130C中的一个可以提供对腹部A的注入。图3C描绘了插入在腹部A内的成像系统126的成像探针136，以提供腹部A内的器官和组织的可视化和/或配准。具体地，成像探针136已经由臂124D定位和取向以对肝脏L的至少一部分成像。成像探针136可以包括提供一种或多种成像模态的(一个或多个)传感器。例如，成像探针136可以包括立体成像摄像机、结构光发射器、LIDAR发射器/检测器系统或其组合。
图4是示出用于图像引导医疗程序的通用方法400的流程图。在过程402中，从成像技术获得术前或术中图像数据，成像技术诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像。术前或术中图像数据可以对应于二维图像、三维图像或四维(包括例如基于时间或基于速度的信息)图像。例如，图像数据可以表示患者P的任何解剖结构。例如，图像数据可以表示肺的内部通道或者肝脏的外表面。
在过程404中，计算机软件单独用于或与手动输入结合用于将记录的图像转换成分割的二维或三维复合表示图或者部分或整个解剖器官或解剖区域的模型。复合表示图和图像数据集描述了通道的各种位置和形状及其连通性。更具体地，在分割过程期间，图像被划分为共享某些特征或计算属性(诸如颜色、密度、强度和纹理)的片段或元素(例如，像素或体素)。这种分割过程导致二维或三维重建，该二维或三位重建基于所获得的图像形成目标解剖体的模型。为了表示模型，分割过程可以描画出表示目标解剖体的体素集，然后应用函数(诸如行进立方体函数(marching cube function))以生成包围体素的3D表面。可以通过生成网格、体积或体素图来制作模型。附加地或可替代地，该模型可以包括中心线模型，该中心线模型包括延伸穿过模型化通道的中心的一组互连的线段或点集。在模型包括中心线模型(包括一组互连的线段)的情况下，这些线段可以被转换为点云或点集。通过转换线段，可以手动或自动选择对应于互连的线段的期望数量的点。
在过程406中，在对患者进行图像引导医疗程序的进程之前和/或期间，将解剖模型数据配准到患者解剖体。通常，配准涉及通过使用刚性和/或非刚性变换将测量点与模型的点进行匹配。可以使用解剖体、在程序期间扫描和跟踪的电磁线圈或形状传感器系统中的界标来生成测量点。可以生成测量点，以用在图5或本公开的其他地方详细描述的迭代最近点(ICP)技术中。在本公开的范围内，其他点集配准方法也可以用于配准过程。
用于图像引导外科手术的其他配准方法通常涉及使用基于电磁或阻抗感测的技术。在外科手术环境中使用的金属物体或某些电子装置可能产生损害传感数据质量的干扰。其他配准方法可能妨碍临床工作流程。下面描述的系统和方法基于ICP或其他点集配准算法以及点收集器械与光纤形状传感器的校准移动执行配准，从而消除或最小化外科手术环境中的干扰。可以使用其他配准技术将测量点集配准到术前模型或使用另一模态获得的模型。在下面描述的实施例中，可以消除患者和器械上的EM传感器以及器械的光学跟踪系统。
图5是示出根据本公开的一些实施例的用于在图1A所示的外科手术环境中对患者P的图像引导医疗程序中向临床医生提供引导的方法500的流程图。方法500在图5中示出为一组方框、步骤、操作或过程。并非所有示出的列举的操作都在方法500的所有实施例中执行。另外，图5中未明确示出的一些附加操作可以在所列举过程之前、之后、之间或作为所列举过程的一部分被包括。方法500的一些实施例包括与存储在存储器中的方法500的过程对应的指令。这些指令可以由处理器(如控制系统112的处理器)执行。
方法500进一步包括提供用于基于从操纵器252或具有运动学链的其他臂提取的动力学信息和/或基于与要执行的程序相关联的工作流程信息来生成和应用初始种子变换(initial seed transformation)的方法的操作。方法500可以被实现为由控制系统112管理的工作流程的一部分，以使操作者O能够更有效和高效地治疗如患者P的患者。
方法500的一些实施例可以在过程501处开始，其中执行校准程序以利用方位测量系统(诸如图1B的臂124A-124D中的编码器或形状传感器的系统)来校准成像系统(如成像系统126)的相对方位和/或取向。例如，可以观察放置在外科手术环境中的一个或多个已知位置处的成像系统126的尖端和来自编码器或臂124D的另一方位测量系统的测量值，以确保所测量方位或运动学信息与臂124D的实际方位和姿势之间的对应。
在操作502中，可以由控制系统112提取和接收与系统100相关联的方位和姿势信息。例如，控制系统112可以询问设置在一个或多个臂124A-124D内的编码器、电位计、形状传感器。例如，控制系统112可以从支撑成像系统126的臂124D接收运动学信息。该信息可以在操作者O控制臂124D的同时被接收，以提供患者P的可视化，特别是患者内的介入部位的可视化。此外，控制系统112可以接收与要执行的程序相关联的程序设置和/或工作流程信息。例如，操作者O可以与用户界面交互以选择诸如肺活组织检查、前列腺切除术或肝脏手术的特定程序。这些程序和许多其他程序可以具有存储在控制系统112中的对应工作流程。每个工作流程可以包含包括要执行的程序的指示、目标解剖体的理想接近，以及在这种程序的正常执行期间要进行的步骤的列表的信息。控制系统112可以将工作流程中的步骤传达给操作者O，以帮助确保程序的正确执行并且在适当的时间向医生O提供适当的信息和适当的选项。因此，控制系统112可以接收描述臂124D相对于患者P的姿势的信息，并且接收描述正在执行的程序的类型以及在任何给定时间进行该程序的步骤的信息。
在一些实施例中，在操作502处接收的运动学信息可以从光纤形状传感器接收，该光纤形状传感器延伸穿过臂124D并且进入或穿过成像探针136。因此，运动学信息可以包括臂124D的一系列三维方位或由臂124D的测量的角度和已知或测量的长度生成的模型。此外，操作502的一些实施例可以从插入患者的解剖通道中的柔性导管接收信息，以将医疗器械递送到柔性导管的远侧尖端。
如上所述，图3C示出经历肝脏外科手术的患者P。图3C示出臂124A-124D，其中医疗器械130A-130C的器械轴132A-132C突出到腹部A中。图3C和图6A描绘了插入腹部A内以提供腹部A内的器官和组织的可视化的成像系统126的成像探针136。特别地，成像探针136由臂124D对准以对肝脏L的一部分成像。
返回到方法500，在操作504中，成像探针136可以由控制系统112激活，以从目标组织的可视化部分捕获表面数据点。如图6A所示，成像探针136可以是结构光探针，该结构光探针以可被解释为确定被照射部分600的深度信息的方式发射光。在一些实施例中，被照射部分600可以仅是由成像探针136或成像系统126的另一部件可视化的视野的有限部分。例如，成像探针136的发射器可以投射阵列圆点或网格圆点602。这些圆点可以由成像探针136的检测器读取并且解释为提供描述包括在被照射部分600中的肝脏L的表面部分的三维信息。例如，图6B描绘了表征被照射部分600的表面或体积的多个三维点604。控制系统112可以处理三维信息以生成多个数据点604以利于将模型配准到肝脏L。在其他实施例中，可以使用诸如LIDAR系统的其他系统来生成描述肝脏L的表面的数据点集。
在操作506中，可以由控制系统112接收肝脏L的三维拓扑。该模型可以是表面模型，诸如图7中所示的网格表面模型。图7描绘了患者P的肝脏L的模型700。虽然在该示例中示出为表面模型，但是应当理解，模态点集可以被表示为包括线框模型、体积模型等的任意数量的二维或三维解剖学拓扑。如图所示，示例性模型700是网格模型，但是操作508的其他实施例可以包括接收将肝脏L表示为体素集的体积模型。可以处理该体素集以产生表征解剖结构(如肝脏或肺的内部通道)的表面或拓扑的表面或点集。在一些实施例中，模型700可以作为描述肝脏L的表面的三维模型点集被接收。在其他实施例中，控制系统112接收体积模型或表面模型，或者肝脏L的其他模型，并且处理模型以获得模型点集。可以通过收集并且处理来自成像技术的术前或术中图像数据来获得这些点，成像技术诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像。例如，控制系统112可以接收模型700并且在表面网格702中找到交叉点。控制系统112可以从交叉点和/或从网格702的每个三角形或单元形状的中心提取三维点704。这些提取的模型点可以作为操作506的一部分生成。在其他实施例中可以使用其他三维模型。
在操作508中，基于来自操纵器组装件102和与要执行的特定程序相关联的程序设置信息的信息确定初始种子变换。因此，初始种子变换可以作用在提取的系统信息上，该提取的系统信息包括来自操纵器252或具有运动学链的另一臂的和/或基于与要执行的程序相关联的设置信息的提取的动力学信息，其中与要执行的程序相关联的设置信息诸如要执行的程序的类型、是在患者的左侧还是右侧执行程序、患者如何相对于操纵器组装件102取向(例如，患者头部和脚相对于操纵器组装件102定位的方向)、进入点(例如，通过胃、背部、嘴、腿(诸如通过股动脉)进入目标解剖体)、进入角度、视觉探针278相对于其他医疗器械的方位等。一些系统信息可以从正在使用的器械中确定；然而，其他信息(诸如患者侧的进入点)在手术设置期间由操作者O提供给控制系统112。为了将捕获的表面点604或其他模态点与模型信息(诸如模型点704)配准，将初始种子变换应用于一个点集或两个点集以将模型置于与肝脏L相同的参考系中。
为了配准使用图2B的操纵器252的探针278收集的表面点，可以使用运动学信息。例如，编码器可以指示与偏转伺服致动器254、俯仰伺服致动器256和I/O致动器258相关联的特定方位。该信息可以用于识别探针278正在观察的肝脏L的可视化部分或被照射部分600(如图6A所示)的角度。探针278的远端的取向或滚动可以从编码器获得，由此探针278相对于操作环境(包括桌子)的取向可以用在点的配准中。例如，如果设置在探针278的端部处的视觉传感器相对于由桌子限定的地平线取向成35°，则初始种子变换可以使得(图7的)点集704更接近地取向成由桌子限定的取向或外科手术环境中任何其他限定取向。另外，可以使用探针278的立体特性来检测探针278的尖端与肝脏L的表面之间的距离。观察的角度和探针278与被照射部分600之间的距离可以用于生成初始种子变换以开始配准表面模型700与肝脏L的捕获数据点604。例如，可以生成变换矩阵并且将该变换矩阵应用于点704以将点704配准到通过使肝脏L可视化获得的三维点604(如图6A和图6B所示)。变换矩阵可以包括提供点704的旋转的因子和提供这些点704在三维中朝向对应于肝脏L的被照射部分600中的表面的点的转换的因子。在一些实施方式中，由变换矩阵提供的转换可以基于用户输入。
另外，系统100可以被配置为经由与特定程序相关联的设置(包括程序设置步骤)来引导操作者(诸如操作者O)。外科医生可以与系统100交互以从多个选项中选择特定程序。选择的具体程序、要作为目标的解剖体、对患者身体的解剖学接近(例如，对解剖体的左或右接近、基于目标解剖体的切口角度等)以及相关联的工作流程中的步骤也可以用于确定要应用于要配准的两个点集(如点1502和点1516)的初始种子变换。操作者O可以与系统100交互以从多个选项中选择特定程序。例如，操作者O可以从多个医疗程序选项中选择肝脏手术。
所选择的程序和相关联的设置中的步骤也可以用于确定要应用于要一起配准的两个点集(如点604和点704)中的一个的初始种子变换。例如，如果工作流程中的程序步骤是要在组织中进行切口的切口步骤，则系统100可以指示随后收集的三维表面信息(新的点704)不被用于配准，因为切口可以以不对应于术前图像数据的方式改变器官或组织的表面，因此将导致质量差的配准或先前执行的配准的退化。可替代地，控制系统112可以要求使用器官或组织的不同部分进行配准。这可能要求移动臂124D，使得探针尖端278取向成收集器官或组织的未改变区域中的表面数据。这可能导致覆盖默认设定，该默认设定定期或在事件驱动的基础上更新配准。该设置可以指示器官或组织在工作流程中的特定步骤处从特定角度可视化，并且可以指定大致角度、取向和进入点。例如，工作流程可以指示端口将在患者的肚脐附近被使用，或者一个或多个器械将通过身体的自然孔口而被插入，使得可以获得器械相对于目标器官或组织的角度的估计。在该步骤期间，该角度可以用于在初始种子变换中进行执行，初始种子变换可以应用于模型点704以将模型点704置于由外科手术环境限定的患者坐标空间。可替代地，初始种子变换可以应用于收集的表面点604以将点604置于模型空间。无论将变换应用于哪个点，初始变换提供了将两个点集置于公共空间的第一步骤，使得实际和建模的信息可以由操纵者O联合使用。
另外，多个器械之间的相对方位也可以被包括在设置信息中。这样的信息可以从工作流程中的当前程序步骤获得，以及在从潜在程序设置信息的菜单中选择设置时立即获得。
在一些实施例中，力传感器可以用于物理接触器官或组织。来自操纵器252的编码器的运动学信息可以与来自力传感器的信息一起使用，以指示将与模型700配准的目标表面的方位。力传感器数据可以提供表面点，如图6B的表面点604。在一些实施例中，视觉传感器可以用于确定是否已进行接触。例如，当视觉传感器接近目标组织并且从视觉传感器获得的整体光信号朝向零减小时，指示视觉传感器和目标组织之间的接触。可以使用运动学信息的知识来确定接触时力传感器或视觉传感器的姿势。在一些实施例中，可以基于接触的检测来收集点。例如，柔性导管主体216的远端218可以包括接触传感器。当在远端218和解剖学表面之间进行接触时，远端218的方位可以从被包括在导管主体216上的形状传感器或位置传感器中提取。可以重复接触解剖学表面以获得用于配准的点集。
在操作510中，可以应用确定的初始种子变换。例如，初始种子变换可以用于将模型700置于图8A中所示的方位。图8A描绘了在应用初始种子之后模型700和肝脏L的相对取向和方位。可以看出，即使在应用初始种子变换后，实际肝脏L和肝脏L的模型700的方位和取向也可能相差很大以至于一个来源的信息(即实际观察与模型700中得到的术前或术中观察)无法可靠地应用于其他来源。
迭代操作512可以提供肝脏L和模型700之间的可用配准。如图5中所示，操作512包括可以重复执行的一组子操作，以便产生令人满意的配准。操作512可以包括将收集的数据点与模型点匹配的操作514，以及基于匹配点之间的间隔距离计算运动的操作516，以及将变换应用于捕获的数据点的操作518。这些操作应该将模型700更接近与肝脏L对准。在操作520中，可以基于与模型700和肝脏L相关联的两个三维点集来评估模型700和肝脏L之间的会聚度(convergence)。关于迭代操作512和相关子操作的更详细信息被提供在2016年8月11日提交的题为“SYSTEMS AND METHODS OF REGISTRATION FOR IMAGE-GUIDED SURGERY”的申请号PCT/US16/46633中，该申请的公开内容通过引用以其整体并入本文。
图8B描绘了如显示系统(如图1A的显示系统110)中所显示的模型700和位于外科手术环境内的患者P的实际肝脏L之间的示例性令人满意的会聚度。控制系统112可以使模型和实际信息(例如肝脏L的实时视频)同步显示。另外，如上所述，在患者外科手术空间配准到模型空间的情况下，任何器械的当前形状和它们的远端的位置可以与模型700的渲染同时定位和显示。可替代地，模型700可以被叠加在实时视频馈送上。
操作者O可以依赖包含在模型700中的信息来对肝脏L执行程序。例如，模型700可以包括要通过外科手术移除的肝脏L的一部分的指示。模型700可以与肝脏L的表示图(诸如实时视频馈送)一起被包括在图1A的显示系统110上显示的用户界面中。可以通过探针278或其他系统获得馈送。用户界面可以向操作者O提供要通过外科手术移除或观察用于活组织检查的肝脏组织的位置和范围的指示。
此外，在操作522中，控制系统112可以确定任何或所有医疗器械130A-130C的当前位置。在操作524中，因为模型700与外科手术环境一起配准到公共参考系中，器械130A-130C中的一个或多个可以相对于模型700定位。例如，器械130A可以包括用于从肝脏L切割组织的消融探针或外科手术剪刀。要移除的组织的范围可以在模型700中限定，已经被置于与肝脏L相同的空间中的模型700可以通过控制系统112使用以将消融探针或外科手术剪刀的操作局限到模型700的限定体积。
如所指出的，当操作者O引起配准中使用的表面的改变时(即，操作者在收集点的表面上进行切口以执行初始种子变换或配准)，控制系统112可以指示配准不可靠或者配准应被视为不可靠。在一些实施例中，控制系统112可以确定当前程序步骤指示要进行。控制系统112可以要求新的配准作为与特定操作相关联的工作流程中的后续程序步骤。在一些实施例中，当稍后的配准替换较早的配准或者较早的配准被控制系统112认为可以用稍后的配准替换时，可以通过用户界面向临床医生提供警报以指示存在配准变更、需要新的配准，或者有更好的配准可用。在一些实施例中，控制系统112可以在实施更好的配准之前通过用户界面要求操作者批准。例如，当识别出更好的配准时，可以向显示系统110以及按钮或其他用户界面元件(通过按钮或其他用户界面元件，临床医生可以批准或不批准新的配准)呈现警报。然后根据临床医生的决定实施或不实施新的配准。
如上所述，可以向操作者O显示模型和本地化器械以辅助执行医疗程序。可选地，由此辅助的操作者可以提供操作者输入以控制器械或臂124A-124D的操作或移动。
尽管已经描述了本公开的系统和方法结合肝脏外科手术使用，但是本公开的原理可以应用于将建模表面配准到实际表面的其他程序的执行中。例如，肾脏的模型可以被配准到肾脏、前列腺的模型可以被配准到前列腺，等等。因为这些器官的表面可能难以配准到术前或术中模型，关于成像系统126的方位和姿势的信息以及关于操作的程序设置的信息在执行初始种子变换时可能特别有价值。
在图7的方法700的一些实施例中，配准过程712可以包括根据参数或规则改变测量点的权重的附加过程。该权重可以通过在以前没有权重的地方添加权重或者通过改变与给定测量点相关联的权重来改变。例如，在一些实施例中，可以为最近获得的点分配相对较高的权重。随着更多时间的流逝，相对较高的权重可以通过逐渐地减小分配给非最近获得的点的权重来提供。由于患者的移动，最近测量的点可能更准确，因此通过与非最近测量的点相比对最近测量的点更多地加权，可以偏置配准过程712以反映最新信息。权重可以是标准化权重或非标准化权重。
在一些实施例中，当稍后的配准替换较早的配准或者较早的配准被控制系统112认为可以通过稍后的配准替换时，可以通过用户界面向临床医生提供警报以指示存在配准变更或者有更好的配准可用。在一些实施例中，控制系统112可以在实施更好的配准之前通过用户界面要求临床医生批准。例如，当识别出更好的配准时，可以向显示系统110以及按钮或其他用户界面元件(通过按钮或其他用户界面元件，临床医生可以批准或不批准新的配准)呈现警报。然后根据临床医生的决定实施或不实施新的配准。
在本发明的实施例中的一个或多个元素(包括方法400和方法500)可以在软件中实现，以在诸如控制系统112的计算机系统的处理器上执行。当在软件中实现时，本发明的实施例的元素本质上是执行必要任务的代码段。程序段或代码段可以被存储在非暂时性处理器可读存储介质或装置中，该非暂时性处理器可读存储介质或装置包括可以存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储装置的示例包括电子电路、半导体装置、半导体存储装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘或其他存储装置。代码段可以经由诸如因特网、内联网等计算机网络下载。如本文所述，访问、检测、启动、配准，显示、接收、生成、确定、移动数据点、分割、匹配等操作可以至少部分地由控制系统112执行或者由控制系统112的处理器执行。
注意，所呈现的过程和显示可以不固有地与任何特定计算机或其他设备相关。各种这些系统的所需结构将作为权利要求中的元素出现。此外，本发明的实施例不是参考任何特定的编程语言进行描述的。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
虽然已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，这些实施例仅仅是对宽泛的本发明的说明而非限制，并且因为本领域普通技术人员可以想到各种其他修改，本发明的实施例不受所示和所述的具体结构和布置的限制。
本发明的实施例可以利于将术前获取的定义解剖模型的模态点集配准到使用基于视觉的方法在术中获取的模态点集。在基于包括提取的动力学信息和工作流程信息的系统信息生成初始种子变换之后，可以配准模型点集。该信息可以使得组织表面的配准能够利于在这样的组织表面上执行图像引导和机器人外科手术。

Claims (36)

1.一种用于医疗系统的方法，其包括：
访问表示感兴趣的患者解剖体的第一模型点集；
接收在用视觉探针可视化所述感兴趣的患者解剖体的一部分期间获得的第二模型点集；
从医疗系统中提取系统信息，其中所述系统信息包括设置信息或来自所述医疗系统的机器人臂的运动学信息中的至少一个；
基于所述系统信息生成初始种子变换；以及
由控制系统处理器使用所述初始种子变换生成所述第一模型点集和所述第二模型点集之间的配准。
2.根据权利要求1所述的方法，其中从所述第一模型点集生成表面模型或体积模型。
3.根据权利要求1所述的方法，进一步包括将所述第一模型点集作为表面模型显示在显示器中，所述表面模型基于所述配准而被取向。
4.根据权利要求1所述的方法，其中所述第一模型点集是在术前获得的。
5.根据权利要求1所述的方法，其中所述感兴趣的患者解剖体是内部器官，并且所述第一模型点集从包括所述内部器官的患者的术前扫描获取。
6.根据权利要求1所述的方法，其中所述第二模型点集是在三维可视化包括目标的所述患者解剖体的所述一部分期间被获取的。
7.根据权利要求1所述的方法，其中所述第二模型点集是在用来自设置在所述探针的远端处的三维扫描仪的结构光可视化所述感兴趣的患者解剖体的所述一部分期间被获取的。
8.根据权利要求1所述的方法，其中从所述医疗系统的机器人臂提取运动学信息包括从沿着所述机器人臂设置的多个编码器、沿着所述机器人臂延伸的光纤形状传感器以及沿着所述机器人臂的长度设置的多个电位计中的至少一个获取信息。
9.根据权利要求1所述的方法，其中所述机器人臂包括柔性导管。
10.根据权利要求1所述的方法，进一步包括：
在显示器中显示所述模型，所述模型基于所述配准而被取向；以及
接收来自操作者的输入以控制所述机器人臂或者由所述机器人臂支撑的医疗器械。
11.根据权利要求10所述的方法，进一步包括与所述模型的所述显示同时显示来自所述视觉探针的视觉信息。
12.根据权利要求1所述的方法，其中所述视觉探针由另一机器人臂支撑和定位。
13.根据权利要求1所述的方法，其中从所述医疗系统的所述机器人臂提取运动学信息包括识别所述视觉探针的滚动。
14.根据权利要求1所述的方法，其中所述设置信息包括以下各项中的至少一个：
程序的类型；
解剖目标的位置；
进入点；
进入角度；
所述视觉探针的取向；和
正在进行的操作的程序步骤。
15.根据权利要求14所述的方法，其中所述设置信息的至少一部分从所述机器人臂的运动学链中提取，并且所述设置信息的所述至少一部分作为输入由操作者提供。
16.根据权利要求1所述的方法，其中所述第一模型点集包括在模型空间中限定的三维坐标。
17.根据权利要求1所述的方法，其中所述第二模型点集在生成所述配准之前被过滤。
18.一种包括多个机器可读指令的非暂时性机器可读介质，所述多个机器可读指令在由与所述医疗系统相关联的一个或多个处理器执行时适于使所述一个或多个处理器执行权利要求1至17中任一项所述的方法。
19.一种用于医疗系统的方法，其包括：
访问表示感兴趣的患者解剖体的第一模型点集；
通过用探针可视化所述感兴趣的患者解剖体的一部分在术中获取第二模型点集；
提取系统信息，其中所述系统信息包括设置信息或来自医疗系统的机器人臂的运动学信息中的至少一个；
在生成第一配准之前，基于所述系统信息生成初始种子变换；
将所述初始种子变换应用于所述第一模型点集；和
由控制系统处理器生成所述第一模型点集和所述第二模型点集之间的所述第一配准。
20.根据权利要求19所述的方法，进一步包括：
检测所述运动学信息的变更；
基于所述运动学信息的所述变更更新所述初始种子变换；和
由所述控制系统处理器生成所述第一模型点集和所述第二模型点集之间的第二配准。
21.根据权利要求20所述的方法，进一步包括：
检测正在执行的程序的工作流程中的切口步骤；
检测所述运动学信息的变更；和
基于切口步骤的所述检测，覆盖默认设定，所述默认设定在检测到所述变更时更新所述第一配准。
22.根据权利要求19或20-21中任一项所述的方法，其中所述第一模型点集是在术前获取的。
23.根据权利要求19或20-21中任一项所述的方法，其中从所述医疗系统的机器人臂提取系统信息包括从沿着所述机器人臂设置的多个编码器、沿着所述机器人臂延伸的光纤形状传感器以及沿着所述机器人臂的长度设置的多个电位计中的至少一个获取信息。
24.根据权利要求19或20-21中任一项所述的方法，进一步包括将所述第一模型点集作为表面模型显示在显示器中，所述表面模型基于所述第一配准而被取向。
25.根据权利要求19或20-21中任一项所述的方法，进一步包括将所述第一模型点集作为体积模型显示在显示器中，所述体积模型基于所述第一配准而被取向。
26.根据权利要求19或20-21中任一项所述的方法，其中所述第一模型点集包括在模型空间中限定的三维坐标。
27.根据权利要求26所述的方法，其中生成所述第一模型点集与所述第二模型点集之间的所述第一配准包括将变换矩阵应用于所述第一模型点集以将所述第一模型点集变换为患者坐标空间中限定的三维坐标。
28.根据权利要求19或20-21中任一项所述的方法，其中所述第二模型点集在生成所述第一配准之前被过滤。
29.一种医疗系统，其包括：
机器人操纵器臂；
视觉探针，其耦连到所述机器人操纵器臂，使得所述视觉探针与所述机器人操纵器臂一起可移动；和
控制系统，其与所述机器人操纵器臂和所述视觉探针通信，其中所述控制系统被配置为执行包括以下步骤的操作：
提取系统信息，所述系统信息包括来自医疗系统的机器人臂的运动学信息和/或设置信息；
基于所述系统信息生成初始种子变换；和
由控制系统处理器在感兴趣的患者解剖体的第一模型点集与所述感兴趣的患者解剖体的一部分的术中收集的第二模型点集之间生成第一配准，其中所述配准基于所述初始种子变换。
30.根据权利要求29所述的医疗系统，其中所述设置信息包括程序的类型、解剖目标的位置、进入点、进入角度和正在进行的操作的程序步骤中的至少一个。
31.根据权利要求29所述的医疗系统，其中所述初始种子变换将所述第一模型点集转换到患者坐标空间。
32.根据权利要求29或30-31中任一项所述的医疗系统，其中所述第一模型点集在术前获得。
33.根据权利要求29或30-31中任一项所述的医疗系统，其中所述视觉探针包括结构光三维扫描仪。
34.根据权利要求33所述的医疗系统，其中所述结构光三维扫描仪被设置在导管的远端处。
35.根据权利要求29或30-31中任一项所述的医疗系统，其中来自所述机器人臂的所述运动学信息包括多个伺服方位和由所述视觉探针的轴相对于患者坐标空间形成的角度。
36.根据权利要求29或30-31中任一项所述的医疗系统，其中所述机器人操纵器臂包括用于获得所述运动学信息的编码器、光纤和电位计中的至少一个。
CN201880012575.1A 2017-03-22 2018-03-22 用于智能种子配准的系统和方法 Active CN110325138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310561647.0A CN116585031A (zh) 2017-03-22 2018-03-22 用于智能种子配准的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762474866P 2017-03-22 2017-03-22
US62/474,866 2017-03-22
PCT/US2018/023791 WO2018175737A1 (en) 2017-03-22 2018-03-22 Systems and methods for intelligently seeding registration

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310561647.0A Division CN116585031A (zh) 2017-03-22 2018-03-22 用于智能种子配准的系统和方法

Publications (2)

Publication Number Publication Date
CN110325138A CN110325138A (zh) 2019-10-11
CN110325138B true CN110325138B (zh) 2023-06-06

Family

ID=63584733

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880012575.1A Active CN110325138B (zh) 2017-03-22 2018-03-22 用于智能种子配准的系统和方法
CN202310561647.0A Pending CN116585031A (zh) 2017-03-22 2018-03-22 用于智能种子配准的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310561647.0A Pending CN116585031A (zh) 2017-03-22 2018-03-22 用于智能种子配准的系统和方法

Country Status (4)

Country Link
US (2) US11382695B2 (zh)
EP (1) EP3600112A4 (zh)
CN (2) CN110325138B (zh)
WO (1) WO2018175737A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
WO2016054256A1 (en) 2014-09-30 2016-04-07 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
CN108024699B (zh) * 2015-08-14 2020-11-03 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
EP3346899B1 (en) 2015-09-09 2022-11-09 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
KR102555546B1 (ko) 2016-08-31 2023-07-19 아우리스 헬스, 인코포레이티드 길이 보존 수술용 기구
CN106217345B (zh) * 2016-08-31 2018-04-24 北京术锐技术有限公司 可实现姿态反馈的柔性连续体结构
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11529129B2 (en) * 2017-05-12 2022-12-20 Auris Health, Inc. Biopsy apparatus and system
AU2018290831A1 (en) 2017-06-28 2019-12-19 Auris Health, Inc. Instrument insertion compensation
US11026758B2 (en) * 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
JP7362610B2 (ja) 2017-12-06 2023-10-17 オーリス ヘルス インコーポレイテッド コマンド指示されていない器具の回動を修正するシステムおよび方法
JP7080986B2 (ja) 2017-12-11 2022-06-06 オーリス ヘルス インコーポレイテッド 器具ベースの挿入アーキテクチャのためのシステム及び方法
AU2018384820B2 (en) 2017-12-14 2024-07-04 Auris Health, Inc. System and method for estimating instrument location
KR102690164B1 (ko) 2018-02-13 2024-08-02 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
US10872449B2 (en) 2018-05-02 2020-12-22 Covidien Lp System and method for constructing virtual radial ultrasound images from CT data and performing a surgical navigation procedure using virtual ultrasound images
US10743749B2 (en) * 2018-09-14 2020-08-18 Canon U.S.A., Inc. System and method for detecting optical probe connection
JP2022502171A (ja) 2018-09-28 2022-01-11 オーリス ヘルス インコーポレイテッド 医療器具をドッキングするためのシステム及び方法
US12076100B2 (en) 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
CN113784682B (zh) 2019-03-07 2024-09-20 普罗赛普特生物机器人公司 用于组织切除和成像的机器人臂和方法
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11071601B2 (en) 2019-11-11 2021-07-27 Procept Biorobotics Corporation Surgical probes for tissue resection with robotic arms
CN110946654B (zh) * 2019-12-23 2022-02-08 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
WO2021137109A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment techniques for percutaneous access
CN114901194B (zh) 2019-12-31 2024-08-30 奥瑞斯健康公司 解剖特征识别和瞄准
WO2021137104A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Dynamic pulley system
JP2023508718A (ja) 2019-12-31 2023-03-03 オーリス ヘルス インコーポレイテッド 高度バスケット駆動モード
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面
US11701492B2 (en) 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
US11877818B2 (en) 2020-06-26 2024-01-23 Procept Biorobotics Corporation Integration of robotic arms with surgical probes
US11096753B1 (en) * 2020-06-26 2021-08-24 Procept Biorobotics Corporation Systems and methods for defining and modifying range of motion of probe used in patient treatment
KR20230058119A (ko) 2020-08-26 2023-05-02 아우리스 헬스, 인코포레이티드 로봇으로 제어가능한 필드 발생기
JPWO2023157083A1 (zh) * 2022-02-15 2023-08-24

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
EP1032328A1 (en) 1997-11-25 2000-09-06 Triad Vascular Systems Inc. Layered endovascular graft
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US8010177B2 (en) * 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2745268B1 (en) 2011-09-13 2017-08-02 Koninklijke Philips N.V. Automatic online registration between a robot and images
US20130303944A1 (en) * 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US10383765B2 (en) * 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
US10912523B2 (en) * 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
WO2016025465A1 (en) 2014-08-14 2016-02-18 Intuitive Surgical Operations, Inc. Systems and methods for cleaning an endoscopic instrument
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20180028267A1 (en) * 2015-02-04 2018-02-01 Rfemb Holdings, Llc Radio-frequency electrical membrane breakdown for the treatment of benign prostatic hyperplasia
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11071594B2 (en) * 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems

Also Published As

Publication number Publication date
US11382695B2 (en) 2022-07-12
CN110325138A (zh) 2019-10-11
EP3600112A4 (en) 2020-10-28
US20200008874A1 (en) 2020-01-09
CN116585031A (zh) 2023-08-15
EP3600112A1 (en) 2020-02-05
US20220378517A1 (en) 2022-12-01
WO2018175737A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN110325138B (zh) 用于智能种子配准的系统和方法
US12011232B2 (en) Systems and methods for using tracking in image-guided medical procedure
US12121204B2 (en) Systems and methods of registration for image guided surgery
US11636597B2 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US11864856B2 (en) Systems and methods of continuous registration for image-guided surgery
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US20210100627A1 (en) Systems and methods related to elongate devices
EP3182875B1 (en) Systems for display of pathological data in an image guided procedure
US20210259783A1 (en) Systems and Methods Related to Registration for Image Guided Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant