CN114340542A - 用于位置传感器的基于权重的配准的系统和方法 - Google Patents

用于位置传感器的基于权重的配准的系统和方法 Download PDF

Info

Publication number
CN114340542A
CN114340542A CN202080061169.1A CN202080061169A CN114340542A CN 114340542 A CN114340542 A CN 114340542A CN 202080061169 A CN202080061169 A CN 202080061169A CN 114340542 A CN114340542 A CN 114340542A
Authority
CN
China
Prior art keywords
instrument
coordinate system
location points
model
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080061169.1A
Other languages
English (en)
Other versions
CN114340542B (zh
Inventor
H·拉菲-塔里
叶梦龙
R·乌马拉尼尼
S·斯里尼瓦桑
Y·马林宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN114340542A publication Critical patent/CN114340542A/zh
Application granted granted Critical
Publication of CN114340542B publication Critical patent/CN114340542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477Coupling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/303Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3612Image-producing devices, e.g. surgical cameras with images taken automatically
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了用于位置传感器的基于权重的配准的系统和方法。在一方面,系统包括器械以及被配置成提供第一组命令以沿着腔网络的第一分支驱动该器械的处理器,该第一分支在到模型内的目标的路径之外。该处理器还被配置成在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数,并确定该一组配准参数满足配准标准。该处理器被进一步配置成基于在沿着第一分支和第二分支驱动器械期间从一组位置传感器接收的位置数据来确定位置传感器坐标系与模型坐标系之间的配准。

Description

用于位置传感器的基于权重的配准的系统和方法
相关专利申请的交叉引用
本申请要求2019年8月30日提交的美国临时申请号62/894,639的权益,该临时申请据此全文以引用方式并入。
技术领域
本文公开的系统和方法涉及用于位置传感器的配准的系统和方法,并且更具体地涉及对位置传感器坐标系到另一坐标系的配准进行加权。
背景技术
医疗规程诸如内窥镜检查(例如,支气管镜检查)可涉及出于诊断和/或治疗目的而将医疗工具插入患者的腔网络(例如,气道)。外科机器人系统可用于控制医疗工具在医疗规程期间的插入和/或操纵。外科机器人系统可包括至少一个机器人臂,该至少一个机器人臂包括可用于在医疗规程之前和期间控制医疗工具的定位的操纵器组件。外科机器人系统还可包括位置传感器,该位置传感器被配置成生成指示医疗工具的远侧端部相对于位置传感器坐标系的方位的位置数据。
外科机器人系统可以进一步利用患者的腔网络的模型,其可相对于模型坐标系限定。位置传感器坐标系可以不被配准到模型坐标系,并且因此系统可执行在位置传感器坐标系与模型坐标系之间实现配准的过程,使得从位置传感器接收的位置数据可用于确定医疗工具的远侧端部相对于模型的方位。
发明内容
本公开的系统、方法和装置各自具有若干创新方面,这些创新方面中没有一个独自负责本文所公开的期望属性。
在一方面,提供了一种系统,该系统包括:器械,该器械包括一组一个或多个位置传感器,该一组位置传感器被配置成生成指示该一组位置传感器在位置传感器坐标系中的方位的位置数据;一组器械操纵器,该一组器械操纵器被配置成控制器械的远侧端部的移动;一组处理器;以及至少一个计算机可读存储器,该至少一个计算机可读存储器与该一组处理器通信并且在其上存储有患者的腔网络的模型,该模型包括模型坐标系内的目标和到目标的路径。存储器还可具有存储在其上的计算机可执行指令以致使该一组处理器:向该一组器械操纵器提供第一组命令以沿着腔网络的第一分支驱动器械,第一分支在到目标的路径之外,在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数;确定该一组配准参数满足配准标准,向该一组器械操纵器提供第二组命令以将器械返回到路径并且沿着第二分支驱动器械,第二分支是到目标的路径的一部分;并且基于在沿着第一分支和第二分支驱动器械期间从该一组位置传感器接收的位置数据来确定位置传感器坐标系与模型坐标系之间的配准。
在另一方面,提供了一种其上存储有指令的非暂态计算机可读存储介质,这些指令在被执行时致使至少一个计算装置:向一组器械操纵器提供第一组命令以沿着腔网络的第一分支驱动器械,器械包括一组一个或多个位置传感器,该一组位置传感器被配置成生成指示该一组位置传感器在位置传感器坐标系中的方位的位置数据,该一组器械操纵器被配置成控制器械的远侧端部的移动,其上存储有患者的腔网络的模型的存储器,该模型包括模型坐标系内的目标和到目标的路径,第一分支在到目标的路径之外;在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数;确定该一组配准参数满足配准标准;向该一组器械操纵器提供第二组命令以将器械返回到路径并且沿着第二分支驱动器械,第二分支是到目标的路径的一部分;并且基于在沿着第一分支和第二分支驱动器械期间从该一组位置传感器接收的位置数据来确定位置传感器坐标系与模型坐标系之间的配准。
在又一方面,提供了一种配准一组一个或多个位置传感器的方法,该方法包括:向一组器械操纵器提供第一组命令以沿着腔网络的第一分支驱动器械,器械包括该一组位置传感器,该一组位置传感器被配置成生成指示该一组位置传感器在位置传感器坐标系中的方位的位置数据,该一组器械操纵器被配置成控制器械的远侧端部的移动,其上存储有患者的腔网络的模型的存储器,该模型包括模型坐标系内的目标和到目标的路径,第一分支在到目标的路径之外;在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数;确定该一组配准参数满足配准标准,向该一组器械操纵器提供第二组命令以将器械返回到路径并且沿着第二分支驱动器械,第二分支是到目标的路径的一部分;以及基于在沿着第一分支和第二分支驱动器械期间从该一组位置传感器接收的位置数据来确定位置传感器坐标系与模型坐标系之间的配准。
在再一方面,提供了一种系统,该系统包括一组一个或多个处理器以及至少一个计算机可读存储器,该至少一个计算机可读存储器与该一组处理器通信并且在其上存储有患者的腔网络的模型,该模型包括模型坐标系内的目标和到目标的路径,存储器上进一步存储有计算机可执行指令以致使该一组处理器:提供经由显示装置显示腔网络的指令,接收目标在模型坐标系内的位置的指示;识别腔网络中的第一分支和第二分支,第一分支在到目标的路径之外,第二分支是到目标的路径的一部分,生成用于沿着第一分支、从第一分支返回到路径以及沿着第二分支驱动器械的远侧端部的一组指令,其中在根据指令驱动器械期间从一组一个或多个位置传感器接收到的位置数据促进位置数据的位置坐标系与模型坐标系之间的配准;并且确定在沿着第一分支驱动器械期间跟踪的一个或多个配准参数的配准标准。
在又一方面,提供了一种其上存储有指令的非暂态计算机可读存储介质,这些指令在被执行时使至少一个计算装置:提供经由显示装置显示腔网络的指令,腔网络存储在非暂态计算机可读存储介质上,并且模型包括模型坐标系内的目标和到目标的路径;接收目标在模型坐标系内的位置的指示;识别腔网络中的第一分支和第二分支,第一分支在到目标的路径之外,第二分支是到目标的路径的一部分;生成用于沿着第一分支、从第一分支返回到路径以及沿着第二分支驱动器械的远侧端部的一组指令,其中在根据指令驱动器械期间从一组一个或多个位置传感器接收到的位置数据促进位置数据的位置坐标系与模型坐标系之间的配准;并且确定在沿着第一分支驱动器械期间跟踪的一个或多个配准参数的配准标准。
在另一方面,提供了一种术前计划的方法,该方法包括:提供经由显示装置显示腔网络的指令,腔网络存储在非暂态计算机可读存储介质上,并且模型包括模型坐标系内的目标和到目标的路径;接收目标在模型坐标系内的位置的指示;识别腔网络中的第一分支和第二分支,第一分支在到目标的路径之外,第二分支是到目标的路径的一部分;生成用于沿着第一分支、从第一分支返回到路径以及沿着第二分支驱动器械的远侧端部的一组指令,其中在根据指令驱动器械期间从一组一个或多个位置传感器接收到的位置数据促进位置数据的位置坐标系与模型坐标系之间的配准;以及确定在沿着第一分支驱动器械期间跟踪的一个或多个配准参数的配准标准。
附图说明
下文将结合附图描述所公开的方面,该附图被提供以说明而非限制所公开的方面,其中类似的标号表示类似的元件。
图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人系统的实施方案。
图2描绘了图1的机器人系统的另外方面。
图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方案。
图4示出了被布置用于血管规程的图1的机器人系统的实施方案。
图5示出了被布置用于支气管镜检查规程的基于台的机器人系统的实施方案。
图6提供了图5的机器人系统的替代视图。
图7示出了被配置成收起机器人臂的示例性系统。
图8示出了被构造用于输尿管镜检查规程的基于台的机器人系统的实施方案。
图9示出了被配置用于腹腔镜规程的基于台的机器人系统的实施方案。
图10示出了具有俯仰或倾斜调整的图5-图9的基于台的机器人系统的实施方案。
图11提供了图5-图10的基于台的机器人系统的台与柱之间的接口的详细图示。
图12示出了示例性器械驱动器。
图13示出了具有成对器械驱动器的示例性医疗器械。
图14示出了器械驱动器和器械的另选设计,其中驱动单元的轴线平行于器械的细长轴的轴线。
图15描绘了根据示例性实施方案的示出定位系统的框图,该定位系统估计图1-图10的机器人系统的一个或多个元件的位置,诸如图13和图14的器械的位置。
图16A示出了实现所公开的导航系统和技术的一个或多个方面的示例性操作环境。
图16B示出了可在图16A的操作环境中导航的示例性腔网络。
图16C示出了机器人系统的用于引导器械移动穿过图16B的腔网络的示例性机器人臂。
图17示出了可用作例如示例性操作环境中的命令控制台的示例性命令控制台。
图18示出了如本文所述的具有成像和EM感测能力的示例性器械(例如,图16A-图16C的器械)的远侧端部。
图19示出了根据本公开的各方面的其中可执行位置传感器配准的示例性腔网络。
图20A是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于对侧配准位置传感器坐标系的示例性方法的流程图。
图20B是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于确定是否已经接收到足够的位置数据以促进对侧配准的示例性方法的流程图。
图21是示出根据本公开的各方面的相对于腔网络的模型的位置数据的图。
图22是示出根据本公开的各方面的在不执行对侧配准过程的情况下位置数据的配准的示例的图。
图23是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于术前计划的示例性方法的流程图。
图24是示出用于确定传感器坐标系与模型坐标系之间的配准的示例性性方法的流程图。
图25示出了其中传感器位置点和模型位置点叠加在模型坐标系中的模型上的示例。
图26示出了用于确定与距离成比例的权重的一个示例。
图27示出了用于基于距离确定二进制权重的另一示例。
图28示出了用于基于距离确定二进制权重的又一示例。
具体实施方式
1.概述
本公开的各方面可集成到机器人使能的医疗系统中,该机器人使能的医疗系统能够执行多种医疗规程,包括微创规程诸如腹腔镜检查,以及非侵入规程诸如内窥镜检查两者。在内窥镜检查规程中,系统可能能够执行支气管镜检查、输尿管镜检查、胃镜检查等。
除了执行广泛的规程之外,系统可以提供附加的益处,诸如增强的成像和指导以帮助医师。另外,该系统可以为医师提供从人体工程学方位执行规程的能力,而不需要笨拙的臂运动和方位。另外,该系统可以为医师提供以改进的易用性执行规程的能力,使得系统的器械中的一个或多个器械可由单个用户控制。
出于说明的目的,下文将结合附图描述各种实施方案。应当理解,所公开的概念的许多其他具体实施是可能的,并且利用所公开的具体实施可实现各种优点。标题包括在本文中以供参考并且有助于定位各个节段。这些标题并非旨在限制相对于其所述的概念的范围。此类概念可在整个说明书中具有适用性。
A.机器人系统–推车
机器人使能的医疗系统可以按多种方式配置,这取决于特定规程。图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人使能系统10的实施方案。在支气管镜检查期间,系统10可包括推车11,该推车具有一个或多个机器人臂12,以将医疗器械诸如可操纵内窥镜13(其可以是用于支气管镜检查的规程特定的支气管镜)递送至自然孔口进入点(即,在本示例中定位在台上的患者的口),以递送诊断和/或治疗工具。如图所示,推车11可被定位在患者的上躯干附近,以便提供到进入点的通路。类似地,可以致动机器人臂12以相对于进入点定位支气管镜。当用胃镜(用于胃肠道(GI)规程的专用内窥镜)执行GI规程时,也可利用图1中的布置。图2更详细地描绘了推车的示例性实施方案。
继续参考图1,一旦推车11被正确定位,机器人臂12就可以机器人地、手动地或以其组合将可操纵内窥镜13插入到患者。如图所示,可操纵内窥镜13可包括至少两个伸缩部分,诸如内引导件部分和外护套部分,每个部分耦接到来自一组器械驱动器28的单独的器械驱动器,每个器械驱动器耦接到单独的机器人臂的远侧端部。有利于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29,该“虚拟轨道”可以通过将一个或多个机器人臂12操纵到不同角度和/或方位而在空间中被重新定位。本文所述的虚拟轨道在附图中使用虚线描绘,并且因此虚线未描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩,或者使内窥镜13从患者推进或回缩。虚拟轨道29的角度可以基于临床应用或医师偏好来调节、平移和枢转。例如,在支气管镜检查中,如图所示的虚拟轨道29的角度和方位代表了在向医师提供到内窥镜13的通路同时使由内窥镜13弯曲到患者的口中引起的摩擦最小化之间的折衷。
在插入之后,内窥镜13可以使用来自机器人系统的精确命令向下导向患者的气管和肺,直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标,内窥镜13可被操纵以从外部护套部分伸缩地延伸内引导件部分,以获得增强的关节运动和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。
例如,内窥镜13可被导向以将活检针递送到目标,诸如患者肺内的病变或结节。针可沿工作通道向下部署,该工作通道延伸内窥镜的长度以获得待由病理学家分析的组织样本。根据病理结果,可沿内窥镜的工作通道向下部署附加工具以用于附加活检。在识别出结节是恶性的之后,内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下,诊断和治疗处理可能需要在单独的规程中递送。在这些情况下,内窥镜13也可用于递送基准以“标记”目标结节的位置。在其他情况下,诊断和治疗处理可在相同的规程期间递送。
系统10还可包括可运动塔30,该可运动塔可经由支撑缆线连接到推车11以向推车11提供控制、电子、流体、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调节和/或重新定位的更小形状因子的推车11。另外,在推车/台和支撑塔30之间划分功能减少了手术室混乱并且有利于改善临床工作流程。虽然推车11可被定位成靠近患者,但是塔30可以在远程位置中被收起以在规程过程期间不挡道。
为了支持上述机器人系统,塔30可包括基于计算机的控制系统的部件,该基于计算机的控制系统将计算机程序指令存储在例如非暂态计算机可读存储介质诸如永磁存储驱动器、固态驱动器等内。无论执行是发生在塔30中还是发生在推车11中,这些指令的执行都可以控制整个系统或其子系统。例如,当由计算机系统的处理器执行时,指令可致使机器人系统的部件致动相关托架和臂安装件,致动机器人臂,并且控制医疗器械。例如,响应于接收到控制信号,机器人臂的关节中的马达可将臂定位成特定姿势。
塔30还可包括泵、流量计、阀控制器和/或流体通路,以便向可通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可使用塔30的计算机系统来控制。在一些实施方案中,冲洗和抽吸能力可通过单独的缆线直接递送到内窥镜13。
塔30可包括电压和浪涌保护器,该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力,从而避免在推车11中放置电力变压器和其他辅助电力部件,从而得到更小、更可运动的推车11。
塔30还可包括用于在整个机器人系统10中部署的传感器的支撑设备。例如,塔30可包括用于在整个机器人系统10中检测、接收和处理从光学传感器或相机接收的数据的光电设备。结合控制系统,此类光电设备可用于生成实时图像,以用于在整个系统中部署的任何数量的控制台中显示(包括在塔30中显示)。类似地,塔30还可包括用于接收和处理从部署的电磁(EM)传感器接收的信号的电子子系统。塔30还可用于容纳和定位EM场发生器,以便由医疗器械中或医疗器械上的EM传感器进行检测。
除了系统的其余部分中可用的其他控制台(例如,安装在推车顶部上的控制台)之外,塔30还可包括控制台31。控制台31可包括用于医师操作者的用户界面和显示屏,诸如触摸屏。系统10中的控制台通常设计成提供机器人控制以及规程的术前信息和实时信息两者,诸如内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时,其可由第二操作者(诸如护士)使用以监测患者的健康或生命体征和系统的操作,以及提供规程特定的数据,诸如导航和定位信息。
塔30可通过一个或多个缆线或连接件(未示出)耦接到推车11和内窥镜13。在一些实施方案中,可通过单根缆线向推车11提供来自塔30的支撑功能,从而简化手术室并消除手术室的混乱。在其他实施方案中,特定功能可耦合在单独的布线和连接中。例如,尽管可以通过单根缆线向推车提供电力,但也可以通过单独的缆线提供对控制、光学、流体和/或导航的支持。
图2提供了来自图1所示的基于推车的机器人使能的系统的推车的实施方案的详细图示。推车11通常包括细长支撑结构14(通常称为“柱”)、推车基部15以及在柱14的顶部处的控制台16。柱14可包括一个或多个托架,诸如用于支持一个或多个机器人臂12(图2中示出三个)的部署的托架17(另选地为“臂支撑件”)。托架17可包括可单独配置的臂安装件,该臂安装件沿垂直轴线旋转以调节机器人臂12的基部,以相对于患者更好地定位。托架17还包括托架接口19,该托架接口允许托架17沿着柱14竖直地平移。
托架接口19通过狭槽诸如狭槽20连接到柱14,该狭槽定位在柱14的相对侧上以引导托架17的竖直平移。狭槽20包含竖直平移接口以将托架相对于推车基部15定位并保持在各种竖直高度处。托架17的竖直平移允许推车11调节机器人臂12的到达范围以满足各种台高度、患者尺寸和医师偏好。类似地,托架17上的可单独构造的臂安装件允许机器人臂12的机器人臂基部21以多种构型成角度。
在一些实施方案中,狭槽20可补充有狭槽盖,该狭槽盖与狭槽表面齐平且平行,以防止灰尘和流体在托架17竖直平移时进入柱14的内部腔以及竖直平移接口。狭槽盖可通过定位在狭槽20的竖直顶部和底部附近的成对弹簧卷轴部署。盖在卷轴内盘绕,直到在托架17竖直地上下平移时被部署成从盖的盘绕状态延伸和回缩。当托架17朝向卷轴平移时,卷轴的弹簧加载提供了将盖回缩到卷轴中的力,同时在托架17平移远离卷轴时也保持紧密密封。可使用例如托架接口19中的支架将盖连接到托架17,以确保在托架17平移时盖的适当延伸和回缩。
柱14可在内部包括诸如齿轮和马达之类的机构,其被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如,来自控制台16的输入)生成的控制信号来以机械化方式平移托架17。
机器人臂12通常可包括由一系列连杆23分开的机器人臂基部21和端部执行器22,该一系列连杆由一系列关节24连接,每个关节包括独立的致动器,每个致动器包括可独立控制的马达。每个可独立控制的关节表示机器人臂可用的独立自由度。臂12中的每个臂具有七个关节,并且因此提供七个自由度。多个关节导致多个自由度,从而允许“冗余”的自由度。冗余自由度允许机器人臂12使用不同的连杆方位和关节角度将其相应的端部执行器22定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械,同时允许医师使臂关节运动到远离患者的临床有利方位,以产生更大的接近,同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此,推车基部15容纳较重的部件,诸如电子器件、马达、电源以及使得推车能够运动和/或固定的部件。例如,推车基部15包括允许推车在规程之前容易地围绕房间运动的可滚动的轮形脚轮25。在到达适当方位之后,脚轮25可以使用轮锁固定,以在规程期间将推车11保持在适当方位。
定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户界面和显示屏(或两用装置,诸如例如触摸屏26)两者向医师用户提供术前和术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计,诸如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜成允许医师从柱14的与托架17相对的侧面接近控制台。从该位置,医师可在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如图所示,控制台16还包括用于帮助操纵和稳定推车11的柄部27。
图3示出了被布置用于输尿管镜检查的机器人使能的系统10的实施方案。在输尿管镜规程中,推车11可被定位成将输尿管镜32(被设计成横穿患者的尿道和输尿管的规程特定的内窥镜)递送到患者的下腹部区域。在输尿管镜检查中,可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如图所示,推车11可以在台的脚部处对准,以允许机器人臂12定位输尿管镜32,以用于直接线性进入患者的尿道。机器人臂12可从台的脚部沿着虚拟轨道33将输尿管镜32通过尿道直接插入到患者的下腹部中。
在插入到尿道中之后,使用与支气管镜检查中类似的控制技术,输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如,可以将输尿管镜32引导到输尿管和肾中以使用沿输尿管镜32的工作通道向下部署的激光或超声碎石装置来打碎积聚的肾结石。在碎石完成之后,可以使用沿输尿管镜32向下部署的篮移除所得的结石碎片。
图4示出了类似地布置用于血管规程的机器人使能的系统的实施方案。在血管规程中,系统10可以被构造成使得推车11可将医疗器械34(诸如可操纵导管)递送至患者的腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者的心脏的相对较少的迂回且曲折的路径两者,这简化了导航。如在输尿管镜规程中,推车11可以被定位成朝向患者的腿部和下腹部,以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入到动脉中之后,可通过平移器械驱动器28来导向和插入医疗器械34。另选地,推车可以被定位在患者的上腹部周围,以到达另选的血管进入点,诸如肩部和腕部附近的颈动脉和臂动脉。
B.机器人系统–台
机器人使能的医疗系统的实施方案还可结合患者的台。结合台通过移除推车减少了手术室内的资本设备的量,这允许更多地接近患者。图5示出了被布置用于支气管镜检查规程的这样的机器人使能系统的实施方案。系统36包括用于将平台38(示出为“台”或“床”)支撑在地板上的支撑结构或柱37。与基于推车的系统非常相似,系统36的机器人臂39的端部执行器包括器械驱动器42,其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械,诸如图5中的支气管镜40。在实践中,用于提供荧光镜成像的C形臂可以通过将发射器和检测器放置在台38周围而定位在患者的上腹部区域上方。
图6提供了用于讨论目的的没有患者和医疗器械的系统36的另选视图。如图所示,柱37可包括在系统36中示出为环形的一个或多个托架43,一个或多个机器人臂39可基于该托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移,以提供不同的有利点,机器人臂39可以从这些有利点被定位以到达患者。托架43可以使用定位在柱37内的机械马达围绕柱37旋转,以允许机器人臂39进入台38的多个侧面,诸如患者的两侧。在具有多个托架的实施方案中,托架可单独地定位在柱上,并且可独立于其他托架平移和/或旋转。虽然托架43不需要环绕柱37或甚至是圆形的,但如图所示的环形形状有利于托架43围绕柱37旋转,同时保持结构平衡。托架43的旋转和平移允许系统将医疗器械诸如内窥镜和腹腔镜对准到患者身上的不同进入点中。
臂39可通过包括一系列关节的一组臂安装件45安装在托架上,该关节可单独地旋转和/或伸缩地延伸以向机器人臂39提供附加的可构造性。另外,臂安装架45可定位在托架43上,使得当托架43适当地旋转时,臂安装架45可定位在台38的同一侧上(如图6所示)、台38的相对侧上(如图9所示)或台38的相邻侧上(未示出)。
柱37在结构上为台38提供支撑,并且为托架的竖直平移提供路径。在内部,柱37可配备有用于引导托架的竖直平移的导螺杆,以及用以机械化基于导螺杆的所述托架的平移的马达。柱37还可将功率和控制信号传送到托架43和安装在其上的机器人臂39。
台基部46具有与图2所示的推车11中的推车基部15类似的功能,容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台面基部46还可结合刚性脚轮以在规程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相反方向延伸,并且当系统36需要运动时回缩。
继续图6,系统36还可以包括塔(未示出),该塔使系统36的功能在台与塔之间进行划分以减小台的形状因子和体积。如在先前所公开的实施方案中,塔可以向台提供各种支持功能,诸如处理、计算和控制能力、电力、流体和/或光学以及传感器处理。塔还可以是可运动的,以远离患者定位,从而改善医师的接近并且消除手术室的混乱。另外,将部件放置在塔中允许在台基部中有更多的储存空间,以用于机器人臂的潜在收起。塔还可以包括控制台,该控制台提供用于用户输入的用户界面(诸如键盘和/或挂件)以及用于术前和术中信息(诸如实时成像、导航和跟踪信息)的显示屏(或触摸屏)两者。
在一些实施方案中,台基部可以在不使用时收起和储存机器人臂。图7示出了在基于台的系统的实施方案中收起机器人臂的系统47。在系统47中,托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收起在基部49内。基部盖52可以平移和回缩打开以围绕柱53部署托架48、臂安装件51和臂50,并且关闭以收起该托架、该臂安装件和该臂,以便在不使用时保护它们。基部盖52可以利用膜54沿着其开口的边缘密封,以防止在闭合时灰尘和流体进入。
图8示出了被构造用于输尿管镜检查规程的机器人使能的基于台的系统的实施方案。在输尿管镜检查中,台38可以包括用于将患者定位成与柱37和台基部46成偏角的旋转部分55。旋转部分55可以围绕枢转点(例如,位于患者的头部下方)旋转或枢转,以便将旋转部分55的底部部分定位成远离柱37。例如,旋转部分55的枢转允许C形臂(未示出)定位在患者的下腹部上方,而不与台38下方的柱(未示出)竞争空间。通过围绕柱37旋转托架35(未示出),机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入到患者的腹股沟区域中以到达尿道。在输尿管镜检查中,镫58也可以固定至台38的旋转部分55,以在规程期间支撑患者的腿部的方位,并且允许完全通向患者的腹股沟区域。
在腹腔镜规程中,通过患者的腹壁中的小切口,可将微创器械(细长形状以适应一个或多个切口的尺寸)插入患者的解剖结构中。在对患者的腹腔充胀之后,可以引导通常称为腹腔镜的器械以执行手术任务,诸如抓取、切割、切除、缝合等。图9示出了被构造用于腹腔镜规程的机器人使能的基于台的系统的实施方案。如图9所示,系统36的托架43可被旋转并且竖直调整,以将成对的机器人臂39定位在台38的相对侧上,使得可以使用臂安装件45将腹腔镜59定位成穿过患者两侧上的最小切口以到达他/她的腹腔。
为了适应腹腔镜检查规程,机器人使能的台系统还可将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调节的机器人使能的医疗系统的实施方案。如图10所示,系统36可以适应台38的倾斜,以将台的一部分定位在比另一部分距底板更远的距离处。另外,臂安装件45可以旋转以匹配倾斜,使得臂39与台38保持相同的平面关系。为了适应更陡的角度,柱37还可以包括伸缩部分60,该伸缩部分允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。
图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱台接口处来实现,每条轴线由单独的马达3、4响应于电俯仰角命令而致动。沿着一个螺钉5的旋转将使得能够在一条轴线1中进行倾斜调整,而沿着另一个螺钉6的旋转将使得能够沿着另一个轴线2进行倾斜调节。
例如,当试图将台定位在特伦德伦伯格卧位(即,将患者的下腹部定位在比患者的下腹部距地板更高的方位)以用于下腹部手术时,俯仰调节特别有用。头低脚高方位致使患者的内部器官通过重力滑向他/她的上腹部,从而清理出腹腔以使微创工具进入并且执行下腹部外科规程,诸如腹腔镜前列腺切除术。
C.器械驱动器和接口
系统的机器人臂的端部执行器包括:(i)器械驱动器(另选地称为“器械驱动机构”或“器械装置操纵器”),其结合了用于致动医疗器械的机电装置;以及(ii)可移除或可拆卸的医疗器械,其可以没有诸如马达的任何机电部件,诸如马达。该二分法可能是由以下所驱动的:对医疗规程中使用的医疗器械进行灭菌的需要;以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分灭菌。因此,医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换,以便由医师或医师的工作人员单独灭菌或处置。相比之下,器械驱动器不需要被改变或灭菌,并且可以被覆盖以便保护。
图12示出了示例性器械驱动器。定位在机器人臂的远侧端部处的器械驱动器62包括一个或多个驱动单元63,其以平行轴线布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64,用于将马达轴旋转转换成期望扭矩的齿轮头65,用于生成驱动扭矩的马达66,用以测量马达轴的速度并且向控制电路提供反馈的编码器67,以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化,器械驱动器62可向医疗器械提供多个(如图12所示为四个)独立的驱动输出。在操作中,控制电路68将接收控制信号,将马达信号传输至马达66,将由编码器67测量的所得马达速度与期望速度进行比较,并且调制马达信号以生成期望扭矩。
对于需要无菌环境的规程,机器人系统可以结合驱动接口,诸如连接至无菌覆盖件的无菌适配器,其位于器械驱动器与医疗器械之间。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入部,同时保持驱动轴与驱动输入部之间的物理分离并且因此保持无菌。因此,示例性无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入部配合的一系列旋转输入部和旋转输出部。连接到无菌适配器的由薄的柔性材料(诸如透明或半透明塑料)组成的无菌覆盖件被设计成覆盖资本设备,诸如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。覆盖件的使用将允许资本设备被定位在患者附近,同时仍然位于不需要灭菌的区域(即,非无菌区)。在无菌覆盖件的另一侧上,医疗器械可以在需要灭菌的区域(即,无菌区)与患者对接。
D.医疗器械
图13示出了具有成对器械驱动器的示例性医疗器械。与被设计成与机器人系统一起使用的其他器械类似,医疗器械70包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械柄部”的器械基部72通常可以包括可旋转驱动输入部73(例如,插座、滑轮或卷轴),该驱动输入部被设计成与延伸通过机器人臂76的远侧端部处的器械驱动器75上的驱动接口的驱动输出部74配合。当物理连接、闩锁和/或耦接时,器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线,以允许扭矩从驱动输出74传递到驱动输入73。在一些实施方案中,驱动输出部74可以包括花键,其被设计成与驱动输入部73上的插座配合。
细长轴71被设计成通过解剖开口或腔(例如,如在内窥镜检查中)或通过微创切口(例如,如在腹腔镜检查中)递送。细长轴66可以是柔性的(例如,具有类似于内窥镜的特性)或刚性的(例如,具有类似于腹腔镜的特性),或者包括柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时,刚性细长轴的远侧端部可以连接到端部执行器,该端部执行器包括由具有旋转轴线的连接叉形成的关节腕和外科工具(例如,抓握器或剪刀),当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时,该外科工具可以基于来自腱的力来致动。当设计用于内窥镜检查时,柔性细长轴的远侧端部可包括可操纵或可控制的弯曲节段,该弯曲节段以基于从器械驱动器75的驱动输出74接收到的扭矩而进行关节运动和弯曲。
使用轴71内的腱沿细长轴71向下传递来自器械驱动器75的扭矩。这些单独的腱(例如,牵拉线)可以单独地锚定至器械柄部72内的单独的驱动输入部73。从柄部72,沿细长轴71内的一个或多个牵拉腔向下导向腱并且将其锚定在细长轴71的远侧部分处。在腹腔镜检查中,这些腱可以耦接到远侧安装的端部执行器,诸如腕部、抓握器或剪刀。在这样的布置下,施加在驱动输入部73上的扭矩将张力传递到腱,从而引起端部执行器以某种方式致动。在腹腔镜检查中,腱可以致使关节围绕轴线旋转,从而致使端部执行器沿一个方向或另一个方向移动。另选地,腱可以连接到细长轴71的远侧端部处的抓握器的一个或多个钳口,其中来自腱的张力致使抓握器闭合。
在内窥镜检查中,腱可以经由粘合剂、控制环或其他机械固定件耦接到沿着细长轴71定位(例如,在远侧端部处)的弯曲或关节运动节段。当固定地附接到弯曲节段的远侧端部时,施加在驱动输入73上的扭矩将沿腱向下传递,从而致使较软的弯曲节段(有时称为可关节运动节段或区域)弯曲或进行关节运动。沿着不弯曲节段,可以有利的是,使单独的牵拉腔螺旋或盘旋,该牵拉腔沿着内窥镜轴的壁(或在内部)导向单独的腱,以平衡由牵拉线中的张力引起的径向力。为了特定目的,可以改变或设计螺旋的角度和/或其间的间隔,其中更紧的螺旋在负载力下呈现较小的轴压缩,而较低的螺旋量在负载力下引起更大的轴压缩,但也呈现限制弯曲。在另一种情况下,可以平行于细长轴71的纵向轴线来导向牵拉腔以允许在期望的弯曲或可关节运动节段中进行受控关节运动。
在内窥镜检查中,细长轴71容纳多个部件以辅助机器人规程。轴可以在轴71的远侧端部处包括用于部署外科工具、对手术区域进行冲洗和/或抽吸的工作通道。轴71还可以容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号,该光学组件可以包括光学相机。轴71也可以容纳光纤,以将来自位于近侧的光源(例如,发光二极管)的光载送到轴的远侧端部。
在器械70的远侧端部处,远侧末端还可以包括用于递送用于诊断和/或治疗的工具、对手术部位进行冲洗和抽吸的工作通道的开口。远侧末端还可以包括用于相机(诸如纤维镜或数码相机)的端口,以捕获内部解剖空间的图像。相关地,远侧末端还可以包括用于光源的端口,该光源用于在使用相机时照亮解剖空间。
在图13的示例中,驱动轴的轴线以及因此驱动输入轴线与细长轴的轴线正交。然而,该布置使细长轴71的滚动能力复杂化。在保持驱动输入73静止的同时沿着其轴线滚动细长轴71会引起当腱从驱动输入73延伸出去并且进入到细长轴71内的牵拉腔时,腱的不期望的缠结。所得到的这样的腱的缠结可能破坏旨在在内窥镜规程期间预测柔性细长轴的移动的任何控制算法。
图14示出了器械驱动器和器械的另选设计,其中驱动单元的轴线平行于器械的细长轴的轴线。如图所示,圆形器械驱动器80包括四个驱动单元,其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81容纳在由组件83内的驱动单元中的一个驱动单元驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩,旋转组件83沿着圆形轴承旋转,该圆形轴承将旋转组件83连接到器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83,该电接触可以通过电刷滑环连接(未示出)的旋转来维持。在其他实施方案中,旋转组件83可以响应于集成到不可旋转部分84中的单独的驱动单元,并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80允许驱动单元及其相应的驱动输出81作为单个单元围绕器械驱动器轴线85旋转。
与先前所公开的实施方案类似,器械86可以包括细长轴部分88和器械基部87(出于讨论的目的,示出为具有透明的外部表层),该器械基部包括被配置成接收器械驱动器80中的驱动输出81的多个驱动输入89(诸如插座、滑轮和卷轴)。与先前公开的实施方案不同,器械轴88从器械基部87的中心延伸,该器械基部的轴线基本上平行于驱动输入部89的轴线,而不是如图13的设计中那样正交。
当耦接到器械驱动器80的旋转组件83时,包括器械基部87和器械轴88的医疗器械86与旋转组件83组合地围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处,因此当附接时器械轴88与器械驱动器轴线85同轴。因此,旋转组件83的旋转致使器械轴88围绕其自身的纵向轴线旋转。此外,当器械基部87与器械轴88一起旋转时,连接到器械基部87中的驱动输入部89的任何腱在旋转期间都不缠结。因此,驱动输出部81、驱动输入部89和器械轴88的轴线的平行允许轴在不会使任何控制腱缠结的情况下旋转。
E.导航和控制
传统的内窥镜检查可以涉及使用荧光透视(例如,如可以通过C形臂递送的)和其他形式的基于辐射的成像模态,以向操作医师提供腔内指导。相比之下,本公开所设想的机器人系统可以提供基于非辐射的导航和定位装置,以减少医师暴露于辐射并且减少手术室内的设备的量。如本文所用,术语“定位”可以指确定和/或监测对象在参考坐标系中的方位。诸如术前标测、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下,可以单独地或组合地使用术前标测、计算机视觉、实时EM跟踪和机器人命令数据,以改进仅通过基于辐射的成像模态获得的信息。
图15是示出根据示例性实施方案的估计机器人系统的一个或多个元件的位置(诸如器械的位置)的定位系统90的框图。定位系统90可以是被配置成执行一个或多个指令的一组一个或多个计算机装置。计算机装置可以由上文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例而非限制,计算机装置可位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。
如图15所示,定位系统90可包括定位模块95,该定位模块处理输入数据91-94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示器械的远侧端部相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者解剖结构或已知对象(诸如EM场发生器)的参考系(参见下文对于EM场发生器的讨论)。位置数据96在本文中也可称为“状态数据”,其描述了医疗器械的远侧末端相对于患者的解剖结构的模型(例如,骨骼模型)的当前状态。状态数据可包括诸如医疗器械的远侧末端在给定样本周期内的方位和取向之类的信息。例如,当基于腔网络的中点使用骨骼模型对患者的解剖结构进行建模时,方位可采取段ID和沿着段的深度的形式。
现在更详细地描述各种输入数据91-94。术前标测可以通过使用低剂量CT扫描的集合来完成。术前CT扫描被重建为三维(3D)图像,该3D图像被可视化,例如作为患者的内部解剖结构的剖面图的“切片”。当总体上分析时,可以生成用于患者的解剖结构(诸如患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状之类的技术,以形成患者的解剖结构的3D体积,其被称为术前模型数据91。中心线几何形状的使用在美国专利申请14/523,760中有所讨论,其内容全文并入本文中。网络拓扑模型也可以从CT图像中导出,并且特别适合于支气管镜检查。
在一些实施方案中,器械可以配备有相机以提供视觉数据92。定位模块95可处理视觉数据以实现一个或多个基于视觉的位置跟踪。例如,术前模型数据可以与视觉数据92结合使用,以实现对医疗器械(例如,内窥镜或推进通过内窥镜的工作通道的器械)的基于计算机视觉的跟踪。例如,使用术前模型数据91,机器人系统可以基于内窥镜的行进预期路径根据模型生成预期内窥镜图像的库,每个图像连接到模型内的位置。在操作中,机器人系统可以参考该库,以便将在摄像相机(例如,在内窥镜的远侧端部处的相机)处捕获的实时图像与图像库中的那些图像进行比较,以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定相机的运动,并且因此确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖腔,以及跟踪相机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。
光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断相机运动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过多次迭代的多帧比较,可以确定相机(以及因此内窥镜)的运动和位置。
定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置,该全局坐标系可以被配准到由术前模型表示的患者的解剖结构。在EM跟踪中,包括嵌入在医疗器械(例如,内窥镜工具)中的一个或多个位置和取向中的一个或多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或多个静态EM场发生器产生的EM场的变化。由EM传感器检测的位置信息被存储为EM数据93。EM场发生器(或发射器)可以靠近患者放置,以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流,可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中“配准”到患者解剖结构(例如,手术前模型),以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的方位对准的几何变换。一旦配准,医疗器械的一个或多个方位(例如,内窥镜的远侧末端)中的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。
机器人命令和运动学数据94也可以由定位模块95使用以提供用于机器人系统的方位数据96。可以在术前校准期间确定从关节运动命令得到的装置俯仰和偏。在手术中,这些校准测量可以与已知的插入深度信息结合使用,以估计器械的方位。另选地,这些计算可以结合EM、视觉和/或拓扑建模进行分析,以估计医疗器械在网络内的方位。
如图15所示,定位模块95可以使用多个其他输入数据。例如,尽管在图15中未示出,但是利用形状感测纤维的器械可以提供定位模块95可以用来确定器械的位置和形状的形状数据。
定位模块95可以组合地使用输入数据91-94。在一些情况下,这样的组合可以使用概率方法,其中定位模块95向根据输入数据91-94中的每个输入数据确定的位置分配置信度权重。因此,在EM数据可能不可靠(如可能存在EM干扰的情况)的情况下,由EM数据93确定的位置的置信度可能降低,并且定位模块95可能更重地依赖于视觉数据92和/或机器人命令和运动学数据94。
如上所讨论的,本文讨论的机器人系统可以被设计成结合以上技术中的一种或多种技术的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在例如非暂态计算机可读存储介质(诸如永久性磁存储驱动器、固态驱动器等)内,该计算机程序指令在执行时引起系统接收并且分析传感器数据和用户命令,生成整个系统的控制信号并且显示导航和定位数据,诸如器械在全局坐标系内的方位、解剖图等。
2.对位置传感器的配准的介绍
本公开的实施方案涉及用于将由一个或多个位置传感器使用的坐标系与另一坐标系(诸如由解剖模型使用的坐标系)配准的系统和技术。配准可以是指可应用于位置传感器数据以将位置传感器数据映射到解剖模型的坐标系中的变换。因此,系统可使用配准来基于位置传感器数据确定一个或多个位置传感器相对于解剖模型的位置。位置传感器可用于在医疗规程期间将器械的远侧端部定位到解剖位置。位置传感器可被定位在器械的远侧端部处或附近,或者可远离器械的远侧端部定位。可定位在器械的远侧端部处或附近的位置传感器的示例包括:EM传感器、基于视觉的位置传感器(例如,相机)、形状感测纤维等。可远离器械的远侧端部定位的位置传感器的示例包括荧光镜成像装置、用于经由一个或多个器械操纵器控制器械的方位的机器人数据等。
位置传感器可被配置成生成指示器械的远侧端部相对于位置传感器坐标系的位置的位置数据。当位置传感器与器械的远侧端部并置时,位置数据可表示位置传感器本身的位置,其然后可用于确定器械的远侧端部的位置。在某些实施方案中,位置传感器坐标系可包括一组轴线和原点,其可基于用于实现位置传感器的特定技术来限定。
例如,位于器械中或器械上的EM传感器可被配置成测量由EM场发生器生成的EM场。EM场的特性,以及因此由EM传感器测量的EM值可相对于EM场发生器的位置和取向来限定。因此,EM场发生器的定位可影响由EM传感器测量的值,并且还可限定EM坐标系的位置和取向。
如上所述,患者的腔网络可以使用例如低剂量CT扫描来术前映射以产生腔网络的模型。由于模型可经由与用于定位器械的远侧端部不同的技术产生,因此模型坐标系可能不与位置传感器坐标系对准。因此,为了使用位置传感器坐标系来跟踪器械相对于模型的位置,本公开的某些方面涉及将位置传感器坐标系“配准”到模型坐标系。该配准可包括例如平移和/或旋转,其可应用于位置数据,以便将位置数据从位置传感器坐标系映射到模型坐标系中。
由于腔网络的模型提供患者的腔网络的映射,因此模型坐标系相对于患者被“锚定”或限定。也就是说,模型坐标系的参考系基于规程期间患者的位置和/或取向。将位置传感器坐标系配准到模型坐标系的一个挑战在于,位置传感器坐标系的参考系可以不相对于患者“锚定”或预限定。例如,当位置传感器体现为EM传感器时,EM坐标系的参考系可以是EM场发生器。然而,在某些具体实施中,EM场发生器可被自由定位在某个区域内,使得EM场发生器可被定位在机器人外科系统的其他元件(例如,机器人臂、C形臂等)的路径之外。由于EM场发生器的方位以及因此EM坐标系的参考系未被预限定,因此系统可被配置成执行将EM坐标系配准到模型坐标系的过程。
一种用于将EM坐标系配准到模型坐标系的技术可包括识别术前模型内的多个位置的术前步骤以及向用户提供指令以将器械驱动到这些位置中的每个位置的术中步骤。系统可指示用户依赖于其他形式的导航(例如,相机反馈)将器械驱动到位置中的每个位置,并且系统可被进一步配置成接收来自用户的输入,从而确认器械何时位于所识别的位置中的每个位置。使用从用户接收的确认、EM数据和模型内所识别的位置,系统可确定将EM数据映射到所识别的位置的配准。然后可使用该配准来将表示器械的远侧端部的位置的EM数据映射到规程的剩余部分的模型。
然而,上述配准过程对于用户可能是复杂且耗时的。例如,为了提供足够稳健的配准,可能需要系统来识别空间上不同的相对大量的位置(例如,6个或更多个位置)(例如,所识别的位置可能需要彼此相隔至少一定距离)。因此,本公开的某些方面涉及可经由简化过程在位置传感器坐标系与模型坐标系之间提供配准的系统和技术。
A.EM导航引导的支气管镜检查
在下文中,将相对于用于EM导航引导的支气管镜规程中的EM传感器的配准的实施方案描述位置传感器的配准。然而,本公开的各方面还可适用于可在对应位置传感器坐标系内产生位置数据的其他位置传感器,以及适用于其他医疗类型的医疗规程。
支气管镜可包括光源和小型相机,其允许医师检查患者的气管和气道。如果支气管镜在患者气道内的精确位置是未知的,则可能发生患者创伤。为了确定支气管镜的位置,基于图像的支气管镜检查引导系统可使用来自支气管镜相机的数据来在患者气道的分叉处执行局部配准(例如,在腔网络内的特定位置处的配准),并且因此可能有益地不太容易受由于患者呼吸运动而引起的方位误差的影响。然而,由于基于图像的引导方法依赖于支气管镜视频,因此它们可能受到由患者咳嗽或黏液阻塞等引起的支气管镜视频中的伪影的影响。
EM导航引导的支气管镜检查是一种类型的支气管镜规程,其实现EM技术以定位和引导内窥镜工具或导管通过肺的支气管通路。EM导航引导的支气管镜检查系统可使用EM场发生器,该EM场发生器发射低强度的变化的EM场并且在患者的腔网络周围建立跟踪体积的方位。EM场是由带电荷对象产生的物理场,其影响场附近的带电对象的行为。当定位在所生成的场内时,附接到器械的EM传感器可用于跟踪器械在EM场内的位置和取向。由变化的EM场在EM传感器中感应出小电流。这些电信号的特性取决于传感器和EM场发生器之间的距离和角度。因此,EM导航引导的支气管镜检查系统可包括EM场发生器,在其远侧末端处或附近具有一个或多个EM传感器的可操纵器械,以及引导计算系统。EM场发生器在待导航的患者的腔网络(例如,气道、胃肠道或循环通路)周围生成EM场。可操纵通道被插入穿过支气管镜的工作通道并且经由EM传感器在EM场中跟踪。
在开始EM导航引导的支气管镜检查规程之前,可针对患者的特定气道结构例如从术前CT胸部扫描获得虚拟的3D支气管模型。使用模型和EM导航引导的支气管镜检查系统,医师可导航到肺内的期望位置以活检病变、分期淋巴结、插入标志物以引导放射治疗或引导近距离放射治疗导管。例如,可在生成EM坐标系与模型坐标系之间的映射的规程开始时执行配准。因此,由于器械在支气管镜检查期间被跟踪,器械在模型坐标系中的方位基于来自EM传感器的方位数据变得在名义上是已知的。
图16A示出了实现所公开的导航系统和技术的一个或多个方面的示例性操作环境100。操作环境100包括患者101,支撑患者101的平台102,引导器械115的移动的外科或医疗机器人系统110,用于控制机器人系统110的操作的命令中心105,EM控制器135,EM场发生器120以及EM传感器125、130。图16A还示出了患者101体内的腔网络140的区域的轮廓,该轮廓更详细地在图16B中示出。
系统110可包括用于定位器械115并且引导该器械移动穿过患者101的腔网络140的一个或多个机器人臂。命令中心105可通信地耦接到机器人系统110,以用于接收方位数据和/或提供来自用户的控制信号。如本文所用,“通信地耦接”是指任何有线和/或无线数据传输介质,这些介质包括但不限于无线广域网(WWAN)(例如,一个或多个蜂窝网络)、无线局域网(WLAN)(例如,被配置用于一个或多个标准,诸如IEEE 802.11(Wi-Fi))、蓝牙、数据传输电缆等。机器人系统110可以是上文关于图1-图15所述的系统中的任一个系统。相对于图16C更详细地讨论了系统110的实施方案,并且相对于图17更详细地讨论了命令中心105。
器械115可以是管状且柔性的外科器械,该外科器械被插入患者的解剖结构中以捕获解剖结构(例如,身体组织)的图像,并且提供用于将其他医疗器械插入目标组织部位的工作通道。如上所述,器械115可以是规程特定的内窥镜,例如支气管镜、胃镜或输尿管镜,或者可以是腹腔镜或血管可操纵导管。器械115可在其远侧端部处包括一个或多个成像装置(例如,相机或其他类型的光学传感器)。成像装置可包括一个或多个光学部件,诸如光纤、纤维阵列、光敏衬底和/或透镜。光学部件与器械115的末端一起移动,使得器械115的末端的移动导致由成像装置捕获的图像的视场的对应变化。器械115的远侧端部可被设置有一个或多个EM传感器125,以用于跟踪远侧端部在围绕腔网络140生成的EM场内的方位。下文参考图18进一步描述了器械115的远侧端部。
EM控制器135可控制EM场发生器120以产生变化的EM场。EM场可以是时间变化和/或空间变化的,这取决于实施方案。在一些实施方案中,EM场发生器120可以是EM场发生板。所公开的患者导航系统的一些实施方案可使用定位在患者与支撑患者的平台102之间的EM场发生器板,并且EM场发生器板可结合薄屏障,该薄屏障使由位于其下方的导电或磁性材料引起的任何跟踪失真最小化。在其他实施方案中,EM场发生器板可被安装在机器人臂上,例如类似于机器人系统110中所示的那些,其可在患者周围提供灵活的设置选项。
图16B示出了可在图16A的操作环境100中导航的示例性腔网络140。腔网络140包括患者101的气道150的分支结构,通向主隆突156(通常为在支气管镜检查导航期间遇到的第一分叉)的气管154,以及可如本文所述进入以便于诊断和/或治疗的结节(或病变)155。如图所示,结节155位于气道150的外围处。器械115可包括具有第一直径的护套141,并且因此护套141的远侧端部可能不能通过较小直径的气道定位在结节155周围。因此,镜145从器械115的工作通道延伸并跨过到结节155的剩余距离。镜145可具有腔,器械例如活检针、细胞检查用刷和/或组织取样钳可穿过该腔传递到结节155的目标组织部位。在此类具体实施中,护套141的远侧端部和镜145的远侧端部两者均可被设置有用于跟踪其在气道150内的相应方位的EM传感器。
在一些实施方案中,如本文所述的3D腔网络模型的2D显示或3D模型的横截面可类似于图16B。所估计的方位信息可叠加在这样的表示上。
图16C示出了机器人系统110的用于引导器械移动穿过图16B的腔网络140的示例性机器人臂175。在一些实施方案中,机器人臂175可包括上文描述的机器人臂12、39,并且耦接到基部180,在各种实施方案中,该基部可包括推车基部15、患者平台38的柱37、或基于天花板的安装件。如上所述,机器人臂175包括在接头165处耦接的多个臂段170,这为机器人臂175提供多个自由度。
机器人臂175可例如使用机构变换器接口(MCI)160耦接到器械操纵器190,例如上述器械操纵器62。可移除器械操纵器190并且替换成不同类型的器械操纵器,例如,被配置成操纵内窥镜的第一类型的器械操纵器或被配置成操纵腹腔镜的第二类型的器械操纵器。MCI 160包括用于将气动压力、电功率、电信号和光信号从机器人臂175传送到器械操纵器190的连接器。MCI 160可以是固定螺钉或基板连接器。器械操纵器190使用包括直接驱动、谐波驱动、齿轮驱动、皮带和滑轮、磁驱动等的技术操纵器械,例如器械115。MCI 160可基于器械操纵器190的类型互换,并且可针对某种类型的外科规程进行定制。机器人臂175可包括接头水平扭矩感测和在远侧端部处的腕部。
机器人系统110的机器人臂175可使用如上所述的腱来操纵器械115以使器械115的末端偏转。器械115可响应于由细长移动构件施加的力而表现出非线性行为。非线性行为可基于器械115的刚度和可压缩性,以及不同细长移动构件之间的松弛度或刚度的可变性。
基部180可被定位成使得机器人臂175能够进入以对患者执行外科规程或辅助外科规程,而用户诸如医师可根据命令控制台的舒适度来控制机器人系统110。基部180可通信地耦接到图16A所示的命令控制台105。
基部180可包括电源182、气动压力装置186以及控制和传感器电子器件184(包括诸如中央处理单元、数据总线、控制电路和存储器的部件)以及诸如马达的相关致动器以使机器人臂175移动。电子器件184可实现本文所述的导航控制技术。基部180中的电子器件184还可处理和传输从命令控制台传送的控制信号。在一些实施方案中,基部180包括用以运输机器人系统110的轮188以及用于轮188的轮锁/制动器(未示出)。机器人系统110的移动性帮助适应外科手术室中的空间约束以及有利于外科设备的适当定位和移动。此外,移动性允许将机器人臂175配置成使得机器人臂175不妨碍患者、医师、麻醉师或任何其他设备。在规程期间,用户可使用控制装置(例如,命令控制台)来控制机器人臂175。
图17示出了可用作例如示例性操作环境100中的命令控制台105的示例性命令控制台200。命令控制台200可包括控制台基部201、一个或多个显示器202(例如,监视器)以及一个或多个控制模块(例如,键盘203和操纵杆204)。在一些实施方案中,命令控制台200功能中的一个或多个功能可集成到机器人系统110的基部180或通信地耦接到机器人系统110的另一个系统中。用户205(例如,医师)使用命令控制台200从人体工程学方位远程控制外科机器人系统110。
控制台基部201可包括中央处理单元、存储器单元、数据总线和相关联的数据通信端口,它们负责解释和处理信号诸如相机影像并且跟踪例如来自图16A-图16C所示的器械115的传感器数据。在一些实施方案中,控制台基部201和基部180两者均执行信号处理以实现负载平衡。控制台基部201还可处理由用户205通过控制模块203和204提供的命令和指令。除了图17所示的键盘203和操纵杆204之外,控制模块还可包括其他装置,例如计算机鼠标、触控板、轨迹球、控制盘、诸如手持式远程控制器之类的控制器,以及捕获手姿势和手指姿势的传感器(例如,运动传感器或相机)。控制器可包括映射或链接到器械的操作(例如,关节运动、驱动、水冲洗等)的一组用户输入(例如,按钮、操纵杆、定向垫等)。
显示器202可包括电子监视器(例如,LCD显示器、LED显示器或触敏显示器)、虚拟现实观看装置(例如,护目镜或眼镜)和/或其他显示装置。在一些实施方案中,显示模块202与控制模块集成,例如集成为具有触摸屏的平板装置。在一些实施方案中,显示器202中的一个显示器可显示患者的腔网络的3D模型和虚拟导航信息(例如,内窥镜的端部基于EM传感器方位在模型内的虚拟表示),而显示器202中的另一个显示器可显示从在器械115的端部处的相机或另一感测装置接收到的图像信息。在一些具体实施中,用户205可使用集成的显示器202和控制模块来查看数据并且将命令输入到系统110。显示器202可使用立体装置(例如,面罩或护目镜)显示3D图像的2D渲染和/或3D图像。3D图像提供“内视图”(即,内窥镜视图),它是示出患者的解剖结构的计算机3D模型。“内视图”提供患者内部的虚拟环境和器械115在患者体内的预期位置。用户205将“内视图”模型与由相机捕获的实际图像进行比较,以帮助在精神上取向并且确认器械115在患者体内处于正确(或大致正确)的位置。“内视图”提供关于器械115的远侧端部周围的解剖结构的信息,例如患者的气道、循环血管或者小肠或结肠的形状。显示模块202可同时显示器械115的远侧端部周围的解剖结构的3D模型和CT扫描。此外,显示模块202可将器械115的已经确定的导航路径叠加在3D模型和CT扫描上。
在一些实施方案中,器械115的模型与3D模型一起显示以帮助指示外科规程的状态。例如,CT扫描识别可能需要进行活检的解剖结构中的病变。在操作期间,显示模块202可示出对应于器械115的当前位置的由器械115捕获的参考图像。显示模块202可根据用户设置和特定外科手术来自动显示器械115的模型的不同视图。例如,显示模块202示出在导航步骤期间在器械115接近患者的操作区域时的器械115的顶部荧光镜视图。
图18示出了如本文所述的具有成像和EM感测能力的示例性器械(例如,图16A-图16C的器械115)的远侧端部300。在图18中,器械的远侧端部300包括成像装置315、照明源310和EM传感器线圈305的端部。远侧端部300还包括到内窥镜的工作通道320的开口,外科器械(诸如活检针、细胞检查用刷和钳)可沿着内窥镜轴插入穿过该开口,从而允许进入内窥镜末端附近的区域。
位于远侧端部300上的EM线圈305可与EM跟踪系统一起使用,以在内窥镜的远侧端部300设置在解剖系统内时检测该远侧端部的方位和取向。在一些实施方案中,线圈305可成角度以沿着不同轴线提供对EM场的灵敏度,从而赋予所公开的导航系统测量全部6个自由度的能力:三个方位和三个角度。在其他实施方案中,仅单个线圈可设置在远侧端部300上或该远侧端部内,其中其轴线沿着器械的内窥镜轴取向。由于这样的系统的旋转对称性,它对围绕其轴线滚动不灵敏,因此在这样的具体实施中可仅检测到5个自由度。
B.用于位置传感器配准的技术
如上文所讨论的,位置传感器可用于跟踪器械的一部分(例如,器械的远侧端部)相对于患者的解剖结构的模型的位置,在医疗规程期间将器械驱动穿过该模型。应当理解,可以基于术前测量生成模型,并且位置传感器可以基于独立坐标系起作用。为了使用位置传感器准确地确定器械的位置,将位置传感器坐标系配准到模型坐标系,这提供了可被应用于来自位置传感器的测量以到达模型坐标系内的对应方位的变换。图17示出了可用作例如示例性操作环境100中的命令控制台105的示例性命令控制台200。命令控制台200可包括控制台基部201、一个或多个显示器202(例如,监视器)以及一个或多个控制模块(例如,键盘203和操纵杆204)。在一些实施方案中,命令控制台200功能中的一个或多个功能可集成到机器人系统110的基部180或通信地耦接到机器人系统110的另一个系统中。用户205(例如,医师)使用命令控制台200从人体工程学方位远程控制外科机器人系统110。
在某些具体实施中,位置传感器坐标系可基于当器械在患者解剖结构内被驱动时所获取的位置传感器数据而被配准到模型坐标系。将位置传感器坐标系配准到解剖结构的模型的坐标系所需的数据的量和类型可取决于给定解剖结构的形状。例如,用于将位置传感器坐标系配准到模型坐标系的一种技术涉及维持从位置传感器接收的数据的历史,并且基于解剖结构的模型将由位置数据历史形成的形状与器械可沿着其行进的候选路径匹配。对于具有一定量的不对称性的解剖结构,该技术可更成功地找到位置传感器坐标系与模型坐标系之间的配准。
图19示出了根据本公开的各方面的其中可执行位置传感器配准的示例性腔网络。在图19的实施方案中,所示腔网络400对应于患者的气道并且包括第一代气道405(例如,气管),该第一代气道在主隆突410处分支成两个第二代气道415和420(例如,主支气管)。还示出了目标425(例如,腔网络400内的病变或结节),系统在医疗规程期间可将器械驱动到该目标。目标路径430提供计划的路线,器械可沿着该路线被驱动以到达目标425。根据该实施方案,系统可基于腔网络400的术前扫描模型和目标425的位置自动生成目标路径425。在其他实施方案中,目标路径425可由用户在术前计划期间选择。系统可在显示器上显示目标路径430相对于模型的图示,以向用户提供驱动器械到达目标425的方向的指示。在某些实施方案中,目标路径430可仅包括到目标425的直接路径,该直接路径不会横穿腔网络的相同部分多于一次(即,横穿目标路径425不涉及沿着腔网络的段向下推进和沿着相同段向后回缩器械)。
应当理解,由第二代分支415和420限定的气道可以不是对称的,而是具有不同长度并且与第一代气道405形成不同的角度。在根据本公开的某些配准技术中,所谓的对侧配准利用分支415和420之间的这种不对称性来改善器械配准。实施方案可通过沿着对侧路线435驱动器械来利用不对称性,这可包括将器械驱动到与目标路径430上的气道对侧的第二代气道415中,回缩回到第一代气道405,然后驱动到路径430上的第二代气道。如下文所讨论的,实施方案可另外包括促进对侧配准的特征,诸如自动检测对侧分支415以及自动确定器械沿着对侧分支415横穿的距离何时是足够的。
为了更好地解释对侧路线435的使用,可将在配准过程期间由从位置传感器输出的数据限定的路线或迹线(包括对侧路线435)与由腔网络400的模型限定的各种形状进行比较。由于由腔网络400形成的不对称形状,在配准过程期间由位置传感器数据限定的路线可唯一地对应于腔网络400的模型的单个部分,即,由第一代气道405和第二代气道415和420中的每一者限定的形状。因此,位置传感器坐标系与模型坐标系之间的配准可基于在配准过程期间由位置传感器数据限定的路线或迹线(例如,对侧路线435)与由第一代气道405和第二代气道415和420中的每一者限定的形状之间的变换来限定。
虽然图19提供了患者气道的示例作为腔网络的实施方案,但是本公开的各方面也可应用于用于导航其他腔网络(并且具体地是至少部分不对称的腔网络)的位置传感器的配准。例如,本公开的各方面可应用于胃肠网络、泌尿道、血管网络等。因此,本公开的各方面涉及基于在腔网络内沿着不对称路线的至少一部分驱动器械时接收的位置数据对位置传感器的配准。
图20A是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于对侧配准位置传感器坐标系的示例性方法的流程图。应当理解,图20A所示的方法500的步骤可由外科机器人系统的处理器执行。为了方便起见,方法500被描述为由系统的处理器执行。当与方法500的各个步骤的描述相关时,将参考图19所示的腔网络400来描述以下方法500的一个实施方案。
处理器可被包括作为系统的一部分,该系统包括具有一组一个或多个位置传感器的器械。该一组位置传感器可被配置成生成指示该一组位置传感器在位置传感器坐标系中的方位的位置数据。位置传感器可位于器械的远侧端部处或附近(例如,参见图18),并且因此,位置数据可指示器械的远侧端部的位置。系统还可包括一组器械操纵器,该一组器械操纵器被配置成控制器械的远侧端部的移动;以及至少一个计算机可读存储器,该至少一个计算机可读存储器与处理器通信并且在其上存储有患者的腔网络的模型。模型可包括模型坐标系内的目标和到目标的路径。存储器还可具有存储在其上的计算机可执行指令以致使一组处理器执行方法500。
方法500在框501处开始。在框505处,处理器向一组器械操纵器提供第一组命令以沿着腔网络的第一分支(例如,对侧分支415)驱动器械。在一些实施方案中,可基于从一组一个或多个用户输入装置接收的用户输入来生成第一组命令。因此,处理器可致使用户指令被提供给用户,该用户指令包括遵循与配准过程相关联的一组移动(例如,沿着对侧配准路线435的第一部分驱动器械)的指令。系统然后可接收对应于用户指令的用户输入,并且生成用于器械沿着第一分支的移动的第一组命令。如图19所示,第一分支415位于到目标430的目标路径430之外。因此,第一组命令可致使器械操纵器沿对侧分支415向下沿着对侧配准路线435的第一部分驱动器械。
在框510处,处理器在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数。配准参数可以是可由系统跟踪并且用于确定是否已经由系统收集足够数据以在位置传感器坐标系与模型坐标系之间执行配准的任何数据。在框515处,处理器确定该一组配准参数满足配准标准。满足配准标准的配准参数可指示器械沿着对侧分支415行进足够距离,并且配准过程可以以器械回缩回到目标路径430而继续。以下结合图20B提供了用于跟踪配准参数并确定配准参数是否满足配准标准的更详细的实施方案。
在框520处,处理器向一组器械操纵器提供第二组命令以将器械返回到目标路径430并且沿着第二分支(例如,侧向分支420)驱动器械。如图19所示,分支420沿着目标路径430定位到目标425。处理器可沿着对侧配准路线435的剩余部分驱动器械,从而继续沿侧向分支420向下。
在框525处,处理器基于在沿着第一分支和第二分支(例如,沿着对侧配准路线435)驱动器械期间从一组位置传感器接收的位置数据来确定位置传感器坐标系与模型坐标系之间的配准。通过在框515中确认配准参数满足配准标准,然后提供将器械回缩回到侧向分支420的命令,处理器可确保收集足够的位置数据以确定配准。方法500在框530处结束。
在某些实施方案中,位置传感器坐标系与模型坐标系之间的配准可进一步基于在步骤505中引用的第一组命令和来自步骤520的第二组命令。也就是说,第一组命令和第二组命令可以是提供给器械操纵器以控制器械的移动的机器人数据。由于第一组命令和第二组命令用于控制器械的移动,因此处理器可能能够基于第一组命令和第二组命令确定器械在移动时的位置。因此,处理器可能能够基于用于驱动器械的机器人数据来确定器械的远侧端部相对于模型的位置。作为示例,如果器械的远侧端部位于隆突处或附近(参见图19所示的隆突410)并且被定位成向下驱动第一分支(例如,对侧分支415),则在向器械提供插入命令之后,处理器可确定器械的远侧端部已插入第一分支达到插入命令中所指示的量。
处理器可被进一步配置成基于从一组一个或多个用户输入装置接收的用户输入来生成提供给器械操纵器的第一组命令和第二组命令。因此,器械的驱动可基于由系统接收的用户输入手动执行。
如上文所讨论的,配准可包括可将数据从位置传感器坐标系映射到模型坐标系的变换。变换可包括可应用于位置传感器数据的平移和/或旋转。为了帮助确定将数据从位置传感器坐标系正确地映射到模型坐标系的配准,处理器可识别两个坐标系中的每个坐标系中的已知位置,该已知位置可用作位置传感器坐标系与模型坐标系之间的锚。参考图19,可从腔网络的模型自动识别隆突410,并且用户可容易地将器械导航到隆突410并向处理器提供指示隆突410的位置的反馈。
在某些实施方案中,系统还可生成引导指令以确定在位置传感器坐标系和模型坐标系中的每一者中的已知位置处的锚点。引导指令可包括用户驱动器械的远侧端部以接触隆突410并且然后在接触隆突410之后回缩器械的指令。基于用户输入,处理器可提供将器械驱动到隆突410并在到达隆突410之后回缩器械的命令。因此,通过识别正好在回缩之前的器械的位置,处理器可确定位置传感器坐标系内的所识别位置对应于隆突410的位置。然后可将隆突410在两个坐标系中的每个坐标系中的位置用作一条数据,以确定将位置传感器坐标系映射到模型坐标系的变换。
在另一示例性实施方案中,处理器可使用包括在器械的远侧端部上的相机确定器械相对于模型的位置,而不是要求用户通过回缩器械来指示隆突410的位置。用户可使用由相机捕获并且提供给显示器的图像来导航通过腔网络。在一个实施方案中,由相机获得的图像可被实时显示给用户。处理器可被配置成基于对从相机接收的图像的分析来确定器械的远侧端部的方位。可以使用可确定腔网络的内部的特征的任何图像处理技术来确定器械的远侧端部相对于模型的方位。处理器可进一步基于器械的远侧端部的所确定的方位来确定器械的远侧端部在距第一位置(例如,隆突410)的阈值距离内。
图20B是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于确定是否已经接收到足够的位置数据以促进对侧配准的示例性方法的流程图。应当理解,图20B所示的方法550的步骤可由外科机器人系统的处理器执行。为了方便起见,方法550被描述为由系统的处理器执行。方法550的步骤可作为图20A的框510和515的具体实施来执行。
方法550在框551处开始。在框555处,处理器接收原始位置数据和状态数据。如本文所用,“原始位置数据”可以是指指示位置传感器坐标系内的位置的位置数据。因此,“原始位置数据”可以是表示器械坐标框架而不是模型坐标框架内的位置的位置数据。在执行配准过程和确定位置传感器坐标系与模型坐标系之间的配准之前,处理器不能将位置传感器数据映射到模型坐标系。因此,应当理解,在完成配准过程之前接收的位置数据是未配准位置数据或原始位置数据。
状态数据可以是指由处理器产生的指示器械在模型内的位置的数据。例如,图15所示的定位系统90可用于产生位置数据96(也称为状态数据),其可用于方法500和550中。状态数据可包括深度信息,诸如器械在给定段中的当前深度或解剖模型内的插入深度。状态数据还可包括器械的远侧端部在模型坐标框架中的取向。在某些实施方案中,处理器可在图20A所示的整个配准过程500中接收原始位置数据和状态数据。
在框560处,处理器可存储在配准过程(诸如经由方法500执行的配准过程)期间收集的位置数据和状态数据。配准过程可包括器械的可与腔网络的形状有关的一组经编排的移动。该一组移动还可基于到模型内的目标425的限定目标路径430。配准过程可涉及向一组器械操纵器提供第一组命令以沿着腔网络的第一分支驱动器械,其中第一分支在对侧分支415上,并且因此在到目标425的目标路径430之外。配准过程还可涉及提供使器械回到到目标部位425的目标路径430并且沿着该目标路径继续的命令。一组经编排的移动可包括沿着由对侧配准路线435限定的路径驱动器械的远侧端部所需的一组命令。处理器可在沿着第一分支驱动器械期间跟踪一组一个或多个配准参数,诸如深度信息。
在框565处,处理器可基于被跟踪的配准参数确定是否已经收集足够的位置传感器数据作为配准过程的对侧阶段的一部分。在一个实施方案中,处理器可使用配准参数,诸如深度信息(例如,器械的插入深度)来确定器械是否已经沿着对侧路线435的对侧分支415驱动足够的距离。在某些实施方案中,在满足一个配准标准之后,处理器可向一组器械操纵器提供第二组命令以将器械返回到目标路径430并且沿着第二分支朝向目标部位驱动器械。当器械沿着目标部位继续时,处理器可继续针对配准过程跟踪器械位置数据和状态数据。
通过确定器械是否已沿着对侧分支415驱动足够的距离,系统可能能够减少用户所需的输入量,从而减少用户错误的机会。例如,某些配准过程可能需要用户驱动到多个限定位置,并向系统提供指示器械已被驱动到限定位置的输入。通过消除这种类型的所需用户输入,本公开的方面可提高配准过程的容易度,并减少用户错误的潜在来源。
在框570处,处理器可使用在配准过程期间跟踪的位置数据和状态数据(例如,沿着对侧路线435和目标路径430跟踪的位置数据和状态数据)将位置坐标系配准到模型坐标系。如上文所讨论的,这可包括将器械所采取的使用位置传感器跟踪的路径的形状与由模型的骨骼结构限定的腔网络的形状相匹配。在某些实施方案中,选择与所跟踪的路径具有最低差异的模型的形状并且将其用于确定位置传感器坐标系与模型坐标系之间的配准。应当理解,由于所跟踪的路径包括对侧分支415,因此实施方案可减小所跟踪的路径与模型中的其他候选路径相匹配的可能性。方法550在框575处结束。
在确定配准时,处理器可被进一步配置成匹配由位置传感器数据和机器人数据的历史限定的形状。因此,在某些具体实施中,处理器可被配置成当沿着对侧配准路线驱动器械时生成表示器械的远侧端部相对于位置坐标系的位置的一组位置数据点。处理器可进一步在沿着对侧配准路线驱动器械时生成表示器械的远侧端部相对于模型坐标系的位置的一组模型点。处理器可基于机器人数据的历史和模型来生成模型点。处理器可使用这两组点来确定位置坐标系和模型坐标系之间的配准,这基于确定将位置坐标系中的一组位置数据点映射到模型坐标系中的第二组模型点的配准。
图21是示出根据本公开的各方面的相对于腔网络的模型的位置数据的图。在图21的示例中,图600包括腔网络的术前扫描的模型602,其还可包括由沿着由模型602限定的气道中的每个气道的中点或中心点限定的骨架605。具体地,骨架605包括一系列段,每个段位于腔网络中对应腔的中点处。还示出了地面真值数据610,其表示在相对于解剖结构的对侧配准过程期间器械远端的实际或真实位置。图21所示的地面真值数据610可由测试工具生成,该测试工具在突出对侧配准过程的准确性的规程期间通常不使用。在所示示例中,目标625可位于图的左侧。因此,在配准规程期间,可将器械从第一代气道630驱动到对侧第二代气道635中。此后,器械可回缩回到第一代气道630中并且推进到沿着到目标625的路径定位的侧向第二代气道640中。
系统还可跟踪表示器械沿模型605的骨架的位置的状态数据615。如上文所讨论的,处理器可基于从指示器械的远侧端部的位置的一个或多个不同数据源(例如,经由图15的定位模块95)接收的数据来确定状态数据。一旦在配准过程期间接收到足够的数据,就可将配准变换应用于原始位置数据以生成配准位置数据620。如图21所示,配准位置数据620可紧密地跟踪地面真值数据610。在已配准位置数据之后,处理器可使用配准位置数据620作为确定状态数据615的输入。
图22是示出根据本公开的各方面的在不执行对侧配准过程的情况下位置数据的配准的示例的图。在该示例中,当不执行对侧配准过程(例如,器械未沿对侧分支向下驱动)时,原始位置数据705可基本上匹配模型内的两个不同候选路径710和715。也就是说,两个候选路径710和715中的每一者可具有类似的形状,使得原始位置数据705的旋转和/或平移可基本上匹配路径710和715。然而,由于两条路径710和715岔开,因此选择不正确的路径715用于配准可导致位置数据在被驱动经过两条路径710与715之间的岔口时提供器械的位置的不正确指示。相比之下,通过根据本公开的各方面执行对侧配准过程,可从一组候选配准中移除不正确的候选配准路径715,因为基于不正确的候选配准路径715的配准将不提供沿着由器械采取的对侧路线的形状的匹配(参见例如图21)。
如上文所讨论的,当第一分支和第二分支是不对称的(例如,第二代段)时,对侧配准规程可提供更准确且更稳健的配准。因此,在某些实施方案中,处理器可针对对侧配准规程选择腔网络的不对称分支。腔网络内的位置的这种选择还可减少对位置数据与模型之间的匹配的可能解决方案的数量,从而导致更稳健的配准规程。在支气管镜检查示例中,在沿着到目标的路径进行之前将器械驱动到对侧分支中可提供足够的原始位置数据以促进位置传感器到模型坐标系的配准。因此,在某些实施方案中,第一分支相对于目标位于腔网络的对侧侧面上。
C.位置传感器配准计划
本公开的各方面还涉及术前计划,其可涉及确定与位置传感器配准规程有关的指令和/或标准。图23是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于术前计划的示例性方法的流程图。根据本公开的各方面,术前计划的规程800可由外科机器人系统或其部件操作以用于术前计划。例如,用于术前计划的方法800的各方面可由命令控制台(诸如图17所示的命令控制台200)来执行,或者可由外科机器人系统的处理器(或一组处理器)来执行,该处理器可被包括作为命令控制台的一部分。为了方便起见,用于术前计划的方法被描述为由系统的处理器执行。在某些实施方案中,系统还可包括与一组处理器通信并且在其上存储有患者的腔网络的模型的至少一个计算机可读存储器。模型包括模型坐标系内的目标和到目标的路径。存储器还可存储计算机可执行指令以致使一组处理器执行方法800。
方法800在框801处开始。在框905处,处理器提供经由显示装置显示腔网络的指令。具体地,处理器可提供经由显示装置显示腔网络的指令。这可涉及例如处理器从存储器检索腔网络的模型并显示待由用户查看的模型。模型的显示可涉及显示例如基于腔网络的术前扫描生成的腔网络的3D模型。在其他实施方案中,模型的显示可涉及显示骨架和/或基于腔网络的术前扫描生成的更详细的分段图像(如图19、图21和图22所示)。
在框810处,处理器接收目标在模型坐标系内的位置的指示。例如,处理器可经由用户输入装置从用户接收要在其处执行医疗规程的至少一部分的模型的目标部分的指示。目标可以是例如肺内的期望位置以活检病变、分期淋巴结、插入标志物以引导放射治疗或引导近距离放射治疗导管。在其他实施方案中,系统可基于检测术前扫描中指示肿瘤的特征来自动地检测或以其他方式确定目标位置425。
在框815处,处理器识别腔网络中的第一分支(例如,位于腔网络的对侧侧面上的分支,诸如图19的对侧分支415)和第二分支(位于腔网络的侧向侧面上的分支,诸如图19的侧向分支420)。由于所识别的第一分支和第二分支相对于目标的位置分别位于腔网络的对侧侧面和侧向侧面上,因此第一分支可位于到目标的路径之外,并且第二分支可沿着到目标的路径定位。
在某些实施方案中,基于模型和所选择的目标,处理器可自动识别模型的可由器械横穿的某些段,以帮助位置传感器的配准。这可包括处理器将第一分支识别为位于腔网络的对侧侧面上的分支,并且将第二分支识别为位于腔网络的侧向侧面上的分支。在某些实施方案中,第一分支和第二分支可以是腔网络的第二代分支,诸如图19所示的分支415和420。处理器可被进一步配置成确定由第一分支和第二分支形成的形状在腔网络内是足够唯一的,使得当沿着由第二代分支限定的对侧配准路线驱动器械时,模型内没有其他形状将在对侧配准过程期间与器械所采取的路径匹配。可通过将第一分支和第二分支的形状与模型中的其他可能形状进行比较来执行该确定,以确定形状上是否存在任何可能的冲突。
如上文所讨论的,某些配准过程可要求用户将器械驱动到腔网络内的多个限定位置,并且当器械位于限定位置处时向系统提供指示。该技术还可要求用户在术前计划阶段期间识别所限定的位置。然而,由于处理器可自动识别可用于配准过程的对侧路线,因此可以减少在术前计划阶段期间用户的必要步骤。
在框820处,处理器生成用于沿着第一分支、从第一分支返回到路径以及沿着第二分支驱动器械的远侧端部的一组指令。因此,该一组指令可限定对侧配准路线,诸如图19的对侧配准路线435。引导指令可被存储在存储器中以在医疗规程期间提供给用户。在医疗规程期间,在根据指令驱动器械期间从一组一个或多个位置传感器接收的位置数据可促进位置数据的位置坐标系与模型坐标系之间的配准。配准可包括位置坐标系与模型坐标系之间的平移和旋转中的至少一者。在框825处,处理器确定在沿着第一分支驱动器械期间跟踪的一个或多个配准参数的配准标准。方法800在框830处结束。
配准标准可涉及将位置传感器坐标系配准到模型坐标系所需的位置数据的量。例如,标准可指定在器械可从第一分支返回到路径之前器械沿着对侧分支行进的所需距离。配准标准还可取决于患者的解剖结构的特定形状。例如,与其他患者相比,一些患者的气道在第一分支和第二分支之间形成的形状和角度之间可具有更大的差异。当第一分支和第二分支之间的差异更加明显时,器械可能不必沿第一分支向下行进太远以接收足够的数据以进行配准。在其他实施方案中,可基于阈值来设置配准标准,该阈值被确定为针对将执行的特定规程为大多数患者提供足够的位置数据以进行配准。
配准参数可包括器械到对侧分支中的插入深度。在该实施方案中,一组配准参数响应于到第一分支中的插入深度大于阈值插入深度而满足配准标准。例如,配准标准可包括在返回到路径上的第一代分支之前沿着对侧分支的至少50%驱动器械的指令。特定值可根据医疗规程中涉及的特定解剖结构和/或基于一般群体中的解剖结构形状的变化的分析而不同。
根据特定医疗规程,处理器还可确定第一分支和第二分支是否不对称。处理器可响应于确定第一分支和第二分支不对称而识别第一分支和第二分支。如上文所讨论的,对于不对称路径和/或不对称形状的腔网络,配准过程可以是更准确的。因此,处理器可针对要在其处执行配准过程的位置选择具有不对称形状的腔网络中的分叉。在某些实施方案中,诸如对于气道,可在其处执行配准过程的一个分支是从气管到主支气管的分支。因此,处理器可进一步响应于确定第一分支相对于目标位于腔网络的对侧侧面上而识别第一分支。
在某些实施方案中,一组指令包括将器械驱动到腔网络内的第一位置的指令。第一位置可以是用户在医疗规程期间可识别的位置,其可提供位置传感器坐标系和模型坐标系中的每一者内的已知位置。例如,在支气管镜检查规程期间,第一位置可对应于患者的隆突。可基于隆突在主支气管之间的分支处的位置来在模型内识别该隆突,并且用户可能能够在位置数据的配准之前驱动到隆突。在该实施方案中,第一分支和第二分支可对应于患者的主支气管。位置传感器坐标系与模型坐标系之间的配准可进一步基于当器械的远侧端部在距第一位置的阈值距离内时从一组位置传感器接收的位置数据。通过使用第一位置作为位置坐标系与模型坐标系之间的已知参考点,可以限制用于配准的排列的数量。另外,用户指令可包括在接触隆突之后回缩器械的指令。该回缩可被解释为隆突的方位的指示,该指示可用作配准规程期间的第一位置。
D.对位置传感器的基于权重的配准的介绍
如上文结合图15所述,用于定位医疗器械的远侧端部的某些技术可涉及组合来自不同传感器/源的输入以确定医疗器械的远侧端部的方位。这些输入可包括在器械的远侧端部处的位置传感器(例如,EM传感器)、在远侧端部处的图像传感器(例如,相机)和/或机器人插入数据(例如,机器人命令和运动学数据)。在一个示例中,三个算法模块(例如,基于EM的算法模块、基于机器人的算法模块和基于图像的算法模块)可将其相应的器械的远侧端部的位置的估计状态数据输出到传感器融合模块(例如,图15的定位模块95),该传感器融合模块组合来自三个算法模块的信息并产生导航框架的输出。在一些具体实施中,定位算法可提供关于医疗器械的远侧端部的当前方位的概率(例如,其可参考患者的腔网络的模型由段ID和对应段内的深度/插入来限定)。模型的一个示例是可基于腔网络的中心线生成的骨架。模型位置点可沿着骨架限定,使得医疗器械的远侧端部的方位的表示沿着对应腔的中心线/骨架。另外,分支预测算法的一些具体实施可提供关于医疗器械正在朝向当前腔的哪个子腔驱动的概率(例如,对于每个子腔,医疗器械可能进入对应腔的概率)。
在一些具体实施中,位置传感器配准算法用于计算传感器坐标系(例如,EM传感器空间)与模型坐标系(例如,CT/骨架空间)之间的变换。位置传感器定位算法模块和位置传感器分支预测算法模块中的每一者可确定医疗器械的远侧端部在模型坐标系中的配准姿态,该配准姿态可由位置传感器算法模块中的每个位置传感器算法模块使用以确定算法输出值(例如,医疗器械的远侧端部的当前方位和医疗器械可能进入子腔中的每个子腔的概率)。
图24是示出根据本公开的各方面的可由外科机器人系统或其部件操作以用于确定传感器坐标系与模型坐标系之间的配准的示例性方法900的流程图。应当理解,图24所示的方法900的步骤可由外科机器人系统的处理器执行。为了方便起见,方法900被描述为由系统的处理器执行。
处理器可被包括作为系统的一部分,该系统包括具有一组一个或多个位置传感器的器械。该一组位置传感器可被配置成生成指示该一组位置传感器在位置传感器坐标系中的方位的位置数据。位置传感器可位于器械的远侧端部处或附近(例如,参见图18),并且因此,位置数据可指示器械的远侧端部的位置。系统还可包括一组器械操纵器,该一组器械操纵器被配置成控制器械的远侧端部的移动;以及至少一个计算机可读存储器,该至少一个计算机可读存储器与处理器通信并且在其上存储有患者的腔网络的模型。模型可包括模型坐标系内的目标和到目标的路径。存储器还可具有存储在其上的计算机可执行指令以致使一组处理器执行方法900。
方法900可在框901处开始。在框902处,处理器接收来自一组位置传感器的位置数据,并且接收指示器械的远侧端部的当前状态的状态数据。在某些具体实施中,状态数据可由传感器融合模块(例如,图15的定位模块95)基于来自不同算法模块(例如,基于EM的算法模块、基于机器人的算法模块和基于图像的算法模块)的信息的组合来生成的。
在一些具体实施中,方法900可包括配准算法,该配准算法可用于计算刚性变换(例如,配准),该刚性变换表示位置传感器的传感器坐标系(例如,基于当位置传感器包括EM传感器时场发生器的方位)和模型坐标系之间的均匀变换。然后可使用变换来将医疗器械的远侧端部的任何姿态从位置传感器坐标系变换到模型坐标系。
在框904处,处理器执行对侧配准并且维持骨架方位历史(也称为模型方位历史)和位置传感器方位历史。例如,处理器可根据结合图20A和图20B描述的方法500和550来执行对侧配准。另外,处理器可通过存储状态数据来维持骨架方位历史,并且通过存储位置数据来维持位置传感器方位历史。在一些具体实施中,骨架方位历史和位置传感器方位历史可被格式化为表示器械的远侧端部随时间推移的方位的点云。
位置传感器历史点云和对应的模型历史点云可用作确定配准变换的输入。根据具体实施,可使用用于确定配准的不同技术。例如,可使用以下来确定配准:奇异值分解(SVD)技术,迭代最近点(ICP)技术,或可以确定两个坐标系之间的配准的任何其他技术。
在框906处,处理器确定是否已经满足预配准条件。在一些具体实施中,确定是否满足预配准条件可涉及确定是否已在骨架方位历史和位置传感器方位历史中的每一者中收集了足够的数据以进行配准。在一些具体实施中,处理器可响应于满足以下条件中的一个或多个条件而确定已经收集了足够的数据:器械定位在例如第二代段(或第三代段等)中,器械已被推进到第二代段中至少阈值距离(或以阈值速度推进到第二代段中),以及/或者骨架方位历史和位置传感器方位历史的大小(例如,数据点的数量)大于阈值大小(例如,骨架方位历史的数据的大小/量满足/超过第一阈值,位置传感器方位历史的数据的大小/量满足/超过第二阈值,并且/或者骨架方位历史和位置传感器方位历史的大小/量满足/超过第三阈值)。
在框908处,处理器基于骨架方位历史和位置传感器方位历史来确定初始配准。配准的确定可例如如结合图20A的框525和/或图20B的框570所描述来执行。使用所确定的配准,系统可通过将配准应用于位置传感器数据来确定医疗器械的远侧端部的配准姿态。
在框910处,处理器确定将来自位置传感器历史点云的附加点包括到配准中是否导致大于阈值误差的误差。当器械被推进通过腔网络时,可针对位置传感器历史点云内的每个点执行框910中的确定。响应于误差大于阈值误差,方法900涉及在框912处锁定或保持配准,并且在框916处继续该规程。
然而,响应于误差小于或等于阈值误差,方法900涉及基于来自位置传感器历史点云的附加点在框914处更新配准(或重新确定配准)。在一些具体实施中,处理器可以使用来自位置传感器历史点云的点来更新配准,这导致框910中的误差小于或等于阈值误差。
例如,一些用户驱动行为或趋势,诸如紧贴腔的壁(例如,使医疗器械朝向壁偏斜、接触壁、驱动医疗器械远离腔通道的中心线或从腔通道的中心线移除、和/或以其他方式沿着与腔通道的中心线偏移的路径驱动医疗器械)或医疗器械的弯曲可导致配准的位置传感器点与模型上的对应点之间的一定水平的不匹配。图25示出了根据本公开的各方面的其中传感器位置点和模型位置点叠加在模型坐标系中的模型上的示例。具体地,在图25的图像中,相对于模型(例如,骨架)1006示出了传感器位置点1002和模型位置点1004。所示的传感器位置点1002基于在框908中确定的初始配准变换到模型坐标系中,在一些示例中,该初始配准可在框902中的对侧配准之后完成。
为了提高配准的准确性和对次优驱动行为(诸如紧贴气道壁)的稳健性,本公开的某些方面涉及在完成对侧步骤并计算初始配准之后使用基于权重的配准。因此,当框912中确定的误差大于阈值误差时,方法900涉及在框914处,处理器更新初始配准。在一些具体实施中,更新初始配准涉及使用下面进一步详细描述的基于权重的配准技术。如下文所讨论的,基于权重的配准可涉及为在配准期间使用的位置传感器点和模型点确定和分配不同权重。在框916,处理器使用由方法900确定的配准继续该规程。方法900可在框918处结束。
E.用于确定在配准中使用的权重的示例性技术
在某些具体实施中,可通过以下方式来修改初始配准(例如,在方法900的框914处):确定不同权重和并且将不同权重分配到对应的传感器位置点和模型位置点,并且使用这些权重重新确定配准。
在某些具体实施中,可基于以下各项之间的距离来计算权重:i)在确定初始配准之后变换到模型坐标系中的位置传感器点1002,以及ii)模型位置点1004。图25示出了变换的位置传感器点1002与模型位置点1004之间的距离。
在一个或多个具体实施中,可将权重中的每个权重设置为0和1之间的值。处理器可使用许多不同技术来确定权重。在一个具体实施中,处理器可与位置传感器点1002与模型位置点1004之间的距离成比例地确定或分配权重。例如,可使用以下等式来确定第n权重:
Figure BDA0003523593960000421
其中在一些具体实施中,a可以是常数。在其他具体实施中,a可与对应腔(例如,第n个点所位于的气管或气道)的半径相关。图26示出了用于确定与距离成比例的权重的一个示例。具体地,图26包括变换的传感器位置点与模型位置点(有时称为骨架点)之间的距离的第一曲线1102和对应权重的第二曲线1104。
在另一具体实施中,权重可以是二进制的(例如,0或1)。例如,处理器可基于距离与距离阈值(例如,5mm)的比较来确定权重,其中如果传感器位置点与模型位置点之间的距离大于或等于0.5mm或另一距离阈值,则将加权因子0分配给给定点(例如,传感器位置点),并且其中如果传感器位置点与模型位置点之间的距离小于距离阈值,则将加权因子1分配给给定点。距离阈值对应于传感器位置点与对应模型位置点之间的差异的容差水平,并且可基于临床要求和/或用户偏好来设置为差异被认为是可接受的两个水平。图27示出了用于基于距离确定二进制权重的另一示例。具体地,图27包括变换的传感器位置点与模型位置点之间的距离的第一曲线1202和对应权重的第二曲线1204。
图28示出了根据本公开的各方面的用于基于距离确定二进制权重的又一示例。例如,处理器可通过基于距离对每个腔中的点进行分类来分配权重。每个腔中具有最小距离的一定百分比的点可被分配为1的权重,而剩余点可被分配为0的权重。该具体实施在图28中示出,其中第一组点1302具有为1的权重,并且第二组点1304具有为0的权重。
在一些具体实施中,在确定了初始配准之后,处理器可针对对侧配准点基于距离来计算权重一次。这些权重可被应用于随后配准循环中的相同点(参见图24),而处理器可为对于进一步的代(例如,第二代和更多代)中的配准累积的剩余点分配为1的权重。
在其他具体实施中,处理器可在医疗器械的远侧端部被推进到进一步的代中并且更新配准时重复地或定期地确定和更新权重,而不是仅针对对侧点确定权重一次。处理器也可确定在进一步的代中累积的配准点的权重。处理器可维持针对存储器中的较早点确定的权重/距离的历史,并且设置对多少权重可由于稍后在规程中计算的配准而改变的约束。
在一些具体实施中,当医疗器械被推进到腔网络中时,处理器可自适应地增加与腔的直径成比例的权重。对于初始代中的点(其中给定腔的直径较大),权重可能较小,并且对于其中给定腔的直径较小的进一步的代中的点,权重可能较大,因为镜在较小直径腔中偏离中心线路径的可能性较小。
在某些具体实施中,处理器可通过使用视觉算法并通过跟踪从由器械的相机捕获的图像可见的气道轮廓来评估中心线驱动的度量来确定权重,而不是使用初始配准和变换的传感器位置点到模型的中心线的距离来确定权重。处理器还可使用机器人关节运动数据作为用于识别医疗器械的中心线驱动的另一输入,以便基于位置传感器点距中心线的距离来确定权重。例如,可为其中用户正在驱动医疗器械的远侧端部更靠近中心线的对应点分配较大权重,并且可为其中医疗器械的远侧端部不面向中心线(更靠近腔壁紧贴)的点分配较小权重。
本公开的各方面可提高与在整个规程中连续地将传感器位置点配准到模型点相关的配准算法的稳健性。例如,通过对用于确定配准的位置传感器点进行加权,处理器可以通过对更靠近骨架模型定位的点进行更重的加权来提高配准的准确性,同时在确定或执行配准时减小更远离骨架的点的影响或效果。
本公开的各方面还可适用于用于配准两组3D点云(例如,EM点和骨架模型点)的其他技术,包括基于形状感测和/或其他基于传感器的解决方案。
3.实施系统和术语
本文公开的具体实施提供了用于将位置传感器配准到模型坐标系的系统、方法和设备。
应当指出的是,如本文所用,术语“耦接”、“耦合”、“联接”或词语耦合的其他变型形式可以指示间接连接或直接连接。例如,如果第一部件“耦接”到第二部件,则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。
本文所述的功能可作为一个或多个指令存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制,这样的介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置,或可以用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当指出的是,计算机可读介质可为有形的和非暂态的。如本文所用,术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下,方法步骤和/或动作可彼此互换。换句话讲,除非正在描述的方法的正确操作需要步骤或动作的特定顺序,否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
如本文所用,术语“多个”表示两个或更多个。例如,多个部件指示两个或更多个部件。术语“确定”涵盖多种动作,并且因此,“确定”可包括计算、运算、处理、导出、调查、查找(例如,在表格、数据库或另一种数据结构中查找)、查明等。另外,“确定”可包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。另外,“确定”可包括解析、选择、挑选、建立等。
除非另有明确指明,否则短语“基于”并不意味着“仅基于”。换句话讲,短语“基于”描述“仅基于”和“至少基于”两者。
提供对所公开的具体实施的前述描述以使得本领域的任何技术人员能够制作或使用本发明。对这些具体实施的各种修改对于本领域的技术人员而言将是显而易见的,并且在不脱离本发明的范围的情况下,本文所定义的一般原理可应用于其他具体实施。例如,应当理解,本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节,诸如紧固、安装、耦接或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。因此,本发明并非旨在限于本文所示的具体实施,而是被赋予符合本文所公开的原理和新颖特征的最广范围。

Claims (30)

1.一种系统,包括:
器械,所述器械包括一组一个或多个位置传感器,所述位置传感器被配置成生成指示所述器械的远侧端部在传感器坐标系中的方位的位置数据;
一组一个或多个处理器;以及
至少一个计算机可读存储器,所述至少一个计算机可读存储器与所述一组一个或多个处理器通信并且在其上存储有患者的腔网络相对于模型坐标系的模型,所述存储器进一步在其上存储有计算机可执行指令以致使所述一个或多个处理器:
基于由所述位置传感器生成的所述位置数据来生成所述传感器坐标系中的一组传感器位置点,
确定所述模型坐标系中的一组模型位置点,
基于所述一组传感器位置点和所述一组模型位置点来确定所述传感器坐标系与所述模型坐标系之间的初始配准,
确定对应于所述一组传感器位置点的一组权重值,并且
基于所述一组传感器位置点、所述一组模型位置点和所述一组权重值来确定所述传感器坐标系与所述模型坐标系之间的更新配准。
2.根据权利要求1所述的系统,其中:
所述模型包括由沿着所述腔网络的腔的中点限定的骨架,所述计算机可执行指令进一步致使所述一个或多个处理器:
使用所述初始配准将所述传感器位置点从所述传感器坐标系变换为所述模型坐标系,以及
确定所述模型坐标系中的所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的距离,并且
所述权重值的所述确定进一步基于所变换的传感器位置点与所述骨架之间的距离。
3.根据权利要求2所述的系统,其中,所述一组权重值是二进制的。
4.根据权利要求3所述的系统,其中,所述计算机可执行指令进一步致使所述一个或多个处理器:
将所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的每个距离与距离阈值进行比较,并且
基于所述比较为所变换的传感器位置点中的每个所变换的传感器位置点分配所述二进制权重值中的一个二进制权重值。
5.根据权利要求1所述的系统,其中:
所述模型还包括所述腔网络的所述腔的直径值,并且
所述权重值的所述确定进一步基于所述腔的所述直径值。
6.根据权利要求1所述的系统,其中:
所述器械还包括相机,所述相机被配置成捕获所述腔网络的内部的图像,
所述计算机可执行指令进一步致使所述一个或多个处理器针对所述传感器位置点中的每个传感器位置点,基于所捕获的图像来确定所述器械的所述远侧端部与腔的中心线之间的距离,所述器械的所述远侧端部位于所述腔中,并且
所述传感器位置点的所述权重值的所述确定进一步基于所述器械的所述远侧端部与所述腔的对应中心线之间的距离。
7.根据权利要求1所述的系统,其中:
所述模型包括由沿着所述腔网络的腔的中点限定的骨架,所述计算机可执行指令进一步致使所述一个或多个处理器:
对于给定腔基于从所述传感器位置点中的每个传感器位置点到所述骨架的距离对所述传感器位置点进行分类,并且
基于所分类的传感器位置点将所述权重分配给所述传感器位置点。
8.根据权利要求7所述的系统,其中,所述传感器位置点的所述分类包括:
将具有最小距离的限定百分比的所述传感器位置点分类成第一组,并且将剩余传感器位置点分类成第二组。
9.根据权利要求1所述的系统,其中:
所述一组权重值是二进制的,并且所述计算机可执行指令进一步致使所述一个或多个处理器:
为所述第一组中的所述传感器位置点中的每个传感器位置点分配权重值1,并且
为所述第二组中的所述传感器位置点中的每个传感器位置点分配权重值0。
10.根据权利要求1所述的系统,其中:
所述一组权重值是二进制的,
所述一组传感器位置点的子集对应于位于第二代腔中的所述器械的所述远侧端部,并且
所述一组传感器位置点的所述子集被分配的权重值为1。
11.根据权利要求1所述的系统,其中,所述计算机可执行指令进一步致使所述一个或多个处理器:
确定与第一个所述传感器位置点的所述初始配准相关联的误差;并且
响应于所述误差大于阈值误差,锁定所述初始配准。
12.根据权利要求11所述的系统,其中,响应于所述误差小于或等于所述阈值误差,所述更新配准的所述确定进一步基于第一传感器位置点。
13.一种确定传感器坐标系与模型坐标系之间的配准的方法,所述方法包括:
基于由器械的位置传感器生成的位置数据来生成所述传感器坐标系中的一组传感器位置点,所述位置数据指示所述器械的远侧端部在所述传感器坐标系中的方位;
确定所述模型坐标系中的一组模型位置点,
基于所述一组传感器位置点和所述一组模型位置点来确定所述传感器坐标系与所述模型坐标系之间的初始配准;
确定对应于所述一组传感器位置点的一组权重值;以及
基于所述一组传感器位置点、所述一组模型位置点和所述一组权重值来确定所述传感器坐标系与所述模型坐标系之间的更新配准。
14.根据权利要求13所述的方法,其中:
所述模型包括由沿着所述腔网络的腔的中点限定的骨架,所述方法还包括:
使用所述初始配准将所述传感器位置点从所述传感器坐标系变换为所述模型坐标系;以及
确定所述模型坐标系中的所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的距离,并且
所述权重值的所述确定进一步基于所变换的传感器位置点与所述骨架之间的距离。
15.根据权利要求14所述的方法,其中,所述一组权重值是二进制的。
16.根据权利要求15所述的方法,还包括:
将所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的每个距离与距离阈值进行比较,并且
基于所述比较为所变换的传感器位置点中的每个所变换的传感器位置点分配所述二进制权重值中的一个二进制权重值。
17.根据权利要求13所述的方法,其中:
所述模型还包括所述腔网络的所述腔的直径值,并且
所述权重值的所述确定进一步基于所述腔的所述直径值。
18.根据权利要求13所述的方法,其中:
所述器械还包括相机,所述相机被配置成捕获所述腔网络的内部的图像,
所述方法还包括:针对所述传感器位置点中的每个传感器位置点,基于所捕获的图像来确定所述器械的所述远侧端部与腔的中心线之间的距离,所述器械的所述远侧端部位于所述腔中,并且
所述传感器位置点的所述权重值的所述确定进一步基于所述器械的所述远侧端部与所述腔的对应中心线之间的距离。
19.根据权利要求13所述的方法,其中:
所述模型包括由沿着所述腔网络的腔的中点限定的骨架,所述方法还包括:
对于给定腔基于从所述传感器位置点中的每个传感器位置点到所述骨架的距离对所述传感器位置点进行分类,以及
基于所分类的传感器位置点将所述权重分配给所述传感器位置点。
20.根据权利要求19所述的方法,其中,所述传感器位置点的所述分类包括:
将具有最小距离的限定百分比的所述传感器位置点分类成第一组,并且将剩余传感器位置点分类成第二组。
21.根据权利要求20所述的方法,其中:
所述一组权重值是二进制的,并且
所述方法还包括:
为所述第一组中的所述传感器位置点分配为1的权重,并且为所述第二组中的所述传感器位置点分配为0的权重。
22.根据权利要求13所述的方法,其中:
所述一组权重值是二进制的,
所述一组传感器位置点的子集对应于位于第二代腔中的所述器械的所述远侧端部,并且
所述一组模型位置点的所述子集被分配的值为1。
23.根据权利要求13所述的方法,其中:
所述方法还包括:
确定与第一个所述传感器位置点的所述初始配准相关联的误差;以及
响应于所述误差大于阈值误差,锁定所述初始配准。
24.根据权利要求23所述的方法,其中,响应于所述误差小于或等于所述阈值误差,所述更新配准的所述确定进一步基于所述第一传感器位置点。
25.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质具有存储在其上的指令,所述指令在被执行时致使至少一个计算装置:
基于由器械的位置传感器生成的位置数据来生成所述传感器坐标系中的一组传感器位置点,所述位置数据指示所述器械的远侧端部在所述传感器坐标系中的方位;
确定所述模型坐标系中的一组模型位置点,
基于所述一组传感器位置点和所述一组模型位置点来确定所述传感器坐标系与所述模型坐标系之间的初始配准;
确定对应于所述一组传感器位置点的一组权重值,并且
基于所述一组传感器位置点、所述一组模型位置点和所述一组权重值来确定所述传感器坐标系与所述模型坐标系之间的更新配准。
26.根据权利要求25所述的非暂态计算机可读存储介质,其中:
所述模型包括由沿着所述腔网络的腔的中点限定的骨架,
所述非暂态计算机可读存储介质还具有存储在其上的指令,所述指令在被执行时致使所述至少一个计算装置:
使用所述初始配准将所述传感器位置点从所述传感器坐标系变换为所述模型坐标系;并且
确定所述模型坐标系中的所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的距离,并且
所述权重值的所述确定进一步基于所变换的传感器位置点与所述骨架之间的距离。
27.根据权利要求26所述的非暂态计算机可读存储介质,其中,所述一组权重值是二进制的。
28.根据权利要求27所述的非暂态计算机可读存储介质,还具有存储在其上的指令,所述指令在被执行时致使所述至少一个计算装置:
将所变换的传感器位置点中的每个所变换的传感器位置点与所述骨架之间的每个距离与距离阈值进行比较,并且
基于所述比较为所变换的传感器位置点中的每个所变换的传感器位置点分配所述二进制权重值中的一个二进制权重值。
29.根据权利要求25所述的非暂态计算机可读存储介质,其中:
所述模型还包括所述腔网络的所述腔的直径值,并且
所述权重值的所述确定进一步基于所述腔的所述直径值。
30.根据权利要求25所述的非暂态计算机可读存储介质,其中:
所述器械还包括相机,所述相机被配置成捕获所述腔网络的内部的图像,
所述非暂态计算机可读存储介质还具有存储在其上的指令,所述指令在被执行时致使所述至少一个计算装置针对所述传感器位置点中的每个传感器位置点,基于所捕获的图像来确定所述器械的所述远侧端部与腔的中心线之间的距离,所述器械的所述远侧端部位于所述腔中,并且
所述传感器位置点的所述权重值的所述确定进一步基于所述器械的所述远侧端部与所述腔的对应中心线之间的距离。
CN202080061169.1A 2019-08-30 2020-08-26 用于位置传感器的基于权重的配准的系统和方法 Active CN114340542B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962894639P 2019-08-30 2019-08-30
US62/894639 2019-08-30
PCT/IB2020/057986 WO2021038469A1 (en) 2019-08-30 2020-08-26 Systems and methods for weight-based registration of location sensors

Publications (2)

Publication Number Publication Date
CN114340542A true CN114340542A (zh) 2022-04-12
CN114340542B CN114340542B (zh) 2023-07-21

Family

ID=74679264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061169.1A Active CN114340542B (zh) 2019-08-30 2020-08-26 用于位置传感器的基于权重的配准的系统和方法

Country Status (6)

Country Link
US (2) US11207141B2 (zh)
EP (1) EP4021331A4 (zh)
JP (1) JP2022546421A (zh)
KR (1) KR20220058569A (zh)
CN (1) CN114340542B (zh)
WO (1) WO2021038469A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
AU2018292284B2 (en) 2017-06-28 2023-03-23 Auris Health, Inc. Electromagnetic field generator alignment
JP7494290B2 (ja) 2019-09-03 2024-06-03 オーリス ヘルス インコーポレイテッド 電磁歪み検出及び補償
EP3975120B1 (en) * 2020-09-24 2023-01-11 Stryker European Operations Limited Technique for guiding acquisition of one or more registration points on a patient's body
CN113334391B (zh) * 2021-08-06 2021-11-09 成都博恩思医学机器人有限公司 一种机械臂的摆位控制方法、系统、机器人及存储介质
CN118016282A (zh) * 2024-04-08 2024-05-10 中国人民解放军联勤保障部队第九八〇医院 一种基于机器学习的儿科重症监护辅助系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080221425A1 (en) * 2007-03-09 2008-09-11 Olson Eric S System and method for local deformable registration of a catheter navigation system to image data or a model
CN105611867A (zh) * 2013-09-06 2016-05-25 柯惠有限合伙公司 用于基于光的肺部可视化的系统和方法
US20170084027A1 (en) * 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks
US20170189118A1 (en) * 2014-02-04 2017-07-06 Intuitive Surgical Operations Inc. Systems And Methods For Non-Rigid Deformation Of Tissue For Virtual Navigation Of Interventional Tools
US20170325896A1 (en) * 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
US20180308232A1 (en) * 2017-04-21 2018-10-25 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue

Family Cites Families (401)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
ATE228338T1 (de) 1994-10-07 2002-12-15 Univ St Louis Chirurgische navigationsanordnung einschliesslich referenz- und ortungssystemen
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
DE69622764T2 (de) 1995-09-20 2003-04-24 Texas Heart Inst Houston yNZEIGE VON THERMISCHEN UNSTETIGKEITEN AN GEFÄSSWÄNDEN
US5647663A (en) * 1996-01-05 1997-07-15 Wisconsin Alumni Research Foundation Radiation treatment planning method and apparatus
CA2246341C (en) 1996-02-15 2007-05-01 Biosense, Inc. Precise position determination of endoscopes
ES2212079T3 (es) 1996-02-15 2004-07-16 Biosense, Inc. Sonda marcadora de posicion.
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
DE69815260T2 (de) 1997-01-24 2004-05-13 Koninklijke Philips Electronics N.V. Bildanzeigevorrichtung
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
AU1525400A (en) 1998-11-18 2000-06-05 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
US9572519B2 (en) 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6755797B1 (en) 1999-11-29 2004-06-29 Bowles Fluidics Corporation Method and apparatus for producing oscillation of a bladder
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
TW200304608A (en) 2002-03-06 2003-10-01 Z Kat Inc System and method for using a haptic device in combination with a computer-assisted surgery system
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
EP2380487B1 (en) 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7822466B2 (en) 2002-04-25 2010-10-26 The Johns Hopkins University Robot for computed tomography interventions
DE60328983D1 (de) 2002-06-04 2009-10-08 Koninkl Philips Electronics Nv Hybride dreidimensionale rekonstruktion der koronararterien mittels rotationsangiographie
AU2003231915A1 (en) 2002-06-17 2003-12-31 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
WO2004000151A1 (en) 2002-06-25 2003-12-31 Michael Nicholas Dalton Apparatus and method for superimposing images over an object
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
AU2003278465A1 (en) 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
ATE523141T1 (de) 2004-02-17 2011-09-15 Philips Electronics Ltd Verfahren und vorrichtung zur registrierung, verifizierung von und bezugnahme auf körperorgane(n)
US7972298B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US20060100610A1 (en) 2004-03-05 2006-05-11 Wallace Daniel T Methods using a robotic catheter system
US7811294B2 (en) 2004-03-08 2010-10-12 Mediguide Ltd. Automatic guidewire maneuvering system and method
WO2005094665A2 (en) 2004-03-23 2005-10-13 Boston Scientific Limited In-vivo visualization system
EP1731093B1 (en) 2004-03-29 2013-01-09 Olympus Corporation System for detecting position in examinee
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
US8239002B2 (en) 2004-08-12 2012-08-07 Novatek Medical Ltd. Guiding a tool for medical treatment by detecting a source of radioactivity
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9049954B2 (en) 2004-11-03 2015-06-09 Cambridge International, Inc. Hanger bar assembly for architectural mesh and the like
JP4874259B2 (ja) 2004-11-23 2012-02-15 ヌームアールエックス・インコーポレーテッド 標的部位にアクセスするための操縦可能な装置
US8611983B2 (en) 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
WO2007011654A1 (en) 2005-07-14 2007-01-25 Enhanced Medical System Llc Robot for minimally invasive interventions
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
WO2007025081A2 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
JP2009516574A (ja) 2005-11-22 2009-04-23 ネオガイド システムズ, インコーポレイテッド 曲げ可能な装置の形状を決定する方法
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
WO2007129616A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
JP5103658B2 (ja) 2006-06-05 2012-12-19 テクニオン リサーチ アンド ディベロップメント ファンデーション リミテッド 柔軟な針の制御された操作
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
EP2037794B1 (en) 2006-06-13 2021-10-27 Intuitive Surgical Operations, Inc. Minimally invasive surgical system
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航系统
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
EP2087469A2 (en) 2006-12-01 2009-08-12 Thomson Licensing Estimating a location of an object in an image
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
WO2008097540A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
US20080243142A1 (en) 2007-02-20 2008-10-02 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US8821376B2 (en) 2007-03-12 2014-09-02 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20080300478A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
EP2626006B1 (en) 2007-08-14 2019-10-09 Koninklijke Philips N.V. Robotic instrument systems utilizing optical fiber sensors
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
US10388066B2 (en) 2008-02-12 2019-08-20 Covidien Lp Controlled perspective guidance method
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US20090228020A1 (en) 2008-03-06 2009-09-10 Hansen Medical, Inc. In-situ graft fenestration
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
US8290571B2 (en) 2008-08-01 2012-10-16 Koninklijke Philips Electronics N.V. Auxiliary cavity localization
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US8781630B2 (en) 2008-10-14 2014-07-15 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
US8700123B2 (en) 2008-10-20 2014-04-15 The Johns Hopkins University Environment property estimaton and graphical display
EP2349563B1 (en) 2008-10-31 2014-12-03 Chevron Phillips Chemical Company LP System and method of deactivating and quenching an oligomerization catalyst
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US20100125284A1 (en) 2008-11-20 2010-05-20 Hansen Medical, Inc. Registered instrument movement integration
WO2010068783A1 (en) 2008-12-12 2010-06-17 Corindus Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
CN102413756B (zh) 2009-04-29 2015-04-01 皇家飞利浦电子股份有限公司 从单目内窥镜图像估计实时深度
CN102439631A (zh) 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
US8817039B2 (en) 2009-05-15 2014-08-26 Sharp Kabushiki Kaisha Image processing device and image processing method
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
BRPI1007726A2 (pt) 2009-05-18 2017-01-31 Koninl Philips Electronics Nv método para registro baseado em imagem entre as imagens, sistema para registro baseado em imagem entre imagens, método para calibração de posição de câmera para endoscopia guiada e sistema para calibração de câmera para endoscopia guida
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
WO2011055245A1 (en) 2009-11-04 2011-05-12 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
CN102341057B (zh) 2009-11-10 2014-03-05 奥林巴斯医疗株式会社 多关节机械手装置以及具有该装置的内窥镜系统
JP2013517909A (ja) 2010-01-28 2013-05-20 ザ ペン ステイト リサーチ ファンデーション 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録
WO2011102012A1 (ja) 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US8845631B2 (en) 2010-04-28 2014-09-30 Medtronic Ablation Frontiers Llc Systems and methods of performing medical procedures
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8494794B2 (en) 2010-06-13 2013-07-23 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US20120071753A1 (en) 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
US20120071752A1 (en) 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
WO2012075631A1 (en) 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
US9414770B2 (en) 2010-12-29 2016-08-16 Biosense Webster (Israel) Ltd. Respiratory effect reduction in catheter position sensing
US20120191079A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
JP6138699B2 (ja) 2011-02-18 2017-05-31 デピュイ・シンセス・プロダクツ・インコーポレイテッド 一体化されたナビゲーション及び誘導システムを備えるツール、並びに関連する装置及び方法
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
US10786432B2 (en) 2011-04-12 2020-09-29 Sartorius Stedim Biotech Gmbh Use of a device and a method for preparing mixtures of pharmaceutical substances
US10918307B2 (en) 2011-09-13 2021-02-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter navigation using impedance and magnetic field measurements
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
US9675304B2 (en) 2011-06-27 2017-06-13 Koninklijke Philips N.V. Live 3D angiogram using registration of a surgical tool curve to an X-ray image
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
EP2753236B1 (en) 2011-09-08 2017-11-29 APN Health, LLC R-wave detection method
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US8700561B2 (en) 2011-12-27 2014-04-15 Mcafee, Inc. System and method for providing data protection workflows in a network environment
EP2809249B1 (en) 2012-02-03 2018-12-26 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
JP6261516B2 (ja) 2012-02-09 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. リアルタイムナビゲーショントラッキングのためのシャフトトラッカー
EP2816966B1 (en) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
RU2686954C2 (ru) 2012-06-28 2019-05-06 Конинклейке Филипс Н.В. Навигация с помощью оптоволоконного датчика для визуализации и мониторинга сосудов
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
CN104718054B (zh) 2012-08-15 2017-03-01 直观外科手术操作公司 操纵机械体的活动的假想自由度(dof)
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
CA2893369A1 (en) 2012-08-24 2014-02-27 University Of Houston Robotic device and systems for image-guided and robot-assisted surgery
US9330454B2 (en) 2012-09-12 2016-05-03 Bruce Reiner Method and apparatus for image-centric standardized tool for quality assurance analysis in medical imaging
JP6219396B2 (ja) 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
US9121455B2 (en) 2012-11-07 2015-09-01 Dana Automotive Systems Group, Llc Clutch management system
US20150313503A1 (en) 2012-11-20 2015-11-05 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
JP6045417B2 (ja) 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
CN105283144B (zh) 2013-02-26 2018-06-05 阿梅·西纳·卡巴克奇 机器人操纵器系统
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
JP5715311B2 (ja) 2013-03-06 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
WO2014141968A1 (ja) 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US10271810B2 (en) 2013-04-02 2019-04-30 St. Jude Medical International Holding S.à r. l. Enhanced compensation of motion in a moving organ using processed reference sensor data
EP2983579A2 (en) 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
JP6785656B2 (ja) 2013-08-15 2020-11-18 インテュイティブ サージカル オペレーションズ, インコーポレイテッド カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
US10098566B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
CN105592790A (zh) 2013-10-02 2016-05-18 皇家飞利浦有限公司 用于光学形状感测配准的集线器设计和方法
WO2015061756A1 (en) 2013-10-24 2015-04-30 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
US9993313B2 (en) 2013-10-24 2018-06-12 Auris Health, Inc. Instrument device manipulator with roll mechanism
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
WO2015089013A1 (en) 2013-12-09 2015-06-18 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
CN103705307B (zh) 2013-12-10 2017-02-22 中国科学院深圳先进技术研究院 手术导航系统及医疗机器人
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
WO2015095715A1 (en) 2013-12-20 2015-06-25 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
EP3085324B1 (en) 2013-12-20 2019-02-20 Olympus Corporation Guide member for flexible manipulator, and flexible manipulator
EP3096692B1 (en) 2014-01-24 2023-06-14 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
WO2015119573A1 (en) 2014-02-05 2015-08-13 National University Of Singapore Systems and methods for tracking and displaying endoscope shape and distal end orientation
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
US10039605B2 (en) 2014-02-11 2018-08-07 Globus Medical, Inc. Sterile handle for controlling a robotic surgical system from a sterile field
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航系统和方法
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
EP4233707A3 (en) 2014-07-02 2023-10-11 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
CA2964459A1 (en) 2014-10-15 2016-04-21 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
EP3217977A1 (en) 2014-11-11 2017-09-20 Vanderbilt University Methods for limiting acute kidney injury
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
EP3636149B1 (en) 2015-02-20 2023-06-07 Teleflex Life Sciences Limited Medical device position location systems, devices and methods
JP6348078B2 (ja) 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
CN104758066B (zh) 2015-05-06 2017-05-10 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
US9622827B2 (en) 2015-05-15 2017-04-18 Auris Surgical Robotics, Inc. Surgical robotics system
CN107613839B (zh) 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
JP6750194B2 (ja) 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
US10347904B2 (en) 2015-06-19 2019-07-09 Solidenergy Systems, Llc Multi-layer polymer coated Li anode for high density Li metal battery
GB2540757B (en) 2015-07-22 2021-03-31 Cmr Surgical Ltd Torque sensors
US11202680B2 (en) * 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017030916A1 (en) 2015-08-14 2017-02-23 Schlumberger Technology Corporation Inline viscosity determination technique
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017036774A1 (en) 2015-08-28 2017-03-09 Koninklijke Philips N.V. Apparatus for determining a motion relation
WO2017040700A2 (en) 2015-08-31 2017-03-09 Masimo Corporation Wireless patient monitoring systems and methods
EP4137034A1 (en) 2015-09-09 2023-02-22 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
JP6878416B2 (ja) 2015-09-17 2021-05-26 エンドマスター・プライベート・リミテッドEndomaster Pte Ltd 改善された軟性ロボット内視鏡システム
CN108135488B (zh) 2015-10-13 2021-11-26 光学实验室成像公司 确定侧支的剖面视角的血管内成像系统和方法
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
US10717194B2 (en) 2016-02-26 2020-07-21 Intuitive Surgical Operations, Inc. System and method for collision avoidance using virtual boundaries
CN108883301B (zh) 2016-03-24 2020-11-10 皇家飞利浦有限公司 处置评估设备
JP7232051B2 (ja) 2016-03-31 2023-03-02 コーニンクレッカ フィリップス エヌ ヴェ カテーテル配置のための画像誘導ロボット
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
CA2976573C (en) 2016-05-02 2019-02-26 Dorothy LUI Methods for improving patient registration
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
CN114027987A (zh) 2016-06-30 2022-02-11 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
US20180055576A1 (en) 2016-09-01 2018-03-01 Covidien Lp Respiration motion stabilization for lung magnetic navigation system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US11071594B2 (en) * 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US10792466B2 (en) 2017-03-28 2020-10-06 Auris Health, Inc. Shaft actuating handle
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
EP3600031A4 (en) 2017-03-31 2021-01-20 Auris Health, Inc. ROBOTIC NAVIGATION SYSTEMS IN LUMINAL NETWORKS COMPENSATION FOR PHYSIOLOGICAL NOISE
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
US10987174B2 (en) 2017-04-07 2021-04-27 Auris Health, Inc. Patient introducer alignment
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
CN110831498B (zh) 2017-05-12 2022-08-12 奥瑞斯健康公司 活检装置和系统
AU2018270785B2 (en) 2017-05-17 2023-11-23 Auris Health, Inc. Exchangeable working channel
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
WO2019005872A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. INSTRUMENT INSERTION COMPENSATION
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
AU2018292284B2 (en) 2017-06-28 2023-03-23 Auris Health, Inc. Electromagnetic field generator alignment
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US10987179B2 (en) 2017-12-06 2021-04-27 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
EP3684281A4 (en) 2017-12-08 2021-10-13 Auris Health, Inc. SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS
KR102473254B1 (ko) 2017-12-08 2022-12-06 아우리스 헬스, 인코포레이티드 지향된 유체 공학
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的插入架构的系统和方法
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019143459A1 (en) 2018-01-17 2019-07-25 Auris Health, Inc. Surgical platform with adjustable arm supports
KR20200122337A (ko) 2018-02-13 2020-10-27 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
CN112087981A (zh) 2018-03-01 2020-12-15 奥瑞斯健康公司 用于标测和导航的方法和系统
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
WO2019190657A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
MX2020010220A (es) 2018-03-29 2021-01-15 Auris Health Inc Sistemas médicos activados robóticamente con efectores de extremo multifunción que tienen desviaciones rotacionales.
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
EP3801189A4 (en) 2018-05-31 2022-02-23 Auris Health, Inc. PATH-BASED NAVIGATION OF TUBULAR NETWORKS
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
US10751140B2 (en) 2018-06-07 2020-08-25 Auris Health, Inc. Robotic medical systems with high force instruments
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
JP7366943B2 (ja) 2018-06-27 2023-10-23 オーリス ヘルス インコーポレイテッド 医療器具のための位置合わせ及び取り付けシステム
JP7391886B2 (ja) 2018-06-28 2023-12-05 オーリス ヘルス インコーポレイテッド 滑車共有を組み込んだ医療システム
WO2020033318A1 (en) 2018-08-07 2020-02-13 Auris Health, Inc. Combining strain-based shape sensing with catheter control
US10828118B2 (en) 2018-08-15 2020-11-10 Auris Health, Inc. Medical instruments for tissue cauterization
US10639114B2 (en) 2018-08-17 2020-05-05 Auris Health, Inc. Bipolar medical instrument
WO2020041619A2 (en) 2018-08-24 2020-02-27 Auris Health, Inc. Manually and robotically controllable medical instruments
US11197728B2 (en) 2018-09-17 2021-12-14 Auris Health, Inc. Systems and methods for concomitant medical procedures
WO2020068853A2 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Articulating medical instruments
EP3813716A4 (en) 2018-09-26 2022-07-13 Auris Health, Inc. SYSTEMS AND INSTRUMENTS FOR SUCTION AND IRRIGATION
KR20210069670A (ko) 2018-09-28 2021-06-11 아우리스 헬스, 인코포레이티드 동시 내시경술 및 경피 의료 절차를 위한 로봇 시스템 및 방법
WO2020069430A1 (en) 2018-09-28 2020-04-02 Auris Health, Inc. Systems and methods for docking medical instruments
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
US11576738B2 (en) 2018-10-08 2023-02-14 Auris Health, Inc. Systems and instruments for tissue sealing
US11950863B2 (en) 2018-12-20 2024-04-09 Auris Health, Inc Shielding for wristed instruments
WO2020140072A1 (en) 2018-12-28 2020-07-02 Auris Health, Inc. Percutaneous sheath for robotic medical systems and methods
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
WO2020185516A1 (en) 2019-03-08 2020-09-17 Auris Health, Inc. Tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and applications tilt mechanisms for medical systems and
US11638618B2 (en) 2019-03-22 2023-05-02 Auris Health, Inc. Systems and methods for aligning inputs on medical instruments
WO2020197625A1 (en) 2019-03-25 2020-10-01 Auris Health, Inc. Systems and methods for medical stapling
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
CN114173698A (zh) 2019-04-08 2022-03-11 奥瑞斯健康公司 用于伴随规程的系统、方法和工作流程
US20200405423A1 (en) 2019-06-25 2020-12-31 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
US11369386B2 (en) 2019-06-27 2022-06-28 Auris Health, Inc. Systems and methods for a medical clip applier
WO2020264418A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Console overlay and methods of using same
WO2020263949A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
WO2020261208A2 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Patient introducer for a robotic system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080221425A1 (en) * 2007-03-09 2008-09-11 Olson Eric S System and method for local deformable registration of a catheter navigation system to image data or a model
CN105611867A (zh) * 2013-09-06 2016-05-25 柯惠有限合伙公司 用于基于光的肺部可视化的系统和方法
US20170189118A1 (en) * 2014-02-04 2017-07-06 Intuitive Surgical Operations Inc. Systems And Methods For Non-Rigid Deformation Of Tissue For Virtual Navigation Of Interventional Tools
US20170325896A1 (en) * 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
US20170084027A1 (en) * 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks
US20180308232A1 (en) * 2017-04-21 2018-10-25 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue

Also Published As

Publication number Publication date
EP4021331A1 (en) 2022-07-06
US11207141B2 (en) 2021-12-28
US20220117677A1 (en) 2022-04-21
US20210059764A1 (en) 2021-03-04
EP4021331A4 (en) 2023-08-30
WO2021038469A1 (en) 2021-03-04
JP2022546421A (ja) 2022-11-04
KR20220058569A (ko) 2022-05-09
CN114340542B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11576730B2 (en) Systems and methods for registration of location sensors
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
CN110831486B (zh) 用于基于定位传感器的分支预测的系统和方法
CN110832544B (zh) 用于导航的基于图像的分支检测和映射
CN110831535B (zh) 配置用于导航路径跟踪的机器人系统
CN110809453A (zh) 用于腔网络内的器械跟踪和导航的方法和系统
CN110831538A (zh) 基于图像的气道分析和映射
CN114641252A (zh) 电磁畸变检测和补偿
CN114340542B (zh) 用于位置传感器的基于权重的配准的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant