CN104736085B - 确定医疗器械在分支解剖结构中的位置 - Google Patents

确定医疗器械在分支解剖结构中的位置 Download PDF

Info

Publication number
CN104736085B
CN104736085B CN201380053469.5A CN201380053469A CN104736085B CN 104736085 B CN104736085 B CN 104736085B CN 201380053469 A CN201380053469 A CN 201380053469A CN 104736085 B CN104736085 B CN 104736085B
Authority
CN
China
Prior art keywords
branch
patch
anatomical structure
medicine equipment
computer model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380053469.5A
Other languages
English (en)
Other versions
CN104736085A (zh
Inventor
T·赵
G·M·普里斯科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201711429692.1A priority Critical patent/CN108042092B/zh
Publication of CN104736085A publication Critical patent/CN104736085A/zh
Application granted granted Critical
Publication of CN104736085B publication Critical patent/CN104736085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/09—Guide wires
    • A61M2025/09166—Guide wires having radio-opaque features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

比较由自移动通过解剖结构的医疗器械的远端透视图拍摄的连续图像提取的信息与由解剖结构的计算机模型提取的相应信息。然后使用与潜在匹配集相关联的概率确定由连续的图像提取的信息和由计算机模型提取的相应信息之间最可能的匹配，以便配准解剖结构的计算机模型与医疗器械并由此确定医疗器械当前处于的解剖结构的腔。传感器信息可以被用于限制潜在匹配集。作为确定最可能匹配的一部分，与一系列图像相关联的特征属性与潜在匹配集可以被定量地比较。

Description

确定医疗器械在分支解剖结构中的位置
技术领域
本发明一般涉及医疗系统，并且具体涉及用于通过将当医疗器械移动通过分支解剖结构时在其远端处拍摄的图像信息与从分支解剖结构的计算机模型提取的相应信息进行比较来确定医疗器械在分支解剖结构中的位置的系统和方法。
背景技术
图像引导的外科手术有助于外科医生将医疗器械导航至患者内的目标，以便可以对目标执行治疗和/或诊断的医疗程序。为了引导，可以跟踪医疗器械的远端位置，并且其图像连同与目标相关联的解剖结构的计算机模型一起显示或叠加在与目标相关联的解剖结构的计算机模型上。可以由手术前和/或手术中患者解剖扫描数据诸如X-射线、超声波、荧光检查、计算机断层扫描(CT)、磁共振成像(MRI)和其他成像技术生成计算机模型。医疗器械可以为内窥镜、导管或具有可操纵的末端和能够贴合通向患者的分支解剖结构中的目标的身体通道或腔的柔性主体的医疗器具。
医疗器械、解剖结构和该解剖结构的计算机模型关于彼此的适当配准是精确的图像引导的外科手术所期望的。因此，通常在对患者执行医疗程序之前执行这些项目的配准。然而，由于解剖结构的运动和/或当医疗器械移动通过解剖结构时难于跟踪医疗器械，在执行医疗程序期间，配准误差可能出现。对于连续移动在其中柔性医疗器械被导航至目标区域的分支解剖结构，保持医疗器械的跟踪位置和分支解剖结构之间的适当配准是特别有挑战的。
U.S.2005/0182319描述了使用动态参比和/或选通技术跟踪解剖结构的运动和使用电磁(EM)跟踪设备跟踪当医疗器械在解剖结构内部移动时医疗器械的运动。然而，由于至少部分归因于动态参比、EM跟踪设备和解剖运动的不准确性，当分支解剖结构内的多个腔停留在不确定的区域内时，由这样的不准确造成移动通过分支解剖结构诸如肺或心脏的医疗器械的精确配准易于出错。
Luo,Xiongbiao等人的“On Scale Invariant Features and Sequential MonteCarlo Sampling for Bronchoscope Tracking,”Medical Imaging 2011:Visualization,Image-Guided Procedures,and Modeling,由Kenneth H.Wong,David R.Homes III编辑,Proc.Of SPIE Vol.7964,79640Q，描述了基于两阶段图像的方法，用于确定当前支气管镜摄像机帧和生成的虚拟帧之间的最大相似性以确定支气管镜姿势。第一阶段使用尺度不变特征转换(SIFT)特征和对极几何分析预测支气管镜视频的连续图像之间的帧间运动参数。第二阶段根据第一阶段估计的结果递归地近似当前支气管镜摄像机姿势的后验概率密度。因为第二阶段生成被定义为摄像机运动参数和虚拟支气管镜检查的图像和患者具体真实的支气管镜检查的图像之间的相似性的随机样本集，所以当前摄像机运动参数可以被确定为等于相应于样本集内最大相似性的一个样本的姿势。尽管已经显示该方法提供好的精确性，但其使用序贯蒙特卡罗(SMC)方法的计算的复杂性不适合具有大约3.0秒每帧的计算时间的实时应用。
Soper,Timothy D.等人的“In Vivo Validation of a Hybrid Tracking Systemfor Navigation of an Ultrathin Bronchoscope within Peripheral Airways,”IEEETransactions on Biomedical Engineering,Vol.57,No.3,March 2010,pp.736-745，描述了混合方法，其中电磁跟踪(EMT)和基于图像跟踪(IBT)两者连同适应地估计两种跟踪输入之间的定位误差的误差状态卡尔曼滤波一起被采用。然而，当误差变大时，系统不能自校正自身。因此，一旦跟踪偏离解剖结构中支气管镜的真实路径，操作员干预可能变得不可缺少。
US7,756,563描述了通过连续地对准实况摄像机视野与已经由计算机模型提出的相应视野执行支气管镜内摄像机姿势估计的方法。它假设来自在先帧的估计精确到当前帧的迭代优化的种子。然而，该方法不能够从非常可能出现在现实生活中的任何跟踪失败中恢复。
目的和概述
因此，本发明的一个或多个方面的一个目的为用于当医疗器械移动通过分支解剖结构时确定医疗器械在分支解剖结构中的位置的医疗系统和在其中实施的方法。
本发明的一个或多个方面的另一个目的为用于当医疗器械移动通过分支解剖结构时确定医疗器械在分支解剖结构中的位置的自校正的医疗系统和在其中实施的方法。
本发明的一个或多个方面的另一个目的为用于当医疗器械移动通过分支解剖结构时确定医疗器械在分支解剖结构中的位置的医疗系统和在其中实施的方法，其是计算有效的并适合实时应用。
本发明的一个或多个方面的另一个目的为用于当医疗器械移动通过分支解剖结构确定医疗器械在分支解剖结构中的位置的医疗系统和在其中实施的方法，其提供精确结果。
通过本发明不同的方面实现这些和其它的目的，其中简单地说，一方面为医疗系统，其包括：存储器，其存储分支解剖结构的计算机模型的信息；和处理器，其被编程以配准计算机模型与医疗器械，用于通过确定已经从一系列图像中提取的信息和由分支解剖结构的计算机模型提取的相应信息之间的最有可能的匹配，确定医疗器械在分支解剖结构内的位置，其中当医疗器械移动通过分支解剖结构内多个腔时，自医疗器械的远端透视图由图像拍摄设备拍摄所述一系列图像。
另一方面是用于确定医疗器械在分支解剖结构内的位置的方法，该方法包括：确定从一系列图像中提取的信息和从分支解剖结构的计算机模型提取的相应信息之间的最有可能的匹配，其中当医疗器械移动通过分支解剖结构内多个腔时，自医疗器械的远端透视图拍摄所述一系列图像。
由结合附图进行的以下说明，本发明的不同方面的额外的目的、特征和优点将变得显而易见。
附图说明
图1图示采用本发明的方面的医疗系统，该系统包括手动操作的医疗器械。
图2图示采用本发明的方面的可选的医疗系统，该系统包括远程操作的医疗器械。
图3图示对患者执行医疗程序之前进行的手术前任务的图。
图4图示在导航医疗器械至分支解剖结构中目标区域期间辅助屏的视图。
图5图示使用本发明的方面用于配准分支解剖结构的计算机模型与医疗器械的方法的流程图，该方法用于确定医疗器械在分支解剖结构内的位置。
图6图示当医疗器械移动通过分支解剖结构时自医疗器械的远端透视图的图像拍摄设备拍摄的图像。
图7图示连同可用于限定斑块(blab)特征属性的线段的从图6的拍摄图像提取的斑块。
图8-13图示当医疗器械移动通过分支解剖结构时从可以被图像拍摄设备自医疗器械的远端透视图拍摄的图像提取的斑块拓扑的各种实例。
图14图示当医疗器械移动通过分支解剖结构时，被图像拍摄设备自医疗器械的远端透视图拍摄的图像的假阴性斑块识别的实例。
图15图示当医疗器械移动通过分支解剖结构时，被图像拍摄设备自医疗器械的远端透视图拍摄的图像的假阳性斑块识别的实例。
图16-17图示可以被用于限定当医疗器械移动通过分支解剖结构时，从被图像拍摄设备自医疗器械的远端透视图拍摄的图像提取的斑块的特征属性的斑块特性的实例。
图18-19图示当医疗器械朝向分支解剖结构中二根分叉部移动时，从被图像拍摄设备自医疗器械的远端透视图拍摄的图像提取的一系列斑块的实例。
图20图示连同用于限定斑块特征属性的线段的从图6的拍摄图像提取的斑块。
图21图示形状为特征属性的拍摄的图像斑块，所述特征属性被用作自由计算机模型生成的合成图像寻找匹配的斑块的模板。
图22图示当医疗器械移动通过解剖结构的腔时，具有任选的位置、方位、滚动和插入传感器的医疗器械的示意图。
图23图示与图22的任选的位置传感器相关联的笛卡儿坐标系。
图24图示与图22的任选的方位传感器相关联的方位角度。
详细说明
作为实例，图1图示了医疗系统100，该系统包括可操纵的医疗器械110，一个或多个传感器131、传感器(一个或多个)处理器130、将一个或多个传感器131连接至传感器(一个或多个)处理器130的一条或多条信号通信电缆132、图像拍摄元件141、图像处理器140、将图像拍摄元件141连接至图像处理器140的光学纤维或电缆142、显示处理器150、主显示屏151、辅助显示屏152、主处理器160和存储器161。虽然作为单独的单元展示，但是传感器(一个或多个)处理器130、图像处理器140、显示处理器150和主处理器160可以以单一处理器实施，或者它们各自的功能可被分配在多个处理器之中，其中每一个这样的处理器可以被实施为硬件、固件、软件或它们的组合。如本文使用的，术语处理器被理解为包括用于变换和/或通信进入和/或离开处理器的信号以及常规的数字处理逻辑的接口逻辑和/或电路。存储器161可以为常规用于计算机系统中的任何存储设备或数据储存系统。主显示屏151和辅助显示屏152优选地为能够对系统100的操作员显示三维图像的计算机监视器。然而，出于成本或其他考虑事项，主显示屏151和辅助显示屏152中的任意一个或两者可以是能够仅仅显示二维图像的标准计算机监视器。
医疗器械110具有柔性主体114、在其远端111处的可操纵的末端112和在其近端115处的可手动操作的手柄116。控制电缆(未示出)或其他控制装置通常从手柄116延伸至可操纵的末端112，以便末端112可以被可控地弯曲或转动，例如由弯曲的末端112的虚线形式所展示的。医疗器械110可以为内窥镜、导管或具有柔性主体和可操纵末端的其他医疗器具。
图像拍摄元件141可以为被布置在远端111处的立体摄像机或单象管摄像机或其它成像设备，用于拍摄图像，所述图像被传输至图像处理器140和/或显示处理器150并由其处理，并且被显示在主显示屏151、辅助显示屏152和/或根据本文描述的发明的各种方面的其它显示装置。可选地，图像拍摄元件141可以为连接至医疗器械110的近端上的成像和处理系统的纤维光束，诸如光纤镜。图像拍摄元件141还可以是单或多光谱的，其在可见或红外/紫外光谱内拍摄图像数据。因此，本文所指的任何图像拍摄元件、设备或系统可以为这些或其他成像技术中的任何一个或组合。多条纤维光缆(未示出)中的一条可以在其近端被连接至在远端111处用于照明目的的光源(未示出)。其它多条纤维光缆(未示出)可以被配置具有沿医疗器械110的长度分布的位置和弯曲或形状传感器，诸如光纤布拉格光栅(Fiber Bragg Gratings)(或其他应变传感器，诸如采用瑞利散射(Rayleigh scattering)的那些)，以便穿过这些纤维光缆的光被传感器(一个或多个)处理器130处理，从而确定医疗器械110的当前姿势和形状。
作为实例，图2图示了医疗系统100的可选的实施方式，其中手柄116被机电接口170、控制器180和输入设备190代替，用于远程操作医疗器械110。接口170包括用于制动医疗器械110内电缆以操纵其末端112的制动器以及用于前后移动整个医疗器械110的制动器，以便它可以通过入口诸如自然身体孔或外科医生创建的微创侵入切口被插入患者和从患者内收回。此外，接口170可以包括用于围绕医疗器械110的中心纵轴旋转医疗器械110的制动器。控制器180优选地被实施为与处理器130、140、150和160相同的一个或多个计算机处理器或不同的计算机处理器中的硬件、固件或软件(或其组合)。柔性主体114可以为无源或有源可弯曲的。医疗系统还可以为上面两个实例的混合。
这样的可操纵的医疗器械的实例在题目为“Method and System for Assistingan Operator in Endoscopic Navigation”的U.S.2010/0249506 A1以及题目为“Apparatus and Methods for Automatically Controlling an Endoscope”的WO2009/097461 A1中描述，其每一篇通过引用并入本文。例如可以在题目为“Robotic SurgerySystem Including Position Sensors Using Fiber Bragg Gratings”的U.S.2007/0156019 A1、题目为“Fiber Optic Position and/or Shape Sensing Based on RayleighScatter”的U.S.2008/0212082 A1、题目为“Robotic Surgical Instrument and Methodsusing Bragg Fiber Sensors”的U.S.2008/0218770 A1以及题目为“Fiber Optic ShapeSensor”的U.S.2009/0324161 A1中找到关于使用光纤布拉格光栅确定内窥镜位置和弯曲的细节，其每篇通过引用并入本文。
作为实例，图3图示可以在计划待对患者执行的医疗程序中执行的手术前任务的图。在下面实例中，在医疗程序期间，如空气和血液循环系统的周期运动中或诸如咳嗽或其他身体抽搐的非周期运动中，分支解剖结构可以移动。
在方框301中，使用来自可以生成分支解剖结构的三维(3-D)计算机模型的合适的成像技术获得患者的图像集。这样的成像技术的实例包括但不限于荧光检查、磁共振成像、热相图法、X线体层照相术、超声、光学干涉X线体层照相术、热成像、阻抗成像(impedanceimaging)、激光成像和纳米管X-射线成像。如果分支解剖结构经受扩张/收缩循环，诸如人类的肺，可以有利地使用诸如来自呼吸器或运动探测器的触发信号获得极值处的图像集。
在方框302中，由获得的解剖结构的图像生成分支解剖结构的三维(3-D)计算机模型。在方框303中，在分支解剖结构中可以识别一个或多个目标。目标为在解剖结构中或邻近解剖结构的在其中或其上待执行医疗程序的位置或对象。例如，目标可以为解剖结构中或邻近解剖结构的肿瘤。目标(一个或多个)可以由外科医生或放射科医师以常规方式通过分析获得的解剖结构的图像或生成的3-D计算机模型信息识别，对于这样的识别，无论哪个都是更方便和/或可靠的。
在方框304中，可以为医疗器械110的工作端确定至并通过解剖结构的导航路径以行进至每一个目标。在这种情况下，假设工作端为医疗器械110的远端111。外科医生可以通过分析获得的解剖结构的图像或生成的3-D计算机模型确定至目标的合适的导航路径，以便考虑在医疗器械110朝向目标移动时其可能对患者造成的任何伤害以及最短的时间和/或最短的路径。可选地，计算机程序可以由处理器运行以执行这样的分析来使用人工智能技术确定导航路径。
作为实例，图4图示了在导航医疗器械110至解剖结构中目标区域期间辅助显示屏152的视图。该视图可以为分支解剖结构的计算机模型420和医疗器械110的计算机模型410的2-D或者3-D视图，当医疗器械110移动通过解剖结构其实时更新。还展示了目标的指示421。因此，辅助屏幕152帮助外科医生操纵医疗器械110通过解剖结构至目标。
在该实例中，分支解剖结构为具有包括气管、支气管和细支气管的多个自然身体通道或腔的一对肺。医疗器械110为支气管镜并且其进入患者的入口为患者的嘴。由于肺的性质，医疗器械110可以被引导通过支气管树的许多连接的腔或分支。在这种情况下，医疗器械110的柔性主体114贴合其行进穿过的通道。虽然在本实例中展示一对肺，但应当理解的是除了呼吸系统以外，本发明的各个方面也可适用于和可用于其他解剖结构诸如心脏、脑、消化系统、循环系统和泌尿系统。
除了在辅助显示屏152上显示如图4中所示的分支解剖结构和医疗器械的计算机模型之外，或可选地，由图像拍摄元件141拍摄的图像可以与由分支解剖结构的3-D计算机模型生成的来自医疗器械110的远端111的透视图的合成图像在主显示屏151上被并排展示。在该情况下，可以在合成的图像上显示箭头以指示朝向目标所取的方向。对于额外的细节，参见例如2011年5月13日提交的标题为“Medical system providing dynamicregistration of a model of an anatomical structure for image-guided surgery”、代理人备审案件号ISRG03100/US的美国申请号13/107,562，其通过引用并入本文。
在准备使用系统100对患者执行医疗程序中，许多手术前配准任务被以常规方式执行。第一，通过例如将医疗器械110的远端111接触固定的参考系中的一个或多个已知的和静止的点，将医疗器械110定位至固定的参考系。第二，通过将医疗器械110的远端111接触患者上的一个或多个点，可以将患者与固定的参考系配准，其中点相应于获得的患者图像上可识别的点，诸如自然身体特征或人工标记。第三，使用患者和计算机模型上诸如自然身体特征或人工标记的相应参考点，解剖结构的计算机模型可以被与患者配准。因此，医疗器械110、分支解剖结构和解剖结构的计算机模型可以被以该方式彼此配准或与固定的参考系配准。
然而，在对患者执行医疗程序期间，部分由于当医疗器械移动通过分支解剖结构时跟踪医疗器械110的远端位置中的固有不精确性，在医疗器械和分支解剖结构的计算机模型之间可能出现配准误差。配准误差可能由用于跟踪医疗器械110的远端的动力学中的误差、与用于跟踪远端位置的传感器相关联的误差和/或由分支解剖结构的运动引起的误差造成。由于这些和其它可能的误差，分支解剖结构与医疗器械110的配准错误(misregistration)可能出现。结果，由系统提供的导航指导帮助可能错误。
作为实例，图5图示了如此方法，其优选地由主处理器160实施，用于配准分支解剖结构的计算机模型与医疗器械，以便当医疗器械移动通过分支解剖结构时可以确定医疗器械在分支解剖结构中的位置。在该情况下，医疗器械在分支解剖结构中的位置表明医疗器械当前处于的分支解剖结构的腔。该方法可以作为独立的配准技术使用或它可以与其他配准技术组合。例如，该方法可以被用于整体配准和另一个技术被用于局部配准。
简言之，该方法识别、跟踪以及当医疗器械移动通过分支解剖结构时使从自医疗器械的远端透视图拍摄的图像提取的腔信息与从分支解剖结构的计算机模型提取的相应腔信息相关联，以使能够配准医疗器械的远端与分支解剖结构。具体而言，该方法将一系列拍摄的图像中可见的腔的拓扑、特征属性、行为和/或关系的信息与分支解剖结构的计算机模型中腔的拓扑、特征属性、行为和/或关系的相应信息进行比较。然后，该系列拍摄的图像中可见的腔的路径与分支解剖结构的计算机模型中腔的路径之间最可能的匹配被确定，以表明医疗器械当前处于分支解剖结构的那个腔。
在包括方框501-504的该方法的第一部分中，在按顺序接收的图像中提取、标记和跟踪斑块，直到出现在图像中的斑块集出现变化。每一个提取的斑块被提取以便表明当前进入的或能够进入的分支解剖结构的腔。例如，由于腔的较远侧被较少照射的事实，拍摄的图像中的腔可能呈现为图像中较暗的孔。然后，图像处理技术可以被用于提取图像中突出的暗区域。这些提取的突出的暗区域因此在本文中被称为“斑块”。因为提取的斑块表示腔，所以术语斑块和腔在本文中可以互换使用。拓扑学上相等的一系列图像(例如，相同的斑块集或腔集出现的系列)在本文中被称为“轨迹片段(tracklet)”。因此，医疗器械移动通过分支解剖结构的路径为一系列轨迹片段。
在方框501中，当医疗器械移动通过分支解剖结构时，方法接收已经例如由图像拍摄元件114自医疗器械远端透视图拍摄的图像。这样的接收的图像的实例在图6中展示，其中肺中的二根分叉部被示出以及下游的二根分叉部出现在二根分叉部的每一个腔中。接收的图像可以为单象管图像(如所示)或提供深度信息的立体图像。
在方框502中，方法处理接收的图像以便使用许多已知的斑块检测算法中任意合适的一种诸如最大稳定极值区域(MSER)提取斑块。处理的图像的实例被展示在图7中，其中从图6的接收的图像提取的斑块的粗糙轮廓显示。同样地，图7所示为每一个二根分叉部的线段，其一端连接至一个腔的形心，另一端连接至二根分叉部的另一个腔的形心。
为了更好的限定斑块为指示分支解剖结构中腔的闭合曲线，在斑块提取之前和/或期间，可能期望使用已知的图像过滤和/或边缘探测技术进行额外的图像处理。还可以执行透镜畸变校正以帮助使在拍摄的图像中图像观测值与分支解剖结构的计算机模型关联。图8-20图示可以由这样的处理得到的各种斑块拓扑。
例如，图8图示移动通过腔801的医疗器械，其中在此时看不见下游结点。图9图示移动通过腔901的医疗器械的实例，其中可见包括腔902、903的下游二根分叉部。图10图示移动通过腔1001的医疗器械的实例，其中可见包括腔1002、1003、1004的下游三根分叉部。图11图示移动通过腔1101的医疗器械的另一个实例，其中在与图10的三根分叉部不同方位处可见包括腔1102、1103、1104的下游三根分叉部。图12和13图示一系列图像。图12图示移动通过腔1201的医疗器械的实例，其中可见包括腔1202、1203的第一下游二根分叉部以及在腔1203内可见包括腔1204、1205的第二下游二根分叉部。图13图示已经移动进入腔1203的医疗器械的实例，以致腔1201、1202不再可见。
在方框503中，跟踪提取的斑块中的每一个。如果在通过依次通过方框501-504正被接收的当前系列图像中，斑块被第一次看到，那么以先前未分配的参考数字标记它，以便方法可以继续跟踪斑块(或更具体地，斑块指示的腔)。相反，在另一方面，如果在先前接收的图像中看到过斑块，那么它已经被分配了标签并且其被跟踪。在上下文中跟踪表示从一个图像至另一个图像识别斑块。通常，这样的识别可以简单地通过考虑出现在图像中的斑块的相对位置完成。
作为斑块跟踪的实例，图18和19图示了轨迹片段中两个连续的图像。在图18中，当医疗器械朝向二根分叉部移动通过腔1801时，距一定距离观看包括斑块/腔1802、1803的二根分叉部。在图19中，当医疗器械已经移动通过腔1801——其远端正被操纵朝向斑块/腔1803——时，距较近的距离观看相同的二根分叉部。在该实例中，在图18和19中所示的图像之间，可以容易地跟踪斑块1802、1803，因为它们的位置相对彼此保持一样(即，斑块1802继续为二根分叉部的左腔以及斑块1803继续为二根分叉部的右腔)。
作为斑块识别的另一个略微更复杂的实例，先前描述的图12和13图示得到相邻轨迹片段之间的转变的一对不同的连续图像。通过比较图12和13，由于腔(即，斑块)的总数目已经减少，图13中最有可能的是医疗器械已经移动进入腔1202、1203中的一个。进一步，最有可能的是医疗器械已经移动进入腔1203。这是因为在图13中可见下游二根分叉部并且根据图12中所示的较早接收的图像下游二根分叉部仅仅在腔1203中可见。
在方框504中，方法做出当方法依次通过方框501-504时正被接收的当前系列的图像中是否保持拓扑学上相等的确定。如果方框504中的确定为是(YES)，则在方框505中，方法使接收的图像与当前的轨迹片段相关联并循环回至方框501以添加至当前系列的图像。另一方面，如果方框504中的确定为否(NO)，则在方框506中，以最近接收的图像开始限定新的轨迹片段。然后，当前的轨迹片段被关闭，以致它仅仅包括当前系列的图像，但不包括最近接收的图像(即，通过标记的斑块消失或新的斑块出现首先展示斑块集中变化的图像)。
作为实例，当前的轨迹片段可以产生如图12中所示的提取的斑块。在医疗器械移动进入腔/斑块1203之后，然后新的轨迹片段将产生如图13中所示的提取的斑块。
当一对连续的图像之间斑块的数目减少时，初级假设为医疗器械已经通过结点(如二根分叉部或三根分叉部)并进入由结点分叉的腔，诸如参考图12和13所描述的。另一个方面，当在一对连续的图像之间斑块的数目增加时，初级假设为医疗器械已经在腔中向前移动至下游结点诸如二根分叉部或三根分叉部可见的点。通过在连续的图像和/或传感器数据中跟踪的斑块发展的知识，这些初级假设可以被推翻。例如，在连续拍摄的图像的发展中朝向图像的边界靠近和由图像的边界离开的消失的斑块证实医疗器械已经经过结点的初级假设，然而，在一系列的图像中消失的斑块的不同的行为可以推翻该初级假设。作为另一个实例，能够感测将医疗器械插入分支解剖结构和从分支解剖结构缩回的传感器可以以相反的指示推翻该初级假设。
这样的初级假设的一个潜在问题是假阴性(即，当前图像中斑块/腔的数目小于先前图像中斑块/腔的数目的错误确定)和假阳性(即，当前图像中斑块/腔的数目大于先前图像中斑块/腔的数目的错误确定)的确定。使用图9作为如图14中所示的假阴性的实例的基础，障碍物1404与背景组织很好地混合，以致出现在它后面的斑块902已经消失。再次使用图9作为如图15所示的假阳性的实例的基础，异质对象1504出现在腔901中。
根据这样的假阴性和假阳性的类型和原因，额外的处理和/或逻辑可以由该方法执行以消除错误确定。例如，图14所示的脱离一侧放置的单一下游斑块/腔似乎是不可能的，所以假阴性应当被忽略。作为另一个实例，尽管如图15中所示可能出现指示三根分叉部的三个斑块/腔，但提取的斑块的特征属性与在从分支解剖结构的计算机模型生成的合成图像中三根分叉部的相应特征属性的比较可以揭露当前图像中的假阳性确定。除了斑块拓扑和/或特性与自分支解剖结构的计算机模型预期的那些拓扑和/特性不一致以外，对于连续图像之间的时间一致性的需求也可以揭露假阴性和假阳性。通过分析连续的图像也可以检测由医疗器械后退和再次前进造成的假阴性和假阳性。作为后退和再次前进的实例，如果在连续的图像中二根分叉部的右腔在视图区域的右侧逐渐地消失，产生正看到的单一腔，然后在连续的图像中第二腔从视图区域的右侧逐渐地出现，这可以表明医疗器械已经首先进入二根分叉部的左腔，然后退出左腔，以致二根分叉部的右腔再一次可见的情况。
在该方法的第二部分中，比较方框507-510，处理当前系列的图像(即，当前轨迹片段)以及通过考虑当前的轨迹片段和其相邻的轨迹片段确定与分支解剖结构的计算机模型中腔的路径最可能的匹配。当医疗器械移动通过分支解剖结构的腔时，存在医疗器械可能采取的许多潜在的路径。在方法的第一部分中识别的每一个轨迹片段可以相应于分支解剖结构的不同的腔。因此，当医疗器械移动通过分支解剖结构时，已经通过依次通过方框501-510被识别的一系列轨迹片段提供了当医疗器械沿着分支解剖结构中的路径移动时，拍摄的图像的图示经历。每次识别新的轨迹片段时，它被加入到该系列的轨迹片段并且更新的系列的轨迹片段针对当医疗器械移动通过分支解剖结构的腔时可能采取的潜在路径进行匹配。可能出现两条或多于两条的潜在路径与更新的系列接近地匹配。在那样的情况下，尽管取决于那个点指定最接近的匹配为最可能的匹配，但当在依次返回通过方框501-504之后识别下一个轨迹片段时，更新的系列的轨迹片段可以与其他潜在的匹配之一更接近地匹配，以指示与先前识别的“假”匹配相比的“真实”匹配。因此，“假匹配”错误在方法中被自校正。相反，当“假匹配”已经出现时，现有技术方法通常需要操作者辨别并校正该错误，其对于操作者可能是非常困难和消耗时间的。
在方框507中，方法识别当前轨迹片段与分支解剖结构的计算机模型内的位置的潜在匹配。尽管当前的轨迹片段不限于通过移动通过通至结点的一个腔并进入由结点分叉出来的另一个腔来使医疗器械通过分支解剖结构的结点所终止的轨迹片段，但通常遇到这类轨迹片段并将其用于描述方法。
潜在的匹配代表来自分支解剖结构中所有结点的范围中的有限的结点集(如二根分叉部和三根分叉部)。许多过滤准则被用于限制结点集(如通过潜在地识别匹配结点或通过排除某些结点)。一个这样的过滤准则为当前的轨迹片段和可以由分支解剖结构的计算机模型生成的合成图像的潜在匹配之间的拓扑学上相等。合成图像代表相应于当医疗器械移动通过分支解剖结构时，在医疗器械的远端处拍摄的图像的分支解剖结构的三维计算机模型内的视图。尽管这样的合成图像被描述为在本文中使用，但应当理解的是指示这样的合成图像的信息可以替代地由计算机模型提取。作为使用拓扑学上相等作为过滤准则的实例，如果轨迹片段指示正被经过的结点是二根分叉部，那么可以只包括二根分叉部结点。相反地，如果轨迹片段指示正被经过的结点是三根分叉部，那么可以只包括三根分叉部结点。作为另一个实例，如果轨迹片段指示通过上游结点的腔中的一个的下游结点是可见的，那么只有指示满足这样拓扑的结点的合成图像可以被包括在潜在的匹配集中。拓扑学上相等优选地为合成图像被认为是轨迹片段潜在匹配的阀值要求。
用于限制结点集以生成与当前轨迹片段潜在匹配的其他过滤准则可以使用可得的传感器信息。作为实例，图22图示由接口170控制的医疗器械110移动通过开口2201并沿着由方框2200表示的解剖结构中弯曲的路径2202移动的示意图。四个任选的传感器2221、2222、2223、2224提供可以被用于进一步限制潜在结点匹配集的信息。信号通信光缆或线132从远端传感器2222、2223传输信息返回至接口170。如图1所示，然后将传感器信息提供至传感器(一个或多个)处理器130，其可以包括模拟数字(A/D)转换器，以便可以将信息转换为适合于被主处理器160处理的格式。
可以任选地提供插入传感器2221以提供关于医疗器械已经被插入解剖结构2200多少的信息。利用该信息，只有距离开口的插入深度在阀值距离内的结点将被包括在潜在匹配集内。该类传感器尤其可用于检测方向翻转的情况，诸如当医疗器械在先前进入腔之后已经退出二根分叉部腔的时候。通常，这样的插入传感器2221可以常地规被提供在接口170内或邻近接口170，以检测医疗器械110进入和退出解剖结构2200的线性运动。
可以任选地在医疗器械110的远端111处提供位置传感器2222，以提供三维空间(诸如图23所图示的点XK、YK、ZK)内的位置信息。利用该信息，只有在距离感测位置的阀值距离内(诸如在传感器的不确定范围内)的结点将被包括在潜在匹配集内。
可以任选地在医疗器械110的远端111处提供方位传感器2223以为远端提供方位信息。例如，如图24所图示，指示相当于接收的图像(其在腔2413中已经被拍摄)的水平线的线2411偏离垂直于重力向量的参考线2412多少的角度的信息可以由方位传感器2223提供。利用该信息，可以调节接收的图像中斑块的方位以更精确地反应在由分支解剖结构的计算机模型生成的合成图像中预期它们看起来像的。该方位信息特别可用于防止在确定哪一个斑块在另一个的左边或右边中可能的错误(即，避免左/右颠倒的错误)，这是因为仅有一条与双腔二根分叉部相关联的路。
可以任选地提供滚动传感器2224以提供医疗器械110已经围绕它的纵轴旋转多少的信息。当方位传感器不可用时该信息可以用于估计远端的方位。通常，这样的滚动传感器2224可以常规地被提供在接口170内或邻近接口170，以检测医疗器械110围绕它的纵轴的旋转。
在其他实施方式中，额外的过滤数据可以包括可以用于使结点概率的范围变窄的历史使用者输入。例如，导航控制输入(如，在一个或多个结点处的操纵命令)可以被用作识别在给定的结点(一个或多个)处进入的最可能的腔(一个或多个)的根据。该方向指示(一个或多个)可以补充或被用于代替斑块跟踪技术，例如增强路径跟踪/腔识别。可选地，使用者可以出于结点过滤的目的具体提供输入(例如，具体解剖特征诸如腔、二根分叉部和/或其他组织结构可以由使用者手动“做记号(marked)”、标记或以其他方式识别，用于随后并入结点过滤算法)。该解剖界标的手工标识可以显著地减少结点概率的范围。
然后，在使用拓扑学上相等准则和任选地任意可得的传感器信息和/或使用者输入过滤潜在匹配集后，可以对该集的剩余成员执行定量比较。用于执行这样的定量比较的一个技术使用由当前的轨迹片段确定的特征属性和由解剖结构的计算机模型对计算机模型的结点提取的相应特征属性。作为实例，当前的轨迹片段的特征属性应当合理地接近相应于计算机模型的结点的合成图像的特征属性，以便结点和它们的合成图像被包括在潜在匹配集中。由于当操作医疗器械的远端朝向并通过由结点分叉出来的腔中的一个时特征属性可能变化，当前轨迹片段的特征属性优选地由在这样的远端操纵发生之前拍摄的图像确定。
为了在轨迹片段和潜在匹配之间执行这样的定量比较，方法确定当前的轨迹片段中斑块的特征属性。该特征属性被用于在分支解剖结构中将不同的二根分叉部彼此区分开和将不同的三根分叉部彼此区分开。
作为实例，图16图示具有如斑块/腔1601中所见的左和右斑块/腔1602、1603的二根分叉部。可以根据常用标度(诸如接收的图像中的像素)和计算的比例进行左和右腔的高度“a”和“c”以及宽度“b”和“d”的测量以确定特征属性，诸如高度的比例“a/c”，宽度的比例“b/d”，左斑块/腔的纵横比“b/a”和右斑块/腔的纵横比“d/c”。可以理解，由于纵横比可以指示腔由结点向外延伸的角度，所以纵横比特别可能为非常有信息的。
作为实例，图17图示了具有如斑块/腔1701中所见的左和右斑块/腔1702、1703的二根分叉部。作为参考线，在固定的水平面上(即，垂直于重力向量的平面)展示水平线1707。展示另一条线1706，其延伸通过斑块/腔1702、1703的形心1704、1705。然后可以测量或者以其他方式测定线1707、1706之间的角度θ以作为二根分叉部的特征属性。连接形心1704、1705的线段的长度也可以被用于生成二根分叉部的其他特征属性。例如，可以通过将每一个斑块的高度和宽度除以线段的长度计算比例。还可以测量或者以其他方式测定斑块1702、1703的高度线1712、1713之间的角度ψ，以作为二根分叉部的另一个特征属性。还可以测量或者以其他方式测定斑块的宽度线之间的相似的角度，以作为二根分叉部的又另一个特征属性。
作为另一个实例，图20图示由图6所示的接收的图像提取的斑块。在该情况下提取的斑块可以起因于图7所示的斑块的额外图像处理。前景二根分叉部包括斑块/腔2001、2002。观察斑块/腔2001，可见包括斑块/腔2011、2012的下游二根分叉部。同样地，观察斑块/腔2002，可见包括斑块/腔2021、2022的另一个下游二根分叉部。线段2003连接斑块/腔2001、2002的形心，线段2013连接斑块/腔2011、2012的形心，以及线段2023连接斑块/腔2021、2022的形心。使用线段2003、2013、2023可以限定和定量若干特征属性。例如，可以使用每一条线段的长度与它们各自斑块的高度和/或宽度的比例以限定斑块的特征属性。作为另一个实例，线段对之间的角度可以限定图像的其他特征属性。注意的是这些特征属性的测量是方位独立的(即，即使旋转图像拍摄设备由此改变视图的方位，但产生相同的值)。因此，这类的特征属性优于诸如图17所示需要固定参考线的方位依赖的特征属性。
作为又另一个实例，图21图示使用提取的斑块作为将与由分支解剖结构的计算机模型生成的合成图像的相应斑块进行比较的模版(例如，拍摄的图像中二根分叉部的左斑块/腔的形状与来自分支解剖结构的计算机模型的二根分叉部的合成图像中左腔的形状相比较)。在该方式中，斑块模板也可以被用作特征属性。应当理解，使用指示提取的斑块的相对形状、大小和方位的各种线和角度也可以限定超出本文中描述的那些的许多特征属性。进一步，代替仅为一张接收的图像确定提取的斑块的特征属性，可以通过平均确定的信息和/或消除轨迹片段中图像的确定的信息中的异常值为轨迹片段(即，一系列拓扑学上相等的图像)确定特征属性。除了由如上描述的提取的斑块的拓扑和几何特征确定的特征属性之外，在本文描述的方法中还可以限定和使用其他特征属性，其涉及拍摄的图像中识别的特征点。作为实例，尺度不变特征转换(SIFT)可以被用来从拍摄的图像中提取特征点。用于比较真实图像和计算机模型的特征属性还可以是使用从运动恢复结构(Structure fromMotion)(SfM)技术由多张图像帧提取的三维特征。参见，如Richard Hartley and AndrewZisserman,Multiple View Geometry in Computer Vision,Cambridge UniversityPress,2nd Edition,2004。同样地，参见，如C.Tomasi and T.Kanade,“Factoring imagesequences into shape and motion,”Proceedings of the IEEE Workshop on VisualMotion,pages 21–28,Princeton,NJ,October 1991。
除了使用特征属性区分分支解剖结构的二根分叉部和三根分叉部之外，为一系列图像确定的特征属性作为执行方框504的部分还可以被用于检测假阴性和假阳性。作为实例，图18和19图示一系列图像，其中图18中所示图像在图19中所示图像之前被接收。当操纵医疗器械的远端朝向右腔1803时，预期左腔的纵横比变小同时预期右腔的纵横比变大。可以还限定其他特征属性以指示操纵的方向。例如，如果斑块/腔1802的形心为“A”，斑块/腔1803的形心为“B”以及医疗器械当前正移动通过的腔1801的形心为“C”，那么当操纵医疗器械的远端朝向右腔1803时，预期斑块/腔1801、1803的形心之间的距离将变小。因此，通过跟踪斑块/腔1802、1803的形心A和B至腔1801的形心C之间的距离，可以确定正在操纵的医疗器械的远端的方向。该信息可以被用于避免上面所描述的假阴性。
由在方框507中方法执行的定量比较指示当前轨迹片段中斑块的特征属性与潜在结点匹配的合成图像中斑块的相应特征属性的匹配有多么“密切”。作为实例，可以计算当前轨迹片段中二根分叉部的左斑块的纵横比与潜在匹配的每个合成图像中二根分叉部的左斑块的纵横比之间的差。作为另一个实例，如图21所示，提取的斑块2100与已经由分支解剖结构的计算机模型生成的合成斑块2101的形状之间的差(例如，在Zm和Yn处相对的箭头之间的距离)可以被确定并被用于定量比较的目的。在该情况下差越小，轨迹片段与合成图像中表示的结点之间的匹配越好。
优选地将定量比较转换为每一个潜在匹配或假设的概率或置信度。作为实例，ith轨迹片段(ti)的jth假设(hi,j)的可能性可以如下表达：
其中Oi代表与ti相关的所有观测值；代表与ti相关的所有图像观测值；以及代表与ti相关的所有可得传感器观测值。
在确定潜在匹配集中每一个成员的定量比较之后，方法在存储器诸如存储器161中储存对当前轨迹片段的定量比较的结果。
在方框508中，方法识别当前轨迹片段到新的轨迹片段之间转变的潜在匹配。如在方框507中描述的相似的过滤技术可以在方框508中执行。例如，对于分支解剖结构内的每个腔，相应于腔内视图的合成图像可以由分支解剖结构的计算机模型生成。然后，可以将与当前轨迹片段和下一个轨迹片段相关的拍摄的图像与相应于分支解剖结构内连接的腔对的合成图像对的拓扑学上相等进行比较。可得的传感器信息也可以被用于从当前和新的轨迹片段之间的转变的潜在匹配集中消除分支解剖结构内连接的腔对。然后对潜在匹配集的剩余成员执行定量比较，并优选地将定量比较转换为每个潜在匹配或假设的转变概率或置信度。
在确定潜在转变匹配集中每一成员的定量比较之后，方法在存储器诸如存储器161中储存从当前轨迹片段至新的轨迹片段的转变的定量比较的结果。
在方框509中，然后，方法通过考虑当医疗器械移动通过分支解剖结构时构成医疗器械路径的系列轨迹片段中一个或多个相邻轨迹片段的信息确定由依次通过方框501-510得到的系列轨迹片段的最可能匹配。在依次通过方框501-510时，在对那些轨迹片段进行方框507和508的处理期间现有轨迹片段的信息已经被储存在存储器中。
当前轨迹片段假设的路径“T”的可能性为当前轨迹片段单独假设的可能性和相邻轨迹片段的转变概率的组合。医疗器械由ith轨迹片段处jth假设转换状态至(i+1)th轨迹片段处kth假设的转变概率可以如下表达：
qi，j，k＝Pr(ti+1＝hi+1，k|ti＝hi，j) (2)
其为分支解剖结构的计算机模型中连接性(connectivity)的静态现有知识和医疗器械进入由当前轨迹片段指示的结点分叉出的哪个腔的动态知识的组合。例如通过使用合适的成像形式执行患者扫描以拍摄可以生成分支解剖结构的精确的三维计算机模型的图像切片，可以获得分支解剖结构的计算机模型中连接性的静态现有知识。例如通过以遵循如本文描述的分析推论的人工推论编程处理器，可以获得医疗器械进入由当前轨迹片段指示的结点分叉出的哪个腔的动态知识。
然后，当前系列的轨迹片段的最可能匹配基于医疗器械采取的最可能的假设路径。作为实例，解决方案可以为使组合概率最大的路径，表达如下：
T*＝argmaxTPr(O|T) (3)
用于有效地解决上述不连续路径优化问题的一种技术为使用动态规划(DP)，其类似于隐马尔可夫模型(HMM)中推理算法。
在完成方框509的处理之后，然后在方框510中方法重限定新的轨迹片段为当前轨迹片段并循环返回至方框501以扩张并处理先前在方框504中被检测的新的当前轨迹片段。然后当医疗器械继续移动通过分支解剖结构时，方法继续依次经过方框501-510。
虽然本发明的各个方面已经根据一个或多个实施方式进行了描述，但应当理解，本发明具有完全保护所附权利要求的全部范围的权利。

Claims (20)

1.医疗系统，其包括：
医疗器械；
图像拍摄设备，当所述医疗器械移动通过分支解剖结构内包括多个腔的路径时，其自所述医疗器械的远端透视图拍摄一系列图像；
存储器，其储存所述分支解剖结构的计算机模型的信息；和
处理器，其被编程以配准所述计算机模型与所述医疗器械，其用于通过如下步骤确定所述医疗器械在所述分支解剖结构内的位置：
通过由所述一系列图像中提取斑块提取出现在所述一系列图像中的腔的信息，以便出现在所述一系列图像中的每一个腔由所提取的斑块之一表示，确定与出现在所述一系列图像的第一图像中的第一提取的斑块相关的尺寸的第一比例，确定与出现在所述第一图像中的第二提取的斑块相关的尺寸的第二比例，和确定由从所述第一提取的斑块的第一形心延伸至所述第二提取的斑块的第二形心的线限定的角度；和
通过使用所述尺寸的第一比例、所述尺寸的第二比例和所述角度，确定所述腔的信息和已经由所述分支解剖结构的所述计算机模型提取的相应信息之间的最可能的匹配。
2.如权利要求1所述的医疗系统，其中所述一系列图像包括多个轨迹片段，其中所述多个轨迹片段的每一个包括所述一系列图像的子集，其中所述轨迹片段中的每个图像通过具有出现在图像中的相同的腔集与所述轨迹片段中的所有其他图像为拓扑学上相等的，其中所述轨迹片段中的每个图像拓扑学上不同于相邻轨迹片段中的图像，以便不同的腔集出现在相邻轨迹片段中的图像中，并且其中所述处理器被编程以通过下述步骤确定所述最可能的匹配：
为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的潜在匹配集；
为所述多个轨迹片段的每一个的所述潜在匹配集的每一个成员确定表示匹配质量的概率；
使用所述概率信息为所述多个轨迹片段的每一个的所述潜在匹配集确定最大组合概率。
3.如权利要求2所述的医疗系统，其中所述处理器进一步被编程以通过下述步骤确定所述最可能的匹配：
为所述多个轨迹片段的每一个的所述潜在匹配集的每一个成员确定转变概率集，其中所述转变概率集的每一个成员表示从轨迹片段至所述多个轨迹片段的顺序上下一个轨迹片段的转变的匹配质量；和
使用所述概率和转变概率的信息为所述多个轨迹片段的每一个的所述潜在匹配集确定所述最大组合概率。
4.如权利要求3所述的医疗系统，其中所述处理器被编程以使用所述分支解剖结构的所述计算机模型中连接性的静态知识为所述多个轨迹片段的每一个的所述潜在匹配集的每一个成员确定所述转变概率集。
5.如权利要求3所述的医疗系统，其中所述处理器被编程以使用所述医疗器械移动通过所述分支解剖结构中所述路径的动态知识为所述多个轨迹片段的每一个的所述潜在匹配集的每一个成员确定所述转变概率集。
6.如权利要求2所述的医疗系统，其中所述处理器被编程以为多个轨迹片段中每一个识别所述分支解剖结构的所述计算机模型中潜在匹配集，所述识别通过：
确定所述提取的斑块的特征属性的信息；和
将所述特征属性与由所述分支解剖结构的所述计算机模型提取的相应特征属性进行比较。
7.如权利要求6所述的医疗系统，其中所述处理器被编程以通过如下确定所述提取的斑块的特征属性的信息：
确定所述提取的斑块的数目、形状、大小、位置和方位中一个或多个的信息。
8.如权利要求7所述的医疗系统，其中所述处理器被编程以通过如下确定所述提取的斑块的所述特征属性的信息：
确定涉及所述提取的斑块的尺寸的多个比例，和确定延伸通过提取的斑块对的形心的线之间的多个角度，其中每一对提取的斑块表示由所述分支解剖结构中相同的结点分叉出的腔。
9.如权利要求2所述的医疗系统，其中所述处理器被编程以通过如下为所述多个轨迹片段中每一个识别所述分支解剖结构的所述计算机模型中所述潜在匹配集：
将所述潜在匹配集限制在相当于合成图像的结点，所述合成图像为可由所述分支解剖结构的所述计算机模型提取的并且拥有与在所述轨迹片段中出现在所述合成图像中的腔的相同的数目和相对位置，其中所述相对位置表示哪个腔出现在其他腔内。
10.如权利要求2所述的医疗系统，其中所述处理器被编程以通过如下为所述多个轨迹片段中每一个识别所述分支解剖结构的所述计算机模型中所述潜在匹配集：
将所述潜在匹配集限制在相当于合成图像的结点，所述合成图像为可由所述分支解剖结构的所述计算机模型提取的并且拥有与所述轨迹片段的所述提取的斑块的特征属性的阀值差内的特征属性。
11.如权利要求2所述的医疗系统，其中所述处理器被编程以通过如下为所述多个轨迹片段中每一个识别所述分支解剖结构的所述计算机模型中所述潜在匹配集：
通过确定表示所述提取的斑块中特征属性中之一与合成图像中所述特征属性的相应一个之间的差的值，生成所述轨迹片段的所述提取的斑块的所述特征属性与所述潜在匹配集的成员的所述合成图像的相应特征属性的定量比较。
12.如权利要求2所述的医疗系统，其中所述处理器被编程以通过只包括与所述轨迹片段拓扑学上相等的所述分支解剖结构的所述计算机模型的分支为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的所述潜在匹配集。
13.如权利要求2所述的医疗系统，其中相邻的轨迹片段具有至少一个共同的腔。
14.如权利要求2所述的医疗系统，所述处理器被编程以通过提取和跟踪所述一系列图像中的斑块识别每一个轨迹片段直到所述斑块的集改变。
15.如权利要求14所述的医疗系统，其中所述处理器被编程以：
分析所述一系列图像的集以检测所述提取的斑块中的错误识别的腔，其将对所述提取的斑块集产生假增加；以及检测所述医疗器械已经进入腔的错误确定，其将产生从所述提取的斑块集的假减少；
通过忽略来自所述一系列图像中所述提取的斑块集的假增加和假减少，确定每一个轨迹片段的提取的斑块的成员。
16.如权利要求2所述的医疗系统，其中所述处理器被编程以通过使用平均所确定的信息和消除所述确定的信息中的异常值中至少一个过滤所述确定的信息来确定所述提取的斑块的特征属性的信息。
17.如权利要求2所述的医疗系统，其中所述分支解剖结构的所述计算机模型被空间上与所述医疗器械正移动通过的所述分支解剖结构配准，所述医疗系统进一步包括：
位置传感器，用于确定所述医疗器械的所述远端相对于所述分支解剖结构的位置；
其中所述处理器被编程以通过使用来自所述位置传感器的位置信息为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的所述潜在匹配集。
18.如权利要求2所述的医疗系统，其中所述分支解剖结构的所述计算机模型被空间上与所述医疗器械正移动通过的所述分支解剖结构配准，所述医疗系统进一步包括：
方位传感器，用于确定所述医疗器械的所述远端相对于固定水平面的方位；
其中所述处理器被编程以通过使用来自所述方位传感器的方位信息为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的所述潜在匹配集。
19.如权利要求2所述的医疗系统，其中所述分支解剖结构的所述计算机模型被空间上与所述医疗器械正移动通过的所述分支解剖结构配准，所述医疗系统进一步包括：
滚动传感器，用于确定围绕所述医疗器械的纵轴所述医疗器械的滚动角度；
其中所述处理器被编程以通过使用来自所述滚动传感器的滚动信息为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的所述潜在匹配集。
20.如权利要求2所述的医疗系统，其中所述分支解剖结构的所述计算机模型被空间上与所述医疗器械正移动通过的所述分支解剖结构配准，所述医疗系统进一步包括：
插入传感器，用于确定所述医疗器械的所述远端进入所述分支解剖结构的插入距离；
其中所述处理器被编程以通过使用来自所述插入传感器的插入信息为所述多个轨迹片段的每一个识别所述分支解剖结构的所述计算机模型中的所述潜在匹配集。
CN201380053469.5A 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置 Active CN104736085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711429692.1A CN108042092B (zh) 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261713010P 2012-10-12 2012-10-12
US61/713,010 2012-10-12
PCT/US2013/063813 WO2014058838A1 (en) 2012-10-12 2013-10-08 Determining position of medical device in branched anatomical structure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711429692.1A Division CN108042092B (zh) 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置

Publications (2)

Publication Number Publication Date
CN104736085A CN104736085A (zh) 2015-06-24
CN104736085B true CN104736085B (zh) 2018-01-30

Family

ID=50477813

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380053469.5A Active CN104736085B (zh) 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置
CN201711429692.1A Active CN108042092B (zh) 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711429692.1A Active CN108042092B (zh) 2012-10-12 2013-10-08 确定医疗器械在分支解剖结构中的位置

Country Status (6)

Country Link
US (3) US20140180063A1 (zh)
EP (1) EP2906133B1 (zh)
JP (1) JP6219396B2 (zh)
KR (1) KR102196291B1 (zh)
CN (2) CN104736085B (zh)
WO (1) WO2014058838A1 (zh)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930065B2 (en) * 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20130317519A1 (en) 2012-05-25 2013-11-28 Hansen Medical, Inc. Low friction instrument driver interface for robotic systems
US20140180063A1 (en) 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
DE102013219737B4 (de) * 2013-09-30 2019-05-09 Siemens Healthcare Gmbh Angiographisches Untersuchungsverfahren eines Gefäßsystems
JP6656148B2 (ja) * 2013-10-24 2020-03-04 オーリス ヘルス インコーポレイテッド ロボット支援管腔内手術のためのシステムおよび関連する方法
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
WO2016004310A2 (en) 2014-07-02 2016-01-07 Covidien Lp Real-time automatic registration feedback
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
KR102425170B1 (ko) 2014-11-13 2022-07-26 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정위 데이터를 필터링하기 위한 시스템 및 방법
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6413927B2 (ja) * 2015-05-25 2018-10-31 コニカミノルタ株式会社 動態解析装置及び動態解析システム
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
KR102429651B1 (ko) 2015-09-09 2022-08-05 아우리스 헬스, 인크. 수술 로봇 시스템을 위한 기구 장치 조작기
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
JP6218991B2 (ja) * 2015-11-13 2017-10-25 オリンパス株式会社 内視鏡の状態推定装置の作動方法および内視鏡システム
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN105769109B (zh) * 2016-04-28 2017-07-18 深圳市鹏瑞智能图像有限公司 一种内窥镜扫描控制方法及系统
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
EP3432794B1 (en) * 2016-05-03 2020-09-09 St. Jude Medical International Holding S.à r.l. Magnetic field distortion detection and correction in a magnetic localization system
US11241559B2 (en) 2016-08-29 2022-02-08 Auris Health, Inc. Active drive for guidewire manipulation
KR102555546B1 (ko) 2016-08-31 2023-07-19 아우리스 헬스, 인코포레이티드 길이 보존 수술용 기구
WO2018085788A1 (en) * 2016-11-04 2018-05-11 The University Of North Carolina At Chapel Hill Office Of Commercialization And Economic Development Methods, systems, and computer readable media for smart image protocoling
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
EP4000551A1 (en) 2017-04-02 2022-05-25 Mazor Robotics Ltd. Three dimensional robotic bioprinter
EP3641686A4 (en) 2017-06-23 2021-03-24 Intuitive Surgical Operations, Inc. SYSTEMS AND PROCEDURES FOR NAVIGATION TO A DESTINATION DURING A MEDICAL OPERATION
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7317723B2 (ja) 2017-06-28 2023-07-31 オーリス ヘルス インコーポレイテッド 電磁場の歪み検出
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US11580745B2 (en) * 2017-08-17 2023-02-14 National University Of Singapore Video visual relation detection methods and systems
WO2019075074A1 (en) 2017-10-10 2019-04-18 Covidien Lp SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11304669B2 (en) * 2017-10-12 2022-04-19 Canon Medical Systems Corporation X-ray diagnosis apparatus, medical image processing apparatus, medical image processing system, and medical image processing method
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
EP3710096A1 (en) 2017-11-17 2020-09-23 Convergascent LLC Devices and systems for intraluminal local drug delivery
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的插入架构的系统和方法
US11510736B2 (en) 2017-12-14 2022-11-29 Auris Health, Inc. System and method for estimating instrument location
CN110809453B (zh) 2017-12-18 2023-06-06 奥瑞斯健康公司 用于腔网络内的器械跟踪和导航的方法和系统
JP7463277B2 (ja) 2018-01-17 2024-04-08 オーリス ヘルス インコーポレイテッド 改善されたロボットアームを有する外科用ロボットシステム
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
CN110891469B (zh) 2018-03-28 2023-01-13 奥瑞斯健康公司 用于定位传感器的配准的系统和方法
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
USD887405S1 (en) 2018-04-25 2020-06-16 Fitbit, Inc. Body of smart watch with health monitor sensor
US11219488B2 (en) * 2018-04-25 2022-01-11 Biosense Webster (Israel) Ltd. Determining catheter touch location using force-vector information
WO2019212016A1 (ja) * 2018-05-01 2019-11-07 国立大学法人東北大学 画像処理装置，画像処理方法および画像処理プログラム
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
MX2020012904A (es) * 2018-05-31 2021-02-26 Auris Health Inc Analisis y mapeo de vias respiratorias basados en imagen.
KR102567087B1 (ko) 2018-05-31 2023-08-17 아우리스 헬스, 인코포레이티드 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
CN109350791B (zh) * 2018-12-13 2021-04-27 中国人民解放军陆军特色医学中心 一种肺泡灌洗装置
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
CN113613580A (zh) 2019-03-22 2021-11-05 奥瑞斯健康公司 用于使医疗器械上的输入部对准的系统和方法
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
EP4013338A4 (en) 2019-08-12 2023-08-30 Bard Access Systems, Inc. FORM MEASUREMENT SYSTEMS AND PROCESSES FOR MEDICAL DEVICES
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
WO2021038469A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
EP4025921A4 (en) 2019-09-03 2023-09-06 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION AND COMPENSATION
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11712224B2 (en) * 2019-10-11 2023-08-01 GE Precision Healthcare LLC Method and systems for context awareness enabled ultrasound scanning
US11850338B2 (en) 2019-11-25 2023-12-26 Bard Access Systems, Inc. Optical tip-tracking systems and methods thereof
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien
US11819242B2 (en) * 2019-12-29 2023-11-21 Biosense Webster (Israel) Ltd. Navigated trocar with internal camera
US11786271B2 (en) * 2019-12-29 2023-10-17 Biosense Webster (Israel) Ltd. Trocar with modular obturator head
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
CN114901188A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 动态滑轮系统
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
EP4084724A4 (en) 2019-12-31 2023-12-27 Auris Health, Inc. ADVANCED BASKET TRAINING MODE
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US20210275255A1 (en) * 2020-03-09 2021-09-09 Biosense Webster (Israel) Ltd. Finding roll angle of distal end of deflectable or non-deflectable invasive medical instrument
EP3920189A1 (en) * 2020-06-04 2021-12-08 Ambu A/S Estimating a position of an endoscope in a model of the human airways
EP4171423A1 (en) 2020-06-26 2023-05-03 Bard Access Systems, Inc. Malposition detection system
EP4171373A1 (en) 2020-06-29 2023-05-03 Bard Access Systems, Inc. Automatic dimensional frame reference for fiber optic
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
CN216675721U (zh) 2020-08-03 2022-06-07 巴德阿克塞斯系统股份有限公司 布拉格光栅光纤波动感测与监测系统
EP4346677A2 (en) * 2021-05-27 2024-04-10 Covidien LP Improved systems and methods of navigating a medical device in a body lumen using fuzzy logic combined with device parameters, direct user inputs, and distributed anonymized data
CN115868960A (zh) * 2021-09-27 2023-03-31 巴德阿克塞斯系统股份有限公司 医疗器械形状过滤系统和方法
CN114831731B (zh) * 2022-05-17 2022-09-02 真健康（北京）医疗科技有限公司 适用于手术室进行肺部病灶定位的手术导航设备和系统
US20230404670A1 (en) * 2022-05-27 2023-12-21 Covidien Lp Creating a navigation pathway to a target in the lung and method of navigating to the target

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439631A (zh) * 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
WO1995020343A1 (en) * 1994-01-28 1995-08-03 Schneider Medical Technologies, Inc. Imaging device and method
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
EP1715788B1 (en) * 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
WO2007129616A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8660635B2 (en) * 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
WO2008125910A2 (en) * 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8146874B2 (en) 2007-02-02 2012-04-03 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
US9629571B2 (en) * 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
US7720322B2 (en) 2008-06-30 2010-05-18 Intuitive Surgical, Inc. Fiber optic shape sensor
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
WO2011094518A2 (en) * 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US20120130171A1 (en) * 2010-11-18 2012-05-24 C2Cure Inc. Endoscope guidance based on image matching
WO2012106310A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US20140180063A1 (en) 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439631A (zh) * 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Computer-based system for the virtual-endoscopic guidance of bronchoscopy;J.P. Helferty 等;《Computer Vision and Image Understanding》;20070118;第108卷;171-187 *

Also Published As

Publication number Publication date
EP2906133B1 (en) 2022-03-23
JP2016501557A (ja) 2016-01-21
US11903693B2 (en) 2024-02-20
CN108042092A (zh) 2018-05-18
EP2906133A4 (en) 2016-06-22
JP6219396B2 (ja) 2017-10-25
KR20150068382A (ko) 2015-06-19
CN108042092B (zh) 2023-02-28
US20140180063A1 (en) 2014-06-26
KR102196291B1 (ko) 2020-12-30
EP2906133A1 (en) 2015-08-19
US10888248B2 (en) 2021-01-12
US20170311844A1 (en) 2017-11-02
WO2014058838A1 (en) 2014-04-17
CN104736085A (zh) 2015-06-24
US20210244311A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN104736085B (zh) 确定医疗器械在分支解剖结构中的位置
JP7214757B2 (ja) 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
US20230390002A1 (en) Path-based navigation of tubular networks
EP3349649B1 (en) Navigation of tubular networks
CN106562757B (zh) 用于多个视觉系统的配准的系统和方法
CN108990412A (zh) 补偿生理噪声的用于腔网络导航的机器人系统
US20230346479A1 (en) Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation
Merritt et al. Real-time CT-video registration for continuous endoscopic guidance
US20230281841A1 (en) Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data
US20230162380A1 (en) Mitigation of registration data oversampling
CN116916847A (zh) 用于基于图像的配准的系统及其相关方法
Fried et al. Landmark Based Bronchoscope Localization for Needle Insertion Under Respiratory Deformation
US20230240750A1 (en) Systems for evaluating registerability of anatomic models and associated methods
CN116940297A (zh) 基于动态图像的定位的系统
Wan The concept of evolutionary computing for robust surgical endoscope tracking and navigation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant