CN105232152B - 荧光镜位姿估计 - Google Patents

荧光镜位姿估计 Download PDF

Info

Publication number
CN105232152B
CN105232152B CN201510381195.3A CN201510381195A CN105232152B CN 105232152 B CN105232152 B CN 105232152B CN 201510381195 A CN201510381195 A CN 201510381195A CN 105232152 B CN105232152 B CN 105232152B
Authority
CN
China
Prior art keywords
angle
label
projection
heel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510381195.3A
Other languages
English (en)
Other versions
CN105232152A (zh
Inventor
N·J·梅勒特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nellcor Puritan Bennett LLC
Original Assignee
Nellcor Puritan Bennett LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nellcor Puritan Bennett LLC filed Critical Nellcor Puritan Bennett LLC
Publication of CN105232152A publication Critical patent/CN105232152A/zh
Application granted granted Critical
Publication of CN105232152B publication Critical patent/CN105232152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明涉及荧光镜位姿估计。公开了用于使用多个标记使三维(3D)CT图像数据与二维(2D)荧光镜图像数据对准的方法和系统。在该方法和系统中，搜索外侧角和颅侧角并且计算倾侧角。还计算3D平移坐标。连续预定次数地计算所计算的倾侧角和3D平移坐标。在执行计算之后，基于外侧角、颅侧角、倾侧角和3D平移坐标将3D CT图像数据覆盖在2D荧光镜图像数据上。

Description

荧光镜位姿估计
相关申请的交叉引用
本申请要求2014年7月2日提交的美国临时专利申请No.62/020,250的权益和优先权，该申请的全部内容通过引用合并于此。
技术领域
本公开涉及用于外科程序的导航和位置确认的系统、装置和方法。更具体地，本公开涉及找出关于CT的荧光镜投影变量(角度、焦点、变焦等等)以从CT提取有关数据并且将其覆盖在荧光镜图像上的系统和方法。
背景技术
已经开发了与可视化患者的肺相关的可视化技术以帮助临床医生对患者的肺执行诊断和/或手术。可视化对于识别患病区域的位置尤其重要。此外，当治疗患病区域时，对识别患病区域的具体位置给予额外重视以使得在正确位置处执行外科手术。
例如，在肺中，已经开发了支气管内导航系统，该支气管内导航系统使用CT图像数据来创建导航计划，以便于使导航导管(或者其它合适的装置)前进通过支气管镜和患者的支气管的分支而到感兴趣区域。可以在诊断(即，活体组织检查)阶段和治疗阶段两者中采用支气管内导航。电磁跟踪可以与CT数据结合使用以便于引导导航导管通过支气管的分支而到感兴趣区域。在某些实例中，导航导管可以定位在邻近感兴趣区域或者感兴趣区域内的分支内腔网状组织的气道中的一个内，以为一个或者多个医疗器械提供通路。然而，由于绘制时间和对附近用户的辐射危害，因此CT数据不是实时使用的。
一旦导航导管就位，可以使用荧光镜检查使医疗器械(包括活体组织检查工具(诸如，刷子、针和镊子)以及治疗工具(诸如消融导管))可视化，如它们实时穿过导航导管并且进入到肺中以及到感兴趣区域的那样。常规荧光镜检查在医疗程序期间广泛地用作用于在人体内部引导医疗器械的可视化成像工具。尽管在荧光镜图片上清楚地可见像导管、活体组织检查工具等等的医疗器械，但是诸如软组织、血管、可疑肿瘤病变等等的器官特性稍微透明或者完全透明并且因此难以用常规荧光镜检查识别。另外，荧光镜图像绘制平面2D图像，在该平面2D图像上评估医疗器械的三维位置会稍微有挑战性。因而，没有向临床医生提供能够使患者身体内的医疗装置相对于感兴趣区域的放置可视化所需要的全部信息。
尽管已知位姿估计方法，但这些方法具有限制。例如，由于非收敛最终可能没有解，或者收敛导致错误的解。计算时间没有上限。一些方法需要使用4个点并且在这些点上存在几何约束，尤其是相对于共平面性。在以直观方式调试故障中会有困难。此外，一些方法需要精确的摄像机校准。
发明内容
在实施例中，本公开公开了用于使用多个标记使三维(3D)CT图像数据与二维(2D)荧光镜图像数据对准的方法。方法包括搜索外侧角和颅侧角以及将标记的3D质心移动至标记的2D质心与源之间的半线段。方法还包括计算倾侧角、3D平移坐标。连续预定次数地计算倾侧角和3D平移坐标。基于外侧角、颅侧角、倾侧角和3D平移坐标将3D CT图像数据覆盖在2D荧光镜图像数据上。
在一个方面中，搜索外侧角和颅侧角包括在2D网格中尝试样本值、基于样本值找到最小值以及使用最陡下降法从最小值尝试样本值。
在另一个方面中，计算倾侧角包括计算在2D荧光镜图像数据中将标记的2D质心接合至2D标记的2D矢量、为投影的3D标记计算投影的矢量以及确定倾侧角，该倾侧角为2D矢量与投影的矢量之间的角度。
在一个方面中，方法还包括基于外侧角、颅侧角和倾侧角确定解的性能，其中通过计算解的分数确定性能。
在另一个方面中，分数确定为投影的3D标记和2D标记的中心之间的平均距离、投影的3D标记与2D标记之间的长度的平均差和投影的3D标记和2D标记之间的平均角度差的加权和。
在一个方面中，计算3D平移坐标包括获得平行平移和获得垂直平移。
在另一个方面中，获得平行平移包括通过将3D质心移动至投影轴的中间并且对3D质心应用平行于荧光平面的小平移来将投影的3D标记的3D质心拟合至2D质心。
在又另一个方面中，获得垂直平移包括将2D标记之间的相互距离与投影的3D标记之间的相互距离进行比较。
在另一个实施例中，本公开公开了用于使用多个标记使三维(3D)CT图像数据与二维(2D)荧光镜图像数据对准的方法。方法包括获得多个荧光标记和CT标记、搜索外侧角和颅侧角、获得平行平移坐标和获得垂直平移坐标。确定多个较远的荧光点和较远的投影点，并且还基于多个较远的荧光点确定倾侧角的多个可能的匹配。方法还包括在多个可能的匹配之中选择匹配，基于所选择的匹配确定多个种子以及基于外侧角、颅侧角、平行平移和垂直平移为多个种子之中的每个种子计算精确的3D变换。基于每个种子的精确的3D变换确定多个局部最小值，并且使用最陡下降法从多个局部最小值中确定局部最小值。确定与局部最小值相对应的旋转角和平移坐标，并且基于确定的旋转角和平移坐标将3D CT图像数据覆盖在2D荧光镜图像数据上。
在一个方面中，搜索外侧角和颅侧角包括在2D网格中尝试样本值、基于样本值找到最小值以及使用最陡下降法从最小值尝试样本值。
在另一个方面中，基于多个较远的荧光点为倾侧角确定多个可能的匹配包括滤出禁用的倾侧角和为多个可能匹配之中的每个匹配计算分数。
在又另一个方面中，在多个可能的匹配之中选择匹配包括选择具有最低分数的匹配。
在不背离本公开范围的情况下可以组合本公开的所有上述方面和实施例。
附图说明
在下文参照附图描述本公开的各种方面和特性，其中：
图1是根据本公开的电磁导航系统的透视图；
图2是配置为与图1的系统一起使用的工作站的示意图；
图3是并入图1的EMN系统的荧光镜成像C型臂的端视图；
图4是表示使3D CT图像数据与2D荧光镜图像数据对准的问题的几何结构的图示；
图5是根据本公开用于计算一系列变换的方法的流程图；
图6是根据本公开用于执行3D CT图像数据与2D荧光镜图像数据之间的对应的方法的流程图；以及
图7是根据本公开描绘3D CT图像数据与2D荧光镜图像数据的对准的流程图；以及
图8是根据本公开由C型臂捕获的示例荧光镜图像/视频的图示，示出了定位在患者的目标区内的导管组件的标记和延伸的工作通道。
具体实施方式
本公开涉及用于找出相对于3D CT图像数据的荧光镜投影的装置、系统和方法，以将3D CT图像的部分对准到荧光镜2D图像上或者将3D CT图像的部分覆盖到荧光镜2D图像上。2D和3D数据以不同参考定义，因而，需要精确地计算它们之间的旋转角和平移坐标，以利用来自CT图像的3D信息以及2D荧光镜数据的精度和实时特征两者。计算可以基于在3D CT数据和2D荧光镜数据两者中测量的基准标记的坐标。将CT图像的部分覆盖到荧光镜2D图像上可能对使用电磁导航(EMN)系统执行ELECTROMAGNETIC NAVIGATION(ENB)程序的用户有用。
ENB程序通常至少包括两个阶段：(1)计划到位于患者的肺内或者邻近患者的肺的目标的通路；以及(2)沿着计划的通路将探头导航到目标。这些阶段通常称为(1)“计划”和(2)“导航”。在由Baker在2013年3月15日提交的全部以“Pathway Planning System andMethod”为标题的、共同拥有的序列号为13/838,805、13/838,997和13/839,224的美国专利申请中更充分地描述了ENB程序的计划阶段，这些申请的全部内容通过引用合并于此。可以在标题为“SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG”的共同转让的美国临时专利申请No.62/020,240中找到计划软件的示例，其全部内容通过引用合并于此。
在计划阶段之前，通过例如计算机断层成像(CT)扫描对患者的肺进行成像，当然另外的可适用的成像方法将是本领域技术人员已知的。随后，在CT扫描期间汇集的图像数据可以以例如医学的数字成像和通信(DICOM)的格式存储，当然另外的可适用的格式将是本领域技术人员已知的。随后，可以将CT扫描图像数据加载到计划软件应用(“应用”)中以在ENB程序的计划阶段期间使用。
参考附图描述了系统和方法的实施例。在整个附图的描述中，相同的参考数字可以指代相似或者相同的要素。本说明书可以使用短语“在实施例中”、“在多个实施例中”、“在一些实施例中”或者“在其它实施例中”，这些短语可以各自指代根据本公开的相同或者不同实施例中的一个或者多个。
参照图1，根据本公开提供了电磁导航(EMN)系统10。除了其它任务外，可以使用EMN系统10执行的任务有计划到目标组织的通路、将定位组件导航到目标组织、将活体组织检查工具导航到目标组织以使用活体组织检查工具从目标组织获得组织样本、以及用数字标记获得组织样本的位置、以及将一个或者多个回波标记放置在目标处或者目标周围。
EMN系统10通常包括配置为支撑患者的操作台40；配置用于通过患者的嘴和/或鼻插入到患者气道中的支气管镜50；耦合至支气管镜50以用于显示从支气管镜50接收的视频图像的监控设备60；包括跟踪模块72、多个参考传感器74和电磁场发生器76的跟踪系统70；包括用于促进通路计划、目标组织识别、目标组织导航以及用数字标记活体组织检查位置的软件和/或硬件的工作站80。
图1还描绘了两种类型的导管引导组件90、100。导管引导组件90、100两者都可与EMN系统10一起使用并且共用多个共同部件。每个导管引导组件90、100包括连接至延长的工作通道(EWC)96的手柄91。EWC 96的大小设定用于放置到支气管镜50的工作通道中。在操作中，包括电磁(EM)传感器94的可定位导向件(LG)92插入到EWC 96中并且锁定就位，使得传感器94延伸超出EWC 96的远侧尖端93期望距离。可以由跟踪模块72和工作站80得到在由电磁场发生器76生成的电磁场内的EM传感器94的位置，以及因此的EWC 96的远侧端部的位置。
现在转到图2，示出了工作站80的系统图。工作站80可以包括存储器202、处理器204、显示器206、网络接口208、输入装置210和/或输出模块212。
图3描绘了EMN系统10的另一个视图，包括能够获取患者“P”的荧光镜或者X射线的图像或者视频的荧光镜成像装置302。捕获的图像、图像序列或者视频可以存储在成像装置302内或者传输至工作站80以用于存储、处理和显示。另外，成像装置302可以围绕患者“P”旋转，使得可以从相对于患者“P”的不同角度或者视角获取图像。成像装置302可以包括单个成像装置或者多于一个成像装置。在包括多个成像装置的实施例中，每个成像装置可以是不同类型的成像装置或者相同类型的成像装置。在美国专利No.8,565,858中描述了关于成像装置302的另外细节，该专利的全部内容通过引用合并于此。
图4图示了当已知3D CT图像数据和2D荧光镜图像数据中的三个(3)或者更多个标记的坐标时将3D CT图像数据与2D荧光镜图像数据对准的问题的几何结构。图4示出了CT参考体积402、荧光镜参考平面404、标记406和目标附近的感兴趣区(ROI)408。有六个(6)未知变量需要求解以使CT参考体积402的3D CT图像数据与荧光镜参考平面404的2D荧光镜图像数据对准，即，三个(3)旋转角(外侧角、颅侧角和侧倾角)和三个(3)平移坐标(Tx，Ty和Tz)。
图5-7提供使用系统10的部件结合CT成像来求解旋转角和平移坐标以使3D CT图像数据与2D荧光镜图像数据对准的方法。这种方法可以与如在由Averbuch等人在2014年10月31日提交的标题为“Computed Tomography Enhanced Fluoroscopic System,Device,And Method Of Utilizing The Same”的美国临时申请No.62/073,287中描述的增强的导航技术结合使用，该申请的全部内容通过引用合并于此。
图5描绘了涉及计算一系列初等变换以确定旋转角和平移坐标的步骤的流程图。在方法中，在一系列变换中分解3D旋转角和3D平移坐标，该变换可以由2D标记坐标与3D标记坐标的投影的比较容易地确定。不可以直接估计外侧旋转角和颅侧旋转角。因而，在步骤s502中执行搜索以在拟合标记时最小化任何误差。在搜索中，以15度的步幅尝试2D网格中的样本值。当在该网格中确定最小值时，在更好分辨率的网格中以1度的增量尝试值直到再次到达最小值-在每次迭代时使用1度步幅从粗略的最小值传播到最低误差。最小化的值是投影的3D CT标记与荧光图像中分割的2D标记的拟合误差-在以15度的步幅进行广泛搜索和以1度步幅的传播中两者。当围绕网格中的点的所有8个邻近值具有更高误差时，找到最小值。输出是具有1度精度(外侧角和颅侧角)和对应误差的最小值的位置。如果需要还可以以小于1度来定义精度。仅梯度方向用于找到下一个最低误差点。
在步骤s504中，CT标记的3D质心移动至荧光源与荧光标记的2D质心之间的中间。2D和3D两者中的质心是所有标记共同的质心。通过将3D质心移动至荧光源与荧光标记的2D质心之间的中间，可以为外侧角和颅侧角找到3D CT标记与2D荧光标记的第一粗略拟合。在步骤s506中，通过下列确定倾侧角：计算将荧光标记的2D质心接合到荧光镜图像中的荧光标记的2D矢量；计算将投影的3D标记接合到它们的质心的对应2D矢量；以及确定2D矢量与对应的投影的矢量之间的角度。
当寻找荧光镜角度(外侧角、颅侧角和侧倾角)时，必须比较与每对角度相关联的解的性能。计算表征投影的3D标记与2D荧光镜标记的拟合误差的分数，如以下三(3)项的加权和：投影的3D标记中心与2D标记中心之间的平均距离；投影的3D标记与2D标记之间的长度的平均差；以及投影的3D标记与2D标记之间的平均角度差。分数用作最佳拟合的标量标准并且对准解应当使分数最小化。分数还用作简单阈值失败/成功的标准，其中阈值是可接受分数的上限。
为了确保均匀性，以毫米测量三个(3)项。同样，将角度项乘以2D标记的长度。由于角度项用没有实际尺寸的弧度表示，因此确保了均匀性。
3D平移分解成平行和垂直于荧光镜平面的两个项。在步骤s508中，通过将3D质心移动至投影轴的中间并且随后通过向2D质心进行平行于荧光平面的小平移，将投影的3D标记的质心拟合至2D质心以获得平行于荧光平面的方向上的平移。投影轴是将荧光镜源连接至荧光标记的质心的线。投影轴大致垂直于荧光平面。在步骤s510中，通过将2D标记之间的相互距离与3D标记的投影之间的相互距离进行比较以获得垂直于荧光平面的方向上的平移。该比较提供引起平移的符号和幅度的缩放。
连续地计算步骤s506至s510N次，其中N大于二(2)。在试验中，四(4)次迭代已经显示为达到收敛需要的迭代数量。一旦达到收敛，则用户可以依靠目标位置的估计。在步骤s512中，向工作站提供旋转角和平移坐标，以将CT图像的部分覆盖到荧光镜图像上。具体地，旋转角和平移角用于计算荧光图像上目标的位置-以及根据医生的需要计算其它解剖结构(诸如气道)的位置。通过将旋转角和平移角应用到所选择的3D CT数据(在齐次坐标中乘以4x4矩阵)，然后用方程式xFl＝f*x/z+xcenter将新的3D坐标投影到荧光平面上来计算2D位置。
图5描述了侧倾和平移的计算，给定：(i)荧光角度(外侧角和颅侧角)；以及(ii)2D荧光标记与3D Ct标记之间的匹配。图6实现了当匹配未知时用于对准的计算。如将在下面描述的，步骤s606、s608、s610是不需要知道匹配并且为所有匹配共用的步骤。在步骤s612、s614和s616中，对所有匹配进行比较以选择给出最佳拟合分数的匹配。一旦找到正确的匹配，则荧光角度的多个解(具有15度的粗略精度)可以仍然存在并且需要计算按照1度精度的精确对准。最终解是使用图7的步骤给出最低拟合误差分数的解。
为了速度起见，所有计算都粗略地在2D中计算：旋转、平移和缩放。在方法中，在步骤s602中提供2D标记和3D标记的子集，并且在步骤s604中搜索外侧角和颅侧角。步骤s604类似于上面描述的步骤s502。在步骤s606中，通过拟合标记的质心获得平行的平移坐标。在2D荧光平面中执行拟合。在步骤s608中，由2D荧光平面中每个标记与所有其它标记之间的距离获得垂直的平移坐标。标记之间的距离是缩放的度量。因此，一方面对荧光标记之间的距离集合进行比较，以及在另一方面，对投影标记的对应距离集合进行比较。该变换(2D平移和缩放)为所有可能的匹配共用并且独立于该匹配。
在步骤s610至s616中，通过使最外围点关于质心匹配(投影的点相对于荧光镜点)以计算2D旋转。在步骤s610中，选择离投影标记的质心最远的投影的3D标记(在2D中)和荧光数据中的三个(3)候选。荧光数据中考虑的三个(3)候选是离2D荧光标记的质心最远的荧光标记。在步骤s612中，三个(3)较远的荧光点用于确定倾侧角的三个(3)可能的匹配。换句话说，三个(3)候选荧光标记与所选择的(最远的)投影的3D标记匹配。这定义了3个倾侧角，每个匹配一个倾侧角。仅一个倾侧角是真实的，并且可以可能地消除一些倾侧角。在步骤s612中，滤出禁用的倾侧角(+/-30°角之外的倾侧角)，并且如以上关于图4描述的为三个(3)可能的匹配中的每一个计算分数。一旦计算了分数，则在步骤s614中确定具有最小分数的匹配。在步骤s616中，通过找到具有与最小分数相似的匹配并且具有小于常量“M”乘以确定的匹配的最小分数的分数的外侧角和颅侧角的其它值，以确定种子(即，相同匹配的不同荧光角(外侧角和颅侧角))，其中M大于一(例如M＝4)。在图6中，有关于标记和关于荧光角度的双循环。因此，即使已经发现了正确的匹配，用户仍然可以选择具有不同解的其它荧光角度。
沿着荧光镜角度的粗略的2D网格计算近似的平移和旋转。在对准之前执行图6的方法并且其输出是荧光镜角度的良好初始值与标记之间的匹配。随后，输出用作用于如图7所示对准方法的输入。
如图7所示，在步骤s702中，基于来自图5的方法的近似平移和旋转，对每个种子计算精确的3D变换。在步骤s704中，通过将每个种子的分数与乘以常量“L”(例如，L＝1.5)的最小分数进行比较以确定局部最小值。局部最小值是拟合误差的分数小于其8个邻近值(相隔15度的距离)的拟合误差分数的荧光角度(外侧角、颅侧角)。通过使用图5的对准方法为候选和其邻近值计算拟合误差的分数。在荧光镜角度的粗略2D网格中确定局部最小值。在步骤s706中，最陡下降法用于找到局部最小值。具体地，对于找到的最小值中的每一个(15度步幅的网格中定义的)，我们通过以1度的精度传播至下一个较低值来提高精度。查看间隔1度距离的邻近值并且选择具有最小分数的邻近值。迭代该过程直到当前点具有小于所有其邻近值的分数为止。在步骤s708中，基于确定的局部最小值确定旋转角和平移坐标，并且使用图5所示方法进行计算。向工作站提供旋转角和平移坐标，以将CT图像的部分覆盖到荧光镜图像上。
图8描绘了本公开的实施例的图像结果。在图8中，显示合成的荧光镜图像800。合成的荧光镜图像800可以呈现在显示器上作为用于导航的EMN系统10(图1)的附加视图。替换地，图像可以呈现在与EMN系统10分开的荧光镜图像观察器上。荧光镜图像800的视场包括已经根据通路计划操纵的EWC 96的远侧部分。还用起初从导航软件产生和得到的各种数据覆盖荧光镜图像800。覆盖在荧光镜图像800上的该附加数据包括目标814、通路计划816、当前成像区域的内腔通路818和标记820。利用该强化的荧光镜成像800，允许临床医生使EWC 96相对于通路计划816的最终放置、目标814和标记820实时地可视化，以确保精确的最终放置，以及辨别EWC 96是否由于工具交换到EWC 96中和交换出EWC 96而有任何非预期的运动。
根据本公开，可以在没有收敛问题的情况下使用恒定的迭代数在恒定并且短的时间内(典型地0.2s，用普通计算机材料和在中)确定解。尽管最小需要三个(3)标记，但是大于三(3)的任何数字是可接受的并且提高系统的精度。搜索过程还根据标记的3D配置(诸如共线性、对称性、平行性等等)提供关于多个解的存在的信息和关于结果的稳健性的信息。此处描述的方法依靠允许容易理解和失败分析的简单几何概念。该方法还允许快速对应。该方法可适合于其它图像模态及3D与2D之间的位姿估计的其它域。由于除投影线垂直于荧光平面的图像中心以外投影参数实际上对计算没有影响，因此不需要摄像机校准，该图像中心可以从图像掩模容易地计算。任何类型的3D至2D投影(投影的、正交的...)都可以与此处描述的方法一起使用。
返回参照图1，尽管导管引导组件90、100具有不同的操作机构，但每个都包括手柄91，手柄91可以通过旋转和压缩操纵以控制LG92、延长的工作通道96的远侧尖端93。导管引导组件90目前由Covidien LP销售和出售，名称为ProcedureKits，类似地导管引导组件100目前由Covidien LP出售，名称为EDGETM Procedure Kits，两个成套工具都包括手柄91、延长的工作通道96和可定位导向件92。对于导管引导组件90、100的更详细说明，参照由Ladtkow等人在2013年3月15日提交的共同拥有的序列号为13/836,203的美国专利申请，该申请的全部内容通过引用合并于此。
如图1所图示的，示出了躺在操作台40上的患者，支气管镜50通过患者的口插入并且进入到患者的气道中。支气管镜50包括照明源和视频成像系统(未明确示出)并且耦合至用于显示从支气管镜50的视频成像系统接收的视频图像的监控设备60(例如，视频显示器)。
包括LG 92和EWC 96的导管引导组件90、100配置用于通过支气管镜50的工作通道插入到患者的气道中(当然在没有支气管镜50的情况下可以替换地使用导管引导组件90、100)。LG 92和EWC 96可通过锁定机构99选择性地关于彼此锁定。六个自由度的电磁跟踪系统70(例如，类似于在美国专利No.6,188,355和公开的PCT申请No.WO 00/10456和WO 01/67035中公开的六个自由度电磁跟踪系统，这些申请中的每一个的全部内容通过引用合并于此)或者任何其它合适的定位测量系统用于执行导航，当然还可以考虑其它配置。如下面详述的，跟踪系统70配置为与导管引导组件90、100一起使用，以在EM传感器94与EWC 96一起移动通过患者气道时跟踪EM传感器94的位置。
如图1所示，电磁场发生器76定位在患者下方。电磁场发生器76和多个参考传感器74与跟踪模块72相互连接，该跟踪模块得到每个参考传感器74在六个自由度中的位置。参考传感器74中的一个或者多个附接至患者的胸部。参考传感器74的六个自由度坐标发送至工作站80，该工作站包括使用传感器74计算参考的患者坐标系的应用81。
图1中还示出了在导航到目标并且移除LG 92之后可插入到导管引导组件90、100中的导管活体组织检查工具102。活体组织检查工具102用于从目标组织收集一个或者多个组织样本。如下面详述的，活体组织检查工具102还配置为与跟踪系统70结合使用，以促进活体组织检查工具102导航到目标组织、跟踪活体组织检查工具102的位置(当活体组织检查工具被相对于目标组织操纵以获得组织样本时)和/或标记获得组织样本的位置。
尽管上面参照包括在LG 92中的EM传感器94对导航进行了详述，但是还可以预见EM传感器94可以嵌入或者并入活体组织检查工具102内，其中在不需要LG或者不需要使用LG所需要的必要的工具交换的情况下，活体组织检查工具102可以替换地用于导航。在2013年11月20日提交的标题都为DEVICES,SYSTEMS,AND METHODS FOR NAVIGATING A BIOPSYTOOL TO A TARGET LOCATION AND OBTAINING A TISSUE SAMPLE USING THE SAME的美国临时专利申请No.61/906,732和No.61/906,762两者中，及具有相同标题并且在2014年3月14日提交的美国临时专利申请No.61/955,407中描述了各种可用的活体组织检查工具，这些专利中的每一个的全部内容通过引用合并于此，并且可与如此处描述的EMN系统10一起使用。
在程序计划期间，工作站80利用计算的断层成像(CT)图像数据用于生成和观察患者气道的三维模型(“3D模型”)，使得能够识别3D模型上的目标组织(自动地、半自动地或者手动地)以及允许选择通过患者的气道到目标组织的通路。更具体地说，CT扫描被处理并且汇编成3D体积，该3D体积随后被用于生成患者气道的3D模型。该3D模型可以呈现在与工作站80相关联的显示监控器81上或者以任何其它合适的方式呈现。使用工作站80，3D体积的各种切片和3D模型的各种视图可以呈现和/或可以由临床医生操纵，以促进目标的识别和对通过患者的气道以接入接入目标的合适通路的选择。3D模型还可以显示执行先前活体组织检查的位置的标记，包括日期、时间以及关于所获得的组织样本的其它识别信息。这些标记还可以被选为可以对到其的通路进行计划的目标。一旦选择，通路就被保存以在导航程序期间使用。
在导航期间，当EM传感器94或者活体组织检查工具102前进通过患者的气道时，EM传感器94连同跟踪系统70使得能够对EM传感器94和/或活体组织检查工具102进行跟踪。
通常执行如上面详述的对准，以使来自计划阶段的三维模型和二维图像的位置与如通过支气管镜50观察的患者的(“P的”)气道协调，并且甚至在支气管镜50不能到达的气道的部分中，允许利用对传感器94的位置的精确认识进行导航阶段。可以在美国专利申请公开No.2011/0085720中确定这种对准技术和它们在内腔导航中的实现的另外细节(该申请的全部内容通过引用合并于此)，尽管还可以考虑其它合适技术。
通过将LG 92移动通过患者“P”的气道执行发射器垫76上患者“P的”位置的对准。更具体地说，当可定位导向件92移动通过气道时，使用发射器垫76、参考传感器74和跟踪模块72记录关于传感器元件94的位置的数据。由该位置数据产生的形状与计划阶段中生成的三维模型的通道的内部几何结构相比较，并且基于该比较(例如，利用工作站80上的软件)确定该形状与三维模型之间的位置相关性。另外，软件识别三维模型中的非组织间隙(例如，充气腔体)。软件使表示传感器94的位置的图像与三维模型和由三维模型生成的二维图像对准或者校准，该三维模型和二维图像基于所记录的位置数据和可定位导向件92保持位于患者的(“P的”)气道中的非组织间隙中的假设。替换地，可以通过将具有传感器94的支气管镜50导航到患者“P”的肺中的预指定位置以及手动地使来自支气管镜的图像与3D模型的模型数据相关来采用手动对准技术。
在使患者“P”与图像数据和通路计划对准之后，在导航软件中显示用户界面，用户界面设置临床医生将跟随以到达目标的通路。一个这种导航软件是目前由Covidien LP出售的导航套件。
返回参照图2，存储器202包括任何永久性计算机可读存储介质，用于存储数据和/或可由处理器204执行并且控制工作站80的操作的软件。在实施例中，存储器202可以包括一个或者多个固态存储装置(诸如闪速存储器芯片)。替换地或者除一个或者多个固态存储装置以外，存储器202可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接至处理器204的一个或者多个大容量存储装置。尽管此处包括的计算机可读介质的描述指的是固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是可以由处理器204访问的任何可用介质。即，计算机可读存储介质包括以任何方法或者技术实现的永久性介质、易失性介质和非易失性介质、可移动介质和不可移动介质，用于存储诸如计算机可读指令、数据结构、程序模块或者其它数据的信息。例如，计算机可读存储介质包括RAM、ROM、EPROM、EEPROM、闪速存储器或者其它固态存储器技术、CD-ROM、DVD、蓝光或者其它光学存储器、磁带盒、磁带、磁盘存储器或者其它磁存储装置或者可以用于存储所需要的信息并且可以由工作站80访问的任何其它介质。
存储器202可以存储应用81和/或CT数据214。当应用81由处理器204执行时，应用81可以使显示器206呈现用户界面216。网络接口208可以配置为连接到网络，诸如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。输入装置210可以是用户可以借助以与工作站80交互的任何装置，诸如，鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块212可以包括任何连接性端口或者总线，诸如，并行端口、串行端口、通用串行总线(USB)或者本领域技术人员已知的任何其它类似的连接性端口。
此处描述的方法、程序、算法或者代码中的任何一个可以转变为编程语言或者计算机程序或者用编程语言或者计算机程序表示。“编程语言”和“计算机程序”是用于向计算机指定指令的任何语言，并且包括(但不限于)这些语言和它们的衍生物：汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自己指定程序的元语言以及所有第一、第二、第三、第四及第五代计算机语言。还包括数据库以及其它数据架构，以及任何其它元语言。为了该定义的目的，解释、编译或者使用编译和解释方法两者的语言之间不作区分。为了该定义的目的，程序的编译版本和源版本之间不作区别。因此，对程序语言可以以多于一个状态(诸如源、编译、对象或者链接)存在的程序的参考是对任何以及所有这些状态的参考。定义还包括实际指令和这些指令的意图。
在由Brown等人在2014年7月2日提交的标题为“Real-Time AutomaticRegistration Feedback”的共同拥有的序列号为62/020,220的美国临时专利申请、由Brown在2014年7月2日提交的标题为“Methods for Marking Biopsy Location”的序列号为62/020,177的美国临时专利申请、由Kehat等人在2014年7月2日提交的标题为“Intelligent Display”的序列号为62/020,238的美国临时专利申请、由Greenburg在2014年7月2日提交的标题为“Unified Coordinate System For Multiple Ct Scans OfPatient Lungs”的序列号为62/020,242的美国临时专利申请、由Klein等人在2014年7月2日提交的标题为“Alignment CT”的序列号为62/020,245的美国临时专利申请、由Markov等人在2014年7月2日提交的标题为“System and Method for Segmentation of Lung”的序列号为62/020,261的美国临时专利申请、由Lachmanovich等人在2014年7月2日提交的标题为“Trachea Marking”的序列号为62/020,253的美国临时专利申请、由Markov等人在2014年7月2日提交的标题为“Automatic Detection Of Human Lung Trachea”的序列号为62/020,257的美国临时专利申请、由Markov等人在2014年7月2日提交的标题为“Lung AndPleura Segmentation”的序列号为62/020,261的美国临时专利申请、由Lachmanovich等人在2014年7月2日提交的标题为“Cone View-A Method Of Providing Distance AndOrientation Feedback While Navigating In 3d”的序列号为62/020,258的美国临时专利申请以及由Weingarten等人在2014年7月2日提交的标题为“Dynamic 3D Lung Map Viewfor Tool Navigation Inside the Lung”的序列号为62/020,262的美国临时专利申请中，更充分地描述了ENB程序的计划阶段以及导航阶段的另外方面，所有这些申请的全部内容通过引用合并于此。
尽管为了图示和说明的目的已经参照附图对实施例进行了详细描述，但是应当理解本发明的过程和装置不应由此被看作是限制的。对本领域普通技术人员明显的是，可以在不背离本公开范围的情况下对上述实施例做出各种修改。

Claims (11)

1.一种用于使用多个标记使三维(3D)CT图像数据与二维(2D)荧光镜图像数据对准的方法，所述方法包括：
搜索外侧角和颅侧角；
将标记的3D质心移动至所述标记的2D质心与源之间的半线段；
计算倾侧角为2D与投影的3D之间的角的加权平均值；
计算3D平移坐标，其中计算3D平移坐标包括：
获得平行平移；以及
获得垂直平移；
连续预定次数地计算所述倾侧角和所述3D平移坐标；以及
基于所述外侧角、所述颅侧角、所述倾侧角和所述3D平移坐标来将所述3D CT图像数据覆盖在所述2D荧光镜图像数据上。
2.根据权利要求1所述的方法，其中搜索所述外侧角和所述颅侧角包括：
在2D网格中尝试样本值；
基于所述样本值找到最小值；以及
使用最陡下降法从所述最小值尝试样本值。
3.根据权利要求1所述的方法，其中计算所述倾侧角包括：
计算在所述2D荧光镜图像数据中将所述标记的所述2D质心接合至2D标记的2D矢量；
为投影的3D标记计算投影的矢量；以及
确定所述倾侧角，所述倾侧角是所述2D矢量与所述投影的矢量之间的角。
4.根据权利要求1所述的方法，还包括基于所述外侧角、所述颅侧角和所述倾侧角确定解的性能，其中通过计算所述解的分数确定所述性能。
5.根据权利要求4所述的方法，其中所述分数被确定为投影的3D标记与2D标记的中心之间的平均距离、所述投影的3D标记与所述2D标记之间的长度的平均差以及所述投影的3D标记与所述2D标记之间的平均角度差的加权和。
6.根据权利要求1所述的方法，其中获得所述平行平移包括：
通过将投影的3D标记的3D质心移动至投影轴的中间，将投影的3D标记的3D质心拟合至所述2D质心；以及
将平行于荧光平面的小的平移应用至所述3D质心。
7.根据权利要求1所述的方法，其中获得所述垂直平移包括将2D标记之间的相互距离与投影的3D标记之间的相互距离进行比较。
8.一种用于使用多个标记使三维(3D)CT图像数据与二维(2D)荧光镜图像数据对准的方法，所述方法包括：
获得多个荧光标记和多个CT标记；
搜索外侧角和颅侧角；
获得平行平移坐标；
获得垂直平移坐标；
确定较远的投影点和多个较远的荧光点；
基于所述多个较远的荧光点为倾侧角确定多个可能的匹配；
在所述多个可能的匹配之中选择匹配；
基于所选择的匹配确定多个种子；
基于所述外侧角、所述颅侧角、所述平行平移和所述垂直平移，为所述多个种子之中的每个种子计算精确的3D变换；
基于每个种子的所述精确3D变换确定多个局部最小值；
使用最陡下降法从所述多个局部最小值确定局部最小值；
确定与所述局部最小值相对应的旋转角和平移坐标；以及
基于所述确定的旋转角和平移坐标，将所述3D CT图像数据覆盖在所述2D荧光镜图像数据上。
9.根据权利要求8所述的方法，其中搜索所述外侧角和所述颅侧角包括：
在2D网格中尝试样本值；
基于所述样本值找到最小值；以及
使用最陡下降法从所述最小值尝试样本值。
10.根据权利要求8所述 的方法，其中基于所述多个较远的荧光点为所述倾侧角确定所述多个可能的匹配包括：
滤出禁用的倾侧角；以及
为所述多个可能的匹配之中的每个匹配计算分数。
11.根据权利要求10所述的方法，其中在所述多个可能的匹配之中选择所述匹配包括选择具有最低分数的匹配。
CN201510381195.3A 2014-07-02 2015-07-02 荧光镜位姿估计 Active CN105232152B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462020250P 2014-07-02 2014-07-02
US62/020,250 2014-07-02
US14/725,300 US9633431B2 (en) 2014-07-02 2015-05-29 Fluoroscopic pose estimation
US14/725,300 2015-05-29

Publications (2)

Publication Number Publication Date
CN105232152A CN105232152A (zh) 2016-01-13
CN105232152B true CN105232152B (zh) 2019-06-28

Family

ID=53540605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510381195.3A Active CN105232152B (zh) 2014-07-02 2015-07-02 荧光镜位姿估计

Country Status (3)

Country Link
US (5) US9633431B2 (zh)
EP (1) EP2963616B1 (zh)
CN (1) CN105232152B (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US20150305612A1 (en) * 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
EP3164074B1 (en) 2014-07-02 2024-04-17 Covidien LP Alignment ct
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) * 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
JP6689832B2 (ja) 2014-09-30 2020-04-28 オーリス ヘルス インコーポレイテッド 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
US10582914B2 (en) 2016-01-15 2020-03-10 Covidien Lp Navigable endobronchial tool to access tissue outside a bronchus
JP7118890B2 (ja) * 2016-02-12 2022-08-16 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
US10478143B2 (en) 2016-08-02 2019-11-19 Covidien Lp System and method of generating and updatng a three dimensional model of a luminal network
US10939963B2 (en) 2016-09-01 2021-03-09 Covidien Lp Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
US10543044B2 (en) 2016-09-27 2020-01-28 Covidien Lp Systems and methods for detecting pleural invasion for surgical and interventional planning
US10542953B2 (en) 2016-09-27 2020-01-28 Covidien Lp Fissural assessment and surgical and interventional planning
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
JP6849966B2 (ja) 2016-11-21 2021-03-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
CN110831498B (zh) 2017-05-12 2022-08-12 奥瑞斯健康公司 活检装置和系统
KR102341451B1 (ko) 2017-06-28 2021-12-23 아우리스 헬스, 인코포레이티드 기기의 삽입 보상을 위한 로봇 시스템, 방법 및 비일시적 컴퓨터 가독 저장 매체
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US11950947B2 (en) 2017-11-02 2024-04-09 Siemens Healthineers Ag Generation of composite images based on live images
WO2019113249A1 (en) 2017-12-06 2019-06-13 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
CN110869173B (zh) 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的系统与方法
AU2019200594B2 (en) * 2018-02-08 2020-05-28 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
CN110891514B (zh) 2018-02-13 2023-01-20 奥瑞斯健康公司 用于驱动医疗器械的系统和方法
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US12076100B2 (en) 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
CN112770690A (zh) 2018-09-28 2021-05-07 奥瑞斯健康公司 用于对接医疗器械的系统和方法
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health, Inc. IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
WO2021137109A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment techniques for percutaneous access
CN113538572A (zh) * 2020-04-17 2021-10-22 杭州三坛医疗科技有限公司 一种目标对象的坐标确定方法、装置和设备
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023129562A1 (en) * 2021-12-29 2023-07-06 Noah Medical Corporation Systems and methods for pose estimation of imaging system
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406117A (zh) * 2000-12-28 2003-03-26 Ge医疗系统环球技术有限公司 用荧光透视成像系统获得并显示计算机断层图像的方法和设备
US6728424B1 (en) * 2000-09-15 2004-04-27 Koninklijke Philips Electronics, N.V. Imaging registration system and method using likelihood maximization
CN1973779A (zh) * 2005-10-14 2007-06-06 美国西门子医疗解决公司 射频(rf)消融术的心脏成像和导管引导的方法和系统
CN101809618A (zh) * 2007-10-01 2010-08-18 皇家飞利浦电子股份有限公司 对介入工具的探测和跟踪
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合

Family Cites Families (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4593687A (en) 1983-10-31 1986-06-10 Gray Leo C Endotracheal catheter
US4587975A (en) 1984-07-02 1986-05-13 Cardiac Pacemakers, Inc. Dimension sensitive angioplasty catheter
US7033325B1 (en) 1989-12-19 2006-04-25 Scimed Life Systems, Inc. Guidewire with multiple radiopaque marker sections
US5419324A (en) 1993-11-24 1995-05-30 Endovascular Technologies, Inc. Radiological marker board with movable indicators
JPH09508994A (ja) 1994-01-28 1997-09-09 シュナイダー メディカル テクノロジーズ インコーポレイテッド 像形成装置及び方法
US5797849A (en) 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6314310B1 (en) 1997-02-14 2001-11-06 Biosense, Inc. X-ray guided surgical location system with extended mapping volume
US5951475A (en) 1997-09-25 1999-09-14 International Business Machines Corporation Methods and apparatus for registering CT-scan data to multiple fluoroscopic images
US6028912A (en) 1997-09-30 2000-02-22 Siemens Corporate Research, Inc. Apparatus and method for point reconstruction and metric measurement on radiographic images
IL122578A (en) 1997-12-12 2000-08-13 Super Dimension Ltd Wireless six-degree-of-freedom locator
US7165551B2 (en) 1998-02-19 2007-01-23 Curon Medical, Inc. Apparatus to detect and treat aberrant myoelectric activity
JPH11267133A (ja) 1998-03-25 1999-10-05 Olympus Optical Co Ltd 治療装置
FR2781140B1 (fr) 1998-07-17 2000-11-10 Ge Medical Syst Sa Procede de positionnement d'un appareil de radiologie
FR2781906B1 (fr) 1998-07-28 2000-09-29 Inst Nat Rech Inf Automat Dispositif electronique de recalage automatique d'images
AU4644799A (en) 1998-08-02 2000-03-14 Super Dimension Ltd. Intrabody navigation system for medical applications
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US6373916B1 (en) 1999-05-10 2002-04-16 Shimadzu Corporation X-ray CT apparatus
US9833167B2 (en) 1999-05-18 2017-12-05 Mediguide Ltd. Method and system for superimposing virtual anatomical landmarks on an image
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
DE19963440C2 (de) 1999-12-28 2003-02-20 Siemens Ag Verfahren und System zur Visualisierung eines Gegenstandes
US6520934B1 (en) 1999-12-29 2003-02-18 Advanced Cardiovascular Systems, Inc. Catheter assemblies with flexible radiopaque marker
WO2001054579A1 (en) 2000-01-10 2001-08-02 Super Dimension Ltd. Methods and systems for performing medical procedures with reference to projective images and with respect to pre-stored images
US6725080B2 (en) 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
EP1269111A4 (en) 2000-03-09 2016-08-10 Covidien Lp OBJECT MARKING USING A SINGLE DETECTOR OR A PAIR OF DETECTORS
US6535756B1 (en) 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US6856827B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
JP2004513673A (ja) 2000-05-09 2004-05-13 ペイエオン・インコーポレーテツド 動脈の三次元的再構成のシステムと方法
US7356367B2 (en) 2000-06-06 2008-04-08 The Research Foundation Of State University Of New York Computer aided treatment planning and visualization with image registration and fusion
US6389104B1 (en) 2000-06-30 2002-05-14 Siemens Corporate Research, Inc. Fluoroscopy based 3-D neural navigation based on 3-D angiography reconstruction data
US6351513B1 (en) 2000-06-30 2002-02-26 Siemens Corporate Research, Inc. Fluoroscopy based 3-D neural navigation based on co-registration of other modalities with 3-D angiography reconstruction data
US6714810B2 (en) 2000-09-07 2004-03-30 Cbyon, Inc. Fluoroscopic registration system and method
EP1341443B1 (en) 2000-10-18 2010-12-29 Paieon Inc. System for positioning a device in a tubular organ
US6473634B1 (en) 2000-11-22 2002-10-29 Koninklijke Philips Electronics N.V. Medical imaging at two temporal resolutions for tumor treatment planning
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
US20030032898A1 (en) 2001-05-29 2003-02-13 Inder Raj. S. Makin Method for aiming ultrasound for medical treatment
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
DE10210647A1 (de) 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US7499743B2 (en) 2002-03-15 2009-03-03 General Electric Company Method and system for registration of 3D images within an interventional system
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7505809B2 (en) 2003-01-13 2009-03-17 Mediguide Ltd. Method and system for registering a first image with a second image relative to the body of a patient
US20040143317A1 (en) 2003-01-17 2004-07-22 Stinson Jonathan S. Medical devices
DE10322738A1 (de) 2003-05-20 2004-12-16 Siemens Ag Verfahren zur markerlosen automatischen Fusion von 2D-Fluoro-C-Bogen-Bildern mit präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-Datensatzes
DE10323008A1 (de) 2003-05-21 2004-12-23 Siemens Ag Verfahren zur automatischen Fusion von 2D-Fluoro-C-Bogen-Bildern mit präoperativen 3D-Bildern unter einmaliger Verwendung von Navigationsmarken
US7587074B2 (en) 2003-07-21 2009-09-08 Paieon Inc. Method and system for identifying optimal image within a series of images that depict a moving organ
JP5129480B2 (ja) 2003-09-25 2013-01-30 パイエオン インコーポレイテッド 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
US7761138B2 (en) 2004-03-12 2010-07-20 Boston Scientific Scimed, Inc. MRI and X-ray visualization
US7327865B2 (en) 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
WO2006017172A1 (en) 2004-07-09 2006-02-16 Fischer Imaging Corporation Diagnostic system for multimodality mammography
DE102004035980A1 (de) 2004-07-23 2006-03-16 Siemens Ag Verfahren zur Bildgebung bei einem interventionellen Eingriff
US8515527B2 (en) 2004-10-13 2013-08-20 General Electric Company Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
US7327872B2 (en) 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
CN104107065B (zh) * 2004-11-19 2017-04-12 皇家飞利浦电子股份有限公司 3d图像集在不同空间之间的最佳变换
US7720520B2 (en) 2004-12-01 2010-05-18 Boston Scientific Scimed, Inc. Method and system for registering an image with a navigation reference catheter
US7551759B2 (en) 2004-12-07 2009-06-23 Siemens Medical Solutions Usa, Inc. Target identification using time-based data sets
IL165636A0 (en) 2004-12-08 2006-01-15 Paieon Inc Method and apparatus for finding the coronary velocity and flow and related parameters
JP2008534109A (ja) 2005-03-31 2008-08-28 パイエオン インコーポレイテッド 管状器官内の機器を位置決めする装置および方法
US8295577B2 (en) 2005-03-31 2012-10-23 Michael Zarkh Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ
EP1899007A1 (en) 2005-05-03 2008-03-19 Paieon Inc. Method and apparatus for positioning a biventrivular pacemaker lead and electrode
DE102005023167B4 (de) 2005-05-19 2008-01-03 Siemens Ag Verfahren und Vorrichtung zur Registrierung von 2D-Projektionsbildern relativ zu einem 3D-Bilddatensatz
DE102005059804A1 (de) 2005-12-14 2007-07-05 Siemens Ag Verfahren und Vorrichtung zur Bewegungskorrektur bei der Bildgebung während einer medizinischen Intervention
JP2009532127A (ja) 2006-03-31 2009-09-10 メドトロニック ヴァスキュラー インコーポレイテッド 心臓処置時の画像化およびナビゲーションのための電磁コイルを備える入れ子式カテーテル
US7467007B2 (en) 2006-05-16 2008-12-16 Siemens Medical Solutions Usa, Inc. Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US7995819B2 (en) 2006-10-30 2011-08-09 General Electric Company Methods for displaying a location of a point of interest on a 3-D model of an anatomical region
US9320569B2 (en) * 2006-11-14 2016-04-26 General Electric Company Systems and methods for implant distance measurement
DE102006058906B4 (de) 2006-12-13 2016-12-15 Siemens Healthcare Gmbh Verfahren zur Darstellung von tomographischen Aufnahmen und Tomographiesystem oder Tomographiesystemverbund zur Durchführung dieses Verfahrens
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8098914B2 (en) 2007-03-05 2012-01-17 Siemens Aktiengesellschaft Registration of CT volumes with fluoroscopic images
JP4941974B2 (ja) * 2007-03-20 2012-05-30 株式会社日立製作所 放射線治療用ベッド位置決めシステム、治療計画装置及びベッド位置決め装置
US7853061B2 (en) 2007-04-26 2010-12-14 General Electric Company System and method to improve visibility of an object in an imaged subject
US7941000B2 (en) 2007-05-11 2011-05-10 Koninklijke Philips Electronics N.V. Method for producing an image and system for producing an image
IL184151A0 (en) 2007-06-21 2007-10-31 Diagnostica Imaging Software Ltd X-ray measurement method
US7991450B2 (en) 2007-07-02 2011-08-02 General Electric Company Methods and systems for volume fusion in diagnostic imaging
FR2919096A1 (fr) 2007-07-19 2009-01-23 Gen Electric Procede de correction de recalage d'images radiographiques
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
US8346344B2 (en) 2007-09-11 2013-01-01 Siemens Aktiengesellschaft Device localization and guidance
US20090080737A1 (en) 2007-09-25 2009-03-26 General Electric Company System and Method for Use of Fluoroscope and Computed Tomography Registration for Sinuplasty Navigation
EP2044975B1 (de) 2007-10-01 2012-02-22 BrainLAB AG Verfahren zum Registrieren von 2D-Bilddaten, Computerprogrammprodukt, Navigationsverfahren zum Navigieren eines Behandlungsgerätes im Bereich der Medizin und Recheneinrichtung zum Registrieren von 2D-Bilddaten
US8270691B2 (en) 2007-10-09 2012-09-18 Siemens Aktiengesellschaft Method for fusing images acquired from a plurality of different image acquiring modalities
US8625865B2 (en) 2008-04-17 2014-01-07 Paieon Inc. Method and apparatus for navigating a therapeutic device to a location
CA2655001C (en) 2009-02-20 2015-11-24 Queen's University At Kingston Marker localization using intensity-based registration of imaging modalities
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
EP3427687A1 (en) 2009-05-14 2019-01-16 Covidien LP Automatic registration technique
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8731642B2 (en) 2009-11-08 2014-05-20 Paieon Inc. Apparatus and method for locating a device tip within a volume
US8504588B2 (en) 2010-02-22 2013-08-06 Siemens Aktiengesellschaft Automatic study linking for hybrid imaging
JP5044727B2 (ja) * 2010-05-17 2012-10-10 株式会社小松製作所 油圧ショベル及び油圧ショベルの制御方法
US8625869B2 (en) 2010-05-21 2014-01-07 Siemens Medical Solutions Usa, Inc. Visualization of medical image data with localized enhancement
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP6073875B2 (ja) 2011-06-22 2017-02-01 シンセス・ゲーエムベーハーＳｙｎｔｈｅｓ ＧｍｂＨ 位置追跡システムを具備した骨操縦用アセンブリ
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US8861830B2 (en) 2011-11-07 2014-10-14 Paieon Inc. Method and system for detecting and analyzing heart mechanics
US9155470B2 (en) 2012-01-24 2015-10-13 Siemens Aktiengesellschaft Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
EP3488803B1 (en) 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
US9247880B2 (en) 2012-02-23 2016-02-02 Siemens Aktiengesellschaft Image fusion for interventional guidance
WO2013173229A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
EP3524184B1 (en) 2012-05-14 2021-02-24 Intuitive Surgical Operations Inc. Systems for registration of a medical device using a reduced search space
WO2013173234A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for registration of a medical device using rapid pose search
US8977026B2 (en) * 2012-05-30 2015-03-10 General Electric Company Methods and systems for locating a region of interest in an object
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Ｊｏｌｅｄ 表示パネル、表示装置ならびに電子機器
US9370398B2 (en) 2012-08-07 2016-06-21 Covidien Lp Microwave ablation catheter and method of utilizing the same
WO2014028394A1 (en) 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
JP6219396B2 (ja) 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
US10588597B2 (en) 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US9639666B2 (en) 2013-03-15 2017-05-02 Covidien Lp Pathway planning system and method
US9925009B2 (en) 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
EP2968857B1 (en) 2013-03-15 2022-05-04 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments
US9459770B2 (en) 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
US9165362B2 (en) * 2013-05-07 2015-10-20 The Johns Hopkins University 3D-2D image registration for medical imaging
WO2015017270A1 (en) 2013-07-29 2015-02-05 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
KR102356881B1 (ko) 2013-08-15 2022-02-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 카테터 위치설정 및 삽입을 위한 그래픽 사용자 인터페이스
JP6562919B2 (ja) 2013-08-15 2019-08-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置確認のためのシステム及び方法
CN105939647B (zh) 2013-10-24 2020-01-21 奥瑞斯健康公司 机器人辅助腔内外科手术系统及相关方法
US20150141809A1 (en) 2013-11-20 2015-05-21 Covidien Lp Devices, systems, and methods for navigating a biopsy tool to a target location and obtaining a tissue sample using the same
JP2017502728A (ja) 2013-12-09 2017-01-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 装置を認識する可撓性ツール位置合わせのためのシステム及び方法
WO2015101948A2 (en) 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
JP6688557B2 (ja) 2014-01-07 2020-04-28 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
EP3979210A1 (en) 2014-02-04 2022-04-06 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
EP4282370A3 (en) 2014-03-17 2024-02-21 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
US10278680B2 (en) 2014-03-19 2019-05-07 Covidien Lp Devices, systems, and methods for navigating a biopsy tool to a target location and obtaining a tissue sample using the same
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
JP6359312B2 (ja) 2014-03-27 2018-07-18 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US10323008B2 (en) * 2014-06-06 2019-06-18 Arizona Board Of Regents On Behalf Of Arizona State University Unique self-assembled poly-amidoamine polymers and their electrochemical reactivity
EP3164074B1 (en) 2014-07-02 2024-04-17 Covidien LP Alignment ct
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
CN107427204A (zh) 2014-07-02 2017-12-01 柯惠有限合伙公司 实时自动配准反馈
EP3164075B1 (en) 2014-07-02 2021-03-24 Covidien LP Unified coordinate system for multiple ct scans of patient lungs
CN106659453B (zh) 2014-07-02 2020-05-26 柯惠有限合伙公司 用于分割肺部的系统和方法
US9754367B2 (en) 2014-07-02 2017-09-05 Covidien Lp Trachea marking
EP4233707A3 (en) 2014-07-02 2023-10-11 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
AU2015284303B2 (en) 2014-07-02 2019-07-25 Covidien Lp System and method for detecting trachea
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
EP3174490B1 (en) 2014-07-28 2020-04-15 Intuitive Surgical Operations, Inc. Systems and methods for planning multiple interventional procedures
JP6548730B2 (ja) 2014-08-23 2019-07-24 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置における病理学的データの表示のためのシステム及び方法
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
CN110811488B (zh) 2014-10-17 2023-07-14 直观外科手术操作公司 用于使用光纤形状传感器减小测量误差的系统和方法
US20180263706A1 (en) 2014-10-20 2018-09-20 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
EP4140432A1 (en) 2014-11-13 2023-03-01 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
WO2016106114A1 (en) 2014-12-22 2016-06-30 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
WO2016164311A1 (en) 2015-04-06 2016-10-13 Intuitive Surgical Operations, Inc. Systems and methods of registration compensation in image guided surgery
US11116581B2 (en) 2015-05-22 2021-09-14 Intuitive Surgical Operations, Inc. Systems and methods of registration for image guided surgery
EP3334325A4 (en) 2015-08-14 2019-05-01 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR RECORDING FOR IMAGE-GUIDED SURGERY
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017044874A1 (en) 2015-09-10 2017-03-16 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
AU2016323982A1 (en) 2015-09-18 2018-04-12 Auris Health, Inc. Navigation of tubular networks
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
WO2017106003A1 (en) 2015-12-14 2017-06-22 Intuitive Surgical Operations, Inc. Apparatus and method for generating 3-d data for an anatomical target using optical fiber shape sensing
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
EP3413829B1 (en) 2016-02-12 2024-05-22 Intuitive Surgical Operations, Inc. Systems of pose estimation and calibration of perspective imaging system in image guided surgery
JP7118890B2 (ja) 2016-02-12 2022-08-16 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
WO2017153839A1 (en) 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
WO2017218552A1 (en) 2016-06-15 2017-12-21 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
WO2018035122A1 (en) 2016-08-16 2018-02-22 Intuitive Surgical Operations, Inc. Augmented accuracy using large diameter shape fiber
EP3503834B1 (en) 2016-08-23 2024-06-12 Intuitive Surgical Operations, Inc. Systems for monitoring patient motion during a medical procedure
US10198782B1 (en) * 2016-09-15 2019-02-05 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery
WO2018057633A1 (en) 2016-09-21 2018-03-29 Intuitive Surgical Operations, Inc. Systems and methods for instrument buckling detection
WO2018064566A1 (en) 2016-09-30 2018-04-05 Intuitive Surgical Operations, Inc. Systems and methods for entry point localization
EP3529579B1 (en) 2016-10-21 2021-08-25 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
CN115631843A (zh) 2016-11-02 2023-01-20 直观外科手术操作公司 用于图像引导的外科手术的连续配准的系统和方法
CN109922753B (zh) 2016-12-08 2023-04-14 直观外科手术操作公司 用于图像引导医疗程序中导航的系统和方法
CN109843143B (zh) 2016-12-09 2022-09-20 直观外科手术操作公司 用于身体组织的分布式热通量感测的系统和方法
US11779396B2 (en) 2017-01-09 2023-10-10 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
KR102503033B1 (ko) 2017-02-01 2023-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 화상 안내식 시술을 위한 정치 시스템 및 방법
CN110167477B (zh) 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准系统和方法
WO2018144726A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods for data filtering of passageway sensor data
AU2018243364B2 (en) 2017-03-31 2023-10-05 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
JP2020518326A (ja) 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
JP7195279B2 (ja) 2017-05-24 2022-12-23 ボディ・ビジョン・メディカル・リミテッド 画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3641686A4 (en) 2017-06-23 2021-03-24 Intuitive Surgical Operations, Inc. SYSTEMS AND PROCEDURES FOR NAVIGATION TO A DESTINATION DURING A MEDICAL OPERATION
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
JP7213867B2 (ja) 2017-08-16 2023-01-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置中に患者の動きをモニタするためのシステムおよび方法
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
CN110869173B (zh) 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的系统与方法
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
CN110913791B (zh) 2018-03-28 2021-10-08 奥瑞斯健康公司 用于显示所估计的器械定位的系统和方法
JP7250824B2 (ja) 2018-05-30 2023-04-03 オーリス ヘルス インコーポレイテッド 位置センサベースの分岐予測のためのシステム及び方法
EP3801189B1 (en) 2018-05-31 2024-09-11 Auris Health, Inc. Path-based navigation of tubular networks
JP7146949B2 (ja) 2018-05-31 2022-10-04 オーリス ヘルス インコーポレイテッド 画像ベースの気道分析及びマッピング
WO2020028603A2 (en) 2018-08-01 2020-02-06 Sony Interactive Entertainment LLC Player induced counter-balancing of loads on a character in a virtual environment
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
WO2020035730A2 (en) 2018-08-13 2020-02-20 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728424B1 (en) * 2000-09-15 2004-04-27 Koninklijke Philips Electronics, N.V. Imaging registration system and method using likelihood maximization
CN1406117A (zh) * 2000-12-28 2003-03-26 Ge医疗系统环球技术有限公司 用荧光透视成像系统获得并显示计算机断层图像的方法和设备
CN1973779A (zh) * 2005-10-14 2007-06-06 美国西门子医疗解决公司 射频(rf)消融术的心脏成像和导管引导的方法和系统
CN101809618A (zh) * 2007-10-01 2010-08-18 皇家飞利浦电子股份有限公司 对介入工具的探测和跟踪
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合

Also Published As

Publication number Publication date
US9959620B2 (en) 2018-05-01
EP2963616B1 (en) 2019-10-30
US20180232881A1 (en) 2018-08-16
US10706540B2 (en) 2020-07-07
EP2963616A3 (en) 2016-01-20
US11798178B2 (en) 2023-10-24
US20160005168A1 (en) 2016-01-07
US9633431B2 (en) 2017-04-25
EP2963616A2 (en) 2016-01-06
US20190122362A1 (en) 2019-04-25
CN105232152A (zh) 2016-01-13
US20170243347A1 (en) 2017-08-24
US10163207B2 (en) 2018-12-25
US20200294233A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN105232152B (zh) 荧光镜位姿估计
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11341692B2 (en) System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN106447780B (zh) 用于使用标准荧光镜的局部三维体积重构的系统和方法
CN106572834B (zh) 对准ct
US11701184B2 (en) System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
EP3494548B1 (en) System and method of generating and updating a three dimensional model of a luminal network
CN110123449A (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant