CN102843972B - 用于将图像与管状结构融合的基于仪器的图像配准 - Google Patents

用于将图像与管状结构融合的基于仪器的图像配准 Download PDF

Info

Publication number
CN102843972B
CN102843972B CN201180019034.XA CN201180019034A CN102843972B CN 102843972 B CN102843972 B CN 102843972B CN 201180019034 A CN201180019034 A CN 201180019034A CN 102843972 B CN102843972 B CN 102843972B
Authority
CN
China
Prior art keywords
image
organ
medical instruments
dimensional image
tubular structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180019034.XA
Other languages
English (en)
Other versions
CN102843972A (zh
Inventor
D·徐
X·刘
L·F·古铁雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102843972A publication Critical patent/CN102843972A/zh
Application granted granted Critical
Publication of CN102843972B publication Critical patent/CN102843972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

一种用于将三维图像与二维术中图像配准的系统和方法包括:在器官的三维图像中分割(24)管状结构的所述器官,以及将所述器官的所述三维图像投影(26)至二维空间以提供投影图像。分割(28)在医疗仪器的二维图像中描绘的所述医疗仪器。计算所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述二维图像配准(30)。

Description

用于将图像与管状结构融合的基于仪器的图像配准
本公开涉及成像系统,并且更具体而言涉及用于在医学过程期间的内部对象的图像配准的系统和方法。
支气管镜检查是用于检查气道内壁并且引导随后的诊断或者治疗介入的实时图像模态。在过程期间,可以使用X射线成像来实时监测内窥镜的位置。归因于X射线图像的低图像对比度,很难观察到肺部中的软组织结构,例如病变和气道。这妨碍了使用X射线透视作为实时图像引导工具来辅助支气管镜检查介入。
一种解决方案是预先采集三维(3D)计算机断层摄影(CT)体积,其清楚地描绘了很多在二维(2D)X射线图像中看不到的结构,然后将来自该CT的软组织信息覆盖到X射线图像上。该融合的可视化可以提供术中引导,从而人们可以精确地定位病变并识别其与观察仪器的空间关系,但是其具有配准误差以及其他问题,这是因为在X射线图像中并不容易识别出特征。通常可以将配准方法分类为基于强度的方法和基于特征的方法。基于特征的方法具有运算上的优势,但是结果取决于图像分割或者分割(一种图像处理过程,其目的在于从图像背景中提取感兴趣特征)的精度以及特征的特性。
目前,很多2D-3D配准方法本质上是基于特征的,并且因而,结果高度地依赖于图像内部的特有特征。很多配准算法已经证明了它们在心脏和神经介入中的可行性和鲁棒性;例如,在3D计算机断层摄影血管造影术(CTA)体积数据和2D血管造影术之间的冠状动脉共配准。
在用于肺部介入的透视引导中,在2DX射线图像中很少用到血管造影术。在X射线图像中仅呈现气道或者其他软组织的些微迹象。因而,在两种类型图像中包含的唯一可视特征是骨特征,例如脊柱和肋骨。这些特征并不足以用于配准,因为它们在空间上呈现高复制性模式。
另一方面,基于所有强度信息的基于强度的方法具有相对小的捕获范围以及较慢的收敛速率。已知运算量是很大的,因而实时数据融合并不是一直可行的。
根据本原理,一种用于将三维图像与二维术中图像配准的系统和方法包括:在管状结构的器官的三维图像中分割所述器官,以及将所述器官的所述三维图像投影至二维空间中以提供投影图像。分割在医疗仪器的二维图像中描绘的所述医疗仪器。计算所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述二维图像配准。
用于在医学过程期间配准图像的另一方法包括:在管状结构的器官的术前三维图像中分割所述器官,以及将所述器官的所述三维图像投影至二维空间中以提供投影图像。针对医疗仪器的位置收集过程中图像数据以获得所述医疗仪器相对于所述器官中感兴趣区域的二维图像。分割在所述二维图像中描绘的所述医疗仪器。计算相似性得分以确定所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的最佳匹配。基于所述最佳匹配来将所述三维图像与所述二维图像配准,使得所述医疗仪器的所述位置和所述感兴趣区域同时可见。
一种用于在医学过程中配准图像的系统包括:具有记忆存储介质的计算机处理单元,其用于存储和运行用于在器官的三维图像中分割管状结构的器官以及将所述三维图像投影至二维图像中的程序。过程中成像设备被配置为在感兴趣区域中获得所述医疗仪器的二维图像。所述程序被配置为计算所述投影图像和所述医疗仪器的所述二维图像中描绘的医疗仪器的分割图像之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述二维图像配准,以在显示设备上绘制。
通过结合附图来理解图示性实施例的以下详细描述,本公开的这些和其他目的、特征和优点将变得显而易见。
参照附图,本公开将详细呈现优选实施例的以下描述,其中:
图1的方框图/流程图示出了根据一个实施例的用于针对医学过程配准图像的方法;
图2的方框图/流程图示出了根据另一实施例的用于针对医学过程配准图像的更加详细的方法;
图3是根据本原理被变换至具有中心线的基干图像的经分割的支气管图像;
图4示出了根据本原理被投影至二维中的支气管三维图像;
图5示出了根据本原理与图4投影图像的中心线配准的被插入仪器的图像;
图6示出了根据本原理的配准结果连同在同一图像中描绘的病变;以及
图7的方框图示出了用于执行根据本原理的过程的示意性系统。
本公开描述了用于将图像与管状结构融合的基于仪器的图像配准系统和方法。在透视引导的支气管镜检查介入中,在术前计算机断层摄影(CT)图像和术中X射线图像中唯一的可视特征是骨特征,例如脊柱和肋骨。如上所述,这些特征并不足以用于配准,因为它们在空间上呈现高复制性模式。提供一种新颖的基于仪器的2D/3D配准系统和方法以将来自CT图像的经分割器官例如气道,与在透视图像中显示的仪器(例如,内窥镜)配准。
可以在例如其中为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施实施例。也可以针对其中导管或者探针被插入管状结构从而可以根据人体解剖和术前CT图像来预测仪器的轨迹的其他介入来实施其他实施例。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。
在特别有用的实施例中,基于仪器的2D/3D配准方法将来自CT图像的经分割的气道与在透视图像中显示的仪器(内窥镜)配准。可以在为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施该方法。该方法可包括:(1)获得肺部或者其他器官或结构的术前3DCT数据,以及即时的X射线透视图像;(2)手动地、自动地、或者半自动地分割和识别气道,等等;(3)使用数字放射重建(DRR)或者类似方法以通过将CT数据从3D空间投影至2D空间中来模拟X射线透视图像。(类似的投影方法可包括可替代的DRR方法,等等。在一个实施例中,可采用像素平均来将气道的三角形表面网格从3D体积投影至2D虚拟图像平面。由于三角形网格保留了气道的结构,并且减少了数据组的规模,因此这一替代方法可能更加鲁棒性并且提供更快的结果。)(4)使用仪器(例如,内窥镜)分割方法来从X射线透视图像中识别整个观察仪器;以及(5)基于经分割的气道和该内窥镜进行2D/3D图像配准和优化。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。
应当理解,将根据结合支气管镜检查而采用的X射线透视图像和CT图像来描述本发明;然而,本发明的教导是更加广泛的,并且可应用于任意过程的任意追踪方法或者针对任意过程的任意追踪方法。也应当理解,将根据内窥镜过程来描述本发明;然而,本发明的教导是更加广泛的,并且可应用于任意的医学过程或者设备。在本文中描述的实施例优选用于定位肺部中或者肺部周围的组织,但是也可以是在其他位置,例如心脏、消化器官、血管、肾脏等中的组织。
也应当理解,将根据医疗仪器来描述本发明;然而,本发明的教导是更加广泛的,并且可应用于在追踪或者分析复杂的生物或机械系统中采用的任意仪器。特别是,本原理可应用于生物系统的内部追踪过程,在身体的所有区域例如肺部、胃肠道、排泄器官、血管等等中的过程。在附图中所描绘的元件可以实现为硬件和软件的各种组合,并且提供可在单个元件或者多个元件中被组合的功能。
在附图中所示出的各种元件的功能可以通过使用专用硬件以及能够联合适当软件来执行软件的硬件来提供。当由处理器提供时,可以通过单个的专用处理器、通过单个的共享处理器、或者通过其中的一些可以被共享的多个单独的处理器来提供该功能。此外,术语“处理器”或者“控制器”的明确使用不应当被解释为单指能够执行软件的硬件,并且可以隐含地包括但不限于,数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器,等等。
此外,所有本文中叙述的本发明的原理、方面和实施例及其具体范例的陈述旨在包含其结构上的等价物和功能上的等价物两者。此外,这种等价物意在包括当前已知的等价物以及在将来发展出的等价物(也即,所发展出的执行相同功能的任意元件,无论其结构如何)两者。因而,例如,本领域技术人员将意识到,在本文中呈现的方框图代表体现本发明原理的示意性系统部件和/或电路的概念图。同样,将意识到,任意流程图以及诸如此类代表可在计算机可读存储介质中被基本表示并且被计算机或者处理器如此执行的各种处理,无论这种计算机或者处理器是否被明确地示出。
此外,本发明的实施例可以采取可从计算机可用或计算机可读存储介质访问的计算机程序产品的形式,该存储介质提供了由计算机或者任意指令执行系统使用或者与其连接的程序代码。出于本说明书的目的,计算机可用或计算机可读存储介质可以是可包括、存储、通信、传播、或者传送由指令执行系统、装置或者设备使用的或者与其连接的程序的任意装置。该介质可以是电子的、磁的、光学的、电磁的、红外的,或者半导体的系统(或者装置或者设备),或者传播介质。计算机可读介质的范例包括半导体或者固态存储器、磁带、可移除的计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘以及光盘。光盘的当前范例包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)和DVD。
现在参照附图,其中相似附图标记代表相同或者相似元件,并且首先参照图1,提供了基于仪器的方法来配准诸如气道的内部器官。从具有内窥镜或者其他设备的图像(例如CT图像)中分割内部器官(例如确定图像的背景并将其移除),该内窥镜或者其他设备被显示在透视图像中。在方框20,术前3DCT扫描(3D图像)提供了肺部或者其他管状器官的数据。在方框22,捕获包括医疗仪器的术中图像。这可包括身体内感兴趣区域(病变,等等)的透视图像,例如即时的X射线透视图像。在方框24,在3D图像中执行气道或者管状器官的手动的、自动的、或者半自动的分割和识别。
在方框26,通过将3D图像投影至2D空间中而构建2D图像。采用数字放射重建(DRR)或者等价方法以通过将CT数据从3D空间投影至2D空间中来模拟2DX射线透视图像。在方框28,仪器(例如,内窥镜)分割方法从2DX射线透视图像中识别出整个观察仪器。在方框30,执行图像配准和优化以将来自3D空间的具有经分割的气道的重建的2D图像与2D的经分割内窥镜相匹配。采集在X射线透视图像中被插入的内窥镜的形状并且该形状能够用作基于特征的配准的参考。一个假设是该内窥镜应当一直被包含于通向目标病变的气道的分割之内。由于内窥镜以及内部器官或者病变的分割可以是相对直观和可靠的,因此可以很快地执行配准。通过将从经分割的气道和从经分割的仪器提取出的中心线或者其他特征相重合,可以实现3DCT和2DX射线之间的实时数据融合。
参考图2,流程图示出了根据本原理的更加详细的工作流程。在方框50,在过程(例如,支气管镜检查)之前,从诸如CT扫描图像的3D图像中分割(一个或多个)管状器官,例如气道、消化器官、血管等等。例如,可以自动进行从气管到例如第4级(外围病变通常位于第4级的更远处)或者更远的气道管的分割。该处理也可手动执行。在方框52,通过例如半自动或者手动分割来执行病变的分割。可通过各种手动或者半自动方法来分割病变或者目标组织。在方框54,为了进一步的配准步骤而提取出如图3所描绘的器官(气道)的细的基干结构或者边界。仅保留通向病变的气道路径以节约内存并减少复杂性可能是有利的。可以移除其他经分割的气道。
在方框56,肺部专家或者其他医务人员可驱动仪器(例如,观察仪器,如内窥镜或者其他仪器)至第4级气道,但是当观察仪器到达第5级附近以及更远时可能会在空间上感到迷惑。在方框58,获得2D术中图像。这可包括X射线透视图像。在当前的支气管镜检查过程中,X射线透视技术人员通常进行具有相对大视场(FOV)的X射线图像的第一次拍摄以捕获内窥镜的(支气管镜的)位置。因而,可以在X射线图像的第一次拍摄中看到观察仪器的大部分。
在方框60,在2D图像(例如,透视图像)中分割该仪器,并且出于进一步配准的目的而获得观察仪器的基干结构。归因于X射线图像的术中采集,不期望进行手动交互。可以使用自动区域生长方法、水平集方法或者其他方法来分割出该观察仪器。观察仪器图像的分割优选来自2DX射线图像。
在方框62,使用DRR方法或者其他适当方法来将3D气道投影至虚拟2D检测器平面。注意到这一重建只需要对从气管通向目标的CT图像的术前经分割的气道进行,因为存在仪器轨迹的气道对应。在方框64,计算被从CT图像空间投影至2D的经分割的气道(图4)与在参考X射线图像中的经分割的仪器之间的相似性度量。该相似性度量可包括确定特征点组(例如,所投影的气道中心线和透视图像中仪器(内窥镜)的描绘的中心线)之间的平均距离。可选地,相似性度量也可包括相似性得分以使用预定义的形状描述符来比较两个曲线(例如,比较曲线的参数,例如b样条参数,等等)。可采用的其他特征包括灰度值、梯度、用于比较图像的其他图像信息,等等。在方框66,可运行优化方法以将被投影至2D的经分割的气道与经分割的观察仪器之间的相似性度量最小化。在方框67,经过几次迭代后,完成第一拍摄图像的配准。
在方框68,经分割的感兴趣区域(例如,病变)被叠加并且显示在2D图像上(例如,X射线透视图像)。这提供了用于第一拍摄图像的导航的完整图像(见图6)。在方框70,假设患者不移动并且通过C型臂系统的结构已知C型臂(对于X射线机器)的当前位姿和先前位姿之间的变换矩阵,那么一旦第一次配准成功,针对接下来的X射线拍摄的配准就是很简单的。因此,对于其后的拍摄,观察仪器形状的完整存在不是必需的。通过实施基于仪器的配准,实时病变可视化是可行的。这极大地辅助了X射线引导的支气管镜检查过程,因为支气管镜检查专家能够同时看到仪器和病变两者。
参考图3,示意性的图像90示出了根据分割处理而被分割的支气管92。分割是图像处理术语,其用于描述一种从图像的背景中区分出感兴趣结构的处理。处理图像90以修剪该图像,从而留下细的基干结构94,其中可看到支气管92的边界96并且计算中心线98。结构94将被投影至2D中以与仪器的经分割图像相比较,用于基于仪器的配准。
参考图4,示意性地示出了经分割的气道102(支气管)的重建。选择从气管到目标病变(未示出)的支气管102。将来自3DCT扫描图像的经分割的气道102的中心线104投影至图像106。使用例如DRR来将支气管102从3D投影至2D,以生成2D中心线图像106。将采用图像106来对齐医疗仪器(110)的图像。
参考图5,将来自经分割的气道102的中心线图像106与X射线透视图像112上的内窥镜110对齐。图6示出了配准结果。X射线透视图像112显示了来自术前CT图像的覆盖的病变114和经分割的气道中心线106。该融合可视化提供了术中引导,使得可以精确地定位病变并且识别其与观察仪器的空间关系。
可以在其中为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施该方法。也可以针对其中导管或者探针被插入管状结构从而可以根据人体解剖和术前CT图像来预测仪器的轨迹的其他介入来实施该方法。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。
参考图7,示意性地示出了用于在医学过程期间配准2D和3D图像的系统200。系统200与被引导的医疗设备、仪器或者工具202,例如内窥镜、导管、钳夹、针等,一起工作。该仪器202在X射线图像中可见。系统200包括一个或多个计算机控制台206,其被采用来收集/显示图像、配准图像,等等。该控制台或者多个控制台206也在该过程期间提供对(一个或多个)医学设备202的控制和支持。
在一个实施例中,采用X射线机器208来提供用于患者的辐射暴露以生成2D图像。用于X射线照射的优选方法包括采用C型臂结构211,但是也可采用其他布置。其他医学仪器或者设备,例如灯、钳夹、针、气囊,等等,可提供于仪器202上(或者独立地提供)以用于执行过程。优选提前(术前)获得CT或者其他图像并且将其存储在存储器210中。可选地,可同时采用CT扫描器214来在该过程之前获得CT图像。存储在存储器210中的术前3DCT图像可包括优选在CT图像中被描绘出的患者201中的(一个或多个)目标区域203(例如,可疑的癌组织)。
控制台206可与包括存储器210和操作系统222的计算机系统220相连接或者是计算机系统220的一部分。存储器210可存储一个或多个相应的程序224,该程序224可提供分割、中心线确定、DRR方法以及优化功能以提供根据本原理所描述的功能性(例如,图1和2)。程序224从CT图像分割出管状组织(例如,气道),并且在观察仪器的2D或者X射线图像中分割出仪器202,并且确定图像间的所计算的中心线或者其他特征之间的相似性得分。程序224也被配置为将X射线与被投影的CT图像配准。程序224也可适于执行配准数据的统计学分析或者插值,以预测运动或者提供配准匹配的置信分数。
计算机220可是多个计算机之一或者作为单个的计算机被采用。计算机220包括处理器230,处理器实施程序224并且提供多个程序选项和应用。例如,程序224可包括用于图像绘制、分割、中心线可视化等等的软件模块。
计算机220可提供用于系统中其他设备的支持或者控制。例如,可采用计算机220来控制X射线的暴露设置、C型臂211的运动、过程步骤(例如,内窥镜消融、气囊膨胀等等,统计或者其他运算,等等)的同步。输入/输出(I/O)设备或者接口232提供与计算机220、仪器(内窥镜)202以及可视化显示器226的实时交互以比较和示出图像。计算机系统220可包括用于与控制台206和/或仪器202交互的用户接口232。接口232可包括键盘、鼠标、触屏系统,等等。
当解释所附权利要求时,应当理解的是:
a)措辞“包括”不排除未在给定权利要求中列出的其他元件或动作的存在,
b)在元件之前的措辞“一”或“一个”不排除多个这种元件的存在;
c)权利要求中的任何附图标记不限制它们的范围;
d)几个“装置”可由同一项或硬件或者软件实现结构或功能来表示;以及
e)除非明确指出,否则不旨在要求动作的特定次序。
已经描述了用于将图像与管状结构融合的基于仪器的图像配准系统和方法的优选实施例(其旨在为说明性的而非限制性的),注意到本领域技术人员鉴于以上教导,可以做出修改和变型。因而将理解的是在所揭示公开的特定实施例中可以做出改变而仍处于由所附权利要求给出的在本文中公开实施例的范围之内。因而已经描述了专利法所要求的细节和特性,在所附权利要求中阐明了通过专利证书所主张和期望保护的内容。

Claims (22)

1.一种用于将三维图像与二维术中图像配准的方法,包括:
在管状结构的器官的三维图像中分割(24)所述器官;
将所述器官的所述三维图像投影(26)至二维空间中以提供投影图像;
分割(28)在医疗仪器的二维图像中描绘的所述医疗仪器;以及
基于所述器官的所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的最佳匹配来将所述投影图像与所述二维图像配准(30)。
2.如权利要求1所述的方法,其中,分割(24)管状结构的器官包括确定所述管状结构的器官的中心线。
3.如权利要求2所述的方法,还包括计算相似性得分(64)以确定所述最佳匹配,其中,计算所述相似性得分包括将经分割的医疗仪器的中心线与所述管状结构的器官的所述中心线相比较以确定所述相似性得分。
4.如权利要求1所述的方法,其中,所述管状结构的器官包括肺部的气道,并且所述医疗仪器包括支气管镜。
5.如权利要求1所述的方法,其中,所述三维图像包括术前计算机断层摄影图像。
6.如权利要求1所述的方法,其中,所述二维图像包括过程中X射线图像。
7.如权利要求6所述的方法,其中,所述医疗仪器的所述形状在所述二维图像中可见。
8.如权利要求1所述的方法,其中,投影(26)包括采用数字放射重建(DRR)方法来将三维空间投影至二维空间中。
9.一种用于在医学过程期间配准图像的方法,包括:
在管状结构的器官的术前三维图像中分割(50)所述器官;
将所述器官的所述三维图像投影(62)至二维空间中以提供投影图像;
针对医疗仪器的位置收集(58)过程中图像数据以获得所述医疗仪器相对于所述器官中感兴趣区域的二维图像;
分割(60)在所述二维图像中描绘的所述医疗仪器;
计算(64)相似性得分以确定所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的最佳匹配;以及
基于所述最佳匹配来将所述三维图像与所述二维图像配准(67),从而所述医疗仪器的所述位置和所述感兴趣区域同时可见。
10.如权利要求9所述的方法,其中,分割(50)管状结构的器官包括确定所述管状结构的器官的中心线。
11.如权利要求10所述的方法,其中,分割(60)医疗仪器包括确定所述医疗仪器的中心线,其中,比较所述管状结构的器官的所述中心线和所述医疗仪器的所述中心线以确定所述相似性得分。
12.如权利要求9所述的方法,其中,所述管状结构的器官包括肺部的气道,并且所述医疗仪器包括支气管镜。
13.如权利要求9所述的方法,其中,所述三维图像包括术前计算机断层摄影图像。
14.如权利要求9所述的方法,其中,所述二维图像包括过程中X射线图像。
15.如权利要求14所述的方法,其中,所述医疗仪器的所述形状在所述二维图像中可见。
16.如权利要求9所述的方法,其中,投影(62)包括采用数字放射重建(DRR)方法来将三维空间投影至二维空间中。
17.一种用于在医学过程中配准图像的系统,包括:
计算机处理单元(220),所述计算机处理单元(220)被配置为在管状结构的器官的三维图像中分割所述器官以及将所述三维图像投影至二维图像中;以及
过程中成像设备(208),其被配置为获得感兴趣区域中的医疗仪器(202)的二维图像;
所述计算机处理单元(220)还被配置为计算所述投影图像和在所述医疗仪器(202)的所述二维图像中描绘的所述医疗仪器的分割图像之间的相似性得分以确定最佳匹配,以及基于所述最佳匹配来将所述投影图像与所述二维图像配准,以在显示设备上绘制。
18.如权利要求17所述的系统,其中,所述计算机处理单元(220)还被配置为确定所述管状结构的器官的中心线,并且确定所述医疗仪器的中心线,其中,比较所述管状结构的器官的所述中心线和所述医疗仪器的所述中心线以确定所述相似性得分。
19.如权利要求17所述的系统,其中,所述管状结构的器官包括肺部,并且所述医疗仪器包括支气管镜。
20.如权利要求17所述的系统,其中,所述三维图像包括术前计算机断层摄影图像。
21.如权利要求17所述的系统,其中,所述过程中成像设备(208)包括X射线机器,并且所述二维图像包括过程中X射线图像。
22.如权利要求17所述的系统,其中,所述计算机处理单元(220)还被配置为以数字放射重建(DRR)方法将三维空间投影至二维空间中。
CN201180019034.XA 2010-04-15 2011-03-29 用于将图像与管状结构融合的基于仪器的图像配准 Active CN102843972B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32431910P 2010-04-15 2010-04-15
US61/324,319 2010-04-15
PCT/IB2011/051332 WO2011128797A1 (en) 2010-04-15 2011-03-29 Instrument-based image registration for fusing images with tubular structures

Publications (2)

Publication Number Publication Date
CN102843972A CN102843972A (zh) 2012-12-26
CN102843972B true CN102843972B (zh) 2015-11-25

Family

ID=44080174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180019034.XA Active CN102843972B (zh) 2010-04-15 2011-03-29 用于将图像与管状结构融合的基于仪器的图像配准

Country Status (5)

Country Link
US (1) US9104902B2 (zh)
EP (1) EP2557998B1 (zh)
CN (1) CN102843972B (zh)
RU (1) RU2012148549A (zh)
WO (1) WO2011128797A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
WO2008107905A2 (en) 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
WO2014002095A2 (en) 2012-06-26 2014-01-03 Sync-Rx, Ltd. Flow-related image processing in luminal organs
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9305334B2 (en) 2007-03-08 2016-04-05 Sync-Rx, Ltd. Luminal background cleaning
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US8855744B2 (en) 2008-11-18 2014-10-07 Sync-Rx, Ltd. Displaying a device within an endoluminal image stack
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
EP2559002A1 (en) * 2010-04-13 2013-02-20 Koninklijke Philips Electronics N.V. Image analysing
CN103720474B (zh) * 2012-10-12 2017-03-01 西门子公司 计算检查参数
US9754367B2 (en) * 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
WO2016082017A1 (en) * 2014-11-27 2016-06-02 Synaptive Medical (Barbados) Inc. Method, system and apparatus for quantitative surgical image registration
WO2016092408A1 (en) * 2014-12-09 2016-06-16 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
FR3037785B1 (fr) 2015-06-26 2017-08-18 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN108024699B (zh) 2015-08-14 2020-11-03 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
EP3334324B1 (en) 2015-08-14 2021-01-06 Intuitive Surgical Operations Inc. Systems and methods of registration for image-guided surgery
US9934570B2 (en) * 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
US20170165008A1 (en) * 2015-12-14 2017-06-15 Nuvasive, Inc. 3D Visualization During Surgery with Reduced Radiation Exposure
CN109195527B (zh) * 2016-03-13 2022-02-11 乌泽医疗有限公司 用于与骨骼手术一起使用的设备及方法
CN106204511B (zh) * 2016-07-15 2018-10-26 西安交通大学第一附属医院 一种二维图像与ct、mr图像的三维融合方法
US11051886B2 (en) 2016-09-27 2021-07-06 Covidien Lp Systems and methods for performing a surgical navigation procedure
WO2018129532A1 (en) * 2017-01-09 2018-07-12 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
JP6806655B2 (ja) * 2017-10-10 2021-01-06 株式会社日立製作所 放射線撮像装置、画像データ処理装置及び画像処理プログラム
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN110428483B (zh) * 2019-07-31 2021-09-03 北京长木谷医疗科技有限公司 一种图像处理方法及计算设备
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
EP3792870A1 (en) * 2019-09-12 2021-03-17 Siemens Healthcare GmbH Method and device for automatic determination of the change of a hollow organ
US11571177B1 (en) * 2019-10-07 2023-02-07 Robert Edwin Douglas Method and apparatus for improved medical imaging
CN111281535B (zh) * 2020-03-16 2024-05-31 山东大学齐鲁医院(青岛) 双腔支气管导管匹配和模拟插管方法及设备
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
US20230334677A1 (en) * 2020-09-29 2023-10-19 Philips Image Guided Therapy Corporation Computed tomography-based pathway for co-registration of intravascular data and blood vessel metrics with computed tomography-based three-dimensional model
JP2024514832A (ja) 2021-04-09 2024-04-03 プルメラ, インコーポレイテッド 医療撮像システムおよび関連付けられるデバイスおよび方法
WO2023004303A1 (en) * 2021-07-20 2023-01-26 Pulmera, Inc. Image guidance for medical procedures

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410060A (zh) * 2006-04-03 2009-04-15 皇家飞利浦电子股份有限公司 测定插入患者体内的对象周围的组织

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711433B1 (en) * 1999-09-30 2004-03-23 Siemens Corporate Research, Inc. Method for providing a virtual contrast agent for augmented angioscopy
DE19963440C2 (de) * 1999-12-28 2003-02-20 Siemens Ag Verfahren und System zur Visualisierung eines Gegenstandes
DE10004764A1 (de) * 2000-02-03 2001-08-09 Philips Corp Intellectual Pty Verfahren zur Positionsbestimmung eines medizinischen Instruments
DE10210648A1 (de) * 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
DE10210646A1 (de) * 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
EP1646317A1 (en) 2003-07-10 2006-04-19 Koninklijke Philips Electronics N.V. Apparatus and method for navigating an instrument through an anatomical structure
DE10357184A1 (de) * 2003-12-08 2005-07-07 Siemens Ag Verfahren zur fusionierten Bilddarstellung
US7787683B2 (en) * 2004-12-20 2010-08-31 Siemens Medical Solutions Usa, Inc. Tree structure based 2D to 3D registration
DE102005007893B4 (de) 2005-02-21 2007-05-10 Siemens Ag Verfahren zur Positionsbestimmung eines Instrumentes mit einem Röntgensystem
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
DE102006006038B4 (de) * 2006-02-09 2011-02-17 Siemens Ag System zur bildlich dargestellten Verfolgung eines in ein Untersuchungsobjekt mindestens teilweise eingeführten, bewegten medizinischen Instruments
DE102006045423B4 (de) * 2006-09-26 2016-07-14 Siemens Healthcare Gmbh 07.09.07Verfahren zur Nachbearbeitung eines dreidimensionalen Bilddatensatzes einer Gefäßstruktur
US20080147086A1 (en) * 2006-10-05 2008-06-19 Marcus Pfister Integrating 3D images into interventional procedures
US8831303B2 (en) * 2007-10-01 2014-09-09 Koninklijke Philips N.V. Detection and tracking of interventional tools
JP5906015B2 (ja) * 2007-12-18 2016-04-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特徴に基づいた2次元/3次元画像のレジストレーション

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410060A (zh) * 2006-04-03 2009-04-15 皇家飞利浦电子股份有限公司 测定插入患者体内的对象周围的组织

Also Published As

Publication number Publication date
EP2557998A1 (en) 2013-02-20
US9104902B2 (en) 2015-08-11
US20130195338A1 (en) 2013-08-01
EP2557998B1 (en) 2020-12-23
CN102843972A (zh) 2012-12-26
RU2012148549A (ru) 2014-05-20
WO2011128797A1 (en) 2011-10-20

Similar Documents

Publication Publication Date Title
CN102843972B (zh) 用于将图像与管状结构融合的基于仪器的图像配准
US11631174B2 (en) Adaptive navigation technique for navigating a catheter through a body channel or cavity
US10674936B2 (en) Hybrid registration method
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
AU2015204201B2 (en) Surgical devices and methods of use thereof
US11559266B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
AU2020210140B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN110301883B (zh) 用于导航管状网络的基于图像的向导
US20200297292A1 (en) Catheter tip detection in fluoroscopic video using deep learning
CN112451095A (zh) 用于荧光透视成像设备的姿态估计以及用于身体结构的三维成像的系统和方法
US20240206980A1 (en) Volumetric filter of fluoroscopic sweep video
US20230145801A1 (en) Systems and methods of visualizing a medical device relative to a target
Soper A navigation system for an ultrathin scanning fiber bronchoscope in the peripheral airways

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant