CN102651999B - 超声和x射线系统的组合 - Google Patents

Abstract

本发明提出了在2D荧光透视图像中检测和跟踪介入装置并操控超声探头射束朝向这一装置。因此，提出了一种方法和对应的系统，通过所述方法和对应的系统，在荧光图像中配准超声探头，其中，所述配准包括估计探头相对于荧光透视图像的位置和取向。

Description

超声和X射线系统的组合

技术领域

本发明涉及X射线引导的流程。特别地，本发明涉及一种用于处理X射线图像的方法。此外，本发明涉及一种包括X射线系统以及超声系统的系统，其中，所述系统配备有用于执行所述方法的计算机程序。

背景技术

图像引导的医学和手术流程的挑战之一是有效率地使用患者在介入之前和介入期间已经历的许多种成像技术所提供的信息。

例如，在心脏病学中，医师常常访问由C形臂系统采集的实时X射线图像。这些图像具有非常好的空间和时间精度，使得能够精确地推进细的导管和其他介入工具。然而，软组织在这些图像中几乎不可见，并且此外，这些图像是没有给出对介入场景的体积几何结构的直接访问的投影。为了获得对这一重要信息的访问，解决方法包括使用第二成像模态，该第二成像模态既是3D的又能够对软组织成像。

针对这种第二成像系统的一种可能的选择是3D超声成像。这种模态的优点在于其能够在手术流程期间实时地使用。在心脏病学流程中，可以紧邻心脏对经食道探头进行导航，产生具有解剖细节的实时体积图像，其中所述解剖细节在采用标准经胸超声时是几乎不可见的。

当前包括这种模态组合的典型介入是心房颤动消融、PFO闭合（或其他隔膜缺损修复）和经皮瓣膜修复（PVR）。所有这些介入都是以X射线为中心的，但在所有这些介入中，同时包括超声是非常有帮助的或者完全是强制性的，以监测工具/内置物相对于软组织解剖结构的放置。

尽管超声探头能够提供非常有用的解剖结构图像，但重要的缺点是在时间采集帧速率与视野范围之间存在折衷。因此必须获得小的视野，以便以高帧速率采集图像。

但常常难以选择最佳视野，视野的尺寸受采集帧速率约束，但与此同时，视野又应当包括待可视化的区域。

通常，首先采集具有大视野的体积并将其用于在对应于感兴趣区域的这一第一采集之内选择小的子区域。在许多介入中，感兴趣区域将包括介入工具或它们中的一些。因此，在实践中，可以在介入工具周围对准采集体积。遗憾的是，由于伪影（声学反射、阴影等）和有限的空间分辨率，在超声中不能够容易地使介入工具可视化。

因此，对探头射束进行实际操控，使得探头射束包围介入器械是不容易的并且需要专业技能和专注。而且，在解剖结构和装置两者都经历强的运动的情况下（心房颤动消融、PFO闭合、PVR），会使这变得更为困难。

通常使用基于图像的配准技术执行超声到X射线的配准，旨在排列由这两种模态可视化的共同结构。这种方法具有若干缺点。

重要的一点是难以将配准界标包括在视野中，这在经食道超声心动图（TEE）中会非常受限。此外，不能够使用自然界标，诸如心脏轮廓，因为它们在X射线中不是可见的。将介入工具作为配准界标使用是有挑战的，因为它们在超声体积中由于噪声和伪影没有被很好的界定。

还能够利用给出超声探头相对于X射线成像系统的位置的跟踪系统来实现超声到X射线的配准。遗憾的是，超声探头不能与可以附接到X射线成像系统的标准跟踪系统一起使用。许多系统被设计成避免使用诸如磁性装置的物理跟踪器。这些系统可能较为昂贵并且具有若干缺点：它们可能被干扰中断并且要求额外的易于出错的校准步骤。

发明内容

本发明的目的是提供一种用于组合超声图像和X射线图像的系统和方法。

本发明的另一目的是提供一种用于在X射线图像中检测超声探头的位置和取向的系统和方法。

本发明的另一目的是提供一种用于使超声图像和X射线图像两者都更好地可视化的系统和方法。

这是由相应的独立权利要求的主题实现的。在相应的从属权利要求中描述了进一步的实施例。

一般而言，这是由用于组合超声图像和X射线图像的方法实现的，所述方法包括如下步骤：接收X射线图像，在X射线图像中检测超声探头，以及配准所述探头，包括对所述探头相对于参考坐标系的位置和取向的估计。

应当注意的是，参考坐标系可以是任何预定坐标系。例如，参考坐标系可以处在X射线图像的平面之内或者相对于在执行所述方法时可以使用的X射线系统的C形臂进行限定。

根据本发明的另一实施例，所述方法还包括将探头的3D模型的数字化绘制的投影与在X射线图像中检测到的探头相匹配的步骤，其中，从探头的3D模型检索探头的位置和取向的估计。

根据所述实施例的另一方面，3D模型是从CT采集检索到的或者是计算机辅助设计模型。

因此，可以将超声探头的2D X射线图像与探头的3D模型配准，所述探头的3D模型可以是探头的3D采集或者是计算机辅助设计（CAD）。通过将探头的数字化绘制的摄影图像与探头的真实X射线投影相匹配来执行这种配准。应当注意的是，可以以有效的方式将基于图形处理单元（GPU）的算法用于生成数字化绘制的摄影图像。

超声探头的2D-3D配准给出了探头相对于X射线成像系统的3D姿态。存在若干种感兴趣的应用，诸如将超声图像与X射线图像或超声体积组合合并以便构建扩展的视野。

所述方法还可以包括在X射线图像中将探头的采集设置（setting）可视化的步骤。通过这种方式，由于在X射线（图像）中可视化的信息，操作员能够容易地调整采集设置。其提供了交互的方式以在介入流程期间改变超声采集系统的采集设置。

采集设置可以是超声探头的视野。可以将超声探头的视野的体积呈现为3D截棱锥。可以通过可以由超声系统可视化的区域的轮廓来指示这种棱锥。另外，可以通过棱锥的中心连同例如到探头的超声传感器的距离、宽度、长度、角度和/或棱锥的深度来限定棱锥。视野的体积也可以是一个平面中的截棱锥，具有与所述平面垂直的恒定厚度。利用适当的校准，可以对截棱锥进行投影并将其显示在X射线图像上。随着操作员改变探头的采集，在X射线图像中的采集体积的显示被自动更新，从而为操作员提供直接的反馈。

或者，如主方向、角度、距离、帧速率或坐标系的一个或多个参数，可以在X射线图像中可视化。可以由在X射线图像中的适当位置处的点或线或者由数字，来提供这样的参数的可视化。主方向可以是与超声探头处的一个或多个超声传感器的表面垂直的方向。距离可以是超声传感器到视野的中心、或者到参考坐标系的中心、或者到X射线图像中也可见的介入装置、或者到X射线图像中任何其他预定点的距离。

通过在X射线采集系统中的直接可视化，这可以允许对超声采集系统的采集设置的交互式调整。通过这种方式，临床医师可以更为容易地调整超声探头相对于如导管的介入装置的取向，其中，这一导管可以位于截棱锥之内，即，位于超声探头的视野之内。

根据本发明的另一方面，所述方法还包括在X射线图像中检测介入装置并操纵探头以使得介入装置处在探头的视野之内的步骤。应当注意的是，可以手动以及自动地执行这种操纵。

因此，可以在2D X射线图像中检测和跟踪介入装置并操控超声探头射束朝向这一装置。可以自动地操控探头的视野，并且此外，当装置或装置的至少一部分进入或存在于超声探头的视野中时，可以通过例如闪烁、闪光或着色来修改荧光透视中介入装置的外观。通过这种方式，可视化将得到增强并且将对介入环境中超声射束的操控有极大的帮助。

最后，所述方法还可以包括将由探头提供的超声图像覆盖到X射线图像上的步骤。此外，可以将多幅超声图像覆盖到仅一幅X射线图像上。这可以提供扩展的视野。

应当注意的是，介入装置可以是柔性或刚性导管或者活检装置、插管或穿刺器。超声探头也可以是经食道超声心动图超声探头。

根据本发明的另一方面，提供了一种计算机程序，利用所述计算机程序可以自动地或至少基本上自动地执行上述方法。因此，所述计算机程序包括用于储存由X射线系统生成的X射线图像的指令集、用于在所述X射线图像中检测超声探头的指令集、用于配准探头并由此估计超声探头相对于参考坐标系的位置和取向的指令集。此外，所述计算机程序可以包括用于接收表示超声探头的3D模型的数据的指令集。

根据本发明的另一实施例，可以在包括X射线系统、具有超声探头的超声系统和处理单元的系统中实施这种计算机程序。通常，这种系统还将包括用于将超声以及X射线图像可视化的监视器。

这种计算机程序优选被加载到数据处理器的工作存储器中。所述数据处理器由此被装配成执行本发明的方法。此外，本发明涉及一种计算机可读介质，诸如CD-ROM，可以在其上储存所述计算机程序。然而，计算机程序还可以通过如万维网的网络提供，并且也可以从这种网络下载到数据处理器的工作存储器中。

应当理解，这种计算机程序可以作为软件提供，也可以（至少部分地）作为处理单元的硬件来实施。

必须注意的是，参考不同的主题描述了本发明的实施例。具体而言，参考方法类型权利要求描述了一些实施例，并参考装置类型权利要求描述了其他实施例。然而，本领域技术人员能够综合上文和下文的说明得出，除非另行说明，除了属于一种类型的主题的特征的任何组合之外，也认为本申请公开了与不同主题相关的特征之间的任何组合。

本发明的上文所限定的各方面和其他方面、特征和优点可以从下文将要描述的实施例的范例导出，并通过参考附图中所示的但并非限制本发明的实施例的范例来进行解释。

附图说明

图1a示出了从CT采集检索的超声探头；

图1b示出了未对准的3D模型；

图1c示出了经对准的3D模型；

图2示出了包括超声探头的X射线图像；

图3示出了包括超声探头以及所述探头的视野的示意性可视化的X射线图像；

图4是图示说明根据本发明的系统和方法的框图。

参考标记列表：

100  超声系统

110  超声探头

120  超声探头坐标系

130  视野

140  视野的角度

150  超声探头设置

160  超声数据流

200  介入装置

300  胸

320  心脏

400  X射线系统

410  X射线采集参数

420  X射线数据流

500  3D探头模型

S1a  配准参数

S1b  X射线参考中的超声视野

S1c  数据交换

S2a  装置定位

S3a  改进的装置定位

S4a  探头操控命令

S4b  视野信号

S5a  手动操纵的增强2D视图

S6a  探头参数

具体实施方式

图1从左到右示出了超声探头的X射线目标图像、超声探头的未对准的数字化绘制的摄影图像（DRR）以及经对准的DRR。在图1c中，对图1b的3D模型进行取向使得其投影与图1a的X射线图像中的探头的投影相匹配。

然后将图1c的经取向的3D模型与X射线图像组合。图2示出了在基于强度的配准之后，即在探头的位置和取向的估计之后，经对准的DRR 110覆盖到胸300和心脏320的X射线图像的顶部。这给出了探头相对于X射线成像系统的位置/取向。如果这两种系统都被校准了，可以将超声图像与X射线图像合并。图2也示出了介入装置200，例如导管。超声探头110前方的坐标系指示超声传感器元件相对于X射线图像的图像平面的所估计的取向。

X射线采集系统被配置成在介入流程期间产生解剖区域的实时2D X射线图像。这种模态不能够实现对诸如心脏的复杂软组织解剖结构的清晰可视化。

具有例如经食道超声心动图（TEE）超声探头的超声采集系统被配置成产生解剖结构的图像。假定这种超声采集系统至少部分位于具有足够信息的X射线采集系统的视野中，使得足以恢复由这一系统产生的图像的坐标系。例如，当超声采集系统的整个检测器存在于X射线图像中时和/或当能够从存在于X射线图像中的其他结构估计其位置时，就是这种情况。

随后，超声探头的3D模型可以用于自动计算探头的姿态。这可以通过将超声探头的X射线图像与由3D模型（参见图1和图2）的透明投影生成的数字化绘制的摄影图像相匹配来完成。优化算法允许检索探头的6个姿态参数，其给出了探头的3D位置和探头相对于例如定义参考坐标系的C形臂系统的3D取向。

探头的离线校准给出了超声图像与3D模型之间的关系。然后结合先前的步骤，可以获得超声图像与X射线成像系统之间的关系，以及因此在X射线成像系统也被校准的情况下，获得超声图像与X射线图像的关系。

然后X射线图像和超声图像之间的融合是直接的。另一种感兴趣的应用是使用X射线成像作为参考坐标系以混合不同的超声采集并构建扩展的视野，在视野常常非常有限的情况下，对于TEE采集，人们对所述扩展的视野有极大的兴趣。

如图3中示范性示出的，假定超声探头110相对于X射线图像的位置和取向是已知的，超声探头110的采集130的体积可以被呈现为3D截棱锥。如在图3中能够看到的，可以定位具有介入端部的介入装置200，使得视野130包围装置200的介入端部。图3中进一步示出了确定超声探头视野的射束角度的角度140。在本文中，射束的角度是42,3度。

图4中是示出用于根据本发明组合超声图像和X射线图像的方法的步骤的流程图。由超声系统100和X射线系统400对患者同步成像。在优选实施例中，所考虑的超声系统100的超声探头能够生成综合操控的射束，其优选为3D形式

应当理解，关于所述方法所描述的步骤是主要步骤，其中，这些步骤可能被区分或者划分为若干子步骤。此外，在这些主要步骤之间还可能有子步骤。因此，仅在所述子步骤对于理解根据本发明的方法的原理是重要的情况下，才提及所述子步骤。

在步骤S1中，超声系统100和X射线成像系统400首先被相互配准。这通常能够通过如下方式来实现：由X射线系统400对超声系统100的探头成像，基于超声系统100的设置150和数据160并基于X射线系统100的设置410，以及基于可能使用的探头3D模型500或标记，确定探头在X射线参考中的位置。根据这一信息并基于相关的校准信息，如上所述，人们能够使用X射线参考中探头视野的参数。数据S1c将被交换以用于所得的图像的可视化。

在步骤S2中，同时，在X射线图像中检测和跟踪介入装置（例如导管的尖端）。这一步骤依赖于X射线系统400的数据420和普通对象检测方法（所述方法依赖于装置的空间特征），并且可能依赖于装置的运动特征（例如，在投影中所看到的，装置由心脏运动和操控运动驱动）。

在步骤S3中，改善在X射线图像中进行跟踪的装置所提供的2D位置以及试图获得所考虑的装置的深度估计将是有利的。若干种方案可以达到所述目标，其中利用所观察的装置宽度、在不同角度的情况下（例如双向平面的情况下）使用其他X射线视图、或使用摆动运动。例如，可以估计超声探头的宽度，其中，基于所估计的尺寸和被成像的对象的分割，辨别超声探头接下来的可能位置。

在步骤S4中，然后可以将改进的装置定位S3a和发现的超声视野S1b进行比较，并且可以相应地发出若干命令。例如，可以发出装置闪光/闪烁命令到X射线数据流的成像处理通道，或者可以发送探头操控命令S4a到相关的模块。

另一方面，步骤S4的数据S4b连同步骤S2的信息S2a将得到步骤S5，即X射线图像中装置的可视化，基于诸如超声视野中的装置的进入（闪烁/闪光）或存在（着色）的事件来进行调整。这为超声用户提供了基于高分辨率X射线图像控制探头的操控的一种容易的方式。当然，通过图3中所示的超声锥的可视化也使得这种操控更加容易。步骤S5的结果是便于超声探头的操控的增强的2D视图S5a。

在步骤S6中，备选地或补充地，发出命令S6a到超声系统100的射束操控模块，关于为了在超声锥（体积或图像）的中心使装置满意地可视化，人们应当生成哪种视野。基于超声/X射线配准信息，探头操控模块将确定并应用实现这种装置驱动的操控的相关的设置参数。

已经通过附图和上述说明详细图示说明和描述了本发明，认为这样的图示说明和描述是说明性的或示范性的，而非限制性的，本发明不限于所公开的实施例。

本领域的技术人员在实践本发明时，从对附图、公开和权利要求的研究，能够理解或实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，不定冠词“一”或“一个”不排除复数。单个处理器或其他单元可以完成权利要求中所引用的若干项的功能。事实上所引用的某些措施和相互不同的从属权利要求不指示不能够有利地使用这些措施的组合。可以将计算机程序存储/发布到适当的介质上，诸如光学存储介质或固态介质，其与另一个硬件一起提供或作为另一个硬件的部分，但也可以以其他形式进行发布，诸如经由互联网或其他有线或无线通信系统。权利要求中的任何参考标记都不应当被解释为对范围构成限制。

Claims (9)

1.一种用于处理X射线图像的方法，所述方法包括如下步骤：

接收解剖区域的2D X射线图像，所述2D X射线图像中包含超声探头，

在所述2D X射线图像中检测(S2)超声探头，

配准(S1)所述超声探头，包括对所述超声探头相对于参考坐标系的位置和取向的估计，

其中，所述配准(S1)的步骤还包括将所述超声探头的3D模型(500)的数字化绘制的投影与在所述X射线图像中所检测到的超声探头相匹配，其中，从所述超声探头的所述3D模型检索所述超声探头的所述位置和取向的所述估计。

2.根据权利要求1所述方法，其中，所述3D模型(500)是从CT采集检索的或者是计算机辅助设计模型。

3.根据权利要求1所述的方法，其中，所述2D X射线图像中包含介入装置(200)，并且所述方法还包括在所述X射线图像中检测所述介入装置(200)并操纵所述超声探头以使得所述介入装置处在所述超声探头的视野之内的步骤。

4.根据权利要求3所述方法，其中，所述超声探头是自动操纵的。

5.根据权利要求3所述的方法，其中，如果所述介入装置处在所述超声探头的视野之内，则在所述X射线图像中突出显示所述介入装置。

6.根据权利要求1到5中的任一项所述的方法，还包括在一系列X射线图像中跟踪所述超声探头的步骤。

7.根据权利要求1所述的方法，还包括将由所述超声探头提供的超声图像覆盖到所述X射线图像之上的步骤。

8.一种用于处理X射线图像的装置，所述装置包括：

用于接收解剖区域的2D X射线图像的模块，其中，所述2D X射线图像中包含超声探头，

用于在所述2D X射线图像中检测(S2)超声探头的模块，

用于配准(S1)所述超声探头的模块，所述配准包括对所述超声探头相对于参考坐标系的位置和取向的估计，

其中，用于配准(S1)的所述模块还包括用于将所述超声探头的3D模型(500)的数字化绘制的投影与在所述X射线图像中所检测到的超声探头相匹配的模块，其中，从所述超声探头的所述3D模型检索所述超声探头的所述位置和取向的所述估计。

9.一种用于组合超声图像和X射线图像的系统，所述系统包括：

X射线采集系统(400)，其用于采集所述X射线图像，

包括超声探头(110)的超声采集系统(100)，其用于采集所述超声图像，所述超声采集系统至少部分位于所述X射线采集系统的视场之内，

监视器，其用于对所述超声图像和所述X射线图像进行可视化；以及

处理单元，其被配置成：从所述X射线采集系统(400)接收解剖区域的2D X射线图像，所述2D X射线图像中包含所述超声探头(110)；在所述2D X射线图像中检测所述超声探头；以及通过将所述超声探头的3D模型(500)的数字化绘制的投影与在所述X射线图像中所检测到的超声探头相匹配来配准所述超声探头，

其中，从所述超声探头的所述3D模型检索所述超声探头相对于参考坐标系的位置和取向的估计。