CN101371784B - 荧光透视图像序列中的导管检测和追踪的方法和系统 - Google Patents

Abstract

本发明涉及一种荧光透视图像序列中的导管检测和追踪的方法和系统。公开了一种用于在荧光透视图像序列中检测和追踪消融导管尖端的方法和系统。通过使用边缘空间学习，在荧光透视图像序列的每帧中检测导管尖端候选者。然后，在荧光透视图像序列的所有帧上追踪检测到的导管尖端候选者，以便确定每帧中的消融导管尖端定位。

Description

荧光透视图像序列中的导管检测和追踪的方法和系统

本申请要求2007年8月21日提交的序号为No.60/956,988的美国临时申请的利益，该美国临时申请的公开内容通过引用结合于此。

技术领域

本发明涉及对心脏进行荧光透视(fluoroscopic)成像，并且更特别地涉及在心脏的荧光透视图像序列中检测和追踪消融导管尖端。

背景技术

心律失常是心脏电节律的异常。心律失常经常采用射频消融来治疗，以修改心脏的电通路。为了构建心脏的电地图，不同的导管被插入到动脉并被引导到心脏。根据这样的电地图，医生尝试识别出心脏中异常电活动的定位。带有特殊尖端的消融导管被用来通过在异常电活动的定位施加能量(射频)而执行消融。这破坏(或消融)了这些定位处的组织并中断了对于心律失常的触发。

整个消融操作是利用实时荧光透视图像来监控的。荧光透视图像是在一段时间期间拍摄的X射线图像，从而产生图像序列。期望的是在这样的荧光透视图像序列中检测和追踪消融导管尖端。

发明内容

本发明提供了一种用于在心脏的荧光透视图像序列中检测和追踪消融导管尖端的方法和系统。这样的对消融导管尖端的检测和追踪可被用于获得来自双平面荧光(bi-planefluoro)的消融导管尖端定位的三维重建，该双平面荧光由从不同角度获得的、消融过程的两个荧光透视图像序列产生。消融导管尖端定位的三维重建可以与患者的CT容积结合被用来在心脏内部提供实时三维导航能力。

在本发明的一个实施例中，接收心脏的荧光透视图像序列。通过使用边缘空间学习，在荧光透视图像序列的每帧中检测导管尖端候选者。可通过在第一边缘空间学习水平中检测位置并且在第二边缘空间学习水平中检测位置和定向(orientation)来检测导管尖端候选者。通过使用非最大值抑制可以减少由边缘空间学习检测产生的导管尖端候选者的数目。然后，在荧光透视图像序列的所有帧上追踪导管尖端候选者，以便确定每帧中的消融导管尖端定位。通过确定所有帧上的导管尖端候选者之间的具有最小轨迹成本的轨迹可以追踪导管尖端候选者。

附图说明

通过参考下文的详细说明和附图，本发明的这些和其它优点对于本领域技术人员而言将会变得清楚。

图1示出了根据本发明实施例的一种用于在荧光透视图像序列中检测和追踪消融导管尖端的方法；

图2示出了带有被注释的导管尖端的示例性训练图像；

图3示出了根据本发明实施例的一种通过使用边缘空间学习来检测荧光透视图像中的导管尖端候选者的方法；

图4示出了通过使用图3的方法在示例性荧光透视图像中检测到的导管尖端候选者；

图5示出了根据连续概率(continuation probability)对来自导管尖端候选者的轨迹成本的计算；

图6示出了确定在图像序列的帧上具有最小成本的轨迹；

图7示出了示例性的消融导管尖端检测结果；以及

图8是能够实施本发明的计算机的高级框图。

具体实施方式

本发明涉及一种用于在心脏的荧光透视图像序列中检测和追踪消融导管尖端的方法和系统。本发明的实施例在此被描述来给出对消融导管尖端检测和追踪方法的直观理解。数字图像经常由一个或多个对象(或形状)的数字表示组成。对象的数字表示在此常常在识别和操纵对象方面被描述。这样的操纵是在计算机系统的内存(memory)或其它电路/硬件中完成的虚拟操纵。因此，应理解为：本发明的实施例可以在计算机系统之内通过使用存储在该计算机系统之内的数据来执行。

图1示出了根据本发明实施例的一种用于在荧光透视图像序列中检测和追踪消融导管尖端的方法。在步骤102，荧光透视图像序列被接收。荧光透视图像序列可以是在监视消融过程的时候在时间帧上以有规律的间隔拍摄的心脏X射线图像。该序列中的每幅图像都可以被称为帧。荧光透视图像序列可以直接从X射线成像设备被接收，或者可以例如从计算机系统的内存或存储器或一些其它计算机可读介质被加载。

在步骤104，利用边缘空间学习在荧光透视图像序列的每帧中检测到导管尖端候选者。边缘空间学习是一种学习技术，其中搜索空间的维数是逐渐增加的。在边缘空间序列中执行学习和搜索计算，这些边缘空间被选择来以致边缘概率具有小的熵。分类器在每个边缘空间学习水平被训练，以根据每个水平的搜索空间来检测候选者。

导管尖端具有三个参数：位置(x，y)和定向θ。两个水平的边缘空间学习可以被用来确定导管尖端在每帧中的候选参数。在第一水平中，分类器被训练来根据位置检测候选者。在第二水平中，分类器被训练来根据位置和定向而检测候选者。每个水平的每个分类器可基于训练数据通过使用概率推进树(PBT，Probabilistic Boosting Tree)进行训练。训练数据是其中注释了的地面实况(groundtruth)导管尖端的荧光透视图像。由于消融导管尖端的外形在荧光透视图像中与其它类型的导管尖端的外形类似，所以除了消融导管尖端以外的其它导管尖端可以在训练图像中被注释为阳性的(positive)。图2示出了带有被注释的导管尖端202和204的示例性训练图像。如图2中所示，导管尖端202是消融导管尖端而导管尖端204是另一类导管尖端。

在每个边缘空间学习水平，PBT分类器是通过递归地构造树来训练的，其中每个节点表示强分类器。一旦每个节点的强分类器被训练，就通过使用学习过的强分类器将该节点的输入训练数据分类成两组(阳性和阴性(negative))。这两个新的组被分别馈送到左子节点和右子节点，以训练这些左子节点和右子节点。这样，概率推进树将被递归地构造。PBT是有利于尖端检测的，因为在训练期间，PBT可以聚集不同类别的导管尖端的外形，这可以是处理多个导管类型的有用方式。

一旦针对每个水平训练PBT分类器，这些分类器就可被用来在输入荧光透视图像中检测导管尖端候选者。通过使用针对每个边缘空间学习水平所训练的分类器顺序地检测候选者来检测导管尖端候选者。图3示出了根据本发明实施例的一种通过使用边缘空间学习来检测荧光透视图像中的导管尖端候选者的方法。图3的方法可针对接收到的荧光透视图像序列的每帧中重复进行。

在步骤302，通过使用第一分类器以四分之一(25％)分辨率(quarterresolution)来检测导管尖端位置。从四分之一分辨率开始允许检测过程开始于较小的搜索空间，以快速确定导管尖端候选者可能存在的区域。四分之一分辨率荧光透视图的完整图像和哈尔特征(Haar feature)可被用来训练三个水平的PBT分类器，以检测四分之一分辨率导管尖端位置。根据PBT概率，高于阈值的最佳位置(x，y)候选者被保留用于进一步处理。例如，最佳的500个四分之一分辨率位置候选者可被保留。

在步骤304，通过使用第二分类器以全分辨率来检测导管尖端位置。在这个水平，全分辨率荧光透视图上的完整图像和哈尔特征可被用来训练三个水平的PBT，以检测位置候选者。为了进行训练，来自四分之一分辨率水平的最佳位置候选者被重新定标(rescale)并且被扰乱，以生成用于该水平的训练样本。对于位置检测，由第一分类器检测到的最佳位置候选者被重新定标来生成要由第二分类器处理的可能的位置候选者。由于第一分类器以四分之一分辨率检测位置候选者，所以来自第一分类器的所保留的每个候选者生成要由第二分类器处理的四个可能的候选者。根据由第二分类器产生的PBT概率，高于阈值的最佳位置(x，y)候选者被保留用于进一步处理。例如，最佳的500个全分辨率位置候选者可以被保留。

在步骤306，使用第三分类器，根据位置和定向来检测导管尖端候选者。对于该水平，基于图像强度的可操纵特征和一些可操纵的滤波器响应可被用来训练PBT分类器，以基于位置和定向来检测候选者。该PBT分类器可具有四个水平，其中第一水平被强制为级联(cascade)。利用角度θ增加来自在前水平的位置候选者(x，y)中的每个位置候选者，该角度θ具有60个离散值中的任何值。因此，对于来自第二分类器的所保留的每个位置候选者(x，y)，生成60个导管尖端候选者(x，y，θ)，以由第三分类器处理。根据由第三分类器产生的PBT概率，高于阈值的最佳导管尖端候选者(x，y，θ)被选择来使用非最大值抑制进行进一步处理。例如，可以选择最佳的500个导管尖端候选者。

在步骤308，非最大值抑制被用来减少导管尖端候选者的数目。非最大值抑制通过舍弃其它较优候选者附近的候选者来减少尖端候选者的数目。首先，选择具有最高概率(由第三分类器产生的PBT概率)的导管尖端候选者。然后，在所选候选者附近(例如在n个像素之内)的任何导管尖端候选者都被舍弃。例如，所选候选者中的两个或三个像素之内的任何候选者都可以被舍弃。这些步骤被重复进行，直到每个导管尖端候选者都已经被选择或被舍弃。这为每个帧或荧光透视图像产生了一组导管尖端候选者。

图4示出了使用图3的方法在示例性荧光透视图像中检测到的导管尖端候选者。如图4中所示，通过使用图3的方法，导管尖端候选者402、404、406、408和410被检测为最可能的导管尖端定位和定向。

回到图1，在步骤106，在荧光透视图像序列中的所有帧上追踪导管尖端候选者，以确定每帧中的消融导管尖端定位。无需任何追踪，任何帧中的最可能的导管尖端候选者可能并不接近真正的消融导管尖端。这是由于消融导管尖端通过运动模糊或通过阻塞而引起的扰动。此外，希望的是，当在帧中不存在消融导管尖端时，在那帧中不会检测到任何东西。因此，贯穿荧光透视图像序列帧追踪导管尖端候选者，以便确定给出了消融导管尖端在每帧中的定位的最有可能的尖端轨迹。

如上所述，一小组导管尖端候选者通过使用边缘空间学习而由导管尖端检测产生。为了获得帧序列上的最佳尖端轨迹，公知的维特比算法(Viterbialgorithm)的变型可被使用。令 $s_1^t=(x_1^t,y_1^t,{\mathrm{\θ}}_1^t),$  

是针对帧t检测到的导管尖端候选者。对于dt＝1，...，9，通过使用二维直方图h^pos和h^neg来计算运动概率。对于每对定位(s^t，s^t+dt)，计算二进制(bin)(d，a)＝(ln|(x^t，y^t)-(x^t+dt，y^t+dt)|，θ^t-θ^t+dt)。如果两个定位都接近同一尖端轨迹，则直方图h^pos的二进制(d，a)被增加，而如果两个定位并不接近同一尖端轨迹，则直方图h^neg的二进制(d，a)被增加。因此，生成具有与在荧光透视图像序列中的不同帧上的导管尖端候选者之间的每个可能的导管尖端候选者对相对应的二进制的直方图h^pos和h^neg。每个二进制(每个导管尖端候选者对)的概率然后可被计算为

P(s^t，s^t+dt)＝P(d，a)＝h^pos(d，a)/(h^pos(d，a)+h^neg(d，a))。

然后，反映帧t中的导管尖端候选者s^t运动到帧t+dt中的导管尖端候选者s^t+dt的成本的连续成本C(s^t,s^t+dt)可根据概率P(s^t，s^t+dt)生成，以致C(s^t，s^t+dt)＝-ln(P(s^t，s^t+dt)/(1-P(s^t，s^t+dt)))。根据该连续成本，来自每帧t中的每个导管尖端候选者s的尖端轨迹的轨迹成本可以被限定为：

$C\left(s\right)=-\underset{t=0}{\overset{n}{\mathrm{\Σ}}}\ln \frac{P\left(s^t\right)}{1-P\left(s^t\right)}-\underset{\mathrm{dt}=1}{\overset{4}{\mathrm{\Σ}}}\underset{t=0}{\overset{n-\mathrm{dt}}{\mathrm{\Σ}}}\ln \frac{P(s^t,s^{t+\mathrm{dt}})}{1-P(s^t,s^{t+\mathrm{dt}})}.$

图5示出了根据连续概率对来自导管尖端候选者的轨迹成本的计算。如图5中所示和如在上述公式中所表达的那样，来自每个导管尖端候选者s¹-s⁷的轨迹成本是基于在该导管尖端候选者与沿着接下来四个帧(除非到达最后一帧)的轨迹的导管尖端候选者之间的连续概率进行计算的。例如，来自候选者s¹的轨迹成本基于s¹和s²之间的连续概率、s¹和s³之间的连续概率、s¹和s⁴之间的连续概率以及s¹和s⁵之间的连续概率。

为了确定每帧中的消融导管尖端定位，确定轨迹成本最低的尖端轨迹。可以通过使用公知的维特比算法的变型推断出具有最小成本的轨迹。图6示出了确定在图像序列帧中具有最小成本的轨迹。如图6所示，在每帧t，终止于每个候选者的最佳轨迹的轨迹成本通过使用下面的递推公式来确定：

$C_k^t=-\ln \frac{P\left(s_k^t\right)}{1-P\left(s_k^t\right)}+\underset{i}{\min }(C_i^{t-1}-\ln \frac{P(s_i^{t-1},s_k^t)}{1-P(s_i^{t-1},s_k^t)}).$

在每帧，如果轨迹成本低于来自在前帧的最小成本，则选择来自具有最低成本的轨迹的导管尖端候选者的定位。如果轨迹成本并不比低于来自在前帧的最小成本，则这意味着从在前帧到当前帧的连续成本高，并且从在前帧到当前帧不存在好的轨迹。因此，当前帧将不会表明任何消融导管检测。

每帧中的所选的导管尖端候选者是消融导管尖端在那帧的定位(位置和定向)。然后，可能通过在荧光透视图像序列帧中显示消融导管尖端定位来输出这些消融导管尖端定位。这些消融导管尖端定位也可以被存储或被用在另外的医学成像过程中。例如，上述方法可针对在监视消融过程的时候从不同角度同时拍摄的两个荧光透视图像序列被执行。然后，针对这两个序列的帧的消融导管尖端定位可被用来生成消融尖端定位的三维重建。该三维重建结合之前获得的CT容积可以在心脏内部提供实时导航能力。

图7示出了示例性的消融导管尖端检测结果。如图7中所示，在帧710、720、730和740中分别通过使用图1的方法来检测消融导管尖端702、704、706和708。

上述的用于消融导管尖端检测和追踪的方法可以在计算机上通过使用公知的计算机处理器、内存单元、存储设备、计算机软件和其它部件来实施。在图8中示出这样的计算机的高级框图。计算机802包含通过执行限定这样的操作的计算机程序指令来控制计算机802的整体操作的处理器804。计算机程序指令可被存储在存储设备812或其它计算机可读介质(例如磁盘、CD ROM等)中，并当需要执行计算机程序指令时，这些计算机程序指令被加载到内存810中。因此，图1和3的方法步骤可以通过存储于内存810和/或存储器812中的计算机程序指令来限定，并通过执行这些计算机程序指令的处理器804进行控制。X射线成像设备820可被连接到计算机802，以将X射线照片输入到计算机802。将X射线成像设备820和计算机802实施为一个设备是可能的。X射线成像设备820和计算机802通过网络以无线方式进行通信也是可能的。计算机802还包括一个或多个网络接口806，用于与其它设备经由网络进行通信。计算机802还包括输入/输出设备808，这些输入/输出设备808使用户能够与计算机802相互作用，(例如显示器、键盘、鼠标、扬声器、按钮等)。本领域技术人员能够认识到实际计算机的实施方案也可包括其它部件，并且出于说明性目的，图8是这样的计算机的部件中的某些部件的高级表示。

前述的具体实施方式应当在每个方面都被理解为是说明性和示例性的而非限制性的，并且在此公开的本发明的范围并不是由具体实施方式来确定的，而是由根据专利法允许的整幅内容来解释的权利要求书确定。应当理解的是，在此所示的和所描述的实施例仅仅说明了本发明的原理，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实施各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实施各种其它特征组合。

Claims (17)

1.一种用于在包括多个帧的荧光透视图像序列中检测和追踪消融导管尖端的方法，该方法包括：

通过使用边缘空间学习而在荧光透视图像序列的每帧中检测导管尖端候选者；以及

在荧光透视图像序列的所有帧上追踪导管尖端候选者，以确定荧光透视图像序列的每帧中的消融导管尖端定位。

2.根据权利要求1所述的方法，其中，所述在荧光透视图像序列的每帧中检测尖端候选者的步骤包括：对于每帧，

在第一边缘空间学习水平中检测导管尖端候选者在该帧中的位置；以及

在第二边缘空间学习水平中检测该帧中的包括位置和定向的导管尖端候选者。

3.根据权利要求2所述的方法，其中，所述检测导管尖端候选者的位置的步骤由通过使用概率推进树所训练的第一分类器来执行，并且所述检测包括位置和定向的导管尖端候选者的步骤由通过使用概率推进树训练的第二分类器来执行。

4.根据权利要求2所述的方法，其中，所述在荧光透视图像序列的每帧中检测尖端候选者的步骤包括：对于每帧，

通过使用非最大值抑制来减少导管尖端候选者的数目。

5.根据权利要求4所述的方法，其中，所述通过使用非最大值抑制来减少导管尖端候选者的数目的步骤包括：

选择具有最高概率的导管尖端候选者；

舍弃在所选的导管尖端候选者附近的导管尖端候选者；以及

重复所述选择和舍弃步骤，直到每个导管尖端候选者都已被选择或被舍弃。

6.根据权利要求1所述的方法，其中，所述在荧光透视图像序列的每帧中检测尖端候选者的步骤包括：对于每帧，

通过使用第一分类器以四分之一分辨率来检测多个位置候选者；

以四分之一分辨率定标所述位置候选者，以生成多个全分辨率的潜在位置候选者；

通过使用第二分类器以全分辨率从所述全分辨率的潜在位置候选者中检测多个位置候选者；

通过使用多个离散角以全分辨率增加所述位置候选者中的每个位置候选者，以生成多个潜在的位置和定向候选者；

通过使用第三分类器从所述潜在的位置和定向候选者中检测多个导管尖端候选者；以及

通过使用非最大值抑制来减少导管尖端候选者的数目。

7.根据权利要求6所述的方法，其中，所述第一分类器、第二分类器和第三分类器是概率推进树分类器。

8.根据权利要求1所述的方法，其中，所述在荧光透视图像序列的所有帧上追踪导管尖端候选者来确定荧光透视图像序列的每帧中的消融导管尖端定位的步骤包括：

确定在荧光透视图像序列的所有帧上的导管尖端候选者之间的具有最小成本的轨迹；以及

将具有最小成本的轨迹中的每帧中的导管尖端候选者选为该帧的消融导管尖端定位。

9.根据权利要求8所述的方法，其中，所述确定在荧光透视图像序列的所有帧上的导管尖端候选者之间具有最小成本的轨迹的步骤包括：在每帧，

计算终止于该帧中的每个导管尖端候选者的最佳轨迹；

确定具有成本最低的最佳轨迹的导管尖端候选者；以及

如果最低成本低于在在前帧所确定的最低成本，则将该导管尖端候选者选为该帧的消融导管尖端定位。

10.一种用于在包括多个帧的荧光透视图像序列中检测和追踪消融导管尖端的设备，该设备包括：

用于通过使用边缘空间学习在荧光透视图像序列的每帧中检测导管尖端候选者的装置；以及

用于在荧光透视图像序列的所有帧上追踪导管尖端候选者来确定荧光透视图像序列的每帧中的消融导管尖端定位的装置。

11.根据权利要求10所述的设备，其中，所述用于在荧光透视图像序列的每帧中检测尖端候选者的装置包括：

用于在第一边缘空间学习水平中检测导管尖端候选者在每帧中的位置的装置；以及

用于在第二边缘空间学习水平中检测每帧中的包括位置和定向的导管尖端候选者的装置。

12.根据权利要求11所述的设备，进一步包括：

用于通过使用对应于所述第一边缘空间学习水平的概率推进树来训练第一分类器的装置；以及

用于通过使用对应于所述第二边缘空间学习水平的概率推进树来训练第二分类器的装置。

13.根据权利要求11所述的设备，其中，所述用于在荧光透视图像序列的每帧中检测尖端候选者的装置进一步包括：

用于通过使用非最大值抑制来减少在每帧中检测到的导管尖端候选者的数目的装置。

14.根据权利要求10所述的设备，其中，所述用于在荧光透视图像序列的每帧中检测尖端候选者的装置包括：对于每帧，

用于通过使用第一分类器以四分之一分辨率检测多个位置候选者的装置；

用于以四分之一分辨率来定标所述位置候选者以生成多个全分辨率的潜在位置候选者的装置；

用于通过使用第二分类器以全分辨率从所述全分辨率的潜在位置候选者中检测多个位置候选者的装置；

用于通过使用多个离散角以全分辨率增加所述位置候选者中的每个位置候选者从而生成多个潜在的位置和定向候选者的装置；

用于通过使用第三分类器从所述潜在的位置和定向候选者中检测多个导管尖端候选者的装置；以及

用于通过使用非最大值抑制来减少导管尖端候选者的数目的装置。

15.根据权利要求14所述的设备，其中，所述第一分类器、第二分类器和第三分类器是概率推进树分类器。

16.根据权利要求10所述的设备，其中，所述用于在荧光透视图像序列的所有帧上追踪导管尖端候选者以确定荧光透视图像序列的每帧中的消融导管尖端定位的装置包括；

用于确定在荧光透视图像序列的所有帧上的导管尖端候选者之间的具有最小成本的轨迹的装置；以及

用于将具有最小成本的轨迹中的每帧中的导管尖端候选者选为该帧的消融导管尖端定位的装置。

17.根据权利要求16所述的设备，其中，所述用于确定在荧光透视图像序列的所有帧上的导管尖端候选者之间的具有最小成本的轨迹的装置包括：

用于计算终止于每帧中的每个导管尖端候选者的最佳轨迹的装置；

用于确定每帧中具有成本最低的最佳轨迹的导管尖端候选者的装置；以及

用于如果最低成本低于在在前帧所确定的最低成本则将导管尖端候选者选为帧的消融导管尖端定位的装置。

Images