CN102697482B - 使用自适应判别学习和测量融合的导管跟踪的方法和系统 - Google Patents

Abstract

本发明涉及使用自适应判别学习和测量融合的导管跟踪的方法和系统。公开了一种用于基于图像的导管跟踪的自适应判别学习和测量融合方法和系统。自适应判别模型基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象、诸如猪尾导管尖端而被在线训练。至少基于在线训练的自适应判别模型来在荧光透视图像序列的当前帧中跟踪对象。在当前帧中基于三种类型的测量模型的融合来跟踪对象，这三种类型的测量模型包括在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型。

Description

使用自适应判别学习和测量融合的导管跟踪的方法和系统

本申请要求2011年3月14日提交的美国临时申请No.61/452,263以及2011年7月7日提交的美国临时申请No.61/505,131的权益，所述美国临时申请的公开内容在此通过引用结合于此。

技术领域

本发明涉及医学成像，并且更特别地涉及对荧光透视(fluoroscopic)图像序列中的导管运动的自动跟踪。

背景技术

主动脉瓣疾病在全球影响了大量人口并且在发达国家是最普遍类型的瓣膜病。常常有必要植入人造主动脉瓣来替代被严重损坏的自体瓣膜。尽管开胸瓣膜手术是成熟的过程，但是微创经导管主动脉瓣植入(TAVI)是一种新兴技术，尤其是针对高危患者的新兴技术，以最小化外科手术创伤。介入式外科手术(诸如TAVI)通常是在实时荧光透视(X射线)图像的导引下来执行的。随着微创TAVI技术正在兴起，医生越来越集中于将风险最小化以及使外科手术更少地侵入，以便使创伤最小化，尤其是对于高危患者来说使创伤最小化。例如，希望减少暴露(exposureto)次数以及注射到患者血液中的潜在有毒造影剂的数量。大多数这样的造影用于突出荧光透视图像中的主动脉和冠状动脉，以便在视觉上引导医生。例如，当造影剂被注射到TAVI中时，主动脉将是可见的并且环空管道(annulusline)也可以在2D荧光透视图像中被标识出。当没有造影注射时，主动脉和环空管道将不可见。因此，希望在非造影增强的荧光透视图像中跟踪主动脉的运动，以便减少患者暴露于造影剂。

发明内容

本发明提供了一种用于在荧光透视图像序列中自动跟踪对象(诸如导管)的方法和系统。本发明的实施例利用自适应判别学习和测量融合，用以基于图像的导管跟踪。本发明的实施例可以用于在经导管主动脉瓣植入(TAVI)中跟踪猪尾导管。因为猪尾导管具有与主动脉相同的运动，所以可能通过跟踪猪尾导管来跟踪主动脉的运动。

在本发明的一个实施例中，基于在荧光透视图像序列的至少一个在前帧中的所跟踪的对象(诸如猪尾导管尖端)而在线训练自适应判别模型。在荧光透视图像序列的当前帧中至少基于在线训练的自适应判别模型跟踪对象。在当前帧中可以基于三种类型的测量模型的融合来跟踪对象，其中所述三种类型测量模型包括在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型。

附图说明

对本领域的普通技术人员来说，本发明的这些以及其它优点通过参考下面的详细描述以及附图而将变得显而易见。

图1图示了通过跟踪猪尾导管而对主动脉瓣植入进行运动补偿的实例；

图2图示了不同荧光透视图像序列中的猪尾导管的实例；

图3图示了其中由另一装置来封闭(occlude)猪尾导管的荧光透视图像序列；

图4图示了用于检测荧光透视图像序列中的猪尾导管的自适应判别学习的实例；

图5图示了根据本发明的实施例的用于跟踪医学图像序列中的对象的方法；

图6图示了根据本发明的实施例的用于执行自适应判别学习的算法；

图7图示了示例性猪尾导管跟踪结果；以及

图8是能够实施本发明的计算机的高级框图。

具体实施方式

本发明涉及一种用于在荧光透视图像序列中自动跟踪对象(诸如导管)的方法和系统。数字图像常常包括一个或多个对象(或形状)的数字表示。在此常常在标识和操纵对象方面来描述对象的数字表示。这样的操纵是在计算机系统的内存或其它电路/硬件中完成的虚拟操纵。因此，应理解的是，本发明的实施例可以使用存储在计算机系统内的数据而在该计算机系统之内被执行。

本发明的实施例提供了用于通过自适应判别学习和测量融合来稳健地(robustly)跟踪对象的计算框架。这样的跟踪框架可以被应用于经导管主动脉瓣植入(TAVI)，以便跟踪猪尾导管。医疗装置(诸如猪尾导管)可以在TAVI过程中被跟踪，以提供用于2D/3D叠加(overlay)的运动补偿以及减少患者暴露于造影剂。图1图示了通过跟踪猪尾导管来对主动脉瓣植入进行运动补偿的实例。猪尾导管是被插入到主动脉中用于心脏外科手术导引的一类医疗装置。本发明的实施例跟踪猪尾导管尖端的运动，其在猪尾导管的远端是松散的圆。图1中的图像(a)示出了在荧光透视图像序列的帧中检测到的猪尾导管尖端102。

当注射造影剂时，主动脉和主动脉瓣在很短的时间内将是可见的，可以在2D荧光透视图像中识别环空管道，用于可视地导引TAVI过程。图1的图像(b)示出了当注射造影时在2D荧光透视图像中所标识出的环空管道104。当没有造影注射时，主动脉和主动脉瓣(以及因此环空管道)将是不可见的。在介入期间，猪尾导管在2D荧光透视图像中被连续跟踪。在猪尾导管与主动脉以相同运动移动的情况下，即猪尾导管在介入期间没有被拖拉，猪尾导管的跟踪将提供针对环空管道的连续可视化的运动补偿。图像(c)和(d)分别示出了在荧光透视图像序列的两帧中的所跟踪的猪尾导管尖端位置112和122、当注射造影时所标识出的环空管道的位置104、分别基于所跟踪的猪尾导管尖端位置112和122确定的经过运动补偿的环空管道114和124。因此，导管跟踪可以为主动脉瓣植入提供可视导引，并且还可以极大地减少在介入期间所使用的造影剂的数量。虽然环空管道被用作实例，但是本发明并不限于此。其它几何模型(例如主动脉模型)也可能被用于可视化运动补偿。

主动脉瓣植入的动态临床环境给对象跟踪提出了值得注意的现实世界问题。例如，当x射线(荧光透视)图像以任意角被捕获时，根据投影角，导管可以表现为圆、椭圆、乃至直线。图2图示了不同荧光透视图像序列中的猪尾导管的实例。图像(a)示出了其中猪尾导管尖端202表现为圆的荧光透视图像。图像(b)示出了其中猪尾导管尖端204表现为椭圆的荧光透视图像。图像(c)示出了其中猪尾导管尖端206表现为直线的荧光透视图像。图像(d)示出了其中猪尾导管尖端208由于低剂量辐射x射线和运动模糊而几乎不可见的荧光透视图像。

猪尾导管在图像捕获期间还随着呼吸运动和心脏运动而连续移动。由于这些运动，导管可能经历旋转和扭转，并且导管的形状和表象可在荧光透视图像序列之内改变。此外，当在心脏介入期间捕获x射线图像时，造影剂频繁地被注射到血管中，以便使主动脉可视化，并且导管可被所注射的造影剂封闭。而且，除了猪尾导管之外，诸如其它导管、支架和探针之类的其它装置以及诸如肋骨和脊骨的解剖结构可以出现在x射线图像中。一些其它装置和解剖结构可接近于猪尾导管，乃至与猪尾导管重叠，这可引起对猪尾导管的自动跟踪失败。因为低剂量辐射是优选的，所以x射线图像通常具有低的信噪比，该低的信噪比可导致导管在x射线图像中看起来模糊，诸如在图2的图像(d)中那样。图3图示了其中猪尾导管被另一装置封闭的荧光透视图像序列。如图3中所示，在具有造影注射的荧光透视图像序列中，猪尾导管尖端302被支架304封闭。

为了在这样的动态环境中解决上面描述的困难，本发明的实施例利用在荧光透视图像序列中可得到的丰富的和动态的信息。本发明的实施例提供了在此称为“判别跟踪”的框架，以获得稳健的测量模块来在动态环境中跟踪一类对象、例如猪尾导管。本发明的实施例利用自适应判别学习方法来建立在线测量模型，以辨别对象与背景。闭合形式的解析解被求出来在没有更新样本协方差矩阵的情况下有效地更新直接来自在线图像的判别函数。本发明的实施例进一步在单个测量模型中引入多个测量模型的基于贝叶斯(Bayesian)的融合。根据有利的实施例，组合三种类型的测量模型，其中每个模型都利用在图像序列中可得到的不同类型信息：

1、在线自适应判别模型。该在线自适应判别模型对于每个序列都被自适应地学习，以将对象与背景分离；

2、离线学习的对象检测模型。该对象检测模型是根据所收集的训练数据集来离线学习的。离线学习的对象检测模型可以在一类对象之内处理大变形并且可以被推广到多种环境；以及

3、在线表象模型(onlineappearancemodel)。该在线表象模型特别是针对要被跟踪的对象来建立。该在线表象模型利用对象在图像序列的相继帧之间的一致性。

自适应判别学习模型利用学习方法来训练模型，以将对象与背景分离，并且该自适应判别学习模型可以有效地处理可从一个序列改变到另一序列的动态环境。为了符号的清楚，对象类别被表示为由Ω₊代表的“正”类别，而背景被表示为由Ω_-代表的“负”类别。所观察的图像被表示为Z。提取自图像块(imagepatch)的数据向量被表示为x，而数据向量的相关联的类别标志为l_x。l_x＝1指示x属于对象类别，而l_x＝-1指示x属于背景。

在线性判别分析中，原始数据向量被投影到对象更容易与背景分离的较低维度的子空间。投影由线性变换表示，即y＝Φ^Tx，其中Φ是线性变换矩阵(或向量)。在有利的实施方案中，使用费舍尔(Fisher)判别分析(FDA)。FDA在每个类别都通过高斯类分布来近似的假定下提供最佳解。FDA通过最大化类别之间方差和类别内方差的比而提取判别特征，如在方程(1)中所示：

$J=\frac{\left|{\mathrm{\Φ}}^T{\mathrm{\Σ}}_b\mathrm{\Φ}\right|}{\left|{\mathrm{\Φ}}^T{\mathrm{\Σ}}_w\mathrm{\Φ}\right|},---\left(1\right)$

其中∑_b和∑_w分别是类别之间和类别内的散布矩阵，这些散布矩阵被计算为：

$\begin{array}{c}{\mathrm{\Σ}}_w=\underset{i}{\mathrm{\Σ}}\underset{x\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}P\left(x\right)(x-{\stackrel{\‾}{x}}_i){(x-{\stackrel{\‾}{x}}_i)}^T\\ {\mathrm{\Σ}}_b=\underset{i}{\mathrm{\Σ}}P\left({\mathrm{\Ω}}_i\right)({\stackrel{\‾}{x}}_i-\stackrel{\‾}{x}){({\stackrel{\‾}{x}}_i-\stackrel{\‾}{x})}^T\end{array},---\left(2\right)$

其中是来自类别Ω_t的样本的均值向量，以及是所有样本的均值向量。P(x)和P(Ω_i)分别是数据向量x和对象Ω_i的先验概率。FDA可以作为广义特征向量问题来求解：

$\left({\mathrm{\Σ}}_w^{-1}{\mathrm{\Σ}}_b\right){\mathrm{\Φ}}_k={\mathrm{\λ}}_k{\mathrm{\Φ}}_k.---\left(3\right)$

变换向量Φ_k是对应于第k个特征值的特征向量。对于对象跟踪中的两类别问题，∑_b的秩为1，因此只有一个有效的特征向量可从FDA中提取出来。FDA变换向量被表示为A_f。

在可视跟踪中，数据向量具有高维度。例如，图像数据向量对于40×40图像块来说具有超过1000个的元素，即使在去除角像素之后。高维度向统计学习提出挑战，因为该高维度要求大量训练样本。主成分分析(PCA)在FDA之前被应用，以减少数据维度。在PCA中，每个变换向量Ψ_k对应于协方差矩阵的特征向量，其中是对象类别的均值。对于对象类别的紧凑表示，只选择前几个主成分，即A_p＝[Ψ₁，...，Ψ_n]，其中n远远小于原始数据维数。在PCA维度减少之后，FDA被用于主成分，而不是原始数据。总体线性判别分析是PCA和FDA的组合，如方程(4)中所示的那样：

$y_x=A_f^T{A}_p^{T}x=A^{T}x,---\left(4\right)$

其中A＝A_pA_f是总体线性判别向量。

在学习线性判别向量A之后，直接将每个类别的投影模拟为高斯分布，根据该高斯分布可以估计后验概率。但是，根据有利实施方案，S形函数更适于模拟两类分类的后验概率：

$P_A\left(x\right)=P(l_x=1|x)=\frac{1}{1+e^{({\mathrm{ay}}_x+b)}}=\frac{1}{1+e^{({\mathrm{aA}}^{T}x+b)}}.---\left(5\right)$

参数a和b可以通过回归而从训练样本中学习到。方程(5)提供了线性判别分析的概率模型。

概率线性判别可以根据所收集的训练样本而离线地学习到。但是，背景(以及有时是对象本身)可以从一个跟踪情形变化到另一个，并且在训练集中不能被看出，并且因此对于离线学习是不可得到的。在动态环境中，有利的是判别学习适于不同的跟踪情形。出于该目的，本发明的实施例提供自适应判别学习方法，用于使用在线图像数据来高效且有效地更新判别分析。

大多数统计学学习算法的目的在于最小化贝叶斯误差，最小化贝叶斯误差等同于最小化方程(6)中的目标函数C(A)：

$C\left(A\right)=-[\underset{x_i\∈{\mathrm{\Ω}}_{+}}{\mathrm{\Σ}}P\left(x_i\right)P_A\left(x_i\right)-\underset{x_j\∈{\mathrm{\Ω}}_{-}}{\mathrm{\Σ}}P\left(x_j\right)P_A\left(x_j\right)]=\underset{x}{\mathrm{\Σ}}\frac{-l_{x}P\left(x\right)}{1+e^{({\mathrm{aA}}^{t}x+b)}}.---\left(6\right)$

利用在跟踪期间可得到的新在线数据，重新训练概率线性判别模型可要求大量训练样本并且包括重新计算协方差度量和特征基底(eigenbase)。在本发明的有利的实施例中，使用梯度下降法在线重新训练概率线性判别模型。为了最小化贝叶斯误差，判别模型如在方程(7)中所示的那样被迭代更新：

$A^{\left(k\right)}=A^{(k-1)}-{\mathrm{\δ}}_k{\▿}_{A}C\left(A^{(k-1)}\right),---\left(7\right)$

其中δ_k为第k次迭代的更新步骤。对更新进行迭代，直到该更新收敛。目标函数的梯度由下式给出：

${\▿}_{A}C\left(A\right)=\underset{x_i}{\mathrm{\Σ}}{\▿}_A\left(\frac{-l_{i}P\left(x_i\right)}{1+e^{({\mathrm{aA}}_i^t{x}_i+b)}}\right)=\underset{x_i}{\mathrm{\Σ}}{l}_{i}P\left(x_i\right)\frac{{\mathrm{ae}}^{({\mathrm{aA}}^t{x}_i+b)}}{{(1+e^{({\mathrm{aA}}^t{x}_i+b)})}^2}{x}_i.---\left(8\right)$

在线性判别后向量A在每次迭代被更新之后，参数a和b也经由回归而被更新。

因为自适应学习是贪心法，所以该自适应学习需要良好的起点来收敛到好的解。起点可以是根据所收集的训练样本离线学习到的判别，被表示为A⁽⁰⁾。即使最初的判别并不适合当前环境，自适应学习也可以快速收敛到好的解。图4图示了用于在荧光透视图像序列中检测猪尾导管的自适应判别学习的实例。在图4的实例中，猪尾导管几乎表现为线条并且最初的判别模型具有40％以上的大误差。在跟踪期间，基于作为正样本的被跟踪的结果(或在第一帧处的初始化)和作为负样本的远离被跟踪的对象的图像块，在每帧处更新A。图4的图像(a)示出了提取自荧光透视图像序列的帧的正样本402和负样本404。在可能的实施方案中，被跟踪的(或被初始化的)对象可以移位并且旋转，以在正样本402中引入变化。图4的图像(b)示出了表示在帧处自适应学习期间的判别模型的误差的曲线。如图4的图像(b)中所示，最初的判别模型的误差开始在40％以上并且贪心研究(即梯度下降迭代)收敛到一些迭代内，以实现小于10％的贝叶斯误差。为了改善学习稳健性，来自在前帧的被跟踪的对象的历史被保持在正库中，以确保学习在各个帧处不被跟踪误差分散。此外，如在方程(6)中表达的贝叶斯误差被用作标准来判定学习是否已经收敛到最佳解。这允许自适应学习判别模型从正样本中排除一些可能由封闭或跟踪误差引起的非对象。

图5图示了根据本发明的实施例的用于在医学图像序列中跟踪对象的方法。在有利的实施例中，图5的方法可以被用于在经导管主动脉瓣植入(TAVI)中的荧光透视图像序列中跟踪猪尾导管。但是，本发明并不限于此，并且图5的方法也可以同样地被应用于跟踪其它医疗装置。图5的方法利用贝叶斯框架用于对象跟踪中的测量融合。图5的方法集成三种类型的测量用于跟踪：自适应学习的判别模型、离线学习的对象检测模型以及在线表象模型。这些模型利用不同类型的信息，而这些模型的融合使总体跟踪对于混乱环境中的对象的动态变化更稳健。

如图5中所图示的那样，在步骤502，接收荧光透视图像序列的第一帧。例如，当由x射线成像装置捕获到荧光透视图像序列时，可以从该x射线成像装置中接收到荧光透视图像序列的第一帧。也可能通过从计算机可读介质或计算机系统的内存或存储器中加载之前生成的荧光透视图像来接收荧光透视图像序列。荧光透视图像序列是时间序列帧，其中每个帧都是2D荧光透视图像。根据有利的实施例，荧光透视图像序列可以在介入过程、诸如TAVI过程期间通过从x射线成像装置实时接收荧光透视图像来接收。

在步骤504，对象在荧光透视图像序列的第一帧中被初始化。在一个实施例中，对象(例如猪尾导管)可以通过用户手动注解猪尾导管在第一帧中的位置而在第一帧中被初始化。在可替换的实施例中，该对象可以通过自动检测荧光透视图像序列的第一帧中的对象而被初始化。例如，使用在2011年7月7日提交的美国临时申请No.61/505,131中公开的方法，在荧光透视图像序列的帧中自动检测猪尾导管，该美国临时申请的公开内容在此通过引用结合于此。

在步骤506，自适应判别模型基于当前帧中的被跟踪对象来更新。特别地，在线自适应学习被应用于判别模型，以便基于当前帧中的被跟踪对象或第一帧中的被初始化的对象来更新判别模型。在第一帧中，根据被注解训练数据而离线学习的最初的判别向量基于被初始化的对象而被更新。图6图示了根据本发明的实施例的用于执行自适应判别学习的算法。如图6中所图示的那样，该算法的第一阶段600被离线执行，以训练最初的判别向量A⁽⁰⁾，而该算法的第二阶段610针对荧光透视图像序列的每一帧被执行，以使用自适应学习来基于每帧中的被跟踪对象更新判别向量A以及相对应的概率模型。在602处的离线执行的第一阶段600中，根据训练样本训练PCA和FDA。训练样本从利用真实数据(groundtruth)对象位置来注解的训练数据中被提取。特别地，PCA被应用来减少数据的维度，并且在PCA维度减少之后，FDA被应用于主成分，以便训练如在上述方程(4)中所示的线性判别向量。在604，如方程(5)中所示的那样，学习线性判别分析的概率模型。使用回归根据训练样本来学习概率模型的参数。

针对图像序列的每个帧，在对象跟踪期间在线地执行图6的算法的第二阶段610。在有利的实施方案中，图6的算法的第二阶段610被用于实施图5的方法的步骤506。在612，生成对应于当前被跟踪对象(或第一帧中的被初始化的对象)的正样本以及远离该对象的负样本。特别地，包含当前帧中的被跟踪对象的图像块作为正样本被添加。根据有利的实施方案，被跟踪的(或被初始化的)对象可以移位和旋转，以便在被跟踪对象的附近生成大量附加的正样本。当前帧中的远离被跟踪对象大于一定距离的一定数量的图像块可以被随机选择为负样本。在614，使用梯度下降来更新判别向量A，如方程(7)和(8)中所示的那样。在616，概率模型基于被更新的判别向量来更新，如方程(5)中所示的那样。在618，使用方程(6)来针对被更新的判别向量计算贝叶斯误差C(A)。重复步骤614-618，直到判别向量A收敛或者贝叶斯误差C(A)小于阈值(例如0.1)。尽管在图6中未示出，也可能重复步骤614-618，直到达到最大次数的迭代。在620，当学习收敛时，存储被更新的判别向量以及概率模型，并且当前帧中的被跟踪对象被保存为正训练样本。因此，针对其重复算法的每个帧都添加对应于该帧中的被跟踪对象的附加正训练样本。

返回到图5，在步骤508，接收荧光透视图像序列的下一帧。可以直接从图像捕获装置中接收下一帧。例如，在TAVI过程期间可以实时接收和处理下一帧。还可能通过从存储在计算机系统的存储器或内存中的荧光透视图像序列中加载下一帧而接收下一帧。在这点上，接收到的下一帧被认为是当前帧。

在步骤510，基于自适应判别模型、所训练的对象检测器以及在线表象模型，使用测量融合在当前帧中跟踪对象。对象的跟踪根据所观察的图像序列Z_1t推断未知的对象状态、例如表示为m_t的导管运动。本发明的实施例在连续的贝叶斯框架中使参数推论形式化(formalize)。假定用于跟踪的通用的马尔克夫(Markov)特性，后验概率P(m_t|Z_1t-1)可被表达为：

$\begin{array}{c}P\left(m_t\right|Z_{1t-1})=P\left(m_t\right|m_{t-1})P\left(m_{t-1}\right|Z_{1t-1}){\mathrm{dm}}_{t-1}\\ P\left(m_t\right|Z_{1t})\∝P\left(m_t\right|Z_{1t-1})P\left(Z_t\right|m_t)\end{array}.---\left(9\right)$

在方程(9)中，P(m_t|Z_1t-1)是从荧光透视图像序列的在前帧传播的运动先验概率。P(m_t|m_t-1)是动态模型。在有利的实施方案中，动态概率被模拟为高斯模型，即P(m_t|m_t-1)＝G(m_t；m_t-1，∑_m)，其中G是具有均值m_t-1和协方差矩阵∑_m的高斯分布。高斯先验模型由于其针对2D运动强加平滑约束的简单性和有效性而被用作动态模型。高斯动态模型给予具有接近于在在前帧中被跟踪的对象的状态的对象更大的概率。另一成分(似然性测量模型P(Z_t|m_t))测量运动参数的似然性。帧中的对象的跟踪结果是对应于最大后验概率的运动参数：

${\hat{m}}_t=\underset{m_t}{\arg }\max P\left(m_t\right|Z_{1t}).$

在可视跟踪中，测量模型扮演至关重要的角色，因为该测量模型使所观察的图像与要被推断的对象状态直接相关。但是，对于一个测量模型，难以处理对象的动态改变以及混乱的背景。根据本发明的有利方面，测量模型P(Z_t|m_t)是多个测量模型的融合。

假定对于对象有K个测量模型，即P^(k)(Z_t|m_t)＝P(Z_t|m_t，k)，k＝1，...，K，基于概率边缘化的贝叶斯测量融合可以被表达为：

$P\left(Z_t\right|m_t)=\underset{k}{\mathrm{\Σ}}P\left(Z_t\right|m_t,k)P\left(k\right|m_t),---\left(11\right)$

为了简化，可以假定测量模型先验P(k|m_t)在跟踪期间并不会随着对象状态改变，即P(k|m_t)＝ω_k，以及∑_kω_k＝1。ω_k表示第k个测量模型的权重。因此，总体测量模型可以被表达为P(Z_t|m_t)＝∑_kω_kP^(k)(Z_t|m_t)，而方程(9)可被重写为：

$P\left(m_t\right|Z_{1t})\∝P\left(m_t\right|Z_{1t-1})\underset{k}{\mathrm{\Σ}}{\mathrm{\ω}}_k{P}^{\left(k\right)}\left(Z_t\right|m_t).---\left(12\right)$

在本发明的有利实施例中，三种类型的测量模型被融合。第一类型的测量模型是在线学习的自适应判别模型(在步骤506)，如前所述。自适应判别模型被表示为如在方程(5)中那样，其中是基于对象状态m_t而提取自所观察的图像的数据向量。其它两个测量模型来自离线训练的对象检测器和在线表象模型。

为了提供基于离线学习的测量模型，可以基于被注解的训练样本集来离线训练对象检测器。这样的经过训练的对象检测器能够对具有大变化的对象进行建模并且对背景噪声来说也可以是稳健的。在有利的实施方案中，概率推进树(PBT)可被用于训练对象检测器。PBT是AdaBoost分类器的基于树的广义形式并且可以有效地模拟一类对象的复杂分布。对象检测器可以使用哈尔(Haar)特征来训练。表示为f(x)的经过训练的PBT分类器的输出是来自所学习到的弱分类器集合的输出H_k(x)与相关联的权重α_k的组合，即f(x)＝∑_kα_kH_k(x)。对于输入图像块，经过训练的PBT对象检测器的输出可以被解释为概率测量，如在方程(13)中所表达的那样：

$P^{\left(2\right)}\left(Z_t\right|m_t)=\frac{e^{f\left(x_{m_t}\right)}}{e^{-f\left(x_{m_t}\right)}+e^{f\left(x_{m_t}\right)}}.---\left(13\right)$

尽管使用PBT，但是本发明并不限于此。其它概率分类器也可能被用作基于离线学习的测量模型，例如SVM、k-NN以及随机森林。

基于在线表象的测量被用于模拟单独的对象表象，并且保持跟踪对象的表象变化。与离线学习的测量模型不同，基于表象的测量模型的目的在于模拟单独的对象的在线表象，而不是整类对象。同样与在线自适应判别模型不同，在线表象模型用于表示对象，而不是将对象与图像的其它部分分离。在有利的实施方案中，在线表象模型采取如下形式：

$P^{\left(3\right)}\left(Z_t\right|m_t)\∝G(D\left(x_{m_t}\right);{\mathrm{\σ}}_a),---\left(14\right)$

其中G是具有零均值和带宽σ_α的一维高斯内核。是计算当前观测和表象模板(appearancetemplate)x⁰之间的差的稳健的距离函数，由下式给出：

$D\left(m_t\right)=\underset{k}{\mathrm{\Σ}}{c}_k\mathrm{\ρ}(x_{m_t}\left(s_k\right)-x^0\left(s_k\right);{\mathrm{\σ}}_a).---\left(15\right)$

在方程(15)中，{s_k}是图像模板中的像素集。模板中的每个像素都被分配有权重c_k，以不再强调远离模板中心的像素。像素权重被设定为c_k＝G(-|s_k|；σ_t)，其中|s_k|对于s_k来说是到模板中心的距离，以及σ_t被设定为图像模板大小。ρ是去除异常值的稳健函数：

在跟踪期间，模板x⁰通过跟踪结果来更新，以跟上动态对象变化。模板更新对图像噪声敏感并且易于跟踪“漂移”。当可能使用更高级的模板更新策略的时候，本发明人已经发现，当与其它测量融合时，该简单的模板更新方法在混乱背景中工作良好。这进一步证实了多个测量融合的益处。

三个测量模型P⁽¹⁾(Z_t|m_t)、P⁽²⁾(Z_t|m_t)和P⁽³⁾(Z_t|m_t)在方程(12)中被用来在图像序列的帧中检测对象的状态。例如，测量模型可以在方程(12)中被用来检测对象位于帧中的图像块。三个测量模型的权重可以由用户以实验方式设定。在可能的实施方案中，测量模型P⁽¹⁾(Z_t|m_t)、P⁽²⁾(Z_t|m_t)和P⁽³⁾(Z_t|m_t)可以被分配有权重ω₁＝0.25、ω₂＝0.50和ω₃＝025，但是本发明并不限于此。

穷举地搜索对象状态空间以获得最大的后验概率估计在计算方面是昂贵的。对于计算效率，可以使用基于内核的多分辨率方法。在多分辨率跟踪中，在样本对象状态集处进行测量，而不是全部状态空间。在该方法中，在2D运动空间中被均匀采样。马尔克夫条件独立性可以被假定：在采样点处的观察与非采样点m_t无关，即因此，基于内核的测量估计可被表示为：

其中是具有带宽σ_s的高斯内核。基于内核的测量估计可以从样本集中获得平滑测量，以便减少测量的计算。通过递增地减少采样步骤和σ_s，对于图像序列的帧可以实现粗到细的跟踪。

返回到图5，在步骤512，输出针对当前帧的对象跟踪结果。例如，可以通过显示荧光透视图像序列的当前帧中的对象跟踪结果来输出对象跟踪结果。例如，当前帧的对象跟踪结果可以被显示在计算机系统的显示器上。也可能的是通过将输出跟踪结果存储在例如计算机系统的存储器或内存中而输出对象跟踪结果。

在步骤514，确定当前帧是否为荧光透视图像序列中的最后帧。如果当前帧不是最后帧，则该方法返回到步骤506。因此，重复步骤506-512，以跟踪对象并且在每个随后的帧中输出跟踪结果。这导致在线判别模型随着该对象在每个帧中都被跟踪而自适应地被更新，以及在每个随后帧中，使用自适应判别模型、经过训练的对象检测器测量模型以及在线表象模型来跟踪该对象。这还导致随着该对象在每个帧中都被跟踪而针对每个帧实时输出对象跟踪结果。如果在步骤514当前帧是最后帧，则该方法继续到步骤516。在步骤516，该方法结束。

尽管图5的方法图示了其中随着对象在每个帧中被跟踪而实时输出针对每个帧的对象跟踪结果的有利的实施例，但是本发明并不限于此。也可能的是，在该对象在荧光透视图像序列的所有帧中都被跟踪之后，一起输出针对整个图像序列的被跟踪的结果。

图7图示了使用图5的方法的示例性猪尾导管跟踪结果。图7的序列(a)示出了被跟踪的猪尾导管尖端位置702、704、706、708和710分别处于帧701、703、705、707和709中。序列(a)示出了判别跟踪可以处理封闭和造影注射。图7的序列(b)示出了分别处于帧711、713、715、717和719中的被跟踪的猪尾导管尖端位置712、714、716、718和720。如在帧715中所示，在被跟踪的猪尾导管尖端位置716与真实数据猪尾导管尖端位置750之间有误差。因此，序列(b)表明，稳健跟踪可以根据单个帧中的跟踪误差来恢复。图7的(c)中的图像集示出了其它荧光透视图像序列的分别处于帧721、723、725、727、729、731、733和735中的附加猪尾导管尖端跟踪结果722、724、726、728、730、732、734和736。

上述用于在荧光透视图像序列中跟踪对象(诸如猪尾导管)的方法可以在计算机上使用熟知的计算机处理器、内存单元、存储装置、计算机软件以及其它组件来实施。这样的计算机的高级框图在图8中被图示。计算机802包含处理器804，该处理器804通过执行限定这样的操作的计算机程序指令来控制计算机802的总体操作。计算机程序指令可以被存储在存储装置812或其它计算机可读介质(例如磁盘、CDROM等)中，并且当需要执行计算机程序指令时被加载到内存810中。因此，图5和6的方法的步骤可以由存储在内存810和/或存储器812中的计算机程序指令来限定并且由执行计算机程序指令的处理器804来控制。图像捕获装置820(诸如x射线扫描装置)可以被连接到计算机802，以将图像输入到计算机802。可能将图像捕获装置820和计算机802实施为一个装置。也可能的是图像捕获装置820和计算机802通过网络以无线方式进行通信。计算机802还包括一个或多个网络接口806，用于经由网络与其它装置进行通信。计算机802还包括使得用户能够与计算机802交互的其它输入/输出装置808(例如显示器、键盘、鼠标、扬声器、按钮等)。本领域的技术人员将意识到，实际计算机的实施还可以包括其它组件，以及出于说明性的目的，图8是这样的计算机的一些组件的高级表示。

前面的具体实施方式应被理解为在每个方面都是说明性的和示例性的，但并非限制性的，并且本发明在此公开的范围不是由具体实施方式来确定，而是由根据专利法所允许的全部宽度所解释的权利要求书来确定。应理解的是，在此所示出的以及所描述的实施例仅仅图解说明本发明的原理，并且本领域技术人员可以实施多种修改，而不偏离本发明的范围和精神。在没有偏离本发明的范围和精神的情况下，本领域技术人员能够实施各种其它特征组合。

Claims (17)

1.一种用于在荧光透视图像序列中跟踪对象的方法，其包括：

基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象在线训练自适应判别模型；以及

至少基于在线训练的自适应判别模型来在荧光透视图像序列的当前帧中跟踪对象，包括在当前帧中使用为在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型的融合的总体测量模型来跟踪对象。

2.根据权利要求1所述的方法，其中，基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象在线训练自适应判别模型的步骤包括：

提取来自在至少一个在前帧中的被跟踪的对象的正样本以及远离在至少一个在前帧中的被跟踪的对象的负样本；

基于所提取的正样本以及负样本，使用梯度下降法来更新线性判别向量，以减少贝叶斯误差；以及

基于所更新的线性判别向量来更新概率模型。

3.根据权利要求2所述的方法，其中，基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象在线训练自适应判别模型的步骤还包括：

重复更新线性判别向量以及更新概率模型的步骤，直到线性判别向量收敛。

4.根据权利要求2所述的方法，其中，最初的线性判别向量基于被注解的训练数据而离线训练。

5.根据权利要求4所述的方法，其中，最初的线性判别向量使用减少训练数据的维度的主成分分析PCA以及使用被应用到来自PCA的主成分结果以学习最初的判别向量的费舍尔判别分析FDA而得以离线训练。

6.根据权利要求1所述的方法，其中，对象检测模型基于被注解的训练数据使用概率推进树PBT而被离线训练。

7.根据权利要求1所述的方法，其中，基于当前帧中的图像块与根据在至少一个在前帧中的被跟踪的对象来在线训练的表象模板之间的差，在线表象模型计算所述图像块的概率。

8.根据权利要求1所述的方法，其中，在当前帧中使用为在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型的融合的总体测量模型来跟踪对象的步骤包括：

在当前帧中基于从至少一个在前帧传播的运动先验概率和总体测量模型来跟踪对象。

9.根据权利要求1所述的方法，其中，至少基于在线训练的自适应判别模型来在荧光透视图像序列的当前帧中跟踪对象的步骤包括：

在当前帧t中检测对象中的运动参数，以最大化后验概率：

，

其中是帧的所观察的图像数据，是从至少一个在前帧传播的运动先验概率，是在线训练的自适应判别模型，是来自离线训练的对象检测器的概率测量，以及是在线表象模型。

10.0.根据权利要求1所述的方法，其中，对象为猪尾导管尖端。

11.1.一种用于在荧光透视图像序列中跟踪对象的设备，其包括：

用于基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象来在线训练自适应判别模型的装置；以及

用于至少基于在线训练的自适应判别模型来在荧光透视图像序列的当前帧中跟踪对象的装置，其包括用于在当前帧中使用为在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型的融合的总体测量模型来跟踪对象的装置。

12.根据权利要求11所述的设备，其中，用于基于在荧光透视图像序列的至少一个在前帧中的被跟踪的对象来在线训练自适应判别模型的装置包括：

用于提取来自在至少一个在前帧中的被跟踪的对象的正样本以及远离在至少一个在前帧中的被跟踪的对象的负样本的装置；

用于基于所提取的正样本和负样本来使用梯度下降法更新线性判别向量以减少贝叶斯误差的装置；以及

用于基于所更新的线性判别向量来更新概率模型的装置。

13.根据权利要求12所述的设备，还包括：

用于基于被注解的训练数据来离线训练最初的线性判别向量的装置。

14.根据权利要求11所述的设备，其中，对象检测模型基于被注解的训练数据使用概率推进树PBT而被离线训练。

15.根据权利要求11所述的设备，其中，基于当前帧中的图像块与根据在至少一个在前帧中的被跟踪的对象来在线训练的表象模板之间的差，在线表象模型计算所述图像块的概率。

16.根据权利要求11所述的设备，其中，用于在当前帧中使用为在线训练的自适应判别模型、离线训练的对象检测模型以及在线表象模型的融合的总体测量模型来跟踪对象的装置包括：

用于在当前帧中基于从至少一个在前帧传播的运动先验概率和总体测量模型来跟踪对象的装置。

17.根据权利要求11所述的设备，其中，对象为猪尾导管尖端。