CN104718563A - 追踪三维物体的方法 - Google Patents

Abstract

在从不同视点同时获取的多个图像序列中追踪肿瘤。利用窗口在各个当前图像集合中提取特征。将受到运动约束的回归函数应用于特征以获得3D运动参数，将所述3D运动参数应用于在图像中观察到的肿瘤以获得物体的3D位置。然后，将该3D位置处的3D物体的形状投影到各个图像上以更新待处理的下一图像集合的窗口的位置。

Description

追踪三维物体的方法

技术领域

本发明总体上涉及图像引导放射治疗，更具体地讲，涉及在治疗期间追踪肿瘤。

背景技术

图像引导放射治疗(IGRT)系统使用肿瘤追踪。通过准确的追踪，由于呼吸而增加给计划目标体积的大边缘可被消除，以使放射线对健康组织的不利影响最小化。另外，连续放射可通过消除呼吸门控(respiration gating)和主动呼吸控制(ABC)而缩短治疗活动的持续时间。

传统肿瘤追踪从内部和外部代用物(surrogate)确定肿瘤位置。例如，可在肿瘤周围植入多个被动(金属)或主动(电磁)基准标记，以利用X射线视频连续监测肿瘤的运动。还可使用外部标记(例如，利用光学成像系统可见的胸部和腹部指示物)的对应模型，参见相关的美国专利申请13/039,906。间接估计肿瘤位置的内部基准标记也是可能的。

然而，植入的基准标记具有许多缺点。标记需要侵入式手术，可损伤健康组织，引起肺虚脱，并且可移位从而导致位置的不确定。实际上，可由于人呼吸的复杂性而扰乱外部或内部标记与肿瘤位置之间的相关性。

无标记肿瘤追踪方法获得多个代用物区域的运动模式的参数表示以估计肿瘤位置。然而，该方法需要长时间的代用物区域和地面实况肿瘤位置的标记以用于模型训练。

另一方法描述了正交X射线图像的多模板匹配，参见Mei等人的“Robust visualtracking using L1minimization”(第2届国际计算机视觉会议，IEEE，1436-1443，2009)。该方法使用粒子滤波器、稀疏模板和贝叶斯状态干涉框架。对于图像质量较低的低对比度肿瘤区域，模板匹配可失败。

相关的美国专利申请13/039,906公开了这样一种方法，其在放射治疗期间通过对从通过单个运动传感器(例如，激光扫描仪或3D计算机断层扫描)获取的患者皮肤的3D运动信号选择的特征应用回归，来定位诸如肿瘤的移动目标物体。

发明内容

本发明的实施方式提供一种在放射治疗期间追踪例如患者体内的肿瘤的物体的方法。该方法不需要基准标记或者患者的主动呼吸控制。该方法生成多个随机运动假设，并且在正交轴图像区域中确定对应特征向量。所述假设可在3D中联合地生成以训练单个3D回归模型，或者在2D中通过反投影生成以分别训练两个2D模型。所述假设在运动约束的限制内。

回归模型通过使测地距离最小化来将特征映射到3D肿瘤运动。对于运动先验概率，线性轨迹约束被合并成运动约束以将估计结果正则化。还描述了用于特征计算的最佳窗口大小选择技术。

附图说明

[图1]图1是根据本发明的实施方式的追踪3D肿瘤运动的投影和多个成像传感器的示意图。

[图2]图2是根据本发明的实施方式的追踪肿瘤运动的方法的流程图。

[图3]图3是本发明的实施方式所使用的变换的示意图。

具体实施方式

本发明的实施方式提供一种追踪物体的方法。在一个实施方式中，所述物体是肿瘤，在放射治疗期间执行追踪。所述方法不需要基准标记并且是无创的。肿瘤追踪使用2D图像特征与肿瘤运动之间的回归模型拟合。

图1示出多个图像101-102。例如，从矢状传感器和冠状传感器获得所述图像。例如，传感器可使用X线透视或超声检查。换言之，根据本发明的实施方式的追踪是无创的。各个传感器获取图像(视频)序列101-102。使所述序列同步以使得在各个成像时间(帧频)传感器获取图像的集合，在所述集合中针对各个传感器存在一个图像。传感器可彼此倾斜或正交。然而，这不是必须的。唯一要求是传感器的视点不同。例如，图像提供矢状面视图103和冠状面视图104，以利用正交成像确定肿瘤运动105。由于呼吸，多个视图的投影的肿瘤区域明显移动。

发明人的直观感觉是，对运动敏感的图像特征变化可与肿瘤运动线性相关。因此，我们从第一图像集合开始在优化各个图像中提取特征的窗口大小的同时利用随机生成的运动假设训练线性回归函数。各个视图存在窗口。另外，回归函数可为非线性的。然后，我们将回归模型应用于为追踪到下一位置的物体的窗口内的各个当前图像集合确定的特征。

追踪方法

如图2所示，追踪使用训练模块220来确定回归函数，并且使用追踪模块230来确定3D位置209。当获取新图像时，重新训练回归函数。如本领域中已知的，本方法可在连接到存储器和输入/输出接口的处理器中执行。

训练开始于从图像序列101和102检索的初始图像集合201。这些图像被对准(210)，以确定初始物体3D位置和形状202。可手动地或者利用物体识别模块或其它计算机视觉技术自动地确定初始物体形状。

在一个实施方式中，通过将初始序列集合(例如，X射线视频)与其中物体形状和位置已知的参考图像集合(例如从计算机断层扫描(CT)数据数字重构的射线照片)匹配来实现对准210。对准处理确定物体形状和位置已知的初始序列集合中的图像子集，因此追踪可开始于这些图像子集并且在给定序列中的其余图像中寻找物体位置。

利用3D设置参数207，可获得物体相对于成像平面坐标系以及相对于真实世界坐标系的3D位置202。物体的形状是限定物体的3D体积。物体的位置可被指派为物体形状的质心。

训练使用运动约束3D 203、3D运动参数(MP)204和3D设置参数207来确定训练图像集合(例如，前两百个图像)的肿瘤的初始3D位置。

训练

利用物体的初始位置和形状、运动约束和3D运动，我们生成(221)3D运动参数。将3D MP应用(222)于物体，然后利用3D设置参数将物体投影(235)到图像。接下来，我们提取(223)各个训练图像集合的窗口中的图像特征。将所述特征连接以构造(224)运动和特征矩阵(构成组合特征)。将3D回归函数拟合(225)到所述矩阵，以完成训练。回归函数由追踪模块220使用。

追踪

对于各个当前图像集合205，我们利用追踪窗口提取(231)特征。例如，当使用两个视图时，当前集合包括一对图像(例如，矢状面视图103和冠状面视图104)。我们将3D回归函数应用(232)于特征以获得运动参数，然后将运动约束203应用(237)于运动参数。可更新(240)窗口的位置，并且可在步骤221处开始重新训练回归函数。

在应用运动约束之后，我们将运动参数(MP)应用(234)于物体，并且利用3D设置参数将3D运动投影(235)到图像面，从而生成肿瘤的当前3D位置309以及待处理的下一图像集合的窗口的位置。

3D回归追踪(3DR)

本发明的追踪方法训练由回归系数的m×d矩阵Ω指定的回归函数，其中d是仿射变换参数的数量。回归函数将矩阵X(特征矩阵)中的图像特征与矩阵Y(运动矩阵)中的物体运动相关。这可通过在3D欧几里得空间(3DR)中训练函数来完成。另选地，这可通过在2D平面空间中训练两个回归函数并且在3D空间(2DR)中将两个函数交叉来完成。

我们将训练用公式表示成通过将特征与运动参数之间的测地距离最小化来确定回归函数的系数的最小化问题

$\underset{\mathrm{\Ω}}{\min }{\left|\right|\mathrm{X\Ω}-Y\left|\right|}^2+\mathrm{\λ}{\left|\right|\mathrm{\Ω}\left|\right|}^2,---\left(1\right)$

其中，权重λ用于正则化，即，权重给予具有较小范数的解以优先。吉洪诺夫(Tikhonov)正则化也称为岭回归。

对于一个图像序列，两个连续图像之间的物体运动可被建模成3×3变换矩阵M。我们使用M来表示从物体空间中的单位正方形到包围图像空间中的物体的仿射窗口区域的变换，即，

(x_img；y_img；1)＝M(x_obj；y_obj；1)。

可从M_t-1通过下式确定时间t的物体位置M_t 209

M_t＝M_t-1·ΔM_t，(2)

其中，ΔM_t是时间t-1和t的连续图像之间的运动。

由于仿射运动矩阵位于可微分流形上，所以我们应用李群指数映射以确定ΔM_t

${\mathrm{\ΔM}}_t=\exp \left(h_t^T\mathrm{\Ω}\right),---\left(3\right)$

其中，h_t∈R^m是与从I_t全体扭曲的物体空间中的单位正方形对应的m×1特征向量。

如图3所示，我们生成物体坐标301中的n个训练假设并且确定图像坐标302中的对应特征。从图像I₀提取n个随机仿射变换ΔM_i的训练集合及其对应特征向量h_0,i，以确定式(1)的最优解。仿射变换M₀将单位正方形从物体映射至图像坐标。

下面描述图3所示的各种变换。我们将矩阵X和Y构造(223)成

X＝(h_0,1 ^Τ；...；h_0,n ^Τ)_n×m,Y＝((logΔM₁)^Τ；...；(logΔM_n)^Τ)_n×d.

为了训练将3D肿瘤运动(例如，平移)直接与图像集合的序列相关的联合回归函数，我们将从图像集合(例如，两个正交视图)提取的特征向量连接，并且直接估计与特征对应的3D仿射运动。

我们通过首先随机生成(221)n个3D仿射矩阵然后在3D欧几里得空间中根据移动(222)物体，来从时间t＝0的两个图像I₀ ¹和I₀ ²构造组合特征向量接下来，我们利用3D运动参数将投影(235)图像上。在对应窗口区域内，我们提取两个图像的集合中的图像的特征和

在这种情况下，Ω^＊将组合特征向量(t＝0，i＝1,…,n)映射至对应3D仿射运动矩阵其中是4×4仿射矩阵。因此，

$X^{*}=({(h_{\mathrm{0,1}}^1;h_{\mathrm{0,1}}^2)}^T;...;{(h_{0,n}^1;h_{0,n}^2)}^T),$ 并且

$Y^{*}=({\left(\log {\mathrm{\ΔM}}_1^{*}\right)}^T;...;{\left(\log {\mathrm{\ΔM}}_n^{*}\right)}^T).$

我们提取的特征h_t是例如方向梯度直方图(HOG)。我们使用追踪窗口内的各个5×5块的8柱直方图，并且将特征连接成向量。我们通过岭回归求解式(1)。应该注意的是，可使用其它特征，例如对物体运动敏感的特征。

肿瘤运动先验概率

肿瘤运动轨迹在放射治疗期间没有显著改变。对于许多门控治疗，呼气相期间的肿瘤位置比吸气相期间更加稳定和可再现。这指示了肿瘤运动可被建模成在呼气相期间具有更多时间的周期性非对称函数。当呼吸系统中不存在滞后时，一个呼吸循环的吸气和呼气的路径近似相同。即使在存在滞后的情况下，两个路径之间的最大偏差通常远小于沿着肿瘤运动的主方向的距离。

因此，我们使用线性运动约束203来将追踪结果正则化。所述构思将运动估计投影(235)到最近似于肿瘤轨迹的图像上，然后使用该投影来表示肿瘤位置。运动约束改进了追踪精度，并且通过移除高频抖动而使肿瘤轨迹稳定。实际上，这可减少旋转机架或者治疗台的移动，以传送一致的治疗。

为了实施运动约束，我们收集序列的第一部分(例如，两百个图像的集合)的追踪结果，然后将所述结果连接在200×3矩阵A中。然后，我们从与A的最大特征值λ_max对应的特征向量v_max确定主线。线投影矩阵可被确定为v_max·v_max'。换言之，我们将主线与其转置矩阵向量相乘以获得线投影矩阵，并且将物体运动先验概率指派为先验投影矩阵。

可在流形上学习运动先验概率。在这种情况下，也可在运动先验概率中捕捉非线性运动。利用序列的第一部分的物体追踪结果来学习这些流形。在流形学习方法当中，我们应用局部线性嵌入、等距映射(isomap)等。

在一个实施方式中，通过生物力学运动模型来给出运动先验概率。生物力学模型限定了CT数据中的各个点在呼吸期间如何移动，参见例如相关申请。我们利用四维CT数据和超现实呼吸仿真器来学习这些生物力学模型。我们还可从多个人学习生物力学运动模型以获得一般且更正则化的运动先验概率。为此，不同的人的生物力学模型被正规化为当前患者的身体模型(CT数据)。

最佳追踪窗口

如果物体是肿瘤，则追踪窗口的大小对于追踪软组织中(特别是肺和腹部中)的肿瘤有重要作用。这是因为肿瘤的不同部分倾向于不同地变形，所述变形取决于与组织边界的相对位置和外力。对于基于模板的方法为了获得有效的追踪结果，追踪窗口的大小不应过小估计运动或者失去肿瘤的追踪。

我们使用肿瘤区域中的自相似性来确定追踪窗口的最佳大小。自相似的物体完全或近似相似于它自己的一部分，即，整体具有与一个或更多个部分相同的形状。诸如肿瘤的物体在统计上是自相似的。

对于候选窗口大小w_x×w_y，搜索窗口大小为具有相同中心的2w_x×2w_y，并且 $r=(w_x\×x_y){(w_x^{*}\×w_y^{*})}^{-1}\∈\left[\mathrm{0.5,1.5}\right],$ 其中是物体的边界大小。

我们利用L2范数确定窗口区域内的任一对图像贴片(patch)的HOG距离，并且使用平均误差作为指标来描述候选窗口大小的辨别力。直观地，平均误差越大，窗口大小的辨别力越大。然而，不同的距离分布可具有相同的平均误差。为了考虑这些情况，我们给予较小(20％的)HOG距离以优先，并且使用其平均作为指标。

更具体地讲，我们首先围绕物体位置生成不同大小的候选窗口集合。我们选择这些候选窗口中的一个作为最佳追踪窗口。在各个候选窗口内，我们生成多个较小贴片。这些贴片可以是彼此交叠或者布置在网格结构上的8×8图像像素块等。然后，我们限定各个贴片的特征。这些特征可以是HOG特征。我们利用贴片的特征计算所有可能贴片对之间的距离。在候选窗口内或候选窗口之间使用不同大小的贴片的情况下，我们相对于对应贴片大小将距离正规化。

在我们计算出距离之后，我们构造距离的分布函数。发明人的直观感觉是，最佳窗口上和周围的特征计算将对窗口运动敏感，因此窗口将不是自相似的。换言之，贴片距离将不集中在分布函数的下端。结果，我们考虑分布函数的下端(例如，最小距离的20％)，并且选择对于此下端具有较高平均值(或中值)的候选窗口作为最佳窗口。我们计算下端的平均值(或中值)并且将它指派为辨别力分数。最佳窗口应该具有最大辨别力分数。

我们还可在各个图像中使用多个窗口，然后将多个回归函数应用于特征以获得多个3D运动参数。然后将所述多个3D运动参数组合成单个3D运动参数以便于进一步处理。

2D回归追踪(2DR)

代替训练单个3D回归函数，我们可针对两个视图训练两个回归矩阵Ω₁和Ω₂，并且反复地应用式(2)和式(3)以追踪集合中的各个图像中的肿瘤。在我们具有时间t的两个正交图像的两个个别的追踪结果和之后，我们可通过反投影确定3D中的肿瘤位置p_t。我们连接和c₁以形成线连接和c₂以形成然后将p_t确定为线和的交点，而c₁和c₂是两个传感器的视点。实际上，和可能并非必然彼此相交，因此我们选择连接这些线的最短路径的中点。

本发明的效果

与现有技术方法相比，本发明的追踪一致地实现了更准确的追踪结果。我们可达到小于2像素的平均误差以及小于1像素的标准偏差。在追踪精度方面，一个像素可对应于大约0.2mm。追踪还匹配地面实况轨迹。

相比之下，现有技术的基于光流(OF)的追踪器在肿瘤运动较大时倾向于过小估计肿瘤运动，从而导致显著误差。OF花费大约2.8分钟来处理单个图像，这对于放射治疗期间的实时追踪而言是不实用的。本发明的基于回归的方法可在少于十分之一秒内追踪肿瘤，这对于实时追踪和成像处理的帧频而言足矣。

基于粒子滤波器的追踪器在两个极端处夸大了肿瘤运动并且生成抖动的结果。金字塔方向梯度直方图(PHOG)粒子滤波器也是如此。基于粒子滤波器的追踪器的一个问题是图像中缺少纹理通常导致选择错误的运动假设作为在重点采样之后近似概率密度函数的模型。

当传统2DR未能追踪一个图像中的肿瘤时，它无法恢复，导致大的误差。相比之下，本发明的3DR由于从多个视图的联合和同时特征提取而避免了这些发散，并且与现有技术中的两个2D平面相反，维持3D空间中的肿瘤位置。

本发明的实施方式提供一种不需要标记或者其它侵入式技术的肿瘤追踪方法。该方法训练使3D肿瘤运动假设与对应正交图像内的肿瘤区域的连接外观特征联系起来的回归函数。

追踪器在精度(小于2像素，标准偏差小于1像素)和每图像对的速度(0.03秒)方面均胜过当前最先进的追踪方法。

Claims (20)

1.一种利用图像集合的多个序列追踪三维3D物体的方法，其中，各个集合中的图像从不同视点同时获取自所述物体，所述方法包括针对各个当前图像集合的以下步骤：

从当前集合中的各个图像提取特征，其中，在各个图像中的窗口内提取所述特征；

将受到运动约束的回归函数应用于所述特征以获得3D运动参数；

将所述3D运动参数应用于所述物体，以获得所述物体的3D位置；以及

将所述3D位置处的所述3D物体的形状投影到各个图像上，以更新下一图像集合中的各个图像的窗口的位置，其中，所述步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，所述视点彼此倾斜。

3.根据权利要求1所述的方法，其中，所述视点彼此垂直。

4.根据权利要求1所述的方法，其中，所述回归函数是线性的。

5.根据权利要求1所述的方法，其中，所述回归函数是非线性的。

6.根据权利要求1所述的方法，其中，所述回归函数将所述特征与所述3D运动参数关联起来。

7.根据权利要求1所述的方法，其中，所述特征是方向梯度直方图。

8.根据权利要求1所述的方法，其中，所述特征对所述物体的运动敏感。

9.根据权利要求1所述的方法，该方法还包括以下步骤：

利用初始图像集合训练所述回归函数。

10.根据权利要求9所述的方法，其中，所述训练使用随机生成的3D运动假设，并且所述方法还包括以下步骤：

将所述运动约束应用于所述物体的所述位置；

在所述运动约束的限制内针对各个3D运动假设生成所述3D运动参数；

根据各个3D运动参数移动以所述物体的所述位置为中心的3D物体形状；

根据3D设置参数将所述3D物体形状投影到各个图像上，以获得各个图像的所述窗口；

提取各个图像的所述窗口内的所述特征；

将所述特征连接以获得与各个假设对应的组合特征；

从所述3D运动假设的所述3D运动参数构造运动矩阵；

从所述运动假设的所述组合特征构造特征矩阵；以及

将所述回归函数拟合到所述运动矩阵和所述特征矩阵。

11.根据权利要求9所述的方法，其中，所述训练使所述特征与所述3D运动参数之间的测地距离最小化。

12.根据权利要求1所述的方法，该方法还包括以下步骤：

根据3D设置参数将所述3D物体的所述形状投影到各个图像上，以获得各个图像的所述窗口的位置，

基于所述物体的自相似性优化所述窗口的大小。

13.根据权利要求12所述的方法，该方法还包括以下步骤：

利用方向梯度直方图确定所述自相似性。

14.根据权利要求12所述的方法，该方法还包括以下步骤：

在不同的候选窗口大小内生成贴片；

计算贴片之间的距离；

根据最小距离的平均指派辨别力分数；以及

选择具有最大辨别力分数的候选窗口大小作为所述窗口的最佳大小。

15.根据权利要求1所述的方法，其中，所述回归函数受到运动约束，并且所述方法还包括以下步骤：

应用生物力学运动模型作为运动约束。

16.根据权利要求9所述的方法，该方法还包括以下步骤：

针对所述初始图像集合获得所述位置；

将所述位置布置成矩阵；

利用与所述矩阵中的最大值对应的特征向量确定主线；

将所述主线与所述主线的转置矩阵向量相乘，以获得先验投影矩阵；以及

指派物体运动先验概率作为所述先验投影矩阵。

17.根据权利要求16所述的方法，其中，所述物体运动先验概率在流形上确定。

18.根据权利要求15所述的方法，其中，所述生物力学运动模型是从多个人学习的。

19.根据权利要求1所述的方法，该方法还包括以下步骤：

利用所述当前图像集合更新所述位置处的所述回归函数。

20.根据权利要求1所述的方法，其中，在各个图像中的多个窗口内提取所述特征，并且将多个回归函数应用于所述特征以获得多个3D运动参数，并且所述方法还包括以下步骤：

将所述多个3D运动参数组合成单个3D运动参数。