CN102385754A - 一种物体跟踪方法和设备 - Google Patents

Abstract

提供一种物体跟踪方法和设备，所述方法包括：接收用于跟踪的图像；基于第一帧图像初始化被跟踪物体的三维形状模型的参数；在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板；更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至预定程度。

Description

一种物体跟踪方法和设备

技术领域

本发明涉及物体跟踪，更具体地讲，涉及一种使用三维模型和三维纹理进行物体跟踪的方法和设备。

背景技术

根据目标表达方式的不同，常见的物体跟踪方法可以分为基于外观的方法和基于特征的方法。在基于外观的跟踪方法中，模型和输入图像中被跟踪目标的整个外观纹理图像都参与匹配过程，通过最小化二者之间的差距找到状态参数。基于特征的方法通常选择一些容易跟踪，且对光照、角度、变形等比较鲁棒的图像特征，如颜色、边缘、角点等，通过这些特征获得物体状态的估计。

物体跟踪算法还可以被分为确定性的方法和随机性的方法两类。确定性方法有梯度下降法，最大期望算法，回归技术等。随机方法有Condensation算法，动态贝叶斯网络等。

物体跟踪算法还可以分为基于运动的方法和基于模型的方法。在基于运动的方法中，首先使用光流算法，或者基于块结构的运动估计算法，或者基于图像特征匹配的方法，估计出前后帧之间物体或者物体上某些部分的位移。然后，根据位移信息计算目标模型的运动参数。在基于模型的跟踪方法中，使用模型描述目标状态，通过改变模型参数，可以使模型描述与当前输入图像中相应信息之间的误差最小，实现对物体的跟踪。

WO 2008/106725介绍了一种对三维人脸进行实时跟踪的方法。这是一种基于特征的方法。使用当前模型参数，如位置、姿态、形状等，可以渲染出处于此种参数条件下的人脸图像，从图像上选择有利于跟踪的角点特征，并对每个特征点在输入图像上寻找对应的位置，从而使用特征点的对应关系，计算出图像中的人脸相对于当前模型参数的变化，实现跟踪。

然而，在现有的物体跟踪方法中，需要使用从大量训练样本学习得到模型。这种基于模型学习的方法存在的主要问题是，模型所描述对象的范围受到训练模型时使用的样本的限制，模型无法表达出样本集中没有出现过的模式。对于物体跟踪来说，如果目标形变的范围或方式超出了样本集中所包含的内容，由于模型无法跟踪目标的变化，会导致跟踪中断。

此外，在现有的跟踪方法中，被跟踪目标被假设为刚性物体。即在跟踪过程中，物体的形状不发生变化，只有位置和尺寸发生变化。然而，很多实际物体(如人脸、人体器官等)均为非刚性物体。由于个体差异的存在，其形状和表观本来就存在差异，又可能在运动过程中产生形状的改变，使得跟踪的难度增加。

此外，在现有的跟踪方法中，被跟踪目标的面外旋转角度必须在一个比较小的范围内，如果超出了这一范围，由于目标在图像中的外观变化过大，就会导致跟踪中断。以人脸为例，大部分跟踪方法对于正面人脸上的特征，如眼睛、眉毛、嘴等，具有良好的跟踪能力。然而如果头部姿态发生变化，图像中的人脸不再是正面情况时，跟踪效果就会变差。

因此，需要一种能够即使被跟踪目标在跟踪过程中发生形状改变并且姿态变化很大的情况下也能实现精确跟踪的方法和设备。

发明内容

本发明的目的在于提供一种物体跟踪方法和设备，该物体跟踪方法和设备在被跟踪目标在跟踪过程中发生形状改变并且姿态变化很大的情况下也能实现精确跟踪，从而获得被跟踪目标的位置、姿态和形状变化参数。

本发明的一方面提供一种物体跟踪方法，所述方法包括：接收用于跟踪的图像；基于第一帧图像初始化被跟踪物体的三维形状模型的参数；在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。

所述方法还可包括：根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；当确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，其中，当确定当前帧图像为非关键帧时，结束对当前帧的跟踪。

三维形状模型的参数可包括：位置参数、姿态参数和形变参数。

在先前帧图像中获得的三维形状模型的参数可以是姿态参数。

将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理。

三维形状模型的三维姿态空间可被划分多个区域，每个区域表示一个姿态范围并且能够对应于一个纹理模板，存在的对应的纹理模板的集合形成纹理模板库。

判断当前帧图像是否是关键帧的步骤可包括：当更新的参数中的姿态参数所在的区域没有对应的纹理模板时，确定当前帧图像是关键帧。

判断当前帧图像是否是关键帧的步骤还可包括：当更新的参数中的姿态参数所在的区域存在对应的纹理模板时，当更新的参数中的姿态参数所表示的姿态比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态时，确定当前帧图像是关键帧。

判断当前帧图像是否是关键帧的步骤还可包括：确定与更新的参数中的姿态参数对应的区域；确定该对应的区域是否存在对应的纹理模板；如果存在对应的纹理模板，则确定更新的参数中的姿态参数所表示的姿态是否比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态；如果确定不更接近，则将当前帧设置为非关键帧。

判断当前帧图像是否是关键帧的步骤还可包括：如果确定更接近，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定对齐至第二预定程度，将当前帧设置为关键帧；如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧；如果确定更接近，则在确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度之前，确定更新的参数中的姿态参数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表示的姿态更远离该对应的区域的中心的坐标所表示的姿态；如果确定更远离，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定不更远离，则将当前帧设置为非关键帧。

判断当前帧图像是否是关键帧的步骤还可包括：如果不存在对应的纹理模板，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定对齐至第二预定程度，将当前帧设置为关键帧；如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧。

第一预定程度可小于等于第二预定程度。

基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包括：通过调整三维形状模型的参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。

形变参数可包括个性化形变参数和运动形变参数。

基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包括：通过调整个性化形变参数、位置参数和姿态参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。

将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理，其中，通过去除该纹理的形变特性而获得规范化纹理的步骤包括：将在形变参数为零的条件下的三维形状模型的顶点投影到二维平面，根据每个网格的顶点的坐标与每个网格所覆盖的像素的位置关系，将每个网格所覆盖的像素变换到该二维平面，从而得到规范化纹理。

三维形状模型的形状可被表示如下：

$S=S_0+\underset{i}{\mathrm{\Σ}}{a}_i{A}_i+\underset{j}{\mathrm{\Σ}}{b}_j{B}_j$

其中，S₀为平均形状，

为可变部分，可变部分包括个性化形变

和运动形变

A_i和B_j为形变的基向量，a_i为个性化形变参数，b_j为运动形变参数。

当选择的与在先前帧图像中获得的三维形状模型的参数对应的纹理模板被生成时三维形状模型的姿态与在跟踪先前帧图像时使用的纹理模板被生成时三维形状模型的姿态之差在预定范围内时，使用在跟踪先前帧图像时使用的纹理模板。

从纹理模板库中选择具有与在先前帧图像中获得的三维形状模型的参数所表示的姿态相接近的姿态的纹理模板，以对当前帧图像中的被跟踪对象进行跟踪。

本发明的另一方面提供一种物体跟踪设备，所述设备包括：接收单元，接收用于跟踪的图像；初始化单元，基于第一帧图像初始化被跟踪物体的三维形状模型的参数；纹理模板选择单元，在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；更新单元，更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。

所述物体跟踪设备还可包括：关键帧确定单元，根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；规范化纹理计算单元，在关键帧确定单元确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；纹理模板设置单元，将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，其中，当关键帧确定单元确定当前帧图像为非关键帧时，结束对当前帧的跟踪。

在本发明中，为了使被跟踪物体在产生较大幅度姿态变化时仍能被跟踪到，使用了三维形状模型和多个纹理模板。用三维形状模型的位置和姿态参数描述被跟踪物体的位置和姿态状态，当被跟踪物体形状变化时，三维形状模型的状态参数同步变化，实现较大幅度姿态变化条件下的稳定跟踪。多个纹理模板用来表示被跟踪物体在不同姿态条件下的外观状态，提高跟踪方法对物体姿态变化的稳定性。

此外，为了使被跟踪物体发生形变时仍能被跟踪到，本发明使用的三维形状模型中包含了变形参数。也就是说，在跟踪过程中，三维形状模型与被跟踪物体同步产生形变，用三维形状模型的形变参数描述物体的形变状态。

此外，为了减少跟踪方法对于训练样本的依赖，本发明中使用的形状模型，既可以通过统计的方式获得，也可以使用手工设计的方式获得。另外，跟踪过程中所依赖的纹理信息，在跟踪起始阶段及跟踪过程中，从输入图像中获得，从而减少对训练样本的依赖。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图l示出根据本发明实施例的物体跟踪设备的框图；

图2示出根据本发明实施例的物体跟踪方法；

图3示出根据本发明实施例的获得初始纹理模板的流程图；

图4示出根据本发明实施例的调整三维形状模型的参数的流程图；

图5示出根据本发明实施例的划分三维姿态空间的示意图；

图6示出根据本发明实施例的判断当前帧图像是否是关键帧的流程图。

具体实施方式

现在，将参照附图更充分地描述不同的示例实施例。

图1示出根据本发明实施例的物体跟踪设备的框图。

如图1所示，根据本发明的物体跟踪设备包括：接收单元101、初始化单元102、纹理模板选择单元103和更新单元104。

接收单元101接收用于跟踪的图像，该图像可由各种图像获取装置产生，例如，相机、摄像机等。

初始化单元102基于第一帧图像初始化被跟踪物体的三维形状模型的参数。

纹理模板选择单元103在跟踪当前帧图像中的被跟踪对象时，基于在跟踪先前帧图像时获得的三维形状模型的参数，从纹理模板库中选择合适的纹理模板，以跟踪当前帧图像中的被跟踪对象。

更新单元104更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至预定程度。

在另外的实施例中，根据本发明的物体跟踪设备还可包括：关键帧确定单元105、规范化纹理计算单元106和纹理模板设置单元107。

关键帧确定单元105根据更新的三维形状模型的参数确定当前帧图像是否是关键帧，以生产新的纹理模板或更新当前存在的纹理模板。

规范化纹理计算单元106在关键帧确定单元105确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理。

纹理模板设置单元107将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板。

图2示出根据本发明实施例的物体跟踪方法。下面根据图2详细描述本发明的物体跟踪方法，同时更详细地说明图1的各单元所执行的处理和具有的功能。

在步骤S101，接收单元101接收用于跟踪的图像。该图像可由各种图像获取装置产生，例如，相机、摄像机等。

在步骤S102，初始化单元102基于输入的第一帧图像初始化被跟踪物体的三维形状模型的参数。

在本发明中，被跟踪物体的三维形状模型预先被建立，三维形状模型的参数可包括位置参数、姿态参数和形变参数，从而能够对物体进行位置、姿态和形变的跟踪。将三维形状模型的顶点投影到输入的图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，将该纹理的坐标变换到形变参数为零的三维形状模型得到规范化纹理。

在初始化被跟踪物体的三维形状模型的参数时，初始化单元102调整三维形状模型的参数，使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的顶点重合。当实现重合时获得的三维形状模型的参数就是初始化的三维形状模型的参数。初始化的参数能够准确反映被跟踪物体的初始状态。

通过调整三维形状模型的参数，使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的顶点重合时获得的被跟踪物体的纹理的规范化纹理为初始规范化纹理。

在跟踪过程中，如果三维形状模型的参数是准确的，即三维形状模型上的每个顶点始终与被跟踪物体上固定的位置对应，则按照上述方式得到的规范化纹理具有不变性。不变性的含义是，在跟踪过程中，忽略光照条件变化的影响，同一物体的规范化纹理不随物体位置、姿态、形变参数的改变而改变。因此，反过来，规范化纹理是否保持不变，可以衡量作为跟踪结果的三维模型的参数是否准确。可以将三维形状模型的参数准确时获得的规范化纹理保存下来，作为实现跟踪的依据的纹理模板。当通过调整三维形状模型的参数使得被跟踪物体的规范化纹理与纹理模板对齐时，可使用此时的三维形状模型的参数来表示被跟踪物体的状态(即，位置、姿态和形变中的至少一个)。

实际上，由于非均匀光照和可视范围的影响，即使模型参数准确，在物体姿态不同时，规范化纹理也是不同的。因此，需要对于不同的物体姿态来设置不同的纹理模板，纹理模板的集合称为纹理模板库。

在一个示例中，三维形状模型可通过向量被表示。三维形状模型可包括被跟踪物体的顶点在模型坐标系中的三维坐标：

S＝(x₁，y₁，z₁，x₂，y₂，z₂，…，x_n，y_n，z_n)^T，

其中，n为顶点的数量，(x_i，y_i，z_i)^T为第i个顶点的坐标。

在本发明中，三维形状模型的形状被划分为平均形状和可变部分。由于形状实质上可由坐标表示，因此三维坐标S可被转换为包括平均形状和可变部分，表示如下：

$S=S_0+\underset{i}{\mathrm{\Σ}}{a}_i{A}_i+\underset{j}{\mathrm{\Σ}}{b}_j{B}_j$

被跟踪物体相对于这一类物体平均形状之间的差别，运动形变表示跟踪过程中被跟踪物体的形状可能发生的变化。A_i和B_j为形变的基向量，a_i和b_j为形变系数。形变系数a_i和b_j也可分别用向量a和b表示，向量a和b为三维形状模型的形变参数。即，在本发明中，形变参数包括个性化形变参数a和运动形变参数b。

三维形状模型的顶点坐标与其在图像平面上的投影坐标之间的关系可被表示为：

(u_i，v_i)^T＝M(x_i，y_i，z_i，1)^T

其中，M为投影变换矩阵，由三个旋转角度θ_x、θ_y、θ_z，两个平移系数t_x、t_y，和一个缩放系数s确定。投影变换相关的这六个参数用向量q表示，即，

q＝(θ_x，θ_y，θ_z，t_x，t_y，t_z)^T。

三维形状模型的位置参数和姿态参数可由向量q表示，其中，θ_x、θ_y、θ_z为姿态参数n，t_x、t_y、t_z为位置参数d。

可以将三维形状模型的顶点投影到图像中的被跟踪物体上，将通过连接投影在图像上的顶点而形成的网格所覆盖的图像上的像素作为被跟踪物体的纹理。将a＝b＝0条件下的三维形状模型的顸点投影到二维平面，根据每个网格的顶点的坐标与每个网格所覆盖的像素的位置关系，将每个网格所覆盖的像素(即，被跟踪物体的纹理)变换到该二维平面，从而得到规范化纹理。即，通过去除被跟踪物体的纹理的形变特性而获得规范化纹理。例如，当网格为三角形时，根据每个三角形网格的三个顶点的坐标与每个三角形网格所覆盖的像素的位置关系，将每个三角形网格所覆盖的像素变换到该二维平面，从而得到规范化纹理。

根据输入的图像I和模型参数计算规范化纹理x的过程可被表示如下：

x＝W(I，a，b，q)

在跟踪过程中，个性化形变参数a不发生改变，上述关系式可以简化为：

x＝W(I，b，q)

在完成三维形状模型的参数的初始化并且获得初始的纹理模板之后，就可以进行跟踪。

在步骤S103，开始进行跟踪，纹理模板选择单元103根据三维形状模型的当前参数，从纹理模板库中选择合适的纹理模板。即，在对当前帧中的被跟踪对象进行跟踪时，纹理模板选择单元103使用在跟踪先前帧图像时获得的三维形状模型的参数，从纹理模板库中选择与之对应的纹理模板。

在跟踪第二帧图像时，由于三维形状模型的参数还没有被调整，因此三维形状模型的当前参数就是初始化的参数。类似地，在跟踪第三帧图像时，三维形状模型的当前参数就是在跟踪第二帧输入图像时调整后的参数；在跟踪第i帧图像时，三维形状模型的当前参数就是在跟踪第i-1帧图像时调整后的参数。

根据前面所述，当被跟踪物体处于不同的姿态时，需要使用不同的纹理模板。即，在跟踪过程中，由于可视范围有限以及非均匀光照的影响，当物体姿态发生变化时，产生的规范化纹理图像也会发生变化，与生成的初始纹理模板之间会存在偏差，导致跟踪过程出现误差。物体姿态与生成的初始纹理模板时的姿态差别越大，这种偏差就越显著。物体姿态变化引起的规范化纹理图像与纹理模板之间的偏差是不可避免的，为了减少这种偏差对跟踪的影响，本发明针对不同的姿态使用不同的纹理模板。例如，可以划分多个姿态范围，一个姿态范围可使用一个纹理模板。

可根据前一帧图像中被跟踪物体的姿态来选择对应的纹理模板。由于三维形状模型的当前参数实际上表示前一帧图像中被跟踪物体的状态，因此可根据三维形状模型的当前参数中的姿态参数来确定对应的纹理模板。

在步骤S104，更新单元104更新三维形状模型的参数，使得从当前帧图像获得的规范化纹理与在步骤S103选择的纹理模板对齐。

此时，获得的三维形状模型的参数表示当前帧图像中被跟踪物体的状态。

在本发明的一个实施例中，可预先设置不同姿态的纹理模板形成纹理模板库。利用姿态接近在跟踪先前帧图像时获得的三维形状模型的参数所表示的姿态的纹理模板来跟踪当前帧。优选地，选择姿态最接近在跟踪先前帧图像时获得的三维形状模型的参数所表示的姿态的纹理模板。然而，由于预先设置不同姿态的纹理模板需要大量的具有不同姿态的被跟踪物体的图像作为样本，并分别获得各个纹理模板，增加了工作量和计算量。

在本发明的另一实施例中，可在跟踪过程中获得纹理模板来形成纹理模板库，并且在跟踪过程中可更新已经存在的纹理模板。下面结合图2和图5详细描述在跟踪过程中获得以及更新纹理模板的处理。

如图5所示，在三维姿态空间划分多个区域，每个区域表示一个姿态范围。例如，当旋转角度θ_x、θ_y、θ_z的变化范围为正负90度时，每隔10度划分一个区域，则可划分出5832个姿态范围。每个区域可被表示为C_i，每个区域的中心的坐标可被表示为p_i，这里i为区域的编号。在跟踪过程(包括初始化阶段)中，每个区域可以被产生一个纹理模板T_i，并且每个区域的纹理模板T_i可以被更新。然而并不是每个区域一定会被产生纹理模板，这取决于被跟踪物体在跟踪过程中的姿态变化情况。存在的纹理模板的集合形成纹理模板库。

由于前面提到的初始规范化纹理是在将三维形状模型的参数调整准确的情况下获得的，因此可以将初始规范化纹理设置为初始的纹理模板。

再参照图2，在步骤S105，关键帧确定单元105根据更新的三维形状模型的参数判断当前帧图像是否是关键帧，以产生新的纹理模板或更新已经存在的纹理模板。

如果在步骤S105确定当前帧图像为关键帧，则在步骤S106，规范化纹理计算单元106基于更新了参数的三维形状模型重新计算被跟踪物体的规范化纹理。

随后，在步骤S107，纹理模板设置单元107将在步骤S106计算的规范化纹理设置为纹理模板，以产生或更新与当前帧图像的姿态对应的区域的纹理模板。

如果在步骤S105确定当前帧图像为非关键帧，则结束对当前帧的跟踪过程。

在该实施例中，纹理模板主要是在跟踪过程中产生的，因此将在当前帧更新的姿态参数所在的区域还没有对应的纹理模板时，将当前帧设置为关键帧，以产生对应的纹理模板。

此外，在该实施例中，在跟踪过程中更新已经存在的纹理模板。然而在产生与区域对应的纹理模板时，更新的姿态参数可能不是该区域的中心，而是偏离该区域的中心。这样，在三维姿态空间中，虽然各个区域是均匀划分的，然而各个区域对应的纹理模板的姿态参数并不是均匀分布的。因此为了使得纹理模板的姿态参数在三维姿态空间中也均匀分布，当存在对应的纹理模板时，如果当前帧的更新的姿态参数比该对应的纹理模板的姿态参数更接近对应的区域的中心，则可将通过已经更新了参数的三维形状模型从当前帧获得的规范化纹理设置为纹理模板来更新该存在的纹理模板。可选地，为了保证纹理模板的精度，在产生或更新纹理模板前需要确定从当前帧获得的规范化纹理是否达到预定的精度要求。将在下面参照图6进行详细描述。

图3示出根据本发明实施例的获得初始纹理模板的流程图。

在步骤S201，对输入的第一帧图像中的被跟踪物体的关键点(或，顶点)进行定位。

在步骤S202，通过调整三维形状模型的参数，使得当三维形状模型上的与定位的关键点对应的顶点投影到第一帧图像上时，所述对应的顶点与关键点对齐。

在步骤S203，计算规范化纹理图像，并将其作为初始纹理模板。

其中，在步骤S202调整三维形状模型的参数时，由于第一帧图像还不存在运动变形，此时可仅调整形变参数中的个性形变参数a以及位置参数和姿态参数q，对齐过程可被表示如下：

$E(a,q)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|\left(\begin{array}{c}{u}_i\\ v_i\end{array}\right)-\left(\begin{array}{c}{s}_i\\ t_i\end{array}\right)\left|\right|}^2,$

其中，N为要对齐的关键点的数量，u_i、v_i为三维形状模型的顶点在第一帧图像上投影的二维坐标，s_i、t_i为定位得到的关键点的位置坐标，E(a，q)表示对齐程度，E(a，q)越小表示对齐程度越高。

在确定最优参数a和q的时候，使用分阶段优化的方式。在每个阶段之中，令优化对象分别为参数a和q，判断误差E(a，q)是否小于第一预定阈值。当误差小于第一预定阈值时，说明优化过程可以结束，保存这时的模型参数；否则，继续进行优化a和q，直到误差小于预定阈值或者迭代次数超过一阈值时结束调整。此时，认为映射的三维形状模型的顶点与关键点对齐或重合，即，当达到一定对齐或重合程度时，可认为实现对齐。由于根据实际情况可能需要不同的跟踪精度，判断是否对齐的标准可能不同，当要求跟踪精度高时，可减小第一预定阈值；反之，可增大第一预定阈值。换句话说，当第一预定阈值小时，要求的对齐程度高；当第一预定阈值大时，要求的对齐程度低。

下面参照图4说明调整三维形状模型的参数。图4示出根据本发明实施例的在获得初始纹理模板时调整三维形状模型的参数的流程图。

在步骤S301，调整参数q。在步骤S302，确定E(a，q)是否小于第一预定阈值。如果在步骤S302确定小于第一预定阈值，则结束调整。如果在步骤S302确定不小于第一预定阈值，则在步骤S303调整参数a。在步骤S304，确定E(a，q)是否小于第一预定阈值。如果在步骤S304确定小于第一预定阈值，则结束调整。如果在步骤S304确定不小于第一预定阈值，则进行步骤S301。

可选地，图4所示的方法还包括步骤S305，其中，确定调整次数是否小于一阈值。如果确定调整次数小于阈值，则进行步骤S301；如果确定调整次数不小于阈值，则结束调整。

应该理解，也以可首先调整参数a然后调整参数q，或者可以同时调整a和q。

在图2的步骤S 104中更新三维形状模型的当前参数时，也可利用图4的分阶段优化的方式。在步骤S104调整三维形状模型的参数时，处于跟踪过程中，个性形变参数a不变，可针对运动形变参数b以及位置参数和姿态参数q进行更新，更新过程可被表示如下：

E(b，q)＝‖W(I，b，q)-T‖²

其中，T为在步骤S103选择的纹理模板，I为输入的当前帧图像。

在优化参数b和q的时候，使用分阶段优化的方式。在每个阶段之中，令优化对象分别为参数b或q，判断误差E(b，q)是否小于第二预定阈值。当误差小于第二预定阈值时，说明优化过程可以结束，保存这时的模型参数；否则，继续进行优化b和q，直到误差小于第二预定阈值或者迭代次数超过一阈值时结束调整。此时，认为规范化纹理与纹理模板对齐。

此外，也可同时调整b和q。

图6示出根据本发明实施例的关键帧确定单元105判断当前帧图像是否是关键帧的流程图。

在步骤S501，获得当前帧图像中的被跟踪物体的姿态参数n_t。可根据在图2的步骤S104获得的被跟踪物体的状态获得姿态参数n_t。

在步骤S502，基于姿态参数确定对应的区域C_i。即，将姿态参数所在的姿态范围的区域确定为对应的区域C_i。

在步骤S503，确定区域C_i是否存在对应的纹理模板T_i。

如果在步骤S503确定存在对应的纹理模板T_i，则在步骤S504，确定姿态参数n_t所表示的姿态是否比纹理模板T_i被生成时三维形状模型的姿态参数Mn_i更接近姿态参数p_i所表示的姿态，即确定‖n_t-p_i‖＜‖Mn_i-p_i‖。

如果在步骤S504确定更接近姿态参数n_t所表示的姿态，则在步骤S505确定姿态参数n_t所表示的姿态是否比前一帧图像的被跟踪物体的姿态参数n_t-1所表示的姿态更远离姿态参数p_i所表示的姿态，即确定‖n_t-p_i‖＞‖n_t-1-p_i‖。

如果在步骤S505确定更远离姿态参数p_i所表示的姿态时，则在步骤S506，确定E(b，q)是否小于第三预定阈值。这里，第三预定阈值小于等于第二预定阈值。

如果在步骤S506确定E(b，q)是小于第三预定阈值时，则在步骤S507，将当前帧设置为关键帧。

如果在步骤S506确定E(b，q)是不小于第三预定阈值时，则在步骤S508，将当前帧设置为非关键帧。

如果在步骤S503确定不存在对应的纹理模板T_i，则进行到步骤S506。

如果在步骤S504确定没有更接近姿态参数n_t所表示的姿态，则进行到步骤S508。

如果在步骤S505确定不更远离近姿态参数p_i所表示的姿态，则进行到步骤S508，从而避免了重复建立纹理模板。

在另一实施例中，可省略步骤S505。即，如果在步骤S504确定更接近姿态参数n_t所表示的姿态，则进行到步骤S506。

在跟踪过程中，需要从纹理模板库中选择出适当的纹理模板。选择的依据是前一帧进行跟踪后得到的姿态参数n_t-1。即，选择具有与姿态参数n_t-1接近(即，接近到预定程度)或最接近的姿态的纹理模板来跟踪当前帧图像中的被跟踪对象。例如，在所有的区域中，选择已经设置过纹理模板并且其中心姿态接近或最接近姿态参数n_t-1的区域C_i的纹理模板用于跟踪当前帧。换句话说，如果姿态参数n_t-1所在的区域存在相应的纹理模板，则使用该纹理模板用于跟踪当前帧；如果姿态参数n_t-1所在的区域不存在相应的纹理模板，则使用存在的纹理模板中姿态接近或最接近n_t-1的纹理模板来跟踪当前帧。当被跟踪物体的姿态处于两个区域边界时，可能发生频繁更换纹理模板的现象，导致跟踪结果跳动，所以可以根据需要提高更换纹理模板所需的条件。

在一个实施例中，在前一帧使用的纹理模板T_i-1被生成时被跟踪物体的姿态Mn_i-1，根据在前一帧的更新的姿态参数n_t-1确定的在当前帧要使用的纹理模板为T_i，其被生成时被跟踪物体(或三维形状模型)的姿态Mn_i。如果‖Mn_i-n_t-1‖-‖Mn_i-1-n_t-1‖在预定范围内，则可以仍然使用前一帧使用的纹理模板T_i-1。

在另外的实施例中，也可选择存在的纹理模板中的生成时三维形状模型的姿态参数接近(即，接近到预定程度)或最接近姿态参数n_t-1的纹理模板来跟踪当前帧。即，仅考虑纹理模板自身的姿态，而非纹理模板所对应的区域的中心的姿态。

在此使用的术语“单元”的意思是，但不限于，软件和硬件组件，诸如可执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。

在本发明中，为了使被跟踪物体在产生较大幅度姿态变化时仍能被跟踪到，使用了三维形状模型和多个纹理模板。用三维形状模型的位置和姿态参数描述被跟踪物体的位置和姿态状态，当被跟踪物体形状变化时，三维形状模型的状态参数同步变化，实现较大幅度姿态变化条件下的稳定跟踪。多个纹理模板用来表示被跟踪物体在不同姿态条件下的外观状态，提高跟踪方法对物体姿态变化的稳定性。

此外，为了使被跟踪物体发生形变时仍能被跟踪到，本发明使用的三维形状模型中包含了变形参数。也就是说，在跟踪过程中，三维形状模型与被跟踪物体同步产生形变，用三维形状模型的形变参数描述物体的形变状态。

此外，为了减少跟踪方法对于训练样本的依赖，本发明中使用的形状模型，既可以通过统计的方式获得，也可以使用手工设计的方式获得。另外，跟踪过程中所依赖的纹理信息，在跟踪起始阶段及跟踪过程中，从输入图像中获得，从而减少对训练样本的依赖。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (21)

1.一种物体跟踪方法，所述方法包括：

接收用于跟踪的图像；

基于第一帧图像初始化被跟踪物体的三维形状模型的参数；

在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；

更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。

2.根据权利要求1所述的方法，还包括：

根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；

当确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；

将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，

其中，当确定当前帧图像为非关键帧时，结束对当前帧的跟踪。

3.根据权利要求1所述的方法，其中，三维形状模型的参数包括：位置参数、姿态参数和形变参数。

4.根据权利要求3所述的方法，其中，在先前帧图像中获得的三维形状模型的参数是姿态参数。

5.根据权利要求1所述的方法，其中，将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理。

6.根据权利要求1或2所述的方法，其中，三维形状模型的三维姿态空间被划分多个区域，每个区域表示一个姿态范围并且能够对应于一个纹理模板，存在的对应的纹理模板的集合形成纹理模板库。

7.根据权利要求6所述的方法，其中，判断当前帧图像是否是关键帧的步骤包括：当更新的参数中的姿态参数所在的区域没有对应的纹理模板时，确定当前帧图像是关键帧。

8.根据权利要求7所述的方法，其中，判断当前帧图像是否是关键帧的步骤还包括：当更新的参数中的姿态参数所在的区域存在对应的纹理模板时，当更新的参数中的姿态参数所表示的姿态比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态时，确定当前帧图像是关键帧。

9.根据权利要求8所述的方法，其中，判断当前帧图像是否是关键帧的步骤还包括：

确定与更新的参数中的姿态参数对应的区域；

确定该对应的区域是否存在对应的纹理模板；

如果存在对应的纹理模板，则确定更新的参数中的姿态参数所表示的姿态是否比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态；

如果确定不更接近，则将当前帧设置为非关键帧。

10.根据权利要求9所述的方法，其中，判断当前帧图像是否是关键帧的步骤还包括：

如果确定更接近，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；

如果确定对齐至第二预定程度，将当前帧设置为关键帧；

如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧；

如果确定更接近，则在确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度之前，确定更新的参数中的姿态参数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表示的姿态更远离该对应的区域的中心的坐标所表示的姿态；

如果确定更远离，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；

如果确定不更远离，则将当前帧设置为非关键帧。

11.根据权利要求9所述的方法，其中，判断当前帧图像是否是关键帧的步骤还包括：

如果不存在对应的纹理模板，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；

如果确定对齐至第二预定程度，将当前帧设置为关键帧；

如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧。

12.根据权利要求9所述的方法，其中，第一预定程度小于等于第二预定程度。

13.根据权利要求1所述的方法，其中，基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤包括：通过调整三维形状模型的参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。

14.根据权利要求3所述的方法，其中，形变参数包括个性化形变参数和运动形变参数。

15.根据权利要求14所述的方法，其中，基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤包括：通过调整个性化形变参数、位置参数和姿态参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。

16.根据权利要求3所述的方法，其中，将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理，其中，通过去除该纹理的形变特性而获得规范化纹理的步骤包括：将在形变参数为零的条件下的三维形状模型的顶点投影到二维平面，根据每个网格的顶点的坐标与每个网格所覆盖的像素的位置关系，将每个网格所覆盖的像素变换到该二维平面，从而得到规范化纹理。

17.根据权利要求14所述的方法，其中，三维形状模型的形状被表示如下：

$S=S_0+\underset{i}{\mathrm{\Σ}}{a}_i{A}_i+\underset{j}{\mathrm{\Σ}}{b}_j{B}_j$

b_j为运动形变参数。

18.根据权利要求6所述的方法，其中，当选择的与在先前帧图像中获得的三维形状模型的参数对应的纹理模板被生成时三维形状模型的姿态与在跟踪先前帧图像时使用的纹理模板被生成时三维形状模型的姿态之差在预定范围内时，使用在跟踪先前帧图像时使用的纹理模板。

19.根据权利要求1所述的方法，其中，从纹理模板库中选择具有与在先前帧图像中获得的三维形状模型的参数所表示的姿态相接近的姿态的纹理模板，以对当前帧图像中的被跟踪对象进行跟踪。

20.一种物体跟踪设备，所述设备包括：

接收单元，接收用于跟踪的图像；

初始化单元，基于第一帧图像初始化被跟踪物体的三维形状模型的参数；

纹理模板选择单元，在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；

更新单元，更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。

21.如权利要求20所述的物体跟踪设备，还包括：

关键帧确定单元，根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；

规范化纹理计算单元，在关键帧确定单元确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；

纹理模板设置单元，将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，

其中，当关键帧确定单元确定当前帧图像为非关键帧时，结束对当前帧的跟踪。

Images