CN103177269A - 用于估计对象姿态的设备和方法 - Google Patents

Abstract

提供一种用于估计对象姿态的设备和方法，所述设备包括：对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。通过密度融合，能够纠正对象跟踪过程中的累积误差，取得更为准确的对象估计结果。

Description

用于估计对象姿态的设备和方法

技术领域

本发明涉及用于估计对象姿态的技术，具体说来，涉及一种能够对于对象的连续姿态进行估计的设备和方法。

背景技术

对象姿态估计是计算机视觉、人机交互和其它相关领域的一项重要内容。例如，当用户的头部作为进行估计的对象时，可通过估计用户的连续头部姿态来了解用户所要表达的丰富的个性化信息，比如，演讲者的头部姿态可帮助别人了解他的演讲内容和情绪。此外，对象(例如，头部)姿态的估计结果可用于进行更为友好的人机交互，例如，如果可通过估计头部姿态得出用户视线的焦点，就能够进行更为有效的人机交互。

目前的对象姿态估计方法大致上可分为基于跟踪的方法和基于学习的方法这两种。基于跟踪的方法主要是在视频序列中的当前帧与前一帧之间，以成对配准的方式来估计对象的姿态，其优点是短时间尺度下相对姿态精度较高，但是这种方法由于累积误差容易产生跟踪漂移，而当对象旋转幅度大或者运动快时，又容易由于特征匹配错误而跟踪失败。尽管可利用关键帧技术来解决跟踪漂移问题，但是如何在现实中合理地选取并更新关键帧是个难以解决的问题。

另一方面，基于学习的方法通常将对象姿态估计定义为分类问题或者回归问题，通过具有标签的样本来进行训练，利用得到的训练模型来估计对象的姿态。基于学习的方法的缺点在于：分类方法只能完成对象姿态的粗略估计，而回归方法在现实环境中易受影响，无法取得精确的估计结果。

因此，尽管已就对象姿态估计进行了大量的研究工作，但是在现实世界中用计算机视觉的方法连续稳定地获取对象姿态依然是个难题，特别是在光照变化剧烈，对象旋转角度大或对象运动速度快等情况下更难实现有效的对象姿态估计。

发明内容

本发明的示例性实施例在于提供一种用于估计对象姿态的设备和方法，从而克服现有技术中难以有效地实现对象姿态跟踪的问题。

根据本发明的一方面，提供一种用于估计对象姿态的设备，所述设备包括：对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。

所述设备还可包括：在线更新单元，用于基于由结合单元估计的所述对象姿态来更新对象识别单元的训练模型。

所述对象识别单元可首先对包含输入对象的图像进行Gabor小波变换，然后，从Gabor小波变换后的图像提取对象的亮度分布，作为对象的特征，从而针对所述对象的特征基于训练模型来获取所述对象的识别姿态概率密度。

所述训练模型可以是随机森林模型，并且，在线更新单元可通过以下处理来更新所述随机森林模型：确定所述对象姿态是否为在线关键样本，当所述对象姿态为在线关键样本时，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。

对象识别单元可计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。

所述对象可包括人的头部。

对象识别单元可通过以下处理来计算相邻两帧图像中头部的相对姿态：基于人的头部中的匹配特征点执行POSIT处理，然后，利用正交迭代方法对POIST处理后内围的匹配特征点进行处理。

结合单元可以将跟踪姿态概率密度作为基础，针对识别姿态概率密度中的每个识别姿态进行密度融合来获取所述对象的估计姿态概率密度。

结合单元可将得到的估计姿态概率密度中的每种估计姿态进行随机扩散，并基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态。

当结合单元基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态时，所述结合单元可重新获取估计姿态概率密度中每种估计姿态的概率值，其中，所述结合单元可计算每种估计姿态的最大似然值作为它的概率值。

结合单元可将重新获取的最大概率值对应的估计姿态作为所述对象的估计姿态。

根据本发明的另一方面，提供一种用于估计对象姿态的方法，所述方法包括：输入待估计的对象；基于跟踪方法来获取所述对象的跟踪姿态概率密度；基于训练模型来获取所述对象的识别姿态概率密度；以及通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。

所述方法还可包括：基于估计的所述对象姿态来更新训练模型。

基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤可包括：计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。

基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤可与基于训练模型来获取所述对象的识别姿态概率密度的步骤被并行执行。

根据本发明的所述对象姿态估计设备和方法，能够利用静态的对象识别结果来影响动态的对象跟踪结果，从而解决对象跟踪过程中的跟踪漂移问题。

附图说明

通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的对象姿态估计设备的框图；

图2是示出根据本发明示例性实施例的对象姿态估计方法的流程图；

图3是示出根据本发明示例性实施例的通过将跟踪姿态概率密度与识别姿态概率密度进行融合来估计对象姿态的示图；以及

图4是示出根据本发明示例性实施例对训练模型进行在线更新的效果图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1是示出根据本发明示例性实施例的对象姿态估计设备的框图。如图1所示，根据本发明示例性实施例的对象姿态估计设备可包括：对象输入单元10、对象跟踪单元20、对象识别单元30和结合单元40。

具体说来，对象输入单元10用于将对象输入到对象跟踪单元20和对象识别单元30，应注意，根据本发明示例性实施例的对象姿态可包括各种人体部位(例如，头部、躯干、四肢等)的姿态，还可包括非人体的各种对象的姿态，例如，运动的物体等。

对象跟踪单元20基于跟踪方法来获取所述对象的跟踪姿态概率密度，对象识别单元30基于训练模型来获取所述对象的识别姿态概率密度，结合单元40将跟踪姿态概率密度与识别姿态概率密度进行融合，从而获取所述对象的估计姿态概率密度，基于所述对象的估计姿态概率密度，结合单元40可估计出所述对象的对象姿态。从图1可以看出，在根据本发明示例性实施例的对象姿态估计设备中，融合了动态的姿态跟踪结果和静态的姿态识别结果，通过两者的概率密度融合，可防止动态的姿态跟踪结果中的误差被不断累积，从而解决了跟踪漂移问题。

此外，作为附加部件，图1的对象姿态估计设备还可包括在线更新单元50，该在线更新单元50可基于由结合单元40估计出的对象姿态来更新对象识别单元30中的训练模型。通过这种方式，可实质上扩充训练模型的样本数量，并且所增加的样本更符合真实环境，从而进一步提高了训练模型的泛化性能。此外，这种在线更新的方式不需要对大部分的样本进行存储，对内存的要求较低。

本领域技术人员应理解：本发明并不受限于图1所示的对象姿态估计设备的具体结构，例如，对象输入单元10或结合单元40可被并入对象跟踪单元20或对象识别单元30中，而在线更新单元50也可被并入对象识别单元30中，另外，还可对上述单元进行各种组合，以通过单个控制器来实现所组合的多个单元。也就是说，对于本领域技术人员而言，可对图1所示的设备结构进行各种形式和细节上的变形，以执行基本一致的操作。

图2是示出根据本发明示例性实施例的对象姿态估计方法的流程图，可通过图1所示的对象姿态估计设备来执行所述对象姿态估计方法。

参照图2，在步骤S100，由对象输入单元10将对象输入到对象跟踪单元20和对象识别单元30。这里，所述对象的数据格式不需要受限于某种特定格式，任何能够实现对象跟踪和对象识别的数据格式的图像均可被应用于本发明(例如，灰度图像、RGB图像、红外图像，深度图像等)。此外，优选地，在某些情况下，所述对象输入单元10还可对诸如头部的对象执行AAM(主动外观模型)拟合以及面部定位等处理，以从原始图像中分离出头部，再将头部作为待估计的对象输入到对象跟踪单元20和对象识别单元30。

在步骤S200，由对象跟踪单元200基于跟踪方法来获取所述对象的跟踪姿态概率密度。具体说来，可将跟踪的对象看作一个刚体，然后针对所述对象的每个观测状态，通过最大化对象运动的后验概率来优化跟踪过程，从而得到跟踪姿态概率密度。本领域的技术人员应知晓，可利用诸如粒子滤波等各种跟踪方法来实现对输入对象的连续姿态的跟踪，也就是说，任何能够基于连续输入的对象得出其跟踪姿态概率分布的跟踪方法均可应用于本发明。

优选地，本发明还可采用一种改进的跟踪方式来获取对象的跟踪姿态概率密度，在该优选方式下，对于成功配准的相邻两帧图像，对象跟踪单元20计算出所述相邻两帧图像的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播，从而得到更为准确的跟踪姿态概率密度。

以下将以头部为例来具体说明对象跟踪单元20根据上述优选方式执行操作的示例。

对于成功配准的相邻两帧图像，假设针对前一帧图像估计出的头部姿态概率密度由粒子集P_yaw(N)和P_pitch(N)表示，其中，P_yaw(N)表示头部姿态的N个样本的水平偏转角(yaw)的概率分布，P_pitch(N)表示头部姿态的N个样本的垂直倾斜角(pitch)的概率分布。这里，对于第一帧图像而言，由于其不具有前一帧图像，因此，可选取概率值相同的任意粒子集P_yaw(N)和P_pitch(N)，或其它适当的头部姿态概率密度作为其进行姿态跟踪的基础。

然后，对象跟踪单元20针对所述相邻两帧图像提取人脸上的二维特征点并建立相应的对应关系，然后，借助3D人脸模型，利用3D姿态估计方法(诸如POSIT方法)，得到所述特征点的三维坐标，从而重建所述相邻两帧图像的相对姿态δ_t(R，T)，其中，t指示当前时刻，R指示相对姿态的旋转矩阵，T指示相对姿态的平移向量。优选地，为了进一步确保收敛性，可在POSIT处理之后，进一步利用正交迭代(OI，orthogonal iteration)方法对内围的匹配特征点进行处理。

在计算相对姿态δ_t(R，T)时，可选取至少4对匹配的特征点以获取能够有效地影响对象姿态概率密度(即，恢复对象姿态)的相对姿态，为此，对象跟踪单元20可随机选取用于恢复对象姿态的匹配特征点的最小集，然后选取大量的可以计算相对姿态的匹配特征点。对每个恢复的对象姿态，根据3D人脸模型的三维顶点到图像平面的投影误差计算其置信度。最后选取置信度最高的姿态作为重建的相对姿态δ_t(R，T)。之后，粒子集P_yaw(N)和P_pitch(N)中的所有样本都基于重建的相对姿态δ_t(R，T)进行调整更新，从而实现密度传播过程。更新后的粒子集P_yaw(N)和P_pitch(N)即为对象跟踪单元20基于跟踪算法得到的当前帧图像的跟踪姿态概率分布。

在步骤S300，由对象识别单元30基于训练模型来获取当前帧图像中所述对象的识别姿态概率密度。根据本发明的示例性实施例，对象识别单元30可采用任意针对静态图像进行对象姿态识别的方式来获取识别姿态概率密度，从而通过与步骤S200中获取的跟踪姿态概率密度进行融合以纠正对象跟踪单元20中产生的累积误差。这里，基于训练模型获取识别姿态概率密度的方式有助于在复杂的真实环境(例如，光照变化强烈或出现严重的对象遮挡问题等)下补偿跟踪失败导致的估计失效问题。

作为示例，对象识别单元30可基于随机森林模型来获取对象的识别姿态概率密度。这里的随机森林模型可以是事先通过离线训练获取的预测树集合，其能够依据回归算法针对每一帧输入对象的特征得出相应的各个姿态的概率密度。利用随机森林的回归来实现对象姿态识别是本领域的公知技术，在此不做赘述。

优选地，根据本发明的示例性实施例，在提取对象的特征之前，首先对原始图像进行Gabor小波变换，这样可在复杂的现实环境下改进特征提取的性能，使得识别结果对光照、漂移和形变等表现出更好的鲁棒性。

针对Gabor变换后的对象，对象识别单元30可提取对象划分为网格(例如，8×8网格)后的亮度分布，作为对象的特征，并基于该特征通过随机森林的回归得到相应的识别姿态概率密度。这里，每个特征都被归一化为零均值和单位方差，以均衡不同Gabor内核的尺度变化。

应注意，步骤S200和步骤S300并不受限于以上描述的顺序，其也可被并行执行。

然后，在步骤S400，由结合单元40将在步骤S200得到的跟踪姿态概率密度与在步骤300得到的识别姿态概率密度进行融合，从而获取对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。

图3是示出根据本发明示例性实施例的通过将跟踪姿态概率密度与识别姿态概率密度进行融合来估计对象姿态的示图。在图3示出的(A)、(A’)、(B)、(C)和(C’)中，每个圆圈表示一种姿态，圆圈的大小表示该姿态的概率值。具体说来，图3中的(A)表示针对前一帧图像估计出的对象的姿态概率密度，图3中的(A’)表示基于当前帧与前一帧之间的相对姿态δ_t(R，T)对前一帧的对象姿态概率密度(A)进行调整更新(即，概率密度传播)而得到的当前帧对象的跟踪姿态概率密度，图3中的(B)表示基于随机森林模型得到的当前帧对象的识别姿态概率密度，图3中的(C)表示通过将跟踪姿态概率密度(A’)与识别姿态概率密度(B)进行融合而得到的估计姿态概率密度，其中，在进行所述融合处理时，结合单元40以跟踪姿态概率密度(A’)作为基础，针对识别姿态概率密度(B)中的每个识别姿态进行密度融合。具体说来，结合单元40可判断跟踪姿态概率密度(A’)中是否存在某种跟踪姿态，使得该跟踪姿态与所述识别姿态之间的距离小于一定阈值(该阈值的取值可根据需要人为设定、或通过其它方式计算而得)，如果存在这样的跟踪姿态，则增加所述跟踪姿态的概率值(例如，将所述跟踪姿态的概率值增加1/M，其中，M为随机森林中随机树的数量)，如果不存在相应的跟踪姿态，则将所述识别姿态作为一种新的跟踪姿态添加到跟踪姿态概率密度中，该新的跟踪姿态的概率值可为1/M。在对识别姿态概率密度(B)中的所有识别姿态执行过上述处理之后，便得到融合后的估计姿态概率密度，其中，各个姿态的概率值被归一化处理。此外，作为优选方式，可删除其中概率较低的姿态，仅根据需要保留概率较高的姿态进行后续处理。

在上述密度融合处理之后，可选地，结合单元40将得到的估计姿态概率密度中的每种估计姿态进行随机扩散(例如，布朗运动)，以获取更为有效的估计姿态概率密度(C’)。

在此基础上，结合单元40将重新获取估计姿态概率密度(C’)中每种估计姿态的概率值，这里，可将每种估计姿态的最大似然值作为它的概率值。优选地，可将每种姿态的似然概率设置为与提取的特征点和二维投影之间的位置差异和成正比，其中，所述二维投影对应于所述特征点的三维坐标。而对于由粒子集P_yaw(N)和P_pitch(N)表示的头部姿态而言，第i个水平偏离样本P_yaw-i的概率值是针对P_pitch(N)中所有垂直倾斜样本估计的极大似然值，第j个垂直倾斜样本P_pitch-j的权重值是针对P_yaw(N)中所有水平偏离样本估计的极大似然值。

在此基础上，结合单元40将概率值最大的姿态作为估计出的对象姿态。

以上示出的是依据结合单元40得到的跟踪姿态来重新计算每种姿态的概率值，从而确定最终估计姿态的示例，然而，本领域技术人员应理解：本发明并不受限于上述示例，任何可用于根据跟踪姿态来估计出每种姿态的概率值的方式均可应用于本发明。

此外，作为优选的附加处理，在步骤S500，在线更新单元50可基于由结合单元40在步骤S400估计出的最终对象姿态来更新对象识别单元30中的训练模型。例如，在随机森林模型作为训练模型的情况下，在线更新单元50可将所述估计出的对象姿态看作袋外(out-of-bag)样本，并计算随机森林中各个树的袋外误差(OOBE，out-of-bag-error)以及整个随机森林的OOBE，如果整个森林的OBBE大于阈值(例如，0.5或其它根据实际应用设置的值)，则将所述对象姿态作为在线关键样本，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。

作为示例，在已经确定在线关键样本S之后，对于随机森林中的当前树Tt而言，可确定该当前树Tt在加入关键样本S后的OOBE值是否大于阈值(例如，0.5)，如果小于阈值，进行叶子节点更新算法。

以下详细描述叶子节点更新算法，对于所述在线关键样本S，如果叶子节点中已经存在与该样本S的姿态一致或近似的节点类别，则将节点类别的个数加1，否则，在叶子节点中增加新的节点类别，该新的节点类别具有样本S，同时，将叶子节点的总类别个数加1。接着，判断是否需要对当前的叶子节点进行分类，例如，确定叶子节点的总类别个数是否大于一定阈值(该阈值可根据实际情况来设置)，如果大于阈值，则按照现有技术中的节点分裂方法进行节点分裂，否则，可结束在线更新过程。

图4是示出根据本发明示例性实施例对训练模型进行在线更新的效果图，图4中的(A)示出本领域常用的Boston University的jam7测试图像序列，在图4中的(B)中，Ground truth示出针对上述测试图像利用磁传感器获得的真实头部yaw姿态，RF示出基于传统的离线随机森林进行识别的结果，OnlineRF-1和OnlineRF-2是基于本发明提出的在线更新的随机森林进行识别的结果，由此可见，本发明提出的基于估计出的对象姿态来更新训练模型的方式能够取得更接近真实对象的识别结果。

在根据本发明示例性实施例的对象姿态估计设备和对象姿态估计方法中，融合了动态的姿态跟踪结果和静态的姿态识别结果，从而有效地防止了姿态跟踪结果中的误差被不断累积，从而解决了跟踪漂移问题。此外，本发明还可利用相邻图像的相对姿态来指导跟踪姿态概率密度的传播，从而得到更为准确的跟踪姿态概率密度。此外，本发明在获取识别姿态概率密度时使用的训练模型可采取在线更新的方式被持续训练，通过这种方式，可实质上扩充训练模型的样本数量，并且所增加的样本更符合真实环境，从而进一步提高了训练模型的泛化性能。此外，这种在线更新的方式不需要对大部分的样本进行存储，对内存的要求较低。

应注意，根据本发明示例性实施例的对象姿态估计设备可被包括在用于进行人机交互的设备中，例如，所述人机交互的设备可根据对象姿态估计设备估计出的头部姿态以及提取的眼睛位置来合成视窗。

本发明的以上各个实施例仅仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：任何涉及利用跟踪姿态和识别姿态融合以估计对象姿态的方式均落入本发明的范围之中。在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (15)

1.一种用于估计对象姿态的设备，所述设备包括：

对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；

对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；

对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及

结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。

2.如权利要求1所述的设备，还包括：

在线更新单元，用于基于由结合单元估计的所述对象姿态来更新对象识别单元的训练模型。

3.如权利要求1所述的设备，其中，所述对象识别单元首先对包含输入对象的图像进行Gabor小波变换，然后，从Gabor小波变换后的图像提取对象的亮度分布，作为对象的特征，从而针对所述对象的特征基于训练模型来获取所述对象的识别姿态概率密度。

4.如权利要求2所述的设备，其中，所述训练模型是随机森林模型，并且，在线更新单元通过以下处理来更新所述随机森林模型：确定所述对象姿态是否为在线关键样本，当所述对象姿态为在线关键样本时，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。

5.如权利要求1所述的设备，其中，对象识别单元计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。

6.如权利要求5所述的设备，其中，所述对象包括人的头部。

7.如权利要求6所述的设备，其中，对象识别单元通过以下处理来计算相邻两帧图像中头部的相对姿态：基于人的头部中的匹配特征点执行POSIT处理，然后，利用正交迭代方法对POIST处理后内围的匹配特征点进行处理。

8.如权利要求1所述的设备，其中，结合单元以跟踪姿态概率密度作为基础，针对识别姿态概率密度中的每个识别姿态进行密度融合来获取所述对象的估计姿态概率密度。

9.如权利要求8所述的设备，其中，结合单元将得到的估计姿态概率密度中的每种估计姿态进行随机扩散，并基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态。

10.如权利要求9所述的设备，其中，当结合单元基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态时，所述结合单元重新获取估计姿态概率密度中每种估计姿态的概率值，其中，所述结合单元计算每种估计姿态的最大似然值作为它的概率值。

11.如权利要求10所述的设备，其中，结合单元将重新获取的最大概率值对应的估计姿态作为所述对象的估计姿态。

12.一种用于估计对象姿态的方法，所述方法包括：

输入待估计的对象；

基于跟踪方法来获取所述对象的跟踪姿态概率密度；

基于训练模型来获取所述对象的识别姿态概率密度；以及

通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。

13.如权利要求12所述的方法，还包括：

基于估计的所述对象姿态来更新训练模型。

14.如权利要求12所述的方法，其中，基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤包括：计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。

15.如权利要求14所述的方法，其中，基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤与基于训练模型来获取所述对象的识别姿态概率密度的步骤被并行执行。

Images