CN105335984A - 跟踪对象的方法和装置 - Google Patents

Abstract

本发明的实施例提供了一种预测特征和实际特征。根据本发明实施例的跟踪对象的方法，包括：从视频图像获得对象的三维结构特征和平面图像特征；根据三维结构特征生成对象的三维空间模型；根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型；以及根据所生成的增强三维模型进行对象跟踪。

Description

跟踪对象的方法和装置

技术领域

本发明涉及跟踪对象的方法和装置，更具体地，本发明涉及利用关于对象的三维模型来确定进行对象跟踪的方法和装置。

背景技术

视频图像中的特定对象的跟踪在很多领域具有重要的意义。根据跟踪结果，可获得特定对象的行为特征。例如近年来，驾驶辅助系统的应用日渐普及。这样的驾驶辅助系统通常在车辆上安装有摄像设备，以便拍摄关于前方道路的图像，并通过分析所拍摄的图像来进行例如对象识别、跟踪前方车辆等处理，从而给出有助于驾驶员驾驶的信息。

传统的视频对象跟踪方法利用二维图像特征来表征对象,在视频图像的不同帧之间进行特征匹配，从而实现跟踪。然而对象的三维特征在映射到二维图像特征时丢失了大量有用的信息。例如在对象发生旋转(即，对象的朝向发生改变)时,对象的二维图像特征发生较大的改变,从而影响特征匹配的结果和最终对象跟踪的性能。

发明内容

本发明实施例的目的在于提供一种跟踪对象的方法和装置，以解决上述问题。

本发明的一个实施例提供了一种追踪跟踪对象的方法，包括：从视频图像获得对象的三维结构特征和平面图像特征；根据三维结构特征生成对象的三维空间模型；根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型；以及根据所生成的增强三维模型进行对象跟踪。

本发明的另一实施例提供了一种追踪跟踪对象的装置，包括：特征获取单元，配置来从视频图像获得对象的三维结构特征和平面图像特征；空间模型构建单元，配置来根据三维结构特征生成对象的三维空间模型；增强模型生成单元，配置来根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型；以及对象跟踪单元，配置来根据所生成的增强三维模型进行对象跟踪。

在根据本发明实施例提供的跟踪对象的方法和装置中，从采集的视频图像获得的对象的三维结构特征和平面图像特征两者来生成对象的增强三维模型，使得通过所生成的增强三维模型能够更加鲁棒并且有效地实现在视频图像中对于对象的跟踪。

附图说明

图1是描述了根据本发明一个实施例的跟踪对象的方法的流程图。

图2a是示出了根据本发明的一个示例根据深度信息获得的特征点的示意图。

图2b是示出了根据本发明的一个示例根据多个特征点同时提取对象在三维空间中的特征线和特征面的示意图。

图3a是示出了根据本发明的示例获得的一个平面图像特征的示意图。

图3b是示出了根据本发明的示例获得的另一平面图像特征的示意图。

图4是描述了根据本发明一个示例的根据所生成的增强三维模型进行对象跟踪的方法的流程图。

图5是示出了所采集的视频图像的图像帧的一个示例的说明图。

图6是示出了根据本发明的一个实施例的跟踪对象的装置的示范性结构框图。

图7是示出根据本发明的一个示例的特征获取单元的示范性结构框图。

图8是示出了根据本发明的一个示例的对象跟踪单元的示范性结构框图。

图9是示出了根据本发明的一个示例的预测特征选择模块的示范性结构框图。

图10是示出按照本发明实施例的跟踪对象的硬件系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

图1是描述了根据本发明一个实施例的跟踪对象的方法100的流程图。下面，将参照图1来描述根据本发明实施例的跟踪对象的方法。在根据本发明的实施例中，视频图像为立体相机所采集的三维视频图像，并且立体相机的具体形式包括但不限于双目相机。此外，在根据本发明的实施例中，视频图像中的对象包括在视频图像的场景中出现的机动车、自行车、行人、动物等活动或行进的对象。

如图1所示，在步骤S101中，从视频图像获得对象的三维结构特征和平面图像特征。根据本发明的一个示例，在步骤S101中，可从视频图像获得例如视差值之类的深度信息，并且从深度信息获得对象的三维结构特征。例如，三维结构特征可包括对象的特征点、特征线、特征面和/或特征体。

根据本发明的一个示例，可以依次获得特征点、特征线、特征面和特征体。具体地，根据深度信息获得在三维空间中位于对象各个表面上的多个点(即，对象的三维点云数据)作为特征点。然后，可从所获得的多个特征点提取在三维空间中物体的各个表面之间的边界线作为特征线。在提取了多条特征线的情况下，可根据所确定的特征线在三维空间中构建代表对象的表面特征面，并且可根据所构建的特征面进一步在三维空间中构建代表对象的形状的特征体。

然而，本发明不限于此。根据本发明另一示例，在根据深度信息获得的特征点足够多的情况下，可从所获得的多个特征点同时提取对象在三维空间中的特征线、特征面和特征体。图2a是示出了根据本发明的一个示例根据深度信息获得的特征点的示意图。图2b是示出了根据本发明的一个示例根据多个特征点同时提取对象在三维空间中的特征线和特征面的示意图。如图2a所示，对象表面上的大量特征点构成虚线框210中的不是黑色的区域。并且如图2b所示，从图2a所示的特征点，提取对象在三维空间中的特征线221-227以及特征面231。此外，还可根据深度信息同时提取对象的特征点、特征线、特征面和特征体。

根据本发明的又一示例，可从视频图像获得在特定朝向下对象呈现的表面的纹理和/或整体的轮廓作为平面图像特征。图3a是示出了根据本发明的示例获得的一个平面图像特征的示意图。图3b是示出了根据本发明的示例获得的另一平面图像特征的示意图。在图3a和图3b所示的示例中，拍摄视频图像的立体相机位于对象300的正前方。在此情况下，如图3a所示，在根据所拍摄的视频图像获得的对象300的正视图中，可将对象300所呈现的表面310的纹理作为一个平面图像特征，例如表面310的纹理可包括汽车格栅311在表面310上的设置位置和形状，车灯321a和车灯321b在表面310上的设置位置和形状等。此外，可将如图3b所示，可将对象300在正视图中呈现的整体的轮廓330作为另一个平面图像特征。此外，根据本发明示例的平面图像特征不限于此，例如，当位于对象的正后方时，在根据所拍摄的视频图像获得的对象的后视图中，可将对象所呈现的表面的纹理和/或整体的轮廓作为平面图像特征；以及当位于对象的旁边时，在根据所拍摄的视频图像获得的对象的侧视图中，可将对象所呈现的表面的纹理和/或整体的轮廓作为平面图像特征。

返回图1，在步骤S102中，可在根据所述三维结构特征生成对象的三维空间模型。例如，可结合对象的特征点、特征线、特征面和/或特征体中的至少一部分生成对象的三维空间模型。

然后，在步骤S103中，可根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型。并且在步骤S104中，可根据所生成的增强三维模型进行对象跟踪。以下将结合图4描述根据所生成的增强三维模型进行对象跟踪的一个示例。

图4是描述了根据本发明一个示例的根据所生成的增强三维模型进行对象跟踪的方法400的流程图。如图4所示，在步骤S401中，根据先前对于对象的跟踪结果，预测对象在视频图像的下一帧中将呈现的朝向。例如，可采用卡尔曼滤波等技术来根据对象的历史跟踪结果数据预测对象将在当前帧中出现的区域和朝向。

在步骤S402中，从增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征。根据本发明的一个示例，在步骤S402中可首先确定在所预测的朝向下，三维结构特征和平面图像特征中的每个特征的相关度，其中每个特征的相关度指示该特征对于判断对象的跟踪是否成功的重要性。然后，可将相关度大于预定阈值的三维结构特征和平面图像特征作为所述预测特征。

例如，假设拍摄视频图像的立体相机设在汽车A上，驾驶员驾驶汽车A在道路上行驶，视频图像中的对象为在道路上行驶的汽车B，并且根据图1中所示方法建立的了关于汽车B的增强三维模型，当在步骤S401中根据先前对对象的跟踪结果，预测汽车B在视频图像的下一帧中将出现在汽车A的左前方并且朝向与汽车A的朝向相同时，可以知晓下一帧视频图像将主要涉及视频汽车B的后部和右侧，因此关于视频汽车B的后部和右侧的平面图像特征和三维结构特征对于判断所述对象的跟踪是否成功的比其它平面图像特征和三维结构特征更重要，相应地，具有较高的相关度。因此，在步骤S402中，关于视频汽车B的后部和右侧的平面图像特征和三维结构特征选择作为预测特征。例如，所选择的平面图像特征可包括汽车B的后侧表面的纹理和右侧表面的纹理，并且所选择的三维结构特征可包括在三维空间指示汽车B的后侧表面和右侧表面特征面和汽车B的特征体。

另一方面，在步骤S403中，从视频图像的下一帧中，获得与预测特征一一对应的、对象的实际特征。图5是示出了所采集的视频图像的图像帧500的一个示例的说明图。例如，如以上所假设的，选择汽车B的后侧表面的纹理和右侧表面的纹理、在三维空间指示汽车B的后侧表面和右侧表面特征面和汽车B的特征体作为预测特征，则根据步骤S403，从图像帧500中获得汽车B的后侧表面510的纹理和汽车B的右侧表面520的纹理，并且基于根据视频图像所获得的深度信息，确定汽车B整体及其后侧表面和右侧表面在三维空间中的状态。

然后，在步骤S404中，对每对对应的预测特征和实际特征进行匹配，并生成匹配结果。由于用于描述各个特征的参数的维度可能不同，优选地，可首先将所有的预测特征和实际特征映射到一个统一的特征空间。然后可通过以下公式(1)来计算一对预测特征和实际特征的匹配结果C：

C＝M(U(f_model),U(f_obj))……(1)

其中，U为特征映射操作符，f_model为预测特征，并且f_obj为与预测特征对应的实际特征，M为特征匹配操作符。例如，M可以是根据映射到统一特征空间后的预测特征的特征向量和实际特征的特征向量之间的差值获得的向量范数。

最后，在步骤S405中，根据所述匹配结果确定对于所述对象的跟踪是否成功。根据本发明的一个示例，可根据各对预测特征和实际特征的匹配结果及各对预测特征和实际特征中预测特征的相关度来确定对象的跟踪是否成功。例如,可采用加权计算的方式。假设共有m对预测特征和实际特征，可以每个预测特征的相关度作为权重来通过以下公式(2)计算跟踪得分S：

S＝(R₁C₁+R₂C₂+…+R_mC_m)/(R₁+R₂+...R_m)……(2)

其中m为正整数，R为一预测特征的相关度，C为一对预测特征和实际特征的匹配结果。然后可比较跟踪得分S是否大于或等于预定阈值，并且当跟踪得分S是否大于或等于预定阈值时，确定对于对象的跟踪成功。

然而本发明的不限于此，例如，以每个预测特征的相关度的均方值作为权重。又例如，在计算跟踪得分时可以不考虑相关度，而直接将所有匹配结果加和。

优选地，当对于对象的跟踪成功时，图4中所示的方法还可包括利用实际特征更新增强三维模型。具体地说，当对于对象的跟踪成功时，可利用在视频图像的当前帧所呈现的对象的特征，更新增强三维模型平面图像特征和三维结构特征。

如以上所描述的，在根据本发明实施例的跟踪对象的方法中，从采集的视频图像获得的对象的三维结构特征和平面图像特征两者来生成对象的增强三维模型，使得所生成的增强三维模型能够更加全面地包含关于所追踪的对象的信息，此外，通过根据所预测的对象将会呈现的朝向，从所生成的增强三维模型选择符合所预测的朝向的特征，能够减少用于对象的朝向发生改变给对象跟踪带来的影响，从而更加鲁棒并且有效地判断对于在视频图像中出现的对象的跟踪是否成功。

应注意，应注意，图4中所示的方法的各个步骤不必按照所示的顺序执行。可以颠倒或并行地执行某些步骤。例如，从增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征(步骤S402)和从视频图像的下一帧中，获得与预测特征一一对应的、对象的实际特征(步骤S403)可以是同时执行的。

下面，参照图6说明本发明的跟踪对象的装置。图6是示出了根据本发明的一个实施例的跟踪对象的装置600的示范性结构框图。如图6中所示，本实施例的跟踪对象的装置600包括特征获取单元610、空间模型构建单元620、增强模型生成单元630和对象跟踪单元640。在跟踪对象的装置600中的各个单元可分别执行上述图1中的跟踪对象的方法100的各个步骤/功能。因此，以下仅对跟踪对象的装置600的主要部件进行了描述，而省略了以上已经结合图1描述过的细节内容。

特征获取单元610从视频图像获得对象的三维结构特征和平面图像特征。图7是示出根据本发明的一个示例的特征获取单元610的示范性结构框图。如图7所示，特征获取单元610可包括深度信息获取模块710、三维特征确定模块720和平面特征确定模块730。具体地，深度信息获取模块710可从视频图像获得例如视差值之类的深度信息，并且三维特征确定模块720可从深度信息获得对象的三维结构特征。例如，三维结构特征可包括对象的特征点、特征线、特征面和/或特征体。

根据本发明的一个示例，三维特征确定模块720可以依次获得特征点、特征线、特征面和特征体。具体地，三维特征确定模块720可首先根据深度信息获得在三维空间中位于对象各个表面上的多个点(即，对象的三维点云数据)作为特征点。然后，三维特征确定模块720可从所获得的多个特征点提取在三维空间中物体的各个表面之间的边界线作为特征线。在提取了多条特征线的情况下，三维特征确定模块720可根据所确定的特征线在三维空间中构建代表对象的表面特征面，并且可根据所构建的特征面进一步在三维空间中构建代表对象的形状的特征体。

然而，本发明不限于此。根据本发明另一示例，在根据深度信息获得的特征点足够多的情况下，三维特征确定模块720可从所获得的多个特征点同时提取对象在三维空间中的特征线、特征面和特征体。此外，三维特征确定模块720还可根据深度信息同时提取对象的特征点、特征线、特征面和特征体。

此外，平面特征确定模块730可从视频图像获得在特定朝向下对象呈现的表面的纹理和/或整体的轮廓作为平面图像特征。例如，平面特征确定模块730可在根据所拍摄的视频图像获得的对象的正视图、后视图、侧视图等有代表性的视图中，获得对象呈现的表面的纹理和/或整体的轮廓作为平面图像特征。

返回图6，空间模型构建单元620可在根据所述三维结构特征生成对象的三维空间模型。例如，空间模型构建单元620可结合对象的特征点、特征线、特征面和/或特征体中的至少一部分生成对象的三维空间模型。

然后，增强模型生成单元630可根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型。并且对象跟踪单元640可根据所生成的增强三维模型进行对象跟踪。以下将结合图8描述对象跟踪单元640的一个示例。

图8是示出了根据本发明的一个示例的对象跟踪单元640的示范性结构框图。如图8中所示，对象跟踪单元640包括朝向预测模块810、预测特征选择模块820、实际特征获取模块830、特征匹配模块840和跟踪确定模块850。图8中所述所示的对象跟踪单元640中的各个模块可分别执行上述图4中所示的根据所生成的增强三维模型进行对象跟踪的方法400的各个步骤/功能。因此，以下仅对这些单元的主要方面进行了描述，而省略了以上已经结合图4描述过的细节内容。

如图8所示，朝向预测模块810可根据先前对于对象的跟踪结果，预测对象在视频图像的下一帧中将呈现的朝向。例如，可采用卡尔曼滤波等技术来根据对象的历史跟踪结果数据预测对象将在当前帧中出现的区域和朝向。

预测特征选择模块820可从增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征。图9是示出了根据本发明的一个示例的预测特征选择模块820的示范性结构框图。如图9所示，预测特征选择模块可包括相关度确定组件910和特征选择组件920。具体地，相关度确定组件910可确定在所预测的朝向下，三维结构特征和平面图像特征中的每个特征的相关度，其中每个特征的相关度指示该特征对于判断对象的追踪跟踪是否成功的重要性。然后，特征选择组件920可将相关度大于预定阈值的三维结构特征和平面图像特征作为所述预测特征。

与以上描述类似地，假设拍摄视频图像的立体相机设在汽车A上，驾驶员驾驶汽车A在道路上行驶，视频图像中的对象为在道路上行驶的汽车B，并且根据本发明的实施例建立的了关于汽车B的增强三维模型，当朝向预测模块810根据先前对对象的跟踪结果，预测汽车B在视频图像的下一帧中将出现在汽车A的左前方并且朝向与汽车A的朝向相同时，相关度确定组件910可以确定下一帧视频图像将主要涉及视频汽车B的后部和右侧，因此关于视频汽车B的后部和右侧的平面图像特征和三维结构特征对于判断所述对象的追踪跟踪是否成功的比其它平面图像特征和三维结构特征更重要，相应地，具有较高的相关度。因此，特征选择组件920可选择关于视频汽车B的后部和右侧的平面图像特征和三维结构特征作为预测特征。例如，所选择的平面图像特征可包括汽车B的后侧表面的纹理和右侧表面的纹理，并且所选择的三维结构特征可包括在三维空间指示汽车B的后侧表面和右侧表面特征面和汽车B的特征体。

另一方面，实际特征获取模块830从视频图像的下一帧中，获得与预测特征一一对应的、对象的实际特征。然后，特征匹配模块840可对每对对应的预测特征和实际特征进行匹配，并生成匹配结果。由于用于描述各个特征的参数的维度可能不同，优选地，特征匹配模块840可首先将所有的预测特征和实际特征映射到一个统一的特征空间。然后可通过上述公式(1)来计算一对预测特征和实际特征的匹配结果C。

最后，跟踪确定模块850可根据所述匹配结果确定对于所述对象的跟踪是否成功。根据本发明的一个示例，跟踪确定模块850可根据各对预测特征和实际特征的匹配结果及各对预测特征和实际特征中预测特征的相关度来确定对象的追踪跟踪是否成功。例如,跟踪确定模块850可以采用加权计算的方式来计算跟踪得分。然后跟踪确定模块850可比较跟踪得分是否大于或等于预定阈值，并且当跟踪得分是否大于或等于预定阈值时，确定对于对象的追踪跟踪成功。然而本发明的不限于此，例如，在计算跟踪得分时可以不考虑相关度，而直接将所有匹配结果加和。

此外，优选地，图6中所示的跟踪对象的装置600还可包括增强模型更新单元。当对于对象的追踪跟踪成功时，增强模型更新单元可利用实际特征更新增强三维模型。具体地说，当对于对象的追踪跟踪成功时，增强模型更新单元可利用在视频图像的当前帧所呈现的对象的特征，更新增强三维模型平面图像特征和三维结构特征。

如以上所描述的，在根据本发明实施例的跟踪对象的装置中，从采集的视频图像获得的对象的三维结构特征和平面图像特征两者来生成对象的增强三维模型，使得所生成的增强三维模型能够更加全面地包含关于所追踪的对象的信息，此外，通过根据所预测的对象将会呈现的朝向，从所生成的增强三维模型选择符合所预测的朝向的特征，能够减少用于对象的朝向发生改变给对象跟踪带来的影响，从而更加鲁棒并且有效地判断对于在视频图像中出现的对象的跟踪是否成功。

此外，根据本发明的另一示例，本发明还可以通过一种跟踪对象的硬件系统来实施。图10是示出按照本发明实施例的跟踪对象的硬件系统1000的总体硬件框图。如图10所示，跟踪对象的硬件系统1000可以包括：输入设备1010，用于从外部输入例如通过立体相机拍摄的视频图像，并且例如可以包括图像传输线、图像输入端口等等；处理设备1020，用于实施上述的按照本发明实施例的跟踪对象的方法，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备1020还可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的结果等等；输出设备1030，用于向外部输出实施上述跟踪对象过程所得的结果，例如可以包括显示器以及通信网络及其所连接的远程输出设备等等；以及存储设备1040，用于以易失或非易失的方式存储上述在空间的平面图中标定立体相机过程所涉及的诸如深度图、顶视图、平面图、对象高度、对象运动轨迹等数据，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品(manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种跟踪对象的方法，包括：

从视频图像获得所述对象的三维结构特征和平面图像特征；

根据所述三维结构特征生成所述对象的三维空间模型；

根据所述平面图像特征和所构建的三维空间模型生成所述对象的增强三维模型；以及

根据所生成的增强三维模型进行对象跟踪。

2.如权利要求1所述的方法，其中

从所述视频图像获得所述对象的深度信息；

根据所述深度信息确定关于所述对象的特征点、特征线、特征面和/或特征体作为所述三维结构特征；以及

从所述视频图像获得在特定朝向下所述对象呈现的表面的纹理和/或整体的轮廓作为所述平面图像特征。

3.如权利要求1或2所述的方法，其中所述根据所生成的增强三维模型进行对象跟踪包括：

根据先前对所述对象的跟踪结果，预测所述对象在所述视频图像的下一帧中将呈现的朝向；

从所述增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征；

从所述视频图像的下一帧中，获得与所述预测特征一一对应的、所述对象的实际特征；

对每对对应的预测特征和实际特征进行匹配，并生成匹配结果；以及

根据所述匹配结果确定对于所述对象的跟踪是否成功。

4.如权利要求3所述的方法，其中

所述从所述增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征包括：

确定在所预测的朝向下，三维结构特征和平面图像特征中的每个特征的相关度，其中每个特征的相关度指示该特征对于判断所述对象的跟踪是否成功的重要性，以及

将相关度大于预定阈值的三维结构特征和平面图像特征作为所述预测特征；

所述根据所述匹配结果确定对于所述对象的跟踪是否成功包括：

根据各对预测特征和实际特征的匹配结果及各对预测特征和实际特征中预测特征的相关度来确定所述对象的跟踪是否成功。

5.如权利要求3所述的方法，还包括：

当对于所述对象的跟踪成功时，利用所述实际特征更新所述增强三维模型。

6.一种跟踪对象的装置，包括：

特征获取单元，配置来从视频图像获得所述对象的三维结构特征和平面图像特征；

空间模型构建单元，配置来根据所述三维结构特征生成所述对象的三维空间模型；

增强模型生成单元，配置来根据所述平面图像特征和所构建的三维空间模型生成所述对象的增强三维模型；以及

对象跟踪单元，配置来根据所生成的增强三维模型进行对象跟踪。

7.如权利要求6所述的装置，其中所述特征获取单元包括：

深度信息获取模块，配置来从所述视频图像获得所述对象的深度信息；

三维特征确定模块，配置来根据所述深度信息确定关于所述对象的特征点、特征线、特征面和/或特征体作为所述三维结构特征；以及

平面特征确定模块，配置来从所述视频图像获得在特定朝向下所述对象呈现的表面的纹理和/或整体的轮廓作为所述平面图像特征。

8.如权利要求6或7所述的装置，其中所述对象跟踪单元包括：

朝向预测模块，配置来根据先前对所述对象的跟踪结果，预测所述对象在所述视频图像的下一帧中将呈现的朝向；

预测特征选择模块，配置来从所述增强三维模型的三维结构特征和平面图像特征中，选择一组符合所预测的朝向的预测特征；

实际特征获取模块，配置来从所述视频图像的下一帧中，获得与所述预测特征一一对应的、所述对象的实际特征；

特征匹配模块，配置来对每对对应的预测特征和实际特征进行匹配，并生成匹配结果；以及

跟踪确定模块，配置来根据所述匹配结果确定对于所述对象的跟踪是否成功。

9.如权利要求8所述的装置，其中

所述预测特征选择模块包括：

相关度确定组件，配置来确定在所预测的朝向下，三维结构特征和平面图像特征中的每个特征的相关度，其中每个特征的相关度指示该特征对于判断所述对象的跟踪是否成功的重要性，以及

特征选择组件，配置来将相关度大于预定阈值的三维结构特征和平面图像特征作为所述预测特征；

所述跟踪确定模块根据各对预测特征和实际特征的匹配结果及各对预测特征和实际特征中预测特征的相关度来确定所述对象的跟踪是否成功。

10.如权利要求8所述的装置，还包括：

增强模型更新单元，配置来当对于所述对象的跟踪成功时，利用所述实际特征更新所述增强三维模型。