CN103489001B - 图像目标追踪方法和装置 - Google Patents

Abstract

本发明公开了一种图像目标追踪方法和装置，该图像目标追踪方法包括：确定图像中目标区域的特征矢量；根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；根据目标区域中各个特征矢量的第三似然度值，对与图像相关联的待检测图像进行目标追踪。本发明有效的提高了确定出的特征矢量的似然度值的精确度，使得在进行目标追踪时，能够很好的区分出所要检测的特征矢量，杜绝了追踪结果出现漂移的现象发生。

Description

图像目标追踪方法和装置

技术领域

本发明涉及图像处理领域，具体来说，涉及一种图像目标追踪方法和装置。

背景技术

在图像处理系统中，经常需要追踪物体在图像中的运动，这些物体在图像中的运动是需要特殊的图像目标追踪方法来进行追踪的。例如，文献1“ShaiAvidan.“Ensemble Tracking”.pami，2007”和文献2“Helmut Grabner，MichaelGrabner，Horst Bischof.“Real-Time Tracking via on-line Boosting”.CVPR，2006”所提出的图像目标追踪方法，然而，在现有的图像处理系统中，不管是文献1所提出的方法，还是文献2所提出的方法，或者是其他的现有的图像目标追踪方法，在进行最后的图像目标追踪时，均是通过特征矢量的似然度值来进行追踪的，而在进行似然度检测时，则是先通过物体检测分类器确定目标区域中的特征矢量，然后通过物体追踪分类器来进行特征矢量的似然度值的检测，其中，物体检测分类器是使用预先收集的目标的特别数据（比如，人脸数据），并采用离线的方式训练得到的，其具有精确度高、不会动态改变、可检测对象固定的特点；而物体追踪分类器则是使用现场的前景/背景数据通过在线更新的方式得到，具有精确度低、随时间推移动态改变、可区分各种各样前景/背景对象的特点。由此可见，虽然现有的图像目标追踪方法通过了物体检测分类器精确的确定了特征矢量，然而，在进行似然度值的检测时却是通过单一的、精确度较低的物体追踪分类器进行检测的，而这种通过单一方式检测出的特征矢量的似然度值在实际应用时，虽然能够在一定程度上将所要检测的目标特征矢量给区分出来，但是在需要对待检测图像进行精确检测或者待检测图像中的各个特征矢量相近似时，这种通过单一方式检测出的特征矢量的似然度值就无法满足图像目标精确追踪的需求，导致图像目标追踪的结果很容易发生漂移，即追踪出的目标并非是正确的目标，而是正确目标周围的与正确目标相近似的其他特征矢量。

针对相关技术中图像目标追踪方法会由于检测出的特征矢量的似然度不够精确，而导致目标追踪的结果很容易发生漂移目标的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中图像目标追踪方法会由于检测出的特征矢量的似然度不够精确，而导致目标追踪的结果很容易发生漂移目标的问题，本发明提出一种图像目标追踪方法和装置，能够有效的提高特征矢量的似然度值的精确度，杜绝因确定出的特征矢量的似然度值不精确，而使得追踪结果出现漂移的现象发生。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种图像目标追踪方法。

该图像目标追踪方法包括：

确定图像中目标区域的特征矢量；

根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

根据目标区域中各个特征矢量的第三似然度值，对与图像相关联的待检测图像进行目标追踪。

其中，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的每个特征矢量进行分析，并根据分析的结果，判定目标区域中的每个特征矢量通过的级别数量；并根据预先配置的与级别数量对应的似然度值，确定目标区域中的每个特征矢量的第一似然度值。

此外，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则还可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定目标区域中的该特征矢量的第一似然度值；并根据预先配置的区域似然度分布关系和目标区域中的该特征矢量的第一似然度值，确定目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

其中，对于每个特征矢量，在根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值时，可根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

此外，在根据目标区域中各个特征矢量的第三似然度值，对与上述图像相关联的待检测图像进行目标追踪时，可根据目标区域中各个特征矢量的第三似然度值，确定待检测图像中目标的大小和位置。

根据本发明的另一方面，提供了一种图像目标追踪装置。

该图像目标追踪装置包括：

第一确定模块，用于确定图像中目标区域的特征矢量；

第二确定模块，用于根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

第三确定模块，用于对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

目标追踪模块，用于根据目标区域中各个特征矢量的第三似然度值，对与图像相关联的待检测图像进行目标追踪。

其中，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的每个特征矢量进行分析，并根据分析的结果，判定目标区域中的每个特征矢量通过的级别数量；并根据预先配置的与级别数量对应的似然度值，确定目标区域中的每个特征矢量的第一似然度值。

此外，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则还可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定目标区域中的该特征矢量的第一似然度值；并根据预先配置的区域似然度分布关系和目标区域中的该特征矢量的第一似然度值，确定目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

其中，第三确定模块包括加权求和模块，用于对于每个特征矢量，根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

此外，在根据目标区域中各个特征矢量的第三似然度值，对与上述图像相关联的待检测图像进行目标追踪时，目标追踪模块可以根据目标区域中各个特征矢量的第三似然度值，确定待检测图像中目标的大小和位置。

本发明通过多种似然度确定方法来对目标区域中的特征矢量进行检测，并在多种似然度确定方式确定出目标区域中的特征矢量的似然度值后，再次对确定出的似然度值进行融合处理，从而有效的提高了确定出的特征矢量的似然度值的精确度，使得在进行目标追踪时，能够很好的区分出所要检测的特征矢量，杜绝了因确定出的特征矢量的似然度值不精确，而使得追踪结果出现漂移的现象发生，有效的提高了图像目标追踪时的追踪性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的图像目标追踪方法的流程示意图；

图2是根据本发明实施例的图像目标追踪的系统框图；

图3是根据本发明实施例的现有图像目标追踪方法在进行特征矢量分类时的效果图；

图4是根据本发明实施例的图像目标追踪方法在进行特征矢量分类时的效果图；

图5是根据本发明实施例的图像目标追踪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种图像目标追踪方法。

如图1所示，根据本发明实施例的图像目标追踪方法包括：

步骤S101，确定图像中目标区域的特征矢量；

步骤S103，根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

步骤S105，对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

步骤S107，根据目标区域中各个特征矢量的第三似然度值，对与图像相关联的待检测图像进行目标追踪。

在上述过程中，与图像存在关联的待检测图像可以是该图像所在的视频流中位于该图像后一帧或多帧的图像，也可以是该图像所在的视频流中位于该图像前一帧或多帧的图像。

其中，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的每个特征矢量进行分析，并根据分析的结果，判定目标区域中的每个特征矢量通过的级别数量；并根据预先配置的与级别数量对应的似然度值，确定目标区域中的每个特征矢量的第一似然度值。

此外，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则还可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定目标区域中的该特征矢量的第一似然度值；并根据预先配置的区域似然度分布关系和目标区域中的该特征矢量的第一似然度值，确定目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

其中，对于每个特征矢量，在根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值时，可根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

此外，在根据目标区域中各个特征矢量的第三似然度值，对与上述图像相关联的待检测图像进行目标追踪时，可根据目标区域中各个特征矢量的第三似然度值，确定待检测图像中目标的大小和位置。

以下通过具体实例对本发明的上述技术方案进行详细说明。

图2是图像目标追踪的系统框图，从图2中可以看出，在进行图像目标追踪时，首先通过物体检测分类器和物体追踪分类器分析出目标区域中的每个特征矢量的似然度值，然后根据物体检测分类器和物体追踪分类器给出的似然度值计算融合后的似然度值，最后根据计算出的融合后的似然度值，通过Mean-Shift算法或者EM（最大期望算法）或者爬山算法来计算目标物体的大小和位置。

具体的，在通过物物体检测分类器进行似然度检测时，可采用逐级判别的方式，每一级通过不同的准则判定特征矢量（例如，像素）是否属于目标，根据特征矢量通过的级数给出似然度值，其中，通过的级数越多，则说明似然度越大，通过的级数越少，则说明似然度越小，例如，通过所有级数的特征矢量，则有最大的似然度，通过零级的特征矢量，则有最小的似然度。

在实际应用时，上述的逐级判别的方式可以是根据预先赋予级别的多个物体检测弱分类器，对目标区域中的每个特征矢量进行分析，并根据分析的结果，判定目标区域中的每个特征矢量通过的级别数量；并根据预先配置的与级别数量对应的似然度值，确定目标区域中的每个特征矢量的第一似然度值。

当然，为了提高检测时的效率，减少计算量，上述的逐级判别的方式还可以进行进一步的改进，例如，在进行物体检测时，可以先确定目标区域中的任意几个（非全部）特征矢量的似然度值，然后根据预先配置的目标追踪的搜索尺度，分别以这几个特征矢量为中心进行区域划分，并根据预先配置的各区域内的似然度分布关系，来判别各个区域内除该特征矢量以外的其他特征矢量的似然度值，例如，在确定划分区域后，可根据中心到边缘的似然度递减的关系，以检测出的特征矢量的似然度值为核心，来逐级递减的判定该划分区域中的其他特征矢量的似然度值。

此外，如果划分的区域之间相互出现重叠时，则将该重叠部分中的特征矢量在这几个划分的区域中的最大似然度值作为该重叠部分中的特征矢量的最终似然度值。

具体的，在通过物体追踪分类器进行似然度检测时，可以通过训练分类器的方法得到，例如，将检测到的物体作为正样本，在正样本周围随机取负样本，通过训练得到分类器，使用训练得到的分类器对一定区域（即目标区域）内的特征矢量（例如，像素）进行分类，即可得到此范围内的特征矢量是否为目标物体的概率值，此值可以作为物体追踪的似然度值。

具体的，在物体检测分类器和物体追踪分类器均分析出目标区域中的特征矢量的似然度值后，进行似然度值的融合计算，即加权求和，计算的公式如下：

$S_i=\mathrm{\α}\·S_i^{\mathrm{Detector}}+\mathrm{\β}\·S_i^{\mathrm{Tracker}}$

其中，Si为融合后的似然度值，α和β分别为物体检测分类器和物体追踪分类器的似然度的权重值，和分别为物体检测分类器和物体追踪分类器检测出的似然度值。

通过本发明的上述方案，能够有效的提高检测出的特征矢量的似然度值的精确度，使得在进行图像目标追踪时，能够很好的区分出所要检测的特征矢量，杜绝了因确定出的特征矢量的似然度值不精确，而使得追踪结果出现漂移的现象发生，进而有效的提高了图像目标追踪时的追踪性能。

以下通过两组对比效果图对本发明的上述技术效果进行详细说明。

图3是现有图像目标追踪方法在进行特征矢量分类时的效果图。从图3中可以看出，当前景特征矢量和背景特征矢量不同时，现有的图像目标追踪方法在对特征矢量进行分类时，可以很容易且正确的区分出来，而当前景特征矢量和背景特征矢量近似时，现有的图像目标追踪方法在对特征矢量进行分类时，无法对特征矢量进行区分，且即使区分出来，区分出的特征矢量也不够正确。

图4是本发明的图像目标追踪方法在进行特征矢量分类时的效果图。从图4中可以看出，不管是在前景特征矢量和背景特征矢量不同时，还是在前景特征矢量和背景特征矢量近似时，本发明的图像目标追踪方法均能够正确且容易的区分出特征矢量。而出现这种情况是由于本发明的图像目标追踪方法在检测特征矢量的似然度时，是先通过多种似然度确定方式分别检测出特征矢量的似然度，然后再对检测出的多个似然度进行融合，从而有效的提高了特征矢量的似然度值的精确度，因此，在对特征矢量进行分类时，通过该高精确度的似然度值就能够很好的区分出特征矢量。

根据本发明的实施例，还提供了一种图像目标追踪装置。

如图5所示，根据本发明实施例的图像目标追踪装置包括：

第一确定模块51，用于确定图像中目标区域的特征矢量；

第二确定模块52，用于根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

第三确定模块53，用于对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

目标追踪模块54，用于根据目标区域中各个特征矢量的第三似然度值，对与图像相关联的待检测图像进行目标追踪.

在上述过程中，与图像存在关联的待检测图像可以是该图像所在的视频流中位于该图像后一帧或多帧的图像，也可以是该图像所在的视频流中位于该图像前一帧或多帧的图像。

其中，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的每个特征矢量进行分析，并根据分析的结果，判定目标区域中的每个特征矢量通过的级别数量；并根据预先配置的与级别数量对应的似然度值，确定目标区域中的每个特征矢量的第一似然度值。

此外，在根据物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，物体检测分类器采用的分析规则还可以是：根据预先赋予级别的多个物体检测弱分类器，对目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定目标区域中的该特征矢量的第一似然度值；并根据预先配置的区域似然度分布关系和目标区域中的该特征矢量的第一似然度值，确定目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

其中，第三确定模块53包括加权求和模块（未示出），用于对于每个特征矢量，根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

此外，在根据目标区域中各个特征矢量的第三似然度值，对与上述图像相关联的待检测图像进行目标追踪时，目标追踪模块54可以根据目标区域中各个特征矢量的第三似然度值，确定待检测图像中目标的大小和位置。

综上所述，借助于本发明的上述技术方案，通过多种似然度确定方法来对目标区域中的特征矢量进行检测，并在多种似然度确定方式确定出目标区域中的特征矢量的似然度值后，再次对确定出的似然度值进行融合处理，从而有效的提高了确定出的特征矢量的似然度值的精确度，使得在进行图像目标追踪时，能够很好的区分出所要检测的特征矢量，杜绝了因确定出的特征矢量的似然度值不精确，而使得追踪结果出现漂移的现象发生，有效的提高了图像目标追踪时的追踪性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像目标追踪方法，其特征在于，包括：

确定图像中目标区域的特征矢量；

根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

根据所述目标区域中各个特征矢量的第三似然度值，对与所述图像相关联的待检测图像进行目标追踪；

在根据所述物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，所述物体检测分类器采用的分析规则包括：

根据预先赋予级别的多个物体检测弱分类器，对所述目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定所述目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定所述目标区域中的该特征矢量的第一似然度值；

根据预先配置的区域似然度分布关系和所述目标区域中的该特征矢量的第一似然度值，确定所述目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

2.根据权利要求1所述的图像目标追踪方法，其特征在于，在根据所述物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，所述物体检测分类器采用的分析规则包括：

根据预先赋予级别的多个物体检测弱分类器，对所述目标区域中的每个特征矢量进行分析，并根据分析的结果，判定所述目标区域中的每个特征矢量通过的级别数量；

根据预先配置的与级别数量对应的似然度值，确定所述目标区域中的每个特征矢量的第一似然度值。

3.根据权利要求1所述的图像目标追踪方法，其特征在于，对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值包括：

对于每个特征矢量，根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

4.根据权利要求1至3任意一项所述的图像目标追踪方法，其特征在于，根据所述目标区域中各个特征矢量的第三似然度值，对与所述图像相关联的待检测图像进行目标追踪包括：

根据所述目标区域中各个特征矢量的第三似然度值，确定所述待检测图像中目标的大小和位置。

5.一种图像目标追踪装置，其特征在于，包括：

第一确定模块，用于确定图像中目标区域的特征矢量；

第二确定模块，用于根据预先配置的物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值；并且，根据预先配置的物体追踪分类器，对每个特征矢量进行分析，确定每个特征矢量的第二似然度值；

第三确定模块，用于对于每个特征矢量，根据该特征矢量的第一似然度值和第二似然度值，确定该特征矢量的第三似然度值；

目标追踪模块，用于根据所述目标区域中各个特征矢量的第三似然度值，对与所述图像相关联的待检测图像进行目标追踪；

在根据所述物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，所述物体检测分类器采用的分析规则包括：

根据预先赋予级别的多个物体检测弱分类器，对所述目标区域中的任意至少一特征矢量进行分析，并根据分析的结果，判定所述目标区域中的该特征矢量通过的级别数量，并根据预先配置的与级别数量对应的似然度值，确定所述目标区域中的该特征矢量的第一似然度值；

根据预先配置的区域似然度分布关系和所述目标区域中的该特征矢量的第一似然度值，确定所述目标区域中的该特征矢量周围的其他特征矢量的第一似然度值。

6.根据权利要求5所述的图像目标追踪装置，其特征在于，在根据所述物体检测分类器，对每个特征矢量进行分析，确定每个特征矢量的第一似然度值时，所述物体检测分类器采用的分析规则包括：

根据预先赋予级别的多个物体检测弱分类器，对所述目标区域中的每个特征矢量进行分析，并根据分析的结果，判定所述目标区域中的每个特征矢量通过的级别数量；

根据预先配置的与级别数量对应的似然度值，确定所述目标区域中的每个特征矢量的第一似然度值。

7.根据权利要求5所述的图像目标追踪装置，其特征在于，所述第三确定模块进一步包括：

加权求和模块，用于对于每个特征矢量，根据预先配置的权重值，对该特征矢量的第一似然度值和第二似然度值进行加权求和，得出该特征矢量的第三似然度值。

8.根据权利要求5至7任意一项所述的图像目标追踪装置，其特征在于，在根据所述目标区域中各个特征矢量的第三似然度值，对与所述图像相关联的待检测图像进行目标追踪时，所述目标追踪模块用于根据所述目标区域中各个特征矢量的第三似然度值，确定所述待检测图像中目标的大小和位置。