CN102663778B - 一种基于多视点视频的目标跟踪方法和系统 - Google Patents

Abstract

本发明提供一种基于多视点视频的目标跟踪方法和系统，将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；对视频流进行目标检测，得出目标区域；以样例大小的模板在目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；与样例目标进行比较，来确定当前匹配区域是否为相似区域。本发明无须区分人、车等对象，大大提高了准确率和实用性，同时提高了目标分割的准确性；而基于积分图计算则大大提高了匹配和检测的速度。

Description

一种基于多视点视频的目标跟踪方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多视点视频的目标跟踪方法和系统。

背景技术

多视点特定目标的跟踪方法，目前的技术主要是通过提取特定目标的颜色、纹理、形状和边缘等特征，基于一定的法则来匹配跟踪，但是在提取特定目标特征的过程中，基本都是通过运动检测首先获取运动目标，然后对整个运动目标来提取特征，然后再来匹配。

在多摄像头监控中，需要在传统单摄像头目标检测基础上，将在多个视角中出现的同一目标关联起来。因此，跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别的基础。多视点特定目标的提取和跟踪与单摄像头运动目标检测与跟踪存在一定的差别，主要体现在：单摄像头运动目标的检测和跟踪是针对连续的目标，其跟踪可以通过运动矢量、速度特征应用kalman(卡尔曼)滤波等算法预估出目标在下一帧出现的位置，然后根据实际检测的结果进行纠正来达到跟踪的目的；而多视点特定目标的提取和跟踪，目标是在多个摄像头出现，不是连续的目标，从一个摄像头消失以后无法通过算法准确预测目标会在下面哪个摄像头的哪个位置出现，所以基于特征的跟踪就显得尤为重要。

目前多视点特定目标的提取与跟踪技术，基本采用如下步骤：首先通过运动目标检测分割出运动目标，然后对整个运动目标提取颜色、纹理、边缘和形状等特征，最后再通过一定的法则去匹配，比如专利“PTZ单目标自动跟踪的装置及方法”(公开号：102215377A，公开日：2011-10-12)是对跟踪目标建立模板，跟踪过程中对提取的运动目标也建立模板，然后通过模板的相似度来判断是否同一目标。也有技术通过对运动目标先分类为：人、车和其他，然后对人目标分为头、躯干和腿，车和其他目标不区分，最后再提取特征来匹配，比如专利“一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法”(公开号：101848377A，公开日：2010-09-29)。

多视点特定目标提取和跟踪的现有技术主要有以下几点不足：

1、目标分割不准确：现有技术的目标提取主要是通过运动目标检测来分割目标，由于目标阴影和环境的干扰使得分割出来的目标不太准确，包含了阴影和一些背景，导致颜色匹配或特征提取时不准确。

2、采用整个跟踪目标作为模板：颜色特征是现有技术当中的一种重要特征，如果对整个跟踪目标提取特征来跟踪，对于上白下黑和上黑下白这样对称的目标则无法区分，虽然专利“一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法”(公开号：101848377A，公开日：2010-09-29)首先将目标分类为：人、车和其它，然后再对人目标做了头、躯干和腿三部分分解，但是由于运动目标检测时得到的位置可能会有偏差，可能在人的头部上面或脚下面有相当多的背景区域，如果仅仅按照比例将人分为头、躯干和腿三部分肯定是不准确的，导致分解错误从而导致误匹配或漏检测。同时，将运动目标首先分类为人、车和其它，也存在分类错误的风险，这样会导致累积误差，从而使得跟踪准确度大大降低，而且对车和其它的目标并没有做分解。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有技术的问题，本发明提供一种基于多视点视频的目标跟踪方法和系统，将所有目标分为上、下两部分再进行快速准确定位，从而克服现有技术中无法区分对称目标等的缺点，无须区分人、车等对象，大大提高了准确率和实用性；而且，将运动检测或其它方法分割得到的目标区域的范围按照设定的比例扩大，然后再进行快速、精确的匹配定位，提高了目标分割的准确性；另外，本发明采用基于积分图的计算方法，大大提高了匹配和检测的速度。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种基于多视点视频的目标跟踪方法，包括下列步骤：

将样例分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；

对视频流进行目标检测，得出目标区域；

以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；如果与该样例相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值落在设定的阈值范围内，则认为当前匹配区域是相似区域。

根据本发明的一个实施例，当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形部分的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。

根据本发明的一个实施例，在对视频流进行目标检测时，将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再在所得到的扩大的目标区域中进行该基于颜色的模板匹配。

根据本发明的一个实施例，在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。

根据本发明的一个实施例，该比值为样例或当前匹配区域内上部分的所有像素的颜色值之和与下部分的所有像素的颜色值之和之间的比值。

根据本发明的一个实施例，该目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域。

根据本发明的一个实施例，该目标区域通过基于特征的匹配而从视频流中获取。

根据本发明的另一个方面，提供一种基于多视点视频的目标跟踪系统，包括：

样例目标特征获取模块，其将样例分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；

目标区域检测模块，其对视频流进行目标检测，得出目标区域；

颜色匹配模块，其以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；如果与该样例相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值落在设定的阈值范围内，则认为当前匹配区域是相似区域。

根据本发明的一个实施例，该颜色匹配模块中包括颜色值计算单元，所述颜色值计算单元对当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。

根据本发明的一个实施例，该目标区域检测模块中包括目标区域扩大单元，该目标区域扩大单元将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再由该颜色匹配模块在所得到的扩大的目标区域中进行该基于颜色的模板匹配。

根据本发明的一个实施例，还包括纹理或形状特征匹配模块，其在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。

本发明将所有目标分为上、下两部分再进行快速准确定位，不会出现头、躯干和腿定位不准确的误差，也不会因为人、车和其它目标分类错误导致误差，大大提高了准确率，克服了现有技术中无法区分对称目标等的缺点，无须区分人、车等对象，大大提高了准确率和实用性。而且，本发明将运动检测或其它方法分割得到的目标区域的范围按照设定的比例扩大，然后再进行快速、精确的匹配定位，提高了目标分割的准确性。另外，本发明通过采用基于积分图的计算方法，大大提高了匹配和检测的速度。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为积分图的定义；

图2为积分图中矩形和计算示意图；

图3为本发明基于积分图计算的目标跟踪方法的示意性流程图；

图4为本发明目标跟踪系统的结构示意图。

具体实施方式

本发明的实施例提供一种多视点视频特定目标基于积分图计算的分解跟踪方法，旨在解决现有多视点特定目标跟踪方法中存在的一些不足，通过对目标进行上、下分解和通过积分图进一步精确定位的方法，提高跟踪的准确率。

本实施例所采用的方法的具体步骤如下：

第一步、目标分割并扩大区域

1)目标检测得出目标区域

目标检测分割出目标区域采用现有技术，主要有以下两种方法：

a.建立背景模型、通过背景差来获取运动目标区域；

b.基于特征匹配的目标区域提取，该特征可以是颜色特征，也可

以是纹理或形状特征。

2)将目标区域扩大：按照设定的阈值，以目标区域的中心为中心，将目标区域的范围从左、右、上、下向外扩展。

因为通过运动目标检测得到的目标，由于干扰的问题使得目标位置可能不太准确(比如由于干扰的问题，通过运动目标检测得到的区域把目标的一部分丢失了)，而通过将目标区域扩大，在后面可以通过更精细的比对来获取更加准确的匹配位置。

第二步、目标颜色特征提取

本实施例基于HSV(色调、饱和度、亮度)颜色特征来进行分析。

第三步、目标积分图计算

当样例目标在当前得到的目标区域中通过匹配来获取精确位置的时候，本实施例在HSV空间计算目标区域中当前匹配区域的上、下两部分的所有像素的颜色值之和(或称特征值)，如果上、下两部分的所有像素的颜色值之和以及上、下部分的所有像素的颜色值之和之间的关系值(例如上、下部分的所有像素的颜色值之和之间的比值，当然，也可以采用差值等其它关系值)在设定的阈值范围，则认为是满足条件的区域。例如，阈值范围可以设定为0.8-1.2，分别比较当前匹配区域和样例目标这两个模板的上部分特征值相除的比值、下部分特征值相除的比值、每个模板上部分特征值除以下部分特征值的比值，如果都满足0.8-1.2这个范围，则认为满足条件。

由于每个区域内像素的个数非常庞大，如果每次匹配计算都要统计矩形内所有像素的颜色值之和，即每一次匹配都将一个一个像素地去计算像素点的颜色值之和，这将会大大降低检测的速度，因此本发明采用积分图来快速计算。

积分图的重要组成部分是矩形特征(图2是积分图中矩形和计算的示意图)，矩形特征的特征值计算只与此特征矩形端点的积分图有关(因为端点的值就是该矩形特征中所有像素颜色值的总和)，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量(因为矩形的特征值计算好以后，如果特征矩形的尺度发生变化，只需要将端点的值做个简单的加或减运算即可，所以消耗的时间是常量)，只需遍历图像一次，就可以求得所有子窗口的特征值(单个像素是最基本的子窗口，依此类推，任意多个像素的组合都可以是一个子窗口)。

如图1所示，积分图的定义如下，积分图像的任意一点(x,y)的像素颜色积分值表示图1所示的阴影区域的所有像素颜色值的总和，即公式(1)，其中I(x’,y’)为图像在点(x’,y’)处的像素颜色值。

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x}{\mathrm{\Σ}}\underset{y^{\′}\≤y}{\mathrm{\Σ}}I(x^{\′},y^{\′})---\left(1\right)$

下面介绍矩形和的计算：

由图像的积分图可方便快速地计算图像中任意矩形内所有像素颜色值积分，如图2所示，积分图中包括A、B、C、D四个矩形区域，其中矩形D的四个端点分别为点1、点2、点3、点4，其中，点1的积分图像(即像素颜色积分值)ii1的值为(其中Sum为求和):

ii1＝Sum(A)(2)

同理，点2、点3、点4的积分图像(即像素颜色积分值)分别为：

ii2＝Sum(A)+Sum(B)(3)

ii3＝Sum(A)+Sum(C)(4)

ii4＝Sum(A)+Sum(B)+Sum(C)+Sum(D)(5)

矩形区域D内的所有像素颜色值积分可由矩形端点的积分图像值得到:

Sum(D)＝ii1+ii4-(ii2+ii3)(6)

因为是用匹配模板在目标区域里面不断的移动，进行每一次的匹配，所以，利用积分图中矩形和的方式，只需要最开始把整个区域的积分图计算好，后面每次匹配时的矩形和仅仅通过简单的加减计算就可以得到，所以提高了速度。采用积分图计算，只需要对矩形端点的像素颜色积分值进行加减计算就可以得到矩形内所有像素的颜色值之和，速度可以大大提高。

第四步、基于积分图的分解匹配

由于将样例目标分解为了上、下两部分，并做了积分图的计算，所以目标的匹配按照以下步骤进行：

1)以样例大小的模板在目标区域做基于颜色的模板匹配(通过基于HSV颜色空间的颜色直方图来进行匹配)，水平和垂直移动步长可调，为了提高速度，步长可以适当调整，例如，移动步长确定为模板宽度的0.1倍；

2)计算当前匹配区域内上半部分矩形和，根据公式(6)计算上半部分的矩形和；

3)计算当前匹配区域内下半部分矩形和，根据公式(6)计算下半部分的矩形和；

4)计算上、下部分矩形和的比值，根据上、下两部分的矩形和计算其比值；

5)重复上述步骤直到最后一个区域比较完毕；

6)对上半部分矩形和、下半部分矩形和、及上、下部分矩形和的比值进行综合判定，如果落在设定的阈值范围内则认为可能是相似目标，否则直接排除；例如，阈值范围可以设定为0.8-1.2，分别比较当前匹配区域和样例目标这两个模板的上部分特征值相除的比值、下部分特征值相除的比值、每个模板上部分特征值除以下部分特征值的比值，如果都满足0.8-1.2这个范围，则认为满足条件。

7)如果所有区域没有相似目标，那么直接退出，如果有相似区域则确定最相似的匹配区域进入下一步纹理或形状特征匹配。

第五步、纹理和形状特征提取

1)进行形状或纹理特征提取；

2)进行基于形状或纹理特征的匹配；

3)如果匹配结果大于阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。

如图3所示，本实施例中基于积分图计算的目标跟踪方法的具体流程如下：

步骤101、粗检索得到目标区域；

步骤102、将目标区域扩大；

步骤103、提取目标颜色特征；

步骤104、进行积分图计算；

步骤105、采用步骤201中的提供的基于积分图的样例目标分解特征，进行基于积分图的分解特征匹配；

步骤106、精确定位并保留结果；

步骤107、判断是否是最后一个目标区域；如果是则进入步骤108，否则进入步骤101；

步骤108、进行综合判定；

步骤109、判断是否有相似区域，如果有，则进入步骤110；如果没有，则进入步骤113，直接退出；

步骤110、提取纹理或形状特征；

步骤111、进行纹理或形状特征的匹配；

步骤112、进行综合判定；

步骤113、退出。

如图4所示为本发明目标跟踪系统的结构示意图，本发明同时提供一种基于多视点视频的目标跟踪系统，包括样例目标特征获取模块、目标区域检测模块、颜色匹配模块、纹理或形状特征匹配模块。

样例目标特征获取模块将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值。目标区域检测模块对视频流进行目标检测，得出目标区域。颜色匹配模块以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；如果与样例目标相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值落在设定的阈值范围内，则认为当前匹配区域是相似区域。

颜色匹配模块中包括颜色值计算单元，颜色值计算单元对当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。

目标区域检测模块中包括目标区域扩大单元，目标区域扩大单元将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再由颜色匹配模块在所得到的扩大的目标区域中进行基于颜色的模板匹配。

纹理或形状特征匹配模块在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。

本发明通过积分图的方法，并将目标分解为上、下两部分进行再次快速准确定位，克服现有技术中无法区分对称目标等缺点，无须区分人、车等对象，大大提高了准确率和实用性。而且，本发明将运动检测或其它方法分割得到的目标区域的范围按照设定的比例扩大，然后再进行快速、精确的匹配定位，提高了目标分割的准确性。另外，本发明采用基于积分图的计算方法，大大提高了匹配和检测的速度。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (8)

1.一种基于多视点视频的目标跟踪方法，其特征在于包括下列步骤：

将样例分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；

对视频流进行目标检测，得出目标区域；

以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；如果与所述样例相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值落在设定的阈值范围内，则认为当前匹配区域是相似区域；

当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。

2.根据权利要求1所述的基于多视点视频的目标跟踪方法，其特征在于，在对视频流进行目标检测时，将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再在所得到的扩大的目标区域中进行所述基于颜色的模板匹配。

3.根据权利要求1-2中任一项所述的基于多视点视频的目标跟踪方法，其特征在于，在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。

4.根据权利要求1所述的基于多视点视频的目标跟踪方法，其特征在于，所述比值为样例或当前匹配区域内上部分的所有像素的颜色值之和与下部分的所有像素的颜色值之和之间的比值。

5.根据权利要求1所述的基于多视点视频的目标跟踪方法，其特征在于，所述目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，所述目标区域通过基于特征的匹配而从视频流中获取。

6.一种基于多视点视频的目标跟踪系统，其特征在于包括：

样例目标特征获取模块，其将样例分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；

目标区域检测模块，其对视频流进行目标检测，得出目标区域；

颜色匹配模块，其以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值；如果与所述样例相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的比值落在设定的阈值范围内，则认为当前匹配区域是相似区域；

所述颜色匹配模块中包括颜色值计算单元，所述颜色值计算单元对当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。

7.根据权利要求6所述的基于多视点视频的目标跟踪系统，其特征在于，所述目标区域检测模块中包括目标区域扩大单元，所述目标区域扩大单元将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再由所述颜色匹配模块在所得到的扩大的目标区域中进行所述基于颜色的模板匹配。

8.根据权利要求6-7中任一项所述的基于多视点视频的目标跟踪系统，其特征在于，还包括纹理或形状特征匹配模块，其在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。