CN104683802A - 一种基于h.264/avc压缩域的运动目标跟踪的方法 - Google Patents

Abstract

本发明揭露了一种基于H.264/AVC压缩域的运动目标跟踪的方法，首先从码流中提取出运动矢量，进行预处理，这个过程主要是对运动矢量场进行时间和空间归一化，通过后向投影法对3帧内运动矢量场进行累积。从而得到一个平稳更能反映运动信息的矢量场。然后根据运动矢量的方向偏离度及幅值等特征制作掩膜，这个掩膜保留了大部分运动目标位置信息。以运动矢量方向角为特征建立目标模型以及候选目标模型，利用Meanshift框架对目标位置进行检测。最后利用Kalman滤波进行平滑跟踪框和预测下帧位置，将结果重新作用于检测器，对其进行校正，从而准确跟踪。

Description

一种基于H.264/AVC压缩域的运动目标跟踪的方法

【技术领域】

本发明涉及视频跟踪领域，特别涉及一种基于H.264/AVC压缩域的运动目标跟踪的方法。

【背景技术】

运动目标的检测与跟踪技术一直以来都是计算机视觉方向研究的热点与难点。通过对视频流中运动目标的处理，可以达到视频检索，智能监控，模式识别等目的。早期对视频中运动目标的处理技术都是在像素域进行的，像素域可用的信息较多，可以取得较为精确的结果，但对于数据量巨大的视频图像来说，基于像素域的处理方法计算复杂度高，存取耗时长。且随着网络的快速发展，人们对信息传递的实时性和高效性的需求越来越迫切，而绝大多数视频数据都以压缩的形式进行存储和传送的，这使得基于像素域的视频目标处理方法的弊端日益暴露，而使得基于压缩域的视频目标处理方法的研究具有了很大的实用价值。

国际标准化组织(ISO)及国际电信联盟(ITU)制定了一系列视频编码国际标准。其中H.264/AVC以其高编码效率和高压缩性能等特点抓住了国内外学者的眼球。基于此，以H.264/AVC为平台，研究视频信息处理同时具有了现实价值和学术意义。本发明利用H.264/AVC视频编码标准的码流特征(运动特征、纹理特征)，通过对H.264/AVC视频压缩流进行最小程度的解码，提取出视频序列中运动目标的特征信息，实现对视频中的运动目标进行检测和跟踪。

【发明内容】

本发明的目的在于提供一种基于H.264/AVC压缩域的运动目标跟踪的方法，所述的方法，能快速得到移动目标大致位置，并能准确地进行跟踪目标。

为了达到本发明的目的，首先对运动矢量进行预处理，得到一个平稳更能反映运动信息的矢量场；以运动矢量方向角为特征建立目标模型以及候选目标模型，利用Meanshift框架对目标进行检测，这部分作为检测器；最后利用Kalman滤波作为跟踪器进行平滑跟踪框和预测下帧位置，将结果重新作用于检测器，对其进行校正，从而准确跟踪；

首先对原始的运动矢量场进行时间和空间上的归一化。时空归一化后，对新的运动矢量场进行3×3中值滤波，消除噪声矢量的同时，可以平滑相邻块之间运动矢量的差异。为进一步增强运动矢量场的可靠性，需要对连续几帧运动矢量场进行累积，这里采用不是简单的直接累加，而是迭代后向投影法，分两个过程，投影过程和累积过程。然后根据运动矢量的方向偏离度和幅值偏离度设限，这样保留了大部分运动目标位置信息。最后利用均值偏移算法思想，利用目标框和候选框的相似度，找到运动目标位置；

Kalman滤波是个最优化递归处理算法，在目标检测与跟踪过程中，为了提高跟踪速度，在确定目标的情况下，对目标在下一时刻的可能的位置进行估计，然后以这个估计的位置为中心，在一定的范围内进行目标的搜索，这样就可以缩小目标的搜索范围，提高跟踪速度。由于跟踪器的输入是检测器的输出，当检测器发生检测错误时，跟踪器能够自动识别错误，避免产生不必要的误差。跟踪器的作用在于其对检测器的平稳滤波和预测，将结果重新作用于检测器，并对其进行校正。跟踪器具有校正的特性，对输入的检测器数据进行初步的识别，在跟踪器中得到下一帧的预测结果，跟踪器经过缓冲和校正的结果，比检测器更加准确，将在下一帧循环时送入检测器中进行校正，在检测器中得到的与进行平滑操作，削减过于偏大的位置误差，重新更新。

由于目标运动每帧间位置相差不会太大，如果跟踪器输出的结果的误差超过平均值的2倍，则认为跟踪器输出错误。此时整合器穿给检测器的值就是上一帧正确的位置信息。由于检测器的运算单位是4x4块，也就是横向上是4个像素单位长度，为了使得跟踪框看起来平滑，这里将得到的位置与上一帧位置进行平均，经多次实验，发现平均2次，满足大部分实验。

【附图说明】

结合参考附图及接下来的详细描述，本发明将更容易理解，图1为本发明中的基于H.264/AVC压缩域的运动目标跟踪的方法的流程图。

【具体实施方式】

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的实施方案提供一种基于H.264/AVC压缩域的运动目标跟踪的方法，所述的方法，能快速得到移动目标大致位置，并能准确地进行跟踪目标。

请参考图1，其示出了本发明中的基于H.264/AVC压缩域的运动目标跟踪的方法的流程图。所述方法100包括：

步骤102，对运动矢量场进行预处理；

首先对运动矢量场的归一化，时间上进行归一化的目的是使一帧中所有块的参考帧等效为其前面一帧，这样可以提高下一步运动矢量场累积的有效性。空间上进行归一化的目的是为得到大小一致，且均匀的运动矢量场。时空归一化后，对新的运动矢量场进行3×3中值滤波，消除噪声矢量的同时，可以平滑相邻块之间运动矢量的差异。为避免使本来独立的运动矢量场更加割裂开来现象，采用迭代后向投影法。由于时域归一化后，运动矢量场的参考帧相当于其前面一帧，因此利用当前帧以及其后若干帧的归一化运动矢量场进行后向投影，再进行累积作为当前帧的累积运动矢量场，该累积运动矢量场更能代表目标的运动特性。

步骤104，首先运动矢量直方图阈值化，然后利用均值偏移算法得出目标大致位置；

这部分是检测器模块。由于运动矢量在预处理过程中得到比较显著的运动信息，通过分析运动矢量的方向偏离度及幅值关系，设定阈值，可以得到表征运动目标位置信息的掩膜。采用运动矢量的方向角作为特征空间，对视频中出现的运动目标进行跟踪。将运动矢量方向角在0-360°的范围内进行量化，以20°为量化步长，可以分成18个量化等级，这样统计出来的运动矢量方向角直方图就会涵盖整个运动目标的运动特征。且其具有与颜色直方图相同的特点，不受目标形状变化的影响。假设目标区域的中心为x0，目标在一帧图像中对应的4×4块的位置为{xi}，i＝1，2，…，n。如果目标模型表示成m个值的直方图，形式为q＝{qv}v＝1，2，...，m，则归一化后的目标运动矢量分布可以表示成：

数。由于图像中的目标极易受到背景或遮挡的影响，所以位于目标模型中心周围的运动矢量方向角往往比其它位置的方向角更可靠。因此，有侧重的对不同位置的运动矢量方向角赋予不同的权值，可以使目标模型具有更显著的特征。权值规则为：靠近中心的运动矢量方向角赋予较大的权值，而远离中心位置的运动矢量方向角赋予较小的权值。进而，对目标运动矢量方向密度函数引入核函数，目标模型可以表示成：

$q_v\left(x\right)=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[o\left(x_i\right)-v]$

在确定目标模型后的每帧中，可能存在目标的区域称为候选区域。在候选区域中建立候选模型，假设目标中心为x，区域中的运动矢量方向角位置为{xi}，i＝1，2，...n，对候选模型的特征值v＝1，2，...，m计算加权运动矢量方向角直方图，即特征值的概率密度为：

$p_v\left(x\right)=C_h\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_0-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[o\left(x_i\right)-v]$

跟踪其实就是给定一个目标模型，在候选模型中找一个与目标模型特分布最相似的候选模型作为目标在当前帧的位置。

步骤106，跟踪器基于经典kalman滤波模型，对检测器输出的位置进行修正；

Kalman滤波是个最优化递归处理算法，在目标检测与跟踪过程中，为了提高跟踪速度，在确定目标的情况下，对目标在下一时刻的可能的位置进行估计，然后以这个估计的位置为中心，在一定的范围内进行目标的搜索，这样就可以缩小目标的搜索范围，提高跟踪速度。卡尔曼滤波器的原理基本描述主要是5个基本公式。

由于跟踪器的输入是检测器的输出，当检测器发生检测错误时，跟踪器能够自动识别错误，避免产生不必要的误差。由于检测器的运动矢量的提取会出现错误，尤其是全局运动矢量，当发生错误时，跟踪器的作用在于其对检测器的平稳滤波和预测，将结果重新作用于检测器，并对其进行校正。跟踪器具有校正的特性，对输入的检测器数据进行初步的识别，在这里定义一个误差参数，定义是上一帧预测的跟踪器位置与当前输入的检测器位置的偏差，当大于平均移动距离的2倍时，认为检测器检测失败，则跟踪器根据来预测。在跟踪器中得到下一帧的预测结果，跟踪器经过缓冲和校正的结果，比检测器更加准确，将在下一帧循环时送入检测器中进行校正，如图步骤108，在检测器中得到的与进行平滑操作，削减过于偏大的位置误差，重新更新。

由于目标运动每帧间位置相差不会太大，如果跟踪器输出的结果的误差超过平均值的2倍，则认为跟踪器输出错误。此时整合器传给检测器的值就是上一帧正确的位置信息。由于检测器的运算单位是4x4块，也就是横向上是4个像素单位长度，为了使得跟踪框看起来平滑，这里将得到的位置与上一帧位置进行平均，经多次实验，发现平均2次，满足大部分实验。

需要说明的是：上述实施例提供的基于H.264/AVC压缩域的运动目标跟踪的方法，仅以上述各功能模块的划分进行说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，这里最关键的是检测目标部分，在实际应用中，为了检测到运动目标，方法很多，可以完成这个功能模块。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。

Claims (4)

1.一种基于H.264/AVC压缩域的运动目标跟踪的方法，其特征在于，所述方法包括：

对运动矢量进行预处理，得到一个平稳更能反映运动信息的矢量场；

以运动矢量方向角为特征建立目标模型以及候选目标模型，利用Meanshiff框架对目标进行检测；

利用Kalman滤波进行平滑跟踪框和预测下帧位置，将结果重新作用于检测器，对其进行校正，从而准确跟踪。

2.根据权利要求1所述的一种基于H.264/AVC压缩域的运动目标跟踪的方法，其特征在于对运动矢量进行预处理，得到一个平稳更能反映运动信息的矢量场；

首先对原始的运动矢量场进行时间和空间上的归一化。时空归一化后，对新的运动矢量场进行3×3中值滤波，消除噪声矢量的同时，可以平滑相邻块之间运动矢量的差异。为进一步增强运动矢量场的可靠性，需要对连续几帧运动矢量场进行累积，这里采用不是简单的直接累加，而是迭代后向投影法，分两个过程，投影过程和累积过程。然后根据运动矢量的方向偏离度和幅值偏离度设限，这样保留了大部分运动目标位置信息。

3.根据权利要求1所述的一种基于H.264/AVC压缩域的运动目标跟踪的方法，其特征在于，以运动矢量方向角为特征建立目标模型以及候选目标模型，利用Meanshiff框架对目标进行检测；

首先运动矢量直方图阈值，建立每一帧的运动矢量直方图，表示运动矢量的一个分布，如果直方图的某列值的面积大于整个面积的一半时，认为这个值表示的运动矢量为背景，应该滤掉，这样有效解决因为摄像机的垂直抖动问题。然后采用运动矢量的方向角作为特征空间，对视频中出现的运动目标进行跟踪。将运动矢量方向角在0-360°的范围内进行量化，以20°为量化步长，可以分成18个量化等级，这样统计出来的运动矢量方向角直方图 就会涵盖整个运动目标的运动特征。且其具有与颜色直方图相同的特点，不受目标形状变化的影响。跟踪其实就是给定一个目标模型，在候选模型中找一个与目标模型特分布最相似的候选模型作为目标在当前帧的位置。

4.根据权利要求1所述的一种基于H.264/AVC压缩域的运动目标跟踪的方法，其特征在于，利用Kalman滤波进行平滑跟踪框和预测下帧位置，将结果重新作用于检测器，对其进行校正，从而准确跟踪；

Kalman滤波是个最优化递归处理算法，在目标检测与跟踪过程中，为了提高跟踪速度，在确定目标的情况下，对目标在下一时刻的可能的位置进行估计，然后以这个估计的位置为中心，在一定的范围内进行目标的搜索，这样就可以缩小目标的搜索范围，提高跟踪速度。由于跟踪器的输入是检测器的输出，当检测器发生检测错误时，跟踪器能够自动识别错误，避免产生不必要的误差。跟踪器的作用在于其对检测器的平稳滤波和预测，将结果重新作用于检测器，并对其进行校正。跟踪器具有校正的特性，对输入的检测器数据进行初步的识别，在这里定义一个误差参数，定义□是上一帧预测的跟踪器位置与当前输入的检测器位置的偏差，当大于平均移动距离的2倍时，认为检测器检测失败，则跟踪器根据来预测，偏差的表示均采用the center of bounding box的位置来计算。在跟踪器中得到下一帧的预测结果，跟踪器经过缓冲和校正的结果，比检测器更加准确，将在下一帧循环时送入检测器中进行校正，在检测器中得到的与进行平滑操作，削减过于偏大的位置误差，重新更新。

由于目标运动每帧间位置相差不会太大，如果跟踪器输出的结果的误差超过平均值的2倍，则认为跟踪器输出错误。此时整合器穿给检测器的值就是上一帧正确的位置信息。由于检测器的运算单位是4x4块，也就是横向上是4个像素单位长度，为了使得跟踪框看起来平滑，这里将得到的位置与上一帧位置进行平均，经多次实验，发现平均2次，满足大部分实验。