CN107480704A - 一种具有遮挡感知机制的实时视觉目标跟踪方法 - Google Patents

Abstract

本发明提出了一种具有遮挡感知机制的实时视觉目标跟踪方法，该方法首先融合基于相关性滤波器跟踪算法和基于颜色统计信息的贝叶斯概率模型跟踪算法两者的跟踪结果进行目标的位置预测，然后单独训练一维的尺度金字塔进行目标的尺度估计，此外设计了一种遮挡感知机制，能够判别被跟踪目标是否被局部或完全遮挡，进而决定模型的更新策略以及利用何种模型进行新一帧的跟踪，避免背景信息的污染使跟踪器产生漂移，跟踪算法根据上述步骤迭代地对目标进行持续地跟踪。所提算法能够实时准确地跟踪到目标，且能够有效应对形变、旋转、遮挡、尺度变化、光照变化、运动模糊等多种问题。

Description

一种具有遮挡感知机制的实时视觉目标跟踪方法

技术领域

本发明属于目标跟踪领域，具体是一种具有遮挡感知机制的实时视觉目标跟踪方法。

背景技术

随着计算机技术的发展，目标跟踪由于其在视频监控、人机交互、机器人等方面具有很高的应用价值，成为了计算机视觉领域的研究热点，其可以定义为，给定视频流中的第一帧图像中感兴趣目标的矩形框，估计出所选目标在接下来每帧图像中的状态(位置及大小)。近年来有大量的目标跟踪算法被提出，但由于实际应用中的遮挡、背景杂乱、光照变化以及目标的尺度与形状变化等，设计一种鲁棒、长期、实时的目标跟踪算法仍然是比较困难的问题。

现有的基于相关性滤波器的跟踪算法能够在跟踪的准确性和速度上均获得较好的效果，但是由于其是一类基于严格模板的方法，所以该类方法不能很好处理目标剧烈的形变、超平面旋转等情况，而且不能适应目标的尺度变化。基于颜色统计信息的概率模型算法在一定程度上能够弥补上述相关滤波算法的缺点，其原因在于该算法所采用的特征不包含像素的位置信息，但是该类算法对光照变化比较敏感，另外单独利用颜色统计信息容易使跟踪器产生漂移问题。

产生漂移问题的主要原因是在线分类器在更新时引入了噪声，在预测过程中噪声会不断积累，最终使算法无法准确跟踪目标。被跟踪目标的外观变化如遮挡等均会产生噪声，因此有必要设计一种遮挡感知机制来在线处理跟踪过程中的遮挡问题。

发明内容

针对上述问题，本发明提出了一种具有遮挡感知机制的实时视觉目标跟踪方法，该方法首先融合基于相关性滤波器跟踪算法和基于颜色统计信息的贝叶斯概率模型跟踪算法两者的跟踪结果进行目标的位置预测，然后单独训练一维的尺度金字塔进行目标的尺度估计，此外设计了一种遮挡感知机制，能够判别跟踪目标是否被局部或完全遮挡，进而决定模型的更新策略以及利用何种模型进行新一帧的跟踪，避免背景信息的污染使跟踪器产生漂移。所提算法能够实时准确地跟踪到目标，且能够有效应对形变、旋转、遮挡、尺度变化、光照变化、运动模糊等多种问题。本发明采用下面的技术方案：

一种具有遮挡感知机制的实时目标跟踪方法，其特征在于：

包括如下步骤：

1)位置估计，分别提取搜索区域内的HOG特征学习相关性滤波跟踪器、颜色直方图特征学习贝叶斯概率模型跟踪器，通过解决两个独立的岭回归问题将两者的响应进行同构，利用线性融合的方法确定目标的位置；

2)尺度估计，引入单独的一维相关性滤波尺度估计机制，以估计的位置为中心，获取不同尺度大小的图像块，再将不同大小的图像块统一成固定模板大小，提取fhog特征形成S层特征金字塔，利用hann窗消除边界效应，作为输入，输出的最大响应所对应尺度即可以看作是最优尺度估计；

3)遮挡感知，完成当前t帧的位置与尺度估计后时，根据“目标相似性”与“背景相似性”判别遮挡情况，划分未遮挡、局部遮挡与完全遮挡，未遮挡情况下，更新分类器集合C与目标图像块集合F，计算新的“背景相似性” T_t ^min，在t+1帧的预测中，未被完全遮挡的情况下，用当前分类器模型预测目标位置，否则在集合中利用最小能量函数选取最优分类器模型，预测目标；

重复上述步骤进行连续跟踪。

本发明的优点和有益效果：

第一，本发明充分利用了基于HOG特征的相关性滤波跟踪器与基于颜色直方图特征的贝叶斯概率模型跟踪器的互补性，能够有效避免前者对目标形变的敏感性和后者对光照变化的敏感性，总体提高算法的性能。

第二，本发明在位置估计的基础上，单独采用一个自适应尺度估计机制，能够处理视觉跟踪中较频繁出现的目标尺度变化问题。

第三，本发明提出了一种遮挡感知机制，将整个跟踪过程分为未遮挡、局部遮挡、完全遮挡三部分，采用不同的预测和更新机制，在目标遮挡并重新出现的情况下能够再次检测到目标，同时该机制一定程度上避免了由于噪声干扰而引起的漂移问题。

附图说明

图1是本发明的具体实施流程框图；

图2是本发明在目标跟踪中遮挡感知机制的策略示意图。

具体实施方式

本发明具有遮挡感知机制的实时视觉目标跟踪方法，包括以下步骤：

第一步：位置估计，分别提取搜索区域内的HOG特征学习相关性滤波跟踪器与颜色直方图特征学习贝叶斯概率模型跟踪器，通过解决两个独立的岭回归问题将两者的响应进行同构，利用线性融合的方法确定位置估计。

第二步：尺度估计，引入单独的一维相关性滤波尺度估计机制，以第一步的估计位置为中心，获取不同尺度大小的图像块，再将不同大小的图像块统一成固定模板大小，提取fhog特征形成S层特征金字塔，利用hann窗消除边界效应，作为输入，输出的最大响应所对应尺度即可以看作是最优尺度估计。

第三步：遮挡感知，由于每帧都可以获得分类器模型C_t和最优估计图像块，因此构建分类器集合C和目标图像集合F，集合C包含了无遮挡情况下的最近的 K个分类器模型参数，F包含了无遮挡情况下最近的K个跟踪到的目标图像块，完成当前t帧的位置与尺度估计后，计算当前目标图像块与集合F中各个元素之间的相似性，其中最小的相似性度量距离称为“目标相似性”。计算当前目标图像块与其周围8个图像块的相似性距离，设最小距离为T^min，称为“背景相似性”。上述两者距离度量T_t ^min分别衡量了当前目标与之前目标对象的相似度、当前目标与其周围背景的相似度，可见，度量距离越大，相似度越低， D^min＞T^min可认为目标被完全遮挡，D^min＜ηT^min可认为目标未被遮挡。目标未被完全遮挡的情况下，用当前分类器模型预测目标位置，否则在集合中利用最小能量函数选取最优分类器模型，预测目标。

实施例

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更清楚明确的界定。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

本发明的一种典型实施例是一种具有遮挡感知机制的实时视觉目标跟踪方法，如图1所示，包括以下步骤：

步骤1：输入视频序列，给定第一帧感兴趣目标的状态(位置与尺寸)信息；

步骤2：分别提取目标区域内的HOG特征与颜色直方图特征，初始化跟踪器；

步骤3：分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计。

以上所述的相关性滤波跟踪器与贝叶斯概率模型跟踪器是通过两个独立的岭回归问题进行求解的：

其中h_cf为相关滤波器，β_bayes为权重向量，L_cf与L_bayes损失函数，λ_cf与λ_bayes为正则化参数。响应融合方式如下：

f(x)＝γf_bayes(x)+(1-γ)f_cf(x)

其中f_bayes(x)为贝叶斯概率模型跟踪器的响应，f_cf(x)为相关性滤波跟踪器，响应的融合系数γ为0.2。

步骤4：引入单独的一维相关性滤波尺度估计机制，以上一步的估计位置为中心，获取不同尺度大小的图像块，再将不同大小的图像块统一成固定模板大小，提取31维fhog特征形成S层特征金字塔，利用hann窗消除边界效应，作为输入，输出的最大响应所对应尺度即可以看作是最优尺度估计。

尺度的选择原则为：

其中，P与R是目标在前一帧的宽和高，a为尺度因子，S为尺度数量。

步骤5：构建分类器集合C和目标图像集合F，集合C包含了无遮挡情况下的最近的K个分类器模型参数，F包含了无遮挡情况下最近的K个跟踪到的目标图像块。

步骤6：根据新得到的目标图像块，计算其与最优目标图像块集合F中各个元素之间的相似性，其中最小的相似性度量距离称为“目标相似性”。相似性的度量方法包括但不限于马氏距离、中心距、欧氏距离、局部HOG距离、最佳伙伴相似性(BBS)等。

步骤7：更新阶段遮挡判断，如图2，若则目标未被遮挡，更新分类器集合C和目标集合F，同时计算当前帧的“背景相似性”，即新得到的图像块与其周围图像块的相似性度量的最小距离为T_t ^min。若则目标被遮挡，不更新集合，不更新“背景相似性”。

步骤8：预测阶段遮挡判断，在t+1帧，若则目标未被完全遮挡，此时利用t帧所更新的分类器和特征进行下一帧的跟踪，转至步骤3。若则目标被完全遮挡，利用最小能量函数从分类器集合C中选取最优分类器，并从目标集合F中选取最优分类器所对应的图像块并提取特征，利用所选分类器与特征跟踪t+1帧的目标，即转至步骤3。

所采用的最小能量函数为：

其中，为分类器集合C中元素，为各分类器能量函数，表征似然估计，是熵正则化项，其中l＝{l₁,l₂}为标签空间。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种具有遮挡感知机制的实时视觉目标跟踪方法，其特征在于：

包括如下步骤：

1)位置估计，分别提取搜索区域内的HOG特征学习相关性滤波跟踪器、颜色直方图特征学习贝叶斯概率模型跟踪器，通过解决两个独立的岭回归问题将两者的响应进行同构，利用线性融合的方法确定目标的位置；

2)尺度估计，引入单独的一维相关性滤波尺度估计机制，以估计的位置为中心，获取不同尺度大小的图像块，再将不同大小的图像块统一成固定模板大小，提取fhog特征形成S层特征金字塔，利用hann窗消除边界效应，作为输入，输出的最大响应所对应尺度即可以看作是最优尺度估计；

3)遮挡感知，完成当前t帧的位置与尺度估计后时，根据“目标相似性”与“背景相似性”判别遮挡情况，划分为未遮挡、局部遮挡与完全遮挡，未遮挡情况下，更新分类器集合C与目标图像块集合F，计算新的“背景相似性”T_t ^min，在t+1帧的预测中，未被完全遮挡的情况下，用当前分类器模型预测目标位置，否则在集合中利用最小能量函数选取最优分类器模型，预测目标；

重复上述步骤进行连续跟踪。

2.根据权利要求1所述的目标跟踪方法，其特征在于，相关性滤波跟踪器与贝叶斯概率模型跟踪器是通过两个独立的岭回归问题进行求解的：

<mrow> <msub> <mi>h</mi> <mrow> <mi>c</mi> <mi>f</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>h</mi> </munder> <mrow> <mo>{</mo> <mrow> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>f</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>h</mi> <mo>,</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>c</mi> <mi>f</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <mi>h</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> <mo>}</mo> </mrow> </mrow>

<mrow> <msub> <mi>&amp;beta;</mi> <mrow> <mi>b</mi> <mi>a</mi> <mi>y</mi> <mi>e</mi> <mi>s</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>&amp;beta;</mi> </munder> <mo>{</mo> <msub> <mi>L</mi> <mrow> <mi>b</mi> <mi>a</mi> <mi>y</mi> <mi>e</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>,</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>b</mi> <mi>a</mi> <mi>y</mi> <mi>e</mi> <mi>s</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <mi>&amp;beta;</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>}</mo> </mrow>

其中h_cf为相关滤波器，β_bayes为权重向量，L_cf与L_bayes损失函数，λ_cf与λ_bayes为正则化参数。

3.根据权利要求1所述的目标跟踪方法，其特征在于，两个独立跟踪器响应的融合系数γ为0.2，

f(x)＝γf_bayes(x)+(1-γ)f_cf(x)。

4.根据权利要求1所述的目标跟踪方法，其特征在于，尺度估计时每个样本提取31维fhog特征，再串联成一个特征向量构成33层金字塔特征，乘以一维hann窗后作为输入。

5.根据权利要求1所述的目标跟踪方法，其特征在于，尺度的选择原则为：

<mrow> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>P</mi> <mo>&amp;times;</mo> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mo>&amp;lsqb;</mo> <mo>-</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>}</mo> </mrow>

其中，P与R是目标在前一帧的宽和高，a为尺度因子，S为尺度数量。

6.根据权利要求1所述的目标跟踪方法，其特征在于，相似性的度量方法包括马氏距离、中心距、欧氏距离、局部HOG距离、最佳伙伴相似性(BBS)。

7.根据权利要求1所述的目标跟踪方法，其特征在于，将整个跟踪过程分为三部分，即未遮挡、局部遮挡、完全遮挡。

8.根据权利要求7所述的目标跟踪方法，其特征在于，在感知到目标未被遮挡时，分类器集合C和目标图像集合F会删除最早保存的元素并更新一个新元素，即其中包含了无遮挡情况下最近K个元素，同时“背景相似性”度量T_t ^min也随之更新。

9.根据权利要求7所述的目标跟踪方法，其特征在于，在感知到目标被完全遮挡时，利用最小能量函数从分类器集合C中选取最优分类器，并从目标集合F中选取最优分类器所对应的图像块并提取特征，利用所选分类器与特征跟踪新一帧的目标，否则利用t-1帧所得分类器模型参数与特征信息进行跟踪预测。

10.据权利要求9所述的目标跟踪方法，其特征在于，选择最优分类器所采用的最小能量函数为：

<mrow> <msup> <mi>k</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munderover> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <mi>E</mi> <mrow> <mo>(</mo> <msubsup> <mi>C</mi> <mi>k</mi> <mi>p</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中，为分类器集合C中元素，为各分类器能量函数，表征似然估计，是熵正则化项，其中l＝{l₁,l₂}为标签空间。