CN106485283B - 一种基于Online Boosting的粒子滤波行人目标跟踪方法 - Google Patents

Abstract

一种基于Online Boosting的粒子滤波跟踪方法，属于目标跟踪或图像处理技术。本发明通过对跟踪环境中具体情形进行分析，对跟踪行人相互遮挡建立遮挡矩阵，构成粒子滤波模型的中的加权因子，以此来对遮挡行人进行有效刻画，同时在改进的粒子滤波模型中，利用了Online Boosting实时更新刻画目标的优点，对跟踪过程中偏离目标进行了有效的抑制，能够有效的避免目标跟踪过程漂移的发生，使得跟踪更加的准确和鲁棒。本发明充分有效利用了行人运动过程的有效信息，在下一时刻行人目标跟踪时，在目标周围区域进行粒子重建，使得模型能很快地收敛，计算速度快，跟踪准确，同时，本方法对噪声具有较强的鲁棒性，算法稳定性较高。

Description

一种基于Online Boosting的粒子滤波行人目标跟踪方法

技术领域

本发明属于目标跟踪或图像处理技术，即在图像序列或者视频中，采用检测与跟踪相关方法，对特定目标进行持续跟踪。具体涉及Online Boosting和粒子滤波在跟踪过程中的应用。

背景技术

行人检测与跟踪是通过对图像序列或视频监控中的行人目标进行检测、提取、识别和跟踪，以获得行人的位置、速度、加速度以及运动轨迹等参数，是实现对行人行为分析及获得更深层次行为理解的重要步骤。在视频监控、智能人机交互、机器人视觉导航、智能交通、车辆辅助驾驶系统中、行为分析以及医疗诊断等方面有着广泛的应用，因此有着重要的研究意义和应用价值。但是，由于人体的非刚性和运动的随意性，且经常会有光照、行人姿态变化、复杂背景以及遮挡等影响，使得复杂环境下行人跟踪仍然面临许多问题。

滑动窗口法解决了多姿态的检测问题，然而仍然不能满足跟踪中光线、姿态等的动态变化，为了解决行人运动过程中的姿态、短时间遮挡以及光线等问题，Helmut Grabner等人提出了Online Boosting算法，其主要思想是在线训练分类器，提取行人最新特征，从而能及时更新行人的运动模型。Online Boosting能够很好的适应行人姿态以及光线问题，但对于稍长时间的遮挡问题，由于更新时将遮挡物作为前景进行了更新，将前景当成目标的一部分，虽然具有自适应能力，在遮挡时能检测行人位置，但在目标远离遮挡时，OnlineBoosting不足以很好的跟踪。

粒子滤波能够处理任意非线性、非高斯分布的系统，且速度较快，因而常应用在目标跟踪场景中，能较好地适应场景和目标的变化。但在粒子滤波算法中，粒子多样性匮乏现象是影响粒子跟踪算法的一个重要因素。Arulampalam M S等人采用粒子重抽样策略来简化退化的现象的影响，对粒子权重较大的粒子进行多次选中，会造成样本多样性退化，带来采样枯竭的问题。因此在粒子滤波中并不能简单地采用直接选取最大权值的方法，我们可以对粒子根据跟踪的情况进行重新生成，从而解决此问题。Eberhart R C提出粒子群优化算法(PSO)，PSO中每个粒子根据单个最优和全局最优进行更新，能快速地搜到到最优解，具有较好的跟踪能力。然而在粒子模型中，如果不采用目标未遮挡时的信息，会同样面临上面提到的问题：在长时间目标遮挡停留的时候能较好的适应，但是离开遮挡时粒子并不能快速适应，同时，在长时间目标遮挡的时候，粒子描述的能力也会退化。因此，鉴于简单特征的观测模型在复杂环境和背景、噪声干扰等因素影响下所具有的目标识别能力有限，需要对状态空间模型进行改进，增强粒子对目标的跟踪能力。

发明内容

本发明的目的是为了克服现有的粒子滤波跟踪方法的不足之处，以提高行人跟踪的准确性以及鲁棒性，特提供一种基于新构建的遮挡模型和Online Boosting算法的粒子滤波跟踪方法。该方法的主要思路是先对行人遮挡情况进行分析建模，利用OnlineBoosting在线更新跟踪目标的特征，以此来对粒子加权模型进行改进，在改进粒子模型的时候，同时结合检测信息来抑制粒子更新偏离跟踪目标，以此来提高目标跟踪准确度。

本发明详细技术方案是一种基于Online Boosting的粒子滤波行人目标跟踪方法，该方法步骤如下：

步骤1：提取目标先验信息

步骤1-1：采用公共数据集构建目标训练模型；利用现有公共数据集分别提取行人的梯度直方图特征和Luv颜色空间特征，然后进行特征融合，采用SVM(支持向量机)进行训练，得到行人分类器g(x)；

步骤1-2：对需要检测的图像，采用滑动窗口方法检测目标；对初始帧采用滑动窗口方法，检测需要跟踪的行人目标，提取目标区域tr_k，其中k为检测到的第k个行人；

步骤2：建立Online Boosting模型

步骤2-1：构建弱分类器：采用LBP特征或者梯度直方图特征构建弱分类器；具体为：

对于LBP特征，采用近邻学习生成一个距离函数D(·)，建立弱分类器：

其中，p_j和n_j分别表示正、负样本的聚类中心，x目标向量、j表示目标的编号、f_j(x)为目标投影函数、sign(·)符号函数，

对于Hog特征，可以找出行人和非行人的特征分布，然后简单地确定θ，利用下式即可：

其中，β_j为偏置项，θ为阈值；

步骤2-2：训练强分类器；用上述弱分类器构成多个选择子(Selctors)，每个选择子包含多个弱分类器，利用步骤一得到的目标区域进行初始化，在每一个选择子中选择最小错误率的弱分类器，同时计算权重，最后利用下式组合成强分类器

h^strong(x)＝sign(conf(x))

其中，conf(x)为最后检测的可信度，以此可信度作为粒子滤波器权值的部分参数，就可以对目标进行检测跟踪；表示选择子，α_j表示加权系数；

步骤3：对遮挡行人进行建模，假设目标i被目标j遮挡，如下：

步骤3-1：对两个目标的重叠区域进行积分，公式为：

z_ij＝∫N_i(t)·N_j(t)dt

其中，其中c_i第i个目标均值，C_i为方差；上式的积分结果为一个高斯函数：z_ij＝N(t_i；t_j,C_ij)，其中C_ij＝C_i+C_j，关注的遮挡时的重叠区域，采用下式来进行计算

其中：C_ij为i和j重叠区域，V_ij为协方差，c_j为第j个目标均值；

步骤3-2：定义目标的遮挡矩阵为：

Φ＝(Φ_ij)_i,j

其中Φ_ij＝σ_ij·V_ij,i≠j，Φ_ii＝0；对于Φ中某一行i和任意j列，Φ_ij表示i被j遮挡的部分；目标i的所有遮挡为j行的和，即：∑_jΦ_ij；目标i的可见部分为：max(0,1-∑_jΦ_ij)；采用指数函数来定义目标的可见部分，公式为：

v_i(X)＝exp(-∑_jΦ_ij)，

其中：X为待求目标，X_j表示第j个目标；

步骤4：构建粒子加权模型；

第i个粒子t-1时刻的权重为t时刻的粒子权重为粒子权重的变化情况为：

其中，k_o,k_d,k_s,k_v为相应项的加权系数，同时有k_o+k_d+k_s+k_v＝1；

步骤4-1：强分类器检测的结果ρ⁽ⁱ⁾ _o,t：对于第t时刻的i个粒子p⁽ⁱ⁾ _t，获得最后的相似度，得到ρ⁽ⁱ⁾ _o,t：

ρ⁽ⁱ⁾ _o,t＝corf(p⁽ⁱ⁾ _t)

其中conf(p⁽ⁱ⁾ _t)为Onling Boosting的置信度计算公式；

步骤4-2：当前粒子距上一次目标跟踪的位置的距离ρ⁽ⁱ⁾ _d,t：从目标运动过程来看，如果某个粒子距上一时刻的目标距离较远，那么该粒子描述跟踪目标的能力就较低，反之，如果粒子距上一时刻目标位置较近，则可信度较高。由于目标处于运动状态，上一个时刻的位置不一定是当前目标的位置，因此，为了增加可信度，对上一个时刻目标所处的位置周围某个区域的粒子设置相同的权重，而处于此区域以外的粒子随距离的增加而递减，即：

其中，ε为一个固定数值，由行人目标运动的速度来度量；D⁽ⁱ⁾ _t为第i个粒子距离上一时刻目标的位置。

步骤4-3：与上一次跟踪的相似度ρ⁽ⁱ⁾ _s,t：由于行人的非刚性，因此上一时刻目标和当前时刻目标已经处于完全不同的状态，但是由于每一帧时间足够短，因此每一帧中行人外观变化不是特别大，因此，对特征变化太大的目标置一个较小的权重，对相似性很高的目标置一个较大的权重，即：

ρ⁽ⁱ⁾ _s，t＝exp(-(F_t ⁽ⁱ⁾-F_t-1)²)

其中F_t ⁽ⁱ⁾为第i个粒子在t时刻的特征(使用HOG+LUV特征进行描述)，F_t-1为t-1时刻行人目标的特征；

行人的可见部分ρ⁽ⁱ⁾ _v,t：目标被遮挡的情况下可信度降低，可见部分的值也应该减小，而目标不存在遮挡时，可见部分应该增加；采用如下公式表示:

其中，bb_i为目标未遮挡时的大小，V(i)为目标被目标j遮挡时的大小，为目标i与目标j的距离，ζ为距离阈值，根据实际情况确定；

步骤5：预测位置，进行跟踪和更新

由粒子滤波公式得到目标的最终位置，并跟新初始值和权系数；

x(t)＝f(x(t-1),u(t),w(t))

y(t)＝h(x(t),e(t))

其中，x(t)为t时刻状态，u(t)为t时刻控制量，w(t)和e(t)为观测模型和噪声模型，f(·)为观测方程，h(·)为状态方程，y(t)为最后的状态。

本发明的核心在于粒子滤波模型的重新构建过程，主要采用了Onling Boosting方法来进行最后检测的可信度描述，如果检测的区域可信度较低，那么粒子权重将变小，以此来对粒子更新过程中偏离跟踪目标进行抑制。同时，对遮挡目标进行了分析，描述了目标被遮挡情形下可见区域的面积，以此来改善粒子的置信度。按此方法建立的粒子模型对具体场景中所涉及的问题进行了建模，进行跟踪时具有更好的准确性和鲁棒性，适用于复杂场景中的行人跟踪。

附图说明

图1为本发明的流程图。

图2为Onling Boostin算法框架。

具体实施方式

下面对本发明做进一步的说明。

Onling Boostin分类器的构建方法中，对于每一个选择器，利用分类器里预测样本标签，同时计算错误，即：如果预测样本标签正确，有λ^corr＝λ^corr+λ，否则λ^wrong＝λ^wrong+λ，最后计算错误率，然后，选择错误率最小的弱分类器作为分类器，并计算分类器的权重。同时更新λ，最后获得强分类器。另外，为了提高速度，也可以将所有选择器进行合并，相当于每个选择器都包括全部特征池(各种特征的弱分类器)，这样做的另一个优点是包括了全部的特征。

在构建遮挡模型时，目标i在某个区域中，用bb(X_i)来进行表示。但是，如果采用行人本身的区域面积来描述，会在计算过程中出现不可导的情况，于是我们采用高斯指示函数来进行描述，即：选择高斯函数的另一个原因是现实场景中大多数物体可以用圆或者椭圆来进行近似。另外，两个目标的重叠区域的积分式z_ij＝∫N_i(x)·N_j(x)dx中的积分结果仍然是一个高斯函数：z_ij＝N(c_i；c_j,C_ij)，其中C_ij＝C_i+C_j，这样便于计算。

Claims (1)

1.一种基于Online Boosting的粒子滤波行人目标跟踪方法,该方法步骤如下:

步骤1：提取目标先验信息

步骤1-1：采用公共数据集构建目标训练模型；利用现有公共数据集分别提取行人的Hog(梯度直方图)特征和Luv颜色空间特征，然后进行特征融合，采用SVM(支持向量机)进行训练，得到行人分类器g(x)；

步骤1-2：对需要检测的图像，采用滑动窗口方法检测目标；对初始帧采用滑动窗口方法，检测需要跟踪的行人目标，提取目标区域tr_k，其中k为检测到的第k个行人；

步骤2：建立Online Boosting模型

步骤2-1：构建弱分类器：提取LBP特征或者Hog构建弱分类器；具体为：

对于LBP特征，采用近邻学习生成一个距离函数D(·)，建立弱分类器：

其中，p_j和n_j分别表示正、负样本的聚类中心，x目标向量、j表示目标的编号、f_j(x)为目标投影函数、sign(·)符号函数，

对于Hog特征，可以找出行人和非行人的特征分布，然后简单地确定θ，利用下式即可：

其中，β_j为偏置项，θ为阈值；

步骤2-2：训练强分类器；用上述弱分类器构成多个选择子(Selctors)，每个选择子包含多个弱分类器，利用步骤1得到的目标区域进行初始化，在每一个选择子中选择最小错误率的弱分类器，同时计算权重，最后利用下式组合成强分类器，如图2所示

h^strong(x)＝sign(conf(x))

其中，conf(x)为最后检测的可信度，以此可信度作为粒子滤波器权值的部分参数，就可以对目标进行检测跟踪；表示选择子，α_j表示加权系数；

步骤3：对遮挡行人进行建模，假设目标i被目标j遮挡，如下：

步骤3-1：对两个目标的重叠区域进行积分，公式为：

z_ij＝∫N_i(t)·N_j(t)dt

其中，其中c_i第i个目标均值，C_i为方差；上式的积分结果为一个高斯函数：z_ij＝N(c_i；c_j,C_ij)，其中C_ij＝C_i+C_j，关注的遮挡时的重叠区域，采用下式来进行计算

其中：C_ij为i和j重叠区域，V_ij为协方差，c_j为第j个目标均值；

步骤3-2：定义目标的遮挡矩阵为：

Φ＝(Φ_ij)_i,j

其中Φ_ij＝σ_ij·V_ij,i≠j，Φ_ii＝0；对于Φ中某一行i和任意j列，Φ_ij表示i被j遮挡的部分；目标i的所有遮挡为j行的和，即：∑_jΦ_ij；目标i的可见部分为：max(0,1-∑_jΦ_ij)；采用指数函数来定义目标的可见部分，公式为：

v_i(X)＝exp(-∑_jΦ_ij)，

其中：X为待求目标，X_j第j个目标；

步骤4：构建粒子加权模型；

第i个粒子t-1时刻的权重为t时刻的粒子权重为粒子权重的变化情况为：

其中，k_o,k_d,k_s,k_v为相应项的加权系数，同时有k_o+k_d+k_s+k_v＝1；

步骤4-1：强分类器检测的结果ρ⁽ⁱ⁾ _o,t：对于第t时刻的i个粒子p⁽ⁱ⁾ _t，获得最后的相似度，得到ρ⁽ⁱ⁾ _o,t：

ρ⁽ⁱ⁾ _o,t＝conf(p⁽ⁱ⁾ _t)

其中conf(·)为Onling Boosting的置信度计算公式；

步骤4-2：当前粒子距上一次目标跟踪的位置的距离ρ⁽ⁱ⁾ _d,t：从目标运动过程来看，如果某个粒子距上一时刻的目标距离较远，那么该粒子描述跟踪目标的能力就较低，反之，如果粒子距上一时刻目标位置较近，则可信度较高；由于目标处于运动状态，上一个时刻的位置不一定是当前目标的位置，因此，为了增加可信度，对上一个时刻目标所处的位置周围某个区域的粒子设置相同的权重，而处于此区域以外的粒子随距离的增加而递减，即：

其中，ε为一个较小的数值，由行人目标运动的速度来度量；D⁽ⁱ⁾ _t为第i个粒子距离上一时刻目标的位置；

步骤4-3：与上一次跟踪的相似度ρ⁽ⁱ⁾ _s,t：由于行人的非刚性，因此上一时刻目标和当前时刻目标已经处于完全不同的状态，但是由于每一帧时间足够短，因此每一帧中行人外观变化不是特别大，因此，对特征变化太大的目标置一个较小的权重，对相似性很高的目标置一个较大的权重，即：

ρ⁽ⁱ⁾ _s,t＝exp(-(F_t ⁽ⁱ⁾-F_t-1)²)

其中F_t ⁽ⁱ⁾为第i个粒子在t时刻使用HOG+LUV特征进行描述的特征，F_t-1为t-1时刻行人目标的特征；

行人的可见部分ρ⁽ⁱ⁾ _v,t：目标被遮挡的情况下可信度降低，可见部分的值也应该减小，而目标不存在遮挡时，可见部分应该增加；采用如下公式表示:

其中，bb_i为目标未遮挡时的大小，V(i)为目标被目标j遮挡时的大小，为目标i与目标j的距离，ζ为距离阈值，根据实际情况确定；

步骤5：预测位置，进行跟踪和更新

由粒子滤波公式得到目标的最终位置，并跟新初始值和权系数；

x(t)＝f(x(t-1),u(t),w(t))

y(t)＝h(x(t),e(t))

其中，x(t)为t时刻状态，u(t)为t时刻控制量，w(t)和e(t)为观测模型和噪声模型，f(·)为观测方程，h(·)为状态方程，y(t)为最后的状态。