CN101339655B - 基于目标特征和贝叶斯滤波的视觉跟踪方法 - Google Patents

Abstract

本发明公开了基于目标特征和贝叶斯滤波的视觉跟踪方法，该方法包括根据目标实际运动建立系统模型和观测模型，计算目标的颜色、梯度，并构造相似度函数，通过粒子滤波器获得目标当前的观测值，利用卡尔曼滤波对粒子集的状态均值和协方差进行处理，产生新的高斯分布，然后根据产生的高斯分布采样新的粒子集，计算权值和输出，最后重采样粒子集；同时，提出对目标分块检测方法以及相应的遮挡和非遮挡处理算法；完成视觉跟踪过程。相比于同类算法，本发明通过多信息的融合，实现特征间信息的互补，从而目标不易受光照等外界环境因素的影响，利用粒子滤波和卡尔曼滤波相结合，使得整个方法的跟踪精度较高，提高了跟踪的性能，并适应多种的复杂环境。

Description

基于目标特征和贝叶斯滤波的视觉跟踪方法

技术领域

本发明涉及一种基于目标不同特征和贝叶斯滤波的视频处理和机器视觉跟踪方法，特别适用于现代智能视频监控、感兴趣目标快速准确搜索等领域。

背景技术

视觉跟踪是计算机视觉领域的核心课题之一，在机器人视觉，视频监控，军事目标跟踪等领域内都有广泛的应用。智能视频监控系统在民用和军用中有着极大的应用前景。已融入到许多住宅小区、停车场、街道、尤其是在银行、机场安检等关系到人们生命财产安全的特殊场合。智能视频监控的最终目的就是利用计算机视觉和智能信号处理与分析等方法，在不需要人为控制的情况下，通过对摄像机拍摄的图像序列能进行自动分析，对被监控的场景中的变化进行定位、识别和跟踪，并基于此分析和判断目标的行为。

随着计算和存储成本的大幅度下降，使得以视频速率或近似视频速率采集存储图像序列成为可能，视频跟踪技术的极为广阔市场应用前景也是推动视觉跟踪的主要动力。近年来随着图像工程和计算机视觉研究的兴起，视觉跟踪在国际上再次引起关注，出现了众多的跟踪方法：基于特征的跟踪、基于变形模板的跟踪、基于网格的跟踪、以及基于贝叶斯推断的跟踪。

基于贝叶斯推断的跟踪是现在视觉跟踪领域中的重要方法，其思路是将目标跟踪问题转换为贝叶斯估计问题，已知目标状态的先验概率，在获得新的量测值后不断求解目标状态的最大后验概率过程。也就是说，将视觉跟踪问题看作是最优估计问题，但是现实场景中的视频目标的跟踪往往由于复杂的背景图像和目标本身的运动变得非常困难。针对复杂环境下的视频目标，开发出一套鲁棒的跟踪方法仍存在较多困难。

发明内容

本发明的目的针对智能监控领域内现有技术的不足，提出了一种基于目标特征和贝叶斯滤波的视觉跟踪方法，能有效的实现运动目标的准确跟踪，并处理遮挡、姿态变化等异常情况，提高了鲁棒性。

本发明的基于目标特征和贝叶斯滤波的视觉跟踪方法，其特征是利用目标的颜色、梯度、小波特征和贝叶斯滤波对视频的目标进行跟踪，包括如下步骤：

1)根据目标实际运动建立系统模型x_k＝Ax_k-1+v_k和观测模型y_k＝Hx_k+w_k；

A为系统状态转移矩阵；v_k为高斯系统噪声，x_k为k时刻目标状态，

H为观测矩阵；w_k为高斯观测噪声，y_k为k时刻目标观测值；

2)分别计算目标的颜色特征、梯度特征，并构造相似度函数：

计算目标的颜色特征：

将目标区域的颜色信息在红绿蓝空间划分为m个等级，使用Epanechikov函数作为概率密度的核函数，假设目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，m]，C_q为归一化常数，则目标区域的颜色概率密度可以表示为：

计算梯度特征：

设I(x，y)表示坐标(x，y)的色度值，将图像通过一个均衡低通的高斯滤波器，分别计算水平和垂直方向上的梯度g_x(x，y)，g_y(x，y)：

$g_x(x,y)=I(x+1,y)-I(x-1,y)\∀x,y$

$g_y(x,y)=I(x,y+1)-I(x,y-1)\∀x,y$

计算I(x，y)的梯度幅度a(x，y)以及方向θ(x，y)：

$a(x,y)=\sqrt{g_x{(x,y)}^2+g_y{(x,y)}^2}$

θ(x，y)＝tan^-1g_y(x，y)/g_x(x，y)

以

为单位将梯度空间均匀地划为s个区域，以像素点的方向θ(x，y)作为分量和以梯度幅度a(x，y)作为量化值，构建运动目标的s位梯度直方图，梯度概率密度为：

式中，区域半径为h，目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，s]

构造相似度函数：

其中p(u)，q(u)分别表示候选模型概率密度和目标模型概率密度；

3)利用粒子滤波器获得当前的目标观测值y_k：

根据系统模型x_k＝Ax_k-1+v_k得到粒子的时刻k状态，计算时刻k的颜色概率密度、梯度概率密度；采用相似度函数度量实际目标和候选目标的相似程度，同时自适应分配各特征权重系数，计算粒子权值，获得时刻k的观测值y_k；

4)判断目标是否遮挡：

把目标区域划分为若干个子块，开辟一个大小为l的记忆队列，记忆队列只保存时刻k前面l次正确跟踪的信息，统计出时刻k发生遮挡的子块数目：如果遮挡子块数目≤阈值，认为是部分遮挡，进行步骤5)；如果遮挡子块数目＞阈值，则目标受到遮挡，进入步骤6)；

5)对于时刻k，根据时刻k-1的目标状态和当前目标观测值y_k，进行卡尔曼滤波，计算粒子集的均值

和协方差P_k，根据产生的高斯分布

采样N个粒子，计算每个粒子的权值并做归一化；输出时刻k跟踪结果，对粒子进行编码、选择、交叉、变异，采样新的粒子；

6)对于遮挡目标的各个子块，利用记忆队列的信息进行卡尔曼滤波器预测，获得目标状态，并计算相似程度，如果相似度大于设定阈值，判定目标出现，回到步骤5)，如果小于阈值，继续进行预测；

7)重复步骤3)-6)。

本发明步骤1)中所说的目标状态包括目标中心坐标、速度、宽高、加速度以及宽高变化率；观测值包括目标的中心坐标和宽高。

本发明系统模型中的高斯观测的噪声由粒子滤波器获得。

本发明的基于目标特征和贝叶斯滤波的视觉跟踪方法，通过多信息的融合，可以实现特征间信息的互补，从而目标不易受光照等外界环境以及背景扰动等因素的影响，利用粒子滤波和卡尔曼滤波相结合，使得整个方法的跟踪精度较高，提高了跟踪的性能，并适应多种的复杂环境。

附图说明

图1为本发明方法实现的流程图。

图2为目标跟踪效果分析图，曲线1为目标实际状态，曲线2为本发明的跟踪轨迹。

图3为本发明与粒子滤波、卡尔曼滤波以及目标实际状态的比较图：

图a为X轴的运动轨迹分析，图中，曲线1为目标实际状态，曲线2为粒子滤波方法得到的轨迹，曲线3为卡尔曼滤波方法得到的轨迹，曲线4为本发明方法的轨迹

图b为Y轴的运动轨迹分析，图中，曲线1为目标实际状态，曲线2为粒子滤波方法得到的轨迹，曲线3为卡尔曼滤波方法得到的轨迹，曲线4为本发明方法的轨迹

具体实施方式

下面结合实例对本发明做进一步的详细描述。

以人体跟踪为例，参照图1，基于目标特征和贝叶斯滤波的视觉跟踪方法，包括如下步骤：

1)根据目标实际运动建立系统模型和观测模型；

系统模型x_k＝Ax_k-1+v_k

k时刻目标状态x_k＝(x，y，v_x，v_y，w，h，o_w，o_h，a_x，a_y)^T，其中(x，y)为目标的中心坐标；(v_x，v_y)为目标中心坐标在X轴和Y轴方向上的运动速度；(w，h)为目标区域的宽度和高度；(o_w，o_h)为宽度和高度的变化率；(a_x，a_y)为目标在X轴和Y轴方向上的加速度。

系统状态转移矩阵A为：

$A=\left[\begin{array}{cccccccccc}1& 0& t& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& t& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& t& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0& t\\ 0& 0& 0& 0& 1& 0& t& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& t& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]$

t＝1，表示相邻两帧之间的间隔。v_k为高斯系统噪声。

观测模型y_k＝Hx_k+w_k

k时刻目标观测值y_k＝(x，y，w，h)；

观测矩阵H为：

$H=\left[\begin{array}{cccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& & 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 0\end{array}\right]$

w_k为四维的高斯观测噪声

2)分别计算目标的颜色特征、梯度特征，并构造相似度函数：

计算目标的颜色特征：

将目标区域的颜色信息在红绿蓝空间划分为16×16×16个等级，使用Epanechikov函数作为概率密度的核函数，假设目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，16×16×16]，C_q为归一化常数，则目标区域的颜色概率密度可以表示为：

计算梯度特征：

设I(x，y)表示坐标(x，y)的色度值，将图像通过一个均衡低通的高斯滤波器，分别计算水平和垂直方向上的梯度g_x(x，y)，g_y(x，y)：

$g_x(x,y)=I(x+1,y)-I(x-1,y)\∀x,y$

$g_y(x,y)=I(x,y+1)-I(x,y-1)\∀x,y$

计算I(x，y)的梯度幅度a(x，y)以及方向θ(x，y)：

$a(x,y)=\sqrt{g_x{(x,y)}^2+g_y{(x,y)}^2}$

θ(x，y)＝tan^-1g_y(x，y)/g_x(x，y)

以45°为单位将梯度空间均匀地划为8个区域，以像素点的方向θ(x，y)作为分量和以梯度幅度a(x，y)作为量化值，构建运动目标的8位梯度直方图，梯度概率密度为：

式中，区域半径为h，目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，8]

构造相似度函数：其中p(u)，q(u)分别表示候选模型概率密度和目标模型概率密度；

3)利用粒子滤波器获得当前的目标观测值y_k：

根据系统模型x_k＝Ax_k-1+v_k得到粒子的时刻k状态，计算时刻k的颜色概率密度、梯度概率密度；采用相似度函数度量实际目标和候选目标的相似程度，同时自适应分配各特征权重系数，计算粒子权值，获得时刻k的观测值y_k；

4)判断目标是否遮挡：

把目标区域划分为4个子块，分别标记为block(i)，i＝1，2，3，4，相应的在离目标区域外5个像素处设一个大的窗口，分别产生4个子框，记为frame(i)，i＝1，2，3，4。选取目标的颜色、梯度、小波特征，统计4个子块和相应4个子框在k时刻的特征信息blo_q_u(i，k)和fra_q_u(i，k)，开辟一个大小为3的记忆队列，记忆队列只保存时刻k前面3次正确跟踪的信息，统计出时刻k发生遮挡的子块数目：如果遮挡子块数目≤2，认为是部分遮挡，进行步骤5)；如果遮挡子块数目＞2，则目标受到遮挡，进入步骤6)；

5)对于时刻k，根据时刻k-1的目标状态和当前目标观测值y_k，进行卡尔曼滤波，计算粒子集的均值

和协方差P_k，根据产生的高斯分布采样N个粒子，计算每个粒子的权值并做归一化；输出时刻k跟踪结果，对粒子进行编码、交叉、变异、选择，采样新的粒子。

编码的具体过程为：随机产生M个初始串结构数据，每个串结构数据称为一个个体，M个个体构成了一个群体。以这M个串结构数据作为初始点开始迭代。

交叉的具体过程为：

${\left(x_k^i\right)}^{\′}=\mathrm{\α}{x}_k^i+(1-\mathrm{\α})x_k^j+\mathrm{\η}$

${\left(x_k^j\right)}^{\′}=\mathrm{\α}{x}_k^j+(1-\mathrm{\α})x_k^i+\mathrm{\η}$

式中，α是均匀随机或确定性变量，α～U(0，1)，x_k ^j，x_k ⁱ为种群中的父辈粒子，(x_k ⁱ)′，(x_k ^j)′为产生的新个体，η服从高斯分布。

变异的具体过程为：按照均匀概率分布从区间[0，1]中抽样得到门限值u，u～U(0，1)；根据分布p(x_k|x_k-1 ⁱ)抽样得到新的粒子(x_k ^*)ⁱ，p(x_k|x_k-1 ⁱ)为状态转移概率，即粒子时刻k-1状态x_k-1 ⁱ到时刻k状态x_k的转移概率；令如果u＜α，

否则保留x_k ⁱ。

选择的具体过程为：根据上面的结果，依据相似度大小选择相似度最大的N个粒子。

6)对于遮挡目标的各个子块，利用记忆队列的信息进行卡尔曼滤波器预测，获得目标状态，并计算相似程度，如果相似度大于设定阈值(0.75)，判定目标出现，回到步骤5)，如果小于阈值(0.75)，继续进行预测；

7)重复步骤3)-6)。

图2是上述人体跟踪实例的效果图，实验视频的分辨率为640×480，从该图可以看到，本发明方法得到的估计轨迹与目标运动的真实轨迹吻合程度较高，并且在整个过程中都保持了很高的跟踪精度。整个过程中水平方向的平均误差为1.86个像素位置，垂直方向平均误差为1.6个像素位置。

图3(a)与图3(b)为一实际视频序列水平和垂直方向的跟踪效果对比图，该序列目标的速度、姿态均有变化，同时在目标运动过程中，有目标与景物、目标与目标之间的遮挡。从图3(a)图3(b)可以看出，与其他两种方法相比，本发明的方法明显提高了跟踪的性能，如前所述，本发明的方法考虑了颜色、梯度等多重特征信息的融合，在光照以及背景复杂等情况下仍然有效提取出目标，所以能够更好的保证跟踪性能。

通过图2与图3可以看出，本发明对于跟踪性能有很大提高。无论是光照好坏，目标之间遮挡以及背景扰动等情况下，使用颜色、梯度等特征的目标描述可以实现特征间信息的互补，从而保证获得准确的观测，使得本发明在诸多场景下均有较好的效果。

Claims (3)

1.一种基于目标特征和贝叶斯滤波的视觉跟踪方法，其特征是利用目标的颜色、梯度、小波特征和贝叶斯滤波对视频的目标进行跟踪，包括如下步骤：

1)根据目标实际运动建立系统模型x_k＝Ax_k-1+v_k和观测模型y_k＝Hx_k+w_k；

A为系统状态转移矩阵；v_k为高斯系统噪声，x_k为k时刻目标状态，

H为观测矩阵；w_k为高斯观测噪声，y_k为k时刻目标观测值；

2)分别计算目标的颜色特征、梯度特征，并构造相似度函数：

计算目标的颜色特征：

将目标区域的颜色信息在红绿蓝空间划分为m个等级，使用Epanechikov函数作为概率密度的核函数，假设目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，m]，C_q为归一化常数，则目标区域的颜色概率密度可以表示为：

计算梯度特征：

设I(x，y)表示坐标(x，y)的色度值，将图像通过一个均衡低通的高斯滤波器，分别计算水平和垂直方向上的梯度g_x(x，y)，g_y(x，y)：

$g_x(x,y)=I(x+1,y)-I(x-1,y)\∀x,y$

$g_y(x,y)=I(x,y+1)-I(x,y-1)\∀x,y$

计算I(x，y)的梯度幅度a(x，y)以及方向θ(x，y)：

$a(x,y)=\sqrt{g_x{(x,y)}^2+g_y{(x,y)}^2}$

θ(x，y)＝tan^-1g_y(x，y)/g_x(x，y)

以为单位将梯度空间均匀地划为s个区域，以像素点的方向θ(x，y)作为分量和以梯度幅度a(x，y)作为量化值，构建运动目标的s位梯度直方图，梯度概率密度为：

式中，区域半径为h，目标区域的中心为x₀，区域内像素坐标为x_i，i＝1，2，...n_h，n_h为目标区域内像素的总和，δ()为狄拉克函数，b(x_i)为特征向量映射函数，u∈[1，s]

构造相似度函数：其中p(u)，q(u)分别表示候选模型概率密度和目标模型概率密度；

3)利用粒子滤波器获得当前的目标观测值yk：

根据系统模型x_k＝Ax_k-1+v_k得到粒子的时刻k状态，计算时刻k的颜色概率密度、梯度概率密度；采用相似度函数度量实际目标和候选目标的相似程度，同时自适应分配各特征权重系数，计算粒子权值，获得时刻k的观测值y_k；

4)判断目标是否遮挡：

把目标区域划分为若干个子块，开辟一个大小为l的记忆队列，记忆队列只保存时刻k前面l次正确跟踪的信息，统计出时刻k发生遮挡的子块数目：如果遮挡子块数目≤阈值，认为是部分遮挡，进行步骤5)；如果遮挡子块数目＞阈值，则目标受到遮挡，进入步骤6)；

5)对于时刻k，根据时刻k-1的目标状态和当前目标观测值yk，进行卡尔曼滤波，计算粒子集的均值

和协方差P_k，根据产生的高斯分布采样N个粒子，计算每个粒子的权值并做归一化；输出时刻k跟踪结果，对粒子进行编码、选择、交叉、变异，采样新的粒子；

6)对于遮挡目标的各个子块，利用记忆队列的信息进行卡尔曼滤波器预测，获得目标状态，并计算相似程度，如果相似度大于设定阈值，判定目标出现，回到步骤5)，如果小于阈值，继续进行预测；

7)重复步骤3)-6)。

2.如权利要求1所述的一种基于目标特征和贝叶斯滤波的视觉跟踪方法，其特征在于步骤1)中所说的目标状态包括目标中心坐标、速度、宽高、加速度以及宽高变化率；观测值包括目标的中心坐标和宽高。

3.如权利要求1所述的一种基于目标特征和贝叶斯滤波的视觉跟踪方法，其特征在于，系统模型中的高斯观测的噪声由粒子滤波器获得。

Images