CN102982556B - 基于流形上粒子滤波算法的视频目标跟踪方法 - Google Patents

Abstract

本发明公布了一种基于流形上粒子滤波算法的视频目标跟踪方法，所述方法如下：将视频图像的射影变换构造成矩阵李群；将目标的射影变换参数作为状态变量，建立李群上的状态转移模型；采用协方差描述来表示视频图像中的目标区域；采用李群上的粒子滤波算法，沿流形测地线抽取状态样本；采用内蕴高斯牛顿算法来求解内蕴均值，得到系统的状态估计，完成目标跟踪。本发明能够降低欧式空间的噪声统计特性对权值方差的影响，有助于解决粒子退化问题，提高算法的跟踪精度和鲁棒性。

Description

基于流形上粒子滤波算法的视频目标跟踪方法

技术领域

本发明涉及视觉目标跟踪系统中，应用流形上的粒子滤波方法来跟踪视频图像中的目标，属于非线性系统滤波和视觉图像处理技术领域。

背景技术

视觉跟踪是实现智能监控的关键技术，融合了图像处理、模式识别、人工智能、自动控制以及计算机等若干领域的先进技术，并在军事视觉制导、视频监控、机器人视觉导航、医疗诊断以及气象分析等方面都有广泛应用。

目前常用的视觉跟踪方法一般可分为5种：基于区域的跟踪、基于动态轮廓的跟踪、基于特征的跟踪、基于模型的跟踪以及基于运动估计的跟踪。最常用的方法是在目标区域内为图像运动建立仿射模型、投影模型等几何参数模型，应用Lucas-Kanade跟踪器、均值漂移跟踪器，通过梯度下降法最小化模板和当前图像区域之间的偏差来得到模型参数，但这些方法易收敛于局部极小值，对背景干扰、杂波、遮挡、快速移动等比较敏感。

基于运动估计的跟踪可以将目标跟踪问题转换为贝叶斯估计问题，由于不受先验分布以及状态转移模型的限制，可以轻易地对目标的尺度进行估计，因此近年来粒子滤波在视觉跟踪中获得了广泛应用，成为视觉目标跟踪的主要研究方向之一。但是该方法目前仍然存在一些技术难点：粒子退化、光照、遮挡、目标姿态的变化以及噪声的影响，这些因素均会导致跟踪效果变差；目标的快速移动、多目标跟踪要求粒子滤波采用大量的粒子，算法的计算代价很大；同时图像的数据量大，使跟踪系统的输入成为高维向量，而实时性要求对跟踪方法的复杂度又有一定限制，这是一个两难问题。因此基于粒子滤波的视觉跟踪仍然是一个值得深入研究的课题。

粒子滤波虽然可以适用于所有的非线性非高斯系统，不受噪声性质的限制，但是现有的粒子滤波算法都是在欧式空间进行的，当应用粒子滤波算法对高维系统以及多目标进行跟踪时，同样会遇到“维数灾难”问题。

进行视觉跟踪时，观测噪声的协方差很可能是未知的、时变的，或者当使用协方差矩阵表达图像中的目标区域，在进行图像匹配时，需要计算两个图像区域协方差矩阵的差异，由于协方差是正定矩阵，所有的正定矩阵构成一个黎曼流形，因此此时不适宜用欧式空间的方法跟踪，必须利用正定矩阵的空间微分几何特性，构造更有效的算法。

目前视觉跟踪中的微分几何方法主要是为了降低算法的计算复杂度，通过等距映射（ISOMAP）、局部线性嵌入（LLE）等流形学习对非线性视频数据集降维后再应用粒子滤波。这方面的研究成果较多。

发明内容

本发明的目的在于，针对背景技术中描述的现有目标跟踪方法存在的缺陷和不足，提出一种基于流形上粒子滤波算法的视频目标跟踪方法。

基于流形上粒子滤波算法的视频目标跟踪方法如下：将视频图像的射影变换构造成矩阵李群；将目标的射影变换参数作为状态变量，建立李群上的状态转移模型；采用协方差描述来表示视频图像中的目标区域；采用李群上的粒子滤波算法，沿流形测地线抽取状态样本；采用内蕴高斯牛顿算法来求解内蕴均值，得到系统的状态估计，完成目标跟踪。

所述建立李群上的状态转移模型的方法如下：

用x_k表示k时刻目标的状态向量，Z_1∶k={Z₁，Z₂，…Z_k}表示直到k时刻为止观测到的图像序列，用v_k表示从k-1时刻的观测图像Z_k-1到k时刻的观测图像Z_k之间的运动速度，得到状态转移模型为： $\left\{\begin{array}{c}{x}_k=x_{k-1}\exp \left(v_{k-1}\right)\\ v_k=v_{k-1}+{\mathrm{\η}}_{k-1}\end{array}\right.,$ 其中η_k-1表示随机噪声。

所述采用李群上的粒子滤波算法，沿流形测地线抽取状态样本的方法如下：

初始化：由先验概率p(x₀)产生粒子集所有粒子权值为

预测：给定v_k，在李群流形的左不变向量空间上采样得到样本然后根据系统的动态模型，应用指数映射将样本映射为状态向量样本即粒子从而得到流形上的一条测地线，该测地线起始于是测地线的端点，实现在流形测地线上抽取样本。

所述采用内蕴高斯牛顿算法来求解内蕴均值的方法如下：

x∈G，其中xⁱ表示在流行上采样得到的粒子，x位于李群G上，d表示两个李代数元素之间的测地线距离，表示粒子的总个数。

本发明李群是嵌入在欧式空间中的低维微分流形，选取目标射影变换参数作为状态向量，充分利用射影变换参数的李群结构，直接在低维流形上实现状态采样，降低了目标跟踪系统的维数，从而有效解决粒子滤波的“维数灾难”问题，提高粒子滤波的实时性和鲁棒性；在流形上计算样本内蕴均值，得到系统的状态估计，能够降低欧式空间的噪声统计特性对权值方差的影响，有助于解决粒子退化问题，提高算法的跟踪精度和鲁棒性。

附图说明

图1：2维仿射群中每个李代数的基本元素所对应的视频图像中目标的几何形变示意图，图中：E₁表示图像的压缩或者伸展，E₂表示图像拉伸，E₃表示图像左右旋转，E₄表示图像的形变，E₅表示图像的上下平移，E₆表示图像左右平移；

图2：流形及其在点x处的切平面；

图3：在流形上的测地线上进行采样的示意图。

具体实施方式

1、李群上的流形粒子滤波算法

1）将射影变换表示为李群

在视觉目标跟踪中，用图像区域，即目标模板来表示感兴趣的目标。如果通过寻找和目标模板匹配的方法来跟踪图像帧中的目标，目标图像区域的几何形变可以表示为一个射影变换，而2维射影变换矩阵是李群的一个元素，而不是一个向量空间。图1给出了2维仿射群中每个李代数的基本元素所对应的视频图像中目标的几何形变，其中E₁表示图像的压缩或者伸展，E₂表示图像拉伸，E₃表示图像左右旋转，E₄表示图像的形变，E₅表示图像的上下平移，E₆表示图像左右平移。运动目标的射影变换模型用矩阵表示为 $\left[\begin{array}{cc}A& t\\ v& 1\end{array}\right],$ 共有8个参数，其中A为二阶可逆矩阵，表示目标的尺度变化等形变，即E₁--E₆，t是平移向量，[v1]^T是无穷远直线的投影。将射影变换群正则化，使其行列式值为单位1，得到特殊线性群SL(3，R)，即李群G的子群。

2）状态模型

图2所示是一个嵌入到3维欧式空间中的2维流形G，图中T_x表示切空间，它是流形上的点x处的切平面。切空间可以看作是流形上的点在流形上运动的一组容许速度。实线箭头Δ表示点x处的切线。流形上两点之间的距离由这两点之间的曲线的长度表示，具有最短距离的曲线就是流形上的测地线，而测地线长度是内蕴距离。对于每一个切线Δ∈T_x，都有一个唯一的起始于点x的，具有初始速度Δ的测地线。指数映射exp_x将Δ映射到流形上测地线的端点。

选取目标的射影变换参数作为系统的状态，用x_k表示k时刻目标的状态向量，Z_1∶k={Z₁，Z₂，…Z_k}表示直到k时刻为止观测到的图像序列，为了得到李群流形上的系统动态模型，按照图2给出的示意，状态向量应该是李群G上的左不变向量（切空间中的向量），用v_k表示从k-1时刻的观测图像Z_k-1到k时刻的观测图像Z_k之间的运动速度（图像的运动），得到状态转移模型为： $\left\{\begin{array}{c}{x}_k=x_{k-1}\exp \left(v_{k-1}\right)\\ v_k=v_{k-1}+{\mathrm{\η}}_{k-1}\end{array}\right.,$ 其中η_k-1表示随机噪声。

3）观测模型

采用协方差描述子来表示图像中的目标区域。对于一副二维图像，假设图像中的目标区域大小（行和列）为M×N，每个像素点生成一个d维的特征向量hk，则目标区域的协方差矩阵可表示为：其中通过计算模板区域的协方差阵和实时图像帧目标区域的协方差阵之间的相关性，得到观测模型的似然函数。

4）李群流形上的粒子滤波算法

根据观测到的图像序列，应用粒子滤波算法估计运动目标的射影参数（状态向量）。

Step1：初始化：由先验概率p(x₀)产生粒子集所有粒子权值为

Step2：预测：图3给出了沿测地线进行采样的示意图。给定v_k，在李群流形的左不变向量空间（切空间）上采样得到样本然后根据系统的动态模型，应用指数映射将样本映射为状态向量样本（即粒子）从而得到流形上的一条测地线，该测地线起始于是测地线的端点，实现在流形测地线上抽取样本；

Step3：重要性权值计算：根据观测模型的似然函数计算粒子权值并归一化；

Step4：若有必要则进行重采样。

Step5：计算加权粒子的均值，得到系统的状态估计。根据微分几何知识，李群流形的内蕴均值计算公式为：x∈G，其中xⁱ表示在流行上采样得到的粒子，x位于李群G上，d表示两个李代数元素之间的测地线距离，这是一个流形上的约束优化问题，类比欧式空间中的优化算法，可以构造内蕴优化算法，本项目采用内蕴高斯牛顿算法来求解内蕴均值。

Step6：返回Step2，进行迭代运算。

现有的粒子滤波算法都是在欧式空间进行的，而视觉跟踪的状态空间模型可以应用微分几何工具来描述。在视觉跟踪中需要估计图像中运动物体的姿态，如果物体是刚性的，其姿态可描述为李群SE(3)中的轨迹；目标的形变、平移以及摄像机的运动等可以用仿射变换和投影变换来表示，如果目标的辨识保持不变，其表观的改变是由于传感器方向的改变、光照的改变和目标的移动等引起的，则视觉跟踪问题可以简化为计算空间几何参数，而仿射或射影参数向量并不属于向量空间，而是属于李群。

本发明通过射影变换来表示视觉目标跟踪中图像的伸缩、平移、形变等变化，应用微分几何数学工具，将图像的射影变换构造成矩阵李群，将目标的射影变换参数作为状态变量，建立李群上的状态转移模型，研究李群上的粒子滤波算法，沿流形测地线抽取状态样本。粒子滤波算法在估计状态时需要求加权粒子的均值，由于空间几何结构以及度量的变化，欧式空间中求解平均值的方法不再适用于李群，它涉及到流形上的约束优化问题，应用流形上的最优化算法求解流形的内蕴均值，实现状态估计。

与应用流形学习算法降维的思路不同，本发明将视觉目标跟踪问题转化为参数定义在流形上的非线性动力学模型的状态估计问题，考虑直接将视觉跟踪系统的状态模型建立在流形上，在系统的状态方程中引入与状态空间的几何结构有关的度量，研究流形上的粒子滤波算法，充分利用状态空间的内蕴几何特性，为解决粒子退化问题，提高跟踪算法的效率和鲁棒性提供一种新的思路，在目标发生尺度变化、旋转等几何形变以及多目标等情况下仍然能够很好地实现跟踪。

Claims (1)

1.一种基于流形上粒子滤波算法的视频目标跟踪方法，其特征在于所述方法如下：将视频图像的射影变换构造成矩阵李群；将目标的射影变换参数作为状态变量，建立李群上的状态转移模型；采用协方差描述来表示视频图像中的目标区域；采用李群上的粒子滤波算法，沿流形测地线抽取状态样本；采用内蕴高斯牛顿算法来求解内蕴均值，得到系统的状态估计，完成目标跟踪；其中，

所述射影变换的模型用矩阵表示为共有8个参数，其中A为二阶可逆矩阵，表示目标的尺度变化形变，t是平移向量，[v1]^T是无穷远直线的投影；

所述建立李群上的状态转移模型的方法如下：

用x_k表示k时刻目标的状态向量，Z_1:k＝{Z₁,Z₂,…Z_k}表示直到k时刻为止观测到的图像序列，用v_k表示从k-1时刻的观测图像Z_k-1到k时刻的观测图像Z_k之间的运动速度，得到状态转移模型为： $\left\{\begin{array}{c}{x}_k=x_{k-1}\exp \left(v_{k-1}\right)\\ v_k=v_{k-1}+{\mathrm{\η}}_{k-1}\end{array}\right.,$ 其中η_k-1表示随机噪声；

所述采用李群上的粒子滤波算法，沿流形测地线抽取状态样本的方法如下：

初始化：由先验概率p(x₀)产生粒子集所有粒子权值为

预测：给定v_k在李群流形的左不变向量空间上采样得到样本然后根据系统的动态模型，应用指数映射将样本映射为状态向量样本即粒子从而得到流形上的一条测地线，该测地线起始于是测地线的端点，实现在流形测地线上抽取样本；

所述采用内蕴高斯牛顿算法来求解内蕴均值的方法如下：

x∈G，其中xⁱ表示在流形上采样得到的粒子，x位于李群G上，d表示两个李代数元素之间的测地线距离，N_s表示粒子的总个数。