CN104616324B - 基于自适应表观模型和点‑集距离度量学习的目标跟踪方法 - Google Patents

Abstract

基于自适应表观模型和点‑集距离度量学习的目标跟踪方法，涉及计算机视觉技术。首先利用收集到的目标模板和由这些目标模板的正则化仿射组合进行目标表示，同时学习一个点‑集距离度量矩阵，并将该点‑集距离度量矩阵整合在表观模型建立过程中，在粒子滤波框架下进行目标跟踪。根据一个生成式跟踪算法，给出一个基于目标模板集和正则化仿射包的自适应目标表观模型。该正则化仿射包由模板集中的目标模板的仿射连接生成。同时，学习一个点‑集距离度量矩阵，并整合该矩阵在目标表示优化过程中，从而获得一个自适应的目标表观模型。在线学习的点‑集距离度量用来测量一个目标候选块与目标模板集之间的距离。具有很好的跟踪效果和鲁棒性。

Description

基于自适应表观模型和点-集距离度量学习的目标跟踪方法

技术领域

本发明涉及计算机视觉技术，具体是涉及一种基于自适应表观模型和点-集距离度量学习的目标跟踪方法。

背景技术

计算机视觉最初于上世纪60年代从数字图像领域分离开来，成为一个热门的研究方向，目前已广泛地应用于视频监控、人机交互、车辆导航、医疗诊断等诸多领域中。其中，目标跟踪是计算机视觉中的一项关键技术，同时它也是行为识别、目标理解等更高级视觉任务的基础。因此，对计算机视觉中的目标跟踪技术进行深入研究，不断提升跟踪的准确率和成功率，具有重要的理论意义和现实意义。目标跟踪近几年发展很快，许多鲁棒的算法被提出，这些算法在处理表观变化、遮挡和光照等方面有一定的效果。然而，以上诸多因素和重大表观变化等的影响，设计一个鲁棒的跟踪算法仍然是一个挑战性的任务。

一般地，目标跟踪算法可分成生成式和判别式两种。生成式算法在跟踪中是通过搜索与目标表观模型最相似的图像块进行目标定位。而判别式算法将跟踪看成一个二分类问题，在跟踪过程是通过学习一个分类器，将目标从相关的背景区域中区分开来。对于生成式跟踪算法，设计一个鲁棒的表观模型是关键，该表观模型对于因旋转、遮挡、光照和尺度等变化影响的表观变化应用较好的鲁棒性。目前，许多跟踪算法使用目标模板集建立目标表观模型。

距离度量学习作为一个有效的技术被成功地应用在目标跟踪中，在线学习的距离度量矩阵用来度量目标候选块与目标模板(集)之间的距离。然而，目前的这些跟踪算法通常是基于点-点距离度量学习方法。点-点距离度量方法一般不能直接测量一个目标候选块到目标模板集之间的距离。

最近，一些基于点-集距离度量算法被提出，并被应用在图像分类、人脸识别等任务中，具有较好的实验效果。在这些算法中，一个图像集被表示为一个仿射包或者凸包。

发明内容

本发明的目的在于提供基于自适应表观模型和点-集距离度量学习的目标跟踪方法。

本发明包括以下步骤：

1)输入视频序列的第一帧F₁，初始化目标模板字典D₁＝[d₁,d₂,…,d_n]和目标模板的权重其中n为目标模板的个数，d_i表示目标模板对应的特征向量，表示目标模板的权重，i＝1,2,…,n为目标模板的个数；利用粒子滤波框架，初始化m个粒子 每个粒子的权重为选取正、负学习样本S₊、S_-，利用S₊和S_-进行点-集距离度量矩阵学习(具体学习过程同步骤7)，得到一个点-集距离度量矩阵M₁；

2)读入当前帧的视频图像F_t，利用粒子滤波框架的运动模型p(x_t|x_t-1)，生成m个粒子(也就是目标候选块)

3)获取每个粒子对应的图像块并提取该图像块的稀疏编码特征提取该特征用K-SVD算法学习得到一个稀疏编码字典，利用稀疏编码字典提取图像块中每个像素的稀疏编码特征，将所有的稀疏编码特征进行统计得到该图像块的稀疏编码直方图(Histograms of Sparse Codes,HSC),也就是该图像块的稀疏编码特征。

4)基于目标模板D_t-1和在线学习得到的点-集距离度量矩阵M_t-1，计算每个粒子的观察概率

在这里，

在这里，L^TL＝M_t-1；并更新粒子的权重

5)结合粒子和粒子权重定位当前帧的目标位置

6)更新目标模板集得到当前的模板集D_t；

7)根据当前帧的跟踪结果选取正、负学习样本S₊、S_-；

使用表示一个样本向量，l(s_i)表示样本s_i的类别，S_c表示样本类别为c的所用样本的集合，这里c＝±1，+1表示正样本，-1表示负样本，表示所有类别为l(s_i)的样本中除了s_i以外的所用样本的集合；

使用以上选取的正、负样本，生成一组正样本对和一组负样本对

在这里正样本的类别表示为+1，负样本对表示为-1；

利用正、负样本对进行距离度量矩阵学习，得到一个点-集距离度量矩阵M_t；

8)在粒子滤波框架下，根据粒子状态转换p(x_t|x_t-1)进行粒子传播和重采样；

9)不断重复步骤2)到步骤9)的过程，从而得到目标在每帧图像中状态

在步骤3)中，所述稀疏编码字典的每个元素为5×5的图像，字典中包含50个元素。

在步骤6)中，所述更新目标模板集得到当前的模板集D_t的具体方法可为：

(1)根据当前帧被估计的目标状态获取相应的图像块并提取对应的HSC特征y_t；

(2)计算目标系数向量通过以下公式：

在这里，L^TL＝M_t-1；

(3)利用目标系数向量当前被估计的y_t和目标模板集D_t-1＝[d₁,d₂,…,d_n]，更新目标模板的权重

Ω_t←Ω_t-1/sum(Ω_t-1)，

D_t＝[d₁,…,d_h-1,y_t,d_h+1,…,d_n]。

在步骤7)中，所述点-集距离度量矩阵更新方式为：

在上式中，μ_i ⁺、μ_i ^-分别是C_i ⁺和C_i ^-的权重，它们可以通过LIBSVM进行求解得到。

本发明首先利用收集到的目标模板和由这些目标模板的正则化仿射组合进行目标表示，同时学习一个点-集距离度量矩阵，并将该点-集距离度量矩阵整合在表观模型建立过程中，在粒子滤波框架下进行目标跟踪。

本发明根据一个生成式跟踪算法，给出一个基于目标模板集和正则化仿射包的自适应目标表观模型。该正则化仿射包由模板集中的目标模板的仿射连接生成。同时，学习一个点-集距离度量矩阵，并整合该矩阵在目标表示优化过程中，从而获得一个自适应的目标表观模型。在线学习的点-集距离度量用来测量一个目标候选块与目标模板集之间的距离。本发明所涉及的跟踪方法具有很好的跟踪效果和鲁棒性。

具体实施方式

以下实施例对本发明的方法做详细说明，本实施例在本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例包括以下步骤：

S1.输入视频序列的的第一帧F₁，初始化目标模板字典D₁＝[d₁,d₂,…,d_n]和目标模板的权重当n为目标模板的个数，d_i表示目标模板对应的特征向量，表示目标模板的权重，i＝1,2,…,n为目标模板的个数；利用粒子滤波框架，初始化m个粒子 每个粒子的权重为选取正、负学习样本S₊、S_-，利用S₊和S_-进行点-集距离度量矩阵学习(具体学习过程同步骤S7)，得到一个点-集距离度量矩阵M₁。

S101.输入视频序列的第一帧F₁，手动选定被跟踪目标d₁，然后在被选定的目标中心周围扰动几个像素，生成一组与被选定目标相同大小的图像块d₂,…,d_n，由这些图像块生成初始的目标模板集D₁＝[d₁,d₂,…,d_n]。并给每个目标模板相应的权重当n为目标模板的个数，d_i表示目标模板对应的特征向量，表示目标模板的权重，i＝1,2,…，n为目标模板的个数；

S102.利用粒子滤波框架，初始化m个粒子每个粒子的权重为

S103.选取正、负学习样本S₊、S_-，在这里，采用基于空间距离机制进行正、负样本的选取，也就是选取一些距离目标中心较近的图像块作为正样本，选取一些较远的图像块作为负样本。利用S₊和S_-进行点-集距离度量矩阵学习(具体学习过程同步骤S7)，得到一个点-集距离度量矩阵M₁。

S2.读入当前帧的视频图像F_t，利用粒子滤波框架的运动模型p(x_t|x_t-1)，生成m个粒子(也就是目标候选块)

S3.获取每个粒子对应的图像块并提取该图像块的稀疏编码特征提取该特征用K-SVD算法学习得到一个稀疏编码字典，利用该字典提取图像块中每个像素的稀疏编码特征，将所有的稀疏编码特征进行统计得到该图像块的稀疏编码直方图(Histograms ofSparse Codes,HSC),也就是该图像块的稀疏编码特征。

S301.获取每个粒子对应的图像块，利用K-SVD算法学习一个稀疏编码字典；

S302.利用步骤S301所得到的稀疏编码字典，获取粒子对应的图像块中每个像素的稀疏编码，将得到的稀疏编码进行统计得到稀疏编码的直方图(即Histograms ofSparse Codes,HSC),从而得到图像块的HSC特征；

S303.在学习稀疏表示的过程中，稀疏字典的每个元素为5×5的图像，字典中包含50个元素；

S4.基于目标模板D_t-1和在线学习得到的点-集距离度量矩阵M_t-1，计算每个粒子的

观察概率

在这里，

在这里，L^TL＝M_t-1；并更新粒子的权重

S5.结合粒子和粒子权重定位当前帧的目标位置

S6.更新目标模板集得到当前的模板集D_t。

S601.根据当前帧被估计的目标状态获取相应的图像块并提取对应的HSC特征y_t；

S602.计算目标系数向量通过以下公式：

在这里，L^TL＝M_t-1；

S603.利用目标系数向量当前被估计的y_t和目标模板集D_t-1＝[d₁,d₂,…,d_n]，更新目标模板的权重

Ω_t←Ω_t-1/sum(Ω_t-1)，

D_t＝[d₁,…,d_h-1,y_t,d_h+1,…,d_n].

S7.根据当前帧的跟踪结果选取正、负学习样本S₊、S_-。

使用表示一个样本向量，l(s_i)表示样本s_i的类别，S_c表示样本类别为c的所用样本的集合，这里c＝±1，+1表示正样本，-1表示负样本。表示所有类别为l(s_i)的样本中除了s_i以外的所用样本的集合。

使用以上选取的正、负样本，生成一组正样本对和一组负样本对

在这里正样本的类别表示为+1，负样本对表示为-1；

利用正、负样本对进行距离度量矩阵学习，得到一个点-集距离度量矩阵M_t。

S701.基于当前帧的跟踪结果采用基于空间距离机制进行正、负样本的选取，选取一组正样本S₊和一组负样本S_-，使用表示一个样本向量，l(s_i)表示样本s_i的类别，c＝±1，+1表示正样本，-1表示负样本；

S702.S_c表示样本类别为c的所用样本的集合，表示所有类别为l(s_i)的样本中除了s_i以外的所用样本的集合；使用以上选取的正、负样本，生成一组正样本对和一组负样本对在这里 正样本的类别表示为+1，负样本对表示为-1；

S703.在点-集距离度量学习过程中，正、负样本对和度量矩阵交替进行更新。点-集距离度量矩阵更新方式为：

在上式中，μ_i ⁺、μ_i ^-分别是C_i ⁺和C_i ^-的权重，它们可以通过LIBSVM进行求解得到。

S8.在粒子滤波框架下，根据粒子状态转换p(x_t|x_t-1)进行粒子传播和重采样。

S9.不断重复步骤S2到步骤S9的过程，从而得到目标在每帧图像中状态

Claims (4)

1.基于自适应表观模型和点-集距离度量学习的目标跟踪方法，其特征在于包括以下步骤：

1)获得度量矩阵的方法为输入视频序列的第一帧F₁，初始化目标模板字典D₁＝[d₁,d₂,…,d_n]和目标模板的权重其中i＝1,2,…,n为目标模板的个数，d_i表示目标模板对应的特征向量，表示目标模板的权重；利用粒子滤波框架，初始化m个粒子每个粒子的权重为选取正、负学习样本S₊、S_-，利用S₊和S_-进行点-集距离度量矩阵学习，得到一个点-集距离度量矩阵M₁；

2)读入当前帧的视频图像F_t，利用粒子滤波框架的运动模型p(x_t|x_t-1)生成m个粒子

3)获取每个粒子对应的图像块并提取该图像块的稀疏编码特征提取该特征用K-SVD算法学习得到一个稀疏编码字典，利用稀疏编码字典提取图像块中每个像素的稀疏编码特征，将所有的稀疏编码特征进行统计得到该图像块的稀疏编码直方图,也就是该图像块的稀疏编码特征；

4)基于目标模板字典D_t-1和在线学习得到的点-集距离度量矩阵M_t-1，计算每个粒子的观察概率

$p\left(y_t^j\right|x_t^j)\∝\exp \{-\mathrm{\σ}\left(d_{M_{t-1}}\right(y_t,D_{t-1}\left)\right)\},$

$d_{M_{t-1}}(y_t^j,D_{t-1}\widehat{\mathrm{\α}})={(y_t^j-D_{t-1}\widehat{\mathrm{\α}})}^T{M}_{t-1}(y_t^j-D_{t-1}\widehat{\mathrm{\α}}),$

$\begin{array}{cc}\widehat{\mathrm{\α}}={\min }_{\mathrm{\α}}\left|\right|{\mathrm{Ly}}_t-{\mathrm{LD}}_{t-1}\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_2^2,& s.t.\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i=1;\end{array}$

L^TL＝M_t-1，并更新粒子的权重y_t为图像块HSC特征；

5)结合粒子和粒子权重定位当前帧的目标位置

6)更新目标模板字典得到当前的模板字典D_t；

7)根据当前帧的目标位置选取正、负学习样本S₊、S_-；

使用表示一个样本向量，l(s_i)表示样本s_i的类别，S_c表示样本类别为c的所有样本的集合，这里c＝±1，+1表示正样本，-1表示负样本，表示所有类别为l(s_i)的样本中除了s_i以外的所有样本的集合；

使用以上选取的正、负样本，生成一组正样本对和一组负样本对在这里 其中M为点-集距离度量矩阵，I为单位矩阵用于组成正则项；

利用正、负样本对进行距离度量矩阵学习，得到一个点-集距离度量矩阵M_t，从而实现点-集距离度量矩阵更新；

8)在粒子滤波框架下，根据运动模型p(x_t|x_t-1)进行粒子传播和重采样；

9)不断重复步骤2)到步骤9)的过程，从而得到目标在每帧图像中的目标位置

2.如权利要求1所述基于自适应表观模型和点-集距离度量学习的目标跟踪方法，其特征在于在步骤3)中，所述稀疏编码字典的每个元素为5×5的图像，字典中包含50个元素。

3.如权利要求1所述基于自适应表观模型和点-集距离度量学习的目标跟踪方法，其特征在于在步骤6)中，所述更新目标模板字典得到当前的模板字典D_t的具体方法为：

(1)根据当前帧被估计的目标位置获取相应的图像块并提取对应的HSC特征y_t；

(2)利用目标系数向量当前被估计的y_t和目标模板字典D_t-1＝[d₁,d₂,…,d_n]，更新目标模板的权重

Ω_t＝Ω_t-1/sum(Ω_t-1)，

D_t＝[d₁,…,d_h-1,y_t,d_h+1,…,d_n]。

4.如权利要求1所述基于自适应表观模型和点-集距离度量学习的目标跟踪方法，其特征在于在步骤7)中，所述点-集距离度量矩阵更新的方式为：

$M=\underset{i=1}{\overset{b}{\Σ}}({{\mathrm{\μ}}_i}^{-}{C_i}^{-}-{{\mathrm{\μ}}_i}^{+}{C_i}^{+}),$

在上式中， μ_i ⁺、μ_i ^-分别是C_i ⁺和C_i ^-的权重，通过LIBSVM进行求解得到。