CN103237197A - 用于鲁棒跟踪的自适应多特征融合的方法 - Google Patents

Abstract

一种用于鲁棒跟踪的自适应多特征融合的方法，包括步骤：特征结构初始化；分别计算梯度直方图HOG特征、局部二值模式LBP特征、颜色直方图特征；利用增量式主成分分析IPCA算法计算特征的主分量，并得到特征的稳定性表征；更新子特征权重；根据粒子滤波的跟踪结果，计算子特征的更新率。本发明目标特征用梯度信息，纹理信息和颜色信息共同表达，复杂场景下提高了特征的描述能力。根据不同子特征在跟踪中不同的稳定性，实时更新其权重，提高融合后的特征的稳定性。本发明计算量小，可以满足实时性要求。

Description

用于鲁棒跟踪的自适应多特征融合的方法

技术领域

本发明涉及视频监控与模式识别领域，特别涉及一种用于鲁棒跟踪的自适应多特征融合的方法。

背景技术

智能视频监控(IVS：Intelligent Video Surveillance)是计算机视觉领域中近几年来新兴起的一个应用方向。它是利用计算机视觉技术对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而提高视频监控系统智能化水平。智能视频监控系统在民用和军事领域中都有极大的应用前景。目前虽然在银行、商店、车站、港口等一些重要的公共场合所普遍设了监控摄像机，但实际的监控任务仍需要较多的人工工作来完成。很多情况下，目前的视频监控系统所提供的信息是没有经过任何分析的视频裸数据，这就不能充分发挥视频监控系统应有的实时主动的监控作用。另一方面，为了防止和阻止犯罪，对无人值守的视频监控系统的需求量日益上升，这类系统的主要目标是减少对繁琐人工的依赖，自动完成对复杂环境中人和车辆等进行实时观测以及对感兴趣的对象行为进行分析和描述。要完成这些任务，需要涉及到智能视频监控中许多核心技术，如：背景分析、对象提取、对象描述、对象跟踪、对象识别和对象行为分析。

对象跟踪技术作为智能视频监控技术中的关键技术之一，成为研究热点。近些年来学者们把研究重点放在解决跟踪技术中的表观变化、遮挡、复杂背景和光照变化等问题上，不少方法已经提出。如自适应模型的方法(Z.Kalal，K.Mikolajczyk，and J.Matas，“Tracking-learning-detection，”PAMI，vol.34(7)，July2012；H.Grabner，C.Leistner，and H.Bischof，“Semi-supervisedon-line boosting for robust tracking，”ECCV，2008)，但是这些更新模型的方法都假设上一帧图像的检测以及跟踪是正确的，显然这样的更新方法难以保证跟踪的准确性；另外还有多特征结合的方法(J.Kwon and K.M.Lee，“Tracking by sampling track-ers，”ICCV，2011；G.Shu，A.Dehghan，O.Oreifej，E.Hand，and M.Shah，“Part-based multiple-person tracking with partialocclu-sion handling，”CVPR，2012)。多特征融合的方法虽然比单特征在跟踪中表现好，但多特征如何去融合，如何决定哪种特征在跟踪中起着重要作用成为了大问题。因此一种自适应多特征融合的方法急需提出。

发明内容

本发明的目的是发明一种用于鲁棒跟踪的自适应多特征融合的方法。

为了实现上述目的，一种用于鲁棒跟踪的自适应多特征融合的方法包括步骤：

特征结构初始化；

分别计算梯度直方图HOG特征、局部二值模式LBP特征、颜色直方图特征；

利用增量式主成分分析IPCA算法计算特征的主分量，并得到特征的稳定性表征；

更新子特征权重；

根据粒子滤波的跟踪结果，计算子特征的更新率。

本发明目标特征用梯度信息，纹理信息和颜色信息共同表达，复杂场景下提高了特征的描述能力。根据不同子特征在跟踪中不同的稳定性，实时更新其权重，提高融合后的特征的稳定性。本发明计算量小，可以满足实时性要求。

附图说明

图1是本发明技术方案流程图；

图2是特征不变性表征的计算流程图。

具体实施方式

本发明的思想要点是：1)多特征融合方法，提升特征的描述能力，增强算法对场景的变化的适应性。2)利用个子特征的稳定性，实时更新各个特征的权重，得到稳定的融合特征。3)根据目标跟踪结果，调整子特征权重的更新率。本发明的整个技术方案流程图如附图1所示。下面对发明中所涉及到的技术细节予以说明。

1.特征结构初始化

我们通过融合HOG特征、LBP特征和颜色直方图特征，来完成对目标特征的描述。目标特征用式(1)表示：

F＝{n|w_if_i，i＝1，....，n}    (1)

其中n指特征个数为3，w_i为第i个特征的权重，

初始化w_i＝1/n，f_i为第i个子特征，且每个子特征的维数为D，D＝256。

2.计算梯度直方图(HOG)特征、局部二值模式(LBP)特征、颜色直方图特征

HOG特征(N.Dalal，B.Triggs.“Histograms of OrientedGradients for Human Detection”，CVPR，Vol.1，2005)，体现目标的边缘梯度特征，我们将目标区间重采样为24*40，每个块为32维向量，则区域HOG特征为256维向量；LBP特征(T.Ojala，M.Pietikainen，T.Maenaa.“Multiresolution gray-scale androtation invariant texture classification with local binarypatterns”，TPAMI，Vol.24，2002)，体现目标的纹理特征，使用原始的二值模式直方图，为256维向量；颜色直方图特征体现目标的颜色特征，将原始RGB彩色图像，转换到HSV色彩空间，统计H通道的颜色直方图，也是256维向量。

3.利用增量式主成分分析(IPCA)算法计算特征的主分量，并得到特征的稳定性表征

每种子特征都有其特定的使用场景，因此我们利用特征挖掘的思想，使子特征权重随着场景的变化而改变。在子特征比重的更新过程中我们利用IPCA对之前的场景进行学习，并与当前帧比较，获得从而确定新一帧的子特征权值变化。每种子特征的特征不变性表征的计算流程图如图2，计算步骤如下：

步骤1：初始化特征向量矩阵。

对前t(t＝20)帧图像中的每一帧图像，通过尺度变换、旋转变换获得更多的样本图像，这里我们使用5种尺度{0.25，0.5，1，2，4}、5种旋转角度{-10°，-5°，0°，5°，10°}，从而获得Q＝t*25幅图像，并计算每一幅图像的子特征，用式(2)表示。

$X=(x_1,...,x_Q)\⋐R^{D*Q}---\left(2\right)$

x_i为第i幅图像的某个子特征的D维特征向量。

通过计算矩阵X的协方差矩阵，把协方差矩阵的特征向量矩阵作为初始化的特征向量矩阵，用式(3)表示。

$U=(u_1,...,u_D)\⋐R^{D*D}---\left(3\right)$

步骤2：利用IPCA计算特征向量，这样可以省去每次计算协方差矩阵的时间与空间的消耗。如式(4)

$v\left(N\right)=(1-\mathrm{\α})v(N-1)+\mathrm{\α}{x}_N{x}_N^T\frac{v(N-1)}{\left|\right|v(N-1)\left|\right|}---\left(4\right)$

v(N)为特征向量，N为采样点索引，且v_i(0)＝u_i，α为更新率，计算方法见式(11)，x_N为当前采样点图像(当前帧图像)某个子特征的D维特征向量。

步骤3：计算特征值(λ₁，...，λ_D)，λ_i＝||v_i(N)||和特征值相对应的特征向量(u1，...，u_D)，u_i＝v_i(N)，并通过式(5)筛选前d(d＜D)个主要特征值如式(6)，以及特征值相对应的特征向量如式(7)。

$d=\arg \underset{d}{\min }(\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\mathrm{\λ}}_i>\mathrm{\β})---\left(5\right)$

$\mathrm{\Λ}=({\mathrm{\λ}}_i,...,{\mathrm{\λ}}_d)\⋐R^{d*1}---\left(6\right)$

$V=(u_i,...,u_d)\⋐R^{D*d}---\left(7\right)$

β为筛选前d个特征的阈值，且β＝0.9。

步骤4：计算特征不变性表征。通过步骤3计算得到的特征向量V，利用式(8)将当前帧图像t+1的D维子特征向量投影到d维的子特征空间Γ中，并利用相关系数作为相似度测量，获得特征的稳定性表征S^t+1(Λ，Γ)，如式(9)。

$\mathrm{\Γ}=V^T\·x_N\⋐R^{d*1}---\left(8\right)$

$S^{t+1}(\mathrm{\Λ},\mathrm{\Γ})=\frac{{\mathrm{\Λ}}^T\·\mathrm{\Γ}}{\left|\right|\mathrm{\Λ}\left|\right|\·\left|\right|\mathrm{\Γ}\left|\right|}---\left(9\right)$

每个子特征都根据以上步骤1-4计算其稳定性S。跟踪目标初始化阶段利用前t(t＝20)帧按照步骤1完成初始化协方差矩阵的计算，之后每一帧重复步骤2-4，计算每个子特征的稳定性表征。

4.更新子特征权重

子特征权重w_i是实时更新的。我们把某个子特征随着时间变化比较小或者不随时间变化称为特征不变性，具有这样性质的特征，能够实时跟踪到目标，此时需要增加这样特征的权重。S^t+1(Λ，Γ)作为特征不变性表征，用其计算更新子特征权重，如式(10)。

$w_i^{\′(t+1)}=w_i^t+\mathrm{\η}(S^{t+1}-S^t)$

$w_i^{t+1}=w_i^{\′(t+1)}/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i^{\′(t+1)}---\left(10\right)$

为t+1帧图像中第i个子特征权重。η为w_i的更新速率，我们取其为7，可以根据实际情况调整。

5.根据粒子滤波的跟踪结果，计算子特征的更新率

利用本帧图像粒子滤波(M.Isard，A.Blake.“Condensationlconditional den-sity propagation for visual tracking”，IJCV，vol.29(1)，1998)的跟踪结果，调整下帧图像的特征向量矩阵的更新学习率。更新的学习率α计算方法如式(11)。

α∝E(R(F_i，F_t))

$R(F_i,F_t)=\frac{F_i^T\·F_t}{\left|\right|F_i\left|\right|\·\left|\right|F_t\left|\right|}---\left(11\right)$

E(R)表示为变量R的期望，F_t为当前帧t图像的特征向量，F_i为特征向量变量，i＝1，...，t-1，为观测粒子，R(F_i，F_t)表示当前帧图像特征与第i帧图像特征(第i次观测粒子)的相关关系。

Claims (9)

1.一种用于鲁棒跟踪的自适应多特征融合的方法，包括步骤：

特征结构初始化；

分别计算梯度直方图HOG特征、局部二值模式LBP特征、颜色直方图特征；

利用增量式主成分分析IPCA算法计算特征的主分量，并得到特征的稳定性表征；

更新子特征权重；

根据粒子滤波的跟踪结果，计算子特征的更新率。

2.根据权利1所述的方法，其特征在于所述特征结构由以下公式决定：

F＝{n|w_if_i，i＝1，...，n}

其中n指特征个数为3，w_i为第i个特征的权重，初始化w_i＝1/n，f_i为第i个子特征，且每个子特征的维数为D，D＝256。

3.根据权利1所述的方法，其特征在于所述计算特征的稳定性表征包括步骤：

初始化特征向量矩阵；

利用IPCA计算特征向量；

计算特征值和特征值相对应的特征向量；

计算特征不变性表征，最后获得特征的稳定性表征。

4.根据权利3所述的方法，其特征在于利用IPCA计算特征向量，由以下公式决定：

$v\left(N\right)=(1-\mathrm{\α})v(N-1)+\mathrm{\α}{x}_N{x}_N^T\frac{v(N-1)}{\left|\right|v(N-1)\left|\right|}$

其中，v(N)为特征向量，N为采样点索引，且v_i(0)＝u_i，α为更新率，x_N为当前采样点图像某个子特征的D维特征向量。

5.根据权利3所述的方法，其特征在于筛选计算特征值，由以下公式决定：

$\mathrm{\Λ}=({\mathrm{\λ}}_i,...,{\mathrm{\λ}}_d)\⋐R^{d*1}$

其中 $d=\arg \underset{d}{\min }(\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\mathrm{\λ}}_i>\mathrm{\β})$

其中，β为筛选前d个特征的阈值，且β＝0.9。

6.根据权利5所述的方法，其特征在于筛选计算与特征值相对应的特征向量，由以下公式决定：

$V=(u_i,...,u_d)\⋐R^{D*d}.$

7.根据权利3所述的方法，其特征在于计算特征的稳定性表征，由以下公式决定：

$S^{t+1}(\mathrm{\Λ},\mathrm{\Γ})=\frac{{\mathrm{\Λ}}^T\·\mathrm{\Γ}}{\left|\right|\mathrm{\Λ}\left|\right|\·\left|\right|\mathrm{\Γ}\left|\right|}$

其中， $\mathrm{\Γ}=V^T\·x_N\⋐R^{d*1}.$

8.根据权利1所述方法，其特征在于更新子特征权重，由以下公式决定：

$w_i^{\′(t+1)}=w_i^t+\mathrm{\η}(S^{t+1}-S^t)$

$w_i^{t+1}=w_i^{\′(t+1)}/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i^{\′(t+1)}$

其中，

为t+1帧图像中第i个子特征权重，η为w_i的更新速率。

9.根据权利1所述方法，其特征在于所述根据粒子滤波的跟踪结果计算子特征的更新率由以下公式决定：

α∝E(R(F_i，F_t))

$R(F_i,F_t)=\frac{F_i^T\·F_t}{\left|\right|F_i\left|\right|\·\left|\right|F_t\left|\right|}$

其中，E(R)表示为变量R的期望，F_t为当前帧t图像的特征向量，F_i为特征向量变量，i＝1，...，t-1，为观测粒子，R(F_i，F_t)表示当前帧图像特征与第i帧图像特征的相关关系。

Images