CN104021577A - 一种基于局部背景学习的视频跟踪方法 - Google Patents

Abstract

本发明提供一种基于局部背景学习的视频跟踪方法，包括：通过所述贝叶斯框架对要跟踪的目标和所述目标的局部背景的时空关系进行建模以建模目标和局部背景的时空关系，同时采集所述目标的多个多维图像，利用符合压缩感知条件的随机感知矩阵对采集到的目标的多个多维图像特征进行降维，得到多个多维图像的特征向量；根据多个多维图像的特征向量，对降维后的多维图像采用所述朴素贝叶斯分类器进行分类，并依据目标位置的似然置信图估计目标出现的位置；基于目标结构约束条件，通过所述集合器输出与前一帧跟踪成功的目标重叠度最大的目标作为最终的跟踪目标。本发明适用于复杂条件下的视频目标跟踪，具有很强的辨别能力，跟踪准确性高。

Description

一种基于局部背景学习的视频跟踪方法

技术领域

本发明属于计算机视觉跟踪技术领域，涉及一种视频跟踪方法，特别是涉及一种基于局部背景学习的视频跟踪方法。

背景技术

目前，视频跟踪算法根据应用模型的不同主要分为两类：基于产生式模型的跟踪算法和基于判别式模型的跟踪算法。前一种跟踪算法的代表性方法有基于模板匹配的跟踪算法等，该类方法通过在图像中搜索与给定模板最匹配的子区域来实现跟踪，它忽略了目标周围背景信息。后一种跟踪算法代表性方法有检测学习跟踪(TLD)和压缩感知跟踪(CT)等，该类方法将跟踪视为一个二分类问题，寻找目标与背景间的决策边界来实现跟踪，计算复杂度高，无法保证跟踪实时性要求。

压缩感知跟踪方法(俗称CT算法)利用符合压缩感知条件的随机感知矩阵对多尺度图像特征进行降维，然后在降维后的特征上采用朴素贝叶斯分类器进行分类来实现跟踪，自从其提出后就成为了视觉跟踪领域的重要方法。虽然CT算法取得了巨大的成功，但是其存在两个主要的缺点：1)在严重遮挡情况下，跟踪器会失效；2)当目标与背景相似，跟踪器会漂移至背景，导致跟踪失败，这是因为其忽略了背景信息。

在视觉跟踪中，局部背景信息包含目标和其相邻的图像区域。在连续的视频帧中，目标与背景之间存在强烈的时空关系，而这种时空关系有助于重新定位目标位置，并帮助解决背景与目标相似情况下的二义性问题。比如严重遮挡使目标造成很大的形变，但是含有目标的局部背景区域仍然保持相似，只有小部分背景区域被遮挡。因此，利用当前帧的局部背景信息可以预测下一帧的目标位置。

虽然最近几十年视频目标跟踪问题获得了广泛的研究并取得了长足的进步，但还存在许多不足。现实环境中的许多情况(如光照变化，姿态变化和遮挡等)都会影响跟踪的性能，因此设计一个能适应背景场景可变，并保证跟踪的准确性和跟踪的实时性的目标跟踪算法，仍然是一项挑战性的任务和急需解决的课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于局部背景学习的视频跟踪方法，用于解决现有技术中视频跟踪方法无法保证跟踪的准确性和跟踪的实时性导致影响目标跟踪的性能的问题。

为实现上述目的及其他相关目的，本发明提供一种基于局部背景学习的视频跟踪方法，应用于包括贝叶斯框架、朴素贝叶斯分类器、集合器的基于局部背景学习的视频跟踪系统，包括：步骤1，通过所述贝叶斯框架对要跟踪的目标和所述目标的局部背景的时空关系进行建模以建模目标和局部背景的时空关系，同时采集所述目标的多个多维图像，利用符合压缩感知条件的随机感知矩阵对采集到的目标的多个多维图像特征进行降维，得到多个多维图像的特征向量；步骤2，根据多个多维图像的特征向量，对降维后的多维图像采用所述朴素贝叶斯分类器进行分类，并依据目标位置的似然置信图估计目标出现的位置；步骤3，基于目标结构约束条件，通过所述集合器输出与前一帧跟踪成功的目标重叠度最大的目标作为最终的跟踪目标。

优选地，所述目标位置的似然置信图是指： $m\left(x\right)=P\left(x\right|o)=\underset{m\left(z\right)\∈X^C}{\mathrm{\Σ}}P\left(x\right|m\left(z\right),o)P\left(m\left(z\right)\right|o)$ 其中，x为目标的位置，o为目标在局部背景中存在，P(x|o)为所述目标的概率，P(x|m(z),o)为局部背景模型的条件概率，建模目标与局部背景的空间关系；P(m(z)|o)为局部背景模型的先验概率，建模局部背景模型；X^C＝{m(z)＝(I(z),z)|z∈Ω_C(x^*)}，其中，I(z)为目标在局部背景中的位置z的图像灰度，x^*表示所述目标的中心位置，Ω_C(x^*)为图像位置x^*的领域。

优选地，所述局部背景模型的条件概率的函数公式为P(x|m(z),o)＝h(x-z)，其中，h(x-z)表示为目标x和目标在局部背景中的位置z的相对距离和方向的函数。

优选地，所述局部背景模型的先验概率P(m(z)|o)的函数公式为P(m(z)|o)＝I(z)ω_σ(z-x^*)；其中，I(z)为目标在局部背景中的位置z的图像灰度，ω_σ(z-x^*)为一加权函数，α为归一化系数，σ为尺度参数，x^*表示所述目标的中心位置。

优选地，所述目标和局部背景的时空关系为其中，b为归一化系数，β为匹配参数，ω_σ(x-x^*)为加权函数，I(x)为图像灰度，f^-1为傅立叶逆变换。

优选地，跟踪目标的置信度为m_t+1(x)，其计算公式为 $m_{t+1}\left(x\right)=f^{-1}(f\left(H_{t+1}\left(x\right)\right)*f\left(I_{t+1}\left(x\right){\mathrm{\ω}}_{{\mathrm{\σ}}_t}(x-x^{*})\right)),$ H_t+1(x)为跟踪目标x第t+1帧的局部背景模型更新率。

优选地，目标x的局部背景模型更新率的计算公式为H_t+1(x)＝(1-ρ)H_t(x)+ρh_t(x)，其中，t为图像视频帧次序，H_t(x)为最终目标x第t帧的局部背景模型更新率，h_t(x)为最终目标x第t帧时与局部背景的相对距离和方向的函数，ρ为学习参数。

优选地，所述随机感知矩阵为A_n×m，其矩阵元素 $a_{\mathrm{ij}}=\sqrt{s}\×\left(\begin{array}{c}1,p=\frac{1}{2s}\\ 0,p=1-\frac{1}{s}\\ -1,p=\frac{1}{2s}\end{array}\right),$ 其中，p为a_ij的先验概率，s为固定常数，m为图像的列维数和行维数的乘积，n为降维后的图像特征维数，利用所述随机感知矩阵将m维向量投影到n维空间v，v＝(v₁,…v_n)。

优选地，所述目标的运动轨迹是连续的。

如上所述，本发明所述的基于局部背景学习的视频跟踪方法，具有以下有益效果：

1、本发明所述的基于局部背景学习的视频跟踪方法适用于复杂条件下的视频目标跟踪，对目标的光照变化，旋转，形变和目标遮挡不敏感，

2、本发明所述的基于局部背景学习的视频跟踪方法对场景中的虚假目标有很强的辨别能力，跟踪准确性高。

附图说明

图1显示为本发明的基于局部背景学习的视频跟踪方法的流通图。

元件标号说明

S1～S6  步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种基于局部背景学习的视频跟踪方法，应用于包括贝叶斯框架、朴素贝叶斯分类器、集合器的基于局部背景学习的视频跟踪系统，请参阅图1，显示为局部背景学习的视频跟踪方法的流程图，所述基于局部背景学习的视频跟踪方法包括：

S1，寻找要跟踪目标的初始化位置，通过所述贝叶斯框架对要跟踪的目标和所述目标的局部背景的时空关系进行建模以建模目标和局部背景的时空关系，即根据所述目标和局部背景的时空关系公式(1)建模，

$h\left(x\right)=f^{-1}\left(\frac{{\left(b{e}^{-\left|\frac{x-x^{*}}{\mathrm{\α}}\right|}\right)}^{\mathrm{\β}}}{I\left(x\right){\mathrm{\ω}}_{\mathrm{\σ}}(x-x^{*})}\right)---\left(1\right)$

其中，b为归一化系数，β为匹配参数，ω_σ(x-x^*)为加权函数，I(x)为图像灰度，f^-1为傅立叶逆变换。h(x)为需要学习的局部背景模型。局部背景的学习和目标的检测都是需要通过傅立叶变换实现的，所以学习和检测的速度比较快。

S2，在要跟踪的目标的初始化位置周围采集所述目标的多个多维图像，利用符合压缩感知条件的随机感知矩阵对采集到的目标的多个多维图像特征进行降维，得到多个多维图像的特征向量。在本实施例中，所述随机感知矩阵为A_n×m，其矩阵元素a_ij定义为：

$a_{\mathrm{ij}}=\sqrt{s}\×\left(\begin{array}{c}1,p=\frac{1}{2s}\\ 0,p=1-\frac{1}{s}\\ -1,p=\frac{1}{2s}\end{array}\right)---\left(2\right)$

其中，p为a_ij的先验概率，s为固定常数，m为图像的列维数和行维数的乘积，n为降维后的图像特征维数，利用所述随机感知矩阵将m维向量投影到n维空间v，v＝(v₁,…v_n)，以此达到降维的目的。

在目标周围扫描窗口，采集到的目标的多个多维图像特征，利用公式(2)随机感知矩阵A_n×m对这些图像进行特征提取(降维)，得到每个图像片的特征向量v。

S3，根据多个多维图像的特征向量，对降维后的多维图像采用所述朴素贝叶斯分类器进行分类，并依据目标位置的似然置信图估计目标出现的位置。在本步骤中，根据公式(3)对降维后的多维图像进行分类。

假如各元素是独立分布的，可以建立朴素贝叶斯分类器，定义为：

$D\left(v\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)---\left(3\right)$

其中p(y＝1)＝p(y＝0)，y∈{0,1}是个正负样本标志，y＝0代表负样本，而y＝1代表负样本。假定条件概率p(ν_i|y＝1)和p(v_i|y＝0)服从高斯分布，并且可用四个参数来描述。

$\begin{array}{cc}p(v_{i}y=1|)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1)& p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0)---\left(4\right)\end{array}$

其中分别为正样本概率的期望和标准差，而分别为负样本概率的期望和标准差。

贝叶斯分类器参数更新率定义为：

$\begin{array}{c}{\mathrm{\μ}}_i^1=\mathrm{\λ}{\mathrm{\μ}}_i^1+(1+\mathrm{\λ}){\mathrm{\μ}}^1\\ {\mathrm{\σ}}_i^1=\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2}\end{array}---\left(5\right)$

其中σ¹和μ¹为固定常数，可通过实验得到。λ＞0为学习因子，上式可由最大似然估计得到，其所描述的在线更新高斯分布模型是特征的一个良好估计。所述朴素贝叶斯分类器输出最大分类分数的图像片作为当前帧跟踪到的候选目标1。

以跟踪目标的初始位置起始，为了搜索要跟踪目标的当前帧中的新位置，则必须计算当前帧的P(x|m(z),o)为局部背景模型的条件概率，建模目标与局部背景的空间关系；P(m(z)|o)为局部背景模型的先验概率。在步骤S3中还包括并依据目标位置的似然置信图估计目标出现的位置。所述目标位置的似然置信图是指：

$m\left(x\right)=P\left(x\right|o)=\underset{m\left(z\right)\∈X^C}{\mathrm{\Σ}}P\left(x\right|m\left(z\right),o)P\left(m\left(z\right)\right|o)---\left(6\right)$

目标位置的置信度定义为：

$m\left(x\right)=b{e}^{-{\left|\frac{x-x^{*}}{\mathrm{\α}}\right|}^{\mathrm{\β}}}---\left(7\right)$

其中，x为目标的位置，β为形变参数，b和α为归一化参数，o为目标在局部背景中存在，P(x|o)为所述目标的概率，P(x|m(z),o)为局部背景模型的条件概率，建模目标与局部背景的空间关系；P(m(z)|o)为局部背景模型的先验概率，建模局部背景模型；

X^C＝{m(z)＝(I(z),z)|z∈Ω_C(x^*)}     (8)

其中，I(z)为目标在局部背景中的位置z的图像灰度，x^*表示所述目标的中心位置，Ω_C(x^*)为图像位置x^*的领域。所述局部背景模型的条件概率的函数公式为

P(x|m(z),o)＝h(x-z)     (9)

其中，h(x-z)表示为目标x和目标在局部背景中的位置z的相对距离和方向的函数。所述局部背景模型的先验概率P(m(z)|o)的函数公式为

P(m(z)|o)＝I(z)ω_σ(z-x^*)       (10)

其中，I(z)为目标在局部背景中的位置z的图像灰度，ω_σ(z)为权重函数，

${\mathrm{\ω}}_{\mathrm{\σ}}\left(z\right)=\mathrm{\α}{e}^{-\frac{{\left|z\right|}^2}{{\mathrm{\σ}}^2}}---\left(11\right)$

同理ω_σ(z-x^*)为一加权函数，

${\mathrm{\ω}}_{\mathrm{\σ}}(z-x^{*})=\mathrm{\σ}{e}^{-{\left|\frac{z-x^{*}}{{\mathrm{\α}}^2}\right|}^2}---\left(12\right)$

_α为归一化系数，_σ为尺度参数，x*表示所述目标的中心位置。

将公式(9)和(10)代入公式(7)中，得到公式(13)

$m\left(x\right)=b{e}^{-{\left|\frac{x-x^{*}}{\mathrm{\α}}\right|}_{\mathrm{\β}}}=h-\left(x\right)\⊗\left(I\left(x\right){\mathrm{\ω}}_{\mathrm{\σ}}(x-x^{*})\right)--\left(13\right)$

将公式(13)两边取傅立叶变换，便可得到公式(1)。

S4，根据公式(13)计算当前帧候选目标1(跟踪目标)的置信度m_t+1(x)，输出置信度最大的多维图像作为当前帧候选目标2。

$m_{t+1}\left(x\right)=f^{-1}(f\left(H_{t+1}\left(x\right)\right)*f\left(I_{t+1}\left(x\right){\mathrm{\ω}}_{{\mathrm{\σ}}_t}(x-x^{*})\right))---\left(14\right)$

其中，H_t+1(x)为跟踪目标x第t+1帧的局部背景模型更新率。跟踪目标x的局部背景模型更新率的计算公式为

H_t+1(x)＝(1-ρ)H_t(x)+ρh_t(x)     (15)

其中，t为图像视频帧次序，H_t(x)为最终目标x第t帧的局部背景模型更新率，h_t(x)为最终目标x第t帧时与局部背景的相对距离和方向的函数，ρ为学习参数。

S5，基于目标结构约束条件，通过所述集合器输出与前一帧跟踪成功的目标重叠度最大的目标作为最终的跟踪目标。

S6，根据公式(5)和(15)分别更新朴素贝叶斯分类器和局部背景模型。

为了更好地理解本发明的技术方案，下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

为了说明本发明有优越的性能，在具体实施中将其与当前先进的跟踪算法进行比较，比较算法为跟踪学习检测(Tracking-Learning-Detection，TLD)跟踪算法和压缩感知跟踪算法(Compressive Tracking，CT)。

本发明采用以下两种指标来进行性能的定量评价：

1)平均中心位置误差原则，定义为跟踪目标中心位置和实际目标中心位置的欧式距离；

2)视频跟踪成功率，定义为

$\mathrm{Score}=\frac{\mathrm{area}(R_t\∩R_g)}{\mathrm{area}(R_t\∪R_g)}---\left(16\right)$

其中，R_t表示跟踪得到的目标区域，R_g表示目标的真实区域(通过手工预先标定)。值Score越大，表示跟踪的准确度越高。当Score值大于0.5时，则认为跟踪器成功跟踪了目标。

本发明的跟踪算法非常有效，平均帧频可达到200fps/s。

TLD，CT和本文发明的跟踪算法在标准测试视频上进行性能评估，可以从以下三个方面来说明所发明算法的优越性：

1)遮挡及旋转。

2)光照变化及姿态变化。

3)背景杂波

本发明所述的基于局部背景学习的视频跟踪方法，适用于复杂条件下的视频目标跟踪，对目标的光照变化，旋转，形变和目标遮挡不敏感，且对场景中的虚假目标有很强的辨别能力，跟踪准确性高。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于局部背景学习的视频跟踪方法，应用于包括贝叶斯框架、朴素贝叶斯分类器、集合器的基于局部背景学习的视频跟踪系统，其特征在于，包括：

步骤1，通过所述贝叶斯框架对要跟踪的目标和所述目标的局部背景的时空关系进行建模以建模目标和局部背景的时空关系，同时采集所述目标的多个多维图像，利用符合压缩感知条件的随机感知矩阵对采集到的目标的多个多维图像特征进行降维，得到多个多维图像的特征向量；

步骤2，根据多个多维图像的特征向量，对降维后的多维图像采用所述朴素贝叶斯分类器进行分类，并依据目标位置的似然置信图估计目标出现的位置；

步骤3，基于目标结构约束条件，通过所述集合器输出与前一帧跟踪成功的目标重叠度最大的目标作为最终的跟踪目标。

2.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：所述目标位置的似然置信图是指：

$m\left(x\right)=P\left(x\right|o)=\underset{m\left(z\right)\∈X^C}{\mathrm{\Σ}}P\left(x\right|m\left(z\right),o)P\left(m\left(z\right)\right|o)$

其中，x为目标的位置，o为目标在局部背景中存在，P(x|o)为所述目标的概率，P(x|m(z),o)为局部背景模型的条件概率，建模目标与局部背景的空间关系；P(m(z)|o)为局部背景模型的先验概率，建模局部背景模型；X^C＝{m(z)＝(I(z),z)|z∈Ω_C(x^*)}，其中，I(z)为目标在局部背景中的位置z的图像灰度，x^*表示所述目标的中心位置，Ω_C(x^*)为图像位置x^*的领域。

3.根据权利要求2所述的基于局部背景学习的视频跟踪方法，其特征在于：所述局部背景模型的条件概率的函数公式为P(x|m(z),o)＝h(x-z)，其中，h(x-z)表示为目标x和目标在局部背景中的位置z的相对距离和方向的函数。

4.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：所述局部背景模型的先验概率P(m(z)|o)的函数公式为P(m(z)|o)＝I(z)ω_σ(z-x^*)；其中，I(z)为目标在局部背景中的位置z的图像灰度，ω_σ(z-x^*)为一加权函数，α为归一化系数，σ为尺度参数，x^*表示所述目标的中心位置。

5.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：所述目标和局部背景的时空关系为其中，b为归一化系数，β为匹配参数，ω_σ(x-x^*)为加权函数，I(x)为图像灰度，f^-1为傅立叶逆变换。

6.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：跟踪目标的置信度为m_t+1(x)，其计算公式为 $m_{t+1}\left(x\right)=f^{-1}(f\left(H_{t+1}\left(x\right)\right)*f\left(I_{t+1}\left(x\right){\mathrm{\ω}}_{{\mathrm{\σ}}_t}(x-x^{*})\right)),$ H_t+1(x)为跟踪目标x第t+1帧的局部背景模型更新率。

7.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：目标x的局部背景模型更新率的计算公式为H_t+1(x)＝(1-ρ)H_t(x)+ρh_t(x)，其中，t为图像视频帧次序，H_t(x)为最终目标x第t帧的局部背景模型更新率，h_t(x)为最终目标x第t帧时与局部背景的相对距离和方向的函数，ρ为学习参数。

8.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：所述随机感知矩阵为A_n×m，其矩阵元素 $a_{\mathrm{ij}}=\sqrt{s}\×\left(\begin{array}{c}1,p=\frac{1}{2s}\\ 0,p=1-\frac{1}{s}\\ -1,p=\frac{1}{2s}\end{array}\right),$ 其中，p为a_ij的先验概率，s为固定常数，m为图像的列维数和行维数的乘积，n为降维后的图像特征维数，利用所述随机感知矩阵将m维向量投影到n维空间v，v＝(v₁,…v_n)。

9.根据权利要求1所述的基于局部背景学习的视频跟踪方法，其特征在于：所述目标的运动轨迹是连续的。