CN104850865A - 一种多特征迁移学习的实时压缩跟踪方法 - Google Patents

Abstract

本发明公开了一种多特征迁移学习的实时压缩跟踪方法，包括了以下步骤：产生训练样本，在当前帧和先前跟踪到目标的视频帧中分别提取正负样本用于分类器的训练；提取训练样本中目标和背景的特征，采用两个互补的稀疏映射矩阵将提取的高维特征投影到压缩域的低维特征，并产生两种平衡的特征用于表示目标和背景；分类器的构建与更新，使用压缩域的特征训练出一个朴素贝叶斯分类器用于对待检测样本进行分类；二次目标搜索策略，采用由粗到精的二次搜索策略减少产生的扫描窗口数量，从而减少待检测的样本数量，加速目标搜索过程，将响应值最大的扫描窗口作为跟踪到的目标，并以此对训练样本和分类器进行更新。

Description

一种多特征迁移学习的实时压缩跟踪方法

技术领域

本发明属于计算机视觉、机器学习技术领域，特别是一种多特征迁移学习的实时压缩跟踪方法。

背景技术

目标跟踪系统一般由三部分组成：(1)目标外观模型，用来评估候选区域与目标之间的相似度；(2)运动模型，用于对目标在一段连续时间内的运动状态进行建模；(3)搜索策略，用于在当前帧中搜索出最可能的目标区域；在这三个组成成分当中，目标外观模型是不可或缺的部分。

离线跟踪通过线下学习目标的外观模型，这种方式需要预先收集目标的大量样本用于分类器的训练，并且训练过程耗时较长，不能自适应目标外观的变化；在线跟踪通过实时更新目标外观模型，能够适应目标外观的变化，在分类器的训练过程中通常以跟踪到的目标作为正样本，在正样本周围选取负样本，这种方式得到的训练样本较少，需要通过反复的训练和测试来提高分类器的准确度；多实例跟踪通过选择多个正样本和多个负样本用于分类器的训练，以上方式当目标发生部分遮挡时容易引入背景信息，造成分类器的错误更新，最终导致跟踪漂移甚至丢失目标。

发明内容

发明目的：本发明所要解决的技术问题是针对现有研究的不足，提供一种多特征迁移学习的实时压缩跟踪方法，从而提高目标跟踪的准确率。

为了解决上述技术问题，本发明公开了一种多特征迁移学习的实时压缩跟踪方法，包括以下步骤：

步骤1，从视频的当前帧和先前帧跟踪到目标的帧中提取出训练样本用于分类器的训练，训练样本包括目标领域样本和源领域样本，所述当前帧为第t帧，先前帧为第1帧到第t-1帧，目标领域样本表示从当前帧中提取出来的样本，源领域样本表示从先前帧中提取出来的样本；

步骤2，从训练样本中提取出目标领域样本和源领域样本的特征，用不同尺寸的矩形框与训练样本卷积得到对应尺寸(从1×1到w×h大小，w和h分别表示样本的宽和高)的特征，将所述特征串联起来转成一维，得到高维特征，分别采用两个互补的稀疏映射矩阵将高维特征投影到压缩域的低维特征，得到目标领域样本的压缩域特征和源领域样本的压缩域特征；

步骤3，根据目标领域样本的压缩域特征和源领域样本的压缩域特征分别构建各自的朴素贝叶斯分类器，并融合形成最终的强分类器，使用所述最终的强分类器对待检测样本进行分类，所述待检测样本为t+1帧中提取出的样本，当待检测样本的最大响应值小于阈值时，暂停训练样本中源领域样本的更新，当待检测样本的最大响应值大于或等于阈值时，重启对训练样本中源领域样本的更新；

步骤4，采用由粗到精的二次搜索策略，对于待检测样本中的t+1帧以当前帧目标所在的位置为圆心，以γ_c＝25(像素)为半径，以Δ_c＝4(像素)为步长产生扫描窗口，使用最终的强分类器找到响应值最大的窗口，并以此为圆心，以γ_f＝10(像素)为半径，以Δ_f＝1(像素)为步长再次产生扫描窗口，使用最终的强分类器找到响应值最大的窗口作为最终跟踪到的目标。

其中，步骤1包括以下步骤：

步骤1-1，提取目标领域样本：从跟踪到目标的当前帧中提取目标领域样本，l_t(z₀)表示当前帧跟踪到的目标中心位置，t表示当前帧，即第t帧，z₀表示当前帧跟踪到的目标窗口，在距离目标位置α＝4个像素范围内采集正样本，正样本用Z^α＝{z|||l_t(z)-l_t(z₀)||＜α}表示，l_t(z)表示正样本的中心位置，z表示正样本所在的窗口，并按照正样本与目标位置之间的距离按从小到大的顺序进行排序，在目标附近的环形区域内随机采集负样本，负样本用Z^γ,β＝{z|γ＜||l_t(z)-l_t(z₀)||＜β}表示，γ表示环形区域的内半径，其值取为8(像素)，γ>α，β表示外半径，其值取为30(像素)，采集的正负样本组成目标领域样本；

步骤1-2，提取源领域样本：从先前帧跟踪到目标的视频帧中提取源领域样本，源领域样本中正样本的空间为N，在初始N帧(与正样本空间相同)，把跟踪到的目标放入源领域样本集的正样本空间中，正样本空间满后，用第t-1帧跟踪到的目标替换正样本中最先加入的样本，负样本由目标领域样本中的负样本复制得到。

步骤2包括以下步骤：

步骤2-1，计算训练样本特征：使用矩形特征描述训练样本，每个矩形特征对应了图像在这个矩形区域内的像素和，矩形的宽在1到w之间变化，高在1到h之间变化，w和h分别表示样本的宽和高，矩形区域的位置随机选择，使用积分图加速矩形特征的计算；

步骤2-2，生成原始稀疏测量矩阵：由步骤2-1在一个样本上产生的特征经过串联后得到样本的特征空间x＝(x₁,...,x_m)^T，表示样本集，x_m表示特征空间x中的第m个特征，其中m＝(wh)²表示特征空间的维数，其值在10⁶～10¹⁰之间，使用原始稀疏测量矩阵对特征空间进行压缩，原始稀疏测量矩阵r_ij定义如下：

其中i表示矩阵的行，其范围由低维空间的维数决定，j表示矩阵的列，j∈[1,m]，参数s取值为2或3，以满足Johnson-Lindenstrauss准则(参考文献Database-friendlyrandom projections:Johnson-Lindenstrausswithbinary coins)，低维特征v_i的提取公式如下所示：

$v_i=\underset{j}{\mathrm{\Σ}}{r}_{\mathrm{ij}}{x}_j,$

其中x_j表示特征空间x中的第j个特征，v_i表示压缩域的第i个低维特征；

步骤2-3，生成互补稀疏测量矩阵：互补稀疏测量矩阵的生成公式如下所示：

其中randi(2)表示随机产生值为1或2的整数，k表示r_1i中的第k个非零值；

通过低维特征的提取公式便可以得到与低维特征v_i互补的特征v_i′，当r_i中同时存在正值和负值时，特征v_i表现出图像块间灰度的差异，体现为纹理特征，v_i′则表现出图像块灰度的均值，体现为灰度均值特征。

步骤3包括以下步骤：

步骤3-1，构建朴素贝叶斯分类器：对于每一个样本在低维特征空间中的表示为(n表示低维特征空间的维数，其值可以人为设定)，构建一个朴素贝叶斯分类器H(V)：

$H\left(V\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

i取值范围1～n，v_i表示第i个低维特征空间，先验概率p(y＝1)＝p(y＝0)，y∈{0,1}表示样本的类别标签，条件概率p(v_i|y＝1)和p(v_i|y＝0)服从高斯分布，即：

$p\left(v_i\right|y=1)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1),p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0),$

式中和分别表示条件概率p(v_i|y＝1)高斯分布的均值和标准差，和分别表示条件概率p(v_i|y＝0)高斯分布的均值和标准差， ${\mathrm{\σ}}^1=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=1}^{n-1}{(v_i-{\mathrm{\μ}}^1)}^2},$ μ¹、σ¹分别为正样本的均值与标准差， ${\mathrm{\μ}}^0=\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=0}^{n-1}{v}_i,$ ${\mathrm{\σ}}^0=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=1}^{n-1}{(v_i-{\mathrm{\μ}}^1)}^2},$ μ⁰、σ⁰分别为负样本的均值与标准差；

步骤3-2，多特征融合：融合目标领域样本的压缩域特征和源领域样本的压缩域特征，采用弱耦合的方式，通过加权和的方式进行特征的融合，两种特征总体上保持1:1的数量关系，因此两者权重相同，基于融合特征的强分类器H_*(V)为：

$\begin{array}{c}{H}_{*}\left(V\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)+\log \left(\frac{p\left(v_i^{\′}\right|y=1)}{p\left(v_i^{\′}\right|y=0)}\right))\\ =\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(p\left(v_i\right|y=1)\right)-\log \left(p\left(v_i\right|y=0)\right)+\log \left(p\left(v_i^{\′}\right|y=1)\right)-\log \left(p\left(v_i^{\′}\right|y=0)\right))\end{array}$

其中v_i′表示与v_i成互补关系的特征；

步骤3-3，强分类器的构建：使用源领域样本和目标领域样本分别训练各自的朴素贝叶斯强分类器H_S和H_T，计算方式如步骤3-2所示，并经过加权和构成最终的强分类器H，其形式如下：

$H=\frac{N}{N+P}{H}_S+\frac{P}{N+P}{H}_T,$

其中H_S表示由源领域样本训练得到的强分类器，H_T表示由目标领域样本训练得到的强分类器，目标领域样本集中正样本的空间为P，源领域样本集中正样本的空间为N；

步骤3-4，分类器参数更新：每次跟踪得到新的目标后对分类器的参数进行在线更新，更新公式如下所示：

正样本的参数更新方式如下：

${\mathrm{\μ}}_i^1\←\mathrm{\λ}{\mathrm{\μ}}_i^1+(1-\mathrm{\λ}){\mathrm{\μ}}^1,$

${\mathrm{\σ}}_i^1\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2},$

负样本的参数更新方式如下：

${\mathrm{\μ}}_i^0\←\mathrm{\λ}{\mathrm{\μ}}_i^0+(1-\mathrm{\λ}){\mathrm{\μ}}^0,$

${\mathrm{\σ}}_i^0\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^0\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^0\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^0-{\mathrm{\μ}}^0)}^2},$

λ表示学习率，λ＞0；

当待检测样本的最大响应值小于阈值时，暂停分类器参数的更新，计算阈值Th公式如下：

$\mathrm{Th}=\frac{1}{1+e^{-\max \left(H\left(v\right)\right)}},$

当阈值Th的值小于0.5，说明强分类器所选出的目标与真实目标存在较大偏差，此时目标可能发生大面积遮挡，如果将这个跟踪到的目标作为正样本加入到源领域的正样本中进行分类器的训练会引入背景噪声，造成分类器的更新产生误差累积，因此当发现某帧中阈值Th小于0.5时，暂停对分类器参数的更新，直到后续视频帧中发现阈值Th大于或等于0.5时再次使用跟踪到的目标对分类器参数进行更新。

步骤4包括以下步骤：

步骤4-1，初次搜索：采用由粗到精的搜索策略来对目标进行定位，假设在第t-1帧跟踪到的目标所在的位置为l_t-1，为搜索第t帧中目标的位置，首先以t-1帧目标位置的中心为圆心，以γ_c＝25(像素)为半径，Δ_c＝4(像素)为步长产生搜索窗口，即(Z表示搜索窗口，l(Z)表示搜索窗口的中心位置，表示以γ_c为半径、Δ_c为步长产生的搜索窗口的集合)，使用步骤3-3得到的强分类器H对所述搜索窗口进行分类，找到响应值最大的窗口所在的位置l_t′；

步骤4-2，二次搜索：以位置l_t′为圆心，以γ_f＝10(像素)为半径，Δ_f＝1(像素)为步长产生二次搜索窗口，即(表示以γ_f为半径，Δ_f为步长产生的搜索窗口的集合)，使用步骤3-3得到的强分类器H对所述二次搜索窗口进行分类，找到响应值最大的窗口所在的位置l_t作为最终跟踪到的目标。

有益效果：本发明学习了基于外观特征模板的描述模型，同时使用这些特征通过训练朴素贝叶斯分类器将目标从背景中分离出来。在目标的描述方面使用平衡的多特征通过弱耦合的方式进行加权融合共同表示目标；在分类器的训练过程中引入源领域样本辅助分类器的更新；在目标搜索的过程中使用由粗到精的二次搜索策略加速目标搜索的过程。本发明采用多特征联合描述目标和背景，并引入辅助样本引导分类器的更新，通过训练样本更新机制避免产生被污染的训练样本，从而保证分类器更新的准确性，使用二次搜索策略加速目标搜索的过程，在多个公共测试视频上验证本发明算法的有效性和准确性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法的算法框图。

图2为不相邻帧中样本特征的概率分布函数示意图。

图3为训练样本组成示意图。

图4为压缩特征空间示意图。

图5为稀疏测量矩阵及互补矩阵元素分布示意图。

图6为发生遮挡时本发明跟踪效果与原始压缩跟踪算法跟踪效果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明做更进一步的具体说明。

本方法的框图如图1所示，分为四大过程：首先是产生源领域和目标领域的训练样本；其次是根据产生的训练样本，利用两个互补的稀疏测量矩阵提取出样本的压缩域特征用于分类器的训练；再次利用压缩域特征对分类器进行训练和更新，得到强分类器用于目标的搜索；最后使用训练好的强分类器对目标进行由粗到精的二次搜索，找到目标的位置，并更新训练样本。

具体地说，如图1所示，本发明公开了一种多特征迁移学习的实时压缩跟踪方法，主要包括以下几个步骤：

步骤1，训练样本的产生：在目标跟踪的过程中第1帧通常由人工标定出目标的位置，包含了目标的准确位置信息，第2到t-1帧包含了目标在运动过程中的形变信息。由于目标跟踪过程中目标会出现姿态调整、受到光照变化等因素的影响，因此从不相邻帧中采集的样本特征的分布存在差异，根据训练样本来源的不同，将训练样本分为目标领域样本和源领域样本两个部分，图2展示了特征值在不相邻的两个样本上的分布，实线是特征值在目标领域训练样本上的分布，虚线是特征值在源领域训练样本上的分布；

步骤2，训练样本特征的提取：在步骤1提取出的正负训练样本上提取出目标和背景的特征，用不同尺寸的矩形框与训练样本卷积将结果转成一维，得到高维特征，分别采用两个互补的稀疏映射矩阵将高维特征投影到压缩域的低维特征，得到两种平衡的特征用于目标和背景的表示；

步骤3，分类器的训练与更新：根据源领域样本提取出的压缩域特征和目标领域样本提取出的压缩域特征分别训练各自的朴素贝叶斯分类器，使用加权和构成最终的强分类器，并用这个强分类器对待检测样本进行分类；

步骤4，由粗到精的二次搜索策略：对于待检测的视频帧以当前帧目标所在的位置为圆心，以较大半径和步长产生扫描窗口，使用强分类器找到响应值最大的窗口，并以此为圆心，以较小半径和步长再次产生扫描窗口，使用强分类器找到响应值最大的窗口作为最终跟踪到的目标；

步骤1，训练样本的产生详细步骤如下：

步骤1-1，目标领域训练样本的提取：假设l_t(x₀)表示当前跟踪到的目标位置，在距离目标α＝4个像素范围内采集正样本X^α＝{x|||l_t(x)-l_t(x₀)||＜α}，并按照样本与目标之间的距离按从小到大的顺序进行排序(便于找到最优正样本，即当前跟踪到的目标)，在距离正样本一定范围的环形区域内随机选择负样本，X^γ,β＝{x|γ＜||l_t(x)-l_t(x₀)||＜β}，其中γ＝8(像素)，β＝30(像素)，这些正负样本组成目标领域样本；

步骤1-2，源领域样本的提取：假设源领域样本中正样本的空间为N，在初始N帧，直接把跟踪到的目标放入源领域样本集的正样本中，正样本空间满后，用第t-1帧跟踪到的目标替换正样本中最先加入的样本，负样本直接由目标领域样本中的负样本复制得到，这样就使得源领域样本中包含了目标运动过程中的部分信息，利用这些样本训练出来的分类器可以辅助跟踪系统对于候选目标的划分，训练样本组成示意图如图3所示；

步骤1-3，训练样本的更新：当强分类器在待检测样本中得到的最大响应值小于一个阈值时，就认为此时目标被严重遮挡，这时应当暂停对源领域中正样本的更新，因为此时跟踪到的目标已经包含了大量的背景信息，将这个样本作为正样本加入到源领域的正样本中将会引入噪声污染样本，长期累积产生的正样本将完全被噪声湮没，使源领域样本的辅助更新功能衰退，甚至起到反作用，当目标从遮挡中恢复时，再次重启对源领域中正样本的更新。

步骤2，训练样本特征的提取的详细步骤如下：

步骤2-1，样本特征的计算：使用矩形特征描述训练样本，每个矩形特征对应了图像在这个矩形区域内的像素和，矩形的宽在1到w之间变化，高在1到h之间变化(w和h分别表示样本的宽和高)，矩形区域的位置随机选择，使用积分图加速矩形特征的计算；

步骤2-2，稀疏测量矩阵的生成：由步骤2-1在一个样本上产生的特征经过串联后得到得到样本的特征空间x＝(x₁,...,x_m)^T，其中m＝(wh)²，其特征维数非常高(通常在10⁶～10¹⁰之间)，直接使用这些特征进行分类器的训练将使训练过程中计算量急剧增加。根据压缩感知理论，使用一个非常稀疏的测量矩阵来对特征空间进行压缩，压缩后的特征可以保留绝大部分原始特征空间的信息，稀疏测量矩阵定义如下：

当s取到3时，测量矩阵就已经非常稀疏(矩阵中有2/3的元素为0)。当s＝m/4时，测量矩阵R中每行的非零元素不超过4个。使用这种矩阵对原始样本空间进行压缩得到的压缩特征空间的维数n相比原始特征空间的维数m大幅降低，低维特征的提取公式如下所示：

$v_i=\underset{j}{\mathrm{\Σ}}{r}_{\mathrm{ij}}{x}_j$

其中v_i表示压缩域的第i个特征，压缩特征空间组成示意图如图4所示；

步骤2-3，互补稀疏测量矩阵的生成：当每个特征的矩形窗口数量在2至4之间时，步骤2-2中产生的稀疏测量矩阵，r_i中只存在正值或只存在负值的概率为29％，当r_i中只存在正值或只存在负值时，特征v_i表现为图像灰度块的均值，即灰度均值特征；当r_i中同时存在正值和负值时特征v_i表现为图像灰度块之间的差异，即纹理特征，为使两种特征在总体数量上保持平衡，需要产生一个与原始稀疏测量矩阵互补的映射矩阵，互补的稀疏测量矩阵的生成公式如下所示：

其中randi(2)表示随机产生值为1或2的整数，k表示r_1i中的第k个非零值，两种稀疏测量矩阵中元素分布的示意图如图5所示，图5中(a)是原始稀疏测量矩阵R₁的元素分布，图5中(b)是与之互补的系数测量矩阵R₂的元素分布(黑色表示负值，灰色表示正值，白色表示零)。

步骤3，分类器的训练与更新的详细步骤如下：

步骤3-1，分类器的构建：对于每一个样本在低维特征空间中的表示为假设低维特征空间中的每个元素之间都服从独立分布，构建一个朴素贝叶斯分类器如下所示：

$H\left(V\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

假设先验概率p(y＝1)＝p(y＝0)，y∈{0,1}表示样本的类别标签，并假设条件概率p(v_i|y＝1)和p(v_i|y＝0)都服从高斯分布，即：

$p\left(v_i\right|y=1)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1),p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0),$

式中和分别表示条件概率p(v_i|y＝1)高斯分布的均值和标准差，和分别表示条件概率p(v_i|y＝0)高斯分布的均值和标准差， ${\mathrm{\σ}}^1=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=1}^{n-1}{(v_i-{\mathrm{\μ}}^1)}^2},$ μ¹、σ¹分别为正样本的均值与标准差， ${\mathrm{\μ}}^0=\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=0}^{n-1}{v}_i,$ ${\mathrm{\σ}}^0=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=1}^{n-1}{(v_i-{\mathrm{\μ}}^1)}^2},$ μ⁰、σ⁰分别为背景样本的均值与标准差；

步骤3-2，多特征融合：

由于训练样本使用了源领域样本和目标领域样本，并且每个领域都使用R₁和R₂两个稀疏测量矩阵同时提取样本的压缩域特征V和与之互补的特征V′，使用加权平均的弱耦合方式将两种互补的特征进行融合，则基于融合特征的强分类器的表示形式如下：

$\begin{array}{c}{H}_{*}\left(V\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)+\log \left(\frac{p\left(v_i^{\′}\right|y=1)}{p\left(v_i^{\′}\right|y=0)}\right))\\ =\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(p\left(v_i\right|y=1)\right)-\log \left(p\left(v_i\right|y=0)\right)+\log \left(p\left(v_i^{\′}\right|y=1)\right)-\log \left(p\left(v_i^{\′}\right|y=0)\right))\end{array},$

步骤3-3，强分类器的构建：使用源领域样本和目标领域样本分别训练各自的朴素贝叶斯强分类器H_S和H_T，计算方式如步骤3-2所示，并经过加权和构成最终的强分类器H，其形式如下：

$H=\frac{N}{N+P}{H}_S+\frac{P}{N+P}{H}_T,$

其中H_S表示由源领域样本训练得到的强分类器，H_T表示由目标领域样本训练得到的强分类器，目标领域样本集中正样本的空间为P，源领域样本集中正样本的空间为N。

两个分类器的权重可以看成是两个领域的样本在强分类器H的训练过程中贡献的大小，根据不同的跟踪场景来调整各领域样本的权重，以提高分类器H的性能。通过控制α值的大小可以改变P的值，因此两个强分类器的权重可以通过α和N来进行调节。对于目标存在部分遮挡的场景，需要提高N的值来保存更多与目标相关的信息；对于目标外形变化较快的场景需要加大P的值以弱化不同分布训练样本的影响。

步骤3-4，分类器参数更新：每次跟踪得到新的目标后需要对分类器的参数进行在线更新，更新公式如下所示：

正样本的参数更新方式如下：

${\mathrm{\μ}}_i^1\←\mathrm{\λ}{\mathrm{\μ}}_i^1+(1-\mathrm{\λ}){\mathrm{\μ}}^1$

${\mathrm{\σ}}_i^1\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2}$

负样本的参数更新方式如下：

${\mathrm{\μ}}_i^0\←\mathrm{\λ}{\mathrm{\μ}}_i^0+(1-\mathrm{\λ}){\mathrm{\μ}}^0$

${\mathrm{\σ}}_i^0\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^0\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^0\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^0-{\mathrm{\μ}}^0)}^2}$

λ＞0表示学习率。

为了预判遮挡的发生，根据强分类器H(v)在待测样本上的最大置信值，设置一个阈值公式如下：

$\mathrm{Th}=\frac{1}{1+e^{-\max \left(H\left(v\right)\right)}}$

如果阈值Th的值大于0.5，说明此时强分类器对目标的分类正确，即该测试样本为正样本的概率大于为负的概率。如果Th的值小于0.5，说明强分类器所选出的目标与真实目标存在较大偏差，此时目标可能发生大面积遮挡，如果将这个跟踪到的目标作为正样本加入到源领域的正样本中进行分类器的训练会引入背景噪声，造成分类器的更新产生误差累积，因此当发现某帧中阈值Th小于0.5时，暂停对源领域训练样本的更新，直到后续视频帧中发现阈值Th大于0.5时才再次使用跟踪到的目标对源领域训练样本集进行更新。图6展示了发生遮挡时本发明跟踪效果与原始压缩跟踪算法跟踪效果对比，实线框表示本发明跟踪到的目标，虚线框表示原始压缩跟踪算法跟踪到的目标。

步骤4，由粗到精的二次搜索策略的详细步骤如下：

步骤4-1，初次搜索：采用由粗到精的搜索策略来对目标进行定位，假设在第t-1帧跟踪到的目标所在的位置为l_t-1，为搜索第t帧中目标的位置，首先以t-1帧目标位置的中心为圆心，以γ_c＝25(像素)为半径，Δ_c＝4(像素)为步长产生搜索窗口，即使用强分类器H对这些搜索窗口进行分类，找到响应值最大的窗口所在的位置l_t′；

步骤4-2，二次搜索：以位置l_t′为圆心，以γ_f＝10(像素)为半径，Δ_f＝1(像素)为步长产生二次搜索窗口，即使用强分类器H对这些搜索窗口进行分类，找到置信值最大的窗口所在的位置l_t作为最终跟踪到的目标；

实施例

本实施例的实验硬件环境是：Inter-Core i5-3470 3.2GHz CPU,4GB内存，编程环境是Visual Studio2010，OpenCV2.4.2，测试用的视频主要来自于参考文献：Visual TrackerBenchmark中的数据集。

本实施例的实施过程中参数设置如下：正样本选择半径α＝4，负样本选择内半径γ＝8，外半径β＝30，初次搜索窗口半径γ_c＝25，步长Δ_c＝4，二次搜索窗口半径γ_f＝10，步长Δ_f＝1，压缩空间维数m＝60，矩形窗口数量在2-4之间随机选择，更新参数λ在0.75到0.9之间，默认为0.85，源领域训练样本集中的正样本数N＝30～80之间，默认为45。

当目标运动或变化较快时，λ将降低以加快学习；对于存在长时间部分遮挡的视频场景，需要提高N的值来保存更多与目标相关的信息；对于目标外形变化较快的场景需要降低N的值以弱化不同分布训练样本的影响；设置γ_c＝25，使用密集式扫描产生的搜索窗口的总数量大约为1962个(即假设所有搜索窗口都在图像范围内)，而使用由粗到精的二次搜索策略产生的搜索窗口的总数为436(即)，这样可以减少78％左右的搜索时间，大大提高整个跟踪系统的运行速度。

为进一步说明本发明在目标跟踪方面的准确性和有效性，本发明在多个公共测试视频上进行了验证性实验，并与其它几种跟踪算法进行了对比，包括CT(参考文献Real-time compressive tracking)、ITB(参考文献Instance transfer boosting for objecttracking)、TLD(参考文献Tracking-Learning-Detection)、MIL(参考文献Robust objecttracking with online multiple instance learning)、WMIL(参考文献Real-time visual trackingvia online weighted multiple instance learning)、OAB(参考文献On-line boosting andvision)、SemiOAB(参考文献Semi-Supervised Online Boosting for Robust Tracking)，使用跟踪成功率(SR)来评估各算法的性能，跟踪成功率SR通过计算跟踪到的目标窗口与目标的真实窗口之间的重叠率得到。假设在第t帧时，ROI_G为目标的真实窗口，ROI_T为跟踪到的目标窗口，则如果score^t＞0.5表示在第t帧成功跟踪到目标，其中area(ROI_G∩ROI_T)表示两个窗口相交部分的面积，area(ROI_T∪ROI_T)表示两个窗口相并的面积，。具体计算公式如下：

$\begin{array}{c}\mathrm{area}({\mathrm{ROI}}_G\∩{\mathrm{ROI}}_T)=(\min (x_g^t+w_g,x_o^t+w_o)-\max (x_g^t,x_o^t))\×\\ (\min (y_g^t+h_g,y_o^t+h_o)-\max (y_g^t,y_o^t))\end{array}$

area(ROI_G∪ROI_T)＝w_gh_g+w_oh_o-area(ROI_G∩ROI_T)

目标跟踪系统在某个测试视频上的跟踪成功率SR的计算公式为：

$\mathrm{SR}=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}({\mathrm{score}}^t>0.5)\×100\%$

其中T表示单个测试视频总的帧数，各算法在测试视频上的跟踪成功率(以百分比的形式表示)在表1中列出，粗体表示最优的算法，斜体表示次优的算法。

表1

本发明使用了多特征联合表征目标，引入辅助样本用于分类器的训练和更新，并对目标遮挡进行预判，防止引入负样本信息到正样本中造成分类器的错误更新，并使用由粗到精的二次搜索策略加速目标搜索的过程。综合以上的方法，本发明具有跟踪精度高，实时性强，跟踪结果稳定的特点。

本发明提供了一种多特征迁移学习的实时压缩跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种多特征迁移学习的实时压缩跟踪方法，其特征在于，包括以下步骤：

步骤1，从视频的当前帧和先前帧跟踪到目标的帧中提取出训练样本用于分类器的训练，训练样本包括目标领域样本和源领域样本，所述当前帧为第t帧，先前帧为第1帧到第t-1帧；

步骤2，从训练样本中提取出目标领域样本和源领域样本的特征，用不同尺寸的矩形框与训练样本卷积得到对应尺寸的特征，将所述特征串联得到高维特征，分别采用两个互补的稀疏映射矩阵将高维特征投影到压缩域的低维特征，得到目标领域样本的压缩域特征和源领域样本的压缩域特征；

步骤3，根据目标领域样本的压缩域特征和源领域样本的压缩域特征分别构建各自的朴素贝叶斯分类器，并融合形成最终的强分类器，使用所述最终的强分类器对待检测样本进行分类，所述待检测样本为t+1帧中提取出的样本，当待检测样本的最大响应值小于阈值时，暂停训练样本中源领域样本的更新，当待检测样本的最大响应值大于或等于阈值时，重启对训练样本中源领域样本的更新；

步骤4，采用由粗到精的二次搜索策略，对于待检测样本中的t+1帧以当前帧目标所在的位置为圆心，以半径γ_c＝25，以步长Δ_c＝4产生扫描窗口，半径γ_c和步长Δ_c的单位为像素，使用最终的强分类器找到响应值最大的窗口，并以此为圆心，以半径γ_f＝10(像素)，以步长Δ_f＝1(像素)再次产生扫描窗口，使用最终的强分类器找到响应值最大的窗口作为最终跟踪到的目标。

2.如权利要求1所述的一种多特征迁移学习的实时压缩跟踪方法，其特征在于，步骤1包括以下步骤：

步骤1-1，提取目标领域样本：从跟踪到目标的当前帧中提取目标领域样本，l_t(z₀)表示当前帧跟踪到的目标中心位置，z₀表示当前帧跟踪到的目标窗口，在距离目标位置α个像素范围内采集正样本，正样本用Z^α＝{z|||l_t(z)-l_t(z₀)||＜α}表示，其中，l_t(z)表示正样本的中心位置，z表示正样本所在的窗口，并按照正样本与目标位置之间的距离按从小到大的顺序进行排序，在目标附近的环形区域内随机采集负样本，负样本用Z^γ,β＝{z|γ＜||l_t(z)-l_t(z₀)||＜β}表示，γ表示环形区域的内半径，γ>α，β表示环形区域的外半径，采集的正负样本组成目标领域样本；

步骤1-2，提取源领域样本：从先前帧跟踪到目标的视频帧中提取源领域样本，源领域样本中正样本的空间为N，在初始N帧，把跟踪到的目标放入源领域样本集的正样本空间中，正样本空间满后，用第t-1帧跟踪到的目标替换正样本中最先加入的样本，负样本由目标领域样本中的负样本复制得到。

3.如权利要求2所述的一种多特征迁移学习的实时压缩跟踪方法，其特征在于，步骤2包括以下步骤：

步骤2-1，计算训练样本特征：使用矩形特征描述训练样本，每个矩形特征对应了图像在这个矩形区域内的像素和，矩形的宽在1到w之间变化，高在1到h之间变化，w和h分别表示样本的宽和高，矩形区域的位置随机选择，使用积分图加速矩形特征的计算；

步骤2-2，生成原始稀疏测量矩阵：根据步骤2-1在一个样本上产生的矩形特征经过串联后得到样本的特征空间x＝(x₁,...,x_m)^T，表示样本集，x_m表示特征空间x中的第m个特征，其中m＝(wh)²，特征空间x的维数在10⁶～10¹⁰之间，使用原始稀疏测量矩阵对特征空间进行压缩，原始稀疏测量矩阵r_ij定义如下：

其中i表示矩阵的行，其范围由低维空间的维数决定，j表示矩阵的列，j∈[1,m]，参数s取值为2或3，低维特征v_i的提取公式如下所示：

$v_i=\underset{j}{\mathrm{\Σ}}{r}_{\mathrm{ij}}{x}_j,$

其中x_j表示特征空间x中的第j个特征，v_i表示压缩域的第i个低维特征；

步骤2-3，生成互补稀疏测量矩阵：互补稀疏测量矩阵的生成公式如下所示：

其中randi(2)表示随机产生值为1或2的整数，k表示r_i中的第k个非零值；

通过低维特征的提取公式得到与低维特征v_i互补的特征v′_i，当r_i中同时存在正值和负值时，特征v_i表现出图像块间灰度的差异，体现为纹理特征，v′_i表现出图像块灰度的均值，体现为灰度均值特征。

4.如权利要求3所述的一种多特征迁移学习的实时压缩跟踪方法，其特征在于，步骤3包括以下步骤：

步骤3-1，构建朴素贝叶斯分类器：对于每一个样本在低维特征空间中的表示为n表示低维特征空间的维数，构建一个朴素贝叶斯分类器H(V)：

$H\left(V\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

i取值范围1～n，v_i表示第i个低维特征空间，先验概率p(y＝1)＝p(y＝0)，y表示样本的类别标签，其值为0或1，为0表示负样本，为1表示正样本，条件概率p(v_i|y＝1)和p(v_i|y＝0)服从高斯分布，即：

$p\left(v_i\right|y=1)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1),p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0),$

式中和分别表示条件概率p(v_i|y＝1)高斯分布的均值和方差，和分别表示条件概率p(v_i|y＝0)高斯分布的均值和方差， ${\mathrm{\σ}}^1=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=1}^{n-1}{(v_i-{\mathrm{\μ}}^1)}^2},$ μ¹、σ¹分别为正样本的均值与标准差， ${\mathrm{\μ}}^0=\frac{1}{n}{\mathrm{\Σ}}_{i=0|y=0}^{n-1}{v}_i,$ μ⁰、σ⁰分别为负样本的均值与标准差；

步骤3-2，多特征融合：融合目标领域样本的压缩域特征和源领域样本的压缩域特征，采用弱耦合的方式，通过加权和的方式进行特征的融合，两种特征保持1:1的数量比例，两种特征权重相同，基于融合特征的强分类器H_*(V)为：

$\begin{array}{c}{H}_{*}\left(V\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)+\log \left(\frac{p\left(v_i^{\′}\right|y=1)}{p\left(v_i^{\′}\right|y=0)}\right))\\ =\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\log \left(p\left(v_i\right|y=1)\right)-\log \left(p\left(v_i\right|y=0)\right)+\log \left(p\left(v_i^{\′}\right|y=1)\right)-\log \left(p\left(v_i^{\′}\right|y=0)\right))\end{array},$

其中v′_i表示与v_i成互补关系的特征；

步骤3-3，强分类器的构建：使用源领域样本和目标领域样本分别训练各自的朴素贝叶斯强分类器H_S和H_T，并经过加权和构成最终的强分类器H，其形式如下：

$H=\frac{N}{N+P}{H}_S+\frac{P}{N+P}{H}_T,$

其中H_S表示由源领域样本训练得到的强分类器，H_T表示由目标领域样本训练得到的强分类器，目标领域样本集中正样本的空间为P，源领域样本集中正样本的空间为N；

步骤3-4，分类器参数更新：每次跟踪得到新的目标后对分类器的参数进行在线更新，更新公式如下所示：

正样本的参数更新方式如下：

${\mathrm{\μ}}_i^1\←{\mathrm{\λ\μ}}_i^1+(1-\mathrm{\λ}){\mathrm{\μ}}^1,$

${\mathrm{\σ}}_i^1\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2},$

负样本的参数更新方式如下：

${\mathrm{\μ}}_i^0\←{\mathrm{\λ\μ}}_i^0+(1-\mathrm{\λ}){\mathrm{\μ}}^0,$

${\mathrm{\σ}}_i^0\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^0\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^0\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^0-{\mathrm{\μ}}^0)}^2},$

λ表示学习率，λ＞0，当待检测样本的最大响应值小于阈值时，暂停分类器参数的更新，计算阈值Th公式如下：

$\mathrm{Th}=\frac{1}{1+e^{-\max \left(H\left(v\right)\right)}},$

当阈值Th的值小于0.5，暂停对分类器参数的更新，直到后续视频帧中发现阈值Th大于或等于0.5时再次使用跟踪到的目标对分类器参数进行更新。

5.如权利要求4所述的一种多特征迁移学习的实时压缩跟踪方法，其特征在于，步骤4包括以下步骤：

步骤4-1，初次搜索：采用由粗到精的搜索策略来对目标进行定位，假设在第t-1帧跟踪到的目标所在的位置为l_t-1，为搜索第t帧中目标的位置，首先以t-1帧目标位置的中心为圆心，以γ_c为半径，Δ_c为步长产生搜索窗口，即其中，Z表示搜索窗口(即待分类样本)，l(Z)表示搜索窗口的中心位置，表示以γ_c为半径、Δ_c为步长产生的搜索窗口的集合，使用步骤3-3得到的强分类器H对所述搜索窗口进行分类，找到响应值最大的窗口所在的位置l_t′；

步骤4-2，二次搜索：以位置l_t′为圆心，以γ_f为半径，Δ_f为步长产生二次搜索窗口，即 表示以γ_f为半径，Δ_f为步长产生的搜索窗口的集合，使用步骤3-3得到的强分类器H对所述二次搜索窗口进行分类，找到响应值最大的窗口所在的位置l_t作为最终跟踪到的目标。