CN106846377A - 一种基于颜色属性和主动特征提取的目标跟踪算法 - Google Patents

Abstract

本发明属于视觉跟踪领域，一种基于颜色属性和主动特征提取的目标跟踪算法，解决现有目标跟踪算法速度慢，鲁棒性低和目标跟踪不准确的问题。首先，取第t帧的图像将其灰度化，同时再将图像从RGB色彩空间映射到11维的颜色属性空间，利用主成分分析法将其将到2维，将灰度信息和颜色信息进行结合，然后根据从粗到细的搜索策略，进行采样，之后利用压缩感知理论，通过一个非常稀疏的随机矩阵将提取的高维多尺度图像特征映射到一个低维的子空间，得到一个低维的图像特征，最后基于Fisher信息矩阵构造的准则函数，构建一个强分类器也就是主动特征提取的过程，利用强分类器对特征进行分类，选出分类器反应值最大的那个样本即为跟踪的目标。该方法能够克服上述现有技术的不足，该算法在光照不变性和辨别力上取得了平衡，鲁棒性较好，可以有效解决漂移问题，并能实时地完成在线跟踪，具有重要的现实意义。

Description

一种基于颜色属性和主动特征提取的目标跟踪算法

技术领域

本发明属于视觉跟踪领域，涉及一种基于颜色属性和主动特征提取的压缩目标跟踪算法。

背景技术

目标跟踪是计算机视觉领域中一个非常热门的研究课题，原因在于它在车辆导航、交通监控和人机交互等方面具有重要的意义。尽管目标跟踪这个课题被研究了几十年，许许多多的跟踪算法被提出，但是它仍然是一个非常具有挑战性的问题。因为目标外观受各种因素的干扰，例如，光照变化、姿态变化、完全或部分遮挡以及突然的运动等等。因此，在上述因素的干扰下，如何设计一个强大的表观模型是开发一个高性能跟踪系统的关键问题。

现有大部分的视觉跟踪器依赖于灰度信息或使用简单的颜色信息表示来表示图片，然而使用图像的灰度信息将造成图像信息的丢失。至今为止目标跟踪已经获得了较大的进步，但就颜色信息来说却只进行了简单的颜色空间转换。并且利用颜色信息进行跟踪却是一件很难的事情，因为颜色信息测量的结果往往变化很大，原因在于光照变换、阴影、相机位置和目标几何位置的变化。因此，在跟踪问题上，所需要的颜色特征应该被有效的计算并拥有一定程度的光度不变性和较高的辨别能力。

跟踪算法依据所用的表观模型可分为生成法和鉴别法两类。鉴别法就是将目标跟踪看成一个二值分类问题来区分目标对象和背景信息，其中最具代表性的就是在线多实例学习跟踪算法。但是它有些不足：当分类器所选取的特征效率不高时，为了使分类器拥有足够的辨别能力，就必须从特征集中选取相对多的特征，这将加大算法的时间复杂度；选取的特征越多，包含低效特征的可能 性就越大，而低鉴别度特征势必会降低分类器的性能而且造成模板漂移；它没有考虑各个正样本对包的不同贡献程度，导致分类器提取到低效的正样本可能性增大。

本发明提出了一种基于颜色属性和主动特征提取的压缩目标跟踪算法。首先将颜色分为11类，就是将RGB三种颜色细化为黑色，蓝色，棕色，灰色，绿色，橙色，粉红色，紫色，红色，白色和黄色。然后，通过主成分分析法中降维的思想将11维特征降为2维，从而达到实时的选择比较显著的颜色信息。为了改善在线多实例学习跟踪算法，我们通过优化包的费舍尔信息函数来进行特征提取，以便能提取到更加有效的特征。

发明内容

本发明提出了一种基于颜色属性和主动特征提取的压缩目标跟踪算法，目的在于克服上述现有技术的不足，得到一种鲁棒性高、准确率高的实时目标跟踪算法。

为了实现上述目的，本发明的技术方案为：

一种基于颜色属性和主动特征提取的压缩目标跟踪算法，包括以下步骤：

第一步，取第t帧图像，将其灰度化，再将图像的灰度值规范到[-0.5,0.5]这个区间之内，如下所示：

其中，im为原始图像，z_npca为规范后的图像的灰度值；

第二步，通过由谷歌图像搜索自动学习到的映射图将原始图像由RGB色彩空间映射到11维的颜色属性空间；

第三步，通过使以下重构误差最小的方式，将11维的颜色属性子空间降到2维

其中，MN为图像像素总数，x(m,n)为位置在(m,n)处像素的11维颜色属性，B为映射矩阵，且上述降维过程可以通过主成分分析法(PCA)来实现；

第四步，将上述三步得到的结果即灰度特征和颜色属性特征进行结合，得到一个具有三通道的图像；

第五步，将图像中三通道的值相加之后，对图像进行积分，得到一个积分图像；

第六步，粗采样得到一个样本集即一个图像块集合D^rc＝{z|||I(z)-I_t-1||＜r_c}，其中，I_t-1为t-1帧中目标的位置，Δ_c为粗采样的步长，设置为4，r_c为采样范围，设置为25；

第七步，为了解决尺度问题，构建了一个高维多尺度的图像特征向量来表示每一个样本。对于每一个样本我们通过将z与一系列多尺度的矩形滤波器进行卷积计算来表示它，矩形滤波器定义为

其中，i和j分别为矩形滤波器的宽和高。每一个滤波后的图像用一个列向量来表示，然后这些列向量连接起来构成一个高维多尺度的图像特征向量其中，m＝(wh)²，且在10⁶～10¹⁰；

第八步，基于压缩感知理论，通过一个非常稀疏的随机矩阵将一个高维多尺度的图像特征向量投影到低维空间中的一个向量上，即v＝Rx。其中，随机矩阵的定义为

其中，s＝m/4，p为出现1,0，-1的概率。这样我们就获得了一个非常稀疏的随机矩阵，且在算法开始的时候被产生，在之后的跟踪过程中一直保持不变。对于中的每一行仅有c(c≤4)个元素需要计算和存储；

第九步，仅仅保存第八步得到的稀疏随机矩阵中的非零元素和与其对应的第七步得到的矩形滤波器的位置，每个样本的特征向量中的每一个分量v_i通过下式来获得

其中，n＝100，r_ij为稀疏随机矩阵中的非零元素，x_j为与其对应的矩形特征，它可以通过第五步得到的积分图像来获得；

第十步，通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类器响应值最大值所对应的那个样本记为I_t'；

第十一步，在当前帧中，基于I_t'进行精确采样D^rf＝{z|||I(z)-I_t'||＜r_f}，其中，r_f为采样范围，设置为10，Δ_f为精采样步长，设置为1。重复前面的第七、八、九步提取压缩后的特征向量；

第十二步，再通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类器响应值最大值所对应的那个样本就是跟踪到的目标，位置记为I_t；

第十三步，基于I_t，在当前帧中最后一次采样得到正负样本集和其中并提取正负样本的特征v(z)；

第十四步，利用上步获得的正负样本的特征对一个个朴素贝叶斯弱分类器 进行更新，朴素贝叶斯分类器定义为

其中，这四个参数通过以下机制被增量更新：

其中，λ＞0是一个学习参数，且

第十五步，基于Fisher信息矩阵构造的准则函数，重新构建一个强分类器H(v)也就是主动特征提取的过程，过程如下：

强分类器的定义为

H(v)＝α^Th(v) (9)

其中，α＝(α₁,…,α_m)^T为一个权向量。

准则函数定义为

F(H_k-1+αh)＝F(α^Th)＝tr(I(α)) (10)

其中，H_k-1为前k-1个弱分类器构成的强分类器，I(α)为Fisher信息矩阵，常被用于主动学习算法中。

对于第十四步更新后的弱分类器集Φ，使(10)式准则函数最小化，得到当前最优的弱分类器

(h_k,α_k)＝arg min F(H_k-1+αh) (11)

从而更新的强分类器为一个图像特征对应一个弱分类器，弱分类器即图像特征有100个，通过主动特征提取算法从中提取了30个图像特征，即一个强分类器由30个弱分类器构成。

本发明的有益效果为：该方法区别于已有方法的特色在于，将图像从RGB色彩空间转换到11维的颜色属性空间，再利用主成分分析法将11维的颜色空间降为2维，然后将灰度信息和颜色特征信息结合。之后利用压缩感知理论，将图像的高维多尺度的特征向量通过一个非常稀疏的随机矩阵映射到一个低维的子空间中，得到的低维特征向量每一个分量的物理意义就是加权的颜色显著程度差。最后基于Fisher信息矩阵构造的准则函数，重新构建一个强分类器也就是主动特征提取的过程。该算法在光照不变性和辨别力上取得了平衡，鲁棒性较好，可以有效解决漂移问题，并能实时地完成在线跟踪。

附图说明

图1是本发明方法的流程示意图；

图2,3,4,5为不同干扰因素下的跟踪结果；

图2biker中的干扰因素为：尺度变化、运动模糊、快速运动、低分辨率；

图3basketball中的干扰因素为：光照变化、遮挡、目标变形、背景杂斑；

图4faceocc1中的干扰因素为：目标被大面积的遮挡；

图5skater中的干扰因素为：尺度变化、目标变形；

具体实施方式

下面结合附图对本发明的实施方式进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实验平台为win10，实验环境为Matlab R2012a。本发明在四个标准的数据集上对提出的算法进行测试：图2的biker，图3的basketball，图4的faceocc1，图5的skater。实现本发明的具体步骤为：

第一步，取图像集中第t帧图像，将其灰度化，再将图像的灰度值规范到 [-0.5,0.5]这个区间之内，如下所示：

其中，im为原始图像，z_npca为规范后的图像的灰度值；

第二步，通过由谷歌图像搜索自动学习到的映射图将原始图像由RGB色彩空间映射到11维的颜色属性空间；

第三步，通过使以下重构误差最小的方式，将11维的颜色属性子空间降到2维

其中，MN为图像像素总数，x(m,n)为位置在(m,n)处像素的11维颜色属性，B为映射矩阵，且上述降维过程可以通过主成分分析法(PCA)来实现；

第四步，将上述三步得到的结果即灰度特征和颜色属性特征进行结合，得到一个具有三通道的图像；

第五步，将图像中三通道的值相加之后，对图像进行积分，得到一个积分图像；

第六步，粗采样得到一个样本集即一个图像块集合D^rc＝{z|||I(z)-I_t-1||＜r_c}，其中，I_t-1为t-1帧中目标的位置，Δ_c为粗采样的步长，设置为4，r_c为采样范围，设置为25；

第七步，为了解决尺度问题，构建了一个高维多尺度的图像特征向量来表示每一个样本。对于每一个样本我们通过将z与一系列多尺度的矩形滤波器进行卷积计算来表示它，矩形滤波器定义为

其中，i和j分别为矩形滤波器的宽和高。每一个滤波后的图像用一个列向量来表示，然后这些列向量连接起来构成一个高维多尺度的图像特征向量其中，m＝(wh)²，且在10⁶～10¹⁰；

第八步，基于压缩感知理论，通过一个非常稀疏的随机矩阵将一个高维多尺度的图像特征向量投影到低维空间中的一个向量上，即v＝Rx。其中，随机矩阵的定义为

其中，s＝m/4，p为出现1,0，-1的概率。这样我们就获得了一个非常稀疏的随机矩阵，且在算法开始的时候被产生，在之后的跟踪过程中一直保持不变。对于中的每一行仅有c(c≤4)个元素需要计算和存储；

第九步，仅仅保存第八步得到的稀疏随机矩阵中的非零元素和与其对应的第七步得到的矩形滤波器的位置，每个样本的特征向量中的每一个分量v_i通过下式来获得

其中，n＝100，r_ij为稀疏随机矩阵中的非零元素，x_j为与其对应的矩形特征，它可以通过第五步得到的积分图像来获得；

第十步，通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类器响应值最大值所对应的那个样本记为I_t'；

第十一步，在当前帧中，基于I_t'进行精确采样D^rf＝{z|||I(z)-I_t'||＜r_f}，其中，r_f为采样范围，设置为10，Δ_f为精采样步长，设置为1。重复前面的第七、八、九步提取压缩后的特征向量；

第十二步，再通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类 器响应值最大值所对应的那个样本就是跟踪到的目标，位置记为I_t；

第十三步，基于I_t，在当前帧中最后一次采样得到正负样本集D^α＝{z||I(z)-I_t||＜α}和其中并提取正负样本的特征v(z)；

第十四步，利用上步获得的正负样本的特征对一个个朴素贝叶斯弱分类器进行更新，朴素贝叶斯分类器定义为

其中，这四个参数通过以下机制被增量更新：

其中，λ＞0是一个学习参数，且

第十五步，基于Fisher信息矩阵构造的准则函数，重新构建一个强分类器H(v)也就是主动特征提取的过程，过程如下：

强分类器的定义为

H(v)＝α^Th(v) (9)

其中，α＝(α₁,…,α_m)^T为一个权向量。

准则函数定义为

F(H_k-1+αh)＝F(α^Th)＝tr(I(α)) (10)

其中，H_k-1为前k-1个弱分类器构成的强分类器，I(α)为Fisher信息矩阵，常被用于主动学习算法中。

对于第十四步更新后的弱分类器集Φ，使(10)式准则函数最小化，得到当 前最优的弱分类器

(h_k,α_k)＝arg min F(H_k-1+αh) (11)

从而更新的强分类器为一个图像特征对应一个弱分类器，弱分类器即图像特征有100个，通过主动特征提取算法从中提取了30个图像特征，即一个强分类器由30个弱分类器构成。

Claims (3)

1.一种基于颜色属性和主动特征提取的目标跟踪算法，其特征在于，包括如下步骤：

第一步，取第t帧图像，将其灰度化，再将图像的灰度值规范到[-0.5,0.5]这个区间之内，如下所示：

其中，im为原始图像，z_npca为规范后的图像的灰度值；

第二步，通过由谷歌图像搜索自动学习到的映射图将原始图像由RGB色彩空间映射到11维的颜色属性空间；

第三步，通过使以下重构误差最小的方式，将11维的颜色属性子空间降到2维

其中，MN为图像像素总数，x(m,n)为位置在(m,n)处像素的11维颜色属性，B为映射矩阵，且上述降维过程可以通过主成分分析法(PCA)来实现；

第四步，将上述三步得到的结果即灰度特征和颜色属性特征进行结合，得到一个具有三通道的图像；

第五步，将图像中三通道的值相加之后，对图像进行积分，得到一个积分图像；

第六步，粗采样得到一个样本集即一个图像块集合D^rc＝{z|||I(z)-I_t-1||＜r_c}，其中，I_t-1为t-1帧中目标的位置，Δ_c为粗采样的步长，设置为4，r_c为采样范围，设置为25；

第七步，为了解决尺度问题，构建了一个高维多尺度的图像特征向量来表示每一个样本。对于每一个样本我们通过将z与一系列多尺度的矩形滤波器进行卷积计算来表示它，矩形滤波器定义为

其中，i和j分别为矩形滤波器的宽和高。每一个滤波后的图像用一个列向量 来表示，然后这些列向量连接起来构成一个高维多尺度的图像特征向量其中，m＝(wh)²，且在10⁶～10¹⁰；

第八步，基于压缩感知理论，通过一个非常稀疏的随机矩阵将一个高维多尺度的图像特征向量投影到低维空间中的一个向量上，即v＝Rx。其中，随机矩阵的定义为

其中，s＝m/4，p为出现1,0，-1的概率。这样我们就获得了一个非常稀疏的随机矩阵，且在算法开始的时候被产生，在之后的跟踪过程中一直保持不变。对于中的每一行仅有c(c≤4)个元素需要计算和存储；

第九步，仅仅保存第八步得到的稀疏随机矩阵中的非零元素和与其对应的第七步得到的矩形滤波器的位置，每个样本的特征向量中的每一个分量v_i通过下式来获得

其中，n＝100，r_ij为稀疏随机矩阵中的非零元素，x_j为与其对应的矩形特征，它可以通过第五步得到的积分图像来获得；

第十步，通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类器响应值最大值所对应的那个样本记为I_t'；

第十一步，在当前帧中，基于I_t'进行精确采样D^rf＝{z|||I(z)-I_t'||＜r_f}，其中，r_f为采样范围，设置为10，Δ_f为精采样步长，设置为1。重复前面的第七、八、九 步提取压缩后的特征向量；

第十二步，再通过朴素贝叶斯强分类器H(v)对特征向量v(z)进行分类，分类器响应值最大值所对应的那个样本就是跟踪到的目标，位置记为I_t；

第十三步，基于I_t，在当前帧中最后一次采样得到正负样本集D^α＝{z|||I(z)-I_t||＜α}和其中并提取正负样本的特征v(z)；

第十四步，利用上步获得的正负样本的特征对一个个朴素贝叶斯弱分类器进行更新，朴素贝叶斯分类器定义为

其中，这四个参数通过以下机制被增量更新：

其中，λ＞0是一个学习参数，且

第十五步，基于Fisher信息矩阵构造的准则函数，重新构建一个强分类器H(v)也就是主动特征提取的过程，过程如下：

强分类器的定义为

H(v)＝α^Th(v) (9)

其中，α＝(α₁,…,α_m)^T为一个权向量。

准则函数定义为

F(H_k-1+αh)＝F(α^Th)＝tr(I(α)) (10)

其中，H_k-1为前k-1个弱分类器构成的强分类器，I(α)为Fisher信息矩阵，常被用 于主动学习算法中。

对于第十四步更新后的弱分类器集Φ，使(10)式准则函数最小化，得到当前最优的弱分类器

(h_k,α_k)＝argminF(H_k-1+αh) (11)

从而更新的强分类器为H(v)＝∑_kh(v)。一个图像特征对应一个弱分类器，弱分类器即图像特征有100个，通过主动特征提取算法从中提取了30个图像特征，即一个强分类器由30个弱分类器构成。

2.根据权利要求1所述的一种基于颜色属性和主动特征提取的目标跟踪算法，其特征在于，所述的第二、三步中将原图像的RGB颜色空间映射到11维的颜色属性空间中，并通过PCA的方法将11维的颜色属性空间降到2维，其中，所说的颜色属性包含黑色，蓝色，棕色，灰色，绿色，橙色，粉红色，紫色，红色，白色和黄色。过程如下：

给定图像映射到11维的颜色属性子空间中为矩阵均值向量为通过下式进行协方差矩阵s的求解

s＝(P-I_p)(P-I_p)^T (11)

对s进行对角化后，可获得其特征值和特征向量，取前两个特征向量，将映射到两维子空间里。

3.根据权利要求1或2所述的一种一种基于颜色属性和主动特征提取的目标跟踪算法，其特征在于，第十五步中所述的基于Fisher信息矩阵构造的准则函数，重新构建一个强分类器H(v)也就是主动特征提取的过程。

将强分类器的定义为

H(v)＝α^Th(v) (12)

其中，α＝(α₁,…,α_m)^T为一个权向量，弱分类器向量h(v)＝(h₁,…,h_m)^T中的每一个分量代表一个单层决策树函数并用来返回一个二值类标签1或者-1。为了构建出强分类器H(v)，得先通过参数估计的方法来得到相应的权向量α。

Cramer-Rao不等式表示，如果α能够被n个独立同分布p(y|α)的样本估计的话，对于α的无偏估计t_n来说，它的协方差cov(t_n)满足其中I(α)为Fisher信息矩阵，定义如下：

Fisher信息矩阵表示分类器模型的整体不确定性，经常被用在主动学习算法中。

为了衡量本发明中分类器的不确定程度，我们定义了以下基于包概率样本的Fisher信息矩阵

其中，y_i∈{0,1}是包的标签，δI_m(δ＞0，I_m是单位矩阵)保证了I(α)为非奇异矩阵。δ是与弱分类器无关的阻尼参数，对特征的选取过程没有影响。根据MIL跟踪器，我们可获得：

p(y_i＝1|X_i,α)＝1-Π_j(1-σ(α^Th(x_ij))),p(y_i＝0|X_i,α)＝1-Π_j(1-σ(α^Th(x_ij)))(15)

Fisher信息矩阵的逆矩阵I(α)^-1是α的协方差矩阵的下界，更特别的是，det(I(α))^-1是权向量α＝(α₁,…,α_m)^T中各元素方差积的下界，在进行特征选择的时候，我们希望权向量α的方差尽可能小。因此，Liao等人提出，在主动学习中，选择使det(I(α))值最大的样本来降低分类器模型的不确定程度。但是，由式(14)很难计算出det(I(α))。

由于I(α)是一个正定对称矩阵，其所有的特征值{λ_i＞0,i＝1,…,m}都是正的，所以我们能够得到以下不等式：

其中，tr(I(α))可以通过分别计算正包和负包对应项的迹来得到。计算公式如下：

这样我们定义准则函数为

F(H_k-1+αh)＝F(α^Th)＝tr(I(α)) (18)

其中，H_k-1为前k-1个弱分类器构成的强分类器，I(α)为Fisher信息矩阵，常被用于主动学习算法中。

对于第十四步更新后的弱分类器集Φ，使(18)式准则函数最小化，得到当前最优的弱分类器

(h_k,α_k)＝argminF(H_k-1+αh) (19)

从而更新的强分类器为H(v)＝∑_kh(v)。