CN105006003A - 基于随机投影蕨的实时目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于随机投影蕨的实时目标跟踪算法，涉及机器视觉与模式识别技术。它有四大步骤：步骤一：算法初始化模块；步骤二：随机投影蕨训练模块；步骤三：随机投影蕨分类模块；步骤四：训练集更新模块；本发明在随机蕨的基础上引入随机投影，具有计算速度快，内存需求少，跟踪准确，易于嵌入式系统移植等优点，可广泛应用于视觉导航，人机交互，监控系统等诸多领域。

Description

基于随机投影蕨的实时目标跟踪算法

技术领域

本发明涉及计算机视觉与模式识别技术，具体涉及一种基于随机投影蕨的实时目标跟踪算法，可应用于人机交互，视频监控等领域。

背景技术

目标跟踪一直是计算机视觉，模式识别领域中的热点问题，它在视频监控，人机交互，车辆导航等方面都有广泛的应用。目前，目标跟踪面临着很多挑战，例如，光照变化，姿态变化，遮挡干扰等等。当前跟踪算法可以从目标外观表达机制分为两大类：基于生成模型的目标跟踪算法和基于判别模型的目标跟踪算法。其中，生成模型是指构建一个自适应模型，即学习一个具有代表性的外观模型，通过此模型按照某种相似性度量去搜索图像区域，并最小化重构误差。然而，由于生成模型仅仅利用了目标外观信息，因此在背景复杂等情况下容易出现目标框漂移，甚至跟踪失败的情况。判别模型的重点在于设计一种鲁棒的分类器，用以区分前景和背景，分类器的好坏直接决定了算法跟踪性能的优劣。与生成模型相比，基于判别模型的算法由于在训练分类器的过程中添加了来自背景的负样本，因此为目标跟踪提供了更高的鲁棒性，并且分类器的在线训练过程也可以很好的解决目标外观的变化问题。

近些年来，越来越多的机器学习方法被应用于分类器设计中，Zhang等人利用随机投影实现一种基于压缩感知的跟踪算法，将原始图像从高维空间映射到低位空间，并完成分类。在目标识别领域中，Ozuysal等人提出一种简单有效的方法对图像进行描述，即随机蕨(Randomfern)，通过利用随机选择的像素点对的灰度值比较，将一个图像片离散表示为一个二值编码，每个二值编码对应一个后验概率，因此可以利用贝叶斯定理完成对样本的分类。Kalal等人成功将随机蕨作为分类器应用在目标跟踪之中。然而，随机蕨也存在着一些缺陷：首先，每个像素对的灰度值比较仅仅有两个输出，0或者1，因此不能充分地表达目标信息。其次，该方法对内存需求较大，与每棵蕨上的像素点对数呈指数倍关系，因此对于嵌入式系统移植或一些要求高帧率的应用场合是不利的。有关基于随机蕨的目标跟踪的改进算法及技术，在公开号为CN102982340A的申请文件中已有披露，但该方法并没有解决随机蕨的自身缺陷，而且在跟踪的过程中结合了光流法，对内存的消耗更大。

针对以上问题，本发明采用判别模型作为算法设计架构，提出一种基于随机蕨和随机投影的目标跟踪算法，该算法不仅能够实时、鲁棒地对目标进行跟踪，而且内存需求低，十分适合应用在嵌入式系统。

发明内容

1.目的：本发明的目的是提供一种基于随机投影蕨的实时目标跟踪算法，通过选取包含目标更多信息的特征，并引入随机投影矩阵，提高了跟踪效果的实时性和鲁棒性，同时减少算法的内存需求，易于嵌入式系统移植。

2.技术方案：本发明提供一种基于随机投影蕨的实时目标跟踪算法，该算法包括如下步骤：

步骤1、算法初始化模块：在视频序列第一帧中人工标记或自动识别出待跟踪目标，并将图像转换为灰度图像，根据初始目标宽和高的尺寸信息，生成遍历整幅图像的n种尺度的矩形扫描窗口，并计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；

步骤2、随机投影蕨训练模块：对当前帧得到的正负样本，提取图像特征，利用高斯投影矩阵将特征值转换至投影空间，完成对分类器的训练；

步骤3、随机投影蕨分类模块：读入视频序列下一帧，并将图像转换为灰度图像，利用步骤二训练得到的分类器，对当前帧待检测扫描窗口是正样本的后验概率和负样本的后验概率分别进行计算，利用判别函数求得当前帧目标所在位置；

步骤4、训练集更新模块：利用步骤三得到的跟踪结果，在当前帧提取正负样本，完成训练集的更新。

其中，步骤1所述算法初始化模块的具体过程为：在视频序列第一帧中人工标记或自动识别出待跟踪目标，并将图像转换为灰度图像，根据初始目标宽和高的尺寸信息，按照一定的尺度缩放比，水平步长，垂直步长，以及限定扫描窗口的最小尺寸，遍历整幅图像生成n种尺度下的矩形扫描窗口，计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；

其中，步骤2所述随机投影蕨训练模块的具体过程为：首先建立随机投影蕨，蕨的个数为M，每棵蕨包含的像素点对数为S；利用当前帧得到的正负样本，选取像素点对的灰度差值f_i,j作为特征：

f_i,j＝I(d¹(i,j))-I(d²(i,j))             (1)

其中，I表示当前帧待处理的窗口图像,d¹(i,j)和d²(i,j)表示第i棵蕨中第j个像素对的像素点坐标；

利用高斯投影矩阵将所有特征值转换至投影空间，每棵蕨得到一个对应的实数值F_i：

$F_i=\underset{j=1}{\overset{S}{\Σ}}{\mathrm{\ω}}_j{f}_{i,j}---\left(2\right)$

其中，ω_j是一个随机生成的符合高斯分布的实数值；

利用高斯分布模型分别对正样本，负样本的后验概率进行建模，每棵蕨的参数可根据下式进行更新：

$\begin{array}{c}{\mathrm{\μ}}_i^y\←{\mathrm{\λ\μ}}_i^y+(1-\mathrm{\λ}){\mathrm{\μ}}_i^{y,new}\\ {\mathrm{\σ}}_i^y\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^y\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}_i^{y,new}\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^y-{\mathrm{\μ}}_i^{y,new})}^2}\end{array}---\left(3\right)$

其中，λ表示学习速率， ${\mathrm{\μ}}_i^{y,new}=\frac{1}{M}{\mathrm{\Σ}}_{k=0|y}^{M-1}{F}_i\left(k\right),{\mathrm{\σ}}_i^{y,new}=\sqrt{\frac{1}{M}{\mathrm{\Σ}}_{k=0|y}^{M-1}{\left(F_i\right(k)-{\mathrm{\μ}}_i^y)}^2};$

其中，步骤3所述随机投影蕨分类模块的具体过程为：读入视频序列下一帧，并将图像转换为灰度图像；以上一帧跟踪目标框的中心为圆心，以γ＝a×max(height,width)为搜索半径，其中，width，height表示上一帧跟踪目标框的宽和高，a为调整搜索半径的系数，γ的取值可根据上一帧目标框的尺寸进行自适应调整；在当前帧，采用步骤二所述方式求得圆状搜索区域内所有窗口图像的蕨类特征值f_i,j，并通过高斯投影矩阵求得每棵蕨对应的实数值F_i，然后利用F_i对当前帧窗口图片是正样本的后验概率和负样本的后验概率分别进行计算，窗口图像所属类别的判别函数为：

$\begin{array}{c}H\left(F\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{M}p\left(F_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{N}p\left(F_i\right|y=0)p(y=0)}\right)\\ =\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left(p\right(F_i|y=1\left)\right)-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left(p\right(F_i|y=0))\end{array}---\left(4\right)$

其中，y∈{0,1}表示正负样本标签，F＝{F₁,F₂,...F_N}表示对于当前帧任一窗口图像的各个蕨的计算结果总集；

通过求解H(F)最大值所在位置，即为当前帧的跟踪结果；

其中，步骤4所述训练集更新模块的具体过程为：利用步骤三求得当前帧的目标位置，计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；转至步骤二，利用这些正负样本对分类器在线训练；

至此，当前帧图像中目标的位置，尺度参数已经全部得到，接下来要继续对后续帧中的目标进行跟踪，直到跟踪结束。

3.本发明与现有技术相比的优点在于：

(1)相比较于传统随机蕨分类器采用的二值特征，本发明采用了一种取值范围为整个实数域的特征，该特征可以更具体地表达每个像素对的具体灰度值差异，因此对目标的表达更充分；

(2)引入随机投影矩阵，降低了内存需求，易于嵌入式系统移植；

(3)跟踪步骤简单，易于实现，实时性高。

(4)本发明方法不仅可以得到每帧图像中运动目标的位置，而且可以得到运动目标的尺度信息，即可以为具有PTZ功能的摄像机和基于目标跟踪的视觉导引提供控制参数，从而提高整个跟踪系统运行的稳定性。

附图说明

图1为本发明所述的基于随机投影蕨的实时目标跟踪算法的流程图。

具体实施方式

下面结合附图进一步说明本发明。应指出，此处所描述的具体实施方式仅是用于解释本发明，使本发明的目的、技术方案及优点更清晰具体，并不用于限定本发明的保护范围，凡其他围绕本发明的原理而进行的任何改进和完善，应当视为本发明的保护范围。

参照附图1，本发明提供的一种基于随机投影蕨的实时目标跟踪算法，主要包括以下步骤：

步骤1、算法初始化模块：在视频序列第一帧中人工标记或自动识别出待跟踪目标，并将图像转换为灰度图像，根据初始目标宽和高的尺寸信息，生成遍历整幅图像的n种尺度的矩形扫描窗口，并计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；

步骤2、随机投影蕨训练模块：对当前帧得到的正负样本，提取图像特征，利用高斯投影矩阵将特征值转换至投影空间，完成对分类器的训练；

步骤3、随机投影蕨分类模块：读入视频序列下一帧，并将图像转换为灰度图像，利用步骤二训练得到的分类器，对当前帧待检测扫描窗口是正样本的后验概率和负样本的后验概率分别进行计算，利用判别函数求得当前帧目标所在位置；

步骤4、训练集更新模块：利用步骤三得到的跟踪结果，在当前帧提取正负样本，完成训练集的更新。

上述各个步骤的具体实现过程如下：

1.算法初始化模块

读入一段视频序列，在第一帧中人工标记或自动识别出待跟踪的目标，并将图像转换为灰度图像；根据初始目标框的尺寸信息，一般按照如下参数生成各种尺度下的矩形扫描窗口：尺度缩放比取值范围为1.2～1.8，水平步长取图像帧宽度的10％～15％，垂直步长取图像帧高度的10％～15％，最小尺寸限定为15～25个像素，生成遍历整幅图像的10～20种尺度的扫描窗口；计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值(overlap>0.6～0.8)的窗口图像作为正样本，在重叠率小于设定阈值(overlap<0.2～0.4)的窗口图像中随机选择50～100个作为负样本。

2.随机投影蕨训练模块

首先建立随机投影蕨，蕨的个数通常取值为M≤50，每棵蕨包含的像素点对数为S≤6；利用当前帧得到的正负样本，选取像素点对的灰度差值f_i,j作为特征：

f_i,j＝I(d¹(i,j))-I(d²(i,j))              (1)

其中，I表示当前帧待处理的窗口图像,d¹(i,j)和d²(i,j)表示第i棵蕨中第j个像素对的像素点坐标；

利用高斯投影矩阵将所有特征值转换至投影空间，每棵蕨得到一个对应的实数值F_i：

$F_i=\underset{j=1}{\overset{S}{\&Sigma;}}{\mathrm{\&omega;}}_j{f}_{i,j}---\left(2\right)$

其中，ω_j是一个随机生成的符合标准高斯分布的实数值；

利用高斯分布模型分别对正样本，负样本的后验概率进行建模，每棵蕨的参数可根据下式进行更新：

$\begin{array}{c}{\mathrm{\&mu;}}_i^y\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^y+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}_i^{y,new}\\ {\mathrm{\&sigma;}}_i^y\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^y\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}_i^{y,new}\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^y-{\mathrm{\&mu;}}_i^{y,new})}^2}\end{array}---\left(3\right)$

其中，λ取值一般为0.6～0.9， ${\mathrm{\&mu;}}_i^{y,new}=\frac{1}{M}{\mathrm{\&Sigma;}}_{k=0|y}^{M-1}{F}_i\left(k\right),{\mathrm{\&sigma;}}_i^{y,new}=\sqrt{\frac{1}{M}{\mathrm{\&Sigma;}}_{k=0|y}^{M-1}{\left(F_i\right(k)-{\mathrm{\&mu;}}_i^y)}^2}.$

3.随机投影蕨分类模块

读入视频序列下一帧，并将图像转换为灰度图像；以上一帧跟踪目标框的中心为圆心，以γ＝a×max(height,width)为搜索半径，其中，width，height表示上一帧目标框的宽和高，a取值一般为3～5，γ的取值可根据上一帧目标框的尺寸进行自适应调整；在当前帧，采用步骤二所述方式求得圆状搜索区域内所有窗口图像的蕨类特征值f_i,j，并通过高斯投影矩阵求得每棵蕨对应的实数值F_i，然后利用F_i对当前帧窗口图片是正样本的后验概率和负样本的后验概率分别进行计算，窗口图像所属类别的判别函数为：

$\begin{array}{c}H\left(F\right)=\log \left(\frac{{\mathrm{\&Pi;}}_{i=1}^{M}p\left(F_i\right|y=1)p(y=1)}{{\mathrm{\&Pi;}}_{i=1}^{N}p\left(F_i\right|y=0)p(y=0)}\right)\\ =\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\log \left(p\right(F_i|y=1))-\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\log \left(p\right(F_i|y=0))\end{array}---\left(4\right)$

其中，y∈{0,1}表示正负样本标签，F＝{F₁,F₂,...F_N}表示对于当前帧任一窗口图像的各个蕨的计算结果总集；

通过求解H(F)最大值所在位置，即为当前帧的跟踪结果。

4.训练集更新模块

利用步骤三求得当前帧的目标位置，计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值(overlap>0.6～0.8)的窗口图像作为正样本，在重叠率小于设定阈值(overlap<0.2～0.4)的窗口图像中随机选择50～100个作为负样本；转至步骤二，利用这些正负样本对分类器在线训练；

至此，当前帧图像中目标的位置，尺度参数已经全部得到，接下来要继续对后续帧中的目标进行跟踪，直到跟踪结束。

Claims (6)

1.一种基于随机投影蕨的实时目标跟踪算法，其特征在于，该方法包括如下步骤：

步骤1、算法初始化模块：在视频序列第一帧中人工标记或自动识别出待跟踪目标，并将图像转换为灰度图像，根据初始目标宽和高的尺寸信息，生成遍历整幅图像的n种尺度的矩形扫描窗口，并计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；

步骤2、随机投影蕨训练模块：对当前帧得到的正负样本，提取图像特征，利用高斯投影矩阵将特征值转换至投影空间，完成对分类器的训练；

步骤3、随机投影蕨分类模块：读入视频序列下一帧，并将图像转换为灰度图像，利用步骤二训练得到的分类器，对当前帧待检测扫描窗口是正样本的后验概率和负样本的后验概率分别进行计算，利用判别函数求得当前帧目标所在位置；

步骤4、训练集更新模块：利用步骤三得到的跟踪结果，在当前帧提取正负样本，完成训练集的更新。

2.根据权利要求1所述的基于随机投影蕨的实时目标跟踪算法，其特征在于，步骤1所述生成遍历整幅图像的n种尺度的矩形扫描窗口的具体过程为：根据初始目标宽和高的尺寸信息，按照一定的尺度缩放比，水平步长，垂直步长，以及限定扫描窗口的最小尺寸，遍历整幅图像生成n种尺度下的扫描窗口。

3.根据权利要求1所述的基于随机投影蕨的实时目标跟踪算法，其特征在于，步骤1所述的扫描窗口与目标框的重叠率为：扫描窗口与目标框交集的面积除以扫描窗口与目标框并集的面积。

4.根据权利要求1所述的基于随机投影蕨的实时目标跟踪算法，其特征在于，步骤2所述的随机投影蕨训练模块的具体过程为:首先建立随机投影蕨，蕨的个数为M，每棵蕨包含的像素点对数为S；利用当前帧得到的正负样本，选取像素点对的灰度差值f_i,j作为特征：

f_i,j＝I(d¹(i,j))-I(d²(i,j))   (1)

其中，I表示当前帧待处理的窗口图像,d¹(i,j)和d²(i,j)表示第i棵蕨中第j个像素对的像素点坐标；

利用高斯投影矩阵将所有特征值转换至投影空间，每棵蕨得到一个对应的实数值F_i：

$F_i=\underset{j=1}{\overset{S}{\&Sigma;}}{\mathrm{\&omega;}}_j{f}_{i,j}---\left(2\right)$

其中，ω_j是一个随机生成的符合高斯分布的实数值；

利用高斯分布模型分别对正样本，负样本的后验概率进行建模，每棵蕨的参数可根据下式进行更新：

${\mathrm{\&mu;}}_i^y\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^y+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}_i^{y,new}$

${\mathrm{\&sigma;}}_i^y\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^y\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}_i^{y,new}\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^y-{\mathrm{\&mu;}}_i^{y,new})}^2}---\left(3\right)$

其中，λ表示学习速率， ${\mathrm{\&mu;}}_i^{y,new}=\frac{1}{M}{\&Sigma;}_{k=0|y}^{M-1}{F}_i\left(k\right),{\mathrm{\&sigma;}}_i^{y,new}=\sqrt{\frac{1}{M}{\&Sigma;}_{k=0|y}^{M-1}{\left(F_i\right(k)-{\mathrm{\&mu;}}_i^y)}^2}.$

5.根据权利要求1所述的基于随机投影蕨的实时目标跟踪算法，其特征在于，步骤3所述的随机投影蕨分类模块的具体过程为：以上一帧跟踪目标框的中心为圆心，以γ＝a×max(height,width)为搜索半径，其中，width，height表示上一帧跟踪目标框的宽和高，a为调整搜索半径的系数，γ的取值可根据上一帧目标框的尺寸进行自适应调整；在当前帧，采用步骤二所述方式求得圆状搜索区域内所有窗口图像的蕨类特征值f_i,j，并通过高斯投影矩阵求得每棵蕨对应的实数值F_i，然后利用F_i对当前帧窗口图片是正样本的后验概率和负样本的后验概率分别进行计算，窗口图像所属类别的判别函数为：

$\begin{array}{c}H\left(F\right)=\log \left(\frac{{\&Pi;}_{i=1}^{M}p\left(F_i\right|y=1)p(y=1)}{{\&Pi;}_{i=1}^{N}p\left(F_i\right|y=0)p(y=0)}\right)\\ =\underset{i=1}{\overset{M}{\&Sigma;}}\log \left(p\right(F_i|y=1\left)\right)-\underset{i=1}{\overset{M}{\&Sigma;}}\log \left(p\right(F_i|y=0\left)\right)\end{array}---\left(4\right)$

其中，y∈{0,1}表示正负样本标签，F＝{F₁,F₂,...F_N}表示对于当前帧任一窗口图像的各个蕨的计算结果总集；

通过求解H(F)最大值所在位置，即为当前帧的跟踪结果。

6.根据权利要求1所述的基于随机投影蕨的实时目标跟踪算法，其特征在于，步骤4所述的训练集更新模块的具体过程为：利用步骤三求得当前帧的目标位置，计算当前帧所有扫描窗口与目标框的重叠率，取重叠率大于设定阈值的窗口图像作为正样本，在重叠率小于设定阈值的窗口图像中随机选择若干个作为负样本；转至步骤二，利用这些正负样本对分类器在线训练；

至此，当前帧图像中目标的位置，尺度参数已经全部得到，接下来要继续对后续帧中的目标进行跟踪，直到跟踪结束。