CN108921877A - 一种基于宽度学习的长期目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于宽度学习的长期目标跟踪算法，包括以下步骤：建立宽度学习系统；基于宽度学习系统的跟踪和基于加速稳健特征算法的全图检测机制。本发明是基于宽度学习系统的长期目标跟踪，而宽度学习架构层次较浅，对计算资源要求较低使得其能够在低端设备上进行部署且不会损失太大的精度。本发明得到目标跟踪模型，训练速度快，重构代价小，时间成本大大降低，并且对目标跟踪过程中发生的形变、旋转、遮挡的检测也具有很大的优越性。由于本发明应用基于SURF算法的全图检测机制，针对目标完全被遮挡，宽度学习系统判断目标丢失的状态下，当目标重新出现时能够快速获取目标信息，更新目标位置，使得跟踪效果更加稳定、鲁棒、可靠。

Description

一种基于宽度学习的长期目标跟踪算法

技术领域

本发明涉及计算机视觉技术领域的目标跟踪，特别涉及一种基于宽度学习的长期目标跟踪算法。

背景技术

目标跟踪在视觉导航、行为识别、智能交通、环境监测、战场侦察、军事打击等众多领域有非常广泛的研究和应用。目前，经典的跟踪方法对于目标的缩放、旋转、遮挡等适应性不佳；研究比较热门的以尺度不变特征变换方法即SIFT算法为代表，SIFT算法通过计算多个尺度下不同窗口的高斯滤波处理图像来实现对目标的多尺度缩放、旋转、模糊等的鲁棒性，但其计算量大、复杂度高，难以满足实时处理需求；而均值漂移理论采用直方图作为特征并用核概率密度估计的方法实现目标跟踪，其虽然对目标的遮挡、旋转有一定鲁棒性，但对于大角度的旋转以及超平面旋转则效果不佳；以粒子滤波、卡尔曼滤波为代表的基于滤波理论的目标跟踪方法以滤波预测为核心思想，对目标的部分和全部遮挡有很好的鲁棒性，但是目标跟踪尚有很多问题，如目标的大尺度缩放、旋转、超平面旋转、光照变化、部分遮挡、模糊、目标在视场中消失后的重新捕获等。总之，目前还没有很好的完整的解决方案，随着深度学习在图像领域的应用，对目标跟踪的准确性和实时性都有了较大的提升，而且针对一般滤波算法的缺点也得到了改进。但是，深度学习网络复杂，训练周期长，其构建和更新过程时间长、计算量大、跟踪的实时性需要加强。本发明所提出的方法从目标的建模、跟踪、检测，到联合、学习更新是一个完整的实现长期、稳定目标跟踪的构架，可以很好解决以上所有问题。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种网络简单、训练速度快、网络重构代价小，能保证跟踪的实时性和准确性的基于宽度学习的长期目标跟踪算法。

为了实现上述目的，本发明的技术方案如下：

一种基于宽度学习的长期目标跟踪算法，包括以下步骤：

A、建立宽度学习系统

通过预先经过训练好的目标跟踪模型对视频流中每一帧图像进行目标检测，所述目标跟踪模型为宽度学习网络结构，为两层网络，即输入层和输出层。提取图像特征生成特征节点和特征节点的增强节点共同作为宽度学习系统的输入层；

特征节点Z_i通过函数得到，即将输入图像数据X映射并产生第i组特征节点Z_i。若产生n个特征节点，表达如下：

其中，是权重系数，是偏置项，两者都是随机产生的。给定记号Zⁱ≡[Z₁...Z_i]表示所有的输入图像映射的特征节点。

增强节点是对特征节点的所代表的特征进行增强，通过函数得到，被记为H_j，前j组所有增强节点被记为H^j≡[H₁,...,H_j]。是权重系数，是偏置项，两者都是随机产生的。第m组增强节点表示为：

此时宽度学习系统用如下公式表示：

整个宽度学习系统的权重参数W^m通过伪逆得到结果，设Y为宽度学习系统的输出值，即：

Y＝V₃×W^m

则通过伪逆得：

c为正则化参数，V₃是特征节点与增强节点列拼接，共同作为输入层，表达式为：

V₃＝(Zⁿ H^m)

在宽度学习系统训练过程中，Y的值为训练集给定输出值。求解得到W^m，宽度学习系统的训练就完成了。

B、基于宽度学习系统的跟踪和基于加速稳健特征算法的全图检测机制

B1、读取图像序列和宽度学习系统训练的目标跟踪模型。

B2、读取图像目标位置信息，如果是第一帧则取初始位置；如果为空则读取下一帧图像，累计丢失帧数，进入步骤B5；如果目标位置存在，读取下一帧图像，再根据目标位置周围选取多张图像作为输入图像。为方便起见，将输入图像称为备选图像。

B3、将备选图像输入到宽度学习系统预先训练的目标跟踪模型，获得输出值，即每张备选图像的评价值。

B4、而当所有的备选图像评价值小于预设阈值时，进入步骤B5；否则，评价值最高的备选图像位置，即认定为目标所在位置。将目标物位置保存，进入步骤B2。

B5、统计累计丢失帧数，未到规定值时，进入步骤B2；否则，判断当前目标为长期丢失状态，需要进行全图范围内的重新定位，采用基于加速稳健特征算法即SURF算法的全图检测机制，应用SURF算法，建立Hessian矩阵，生成当前图像的特征点和预先保存含有目标的参考图像的特征点，计算两幅图像的特征点的欧氏距离确定匹配度；欧氏距离越短，代表两个特征点的匹配度越好。当匹配度大于预设阈值时，表示成功匹配，记录当前特征点。

B6、成功匹配的特征点达到规定量时，认为目标已经出现，统计记录的特征点位置信息加权平均找到中心点，中心点即为重新捕获的目标位置。保存目标位置，丢失帧数归零。否则，认为当前帧目标没有出现，保存目标位置为空，转步骤B2。

与现有技术相比，本发明具有以下有益效果：

1、本发明是基于宽度学习系统的长期目标跟踪，而宽度学习架构层次较浅，对计算资源要求较低使得其能够在低端设备上进行部署且不会损失太大的精度。

2、本发明通过宽度学习进行离线训练，得到目标跟踪模型，训练速度快，重构代价小，时间成本大大降低，并且对目标跟踪过程中发生的形变、旋转、遮挡的检测也具有很大的优越性。

3、由于本发明应用基于SURF算法的全图检测机制，针对目标完全被遮挡，宽度学习系统判断目标丢失的状态下，当目标重新出现时能够快速获取目标信息，更新目标位置，使得跟踪效果更加稳定、鲁棒、可靠。

附图说明

图1是本发明的宽度学习系统结构图。

图2是本发明的实施例过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，为本申请实施例提供的目标跟踪模型的示例图，本申请提供的目标跟踪模型包括一个宽度学习系统(Broad learning system)和一个基于SURF算法的全图检测机制。

下面首先说明目标跟踪模型的训练过程。

本申请实施例基于宽度学习系统提取目标特征。计算特征节点和增强节点到目标值的伪逆是宽度学习中重要的部分。特征节点和增强节点共同作为宽度学习系统的输入。

首先，建立输入数据的特征节点映射。设T_p×q为训练集的训练数据，p为样本个数，q为样本图像像素总数，对T_p×q进行Z分数标准化；为了在生成特征节点时可以直接通过矩阵运算增加偏置项，对T_p×q进行增广，T_p×q最后增加一列，变为T_1(p×(q+1))。然后生成每个窗口的特征节点：先生成随机权重矩阵W_e，W_e是一个(q+1)×N₁的随机权重矩阵，其中N₁是每个窗口特征节点的个数，W_e取值(0,1)之间呈均匀分布，得到特征节点H₁，H₁＝T₁×W_e，之后进行归一化；接下来对H₁进行稀疏表示，采用lasso方法找到稀疏矩阵W_β,使得T₁×W_β＝H₁。当前窗口的特征节点为V₁＝normal(T₁×W_β)，normal表示归一化。设N₂为迭代次数；并把上述生成特征节点步骤迭代N₂次。这样，最后得到特征节点矩阵y是一个p×(N₂×N₁)的矩阵。在本发明实施例中N₁＝10，N₂＝6。

之后再生成增强节点，首先对特征节点矩阵y增加偏置项并进行标准化，得到H₂；然后设N₃为增强节点数，在本发明实施例中，N₃＝150。增强节点的系数矩阵W_h大小为(N₁×N₂+1)×N₃且经过正交规范化的随机矩阵；对增强节点进行激活，则：

s为增强节点的缩放尺度，tansig是BP神经网络中常用的激活函数，可以最大程度将增强节点所表达的特征进行激活；增强节点不用稀疏表示，也不用窗口迭代，最终得到生成网络的输入V₃＝[y V₂]，每个样本的特征维度为N₁×N₂+N₃。

基于神经网络的分类主要是求解输入到输出的映射，而这个过程就要求解输入量的逆，但对于输入量来说，有时求不出逆或者根本没有逆，因此需要求伪逆来近似代替矩阵的真逆。在求解伪逆的过程中，Y＝V₃×W，则在训练过程中，在本发明实施例中c＝2^-30，Y的取值为训练集给定的输出值。

这样整个宽度学习系统就训练完成，宽度学习系统结构如图1所示，在本发明实施例中训练集有3000张训练样本，每张图像的大小为36×36。

本实例目标跟踪的具体步骤如下：

1、读取图像序列和宽度学习系统训练的目标模型。

2、读取图像目标位置信息(如果是第一帧则取初始位置)，如果为空则读取下一帧图像，累计丢失帧数，进入步骤5；如果目标位置位置存在，读取下一帧图像，在根据目标位置周围选取9张图像，步长为4，去除超过图像边界的窗口，剩余的图像归一化为36×36，作为输入图像。

3、将备选图像输入到宽度学习系统预先训练的目标跟踪模型，获得输出值，即每张备选图像的评价值。

4、而当所有的备选图像评价值小于0.4时，进入步骤5；否则，评价值最高的备选图像位置，即认定为目标所在位置。将目标物位置保存。进入步骤2。

5、统计累计丢失帧数，小于5帧时，进入步骤2；否则，判断当前目标为长期丢失状态，需要进行全图范围内的重新定位，采用基于加速稳健特征算法即SURF算法的全图检测机制，应用SURF算法，建立Hessian矩阵，生成当前图像的特征点和预先保存含有目标的参考图像的特征点，计算两幅图像特征点的欧氏距离确定匹配度。当匹配度大于0.7时，表示成功匹配，记录当前特征点。

6、成功匹配的特征点的个数大于等于4时，认为目标已经出现，统计记录的特征点位置信息加权平均找到中心点，中心点即为重新捕获的目标位置。保存目标位置，丢失帧数归零；否则，认为当前帧目标没有出现，保存目标位置为空，进入步骤2。

完整的基于宽度学习的长期目标跟踪算法的流程图如图2所示。

Claims (1)

1.一种基于宽度学习的长期目标跟踪算法，其特征在于：包括以下步骤：

A、建立宽度学习系统

通过预先经过训练好的目标跟踪模型对视频流中每一帧图像进行目标检测，所述目标跟踪模型为宽度学习网络结构，包括两层网络，包括输入层和输出层；提取图像特征生成特征节点和特征节点的增强节点共同作为宽度学习系统的输入层；

特征节点Z_i通过函数得到，即将输入图像数据X映射并产生第i组特征节点Z_i；若产生n个特征节点，表达如下：

其中，是权重系数，是偏置项，两者都是随机产生的；给定记号Zⁱ≡[Z₁...Z_i]表示所有的输入图像映射的特征节点；

增强节点是对特征节点的所代表的特征进行增强，通过函数得到，被记为H_j，前j组所有增强节点被记为H^j≡[H₁,...,H_j]；是权重系数，是偏置项，两者都是随机产生的；第m组增强节点表示为：

此时宽度学习系统用如下公式表示：

整个宽度学习系统的权重参数W^m通过伪逆得到结果，设Y为宽度学习系统的输出值，即：

Y＝V₃×W^m

则通过伪逆得：

W^m＝(V₃ ^T*V₃+I^n+m*c)^-1*V₃ ^T*Y

c为正则化参数，V₃是特征节点与增强节点列拼接，共同作为输入层，表达式为：

V₃＝(Zⁿ H^m)

在宽度学习系统训练过程中，Y的值为训练集给定输出值；求解得到W^m，宽度学习系统的训练就完成了；

B、基于宽度学习系统的跟踪和基于加速稳健特征算法的全图检测机制

B1、读取图像序列和宽度学习系统训练的目标跟踪模型；

B2、读取图像目标位置信息，如果是第一帧则取初始位置；如果为空则读取下一帧图像，累计丢失帧数，进入步骤B5；如果目标位置存在，读取下一帧图像，再根据目标位置周围选取多张图像作为输入图像；为方便起见，将输入图像称为备选图像；

B3、将备选图像输入到宽度学习系统预先训练的目标跟踪模型，获得输出值，即每张备选图像的评价值；

B4、而当所有的备选图像评价值小于预设阈值时，进入步骤B5，否则，评价值最高的备选图像位置，即认定为目标所在位置；将目标物位置保存；进入步骤B2；

B5、统计累计丢失帧数，未到规定值时，进入步骤B2；否则，判断当前目标为长期丢失状态，需要进行全图范围内的重新定位，采用基于加速稳健特征算法即SURF算法的全图检测机制，应用SURF算法，建立Hessian矩阵，生成当前图像的特征点和预先保存含有目标的参考图像的特征点，计算两幅图像的特征点的欧氏距离确定匹配度；欧氏距离越短，代表两个特征点的匹配度越好；当匹配度大于预设阈值时，表示成功匹配，记录当前特征点；

B6、成功匹配的特征点达到规定量时，认为目标已经出现，统计记录的特征点位置信息加权平均找到中心点，中心点即为重新捕获的目标位置；保存目标位置，丢失帧数归零；否则，认为当前帧目标没有出现，保存目标位置为空；，转步骤B2。