CN106056628B - 基于深度卷积神经网络特征融合的目标跟踪方法及系统 - Google Patents

Abstract

本发明提出基于深度卷积神经网络特征融合的目标跟踪方法及系统，涉及模式识别技术领域，该方法包括步骤1，通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；步骤2，计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；步骤3，重复步骤1至步骤2完成所有帧的目标跟踪。本发明合理地融合多种特征的跟踪结果，实现鲁棒的目标跟踪。

Description

基于深度卷积神经网络特征融合的目标跟踪方法及系统

技术领域

本发明涉及模式识别技术领域，特别涉及基于深度卷积神经网络特征融合的目标跟踪方法及系统。

背景技术

计算机目标跟踪是视频监控、人机交互、汽车自动驾驶等实际应用中的重要组成部分，根据所使用的特征不同，现有的目标跟踪技术可以分为两类：一类是使用人工设计的图像特征进行目标跟踪(N.Dalal and B.Triggs.Histograms of oriented gradientsfor human detection.In CVPR,2005)(D.G.Lowe.Object recognition from localscale-invariant features.In ICCV,1999)，一类是使用卷积神经网络的方法提取图像特征进行目标跟踪(C.Ma,J.-B.Huang,X.Yang,and M.-H.Yang.Hierarchicalconvolutional features for visual tracking.In ICCV,2015)(J.Fan,W.Xu,Y.Wu,andY.Gong.Human tracking using convolutional neural networks.TNN,21(10):1610–1623,2010.)，目前，使用卷积神经网络得到的特征的有效性已远超人工设计的特征。

Fan等人(J.Fan,W.Xu,Y.Wu,and Y.Gong.Human tracking using convolutionalneural networks.TNN,21(10):1610–1623,2010.)使用一个预先训练好的神经网络对行人进行跟踪；Wang等人(N.Wang and D.-Y.Yeung.Learning a deep compact imagerepresentation for visual tracking.In NIPS,2013)则设计了一个基于去噪自动编码器的深度网络从大量的物体图像中学习具有代表性的特征，进而使用该网络进行特征提取以应用于目标跟踪，为了更加有效地利用卷积神经网络，Hong等人(S.Hong,T.You,S.Kwak,and B.Han.Online tracking by learning discriminative saliency map withconvolutional neural network.In ICML,2015.)基于R-CNN(R.B.Girshick,J.Donahue,T.Darrell,and J.Malik.Rich feature hierarchies for accurate object detectionand semantic segmentation.In CVPR,2014.)设计了两路特征提取方法，一路使用第一个全连接层的特征来构建一个判别式模型，另一路使用R-CNN反向传播得到的显著性特征构建一个生成式模型，最后将两个模型得到的结果结合起来得到最终的跟踪结果。

计算机目标跟踪技术还可以根据建模方法分为判别式跟踪技术(H.Grabner,M.Grabner,and H.Bischof,“Real-time tracking via on-line boosting,”in BMVC,2006)(J.Gao,H.Ling,W.Hu,and J.Xing,“Transfer learning based visual trackingwith gaussian processes regression,”in ECCV,2014)(S.Hare,A.Saffari,andP.H.S.Torr,“Struck:Structured output tracking with kernels,”in ICCV,2011)和生成式跟踪技术(J.Kwon and K.M.Lee,“Interval tracker:Tracking by intervalanalysis,”in CVPR,2014)(D.A.Ross,J.Lim,R.Lin,and M.Yang,“Incremental learningfor robust visual tracking,”IJCV,vol.77,pp.125–141,2008)(X.Jia,H.Lu,andM.Yang,“Visual tracking via adaptive structural local sparse appearancemodel,”in CVPR,2012.)(T.Zhang,B.Ghanem,S.Liu,and N.Ahuja,“Robust visualtracking via multi-task sparse learning,”in CVPR,2012)，判别式跟踪技术将目标跟踪问题看作一个目标图像区域和背景区域的分类问题，因此这类技术致力于提高分类器的性能。Grabner等人(H.Grabner,M.Grabner,and H.Bischof,“Real-time tracking viaon-line boosting,”in BMVC,2006)利用在线boosting技术构建了一个特征选择算法，并将多个弱分类器融合为一个强分类器，Hare等人(S.Hare,A.Saffari,and P.H.S.Torr,“Struck:Structured output tracking with kernels,”in ICCV,2011)则将结构支持向量机引入到目标跟踪问题中，将目标的位置坐标作为样本标签，避免了传统支持向量机样本的正负标签和跟踪位置之间的转换，在传统的分类器中，具有不同置信度的所有正样本具有一样的类别标签，这降低了分类的识别能力，为了解决这一问题，Babenko等人(B.Babenko,M.Yang,and S.J.Belongie,“Robust object tracking with onlinemultiple instance learning,”TPAMI,vol.33,pp.1619–1632,2011)引入了多实例学习技术。

生成式目标跟踪技术将目标跟踪视为一个由目标的表观模型在新的视频帧中生成最佳目标候选的任务，这类技术的关键是对跟踪目标的表观进行建模以及模型的更新，常见的方法有子空间学习和稀疏表示，Ross等人(D.A.Ross,J.Lim,R.Lin,and M.Yang,“Incremental learning for robust visual tracking,”IJCV,vol.77,pp.125–141,2008)使用增量子空间学习的方法适应跟踪目标表观随时间的变化，在(X.Jia,H.Lu,andM.Yang,“Visual tracking via adaptive structural local sparse appearancemodel,”in CVPR,2012.)(T.Zhang,B.Ghanem,S.Liu,and N.Ahuja,“Robust visualtracking via multi-task sparse learning,”in CVPR,2012)(X.Mei and H.Ling,“Robust visual tracking using l1minimization,”in ICCV,2009.)中则使用稀疏表示方法对表观进行刻画，稀疏表示理论认为，当字典过完备时，跟踪目标可以由少量的正字典项表示，而非跟踪目标则主要由负字典项表示，这样，当仅使用正字典项及其对应的系数重建被表示对象时，具有较小重建误差的目标候选应为跟踪目标，而具有较大重建误差的目标候选应为背景。

发明内容

针对现有技术的不足，本发明提出基于深度卷积神经网络特征融合的目标跟踪方法及系统。

本发明提出一种基于深度卷积神经网络特征融合的目标跟踪方法，包括：

步骤1，通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；

步骤2，计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；

步骤3，重复步骤1至步骤2完成所有帧的目标跟踪。

步骤1中获取目标当前的跟踪目标位置的公式为：

其中，x、y为训练数据，K为特征的种类总数，t为当前时刻，为使用第k种特征在时刻t的跟踪结果，为第k种特征在第t时刻的权重。

步骤2中稳定性模型为：

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

步骤2中计算每个特征在当前帧的稳定性的公式为：

其中s^k表示矩阵，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

步骤2中更新每种特征的置信权重的公式为：

其中，w为置信权重，每种特征的R度量的量化方式为：

其中，是第k种特征在t时刻的r度量，是平均损失，是第k种特征的从开始时刻到t时刻的累积r度量，c_t是尺度因子，是平衡系数，g是的最小值。

本发明还提出一种基于深度卷积神经网络特征融合的目标跟踪系统，包括：

获取跟踪目标位置，用于通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；

更新置信权重模块，用于计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；

目标跟踪模块，用于重复步骤1至步骤2完成所有帧的目标跟踪。

获取跟踪目标位置中获取目标当前的跟踪目标位置的公式为：

其中，x、y为训练数据，K为特征的种类总数，t为当前时刻，为使用第k种特征在时刻t的跟踪结果，为第k种特征在第t时刻的权重。

更新置信权重模块中稳定性模型为：

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

更新置信权重模块中计算每个特征在当前帧的稳定性的公式为：

其中s^k表示矩阵，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

更新置信权重模块中更新每种特征的置信权重的公式为：

其中，w为置信权重，每种特征的R度量的量化方式为：

其中，是第k种特征在t时刻的r度量，是平均损失，是第k种特征的从开始时刻到t时刻的累积r度量，c_t是尺度因子，是平衡系数，g是的最小值。

由以上方案可知，本发明的优点在于：

本发明以多种深度卷积神经网络特征作为输入，对每种特征在当前场景下指定时间窗口内的跟踪精度损失进行建模，用以预测每种特征在接下来的时间内的跟踪结果可信度，将较多的置信度分配给跟踪精度高的特征，从而合理地融合多种特征的跟踪结果，实现鲁棒的目标跟踪。

附图说明

图1为本发明在一帧图像上的实施流程图；

图2位本发明方法流程图。

步骤S1-1、S1-2、S2-1、S2-2、S2-3、S2-4、S2-5、S3。

具体实施方式

本发明提出基于深度卷积神经网络特征融合的目标跟踪方法及系统，实现根据场景、时间的不同自适应地学习每种特征的置信权重，具体地，本发明对当前场景下，一定长度时间窗口内的每种特征的跟踪精度损失进行建模，得到每种特征的跟踪精度及其稳定性，并用于计算每种特征的置信度，最终实现多种特征跟踪结果的有效融合(实验结果证明，本发明在公开的数据集上有效)，图1位本发明在一帧图像上的实施流程图。

本发明的具体步骤如图2所示：

S1-1：使用深度卷积神经网络，比如VGG，提取多种特征；

S1-2：使用相关滤波器方法计算每种特征的跟踪结果；

s^k＝F^-1(T^k·w^k)

上式中，X和Y是训练数据，用以计算回归模型的系数矩阵w，该计算在傅里叶域完成；F^-1表示傅里叶逆变换，s^k(x’,y’)表示矩阵s^k在位置(x’,y’)处的取值；(x^k,y^k)是使用第k中特征预测的跟踪目标的位置。

S2-1：根据上一次确定的各特征置信权重Wt，得到当前的跟踪目标位置；

S2-2：计算每种特征在当前帧的预测精度损失；

S2-3：对每种特征，建立(已建立则更新)在△t时间内的稳定性模型；

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

S2-4：计算特征在当前帧的稳定性；

S2-5：根据每种特征的稳定性及其累积的预测精度损失，更新每种特征的置信权重；

其中，每种特征的R量化方式为

S3：重复S2-1至S2-5完成所有帧的目标跟踪。

本发明还提出一种基于深度卷积神经网络特征融合的目标跟踪系统，包括：

获取跟踪目标位置，用于通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；

更新置信权重模块，用于计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；

目标跟踪模块，用于重复步骤1至步骤2完成所有帧的目标跟踪。

获取跟踪目标位置中获取目标当前的跟踪目标位置的公式为：

其中，x、y为训练数据，K为特征的种类总数，t为当前时刻，为使用第k种特征在时刻t的跟踪结果，为第k种特征在第t时刻的权重。

更新置信权重模块中稳定性模型为：

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

更新置信权重模块中计算每个特征在当前帧的稳定性的公式为：

其中s^k表示矩阵，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

更新置信权重模块中更新每种特征的置信权重的公式为：

其中，w为置信权重，每种特征的R度量的量化方式为：

其中，是第k种特征在t时刻的r度量，是平均损失，是第k种特征的从开始时刻到t时刻的累积r度量，c_t是尺度因子，是平衡系数，g是的最小值。

Claims (8)

1.一种基于深度卷积神经网络特征融合的目标跟踪方法，其特征在于，包括：

步骤1，通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；

步骤2，计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；

步骤3，重复步骤1至步骤2完成所有帧的目标跟踪；

其中步骤2中更新每种特征的置信权重的公式为：

其中，w为置信权重，每种特征的R度量的量化方式为：

其中表示第k种特征在第t帧的稳定性，r_t ^k是第k种特征在t时刻的r度量，是平均损失，是第k种特征的从开始时刻到t时刻的累积r度量，c_t是尺度因子，是平衡系数，g是的最大值，为第k种特征在t时刻的损失。

2.如权利要求1所述的基于深度卷积神经网络特征融合的目标跟踪方法，其特征在于，步骤1中获取目标当前的跟踪目标位置的公式为：

其中，x、y为训练数据，K为特征的种类总数，t为当前时刻，为使用第k种特征在时刻t的跟踪结果，为第k种特征在第t时刻的权重。

3.如权利要求1所述的基于深度卷积神经网络特征融合的目标跟踪方法，其特征在于，步骤2中稳定性模型为：

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

4.如权利要求1所述的基于深度卷积神经网络特征融合的目标跟踪方法，其特征在于，步骤2中计算每个特征在当前帧的稳定性的公式为：

其中表示第k种特征在第t帧的稳定性，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差， 为第k种特征在t时刻的损失。

5.一种基于深度卷积神经网络特征融合的目标跟踪系统，其特征在于，包括：

获取跟踪目标位置，用于通过深度卷积神经网络，获取视频图像中目标的多种特征，通过滤波器方法计算每种特征的特征置信权重，根据特征置信权重，获取目标当前的跟踪目标位置；

更新置信权重模块，用于计算每种特征当前帧的预测精度损失，并根据预测精度损失，对每种特征，建立在△t时间内的稳定性模型，通过稳定性模型计算每个特征在当前帧的稳定性，根据每种特征的稳定性及累积的预测精度损失，更新每种特征的置信权重；

目标跟踪模块，用于重复步骤1至步骤2完成所有帧的目标跟踪；

其中更新置信权重模块中更新每种特征的置信权重的公式为：

其中，w为置信权重，每种特征的R度量的量化方式为：

其中表示第k种特征在第t帧的稳定性，r_t ^k是第k种特征在t时刻的r度量，是平均损失，是第k种特征的从开始时刻到t时刻的累积r度量，c_t是尺度因子，是平衡系数，g是的最大值，为第k种特征在t时刻的损失。

6.如权利要求5所述的基于深度卷积神经网络特征融合的目标跟踪系统，其特征在于，获取跟踪目标位置中获取目标当前的跟踪目标位置的公式为：

其中，x、y为训练数据，K为特征的种类总数，t为当前时刻，为使用第k种特征在时刻t的跟踪结果，为第k种特征在第t时刻的权重。

7.如权利要求5所述的基于深度卷积神经网络特征融合的目标跟踪系统，其特征在于，更新置信权重模块中稳定性模型为：

其中，为第k种特征在T时刻的损失，t为当前时刻，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。

8.如权利要求5所述的基于深度卷积神经网络特征融合的目标跟踪系统，其特征在于，更新置信权重模块中计算每个特征在当前帧的稳定性的公式为：

其中s^k表示矩阵，为第k种特征在[t-△t+1,t]时间内的平均损失，为第k种特征在[t-△t+1,t]时间内损失的标准差。