CN108010067A

CN108010067A - 一种基于组合判断策略的视觉目标跟踪方法

Info

Publication number: CN108010067A
Application number: CN201711422471.1A
Authority: CN
Inventors: 张弘; 饶波; 李伟鹏
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2017-12-25
Filing date: 2017-12-25
Publication date: 2018-05-08
Anticipated expiration: 2037-12-25
Also published as: CN108010067B

Abstract

本发明涉及一种基于组合判断策略的视觉目标跟踪方法，步骤如下：(1)针对目标尺寸变换问题，建立一个自适应尺度，从而自动调整跟踪框大小；(2)针对目标被遮挡后无法继续确定目标所在位置的问题，采用卡尔曼滤波对当前观测量进行预测，当目标重新出现后继续使用KCF算法跟踪目标；(3)针对目标快速移动造成跟踪失败的问题。本发明通过检测目标在相邻帧中位置移动距离，以此计算目标运动速率，自适应的调节检测区域大小扩展系数，能够在不同的环境下获得较高的精度，有效提高整个跟踪系统的鲁棒性，并保持较高的计算速度，具有很高的工程实用价值。

Description

一种基于组合判断策略的视觉目标跟踪方法

技术领域

本发明涉及一种基于组合判断策略的视觉目标跟踪方法。

背景技术

运动目标跟踪是一种针对视频信号进行处理、采样和检测的方法，通过某些具体特征对图像包含的特定区域进行检测和标记。近些年众多学者提出了很多优秀的跟踪算法，常用的跟踪算法主要有以下三种思路：基于特征匹配的方法、基于区域相关度的方法和基于模型的方法。

其中基于特征的方法不需要在意目标的外型情况和目标种类，在确定好提取的特征之后，构造特征向量或者特征图，在相邻帧之间进行比较，在上一帧的目标位置周围进行特征匹配。例如国外学者StnaBicrhfield提出的基于颜色直方图和灰度梯度联合模型的算法。

基于区域的跟踪方法则是将重点放在运动目标的连通域上，将其作为检测对象从而实现目标跟踪，区域信息包含颜色信息、纹理信息和像素信息等，因此可以选用区域信息中的一种或多种特征，对图像目标进行检测跟踪。对于此类方法Wrell曾提出过利用小区域特征把人的连通域分解为躯干、四肢、头等部分，得到多个小区域的联合体，再对区域块分别跟踪，实现室内环境下的单人跟踪。

基于模型的跟踪方法是目前研究比较热门的方法，它根据原理可以分为生成式模型算法和判别式模型算法，生成式模型算法是通过在线或离线的学习建立目标的外观模型后，再在每一帧视频序列中计算与该模型最接近的位置视为结果坐标，而判别式模型算法采用的是对图像进行分类，把目标和背景进行分离，得到目标和背景的判别模型，并用学习的方法进行模型更新。在主流的生成式模型跟踪算法中，Shen等学者利用颜色搭建的直方图表征目标模型具体信息；Wang.H等使用空间信息和颜色信息的融合编码建立混合高斯模型，近似表征目标外观。

但由于实际视频信号当中，感兴趣的目标区域往往会受到一些环境因素的影响，导致算法计算结果不准确，无法稳定跟踪目标。因此对于运动目标如何保持长期稳定跟踪的理论研究，逐渐成为计算机视觉关注点较高的方向。目前目标跟踪技术的上关于环境因素的主要三个难点分别是：目标运动信息的剧烈变化、目标尺寸的变化和由于障碍物导致的遮挡问题。目标运动信息的变化最主要的是运动速度的突然改变，使得跟踪器无法做出快速调整；目标大小改变、形变等则会导致目标纹理等特征发生变化；目标遮挡的出现往往是视频环境中出现了建筑物等障碍，破坏了目标轮廓的完整性。采用何种特征表示目标，以及如何建立自适应模型来解决这些问题，是设计一个鲁棒的跟踪器的关键。

本发明针对目标跟踪视频中存在的快速移动、部分或完全遮挡、尺寸变换等问题，采用多种跟踪器组合判断图像帧当中目标所在位置，提高目标跟踪算法的性能和计算速度，可以长时间稳定跟踪目标，并有效克服一些环境因素的干扰，具有广泛的实际工程应用价值。

发明内容

本发明的技术解决问题是：克服现有跟踪算法所受到的主要几种环境因素的影响，提供一种多种跟踪器组合判断的目标跟踪方法，能够在不同的环境下获得较高的精度，有效提高整个跟踪系统的鲁棒性，并保持较高的计算速度，具有很高的工程实用价值。

本发明的技术解决方案是：针对目标尺寸变换问题，建立一个自适应尺度池，能够根据目标尺寸变化情况找到最大相关响应值的尺度，从而自动调整跟踪框大小，减小跟踪框中心与目标中心坐标的像素误差；针对目标被遮挡后无法继续确定目标所在位置的问题，本发明通过采用卡尔曼滤波对当前观测量进行预测，与核相关滤波算法结合，在判定目标出现遮挡的时候用卡尔曼滤波继续计算运动信息并舍弃KCF算法的检测结果，当目标重新出现后再继续使用KCF算法跟踪目标，从而提高跟踪准确性；针对目标快速移动造成跟踪失败的问题，本发明通过检测目标在相邻帧中位置移动距离，以此计算目标运动速率，自适应的调节检测区域大小扩展系数，最大限度的保证目标在选定检测区域范围内，一定程度内改善由目标快速运动造成的跟踪失效问题。

本发明的一种基于组合判断策略的视觉目标跟踪方法，包括以下步骤：

(1)在初始帧中对目标位置初始化后，利用循环矩阵对n*m目标区域进行稠密的循环采样，得到η*n*m个正负样本，η为8～10之间的数值；

(2)对步骤(1)中所得的正负样本，其中包含完整目标区域为正样本，反之为负样本，按照正样本和负样本的标签，构成一个统一的集合，采用岭回归的办法，对上述构成的集合求最小平方误差，利用傅里叶变换快速计算对样本进行分类所使用的分类器的系数，完成分类器训练，再用训练好的分类器对当前帧进行目标检测，对当前帧中的候选目标区域进行分类判定，确定目标出现的位置，从而完成基于组合判断策略的视觉目标跟踪任务；

但是在目标跟踪过程中会出现目标尺寸变化、目标被部分或完全遮挡和目标运动过快情况，下列步骤针对这些情况提出对应的解决方案；

(21)在步骤(2)中指出的尺寸变化问题，会影响分类器训练结果，针对目标尺寸变化的问题，以一定间隔设立若干个不同尺寸，设立自适应尺度池，在自适应尺度池中，针对每一帧图像中均能够找到适合的目标大小，尽可能在保证跟踪效果良好的情况下减少计算量，克服因为拍摄设备与运动目标的距离改变而引起的尺寸变化问题；

(22)在步骤(2)中指出的目标被障碍物遮挡问题，会影响分类器训练结果，因此针对目标遮挡的问题，设立一种卡尔曼滤波预测跟踪机制，对检测结果的最大响应值进行判定，若最大响应值低于阈值，则说明目标很可能出现被遮挡的情况，则启动卡尔曼滤波对目标位置进行预测跟踪，并在预测跟踪过程当中不断与之前目标模型进行相关性计算，判断目标是否重新出现；

(23)在步骤(2)中指出的目标运动过快问题，同样会影响分类器训练结果，因此针对目标运动过快的问题，设立一种自适应调整区域扩展系数机制，利用帧间差分的思想，对运动目标的速度实时计算，若运动速度过快，则自适应增大扩展系数，保证目标始终在采样的区域内，最后在经过步骤(3)、步骤(4)和步骤(5)这3个步骤对步骤(2)的修正，保证了步骤(2)中分类的准确性。

所述步骤(1)，利用循环矩阵对目标区域进行稠密的循环采样，得到正负样本过程为：

设初始手动选定的目标区域即为目标跟踪框，设该目标跟踪框的中心坐标为(x,y)，以此中心坐标采集包含目标的图像块作为正样本，再利用循环移位策略，假设若向下平移u个单位，同时向右平移v个单位，则表示为(u,v)，则只需要对正样本的图像块Z进行以下变换：

Z^-i＝P^uZP^v

其中Z^-i为经过正样本循环移位得到的负样本，P为循环矩阵，表示为：

所述步骤(2)，具体实现过程如下：

(1)将步骤(1)中所得的正样本Z和所有负样本Z-ⁱ构建为一个训练集合X：

采用岭回归的方法对训练集合X求最小平方误差，通过求导并令导数等于0，解出最小平方误差下的系数向量，完成分类器训练过程；

(2)利用训练好的分类器，对当前帧进行目标检测。具体是以上一帧检测出的目标位置或者初始位置为中心，同样取一个固定大小的m×n的图像区域，作为基准候选目标区域，进行循环移位后将得到的全部图像区域作为分类器的输入，计算相关度响应值作为输出；

(3)在检测所有样本中，找到最大响应输出坐标，作为新的一帧中目标所在的位置，完成目标跟踪过程。

所述步骤(3)中，建立的自适应尺度池时，采集若干个不同尺寸的目标的图像块，对不同尺寸采用双线性插值修改为与正常大小相同的尺寸，双线性插值公式表示为：

S_new(i,j)＝λS(i,j-1)+(1-λ)S(i,j+1)+ρS(i-1,j)+(1-ρ)S(i+1,j)

其中S(i,j-1)、S(i,j+1)、S(i-1,j)、S(i+1,j)为原图像对应坐标点的像素值，λ和ρ为插值系数，随尺寸变化的大小而改变，S_new(i,j)为双线性插值后新尺寸下的图像块。

采集不同尺寸后的目标图像块表示为Size：

Size＝{L-1*A,A,L*A}

其中A为当前帧中目标区域的大小，L为尺寸系数；

再修改不同尺度下图像块的尺寸计算最大响应值，与模板尺寸保持一致，在使用高斯核函数计算不同尺度图像块与模板的相关性：

κ||x-x′||＝exp{-||x-x′²/2×σ²}

其中κ||x-x′||为核函数表达式，x为不同尺度图像块，x′为模板，σ为高斯核大小；

计算出所有尺寸图像块与模板区域的核相关响应值后找到响应值最大的点和对应的坐标，再进行亚像素细化，最后得到响应值最大的目标尺寸，作为下一帧中确定目标区域所使用的尺寸大小。

所述不同尺寸选择为3个。由于每增加一种尺寸，整体计算速度会减慢，根据大量实验经验，在保证效果和计算速度的前提下，选用3个不同尺寸整体效果最好。

所述L为尺寸系数为1.05，通过实验测试得出以步长为1.05的步长效果最好。

所述步骤(4)中，所使用的卡尔曼滤波将每一帧的目标位置信息和速度信息作为观测量，而在背景运动或者出现障碍物的情况下视为噪声，卡尔曼滤波能够在这些噪声信号中准确的计算跟找对象在接下来图像序列中的位置，结合目标的位置坐标和速度信息，构建目标状态向量设为X_k，表示为：

X_k＝[x,y,v_x,v_y]^T

其中x和y为目标位置中心坐标，v_x和v_y为目标在图像x和y两个方向上的速度，则状态方程为：

X_k＝AX_k-1+W_k

其中A为状态转移矩阵，初始化为：

观测方程为：

Z_k＝HX_k+V_k

其中H为观测矩阵，W_k为系统噪声序列，V_k为量测噪声序列，Z_k是观测向量，包含运动目标的实际跟踪结果的质心位置坐标：

Z_k＝[x,y]^T

而判定是否启用卡尔曼滤波的依据是根据计算的相关响应峰值：

其中X(i,j)为上一帧目标区域，Z(i,j)为当前帧的检测区域，t与τ分别是i和j方向上的偏移数，从0开始计数；

计算检测区域中所有的点，找到相关程度最大值，即为相关响应峰值，若相关响应峰值小于某设定阈值则启用卡尔曼滤波预测功能。

所述步骤(5)中，自适应调整区域扩展系数机制为：结合帧间差分的思想，利用前后两帧计算目标的运动速度，从而自适应调节区域扩展系数，两帧之间移动的距离为：

D_now(i,j)和D_pre(i,j)就是当前图像和上一帧图像的跟踪框中心坐标，分别做差值即得到在x和y方向上的距离移动大小，目标移动的方向为：

θ就是运动速度与竖直方向的夹角，范围为

设目标做为近似匀加速运动情况，表示目标在x和y方向上的运动距离为：

式中ζ为固定系数0.5，L_x与L_y分别表示两个方向上的运动距离，Δt表示相邻两帧之间的时间间隔；

计算得到两个方向的运动距离后，比较这两者中最大值，设为p：

p＝max(L_x,L_y)

则根据p值大小定是否调节区域扩展系数，保证目标始终在检测区域内。

本发明与现有技术相比的优点在于：

(1)本发明利用循环矩阵的思想对模型样本采样和候选区域检测，目的是可以通过傅里叶变换将相关度计算的卷积运算转换为点积运算，从而大幅度提高跟踪算法的计算速度，满足实际工程的实时性要求；

(2)本发明计算相关度所采用的是HOG特征，其优点在于它是描述边缘梯度的特征，因此可以描述局部的形状信息，并且不需要考虑目标位置和方向的改变情况，所以又可以在一定程度抑制目标漂移和旋转带来的影响；

(3)本发明所设立的自适应尺度池机制，以1.05的尺寸间隔设立3个不同尺寸，在每一帧图像中找到合适的目标大小，并减少尺度池中的尺寸数量，尽可能在保证跟踪效果良好的情况下减少计算量，克服因为拍摄设备与运动目标的距离改变而引起的尺寸变化问题；

(4)本发明采用卡尔曼滤波处理目标被遮挡的问题，所利用的都是先验的状态和观测量，通过递归做出预测，可以充分利用以往的信息，在目标被短时间遮挡时仍然可以准确的跟踪目标，有效克服因为遮挡问题而引起的跟踪丢失问题；

(5)本发明利用帧间差分的思想，可以有效监测目标运动速度的变化情况，并结合速度变化量，自适应的调整目标区域扩展系数。这种机制对于快速运动目标有很好的跟踪性能，一定程度上防止目标跟踪失败的问题。

(6)本发明通过检测目标在相邻帧中位置移动距离，以此计算目标运动速率，自适应的调节检测区域大小扩展系数。该方法能够在不同的环境下获得较高的精度，有效提高整个跟踪系统的鲁棒性，并保持较高的计算速度，具有很高的工程实用价值。

总之，本发明通过实验数据测试相比，无论是总体跟踪性能还是在一些具体的环境因素下，相比于其他现有的跟踪算法都有更高的精确度，证明本发明的有效性，并且在计算速度上满足实时性要求，具有工程实用意义。

附图说明

图1为本发明具体流程图；

图2为本发明算法“Ours”与其他算法对比一次通过成功图；图表标题“Successplots”为一次通过评估成功率，图表横坐标“Overlap threshold”为不同的阈值，图表纵坐标“Success rates”为成功率值。图表标签“Ours”为本发明方法，“RPT”“SAMF”“DSST”“KCF”为目前比较流行的几种其他跟踪算法，下同。

图3为本发明算法“Ours”与其他算法对比一次通过精确图；图表标题“Precisionplots”为一次通过评估精确率，图表横坐标“Location error threshold”为局部错误阈值，图表纵坐标“Precision”为精确率值；

图4为现有算法受遮挡后跟踪失败结果图；左图是目标被建筑物遮挡前的图像，右图是目标从建筑物遮挡后重新出现的图像，右图中跟踪框已经不在目标区域，说明跟踪失败；

图5为本发明算法受遮挡后跟踪成功结果图；左图是目标被建筑物遮挡前的图像，右图是目标从建筑物遮挡后重新出现的图像，右图中跟踪框始终在目标区域，说明跟踪成功；

图6为本发明与其他算法对比目标快速移动跟踪结果图；左图是目标快速运动前的图像，右图是目标快速运动后的图像。左图中本文算法与其他算法的跟踪框都在目标区域，但快速运动后只有本文算法的跟踪框还在目标跟踪框上，其他算法的跟踪框已经丢失目标，说明本文算法跟踪成功，其他算法跟踪失败。

图7为本发明与其他算法对比目标尺寸变化跟踪结果图；上图是目标尺寸变化前的图像，下图是目标尺寸变化后的图像。上图中本文算法与其他算法的跟踪框大小匹配目标大小，但目标尺寸变化后只有本文算法的跟踪框大小匹配变大后的目标，其他算法的跟踪框大小还是与上图的跟踪框大小一样，说明本文算法可以检测目标尺寸变化，其他算法不能检测尺寸变化。

具体实施方式

本发明所采用的的是基于多种跟踪器组合判断的跟踪算法，每一种跟踪器可以有效应对一种环境因素的干扰，通过建立一种判断机制自适应的实时改变每种跟踪器的结果权重，从而实现跟踪器的结果融合。其主体的跟踪框架是建立在基于核相关的滤波算法，在此之上针对以上提出的几种环境因素，添加几种辅助跟踪组合判断。

如图1所示，本发明实现为：

(1)在初始帧中对目标位置初始化后，利用循环矩阵对目标区域进行稠密的循环采样，得到η*n*m个正负样本，η为8～10之间的数值；

(2)对步骤(1)中所得的正负样本，按照正样本和负样本的标签，构成一个统一的集合，采用岭回归的办法，对上述构成的集合求最小平方误差，利用傅里叶变换快速计算对样本进行分类所使用的分类器的系数，完成分类器训练；

(3)在步骤(2)中若目标出现尺寸变化，会影响分类器训练结果，因此针对目标尺寸变化的问题，设立一种自适应尺度池机制：在新的一帧图像输入后，以上一帧的检测结果为中心，取3种不同大小的图像尺寸，分别为小于原目标大小、原目标大小和大于原目标大小，通过循环矩阵得到候选目标区域，作为分类器的输入，进行快速检测计算相关响应值；

(4)在步骤(2)中若目标被障碍物遮挡，也会影响分类器训练结果，因此针对目标遮挡的问题，设立一种卡尔曼滤波预测跟踪机制：在快速检测所有样本中，找到最大响应输出即其对应的尺寸大小，确定新的一帧中目标所在的位置，并实时调整目标跟踪框的大小，之后对最大响应输出进行阈值判断，检查相关度是否出现异常，若出现异常则说明目标被遮挡，此时舍弃相关滤波所确定的位置信息，调用卡尔曼滤波对之前2～3帧计算的结果预测当前帧中目标最有可能出现的位置。同时利用卡尔曼滤波跟踪的结果，不断与之前判定被遮挡前一帧的目标区域进行相关度计算，若相关度重新上升，则说明目标重新出现，则重新用核相关滤波跟踪器跟踪，反之继续用卡尔曼滤波跟踪器进行预测跟踪；

(5)在步骤(2)中若目标运动过快，同样会影响分类器训练结果，因此针对目标运动过快的问题，设立一种自适应调整区域扩展系数机制：计算步骤(3)或步骤(4)确定的位置结果与上一帧目标位置的中心距离，再计算目标在x和y方向上运动的距离，比较这两者的最大值与固定阈值，若大于该阈值则说明目标运动速度较大，需要自适应提高区域扩展系数值，反之则无需调整；

(6)由于目标所在的环境时刻在变化，所以在最终确定的目标位置中心附近，以3种尺寸大小选定当前帧的图像块，对3种尺寸大小的图像块循环移位得到所需要的前景和背景样本，重新计算分类器学习系数，终实现基于组合判断策略的视觉目标跟踪方法中的目标跟踪和目标模型更新过程。

下面针对每个步骤进行详细说明。

(1)由于随机采样有可能导致分类标准存在不确定性，会影响之后的分类器训练，因此本发明采用密集采样，在得到正样本之后再利用循环矩阵对图像循环移位，从而快速得到大量负样本，这个过程可以用置换矩阵P来实现，P矩阵如下所示：

假设目标外观模型向量为一个1×n向量x＝[x₁x₂x₃…x_n]，那么Pⁱx意味着对x向量往右移i个单位后得到的新向量，xP^j意味着往下移j个单位后得到的新向量。

(2)对步骤(1)采集的样本，采用线性系统求解RLSC分类器，首先是在给定一个训练集合X之后，采用岭回归的方法，对正负样本集合求最小平方误差，表达式为：

其中λ为惩罚系数，目的是为了防止目标函数出现过拟合情况。f(x_i)为实际输出，y_i为目标输出，w为惩罚项。

通过采用核化的方法，可以将x投影到希伯特空间，得到的结果为：

将上式代入期望最小平方误差表达式中，得到：

将点积的形式写为核函数的形式后，通过求导并令导数等于0，解出最小平方误差下的系数向量α为：

α＝(K+λI)^-1y

其中K是一个n×n的方阵，假如在时域下计算，计算量巨大而且繁杂，但是若转换到频域下，并利用K的循环性可以将上式对角化为一个线性的形式为：

只需要求解出方阵的第一行，再对其进行傅里叶变换，就可以快速计算分类器系数，完成分类器训练。

(3)建立自适应尺度池，选取3种不同的尺寸目标作为分类器的输入。本发明以1.05的步长采集三个不同尺寸的目标图像块，这是通过实验测试得出的经验值，能够依据目标尺寸变化合理的确定检测区域。设当前帧目标区域为S，正常大小为M×N，设ρ为尺寸步长，对于一般的多尺度建立表示为:

m＝ρ^αM,n＝ρ^αN

其中α与尺度池的维度存在线性关系，本发明中假设尺度池维度为3，则α∈{-1,0,1}，则本文中的尺度池具体表示为：

Size＝{1.05^-1*A,A,1.05*A}

为了方便对不同的尺度下的图像块提取特征进行相关计算，对尺度池提取的不同尺寸使用双线性插值修改为正常大小S相同的尺寸，双线性插值公式表示为：

S_new(i,j)＝λS(i,j-1)+(1-λ)S(i,j+1)+ρS(i-1,j)+(1-ρ)S(i+1,j)

再对这些归一化的不同尺度图像块提取HOG特征，代入核相关函数中进行训练，同样得到分类器的最优参数，最后用训练好的分类器对下一帧当中的目标区域计算最大响应值，即将下一帧的目标跟踪框调整为对应的尺度，完成尺度检测。

(4)判断是否启用卡尔曼滤波预测跟踪。核相关滤波器之所以能够在每一帧图像中找到目标所在的位置，就是计算一定区域中与前一帧目标区域相关程度，找到最大相关响应值对应的位置，计算表达式为：

其中X(i,j)为上一帧目标区域，Z(i,j)为当前帧的检测区域，计算检测区域中所有的点，找到相关程度最大值，即为相关响应峰值。

实验证明，当视频序列中目标出现被遮挡的情况时，计算的当前帧的响应峰值P一般小于上一帧响应峰值的0.7倍，即启用卡尔曼滤波跟踪。设上一帧目标状态的位置信息和当前帧的目标状态的位置信息，在x轴和y轴方向上的差值分别为Δx和Δy，两帧之间的时间间隔为Δt，则按照先决条件的假设，可以近似得到当前帧的目标速度表示为：

设k时刻的观测噪声为W_k，结合目标的位置坐标和速度信息，构建的目标状态向量设为X_k，表示为：

X_k＝[x,y,v_x,v_y]^T

则状态方程为：

X_k＝AX_k-1+W_k

其中A为状态转移矩阵，初始化为：

另外观测方程为：

Z_k＝HX_k+V_k

其中Z_k是观测向量，包含运动目标的实际跟踪结果的质心位置坐标：

Z_k＝[x,y]^T

观测矩阵H初始化为：

假设系统噪声序列W_k和量测噪声序列V_k满足以下关系：

另外对于一步预测均方P₀初始化为：

在开始跟踪目标前，对这些参数按照上述公式初始化，然后建立运动模型，代入到卡尔曼滤波基本公式中迭代运算，实时监测当前帧中目标的运动信息，通过当前的状态和误差均方差阵，找到目标出现的概率最大或误差最小的位置坐标，从而推导预测下一帧当中的目标区域。

(5)判断是否重新启用相关滤波跟踪器。在步骤(4)开始的同时，存储被遮挡前一帧图像中的目标区域和相关响应峰值，表示为：

Static_roi＝∑X(i,j)

Static_p＝P_pre

当启动卡尔曼滤波器对跟踪对象实时测算跟踪时，对于被遮挡阶段的每一帧预测目标位置，同时需要以该坐标为中心提取和存储的区域相同大小的区域，与存储区域Static_roi进行相关性计算：

在得到被遮挡情况下的每一帧的相关响应峰值P_roi后，对于目标重新出现的判断机制即为：

其中Start为标志位，为0时禁用卡尔曼滤波跟踪，为1时启用卡尔曼滤波跟踪。

上式说明在被遮挡的每一帧当中同样需要计算相关响应值，并与被遮挡前所存储的相关响应峰值进行比较，若一旦相关响应值大于0.7倍的存储响应峰值，就可以判断为目标重新出现，因为这说明有很大概率与原先目标相似的特征区域重新出现，在障碍物里没有相似目标干扰的前提下，这可以实现目标遮挡情况下的准确跟踪。

(6)根据目标运动状态自适应调节区域扩展系数大小。本发明在核相关滤波算法确定好目标跟踪框位置后，再调用存储的上一帧当中的目标跟踪框位置，两者中心坐标相减，就可以得到目标在两帧之间移动的距离：

D_now(i,j)和D_pre(i,j)就是当前图像和上一帧图像的跟踪框中心坐标，分别做差值即得到在x和y方向上的距离移动大小。再计算目标移动的方向：

θ就是运动速度与竖直方向的夹角。

设相邻帧之间的时间间隔为Δt，由于时间间隔较小，若目标突然开始做快速运动，即可认定为近似匀加速运动情况，表示目标在x和y方向上的运动距离为：

p＝max(L_x,L_y)

设目标正常运动情况下的检测区域扩展系数为padding，则自适应调整公式为：

由上式可知运动目标的速度较大时，必然会使得自适应扩展系数增大，从而让检测区域随之增大，扩大目标的检测区域，当运动目标的速度较小时，扩展系数减小或等于固定值2.5。

(7)目标模型更新。在快速检测所有样本中，找到最大响应输出坐标，作为新的一帧中目标所在的位置。但是在跟踪过程中，往往目标所在的环境不可能始终保持和初始化时一致，意味目标表观模型的特征量也会随着环境的变化而发生改变，例如光照变化会使得目标区域部分灰度值发生改变等。所以此时需要对分类器的训练样本进行更新，更新机制仍然是将检测出的目标位置作为中心，以固定的检测区域大小选定当前帧的图像块，再对其进行循环移位得到所需要的前景和背景样本，从而重新计算分类器学习系数，更新检测所用模型的回归系数α：

α＝(1-γ)α_pre+γα'

其中α_pre代表上一帧对分类器训练后得到的回归系数，α‘是使用目标新位置训练分类器得到的当前帧的回归系数，γ为学习更新率，其大小决定了对模型的更新程度。

至此即完成对目标的跟踪全过程，用跟踪框标定出目标所在位置，并作为下一帧图像的输入，以此迭代反复实现对视频序列的目标长期稳定跟踪。实验结果证明可以有效克服由于尺寸变化、部分或完全遮挡和快速运动导致的跟踪失败问题。跟踪性能优异，鲁棒性好，工程实现简单。

如图2所示，在一次通过评估成功率的标准下，本发明“Ours”的成功率高达62.9％，远高于第二名算法“RPT”57.6％近5个百分点，其他算法的成功率分别为：“SAMF”57.2％，“DSST”55.4％，“KCF”51.4％。说明本发明有很好的跟踪性能，并且有效提高在多种环境影响因素中的鲁棒性；

如图3所示，在一次通过评估精确率的标准下，本发明方法“Ours”的精确率高达83.7％，高于第二名算法“RPT”81.2％近3个百分点，其他算法的成功率分别为：“SAMF”77.3％，“KCF”74.0％，“DSST”73.7％。说明本发明的跟踪精度较高，能够更精准的定位出目标位置和实际大小；

如图4所示，在使用其他算法中的“KCF”基于核相关的滤波跟踪算法进行目标跟踪时，当目标被建筑物遮挡后，跟踪框会丢失目标区域，说明其他算法无法克服目标被遮挡的情况下继续跟踪，一旦出现遮挡则会丢失跟踪的目标；

如图5所示，在使用本发明方法“Ours”进行目标跟踪，当目标被建筑物遮挡后，跟踪框还能保持在目标区域，说明本发明方法可以克服因目标被遮挡而导致跟踪失败的现象，在目标被遮挡的情况下实现预测目标位置的机制；

如图6所示，左图是目标快速运动前的图像，右图是目标快速运动后的图像。左图中本发明方法与其他算法的跟踪框都在目标区域，但快速运动后只有本发明方法的跟踪框还在目标跟踪框上，其他算法的跟踪框已经丢失目标，说明本发明方法能够克服目标快速移动的情况，而其他算法无法克服该情况而导致跟踪失败；

如图7所示，上图是目标尺寸变化前的图像，下图是目标尺寸变化后的图像。上图中本发明方法与其他算法的跟踪框大小匹配目标大小，但目标尺寸变化后只有本文算法的跟踪框大小匹配变大后的目标，其他算法的跟踪框大小还是与上图的跟踪框大小一样，说明本发明方法可以检测目标尺寸变化，其他算法不能检测尺寸变化。

Claims

1.一种基于组合判断策略的视觉目标跟踪方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述步骤(1)，利用循环矩阵对目标区域进行稠密的循环采样，得到正负样本过程为：

Z^-i＝P^uZP^v

3.根据权利要求1所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述步骤(2)，具体实现过程如下：

(1)将步骤(1)中所得的正样本Z和所有负样本Z^-i构建为一个训练集合X：

<mrow> <mi>X</mi> <mo>=</mo> <mo>{</mo> <mi>Z</mi> <mo>,</mo> <munder> <mo>&Sigma;</mo> <mi>i</mi> </munder> <msup> <mi>Z</mi> <mrow> <mo>-</mo> <mi>i</mi> </mrow> </msup> <mo>}</mo> </mrow>

4.根据权利要求1所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述步骤(3)中，建立的自适应尺度池时，采集若干个不同尺寸的目标的图像块，对不同尺寸采用双线性插值修改为与正常大小相同的尺寸，双线性插值公式表示为：

S_new(i,j)＝λS(i,j-1)+(1-λ)S(i,j+1)+ρS(i-1,j)+(1-ρ)S(i+1,j)

其中S(i,j-1)、S(i,j+1)、S(i-1,j)、S(i+1,j)为原图像对应坐标点的像素值，λ和ρ为插值系数，随尺寸变化的大小而改变，S_new(i,j)为双线性插值后新尺寸下的图像块；

采集不同尺寸后的目标图像块表示为Size：

Size＝{L^-1*A,A,L*A}

其中A为当前帧中目标区域的大小，L为尺寸系数；

κ||x-x′||＝exp{-||x-x′||²/2×σ²}

5.根据权利要求4所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述不同尺寸选择为3个，由于每增加一种尺寸，整体计算速度会减慢，根据大量实验经验，在保证效果和计算速度的前提下，选用3个不同尺寸整体效果最好。

6.根据权利要求4所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述L为尺寸系数为1.05，通过实验测试得出以步长为1.05的步长效果最好。

7.根据权利要求1所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述步骤(4)中，所使用的卡尔曼滤波将每一帧的目标位置信息和速度信息作为观测量，而在背景运动或者出现障碍物的情况下视为噪声，卡尔曼滤波能够在这些噪声信号中准确的计算跟找对象在接下来图像序列中的位置，结合目标的位置坐标和速度信息，构建目标状态向量设为X_k，表示为：

X_k＝[x,y,v_x,v_y]^T

X_k＝AX_k-1+W_k

其中A为状态转移矩阵，初始化为：

观测方程为：

Z_k＝HX_k+V_k

Z_k＝[x,y]^T

<mrow> <mi>P</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>&lsqb;</mo> <mi>X</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&CircleTimes;</mo> <mi>Z</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>&Integral;</mo> <mo>&Integral;</mo> <msup> <mi>X</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>t</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>&tau;</mi> <mo>)</mo> </mrow> <mi>d</mi> <mi>t</mi> <mi>d</mi> <mi>&tau;</mi> </mrow>

其中X(i,j)为上一帧目标区域，Z(i,j)为当前帧的检测区域，t与τ分别是i和j方向上的偏移数；

8.根据权利要求1所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述步骤(5)中，自适应调整区域扩展系数机制为：结合帧间差分的思想，利用前后两帧计算目标的运动速度，从而自适应调节区域扩展系数，两帧之间移动的距离为：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>&Delta;</mi> <mi>x</mi> <mo>=</mo> <mo>|</mo> <msub> <mi>D</mi> <mrow> <mi>n</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&Delta;</mi> <mi>y</mi> <mo>=</mo> <mo>|</mo> <msub> <mi>D</mi> <mrow> <mi>n</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mrow> <mi>&theta;</mi> <mo>=</mo> <mi>arctan</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>&Delta;</mi> <mi>x</mi> </mrow> <mrow> <mi>&Delta;</mi> <mi>y</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

θ就是运动速度与竖直方向的夹角，范围为

<mrow> <msub> <mi>L</mi> <mi>x</mi> </msub> <mo>=</mo> <mi>&zeta;</mi> <mo>*</mo> <msqrt> <mrow> <mfrac> <mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mi>&Delta;</mi> <mi>x</mi> </mrow> <mrow> <msup> <mi>d&Delta;t</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mi>&Delta;</mi> <mi>y</mi> </mrow> <mrow> <msup> <mi>d&Delta;t</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msqrt> <mo>*</mo> <msup> <mi>&Delta;t</mi> <mn>2</mn> </msup> <mo>*</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&theta;</mi> </mrow>

<mrow> <msub> <mi>L</mi> <mi>y</mi> </msub> <mo>=</mo> <mi>&zeta;</mi> <mo>*</mo> <msqrt> <mrow> <mfrac> <mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mi>&Delta;</mi> <mi>x</mi> </mrow> <mrow> <msup> <mi>d&Delta;t</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mi>&Delta;</mi> <mi>y</mi> </mrow> <mrow> <msup> <mi>d&Delta;t</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msqrt> <mo>*</mo> <msup> <mi>&Delta;t</mi> <mn>2</mn> </msup> <mo>*</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&theta;</mi> </mrow>

式中ζ为固定系数，L_x与L_y分别表示两个方向上的运动距离，Δt表示相邻两帧之间的时间间隔；

p＝max(L_x,L_y)

9.根据权利要求8所述的基于组合判断策略的视觉目标跟踪方法，其特征在于：所述ζ取0.5。