CN109255304A - 基于分布场特征的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于分布场特征的目标跟踪方法，主要解决当光照变化、目标发生遮挡、目标超出视野导致跟踪失败的跟踪问题。本发明实现的步骤如下：(1)确定运动待跟踪目标的初始位置；(2)构建分布场特征；(3)训练位移滤波器；(4)预测当前帧视频图像待跟踪目标位置；(5)利用标准无参数对冲方法计算分布场特征每一级的权值；(6)判断是否选取完所有的视频帧图像，若是，则执行步骤(7)，否则，执行步骤(2)；(7)结束对运动待跟踪目标的跟踪。本发明通过基于分布场特征的目标跟踪方法，能够利用利用标准无参数对冲方法更新分布场特征每一级的权值，预测待跟踪目标位置和大小。

Description

基于分布场特征的目标跟踪方法

技术领域

本发明属于计算机技术领域，更进一步涉及计算机视觉技术领域中的一种基于分布场特征的运动目标跟踪方法。本发明可用于对视频监控、机器人导航和定位、无人驾驶机获取的视频序列中的运动目标进行跟踪。

背景技术

运动目标跟踪的主要任务是，从连续的视频图像序列中检测出运动目标，进而在每一帧图像中确定出运动目标的位置。随着人们对计算机视觉领域的不断深入认识，运动目标跟踪在该领域得到广泛应用和发展，目前已经存在大量的跟踪算法来实现运动目标跟踪。但是，由于遮挡、背景杂乱、外观形变、光照变化、视角变化等客观因素的影响，使得准确地跟踪目标仍然面临极大挑战。

华南理工大学在其申请的专利文献“一种基于多特征判别学习的实时目标跟踪方法”(专利申请号2017107885531，公开号107798686A)中公开了一种基于多特征判别学习的实时目标跟踪方法。该方法实现的具体步骤是，(1)获取视频中的灰度视频帧，使用Cross-bin分布场特征描述跟踪目标的亮度属性；(2)使用增强梯度直方图特征EHOG对跟踪目标的纹理多样性进行建模；(3)通过视频的彩色视频帧，提取颜色特征CN来保持颜色一致性；(4)将步骤1)、2)、3)中得到的多维度特征通过希尔伯特空间映射投影到高维特征空间，获得内积映射；(5)将得到的置信图放入到CSK框架中进行跟踪，找到跟踪目标位置，然后更新模板进行目标追踪。该方法存在的不足之处是，该方法仅针对跟踪目标的亮度、纹理和颜色提取特征，当跟踪目标尺度发生变化时，更新模板尺度固定，导致每一帧目标跟踪位置不准确，造成难以修正的漂移，当目标发生形变、目标快速运动时无法实现长期准确地跟踪。

中国人民解放军理工大学在其申请的专利文献“一种尺度自适应的相关滤波对冲目标跟踪方法”(专利申请号2017100639095，公开号107016689A)中公开了一种尺度自适应的相关滤波对冲目标跟踪方法。该方法实现的具体步骤是，(1)确定视频帧中的待跟踪目标的初始位置和初始尺度，以初始位置为中心，利用深度卷积神经网络分别提取不同层的卷积特征图；(2)对每一层提取的卷积特征图，利用核相关滤波跟踪方法进行跟踪得到跟踪结果；(3)利用自适应对冲算法将所有的跟踪结果组合得到一个最终跟踪结果，作为待跟踪目标的最终位置，以定位视频帧中待跟踪目标；(4)获得待跟踪目标的最终位置后，利用尺度金字塔策略估计待跟踪目标的最终尺度；(5)得到的待跟踪目标的最终位置和最终尺度后，以最终位置为中心，根据最终尺度提取所述待跟踪目标图像块，来重新训练每个核相关滤波跟踪方法，以更新系数和模板。该方法存在的不足之处是，因为该方法先获得待跟踪目标的最终位置再估计待跟踪目标的最终尺度，从而当目标尺度发生变化时，导致每一帧目标跟踪位置不准确，当目标发生形变、遮挡时无法实现准确地跟踪。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于分布场特征的目标跟踪方法，以实现当光照变化、目标发生遮挡、目标超出视野时对目标进行准确、有效地跟踪。

实现本发明目的的思路是，确定运动待跟踪目标的初始位置；利用分布场特征提取方法，构建当前帧视频图像的分布场特征；生成相关滤波器模型；预测当前帧视频图像待跟踪目标位置；利用标准无参数对冲方法计算分布场特征每一级的权值；选取完所有的视频帧图像结束对运动待跟踪目标的跟踪。提取待跟踪目标的分布场特征；利用标准无参数对冲方法更新分布场特征每一级的权值；

本发明的具体步骤如下：

(1)确定运动待跟踪目标的初始位置：

(1a)输入含有待跟踪目标的彩色视频图像序列中的第一帧视频图像；

(1b)用待跟踪目标的初始位置和初始位置的长度和宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的待跟踪目标；

(1c)在第一帧视频图像中，以待跟踪目标的初始位置为中心，用待跟踪目标的初始位置和待跟踪目标的2.5倍长度和2.5倍宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的候选区域图像；

(2)利用分布场特征提取方法，构建当前帧视频图像的分布场特征：

(2a)利用分布场特征提取方法，提取当前帧视频图像的分布场特征，该分布场特征共有两级，每一级为一个三维矩阵，该矩阵每层行数与候选区域图像的宽度相等，每层列数与候选区域图像的高度相等，层数大小为16；

(2b)判断当前帧视频图像是否为第一帧视频图像，若是，执行步骤(2c)，否则，执行步骤(2d)；

(2c)将第一帧视频图像的分布场特征的每一级初始权值设为0.5；

(2d)利用加权求和公式，计算当前帧视频图像中的候选区域特征和上一帧视频图像的分布场特征的加权求和值，用该加权求和值更新当前帧视频图像的分布场特征；

(3)生成相关滤波器模型：

利用相关滤波方法，计算相关滤波器的参数，将该相关滤波器参数存储到与分布场特征大小相同的空矩阵中，得到相关滤波器模型；

(4)预测当前帧视频图像待跟踪目标位置：

(4a)载入除第一帧之后的待跟踪视频序列中下一帧彩色视频图像，作为当前帧视频图像，在当前帧视频图像中，以上一帧图像待跟踪目标的位置为中心，提取与待跟踪目标的位置相同的，长度和宽度分别是待跟踪目标长度和宽度2.5倍的矩形框，将该矩形框作为当前帧视频图像的候选区域；

(4b)利用尺度位置预测算法，计算待跟踪目标的位置和尺寸；

(4c)利用待跟踪目标位置和尺寸确定的矩形框，标出当前帧视频图像的待跟踪目标；

(5)利用标准无参数对冲方法计算分布场特征每一级的权值：

(5a)利用权值损失公式，计算每一级的权值损失；

(5b)利用权值计算公式，计算下一帧视频图像每一级的权值，将该权值作为分布场特征每一级的权值；

(6)判断是否选取完所有的视频帧图像，若是，则执行步骤(7)，否则，执行步骤(2)；

(7)结束对运动待跟踪目标的跟踪。

发明与现有的技术相比具有以下优点：

第一，由于本发明提取待跟踪目标的分布场特征，用该特征表示待跟踪目标，克服了现有技术中该方法仅针对跟踪目标的亮度、纹理和颜色提取特征，当跟踪目标尺度发生变化时，更新模板尺度固定，导致每一帧目标跟踪位置不准确的问题，使得本发明能够更准确地预测待跟踪目标位置和大小。

第二，由于本发明利用标准无参数对冲方法更新分布场特征每一级的权值，先计算每一级待跟踪目标的位置和尺寸，然后将每一级的位置加权求和值作为待跟踪目标的最终位置和尺寸，克服了当目标尺度发生变化、遮挡时，每一帧目标跟踪位置不准确的问题，使得本发明能够利用准确的预测待跟踪目标位置和大小，增强了目标跟踪的准确性和可靠性。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

结合附图1中，对本发明的具体步骤进一步的描述。

步骤1，确定运动待跟踪目标的初始位置。

输入含有待跟踪目标的彩色视频图像序列中的第一帧视频图像。

用待跟踪目标的初始位置和初始位置的长度和宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的待跟踪目标。

在第一帧视频图像中，以待跟踪目标的初始位置为中心，用待跟踪目标的初始位置和待跟踪目标的2.5倍长度和2.5倍宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的候选区域图像。

步骤2，利用分布场特征提取方法，构建当前帧视频图像的分布场特征。

利用分布场特征提取方法，提取当前帧视频图像的分布场特征，该分布场特征共有两级，每一级为一个三维矩阵，该矩阵每层行数与候选区域图像的宽度相等，每层列数与候选区域图像的高度相等，层数大小为16。

所述分布场特征提取方法的具体步骤如下：

第1步，按照下式，将由三基色组成的候选区域彩色图像转灰度图像：

E_i＝R_i×0.299+G_i×0.587+B_i×0.114

其中，E_i表示灰度图像中第i个像素点的像素值，R_i表示候选区域图像中第i像素点红色分量的像素值，G_i表示候选区域图像中第i像素点绿色分量像素值，B_i表示候选区域中第i像素点蓝色分量像素值。

第2步，构建一个两级的分布场特征，每一级为一个16层的三维矩阵，每个矩阵中的每层行数与灰度图像的宽度相等，每层列数与灰度图像的高度相等，每一级三维矩阵中每层亮度值的取值范围D_k为[255×k/16255×(k+1)/16]，其中，k表示每一级三维矩阵中第k层的序号，k∈{0,1,2,...,15}，∈表示属于符号。

第3步，按照下式，将灰度图像像素点值映射到分布场特征中每一级三维矩阵的每层中：

其中，d(p,q,k)表示在每一级三维矩阵第k层中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值，I(p,q)表示灰度图像中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值。

第4步，按照下式，计算卷积后分布场特征中每一级三维矩阵中元素的值：

其中，d_s ⁿ(p,q,k)表示卷积后分布场特征中第n级三维矩阵的第k层中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值，⊙表示卷积操作，表示方差为σ_s的二维高斯核函数，表示方差为σ_t的一维高斯核函数。

判断当前帧视频图像是否为第一帧视频图像，若是，执行步骤2c，否则，执行步骤2d。

将第一帧视频图像的分布场特征的每一级初始权值设为0.5。

利用加权求和公式，计算当前帧视频图像中的候选区域特征和上一帧视频图像的分布场特征的加权求和值，用该加权求和值更新当前帧视频图像的分布场特征。

所述加权求和公式如下：

mf＝(1-β)×xf+β×zf

其中，mf表示加权求和后的分布场特征，β表示值为0.01的系数，xf表示当前帧图像中的分布场特征，zf表示当前帧图像的上一帧图像的分布场特征。

步骤3，生成相关滤波器模型。

利用相关滤波方法，计算相关滤波器的参数，将该相关滤波器参数存储到与分布场特征大小相同的空矩阵中，得到相关滤波器模型。

所述相关滤波方法如下：

第1步，构建一个二维零矩阵，该矩阵行数与候选区域图像的宽度相等，列数与候选区域图像的高度相等。

第2步，按照下式，计算标签矩阵元素的值：

y(u,v)＝exp(-((u-M/2)²+(v-N/2)²)×900/wh)

其中，y(u,v)表示标签矩阵上坐标为(u,v)处的值，exp表示指数函数，u表示标签矩阵中元素的横坐标，M表示标签矩阵的行数，v表示标签矩阵的元素的纵坐标，N表示标签矩阵的列数，w表示待跟踪目标的矩形框的长度，h表示待跟踪目标的矩形框的宽度。

第3步，按照下式，计算每一级相关滤波器参数：

其中，W^k表示第k级相关滤波器的参数，表示对W^k取最小值操作，Y表示傅里叶变换后的标签矩阵，X^g表示分布场特征第g级的矩阵，g的取值与k对应相等，||·||_F表示F范数操作，λ表示取值为0.01的系数。

步骤4，预测当前帧视频图像待跟踪目标位置。

载入除第一帧之后的待跟踪视频序列中下一帧彩色视频图像，作为当前帧视频图像，在当前帧视频图像中，以上一帧图像待跟踪目标的位置为中心，提取与待跟踪目标的位置相同的，长度和宽度分别是待跟踪目标长度和宽度2.5倍的矩形框，将该矩形框作为当前帧视频图像的候选区域。

利用尺度位置预测算法，计算待跟踪目标的位置和尺寸。

所述尺度位置预测算法的具体步骤如下：

第1步，依次选取1，0.985，0.99，0.995，1.005，1.01，1.015七个缩放参数，用每个缩放参数分别乘以当前帧视频图像的待跟踪目标的目标框尺寸，得到待跟踪目标的七个目标框尺寸。

第2步，以上一帧图像的待跟踪目标的目标框中心点位置为中心，依次用七个目标框中的每个目标框尺寸，框出当前帧视频图像的七个候选区域。

第3步，依次提取当前帧视频图像的每个候选区域的分布场特征，将每个分布场特征的每一级和相关滤波器参数进行循环卷积，从卷积结果中找出每一级的最大卷积值。

第4步，将每一级的最大卷积值所对应位置的横纵坐标与分布场特征每一级的权值相乘，将该乘积相加后的横纵坐标值作为待跟踪目标位置，将分布场特征的最大卷积值所对应的矩形框尺寸，作为待跟踪目标尺寸。

利用待跟踪目标位置和尺寸确定的矩形框，标出当前帧视频图像的待跟踪目标。

步骤5，利用标准无参数对冲方法计算分布场特征每一级的权值。

利用权值损失公式，计算每一级的权值损失。

所述权值损失公式如下：

其中，表示当前帧视频图像分布场特征第k级的权值损失，表示将每一级最大卷积值求和后的平均值，|·|表示取绝对值操作，S_k表示分布场特征第k级中的最大卷积值，表示分布场特征第k级当前目标位置处的卷积值，表示上一帧视频图像分布场特征第k级的权值损失。

利用权值计算公式，计算下一帧视频图像每一级的权值，将该权值作为分布场特征每一级的权值。

所述权值计算公式如下：

其中，表示下一帧视频图像分布场特征第k级的权值，K表示相关滤波器层数，∑表示求和操作。

判断是否选取完所有的视频帧图像，若是，则执行步骤7，否则，执行步骤2。

步骤7，结束对运动待跟踪目标的跟踪。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明仿真实验的硬件测试平台是：处理器为CPU intel Core i5-6500，主频为3.2GHz，内存4GB；软件平台为：Windows 7旗舰版，64位操作系统，MATLAB R2013a。

2.仿真内容仿真结果分析：

本发明仿真实验是使用本发明所述的目标跟踪方法跟踪Object trackingbenchmark 2015数据库中的一段一名男子在室外旋转走动的视频图像序列，该名男子为待跟踪目标，该视频图像序列共有252帧视频图像。

本发明仿真实验所输入的一段待跟踪视频图像序列的第一帧图像如图2(a)所示。图2(a)为一段一名男子在室外旋转走动的视频图像序列的第一帧图像，图2(a)中实线矩形框的位置表示待跟踪目标的初始位置。

图2(b)为本发明仿真实验中输入的待跟踪目标发生遮挡时的跟踪结果示意图。该视频图像中的男子为待跟踪目标，待跟踪目标发生了遮挡。从该视频图像中对图像块进行特征提取，计算分布场特征每一级的最大卷积值，将每一级所对应位置加权求和，将和作为待跟踪目标最终位置。图2(b)中实线矩形框标注的是待跟踪目标的位置。

图2(c)为本发明仿真实验中输入的待跟踪目标发生外观形变和光照变化时的跟踪结果示意图。该视频图像中的男子为待跟踪目标，待跟踪目标发生了外观形变和光照变化。从该视频图像中对图像块进行特征提取，计算分布场特征每一级的最大卷积值，将每一级所对应位置加权求和，将求和后的值作为待跟踪目标最终位置。图2(c)中实线矩形框标注的是待跟踪目标的位置。

在图2(b)和图2(c)中，实线矩形框的位置表示本发明所述的目标跟踪方法跟踪到的待跟踪目标的位置。由图2(b)和图2(c)可以看出，该实线矩形框准确地框定了目标，说明本发明能够在视频图像序列中目标发生外观形变、遮挡、光照变化的情况下实现准确、有效地目标跟踪。

Claims (7)

1.一种基于分布场特征的目标跟踪方法，其特征在于，提取待跟踪目标的分布场特征；利用标准无参数对冲方法计算分布场特征每一级的权值；该方法的具体步骤包括如下：

(1)确定运动待跟踪目标的初始位置：

(1a)输入含有待跟踪目标的彩色视频图像序列中的第一帧视频图像；

(1b)用待跟踪目标的初始位置和初始位置的长度和宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的待跟踪目标；

(1c)在第一帧视频图像中，以待跟踪目标的初始位置为中心，用待跟踪目标的初始位置和待跟踪目标的2.5倍长度和2.5倍宽度确定一个矩形框，用该矩形框标出第一帧视频图像中的候选区域图像；

(2)利用分布场特征提取方法，构建当前帧视频图像的分布场特征：

(2a)利用分布场特征提取方法，提取当前帧视频图像的分布场特征，该分布场特征共有两级，每一级为一个三维矩阵，该矩阵每层行数与候选区域图像的宽度相等，每层列数与候选区域图像的高度相等，层数大小为16；

(2b)判断当前帧视频图像是否为第一帧视频图像，若是，执行步骤(2c)，否则，执行步骤(2d)；

(2c)将第一帧视频图像的分布场特征的每一级初始权值设为0.5；

(2d)利用加权求和公式，计算当前帧视频图像中的候选区域特征和上一帧视频图像的分布场特征的加权求和值，用该加权求和值更新当前帧视频图像的分布场特征；

(3)生成相关滤波器模型：

利用相关滤波方法，计算相关滤波器的参数，将该相关滤波器参数存储到与分布场特征大小相同的空矩阵中，得到相关滤波器模型；

(4)预测当前帧视频图像待跟踪目标位置：

(4a)载入除第一帧之后的待跟踪视频序列中下一帧彩色视频图像，作为当前帧视频图像，在当前帧视频图像中，以上一帧图像待跟踪目标的位置为中心，提取与待跟踪目标的位置相同的，长度和宽度分别是待跟踪目标长度和宽度2.5倍的矩形框，将该矩形框作为当前帧视频图像的候选区域；

(4b)利用尺度位置预测算法，计算待跟踪目标的位置和尺寸；

(4c)利用待跟踪目标位置和尺寸确定的矩形框，标出当前帧视频图像的待跟踪目标；

(5)利用标准无参数对冲方法计算分布场特征每一级的权值：

(5a)利用权值损失公式，计算每一级的权值损失；

(5b)利用权值计算公式，计算下一帧视频图像每一级的权值，将该权值作为分布场特征每一级的权值；

(6)判断是否选取完所有的视频帧图像，若是，则执行步骤(7)，否则，执行步骤(2)；

(7)结束对运动待跟踪目标的跟踪。

2.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(2a)中所述分布场特征提取方法的具体步骤如下：

第一步，按照下式，将由三基色组成的候选区域彩色图像转灰度图像：

E_i＝R_i×0.299+G_i×0.587+B_i×0.114

其中，E_i表示灰度图像中第i个像素点的像素值，R_i表示候选区域图像中第i像素点红色分量的像素值，G_i表示候选区域图像中第i像素点绿色分量像素值，B_i表示候选区域中第i像素点蓝色分量像素值；

第二步，构建一个两级的分布场特征，每一级为一个16层的三维矩阵，每个矩阵中的每层行数与灰度图像的宽度相等，每层列数与灰度图像的高度相等，每一级三维矩阵中每层亮度值的取值范围D_k为[255×k/16 255×(k+1)/16]，其中，k表示每一级三维矩阵中第k层的序号，k∈{0,1,2,...,15}，∈表示属于符号；

第三步，按照下式，将灰度图像像素点值映射到分布场特征中每一级三维矩阵的每层中：

其中，d(p,q,k)表示在每一级三维矩阵第k层中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值，I(p,q)表示灰度图像中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值；

第四步，按照下式，计算卷积后分布场特征中每一级三维矩阵中元素的值：

其中，d_s ⁿ(p,q,k)表示卷积后分布场特征中第n级三维矩阵的第k层中横坐标坐标值为p，纵坐标坐标值为q的元素对应的值，⊙表示卷积操作，表示方差为σ_s的二维高斯核函数，表示方差为σ_t的一维高斯核函数。

3.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(2a)中所述加权求和公式如下：

mf＝(1-β)×xf+β×zf

其中，mf表示加权求和后的分布场特征，β表示值为0.01的系数，xf表示当前帧图像中的分布场特征，zf表示当前帧图像的上一帧图像的分布场特征。

4.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(3)中所述相关滤波方法如下：

第一步，构建一个二维零矩阵，该矩阵行数与候选区域图像的宽度相等，列数与候选区域图像的高度相等；

第二步，按照下式，计算标签矩阵元素的值：

y(u,v)＝exp(-((u-M/2)²+(v-N/2)²)×900/wh)

其中，y(u,v)表示标签矩阵上坐标为(u,v)处的值，exp表示指数函数，u表示标签矩阵中元素的横坐标，M表示标签矩阵的行数，v表示标签矩阵的元素的纵坐标，N表示标签矩阵的列数，w表示待跟踪目标的矩形框的长度，h表示待跟踪目标的矩形框的宽度；

第三步，按照下式，计算每一级相关滤波器参数：

其中，W^k表示第k级相关滤波器的参数，表示对W^k取最小值操作，Y表示傅里叶变换后的标签矩阵，X^g表示分布场特征第g级的矩阵，g的取值与k对应相等，||·||_F表示F范数操作，λ表示取值为0.01的系数。

5.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(4b)中所述尺度位置预测算法的具体步骤如下：

第一步，依次选取1，0.985，0.99，0.995，1.005，1.01，1.015七个缩放参数，用每个缩放参数分别乘以当前帧视频图像的待跟踪目标的目标框尺寸，得到待跟踪目标的七个目标框尺寸；

第二步，以上一帧图像的待跟踪目标的目标框中心点位置为中心，依次用七个目标框中的每个目标框尺寸，框出当前帧视频图像的七个候选区域；

第三步，依次提取当前帧视频图像的每个候选区域的分布场特征，将每个分布场特征的每一级和相关滤波器参数进行循环卷积，从卷积结果中找出每一级的最大卷积值；

第四步，将每一级的最大卷积值所对应位置的横纵坐标与分布场特征每一级的权值相乘，将该乘积相加后的横纵坐标值作为待跟踪目标位置，将分布场特征的最大卷积值所对应的矩形框尺寸，作为待跟踪目标尺寸。

6.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(5a)中所述权值损失公式如下：

其中，表示当前帧视频图像分布场特征第k级的权值损失，表示将每一级最大卷积值求和后的平均值，|·|表示取绝对值操作，S_k表示分布场特征第k级中的最大卷积值，表示分布场特征第k级当前目标位置处的卷积值，表示上一帧视频图像分布场特征第k级的权值损失。

7.根据权利要求1所述的基于分布场特征的目标跟踪方法，其特征在于，步骤(5b)中所述权值计算公式如下：

其中，表示下一帧视频图像分布场特征第k级的权值，K表示相关滤波器层数，∑表示求和操作。