CN112053384A - 基于边界框回归模型的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于边界框回归的目标跟踪方法，主要解决因传统的相关滤波器预测的目标区域不准确的问题，本发明实现的步骤如下：计算连续分辨率的空间特征图；计算相关滤波器；构建边界框回归模型；回归预测的目标位置；将调整后的目标区域位置作为对于目标跟踪的结果；判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧图像，若是，则执行下一步，否则，用下一帧从头开始执行；结束对待跟踪目标的跟踪。本发明通过构造边界框回归行，更准确地预测了目标区域的位置信息，也通过三次线性插值的方式丰富了神经网络对目标区域提取到的特征，最终实现了准确的目标跟踪。

Description

基于边界框回归模型的目标跟踪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉图像处理技术领域中的一种基于边界框回归模型的目标跟踪方法。本发明采用一种基于边界框回归与自适应模型相结合的方法，实现了视频监控、医疗保健、智能交通、机器人导航、人机交互、虚拟现实等领域的运动目标跟踪。

背景技术

目标跟踪的主要任务是估计视频中目标的轨迹，即从视频图像序列中检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置。目标跟踪最流行的方法之一是检测跟踪，检测跟踪通常根据判别式学习模型，在线学习一个二进制分类器将目标和背景分离。这类方法的目标是设计一个鲁棒的分类器，动态捕捉目标和背景的差异性特征，适应跟踪过程中的视角、光照、姿态等变化。

西安电子科技大学在其拥有的专利技术“基于相关滤波器的目标跟踪检测方法”(专利申请号201810292983.9，授权公告号CN 108596048 B)中公开了一种基于相关滤波器的改进目标跟踪检测方法。该方法的步骤是，通过滤波器得到目标响应图的最大值后用阈值进行判断，对效果不好的输出结果进行再检测处理，得到效果更好的输出结果，防止目标丢失的发生，做到了目标跟踪再检测，解决了相关滤波目标跟踪算法的一个不足之处。但是，该方法仍然存在的不足之处在于，跟踪器在跟踪失败之后进行再检测的过程是比较耗时的，而且得到的目标区域不够准确，从而在视角、光照、姿态等变化的时候很难做到目标的实时跟踪。

西安电子科技大学在其拥有的专利技术“基于结构化输出相关滤波器的目标跟踪方法”(专利申请号201711345205.3，授权公告号CN 108280808 B)中公开了一种基于结构化输出相关滤波器的目标跟踪方法。该方法在利用相关滤波密集取样优势的同时，显著减少边界效应带来的性能损失，同时保留了传统频域相关滤波器的许多计算优点，可以通过利用大量负示例以较低的内存成本来学习一个有效的结构化输出相关滤波器，能够适应目标和背景的变化。同时在每一帧都会对目标位置产生的互相关谱能量和自相关谱能量对模型进行更新，从而更加稳定地实现对目标的跟踪，跟踪实时性好。但是，该方法仍然存在的不足在于，深度特征语义信息丰富而细节信息缺少的问题，使得构建的相关滤波器在预测目标位置的时候会产生一定的偏差。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于边界框回归的目标跟踪方法，用于解决跟踪器在跟踪失败之后进行再检测的过程是比较耗时的，而且得到的目标区域不够准确的问题。

实现本发明目的的具体思路是，通过神经网络提取第一帧目标区域的深度特征得到目标的特征，利用三次线性插值公式丰富特征信息，再通过最小化相关滤波器预测得到的目标区域位置与真实目标区域位置之间的移动误差来得到边界框回归模型的用于调节预测目标区域位置横坐标、纵坐标、宽和高对应的四个参数，再利用这四个参数调节由滤波器预测的目标位置。

为实现上述目的，本发明的具体步骤如下：

(1)计算第一帧连续分辨率的空间特征图：

(1a)将待跟踪目标视频中随机选取含有目标一帧的作为第一帧；

(1b)使用深度卷积神经网络VGG-19提取第一帧中目标区域离散空间域的特征；

(1c)利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图；

(2)从含有待跟踪目标视频图像序列中除第一帧外选取一帧未选过的图像作为当前帧；

(3)计算当前帧的连续分辨率的空间特征图：

(3a)使用深度卷积神经网络VGG-19提取当前帧中目标区域离散空间域的特征；

(3b)利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图；

(4)计算相关滤波器：

(4a)通过空间特征图并利用特征响应图计算公式，计算相关滤波器在空间特征图上产生的特征响应图；

(4b)利用相关滤波器优化函数，对响应图进行优化，将满足相关滤波器优化函数取到最小值的滤波器作为对应于第一帧中的目标区域的相关滤波器；

(5)构建边界框回归模型：

(5a)利用第一帧中确定的相关滤波器与后一帧中的视频区域进行点乘操作，得到用于预测目标位置的响应图；

(5b)将预测目标位置的响应图中响应最大值区域作为后一帧中预测目标区域的位置；

(5c)计算后一帧中的真实目标区域位置与滤波器预测的目标区域位置之间的移动误差，计算公式如下：

其中，t_x表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标误差，t_y表示真实目标区域位置与滤波器预测的目标区域位置之间纵坐标的误差，t_w表示真实目标区域位置与滤波器预测的目标区域位置之间宽的误差，t_h表示真实目标区域位置与滤波器预测的目标区域位置之间高的误差，G_x表示真实目标区域位置的横坐标，G_y表示真实目标区域位置的纵坐标，G_w表示真实目标区域位置的宽，表示真实目标区域位置的高，P_x表示滤波器预测的目标区域位置的横坐标，P_y表示滤波器预测的目标区域位置的纵坐标，P_w表示滤波器预测的目标区域位置的宽，P_h表示滤波器预测的目标区域位置的高，log表示以10为底的对数；

(5d)通过最小化回归模型损失函数，分别计算边界框回归模型的用于调节预测目标区域位置横坐标、纵坐标、宽和高对应的四个参数，利用四个参数完成边界框回归模型的构建，这四个参数是由下由下式分别计算得到的：

m＝argmin((t_*-m^Tθ(P))²+||m||²)

其中，m表示用于调节预测目标区域位置横坐标、纵坐标、宽和高中的任意一个参数，argmin(·)表示最小化函数，t_*表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标、纵坐标、宽和高之间任意一个参数的误差，T表示转置操作，θ(P)表示预测到的目标区域的特征向量，λ表示正则化系数；

(6)回归预测的目标位置：

利用边界框回归模型中的用于调节相关滤波器预测的目标区域位置横坐标、纵坐标、宽和高的参数，对预测的目标区域位置进行调整，调整是由下式实现的：

其中，Q_x表示调整后的目标区域位置的横坐标，Q_y表示调整后的目标区域位置的纵坐标，Q_w表示调整后的目标区域位置的宽，Q_h表示调整后的目标区域位置的高，K_x表示边界框回归模型中用于调整预测目标区域横坐标的参数，K_y表示边界框回归模型中用于调整预测目标区域纵坐标的参数，K_w表示边界框回归模型中用于调整预测目标区域宽的参数，K_h表示边界框回归模型中用于调整预测目标区域高的参数，e^p表示计算幂指数操作；

(7)将调整后的目标区域位置作为对于目标跟踪的结果。

(8)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧图像，若是，则执行步骤(9)，否则，执行步骤(2)；

(9)结束对待跟踪目标的跟踪。

本发明与现有的技术相比具有以下优点：

第一，由于本发明利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图，使得特征图对跟踪目标的表示更加完善，克服了现有技术存在的深度特征语义信息丰富而细节信息缺少的问题，使得本发明在目标跟踪过程中能够更加准确地获取待跟踪目标位置。

第二，由于本发明利用边界框回归模型中的用于调节相关滤波器预测的目标区域位置横坐标、纵坐标、宽和高的参数，对预测的目标区域位置进行调整，克服了现有技术存在的跟踪器在跟踪失败之后进行再检测的过程是比较耗时的，而且得到的目标区域不够准确的问题，使得本发明提高了目标跟踪的鲁棒性。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明实施例和效果做进一步的描述。

参照图1，对本发明的实现步骤做进一步的描述。

步骤1，计算第一帧连续分辨率的空间特征图。

将待跟踪目标视频中随机选取含有目标一帧的作为第一帧。

使用深度卷积神经网络VGG-19提取第一帧中目标区域离散空间域的特征。

利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图，其中三次线性插值公式如下：

其中，H_d'(·)表示第d维离散空间域特征转换到第d'维连续分辨率的空间特征，x^d表示深度特征图中第d维离散空间域特征，N_d表示第d维离散空间域特征的采样数，∑表示加和操作，n表示离散空间域特征的序号，b_e表示具有周期的插值核函数，s_i表示第一帧中的目标区域中的第i个像素点，Z表示第一帧中的目标区域的像素点总数，d与d'的取值对应相等。

步骤3，计算当前帧的连续分辨率的空间特征图。

使用深度卷积神经网络VGG-19提取当前帧中目标区域离散空间域的特征。

利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图，其中三次线性插值公式如下：

步骤4，计算相关滤波器。

通过空间特征图并利用特征响应图计算公式，计算相关滤波器在空间特征图上产生的特征响应图，其中响应图计算公式如下：

其中，S_d”(x^d)表示第d”'维相关滤波器在连续分辨率的空间特征上产生的第d”维的响应图，D表示空间特征图的维度总数，f^d”'表示随机初始化的第d”'维相关滤波器，

表示点乘操作，d，d’，d”，d”'的取值对应相等。

利用相关滤波器优化函数，对响应图进行优化，将满足相关滤波器优化函数取到最小值的滤波器作为对应于第一帧中的目标区域的相关滤波器，其中相关滤波器优化函数如下：

其中，E(f)表示相关滤波器优化函数，表示求最小值操作，M表示相关滤波器的维度总数，j表示相关滤波器维度的序号，

表示第j维相关滤波器对应的权重参数，||·||²表示L2范数操作，y表示第一帧中的目标区域的标签，w表示满足中间小周围大的倒高斯二维矩阵，

表示点乘操作。

步骤5，构建边界框回归模型。

利用第一帧中确定的相关滤波器与后一帧中的视频区域进行点乘操作，得到用于预测目标位置的响应图。

将预测目标位置的响应图中响应最大值区域作为后一帧中预测目标区域的位置。

计算后一帧中的真实目标区域位置与滤波器预测的目标区域位置之间的移动误差，计算公式如下：

其中，t_x表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标误差，t_y表示真实目标区域位置与滤波器预测的目标区域位置之间纵坐标的误差，t_w表示真实目标区域位置与滤波器预测的目标区域位置之间宽的误差，t_h表示真实目标区域位置与滤波器预测的目标区域位置之间高的误差，G_x表示真实目标区域位置的横坐标，G_y表示真实目标区域位置的纵坐标，G_w表示真实目标区域位置的宽，表示真实目标区域位置的高，P_x表示滤波器预测的目标区域位置的横坐标，P_y表示滤波器预测的目标区域位置的纵坐标，P_w表示滤波器预测的目标区域位置的宽，P_h表示滤波器预测的目标区域位置的高，log表示以10为底的对数；

通过最小化回归模型损失函数，分别计算边界框回归模型的用于调节预测目标区域位置横坐标、纵坐标、宽和高对应的四个参数，利用四个参数完成边界框回归模型的构建，这四个参数是由下由下式分别计算得到的：

m＝argmin((t_*-m^Tθ(P))²+||m||²)

其中，m表示用于调节预测目标区域位置横坐标、纵坐标、宽和高中的任意一个参数，argmin(·)表示最小化函数，t_*表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标、纵坐标、宽和高之间任意一个参数的误差，T表示转置操作，θ(P)表示预测到的目标区域的特征向量，λ表示正则化系数；

步骤6，回归预测的目标位置。

利用边界框回归模型中的用于调节相关滤波器预测的目标区域位置横坐标、纵坐标、宽和高的参数，对预测的目标区域位置进行调整，调整是由下式实现的：

其中，Q_x表示调整后的目标区域位置的横坐标，Q_y表示调整后的目标区域位置的纵坐标，Q_w表示调整后的目标区域位置的宽，Q_h表示调整后的目标区域位置的高，K_x表示边界框回归模型中用于调整预测目标区域横坐标的参数，K_y表示边界框回归模型中用于调整预测目标区域纵坐标的参数，K_w表示边界框回归模型中用于调整预测目标区域宽的参数，K_h表示边界框回归模型中用于调整预测目标区域高的参数，e^p表示计算幂指数操作；

步骤7，将调整后的目标区域位置作为对于目标跟踪的结果。

步骤8，判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧图像，若是，则执行步骤9，否则，执行步骤2。

步骤9，结束对待跟踪目标的跟踪。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明仿真实验的硬件测试平台是：处理器为CPU intel Core i5-6500，主频为3.2GHz，内存8GB；

本发明仿真实验的软件平台为：Windows 7旗舰版，64位操作系统，MATLABR2017b。

仿真实验所用数据来自Visual Object Tracking 2019数据库中的一段小女孩玩滑板的视频图像序列，该视频图像序列共有1500帧视频图像。

2.仿真内容仿真结果分析：

本发明仿真实验是从由1500帧图像组成的视频序列中选取了第一帧和第25帧图像，将第一帧和第25帧图像合成一个小视频序列进行仿真实验，首先将第一帧中女孩所在的位置作为待跟踪目标的位置，然后利用采用本发明步骤4中计算得到的相关滤波器，自动跟踪在第25帧中女孩的位置，再利用本发明步骤5构建的边界框回归模型，对相关滤波器跟踪的结果进行调整，最后，将调整后的结果与调整前的结果进行对比。

下面结合图2的仿真图对本发明的效果做进一步的描述。

图2(a)为仿真实验所用数据中的一段小女孩玩滑板的视频图像序列的第一帧图，图2(b)为采用本发明步骤4中计算得到的相关滤波器，自动跟踪在第25帧中女孩的位置的结果图，图2(c)为利用本发明步骤5构建的边界框回归模型，对相关滤波器跟踪的结果进行调整后的结果图。

图2(a)中白色的矩形框表示的是该视频序列第一帧中待跟踪目标的位置。图2(b)中的白色的矩形框表示使用步骤4中计算得到的相关滤波器对第25帧中女孩位置的跟踪结果，图2(c)中的白色的矩形框表示用步骤5构建的边界框回归模型对相关滤波器跟踪的结果进行调整后的跟踪结果。

由图2(b)可以看出，使用步骤4中计算得到的相关滤波器对第25帧的图像进行跟踪的结果是存在一定偏差的。

由图2(c)可以看出，使用步骤5中构建的边界框回归模型对相关滤波器跟踪的结果进行调整后的结果是比较准确的。

以上仿真实验表明：在相关滤波器预测到目标区域位置之后引入边界框回归模型对目标区域位置进行调整会得到更加准确的跟踪结果，所以边界框回归模型的引入提高了目标跟踪的准确性和鲁棒性。

Claims (4)

1.一种基于边界框回归模型的目标跟踪方法，其特征在于，通过构建的边界框回归模型，对滤波器定位的目标位置进行回归调整；该方法的步骤包括如下：

(1)计算第一帧连续分辨率的空间特征图：

(1a)将待跟踪目标视频中随机选取含有目标一帧的作为第一帧；

(1b)使用深度卷积神经网络VGG-19提取第一帧中目标区域离散空间域的特征；

(1c)利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图；

(2)从含有待跟踪目标视频图像序列中除第一帧外选取一帧未选过的图像作为当前帧；

(3)计算当前帧的连续分辨率的空间特征图：

(3a)使用深度卷积神经网络VGG-19提取当前帧中目标区域离散空间域的特征；

(3b)利用三次线性插值公式，将每个维度离散空间域特征转换到连续分辨率的空间特征，得到空间特征图；

(4)计算相关滤波器：

(4a)通过空间特征图并利用特征响应图计算公式，计算相关滤波器在空间特征图上产生的特征响应图；

(4b)利用相关滤波器优化函数，对响应图进行优化，将满足相关滤波器优化函数取到最小值的滤波器作为对应于第一帧中的目标区域的相关滤波器；

(5)构建边界框回归模型：

(5a)利用第一帧中确定的相关滤波器与当前帧中的视频区域进行点乘操作，得到用于预测目标位置的响应图；

(5b)将预测目标位置的响应图中响应最大值区域作为当前帧中预测目标区域的位置；

(5c)计算当前帧中的真实目标区域位置与滤波器预测的目标区域位置之间的移动误差，计算公式如下：

其中，t_x表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标误差，t_y表示真实目标区域位置与滤波器预测的目标区域位置之间纵坐标的误差，t_w表示真实目标区域位置与滤波器预测的目标区域位置之间宽的误差，t_h表示真实目标区域位置与滤波器预测的目标区域位置之间高的误差，G_x表示真实目标区域位置的横坐标，G_y表示真实目标区域位置的纵坐标，G_w表示真实目标区域位置的宽，表示真实目标区域位置的高，P_x表示滤波器预测的目标区域位置的横坐标，P_y表示滤波器预测的目标区域位置的纵坐标，P_w表示滤波器预测的目标区域位置的宽，P_h表示滤波器预测的目标区域位置的高，log表示以10为底的对数；

(5d)通过最小化回归模型损失函数，分别计算边界框回归模型的用于调节预测目标区域位置横坐标、纵坐标、宽和高对应的四个参数，利用四个参数完成边界框回归模型的构建，这四个参数是由下由下式分别计算得到的：

m＝argmin((t_*-m^Tθ(P))²+||m||²)

其中，m表示用于调节预测目标区域位置横坐标、纵坐标、宽和高中的任意一个参数，argmin(·)表示最小化函数，t_*表示真实目标区域位置与滤波器预测的目标区域位置之间的横坐标、纵坐标、宽和高之间任意一个参数的误差，T表示转置操作，θ(P)表示预测到的目标区域的特征向量，λ表示正则化系数；

(6)回归预测的目标位置：

利用边界框回归模型中的用于调节预测目标区域位置横坐标、纵坐标、宽和高的参数，对预测的目标区域位置进行调整，调整是由下式实现的：

其中，Q_x表示调整后的目标区域位置的横坐标，Q_y表示调整后的目标区域位置的纵坐标，Q_w表示调整后的目标区域位置的宽，Q_h表示调整后的目标区域位置的高，K_x表示边界框回归模型中用于调整预测目标区域横坐标的参数，K_y表示边界框回归模型中用于调整预测目标区域纵坐标的参数，K_w表示边界框回归模型中用于调整预测目标区域宽的参数，K_h表示边界框回归模型中用于调整预测目标区域高的参数，e^p表示计算幂指数操作；

(7)将调整后的目标区域位置作为对于目标跟踪的结果；

(8)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧图像，若是，则执行步骤(9)，否则，执行步骤(2)；

(9)结束对待跟踪目标的跟踪。

2.根据权利要求1所述的基于边界框回归模型的目标跟踪方法，其特征在于，步骤(1c)、步骤(3b)中所述的三次线性插值公式如下：

其中，H_d'(·)表示第d维离散空间域特征转换到第d'维连续分辨率的空间特征，x^d表示深度特征图中第d维离散空间域特征，N_d表示第d维离散空间域特征的采样数，∑表示加和操作，n表示离散空间域特征的序号，b_e表示具有周期的插值核函数，s_i表示第一帧中的目标区域中的第i个像素点，Z表示第一帧中的目标区域的像素点总数，d与d'的取值对应相等。

3.根据权利要求2所述的基于边界框回归模型的目标跟踪方法，其特征在于，步骤(4a)中所述的响应图计算公式如下：

其中，S_d”(x^d)表示第d”’维相关滤波器在连续分辨率的空间特征上产生的第d”维的响应图，D表示空间特征图的维度总数，f^d”’表示随机初始化的第d”’维相关滤波器，

表示点乘操作，d，d’，d”，d”’的取值对应相等。

4.根据权利要求3所述的基于边界框回归模型的目标跟踪方法，其特征在于，步骤(4b)中所述的相关滤波器优化函数如下：

其中，E(f)表示相关滤波器优化函数，表示求最小值操作，M表示相关滤波器的维度总数，j表示相关滤波器维度的序号，

表示第j维相关滤波器对应的权重参数，||·||²表示L2范数操作，y表示第一帧中的目标区域的标签，w表示满足中间小周围大的倒高斯二维矩阵，

表示点乘操作。

Images