CN106846366B - 使用gpu硬件的tld视频运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种使用GPU硬件的TLD视频运动目标跟踪方法，解决了现有技术跟踪性能不高和不具有实时处理能力的问题。本发明实现的步骤：(1)获取灰度图像；(2)判断灰度图像是否是待跟踪视频中的第1帧图像；(3)确定初始运动目标位置矩形框；(4)获得灰度图像元；(5)追踪灰度图像元特征点；(6)筛选灰度图像的图像元；(7)对灰度图像的图像元滤波；(8)确定运动目标位置矩形框；(9)训练分类器；(10)判断是否加载完待跟踪视频的所有帧图像；(11)结束目标跟踪。本发明可用在通用计算机上实现对视频中的运动目标进行实时跟踪。

Description

使用GPU硬件的TLD视频运动目标跟踪方法

技术领域

本发明属于计算机技术领域，更进一步涉及计算机视频目标跟踪技术领域中的一种使用计算机图形处理器GPU(Graphics Processing Unit)硬件的追踪学习检测TLD(Tracking-Learning-Detection)视频运动目标跟踪方法。本发明可以实现对追踪学习检测TLD(Tracking-Learning-Detection)视频运动目标跟踪算法的加速，可在通用计算机上实现对视频中的运动目标进行实时跟踪。

背景技术

具有高速、高性能的目标跟踪方法是计算机视觉领域的核心技术。目前的目标跟踪方法分为两类：一类是基于特征匹配的跟踪方法，该方法主要是构建能够代表目标的特征，然后通过特征间的匹配度来判断目标的位置；另一类是基于目标与背景分离的跟踪方法，该方法运用机器学习的方法学习一个能够分离目标与背景的分类器，学习过程一般为在线训练过程，通过学习到的分类器来判断目标位置。相比之下，前者具有计算简单，但对具有光照、遮挡、尺度等因素变化的情况不能很好地处理。后者在一定程度上能够解决前者遇到的问题，而具有较高的鲁棒性，但其计算复杂度较高。

西北农林科技大学在其申请的专利文献“一种基于全局搜索的实时分布场目标跟踪方法”(申请日：2014年6月26日，申请号：201410298728.7，公开号：CN 104036528A)中公开了一种基于特征匹配的跟踪方法。该方法将目标的分布场作为目标模型，在计算候选区域分布场与目标模型相关系数矩阵时，借助二维傅里叶变换的良好性质，将局部范围的搜索扩大到全局范围的搜索，并且保证了很高的处理速度，具有实时跟踪视频中运动目标的能力。但是，该方法仍然存在的不足之处是，由于视频中运动目标被遮挡和光照变化造成的鲁棒性降低，导致跟踪视频中运动目标的准确度低。

Sam Hare、Amir Saffari和Philip H.S.Torr在其发表的论文“Struck:Structured Output Tracking with Kernels”(IEEE International Conference onComputer Vision,ICCV 2011,Barcelona,Spain,November 6-13,2011,pages 263–270)中公开提出了一种基于目标与背景分离的Struck目标跟踪方法。该方法采用结构化支持向量机模型，学习一个能区分目标与背景的分类器，通过学习到的分类器来判断目标的位置。该方法虽然具有跟踪准确度较高的优点，在一定程度上克服了传统方法鲁棒性低的问题。但该方法仍然存在的不足之处是，处理速度慢，无法对视频中运动目标进行实时跟踪。

发明内容

本发明的目的在于克服上述现有技术的不足，提供了一种使用GPU硬件的TLD视频运动目标跟踪方法，可实现对视频中的运动目标进行实时跟踪。

实现本发明目的的思路是，针对TLD算法无法实现视频中的运动目标进行实时跟踪的缺陷，使用GPU硬件，针对TLD算法中计算量大的部分进行改进，开发了基于GPU硬件的TLD视频运动目标跟踪系统，达到了在普通PC上对视频中运动目标进行实时跟踪的效果。

实现本发明目的的具体步骤如下：

(1)获取灰度图像：

将待跟踪视频中的任意一帧图像加载到计算机内存后转化为灰度图像；

(2)判断灰度图像是否是待跟踪视频中的第1帧图像，若是，则执行步骤(3)，否则，执行步骤(5)；

(3)确定初始运动目标位置矩形框：

从待跟踪视频中第1帧灰度图像中，将含有待跟踪运动目标的矩形框作为运动目标的位置矩形框；

(4)获得灰度图像元：

以15个像素点为步长，将灰度图像划分为图像元后执行步骤(9)；

(5)追踪灰度图像元特征点：

(5a)在运动目标位置矩形框内，以5个像素点为步长，选取100个点为待追踪点，组成待追踪点集合；

(5b)使用光流法，对待追踪点集合中的所有的点进行追踪，得到相邻两帧灰度图像间处于同一位置的多个点，组成特征点集合；

(5c)按照下式，计算每个待追踪点集合与特征点集合的位置误差：

e＝||p_i-q_j||

其中，e表示待追踪点集合p_i中的第i个点与特征点集合q_j中第j个点的位置误差，||·||表示0范数操作；

(6)筛选灰度图像的图像元：

(6a)利用高斯低通滤波器，对灰度图像中的随机噪声进行高斯滤波；

(6b)计算每一帧灰度图像中所有图像元方差的均值，舍弃灰度图像中图像元中所有方差小于均值的图像元，得到方差大于均值的所有图像元；

(7)对灰度图像的图像元滤波：

(7a)利用计算机图形处理器GPU设备中的随机森林分类器，并行对灰度图像中方差大于均值的的图像元进行滤波，得到滤波后的所有图像元；

(7b)利用计算机图形处理器GPU设备中的最小邻近分类器，对滤波后的图像元并行的进行滤波，得到含有目标的所有图像元；

(8)确定运动目标位置矩形框：

从灰度图像元的所有特征点中，选择位于左上角、右上角，左下角、右下角的特征点，将这四个点确定的矩形，作为运动目标位置矩形框；

(9)训练分类器：

(9a)将步骤(1)获得的灰度图像中与目标位置矩形框重叠面积最大的10个图像元作为正样本集，重叠面积最小的10个图像元作为负样本集；

(9b)从正、负样本集的每一个图像元中随机选取26个像素点，任意组成13个像素点对；

(9c)分别将每对像素点中的两个像素点相减，将其差值为正的标记为1，其余的标记为0，将所以标记结果组成一个13比特的二进制数；

(10)判断是否加载完待跟踪视频的所有帧图像，若是，则执行步骤(11),否则执行步骤(1)；

(11)结束目标跟踪。

本发明与现有技术相比，具有以下优点：

第一，本发明利用计算机图形处理器GPU设备中的随机森林分类器，并行地对灰度图像中方差较大的图像元进行滤波，克服了现有技术中利用随机森林分类器对图像元滤波速度慢的问题，使得本发明大大提高了随机森林分类器对图像元的过滤速度，由此提高了跟踪目标的速度。

第二，本发明利用计算机图形处理器GPU设备中的最小邻近分类器，并行地对灰度图像中随机森林分类器滤波后的图像元进行滤波，克服了现有技术中使用最小邻近分类器对图像元滤波速度慢的问题，使得本发明大大提高了最小邻近分类器对图像元的过滤速度，由此提高了跟踪目标的速度，使得本发明具有实时性。

附图说明

图1是本发明的流程图。

具体实施方式

参照图1，对本发明的具体步骤作进一步的描述。

步骤1，获取灰度图像。

将待跟踪视频中的任意一帧图像加载到计算机内存后转化为灰度图像。

步骤2，判断灰度图像是否是待跟踪视频中的第1帧图像，若是，则执行步骤3，否则，执行步骤5。

步骤3，确定初始运动目标位置矩形框。

从待跟踪视频中第1帧灰度图像中，将含有待跟踪运动目标的矩形框作为运动目标的位置矩形框。

步骤4，获得灰度图像元。

以15个像素点为步长，将灰度图像划分为图像元后执行步骤(9)。

步骤5，追踪灰度图像元特征点。

在运动目标位置矩形框内，以5个像素点为步长，选取100个点为待追踪点，组成待追踪点集合。

使用光流法，对待追踪点集合中的所有的点进行追踪，得到相邻两帧灰度图像间处于同一位置的多个点，组成特征点集合。

使用光流法的具体步骤如下。

第1步，按照下式，获得四层高斯金字塔中的每层灰度图像：

其中，G_t+1表示第t+1层高斯金字塔的灰度图像，G_t表示第t层高斯金字塔的灰度图像，t的取值从1到3，D(·)表示下采样操作，

表示卷积操作，g_5*5表示5乘5的高斯核。

第2步，按照下式，分别计算待追踪点集合中的每个点在高斯金字塔的每层灰度图像中对应点：

其中，u_k表示第k层图像金字塔中的特征点，k取值从1到4，p表示待追踪点集合中的任意点。

第3步，按照下式，计算每个待追踪点集合与特征点集合的位置误差：

e＝||p_i-q_j||

其中，e表示待追踪点集合p_i中的第i个点与特征点集合q_j中第j个点的位置误差，||·||表示0范数操作。

步骤6，筛选灰度图像的图像元。

利用高斯低通滤波器，对灰度图像中的随机噪声进行高斯滤波。

计算每一帧灰度图像中所有图像元方差的均值，舍弃灰度图像中图像元中所有方差小于均值的图像元，得到方差大于均值的所有图像元。

计算每一帧灰度图像中所有图像元方差的均值的具体步骤如下。

第1步，按照下式，计算每一帧灰度图像中每个图像元的均值：

其中，M_(a,b)表示第a帧灰度图像中第b个图像元的均值，p_n表示第a帧灰度图像中第b个图像元的第n个像素点，n表示第a帧灰度图像中第b个图像元的像素点总数。

第2步，按照下式，计算每一帧灰度图像中每个图像元的方差：

其中，s²表示第a帧灰度图像中第b个图像元的方差。

第3步，按照下式，计算每一帧灰度图像中所有图像元方差的均值：

其中，

表示第a帧灰度图像中所有图像元方差的均值，

表示第a帧灰度图像中第c个图像元的方差，c表示第a帧灰度图像中图像元的总数。

步骤7，对灰度图像的图像元滤波。

利用计算机图形处理器GPU设备中的随机森林分类器，并行对灰度图像中方差大于均值的的图像元进行滤波，得到滤波后的所有图像元。

利用计算机图形处理器GPU设备中的随机森林分类器，并行对灰度图像中方差大于均值的图像元进行滤波的具体步骤如下。

第1步，在计算机图形处理器GPU设备中，为灰度图像中每一个方差大于均值的图像元，分配一个随机森林分类器。

第2步，利用计算机图形处理器GPU设备中的随机森林分类器，并行地从灰度图像中每一个方差大于均值的图像元中随机选取26个像素点，任意组成13个像素点对。

第3步，利用计算机图形处理器GPU设备中的随机森林分类器，并行地将每对像素点中的两个像素点相减，将其差值为正的标记为1，其余的标记为0，将所以标记结果组成一个13比特的二进制数。

利用计算机图形处理器GPU设备中的最小邻近分类器，对滤波后的图像元并行的进行滤波，得到含有目标的所有图像元。

利用计算机图形处理器GPU设备中的最小邻近分类器，对滤波后的图像元并行的进行滤波的具体步骤如下。

第1步，在计算机图形处理器GPU设备中，为灰度图像中每一个随机森林分类器滤波后的图像元，分配一个最小邻近分类器。

第2步，按照下式，计算灰度图像中经过随机森林分类器滤波后的每个图像元与运动目标位置框的互相关值：

其中，R_e表示灰度图像中经过随机森林分类器滤波后的第e个图像元与运动目标位置框的互相关值，e取值从1到100，∑表示求和操作，T_d表示运动目标位置框中的第d个像素，I_d表示灰度图像中经过随机森林分类器滤波后的第e个图像元中的第d个像素，d取值从1到100。

步骤8，确定运动目标位置矩形框。

从灰度图像元的所有特征点中，选择位于左上角、右上角，左下角、右下角的特征点，将这四个点确定的矩形，作为运动目标位置矩形框。

步骤9，训练分类器。

将步骤(1)获得的灰度图像中与目标位置矩形框重叠面积最大的10个图像元作为正样本集，重叠面积最小的10个图像元作为负样本集。

从正、负样本集的每一个图像元中随机选取26个像素点，任意组成13个像素点对。

分别将每对像素点中的两个像素点相减，将其差值为正的标记为1，其余的标记为0，将所有标记结果组成一个13比特的二进制数。

步骤10，判断是否加载完待跟踪视频的所有帧图像，若是，则执行步骤11,否则执行步骤1。

步骤11，结束目标跟踪。

本发明的效果可以用在以下测试环境下得到的如下测试结果说明。

1.测试环境：

操作系统:ubuntu14.04。

中央处理器CPU:Intel(R)Core(TM)i3 CPU M380@2.53GHz。

图像处理器GPU:ATI Radeon HD 5650。

2.测试内容及其结果分析：

用本发明中的使用GPU硬件的TLD视频运动目标跟踪方法和TLD原始视频跟踪算法分别对10组测试视频进行测试，测试结果如下表1所示。

表1本发明与TLD原始算法性能对比一览表

测试视频	原算法帧频	原算法准确率	本发明帧频	本发明准确率	加速比
						01_david	2.57fps	100％	8.26fps	100％	3.21
02_jumping	3.92fps	80.3％	16.13fps	80.2％	4.11
						03_pedestrian1	6.13fps	47.9％	20.83fps	46.5％	3.40
04_pedestrian2	7.94fps	94.4％	25fps	94.4％	3.15
						05_pedestrian3	5.21fps	85.3％	21.28fps	85.3％	4.08
06_car	7.58fps	94.8％	23.81fps	94.6％	3.14
						07_motocross	9.17fps	29.9％	31.25fps	29.9％	3.40
08_volkswagen	2.86fps	28.5％	11.9fps	30.8％	4.16
						09_carchase	5.56fps	20.9％	18.52fps	20.9％	3.33
10_panda	11.9fps	28.9％	38.46fps	31.77％	3.23

由表1可见，通过对10组视频进行测试，测试结果表明本发明中的使用GPU硬件的TLD视频运动目标跟踪方法和TLD原始视频跟踪算法相比，在跟踪准确率没有明显下降的情况下，本发明的处理帧频大大增加，平均可达到3到4倍的加速比。

Claims (5)

1.一种使用GPU硬件的TLD视频运动目标跟踪方法，包括如下步骤：

(1)获取灰度图像：

将待跟踪视频中的任意一帧图像加载到计算机内存后转化为灰度图像；

(2)判断灰度图像是否是待跟踪视频中的第1帧图像，若是，则执行步骤(3)，否则，执行步骤(5)；

(3)确定初始运动目标位置矩形框：

从待跟踪视频中第1帧灰度图像中，将含有待跟踪运动目标的矩形框作为运动目标的位置矩形框；

(4)获得灰度图像元：

以15个像素点为步长，将灰度图像划分为图像元后执行步骤(9)；

(5)追踪灰度图像元特征点：

(5a)在运动目标位置矩形框内，以5个像素点为步长，选取100个点为待追踪点，组成待追踪点集合；

(5b)使用光流法，对待追踪点集合中的所有的点进行追踪，得到相邻两帧灰度图像间处于同一位置的多个点，组成特征点集合；

(5c)按照下式，计算每个待追踪点集合与特征点集合的位置误差：

e＝||p_i-q_j||

其中，e表示待追踪点集合p_i中的第i个点与特征点集合q_j中第j个点的位置误差，||·||表示0范数操作；

(6)筛选灰度图像的图像元：

(6a)利用高斯低通滤波器，对灰度图像中的随机噪声进行高斯滤波；

(6b)计算每一帧灰度图像中所有图像元方差的均值，舍弃灰度图像中图像元中所有方差小于均值的图像元，得到方差大于均值的所有图像元；

(7)对灰度图像的图像元滤波：

(7a)利用计算机图形处理器GPU设备中的随机森林分类器，并行对灰度图像中方差大于均值的的图像元进行滤波，得到滤波后的所有图像元；

(7b)利用计算机图形处理器GPU设备中的最小邻近分类器，对滤波后的图像元并行的进行滤波，得到含有目标的所有图像元；

(8)确定新的运动目标位置矩形框：

从灰度图像元的所有特征点中，选择位于左上角、右上角，左下角、右下角的特征点，将这四个点确定的矩形，作为新的运动目标位置矩形框；

(9)训练分类器：

(9a)将步骤(1)获得的灰度图像中与目标位置矩形框重叠面积最大的10个图像元作为正样本集，重叠面积最小的10个图像元作为负样本集；

(9b)从正、负样本集的每一个图像元中随机选取26个像素点，任意组成13个像素点对；

(9c)分别将每对像素点中的两个像素点相减，将其差值为正的标记为1，其余的标记为0，将所以标记结果组成一个13比特的二进制数；

(10)判断是否加载完待跟踪视频的所有帧图像，若是，则执行步骤(11),否则执行步骤(1)；

(11)结束目标跟踪。

2.根据权利要求1所述的使用GPU硬件的TLD视频运动目标跟踪方法，其特征在于，步骤(5b)所述使用光流法的具体步骤如下：

第1步，按照下式，获得四层高斯金字塔中的每层灰度图像：

其中，G_t+1表示第t+1层高斯金字塔的灰度图像，G_t表示第t层高斯金字塔的灰度图像，t的取值从1到3，D(·)表示下采样操作，

表示卷积操作，g_5*5表示5乘5的高斯核；

第2步，按照下式，分别计算待追踪点集合中的每个点在高斯金字塔的每层灰度图像中对应点：

其中，u_k表示第k层图像金字塔中的特征点，k取值从1到4，p表示待追踪点集合中的任意点。

3.根据权利要求1所述的使用GPU硬件的TLD视频运动目标跟踪方法，其特征在于，步骤(6b)所述计算每一帧灰度图像中所有图像元方差的均值的具体步骤如下：

第1步，按照下式，计算每一帧灰度图像中每个图像元的均值：

其中，M_(a,b)表示第a帧灰度图像中第b个图像元的均值，p_n表示第a帧灰度图像中第b个图像元的第n个像素点，n表示第a帧灰度图像中第b个图像元的像素点总数；

第2步，按照下式，计算每一帧灰度图像中每个图像元的方差：

其中，s²表示第a帧灰度图像中第b个图像元的方差；

第3步，按照下式，计算每一帧灰度图像中所有图像元方差的均值：

其中，

表示第a帧灰度图像中所有图像元方差的均值，

表示第a帧灰度图像中第c个图像元的方差，c表示第a帧灰度图像中图像元的总数。

4.根据权利要求1所述的使用GPU硬件的TLD视频运动目标跟踪方法，其特征在于，步骤(7a)中所述的利用计算机图形处理器GPU设备中的随机森林分类器，并行对灰度图像中方差大于均值的图像元进行滤波的具体步骤如下：

第1步，在计算机图形处理器GPU设备中，为灰度图像中每一个方差大于均值的图像元，分配一个随机森林分类器；

第2步，利用计算机图形处理器GPU设备中的随机森林分类器，并行地从灰度图像中每一个方差大于均值的图像元中随机选取26个像素点，任意组成13个像素点对；

第3步，利用计算机图形处理器GPU设备中的随机森林分类器，并行地将每对像素点中的两个像素点相减，将其差值为正的标记为1，其余的标记为0，将所有标记结果组成一个13比特的二进制数。

5.根据权利要求1所述的使用GPU硬件的TLD视频运动目标跟踪方法，其特征在于，步骤(7b)中所述的利用计算机图形处理器GPU设备中的最小邻近分类器，对滤波后的图像元并行的进行滤波的具体步骤如下：

第1步，在计算机图形处理器GPU设备中，为灰度图像中每一个随机森林分类器滤波后的图像元，分配一个最小邻近分类器；

第2步，按照下式，计算灰度图像中经过随机森林分类器滤波后的每个图像元与运动目标位置框的互相关值：

其中，R_e表示灰度图像中经过随机森林分类器滤波后的第e个图像元与运动目标位置框的互相关值，e取值从1到100，∑表示求和操作，T_d表示运动目标位置框中的第d个像素，I_d表示灰度图像中经过随机森林分类器滤波后的第e个图像元中的第d个像素，d取值从1到100。

Images