CN109461170B - 基于fpga的超高速目标跟踪方法、计算机视觉系统 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种基于FPGA的超高速目标跟踪方法、计算机视觉系统；确定跟踪窗口的大小并获取跟踪目标图像；得到跟踪目标的三维HSV特征；采用并行结构，将三维特征分别进行跟踪算法的计算；根据跟踪算法计算得到的响应值确定相邻帧中目标所在的位置；优化目标跟踪算法架构，采用并行与流水结构；设计浮点值与定点值的转换策略，保证计算精度。本发明对跟踪算法的计算部分进行简化，对计算架构进行了优化，使得在保证一定的计算精度前提下，计算复杂度降低并且适合在FPGA硬件上实现；对目标跟踪算法进行加速，实现超高速的目标跟踪系统。

Description

基于FPGA的超高速目标跟踪方法、计算机视觉系统

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于FPGA的超高速目标跟踪方法、计算机视觉系统。

背景技术

目前，业内常用的现有技术是这样的：目标跟踪是计算机视觉领域中的一项基本研究，它在现实生活中有着十分广泛的应用，例如：在智能监控中实现目标跟踪，在军事中进行精确制导以及光学定位等等。近年来电子与计算机技术快速发展，半导体工艺也取得了长足的进步，FPGA器件可以满足许多实际应用对实现平台小巧便携的要求，FPGA使用并行操作的方法对计算性能的提升有着很大的帮助，所以对于计算密集型系统，FPGA是实现目标应用的理想选择方案。随着高速相机的发展，跟踪高速运动的物体成为了一种挑战，在跟踪目标高速移动的情况下，要求目标跟踪系统有很高的处理速度，才能保证对目标正确有效地实现跟踪。目前提出的目标跟踪算法主要包括基于直方图的目标跟踪算法，基于粒子滤波的目标跟踪算法，基于相关滤波的目标跟踪算法，基于机器学习的目标跟踪算法等，其中，基于直方图与粒子滤波的目标跟踪算法由于使用的特征为颜色统计特征，因此跟踪的精度较低；基于机器学习的目标跟踪算法精度较高，但是其计算复杂度很高，导致跟踪的速度很低；基于相关滤波的目标跟踪算法在精度与速度方面有较好的平衡性，因为其使用的特征优于简单的颜色统计特征，并且计算的复杂度低于机器学习的跟踪方法。相关滤波类目标跟踪算法主要有MOSSE，CN，KCF，DCF等，不同种类相关滤波使用的特征以及核函数不同。这些算法使用的核函数有高斯核和线性核，核函数对相关滤波算法的精度影响较小，而计算简便的线性核使得速度有较大的提升。这些算法使用的特征主要有gray特征，colornames特征，HOG特征以及这些特征的组合等，特征对跟踪算法的精度影响较大，不同特征的维度不同，高维特征的跟踪精度优于低维特征的跟踪精度，但是高维特征的计算复杂度要高于低维特征，其中HOG特征计算较为复杂(32维特征)，colornames特征所需的存储资源较多(11维查找表结构)，gray特征只有一维，跟踪精度很低。目前跟踪精度尚可的速度较高的算法为DCF算法，其软件实现速度为292fps(不同CPU跟踪速度有差异)。

综上所述，现有技术存在的问题是：当前目标跟踪算法无法达到高速以及未硬化。无法达到高速是因为跟踪算法本身过于复杂，如基于机器学习的目标跟踪算法，或是目标特征过于复杂，也正是由于算法计算过于复杂，或是计算方法本身不适合于硬件实现，造成未硬化。正是因为现有技术存在以上问题，所以无法满足对超高速目标的跟踪。

解决上述技术问题的难度和意义：上述技术问题的难度在于1.如果大幅降低算法的计算复杂度，会降低跟踪算法的精度，如使用较简单的目标特征，虽然跟踪速度得到提升，但是精度大幅下降。2.设计一种计算架构适合于FPGA实现的算法。因为FPGA适合于并行计算与流水计算，一个算法的架构要符合这两种形式较为困难。解决上述问题的意义在于，如果设计一种算法，既适合FPGA实现，并且计算复杂度与跟踪精度能够较好的平衡，这样该算法就可以真正实现对超高速目标的跟踪，对现实应用有较大的意义。

本方案在前人的基础上，对KCF算法进行了改进，使用计算更为简便的特征，使用线性核函数，优化了傅里叶变换等数学计算的方式，优化了整个跟踪算法的计算架构并进行FPGA硬化。经过优化，使得本方案在保证了一定的跟踪精度前提下，大幅的提升了跟踪的速度。

发明内容

针对现有技术存在的问题，本发明提供了一种基于FPGA的超高速目标跟踪方法、计算机视觉系统。

本发明是这样实现的，一种基于FPGA的超高速目标跟踪方法，所述基于FPGA的超高速目标跟踪方法包括：确定跟踪窗口的大小并获取跟踪目标图像；得到跟踪目标的三维HSV特征；采用并行结构，将三维特征分别进行跟踪算法的计算；根据跟踪算法计算得到的响应值确定相邻帧中目标所在的位置；优化目标跟踪算法架构，采用并行与流水结构；设计浮点值与定点值的转换策略。

进一步，所述基于FPGA的超高速目标跟踪方法包括以下步骤：

步骤一，根据初始帧中目标框大小以及位置，确定后续计算所提取的跟踪目标框的大小以及位置；提取出相邻两帧目标框处的图像，并且计算出高斯label窗以及余弦窗；

步骤二，将获得的跟踪目标从RGB空间转换到HSV空间，得到跟踪目标的三维特征；

步骤三，使用获得的跟踪目标的特征值，使用相关滤波跟踪算法的框架，计算出跟踪目标框每一点的响应值；

步骤四，根据获得的跟踪目标框每一点的响应值，最终得到下一帧中目标的位置，然后回到步骤一进行后续帧的计算。

进一步，所述步骤一确定后续计算所提取的跟踪目标框的大小及位置使用以下方法：

根据groundtruth给出的初始帧中目标框的大小，在其基础上扩大1.5倍，然后判断目标框大小所在的区间，区间以2的幂次划分，区间如下：0-96，97-192，192-384，384-768；

当边长在第一个区间时，取长度为64；在第二个区间时，取长度为128；在第三个区间时，取长度为256；在第四个区间时，取长度为512；

根据目标框最大边长，确定下采样的倍数，即最大边长为512时，下采样倍数为8；最大边长为256时，下采样倍数为4；最大边长为128时，下采样倍数为2；最大边长为64时，下采样倍数为1；最终下采样之后得到的窗口大小就是目标窗口大小。

进一步，所述步骤一中计算高斯label窗以及余弦窗的窗口大小为计算得到的下采样过后的窗口大小。

进一步，所述步骤二中RGB空间转换到HSV空间时，使用如下公式计算：

v＝max

其中max表示一个像素RGB三分量中的最大值，min表示一个像素RGB三分量中的最小值；

上式中h的取值范围为[0,360]，s的取值范围为[0,1]，v的取值范围为[0,255]，后续计算将HSV三分量进行归一化处理，使用的转换公式为：

进一步，所述步骤三将得到的前后两帧图像的三维HSV特征的每一维分别使用相关滤波框架进行并行计算，首先计算每一维的相关性，然后进行叠加，之后进行后续的计算，最后得到最终的响应值；

使用相关滤波框架进行计算时，使用的核函数为线性核函数

模型更新率为1/16。

进一步，所述步骤四依次判断目标框中每一点的响应值，找到响应值最大的点的坐标是相对于目标位置的偏移值，把目标位置移动到目标框左上角，以该点为基准坐标。

进一步，所述基于FPGA的超高速目标跟踪方法的计算目标最终位置的公式为：

Ifvert_delta>(window_vert/2)

vert_delta＝vert_delta–window_vert；

end

ifhoriz_delta>(window_horiz/2)

horiz_delta＝horiz_delta–window_horiz；

end

pos＝pos+cell_size*[vert_delta–1,horiz_delta-1]；

其中vert_delta表示找出的最大响应值的行坐标；horiz_delta表示找出的最大响应值的列坐标；window_vert表示得到的1目标窗口的垂直长度；window_horiz表示得到的目标窗口的水平长度；pos是一个行向量，表示目标的位置，该向量第一个元素为行坐标，第二个元素为列坐标；cell_size表示确定的下采样倍数。

本发明的另一目的在于提供一种应用所述基于FPGA的超高速目标跟踪方法的计算机视觉系统。

本发明的另一目的在于提供一种应用所述基于FPGA的超高速目标跟踪方法的智能监控系统。

综上所述，本发明的优点及积极效果为：相比于现有目标跟踪算法更易于提速与FPGA上的实现；现有目标跟踪算法主要有基于直方图的目标跟踪算法，基于粒子滤波的目标跟踪算法，基于相关滤波的目标跟踪算法，基于机器学习的目标跟踪算法等，但是由于使用的目标特征为颜色统计特征，基于直方图与粒子滤波的目标跟踪算法精度较低，基于机器学习的目标跟踪算法由于计算过程较为复杂，计算速度较慢，速度通常在15fps左右；本发明采用基于相关滤波的目标跟踪算法，在精度与速度方面有较好的平衡性。原始KCF目标跟踪算法采用HOG特征，该特征为32维，且计算方法较为复杂，本发明采用HSV特征，该特征为3维，计算较为简便，在精度没有较大损失的情况下，降低了计算复杂度并且降低了硬件资源的消耗，便于移植到FPGA上。原始KCF目标跟踪算法采用高斯核函数进行相关运算，本发明使用线性核函数进行相关运算，线性核函数相比于高斯核函数，在不显著降低计算精度的基础上，降低了计算复杂度，使得本发明的算法速度得到进一步提升。本发明相比于原始KCF算法，将跟踪目标窗口的长宽限制为2的幂次，使得后续计算可以使用FFT，提升了计算速度。本发明相比于原始KCF算法，根据跟踪目标窗口的大小，对其内部的图像进行了适当的下采样处理，在精度没有较大损失的前提下，降低了计算的复杂度并且减少了硬件资源的消耗，易于FPGA的实现。

本发明在上述算法改进的基础上，对算法的结构进行了进一步的优化，使得改进后算法更符合FPGA的架构，处理速度得到进一步的提升；本发明将HSV三维特征每一维进行并行处理，三个维度的特征同时进行相关滤波算法的计算，以面积换速度；相关滤波算法需要前后相邻两帧的数据来完成跟踪，本发明将前后两帧数据独立计算的部分作为并行结构进行计算，提升了系统的速度。本发明在FPGA实现计算的部分采用深度流水结构，提高了计算速度。本发明将高斯label数据和余弦窗数据存储在RAM中，避免了在跟踪计算过程中对数据的反复写入操作，节省计算时间。本发明在FPGA上所使用的所有缓存空间都使用片上RAM来实现，使用片上存储器资源可以提升系统的运行速度。

本发明对现有算法进行改进，提出适合在FPGA平台上实现的目标跟踪算法系统，发挥FPGA高速计算以及便携性的特点，在跟踪精度没有明显降低的情况下，大幅提升跟踪速度，达到对高速运动物体进行实时跟踪的目的。与原始KCF算法相比，通过上述的改进，跟踪精度稍有下降，但跟踪速度得到极大的提升，对于跟踪精度，原始KCF算法可以跟踪到OTB50数据集40个序列，本方案可以跟踪到37个序列，其中跟不到的序列主要是因为跟踪目标亮度变化太过剧烈；对于跟踪速度，实验使用PC的CPU为Intel(R)Core(TM)i7-8700K，原始KCF算法的matlab程序平均速度为373fps，在不计算跟踪图像读取耗时，只计算完整跟踪算法耗时的情况下，本方案的平均目标跟踪速度可以达到10000fps以上。本发明计算复杂度低，整体结构适合在FPGA上实现，跟踪速度极高，便于对高速目标的跟踪。

附图说明

图1是本发明实施例提供的基于FPGA的超高速目标跟踪方法流程图。

图2是本发明实施例提供的OTB50数据集中groundtruth值。

图3是本发明实施例提供的目标跟踪算法的架构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对当前目标跟踪算法无法达到高速以及未硬化的问题，本发明提出一种适合在FPGA上实现的超高速目标跟踪算法以及其在FPGA上实现的硬件架构；本发明的方法基于相关滤波，使用目标的HSV三维特征，使用线性核函数，并且把复杂运算进行深度流水化以及并行化操作，使得改进算法适合在硬件上实现，在保证一定跟踪精度的前提下，极大提高了目标跟踪的速度。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于FPGA的超高速目标跟踪方法包括以下步骤：

S101：根据初始帧中目标框大小以及位置，确定后续计算所提取的跟踪目标框的大小以及位置，然后提取出相邻两帧目标框处的图像，并且计算出高斯label窗以及余弦窗；

S102：将获得的跟踪目标从RGB空间转换到HSV空间，得到跟踪目标的三维特征；

S103：使用获得的跟踪目标的特征值，使用相关滤波跟踪算法的框架，计算出跟踪目标框每一点的响应值；

S104：根据获得的跟踪目标框每一点的响应值，最终得到下一帧中目标的位置，然后回到步骤S101进行后续帧的计算。

在本发明的优选实施例中，OTB50数据集中会给出图像序列中每一帧的groundtruth值，即目标框的位置及其大小。由此groundtruth值，就可以获得初始帧中目标框的大小及位置。

在本发明的优选实施例中，步骤S101，S102中是同时对前后两帧图像并行做相同计算的，即S3步骤获得的跟踪目标的特征值是前后两帧图像的特征值。

在本发明的优选实施例中，步骤S101中确定后续计算所提取的跟踪目标框的大小及位置使用以下方法：

根据groundtruth给出的初始帧中目标框的大小，在其基础上扩大1.5倍，然后判断目标框大小所在的区间，该区间以2的幂次划分，区间如下：0-96，97-192，192-384，384-768。

当边长在第一个区间时，取长度为64；在第二个区间时，取长度为128；在第三个区间时，取长度为256；在第四个区间时，取长度为512。

根据目标框最大边长，确定下采样的倍数，即最大边长为512时，下采样倍数为8；最大边长为256时，下采样倍数为4；最大边长为128时，下采样倍数为2；最大边长为64时，下采样倍数为1。最终下采样之后得到的窗口大小就是目标窗口大小。

在本发明的优选实施例中，步骤S101中计算高斯label窗以及余弦窗的窗口大小为上述计算得到的下采样过后的窗口大小。

在本发明的优选实施例中，步骤S102步骤中RGB空间转换到HSV空间时，使用如下公式计算：

v＝max

其中max表示一个像素RGB三分量中的最大值，min表示一个像素RGB三分量中的最小值。

上式中h的取值范围为[0,360]，s的取值范围为[0,1]，v的取值范围为[0,255]，后续计算需要将HSV三分量进行归一化处理，因此最终使用的转换公式为：

在本发明的优选实施例中，步骤S103将S101和S102得到的前后两帧图像的三维HSV特征的每一维分别使用相关滤波框架进行并行计算，即首先计算每一维的相关性，然后将其进行叠加，之后进行后续的计算，最后得到最终的响应值。

使用相关滤波框架进行计算时，使用的核函数为线性核函数

模型更新率为1/16。

在本发明的优选实施例中，步骤S104依次判断目标框中每一点的响应值，找到响应值最大的点的坐标是相对于目标位置的偏移值，相当于把目标位置移动到目标框左上角，然后以该点为基准坐标。

在本发明的优选实施例中，步骤S101步骤中所确定的下采样倍数来作为步进的。

更进一步的说，上述计算目标最终位置的公式如下：

Ifvert_delta>(window_vert/2)

vert_delta＝vert_delta–window_vert；

end

ifhoriz_delta>(window_horiz/2)

horiz_delta＝horiz_delta–window_horiz；

end

pos＝pos+cell_size*[vert_delta–1,horiz_delta-1]；

其中vert_delta表示S104找出的最大响应值的行坐标；horiz_delta表示S104找出的最大响应值的列坐标；window_vert表示S10得到的1目标窗口的垂直长度；window_horiz表示S101得到的目标窗口的水平长度；pos是一个行向量，表示目标的位置，该向量第一个元素为行坐标，第二个元素为列坐标；cell_size表示S101确定的下采样倍数。

在本发明的优选实施例中，步骤S101将算法移植到FPGA上存在浮点数转换成定点数的问题，步骤S102得到的归一化后的HSV三分量的定点数小数精度为23位，在算法内部计算过程中，会在不同的计算步骤对定点数小数位数进行调整。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，首先根据OTB50数据集中的某一序列的groundtruth中获取第一帧图像的位置以及目标框的长宽(图2中每一行为一帧图像的数据，前两个数字是目标的横纵坐标，后两个数字是目标框的长和宽)，然后根据目标框的长宽确定跟踪窗口的大小，跟踪窗口大小的确定方法为：首先将目标框扩大1.5倍，然后根据长宽处在0-96、97-192、192-384、384-768区间中的位置，取长宽分别为64、128、256、512，由于跟踪窗口允许的长宽最大值为64，然后根据长宽的最大值确定下采样的倍数，最终确定出跟踪窗口的长和宽。根据跟踪窗口的长宽，从而获得跟踪目标的图像、高斯label的值以及余弦窗的值。在获取这些数据之后，使用本发明中的目标跟踪算法部分进行目标的跟踪操作，架构如图3所示，其具体步骤如下：

步骤一：使用下列公式并行同时将连续两帧跟踪目标图像从RGB格式转化为HSV格式，得到跟踪目标的三维特征，该三维特征每一维的值都是在[0,1]之间的。

得到HSV三维特征之后，对每一维特征都加上余弦窗，去掉图像边缘的多余数据，减少循环移位后边缘对于跟踪效果的影响。

步骤二：将HSV三维特征的每一维独立并行带入到后续计算框架中。首先对每一维数据进行FFT(快速傅里叶变换)，得到xf和zf，共三维。xf的三维特征要参与两部分的计算：1.使用线性核函数做自相关计算，得到一维的kf。2.根据设定好的1/16模型更新率计算三维的Model_Xf。zf的三维特征用来和Model_Xf做互相关计算，也使用线性核函数，得到一维的kzf。做相关运算使用的线性核函数为

其中x为特征值，f(x)为计算得到的相关值。计算更新模型使用的计算公式为model_var＝α·var+(1-α)·model_var，其中model_var为更新后的模型值，var为前计算得到的模型值。

步骤三：计算Alphaf，使用的计算公式为

其中使用的除法是对矩阵中元素的除法，yf是高斯label的值，kf是自相关值，λ是正则化系数，值为0.0001。得到Alphaf之后计算更新模型Model_Alphaf，计算公式为model_var＝α·var+(1-α)·model_var，其中model_var为更新后的模型值，var为前计算得到的模型值。

步骤四：将kzf做延时处理，一直等到Model_Alphaf计算完毕后，再和其一起做点乘运算，计算公式为

其中responsef就是计算得到的跟踪窗口内每一点的响应值(频域下)。

步骤五：将responsef进行IFFT(快速傅里叶逆变换)，把响应值从频域转换到实域，得到response值，该值是复数。

步骤六：对跟踪窗口中实域的response值的实部进行比较，找到跟踪窗口中response值实部最大的点，该点坐标vert_delta和horiz_delta就是相邻帧中的目标坐标的偏移值。

步骤七：根据vert_delta、horiz_delta、上一帧目标位置pos和确定跟踪窗口大小时计算得到的下采样倍数，就可以得到相邻帧中目标的位置，更新目标位置使用以下计算方法：

Ifvert_delta>(window_vert/2)

vert_delta＝vert_delta–window_vert；

end

ifhoriz_delta>(window_horiz/2)

horiz_delta＝horiz_delta–window_horiz；

end

pos＝pos+cell_size*[vert_delta–1,horiz_delta-1]；

由步骤一到步骤七，就实现了在相邻两帧中对目标进行跟踪的目的，循环执行这些步骤，就可以对视频序列中的目标进行跟踪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于FPGA的超高速目标跟踪方法，其特征在于，所述基于FPGA的超高速目标跟踪方法包括：确定跟踪窗口的大小并获取跟踪目标图像；得到跟踪目标的三维HSV特征；采用并行结构，将三维特征分别进行跟踪算法的计算；根据跟踪算法计算得到的响应值确定相邻帧中目标所在的位置；优化目标跟踪算法架构，采用并行与流水结构；设计浮点值与定点值的转换策略；

所述基于FPGA的超高速目标跟踪方法包括以下步骤：

步骤一，根据初始帧中目标框大小以及位置，确定后续计算所提取的跟踪目标框的大小以及位置；提取出相邻两帧目标框处的图像，并且计算出高斯label窗以及余弦窗；

步骤二，将获得的跟踪目标从RGB空间转换到HSV空间，得到跟踪目标的三维特征；

步骤三，使用获得的跟踪目标的特征值，使用相关滤波跟踪算法的框架，计算出跟踪目标框每一点的响应值；

步骤四，根据获得的跟踪目标框每一点的响应值，最终得到下一帧中目标的位置，然后回到步骤一进行后续帧的计算；

所述步骤一确定后续计算所提取的跟踪目标框的大小及位置使用以下方法：

根据groundtruth给出的初始帧中目标框的大小，在其基础上扩大1.5倍，然后判断目标框大小所在的区间，区间以2的幂次划分，区间如下：0-96，97-192，192-384，384-768；

当边长在第一个区间时，取长度为64；在第二个区间时，取长度为128；在第三个区间时，取长度为256；在第四个区间时，取长度为512；

根据目标框最大边长，确定下采样的倍数，即最大边长为512时，下采样倍数为8；最大边长为256时，下采样倍数为4；最大边长为128时，下采样倍数为2；最大边长为64时，下采样倍数为1；最终下采样之后得到的窗口大小就是目标窗口大小；

所述步骤三将得到的前后两帧图像的三维HSV特征的每一维分别使用相关滤波框架进行并行计算，首先计算每一维的相关性，然后进行叠加，之后进行后续的计算，最后得到最终的响应值；

使用相关滤波框架进行计算时，使用的核函数为线性核函数kf＝∑x^*⊙x，模型更新率为1/16。

2.如权利要求1所述的基于FPGA的超高速目标跟踪方法，其特征在于，所述步骤一中计算高斯label窗以及余弦窗的窗口大小为计算得到的下采样过后的窗口大小。

3.如权利要求1所述的基于FPGA的超高速目标跟踪方法，其特征在于，所述步骤二中RGB空间转换到HSV空间时，使用如下公式计算：

v＝max

其中max表示一个像素RGB三分量中的最大值，min表示一个像素RGB三分量中的最小值；

上式中h的取值范围为[0,360]，s的取值范围为[0,1]，v的取值范围为[0,255]，后续计算将HSV三分量进行归一化处理，使用的转换公式为：

4.如权利要求1所述的基于FPGA的超高速目标跟踪方法，其特征在于，所述步骤四依次判断目标框中每一点的响应值，找到响应值最大的点的坐标是相对于目标位置的偏移值，把目标位置移动到目标框左上角，以该点为基准坐标。

5.如权利要求1所述的基于FPGA的超高速目标跟踪方法，其特征在于，所述基于FPGA的超高速目标跟踪方法计算的目标的最终位置的公式为：

Ifvert_delta>(window_vert/2)

vert_delta＝vert_delta–window_vert；

end

ifhoriz_delta>(window_horiz/2)

horiz_delta＝horiz_delta–window_horiz；

end

pos＝pos+cell_size*[vert_delta–1,horiz_delta-1]；

其中vert_delta表示找出的最大响应值的行坐标；horiz_delta表示找出的最大响应值的列坐标；window_vert表示得到的1目标窗口的垂直长度；window_horiz表示得到的目标窗口的水平长度；pos是一个行向量，表示目标的位置，该向量第一个元素为行坐标，第二个元素为列坐标；cell_size表示确定的下采样倍数。

6.一种应用权利要求1～5任意一项所述基于FPGA的超高速目标跟踪方法的计算机视觉系统。

7.一种应用权利要求1～5任意一项所述基于FPGA的超高速目标跟踪方法的智能监控系统。

Images