CN105469427B - 一种用于视频中目标跟踪方法 - Google Patents

Abstract

本发明公开了一种用于视频中目标跟踪方法，有效的将FAST算法与KLT算法相结合，解决视频中的目标跟踪问题，同时还对FAST算法与KLT算法进行了相应的改进，从而使目标跟踪的更加精确。本发明能够高效的选择合适的特征信息进行跟踪并且准确性高，鲁棒性强，同时本发明提供的方法更加简单，运行时间短，目标能够被准确的跟踪。

Description

一种用于视频中目标跟踪方法

技术领域

本发明属于视频分析领域，特别涉及一种用于视频中目标跟踪方法。

背景技术

视频分析技术就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。用户可以根据的视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音,用户可以通过点击报警信息，实现报警的场景重组并采取相关措施。

目前，基于运动分析的跟踪方法中帧差法最简单，速度快，易于硬件实现。然而，对于动态背景，准确性不高，鲁棒性也比较差。传统的光流分割法具有较强的抗干扰性，但不能有效区分目标运动造成的背景遮拦、显现以及孔径等问题，计算量大，需要特殊的硬件支持。如果光照强度或光源方位发生了变化，准确性较差。

图像序列的区域匹配能够获得较高的定位精度，但是计算量大，难以达到实时性要求。模型匹配跟踪精度高，适用于机动目标的各种运动变化，抗干扰能力强。但由于计算分析复杂，运算速度慢，模型的更新较为复杂，实时性较差。准确建立运动模型，是模型匹配能否成功的关键。

序列图像中包含大量可用于目标跟踪的特征信息，如目标的运动、颜色、边缘以及纹理等。但目标的特征信息一般是时变的，选取合适的特征信息保证跟踪的有效性比较困难。

发明内容

发明目的：针对现有技术存在的问题，本发明提供了一种能够高效的选择合适的特征信息进行跟踪并且准确性高，鲁棒性强的用于视频中目标跟踪方法。

发明内容：本发明提供了一种用于视频中目标跟踪方法，包括以下步骤：

步骤10：从第一帧视频图像中获取所有像素点，通过FAST算法得到需要跟踪的角点，用KLT方法对需要跟踪的角点进行跟踪并将需要跟踪的角点存储至lastSET集合中，再从lastSET集合中预生成当前帧可跟踪的角点集合newSET；

步骤20：判断当前帧视频图像可跟踪的角点集合newSET中的角点数目是否大于0，如果角点数目大于0，进入步骤30，否则，进入步骤50；

步骤30：利用KLT跟踪法，预测当前帧可跟踪的角点集合newSET中的角点在当前帧视频图像中的位置，生成curSET集合；

步骤40：剔除curSET集合中不合规则的角点；

步骤50：判断是否进行角点检测，如果有新的合并事件发生或旧的合并事件中的角点数目过少时，当单个目标对应的角点少于3个时为旧的合并事件中的角点数目过少的情况，需要进行角点检测，进入步骤60，如果没有这两种情况，直接进入步骤80；

步骤60：对当前帧进行FAST角点检测；

步骤70：将新生成的角点更新到curSET集合中；

步骤80：将curSET集合中的角点更新到lastSET集合中；

步骤90使用lastSET中角点的光流信息更新视频中目标位置。

进一步，所述步骤40中不规则的角点为视频中不在检测到的前景团块中的角点或每帧变化超过50个像素间距的角点。

进一步，所述步骤6中FAST角点检测包括以下步骤：

步骤601：从图像中选取一个像素P，将其亮度值设为I_P。

步骤602：设定一个可以很快排除伪角点的极小阈值γ，通常γ取10、11或12。

步骤603：设在以步骤601中选取的像素点为圆心，半径等于3像素的离散化的Bresenham圆的边界上有16个像素并对每个像素值依次顺序编号。

步骤604：检测位置1的像素和位置9的像素，如果位置1的像素值和位置9的像素值均大于I_P+γ或均小于I_P-γ；再检测位置5的像素和位置9的像素；如果四个像素点中不少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P为角点；如果四个像素点中少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P则不是角点。

步骤605：对于图像中所有的像素点按照步骤601～604进行初步的检测后，符合条件的像素点将成为候选的角点，再对候选的角点检测其对应Bresenham圆上的16个像素点，如果圆上不少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定为角点；如果圆上少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定则不是角点。采用这种方法进行FAST角点检测有效的提高了计算效率。

进一步，所述步骤60中还包括采用决策树算法对检测到的角点进行最优角点的选择。采用上述方法有效的提高了检测的效率，同时能够准确的选出最优角点。使检测的结果更加准确。

进一步，所述步骤603中还包括删除与像素P相邻的像素点的方法：为每一个检测到的像素点计算它的响应大小V；其中V表示为点p和它周围16个像素点的绝对偏差的和；比较两个相邻的特征点的响应大小V并删除响应大小V小的特征点。

工作原理：本发明有效的将FAST算法与KLT算法相结合，解决视频中目标跟踪的方法，同时还对FAST算法与KLT算法进行了相应的改进，从而使目标跟踪的更加精确。

有益效果：与现有技术相比，本发明能够高效的选择合适的特征信息进行跟踪并且准确性高，鲁棒性强，同时本发明提供的方法更加简单，运行时间段，目标能够被准确的跟踪。

附图说明

图1是本发明的工作流程图。

具体实施方式

下面结合附图，对本发明进行详细说明。

如图1所示，本发明的一种用于视频中目标跟踪方法，其步骤如下：

步骤10：从第一帧视频图像中获取所有像素点，通过FAST算法得到需要跟踪的角点，用KLT方法对需要跟踪的角点进行跟踪并将需要跟踪的角点存储至lastSET集合中，再从lastSET集合中预生成当前帧可跟踪的角点集合newSET；

lastSET集合存储的是当前帧以前的经KLT跟踪预测过的历史角点，将一些目标框重叠区域的角点删除得到当前帧可KLT跟踪的角点集合newSET。其中，一个前景就对应一个目标框，目标框重叠区域的角点分类难度较大，容易出错。所以将其删除就可以有效降低出错率。

采用KLT算法对于图像中的目标进行跟踪时，并不是对目标框和跟踪框内所有点都求取偏移量，而是选择一些纹理特征不变的角点来作为跟踪点。

步骤20：判断当前帧可跟踪的角点集合newSET中的角点数目是否大于0，如果大于0，则进入步骤30；否则进入步骤50；

步骤30：利用KLT跟踪算法，预测当前帧可跟踪的角点集合newSET中的角点在当前帧中的位置，生成当前帧角点集合curSET；

其中，生成当前帧角点集合curSET的方法包括以下步骤：

步骤301：当前帧t+τ时刻的特征窗口为B(X)＝B(x,y,t+τ)，其中X＝(x,y)为视口坐标。前一帧t时刻的特征窗口为A(X-d)＝A(x-Δx,y-Δy,t)；则B(X)＝A(x-d)+n(X)，其中，n(X)为在时间τ内由于光照条件变化产生的噪声，d表示特征窗口在时间τ内的偏移量，Δx和Δy分别表示τ时刻内特征窗口在x、y方向上的偏移量。

步骤302：将n(X)平方并在整个特征窗口上积分，就可以得到特征窗口图像的SSD(灰度差平方和，Sum of Squared intensity Differences，下文简称SSD)：

ε＝∫∫_Vn(X)²ω(X)dX＝∫∫_V[A(X-d)-B(X)]²ω(X)dX (1)

其中，坐标矩阵X＝[x,y]^T，偏移量矩阵d＝[dx,dy]^T；ε为留数；V为计算特征匹配窗口；ω(X)为加权函数，通常可以取为1，如果强调中心部分纹理的作用，ω(X)可以采用高斯分布函数。

步骤303：当偏移量时，忽略偏移量d为，将A(X-d)泰勒展开，去除高次项，得到：

A(X-d)＝A(X)-g·d (2)

其中g为A(X)梯度向量，A(X)为A(X-d)映射到与参考图像同一个平面的特征窗口，将式(2)代入式(1)，并对式(1)的两边同时对d求导之后取0，可以得到：

此时ε取得极小值。式(3)可变换为：

d·∫∫_Vgg^Tω(X)dX＝∫∫_V[A(X)-B(X)]gω(X)dX (4)

若令

e＝∫∫_V[A(X)-B(X)]gω(X)dX (6)

其中g_x、g_y分别为窗口函数A(X)在x、y方向上的一阶偏导，G_xy＝∫∫_Vg_xg_yω(X)dX，则式(6)可以表示为：

Zd＝e (7)

Z为一个2×2的矩阵，e表示计算的残差。

步骤304：对于每两帧图像解方程(7)就可以得到特征窗口的位移d＝(Δx,Δy)。

将(6)式展开，得到：

其中，E_x＝(A(X)-B(X))_xg_xω_x(X)d(X)，E_y＝(A(X)-B(X))_yg_yω_y(X)d(X)，将(8)代入式(7)得到：

解方程(9)得到：

也就是位移量，通过位移量就可以得出当前帧可跟踪的角点集合newSET中的角点在当前帧中的位置。

在KLT跟踪算法中，并不是所有包含纹理信息的特征窗口都是适合跟踪的，对于某特征窗口，当矩阵Z的特征值λ₁和λ₂满足条件λ₂＞λ₁＞λ_max时，此特征窗口具有较好的跟踪效果，阈值λ_max根据拍摄条件，通过实验来获得。

步骤40：剔除curSET中不合规则的角点；譬如不在检测到的前景团块或运动偏移量过大的角点都会被剔除。

步骤50：判断是否进行角点检测，如果有新的合并事件发生或旧的合并事件中的角点数目过少时，当单个目标对应的角点少于3个时为旧的合并事件中的角点数目过少的情况，需要进行角点检测，进入步骤60，如果没有这两种情况，直接进入步骤80；

步骤60：对当前帧进行FAST角点检测；

FAST角点定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点。也就是某些属性与众不同，考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。其中FAST角点检测包括以下步骤：

步骤601：从图像中选取一个像素P，将其亮度值设为I_P。

步骤602：设定一个可以很快排除伪角点的极小阈值γ，通常γ取10、11或12。

步骤603：设在以步骤601中选取的像素点为圆心，半径等于3像素的离散化的Bresenham圆的边界上有16个像素并对每个像素值依次顺序编号。

步骤604：检测位置1的像素和位置9的像素，如果位置1的像素值和位置9的像素值均大于I_P+γ或均小于I_P-γ；再检测位置5的像素和位置9的像素；如果四个像素点中不少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P为角点；如果四个像素点中少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P则不是角点。

步骤605：对于图像中所有的像素点按照步骤601～604进行初步的检测后，符合条件的像素点将成为候选的角点，再对候选的角点检测其对应Bresenham圆上的16个像素点，如果圆上不少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定为角点；如果圆上少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定则不是角点。

本发明还可以通过一个角点分类器来选择最优角点，主要方法是采用决策树算法对检测到的角点进行最优角点的选择。具体方法如下：

(1)选取应用场景下多帧图像组成图片集合进行学习；

(2)运用FAST角点检测算法来获取测试集上的所有角点特征；

(3)对于每个特征点，存储它周围的16个像素点到一个vector中。为所有帧图像做同样的事，得到它们所有特征点的向量。

(4)这16个像素中的每一个像素(假设为x)，可以有下面三种状态中的一种：

(5)依靠这些状态，特征向量x被划分为3个子集，P_d、P_s、p_b。

(6)定义一个新的布尔变量K_P。如果P是一个角点，那K_P为真；否则K_P为假。

(7)使用ID3算法(决策树分类器)来查询每一个子集。

(8)递归计算所有的子集直到它的熵为0。

(9)被创建的决策树就被用于其他图片的FAST检测。

步骤603中离散化的Bresenham圆的边界上的像素点会有挤在一起的情况，可以通过非极大值抑制的方法(Non-Maximal Suppression)来解决，具体方法如为：为每一个检测到的像素点计算它的响应大小V；其中V表示为点p和它周围16个像素点的绝对偏差的和；比较两个相邻的特征点的响应大小V并删除响应大小V小的特征点。

步骤70：将新生成的角点更新到curSET集合中；

如果是新合并事件，检测到的角点直接加入到curSET集合中；如果是旧合并事件，除加入新角点外，还需剔除和新角点相同的旧角点。

步骤80：将curSET集合中的角点更新到lastSET集合中；

步骤90：使用lastSET集合中角点的光流信息更新目标位置。

光流是图像灰度模式的表面运动，是图像上个点的2D瞬时运动，一点给出了图像的亮度模式，就可以利用时间变化的特征点匹配来度量视差。把图像中的角点作为特征点，首先在图像序列中检测和跟踪角点，然后记录角点在图像序列中的位置，这样就可以通过相邻图像帧之间角点的位移场来计算光流场。光流估计的方法是基于一下假设的：图像灰度分布的变化是由于目标或背景的运动引起的。也就是说，目标和背景的灰度是不随时间变化的。

使用lastSET集合中角点的光流信息更新目标位置具体包括如下步骤：：

步骤901：对一个连续的视频帧序列进行处理；

步骤902：针对每一个视频序列，利用FAST角点检测和KLT算法，检测可能出现的前景目标；

步骤903：如果某一帧出现了前景目标，找到其具有代表性的角点特征点；

步骤904：对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；

步骤905：不断重复步骤901～步骤904，可实现目标的跟踪。

角点的光流信息通过FAST角点检测和KLT算法后，提取了目标的角点，也通过选择一定的目标区域，排除了背景的角点。现在需要在下一帧图像中使用光流法进行目标角点匹配。对于要匹配的后续帧图像而言，采用光流法进行点匹配，找到每个角点在新的一帧图像中对应的位置。最后求得匹配点的区域密度，使用重心算法计算目标的脱靶量。

光流匹配结果可能有部分少量点偏离目标位置，要确定的区域就不能以某一个角点为准，而是要将所有的结果综合衡量。尽管目标在运动过程中发生旋转或者由于拍摄的影响产生模糊，但是大部分的匹配点仍然在目标附近，仅仅有少数点在目标之外，鉴于此，使用重心公式计算所有匹配点的重心，以此来确定目标的脱靶量，保证了目标能够被准确的配准和跟踪。

Claims (4)

1.一种用于视频中目标跟踪方法，其特征在于：包括以下步骤：

步骤10：从第一帧视频图像中获取所有像素点，通过FAST算法得到需要跟踪的角点，用KLT方法对需要跟踪的角点进行跟踪并将需要跟踪的角点存储至lastSET集合中，再从lastSET集合中预生成当前帧可跟踪的角点集合newSET；

步骤20：判断当前帧视频图像可跟踪的角点集合newSET中的角点数目是否大于0，如果角点数目大于0，进入步骤30，否则，进入步骤50；

步骤30：利用KLT跟踪法，预测当前帧可跟踪的角点集合newSET中的角点在当前帧视频图像中的位置，生成curSET集合；

步骤40：剔除curSET集合中不合规则的角点；

步骤50：判断是否进行角点检测，如果有新的合并事件发生或旧的合并事件中的角点数目过少时，当单个目标对应的角点少于3个时为旧的合并事件中的角点数目过少的情况，需要进行角点检测，进入步骤60，如果没有这两种情况，直接进入步骤80；

步骤60：对当前帧进行FAST角点检测；

步骤70：将新生成的角点更新到curSET集合中；

步骤80：将curSET集合中的角点更新到lastSET集合中；

步骤90使用lastSET中角点的光流信息更新视频中目标位置；

所述步骤40中不合规则的角点为视频中不在检测到的前景团块中的角点或每帧变化超过50个像素间距的角点。

2.根据权利要求1所述的用于视频中目标跟踪方法，其特征在于：所述步骤60中对当前帧进行FAST角点检测包括以下步骤：

步骤601：从图像中选取一个像素P，将其亮度值设为I_P；

步骤602：设定一个排除伪角点的极小阈值γ，通常γ取10、11或12；

步骤603：设在以步骤601中选取的像素点为圆心，半径等于3像素的离散化的Bresenham圆的边界上有16个像素并对每个像素值依次顺序编号；

步骤604：检测位置1的像素和位置9的像素，如果位置1的像素值和位置9的像素值均大于I_P+γ或均小于I_P-γ；再检测位置5的像素和位置9的像素；如果四个像素点中不少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P为角点；如果四个像素点中少于3个像素的像素值都大于I_P+γ或者小于I_P-γ，则像素P则不是角点；

步骤605：对于图像中所有的像素点按照步骤601～604进行初步的检测后，符合条件的像素点将成为候选的角点，再对候选的角点检测其对应Bresenham圆上的16个像素点，如果圆上不少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定为角点；如果圆上少于9个连续的像素点，它们的像素值都大于I_P+γ或者小于I_P-γ，此候选角点确定则不是角点。

3.根据权利要求1所述的用于视频中目标跟踪方法，其特征在于：所述步骤60中还包括采用决策树算法对检测到的角点进行最优角点的选择。

4.根据权利要求2所述的用于视频中目标跟踪方法，其特征在于：所述步骤603中还包括删除Bresenham圆的边界上相邻的像素点的方法：为每一个检测到的像素点计算它的响应大小V；其中V表示为点p和它周围16个像素点的绝对偏差的和；比较两个相邻的特征点的响应大小V并删除响应大小V小的特征点。