CN112435280A - 一种无人机视频的运动目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种无人机视频的运动目标检测与跟踪方法，利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测；并对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置，接着利用所述目标位置对运动参数和跟踪模型进行初始化；并根据初始化后的所述跟踪模型，利用树形结构尺度自适应算法进行尺度缩放判断，同时考虑目标跟丢后重检测的过程，结合目标丢失再检测方法对丢失的目标进行重新定位，增加跟踪到目标的成功率。

Description

一种无人机视频的运动目标检测与跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种无人机视频的运动目标检测与跟踪方法。

背景技术

视觉是人类获取信息并认知世界的重要方式，相比于人眼的局限性，通过机器方式能极大地丰富人类获取的信息量。无人机由于灵活轻便、活动范围广且空间受限小的特点已逐渐成为人类获取信息的重要工具。在无人机的应用领域中，如果想要无人机能够更好地自主作业，那么解决无人机的视觉问题便是首要任务。

目标的检测与跟踪技术一直是研究热点，相较于针对普通视频目标的检测和跟踪任务，使用无人机获取的视频信息中，视野范围更加广阔，目标尺寸变化更加常见、背景信息干扰更加严重，光照变化更加明显，并且更容易丢失目标。无人机航拍视频中，由于镜头的移动，即使原先在视频中静止不动的背景也会出现运动变化，从而帧差法和背景差法也可能会将其错误的当成背景目标检测出来，并且这些虚警目标也较难区分，导致跟踪到目标的成功率下降。

发明内容

本发明的目的在于提供一种无人机视频的运动目标检测与跟踪方法，增加跟踪到目标的成功率。

为实现上述目的，本发明提供了一种无人机视频的运动目标检测与跟踪方法，包括以下步骤：

利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测；

对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置；

利用所述目标位置对运动参数和跟踪模型进行初始化；

利用树形结构尺度自适应算法进行尺度缩放判断；

结合目标丢失再检测方法对丢失的目标进行重新定位。

其中，对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置，包括：

利用设定的背景阈值将检测出的背景矢量进行分离，并以分离后的光流矢量为中心，建立对应矩形框，然后计算特征点大于3个的对应的多个所述矩形框的交集区域，得到对应的目标矩形框。

其中，利用树形结构尺度自适应算法进行尺度缩放判断，并判断目标是否丢失，包括：

根据初始化后的所述跟踪模型接收到的图像，利用位置滤波器计算出目标的中心位置，然后根据对应的第一响应值与第二响应值的比值，判断接收的对应所述图像是否是放大。

其中，结合目标丢失再检测方法对丢失的目标进行重新定位，包括：

将获取的所述初始帧视频图像对应的系数矩阵存储到数组中，并将获取的下一个所述初始帧视频图像的输出响应值与设定的第一阈值和第二阈值进行比较；

若所述输出响应值大于或所述第一阈值，则将所述输出响应值对应的位置作为当前帧的目标中心点，并存储对应系数矩阵；

若所述输出响应值小于所述第一阈值，则判断所述输出响应值与所述第二阈值的比值。

其中，结合目标丢失再检测方法对丢失的目标进行重新定位，还包括：

若所述输出响应值小于所述第一阈值，且大于或等于所述第二阈值，则将所述输出响应值对应的位置作为当前帧的目标中心点；

若所述输出响应值小于所述第二阈值，则对当前帧视频图像进行重新定位。

其中，所述方法还包括：

利用所述数组中存储的所有系数矩阵进行计算，并比较计算出的多个输出响应值的比值，得到所述目标中心点。

本发明的一种无人机视频的运动目标检测与跟踪方法，利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测；并对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置，接着利用所述目标位置对运动参数和跟踪模型进行初始化；并根据初始化后的所述跟踪模型，利用树形结构尺度自适应算法进行尺度缩放判断，同时考虑目标跟丢后重检测的过程，结合目标丢失再检测方法对丢失的目标进行重新定位，增加跟踪到目标的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种无人机视频的运动目标检测与跟踪方法的步骤示意图。

图2是本发明提供的一种无人机视频的运动目标检测与跟踪方法的流程图。

图3是本发明提供的跟踪算法的流程图。

图4是本发明提供的再检测流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1和图2，本发明提供一种无人机视频的运动目标检测与跟踪方法，包括以下步骤：

S101、利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测。

具体的，鉴于无人机航拍视频中，由于镜头的运动导致的背景运动问题，光流法能充分提取视频帧间的运动信息，对于运动背景有很好的的鲁棒性。本发明提出金字塔分层的LK光流检测方法，主要思想是：对运动目标在帧间运动较大的图片，通过对其进行缩小，然后在对缩小后的图片使用LK光流法提取光流场，这样原先帧间运动的较大像素距离通过缩小图片后其运动距离同样缩小。通过缩放可以有效地解决物体运动速度过快的问题。对于一张初始图片将其当成金字塔的第0层，将其宽高同时缩小倍，后作为金字塔的第L层，为了保证将原始图片缩小倍后新的图片宽高仍为整数，新的宽和高按如下方式更新：

其中，

分别表示第L层图片的宽和高，Floor表示向下取整。

后续金字塔LK光流计算思想大致如下：首先在金字塔顶层L_m计算光流大小，后续由高到低，逐层以上一层计算的光流大小为光流的初始值来计算当前层的光流大小，直到得到最底层原始图片的光流值大小。通过图像金字塔的处理很好地解决了LK光流法在时间连续中运动目标帧间运动像素距离较大的问题，避免了较大偏差以及误差的累积影响检测的精度。

S102、对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置。

具体的，首先，通过光流矢量阈值筛选。由于视频中目标物体是运动的，则目标在其本身所处环境中其速度将区别于背景，因而在增加一个相同的相机运动带来的速度改变，运动目标和背景在视频中呈现的速度也不同。这里计算所有匹配的特征点对之间的光流矢量大小，并通过选择合适的阈值将背景矢量分离出去，如此保留下的光流将会是由检测目标所贡献的，以及少数存在的与目标运动状态相似的零散的背景点贡献的。

然后，通过矩形聚类筛选。对阈值筛选过后剩下的目标所在点以及零散的背景点进一步筛选，矩形框聚类筛选步骤：第一步：以在初始两帧中的第二帧中对矢量阈值筛选后剩下的特征点为中心，生成一个较大的矩形框；第二步：统计落入矩形框的特征点的数量，如果少于3个特征点，将这个矩形框舍去，否则保存；第三步：计算所有保存矩形框的交集区域，并将此交集矩形区域中心近似目标所在区域中心，生成目标所在矩形框，通过矩形框的聚类进行筛选，可以有效筛选那些零散的背景点。

通过特征点筛选后，得到待检测目标所在区域的特征点集，下面使用形心来定位目标位置，形心公式为：

其中，(x,y)为特征点在图像中的位置坐标：

根据形心计算公式，(x₀,y₀)即为形心位置坐标。以特征点集的形心坐标来近似替代待检测目标形心实际在视频中的位置，并以此点生成检测框来确定目标区域，同时这也是作为跟踪模块的首帧输入目标框。

根据目标的光流矢量大小和方向特征点筛选后还剩下一部分特征点。通过矩形框聚类处理主要是为了进一步筛选，我们发现矩形框聚类后可以将这些零散的背景点进行过滤，有效筛选出目标区域特征点，最后通过形心定位输出运动目标的检测框，完成整个检测功能输出。

S103、利用所述目标位置对运动参数和跟踪模型进行初始化。

具体的，跟踪算法通常要求在跟踪初始阶段(如第一帧)给出待跟踪目标的位置信息，这个位置信息一般是通过手工标注，然而在实际跟踪中，我们可能没有目标的位置信息，这就需要我们通过检测算法给出这个目标初始区域信息，因而用步骤S102的输出结果将跟踪模型和运动参数初始化，那么不需要通过手工标注，后续跟踪模块根据这个初始目标框进行建模、计算，并保持对目标的持续跟踪，使得整个流程更加系统化。

S104、利用树形结构尺度自适应算法进行尺度缩放判断。

具体的，如图3所示，若目标跟踪算法中没有尺度自适应模型，在跟踪过程中会面临这样的问题：当目标区域变大时，跟踪框不能讲目标区域完全包含在内，这会导致目标信息缺失；当目标区域变小时，跟踪框内不仅包含目标还有除目标外其它的物体，这会导致跟踪框内包含许多的干扰信息，这两种情况都会导致跟踪的失败。受到分类树方法原理的启发，本发明提出一种基于树形结构尺度自适应的目标跟踪方法，KCF训练集的样本是通过循环移位产生的，KCF使用梯度方向直方图HOG特征来描述和提取目标的表面纹理特征和轮廓形状，借鉴DSST算法的思想，分别进行位置和尺度的滤波，分两步计算：(1)进行位置滤波器的计算，确定目标的中心坐标；(2)在其基础上进行树形尺度估计。树形尺度估计具体操作如下：首先通过第一层确定目标是放大还是缩小，从而确定最大响应值的寻找方向，若第一响应值大于第二响应值说明在当前帧中目标是放大的，若第一响应值小于第二响应值说明在当前帧中目标是缩小的；然后在所确定的分支内，进行尺度池的方法来求解10个尺度滤波器的大小。为了确保跟踪过程中，目标的尺度确实发生了变化，而不是受到某一帧的目标检测结果的影响，本发明每隔3秒对目标检测的结果进行一次记录，若连续十次都出现待跟踪目标的尺度发生放大或缩小，就可以确认待跟踪目标的尺度发生了变化，并使用分类树形尺度自适应算法进行尺度放缩。本发明每个分支进行10个尺度的比较，因此在每一帧更新中共需要进行12次运算。相对于SAMF算法所提尺度树算法的尺度因子覆盖范围更大，能够提高跟踪算法的精度；相比于DSST算法所提算法能减少无用的运算21次，能够提高跟踪算法的速度。

S105、结合目标丢失再检测方法对丢失的目标进行重新定位。

具体的，如图4所示，为解决无人机对目标跟踪过程目标丢失问题引入目标丢失再检测，再检测方法包括判定方法和重新定位方法。

判定方法：设定两个合适的第一阈值n和第二阈值m，两个阈值均由认为设定m＜n；设定第t帧图片的输出响应最值(一般选择输出响应最大值)为

2≤t≤T，T表示进行目标跟踪的视频的最大帧数，并定义一个数组a，存储5个矩阵；当t<2时，将对应帧图像对应的系数矩阵存储到数组中，当t＝2时，比较

与m和n的大小，会有三种可能发生的情况。第一种情况，

小于m，此时当前帧的输出响应最大值较小，则对该帧目标进行重定位；第二种情况，

大于等于m，小于n，此时输出响应最大值适中，直接使用输出响应最大值的位置作为当前帧目标的中心点；第三种情况，

大于等于n，此时当前帧的输出响应最大值较大，表明跟踪效果很好，直接使用输出响应最大值的位置作为当前帧目标的中心点，并且可以保存当前帧的一些信息，并将所述数组中最早存储的系数矩阵进行替换，运用到后面的跟踪中去。将t加1，进行下一帧图片输出响应最大值的判断。以此类推，得到所有真的输出响应最大值的判断，完成所有视频图像的处理，此方法是对输出响应进行了三段比较，分别采取不同的行动，得到坏的结果就进行重新定位，得到适中的结果便直接使用，得到好的结果在直接使用的同时将有用的信息保存以便接下去的算法使用。

若所述输出响应值小于所述第二阈值，则对当前帧视频图像进行重新定位，具体步骤为：本发明使用相关滤波器来进行目标的重定位，利用上述判定方法存储前几帧中可以体现目标突出特点的系数矩阵，当输出响应最大值小于阈值时，利用存储下来的所有系数矩阵再次进行相关滤波计算，得到新的输出响应，比较得到的新的输出响应最大值的数值，将最大的那个输出响应最大值点对应的位置作为目标的中心点，因此此时使用的系数矩阵较优，得到的输出响应最大值也必是大于阈值的，避免出现无人机在近似线性飞行过程中目标被遮挡或者加速等导致的目标丢失问题。

本发明的一种无人机视频的运动目标检测与跟踪方法，利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测；并对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置，接着利用所述目标位置对运动参数和跟踪模型进行初始化；并根据初始化后的所述跟踪模型，利用树形结构尺度自适应算法进行尺度缩放判断，同时考虑目标跟丢后重检测的过程，结合目标丢失再检测方法对丢失的目标进行重新定位，增加跟踪到目标的成功率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种无人机视频的运动目标检测与跟踪方法，其特征在于，包括以下步骤：

利用金字塔分层的光流检测算法对获取的初始帧视频图像进行光流检测；

对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置；

利用所述目标位置对运动参数和跟踪模型进行初始化；

利用树形结构尺度自适应算法进行尺度缩放判断；

结合目标丢失再检测方法对丢失的目标进行重新定位。

2.如权利要求1所述的无人机视频的运动目标检测与跟踪方法，其特征在于，对检测出来的光流矢量进行阈值和矩形聚类筛选，并利用形心公式计算出目标位置，包括：

利用设定的背景阈值将检测出的背景矢量进行分离，并以分离后的光流矢量为中心，建立对应矩形框，然后计算特征点大于3个的对应的多个所述矩形框的交集区域，得到对应的目标矩形框。

3.如权利要求1所述的无人机视频的运动目标检测与跟踪方法，其特征在于，利用树形结构尺度自适应算法进行尺度缩放判断，并判断目标是否丢失，包括：

根据初始化后的所述跟踪模型接收到的图像，利用位置滤波器计算出目标的中心位置，然后根据对应的第一响应值与第二响应值的比值，判断接收的对应所述图像是否是放大。

4.如权利要求3所述的无人机视频的运动目标检测与跟踪方法，其特征在于，结合目标丢失再检测方法对丢失的目标进行重新定位，包括：

将获取的所述初始帧视频图像对应的系数矩阵存储到数组中，并将获取的下一个所述初始帧视频图像的输出响应值与设定的第一阈值和第二阈值进行比较；

若所述输出响应值大于或所述第一阈值，则将所述输出响应值对应的位置作为当前帧的目标中心点，并存储对应系数矩阵；

若所述输出响应值小于所述第一阈值，则判断所述输出响应值与所述第二阈值的比值。

5.如权利要求4所述的无人机视频的运动目标检测与跟踪方法，其特征在于，结合目标丢失再检测方法对丢失的目标进行重新定位，还包括：

若所述输出响应值小于所述第一阈值，且大于或等于所述第二阈值，则将所述输出响应值对应的位置作为当前帧的目标中心点；

若所述输出响应值小于所述第二阈值，则对当前帧视频图像进行重新定位。

6.如权利要求5所述的无人机视频的运动目标检测与跟踪方法，其特征在于，所述方法还包括：

利用所述数组中存储的所有系数矩阵进行计算，并比较计算出的多个输出响应值的比值，得到所述目标中心点。

Images