CN109859246B - 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法 - Google Patents

Abstract

本发明为一种基于相关滤波算法与视觉显著性算法的低空慢速无人机跟踪方法，属于图像处理领域，主要包括如下步骤：在实际应用场合获取地面监控提供的图片序列数据，获取上帧目标信息后，通过相关滤波算法在较小搜索区域内计算相关性响应输出，再通过视觉显著性算法在较大搜索区域内提取目标周边显著性图，最后对二者的输出结果进行融合，获取目标的跟踪结果。该无人机跟踪方法适用于地面监控对空中无人机进行跟踪，具有实用性强、鲁棒性好、易于实现的特点，并能适应较复杂的气象背景，对目标过小、目标快速运动、目标尺度快速变化等不利因素有一定抗性；该方法可以广泛应用于四旋翼无人机跟踪领域。

Description

一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法

技术领域

本发明属于图像处理领域，具体涉及一种相关滤波与显著性的低空慢速无人机跟踪方法。

背景技术

无人机技术不断成熟，在军事领域和日常民用方向上都体现着其巨大的实用价值，随之而来的反无人机技术也具有十分重大的实际意义。通过视频对无人机这一类目标进行实时跟踪技术是反无人机技术的重要一环，目前常用的目标跟踪算法大多是以人或车为目标，无人机目标相对较小，特征相对较少，且其移动速度较快，尺度变化往往比较剧烈、所处的气象背景有时也比较复杂，这些因素给跟踪带来了不便。

随着基于计算机视觉的视频处理系统的出现，利用图像处理技术进行视频监控和视频分析的技术，在降低使用成本，节省人力资源，提高监控系统准确性、可靠性，扩大监视范围等方面具有很大的优势。智能监控系统一般是先利用摄像机拍摄，获取视频图像数据信息，接着将数据信息传送到监控系统处理模块，此时处理模块会自动对目标进行检测、识别和目标跟踪，并通过对目标行为的实时分析，寻找出视频中存在的异常情况，如目标运动混乱代表着打架斗殴等行为，发生这种情况就可以进行记录并报警处理。目标的检测与跟踪算法是智能监控系统中常用的技术方法。运动目标检测与跟踪是视频监控中最基本、最关键的两个技术手段。目标检测是指从视频图像序列中，通过算法手段，从背景图像中提取出变化区域的过程，是进行目标识别与分类、目标跟踪的基础，因此，获得精确的运动目标区域至关重要。目标跟踪是指利用计算机技术，确定视频序列中某个独立运动的目标的位置，及其完整运动轨迹的过程。目标检测是以静态图像为主，主要研究图像像素与像素之间的相互关系，研究像素在空间上的变换和关联；目标跟踪是以动态图像为主，研究的是像素与像素，帧与帧，帧与像素之间的关系，不仅研究它们空间上的变化，也研究时间上的变化，是从二维到三维的进步。但是由于视频监控的使用范围太过广泛，使用的场景多种多样，使用的监控设备也不尽相同，这导致了监控视频中存在背景复杂、目标遮挡、目标比例变化、目标与背景相互干扰、多目标的交互、实时性要求等问题，目前基于视频序列的跟踪算法有很多，但受到上述复杂因素的影响常规算法难以达成良好的效果。

本发明就是在这种情况下，首先通过相关滤波算法对目标进行跟踪，再利用视觉显著性算法构建检测器对目标进行检测，随后对上述算法的输出进行稳定性判别，再将两算法进行融合，最后输出融合后的结果。本发明针对跟踪无人机尤其是在目标较小与复杂背景情况下具有良好的跟踪效果、并能进行实时计算、实用性强。

发明内容

针对无人机跟踪领域存在的诸多困难，本发明设计了一种主要用于地面视频监控对无人机的实时跟踪、鲁棒性好、具备实时性、可以准确的针对低空慢速无人机进行跟踪的方法。

本发明的目的是这样实现的：

一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，具体包括如下步骤：

(1)获取当前帧图像数据与上一帧目标信息：使用网络监控摄像机采集含有飞行目标的视频数据，对视频数据进行解码并切帧抓图，将获取到的图片序列数据传到PC中，作为输入，并人工在视频首帧处标定目标作为跟踪目标；

(2)相关滤波算法输出稳定性判别：利用相关滤波算法对本帧数据进行处理，获取相关滤波响应图；通过响应极大值与半功率响应面积，判别相关滤波结果的稳定性；

(3)视觉显著性算法稳定性判别：利用视觉显著性算法对本帧数据中上帧目标位置周边邻域进行处理，获取算法输出的显著性图；通过显著性图的最优轮廓与相关滤波的响应极大值点，判别视觉显著性结果的稳定性；

(4)相关滤波与视觉显著性相融合：若相关滤波结果不稳定，输出视觉显著性结果；若相关滤波结果稳定性，且视觉显著性结果不稳定，输出相关滤波结果；若相关滤波结果与视觉显著性结果都稳定，融合二者结果；重复步骤(1)～步骤(4)直到分析完视频序列中的所有帧。

所述的步骤(2)具体包括如下步骤：

(2.1)通过相关滤波算法计算得到响应输出，得到响应图；

(2.2)获取之前3帧相关滤波算法响应输出中响应极大值，计算其均值，提取本帧相关性响应极大值，与均值作比较，若其差值的绝对值大于阈值则判断为相关滤波算法不稳定；

(2.3)获取之前3帧相关滤波算法输出的相关性响应极大值，以其各自极值的一半为阈值进行二值化处理，提取轮廓，得到半功率响应面积，对3帧的半功率响应面积取均值；提取本帧相关性响应极大值，将极值的一半作为阈值对本帧相关性响应图进行二值化处理，提取轮廓，得到半功率响应面积，并与前3帧的半功率响应面积均值做差，若其差值大于阈值则相关滤波算法不稳定；

(2.4)上述过程中若无相关滤波算法不稳定的情况出现，则认为相关滤波算法稳定，并进行后续融合。

步骤(2.1)中所述的相关滤波算法具体包括：

(2.1.1)样本生成：通过对目标区域或其扩大区域进行循环位移来自主产生多组带标签的样本；

(2.1.2)分类器训练：跟踪时，取下一帧图像数据，在上帧目标位置周边提取计算区域，对该区域进行循环位移构建样本集与标签，同样的，对样本集Z进行离散傅里叶变换，然后进行对角化，使用如下公式计算：

w＝(X^HX+λI)^-1X^Hy；

其中y为回归值，λ为正则化参数，I为单位矩阵，H是复共轭转置，K是核空间函数，k^xx表示K的第一行；使用上述公式得到样本矩阵中值最大的点，对样本集每一样本求解后得到响应图。

所述的步骤(3)具体包括如下步骤：

(3.1)通过显著性算法计算得到响应，输出显著性图；

(3.2)将得到的显著性图进行膨胀处理，消除不连通区域，并进行二值化，提取轮廓，取轮廓外接矩形宽与高最接近上帧目标大小的轮廓，并计算其与上帧目标外接矩形的宽与高的差值，若差值大于阈值则认为显著性算法自身不稳定，反之，若差值小于等于阈值则认为自身稳定；

(3.3)在显著性算法自身稳定的前提下，若相关滤波输出响应中心点落在显著性算法最优轮廓内，则判断为显著性算法稳定，若不在轮廓内，则不稳定。

步骤(3.1)所述的显著性算法具体包括如下步骤：

(3.1.1)样本生成：对目标周边大于滤波算法计算区域的邻域进行提取作为显著性检测区域；

(3.1.2)分类器训练：对该区域进行傅里叶变换，随后对振幅谱数据取log得到其log振幅谱，再利用均值滤波器对其log振幅谱进行滤波处理，将处理后的结果与原log振幅谱使用如下公式进行处理：

R(f)＝L(f)-h(f)*L(f)；

其中R(f)是log振幅残差谱，L(f)是原log振幅谱，h(f)是均值滤波器卷积核；经上述处理后得到的log残差谱与原相位谱结合；取傅氏变换后的相位谱P(f)对其取log变换得到log相位谱，再利用原相位谱与其使用如下公式处理后得到残差相位谱K(f)：

K(f)＝P(f)-h(f)*P(f)；

最后分别对R(f)、K(f)取傅氏逆变换，再进行线性相加得到显著性图。

所述的步骤(4)具体包括如下步骤：

(4.1)若判定相关滤波结果不稳定，则输出显著性检测结果，即以显著性图中的最优轮廓，更新当前目标的位置与尺度信息；

(4.2)若判定相关滤波结果稳定，且显著性算法不稳定，则输出相关滤波结果，即以相关滤波响应中心位置，更新当前目标的位置信息，尺度信息保持不变；

(4.3)若判定相关滤波结果稳定，且显著性算法稳定，则输出融合结果，更新当前目标的位置与尺度信息。

本发明的有益效果在于：结合了相关滤波算法与视觉显著算法对目标进行跟踪，通过响应极大值与半功率响应面积来判断相关滤波算法的稳定性，通过显著性区域的轮廓外接矩形宽与高的相似性来判别视觉显著性算法的稳定性，并将二者结果融合，在目标较小或背景相对复杂时能取得良好的跟踪效果，具备实时处理的能力。

附图说明

图1为本发明提供的一种结合相关滤波与视觉显著性的无人机跟踪方法的原理框图；

图2为本发明计算区域与部分算法输入输出图，其中(a)为计算区域提取示意图，(b)为相关滤波输入与响应图，(c)为显著性算法输入与显著性图；

图3为本发明提供的一种结合相关滤波与视觉显著性的无人机跟踪方法的流程图；

图4为本发明实施例提供的跟踪效果样例，其中(a)为第1帧跟踪效果样例，(b)为第100帧跟踪效果样例，(c)为第500帧跟踪效果样例，(d)为第1000帧跟踪效果样例。

具体实施方式

为了使本发明的目的、技术、优点和实用价值易于明白理解，以下结合附图和具体实施例对本申请进行详细描述。应当理解，所描述的实施例仅用于解释说明本发明，而不是全部的实施例并且并不限制本发明。

本发明采集的监控视频中存在四旋翼无人机与不同气象背景，可以根据本发明算法进行测试也可以通过常用跟踪算法进行比较，适合本申请针对无人机的跟踪范畴，图1所示是本发明的整体构成框图，具体的实施步骤如下：

1、先用网络监控摄像机采集含有飞行目标的视频数据，对视频数据进行解码并切帧抓图，将获取到的图片序列数据传到PC中，作为输入，并人工在视频首帧处标定目标作为跟踪目标；

2、将首帧目标送入相关滤波算法中进行训练，具体计算区域如附图2(a)所示，以获得跟踪分类器；首先进行样本生成，相关滤波算法通过对目标区域或其扩大区域进行循环位移来自主产生多组带标签的样本，通过这样的方法产生的新样本集是一组循环矩阵样本。

样本生成后，进入分类器训练环节，该问题被视为岭回归问题，其目的是找到函数f(x_i)＝w^Tx_i使得该函数的值与Y的均方误差最小。其一般表示为如下：

其中λ为正则化参数，用于提高分类器性能，w可以通过最小二乘法求解，统一到复数域可得如下公式，其中I为单位矩阵，H是复共轭转置。

w＝(X^HX+λI)^-1X^Hy

为了简化运算，引入循环矩阵在离散傅里叶空间内可对角化的性质，将其进行离散傅里叶变换，再进行对角化处理。最后引入核空间使目标变为线性可分问题可得：

K是核空间函数，k^xx表示K的第一行，训练过程可以描述为对回归值y和k^xx求离散傅氏变换，最后逆变换求得α训练即完成。跟踪时，取下一帧图像数据，在上帧目标位置周边提取计算区域，对该区域进行循环位移构建样本集与标签，同样的，对样本集Z进行离散傅里叶变换，然后进行对角化，经过如下公式计算，得到样本矩阵中值最大的点即为响应极大值点，对样本集每一样本求解后得到响应图。响应图如附图2(b)所示。

3、经实验研究发现，视觉显著性算法在天空背景下表现出良好的检测能力，有助于区分飞行目标与天空背景，尤其是针对目标较小，背景较复杂的情况下，该算法依然可以良好运作，其工作原理如下：

首先对目标周边邻域进行提取，作为显著性检测区域，具体计算区域如附图2(a)所示，该领域比相关滤波算法计算区域更大以应对目标快速运动的问题，然后对该区域进行傅里叶变换，得到其变换后的振幅谱与相位谱数据，随后对振幅谱数据取log得到其log振幅谱，再利用均值滤波器对其log振幅谱进行滤波处理，将处理后的结果与原log振幅谱做差，如下公式所示，其中R(f)是log振幅残差谱，L(f)是原log振幅谱，h(f)是均值滤波器卷积核。

R(f)＝L(f)-h(f)*L(f)

得到的log残差谱与原相位谱结合；同理取傅氏变换后的相位谱P(f)对其取log变换得到log相位谱，再利用原相位谱与其做差得到残差相位谱K(f)。

K(f)＝P(f)-h(f)*P(f)

最后分别对R(f)、K(f)取傅氏逆变换，再进行线性相加可得到显著性图。视觉显著性算法检测效果如附图2(c)所示。

4、该算法在判断相关滤波算法输出结果稳定性上，采用响应极大值判别与半功率面积判别两种方法，经判别后可以将相关滤波算法不稳定的情况找出来，这些不稳定的情况大多是由于目标过小、过快、或背景剧烈变化造成的。在此时改用显著性算法有助于提高跟踪效果。

使用响应极大值判别法首先需要获取前3帧相关滤波算法输出的响应极大值，并对获取到的响应极大值取均值，得到平均响应极大值。理论上本帧相关滤波算法计算得到的响应极大值应与平均响应极大值差距较小，故设计阈值进行判断，若本帧相关滤波算法输出响应极大值与平均响应极大值之差的绝对值大于阈值，则判断为相关滤波算法不稳定，反之则继续输入半功率面积判别器。

半功率面积判别与响应极大值判别类似，也是取之前3帧相关滤波算法的响应输出，在分别用各个输出的响应极大值乘以0.5得到半功率点，并以各自的半功率点作为二值化阈值对前3帧的响应输出进行二值化分割，此时分别对3帧的二值图像进行轮廓提取，并计算轮廓外接矩形的面积，这样就得到了前3帧的半功率面积，对该面积值取均值，与本帧的半功率面积进行做差并取绝对值，与设定的阈值比较，若该值小于阈值，则证明本帧相关滤波算法输出稳定，反之则相关滤波算法输出不稳定。

5、视觉显著性算法结果可靠性判别及两算法结果融合，视觉显著性算法在目标较大时易出现不稳定的情况，判断视觉显著性算法稳定性方法上，首先对视觉显著性算法检测结果进行膨胀处理，消除不连通区域，再进行固定阈值二值化处理，并对二值图像进行轮廓提取，随后分别利用每一个可能的轮廓外接矩形与上帧目标外接矩形的宽与高进行比较，比较方法如下，X₁,Y₁为可能轮廓的外接矩形的宽与高，X₀,Y₀为上帧目标的宽与高，P_S为阈值。找到满足如下公式的所有可能轮廓。

若可能轮廓数小于等于3个则可直接作为最优输出，若超过3个，则取距离上帧目标中心最近的三个轮廓作为最优轮廓进行输出。若第4步得到的相关滤波算法稳定则取相关滤波算法的响应中心，判断相关滤波算法响应中心是否在最优的轮廓内，若在则输出该轮廓对应外接矩形，若不在则判断视觉显著性算法不稳定，直接输出相关滤波算法的结果。若第4步相关滤波结果不稳定则直接输出视觉显著性算法的最优轮廓，具体融合流程如附图3所示。

该算法在软件流程上思路清晰，逻辑处理流程如附图1所示，首先输入视频序列与目标位置大小，再利用相关滤波算法与视觉显著性算法分别进行跟踪计算，然后依次判断上述算法输出的稳定性，最后再进行结果融合得到最终跟踪结果，得到结果后依次进行下一帧图像操作，跟踪效果样例如附图4所示。

由上可知，整个飞行目标的跟踪方法适合于针对天空背景的飞行目标跟踪，实际应用性很强，所述的融合方法，可以很好的结合两种算法的优势对目标较小与背景较复杂的情况能达到良好的跟踪效果。

以上显示和描述了本飞行目标跟踪方法的基本原理、主要特征和本实用的优点，本行业的技术人员应该了解，以上实施例的说明只是用于帮助理解本发明的方法技术和核心思想，并不限制本发明，同时，根据本申请的思想，在具体实施方式和应用范围上均会有改变之处，这些改变都落入本发明的保护范围内。

Claims (6)

1.一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，具体包括如下步骤：

(1)人工在视频首帧处标定目标作为跟踪目标；

(2)获取当前帧图像数据与上一帧目标信息：使用网络监控摄像机采集含有飞行目标的视频数据，对视频数据进行解码并切帧抓图，将获取到的图片序列数据传到电脑中作为输入；

(3)相关滤波算法输出稳定性判别：利用相关滤波算法对本帧数据进行处理，获取相关滤波响应图；提取本帧相关性响应极大值，将响应极大值的一半作为阈值对本帧相关性响应图进行二值化处理，提取轮廓，得到半功率响应面积，通过响应极大值与半功率响应面积，判别相关滤波结果的稳定性；

(4)视觉显著性算法稳定性判别：利用视觉显著性算法对本帧数据中上帧目标位置周边邻域进行处理，获取算法输出的显著性图；通过显著性图的最优轮廓与相关滤波的响应极大值点，判别视觉显著性结果的稳定性；

(5)相关滤波与视觉显著性相融合：若相关滤波结果不稳定，输出视觉显著性结果；若相关滤波结果稳定性，且视觉显著性结果不稳定，输出相关滤波结果；若相关滤波结果与视觉显著性结果都稳定，融合二者结果；

(6)重复步骤(2)～步骤(5)直到分析完视频序列中的所有帧。

2.根据权利要求1所述的一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，所述的步骤(3)具体包括如下步骤：

(3.1)通过相关滤波算法计算得到响应输出，得到响应图；

(3.2)获取之前3帧相关滤波算法响应输出中响应极大值，计算其均值，提取本帧相关性响应极大值，与均值作比较，若其差值的绝对值大于阈值则判断为相关滤波算法不稳定；

(3.3)获取之前3帧相关滤波算法输出的相关性响应极大值，以其各自极值的一半为阈值进行二值化处理，提取轮廓，得到半功率响应面积，对3帧的半功率响应面积取均值；提取本帧相关性响应极大值，将极值的一半作为阈值对本帧相关性响应图进行二值化处理，提取轮廓，得到半功率响应面积，并与前3帧的半功率响应面积均值做差，若其差值大于阈值则相关滤波算法不稳定；

(3.4)上述过程中若无相关滤波算法不稳定的情况出现，则认为相关滤波算法稳定，并进行后续融合。

3.根据权利要求2所述的一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，步骤(3.1)中所述的相关滤波算法具体包括：

(3.1.1)样本生成：通过对目标区域或其扩大区域进行循环位移来自主产生多组带标签的样本；

(3.1.2)分类器训练：跟踪时，取下一帧图像数据，在上帧目标位置周边提取计算区域，对该区域进行循环位移构建样本集与标签，同样的，对样本集Z进行离散傅里叶变换，然后进行对角化，使用如下公式计算：

w＝(X^HX+λI)^-1X^Hy；

其中y为回归值，λ为正则化参数，I为单位矩阵，H为复共轭转置，K为核空间函数，k^xx表示K的第一行；使用上述公式得到样本矩阵中值最大的点，对样本集每一样本求解后得到响应图。

4.根据权利要求1所述的一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，所述的步骤(4)具体包括如下步骤：

(4.1)通过显著性算法计算得到响应，输出显著性图；

(4.2)将得到的显著性图进行膨胀处理，消除不连通区域，并进行二值化，提取轮廓，取轮廓外接矩形宽与高最接近上帧目标大小的轮廓，并计算其与上帧目标外接矩形的宽与高的差值，若差值大于阈值则认为显著性算法自身不稳定，反之，若差值小于等于阈值则认为自身稳定；

(4.3)在显著性算法自身稳定的前提下，若相关滤波输出响应中心点落在显著性算法最优轮廓内，则判断为显著性算法稳定，若不在轮廓内，则不稳定。

5.根据权利要求4所述的一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，步骤(4.1)所述的显著性算法具体包括如下步骤：

(4.1.1)样本生成：对目标周边大于滤波算法计算区域的邻域进行提取作为显著性检测区域；

(4.1.2)分类器训练：对该区域进行傅里叶变换，随后对振幅谱数据取log得到其log振幅谱，再利用均值滤波器对其log振幅谱进行滤波处理，将处理后的结果与原log振幅谱使用如下公式进行处理：

R(f)＝L(f)-h(f)*L(f)；

其中R(f)是log振幅残差谱，L(f)是原log振幅谱，h(f)是均值滤波器卷积核；经上述处理后得到的log残差谱与原相位谱结合；取傅氏变换后的相位谱P(f)对其取log变换得到log相位谱，再利用原相位谱与其使用如下公式处理后得到残差相位谱K(f)：

K(f)＝P(f)-h(f)*P(f)；

最后分别对R(f)、K(f)取傅氏逆变换，再进行线性相加得到显著性图。

6.根据权利要求1所述的一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，其特征在于，所述的步骤(5)具体包括如下步骤：

(5.1)若判定相关滤波结果不稳定，则输出显著性检测结果，即以显著性图中的最优轮廓，更新当前目标的位置与尺度信息；

(5.2)若判定相关滤波结果稳定，且显著性算法不稳定，则输出相关滤波结果，即以相关滤波响应中心位置，更新当前目标的位置信息，尺度信息保持不变；

(5.3)若判定相关滤波结果稳定，且显著性算法稳定，则输出融合结果，更新当前目标的位置与尺度信息。

Images