CN106845364A - 一种快速自动目标检测方法 - Google Patents

Abstract

本发明主要属于目标入侵检测技术领域，具体涉及一种基于无人机影像的区域闯入的目标检测方法。所述方法用于无人机的目标检测，所述方法对无人机机载摄像头获取的原始视频中的原始图像进行高斯金字塔分层，以降低特征点提取的计算复杂度；然后提取图像SIFT特征点进行图像配准、采用金字塔的LK稀疏光流捕获图像中的运动信息以实现目标点运动计算、运动点聚类并剔除伪目标、最终进行目标判定实现目标检测。所述方法能够降低无人机视频的帧间特征点搜索范围，克服无人机影像中的运动大位移问题，提高检测能力；从而降低区域闯入的人工检测强度，提高无人机的自动感知能力。

Description

一种快速自动目标检测方法

技术领域

本发明主要属于目标入侵检测技术领域，具体涉及一种基于无人机影像的区域闯入的目标检测方法。

背景技术

目标检测是将监控场景中的单帧图像或者序列图像的感兴趣目标与背景区域分割出来，从图像中识别和提取有意义的物体实体的操作。无人机完成各种任务的先决条件是快速准确地检测出监控场景中的目标。当前无人机运动目标检测算法的研究均处于针对特定问题设计特定方法的阶段，对复杂多变的工作场景的自适应能力差。而且，目标检测级别要求根据应用环境不同而有差异。总体来说，目标检测的首要任务是搜索一定场景范围，判断目标是否存在，并将目标与背景、目标与噪声分开，完成目标位置区域的提取。

运动目标检测一般包括帧间差分法、背景差分法和光流法。帧间差分适用于动态变化的背景，计算量小，检测精度不高。背景差分关键是对背景进行建模生成背景图像，通过当前帧图像与背景图像进行差分检测运动目标，但难点在于对背景模型建模。光流法包含场景中物体的运动场信息，合并相似的运动矢量可检测出目标，不需要掌握目标的先验知识。

光流计算方法可分为基于频率能量、基于特征关联匹配和基于微分梯度的三类方法。基于频率能量的光流法是在傅立叶空间中通过速度调谐滤波器计算光流。基于特征匹配的关联匹配方法的关键问题是影像特征的选取、匹配准则、窗口尺寸和搜索策略的选择。基于微分梯度的方法通过序列影像中像素灰度的时空变化计算光流，这类方法中经典的计算方法是Horn-Schunck和Lucas-Kanade局域算法。对于无人机上搭载的载荷获得的视频影像，时域和空域上常常不满足光流的连续性条件。特征匹配只能获取局部区域内的特征点对应光流，无法描述无人机视频帧整体运动位移情况，计算时间长。基于微分梯度的方法具有整体性，可获得全局光流，实效性较好。两种方法相互间具有一定的互补性，结合空间大。

发明内容

针对上述问题，本发明提供一种快速自动目标检测方法。所述方法相比传统的基于SIFT的图像配准方法和基于Lucas-Kanada稠密光流计算方法，降低无人机视频的帧间特征点搜索范围，克服无人机影像中的运动大位移问题，提高检测能力；从而降低区域闯入的人工检测强度，提高无人机的自动感知能力。

本发明是通过以下技术方案实现的：

一种快速自动目标入侵检测方法，所述方法用于无人机的目标检测，所述方法对无人机机载摄像头获取的原始视频中的原始图像进行高斯金字塔分层，以降低特征点提取的计算复杂度；然后提取图像SIFT特征点进行图像配准、采用金字塔的LK稀疏光流捕获图像中的运动信息以实现目标点运动计算、运动点聚类并剔除伪目标、最终进行目标判定实现目标检测。

进一步地，所述方法包括以下步骤：

(1)原始视频的获取：根据无人机对监控区域的巡检方式，设置机载摄像头的位置，获得原始视频；

(2)图像配准：将原始视频中的原始图像进行高斯金字塔分层，提取图像的SIFT特征点，进行图像配准；

(3)特征点运动计算：对经过步骤(2)图像配准后的图像采用LK稀疏光流计算并捕获图像中任意特征点的运动信息；其中，所述运动信息包括运动方向和运动速度；

(4)运动点聚类：基于步骤(3)获得的任意特征点的运动信息，对无人机监视区域中所有特征点的运动方向和运动速度进行聚类；

(5)目标判定：经步骤(4)运动点聚类后，依据运动点的运动方向和运动速度剔除伪目标；确定闯入的目标，实现目标检测。

进一步地，步骤(1)中，所述巡检方式包括对监控区域按照巡线进行巡检和无人机按照定点定高悬停进行巡检两种方式；

当按照巡线进行巡检时，控制机载摄像头光轴在竖直平面上，当无人机按照定点定高悬停进行巡检时，控制机载摄像头光轴垂直于地面。

进一步地，步骤(2)中，将原始图像进行高斯金字塔分层，分层的层数至少为两层。

进一步地，步骤(3)中，通过将LK稀疏光流与步骤(2)中的高斯金字塔分层相结合，实现从粗到精的分层策略，将图像分解成不同的分辨率，并将在粗尺度下得到的结果作为下一个尺度的初始值。

进一步地，步骤(4)具体为：基于步骤(3)获得任意特征点的运动方向和运动速度，对特征点的运动方向和运动速度进行聚类，聚类计算方法具体为：

通过以下公式求得theta：

其中，R为监控区域的半径；|OP|为通过定位算法得到的目标特征点O相对摄像头光轴中心P的水平距离；

OL₁和OL₂所示的两条矢量线分别代表闯入和非闯入的运动目标的运动，OL₁和OL₂与OC的夹角分别为：

OL₁与OC的夹角α₁有

|α₁|＜theta (2)

OL₂与OC的夹角α₂有

|α₂|≥theta (3)

设定运动目标的速度在OC上投影的模阈值为|V_n|，则OL₁在OC投影长度满足条件：

|V_n|≤|OL₁|·cos(α₁) (4)

设OL₁表示目标闯入特征点矢量，则需同时满足以下两个条件才可判断特征点O为闯入目标特征点：

进一步地，步骤(5)具体为：根据步骤(4)中对特征点的运动方向和运动速度进行聚类的结果，将满足条件的运动点保留，将保留的特征点进行统计分析，对视频图像从上到下进行遍历，取n×n像素块中特征点进行统计；n×n像素块中超过一定数量的特征点即确定为闯入目标，进行闯入报警，否则为伪目标。

本发明的有益技术效果：

与现有无人机目标检测方法相比，本发明提出的基于无人机影像的区域入侵的目标检测方法具有以下优势：

(1)将目标运动信息与无人机业务功能相结合，不需要对目标的先验知识掌握；

(2)基于金字塔的特征点提取，降低特征点提取的计算复杂度，控制图像配准的计算时间。

(3)通过对无人机不同场景、不同时间的视频图像进行试验验证，结果表明该方法具有较好的区域入侵目标检测能力。

附图说明

图1为监控区域入侵目标检测算法流程图；

图2为无人机巡线模式航线设计示意图；

图3为无人机悬停模式示意图；

图4为金字塔分层原理图；

图5为特征点光流矢量示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

一种快速自动目标入侵检测方法，所述方法用于无人机的目标检测，所述方法对无人机机载摄像头获取的原始视频中的原始图像进行高斯金字塔分层，以降低特征点提取的计算复杂度；然后提取图像SIFT特征点进行图像配准、采用金字塔的LK稀疏光流捕获图像中的运动信息以实现目标点运动计算、运动点聚类并剔除伪目标、最终进行目标判定实现目标检测。

如图1所示，所述方法包括以下步骤：

(1)原始视频的获取：根据无人机对监控区域的巡检方式，设置机载摄像头的位置，获得原始视频；

如图2所示，所述巡检方式包括对监控区域按照巡线进行巡检和无人机按照定点定高悬停进行巡检两种方式；机载摄像头光轴垂直于地面；

(2)图像配准：将原始视频中的原始图像进行高斯金字塔化分层重采样，提取图像的SIFT特征点，进行图像配准；其中，进行高斯金字塔分层，分层的层数至少为两层。

(3)特征点运动计算：对经过步骤(2)图像配准后的图像采用金字塔LK稀疏光流计算并捕获图像中任意特征点的运动矢量。

光流的计算一般有以下假设：

Ⅰ.一个特征点在帧f_i-1和帧f_i中的颜色值相等(对于灰度图像，其亮度相等)，即对于图像上t时刻p(x,y)点的灰度表示为I(x,y,t)，经过时间差dt后，对应点的灰度为I(x+dx,y+dy,t+dt)，微分求导，有

I_xu+I_yv＝-I_t (1)

其中：

表示特征点p(x,y)在x方向上的光流；

表示特征点p(x,y)在y方向上的光流；

表示图像灰度对位置x，y和时间t的偏导。

整理式(1)可得

其中：

是图像在点p处的梯度；

V_p＝(u,v)为特征点的光流。

Ⅱ.空间一致性，即邻近像素的运动是一致的。

Ⅲ.两幅图像间像素位移比较小。

Ⅳ.不能识别垂直于局部梯度的运动；式(2)中包含u和v两个未知量，必须寻找新的约束才可求解。

由于旋翼无人机巡线时航速较低(5m/s～7m/s)，拍摄的视频重叠率高，基本符合上述的四点假设，应用Lucas-Kanada稀疏光流进行跟踪具有合理性。Lucas-Kanada算法是基于局部约束，假定以点p(x,y)为中心的一个小邻域内各点的光流相同，对区域内不同的点赋予不同的权重，则Lucas-Kanada稀疏光流计算为求式(3)的极小值。

其中：Ω代表以p点为中心的一个小邻域，在本实例中Ω表示3×3的局部窗口。

W(x)为窗口函数，代表区域中各点的权重，离p点越近，权重越高。

可得超定图像流约束方程如下所示：

计算局部窗口中式(4)，可得到图像中任意特征点的运动矢量(即运动信息，包括运动方向和运动速度)。通过将LK稀疏光流与步骤(2)中的高斯金字塔分层相结合，实现从粗到精的分层策略，将图像分解成不同的分辨率，并将在粗尺度下得到的结果作为下一个尺度的初始值。该方法能够捕获大运动速度的目标。

(4)运动点聚类：基于步骤(3)获得的任意特征点的运动矢量，对无人机监视区域中所有特征点的运动方向和运动速度进行聚类；

基于步骤(3)获得任意特征点的运动方向和运动速度，对特征点的运动方向和运动速度进行聚类，如图5所示，聚类计算方法具体为：

计算特征点O过巡检区域所在的外接圆切线(T_l或T_r)相对于特征点O与外接圆心C所在直线的夹角theta，通过以下公式求得：

其中，R为监控区域的半径；|OC|为通过定位算法得到的目标特征点O位置相对监控区域中心C的水平距离；

OL₁和OL₂所示的两条矢量线分别代表闯入和非闯入的运动目标的运动，OL₁和OL₂与OC的夹角分别为：

OL₁与OC的夹角α₁有

|α₁|＜theta (6)

OL₂与OC的夹角α₂有

|α₂|≥theta (7)

根据经验值，设定运动目标的速度在OC上投影的模阈值为|V_n|，则OL₁在OC投影长度满足条件：

|V_n|≤|OL₁|·cos(α₁) (8)

设OL₁表示目标闯入特征点矢量，则需同时满足以下两个条件才可判断特征点O为闯入目标特征点：

其中根据对闯入目标点的判断准确率，实施例|V_n|的取值优选0.5m/s。

(5)目标判定：经步骤(4)运动点聚类后，依据运动点的运动方向和运动速度剔除伪目标；确定闯入的目标，实现目标检测。

步骤(5)具体为：根据步骤(4)中对特征点的运动方向和运动速度进行聚类的结果，将满足条件的运动点保留，将保留的特征点进行统计分析，对视频图像从上到下进行遍历，取n×n像素块中特征点进行统计，在本实施例中n取150；150×150像素块中超过3个特征点的目标即确定为闯入目标，进行闯入报警，否则为伪目标。

Claims (7)

1.一种快速自动目标入侵检测方法，其特征在于，所述方法用于无人机的目标检测，所述方法对无人机机载摄像头获取的原始视频中的原始图像进行高斯金字塔分层，以降低特征点提取的计算复杂度；然后提取图像SIFT特征点进行图像配准、采用金字塔的LK稀疏光流捕获图像中的运动信息以实现目标点运动计算、运动点聚类并剔除伪目标、最终进行目标判定实现目标检测。

2.根据权利要求1所述一种快速自动目标入侵检测方法，其特征在于，所述方法包括以下步骤：

(1)原始视频的获取：根据无人机对监控区域的巡检方式，设置机载摄像头的位置，获得原始视频；

(2)图像配准：将原始视频中的原始图像进行高斯金字塔分层，提取图像的SIFT特征点，进行图像配准；

(3)特征点运动计算：对经过步骤(2)图像配准后的图像采用LK稀疏光流计算并捕获图像中任意特征点的运动信息，其中，所述运动信息包括运动方向和运动速度；

(4)运动点聚类：基于步骤(3)获得的任意特征点的运动信息，对无人机监视区域中所有特征点的运动方向和运动速度进行聚类，以获得满足目标入侵条件的特征点，并将满足目标入侵条件的特征点进行保留；

(5)目标判定：经步骤(4)运动点聚类后，对保留的特征点进行分析统计，剔除伪目标特征点，确定闯入的目标，实现目标检测。

3.根据权利要求2所述一种快速自动目标入侵检测方法，其特征在于，步骤(1)中，所述巡检方式包括对监控区域按照巡线进行巡检和无人机按照定点定高悬停进行巡检两种方式；巡检时，机载摄像头光轴垂直于地面。

4.根据权利要求2所述一种快速自动目标入侵检测方法，其特征在于，步骤(2)中，将原始图像进行高斯金字塔分层，分层的层数至少为两层。

5.根据权利要求2所述一种快速自动目标入侵检测方法，其特征在于，步骤(3)中，通过将LK稀疏光流与步骤(2)中的高斯金字塔分层相结合，实现从粗到精的分层策略，将图像分解成不同的分辨率，并将在粗尺度下得到的结果作为下一个尺度的初始值。

6.根据权利要求2所述一种快速自动目标入侵检测方法，其特征在于，步骤(4)具体为：基于步骤(3)获得任意特征点的运动方向和运动速度，对特征点的运动方向和运动速度进行聚类，以获得满足目标入侵条件的特征点，聚类计算方法具体为：

(1)计算特征点O过巡检区域所在的外接圆切线T_l或T_r相对于特征点O与外接圆心C所在直线的夹角theta，通过以下公式求得：

其中，R为监控区域的半径；|OC|为通过定位算法得到的目标特征点O位置相对监控区域中心C的水平距离；

(2)OL₁和OL₂所示的两条矢量线分别代表闯入和非闯入的运动目标的运动矢量，OL₁和OL₂与OC的夹角分别为：

OL₁与OC的夹角α₁有

|α₁|＜theta

OL₂与OC的夹角α₂有

|α₂|≥theta

(3)设定运动目标的速度在OC上投影的模阈值为|V_n|，则OL₁在OC投影长度满足条件：

|V_n|≤|OL₁|·cos(α₁)

(4)设OL₁表示目标闯入特征点矢量，则需同时满足以下两个条件才可判断特征点O为闯入目标特征点：

$\left\{\begin{array}{c}\left|V_n\right|<\left|{\mathrm{OL}}_1\right|\&CenterDot;cos\left({\mathrm{\&alpha;}}_1\right)\\ \left|{\mathrm{\&alpha;}}_1\right|<theta\end{array}\right..$

7.根据权利要求2所述一种快速自动目标入侵检测方法，其特征在于，步骤(5)具体为：根据步骤(4)中对特征点的运动方向和运动速度进行聚类的结果，将满足目标入侵条件的特征点保留，将保留的特征点进行统计分析，对视频图像从上到下进行遍历，取n×n像素块中特征点进行统计；n×n像素块中超过一定数量的特征点即确定为闯入目标，进行闯入报警，否则为伪目标。