CN115294478B - 一种应用于现代光电平台的空中无人机目标检测方法 - Google Patents

Abstract

本发明涉及一种应用于现代光电平台的空中无人机目标检测方法，包括无人机候选区域提取，候选区域评价、定位目标的正确性判断和结果处理。无人机候选区域提取是对灰度图进行多尺度滤波、提取差值图边缘、形态学运算和连通域操作得到候选区域。候选区域评价部分是基于候选区域均值和长宽比、邻域的均值和方差建立的评分机制，将最高得分的候选区域确定为定位目标。目标的正确性判断通过比较定位目标在当前帧和五帧后的状态，来判断定位目标是否正确。结果处理是当定位目标正确时完成检测，否则重新执行检测。

Description

一种应用于现代光电平台的空中无人机目标检测方法

技术领域

本发明设计智能视频处理领域，具体涉及的是一种应用于现代光电平台的空中无人机目标检测方法。

背景技术

目标检测技术是在视频中找到所有感兴趣的目标，进而确定感兴趣目标的位置和类型。目标检测技术在人机交互、交通检测和安防监控中具有广泛的应用。近年来，无人机凭借着自身体积小，行动迅速被广泛应用于军事侦查和目标打击的任务中。但是，也是由于无人机的体积小和运动快速的特点，使得安防设备发现并且防御入侵的无人机愈发艰难。

目前通过智能视频处理的方法来代替人工的无人机检测的方法也逐渐出现。但是现有的无人机目标检测技术存在着计算量大，计算操作复杂，并且检测结果容易受到树木和楼宇等真实环境信息的干扰的不足。计算复杂导致现有检测算法难以应用于现代光电平台上；计算操作复杂意味着难以在硬件资源有限的现代光电平台内部进行优化部署的；易受真实环境信息干扰意味着无人机监测方法的应用场景被极大的限制了。

因此，设计一种计算量低、计算操作简单、有效排除大量实际环境信息干扰并且可以部署在现代光电平台的无人机目标检测方法是具有重要应用价值的。

发明内容

本发明解决的问题：针对目前空中无人机目标检测方法易受到实际场景中的环境干扰以及因算法的计算复杂而无法在硬件资源有限的现代光电平台部署的问题，提供一种应用于现代光电平台的空中无人机目标检测方法。该方法不仅计算量低、计算方案简单、适合硬件平台进行优化，而且还可以在大量楼宇和树木背景下准确检测到空中无人机目标。

该检测方法具备在现代光电平台内部部署、实时的无人机目标的自动检测以及检测到错误目标的自动重新检测的特点。此外，本方法已经成功在Xilinx的ZCU104嵌入式硬件系统实现。该硬件单元被部署在现代光电平台内部后，可以控制现代光电平台自动的根据视频检测空中无人机目标并定位，然后结合后续帧信息判断定位到的目标是否正确，如果判断检测到目标错误就会自动重启检测再次寻找正确目标。在相机分辨率为720P(分辨率为1280×720)的现代光电平台中部署本发明方法后，可以对空中无人机的检测速度达到实时的50fps/s(每秒完成50次检测计算)的水平。

本发明所采用的技术方案是：一种应用于现代光电平台的空中无人机目标检测方法，该方法包括了无人机候选区域提取，候选目标区域评价以及定位目标的正确性判断三个组成部分，实现了部署在硬件资源有限的现代光电平台内部完成对空中无人机进行实时检测，最终定位一个准确的无人机目标的任务。本发明的方法包括以下步骤：

步骤一：无人机候选区域提取，对无人机候选区域进行特征提取，确定目标候选区域，具体如下：

(1)将现代光电平台采集的视频帧t进行图灰度化为单通道灰度图，然后对单通道灰度图进行归一化操作；

(2)针对实际运行环境中存在的噪声影响，采用3*3大小的中值滤波操消除相机硬件电路或环境中存在的孤立强噪声点，得到输入图P_ori；

(3)为了发现具有显著性特征的区域，进而对输入图P_ori分别进行小尺度的高斯滤波和大尺度的高斯滤波操作，得到小尺度滤波后的图P_min和大尺度滤波后的图P_max，其中小尺度高斯滤波算子为N_g*N_g(3≤N_g≤5)大小，大尺度高斯滤波算子为视频帧t的宽度的1/N_bg(假设视频帧t为1280像素*720像素，则大尺度高斯滤波算子大小为720/N_bg*720/N_bg，4≤N_bg≤16)；

(4)通过不同尺度的滤波后保留下来的内容中包含了目标的信息，因此将大尺度滤波图P_max和小尺度滤波图P_min进行逐个像素值做差后取的绝对值，得到差值图P_d，紧接着对P_d进行标准化得到注意力图P_att，操作如下：

P_d＝|P_max-P_min|

其中，mean(p_d)代表图p_d中所有像素值的均值，std(p_d)表示图p_d中所有像素值的标准差；

(5)考虑到计算量的因素，对注意力图P_att直接进行连通域操作将会大幅提高整体计算量，因此这里先对P_att进行Sobel算子边缘提取操作得到边缘信息图P_edge；

(6)对边缘信息图P_edge进行形态学闭运算操作得到形态学图P_m，将相邻的边缘信息进行连接，其中闭运算使用的形态学算子大小为N_m*N_m(3≤N_m≤5)，形态闭运算操作A·B如下：

其中，代表分形态学膨胀操作，/>是形态学腐蚀操作；

(7)对闭运算后的形态学图P_m进行连通域计算，得到n个连通域{α₁，α₂，...α_i，...α_n}，每个连通域大小分别是{Size₁，Size₂，...，Size_i，...，Size_n}。其中，Size_i＝(Width_i，Height_i)，Width_i，Height_i分别是连通域α_i的宽度和高度；

(8)对每一个连通域α_i进行筛选。考虑到无人机都有相似的宽高比的关系，因此满足以下条件的所有连通域i将作为目标候选区域：

其中，Width_i和Height_i和分别代表连通域α_i的宽度和高度，K₁和K₂是设定的常数阈值，0.25≤K1≤1，1＜K2≤4；

步骤二：目标候选区域评价，对每一个目标候选区域进行评价，从中获得目标可能性最高的区域，作为当前帧定位的目标，具体如下：

(9)令筛选后的m个目标候选区域为{β₁，β₂，...β_j，...β_m}，对应的候选区域大小分别是{s，s₂，...，s_j，...s_m}。s_j＝(w_j，h_j)，其中w_j，h_j分别是目标候选区域β_j的宽度和高度。然后根据每个目标候选区域β_j的宽度w_j设置不同大小的正方形邻域{b₁，b₂，...，b_j，...，b_m}，正方形邻域的边长分别是{d₁，d₂，...，d_j，...，d_m}，d_j的计算方式如下：

其中，γ₁，γ₂代表设定的固定宽度阈值；5*w_j、3*w_j和2*w_j分别代表5倍w_j、3倍w_j和2倍w_j的大小；

(10)首先计算每个目标候选区域β_j在输入图P_ori中的像素均值其次计算以目标候选区域β_j为中心以d_j为边长的正方形邻域b_j在输入图P_ori中的像素均值/>和像素方差/>最后计算该目标候选区域β_j的得分Score_j：

其中，Hp_j是目标候选区域β_j在垂直方向上的惩罚值，Vp_j是目标候选区域β_j在水平方向上的惩罚值，Sp_j表示目标候选区域β_j的宽高比惩罚值，||表示绝对值运算。Hp_j，Vp_j和Sp_j的计算公式如下：

其中，C_X_j和C_Y_j分别代表目标候选区域β_j的横坐标和纵坐标，H_ori和W_ori分别代表图P_ori的高度和宽度，K₁和K₂是步骤(8)中设定的常数阈值；

(11)比较所有目标候选区域的得分{score₁，score₂，...，score_j，...，score_m}，选取得分最高的目标候选区域作为视频帧t中定位目标；

步骤三：定位目标的正确性判断，验证定位的目标的正确性，具体如下：

(12)以视频帧t的定位目标为中心，设定N_p倍于定位目标大小的搜索区域U，3≤N_p≤5；

(13)等待5帧，即当输入视频帧为(t+5)时，在搜索区域U中顺序执行步骤一和步骤二中的内容，得到视频帧(t+5)时的定位目标。当视频帧(t+5)和t时检测的目标的坐标或大小发生变化时，则认为视频帧(t+5)时的定位目标正确；否则认为在视频帧t时定位的无人机目标错误；

步骤四：结果处理，当定位目标为正确目标，则检测完成；当定位目标为错误目标，则在视频帧(t+5)的全图范围内重新顺序执行步骤一、步骤二和步骤三中的内容。

本发明与现有技术的优点在于：

(1)本发明方法在设计充分利用图像显著性，图像图形学，仿生视觉和空中无人机目标先验等知识，构建了一套目标的面向无人机目标的检测方法，该方法将空中无人机的目标检测问题划分为无人机候选区域提取，候选目标区域评价以及定位目标的正确性判断三个处理部分，尽可能的使用了计算量低的操作运算的同时保证了准确快速检测出空中无人机目标，并且有效的避免真实应用场景中常见的树木楼宇等干扰物的影响。

(2)本发明方法具有对整体计算量低的特点，可以在硬件资源有限的嵌入式硬件系统上达到实时的检测速度，进而可以有效的部署到现代光电平台。该检测方法在Xilinx的ZCU104的嵌入式硬件系统上，可以对分辨率为720P的视频达到实时的50fps/s的检测速度，满足绝大多数现代光电平台的实时性检测要求。

(3)本发明方法针对嵌入式硬件平台设计，其中包含的绝大多数运算都可以使用硬件平台自带的计算优化库进行优化。为了使本发明更加适合在嵌入式平台运行，本方法中包含的图像滤波、边缘提取、连通域操作、形态学操作和图像运算都可以用嵌入式硬件平台的计算优化库进行优化加速，使本发明方法在嵌入式硬件平台上具有更高效的表现。

附图说明

图1为本发明一种应用于现代光电平台的空中无人机目标检测方法流程图；

图2为本发明检测目标过程中部分操作的示意图；其中，a是灰度化输入视频帧t；b是注意力图P_att；c是边缘信息图P_edge；d是形态学图P_m；e是目标候选区域得分；f是视频帧t时的定位目标；g是视频帧t+5时的定位目标；

图3为本发明应用到现代光电平台上的对实际空中无人机目标检测效果图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

本发明实施例中具有本发明方法的Xilinx ZCU104的嵌入式系统以及部署于现代光电平台中。该光电平台的视频分辨率为720P，视频帧率为50HZ。无人机目标在输入视频帧中的宽高的范围都在10像素至80像素之间。

如图1所示，本发明方法具体实现如下：

步骤一：无人机候选区域提取，对无人机候选区域进行特征提取，确定目标候选区域，具体如下：

(1)将现代光电平台采集的视频帧t进行图灰度化调整到单通道灰度图，如图2中的a所示，然后对单通道灰度图进行归一化操作；

(2)将归一化的灰度图利用3*3大小的中值滤波操作来消除采集图中可能存在的孤立强噪声点，得到输入图P_ori；

(3)对P_ori图进行小尺度的高斯滤波和大尺度的高斯滤波操作，得到小尺度滤波后的图P_min和大尺度滤波后的图P_max，其中小尺度高斯滤波算子为5*5，大尺度高斯滤波算子为视频帧t的宽度的1/8(因视频帧t宽度为720像素，则大尺度高斯滤波算子为90*90像素)。高斯滤波算子G(x，y)的分布如下，设定高斯分布标准差为σ＝0.5：

其中，(x₀，y₀)为滤波算子的中心位置；

(4)通过不同尺度的滤波后保留的内容中包含目标信息，将大尺度滤波图P_max和小尺度滤波图P_min逐个像素值做差后取的绝对值，得到差值图P_d，对差值图P_d进行标准化得到注意力图P_att，如图2中b所示，操作如下：

P_d＝|P_max-P_min|

其中，mean(p_d)代表图p_d中所有像素值的均值，std(p_d)表示图p_d中所有像素值的标准差；

(5)考虑到计算量的因素，对标准化后的注意力图P_att的全图范围进行连通域操作将会大幅提高整体计算量，因此这里先对P_att进行Sobel算子边缘提取操作得到边缘信息图P_edge，如图2中c所示；

(6)对边缘信息图P_edge进行形态学闭运算操作得到形态学图P_m，如图2中d所示，达到将相邻的边缘信息进行连接的效果，其中闭运算使用的形态学算子大小为5*5像素，形态闭运算操作A·B如下：

其中，代表分形态学膨胀操作，/>是形态学腐蚀操作；

(7)对形态学图P_m进行连通域操作得到n个连通域{α₁，α₂，...α_i，...α_n}，每个连通域大小分别是{Size₁，Size₂，...，Size_i，...，Size_n}。其中，Size_i＝(Width_i，Height_i)，Width_i，Height_i分别是连通域α_i的宽度和高度；

(8)对每一个连通域进行筛选。考虑到无人机都有相似的宽高比的关系，设定常数阈值K₁＝0.25，K₂＝4，因此满足以下条件的所有连通域α_i将作为目标候选区域：

其中，Width_i和Height_i和分别代表连通域α_i的宽度和高度；

步骤二：目标候选区域评价，对每一个目标候选区域进行评价，从中获得目标可能性最高的区域，作为当前帧定位的目标，具体如下：

(9)令筛选后的m个目标候选区域为{β₁，β₂，...β_j，...β_m}，对应的候选区域大小分别是{s，s₂，...，s_j，...s_m}，s_j＝(w_j，h_j)，其中w_j，h_j分别是目标候选区域β_j的宽度和高度。根据每个目标候选区域β_j的宽度w_j设置不同大小的正方形邻域{b₁，b₂，...，b_j，...，b_m}，正方形邻域的边长分别是{d₁，d₂，...，d_j，...，d_m}，d_j的计算方式如下，此处设置固定宽度阈值γ₁＝20，γ₂＝60：

其中，5*w_j、3*w_j和2*w_j分别代表5倍w_j、3倍w_j和2倍w_j的大小；

(10)首先计算每个目标候选区域β_j在输入图P_ori中的像素均值其次计算以目标候选区域β_j为中心以d_j为边长的正方形邻域b_j在输入图P_ori中的像素均值/>和像素方差/>最后计算该目标候选区域β_j的得分Score_j：

其中，Hp_j是目标候选区域β_j在垂直方向上的惩罚值，Vp_j是目标候选区域β_j在水平方向上的惩罚值，Sp_j表示目标候选区域β_j的宽高比惩罚值，||表示绝对值运算。Hp_j，Vp_j和Sp_j的计算公式如下：

其中，C_X_j和C_Y_j分别代表目标候选区域β_j的横坐标和纵坐标。H_ori和W_ori分别代表输入图P_ori的高度和宽度。||表示取绝对值。公式中的K₁＝0.25和K₂＝4是步骤(8)中设定的常值阈值。该过程示意图如图2中e所示；

(11)比较所有目标候选区域的得分{score₁，score₂，...，score_j，...，score_m}，选取得分最高的目标候选区域作为视频帧t中定位目标；

步骤三：定位目标的正确性判断，验证定位的目标的正确性，具体如下：

(12)以视频帧t的定位目标为中心，设定N_p＝4倍于定位目标大小的搜索区域U；

(13)等待5帧，即当输入视频帧为(t+5)时，在搜索区域U中顺序执行步骤一和步骤二中的内容，得到视频帧(t+5)时的定位目标。当视频帧(t+5)和t时检测的目标的坐标或大小发生变化时，则认为视频帧(t+5)时的定位目标正确；否则认为在视频帧t时定位的无人机目标错误；t帧和t+5帧对比关系如图2中f和g所示；

步骤四：结果处理，当定位目标为正确目标，则检测完成；当定位目标为错误目标，则在视频帧(t+5)的全图范围内重新顺序执行步骤一、步骤二和步骤三中的内容进行检测。

本发明在现代光电平台上的实际部署效果如图3所示，本发明方案在可见光和红外两种模态下，可以成功检测到复杂环境中不同大小的空中飞行器，说明了该检测方法的准确性和对场景的鲁棒性。

Claims (1)

1.一种应用于现代光电平台的空中无人机目标检测方法，其特征在于：包括以下步骤：

步骤一：无人机候选区域提取，对无人机候选区域进行特征提取，确定目标候选区域，具体如下：

(1)将现代光电平台采集的视频帧t进行灰度化为单通道灰度图，然后对单通道灰度图进行归一化操作；

(2)针对实际运行环境中存在的噪声影响，采用3*3大小的中值滤波操消除相机硬件电路或环境中存在的孤立强噪声点，得到输入图P_ori；

(3)对输入图P_ori分别进行小尺度的高斯滤波和大尺度的高斯滤波操作，得到小尺度滤波图P_min和大尺度滤波图P_max，其中小尺度高斯滤波的算子大小为N_g*N_g，3≤N_g≤5；大尺度高斯滤波算子大小为输入视频宽度的1/N_bg,4≤N_bg≤16；

(4)通过不同尺度的滤波后保留的内容中包含目标信息，将大尺度滤波图P_max和小尺度滤波图P_min逐个像素值做差后取的绝对值，得到差值图P_d，对差值图P_d进行标准化得到注意力图P_att，操作如下：

P_d＝|P_max-P_min|

其中，mean(p_d)代表差值图p_d中像素值的均值，std(p_d)表示差值图p_d中像素值的标准差；

(5)对注意力图P_att进行Sobel算子边缘提取操作得到边缘信息图P_edge；

(6)对边缘信息图P_edge进行形态学闭运算操作得到形态学图P_m，来完成对边缘信息的连接，其中闭运算使用的形态学算子大小为N_m*N_m，形态闭运算操作A·B如下：

其中，代表分形态学膨胀操作，/>是形态学腐蚀操作；

(7)对形态学图P_m进行连通域操作得到n个连通域{α₁,α₂,…α_i,…α_n}，每个连通域大小分别是{Size₁,Size₂,…,Size_i,…,Size_n}，其中，Size_i＝(Width_i,Height_i)，Width_i，Height_i分别是连通域α_i的宽度和高度；

(8)对每一个连通域α_i进行筛选，筛选条件是基于连通域α_i的宽高比，满足以下条件的连通域α_i将作为目标候选区域：

其中，Width_i和Height_i和分别代表连通域α_i的宽度和高度，K₁和K₂是设定的常数阈值，0.25≤K1≤1，1＜K2≤4；

步骤二：目标候选区域评价,对每一个目标候选区域进行评价，从中获得目标可能性最高的区域，作为当前帧定位的目标，具体如下：

(9)令筛选后的m个目标候选区域为{β₁,β₂,…β_j,…β_m}，对应的候选区域大小分别是{s₁,s₂,…,s_j,…s_m}，s_j＝(w_j,h_j),其中w_j，h_j分别是目标候选区域β_j的宽度和高度；设置不同大小的正方形邻域{b₁,b₂,…,b_j,…,b_m}，正方形邻域的边长分别是{d₁,d₂,…,d_j,…,d_m}，d_j的计算方式如下：

其中，γ₁，γ₂代表设定的固定宽度阈值；5*w_j、3*w_j和2*w_j分别代表5倍w_j、3倍w_j和2倍w_j的大小；

(10)首先计算每个目标候选区域β_j在输入图P_ori中的像素均值其次计算以目标候选区域β_j为中心，以d_j为边长的正方形邻域b_j在输入图P_ori中的像素均值/>和像素方差最后计算该目标候选区域β_j的得分Score_j：

其中，Hp_j是目标候选区域β_j在垂直方向上的惩罚值，Vp_j是目标候选区域β_j在水平方向上的惩罚值，Sp_j表示目标候选区域β_j的宽高比惩罚值,||表示绝对值运算，Hp_j，Vp_j和Sp_j的计算公式如下：

其中，C_X_j和C_Y_j分别代表目标候选区域β_j的横坐标和纵坐标，H_ori和W_ori分别代表输入图P_ori的高度和宽度，K₁和K₂是步骤(8)中设定的常数阈值；

(11)比较所有目标候选区域的得分{score₁,score₂,…,score_j,…,score_m}，选取得分最高的目标候选区域作为视频帧t中定位目标；

步骤三：定位目标的正确性判断，验证定位的目标的正确性，具体如下：

(12)以视频帧t的定位目标为中心，设定N_p倍于定位目标大小的搜索区域U，3≤N_p≤5；

(13)等待5帧，即当输入视频帧为(t+5)时，在搜索区域U中顺序执行步骤一和步骤二中的内容，得到视频帧(t+5)时的定位目标；当视频帧(t+5)和t时检测的目标的坐标或大小发生变化时，则认为视频帧(t+5)时的定位目标正确；否则认为在视频帧t时定位的无人机目标错误；

步骤四：结果处理，当定位目标为正确目标，则检测完成；当定位目标为错误目标，则在视频帧(t+5)的全图范围内重新顺序执行步骤一、步骤二和步骤三中的内容进行检测。