CN104966054A - 无人机可见光图像中的弱小目标检测方法 - Google Patents

Abstract

本发明公开了一种无人机可见光图像弱小目标检测方法，主要解决现有技术因形状信息中存在的缩放和旋转而导致目标很难检测的问题。其实现步骤为：(1)输入一帧含有多个人物目标的无人机图像，从中提取两个图像块作为目标模板，每个图像块含有1个人物目标；(2)求取目标模板的均值μ、标准差σ和熵H；(3)对输入图像进行增强处理，并对增强后的图像按照颜色信息进行分割，得到多个超像素块；(4)对所有的超像素块，依次进行特征提取及识别，完成目标的初步检测：(5)对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。本发明有效提高了无人机图像中的弱小目标的识别准确率，可用于无人机可见光图像或视频中。

Description

无人机可见光图像中的弱小目标检测方法

技术领域

本发明属于图像处理领域，更进一步涉及弱小目标的检测方法，可用于无人机可见光图像或视频中。

背景技术

无人机UAV是一种有动力、可控制、能携带多种任务设备、执行多种任务，并能重复使用的无人驾驶飞行器。随着无人机性能的不断提高，以及其所具有的体积小、机动灵活、不易被发现等优点，使得无人机在侦查和巡逻、建筑物勘察、航空地图绘制、危险环境下的清障等军事和民用特殊领域显示出了巨大的应用潜力，因此一直受到世界各国的普遍重视。目标跟踪历来是无人机一个很重要的任务。

现有无人机主要采用两种方法来实现目标识别：

第一种是用图像中的颜色信息来表征原始图像，即建立目标的颜色特征信息库，通过颜色匹配进行目标识别。然而理想的颜色特征信息实际上是很难建立的，这主要是由于目标颜色的相似性与多样性、环境光照的不稳定性、目标存在部分遮挡或阴影等原因造成的。

第二种是利用图像的形状信息来帮助人们以及机器完成识别目标的过程。在计算机中目标的形状可以理解为目标的轮廓或者轮廓所包围的区域，基于不同的理解，许多形状识别方法已经被提出，如傅里叶描述子，边缘，不变矩，质心，矩形度等，但应用在复杂的实际情况中还是有很大的困难，如缩放，旋转造成的匹配困难。

发明内容

本发明的目的在于提出一种基于灰度信息和能量信息的无人机可见光图像弱小目标识别方法，以避免现有技术因形状信息中存在的缩放和旋转而导致目标很难检测的问题。

实现本发明的技术方案是：对输入图像进行增强和分割，对分割后的图像分别进行两次特征提取及识别，通过剔除虚假目标得到检测结果。其实现步骤包括如下：

(1)输入一帧含有多个人物目标的无人机图像，从中提取N个图像块作为目标模板，每个图像块含有1个人物目标,1<＝N<＝3；

(2)求取目标模板的均值μ、标准差σ和熵H；

(3)对输入图像进行增强处理，并对增强后的图像按照颜色信息进行分割，得到多个超像素块；

(4)对所有的超像素块，依次进行特征提取及识别，完成目标的初步检测：

(4a)在每个超像素块内，分别提取超像素块的灰度均值μ和领域熵H特征；

(4b)判断灰度均值μ和领域熵H特征是否满足特征约束条件 $\left\{\begin{array}{c}|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ |H-H^{\&prime;}|<K_2\end{array}\right.:$ 若满足，则该超像素块为初检测目标，反之，则不是，其中μ'，σ'，H'表示目标模板的灰度均值，标准差及领域熵，K₁表示超像素块与目标模板的灰度均值相似度阈值，K₂表示超像素块与目标模板的领域熵相似度阈值；

(4c)对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，反之，则不。然后采用面积滤波去除部分错误的初检测目标；

(5)对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果：

(5a)从本帧图像开始，连续输入3帧图像；

(5b)在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

(5c)取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1,2,3...；

(5d)对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

(5e)在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置，否则，将初步检测目标点视为假目标剔除。

本发明具有如下优点：

第一，本发明结合灰度信息和能量信息来识别图像中的人物目标，可以避免现有技术因形状信息中存在的缩放和旋转而导致目标很难检测的问题；

第二，本发明通过对分割后的图像分别进行两次特征提取及识别，可以剔除与准确目标差异较大的虚假目标；

第三，本发明利用帧间积分法可以更进一步的去除与准确目标较为相似的虚假目标，以提高目标检测正确率。

附图说明

图1为本发明的整体流程图；

图2为用本发明进行目标识别过程中对应的结果图。

图3为本发明通过帧间积分剔除虚假目标的过程示意图。

具体实施方案

下面结合附图，对本发明实现的步骤和效果作进一步的详细描述。

参照图1和图2，本发明的实现步骤如下：

步骤1，输入无人机图像，提取目标模板。

从视频序列中随机选取一帧含有多个人物目标的无人机图像，图像如图2(a)所示，从中提取N个图像块作为目标模板，每个图像块含有1个人物目标,1<＝N<＝3。

步骤2，求取目标模板的均值、标准差和熵。

(2a)求取目标模板的均值μ:

$\mathrm{\&mu;}=\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}i{p}_i$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值；

(2b)求取目标模板的标准差σ：

$\mathrm{\&sigma;}=\sqrt{\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{(i-\mathrm{\&mu;})}^2{p}_i}$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值；

(2c)求取目标模板的熵H:

$H=\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{p}_i\&CenterDot;\log \left(\frac{1}{p_i}\right)=-\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{p}_i\&CenterDot;\log \left(p_i\right)$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值。

步骤3，对输入图像进行增强处理。

(3a)用中值滤波处理原图像，去除其中的噪声；

(3b)用伽马变换拉伸图像灰度，以提高低亮度区域的亮度便于后续处理，经过增强处理后的图像如图2(b)所示。

步骤4，对增强后的图像按照颜色信息进行分割，得到多个超像素块。

常用的分割方法有很多，可采用均值偏移算法、分水岭算法、水平集算法、基于图论的分割方法等，本发明采用基于均值漂移的方法对增强后的图像进行分割，其步骤如下：

(4a)从增强后的图像中选择一个像素，记为x，选取以该像素x为中心的一个窗口；

(4b)计算该像素x的均值漂移向量m_h(x)：

$m_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_{i}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)},$

式中，x_i是以像素x为中心的窗口中的像素点，g(x)＝-▽k(x)，k(x)为单位高斯核函数，▽表示求导，h是核函数k(x)的带宽；

(4c)设定误差阈值ε，取ε＝0.1，判断|m_h(x)-x|＜ε是否成立，若成立，则x即为收敛点z，至步骤(4e)，否则更新x＝m_h(x)，返回步骤(4b)重新迭代；

(4d)依次求出增强后的图像中的每个像素点的局部收敛点z_i，i＝1,2,…,n；

(4e)将具有相同收敛点的像素点z_i归为同一类，即划为一个分割子区域，得到分割后的图像。分割后的图像如图2(c)所示。

步骤5，对所有的超像素块，依次进行特征提取及识别，完成目标的初步检测。

(5a)在每个超像素块内，按照步骤2中的公式分别计算超像素块的灰度均值μ和领域熵H特征；

(5b)判断灰度均值μ和领域熵H特征是否满足特征约束条件 $\left\{\begin{array}{c}|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ |H-H^{\&prime;}|<K_2\end{array}\right.:$ 若满足，则该超像素块为初检测目标，如图2(d)中的红色区域；反之，则不是，其中μ'，σ'，H'表示目标模板的灰度均值，标准差及领域熵，K₁表示超像素块与目标模板的灰度均值相似度阈值，K₂表示超像素块与目标模板的领域熵相似度阈值。图2(d)中的红色区域即为初检测目标；

(5c)对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，合并后的结果如图2(e)所示；反之，则不合并；然后采用面积滤波去除部分错误的初检测目标，面积滤波的公式为：T₂＝areaopen(T,S)，其中T表示初检测目标，T₂表示面积滤波后图像，S表示最大目标面积，其根据目标在图像中的大小先验设定，面积滤波后的图像如图2(f)所示。

从图2(a)、2(b)、2(c)、2(d)、2(e)、2(f)中可以看到，原始图像经过增强、分割以及初步检测、区域合并和面积滤波处理可以初步剔除虚假目标。

步骤6，对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。

(6a)从本帧图像开始，连续输入3帧图像；

(6b)在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

(6c)取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1,2,3...；

(6d)对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

(6e)在对第3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置；否则，将初步检测目标点视为假目标剔除。图3展示了通过帧间积分剔除虚假目标的过程，其中图3(a)为对第1帧无人机目标的检测结果，图3(b)为对第2帧无人机目标检测结果，图3(c)为对第三帧无人机目标检测结果，图3(d)为对最终第1帧剔除虚假目标的结果。

从图3(a)、3(b)、3(c)、3(d)可以依次看到对3帧无人机图像的目标检测过程和最终第1帧剔除虚假目标的结果，该结果表明，本发明能准确地检测出无人机图像中的人物目标。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理之后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求范围之内。

Claims (4)

1.一种无人机可见光图像中的弱小目标检测方法，包括如下步骤：

(1)输入一帧含有多个人物目标的无人机图像，从中提取N个图像块作为目标模板，每个图像块含有1个人物目标,1<＝N<＝3；

(2)求取目标模板的均值μ、标准差σ和熵H；

(3)对输入图像进行增强处理，并对增强后的图像按照颜色信息进行分割，得到多个超像素块；

(4)对所有的超像素块，依次进行特征提取及识别，完成目标的初步检测：

(4a)在每个超像素块内，分别提取超像素块的灰度均值μ和领域熵H特征；

(4b)判断灰度均值μ和领域熵H特征是否满足特征约束条件 $\left\{\begin{array}{c}|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ |H-H^{\&prime;}|<K_2\end{array}\right.;$ 若满足，则该超像素块为初检测目标，反之，则不是，其中μ'，σ'，H'表示目标模板的灰度均值，标准差及领域熵，K₁表示超像素块与目标模板的灰度均值相似度阈值，K₂表示超像素块与目标模板的领域熵相似度阈值；

(4c)对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，反之，则不。然后采用面积滤波去除部分错误的初检测目标；

(5)对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果：

(5a)从本帧图像开始，连续输入3帧图像；

(5b)在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

(5c)取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1,2,3...；

(5d)对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

(5e)在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置，否则，将初步检测目标点视为假目标剔除。

2.根据权利要求1所述的无人机可见光图像中的弱小目标检测方法，所述步骤(2)中求取目标模板的均值μ、标准差σ和熵H，通过如下公式计算：

$\mathrm{\&mu;}=\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}i{p}_i$

$\mathrm{\&sigma;}=\sqrt{\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{(i-\mathrm{\&mu;})}^2{p}_i}$

$H=\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{p}_i\&CenterDot;\log \left(\frac{1}{p_i}\right)=-\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{p}_i\&CenterDot;\log \left(p_i\right)$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值。

3.根据权利要求1所述的无人机可见光图像中的弱小目标检测方法，所述步骤(3)中对输入图像进行增强处理，按照如下步骤进行：

(3a)用中值滤波处理原图像，去除图像中的噪声；

(3b)用伽马变换对除噪后图像的灰度进行拉伸，以提高图像中低亮度区域的亮度。

4.根据权利要求1所述的无人机可见光图像中的弱小目标检测方法，所述步骤(3)中对增强后的图像按照颜色信息进行分割，得到多个超像素块，按照如下步骤进行：

(4a)从灰度拉伸后的图像中随机选择一个像素，记为x，选取以该像素x为中心的一个窗口；

(4b)计算该像素x的均值漂移向量m_h(x)：

$m_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_{i}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)},$

式中，x_i是以像素x为中心的窗口中的像素点，g(x)＝-▽k(x)，k(x)为单位高斯核函数，▽表示求导，h是核函数k(x)的颜色带宽；

(4c)设定误差阈值ε＝0.1，判断|m_h(x)-x|＜ε是否成立，若成立，则x即为收敛点z，执行步骤(4d)，否则，更新x＝m_h(x)，返回步骤(4b)重新迭代；

(4d)依次求出增强后的图像中的每个像素点的局部收敛点z_i，i＝1,2,…,n；

(4e)将具有相同收敛点的像素点z_i归为同一类，即划为一个分割区域，得到分割后的图像。