CN108446584B - 一种无人机侦察视频图像目标自动检测方法 - Google Patents

Abstract

本发明涉及图像处理领域，具体涉及一种无人机侦察视频图像目标自动检测方法。所述方法采用目标粗提取算法与精提取算法对视频图像进行目标区域的预提取，采用分类器对预提取区域进行判断，剔除非目标的预提取区域，保留并标记目标区域实现对视频图像中目标的自动检测。本发明引入预提取算法对视频图像进行目标预提取，避免了检测算法因滑窗尺寸、步长不能无级变化或目标特征不明显引起的漏检或误检，增加了检测的准确率。同时本发明引入预提取算法对视频图像进行目标预提取，分担了分类器检测算法在整个侦察目标自动检测过程中的权重，降低了训练分类器所需的样本的数量与多样性的数量级要求，提高了运行效率。

Description

一种无人机侦察视频图像目标自动检测方法

技术领域

本发明涉及图像处理领域，具体涉及一种无人机侦察视频图像目标自动检测方法。

背景技术

近年来，无人机作为一支新兴作战力量，在信息化作战条件下发挥了不可替代的作用，大力发展无人机装备技术，对于提升部队作战能力具有重大的战略意义。目标自动检测技术作为无人机执行侦察打击任务的关键技术之一，能够为无人机视觉导航、目标跟踪、自主飞行和毁伤评估等技术提供强大支持。高效准确的检测算法，可以有效减轻地面操作人员的负担，提高快速响应作战能力以及系统侦查能力。

目前在以视觉处理为基础的图像目标检测算法中，机器学习算法以其准确度高、鲁棒性强且同时适用于动目标和静目标而受到足够的重视。以AdaBoost级联分类器、贝叶斯分类、决策树和支持向量机等为主的传统机器学习算法通过采集目标样本，提取特征并训练目标分类器来完成对图像目标的检测，取得了良好的检测效果。但传统的机器学习算法多采用多尺度变换的窗口滑动遍历整幅图像来进行目标检索，实时性差，运行效率低，对硬件配置要求较高，而所使用的滑窗尺寸和步长通常也不会无级变化，从而影响了检测的准确性。其次，检测效果完全依赖于分类器的性能，而分类器的性能又由目标样本的数量和多样性决定，以人工采集并标记大规模数量的样本费时费力。最后，无人机侦察视频图像具有无序性和分布多样性的特点，包含有大量冗余信息，真正的目标区域却只占少数，而且目标所占像素数不多，占整个画面比例较小，与邻近区域特征较相近，很容易引起分类器的误检或漏检。

综上所述，在无人机侦察视频图像处理系统中，对侦查目标的自动检测技术目前面临以下问题：

1)传统目标检测算法通过滑窗遍历的方式整幅图像来检索目标，既影响了检测效率，又影响了检测准确度，在现有硬件处理基础上，难以保证实时性；

2)以人工采集并标记大规模数量的样本费时费力，训练时长较长，且难以对样本多样性考虑周全；

3)无人机侦察视频图像包含有大量冗余信息，目标所占像素数不足，且在整个画面中比例较小，纹理特征不明显，容易引起误检或漏检。

发明内容

针对上述问题，本发明提供一种无人机侦察视频图像目标自动检测方法。方法在分类器检测判断之前，采用有效的预提取算法对视频图像目标进行预提取，去除冗余的非目标区域，将预提取的可能包含目标的区域代替整幅图像作为分类器检测算法的输入，分类器剔除输入图像非目标的预提取区域，保留并标记目标区域，如此大大提高分类器检测算法的性能。

本发明是通过以下技术方案实现的：

一种无人机侦察视频图像目标自动检测方法，所述方法采用基于频谱残差的提取算法对视频图像进行目标的预提取，采用分类器对预提取区域进行判断，剔除非目标的预提取区域，保留并标记目标区域以实现对视频图像中目标的自动检测。

进一步地，所述目标的预提取具体为：

对所述视频图像进行快速傅里叶变换变换得到频谱图；

对所述频谱图的幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到频谱残差；

对所述频谱残差作逆傅里叶变换得到显著图；

对所述显著图中目标图像进行阈值分割、形态学运算和连通域分析得到目标预提取区域。

进一步地，将采用基于频谱残差的提取算法后提取的目标区域作为目标粗提取区域，针对所述粗提取区域

进一步采用直方图对比算法进行目标的精提取；

所述目标的精提取具体为：对所述目标粗提取区域采用直方图对比算法，将所述目标粗提取区域转为Lab颜色空间，增强目标位置附近的直方图对比度，降低非目标区域附近的直方图对比度，收缩目标粗提取区域包络；

对收缩后的包络，进行阈值分割、形态学运算和连通域分析得到目标精提取区域，将所述目标精提取区域作为所述目标预提取区域。

进一步地，所述分类器为AdaBoost级联分类器，对预提取区域标记目标区域具体为：

收集多个的无人机侦察视频图像目标样本，所述样本包括正样本和负样本；

计算每张所述样本的积分图，提取所述样本的训练特征并生成特征向量；

设定训练AdaBoost级联分类器的参数，将所述特征向量输入训练算法训练级联分类器；

将目标预提取区域输入训练好的AdaBoost级联分类器进行判断，剔除非目标的预提取区域，保留并标记目标区域。

进一步地，对所述显著图中的目标进行预提取具体为：对所述显著图的灰度图进行阈值分割，设S(x,y)为显著图S中某像素点的灰度值，E(S)是频域显著图S的平均灰度值，O为阈值分割后的显著图，则

(1)threshold＝E(S)*3

(2)

对阈值分割后的灰度图进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图中目标区域的预提取。

进一步地，对所述频谱图的幅频响应进行均值平滑可由均值滤波器实现或通过对多张图像取平均实现。

进一步地，对所述目标的精提取具体为：首先将所述目标粗提取区域的每个颜色通道化为12个不同值，摒弃出现频率较低的颜色，选择高频颜色并且保证所述高频颜色覆盖图像像素不低于95％的颜色，而剩下的不高于5％的图像像素，其颜色被直方图中的最近邻替代，然后采用平滑滤波改善每个颜色的显著值，最后再进行阈值分割、形态学运算和连通域分析以形成精提取区域的最小外接矩形，即完成对所述目标粗提取区域的精提取。

进一步地，所述训练特征为Haar-like特征。

进一步地，计算所述积分图前，对所述正样本和所述负样本分别进行尺寸归一化；

进一步地，

计算所述积分图前，对所述正样本进行随机翻转、平移变换和旋转变换以增加正样本数量。

进一步地，所述方法应用于无人机领域，所述视频图像为无人机航拍侦察得到的视频图像。

本发明的有益技术效果：

本发明引入预提取算法对无人机侦察视频图像进行目标预提取，避免了分类器检测算法因滑窗尺寸、步长不能无级变化或目标特征不明显引起的漏检或误检，增加了检测的准确率。同时本发明引入预提取算法对无人机侦察视频图像进行目标预提取，分担了分类器检测算法在整个侦察目标自动检测过程中的权重，降低了训练分类器所需的样本的数量与多样性的数量级要求，提高了运行效率。本发明选取3000张正样本与5500张负样本训练分类器，在i7-4790处理器，8GB内存条件下，在分辨率为1024*768的视频图像上通过预提取算法提取可能包含的目标区域，再用分类器进行筛选判断，其运算时间仅为26～30ms，满足实时处理要求。本发明将预提取算法与分类器检测算法进行有效地融合，从整幅输入图像到可能包含目标区域再到目标区域的判断、筛选和标注都有严格地处理，保证了的检测的有效性。

附图说明

图1为本发明无人机侦察地面目标的自动检测算法总体流程示意图；

图2为基于频谱残差的目标区域粗提取算法框示意图；

图3为基于AdaBoost级联分类器的目标分类器训练与检测算法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

本发明采用目标区域预提取算法与AdaBoost级联分类器算法的相结合的方式来完成无人机侦察视频图像目标的自动检测。其中，首先采用目标预提取算法对无人机侦察视频图像进行目标的预提取，其次采用基于AdaBoost级联分类器的目标检测算法对预提取区域进行判断，剔除非目标的预提取区域，保留并标记目标区域。方法总体流程如图1所示。方法可归纳为以下步骤：

1)对输入视频图像进行快速傅里叶变换变换得到频谱图；

2)对幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到频谱残差；

3)对频谱残差作逆傅里叶变换得到显著图，对显著图进行目标区域粗提取；

4)采用直方图对比算法对目标粗提取区域精提取，改善目标粗提取区域对比度，更精确地提取目标区域；

5)收集足够数量的无人机侦察视频图像目标正样本和负样本；

6)对目标正样本和负样本进行预处理，计算积分图，提取样本的Haar-like特征并生成特征向量。

7)设定训练AdaBoost级联分类器的参数，将特征向量输入训练算法训练级联分类器；

8)将可能包含目标的预提取区域输入级联分类器进行判断，剔除非目标的预提取区域，保留并标记目标区域。

下面结合流程图对算法实施过程中涉及的关键技术进行详细说明。

频谱残差模型

自然图像具有统计特性变换不变性，大多数自然图像在幅度谱上遵循1/f的原则，即某频率的幅频响应与该频率的倒数近似成正比，如下式所示：

E{A(f)}∞1/f (1)

其中E{A(f)}表示傅里叶频谱的平均幅频响应，f表示某频率。对于公式(1)，大量实验表明取对数后的幅频响应与频率f近似成线性关系，但曲线并不是平滑的，对数幅频响应随频率的增加会有小幅度的异常尖峰出现，这些变化的异常尖峰代表图像的显著信息，平滑部分代表图像的冗余信息。显著信息反映了图像中视觉较为显著的部分，多为边缘和纹理信息较为丰富的区域，而这些区域极有可能是包含目标的区域；冗余信息多为图像的背景，视觉效果不显著，像素分布也较为均匀。由此得出，抑制图像冗余的背景信息，保留显著的目标信息，可以对可能包含目标的区域进行有效地提取。

当用多张图像取平均后，其对数幅频响应与频率关系曲线变得平滑，这些异常尖峰被消除。由此得出，将单幅图像的幅频响应与多张图像取平均后的幅频响应做差可以有效地抑制冗余信息，保留显著信息。做差后的差值叫做频谱残差，它代表图像中的显著信息，将频谱残差进行逆傅里叶变换得到的区域即为图像中可能包含目标的区域。

本发明假设输入图像为I，令FFT和FFT^-1分别为图像的快速傅里叶变换和快速逆傅里叶变换。为了便于计算，首先将原图变换为64*64的固定尺寸，有

A(f)＝Amp{FFT(I)} (2)

P(f)＝Pha{FFT(I)} (3)

其中，A(f)为I幅频响应，P(f)为I相频响应。然后利用3*3的均值滤波器h₃(f)与I做卷积，以模拟平均的幅频响应A(f)，最后频谱残差R(f)可由下式计算，

R(f)＝log(A(f))-h₃(f)*log(A(f)) (4)最后对R(f)进行逆傅里叶变换求得空间域的显著图，再利用标准差为8的高斯低通滤波器g₈(x,y)对显著图进行平滑得到最后的显著图S，

S＝g₈(x,y)*FFT-¹[exp(R(f)+P(f))] (5)

频谱残差显著图S为单通道灰度图，灰度图中的显著区域具有灰度不均、零散分布的特点，需要对灰度图进行阈值分割。设S(x,y)为显著图S中某像素点的灰度值，E(S)是频域显著图S的平均灰度值，O为阈值分割后的显著图，则

threShold＝E(S)，3

(7)对显著图O进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图O中目标区域的粗提取，算法总体框图如图2所示。

直方图对比模型

粗提取的目标区域可以大致确定目标在图像中的位置，但也不可避免的包含一些无关信息，此时，需要对粗提取的目标区域进一步提取，去除无关信息。基于直方图对比的目标区域精提取算法以图像的Lab颜色空间为基础，通过增强目标位置附近的直方图对比度，降低非目标区域附近的直方图对比度来达到收缩粗提取区域包络的效果，进一步提高目标区域的视觉显著性，将目标从粗提取区域中更精确地分离出来。

一个像素的显著值是通过与图像中的所有其他像素的色差来定义的，公式如下,

S(I_k)＝D(I_k,I₁)+D(I_k,I₂)+L+D(I_k,I_N) (8)

其中S(I_k)为该像素的显著值，D(I_k,I_N)为Lab空间中两个像素的颜色距离度量，N为图像像素总数。

1、基于直方图的加速

首先将粗提取的目标区域图像的每个颜色通道化为12个不同值，考虑到自然图像的颜色仅仅包含了全颜色空间中很小的一部分，通过忽略出现频率较低的颜色来进一步减少颜色数量，通过选择高频颜色并且保证这些颜色覆盖图像像素不低于95％的颜色，而剩下的不高于5％的图像像素，其颜色被直方图中的最近邻替代。其中，什么频率的颜色算出现频率较低的颜色，或什么频率的颜色算高频颜色由具体使用者判断。

2、颜色空间平滑

一些相似的颜色可能被量化为不同的值。为了减少这类由于随机性给显著结果引入的噪声，算法采取平滑滤波的方式来改善每个颜色的显著值。用相似颜色的显著值加权平均来替代每个颜色(以L*a*b距离度量)的显著值，选择m＝n/4个最近的颜色作为代表来改善颜色c的显著值，如下：

其中，是颜色c与和m个最近的颜色之间的距离之和，归一化因数来自公式

在实际的算法实现中，颜色量化是在RGB颜色空间中进行，距离度量是在Lab颜色空间中进行。进行阈值分割、形态学运算和连通域分析以形成精提取区域的最小外接矩形之后，即可得目标精提取区域。

AdBoost级联分类器

AdaBoost级联分类器算法包含训练过程和检测过程两部分，如图3所示。

训练过程是在样本的特征集进行弱分类器的迭代训练，将每次训练的最优弱分类器线性组合成具有较强分类能力的强分类器。而在实际的待检图像中，非目标区域远比目标区域多，单级强分类器将浪费大量时间在非目标区域的检测与判别上，且误检率较大。为增加检测性能，本发明将多级强分类器级联，即先用一些简单的特征构建小且高效的强分类器来滤除大量的非目标窗口，再用多而复杂的特征构建复杂的强分类器来排除非目标窗口，确定难以分辨的目标区域。

在检测过程中，大多数非目标窗口被前几级较简单的强分类器滤除，得到很高的检测率和检测速度，同时误检率也很高，然后逐步用后几级较复杂的强分类器来排除剩下的难以分辨的非目标窗口，进一步降低误检率，其检测结构如图3所示。整个分类器以多级强分类器级联的形式存在，级联分类器的检测性能随着强分类器级数的增加而不断提升。

样本选择上，正样本是指场景或近似场景中包含目标区域的图片，主要为无人机视频传感器所拍摄的目标区域，负样本是指与正样本出现的场景相同或类似但不包含目标的区域，原则上可以是任意非目标图片。

特征选择上，本发明选择样本的Haar-like作为训练特征。Haar-like特征是一种像素级别的图像底层特征，反映的是目标区域像素的纹理关联信息，对目标图像的边缘和纹理较为敏感，对光线的变化具有很好的适应性，非常适合做无人机视频图像中目标正样本的特征。

AdaBoost级联分类器算法训练过程如图3所示：

1)收集足够数量的无人机视频图像目标正样本和负样本；

2)样本预处理。对正样本进行随机翻转、平移变换和旋转变换以增加正样本数量，并按设定尺寸将所有正样本归一化，负样本同样按设定尺寸归一化；

3)计算每张正样本的积分图，提取样本的Haar-like特征并生成特征向量；

4)设定其每级强分类器可接受的最小检测率d_i和最大误检率f_i，以及训练级数N，将特征向量输入训练算法，开启训练；

5)采用Adaboost算法迭代训练各级强分类器，然后将N级强分类器级联组合成为最终的级联分类器。

6)将可能包含目标的预提取区域输入级联分类器进行判断，剔除非目标区域，保留并标记目标区域。

Claims (7)

1.一种无人机侦察视频图像目标自动检测方法，其特征在于，

S1：基于频谱残差的提取算法对通过无人机侦察获取的视频图像进行目标的预提取：

对所述视频图像进行快速傅里叶变换变换得到频谱图；

对所述频谱图的幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到频谱残差；

对所述频谱残差作逆傅里叶变换得到显著图；

对所述显著图的灰度图进行阈值分割，设S(x,y)为显著图S中某像素点的灰度值，E(S)是频域显著图S的平均灰度值，O为阈值分割后的显著图，则

threshold＝E(S)*3 (2)

对阈值分割后的灰度图进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图中目标区域的预提取；

S2：将采用基于频谱残差的提取算法后预提取的目标区域作为目标粗提取区域，针对所述粗提取区域进一步采用直方图对比算法进行目标的精提取；

所述目标的精提取具体为：对所述目标粗提取区域采用直方图对比算法，将所述目标粗提取区域转为Lab颜色空间，增强目标位置附近的直方图对比度，降低非目标区域附近的直方图对比度，收缩目标粗提取区域包络；

对收缩后的包络，进行阈值分割、形态学运算和连通域分析得到目标精提取区域；

S3：采用分类器对目标精提取区域进行判断，剔除非目标的目标精提取区域，保留并标记目标区域以实现对视频图像中目标的自动检测。

2.如权利要求1所述方法，其特征在于，所述分类器为AdaBoost级联分类器，对目标精提取区域标记目标区域具体为：

收集多个的无人机侦察视频图像目标样本，所述样本包括正样本和负样本；

计算每张所述样本的积分图，提取所述样本的训练特征并生成特征向量；

设定训练AdaBoost级联分类器的参数，将所述特征向量输入训练算法训练级联分类器；

将目标精提取区域输入训练好的AdaBoost级联分类器进行判断，剔除非目标的目标精提取区域，保留并标记目标区域。

3.如权利要求1所述方法，其特征在于，对所述频谱图的幅频响应进行均值平滑可由均值滤波器实现或通过对多张图像取平均实现。

4.如权利要求1所述方法，其特征在于，对所述目标的精提取具体为：首先将所述目标粗提取区域的每个颜色通道化为12个不同值，摒弃出现频率较低的颜色，选择高频颜色并且保证所述高频颜色覆盖图像像素不低于95％的颜色，而剩下的不高于5％的图像像素，其颜色被直方图中的最近邻替代，然后采用平滑滤波改善每个颜色的显著值，最后再进行阈值分割、形态学运算和连通域分析以形成精提取区域的最小外接矩形，即完成对所述目标粗提取区域的精提取。

5.如权利要求2所述方法，其特征在于，所述训练特征为Haar-like特征。

6.如权利要求2所述方法，其特征在于，计算所述积分图前，对所述正样本和所述负样本分别进行尺寸归一化；

进一步地，计算所述积分图前，对所述正样本进行随机翻转、平移变换和旋转变换以增加正样本数量。

7.如权利要求1所述方法，其特征在于，所述方法应用于无人机领域，所述视频图像为无人机航拍侦察得到的视频图像。

Images