CN110458064B - 结合数据驱动型和知识驱动型的低空目标检测与识别方法 - Google Patents

Abstract

本发明公开了一种结合数据驱动型和知识驱动型的低空目标检测与识别方法，包括以下步骤：采集低空目标图像，检测定位低空目标候选区域；提取低空目标模板的特征参数；对特征参数中的特征进行降维处理；提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果。本发明的方法计算量小、复杂度低、抗干扰能力强，能快速准确的识别检测多种低空目标，且虚警率低。

Description

结合数据驱动型和知识驱动型的低空目标检测与识别方法

技术领域

本发明属于可见光图像处理领域，特别是一种结合数据驱动型和知识驱动型的低空目标检测与识别方法。

背景技术

随着科学技术的进步和人类生活消费水平的提高，拥有如无人机、航空模型等低空目标的个人和团队越来越多，各种低空目标的飞行技术越来越成熟，应用也越来越广泛，但也越来越多的暴露出严重的安全隐患和管理难题。对低空目标的检测和识别是当前研究的热点。

一个通用的目标检测识别流程一般要对输入图像先进行图像校正、平滑去噪或是配准融合、几何变换等预处理操作，以便于提高物体检测的概率。目标检测时可以采用图像分割或是感兴趣区域检测、异常检测等方法检测出可疑目标。接着对可疑目标进行特征提取，可以提取的目标特征包括光谱特征、空间特征、时间特征与统计特征等等。最终根据这些提取的特征对可疑目标进行相应的分类、识别、确认等操作。从检测与识别的一个发展历程来看，目标的检测与识别有这几类方法：由下而上的数据驱动型、由上而下的知识驱动型以及基于深度学习的目标检测。

由下而上的数据驱动型是一种试图通过图像数据来解释模型的方法，一般包括图像预处理、图像分割、特征抽取以及目标分类四大步骤，例如K均值、SVM、boost等方法。其中，可以提取的目标特征包括灰度特征、颜色特征、形状特征、矩特征、纹理特征和兴趣点特征等。这类方法的适用面很广，不仅对单目标检测，对复杂场景的分析也同样有效。然而，这种类型的匹配算法较为复杂，并且更容易受到图像分割效果的影响。当图像分割的准确度不高时，其匹配精度可能会受到很大的影响。

当在具有目标的先验信息的前提下，由上而下的知识驱动型方法可以直接在图像中进行目标检测识别。例如模板匹配、高斯混合模型、隐马尔科夫模型等。该类方法几何解析性比较好，具有一定的抗干扰性以及易于并行处理的优点。但是这类方法的计算量比较大，需要占据大的存储空间。

综上，单一的数据驱动型检测如SVM，或是单一的知识驱动型检测如模板匹配，都存在区域选择没有针对性的问题，在对未知的场景图像进行目标检测时使用滑动窗口遍历，时间复杂度高，窗口冗余，而且只基于某一特定的特征作为分类的标准对于目标多样性的变化没有很好的鲁棒性。

基于深度学习的目标检测利用深度学习将特征提取和分类器集成到框架中，以通过样本学习特征。一般从像素点出发，第一层先提取低层不变特征，如边缘特征、方向特征等，在后续层次中逐步变换它们，例如使它们具有平移不变性、旋转不变性等。或者使用特征聚合并最终提取重复出现的特征。但是基于深度学习的目标检测方法的训练成本很高，且复杂度高，需要大量的训练才可能达到满意的程度，这类方法并不能很好的解决找不到足够多数据的问题。在训练的过程中，深度网络的泛化性能、过度学习、网络深度以及局部极值等都是需要解决的问题。另外为了达到提高准确率的目标，除了增加网络深度、提高硬件配置和调整合适参数外，目前没有更有效的办法。

发明内容

本发明的目的在于提供一种复杂度低、抗干扰能力强、检测虚警率低的低空目标检测与识别方法。

实现本发明目的的技术解决方案为：一种结合数据驱动型和知识驱动型的低空目标检测与识别方法，包括以下步骤：

步骤1、采集低空目标图像，检测定位低空目标候选区域；

步骤2、提取低空目标模板的特征参数；

步骤3、对特征参数中的特征进行降维处理；

步骤4、提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果。

本发明与现有技术相比，其显著优点：1)相比于深度学习，本发明大大降低了训练的复杂度，无需准备上千张正负样本，针对每类待识别的目标只需准备十几张正样本求取目标模板的平均特征，与未知场景检测到的可疑目标的相应特征进行相似度的计算即可；2)相较于单一的数据驱动型或单一的知识驱动型检测，避免了用滑动窗口遍历未知场景图像进行特征提取和目标检测，采用基于灰度投影的目标检测方法，直接对检测到的可疑目标进行定位和特征提取，提高了效率；同时参考了四类低空目标的平均模板作为先验信息，具有一定的抗干扰性，易于并行处理；3)借鉴变异系数法的思想，对待识别目标的特征进行排序，只保留有利于区分目标种类的显著特征，相比于直接的模板特征匹配，计算量少；4)提取特征时不局限于一种特征，将来源不同的特征整合到一起，去除冗余，有利于后续的分析处理；5)求取目标模板的平均特征，引入具有高层语义信息的形状先验，在颜色纹理、复杂背景、信息丰富的多样性中提取出目标的不变性，利用该不变性进行目标识别以减少虚警率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明结合数据驱动型和知识驱动型的低空目标检测与识别方法的流程图。

图2为本发明实施例中基于水平灰度投影的低空图像空地分离示意图，其中图2中的(a)为空地分离示意图，图2中的(b)为低空图像的水平灰度投影图。

图3为本发明实施例中可疑目标定位结果示意图，其中图3中的(a)为水平混合灰度梯度指标，图3中的(b)为垂直混合灰度梯度指标，图3中的(c)为定位结果图。

图4为本发明实施例中常见低空目标平均模板示意图，图4中的(a)为轻型飞机平均模板示意图，图4中的(b)为三角翼平均模板示意图，图4中的(c)为热气球平均模板示意图，图4中的(d)为无人机平均模板示意图。

图5为本发明实施例中物体长宽比、分散度与紧凑度示意图。

图6为本发明实施例中仿射不变矩验证图，其中图6中的(a)为原目标图，图6中的(b)为仿射变换后的图。

图7为本发明实施例中HOG特征提取图，其中图7中的(a)为轻型飞机平均模板边缘图，图7中的(b)为可视化HOG特征。

具体实施方式

结合图1，本发明结合数据驱动型和知识驱动型的低空目标检测与识别方法，包括以下步骤：

步骤1、采集低空目标图像，检测定位低空目标候选区域；

步骤2、提取低空目标模板的特征参数；

步骤3、对特征参数中的特征进行降维处理；

步骤4、提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果。

进一步地，步骤1采集低空目标图像，检测定位低空目标候选区域，具体为：

步骤1-1、将采集到的低空目标图像转换为水平灰度投影图；

步骤1-2、根据水平灰度投影图获取阶跃变化的位置即天空与地面分离的位置，该位置上方的平均灰度值大于下方的平均灰度值；这是由于地面背景与天空背景的灰度相似性较小，水平灰度投影会发生明显的阶跃变化，因此找到发生阶跃变化的位置，就相当于找到了天空背景和地面背景分离的位置，以便去除地面复杂背景对低空目标检测与识别的干扰；

步骤1-3、根据水平混合灰度梯度指标和垂直混合灰度梯度指标检测定位低空目标候选区域，具体为：将水平混合灰度梯度指标和垂直混合灰度梯度指标均达到极大值时对应的空间位置作为低空目标所在位置，其中，

水平混合灰度梯度指标U_x(i)、垂直混合灰度梯度指标U_y(j)分别为：

其中，u(i,j)＝|I(i+1,j)-I(i,j)|+|I(i,j+1)-I(i,j)|；

式中，I(*,*)为像素点(*,*)的灰度值，N、M分别为图像I(x,y)的长、宽；

步骤1-4、以低空目标所在位置为中心生成P个不同大小的矩形区域作为低空目标候选区域。这相比于滑动窗口的目标检测方法大大减少了计算成本。

进一步示例性地，步骤1中低空目标包括轻型飞机、三角翼、热气球和无人机。

进一步地，步骤2低空目标模板的特征参数包括：

(1)基本形状特征：由低空目标模板的轮廓计算出的长宽比、分散度与紧凑度；

长宽比ar为：

式中，W为低空目标模板轮廓的最小外接矩形的长，H为低空目标模板轮廓的最小外接矩形的宽；

分散度di为：

式中，L为低空目标模板轮廓的周长，S为低空目标模板轮廓内的面积；

紧凑度co为：

式中，D为低空目标模板轮廓的最小外接矩形的面积；

(2)通过图像中心矩构造出的仿射不变矩特征为：

其中，μ_pq为图像I(x,y)的(p+q)阶中心矩：

式中，

为图像I(x,y)的中心，N、M分别为图像I(x,y)的长、宽；

(3)HOG特征；

提取多个低空目标模板的上述特征参数，将所有低空目标模板相应的特征参数求平均，作为最终的低空目标模板特征参数。

进一步地，步骤3对特征参数中的特征进行降维处理，具体为：

利用变异系数法对HOG特征进行降维处理：

步骤3-1、针对每一维HOG特征，计算HOG特征值的平均值、标准差；

步骤3-2、根据HOG特征值的平均值、标准差计算每一维HOG特征的变异系数，所用公式为：

式中，σ_i为每一维HOG特征的标准差，

为每一维HOG特征的平均数；

步骤3-3、对所有变异系数进行降序排列，选取前m个变异系数对应的HOG特征，并记录这些特征的位置p_i，i＝1,2,...,m。

进一步地，步骤4提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果，具体为：

步骤4-1、提取低空目标候选区域中目标的三类特征：基本形状特征、仿射不变矩特征以及所述位置p_i处的HOG特征；

步骤4-2、为了让不同类特征在进行目标识别时发挥同等程度的作用，将各个特征分别量化至[-1,1]的区间范围内，所用公式为：

式中，x_i为待量化的特征，z_i为量化后的特征，μ、σ分别为该类特征的均值和标准差；

步骤4-3、将每个低空目标模板的三类特征参数融合为一个特征向量，每个低空目标候选区域目标的三类特征参数融合为一个特征向量，可以达到不同特征之间的优势互补效果；

步骤4-4、根据特征向量，求取每一个低空目标候选区域与每个低空目标模板的相似度r，所用公式为：

式中，个体A、B分别对应低空目标候选区域、低空目标模板的特征向量，均包括N维特征，A＝{a₁,a₂...a_n},B＝{b₁,b₂...b_n}，

和

分别为A、B对应N维特征的平均值；

步骤4-5、将相似度r超过设定阈值q的低空目标候选区域作为最终的低空目标检测与识别结果。

示例性优选地，步骤4-5中阈值q＝0.5。

下面结合实施例对本发明作进一步详细的描述。

实施例

本发明结合数据驱动型和知识驱动型的低空目标检测与识别方法，包括以下内容：

1、首先采集低空目标图像，并将其转换为水平灰度投影图，由于地面背景与天空背景的灰度相似性较小，水平灰度投影会发生明显的阶跃变化，因此找到发生阶跃变化的位置，就相当于找到了天空背景和地面背景分离的位置，以便去除地面复杂背景对低空目标检测与识别的干扰。

一幅图片的水平灰度投影按下式求取：

式中，低空图像I的宽和高分别用M和N表示，其水平灰度投影H_x(i)即为图像在每一行上灰度的平均值。

沿水平灰度图的垂直轴从上往下看，当图像的水平灰度投影在图像高度范围中出现比较大的阶跃跳变，并在跳变上方平均灰度值较大(天空背景较亮，像素灰度值接近255)，在跳变下方的平均灰度值较小(地面背景较暗，像素灰度值更接近0)，则找到了地面背景与天空背景的分界线。同时考虑一部分地面背景的起伏，再将分界线往远离地面背景的上方上调一定高度，可以在水平方向上做出一条分界线，从而实现空地分离如图2所示。

由于目标和天空背景的灰度相似性小，在目标区域，其水平混合灰度指标和垂直混合灰度指标都相对达到极大值。因此，将如图3(a)、图3(b)所示的水平混合灰度梯度指标和垂直混合灰度梯度指标均达到极大值时对应的空间位置作为低空目标所在位置如图3(c)所示，并生成候选区域，相比于滑动窗口的目标检测方法大大减少了计算成本。

2、针对本方案所针对识别的四种低空目标：轻型飞机、三角翼、热气球和无人机，尺寸大小为64×128(像素)低空目标模板如图4所示。结合图5，提取低空目标模板的特征参数，包括：

(1)基本形状特征参数如下表1所示：

表1低空目标模板的特征参数

由上表1可知，轻型飞机的长宽比相对其他目标取值更大，三角翼的紧凑度和分散度都较小，热气球的分散度较小而紧凑度相对较大，无人机的分散度较大而紧凑度相对较小。可见，这三个指标对四种低空目标的区分性较好。

(2)通过图像中心矩构造出的仿射不变矩特征为：

其中，μ_pq为图像I(x,y)的(p+q)阶中心矩：

式中，

为图像I(x,y)的中心，N、M分别为图像I(x,y)的长、宽；

以消除各种放射变换带来的平移、尺度、伸缩、扭曲和旋转变化。

考虑到不同阶的不变矩的数值范围分布差异非常大，可达到正负几十次方，因此通过对仿射不变矩取对数，以便调整其取值范围。为了检验这三个仿射不变矩的仿射不变性，对图6(a)的目标进行水平拉伸、旋转和放大操作后如图6(b)所示。对两幅图求得的仿射不变矩参数如下表2所示：

表2仿射不变矩参数

由此，针对图4所示的四种目标平均模板求得这三个仿射不变矩指标如下表3所示：

表3目标平均模板的仿射不变矩参数

(3)提取目标模板的HOG特征。本实施例以提取一幅64×128像素大小的轻型飞机模板图片的HOG特征为例：先对图像进行灰度化和伽马光线校正；为减少噪声干扰，提高特征提取精度，选择提取图片的边缘信息如图7(a)所示，然后以8×8像素作为一个单元，提取梯度方向，并将360°的梯度方向分成9个方向块进行统计，则该64×128像素大小的图片被分为128个单元。每两个单元组成一个块，块一次滑动8个像素，则共有105个块。则该幅图像可提取HOG特征3780维，可视化特征如图7(b)所示。

提取多个低空目标模板的上述特征参数，将所有低空目标模板相应的特征参数求平均，作为最终的低空目标模板特征参数。

3、利用变异系数法进行特征降维，在3780维HOG特征中，通过计算不同维在四类低空目标平均模板下HOG特征值的平均值、标准差，比较变异系数的大小。从大到小选择前m个HOG特征，记录这些特征维数的位置。在进行目标识别时，只取这些位置的HOG特征与平均模板对应位置的HOG特征参与相似度的计算和比对。

4、提取低空目标候选区域中目标的三类特征：基本形状特征、仿射不变矩特征以及所述位置p_i处的HOG特征；

为了让不同类特征在进行目标识别时发挥同等程度的作用，将各个特征量量化到统一的区间。针对每一类特征，采用下式所示的尺度标准化将每一类特征分别量化到[-1,1]的区间范围内。

式中，x_i为待量化的特征，z_i为量化后的特征，μ、σ分别为该类特征的均值和标准差；

将三类特征(基本形状特征、仿射不变矩特征和HOG特征)融合于特征向量中，作为表征目标特性的参数，可以达到不同特征之间的优势互补效果。

根据特征向量，利用相关系数的度量方法将求取每一个低空目标候选区域与每个低空目标模板的相似度r，所用公式为：

式中，个体A、B分别对应低空目标候选区域、低空目标模板的特征向量，均包括N维特征，A＝{a₁,a₂...a_n},B＝{b₁,b₂...b_n}；

利用非极大值抑制的思想，从相似度最大的窗口，分别判断其他窗口与其重叠度的大小，如果重叠度超过设定的阈值，则抑制其他窗口，标记保留相似度最大的窗口。在剩下的窗口中，继续选出相似度最大的窗口，利用同样的方法进行非极大值抑制。针对确定下来存在可疑目标的候选框，比较其特征值与四类低空目标平均模板的特征值的相关系数，在相关系数超过0.5的条件下，取相关系数最大的为匹配结果。

为了定量分析本发明低空目标检测与识别算法的优劣，对算法性能进行评价。本发明考虑查准率和查全率，计算方法分别如下所示：

式中，TP(true positive)表示把实际正样本识别正确的个数，TN(true negtive)表示把实际负样本识别正确的个数，FP(false positive)表示把实际负样本识别错误的个数，FN(false negtive)表示把实际正样本识别错误的个数。针对四类正样本，当计算某类正样本的查准率和查全率时，识别成其他类正样本和负样本或未检测到都定义为识别错误。

本实施例通过1000张图片对本发明提出的低空目标检测与识别方案的性能进行测试，一部分图像数据来源于Imagenet数据集，另一部分通过网站爬取，包含四类低空目标的正样本图像分别200张，还有200张不包含本发明要识别的四类目标的其他低空图像作为负样本。实验结果如下表4所示。

表4目标识别结果

根据上表4可以计算出本发明目标检测与识别部分的总体查准率、查全率为：

根据需求，还可以具体求取某类特定目标的查准率、查全率：

其中，FP_i为将负样本识别成第i类正样本的个数，i＝1,2,3,4，分别代表轻型飞机、三角翼、热气球、无人机四类正样本。在本次低空图像检测识别测试结果中，FP＝33，分别包括FP₁＝17、FP₂＝8、FP₃＝3、FP₄＝5。

单类低空目标的查准率和查全率如下表5所示。

表5单类低空目标的查准率和查全率

本实施例测试结果表明，认为包含四类低空目标的图片被正确识别的比例达到95.2％，其中，热气球的准确率最高，达到98.4％。而轻型飞机的准确率相对较低，只有89.5％，主要是容易把负样本低空图片中的姿态类似的飞鸟错误识别成轻型飞机。所有实际的包含四类低空目标的图片被正确识别的比例达到82.6％，未被识别的主要原因有：距离的远近，过远距离的目标太小，形状区分性不高；和地面凸起的建筑物重叠部分超过三分之一，在可疑目标识别时未能完整的表达自身特征。总的来看，本发明针对这四类低空目标的检测与识别的准确性较好。

本发明结合数据驱动型和知识驱动型的低空目标检测与识别方法，计算量小、抗干扰能力强，能快速准确的识别检测多种低空目标，且虚警率低。

Claims (6)

1.一种结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，包括以下步骤：

步骤1、采集低空目标图像，检测定位低空目标候选区域；具体为：

步骤1-1、将采集到的低空目标图像转换为水平灰度投影图；

步骤1-2、根据水平灰度投影图获取阶跃变化的位置即天空与地面分离的位置，该位置上方的平均灰度值大于下方的平均灰度值；

步骤1-3、根据水平混合灰度梯度指标和垂直混合灰度梯度指标检测定位低空目标候选区域，具体为：将水平混合灰度梯度指标和垂直混合灰度梯度指标均达到极大值时对应的空间位置作为低空目标所在位置，其中，

水平混合灰度梯度指标U_x(i)、垂直混合灰度梯度指标U_y(j)分别为：

其中，u(i,j)＝|I(i+1,j)-I(i,j)|+|I(i,j+1)-I(i,j)|；

式中，I(*,*)为像素点(*,*)的灰度值，N、M分别为图像I(x,y)的长、宽；

步骤1-4、以低空目标所在位置为中心生成P个不同大小的矩形区域作为低空目标候选区域；

步骤2、提取低空目标模板的特征参数；

步骤3、对特征参数中的特征进行降维处理；

步骤4、提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果。

2.根据权利要求1所述的结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，步骤1所述低空目标包括轻型飞机、三角翼、热气球和无人机。

3.根据权利要求1所述的结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，步骤2所述低空目标模板的特征参数包括：

(1)基本形状特征：由低空目标模板的轮廓计算出的长宽比、分散度与紧凑度；

长宽比ar为：

式中，W为低空目标模板轮廓的最小外接矩形的长，H为低空目标模板轮廓的最小外接矩形的宽；

分散度di为：

式中，L为低空目标模板轮廓的周长，S为低空目标模板轮廓内的面积；

紧凑度co为：

式中，D为低空目标模板轮廓的最小外接矩形的面积；

(2)通过图像中心矩构造出的仿射不变矩特征为：

其中，μ_pq为图像I(x,y)的(p+q)阶中心矩：

式中，

为图像I(x,y)的中心，N、M分别为图像I(x,y)的长、宽；

(3)HOG特征；

提取多个低空目标模板的上述特征参数，将所有低空目标模板相应的特征参数求平均，作为最终的低空目标模板特征参数。

4.根据权利要求3所述的结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，步骤3所述对特征参数中的特征进行降维处理，具体为：

利用变异系数法对HOG特征进行降维处理：

步骤3-1、针对每一维HOG特征，计算HOG特征值的平均值、标准差；

步骤3-2、根据HOG特征值的平均值、标准差计算每一维HOG特征的变异系数，所用公式为：

式中，σ_i为每一维HOG特征的标准差，

为每一维HOG特征的平均数；

步骤3-3、对所有变异系数进行降序排列，选取前m个变异系数对应的HOG特征，并记录这些特征的位置p_i，i＝1,2,...,m。

5.根据权利要求4所述的结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，步骤4所述提取低空目标候选区域目标的特征参数，结合低空目标模板的特征参数求取低空目标候选区域与低空目标模板的相似度，根据相似度选取某一低空目标候选区域作为低空目标检测与识别结果，具体为：

步骤4-1、提取低空目标候选区域中目标的三类特征：基本形状特征、仿射不变矩特征以及所述位置p_i处的HOG特征；

步骤4-2、将各个特征分别量化至[-1,1]的区间范围内，所用公式为：

式中，x_i为待量化的特征，z_i为量化后的特征，μ、σ分别为该类特征的均值和标准差；

步骤4-3、将每个低空目标模板的三类特征参数融合为一个特征向量，每个低空目标候选区域目标的三类特征参数融合为一个特征向量；

步骤4-4、根据特征向量，求取每一个低空目标候选区域与每个低空目标模板的相似度r，所用公式为：

式中，个体A、B分别对应低空目标候选区域、低空目标模板的特征向量，均包括N维特征，A＝{a₁,a₂...a_n},B＝{b₁,b₂...b_n}，

和

分别为A、B对应N维特征的平均值；

步骤4-5、将相似度r超过设定阈值q的低空目标候选区域作为最终的低空目标检测与识别结果。

6.根据权利要求5所述的结合数据驱动型和知识驱动型的低空目标检测与识别方法，其特征在于，步骤4-5所述阈值q＝0.5。

Images