CN110543837B - 一种基于潜在目标点的可见光机场飞机检测方法 - Google Patents

Abstract

本发明公开了一种新的基于潜在目标点的可见光机场飞机检测的方法，主要包括以下步骤：提出了一种多对比度图像分割的方法，通过每幅分割图像的分割区域计算出潜在目标点的位置，由于多幅分割图像易产生冗余的潜在目标点，提出了一种类似集合的数据结构来完成潜在目标点的存储；然后对飞机目标尺寸进行统计，提出了一种基于统计的自适应的方法来生成不同尺寸的检测窗口，不同尺寸的检测窗口可以极大程度的匹配飞机目标的大小；最后采用Fourier Hog特征和Adaboost组合的分类器方式训练飞机目标分类器。以潜在目标点为中心点，不同尺寸检测窗口截取当前区域，借助已经训练好的分类器完成当前区域是否包含飞机的判断，从而完成机场飞机的检测。

Description

一种基于潜在目标点的可见光机场飞机检测方法

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种遥感图像中机场飞机检测方法，更具体的说是一种新的基于潜在目标点和多尺度检测窗的、高效的可见光下机场飞机目标的检测方法。

背景技术

目标检测主要是关注图像中特定的物体目标，通过检测技术获取目标的类别信息和位置信息。检测技术大致可以分为两类：基于传统的图像处理和机器学习算法的检测以及基于深度学习的目标检测。基于传统的检测方法例如滑动窗口+分类器或者目标候选框+分类器，前者存在速度慢，效率低的诟病，后者存在候选框提取不充分而且候选框不完全适配目标大小等缺陷。基于深度学习的目标检测需要大量的数据集训练和较高水平的硬件要求，往往因为实际部署硬件条件的限制，其往往不能很好地工作。

随着遥感技术的发展，遥感图像中机场飞机的检测已经成为了一个研究热点。机场飞机的检测其在军事侦察和机场监控中发挥着重要的作用。智能算法能够主动地检测并标注出视频画面中目标的类型和位置信息防止漏看目标，可以减少人力物力。虽然目标检测技术有了飞速的发展，但是对于遥感图像中的机场飞机检测依然存在一系列挑战，比如实际算法运行环境对硬件条件要求高，机场包含背景环境太复杂，遥感图像拍摄角度多变、光照不均匀等。这些实际情况的复杂性，导致目前依然缺少一种硬件条件要求低，高效的可见光下机场飞机检测算法。

因此，为了在有限的硬件资源下实现机场飞机目标的快速检测，如何通过对机场可见光图像的特点以及当前目标检测算法存在的一系列缺点的多角度分析，采用目标检测策略，提供一种硬件资源要求低、训练速度快、检测精度高的可见光下机场飞机检测方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明针对上述研究现状，所解决的问题包括：

(1)提供了一种新的目标检测框架，并将其应用到可见光下机场飞机检测；

(2)针对可见光下机场图片不同区域存在光照不均匀现象，设计了一种多对比度分割方法，并通过分割结果完成了潜在目标点的提取；

(3)针对飞机目标多尺度问题，通过对训练数据的统计分析，提出了一种自适应的潜在目标窗口尺度的计算方法，可以很好地避免传统采用金字塔模型带来的冗余计算；

(4)通过将Fourier Hog特征和Adaboost的结合，实现了一种高精度的分类器。通过以上四个方面的结合，所设计的算法可以高效地完成可见光下机场飞机目标的检测。

为了实现上述的发明目的，本申请采用下述的技术方案：

本发明提供了一种基于潜在目标点的可见光机场飞机检测方法，包括如下步骤：

S1、将输入的可见光机场图片灰度化处理后，进行中值滤波并计算梯度图，采用自适应多阈值的方式生成不同对比度下掩模，通过不同的掩模指导分水岭算法完成梯度图的多次分割，得到若干分割区域；

S2对分割区域进行扫描，并计算每个区域的潜在目标中心点坐标，利用标记矩阵完成多个分割区域中潜在目标中心点的记录，并对重复的潜在目标中心点坐标进行剔除，提取最终潜在目标点的位置坐标；

S3、对训练数据集中飞机对象长宽数据(l,w)进行统计，通过基于Kmeans聚类的自适应算法完成潜在目标窗口长宽的计算

S4、采用FourierHog描述算子为特征提取方式，并与Adaboost算法进行结合形成分类器，并训练分类器，保存已训练好的分类器；

S5、以每一个最终潜在目标点为中心，依照步骤三中计算的每个潜在目标边界框面积

从小到大依次截取对应的潜在窗口，利用步骤四已经训练好的分类器判断当前潜在窗口中是否包含飞机目标，从而完成当前图片的飞机目标检测。

优选的，所述S1中，

S11、对输入的可见光机场RGB图片的灰度图像I_gray进行中值滤波；

S12、对滤波后产生的图像f计算每一个像素点对应的梯度值D_ij，梯度计算公式如下：

其中，i为对应图像f行坐标，j对应图像f列坐标；

S13、为了使目标图像的轮廓变得光滑，使目标区域相对独立，采用3*3的核区域B对梯度图像D_NM进行开操作，其表达如下：

其中i，j，x，y均表示下坐标；梯度图像D_NM经过开操作后形成F_NM图像，N和M分别对应图片的长和宽；

S14、采用掩模指导分水岭算法对灰度F_NM分割，掩模定义如下：

im_mask_i＝max{F_NM，TH_i} (3)

其中，TH_i表示第i个阈值，im_mask_i对应第i个掩模；

根据公式(4)生成TH_i：

不同大小的阈值TH_i激活不同区域的目标，从而分割出不同的区域。

优选的，所述S2中，

S21、对每个分割区域进行扫描，记录每个分割区域的上下左右边界{X_min，X_max，Y_min，Y_max}，其中X_min和Y_min表示当前分割区域的左下角的点坐标，X_max和Y_max表示当前分割区域右上角的点坐标；

则每一个分割区域潜在目标中心坐标为：

(Center_X，Center_Y)＝((X_min+X_max)/2，(Y_min+Y_max)/2) (5)

S22、利用矩阵TMatrix记录潜在目标点的响应，矩阵TMatrix是一个N*M的矩阵，其中N表示最初输入图片的长，M表示最初输入图像的宽；矩阵TMatrix对不同的条件，做出不同的响应，如公式(6)所示：

S23、通过矩阵TMatrix，提取最终潜在目标点Points，如公式(7)所示：

Points＝{where(TMatrix(i，j)＝＝1)，i＝1…N，j＝1…M} (7)。

优选的，所述S3中，

利用Kmeans算法对训练数据中的所有飞机目标长宽数据(l，w)进行不同K值下的聚类，其中K表示类簇个数，计算出不同K值下的类簇中心点坐标

如公式(8)所示；

其中

是示性函数，定义为：

N表示输入图像的长宽之积，C_Ki表示聚类产生的第i的类簇，

如果当前中心点坐标满足公式(9)所示条件，则终止K值的增长，

满足条件后的K值即为计算的潜在目标窗口数量，每个潜在目标窗口大小对应K个不同类簇的中心点坐标

优选的，所述S4具体包括：

S41、Fourier Hog特征提取步骤：

通过基函数U_j，k和相应的傅里叶空间描述符

的卷积得到一个分割区域的Fourier Hog特征，如公式(10)所示：

其中：

其中D表示梯度，φ(D)表示梯度方向，K表示平滑卷积核函数；当k-m＝0时，此时Fourier Hog特征是旋转不变的，进行记录；当k-m≠0时，将公式(10)取共轭，将原复数与共轭复数相乘，取出两式旋转阶数相等的特征进行记录，如公式(12)所示：

S42、强分类器训练步骤：

S421、使用训练数据采用初始权重值训练出一个弱分类器一；

S422、根据弱分类器的学习错误率更新训练样本的权重，使得之前的弱分类器一错误分类的训练样本的权重变高；

S423、基于调整权重后的训练集训练弱分类器二，依次重复S422，S423，直到训练的弱分类器个数达到预先设定的数量；

S424、对弱分类器的结果进行整合，形成最终的强分类器，强分类器表示为公式(13)：

其w_m表示第m个分类器在所有弱分类器中所占的权重，α_m对应每个决策数分类器的参数，x表示输入的参数，对应于训练中的潜在目标窗口的Fourier Hog特征。

优选的，所述S5中，利用S4中已经训练好的分类器对依据潜在目标窗口进行裁剪后产生的区域进行分类判断；如果分类器输出值大于0表示当前区域包含目标，反之，不包含目标。

本发明相较现有技术具有以下有益效果：

1.可以有效克制由于光照不均匀造成的误检和漏检；

2.极大地提升了传统滑动窗口方法的速度，改善了候选区域方法存在边界框不准确的诟病；

3.改善了目标多尺度采用图像金字塔模型带来的冗余计算和低效性；

4.针对多方向的飞机目标，具有很高的分类精度；

5.可以有效对应多种尺度飞机目标的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明提供的一种新的基于潜在目标点的可见光机场飞机检测方法流程示意图。

图2是本发明实施例提供的一张3米分辨率的谷歌地球机场的图片。

图3是本发明实施例提供的图2的梯度图和阈值为100的掩模图片。

图4是本发明实施例提供的图2中产生的潜在目标点。

图5是本发明实施例提供的图2中飞机图像检测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例结合一张3米分辨率的谷歌地球机场的遥感图像为案例如图2所示。对本发明公开的全新的可见光下机场飞机目标的检测方法具体实施步骤进行详细说明，处理流程见图1。图2中遥感图像的尺寸为1044像素×915像素。

S1：输入图像的多对比度分割。首先，为了避免噪声的影响，对于输入的图片灰度化后进行中值滤波，对滤波后的图像f计算对应的梯度图像D_NM。为了使梯度图像的轮廓变得光滑，断开较细的狭颈，使目标区域相对独立干净，一个3*3或5*5的核区域B对梯度图像D_NM进行开操作。梯度图像D_NM经过开操作后形成F_NM图像，由于原始图片不同区域存在不同对比度的现象，设计了一种自适应多掩模指导分水岭的分割算法，从而产生不同的分割结果。具体执行过程如下：

S11、对输入的灰度图片进行中值滤波，滤波器的大小为3*3的矩阵。

S12、对滤波后的图像f计算每一个像素点对应的梯度值D_ij，梯度计算的数学公式(1)如下：

其中i对应图像f行坐标，j对应图像f列坐标。

S13、为了使目标图像的轮廓变得光滑，断开较细的狭颈，使目标区域相对独立干净，一个3*3或5*5的核区域B对梯度图像D_NM进行开操作，其表达如下：

其中i，j，x，y均表示下坐标。梯度图像D_NM经过开操作后形成F_NM图像，N和M分别对应图片的长和宽。

S14、采用掩模指导分水岭算法对F_NM图像进行分割。

如何定义掩模，方案设计如下：

im_mask_i＝max{F_NM，TH_i} (3)

其中，TH_i表示第i个阈值，im_mask_i对应第i个掩模。

如何生成TH_i，采用以下方案：

不同大小的阈值TH_i可以激活不同区域的目标，从而产生不同的分割结果。

S2：潜在目标点的计算。通过对分割区域进行一次扫描，记录每一个分割区域的位置信息，并计算不同分割区域的潜在目标中心点坐标。由于有多幅分割图，每幅分割图都会产生一些目标潜在点，这些潜在目标点存在大量的重复，为此我们采用了集合的思想，设计了一种数据结构用于潜在目标点的记录和提取。参见图3，为计算得到的梯度图(左)和阈值为100的掩模图(右)。具体执行过程如下：

S21、通过对分割后的每张图片进行一次扫描，记录每一个分割区域的上下左右边界{X_min，X_max，Y_min，Y_max}，其中X_min和Y_min表示当前区域的左下角的点坐标，X_max和Y_max表示当前区域右上角点坐标。则每一个分割区域潜在目标中心坐标为：

(Center_X，Center_Y)＝((X_min+X_max)/2，(Y_min+Y_mnax)/2) (5)

其中(Center_X，Center_Y)中X和Y均对应坐标位置。

S22、由于不同的掩模指导分水岭算法会产生一些相同的分割区域，这些区域会产生很多冗余的潜在目标点。所以利用矩阵TMatrix来记录潜在目标点的响应，它是一个N*M的矩阵，其中N表示最初输入图片的长，M表示最初输入图像的宽。矩阵TMatrix对不同的条件，做出不同的响应：

S23、通过矩阵TMatrix，提取最终的潜在目标点Points，如公式(7)所示：

Points＝{where(TMatrix(i，j)＝＝1)，i＝1…N，j＝1…M} (7)

S3：自适应多尺度潜在目标窗口的计算。通过对数据中目标尺寸的分析，设计了一种自适应的决策算法用来计算潜在目标窗口数量和潜在目标窗口长宽大小。通过此方法可以很大程度减少后期检测的时间消耗，而且更加准确地定位了飞机目标的位置。具体执行过程如下：

S31、利用Kmeans算法对训练数据中的所有飞机目标长宽数据(l，w)进行不同K值(类簇个数)下的聚类，计算出不同K值下的类簇中心点坐标

如公式(8)所示。如果当前中心点坐标满足公式(9)所示条件，则终止K值的增长。

其中

是示性函数，其定义为：

N表示输入图像的长宽之积。C_Ki表示聚类产生的第i的类簇。

S32、根据S31的结果得到的K值即为潜在目标窗口数量，每个潜在目标窗口对应的大小即K个不同类簇的中心点坐标

S4：Fourier Hog特征提取。具体执行过程如下：

S41、Fourier Hog特征提取步骤：

基于极坐标形式的Fourier Hog特征描述符，其幅值部分具有旋转不变性，旋转角度的改变只影响相位部分。对于一个笛卡尔坐标x＝[x，y]^T∈R²，其极坐标可以表示为

其中P(r)是一个半径r＝||X||的函数，

代表着角度函数。所以二维Fourier Hog基可以表示为

其中

代表着m个不同的圆形谐波，δ代表着径向基函数。通过基函数U_j，k和相应的傅里叶空间描述符

的卷积即可得到一个区域的HOG描述，如公式(10)所示：

其中：

其中D表示梯度，φ(D)表示梯度方向，K表示平滑卷积核函数。当k-m＝0时，此时特征是旋转不变特征，当k-m≠0时，将公式(11)取共轭，将原复数与共轭复数相乘，取出两式旋转阶数相等的情况时的特征，如公式(12)所示：

S42、强分类器训练步骤：

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器组合起来构成一个强分类器。其工作机制主要分为四步：

S421、一开始直接使用训练数据采用平均值作为初始权重值训练出一个弱分类器一。

S422、根据弱分类器的学习错误率更新训练样本的权重，使得之前的弱分类器一错误分类的训练样本的权重变高，这样可以保证这部分数据在后面的弱分类器受到重视。

S423、基于调整权重后的训练集训练弱分类器二，依次重复S422，S423，直到训练的弱分类器个数达到预先设定的数量。

S424、对弱分类器的结果进行整合，形成最终的强分类器。

在当前算法中采用决策树作为Adaboost中的弱分类器，采用gini系数作为特征选择的标准，特征划分的依据是每次所有划分点中的最优划分点，其中树的深度设置为8.弱分类器设置为150个，所以最终的强分类器可以表示为公式(13)：

其w_m表示第m个分类器在所有弱分类器中所占的权重，α_m对应每个决策数分类器的参数，x表示输入的参数，对应于实验中的潜在目标窗口的Fourier Hog特征。

采用3000张含飞机的正样本，和10000张不含飞机的负样本对分类器进行训练，所有样本大小均为40*40大小。每张图片先经过FourierHog特征提取形成630维的特征向量，然后输入分类器进行目标分类。实验中F_M(x)＞0表示当前的图片存在飞机，否则不存在飞机。

S5、基于潜在目标点的机场飞机检测。具体执行过程如下：

首先，对输入的可见光机场图像通过S1进行多对比度分割，接着采用S2产生此图片的潜在目标点的坐标，然后以这些潜在目标点为中心点，利用S3产生的潜在目标窗口从小到大依次对图片进行潜在目标区域的裁剪，并将裁剪图片采用最近邻插值法缩放到40*40像素。最后，采用S4训练好的分类器对所裁剪区域进行分类判断，若输出结果大于0，表示存在飞机并且判断下一个潜在目标区域，反之，则不存在飞机，依次完成当前图片中飞机目标的检测。

本发明所提供的可见光下机场飞机检测方法主要为解决2～5米可见光下机场飞机检测提出的，但本方法也适用于其它分辨率下可见光遥感图像飞机目标的检测，针对可见光其它分辨率的机场，只需要重新利用少量数据训练分类器和重新自适应计算新的潜在目标窗口数量和大小即可使用。

以上对本发明所提供的一种基于潜在目标点的可见光机场飞机检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，包括如下步骤：

S1、将输入的可见光机场图片灰度化处理后，进行中值滤波并计算梯度图，采用自适应多阈值的方式生成不同对比度下掩模，通过不同的掩模指导分水岭算法完成梯度图的多次分割，得到若干分割区域；包括：

S11、对输入的可见光机场RGB图片的灰度图像I_gray进行中值滤波；

S12、对滤波后产生的图像f计算每一个像素点对应的梯度值D_ij；

S13、为了使目标图像的轮廓变得光滑，使目标区域相对独立，采用3*3的核区域B对梯度图像D_NM进行开操作，梯度图像D_NM经过开操作后形成F_NM图像，N和M分别对应图片的长和宽；

S14、采用掩模指导分水岭算法对F_NM图像进行分割，掩模定义如下：

im_mask_i＝max{F_NM，TH_i}

其中，TH_i表示第i个阈值，im_mask_i对应第i个掩模；不同大小的阈值TH_i激活不同区域的目标，从而分割出不同的区域；

S2对分割区域进行扫描，并计算每个区域的潜在目标中心点坐标，利用标记矩阵完成多个分割区域中潜在目标中心点的记录，并对重复的潜在目标中心点坐标进行剔除，提取最终潜在目标点的位置坐标；

S3、对训练数据集中飞机对象长宽数据(l，w)进行统计，通过基于Kmeans聚类的自适应算法完成潜在目标窗口长宽的计算

S4、采用Fourier Hog描述算子为特征提取方式，并与Adaboost算法进行结合形成分类器，并训练分类器，保存已训练好的分类器；

S5、以每一个最终潜在目标点为中心，依照步骤三中计算的每个潜在目标边界框面积

从小到大依次截取对应的潜在窗口，利用步骤四已经训练好的分类器判断当前潜在窗口中是否包含飞机目标，从而完成当前图片的飞机目标检测。

2.根据权利要求1所述的一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，所述S1中，

S11、对输入的可见光机场RGB图片的灰度图像I_gray进行中值滤波；

S12、对滤波后产生的图像f计算每一个像素点对应的梯度值D_ij，梯度计算公式如下：

其中，i为对应图像f行坐标，j对应图像f列坐标；

S13、为了使目标图像的轮廓变得光滑，使目标区域相对独立，采用3*3的核区域B对梯度图像D_NM进行开操作，其表达如下：

其中i，j，x，y均表示下坐标；梯度图像D_NM经过开操作后形成F_NM图像，N和M分别对应图片的长和宽；

S14、采用掩模指导分水岭算法对F_NM图像进行分割，掩模定义如下：

im_mask_i＝max{F_NM，TH_i} (3)

其中，TH_i表示第i个阈值，im_mask_i对应第i个掩模；

根据公式(4)生成TH_i：

不同大小的阈值TH_i激活不同区域的目标，从而分割出不同的区域。

3.根据权利要求1所述的一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，所述S2中，

S21、对每个分割区域进行扫描，记录每个分割区域的上下左右边界{X_min，X_max，Y_min，Y_max}，其中X_min和Y_min表示当前分割区域的左下角的点坐标，X_max和Y_max表示当前分割区域右上角的点坐标；

则每一个分割区域潜在目标中心坐标为：

(Center_X，Center_Y)＝((X_min+X_max)/2，(Y_min+Y_max)/2) (5)

S22、利用矩阵TMatrix记录潜在目标点的响应，矩阵TMatrix是一个N*M的矩阵，其中N表示最初输入图片的长，M表示最初输入图像的宽；矩阵TMatrix对不同的条件，做出不同的响应，如公式6所示：

S23、通过矩阵TMatrix，提取最终潜在目标点Points，如公式7所示：

Points＝{where(TMatrix(i，j)＝＝1)，i＝1…N，j＝1…M} (7)。

4.根据权利要求1所述的一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，所述S3中，

利用Kmeans算法对训练数据中的所有飞机目标长宽数据(l，w)进行不同K值下的聚类，其中K表示类簇个数，计算出不同K值下的类簇中心点坐标

如公式8所示；

其中

是示性函数，定义为：

N表示输入图像的长宽之积，C_Ki表示聚类产生的第i的类簇，

如果当前中心点坐标满足公式(9)所示条件，则终止K值的增长，

满足条件后的K值即为计算的潜在目标窗口数量，每个潜在目标窗口大小对应K个不同类簇的中心点坐标

5.根据权利要求1所述的一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，所述S4具体包括：

S41、Fourier Hog特征提取步骤：

通过基函数U_j，k和相应的傅里叶空间描述符

的卷积得到一个分割区域的FourierHog特征，如公式(10)所示：

其中：

其中D表示梯度，φ(D)表示梯度方向，K表示平滑卷积核函数；当k-m＝0时，此时Fourier Hog特征是旋转不变的，进行记录；当k-m≠0时，将公式(10)取共轭，将原复数与共轭复数相乘，取出两式旋转阶数相等的特征进行记录，如公式(12)所示：

S42、强分类器训练步骤：

S421、使用训练数据采用初始权重值训练出一个弱分类器一；

S422、根据弱分类器的学习错误率更新训练样本的权重，使得之前的弱分类器一错误分类的训练样本的权重变高；

S423、基于调整权重后的训练集训练弱分类器二，依次重复S422，S423，直到训练的弱分类器个数达到预先设定的数量；

S424、对弱分类器的结果进行整合，形成最终的强分类器，强分类器表示为公式(13)：

其w_m表示第m个分类器在所有弱分类器中所占的权重，α_m对应每个决策数分类器的参数，x表示输入的参数，对应于训练中的潜在目标窗口的Fourier Hog特征。

6.根据权利要求1所述的一种基于潜在目标点的可见光机场飞机检测方法，其特征在于，所述S5中，利用S4中已经训练好的分类器对依据潜在目标窗口进行裁剪后产生的区域进行分类判断；如果分类器输出值大于0表示当前区域包含目标，反之，不包含目标。

Images