CN103617428B - 基于混合特征的空中加油锥套目标检测方法 - Google Patents

Abstract

本发明公开了一种基于混合特征的空中加油锥套目标检测方法，该方法包括以下步骤：将空中加油管锥套的正样本集及负样本集进行归一化，得到灰度图片集合S_P和S_n；提取灰度图片集合S_P和S_n中图像的特征向量，得到用于训练的特征向量集合，进而训练得到能够识别空中加油锥套中心油管的第一分类器；提取灰度图片集合S_P和S_n中每幅图像外围伞套区域的边缘特征信息，利用边缘特征信息的统计信息，训练得到能够识别空中加油锥套外围伞套的第二分类器；线性组合第一分类器和第二分类器，生成目标检测分类器，利用目标检测分类器对空中加油锥套目标进行检测。本发明利用组合的目标检测分类器，可配合目标检测框架，准确、快速、鲁棒地检测空中加油锥套目标。

Description

基于混合特征的空中加油锥套目标检测方法

技术领域

本发明属于计算机视觉及机器学习领域，具体是使用计算机视觉中的图像特征提取方法，利用机器学习中特征筛选及构建分类器的方法，对图像中的空中加油锥套进行目标检测。

背景技术

软管-浮锚（Probe&Drogue）式空中加油系统由加油机、输油软管、锥套（浮锚）、受油管构成。随着空中加油精确控制及无人机空中加油的推进，产生了使用计算机视觉方法对空中加油锥套进行检测、跟踪、测量的需求。

通过图像处理、小波滤波器等方法，获取能代表目标的特征；选择具有代表性的特征子集；使用正负样本特征子集通过训练分类器；上述步骤已经组成了较为成熟的实时目标检测流程。然而，此目标检测流程却难以应用在空中加油锥套目标检测问题中。

空中加油锥套的检测具有如下两个特点：一、不同场景中检测目标变化较大；二、对于检测结果的精度要求很高。由此，本发明设计了两套分类器，通过分类器组合的方法，既保证了检测结果的精度，又能适应目标外观的变化，且具有较高的执行效率。

发明内容

为了解决现有技术中，使用单一分类器难以描述不同光照、不同角度下的锥套目标的问题，本发明采用多分类器组合技术，利用灰度、边缘等混合特征，分别对空中加油锥套的中心油管、外围伞套分别训练各自的分类器，再进行组合。

本发明提出的一种基于混合特征的空中加油锥套目标检测方法包括以下步骤：

步骤S1，将手工标定的空中加油管锥套的正样本集S_P0={p_p0’,p_p1’,…,p_psp’}，及累积生成的背景负样本集S_N0={p_n0’,p_n1’,…,p_nsn’}进行归一化，得到分辨率为w×h的灰度图片集合S_P和S_n；

步骤S2：提取所述灰度图片集合S_P和S_n中图像的特征向量，得到用于训练的特征向量集合，进而训练得到能够识别空中加油锥套中心油管的第一分类器C₁；

步骤S3：提取所述灰度图片集合S_P和S_n中每幅图像外围伞套区域的边缘特征信息，利用边缘特征信息的统计信息，训练得到能够识别空中加油锥套外围伞套的第二分类器C₂；

步骤S4：线性组合所述第一分类器C₁和第二分类器C₂，生成目标检测分类器，利用所述目标检测分类器对空中加油锥套目标进行检测。

本发明利用组合的目标检测分类器，可配合目标检测框架，准确、快速、鲁棒地检测空中加油锥套目标。

附图说明

图1为本发明基于混合特征的空中加油锥套目标检测方法的流程图；

图2为本发明第一分类器的训练流程图；

图3为本发明第二分类器的训练流程图；

图4为空中加油锥套的结构示意图，及在不同光照条件下采集的锥套图像；

图5为本发明使用不同方向的Gabor小波提取图像边缘特征信息的示例图；

图6为本发明对外围伞套区域的划分方法示意图，以及不同区域对应的类Haar小波模板。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明基于混合特征的空中加油锥套目标检测方法的流程图，图4为空中加油锥套的结构示意图，及在不同光照条件下采集的锥套图像，如图1和图4所示，所述基于混合特征的空中加油锥套目标检测方法包括以下步骤：

步骤S1：将手工标定的空中加油管锥套的正样本集S_P0={p_p0’,p_p1’,…,p_psp’}，及累积生成的背景负样本集S_N0={p_n0’,p_n1’,…,p_nsn’}进行归一化，得到分辨率为w×h的灰度图片集合S_P和S_n；

在本发明一实施例中，将正样本集中的sp+1张图片p_p0’,p_p1’,…,p_psp’进行图片大小归一化，生成分辨率为64x64的灰度图像，归一化后的正样本图片集合用S_P={p_p0,p_p1,…,p_psp}表示；同样，将负样本集中的sn+1张图片p_n0’,p_n1’,…,p_nsn’进行图片大小归一化，生成分辨率为64x64的灰度图像，归一化后的负样本图片集合用S_n={p_n0,p_n1,…,p_nsn}表示。

步骤S2：提取所述灰度图片集合S_P和S_n中图像的特征向量，得到用于训练的特征向量集合，进而训练得到能够识别空中加油锥套中心油管的第一分类器C₁，如图2所示；

所述特征向量包括图像中心区域的灰度信息、边缘信息等特征向量。

所述步骤S2进一步包括以下步骤：

步骤S2A：提取所述灰度图片集合S_P和S_n中每幅图像的中心子图像区域比如x∈[w/4,w/2），y∈[h/4,h/2)区域，构成新的中心图像集合S_cp和S_cn；

在本发明一实施例中，提取正样本灰度图片集合中的sp+1张图片p_p0,p_p1,…,p_psp中的x∈[16,31]，y∈[16,31]区域，生成分辨率为32x32的灰度图像，提取得到的正样本中心图像集合用S_cp={p_cp0,p_cp1,…,p_cpsp}表示；同样，提取负样本灰度图片集合中的sn+1张图片p_n0,p_n1,…,p_nsn中的x∈[16,31]，y∈[16,31]区域，生成分辨率为32x32的灰度图像，提取得到的负样本中心图像集合用S_cn={p_cn0,p_cn1,…,p_cnsn}表示。

步骤S2B：使用中心图像集合S_cp和S_cn中每幅图像中某些比如(w/2)×(h/2)，32x32个像素位置的灰度特征{I₀,I₁,…,I₁₀₂₃}，分别构造比如(w/2)×(h/2)，1024个弱分类器，通过自适应提升过程(Ada-Boost)进行特征子集选择，选取最具有分辨能力的前M个灰度特征{I_w(i)|w(i)∈[0,1023],i∈[0,M-1]}，作为训练特征中的前M个特征向量φ₀,φ₁,…,φ_M-1；

步骤S2C：使用N个比如12个方向的Gabor小波函数处理中心图像集合S_cp和S_cn中的图像，提取其边缘信息，生成相应的比如N×(w/2)×(h/2)，12x32x32个像素的小波响应幅值{G₀,G1,…,G₁₂₂₈₇}，分别构造与小波响应幅值的数量相对应数量的弱分类器（12288个）；通过自适应提升过程(Ada-Boost)进行特征子集选择，选取最具有分辨能力的S个边缘特征{G_w(i)|w(i)∈[0,12287],i∈[0,S-1]}，作为训练特征中的后S个特征向量φ_M,φ_M+1,…,φ_M+S-1；

在本发明一实施例中，使用尺度σ=4和扩散程度λ=2√2的二维Gabor小波滤波器处理中心图像集合S_cp和S_cn中的图像，其中，Gabor小波函数的方向θ为彼此间隔30度，即能够生成12个方向的Gabor小波滤波后的幅值图像，以大致描述12个方向的边缘信息，如图5所示。

步骤S2D：使用每幅图像P的训练特征，即φ₀,φ₁,…,φ_M-1及φ_M,φ_M+1,…,φ_M+S-1这M+S维特征，作为训练分类器的输入(X_i,y_i)(i=1,2,…,sp+np+2)，其中Xi={φ₀,φ₁,…,φ_2M-1}，y_i=1当P∈S_cp，y_i=0当P∈S_cn，生成的分类器，被称为“第一分类器”C₁，C₁能够根据锥套中心加油管的灰度信息、边缘信息，判断一个区域是否含有与锥套油管类似的黑色中心区域。

步骤S3：提取所述灰度图片集合S_P和S_n中每幅图像外围伞套区域的边缘特征信息，利用边缘特征信息的统计信息，训练得到能够识别空中加油锥套外围伞套的第二分类器C₂，如图3所示；

所述步骤S3进一步包括以下步骤：

步骤S3A：将所述灰度图片集合S_P和S_n中每幅图像的外围区域划分为L个比如8个子区域，每个子区域大约包含310个像素，得到有效的外围子区域集合R_p和非锥套外围子区域集合R_n；

在本发明一实施例中，对于灰度图片集合S_P，通过手工标定数据进行有效区域的确认，最终得到有效的外围子区域集合R_p={R_p0,R_p1,…,R_pnp}(共有np+1个有效外围子区域，即外围子区域正样本)；另外，对于灰度图片集合S_n，得到非锥套外围子区域集合R_n={R_n0,R_n1,…,R_nnn}(共有nn+1个外围子区域负样本)。

步骤S3B：对于集合R_p和R_n中的子区域边缘特征进行提取，对于某子区域R_i，用区间频数直方图的方法构造其边缘特征向量(X_i,y_i)(i=1,2,…,np+nn+2)。

该步骤中，对于集合R_p和R_n中的子区域r_i，先按照图6所列的类型编号及对应的二维类Haar小波模板类型，进行滤波，得到该子区域每像素的响应幅值；然后再利用直方图的方法，对子区域上每像素点p的响应幅值M(p)按32为一个跨度进行统计，共能形成64个响应跨度的统计值h(1),h(2),…,h(64)：

h(i_k)=sum(M(p)∈Bin(i_k))，i_k=1,2,…,64，

其中，Bin(i_k)={h(x)|h(x)≥(i_k-1)×32-1024且h(x)<i_k×32-1024}。

那么对于子区域ri，其对应的边缘特征向量表示为(X_i,y_i)(i=1,2,…,np+nn+2)，其中X_i={h(1),h(2),…,h(64)}，y_i=1当r_i∈R_p，r_i=0当P∈R_n。

步骤S3C：对在集合Rp和Rn上构造得到的边缘特征向量(X_i,y_i)(i=1,2,…,np+nn)进行训练，生成分类器C₂’，此分类器能够对某一梯形区域依据边缘信息进行判断，确定其是否为空中加油锥套中外围伞套的一部分。

步骤S3D：通过组合分类器C₂’，形成针对整幅图像的外围伞套进行判断的第二分类器C₂。

该步骤具体包括：首先对于所述步骤S3A得到的L个子区域，分别进行特征提取，将得到的特征向量依次通过所述步骤S3C生成的分类器C₂’；然后设置逻辑判断条件，若一旦满足L个子区域中的Q个被判定为非外围伞套，则采用短路机制，给出非伞套的判断结果，如此形成第二分类器C₂。

步骤S4：线性组合所述第一分类器C₁和第二分类器C₂，生成目标检测分类器，利用所述目标检测分类器对空中加油锥套目标进行检测。

该步骤中，所述目标检测分类器结合常用的目标检测框架——如基于不同分辨率图像的滑窗法，就能实现对空中加油锥套目标的检测。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于混合特征的空中加油锥套目标检测方法，其特征在于，该方法包括以下步骤：

步骤S1，将手工标定的空中加油管锥套的正样本集S_P0＝{p_p0’，p_p1’，…，p_psp’}，及累积生成的背景负样本集S_N0＝{p_n0’，p_n1’，…，p_nsn’}进行归一化，得到分辨率为w×h的灰度图片集合S_P和S_n；

步骤S2：提取所述灰度图片集合S_P和S_n中图像的特征向量，得到用于训练的特征向量集合，进而训练得到能够识别空中加油锥套中心油管的第一分类器C₁；

步骤S3：提取所述灰度图片集合S_P和S_n中每幅图像外围伞套区域的边缘特征信息，利用边缘特征信息的统计信息，训练得到能够识别空中加油锥套外围伞套的第二分类器C₂；

步骤S4：线性组合所述第一分类器C₁和第二分类器C₂，生成目标检测分类器，利用所述目标检测分类器对空中加油锥套目标进行检测。

2.根据权利要求1所述的方法，其特征在于，所述特征向量包括图像中心区域的灰度信息和/或边缘信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤：

步骤S2A：提取所述灰度图片集合S_P和S_n中每幅图像的中心子图像区域，构成新的中心图像集合S_cp和S_cn；

步骤S2B：使用中心图像集合S_cp和S_cn中每幅图像中某些像素位置的灰度特征，分别构造相应数量的弱分类器，通过自适应提升过程(Ada-Boost)，选取最具有分辨能力的前M个灰度特征作为训练特征中的前M个特征向量；

步骤S2C：使用N个方向的Gabor小波函数处理中心图像集合S_cp和S_cn中的图像，提取其边缘信息，生成相应的小波响应幅值，分别构造与小波响应幅值的数量相对应数量的弱分类器，通过自适应提升过程(Ada-Boost)，选取最具有分辨能力的S个边缘特征，作为训练特征中的后S个特征向量；

步骤S2D：使用每幅图像P的训练特征作为训练分类器的输入，生成判断一个区域是否含有与锥套油管类似的黑色中心区域的第一分类器C₁。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤：

步骤S3A：将所述灰度图片集合S_P和S_n中每幅图像的外围区域划分为L个子区域，得到有效的外围子区域集合R_p和非锥套外围子区域集合R_n；

步骤S3B：对于集合R_p和R_n中的子区域边缘特征进行提取，对于某子区域r_i，构造其边缘特征向量；

步骤S3C：对在集合R_p和R_n上构造得到的多个边缘特征向量进行训练，生成能够确定某一梯形区域是否为空中加油锥套中外围伞套的一部分的分类器C₂’；

步骤S3D：通过组合分类器C₂’，得到对于整幅图像的外围伞套进行判断的第二分类器C₂。

5.根据权利要求4所述的方法，其特征在于，所述步骤S3B中，采用区间频数直方图方法构造某子区域r_i的边缘特征向量。

6.根据权利要求4所述的方法，其特征在于，所述步骤S3B中，对于子区域r_i，先对其利用二维类Haar小波模板进行滤波，得到该子区域每像素的响应幅值；然后再利用直方图的方法，对子区域上每像素点的响应幅值按一预定跨度进行统计，形成多个响应跨度的统计值；最后，利用所述统计值得到所述子区域r_i对应的边缘特征向量。

7.根据权利要求4所述的方法，其特征在于，所述步骤S3D包括：首先对于所述步骤S3A得到的L个子区域，分别进行特征提取，并将得到的特征向量依次通过所述步骤S3C生成的分类器C₂’；然后根据逻辑判断条件，形成第二分类器C₂。

8.根据权利要求7所述的方法，其特征在于，所述逻辑判断条件具体为：若一旦满足L个子区域中的Q个被判定为非外围伞套，则得到非伞套的判断结果。