CN108647602A

CN108647602A - 一种基于图像复杂度判定的航空遥感图像场景分类方法

Info

Publication number: CN108647602A
Application number: CN201810397009.9A
Authority: CN
Inventors: 丁文锐; 陈映雪; 李红光
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2018-04-28
Filing date: 2018-04-28
Publication date: 2018-10-12
Anticipated expiration: 2038-04-28
Also published as: CN108647602B

Abstract

本发明公开了一种基于图像复杂度判定的航空遥感图像场景分类方法,属于图像处理技术领域，提取航空遥感图像的复杂度特征,挑选若干待处理的航空遥感图像形成训练样本；剩余的航空遥感图像形成测试样本集合。将训练样本集合按复杂度人工分类并标注，进行多核映射后与分类器结合，得到三个图像复杂度分类器。测试集合中的航空遥感图像A分别提取复杂度特征并输入到三个分类器中，hinge损失最小时对应的类别作为该图像的复杂度所属类别，得到航空遥感图像A复杂度的判定结果。根据航空遥感图像A复杂度的判定结果，给航空遥感图像A使用适当的方法进行场景分类。本发明能对航空遥感图像的复杂度进行有效判定，高效准确的实现航空遥感图像的场景分类。

Description

一种基于图像复杂度判定的航空遥感图像场景分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像复杂度判定的航空遥感图像场景分类方法。

背景技术

近年来，随着国内航空、电子及信息产业的不断进步，无人机相关技术也在飞速发展，促使航空遥感图像的种类丰富，质量提升，应用更加广泛。航空遥感图像是获取基础地理信息的主要手段，是开展测绘工作的基础，也是相关部门获取地表原始信息的主要资料来源，与国土资源管理、防灾救灾、交通水利建设、城市规划、国防建设、环境保护以及科学研究等事业息息相关。

图像的场景分类是计算机视觉中的一个重要分支。对于航空遥感图像，场景分类的结果代表对整幅图像最直观的理解，是进一步决策的重要参考依据。采用图像特征与分类器结合的方式是研究图像场景分类的主要方法，目前常用的图像特征主要分为两类：底层视觉特征和中高层语义特征。

其中，底层视觉特征从图像的颜色、纹理、形状、空间结构等特性出发设计，具有简单高效等优点。但其包含图像信息较少，只是反映对图像某些特性的描述，难以表达图像中的语义概念，对不同场景图像的适应能力很差，难以胜任内容复杂的图像的场景分类任务。

中高层语义特征从解决低层特征与人类高层语义之间的“语义鸿沟”角度出发，将图像的局部单元对应为图像集合的基本组成，并且通过构建局部与集合间的映射关系，获取单张图像中各个局部单元的相互关系及分布情况达到对图像进行理解的目的。中高层语义特征更加适用于复杂图像的处理，但因其提取方式复杂，使得在处理效率上存在一定不足。

现有的图像场景分类方法通常针对具有自然场景，城市场景及室内场景的图像。航空遥感图像因拍摄时成像距离远，视角特殊等因素，导致其与普通图像差异较大，难以使用通用的图像处理方法取得良好效果。对于场景分类问题，复杂度差异大是航空遥感图像的一个显著特点：航空遥感图像视野较大，通常覆盖范围达数平方公里，因此对于荒野，城市等不同的实际场景所拍摄的图像复杂度具有显著差异；使用现有框架分类复杂程度不同的航空遥感图像场景时，难以平衡分类精度与分类效率。

针对航空遥感图像内容复杂度差异大的特点，设计一种简单高效的图像场景分类方法具有重要的研究意义。

发明内容

本发明针对不同的航空遥感图像，内容差异较大，采用单一方法既可能在分类简单图像时产生较大时间冗余，又可能在处理复杂图像时不够准确。难以高效准确的对所有航空遥感图像进行场景分类，为了提高航空遥感图像场景分类的效率及准确性，提出一种基于图像复杂度判定的航空遥感图像场景分类方法。

具体步骤如下：

步骤一、对每个待处理的航空遥感图像进行复杂度特征提取。

复杂度特征包括：信息熵，边缘比率，颜色分布比率和灰度一致性。

信息熵H用于描述图像灰度信息，用灰度级出现的情况反映图像的信息丰富程度；

计算公式为：

N'为图像像素点的总数，n_l为第l个灰度级中对应的像素数；k为灰度级总数。

边缘比率R为图像中边缘像素个数与图像总像素的比值；

计算公式为：R＝N_edge/N'；

N_edge为图像边缘像素点的个数。

颜色分布比率U用于描述图像的颜色复杂程度；

计算公式如下：U＝L_C/L；

L_C为图像HSV直方图(色彩(Hue)、饱和度(Saturation)和明度(Value))中频次不为零的颜色区间数，L为HSV直方图中所有的颜色区间数量。

灰度一致性Y反映图像纹理的分布是规律还是杂乱；

计算公式为：

m是图像的行数，n是图像的列数，I(i,j)为图像在(i,j)处的像素值，为以像素(i,j)为中心的3×3领域范围内的像素灰度均值。

步骤二、随机挑选若干待处理的航空遥感图像形成训练样本集合，并将样本图像的复杂度特征向量作为分类器的训练数据；剩余的航空遥感图像形成测试样本集合。

某个待处理的航空遥感图像的复杂度特征向量由并列输入的四个复杂度特征：信息熵，边缘比率，颜色分布比率及灰度一致性组成。

步骤三、将训练样本集合中每个待处理的航空遥感图像，按复杂度人工分类并标注；

根据航空遥感图像的实际情况，将图像分为三类：简单图像、较复杂图像和复杂图像。人工划分的类别根据实际经验自行设定。

步骤四、对于训练数据采用简单多核学习法，进行多核映射后与分类器结合，得到三个图像复杂度分类器。

三个图像复杂度分类器分别针对简单图像、较复杂图像和复杂图像设定。

具体步骤如下：

步骤401、对于简单图像的训练数据中，将某图像的每种输入特征，分别映射到三种核函数的核空间中；

核函数分为三种：高斯核、直方图交叉核和多项式核；

高斯核表达式如下：

σ为高斯核参数；x，z为同一个输入特征的两个不同样本，||x-z||为两个特征样本的欧氏距离。

直方图交叉核表达式如下：

x_i，z_i分别为两个特征统计直方图中第i个bin的值，n'为bin的总个数。

多项式核表达式如下：

κ(x,z)＝(x·z+c)^d

c，d为多项式核参数。

步骤402、将三种核函数核映射后的特征进行权重初始化，并将结果进行线性组合；

权重初始化是指第k种特征使用第m个核函数映射对应的权重β_km初始为小的随机值。

组合结果为：

N为输入特征的种类，M为核函数的种类，β_km为第k种特征使用第m个核函数映射对应的权重，κ_km(x,x')为第k种特征在第m个核函数映射后的结果。

步骤403、将线性组合结果与SVM分类器结合，得到优化问题：

w_km为第k种特征使用第m个核函数映射时对应的向量参数，C为惩罚系数，ξ_ki为第k种特征的第i个样本对应的松弛变量；y_ki为第k种特征中第i个样本对应的标签值，b为偏移参数，φ_ki(x)为第k种特征的第i个样本对应的映射函数，映射函数与核函数的关系为：

κ(x,z)＝φ(x)·φ(z)

步骤404、根据简单多核学习理论，采用拉格朗日法对上述问题进行转化并用梯度下降算法对优化问题进行求解，得到简单图像的二元分类器。

其中，α_i为第i个样本对应的受约束的拉格朗日乘子。

步骤405、分别选择较复杂图像和复杂图像中的训练数据，并重复上述步骤，训练得到各自的二元分类器，每个分类器用来划分是否属于该类。

步骤五、针对测试集合，将待判定的航空遥感图像A分别输入到三个分类器中，并计算各自的hinge损失，以hinge损失最小时对应的类别作为该图像的复杂度所属类别，得到该待定航空遥感图像A复杂度的判定结果。

hinge损失计算公式如下：

步骤六、根据该待定航空遥感图像A复杂度的判定结果，给该待定航空遥感图像A进行适用的场景分类。

根据航空遥感图像复杂度的判定结果，如果是简单图像，则使用基于颜色直方图特征的场景分类方法；如果是较复杂图像，使用基于词袋特征的场景分类方法；如果是复杂图像，使用基于地表标签映射的复杂图像场景分类方法。

本发明的优点在于：

(1)一种基于图像复杂度判定的航空遥感图像场景分类方法，先对图像进行复杂度判定，并对属于不同复杂度图像选择最适宜的方法进行分类处理的场景分类，解决了单一场景分类方法难以适用于全部航空遥感图像的问题。

(2)一种基于图像复杂度判定的航空遥感图像场景分类方法，选择合适的反映图像复杂度的特征，建立了图像复杂度判定方法。

(3)一种基于图像复杂度判定的航空遥感图像场景分类方法，结合航空遥感图像特点，对不同复杂度图像选用适宜方法进行场景分类。

(4)一种基于图像复杂度判定的航空遥感图像场景分类方法，能对航空遥感图像的复杂度进行有效判定，可以高效准确的实现航空遥感图像的场景分类。

附图说明

图1是本发明一种基于图像复杂度判定的航空遥感图像场景分类方法流程图；

图2是本发明利用训练数据进行多核映射与分类器结合得到图像复杂度分类器的流程图；

图3是本发明航空遥感图像复杂度等级划分的示例图；

图4是本发明实施例中的复杂度特征示例图；

图5是本发明实施例中的场景分类结果示例图；

具体实施方式

下面结合附图，对本发明的具体实施方法作进一步的详细说明。

本发明一种基于图像复杂度判定的航空遥感图像场景分类方法，首先，提取每个航空遥感图像的复杂度特征，然后，使用样本图像提取的特征训练简单多核学习分类器，并对待处理的航空遥感图像进行复杂度判定分类；图像复杂度判定分为三个阶段，包括样本数据提取，分类器训练及图像判定；最后，针对航空遥感图像的特点，对每类复杂度图像选用合适的场景分类方法处理，形成基于复杂度判定的航空遥感图像场景分类框架，有效提升分类精度与效率；增强适应性，实现快速有效的场景分类。

如图1所示，包括以下几个步骤：

图像复杂度与图像颜色、纹理、形状等相同，都属于图像的基本属性，因此可以用图像的特征来描述。采用单一特征难以全面表达图像的复杂度，从多角度选取多种特征对复杂度进行联合表达可以更完善的反映图像的真实复杂程度。本发明选取适用于描述图像复杂度的特征为信息熵、边缘信息比率、颜色分布比率及灰度一致性。

1)信息熵

信息熵在图像的复杂度分析中用于描述图像灰度信息，用灰度级出现的情况反映图像的信息丰富程度，灰度级出现的越多，则图像含有信息越多，图像越复杂，信息熵H计算公式如下：

2)边缘信息比率

边缘信息表示图像中纹理的复杂程度与图像中目标的复杂程度，进而边缘信息也可以反映出图像的复杂程度。采用边缘信息比率来描述图像中的边缘信息，边缘信息比率即为图像中边缘像素个数与图像总像素的比值，计算公式如下：

R＝N_edge/N'

N_edge为图像边缘像素点的个数。

3)颜色分布比率

信息熵与边缘信息比率都是基于灰度图像上提取的特征，无法反映图像的颜色信息。而图像颜色信息的复杂程度也可反映图像复杂度，颜色复杂程度由颜色信息的分布比率U表示，其计算公式如下：

U＝L_C/L

L_C为图像HSV直方图中频次不为零的颜色区间数，L为HSV直方图中所有的颜色区间数量。

4)灰度一致性

图像纹理的分布情况是影响图像复杂度的重要因素，采用灰度一致性可以反映图像纹理分布是规律还是杂乱，计算公式如下：

采用信息熵，边缘信息比率，颜色分布比率，灰度一致性从颜色、纹理等多角度对图像的复杂度进行描述，较为全面的提取航空遥感图像的复杂度信息。

根据航空遥感图像的实际情况，将图像分为三类：简单图像、较复杂图像和复杂图像。如图3所示，为航空遥感图像复杂度等级划分示意图。

人工划分的类别根据实际经验自行设定。

得到航空遥感图像的样本数据后，利用该数据训练分类器从而对待处理图像进行判定。支持向量机(SVM)作为分类领域的经典方法，同样适用于本问题。然而，航空遥感图像的复杂度特征向量包括四种特征值，将多种特征以简单串联的方式融合并输入到SVM分类器分类时存在两方面问题：第一，SVM是基于单核的分类器，当特征不属于单域，具有异构性时，不同特征对应的最佳核函数未必相同，使所有特征共用同一个核函数难以取得最优效果；第二，不同特征对图像关于复杂度判定的贡献程度不同，采用简单串联形式难以达到各复杂图特征的最佳权重。多核学习可以有效的解决以上两个问题。因此，对于样本数据采用多核学习的方法，首先进行多核映射后再与分类器结合，使用简单多核学习算法进行求解，从而得到性能更优的图像复杂度分类器。

如图2所示，具体步骤如下：

核函数分为三种：高斯核、直方图交叉核和多项式核；同一种类核函数可以取不同参数，作为不同核函数参与到后续算法中。

高斯核表达式如下：

直方图交叉核表达式如下：

多项式核表达式如下：

κ(x,z)＝(x·z+c)^d

c，d为多项式核参数。

权重初始化是指第k种特征使用第m个核函数映射对应的权重β_km初始为随机值。

组合结果为：

步骤403、将线性组合结果与SVM分类器结合，得到优化问题：

w_km为第k种特征使用第m个核函数映射时对应的向量参数，C为惩罚系数，ξ_ki为第k种特征的第i个样本对应的松弛变量；y_ki为第k种特征中第i个样本对应的值，b为偏移参数，φ_ki(x)为第k种特征的第i个样本对应的映射函数，映射函数与核函数的关系为：

κ(x,z)＝φ(x)·φ(z)

其中，α_i为第i个样本对应的受约束的拉格朗日乘子。

步骤405、分别选择较复杂图像和复杂图像中的训练数据，并重复上述步骤，训练得到各自的二元分类器，每个分类器分离图像复杂度的两个类。

采用一对一算法解决多分类问题，即训练三个上述二元分类器，每个分类器分离图像复杂度的两个类。

hinge损失计算公式如下：

对具有不同复杂度的航空遥感图像，分开选用适当的方法进行处理可以有效提高图像场景分类的精度及效率，具有更强的适应性。

1)针对简单图像

简单的航空遥感图像包括地表种类较少，图像中的内容较为一致，采用的简单的图像底层特征即可有效解决该问题。结合航空遥感图像的实际情况，简单复杂度时，多为出现荒地与绿地，颜色差异较大，因此采用图像颜色直方图特征与分类器结合的方式处理该任务。

2)针对较复杂图像

较复杂的航空遥感图像内容较简单图像复杂多样，采用底层特征难以准确描述。因此需要构建中层语义特征来表达较复杂的航空遥感图像所对应的场景语义，本发明选用词袋特征实现，具体步骤为：

①在较复杂航空遥感图像数据集中提取训练样本，对每一幅样本图像提取若干图像局部特征描述子，组成特征描述子集合F；

②采用Kmeans聚类方法对特征描述子集合F聚类，聚类中心为人工指定的超参数，得到k个聚类中心对应词袋中的关键词，聚类中心组合形成词袋集合D；

③初始化图像k维特征响应向量f，其中向量每一维分别对应于词袋集合D中的不同关键词。遍历每幅图像的局部特征描述因子，分别计算其与k个聚类中心的欧式距离，并将欧氏距离最小的聚类中心所对应的特征响应向量维数加1，得到每幅图像的特征响应向量，该向量可表达较复杂图像的场景语义；

④将特征相应向量作为场景分类器输入。使用训练集训练分类器，并应用分类器对数据集进行场景分类。

3)针对复杂图像

复杂的航空遥感图像包含多种地表且分布杂乱，不同场景类别的图像包含大量相似的地表目标，类间差异较小，使用普通图像通用的中高层语义特征建模的方法，难以有效描述图像内容。本发明采用基于地表语义标签映射到图像场景标签的方法，适用于解决复杂航空遥感图像的场景分类问题。具体步骤为：

①对复杂航空遥感图像进行超像素分割，得到超像素。其中初始聚类中心个数根据实际地表分布情况自适应选取。

②提取超像素地表区域。对超像素提取最小外接矩形并缩放到相同尺寸。选择具有代表性的各类地表超像素构建地表分类数据集。

③对数据集超像素区域进行稀疏编码特征提取。首先提取超像素区域中局部图像块的低层局部特征，然后利用稀疏编码算法对其量化，得到视觉单词并构建视觉词典，最后通过稀疏特征编码得到表达地表区域内容的稀疏特征向量。

④获取超像素地表区域对应的语义标签。根据标准对训练集数据加入地表标签，训练基于稀疏编码语义特征的超像素区域地表分类器，并对测试区域进行分类从而得到地表语义标签。

⑤将区域地表映射到图像场景。计算不同地表在图像中所占比重，根据图像场景定义，得到图像场景语义标签。

实施例：

本实例对包含302幅图像的航空遥感图像数据集进行测试，测试过程及结果如下所述：

第一步，对待处理的航空遥感图像进行复杂度特征提取。

1)构建航空遥感图像数据集

航空遥感图像数据集包括302张1392*1040像素的实拍航空遥感图像，按复杂度等级将图像划分为简单图像，较复杂图像和复杂图像并进行人工标注。其中，如表1所示，复杂图像100张，较复杂图像93张，简单图像109张；并在各类复杂度图像中挑选20张代表性图像作为训练集，剩余图像作为测试集。

表1

2)提取图像四类复杂度特征

提取数据集所有航空遥感图像的四类复杂度特征，部分展示结果如图4所示。其中一至四行分别为：颜色分布比率，信息熵，边缘信息比率及灰度一致性。

第二步，使用样本图像提取的特征训练简单多核学习分类器，并对待处理的航空遥感图像进行复杂度判定。

1)使用训练集的60张图像提取的复杂度特征及其标签采用一对一方式，分别输入到三个简单多核学习分类器对其进行训练。采用核函数分别为高斯核，直方图交叉核和多项式核。高斯核与多项式核采用多参数，其中高斯核参数为：0.5、1、2、5、7、10、12、15、17、20；多项式核参数为：1、2、3。

2)对剩余测试集的242张航空遥感图像进行复杂度分类。得到简单图像，较复杂图像及复杂图像的数量分别为89：74：79。与真实值对比准确率达0.9959。

第三步，对三类复杂程度的航空遥感图像分别采用适用的场景分类方法进行场景分类。

1)简单图像：对复杂度分类得到的简单图像提取256维HSV通道向量，并与SVM分类器结合。选择50张图片作为训练集训练分类器，剩余图像作为测试集测试，得到测试结果准确率为0.9583。

2)较复杂图像：对复杂度分类得到的较复杂图像采用32*32网格划分、16像素步长遍历提取128维底层SIFT特征描述子。聚类中心超参数为3000，获得3000维图像词袋特征响应向量，并与SVM分类器结合。选择54张图片作为训练集训练分类器，剩余图像作为测试集测试，得到测试结果准确率为0.9426。

3)复杂图像：对复杂度分类得到的复杂图像进行超像素分割，超像素块大小为1000个像素，并将超像素区域缩放大小至32*32。对超像素块采用16*16网格划分、4像素步长滑动生成局部像素块，提取16维CVV颜色聚合向量及48维GLCM纹理特征向量并将二者串联，与SVM分类器结合。选择46张图片作为训练集训练分类器，剩余图像作为测试集测试，得到测试结果准确率为0.9537。各复杂度图像场景分类准确率如表2所示。

表2

各复杂度航空遥感图像及其场景分类结果如图5所示。

Claims

1.一种基于图像复杂度判定的航空遥感图像场景分类方法，其特征在于，具体步骤如下：

步骤一、对每个待处理的航空遥感图像进行复杂度特征提取；

所述的复杂度特征包括：信息熵，边缘比率，颜色分布比率和灰度一致性；

步骤二、随机挑选若干待处理的航空遥感图像形成训练样本集合，并将样本图像的复杂度特征向量作为分类器的训练数据；剩余的航空遥感图像形成测试样本集合；

某个待处理的航空遥感图像的复杂度特征向量由并列输入的四个复杂度特征：信息熵，边缘比率，颜色分布比率及灰度一致性组成；

步骤四、对于训练数据采用简单多核学习法，进行多核映射后与分类器结合，得到三个图像复杂度分类器；

具体步骤如下：

核函数分为三种：高斯核、直方图交叉核和多项式核；

高斯核表达式如下：

σ为高斯核参数；x，z为同一个输入特征的两个不同样本，||x-z||为两个特征样本的欧氏距离；

直方图交叉核表达式如下：

x_i，z_i分别为两个特征统计直方图中第i个bin的值，n'为bin的总个数；

多项式核表达式如下：

κ(x,z)＝(x·z+c)^d

c，d为多项式核参数；

权重初始化是指第k种特征使用第m个核函数映射对应的权重β_km初始为小的随机值；

组合结果为：

N为输入特征的种类，M为核函数的种类，β_km为第k种特征使用第m个核函数映射对应的权重，κ_km(x,x')为第k种特征在第m个核函数映射后的结果；

步骤403、将线性组合结果与SVM分类器结合，得到优化问题：

κ(x,z)＝φ(x)·φ(z)

步骤404、根据简单多核学习理论，采用拉格朗日法对上述问题进行转化并用梯度下降算法对优化问题进行求解，得到简单图像的二元分类器；

其中，α_i为第i个样本对应的受约束的拉格朗日乘子；

步骤405、分别选择较复杂图像和复杂图像中的训练数据，并重复上述步骤，训练得到各自的二元分类器，每个分类器用来划分是否属于该类；

步骤五、针对测试集合，将待判定的航空遥感图像A分别输入到三个分类器中，并计算各自的hinge损失，以hinge损失最小时对应的类别作为该图像的复杂度所属类别，得到该待定航空遥感图像A复杂度的判定结果；

hinge损失计算公式如下：

2.如权利要求1所述的一种基于图像复杂度判定的航空遥感图像场景分类方法，其特征在于，所述的步骤一中，

计算公式为：

N'为图像像素点的总数，n_l为第l个灰度级中对应的像素数；k为灰度级总数；

边缘比率R为图像中边缘像素个数与图像总像素的比值；

计算公式为：R＝N_edge/N'；

N_edge为图像边缘像素点的个数；

颜色分布比率U用于描述图像的颜色复杂程度；

计算公式如下：U＝L_C/L；

L_C为图像HSV直方图中频次不为零的颜色区间数，L为HSV直方图中所有的颜色区间数量；

灰度一致性Y反映图像纹理的分布是规律还是杂乱；

计算公式为：

3.如权利要求1所述的一种基于图像复杂度判定的航空遥感图像场景分类方法，其特征在于，所述的步骤三中，航空遥感图像根据实际情况分为三类：简单图像、较复杂图像和复杂图像。

4.如权利要求1所述的一种基于图像复杂度判定的航空遥感图像场景分类方法，其特征在于，所述的步骤六具体为：根据航空遥感图像复杂度的判定结果，如果是简单图像，则使用基于颜色直方图特征的场景分类方法；如果是较复杂图像，使用基于词袋特征的场景分类方法；如果是复杂图像，使用基于地表标签映射的复杂图像场景分类方法。