CN109376750A - 一种融合中波红外与可见光的遥感影像分类方法 - Google Patents

Abstract

本发明公开了一种融合中波红外与可见光的遥感影像分类方法，包括数据准备，利用POS系统及地面实测控制点制作可见光与中红外正射影像，合并为多光谱影像；影像分割，根据同质性标准，基于多尺度分割算法分割影像得到对象图层；初始特征提取，基于分割形成的对象图层选取分析样本及特征空间；优化特征空间，分析原始特征空间，利用随机森林OOB平均下降精度与Gini指数优化特征空间；随机森林分类，基于分割结果与优化特征空间利用随机森林分类器进行分类。中波红外对地物的温度较为敏感，本发明引入中波红外特征后，相对于仅仅使用可见光影像分类，可明显提高温度较高地物的分类精度。

Description

一种融合中波红外与可见光的遥感影像分类方法

技术领域

本发明涉及一种融合中波红外与可见光的遥感影像分类方法，属于遥感测绘领域。

背景技术

中波红外谱段光谱范围为3-5μm，与热红外波段(8-14μm)同属于红外谱段，但其光谱辐射特性不同于可见光与热红外谱段，既包含地面反射辐射，也包含地面物体的发射辐射能量，可实现全天时成像。图1表明，不同温度目标在中波红外波段具有最高的热对比度，更容易区分不同温度目标，同时在600-1000K物体辐射功率峰值对应波长为中波，具有优于热红外的高温物体监测能力。此外，中波红外波长较长，不易受到雾霾的散射，能有效突破低能见度气候对遥感影像获取时效性的限制。

中波红外谱段在对地观测中的优势可广泛应用于目标提取，温度反演，图像融合，工业排放气体监测，火灾监测，武器制导等领域。由图2，我国在中波红外波段的对地观测上空间分辨率较低，与国外有较大的差距。同时由于政策原因，国内可采购中波红外相机最大面阵大小为640*512像素。故目前国内仍没有成熟的机载中波红外对地观测系统，尚未展开中波红外在遥感影像分类的相关研究。

现有对地观测系统波段多集中在可见光、近红外与长波红外谱段，例如美国多光谱成像仪(MTI)和热红外传感器以及德国研制的热点识别系统(HSRS)。可知现有对地观测传感器波段在中波红外波段分布较少且分辨率较低，并且中波红外同时含有发射和反射辐射，因此，目前学界对中波红外的遥感分类应用探索较少。开展中波红外遥感相关研究可以有效利用频谱资源，填补相应领域的空白。

发明内容

本发明是在国内首幅可见光-中波红外高分辨率(中波红外0.6m分辨率)多光谱影像的基础上，旨在探索地物的中波红外特征的特性，进而融合地物的中波红外与可见光的特征，提高遥感地物分类的精度，探索中波红外谱段的潜在价值。

为实现上述目的，本发明的技术方案提供一种融合中波红外与可见光的遥感影像分类方法，包括以下步骤：

步骤1，数据准备，包括利用POS系统及地面实测控制点制作可见光与中红外正射影像，合并为多光谱影像；

步骤2，影像分割，根据同质性标准，基于多尺度分割算法分割影像得到对象图层；

步骤3，初始特征提取，基于分割形成的对象图层选取分析样本及特征空间；

步骤4，优化特征空间，分析步骤3提取的原始特征空间，利用随机森林OOB平均下降精度与Gini指数优化特征空间；

步骤5，随机森林分类，基于步骤2得到的分割结果与步骤4确定的优化特征空间利用随机森林分类器进行分类。

而且，步骤2中，基于多尺度分割算法分割影像的实现方式为，首先基于像元，根据同质性标准合并像元，然后基于合成的对象结合设置的尺度参数继续合并影像对象，循环处理直至同质性指标大于尺度参数，分割停止。

而且，所述同质性标准通过图像的局部区域异质性f评价。

而且，图像的局部区域异质性f包含光谱异质性和形状异质性两方面，计算如下，

f＝w₁x+(1-w₁)y (1)

式中，w₁为光谱异质性的权重，0≤w₁≤1，x为光谱异质性，y为形状异质性。

而且，光谱异质性和形状异质性计算如下，

y＝w₂u+(1-w₂)v (3)

式中，σ_i为第i通道光谱值的标准差，p_i为第i通道的权，n为通道数量，是待分割影像波段数；u为影像区域整体紧密度，v为影像区域边界平滑度，w₂为形状异质性计算式中区域整体紧密度分量的权重，0≤w₂≤1。

而且，当合并相邻的两个小影像区域时，合并新生成的更大影像区域的异质性f′计算如下，

f'＝w₁x'+(1-w₁)y' (6)

式中，x′,y′分别为合并新生成的更大影像区域的光谱异质性和形状异质性。

而且，设对相邻影像区域1和相邻影像区域2进行合并，合并新生成的更大影像区域的光谱异质性和形状异质性计算如下，

y′＝w₂u′+(1-w₂)v′ (8)

式中，N′,σ′_i分别为新生成的更大影像区域的像元总数和其所在第i通道光谱值的标准差；N₁,分别为合并前相邻影像区域1的像元总数和其所在第i通道光谱值的标准差；N₂,分别为合并前相邻影像区域2的像元总数和其所在第i通道光谱值的标准差，u′和v′表示新生成的更大影像区域的整体紧密度与边界平滑度。

本发明的特点是：

1)本发明在可见光基础上，融合了地物的中波红外特征，实现了可见光融合中波红外特征的对地观测分类技术；

2)针对中波红外影像，根据特征空间优化的结果，选取和确定了适用于中波红外影像地物分类的特征是HIS颜色空间转换特征，灰度共生矩阵(GLCM)纹理特征。

因此本发明具有以下效果：

1)本发明实现了融合中波红外和可见光的遥感影像分类，针对中波红外影像，通过特征空间定量评估，选用了HIS颜色空间转换特征与灰度共生矩阵。由于中波红外特征的引入，因此可以显著提高了地物分类的总精度。

2)中波红外对地物的温度较为敏感，因此引入中波红外特征后，相对于仅仅使用可见光影像分类，可明显提高温度较高地物的分类精度。实验结果显示：建筑物的分类精度提高最多，其制图精度与用户精度提升平均值为分别为3.00％、3.44％；其次，道路交通的制图精度与用户精度分别提高2.60％，2.70％。

3)本发明使用的中波红外波长为3-5um，在对地观测中，能够在一定程度上突破低能见度的天气状况，因此拓宽了遥感对地观测的应用范围和潜力。

附图说明

图1为不同温度目标对比示意图，其中图1(a)为不同温度目标的热对比度示意图，图1(b)为不同温度目标的辐射功率峰值波长示意图。

图2为红外波段卫星对地观测现状示意图。

图3为本发明实施例的流程图。

图4为本发明实施例的多尺度分割流程图。

图5为本发明实施例的特征重要性示意图，图5(a)为特征OOB精度下降示意图，图5(b)为特征Gini指数示意图。

图6为本发明实施例的随机森林算法原理图。

具体实施方式

为了更加清楚地阐述本发明的目的、技术方案和有益效果，以下结合附图和具体实施例进行详细描述。应理解本发明的具体实施方式不限于这里的示例描述。

本专利发明了一种基于多尺度分割与随机森林分类器的机载中波红外与可见光融合分类方法，该方法融合了地物的可见光与中波红外特征，并且估计了光谱、形状、纹理等特征在分类中的重要程度，定量分析了融合中波红外波段后的特征空间，基于随机森林分类提高了地物分类精度。要实现以上特点，本发明考虑到面向对象分类过程涉及到高维的特征空间，实现高精度的地物分类需要考虑分类算法实现的计算代价，需要定量评估融合中波红外波段后的特征空间，依据特征重要性优化特征空间，确定实现分类需要的特征类型。

因此，本发明提供的解决方法为，结合随机森林在实现分类算法的同时可利用袋外数据(out-of-bag)评估特征变量重要性的特点，排序融合中波红外后的特征空间，定量分析中波红外波段对于地物特征空间的影响，实现特征空间优化。

参见图3，本发明实施例中，基于多尺度分割与随机森林分类器提出一种机载中波红外与可见光融合分类方法，包括以下步骤：

步骤1，数据准备，包括利用POS系统及地面实测控制点制作可见光与中红外正射影像。

步骤2，影像分割，基于多尺度分割算法分割影像得到对象图层。

步骤3，初始特征提取，基于分割形成的对象图层选取分析样本及特征空间。

步骤4，优化特征空间，分析步骤3提取的原始特征空间，利用随机森林OOB平均下降精度与Gini指数优化特征空间。

步骤5，随机森林分类，基于步骤2得到的分割结果与步骤4确定的优化特征空间利用随机森林分类器进行分类。

以下针对实施例流程中的各步骤，对本发明方法做进一步详细描述。

(1)数据准备：实验影像由自主研发航拍系统得到。其可见光影像由哈苏H3D相机拍摄，影像大小为7216×5412像素，分辨率为0.1366m，中红外影像由Onca-MWIR-MCT640相机拍摄，其接收光谱范围为3.7-4.8μm，影像大小为640×512像素，分辨率为0.6250m。

航拍得到的中红外影像为小像幅影像，与光学相机的像幅相差很大。因此，中波红外相机采用面阵摆扫成像的方式，以实现宽幅机载中波红外成像。利用定位定姿系统(Positioning and Orientation System，POS)以及地面实测控制点实施POS辅助空中三角测量，制作可见光及中红外正射影像(Digital Orthophoto Map，DOM)。然后将可见光(Visible，Vis)与中红外(Mid-Wave Infrared，Mid)DOM影像合并为多光谱影像得到最终使用的研究数据。

(2)影像分割：影像分割是面向对象分类的基础。通过图像分割可以得到同质像元组成的多边形对象。多尺度分割(Multiresolution Segmentation)算法连续地合并像元或现有的影像对象。分割流程如图4所示，该过程首先基于像元，根据同质性标准合并像元，然后基于合成的对象结合设置的尺度参数继续合并影像对象，循环此处理直至同质性指标大于设置的尺度参数，分割即停止。具体实施时，尺度参数s可根据情况预先设置。多尺度分割识别一个像元或现有的影像对象并根据相关的同质性标准与它们相邻的对象合并，是一种自下而上的分割。所述同质性标准通过图像的局部区域异质性f评价。具体实施时，可采用以下流程：1.输入待分割影像。

2.设置尺度参数s、光谱、形状(紧密度和平滑度)权值。

3.第1次合并(基于像元，服从局部区域异质性f₁最小进行)。

4.判断是否f₁小于s，是则进行第2次合并(基于第1次合并生成的区域，服从局部区域异质性f₂最小进行)，然后进入步骤5，否则终止合并。

5.判断是否f₂小于s，是则进行第3次合并，依次类推直至f_n≥s，合并终止。

图像的局部区域异质性f包含光谱异质性和形状异质性两方面，其计算式为

f＝w₁x+(1-w₁)y (1)

式中，w₁为光谱异质性的权重，0≤w₁≤1，实施例中w₁优选设置为0.9；x为光谱异质性；y为形状异质性。x，y的计算采用下式，

y＝w₂u+(1-w₂)v (3)

式中，σ_i为第i影像通道光谱值的标准差；p_i为第i影像通道的权；n为通道数量，实施例中具体为待分割影像波段数，本发明实施例中，可见光与中红外DOM影像合并为多光谱影像，因此有4个波段，n＝4；u为影像区域整体紧密度；v为影像区域边界平滑度；w₂为形状异质性计算式中区域整体紧密度分量的权重，0≤w₂≤1，实施例中优选设置为0.5，u，v的计算式为

v＝E/L (5)

式中，E为影像区域实际的边界长度；N为影像区域的象元总数；L为包含影像区域范围的矩形边界总长度。

当合并相邻的两个小影像区域时，合并新生成的更大影像区域的异质性f′计算式为

f'＝w₁x'+(1-w₁)y' (6)

式中，x′,y′分别为合并新生成的更大影像区域的光谱异质性和形状异质性。设对相邻影像区域1和相邻影像区域2进行合并，x′,y′求取如下，

y′＝w₂u′+(1-w₂)v′ (8)

式中，N′,σ′_i分别为新生成的更大影像区域的像元总数和其所在第i通道光谱值的标准差；N₁,分别为合并前相邻影像区域1的像元总数和其所在第i通道光谱值的标准差；N₂,分别为合并前相邻影像区域2的像元总数和其所在第i通道光谱值的标准差。u′和v′表示新生成的更大影像区域的整体紧密度与边界平滑度，其计算分别为

式中，E′，L′分别为合并新生成的更大影像区域的实际边界长度和包含该新生成影像区域范围的矩形边界总长度；E₁，L₁分别为合并前的相邻影像区域1的实际边界长度和包含该影像区域范围的矩形边界总长度；E₂，L₂分别为合并前的相邻影像区域2的实际边界长度和包含该影像区域范围的矩形边界总长度。

在多尺度分割过程中，主要的分割参数有：各波段权重、分割尺度、光谱异质性指标权重和形状异质性指标权重(二者和为1)，其中，形状的异质性指标是由平滑与紧密两个子异质性指标所构成(权重之和为1)。实施例中，参与分割的波段为可见光波段，权重相等，形状异质性指标权重为0.1，平滑与紧密两个子异质性指标权重均为0.5。

(3)初始特征提取：实施例中分类体系划分为裸露土地、建筑物、林地、道路交通、草地、水体六类，基于步骤2分割得到的对象图层，每类各选择1500个样本，其中1000个用于训练，500个用于验证模型精度，共6000个训练样本用于模型训练与特征空间分析，3000个验证样本用于精度评定。原始特征向量如表1，选取对象的图层、几何以及GLCM灰度共生矩阵纹理信息，初始特征维度为120。

(4)优化特征空间：通过分割形成的影像对象在面向对象的分类方法中为新的信息载体，其包含有光谱、形状、纹理、层次等特性，这些特性称为特征(Features)。充分利用影像对象的这些特征信息能够产生更加精确的分类结果，对特征空间进行合理的特征选择，将经过优选之后的特征空间作为分类特征，有助于提高分类器的分类效率及精度。

随机森林分类器可通过OOB平均下降精度、Gini指数来度量特征重要性。OOB平均下降精度衡量特征重要性FIM(Feature Importance Measures)：

FIM＝∑(errOOB2-errOOB1)/Ntree (11)

其中，errOOB1为每棵决策树袋外数据误差，errOOB2为对袋外数据OOB所有样本的特征X加入噪声干扰，再次计算得到的袋外数据误差。

通过Gini指数GI来衡量特征重要性，假设有m个特征X₁,X₂,X₃,…,X_m，要计算出每个特征X_j的Gini指数评分亦即第j个特征在RF所有决策树中节点分裂不纯度的平均改变量。Gini指数计算公式为：

其中，K表示有K个类别，|K|为类别个数，k′表示除k之外的类别，p_mk′表示节点m中类别k′所占的比例，p_mk表示节点m中类别k所占的比例。

特征X_j在节点m的重要性，即节点m分枝前后的Gini指数变化量为：

其中，GI_l和GI_r分别表示分枝后两个新节点的Gini指数。如果，特征X_j在决策树i中出现的节点在集合M中，那么X_j在第i棵树的重要性为：

假设RF中共有n棵树，那么X_j重要性评分为

最后，所有求得的重要性评分归一化：

表1

表2

表3

本发明通过随机森林OOB平均精度下降与Gini指数实现特征空间分析。选取初始特征空间，初始特征空间特征重要性衡量如图5所示，图5(a)为OOB精度下降，图5(b)为Gini指数。根据两指数排序特征重要性如表2，针对中红外特征，最有效特征为与可见光其中两波段组合HIS空间各分量特征，其次为GLCM纹理信息。结合两种指数，通过排序特征变量重要性指标优化选择特征空间，实施例中优化特征空间如表3所示，优化特征向量维数为40。

(5)随机森林分类：基于步骤2分割结果与步骤4优化特征空间，本步骤实现基于随机森林的面向对象分类。随机森林(Random Forests)算法是Leo Breiman继Bagging算法之后，提出的另一种利用多个树学习器进行分类和回归的组合算法。如图6所示，它是利用bootstrap重抽样方法从原始样本中抽取多个重抽样样本集，对每个bootstrap样本进行决策树建模得到决策树分类模型集：

{h(X,Θ_k),k＝1…} (17)

其中X为给定自变量，专利中具体为所选训练样本；参数集{Θ_k}是独立同分布的随机向量，专利中具体为bootstrap重抽象形成的训练特征向量集；K为随机森林中决策树棵数。

随机森林实现细节可参考文献：[1]Breiman,L.,Bagging predictors[J].Machine Learning,1996,24:123-140.[2]Breiman,L.,Random forests[J].MachineLearning,2001,45:5-32

如图6所示，主要步骤如下：

1.自助法(booststrap)方法随机抽样：该抽样方法即为有放回的抽样，假定样本数为M，重复M次随机抽样，即可得到M的新样本。从原始样本集中使用bootstrap方法随机抽取M个训练样本，共进行k轮抽取，得到k个训练集，分别记为S₁,S₂,…S_k。(k个训练集之间相互独立，元素可以有重复)。

2.对于k个训练集，训练k个决策树，分别记为决策树1、决策树2、…决策树k。指定随机特征个数n＜＜N，随机地从N个特征中选取n个特征作为子集，每棵树进行分裂时，从这n个特征中选择最优的特征。

3.由k个决策树的分类结果1，分类结果2，…，分类结果k投票表决产生分类结果。

随机森林主要参数有：决策树数量，随机特征个数；专利中特征空间优化与随机森林分类参数均为决策树数量100，随机特征个数N为初始特征维数。

利用本发明技术方案，对实验影像进行分类，利用步骤3选取的验证样本评估可见光影像单独分类与融合影像分类精度差异，分类混淆矩阵见表4、表5。混淆矩阵中人工地物(建筑物、道路交通)与非人工地物(林地、草地与裸露土地)的精度提升可知：引入中波红外波段后，人工地物制图精度提升了2.8％，非人工地物制图精度仅提升了1.25％。故中波红外波段对于人工地物的分类效果优于非人工地物类型。

表4

表5

具体实施时，可采用计算机软件技术实现以上流程的自动运行。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种融合中波红外与可见光的遥感影像分类方法，其特征在于：融合中波红外和可见光的遥感影像分类，针对中波红外影像，通过特征空间定量评估，包括以下步骤，

步骤1，数据准备，包括利用POS系统及地面实测控制点制作可见光与中红外正射影像，合并为多光谱影像；

步骤2，影像分割，根据同质性标准，基于多尺度分割算法分割影像得到对象图层；

步骤3，初始特征提取，基于分割形成的对象图层选取分析样本及特征空间；

步骤4，优化特征空间，分析步骤3提取的原始特征空间，利用随机森林OOB平均下降精度与Gini指数优化特征空间；

步骤5，随机森林分类，基于步骤2得到的分割结果与步骤4确定的优化特征空间利用随机森林分类器进行分类。

2.根据权利要求1所述融合中波红外与可见光的遥感影像分类方法，其特征在于：步骤2中，基于多尺度分割算法分割影像的实现方式为，首先基于像元，根据同质性标准合并像元，然后基于合成的对象结合设置的尺度参数继续合并影像对象，循环处理直至同质性指标大于尺度参数，分割停止。

3.根据权利要求2所述融合中波红外与可见光的遥感影像分类方法，其特征在于：所述同质性标准通过图像的局部区域异质性f评价。

4.根据权利要求3所述融合中波红外与可见光的遥感影像分类方法，其特征在于：图像的局部区域异质性f包含光谱异质性和形状异质性两方面，计算如下，

f＝w₁x+(1-w₁)y (1)

式中，w₁为光谱异质性的权重，0≤w₁≤1，x为光谱异质性，y为形状异质性。

5.根据权利要求4所述融合中波红外与可见光的遥感影像分类方法，其特征在于：光谱异质性和形状异质性计算如下，

y＝w₂u+(1-w₂)v (3)

式中，σ_i为第i通道光谱值的标准差，p_i为第i通道的权，n为通道数量，是待分割影像波段数；u为影像区域整体紧密度，v为影像区域边界平滑度，w₂为形状异质性计算式中区域整体紧密度分量的权重，0≤w₂≤1。

6.根据权利要求5所述融合中波红外与可见光的遥感影像分类方法，其特征在于：当合并相邻的两个小影像区域时，合并新生成的更大影像区域的异质性f′计算如下，

f'＝w₁x'+(1-w₁)y' (6)

式中，x′,y′分别为合并新生成的更大影像区域的光谱异质性和形状异质性。

7.根据权利要求6所述融合中波红外与可见光的遥感影像分类方法，其特征在于：设对相邻影像区域1和相邻影像区域2进行合并，合并新生成的更大影像区域的光谱异质性和形状异质性计算如下，

y′＝w₂u′+(1-w₂)v′ (8)

式中，N′,σ′_i分别为新生成的更大影像区域的像元总数和其所在第i通道光谱值的标准差；N₁,分别为合并前相邻影像区域1的像元总数和其所在第i通道光谱值的标准差；N₂,分别为合并前相邻影像区域2的像元总数和其所在第i通道光谱值的标准差，u′和v′表示新生成的更大影像区域的整体紧密度与边界平滑度。