CN111680579A - 一种自适应权重多视角度量学习的遥感图像分类方法 - Google Patents

Abstract

本发明提供一种自适应权重多视角度量学习的遥感图像分类方法，所述方法包括以下步骤：步骤一：SW‑MVML使用多个视角下的数据特征学习具有分辨力的度量空间，使得在度量空间内相似图像紧凑，不相似图像尽可能地远离；步骤二：同时SW‑MVML中引入权重向量，在度量学习的过程中能自适应地调节各视角间的权重关系；步骤三：利用核技巧将SW‑MVML扩展至非线性空间，非线性SW‑MVML能更有效挖掘隐藏于视角间的关联和互补信息。鉴于遥感图像的高维特性，多视角方法利用不同视角间的互补信息能够更好地区分不同类别的空间信息，能提高遥感图像的分类精度。非线性SW‑MVML在所有场景类别中都实现了最佳的分类性能。

Description

一种自适应权重多视角度量学习的遥感图像分类方法

技术领域

本发明涉及遥感图像技术领域，尤其涉及一种自适应权重多视角度量学习的遥感图像分类方法。

背景技术

近年来，随着遥感技术的发展，遥感卫星成像技术已广泛应用于农业、地质、林业、区域规划等领域，用于分析和管理自然资源和人类活动。其中，遥感图像的场景分类受到广泛关注，因为场景分类与人类存在有关的活动密切相关。不同于一般计算机视觉任务中的自然图像(如人脸识别)，遥感图像的场景分类场景通常具有复杂的地面物体排列，其包含的内在信息更丰富，例如，物体可能以不同的尺度和方向出现；对象数量(密集的居住场景和稀疏的居住场景)以及这些对象之间的空间关系等，这些信息容易导致场景分类出现类内差异大、类间差异小的问题。因此，场景分类的关键问题是如何提取有效特征和提高分类的精度。

目前常用于遥感图像特征提取方法有颜色、纹理、空间信息、光谱信息等，例如，scale-invariant feature transform(SIFT)和local binary patterns(LBP)是纹理特征提取的代表。许多算法如空间共生和空间关系金字塔，通常使用SIFT特征来进行遥感图像的分类。LBP则常和主成分分析和多尺度信息等方法结合使用来表示场景图像。但遥感图像的信息量往往与其种类分布密切相关，例如沙漠、草地这类图像的信息量和商业区、港口这类图像差别很大，因此传统的各类浅层次的信息不能满足遥感场景分类的需要。另外，这些特征提取方法也不能适应多种特征的复杂组合，当某些类别对应的特征不够显著则会造成后续分类器精度的降低。

基于一致性原理和互补性原理，多视角学习方法可以综合利用从多途径或多层次获取的一组数据特征。这些独立而多样的特征可以分别从遥感场景的纹理、结构、颜色信息和多层次特征中提取出来。多视角数据的每个视角可能包含其他视角中不可用的特定信息，多视角学习可以从多个视角出发同时利用多种特征提取方法获得的遥感图像信息，从而提高遥感图像场景分类的性能。例如，Luus F P S,Salmon B P,Van d B F,Maharaj B TJ.Multiview deep learning for land-use classification[J].IEEE Geoscience andRemote Sensing Letters,2015,12(12):2448-2452等提出了一种基于多视角深度学习的方法，该方法使用多尺度输入策略进行多光谱土地分类。Yang X,Liu W,Tao D,ChengJ.Canonical correlation analysis networks for two-view image recognition[J].Information Sciences,2017,385-386:338-352.

等提出了一种双视角相关分析网络，然后将该模型扩展到多视图学习模型，利用叠层多视角滤波器组来构造深卷积结构。为了减少空间/辐射分辨率的差异和不同视角下的变化，Lefèvre S,Tuia D,Wegner J D,Produit T,Nassar A S.Toward seamlessmultiview scene analysis from satellite to street level.Proceedings oftheIEEE,2017,105(10),

1884-1899.提出了一种无缝多视图场景分析方法，将从地面和俯视获取的图像结合起来，并使用多视图图像完成从卫星到街道的场景重建和分类。宋飞,杨扬,杨昆,张愫,毕东升.基于双特征的丘陵山区耕地低空遥感图像配准算法[J].北京航空航天大学学报,2018,

44(09):1952-1963.提出了一种基于两个视角的丘陵山区耕地低空遥感图像配准方法，用于解决航拍图像的尺度变化、几何畸变、图像重叠等问题。吴芳青,杨扬,潘安宁,杨昆.利用混合特征的多视角遥感图像配准[J].中国图象图形学报,2017,22(08):1154-1161了一种利用遥感图像几何结构的多视角图像配准算法。该方法通过利用全局与局部几何结构特征的互补关系来提高多视角遥感图像配准的精度。虽然随着深度学习技术的发展，深度学习方法在许多计算机视觉任务中获得有效的描述，但在标记样本数量有限的情况下，遥感图像产生的高维特征空间给深度学习分类器的开发带来了巨大的挑战，而且深度学习模型需要额外的硬件支持，时间复杂度高、训练时间较长。

发明内容

针对现有技术的不足，本发明的目的是提供一种自适应权重多视角度量学习的遥感图像分类方法，SW-MVML基于分类目的在多个视角之间学习具有分辨能力的度量空间，利用不同视图特征的多样性和互补性，使得相似图像在度量空间紧凑，不相似图像在度量空间尽可能地分离。同时，引入权重向量，SW-MVML能对各视角进行了自适应加权处理，在度量矩阵学习过程中有效地调节各视角间的权重关系。然后，利用核技巧，将SW-MVML扩展至非线性空间，使得每个视角能在分类任务中具有更强的判别能力。

本发明提供一种自适应权重多视角度量学习的遥感图像分类方法，所述方法包括以下步骤：

步骤一：SW-MVML使用多个视角下的数据特征学习具有分辨力的度量空间，使得在度量空间内相似图像紧凑，不相似图像尽可能地远离；

步骤二：同时SW-MVML中引入权重向量，在度量学习的过程中能自适应地调节各视角间的权重关系；

步骤三：利用核技巧将SW-MVML扩展至非线性空间，非线性SW-MVML能更有效挖掘隐藏于视角间的关联和互补信息。

进一步改进在于：所述度量学习使用距离度量，给定数据集

x_i表示输入空间的第i个样本，两幅图像x_i和x_j之间的距离度量写成

进一步改进在于：所述不同特征提取方法得到的多视角图像数据集为{X¹,X²,...,X^L}，其中X^l为第l个视角下的数据子集，

表示样本x_i在第l个视角下的特征向量，任意的一个图像对表示为

θ表示其相应的图像对标签，θ＝1表示图像对

和

是相似的，θ＝-1表示图像对

和

是不相似的。

进一步改进在于：所述SW-MVML旨在学习一个具有分辨能力的映射空间，使得相似图像尽可能接近，不相似图像尽可能远离，即在新的度量空间中有更紧凑的类内距离和更可分的类间距离。

进一步改进在于：所述SW-MVML采用多视图学习框架来利用多个视角间的关联性和差异性，通过学习不同数据特征的互补信息使得所提出的方法更具区分性。

假设根据不同特征提取方法得到的多视角图像数据集为{X¹,X²,...,X^L}，其中X^l为第l个视角下的数据子集，

表示样本x_i在第l个视角下的特征向量，任意的一个图像对可表示为

θ表示其相应的图像对标签，θ＝1表示图像对

和

是相似的，θ＝-1表示图像对

和

是不相似的。

根据样本的空间分布定义2个图像对集合S和D：S＝{(x_i,x_j)|x_i and x_j aresimilar}和D＝{(x_i,x_j)|x_i and x_j are dissimilar}。

SW-MVML方法使用每个视角的类内散度和类间散度来分别描述类内的紧凑性和类间的可分性，第l个视角的类间和类内散度写成以下形式：

其中其中|S|和|D|分别表示S和D中图像对的数量。

M是半正定矩阵，分解为M＝HH^T，使用矩阵H重新构造第l个视角的类间和类内散度：

SW-MVML的目标式表示为：

s.t.H^TH＝I,

其中向量Δ＝[Δ₁,Δ₂,...,Δ_L]是权重向量,其分量Δ_l表示各视角的重要程度。引入模糊指数r(r>1)，将权重Δ_l改写为

SW-MVML目标式进一步表示为：

s.t.H^TH＝I,

设

将SW-MVML

s.t.H^TH＝I,

目标式简写为以下形式：

使用迭代优化策略交替求解参数{H,Δ}，将SW-MVML目标式简写式写

成最优化问题式：s.t.H^TH＝I.，将最优化问题式转化为一个特征值分解问题

固定矩阵H求解Δ，引入拉格朗日乘子α，SW-MVML目标式简写式写成

对应的极值的必要条件为

同时考虑

得到以下公式：

Δ_l的解析解表示为

使用核技巧将线性SW-MVML拓展至非线性SW-MVML，利用非线性对称正定核函数φ(·)，将数据样本投影到再生核Hilbert Space(RKHS)空间[18,19]中，样本xi和xj的内积表示为：

再次基础上，使用核函数φ(·)将线性投影矩阵

映射到一个低维特征空间R^r，即

因此，特征空间R^r中马氏距离可以表示为

设

β＝[β₁,β₂,...,β_N]^T,其中N是样本的数量,

和

表示为

则

在空间R^r中的投影表示为

其中

此时，特征空间R^r的马氏距离写成以下形式

矩阵S^l和式(8)中的矩阵D^l在特征空间R^r可以表示为

设

由此可得非线性SW-MVML的目标函数

本发明的有益效果是：鉴于遥感图像的高维特性，多视角方法利用不同视角间的互补信息能够更好地区分不同类别的空间信息，能提高遥感图像的分类精度。非线性SW-MVML在所有场景类别中都实现了最佳的分类性能。因为非线性SW-MVML方法通过多视角度量学习模型能同时利用多个视角的数据特征，同时在多视角协同学习的基础上考虑了视角加权，使得在特征空间下相似图像尽可能紧凑，不相似图像尽可能远离，从而提高遥感场景数据的分类能力。同时，通过使用核技术，非线性SW-MVML能更有效挖掘隐藏于视角间的关联信息。

附图说明

图1是本发明的线性SW-MVML和非线性SW-MVML在Google和WHU-RS数据集上的分类性能比较图。

图2是本发明的非线性SW-MVML在Google数据集上的分类结果混淆矩阵图。

图3是本发明的非线性SW-MVML在WHU-RS数据集上的分类结果混淆矩阵图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。本实施例提供一种自适应权重多视角度量学习的遥感图像分类方法，所述方法包括以下步骤：

步骤一：SW-MVML使用多个视角下的数据特征学习具有分辨力的度量空间，使得在度量空间内相似图像紧凑，不相似图像尽可能地远离；

步骤二：同时SW-MVML中引入权重向量，在度量学习的过程中能自适应地调节各视角间的权重关系；

步骤三：利用核技巧将SW-MVML扩展至非线性空间，非线性SW-MVML能更有效挖掘隐藏于视角间的关联和互补信息。

所述度量学习使用距离度量，给定数据集

x_i表示输入空间的第i个样本，两幅图像x_i和x_j之间的距离度量写成

所述不同特征提取方法得到的多视角图像数据集为{X¹,X²,...,X^L}，其中X^l为第l个视角下的数据子集，

表示样本x_i在第l个视角下的特征向量，任意的一个图像对表示为

θ表示其相应的图像对标签，θ＝1表示图像对

和

是相似的，θ＝-1表示图像对

和

是不相似的。所述SW-MVML旨在学习一个具有分辨能力的映射空间，使得相似图像尽可能接近，不相似图像尽可能远离，即在新的度量空间中有更紧凑的类内距离和更可分的类间距离。

所述SW-MVML采用多视图学习框架来利用多个视角间的关联性和差异性，通过学习不同数据特征的互补信息使得所提出的方法更具区分性。

首先描述实验中使用的Google数据集和WHU-RS数据集。Google数据集是一个空中场景数据集，由12类空中场景图像组成，每个类包含200幅图像。每张图像的大小为200×200像素，每个像素使用RGB光谱测量。WHU-RS数据集也是一个空中场景数据集，包含19类共950幅卫星图像，每个像素使用RGB光谱测量。每张图像的大小为600×600像素。

为了有效地表示遥感图像，实验采用两种不同的特征表示方法进行遥感场景分类：一种是传统的特征表示方法，包括LBP,SIFT和maximum response 8(MR8)，得到的特征维数分别是36维、1024维和12维。另一种是一组深层特征,包括UCNN1,UCNN2,UCNN3和UCNN4,它们分别由4个不同特征提取层的卷积神经网络提取获得。4个卷积神经网络分别具有1到4个特征提取层，提取得到的特征维数均为1024。实验中每个视角使用的不同特征表示的详细信息如表1所示。

表1不同视角使用的特征表示

在SW-MVML算法评价的实验中，对比了2类方法：单视角分类方法和多视角分类方法。3种单视角分类方法包括neighborhoodpreserving embedding(NPE),maximallycollapsing metric learning(MCML)和information-theoretic metric learning(ITML)；3种多视角分类方法包括collaborative multi-view metric learning(CMML),multiview TSK fuzzy system(MV-TSK-FS)和multi-view core vectormachine(MvCVM)。实验采用网格搜索的方式选择最佳的参数，ITML中松弛变量设置为{0.01,0.1,1,10}。CMML中平衡参数＝1，学习率＝10-⁶，参数p＝5。MV-TSK-FS中模糊规则设置为{5,10,...,30}，3个正则化参数设置为{10-²,10-¹,...,10²}。MvCVM各视角惩罚因子在网格{1,10¹,...,10⁶}中搜索选取。实验中所有的核函数使用高斯核k(x_i,x_j)＝exp(-||x_i-x_j||²/σ)，核参数在网格{10^-2,10^-1,...,10²}中搜索选取。线性SW-MVML和非线性SW-MVML都使用SVM作为分类器，模糊指数的值设为2。所有算法的运行环境为CPU I7-8700k 3.2GHZ、32GB RAM，运行软件为Matlab2016。从Google数据集中随机选择80％的图像进行训练，对剩余的20％图像进行测试。因为WHU-RS数据集每种分类的图像较少，随机选择30个样本进行训练，并选择20个样本进行测试。评价标准采用分类精确率，实验执行10次并记录每次结果的分类准确性。

首先比较了线性SW-MVML和非线性SW-MVML在Google和WHU-RS数据集上的分类性能。图1分别显示了这两种方法在Google和WHU-RS数据集上的分类性能。可以看到，非线性SW-MVML在Google和WHU-RS遥感图像数据集上的分类准确率比线性SW-MVML高1.2％和1.6％。这些结果表明，使用核技术可以提高SW-MVML在遥感场景图像的分类性能。为了进一步验证非线性SW-MVML的分类性能，表2-3显示了非线性SW-MVML在Google和WHU-RS数据集上的混淆矩阵。混淆矩阵显示了每个场景类别的分类情况，混淆矩阵中的值表示对应的类别中分类正确的图像数。Google数据集中每个场景类别的测试数据包含40张图像。非线性SW-MVML在水，住宅和商业场所中对所有样本均分类正确，准确率为100％；在公园、草地、闲置土地、工业和农业中分类的准确率超过90％。在WHU-RS数据集上，除了桥梁、工业、港口和住宅的场景类别外，非线性SW-MVML对其他15个场景类别分类的准确性超过90％。在以下实验中，使用非线性SW-MVML与其它算法进行比较。

表2Google数据集上所有方法的分类精度比较

表3WHU-RS数据集上所有方法的分类准确度比较

通过充分利用利用多个视角间的关联性和差异性，该方法学习一种判别度量空间，以使相似图像紧凑和不相似图像尽可能分离。投影到RKHS中的低维判别空间，提出模型显示出更佳的分类性能。

Claims (5)

1.一种自适应权重多视角度量学习的遥感图像分类方法，其特征在于：所述方法包括以下步骤：

步骤一：SW-MVML使用多个视角下的数据特征学习具有分辨力的度量空间，使得在度量空间内相似图像紧凑，不相似图像尽可能地远离；

步骤二：同时SW-MVML中引入权重向量，在度量学习的过程中能自适应地调节各视角间的权重关系；

步骤三：利用核技巧将SW-MVML扩展至非线性空间，非线性SW-MVML能更有效挖掘隐藏于视角间的关联和互补信息。

2.如权利要求1所述的一种自适应权重多视角度量学习的遥感图像分类方法，其特征在于：所述度量学习使用距离度量，给定数据集

x_i表示输入空间的第i个样本，两幅图像x_i和x_j之间的距离度量写成

3.如权利要求1所述的一种自适应权重多视角度量学习的遥感图像分类方法，其特征在于：所述不同特征提取方法得到的多视角图像数据集为{X¹,X²,...,X^L}，其中X^l为第l个视角下的数据子集，

表示样本x_i在第l个视角下的特征向量，任意的一个图像对表示为

θ表示其相应的图像对标签，θ＝1表示图像对

和

是相似的，θ＝-1表示图像对

和

是不相似的。

4.如权利要求1所述的一种自适应权重多视角度量学习的遥感图像分类方法，其特征在于：所述SW-MVML旨在学习一个具有分辨能力的映射空间，使得相似图像尽可能接近，不相似图像尽可能远离，即在新的度量空间中有更紧凑的类内距离和更可分的类间距离。

5.如权利要求1所述的一种自适应权重多视角度量学习的遥感图像分类方法，其特征在于：所述SW-MVML采用多视图学习框架来利用多个视角间的关联性和差异性，通过学习不同数据特征的互补信息使得所提出的方法更具区分性。

Images