CN110728187B - 一种基于容错性深度学习的遥感影像场景分类方法 - Google Patents

Abstract

本发明公开了一种基于容错性深度学习的遥感影像场景分类方法，首先将原始遥感影像场景数据集随机分割为多个子数据集，在每个子数据集上分别学习深度卷积网络模型；接着使用训练得到的多个深度卷积网络模型投票，将原始数据集分割为强数据集和弱数据集，用强数据集作为监督信息，使用多特征协同表示分类来修正弱数据集中样本的标签，从而更新数据集，重复上述过程直到达到迭代次数；最后使用得到的多个深度卷积网络模型投票的方法预测测试影像的标签。本发明有效提高了错误标签约束下遥感影像场景数据集的分类精度，可用于影像处理、分类等工程应用问题，有效提高性能。

Description

一种基于容错性深度学习的遥感影像场景分类方法

技术领域

本发明属于遥感和摄影测量技术领域，涉及一种基于深度学习的遥感影像场景分类方法，尤其是涉及一种基于容错性深度学习的遥感影像场景分类方法。

背景技术

遥感影像场景分类通过感知场景中多个目标以及目标间的空间分布关系来预测场景的语义类别。与传统的像素级或对象级遥感影像分类技术相比，遥感影像场景分类可以有效降低遥感影像解译的歧义性，从而提高遥感影像解译稳定性及精度。遥感影像场景分类在多个方面展现了巨大的应用前景，例如灾害救援、经济预测、环境评估等。随着相关领域技术的深度交叉发展，深度学习已经可以有效改善遥感影像场景分类任务的性能。然而，深度学习的优越表现依赖于大量准确标注的样本。当训练样本的标签存在错误时，深度学习的性能会不可避免地下降。在遥感大数据时代，原始遥感影像数据相对容易获取，但海量数据的标注工作很难完成。为了加速样本标注的过程，人们开发了两类遥感影像场景的贪心标注算法：一类方法将大量的样本通过自动化算法聚集为有限数目的聚类，再由人工对每一个聚类进行标注；另一类方法使用众源地理空间语义信息来对遥感影像场景进行标注。上述两类加速标注过程的方法虽然节省了标注所需花费的时间与人力成本，但是不可避免地会引入错误标签。因此，如何基于包含错误标签的遥感影像场景数据集训练出鲁棒的深度网络具有重要的现实意义。在学术界，计算机视觉的研究人员们开发了许多容错性深度学习的方法来减少通过网络获取的自然影像数据集中错误标签的影响。然而错误标签约束下的遥感影像场景分类问题却鲜有研究。与自然影像相比，遥感影像通常具有更为复杂的光谱信息与结构信息，无法直接将现有的自然影像容错性深度学习方法应用到遥感领域中。因此，将容错性策略与深度学习结合是解决错误标签约束下遥感影像场景分类问题最具潜力的方法。遥感影像容错性深度学习技术的研究非常紧迫并且还需要进行大量的探索。

发明内容

本发明立足于大范围遥感影像场景数据集的准确标签难以获得这一现实问题，提出了一种基于容错性深度学习的遥感影像场景分类方法，可以充分利用较易获得的含有错误标签的遥感影像场景数据集，在含有错误标签的遥感影像场景数据集约束下训练出鲁棒性好的深度网络分类模型，从而有效提高遥感影像场景的分类精度。

本发明所采用的技术方案是：一种基于容错性深度学习的遥感影像场景分类方法，包括以下步骤：

步骤1：输入原始遥感影像场景数据集Γ_R＝{(I₁，O₁)，(I₂，O₂)，…，(I_r，O_r)}，其中I_r表示遥感影像场景，O_r表示可能错误的遥感影像场景标签，r表示Γ_R中遥感影像场景的数目。初始化修正后的数据集Γ_C＝Γ_R，强数据集

弱数据集

其中强数据集中含有准确的标签，弱数据集中含有不准确的标签；

步骤2：将步骤1中修正后的数据集Γ_C随机分割为Z个子数据集；

步骤3：在步骤2中的子数据集Γ_viewID上学习深度卷积网络模型超参数Φ_viewID，其中viewID＝1，2，…，Z；

步骤4：使用步骤3中的Z个深度卷积网络模型预测样本的标签，根据预测结果将修正后的数据集Γ_C分割为强数据集Γ_S和弱数据集Γ_W；

步骤5：用步骤4中的强数据集Γ_S作为监督信息，使用多特征协同表示分类修正步骤4中的弱数据集Γ_W中每个样本的标签，其中多特征协同表示分类所使用的特征为步骤3的Z个深度卷积网络模型的全连接层输出；

步骤6：更新修正后的数据集Γ_C＝Γ_S∪Γ′_W，其中Γ′_W表示修正后的Γ_W；

步骤7：重复步骤2-6直到达到迭代次数；

步骤8：经过多次迭代后最终获得的Z个深度卷积网络模型，通过多模型投票的方法预测遥感影像场景I的标签。

进一步的，步骤2中的Z个子数据集{Γ₁，Γ₂，…，Γ_Z}满足Γ_C＝Γ₁∪Γ₂∪…∪Γ_Z且

i＝1，2，…，Z；j＝1，2，…，Z。

进一步的，步骤3中在Z个子数据集上分别学习Z个不同的深度卷积网络模型，Z个深度卷积网络模型具有相同的网络结构，它们的超参数表示为{Φ₁，Φ₂，…，Φ_Z}。

进一步的，步骤4中使用步骤3中的Z个深度卷积网络模型预测样本的标签，若所有模型针对某样本预测均相同，则认为该样本的标签具有高置信度，将该样本及其标签纳入强数据集；反之，则认为该样本的标签有误，将该样本及其标签纳入弱数据集；强数据集中含有sn个样本，表示为Γ_S＝{(I₁，O₁)，(I₂，O₂)，…，(I_sn，O_sn)}；弱数据集中含有wn个样本，表示为Γ_W＝{(I₁，O₁)，(I₂，O₂)，…，(I_wn，O_wn)}，其中Γ_C＝Γ_S∪Γ_W且r＝sn+wn。

进一步的，步骤5的具体实现包括以下子步骤：

步骤5.1：将步骤4中的强数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为多特征协同表示所使用的训练特征集X＝{X¹，X²，…，X^M}，其中M表示特征的种类；

表示遥感影像场景使用第v种特征得到的特征矩阵，d_v表示第v种特征的维度，N表示遥感影像场景训练集的数目；

其中

表示第i类遥感影像场景的第v种特征矩阵，

的每一列表示第i类遥感影像场景的第v个特征向量；

步骤5.2：同样地，将步骤4中的弱数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为测试特征集y＝{y₁，y₂，…，y_M}，其中M为特征的种类，

表示测试遥感影像场景的第v种特征，d_v表示第v种特征的维度；

步骤5.3：初始化特征权重w(0)＝[w₁(0)，w₂(0)，…，w_M(0)]；

步骤5.4：按照下式更新协同表示向量：

其中k为迭代次数k＝1，2，…，K，β表示正则化参数，ρ(k)表示第k次迭代中的协同表示向量，w＝[w₁，w₂，…，w_M]表示不同特征的权重向量，I表示单位矩阵；

步骤5.5：按照下式更新特征权重向量：

步骤5.6：重复步骤5.4-5.5直到达到迭代次数K，并取最后一次迭代的值来更新特征权重向量

与协同表示向量

步骤5.7：根据步骤5.6中的特征权重向量

与协同表示向量

测试特征集的类重建残差按照下式计算：

其中i表示类别序号i＝1，2，…，C；

表示第i类遥感影像场景的协同表示子向量；

步骤5.8：根据步骤5.7中的类重建残差推断测试遥感影像场景的标签：

其中t(y)表示测试遥感影像场景的标签。

进一步的，步骤8中使用多模型投票预测遥感影像场景I的标签可按照下式计算：

其中，t表示预测的遥感影像场景I的标签，c表示类别，d表示深度卷积网络模型的序号，V_d＝Ψ(I；Φ_d)∈R^T×1表示遥感影像场景I输入第d个带有超参数Φ_d的深度卷积网络模型得到的softmax层输出，T表示类别的数目。

本发明具有如下优点：多个深度卷积网络模型的训练与错误标签的修正分别以迭代优化的方式交替进行，对错误标签的修正提高了深度卷积网络模型的性能，而更好的深度卷积网络模型提高了提取特征的质量，从而进一步地修正错误标签。两个过程相辅相成，互相促进；提出了一种新颖的多特征协同表示分类器，该分类器能自适应地组合多个特征。相较于现有方法而言，有效提高了错误标签约束下遥感影像场景数据集的分类精确度，同时保证了方法运行的效率。

附图说明

图1为本发明实施例的总体流程图；

图2为本发明实施例的深度卷积网络结构示意图；

图3为本发明实施例的测试数据集所含样本示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于容错性深度学习的遥感影像场景分类方法，包括以下步骤：

步骤1：输入原始遥感影像场景数据集Γ_R＝{(I₁，O₁)，(I₂，O₂)，…，(I_r，O_r)}，其中I_r表示遥感影像场景，O_r表示可能错误的遥感影像场景标签，r表示Γ_R中遥感影像场景的数目。初始化修正后的数据集Γ_C＝Γ_R，强数据集

弱数据集

其中强数据集中含有准确的标签，弱数据集中含有不准确的标签。

步骤2：将步骤1中修正后的数据集Γ_C随机分割为Z个子数据集，其中{Γ₁，Γ₂，…，Γ_Z}满足Γ_C＝Γ₁∪Γ₂∪…∪Γ_Z且

i＝1，2，…，Z；j＝1，2，…，Z。

步骤3：在步骤2中的子数据集Γ_viewID上学习深度卷积网络模型超参数Φ_viewID，其中viewID＝1，2，…，Z。请见图2，这Z个模型具有相同的网络结构，它们的超参数可表示为{Φ₁，Φ₂，…，Φ_Z}。

表1展示了本方法所使用深度卷积网络模型的网络结构，该网络结构所处理的输入影像大小为224×224×3。在表1中，“卷积核”具体规定了卷积核的数目num，卷积核感受野的大小size，输入数据的维度dim，用公式表示为num×size×size×dim；“步长1”表示卷积的滑动步长；“下采样”代表下采样的窗口大小；“步长2”代表下采样的滑动步长。如表1所示，该网络结构含有5个卷积层，3个全连接层和1个softmax分类层。

表1深度卷积网络模型的结构配置

步骤4：使用步骤3中的Z个深度卷积网络模型预测样本的标签。若所有模型针对某样本预测均相同，则认为该样本的标签具有较高置信度，将该样本及其标签纳入强数据集；反之，则认为该样本的标签可能有误，将该样本及其标签纳入弱数据集。强数据集中含有sn个样本，表示为Γ_s＝{(I₁，O₁)，(I₂，O₂)，…，(I_sn，O_sn)}；弱数据集中含有wn个样本，表示为Γ_W＝{(I₁，O₁)，(I₂，O₂)，…，(I_wn，O_wn)}。其中Γ_C＝Γ_S∪Γ_W且r＝sn+wn。需要注意的是，该步骤仅在第一次迭代时进行。

步骤5：用步骤4中的强数据集Γ_S作为监督信息，使用多特征协同表示分类修正步骤4中的弱数据集Γ_W中每个样本的标签。其中多特征协同表示分类所用的特征为步骤3的Z个深度卷积网络模型的全连接层输出，多个深度卷积网络模型的训练与数据集中错误标签的修正均分别以迭代优化的方式交替进行。具体包括以下子步骤：

步骤5.1：将步骤4中的强数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为多特征协同表示所使用的训练特征集X＝{X¹，X²，…，X^M}。其中M表示特征的种类，由于步骤3中所采用的网络结构含有3层全连接层，这里M＝3×Z。

表示遥感影像场景使用第v种特征得到的特征矩阵，d_v，表示第v种特征的维度，N表示遥感影像场景训练集的数目。另外，

其中

表示第i类遥感影像场景的第v种特征矩阵，

的每一列表示第i类遥感影像场景的第v个特征向量。

步骤5.2：同样地，将步骤4中的弱数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为测试特征集y＝{y¹，y²，…，y^M}。其中M为特征的种类，M＝3×Z。

表示测试遥感影像场景的第v种特征，d_v表示第v种特征的维度。

步骤5.3：初始化特征权重w(0)＝[w₁(0)，w₂(0)，…，w_M(0)]。

步骤5.4：按照下式更新协同表示向量：

其中k为迭代次数k＝1，2，…，K，β表示正则化参数，ρ(k)表示第k次迭代中的协同表示向量，w＝[w₁，w₂，…，w_M]表示不同特征的权重向量，I表示单位矩阵。

步骤5.5：按照下式更新特征权重向量：

步骤5.6：重复步骤5.4-5.5直到达到迭代次数K，其中迭代次数K根据具体情况而定，这里根据经验设定为K＝3。取最后一次迭代的值来更新特征权重向量

与协同表示向量

步骤5.7：根据步骤5.6中的特征权重向量

与协同表示向量

测试特征集的类重建残差可按照下式计算：

其中i表示类别序号i＝1，2，…，C；

表示第i类遥感影像场景的协同表示子向量。

步骤5.8：根据步骤5.7中的类重建残差推断测试遥感影像场景的标签：

其中t(y)表示测试遥感影像场景的标签。

步骤6：更新修正后的数据集Γ_C＝Γ_S∪Γ′_W，其中Γ′_W表示修正后的Γ_W。

步骤7：重复步骤2-6直到达到迭代次数，迭代次数根据具体情况选取。

步骤8：经过多次迭代后最终获得的Z个深度卷积网络模型，通过多模型投票的方法预测遥感影像场景I的标签，按照下式计算：

其中t表示预测的遥感影像场景I的标签，c表示类别，d表示深度卷积网络模型的序号，V_d＝Ψ(I；Φ_d)∈R^T×1表示遥感影像场景I输入第d个带有超参数Φ_d的深度卷积网络模型得到的softmax层输出，T表示类别的数目。

该描述方法已经在公开数据集上进行了评估测试。具体的，公开评估数据集如图3所示，该数据集包含38类地物类别。为了分析错误标签对深度学习的影响，我们在原始数据集上添加了不同程度的随机标签噪声。在随机标签噪声的错误率为0.4的条件下，测试总体准确度最高可以达到0.9564，可以反映该方法的有效性。表2给出了不同噪声环境下，随着迭代次数的增加，该方法的精度可以逐步提高，最终收敛到较好的分类精度。

表2不同迭代次数下方法在测试数据集上的总体精确度

	迭代1次	迭代2次	迭代3次	迭代4次	迭代5次
						错误率＝0.4	0.8498	0.9503	0.9564	0.9558	0.9556
错误率＝0.6	0.7293	0.9189	0.9264	0.9283	0.9321
						错误率＝0.8	0.4896	0.7933	0.8297	0.8302	0.8361

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于容错性深度学习的遥感影像场景分类方法，其特征在于，包括以下步骤：

步骤1：输入原始遥感影像场景数据集Γ_R＝{(I₁,O₁),(I₂,O₂),…,(I_r,O_r)}，其中I_r表示遥感影像场景，O_r表示可能错误的遥感影像场景标签，r表示Γ_R中遥感影像场景的数目，初始化修正后的数据集Γ_C＝Γ_R，强数据集

弱数据集

步骤2：将步骤1中修正后的数据集Γ_C随机分割为Z个子数据集；

步骤3：在步骤2中的子数据集Γ_viewID上学习深度卷积网络模型超参数Φ_viewID，其中viewID＝1,2,…,Z；

步骤4：使用步骤3中的Z个深度卷积网络模型预测样本的标签，根据预测结果将修正后的数据集Γ_C分割为强数据集Γ_S和弱数据集Γ_W；

步骤5：用步骤4中的强数据集Γ_S作为监督信息，使用多特征协同表示分类修正步骤4中的弱数据集Γ_W中每个样本的标签，其中多特征协同表示分类所使用的特征为步骤3的Z个深度卷积网络模型的全连接层输出；

步骤6：更新修正后的数据集Γ_C＝Γ_S∪Γ′_W，其中Γ′_W表示修正后的Γ_W；

步骤7：重复步骤2-6直到达到迭代次数；

步骤8：经过多次迭代后最终获得的Z个深度卷积网络模型，通过多模型投票的方法预测遥感影像场景I的标签。

2.根据权利要求1所述的基于容错性深度学习的遥感影像场景分类方法，其特征在于：步骤2中的Z个子数据集{Γ₁,Γ₂,…,Γ_Z}满足Γ_C＝Γ₁∪Γ₂∪…∪Γ_Z且

i＝1,2,…,Z；j＝1,2,…,Z。

3.根据权利要求1所述的基于容错性深度学习的遥感影像场景分类方法，其特征在于：步骤3中在Z个子数据集上分别学习Z个不同的深度卷积网络模型，Z个深度卷积网络模型具有相同的网络结构，它们的超参数表示为{Φ₁,Φ₂,…,Φ_Z}。

4.根据权利要求1所述的基于容错性深度学习的遥感影像场景分类方法，其特征在于：步骤4中使用步骤3中的Z个深度卷积网络模型预测样本的标签，若所有模型针对某样本预测均相同，则认为该样本的标签具有高置信度，将该样本及其标签纳入强数据集；反之，则认为该样本的标签有误，将该样本及其标签纳入弱数据集；强数据集中含有sn个样本，表示为Γ_S＝{(I₁,O₁),(I₂,O₂),…,(I_sn,O_sn)}；弱数据集中含有wn个样本，表示为Γ_W＝{(I₁,O₁),(I₂,O₂),…,(I_wn,O_wn)}，其中Γ_C＝Γ_S∪Γ_W且r＝sn+wn。

5.根据权利要求1所述的基于容错性深度学习的遥感影像场景分类方法，其特征在于：步骤5的具体实现包括以下子步骤：

步骤5.1：将步骤4中的强数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为多特征协同表示所使用的训练特征集X＝{X¹,X²,…,X^M}，其中M表示特征的种类；

表示遥感影像场景使用第v种特征得到的特征矩阵，d_v表示第v种特征的维度，N表示遥感影像场景训练集的数目；

其中

表示第i类遥感影像场景的第v种特征矩阵，

的每一列表示第i类遥感影像场景的第v个特征向量；

步骤5.2：同样地，将步骤4中的弱数据集输入到步骤3中的Z个深度卷积网络模型，得到的全连接层输出即为测试特征集y＝{y₁,y₂,…,y_M}，其中M为特征的种类，

表示测试遥感影像场景的第v种特征，d_v表示第v种特征的维度；

步骤5.3：初始化特征权重w(0)＝[w₁(0),w₂(0),…,w_M(0)]；

步骤5.4：按照下式更新协同表示向量：

其中

为迭代次数

β表示正则化参数，ρ(k)表示第k次迭代中的协同表示向量，w＝[w₁,w₂,…,w_M]表示不同特征的权重向量，I表示单位矩阵；

步骤5.5：按照下式更新特征权重向量：

步骤5.6：重复步骤5.4-5.5直到达到迭代次数K，并取最后一次迭代的值来更新特征权重向量

与协同表示向量

步骤5.7：根据步骤5.6中的特征权重向量

与协同表示向量

测试特征集的类重建残差按照下式计算：

其中i表示类别序号i＝1,2,…,C；

表示第i类遥感影像场景的协同表示子向量；

步骤5.8：根据步骤5.7中的类重建残差推断测试遥感影像场景的标签：

其中t(y)表示测试遥感影像场景的标签。

6.根据权利要求5所述的基于容错性深度学习的遥感影像场景分类方法，其特征在于：步骤8中使用多模型投票预测遥感影像场景I的标签按照下式计算：

其中，t表示预测的遥感影像场景I的标签，c表示类别，d表示深度卷积网络模型的序号，V_d＝Ψ(I；Φ_d)∈R^T×1表示遥感影像场景I输入第d个带有超参数Φ_d的深度卷积网络模型得到的softmax层输出，T表示类别的数目。

Images