CN110390244A - 基于深度学习的遥感图像要素识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的遥感图像要素识别方法，采用深度神经网络对遥感影像训练集进行训练，对训练好的深度神经网络添加一个分类层，再对该深度神经网络进行调整，得到最优的深度神经网络,通过该最优的深度神经网络对遥感图像进行地物要素自动识别。本发明能快速和准确的完成遥感图像特征提取，提高特征对遥感图像光照、角度、尺度和背景等复杂变化的适应性，进而提高遥感图像要素识别的准确率和效率。

Description

基于深度学习的遥感图像要素识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的遥感图像要 素识别方法。

背景技术

地物要素识别是卫星遥感图像处理领域中最基础的任务之一，是一种重要 的遥感应用技术，具有广泛的应用价值。在国防建设方面，利用遥感图像要素 识别技术，可以获取敌方军事目标的空间分布、地理坐标等重要情报信息等； 在民用方面，能够辅助政府部门制定城市建设和规划方案等。传统的识别方法 通常需要依靠复杂的人工设计特征以及大量的先验知识，在特定情况下取得了 很好的效果。但是周期长，耗时多。尤其是近年来，海量数据的积累以及云计 算技术的发展，使得用更加复杂的神经网络模型来模拟人脑进行智能识别成为 可能。

遥感图像地物要素识别任务主要分为两个阶段，特征表达阶段和分类阶段。 常用的特征，如SIFT特征、灰度统计特征、形状特征、纹理特征等底层特征以 及BOW特征、HOG特征等属于中层特征，直接使用这些特征来进行地物要素识别， 往往难以区分不同要素之间的差异。基于此发展出多特征联合提取的方法来丰 富特征描述，能够在一定程度上提高识别精度。但其采用的底层特征和中层语 义特征无法表达所需的抽象语义特征，导致其识别性能产生瓶颈。近年来，随 着深度学习的发展，特征学习的概念随之发展起来，最具代表性的是卷积神经 网络提取的特征。与传统的人工设计的特征相比，具有高层语义抽象能力，并 且在方法上具有通用性。针对不同形式的输入图像，卷积神经网络可以采用相 同的网络模型来提取特征，避免了复杂的人工特征设计。

因此，亟需要一种避免复杂的人工特征设计的遥感图像要素识别方法。

发明内容

本发明提供一种基于深度学习的遥感图像要素识别方法，针对不同形式的 输入图像，卷积神经网络可以采用相同的网络模型来提取特征，避免了复杂的 人工特征设计。

根据本发明的一个方面，提供一种基于深度学习的遥感图像要素识别方法， 其特征在于，包括如下步骤：

构建深度神经网络模型；

使用遥感图像训练集对所述深度神经网络模型进行特征学习，并对地物要 素进行分类；

使用所述深度神经网络识别遥感图像的地物要素。

在其中一个实施例中，所述构建深度神经网络模型的步骤，包括如下步骤：

使用卷积神经网络进行特征提取；

构建分类层，以及使用所述分类层进行地物要素分类。

在其中一个实施例中，还包括对具有分类层的深度神经网络进行参数调整， 获取最优的深度神经网络的步骤。

在其中一个实施例中，所述获取最优的深度神经网络的步骤进一步包括如 下步骤：

将遥感影像训练集输入至深度神经网络模型时，得到实际输出与指定要素 标签之间的误差值，计算第k个图像输出误差值E_k：

计算权值调整量：

δ_k＝(o_k-y_k)y_k(1-y_k)；

根据所述权值调整量进行权值调整直至误差不大于预定值，获取最优的深 度神经网络：

W_jk(n+1)＝W_jk(n)+ΔW_jk(n)

ΔV_ij(n+1)＝V_ij(n)+ΔV_ij(n)。

在其中一个实施例中，使用遥感图像训练集对所述深度神经网络模型进行 特征学习的步骤，为将遥感图像训练集输入深度神经网络模型中，依次经历两 次卷积层，池化层，BN层，两次全卷积层以及分类层。

在其中一个实施例中，在每个卷积层之后还包括对每批次数据进行规范化 操作的步骤，具体为对隐藏层内每个神经元的激活值进行如下变换：

在其中一个实施例中，对每批次数据进行规范化操作之后还包括对变换后 的激活值进行反变换的步骤，具体如下：

在其中一个实施例中，输入层与隐藏层满足如下玻尔兹曼分布：

其中，v和h分别为输入层和隐藏层节点，Z为配分函数，其表达式为：

其中，E(v,h)为能量函数，用于表示输入层节点与隐藏层节点的能量关系 其表达式为：

其中，θ＝{w,a,b}为网络的参数，v_i为输入层节点i，w_ij为节点i和j的连接 权值，h_j为隐藏层节点j，a_i为输入层节点i的偏置项，b_j为隐藏层节点j偏置项。

在其中一个实施例中，所述输入层具有最优化的边缘概率分布P(v)，表示 为如下：

通过对训练遥感影像的对数概率进行最优化进行参数估计，其中，基于结 构稀疏优化的损失函数L如下：

L＝-logP(v)+μ||P(h＝1|v)||₁+λ||P(h＝1|v)||_1,2+η||w||₂

其中，-logP(v)为输入层的对数概率分布，||P(h＝1|v)||₁为节点稀疏惩罚因子，其表达式为：

其中，|P(h_j＝1|v)|表示隐藏节点激活值绝对值。

在其中一个实施例中，池化过程采用最大池化模型，取池化域中最大值作 为子采样池化后的特征图，计算方法为：

S_ij＝max_i＝_1,j＝₁(F_ij)+b

其中，F_ij为输入特征图矩阵，子采样池化域为2×2矩阵，b为偏置，S_ij为采 样池化后的特征图，max_i＝1,j＝1(F_ij)表示池化域中选取最大值。

本发明的有益效果包括：

根据本发明实施例的基于深度学习的遥感图像要素识别方法，构建深度神 经网络模型；使用遥感图像训练集对所述深度神经网络模型进行特征学习，并 对地物要素进行分类；使用所述深度神经网络识别遥感图像的地物要素。使用 本发明基于深度学习的遥感图像要素识别方法，能快速和准确的完成遥感图像 特征提取，提高特征对遥感图像光照、角度、尺度和背景等复杂变化的适应性， 进而提高遥感图像要素识别的准确率和效率。

附图说明

通过阅读以下参照附图对非限制性实施例所作的详细描述，本发明的其它 特征、目的和优点将会变得更明显，其中，相同或相似的附图标记表示相同或 相似的特征。

图1示出本发明一实施例的基于深度学习的遥感图像要素识别方法流程图；

图2示出本发明图1所示实施例步骤S120的方法流程图；

图3示出使用本发明要素识别方法对第一组测试数据进行特征的示意图；

图4示出使用本发明要素识别方法对第二组测试数据进行特征提取的示意 图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明 的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发 明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本 发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不 需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为 了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些 实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包 含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素 的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的 其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在 没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所 述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如上所述，遥感图像地物要素识别任务主要分为两个阶段，特征表达阶段 和分类阶段。常用的特征，如SIFT特征、灰度统计特征、形状特征、纹理特征 等底层特征以及BOW特征、HOG特征等属于中层特征，直接使用这些特征来进行 地物要素识别，往往难以区分不同要素之间的差异。基于此，发展出多特征联 合提取的方法来丰富特征描述，能够在一定程度上提高识别精度。但其采用的 底层特征和中层语义特征无法表达所需的抽象语义特征，导致其识别性能产生 瓶颈。近年来，随着深度学习的发展，特征学习的概念随之发展起来，最具代 表性的是卷积神经网络提取的特征。与传统的人工设计的特征相比，具有高层 语义抽象能力，并且在方法上具有通用性。针对不同形式的输入图像，卷积神 经网络可以采用相同的网络模型来提取特征，避免了复杂的人工特征设计。基 于此，本发明提供一种基于深度学习的遥感图像要素识别方法。使用本方法， 能够快速和准确的完成遥感图像的特征提取，提高特征对遥感图像的光照、角 度、尺度和背景等复杂变化的反应性，进而提高遥感影像要素识别精度以及效 率。

下面结合图1-2所示实施例对本发明一种基于深度学习的遥感图像要素识 别方法进行详细阐述。

图1示出本发明一实施例的基于深度学习的遥感图像要素识别方法流程图；

图2示出本发明图1所示实施例步骤S120流程图。

参考图1，一种基于深度学习的遥感图像要素识别方法100，该方法100包 括如下步骤：

步骤S120：构建深度神经网络模型。构建用于遥感图像要素识别的深度神 经网络模型，其中包括特征提取部分以及分类层。

步骤S140：使用遥感图像训练集对所述深度神经网络模型进行特征学习， 并对地物要素进行分类。

步骤S160：使用所述深度神经网络识别遥感图像的地物要素。

将遥感图像测试集输入至训练好的深度神经网络模型中，通过深度神经网 络的前向传播计算测试遥感图像分类输出结果，从而得到待测遥感影像的地物 要素识别结果。

下面结合图2对步骤S120进行详细阐述。参考图2，上述构建深度神经网 络模型的步骤S120，包括如下步骤：

步骤S122：使用卷积神经网络进行特征提取。步骤S122用于遥感图像要素 识别的深度神经网络模型的特征提取层的构建，使用卷积神经网络进行此项操 作。

其中，上述使用卷积神经网络进行特征提取时，卷积操作如下：

其中，l为卷积层数，K为卷积核，b为偏置，f(x)为激活函数线性整流函 数，f(x)＝max(0,x)。

通过构建深度神经网络模型，针对不同形式的输入图像，卷积神经网络可 以采用相同的网络模型来提取特征，避免了复杂的人工特征设计。

步骤S124：构建分类层，以及使用所述分类层进行地物要素分类。

将上述步骤S122提取的特征作为分类层的输入，在分类层使用逻辑回归模 型进行地物要素分类，其表达式为：

其中，f(x_i)＝w_i,jx_i+b_j，多类逻辑回归模型的输出是一个n维向量，n为地 物要素的类别数目。

步骤S126：获取最优的深度神经网络。

对具有分类层的深度神经网络进行参数调整，得到最优的深度神经网络。 主要包括以下步骤：

将遥感影像训练集输入至深度神经网络模型时，得到实际输出与指定要 素标签之间的误差值，计算第k个图像输出误差值E_k，具体为：

然后，计算权值调整量。将其反馈至整个神经网络模型，计算权值的调 整值；根据上一步中误差值E_k，按照极小化误差的方法，计算权值的调整量：

δ_k＝(o_k-y_k)y_k(1-y_k)；

之后，根据所述权值调整量进行权值调整直至误差不大于预定值，获取 最优的深度神经网络：

W_jk(n+1)＝W_jk(n)+ΔW_jk(n)

ΔV_ij(n+1)＝V_ij(n)+ΔV_ij(n)。

上述步骤S140中，用遥感图像训练集对所述深度神经网络模型进行特征学 习的步骤，将遥感图像训练集输入深度神经网络模型中，依次经历两次卷积层， 池化层，BN层，两次全卷积层以及分类层。

其中，在每个卷积层之后还包括对每批次数据进行规范化操作的步骤。由 于上述步骤中选取的激活函数的函数值均大于等于0，会使得权值的梯度产生偏 移，无法获得最快的梯度下降结果。因此本发明在每层卷积之后使用批量标准 化操作，对每批次数据进行规范化操作，具体是对隐藏层内每个神经元的激活 值进行如下变换：

并且，对每批次数据进行规范化操作之后还包括对变换后的激活值进行反 变换的步骤。在上述规范化操作之后，为了防止加快收敛导致的网络表达能力 下降，对变换后的激活进行反变换，即scale和shift操作。具体如下：

而且，输入层与隐藏层满足如下玻尔兹曼分布：

其中，v和h分别为输入层和隐藏层节点，Z为配分函数，其表达式为：

其中，E(v,h)为能量函数，用于表示输入层节点与隐藏层节点的能量关系 其表达式为：

其中，θ＝{w,a,b}为网络的参数，v_i为输入层节点i，w_ij为节点i和j的连接 权值，h_j为隐藏层节点j，a_i为输入层节点i的偏置项，b_j为隐藏层节点j偏置项。

其中，输入层具有最优化的边缘概率分布P(v)，表示为如下：

通过对训练遥感影像的对数概率进行最优化进行参数估计，其中，基于结 构稀疏优化的损失函数L如下：

L＝-logP(v)+μ||P(h＝1|v)||₁+λ||P(h＝1|v)||_1,2+η||w||₂

其中，-logP(v)为输入层的对数概率分布，||P(h＝1|v)||₁为节点稀疏惩罚因子，其表达式为：

其中，|P(h_j＝1|v)|表示隐藏节点激活值绝对值。

上述步骤S140中包括经历池化层，在池化过程中，采用最大池化模型取池 化域中最大值作为子采样池化后的特征图，其计算方法为：

S_ij＝max_i＝1,j＝1(F_ij)+b

其中，F_ij为输入特征图矩阵，子采样池化域为2×2矩阵，b为偏置，S_ij为采 样池化后的特征图，max_i＝1,j＝1(F_ij)表示池化域中选取最大值。

本发明一种基于深度学习的遥感图像要素识别方法，采用深度神经网络对 遥感影像训练集进行训练，对训练好的深度神经网络添加一个分类层，再对该 深度神经网络进行调整，得到最优的深度神经网络,通过该最优的深度神经网络 对遥感图像进行地物要素自动识别。本发明能快速和准确的完成遥感图像特征 提取，提高特征对遥感图像光照、角度、尺度和背景等复杂变化的适应性，进 而提高遥感图像要素识别的准确率和效率。

图3示出使用本发明要素识别方法对第一组测试数据进行特征的示意图； 图4示出使用本发明要素识别方法对第二组测试数据进行特征提取的示意图。 参考图3，为对第一组测试数据进行水提取和建成区提取的示意图；参考图4为 对第二组测试数据进行水提取和建成区提取的示意图。可见，遥感图像要素识 别的准确率较高。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑 块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可 能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以 代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包 含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作 为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发 生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相 反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的 每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操 作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合 来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的， 并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的 情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。 本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场 中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各 实施例。

Claims (10)

1.一种基于深度学习的遥感图像要素识别方法，其特征在于，包括如下步骤：

构建深度神经网络模型；

使用遥感图像训练集对所述深度神经网络模型进行特征学习，并对地物要素进行分类；

使用所述深度神经网络识别遥感图像的地物要素。

2.根据权利要求1所述的基于深度学习的遥感图像要素识别方法，其特征在于，所述构建深度神经网络模型的步骤，包括如下步骤：

使用卷积神经网络进行特征提取；

构建分类层，以及使用所述分类层进行地物要素分类。

3.根据权利要2所述的基于深度学习的遥感图像要素识别方法，其特征在于，还包括对具有分类层的深度神经网络进行参数调整，获取最优的深度神经网络的步骤。

4.根据权利要3所述的基于深度学习的遥感图像要素识别方法，其特征在于，所述获取最优的深度神经网络的步骤进一步包括如下步骤：

将遥感影像训练集输入至深度神经网络模型时，得到实际输出与指定要素标签之间的误差值，计算第k个图像输出误差值E_k：

计算权值调整量：

δ_k＝(o_k-y_k)y_k(1-y_k)；

根据所述权值调整量进行权值调整直至误差不大于预定值，获取最优的深度神经网络：

W_jk(n+1)＝W_jk(n)+ΔW_jk(n)

ΔV_ij(n+1)＝V_ij(n)+ΔV_ij(n)。

5.根据权利要求1所述的基于深度学习的遥感图像要素识别方法，其特征在于，使用遥感图像训练集对所述深度神经网络模型进行特征学习的步骤，为将遥感图像训练集输入深度神经网络模型中，依次经历两次卷积层，池化层，BN层，两次全卷积层以及分类层。

6.根据权利要求5所述的基于深度学习的遥感图像要素识别方法，其特征在于，在每个卷积层之后还包括对每批次数据进行规范化操作的步骤，具体为对隐藏层内每个神经元的激活值进行如下变换：

7.根据权利要求6所述的基于深度学习的遥感图像要素识别方法，其特征在于，对每批次数据进行规范化操作之后还包括对变换后的激活值进行反变换的步骤，具体如下：

8.根据权利要求5所述的基于深度学习的遥感图像要素识别方法，其特征在于，输入层与隐藏层满足如下玻尔兹曼分布：

其中，v和h分别为输入层和隐藏层节点，Z为配分函数，其表达式为：

其中，E(v,h)为能量函数，用于表示输入层节点与隐藏层节点的能量关系其表达式为：

其中，θ＝{w,a,b}为网络的参数，v_i为输入层节点i，w_ij为节点i和j的连接权值，h_j为隐藏层节点j，a_i为输入层节点i的偏置项，b_j为隐藏层节点j偏置项。

9.根据权利要求8所述的基于深度学习的遥感图像要素识别方法，其特征在于，所述输入层具有最优化的边缘概率分布P(v)，表示为如下：

通过对训练遥感影像的对数概率进行最优化进行参数估计，其中，基于结构稀疏优化的损失函数L如下：

L＝-logP(v)+μ||P(h＝1|v)||₁+λ||P(h＝1|v)||_1,2+η||w||₂

其中，-logP(v)为输入层的对数概率分布，||P(h＝1|v)||₁为节点稀疏惩罚因子，其表达式为：

其中，|P(h_j＝1|v)|表示隐藏节点激活值绝对值。

10.根据权利要求5所述的基于深度学习的遥感图像要素识别方法，其特征在于，池化过程中，采用最大池化模型取池化域中最大值作为子采样池化后的特征图，计算方法为：

S_ij＝max_i＝1,j＝1(F_ij)+b

其中，F_ij为输入特征图矩阵，子采样池化域为2×2矩阵，b为偏置，S_ij为采样池化后的特征图，max_i＝1,j＝1(F_ij)表示池化域中选取最大值。