CN111178149A - 一种基于残差金字塔网络的遥感影像水体自动提取方法 - Google Patents

Abstract

本发明是一种基于残差金字塔网络的遥感影像水体自动提取方法，方法包含五个步骤：步骤一：准备训练样本集；步骤二：进行样本扩充；步骤三：构造带权重损失函数；步骤四：构建残差金字塔网络；步骤五：训练残差金字塔网络；步骤六：提取影像水体。本发明克服了现有技术的不足，很好地解决了遥感影像水体提取现有方法的不足，自动化程度、水体检测精度、模型普适性均较高，能够大幅度降低人工成本，因此该方法可以应用于河湖库的检测、调查与监管中，具有广阔的应用前景和价值。

Description

一种基于残差金字塔网络的遥感影像水体自动提取方法

技术领域

本发明涉及一种遥感影像水体自动提取方法，属于多光谱遥感影像计算机解译领域。

背景技术

遥感技术兴起于20世纪60年代，目前遥感技术已广泛应用气象、海洋、农业、国土、水利、测绘、环保等行业。与传统监测方法相比，遥感技术具有时效性、广泛性、客观性、经济性等诸多独特优势。

我国遥感卫星技术起步较晚，1975年发射的第一颗遥感卫星初步解决了国家调查急需卫星遥感源的问题；但是我国遥感卫星技术发展迅速，目前，我国已发射的系列卫星包括风云(FY)系列、中巴地球资源(CBERS)系列、环境(HJ)系列卫星、资源(ZY)系列卫星、遥感系列卫星、高分(GF)系列卫星等，也已建成了对气象、陆地、海洋的观测系统。遥感卫星通过实时对地成像观测，为气候预测、环境监测与保护、国土资源勘查、路网设计、农作物估产、防灾减灾等提供了海量的数据支持。

水不仅是地理环境的重要组成部分，而且还蕴藏着丰富的自然资源。受自然环境及人类活动的影响，水体在面积、形态、走势等方面时刻发生着变化；而其情况的变化也会对局部的生态气候及人类的生产生活活动产生直接影响。迅速、科学、实时的监测河流水体，掌握水体变化，对区域自然环境的管理和可持续发展具有重要意义。并且水体数据能为洪涝灾害监测评估、水污染监测、土地覆被制图、数字流域构建以及水资源调查等工作提供重要信息。然而，由于我国幅员辽阔，地形地貌复杂，勘测工作难以深入到崇山峻岭、内陆高寒、人迹罕至之处，且人工野外测量耗时较长、工作量大、效率较低；使得测量结果覆盖面较窄、时效性较差、精度难以保证。而遥感技术能够便捷快速地获得大面积、多时相的地面数据，因此利用遥感技术进行水体提取与更新已势在必行。

发明内容

本发明所解决的技术问题是：提供一个基于残差金字塔网络的遥感影像水体自动提取方法。针对水体的特性，构建了一个残差金字塔神经网络，并辅以样本扩充、样本均衡的方法，自动化提取遥感影像中的水体区域。

本发明所采用的技术解决方案是：一种基于残差金字塔网络的遥感影像水体自动提取方法，步骤如下：

步骤(1)：准备训练样本数据集；

步骤(2)：进行样本扩充操作；

步骤(3)：构造用于保障样本均衡的带权重损失函数；

步骤(4)：构建用于遥感影像水体自动提取的残差金字塔网络；

步骤(5)：根据步骤(2)中扩充后的训练样本训练残差金字塔网络，并记录训练完成后的网络参数；

步骤(6)：根据步骤(5)训练好的残差金字塔网络对测试影像进行水体提取。

训练样本数据为遥感卫星相机采集到的多光谱与全色融合后影像，包含红、绿、蓝、红外四个波段；将多光谱全色融合后影像及对应的标签影像分割制作成500×500的影像块，形成训练样本数据集。

所述步骤(2)中采用Gamma变换、饱和度变换、对比度变换和旋转的方式对影像进行处理，实现对样本的扩充。

所述步骤(3)具体为：

带权重的损失函数

其中p_i为似然概率，y_i为标签，w_i为权重，i表示地物序号，m为地物种类总数；q_i为第i类地物的频数，则对应权重w_i为：

所述步骤(4)具体为：

在Caffe框架下逐层搭建残差金字塔网络，待训练残差金字塔网络模型的网络架构，包括：卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和FPN；

卷积层Conv1为：采用64个7×7的卷积核进行卷积操作，步长为2；

卷积层Conv2为：首先采用3×3的核对特征影像进行最大池化，步长为2；然后进行三组卷积操作，每组分别由64个1×1的卷积核、64个3×3的卷积核及256个1×1的卷积核组成；

卷积层Conv3为：进行三组卷积操作，每组分别由128个1×1的卷积核、128个3×3的卷积核及512个1×1的卷积核组成；

卷积层Conv4为：进行三组卷积操作，每组分别由256个1×1的卷积核、256个3×3的卷积核及1024个1×1的卷积核组成；

卷积层Conv5为：进行三组卷积操作，每组分别由512个1×1的卷积核、512个3×3的卷积核及2048个1×1的卷积核组成；

FPN为：对特征影像进行FPN操作，输出类别为2，然后连接softmax层进行损失函数计算。

述步骤(4)中，网络的残差结构表述具体如下：

残差学习使用多个有参网络层来学习输入与输出之间的残差(H(X)-X)，即X->(H(X)-X)+X；X为输入，H为任一有参网络层，H(X)为以X为输入的H层的输出。

所述步骤(4)中，网络的特征金字塔结构表述具体如下：将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接。

所述步骤(5)中，训练残差金字塔网络的具体方法为：

(5.1)迁移原有在ImageNet上已经训练好的模型，初始化网络权重值；

(5.2)输入样本扩充处理后的训练数据至步骤5.1初始化后的网络中，并进行训练；

(5.3)计算网络的输出结果和相对标签的误差；

(5.4)利用误差反向传播算法调整网络的权重和偏置，并返回步骤5.2，当网络迭代更新至预设次数时，记录此时的网络参数。

所述步骤(6)对测试数据进行水体提取的具体方法为：

(6.1)加载步骤(5)训练结束的网络；

(6.2)将测试遥感影像切割为500×500的图像输入到训练结束的网络中，得到各区域的水体提取结果；

(6.3)将步骤6.2得到的提取结果进行拼接，获得最终的水体提取结果。

一种基于残差金字塔网络的遥感影像水体自动提取系统，包括：

样本制作模块：用于制作样本数据集；

样本扩充模块：用于对样本数据进行变换以扩充样本数据类别；

带权重损失函数构造模块：用于构造带权重的损失函数；

残差金字塔网络构建模块：用于构建残差金字塔网络；

训练模块：根据样本制作模块、样本扩充模块形成的训练数据训练残差金字塔网络，记录最终的网络参数；

水体提取模块：根据训练好的残差金字塔网络对测试遥感影像进行水体提取。

本发明与现有技术相比的有益效果是：

(1)本发明利用Gamma、饱和度、对比度、旋转变换进行样本扩充，有效解决了由于残差网络不具备旋转不变性、遥感影像会有一定的光照变化及色偏而导致的水体提取精度不高的问题，有利于模型准确率的提升。

(2)本发明利用构造带权重的损失函数方法，一方面有效解决了由于遥感影像不同地物间比例悬殊、各地物联系紧密而导致的传统样本均衡方法难以奏效的问题，另一方面也有效解决了神经网络在样本不均衡的情况下学习能力较差、样本数量较少的类别难以提取到有效特征的问题，保障了神经网络是在样本均衡环境下进行训练的，有利于模型准确率的提升。

(3)本发明实现了基于残差金字塔网络的遥感影像水体自动提取。该网络利用残差结构和特征金字塔结构，有效的解决了深度网络退化、多尺度目标检测问题，显著增强了模型的鲁棒性和表达能力，能够提升水体提取精度，特别是水塘、细小河流等小面积水体的提取精度。此外由于网络的输入输出均为图像，因此自动化程度高，能够大幅度提高提取效率，降低人工成本。

附图说明

图1为本发明所述方法进行水体提取的流程图。

图2为残差结构图。

图3为特征金字塔结构图。

图4为残差金字塔网络结构图。

具体实施方式

下面结合附图进一步说明本发明具体实施方式。

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：

本发明提出了一种基于残差金字塔网络的遥感影像水体自动提取方法，用于遥感影像的自动化水体提取。在Caffe框架下，首先完成网络的搭建，迁移在ImageNet上训练好的模型，对样本扩充后的训练样本数据进行训练，然后使用训练好的网络模型，提取遥感影像中的水体区域。

如图1所示，本发明提出的水体提取方法具体步骤如下：

步骤(1)：准备训练样本数据集；具体为：

训练数据为遥感卫星相机采集到的多光谱与全色融合后影像(包含红、绿、蓝、红外四个波段)。将多光谱全色融合后影像及对应的标签影像分割制作成500×500的影像块，形成训练样本数据集。

步骤(2)：进行样本扩充操作；具体为：

(2.1)Gamma变换。设输出影像为y，输入影像为x，则有：y＝(x+esp)^γ，其中γ为系数，esp为小量；

(2.2)饱和度变换。饱和度变换是影像在HSL空间进行的一种调整。下式中RGB'为调整后的影像，而RGB为调整前的影像。对于RGB影像的每一个像素点，可以求出如下数值：

rgbMax＝max(R,G,B)

rgbMin＝min(R,G,B)

delta＝(rgbMax-rgbMin)/255

如果delta＝0，则不去进行饱和度的调整，否则，

value＝(rgbMax+rgbMin)/255

HSL中的L为：

L＝value/2

饱和度S为：

对于要调整的饱和度的程度deg∈[-100,100]，归一化后到per∈[-1,1]。

如果per≥0，首先求出alph，有

alpha＝1/(alpha-1)

RGB'＝RGB(rgb-L×255)×alpha

如果per≤0,则alpha＝per,

RGB'＝L×255+(RGB-L×255)×(1+alpha)

(2.3)对比度变换。对比度变换实际上是影像在HSL空间进行的一种调整，下式中，RGB'为调整后的影像，而RGB为调整前的影像。对于要调整的对比度的程度deg∈[-100,100]，归一化后到per∈[-1,1],那么RGB影像的每一个像素点，可以求出如下数值：

其中average为当前通道的均值，统一取为127，贴合自然场景；

(2.4)旋转。深度卷积神经网络不具备旋转不变性，因此需要对样本进行一定的扩充。对于任意角度θ，旋转前后坐标分别为(x,y)，(x′,y′)，则：

考虑到影像尺寸问题，这里的θ取0°，90°，180°，270°；

步骤(3)：构造用于保障样本均衡的带权重损失函数，具体为：

其中p_i为似然概率，y_i为标签，w_i为权重，i表示地物序号，m为地物种类总数。设q_i为第i类地物的频数，则对应权重w_i为:

步骤(4)：构建用于遥感影像水体自动提取的残差金字塔网络；具体为：

在Caffe框架下逐层搭建残差金字塔网络。该网络一方面利用残差结构，解决了深度网络的退化问题；另一方面利用特征金字塔结构，解决了多尺度目标的检测问题。

待训练残差金字塔网络模型的网络架构，包括：卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和FPN；

卷积层Conv1为：采用64个7×7的卷积核进行卷积操作，步长为2；

卷积层Conv2为：首先采用3×3的核对特征影像进行最大池化，步长为2。然后进行三组卷积操作，每组分别由64个1×1的卷积核、64个3×3的卷积核及256个1×1的卷积核组成；

卷积层Conv3为：进行三组卷积操作，每组分别由128个1×1的卷积核、128个3×3的卷积核及512个1×1的卷积核组成；

卷积层Conv4为：进行三组卷积操作，每组分别由256个1×1的卷积核、256个3×3的卷积核及1024个1×1的卷积核组成；

卷积层Conv5为：进行三组卷积操作，每组分别由512个1×1的卷积核、512个3×3的卷积核及2048个1×1的卷积核组成；

FPN为：对特征影像进行FPN操作，输出类别为2，然后连接softmax层进行损失函数计算。

具体残差金字塔网络结构如下表所示：

网络的残差结构表述具体如下：

设输入为X，某一有参网络层为H，那么以X为输入的此层输出则为H(X)，一般的CNN网络如Alexnet、VGG等会通过训练直接学习X->H(X)。而残差学习则会使用多个有参网络层来学习输入与输出之间的残差(H(X)-X)，即X->(H(X)-X)+X。这种网络结构不再用多个堆叠的层直接拟合特征映射，而是显式地拟合一个残差映射，从而有效解决了深度网络的退化问题。残差结构如图2所示。

网络的特征金字塔结构表述具体如下：

将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都具有丰富的语义信息。利用特征金字塔结构对不同层次特征进行多尺度特征的信息融合，进而提高目标检测精度，特别是小物体的检测精度。特征金字塔结构如图3所示。

步骤(5)：根据扩充后的训练样本训练残差金字塔网络，并记录训练完成后的网络参数，具体为：

(5.1)迁移原有在ImageNet上已经训练好的模型，初始化网络权重值；

(5.2)输入样本扩充处理后的训练数据至初始化后的网络中，并进行训练，将制作好的多光谱影像与其对应的标签影像作为网络的输入，然后逐层训练设计好的网络结构，即一层的输出作为下一层的输入；

(5.3)计算网络的输出结果和相对标签的误差，本发明采用(3)构建的带权重损失函数来保障神经网络在样本均衡的情况下进行训练、衡量训练结果；

(5.4)利用误差反向传播算法调整网络的权重和偏置，并返回步骤5.2，当网络迭代更新至预设次数时，记录此时的网络参数。

步骤(6)：根据步骤(5)训练好的残差金字塔网络对测试影像进行水体提取；具体为：

(6.1)加载步骤(5)训练结束的网络；

(6.2)将测试遥感影像切割为500×500的小图像输入到训练结束的网络中，得到小区域的水体提取结果；

(6.3)将步骤6.2得到的提取结果进行拼接，获得最终的水体提取结果。

基于上述水体提取方法，本发明还提出了一种基于残差金字塔网络的遥感影像水体自动提取系统，包括：样本制作模块、样本扩充模块、带权重损失函数构造模块、残差金字塔网络构建模块、训练模块、水体提取模块。

样本制作模块：用于制作样本数据集；

样本扩充模块：用于对样本数据进行变换以扩充样本数据类别；

带权重损失函数构造模块：用于构造带权重的损失函数；

残差金字塔网络构建模块：用于构建残差金字塔网络；

训练模块：根据样本制作模块、样本扩充模块形成的训练数据训练残差金字塔网络，记录最终的网络参数；

水体提取模块：根据训练好的残差金字塔网络对测试遥感影像进行水体提取。

实施例：

本发明所基于的残差金字塔网络的结构图如图4所示。该残差金字塔网络的输入为多光谱与全色融合后影像，输出为包含水体区域二值图像，像素值为0的区域代表非水体区域，像素值为255的区域代表水体区域。流程图如1所示。该水体提取方法包括如下步骤：

步骤一：准备训练样本数据集。具体的方法如下：

本发明使用了包括赣州、嘉兴、武汉等区域的35景GF1遥感影像及27景ZY302遥感影像制作训练样本。本次实验训练样本为多光谱与全色融合后影像，分辨率为2米，包含蓝、绿、红、近红外四个通道。人工标注出影像对应位置的水体作为训练标签影像，其中像素值为0的区域代表非水体区域，像素值为1的区域代表水体区域。然后将遥感影像与其对应的标签影像裁剪为500×500的大小，即完成了训练样本的制作。

步骤二：进行样本扩充操作。具体的方法如下：

首先借助GDAL读取制作好的训练样本数据，其次对数据进行旋转和变换。旋转的角度为0度、90度、180度、270度；变换包含Gamma变换、对比度变换、饱和度变换。变换完毕后，经由裁剪步骤，提取适合神经网络输入尺寸的图像，载入神经网络中进行训练。

步骤三：构造用于保障样本均衡的带权重损失函数，具体为：

对SoftmaxLoss进行了改进，构造带权重的损失函数，保障在样本均衡的环境下训练神经网络。

步骤四：构建用于遥感影像水体自动提取的残差金字塔网络。具体的方法如下：

在Caffe框架下逐层搭建残差金字塔网络，该网络具体的组成结构如下表所示：

步骤五：根据扩充后的训练样本训练残差网络，并记录训练完成后的网络参数。具体的方法如下：

1、迁移原有在ImageNet上已经训练好的模型，初始化网络权重值；

2、输入样本扩充处理后的训练数据至初始化后的网络中，并进行训练；

3、利用构造的带权重损失函数计算网络的输出结果和相对标签的误差；

4、利用误差反向传播算法调整网络的权重和偏置，并返回步骤2，当网络迭代更新至预设次数500000次时，记录此时的网络参数。

步骤六：根据步骤五训练好的残差金字塔网络对测试数据进行水体提取。具体的方法如下：

1、加载步骤五训练好的网络；

2、将测试遥感影像切割为500×500的小图像输入到训练好的网络中，得到小区域的水体提取结果；

3、将步骤二得到的提取结果进行拼接，获得最终的水体提取结果。

实验结果：为了对本发明进行性能评估，对位于我国不同地区的2景GF1影像、1景ZY302影像进行了水体提取，并将提取结果与真实地表水体分布情况进行了对比分析。分析结果显示，本发明的算法提取的水体召回率均在90％左右，且准确率在90％左右，可以满足实际生产需求。

从实验结果来看，本发明在大范围水体提取方面具有较高的召回率及准确率，提取精度高，且自动化程度高，不需要人工干预，能够大幅度降低人工成本，具有广阔的应用前景和价值。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于，包括步骤如下：

步骤(1)：准备训练样本数据集；

步骤(2)：进行样本扩充操作；

步骤(3)：构造用于保障样本均衡的带权重损失函数；

步骤(4)：构建用于遥感影像水体自动提取的残差金字塔网络；

步骤(5)：根据步骤(2)中扩充后的训练样本训练残差金字塔网络，并记录训练完成后的网络参数；

步骤(6)：根据步骤(5)训练好的残差金字塔网络对测试影像进行水体提取。

2.根据权利要求1所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：训练样本数据为遥感卫星相机采集到的多光谱与全色融合后影像，包含红、绿、蓝、红外四个波段；将多光谱全色融合后影像及对应的标签影像分割制作成500×500的影像块，形成训练样本数据集。

3.根据权利要求1或2所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(2)中采用Gamma变换、饱和度变换、对比度变换和旋转的方式对影像进行处理，实现对样本的扩充。

4.根据权利要求3所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(3)具体为：

带权重的损失函数

其中p_i为似然概率，y_i为标签，w_i为权重，i表示地物序号，m为地物种类总数；q_i为第i类地物的频数，则对应权重w_i为：

5.根据权利要求4所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(4)具体为：

在Caffe框架下逐层搭建残差金字塔网络，待训练残差金字塔网络模型的网络架构，包括：卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和FPN；

卷积层Conv1为：采用64个7×7的卷积核进行卷积操作，步长为2；

卷积层Conv2为：首先采用3×3的核对特征影像进行最大池化，步长为2；然后进行三组卷积操作，每组分别由64个1×1的卷积核、64个3×3的卷积核及256个1×1的卷积核组成；

卷积层Conv3为：进行三组卷积操作，每组分别由128个1×1的卷积核、128个3×3的卷积核及512个1×1的卷积核组成；

卷积层Conv4为：进行三组卷积操作，每组分别由256个1×1的卷积核、256个3×3的卷积核及1024个1×1的卷积核组成；

卷积层Conv5为：进行三组卷积操作，每组分别由512个1×1的卷积核、512个3×3的卷积核及2048个1×1的卷积核组成；

FPN为：对特征影像进行FPN操作，输出类别为2，然后连接softmax层进行损失函数计算。

6.根据权利要求5所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(4)中，网络的残差结构表述具体如下：

残差学习使用多个有参网络层来学习输入与输出之间的残差(H(X)-X)，即X->(H(X)-X)+X；X为输入，H为任一有参网络层，H(X)为以X为输入的H层的输出。

7.根据权利要求6所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(4)中，网络的特征金字塔结构表述具体如下：将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接。

8.根据权利要求7所述的一种基于残差网络的遥感影像水体自动提取方法，其特征在于：所述步骤(5)中，训练残差金字塔网络的具体方法为：

(5.1)迁移原有在ImageNet上已经训练好的模型，初始化网络权重值；

(5.2)输入样本扩充处理后的训练数据至步骤5.1初始化后的网络中，并进行训练；

(5.3)计算网络的输出结果和相对标签的误差；

(5.4)利用误差反向传播算法调整网络的权重和偏置，并返回步骤5.2，当网络迭代更新至预设次数时，记录此时的网络参数。

9.根据权利要求8所述的一种基于残差金字塔网络的遥感影像水体自动提取方法，其特征在于：所述步骤(6)对测试数据进行水体提取的具体方法为：

(6.1)加载步骤(5)训练结束的网络；

(6.2)将测试遥感影像切割为500×500的图像输入到训练结束的网络中，得到各区域的水体提取结果；

(6.3)将步骤6.2得到的提取结果进行拼接，获得最终的水体提取结果。

10.一种基于残差金字塔网络的遥感影像水体自动提取系统，其特征在于，包括：

样本制作模块：用于制作样本数据集；

样本扩充模块：用于对样本数据进行变换以扩充样本数据类别；

带权重损失函数构造模块：用于构造带权重的损失函数；

残差金字塔网络构建模块：用于构建残差金字塔网络；

训练模块：根据样本制作模块、样本扩充模块形成的训练数据训练残差金字塔网络，记录最终的网络参数；

水体提取模块：根据训练好的残差金字塔网络对测试遥感影像进行水体提取。

Images