CN112750138A - 一种黄河流域淤地坝空间分布识别方法 - Google Patents

Abstract

本发明公开了一种黄河流域淤地坝空间分布识别方法，通过定期爬取淤地坝的信息以及构建深度学习模型对黄河流域的淤地坝进行识别，实现了黄河流域淤地坝空间分布识别。本发明能将已经建立和正在建设的淤地坝数据归纳进数据库中，不仅在拦泥、淤地、减灾、提高水资源利用率、促进农业退耕、结构调整和经济增长、改善丘陵山区交通和生活条件等方面发挥着十分关键的作用，一旦发生洪涝灾害，就能依据数据库信息，使用遥感影像依据属性坐标信息进行位置的确定，并依据及时获取的遥感信息，进行灾害预警、淤地坝损毁情况识别等灾情信息实时获取，具有重要的实际应用价值，为人们使用水利信息提供极大的便利。

Description

一种黄河流域淤地坝空间分布识别方法

技术领域

本发明属于网络科学领域，具体涉及一种黄河流域淤地坝空间分布识别方法。

背景技术

中国水资源丰富，尤其黄河流域，特殊的地貌条件和气候条件造成该区沟床下切、沟头延伸，水土流失严重。为了使水土流失这一世界难题得以解决，全球水利工作者们做出了许多努力和尝试，淤地坝是极为有效的工程措施。淤地坝通过“拦、蓄、淤”，既能将洪水、泥沙就地拦蓄，有效防止水土流失，又能淤泥造地，充分利用水沙资源，改变农业生产基本条件，改善当地生态环境，是一项独特的水土保持工程措施。然而，随着淤地坝不断投入使用，基本都是采用人工调查，并没有一个统一的方案将各地淤地坝信息进行整合管理、实现智能化和数字化管理，为数据的使用提供便捷的服务，仍需进一步的研究。

发明内容

针对现有技术中的上述不足，本发明提供的一种黄河流域淤地坝空间分布识别方法解决了现有技术中淤地坝信息依靠人工采集，费时费力的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种黄河流域淤地坝空间分布识别方法，包括以下步骤：

S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像，并将黄河流域遥感图像大小裁剪为224×224像素；

S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记，将标记后的黄河流域遥感图像保存为二值图像；

S3、构建深度学习模型；

S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练，并对深度学习模型进行剪枝操作；

S5、定期爬取黄河流域淤地坝工程信息，对黄河流域淤地坝工程信息进行更新，并构建黄河流域淤地坝全要素长时序数据集；

S6、定期获取黄河流域遥感图像，并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别，得到识别结果；

S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台，完成黄河流域淤地坝空间分布识别。

进一步地，所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息；所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。

进一步地，所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。

进一步地，每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1；每个所述池化层均采用2×2的最大池化函数max pooling的方式；

所述第一卷积层的卷积核个数为64，所述第二卷积层的卷积核个数为128，所述第三卷积层的卷积核个数为256，所述四卷积层的卷积核个数为512，所述第五卷积层的卷积核个数为512；所述输出层为softmax层。

进一步地，所述步骤S4包括以下分步骤：

S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型，对深度学习模型进行训练，并在训练过程中对深度学习模型进行剪枝操作；

S4.2、设定训练次数为M，对损失函数求导，根据所求导数且采用随机梯度下降方法沿梯度方向更新参数；

S4.3、根据步骤S4.2所述方法，对深度学习模型训练M次，完成对深度学习模型的训练。

进一步地，所述步骤S4中对深度学习模型进行剪枝操作的具体方法为：对每个卷积层的通道进行剪枝操作，通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束，将卷积层中权重最小的N个权重参数修改为0，将权重0值最多的通道剪去，完成剪枝操作。

进一步地，所述LASSO回归的损失函数J(θ)具体为:

J(θ)＝1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1

其中，n表示输入的样本个数，α表示常数系数，α||θ||1表示L1范数，θ表示沿维度的向量值，X表示输出预测值，Y表示输出真实值。

进一步地，所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为：

B1、确定定期爬取时间和爬取关键词，根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存，并记录对应的网页数据发布的最新时间；

B2、到达定期爬取时间时，根据爬取关键词对黄河流域淤地坝工程信息进行爬取，并判断网页数据发布的最新时间是否与上次爬取记录时间相同，若是，则过滤网页爬取结果，并进入步骤B3，否则保存网页爬取结果，并进入步骤B3；

B3、去除网页爬取结果中标题和时间相同的结果，完成黄河流域淤地坝工程信息的爬取。

进一步地，所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。

本发明的有益效果为：

(1)本发明解决了以往对于黄河流域的淤地坝数据进行检测，需要人工实地探查，耗费大量时间的问题；减少了投入的人工成本，在云平台中，每日自动进行网络大数据的获取，将仅需将遥感影像上传到云平台中，即可自动完成数据的更新，方便科研工作者和工程设施的使用。

(2)本发明通过对黄河流域淤地坝空间分布进行识别，方便人们对淤地坝设施的及时监测，查看是否有裂缝、不均匀沉陷、积水、杂草生长现象、滑坡、塌坑、冲刷沟、鼠洞、管涌、流土或隆起，方便进行及时的维修

(3)本发明能将已经建立和正在建设的淤地坝数据归纳进数据库中，不仅在拦泥、淤地、减灾、提高水资源利用率、促进农业退耕、结构调整和经济增长、改善丘陵山区交通和生活条件等方面发挥着十分关键的作用，一旦发生洪涝灾害，就能依据数据库信息，使用遥感影像依据属性坐标信息进行位置的确定，并依据及时获取的遥感信息，进行灾害预警、淤地坝损毁情况识别等灾情信息实时获取，具有重要的实际应用价值，为人们使用水利信息提供极大的便利。

附图说明

图1为本发明提出的一种黄河流域淤地坝空间分布识别方法流程图。

图2为本发明提出的深度学习模型示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

如图1所示，一种黄河流域淤地坝空间分布识别方法，包括以下步骤：

S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像，并将黄河流域遥感图像大小裁剪为224×224像素；

S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记，将标记后的黄河流域遥感图像保存为二值图像；

S3、构建深度学习模型；

S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练，并对深度学习模型进行剪枝操作；

S5、定期爬取黄河流域淤地坝工程信息，对黄河流域淤地坝工程信息进行更新，并构建黄河流域淤地坝全要素长时序数据集；

S6、定期获取黄河流域遥感图像，并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别，得到识别结果；

S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台，完成黄河流域淤地坝空间分布识别。

所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息；所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。

所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。

每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1；每个所述池化层均采用2×2的最大池化函数max pooling的方式；

所述第一卷积层的卷积核个数为64，所述第二卷积层的卷积核个数为128，所述第三卷积层的卷积核个数为256，所述四卷积层的卷积核个数为512，所述第五卷积层的卷积核个数为512；所述输出层为softmax层。

所述步骤S4包括以下分步骤：

S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型，对深度学习模型进行训练，并在训练过程中对深度学习模型进行剪枝操作；

S4.2、设定训练次数为M，对损失函数求导，根据所求导数且采用随机梯度下降方法沿梯度方向更新参数；

S4.3、根据步骤S4.2所述方法，对深度学习模型训练M次，完成对深度学习模型的训练。

输入的样本经过模型中的卷积，池化等处理，最后在输出层中样本的值即可以当成处理后的预测值，而二值图像即为是真实值，真实值与预测值之间的差值即为损失函数(差值并非直接相剪，过程较为复杂)，对损失函数求导，导数为0，即可当成真实值完全与预测值相同，既模型训练成功；实际无法实现导数为0，只能随着训练次数的逐渐增加，模型精度越来越高，最后稳定在一个数值左右。

所述步骤S4中对深度学习模型进行剪枝操作的具体方法为：对每个卷积层的通道进行剪枝操作，通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束，将卷积层中权重最小的N个权重参数修改为0，将权重0值最多的通道剪去，完成剪枝操作。

L1范数可以使得权重中大部分值为0，所以能使权重更加稀疏，从而将稀疏的通道剪掉。

所述LASSO回归的损失函数J(θ)具体为:

J(θ)＝1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1

其中，n表示输入的样本个数，α表示常数系数，α||θ||1表示L1范数，θ表示沿维度的向量值，X表示输出预测值，Y表示输出真实值。

所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为：

B1、确定定期爬取时间和爬取关键词，根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存，并记录对应的网页数据发布的最新时间；

B2、到达定期爬取时间时，根据爬取关键词对黄河流域淤地坝工程信息进行爬取，并判断网页数据发布的最新时间是否与上次爬取记录时间相同，若是，则过滤网页爬取结果，并进入步骤B3，否则保存网页爬取结果，并进入步骤B3；

B3、去除网页爬取结果中标题和时间相同的结果，完成黄河流域淤地坝工程信息的爬取。

所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。

在本实施例中，黄河流域淤地坝空间分布识别具体实现过程如下：

1、数据资料的获取

通过网络爬虫微博数据、新闻报道、历史资料、年鉴、奏折、政府公告、水旱灾害公报、中英文献库等获取数据，收集黄河流域已建成和正在建设的淤地坝工程信息。

2、构建黄河流域、全要素淤地坝数据库

根据收集黄河流域已建成和正在建设的淤地坝工程信息，按照名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况、重大事件等构建黄河流域淤地坝全要素、长时序数据集。

3、构建多源淤地坝样本库

利用深度学习技术对航天遥感影像、航空遥感、低空遥感影像等多源遥感影像数据源进行处理，裁剪成224x 224尺寸的数据集，以满足各种淤地坝数据都能进行目标精准识别。

4、使用改进的深度学习模型进行模型训练

本发明提出使用改进的深度学习进行淤地坝样本的训练，以获取能准确识别的深度学习模型，深度学习进行淤地坝目标快速定位实现流程图如图2所示，具体步骤如下：

(1)构建训练数据集，对所有淤地坝影像，用多边形将所有影像中的淤地坝部分勾画掩膜，将勾画的淤地坝区域与非淤地坝区域作二值图像保存，并对原始影像和构建的二值影像，同时进行影像切分，保存224x 224尺寸的数据集；

(2)搭建深度学习模型，包含5个卷积层、3个全连接层的深度学习网络，为了使训练的模型能达到快速、精准识别的目标，本方法对深度学习模型引用剪枝操作，该方法能在不降低精度的同时，使得运算速度更快，并且剪枝后的模型占用空间更小，更容易保存；

①深度学习卷积层过程：初始卷积核的大小为3×3×3，步幅stride的大小为1，有效填充padding的大小为1，池化层pooling采用2×2的最大池化函数max pooling的方式。

A1、使用一次64个卷积核的卷积处理，并进行一次池化层pooling处理；

A2、使用一次128个卷积核的卷积处理，并进行一次池化层pooling处理；

A3、使用一次256个卷积核的卷积处理，并进行一次池化层pooling处理；

A4、使用一次512个卷积核的卷积处理，并进行一次池化层pooling处理；

A5、使用一次512个卷积核的卷积处理，并进行一次池化层pooling处理；

A6、使用三次全连接层Fc_layer，并经过softmax输出层处理。

②深度学习模型剪枝过程：通过LASSO回归算法进行通道选择(Channelselection)，在损失函数中添加L1范数对权重进行约束。以目标函数优化的角度考虑，L1范数可以使得权重中大部分值为0，使得通道内权重具有稀疏性，从而可以将系数的Channel剪掉。

(3)用构建的224x 224数据集使用本发明的构建的深度学习网络进行训练；

(4)将训练后的淤地坝识别模型进行保存；

(5)用训练好的淤地坝识别模型，对航天遥感影像、航空遥感、低空遥感影像等多源数据，进行黄河流域范围内淤地坝目标检测。

5、泛在网络数据淤地坝动态文本更新

互联网上信息种类丰富，定期在微博数据、新闻报道、历史资料、年鉴、奏折、政府公告、水旱灾害公报、中英文献库等资料等进行数据爬虫，依据关键词‘水库’、‘淤地坝’、‘水利设施’、‘黄河流域’、‘骨干坝’、‘时间’、‘地点’等关键词，获取某地区某时间发生的淤地坝维护、建设信息，为每天更新淤地坝动态信息提供支持。

6、获取淤地坝维护、建设信息，实现步骤如下：

(1)爬虫系统在爬取页面时，使用基于关键词的主题网络爬虫算法，按时间先后的顺序，对网页进行排序并将结果爬取保存，此时会记录上一轮爬取网页数据发布的最新的时间点；

(2)在下一轮抓取时，将记录爬取的时间与上次进行比较，如果早于上一次，表明是已经爬取过的网页，就会过滤掉，如果晚于上一次时间点，就会进行爬取；

(3)在存储数据时，将爬虫抓取之初的内容进行简单的处理，如提取标题、内容、时间等，在进行存储时也会进行去重处理，以免浪费更多的处理资源。

(4)依据互联网上的每日更新的淤地坝及其相关信息，形成覆盖黄河流域的信息的获取方式、及时对构建的黄河流域淤地坝全要素动态信息进行更新，形成基于泛在网络数据的淤地坝动态监控体系。

7、遥感淤地坝数据动态监测更新

依据每日获取的卫星遥感影像、无人机遥感影像、地面实际观测数据等遥感数据，依据深度学习淤地坝目标检测方法实现黄河流域范围内淤地坝动态检测并进行信息更新。

8、搭建淤地坝遥感监测云平台

将构建好的深度学习模型和每日更新的遥感数据上传到搭建的云平台，每日自动在网络中通过爬虫技术获取更新的黄河流域淤地坝信息，并且也将每日获取的遥感影像上传到云平台，在云平台中自动完成数据的监测与更新。

集成遥感监控与泛在网络监控方法，打造黄河流域淤地坝动态监测新途径，建立黄河流域淤地坝动态主动监控系统，主动发现、跟踪、锁定淤地坝建设与管理热点、重点目标，实现深层淤地坝信息自动化提取和协同监测业务模式。

9、淤地坝更新数据的使用

以往对于黄河流域的淤地坝数据进行检测，需要人工实地探查，耗费大量时间，而本发明方法可以减少投入的人工成本。在云平台中，每日自动进行网络大数据的获取，将仅需将遥感影像上传到云平台中，即可自动完成数据的更新，方便科研工作者和工程设施的使用。该方法可以方便人们对淤地坝设施的及时监测，查看是否有裂缝、不均匀沉陷、积水、杂草生长现象、滑坡、塌坑、冲刷沟、鼠洞、管涌、流土或隆起，方便进行及时的维修。

对淤地坝设施的及时掌握有利于在灾害发生时，对灾害险情进行及时的掌握和预测发展趋势，有利于进行及时的调度，避免因缺少监测资料，造成巨大的财产损失和人员伤亡。了解淤地坝设施及时周围环境，对于掌握分析水土流失情况、了解事物发展规律，在消除水污染、在灌溉、生态等方面具有重要意义。

Claims (9)

1.一种黄河流域淤地坝空间分布识别方法，其特征在于，包括以下步骤：

S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像，并将黄河流域遥感图像大小裁剪为224×224像素；

S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记，将标记后的黄河流域遥感图像保存为二值图像；

S3、构建深度学习模型；

S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练，并对深度学习模型进行剪枝操作；

S5、定期爬取黄河流域淤地坝工程信息，对黄河流域淤地坝工程信息进行更新，并构建黄河流域淤地坝全要素长时序数据集；

S6、定期获取黄河流域遥感图像，并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别，得到识别结果；

S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台，完成黄河流域淤地坝空间分布识别。

2.根据权利要求1所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息；所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。

3.根据权利要求1所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。

4.根据权利要求3所述的黄河流域淤地坝空间分布识别方法，其特征在于，每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1；每个所述池化层均采用2×2的最大池化函数max pooling的方式；

所述第一卷积层的卷积核个数为64，所述第二卷积层的卷积核个数为128，所述第三卷积层的卷积核个数为256，所述四卷积层的卷积核个数为512，所述第五卷积层的卷积核个数为512；所述输出层为softmax层。

5.根据权利要求1所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S4包括以下分步骤：

S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型，对深度学习模型进行训练，并在训练过程中对深度学习模型进行剪枝操作；

S4.2、设定训练次数为M，对损失函数求导，根据所求导数且采用随机梯度下降方法沿梯度方向更新参数；

S4.3、根据步骤S4.2所述方法，对深度学习模型训练M次，完成对深度学习模型的训练。

6.根据权利要求5所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S4中对深度学习模型进行剪枝操作的具体方法为：对每个卷积层的通道进行剪枝操作，通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束，将卷积层中权重最小的N个权重参数修改为0，将权重0值最多的通道剪去，完成剪枝操作。

7.根据权利要求6所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述LASSO回归的损失函数J(θ)具体为:

J(θ)＝1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1

其中，n表示输入的样本个数，α表示常数系数，α||θ||1表示L1范数，θ表示沿维度的向量值，X表示输出预测值，Y表示输出真实值。

8.根据权利要求1所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为：

B1、确定定期爬取时间和爬取关键词，根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存，并记录对应的网页数据发布的最新时间；

B2、到达定期爬取时间时，根据爬取关键词对黄河流域淤地坝工程信息进行爬取，并判断网页数据发布的最新时间是否与上次爬取记录时间相同，若是，则过滤网页爬取结果，并进入步骤B3，否则保存网页爬取结果，并进入步骤B3；

B3、去除网页爬取结果中标题和时间相同的结果，完成黄河流域淤地坝工程信息的爬取。

9.根据权利要求1所述的黄河流域淤地坝空间分布识别方法，其特征在于，所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。

Images