CN112750138A - 一种黄河流域淤地坝空间分布识别方法 - Google Patents
一种黄河流域淤地坝空间分布识别方法 Download PDFInfo
- Publication number
- CN112750138A CN112750138A CN202110049394.XA CN202110049394A CN112750138A CN 112750138 A CN112750138 A CN 112750138A CN 202110049394 A CN202110049394 A CN 202110049394A CN 112750138 A CN112750138 A CN 112750138A
- Authority
- CN
- China
- Prior art keywords
- river basin
- yellow river
- layer
- dam
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种黄河流域淤地坝空间分布识别方法,通过定期爬取淤地坝的信息以及构建深度学习模型对黄河流域的淤地坝进行识别,实现了黄河流域淤地坝空间分布识别。本发明能将已经建立和正在建设的淤地坝数据归纳进数据库中,不仅在拦泥、淤地、减灾、提高水资源利用率、促进农业退耕、结构调整和经济增长、改善丘陵山区交通和生活条件等方面发挥着十分关键的作用,一旦发生洪涝灾害,就能依据数据库信息,使用遥感影像依据属性坐标信息进行位置的确定,并依据及时获取的遥感信息,进行灾害预警、淤地坝损毁情况识别等灾情信息实时获取,具有重要的实际应用价值,为人们使用水利信息提供极大的便利。
Description
技术领域
本发明属于网络科学领域,具体涉及一种黄河流域淤地坝空间分布识别方法。
背景技术
中国水资源丰富,尤其黄河流域,特殊的地貌条件和气候条件造成该区沟床下切、沟头延伸,水土流失严重。为了使水土流失这一世界难题得以解决,全球水利工作者们做出了许多努力和尝试,淤地坝是极为有效的工程措施。淤地坝通过“拦、蓄、淤”,既能将洪水、泥沙就地拦蓄,有效防止水土流失,又能淤泥造地,充分利用水沙资源,改变农业生产基本条件,改善当地生态环境,是一项独特的水土保持工程措施。然而,随着淤地坝不断投入使用,基本都是采用人工调查,并没有一个统一的方案将各地淤地坝信息进行整合管理、实现智能化和数字化管理,为数据的使用提供便捷的服务,仍需进一步的研究。
发明内容
针对现有技术中的上述不足,本发明提供的一种黄河流域淤地坝空间分布识别方法解决了现有技术中淤地坝信息依靠人工采集,费时费力的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种黄河流域淤地坝空间分布识别方法,包括以下步骤:
S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像,并将黄河流域遥感图像大小裁剪为224×224像素;
S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记,将标记后的黄河流域遥感图像保存为二值图像;
S3、构建深度学习模型;
S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练,并对深度学习模型进行剪枝操作;
S5、定期爬取黄河流域淤地坝工程信息,对黄河流域淤地坝工程信息进行更新,并构建黄河流域淤地坝全要素长时序数据集;
S6、定期获取黄河流域遥感图像,并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别,得到识别结果;
S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台,完成黄河流域淤地坝空间分布识别。
进一步地,所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息;所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。
进一步地,所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。
进一步地,每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1;每个所述池化层均采用2×2的最大池化函数max pooling的方式;
所述第一卷积层的卷积核个数为64,所述第二卷积层的卷积核个数为128,所述第三卷积层的卷积核个数为256,所述四卷积层的卷积核个数为512,所述第五卷积层的卷积核个数为512;所述输出层为softmax层。
进一步地,所述步骤S4包括以下分步骤:
S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型,对深度学习模型进行训练,并在训练过程中对深度学习模型进行剪枝操作;
S4.2、设定训练次数为M,对损失函数求导,根据所求导数且采用随机梯度下降方法沿梯度方向更新参数;
S4.3、根据步骤S4.2所述方法,对深度学习模型训练M次,完成对深度学习模型的训练。
进一步地,所述步骤S4中对深度学习模型进行剪枝操作的具体方法为:对每个卷积层的通道进行剪枝操作,通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束,将卷积层中权重最小的N个权重参数修改为0,将权重0值最多的通道剪去,完成剪枝操作。
进一步地,所述LASSO回归的损失函数J(θ)具体为:
J(θ)=1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1
其中,n表示输入的样本个数,α表示常数系数,α||θ||1表示L1范数,θ表示沿维度的向量值,X表示输出预测值,Y表示输出真实值。
进一步地,所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为:
B1、确定定期爬取时间和爬取关键词,根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存,并记录对应的网页数据发布的最新时间;
B2、到达定期爬取时间时,根据爬取关键词对黄河流域淤地坝工程信息进行爬取,并判断网页数据发布的最新时间是否与上次爬取记录时间相同,若是,则过滤网页爬取结果,并进入步骤B3,否则保存网页爬取结果,并进入步骤B3;
B3、去除网页爬取结果中标题和时间相同的结果,完成黄河流域淤地坝工程信息的爬取。
进一步地,所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。
本发明的有益效果为:
(1)本发明解决了以往对于黄河流域的淤地坝数据进行检测,需要人工实地探查,耗费大量时间的问题;减少了投入的人工成本,在云平台中,每日自动进行网络大数据的获取,将仅需将遥感影像上传到云平台中,即可自动完成数据的更新,方便科研工作者和工程设施的使用。
(2)本发明通过对黄河流域淤地坝空间分布进行识别,方便人们对淤地坝设施的及时监测,查看是否有裂缝、不均匀沉陷、积水、杂草生长现象、滑坡、塌坑、冲刷沟、鼠洞、管涌、流土或隆起,方便进行及时的维修
(3)本发明能将已经建立和正在建设的淤地坝数据归纳进数据库中,不仅在拦泥、淤地、减灾、提高水资源利用率、促进农业退耕、结构调整和经济增长、改善丘陵山区交通和生活条件等方面发挥着十分关键的作用,一旦发生洪涝灾害,就能依据数据库信息,使用遥感影像依据属性坐标信息进行位置的确定,并依据及时获取的遥感信息,进行灾害预警、淤地坝损毁情况识别等灾情信息实时获取,具有重要的实际应用价值,为人们使用水利信息提供极大的便利。
附图说明
图1为本发明提出的一种黄河流域淤地坝空间分布识别方法流程图。
图2为本发明提出的深度学习模型示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示,一种黄河流域淤地坝空间分布识别方法,包括以下步骤:
S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像,并将黄河流域遥感图像大小裁剪为224×224像素;
S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记,将标记后的黄河流域遥感图像保存为二值图像;
S3、构建深度学习模型;
S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练,并对深度学习模型进行剪枝操作;
S5、定期爬取黄河流域淤地坝工程信息,对黄河流域淤地坝工程信息进行更新,并构建黄河流域淤地坝全要素长时序数据集;
S6、定期获取黄河流域遥感图像,并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别,得到识别结果;
S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台,完成黄河流域淤地坝空间分布识别。
所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息;所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。
所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。
每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1;每个所述池化层均采用2×2的最大池化函数max pooling的方式;
所述第一卷积层的卷积核个数为64,所述第二卷积层的卷积核个数为128,所述第三卷积层的卷积核个数为256,所述四卷积层的卷积核个数为512,所述第五卷积层的卷积核个数为512;所述输出层为softmax层。
所述步骤S4包括以下分步骤:
S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型,对深度学习模型进行训练,并在训练过程中对深度学习模型进行剪枝操作;
S4.2、设定训练次数为M,对损失函数求导,根据所求导数且采用随机梯度下降方法沿梯度方向更新参数;
S4.3、根据步骤S4.2所述方法,对深度学习模型训练M次,完成对深度学习模型的训练。
输入的样本经过模型中的卷积,池化等处理,最后在输出层中样本的值即可以当成处理后的预测值,而二值图像即为是真实值,真实值与预测值之间的差值即为损失函数(差值并非直接相剪,过程较为复杂),对损失函数求导,导数为0,即可当成真实值完全与预测值相同,既模型训练成功;实际无法实现导数为0,只能随着训练次数的逐渐增加,模型精度越来越高,最后稳定在一个数值左右。
所述步骤S4中对深度学习模型进行剪枝操作的具体方法为:对每个卷积层的通道进行剪枝操作,通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束,将卷积层中权重最小的N个权重参数修改为0,将权重0值最多的通道剪去,完成剪枝操作。
L1范数可以使得权重中大部分值为0,所以能使权重更加稀疏,从而将稀疏的通道剪掉。
所述LASSO回归的损失函数J(θ)具体为:
J(θ)=1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1
其中,n表示输入的样本个数,α表示常数系数,α||θ||1表示L1范数,θ表示沿维度的向量值,X表示输出预测值,Y表示输出真实值。
所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为:
B1、确定定期爬取时间和爬取关键词,根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存,并记录对应的网页数据发布的最新时间;
B2、到达定期爬取时间时,根据爬取关键词对黄河流域淤地坝工程信息进行爬取,并判断网页数据发布的最新时间是否与上次爬取记录时间相同,若是,则过滤网页爬取结果,并进入步骤B3,否则保存网页爬取结果,并进入步骤B3;
B3、去除网页爬取结果中标题和时间相同的结果,完成黄河流域淤地坝工程信息的爬取。
所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。
在本实施例中,黄河流域淤地坝空间分布识别具体实现过程如下:
1、数据资料的获取
通过网络爬虫微博数据、新闻报道、历史资料、年鉴、奏折、政府公告、水旱灾害公报、中英文献库等获取数据,收集黄河流域已建成和正在建设的淤地坝工程信息。
2、构建黄河流域、全要素淤地坝数据库
根据收集黄河流域已建成和正在建设的淤地坝工程信息,按照名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况、重大事件等构建黄河流域淤地坝全要素、长时序数据集。
3、构建多源淤地坝样本库
利用深度学习技术对航天遥感影像、航空遥感、低空遥感影像等多源遥感影像数据源进行处理,裁剪成224x 224尺寸的数据集,以满足各种淤地坝数据都能进行目标精准识别。
4、使用改进的深度学习模型进行模型训练
本发明提出使用改进的深度学习进行淤地坝样本的训练,以获取能准确识别的深度学习模型,深度学习进行淤地坝目标快速定位实现流程图如图2所示,具体步骤如下:
(1)构建训练数据集,对所有淤地坝影像,用多边形将所有影像中的淤地坝部分勾画掩膜,将勾画的淤地坝区域与非淤地坝区域作二值图像保存,并对原始影像和构建的二值影像,同时进行影像切分,保存224x 224尺寸的数据集;
(2)搭建深度学习模型,包含5个卷积层、3个全连接层的深度学习网络,为了使训练的模型能达到快速、精准识别的目标,本方法对深度学习模型引用剪枝操作,该方法能在不降低精度的同时,使得运算速度更快,并且剪枝后的模型占用空间更小,更容易保存;
①深度学习卷积层过程:初始卷积核的大小为3×3×3,步幅stride的大小为1,有效填充padding的大小为1,池化层pooling采用2×2的最大池化函数max pooling的方式。
A1、使用一次64个卷积核的卷积处理,并进行一次池化层pooling处理;
A2、使用一次128个卷积核的卷积处理,并进行一次池化层pooling处理;
A3、使用一次256个卷积核的卷积处理,并进行一次池化层pooling处理;
A4、使用一次512个卷积核的卷积处理,并进行一次池化层pooling处理;
A5、使用一次512个卷积核的卷积处理,并进行一次池化层pooling处理;
A6、使用三次全连接层Fc_layer,并经过softmax输出层处理。
②深度学习模型剪枝过程:通过LASSO回归算法进行通道选择(Channelselection),在损失函数中添加L1范数对权重进行约束。以目标函数优化的角度考虑,L1范数可以使得权重中大部分值为0,使得通道内权重具有稀疏性,从而可以将系数的Channel剪掉。
(3)用构建的224x 224数据集使用本发明的构建的深度学习网络进行训练;
(4)将训练后的淤地坝识别模型进行保存;
(5)用训练好的淤地坝识别模型,对航天遥感影像、航空遥感、低空遥感影像等多源数据,进行黄河流域范围内淤地坝目标检测。
5、泛在网络数据淤地坝动态文本更新
互联网上信息种类丰富,定期在微博数据、新闻报道、历史资料、年鉴、奏折、政府公告、水旱灾害公报、中英文献库等资料等进行数据爬虫,依据关键词‘水库’、‘淤地坝’、‘水利设施’、‘黄河流域’、‘骨干坝’、‘时间’、‘地点’等关键词,获取某地区某时间发生的淤地坝维护、建设信息,为每天更新淤地坝动态信息提供支持。
6、获取淤地坝维护、建设信息,实现步骤如下:
(1)爬虫系统在爬取页面时,使用基于关键词的主题网络爬虫算法,按时间先后的顺序,对网页进行排序并将结果爬取保存,此时会记录上一轮爬取网页数据发布的最新的时间点;
(2)在下一轮抓取时,将记录爬取的时间与上次进行比较,如果早于上一次,表明是已经爬取过的网页,就会过滤掉,如果晚于上一次时间点,就会进行爬取;
(3)在存储数据时,将爬虫抓取之初的内容进行简单的处理,如提取标题、内容、时间等,在进行存储时也会进行去重处理,以免浪费更多的处理资源。
(4)依据互联网上的每日更新的淤地坝及其相关信息,形成覆盖黄河流域的信息的获取方式、及时对构建的黄河流域淤地坝全要素动态信息进行更新,形成基于泛在网络数据的淤地坝动态监控体系。
7、遥感淤地坝数据动态监测更新
依据每日获取的卫星遥感影像、无人机遥感影像、地面实际观测数据等遥感数据,依据深度学习淤地坝目标检测方法实现黄河流域范围内淤地坝动态检测并进行信息更新。
8、搭建淤地坝遥感监测云平台
将构建好的深度学习模型和每日更新的遥感数据上传到搭建的云平台,每日自动在网络中通过爬虫技术获取更新的黄河流域淤地坝信息,并且也将每日获取的遥感影像上传到云平台,在云平台中自动完成数据的监测与更新。
集成遥感监控与泛在网络监控方法,打造黄河流域淤地坝动态监测新途径,建立黄河流域淤地坝动态主动监控系统,主动发现、跟踪、锁定淤地坝建设与管理热点、重点目标,实现深层淤地坝信息自动化提取和协同监测业务模式。
9、淤地坝更新数据的使用
以往对于黄河流域的淤地坝数据进行检测,需要人工实地探查,耗费大量时间,而本发明方法可以减少投入的人工成本。在云平台中,每日自动进行网络大数据的获取,将仅需将遥感影像上传到云平台中,即可自动完成数据的更新,方便科研工作者和工程设施的使用。该方法可以方便人们对淤地坝设施的及时监测,查看是否有裂缝、不均匀沉陷、积水、杂草生长现象、滑坡、塌坑、冲刷沟、鼠洞、管涌、流土或隆起,方便进行及时的维修。
对淤地坝设施的及时掌握有利于在灾害发生时,对灾害险情进行及时的掌握和预测发展趋势,有利于进行及时的调度,避免因缺少监测资料,造成巨大的财产损失和人员伤亡。了解淤地坝设施及时周围环境,对于掌握分析水土流失情况、了解事物发展规律,在消除水污染、在灌溉、生态等方面具有重要意义。
Claims (9)
1.一种黄河流域淤地坝空间分布识别方法,其特征在于,包括以下步骤:
S1、采集黄河流域淤地坝工程信息以及若干黄河流域遥感图像,并将黄河流域遥感图像大小裁剪为224×224像素;
S2、采用人工标记的方式对黄河流域遥感图像中淤地坝部分进行标记,将标记后的黄河流域遥感图像保存为二值图像;
S3、构建深度学习模型;
S4、将原始黄河流域遥感图像和二值图像作为训练集对深度学习模型进行训练,并对深度学习模型进行剪枝操作;
S5、定期爬取黄河流域淤地坝工程信息,对黄河流域淤地坝工程信息进行更新,并构建黄河流域淤地坝全要素长时序数据集;
S6、定期获取黄河流域遥感图像,并将获取的黄河流域遥感图像输入深度学习模型进行淤地坝识别,得到识别结果;
S7、将全要素长时序数据集、识别结果和深度学习模型传输至云平台,完成黄河流域淤地坝空间分布识别。
2.根据权利要求1所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S1中黄河流域淤地坝工程信息包括淤地坝维护信息和建设信息;所述步骤S1中黄河流域遥感图像包括航天遥感图像和低空遥感图像。
3.根据权利要求1所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S3中深度学习模型包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全连接层、第二全连接层、第三全连接层和输出层。
4.根据权利要求3所述的黄河流域淤地坝空间分布识别方法,其特征在于,每个所述卷积层的大小均为3×3×3、步长均为1以及有效填充padding的大小均为1;每个所述池化层均采用2×2的最大池化函数max pooling的方式;
所述第一卷积层的卷积核个数为64,所述第二卷积层的卷积核个数为128,所述第三卷积层的卷积核个数为256,所述四卷积层的卷积核个数为512,所述第五卷积层的卷积核个数为512;所述输出层为softmax层。
5.根据权利要求1所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S4包括以下分步骤:
S4.1、将原始黄河流域遥感图像作为输入样本以及将二值图像作为训练标签输入深度学习模型,对深度学习模型进行训练,并在训练过程中对深度学习模型进行剪枝操作;
S4.2、设定训练次数为M,对损失函数求导,根据所求导数且采用随机梯度下降方法沿梯度方向更新参数;
S4.3、根据步骤S4.2所述方法,对深度学习模型训练M次,完成对深度学习模型的训练。
6.根据权利要求5所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S4中对深度学习模型进行剪枝操作的具体方法为:对每个卷积层的通道进行剪枝操作,通过LASSO回归的损失函数中添加L1范数对卷积层权重进行约束,将卷积层中权重最小的N个权重参数修改为0,将权重0值最多的通道剪去,完成剪枝操作。
7.根据权利要求6所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述LASSO回归的损失函数J(θ)具体为:
J(θ)=1/2n(Xθ-Y)*(Xθ-Y)+α||θ||1
其中,n表示输入的样本个数,α表示常数系数,α||θ||1表示L1范数,θ表示沿维度的向量值,X表示输出预测值,Y表示输出真实值。
8.根据权利要求1所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S5中定期爬取黄河流域淤地坝工程信息的具体方法为:
B1、确定定期爬取时间和爬取关键词,根据爬取关键词并按照时间先后顺序对网页爬取结果进行保存,并记录对应的网页数据发布的最新时间;
B2、到达定期爬取时间时,根据爬取关键词对黄河流域淤地坝工程信息进行爬取,并判断网页数据发布的最新时间是否与上次爬取记录时间相同,若是,则过滤网页爬取结果,并进入步骤B3,否则保存网页爬取结果,并进入步骤B3;
B3、去除网页爬取结果中标题和时间相同的结果,完成黄河流域淤地坝工程信息的爬取。
9.根据权利要求1所述的黄河流域淤地坝空间分布识别方法,其特征在于,所述步骤S5中黄河流域淤地坝全要素长时序数据集包括黄河流域淤地坝的名称、地理位置、工程建设情况、建设目的、项目主体、工程投资、运行状况和重大事件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110049394.XA CN112750138B (zh) | 2021-01-14 | 2021-01-14 | 一种黄河流域淤地坝空间分布识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110049394.XA CN112750138B (zh) | 2021-01-14 | 2021-01-14 | 一种黄河流域淤地坝空间分布识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112750138A true CN112750138A (zh) | 2021-05-04 |
CN112750138B CN112750138B (zh) | 2022-07-15 |
Family
ID=75652000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110049394.XA Active CN112750138B (zh) | 2021-01-14 | 2021-01-14 | 一种黄河流域淤地坝空间分布识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112750138B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537177A (zh) * | 2021-09-16 | 2021-10-22 | 南京信息工程大学 | 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 |
CN114529814A (zh) * | 2022-01-26 | 2022-05-24 | 南京信息工程大学 | 基于多源数据的黄土高原淤地坝提取方法 |
CN117078627A (zh) * | 2023-08-18 | 2023-11-17 | 中国水利水电科学研究院 | 一种淤地坝坝体缺陷监测及安全评价方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5323317A (en) * | 1991-03-05 | 1994-06-21 | Hampton Terry L | Method and apparatus for determining runoff using remote geographic sensing |
CN109597868A (zh) * | 2018-11-29 | 2019-04-09 | 中国水利水电科学研究院 | 一种大范围淤地坝位置确定方法 |
CN109740485A (zh) * | 2018-12-27 | 2019-05-10 | 中国水利水电科学研究院 | 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 |
CN110377680A (zh) * | 2019-07-11 | 2019-10-25 | 中国水利水电科学研究院 | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 |
WO2019224739A1 (en) * | 2018-05-25 | 2019-11-28 | University Of Johannesburg | System and method for real time prediction of water level and hazard level of a dam |
CN111950476A (zh) * | 2020-08-17 | 2020-11-17 | 重庆大学 | 基于深度学习的复杂环境下河道船舶自动识别方法 |
-
2021
- 2021-01-14 CN CN202110049394.XA patent/CN112750138B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5323317A (en) * | 1991-03-05 | 1994-06-21 | Hampton Terry L | Method and apparatus for determining runoff using remote geographic sensing |
WO2019224739A1 (en) * | 2018-05-25 | 2019-11-28 | University Of Johannesburg | System and method for real time prediction of water level and hazard level of a dam |
CN109597868A (zh) * | 2018-11-29 | 2019-04-09 | 中国水利水电科学研究院 | 一种大范围淤地坝位置确定方法 |
CN109740485A (zh) * | 2018-12-27 | 2019-05-10 | 中国水利水电科学研究院 | 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 |
CN110377680A (zh) * | 2019-07-11 | 2019-10-25 | 中国水利水电科学研究院 | 基于网络爬虫和语义识别的山洪灾害数据库构建及更新的方法 |
CN111950476A (zh) * | 2020-08-17 | 2020-11-17 | 重庆大学 | 基于深度学习的复杂环境下河道船舶自动识别方法 |
Non-Patent Citations (5)
Title |
---|
REMIS BALANIUK ET AL.: "Mining and Tailings Dam Detection in Satellite Imagery Using Deep Learning", 《SENSORS(BASEL)》 * |
WEIZHEN FANG ET AL.: "Recognizing Global Reservoirs From Landsat 8 Images : A Deep Learning Approach", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
叶乾坤: "基于卷积神经网络的遥感图像目标检测及变化检测", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技II辑》 * |
张昆仑 等: "基于 Multi-Task-Branch 网络的唐山尾矿库提取", 《河南理工大学学报(自然科学版)》 * |
闫凯 等: "基于深度学习的SSD模型尾矿库自动提取", 《中国科学院大学学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537177A (zh) * | 2021-09-16 | 2021-10-22 | 南京信息工程大学 | 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 |
CN114529814A (zh) * | 2022-01-26 | 2022-05-24 | 南京信息工程大学 | 基于多源数据的黄土高原淤地坝提取方法 |
CN117078627A (zh) * | 2023-08-18 | 2023-11-17 | 中国水利水电科学研究院 | 一种淤地坝坝体缺陷监测及安全评价方法及系统 |
CN117078627B (zh) * | 2023-08-18 | 2024-02-27 | 中国水利水电科学研究院 | 一种淤地坝坝体缺陷监测及安全评价方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112750138B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112750138B (zh) | 一种黄河流域淤地坝空间分布识别方法 | |
Chang et al. | Integrating multisensor satellite data merging and image reconstruction in support of machine learning for better water quality management | |
Mohanty et al. | Artificial neural network modeling for groundwater level forecasting in a river island of eastern India | |
CN110533258B (zh) | 一种稻麦轮作农田涝渍预警评估方法及系统 | |
Ibrakhimov | Spatial and temporal dynamics of groundwater table and salinity in Khorezm (Aral Sea Basin), Uzbekistan | |
CN114942596B (zh) | 一种城市防洪排水智能控制系统 | |
Mahdian et al. | Anzali wetland crisis: unraveling the decline of Iran's ecological gem | |
Boll et al. | Progress toward development of a GIS based water quality management tool for small rural watersheds: modification and application of a distributed model | |
CN115034662A (zh) | 一种基于流域划分的冻土调查的地质评估方法 | |
Fergus et al. | National framework for ranking lakes by potential for anthropogenic hydro-alteration | |
Manaouch et al. | Integrating GIS-based FAHP and WaTEM/SEDEM for identifying potential RWH areas in semi-arid areas | |
Atashi et al. | Comparative Study of Deep Learning LSTM and 1D-CNN Models for Real-time Flood Prediction in Red River of the North, USA | |
McCleary et al. | Predictive modeling and spatial mapping of fish distributions in small streams of the Canadian Rocky Mountain foothills | |
Raju et al. | Assessment of variable source area hydrological models in humid tropical watersheds | |
CN116402918B (zh) | 一种岸滩海洋垃圾采样断面的构建方法及系统 | |
Al-Aboodi et al. | Assessment of groundwater contamination by using numerical methods | |
Coleman et al. | A spatially based area–time inundation index model developed to assess habitat opportunity in tidal–fluvial wetlands and restoration sites | |
Athira et al. | Flood modelling and inundation mapping of Meenachil River using HEC-RAS and HEC-HMS software | |
Zhou | Application of artificial intelligence in geography | |
Frajer et al. | The importance of historical maps for man-made pond research: From the past extent of ponds to issues of the present landscape. A case study from the Czech Republic | |
Maloba et al. | Effects of increased land use changes on runoff and sediment yield in the Upper River Nzoia catchment | |
Manos et al. | A decision support system approach for rivers monitoring and sustainable management | |
Jame et al. | Mapping agricultural drainage extent in the us corn belt: The value of multiple methods | |
Kite | Developing a hydrological model for the Mekong Basin: impacts of basin development on fisheries productivity | |
Pyankov et al. | Application of GIS technologies to assess hydrological and environmental safety of the Selenga River Basin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |