CN111967648A - 一种基于宽度学习模型的泥石流灾害预报方法 - Google Patents
一种基于宽度学习模型的泥石流灾害预报方法 Download PDFInfo
- Publication number
- CN111967648A CN111967648A CN202010697270.8A CN202010697270A CN111967648A CN 111967648 A CN111967648 A CN 111967648A CN 202010697270 A CN202010697270 A CN 202010697270A CN 111967648 A CN111967648 A CN 111967648A
- Authority
- CN
- China
- Prior art keywords
- debris flow
- matrix
- width learning
- data
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
Abstract
本发明公开了一种基于宽度学习模型的泥石流灾害预报方法,具体按照以下步骤实施:步骤1、建立泥石流监测预警系统,获取初始泥石流灾害影响因子数据,经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子;步骤2、构建基于宽度学习模型的泥石流灾害预测模型,用矩阵随机近似奇异值分解对步骤2构建的基于宽度学习模型的泥石流灾害预测模型进行了优化,将步骤1得到的泥石流灾害的6个主要影响因子作为宽度学习算法BL的输入,输出泥石流发生概率,完成泥石流灾害预测,解决了现有技术中存在的灾害预测中输入数据维度较大的问题。
Description
技术领域
本发明属于地质灾害预报方法技术领域,涉及一种基于宽度学习模型的泥石流灾害预报方法。
背景技术
泥石流是我国主要地质灾害之一。我国幅员辽阔,自然环境复杂多变,山区地质构造活动强烈,此外随着人们随意改造山林等不合理建设活动的增加,也极易引发泥石流灾害。近年来,频繁爆发的泥石流灾害引起了国家政府部门的高度关注,为降低泥石流灾害的危害程度,有关部门加强了调查与防治工作,对泥石流易发区进行了调查和探究。泥石流预报问题已成为自然灾害领域研究的一项前沿课题,能否提供有效的泥石流灾害预报方法成为防灾减灾的关键点。
研究者们根据泥石流形成的特点,提出了多种泥石流灾害预报方法。有研究者结合模糊系统理论和人工神经网络对泥石流危险性进行评价,然而模糊系统计算复杂度大,确定泥石流指标权重向量时过于主观,虽然人工神经网络的加入较好地克服了这一缺陷,但人工神经网络在训练过程中,模型本身易陷入局部极小值,因此,该方法精度不高;有研究者将层次分析法分别用于对泥石流发生概率进行预警和泥石流易发性评价,均取得了一定的成果,但层次分析法依赖于专家系统的支持,往往标度工作量大,数据维度较多;也有学者依据当地泥石流的启动机理,分别运用沟床起动型泥石流10min降雨预报公式与浅层滑坡汇集型沟谷泥石流的预报公式进行泥石流预警,在泥石流降雨临界值预报中获得了良好效果,然而未深入考虑其它相关影响因素,在一定程度上可能会影响预报准确性;还有学者将逻辑回归模型运用于泥石流灾害易发性评价研究中,综合多种指标进行分析,在精确度方面得到了一定提高,但逻辑回归属于广义线性回归模型,受到多重共线性问题的影响较大;最近又有学者提出了一种基于RBF神经网络的泥石危险性评价模型并取得了较好的效果,但缺乏对指标之间相关性的分析,可能造成信息相互叠加,容易引起维度灾难。
发明内容
本发明的目的是提供一种基于宽度学习模型的泥石流灾害预报方法,解决了现有技术中存在的灾害预测中输入数据维度较大的问题。
本发明所采用的技术方案是,一种基于宽度学习模型的泥石流灾害预报方法,具体按照以下步骤实施:
步骤1、建立泥石流监测预警系统,获取初始泥石流灾害影响因子数据,经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子;
步骤2、构建基于宽度学习模型的泥石流灾害预测模型,用矩阵随机近似奇异值分解对步骤2构建的基于宽度学习模型的泥石流灾害预测模型进行了优化,将步骤1得到的泥石流灾害的6个主要影响因子作为宽度学习算法BL的输入,输出泥石流发生概率,完成泥石流灾害预测。
本发明的特点还在于:
步骤1中的泥石流在线监测系统包括多个无线智能传感器模块和现场预报终端模块,多个无线智能传感器模块分别与现场预报终端模块通过ZigBee模块进行通讯连接,现场预报终端模块通过GPRS通讯方式与控制中心连接。
现场预报终端模块包括中央处理器和分别与中央处理器连接的电源模块、存储模块及GPRS模块,GPRS模块与控制中心通过GPRS通讯方式连接。
无线智能传感器模块包括监测分机和与监测分机连接的A/D转换电路模块,各类传感器模块,GPRS模块与监测分机模块通过ZigBee模块进行通讯连接。
步骤1中经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子具体按照以下实施:
步骤1.1、将数据标准化处理,
①缺失值处理,数据遗漏或出现离群点是常见的情况,对遗漏的传感器数据按属性进行统计,得到缺失率q,若q≥90%,则将该列数据剔除;若40%≤q<90%,则采用相邻属性加权填充;若20%≤q<40%,使用均值作为填充值;若q<20%,采用众数进行填充;
②离群值处理,对于某些相距均值的距离在3倍以上或达到5倍标准差的数值都是离群值,需要剔除;
③归一化处理,所需数据不仅种类众多而且数量庞大,不同种类的数据有不同的量纲,数据的多样化会导致数据不平衡,这将在极大程度上影响预报模型的准确率,如公式1所示对数据进行归一化处理,
其中,R′为归一化处理后的数据,R为原始数据,Rmax和Rmin为最大值和最小值;
步骤1.2、运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子过程如下:
对于线性神经网络模型:
y(k)=WT(k)x(k) (2)
其中,y(k)∈Rr×1表示神经网络输出,W(k)∈Rn×r表示神经网络权值矩阵,x(k)∈Rn ×1表示神经网络输入,n是输入向量维数,r是所要提取主成分的维数。令输入的自相关矩阵R对称正定矩阵,其中λi为R的特征值,ui为属于特征值λi的特征向量,i=1,2,...,n,特征值λi>0,对R进行特征值分解:
R=UΛUT (3)
其中,U=[u1,u2,...,un],Λ=diag{λ1,λ2,...,λn},且特征值满足:
λ1>λ2>…>λr>…>λn>0 (4)
属于这r个特征值的特征向量为矩阵R的前r个主成分,由这些主成分生成的空间称为主子空间。FMPCE便是寻求合适的权值矩阵迭代更新方程,使得权值矩阵能够收敛到矩阵R的前r个主成分;其算法形式为:
W(k+1)=W(k)+η[W(k)C(k)+(E(k)A2-F(k)A)] (5)
其中,矩阵A为r×r级对角阵,对角线元素为a1>a2>…>ar>0,η为学习速率。C(k)=W(k)((W(k)TW(k))-1-I)为非二阶矩阵,C的引入既可以解决算法的不稳定问题,还可以提升算法的收敛速度;
E(k)=RW(k)WTW(k),F(k)=W(k)AWT(k)RW(k)在实际应用中,自相关矩阵并不是已知的,而需要通过下式进行估计:
步骤2中构建基于宽度学习模型的泥石流灾害预测模型的具体按照以下步骤实施
①宽度学习初始结构:
用表示第i个特征映射Zi,表示第j个增强节点Hj,其中为随机初始权值,定义Zi=[Z1,Z2,...,Zi],Hj=[H1,H2,...,Hj]。为了简便,后面均省略第i个映射Φi和第j个映射ξj的下标;
对于n个特征映射,每个映射节点生成k个增强节点,用下式表示:
于是,宽度学习模型表示如下:
其中,Wm=[Zn|Hm]+Y是连接权值,[Zn|Hm]+可以由(9)式(伪逆岭回归近似算法)得到。
A+=limλ→0(λI+AAT)-1ATY (9)
②插入新的初始节点:
设插入p个增强节点,令Am=[Zn|Hm],定义Am+1=[Am|Hm+1]。根据RVFLNN的动态更新算法,可求出新的输入矩阵Am+1的伪逆:
新的权值Wm+1为:
步骤2中用矩阵随机近似奇异值分解对构建的基于宽度学习模型的泥石流灾害预测模型进行了优化具体按照以下步骤实施:从具有n组映射特征节点的随机初始化网络出发
矩阵分解的目的是为了减少节点数目以简化计算。对于Zi采用矩阵随机近似SVD进行分解;由Zi的列空间的一组正交基构造一个矩阵Q,使得Zi≈QQ*Zi,则Q为Zi的一个近似子矩阵,QQ*Zi是Zi所构成子空间的低秩近似。根据Q,可以很容易地求出Zi的近似矩阵。然后通过Zi的近似矩阵对Zi进行奇异值分解;
对于插入p个增强节点的优化结果如下:
宽度学习完成后,仍需要去除更小的奇异值来进一步优化。优化结果如下:
将步骤1得到的数据作为模型的输入,经过训练,最终输出泥石流的发生概率。
步骤1中的6个主要影响因子分别为降雨量、山坡坡度、沟床比降、相对高差、土壤含水率和孔隙水压力。
本发明的有益效果是:本发明一种基于宽度学习模型的泥石流灾害预报方法,解决了现有技术中存在的灾害预测中输入数据维度较大和训练时间较长的问题,建立泥石流监测预警系统,通过智能传感器采集到大量灾害影响因子,并通过快速多个主成分并行提取算法FMPCE筛选出主要灾害影响因子,减少指标选择工作量,改善了传统方法所造成的维度灾难问题;采用宽度学习BL算法对泥石流发生概率进行预测,旨在弥补深度学习由于需要计算大量的隐层权值而导致的训练时间过长的缺陷,同时也是为了提高模型的在线更新能力;使用矩阵随机近似SVD对模型进行优化,以解决因模型初始化不佳而引起的输入矩阵结构冗余问题;减少了指标选择工作量,改善了传统方法所造成的维度灾难问题,提高了学习速率,优化了模型网络的输入矩阵结构冗余,提高了网络模型预测精度;将其应用在作泥石流灾害预测上可得出准确的泥石流发生概率。
附图说明
图1是本发明一种基于宽度学习模型的泥石流灾害预报方法的泥石流在线监测系统结构示意图;
图2是本发明一种基于宽度学习模型的泥石流灾害预报方法的宽度学习模型初始结构图;
图3是本发明一种基于宽度学习模型的泥石流灾害预报方法的宽度学习模型更新后的结构图;
图4是本发明一种基于宽度学习模型的泥石流灾害预报方法的运用快速多个主成分并行提取算法FMPCE筛选出来的影响因子与预报准确率的关系图;
图5是本发明一种基于宽度学习模型的泥石流灾害预报方法的数据预处理前后的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,具体按照以下步骤实施:
步骤1、建立泥石流监测预警系统,获取初始泥石流灾害影响因子数据,经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子;
步骤1中的6个主要影响因子分别为降雨量、山坡坡度、沟床比降、相对高差、土壤含水率和孔隙水压力。
如图1所示,步骤1中的泥石流在线监测系统包括多个无线智能传感器模块和现场预报终端模块,多个无线智能传感器模块分别与现场预报终端模块通过ZigBee模块进行通讯连接,现场预报终端模块通过GPRS通讯方式与控制中心连接。
现场预报终端模块包括中央处理器和分别与中央处理器连接的电源模块、存储模块及GPRS模块,GPRS模块与控制中心通过GPRS通讯方式连接。
无线智能传感器模块包括监测分机和与监测分机连接的A/D转换电路模块,各类传感器模块,GPRS模块与监测分机模块通过ZigBee模块进行通讯连接。GPRS模块与监测分机模块通过ZigBee模块进行通讯连接。中央处理器使用芯片的型号为STM32F107,监测分机使用芯片的信号为MSP430。
现场预报终端模块是将各个无线智能传感器模块的数据进行汇总,判断其是否达到预报阀值,并将数据统一处理并打包传输给控制中心(PC端)。预报终端各模块的主要作用是:电源模块负责对中央处理器进行供电;存储模块负责存储各参数的报警阈值以及接收到的各无线传感器发送的数据;GPRS模块负责预报终端与中央处理器之间的通讯包括发送监测数据到PC控制中心和接收控制中心的命令。
无线智能传感器模块主要将传感器采集模块采集到的数据进行标准化处理,并将其通过无线通讯ZigBee模块将数据传送给现场预报终端模块,并将实时监测得到的数据作为模型输入变量。无线智能传感器各模块的主要功能:传感器采集模块主要负责采集监测区域环境的降雨量、土壤含水率、山坡坡度、孔隙水压力等。监测分机使用低功耗的MSP430控制芯片。
将无线智能传感器模块得到的测量数据作为输入量,通过快速多个主成分并行提取算法FMPCE进行训练,筛选出6个主要影响因子,避免数据维度较大,从而得到更为可靠的预测结果。
图2是宽度学习模型初试结构图,首先将输入数据映射成特征节点矩阵,再在此基础上,经过增强变换形成增强节点矩阵。最后由特征映射节点和增强节点共同作为隐含层的输入,利用伪逆求解隐含层与输出之间的权值矩阵。
图3是宽度模型更新后的结构图,更新隐含层与输出之间的连接,这使得训练过程十分简便,无需计算所有的增强节点,而只需计算新插入的增强节点的伪逆,从而实现快速增量学习。类似地,还可以对新的特征映射节点和新的输入数据进行更新。
图4是运用快速多个主成分并行提取算法FMPCE筛选出来的影响因子与预报准确率的关系图,从图中明显看出,随着泥石流影响因子维度的增加,模型预报准确率逐步提高,当维度达到6时,模型的预报准确率基本稳定,继续增加影响因子对模型预报的准确率并无明显改变,因此选取影响因子维度为6。根据前文提到的FMPCE算法进行主成分提取,最终提取出的影响因子包括:降雨量、山坡坡度、沟床比降、相对高差、土壤含水率、孔隙水压力。
图5是数据预处理前后的结果对比图,分别对预处理之前和预处理之后的数据,使用矩阵随机近似SVD优化的宽度学习(SVDBL)模型进行仿真,从图中可以看出,对于未经过预处理的数据,当模型的增量节点数增加到7000个左右时,预报准确率才渐趋稳定,最终达到79.64%,训练时间为2.9012s。然而,对于经过预处理的数据,输入模型之后,当模型的增量节点数达到2000个以上时,其预报准确率就已经趋于稳定,最终达到93.58%,训练时间为0.9037s。仿真结果表明,对数据进行预处理是必要的,且本文中所述的数据预处理方式可以有效提升预报准确率。
步骤1中经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子具体按照以下实施:
步骤1.1、将数据标准化处理,
①缺失值处理,数据遗漏或出现离群点是常见的情况,对遗漏的传感器数据按属性进行统计,得到缺失率q,若q≥90%,则将该列数据剔除;若40%≤q<90%,则采用相邻属性加权填充;若20%≤q<40%,使用均值作为填充值;若q<20%,采用众数进行填充;
②离群值处理,对于某些相距均值的距离在3倍以上或达到5倍标准差的数值都是离群值,需要剔除;
③归一化处理,所需数据不仅种类众多而且数量庞大,不同种类的数据有不同的量纲,数据的多样化会导致数据不平衡,这将在极大程度上影响预报模型的准确率,如公式1所示对数据进行归一化处理,
其中,R′为归一化处理后的数据,R为原始数据,Rmax和Rmin为最大值和最小值;
步骤1.2、运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子过程如下:
对于线性神经网络模型:
y(k)=WT(k)x(k) (2)
其中,y(k)∈Rr×1表示神经网络输出,W(k)∈Rn×1表示神经网络权值矩阵,x(k)∈Rn ×1表示神经网络输入,n是输入向量维数,r是所要提取主成分的维数,令输入的自相关矩阵R对称正定矩阵,其中λi为R的特征值,ui为属于特征值λi的特征向量,i=1,2,...,n,特征值λi>0,对R进行特征值分解:
R=UΛUT (3)
其中,U=[u1,u2,...,un],Λ=diag{λ1,λ2,...,λn},且特征值满足:
λ1>λ2>…>λr>…>λn>0 (4)
属于这r个特征值的特征向量为矩阵R的前r个主成分,由这些主成分生成的空间称为主子空间,FMPCE便是寻求合适的权值矩阵迭代更新方程,使得权值矩阵能够收敛到矩阵R的前r个主成分;其算法形式为:
W(k+1)=W(k)+η[W(k)C(k)+(E(k)A2-F(k)A)] (5)
其中,矩阵A为r×r级对角阵,对角线元素为a1>a2>…>ar>0,η为学习速率。C(k)=W(k)((W(k)TW(k))-1-I)为非二阶矩阵,C的引入既可以解决算法的不稳定问题,还可以提升算法的收敛速度;
E(k)=RW(k)WTW(k),F(k)=W(k)AWT(k)RW(k)在实际应用中,自相关矩阵并不是已知的,而需要通过下式进行估计:
注:文中所有矩阵用粗体大写字母表示,向量用粗体小写字母表示,标量或函数用斜体表示。
步骤2、构建基于宽度学习模型的泥石流灾害预测模型,用矩阵随机近似奇异值分解对步骤2构建的基于宽度学习模型的泥石流灾害预测模型进行了优化,将步骤1得到的泥石流灾害的6个主要影响因子作为宽度学习算法BL的输入,输出泥石流发生概率,完成泥石流灾害预测。
步骤2中构建基于宽度学习模型的泥石流灾害预测模型的具体按照以下步骤实施
①宽度学习初始结构:
用表示第i个特征映射Zi,表示第j个增强节点Hj,其中为随机初始权值,定义Zi=[Z1,Z2,...,Zi],Hj=[H1,H2,...,Hj],为了简便,后面均省略第i个映射Φi和第i个映射ξj的下标;
对于n个特征映射,每个映射节点生成k个增强节点,用下式表示:
于是,宽度学习模型表示如下:
其中,Wm=[Zn|Hm]+Y是连接权值,[Zn|Hm]+可以由(9)式(伪逆岭回归近似算法)得到。
A+=limλ→0(λI+AAT)-1ATY (9)
②插入新的初始节点:
设插入p个增强节点,令Am=[Zn|Hm],定义Am+1=[Am|Hm+1]。根据RVFLNN的动态更新算法,可求出新的输入矩阵Am+1的伪逆:
新的权值Wm+1为:
步骤2中用矩阵随机近似奇异值分解对构建的基于宽度学习模型的泥石流灾害预测模型进行了优化具体按照以下步骤实施:从具有n组映射特征节点的随机初始化网络出发
矩阵分解的目的是为了减少节点数目以简化计算。对于Zi采用矩阵随机近似SVD进行分解;由Zi的列空间的一组正交基构造一个矩阵Q,使得Zi≈QQ*Zi,则Q为Zi的一个近似子矩阵,QQ*Zi是Zi所构成子空间的低秩近似。根据Q,可以很容易地求出Zi的近似矩阵。然后通过Zi的近似矩阵对Zi进行奇异值分解;
对于插入p个增强节点的优化结果如下:
宽度学习完成后,仍需要去除更小的奇异值来进一步优化。优化结果如下:
将步骤1得到的数据作为模型的输入,经过训练,最终输出泥石流的发生概率。
将筛选出的主要影响因子样本数据按比例分为训练样本集与测试样本集;将70%的数据作为训练集,30%的数据作为测试集数据,然后把数据输入到步骤2中优化后的宽度算法模型中,训练集的数据用来训练算法模型和建立模型,测试集的数据用来检测算法模型的准确度和评估模型的预测能力,具体过程如下:
令步骤1筛选出的主要灾害影响因子特征量分别为:X1=降雨量,X2=山坡坡度,X3=沟床比降,X4=相对高差,X5=土壤含水率,X6=孔隙水压力;如表1所示,表1
将选取泥石流影响因子按7:3的比例分为训练样本和测试样本;
本发明一种基于宽度学习模型的泥石流灾害预报方法,解决了现有技术中存在的灾害预测中输入数据维度较大和训练时间较长的问题,建立泥石流监测预警系统,通过智能传感器采集到大量灾害影响因子,并通过快速多个主成分并行提取算法FMPCE筛选出主要灾害影响因子,减少指标选择工作量,改善了传统方法所造成的维度灾难问题;采用宽度学习BL算法对泥石流发生概率进行预测,旨在弥补深度学习由于需要计算大量的隐层权值而导致的训练时间过长的缺陷,同时也是为了提高模型的在线更新能力;使用矩阵随机近似SVD对模型进行优化,以解决因模型初始化不佳而引起的输入矩阵结构冗余问题;减少了指标选择工作量,改善了传统方法所造成的维度灾难问题,提高了学习速率,优化了模型网络的输入矩阵结构冗余,提高了网络模型预测精度;将其应用在作泥石流灾害预测上可得出准确的泥石流发生概率。
Claims (8)
1.一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,具体按照以下步骤实施:
步骤1、建立泥石流监测预警系统,获取初始泥石流灾害影响因子数据,经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子;
步骤2、构建基于宽度学习模型的泥石流灾害预测模型,用矩阵随机近似奇异值分解对步骤2构建的基于宽度学习模型的泥石流灾害预测模型进行了优化,将步骤1得到的泥石流灾害的6个主要影响因子作为宽度学习算法BL的输入,输出泥石流发生概率,完成泥石流灾害预测。
2.根据权利要求1所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述步骤1中的泥石流在线监测系统包括多个无线智能传感器模块和现场预报终端模块,多个无线智能传感器模块分别与现场预报终端模块通过ZigBee模块进行通讯连接,现场预报终端模块通过GPRS通讯方式与控制中心连接。
3.根据权利要求2所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述现场预报终端模块包括中央处理器和分别与中央处理器连接的电源模块、存储模块及GPRS模块,GPRS模块与控制中心通过GPRS通讯方式连接。
4.根据权利要求2所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述无线智能传感器模块包括监测分机和与监测分机连接的A/D转换电路模块,各类传感器模块,GPRS模块与监测分机模块通过ZigBee模块进行通讯连接。
5.根据权利要求1所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述步骤1中经标准化处理后运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子具体按照以下实施:
步骤1.1、将数据标准化处理,
①缺失值处理,数据遗漏或出现离群点是常见的情况,对遗漏的传感器数据按属性进行统计,得到缺失率q,若q≥90%,则将该列数据剔除;若40%≤q<90%,则采用相邻属性加权填充;若20%≤q<40%,使用均值作为填充值;若q<20%,采用众数进行填充;
②离群值处理,对于某些相距均值的距离在3倍以上或达到5倍标准差的数值都是离群值,需要剔除;
③归一化处理,所需数据不仅种类众多而且数量庞大,不同种类的数据有不同的量纲,数据的多样化会导致数据不平衡,这将在极大程度上影响预报模型的准确率,如公式1所示对数据进行归一化处理,
其中,R′为归一化处理后的数据,R为原始数据,Rmax和Rmin为最大值和最小值;
步骤1.2、运用快速多个主成分并行提取算法FMPCE筛选出6个主要影响因子过程如下:
对于线性神经网络模型:
y(k)=WT(k)x(k) (2)
其中,y(k)∈Rr×1表示神经网络输出,W(k)∈Rn×r表示神经网络权值矩阵,x(k)∈Rn×1表示神经网络输入,n是输入向量维数,r是所要提取主成分的维数。令输入的自相关矩阵R对称正定矩阵,其中λi为R的特征值,ui为属于特征值λi的特征向量,i=1,2,...,n,特征值λi>0,对R进行特征值分解:
R=UΛUT (3)
其中,U=[u1,u2,...,un],Λ=diag{λ1,λ2,...,λn},且特征值满足:
λ1>λ2>…>λr>…>λn>0 (4)
属于这r个特征值的特征向量为矩阵R的前r个主成分,由这些主成分生成的空间称为主子空间,FMPCE便是寻求合适的权值矩阵迭代更新方程,使得权值矩阵能够收敛到矩阵R的前r个主成分;其算法形式为:
W(k+1)=W(k)+η[W(k)C(k)+(E(k)A2-F(k)A)] (5)
其中,矩阵A为r×r级对角阵,对角线元素为a1>a2>…>ar>0,η为学习速率,C(k)=W(k)((W(k)TW(k))-1-I)为非二阶矩阵,C的引入既可以解决算法的不稳定问题,还可以提升算法的收敛速度;
E(k)=RW(k)WTW(k),F(k)=W(k)AWT(k)RW(k)在实际应用中,自相关矩阵并不是已知的,而需要通过下式进行估计:
6.根据权利要求1所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述步骤2中构建基于宽度学习模型的泥石流灾害预测模型的具体按照以下步骤实施
①宽度学习初始结构:
对于n个特征映射,每个映射节点生成k个增强节点,用下式表示:
于是,宽度学习模型表示如下:
其中,Wm=[Zn|Hm]+Y是连接权值,[Zn|Hm]+可以由(9)式得到;
A+=limλ→0(λI+AAT)-1ATY (9)
②插入新的初始节点:
设插入p个增强节点,令Am=[Zn|Hm],定义Am+1=[Am|Hm+1]。根据RVFLNN的动态更新算法,可求出新的输入矩阵Am+1的伪逆:
新的权值Wm+1为:
7.根据权利要求1所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述步骤2中用矩阵随机近似奇异值分解对构建的基于宽度学习模型的泥石流灾害预测模型进行了优化具体按照以下步骤实施:从具有n组映射特征节点的随机初始化网络出发
矩阵分解的目的是为了减少节点数目以简化计算。对于Zi采用矩阵随机近似SVD进行分解;由Zi的列空间的一组正交基构造一个矩阵Q,使得Zi≈QQ*Zi,则Q为Zi的一个近似子矩阵,QQ*Zi是Zi所构成子空间的低秩近似。根据Q,可以很容易地求出Zi的近似矩阵,然后通过Zi的近似矩阵对Zi进行奇异值分解;
对于插入p个增强节点的优化结果如下:
宽度学习完成后,仍需要去除更小的奇异值来进一步优化,优化结果如下:
将步骤1得到的数据作为模型的输入,经过训练,最终输出泥石流的发生概率。
8.根据权利要求1所述的一种基于宽度学习模型的泥石流灾害预报方法,其特征在于,所述步骤1中的6个主要影响因子分别为降雨量、山坡坡度、沟床比降、相对高差、土壤含水率和孔隙水压力。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697270.8A CN111967648A (zh) | 2020-07-20 | 2020-07-20 | 一种基于宽度学习模型的泥石流灾害预报方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697270.8A CN111967648A (zh) | 2020-07-20 | 2020-07-20 | 一种基于宽度学习模型的泥石流灾害预报方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111967648A true CN111967648A (zh) | 2020-11-20 |
Family
ID=73362174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010697270.8A Pending CN111967648A (zh) | 2020-07-20 | 2020-07-20 | 一种基于宽度学习模型的泥石流灾害预报方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967648A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379122A (zh) * | 2021-06-09 | 2021-09-10 | 辽宁工程技术大学 | 一种基于概率神经网络模型的泥石流沟堵塞程度预测方法 |
-
2020
- 2020-07-20 CN CN202010697270.8A patent/CN111967648A/zh active Pending
Non-Patent Citations (1)
Title |
---|
徐根祺等: "基于宽度学习模型的泥石流灾害预报", 《山地学报》, pages 869 - 870 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379122A (zh) * | 2021-06-09 | 2021-09-10 | 辽宁工程技术大学 | 一种基于概率神经网络模型的泥石流沟堵塞程度预测方法 |
CN113379122B (zh) * | 2021-06-09 | 2024-04-23 | 辽宁工程技术大学 | 一种基于概率神经网络模型的泥石流沟堵塞程度预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
CN109063247B (zh) | 基于深度信念网络的滑坡灾害预报方法 | |
CN109142171B (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
Bhardwaj et al. | Estimation of solar radiation using a combination of Hidden Markov Model and generalized Fuzzy model | |
CN105184423B (zh) | 一种风电场集群风速预测方法 | |
CN115099500B (zh) | 基于权重修正和drsn-lstm模型的水位预测方法 | |
CN110991690A (zh) | 一种基于深度卷积神经网络的多时次风速预测方法 | |
CN112700104B (zh) | 一种基于多模态分类的震区滑坡易发性评价方法 | |
CN108805193A (zh) | 一种基于混合策略的电力缺失数据填充方法 | |
CN108229726A (zh) | 一种碎块石边坡灾变险情预警预报方法 | |
CN116609860B (zh) | 基于集成学习算法的水文模型实时校正方法和系统 | |
CN113033081A (zh) | 一种基于som-bpnn模型的径流模拟方法及系统 | |
CN116204779B (zh) | 一种判断储能盐穴运行状态的方法、系统及可读存储介质 | |
CN115409369A (zh) | 基于机理和数据混合驱动的综合能源系统可靠性评估方法 | |
CN111967648A (zh) | 一种基于宽度学习模型的泥石流灾害预报方法 | |
CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
CN117235510A (zh) | 节理粗糙度预测方法与节理粗糙度预测模型训练方法 | |
CN116611702A (zh) | 一种面向楼宇综合能源管理的集成学习光伏发电预测方法 | |
CN116663393A (zh) | 一种基于随机森林的配电网持续高温下故障风险等级预测方法 | |
CN115829150A (zh) | 一种积水预测系统 | |
CN115019476A (zh) | 一种基于多源信息融合的滑坡时空信息监测预警方法 | |
CN115271221A (zh) | 一种城市扩展预测方法、装置、介质及设备 | |
CN208477703U (zh) | 一种灾害预报监测系统 | |
CN115598459A (zh) | 一种配电网10kV馈线故障停电预测方法 | |
CN112347700A (zh) | 一种泥石流发生概率及规模预报方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |