CN115271255A - 基于知识图谱和机器学习的雨洪相似性分析方法和系统 - Google Patents
基于知识图谱和机器学习的雨洪相似性分析方法和系统 Download PDFInfo
- Publication number
- CN115271255A CN115271255A CN202211139933.XA CN202211139933A CN115271255A CN 115271255 A CN115271255 A CN 115271255A CN 202211139933 A CN202211139933 A CN 202211139933A CN 115271255 A CN115271255 A CN 115271255A
- Authority
- CN
- China
- Prior art keywords
- flood
- rainfall
- rainstorm
- index set
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000010801 machine learning Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 168
- 230000008569 process Effects 0.000 claims abstract description 120
- 238000013507 mapping Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000000513 principal component analysis Methods 0.000 claims abstract description 11
- 238000007621 cluster analysis Methods 0.000 claims abstract description 8
- 238000011160 research Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 238000006424 Flood reaction Methods 0.000 description 16
- 230000002354 daily effect Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 230000035772 mutation Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000001556 precipitation Methods 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000013277 forecasting method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本申请公开了一种基于知识图谱和机器学习的雨洪相似性分析方法和系统,通过对独立性检验后的暴雨特征指标集和洪水特征指标集进行主成分分析和聚类分析,获得暴雨聚类集合与洪水聚类集合,以及暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系,形成暴雨聚类与洪水聚类之间的经验概率定量匹配关系;结合知识图谱和机器学习的相关技术,将待检雨洪过程数据输入雨洪推荐模块,获得若干组历史上的相似雨洪过程数据;将相似雨洪过程数据分别输入雨洪关系知识图谱,给出相似度数值,并对相似度数值进行降序排列。本申请大大提高了预测的效率和精确度,解决了机器学习对多样本多特征处理处理的局限,以及有效性分析薄弱的问题。
Description
技术领域
本发明涉及洪水和降雨预测,尤其是基于知识图谱和机器学习的雨洪相似性分析方法。
背景技术
洪水预报是人类史发展进程中防御水灾害客观需求推动下形成的学科,作为防洪非工程措施日益受到普遍关注和重视。洪水预报的任务是对自然界可能出现的洪水水位、流量、洪水发生时间、过程等信息进行预报。
传统洪水预报方法目前在生产一线大量使用的预报方案按照其洪水发生、传播规律大体可分为两类:第一类为流域降雨径流模型,用于源头或区间流域的分析计算,其中产流部分代表性的方法包括降雨径流相关图法、蓄满产流模型等,而汇流部分主要采用谢尔曼单位线和其他类型的单位线等方法;第二类是河道预报,由于河道汇流及区间降雨径流预报合成,因此在河道汇流预报中最常用的方法包括水位流量相关图法、洪峰相关、马斯京根、水力学模型等。这类传统模型方法虽然诞生于20世纪30年代,但目前仍然被广泛应用于生产一线:第一,精度较为可靠;第二,便于专家经验校正;第三,反映了洪水宏观规律。随着流域水雨情信息共享机制的建立以及水雨情信息系统的普及,水雨情的采集和汇总过程越来越为便捷。伴随着系统工程和人工智能技术的快速发展,机器学习技术在水文预报领域的应用前景愈为广阔。通过相关文献调研发现,通过机器学习算法支撑数据驱动模型开展洪水预报,已成为洪水预报学法发展的热点方向。
目前在洪水分类方面,关于暴雨洪水分类的指标尚不够系统,特别是从天气成因,到暴雨发生,再到洪水形成的全过程,缺乏对其特征的客观刻画;在相似雨洪算法方面,传统的分析方法多偏向于单一特征的相关统计,对于多特征、多样本的处理相对局限。由于机器学习的算法性能好坏,很大程度上取决于模型输入的特征,一些研究表明,雨洪特征信息输入考虑地相对不足,机器学习在有效特征分析方面相对薄弱。
发明内容
发明目的:提供一种基于知识图谱和机器学习的雨洪相似性分析方法,以解决现有技术存在的上述问题之一。
技术方案:提供基于知识图谱和机器学习的雨洪相似性分析方法,包括如下步骤:
S1、采集研究区域的降雨数据和洪水数据,从所述降雨数据中提取暴雨样本,从洪水数据中提取洪水样本;
S2、针对所述暴雨样本,构建天气成因指标集和暴雨特征指标集;针对所述洪水样本,构建洪水特征指标集;分别对所述暴雨特征指标集和洪水特征指标集中的各个指标进行关联性分析,进行指标独立性检验;
S3、分别对独立性检验后的暴雨特征指标集和洪水特征指标集进行主成分分析和聚类分析,获得暴雨聚类集合与洪水聚类集合,以及暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系,形成暴雨聚类与洪水聚类之间的经验概率定量匹配关系;
S4、将所述天气成因指标集、暴雨特征指标集和洪水特征指标集中的各个指标分为结构化数据、非结构化数据和半结构化数据,并抽取各个指标的属性,按照雨洪发展关系,抽取天气成因、暴雨过程和洪水过程的时间顺序关系、空间从属关系和成因关系;构建雨洪关系知识图谱;
S5、构建降雨洪水训练集和雨洪推荐模块,采用基于视觉特征和雨量集成的相似分析方法对雨洪推荐模块进行训练,在训练完成后,将待检雨洪过程数据输入雨洪推荐模块,获得若干组历史上的相似雨洪过程数据;将相似雨洪过程数据分别输入雨洪关系知识图谱,给出相似度数值,并对相似度数值进行降序排列。
根据本申请的一个方面,所述步骤S1中,
从降雨数据中提取暴雨样本的过程具体为:
S11、某日内,若研究区域范围中超过预定比例的雨量站发生暴雨,则该日为区域暴雨日;连续出现区域暴雨日的总天数称为区域暴雨过程日数N;当N等于1时,称为非持续性区域暴雨过程;当N大于等于2时,称为持续性区域暴雨过程;
S12、将所述持续性区域暴雨过程和非持续性区域暴雨过程作为暴雨样本;
从洪水数据中提取洪水样本的过程具体为:
S13、根据研究区域的洪水情况,设定研究区域内各个站点的洪峰阈值;
S14、依序筛选出各个站点的洪峰,并判断相邻的洪峰是否独立;
S15、针对所有洪峰点,向前后分别搜索洪水的起始时间和结束时间,计算洪水过程;
S16、基于所述洪水过程,获得洪水样本。
根据本申请的一个方面,判断相邻洪峰是否独立的方法如下:
式中,θ指两个连续洪峰间的间隔时间;A为研究区域面积,Q 1 和Q 2 分别是两个连续洪峰的流量;X min 指的是两个洪峰间最小的流量值;
向前后分别搜索洪水的起始时间的过程如下:
起始时间判别方法如下:
Q p 是洪峰点的流量值;Qs是洪水开始点的流量值;T p 是洪峰点的出现时间;T s 是洪水开始点的时间;a和b是常数,a的范围是(0,1),b的范围是(1,2)。
根据本申请的一个方面,步骤S2中,所述天气成因指标集包括月尺度的气候背景指标集和日尺度的天气系统指标集;所述暴雨特征指标集包括极端性指标集、强度指标集、雨量指标集、时间指标集和空间指标集;所述洪水特征指标集包括洪量指标集、洪峰指标集、涨落率指标集、幅度指标集和形态指标集。
根据本申请的一个方面,所述步骤S1还包括:
S17、按照研究区域的水系分布特征,将研究区域分成至少两个子区域;分析各个子区域的分区降雨分布;
S18、基于所述暴雨特征指标集和洪水特征指标集各自分析各个子区域的暴雨季节变化特征及洪水演变特征;针对预定的洪水特征指标,采集若干时间点的测量数据,形成该指标的时间序列,计算测量数据的方差和检验统计量,并将所述检验统计量标准化,根据显著性水平,确定标准化检验统计量的阈值,判断是否具有趋势变化。
根据本申请的一个方面,还包括步骤S19、判断洪水特征指标的测量数据是否存在突变;
S19a、将洪水特征指标形成的时间序列逆序排列,得到时间逆序列;
S19b、分别计算洪水特征指标的时间序列和时间逆序列的秩序列,并计算均值和方差,基于所述秩序列、均值和方差,计算统计量;
S19c、查找时间序列的统计量与时间逆序列统计量之和为零的点,获得交点,并筛选时间序列统计量绝对值大于阈值的点集,构成置信区间;将位于置信区间内的交点标记为突变点。
根据本申请的一个方面,所述步骤S3中,对独立性检验后的洪水特征指标集进行主成分分析和聚类分析的过程具体包括:
S31、基于每一场次洪水的各个洪水特征指标,构建洪水观测样品矩阵;
S32、计算所述洪水观测样品矩阵的标准差和均值,用观测数据减去均值除以标准差,得到标准数据,并以标准数据构建标准化矩阵;求解标准化矩阵的相关系数矩阵,并进一步计算相关系数矩阵的非负特征值,降序排列;取前p个非负特征值,并计算各个非负特征值对应的特征向量;p为自然数;
S33、计算前p个非负特征值对应特征向量组成的样本矩阵,计算累计贡献率是否大于阈值;若小于,则增加非负特征值的数量;若不小于,计算主成分矩阵;
S34、采用K均值聚类法对场次洪水进行分类,获得若干类型的场次洪水,每一类型中的场次洪水为相似洪水。
根据本申请的一个方面,步骤S3中,计算暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系的过程具体为:
S35、对独立性检验后的暴雨特征指标集进行主成分分析和K均值聚类,获得若干类型的暴雨类型,每一暴雨类型中的各场暴雨为相似暴雨,通过计算欧式空间距离对暴雨相似度进行分析排序;
S36、得到所有洪水过程的降雨聚类和洪水聚类结果后,统计出不同降雨聚类和不同洪水聚类之间的映射关系。
根据本申请的一个方面,步骤S36还包括:
S361、获得洪水聚类结果,构建洪水类型集合;获得降雨聚类结果,获得降雨类型集合;
S362、基于洪水与降雨的对应关系,构建洪水类型集合中各个洪水类型与降雨类型集合中各个降雨类型的映射关系。
根据本申请的一个方面,所述步骤S4还包括:
S41、抽取研究区域的测站实体以及测站实体之间的空间关系,包括水库站、水文站、雨量站和站点上下游空间拓扑关系。
还提供一种基于知识图谱和机器学习的雨洪相似性分析系统,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述任一项实施例所述的基于知识图谱和机器学习的雨洪相似性分析方法。
有益效果:依据雨洪特征刻画指标量化分析方法,结合知识图谱及机器学习技术,实现相似雨洪特征的识别、提取构建相似雨洪特征工程库,引入智能推荐算法构建相似雨洪智能推荐模型,完成模型训练与检验,提高了预报作业效率,更好地支撑水库调度精细管理相关业务的开展。
附图说明
图1是本申请的流程示意图。
图2是本申请从洪水数据中提取洪水样本的过程示意图。
图3是本申请判断洪水特征指标的测量数据是否存在突变的流程图。
图4是本申请对独立性检验后的洪水特征指标集进行主成分分析和聚类分析的过程示意图。
具体实施方式
为了解决现有技术存在的上述问题,申请人进行了深入地分析,对于雨洪预测,目前已经进入了发展瓶颈,底层技术突破并不大。伴随着人工智能和机器学习的发展,通过大数据样本对数据进行分析,构建网络模型,已经成为技术发展趋势。但是目前的机器学习和人工智能技术,核心均在于数据处理层面,对于客观实际的物理过程,缺少必要的解决手段,影响预测的准确性。因此,本申请提供如下技术。
如图1所示,提供一种基于知识图谱和机器学习的雨洪相似性分析方法,其主要包括如下步骤:
S1、采集研究区域的降雨数据和洪水数据,从所述降雨数据中提取暴雨样本,从洪水数据中提取洪水样本。
对于暴雨而言,国家标准给出了相关的定义,即单站12小时雨量在30mm以上,或者24小时雨量在50mm以上的降水称为暴雨。按照此标准,从降雨数据中提取暴雨样本。
在分析时,从历史上若干年,例如1951-2021年的降雨数据中提取暴雨样本,形成暴雨样本集合。暴雨样本的描述字段包括序号、起始日期、结束日期、持续天数等。
从洪水数据中提取洪水样本,主要是寻找洪峰点,然后根据洪峰点寻找洪水的起始时刻,从而提取出洪水样本,具体过程将在下文描述。
S2、针对所述暴雨样本,构建天气成因指标集和暴雨特征指标集;针对所述洪水样本,构建洪水特征指标集;分别对所述暴雨特征指标集和洪水特征指标集中的各个指标进行关联性分析,进行指标独立性检验。
由于暴雨的形成具有复杂的天气成因,大气环流中包含从湍流微团到超长波在内各种尺度的系统,因此需要构建多层次的天气成因指标。一般而言,可以分成大尺度、天气尺度和中小尺度系统。通常大尺度是指水平尺度约为 2000km 以上的系统,天气尺度系统是指水平尺度在几百至几千千米、时间尺度1至几天的系统,中小尺度系统主要是 20至200km左右的系统。虽然暴雨发生的直接影响系统是中小尺度系统,但中小尺度系统是在天气尺度系统作用下生成和发展的,而天气尺度系统又受到大尺度环流系统的制约,同时中小系统发展起来后又能对大尺度系统起反馈作用,所以暴雨是多时空尺度系统相互作用的产物。在大尺度环流系统和气候背景下,可以采用北半球极涡、西太平洋副高、东亚槽、Nino区海温等指标。对于北半球极涡,可以分为北半球极涡面积指数、北半球极涡强度指数、北半球极涡中心经向位置指数、北半球极涡中心纬向位置指数。对于西太副高,包括西太副高面积指数、西太副高强度指数、西太副高脊线位置指数、西太副高西伸脊点指数。对于欧亚环流,包括欧亚纬向环流指数和欧亚径向环流指数。东亚槽主要包括东亚槽位置指数和东亚槽强度指数。Nino区海温主要包括Nino1至Nino4区、Nino3.4区海温指数。对于天气系统,主要包括高空和中低空指数,高空是槽、脊和高空急流。中低空主要是切变线、低涡、气旋、锋面、台风、冷空气和低空急流。
对于暴雨而言,可以从极端性、强度、累计雨量、时空分布等几个维度来描述。
对于极端性,以单次暴雨过程中单站或者局地最大雨量来表示单场暴雨的极端性。可以采用单站最大日降水量、单站最大累计降水量和暴雨区最大日降水量等量化指标。
单站最大日降水量p maxd =max(pij),其中𝑝 𝑖𝑗为 i 暴雨站在 j 日的雨量。
单站最大累计降水量pmaxsc=max(∑ n j=1 pij),𝑝 𝑖𝑗 为 i 暴雨站在j 日的雨量,n为暴雨过程天数。
暴雨区最大日降水量pmaxrd=max[(1/m)*∑ m i=1 p ij ],pij为i暴雨在j日的雨量,m为总暴雨站数。
对于暴雨强度,以单次暴雨过程中区域平均的多日平均降水量来表示单场暴雨的强度。可以采用暴雨区平均日降水量和分区平均日降水量等量化指标。
暴雨区平均日降水量,计算每天区域暴雨影响的极端站点的降水平均值,取所有天数的平均值pmeanrd=(1/(m*n))*∑ n j=1 ∑ m i=1 p ij ;pij为i暴雨在j日的雨量,
分区平均日降水量,计算每天流域内所有分区的日面雨量,取各分区所有天数雨量的平均值pmeanqd=(1/m)*∑ n j=1 ∑ m q=1 p qj ;pqj为分区q在j日的雨量,n为暴雨过程天数,m为分区数。
对于暴雨量,以单次暴雨过程中区域平均的多日累计降水量来表示单场暴雨的强度。可以采用暴雨区累计降水量、分区累计降水量等量化指标。
暴雨区累计降水量计算每天区域暴雨影响的极端站点的降水平均值,取所有天数的累计值pmeanrc=(1/m)*(∑ n j=1 ∑ m i=1 p ij );pij为i暴雨站在j日的雨量,n为暴雨过程天数,m为总暴雨站数;
分区累计降水量,计算每天流域内所有分区的日面雨量,取各分区所有天数雨量的累计值pqc ,pqc=∑ n j=1 p qj ;pqj为分区q在j日的面雨量,n为暴雨过程天数,m为总分区数;
时间特征:暴雨的时间特征主要体现暴雨过程的持续时长和时间标签,包括暴雨过程持续天数,暴雨过程发生的月份、年份、日期等时间概念。可以采用暴雨日数、暴雨月份和暴雨年份等量化指标。
空间特征:包含暴雨站数、50mm 以上面积、100mm 以上面积、250mm 以上面积、暴雨中心位置、暴雨集中度几个指标。其中前 4 个特征量主要表现暴雨区的范围特征,暴雨中心位置表示区域暴雨过程中每天区域中心的平均,暴雨集中度主要是衡量暴雨中心在空间上是否集中。可以采用暴雨站数、50mm以上面积、100mm以上面积、250mm以上面积、暴雨中心位置和暴雨集中度等量化指标。
暴雨站数,整个区域暴雨过程影响的不同极端站点个数,
50mm 以上面积,整个暴雨过程中累计降雨在50mm以上的面积s50,
z·为插值后的值,z i 为第i个累计降雨站点样本,D i 为距离,p是距离的幂,一般取为2;用前后两个点的平均纬度作为 φ 2 ,以该区域的最低纬度作为 φ 1 ,dφ = φ 2 - φ 1 ,前后两个点的经度对应 λ1、λ2 。
100mm 以上面积,
z·为插值后的值,z i 为第i个累计降雨站点样本,D i 为距离,p是距离的幂,一般取为2;用前后两个点的平均纬度作为 φ 2 ,以该区域的最低纬度作为 φ 1 ,dφ = φ 2 - φ 1 ,前后两个点的经度对应 λ1、λ2 。
250mm 以上面积,
z·为插值后的值,z i 为第i个累计降雨站点样本,D i 为距离,p是距离的幂,一般取为2;用前后两个点的平均纬度作为 φ 2 ,以该区域的最低纬度作为 φ 1 ,dφ = φ 2 - φ 1 ,前后两个点的经度对应 λ1、λ2 。
暴雨中心位置(O i ,A i ),
l ij 为j暴雨站在i日的经度位置,t ij 为j暴雨站在i日的纬度位置,n为暴雨站数;
暴雨集中度D i ,
l ij 为j暴雨站在i日的经度位置,t ij 为j暴雨站在i日的纬度位置。
由于各场洪水发生的时间、地点和形成的规模和条件互不相同,每次洪水过程都有其不同的特征,常用一些特征值来表示。描述洪水特征的指标可以分为洪量、洪峰、涨落率、幅度、时间、形态等特征。
对于洪量而言,可以采用洪水总量、最大2日洪水量、最大3日洪水量、最大5日洪水量、最大7日洪水量、涨水段洪量、退水段洪量和平均流量等指标 。
场次洪水过程中的最大2日洪量W1=Max{Qi*24*3600};
场次洪水过程中的最大3日洪量W3= Max{Qi*24*3600*3};
场次洪水过程中的最大5日洪量W5= Max{Qi*24*3600*5};
场次洪水过程中的最大7日洪量W7= Max{Qi*24*3600*7};
对于洪峰而言,可以采用洪峰流量、起涨流量、涨水面平均流量、退水面平均流量和退水点流量等指标。
对于涨落率,可以采用流量起涨率、流量最大涨率、流量最大落率等量化指标。
对于幅度,可以采用流量总涨幅和流量总退幅来描述。
对于时间,可以采用洪水总历时、涨水历时、退水历时、高脉冲历时和峰现时间等指标来描述。
高脉冲历时,洪水过程流量大于洪峰流量75%的洪水持续时间Thighflow75与总历时T之比,值越大,洪峰越宽;αover75%=T highflow75 /T;
对于形态指数,可以采用洪峰时间偏度、洪量集中度和变差系数等指标来描述。
S3、分别对独立性检验后的暴雨特征指标集和洪水特征指标集进行主成分分析和聚类分析,获得暴雨聚类集合与洪水聚类集合,以及暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系,形成暴雨聚类与洪水聚类之间的经验概率定量匹配关系。
由于实际场景下各种因素错综复杂,各种指标的权重不一,相互之间存在关联关系。为了提高计算效率和预测的准确率,对暴雨指标、洪水指标中各个指标的相关性进行分析,以解决全部指标可能存在信息重叠等问题,影响分类结果的准确性和可靠性。而直接从众多的指标中剔除某些指标又会造成信息丢失。
比如,在站点A,有6个特征指标与最大2日洪量、最大3日洪量的相关系数绝对值大于0.9,有5个特征指标与洪峰流量的相关系数绝对值大于0.9,有4个特征指标与最大5日洪量、最大7日洪量、流量总涨幅、流量总退幅的相关系数绝对值大于0.9。
在站点B,有6个特征指标与最大5日洪量的相关系数绝对值大于0.9,有5个特征指标与洪水总量、最大3日洪量、最大7日洪量的相关系数绝对值大于0.9,有4个特征指标与最大2日洪量、退水段洪量的相关系数绝对值大于0.9。
研究发现,洪水特征指标内部之间的相关性较高,而降雨特征指标(分区面雨量)内部之间的相关性较低。洪量特征指标之间的相关度高,说明描述洪量的特征存在信息冗余,因此在做后续分析前应删掉部分特征变量。
根据相关性分析结果,删除了2个洪水特征指标,留下24个指标。但这些指标仍然较多,有严重的信息冗余,如果直接用来建立模型,会对后续分析产生影响,并且对后续的相似性分析定量计算带来计算负担。为了解决这一问题,本研究将采用主成分分析方法对24个指标进行降维,将相关的特征转换为不相关的特征,同时尽可能保留原始信息。
在降维后,根据实际情况对洪水和暴雨进行聚类,从而将洪水过程分为若干个类型,暴雨过程分成若干个过程,每个类型中的洪水过程为相似洪水,每个类型中的暴雨过程为相似暴雨。
由于降雨与洪水之间的物理关系,可以通过流量/降雨量-时间图来进行分析,即可以查找每一降雨过程与洪水过程之间的对应关系。例如有1000场降雨以及与之一一映射的1000场洪水过程。因此,在对洪水和降雨进行聚类后,降雨类型与洪水类型形成多对多的映射关系,对于某一个降雨类型而言,有多个洪水类型与之对应,而且有的洪水类型与该降雨类型对应的场次洪水多,有的洪水类型与该降雨类型对应的场次洪水少。根据场次洪水的频率,可以对降雨类型与洪水类型之间的关系进行赋予权重。
形成降雨-洪水映射关系后,获得降雨与洪水的物理关联,对于预测的准确性和效率大有好处。
对于任意一场洪水过程,利用聚类法根据其降雨特征和洪水特征分别划分到某一个聚类中,当得到所有洪水过程的降雨聚类和洪水聚类结果后,即可统计出不同降雨聚类和不同洪水聚类之间的映射关系。例如,在站点a,被划分到降雨聚类1的洪水过程共有31场,这其中有2场洪水属于洪水聚类1,有8场洪水属于洪水聚类2,有2场洪水属于洪水聚类3,有1场洪水属于洪水聚类4,有2场洪水属于洪水聚类5,有3场洪水属于洪水聚类6,有4场洪水属于洪水聚类7,有1场洪水属于洪水聚类10,有2场洪水属于洪水聚类11,有1场洪水属于洪水聚类12,有2场洪水属于洪水聚类13,有1场洪水属于洪水聚类14,有2场洪水属于洪水聚类15。连接降雨聚类与洪水聚类的线越粗代表洪水场次的越多。从中不难发现,同一种类型的降雨往往会连接多种不同类型的洪水,也就是说同一种类型的降雨过程会导致不同类型的洪水,而同一种类型的洪水过程也可能由不同类型的降雨而产生。
S4、将所述天气成因指标集、暴雨特征指标集和洪水特征指标集中的各个指标分为结构化数据、非结构化数据和半结构化数据,并抽取各个指标的属性,按照雨洪发展关系,抽取天气成因、暴雨过程和洪水过程的时间顺序关系、空间从属关系和成因关系;构建雨洪关系知识图谱。
S5、构建降雨洪水训练集和雨洪推荐模块,采用基于视觉特征和雨量集成的相似分析方法对雨洪推荐模块进行训练,在训练完成后,将待检雨洪过程数据输入雨洪推荐模块,获得若干组历史上的相似雨洪过程数据;将相似雨洪过程数据分别输入雨洪关系知识图谱,给出相似度数值,并对相似度数值进行降序排列。
因此,通过上述实施例,更加准确和快速地对降雨洪水的相似性进行判断。
根据本申请的一个方面,所述步骤S1中,从降雨数据中提取暴雨样本的过程具体为:
S11、某日内,若研究区域范围中超过预定比例的雨量站发生暴雨,则该日为区域暴雨日;连续出现区域暴雨日的总天数称为区域暴雨过程日数N;当N等于1时,称为非持续性区域暴雨过程;当N大于等于2时,称为持续性区域暴雨过程。
对于区域暴雨而言,目前并没有统一的标准,根据实际情况,定义若某日研究区域内P个雨量站中有超过10%发生暴雨,则定义该日为区域暴雨日,未间断出现区域暴雨日的总天数为区域暴雨过程日数。
当区域暴雨过程日数≥2天计1次持续性区域暴雨过程,当区域性暴雨过程日数仅为1天时,则计1次非持续性区域暴雨过程。
需要说明的是,在其他实施例中,可以根据情况调整暴雨样本的相关限定。相关量化指标可以根据情况调整。
S12、将所述持续性区域暴雨过程和非持续性区域暴雨过程作为暴雨样本;
从洪水数据中提取洪水样本的过程具体为:
S13、根据研究区域的洪水情况,设定研究区域内各个站点的洪峰阈值;
S14、依序筛选出各个站点的洪峰,并判断相邻的洪峰是否独立;
S15、针对所有洪峰点,向前后分别搜索洪水的起始时间和结束时间,计算洪水过程;
S16、基于所述洪水过程,获得洪水样本。
对于洪水样本的提取,可以采用上述方法,也可以采用其他方法。
根据本申请的一个方面,判断相邻洪峰是否独立的方法如下:
式中,θ指两个连续洪峰间的间隔时间;A为研究区域面积,Q 1 和Q 2 分别是两个连续洪峰的流量;X min 指的是两个洪峰间最小的流量值;
向前后分别搜索洪水的起始时间的过程如下:
起始时间判别方法如下:
Q p 是洪峰点的流量值;Qs是洪水开始点的流量值;T p 是洪峰点的出现时间;T s 是洪水开始点的时间;a和b是常数,a的范围是(0,1),b的范围是(1,2)。
洪水过程终点的判别方法如下:
Q E 是洪水开始点的流量值。T E 是洪水终止点的时间;Q p 是洪峰点的流量值;T p 是洪峰点的出现时间。
通过上述相邻洪峰判断方法、起始时间和终止时间判断方法,可以快速提取出洪水样本。
根据本申请的一个方面,步骤S2中,所述天气成因指标集包括月尺度的气候背景指标集和日尺度的天气系统指标集;所述暴雨特征指标集包括极端性指标集、强度指标集、雨量指标集、时间指标集和空间指标集;所述洪水特征指标集包括洪量指标集、洪峰指标集、涨落率指标集、幅度指标集和形态指标集。
相关指标集的具体指标集合参见上文的描述,在此不再详述。
当研究区域面积较大时,相关特征在空间分布上存在较大的差异,因此可以通过分区域的方式进行处理,判断各个子区域的雨洪趋势是否发生变化,具体如下。
根据本申请的一个方面,所述步骤S1还包括:
S17、按照研究区域的水系分布特征,将研究区域分成至少两个子区域;分析各个子区域的分区降雨分布;
S18、基于所述暴雨特征指标集和洪水特征指标集各自分析各个子区域的暴雨季节变化特征及洪水演变特征;针对预定的洪水特征指标,采集若干时间点的测量数据,形成该指标的时间序列,计算测量数据的方差和检验统计量,并将所述检验统计量标准化,根据显著性水平,确定标准化检验统计量的阈值,判断是否具有趋势变化。
根据本申请的一个方面,还包括步骤S19、判断洪水特征指标的测量数据是否存在突变;
S19a、将洪水特征指标形成的时间序列逆序排列,得到时间逆序列;
S19b、分别计算洪水特征指标的时间序列和时间逆序列的秩序列,并计算均值和方差,基于所述秩序列、均值和方差,计算统计量;
S19c、查找时间序列的统计量与时间逆序列统计量之和为零的点,获得交点,并筛选时间序列统计量绝对值大于阈值的点集,构成置信区间;将位于置信区间内的交点标记为突变点。
例如在站点1至5中,洪水总量均有不同程度的减小趋势,其中站点1通过了置信度为90%的显著性检验,具有显著的减少趋势。站点2和站点3的2日最大洪量具有不显著的减少趋势,其余两个站具有不显著的增加趋势。
3日最大洪量与2日最大洪量趋势较为一致,仅有站点3具有不显著的增加趋势,其余三个站均具有不显著的减少趋势。
根据检测,4个站点不同洪水指标的突变均发生在1955~1984年间,其中站点1、站点2洪水总量分别在1981年、1955年、1974 年发生突变,站点3、站点4洪水总量未发生突变;最大2日、最大3日、最大5日洪量仅有站点3分别在1984年、1956 年、1981年发生突变;站点1和站点3的最大7日洪量均在1981~1982年发生突变。
根据发生突变的时间,结合研究流域水利工程等变化情况,对数据资料进行还原和修正。
根据本申请的一个方面,所述步骤S3中,对独立性检验后的洪水特征指标集进行主成分分析和聚类分析的过程具体包括:
S31、基于每一场次洪水的各个洪水特征指标,构建洪水观测样品矩阵;
S32、计算所述洪水观测样品矩阵的标准差和均值,用观测数据减去均值除以标准差,得到标准数据,并以标准数据构建标准化矩阵;求解标准化矩阵的相关系数矩阵,并进一步计算相关系数矩阵的非负特征值,降序排列;取前p个非负特征值,并计算各个非负特征值对应的特征向量;
S33、计算前p个非负特征值对应特征向量组成的样本矩阵,计算累计贡献率是否大于阈值;若小于,则增加非负特征值的数量;若不小于,计算主成分矩阵;
S34、采用K均值聚类法对场次洪水进行分类,获得若干类型的场次洪水,每一类型中的场次洪水为相似洪水。
根据本申请的一个方面,步骤S3中,计算暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系的过程具体为:
S35、对独立性检验后的暴雨特征指标集进行主成分分析和K均值聚类,获得若干类型的暴雨类型,每一暴雨类型中的各场暴雨为相似暴雨,通过计算欧式空间距离对暴雨相似度进行分析排序;
S36、得到所有洪水过程的降雨聚类和洪水聚类结果后,统计出不同降雨聚类和不同洪水聚类之间的映射关系,具体权重矩阵的计算过程在上文已经描述,在此不再详述。
在进一步的实施例中,所述步骤S36中,还包括:
步骤S36a、基于所述不同降雨聚类和不同洪水聚类之间的映射关系,分别构建降雨-洪水映射表和洪水-降雨映射表;
步骤S36b、分别对所述降雨-洪水映射表和洪水-降雨映射表进行有效性检验;
步骤S36c、将通过有效性检验的降雨-洪水映射表和洪水-降雨映射表预存储在存储单元中。
在本实施例中,通过构建双重映射表,即降雨-洪水映射表和洪水-降雨映射表,不仅可以通过降雨数据推算洪水数据,从而为洪水预报提供依据,还可以根据洪水数据推算降雨数据,从而根据洪水情况判断降雨的数据,进而根据降雨-洪水映射表反推洪水情况,将推算的洪水数据与实际的洪水数据进行比较,判断上述雨洪相似性方法和模型是否符合相关要求,如果实际数值与推算的数值相差较大,则分析差距产生的原因,从而对模型和算法进行优化。不断完善模型和算法的相关流程和参数,获得更优的算法和模型。
根据本申请的一个方面,所述步骤S4还包括:
S41、抽取研究区域的测站实体以及测站实体之间的空间关系,包括水库站、水文站、雨量站和站点上下游空间拓扑关系。
知识图谱技术主要分为三个部分,第一个部分是知识获取,即如何从非结构化、半结构化、以及结构化数据中获取知识。第二部分是数据融合,主要为如何将不同数据源获取的知识进行融合构建数据之间的关联。第三部分是知识计算及应用,关注的是基于知识图谱计算功能以及基于知识图谱的应用。
知识抽取主要是面向开放的链接数据,通过自动化的技术抽取出可用的知识单元,知识单元主要包括实体(概念的外延)、关系以及属性3个知识要素。
实体抽取指的是从原始语料中自动识别出命名实体。关系抽取主要是通过人工构造语义规则以及模板的方法识别实体关系。属性抽取主要是针对实体而言的,通过属性可形成对实体的完整勾画。
结构化数据一般包括面平均雨量、洪峰流量、洪水总量、最大3天洪量、最大5天洪量、洪水集中度、流量总涨幅、洪水历时和分区面雨量等。
非结构化数据一般指面雨量图、卫星云图、环流图、雷达图、洪水过程线、雨量过程线、暴雨移动轨迹、暴雨过程图和洪水风险图等。
半结构化数据一般指水雨情分析、汛期简报、水库报表、分区余量表、水情预报表、水库特征值表、监测通报、河道水情表和专题报告。
在现有的研究基础上,为了快速地获取雨洪相似度的相关信息,给出了一种快速计算方法。
在进一步的实施例中,所述步骤S5中基于视觉特征和雨量集成的相似方法对雨洪推荐模块进行训练,其过程具体还包括:
步骤S51、读取雨洪过程数据,其中包括降雨分布图;并计算每一行和每一列的颜色数值总和;
步骤S52、通过滑动窗口法查找所述降雨分布图的边缘,判断是否存在两个以上的降雨区域,若存在,分别计算每一降雨区域边缘的横坐标平均值和纵坐标平均值,作为降雨中心的坐标;并计算相邻降雨区域的降雨中心距离;若不存在,计算降雨区域的降雨中心,以及降雨中心到该降雨区域边缘各个像素点的距离平均值,即为降雨半径;
步骤S53、逐次计算每一降雨区域内的所有像素点的颜色数值总和,并降序排列;将颜色数值最大的降雨区域标记为主降雨区域,将除主降雨区域外的降雨区域标记为次降雨区域;
步骤S54、在每个降雨过程中,基于每一时刻的降雨分布图中的降雨中心位置坐标和半径构建降雨中心移动矢量图;
步骤S55、在接收到待比较的另一降雨过程数据时,采用步骤S51至步骤S54的方法获得降雨中心移动矢量图;分别比较主降雨区域和次降雨区域的中心移动矢量图的相似度。
在本实施例中,给出了与申请人之前专利不同的相似度计算方法,该方法除了通过灰度图计算整体降雨量,判断整体相似度之外,还提供了另外一种构思,即通过降雨中心移动矢量图的方法,对降雨过程的相似度进行计算。根据相关的数据分析,流域的降雨过程,其雨量的相关指标,多数与降雨中心相关,降雨中心在时空上的移动,是降雨过程的主要决定因素。为此,通过图像处理后,快速得到降雨中心的移动矢量图,并基于移动矢量图进行相似度分析。在具体实施时,可以采用曲线相似度计算法或时间序列计算方法来计算相似度。
对于一个流域而言,在一个降雨周期中,常常有多个降雨中心,各个降雨中心各自在时空上进行移动,降雨半径和降雨强度也会随之发生变化,通过上述方法,可以基于降雨中心和降雨半径对降雨过程进行描绘。从实践来看,本申请的方法效果更加突出。在保证相似度准确率的情况下,计算速度更快。
需要说明的是,基于视觉特征和雨量集成的相似分析方法,可以采用本申请人的在先专利,也可以采用现有技术中的其他方案。本申请提供的方案,以及本申请人在先申请的技术方案仅作为示例。
在进一步的实施例中,还提供一种基于知识图谱和机器学习的雨洪相似性分析系统,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述任一项实施例所述的基于知识图谱和机器学习的雨洪相似性分析方法。
由于计算系统的相关技术为现有技术,在此不再详述。本领域的技术人员能够根据本申请公开的内容和现有技术实现上述系统。
总之,在相似雨洪算法方面,传统的分析方法多偏向于单一特征的相关统计,对于多特征、多样本的处理相对局限,本申请引入机器学习、知识图谱等方法,大大提高了相似度的准确率。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。
Claims (12)
1.基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,包括如下步骤:
S1、采集研究区域的降雨数据和洪水数据,从所述降雨数据中提取暴雨样本,从洪水数据中提取洪水样本;
S2、针对所述暴雨样本,构建天气成因指标集和暴雨特征指标集;针对所述洪水样本,构建洪水特征指标集;分别对所述暴雨特征指标集和洪水特征指标集中的各个指标进行关联性分析,进行指标独立性检验;
S3、分别对独立性检验后的暴雨特征指标集和洪水特征指标集进行主成分分析和聚类分析,获得暴雨聚类集合与洪水聚类集合,以及暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系,形成暴雨聚类与洪水聚类之间的经验概率定量匹配关系;
S4、将所述天气成因指标集、暴雨特征指标集和洪水特征指标集中的各个指标分为结构化数据、非结构化数据和半结构化数据,并抽取各个指标的属性,按照雨洪发展关系,抽取天气成因、暴雨过程和洪水过程的时间顺序关系、空间从属关系和成因关系;构建雨洪关系知识图谱;
S5、构建降雨洪水训练集和雨洪推荐模块,采用基于视觉特征和雨量集成的相似分析方法对雨洪推荐模块进行训练,在训练完成后,将待检雨洪过程数据输入雨洪推荐模块,获得若干组历史上的相似雨洪过程数据;将相似雨洪过程数据分别输入雨洪关系知识图谱,给出相似度数值,并对相似度数值进行降序排列。
2.如权利要求1所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S1中,
从降雨数据中提取暴雨样本的过程具体为:
S11、某日内,若研究区域范围中超过预定比例的雨量站发生暴雨,则该日为区域暴雨日;连续出现区域暴雨日的总天数称为区域暴雨过程日数N;当N等于1时,称为非持续性区域暴雨过程;当N大于等于2时,称为持续性区域暴雨过程;
S12、将所述持续性区域暴雨过程和非持续性区域暴雨过程作为暴雨样本;
从洪水数据中提取洪水样本的过程具体为:
S13、根据研究区域的洪水情况,设定研究区域内各个站点的洪峰阈值;
S14、依序筛选出各个站点的洪峰,并判断相邻的洪峰是否独立;
S15、针对所有洪峰点,向前后分别搜索洪水的起始时间和结束时间,计算洪水过程;
S16、基于所述洪水过程,获得洪水样本。
4.如权利要求1所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,步骤S2中,所述天气成因指标集包括月尺度的气候背景指标集和日尺度的天气系统指标集;所述暴雨特征指标集包括极端性指标集、强度指标集、雨量指标集、时间指标集和空间指标集;所述洪水特征指标集包括洪量指标集、洪峰指标集、涨落率指标集、幅度指标集和形态指标集。
5.如权利要求1至4任一项所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S1还包括:
S17、按照研究区域的水系分布特征,将研究区域分成至少两个子区域;分析各个子区域的分区降雨分布;
S18、基于所述暴雨特征指标集和洪水特征指标集各自分析各个子区域的暴雨季节变化特征及洪水演变特征;针对预定的洪水特征指标,采集若干时间点的测量数据,形成该指标的时间序列,计算测量数据的方差和检验统计量,并将所述检验统计量标准化,根据显著性水平,确定标准化检验统计量的阈值,判断是否具有趋势变化。
6.如权利要求5所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,还包括步骤S19、判断洪水特征指标的测量数据是否存在突变;
S19a、将洪水特征指标形成的时间序列逆序排列,得到时间逆序列;
S19b、分别计算洪水特征指标的时间序列和时间逆序列的秩序列,并计算均值和方差,基于所述秩序列、均值和方差,计算统计量;
S19c、查找时间序列的统计量与时间逆序列统计量之和为零的点,获得交点,并筛选时间序列统计量绝对值大于阈值的点集,构成置信区间;将位于置信区间内的交点标记为突变点。
7.如权利要求1所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S3中,对独立性检验后的洪水特征指标集进行主成分分析和聚类分析的过程具体包括:
S31、基于每一场次洪水的各个洪水特征指标,构建洪水观测样品矩阵;
S32、计算所述洪水观测样品矩阵的标准差和均值,用观测数据减去均值除以标准差,得到标准数据,并以标准数据构建标准化矩阵;求解标准化矩阵的相关系数矩阵,并进一步计算相关系数矩阵的非负特征值,降序排列;取前p个非负特征值,并计算各个非负特征值对应的特征向量;
S33、计算前p个非负特征值对应特征向量组成的样本矩阵,计算累计贡献率是否大于阈值;若小于,则增加非负特征值的数量;若不小于,计算主成分矩阵;
S34、采用K均值聚类法对场次洪水进行分类,获得若干类型的场次洪水,每一类型中的场次洪水为相似洪水。
8.如权利要求7所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,步骤S3中,计算暴雨聚类集合中每一暴雨聚类与洪水聚类结合中每一洪水聚类的映射关系的过程具体为:
S35、对独立性检验后的暴雨特征指标集进行主成分分析和K均值聚类,获得若干类型的暴雨类型,每一暴雨类型中的各场暴雨为相似暴雨,通过计算欧式空间距离对暴雨相似度进行分析排序;
S36、得到所有洪水过程的降雨聚类和洪水聚类结果后,统计出不同降雨聚类和不同洪水聚类之间的映射关系。
9.如权利要求1所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S4还包括:
S41、抽取研究区域的测站实体以及测站实体之间的空间关系,包括水库站、水文站、雨量站和站点上下游空间拓扑关系。
10.如权利要求8所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S36还包括:
步骤S36a、基于所述不同降雨聚类和不同洪水聚类之间的映射关系,分别构建降雨-洪水映射表和洪水-降雨映射表;
步骤S36b、分别对所述降雨-洪水映射表和洪水-降雨映射表进行有效性检验;
步骤S36c、将通过有效性检验的降雨-洪水映射表和洪水-降雨映射表预存储在存储单元中。
11.如权利要求9所述的基于知识图谱和机器学习的雨洪相似性分析方法,其特征在于,所述步骤S5中基于视觉特征和雨量集成的相似方法对雨洪推荐模块进行训练的过程具体为:
步骤S51、读取雨洪过程数据,其中包括降雨分布图;并计算每一行和每一列的颜色数值总和;
步骤S52、通过滑动窗口法查找所述降雨分布图的边缘,判断是否存在两个以上的降雨区域,若存在,分别计算每一降雨区域边缘的横坐标平均值和纵坐标平均值,作为降雨中心的坐标;并计算相邻降雨区域的降雨中心距离;若不存在,计算降雨区域的降雨中心,以及降雨中心到该降雨区域边缘各个像素点的距离平均值,即为降雨半径;
步骤S53、逐次计算每一降雨区域内的所有像素点的颜色数值总和,并降序排列;将颜色数值最大的降雨区域标记为主降雨区域,将除主降雨区域外的降雨区域标记为次降雨区域;
步骤S54、在每个降雨过程中,基于每一时刻的降雨分布图中的降雨中心位置坐标和半径构建降雨中心移动矢量图;
步骤S55、在接收到待比较的另一降雨过程数据时,采用步骤S51至步骤S54的方法获得降雨中心移动矢量图;分别比较主降雨区域和次降雨区域的中心移动矢量图的相似度。
12.一种基于知识图谱和机器学习的雨洪相似性分析系统,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1~11任一项所述的基于知识图谱和机器学习的雨洪相似性分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139933.XA CN115271255B (zh) | 2022-09-19 | 2022-09-19 | 基于知识图谱和机器学习的雨洪相似性分析方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139933.XA CN115271255B (zh) | 2022-09-19 | 2022-09-19 | 基于知识图谱和机器学习的雨洪相似性分析方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115271255A true CN115271255A (zh) | 2022-11-01 |
CN115271255B CN115271255B (zh) | 2022-12-09 |
Family
ID=83757797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211139933.XA Active CN115271255B (zh) | 2022-09-19 | 2022-09-19 | 基于知识图谱和机器学习的雨洪相似性分析方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115271255B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115759459A (zh) * | 2022-12-01 | 2023-03-07 | 长江水利委员会水文局 | 一种雨水工情耦合的流域洪水流量集合概率智能预报方法 |
CN116523130A (zh) * | 2023-04-28 | 2023-08-01 | 中国长江电力股份有限公司 | 一种基于降雨空间分布的图像相似水情挖掘及预报方法 |
CN117010726A (zh) * | 2023-09-29 | 2023-11-07 | 水利部交通运输部国家能源局南京水利科学研究院 | 用于城市防洪的智慧预警方法及系统 |
CN117313911A (zh) * | 2023-05-30 | 2023-12-29 | 中国水利水电科学研究院 | 一种基于降雨特征识别的洪水预报方法 |
CN117520876A (zh) * | 2024-01-08 | 2024-02-06 | 河海大学 | 基于相似降雨-洪水模式匹配的洪水预报智能推荐方法 |
CN117592870A (zh) * | 2024-01-19 | 2024-02-23 | 生态环境部环境规划院 | 基于水环境监测信息的综合分析系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491903A (zh) * | 2017-09-27 | 2017-12-19 | 河海大学 | 一种基于数据挖掘‑相似性理论的洪水预报方法 |
CN108388957A (zh) * | 2018-01-25 | 2018-08-10 | 河海大学 | 一种基于多特征融合技术的中小河流洪水预报方法及其预报系统 |
CN110728409A (zh) * | 2019-10-16 | 2020-01-24 | 中国科学院地理科学与资源研究所 | 一种洪水过程类型相似性挖掘与快速预测方法 |
CN110929956A (zh) * | 2019-12-06 | 2020-03-27 | 中国水利水电科学研究院 | 一种基于机器学习的洪水预报方案实时优选方法 |
CN111027763A (zh) * | 2019-12-06 | 2020-04-17 | 中国水利水电科学研究院 | 一种基于机器学习的流域洪水响应相似性分析方法 |
CN112508237A (zh) * | 2020-11-20 | 2021-03-16 | 北京师范大学 | 基于数据分析的雨型区域划分方法和实时雨型预测方法 |
KR20210047511A (ko) * | 2019-10-22 | 2021-04-30 | 세종대학교산학협력단 | 산지돌발홍수 재현빈도 산정 시스템 및 방법 |
CN113159451A (zh) * | 2021-05-13 | 2021-07-23 | 长江水利委员会水文局 | 一种基于事件知识图谱构建的流域旱涝事件长期预测方法 |
CN113378484A (zh) * | 2021-07-12 | 2021-09-10 | 中国水利水电科学研究院 | 一种基于机器学习的平原河网地区洪水过程预报方法 |
CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
CN114240106A (zh) * | 2021-12-06 | 2022-03-25 | 中国水利水电科学研究院 | 一种基于水文数据挖掘的流域洪水响应相似性分析方法 |
KR20220086787A (ko) * | 2020-12-16 | 2022-06-24 | 단국대학교 산학협력단 | 첨두유속 및 발생 시간차이를 이용한 홍수 발생 시간 예측 방법 |
CN114969416A (zh) * | 2022-03-11 | 2022-08-30 | 河海大学 | 一种基于降雨量图的降雨相似性搜索方法 |
CN114997534A (zh) * | 2022-07-29 | 2022-09-02 | 长江水利委员会水文局 | 基于视觉特征的相似降雨预报方法和设备 |
-
2022
- 2022-09-19 CN CN202211139933.XA patent/CN115271255B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491903A (zh) * | 2017-09-27 | 2017-12-19 | 河海大学 | 一种基于数据挖掘‑相似性理论的洪水预报方法 |
CN108388957A (zh) * | 2018-01-25 | 2018-08-10 | 河海大学 | 一种基于多特征融合技术的中小河流洪水预报方法及其预报系统 |
CN110728409A (zh) * | 2019-10-16 | 2020-01-24 | 中国科学院地理科学与资源研究所 | 一种洪水过程类型相似性挖掘与快速预测方法 |
KR20210047511A (ko) * | 2019-10-22 | 2021-04-30 | 세종대학교산학협력단 | 산지돌발홍수 재현빈도 산정 시스템 및 방법 |
CN110929956A (zh) * | 2019-12-06 | 2020-03-27 | 中国水利水电科学研究院 | 一种基于机器学习的洪水预报方案实时优选方法 |
CN111027763A (zh) * | 2019-12-06 | 2020-04-17 | 中国水利水电科学研究院 | 一种基于机器学习的流域洪水响应相似性分析方法 |
CN112508237A (zh) * | 2020-11-20 | 2021-03-16 | 北京师范大学 | 基于数据分析的雨型区域划分方法和实时雨型预测方法 |
KR20220086787A (ko) * | 2020-12-16 | 2022-06-24 | 단국대학교 산학협력단 | 첨두유속 및 발생 시간차이를 이용한 홍수 발생 시간 예측 방법 |
CN113159451A (zh) * | 2021-05-13 | 2021-07-23 | 长江水利委员会水文局 | 一种基于事件知识图谱构建的流域旱涝事件长期预测方法 |
CN113378484A (zh) * | 2021-07-12 | 2021-09-10 | 中国水利水电科学研究院 | 一种基于机器学习的平原河网地区洪水过程预报方法 |
CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
CN114240106A (zh) * | 2021-12-06 | 2022-03-25 | 中国水利水电科学研究院 | 一种基于水文数据挖掘的流域洪水响应相似性分析方法 |
CN114969416A (zh) * | 2022-03-11 | 2022-08-30 | 河海大学 | 一种基于降雨量图的降雨相似性搜索方法 |
CN114997534A (zh) * | 2022-07-29 | 2022-09-02 | 长江水利委员会水文局 | 基于视觉特征的相似降雨预报方法和设备 |
Non-Patent Citations (3)
Title |
---|
YU-BIN CHEN: "Multiple Hydropower Reservoirs Operation by Hyperbolic Grey Wolf Optimizer Based on Elitism Selection and Adaptive Mutation", 《WATER RESOURCES MANAGEMENT》 * |
杨文杰: "基于知识图谱的新安江相关研究进展与前沿分析", 《环境保护科学》 * |
赵小伟: "超大型城市洪涝演变规律与调度模式分析", 《水文》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115759459A (zh) * | 2022-12-01 | 2023-03-07 | 长江水利委员会水文局 | 一种雨水工情耦合的流域洪水流量集合概率智能预报方法 |
CN115759459B (zh) * | 2022-12-01 | 2023-07-28 | 长江水利委员会水文局 | 一种雨水工情耦合的流域洪水流量集合概率智能预报方法 |
CN116523130A (zh) * | 2023-04-28 | 2023-08-01 | 中国长江电力股份有限公司 | 一种基于降雨空间分布的图像相似水情挖掘及预报方法 |
CN116523130B (zh) * | 2023-04-28 | 2024-05-14 | 中国长江电力股份有限公司 | 一种基于降雨空间分布的图像相似水情挖掘及预报方法 |
CN117313911A (zh) * | 2023-05-30 | 2023-12-29 | 中国水利水电科学研究院 | 一种基于降雨特征识别的洪水预报方法 |
CN117010726A (zh) * | 2023-09-29 | 2023-11-07 | 水利部交通运输部国家能源局南京水利科学研究院 | 用于城市防洪的智慧预警方法及系统 |
CN117010726B (zh) * | 2023-09-29 | 2023-12-08 | 水利部交通运输部国家能源局南京水利科学研究院 | 用于城市防洪的智慧预警方法及系统 |
CN117520876A (zh) * | 2024-01-08 | 2024-02-06 | 河海大学 | 基于相似降雨-洪水模式匹配的洪水预报智能推荐方法 |
CN117520876B (zh) * | 2024-01-08 | 2024-03-08 | 河海大学 | 基于相似降雨-洪水模式匹配的洪水预报智能推荐方法 |
CN117592870A (zh) * | 2024-01-19 | 2024-02-23 | 生态环境部环境规划院 | 基于水环境监测信息的综合分析系统 |
CN117592870B (zh) * | 2024-01-19 | 2024-04-30 | 生态环境部环境规划院 | 基于水环境监测信息的综合分析系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115271255B (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115271255B (zh) | 基于知识图谱和机器学习的雨洪相似性分析方法和系统 | |
CN111666918B (zh) | 一种基于多因素的海岸线变化识别方法 | |
CN112800634B (zh) | 耦合干湿状态辨识与多源信息融合的降水估计方法及系统 | |
CN109117883B (zh) | 基于长短时记忆网络的sar影像海冰分类方法及系统 | |
CN109299812B (zh) | 一种基于深度学习模型和knn实时校正的洪水预测方法 | |
CN111985389B (zh) | 一种基于流域属性距离的流域相似判别方法 | |
CN102956023B (zh) | 一种基于贝叶斯分类的传统气象数据与感知数据融合的方法 | |
CN109165693B (zh) | 一种适用于露、霜和结冰的天气现象的自动判识方法 | |
Li et al. | An object-based approach for verification of precipitation estimation | |
Zhu et al. | Loess terrain segmentation from digital elevation models based on the region growth method | |
CN115310532A (zh) | 一种基于时空关联混合深度学习模型的流域多点预测预警方法 | |
CN113779113B (zh) | 基于雨洪时空过程相似性挖掘的洪水动态预估方法及系统 | |
GB2612682A (en) | Basin similarity classification method and device | |
Sha et al. | Deep-learning-based precipitation observation quality control | |
Koolagudi | Long-range prediction of Indian summer monsoon rainfall using data mining and statistical approaches | |
Huang et al. | Modelling landslide susceptibility prediction: A review and construction of semi-supervised imbalanced theory | |
CN116091801B (zh) | 一种基于深度学习的降雨图像相似性搜索方法 | |
CN115829163A (zh) | 基于多模式集成的长江中下游流域径流预测方法和系统 | |
Ban et al. | Study on rainfall prediction of yibin city based on gru and xgboost | |
Azeem et al. | A Multidimensionality Reduction Approach to Rainfall Prediction | |
Mahmoudi et al. | Regionalization of rainfall intensity–duration–frequency (IDF) curves with L-moments method using neural gas networks | |
Mubeen et al. | A novel approach for predicting the tc center of remotely sensed images using pso based density matrix | |
CN114254561B (zh) | 一种内涝预测方法、系统及存储介质 | |
Wang et al. | Tiny-RainNet: A Deep CNN-BiLSTM Model for Short-Term Rainfall Prediction | |
Suthar et al. | Estimation of Tropical Cyclone Intensity from Satellite Data Using Self Attentive–TCNN-BiGRU Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |