CN114462254A - 基于流向的分布式水文模型并行计算方法 - Google Patents
基于流向的分布式水文模型并行计算方法 Download PDFInfo
- Publication number
- CN114462254A CN114462254A CN202210254598.1A CN202210254598A CN114462254A CN 114462254 A CN114462254 A CN 114462254A CN 202210254598 A CN202210254598 A CN 202210254598A CN 114462254 A CN114462254 A CN 114462254A
- Authority
- CN
- China
- Prior art keywords
- grid
- calculation
- model
- flow direction
- watershed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000010276 construction Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 36
- 238000004088 simulation Methods 0.000 claims description 21
- 238000011144 upstream manufacturing Methods 0.000 claims description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012821 model calculation Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于流向的分布式水文模型并行计算方法，包括提出基于NetCDF(Network Common Data Format)的参数描述方法；实现对分布式水文模型的标准化构建；实现流域离散化与网格构建；根据河道关系、汇流关系，提取并行演算次序序列，实现分布式水文模型并行计算；本发明改变了分布式水文模型传统串行计算的方式，基于网格流向划分(GFD)实现模型计算效率的提升。
Description
技术领域
本发明属于水文模型预测技术，具体涉及一种基于流向的分布式水文模型并行计算方法。
背景技术
水文模型是对洪水进行预报与水文机理研究的重要工具，用数学的方法描述模拟重现水文循环过程，在流域尺度范围内对降雨径流形成过程进行模拟从而达到确定流域水文响应的目的。水文模型为洪水预报及防汛调度等工作提供了重要的决策支持。
根据对水文过程的描述，结合流域的特征，水文模型可分为集总式水文模型和分布式水文模型。集总式水文模型由普通微分方程进行表达，在流域上采用平均的、单一化的参数来描述整个流域的水文特征，没有考虑水文过程、输入、边界条件及流域几何特征的空间变化，因此对于下垫面变化大、空间分布广的流域模拟效果并不好。
基于数字高程模型(DEM)提取的分布式水文模型是近年来水文领域研究的重点。随着 DEM提取技术的飞速发展，分布式水文模型的应用也逐渐变得广泛。分布式水文模型考虑了模型计算过程、输入、流域边界条件和几何特征的空间变性，根据高分辨率的流域下垫面特征把流域划分为满足精度的网格。
分布式水文模型是进行洪水预报和水文过程模拟的有效工具。模型的计算过程包括每个单元网格或子流域的蒸散发、产流、分水源以及汇流等。由于计算过程高度耦合，时间与空间上都依赖于前一结果，目前大部分分布式水文模型都采用串行计算的方式。但是，复杂的计算导致了在预热期长、分辨率高的大流域存在计算量大，计算密集的情况，需要耗费大量时间产生预报结果，也导致了资源的浪费。因此，传统的串行计算方式，已经无法满足分布式水文模型在上述情况中的实时模拟和预报需求。如何提高分布式水文模型的计算效率，是在水文预报领域实用化过程中迫切需要解决的问题。
本发明提出一种基于流向的分布式水文模型并行计算方法，实现基于网格流向划分的算法(GFD)解决上述问题。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于流向的分布式水文模型并行计算方法，通过网格流向划分(GFD)算法，实现对分布式水文模型进行拆分和并行化计算。
技术方案：本发明的一种基于流向的分布式水文模型并行计算方法，包括以下步骤。
步骤S1、分布式水文模型其特征是考虑了过程、输入、边界条件及流域几何特征的空间变性。在空间划分上将流域划分为很多模拟单元，须保证模型输入及计算过程的统一化。针对分布式水文模型普遍存在的问题，提出基于NetCDF(Network Common DataFormat)的参数描述方法，根据水文过程机理对模型构件、计算过程进行定义，预测可并行模块，实现对分布式水文模型的标准化构建；
步骤S2、实现流域离散化与网格构建，将分布式水文模型的最小计算单位定义为模拟单元，根据汇流关系找出单元间依赖特征，提出一种依赖于网格流向划分的离散化与网格构建方法。首先根据DEM对流域特征进行提取，基于D8法确定网格边界与流量参数。其次对流域进行建模，构建网格化任务追踪树，即模拟单元间依赖关系可视化，形成流域并行化网格的组合；
步骤S3、构建网格流向矩阵，累积汇水面积矩阵，水系矩阵的三维关系矩阵。提出网格流向划分算法(GFD)，根据河道关系、汇流关系，提取并行演算次序序列，实现分布式水文模型并行计算。
本发明还公开了一种基于流向的分布式水文模型并行计算方法的模型构建方法，依次包括以下步骤。
1、所述步骤S1中对模型进行统一构建，将分布式水文模型的参数基于NetCDF进行描述。针对模块计算功能，对构件进行划分，针对不同类型的构件，对其计算过程进行分解表示。
其中，基于过程对模型进行分解描述的具体步骤为：
步骤S1.1、对模型参数进行提取；
步骤S1.2、针对分布式水文模型计算过程中模拟单元之间的关系，将构件划分为两种类型，分别为：独立型构件和依赖型构件；
步骤S1.3、依据栅格间的上下游顺序，将产流量按照Muskingum法逐栅格地演算至流域出口，得到流域总出流。独立型构件不需要考虑网格单元之间的数据依赖，依赖型构件根据当前演算网格对上游的输出进行整合作为下游的输入，描述过程。
2、所述步骤S2中对流域进行离散化并构建网格关系，依赖于高分辨率的DEM流域栅格单元、地形分析提取流域栅格单元流向，划分流域空间，进而计算得到该流域的流向图和坡度图，据此以确定栅格单元离散化流域网络：
步骤S2.1、用DEM提取流域的基本水文特征；
步骤S2.2、根据D8法确定流域流向图；
步骤S2.3、根据出口单元向上游流域遍历，直到所有网格确认完毕，得出上下游模拟单元依赖关系；
步骤S2.4、按照依赖关系得到网格离散化后的任务追踪树。
3、所述步骤S3中利用网格流向划分(GFD)算法实现对分布式水文模型并行计算的具体过程为：
步骤S3.1、根据集水面积搜索出具有最大集水面积的栅格点，赋值当前计算次序；
步骤S3.2、根据网格流向判断当前栅格点的上游网格，按照顺时针方向依次扫描所有前一赋值点周围8个邻点，如果邻点流入前赋值点，则邻点计算次序加1。不断重复上述步骤直到找不到邻点；
步骤S3.3、将演算次序倒序排列。判断当前网格点是否为水系，若为水系，则次序保留，若不是水系，则计算次序初始化；
步骤S3.4、若当前网格点为非水系网格，则根据集水面积，初始化当前网格点计算次序；
步骤S3.5、根据网格流向，依次向下寻找下游网格，网格的计算次序根据所有上游网格的最大计算次序加1；
步骤S3.6、完成上述所有步骤，得到不同模拟单元计算次序序列，同序列单元分配到不同线程实现并行计算。
有益效果：与现有技术相比，本发明具有以下优点。
(1)本发明提出了水文模型统一化的构建方法，基于NetCDF对参数、模型构件与关系描述、计算过程等角度进行描述，明确描述了水文模型的实现。
(2)本发明根据水流方向将栅格划分为不同模拟单元，按照层次组成任务追踪树，形成了上下游依赖的流域计算顺序序列。
(3)本发明基于网格流向矩阵，累积汇水面积矩阵，水系矩阵的三维关系，实现了多层级可并行网格划分(GFD)算法，找出了网格间的可并行关系，制定了网格并行演算次序序列，实现了模型并行计算。
(4)本发明改变了传统分布式水文模型串行计算的方式，实现了模型计算效率的提升。
附图说明
图1为本发明中分布式水文模型拆分结构示意图。
图2为本发明中模型整体计算结构示意图。
图3为本发明中由D8法确定流域单元流向示意图。
图4为本发明的网格构建任务追踪树示意图。
图5为本发明栅格新安江模型改进效果对比图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本实施例的一种基于流向的分布式水文模型并行计算方法，包括以下步骤：
步骤S1、分布式水文模型其特征是考虑了过程、输入、边界条件及流域几何特征的空间变性。在空间划分上将流域划分为很多模拟单元，须保证模型输入及计算过程的统一化。针对分布式水文模型普遍存在的问题，提出基于NetCDF(Network Common DataFormat)的参数描述方法，根据水文过程机理对模型构件、计算过程进行定义，预测可并行模块，实现对分布式水文模型的标准化构建；
步骤S2、实现流域离散化与网格构建，将分布式水文模型的最小计算单位定义为模拟单元，根据汇流关系找出单元间依赖特征，提出一种依赖于网格流向划分的离散化与网格构建方法。首先根据DEM对流域特征进行提取，基于D8法确定网格边界与流量参数。其次对流域进行建模，构建网格化任务追踪树，即模拟单元间依赖关系可视化，形成流域并行化网格的组合；
步骤S3、构建网格流向矩阵，累积汇水面积矩阵，水系矩阵的三维关系矩阵。提出网格流向划分算法(GFD)，根据河道关系、汇流关系，提取并行演算次序序列，实现分布式水文模型并行计算。
实施例1：本实施例对栅格新安江模型在安徽省屯溪流域计算进行实验，模型拆分和计算过程，如图2、图3和图4所示，包括以下步骤。
本实施选取安徽省屯溪流域，针对栅格新安江模型，按照不同预热期进行串行计算，得到模型运行的时间。在原有模型的基础上，采用本发明所提出的基于网格流向划分的并行算法(GFD)，对栅格新安江模型进行改进。得到并行计算时间与串行计算时间进行对比
步骤S1中对模型进行统一构建，将分布式水文模型的参数基于NetCDF进行描述。针对模块计算功能，对构件进行划分，针对不同类型的构件，对其计算过程进行分解表示。
其中，基于过程对模型进行分解描述的具体步骤为：
步骤S1.1、对模型参数进行提取；
步骤S1.2、针对分布式水文模型计算过程中模拟单元之间的关系，将构件划分为两种类型，分别为：独立型构件和依赖型构件；
步骤S1.3、依据栅格间的上下游顺序，将产流量按照Muskingum法逐栅格地演算至流域出口，得到流域总出流。独立型构件不需要考虑网格单元之间的数据依赖，依赖型构件根据当前演算网格对上游的输出进行整合作为下游的输入，描述过程。
步骤S2中对流域进行离散化并构建网格关系，依赖于高分辨率的DEM流域栅格单元、地形分析提取流域栅格单元流向，划分流域空间，进而计算得到该流域的流向图和坡度图，据此以确定栅格单元离散化流域网络。
步骤S2.1、用DEM提取流域的基本水文特征；
步骤S2.2、根据D8法确定流域流向图；
步骤S2.3、根据出口单元向上游流域遍历，直到所有网格确认完毕，得出上下游模拟单元依赖关系；
步骤S2.4、按照依赖关系得到网格离散化后的任务追踪树。
步骤S3中利用网格流向划分(GFD)算法实现对分布式水文模型并行计算。
步骤S3.1、根据集水面积搜索出具有最大集水面积的栅格点，赋值当前计算次序；
步骤S3.2、根据网格流向判断当前栅格点的上游网格，按照顺时针方向依次扫描所有前一赋值点周围8个邻点，如果邻点流入前赋值点，则邻点计算次序加1。不断重复上述步骤直到找不到邻点；
步骤S3.3、将演算次序倒序排列。判断当前网格点是否为水系，若为水系，则次序保留，若不是水系，则计算次序初始化；
步骤S3.4、若当前网格点为非水系网格，则根据集水面积，初始化当前网格点计算次序；
步骤S3.5、根据网格流向，依次向下寻找下游网格，网格的计算次序根据所有上游网格的最大计算次序加1；
步骤S3.6、完成上述所有步骤，得到不同模拟单元计算次序序列，同序列单元分配到不同线程实现并行计算。
模型改进结果的评价指标采用时间和并行加速比。
表1为本实施例中的相关对比。
表1
随着预热期逐渐的增加，基于并行算法改进后的模型计算优势逐渐体现出来。模型加速比在预热期为3天时为1.2，当预热期增加到30天，并行加速比达到3.88。与原有的串行模型相比，计算时间缩短了3/4以上。当预热期达到21天后，对内存的消耗使得串行模型计算时间明显增加。而并行计算模型的计算效率一直保持稳定。
Claims (4)
1.基于流向的分布式水文模型并行计算方法，其特征在于：包括以下步骤：
步骤S1、分布式水文模型其特征是考虑了过程、输入、边界条件及流域几何特征的空间变性。在空间划分上将流域划分为很多模拟单元，须保证模型输入及计算过程的统一化。针对分布式水文模型普遍存在的问题，提出基于NetCDF(Network Common Data Format)的参数描述方法，根据水文过程机理对模型构件、计算过程进行定义，预测可并行模块，实现对分布式水文模型的标准化构建；
步骤S2、实现流域离散化与网格构建，将分布式水文模型的最小计算单位定义为模拟单元，根据汇流关系找出单元间依赖特征，提出一种依赖于网格流向划分的离散化与网格构建方法。首先根据DEM对流域特征进行提取，基于D8法确定网格边界与流量参数。其次对流域进行建模，构建网格化任务追踪树，即模拟单元间依赖关系可视化，形成流域并行化网格的组合；
步骤S3、构建网格流向矩阵，累积汇水面积矩阵，水系矩阵的三维关系矩阵。提出网格流向划分算法(GFD)，根据河道关系、汇流关系，提取并行演算次序序列，实现分布式水文模型并行计算。
2.根据权利要求1所述的基于流向的分布式水文模型并行计算方法，其特征在于：所述步骤S1中对模型进行统一构建，将分布式水文模型的参数基于NetCDF进行描述。针对模块计算功能，对构件进行划分，针对不同类型的构件，对其计算过程进行分解表示。
其中，基于过程对模型进行分解描述的具体步骤为：
步骤S1.1、对模型参数进行提取；
步骤S1.2、针对分布式水文模型计算过程中模拟单元之间的关系，将构件划分为两种类型，分别为：独立型构件和依赖型构件；
步骤S1.3、依据栅格间的上下游顺序，将产流量按照Muskingum法逐栅格地演算至流域出口，得到流域总出流。独立型构件不需要考虑网格单元之间的数据依赖，依赖型构件根据当前演算网格对上游的输出进行整合作为下游的输入，描述过程。
3.根据权利要求1所述的基于流向的分布式水文模型并行计算方法，其特征在于：所述步骤S2中对流域进行离散化并构建网格关系，依赖于高分辨率的DEM流域栅格单元、地形分析提取流域栅格单元流向，划分流域空间，进而计算得到该流域的流向图和坡度图，据此以确定栅格单元离散化流域网络：
步骤S2.1、用DEM提取流域的基本水文特征；
步骤S2.2、根据D8法确定流域流向图；
步骤S2.3、根据出口单元向上游流域遍历，直到所有网格确认完毕，得出上下游模拟单元依赖关系；
步骤S2.4、按照依赖关系得到网格离散化后的任务追踪树。
4.根据权利要求1所述的基于流向的分布式水文模型并行计算方法，其特征在于：所述步骤S3中利用网格流向划分(GFD)算法实现对分布式水文模型并行计算的具体过程为：
步骤S3.1、根据集水面积搜索出具有最大集水面积的栅格点，赋值当前计算次序；
步骤S3.2、根据网格流向判断当前栅格点的上游网格，按照顺时针方向依次扫描所有前一赋值点周围8个邻点，如果邻点流入前赋值点，则邻点计算次序加1。不断重复上述步骤直到找不到邻点；
步骤S3.3、将演算次序倒序排列。判断当前网格点是否为水系，若为水系，则次序保留，若不是水系，则计算次序初始化；
步骤S3.4、若当前网格点为非水系网格，则根据集水面积，初始化当前网格点计算次序；
步骤S3.5、根据网格流向，依次向下寻找下游网格，网格的计算次序根据所有上游网格的最大计算次序加1；
步骤S3.6、完成上述所有步骤，得到不同模拟单元计算次序序列，同序列单元分配到不同线程实现并行计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210254598.1A CN114462254A (zh) | 2022-03-15 | 2022-03-15 | 基于流向的分布式水文模型并行计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210254598.1A CN114462254A (zh) | 2022-03-15 | 2022-03-15 | 基于流向的分布式水文模型并行计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114462254A true CN114462254A (zh) | 2022-05-10 |
Family
ID=81417740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210254598.1A Pending CN114462254A (zh) | 2022-03-15 | 2022-03-15 | 基于流向的分布式水文模型并行计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114462254A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116049341A (zh) * | 2023-03-08 | 2023-05-02 | 北京七兆科技有限公司 | 一种水文数据标准化方法、装置、设备及存储介质 |
| CN117873686A (zh) * | 2024-01-23 | 2024-04-12 | 中国水利水电科学研究院 | 基于分层负载均衡的分布式水文模型汇流并行调度算法 |
| CN118095581A (zh) * | 2024-04-29 | 2024-05-28 | 浙江大学 | 基于分布式水文模型的梯级小水电来水量预测方法及系统 |
-
2022
- 2022-03-15 CN CN202210254598.1A patent/CN114462254A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116049341A (zh) * | 2023-03-08 | 2023-05-02 | 北京七兆科技有限公司 | 一种水文数据标准化方法、装置、设备及存储介质 |
| CN116049341B (zh) * | 2023-03-08 | 2023-08-15 | 北京七兆科技有限公司 | 一种水文数据标准化方法、装置、设备及存储介质 |
| CN117873686A (zh) * | 2024-01-23 | 2024-04-12 | 中国水利水电科学研究院 | 基于分层负载均衡的分布式水文模型汇流并行调度算法 |
| CN118095581A (zh) * | 2024-04-29 | 2024-05-28 | 浙江大学 | 基于分布式水文模型的梯级小水电来水量预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luo et al. | Urban flood numerical simulation: Research, methods and future perspectives | |
| Barzegar et al. | Forecasting of groundwater level fluctuations using ensemble hybrid multi-wavelet neural network-based models | |
| CN114462254A (zh) | 基于流向的分布式水文模型并行计算方法 | |
| CN103092572B (zh) | 一种集群环境下分布式水文模拟的并行化方法 | |
| Shamim et al. | A comparison of artificial neural networks (ANN) and local linear regression (LLR) techniques for predicting monthly reservoir levels | |
| CN102915227A (zh) | 面向大区域流域提取的并行方法 | |
| CN109308308A (zh) | 基于三维动态可视化排水管网模拟和结果分析方法及装置 | |
| CN118095104B (zh) | 一种基于机器学习的洪涝快速预报方法及系统 | |
| CN110766792A (zh) | 基于ArcGIS水文分析工具网格演算次序编码方法 | |
| CN108614915A (zh) | 基于情景驱动的水文模型自由组建策略方法 | |
| Wu et al. | Local and global Bayesian network based model for flood prediction | |
| CN115728463A (zh) | 一种基于半嵌入式特征选择的可解释性水质预测方法 | |
| Jiang et al. | Parallel contributing area calculation with granularity control on massive grid terrain datasets | |
| Xiaoxun et al. | Research on wind speed behavior prediction method based on multi-feature and multi-scale integrated learning | |
| CN110930282B (zh) | 一种基于机器学习的局地降雨雨型分析方法 | |
| Do et al. | Parallel computing flow accumulation in large digital elevation models | |
| Zhang et al. | Application of improved seasonal GM (1, 1) model based on HP filter for runoff prediction in Xiangjiang River | |
| Liu et al. | Research on runoff process vectorization and integration of deep learning algorithms for flood forecasting | |
| CN117408171B (zh) | 一种Copula多模型条件处理器的水文集合预报方法 | |
| CN112749907A (zh) | 文化生态系统的空间特征分析方法及装置 | |
| CN117910815A (zh) | 一种海绵城市应对雨洪内涝演化韧性的指标体系评估方法 | |
| CN117077420A (zh) | 基于Copula函数的荒漠河岸林生态保护阈值确定方法 | |
| CN102509177B (zh) | 一种基于云平台的局部加权线性回归预测运算的方法 | |
| Liu et al. | Parallel river channel routing computation based on a straightforward domain decomposition of river networks | |
| Yu et al. | A Deep Learning-Based Multi-model Ensemble Method for Hydrological Forecasting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhang Yangming Document name: Notice of Publication of Patent Application for Invention |
|
| DD01 | Delivery of document by public notice |