CN108647900B - 一种应用于水文模拟领域的区域划分方法 - Google Patents
一种应用于水文模拟领域的区域划分方法 Download PDFInfo
- Publication number
- CN108647900B CN108647900B CN201810479541.5A CN201810479541A CN108647900B CN 108647900 B CN108647900 B CN 108647900B CN 201810479541 A CN201810479541 A CN 201810479541A CN 108647900 B CN108647900 B CN 108647900B
- Authority
- CN
- China
- Prior art keywords
- nodes
- region
- node
- grouping
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 16
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种应用于水文模拟领域的区域划分方法,其中,所述方法包括:读取步骤:读入水文拓扑文件,遍历所述水文拓扑文件中从上游至下游各个区域内的所有结点;计算步骤:根据遍历得到的结点信息计算负载均衡因子,并计算初始分组的数目;分组步骤:根据初始分组的数目将各个结点进行初始分组;分配步骤:将初始分组进行优先级的排序,并依次将未被分配的各区域结点的计算任务分配到各计算单元节点,重复执行上述分配任务直到所有区域结点被分配完毕。本发明提供的技术方案按照水文拓扑结构各个结点的优先级进行区域划分,充分发挥了流域拓扑结构上下游特点。
Description
技术领域
本发明涉及水文领域,特别是指一种应用于水文模拟领域的区域划分方法。
背景技术
在大规模水文模拟计算中,由于需要模拟的地理区域数目(记为N)远大于计算单元数目(记计算单元数目为M,则N>M),因此需要基于一些策略将N个区域的计算量分配给M个计算单元。区域划分策略的优劣直接影响到并行效率,进而影响整个模拟系统性能的好坏。
常用的划分依据有负载均衡、通信最小化。就水文模拟领域而言,目前的一些区域划分方法大都属于通用的划分方式,虽然可以实现负载均衡、通信最小化,但是并未考虑大自然水系之间的上下游汇流关系。鉴于水文拓扑结构的特殊性(例如独特的上下游汇流关系、河网拓扑结构的短期不变性),如果将目前的区域划分方法直接应用于水文模拟领域,会使得整个模拟系统的性能大打折扣。
发明内容
本发明要解决的技术问题是如何提高水文模拟系统的性能,提供一种应用于水文模拟领域的区域划分方法。
为解决上述技术问题,本发明的实施例提供一种应用于水文模拟领域的区域划分方法,包括:
读取步骤:读入水文拓扑文件,遍历所述水文拓扑文件中从上游至下游各个区域内的所有结点;
计算步骤:根据遍历得到的结点信息计算负载均衡因子,并计算初始分组的数目;
分组步骤:根据初始分组的数目将各个结点进行初始分组;
分配步骤:将初始分组进行优先级的排序,并依次将未被分配的各区域结点的计算任务分配到各计算单元节点,当把某个区域结点划分给计算节点m[i]时,计算已分配给该计算单元的区域结点的总权值total_m[i],根据total_m[i]的数值判断负载均衡;
重复执行上述分配步骤直到所有区域结点被分配完毕。
优选的,所述水文拓扑文件包括邻接矩阵形式的图文件,所述读取步骤还包括:
记录所述图文件中的顶点信息、边信息以及权值信息。
优选的,所述分组步骤还包括:
从深层次到浅层次遍历所述水文拓扑文件的拓扑结构,将各个结点进行初始分组;
当遍历数目达到m时,将该m个结点划分为一组,并给予组中每个结点相同的组号,所述组号的范围在[0,G]。
优选的,所述分配步骤具体包括:
将所述组号视作各组中结点的优先级,按照优先级由高到低的顺序,依次将未被分配的各区域结点的计算任务分配到各计算单元,同时把该区域结点设为已分配状态,重复执行上述分配任务直到所有区域结点被分配完毕。
本发明的上述技术方案的有益效果如下:
上述方案中,在进行任务划分时,同时考虑负载均衡、通信开销、上下游汇流关系,通过在区域划分策略中引入“流域分组”的概念,并按照水文拓扑结构各个结点的优先级进行区域划分,越靠近上游的区域结点,其优先级越高,在区域划分中也越先被分配给计算单元,充分发挥了流域拓扑结构上下游特点,进而极大的提高了整个模拟系统的性能。
附图说明
图1为本发明的实施例中一种应用于水文模拟领域的区域划分方法流程示意图;
图2为本发明的实施例中河网拓扑结构与任务划分示例图;
图3为本发明的实施例中计算单元示例图以及根据本发明对附图2所示拓扑结构进行划分的结果示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有技术中如何提高水文模拟系统的性能的技术问题,提供一种应用于水文模拟领域的区域划分方法。本发明的方法在进行任务划分时,同时考虑负载均衡、通信开销、上下游汇流关系。本发明通过在区域划分策略中引入“流域分组”的概念,并按照水文拓扑结构各个结点的优先级(例如越靠近上游的区域结点,其优先级越高,在区域划分中也越先被分配给计算单元)进行区域划分,充分发挥了流域拓扑结构上下游特点。
如图1所示,在步骤S1中,读取步骤:读入水文拓扑文件,遍历所述水文拓扑文件中从上游至下游各个区域内的所有结点。
本实施中,所述水文拓扑文件包括邻接矩阵形式的图文件,所述读取步骤还包括:
记录所述图文件中的顶点信息、边信息以及权值信息。
其中,假设顶点数目为n,例如图2中n=11。
在步骤S2中,计算步骤:根据遍历得到的结点信息计算负载均衡因子,并计算初始分组的数目。
在步骤S3中,分组步骤:根据初始分组的数目将各个结点进行初始分组。
本实施中,所述分组步骤还包括:
从深层次到浅层次遍历所述水文拓扑文件的拓扑结构,将各个结点进行初始分组;
当遍历数目达到m时,将该m个结点划分为一组,并给予组中每个结点相同的组号(如图2中的group_id),所述组号的范围在[0,G]。
本实施中,遍历过程遵循叶子节点优先准则和通信最小化准则。
在步骤S4中,分配步骤:将初始分组进行优先级的排序,并依次将未被分配的各区域结点的计算任务分配到各计算单元节点,当把某个区域结点划分给计算节点m[i]时,计算已分配给该计算单元的区域结点的总权值total_m[i],根据total_m[i]的数值判断负载均衡;
重复执行上述步骤任务直到所有区域结点被分配完毕。
本实施中,所述分配步骤具体包括:
将所述组号视作各组中结点的优先级(例如图2中的group_id越小优先级越高),按照优先级由高到低的顺序,依次将未被分配的各区域结点的计算任务分配到各计算单元,同时把该区域结点设为已分配状态,重复执行上述分配任务直到所有区域结点被分配完毕。
其中,当把某个区域结点划分给计算节点m[i]时,计算已分配给该计算单元的区域结点的总权值total_m[i],同时根据total_m[i]的数值判断负载均衡:如total_m[i]>=(1+z)*x,则不再分配结点给该计算节点;否则继续分配。
本发明的上述技术方案的有益效果如下:
上述方案中,在进行任务划分时,同时考虑负载均衡、通信开销、上下游汇流关系,通过在区域划分策略中引入“流域分组”的概念,并按照水文拓扑结构各个结点的优先级进行区域划分,越靠近上游的区域结点,其优先级越高,在区域划分中也越先被分配给计算单元,充分发挥了流域拓扑结构上下游特点,进而极大的提高了整个模拟系统的性能。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种应用于水文模拟领域的区域划分方法,其特征在于,所述方法包括:
读取步骤:读入水文拓扑文件,遍历所述水文拓扑文件中从上游至下游各个区域内的所有结点;
计算步骤:根据遍历得到的结点信息计算负载均衡因子,并计算初始分组的数目;
分组步骤:根据初始分组的数目将各个结点进行初始分组;
分配步骤:将初始分组进行优先级的排序,并依次将未被分配的各区域结点的计算任务分配到各计算单元节点,当把某个区域结点划分给计算节点m[i]时,计算已分配给该计算单元的区域结点的总权值total_m[i],根据total_m[i]的数值判断负载均衡;
所述水文拓扑文件包括邻接矩阵形式的图文件,所述读取步骤还包括:
记录所述图文件中的顶点信息、边信息以及权值信息;
重复执行上述分配步骤直到所有区域结点被分配完毕。
2.如权利要求1所述的应用于水文模拟领域的区域划分方法,其特征在于,所述分组步骤还包括:
从深层次到浅层次遍历所述水文拓扑文件的拓扑结构,将各个结点进行初始分组;
当遍历数目达到m时,将该m个结点划分为一组,并给予组中每个结点相同的组号,所述组号的范围在[0,G]。
3.如权利要求2所述的应用于水文模拟领域的区域划分方法,其特征在于,所述分配步骤具体包括:
将所述组号视作各组中结点的优先级,按照优先级由高到低的顺序,依次将未被分配的各区域结点的计算任务分配到各计算单元,同时把该区域结点设为已分配状态,重复执行上述分配步骤直到所有区域结点被分配完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810479541.5A CN108647900B (zh) | 2018-05-18 | 2018-05-18 | 一种应用于水文模拟领域的区域划分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810479541.5A CN108647900B (zh) | 2018-05-18 | 2018-05-18 | 一种应用于水文模拟领域的区域划分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108647900A CN108647900A (zh) | 2018-10-12 |
CN108647900B true CN108647900B (zh) | 2022-03-11 |
Family
ID=63756816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810479541.5A Active CN108647900B (zh) | 2018-05-18 | 2018-05-18 | 一种应用于水文模拟领域的区域划分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108647900B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109753362B (zh) * | 2019-01-14 | 2020-03-24 | 中国水利水电科学研究院 | 一种分布式水文模型的汇流并行调度方法 |
CN112612784A (zh) * | 2020-11-09 | 2021-04-06 | 中国再保险(集团)股份有限公司 | 河水流域计算单元自动划分方法、装置和计算机设备 |
CN117312608A (zh) * | 2023-08-14 | 2023-12-29 | 河海大学 | 一种基于深度优先搜索的河网节点简并方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092572A (zh) * | 2013-01-11 | 2013-05-08 | 中国科学院地理科学与资源研究所 | 一种集群环境下分布式水文模拟的并行化方法 |
CN103235742A (zh) * | 2013-04-07 | 2013-08-07 | 山东大学 | 多核集群服务器上基于依赖度的并行任务分组调度方法 |
CN103577267A (zh) * | 2012-08-03 | 2014-02-12 | 上海博泰悦臻电子设备制造有限公司 | 车载设备的资源分配方法及装置 |
CN104508654A (zh) * | 2012-07-31 | 2015-04-08 | 华为技术有限公司 | 分组传输优先级信道分配 |
CN105138722A (zh) * | 2015-07-14 | 2015-12-09 | 南京师范大学 | 基于数字河湖网络的平原河网区流域集水单元划分方法 |
CN105488104A (zh) * | 2015-11-19 | 2016-04-13 | 清华大学 | 基于云计算的水文模拟系统 |
CN105528243A (zh) * | 2015-07-02 | 2016-04-27 | 中国科学院计算技术研究所 | 一种利用数据拓扑信息的优先级分组调度方法及系统 |
CN105824936A (zh) * | 2016-03-18 | 2016-08-03 | 河北大学 | 一种基于概念格的信息提取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722909B (zh) * | 2012-05-28 | 2014-07-02 | 武汉大学 | 一种基于自适应尺度dem的流水线拓扑网络动态模拟方法 |
CA2951533C (en) * | 2015-12-10 | 2023-08-08 | Ocean Networks Canada Society | Automated generation of digital elevation models |
US10504045B2 (en) * | 2016-10-27 | 2019-12-10 | Sap Se | Audit schedule determination |
CN106708944B (zh) * | 2016-11-23 | 2019-08-13 | 南京师范大学 | 面向swmm建模与顾及多要素的城市区域子流域自动划分方法 |
CN107944111B (zh) * | 2017-11-16 | 2019-11-29 | 河海大学 | 基于改进图论和水文模拟的河网水系连通度计算方法 |
-
2018
- 2018-05-18 CN CN201810479541.5A patent/CN108647900B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104508654A (zh) * | 2012-07-31 | 2015-04-08 | 华为技术有限公司 | 分组传输优先级信道分配 |
CN103577267A (zh) * | 2012-08-03 | 2014-02-12 | 上海博泰悦臻电子设备制造有限公司 | 车载设备的资源分配方法及装置 |
CN103092572A (zh) * | 2013-01-11 | 2013-05-08 | 中国科学院地理科学与资源研究所 | 一种集群环境下分布式水文模拟的并行化方法 |
CN103235742A (zh) * | 2013-04-07 | 2013-08-07 | 山东大学 | 多核集群服务器上基于依赖度的并行任务分组调度方法 |
CN105528243A (zh) * | 2015-07-02 | 2016-04-27 | 中国科学院计算技术研究所 | 一种利用数据拓扑信息的优先级分组调度方法及系统 |
CN105138722A (zh) * | 2015-07-14 | 2015-12-09 | 南京师范大学 | 基于数字河湖网络的平原河网区流域集水单元划分方法 |
CN105488104A (zh) * | 2015-11-19 | 2016-04-13 | 清华大学 | 基于云计算的水文模拟系统 |
CN105824936A (zh) * | 2016-03-18 | 2016-08-03 | 河北大学 | 一种基于概念格的信息提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108647900A (zh) | 2018-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647900B (zh) | 一种应用于水文模拟领域的区域划分方法 | |
CN104639639B (zh) | 一种虚拟机部署位置的调整方法、装置及系统 | |
Di Nardo et al. | Water distribution system clustering and partitioning based on social network algorithms | |
CN110519090B (zh) | 一种fpga云平台的加速卡分配方法、系统及相关组件 | |
CN104683488A (zh) | 流式计算系统及其调度方法和装置 | |
CN104104621A (zh) | 一种基于非线性降维的虚拟网络资源动态自适应调节方法 | |
CN107450855A (zh) | 一种用于分布式存储的模型可变的数据分布方法及系统 | |
CN107193640B (zh) | 一种基于Rendezvous哈希算法的虚拟机初始放置策略方法 | |
CN113033800A (zh) | 分布式深度学习方法、装置、参数服务器及主工作节点 | |
Plakunov et al. | Data center resource mapping algorithm based on the ant colony optimization | |
Zhou et al. | Cost-aware partitioning for efficient large graph processing in geo-distributed datacenters | |
CN111045827A (zh) | 云雾环境中基于资源共享的时间有效性的任务调度方法 | |
CN101419600A (zh) | 基于面向对象文件系统的数据副本映射方法及装置 | |
CN111030089B (zh) | 一种基于飞蛾扑火优化算法的pss参数优化方法及系统 | |
CN113835823A (zh) | 资源调度方法和装置、电子设备、计算机可读存储介质 | |
Cao et al. | Multiple UAVs hierarchical dynamic task allocation based on PSO-FSA and decentralized auction | |
CN111078380A (zh) | 一种多目标任务调度方法及系统 | |
CN117235950B (zh) | 基于牛顿迭代法的天然气管网稳态仿真方法、介质及设备 | |
CN116796083B (zh) | 一种空间数据划分方法及系统 | |
CN113435940A (zh) | 矢量地理空间数据在线服务多因子运营计价系统 | |
WO2017148296A1 (zh) | 一种应用归属服务集群的分配方法和装置 | |
CN113364058A (zh) | 一种配电网无功控制方法和系统 | |
CN110110158A (zh) | 一种三维网格数据的存储空间划分方法及系统 | |
Wang et al. | An ant colony system based virtual network embedding algorithm | |
CN102625198B (zh) | 光资源智能配置方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |