CN113239522B - 一种基于计算机集群的大气污染物扩散模拟方法 - Google Patents

一种基于计算机集群的大气污染物扩散模拟方法 Download PDF

Info

Publication number
CN113239522B
CN113239522B CN202110425648.3A CN202110425648A CN113239522B CN 113239522 B CN113239522 B CN 113239522B CN 202110425648 A CN202110425648 A CN 202110425648A CN 113239522 B CN113239522 B CN 113239522B
Authority
CN
China
Prior art keywords
calculation
node
computing
nodes
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110425648.3A
Other languages
English (en)
Other versions
CN113239522A (zh
Inventor
石光明
杨复沫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110425648.3A priority Critical patent/CN113239522B/zh
Publication of CN113239522A publication Critical patent/CN113239522A/zh
Application granted granted Critical
Publication of CN113239522B publication Critical patent/CN113239522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于计算机集群的大气污染物扩散模拟方法，根据一定的规则将一个大的计算问题分解成许多小的子问题,将这些子问题分配调度到高性能计算平台的不同节点上进行计算，通过将大的问题分解成小问题进行并行计算，可以大大缩短问题的处理时间。本发明方法能够在大型计算机集群运算平台上，实现大气污染物扩散模型的跨节点多线程并行计算，提升计算效率，本发明方法能在不对模型进行源码更改的条件下，实现了计算机集群平台上的跨节点并行计算，与单线程计算和单机多核并行计算相比，进一步提升计算效率。

Description

一种基于计算机集群的大气污染物扩散模拟方法
技术领域
本发明涉及大气环境技术领域，具体涉及一种基于计算机集群的大气污染物扩散模拟方法。
背景技术
大气污染物扩散模拟是大气环境研究和空气质量管理中广泛使用的手段，常用的大气扩散模型包括HYSPLIT、CALPUFF、AERMOD等。大气扩散模型通过建立描述污染物在大气中迁移转化规律的方程，实现对污染物在大气中输送、扩散和转化过程的预测。通过大气扩散模型，可以在已知气象参数场的前提下，计算出特定排放源所造成的大气污染物空间分布特征。
当前，随着城市与区域环境管理的深化和计算机技术的普及，复杂的大气扩散模式多被移植到PC桌面环境中运行，这些模式已经成为支持环境空气质量评价、大气环境容量核定、优化污染源的布局、空气质量预报等业务工作的基本工具。为了满足环境管理要求，扩散模式不断向大型化和复杂化发展，从经典的高斯点源扩散模式向其变形模式、统计模式、相似模式、K模式甚至多模式组合模拟的方向发展。当考虑的影响因素众多、污染源数量较多、模拟的时间周期延长、模拟的空间网格更加精细时，在PC环境中运行模式需要花费很长的计算机时间，单机性能上的缺陷已经难以胜任在短时间内计算环境空气质量这一任务。例如对即使在公里网格(1km×1km)上对103数量级的工业污染点源使用最简单的高斯型的评价模式进行模拟分析,也需要花费数小时的时间才能完成一次模拟分析，这还不包括在更细的网格上对更加复杂的污染源如线源、体源等进行模拟分析。此外，在污染扩散过程的分析中，还经常需要进行交互式的计算模拟，这就对计算的实时性提出了更高的要求。为了解决PC计算效率和环境管理业务对于计算模拟实时性要求之间的矛盾，我们将研究的着眼点转向高性能体系下的并行计算，并行计算是解决复杂问题的主要方法之一。
常用的大气扩散模型包括HYSPLIT、CALPUFF、AERMOD等，此类扩散模型基于单线程串行计算逻辑而设计，在个人电脑或工作站等简单的平台上均可运行，具有简洁明了的优势。这样的运行模式在解决较少排放源和较短运行时长的案例中计算效率尚可接收，但是，当需要考虑的排放源增多、需要模拟的时长增加时，单线程运行的计算机时将大幅上升。另一方面，在当前环境管理应用中，对污染物扩散模拟的时效性要求越来越高。因此，急需对此类广泛使用的扩散模型进行并行化运算改进，提高运算效率。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于计算机集群的大气污染物扩散模拟方法，根据一定的规则将一个大的计算问题分解成许多小的子问题,将这些子问题分配调度到高性能计算平台的不同节点上进行计算，通过将大的问题分解成小问题进行并行计算，可以大大缩短问题的处理时间，解决了上述背景技术中提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于计算机集群的大气污染物扩散模拟方法，包括如下步骤：
一、从计算机集群中分配供计算使用的节点，确定其中一台节点为管理节点，一台节点为计算请求端，其他节点为并行计算节点，并行计算节点与管理节点建立连接形成计算节点序列；
二、登陆管理节点，编辑配置文件，设置控制参数；
三、对所有进程进行命名，包含节点名和进程编号两个信息，建立进程管理文件，记录空闲进程的名称；
四、计算请求端向管理节点发起计算请求，当请求获得通过之后，计算请求端向管理节点发送与计算相关的参数和数据文件；
五、当管理节点接收到发送过来的参数和数据文件，管理节点将需要计算的单线程任务提交到进程管理文件中的第一个进程名称所对应的计算节点，并删除进程管理文件中的第一个进程名称，然后向对应的各计算节点发送相应的参数和数据文件；
六、各计算节点收到数据后开始计算，计算完成后将结果文件发送给管理节点，管理节点默认为单线程任务完成，同时，管理节点将该任务对应的进程名称追加到进程管理文件中；
七、管理节点接收各并行计算节点发送过来的结果文件，并把结果文件发送给计算请求端；
八、当计算请求端接收完所有的结果文件后，整个并行计算结束。
优选的，在步骤二中，所述编辑配置文件和设置控制参数，主要包括：计算节点个数、每个计算节点的名称、每个计算节点最大并行进程数。
优选的，所述的步骤三中进程的初始状态时，进程管理文件中包含配置文件中设置的所有进程。
优选的，所述对需要计算的所有单线程任务进行循环，每次循环完成步骤五和步骤六。
优选的，所述步骤六中的结果文件包括大气污染各空间点的位置数据以及污染浓度数据。
优选的，所述的并行计算节点主要负责对分配的任务进行计算。
优选的，所述计算请求端能基于并行计算节点计算出的结果文件生成扩散模型的参数。
本发明的有益效果是：本发明方法能够在大型计算机集群运算平台上，实现大气污染物扩散模型的跨节点多线程并行计算，提升计算效率，本发明方法能在不对模型源码进行更改的条件下，实现了计算机集群平台上的跨节点并行计算，与单线程计算和单机多核并行计算相比，进一步提升计算效率。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于计算机集群的大气污染物扩散模拟方法，包括如下步骤：
(1)从计算机集群中分配供计算使用的节点，确定其中一台节点为管理节点，一台节点为计算请求端，其他节点为并行计算节点，并行计算节点与管理节点建立连接形成计算节点序列。
(2)登陆管理节点，编辑配置文件，设置控制参数；所述编辑配置文件和设置控制参数，主要包括：计算节点个数、每个计算节点的名称、每个计算节点最大并行进程数。
(3)对所有进程进行命名，包含节点名和进程编号两个信息，建立进程管理文件，记录空闲进程的名称；初始状态时，进程管理文件中包含配置文件中设置的所有进程。
(4)计算请求端向管理节点发起计算请求，当请求获得通过之后，计算请求端向管理节点发送与计算相关的参数和数据文件；
(5)当管理节点接收到发送过来的参数和数据文件，管理节点将需要计算的单线程任务提交到进程管理文件中的第一个进程名称所对应的计算节点，并删除进程管理文件中的第一个进程名称，然后向对应的各计算节点发送相应的参数和数据文件；
(6)各计算节点收到数据后开始计算，计算完成后将结果文件发送给管理节点，管理节点默认为单线程任务完成，同时，管理节点将该任务对应的进程名称追加到进程管理文件中；结果文件包括大气污染各空间点的位置数据以及污染浓度数据。
(7)管理节点接收各并行计算节点发送过来的结果文件，并把结果文件发送给计算请求端；
(8)当计算请求端接收完所有的结果文件后，整个并行计算结束。
对需要计算的所有单线程任务进行循环，每次循环完成步骤(5)和步骤(6)。
进一步的，并行计算节点主要负责对分配的任务进行计算。
进一步的，计算请求端能基于并行计算节点计算出的结果文件生成扩散模型的参数。
单个节点与多个并行结算节点的计算性能比较，如下表所示
节点数目 计算时间(秒) 加速比 并行计算效率(％)
1 3296 1 1
2 1701 1.93 97.1
4 899 3.56 92.1
8 432 7.35 86.6
16 210 14.02 81.7
从表中的测试数据可以看出，当使用8个节点进行处理时，计算已经可以在10分钟内完成了，已经能够满足环境管理业务对计算模拟的实时性要求，测试结果同时表明，随着节点数目增多，并行效率逐渐降低，但求解问题的规模一定，即使效率降低也比单线程计算或单机多核并行计算的效率高得多。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于计算机集群的大气污染物扩散模拟方法，其特征在于：包括如下步骤：
一、从计算机集群中分配供计算使用的节点，确定其中一台节点为管理节点，一台节点为计算请求端，其他节点为并行计算节点，并行计算节点与管理节点建立连接形成计算节点序列；
二、登陆管理节点，编辑配置文件，设置控制参数；
三、对所有进程进行命名，包含节点名和进程编号两个信息，建立进程管理文件，记录空闲进程的名称；
四、计算请求端向管理节点发起计算请求，当请求获得通过之后，计算请求端向管理节点发送与计算相关的参数和数据文件；
五、当管理节点接收到发送过来的参数和数据文件，管理节点将需要计算的单线程任务提交到进程管理文件中的第一个进程名称所对应的计算节点，并删除进程管理文件中的第一个进程名称，然后向对应的各计算节点发送相应的参数和数据文件；
六、各计算节点收到数据后开始计算，计算完成后将结果文件发送给管理节点，管理节点默认为单线程任务完成，同时，管理节点将该任务对应的进程名称追加到进程管理文件中；
七、管理节点接收各并行计算节点发送过来的结果文件，并把结果文件发送给计算请求端；
八、当计算请求端接收完所有的结果文件后，整个并行计算结束。
2.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：在步骤二中，所述编辑配置文件和设置控制参数，主要包括：计算节点个数、每个计算节点的名称、每个计算节点最大并行进程数。
3.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：所述的步骤三中进程的初始状态时，进程管理文件中包含配置文件中设置的所有进程。
4.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：所述对需要计算的所有单线程任务进行循环，每次循环完成步骤五和步骤六。
5.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：所述步骤六中的结果文件包括大气污染各空间点的位置数据以及污染浓度数据。
6.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：所述的并行计算节点主要负责对分配的任务进行计算。
7.根据权利要求1所述的基于计算机集群的大气污染物扩散模拟方法，其特征在于：所述计算请求端能基于并行计算节点计算出的结果文件生成扩散模型的参数。
CN202110425648.3A 2021-04-20 2021-04-20 一种基于计算机集群的大气污染物扩散模拟方法 Active CN113239522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110425648.3A CN113239522B (zh) 2021-04-20 2021-04-20 一种基于计算机集群的大气污染物扩散模拟方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110425648.3A CN113239522B (zh) 2021-04-20 2021-04-20 一种基于计算机集群的大气污染物扩散模拟方法

Publications (2)

Publication Number Publication Date
CN113239522A CN113239522A (zh) 2021-08-10
CN113239522B true CN113239522B (zh) 2022-06-28

Family

ID=77128663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110425648.3A Active CN113239522B (zh) 2021-04-20 2021-04-20 一种基于计算机集群的大气污染物扩散模拟方法

Country Status (1)

Country Link
CN (1) CN113239522B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324780A (zh) * 2012-12-20 2013-09-25 中国科学院近代物理研究所 颗粒流动仿真系统和方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN106646593A (zh) * 2016-08-30 2017-05-10 国家超级计算天津中心 一种跨节点并行的三维起伏地表声波正演模拟方法
CN108090031A (zh) * 2017-12-25 2018-05-29 航天恒星科技有限公司 二氧化碳浓度反演优化方法及系统
CN109509100A (zh) * 2018-10-22 2019-03-22 广东工业大学 一种基于集群的风险价值Monte Carlo并行计算框架设计方法
CN109815002A (zh) * 2017-11-21 2019-05-28 中国电力科学研究院有限公司 一种基于在线仿真的分布式并行计算平台及其方法
CN110825744A (zh) * 2019-10-31 2020-02-21 武汉工程大学 一种基于集群环境的空气质量监测大数据分区存储方法
CN110827926A (zh) * 2019-10-09 2020-02-21 重庆特斯联智慧科技股份有限公司 一种基于边缘计算的水体污染物分析处理方法和系统
CN111695245A (zh) * 2020-05-20 2020-09-22 北京科技大学 一种材料辐照损伤空间分辨随机团簇动力学并行模拟方法
CN112068942A (zh) * 2020-09-07 2020-12-11 北京航空航天大学 一种基于单节点模拟的大规模并行系统模拟方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332840B1 (ko) * 2012-01-05 2013-11-27 서울대학교산학협력단 병렬 컴퓨팅 프레임워크 기반의 클러스터 시스템, 호스트 노드, 계산 노드 및 어플리케이션 실행 방법
GB201315435D0 (en) * 2013-08-30 2013-10-16 Ibm Cache management in a computerized system
US10360050B2 (en) * 2014-01-17 2019-07-23 International Business Machines Corporation Simulation of high performance computing (HPC) application environment using virtual nodes

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324780A (zh) * 2012-12-20 2013-09-25 中国科学院近代物理研究所 颗粒流动仿真系统和方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN106646593A (zh) * 2016-08-30 2017-05-10 国家超级计算天津中心 一种跨节点并行的三维起伏地表声波正演模拟方法
CN109815002A (zh) * 2017-11-21 2019-05-28 中国电力科学研究院有限公司 一种基于在线仿真的分布式并行计算平台及其方法
CN108090031A (zh) * 2017-12-25 2018-05-29 航天恒星科技有限公司 二氧化碳浓度反演优化方法及系统
CN109509100A (zh) * 2018-10-22 2019-03-22 广东工业大学 一种基于集群的风险价值Monte Carlo并行计算框架设计方法
CN110827926A (zh) * 2019-10-09 2020-02-21 重庆特斯联智慧科技股份有限公司 一种基于边缘计算的水体污染物分析处理方法和系统
CN110825744A (zh) * 2019-10-31 2020-02-21 武汉工程大学 一种基于集群环境的空气质量监测大数据分区存储方法
CN111695245A (zh) * 2020-05-20 2020-09-22 北京科技大学 一种材料辐照损伤空间分辨随机团簇动力学并行模拟方法
CN112068942A (zh) * 2020-09-07 2020-12-11 北京航空航天大学 一种基于单节点模拟的大规模并行系统模拟方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Characteristics of PM2.5 spatial distribution and influencing meteorological conditions in Sichuan Basin,southwestern China;Yuelin Liu等;《Atmospheric Environment》;20210327;第235卷(第2021期);第1-10页 *
基于多Agent的云服务中间件的研究与应用;陆雄斌等;《微型机与应用》;20131025;第32卷(第20期);第87-90页 *
基于扩散模拟的四川盆地大气污染物排放源估算;杜欣欣等;《第二十五届大气污染防治技术研讨会论文集中国环境科学学会会议论文集》;20210410;第450页 *

Also Published As

Publication number Publication date
CN113239522A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Peng et al. Assignment and scheduling communicating periodic tasks in distributed real-time systems
CN1869965A (zh) 经由神经网络选择网格执行器的方法和设备
CN115169810A (zh) 一种面向电网调控的人工智能系统构建方法及装置
CN105550825B (zh) 云计算环境下的基于MapReduce并行化的柔性工厂作业调度方法
Hani et al. Simulation based optimization of a train maintenance facility
CN113239522B (zh) 一种基于计算机集群的大气污染物扩散模拟方法
CN112948353B (zh) 一种应用于DAstudio的数据分析方法、系统及存储介质
Hu et al. Differential evolution algorithm combined with uncertainty handling techniques for stochastic reentrant job shop scheduling problem
Kitzmann et al. A simple algorithm for automatic layout of bpmn processes
CN112214602A (zh) 基于幽默度的文本分类方法、装置、电子设备及存储介质
CN106843822B (zh) 一种执行代码生成方法及设备
Ponnambalam et al. Estimation of optimum genetic control parameters for job shop scheduling
Wu et al. Shuttle-based operating policies for multiple-lift compact automated parking systems based on queuing networks
Hani et al. Simulation based optimization of a train maintenance facility model using genetic algorithms
CN115439015A (zh) 基于数据中台的局域电网数据管理方法、装置及设备
Hengki et al. The Digital Platform Promotion Strategy To Support UMKM In Bangka Belitung Province
CN115033616A (zh) 一种基于多轮采样的数据筛查规则验证方法及其装置
Rouhi et al. CSO-GA: a new scheduling technique for cloud computing systems based on cat swarm optimization and genetic algorithm
Arunkumar et al. Discrete event simulation for increasing productivity in digital manufacturing
CN113191733A (zh) 一种基于互联网的项目多方协同管理系统及方法
Gutenschwager et al. Speeding up simulation-based optimization of supply networks by means of a multi-population genetic algorithm and reuse of partial solutions
CN104090895A (zh) 获取基数的方法、装置、服务器及系统
Jingfang et al. The way of solving traveling salesman problem the research on scheduling in AS/RS
CN111414570A (zh) 一种基于云服务的平板在线学习适应性学习系统及方法
Watanabe et al. NK model-based analysis of technological trajectories: a study on the technological field of computer graphic processing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant