CN113377513A - 一种针对全球耦合气候模式的进程调度优化方法 - Google Patents
一种针对全球耦合气候模式的进程调度优化方法 Download PDFInfo
- Publication number
- CN113377513A CN113377513A CN202110672643.0A CN202110672643A CN113377513A CN 113377513 A CN113377513 A CN 113377513A CN 202110672643 A CN202110672643 A CN 202110672643A CN 113377513 A CN113377513 A CN 113377513A
- Authority
- CN
- China
- Prior art keywords
- component
- climate mode
- components
- global
- coupled climate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008569 process Effects 0.000 title claims abstract description 31
- 238000005457 optimization Methods 0.000 title claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种针对全球耦合气候模式的进程调度优化方法，涉及高性能计算技术领域，所述针对全球耦合气候模式的进程调度优化方法包括分量性能加速比曲线拟合过程、耦合气候模式分量性能曲线拟合和进程调度优化，根据耦合气候模式中各个分量在集群中的运行特征。本发明包含更加精确的分量加速比拟合过程与基于该类程序特性的调度算法，其中调度算法通过使用最优并行度提升关键物理分量的性能从而达到总体性能最优，同时本发明实现了耦合气候模式最优化解的快速搜索，克服了高性能计算中进程调度空间庞大，计算时间缓慢的问题，为资源消耗很大的耦合气候模式程序的性能优化提供了一个可简单实现的解决方案。
Description
技术领域
本发明涉及高性能计算技术领域，尤其涉及一种针对全球耦合气候模式的进程调度优化方法。
背景技术
耦合气候模式是气象学家用于模拟与预测全球气候的重要科学计算程序。诸如CESM、ECC、CAS-EM都是在气候、气象预测领域最为常用的耦合气候模式，在美国，欧洲和中国等地被广泛使用。该类程序的各个分量组件都是独立的模块，可以单独使用，也可以开启耦合模式进行更加真实动态的模拟。该类气候模式通常包含大气ATM模块，海洋OCN模块，陆地LND模块，海冰ICE模块，洋流WAV模块以及河流ROF模块。
但是目前世界上全球耦合气候模式都非常消耗时间，在超算上运行一个模拟年需要7小时以上，而实际科研中所需的模拟时间长达一百年甚至更久，因此，提高耦合气候模式程序的性能成为亟待解决的问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种针对全球耦合气候模式的进程调度优化方法。
为了实现上述目的，本发明采用了如下技术方案：一种针对全球耦合气候模式的进程调度优化方法，所述针对全球耦合气候模式的进程调度优化方法包括分量性能加速比曲线拟合过程、耦合气候模式分量性能曲线拟合和进程调度优化，根据耦合气候模式中各个分量在集群中的运行特征，快速设计出不同物理场分量的运行资源分配方案。
进一步的，在拟合加速比曲线的过程中多次采样并不断使用历史订正方法提高拟合精确度。
进一步的，根据CPL的内部通信顺序以及OCN与其他模块并行时有专门优化的代码，将OCN与另外几个模块分开考虑，并定义某个模块运行时间最短的并行度为最优并行度，分配核数的时候采用分层设计。
进一步的，针对全球耦合气候模式的进程调度优化方法包括如下步骤：
S1：多次测试各分量的运行时间，并依据多组测试进行订正，计算加速比曲线；
S2：除海洋OCN分量外，其他分量根据加速比曲线的最优性能所需运行时间从大到小排序；
S3：随后再创建一个新的分量排布层，并依照顺序分配将最优并行度的分量放入；
S4：在当某个分量没有足够的资源时，按从高到低的顺序尝试将待分配资源分量放入除最高的外其余的已分配分量上方的“亚层”并使总体高度不发生改变，若仍然无法放置，则放入下一层；
S5：重复上述操作，直到放入所有分量，剩余资源给海洋OCN，若没有剩余资源，则将上述整体减1并行度给海洋，再与海洋OCN分量对比高度，调整至二者高度近似相等，输出调度结果。
进一步的，在S1中，加速比曲线的订正先去除正态分布(μ-σ，μ+σ)以外范围的噪声数据，再对剩下的数据取平均值。
进一步的，在S1中，加速比曲线的测试应该对每个分量进行5次测量。
进一步的，在S4中的放置过程中，放置后的分量上方形成的平台都可以看做可以放的“亚层”。
进一步的，在S5中，二者高度差在绝对值最小时认为近似相等，输出应在程序编译前完成。
相比于现有技术，本发明包含更加精确的分量加速比拟合过程与基于该类程序特性的调度算法，其中调度算法通过使用最优并行度提升关键物理分量的性能从而达到总体性能最优，同时本发明实现了耦合气候模式最优化解的快速搜索，克服了高性能计算中进程调度空间庞大，计算时间缓慢的问题，为资源消耗很大的耦合气候模式程序的性能优化提供了一个可简单实现的解决方案。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出一种针对全球耦合气候模式的进程调度优化方法的流程图；
图2为本发明提出一种针对全球耦合气候模式的进程调度优化方法的优化效果提升图；
图3为本发明提出一种针对全球耦合气候模式的进程调度优化方法的分配图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，参阅图1-2，该针对全球耦合气候模式的进程调度优化方法包括分量性能加速比曲线拟合过程、耦合气候模式分量性能曲线拟合和进程调度优化，根据耦合气候模式中各个分量在集群中的运行特征，快速设计出不同物理场分量的运行资源分配方案。
优选的，在拟合加速比曲线的过程中多次采样并不断使用历史订正方法提高拟合精确度。
优选的，根据CPL的内部通信顺序以及OCN与其他模块并行时有专门优化的代码，将OCN与另外几个模块分开考虑，并定义某个模块运行时间最短的并行度为最优并行度，分配核数的时候采用分层设计。
优选的，针对全球耦合气候模式的进程调度优化方法包括如下步骤：
S1：多次测试各分量的运行时间，并依据多组测试进行订正，计算加速比曲线；
S2：除海洋OCN分量外，其他分量根据加速比曲线的最优性能所需运行时间从大到小排序；
S3：随后再创建一个新的分量排布层，并依照顺序分配将最优并行度的分量放入；
S4：在当某个分量没有足够的资源时，按从高到低的顺序尝试将待分配资源分量放入除最高的外其余的已分配分量上方的“亚层”并使总体高度不发生改变，若仍然无法放置，则放入下一层；
S5：重复上述操作，直到放入所有分量，剩余资源给海洋OCN，若没有剩余资源，则将上述整体减1并行度给海洋，再与海洋OCN分量对比高度，调整至二者高度近似相等，输出调度结果。
优选的，在S1中，加速比曲线的订正先去除正态分布(μ-σ，μ+σ)以外范围的噪声数据，再对剩下的数据取平均值。
优选的，在S1中，加速比曲线的测试应该对每个分量进行5次测量。
优选的，在S4中的放置过程中，放置后的分量上方形成的平台都可以看做可以放的“亚层”。
优选的，在S5中，二者高度差在绝对值最小时认为近似相等，输出应在程序编译前完成。
实施例二，参阅图3，
硬件集群最高768个核心资源，CESM软件版本1.2.1，算例为仅算ATM，OCN，ICE和CPL分量，
步骤1：根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，顺序为(ATM-640，ICE-480，LND-72，ROF-64，CPL-128)；
步骤2：第一层先将ATM放入，占据640个资源；
步骤3：尝试放入ICE，资源不足放入下一层，同理尝试之后的分量，使ATM与LND形成第一层；
步骤4：在新一层放入ICE和CPL，再尝试放入ROF；
步骤5：剩余1并行度放入海洋OCN分量，并与之前的整体进行高度对比，每次并行度变化都重复步骤2和3，并输出最后的分配。
从上述实施例可以看出，本发明包含更加精确的分量加速比拟合过程与基于该类程序特性的调度算法，其中调度算法通过使用最优并行度提升关键物理分量的性能从而达到总体性能最优，同时本发明实现了耦合气候模式最优化解的快速搜索，克服了高性能计算中进程调度空间庞大，计算时间缓慢的问题，为资源消耗很大的耦合气候模式程序的性能优化提供了一个可简单实现的解决方案。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种针对全球耦合气候模式的进程调度优化方法，其特征在于，所述针对全球耦合气候模式的进程调度优化方法包括分量性能加速比曲线拟合过程、耦合气候模式分量性能曲线拟合和进程调度优化，根据耦合气候模式中各个分量在集群中的运行特征，快速设计出不同物理场分量的运行资源分配方案。
2.根据权利要求1所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：在拟合加速比曲线的过程中多次采样并不断使用历史订正方法提高拟合精确度。
3.根据权利要求1所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：根据CPL的内部通信顺序以及OCN与其他模块并行时有专门优化的代码，将OCN与另外几个模块分开考虑，并定义某个模块运行时间最短的并行度为最优并行度，分配核数的时候采用分层设计。
4.根据权利要求1所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于，包括如下步骤：
S1：多次测试各分量的运行时间，并依据多组测试进行订正，计算加速比曲线；
S2：除海洋OCN分量外，其他分量根据加速比曲线的最优性能所需运行时间从大到小排序；
S3：随后再创建一个新的分量排布层，并依照顺序分配将最优并行度的分量放入；
S4：在当某个分量没有足够的资源时，按从高到低的顺序尝试将待分配资源分量放入除最高的外其余的已分配分量上方的“亚层”并使总体高度不发生改变，若仍然无法放置，则放入下一层；
S5：重复上述操作，直到放入所有分量，剩余资源给海洋OCN，若没有剩余资源，则将上述整体减1并行度给海洋，再与海洋OCN分量对比高度，调整至二者高度近似相等，输出调度结果。
5.根据权利要求4所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：在S1中，加速比曲线的订正先去除正态分布(μ-σ，μ+σ)以外范围的噪声数据，再对剩下的数据取平均值。
6.根据权利要求4所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：在S1中，加速比曲线的测试应该对每个分量进行5次测量。
7.根据权利要求4所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：在S4中的放置过程中，放置后的分量上方形成的平台都可以看做可以放的“亚层”。
8.根据权利要求4所述的一种针对全球耦合气候模式的进程调度优化方法，其特征在于：在S5中，二者高度差在绝对值最小时认为近似相等，输出应在程序编译前完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110672643.0A CN113377513B (zh) | 2021-06-17 | 2021-06-17 | 一种针对全球耦合气候模式的进程调度优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110672643.0A CN113377513B (zh) | 2021-06-17 | 2021-06-17 | 一种针对全球耦合气候模式的进程调度优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113377513A true CN113377513A (zh) | 2021-09-10 |
| CN113377513B CN113377513B (zh) | 2024-04-05 |
Family
ID=77577452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110672643.0A Active CN113377513B (zh) | 2021-06-17 | 2021-06-17 | 一种针对全球耦合气候模式的进程调度优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113377513B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
| CN109426886A (zh) * | 2017-08-29 | 2019-03-05 | 北京思湃德信息技术有限公司 | 一种气候预测系统 |
| CN110209353A (zh) * | 2019-05-17 | 2019-09-06 | 青岛海洋科学与技术国家实验室发展中心 | 区域耦合预报系统中roms模式的i/o并行加速方法、装置及介质 |
| CN112036617A (zh) * | 2020-08-17 | 2020-12-04 | 国电大渡河流域水电开发有限公司 | 一种动力-统计客观定量气候预测方法与系统 |
-
2021
- 2021-06-17 CN CN202110672643.0A patent/CN113377513B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
| CN109426886A (zh) * | 2017-08-29 | 2019-03-05 | 北京思湃德信息技术有限公司 | 一种气候预测系统 |
| CN110209353A (zh) * | 2019-05-17 | 2019-09-06 | 青岛海洋科学与技术国家实验室发展中心 | 区域耦合预报系统中roms模式的i/o并行加速方法、装置及介质 |
| CN112036617A (zh) * | 2020-08-17 | 2020-12-04 | 国电大渡河流域水电开发有限公司 | 一种动力-统计客观定量气候预测方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| XIAOHUI WEI: "Coordinated process scheduling algorithms for coupled earth systems models", WILEY ONLINE LIBRARY * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113377513B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115374995A (zh) | 一种分布式光伏、小风电场站功率预测方法 | |
| CN109344967A (zh) | 一种基于人工神经网络的智能电表生命周期预测方法 | |
| CN109656712B (zh) | 一种提取grib码数据的方法及系统 | |
| CN113377513A (zh) | 一种针对全球耦合气候模式的进程调度优化方法 | |
| CN103218516A (zh) | 一种聚类再回归的机场噪声单步预测方法 | |
| CN112052996A (zh) | 基于卷积神经网络技术的小水电集群功率预测方法 | |
| CN112307672A (zh) | 基于布谷鸟算法优化的bp神经网络短期风功率预测方法 | |
| CN115640903A (zh) | 考虑小波分解和多目标优化的光伏发电预测方法及系统 | |
| CN110782024A (zh) | 基于卷积神经网络的光热电场太阳直接法向辐射预测方法 | |
| CN111488496B (zh) | 一种基于滑动窗口的Tango树构建方法及系统 | |
| CN115915237A (zh) | 基站设备的节能量测算方法、装置及计算设备 | |
| CN103793339B (zh) | 基于内存访问堆栈距离的数据Cache性能探索方法 | |
| CN113870955A (zh) | 一种用于自然环境下橡胶性能后固化效应的预测模型建立方法 | |
| Tang et al. | A cross-entropy-based control variate method for power system reliability assessment | |
| CN116663465B (zh) | 基于深度学习的考虑mis效应的单元统计延时模型构建方法 | |
| CN117275634B (zh) | 一种基于机器学习的钙钛矿太阳能电池设计方法及装置 | |
| CN113408770B (zh) | 基于深度学习的装备维修时机预测方法 | |
| CN116738641B (zh) | 一种用于污水河网的活水循环方法及系统 | |
| CN116822566A (zh) | 一种短期光伏发电功率预测方法 | |
| CN117932882A (zh) | 基于最大值熵衰减搜索准则的变可信度序贯试验设计方法 | |
| Lai et al. | Mixed-precision Methods to Reconstruct Numerical Ocean Simulations | |
| CN117613883A (zh) | 发电功率预测方法、装置、计算机设备及存储介质 | |
| CN114943131A (zh) | Grapes_geps全球集合预报方法及系统 | |
| CN117937455A (zh) | 基于因果正则化极限学习机的风电功率短期预测方法 | |
| Li et al. | Research on Electricity Load Forecasting Based on LSTM Networks and BP Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |