CN113377514A - 一种针对耦合气候分量模式程序的协同进程调度优化方法 - Google Patents

一种针对耦合气候分量模式程序的协同进程调度优化方法 Download PDF

Info

Publication number
CN113377514A
CN113377514A CN202110672990.3A CN202110672990A CN113377514A CN 113377514 A CN113377514 A CN 113377514A CN 202110672990 A CN202110672990 A CN 202110672990A CN 113377514 A CN113377514 A CN 113377514A
Authority
CN
China
Prior art keywords
component
steps
following
method comprises
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110672990.3A
Other languages
English (en)
Inventor
魏晓辉
李洪亮
徐哲文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110672990.3A priority Critical patent/CN113377514A/zh
Publication of CN113377514A publication Critical patent/CN113377514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种针对耦合气候分量模式程序的协同进程调度优化方法，涉及高性能计算技术领域，所述针对耦合气候分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。本发明，通过在有各分量加速比曲线的前提下，根据曲线的性能峰值从大到小排入分量运行排布中，每一次加入分量进行一次资源分配，减少性能曲线上梯度最小的分量资源，并增加到新加入的分量中，重复多次直至达到全局最优，在短时间内，根据集群特点快速设计出静态调度策略，使程序总体性能提升，从而减少模式程序运行时需要花费的时间，提高了计算效率，降低了集群的硬件需求。

Description

一种针对耦合气候分量模式程序的协同进程调度优化方法
技术领域
本发明涉及高性能计算技术领域，尤其涉及一种针对耦合分量模式程序的协同进程调度优化方法。
背景技术
诸如CESM、CAS-ESM、pccsm4等耦合分量模式实在气候、气象预测领域中最为常用的耦合气候模式，该类程序的计算是多分量计算过程，既可以每个分量单独运行，也可以将各个分量耦合起来，以合理的范式组合使用，由于不同的分量采用不同的计算网格与分辨率同时又需要其他分量的数据辅助计算，因此可以把这类程序的运行是将各个分量独立运行并发送中间结果给耦合器，耦合器将需要交换的数据进行转换再发送到各个分量，此外这些分量模式在自己领域内都可以作为一个独立模式来使用。
目前世界上的全球耦合气候模式程序，大多是借鉴了耦合分量模式的结构或直接以之为基础进行二次开发而来的，由于这种程序计算涉及到复杂的模块调用、模块内并行、模块间并行等并行计算问题，因此对集群的硬件性能要求较高，且由于数据吞吐量大，计算复杂性高，导致模式程序运行十分耗时，计算效率较低。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种针对耦合分量模式程序的协同进程调度优化方法。
为了实现上述目的，本发明采用了如下技术方案：一种针对耦合分量模式程序的协同进程调度优化方法，所述针对耦合分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。
优选的，包括以下步骤：
S1：根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，并按顺序存储到一个队列中；
S2：在S1中将按顺序存储到一个队列后，依照顺序依次分配剩下的资源；
S3：在S2中当某个分量没有足够的资源时，根据此层中非最高已分配分量的加速比曲线梯度削减资源补充给当前待分配分量，削减过程中如果调整后运行时间超过削减前运行总时间，则取消削减，将该分量排入运行条带中的下一层；
S4：在S2中，所有分量全部完成资源分配时，输出调度结果。
优选的，所述步骤S1中，加速比-并行度曲线需要先行手动测量。
优选的，所述步骤S3中，梯度为S1的中的数据计算出每个模块在每个并行度加/减核数导致的运行时间变化，由于存在大量并行度无法运行，梯度取((上一个可用并行度-下一个可用并行度)/间隔核数)。
优选的，所述步骤S3中，若待分配分量需要排入下一层，则将此分量做记号退回队列中，并取之后的分量在这一层分配。
优选的，所述步骤S3中，直到队列中所有分量都不能在此层分配，结束这一层的分配并开启下一层，从步骤S2开始分配资源。
优选的，所述步骤S3中，每次削减资源量为该层剩余可分配核数的百分之一取整且至少为1。
优选的，所述步骤S3中，削减量可以根据总核数动态调整。
优选的，所述步骤S4中，调度结果输出应在程序编译前完成。
与现有技术相比，本发明的优点和积极效果在于，
本发明中，通过在有各分量加速比曲线的前提下，根据曲线的性能峰值从大到小排入分量运行排布中，每一次加入分量进行一次资源分配，减少性能曲线上梯度最小的分量资源，并增加到新加入的分量中，重复多次直至达到全局最优，在短时间内，根据集群特点快速设计出静态调度策略，使程序总体性能提升，从而减少模式程序运行时需要花费的时间，提高了计算效率，降低了集群的硬件需求。
附图说明
图1为本发明提出一种针对耦合分量模式程序的协同进程调度优化方法的流程图；
图2为本发明提出一种针对耦合分量模式程序的协同进程调度优化方法分量分配结果示意图；
图3为本发明提出一种针对耦合分量模式程序的协同进程调度优化方法的不同核数优化结果示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
请参阅图1-3，本发明提供一种针对耦合分量模式程序的协同进程调度优化方法，针对耦合分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。
具体的，包括以下步骤：
S1：根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，并按顺序存储到一个队列中；
S2：在S1中将按顺序存储到一个队列后，依照顺序依次分配剩下的资源；
S3：在S2中当某个分量没有足够的资源时，根据此层中非最高已分配分量的加速比曲线梯度削减资源补充给当前待分配分量，削减过程中如果调整后运行时间超过削减前运行总时间，则取消削减，将该分量排入运行条带中的下一层；
S4：在S2中，所有分量全部完成资源分配时，输出调度结果。
具体的，步骤S1中，加速比-并行度曲线需要先行手动测量。
具体的，步骤S3中，梯度为S1的中的数据计算出每个模块在每个并行度加/减核数导致的运行时间变化，由于存在大量并行度无法运行，梯度取((上一个可用并行度-下一个可用并行度)/间隔核数)。
具体的，步骤S3中，若待分配分量需要排入下一层，则将此分量做记号退回队列中，并取之后的分量在这一层分配。
具体的，步骤S3中，直到队列中所有分量都不能在此层分配，结束这一层的分配并开启下一层，从步骤S2开始分配资源。
具体的，步骤S3中，每次削减资源量为该层剩余可分配核数的百分之一取整且至少为1。
具体的，步骤S3中，削减量可以根据总核数动态调整。
具体的，步骤S4中，调度结果输出应在程序编译前完成。
实施例
硬件集群最高192个核心资源，CESM软件版本1.2.1，算例为ATM, OCN,LND,ICE,ROF和CPL分量，根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，顺序为(ATM-128,OCN-120,LND-72, ICE-64,ROF-64,CPL-18)，第一层先将ATM放入，占据128个资源，尝试放入OCN，资源不足放入下一层，尝试之后的分量，只有ICE分量放入，新一层放入OCN和LND，尝试放入ROF，资源不足，比较ROF和LND 的梯度，此时LND梯度小于ROF，故削减LND的1核资源给ROF，此时仍然不够ROF放入第一层，重复这个操作，直到所有分量均被分配，输出最后的调度结果如图2。
且当总核数不同时，优化效果如图3。
由数据可知本发明在大规模并行度下有着较好的分配效果。
本发明，通过在有各分量加速比曲线的前提下，根据曲线的性能峰值从大到小排入分量运行排布中，每一次加入分量进行一次资源分配，减少性能曲线上梯度最小的分量资源，并增加到新加入的分量中，重复多次直至达到全局最优，在短时间内，根据集群特点快速设计出静态调度策略，使程序总体性能提升，从而减少模式程序运行时需要花费的时间，提高了计算效率，降低了集群的硬件需求。
以上，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述针对耦合气候分量模式程序的协同进程调度优化方法能够根据程序中各个分量在集群中的运行特征，快速设计出不同分量的运行资源分配方案。
2.根据权利要求1所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：包括以下步骤：
S1：根据加速比-并行度曲线的峰值性能所需运行时间从大到小排序，并按顺序存储到一个队列中；
S2：在S1中将按顺序存储到一个队列后，依照顺序依次分配剩下的资源；
S3：在S2中当某个分量没有足够的资源时，根据此层中非最高已分配分量的加速比曲线梯度削减资源补充给当前待分配分量，削减过程中如果调整后运行时间超过削减前运行总时间，则取消削减，将该分量排入运行条带中的下一层；
S4：在S2中，所有分量全部完成资源分配时，输出调度结果。
3.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S1中，加速比-并行度曲线需要先行手动测量。
4.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S3中，梯度为S1的中的数据计算出每个模块在每个并行度加/减核数导致的运行时间变化，由于存在大量并行度无法运行，梯度取((上一个可用并行度-下一个可用并行度)/间隔核数)。
5.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S3中，若待分配分量需要排入下一层，则将此分量做记号退回队列中，并取之后的分量在这一层分配。
6.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S3中，直到队列中所有分量都不能在此层分配，结束这一层的分配并开启下一层，从步骤S2开始分配资源。
7.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S3中，每次削减资源量为该层剩余可分配核数的百分之一取整且至少为1。
8.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S3中，削减量可以根据总核数动态调整。
9.根据权利要求2所述的一种针对耦合气候分量模式程序的协同进程调度优化方法，其特征在于：所述步骤S4中，调度结果输出应在程序编译前完成。
CN202110672990.3A 2021-06-17 2021-06-17 一种针对耦合气候分量模式程序的协同进程调度优化方法 Pending CN113377514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672990.3A CN113377514A (zh) 2021-06-17 2021-06-17 一种针对耦合气候分量模式程序的协同进程调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672990.3A CN113377514A (zh) 2021-06-17 2021-06-17 一种针对耦合气候分量模式程序的协同进程调度优化方法

Publications (1)

Publication Number Publication Date
CN113377514A true CN113377514A (zh) 2021-09-10

Family

ID=77577381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672990.3A Pending CN113377514A (zh) 2021-06-17 2021-06-17 一种针对耦合气候分量模式程序的协同进程调度优化方法

Country Status (1)

Country Link
CN (1) CN113377514A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991830A (zh) * 2015-07-10 2015-10-21 山东大学 基于服务等级协议的yarn资源分配和节能调度方法及系统
CN112084016A (zh) * 2020-07-27 2020-12-15 北京明略软件系统有限公司 一种基于flink的流计算性能优化系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991830A (zh) * 2015-07-10 2015-10-21 山东大学 基于服务等级协议的yarn资源分配和节能调度方法及系统
CN112084016A (zh) * 2020-07-27 2020-12-15 北京明略软件系统有限公司 一种基于flink的流计算性能优化系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOHUI WEI: "Coordinated process scheduling algorithms for coupled earth systems models", WILEY ONLINE LIBRARY *

Similar Documents

Publication Publication Date Title
US20230244537A1 (en) Efficient gpu resource allocation optimization method and system
CN107341041A (zh) 基于优先队列的云任务多维约束回填调度方法
CN108572872B (zh) 一种基于fpga可重构技术的资源管理方法
CN112905317A (zh) 快速可重构信号处理异构平台下任务调度方法和系统
CN113377514A (zh) 一种针对耦合气候分量模式程序的协同进程调度优化方法
CN112181689A (zh) 一种在云端下进行gpu内核程序高效率调度的运行时系统
CN110879753B (zh) 基于自动化集群资源管理的gpu加速性能优化方法和系统
CN108776698A (zh) 一种基于Spark的抗偏斜的数据分片方法
CN114896295B (zh) 大数据场景下的数据脱敏方法、脱敏装置及脱敏系统
CN115718986B (zh) 一种基于分布式内存架构的多核并行时域仿真方法
CN110446043A (zh) 一种基于多核平台的hevc细粒度并行编码方法
Swarnakar et al. A novel improved hybrid model for load balancing in cloud environment
Lin et al. A workload-driven approach to dynamic data balancing in MongoDB
CN114692079A (zh) 一种gpu批量矩阵乘法加速器及其处理方法
Go et al. Selective Preemption of Distributed Deep Learning Training
CN105391872B (zh) 基于重构技术实现多应用网络请求能耗优化的方法
CN115543587B (zh) 一种使用寿命驱动的OpenCL应用调度方法及系统
CN111563579B (zh) 基于数据流的cnn加速方法、装置、设备及存储介质
KR102630955B1 (ko) 사용자 경험을 기반으로 big.LITTLE 멀티코어 구조의 스마트 모바일 단말의 에너지 소비 최적화 장치 및 그 방법
CN116910157B (zh) 一种基于双层拓扑调度的异构系统数据同步方法及系统
CN115718653B (zh) 用于仿真平台的数据调用优化方法及系统
CN117331657A (zh) 一种基于动态编译和调度的数据中心多请求服务系统
CN117851046A (zh) 一种基于多核神经网络处理器的算法加速方法
Kim et al. QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
CN114911600A (zh) 针对大规模分布式机器学习的动态调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wei Xiaohui

Inventor after: Xu Zhewen

Inventor after: Li Hongliang

Inventor before: Wei Xiaohui

Inventor before: Li Hongliang

Inventor before: Xu Zhewen

CB03 Change of inventor or designer information