CN113032145B - 基于国产化多numa节点cpu结温均衡策略的任务调度方法 - Google Patents

基于国产化多numa节点cpu结温均衡策略的任务调度方法 Download PDF

Info

Publication number
CN113032145B
CN113032145B CN202110292192.8A CN202110292192A CN113032145B CN 113032145 B CN113032145 B CN 113032145B CN 202110292192 A CN202110292192 A CN 202110292192A CN 113032145 B CN113032145 B CN 113032145B
Authority
CN
China
Prior art keywords
junction temperature
numa
numa node
cpu
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110292192.8A
Other languages
English (en)
Other versions
CN113032145A (zh
Inventor
郭申
谭智敏
赵博颖
段心明
刘更
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN202110292192.8A priority Critical patent/CN113032145B/zh
Publication of CN113032145A publication Critical patent/CN113032145A/zh
Application granted granted Critical
Publication of CN113032145B publication Critical patent/CN113032145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Abstract

本发明涉及一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，属于操作系统任务调度技术领域。本发明提出一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，当NUMA接电脑结温超过阈值时，将高负载计算任务调度至结温较低的核心，保证CPU的稳定运行。该任务调度方法能有效降低CPU最高工作结温，且对计算负载任务性能损失小，避免CPU长时间超结温阈值工作，提升CPU工作的稳定性。

Description

基于国产化多NUMA节点CPU结温均衡策略的任务调度方法
技术领域
本发明属于操作系统任务调度技术领域，具体涉及一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法。
背景技术
随着信息产业的蓬勃发展，数据的产生以近乎几何级数的速度高速增长，对计算能力提出了巨大需求。但受限于半导体摩尔定律，单CPU核心的主频和计算能力不会有跨越式提升。近年来，在服务器等计算密集型领域，CPU经历了单核、多核到多NUMA节点的发展历程。目前，高性能计算服务器具有数十个NUMA节点，数百个计算核心。
在航空航天、国防军工等领域，计算设备的稳定运行和数据安全关系着重大国家利益、社会稳定。因此，在这些关系着国计民生的领域中，计算设备中CPU等核心硬件有明确的国产化自主可控需求。近年来，国产化CPU研发技术有了迅猛发展，计算性能比肩世界先进水平。但另一方面，国产化CPU，受限于制程工艺等原因，功耗高，发热量大。目前应用的一块集成8个NUMA节点64核心的国产化CPU，芯片面积达到3600mm2以上，功耗150W以上。在进行高负载任务测试时，发现CPU不同核心结温差异较大，不同NUMA节点的最高结温与最低结温差别在20度以上。
由于NUMA节点对临近内存访问效率高，操作系统默认对NUMA节点的任务调度表现出亲和性的特点。若某个任务task在t周期在0号NUMA节点上运行，那么在t+1，t+2，t+3周期，操作系统都优先将task在0号NUMA节点上运行。在国产化CPU平台上，这种默认的任务调度方式，会导致0号NUMA节点结温远超过其他节点，当长时间超过CPU最大工作结温时，CPU运行可靠性大大降低。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：国产化多NUMA节点CPU发热量大，不同NUMA节点间结温差异大，无法长时间运行高负载任务的问题。
(二)技术方案
为了解决上述技术问题，本发明提供了一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，包括以下步骤：
步骤1、确定NUMA节点体质系数；
步骤2、根据CPU芯片手册中规定的最高工作结温，确定任务调度方法启动结温阈值TS，确定检测时间间隔TimeI；
步骤3、轮询检测N个NUMA节点结温，当结温超过结温阈值，启动任务调度；
步骤4、计算NUMA结温差值数；
步骤5、基于步骤4计算NUMA节点迁移值；
步骤6、若N-1个迁移值均小于0，将负载任务挂起指定时间；
步骤7、将负载任务调度至迁移值最大的NUMA继续运行。
优选地，步骤1中，首先确定HPL测试矩阵规模，使用MPI工具控制HPL多进程并行运行，用numactl工具将HPL分别绑定HPL在N个NUMA节点运行，记录下每个NUMA节点的测试结温，第i个NUMA节点测试结温表示为Mi，全部NUMA节点中的最低结温记为Mmin，第i个NUMA节点的体质系数记为i＝1,2…N。
优选地，检测时间间隔TimeI的默认值为10秒。
优选地，步骤4中，第i个NUMA节点的结温值记为Ti，第i个NUMA节点与第j个NUMA节点的结温差值数记为i＝1,2…N，j＝1,2…N。
优选地，步骤5中，第i个NUMA节点负载应用向第j个NUMA节点的迁移系数记为Vij＝Dij·Cj，i＝1,2…N，j＝1,2…N；进而计算出第i个NUMA节点的最大迁移值maxj＝1,2…N(Vij)。
优选地，步骤6中，当全部NUMA节点结温均超过上限阈值时，任务调度方法已无法通过均衡方式保障CPU稳定运行，将全部负载任务挂起指定时间TimeD。
优选地，步骤6中，TimeD取值采用二进制指数类型退避算法得到，即第k次触发时，TimeD＝2k+1，k为正整数。
优选地，HPL是计算机性能测试工具，通过对线性代数方程组进行测试，评估计算机系统的性能。
优选地，numactl是在NUMA架构计算机系统中，用于控制任务在指定NUMA节点运行的工具。
优选地，MPI用于控制任务多核心并行运行。
(三)有益效果
本发明提出一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，当NUMA接电脑结温超过阈值时，将高负载计算任务调度至结温较低的核心，保证CPU的稳定运行。该任务调度方法能有效降低CPU最高工作结温，且对计算负载任务性能损失小，避免CPU长时间超结温阈值工作，提升CPU工作的稳定性。
附图说明
图1为本发明的任务调度方法流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明提出一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，首先，确定N个NUMA节点体质系数、最高结温阈值、检测间隔时间等参数。第一步，按照检测间隔时间轮询N个NUMA节点结温，当结温超过最高结温阈值，启动任务调度。第二步，计算N-1个NUMA节点间结温差值数，计算迁移值。第三步，若N-1个迁移值均小于0，将负载任务挂起指定时间。第四步，将负载任务调度至迁移值最大的NUMA继续运行。最后，用发明方法，与默认操作系统默认任务调度方法对比，以结果数据证明本发明方法的有效性。
具体地，如图1所示，本发明的方法包括以下步骤：
步骤1、确定NUMA节点体质系数。由于芯片制程工艺的限制，CPU各NUMA节点的体质会有差异，运行同样负载计算量的最大结温不同。首先确定HPL测试矩阵规模，使用MPI工具控制HPL多进程并行运行，用numactl工具将HPL分别绑定HPL在N个NUMA节点运行，记录下每个NUMA节点的测试结温，第i个NUMA节点测试结温表示为Mi，全部NUMA节点中的最低结温记为Mmin，第i个NUMA节点的体质系数记为i＝1,2…N；
其中，HPL：是计算机性能测试工具，通过对线性代数方程组进行测试，评估计算机系统的性能，对CPU有很大负载压力，可调整计算矩阵规模，控制测试计算量；numactl是在NUMA架构计算机系统中，用于控制任务在指定NUMA节点运行的工具；MPI：用于控制任务多核心并行运行。
步骤2、根据CPU芯片手册中规定的最高工作结温，确定任务调度方法启动结温阈值TS，确定检测时间间隔TimeI，默认值为10秒；
步骤3、轮询检测N个NUMA节点结温，当结温超过结温阈值，启动任务调度；
步骤4、计算NUMA结温差值数。第i个NUMA节点的结温值记为Ti,第i个NUMA节点与第j个NUMA节点的结温差值系数记为i＝1,2…N，j＝1,2…N；
步骤5、基于步骤4计算NUMA节点迁移值。第i个NUMA节点负载应用向第j个NUMA节点的迁移系数记为Vij＝Dij·Cj，i＝1,2…N，j＝1,2…N；进而计算出第i个NUMA节点的最大迁移值maxj＝1,2…N(Vij)；
步骤6、若N-1个迁移值均小于0，将负载任务挂起指定时间。由于国产化CPU不具备动态降低频率功能，因此当全部NUMA节点结温均超过上限阈值时，任务调度方法已无法通过均衡方式保障CPU稳定运行，将全部负载任务挂起指定时间TimeD，以保证CPU运行的稳定性。为避免频繁挂起负载任务，TimeD取值采用二进制指数类型退避算法，即第k次触发时，TimeD＝2k+1，单位为秒，k为正整数；
步骤7、将负载任务调度至迁移值最大的NUMA继续运行。
下面给出本发明方法测试结果：
测试机器使用的国产化CPU共有8个NUMA节点，每个节点16个计算核心。CPU芯片手册中规定最高工作结温90度。HPL测试矩阵规模为80000，MPI工具控制HPL任务64进程运行,HPL任务共使用4个NUMA节点。
测试方式1：使用操作系统默认任务调度方法，测试过程中CPU最高结温108度，测试时间共7349秒，通过对CPU使用率的统计，HPL任务超过95％的时间运行在NUMA 0-3节点，测试分数179.5GFlops。
测试方式2：启用本发明方法，检测间隔时间TimeI＝10s，将负载任务在0-7号NUMA节点上调度。测试过程中CPU最高结温93度。总测试时间共7617秒，其中停用时间值累计TimeD133秒，通过对CPU使用率的统计，HPL任务约64％时间运行在NUMA0-3节点测试分数175.1GFops。
对测试结果数据进行分析，运行同样计算量负载任务，采用本发明方法对比操作系统默认任务调度方法，CPU最高工作结温下降15度，任务运行时间增加了3.6％，测试分数下降了2.6％。
以上测试结果表明，负载任务调度方法能有效降低CPU最高工作结温，且对计算负载任务性能损失小，避免CPU长时间超结温阈值工作，提升CPU工作的稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于国产化多NUMA节点CPU结温均衡策略的任务调度方法，其特征在于，包括以下步骤：
步骤1、确定NUMA节点体质系数；
步骤2、根据CPU芯片手册中规定的最高工作结温，确定任务调度方法启动结温阈值TS，确定检测时间间隔TimeI；
步骤3、轮询检测N个NUMA节点结温，当结温超过结温阈值，启动任务调度；
步骤4、计算NUMA结温差值数；
步骤5、基于步骤4计算NUMA节点迁移值；
步骤6、若N-1个迁移值均小于0，将负载任务挂起指定时间；
步骤7、将负载任务调度至迁移值最大的NUMA继续运行；
步骤1中，首先确定HPL测试矩阵规模，使用MPI工具控制HPL多进程并行运行，用numactl工具将HPL分别绑定HPL在N个NUMA节点运行，记录下每个NUMA节点的测试结温，第i个NUMA节点测试结温表示为Mi，全部NUMA节点中的最低结温记为Mmin，第i个NUMA节点的体质系数记为
步骤4中，第i个NUMA节点的结温值记为Ti，第i个NUMA节点与第j个NUMA节点的结温差值数记为
步骤5中，第i个NUMA节点负载应用向第j个NUMA节点的迁移系数记为Vij＝Dij·Cj，i＝1,2…N，j＝1,2…N；进而计算出第i个NUMA节点的最大迁移值
步骤6中，当全部NUMA节点结温均超过上限阈值时，任务调度方法已无法通过均衡方式保障CPU稳定运行，将全部负载任务挂起指定时间TimeD。
2.如权利要求1所述的方法，其特征在于，检测时间间隔TimeI的默认值为10秒。
3.如权利要求1所述的方法，其特征在于，步骤6中，TimeD取值采用二进制指数类型退避算法得到，即第k次触发时，TimeD＝2k+1，k为正整数。
4.如权利要求1所述的方法，其特征在于，HPL是计算机性能测试工具，通过对线性代数方程组进行测试，评估计算机系统的性能。
5.如权利要求1所述的方法，其特征在于，numactl是在NUMA架构计算机系统中，用于控制任务在指定NUMA节点运行的工具。
6.如权利要求1所述的方法，其特征在于，MPI用于控制任务多核心并行运行。
CN202110292192.8A 2021-03-18 2021-03-18 基于国产化多numa节点cpu结温均衡策略的任务调度方法 Active CN113032145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110292192.8A CN113032145B (zh) 2021-03-18 2021-03-18 基于国产化多numa节点cpu结温均衡策略的任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110292192.8A CN113032145B (zh) 2021-03-18 2021-03-18 基于国产化多numa节点cpu结温均衡策略的任务调度方法

Publications (2)

Publication Number Publication Date
CN113032145A CN113032145A (zh) 2021-06-25
CN113032145B true CN113032145B (zh) 2023-12-26

Family

ID=76471541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110292192.8A Active CN113032145B (zh) 2021-03-18 2021-03-18 基于国产化多numa节点cpu结温均衡策略的任务调度方法

Country Status (1)

Country Link
CN (1) CN113032145B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277637A (ja) * 2005-03-30 2006-10-12 Nec Corp 温度監視によってジョブを割り当てるマルチプロセッサ計算機システム、及びコンピュータプログラム
CN103440173A (zh) * 2013-08-23 2013-12-11 华为技术有限公司 一种多核处理器的调度方法和相关装置
CN104636187A (zh) * 2015-02-15 2015-05-20 浙江大学 基于负载预测的numa架构中虚拟机调度方法
CN106293914A (zh) * 2016-08-01 2017-01-04 深圳市金立通信设备有限公司 一种任务调度的方法及终端
CN106844051A (zh) * 2017-01-19 2017-06-13 河海大学 一种边缘计算环境中功耗优化的负载任务迁移算法
US9747139B1 (en) * 2016-10-19 2017-08-29 International Business Machines Corporation Performance-based multi-mode task dispatching in a multi-processor core system for high temperature avoidance
CN107346168A (zh) * 2016-05-06 2017-11-14 联发科技股份有限公司 低功耗政策的自适应优化方法和相关装置
CN107733016A (zh) * 2017-10-20 2018-02-23 维沃移动通信有限公司 一种移动终端充电控制方法及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941805B2 (en) * 2006-08-15 2011-05-10 International Business Machines Corporation Affinity dispatching load balancer with precise CPU consumption data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277637A (ja) * 2005-03-30 2006-10-12 Nec Corp 温度監視によってジョブを割り当てるマルチプロセッサ計算機システム、及びコンピュータプログラム
CN103440173A (zh) * 2013-08-23 2013-12-11 华为技术有限公司 一种多核处理器的调度方法和相关装置
CN104636187A (zh) * 2015-02-15 2015-05-20 浙江大学 基于负载预测的numa架构中虚拟机调度方法
CN107346168A (zh) * 2016-05-06 2017-11-14 联发科技股份有限公司 低功耗政策的自适应优化方法和相关装置
CN106293914A (zh) * 2016-08-01 2017-01-04 深圳市金立通信设备有限公司 一种任务调度的方法及终端
US9747139B1 (en) * 2016-10-19 2017-08-29 International Business Machines Corporation Performance-based multi-mode task dispatching in a multi-processor core system for high temperature avoidance
CN106844051A (zh) * 2017-01-19 2017-06-13 河海大学 一种边缘计算环境中功耗优化的负载任务迁移算法
CN107733016A (zh) * 2017-10-20 2018-02-23 维沃移动通信有限公司 一种移动终端充电控制方法及移动终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Thread-Level CPU Power Measurement for High Performance Parallel Systems: Impact Analysis of System Control Parameters on HPC Energy Efficiency;David K. Newsom 等;《International Journal of Computing and Digital Systems》(第3期);189-209 *
绿色数据中心的热量管理方法研究;李翔 等;《计算机学报》;第38卷(第10期);1976-1996 *
面向多处理器虚拟机的动态NUMA方法;施继成 等;《小型微型计算机系统》;第36卷(第04期);39-44 *

Also Published As

Publication number Publication date
CN113032145A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN108182115B (zh) 一种云环境下的虚拟机负载均衡方法
CN111190688B (zh) 一种面向云数据中心的Docker迁移方法及系统
WO2018137402A1 (zh) 基于滚动灰色预测模型的云数据中心节能调度实现方法
CN107515663B (zh) 调整中央处理器内核运行频率的方法和装置
Fang et al. Thermal-aware energy management of an HPC data center via two-time-scale control
CN113515351B (zh) 一种基于能耗与QoS协同优化的资源调度实现方法
Chi et al. Jointly optimizing the IT and cooling systems for data center energy efficiency based on multi-agent deep reinforcement learning
Fan et al. Improving MapReduce performance by balancing skewed loads
CN116069152A (zh) 针对ai计算集群的运行频率控制方法、系统及相关设备
Zhou et al. Cloud service optimization method based on dynamic artificial ant-bee colony algorithm in agricultural equipment manufacturing
CN113032145B (zh) 基于国产化多numa节点cpu结温均衡策略的任务调度方法
CN105242954A (zh) 一种虚拟cpu与物理cpu之间的映射方法及电子设备
CN117271143B (zh) 一种数据中心优化节能调度方法及系统
CN109582119B (zh) 基于动态电压频率调整的双层Spark节能调度方法
Hou et al. Research on optimization of GWO-BP Model for cloud server load prediction
CN111083201B (zh) 一种工业物联网中数据驱动制造服务的节能资源分配方法
CN116028193B (zh) 一种混部集群的大数据任务动态高能效调度方法和系统
CN110008515B (zh) 一种可再生能源数据中心管理方法及装置
Sawada et al. Eco Models of Storage-Based Severs
Khoshsirat et al. Divide and save: Splitting workload among containers in an edge device to save energy and time
CN115904881A (zh) 基于感知模块的计算机运行程序自适应控制系统
Nisce et al. Machine learning based thermal prediction for energy-efficient cloud computing
Jiang et al. EASE: Energy efficiency and proportionality aware virtual machine scheduling
Chen Effective scheduling simulation of Internet of things load balanced sharing of resources
CN106708238A (zh) 一种针对存在大量迭代的高性能计算应用的能耗管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant