CN112148475B - 综合负载与功耗的龙芯大数据一体机任务调度方法及系统 - Google Patents

综合负载与功耗的龙芯大数据一体机任务调度方法及系统 Download PDF

Info

Publication number
CN112148475B
CN112148475B CN202010851577.9A CN202010851577A CN112148475B CN 112148475 B CN112148475 B CN 112148475B CN 202010851577 A CN202010851577 A CN 202010851577A CN 112148475 B CN112148475 B CN 112148475B
Authority
CN
China
Prior art keywords
cpu
power consumption
temperature
loongson
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010851577.9A
Other languages
English (en)
Other versions
CN112148475A (zh
Inventor
陈锋
陈宇强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Zhongke Longan Science And Technology Co ltd
Original Assignee
Anhui Zhongke Longan Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Zhongke Longan Science And Technology Co ltd filed Critical Anhui Zhongke Longan Science And Technology Co ltd
Priority to CN202010851577.9A priority Critical patent/CN112148475B/zh
Publication of CN112148475A publication Critical patent/CN112148475A/zh
Application granted granted Critical
Publication of CN112148475B publication Critical patent/CN112148475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Power Sources (AREA)

Abstract

本发明公开了一种综合负载与功耗的龙芯大数据一体机任务调度方法及系统，构建了CPU功耗与温度的关系模型，解决了CPU功耗难以实时获取的问题，进一步，根据CPU功耗与温度的关系模型、CPU利用率和温度，计算各计算节点CPU的优先级，根据所述优先级，对管理节点任务队列进行任务调度，不仅提高了龙芯大数据一体机的并行效率，同时，也有效降低了CPU处理功耗，更好地适用国产龙芯大数据一体机的负载均衡和低功耗应用要求。

Description

综合负载与功耗的龙芯大数据一体机任务调度方法及系统
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种综合负载与功耗的龙芯大数据一体机任务调度方法及系统。
背景技术
作为云计算有效补充的大数据一体机技术，能够显著减轻云计算中心的计算负担和通信代价，降低系统风险。龙芯是采用MIPS架构的国产CPU，龙芯大数据一体机则为基于龙芯3B处理器研制的国产大数据处理系统，其基本组成包括1个管理节点、5个计算节点和1个万兆交换机，实现大数据的传输、存储、处理和分析。
负载均衡是大数据一体机高性能计算的关键技术，任务调度则为负载均衡的主要组成部分。由于龙芯为MIPS架构，基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用；Hadoop的负载均衡机制虽然为开源系统，但是需要对硬盘等外设进行多次输入/输出操作，由于龙芯处理器较Intel酷睿等处理器的性能有一定差距，频繁的输入/输出操作影响了龙芯大数据一体机对大数据的高效处理。因此，研发面向MIPS架构的龙芯大数据一体机任务调度方法，以实现负载均衡具有重要意义。
相关的大数据处理任务调度方法主要包括：(1)FIFO调度算法：该类方法采用先进先出队列，不考虑服务器的动态处理能力，效率较低；(2)轮询/权重轮询调度算法：将待执行的任务轮流分配给各计算节点，然后重新开始循环。该类算法处理简单任务时效率较好，但在处理复杂任务时会导致服务器节点间负载不均衡，且存在慢的提供者累积请求问题。(3)Min-Min算法：将任务分配到执行时间最短的云计算环境中的资源节点上，以使用户提交的任务完成时间最短，理论上任务完成效率较高，但没有考虑资源节点的负载情况，容易导致节点的负载不均衡，资源利用率低。
高能耗是大数据一体机另外一个亟待解决的问题，运行成本超过其总运行成本的三分之一。目前，现有面向能耗或能耗与负载的任务调度算法主要是针对虚拟机的，这些算法假设各任务的处理时间已知或可预测，特别是CPU单位时间功率已知，实际应用中无法满足这些前提条件；且虚拟机本身需要占用节点资源，不适用于一体机系统。
发明内容
本发明的目的是提供一种综合负载与功耗的龙芯大数据一体机任务调度方法及系统，不仅适用于龙芯大数据一体机的负载均衡处理，且能够有效降低CPU处理功耗。
本发明的目的是通过以下技术方案实现的：
一种综合负载与功耗的龙芯大数据一体机任务调度方法，包括：
通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；
读取龙芯大数据一体机各计算节点CPU的利用率和温度数据；
基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列；
根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理。
一种综合负载与功耗的龙芯大数据一体机任务调度系统，包括：
CPU功耗与温度建模模块，用于通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；
计算节点监测模块，用于读取龙芯大数据一体机各计算节点CPU的利用率和温度数据；
CPU优先级计算模块，用于基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列；
任务分配模块，用于根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理。
由上述本发明提供的技术方案可以看出，构建了CPU功耗与温度的关系模型，解决了CPU功耗难以实时获取的问题，进一步，根据CPU功耗与温度的关系模型、CPU利用率和温度，计算各计算节点CPU的优先级，根据所述优先级，对管理节点任务队列进行任务调度，不仅提高了龙芯大数据一体机的并行效率，同时，也有效降低了CPU处理功耗，更好地适用国产龙芯大数据一体机的负载均衡和低功耗应用要求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种综合负载与功耗的龙芯大数据一体机任务调度方法的流程图；
图2为本发明实施例提供的龙芯3B处理器温度和功耗关系示意图；
图3为本发明实施例提供的对比实验中形成的并行效率示意图；
图4为本发明实施例提供的一种综合负载与功耗的龙芯大数据一体机任务调度系统的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
龙芯大数据一体机是面向大数据的、采用龙芯3B处理器开发的基础设施，其应用能够避免“CPU后门”的风险与隐患，对信息安全具有重要的意义。由于龙芯处理器采用MIPS架构，目前其性能较之Intel同类型处理器有较大差距。
为了实现对大数据的高效处理、负载均衡，降低能耗，本发明提出了龙芯大数据一体机综合负载与能耗的任务调度方法及系统。由于CPU功耗难以实施监测，而CPU温度能够实时获取，本发明首先通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；然后，由一体机的管理节点通过计算节点PMON固件，读取大数据一体机各计算节点CPU的利用率和温度，根据所述CPU的利用率和温度，计算各计算节点CPU的优先级，对所述优先级按照降序自大到小排序；管理节点根据CPU的优先级，将其中的任务队列中的待处理各任务依次分配给计算节点的CPU处理；计算节点处理完毕后，将计算结果回传至管理节点，管理节点存入本地数据库以供用户查询。
如图1所示，为本发明实施例提供的一种综合负载与功耗的龙芯大数据一体机任务调度方法的流程图，其主要包括如下步骤：
步骤11、通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型。
本发明实施例中，可以使用SPEC CPU 2006行业标准化的CPU测试基准套件在常温下对CPU进行测试，采集CPU温度与功耗样本数据：(x1，y1)，(x2，y2)，…，(xn，yn)；采用支持向量机回归构建CPU功耗与温度的关系模型：y＝f(x)；其中，xi、yi分别为温度、功耗，i＝1，2，...，n，n为样本总数；f为温度样本数据x与功耗样本数据的关系函数；通过关系模型能够根据CPU温度计算功耗，后文给出了相关计算公式即，
如图2所示，给出了实验阶段获得的龙芯3B处理器温度与功耗曲线。
步骤12、读取龙芯大数据一体机各计算节点CPU的利用率和温度数据。
本发明实施例中，任务调度由管理节点实现，因此，管理节点作为执行主体。
本发明实施例中，通过万兆交换机与各计算节点PMON固件进行通信，经所述PMON固件读取各计算节点CPU的利用率Pj与温度Tj，其中，j＝1，2，…，M，M为所有计算节点的可利用CPU数量。
步骤13、基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列。
CPU的优先级计算方式为：
其中，w1、w2分别表示CPU利用率和功耗的重要程度，w1+w2＝1，一般情况下，w1≥w2，具体数值由用户根据实际情况或者经验自行设定，本发明不做限定；Pj、Tj分别为第j个CPU的利用率、温度，Tmax为CPU正常工作时的最大温度，f为温度与功耗的关系函数，通过CPU功耗与温度的关系模型得到。
同时，w1(1-Pj)考虑了CPU的利用率，有利于一体机的负载均衡。
将计算获得的CPU优先级按照降序排序，以供任务分配使用。
步骤14、根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理。
此后，该方法还可以包括：
步骤15、接收计算节点CPU反馈的任务处理结果，等待分配下一个任务。
每一次任务分配之前都需要执行前述步骤12～步骤14，也即重新读取CPU的相关数据，并重新进行优先级的计算与排序。
步骤16、将任务处理结果存储至本地数据库，供用户查询。
为了验证本发明方法的有效性，分别采用典型的负载均衡算法：FIFO调度算法、Min-Min调度算法和本发明方法(our method)进行比较，任务队列中任务数为10个，各任务处理量近似，并行效率的实验结果如图3所示，功耗如表1所示。
任务调度算法. 功耗(单位：W)
FIFO调度算法 193.15
Min-Min调度算法 188.29
本发明方法 177.31
表1龙芯大数据一体机功耗
表1所示的功耗为参与计算的CPU的总功耗，单个CPU的功耗通过前述计算得到。
实验结果显示，本发明方法较典型的负载均衡算法，不仅具有良好的并行效率，且同时能够降低任务处理的CPU功耗，从而为国产大数据一体机提供了有效的负载均衡和低能耗控制工具。
本发明另一实施例还提供一种综合负载与功耗的龙芯大数据一体机任务调度系统，该系统主要用于实现前述实施例提供的方法，如图4所示，其主要包括：
CPU功耗与温度建模模块，用于通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；
计算节点监测模块，用于读取龙芯大数据一体机各计算节点CPU的利用率和温度数据；
CPU优先级计算模块，用于基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列；
任务分配模块，用于根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理。
本发明实施例中，使用SPEC CPU 2006行业标准化的CPU测试基准套件在常温下对CPU进行测试，采集CPU温度与功耗样本数据：(x1，y1)，(x2，y2)，…，(xn，yn)；其中，xi、yi分别为温度、功耗，i＝1，2，...，n，n为样本总数；采用支持向量机回归构建CPU功耗与温度的关系模型：y＝f(x)；f为温度x与功耗的关系函数。
本发明实施例中，通过万兆交换机与各计算节点PMON固件进行通信，经所述PMON固件读取各计算节点CPU的利用率Pj与温度Tj，其中，j＝1，2，…，M，M为所有计算节点的可利用CPU数量。
本发明实施例中，CPU的优先级计算方式为：
其中，w1、w2分别表示CPU利用率和功耗的重要程度，w1+w2＝1；Pj、Tj分别为第j个CPU的利用率、温度，Tmax为CPU正常工作时的最大温度，f为温度与功耗的关系函数，通过CPU功耗与温度的关系模型得到。
本发明实施例中，该系统还包括：
计算结果回传模块，用于接收并回传计算节点CPU反馈的任务处理结果；
处理结果管理模块，用于将任务处理结果存储至本地数据库。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种综合负载与功耗的龙芯大数据一体机任务调度方法，其特征在于，包括：
通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；
读取龙芯大数据一体机各计算节点CPU的利用率和温度数据；
基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列；
根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理；
其中，CPU的优先级计算方式为：
其中，w1、w2分别表示CPU利用率和功耗的重要程度，w1+w2＝1；Pj、Tj分别为第j个CPU的利用率、温度，Tmax为CPU正常工作时的最大温度，f为温度与功耗的关系函数，通过CPU功耗与温度的关系模型得到。
2.根据权利要求1所述的一种综合负载与功耗的龙芯大数据一体机任务调度方法，其特征在于，使用SPEC CPU 2006行业标准化的CPU测试基准套件在常温下对CPU进行测试，采集CPU温度与功耗样本数据：(x1,y1),(x2,y2),…,(xn,yn)；其中，xi、yi分别为温度、功耗，i＝1,2,...,n，n为样本总数；
采用支持向量机回归构建CPU功耗与温度的关系模型：y＝f(x)；f为温度x与功耗的关系函数。
3.根据权利要求1所述的一种综合负载与功耗的龙芯大数据一体机任务调度方法，其特征在于，通过万兆交换机与各计算节点PMON固件进行通信，经所述PMON固件读取各计算节点CPU的利用率Pj与温度Tj，其中，j＝1,2,…,M，M为所有计算节点的可利用CPU数量。
4.根据权利要求1所述的一种综合负载与功耗的龙芯大数据一体机任务调度方法，其特征在于，该方法还包括：接收计算节点CPU反馈的任务处理结果，并存储至本地数据库。
5.一种综合负载与功耗的龙芯大数据一体机任务调度系统，其特征在于，包括：
CPU功耗与温度建模模块，用于通过实验，获取CPU功耗与温度的样本数据，采用支持向量机回归构建CPU功耗与温度的关系模型；
计算节点监测模块，用于读取龙芯大数据一体机各计算节点CPU的利用率和温度数据；
CPU优先级计算模块，用于基于构建的CPU功耗与温度的关系模型，与CPU的利用率和温度数据，计算各CPU的优先级，并按降序排列；
任务分配模块，用于根据CPU的优先级，将任务队列中待处理的任务依次分配给CPU处理；
其中，CPU的优先级计算方式为：
其中，w1、w2分别表示CPU利用率和功耗的重要程度，w1+w2＝1；Pj、Tj分别为第j个CPU的利用率、温度，Tmax为CPU正常工作时的最大温度，f为温度与功耗的关系函数，通过CPU功耗与温度的关系模型得到。
6.根据权利要求5所述的一种综合负载与功耗的龙芯大数据一体机任务调度系统，其特征在于，使用SPEC CPU 2006行业标准化的CPU测试基准套件在常温下对CPU进行测试，采集CPU温度与功耗样本数据：(x1,y1),(x2,y2),…,(xn,yn)；其中，xi、yi分别为温度、功耗，i＝1,2,...,n，n为样本总数；
采用支持向量机回归构建CPU功耗与温度的关系模型：y＝f(x)；f为温度x与功耗的关系函数。
7.根据权利要求5所述的一种综合负载与功耗的龙芯大数据一体机任务调度系统，其特征在于，通过万兆交换机与各计算节点PMON固件进行通信，经所述PMON固件读取各计算节点CPU的利用率Pj与温度Tj，其中，j＝1,2,…,M，M为所有计算节点的可利用CPU数量。
8.根据权利要求5所述的一种综合负载与功耗的龙芯大数据一体机任务调度系统，其特征在于，该系统还包括：
计算结果回传模块，用于接收并回传计算节点CPU反馈的任务处理结果；
处理结果管理模块，用于将任务处理结果存储至本地数据库。
CN202010851577.9A 2020-08-21 2020-08-21 综合负载与功耗的龙芯大数据一体机任务调度方法及系统 Active CN112148475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010851577.9A CN112148475B (zh) 2020-08-21 2020-08-21 综合负载与功耗的龙芯大数据一体机任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010851577.9A CN112148475B (zh) 2020-08-21 2020-08-21 综合负载与功耗的龙芯大数据一体机任务调度方法及系统

Publications (2)

Publication Number Publication Date
CN112148475A CN112148475A (zh) 2020-12-29
CN112148475B true CN112148475B (zh) 2024-05-31

Family

ID=73888168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010851577.9A Active CN112148475B (zh) 2020-08-21 2020-08-21 综合负载与功耗的龙芯大数据一体机任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN112148475B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625861B (zh) * 2021-08-27 2024-04-19 深圳供电局有限公司 一种功耗节约方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902379A (zh) * 2012-12-25 2014-07-02 中国移动通信集团公司 一种任务调度方法、装置及服务器集群
CN104317654A (zh) * 2014-10-09 2015-01-28 南京大学镇江高新技术研究院 基于动态温度预测模型的数据中心任务调度方法
CN105676996A (zh) * 2015-12-31 2016-06-15 曙光信息产业(北京)有限公司 一种龙芯服务器的功耗控制方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9915989B2 (en) * 2016-03-01 2018-03-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Energy efficient workload placement management using predetermined server efficiency data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902379A (zh) * 2012-12-25 2014-07-02 中国移动通信集团公司 一种任务调度方法、装置及服务器集群
CN104317654A (zh) * 2014-10-09 2015-01-28 南京大学镇江高新技术研究院 基于动态温度预测模型的数据中心任务调度方法
CN105676996A (zh) * 2015-12-31 2016-06-15 曙光信息产业(北京)有限公司 一种龙芯服务器的功耗控制方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大数据一体机关键技术及应用研究;陈国良等;《南京邮电大学学报(自然科学版)》;20180228;全文 *

Also Published As

Publication number Publication date
CN112148475A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
Kc et al. Scheduling hadoop jobs to meet deadlines
Zhu et al. A performance interference model for managing consolidated workloads in QoS-aware clouds
CN104298550B (zh) 一种面向Hadoop的动态调度方法
US20160127382A1 (en) Determining variable wait time in an asynchronous call-back system based on calculated average sub-queue wait time
Xu et al. Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
Jahanshahi et al. Gpu-nest: Characterizing energy efficiency of multi-gpu inference servers
Dong et al. Energy-aware scheduling schemes for cloud data centers on google trace data
Ramapantulu et al. Modeling the energy efficiency of heterogeneous clusters
Song et al. Energy efficiency optimization in big data processing platform by improving resources utilization
CN112148475B (zh) 综合负载与功耗的龙芯大数据一体机任务调度方法及系统
Li et al. PageRankVM: A pagerank based algorithm with anti-collocation constraints for virtual machine placement in cloud datacenters
Ghouma et al. Context aware resource allocation and scheduling for mobile cloud
Iglesias et al. A methodology for online consolidation of tasks through more accurate resource estimations
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
Wilkins et al. Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads
CN117093335A (zh) 分布式存储系统的任务调度方法及装置
CN112148474B (zh) 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统
Wang et al. Slo-driven task scheduling in mapreduce environments
Quang-Hung et al. Eminret: Heuristic for energy-aware vm placement with fixed intervals and non-preemption
Swain et al. Efficient straggler task management in cloud environment using stochastic gradient descent with momentum learning-driven neural networks
Lee et al. Task offloading technique using DMIPS in wearable devices
Gu et al. The implementation of MapReduce scheduling algorithm based on priority
Tang et al. Combining data replication algorithms and job scheduling heuristics in the data grid
Ye et al. Storage-aware task scheduling for performance optimization of big data workflows

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant