CN116737360A - 面向混合负载的多基准驱动调参服务器能效调优方法及装置 - Google Patents

面向混合负载的多基准驱动调参服务器能效调优方法及装置 Download PDF

Info

Publication number
CN116737360A
CN116737360A CN202310444433.5A CN202310444433A CN116737360A CN 116737360 A CN116737360 A CN 116737360A CN 202310444433 A CN202310444433 A CN 202310444433A CN 116737360 A CN116737360 A CN 116737360A
Authority
CN
China
Prior art keywords
energy efficiency
load
tuning
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310444433.5A
Other languages
English (en)
Inventor
林伟伟
罗潇轩
李俊祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310444433.5A priority Critical patent/CN116737360A/zh
Publication of CN116737360A publication Critical patent/CN116737360A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向混合负载的多基准驱动调参的服务器能效调优方法及装置，方法包括离线模型训练和在线能效调优两个阶段；离线阶段，收集多个基准的运行时数据，建立多标签负载分类模型实现混合负载与多基准间的映射，同时为各基准构建性能预测模型、最大性能评估模型、能效预测模型；在线阶段，基于不同参数的特性实现双粒度的优化策略：利用模型识别混合负载的资源需求及服务器实时能效状态，执行有针对性的系统参数调优；同时，基于能效曲线和CPU利用率实现细粒度的频率调节，解决寻优延迟导致的调优滞后问题。本发明能够自适应地识别混合负载的资源需求，并选择特定参数组合值进行优化，从而提高服务器运行复杂混合负载时的能效表现。

Description

面向混合负载的多基准驱动调参服务器能效调优方法及装置
技术领域
本发明涉及云数据中心服务器参数调优领域，特别涉及一种面向混合负载的多基准驱动调参服务器能效调优方法及装置。
背景技术
随着人工智能、物联网、区块链等技术的发展，新兴业务不仅在资源数量上出现了更大的需求量，也对服务器资源的使用效率提出了更高的要求。为了满足日益复杂的业务需求，数据中心的服务器运维策略需要在保证云服务质量的同时尽可能地降低维护成本与能源开销，以提升数据中心的整体能效。作为主流的运维优化策略，参数调优被应用于硬件设计、应用优化、网络流控等多个领域。然而，服务器及应用的参数种类众多，不同参数具有不同的适用场景和取值范围，通过手动调节的方式往往难以获取最优的参数组合。因此，不少学者会针对不同的业务场景设计参数调优策略，对服务器的性能及功耗进行优化。
针对大数据应用场景，Malik M等人提出了一种结合的协同调度和参数调优的调优框架ECoST。该框架以离线建表的方式确定不同类型负载共存于同一结点时的能效表现以及最优参数组合。在线阶段，ECoST通过决策树执行大数据负载的协同调度决策，并利用查表、非线性神经网络等模型进行参数调优。实验表明，该方法最高能够提升4％的能效，但它仅针对HDF的三个参数进行调优，随着参数数量及范围的不断扩大，离线建表的时间将越来越长。为了避免离线模型训练引起的高额开销，Fekry A等人提出了一种名为SimTune的参数调优方法。SimTune利用自动编解码器神经网络完成工作负载的低维空间特征映射，并通过哈密顿距离衡量低维空间中负载间的相似性，然后使用多任务贝叶斯优化(BO)在相似的工作负载之间共享调优模型，在该模型基础上实行增量调优来加快参数搜索的收敛速度，减小每次调优流程中重新训练模型的算法开销。
除了大数据应用外，参数调优在高性能计算(HPC)场景下同样应用广泛。Robert S等人提出了一种结合元启发式说算法的在线调优流程，用于调节HPC系统中IO加速器参数，解决不同HPC负载场景中的IO瓶颈问题。该在线调优流程包括负载识别、历史记录对比、元启发式调优、应用调优结果记录四个模块。作者选用整体表现最优的遗传算法作为调优算法，对文件区域的大小、数据预取阈值、数据预取大小、IO读取历史有效次数等参数进行调节，在IO带宽敏感和IO延迟敏感的基准应用中均取得了不错的效果。但算法在调优时需要实时采集HPC应用的性能数值作为调优算法的反馈，无法保证用户的隐私安全。
数据库作为云服务的后端存储应用同样存在大量的可调节参数。徐江峰等人对面向分布式NoSQL数据库HBase提出了出一种基于集成学习的配置参数调优方法。其核心思想是不断收集用户在使用HBase时的组合配置以及相应的吞吐量和延迟，并使用随机森林集成学习算法建立性能预测模型，通过遗传算法进行参数搜索以达到寻优的目的。作者在Yahoo云服务基准上进行了相关调优实验，结果表明，该方法相比默认配置平均提升了41％的吞吐量，延迟降低11.3％。该算法通过建立模型解决了在线调优过程中频繁的参数更迭所导致的业务性能波动问题，具备更强的稳定性。
操作系统层面的参数对服务器的能效有着重要影响，它包含大量影响硬件性能、功耗以及与应用交互行为的配置参数，合理设置此类参数能够使服务器以最佳状态运行用户负载，提升服务器能效水平。为了解决搜索空间过于庞大导致的高优化开销，Sánchez等人针对NUMA策略与预取器设置对各种基准负载的性能影响展开了研究。作者使用了ANN、SVM等机器学习算法从13个最有效的参数组合中为不同类型的负载确定最优的NUMA策略及预取器设置，减小了寻优开销。相比使用NUMA局部优化以及打开所有预取器的情况，该方法能够实现平均1.68倍的性能提升。
虽然上述的调优算法对应用的性能均有着一定的提升，然而大部分算法都仅适用于特定的应用场景，缺乏一定的通用性。同时，应用及操作系统底层的可调节参数多，范围广，参数与参数，参数与目标之间都可能存在未知的依赖，给调优问题带来了极大的困难。部分算法假设调优目标值可以直接获取，并没有考虑指标采集对用户隐私的负面影响。调优过程中参数的频繁改动也会引起业务的性能波动。这些同样是服务器系统调优过程中需要考虑的问题。因此，数据中心的服务器管理侧仍缺乏一种通用性较强，体系完善的调优策略。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向混合负载的多基准驱动调参的服务器能效调优方法及装置，本发明在无需侵入用户应用程序的条件下，通过预测建模完成服务器混合负载的实时能效评估，并指导参数搜索算法找出较优的参数组合，完成混合负载场景下的服务器能效调优，能够有效提升服务器的整体能效水平。
为了达到上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种面向混合负载的多基准驱动调参服务器能效调优方法，包括离线模型训练阶段和在线能效调优阶段，所述离线模型训练阶段为在线能效调优阶段提供模型支持；
所述离线模型训练阶段具体包括下述步骤：
采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
建立多标签负载分类模型实现混合负载与多基准间的映射；
为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优阶段具体包括下述步骤：
后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
通过能效预测模型和相似度评分计算出服务器综合能效评分；
利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
作为优选的技术方案，所述采集服务器运行单一基准负载时的能效表现和性能计数器数值时，采用拉丁超立方采样生成参数组合，以10％为粒度分别将负载水平设置为10％～100％进行性能计数器与能效表现相关指标的采集。
作为优选的技术方案，所述负载分类模型的训练过程中，使用特征筛选算法获取CPU、内存、磁盘负载上最显著的特征，然后采用K最近邻算法记录每个基准负载的数据记录；所述负载分类模型的输入为性能计数器，输出为相似度评分；
所述性能预测模型的输入为性能计数器，输出为数值；所述最大性能评估模型的输入为CPU、内存、磁盘相关的系统可调节参数，输出为最大性能预测值；所述能效预测模型的输入为CPU、内存、磁盘相关的系统可调节参数以及估算性能值，输出为能效预测值；估算性能值为性能预测值与最大性能预测值中的更小者。
作为优选的技术方案，所述后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优，具体为：
基于不同基准负载的能效曲线确定每个CPU频率的最优能效利用率区间(Ulower，Uupper)；
根据当前逻辑核的利用率Ucur依次调节每个CPU逻辑核的频率：若低于最优能效利用率下界Ulower则降低频率，若Ucur∈(Ulower，Uupper)则频率不变，若高于最优能效利用率上界Uupper则升高频率，若Ucur达到最大值则大幅提升频率。
作为优选的技术方案，所述使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分的步骤具体为：
读取离线训练好的K最近邻模型；
利用K最近邻模型计算出当前负载数据点与不同基准的距离；
选出CPU、内存、磁盘三个类别中距离当前负载数据点最接近的基准负载；
将所选的三个基准负载与当前负载数据点的距离进行线性转换得到权重向量w＝{wcpu，wmem，wio}，其中wcpu，wmem，wio分别为计算密集型、内存密集型、IO密集型权重；
使用相应基准负载的性能预测模型获取性能预测值作为负载偏好度向量p＝{pxpu，pmem，pio}，其中pcpu，pmem，pio分别为计算密集型、内存密集型、IO密集型负载偏好度；
对权重向量和负载偏好度向量执行按位相乘操作，得到相似度评分向量c＝{wcpu*pcpu，wmem*pmem，wio*pio}。
作为优选的技术方案，所述通过能效预测模型和相似度评分计算出服务器综合能效评分，具体为：
采用负载分类模型输出的相似度评分向量c与对应基准负载的能效预测向量E进行点积运算得到服务器的综合能效评分，如下式所示：
fefficiency＝c·E＝Σctype*Etype，type∈{cpu，mem，io}
作为优选的技术方案，所述在线阶段利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优，具体为：
利用综合能效评分来构建参数搜索算法的目标函数，并通过参数搜索算法进行参数调优，参数搜索算法的目标得分函数score如下式所示：
以获得的相似度评分向量c为依据，对不同密集型负载的参数调优时间进行分配，最后单独划分出Tx秒时间，对所有参数进行迭代调优。
第二方面，本发明提供了一种面向混合负载的多基准驱动调参服务器能效调优系统，应用于所述的面向混合负载的多基准驱动调参服务器能效调优方法，包括离线模型训练模块和在线能效调优模块，所述离线模型训练模块为在线能效调优模块提供模型支持；
所述离线模型训练模块包括运行数据采集单元、第一模型构建单元以及第二模型构建单元；
所述运行数据采集单元，用于采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
所述第一模型构建单元，用于建立多标签负载分类模型实现混合负载与多基准间的映射；
所述第二模型构建单元，用于为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优模块包括细粒度调优单元、相似度评分单元、综合能效评分单元以及参数调优单元；
所述细粒度调优单元，用于后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
所述相似度评分单元，用于使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
所述综合能效评分单元，用于通过能效预测模型和相似度评分计算出服务器综合能效评分；
所述参数调优单元，用于利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
第三方面，本发明提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的面向混合负载的多基准驱动调参服务器能效调优方法。
第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的面向混合负载的多基准驱动调参服务器能效调优方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明提出了一种针对混合负载的能效调优方法，该方法利用能效模型快速获取服务器在不同参数组合下的实时能效水平并指导参数搜索算法进行参数寻优，避免了寻优过程中参数频繁变换导致的业务负载波动，减少了寻优过程中性能采集带来的时间开销。
(2)本发明提出了一种基于KNN的负载多标签分类算法，并基于该算法实现了一种针对混合负载的能效评估策略，能够在极短的时间内完成负载分类和混合负载的能效评估，极大的加速了参数搜索算法的迭代速度。
(3)本发明提出了一种基于分类权重的参数调优策略，能够根据混合负载的相似度权重确定不同密集型负载参数的调优时长，使参数调优算法更具针对性，优化了参数调优算法的调优效果，提升了服务器的整体能效水平。
(4)本发明提出了一种基于能效曲线的快速DVFS方法，能有效降低CPU频率调节时延对服务器性能与功耗产生的负面影响，提升了频率调节的响应速率，极大地降低了业务运行时服务器的能耗开销。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例面向混合负载的多基准驱动调参服务器能效调优方法流程图。
图2为本发明实施例基于多输出KNN的负载分类模型示意图。
图3为本发明实施例面向混合负载的参数调优算法流程图。
图4为本发明实施例面向混合负载的多基准驱动调参服务器能效调优系统的方框图。
图5为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参阅图1，本实施例面向混合负载的多基准驱动调参服务器能效调优方法，包括离线模型训练阶段和在线能效调优阶段，所述离线模型训练阶段为在线能效调优阶段提供模型支持；具体如下：
S1.离线阶段执行不同类别的基准负载并采集系统中各种性能计数器的数值作为训练集和测试集；
首先针对计算密集型、内存密集型和IO密集型的基准采集服务器能效、性能计数器、资源利用率等数据，由于网络密集型负载还受网络拓扑的影响，因此不包含在本实施例的服务器能效优化中，本实施例的服务器配置如表1。其次，本实施例使用能效基准软件BENCHSEE和SERT对服务器加压来获取训练数据，使用的基准类型如表2所示。由于参数取值空间较大，本实施例采用拉丁超立方采样(LHS)生成参数组合，使用较少的数据覆盖大部分的特征空间，进而降低数据采集的成本。
表1本实施例的服务器配置
服务器型号 Huawei 2288H V5
操作系统 CentOS Linux release 7.9.2009
内核版本 3.10.0-1160.el7.x86_64
处理器型号 2*Intel(R)Xeon(R)Gold 6248CPU@2.50GHz
内存大小 8*Samsung DDR4 2933MT/s 32G
Python版本 3.7.13
表2本实施例使用的基准信息
进一步的，所述S1.离线阶段执行不同类别的基准负载并采集系统中各种性能计数器的数值作为训练集和测试集步骤中，包括但不仅限于采用拉丁超立方采样(LHS)生成参数组合，以10％为粒度分别将负载水平设置为10％～100％进行性能计数器与能效相关指标的采集。
S2、离线阶段使用训练集训练负载分类模型、性能预测模型、最大性能评估模型、能效预测模型中，具备以下特征：
S201.负载分类模型的训练过程中，使用特征筛选算法获取CPU、内存、磁盘负载上最显著的特征，然后采用K最近邻算法记录每个基准负载的数据记录。负载分类模型的输入为性能计数器，输出为相似度评分。
进一步的，基于基准数据训练多标签负载分类模型，用于将混合负载映射为多个最相似的基准负载。基于多输出KNN的负载分类模型工作示意图如图2所示，使用显著性指标建立KNN模型可以提高模型精度，减小模型开销及噪声干扰，因此本实施例使用lightgbm算法统计不同特征在预测能效时的增益熵，并针对负载类型挑选出增益熵最大的几个特征作为该负载的显著性指标。相比传统的KNN模型，该负载分类模型同时输出多个密集型中最相似的负载子项，并基于其距离和计算各个密集型负载的权重向量，用于评估混合负载的相似度。本实施例建立的负载分类模型精度如表3所示，与传统的KNN相比，本发明提出的负载分类模型准确率高8％，其精确率和召回率分别为97.9％和96.8％，说明在不平衡样本中负载分类模型的判断仍具有较高的可信度。
表3负载分类模型对比
算法 正确率 精确率 召回率 F1得分
Multi-KNN 0.975 0.979 0.968 0.970
KNN 0.895 0.863 0.909 0.879
S202.另外三种预测模型的训练过程中，针对不同负载的数据分别使用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三者的预测均值作为结果。
S203.性能预测模型的输入为性能计数器，输出为数值；最大性能评估模型的输入为CPU、内存、磁盘相关的系统可调节参数，输出为最大性能预测值；能效预测模型的输入为CPU、内存、磁盘相关的系统可调节参数以及估算性能值，输出为能效预测值。估算性能值为性能预测值与最大性能预测值中的更小者。
进一步的，基于基准数据训练性能预测模型、最大性能评估模型和能效预测模型，为参数调优提供服务器实时运行状态的评估手段。为了提高模型的准确性，训练的各种模型针对的是BENCHSEE和SERT的单一基准，在线使用时结合负载分类模型的输出加载合适的模型进行预测评估。由于负载特性不同，拟合算法在不同模型上的效果也有所差异，本实施例测试了9种算法(xgboost、lightgbm、catboost、random forest、svr、linear、ridge、lasso、elasticnet)分别建立性能预测模型、最大性能评估模型和能效预测模型进行对比测试。同时为了避免过拟合，确保模型的鲁棒性，本实施例决定采用贪心均值策略来构建最终的模型：抽选出平均绝对误差(MAE)最小的3种算法训练的模型进行组合，在线阶段使用所选的3种模型分别对目标进行预测，取其均值作为最终的结果。根据实验测试，各个基准负载的最终的性能预测模型、最大性能评估模型和能效预测模型的精度均能达到97％以上，能够准确地评估服务器实时的运行状态。精确率和召回率分别为97.9％和96.8％，说明在不平衡样本中负载分类模型的判断仍具有较高的可信度。
所述S3.在线阶段后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优的步骤具体为：
S301.基于不同基准负载的能效曲线确定每个CPU频率的最优能效利用率区间(Ulower，Uupper)；
S302.根据逻辑核的利用率Ucur依次调节每个CPU逻辑核的频率：若低于Ulower则降低频率，若Ucur∈(Ulower，Uupper)则频率不变，若高于Uupper则升高频率，若Ucur达到最大值则大幅提升频率。
进一步的，根据采集到的基准数据绘制CPU能效曲线，确定各个频率等级下达到最优能效的CPU利用率区间，实现细粒度的CPU调频策略以适应高动态变化的负载环境。进一步的，CPU能效曲线指CPU在不同频率和利用率组合下服务器的能效变化曲线，该曲线可以通过在不同频率设置下CPU的利用率、基准负载完成的事务数和服务器功耗计算得到。在线阶段根据不同频率等级下的最优能效CPU利用率区间快速调节CPU频率，将利用率保持在具有最优能效的利用率区间内(如式(1)所示)，优化服务器运行混合负载时的能效。
其中f为下一目标频率等级，fcur和ucur为服务器当前的频率和利用率，fstep为频率调整的最小粒度，Ufull为服务器满载利用率，Ulower和Uupper为当前频率等级下具有最优能效的利用率下界和上界。
所述S4.在线阶段使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分的步骤具体为：
S401.读取离线训练好的K最近邻模型；
S402.利用K最近邻模型计算出当前负载数据点与不同基准的距离；
S403.选出CPU、内存、磁盘三个类别中距离当前负载数据点最接近的基准负载；
S404.将所选的三个基准负载与当前负载数据点的距离进行线性转换得到权重向量w＝{wcpu，wmem，wio}；
S405.使用相应基准负载的性能预测模型获取性能预测值作为负载偏好度向量p＝{pcpu，pmem，pio}；
S406.对权重向量和负载偏好度向量执行按位相乘操作，得到相似度评分向量c＝{wcpu*pcpu，wmem*pmem，wio*pio}。
所述S5.在线阶段通过能效预测模型和相似度评分计算出服务器综合能效评分的步骤中，采用负载分类模型输出的相似度评分向量c与对应基准负载的能效预测向量E进行点积运算得到服务器的综合能效评分，如式(2)所示：
fefficiency＝c·E＝∑ctype*Etype，type∈{cpu，mem，io}(2)其中，type为负载类型，
ctype和Etype为向量中对应负载类型的相似度评分与能效预测值。
所述S6.在线阶段利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优的步骤中，利用综合能效评分来构建参数搜索算法的目标函数，并通过参数搜索算法进行参数调优。参数搜索算法的目标函数如式(3)所示：
其中fmax-perf为最大性能评估值，finit-perf为调优前的性能值，α，ε∈[0，1]是常数因子，分别为惩罚系数和最大退化水平。
以S4.中获得的相似度评分向量c为依据，对不同密集型负载的参数调优时间进行分配，最后单独划分出Tx秒时间，对所有参数进行迭代调优。
可以理解的是，对面向混合负载的多基准驱动调参服务器能效调优方法的最后两个步骤(S5.与S6.)进行多次迭代，利用每次迭代获取的综合能效评分指导参数搜索算法寻优，最终得到较优的参数组合。
进一步的，实现系统参数调优算法，由于可调参数数量众多、优化难度较大，需要动态根据服务器的混合负载状态选择系统可调参数组合(包括CPU进程调度、虚拟内存分配、磁盘读写等方面的设置)，同时利用模型直接评估各种参数组合值的调优效果并指导下一次的调优迭代，从而实现有针对性的、精确的参数优化。请参阅图3，具体步骤如下：
S601.根据预测结果确定服务器的初始状态，包括各个密集型负载的权重向量、服务器的性能、最大性能和能效等；
S602.综合考虑了混合负载异构的特性，根据权重向量计算不同密集型负载所需的调优时间，高权重的密集型负载会得到更多的调优时间，同时针对各个密集型负载的特性选择相应的参数组合；
S603.基于负载类型和历史的调优记录选取一组可调参数值，本实施例基于CMA-ES采样算法实现了该选取过程；
S604.使用模型预测服务器在该参数组合值下运行当前负载的性能、最大性能和能效；
S605.结合性能和能效计算该参数组合值的得分并将结果保存在调优记录中；
S606.重复步骤S603-S605直到所有密集型负载的参数评估迭代至指定时间；
S607.部分密集型之间存在资源争用，并且单一负载优化容易陷入局部最优。为了保证在混合负载下服务器整体能效最优，需要综合所有密集型负载的调优结果得到综合表现最优的参数组合值；
S608.将最优的参数组合值设置在服务器上，完成粗粒度参数调优。
基于上述步骤实现的面向混合负载的多基准驱动调参服务器能效调优方法在BENCHSEE和SERT单一基准下的优化效果如表4所示。与默认策略相比，本优化方法的能效提升幅度普遍在6％～38％之间，平均提升33.3％。特别地，在Sequential负载上，其能效提升可达110％。
为了测试该框架在混合负载下的调优表现，本实施例从stress-ng系统压测工具中选出了7个测试子项(如表2所示)进行随机组合得到4种混合负载作为测试集，优化效果如表5所示。总体来说，本优化方法在这4种混合负载中同样有着较优的能效表现。如prime_malloc_peek负载中，prime和seek负载的能效表现分别提升了19％和7％。而在prime_cache_iomix负载中，prime和iomix负载的能效提升更是达到了18％和54％。但由于多个负载运行时的资源争用问题，部分负载可能出现一定的性能退化，导致该负载的能效下降。如malloc和cache负载在不同的负载场景中分别出现了5％和7％的性能退化，但负载的能效提升幅度远高于部分负载的能效下降幅度。
表4面向混合负载的多基准驱动调参服务器能效调优方法在单一负载下的优化效果
负载类型 默认配置能效 优化后能效
Compress 1.00 1.37
Aes 1.00 1.34
Lu 1.00 1.19
Oltp 1.00 1.28
Sha256 1.00 1.38
Sor 1.00 1.30
Sort 1.00 1.34
Stream 1.00 1.15
Cache 1.00 1.06
Random 1.00 1.15
Sequential 1.00 2.10
表5面向混合负载的多基准驱动调参服务器能效调优方法在混合负载下的优化效果
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的面向混合负载的多基准驱动调参服务器能效调优方法相同的思想，本发明还提供了面向混合负载的多基准驱动调参服务器能效调优系统，该系统可用于执行上述面向混合负载的多基准驱动调参服务器能效调优方法。为了便于说明，面向混合负载的多基准驱动调参服务器能效调优系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图4，在本申请的另一个实施例中，提供了一种面向混合负载的多基准驱动调参服务器能效调优系统100，该系统包括离线模型训练模块110和在线能效调优模块120，所述离线模型训练模块为在线能效调优模块提供模型支持；
所述离线模型训练模块110包括运行数据采集单元111、第一模型构建单元112以及第二模型构建单元113；
所述运行数据采集单元111，用于采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
所述第一模型构建单元112，用于建立多标签负载分类模型实现混合负载与多基准间的映射；
所述第二模型构建单元113，用于为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优模块120包括细粒度调优单元121、相似度评分单元122、综合能效评分单元123以及参数调优单元124；
所述细粒度调优单元121，用于后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
所述相似度评分单元122，用于使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
所述综合能效评分单元123，用于通过能效预测模型和相似度评分计算出服务器综合能效评分；
所述参数调优单元124，用于利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
需要说明的是，本发明的面向混合负载的多基准驱动调参服务器能效调优系统与本发明的面向混合负载的多基准驱动调参服务器能效调优方法一一对应，在上述面向混合负载的多基准驱动调参服务器能效调优方法的实施例阐述的技术特征及其有益效果均适用于面向混合负载的多基准驱动调参服务器能效调优的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的面向混合负载的多基准驱动调参服务器能效调优系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述面向混合负载的多基准驱动调参服务器能效调优系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图5，在一个实施例中，提供了一种实现面向混合负载的多基准驱动调参服务器能效调优方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如多基准驱动调参服务器能效调优程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如多基准驱动调参服务器能效调优程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的多基准驱动调参服务器能效调优程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
包括离线模型训练阶段和在线能效调优阶段，所述离线模型训练阶段为在线能效调优阶段提供模型支持；
所述离线模型训练阶段具体包括下述步骤：
采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
建立多标签负载分类模型实现混合负载与多基准间的映射；
为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优阶段具体包括下述步骤：
后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
通过能效预测模型和相似度评分计算出服务器综合能效评分；
利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，包括离线模型训练阶段和在线能效调优阶段，所述离线模型训练阶段为在线能效调优阶段提供模型支持；
所述离线模型训练阶段具体包括下述步骤：
采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
建立多标签负载分类模型实现混合负载与多基准间的映射；
为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优阶段具体包括下述步骤：
后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
通过能效预测模型和相似度评分计算出服务器综合能效评分；
利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
2.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述采集服务器运行单一基准负载时的能效表现和性能计数器数值时，采用拉丁超立方采样生成参数组合，以10％为粒度分别将负载水平设置为10％～100％进行性能计数器与能效表现相关指标的采集。
3.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述负载分类模型的训练过程中，使用特征筛选算法获取CPU、内存、磁盘负载上最显著的特征，然后采用K最近邻算法记录每个基准负载的数据记录；所述负载分类模型的输入为性能计数器，输出为相似度评分；
所述性能预测模型的输入为性能计数器，输出为数值；所述最大性能评估模型的输入为CPU、内存、磁盘相关的系统可调节参数，输出为最大性能预测值；所述能效预测模型的输入为CPU、内存、磁盘相关的系统可调节参数以及估算性能值，输出为能效预测值；估算性能值为性能预测值与最大性能预测值中的更小者。
4.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优，具体为：
基于不同基准负载的能效曲线确定每个CPU频率的最优能效利用率区间(Ulower,Uupper)；
根据当前逻辑核的利用率Ucur依次调节每个CPU逻辑核的频率：若低于最优能效利用率下界Ulower则降低频率，若Ucur∈(Ulower，Uupper)则频率不变，若高于最优能效利用率上界Uupper则升高频率，若Ucur达到最大值则大幅提升频率。
5.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分的步骤具体为：
读取离线训练好的K最近邻模型；
利用K最近邻模型计算出当前负载数据点与不同基准的距离；
选出CPU、内存、磁盘三个类别中距离当前负载数据点最接近的基准负载；
将所选的三个基准负载与当前负载数据点的距离进行线性转换得到权重向量w＝{wcpu，wmem，wio}，其中wcpu，wmem，wio分别为计算密集型、内存密集型、IO密集型权重；
使用相应基准负载的性能预测模型获取性能预测值作为负载偏好度向量p＝{pcpu，pmem，pio}，其中pcpu，pmem，pio分别为计算密集型、内存密集型、IO密集型负载偏好度；
对权重向量和负载偏好度向量执行按位相乘操作，得到相似度评分向量c＝{wcpu*pcpu，wmem*pmem，wio*pio}。
6.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述通过能效预测模型和相似度评分计算出服务器综合能效评分，具体为：
采用负载分类模型输出的相似度评分向量c与对应基准负载的能效预测向量E进行点积运算得到服务器的综合能效评分，如下式所示：
fefficiency＝c·E＝ctype*Etype，type∈{cpu，mem，io}。
7.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述在线阶段利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优，具体为：
利用综合能效评分来构建参数搜索算法的目标函数，并通过参数搜索算法进行参数调优，参数搜索算法的目标得分函数score如下式所示：
以获得的相似度评分向量c为依据，对不同密集型负载的参数调优时间进行分配，最后单独划分出Tx秒时间，对所有参数进行迭代调优。
8.面向混合负载的多基准驱动调参服务器能效调优系统，其特征在于，应用于权利要求1-7中任一项所述的面向混合负载的多基准驱动调参服务器能效调优方法，包括离线模型训练模块和在线能效调优模块，所述离线模型训练模块为在线能效调优模块提供模型支持；
所述离线模型训练模块包括运行数据采集单元、第一模型构建单元以及第二模型构建单元；
所述运行数据采集单元，用于采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；
所述第一模型构建单元，用于建立多标签负载分类模型实现混合负载与多基准间的映射；
所述第二模型构建单元，用于为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；
所述在线能效调优模块包括细粒度调优单元、相似度评分单元、综合能效评分单元以及参数调优单元；
所述细粒度调优单元，用于后台持续运行基于能效曲线的快速DVFS方法完成细粒度的CPU频率调优；
所述相似度评分单元，用于使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；
所述综合能效评分单元，用于通过能效预测模型和相似度评分计算出服务器综合能效评分；
所述参数调优单元，用于利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的面向混合负载的多基准驱动调参服务器能效调优方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的面向混合负载的多基准驱动调参服务器能效调优方法。
CN202310444433.5A 2023-04-24 2023-04-24 面向混合负载的多基准驱动调参服务器能效调优方法及装置 Pending CN116737360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310444433.5A CN116737360A (zh) 2023-04-24 2023-04-24 面向混合负载的多基准驱动调参服务器能效调优方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310444433.5A CN116737360A (zh) 2023-04-24 2023-04-24 面向混合负载的多基准驱动调参服务器能效调优方法及装置

Publications (1)

Publication Number Publication Date
CN116737360A true CN116737360A (zh) 2023-09-12

Family

ID=87915873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310444433.5A Pending CN116737360A (zh) 2023-04-24 2023-04-24 面向混合负载的多基准驱动调参服务器能效调优方法及装置

Country Status (1)

Country Link
CN (1) CN116737360A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331677A (zh) * 2023-12-01 2024-01-02 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN118520841A (zh) * 2024-07-23 2024-08-20 上海超捷芯软科技有限公司 集成电路性能预测模型及建模方法、装置、设备、介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331677A (zh) * 2023-12-01 2024-01-02 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN117331677B (zh) * 2023-12-01 2024-02-23 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN118520841A (zh) * 2024-07-23 2024-08-20 上海超捷芯软科技有限公司 集成电路性能预测模型及建模方法、装置、设备、介质

Similar Documents

Publication Publication Date Title
Ni et al. An empirical study on pareto based multi-objective feature selection for software defect prediction
CN116737360A (zh) 面向混合负载的多基准驱动调参服务器能效调优方法及装置
Filippi et al. Parametric bandits: The generalized linear case
Chen et al. Applying feature selection to software defect prediction using multi-objective optimization
Rezoug et al. Guided genetic algorithm for the multidimensional knapsack problem
CN110968272B (zh) 基于时间序列预测的海量小文件存储性能优化方法及系统
CN107908536B (zh) Cpu-gpu异构环境中对gpu应用的性能评估方法及系统
CN109635104A (zh) 数据分类标识方法、装置、计算机设备及可读存储介质
CN113032367A (zh) 面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统
Ismaeel et al. An efficient workload clustering framework for large-scale data centers
Luo et al. A novel multimodal multiobjective memetic algorithm with a local detection mechanism and a clustering-based selection strategy
Guo et al. New algorithms of feature selection and big data assignment for CBR system integrated by bayesian network
Mao et al. Classification algorithm for class imbalanced data based on optimized Mahalanobis-Taguchi system
Mays et al. Decentralized data allocation via local benchmarking for parallelized mobile edge learning
CN104778088A (zh) 一种基于减少进程间通信开销的并行i/o优化方法与系统
Subramanian et al. Load-aware VM migration using hypergraph based CDB-LSTM
Sukthanker et al. HW-GPT-Bench: Hardware-Aware Architecture Benchmark for Language Models
Ma et al. Decision space information driven algorithm for dynamic multiobjective optimization with a changing number of objectives
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法
Himani et al. A comparative study on machine learning based prediction of citations of articles
Ratnayake et al. Evaluating Data Trust in Blockchain-Based IoT Systems Using Machine Learning Techniques
Zhang et al. LOCP: Latency-optimized channel pruning for CNN inference acceleration on GPUs
CN114974462A (zh) 缓蚀效率预测模型的训练方法、装置、设备及存储介质
Jing et al. CBLA_PM: an improved ann-based power consumption prediction algorithm for multi-type jobs on heterogeneous computing server
Mahanipour et al. FMLFS: A federated multi-label feature selection based on information theory in IoT environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination