CN113723538A - 基于层次化迁移学习的跨平台功耗性能预测方法及系统 - Google Patents

基于层次化迁移学习的跨平台功耗性能预测方法及系统 Download PDF

Info

Publication number
CN113723538A
CN113723538A CN202111026774.8A CN202111026774A CN113723538A CN 113723538 A CN113723538 A CN 113723538A CN 202111026774 A CN202111026774 A CN 202111026774A CN 113723538 A CN113723538 A CN 113723538A
Authority
CN
China
Prior art keywords
platform
layer
training data
model
power consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111026774.8A
Other languages
English (en)
Other versions
CN113723538B (zh
Inventor
齐新新
陈娟
邓林
袁远
欧祉辛
张云放
孙雨阳
郭逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111026774.8A priority Critical patent/CN113723538B/zh
Publication of CN113723538A publication Critical patent/CN113723538A/zh
Application granted granted Critical
Publication of CN113723538B publication Critical patent/CN113723538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于层次化迁移学习的跨平台功耗性能预测方法及系统，本发明包括采集源平台的应用层、中间层和平台层的训练数据，以及目标平台的中间层和平台层的训练数据；选择n个主元特征；将源平台的三层训练数据划分四层，利用上两层构建应用层模型Su，利用下两层构建平台层模型Sd；为源平台的平台层模型Sd加权得到目标平台的平台层模型Td；将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成跨平台功耗‑性能预测模型。本发明能够借助源平台上已经建好的功耗‑性能模型，综合考虑特征和样本两个维度，在达到较高模型准确率的情况下，尽可能减少在目标平台上构建功耗‑性能模型所需的训练数据。

Description

基于层次化迁移学习的跨平台功耗性能预测方法及系统
技术领域
本发明涉及高性能计算应用的功耗-性能预测技术，具体涉及一种基于层次化迁移学习的跨平台功耗性能预测方法及系统。
背景技术
功耗和性能的建模和预测对于高性能计算(High Performance Computing,HPC)领域的性能优化，能量感知的资源分配、任务调度和能量有效性优化至关重要。应用的问题规模和复杂性的不断增加对高性能计算系统提出了更高的性能需求，这促进了高性能计算硬件体系结构的快速和多元化发展。在异构多核计算时代，快速且准确地调整针对既有平台(源平台)建立的功耗-性能模型，将其运用到新平台(目标平台)是非常重要的。然而，在目标平台上重建准确的功耗-性能模型通常需要大量的训练数据，这带来了高昂的时间开销。在保证较高准确率的情况下，降低跨平台建模的开销是目前跨平台功耗-性能预测研究所面临的关键问题。
功耗-性能建模所需的训练数据常用设计矩阵来表示。设计矩阵的每一行包含一个不同的样本，每一列对应不同的特征。可以人为地将功耗-性能建模所需的训练数据划分为样本和特征两个维度。降低跨平台建模开销的本质是减少建模所需的训练数据，即最小化样本量和特征量。然而，通过同时减少特征量和样本量达到减少训练数据是一个巨大的挑战。困难在于如何以尽可能少的样本量或特征量来确保两个维度的协调和平衡，以实现预期的功耗-性能预测准确率。协调是指同时考虑特征和样本这两个维度，考虑两个维度的依赖关系。平衡是指在单个维度内选择最关键的特征和最佳的样本量，最终达到预期的准确率。
现有的跨平台功耗-性能预测方法仅从单一维度减少训练数据量。由于忽略了样本-特征之间的相互作用和依赖关系，建模准确率往往不高。例如，Sun等人仅考虑通过减少特征维的数据量以减少数据获取开销，他们使用尽可能少的特征来减少跨平台功耗-性能建模的训练数据量。但是，特征量的减少是以模型的准确率为代价的。在他们的工作中，性能预测的准确率仅为77.3％。Marathe等人则从样本维出发，通过减少样本量的方式减少训练所需数据量。他们使用迁移学习将源平台上各个要素之间的隐含关系直接导入到目标平台中，从而减少跨平台性能建模所需的样本量。但是，该方法无法同时减少特征量，模型的准确率仅为80％。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于层次化迁移学习的跨平台功耗性能预测方法及系统，本发明能够借助源平台上已经建好的功耗-性能模型，综合考虑特征和样本两个维度，在达到较高模型准确率的情况下，尽可能减少在目标平台上构建功耗-性能模型所需的训练数据。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于层次化迁移学习的跨平台功耗性能预测方法，包括：
1)采集源平台的应用层、中间层和平台层的训练数据，以及目标平台的中间层和平台层的训练数据，应用层的训练数据是指应用程序的参数，中间层的训练数据是指特定应用程序在特定平台上运行时产生的性能事件信息，平台层的训练数据是指平台的硬件配置参数；
2)使用嵌入式特征选择方法，为源平台和目标平台的训练数据选择n个主元特征；
3)将源平台的三层训练数据进一步划分得到四层训练数据，且利用上两层训练数据构建源平台的应用层模型Su，利用下两层训练数据构建源平台的平台层模型Sd；采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td；采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成跨平台功耗-性能预测模型。
可选地，步骤1)中采集源平台的应用层、中间层和平台层的训练数据时，采集应用层的训练数据是指使用shell脚本在程序运行时产生的日志文件中提取与输入参数和用户配置参数有关的字段以获取应用程序的参数；采集中间层的训练数据是指使用shell脚本处理操作系统配置文件以获取特定应用程序在特定平台上运行时产生的性能事件信息；采集平台层的训练数据是指使用性能监视工具perf进行定期采样以获取平台的硬件配置参数。
可选地，步骤2)包括：
2.1)采用LASSO回归选择k个特征；
2.2)利用决策树模型，进一步从k个特征中选择n个特征作为主元特征。
可选地，步骤2.1)中采用LASSO回归选择k个特征时，所采用的代价函数的函数表达式为：
Figure BDA0003243581540000021
上式中，N为特征向量包含的特征数目，
Figure BDA0003243581540000022
为与特征向量对应的权值向量，
Figure BDA0003243581540000023
为特征向量，b为常数项，yi表示目标平台上的观测值，λ‖w‖1为惩罚项，其中λ为惩罚系数，‖w‖1为权值w的一次范数。
可选地，步骤3)中将源平台的三层训练数据进一步划分得到四层训练数据的步骤包括：针对中间层的主元特征，分别根据下式计算与应用层的主元特征相关的皮尔森相关系数Papp、与平台层的主元特征相关的皮尔森相关系数Pplat；
Figure BDA0003243581540000024
上式中，ρX,Y表示被计算的皮尔森相关系数，X表示中间层的主元特征，Y表示应用层或平台层的主元特征，cov(X,Y)表示X和Y的协方差，σX表示X的标准差，σY表示Y的标准差，μX表示主元特征X的方差，μY表示主元特征Y的方差，E表示期望；选择与应用层的主元特征相关的皮尔森相关系数Papp大于预设阈值的的中间层的主元特征作为应用相关的中间层特征，选择与平台层的主元特征相关的皮尔森相关系数Pplat大于预设阈值的中间层的主元特征作为平台相关的中间层特征；将应用层的主元特征、应用相关的中间层特征作为上两层训练数据；将平台层的主元特征、平台相关的中间层特征作为下两层训练数据，从而得到四层训练数据。
可选地，步骤3)中采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td的步骤包括：在目标平台上找到与源平台对应的主元特征，在找到与源平台上主元特征集合B相对应的主元特征集合B’后，使用B'作为训练数据，并使用极端随机树重新加权源平台的平台层模型Sd，调整源平台的平台层模型Sd使得损失函数L最小化，得到目标平台的平台层模型。
可选地，所述使得损失函数L最小化的函数表达式为：
Figure BDA0003243581540000031
上式中，min是指最小化函数，
Figure BDA0003243581540000032
表示在目标平台上的预测值，
Figure BDA0003243581540000033
表示目标平台上的第i个特征向量
Figure BDA0003243581540000034
对应的权重向量，
Figure BDA0003243581540000035
表示目标平台上的第i个特征向量，
Figure BDA0003243581540000036
包含n个分量，m表示目标平台上特征向量的数目，
Figure BDA0003243581540000037
为目标平台上每个样本的观测值，
Figure BDA0003243581540000038
由m个常量yit组成，对每一个常量yit需要满足
Figure BDA0003243581540000039
最小化。
可选地，步骤3)中采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成的跨平台功耗-性能预测模型包括两个个体层和一个合并层，两个个体层分别为源平台的应用层模型Su、目标平台的平台层模型Td，两个个体层分别把训练数据x1和x2作为输入得到预测值输出给合并层，通过所述合并层得到最终的跨平台功耗性能预测结果Y。
此外，本发明还提供一种基于层次化迁移学习的跨平台功耗性能预测系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于层次化迁移学习的跨平台功耗性能预测方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于层次化迁移学习的跨平台功耗性能预测方法的计算机程序。
和现有技术相比，本发明主要具有下述优点：本发明包括采集源平台的应用层、中间层和平台层的训练数据，以及目标平台的中间层和平台层的训练数据；选择n个主元特征；将源平台的三层训练数据划分四层，利用上两层构建应用层模型Su，利用下两层构建平台层模型Sd；为源平台的平台层模型Sd加权得到目标平台的平台层模型Td；将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成跨平台功耗-性能预测模型。本发明能够借助源平台上已经建好的功耗-性能模型，综合考虑特征和样本两个维度，在达到较高模型准确率的情况下，尽可能减少在目标平台上构建功耗-性能模型所需的训练数据。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中形成跨平台功耗-性能预测模型的原理示意图。
具体实施方式
如图1所示，本实施例基于层次化迁移学习的跨平台功耗性能预测方法包括：
1)采集源平台的应用层、中间层和平台层的训练数据，以及目标平台的中间层和平台层的训练数据，应用层的训练数据是指应用程序的参数，中间层的训练数据是指特定应用程序在特定平台上运行时产生的性能事件信息，平台层的训练数据是指平台的硬件配置参数；
2)使用嵌入式特征选择方法，为源平台和目标平台的训练数据选择n个主元特征；
3)构建跨平台功耗-性能预测模型：将源平台的三层训练数据进一步划分得到四层训练数据，且利用上两层训练数据构建源平台的应用层模型Su，利用下两层训练数据构建源平台的平台层模型Sd；采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td；采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成跨平台功耗-性能预测模型，如图2所示。
本实施例首先需要采集跨平台功耗-性能预测所需的训练数据。源平台为IntelXeon E5-2660 v3，目标平台为Intel Xeon Gold 6134。训练数据分为三种类型，分别是：应用相关的训练数据(记为应用层训练数据)，应用-平台均相关的训练数据(记为中间层训练数据)和平台相关的训练数据(记为平台层训练数据)。应用层训练数据指的是所关心应用的输入参数及用户在提交作业时设置的配置参数，如进程数，结点数等。平台层训练数据是指所关心平台的硬件配置参数，如CPU频率，内存容量和缓存大小等。中间层训练数据指的是当特定应用程序在特定平台上运行时产生的运行时信息，即性能事件信息，例如缓存失效率，指令数，周期数等。性能事件信息直接反映了应用程序运行在特定平台时，由于应用和平台交互引起的各类计算机系统活动，如访存，计算等。这些性能事件信息可通过性能监视计数器(Performance Monitoring Counter，记为PMC)收集。每运行一次应用程序，可采集到三种类型的训练数据，组成训练向量
Figure BDA0003243581540000041
(1<i<N，N为样本总数)。
本实施例中，步骤1)中采集源平台的应用层、中间层和平台层的训练数据时，采集应用层的训练数据是指使用shell脚本在程序运行时产生的日志文件中提取与输入参数和用户配置参数有关的字段以获取指应用程序的参数；采集中间层的训练数据是指使用shell脚本处理操作系统配置文件以获取特定应用程序在特定平台上运行时产生的性能事件信息；采集平台层的训练数据是指使用性能监视工具perf进行定期采样以获取平台的硬件配置参数。
其中，采集源平台的应用层，中间层和平台层训练数据的详细步骤包括：在IntelXeon E5-2660 v3上使用shell脚本在程序运行时产生的日志文件中提取与输入参数和用户配置参数有关的字段以获取应用层训练数据；在Intel Xeon E5-2660 v3上使用shell脚本处理操作系统配置文件以获取平台层训练数据；在Intel Xeon E5-2660 v3上运行应用程序，使用性能监视工具perf进行定期采样以获取中间层训练数据。
其中，采集目标平台的中间层和平台层训练数据的详细步骤包括：在Intel XeonGold 6134上使用shell脚本处理操作系统配置文件以获取平台层训练数据；在Intel XeonGold 6134上运行应用程序，使用性能监视工具perf进行定期采样以获取中间层训练数据。
本实施例中，步骤2)包括：
2.1)采用LASSO回归选择k个特征；
2.2)利用决策树模型，进一步从k个特征中选择n个特征作为主元特征。
LASSO回归模型是由1996年Robert Tibshirani首次提出一种压缩估计方法，它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零，保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。通过设置惩罚系数λ，为源平台和目标平台采集到的由N个特征构成的训练数据构建代价函数并最小化代价函数，得到k个特征；本实施例中，步骤2.1)中采用LASSO回归选择k个特征时，所采用的代价函数的函数表达式为：
Figure BDA0003243581540000051
上式中，N为特征向量包含的特征数目，
Figure BDA0003243581540000052
为与特征向量对应的权值向量，
Figure BDA0003243581540000053
为特征向量，b为常数项，yi表示目标平台上的观测值，λ‖w‖1为惩罚项，其中λ为惩罚系数，‖w‖1为w的一次范数。本实施例中仅仅涉及LASSO回归模型的典型运用，故决策树模型的实现细节在此不再展开说明。
决策树模型是一种简单易用的非参数分类器，利用决策树模型，按照重要性对选定的k个特征排序，设定特征数目阈值n(n<k)，分别为源平台和目标平台选择前n个特征作为主元特征，结束并返回。本实施例中仅仅涉及决策树模型的典型运用，故决策树模型的实现细节在此不再展开说明。
本实施例步骤3)中将源平台的三层训练数据进一步划分得到四层训练数据时，首先找出与应用层和平台层最相关的中间层特征。然后使用Pearson相关系数判断中间层特征中与应用相关的特征和与平台相关的特征，以便于中间层特征的进一步划分。值得注意的是，当两个变量的标准差都不为0时，Pearson相关系数才有意义。与应用层特征相比，平台层参数数目较少，且变化不大。因此我们求解关键特征和与应用层特征之间的相关性以找出中间层特征中与应用层特征强相关的特征并丢弃，剩余特征即为与平台强相关的中间层特征。然后，使用极端随机树方法，分别利用上两层特征和下两层特征，在源平台上构建应用层模型和平台层模型。本实施例步骤3)中将源平台的三层训练数据进一步划分得到四层训练数据的步骤包括：针对中间层的主元特征，分别根据下式计算与应用层的主元特征相关的皮尔森相关系数Papp、与平台层的主元特征相关的皮尔森相关系数Pplat；
Figure BDA0003243581540000061
上式中，ρX,Y表示被计算的皮尔森相关系数(即与应用层的主元特征相关的皮尔森相关系数Papp或者与平台层的主元特征相关的皮尔森相关系数Pplat)，cov(X,Y)表示X和Y的协方差，σX表示X的标准差，σY表示Y的标准差，μX表示主元特征X的方差，μY表示主元特征Y的方差，E表示期望；选择与应用层的主元特征相关的皮尔森相关系数Papp大于预设阈值的的中间层的主元特征作为应用相关的中间层特征，选择与平台层的主元特征相关的皮尔森相关系数Pplat大于预设阈值的的中间层的主元特征作为平台相关的中间层特征；将应用层的主元特征、应用相关的中间层特征作为上两层训练数据；将平台层的主元特征、平台相关的中间层特征作为下两层训练数据，从而得到四层训练数据。例如，本实施例中以0.8作为相关性阈值，选定Papp>0.8的特征为应用相关的中间层特征，选定Pplat>0.8的平台层特征为平台相关的中间层特征。然后，我们利用应用层和与应用相关的中间层所包含的特征构建源平台的应用层模型Su；利用平台层和与平台相关的中间层所包含的特征构建源平台的平台层模型Sd。
本实施例步骤3)中采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td的步骤包括：在目标平台上找到与源平台对应的主元特征，在找到与源平台上主元特征集合B相对应的主元特征集合B’后，使用B'作为训练数据，并使用极端随机树重新加权源平台的平台层模型Sd，调整源平台的平台层模型Sd使得损失函数L最小化，得到目标平台的平台层模型。
本实施例中，使得损失函数L最小化的函数表达式为：
Figure BDA0003243581540000062
上式中，min是指最小化函数，
Figure BDA0003243581540000063
表示在目标平台上的预测值，
Figure BDA0003243581540000064
表示目标平台上的第i个特征向量
Figure BDA0003243581540000065
对应的权重向量，
Figure BDA0003243581540000066
表示目标平台上的第i个特征向量，
Figure BDA0003243581540000067
包含n个分量，m表示目标平台上特征向量的数目，
Figure BDA0003243581540000068
为目标平台上每个样本的观测值，
Figure BDA0003243581540000069
由m个常量yit组成，对每一个常量yit需要满足
Figure BDA00032435815400000610
最小化。
参见图2，本实施例步骤3)中采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成的跨平台功耗-性能预测模型包括两个个体层和一个合并层，两个个体层分别为源平台的应用层模型Su、目标平台的平台层模型Td，两个个体层分别把训练数据x1和x2作为输入得到预测值输出给合并层，通过所述合并层得到最终的跨平台功耗性能预测结果Y。
综上所述，本实施例方法包括采集跨平台功耗-性能建模所需的应用层，中间层和平台层训练数据，组成训练向量
Figure BDA0003243581540000071
(1<i<N，N为样本总数)；使用嵌入式特征选择方法，在模型训练过程中自动进行特征选择，为源平台和目标平台选择n个主元特征；采用中间层特征划分方法将建模所需的三层训练数据进一步分割，得到四层训练数据，利用上两层训练数据构建源平台的应用层模型，利用下两层训练数据构建源平台的平台层模型；采用层次化迁移学习方法，为源平台的平台层模型重新加权，得到目标平台的平台层模型；采用模型融合方法，将源平台的应用层模型和目标平台的平台层模型进行加权组合，最终形成跨平台功耗-性能模型。本实施例能够借助源平台上已经建好的功耗-性能模型，综合考虑特征和样本两个维度，在达到较高准确率的情况下，尽可能减少目标平台上功耗-性能建模所需的训练数据量。
此外，本实施例还提供一种基于层次化迁移学习的跨平台功耗性能预测系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于层次化迁移学习的跨平台功耗性能预测方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于层次化迁移学习的跨平台功耗性能预测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，包括：
1)采集源平台的应用层、中间层和平台层的训练数据，以及目标平台的中间层和平台层的训练数据，应用层的训练数据是指应用程序的参数，中间层的训练数据是指特定应用程序在特定平台上运行时产生的性能事件信息，平台层的训练数据是指平台的硬件配置参数；
2)使用嵌入式特征选择方法，为源平台和目标平台的训练数据选择n个主元特征；
3)将源平台的三层训练数据进一步划分得到四层训练数据，且利用上两层训练数据构建源平台的应用层模型Su，利用下两层训练数据构建源平台的平台层模型Sd；采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td；采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成跨平台功耗-性能预测模型。
2.根据权利要求1所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤1)中采集源平台的应用层、中间层和平台层的训练数据时，采集应用层的训练数据是指使用shell脚本在程序运行时产生的日志文件中提取与输入参数和用户配置参数有关的字段以获取应用程序的参数；采集中间层的训练数据是指使用shell脚本处理操作系统配置文件以获取特定应用程序在特定平台上运行时产生的性能事件信息；采集平台层的训练数据是指使用性能监视工具perf进行定期采样以获取平台的硬件配置参数。
3.根据权利要求1所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤2)包括：
2.1)采用LASSO回归选择k个特征；
2.2)利用决策树模型，进一步从k个特征中选择n个特征作为主元特征。
4.根据权利要求3所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤2.1)中采用LASSO回归选择k个特征时，所采用的代价函数的函数表达式为：
Figure FDA0003243581530000011
上式中，N为特征向量包含的特征数目，
Figure FDA0003243581530000012
为与特征向量对应的权值向量，
Figure FDA0003243581530000013
为特征向量，b为常数项，yi表示目标平台上的观测值，λ‖w‖1为惩罚项，其中λ为惩罚系数，‖w‖1为权值w的一次范数。
5.根据权利要求1所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤3)中将源平台的三层训练数据进一步划分得到四层训练数据的步骤包括：针对中间层的主元特征，分别根据下式计算与应用层的主元特征相关的皮尔森相关系数Papp、与平台层的主元特征相关的皮尔森相关系数Pplat；
Figure FDA0003243581530000014
上式中，ρX,Y表示被计算的皮尔森相关系数，X表示中间层的主元特征，Y表示应用层或平台层的主元特征，cov(X,Y)表示X和Y的协方差，σX表示X的标准差，σY表示Y的标准差，μX表示主元特征X的方差，μY表示主元特征Y的方差，E表示期望；选择与应用层的主元特征相关的皮尔森相关系数Papp大于预设阈值的中间层的主元特征作为应用相关的中间层特征，选择与平台层的主元特征相关的皮尔森相关系数Pplat大于预设阈值的中间层的主元特征作为平台相关的中间层特征；将应用层的主元特征、应用相关的中间层特征作为上两层训练数据；将平台层的主元特征、平台相关的中间层特征作为下两层训练数据，从而得到四层训练数据。
6.根据权利要求1所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤3)中采用层次化迁移学习方法为源平台的平台层模型Sd加权得到目标平台的平台层模型Td的步骤包括：在目标平台上找到与源平台对应的主元特征，在找到与源平台上主元特征集合B相对应的主元特征集合B’后，使用B'作为训练数据，并使用极端随机树重新加权源平台的平台层模型Sd，调整源平台的平台层模型Sd使得损失函数L最小化，得到目标平台的平台层模型。
7.根据权利要求6所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，所述使得损失函数L最小化的函数表达式为：
Figure FDA0003243581530000021
上式中，min是指最小化函数，
Figure FDA0003243581530000022
表示在目标平台上的预测值，
Figure FDA0003243581530000023
表示目标平台上的第i个特征向量
Figure FDA0003243581530000024
对应的权重向量，
Figure FDA0003243581530000025
表示目标平台上的第i个特征向量，
Figure FDA0003243581530000026
包含n个分量，m表示目标平台上特征向量的数目，
Figure FDA0003243581530000027
为目标平台上每个样本的观测值，
Figure FDA0003243581530000028
由m个常量yit组成，对每一个常量yit需要满足
Figure FDA0003243581530000029
最小化。
8.根据权利要求1所述的基于层次化迁移学习的跨平台功耗性能预测方法，其特征在于，步骤3)中采用模型融合方法将源平台的应用层模型Su、目标平台的平台层模型Td进行加权组合形成的跨平台功耗-性能预测模型包括两个个体层和一个合并层，两个个体层分别为源平台的应用层模型Su、目标平台的平台层模型Td，两个个体层分别把训练数据x1和x2作为输入得到预测值输出给合并层，通过所述合并层得到最终的跨平台功耗性能预测结果Y。
9.一种基于层次化迁移学习的跨平台功耗性能预测系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于层次化迁移学习的跨平台功耗性能预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述基于层次化迁移学习的跨平台功耗性能预测方法的计算机程序。
CN202111026774.8A 2021-09-02 2021-09-02 基于层次化迁移学习的跨平台功耗性能预测方法及系统 Active CN113723538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026774.8A CN113723538B (zh) 2021-09-02 2021-09-02 基于层次化迁移学习的跨平台功耗性能预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026774.8A CN113723538B (zh) 2021-09-02 2021-09-02 基于层次化迁移学习的跨平台功耗性能预测方法及系统

Publications (2)

Publication Number Publication Date
CN113723538A true CN113723538A (zh) 2021-11-30
CN113723538B CN113723538B (zh) 2024-02-06

Family

ID=78681051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026774.8A Active CN113723538B (zh) 2021-09-02 2021-09-02 基于层次化迁移学习的跨平台功耗性能预测方法及系统

Country Status (1)

Country Link
CN (1) CN113723538B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547482A (zh) * 2022-03-03 2022-05-27 智慧足迹数据科技有限公司 业务特征生成方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427750A (zh) * 2020-04-09 2020-07-17 中国人民解放军国防科技大学 一种计算机平台的gpu功耗估计方法、系统及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427750A (zh) * 2020-04-09 2020-07-17 中国人民解放军国防科技大学 一种计算机平台的gpu功耗估计方法、系统及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KENNETH O\'BRIEN等: "A Survey of Power and Energy Predictive Models in HPC Systems and Applications", ACM COMPUTING SURVEYS, vol. 50, no. 3, XP058666369, DOI: 10.1145/3078811 *
KENNETH O\'NEAL等: "Predictive Modeling for CPU, GPU and FPGA Performance and Power Consumption: A Survey", 2018 IEEE COMPUTER SOCIETY ANNUAL SYMPOSIUM ON VLSI *
RAJAT KUMAR等: "Cross-Platform Performance Prediction with Transfer Learning using Machine Learning", 2020 11TH INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND NETWORKING TECHNOLOGIES (ICCCNT) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547482A (zh) * 2022-03-03 2022-05-27 智慧足迹数据科技有限公司 业务特征生成方法、装置、电子设备及存储介质
CN114547482B (zh) * 2022-03-03 2023-01-20 智慧足迹数据科技有限公司 业务特征生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113723538B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US10963292B2 (en) Techniques to manage virtual classes for statistical tests
Park et al. Deep learning inference in facebook data centers: Characterization, performance optimizations and hardware implications
Patel et al. A hybrid CNN-LSTM model for predicting server load in cloud computing
CN111258767A (zh) 复杂系统仿真应用的云计算资源智能分配方法与装置
US8966087B2 (en) Load characteristic estimation system, load characteristic estimation method, and program
Li et al. Machine learning based online performance prediction for runtime parallelization and task scheduling
Maros et al. Machine learning for performance prediction of spark cloud applications
CN111638958A (zh) 云主机负载处理方法、装置、控制设备及存储介质
CN113220450A (zh) 面向云端多数据中心的负载预测方法、资源调度方法及装置
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
JP3792879B2 (ja) 並列実行システム
Singh et al. A machine learning approach for modular workflow performance prediction
CN112434785A (zh) 一种面向超级计算机的分布式并行深度神经网络性能评测方法
Kaim et al. Ensemble cnn attention-based bilstm deep learning architecture for multivariate cloud workload prediction
CN113723538B (zh) 基于层次化迁移学习的跨平台功耗性能预测方法及系统
CN112000460A (zh) 一种基于改进贝叶斯算法的服务扩缩容的方法及相关设备
CN113158435B (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
Ni et al. Online performance and power prediction for edge TPU via comprehensive characterization
CN116820730A (zh) 多引擎计算系统的任务调度方法、装置及存储介质
Bansal et al. Deep learning-based workload prediction in cloud computing to enhance the performance
Piao et al. Computing resource prediction for mapreduce applications using decision tree
Ismaeel et al. A systematic cloud workload clustering technique in large scale data centers
Li et al. The extreme counts: modeling the performance uncertainty of cloud resources with extreme value theory
Abdou et al. Capillaryx: a software design pattern for analyzing medical images in real-time using deep learning
CN115309502A (zh) 一种容器调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant