CN116737521A - 一种基于自监督对比学习的hpc作业功耗预测方法及系统 - Google Patents

一种基于自监督对比学习的hpc作业功耗预测方法及系统 Download PDF

Info

Publication number
CN116737521A
CN116737521A CN202310744383.2A CN202310744383A CN116737521A CN 116737521 A CN116737521 A CN 116737521A CN 202310744383 A CN202310744383 A CN 202310744383A CN 116737521 A CN116737521 A CN 116737521A
Authority
CN
China
Prior art keywords
power consumption
data
hpc
learning
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310744383.2A
Other languages
English (en)
Inventor
张�杰
李响
田学森
赵志刚
王继彬
武鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310744383.2A priority Critical patent/CN116737521A/zh
Publication of CN116737521A publication Critical patent/CN116737521A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于HPC作业预测领域，提供了一种基于自监督对比学习的HPC作业功耗预测方法及系统，本发明采用了基于表示学习和自监督学习的方法进行训练，采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。

Description

一种基于自监督对比学习的HPC作业功耗预测方法及系统
技术领域
本发明属于HPC作业预测领域，尤其涉及一种基于自监督对比学习的HPC作业功耗预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
对于高性能计算(High performance computing，HPC)平台而言，HPC作业功耗时间序列对作业功耗的预测是至关重要的，因为它可以帮助HPC管理员优化作业分配和资源调度，从而提高计算效率和性能。
传统的时间序列预测方法通常采用基于统计学的方法，如自回归移动平均(Autoregressive Integrated Moving Average model，ARIMA)和指数平滑时间序列(Exponential Time Smoothing，ETS)等。ARIMA模型可以捕捉到时间序列的历史趋势和周期性，并以此进行预测，而ETS可以对不同时间序列进行组合以提高预测精准性，上述模型都是时间序列预测中常用的方法。但是，这些方法通常需要大量领域知识和手工调整参数，限制了它们的泛化能力和预测精度。
除了传统的基于统计学的方法，近年来深度学习方法已经成为时间序列预测的主流方法之一。其中，循环神经网络(Recurrent Neural Network，RNN)和门控循环单元(GateRecurrent Unit，GRU)等模型，可以通过学习时间序列数据中的长期依赖关系和非线性关系来实现更准确的预测。另外，随着时间序列数据规模的增加，基于图神经网络(GraphNeural Networks,GNN)的方法也成为研究热点，它们能够利用图结构对时间序列数据进行建模和预测。然而，这些模型也存在诸多缺点。首先，RNN和GRU模型需要大量的时间序列数据，然后按照时间步进行计算，计算效率低，计算复杂度高。其次，RNN和GRU模型通常在短期预测上效果较好，但是在长期预测时容易出现偏移现象，导致预测效果不佳。此外，图神经网络考虑了节点之间的关系，可以将节点信息和他们的关系结合在一起进行预测，比较适用于图数据的预测。但是，图神经网络模型通常比较复杂，需要更多的计算资源以及更长的训练时间，使得图神经网络在处理大规模数据集时的预测效率较低。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于自监督对比学习的HPC作业功耗预测方法及系统，其将时间序列数据转化为向量表示，然后利用这些向量进行预测，模型考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于传统预测方法。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于自监督对比学习的HPC作业功耗预测方法，包括如下步骤：
获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
本发明的第二个方面提供一种基于自监督对比学习的HPC作业功耗预测系统，包括：
数据获取模块，其用于获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
作业功耗预测模块，其用于基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明采用了基于表示学习和自监督学习的方法进行训练，在不需要标注数据的情况下自动学习时间序列数据的特征表示，本模型将时间序列数据转化为向量表示，然后利用这些向量进行预测。模型考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。
2、通过学习时间序列数据的表示，能够更加准确地预测HPC作业所产生的高功耗。相比于传统的预测方法，本发明采用了一种全新的思路，即利用对时间序列数据进行对比学习的方式，将时间序列数据转换为更能有效表示时间序列特征的向量，从而使得预测效果得到了显著提高。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的HPC作业功耗预测框架图；
图2是本发明实施例提供的LTTB降采样原始图；
图3是本发明实施例提供的LTTB降采样效果图；
图4是本发明实施例提供的时间戳掩码；
图5是本发明实施例提供的基于对比学习的作业功耗预测效果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明采用基于表示学习和自监督学习的方法进行训练，这意味着可以在不需要标注数据的情况下自动学习时间序列数据的特征表示，本预测模型将时间序列数据转化为向量表示，然后利用这些向量进行预测。考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。
具体来说，本发明利用自监督对比学习的思想，在同一时间戳的两个视图的输入序列表示之间建立正对，而将来自同一输入序列但不同时间戳的输入序列表示以及来自不同时间序列的表示视为负对。这种训练方法能够在时间序列数据中自动学习出连续的向量表示，无需手动调参和依赖领域知识，可以将时间序列数据转化为向量形式进行处理。此外，本发明还采用了预训练模型的思想，通过在大规模数据集上进行预训练，将学习到的知识迁移到具体任务中，从而提高模型的泛化能力和预测精度。
本发明提出的新的对比学习模型，在HPC作业功耗时间序列数据预测方面表现出巨大的潜力，在HPC作业功耗预测中已经证明了其有效性，并且它在预测精度方面优于传统模型，相信其可以在时间序列领域发挥出重要作用。
实施例一
本发明针对HPC平台的无标记作业功耗数据进行预测，提出了一种全新的方法。该方法首先利用聚类算法将时间序列数据分组，然后使用LTTB方法(即Largest-Triangle-Three-Buckets)对每组数据进行降采样处理，以减少数据中的噪声，便于更好地进行预测。
此外，本发明为了提高时间序列数据的多样性，采用随机截取两个具有重叠区域的子序列的方式进行数据增强，以增强模型的泛化能力。具体地，我们从一个完整的时间序列数据中随机截取两个子序列，并且这两个子序列之间具有一定的重叠区域。然后，对这两个子序列进行数据增强，从而增加数据的多样性和复杂度。通过这种方式，我们可以有效地提高模型对于不同时间序列数据的表征能力和泛化能力，提高模型的鲁棒性和性能表现。
接下来，经过增强的数据通过编码方式将其映射到高层特征空间，生成向量表示。具体而言，该方法采用了输入投影层、时间戳掩码和空洞卷积神经网络模块进行编码。其中，输入投影层将数据从原始空间映射到高层特征空间，时间戳掩码用于解决时间戳对齐的问题，而空洞卷积神经网络模块则用于捕捉序列中的长期依赖关系，从而提高预测的准确性。
然后，本发明采用向量对比的方式进行学习，将生成的向量表示在时间戳级别以及实例级别进行对比，并沿时间戳级别进行最大池化操作。最后，在两个级别上分别计算对比损失，以更全面地学习时间序列数据的特征，提高其预测准确性和鲁棒性。
具体，以实施例的方式进一步说明。
如图1所示，本实施例提供一种基于自监督对比学习的HPC作业功耗预测方法，
包括如下步骤：
步骤1：获取HPC作业功耗数据，并转化为时间序列；
步骤2：对HPC作业功耗数据进行预处理；
步骤2中，所述对HPC作业功耗数据进行预处理的过程包括：
采用DTW的聚类方法对HPC作业功耗数据进行聚类得到数据特征，通过增强模型学习数据特征的判别能力，提高模型的泛化能力以及鲁棒性。
聚类模型的输入是HPC作业功耗数据原始时间序列：
Xori＝{x1,x2,…,xm} (1)
式中，xm表示HPC作业功耗数据原始时间序列中的第m个数据；
经过聚类模型之后的输出是：
式中，第n个簇中的第m个数据；
本发明在对时间序列数据进行聚类之后，采用最大三角形三桶算法(Largest-Triangle-Three-Buckets，LTTB)的方法对时间序列数据进行降采样处理，其有效地减小了数据的大小和复杂度。
上述技术优势在于，将聚类思想引入到模型中，可以通过将数据聚类为不同的簇，然后对每一个簇中不同的时间序列数据存在的细微差别进行提取，进而得到可以更好地表征数据的信息和特征，并增强模型的特征提取能力，提高模型的鲁棒性，并降低对数据分布的假设。
该降采样的主要目的是在不丢失过多信息的情况下，将数据点的数量减少到一个可视化范围内的合理数量。
该降采样的过程包括：将时间序列数据分成若干个桶(Bucket)，并在每个桶内选取三个顶点，以保证采样数据的精度和有效性。最后，将每个桶内的三个顶点的平均值作为该桶的输出值，从而得到了降采样后的时间序列数据。
处理之后的数据是：
x′clu＝{x′1 1,x′2 1,…,x′i 1；x′1 2,…,x′k 2；…,x′m n} (3)
上述技术优势在于，对于聚类之后的数据进行降采样处理，尽可能的保留原始数据的特征和信息，以减少噪声对功耗数据的影响，并消除数据中的冗余信息，使数据更加紧凑和更具代表性。
如图2和图3是LTTB降采样原始图和效果图，可以看到：数据点有明显减少，但是通过局部放大图可以看出，数据的基本趋势并无明显改变，也就是说，通过LTTB降采样之后，原始的时间序列在保留基本趋势的情况下，会减少数据点。
步骤3：数据增强
将经过预处理之后的数据x′clu按照簇进行输入，以提取聚类数据之间的潜在特征信息。
为了提高时间序列数据的多样性，采用随机截取两个具有重叠区域的子序列的方式进行数据增强，以增强模型的泛化能力。具体地，从一个完整的时间序列数据中随机截取两个子序列，并且这两个子序列之间具有一定的重叠区域。然后，对这两个子序列进行数据增强，从而增加数据的多样性和复杂度。通过这种方式，可以有效地提高模型对于不同时间序列数据的表征能力和泛化能力，提高模型的鲁棒性和性能表现。
所述数据增强的过程包括：
步骤301：从输入时间序列x′ m∈R中随机截取两个具有部分相同时间戳的子序列[a1,b1]和[a2,b2]，使得0＜a1≤a2≤b1≤b2≤T，T表示的是时间戳，表示截取的子序列的取值范围应该是从0时刻到最大时间T之间，这两个子序列需要有一部分是重叠的，如预测框架图中的[a2,b1]，[a2,b1]的上下文，也就是[a1,a2]和[b1,b2]的表示应该是一致的。
即因为两个子序列有重叠区域[a2,b1]，所以两个子序列中没有重叠的部分[a1,a2]和[b1,b2]的表示是一致的。
步骤302：然后对[a1,b1]和[a2,b2]这两个子序列进行两种不同的数据增强方式，分别为强增强(Strong Aumentation,Es)和弱增强(Weak Aumentation,Ew)，继而将增强之后的两个子序列Es(x′ m)和Ew(x′ m)作为一个样本输入到Encoder，以生成对应的功耗数据的向量表示。
其中，jitter(·)函数表示在输入向量中添加一个正态分布(均值为0，标准差为0.8)，permutation(·)函数表示输入向量切片的随机位移，scale(·)函数表示输入变量乘以随机变量。
在构建样本时，将功耗数据输入到模型之中，生成功耗数据的向量表示。通过上述操作，可以增加模型的学习难度，从而使模型可以更加准确的提取时间序列数据的特征。
上述技术优势在于，本发明引入了两种不同的数据增强方式，以增强模型对时间序列数据的表征能力，增加模型的学习难度和对抗性，提高模型的鲁棒性和泛化能力。
步骤4：经过增强的数据通过编码器将其映射到高层特征空间，生成向量表示。
所述编码器包括三个部分，分别是输入投影层、时间戳掩码模块和空洞卷积神经网络模块。其中，输入投影层将数据从原始空间映射到高层特征空间，时间戳掩码用于解决时间戳对齐的问题，而空洞卷积神经网络模块则用于捕捉序列中的长期依赖关系，从而提高预测的准确性。
其中，输入投影层是一个全连接层，对于经过数据增强之后的数据Es(x′ m)和Ew(x′ m)，输入投影层将其映射为高维潜在向量Zs(x′ m)和Zw(x′ m)。
时间戳掩码模块使用一个二进制掩码m＝{0,1}T沿时间轴对高维潜在向量Zs(x′ m)和Zw(x′ m)进行随机Mask操作(图4中黑色区域)，即将这些时间戳对应的向量设置为特殊的掩码值，而不使用其真实值，这样，在整个序列中，被掩码的向量对应的时间戳处的信息被隐藏起来。然后利用周围剩余向量对Mask的向量进行预测。其中m的元素是从伯努利分布中独立采样，且每个元素被取到的概率为p＝0.5。通过观察掩码位置周围的向量，模型可以学习到时间序列中的上下文信息，并尝试预测被掩码的向量的值。这种预测过程可以促使模型学习到时间序列的内在模式和规律，并提取有用的特征。
通过采用一个包含十个残差块的扩张卷积神经网络模块来提取每个时间戳的上下文表示，每个残差块由两个1-D卷积层组成，且其中一层带有扩张参数，该参数按照2的指数级别递增(第l个块的参数为2l个)，以此实现对不同领域的大范围感知。
通过这种方式，强制每个时间序列数据在不同的上下文中重建自身，增加模型的学习难度，提高模型的泛化能力和表示的鲁棒性，从而为下游的预测任务提供更好的特征表示。
步骤5：使用多粒度层次对比的方式进行数据建模，并将损失函数应用于所有的粒度级别。这种多粒度的数据建模方法能够捕捉到时间序列数据在不同时间尺度上的特征信息，从而更加准确地刻画时间序列数据的分布特征。
此外，本模型会在时间粒度上进行最大池化操作，将时间序列的长度缩短，提取其中最显著的特征，以便后续处理。
具体操作是：在每个时间窗口内，将窗口中的所有数值取最大值，并将这些最大值作为该时间窗口的特征表示。这样，最大池化可以将时间序列中的噪声和不重要的特征滤除，只保留最具代表性的特征。最终，每个时间序列被转换为一个固定长度的向量表示，用于后续的预测任务。该操作可以降低模型的计算复杂度，并且在一定程度上可以提高模型的泛化能力。
与此同时，为了提高时间序列数据的表示能力，本实施例采用了时间对比损失以及实例对比损失相结合的方法来对时间序列数据的分布进行编码表示。
时间对比损失：为了学习随时间变化的区分表示，本发明将时间序列的不同增强视图中相同时间戳的向量表示作为正样本，将来自同一时间序列的不同时间戳的表示作为负样本。通过这种方式，模型可以学习到更具区分性的时间序列表示，从而提高模型的性能。设i为输入时间序列样本的索引，t为时间戳，则第i个时间序列在时间戳t处的时间对比损失可以表示为：
式中，为经过LTTB采样的第j个簇中第i个序列的第t时刻的值，Ω为两个子序列重叠范围内的时间戳集合；
实例对比损失：本模型旨在学习出特定类别功耗数据的判别表示。为此，本发明在实例级别上将来自同一聚类中不同时间序列的数据作为负样本进行对比，以生成可以更好表征数据的信息和特征的向量。实例对比损失可以表示为：
式中，B为批处理大小，I表示指示函数。
总体损失可以用下式表示：
上述方法中的时间对比损失和实例对比损失是相互作用的。
时间对比损失和实例对比损失都是关键的训练目标，它们能够为模型提供重要的信息，有助于提高模型的性能和泛化能力。
例如，通过在时间粒度上进行对比，模型可以学习到数据随时间的动态变化趋势，并从中发现有用的规律和模式。而在实例粒度上进行对比，则能够学习到不同类别的数据之间的差异和相似之处，进一步提高模型的数据特征提取能力。这些训练目标相互协作，有助于模型更好地理解数据，提高预测任务的精度和稳定性。在实际应用中，这种方法可以被广泛用于HPC平台作业功耗预测等需要对时间序列数据进行预测和分析的领域。
在时间序列数据分析中，通常需要对时间序列数据进行预测，以便更好地理解和预测未来的趋势和模式。
为了实现这一目标，本发明提出了一种新的时间序列预测方法。该方法将时间序列数据转化为特征向量表示，然后使用线性回归模型进行预测。
具体地，首先使用改进的模型对时间序列数据进行特征提取，将时间序列数据转化为一个向量表示。在这里，本发明使用的是一种基于自编码器的神经网络模型，它可以提取时间序列数据的关键特征。然后，使用这些特征向量训练一个线性回归模型。在训练过程中，使用岭回归算法来减小模型的过拟合，同时使用交叉验证来选择最佳的正则化参数。最后，使用训练好的线性回归模型对测试集的特征数据进行预测，并得到最终的预测结果。
如图5所示，是经过本发明得到的基于对比学习的作业功耗预测效果图。
实施例二
本实施例提供一种基于自监督对比学习的HPC作业功耗预测系统，包括：
数据获取模块，其用于获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
作业功耗预测模块，其用于基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，包括如下步骤：
获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
2.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，在获取HPC作业功耗数据后进行数据预处理和数据增强，包括：
利用聚类算法将HPC作业功耗时间序列分组，对每组数据进行降采样处理，得到数据预处理结果；
结合数据预处理结果，采用随机截取两个具有重叠区域的子序列的方式进行数据增强，得到增强后的数据集。
3.如权利要求2所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述对每组数据进行降采样处理，包括：
将每组时间序列数据分成若干个桶，并在每个桶内选取三个顶点，将每个桶内的三个顶点的平均值作为该桶的输出值，从而得到了降采样后的时间序列数据。
4.如权利要求2所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述采用随机截取两个具有重叠区域的子序列的方式进行数据增强，具体包括：
从输入时间序列随机截取两个具有部分相同时间戳的子序列[a1,b1]和[a2,b2]，使得0＜a1≤a2≤b1≤b2≤T；
对[a1,b1]和[a2,b2]这两个子序列进行两种不同的数据增强方式，分别为强增强和弱增强，将经过强增强和弱增强得到的两个子序列合并一个样本输入编码器中。
5.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述通过编码器将HPC作业功耗时间序列映射到高层特征空间，具体包括：
将HPC作业功耗时间序列经过输入投影层，将其映射为高维潜在向量；
采用二进制掩码沿时间轴对高维潜在向量进行随机Mask操作，然后利用周围剩余向量对Mask的向量进行预测；
结合对Mask的向量得到的预测值，采用了包含十个残差块的扩张卷积神经网络来提取每个时间戳的上下文表示，其中，每个残差块由两个1-D卷积层组成，且其中一层带有扩张参数，该参数按照2的指数级别递增，以此实现对不同领域的大范围感知，得到向量表示。
6.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，在时间粒度上进行对比时，将时间序列的不同增强视图中相同时间戳的向量表示作为正样本，将来自同一时间序列的不同时间戳的表示作为负样本，通过这种方式，模型可以学习到具区分性的时间序列表示。
7.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，在实例粒度上进行对比时，在实例级别上将来自同一聚类中不同时间序列的数据作为负样本进行对比。
8.一种基于自监督对比学习的HPC作业功耗预测系统，其特征在于，包括：
数据获取模块，其用于获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
作业功耗预测模块，其用于基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
CN202310744383.2A 2023-06-21 2023-06-21 一种基于自监督对比学习的hpc作业功耗预测方法及系统 Pending CN116737521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310744383.2A CN116737521A (zh) 2023-06-21 2023-06-21 一种基于自监督对比学习的hpc作业功耗预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310744383.2A CN116737521A (zh) 2023-06-21 2023-06-21 一种基于自监督对比学习的hpc作业功耗预测方法及系统

Publications (1)

Publication Number Publication Date
CN116737521A true CN116737521A (zh) 2023-09-12

Family

ID=87904250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310744383.2A Pending CN116737521A (zh) 2023-06-21 2023-06-21 一种基于自监督对比学习的hpc作业功耗预测方法及系统

Country Status (1)

Country Link
CN (1) CN116737521A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667606A (zh) * 2024-02-02 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于用户行为的高性能计算集群能耗预测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667606A (zh) * 2024-02-02 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于用户行为的高性能计算集群能耗预测方法及系统
CN117667606B (zh) * 2024-02-02 2024-05-24 山东省计算中心（国家超级计算济南中心） 基于用户行为的高性能计算集群能耗预测方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Predrnn: A recurrent neural network for spatiotemporal predictive learning
Yang et al. Voice2series: Reprogramming acoustic models for time series classification
CN109508360B (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
US20200167659A1 (en) Device and method for training neural network
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN110956309A (zh) 基于crf和lstm的流程活动预测方法
CN116737521A (zh) 一种基于自监督对比学习的hpc作业功耗预测方法及系统
Singh Noise impact on time-series forecasting using an intelligent pattern matching technique
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
Tang et al. Short-term travel speed prediction for urban expressways: Hybrid convolutional neural network models
Bi et al. An improved attention-based LSTM for multi-step dissolved oxygen prediction in water environment
Collier et al. Transfer and marginalize: Explaining away label noise with privileged information
CN114494783A (zh) 一种基于动态图神经网络的预训练方法
Fonseca et al. Model-agnostic approaches to handling noisy labels when training sound event classifiers
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统
CN115600656A (zh) 一种基于分段策略与多成分分解算法的多元时间序列预测方法
Zha et al. Recognizing plans by learning embeddings from observed action distributions
CN116168231A (zh) 基于增量式网络和动量对比学习的自监督图像分类方法
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템
Zhan et al. Differential Convolutional Fuzzy Time Series Forecasting
Xu et al. Deep Switching State Space Model (DS $^ 3$ M) for Nonlinear Time Series Forecasting with Regime Switching
Kamada et al. A Video Recognition Method by using Adaptive Structural Learning of Long Short Term Memory based Deep Belief Network
Tao et al. A deep clustering algorithm based on self-organizing map neural network
Ling Score Prediction of Sports Events Based on Parallel Self‐Organizing Nonlinear Neural Network
Yao et al. Distributed temporal–spatial neighbourhood enhanced variational autoencoder for multiunit industrial plant‐wide process monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination