CN117574148A - 智能预测模型的训练方法、预测方法及相关设备 - Google Patents

智能预测模型的训练方法、预测方法及相关设备 Download PDF

Info

Publication number
CN117574148A
CN117574148A CN202311549697.3A CN202311549697A CN117574148A CN 117574148 A CN117574148 A CN 117574148A CN 202311549697 A CN202311549697 A CN 202311549697A CN 117574148 A CN117574148 A CN 117574148A
Authority
CN
China
Prior art keywords
feature
target
training sample
training
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311549697.3A
Other languages
English (en)
Inventor
那琼澜
李信
邢宁哲
王艺霏
温馨
陈重韬
李欣怡
彭柏
马跃
任建伟
苏丹
尚芳剑
张海明
姚艳丽
周子阔
肖娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202311549697.3A priority Critical patent/CN117574148A/zh
Publication of CN117574148A publication Critical patent/CN117574148A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种智能预测模型的训练方法、预测方法及相关设备，涉及计算机技术领域。方法包括：获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据；根据历史日志数据和目标数据中各特征重要性度量值确定目标特征；根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。本申请通过模拟执行待测任务产生目标数据，并将目标数据放入训练样本集，可以提高目标预测模型的时序性。根据训练样本集中各特征的重要性度量值确定目标特征，可以滤除掉训练样本集中的冗余特征和无关特征，进而提高目标预测模型的准确性。

Description

智能预测模型的训练方法、预测方法及相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种智能预测模型的训练方法、预测方法及相关设备。
背景技术
目前，计算设备执行任务需要占用计算设备的计算资源。例如，计算设备执行大语言模型时需要占用大量的计算资源。而计算设备执行该任务的时长的预测会影响计算设备调度其他任务。举例来说，当任务执行时长的预测值较小时，如果计算设备的实际执行时长超过预测值，此时任务还未执行结束，则有可能会被杀死。当任务执行时长的预测值较大时，则计算设备存在一段时间的空闲，导致资源利用率较低。因此，如何实现任务执行时长的准确预测是目前亟需解决的问题。
发明内容
鉴于上述问题，本申请提供一种智能预测模型的训练方法、预测方法及相关设备，解决了如何实现任务执行时长的准确预测的问题。
为解决上述技术问题，本申请提出以下方案：
第一方面，本申请提供了一种智能预测模型的训练方法，方法包括：获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据；根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征；根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
结合第一方面，在一种可能的实现方式中，确定历史日志数据和目标数据中各特征的信息熵和不确定性信息；将各特征的信息熵与各特征的不确定性信息的差值，确定为各特征的重要性度量值；根据重要性度量值确定目标特征。
结合第一方面，在另一种可能的实现方式中，获取历史日志数据和目标数据中各特征的特征值；确定训练样本集中每个训练样本在各特征下的特征值对应的概率密度；根据每个训练样本在各特征下的特征值对应的概率密度，计算各特征的信息熵。
结合第一方面，在另一种可能的实现方式中，确定训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；根据条件概率和联合概率，确定各特征的不确定性信息。
结合第一方面，在另一种可能的实现方式中，根据训练样本集中各特征的特征值的最大值和最小值对各特征进行归一化处理。
第二方面，本申请提供了一种预测方法，方法包括：获取待测任务；将待测任务输入训练完成的目标预测模型中，得到待测任务的预测结果。
第三方面，本申请提供了一种智能预测模型的训练装置，智能预测模型的训练装置包括：获取模块、确定模块和训练模块。
获取模块，用于获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据。
确定模块，用于根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征。
训练模块，用于根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
结合第三方面，在一种可能的实现方式中，确定模块具体用于：确定历史日志数据和目标数据中各特征的信息熵和不确定性信息；将各特征的信息熵与各特征的不确定性信息的差值，确定为各特征的重要性度量值；根据重要性度量值确定目标特征。
结合第三方面，在另一种可能的实现方式中，确定模块具体用于：获取历史日志数据和目标数据中各特征的特征值；确定训练样本集中每个训练样本在各特征下的特征值对应的概率密度；根据每个训练样本在各特征下的特征值对应的概率密度，计算各特征的信息熵。
结合第三方面，在另一种可能的实现方式中，确定模块具体用于：确定训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；根据条件概率和联合概率，确定各特征的不确定性信息。
结合第三方面，在另一种可能的实现方式中，确定模块还用于：根据训练样本集中各特征的特征值的最大值和最小值对各特征进行归一化处理。
第四方面，本申请提供了一种预测装置，预测装置包括：获取模块和预测模块。
获取模块，用于获取待测任务。
预测模块，用于将待测任务输入训练完成的目标预测模型中，得到待测任务的预测结果。
为了实现上述目的，根据本申请的第五方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的智能预测模型的训练方法或上述第二方面的预测方法。
为了实现上述目的，根据本申请的第六方面，提供了一种电子设备，所述设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述第一方面的智能预测模型的训练方法或上述第二方面的预测方法。
借由上述技术方案，本申请提供的技术方案至少具有下列优点：
本申请提供的一种智能预测模型的训练方法、预测方法及相关设备，由于任务的执行具有时序性质，并且任务的执行是持续不断进行的。因此本申请通过模拟执行待测任务产生目标数据，并将目标数据放入训练样本集中，可以提高目标预测模型的时序性。本申请根据训练样本集中各特征的重要性度量值确定目标特征，可以滤除掉训练样本集中的冗余特征和无关特征，进而提高目标预测模型的准确性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种计算设备的结构示意图；
图2示出了本申请实施例提供的一种智能预测模型的训练方法的流程示意图；
图3示出了本申请实施例提供的一种预测方法的流程示意图；
图4示出了本申请实施例提供的一种智能预测模型的训练装置的结构示意图；
图5示出了本申请实施例提供的一种预测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例中术语“第一”“第二”等字样不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。
本申请实施例中术语“至少一个”的含义是指一个或多个，本申请实施例中术语“多个”的含义是指两个或两个以上。
还应理解，术语“如果”可被解释为“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
如背景技术所述，计算设备执行任务需要占用计算设备的计算资源。例如，计算设备执行大语言模型时需要占用大量的计算资源。而计算设备执行该任务的时长的预测会影响计算设备调度其他任务。举例来说，当任务执行时长的预测值较小时，如果计算设备的实际执行时长超过预测值，此时任务还未执行结束，则有可能会被杀死。当任务执行时长的预测值较大时，则计算设备存在一段时间的空闲，导致资源利用率较低。
有鉴于此，本申请实施例提供一种预测方法，具体方法包括：获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据；根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征；根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。由于任务的执行具有时序性质，并且任务的执行是持续不断进行的。因此本申请通过模拟执行待测任务产生目标数据，并将目标数据放入训练样本集中，可以提高目标预测模型的时序性。本申请根据训练样本集中各特征的重要性度量值确定目标特征，可以滤除掉训练样本集中的冗余特征和无关特征，进而提高目标预测模型的准确性。
本申请实施例还提供一种智能预测模型的训练装置，该智能预测模型的训练装置可以用于执行上述智能预测模型的训练方法。可选的，该智能预测模型的训练装置可为具有数据处理能力的计算设备，或者是该计算设备中的功能模块，对此不作限定。
例如，该计算设备可以是服务器，其可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。又例如，该计算设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(Personal Digital Assistant，PDA)、增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)设备等终端设备。又例如，该计算设备还可以为录像设备、视频监控设备等设备。本申请对该计算设备的具体形态不作特殊限制。
下面以预测装置是计算设备为例，如图1所示，图1为本申请提供的一种计算设备100的硬件结构。
如图1所示，该计算设备100包括处理器110，通信线路120以及通信接口130。
可选的，该计算设备100还可以包括存储器140。其中，处理器110，存储器140以及通信接口130之间可以通过通信线路120连接。
其中，处理器110可以是中央处理器(Central Processing Unit，CPU)、通用处理器网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processing，DSP)、微处理器、微控制器、可编程逻辑器件(Programmable Logic Device，PLD)或它们的任意组合。处理器110还可以是其它任意具有处理功能的装置，例如电路、器件或软件模块，不做限制。
在一种示例中，处理器110可以包括一个或多个CPU，例如图1中的CPU0和CPU1。
作为一种可选的实现方式，计算设备100包括多个处理器，例如，除处理器110之外，还可以包括处理器170。通信线路120，用于在计算设备100所包括的各部件之间传送信息。
通信接口130，用于与其他设备或其它通信网络进行通信。该其它通信网络可以为以太网，无线接入网(Radio Access Network，RAN)，无线局域网(Wireless Local AreaNetworks，WLAN)等。通信接口130可以是模块、电路、收发器或者任何能够实现通信的装置。
存储器140，用于存储指令。其中，指令可以是计算机程序。
其中，存储器140可以是只读存储器(Read-only Memory，ROM)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是存取存储器(Random Access Memory，RAM)或者可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备等，不予限制。
需要指出的是，存储器140可以独立于处理器110存在，也可以和处理器110集成在一起。存储器140可以用于存储指令或者程序代码或者一些数据等。存储器140可以位于计算设备100内，也可以位于计算设备100外，不做限制。
处理器110，用于执行存储器140中存储的指令，以实现本申请下述实施例提供的通信方法。例如，当计算设备100为终端或者终端中的芯片时，处理器110可以执行存储器140中存储的指令，以实现本申请下述实施例中发送端所执行的步骤。
作为一种可选的实现方式，计算设备100还包括输出器件150和输入器件160。其中，输出器件150可以是显示屏、扬声器等能够将计算设备100的数据输出给用户的器件。输入器件160是可以键盘、鼠标、麦克风或操作杆等能够向计算设备100输入数据的器件。
需要指出的是，图1中示出的结构并不构成对该计算装置的限定，除图1所示部件之外，该计算装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请实施例描述的预测装置以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着智能预测模型的训练装置的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
接下来，结合附图对智能预测模型的训练方法进行详细说明。图2为本申请提供的一种智能预测模型的训练方法的流程示意图。具体包括以下步骤：
步骤210、获取训练样本集。
计算设备在执行任务时需要大量的计算资源，计算设备执行任务所需要的时长的预测的准确与否对计算设备的调度性能有很大的影响。当任务执行时长的预测值较小时，如果计算设备的实际执行时长超过预测值，此时任务还未执行结束，则有可能会被杀死。当任务执行时长的预测值较大时，则计算设备存在一段时间的空闲，导致资源利用率较低。因此本申请提出一种智能预测模型的训练方法，以构建用于预测任务执行时长的预测模型。
在本申请实施例中，训练样本集包括历史日志数据。历史日志数据用于指示计算设备执行历史任务产生的历史数据。举例来说，历史数据中包括任务的序号、提交时间、等待时间、执行时间、使用的CPU核数、CPU核处理器使用的CPU时间、每个处理器使用的内存、任务请求的CPU核处理器数量、任务请求的运行时间、每个处理器请求的内存、任务状态、用户序号、用户组别序号、用于运行任务的脚本数量、队列中任务数量、分区号、排在当前任务前面的任务数量、上个任务结束到下个任务开始的时间间隔等。
由于任务的执行具有时序性质，并且任务的执行是持续不断进行的。但是历史日志数据中并没有能够表示出任务运行阶段的一些特征。因此本申请的训练样本集中还包括目标数据。目标数据用于指示计算设备模拟执行待测任务产生的模拟数据。举例来说，采用模拟器模拟计算设备执行待测任务，进而得到待测任务运行阶段的数据。目标数据中包括但不限于：任务提交时间对应于一周中的哪天的余玄、任务提交时间对应于一天中的哪个小时的余玄、任务开始时间对应于一周中的哪一天的余玄、任务开始时间对应于一天中的哪个小时的余玄、任务开始时间对应于一天中的哪个小时的余玄、任务开始时间处于每周和每天某时刻的交叉变量的余玄、任务提交时间处于每周和每天某时刻的交叉变量、任务开始时间处于每周和每天某时刻的交叉变量等。
步骤220、根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征。
由于训练样本集中存在一些与计算设备执行任务所需要的时长的预测相关的特征，也存在一些冗余特征和无关特征。这些冗余特征和无关特征不会给预测模型带来效果的提升，但会减慢预测模型的训练。因此，在本申请实施例中，需要根据历史日志数据和目标数据确定目标特征。
首先，确定历史日志数据和目标数据中各特征的信息熵。具体的，获取历史日志数据和目标数据中各特征的特征值；确定训练样本集中每个训练样本在各特征下的特征值对应的概率密度；根据每个训练样本在各特征下的特征值对应的概率密度，计算各特征的信息熵。
下面以待选特征X为例进行解释说明。待选特征X对应的特征值集合记为SX，该集合由每个训练样本在待选特征X下的特征值组成。假设训练样本集中有m个训练样本，则特征值集合SX包含了待选特征X对应的m个特征值，记为(X1，X2，...,Xm)。待选特征X的信息熵H(X)为：其中，p(xi)表示待选特征X取值xi时的概率密度。
进一步的，确定历史日志数据和目标数据中各特征的不确定性信息。具体的，确定训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；根据条件概率和联合概率，确定各特征的不确定性信息。
举例来说，待选特征X对应的n个特征值集合记为SX(X1，X1...Xi...Xm)；Y表示训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果Ty(y1，y1...yi...ym)。则待选特征X的不确定性信息H(X|Y)可以通过公式：确定。其中，p(xi,yj)表示训练样本预测结果为yj时待选特征X取值为xi的联合概率，p(xi|yj)表示训练样本预测结果为yj时待选特征X取值为xi的条件概率。
进一步的，将各特征的信息熵与各特征的不确定性信息的差值，确定为各特征的重要性度量值。具体的，待选特征X的重要性度量值I(X；Y)为：其中，p(yj)表示训练样本预测结果为yj时的概率密度。
除此之外，由于训练样本集中的数据之间的量纲差异较大，例如，任务的提交时间会随着时间变化而递增，往往会几万的数值，而对于任务分配的处理器核数一般只有几十的数值，它们之间的差异是很大的。这样会影响到预测模型的训练。为了消除这种影响，本申请还需要对训练样本集进行归一化处理，使得训练样本集中的各个特征维度都去除量纲的影响以及避免特征间基本属性的影响。
在一种实施方式中，根据训练样本集中各特征的特征值的最大值和最小值对各特征进行归一化处理。
步骤230、根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
由于历史日志数据、目标数据和任务执行时长之间的关系往往不是简单的线性关系，因此本申请使用非线性模型(例如：支持向量回归模型，随机森林模型或梯度提升回归树模型)进行时长预测。根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
在一些实施例中，本申请实施例还提供一种预测方法，应用于上述智能预测模型的训练装置，如图3所示，该方法包括：
步骤310、获取待测任务。
步骤320、将待测任务输入训练完成的目标预测模型中，得到待测任务的预测结果。
综上，由于任务的执行具有时序性质，并且任务的执行是持续不断进行的。因此本申请通过模拟执行待测任务产生目标数据，并将目标数据放入训练样本集中，可以提高目标预测模型的时序性。本申请根据训练样本集中各特征的重要性度量值确定目标特征，可以滤除掉训练样本集中的冗余特征和无关特征，进而提高目标预测模型的准确性。
可以理解的是，为了实现上述实施例中功能，计算机设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
进一步的，作为对上述图2所示方法实施例的实现，本申请实施例提供了一种智能预测模型的训练装置。该装置的实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图4所示，智能预测模型的训练装置400包括：获取模块410、确定模块420和训练模块430。
获取模块410，用于获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据。
确定模块420，用于根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征。
训练模块430，用于根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
进一步的，如图4所示，确定模块420具体用于：确定历史日志数据和目标数据中各特征的信息熵和不确定性信息；将各特征的信息熵与各特征的不确定性信息的差值，确定为各特征的重要性度量值；根据重要性度量值确定目标特征。
进一步的，如图4所示，确定模块420具体用于：获取历史日志数据和目标数据中各特征的特征值；确定训练样本集中每个训练样本在各特征下的特征值对应的概率密度；根据每个训练样本在各特征下的特征值对应的概率密度，计算各特征的信息熵。
进一步的，如图4所示，确定模块420具体用于：确定训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；根据条件概率和联合概率，确定各特征的不确定性信息。
进一步的，如图4所示，确定模块420还用于：根据训练样本集中各特征的特征值的最大值和最小值对各特征进行归一化处理。
进一步的，作为对上述图3所示方法实施例的实现，本申请实施例提供了一种预测装置。该装置的实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图5所示，预测装置500包括：获取模块510和预测模块520。
获取模块510，用于获取待测任务。
预测模块520，用于将待测任务输入训练完成的目标预测模型中，得到待测任务的预测结果。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述智能预测模型的训练方法或所述预测方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述智能预测模型的训练方法或所述预测方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取训练样本集，训练样本集包括历史日志数据和目标数据，历史日志数据用于指示计算设备执行历史任务产生的历史数据，目标数据用于指示计算设备模拟执行待测任务产生的模拟数据；根据历史日志数据和目标数据中各特征的重要性度量值确定目标特征；根据训练样本集和目标特征对预测模型进行训练，得到目标预测模型。
进一步的，确定历史日志数据和目标数据中各特征的信息熵和不确定性信息；将各特征的信息熵与各特征的不确定性信息的差值，确定为各特征的重要性度量值；根据重要性度量值确定目标特征。
进一步的，获取历史日志数据和目标数据中各特征的特征值；确定训练样本集中每个训练样本在各特征下的特征值对应的概率密度；根据每个训练样本在各特征下的特征值对应的概率密度，计算各特征的信息熵。
进一步的，确定训练样本集中每个训练样本在各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；根据条件概率和联合概率，确定各特征的不确定性信息。
进一步的，根据训练样本集中各特征的特征值的最大值和最小值对各特征进行归一化处理。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待测任务；将待测任务输入训练完成的目标预测模型中，得到待测任务的预测结果。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种智能预测模型的训练方法，其特征在于，所述方法包括：
获取训练样本集，所述训练样本集包括历史日志数据和目标数据，所述历史日志数据用于指示计算设备执行历史任务产生的历史数据，所述目标数据用于指示所述计算设备模拟执行待测任务产生的模拟数据；
根据所述历史日志数据和所述目标数据中各特征的重要性度量值确定目标特征；
根据所述训练样本集和所述目标特征对预测模型进行训练，得到目标预测模型。
2.根据权利要求1所述的方法，其特征在于，根据所述历史日志数据和所述目标数据中各特征的重要性度量值确定目标特征，包括：
确定所述历史日志数据和所述目标数据中各特征的信息熵和不确定性信息；
将所述各特征的信息熵与所述各特征的不确定性信息的差值，确定为所述各特征的重要性度量值；
根据所述重要性度量值确定所述目标特征。
3.根据权利要求2所述的方法，其特征在于，确定所述历史日志数据和所述目标数据中各特征的信息熵，包括：
获取所述历史日志数据和所述目标数据中所述各特征的特征值；
确定所述训练样本集中每个训练样本在所述各特征下的特征值对应的概率密度；
根据每个训练样本在所述各特征下的特征值对应的概率密度，计算所述各特征的信息熵。
4.根据权利要求2所述的方法，其特征在于，确定所述历史日志数据和所述目标数据中各特征的不确定性信息，包括：
确定所述训练样本集中每个训练样本在所述各特征下的特征值与每个训练样本的预测结果的条件概率以及联合概率；
根据所述条件概率和所述联合概率，确定所述各特征的不确定性信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述训练样本集中所述各特征的特征值的最大值和最小值对所述各特征进行归一化处理。
6.一种预测方法，其特征在于，所述方法包括：
获取待测任务；
将所述待测任务输入训练完成的目标预测模型中，得到所述待测任务的预测结果。
7.一种智能预测模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取训练样本集，所述训练样本集包括历史日志数据和目标数据，所述历史日志数据用于指示计算设备执行历史任务产生的历史数据，所述目标数据用于指示所述计算设备模拟执行待测任务产生的模拟数据；
确定模块，用于根据所述历史日志数据和所述目标数据中各特征的重要性度量值确定目标特征；
训练模块，用于根据所述训练样本集和所述目标特征对预测模型进行训练，得到目标预测模型。
8.一种预测装置，其特征在于，所述装置包括：
获取模块，用于获取待测任务；
预测模块，用于将所述待测任务输入训练完成的目标预测模型中，得到所述待测任务的预测结果。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-5中任一项所述的智能预测模型的训练方法或如权利要求6所述的预测方法。
10.一种电子设备，其特征在于，所述设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-5中任一项所述的智能预测模型的训练方法或如权利要求6所述的预测方法。
CN202311549697.3A 2023-11-20 2023-11-20 智能预测模型的训练方法、预测方法及相关设备 Pending CN117574148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311549697.3A CN117574148A (zh) 2023-11-20 2023-11-20 智能预测模型的训练方法、预测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311549697.3A CN117574148A (zh) 2023-11-20 2023-11-20 智能预测模型的训练方法、预测方法及相关设备

Publications (1)

Publication Number Publication Date
CN117574148A true CN117574148A (zh) 2024-02-20

Family

ID=89889441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311549697.3A Pending CN117574148A (zh) 2023-11-20 2023-11-20 智能预测模型的训练方法、预测方法及相关设备

Country Status (1)

Country Link
CN (1) CN117574148A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392429A (en) * 1991-10-11 1995-02-21 At&T Corp. Method of operating a multiprocessor computer to solve a set of simultaneous equations
CN110378529A (zh) * 2019-07-17 2019-10-25 拉扎斯网络科技（上海）有限公司 一种数据生成的方法、装置、可读存储介质和电子设备
CN111475298A (zh) * 2020-04-03 2020-07-31 北京字节跳动网络技术有限公司 任务处理方法、装置、设备及存储介质
CN113032116A (zh) * 2021-03-05 2021-06-25 广州虎牙科技有限公司 任务时间预测模型的训练方法、任务调度方法及相关装置
WO2021139438A1 (zh) * 2020-01-07 2021-07-15 平安科技（深圳）有限公司 大数据资源处理方法、装置、终端及存储介质
CN113657468A (zh) * 2021-07-29 2021-11-16 北京百度网讯科技有限公司 预训练模型的生成方法、装置、电子设备和存储介质
CN113821330A (zh) * 2021-11-24 2021-12-21 腾讯科技（深圳）有限公司 任务调度方法、装置、计算机设备和存储介质
US20220092433A1 (en) * 2020-12-24 2022-03-24 Beijing Baidu Netcom Science Technology Co., Ltd. Training method and device for generative adversarial network model, equipment, program and storage medium
CN114297923A (zh) * 2021-12-24 2022-04-08 中汽创智科技有限公司 调度确定模型的训练方法、指标数据的确定方法及装置
CN114743072A (zh) * 2022-05-24 2022-07-12 中国科学院计算机网络信息中心 一种短期时间序列预测模型的训练方法
CN116805039A (zh) * 2023-08-21 2023-09-26 腾讯科技（深圳）有限公司 特征筛选方法、装置、计算机设备和数据扰动方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392429A (en) * 1991-10-11 1995-02-21 At&T Corp. Method of operating a multiprocessor computer to solve a set of simultaneous equations
CN110378529A (zh) * 2019-07-17 2019-10-25 拉扎斯网络科技（上海）有限公司 一种数据生成的方法、装置、可读存储介质和电子设备
WO2021139438A1 (zh) * 2020-01-07 2021-07-15 平安科技（深圳）有限公司 大数据资源处理方法、装置、终端及存储介质
CN111475298A (zh) * 2020-04-03 2020-07-31 北京字节跳动网络技术有限公司 任务处理方法、装置、设备及存储介质
US20220092433A1 (en) * 2020-12-24 2022-03-24 Beijing Baidu Netcom Science Technology Co., Ltd. Training method and device for generative adversarial network model, equipment, program and storage medium
CN113032116A (zh) * 2021-03-05 2021-06-25 广州虎牙科技有限公司 任务时间预测模型的训练方法、任务调度方法及相关装置
CN113657468A (zh) * 2021-07-29 2021-11-16 北京百度网讯科技有限公司 预训练模型的生成方法、装置、电子设备和存储介质
CN113821330A (zh) * 2021-11-24 2021-12-21 腾讯科技（深圳）有限公司 任务调度方法、装置、计算机设备和存储介质
CN114297923A (zh) * 2021-12-24 2022-04-08 中汽创智科技有限公司 调度确定模型的训练方法、指标数据的确定方法及装置
CN114743072A (zh) * 2022-05-24 2022-07-12 中国科学院计算机网络信息中心 一种短期时间序列预测模型的训练方法
CN116805039A (zh) * 2023-08-21 2023-09-26 腾讯科技（深圳）有限公司 特征筛选方法、装置、计算机设备和数据扰动方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭奕等: "Python工程应用 数据分析基础与实践", 31 January 2021, 西安电子科学技术大学出版社, pages: 159 *

Similar Documents

Publication Publication Date Title
WO2020199662A1 (zh) 用于推送信息的方法和装置
CN111105786B (zh) 一种多采样率语音识别方法、装置、系统及存储介质
CN107392259B (zh) 构建不均衡样本分类模型的方法和装置
CN103713935A (zh) 一种在线管理Hadoop集群资源的方法和装置
CN105630683A (zh) 一种云测试体系架构
CN111143039A (zh) 一种虚拟机的调度方法、装置及计算机存储介质
US11636377B1 (en) Artificial intelligence system incorporating automatic model updates based on change point detection using time series decomposing and clustering
US11651271B1 (en) Artificial intelligence system incorporating automatic model updates based on change point detection using likelihood ratios
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
CN113205189B (zh) 训练预测模型的方法、预测方法及装置
JP7216757B2 (ja) 情報を取得するための方法及び装置
CN106293890B (zh) 一种基于复杂度的业务处理方法和装置
CN113392018A (zh) 流量分发方法、装置、存储介质及电子设备
CN116560968A (zh) 一种基于机器学习的仿真计算时间预测方法、系统及设备
CN117093463A (zh) 测试程序调度策略生成方法、装置、存储介质及电子设备
CN117574148A (zh) 智能预测模型的训练方法、预测方法及相关设备
CN116701091A (zh) 用于导出日志的方法、电子设备和计算机程序产品
CN112882937A (zh) 测试用例的处理方法、装置、计算机设备及存储介质
CN113626340A (zh) 测试需求识别方法、装置、电子设备及存储介质
CN106611100A (zh) 一种用户行为分析方法和装置
CN113361701A (zh) 神经网络模型的量化方法和装置
CN113760713B (zh) 测试方法、系统、计算机系统和介质
US11816134B1 (en) System and method for reduction of data transmission in dynamic systems using causal graphs
CN116204441B (zh) 索引数据结构的性能测试方法、装置、设备及存储介质
US20230419125A1 (en) System and method for capacity planning for data aggregation using similarity graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination