CN117422182A - 数据预测方法、装置及存储介质 - Google Patents
数据预测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117422182A CN117422182A CN202311735860.5A CN202311735860A CN117422182A CN 117422182 A CN117422182 A CN 117422182A CN 202311735860 A CN202311735860 A CN 202311735860A CN 117422182 A CN117422182 A CN 117422182A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- target
- prediction
- demand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims description 34
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种数据预测方法、装置及存储介质，属于计算机技术领域，该方法包括：获取基于历史需求数据划分出的至少一个分类的时序集合；在接收到与历史需求不同的目标需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类；获取目标分类对应的目标预测模型；基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据；可以解决需要为新的需求训练新的模型导致数据预测效率较低的问题，提高数据预测的反馈效率；还可以解决传统的数据预测方法中预测结果不准确的问题，保证数据预测的准确性。
Description
技术领域
本申请涉及一种数据预测方法、装置及存储介质，属于计算机技术领域。
背景技术
目前，多条件实时的时序预测需求可以针对用户实时变化的预测需求，在短时间内进行预测结果的反馈。例如：需要预测服务器执行某任务时在未来几天的计算量，从而进行不同的服务器的资源调配。
由于用户的需求可能是实时变化的，因此，会产生不同的实时任务。为了更准确的得到预测结果，传统的方法包括：获取该任务的历史计算量数据，并使用该历史计算量数据训练神经网络模型；然后，使用训练好的模型预测未来几天服务器执行任务的计算量。
然而，在遇到一个新的任务时，若新的任务的历史数据量比较大，则模型训练需要较长时间，导致预测结果无法做到实时响应；而若新的任务数据量少，则会导致预测结果偏差较大。
基于上述问题，可以按照任务的相似性为这些任务进行分类，按照任务相似性构造特征或者打标签，用集成树模型或者统计学模型对历史数据训练得到一个适用于多任务的预测模型，用该预测模型完成对未来一段时间的任务计算量的预测。
但是，一方面，相似任务对应的预测模型针对不同任务的预测准确性不一致，模型对历史数据占比比较大的任务的预测性准确率较高，对历史占比比较少的任务的计算量预测准确率较低，这就会导致模型预测效果不好。另一方面，当获取到在模型训练中没出现过的新任务时，会产生模型预测出的结果与真实结果偏差较大，不能满足不同用户的需求的问题。
公开号为CN117076931A，名称为一种基于条件扩散模型的时间序列数据预测方法和系统。包括：将训练集内天动态时序数据，经过特征编码器得到高维动态时序数据；搭建以条件输入Transformer为主干的条件扩散模型，将训练集内天高维动态时序数据作为加噪数据，以及天的高维动态时序数据与静态数据融合后的条件特征，输入条件扩散模型进行训练；将待预测的第一动态时序数据升维后的高维动态时序数据与第一静态数据融合后的条件特征，输入条件扩散模型，执行去噪操作，预测高维动态时序特征输入特征解码器，获得预测的第二动态时序数据。
公开号为CN117056709A，名称为时序预测模型的训练方法、装置和存储介质及电子设备。其中，该方法包括：获取初始的时序预测模型和多个时序样本；将多个时序样本输入时域编码器，得到多个时域编码特征；将多个时域编码特征输入回归器，得到多个时域预测结果；将多个时序样本转换为多个第一频域编码特征，和将多个时域预测结果转换为多个第二频域编码特征；利用多个时域编码特征、多个时域预测结果、多个第一频域编码特征，以及多个第二频域编码特征，获取初始的时序预测模型的全局损失函数；在全局损失函数满足训练收敛条件的情况下，得到训练好的时序预测模型。
发明内容
本申请提供了一种数据预测方法、装置及存储介质，无需为目标需求重新训练新的神经网络模型，可以解决需要为新的需求训练新的模型导致数据预测效率较低的问题，提高数据预测的反馈效率。同时，由于目标预测模型是与第二时序数据最相近的目标分类对应的预测模型，因此还可以解决传统的数据预测方法中预测结果不准确的问题，保证数据预测的准确性。本申请提供如下技术方案：
第一方面，提供了一种数据预测方法，包括：获取基于历史需求数据划分出的至少一个分类的时序集合，其中历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据，并且其中同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度；接收目标需求，并且在不能匹配到与目标需求对应的历史需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类；获取目标分类对应的目标预测模型，其中不同分类对应不同的预测模型，预测模型是使用对应分类的时序集合预先训练得到的；基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据，第二时间段在第一时间段之后。
第二方面，提供一种数据预测装置，装置包括处理器和存储器；存储器中存储有程序，程序由处理器加载并执行以实现第一方面所述的数据预测方法。
第三方面，提供一种计算机可读存储介质，存储介质中存储有程序，程序由处理器加载并执行以实现第一方面所述的数据预测方法。
第四方面，提供一种数据预测装置，包括：集合获取模块，用于获取基于历史需求数据划分出的至少一个分类的时序集合，其中历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据，并且其中同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度；分类确定模块，用于接收目标需求，并且在不能匹配到与目标需求对应的历史需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类；模型获取模块，用于获取目标分类对应的目标预测模型，其中不同分类对应不同的预测模型，预测模型是使用对应分类的时序集合预先训练得到的；数据预测模块，用于基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据，第二时间段在第一时间段之后。
本申请的有益效果在于：通过获取基于历史需求数据划分出的至少一个分类的时序集合。其中，历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据。在接收到与历史需求不同的目标需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类。获取目标分类对应的目标预测模型，并基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据。由于使用与第二时序数据最相近的目标分类对应的目标预测模型，来预测第二时间段的第三时间序列，因此无需为目标需求重新训练新的网络模型，可以解决需要为新的需求训练新的模型导致数据预测效率较低的问题，提高数据预测的反馈效率。同时，由于目标预测模型是与第二时序数据最相近的目标分类对应的预测模型，因此，还可以解决传统的数据预测方法中预测结果不准确的问题，保证数据预测的准确性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是根据本申请一个实施例所述的数据预测方法的流程图；
图2是根据本申请一个实施例所述的预测模型的训练方法的示意图；
图3是根据本申请一个实施例所述的数据预测装置的框图；以及
图4是根据本申请一个实施例所述的数据预测装置的框图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，为了理解本申请提供的技术方案，对申请涉及的若干名词进行解释。
时间序列：是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。
KShape是一种新的时间序列聚类算法，其原理是利用DTW距离度量两个时间序列之间的相似度，然后使用k-means聚类算法将时间序列分配到不同的簇中。KShape依赖于基于形状的距离SBD度量和形状提取方法来高效的生成时间序列的聚类方法。它基于与k-means中使用的类似的迭代细化过程。通过这个迭代过程，k-Shape将平方距离之和最小化转化为求相似度最大化来求质心，可以生成均匀且分离良好的簇，以及可以在缩放和平移不变性下有效的比较各时间序列。
迁移学习：在迁移学习中，已有的知识叫做源域(source domain)，要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。特别地，在机器学习领域中，迁移学习研究如何将已有模型应用到新的不同的、但是有一定关联的领域中。传统机器学习在应对数据的分布、维度，以及模型的输出变化等任务时，模型不够灵活、结果不够好，而迁移学习可以在有标定的数据缺乏的情况下，很好的利用相关领域有标定的数据完成数据的标定。
图1是本申请一个实施例所述的数据预测方法的流程图。参考图1所示，本实施例以该方法应用于计算机设备中为例进行说明，该计算机设备包括但不限于：计算机、服务器、手机、可穿戴设备等具有计算能力的电子设备，本实施例不对计算机设备的实现方式作限定。该方法至少包括以下几个步骤：
步骤101，获取基于历史需求数据划分出的至少一个分类的时序集合。
其中，历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据；同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度。
本申请中，需求（包括上述历史需求和下文中的目标需求和当前需求）是指用户输入的用于进行数据预测的条件，不同用户的需求可能不同。待预测数据类型为能够基于需求预测出的数据类型。一般地，待预测数据类型会随时间发生变化。可选地，待预测数据类型为用户指定的数据类型，或者也可以是程序默认的数据类型，本实施例不对待预测数据类型的实现方式作限定。
比如：需求包括项目需求，预测数据类型包括项目需求所需占用的服务器计算量。项目需求可以是该项目的相关信息，如：项目大小（可按照涉及的数据量区分）、设计运行的软件数量、项目中涉及的交互的数据库数量等，本实施例不对项目需求的具体内容作限定。
本实施例中，历史需求为已获取到待预测数据类型的第一时序数据的需求，该第一时序数据可以为真实数据，或者也可以是预测得到的数据，本实施例不对第一时序数据的来源作限定。
可选地，至少一个分类的时序集合可以是计算机设备聚类得到的，此时，具体的聚类方式详见下述实施例；或者也可以是从存储介质中读取到的，或者也可以时其他设备发送的，本实施例不对至少一个分类的时序集合的获取方式作限定。
本实施例中，为了应对千变万化的需求，获得不同需求下的时序集合，不再按照需求相似性进行分类，而是采用时序的相似性聚类，从而达到把原时序数据集合分为k个类别时序数据集合，每个类里面的时序都是具有相似性的时序，k为正整数。
步骤102，接收目标需求，并且在不能匹配到与目标需求对应的历史需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类。
第一时间段的第二时序数据是指针对目标需求已获取到的待预测数据类型的一段时序数据。
本实施例中，计算机设备使用划分时序集合时所使用的计算相似度的方式，来计算第二时序数据与各个时序集合之间的相似度，并将与第二时序数据最相似的时序集合所对应的分类确定为目标分类。比如：时序集合划分时使用的计算相似度的方法为动态时间规整（Dynamic Time Warping，DTW），则计算机设备基于DTW确定第二时序数据与各个时序集合之间的相似度。
在一个示例中，对于每个时序集合，计算机设备可以将第二时序数据与该时序集合中的每个第一时序数据进行相似度比较；或者，也可以将第二时序数据与该时序集合中的聚类中心进行相似度比较，本实施例不对第二时序数据与时序集合比较相似度的方式作限定。
步骤103，获取目标分类对应的目标预测模型。
其中，不同分类对应不同的预测模型，每个预测模型是使用对应分类的时序集合预先训练得到的，预测模型的训练方式详见下述实施例。
步骤104，基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据，第二时间段在第一时间段之后。
可选地，第二时间段为目标需求中指定的，或者，第二时间段是计算机设备自动确定的，比如：第二时间段为第一时长的时间段，且该时间段的起点为接收到目标需求的时刻之后的第二时长。第三时序数据为用户需要预测的数据。
综上所述，本实施例提供的数据预测方法，通过获取基于历史需求数据划分出的至少一个分类的时序集合。其中，历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据。在接收到与历史需求不同的目标需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类。获取目标分类对应的目标预测模型。基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据。由于使用与第二时序数据最相近的目标分类对应的目标预测模型，来预测第二时间段的第三时间序列，因此无需为目标需求重新训练新的网络模型，可以解决需要为新的需求训练新的模型导致数据预测效率较低的问题，提高数据预测的反馈效率。同时，由于目标预测模型是与第二时序数据最相近的目标分类对应的预测模型，因此，还可以解决传统的数据预测方法中预测结果不准确的问题，保证数据预测的准确性。
可选地，在步骤101中，获取基于历史需求数据划分出的至少一个分类的时序集合，包括：获取历史需求数据；对于不同的各个历史需求，采用聚类算法基于不同历史需求对应的第一时序数据之间的相似性进行聚类，得到各个分类的时序集合。
在一个示例中，聚类算法为KShape算法。KShape算法可以将时间序列数据分成不同的簇(cluster)，使得同一簇内的数据对象的相似度尽可能大，每个簇即为一个分类。
本实施例中，通过使用KShape算法对不同的第一时序数据进行聚类，由于KShape算法可以对两个时间序列进行对齐，以计算两个序列之间的距离，从而比较相似度，因此可以将时间特征相似的序列聚为同一类，保证同一分类的时序集合中的各个第一时序数据为时间特征相似的时序数据。
可选地，在匹配到与目标需求对应的历史需求的情况下，则使用对应的历史需求所属的分类对应的预测模型、以及目标需求对应的待预测数据类型在第一时间段的第二时序数据，确定目标需求对应的待预测数据类型在第三时间段的第四时序数据，
从而，本实施例中，在存在与当前需求一致的历史需求时，直接使用该历史需求对应的预测模型进行数据预测，可以保证数据预测的准确性，且不需要再确定目标分类，可以节省计算量，提高数据预测效率。
上述方法还包括：对于每个分类的时序集合，基于迁移学习方式使用时序集合对通用的神经网络模型进行训练，得到分类对应的预测模型。
具体地，对于每个分类的时序集合，先将该时序集合进行数据划分：把每个分类里的第一序列数据根据时间先后将样本数据划分为训练集和测试集，如将数据集按照90%的比例划分为训练集，10%的比例划分为测试集；又把训练集按照7：3比例划分为训练集和验证集。
之后，聚类后的每个类里的时序都为具有相似性的时间序列，利用迁移学习方法训练出每个分类里面的一个通用的神经网络模型（有几个分类训练几个预测模型），迁移学习方法把相似的时序提取出符合模型应用的特征，可以使训练出的模型更加准确。
在一个示例中，通用的神经网络模型为TFT模型。TFT 旨在将模型与通用多水平预测任务明确对齐，TFT 可以有效的为每种输入类型（即静态、已知或观察到的输入）构建特征表示，以实现高预测性能。
在训练过程中，将同一分类中的所有第一时序数据输入TFT模型，并衍生未来协变量：如是否是周末（取0或者1），是否是季度末，是一个月的第几天，星期几等；以及过去的协变量：例如，此项目去年同一天的服务器任务的计算量，此项目前年同一天的服务器任务的计算量等。
之后，按照预先定义的模型参数：如输入窗口的长度，预测结果的时间长度，LSTM层数，dropout的比例，损失函数等，对TFT模型进行训练，采用early_stopping的思想，当模型检测到验证集上的损失函数再增加训练n轮数据后损失值不再下降，则模型停止训练保留最优参数，防止模型过拟合。
为了更清楚的理解本申请提供的预测模型的训练方法，下面对方法举一个实例进行说明，图2是根据本申请一个实施例所述的预测模型的训练方法的示意图，参考图2，该方法至少包括以下几个步骤：
步骤21，获取历史需求数据；
步骤22，对于不同的各个历史需求，采用聚类算法基于不同历史需求对应的第一时序数据之间的相似性进行聚类，得到K个分类的时序集合；K为正整数；
步骤23，对于每个分类的时序集合，基于迁移学习方式使用时序集合对通用的神经网络模型进行训练，得到每个分类对应的预测模型。
本实施例中，通过基于迁移学习训练通用的神经网络模型，可以在训练样本数量较少的情况下，训练出预测性能较高的网络模型，降低模型训练难度。
同时，通过基于TFT模型构建通用的神经网络模型可以有效的为每种输入类型（即静态、已知或观察到的输入）构建特征表示，以实现高预测性能。
图3是根据本申请一个实施例所述的数据预测装置的框图。参考图3所示，该装置至少包括以下几个模块：集合获取模块310、分类确定模块320、模型获取模块330和数据预测模块340。
集合获取模块310，用于获取基于历史需求数据划分出的至少一个分类的时序集合，其中历史需求数据包括至少两个不同的历史需求、以及历史需求对应的待预测数据类型在未来时间段的第一时序数据，并且其中同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度；
分类确定模块320，用于接收目标需求，并且在不能匹配到与目标需求对应的历史需求的情况下，基于目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定第二时序数据所属的目标分类；
模型获取模块330，用于获取目标分类对应的目标预测模型，其中不同分类对应不同的预测模型，预测模型是使用对应分类的时序集合预先训练得到的；
数据预测模块340，用于基于目标预测模型确定目标需求对应的待预测数据类型在第二时间段的第三时序数据，第二时间段在第一时间段之后。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的数据预测装置在进行数据预测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将数据预测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据预测装置与数据预测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4是根据本申请一个实施例所述的数据预测装置的框图。参考图4所示，该装置至少包括处理器410和存储器420。
处理器410可以包括一个或多个处理核心，比如：4核心处理器、4核心处理器等。处理器410可以FPGA（Field－Programmable Gate Array，现场可编程门阵列）的硬件形式来实现。处理器410也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central Processing Unit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器410可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器410还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器420可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器420还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器420中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器410所执行以实现本申请中方法实施例提供的数据预测方法。
在一些实施例中，数据预测装置还可选包括有：外围设备接口和至少一个外围设备。处理器410、存储器420和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，数据预测装置还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，计算机可读存储介质中存储有程序，程序由处理器加载并执行以实现上述方法实施例的数据预测方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，计算机可读存储介质中存储有程序，程序由处理器加载并执行以实现上述方法实施例的数据预测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据预测方法，其特征在于，所述方法包括：
获取基于历史需求数据划分出的至少一个分类的时序集合，其中所述历史需求数据包括至少两个不同的历史需求、以及所述历史需求对应的待预测数据类型在未来时间段的第一时序数据，并且其中同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度；
接收目标需求，并且在不能匹配到与所述目标需求对应的历史需求的情况下，基于所述目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定所述第二时序数据所属的目标分类；
获取所述目标分类对应的目标预测模型，其中不同分类对应不同的预测模型，所述预测模型是使用对应分类的时序集合预先训练得到的；
基于所述目标预测模型确定所述目标需求对应的待预测数据类型在第二时间段的第三时序数据，所述第二时间段在所述第一时间段之后。
2.根据权利要求1所述的方法，其特征在于，获取基于历史需求数据划分出的至少一个分类的时序集合的操作，包括：
获取所述历史需求数据；
对于不同的各个历史需求，采用聚类算法基于不同历史需求对应的第一时序数据之间的相似性进行聚类，得到所述各个分类的时序集合。
3.根据权利要求2所述的方法，其特征在于，所述聚类算法为KShape算法。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每个分类的时序集合，基于迁移学习方式使用所述时序集合对神经网络模型进行训练，得到所述分类对应的预测模型。
5.根据权利要求4所述的方法，其特征在于，所述神经网络模型为时间融合变换器模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在匹配到与所述目标需求对应的历史需求的情况下，则使用所述对应的历史需求所属的分类对应的预测模型、以及所述目标需求对应的待预测数据类型在第一时间段的第二时序数据，确定所述目标需求对应的待预测数据类型在第三时间段的第四时序数据，所述第三时间段在所述第一时间段之后。
7.根据权利要求1至6任意一项所述的方法，其特征在于，各个需求包括项目需求，所述待预测数据类型包括所述项目需求所需占用的服务器计算量。
8.一种数据预测装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任意一项所述的数据预测方法。
9.一种计算机刻可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序由处理器加载并执行以实现如权利要求1至7任意一项所述的数据预测方法。
10.一种数据预测装置，其特征在于，包括：
集合获取模块，用于获取基于历史需求数据划分出的至少一个分类的时序集合，其中所述历史需求数据包括至少两个不同的历史需求、以及所述历史需求对应的待预测数据类型在未来时间段的第一时序数据，并且其中同一分类的时序集合中不同第一时序数据之间的相似度高于不同分类的时序集合中的第一时序数据之间的相似度；
分类确定模块，用于接收目标需求，并且在不能匹配到与所述目标需求对应的历史需求的情况下，基于所述目标需求对应的待预测数据类型在第一时间段的第二时序数据与各个分类的时序集合之间的相似度，确定所述第二时序数据所属的目标分类；
模型获取模块，用于获取所述目标分类对应的目标预测模型，其中不同分类对应不同的预测模型，所述预测模型是使用对应分类的时序集合预先训练得到的；
数据预测模块，用于基于所述目标预测模型确定所述目标需求对应的待预测数据类型在第二时间段的第三时序数据，所述第二时间段在所述第一时间段之后。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735860.5A CN117422182A (zh) | 2023-12-18 | 2023-12-18 | 数据预测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735860.5A CN117422182A (zh) | 2023-12-18 | 2023-12-18 | 数据预测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422182A true CN117422182A (zh) | 2024-01-19 |
Family
ID=89530540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311735860.5A Pending CN117422182A (zh) | 2023-12-18 | 2023-12-18 | 数据预测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422182A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992676A (zh) * | 2024-04-02 | 2024-05-07 | 福建省君诺科技成果转化服务有限公司 | 一种基于大数据的科技成果智能推荐方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150186792A1 (en) * | 2013-12-26 | 2015-07-02 | Xerox Corporation | System and method for multi-task learning for prediction of demand on a system |
| WO2020008365A2 (en) * | 2018-07-02 | 2020-01-09 | 3M Innovative Properties Company | Transferring learning in classifier-based sensing systems |
| CN112990558A (zh) * | 2021-02-26 | 2021-06-18 | 重庆大学 | 一种基于深度迁移学习的气象温度、光照的预测方法 |
| CN115271161A (zh) * | 2022-06-15 | 2022-11-01 | 华南理工大学 | 一种多能负荷短期预测方法 |
| CN116091110A (zh) * | 2022-11-16 | 2023-05-09 | 北京京东振世信息技术有限公司 | 资源需求量预测模型训练方法、预测方法及装置 |
| CN116404637A (zh) * | 2023-03-29 | 2023-07-07 | 清华大学 | 电力系统短期负荷预测方法和电力系统短期负荷预测装置 |
| CN116979503A (zh) * | 2023-06-21 | 2023-10-31 | 国网江苏省电力有限公司苏州供电分公司 | 一种基于Informer网络的商业建筑负荷预测方法及系统 |
-
2023
- 2023-12-18 CN CN202311735860.5A patent/CN117422182A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150186792A1 (en) * | 2013-12-26 | 2015-07-02 | Xerox Corporation | System and method for multi-task learning for prediction of demand on a system |
| WO2020008365A2 (en) * | 2018-07-02 | 2020-01-09 | 3M Innovative Properties Company | Transferring learning in classifier-based sensing systems |
| CN112990558A (zh) * | 2021-02-26 | 2021-06-18 | 重庆大学 | 一种基于深度迁移学习的气象温度、光照的预测方法 |
| CN115271161A (zh) * | 2022-06-15 | 2022-11-01 | 华南理工大学 | 一种多能负荷短期预测方法 |
| CN116091110A (zh) * | 2022-11-16 | 2023-05-09 | 北京京东振世信息技术有限公司 | 资源需求量预测模型训练方法、预测方法及装置 |
| CN116404637A (zh) * | 2023-03-29 | 2023-07-07 | 清华大学 | 电力系统短期负荷预测方法和电力系统短期负荷预测装置 |
| CN116979503A (zh) * | 2023-06-21 | 2023-10-31 | 国网江苏省电力有限公司苏州供电分公司 | 一种基于Informer网络的商业建筑负荷预测方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992676A (zh) * | 2024-04-02 | 2024-05-07 | 福建省君诺科技成果转化服务有限公司 | 一种基于大数据的科技成果智能推荐方法 |
| CN117992676B (zh) * | 2024-04-02 | 2024-06-07 | 福建省君诺科技成果转化服务有限公司 | 一种基于大数据的科技成果智能推荐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11636314B2 (en) | Training neural networks using a clustering loss | |
| CN110728313B (zh) | 一种用于意图分类识别的分类模型训练方法及装置 | |
| CN110163252B (zh) | 数据分类方法及装置、电子设备、存储介质 | |
| CN117422182A (zh) | 数据预测方法、装置及存储介质 | |
| CN108734587A (zh) | 金融产品的推荐方法及终端设备 | |
| CN111832312A (zh) | 文本处理方法、装置、设备和存储介质 | |
| CN115082920A (zh) | 深度学习模型的训练方法、图像处理方法和装置 | |
| CN112200296A (zh) | 网络模型量化方法、装置、存储介质及电子设备 | |
| CN111242319A (zh) | 模型预测结果的解释方法和装置 | |
| CN111125658A (zh) | 识别欺诈用户的方法、装置、服务器和存储介质 | |
| CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
| CN110895706B (zh) | 一种目标聚类数的获取方法、装置及计算机系统 | |
| CN111475541A (zh) | 数据决策方法、装置、电子设备及存储介质 | |
| CN108550019B (zh) | 一种简历筛选方法及装置 | |
| CN113159213A (zh) | 一种业务分配方法、装置及设备 | |
| CN113642727A (zh) | 神经网络模型的训练方法和多媒体信息的处理方法、装置 | |
| CN113553442A (zh) | 一种无监督事件知识图谱构建方法及系统 | |
| CN117236999A (zh) | 一种活跃度确定方法、装置、电子设备及存储介质 | |
| CN116774986A (zh) | 软件开发工作量自动评估方法、装置、存储介质及处理器 | |
| CN116561319A (zh) | 文本的聚类方法、文本的聚类装置和文本聚类系统 | |
| WO2023000725A1 (zh) | 电力计量的命名实体识别方法、装置和计算机设备 | |
| CN110008974A (zh) | 行为数据预测方法、装置、电子设备及计算机存储介质 | |
| CN113010687B (zh) | 一种习题标签预测方法、装置、存储介质以及计算机设备 | |
| CN114676272A (zh) | 多媒体资源的信息处理方法、装置、设备及存储介质 | |
| CN115034225A (zh) | 应用于医学领域的词语处理方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |