CN115145901A

CN115145901A - 一种基于多尺度的时间序列预测方法及系统

Info

Publication number: CN115145901A
Application number: CN202210776953.1A
Authority: CN
Inventors: 谭龙兴; 郑晓彬
Original assignee: Zhejiang Tianzhui Technology Co ltd
Current assignee: Zhejiang Tianzhui Technology Co ltd
Priority date: 2022-06-30
Filing date: 2022-06-30
Publication date: 2022-10-04

Abstract

本申请公开了一种基于多尺度的时间序列预测方法及系统，涉及时间序列预测技术领域，多尺度的时间序列预测方法包括以下步骤：收集第一历史序列，对第一历史序列进行预处理后生成第二历史序列，基于第二历史序列选定需构建的时间尺度，基于时间尺度搭建深度学习网络模型，获取最新的真实序列并输入精准深度学习网络模型，精准深度学习网络模型基于真实序列输出得到预测结果。有益效果在于通过单尺度层结构提取时间序列中的短期和长期依赖关系，通过多尺度层结构提取不同周期、多尺度的依赖关系，增加对不同时间尺度的信息提取能力，将多尺度转化为多任务学习，从而提升预测精度，且避免了过于依赖业务知识的手工提取特征。

Description

一种基于多尺度的时间序列预测方法及系统

技术领域

本申请属于时间序列预测技术领域，更具体地说，本申请涉及一种基于多尺度的时间序列预测方法及系统。

背景技术

时间序列的预测广泛应用于工业、金融、气象、交通、互联网等领域。目前，预测方法主要包括传统时序方法、自回归统计学习方法和深度学习方法。其中传统时序方法解释性强，例如自回归滑动平均模型主要应用于单变量、周期性强的序列。自回归方法通过人工提取历史特征、日期特征，提升决策树主要应用于多变量、异质数据序列。深度学习方法通过网络结构自动提取特征，如循环神经网络、卷积神经网络和注意力网络等，主要应用于多变量序列，但目前的技术方案存在以下缺陷：

针对多尺度的时序预测，传统时序针对每个样本都需要单独构建模型，自回归统计学习针对未来多步预测的每一步都要单独构建模型，且依赖人工提取周期性特征。二者的多模型构建，增加了模型维护和部署的困难。深度学习方案，通过网络结构自动学习序列规律，减少了依赖人工业务的特征，却增加了模型的不可解释性，针对多尺度的周期性规律无法显式提取，采取和普通序列同样的建模方法。

发明内容

本申请的目的在于提供一种基于多尺度的时间序列预测方法及系统，以解决上述现有技术中存在的模型的不可解释性无法适应多尺度的时序预测且过于依赖业务知识的手工提取特征的技术问题。

为实现上述技术目的，本申请采用的技术方案如下：

一种基于多尺度的时间序列预测方法，包括以下步骤：

收集第一历史序列，对所述第一历史序列进行预处理后生成第二历史序列，基于所述第二历史序列选定需构建的时间尺度；

基于所述时间尺度搭建深度学习网络模型，将所述第二历史序列输入所述深度学习网络模型以训练得到精准深度学习网络模型；

获取最新的真实序列并输入所述精准深度学习网络模型，所述精准深度学习网络模型基于所述真实序列输出得到预测结果。

优选地，对所述第一历史序列进行预处理后生成第二历史序列，具体包括以下步骤：

对所述第一历史序列的缺失数据进行删除或填充，对所述第一历史序列的异常数据进行填充；

对所述第一历史序列的缺失数据和异常数据进行处理后，采用标准化方法消除不同特征数据的量纲影响，以计算生成所述第二历史序列。

优选地，对所述第一历史序列的缺失数据进行删除或填充，对所述第一历史序列的异常数据进行填充，具体包括以下步骤：

若缺失数据的缺失度大于第一预设条件，则删除所述缺失数据，若缺失数据的缺失度不大于所述第一预设条件，则所述缺失数据采用上一个非空数据进行填充；

选取任一时间窗口，基于所述时间窗口计算所述第一历史序列的均值和方差以计算生成第二预设条件；

若所述第一历史序列中的任一数据不在所述第二预设条件内，则标记为异常数据，对所述异常数据进行替换。

优选地，基于所述第二历史序列选定需构建的时间尺度，具体包括以下步骤：

选取所述第二历史序列的最小时间尺度，计算所述最小时间尺度与所述第二历史序列其他时间尺度的自相关系数；

选取若干所述自相关系数高的时间尺度作为搭建深度学习网络模型的尺度。

优选地，基于所述时间尺度搭建深度学习网络模型，具体包括以下步骤：

所述深度学习网络模型包括编码结构和解码结构，所述编码结构用于对所述第二历史序列进行学习和信息抽取，所述解码结构用于输出预测结果；

所述编码结构包括第一尺度层、第二尺度层和第三尺度层，所述第一尺度层、所述第二尺度层和所述第三尺度层用于处理不同时间尺度的所述第二历史序列。

优选地，将所述第二历史序列输入所述深度学习网络模型以训练得到精准深度学习网络模型，具体包括以下步骤：

将所述第二历史序列输入所述第一尺度层，输出得到第一尺度数据，将所述第一尺度数据和所述第二历史序列融合后输入所述第二尺度层，输出得到第二尺度数据；

将所述第二历史序列、所述第一尺度数据和所述第二尺度数据融合后输入所述第三尺度层，输出得到第三尺度数据；

将所述第一尺度数据、所述第二尺度数据和所述第三尺度数据聚合后作为所述解码结构的输入数据进行训练直至损失函数得到的损失值在预设阈值内，得到精准深度学习网络模型。

优选地，还包括步骤：

所述深度学习网络模型进行训练的优化器采用Adam优化器，学习率设置为0.0003。

一种基于多尺度的时间序列预测系统，包括：

收集构建模块，所述收集构建模块用于收集第一历史序列，对所述第一历史序列进行预处理后生成第二历史序列，基于所述第二历史序列选定需构建的时间尺度；

网络模型训练模块，所述网络模型训练模块用于基于所述时间尺度搭建深度学习网络模型，将所述第二历史序列输入所述深度学习网络模型以训练得到精准深度学习网络模型；

预测模块，所述预测模块用于获取最新的真实序列并输入所述精准深度学习网络模型，所述精准深度学习网络模型基于所述真实序列输出得到预测结果。

一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述所述的一种基于多尺度的时间序列预测方法。

一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现上述所述方法的步骤。

本申请提供的有益效果在于：

本申请收集第一历史序列，对所述第一历史序列进行预处理后生成第二历史序列，基于所述第二历史序列选定需构建的时间尺度，基于所述时间尺度搭建深度学习网络模型，通过单尺度层结构提取时间序列中的短期和长期依赖关系，通过多尺度层结构提取不同周期、多尺度的依赖关系，自适应学习不同时间尺度的序列信息，增加对不同时间尺度的信息提取能力，将多尺度转化为多任务学习，从而提升预测精度，且避免了过于依赖业务知识的手工提取特征。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是基于多尺度的时间序列预测方法的时序图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：

如图1所示，本实施例包括一种基于多尺度的时间序列预测方法，包括以下步骤：收集第一历史序列，对第一历史序列进行预处理后生成第二历史序列，基于第二历史序列选定需构建的时间尺度。基于时间尺度搭建深度学习网络模型，将第二历史序列输入深度学习网络模型以训练得到精准深度学习网络模型。获取最新的真实序列并输入精准深度学习网络模型，精准深度学习网络模型基于真实序列输出得到预测结果。

在本实施例中，销量预测是供应链体系的重要一环，随着零售的快速发展，对于销量的准确预测提出了更快更准的要求。第一历史序列包括品类数据和时间数据，定义所有品类数据i1，i2，i3…ii∈I，所有时间数据t1，t2，t3…tt∈T，第t天的品类i的销量定义为X_it，品类i的T天销量定义为X_i，第一历史序列定义为特征矩阵X。

对第一历史序列进行预处理后生成第二历史序列，具体包括以下步骤：对第一历史序列的缺失数据进行删除或填充，对第一历史序列的异常数据进行填充。对第一历史序列的缺失数据和异常数据进行处理后，采用标准化方法消除不同特征数据的量纲影响，以计算生成第二历史序列。

对第一历史序列的缺失数据进行删除或填充，对第一历史序列的异常数据进行填充，具体包括以下步骤：若缺失数据的缺失度大于第一预设条件，则删除缺失数据，若缺失数据的缺失度不大于第一预设条件，则缺失数据采用上一个非空数据进行填充。选取任一时间窗口，基于时间窗口计算第一历史序列的均值和方差以计算生成第二预设条件。若第一历史序列中的任一数据不在第二预设条件内，则标记为异常数据，对异常数据进行替换。

在本实施例中，缺失数据的缺失度若大于30％，则删除该缺失数据，若缺失数据的缺失度不大于30％，则采用上一个非空数据进行填充。选择14天为时间窗口，对品类i的序列X_i进行循环，计算每个数值前14天的均值u和方差sigma，若该数据小于u-3*sigma或大于u+3*sigma，则标记为异常数据，对异常数据采用上一个非空数据进行替换。

基于第二历史序列选定需构建的时间尺度，具体包括以下步骤：选取第二历史序列的最小时间尺度，计算最小时间尺度与第二历史序列其他时间尺度的自相关系数。选取若干自相关系数高的时间尺度作为搭建深度学习网络模型的尺度。

在本实施例中，计算所有品类在每个时间t的和，得到序列X_tsum，选取最小时间尺度(天)计算自相关性。计算x天的自相关性时，选取序列X_tsum与平移x天的新序列Xtsum_x，计算两个序列的自相关系数。找到自相关系数高的天数，从而推断出搭建深度学习网络模型时重要的时间尺度信息。

在本实施例中，根据需求确定预测步长为h天，此时预测任务为由t₀到t_t时刻的销量信息预测t_t+1到t_t+h时刻未来h天的销量序列。

基于时间尺度搭建深度学习网络模型，具体包括以下步骤：深度学习网络模型包括编码结构和解码结构，编码结构用于对第二历史序列进行学习和信息抽取，解码结构用于输出预测结果。编码结构包括第一尺度层、第二尺度层和第三尺度层，第一尺度层、第二尺度层和第三尺度层用于处理不同时间尺度的第二历史序列。

在本实施例中，预测销量的公式为：Y_bh＝f(X_bsn)，X_bsn表示为三维数组形式的第二历史序列。第一维代表不同的样本，第二维代表时间维度，代表了s个历史时间，第三维为每一个时间维度观测到的特征维度，例如销量、品类的种类、促销信息等。品类的种类信息和促销信息转化为嵌入式embedding向量之后，可以减少模型维度且互相学习到不同种类销量之间的依赖关系。Y_bh为输出的二维数组，第一维与输入相同代表同一样本，第二维为预测的步长h，由s天历史序列预测未来h天的销量。f表示为多个参数和多层神经网络结构的深度学习网络模型。

将第二历史序列输入深度学习网络模型以训练得到精准深度学习网络模型，具体包括以下步骤：将第二历史序列输入第一尺度层，输出得到第一尺度数据，将第一尺度数据和第二历史序列融合后输入第二尺度层，输出得到第二尺度数据。将第二历史序列、第一尺度数据和第二尺度数据融合后输入第三尺度层，输出得到第三尺度数据。将第一尺度数据、第二尺度数据和第三尺度数据聚合后作为解码结构的输入数据进行训练直至损失函数得到的损失值在预设阈值内，得到精准深度学习网络模型。

深度学习网络模型包括编码和解码两个阶段，编码阶段信息流从小尺度时序到大尺度时序，多尺度融合学习到时序代表的周期性、趋势性等信息。

第一尺度层的计算公式为：Y_bsn＝GRU(X_bsn)，输入数据为模型输入的原始三维数组X_bsn，GRU代表一层Gated recurrent unit门控循环网络，避免学习过程中的梯度消失现象，保障各参数能不断学习到相关信息。Y_bsn为第一尺度数据。第一尺度数据记录了第一尺度层在学习阶段学习到不同特征、不同时间的时序权重信息，可以根据状态信息和解码特征在解码阶段得到预测值。

本申请的技术方案通过增加多个尺度层的预测，使深度学习网络模型能够自主学习到多个时间尺度中的周期信息。第二尺度层的输入数据为原始序列的信息和第一尺度数据的融合，为满足第二尺度层的序列输入要求，原始序列的数量特征转化为周的尺度X_{bsn_week}，第一尺度数据转化为周的尺度Y_{bsn_week}，原始序列的数量特征以及第一尺度数据转化为周的尺度融合后作为第二尺度层的输入数据。

第二尺度层的计算公式为：

X2_bsn＝[X_{bsn_week},Y_{bsn_week}]

Y2_bsn＝GRU(X2_bsn)

其中，周尺度的转化通过卷积运算实现，计算每周销量的平均值。X_{bsn_week},和Y_{bsn_week}是周尺度的三维数组，融合时设置融合权重，从而自适应提取不同尺度带来的信息。之后如果需要更多的尺度层，则同理。这里示意的每一个时间尺度，都只采用一层时序网络，也可以每一时间尺度采用双层或多层网络。

本实施例中，时序预测的结构单元为GRU单元。时序预测可选用其他预测单元，例如LSTM(Long short term memory长短期记忆)、双向LSTM、CNN、TCN、Attention、Transformer等。

解码阶段将编码阶段不同尺度层的输出进行融合，同时和解码特征聚合得到相应的输出。为防止未来信息泄露，可以采用逐步预测的解码方式，得到每个样本长度为h的预测序列，通过学习不同特征和周期的权重得到的解码序列，即为最终预测结果。

还包括步骤：深度学习网络模型进行训练的优化器采用Adam优化器，学习率设置为0.0003。训练时通过改变可调节参数的权重，使模型输出与主损失函数为最后一层输出时序与真实时序的均方根误差，同时每一尺度层都增加对应的辅助损失函数。

实施例2：

本实施例包括一种基于多尺度的时间序列预测系统，包括：

收集构建模块，收集构建模块用于收集第一历史序列，对第一历史序列进行预处理后生成第二历史序列，基于第二历史序列选定需构建的时间尺度。

网络模型训练模块，网络模型训练模块用于基于时间尺度搭建深度学习网络模型，将第二历史序列输入深度学习网络模型以训练得到精准深度学习网络模型。

预测模块，预测模块用于获取最新的真实序列并输入精准深度学习网络模型，精准深度学习网络模型基于真实序列输出得到预测结果。

本说明书实施例2的多尺度的时间序列预测系统可以作为上述图1所示的多尺度的时间序列预测方法的执行主体，因此该多尺度的时间序列预测系统能够实现方法在图1所实现的功能。相关之处参见实施例1的部分说明即可。

实施例3：

一种电子设备，包括存储器和处理器，存储器用于存储一条或多条计算机指令，其中，一条或多条计算机指令被处理器执行以实现上述的一种多尺度的时间序列预测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，计算机指令被处理器执行时实现实施例1中方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本申请专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本申请专利的保护范围内。本申请所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本申请的结构或者超越本权利要求书所定义的范围，均应属于本申请的保护范围。

Claims

1.一种基于多尺度的时间序列预测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于多尺度的时间序列预测方法，其特征在于，对所述第一历史序列进行预处理后生成第二历史序列，具体包括以下步骤：

3.如权利要求2所述的一种基于多尺度的时间序列预测方法，其特征在于，对所述第一历史序列的缺失数据进行删除或填充，对所述第一历史序列的异常数据进行填充，具体包括以下步骤：

4.如权利要求1所述的一种基于多尺度的时间序列预测方法，其特征在于，基于所述第二历史序列选定需构建的时间尺度，具体包括以下步骤：

5.如权利要求1所述的一种基于多尺度的时间序列预测方法，其特征在于，基于所述时间尺度搭建深度学习网络模型，具体包括以下步骤：

6.如权利要求5所述的一种基于多尺度的时间序列预测方法，其特征在于，将所述第二历史序列输入所述深度学习网络模型以训练得到精准深度学习网络模型，具体包括以下步骤：

7.如权利要求1所述的一种基于多尺度的时间序列预测方法，其特征在于，还包括步骤：

8.一种基于多尺度的时间序列预测系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1至7中任一项所述的一种基于多尺度的时间序列预测方法。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。