CN115048992A - 建立时间序列预测模型的方法、时间序列预测方法和装置 - Google Patents

Abstract

本说明书实施例提供了一种建立时间序列预测模型的方法、时间序列预测方法和装置。根据该实施例的方法，首先从历史时间序列获取训练数据，所述训练数据包括连续n个时间点的指标值，所述n为大于1的正整数；然后利用所述训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入所述状态空间模型，由所述状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测所述第t_s个时间点之后τ个时间点的指标值，所述τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

Description

建立时间序列预测模型的方法、时间序列预测方法和装置

技术领域

本说明书一个或多个实施例涉及人工智能技术领域，尤其涉及一种建立时间序列预测模型的方法、时间序列预测方法和装置。

背景技术

时间序列指的是将同一统计指标的数值按照发生的时间顺序排列而成的数列。时间序列预测旨在根据已有的历史时间的统计指标数值对未来时间的统计指标数值进行预测。时间序列预测可以应用于各种场景中，包括对应用服务流量的时间序列预测，对金融/商业领域中交易资金的时间序列预测，对云计算中计算资源容量的预测，等等。如何准确地实现时间序列预测成为亟待解决的问题。

发明内容

有鉴于此，本说明书一个或多个实施例描述了一种建立时间序列预测模型的方法、时间序列预测方法和装置，以便于实现准确的时间序列预测。

根据第一方面，提供了一种建立时间序列预测模型的方法，包括：

从历史时间序列获取训练数据，所述训练数据包括连续n个时间点的指标值，所述n为大于1的正整数；

利用所述训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入所述状态空间模型，由所述状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测所述第t_s个时间点之后τ个时间点的指标值，所述τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；

其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

在另一个实施例中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

在一个实施例中，所述状态空间模型还包括：记忆模块；

所述记忆模块对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

在另一个实施例中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示包括：

所述状态转移模块对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；

所述状态转移模块利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型还包括：状态更新模块；

所述状态更新模块利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；将确定出的所述待预测时间点的隐状态表示提供给所述记忆模块进行存储。

在另一个实施例中，所述指标值包括计算资源容量值或应用服务的流量值。

根据第二方面，提供了一种时间序列预测方法，包括：

将第t_cur个时间点的指标值输入时间序列预测模型，所述时间序列预测模型基于状态空间模型预先训练得到；

获取所述时间序列预测模型依据所述第t_cur个时间点及其之前各时间点的指标值预测所述第t_cur个时间点之后τ个时间点的指标值，所述τ为预设的正整数；

其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

在一个实施例中，所述时间序列预测模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

在另一个实施例中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

在一个实施例中，所述状态空间模型还包括：记忆模块；

所述记忆模块对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

在另一个实施例中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示包括：

所述状态转移模块对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；

所述状态转移模块利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型还包括：状态更新模块；

所述状态更新模块利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；利用确定出的所述待预测时间点的隐状态表示更新所述记忆模块存储的内容。

根据第三方面，提供了一种建立时间序列预测模型的装置，包括：

数据获取单元，被配置为从历史时间序列获取训练数据，所述训练数据包括连续n个时间点的指标值，所述n为大于1的正整数；

模型训练单元，被配置为利用所述训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入所述状态空间模型，由所述状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测所述第t_s个时间点之后τ个时间点的指标值，所述τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块，用以对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块，用以利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块，用以利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

在另一个实施例中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

在一个实施例中，所述状态空间模型还包括：

记忆模块，用以对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

在另一个实施例中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块，具体用以对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型还包括：

状态更新模块，用以利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；将确定出的所述待预测时间点的隐状态表示提供给所述记忆模块进行存储。

根据第四方面，提供了一种时间序列预测装置，包括：

数据输入单元，被配置为将第t_cur个时间点的指标值输入时间序列预测模型，所述时间序列预测模型基于状态空间模型预先训练得到；

指标预测单元，被配置为获取所述时间序列预测模型依据所述第t_cur个时间点及其之前各时间点的指标值预测所述第t_cur个时间点之后τ个时间点的指标值，所述τ为预设的正整数；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

在一个实施例中，所述时间序列预测模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块，用以对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块，用以利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块，用以利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

在另一个实施例中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

在一个实施例中，所述状态空间模型还包括：

记忆模块，用以对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

在另一个实施例中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块，具体用以对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

在一个实施例中，所述状态空间模型还包括：

状态更新模块，用以利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；利用确定出的所述待预测时间点的隐状态表示更新所述记忆模块存储的内容。

根据第五方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

根据本说明书实施例提供的方法和装置，将注意力机制引入状态空间模型，使得隐状态表示能够充分捕捉历史时间点的状态影响，从而提高时间序列预测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一个实施例的建立时间序列预测模型的方法流程图；

图2示出了根据一个实施例的空间状态模型的结构示意图；

图3示出了根据一个实施例的时间序列预测方法的流程图；

图4示出了根据一个实施例的建立时间序列预测模型的装置示意性框图；

图5示出了根据一个实施例的时间序列预测装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

本公开的技术实现主要包括两个主要阶段：时间序列预测模型的建立阶段以及时间序列预测阶段。首先对时间序列预测模型的建立过程进行描述。

图1示出了根据一个实施例的建立时间序列预测模型的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括:

步骤101，从历史时间序列获取训练数据，训练数据包括连续n个时间点的指标值，n为大于1的正整数。

步骤103，利用训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入状态空间模型，由状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测第t_s个时间点之后τ个时间点的指标值，τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

在图1所示的方法中，建立时间序列预测模型将注意力机制引入状态空间模型，使得隐状态表示能够充分捕捉历史时间点的状态影响，从而提高时间序列预测的准确性。

下面描述图1所示的各个步骤的执行方式。首先对步骤101即“从历史时间序列获取训练数据”进行详细描述。

在本说明书从历史时间序列获取训练数据，训练数据包括连续n个时间点的指标值，n为大于1的正整数。

由于时间序列指的是将同一统计指标的数值(本公开中称为“指标值”)按照发生的时间顺序排列而成的数列，因此，在获取训练数据时，可以将历史指标值按照时间顺序排列，得到历史时间序列来作为训练数据。

举个例子，对于应用程序的流量时间序列而言，每分钟统计应用程序的流量值，那么就形成了每隔一分钟一个流量值的排列，即历史时间序列就是每分钟一个时间点。例如从历史时间序列中选取连续1000个时间点的指标值构成训练数据。

另外，在上述训练数据所包括的历史时间序列中还可以进一步包括每个时间点的协变量。该协变量可以是一些体现周期性信息的变量，例如体现几点的信息(hourofday)、体现星期几的信息(dayofweek)等。也可以是与服务相关的信息，例如在诸如“618”、“双十一”等时间会有一些促销活动，协变量就可以是一些与业务相关的信息，比如销售额、销售量等。

训练数据中各时间点的指标值y₁,y₂,…y_n，各时间点的协变量依据时间顺序表示为：x₁,x₂,…x_n。

下面对上述步骤103即“利用训练数据训练状态空间模型，得到时间序列预测模型”进行详细描述。

状态空间模型是动态时域模型，以隐含着的时间为自变量。状态空间模型不仅能反映系统内部状态，而且能揭示系统内部状态与外部的输入与输出变量的联系。状态空间模型主要包括两部分：一部分反映在输入变量作用下某时刻所转移到的状态；另一部分反映某时刻的输出与状态、输入变量的联系。本说明书中基于状态空间模型实现时间序列预测模型的构建。

图2示出了根据一个实施例的状态空间模型的结构示意图，如图2中所示，该记忆网络可以包括：编码模块、状态转移模块和观测生成模块，还可以进一步包括记忆模块和状态更新模块。

编码模块对各时间点的特征进行编码，得到各时间点的特征向量表示。其中，上述各时间点的特征可以包括各时间点的指标值。例如，将时间点的指标值进行embedding(嵌入)得到向量表示，以时间点t为例，那么对其指标值进行embedding得到e_t。这种情况下，时间点t的特征向量表示f_t＝e_t。

更进一步地，上述特征还可以包括协变量x_t，以hourofday和dayofweek为例，对hourofday和dayofweek特征进行embedding，得到各时间点对应的hourofday和dayofweek特征的向量表示h_t和d_t。这种情况下，时间点t的特征向量表示f_t＝[e_t,h_t,d_t]，即e_t，h_t和d_t的拼接向量。需要说明的是，在此仅以hourofday和dayofweek作为协变量为例，也可以仅采用其中一个，或者采用其他协变量。

在说明书实施例在进行状态空间模型的训练时，可以以时间顺序将各时间点分别作为第t_s个时间点输入状态空间模型，由状态空间模型依据第t_s个时间点及其之前各时间点的指标值预测第t_s个时间点之后τ个时间点的指标值。因此，每输入一个t_s个时间点，编码模块均对该t_s个时间点进行编码。编码模块对每一个时间点编码得到的特征向量可以由记忆模块进行记忆，例如存储于一个memory(存储器)中。

由于后续在进行τ个时间点的指标值预测时，也是逐个时间点依次进行预测，在此过程中对于τ个时间点中的每一个时间点t编码模块均会进行特征的编码，得到各时间点的特征向量表示，并由记忆模块进行记忆。

状态转移模块利用待预测时间点之前各时间点的特征向量表示对待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示。

注意力(Attention)机制是一种能让模型对重要信息重点关注并学习的技术，核心是Attention函数，其包含query(查询)、key(键)和value(值)三个变量。Attention就是一个query到一系列key-value对的映射。

在状态空间模型中，核心是Kalman(卡尔曼)滤波，Kalman滤波是在时间点t基于所有可得到的信息计算状态的最理想的递推过程。每个时间点都存在一个状态即隐状态表示。应用状态的先验转移理论可以认为每个时间点t的隐状态表示z_t由之前所有时刻的输入来决定，鉴于隐状态表示服从正态分布，因此本说明书实施例在具体实现时，可以由记忆模块对待预测时间点之前各时间点的隐状态表示的信息进行存储。为了方便后续计算，存储的隐状态表示的信息可以是采用统计的方式得到的隐状态表示的均值向量u_t和协方差矩阵Σ_t。

在memory中为了实现快速查找，设置query和key均为f_t，对应的value为均值向量和协方差矩阵。以时间点t为例，该时间点的query和key分别表示为q_t和k_t，那么：

q_t＝k_t＝f_t＝[e_t,h_t,d_t] (1)

状态转移模块在具体处理时，可以对待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到待预测时间点的隐状态表示的均值向量；以及对待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到待预测时间点的隐状态表示的协方差矩阵；其中注意力机制的处理所采用的权重由待预测时间点之前各时间点的特征向量表示得到。然后状态转移模块利用待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定待预测时间点的隐状态表示。

也就是说，对于每一个待预测时间点t，其隐状态表示z_t的先验转移概率为：

p(z_t|y_1:t-1,x_1:t)＝N(m_t,Q_t) (2)

其中，y_1:t-1表示时间点1到t-1的指标值，x_1:t表示时间点1到t的协变量。N()表示正态分布。

其中，

观测生成模块利用待预测时间点的隐状态表示生成待预测时间点的指标值的预测结果。作为其中一种实现方式，观测生成模块可以利用下面的公式来生成待预测时间点t的指标值：

y_t＝Az_t+b_t+δ_t (6)

其中，A为模型参数。

残差项b_t可以由一个动态的RNN输出进行转换得到。将协变量x_t输入RNN后，RNN依据上一时间点的输出r_t-1和x_t产生输出r_t，表示为：

r_t＝RNN(r_t-1,x_t) (7)

b_t＝mlp(r_t) (8)

其中，mlp()表示全连接网络的映射函数。

δ_t～N(δ_t|0,R_t)，R_t为δ_t的协方差。

状态更新模块利用待预测时间点的指标值，通过Kalman滤波的方式确定待预测时间点的隐状态表示；将确定出的待预测时间点的隐状态表示提供给所述记忆模块进行存储。

在预测得到y_t后可以进一步利用Kalman滤波的方式重新确定出时间点t的隐向量表示，在本说明书实施例中以得到均值向量u_t和协方差矩阵Σ_t为例：

依据后验转移概率，p(z_t|y_1:t,x_1:t)＝N(u_t,Σ_t) (9)

其中，u_t＝m_t+K_t(y_t-b_t-A m_t) (10)

Σ_t＝(I-K_t A)Q_t (11)

K_t＝Q_t A^T(A Q_t A^T+R_t)^-1 (12)

其中，上述I为单位矩阵。

上述公式(9)～(12)是Kalman滤波的经典算法，在此不做详细描述。

对第t_s个时间点之后τ个时间点中的每一个时间点进行上述过程中关于指标值的预测，由于第t_s个时间点之后τ个时间点也是历史时间序列中的时间点，因此在训练数据中是存在指标值即实际指标值的。因此，在训练过程中训练目标是最小化预测指标值与训练数据中对应指标值的差异，也就是说，逐步训练使得模型预测出的值与实际指标值一致。

可以依据上述训练目标设计损失函数，在每一轮迭代中依据损失函数的取值更新状态空间模型的模型参数，直至满足迭代停止条件，训练完成得到时间序列预测模型。其中，迭代停止条件可以包括损失函数的取值小于或等于预设的取值阈值，或者迭代次数达到预设的次数阈值等。

例如，损失函数Loss可以为：

下面对上述过程进行总结，如图2中所示，首先将第t_s个时间点的下一个时间点作为时间点t，在进行时间点t的指标值预测时。已知的输入是上一个时间点t_s实际上就是t-1的指标值y_t-1以及时间点t的协变量x_t。通过编码模块的编码，能够得到f_t-1，由记忆模块进行存储。另外，记忆模块也存储有时间点t-1及其之前所有的隐状态表示，因此，y_1:t-1、x_1:t、u_1:t-1和Σ_1:t-1均是已知的，状态转移模块通过公式(2)～(5)可以预估得到时间点t的隐向量表示z_t，并由记忆模块进行存储。观测生成模块利用z_t和x_t，通过公式(6)～(8)预测得到y_t。状态更新模块利用y_t通过公式(9)～(12)更新隐向量表示z_t，并由记忆模块进行记忆。然后再将下一个待预测的时间点作为时间点t重复上述过程，直至将所有待预测时间点的指标值均预测完毕。通过更新模型参数，使得预测的指标值尽量与训练数据中对应的实际指标值一致。

采用上述过程对记忆网络进行训练就能够得到时间序列预测模型。下面结合实施例对基于该时间序列预测模型的时间序列预测方法进行描述。图3示出了根据一个实施例的时间序列预测方法的流程图，可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图3中所示，该方法可以包括以下步骤：

步骤301：将第t_cur个时间点的指标值输入时间序列预测模型，时间序列预测模型基于状态空间模型预先训练得到。

步骤303：获取时间序列预测模型依据第t_cur个时间点及其之前各时间点的指标值预测第t_cur个时间点之后τ个时间点的指标值，τ为预设的正整数；其中，在上述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到待预测时间点的隐状态表示。

在图3所示的方法中，通过基于空间状态模型预先训练得到的时间序列预测模型，在指标值预测过程基于注意力机制捕捉历史时间点对待预测时间点的状态影响，从而提高时间序列预测的准确性。

下面描述图3所示的各个步骤的执行方式。首先对步骤301即“将第t_cur个时间点的指标值输入时间序列预测模型，时间序列预测模型基于状态空间模型预先训练得到”进行详细描述。

在本说明书实施例中，上述的第t_cur个时间点可以是当前时间点，即依据当前时间点及其之前时间点的指标值对未来τ个时间点的指标值进行预测。若待预测的τ个时间点是已发生的时间点，那么上述第t_cur个时间点就是待预测的τ个时间点之前最近的时间点。在实际的应用场景中上述前一种情况更为常见，即依据当前时间点及其之前的历史点构成的历史时间序列对未来时间点的指标值进行预测。无论是哪种情况，上述第t_cur个时间序列是已知各时间点的实际指标值的。

举个例子，可以使用当前时间点的计算资源容量及其之前的历史时间序列，对下一个时间点的计算资源容量进行预测，或者，对下3个时间点的计算资源容量进行预测，等等。

另外，关于时间序列的定义与上述建立时间序列预测模型的实施例中的记载相一致，在此不做赘述。

下面对上述步骤303即“获取时间序列预测模型依据第t_cur个时间点及其之前各时间点的指标值预测第t_cur个时间点之后τ个时间点的指标值”进行详细描述。

时间序列预测模型的工作原理示意图可以参见上述建立时间序列预测模型的实施例中图3的相关记载。

编码模块对各时间点的特征进行编码，得到各时间点的特征向量表示。其中，上述各时间点的特征可以包括各时间点的指标值。也就是说，将时间点的指标值进行embedding(嵌入)得到向量表示，以时间点t为例，那么对其指标值进行embedding得到e_t。这种情况下，时间点t的特征向量表示f_t＝e_t。

更进一步地，上述特征还可以包括协变量x_t，以hourofday和dayofweek为例，对hourofday和dayofweek特征进行embedding，得到各时间点对应的hourofday和dayofweek特征的向量表示h_t和d_t。这种情况下，时间点t的特征向量表示f_t＝[e_t,h_t,d_t]，即e_t，h_t和d_t的拼接向量。需要说明的是，在此仅以hourofday和dayofweek作为协变量为例，也可以仅采用其中一个，或者采用其他协变量。

由于状态空间模型的预测是基于历史时间序列训练得到的，状态空间模型中记忆有历史时间序列中各时间点的特征向量，可以由记忆模块进行记忆，例如存储于一个memory(存储器)中。另外，在实际预测过程中，针对每一个输入的时间点和待预测的时间点，编码模块均会进行特征的编码，得到各时间点的特征向量表示，并由记忆模块进行记忆。

状态转移模块利用待预测时间点之前各时间点的特征向量表示对待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到待预测时间点的隐状态表示。

作为其中一种可实现的方式，记忆模块可以对待预测时间点之前各时间点的隐状态表示的信息进行存储。为了方便后续计算，存储的隐状态表示的信息可以是采用统计的方式得到的隐状态表示的均值向量u_t和协方差矩阵Σ_t。在memory中为了实现快速查找，设置query和key均为f_t，对应的value为均值向量和协方差矩阵。以时间点t为例，该时间点的query和key分别表示为q_t和k_t，那么：q_t＝k_t＝f_t＝[e_t,h_t,d_t]。

状态转移模块在具体处理时，可以对待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到待预测时间点的隐状态表示的均值向量；以及对待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到待预测时间点的隐状态表示的协方差矩阵；其中注意力机制的处理所采用的权重由待预测时间点之前各时间点的特征向量表示得到。然后状态转移模块利用待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定待预测时间点的隐状态表示。上述过程的公式可以参见建立时间序列预测模型的实施例中公式(2)～(5)的相关记载，在此不做赘述。

观测生成模块利用待预测时间点的隐状态表示生成待预测时间点的指标值的预测结果。作为其中一种实现方式，观测生成模块采用的公式可以参见建立时间序列预测模型的实施例中公式(6)～(8)的相关记载，在此不做赘述。

状态更新模块利用待预测时间点的指标值，通过Kalman滤波的方式确定待预测时间点的隐状态表示；将确定出的待预测时间点的隐状态表示提供给所述记忆模块进行存储。状态更新模块采用的公式可以参见建立时间序列预测模型的实施例中公式(9)～(12)的相关记载，在此不做赘述。

将上述时间序列预测模型应用于诸如计算资源的容量预测，能够在应用程序的流量变化前，提前扩展计算资源的容量，降低容量风险，并最终降低运维成本。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

根据另一方面的实施例，提供了一种建立时间序列预测模型的装置。图4示出了根据一个实施例的建立时间序列预测模型的装置示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图4所示，该装置400包括：数据获取单元401和模型训练单元402。其中各组成单元的主要功能如下：

数据获取单元401，被配置为从历史时间序列获取训练数据，训练数据包括连续n个时间点的指标值，n为大于1的正整数。

模型训练单元402，被配置为利用训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入状态空间模型，由状态空间模型依据第t_s个时间点及其之前各时间点的指标值预测第t_s个时间点之后τ个时间点的指标值，τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；其中，在预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到待预测时间点的隐状态表示。

其中，状态空间模型包括：编码模块、状态转移模块和观测生成模块。

编码模块，用以对各时间点的特征进行编码，特征包括指标值，得到各时间点的特征向量表示。

状态转移模块，用以利用待预测时间点之前各时间点的特征向量表示对待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到待预测时间点的隐状态表示。

观测生成模块，用以利用待预测时间点的隐状态表示生成待预测时间点的指标值的预测结果。

更进一步地，上述特征还可以包括协变量；

观测生成模块在生成待预测时间点的指标值的预测结果时，进一步利用待预测时间点的协变量。

另外，状态空间模型还可以包括：

记忆模块，用以对待预测时间点之前各时间点的隐状态表示的信息进行存储。

作为一种可实现的方式，隐状态表示的信息可以包括隐状态表示的均值向量和协方差矩阵。

状态转移模块，具体用以对待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到待预测时间点的隐状态表示的均值向量；以及对待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到待预测时间点的隐状态表示的协方差矩阵；其中注意力机制的处理所采用的权重由待预测时间点之前各时间点的特征向量表示得到；利用待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定待预测时间点的隐状态表示。

更进一步地，状态空间模型还可以包括：

状态更新模块，用以利用待预测时间点的指标值，通过卡尔曼滤波的方式确定待预测时间点的隐状态表示；将确定出的待预测时间点的隐状态表示提供给所述记忆模块进行存储。

模型训练单元402可以依据上述训练目标设计损失函数，在每一轮迭代中依据损失函数的取值更新状态空间模型的模型参数，直至满足迭代停止条件，训练完成得到时间序列预测模型。其中，迭代停止条件可以包括损失函数的取值小于或等于预设的取值阈值，或者迭代次数达到预设的次数阈值等。

图5示出了根据一个实施例的时间序列预测装置的示意性框图，可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图5所示，该装置500包括：数据输入单元501和指标预测单元502。其中各组成单元的主要功能如下：

数据输入单元501，被配置为将第t_cur个时间点的指标值输入时间序列预测模型，时间序列预测模型基于状态空间模型预先训练得到；

指标预测单元502，被配置为获取时间序列预测模型依据第t_cur个时间点及其之前各时间点的指标值预测第t_cur个时间点之后τ个时间点的指标值，τ为预设的正整数；其中，在预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到待预测时间点的隐状态表示。

其中，时间序列预测模型包括：编码模块、状态转移模块和观测生成模块。

编码模块，用以对各时间点的特征进行编码，特征包括指标值，得到各时间点的特征向量表示。

状态转移模块，用以利用待预测时间点之前各时间点的特征向量表示对待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到待预测时间点的隐状态表示。

观测生成模块，用以利用待预测时间点的隐状态表示生成待预测时间点的指标值的预测结果。

更进一步地，上述特征还可以包括协变量。观测生成模块在生成待预测时间点的指标值的预测结果时，进一步利用待预测时间点的协变量。

另外，状态空间模型还可以包括：

记忆模块，用以对待预测时间点之前各时间点的隐状态表示的信息进行存储。

作为一种可实现的方式，隐状态表示的信息可以包括隐状态表示的均值向量和协方差矩阵。

状态转移模块，具体用以对待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到待预测时间点的隐状态表示的均值向量；以及对待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到待预测时间点的隐状态表示的协方差矩阵；其中注意力机制的处理所采用的权重由待预测时间点之前各时间点的特征向量表示得到；利用待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定待预测时间点的隐状态表示。

更进一步地，状态空间模型还可以包括：

状态更新模块，用以利用待预测时间点的指标值，通过卡尔曼滤波的方式确定待预测时间点的隐状态表示；将确定出的待预测时间点的隐状态表示提供给所述记忆模块进行存储。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可以看出，本说明书实施例提供的上述方案具备以下优点：

1)将注意力机制引入状态空间模型，使得隐状态表示能够充分捕捉历史时间点的状态影响，从而提高时间序列预测的准确性。

2)将诸如hourofday和dayofweek等周期性信息作为协变量进行编码，并将其引入隐状态表示的推断，如果预测效果发生变化，能够以此确定隐状态的时间规律是否发生变化，提高可解释性。

3)时间序列预测模型中的记忆模块能够对历史时间点的隐状态表示进行记忆，从而准确地进行长周期时序预测。。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图1或图3所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图1或图3所述的方法。

随着时间、技术的发展，计算机可读存储介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本说明书中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

上述的处理器可包括一个或多个单核处理器或多核处理器。处理器可包括任何一般用途处理器或专用处理器(如图像处理器、应用处理器基带处理器等)的组合。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (16)

1.建立时间序列预测模型的方法，包括：

从历史时间序列获取训练数据，所述训练数据包括连续n个时间点的指标值，所述n为大于1的正整数；

利用所述训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入所述状态空间模型，由所述状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测所述第t_s个时间点之后τ个时间点的指标值，所述τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；

其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

2.根据权利要求1所述的方法，其中，所述状态空间模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

3.根据权利要求2所述的方法，其中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

4.根据权利要求2所述的方法，其中，所述状态空间模型还包括：记忆模块；

所述记忆模块对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

5.根据权利要求4所述的方法，其中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示包括：

所述状态转移模块对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；

所述状态转移模块利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

6.根据权利要求4所述的方法，其中，所述状态空间模型还包括：状态更新模块；

所述状态更新模块利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；将确定出的所述待预测时间点的隐状态表示提供给所述记忆模块进行存储。

7.根据权利要求1至6中任一项所述的方法，其中，所述指标值包括计算资源容量值或应用服务的流量值。

8.时间序列预测方法，包括：

将第t_cur个时间点的指标值输入时间序列预测模型，所述时间序列预测模型基于状态空间模型预先训练得到；

获取所述时间序列预测模型依据所述第t_cur个时间点及其之前各时间点的指标值预测所述第t_cur个时间点之后τ个时间点的指标值，所述τ为预设的正整数；

其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

9.根据权利要求8所述的方法，其中，所述时间序列预测模型包括：编码模块、状态转移模块和观测生成模块；

所述编码模块对各时间点的特征进行编码，所述特征包括指标值，得到各时间点的特征向量表示；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示；

所述观测生成模块利用所述待预测时间点的隐状态表示生成所述待预测时间点的指标值的预测结果。

10.根据权利要求9所述的方法，其中，所述特征还包括协变量；

所述观测生成模块在生成所述待预测时间点的指标值的预测结果时，进一步利用所述待预测时间点的协变量。

11.根据权利要求9所述的方法，其中，所述状态空间模型还包括：记忆模块；

所述记忆模块对所述待预测时间点之前各时间点的隐状态表示的信息进行存储。

12.根据权利要求11所述的方法，其中，所述隐状态表示的信息包括隐状态表示的均值向量和协方差矩阵；

所述状态转移模块利用待预测时间点之前各时间点的特征向量表示对所述待预测时间点之前各时间点的隐状态表示进行注意力机制的处理，得到所述待预测时间点的隐状态表示包括：

所述状态转移模块对所述待预测时间点之前各时间点的隐状态表示的均值向量进行注意力机制的处理，得到所述待预测时间点的隐状态表示的均值向量；以及对所述待预测时间点之前各时间点的隐状态表示的协方差矩阵进行注意力机制的处理，得到所述待预测时间点的隐状态表示的协方差矩阵；其中所述注意力机制的处理所采用的权重由所述待预测时间点之前各时间点的特征向量表示得到；

所述状态转移模块利用所述待预测时间点的隐状态表示的均值向量和协方差矩阵，依据正态分布确定所述待预测时间点的隐状态表示。

13.根据权利要求11所述的方法，其中，所述状态空间模型还包括：状态更新模块；

所述状态更新模块利用所述待预测时间点的指标值，通过卡尔曼滤波的方式确定所述待预测时间点的隐状态表示；利用确定出的所述待预测时间点的隐状态表示更新所述记忆模块存储的内容。

14.建立时间序列预测模型的装置，包括：

数据获取单元，被配置为从历史时间序列获取训练数据，所述训练数据包括连续n个时间点的指标值，所述n为大于1的正整数；

模型训练单元，被配置为利用所述训练数据训练状态空间模型，得到时间序列预测模型；其中，依时间顺序将各时间点分别作为第t_s个时间点执行：将第t_s个时间点的指标值输入所述状态空间模型，由所述状态空间模型依据所述第t_s个时间点及其之前各时间点的指标值预测所述第t_s个时间点之后τ个时间点的指标值，所述τ为预设的正整数；训练目标包括最小化预测的指标值与训练数据中对应指标值的差异；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

15.时间序列预测装置，包括：

数据输入单元，被配置为将第t_cur个时间点的指标值输入时间序列预测模型，所述时间序列预测模型基于状态空间模型预先训练得到；

指标预测单元，被配置为获取所述时间序列预测模型依据所述第t_cur个时间点及其之前各时间点的指标值预测所述第t_cur个时间点之后τ个时间点的指标值，所述τ为预设的正整数；其中，在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

16.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-13中任一项所述的方法。

Images