CN107895214A - 一种多元时间序列预测方法 - Google Patents

Abstract

本发明提供了一种多元时间序列预测方法，该方法包括：步骤一、基于局部回归的季节性与趋势分解算法，将多元时间序列季节分解为趋势序列、循环序列和不规则序列；步骤二、通过线性或非线性回归算法对趋势序列预测得到趋势序列预测值；步骤三、基于组合模型对分别引入外部因素和历史各期变量的循环序列进行预测得到循环序列初始预测值，使用前馈神经网络将初始预测值进行融合得到循环序列预测值；步骤四、将趋势序列预测值和循环序列预测值进行加和得到多元时间序列预测值。本发明解决了多元时间序列预测精度问题，可以更加合理地分析多元时间序列的自身特性以及外部影响因素的影响，得到更准确的时间序列预测结果。

Description

一种多元时间序列预测方法

技术领域

本发明涉及多元时间序列预测技术领域，尤其涉及一种基于组合模型和季节时序分析多元时间序列的预测方法，引入外部影响因素对时间序列进行建模，从而达到提高预测精确度、降低预测误差的目的。

背景技术

时间序列分析方法最早起源于1927年数学家Yule提出建立自回归(AR-Autoregressive)模型来预测市场变化的规律。目前，时间序列预测已成为很多领域，如能源、金融、经济、农业等领域的决策基础。

以能源领域为例，在能源领域中，能源负荷数据可以被看成是时间序列。能源负荷预测，包括电力负荷预测、热负荷预测等，可以根据历史能源消耗量、当前消耗量以及外部影响因素等对未来需求量进行预测。能源负荷预测已成为能源系统规划的重要组成部分，为能源系统运行提供可靠的决策依据。影响实际能源负荷预测的因素有很多，如天气条件、建筑物特征、社会学参数和时间等。天气条件可以包括环境温度、直接太阳辐射、风速、相对湿度、云量、降水量等信息；建筑物特征可以包括建筑物类型、建筑材料等；社会学参数包括重大社会事件、节假日等；时间包括日期等。能源负荷和外部影响因素数据的组合可以看成是多元时间序列。

目前，时间序列预测普遍采用机器学习模型对时间序列进行建模，利用时间序列和外部影响因素之间存在的潜在关系对时间序列进行分析预测。由于单一机器学习模型可能只反映了原始数据的某一方面特征，已无法满足当前的能源负荷预测需求，例如，混合高斯模型(GMM-Gaussian Mixture Model)可以引入外部影响因素对负荷的影响，但是难以反映历史负荷的影响；整合自回归滑动平均模型(ARIMA-Autoregressive IntegratedMoving Average Model)易于反映历史负荷的影响，但是无法引入外部影响因素，所以需要将多种机器学习模型进行组合，每个模型都能从不同角度提供原始数据的信息，各模型之间相互联系、补充，以达到精确预测能源负荷的目的。

发明内容

为了解决多元时间序列预测精度问题，本发明提供一种多元时间序列预测方法，该方法可提高时间序列预测的精度。

为达到上述目的，本发明提供了一种多元时间序列预测方法，其特征在于，该方法包括：

步骤一、基于局部回归的季节性与趋势分解算法，将多元时间序列季节分解为趋势序列、循环序列和不规则序列；

步骤二、通过线性或非线性回归算法对趋势序列预测得到趋势序列预测值；

步骤三、基于组合模型对分别引入外部因素和历史各期变量的循环序列进行预测得到多个循环序列初始预测值，使用前馈神经网络将初始预测值进行融合得到循环序列预测值；

步骤四、将趋势序列预测值和循环序列预测值进行加和得到多元时间序列预测值。

进一步地，步骤一具体包括：

基于局部回归的季节性与趋势分解算法，将多元时间序列X＝{X₁,…,X_N}分解为趋势序列T＝{T₁,…,T_N}、循环序列S＝{S₁,…,S_N}和不规则序列I＝{I₁,…,I_N}，满足，X_t＝T_t+S_t+I_t；舍弃不规则序列I；

其中，t＝1,…,N；N是多元时间序列长度；不规则序列I表示多元时间序列X中叠加的噪声。

进一步地，所述步骤二具体包括：

通过包括但不限于最小二乘法、整合自回归滑动平均模型方法中的一种线性或非线性回归算法对趋势序列进行建模，计算得到(N+1)时刻的趋势序列预测值T_N+1。

进一步地，所述步骤三具体包括：

使用组合模型中的混合高斯模型处理外部因素的影响；使用组合模型中的整合自回归滑动平均模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1。

进一步的，使用组合模型中的混合高斯模型处理外部因素的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1包括：

使用混合高斯模型的期望最大化算法对t时刻下循环序列S_t和多维外部因素进行建模，其中M为外部因素的数量，参数为π、μ和∑的混合高斯模型GMM(π,μ,∑)表示为：

其中，K是混合高斯模型混合成分数；π＝{π₁,…,π_K}是各高斯成分的混合权重，且必须满足0≤π_k≤1,μ＝{μ₁,…,μ_K}是各高斯成分的均值；∑＝{∑₁,…,∑_K}是各高斯成分的协方差矩阵；是多元高斯分布；可以表示为：

在预测时(N+1)时刻的外部因素a_N+1属于第k个混合成分的概率为：

其中，和分别是多维外部影响因素a在第k个混合成分的均值和协方差；此时，(N+1)时刻的循环序列预测值可以表示为：

其中，是循环序列在第k个混合成分的均值。

进一步地，使用组合模型中的整合自回归滑动平均模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1，包括：

使用整合自回归滑动平均模型处理历史各期变量的影响，参数分别为p、d和q的整合自回归滑动平均模型ARIMA(p,d,q)可以表示为：

φ(B)(1-B)^dS_t＝θ(B)u_t；

其中，B是时移操作(BS_t＝S_t-1)；φ(B)＝1-φ₁B-…-φ_pB^p是自回归操作；θ(B)＝1-θ₁B-…-θ_qB^q是滑动平均操作；所有u_t独立同分布且均值为0方差为σ²；p是自回归项；q是滑动平均项；d是差分项；整合自回归滑动平均模型使用历史D个时刻的循环序列[S_N-D+1,S_N-D+2,…,S_N]^T预测(N+1)时刻的循环序列

进一步地，所述使用前馈神经网络将初始预测值进行融合得到循环序列预测值，包括：

使用前馈神经网络融合循环序列初始预测值，得到循环序列预测值S_N+1；

前馈神经网络包含输入层、隐含层、输出层三部分，前馈神经网络可以包含一个或多个隐含层，其结构如下式所示：

x₁＝f[W⁽¹⁾u]；

x_i＝f[W⁽ⁱ⁾x_i-1],i＝2,3,…,s；

y＝g[W^(s+1)x_s]；

其中s是隐含层层数，u是神经网络的输入，x_i是隐含层的输出，y是输出层的输出，W⁽ⁱ⁾是隐含层之间连接的权值矩阵；f(·)和g(·)是传递函数；前馈神经网络将循环序列初始预测值作为输入值，估计得到(N+1)时刻的循环序列预测值S_N+1。

本发明的有益效果在于，相对于现有技术而言，本发明考虑到多元时间序列自身的特性，将其分解为趋势序列和循环序列，并分别进行预测；在循环序列预测中，综合考虑时间序列的外部因素影响和历史各期变量，分别运用混合高斯模型和整合自回归滑动平均模型对循环序列进行建模并预测，再利用前馈神经网络将其预测结果进行有效融合，从而对多元时间序列的自身特性进行综合有效地分析，提高时间序列预测的准确度。

附图说明

图1为根据本发明的一种多元时间序列预测方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

以下，以具体的实施例结合附图对本发明的技术方案进行说明。

实施例一

参照图1，图1示出了本发明提供的一种多元时间序列预测方法的流程图。包括：步骤一至步骤四。

步骤一、数据预处理：基于局部回归(LOESS-LOcal regrESSion)的季节性与趋势分解算法(STL-Seasonal and Trend decomposition using Loess)，将多元时间序列季节分解为趋势序列、循环序列和不规则序列。

步骤二、趋势序列预测：通过线性或非线性回归算法对趋势序列预测得到趋势序列预测值。

步骤三、循环序列预测：基于组合模型分别对引入外部因素和历史各期变量的循环序列进行预测得到多个循环序列初始预测值，使用前馈神经网络将初始预测值进行融合得到循环序列预测值。

步骤四、预测值恢复：将趋势序列预测值和循环序列预测值进行加和得到多元时间序列预测值。

步骤一具体包括：

通过基于局部回归的季节性与趋势分解算法，将多元时间序列X＝{X₁,…,X_N}分解为趋势序列T＝{T₁,…,T_N}、循环序列S＝{S₁,…,S_N}和不规则序列I＝{I₁,…,I_N}，满足，X_t＝T_t+S_t+I_t；舍弃不规则序列I；

其中，t＝1,…,N；N是多元时间序列长度；由于不规则序列I表示多元时间序列X中叠加的噪声，所以在预测过程中将舍弃不规则序列。

进一步地，所述步骤二具体包括：

通过包括但不限于最小二乘法、整合自回归滑动平均(ARIMA-AutoregressiveIntegrated Moving Average)模型中的一种线性或非线性回归算法对趋势序列进行建模，计算得到(N+1)时刻的趋势序列预测值T_N+1。

进一步地，所述步骤三具体包括：

使用组合模型中的混合高斯模型(GMM-Gaussian Mixture Model)处理外部因素的影响；使用组合模型中的ARIMA模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1。

进一步地，使用组合模型中的GMM模型处理外部因素的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1包括：

使用期望最大化(EM-Exception Maximization)算法对t时刻下循环序列S_t和多维外部因素进行建模，其中M为外部因素的数量，参数为π、μ和∑的混合高斯模型GMM(π,μ,∑)表示为：

其中，K是混合高斯模型混合成分数；π＝{π₁,…,π_K}是各高斯成分的混合权重，且必须满足0≤π_k≤1,μ＝{μ₁,…,μ_K}是各高斯成分的均值；∑＝{∑₁,…,∑_K}是各高斯成分的协方差矩阵；是多元高斯分布；可以表示为：

在预测时(N+1)时刻的外部因素a_N+1属于第k个混合成分的概率为：

其中，和分别是多维外部影响因素a在第k个混合成分的均值和协方差；此时，(N+1)时刻的循环序列预测值可以表示为：

其中，是循环序列在第k个混合成分的均值。

进一步地，使用组合模型中的ARIMA模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1，包括：

使用ARIMA模型处理历史各期变量的影响，参数分别为p、d和q的整合自回归滑动平均模型ARIMA(p,d,q)可以表示为：

φ(B)(1-B)^dS_t＝θ(B)u_t；

其中，B是时移操作(BS_t＝S_t-1)；φ(B)＝1-φ₁B-…-φ_pB^p是自回归操作；θ(B)＝1-θ₁B-…-θ_qB^q是滑动平均操作；所有u_t独立同分布且均值为0方差为σ²；p是自回归项；q是滑动平均项；d是差分项；ARIMA模型使用历史D个时刻的循环序列[S_N-D+1,S_N-D+2,…,S_N]^T预测(N+1)时刻的循环序列

进一步地，所述使用前馈神经网络将初始预测值进行融合得到循环序列预测值，包括：

使用前馈神经网络融合循环序列初始预测值和得到循环序列预测值S_N+1；

前馈神经网络包含输入层、隐含层、输出层三部分，前馈神经网络可以包含一个或多个隐含层，其结构如下式所示：

x₁＝f[W⁽¹⁾u]；

x_i＝f[W⁽ⁱ⁾x_i-1],i＝2,3,…,s；

y＝g[W^(s+1)x_s]；

其中s是隐含层层数，u是神经网络的输入，x_i是隐含层的输出，y是输出层的输出，W⁽ⁱ⁾是隐含层之间连接的权值矩阵；f(·)和g(·)是传递函数；前馈神经网络将循环序列初始预测值和作为输入值，估计得到(N+1)时刻的循环序列预测值S_N+1。

步骤四进行恢复预测值，将步骤二和步骤三中得到的趋势序列预测值T_N+1和循环序列预测值S_N+1进行加和得到多元时间序列的预测值X_N+1，即

X_N+1＝T_N+1+S_N+1。

本发明实施例一的有益效果在于，相对于现有技术而言，本发明考虑到多元时间序列自身的特性，将其分解为趋势序列和循环序列，并分别进行预测；在循环序列预测中，综合考虑时间序列的外部因素影响和历史各期变量，分别运用GMM模型和ARIMA模型对循环序列进行建模并预测，再利用前馈神经网络将其预测结果进行有效融合，从而对多元时间序列的自身特性进行综合有效地分析，提高时间序列预测的准确度。

以上结合附图对所提出的基于组合模型和季节时序分析的多元时间序列预测方法的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解时间序列预测所使用的数学分析方法，可以更加合理地分析多元时间序列的自身特性以及外部影响因素的影响，得到更准确的时间序列预测结果。

上述本发明实施例仅为了描述，不代表实施例的优劣。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种多元时间序列预测方法，其特征在于，该方法包括：

步骤一、基于局部回归的季节性与趋势分解算法，将多元时间序列季节分解为趋势序列、循环序列和不规则序列；

步骤二、通过线性或非线性回归算法对趋势序列预测得到趋势序列预测值；

步骤三、基于组合模型对分别引入外部因素和历史各期变量的循环序列进行预测得到多个循环序列初始预测值，使用前馈神经网络将初始预测值进行融合得到循环序列预测值；

步骤四、将趋势序列预测值和循环序列预测值进行加和得到多元时间序列预测值。

2.如权利要求1所述的方法，其特征在于，步骤一具体包括：

基于局部回归的季节性与趋势分解算法，将多元时间序列X＝{X₁，…，X_N}分解为趋势序列T＝{T₁，…，T_N}、循环序列S＝{S₁，…，S_N}和不规则序列I＝{I₁，…，I_N}，满足，X_t＝T_t+S_t+I_t；舍弃不规则序列I；

其中，t＝1，…，N；N是多元时间序列长度；不规则序列I表示多元时间序列X中叠加的噪声。

3.如权利要求1或2所述的方法，其特征在于，所述步骤二具体包括：

通过包括但不限于最小二乘法、整合自回归滑动平均模型中的一种线性或非线性回归算法对趋势序列进行建模，计算得到(N+1)时刻的趋势序列预测值T_N+1。

4.如权利要求1-3之一所述的方法，其特征在于，所述步骤三具体包括：

使用组合模型中的混合高斯模型处理外部因素的影响；使用组合模型中的整合自回归滑动平均模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1。

5.如权利要求4所述的方法，其特征在于，使用组合模型中的混合高斯模型处理外部因素的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1包括：

使用混合高斯模型的期望最大化算法对t时刻下循环序列S_t和多维外部因素进行建模，其中M为外部因素的数量，参数为π、μ和∑的混合高斯模型GMM(π，μ，∑)表示为：

其中，K是混合高斯模型混合成分数；π＝{π₁，…，π_K}是各高斯成分的混合权重，且必须满足0≤π_k≤1，μ＝{μ₁，…，μ_K}是各高斯成分的均值；∑＝{∑₁，…，∑_K}是各高斯成分的协方差矩阵；是多元高斯分布；可以表示为：

在预测时(N+1)时刻的外部因素a_N+1属于第k个混合成分的概率为：

其中，和分别是多维外部影响因素a在第k个混合成分的均值和协方差；此时，(N+1)时刻的循环序列预测值可以表示为：

<mrow> <msubsup> <mi>S</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mo>(</mo> <mi>G</mi> <mi>M</mi> <mi>M</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>s</mi> </msubsup> <mi>p</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>|</mo> <msub> <mi>a</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

其中，是循环序列在第k个混合成分的均值。

6.如权利要求4所述的方法，其特征在于，使用组合模型中的整合自回归滑动平均模型处理历史各期变量的影响，计算得到(N+1)时刻的循环序列初始预测值S_N+1，包括：

使用整合自回归滑动平均模型处理历史各期变量的影响，参数分别为p、d和q的整合自回归滑动平均模型ARIMA(p,d，q)可以表示为：

φ(B)(1-B)^dS_t＝θ(B)u_t；

其中，B是时移操作(BS_t＝S_t-1)；φ(B)＝1-φ₁B-…-φ_pB^p是自回归操作；θ(B)＝1-θ₁B-…-θ_qB^q是滑动平均操作；所有u_t独立同分布且均值为0方差为σ²；p是自回归项；q是滑动平均项；d是差分项；整合自回归滑动平均模型使用历史D个时刻的循环序列[S_N-D+1，S_N-D+2，…，S_N]^T预测(N+1)时刻的循环序列

7.如权利要求1-6之一所述的方法，其特征在于，所述使用前馈神经网络将初始预测值进行融合得到循环序列预测值，包括：

使用前馈神经网络融合循环序列初始预测值，得到循环序列预测值S_N+1；

前馈神经网络包含输入层、隐含层、输出层三部分，前馈神经网络可以包含一个或多个隐含层，其结构如下式所示：

x₁＝f[W⁽¹⁾u]；

x_i＝f[W⁽ⁱ⁾x_i-1]，i＝2，3，…，s；

y＝g[W^(s+1)x_s]；

其中s是隐含层层数，u是神经网络的输入，x_i是隐含层的输出，y是输出层的输出，W⁽ⁱ⁾是隐含层之间连接的权值矩阵；f(·)和g(·)是传递函数；前馈神经网络将循环序列初始预测值作为输入值，估计得到(N+1)时刻的循环序列预测值S_N+1。