CN114595879A - 一种基于特征粒序列lstm的类周期能源长期预测方法 - Google Patents

Abstract

本发明属于信息技术领域，涉及到信息粒的划分与描述、深度神经网络、数据驱动建模等技术，是一种基于特征粒序列LSTM的类周期能源长期预测方法。首先提出一种基于模基底匹配的信息粒描述方法，以针对不同类型的能源数据构建多维特征表示的粒序列结构，进而采用LSTM网络对特征粒序列进行建模，通过特征向量反重构方式实现长期预测。此方法预测精度较高，且计算效率符合工业现场的应用要求，可为后续的能源优化调度提供决策指导。

Description

一种基于特征粒序列LSTM的类周期能源长期预测方法

技术领域

本发明属于信息技术领域，涉及到信息粒的划分与描述、深度神经网络、数据驱动建模等技术，是一种结合粒度计算与长短时记忆网络的类周期能源数据长期预测方法。首先提出一种基于模基底匹配的信息粒描述方法，以针对不同类型的能源数据构建多维特征表示的粒序列结构，进而采用LSTM网络对特征粒序列进行建模，通过特征向量反重构方式实现长期预测。此方法预测精度较高，且计算效率符合工业现场的应用要求，可为后续的能源优化调度提供决策指导。

背景技术

类周期时间序列数据广泛存在于流程工业生产及二次能源的发生与消耗过程，例如副产能源发生量，电力系统负荷，光伏发电功率数据等。对于这一类数据的准确预测一方面有助于现场调度人员了解未来一段时间内的能源产消、存储量的变化趋势，制定相关的能源管控策略；另一方面还可结合优化调度模型实现关于企业生产能效、用能经济成本等方面的提升。(韩中洋.炼钢过程气体能源系统预测与调度方法及应用[D].(2016).大连理工大学)。为保证系统长期的安全、经济运行，合理安排生产计划和用能负荷，工业现场对于长时间的能源预测需求日益凸显，因此研究相关数据的长期预测方法具有重要的实际意义。

为了挖掘实际数据中所涉及的周期性，现有的研究主要通过对时间序列数据分解的方式，包括：通过三角函数近似周期性分量的多序列时频分析方法(Chen J,Li G,WuD,Shen S.(2019).Forecasting seasonal tourism demand using a multiseriesstructural time series method[J].Journal of Travel Research,58(1):92-103)、基于平均暴露，每日及半日周期性特征的电磁辐射时间序列预测(De LellisP,IudiceF,PasquinoN.(2019).Time-series-based model and validation for prediction ofexposure to wideband radio frequency electromagnetic radiation[J].IEEETransactions on Instrumentation and Measurement,69(6),3198-3205)、结合基于loess的季节-趋势分解过程(STL)和极限学习机的农产品价格预测(XiongT,LiC,BaoY.(2018).Seasonal forecasting of agricultural commodity price using a hybridSTL and ELM method:Evidence from the vegetable market in China[J].Neurocomputing,275,2831-2844)。然而上述方法采用浅层次的预测模型，可能无法充分利用某些隐性的周期性信息。近年来，已有一些学者采用深度学习方法对该问题进行了研究，其中深层堆栈的双向长短时记忆(Long Short-term Memory，LSTM)网络(Cui Z,Ke R,Pu Z,Wang Y.(2018).Deep bidirectional and unidirectional LSTM recurrentneural network for network-wide traffic speed prediction[J].arXiv preprintarXiv:1801.02143)、多重卷积神经网络(Wang K,Li K,Zhou L,HuY,Cheng Z,Liu J,ChenC.(2019).Multiple convolutional neural networks for multivariate time seriesprediction[J].Neurocomputing,360,107-119)、带有注意力机制的LSTM(Kim S,Kang M.(2019).Financial series prediction using Attention LSTM[J].arXiv preprintarXiv:1902.10877)被广泛用于时间序列预测。然而，上述文献集中于构建多维输入向量，没有尝试基于单个时间序列的多变量分析方法。在实际应用中，为了使模型能够表达特定的周期性特征，挖掘数据中涉及的多维特征依赖关系可能更为有益。

发明内容

本发明提出了一种基于特征粒序列LSTM的长期预测模型。考虑到工业数据中包含的类周期生产语义，针对间歇和连续波动的能源数据，分别采用凹型和高斯函数型的特征基底对信息粒进行划分和描述，以构建多维特征表示的粒序列结构。为挖掘该结构下信息粒特征间的依赖关系及各维度特征随时间的变化特性，采用LSTM网络对特征时间序列进行建模，并通过特征向量反重构的方法得到最终的时间序列预测结果。该长期预测模型精度较高，可为工业能源优化调度提供更可靠的指导作用。

本发明的技术方案：

基于特征粒序列LSTM的类周期能源数据长期预测方法，步骤如下：

(1)对于连续波动的能源数据，采用Hodrick–Prescott滤波获取数据的趋势分量，根据工业类周期语义划分原始数据。具有间歇性波动特征的数据则按照季节性循环将数据划分为序列片段。

(2)针对不同类型的能源数据，分别构建高斯模和凹型模基底，通过基底参数描述数据的类周期特征，实现对数据粒子的等距化表示。在此基础上，提出一种基于最优基底匹配的粒特征提取方法，构建多维特征表示的特征粒序列。

(3)构造特征粒LSTM网络的输入输出，并对诸如能源设备检修、计划减产等异常样本数据进行处理，通过Adam算法训练预测模型。

(4)以信息粒为单位进行迭代获得长期预测结果，最后采用提出的特征向量反重构方法，将预测出的特征值反重构为时间序列数据。

本发明的有益效果：本发明提出了一种用于类周期性能源数据预测的新型粒序列LSTM模型。采用模基底匹配方法提取特定的周期性特征，并将一维时间序列重新堆叠为多序列特征数据。将扩展的序列输入到LSTM中进行建模，以捕获序列时间维度的动态特性以及特征之间的相互关系。采用多组类周期能源数据进行实验，验证了本方法的长期预测精度。由于构造了直观且可释的数据结构，本发明对于波动趋势及季节性变化的判断方面具有优势，可为工业能源调度方案的制定提供更丰富的信息及更可靠的支持。

附图说明

图1为本发明应用流程图。

图2为连续波动能源数据的粒度划分及特征描述示意图。

图3为凹型模基底及信息粒特征描述示意图。

图4为光伏发电功率长期预测效果对比图，其中(a)为方法a；(b)为方法b；(c)为方法c；(d)为本发明。

图5为热风炉高炉煤气消耗量长期预测效果对比图，其中(a)为方法a；(b)为方法b；(c)为方法c；(d)为本发明。

图6为转炉煤气发生量长期预测效果对比图，其中(a)为方法a；(b)为方法b；(c)为方法c；(d)为本发明。

具体实施方式

工业能源的发生、消耗受到设备运行状态和间歇性生产过程影响，导致了其常常具有类周期性的波动特征。为了实现工业能源系统的平衡运行，现场操作人员需要实时了解能源的发生和消耗变化及其存储情况。若能够预先估计能源数据的波动信息，则可以很好地制定调度方案，达到节能减排的目的。因此，对于工业能源的长期准确预测将为其合理利用和分配提供指导。为了更好地理解本发明的技术路线和实施方案，以实际工业数据为基础，应用本文方法构建长期预测模型，具体实施步骤如下：

(1)数据预处理与划分

针对连续波动的类周期数据，首先对原始时间序列进行滤波，得到数据的趋势分量，进而根据生产周期特征划分信息粒；采用Hodrick–Prescott滤波方法，将包含复杂频率的数据分解为趋势数据(低频成分)和季节数据(高频成分)，自动滤掉高频成分，从而获得一个波幅可控且长期跟随的趋势；

对于原始时间序列Y＝{y₁,y₂,y₃,...,y_T}，经滤波得到趋势数据G＝{g₁,g₂,g₃,...,g_T}和季节性要素C＝{c₁,c₂,c₃,...,c_T}；消除季节性要素被定义为求解下列最小化问题：

其中，

刻画了趋势数据G对原始时间序列Y的跟踪程度，

表示原始时间序列Y的光滑程度；λ为平滑参数，用于控制趋势数据的平滑度；上式为二阶无约束优化问题，对不同的g_i求偏导，得到该问题的解析解；在滤波的基础上，对趋势数据按照周期性划分以获得非等距信息粒；

对于间歇性波动的类周期能源数据，其类周期特征主要体现在生产间隙的持续时长，因此无需进行滤波操作；将间歇性波动的类周期能源数据按照与生产计划相关的周期性循环划分为序列片段Y＝{D₁,D₂,...,D_p}；若数据具有时间长度为m的周期性循环特征，则序列片段可被表示为

每个序列片段中的数据点被赋予与周期性相关的时移特征；

(2)基于模基底匹配的粒特征描述

1)连续波动的类周期数据

连续波动的类周期数据经滤波后，信息粒形状变为类高斯函数曲线型；采用高斯函数作为模基底对每个粒子进行参数化描述，得到由幅值和尺度特征组成的特征向量；

高斯函数曲线被描述为

其中，K表示曲线尖峰的幅值，b表示尖峰的中间位置，c为曲线分布尺度；由于尖峰的绝对位置与粒子间的时序关系无关，因此只提取序列中粒子的幅值和尺度信息，并以此来描述信息粒，忽略b的数值；对于K和b的求解，趋势数据G经信息粒划分得到若干个粒子，假设包含N个数据点的粒子记为H＝{h₁,h₂,...,h_N}，即

其中，x为粒子中的时间值，h_i为时间x_i对应的真实数值；

令e_i＝y_i-h_i，则目标函数为：

其中，

e_i为x＝x_i时真实数据与高斯模型数值的误差值，当误差值最小时，高斯模型的形状与信息粒形状最为相似；采用最小二乘法求解该优化问题，得到特征化的信息粒序列FT_τ＝{K_τ,b_τ}，其中τ为粒度步长；

2)间歇性波动的类周期能源数据

构建由相邻波峰与中间间隙组成的凹型模基底，通过为划分的序列片段匹配基底来提取周期性特征，其中匹配度类似于连续波动数据中的误差e_i，由模基底在时间维度上沿着序列片段D移动并计算互相关函数得到，如(4)所示：

其中，t_S表示伸缩特征为S的基底，l为基底长度，T表示在序列片段长度范围内的时移值；M_TS衡量在伸缩值为S，时移值为T的条件下模板与片段匹配的相似度；考虑到较大的M_TS值预示着较高的匹配度，M_TS的局部极值代表在该时移尺度和伸缩尺度下，目标样本和基底最匹配；原始时间序列特征表示为这些局部极值构成的集合，记作FT_τ＝{T_τ,S_τ}，其中T_τ和S_τ满足

(3)建立LSTM网络预测模型

将一维时间序列拓展为多维特征粒序列；在这种情况下，不仅要考虑特征在时间上的传递信息，还要考虑某一时段特征之间的相互关系，采用特征-时间模式来描述时间序列中的这两种关系；在该模式中，每一个窗口的数据为，

F(τ)＝[FT_τ,FT_τ-1,...,FT_τ-m+1],h(τ)＝FT_τ+1 (7)

其中，F(τ)是输入到LSTM的m步序列，h(τ)是预测值；m步序列是指每个输入样本包含之前的m个粒度步长的特征向量；数据集通过对每个m步序列移动一个时间步长窗口来生成；在将整个序列输入LSTM之后，隐藏状态将用作全连接输出层的“特征学习器”，该输出层经过训练最大程度地减少均方预测误差；

(4)特征序列反重构

1)连续波动的类周期数据

经LSTM网络预测模型预测出的信息粒特征表示为一组三维向量[K_τ,c_τ,d_τ]，根据该向量反重构出未来一段时间内的时间序列预测值，具体介绍如下：

设

为工业生产阶段时间序列数据的平均值，

为生产过程持续时间、

为间歇时长；其中，

为第τ个信息粒中上升沿时刻，

为第τ个粒子下降沿对应时刻，

为第τ+1个粒子中上升沿对应时刻；

考虑分别建立A_τ与K_τ，L_τ与c_τ，D_τ与d_τ之间的映射关系，记为：A_τ＝g(K_τ)、L_τ＝f(c_τ)以及D_τ＝h(d_τ)，其中K_τ与c_τ分别代表高斯模型的幅值特征与宽度特征参数，d_τ为该粒子与τ+1粒子的幅值之间距离；原始数据经高斯模型粒特征提取，得到多组特征向量[K_τ,c_τ,d_τ]，同时对于原始数据提取出上述三个参数组成的向量为[A_τ,L_τ,D_τ]；根据原始数据构建训练样本，通过数据拟合的方式得出A_τ＝g(K_τ)的映射关系，同理，亦获得L_τ＝f(c_τ)、D_τ＝h(d_τ)的映射关系；特征反重构的公式如下：

其中，y_τ为反重构第τ个粒子的时间序列，t为当前时刻，

为粒子中与K_τ和c_τ具有相似波形的生产过程阶段能源数据，

为粒子中与K_τ，c_τ相似波形的生产间歇期间数据；

2)间歇性波动的类周期能源数据

设已知当前粒子间歇时长的初始时刻为t_j，间歇持续时长即伸缩尺度为S_j，生产过程持续时间为

；经LSTM网络预测模型预测后，得出相邻粒子间歇中间时刻的差值L_j；已知当前粒子的间歇持续时长为S_j，通过式(9)计算下一粒子的间歇时长和间歇的初始时刻，获得下一步的信息粒特征；

对于间歇性波动的类周期能源数据，假设生产过程所用时间都是相同的，所以针对第j个粒子与第j+1个粒子的生产阶段和间歇部分的反重构公式如下：

其中，t_j+S_j为当前时刻，t_S为模序列，p为待预测序列，上述公式只表示了单个信息粒的反重构形式；将预测出的特征反重构得到时间序列数据；如此迭代便得到长期预测值。采用比利时太阳能光伏发电功率公共数据集以及国内某钢铁园区副产煤气系统2019年3月至4月期间的转炉煤气发生量、热风炉高炉煤气使用量的实际数据验证所提方法的有效性，数据采集间隔分别为15分钟和1分钟。针对比利时太阳能光伏发电功率数据，考虑到光伏发电具有以天为单位的周期性以及日出日落时间的客观规律，时间间歇不具有预测的意义，因此采用高斯模型针对每个粒子的幅值特征和尺度特征进行提取，通过LSTM网络训练和特征向量反重构得到长期预测结果。热风炉高炉煤气使用量属于连续波动能源数据，同样采用高斯模型对每个粒子进行特征提取。对于转炉煤气发生量数据，考虑到其生产节奏主要通过炼钢间隙反映，将数据根据季节性周期划分成等距的数据段，通过凹形模匹配方法从不同数据段中提取出可以描述炼钢特性的时移特征和尺度特征，进而建立预测模型。

为了验证该方法的有效性，选取自举储备池计算网络(方法a)、多尺度奇异谱分析最小二乘支持向量机(方法b)以及粒度计算长期预测方法(方法c)与本文方法进行比较分析，如图4-图6所示。对于连续波动的类周期能源数据，采用均方根误差(RMSE)、平均绝对百分误差误差(MAPE)和平均绝对误差(MAE)作为统计指标，评价三种方法的预测效果。对于间歇性波动数据，本发明引入两种评价指标，包括实际值与预测值之间的重叠流量(OLF)和冗余流量(RDF),用于准确判断对于生产间歇的预测结果，上述指标被公式化表示为

其中n是预测长度，y_i表示时刻i的实际煤气流量，p_i表示预测值。较大的OLF或较小的RDF值表示预测精度较高。对比试验结果如表1、表2、表3所示。

表1太阳能光伏发电功率预测误差统计结果

表2热风炉高炉煤气使用量预测误差统计结果

表3转炉煤气发生量预测误差统计结果

从表中可以看出，本文方法在不同数据集上的RMSE，MAPE和MSE表现上均优于对比方法，并且对于间歇性类周期数据可实现更高的OLF和更低的RDF，表明本文方法可以有效识别数据波动中所包含的生产节奏变化并具有更好的预测表现。这种结果可能由于本文方法构建的多个特征输入直观地反映了实际数据的周期性特征，这些特征间的依赖及特征随时间维度的变化关系可以通过深度学习方法加以提取和利用。

Claims (1)

1.一种基于特征粒序列LSTM的类周期能源长期预测方法，其特征在于，步骤如下：

(1)数据预处理与划分

针对连续波动的类周期数据，首先对原始时间序列进行滤波，得到数据的趋势分量，进而根据生产周期特征划分信息粒；采用Hodrick–Prescott滤波方法，将包含复杂频率的数据分解为趋势数据即低频成分和季节数据即高频成分，自动滤掉高频成分，从而获得一个波幅可控且长期跟随的趋势；

对于原始时间序列Y＝{y₁,y₂,y₃,...,y_T}，经滤波得到趋势数据G＝{g₁,g₂,g₃,...,g_T}和季节性要素C＝{c₁,c₂,c₃,...,c_T}；消除季节性要素被定义为求解下列最小化问题：

其中，

刻画了趋势数据G对原始时间序列Y的跟踪程度，

表示原始时间序列Y的光滑程度；λ为平滑参数，用于控制趋势数据的平滑度；上式为二阶无约束优化问题，对不同的g_i求偏导，得到该问题的解析解；在滤波的基础上，对趋势数据按照周期性划分以获得非等距信息粒；

对于间歇性波动的类周期能源数据，其类周期特征主要体现在生产间隙的持续时长，因此无需进行滤波操作；将间歇性波动的类周期能源数据按照与生产计划相关的周期性循环划分为序列片段Y＝{D₁,D₂,...,D_p}；若数据具有时间长度为m的周期性循环特征，则序列片段被表示为

每个序列片段中的数据点被赋予与周期性相关的时移特征；

(2)基于模基底匹配的粒特征描述

1)连续波动的类周期数据

连续波动的类周期数据经滤波后，信息粒形状变为类高斯函数曲线型；采用高斯函数作为模基底对每个粒子进行参数化描述，得到由幅值和尺度特征组成的特征向量；

高斯函数曲线被描述为

其中，K表示曲线尖峰的幅值，b表示尖峰的中间位置，c为曲线分布尺度；由于尖峰的绝对位置与粒子间的时序关系无关，因此只提取序列中粒子的幅值和尺度信息，并以此来描述信息粒，忽略b的数值；对于K和b的求解，趋势数据G经信息粒划分得到若干个粒子，假设包含N个数据点的粒子记为H＝{h₁,h₂,...,h_N}，即

其中，x为粒子中的时间值，h_i为时间x_i对应的真实数值；

令e_i＝y_i-h_i，则目标函数为：

其中，

e_i为x＝x_i时真实数据与高斯模型数值的误差值，当误差值最小时，高斯模型的形状与信息粒形状最为相似；采用最小二乘法求解该优化问题，得到特征化的信息粒序列FT_τ＝{K_τ,b_τ}，其中τ为粒度步长；

2)间歇性波动的类周期能源数据

构建由相邻波峰与中间间隙组成的凹型模基底，通过为划分的序列片段匹配基底来提取周期性特征，其中匹配度类似于连续波动数据中的误差e_i，由模基底在时间维度上沿着序列片段D移动并计算互相关函数得到，如(4)所示：

其中，t_S表示伸缩特征为S的基底，l为基底长度，T表示在序列片段长度范围内的时移值；M_TS衡量在伸缩值为S，时移值为T的条件下模板与片段匹配的相似度；考虑到较大的M_TS值预示着较高的匹配度，M_TS的局部极值代表在该时移尺度和伸缩尺度下，目标样本和基底最匹配；原始时间序列特征表示为这些局部极值构成的集合，记作FT_τ＝{T_τ,S_τ}，其中T_τ和S_τ满足

(3)建立LSTM网络预测模型

将一维时间序列拓展为多维特征粒序列；在这种情况下，不仅要考虑特征在时间上的传递信息，还要考虑某一时段特征之间的相互关系，采用特征-时间模式来描述时间序列中的这两种关系；在该模式中，每一个窗口的数据为，

F(τ)＝[FT_τ,FT_τ-1,...,FT_τ-m+1],h(τ)＝FT_τ+1 (7)

其中，F(τ)是输入到LSTM的m步序列，h(τ)是预测值；m步序列是指每个输入样本包含之前的m个粒度步长的特征向量；数据集通过对每个m步序列移动一个时间步长窗口来生成；在将整个序列输入LSTM之后，隐藏状态将用作全连接输出层的“特征学习器”，该输出层经过训练最大程度地减少均方预测误差；

(4)特征序列反重构

1)连续波动的类周期数据

经LSTM网络预测模型预测出的信息粒特征表示为一组三维向量[K_τ,c_τ,d_τ]，根据该向量反重构出未来一段时间内的时间序列预测值，具体介绍如下：

设

为工业生产阶段时间序列数据的平均值，

为生产过程持续时间、

为间歇时长；其中，

为第τ个信息粒中上升沿时刻，

为第τ个粒子下降沿对应时刻，

为第τ+1个粒子中上升沿对应时刻；

考虑分别建立A_τ与K_τ，L_τ与c_τ，D_τ与d_τ之间的映射关系，记为：A_τ＝g(K_τ)、L_τ＝f(c_τ)以及D_τ＝h(d_τ)，其中K_τ与c_τ分别代表高斯模型的幅值特征与宽度特征参数，d_τ为该粒子与τ+1粒子的幅值之间距离；原始数据经高斯模型粒特征提取，得到多组特征向量[K_τ,c_τ,d_τ]，同时对于原始数据提取出上述三个参数组成的向量为[A_τ,L_τ,D_τ]；根据原始数据构建训练样本，通过数据拟合的方式得出A_τ＝g(K_τ)的映射关系，同理，亦获得L_τ＝f(c_τ)、D_τ＝h(d_τ)的映射关系；特征反重构的公式如下：

其中，y_τ为反重构第τ个粒子的时间序列，t为当前时刻，

为粒子中与K_τ和c_τ具有相似波形的生产过程阶段能源数据，

为粒子中与K_τ，c_τ相似波形的生产间歇期间数据；

2)间歇性波动的类周期能源数据

设已知当前粒子间歇时长的初始时刻为t_j，间歇持续时长即伸缩尺度为S_j，生产过程持续时间为

经LSTM网络预测模型预测后，得出相邻粒子间歇中间时刻的差值L_j；已知当前粒子的间歇持续时长为S_j，通过式(9)计算下一粒子的间歇时长和间歇的初始时刻，获得下一步的信息粒特征；

对于间歇性波动的类周期能源数据，假设生产过程所用时间都是相同的，所以针对第j个粒子与第j+1个粒子的生产阶段和间歇部分的反重构公式如下：

其中，t_j+S_j为当前时刻，t_S为模序列，p为待预测序列，上述公式只表示了单个信息粒的反重构形式；将预测出的特征反重构得到时间序列数据；如此迭代便得到长期预测值。

Images