CN114692947A - 一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 - Google Patents
一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 Download PDFInfo
- Publication number
- CN114692947A CN114692947A CN202210188925.8A CN202210188925A CN114692947A CN 114692947 A CN114692947 A CN 114692947A CN 202210188925 A CN202210188925 A CN 202210188925A CN 114692947 A CN114692947 A CN 114692947A
- Authority
- CN
- China
- Prior art keywords
- lstm
- model
- cnn
- data
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000005611 electricity Effects 0.000 title claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000007787 long-term memory Effects 0.000 claims abstract description 5
- 230000006403 short-term memory Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 55
- 230000004913 activation Effects 0.000 claims description 15
- 238000005265 energy consumption Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 210000004027 cell Anatomy 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于VMD‑Lasso‑CNN‑LSTM的用户用电能耗预测方法，该方法包括如下步骤：首先采用变分模态分解(VMD)算法对用电能耗数据进行预处理，将原始数据序列信号分解成K个不同的子序列；再通过Lasso算法对每一个用电能耗子序列进行数据变量筛选，筛选出具有代表性的预测变量，将其作为预测模型的输入；最后用卷积神经网络(CNN)对长短期记忆神经网络(LSTM)进行改进，将Lasso算法的输出作为CNN‑LSTM的输入对用电能耗数据进行预测；以MPAE作为评估指标，在测试集上验证该用电能耗预测方法的准确率。
Description
技术领域
本发明涉及一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法，属于电力系统技术领域。
背景技术
近年来，随着智能感知以及无线通讯技术的发展、智能电网的建设规模不断扩大，积累了大量电力相关数据。如何从海量的历史能耗数据中挖掘特征信息，建立准确可靠的电能消耗预测模型，明晰电能能耗的分布以及变化规律，将为电力系统的智能调度、运行以及维护提供科学的决策依据。然而，用户用电能耗是一种时间序列，通常受到节假日、季节效应、气候等外部因素的影响，从而呈现出复杂的非线性特征。此外，数据规模大、维度高以及时效性强等特点，极大的提升了数据解析难度，为基于数据驱动方法的能耗预测带来了极大的挑战。传统的用电能耗预测方法包括线性回归分析、趋势外推法以及周期因子模型法等。而传统的预测方法在处理非线性、非平稳、高复杂性的时间序列时，预测效果并不理想。
由于EMD分解易造成模态混叠现象，分解结果较差，且不能自己调节需要分解出的子模态分量个数，而VMD作为一种自适应、完全非递归的模态变分的方法，有效的避免了在分解结果中出现的模态混叠和端点效应现象；可以人为设定分解出的模态分量的个数，可以把原始时间序列信号分解为固有的K个模态分量IMF，具有较强的自适应性，在处理非平稳较复杂的数据时，有明显的优势。为了有效地捕捉数据的深层特征，提高预测模型精度，本发明提出了一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法。
发明内容
本发明针对现有技术的不足，提供一种基于数据预处理和特征选择的能耗预测方法。该组合模型不仅有效地捕捉数据的深层特征，降低数据复杂度，还提高了预测模型的精度。
为了克服上述现有技术的不足，本发明提供了如下的技术方案：
本发明提供了一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法，包括如下步骤：
S1.通过智能电表采集用户用电能耗数据，每隔10分钟采集一次用户用电数据，对于其中的缺失值或奇异值，将该值用前后两个值的平均值进行填补，得到原始用电能耗数据。
S2.通过变分模态分解(VMD)算法对数据进行预处理，将原始数据序列信号分解成K个不同的子序列；具体步骤如下：
2.1变分模态分解(VMD)算法将信号的分解方式转化为变分问题，通过计算受约束变分问题，获取全局最优解，从而实现对信号的分解，在这种循环求解过程中，各个模态分量的中心频率以及带宽不断地更新，最终得到若干个较窄带宽的固有模态分量。
2.2定义本征模函数为幅频-调制(AM-FM)信号，其表达式为:
式中，Ak(t)为瞬时幅值，
为uk(t)的相位。
2.3构造变分问题。
2.3.1计算各模块带宽。通过希尔伯特变换(Hilbert)求解每个模态函数uk(t)的边际谱，得到分量的单边频谱为：
其中，δ(t)是冲激函数，j是虚部，t代表时间，“*”表示卷积运算，k是模态分量的总数。
2.3.2对每一模态函数对应中心频率wk的指数项混叠，通过
将uk(t)的每个模态函数的频谱调制到基频带：
其中，
是复平面上模态函数中心频率的相量描述，wk是第k个模态分量相应的中心频率。
2.3.3运用高斯平滑方法对每个模态分量确定其模态的带宽,对于一个原始信号x(t)，转变成求解带约束的变分问题:
式中:{uk}＝{u1,...,uk}为分解得到的k个模态函数分量；{wk}＝{w1,...,wk}为各模态函数IMF的中心频率，f(t)为输入信号，
为对t求偏导。
2.4求解变分问题。
2.4.1为了求解该变分模型的最优解引入二次惩罚项α和拉格朗日算子λ，将2.3.3中式子转化为无约束形式来求解目标函数，增广拉格朗日表达式如下：
其中，λ(t)为拉格朗日乘子，通过交替乘子方向算法，迭代更新各个模态分量的中心频率ωk以及各模态形态uk，并且计算寻优增广拉格朗日的鞍点。
2.4.2对
λ1，n进行初始化操作，n＝n+1,k＝1:k
2.4.3在2.4.1式中引入参数α，并将该参数定义为二次惩罚因子。然后通过一种交替方向乘子法，采取反复交替更新
的方式去求解，为了更新模态uk，可将迭代等价为如下最小化问题：
其中，X为uk的集和。
2.4.4将2.4.3中式子采用Parseval/Plancherel傅里叶等距变换,将之求解问题转变到频域中：
其中，
sgn(w+wk),
分别为
f(t),ui(t),λ(t)的傅里叶变换形式。
对上式进行转化w用w-wk代替,并将其转为非负频率区间积分样式,然后进行求解:
此时,得到二次优化问题的解为:
中心频率wk不会出现重构函数的保真项中，只会出现在先前的带宽项中。关于wk等价最小化表达式为：
将中心频率转到频域中求解：
得到中心频率的更新表达式：
式中：
为当前剩余分量的维纳滤波，
为当前模态函数功率谱的重心，对
进行傅里叶逆变换，实部则为{uk(t)}。
2.4.5通过下式完成对λ的更新
2.4.6设定判断阈值ε，重复以上步骤直到下式满足判断阈值迭代停止。
2.4.7得到K个子序列IMF。
S3.用Lasso算法对每一个用电能耗子序列进行数据变量筛选，筛选出具有代表性的预测变量，将其作为预测模型的输入；具体步骤如下：
3.1Lasso回归算法是一种同时进行特征选择和正则化的线性回归分析方法。在一般线性最小二乘的计算前提下，通过在拟合中采用一范数作为惩罚项来解决算法过拟合的问题；其基本思想是在回归系数绝对值之和小于一个阈值的情况下，使残差平方和最小化，将相关性低的特征变量的系数压缩为0并删除，达到降维的目的。其基本算法理论如下：
设定线性回归模型为：
Y＝XΤβ+ε
式中，X＝[x1,x2,...,xi,...,xn]Τ，xi＝[xi,1,xi,2,...,xi,m]Τ∈R1×m为经过VMD处理的子序列数据，Y＝[y1,y2,...,yn]Τ∈Rn×1为响应变量，β＝[β1,β2,...,βm]Τ∈Rm×1为模型系数，ε＝[ε1,ε2,...,εn]Τ∈Rn×1为误差向量。
Lasso回归在使得误差平方和达到最小的基础上添加了对回归系数的1范数约束，可以用下式描述：
当增加约束函数时，即Lasso，具体表示为：
其中，λ为参数估计的惩罚系数。
3.2Lasso具体解决步骤如下：
3.2.1将VMD分解出的子序列IMF作为lasso算法的输入，划分训练集与测试集；
3.2.2通过交叉验证求解λ的参数值，并通过损失函数的最小值确定λ值，衡量回归模型对数据的拟合效果；
3.2.3通过lasso回归的函数，改变正则化参数alpha值，将一些不显著的系数β压缩为0，从而达到变量选择的目的；
3.2.4对K个IMF变量分别进行Lasso算法筛选，选择出相关性最强的代表性变量作为cnn-lstm预测模型的输入。
S4.用卷积神经网络(CNN)对长短期记忆神经网络(LSTM)进行改进，将Lasso算法的输出作为CNN-LSTM的输入对用电能耗数据进行预测；具体步骤如下：
4.1由于LSTM神经网络记忆模块的性能不足会导致预测滞后等问题，因此，本文引入卷积神经网络(CNN)对LSTM进行改进，在LSTM神经网络模型处理数据前，利用卷积神经网络(CNN)提取高阶特征信息提取，在提升模型预测精度的同时降低了计算复杂度。此外，两者使用相同的权重，不仅降低了网络负载增量，还提高LSTM神经网络记忆能力。
改进后的LSTM神经网络模型的三个“门”(遗忘门、输入门以及输出门)计算公式为：
ht＝ot*tanhct
其中，
是t时刻的输入向量，σ是sigmoid函数和tanh是双曲线正切函数，σ，tanh均为激活函数，遗忘门ft，输入门it和输出门ot对应的各门限的加权矩阵为wf,wi,wo，各转换偏差值bf，bi和bo，*表示矩阵相乘，ht是记忆单元输出的隐含信息，ht-1是记忆单元输入的隐含信息，ct-1是上一时刻的单元状态，
是在当前时刻网络单元状态，即记忆单元，ct是下一时刻的输入。
4.2 CNN-LSTM的模型预测步骤具体如下：
4.2.1将各个经过lasso算法提取的变量作为模型的输入数据，将数据重构为符合lstm要求的数据格式，即[样本，时间步，特征]；
4.2.2建立cnn-lstm模型，通过模型调试寻优，CNN采用卷积层+卷积层+池化层的组合建模，第一层卷积核数量为256，第二层卷积核数量为128；kernel_size＝2；激活函数activation为relu；池化层pool_size＝2。并建立三层LSTM模型，适应性动量估计算法(Adam)会对每一个参数计算自适应的学习率，因此使用Adam算法作为梯度优化算法；而为了避免在训练数据中出现过拟合的现象，用Dropout方法对神经网络进行正则化，以0.15的概率随机丢弃一些神经元之间的权重连接，提升模型的泛化能力。使用“tanh”作为激活函数activation；用“MSE”作为损失函数loss；通过模型调试寻优，最终确定batch_size＝1000，epochs＝5，三层神经元分别为128，128，128。
4.2.3通过cnn-lstm模型得出K个IMF分量的预测数据集。
4.2.4最终将K个IMF分量的预测数据集相加，得出最终预测值L(t)。
S5.为评估模型预测的效果，采用平均绝对百分比误差(Mean absolute percenterror，MAPE)指标对模型的预测对比能力进行量化评估：
其中，yi为实际值，y'i为预测值。
与现有技术相比，本发明的有益效果在于：
(1)本发明在传统的预测方法上提出了一种对数据进行预处理的方法。VMD作为一种自适应、完全非递归的模态变分的方法，有效的避免了在分解结果中出现的模态混叠和端点效应现象，有效的消除了高频噪声信号。
(2)本发明用lasso算法对各个子序列的数据变量进行筛选，提取代表性变量作为预测输入，有效捕捉数据特征，提高模型预测准确率；
(3)本发明充分利用了CNN强大的空间特征提取能力对高阶特征信息进行提取，改善了LSTM神经网络记忆模块的性能不足会导致预测滞后等问题，在提升模型预测精度的同时降低了计算复杂度，通过对两个模型优势的充分利用，实现了提升模型预测的准确率及解释性。
附图说明
图1为vmd-lasso-cnn-lstm模型算法流程图
图2为vmd算法流程图
图3为cnn-lstm模型原理图
具体实施方式
以本实施例中，一种基于Prophet-LSTM模型的用户用电能耗预测方法，如图1所示，包括：
S1.通过智能电表采集用户用电能耗数据，每隔10分钟采集一次用户用电数据，对于其中的缺失值或奇异值，将该值用前后两个值的平均值进行填补，得到原始用电能耗数据。
S2.通过变分模态分解(VMD)算法对数据进行预处理，将原始数据序列信号分解成K个不同的子序列，如图2所示。
具体步骤如下：
2.1变分模态分解(VMD)算法将信号的分解方式转化为变分问题，通过计算受约束变分问题，获取全局最优解，从而实现对信号的分解，在这种循环求解过程中，各个模态分量的中心频率以及带宽不断地更新，最终得到若干个较窄带宽的固有模态分量。
2.2定义本征模函数为幅频-调制(AM-FM)信号，其表达式为:
式中，Ak(t)为瞬时幅值，
为uk(t)的相位。
2.3构造变分问题。
2.3.1计算各模块带宽。通过希尔伯特变换(Hilbert)求解每个模态函数uk(t)的边际谱，得到分量的单边频谱为：
其中，δ(t)是冲激函数，j是虚部，t代表时间，“*”表示卷积运算，k是模态分量的总数。
2.3.2对每一模态函数对应中心频率wk的指数项混叠，通过
将uk(t)的每个模态函数的频谱调制到基频带：
其中，
是复平面上模态函数中心频率的相量描述，wk是第k个模态分量相应的中心频率。
2.3.3运用高斯平滑方法对每个模态分量确定其模态的带宽,对于一个原始信号x(t)，转变成求解带约束的变分问题:
式中:{uk}＝{u1,...,uk}为分解得到的k个模态函数分量；{wk}＝{w1,...,wk}为各模态函数IMF的中心频率，f(t)为输入信号，
为对t求偏导。
2.4求解变分问题。
2.4.1为了求解该变分模型的最优解引入二次惩罚项α和拉格朗日算子λ，将2.3.3中式子转化为无约束形式来求解目标函数，增广拉格朗日表达式如下：
其中，λ(t)为拉格朗日乘子，通过交替乘子方向算法，迭代更新各个模态分量的中心频率ωk以及各模态形态uk，并且计算寻优增广拉格朗日的鞍点。
2.4.2对
λ1，n进行初始化操作，n＝n+1,k＝1:k
2.4.3在2.4.1式中引入参数α，并将该参数定义为二次惩罚因子。然后通过一种交替方向乘子法，采取反复交替更新
和λn+1的方式去求解，为了更新模态uk，可将迭代等价为如下最小化问题：
其中，X为uk的集和。
2.4.4将2.4.3中式子采用Parseval/Plancherel傅里叶等距变换,将之求解问题转变到频域中：
其中，
sgn(w+wk),
分别为
f(t),ui(t),λ(t)的傅里叶变换形式。
对上式进行转化w用w-wk代替,并将其转为非负频率区间积分样式,然后进行求解:
此时,得到二次优化问题的解为:
中心频率wk不会出现重构函数的保真项中，只会出现在先前的带宽项中。关于wk等价最小化表达式为：
将中心频率转到频域中求解：
得到中心频率的更新表达式：
式中：
为当前剩余分量的维纳滤波，
为当前模态函数功率谱的重心，对
进行傅里叶逆变换，实部则为{uk(t)}。
2.4.5通过下式完成对λ的更新
2.4.6设定判断阈值ε，重复以上步骤直到下式满足判断阈值迭代停止。
2.4.7得到K个子序列IMF。
S3.用Lasso算法对每一个用电能耗子序列进行数据变量筛选，筛选出具有代表性的预测变量，将其作为预测模型的输入；具体步骤如下：
3.1Lasso回归算法是一种同时进行特征选择和正则化的线性回归分析方法。在一般线性最小二乘的计算前提下，通过在拟合中采用一范数作为惩罚项来解决算法过拟合的问题；其基本思想是在回归系数绝对值之和小于一个阈值的情况下，使残差平方和最小化，将相关性低的特征变量的系数压缩为0并删除，达到降维的目的。其基本算法理论如下：
设定线性回归模型为：
Y＝XΤβ+ε
式中，X＝[x1,x2,...,xi,...,xn]Τ，xi＝[xi,1,xi,2,...,xi,m]Τ∈R1×m为经过VMD处理的子序列数据，Y＝[y1,y2,...,yn]Τ∈Rn×1为响应变量，β＝[β1,β2,...,βm]Τ∈Rm×1为模型系数，ε＝[ε1,ε2,...,εn]Τ∈Rn×1为误差向量。
Lasso回归在使得误差平方和达到最小的基础上添加了对回归系数的1范数约束，可以用下式描述：
当增加约束函数时，即Lasso，具体表示为：
其中，λ为参数估计的惩罚系数。
3.2 Lasso具体解决步骤如下：
3.2.1将VMD分解出的子序列IMF作为lasso算法的输入，划分训练集与测试集；
3.2.2通过交叉验证求解λ的参数值，并通过损失函数的最小值确定λ值，衡量回归模型对数据的拟合效果；
3.2.3通过lasso回归的函数，改变正则化参数alpha值，将一些不显著的系数β压缩为0，从而达到变量选择的目的；
3.2.4对K个IMF变量分别进行Lasso算法筛选，选择出相关性最强的代表性变量作为cnn-lstm预测模型的输入。
S4.用卷积神经网络(CNN)对长短期记忆神经网络(LSTM)进行改进，其原理图如图3所示。将Lasso算法的输出作为CNN-LSTM的输入对用电能耗数据进行预测，具体步骤如下：
4.1由于LSTM神经网络记忆模块的性能不足会导致预测滞后等问题，因此，本文引入卷积神经网络(CNN)对LSTM进行改进，在LSTM神经网络模型处理数据前，利用卷积神经网络(CNN)提取高阶特征信息提取，在提升模型预测精度的同时降低了计算复杂度。此外，两者使用相同的权重，不仅降低了网络负载增量，还提高LSTM神经网络记忆能力。
改进后的LSTM神经网络模型的三个“门”(遗忘门、输入门以及输出门)计算公式为：
ht＝ot*tanhct
其中，
是t时刻的输入向量，σ是sigmoid函数和tanh是双曲线正切函数，σ，tanh均为激活函数，遗忘门ft，输入门it和输出门ot对应的各门限的加权矩阵为wf,wi,wo，各转换偏差值bf，bi和bo，*表示矩阵相乘，ht是记忆单元输出的隐含信息，ht-1是记忆单元输入的隐含信息，ct-1是上一时刻的单元状态，
是在当前时刻网络单元状态，即记忆单元，ct是下一时刻的输入。
4.2 CNN-LSTM的模型预测步骤具体如下：
4.2.1将各个经过lasso算法提取的变量作为模型的输入数据，将数据重构为符合lstm要求的数据格式，即[样本，时间步，特征]；
4.2.2建立cnn-lstm模型，通过模型调试寻优，CNN采用卷积层+卷积层+池化层的组合建模，第一层卷积核数量为256，第二层卷积核数量为128；kernel_size＝2；激活函数activation为relu；池化层pool_size＝2。并建立三层LSTM模型，适应性动量估计算法(Adam)会对每一个参数计算自适应的学习率，因此使用Adam算法作为梯度优化算法；而为了避免在训练数据中出现过拟合的现象，用Dropout方法对神经网络进行正则化，以0.15的概率随机丢弃一些神经元之间的权重连接，提升模型的泛化能力。使用“tanh”作为激活函数activation；用“MSE”作为损失函数loss；通过模型调试寻优，最终确定batch_size＝1000，epochs＝5，三层神经元分别为128，128，128。
4.2.3通过cnn-lstm模型得出K个IMF分量的预测数据集。
4.2.4最终将K个IMF分量的预测数据集相加，得出最终预测值L(t)。
S5.为评估模型预测的效果，采用平均绝对百分比误差(Mean absolute percenterror，MAPE)指标对模型的预测对比能力进行量化评估：
其中，yi为实际值，y'i为预测值。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法，其特征在于，包括如下步骤：
S1.通过智能电表采集用户用电能耗数据，每隔10分钟采集一次用户用电数据，对于其中的缺失值或奇异值，将该值用前后两个值的平均值进行填补，得到原始用电能耗数据；
S2.通过变分模态分解算法VMD对数据进行预处理，将原始数据序列信号分解成K个不同的子序列；
S3.用Lasso算法对每一个用电能耗子序列进行数据变量筛选，筛选出具有代表性的预测变量，将其作为预测模型的输入；
S4.用卷积神经网络CNN对长短期记忆神经网络LSTM进行改进，将Lasso算法的输出作为CNN-LSTM的输入对用电能耗数据进行预测；
S5.为评估模型预测的效果，采用平均绝对百分比误差MAPE指标对模型的预测对比能力进行量化评估：
其中，yi为实际值，y'i为预测值。
2.根据权利要求1所述的一种基于VMD-Lasso-CNN-LSTM模型的用户用电能耗预测方法，其特征在于，所述步骤2的具体实现过程为：
2.1变分模态分解算法VMD将信号的分解方式转化为变分问题，通过计算受约束变分问题，获取全局最优解，从而实现对信号的分解，在这种循环求解过程中，各个模态分量的中心频率以及带宽不断地更新，最终得到若干个较窄带宽的固有模态分量；
2.2定义本征模函数为幅频-调制AM-FM信号uk(t)，其表达式为:
式中，Ak(t)为瞬时幅值，
为uk(t)的相位；
2.3构造变分问题
2.3.1计算各模块带宽，通过希尔伯特变换(Hilbert)求解每个模态函数uk(t)的边际谱，得到分量的单边频谱为：
其中，δ(t)是冲激函数，j是虚部，t代表时间，“*”表示卷积运算，k是模态分量的总数；
2.3.2对每一模态函数对应中心频率wk的指数项混叠，通过
将uk(t)的每个模态函数的频谱调制到基频带：
其中，
是复平面上模态函数中心频率的相量描述，wk是第k个模态分量相应的中心频率；
2.3.3运用高斯平滑方法对每个模态分量确定其模态的带宽,对于一个原始信号x(t)，转变成求解带约束的变分问题:
式中:{uk}＝{u1,...,uk}为分解得到的k个模态函数分量；{wk}＝{w1,...,wk}为各模态函数IMF的中心频率，f(t)为输入信号，
为对t求偏导；
2.4求解变分问题
2.4.1为了求解该变分模型的最优解引入二次惩罚项α和拉格朗日算子λ，将2.3.3中式子转化为无约束形式来求解目标函数，增广拉格朗日表达式如下：
其中，λ(t)为拉格朗日乘子，通过交替乘子方向算法，迭代更新各个模态分量的中心频率ωk以及各模态形态uk，并且计算寻优增广拉格朗日的鞍点。
2.4.2对
λ1，n进行初始化操作，n＝n+1,k＝1:k
2.4.3在2.4.1式中引入参数α，并将该参数定义为二次惩罚因子，然后通过一种交替方向乘子法，采取反复交替更新
和λn+1的方式去求解，为了更新模态uk，可将迭代等价为如下最小化问题：
其中，X为uk的集和；
2.4.4将2.4.3中式子采用Parseval/Plancherel傅里叶等距变换,将之求解问题转变到频域中：
其中，
sgn(w+wk),
分别为
f(t),ui(t),λ(t)的傅里叶变换形式；
对上式进行转化w用w-wk代替,并将其转为非负频率区间积分样式,然后进行求解:
此时,得到二次优化问题的解为:
中心频率wk不会出现重构函数的保真项中，只会出现在先前的带宽项中，关于wk等价最小化表达式为：
将中心频率转到频域中求解：
得到中心频率的更新表达式：
式中：
为当前剩余分量的维纳滤波，
为当前模态函数功率谱的重心，对
进行傅里叶逆变换，实部则为{uk(t)}；
2.4.5通过下式完成对λ的更新
2.4.6设定判断阈值ε，重复以上步骤直到下式满足判断阈值迭代停止。
2.4.7得到K个子序列IMF。
3.根据权利要求1所述的一种基于VMD-Lasso-CNN-LSTM模型的用户用电能耗预测方法，其特征在于，所述步骤3的具体实现过程为：
3.1.设定线性回归模型为：
Y＝XΤβ+ε
式中，X＝[x1,x2,...,xi,...,xn]Τ，xi＝[xi,1,xi,2,...,xi,m]Τ∈R1×m为经过VMD处理的子序列数据，Y＝[y1,y2,...,yn]Τ∈Rn×1为响应变量，β＝[β1,β2,...,βm]Τ∈Rm×1为模型系数，ε＝[ε1,ε2,...,εn]Τ∈Rn×1为误差向量；
Lasso回归在使得误差平方和达到最小的基础上添加了对回归系数的1范数约束，可以用下式描述：
当增加约束函数时，即Lasso，具体表示为：
其中，λ为参数估计的惩罚系数；
3.2 Lasso具体解决步骤如下：
3.2.1将VMD分解出的子序列IMF作为lasso算法的输入，划分训练集与测试集；
3.2.2通过交叉验证求解λ的参数值，并通过损失函数的最小值确定λ值，衡量回归模型对数据的拟合效果；
3.2.3通过lasso回归的函数，改变正则化参数alpha值，将一些不显著的系数β压缩为0，从而达到变量选择的目的；
3.2.4对K个IMF变量分别进行Lasso算法筛选，选择出相关性最强的代表性变量作为cnn-lstm预测模型的输入。
4.根据权利要求1所述的一种基于VMD-Lasso-CNN-LSTM模型的用户用电能耗预测方法，其特征在于，所述步骤4的具体实现过程为：
4.1由于LSTM神经网络记忆模块的性能不足会导致预测滞后等问题，因此，本发明引入卷积神经网络CNN对LSTM进行改进，在LSTM神经网络模型处理数据前，利用卷积神经网络CNN提取高阶特征信息提取，在提升模型预测精度的同时降低了计算复杂度；此外，两者使用相同的权重，不仅降低了网络负载增量，还提高LSTM神经网络记忆能力；
改进后的LSTM神经网络模型的三个“门”：遗忘门、输入门以及输出门计算公式为：
ht＝ot*tanhct
其中，
是t时刻的输入向量，σ是sigmoid函数和tanh是双曲线正切函数，σ，tanh均为激活函数，遗忘门ft，输入门it和输出门ot对应的各门限的加权矩阵为wf,wi,wo，各转换偏差值bf，bi和bo，*表示矩阵相乘，ht是记忆单元输出的隐含信息，ht-1是记忆单元输入的隐含信息，ct-1是上一时刻的单元状态，
是在当前时刻网络单元状态，即记忆单元，ct是下一时刻的输入；
4.2 CNN-LSTM的模型预测步骤具体如下：
4.2.1将各个经过lasso算法提取的变量作为模型的输入数据，将数据重构为符合lstm要求的数据格式，即[样本，时间步，特征]；
4.2.2建立cnn-lstm模型，通过模型调试寻优，CNN采用卷积层+卷积层+池化层的组合建模，第一层卷积核数量为256，第二层卷积核数量为128；kernel_size＝2；激活函数activation为relu；池化层pool_size＝2。并建立三层LSTM模型，适应性动量估计算法Adam会对每一个参数计算自适应的学习率，因此使用Adam算法作为梯度优化算法；而为了避免在训练数据中出现过拟合的现象，用Dropout方法对神经网络进行正则化，以0.15的概率随机丢弃一些神经元之间的权重连接，提升模型的泛化能力。使用“tanh”作为激活函数activation；用“MSE”作为损失函数loss；通过模型调试寻优，最终确定batch_size＝1000，epochs＝5，三层神经元分别为128，128，128；
4.2.3通过cnn-lstm模型得出K个IMF分量的预测数据集；
4.2.4最终将K个IMF分量的预测数据集相加，得出最终预测值L(t)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188925.8A CN114692947A (zh) | 2022-02-28 | 2022-02-28 | 一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188925.8A CN114692947A (zh) | 2022-02-28 | 2022-02-28 | 一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114692947A true CN114692947A (zh) | 2022-07-01 |
Family
ID=82136850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210188925.8A Pending CN114692947A (zh) | 2022-02-28 | 2022-02-28 | 一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114692947A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115412567A (zh) * | 2022-08-09 | 2022-11-29 | 浪潮云信息技术股份公司 | 一种基于时间序列预测的云平台存储容量规划系统及方法 |
| CN116090637A (zh) * | 2023-01-19 | 2023-05-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种用电短时预测方法与系统 |
| CN116192665A (zh) * | 2022-12-27 | 2023-05-30 | 中移动信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN117131353A (zh) * | 2023-10-27 | 2023-11-28 | 北京志翔科技股份有限公司 | 一种超差电能表确定方法、装置、电子设备及存储介质 |
| CN117494545A (zh) * | 2023-09-28 | 2024-02-02 | 中国长江电力股份有限公司 | 一种基于混合学习方法的断路器老化故障率预测方法 |
-
2022
- 2022-02-28 CN CN202210188925.8A patent/CN114692947A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115412567A (zh) * | 2022-08-09 | 2022-11-29 | 浪潮云信息技术股份公司 | 一种基于时间序列预测的云平台存储容量规划系统及方法 |
| CN115412567B (zh) * | 2022-08-09 | 2024-04-30 | 浪潮云信息技术股份公司 | 一种基于时间序列预测的云平台存储容量规划系统及方法 |
| CN116192665A (zh) * | 2022-12-27 | 2023-05-30 | 中移动信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN116090637A (zh) * | 2023-01-19 | 2023-05-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种用电短时预测方法与系统 |
| CN117494545A (zh) * | 2023-09-28 | 2024-02-02 | 中国长江电力股份有限公司 | 一种基于混合学习方法的断路器老化故障率预测方法 |
| CN117494545B (zh) * | 2023-09-28 | 2024-06-11 | 中国长江电力股份有限公司 | 一种基于混合学习方法的断路器老化故障率预测方法 |
| CN117131353A (zh) * | 2023-10-27 | 2023-11-28 | 北京志翔科技股份有限公司 | 一种超差电能表确定方法、装置、电子设备及存储介质 |
| CN117131353B (zh) * | 2023-10-27 | 2024-01-30 | 北京志翔科技股份有限公司 | 一种超差电能表确定方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114692947A (zh) | 一种基于VMD-Lasso-CNN-LSTM的用户用电能耗预测方法 | |
| CN110059878B (zh) | 基于cnn lstm光伏发电功率预测模型及其构建方法 | |
| Lv et al. | Deep learning combined wind speed forecasting with hybrid time series decomposition and multi-objective parameter optimization | |
| Zhang et al. | A compound structure of ELM based on feature selection and parameter optimization using hybrid backtracking search algorithm for wind speed forecasting | |
| CN110309603B (zh) | 一种基于风速特性的短期风速预测方法及系统 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN111193256A (zh) | 基于变分模态分解和门控循环单元的电力负荷预测方法 | |
| CN109583565B (zh) | 基于注意力模型长短时记忆网络的洪水预测方法 | |
| CN109886464B (zh) | 基于优化奇异值分解生成特征集的低信息损失短期风速预测方法 | |
| CN109583588B (zh) | 一种短期风速预测方法及系统 | |
| Zhang et al. | A short-term wind energy hybrid optimal prediction system with denoising and novel error correction technique | |
| Wu et al. | A secondary decomposition based hybrid structure with meteorological analysis for deterministic and probabilistic wind speed forecasting | |
| CN116316591A (zh) | 基于混合双向门控循环的短期光伏功率预测方法及系统 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN111008726A (zh) | 一种电力负荷预测中类图片转换方法 | |
| CN111553510A (zh) | 一种短期风速预测方法 | |
| CN111898825A (zh) | 一种光伏发电功率短期预测方法及装置 | |
| CN115659254A (zh) | 一种双模态特征融合的配电网电能质量扰动分析方法 | |
| CN114036850A (zh) | 一种基于vecgm的径流预测方法 | |
| CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN112418476A (zh) | 一种超短期电力负荷预测方法 | |
| CN113935513A (zh) | 一种基于ceemdan的短期电力负荷预测方法 | |
| CN112285376A (zh) | 一种基于cnn-lstm的风速预测方法 | |
| CN116561567A (zh) | 一种基于变分模态分解的短期光伏功率预测模型及构建方法、应用方法 | |
| CN111222689A (zh) | 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |