CN114219139B - 基于注意力机制的dwt-lstm电力负荷预测方法 - Google Patents
基于注意力机制的dwt-lstm电力负荷预测方法 Download PDFInfo
- Publication number
- CN114219139B CN114219139B CN202111487298.XA CN202111487298A CN114219139B CN 114219139 B CN114219139 B CN 114219139B CN 202111487298 A CN202111487298 A CN 202111487298A CN 114219139 B CN114219139 B CN 114219139B
- Authority
- CN
- China
- Prior art keywords
- load
- lstm
- network
- component
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 239000002245 particle Substances 0.000 claims abstract description 72
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000007787 long-term memory Effects 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
基于注意力机制的DWT‑LSTM电力负荷预测方法，采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；利用改进的PSO粒子群算法对LSTM长短期记忆神经网络模型参数进行寻优，得到优化后的LSTM模型；将赋权后的各负荷分量分别代入优化后的LSTM模型进行训练，得到各个负荷分量的LSTM负荷预测模型；将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的LSTM负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。本发明方法能够在多因素交互影响的情况下，准确的预测电力负荷数据。
Description
技术领域
本发明属于电力系统负荷人工智能技术预测技术领域，具体涉及一种基于注意力机制的DWT-LSTM电力负荷预测方法。
背景技术
准确的电力负荷预测有利于电网安全、经济运行，为电网规划提供基础数据依据，对现代电力系统发展起着重要作用，对电网规划的质量有决定性影响。如何提高负荷预测的准确率一直以来是学者们研究的热点问题。
目近年来人工智能技术凭借其非线性拟合的优势，其已被广泛应用于电力负荷预测场景中。伴随着智能电网的发展，电网数据变得丰富，越来越多的影响因素受到考虑，但影响因素的数据出现越来越多的时间尺度，数据颗粒度更细，以及非等时间间隔采集的特征。需探索多时间尺度数据的处理方法来实现将这些数据融入一个模型中。
电力负荷预测方法的发展趋势是将越来越多的因素纳入考虑。在较多因素交互影响的情况下，从解析的方法向非解析的、智能的方向发展。当前常用的负荷预测方法存在以下问题：伴随着智能电网的快速发展，电网组成更加丰富，影响电力负荷的因素也呈现于更多时间尺度，且其对于负荷的影响程度不一致。
神经网络越深，表达能力越强，允许在更大的函数空间中寻找对真实规律的近似映射。在一个合适的优化方法的辅助下，神经网络能够收敛到良好的预测效果。
发明内容
考虑不同时间尺度因素的重要程度，本发明提供一种基于注意力机制的DWT-LSTM电力负荷预测方法，首先，利用离散小波分解将历史负荷数据分解至不同频率尺度，为使预测模型更好的把握长、中、短期因素对电力负荷的影响程度，在模型中引入注意力机制，在提升关键信息的被关注程度的同时，抑制噪声干扰；然后，利用改进的粒子群算法对长短期记忆神经网络模型参数进行寻优，进一步提升模型预测精度。该方法能在多因素交互影响的情况下，准确的预测电力负荷数据。可以为电力部门制定检修计划、进行决策规划的提供重要数据，对于保障电力系统的安全、经济运行具有重要意义。
本发明采取的技术方案为：
基于注意力机制的DWT-LSTM电力负荷预测方法，包括以下步骤：
步骤一：采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；
步骤二：引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；
步骤三：利用改进的PSO粒子群算法对LSTM长短期记忆神经网络模型参数进行寻优，得到优化后的LSTM模型；
步骤四：将赋权后的各负荷分量分别代入优化后的LSTM模型进行训练，得到各个负荷分量的LSTM负荷预测模型；
步骤五：将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的LSTM负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。
所述步骤一中，离散小波分解方法在保留时域信息的前提下，能够对原始负荷数据中具有特征差异的各个分量进行有效分离，即每一层小波分解都将得到高频分量D和低频分量A两个部分：
离散小波变换是将原始负荷序列Xt通过一系列半带宽的低通滤波器H和高通滤波器G，将原始数据分解成不同频率的信号:
式(1)中，j＝1,2，…,J为当前小波分解层数，J为小波分解总层数；k为时间序号，即第k个小波系数；H为低通滤波系数，G为高通滤波系数，An j为n维信号在第j层分解出的近似分量；的n维信号在第j层分解出的细节分量。
为n维信号在第1层的分解出的近似分量；Hn-2k为n维信号在第k维时间序列上的低通滤波系数；Xk为原始信号在第k维时间序列上的大小；/>为n维信号在第1层的分解出的近似分量；Gn-2k为n维信号在第k个时间序列上的高通滤波系数；/>为第k维时间序列在第j-1层分解出的近似分量；
小波分解后的输出为:
式(2)中，X为原始负荷数据；A1 J为第J层的分解出的第1维近似分量；A2 J为第J层的分解出的第2维近似分量；为第J层的分解出的第T维近似分量；D1 1为第1层的分解出的第1维细节分量；D2 1为第1层的分解出的第2维细节分量；DT 1为第1层的分解出的第T维细节分量；D1 J为第J层的分解出的第1维细节分量；/>为第J层的分解出的第2维细节分量；/>为第J层的分解出的第T维细节分量。
所述步骤二包括以下步骤：
第一步、求解权重得分：
计算各频率分量Xi t与原始负荷序列Xt的相关性。
式(3)中，S(Xi t，Xt)是评价各频率分量与原始序列相关性的函数；VT和b均为超参数，Wa、Wb、为注意力机制中的权重矩阵，维度为h×d，d代表样本维度，即样本的时间跨度，h为LSTM中隐藏层神经元个数；tanh为双曲正切激活函数；Xi t为Xt的第i行。
第二步、对第一步中的的原始分值进行归一化处理，即求解加权系数：
式(4)中，为第i个分量Xi t与Xt的加权系数，Xt为Xi t为Xt的第i行,Xt为原始序列。
为经过小波分解后的第i个分量；/>为经过小波分解后的第i个分量与原始序列的相关性函数；
注意力权重系数由分解出来的各频率分量与原始序列决定，表明了不同频率分量对其贡献程度，考虑加注意力权重系数后的小波分解结果为：
式(5)中,为第1个分量的加权系数；/>为第2个分量的加权系数；/>为第J+1个分量的加权系数；/>为第J层的分解出的第t-d+1维近似分量；/>为第J层的分解出的第t-d+2维近似分量；/>为第J层的分解出的第t维近似分量；/>为第1层的分解出的第t-d+1维细节分量；/>为第1层的分解出的第t-d+2维细节分量；/>为第1层的分解出的第t维细节分量；/>为第J层的分解出的第t-d+1维细节分量；/>为第J层的分解出的第t-d+2维细节分量；/>为第J层的分解出的第t维细节分量；
所述步骤三中，改进后的PSO算法寻优步骤如下：
步骤3.1：初始化粒子群，包括群体规模N，每个粒子的位置xi和速度vi；
步骤3.2：计算每个粒子的适应度值F(i)；
步骤3.3：对每个粒子，用它的适应度值F(i)和个体极值Pi比较，如果F(i)>Pi，则用F(i)替换掉Pi；
步骤3.4：对每个粒子，用它的适应度值F(i)和全局极值Pg比较，如果F(i)>Pg则用F(i)代替Pg；
步骤3.5：根据公式(10)，(11)更新粒子的速度Vi和位置Si；
Si(j+1)＝Si(j)+Vi(j+1) (11)
式(10)、(11)中,c3为加速度常数；r3是区间[0,1]上的随机数；Si(j)为粒子i在j次迭代后的空间位置。
式(10)中，c3r3(Pr(j)-Si(j))部分表示为当前粒子位置与在群体中随机选择的粒子Pr之间的距离。
式(10)、(11)中,Si和Vi分别为粒子i的当前位置向量和速度向量，j为迭代次数，ω为惯性权重；c1、c2、c3为加速度常数；r1、r2、r3为区间[0,1]上的随机数；Pi(j)为在第j次迭代更新后该粒子找到的个体最优解；Pg(j)为在第j次迭代更新后所有粒子中选出的全局最优解；Pr(j)为在第j次迭代更新后随机选择的粒子；Si(j)为粒子i在j次迭代更新后的空间位置，Vi(j)为粒子i在j次迭代更新后的速度大小，Si(j+1)为粒子i在j+1次迭代更新后的空间位置，Vi(j+1)为粒子i在j+1次迭代更新后的速度大小。c1r1(Pi(j)-Si(j))描述了粒子当前位置与其已知的最佳位置之间的距离；c2r2(Pg(j)-Si(j))为当前位置与全局最佳位置之间的距离；c3r3(Pr(j)-Si(j))部分表示为当前粒子位置与在群体中随机选择的粒子Pr之间的距离。
步骤3.6：如果满足结束条件退出，否则返回步骤3.2。
所述步骤四包括以下步骤：
步骤4.1：网络超参数初始化：
设置的超参数包括：输入节点数m，隐藏节点数k，输出节点数n，误差阈值cost，最大迭代次数s；LSTM的两个隐藏层神经元节点数L1、L2以及学习率yita则采用改进PSO算法进行寻优得到；
步骤4.2、权重偏置初始化：
LSTM神经网络前向计算公式如下所示：
式(12)表示t时刻LSTM的前向计算公式。为t时刻网络的三个输入，/>为网络的最终输出。其中/>为t-1时刻的负荷输出值，其为一个n维行向量，n表示需要预测的负荷个数，即输出节点数；/>为t时刻的网络输入值，其为一个m维的行向量，m为单个样本的维数，即输入节点数；/>为当前输入单元状态；/>为t-1时刻网络的单元状态；/>为t时刻的电负荷输出值，也是一个n维行向量。/>分别表示t时刻的遗忘门输出，输入门输出，输出门输出和单元状态。σ和tanh均为激活函数，其中σ为sigmoid函数，tanh为双曲正切函数，二者计算公式分别如下：
表示按元素乘，当/>作用于两个向量时，运算如下：
式(14)中,为任意向量；a1、a2、a3、an为/>的第1、2、3、n个元素；b1、b2、b3、bn为的第1、2、3、n个元素。
当作用于一个向量和一个矩阵时，运算如下：
式(15)中,为任意的n维向量；a1、a2、a3、an为/>的第1、2、3、n个元素；X为n阶的任意矩阵，xij表示X的第i行、第j列元素。
当作用于两个矩阵时，两个矩阵对应位置的元素相乘即可。
Wf、Wi、Wc、Wo分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵，bf、bi、bc、bo则表示遗忘门、输入门、当前输入单元状态和输出门的偏置矩阵，此8个参数是由网络训练而来，无需人为设置具体数值，但需人为指定矩阵维度，并由计算机产生0～1之间的随机数作为其初值。事实上，每个权重矩阵W都是两个矩阵拼接而成的，以Wf为例，它可看作是Wfh和Wfx两个矩阵拼接而成，即
式(16)中，为t-1时刻的负荷输出值，/>为t时刻的网络输入值，Wf为遗忘门的权重矩阵，Wfh和Wfx两个矩阵可拼接成Wf。；
故网络需要训练的参数包括Wfh，Wfx，Wih，Wix，Wch，Wcx，Woh，Wox，bf，bi，bc，bo共12个参数。
指定Wfx，Wix，Wcx，Wox为m*k的矩阵，Wfh，Wih，Wch，Woh为n*k的矩阵，bf，bi，bc，bo为1*k的矩阵。
步骤4.3、根据损失函数C更新网络权重和偏置。损失函数C表示网络的误差大小，其值越小，则模型越精确，反之模型越不精确。其计算公式如下：
式(17)中，L表示训练样本总数，h(b)表示第b个训练样本的网络输出电压或内阻值，a(b)表示第b个训练样本对应的实际电压或内阻值。改变权重偏置值，就可改变C的大小，利用梯度下降算法可快速找到合适的权重和偏置，使C最小化，以达到误差阈值cost，加快网络收敛速度。
步骤4.4、重复步骤4.2～步骤4.3，直到迭代次数等于s或误差小于误差阈值cost，停止训练。
所述步骤四中，采用统计误差评估LSTM神经网络的性能，采用的统计误差为均方根误差，计算公式分别如下：
式(18)中，yes,y为网络预测值，ya,v为实际值，M为网络预测值个数。若统计误差满足实际需求，则LSTM模型精确，可投入实际，若不满足实际需求，则需重新训练网络模型。
本发明一种基于注意力机制的DWT-LSTM电力负荷预测方法，技术效果如下：
1)本发明利用离散小波分解将原始电力负荷数据分解至不同频率尺度，引入注意力机制来衡量各尺度频率分量在原始数据中的重要程度，使得模型在训练时能够自适应的关注重要分量。
2)本发明利用改进的粒子群算法对长短期记忆神经网络模型参数进行寻优，降低模型训练成本，提高预测精度。在对粒子速度更新时，添加随机粒子信息。使其在优化LSTM模型超参数时避免陷入局部极值，具有更快的收敛速度和更好的搜索能力。
3)本发明通过注意力机制使得模型在训练和预测时，更加关注重要信息，将不同频率尺度的影响因素分别考虑。
4)本发明方法能够在多因素交互影响的情况下，准确的预测电力负荷数据。
附图说明
图1为本发明方法流程示意图。
图2为粒子群算法寻优流程图。
图3为负荷数据预处理流程图。
图4为负荷预测流程图。
图5为小波分解示意图。
具体实施方式
如图1所示，基于注意力机制的DWT-LSTM电力负荷预测方法，包括以下步骤：
步骤一：采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；
步骤二：引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；
步骤三：利用改进的PSO粒子群算法对LSTM长短期记忆神经网络模型参数进行寻优，得到优化后的LSTM模型；
步骤四：将赋权后的各负荷分量分别代入优化后的LSTM模型进行训练，得到各个负荷分量的LSTM负荷预测模型；
步骤五：将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的LSTM负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。
具体如下：
(一)、基于注意力机制的DWT数据预处理：
电力负荷数据是在多种复杂因素综合因素作用下的结果，单一的预测模型无法直观体现出相应序列的非线性特征。而小波变换是通过对信号的伸缩和平移实现了对其多尺度分解，能展示目标原始信号各分量的频率信息，非常适合对非平稳信号进行分析。
为此本发明在进行负荷预测前，利用小波变换将原始数分解至不同频率尺度。同时，引入注意力机制，根据各尺度频率分量的重要程度进行自适应赋权，完成负荷数据的预处理。
1.对原始负荷数据进行离散小波分解：
小波分解在保留时域信息的前提下，可对信号中具有特征差异的各个分量进行有效分离，即每一层小波分解都将得到高频分量D和低频分量A两个部分，如图5所示。
离散小波变换是将原始时间序列Xt通过一系列半带宽的低通滤波器H和高通滤波器G，将原始数据分解成不同频率的信号:
式(1)中，j＝1,2，…,J为当前小波分解层数，J为小波分解总层数；k为时间序号；An j为第j层的低频分量的第n个小波系数；Dn j为第j层的高频分量第n个小波系数。
式(1)中，j＝1,2，…,J为当前小波分解层数，J为小波分解总层数；k为时间序号，即第k个小波系数；H为低通滤波系数，G为高通滤波系数，An j为n维信号在第j层的近似分量；Dn j的n维信号在第j层的细节分量。小波分解后的输出为:
小波分解后的输出为:
式(2)中，XT为原始负荷数据；为第J层的分解出的第T维近似分量；/>为第J层的分解出的第T维细节分量。
2.通过注意力机制对各分量赋权：
引入注意力机制，对各频率分量进行关注度分配，突出对重要特征信息的关注，削弱对次要特征或噪声信息的资源倾斜，使得模型能够自适应的关注重要分量，提高模型预测精度。
在本发明中Attention机制的计算过程可以归纳为两个阶段：
第一步、求解权重得分：在本发明中即计算各频率分量Xi t与原始负荷序列Xt的相关性。
式(3)中，S(Xi t，Xt)是评价各频率分量与原始序列相关性的函数；VT和b均为超参数，Wa、Wb、为注意力机制中的权重矩阵，维度为h×d，d代表样本维度，即样本的时间跨度，h为LSTM中隐藏层神经元个数；tanh为双曲正切激活函数；Xi t为Xt的第i行。
第二步：对上一步中的的原始分值进行归一化处理，即求解加权系数。
式(4)中，为第i个分量Xi t与Xt的加权系数，Xt为Xi t为Xt的第i行,Xt为原始序列。
注意力权重系数由分解出来的各频率分量与原始序列决定，表明了不同频率分量对其贡献程度。考虑注意力权重系数后的小波分解结果为:
式(5)中，X′t为考虑注意力机制后的数据；d为滑动窗口的时间跨度，为第J层分解出的第t-d+1维近似分量；/>为第J层分解出的第t-d+1维细节分量,/>为通过式(4)得到的加权系数。如图3所示，基于注意力机制和小波分解的电力负荷数据预处理具体步骤为：
步骤①：采用Matlab中的小波工具箱将收集到的电力负荷数据分解为不同尺度的频率分量。
步骤②：对分解后得到的高频率A和若干低频分量D分别带入式(3)、(4)中求解注意力权重。整理为式(5)的形式后，进行归一化处理。
(二)、PSO算法优化：
LSTM模型在训练与预测过程当中，其隐藏层神经元节点数、迭代次数和学习率等模型参数的选取多依赖实际经验，缺乏科学的确定方法。针对该问题，本发明提出一种应用于LSTM模型参数寻优的改进PSO算法。
粒子群算法(PSO)是受到鸟类在觅食过程中根据目标食物修正飞行方向和飞行速度的启发，产生的一种拟生物算法。该算法需要调整的参数少、鲁棒性高且易实现，但存在易陷入局部极值的缺点。PSO中粒子的速度、位置更新公式为：
Si(j+1)＝Si(j)+Vi(j+1) (9)
式(8)、式(9)中，Si和Vi分别为粒子i的当前位置向量和速度向量，j为迭代次数，ω为惯性权重；c1、c2为加速度常数；r1、r2为区间[0,1]上的随机数；Pi为该粒子找到的个体最优解；Pg为在所有粒子中选出的全局最优解；Si(j)为粒子i在j次迭代更新后的空间位置，Vi(j)为粒子i在j次迭代更新后的速度大小。
在PSO的速度更新公式中，ωVi(j)是通过ω控制全局和局部搜索能力；c1r1(Pi(j)-Si(j))描述了粒子当前位置与其已知的最佳位置之间的距离；c2r2(Pg(j)-Si(j))为当前位置与全局最佳位置之间的距离，即认为粒子的移动还取决于种群其余粒子的影响，Pg提高收敛速度的同时会减小搜索时的种群多样性，导致搜索结果容易陷入局部极值。
为了防止搜索结果陷入局部极值并提高搜索能力，改进的PSO算法在对粒子速度更新时，添加随机粒子信息。考虑随机粒子后的粒子速度、方向更新公式如下：
Si(j+1)＝Si(j)+Vi(j+1) (11)
式(10)、(11)中，c3为加速度常数；r3是区间[0,1]上的随机数；Pr为随机选择的粒子；Si(j)为粒子i在j次迭代后的空间位置。
式(10)中，c3r3(Pr(j)-Si(j))部分表示为当前粒子位置与在群体中随机选择的粒子Pr之间的距离。添加随机粒子Pr可为每一次群体搜索提供额外的参考信息，这一步骤可以有效避免某个局部极值对全剧最佳位置吸引力过大，从而陷入局部最优的情况，丰富粒子种群多样性的同时，提高粒子的全局搜索能力。
如图2所示，改进后的PSO算法寻优步骤如下：
步骤1：初始化粒子群，包括群体规模N，每个粒子的位置xi和速度vi；
步骤2：计算每个粒子的适应度值F(i)；
步骤3：对每个粒子，用它的适应度值F(i)和个体极值Pi比较，如果F(i)>Pi，则用F(i)替换掉Pi；
步骤4：对每个粒子，用它的适应度值F(i)和全局极值Pg比较，如果F(i)>Pg则用F(i)代替Pg；
步骤5：根据公式(10)，(11)更新粒子的速度Vi和位置Si；
步骤6：如果满足结束条件退出，结束条件包括误差足够好或到达最大循环次数，否则返回步骤2。
(三)、LSTM的模型训练及验证：
1、LSTM的模型训练：
将预处理后得到的数据分为A、B两组，A组作为训练样本，B组作为测试样本，训练样本组数A一般要大于测试样本组数B。例如，比例可以为70％、30％。训练样本用作LSTM网络的输入，测试样本用于检验网络模型的性能。
步骤一、网络超参数初始化：
本发明需人为设置的超参数包括：输入节点数m，隐藏节点数k，输出节点数n，误差阈值cost，最大迭代次数s；LSTM的两个隐藏层神经元节点数L1、L2以及学习率yita则采用改进PSO算法进行寻优得到。
步骤二、权重偏置初始化：
LSTM神经网络前向计算公式如下所示：
式(12)表示t时刻LSTM的前向计算公式。为t时刻网络的三个输入，/>为网络的最终输出。其中/>为t-1时刻的负荷输出值，其为一个n维行向量，n表示需要预测的负荷个数，即输出节点数；/>为t时刻的网络输入值，其为一个m维的行向量，m为单个样本的维数，即输入节点数；/>为当前输入单元状态；/>为t-1时刻网络的单元状态；/>为t时刻的电负荷输出值，也是一个n维行向量。/>分别表示t时刻的遗忘门输出，输入门输出，输出门输出和单元状态。σ和tanh均为激活函数，其中，σ为sigmoid函数，tanh为双曲正切函数，二者计算公式分别如下：
表示按元素乘，当/>作用于两个向量时，运算如下：
当作用于一个向量和一个矩阵时，运算如下：
当作用于两个矩阵时，两个矩阵对应位置的元素相乘即可。
Wf、Wi、Wc、Wo分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵，bf、bi、bc、bo则表示遗忘门、输入门、当前输入单元状态和输出门的偏置矩阵，此8个参数是由网络训练而来，无需人为设置具体数值，但需人为指定矩阵维度，并由计算机产生0～1之间的随机数作为其初值。事实上，每个权重矩阵W都是两个矩阵拼接而成的，以Wf为例，它可看作是Wfh和Wfx两个矩阵拼接而成，即
式(16)中，为t-1时刻的负荷输出值，/>为t时刻的网络输入值，Wf为遗忘门的权重矩阵，Wfh和Wfx两个矩阵可拼接成Wf。
故网络需要训练的参数包括Wfh，Wfx，Wih，Wix，Wch，Wcx，Woh，Wox，bf，bi，bc，bo共12个参数。
本发明指定Wfx，Wix，Wcx，Wox为m*k的矩阵，Wfh，Wih，Wch，Woh为n*k的矩阵，bf，bi，bc，bo为1*k的矩阵。
LSTM的前向计算如式(12)所示，前向计算可得到每个神经元的输出值，即 五个向量的值。通过前向计算，LSTM能更加有效地决定哪些信息被遗忘，哪些信息被保留，更加高效的处理长时间序列。
步骤四：根据损失函数C更新网络权重和偏置。损失函数C表示网络的误差大小，其值越小，则模型越精确，反之模型越不精确。其计算公式如下：
式(17)中，L表示训练样本总数，h(b)表示第b个训练样本的网络输出电压或内阻值，a(b)表示第b个训练样本对应的实际电压或内阻值。改变权重偏置值，就可改变C的大小，利用梯度下降算法可快速找到合适的权重和偏置，使C最小化，以达到误差阈值cost，加快网络收敛速度。
步骤四：重复步骤三，直到迭代次数等于s或误差小于误差阈值cost，停止训练。
步骤五：将DWT各个分量的预测值相加，即为网络最终负荷预测结果。
2.LSTM的精度验证：
LSTM网络训练完成后，采用测试样本B进行测试，将网络模型的最终预测值与真实值进行比较。本发明采用统计误差评估LSTM神经网络的性能，本方法中采用的统计误差为均方根误差，计算公式分别如下：
式(18)中，yes,y为网络预测值，ya,v为实际值，M为网络预测值个数。若统计误差满足实际需求，则LSTM模型精确，可投入实际，若不满足实际需求，则需重新训练网络模型。如图4所示，基于注意力机制的DWT-LSTM电力负荷预测具体步骤为：
步骤(1):通过离散小波分解和注意力机制对原始负荷数据进行预处理。
步骤(2):对粒子群参数进行初始化。包括确定种群规模、迭代次数、学习因子以及粒子位置、速度的取值区间。
步骤(3):初始化LSTM负荷预测模型的关参数。生成随机粒子种群，其中，LSTM模型神经元数量、训练迭代次数和学习率作为参数变量，同时设置各参数寻优空间。
步骤(4):确定评价函数。将包含LSTM模型参数的种群个体适应度值ffit定义为：
式(19)中，ht表示实际负荷,h′t表示LSTM网络计算出的预测负荷；N表示训练样本个数。
步骤(5):计算粒子适应度大小并相互比较，从而确定粒子全局最优位置Pg与局部最优位置Pi。
步骤(6):根据公式(10)、(11)更新粒子的速度与位置。
步骤(7)：判断是否满足循环终止条件。若达到最大迭代次数，则得到优化后的模型参数；否则返回步骤(6)。
步骤(8)：将优化的参数赋值给模型，并利用训练好的LSTM模型进行负荷预测。
综上可以看出，本发明针对复杂的电力负荷数据，提了出基于注意力机制的DWT-LSTM的电力负荷预测方法。通过注意力机制与离散小波分解算法的结合，减小训练样本中的高频、低幅值噪声的干扰，提高了对重要分量的关注度。在确定LSTM模型参数时，采用改进的PSO寻找最优参数。本发明所提方法对于中长期负荷预测具有较好的适应性和准确性，对电力部门制定检修计划、进行决策规划的重要基础，对于保障电力系统的安全、经济运行具有重要意义。
Claims (3)
1.基于注意力机制的DWT-LSTM电力负荷预测方法，其特征在于包括以下步骤：
步骤一：采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；
所述步骤一中，离散小波分解方法在保留时域信息的前提下，能够对原始负荷数据中具有特征差异的各个分量进行有效分离，即每一层小波分解都将得到高频分量D和低频分量A两个部分：
离散小波变换是将原始负荷序列Xt通过一系列半带宽的低通滤波器H和高通滤波器G，将原始数据分解成不同频率的信号:
式(1)中，j＝1,2，…,J为当前小波分解层数，J为小波分解总层数；k为时间序号，即第k个小波系数；H为低通滤波系数，G为高通滤波系数，为n维信号在第j层的近似分量；/>的n维信号在第j层的细节分量；
小波分解后的输出为:
式(2)中，X为原始负荷数据；为第J层的分解出的第T维近似分量；/>为第J层的分解出的第T维细节分量；
步骤二：引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；
所述步骤二包括以下步骤：
第一步、求解权重得分：
计算各频率分量Xi t与原始负荷序列Xt的相关性；
式(3)中，S(Xi t，Xt)是评价各频率分量与原始序列相关性的函数；VT和b均为超参数，Wa、Wb、为注意力机制中的权重矩阵，维度为h×d，d代表样本维度，即样本的时间跨度，h为LSTM中隐藏层神经元个数；tanh为双曲正切激活函数；Xi t为Xt的第i行；
第二步、对第一步中的原始分值进行归一化处理，即求解加权系数：
式(4)中，为第i个分量Xi t与Xt的加权系数，Xt为Xi t为Xt的第i行,Xt为原始序列；注意力权重系数由分解出来的各频率分量与原始序列决定，表明了不同频率分量对其贡献程度，考虑加注意力权重系数后的小波分解结果为：
步骤三：利用改进的PSO粒子群算法对LSTM长短期记忆神经网络模型参数进行寻优，得到优化后的LSTM模型；
步骤四：将赋权后的各负荷分量分别代入优化后的LSTM模型进行训练，得到各个负荷分量的LSTM负荷预测模型；
所述步骤四包括以下步骤：
步骤4.1：网络超参数初始化：
设置的超参数包括：输入节点数m，隐藏节点数k，输出节点数n，误差阈值cost，最大迭代次数s；LSTM的两个隐藏层神经元节点数L1、L2以及学习率yita则采用改进PSO算法进行寻优得到；
步骤4.2、权重偏置初始化：
LSTM神经网络前向计算公式如下所示：
式(12)表示t时刻LSTM的前向计算公式；为t时刻网络的三个输入，/>为网络的最终输出；其中/>为t-1时刻的负荷输出值，其为一个n维行向量，n表示需要预测的负荷个数，即输出节点数；/>为t时刻的网络输入值，其为一个m维的行向量，m为单个样本的维数，即输入节点数；/>为当前输入单元状态；/>为t-1时刻网络的单元状态；/>为t时刻的电负荷输出值，也是一个n维行向量；/>分别表示t时刻的遗忘门输出，输入门输出，输出门输出和单元状态；σ和tanh均为激活函数，其中σ为sigmoid函数，tanh为双曲正切函数，二者计算公式分别如下：
表示按元素乘，当/>作用于两个向量时，运算如下：
当作用于一个向量和一个矩阵时，运算如下：
当作用于两个矩阵时，两个矩阵对应位置的元素相乘即可；
Wf、Wi、Wc、Wo分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵，bf、bi、bc、bo则表示遗忘门、输入门、当前输入单元状态和输出门的偏置矩阵，此8个参数是由网络训练而来，无需人为设置具体数值，但需人为指定矩阵维度，并由计算机产生0～1之间的随机数作为其初值；事实上，每个权重矩阵W都是两个矩阵拼接而成的，以Wf为例，它可看作是Wfh和Wfx两个矩阵拼接而成，即
式(16)中，为t-1时刻的负荷输出值，/>为t时刻的网络输入值，Wf为遗忘门的权重矩阵，Wfh和Wfx两个矩阵可拼接成Wf；
故网络需要训练的参数包括Wfh，Wfx，Wih，Wix，Wch，Wcx，Woh，Wox，bf，bi，bc，bo共12个参数；
指定Wfx，Wix，Wcx，Wox为m*k的矩阵，Wfh，Wih，Wch，Woh为n*k的矩阵，bf，bi，bc，bo为1*k的矩阵；
步骤4.3、根据损失函数C更新网络权重和偏置；损失函数C表示网络的误差大小，其值越小，则模型越精确，反之模型越不精确；其计算公式如下：
式(17)中，L表示训练样本总数，h(b)表示第b个训练样本的网络输出电压或内阻值，a(b)表示第b个训练样本对应的实际电压或内阻值；改变权重偏置值，就可改变C的大小，利用梯度下降算法可快速找到合适的权重和偏置，使C最小化，以达到误差阈值cost，加快网络收敛速度；
步骤4.4、重复步骤4.2～步骤4.3，直到迭代次数等于s或误差小于误差阈值cost，停止训练；
步骤五：将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的LSTM负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。
2.根据权利要求1所述基于注意力机制的DWT-LSTM电力负荷预测方法，其特征在于：所述步骤三中，改进后的PSO算法寻优步骤如下：
步骤3.1：初始化粒子群，包括群体规模N，每个粒子的位置xi和速度vi；
步骤3.2：计算每个粒子的适应度值F(i)；
步骤3.3：对每个粒子，用它的适应度值F(i)和个体极值Pi比较，如果F(i)>Pi，则用F(i)替换掉Pi；
步骤3.4：对每个粒子，用它的适应度值F(i)和全局极值Pg比较，如果F(i)>Pg则用F(i)代替Pg；
步骤3.5：根据公式(10)，(11)更新粒子的速度Vi和位置Si；
Si(j+1)＝Si(j)+Vi(j+1) (11)
式(10)、(11)中c3为加速度常数；r3是区间[0,1]上的随机数；Pr为随机选择的粒子；Si(j)为粒子i在j次迭代后的空间位置；
式(10)中，c3r3(Pr(j)-Si(j))部分表示为当前粒子位置与在群体中随机选择的粒子Pr之间的距离；
步骤3.6：如果满足结束条件退出，否则返回步骤3.2。
3.根据权利要求1所述基于注意力机制的DWT-LSTM电力负荷预测方法，其特征在于：所述步骤四中，采用统计误差评估LSTM神经网络的性能，采用的统计误差为均方根误差，计算公式分别如下：
式(18)中，yes,y为网络预测值，ya,v为实际值，M为网络预测值个数；若统计误差满足实际需求，则LSTM模型精确，可投入实际，若不满足实际需求，则需重新训练网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111487298.XA CN114219139B (zh) | 2021-12-07 | 2021-12-07 | 基于注意力机制的dwt-lstm电力负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111487298.XA CN114219139B (zh) | 2021-12-07 | 2021-12-07 | 基于注意力机制的dwt-lstm电力负荷预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219139A CN114219139A (zh) | 2022-03-22 |
| CN114219139B true CN114219139B (zh) | 2023-10-03 |
Family
ID=80700185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111487298.XA Active CN114219139B (zh) | 2021-12-07 | 2021-12-07 | 基于注意力机制的dwt-lstm电力负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219139B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116361709B (zh) * | 2023-03-31 | 2023-10-31 | 山东省计算中心（国家超级计算济南中心） | 一种自适应电力负荷识别方法与设备 |
| CN116596144B (zh) * | 2023-05-22 | 2024-01-23 | 北京建筑大学 | 融入频率注意力的混合深度学习电力负荷预测方法及系统 |
| CN117313043B (zh) * | 2023-10-25 | 2024-04-30 | 四川大学 | 一种风力发电功率预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070229A (zh) * | 2019-04-26 | 2019-07-30 | 中国计量大学 | 家庭电力负荷的短期预测方法 |
| CN111260030A (zh) * | 2020-01-13 | 2020-06-09 | 润联软件系统(深圳)有限公司 | 基于a-tcn电力负荷预测方法、装置、计算机设备及存储介质 |
| CN111783953A (zh) * | 2020-06-30 | 2020-10-16 | 重庆大学 | 一种基于优化lstm网络的24点电力负荷值7日预测方法 |
| AU2020104000A4 (en) * | 2020-12-10 | 2021-02-18 | Guangxi University | Short-term Load Forecasting Method Based on TCN and IPSO-LSSVM Combined Model |
| CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
-
2021
- 2021-12-07 CN CN202111487298.XA patent/CN114219139B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070229A (zh) * | 2019-04-26 | 2019-07-30 | 中国计量大学 | 家庭电力负荷的短期预测方法 |
| CN111260030A (zh) * | 2020-01-13 | 2020-06-09 | 润联软件系统(深圳)有限公司 | 基于a-tcn电力负荷预测方法、装置、计算机设备及存储介质 |
| CN111783953A (zh) * | 2020-06-30 | 2020-10-16 | 重庆大学 | 一种基于优化lstm网络的24点电力负荷值7日预测方法 |
| AU2020104000A4 (en) * | 2020-12-10 | 2021-02-18 | Guangxi University | Short-term Load Forecasting Method Based on TCN and IPSO-LSSVM Combined Model |
| CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、系统、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Attention-LSTM的商业建筑负荷分解研究;杨秀;曹泽棋;张美霞;胡钟毓;李莉华;;智慧电力(第09期);全文 * |
| 电力市场中基于Attention-LSTM的短期负荷预测模型;彭文;王金睿;尹山青;;电网技术(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114219139A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114219139B (zh) | 基于注意力机制的dwt-lstm电力负荷预测方法 | |
| CN109816095B (zh) | 基于改进门控循环神经网络的网络流量预测方法 | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN111582571A (zh) | 模型驱动和数据驱动融合的电网运行态势感知方法及系统 | |
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN110321603A (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN112766078B (zh) | 基于emd-svr-mlr与注意力机制的gru-nn的电力负荷层次预测方法 | |
| CN112434848B (zh) | 基于深度信念网络的非线性加权组合风电功率预测方法 | |
| CN115511177A (zh) | 基于ingo-swgmn混合模型的超短期风速预测方法 | |
| CN110766060B (zh) | 基于深度学习的时间序列相似度的计算方法、系统及介质 | |
| CN112884236B (zh) | 一种基于vdm分解与lstm改进的短期负荷预测方法及系统 | |
| CN114399032A (zh) | 一种电能表计量误差预测方法及系统 | |
| CN116861793B (zh) | 一种鹈鹕算法优化长短期记忆网络主轴热误差建模方法 | |
| CN111222689A (zh) | 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置 | |
| CN113836823A (zh) | 一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法 | |
| CN112257847A (zh) | 一种基于CNN和LSTM预测地磁Kp指数的方法 | |
| CN114548532A (zh) | 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备 | |
| CN115456245A (zh) | 一种感潮河网区溶解氧预测方法 | |
| CN113866391B (zh) | 深度学习模型预测因素解释方法及其在土壤含水量预测中的应用 | |
| Regazzoni et al. | A physics-informed multi-fidelity approach for the estimation of differential equations parameters in low-data or large-noise regimes | |
| CN113591957A (zh) | 基于lstm和马尔科夫链的风电出力短期滚动预测与校正方法 | |
| CN114596726A (zh) | 基于可解释时空注意力机制的停车泊位预测方法 | |
| Xu et al. | Meta-learning via weighted gradient update | |
| CN112434888A (zh) | 一种基于深度学习的双向长短期记忆网络的pm2.5预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |