CN116957698A - 一种基于改进时序模式注意力机制的电价预测方法 - Google Patents
一种基于改进时序模式注意力机制的电价预测方法 Download PDFInfo
- Publication number
- CN116957698A CN116957698A CN202310782181.7A CN202310782181A CN116957698A CN 116957698 A CN116957698 A CN 116957698A CN 202310782181 A CN202310782181 A CN 202310782181A CN 116957698 A CN116957698 A CN 116957698A
- Authority
- CN
- China
- Prior art keywords
- layer
- data
- time
- electricity price
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 86
- 230000007246 mechanism Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 229910002092 carbon dioxide Inorganic materials 0.000 claims abstract description 7
- 239000001569 carbon dioxide Substances 0.000 claims abstract description 7
- 238000010248 power generation Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 210000004027 cell Anatomy 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明涉及一种基于改进时序模式注意力机制的电价预测方法，是基于CNN‑TPA‑GRU模型的日前市场短期电价的预测算法，其将CNN、TPA和GRU融合而有效地融合多模态特征，并通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息，然后通过CNN神经网络的强大的非线性建模能力学习到更高阶、更复杂的特征表示，并借助TPA在序列数据中对不同时间步的特征进行加权和选择，在大量的历史电价数据上进行训练，学习到模型的参数和权重，使其能够更好地适应电价预测任务、提高预测精度。所述多模态数据包含历史价格序列、二氧化碳排放量、风发电量等相关数据。
Description
技术领域
本发明涉及一种电力领域，特别是涉及一种基于改进时序模式注意力机制的电价预测方法。
背景技术
近年来，许多国家都实行了市场自由化，市场双方参与者的目标是准确预测价格，价格是市场的核心要素，准确预测价格可以实现发电和利润优化。自电力市场自由化建立以来，准确预测电价一直是一项重要任务，尤其在任何能源公司的决策和战略制定中，价格预测已经成为一项必不可少的投入。
由于电价序列的复杂特征，如高波动性和非平稳性，预测效果并不佳。而在机器学习中采用支持向量机回归(Support Vector Regression，SVR)、BP神经网络(BackPropagation Neural Network，BPNN)、梯度提升决策树回归(Gradient BoostingDecision Tree Regression，GBDTR)以及随机森林回归(Random Forest Regression，RFR)等算法，上述方法通过引入用电负荷、天气、二氧化碳排放限额等相关信息，训练大量近三年的电力数据，可以在一定程度上提高预测精度，发现输出和输入之间的映射关系，但难以挖掘特征在非线性时间序列上的规律，预测精度还有提高的空间。
电价与负荷量之间存在一定的相关性，同时上一时刻的电价与该时刻电价也存在密切关系。GRU网络善于发现和利用长序列数据的内在规律，在预测精度方面具有优势，但是当特征量较大时，GRU的性能会因为过拟合而下降，且所需时间较长，因此不能直接输入带有大量特征的电价数据，需要先对输入的时序数据进行特征提取。卷积神经网络(Convolution Neural Networks,CNN)对输入的时序数据只能捕捉局部信息，必须通过层叠来获取全局的联系增强视野，而注意力机制可以灵活地捕捉全局与局部的联系，补齐CNN的短板。基于此，提出基于时序注意力机制的CNN-GRU短期电价预测模型，通过对序列数据中不同时间步的重要性进行建模来解决传统电价预测模型存在的计算效率低、在电价跳跃点与尖峰点预测精度不高的问题。大量新能源并入电网，对电价的走势产生了影响，如何提高此类情况下的电价预测精度已成为重点待解决的问题。
发明内容
本发明要解决的技术问题是提供一种结构简单、成本低、操作简便的一种基于改进时序模式注意力机制的电价预测方法。
为了解决上述技术问题，本申请提供了如下技术方案：
本发明一种基于改进时序模式注意力机制的电价预测方法，是基于CNN-TPA-GRU模型的日前市场短期电价的预测算法，其将CNN、TPA和GRU融合而有效地融合多模态特征，并通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息，然后通过CNN神经网络的强大的非线性建模能力学习到更高阶、更复杂的特征表示，并借助TPA在序列数据中对不同时间步的特征进行加权和选择，在大量的历史电价数据上进行训练，学习到模型的参数和权重，使其能够更好地适应电价预测任务、提高预测精度。
本发明一种基于改进时序模式注意力机制的电价预测方法，其中所述CNN-TPA-GRU模型包括一个输入层、一个CNN层、一个TPA层、两个GRU层、一个扁平化层、一个全连接层、一个丢弃层和一个输出层；其中，输入层接收形状为“时间步长，特征维度”的输入；CNN层接收输入层的输入，使用了一个一维卷积层，选用ReLU作为激活函数，一维卷积层的作用是从输入序列中提取局部特征并降维处理，以用于后续的模型层进行进一步的特征提取和预测；之后再通过专门用于处理时间序列数据的TPA层，通过考虑不同时间步之间的依赖关系来为每个时间步分配权重，从而实现对时间序列数据的特征提取，将注意力权重与输入数据逐元素相乘，以实现类似的加权特征表示，并输出至GRU层；两个GRU层由门控循环单元组成，引入了两个门控机制：重置门和更新门，用于控制信息的流动和过滤，从而增强模型的表达能力和记忆能力，其中第一个GRU层的输出将作为第二个GRU层的输入，用于传递前一层提取的时间依赖关系信息和长期依赖关系信息，两层输出均保留每个时间步的输出；之后进入扁平化层，扁平化层将GRU层的输出展平为一个1D张量，以便连接到全连接层；之后进入全连接层，用于学习更高级别的特征表示，激活函数为ReLU；最后进入丢弃层，用于随机丢弃一定比例的神经元，以防止模型过拟合，丢弃完成后输出至输出层，后续经过反归一化，得到最终的预测结果。
其中，所述第一个GRU层有200个神经元，第二个GRU层有100个神经元，全连接层具有100个神经元。
与现有技术相比，本发明一种基于改进时序模式注意力机制的电价预测方法至少具有以下有益效果：
针对新能源高风电渗透的电力市场，本发明一种基于改进时序模式注意力机制的电价预测方法提出了一种基于CNN-TPA-GRU的日前市场短期电价预测算法，通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息。同时，加入风发电量和二氧化碳限额作为输入特征，能更准确地反映日前电价变化趋势，提升准确率，符合我国目前大力构建以新能源为主体的新型电力系统的现状。
下面结合附图对本发明一种基于改进时序模式注意力机制的电价预测方法做进一步说明。
附图说明
图1为本发明一种基于改进时序模式注意力机制的电价预测方法的CNN-TPA-GRU模型结构图。
图2为本发明一种基于改进时序模式注意力机制的电价预测方法的时序模式注意力机制示意图；
图3为本发明一种基于改进时序模式注意力机制的电价预测方法GRU单元结构示意图；
具体实施方式
如图1所示，为本发明一种基于改进时序模式注意力机制的电价预测方法的CNN-TPA-GRU模型结构图。本发明是针对新能源高风电渗透的电力市场中，考虑到在CNN具有局部连接、权重共享等特点且在优化了输入GRU模型的电价序列基础上依旧难以解决长序列依赖问题，从而提出的一种基于CNN-TPA-GRU的日前市场短期电价预测算法，是通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息。同时，加入风发电量和二氧化碳限额作为输入特征，能更准确地反映日前电价变化趋势，提升准确率，符合我国目前大力构建以新能源为主体的新型电力系统的现状。可以更精准的对我国电力现货日前市场的电价进行预测。其采用时序模式注意力机制(Temporal PatternAttention mechanism,TPA)不仅可以捕捉长序列中的依赖关系，而且能有效突出影响电价的因素，提高模型的性能和泛化能力。
本发明的CNN-TPA-GRU预测模型包括一个输入层、一个CNN层、一个TPA层、两个GRU层、一个扁平化层、一个全连接层、一个丢弃层和一个输出层。输入层接收形状为“时间步长，特征维度”的输入。CNN层接收输入层的输入，使用了一个一维卷积层，选用ReLU作为激活函数，一维卷积层的作用是从输入序列中提取局部特征并降维处理，这些特征可以用于后续的模型层进行进一步的特征提取和预测。之后再通过专门用于处理时间序列数据的TPA层。通过考虑不同时间步之间的依赖关系来为每个时间步分配权重，从而实现对时间序列数据的特征提取，将注意力权重与输入数据逐元素相乘，以实现类似的加权特征表示，并输出至GRU层。两个GRU层由门控循环单元组成，引入了两个门控机制：重置门和更新门，用于控制信息的流动和过滤，从而增强模型的表达能力和记忆能力。在本模型中，第一个GRU层的输出将作为第二个GRU层的输入，用于传递前一层提取的时间依赖关系信息和长期依赖关系信息，具体来说，第一个GRU层有200个神经元，第二个GRU层有100个神经元，两层输出均保留每个时间步的输出，之后进入扁平化层。扁平化层将GRU层的输出展平为一个1D张量，以便连接到全连接层；之后进入全连接层，具有100个神经元，用于学习更高级别的特征表示，激活函数为ReLU；最后进入丢弃层，用于随机丢弃一定比例的神经元，以防止模型过拟合，丢弃完成后输出至输出层，后续经过反归一化，得到最终的预测结果。CNN-TPA-GRU模型的整体结构如图1所示。
其中：
1、关于本发明的时序注意力机制
如图2所示，为本发明一种基于改进时序模式注意力机制的电价预测方法的时序模式注意力机制示意图。
时序注意力机制是一种用于序列数据的注意力机制，主要在处理序列数据时提取有用的信息。在实际应用中，时序注意力机制可以应用于多种序列数据处理任务中，如自然语言处理、语音识别、机器翻译等。例如，在机器翻译任务中，时序注意力机制可以学习输入句子和输出句子之间的对齐关系，以便在输出句子中更准确地表达输入句子的含义。在语音识别任务中，时序注意力机制可以帮助模型学习声学特征和语言特征之间的对应关系，提高语音识别的准确度。
在时序注意力机制中，模型会学习一个权重向量，用于给输入序列中不同的时间步分配不同的权重，以强调重要的时间步和抑制不重要的时间步。具体来说，时序注意力机制可以在序列的每个时间步上计算出一个注意力权重，然后对所有时间步的输出进行加权平均得到最终的输出。
本发明的一种基于改进时序模式注意力机制的电价预测方法，采用时序模式注意力机制(Temporal Pattern Attention mechanism,TPA)不仅可以捕捉长序列中的依赖关系，而且能有效突出影响电价的因素，提高模型的性能和泛化能力。
如图2所示，对于给定的原始时间序列数据，使用GRUBlockCell(GRU块单元)对每个时间步进行处理，从而得到每个时间步的隐藏状态hi(列向量)，维度为m。通过计算得到隐状态矩阵H＝ht-w,ht-w+1,…,ht-1。对于隐状态矩阵，行向量表示单个变量在所有时间步下的状态，即同一变量的所有时间步构成的向量。每个行向量包含了同一个变量在不同时间步的状态信息。而列向量表示单个时间步的状态，即同一时间步下的所有变量构成的向量。每个列向量包含了同一个时间步内所有变量的状态信息。通过行向量，可以观察到同一变量在不同时间步下的演变趋势和变化模式。而通过列向量，可以观察到同一时间步下不同变量之间的相互关系和状态变化。利用卷积捕获可变的信号模式：
式中卷积核大小为1xT(T代表时序注意力所覆盖的范围，可理解为attn_length)，H(i,j)表示第i个行向量和第j个卷积核输出的结果。之后通过注意力加权，对每H行加权求和得到上下文向量Vt。
本发明在电价预测任务中时序注意力机制用于从历史电价时间序列中提取有用的信息。时序注意力可以将历史电价序列输入到带有时序注意力机制的深度学习模型中，模型会学习历史时间步之间的关系，并为不同时间步分配不同的权重，以强调重要的时间步并抑制不重要的时间步。然后，模型将加权后的历史电价序列和其他特征(如天气、节假日等)一起输入到预测模型中，进行电价预测。具体来说，时序注意力机制可以在每个历史时间步上计算出一个注意力权重向量，将其与历史电价序列相乘并求和，得到加权后的历史电价向量。然后，将加权后的历史电价向量和其他特征一起输入到预测模型中进行预测。在训练过程中，模型会通过最小化预测误差来优化注意力权重向量的学习。综上所述，时序注意力机制可以帮助电价预测模型更好地处理历史电价序列中的信息，提高模型的预测性能和泛化能力。
2.本发明的卷积神经网络
卷积神经网络(Convolutional Neural Network，CNN)由卷积层、池化层、全连接层等组成。在本发明的电价预测中，将时间序列数据转换成二维图像输入CNN卷积神经网络中，以学习输入数据中的模式和趋势。具体地说，可以将时间序列数据按照一定时间间隔进行切割，将每个时间段内的数据作为一行像素值，将多个时间段拼接成一个二维图像。这个二维图像可以看作图像的输入数据，再使用CNN对这些图像进行卷积和池化操作，池化层位于卷积层之后，通过对卷积层输出进行下采样操作，减少连接数量，同时对电价时间序列进行降维处理以及二次特征提取，最后通过全连接层汇总所有卷积单元提取的局部特征，输出预测结果。
借助CNN具有自动学习数据特征的能力，通过局部连接、权值共享、池化操作和多层结构等特性，可显著降低电价预测模型的复杂度。并且本发明采用梯度下降优化方法，CNN可有效减少过拟合现象，提高模型泛化能力。对于某些序列数据的处理，CNN的一维卷积神经网络效果可与循环神经网络媲美，同时具有更小的计算代价。在电价预测中，CNN可以学习到不同时间段内电价的趋势和变化规律，进而预测未来电价的变化趋势。通过CNN可以更准确地预测未来的电价，提高电力市场参与者的决策效果和利润水平。
3.本发明的GRU神经网络
GRU通过其门控机制，能够捕捉序列数据中的长期依赖关系。对于电价预测而言，历史价格数据通常存在一定的时间相关性和趋势。GRU能够学习这些相关性和趋势，并利用它们来预测未来的价格走势。同时GRU可以从历史价格序列中提取出相关的特征，如季节性变化、周期性变化、周末效应等。这些特征可以被用于预测未来电价的波动。因而GRU可以被用于分析历史电价数据并预测未来的价格趋势、应用在电价预测任务中。
本发明的GRU神经网络的结构单元如图3所示，为在RNN的基础上提出一种门控循环单元(GRU)神经网络模型。LSTM的记忆单元可以选择性地保留和遗忘过去的信息有效地避免了梯度消失问题，同时可以处理更长的时间序列。然而由于其内部结构较为复杂，LSTM网络的训练较长。
如图所示，在GRU中，每个单元包含两个门：更新门(update gate)和重置门(resetgate)，以及一个隐藏状态，其内部单元与LSTM的内部单元相似。在每个时间步，输入向量和前一个隐藏状态会经过一定的线性变换，然后会被送入到两个门控制的记忆细胞中。重置门控制着过去记忆对当前输入有多少影响，而更新门则控制着保留多少过去的记忆，并与当前输入相结合，并采用sigmoid激活函数控制二者。通过这种方式，GRU网络可以选择性地忘记和记忆过去的信息，并将当前的输入与过去的信息相结合，其内部关系如下：
zt＝σ(Wzht-1+Uzxt+bz) (2)
rt＝σ(Wrht-1+Urxt+br) (3)
ht＝tanh(Wh(rtht-1)+Uhxt+bh) (4)
ht＝(1-zt)ht-1+ztht (5)
式中zt为更新门，rt为重置门，输入x与隐藏层输出结果ht-1相加得到ht，σ为sigmoid函数，Wz、Wr、Wh、Uz、Ur、Uh、bz、br、bh为单元的权重矩阵。相比于LSTM，GRU参数量更少，在计算效率和速度方面具有很大优势；同时由于GRU的结构简单，使得其模型更容易优化；最后，GRU通过门控制着过去的记忆对当前的输入有多少影响，同时控制着保留多少过去的记忆，并与当前输入相结合，可以更好地控制信息流动。
4.本发明的复合分解技术
原始数据中，数据有非线性、波动大非平稳的特性。在进行数据归一化之前，使用变分模态分解(Variational Mode Decomposition,VMD)和经验模式分解(Empirical ModeDecomposition,EMD)对原始数据进行分解。这些方法可以帮助提取数据中的不同模态或组分，更好地捕捉数据的特征。
VMD是一种自适应的信号分解方法，它将原始数据分解为多个本征模态函数(Intrinsic Mode Functions,IMF)，每个IMF代表了数据中的一个局部模态。VMD通过迭代寻找一组满足约束条件的IMF集，并且每个IMF都具有特定的频率和振幅。
在VMD分解的基础上，对高频分量进行EMD分解。EMD是另一种常用的自适应信号分解方法，它将原始数据分解为一系列称为本征模函数(Empirical Mode Functions,EMF)的函数。每个EMF都是具有不同尺度的振动模式，并且相邻EMF的频率范围不重叠。通过EMD分解，将数据分解为不同频率的成分，构造出输入特征矩阵。
对于电价预测任务，通过对数据进行VMD和EMD分解，可以更好地捕捉数据的特征，为后续的归一化和模型训练提供更具信息量的输入。
5.本发明的数据归一化
原始数据中，不同特征之间可能存在数值上的差异，取值范围有很大差异，量纲也各不相同。这种情况下，数据在不同特征之间的差异会导致模型的训练结果不稳定，模型可能会更多地关注取值范围较大的特征，而忽略取值范围较小的特征。
通过数据归一化，可以将所有特征的取值范围都缩放到相同的区间内，使得不同特征的权重更加平衡，提高了模型训练的稳定性和准确性。同时，进行数据归一化还可以加速模型训练的收敛速度，提高算法的收敛精度，从而更好地实现数据预处理的目标。对所有特征进行数据归一化，将所有数据缩放到[0,1]。
式中Xi是原始数据中的第i个特征，Xi,min和Xi,max分别是该特征的最大值和最小值，Xi,norm为归一化后得到的值。在预测模型输出结果时，为了使预测结果具有实际意义，对输出的数据进行反归一化，得到预测电价值，计算方法如式(7)所示：
Xi＝Xi,norm×(Xi,max-Xi,min)+Xi,min(7)
另外，在本发明的电价预测任务中，除了历史价格序列外，我们通过考虑其他相关的多模态数据，如二氧化碳排放量、风发电量等。CNN神经网络具有强大的非线性建模能力，可以学习到更高阶、更复杂的特征表示，从而提高电价预测的准确性；同时TPA可以在序列数据中对不同时间步的特征进行加权和选择。通过将CNN、TPA和GRU融合，可以有效地融合这些多模态特征，在大量的历史电价数据上进行训练，可以学习到模型的参数和权重，使其能够更好地适应电价预测任务，并提高预测精度。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于改进时序模式注意力机制的电价预测方法，其特征在于，是基于CNN-TPA-GRU模型的日前市场短期电价的预测算法，将CNN、TPA和GRU融合而有效地融合多模态特征，并通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息，然后通过CNN神经网络的强大的非线性建模能力学习到更高阶、更复杂的特征表示，并借助TPA在序列数据中对不同时间步的特征进行加权和选择，在大量的历史电价数据上进行训练，学习到模型的参数和权重，使其能够更好地适应电价预测任务、提高预测精度。
2.根据权利要求1所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，所述CNN-TPA-GRU模型包括一个输入层、一个CNN层、一个TPA层、两个GRU层、一个扁平化层、一个全连接层、一个丢弃层和一个输出层；
其中，输入层接收形状为“时间步长，特征维度”的输入；
CNN层接收输入层的输入，使用了一个一维卷积层，选用ReLU作为激活函数，一维卷积层的作用是从输入序列中提取局部特征并降维处理，以用于后续的模型层进行进一步的特征提取和预测；
之后再通过专门用于处理时间序列数据的TPA层，通过考虑不同时间步之间的依赖关系来为每个时间步分配权重，从而实现对时间序列数据的特征提取，将注意力权重与输入数据逐元素相乘，以实现类似的加权特征表示，并输出至GRU层；
两个GRU层由门控循环单元组成，引入了两个门控机制：重置门和更新门，用于控制信息的流动和过滤，从而增强模型的表达能力和记忆能力，其中第一个GRU层的输出将作为第二个GRU层的输入，用于传递前一层提取的时间依赖关系信息和长期依赖关系信息，两层输出均保留每个时间步的输出；
之后进入扁平化层，扁平化层将GRU层的输出展平为一个1D张量，以便连接到全连接层；之后进入全连接层，用于学习更高级别的特征表示，激活函数为ReLU；
最后进入丢弃层，用于随机丢弃一定比例的神经元，以防止模型过拟合，丢弃完成后输出至输出层，后续经过反归一化，得到最终的预测结果。
3.根据权利要求2所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，在电价预测任务中，除了历史价格序列还包括二氧化碳排放量及风发电量的其他相关的多模态数据，通过将CNN、TPA和GRU融合，以有效地融合所述的多模态特征，在大量的历史电价数据上进行训练，学习到模型的参数和权重，使其能够更好地适应电价预测任务，并提高预测精度。
4.根据权利要求3所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，在进行数据归一化之前，使用变分模态分解和经验模式分解对原始数据进行分解以帮助提取数据中的不同模态或组分，更好地捕捉数据的特征。
5.根据权利要求4所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，在被输入层接收前，首先将输入的原始数据的所有特征进行数据归一化，将所有数据缩放到[0,1]以将所有特征的取值范围都缩放到相同的区间内，使得不同特征的权重更加平衡，提高模型训练的稳定性和准确性，一体化，计算方法如式(6)所示：
式中Xi是原始数据中的第i个特征，Xi,min和Xi,max分别是该特征的最大值和最小值，Xi,norm为归一化后得到的值；
而在预测模型输出结果时，为了使预测结果具有实际意义，对输出的数据进行反归一化，得到预测电价值，计算方法如式(7)所示：
Xi＝Xi,norm×(Xi,max-Xi,min)+Xi,min (7)。
6.根据权利要求5所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，所述CNN，即卷积神经网络是主要由卷积层、池化层、全连接层组成，在电价预测中，是将时间序列数据转换成二维图像输入CNN卷积神经网络中学习输入数据中的模式和趋势即：将时间序列数据按照一定时间间隔进行切割，将每个时间段内的数据作为一行像素值，将多个时间段拼接成一个二维图像，再使用CNN对这些图像进行卷积和池化操作，池化层位于卷积层之后，通过对卷积层输出进行下采样操作，减少连接数量，同时对电价时间序列进行降维处理以及二次特征提取，最后通过全连接层汇总所有卷积单元提取的局部特征，输出预测结果。
7.根据权利要求6所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，所述时序注意力将历史电价序列输入到带有时序注意力机制的深度学习模型中学习历史时间步之间的关系，并为不同时间步分配不同的权重，以强调重要的时间步并抑制不重要的时间步；然后，模型将加权后的历史电价序列和其他特征一起输入到预测模型中，进行电价预测。
8.根据权利要求7所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，时序注意力机制在每个历史时间步上计算出一个注意力权重向量，将其与历史电价序列相乘并求和，得到加权后的历史电价向量，然后，将加权后的历史电价向量和其他特征一起输入到预测模型中进行预测；在训练过程中，模型通过最小化预测误差来优化注意力权重向量的学习；所述时序模式注意力机制对于给定的原始时间序列数据，使用GRU块单元对每个时间步进行处理，从而得到每个时间步的隐藏状态hi列向量，维度为m；通过计算得到隐状态矩阵H＝ht-w,ht-w+1,…,ht-1；对于隐状态矩阵，行向量表示单个变量在所有时间步下的状态，即同一变量的所有时间步构成的向量，每个行向量包含了同一个变量在不同时间步的状态信息，而列向量表示单个时间步的状态，即同一时间步下的所有变量构成的向量，每个列向量包含了同一个时间步内所有变量的状态信息，通过行向量观察到同一变量在不同时间步下的演变趋势和变化模式，而通过列向量观察到同一时间步下不同变量之间的相互关系和状态变化；利用卷积捕获可变的信号模式：
式中卷积核大小为1xT(T代表时序注意力所覆盖的范围，为attn_length)，H(i,j)表示第i个行向量和第j个卷积核输出的结果；之后通过注意力加权，对每H行加权求和得到上下文向量Vt。
9.根据权利要求1所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，所述GRU通过其门控机制捕捉序列数据中的长期依赖关系，学习历史价格数据存在的时间相关性和趋势用于预测未来的价格走势；同时GRU从历史价格序列中提取出相关的特征用于预测未来电价的波动；在所述的GRU中，每个单元包含两个门：更新门和重置门(reset gate)，以及一个隐藏状态，在每个时间步，输入向量和前一个隐藏状态会经过一定的线性变换，然后会被送入到两个门控制的记忆细胞中，其中重置门控制着过去记忆对当前输入有多少影响，而更新门则控制着保留多少过去的记忆，并与当前输入相结合，并采用sigmoid激活函数控制二者，其内部关系如下：
zt＝σ(Wzht-1+Uzxt+bz) (2)
rt＝σ(Wrht-1+Urxt+br) (3)
ht＝tanh(Wh(rtht-1)+Uhxt+bh) (4)
ht＝(1-zt)ht-1+ztht (5)
式中zt为更新门，rt为重置门，输入x与隐藏层输出结果ht-1相加得到ht，σ为sigmoid函数，Wz、Wr、Wh、Uz、Ur、Uh、bz、br、bh为单元的权重矩阵。
10.根据权利要求7所述的一种基于改进时序模式注意力机制的电价预测方法，其特征在于，所述输入特征还包含能更准确地反映日前电价变化趋势、提升准确率的风发电量和二氧化碳限额。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782181.7A CN116957698A (zh) | 2023-06-29 | 2023-06-29 | 一种基于改进时序模式注意力机制的电价预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782181.7A CN116957698A (zh) | 2023-06-29 | 2023-06-29 | 一种基于改进时序模式注意力机制的电价预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116957698A true CN116957698A (zh) | 2023-10-27 |
Family
ID=88457468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310782181.7A Pending CN116957698A (zh) | 2023-06-29 | 2023-06-29 | 一种基于改进时序模式注意力机制的电价预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116957698A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117458489A (zh) * | 2023-12-26 | 2024-01-26 | 福建华鼎智造技术有限公司 | 一种电价和多维时序变量的EMD-Bi-LSTM短期预测方法 |
| CN117498320A (zh) * | 2023-11-01 | 2024-02-02 | 南方电网电力科技股份有限公司 | 一种波浪发电功率预测方法和系统 |
-
2023
- 2023-06-29 CN CN202310782181.7A patent/CN116957698A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117498320A (zh) * | 2023-11-01 | 2024-02-02 | 南方电网电力科技股份有限公司 | 一种波浪发电功率预测方法和系统 |
| CN117458489A (zh) * | 2023-12-26 | 2024-01-26 | 福建华鼎智造技术有限公司 | 一种电价和多维时序变量的EMD-Bi-LSTM短期预测方法 |
| CN117458489B (zh) * | 2023-12-26 | 2024-03-12 | 福建华鼎智造技术有限公司 | 一种电价和多维时序变量的EMD-Bi-LSTM短期预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Remaining useful life prediction using a novel feature-attention-based end-to-end approach | |
| Almalaq et al. | Evolutionary deep learning-based energy consumption prediction for buildings | |
| Du et al. | Power load forecasting using BiLSTM-attention | |
| Cheng et al. | Applied attention-based LSTM neural networks in stock prediction | |
| CN116957698A (zh) | 一种基于改进时序模式注意力机制的电价预测方法 | |
| CN113905391B (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
| CN112529283A (zh) | 基于注意力机制的综合能源系统短期负荷预测方法 | |
| Han et al. | A deep reinforcement learning based solution for flexible job shop scheduling problem | |
| CN114493014A (zh) | 多元时间序列预测方法、系统及计算机产品、存储介质 | |
| Islam et al. | LSTM-based electrical load forecasting for Chattogram city of Bangladesh | |
| KR20220040968A (ko) | 템퍼럴 컨볼루션 신경망을 활용한 단기 전력 수요 예측 시스템 및 방법 | |
| CN111198550A (zh) | 基于案例推理的云端智能生产优化调度在线决策方法及系统 | |
| CN112613657A (zh) | 风电场短期风速预测方法 | |
| CN114817773A (zh) | 一种基于多级分解和融合的时序预测系统及方法 | |
| CN115271161A (zh) | 一种多能负荷短期预测方法 | |
| Dong et al. | Lambo: Large language model empowered edge intelligence | |
| CN115730716A (zh) | 基于改进Transformer模型通信基站中长期用电量预测方法 | |
| Xu et al. | LRP-based policy pruning and distillation of reinforcement learning agents for embedded systems | |
| CN113591391A (zh) | 一种电力负荷控制装置、控制方法、终端、介质及应用 | |
| Li et al. | A Novel Short-term Load Forecasting Model by TCN-LSTM Structure with Attention Mechanism | |
| Li et al. | Deep intelligence-driven efficient forecasting for the agriculture economy of computational social systems | |
| Albelwi | A Robust Energy Consumption Forecasting Model using ResNet-LSTM with Huber Loss | |
| Yu | Optimization of Artificial Intelligence Algorithm based on Neural Network in Complex System | |
| Kexin et al. | Prediction stock price based on CNN and LSTM models | |
| Guo et al. | Dynamic Neural Network Structure: A Review for Its Theories and Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |