CN115587617A - 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 - Google Patents
长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 Download PDFInfo
- Publication number
- CN115587617A CN115587617A CN202211265068.3A CN202211265068A CN115587617A CN 115587617 A CN115587617 A CN 115587617A CN 202211265068 A CN202211265068 A CN 202211265068A CN 115587617 A CN115587617 A CN 115587617A
- Authority
- CN
- China
- Prior art keywords
- power consumption
- long
- short
- capturing
- sequence information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000005611 electricity Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置，涉及电力系统领域。为解决现有的短期用电量预测方法的稳定信和准确性还存在一定不足，无法满足高精度的预测需求的问题，本发明提供的技术方案为：长时间序列的序列信息捕捉方法，基于LSTM方法，方法包括：在LSTM方法使用长时间序列中的数据进行回归时，采用注意力网络对长时间序列的特征进行加权求和的融合步骤；根据融合步骤的结果，捕捉长时间序列的序列信息。融合步骤具体为：包括：根据特征生成注意力分数的步骤；将注意力分数转化为对应特征的重要性系数的步骤；根据重要性系数，对长时间序列的序列特征进行加权求和。适合应用于进行短期用电量预测。
Description
技术领域
涉及电力系统领域，具体涉及用电量预测。
背景技术
预测能源消耗是能源规划的基础，其重要性不容忽视。经过准确的预测，可以根据定量数据做出能源政策决策。电力是支撑国民经济的基础能源，随着智能电网的建设和电力信息的发展，电力系统存储了大量的用户用电数据，为用户用电量分析及预测提供了数据支持。准确有效的电力预测模型可以帮助电力组织做出重大决策，从而为电网管理系统提供可靠的安全偏差。
时间序列预测是一个意义重大的研究领域，旨在根据先前观察到的趋势使用最佳模型来预测未来趋势。由于用电量的预测被认为是时间序列预测范式的一部分，因此根据预测范围分为三类：短期(提前几分钟到几天)、中期(提前一周到几周)和长期(提前数月至数年)。短期用电量预测对于电力公司估算负荷功率是必不可少的。用电量预测可用于发电调度、负荷切换和安全评估。准确的预测结果有助于提高电力系统效率，降低运营成本，减少停电事件的发生。由于电力市场的发展和智能电网技术的推广，用电量预测变得更加重要。
目前，已有大量的研究提出了许多统计学方法用于短期用电量预测，包括指数平滑法、卡尔曼滤波器、线性回归等。然而，这些方法不能正确的描述用电量数据的非线性关系。随着人工智能技术的发展，各种机器学习和深度学习技术被用于用电量预测问题，如支持向量机、模糊逻辑方法、神经网络等。其中，神经网络因为能够拟合用电量和其相关因素间的非线性关系而备受关注。
现有的短期用电量预测方法的稳定性和准确性还存在一定不足，无法满足高精度的预测需求。
发明内容
为解决现有的短期用电量预测方法的稳定信和准确性还存在一定不足，无法满足高精度的预测需求的问题，本发明提供的技术方案为：
长时间序列的序列信息捕捉方法，基于LSTM方法，所述方法包括：
在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合步骤；
根据所述融合步骤的结果，捕捉所述长时间序列的序列信息。
进一步，提供一个优选实施方式，所述融合步骤具体为：包括：
根据所述特征生成注意力分数的步骤；
将所述注意力分数转化为对应特征的重要性系数的步骤；
根据所述重要性系数，对所述长时间序列的序列特征进行加权求和。
基于同一发明构思，本发明还提供了长时间序列的序列信息捕捉装置，基于LSTM方法，所述装置包括：
用于在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合模块；
用于根据所述融合模块的结果，捕捉所述长时间序列的序列信息的模块。
进一步，提供一个优选实施方式，所述融合模块具体为：包括：
用于根据所述特征生成注意力分数的子模块；
用于将所述注意力分数转化为对应特征的重要性系数的子模块；
用于根据所述重要性系数，对所述长时间序列的序列特征进行加权求和的子模块。
基于同一发明构思，本发明还提供了短期用电量预测方法，所述方法包括：
步骤1：采集并分析用电量的数据；
步骤2：根据分析结果构建用电量数据特征；
步骤3：采集短期用电量样本集；
步骤4：根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
步骤5：捕捉所述卷积神经网络中长时间序列的序列信息；
步骤6：根据所述序列信息得到短期用电量预测结果；
所述的步骤5采用所述的长时间序列的序列信息捕捉方法实现。
进一步，提供一个优选实施方式，所述样本集中，用电量的数据包括：粗粒度时间刻度、细粒度时间刻度和实际用电量。
进一步，提供一个优选实施方式，所述步骤5中还包括：采用三通道CNN提取所述卷积申请网络中短时间的数据平滑度特征的步骤。
基于同一发明构思，本发明还提供了基于注意力机制和时序预测模型的短期用电量预测装置，所述装置包括：
模块1：用于采集并分析用电量的数据；
模块2：用于根据分析结果构建用电量数据特征；
模块3：用于采集短期用电量样本集；
模块4：用于根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
模块5：用于捕捉所述卷积神经网络中长时间序列的序列信息；
模块6：用于根据所述序列信息得到短期用电量预测结果；
所述的模块5采用所述的长时间序列的序列信息捕捉方法实现。
基于同一发明构思，本发明还提供了计算机储存介质，用于储存计算机程序，当所述储存介质中储存的计算机程序被计算机的处理器读取时，所述计算机执行所述的长时间序列的序列信息捕捉方法或所述的短期用电量预测方法。
基于同一发明构思，本发明还提供了计算机，包括处理器和储存介质，所述储存介质用于储存计算机程序，当所述储存介质中储存的计算机程序被所述处理器读取时，所述计算机执行所述的长时间序列的序列信息捕捉方法或所述的短期用电量预测方法。
本发明的有益之处在于：
本发明提供的长时间序列的序列信息捕捉方法，既可以捕捉长时期的序列信息，又不会因为序列过长而导致忽略了重要特征；
本发明提供的短期用电量预测方法，为短期用电量预测提供一种全新的方法，相比于现有技术，准确率有一定提升。
本发明提供的短期用电量预测方法，基于卷积神经网络、长短时记忆网络和注意力机制的混合深度学习模型，使得模型具备从多个角度提取用电量数据特征的能力，并能自适应选择重要特征作为预测依据，增强了模型的预测能力和鲁棒性，进一步提高短期用电量预测效果。
适合应用于进行短期用电量预测。
附图说明
图1为实施方式五提供的短期用电量预测方法流程示意图；
图2为实施方式五提到的时间卷积模型结构示意图；
其中Input_feature表示输入层特征，Hidden_feature表示隐藏层特征，Output_feature表示输出层特征，size表示特征维度，Conv_1d表示一维卷积操作，AVG_Pooling表示平均池化操作，ReLU表示ReLU激活函数，Linear表示全连接神经网络。
图3为实施方式五提到的LSTM层内部结构示意图；
图4为实施方式一提到的注意力机制优化时序特征融合示意图，其中图(a)表示传统时序特征融合示意图，图(b)表示注意力机制优化的时序特征融合示意图；
图5为实施方式十一提到的多模型相对误差箱型示意图；
图6为实施方式十一提到的基于MAE损失函数训练下的C-LSTM-Attention模型测试结果示意图，其中图(a)为ME地区春季数据预测结果示意图，图(b)为ME地区夏季数据预测结果示意图，图(c)为ME地区秋季数据预测结果示意图，图(d)为ME地区冬季数据预测结果示意图。
具体实施方式
为使本发明提供的技术方案的优点和有益之处体现得更清楚，现结合附图对本发明提供的技术方案进行进一步详细地描述，具体的：
实施方式一、结合4说明本实施方式，本实施方式提供了长时间序列的序列信息捕捉方法，基于LSTM方法，所述方法包括：
在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合步骤；
根据所述融合步骤的结果，捕捉所述长时间序列的序列信息。
具体的，传统的LSTM方法使用序列数据进行回归时通常选择最新时刻的特征或者将全部序列特征转化为一维特征用于全连接神经网络进行回归预测。但是，选择最后时刻的特征可能会遗漏长时期的序列变化信息，使用全部特征可能会导致信息分散，难以捕捉重要时刻的信息。注意力机制可以根据特征自适应生成一个注意力分数，表示当前特征与预测目标的相关性系数。然后使用Softmax函数将注意力分数转化为当前特征的重要性系数，根据重要性系数将长时期序列特征进行加权求和操作，这样既可以捕捉长时期的序列信息，又不会因为序列过长而导致忽略了重要特征。图4(a)描述了传统的时序特征融合方式，图4(b)描述了注意力机制优化的时序特征融合。
实施方式二、本实施方式是对实施方式一提供的长时间序列的序列信息捕捉方法的进一步限定，所述融合步骤具体为：包括：
根据所述特征生成注意力分数的步骤；
将所述注意力分数转化为对应特征的重要性系数的步骤；
根据所述重要性系数，对所述长时间序列的序列特征进行加权求和。
实施方式三、本实施方式提供了长时间序列的序列信息捕捉装置，基于LSTM方法，所述装置包括：
用于在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合模块；
用于根据所述融合模块的结果，捕捉所述长时间序列的序列信息的模块。
实施方式四、本实施方式是对实施方式三提供的长时间序列的序列信息捕捉装置，所述融合模块具体为：包括：
用于根据所述特征生成注意力分数的子模块；
用于将所述注意力分数转化为对应特征的重要性系数的子模块；
用于根据所述重要性系数，对所述长时间序列的序列特征进行加权求和的子模块。
实施方式五、结合图1和2说明本实施方式，本实施方式提供了短期用电量预测方法，所述方法包括：
步骤1：采集并分析用电量的数据；
步骤2：根据分析结果构建用电量数据特征；
步骤3：采集短期用电量样本集；
步骤4：根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
步骤5：捕捉所述卷积神经网络中长时间序列的序列信息；
步骤6：根据所述序列信息得到短期用电量预测结果；
所述的步骤5采用实施方式一提供的长时间序列的序列信息捕捉方法实现。
具体的：
包括以下步骤：
1)对用电量历史数据进行分析研究，提取出与用电量密切相关的特征，数据维度包括粗粒度时间刻度、细粒度时间刻度、实际用电量，得到样本集。将样本集划分为具有80％数据的训练数据集和具有20％数据的测试数据集。此外，训练数据集中的数据长期早于测试数据集中的数据。
2)对输入输出特征进行设置。预测用电量子集中的数据点时，除了使用历史用电量数据外，还将其对应的时间信息作为输入，即一天中的第h小时和一周中的第w天，其中h和w的范围分别为[0,23]和[1,7]。例如，如果周一上午10:00的用电量为100MW，将这样的输入向量描述为(100,10,1)。为了提高预测精度，使用大小为168×3的一周数据作为预测模型的输入来预测24小时后的用电量。
3)对三通道CNN和LSTM网络进行初始化设置。与传统的神经网络不同，CNN中的卷积层不是全连接的，这使得CNN需要调整的参数更少，计算效率更高。在本发明中利用一维卷积神经网络对用电量数据的时间维度进行卷积操作，卷积算子可以捕捉到中心数据和相邻数据的差异，卷积结果在一定程度上反映了用电量数据在短期时间内的变化趋势。在多个卷积层之间使用了平均池化层缩小特征维度，同时可以抑制网络的过拟合。卷积模型的结构如图2所示。
在使用CNN提取短时间的数据平滑度的特征后，使用LSTM模型提取较长时间序列的时序特征。循环神经网络(RNN)擅长处理序列数据。LSTM网络是RNN的一个变体，它缓解了RNN长序列训练中梯度消失和梯度爆炸的问题。LSTM可以有效提取时序用电量数据的时间特征，并与CNN提取的特征相结合，实现高精度回归预测。每个LSTM模型由三个门组成，即输入门、遗忘门和输出门。此外，它还包括具有长短期记忆的细胞状态。这四个组件之间的操作如下。首先，输入门在接收到输入信息后，使用特定的机制更新单元状态。然后，遗忘门决定哪些输入信息将被丢弃。最后，输出门将根据输入信息和细胞状态生成结果。令xt表示t时刻的输入向量，ht表示隐藏层的输出，ct'表示将传输到单元层的初步信息，ct表示单元记忆，it、ft和ot分别表示输入门、遗忘门和输出门的输出。这些变量之间的关系如图3和公式(1)-(5)所示(W和b分别表示模型训练操作中的权重和偏差)。
其中，Wxi表示输入门中输入数据的权重参数，Whi表示输入门中隐藏层数据的权重参数，bi表示输入门的偏差，s表示激活函数，Wxf表示遗忘门中输入数据的权重参数，Whf表示遗忘门中隐藏层数据的权重参数，bf表示遗忘门的偏差，Wxo表示输出门中输入数据的权重参数，Who表示输出门中隐藏层数据的权重参数。
为了防止神经网络训练过程中出现过拟合，在全连接层之间添加了dropout操作。Dropout的参数设置为0.5，这意味着该层的神经元在每次迭代期间有50％的随机概率被丢弃并且不参与训练。
4)对注意力网络进行初始化设置，进行模型融合。具体采用实施方式一提供的长时间序列的序列信息捕捉方法。
5)评价指标
使用均方根误差(RMSE)和平均绝对误差(MAE)作为训练损失函数及测试评价指标，RMSE和MAE的计算公式分别为公式(6)和(7)。
其中n为测试数据大小，yi为第i个测试数据的真实值，
为第i个测试数据的预测值。
实施方式六、本实施方式是对实施方式五提供的短期用电量预测方法的进一步限定，所述样本集中，用电量的数据包括：粗粒度时间刻度、细粒度时间刻度和实际用电量。
实施方式七、本实施方式是对实施方式五提供的短期用电量预测方法的进一步限定，所述步骤5中还包括：采用三通道CNN提取所述卷积申请网络中短时间的数据平滑度特征的步骤。
实施方式八、本实施方式提供了基于注意力机制和时序预测模型的短期用电量预测装置，所述装置包括：
模块1：用于采集并分析用电量的数据；
模块2：用于根据分析结果构建用电量数据特征；
模块3：用于采集短期用电量样本集；
模块4：用于根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
模块5：用于捕捉所述卷积神经网络中长时间序列的序列信息；
模块6：用于根据所述序列信息得到短期用电量预测结果；
所述的模块5采用实施方式三提供的长时间序列的序列信息捕捉方法实现。
实施方式九、本实施方式提供了计算机储存介质，用于储存计算机程序，当所述储存介质中储存的计算机程序被计算机的处理器读取时，所述计算机执行实施方式一至二任意一项提供的长时间序列的序列信息捕捉方法或实施方式五至七任意一项提供的短期用电量预测方法。
实施方式十、本实施方式提供了计算机，包括处理器和储存介质，所述储存介质用于储存计算机程序，当所述储存介质中储存的计算机程序被所述处理器读取时，所述计算机执行实施方式一至二任意一项提供的长时间序列的序列信息捕捉方法或实施方式五至七任意一项提供的短期用电量预测方法。
实施方式十一、结合图5和6说明本实施方式，本实施方式是对实施方式五提供的短期用电量预测方法提供一个具体实施流程，与现有技术做对比，突出实施方式五提供的短期用电量预测方法的优点，同时还用于解释实施方式一至二及实施方式五至七，具体的：
为了验证有效性，从电力公司ISO New England Inc获取了缅因州(ME)和新罕布什尔州(NH)2020年两个公开可用的数据集进行实验。由于用电量时间序列数据通常受不同季节的影响，我们根据季节分别对每个数据集进行分类，即春季、夏季、秋季和冬季。因此，我们的实验评估有8个独立的子集。在每个用电量数据子集中，用电量数据的时间步长设置为一个小时，因此每天有24个数据点，每个季节大约有2160个数据点。使用大小为168×3的一周数据作为预测模型的输入来预测24小时后的用电量。
实验使用六种基准模型进行对比实验和消融实验，分别为CNN、LSTM、支持向量回归(SVR)、自注意力模型(Transformer)、注意力机制优化的长短时记忆网络(Attention-LSTM)、卷积神经网络和长短时记忆网络混合模型(CNN-LSTM)，各模型的超参数设置见表1。
表1各模型超参数设置
表2和表3分别展示了以RMSE和MAE为损失函数和评价指标的各预测模型的预测误差。表4展示了基于MAE评价指标的相对误差结果。
在各模型实验结果上，CNN模型在所有数据集上的RMSE和MAE的均值低于LSTM，表明在较长时间序列的用电量数据上时间卷积的性能要优于LSTM。CNN-LSTM模型在所有数据集上的RMSE和MAE的均值低于单独的CNN和LSTM模型，表明CNN和LSTM的混合模型在时间序列数据上的预测性能要优于单独的CNN和LSTM模型。基于注意力机制优化的LSTM模型的RMSE和MAE预测误差均略低于LSTM模型，证明了注意力机制的有效性。基于注意力机制优化的CNN和LSTM的混合模型CNN-LSTM-Attention在两种评价指标下的性能均优于没有注意力机制的CNN-LSTM模型，表明了注意力机制的有效性同样适用于CNN和LSTM的混合模型。
表2各模型基于RMSE评价指标预测结果
表3各模型基于MAE评价指标预测结果
表4各模型预测结果相对误差
总体来说，我们提出的基于注意力机制优化的CNN和LSTM混合模型CNN-LSTM-Attention在两种评价指标下性能最优，没有注意力机制优化的CNN-LSTM模型和Transformer模型的性能达到了次优水平，而LSTM和SVR的性能相对较差。
图5展示了各模型的相对误差的箱型图，每个箱型图的上下两条横线代表相对误差的上界和下界，箱体的上下边缘代表相对误差的两个四分位数，箱体中间的横线代表中位数，三角形代表均值，圆点代表异常值。通过图1可以看出CNN-LSTM-Attention模型的预测结果方差较小，模型有较强的鲁棒性。CNN-LSTM、LSTM、Attention-LSTM模型预测结果方差较大，模型预测能力不够稳定。见图5，为各模型相对误差箱型图。
图6展示了CNN-LSTM-Attention模型在ME地区数据集上的基于MAE损失函数训练下的预测结果曲线。从图6(a)、(c)和(d)可以看出春、秋和冬季的预测结果和真实值拟合较好，而图6(b)则表明夏季的用电量波动较大，波峰难以预测，波谷则预测较准确。
总体而言，实施方式五提供的短期用电量预测方法，利用时间卷积提取短期用电量数据的变化趋势特征，利用LSTM模型提取长期用电量数据的时序特征，使用注意力机制融合LSTM模型的时序特征，提高了LSTM模型在较长时间序列数据下的预测能力。在实际用电量数据上进行短期预测的结果表现良好，与大量的预测模型相比具有更先进的预测性能和较强的鲁棒性。
Claims (10)
1.长时间序列的序列信息捕捉方法，基于LSTM方法，其特征在于，所述方法包括：
在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合步骤；
根据所述融合步骤的结果，捕捉所述长时间序列的序列信息。
2.根据权利要求1所述的长时间序列的序列信息捕捉方法，其特征在于，所述融合步骤具体为：包括：
根据所述特征生成注意力分数的步骤；
将所述注意力分数转化为对应特征的重要性系数的步骤；
根据所述重要性系数，对所述长时间序列的序列特征进行加权求和。
3.长时间序列的序列信息捕捉装置，基于LSTM方法，其特征在于，所述装置包括：
用于在所述LSTM方法使用所述长时间序列中的数据进行回归时，采用注意力网络对所述长时间序列的特征进行加权求和的融合模块；
用于根据所述融合模块的结果，捕捉所述长时间序列的序列信息的模块。
4.根据权利要求3所述的长时间序列的序列信息捕捉装置，其特征在于，所述融合模块具体为：包括：
用于根据所述特征生成注意力分数的子模块；
用于将所述注意力分数转化为对应特征的重要性系数的子模块；
用于根据所述重要性系数，对所述长时间序列的序列特征进行加权求和的子模块。
5.短期用电量预测方法，其特征在于，所述方法包括：
步骤1：采集并分析用电量的数据；
步骤2：根据分析结果构建用电量数据特征；
步骤3：采集短期用电量样本集；
步骤4：根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
步骤5：捕捉所述卷积神经网络中长时间序列的序列信息；
步骤6：根据所述序列信息得到短期用电量预测结果；
所述的步骤5采用权利要求1所述的长时间序列的序列信息捕捉方法实现。
6.根据权利要求5所述的短期用电量预测方法，其特征在于，所述样本集中，用电量的数据包括：粗粒度时间刻度、细粒度时间刻度和实际用电量。
7.根据权利要求5所述的短期用电量预测方法，其特征在于，所述步骤5中还包括：采用三通道CNN提取所述卷积申请网络中短时间的数据平滑度特征的步骤。
8.基于注意力机制和时序预测模型的短期用电量预测装置，其特征在于，所述装置包括：
模块1：用于采集并分析用电量的数据；
模块2：用于根据分析结果构建用电量数据特征；
模块3：用于采集短期用电量样本集；
模块4：用于根据所述用电量数据特征和所述用电量样本集训练卷积神经网络；
模块5：用于捕捉所述卷积神经网络中长时间序列的序列信息；
模块6：用于根据所述序列信息得到短期用电量预测结果；
所述的模块5采用权利要求3所述的长时间序列的序列信息捕捉方法实现。
9.计算机储存介质，用于储存计算机程序，其特征在于，当所述储存介质中储存的计算机程序被计算机的处理器读取时，所述计算机执行权利要求1-2任意一项所述的长时间序列的序列信息捕捉方法或权利要求5-7任意一项所述的短期用电量预测方法。
10.计算机，包括处理器和储存介质，所述储存介质用于储存计算机程序，其特征在于，当所述储存介质中储存的计算机程序被所述处理器读取时，所述计算机执行权利要求1-2任意一项所述的长时间序列的序列信息捕捉方法或权利要求5-7任意一项所述的短期用电量预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211265068.3A CN115587617A (zh) | 2022-10-17 | 2022-10-17 | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211265068.3A CN115587617A (zh) | 2022-10-17 | 2022-10-17 | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115587617A true CN115587617A (zh) | 2023-01-10 |
Family
ID=84779243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211265068.3A Pending CN115587617A (zh) | 2022-10-17 | 2022-10-17 | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587617A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN111191841A (zh) * | 2019-12-30 | 2020-05-22 | 润联软件系统(深圳)有限公司 | 一种电力负荷预测方法、装置、计算机设备及存储介质 |
| CN111260030A (zh) * | 2020-01-13 | 2020-06-09 | 润联软件系统(深圳)有限公司 | 基于a-tcn电力负荷预测方法、装置、计算机设备及存储介质 |
| CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
| CN112561165A (zh) * | 2020-12-16 | 2021-03-26 | 南京航空航天大学 | 一种基于组合模型的多维时序数据预测方法 |
| CN113298318A (zh) * | 2021-06-18 | 2021-08-24 | 国网福建省电力有限公司电力科学研究院 | 一种新型的配电变压器重过载预测方法 |
| CN113449909A (zh) * | 2021-06-22 | 2021-09-28 | 北京理工大学 | 一种基于改进长短期记忆网络的蓄冷空调冷负荷预测方法 |
| US20210326723A1 (en) * | 2020-04-21 | 2021-10-21 | Microsoft Technology Licensing, Llc | Predicted forecast offset from remote location sensor |
| CN113627091A (zh) * | 2021-08-30 | 2021-11-09 | 宝鸡文理学院 | 一种用于预测能源负荷的装置及方法 |
| CN113673775A (zh) * | 2021-08-25 | 2021-11-19 | 武汉科技大学 | 基于cnn-lstm及深度学习的时空组合预测方法 |
| CN113837464A (zh) * | 2021-09-22 | 2021-12-24 | 浙大城市学院 | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 |
| CN113962364A (zh) * | 2021-10-22 | 2022-01-21 | 四川大学 | 一种基于深度学习的多因素用电负荷预测方法 |
| CN114298134A (zh) * | 2021-11-11 | 2022-04-08 | 华能新能源股份有限公司 | 风电功率预测方法及装置、电子设备 |
| CN115034325A (zh) * | 2022-06-21 | 2022-09-09 | 北京航空航天大学 | 一种多维时间-注意力-空间的工业时间序列预测方法 |
| US20220373984A1 (en) * | 2021-05-19 | 2022-11-24 | Shandong University | Hybrid photovoltaic power prediction method and system based on multi-source data fusion |
-
2022
- 2022-10-17 CN CN202211265068.3A patent/CN115587617A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN111191841A (zh) * | 2019-12-30 | 2020-05-22 | 润联软件系统(深圳)有限公司 | 一种电力负荷预测方法、装置、计算机设备及存储介质 |
| CN111260030A (zh) * | 2020-01-13 | 2020-06-09 | 润联软件系统(深圳)有限公司 | 基于a-tcn电力负荷预测方法、装置、计算机设备及存储介质 |
| US20210326723A1 (en) * | 2020-04-21 | 2021-10-21 | Microsoft Technology Licensing, Llc | Predicted forecast offset from remote location sensor |
| CN112529283A (zh) * | 2020-12-04 | 2021-03-19 | 天津天大求实电力新技术股份有限公司 | 基于注意力机制的综合能源系统短期负荷预测方法 |
| CN112561165A (zh) * | 2020-12-16 | 2021-03-26 | 南京航空航天大学 | 一种基于组合模型的多维时序数据预测方法 |
| US20220373984A1 (en) * | 2021-05-19 | 2022-11-24 | Shandong University | Hybrid photovoltaic power prediction method and system based on multi-source data fusion |
| CN113298318A (zh) * | 2021-06-18 | 2021-08-24 | 国网福建省电力有限公司电力科学研究院 | 一种新型的配电变压器重过载预测方法 |
| CN113449909A (zh) * | 2021-06-22 | 2021-09-28 | 北京理工大学 | 一种基于改进长短期记忆网络的蓄冷空调冷负荷预测方法 |
| CN113673775A (zh) * | 2021-08-25 | 2021-11-19 | 武汉科技大学 | 基于cnn-lstm及深度学习的时空组合预测方法 |
| CN113627091A (zh) * | 2021-08-30 | 2021-11-09 | 宝鸡文理学院 | 一种用于预测能源负荷的装置及方法 |
| CN113837464A (zh) * | 2021-09-22 | 2021-12-24 | 浙大城市学院 | 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法 |
| CN113962364A (zh) * | 2021-10-22 | 2022-01-21 | 四川大学 | 一种基于深度学习的多因素用电负荷预测方法 |
| CN114298134A (zh) * | 2021-11-11 | 2022-04-08 | 华能新能源股份有限公司 | 风电功率预测方法及装置、电子设备 |
| CN115034325A (zh) * | 2022-06-21 | 2022-09-09 | 北京航空航天大学 | 一种多维时间-注意力-空间的工业时间序列预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| WON HEE CHUNG ET AL.: ""District heater load forecasting based on machine learning and parallel CNN-LSTM attention"", 《ENERGY》, pages 1 - 13 * |
| 刘金花: "《文本挖掘与Python实践》", 四川大学出版社, pages: 100 - 102 * |
| 吉兴全 等: ""基于注意力机制的CNN-LSTM 短期电价预测"", 《电力系统保护与控制》, vol. 50, no. 14, pages 126 - 132 * |
| 赵建利 等: ""基于CNN- LSTM的短期风电功率预测"", 《自动化仪表》, vol. 41, no. 05, pages 37 - 41 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aslam et al. | A survey on deep learning methods for power load and renewable energy forecasting in smart microgrids | |
| CN113962364B (zh) | 一种基于深度学习的多因素用电负荷预测方法 | |
| Wang et al. | Short-term wind speed forecasting based on information of neighboring wind farms | |
| Li et al. | An integrated missing-data tolerant model for probabilistic PV power generation forecasting | |
| Ying et al. | Deep learning for renewable energy forecasting: A taxonomy, and systematic literature review | |
| Alkawaz et al. | Day-ahead electricity price forecasting based on hybrid regression model | |
| CN111600300B (zh) | 考虑风电功率多元相关性椭球集合的鲁棒优化调度方法 | |
| Zhang et al. | Forecasting of electricity prices using deep learning networks | |
| CN110866633A (zh) | 一种基于svr支持向量回归的微电网超短期负荷预测方法 | |
| CN117114160A (zh) | 一种短期光伏功率预测方法 | |
| Mehmood et al. | MPF-Net: A computational multi-regional solar power forecasting framework | |
| CN113837434A (zh) | 太阳能光伏发电预测方法、装置、电子设备和存储介质 | |
| Nawar et al. | Transfer learning in deep learning models for building load forecasting: Case of limited data | |
| CN116090635A (zh) | 一种气象驱动的新能源发电功率预测方法 | |
| CN115587617A (zh) | 长时间序列的序列信息捕捉方法及装置、短期用电量预测方法及装置 | |
| Li et al. | Short-term Power Load Forecasting based on Feature Fusion of Parallel LSTM-CNN | |
| Kazmi et al. | A Concurrent CNN-RNN Approach for Multi-Step Wind Power Forecasting | |
| CN113962441A (zh) | 一种基于历史数据分析的短期辐照度预测方法及预测系统 | |
| Chen et al. | Hybrid models based on LSTM and CNN architecture with Bayesian optimization for shortterm photovoltaic power forecasting | |
| CN113283638A (zh) | 一种基于融合模型的负荷极值曲线预测方法及系统 | |
| Liu et al. | SFCL: Electricity Consumption Forecasting of CNN-LSTM Based on Similar Filter | |
| Mahin et al. | Advanced Forecasting of Wind Energy Generation Through Integration of AE-CLSTM | |
| Duong et al. | Application of Seasonal Trend Decomposition using Loess and Long Short-Term Memory in Peak Load Forecasting Model in Tien Giang | |
| Wu et al. | Overview of Day-ahead Solar Power Forecasts Based on Weather Classifications and a Case Study in Taiwan | |
| Amreen et al. | Solar power forecasting using hybrid model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |