CN114595874A - 一种基于动态神经网络的超短期电力负荷预测方法 - Google Patents
一种基于动态神经网络的超短期电力负荷预测方法 Download PDFInfo
- Publication number
- CN114595874A CN114595874A CN202210172387.3A CN202210172387A CN114595874A CN 114595874 A CN114595874 A CN 114595874A CN 202210172387 A CN202210172387 A CN 202210172387A CN 114595874 A CN114595874 A CN 114595874A
- Authority
- CN
- China
- Prior art keywords
- neural network
- lstm
- output
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 67
- 238000012417 linear regression Methods 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 40
- 230000014509 gene expression Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000000306 recurrent effect Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Power Engineering (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及机器学习中的时间序列预测技术,具体涉及一种基于动态神经网络的超短期电力负荷预测方法,对原始负荷数据进行数据预处理,修正缺失值和异常值,整理为多个批量大小,并进行归一化操作;将预处理的数据传入CNN模块进行局部特征提取;将特征提取后的数据分别输入LSTM神经网络和优化的动态跳跃LSTM神经网络,将这两个网络的输出结果通过全连接层整合;最后将预处理过的数据经过线性回归模块提取局部线性特征后与神经网络部分的输出进行整合,反归一化后得到最终的超短期负荷预测结果。该方法既保留了常规网络预测结果,又加强了负荷数据周期性信息在预测结果中所占的比重,使得最终的负荷预测结果比常规网络所获得的更为准确。
Description
技术领域
本发明属于机器学习中的时间序列预测技术领域,特别涉及一种基于动态神经网络的超短期电力负荷预测方法。
背景技术
电力是国民经济的命脉,经济要发展,电力是先行。要进行电力市场的需求分析或是制定电价、发电计划等,对电力负荷做出准确的预测是一项重要的工作。负荷预测的准确度偏差可能会造成较大的经济损失。现有的电力负荷预测方法主要遵循时间序列预测的方法,包括有传统的回归分析方法以及现代神经网络方法。
传统的电力负荷预测方法对负荷数据进行回归分析与拟合,这类方法应用了差分的数学模型,因此对数据的平稳性有较高的要求,而电力负荷数据具有较高的随机性,使得该方法预测结果精度难以满足需求。现代人工神经网络的兴起给电力负荷预测提供了更具适应性的方法,这类神经网络方法可以通过建模与训练模拟出数据的大致趋势,该方法普遍适用于回归问题的分析,对负荷问题的针对性不强。现有的常用的时序预测方法包括循环神经网络(RNN)、门控循环单元(GRU)以及长短期记忆神经网络(LSTM)。而目前主流的卷积神经网络(CNN)普遍用于图像处理中,因为其提取重要信息的能力,也部分用于时间序列的特征提取工作中。
对于超短期电力负荷预测而言,其预测结果的准确性不仅取决于回归曲线拟合的准确度,还需要对电力数据进行特征分析。不同于其他线性数据,负荷数据具有较强的周期性,例如参考每周或每天用电用户行为,若取每小时的电力负荷数据,其在24或24×7时间节点上的数据可能具有一定的相似性。现有的基于神经网络的负荷预测方法大多采用基于RNN的复合模型或对神经网络提出数学上的优化方法来提高回归曲线拟合的准确度,而忽略了负荷本身有利于提高预测精度的周期性特征。
目前在时间序列预测领域,涌现的各种神经网络方法中,循环神经网络(RNN)的两种变体,长短期记忆(LSTM)与门控循环单元(GRU)显著改善了RNN的梯度消失与梯度爆炸问题。其中,长短期记忆神经网络(LSTM)通过对时序数据长期与短期特征的记忆满足了较广泛的回归预测需求。动态神经网络在时间序列预测领域主要的应用是基于时间自适应的方法。
发明内容
针对背景技术存在的问题,本发明提供一种基于动态神经网络的超短期电力负荷预测方法。以解决现有技术中预测精度低、可解释性不强的问题。
为解决上述技术问题,本发明采用如下技术方案:一种基于动态神经网络的超短期电力负荷预测方法,包括以下步骤:
步骤1、对电力负荷数据进行预处理;
步骤2、卷积神经网络CNN模块提取特征;
步骤3、LSTM神经网络模块进行常规时间序列预测;
步骤4、动态跳跃LSTM神经网络模块预测;
步骤5、全连接层整合;
步骤6、线性回归模块捕捉线性关系;
步骤7、输出预测结果。
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤1的实现包括:
步骤1.1、补全缺失值、修正异常值和数据样本处理;
步骤1.2将缺失值用0值补全,超过正常范围的异常值用前后两个时间步长的平均值代替;将得到的多元负荷输入矩阵分割为多个批量数据矩阵,并进行归一化处理,得到预处理后的负荷数据。
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤2的实现包括:
步骤2.1、将预处理后的负荷数据输入至二维卷积神经网络CNN模块中,通过选取与输入样本列数相同的卷积核,提取多元负荷数据之间的短期依赖特征;
步骤2.2、卷积神经网络CNN模块中卷积层由多个与样本列数相同的卷积核W组成,设定其宽度为m,高度与输入X的列数n相同,第i个卷积核Wi对输入X进行一轮二维卷积滤波操作并得到该模块输出序列的第i列输出值ri:
步骤2.3、在卷积核滤波操作之后选取ReLU函数作为激励函数,其中ReLU函数的表达式为:
ReLU(x)=max(0,x)
则卷积神经网络CNN模块的输出为:
r=ReLU(W*X+b)
步骤2.4、卷积神经网络CNN模块输出矩阵的大小为T×n,T为输入X的行数,n为卷积核的个数。
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤3的实现包括:
步骤3.1、将卷积神经网络CNN模块的输出数据作为LSTM神经网络模块的输入序列{X1,X2,...,XT};
步骤3.2、LSTM神经网络模块包括多个LSTM单元,LSTM模块中每个LSTM单元维护了一个中间状态st,每个LSTM单元的输出ht同时也作为该时间步长的输出;Xt与Xt+1分别为t时间步长和t+1时间步长的输入,第t个LSTM单元的输出ht包含了前t个单元的结论信息,同时该LSTM单元的记忆单元状态变量st包含了长期和短期的信息;
步骤3.3、每个LSTM单元包括遗忘门ft、输入门it、输入节点gt、输出门ot;每个节点、门控函数、隐藏状态和输出的表达式如下:
其中为对应节点或门控函数的权重矩阵,⊙表示元素乘法,分别选取Sigmoid函数和tanh函数为激活函数,Sigmoid函数将该节点的计算结果限定在0到1之间,使得单元内部进行门控判断,越接近1,则该部分的信息越有可能通过该门控节点;而tanh函数将结果转换至-1到1之间;Sigmoid函数与tanh函数的表达式为:
步骤3.4、LSTM神经网络模块中t-1时刻的隐藏状态st-1、中间输出变量ht-1与t时刻的输入Xt同时输入下一个LSTM单元,则当前LSTM单元根据输入,计算t时间步长的隐藏状态并判断需要更新、保留或舍弃的部分;
步骤3.5、训练LSTM循环神经网络中设定输出序列的维度,同时对st、ht进行初始化,每个LSTM单元中的遗忘门、输入门、输出门的判断都受当前步长的输入xt与之前的输出ht-1的影响,输入门控制输入中将保留至隐藏状态st中的部分,遗忘门控制需要从上一个隐藏状态st-1中舍弃的部分,输出门则控制隐藏状态将加入本单元的输出ht的部分;
步骤3.6、连接各个LSTM单元以构建LSTM循环神经网络,重复上述每个LSTM单元计算过程,负荷数据经过LSTM循环神经网络后得到初步的预测结果。
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤4的实现包括:
将卷积神经网络CNN模块的输出数据作为动态跳跃LSTM神经网络模块的输入{x1,x2,...,xt-p,...,xt,...,xT},其中p为动态跳跃控制单元设定跳过的LSTM单元个数,针对不同的采样数据来调整跳跃的幅度,其他LSTM单元与步骤3所述LSTM神经网络模块相同;得出动态跳跃LSTM神经网络模块中t时间步长的LSTM单元的遗忘门、输入门、输入节点、输出门、隐藏状态st和输出ht:
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤5的实现包括:
步骤5.1、将步骤3中LSTM神经网络模块的输出与步骤4中动态跳跃LSTM神经网络模块的输出组合并输入一个全连接神经网络;
ht为全连接层的输出,即神经网络部分的输出结果。
在上述基于动态神经网络的超短期电力负荷预测方法中,步骤6的实现包括:采用自回归AR模型,表征当前值和历史值之间的关系,及负荷数据局部的自相关性,其表达式为:
所述反归一化采用每个数据点乘上原始数据中该数据所在序列中的最大值:
使用平方误差作该模型的误差指标,则优化函数为:
与现有技术相比,本发明所提出的超短期电力负荷预测方法使用卷积神经网络提取负荷数据的特征,提高了数据的表示能力。同时使用了动态跳跃LSTM模型和普通的LSTM神经网络模型相结合,既保留了常规网络预测结果,又加强了负荷数据周期性信息在预测结果中所占的比重,使得最终的负荷预测结果比常规网络所获得的更为准确。将本发明所提出的超短期电力负荷预测模型应用于电力系统的数据分析与需求规划中,其准确性的提高也将大大提高电网的经济效益。
附图说明
图1为本发明实施例一种基于动态神经网络的超短期电力负荷预测方法的总体架构图;
图2为本发明实施例展开的LSTM模块序列结构图;
图3为本发明实施例LSTM单元内部结构图;
图4为本发明实施例动态跳跃LSTM模块的结构图;
图5为本发明实施例1所提供的方法的预测结果与真实负荷值的对比曲线图;
图6为本发明实施例1所提供的方法的预测结果、常规CNN-LSTM方法的预测结果与真实负荷值的对比曲线图。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明,但不作为本发明的限定。
本实施例针对电力负荷数据在时间上的周期性特征设计了一种基于动态神经网络的超短期电力负荷预测模型,并结合CNN、LSTM与线性回归模块,以提取显著的负荷特征、获得更准确的电力负荷预测结果,其中主要采用了对数据自适应地“跳跃”输入的动态方法来加强了负荷数据的特征对网络训练的影响,以更好地利用负荷数据的周期性模式使得模型更能代表真实用电情况。本实施例所提出的方法可以应用于电网管理系统的基础分析工作,以产生更大的经济效益与社会效益。
本实施例通过卷积神经网络CNN模块提取电力负荷数据的局部特征,提升结果的表示能力,更能体现用户的用电行为模式。
通过设计新颖的动态跳跃LSTM神经网络模块,强调了电路负荷数据中的周期特征,提高了的负荷预测结果的准确性;
同时采用了LSTM神经网络和动态跳跃LSTM神经网络来进行主体神经网络部分的预测,既保留了LSTM神经网络对于长期和短期信息记忆的优点,又强调了用电行为的周期性,在仅消耗少量的计算代价的情况下突破了负荷预测的准确率瓶颈;
引入了线性回归模型与神经网络模型相结合,线性回归模块解决了神经网络模型对输入不敏感的问题,提取出原始数据中局部的线性模式,加强了负荷预测模型的针对性,在可解释性上也更能体现用户的用电模式。
本实施例是通过以下技术方案来实现的,如图1所示,一种基于动态神经网络的超短期电力负荷预测方法,首先对原始负荷数据进行数据预处理,修正缺失值和异常值,整理为多个批量大小,并进行归一化操作;接着将预处理过的数据传入CNN模块进行局部特征提取;然后将特征提取后的数据分别输入LSTM神经网络和优化的动态跳跃LSTM神经网络,以强调负荷周期性对预测结果的影响,同时保留了时间序列的长期特征;随后将这两个网络的输出结果通过全连接层整合;最后将预处理过的数据经过线性回归模块提取局部线性特征后与神经网络部分的输出进行整合,反归一化后得到最终的超短期负荷预测结果。分为七个步骤:对电力负荷数据预进行处理;卷积神经网络CNN模块提取特征;LSTM神经网络模块的预测;动态跳跃LSTM神经网络模块的预测;全连接层整合;线性回归模块捕捉线性关系;预测结果输出。具体步骤如下:
S1:对电力负荷数据进行预处理。主要包括对缺失值的补全、异常值的修正和数据样本处理。本实施例所使用用例中将缺失值用0值补全,超过正常范围的异常值用前后两个时间步长的平均值代替。随后,将得到的多元负荷输入矩阵分割为多个批量(batch)数据矩阵,并进行归一化处理,得到最终处理后的输入数据,将作为卷积神经网络CNN模块与线性回归模块的输入。归一化的方法为每个数据除以该数据所在序列的最大值。
S2:卷积神经网络CNN模块提取特征。将处理后的负荷数据输入至二维卷积神经网络(CNN)模块中,通过选取与输入样本列数相同的卷积核,以提取多元负荷数据之间的短期依赖特征。与一般的卷积神经网络不同的是,这里未引入池化层,因为不需要再扩展已提取到的特征序列。该模块中卷积层由多个与样本列数相同的卷积核W组成,设定其宽度为m,高度与输入X的列数n相同,第i个卷积核Wi对输入X进行一轮二维卷积滤波操作并得到该模块输出序列的第i列输出值ri:
在卷积核滤波操作之后选取ReLU函数作为激励函数,其中ReLU函数的表达式为:
ReLU(x)=max(0,x)
则卷积神经网络CNN模块的输出为:
r=ReLU(W*X+b)
此卷积神经网络CNN模块输出矩阵的大小为T×n,T为输入X的行数,n为卷积核的个数。卷积神经网络CNN模块的输出同时作为LSTM神经网络模块与动态跳跃LSTM神经网络模块的输入。
S3:LSTM神经网络模块进行常规时间序列预测。整个LSTM神经网络由许多个LSTM单元组成,如图2所示,为展开的LSTM序列结构。
将LSTM神经网络的输入序列表示为{X1,X2,...,XT},该网络中每个LSTM单元维护了一个中间状态st,每个LSTM单元的输出ht同时也作为该时间步长的输出。如图2所示,Xt与Xt+1分别为t时间步长和t+1时间步长的输入,第t个LSTM单元的输出ht包含了前t个单元的结论信息,同时该LSTM单元的记忆单元状态变量st包含了长期和短期的信息。
每一个LSTM单元的结构如图3所示。其结构包括遗忘门ft、输入门it、输入节点gt、输出门ot。每个节点、门控函数、隐藏状态和输出的表达式如下:
其中为对应节点或门控函数的权重矩阵,⊙表示元素乘法,分别选取了Sigmoid函数和tanh函数为激活函数,Sigmoid函数的作用是将该节点的计算结果限定在0到1之间,使得单元内部进行门控判断,越接近1,则该部分的信息越有可能通过该门控节点。而tanh函数将结果转换至-1到1之间。Sigmoid函数与tanh函数的表达式为:
LSTM神经网络中t-1时刻的隐藏状态st-1、中间输出变量ht-1与t时刻的输入Xt同时输入下一个LSTM单元,则当前LSTM单元根据这些输入,计算t时间步长的隐藏状态并判断哪些部分需要更新、保留或舍弃。
训练LSTM循环神经网络中设定输出序列的维度,同时对st、ht进行初始化,本发明在实例中选择进行零初始化。每一个LSTM单元中的遗忘门、输入门、输出门的判断都受当前步长的输入xt与之前的输出ht-1的影响,输入门控制输入中的哪些部分将保留至隐藏状态st中,遗忘门控制哪些部分需要从上一个隐藏状态st-1中舍弃,输出门则控制隐藏状态的哪些部分将加入本单元的输出ht。
连接各个LSTM单元以构建LSTM循环神经网络,重复上述单个单元计算过程,负荷数据经过该网络后得到初步的预测结果。
S4:动态跳跃LSTM神经网络模块的预测。动态跳跃LSTM神经网络模块作为与上一步骤所述的LSTM神经网络模块并列的模块,接受并处理来自卷积神经网络CNN模块输出的数据。由于电力负荷数据具有明显的周期性,无论是以一周7天为周期还是以24小时为周期,负荷数据都具有一定的模式,而现有的神经网络对于输入序列中时间跨度较长的信息之间的敏感性较低。因此,本实施例设计了动态跳跃LSTM神经网络模块,以弥补普通LSTM神经网络中较长时间跨度的周期性数据在网络传递中容易被丢失的不足。动态跳跃LSTM神经网络模块基本结构如图4所示。
经过卷积神经网络CNN模块卷积操作后将数据输入进动态跳跃LSTM神经网络模块中,记该输入为{x1,x2,...,xt-p,...,xt,...,xT},其中p为动态跳跃控制单元设定跳过的LSTM单元个数,对于不同的采样数据来调整跳跃的幅度,例如对于每半小时进行一次采样的电力负荷数据,则设定p值为48(即表示一天)和336(即表示一周),其他LSTM单元结构与步骤S3中LSTM神经网络模块相同。因此,可以得出该模块中t时间步长的LSTM单元的遗忘门、输入门、输入节点、输出门、隐藏状态st和输出ht:
S5:全连接层整合。将步骤S3中LSTM神经网络模块的输出与步骤S4中动态跳跃LSTM神经网络模块的输出组合并输入一个全连接神经网络,全连接层的输入包括LSTM神经网络模块在t时间步长的输出以及动态跳跃LSTM神经网络模块从t-p至t时间步长的输出则全连接层的输出为:
ht为全连接层的输出,即神经网络部分的输出结果。
S6:线性回归模块捕捉线性关系。由于卷积神经网络CNN模块和LSTM神经网络模块都具有非线性的特点,使得模型对于无规律变化的输入信号的尺度不敏感,因此加入线性回归模块来捕捉局部的线性特性,使得预测结果更加准确。本发明所采用的自回归(AR)模型,表征了当前值和历史值之间的关系,及负荷数据局部的自相关性,其表达式为:
使用平方误差作该模型的误差指标,则本发明所提算法模型的优化函数为:
本实施例在实例验证中采用了Adam优化算法。
实施例1
本实施例1提出了一种基于动态神经网络的超短期电力负荷预测方法并应用于实际居民用电数据集上,具体步骤包括以下:
步骤S1-1:获取某地居民用电以每小时采集的负荷数据,并对原始数据进行预处理,将缺失值用0值补全,超过正常范围的异常值用前后两个时间步长的平均值代替。将得到的多元负荷输入矩阵分割为128个批量单位(batch)并进行归一化处理,将80%数据作为训练集,20%的数据作为测试集,得到最终处理后的输入数据X。
步骤S1-2:将上一步骤处理得到的数据X传入二维卷积神经网络即CNN模块中,设置输出通道数为100,为防止过拟合设置丢失率为0.2。经过CNN模块提取短期依赖特征后得到数据{x1,x2,...,xT}。
步骤S1-3:将卷积神经网络CNN模块的输出数据{x1,x2,...,xT}作为LSTM神经网络模块的输入。LSTM神经网络模块设置输入规模与卷积神经网络CNN模块的输出通道数相同,设置隐藏LSTM单元数为100,隐藏层为1层,为防止过拟合设置丢失率为0.2。经过LSTM神经网络模块后得到该模块的输出结果hL。
步骤S1-4:将卷积神经网络CNN模块的输出数据{x1,x2,...,xT}作为动态跳跃LSTM神经网络模块的输入。判定“跳跃”的步长,默认值为24,添加跳跃步长168(表示一周)。同时设定LSTM单元数为10,隐藏层数为1,为防止过拟合设置丢失率为0.2。经过动态跳跃LSTM神经网络模块后得到输出结果hS。
步骤S1-5:将上述两步骤中的结果hL和hS连接并输入全连接层整合。设置全连接层的神经元数为100,输出维度与原始输入样本维度一致,为防止过拟合设置丢失率为0.2。经过全连接层整合后得到输出结果h。
步骤S1-6:将卷积神经网络CNN模块的输出数据{x1,x2,...,xT}作为线性回归模块的输入,经过该模块提取局部线性特征,得到输出结果hLinear。
步骤S1-7:将神经网络部分的输出结果h与线性回归部分的输出结果hLinear整合并反归一化,得到最终的预测结果:Y=(h+hLinear)·max{X}。
使用平方误差作该模型的误差指标,采用Adam优化算法优化损失函数。
重复训练上述步骤,设置100个epoch,每5个epoch验证一下模型在测试集上的效果,得到的最优的预测结果与真实值的对比如图5所示,其中虚线表示真实负荷数据,实线表示本实施例模型的预测结果。
由图5可以看出,经过本实施例模型的负荷预测结果具有跟踪原始数据的趋势,准确性较高。选取相对平方误差(RSE)、相对绝对误差(RAE)和皮尔逊相关系数作为评价指标,在最佳训练结果的epoch中,模型在测试集上的相对平方误差为0.1009,相对绝对误差为0.0544,与真实负荷数据的相关性系数为0.9042,因此验证了本实施例方法在超短期负荷预测上的可行性与有效性。
将本实施例所提出的基于动态神经网络的模型和不包含动态跳跃LSTM神经模块的常规CNN-LSTM模型用于训练同一训练集,取两个模型训练100个epoch中最佳结果的参数作为最终参数,它们的预测结果与测试集真实值的对比如图6所示,其中虚线表示真实负荷值,虚点线表示不含动态跳跃模块的CNN-LSTM网络的预测结果,实线表示本实施例所提出的模型的预测结果。
由图6可以直观地看出本实施例所提出的模型更接近真实负荷值。所提模型预测结果的相对平方误差为0.1009,相对绝对误差为0.0544,与真实负荷数据的相关性系数为0.9042;而不含动态跳跃模块的CNN-LSTM网络预测结果的相对平方误差为0.1255,相对绝对误差为0.0830,与真实负荷数据的相关性系数为0.8402。因此,可以认为本实施例所提出的基于动态神经网络的模型的超短期电力负荷预测结果具有较小的误差,且与真实数据具有较高的相关性。
本实施例通过设计了新颖的动态跳跃LSTM神经网络模块,强调了电路负荷数据中的周期特征,提高了的负荷预测结果的准确性。采用了卷积神经网络CNN模块提取电力负荷数据的局部特征,卷积神经网络CNN常用于图像处理中,引入负荷数据中可以提升结果的表示能力,更能体现用户的用电行为模式。同时采用了LSTM神经网络和动态跳跃LSTM神经网络来进行主体神经网络部分的预测,既保留了LSTM神经网络对于长期和短期信息记忆的优点,又强调了用电行为的周期性,在仅消耗少量的计算代价的情况下突破了负荷预测的准确率瓶颈。还引入了线性回归模型与神经网络模型相结合,线性回归模型解决了神经网络模型对输入不敏感的问题,提取出原始数据中局部的线性模式,加强了负荷预测模型的针对性,在可解释性上也更能体现用户的用电模式。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。
Claims (8)
1.一种基于动态神经网络的超短期电力负荷预测方法,其特征在于:包括以下步骤:
步骤1、对电力负荷数据进行预处理;
步骤2、卷积神经网络CNN模块提取特征;
步骤3、LSTM神经网络模块进行常规时间序列预测;
步骤4、动态跳跃LSTM神经网络模块预测;
步骤5、全连接层整合;
步骤6、线性回归模块捕捉线性关系;
步骤7、输出预测结果。
2.根据权利要求1所述基于动态神经网络的超短期电力负荷预测方法,其特征在于:步骤1的实现包括:
步骤1.1、补全缺失值、修正异常值和数据样本处理;
步骤1.2将缺失值用0值补全,超过正常范围的异常值用前后两个时间步长的平均值代替;将得到的多元负荷输入矩阵分割为多个批量数据矩阵,并进行归一化处理,得到预处理后的负荷数据。
3.根据权利要求2所述基于动态神经网络的超短期电力负荷预测方法,其特征在于:步骤2的实现包括:
步骤2.1、将预处理后的负荷数据输入至二维卷积神经网络CNN模块中,通过选取与输入样本列数相同的卷积核,提取多元负荷数据之间的短期依赖特征;
步骤2.2、卷积神经网络CNN模块中卷积层由多个与样本列数相同的卷积核W组成,设定其宽度为m,高度与输入X的列数n相同,第i个卷积核Wi对输入X进行一轮二维卷积滤波操作并得到该模块输出序列的第i列输出值ri:
步骤2.3、在卷积核滤波操作之后选取ReLU函数作为激励函数,其中ReLU函数的表达式为:
ReLU(x)=max(0,x)
则卷积神经网络CNN模块的输出为:
r=ReLU(W*X+b)
步骤2.4、卷积神经网络CNN模块输出矩阵的大小为T×n,T为输入X的行数,n为卷积核的个数。
4.根据权利要求3所述基于动态神经网络的超短期电力负荷预测方法,其特征在于:步骤3的实现包括:
步骤3.1、将卷积神经网络CNN模块的输出数据作为LSTM神经网络模块的输入序列{X1,X2,...,XT};
步骤3.2、LSTM神经网络模块包括多个LSTM单元,LSTM模块中每个LSTM单元维护了一个中间状态st,每个LSTM单元的输出ht同时也作为该时间步长的输出;Xt与Xt+1分别为t时间步长和t+1时间步长的输入,第t个LSTM单元的输出ht包含了前t个单元的结论信息,同时该LSTM单元的记忆单元状态变量st包含了长期和短期的信息;
步骤3.3、每个LSTM单元包括遗忘门ft、输入门it、输入节点gt、输出门ot;每个节点、门控函数、隐藏状态和输出的表达式如下:
其中为对应节点或门控函数的权重矩阵,⊙表示元素乘法,分别选取Sigmoid函数和tanh函数为激活函数,Sigmoid函数将该节点的计算结果限定在0到1之间,使得单元内部进行门控判断,越接近1,则该部分的信息越有可能通过该门控节点;而tanh函数将结果转换至-1到1之间;Sigmoid函数与tanh函数的表达式为:
步骤3.4、LSTM神经网络模块中t-1时刻的隐藏状态st-1、中间输出变量ht-1与t时刻的输入Xt同时输入下一个LSTM单元,则当前LSTM单元根据输入,计算t时间步长的隐藏状态并判断需要更新、保留或舍弃的部分;
步骤3.5、训练LSTM循环神经网络中设定输出序列的维度,同时对st、ht进行初始化,每个LSTM单元中的遗忘门、输入门、输出门的判断都受当前步长的输入xt与之前的输出ht-1的影响,输入门控制输入中将保留至隐藏状态st中的部分,遗忘门控制需要从上一个隐藏状态st-1中舍弃的部分,输出门则控制隐藏状态将加入本单元的输出ht的部分;
步骤3.6、连接各个LSTM单元以构建LSTM循环神经网络,重复上述每个LSTM单元计算过程,负荷数据经过LSTM循环神经网络后得到初步的预测结果。
5.根据权利要求4所述基于动态神经网络的超短期电力负荷预测方法,其特征在于:步骤4的实现包括:
将卷积神经网络CNN模块的输出数据作为动态跳跃LSTM神经网络模块的输入{x1,x2,...,xt-p,...,xt,...,xT},其中p为动态跳跃控制单元设定跳过的LSTM单元个数,针对不同的采样数据来调整跳跃的幅度,其他LSTM单元与步骤3所述LSTM神经网络模块相同;得出动态跳跃LSTM神经网络模块中t时间步长的LSTM单元的遗忘门、输入门、输入节点、输出门、隐藏状态st和输出ht:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210172387.3A CN114595874B (zh) | 2022-02-24 | 2022-02-24 | 一种基于动态神经网络的超短期电力负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210172387.3A CN114595874B (zh) | 2022-02-24 | 2022-02-24 | 一种基于动态神经网络的超短期电力负荷预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114595874A true CN114595874A (zh) | 2022-06-07 |
CN114595874B CN114595874B (zh) | 2024-08-06 |
Family
ID=81804400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210172387.3A Active CN114595874B (zh) | 2022-02-24 | 2022-02-24 | 一种基于动态神经网络的超短期电力负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114595874B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146842A (zh) * | 2022-06-24 | 2022-10-04 | 沈阳建筑大学 | 基于深度学习的多元时间序列趋势预测方法和系统 |
CN115375002A (zh) * | 2022-07-12 | 2022-11-22 | 国网江苏省电力有限公司电力科学研究院 | 一种短期电力负荷预测方法、系统、存储介质及计算设备 |
CN115860270A (zh) * | 2023-02-21 | 2023-03-28 | 保定博堃元信息科技有限公司 | 一种基于lstm神经网络的网供负荷预测系统及方法 |
CN115936218A (zh) * | 2022-12-06 | 2023-04-07 | 山东大学 | 基于深度学习的综合能源系统多元负荷预测方法及系统 |
CN116090637A (zh) * | 2023-01-19 | 2023-05-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种用电短时预测方法与系统 |
CN117220318A (zh) * | 2023-11-08 | 2023-12-12 | 国网浙江省电力有限公司宁波供电公司 | 电网数字化驱动控制方法及系统 |
CN117674140A (zh) * | 2024-01-31 | 2024-03-08 | 希格玛电气(珠海)有限公司 | 一种配电网测控系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络动态识别系统 |
-
2022
- 2022-02-24 CN CN202210172387.3A patent/CN114595874B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络动态识别系统 |
Non-Patent Citations (3)
Title |
---|
ZHENGMIN KONG ET.AL: "Multimodal Feature Extraction and Fusion Deep Neural Networks for Short-Term Load Forecasting", 《IEEE ACCESS》, no. 8, 9 October 2020 (2020-10-09) * |
刘海峰,王艳如: "基于LSTM的短期电力负荷预测算法研究", 《现代信息科技》, vol. 5, no. 23, 10 December 2021 (2021-12-10), pages 40 - 42 * |
庄家懿;杨国华;郑豪丰;王煜东;胡瑞琨;丁旭;: "并行多模型融合的混合神经网络超短期负荷预测", 电力建设, no. 10, 1 October 2020 (2020-10-01) * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146842A (zh) * | 2022-06-24 | 2022-10-04 | 沈阳建筑大学 | 基于深度学习的多元时间序列趋势预测方法和系统 |
CN115375002A (zh) * | 2022-07-12 | 2022-11-22 | 国网江苏省电力有限公司电力科学研究院 | 一种短期电力负荷预测方法、系统、存储介质及计算设备 |
CN115936218A (zh) * | 2022-12-06 | 2023-04-07 | 山东大学 | 基于深度学习的综合能源系统多元负荷预测方法及系统 |
CN116090637A (zh) * | 2023-01-19 | 2023-05-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种用电短时预测方法与系统 |
CN115860270A (zh) * | 2023-02-21 | 2023-03-28 | 保定博堃元信息科技有限公司 | 一种基于lstm神经网络的网供负荷预测系统及方法 |
CN117220318A (zh) * | 2023-11-08 | 2023-12-12 | 国网浙江省电力有限公司宁波供电公司 | 电网数字化驱动控制方法及系统 |
CN117220318B (zh) * | 2023-11-08 | 2024-04-02 | 国网浙江省电力有限公司宁波供电公司 | 电网数字化驱动控制方法及系统 |
CN117674140A (zh) * | 2024-01-31 | 2024-03-08 | 希格玛电气(珠海)有限公司 | 一种配电网测控系统及方法 |
CN117674140B (zh) * | 2024-01-31 | 2024-06-04 | 希格玛电气(珠海)有限公司 | 一种配电网测控系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114595874B (zh) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114595874B (zh) | 一种基于动态神经网络的超短期电力负荷预测方法 | |
CN111161535A (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
CN111626785A (zh) | 一种基于结合注意力的cnn-lstm网络基金价格预测方法 | |
CN112819136A (zh) | 基于cnn-lstm神经网络模型与arima模型的时间序列预测方法及系统 | |
CN115017826B (zh) | 一种装备剩余使用寿命预测方法 | |
CN113591728A (zh) | 基于集成深度学习的电能质量扰动分类方法 | |
CN116316591A (zh) | 基于混合双向门控循环的短期光伏功率预测方法及系统 | |
CN114004383A (zh) | 时间序列预测模型的训练方法、时间序列预测方法及装置 | |
CN115034430A (zh) | 碳排放量预测方法、装置、终端及存储介质 | |
CN115099461A (zh) | 基于双分支特征提取的太阳辐射预测方法及系统 | |
CN116345555A (zh) | 一种基于cnn-isca-lstm模型的短期光伏发电功率预测方法 | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
CN117494898A (zh) | 一种结合注意力机制的时间序列预测方法 | |
Liu et al. | Stock price trend prediction model based on deep residual network and stock price graph | |
CN116542701A (zh) | 一种基于cnn-lstm组合模型的碳价预测方法及系统 | |
CN116885699A (zh) | 基于双重注意力机制的电力负荷预测方法 | |
CN115348182A (zh) | 一种基于深度堆栈自编码器的长期频谱预测方法 | |
CN115374998A (zh) | 基于注意力机制和CNN-BiGRU的负荷预测方法 | |
CN115238854A (zh) | 一种基于tcn-lstm-am的短期负荷预测方法 | |
CN114239945A (zh) | 短期电力负荷预测方法、装置、设备及存储介质 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN117436476A (zh) | 一种基于eis增强数据预测电池rul方法 | |
CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 | |
CN116258260A (zh) | 一种基于门控双重卷积神经网络的概率电力负荷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |