CN116596144B - 融入频率注意力的混合深度学习电力负荷预测方法及系统 - Google Patents

融入频率注意力的混合深度学习电力负荷预测方法及系统 Download PDF

Info

Publication number
CN116596144B
CN116596144B CN202310577286.9A CN202310577286A CN116596144B CN 116596144 B CN116596144 B CN 116596144B CN 202310577286 A CN202310577286 A CN 202310577286A CN 116596144 B CN116596144 B CN 116596144B
Authority
CN
China
Prior art keywords
data
sequence
layer
information
input sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310577286.9A
Other languages
English (en)
Other versions
CN116596144A (zh
Inventor
谭志
李强
王洋
张攀
栾命刚
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hezhong Huineng Technology Co ltd
Derex Beijing Energy Technology Co ltd
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Hezhong Huineng Technology Co ltd
Derex Beijing Energy Technology Co ltd
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hezhong Huineng Technology Co ltd, Derex Beijing Energy Technology Co ltd, Beijing University of Civil Engineering and Architecture filed Critical Beijing Hezhong Huineng Technology Co ltd
Priority to CN202310577286.9A priority Critical patent/CN116596144B/zh
Publication of CN116596144A publication Critical patent/CN116596144A/zh
Application granted granted Critical
Publication of CN116596144B publication Critical patent/CN116596144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Water Supply & Treatment (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种融入频率注意力的混合深度学习电力负荷预测方法及系统，属于电力负荷预测技术领域，获取当前时刻电力消耗数据；利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；预测模型主要由RIN网络层、RCG模型和FAM模块三部分组成；输入数据经过RIN网络层进行归一化，移除非平稳信息；在最后输出层前进行反归一化，加入移除的非平稳信息，获得数据原始分布情况；RCG模型中通过两个不同卷积核大小的卷积层提取数据不同的局部信息特征，通过两层GRU层捕获时间序列数据的长期依赖型关系；加入了残差网络层，有效提高了预测精度；FAM模块通过离散余弦方法获得数据的频域信息，再通过注意力机制为不同信息进行加权。

Description

融入频率注意力的混合深度学习电力负荷预测方法及系统
技术领域
本发明涉及电力负荷预测技术领域，具体涉及一种融入频率注意力的混合深度学习电力负荷预测方法及系统。
背景技术
近年来，随着社会和经济的不断发展，工业化和城镇化的长期快速推进，能源紧缺和环境污染等问题对世界经济发展的影响日益突出。针对能源短缺和环境污染的问题，世界大多数国家采取的措施主要是开发高效、低碳、清洁的能源体系，提高清洁可再生能源的技术，采取节能减排措施。因此，电力作为一种清洁可再生能源得到了世界各国政府的支持与发展。
电力能源在现代能源体系中占有很重要的地位，各行各业都在推动电力能源的使用。电力对我们的社会发展有着重要影响，对电力系统供发电的精准性也提出了更高的要求。因此，电力负荷预测是非常有必要的。
电网是一个比较复杂的系统，它包含许多发电站、输送线路和居民端接收设备。在输发电的过程中有一点故障，也会导致电力系统不能正常运行。因此，在规定时间内便要对电力系统进行检修。准确的电力负荷预测可以优化电网运行方式，便于检修人员对电力系统进行维护。准确的电力负荷预测可以估算到每个时间段的用电需求量，这可以对各个发电站做出合理的生产计划，以满足该区域的用电需求。由于电能不能大量的存储，这样就避免了大量的电力资源浪费和供电严重不足的现象，使电网收益最大化。
长久以来，国内外的研究学者长期致力于电力负荷预测的研究与应用，不断探索预测的最新方法。现有的方法大概分为统计学方法、机器学习方法和深度学习方法三种类型。统计学方法中具有代表性的便是差分自回归移动平均模型(Auto RegressiveIntegrated Moving Average,ARIMA)。该类方法主要原理是将历史数据按照时间顺序进行排列，分析其变化的过程和趋势，假设序列还按照这个方向趋势变化，以预测未来一段时间的数据值。机器学习方法中应用比较广泛的是支持向量机(Support Vector Machine,SVM)。它主要是通过构造一个超平面，尽可能拟合最多的数据点。近年来，深度学习得到了很好的发展。深度学习实际上是机器学习的子类，它通过引入神经元，构造类似于人体大脑的神经网络结构，来不断学习数据间的规律性。卷积神经网络(Convolutional NeuralNetwork,CNN)和循环神经网络(Recurrent Neural Network,RNN)是两种应用比较广泛的深度学习方法。
综上，统计学方法在使用非平稳数据预测时，数据之间不能一直保持同样的规律性。因此，这种方法不能很好捕获时序特征，预测性能较差。机器学习方法在一些较小的数据集上取得了不错的预测效果，但是不适用于一些较大的数据集。例如：SVM在处理大数据集时存在占用内存大和运行速度慢问题。单一的CNN或RNN虽然取得了不错的预测效果，但是预测精度还存在一定的提升空间。
发明内容
本发明的目的在于提供一种融入频率注意力的混合深度学习电力负荷预测方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种融入频率注意力的混合深度学习电力负荷预测方法，包括：
获取当前时刻电力消耗数据；
利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
优选的，为了保证卷积前后序列长度不变，对输入序列进行一维填充；采用一层卷积核大小为5和一层卷积核大小为3的一维卷积层进行卷积，提取序列的局部时间特征信息；然后通过堆叠两层GRU来获取时间序列的长期依赖型关系；在GRU层后添加一层线性层进行降维处理；加入了残差网络，防止网络过深导致过拟合，添加原始序列信息；最后经过全连接层输出，得到预测的未来值。
优选的，给定一组输入序列X＝(x(i))对应的输出序列Y＝(y(i))；假设Lx、Ly分别表示输入序列长度和输出序列长度，通过输入序列来预测输出/>RIN模块是对称结构，将输入数据进行归一化，然后进行反归一化处理；首先对原始输入数据x(i)的平均值和标准差进行归一化处理，将输入数据转换为正态分布，减少了数据分布的差异，移除非平稳信息；其中非平稳信息包括均值、方差、可学习仿射参数α和β，其中，α,β∈R。
优选的，将归一化后的数据作为模型的输入，预测未来值/>数据/>与原始数据具有了不同的统计量，只通过/>很难获取数据的原始分布情况，因此，在输出层加入了反归一化，将移除的非平稳信息加入到反归一化层中，对/>进行反归一化，得到真正的预测输出值y(i)。
优选的，将离散余弦变换方法融入到注意力机制中，频率注意力机制：假设FAM模块中输入序列是V，首先使用由低频到高频的DCT组件分别处理：
其中，j∈(0,1,2,...,Lx-1)；
然后对不同的频率进行叠加，则得到了序列的频率的特征：
优选的，在提取了频率特征信息后，将序列接入到注意力机制中，对输入序列的各个数据值进行加权，以便更全面的获取时间特征信息；频率注意力机制结构为：Att＝δ(W2σ(W1DCT(V)))；δ、σ分别表示Sigmoid和Relu激活函数，W1和W2表示两个线性层；经过注意力机制结构后，得到学习到的注意力向量，将其点乘上输入序列得到输出值。
第二方面，本发明提供一种融入频率注意力的混合深度学习电力负荷预测系统，包括：
获取模块，用于获取当前时刻电力消耗数据；
预测模块，用于利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法的指令。
本发明有益效果：融入残差网络的CNN和GRU结合的模型，更好的提取了数据间的时域特征；简单有效的可逆实例归一化方法，避免了时间序列数据中的分布偏移问题；频率注意力机制方法来提取频率信息，并根据信息的重要程度进行加权，提高了负荷预测的准确性。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的Resnet-CNN-GRU模型结构图。
图2为本发明实施例所述的RIN方法流程图。
图3为本发明实施例所述的RIN-RCG-FAM模型结构图。
图4为本发明实施例所述的电力负荷预测方法流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中，首先提供了一种融入频率注意力的混合深度学习电力负荷预测系统，该系统包括：
获取模块，用于获取当前时刻电力消耗数据；
预测模块，用于利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
本实施例1中，利用上述的电力负荷预测系统，实现了电力负荷预测方法，包括：利用获取模块获取当前时刻电力消耗数据；利用预测模块基于预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
为了保证卷积前后序列长度不变，对输入序列进行一维填充；采用一层卷积核大小为5和一层卷积核大小为3的一维卷积层进行卷积，提取序列的局部时间特征信息；然后通过堆叠两层GRU来获取时间序列的长期依赖型关系；在GRU层后添加一层线性层进行降维处理；加入了残差网络，防止网络过深导致过拟合，添加原始序列信息；最后经过全连接层输出，得到预测的未来值。
给定一组输入序列X＝(x(i))对应的输出序列Y＝(y(i))；假设Lx、Ly分别表示输入序列长度和输出序列长度，通过输入序列来预测输出/>RIN模块是对称结构，将输入数据进行归一化，然后进行反归一化处理；首先对原始输入数据x(i)的平均值和标准差进行归一化处理，将输入数据转换为正态分布，减少了数据分布的差异，移除非平稳信息；其中非平稳信息包括均值、方差、可学习仿射参数α和β，其中，α,β∈R。
将归一化后的数据作为模型的输入，预测未来值/>数据/>与原始数据具有了不同的统计量，只通过/>很难获取数据的原始分布情况，因此，在输出层加入了反归一化，将移除的非平稳信息加入到反归一化层中，对/>进行反归一化，得到真正的预测输出值y(i)。
将离散余弦变换方法融入到注意力机制中，频率注意力机制：假设FAM模块中输入序列是V，首先使用由低频到高频的DCT组件分别处理：
其中，j∈(0,1,2,...,Lx-1)；
然后对不同的频率进行叠加，则得到了序列的频率的特征：
在提取了频率特征信息后，将序列接入到注意力机制中，对输入序列的各个数据值进行加权，以便更全面的获取时间特征信息；频率注意力机制结构为：Att＝δ(W2σ(W1DCT(V)))；δ、σ分别表示Sigmoid和Relu激活函数，W1和W2表示两个线性层；经过注意力机制结构后，得到学习到的注意力向量，将其点乘上输入序列得到输出值。
实施例2
为了进一步提高电力负荷预测的准确性，本实施例2中提出了一种融入可逆实例归一化方法、残差网络和频率注意力机制的卷积神经网络和门控循环单元结合的电力负荷预测模型。该模型主要从减小数据分布差异、提取丰富的时域信息和频域信息三个方面来提升模型的预测性能。大大提高了短期电力负荷预测的准确性，为其他城市开发短期电力负荷预测模型提供了参考。
本实施例2中所提出的电力负荷预测模型结构主要由RIN网络层、RCG模型和FAM模块三部分组成。输入数据经过RIN网络层进行归一化，移除非平稳信息；在最后输出层前进行反归一化，加入移除的非平稳信息，可以获得数据原始分布情况。RCG模型主要包括两个一维卷积层、两个GRU层和一个残差网络层组成。我们通过两个不同卷积核大小的卷积层提取数据不同的局部信息特征，通过两层GRU层捕获时间序列数据的长期依赖型关系。为了防止网络过拟合且可以为模型加入原始序列输入信息，我们加入了残差网络层，这可以有效提高预测精度。FAM模块通过离散余弦方法获得数据的频域信息，然后再通过注意力机制为不同信息进行加权。以上三部分共同组成了本发明的模型结构(RIN-RCG-FAM)。
CNN可以提取时序数据的局部特征关系，门控循环单元(Gated Recurrent Unit,GRU)可以捕获时间序列长期依赖型关系。为了更好提取数据间的时域特征，提出一种融入残差网络(Residual Network,Resnet)的CNN和GRU结合的模型(Resnet-CNN-GRU)，简称为RCG。时间序列预测模型往往受到时间序列数据中一个独特特性的影响。例如：均值和方差经常随时间变化，这就是时间序列数据中的分布偏移问题。针对这个问题，提出一种简单有效的可逆实例归一化(Reversible Instance Normalization,RIN)方法。大部分电力负荷预测模型都通过对其时域特征进行建模，忽略了频域特征。频率是时间序列数据中非常重要的信息，因此提出一种频率注意力机制(Frequency Attention Mechanism,FAM)方法来提取频率信息，并根据信息的重要程度进行加权。
(1)评估指标的选取
本实施例2中采用平均绝对误差(Mean Absolute Error,MAE)和均方误差(MeanSquared Error,MSE)作为各个模型预测性能的评价指标。MAE是指预测值和真实值yi偏差绝对值和的平均，MSE是指预测值/>和真实值yi偏差平方和的平均，L是预测的样本总数。MAE和MSE的公式如下：
(2)Resnet-CNN-GRU模型
CNN可以有效提取时间序列的局部特征关系，但无法捕获时间序列数据的长期依赖型关系。GRU可以很好捕获时间序列的长期依赖型关系，但在局部特征信息提取能力上要稍逊于CNN。鉴于两种网络不同的特点，因此我们搭建了RCG模型，如图1所示。为了保证卷积前后序列长度不变，对输入序列进行一维填充。该模型采用一层卷积核大小为5和一层卷积核大小为3的一维卷积层进行卷积，提取序列的局部时间特征信息。然后通过堆叠两层GRU来获取时间序列的长期依赖型关系。在GRU层后添加一层线性层进行降维处理。为了防止网络过深导致过拟合，且可以为模型添加原始序列信息，我们加入了残差网络。最后经过全连接层输出，得到预测的未来值。
(3)可逆实例归一化方法
时间序列数据通常有个独特的特性：比如它们的平均值和方差经常随着时间的变化而变化，这就是所谓的分布偏移。在时间序列预测任务中，输入序列通常会按照一定的比例从特定的时间点划分为训练集和测试集。训练集和测试集一般是不重叠的，由于时间序列数据的分布偏移问题，会导致训练集和测试集存在很大的偏差，这会导致模型预测性能下降。有一些方法通过对输入序列去除非平稳信息，从而提高模型性能，但是这种方法会阻止模型捕获原始数据分布情况。因此，提出了RIN方法，如图2所示。
RIN是一个端到端、灵活的训练层，首次将归一化方法应用在网络层中。它可以应用于任意的网络层，通常用在输入和输出层中。这种方法通过将移除的非平稳信息输入到模型中，使得模型不必重构原始数据分布，还保持了归一化方法的优势。
给定一组输入序列X＝(x(i))对应的输出序列Y＝(y(i))。假设Lx、Ly分别表示输入序列长度和输出序列长度。实验是单变量时序预测，任务是通过输入序列来预测输出/>如图2所示，RIN是对称结构的，在(b-1)处将输入数据进行归一化，在(b-3)处进行反归一化处理。首先对(a-1)处的原始输入数据x(i)的平均值和标准差进行(b-1)归一化处理，将输入数据转换为(a-2)中的正态分布，减少了数据分布的差异。通过这个步骤移除了(b-2)中的非平稳信息。非平稳信息包括均值μ、方差σ、可学习仿射参数α和β。其中，α,β∈R。实例x(i)的平均值和标准差的计算如公式(3)、(4)。
通过使用平均值E(x(i))和标准差D(x(i))，将输入数据x(i)归一化为公式(5)如下。
然后将归一化后的数据作为模型f的输入，预测未来值/>然而，输入数据与原始数据具有了不同的统计量，只通过/>很难获取数据的原始分布情况。因此，在输出层加入了反归一化方法，将移除的非平稳信息加入到反归一化层中，对/>进行反归一化，得到真正的预测输出值y(i)。反归一化步骤如公式(6)。
(4)频率注意力机制
现在有许多深度学习模型在时间序列预测任务上都表现出了不错的性能。比如，近两年性能比较强大的Transformer及它的各种变体Informer和Fedformer等。它们大部分都是基于注意力机制结构有效的捕获了时间序列的时域特征，很少考虑到对其频域进行建模来提取有效的特征信息。频率是时间序列中非常重要的信息，在模型中加入频率特征信息会进一步提高预测精准度。
目前，人们经常使用基于傅里叶变换(Fourier Transform,FT)的方法提取频率信息。为了避免复数训练，使用傅里叶逆变换(Inverse Fourier Transform,IFT)重构时间信息。然而，这种方法通常会增加新的计算量，并且也会由于傅里叶变换方法的隐式周期性引起的边界间断问题引入高频含量。因此，提出离散余弦变换(Discrete Cosine Transform,DCT)方法提取频率信息。DCT通过在边界处将其周期性进行对称性扩展，使信息在边界处平滑过渡，避免了引入高频噪声。通常，一维DCT的基本函数为：
一维DCT也可以写成：
是DCT的频谱。xi是输入数据，/>Lx是输入数据长度。i,l∈(0,1,2,…,Lx-1)。
提出一种频率注意力机制，将离散余弦变换方法融入到注意力机制中，如图3中FAM块所示。该模块可以利用DCT方法捕获序列数据的频域特征，还可以通过注意力机制对特征信息的重要程度进行加权，进一步提升预测的精准度。
假设FAM块中输入序列是V，首先使用由低频到高频的DCT组件分别处理，我们可以得到：
其中j∈(0,1,2,…,Lx-1)。然后对不同的频率进行叠加，则得到了序列的频率的特征。
在提取了频率特征信息后，将序列接入到注意力机制中，对输入序列的各个数据值进行加权，以便更全面的获取时间特征信息。频率注意力机制结构如公式(11)所示。
Att＝δ(W2σ(W1DCT(V))) (11)
δ、σ分别表示Sigmoid和Relu激活函数，W1和W2表示两个线性层。经过注意力机制结构后，得到学习到的注意力向量，将其点乘上输入序列得到输出值。
具体实现过程如下：
第一步：配置实验环境。首先在Pytorch框架下创建Python3.8环境，在这个环境中安装运行实验所需的数据库。
第二步：对两个公用电力消耗数据集(每小时能耗的导出数据)做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充。
第三步：将处理后的数据集另存为csv文件，作为本实验所用数据集。
第四步：将数据分为训练数据、验证数据和测试数据，前70％的数据作为训练集，中间10％作为验证集，后边20％作为测试集。
第五步：将处理好的训练集数据输入到模型中。首先通过RIN层，计算输入序列均值和方差，移除一些非平稳信息，使输入序列变得比较平稳。
第六步：为了保证卷积前后输入序列长度不变，对输入序列进行普通一维填充。
第七步：填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系。
第八步：为了防止网络过拟合，两个卷积层中间使用Dropout层。使用LeakyRelu和Tanh激活函数层增加非线性因素，更好的提取数据之间的非线性特征。
第九步：通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维。
第十步：使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量。最后将该张量点乘上输入序列，得到输出。
第十一步：为了防止网络过拟合，且可以为模型加入原始输入序列的信息，这里加入了残差连接。将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值。将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值。
第十二步：实验使用MAE作为损失函数。计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数。
第十三步：将模型训练迭代次数设为100。使用验证集来进行验证，保存在验证集上误差最小的模型。将该模型在测试集上进行测试，并将结果保存为最终的实验结果。
为了验证本实施例的有效性，在两个公用电力消耗数据集上进行实验。为了验证该模型可以较好预测不同时长的未来值，实验设置为使用24小时的历史值来预测未来3小时、6小时、9小时和12小时的未来值，使用48小时的历史值来预测未来24小时的未来值。我们将所提出的RIN-RCG-FAM模型与CNN、GRU、CNN-GRU、RCG和RCG-FAM(RCG模型结合FAM模块)五个对比模型进行相同实验，对比试验效果。其中RCG和RCG-FAM模型是为了验证所提方法的有效性。实验使用归一化后数据的MSE和MAE评价模型预测性能。
表1展示了各个模型在两个电力消耗数据集上的不同预测长度的预测性能。CNN、GRU和CNN-GRU作为最基本的对比模型，预测性能比较差。使用我们所提出的RCG模型预测，预测误差小于以上三个对比模型。在RCG模型基础上加入FAM模块后，相比于RCG模型，预测误差进一步下降，证明了FAM模块的有效性。在RCG-FAM模型基础上加入RIN，即我们最终所提的RIN-RCG-FAM模型。RIN-RCG-FAM模型相比于对比模型预测误差是最小的，可以实现精准预测。也证明了加入RIN方法可以进一步提高预测精度。
表1
综上，RCG模型中的GRU结构可以替换成长短时记忆网络(Long Short-TermMemory,LSTM)，LSTM同样可以获取时间序列数据的长期依赖型关系。FAM模块中使用DCT方法提取数据的频域信息，也可以使用FT、离散傅里叶变换(Discrete Fourier Transform,DFT)提取频域信息。RCG结构可以很好地提取数据间的时域特征关系。它通过CNN提取数据间的局部特征关系，利用GRU获取数据间的长期依赖型关系，加入残差连接可以使原始序列的可预测性得到增强。通过RIN方法可以减少训练集和测试集的分布差异，有效提升模型预测性能。通过FAM模块中的DCT方法可以提取数据间的频域特征关系，再利用注意力机制根据信息的重要程度进行加权，进一步提升了模型的预测性能。基于以上三部分共同组成了RIN-RCG-FAM模型，该模型可以更全面地获取数据间的特征信息，更准确地进行电力负荷预测。
实施例3
本实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法，该方法包括：
获取当前时刻电力消耗数据；
利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
实施例4
本实施例4提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法，该方法包括：
获取当前时刻电力消耗数据；
利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
实施例5
本实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的融入频率注意力的混合深度学习电力负荷预测方法的指令，该方法包括：
获取当前时刻电力消耗数据；
利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种融入频率注意力的混合深度学习电力负荷预测方法，其特征在于，包括：
获取当前时刻电力消耗数据；
利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；为了保证卷积前后序列长度不变，对输入序列进行一维填充；采用一层卷积核大小为5和一层卷积核大小为3的一维卷积层进行卷积，提取输入序列的局部时间特征信息；然后通过堆叠两层GRU来获取时间序列的长期依赖型关系；在GRU层后添加一层线性层进行降维处理；加入了残差网络，防止网络过深导致过拟合，添加原始输入序列信息；最后经过全连接层输出，得到预测的未来值；
其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型；
使用FAM模块中的离散余弦方法提取时间序列的频率信息，包括：将离散余弦变换方法融入到注意力机制中，频率注意力机制：假设FAM模块中输入序列是V，首先使用由低频到高频的DCT组件分别处理：
其中，j∈(0,1,2,...,Lx-1)；
然后对不同的频率进行叠加，则得到了序列的频率的特征：
在提取了频率特征信息后，将序列接入到注意力机制中，对输入序列的各个数据值进行加权，以便更全面的获取时间特征信息；频率注意力机制结构为：Att＝δ(W2σ(W1DCT(V)))；δ、σ分别表示Sigmoid和Relu激活函数，W1和W2表示两个线性层；经过注意力机制结构后，得到学习到的注意力向量，将其点乘上输入序列得到输出值。
2.根据权利要求1所述的融入频率注意力的混合深度学习电力负荷预测方法，其特征在于，给定一组输入序列X＝(x(i))对应的输出序列Y＝(y(i))；假设Lx、Ly分别表示输入序列长度和输出序列长度，通过输入序列来预测输出/>RIN模块是对称结构，将输入数据进行归一化，然后进行反归一化处理；首先对原始输入序列x(i)的平均值和标准差进行归一化处理，将输入数据转换为正态分布，减少了数据分布的差异，移除非平稳信息；其中非平稳信息包括均值、方差、可学习仿射参数α和β，其中，α,β∈R。
3.根据权利要求2所述的融入频率注意力的混合深度学习电力负荷预测方法，其特征在于，将归一化后的数据作为模型的输入，预测未来值/>数据/>与原始数据具有了不同的统计量，只通过/>很难获取数据的原始分布情况，因此，在输出层加入了反归一化，将移除的非平稳信息加入到反归一化层中，对/>进行反归一化，得到真正的预测输出值y(i)。
4.一种融入频率注意力的混合深度学习电力负荷预测系统，其特征在于，包括：
获取模块，用于获取当前时刻电力消耗数据；
预测模块，用于利用预先训练好的预测模型处理获取的当前时刻电力消耗数据，得到下一时刻电力消耗数据；为了保证卷积前后序列长度不变，对输入序列进行一维填充；采用一层卷积核大小为5和一层卷积核大小为3的一维卷积层进行卷积，提取输入序列的局部时间特征信息；然后通过堆叠两层GRU来获取时间序列的长期依赖型关系；在GRU层后添加一层线性层进行降维处理；加入了残差网络，防止网络过深导致过拟合，添加原始输入序列信息；最后经过全连接层输出，得到预测的未来值；
其中，所述预测模型的训练包括：
对两个公用电力消耗数据集做初步处理，使用线性插值方法对两个数据集中的缺失值进行填充；将处理后的数据集另存为csv文件，作为数据集；将数据集分为训练数据、验证数据和测试数据；将处理好的训练集数据输入到模型中，首先通过RIN层，计算输入序列均值和方差，移除非平稳信息，使输入序列变得比较平稳，对输入序列进行一维填充；填充完成后，通过采用大小为5和3的卷积核对输入数据进行卷积，提取输入序列不同的局部时序特征关系；两个卷积层中间使用Dropout层，使用LeakyRelu和Tanh激活函数层增加非线性因素；通过堆叠的两个GRU层获取时间序列数据的长期依赖型关系，然后通过线性层进行降维；使用FAM模块中的离散余弦方法提取时间序列的频率信息，然后根据信息的重要程度通过注意力机制结构为其进行加权，输出相应张量；最后将张量点乘上输入序列，得到输出；将原始输入序列和经过FAM模块的输出值相结合，经过全连接层输出预测值，将移除的信息加入到反归一化层中，将预测值反归一化，得到最终的预测值；使用MAE作为损失函数，计算预测值和真实值间的损失，使用Adam优化器使损失最小，从后向前更新权重参数；设置模型训练迭代次数，使用验证集来进行验证，保存在验证集上误差最小的模型，作为训练好的预测模型；
使用FAM模块中的离散余弦方法提取时间序列的频率信息，包括：将离散余弦变换方法融入到注意力机制中，频率注意力机制：假设FAM模块中输入序列是V，首先使用由低频到高频的DCT组件分别处理：
其中，j∈(0,1,2,...,Lx-1)；
然后对不同的频率进行叠加，则得到了序列的频率的特征：
在提取了频率特征信息后，将序列接入到注意力机制中，对输入序列的各个数据值进行加权，以便更全面的获取时间特征信息；频率注意力机制结构为：Att＝δ(W2σ(W1DCT(V)))；δ、σ分别表示Sigmoid和Relu激活函数，W1和W2表示两个线性层；经过注意力机制结构后，得到学习到的注意力向量，将其点乘上输入序列得到输出值。
5.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-3任一项所述的融入频率注意力的混合深度学习电力负荷预测方法。
6.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-3任一项所述的融入频率注意力的混合深度学习电力负荷预测方法的指令。
CN202310577286.9A 2023-05-22 2023-05-22 融入频率注意力的混合深度学习电力负荷预测方法及系统 Active CN116596144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310577286.9A CN116596144B (zh) 2023-05-22 2023-05-22 融入频率注意力的混合深度学习电力负荷预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310577286.9A CN116596144B (zh) 2023-05-22 2023-05-22 融入频率注意力的混合深度学习电力负荷预测方法及系统

Publications (2)

Publication Number Publication Date
CN116596144A CN116596144A (zh) 2023-08-15
CN116596144B true CN116596144B (zh) 2024-01-23

Family

ID=87589493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310577286.9A Active CN116596144B (zh) 2023-05-22 2023-05-22 融入频率注意力的混合深度学习电力负荷预测方法及系统

Country Status (1)

Country Link
CN (1) CN116596144B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881704B (zh) * 2023-09-06 2023-11-14 北京新亚盛创电气技术有限公司 电网运行状态的预警方法及系统
CN117410989B (zh) * 2023-12-14 2024-02-23 江西师范大学 一种基于多周期角度的居民用电量预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070229A (zh) * 2019-04-26 2019-07-30 中国计量大学 家庭电力负荷的短期预测方法
CN113537556A (zh) * 2021-06-03 2021-10-22 杭州电子科技大学 一种基于状态频率记忆网络的家庭短期负荷预测方法
CN114066003A (zh) * 2021-09-28 2022-02-18 国网浙江省电力有限公司绍兴供电公司 基于小波分解和长短时记忆网络的电力负荷预测方法
CN114219139A (zh) * 2021-12-07 2022-03-22 国网湖北省电力有限公司宜昌供电公司 基于注意力机制的dwt-lstm电力负荷预测方法
CN114861967A (zh) * 2022-03-16 2022-08-05 南京邮电大学 一种电力负荷预测方法、系统、装置及存储介质
CN115481778A (zh) * 2022-08-03 2022-12-16 国网信息通信产业集团有限公司 一种短期负荷预测方法及终端机
CN115936248A (zh) * 2022-12-28 2023-04-07 国电南京自动化股份有限公司 基于注意力网络的电力负荷预测方法、装置及系统
CN115935810A (zh) * 2022-11-25 2023-04-07 太原理工大学 基于注意力机制融合特征的电力中期负荷预测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346188B1 (ko) * 2020-04-08 2021-12-31 상명대학교산학협력단 전력 수요 예측 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070229A (zh) * 2019-04-26 2019-07-30 中国计量大学 家庭电力负荷的短期预测方法
CN113537556A (zh) * 2021-06-03 2021-10-22 杭州电子科技大学 一种基于状态频率记忆网络的家庭短期负荷预测方法
CN114066003A (zh) * 2021-09-28 2022-02-18 国网浙江省电力有限公司绍兴供电公司 基于小波分解和长短时记忆网络的电力负荷预测方法
CN114219139A (zh) * 2021-12-07 2022-03-22 国网湖北省电力有限公司宜昌供电公司 基于注意力机制的dwt-lstm电力负荷预测方法
CN114861967A (zh) * 2022-03-16 2022-08-05 南京邮电大学 一种电力负荷预测方法、系统、装置及存储介质
CN115481778A (zh) * 2022-08-03 2022-12-16 国网信息通信产业集团有限公司 一种短期负荷预测方法及终端机
CN115935810A (zh) * 2022-11-25 2023-04-07 太原理工大学 基于注意力机制融合特征的电力中期负荷预测方法及系统
CN115936248A (zh) * 2022-12-28 2023-04-07 国电南京自动化股份有限公司 基于注意力网络的电力负荷预测方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN-LSTM混合神经网络模型的短期负荷预测方法;陆继翔;张琪培;杨志宏;涂孟夫;陆进军;彭晖;;电力系统自动化(08);全文 *

Also Published As

Publication number Publication date
CN116596144A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN116596144B (zh) 融入频率注意力的混合深度学习电力负荷预测方法及系统
Zhu et al. Short-term prediction for wind power based on temporal convolutional network
Yue et al. Bert4nilm: A bidirectional transformer model for non-intrusive load monitoring
Liu et al. A hybrid neural network model for short-term wind speed forecasting based on decomposition, multi-learner ensemble, and adaptive multiple error corrections
Dou et al. Hybrid model for renewable energy and loads prediction based on data mining and variational mode decomposition
Lu et al. Short-term wind power forecasting using the hybrid model of improved variational mode decomposition and maximum mixture correntropy long short-term memory neural network
Meng et al. Prediction of per capita water consumption for 31 regions in China
CN112288140A (zh) 一种基于Keras的短期电力负荷预测方法、存储介质和设备
Peng et al. A short‐term wind power prediction method based on deep learning and multistage ensemble algorithm
CN117132132A (zh) 基于气象数据的光伏发电功率预测方法
CN116843012A (zh) 一种融合个性化上下文和时域动态特征的时序预测方法
Chen et al. Research of Short-Term Wind Speed Forecasting Based on the Hybrid Model of Optimized Quadratic Decomposition and Improved Monarch Butterfly.
Hossain et al. Forecasting very short-term wind power generation using deep learning, optimization and data decomposition techniques
CN114298408A (zh) 一种基于ceemd-lstm-mlr的短期电力负荷预测方法
Gong et al. Short-term power prediction of a wind farm based on empirical mode decomposition and mayfly algorithm–back propagation neural network
Huan et al. Research on short term load forecasting method of distribution network based on wavelet clustering analysis
CN115099448A (zh) 一种基于VMD-Prophet的短期负荷预测方法
He et al. Wind Farm Combined Forecasting Method Based On Wavelet Packet Decomposition-new PSO-Elman Neural Network
CN113779861A (zh) 光伏功率的预测方法及终端设备
Yan et al. Short-term Electricity Price Prediction Based on CEEMD-TCN-ATTENTION
Zheng et al. Short-term photovoltaic power prediction based on sparse representation method
Liu et al. Medium-to-long Term Electricity Consumption Forecasting Using Deep Hybrid Neural Networks
Xu et al. Motor fault diagnosis method based on deep learning
Cui et al. Short term power forecasting of a wind farm based on atomic sparse decomposition theory
Meng et al. An ensemble learning-based short-term load forecasting on small datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant