CN113344283B - 基于边缘智能的能源互联网新能源消纳能力评估方法 - Google Patents

基于边缘智能的能源互联网新能源消纳能力评估方法 Download PDF

Info

Publication number
CN113344283B
CN113344283B CN202110698482.2A CN202110698482A CN113344283B CN 113344283 B CN113344283 B CN 113344283B CN 202110698482 A CN202110698482 A CN 202110698482A CN 113344283 B CN113344283 B CN 113344283B
Authority
CN
China
Prior art keywords
new energy
data
time
energy consumption
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698482.2A
Other languages
English (en)
Other versions
CN113344283A (zh
Inventor
兰天
李俊
关心
杨雪晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mudanjiang university
State Grid Heilongjiang Electric Power Co Ltd
Heilongjiang University
Original Assignee
Mudanjiang university
State Grid Heilongjiang Electric Power Co Ltd
Heilongjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mudanjiang university, State Grid Heilongjiang Electric Power Co Ltd, Heilongjiang University filed Critical Mudanjiang university
Priority to CN202110698482.2A priority Critical patent/CN113344283B/zh
Publication of CN113344283A publication Critical patent/CN113344283A/zh
Application granted granted Critical
Publication of CN113344283B publication Critical patent/CN113344283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning
    • Y02P90/82—Energy audits or management systems therefor

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

基于边缘智能的能源互联网新能源消纳能力评估方法，本发明涉及能源互联网新能源消纳能力评估方法。本发明的目的是为了解决在现有IoE中，无法实现最大化消纳新能源的问题。基于边缘智能的能源互联网新能源消纳能力评估方法具体过程为：步骤一、测量终端通过无线信道收集来自发电单元和负荷单元的数据集；步骤二、基于GRU算法的深度学习层对步骤一获得的数据集进行处理，得到处理后的数据集；步骤三、基于PPO算法的强化学习层对步骤二获得的处理后的数据集进行新能源消纳处理，得到新能源消纳最大化策略。本发明用于新能源消纳领域。

Description

基于边缘智能的能源互联网新能源消纳能力评估方法
技术领域
本发明涉及能源互联网新能源消纳能力评估方法。
背景技术
能源互联网(Internet of Energy,IoE)作为的工业物联网典型应用，集成了分布式发电(Distributed Generations,DG)和智能设备[1]。新能源(Renewable EnergySources,RES)的高渗透率提高了IoE的灵活性和可持续性。然而，受自然条件影响，新能源的发电具有不确定性，这使得IoE具有间歇性和波动性等特点[2]。因此，为了最大程度地增加RES的消纳量，IoE面临着巨大的挑战。
为了提升新能源的消纳量，对合理调度IoE已经进行了广泛的研究。在[3]中，提出了动态能源管理系统并考虑了储能单元。在微电网中，文献[4]使用热能产生和电池存储以应对RES带来的不确定性。在文献[5]中研究了功率优化方法，该方法降低微电网成本，从而获得了一种鲁棒的方法。在[6]中，提出了一种博弈论模型来选择旋转备用容量以消除风力发电的不稳定性。在[7]中，还引入了旋转备用容量，以提高包括传统发电机和新能源发电机在内的电网灵活性。
然而，上述方法只能在当前时间段内调度能源互联网，并且不能实时处理突发事件，例如，负荷突然增加和传输短路[8]。而且，上述大多数研究都使用集中式调度方法来管理IoE的能源。
在IoE中，随着智能设备的不断增加，需要传输大量的信息数据，发生缺失数据的概率也随之增加[9]。数据缺失的现象将导致错误的决策或收敛到错误的结果，甚至直接影响RES的消纳能力。为了给IoE提供完备的数据集，已经提出了多种不同的数据补偿方法。在文献[10]中，使用随机森林方法来补偿缺失数据。为了使电网不受缺失数据的影响，在文献[11]中提出了一种基于相关连接聚类的方法。
综上，在IoE中，随着新能源的不断部署，使电网具有良好的可再生性，然而受天气的影响，新能源存在间歇性和波动性等特征，导致新能源RES的消纳能力低；以及在IoE中，随着智能设备的不断增加，需要传输大量的信息数据，发生缺失数据的概率也随之增加，数据缺失的现象将导致错误的决策或收敛到错误的结果，导致无法实现最大化消纳新能源。
发明内容
本发明的目的是为了解决在现有IoE中，无法实现最大化消纳新能源的问题，而提出基于边缘智能的能源互联网新能源消纳能力评估方法。
基于边缘智能的能源互联网新能源消纳能力评估方法具体过程为：
步骤一、测量终端通过无线信道收集来自发电单元和负荷单元的数据集；
步骤二、基于GRU算法的深度学习层对步骤一获得的数据集进行处理，得到处理后的数据集；
步骤三、基于PPO算法的强化学习层对步骤二获得的处理后的数据集进行新能源消纳处理，得到新能源消纳最大化策略。
本发明的有益效果为：
能源互联网作为能源研究领域的一个前沿概念，其将分布式的能源以及信息通信技术紧密的结合在一起，提高了电网的智能性。新能源消纳问题关注了新能源在不同行业间流动时的优化策略，它是构建能源高效的能源互联网的关键问题之一。由于新能源具有分布式发电的特点，为了降低通信的代价，提高计算效率，本发明设计了一个基于深度强化学习的边缘智能新能源消纳框架。在该框架中，我们将深度学习部署在第一层边缘计算节点中，从而发现新能源出力的底层规律；基于这些规律，结合不同部门的负荷需求，第二层边缘计算节点采用深度强化学习来寻找优化新能源的消纳策略。随着智能设备在能源互联网中的不断部署，这使发生数据缺失的概率变的越来越高。为了解决数据缺失以及预测的问题，第一层深度学习边缘节点采用门控循环单元算法来感知新能源数据的特点进行数据处理，使得后续的强化学习算法能够有效的进行，避免了错误的状态空间和动作空间。此外，本文提出的框架采用了旋转备用容量来提高新能源的消纳能力。通过在实际电网数据集上的实验结果验证了所提出的新能源消纳最大化方法的有效性，并且深度学习还能够补偿数据缺失降低对智能算法的影响。
本发明的关注重点是优化RES消纳能力。本发明提出了一种近端策略最优(PPO)算法来优化IoE中的RES消纳。PPO算法[12]由John Schulman和Filip Wolski等人提出。本文基于PPO算法优化消纳问题，以最大程度地提高RES的消纳能力并为IoE提供充裕的旋转备用容量。优化问题需要满足功率平衡，可再新能源出力约束，传统发电机出力约束和旋转备用约束等。在解决了优化问题之后，本发明进一步进行了仿真实验，以评估所提出的PPO算法的性能。
本发明将边缘智能和能源互联网整合在一起，采用分布式深度强化学习算法构建了一个新型的基于边缘智能的新能源消纳框架。本发明的主要贡献如下：
1.提出了一个层次化的基于深度强化学习的边缘智能新能源消纳框架。将计算工作量从云端转移到边缘节点中，减少大量数据上传，使电网能有效减少能源的使用。
2.本发明针对新能源消纳问题，通过使用新能源以及常规机组为能源互联网提供充裕的旋转备用容量，从而提高电网调峰能力。
3.针对数据在采集、传输以及接受的过程中存在缺失数据的问题。本发明提出了分布式的深度学习弥补缺失数据，同时，计算了预测所需的新能源发电数据和负荷数据。
4.本发明提出了近端策略优化(Proximal Policy Optimal,PPO)算法，从而求解新能源消纳最大化问题以及为能源互联网选择充裕的旋转备用容量。
现有方法只能在当前时间段内调度能源互联网，并且不能实时处理突发事件，例如，负荷突然增加和传输短路[8]。而且，现有方法大多数研究都使用集中式调度方法来管理IoE的能源。为了提高计算效率，实现最大化消纳新能源，本发明设计了基于深度强化学习的边缘智能新能源消纳框架。该框架分为两层。第一层是用于处理数据的深度学习层，第二层是用于提升新能源消纳的强化学习层。为了提高处理数据的准确性，本发明使用GRU算法来预测数据。
附图说明
图1为基于边缘智能的新能源消纳框架图，Traditional unit表示传统发电单元，Photovoltaic表示光伏发电单元，Wind表示风力发电单元，Load表示负荷单元，DL layer为深度学习层，RL为强化学习层，edge node表示为边缘节点，Cloud表示为云服务器；
图2为基于GRU算法处理数据图；
图3为GRU结构图；
图4为补偿缺失的光伏出力数据图；
图5为补偿缺失的风电出力数据图；
图6为预测的光伏出力数据图；
图7为预测的风电出力数据图；
图8为预测的负荷数据图；
图9为提出PPO算法迭代的过程图；
图10为消纳光伏电量图；
图11为消纳风电电量图；
图12为新能源消纳结果图。
具体实施方式
具体实施方式一：本实施方式基于边缘智能的能源互联网新能源消纳能力评估方法具体过程为：
在IoE中，提升新能源消纳能力问题的已经引起了许多研究人员的关注。在文献[3]，在微网中通过实时的经济调度来管理能源。为了解决能源管理问题，文献[13]提出了总发电机和电网储能的协调调度方法。在[14]中，研究了一种新的多时间尺度策略来提高能源消纳。然而，上述方法只能应用于当前的能源管理，并且不能实时处理紧急情况。因此，本文引入了可以处理意外变化的旋转储备容量。
本文提出了边缘智能技术来提高RES的消纳，同时，边缘智能可以提升IoE的计算效率。在[15]中，提出了一种基于层次优化方法的能源系统资源调度的分布式优化结构。在[16]中，采用了一种新的层次优化策略来改善能源资源的管理。[17]研究了的双分解方法来克服电网中的RES高渗透率带来的影响。然而，上述工作较少考虑IoE的结构，这使得这些方法无法适应实际情况。为了提高能源的利用率，减少数据的传输，边缘智能的应用已成为一种新的研究趋势。
此外，将人工智能嵌入到边缘计算环境中可以有效地提高计算性能。近年来，边缘智能(EI)已应用于智能城市[18]、物联网[19]、移动通信[20]、电力系统[21]、视频监控[22]等。本文将深度学习(DL)和强化学习(RL)部署到能源互联网的EI框架中。近年来，消纳RES已成为IOE的研究重点，并使用了许多方法来管RES。在智能电网中，[23]采用了一种深度卷积网络的方法来处理中的新能源调度。在[3]中，使用一种新型的DL算法来调度微电网的能源。在[4]中，采用近似动态规划和强化学习来解决能源优化问题。在[11]中，DRL模型被用于消纳电网中的能源。[24]基于DRL解决能源管理的问题。[25]基于遗传算法对电网的经济成本进行了优化。然而，在现有的工作中，边缘智能技术很少被用于新能源消纳。本文以GRU算法作为深度学习模型来补偿缺失数据，同时使用PPO算法来提升RES的消纳能力。
新能源消纳模型
新能源消纳的目标函数
本发明提出的新能源消纳目标函数以电网总时段新能源消纳最大化为优化目标，即消纳光伏以及风电出力最大化。决策变量为调度常规机组出力以及新能源机组和常规机组出力作为旋转备用容量。电网的日内操作分为个时间步骤{1,2,...,T}。每个时间步骤的间隔为ΔT。因此，新能源消纳最大化的目标函数公式如下：
式中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻风电机组消纳的电量，/>表示在t时刻光伏机组消纳的电量，ΔT表示时间段的持续时间，T为总的时间段数。
新能源消纳的约束条件
我们需要考虑的约束包括电网功率平衡约束，常规发电机出力约束，常规发电机组爬坡约束，新能源出力约束，联络线约束以及旋转备用约束。
(1)功率平衡约束
在本文中，为了满足负荷所需电量，出力包括常规发电机组出力，消纳新能源电量，旋转备用容量以及联络线功率。功率平衡约束为
式中，表示在t时刻常规发电机组的出力，/>表示在t时刻负荷所需功率。
(2)常规机组出力约束
受常规机组受其自身发电出力能力的影响，常规机组具有出力的上下限约束。
式中，和/>分别表示在t时刻常规发电机组i出力的最小功率和最大功率。
(3)常规机组爬坡约束
常规发电机组受其自身出力能力的影响，在有限的时间内，常规机组具有爬坡速率上下限约束。
式中，rg,i,down表示常规发电机组的下爬速率，rg,i,up表示常规发电机组的上爬速率。
(4)新能源出力约束
新能源具有出力的上下限约束。
式中，表示风电机组i的出力，/>表示光伏机组i的出力，/>表示风电机组i出力最大值，/>表示光伏机组i出力最大值。
(5)联络线约束
在电网中，各区域互联互通，通过联络线路调用其他区域的功率，使各个区域的功率达到平衡。而各区域在输送功率时会受到联络线路约束，约束如下
式中，表示在t时刻联络线i电量，表示在t时刻联络线i的最小功率限额，表示在t时刻联络线i的最小功率限额，/>表示在t时刻联络线i的最大功率限额。当/>时，表示在t时刻联络线i接收功率，/>表示在t时刻联络线i送出功率。
(6)旋转备用约束
新能源的大规模接入，负荷预测的偏差等都会给电网运行带来巨大的波动性。为了减缓对电网影响，我们引入旋转备用容量约束，通过扩大电力出力的区间范围，从而使电网可以应对在发电过程中新能源出力突然减少或高峰时间的负荷增加等事件。旋转备用容量常受到常规发电站规模、新能源出力、负荷等影响。因此本文提出的旋转备用约束如式下所示：
式中，SRt表示在t时刻发电机组提供的旋转备用容量，表示在t时刻发电机组能提供的最大旋转备用容量，/>表示在t时刻发电机组的最大出力，Pt表示在t时刻发电机组的出力。
提出的基于深度强化学习的边缘智能新能源消纳框架
基于深度强化学习的边缘智能新能源消纳框架
大量分布式发电单元以及基础设施与能源互联网在整合在一起，使电力系统呈现复杂性的特点。这使得能源互联网在处理数据，管理能源等方面具有局限性。本文将边缘智能与能源互联网相结合，构建了边缘智能新能源消纳框架。我们将基于深度强化学习的边缘智能新能源消纳框架框架进行层次化管理，可以有效地提高能源互联网在计算能力，减少能源消耗，以及降低延迟。基于深度强化学习的边缘智能框架框架包括分布式发电单元、负荷单元、层次化边缘节点、云平台。其中层次化的边缘节点嵌入了深度学习模型和分布式的强化学习模型。本文所提出的基于深度强化学习的边缘智能新能源消纳框架，如图1所示。
1)分布式发电单元和负荷单元：分布式的发电单元包括常规发电单元和新能源发电单元(光伏发电单元和风力发电单元)。分布式发电单元分布在不同发电厂。负荷单元分布部署在不同的地区如住宅区，办公区和商业区等。在能源互联网中，测量终端通过无线信道收集来自发电单元和负荷单元数据集并将数据上传到相应的边缘智能节点中。
2)边缘智能节点和云平台：在基于深度强化学习的边缘智能框架系统框架中，层次化的边缘节点分别与深度学习模型和分布式强化学习模型相结合。测量终端上传的数据集依次通过深度学习层(DL layer)和强化学习层(RL layer)。在深度学习层的边缘节点中，我们首先使用深度学习算法来处理数据。在强化学习层，我们使用了PPO算法对能源进行实时管理。强化学习层与云平台相连接，为电网提供数据管理，资源分配服务。
本文提出基于深度强化学习的边缘智能新能源消纳框架，将深度学习和分布式的强化学习应用在能源互联网节点中。分布式的发电单元和负荷单元作为基于深度强化学习的边缘智能新能源消纳框架的输入数据，将数据通过信道传给对应的深度学习层边缘智能节点。在深度学习层中，边缘智能节点将数据进行处理。然后将处理后的数据上传至强化学习层，分布式的强化学习通过并行模式对自己进行训练和进行参数的更新。
基于边缘智能的深度学习模型和强化学习模型
在当今大数据时代，将人工智能部署在云计算平台已经不能很好的对数据进行及时处理，会导致能源的浪费以及巨大的通信开销。在本文中，我们提出基于边缘智能的的基于深度强化学习的边缘智能新能源消纳框架架构，将深度学习和分布式的强化学习应用在网络节点中。
分布式的发电单元和负荷单元作为的基于深度强化学习的边缘智能新能源消纳框架的输入数据，将数据通过信道传给对应的深度学习层边缘智能节点。在深度学习层中，边缘智能节点将数据进行处理。然后将处理后的数据上传至强化学习层，分布式的强化学习通过并行模式对自己进行训练和进行参数的更新。
框架的实现
基于GRU算法处理负荷和新能源发电数据
在深度学习层的边缘节点中，我们使用深度学习算法来处理数据。该层分成数据预处理以及预测两大部分。
第一部分，在能源互联网中，PMU的数量越来越多，实时测量的数量也在成倍增加，因此发生缺失数据的概率就会越高。大量的测量缺失使能源互联网无法观测，降低了能源互联网监测和保护系统的效率和有效性，还会影响新能源消纳。因此，处理缺失的数据和确保优质的PMU数据对保证电网的安全和可靠的运行，提高新能源消纳能力是至关重要的。因此本文提出使用深度学习GRU对缺失数据进行补偿。
第二部分，提高新能源的消纳能力作为电网中最重要的部分，本文将新能源引入到旋转备用容量计算新能源消纳。为了确定充裕的旋转备用容量，本文对新能源处理以及负荷电量进行预测。基于GRU算法处理数据的如图2所示。从图2中可以看出，数据的处理需要经过两层，第一层为数据预处理层(补偿缺失数据)，第二层为数据预测层。在图2中，从能源互联网来的缺失数据X作为数据处理模型的输入，经过数据预处理层，利用GRU模型补偿缺失数据得到数据集。作为数据预测层的输入，通过GRU模型进行预测得到数据集Y。
GRU模型[26]是被Cho，et等人于2014年提出，主要用于捕捉不同时间序列之间的依赖关系，其具体结构如图3所示。GRU有两个门，一个是重置门r，一个是更新门z。重置门控制输入的信息和需要保留多少之前的记忆组合在一起，而更新门则定义了要保留的先前存储器量。h为前一序列的隐藏状态，通过重置门和更新门计算当前序列的候选隐藏状态
能源互联网作为电力系统研究领域的一个前沿概念，它将能源系统和信息通信技术结合起来，可以有效的实现电网的互联互通。在能源互联网中，新能源消纳最大化作为电力系统关注的重点问题，已经得到了广泛的研究。同时，智能测量设备的不断部署，导致能源互联网存在数据缺失的问题。因此，本文设计了基于深度强化学习的边缘智能新能源消纳框架，该框架可以适应新能源波动性的特征。为了补偿数据缺失以及预测负荷和发电数据，将GRU算法部署在第一层边缘节点中。同样，在第二层边缘节点中部署PPO算法实现新能源消纳最大化策略。本文利用真实的数据集来验证算法的性能。实验结果表明，提出的GRU算法可以更加精准的预测和弥补新能源发电数据和负荷数据。通过PPO算法与A3C算法的对比实验，证明了提出的PPO算法的新能源消纳量更多。
步骤一、测量终端通过无线信道收集来自发电单元和负荷单元的数据集；
步骤二、基于GRU算法的深度学习层(DL layer)对步骤一获得的数据集进行处理，得到处理后的数据集；
步骤三、基于PPO算法的强化学习层(RL layer)对步骤二获得的处理后的数据集进行新能源消纳(风电、光伏和负荷)处理，得到新能源消纳最大化策略。
在能源互联网中，新能源存在弃风弃光情况，为了减少弃风电弃光电的情况，需要消纳(使用)更多的新能源。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中测量终端通过无线信道收集来自发电单元和负荷单元(用户需求电量)的数据集；具体过程为：
发电单元包括常规发电单元、新能源发电单元；
新能源发电单元包括光伏发电能源和风力发电单元。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中基于GRU算法的深度学习层(DL layer)对步骤一获得的数据集进行处理，得到处理后的数据集；具体过程为：
将步骤一获得的数据集(Xt-1,Xt,Xt+1,…)输入深度学习层(DL layer)的数据预处理单元，得到将得到的/>输入深度学习层(DL layer)的预测单元，得到(Yt-1,Yt,Yt+1,…)。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述将步骤一获得的数据集(Xt-1,Xt,Xt+1,…)输入深度学习层(DL layer)的数据预处理单元，得到具体过程为：
使用深度学习GRU补偿缺失数据的过程，具体如下：
输入矩阵为
为了决定前一时刻的记忆信息多少被保存，输入矩阵需要经过GRU的重置门rt，即
rt＝σ(Wr·[ht-1,Xt]) (12)
其中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻负荷所需功率，t为时刻；ht-1为前一时刻的隐藏状态，/>为通过重置门和更新门计算当前序列的候选隐藏状态；/>矩阵为GRU模型中/>的权重参数，Wr矩阵为GRU模型中rt的权重参数，σ()为GRU模型的激活函数；
为了决定了将多少当前输入信息与上一时刻的记忆信息相结合，输入矩阵需要经过GRU的更新门zt，即
zt＝σ(Wz·[ht-1,Xt]) (14)
其中，ht为当前时刻的隐藏状态，*为乘号，为t时刻的候选隐藏状态，Wz为矩阵是GRU模型中zt的权重参数；
GRU模型以RMSE为损失函数学习更新门和重置门，最终输出结果为风电出力、光伏出力、以及负荷的补偿数据，即
其中，Wo矩阵是GRU模型中输出层的权重参数；
通过数据预处理有效的解决了通信和采集过程中缺失数据的问题，为了更好进行新能源发电数据和负荷数据的预测，进一步的提升对于能源互联网新能源消纳能力，从而更好的调整旋转备用容量。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述将得到的输入深度学习层(DL layer)的预测单元，得到(Yt-1,Yt,Yt+1,…)；具体过程为：
基于GRU算法的数据预测方法
上面通过GRU来进行了数据的预处理使所产生的模型能够有效的解决由于数据采集和通信过程中的数据缺失的问题。本发明通过已经处理好的数据可以更加精确预测新能源出力以及负荷需求电量，为电网提供充裕的选择备用容量，提高新能源消纳能力。基于GRU算法对风电、光伏以及负荷的进行预测的过程，具体如下：
将矩阵作为GRU的输入，送到GRU层的第一个GRU块中，GRU最后一层的输出为当前时刻对于风电，光伏和负载的预测，即目标时间间隔的风电出力、光伏出力、以及负荷。
输入矩阵为为了决定前一时刻的记忆信息多少被保存，输入矩阵/>需要经过GRU的重置门，即
其中，为弥补后的风电出力数据，/>为弥补后的光伏出力数据，/>为弥补后的负荷数据；
为了决定了将多少当前输入信息与上一时刻的记忆信息相结合，输入矩阵需要经过GRU的更新门，即
最终输出预测的结果，即Yt；
Yt＝σ(Wo·ht) (20)
本发明利用预处理来解决数据收集和通信过程中引起的数据缺失问题。数据预处理是由GRU模型进行数据预处理的。然后将预处理后的数据输入GRU模型，以提高预测精度。为了选择旋转备用容量需要计算出预测数据与真实数据之间的偏差D。D将被用作强化学习的输入数据的一部分，供求解新能源消纳最大化作为状态值使用。因此，基于上述数据预处理和预测程序，可以为新能源消纳提供足够的旋转储备容量。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述GRU算法的深度学习层(DL layer)的损失函数为：
本发明使用GRU来处理缺失数据。本发明使用生成的缺失数据与真实数据之间的均方根误差(Root Mean Squard Error,RMSE)作为数据预处理部分的损失函数。均方根误差是衡量真实数据与弥补缺失数据之间的差异，从而来评价当前数据预处理情况是否优良。通过减少均方误差来进行GRU神经网络的训练，并采用随机梯度下降的方式来进行反向传递进行系统的训练来提高模型的准确程度。也即是均方根误差越小，相关系数越接近1表示着生成缺失数据的精度越高，其均方误差和相关系数的计算方式如下：
其中，利用GRU算法补偿的缺失数据值，Xt,i为步骤一获得的数据集中数据，n是数据总数(缺失不缺失都包括)。
本文每条原始数据包含4个输入特征向量：(1)在t时刻风电出力为(2)在t时刻光伏出力为/>(3)在t时刻负荷为/>(4)t为某一时刻。基于GRU算法进行数据补偿的主要步骤如下：
将原有的数据集合分为训练集合Xtrain和测试集合Xtest，本文所需采集和通信的电网数据的为光伏，风电，负荷以及时间戳即本文将通过所采集的数据按每五分钟划分，其中30％作为测试集合，剩余部分作为训练集合。本文通过将训练集合数据输入到GRU训练模型当中，来进行数据的生成。GRU神经网络的初始参数为随机初始化的参数，通过输入的数据生成包含时序信息的特征信息，通过特征信息来生成数据来弥补数据缺失是对于原始数据的预处理过程。本文通过模型预处理数据来弥补数据，通过生成的数据与所预留真实的数据来进行比较计算其均方误差，并通过随机梯度下降的方式反向传递进行训练知道参数逐渐收敛为止，完成模型训练。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤三中基于PPO算法的强化学习层(RL layer)对步骤二获得的处理后的数据集进行新能源消纳(风电、光伏和负荷)处理，得到新能源消纳最大化策略(公式1到9和公式21到31一起得到了最大化策略)；具体过程为：
步骤三一、建立新能源消纳目标函数和约束条件；
步骤三二、
基于强化学习的新能源消纳最大化方法
(1)新能源消纳最大化问题的描述
本发明使用发电量与舍弃新能源的差值为新能源消纳最大化目标函数，通过最大化从而增加新能源的消纳。本发明采用了深度强化学习的方法来解决该问题。DRL作为人工智能的方法之一，DRL有很强的优化问题求解能力。新能源消纳的问题是在连续的时域上进行求解。本发明所需解决的问题为连续的空间问题(连续的状态空间和连续动作空间)，通过选择合适的DRL可以有效的解决该问题。
本发明的目标是解决电网的新能源消纳问题，状态集合由新能源的产出既在t时刻的光伏发电机组与风力发电机组的产出。为了满足用户负载的需求，负载的需求也应作为求解问题的状态集合。新能源消纳问题的状态集合St表示如下
其中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻负荷所需功率，t为时刻；D为预测数据(当前时刻对于风电，光伏和负载的预测)与真实数据之间的偏差；
新能源消纳问题的决策变量为动作集合，动作集合主要是由传统能源发电量和舍弃新能源构成。通过计算传统能源的发电量情况和舍弃新能源的电量计算出当前时刻电网的消纳情况。并且本文通过考虑旋转备用容量，该时刻的旋转备用容量也应作为当前时刻的决策变量，那么其新能源消纳问题的动作集合At表示如下：
其中，表示在t时刻风电机组消纳的电量，/>表示在t时刻光伏机组消纳的电量，/>表示在t时刻常规发电机组的出力，Rt表示在t时刻发电机组提供的旋转备用容量；
深度强化学习的主要构成通常是由一个五元组来构成{St,At,Pr,r,λ}，其中包含了状态集合St，动作集合At，转移概率Pr，回报函数r和折扣因子λ；
在t-1时刻到t时刻的过程中，由于新能源消纳的问题本身的因素，转移概率未知，存在环境信息不完整就存在问题，本文通过选用的PPO算法可以对该问题进行有效的解决。为了使新能源消纳最大化，本文将回报函数设置为最大化该时刻的产出与损失的差值也就是最大化消纳新能源的数量。
通过价值函数V(St)表示t时刻的状态S的价值；
价值函数表示了从状态St开始采样直到终止状态时所有r之和，其中T表示了终止状态的时刻。
步骤三三、
(2)基于PPO算法的新能源消纳最大化方法
深度强化学习主要分为基于值和基于策略两大类型，对于基于值函数的深度强化学习算法，对于解决新能源消纳问题都是具有缺陷的，这是由于基于价值函数的深度强化学习算法通常都是采用ε-greedy的方法来选择动作的。对于本发明所要解决的新能源消纳问题而言，新能源消纳问题的动作空间为连续的动作空间通过贪婪法来选择动作明显是不能做到的。因此本发明采用了基于策略的深度强化学习算法，传统的基于策略的方法都是采用策略梯度的方式来更新参数和优化目标。对于策略梯度的方式而言通过选择动作和动作的价值来计算梯度，在下一次选择动作中不能保证动作的变化性的大小，也就是说动作选择的波动性较大这样就会造成算法难以收敛性。本发明将采用PPO算法来选择动作，来减少动作选择的变化较大的问题。
PPO算法是一种无模型的算法，是对信任区域策略优化(Trust Region PolicyPptimization,TRPO)的改进。PPO算法是采用了Actor-Critic(AC)的结构的算法，其中Actor网络是为了根据输入的状态来选择的动作的网络，通常输出的动作认为是服从正态分布的，并从选择概率最大的动作。Critic网络是为了通过正态分布而所选出的动作和状态来计算出其价值函数。
Actor网络的损失函数定义如下：
其中，θ表示Actor网络需要更新的参数(当前的和之后的)，oldθ表示Actor网络过去的参数，表示Actor网络的优势函数的值，使用Kullback-Leliber(KL)散度作为约束，KL(A,B)表示为计算A与B的相似程度，使策略的更新更加稳定；β为随机设置的超参数；πθ(at|st)表示为当前策略，πoldθ(at|st)表示为过去的策略；at为At中t时刻的一个状态，表示或Rt；st为St中t时刻的一个状态，表示/>或D；E()表示期望；
优势函数表示当前状态下选择动作的优异程度，优势函数计算如下：
更新过程为：
d＝KL(πθ(at|st),πoldθ(at|st)) (28)
其中，dt为限制新旧策略的常量；该算法通过随机梯度下降(Stochastic Gradient-Descent,SGD)计算Actor网络的损失函数，并对Actor网络的参数θ进行更新，在经过几轮计算后再更新参数oldθ；
Critic是为了评价当前状态所选择动作的优劣既可以通过对于计算其TD error来进行优化更新；Critic网络的损失函数定义如下：
CL(φ)＝(Rt+V(St+1)-V(St))2 (29)
其中，差值的部分就表示为TD-error，Rt为回报函数；
则θ，φ的随机梯度的更新表示如下：
其中，φ是Actor网络需要更新的参数，为微分算子，AL为actor网络的损失函数，CL为Critic网络的损失函数。
本发明主要介绍了解决新能源消纳问题的算法，通过利用强化学习提高能源互联网消纳能力。PPO算法作为一种新型的基于策略的深度强化学习算法，可以很好的处理连续动作空间问题。在能源互联网中，新能源消纳作为一种需要决策连续动作空间的典型应用，PPO算法可以很好的适应该场景。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤三一中建立新能源消纳目标函数和约束条件；具体过程为：
新能源消纳目标函数如下：
约束条件如下：
式中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻风电机组消纳的电量，/>表示在t时刻光伏机组消纳的电量，ΔT表示时间段的持续时间，T为总的时间段数；/>表示在t时刻常规发电机组的出力，/>表示在t时刻负荷所需功率，SRt表示在t时刻发电机组提供的旋转备用容量；/>和/>分别表示在t时刻常规发电机组i出力的最小功率和最大功率。/>表示在t时刻常规发电机组i出力的功率；rg,i,down表示常规发电机组的下爬速率，rg,i,up表示常规发电机组的上爬速率；/>表示风电机组i的出力，/>表示光伏机组i的出力，/>表示风电机组i出力最大值，/>表示光伏机组i出力最大值；/>表示在t时刻发电机组能提供的最大旋转备用容量，/>表示在t时刻发电机组的最大出力，Pt表示在t时刻发电机组的出力；/>表示在t时刻联络线i电量，表示在t时刻联络线i的最小功率限额，/>表示在t时刻联络线i的最小功率限额，表示在t时刻联络线i的最大功率限额；
当时，表示在t时刻联络线i接收功率，/>表示在t时刻联络线i送出功率，/>时，表示在t时刻联络线i无接收无送出功率；
其中式(2)为能源互联网的功率平衡约束，公式(3)-(4)分别为常规机组的出力约束以及爬坡约束，公式(5)-(6)为新能源出力约束，公式(7)为联络线功率约束，公式(8)-(9)为旋转备用容量约束。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤三二中回报函数表示如下：
其中，rt为t时刻的回报函数；
所述折扣因子λ为[0,1]之间的数值，折扣因子的回报函数跟时域有关联。折扣因子能够有效的计算当前时刻的价值函数。越接近t时刻所采用的决策对于当前状态的决策选择影响越大。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤三二中价值函数V(St)计算方式如下：
其中，λT-i表示折扣因子，E()表示期望。
价值函数表示了从状态St开始采样直到终止状态时所有r之和，其中T表示了终止状态的时刻。
其它步骤及参数与具体实施方式一至九之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本发明使用的数据为能源互联网真实数据[27][28]。在本发明中，为了弥补缺失数据以及提供旋转备用容量，本发明使用GRU对数据进行处理。本发明将所收集的数据分为训练集和测试集。GRU可以提高训练效率并且能够准确的学习数据的时序特征，GRU使用历史数据来训练模型，处理光伏，风电以及负荷数据。本发明使用4维特征向量作为输入，通过GRU模型弥补缺失数据。为了得到充裕的旋转备用容量，需要预测光伏，风电以及负荷数据，弥补后的数据作为预测模型的输入。在本发明中，使用GRU模型对能源互联网中的数据进行编码，通过两层隐藏层，输出64维的特征向量，得到历史数据之间的相关性。本发明随机初始化GRU神经网络的参数，提高模型的精准性，找到最佳的模型。
本发明使用PPO算法来解决新能源消纳问题。PPO算法[2]有Actor Network和Critic Network，将4维状态向量作为PPO算法的输入，从而获得的4维的动作向量。在ActorNetwork中，根据输入的4维状态向量选择动作网络，输出的动作是服从正态分布，并选择概率最大的动作。Critic Network通过正态分布所选出的动作和状态来计算出其价值函数。在本文中，PPO由3个隐藏层，以及每层64个神经元全连接组成，隐藏层的神经元激活函数为Relu函数，输出层的激活函数为Sigmod函数，输出为线性的激活函数。在PPO模型中，将Adam用于基于梯度的优化，并且将学习率设置为0.001。
数据处理的实验结果与分析
(1)缺失数据的补偿结果与分析
由于本发明GRU模型参数为随机初始化，为了找到最佳模型本发明迭代了150次。为了更好的展示GRU算法弥补缺失数据的性能，本发明对现有的RNN算法[29]进行比较。图4和图5使用了30天，时间间隔为5分钟的数据。图4展示了RNN和GRU算法分别对未来一天的光伏数据的预测结果。其中纵轴Power表示为功率，横轴Time of Day表示为一天的时间，其中无标记曲线为真实数据，三角标记曲线为GRU算法弥补的数据，圆圈标记曲线为RNN算法弥补的数据。从对比图4中可以看出GRU数据曲线符合真实数据曲线，在7：00至8：00时，GRU曲线与真实数据曲线重合。同时GRU算法预测的峰值比RNN算法预测的峰值更精准。在0:00至6:00，17:00至24:00的时段没有光伏产生，因此，不影响实验结果。
图5展示了RNN和GRU算法分别对未来一天的风电数据的预测结果。从风电对比图中可以看出，即使风电数据具有很强的波动性，GRU预测的数据曲线也能紧跟着真实数据曲线。例如，在5：00到9：00的风电发电量低谷时期，也能很好的补偿缺失的风电出力数据。
(2)预测发电和负荷数据结果与分析
图6，图7，图8以及表1，表2，表3使用的数据为60天，时间间隔为15分钟。图6展示了RNN和GRU算法分别对未来一天的光伏数据的预测结果。其中纵轴Power表示为功率，横轴Time of Day表示为一天的时间，其中无标记曲线为真实数据，圆圈标记曲线为GRU算法预测的数据，三角标记曲线为RNN算法预测的数据。从对比图6中可以看出GRU数据曲线符合真实数据曲线，例如，在10：00至15：00时，GRU曲线与真实数据曲线重合。
图7展示了RNN和GRU算法分别对未来一天的风电出力数据的预测结果。风电出力具有波动性较强，且规律性不强等特性，这使预测风电出力的比预测光伏出力的准确性低。从对比图7中可以看出GRU数据曲线更遵循真实数据曲线。
图8展示了RNN和GRU算法分别对未来一天的负荷数据的预测结果。比较而言，在0：00到6：00时，GRU能很好模拟负荷数据。
表格1，表格2，表格3为GRU算法和RNN算法的各项预测指标，分别为平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)，平均绝对误差(Mean Absolute Error,MAE)，均方误差(Mean Square Error,MSE)。上述各项预测指标越值小，表示算法的性能越好。在表1，表2，表3中可以看出，GRU算法各项预测指标都优于RNN算法。通过上述图表所展示的性能分析，也可以看出基于GRU的补偿缺失数据方法比RNN算法更有明显的性能优势，可以更好的为下一步新能源消纳最大化求解提供完备的数据集。
表1 GRU算法和RNN算法预测光伏出力的性能对比
表2 GRU算法和RNN算法预测风电出力的性能对比
表3 GRU算法和RNN算法预测负荷的性能对比
新能源消纳最大化的实验结果与分析
本发明希望新能源消纳最大化，即将新能源发电量与新能源消纳量之差的最小化。为了显示回报函数的有效性，在训练过程中，通过PPO算法迭代数据集的时间序列数据，每次迭代中为一天的负荷和发电数据。图9显示了使用本发明提出的算法的回报值收敛情况。可以看到，PPO算法在前1500次迭代中波动很大。经过1500个迭代后，训练取得了稳点的区域，表明该模型学习了如何选择动作以最大程度地消纳新能源，1700次迭代后，模型开始收敛。因此，本发明提出的PPO模型可以选择最佳目标值的动作并收敛。
为了进一步验证PPO算法的性能，本发明将PPO算法与A3C算法分别对比光伏、风电的消纳情况进行对比分析。其中图10，图11为光伏和风电消纳电量的对比图，横轴Hour为时间，纵轴Power为功率。点状柱形图为A3C新能源消纳的功率，斜杠的柱形图为PPO新能源消纳的功率。由图10可以看出，在光伏发电量较大的情况下，PPO算法明显比A3C算法消纳的电量更多。在图11中，在3:00，7:00，9:00和14:00时，PPO算法的风电消纳电量高于A3C算法。
在本发明中为了提升新能源的消纳能力，调节电网峰值，本发明通过预测的数据，结合PPO算法为电网选择充裕的旋转备用容量。图12为新能源消纳的电量。斜杠柱形图为通过PPO算法提供旋转备用容量的情况下，新能源消纳的电量，空白柱形图为不提供旋转备用容量的情况下新能源消纳的电量，点状柱形图为提供固定旋转备用容量的情况下新能源消纳的电量，横轴Hour为时间，纵轴Power为功率。从图12中可看出，通过PPO算法提供旋转备用容量，可以提升新能源消纳能力，并且比提供固定的旋转备用容量的方法消纳的电量更多。综上所述，本发明提出的PPO算法优于A3C算法，可以为能源互联网新能源消纳得到更好的优化结果。
[1]M.H.Yaghmaee Moghaddam and A.Leon-Garcia,“A fog-based internet ofenergy architecture for transactive energy management systems,”IEEE Internetof Things Journal,vol.5,no.2,pp.1055–1069,2018.
[2]L.Lin,X.Guan,Y.Peng,N.Wang,S.Maharjan,and T.Ohtsuki,“Deepreinforcement learning for economic dispatch of virtual power plant ininternet of energy,”IEEE Internet of Things Journal,vol.7,no.7,pp.6288–6301,2020.
[3]G.K.Venayagamoorthy,R.K.Sharma,P.K.Gautam,and A.Ahmadi,“Dynamicenergy management system for a smart microgrid,”IEEE Transactions on NeuralNetworks and Learning Systems,vol.27,no.8,pp.1643–1656,2016.
[4]P.Zeng,H.Li,H.He,and S.Li,“Dynamic energy management of amicrogrid using approximate dynamic programming and deep recurrent neuralnetwork learning,”IEEE Transactions on Smart Grid,vol.10,no.4,pp.4435–4445,2019.
[5]Y.Zhang,N.Gatsis,and G.B.Giannakis,“Robust energy management formicrogrids with high-penetration renewables,”IEEE Transactions on SustainableEnergy,vol.4,no.4,pp.944–953,2013.
[6]A.M.Leite da Silva,J.F.d.Costa Castro,and R.Billinton,“Probabilistic assessment of spinning reserve via cross-entropy methodconsidering renewable sources and transmission restrictions,”IEEETransactions on Power Systems,vol.33,no.4,pp.4574–4582,2018.
[7]M.Khoshjahan,P.Dehghanian,M.Moeini-Aghtaie,and M.FotuhiFiruzabad,“Harnessing ramp capability of spinning reserve services or enhanced powergrid flexibility,”IEEE Transactions on Industry Applications,vol.55,no.6,pp.7103–7112,2019.
[8]A.Bashiri Mosavi,A.Amiri,and H.Hosseini,“A learning framework forsize and type independent transient stability prediction of power systemusing twin convolutional support vector machine,”IEEE Access,vol.6,pp.69 937–69 947,2018.
[9]Y.Zhang,Y.Xu,R.Zhang,and Z.Y.Dong,“A missing-data tolerant methodfor data-driven short-term voltage stability assessment of power systems,”IEEE Transactions on Smart Grid,vol.10,no.5,pp.5663–5674,2019.
[10]W.Deng,Y.Guo,J.Liu,Y.Li,D.Liu,and L.Zhu,“A missing power datafilling method based on improved random forest algorithm,”Chinese Journal ofElectrical Engineering,vol.5,no.4,pp.33–39,2019.
[11]R.Razavi-Far,M.Farajzadeh-Zanjani,M.Saif,and S.Chakrabarti,“Correlation clustering imputation for diagnosing attacks and faults withmissing power grid data,”IEEE Transactions on Smart Grid,vol.11,no.2,pp.1453–1464,2020.
[12]J.Schulman,F.Wolski,P.Dhariwal,A.Radford,and O.Klimov,“Proximalpolicy optimization algorithms,”CoRR,vol.abs/1707.06347,2017.
[13]S.Xia,Z.Ding,T.Du,D.Zhang,M.Shahidehpour,and T.Ding,“Multitimescale coordinated scheduling for the combined system of wind power,photovoltaic,thermal generator,hydro pumped storage,and batteries,”IEEETransactions on Industry Applications,vol.56,no.3,pp.2227–2237,2020.
[14]P.Zhuang,H.Liang,and M.Pomphrey,“Stochastic multi-timescaleenergy management of greenhouses with renewable energy sources,”IEEETransactions on Sustainable Energy,vol.10,no.2,pp.905–917,2019.
[15]I.Joo and D.Choi,“Distributed optimization framework for energymanagement of multiple smart homes with distributed energy resources,”IEEEAccess,vol.5,pp.15 551–15560,2017.
[16]M.C.Bozchalui,C.A.Ca～nizares,and K.Bhattacharya,“Optimal energymanagement of greenhouses in smart grids,”IEEE Transactions on Smart Grid,vol.6,no.2,pp.827–835,2015.
[17]Y.Zhang,N.Gatsis,and G.B.Giannakis,“Robust energy management formicrogrids with high-penetration renewables,”IEEE Transactions on SustainableEnergy,vol.4,no.4,pp.944–953,2013.
[18]Y.Liu,C.Yang,L.Jiang,S.Xie,and Y.Zhang,“Intelligent edgecomputing for iot-based energy management in smart cities,”IEEE Network,vol.33,no.2,pp.111–117,2019.
[19]X.Niu,S.Shao,C.Xin,J.Zhou,S.Guo,X.Chen,and F.Qi,“Workloadallocation mechanism for minimum service delay in edge computingbased powerinternet of things,”IEEE Access,vol.7,pp.83 771–83 784,2019.
[20]X.Wang,Y.Han,C.Wang,Q.Zhao,X.Chen,and M.Chen,“In-edge ai:Intelligentizing mobile edge computing,caching and communication by federatedlearning,”IEEE Network,vol.33,no.5,pp.156–165,2019.
[21]Q.Li,Y.Deng,W.Sun,and W.Li,“Communication and computationresource allocation and offloading for edge intelligence enabled faultdetection system in smart grid,”in 2020 IEEE International Conference onCommunications,Control,and Computing Technologies for Smart Grids(SmartGridComm),2020,pp.1–7.
[22]H.Sun,W.Shi,X.Liang,and Y.Yu,“Vu:Edge computing-enabled videousefulness detection and its application in large-scale video surveillancesystems,”IEEE Internet of Things Journal,vol.7,no.2,pp.800–817,2020.
[23]Z.Zheng,Y.Yang,X.Niu,H.Dai,and Y.Zhou,“Wide and deepconvolutional neural networks for electricity-theft detection to secure smartgrids,”IEEE Transactions on Industrial Informatics,vol.14,no.4,pp.1606–1615,2018.
[24]D.Fang,X.Guan,B.Hu,Y.Peng,M.Chen,and K.Hwang,“Deep reinforcementlearning for scenario based robust economic dispatch strategy in internet ofenergy,”IEEE Internet of Things Journal,pp.1–1,2020.
[25]J.Chen,K.Li,Q.Deng,K.Li,and P.S.Yu,“Distributed deep learningmodel for intelligent video surveillance systems with edge computing,”IEEETransactions on Industrial Informatics,pp.1–1,2019.
[26]K.Cho,B.van Merri¨enboer,D.Bahdanau,and Y.Bengio,“On theproperties of neural machine translation:Encoder–decoder approaches,”inProceedings of SSST-8,Eighth Workshop on Syntax,Semantics and Structure inStatistical Translation.Doha,Qatar:Association for Computational Linguistics,Oct.2014,pp.103–111.
[27]http://www.nrel.gov/midc/.
[28]http://en.openei.org/wiki/Main Page.
[29]Q.Ye,X.Yang,C.Chen,and J.Wang,“River water quality parametersprediction method based on lstm-rnn model,”in 2019 Chinese Control AndDecision Conference(CCDC),2019,pp.3024–302.
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述方法具体过程为：
步骤一、测量终端通过无线信道收集来自发电单元和负荷单元的数据集；
步骤二、基于GRU算法的深度学习层对步骤一获得的数据集进行处理，得到处理后的数据集；
步骤三、基于PPO算法的强化学习层对步骤二获得的处理后的数据集进行新能源消纳处理，得到新能源消纳最大化策略；
所述步骤二中基于GRU算法的深度学习层对步骤一获得的数据集进行处理，得到处理后的数据集；具体过程为：
将步骤一获得的数据集(Xt-1,Xt,Xt+1,…)输入深度学习层的数据预处理单元，得到将得到的/>输入深度学习层的预测单元，得到(Yt-1,Yt,Yt+1,…)；
所述将步骤一获得的数据集(Xt-1,Xt,Xt+1,…)输入深度学习层的数据预处理单元，得到具体过程为：
输入矩阵为
输入矩阵经过GRU的重置门rt，即
rt＝σ(Wr·[ht-1,Xt]) (12)
其中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻负荷所需功率，t为时刻；ht-1为前一时刻的隐藏状态，/>为通过重置门和更新门计算当前序列的候选隐藏状态；/>矩阵为GRU模型中/>的权重参数，Wr矩阵为GRU模型中rt的权重参数，σ()为GRU模型的激活函数；
输入矩阵经过GRU的更新门zt，即
zt＝σ(Wz·[ht-1,Xt]) (14)
其中，ht为当前时刻的隐藏状态，*为乘号，为t时刻的候选隐藏状态，Wz为矩阵是GRU模型中zt的权重参数；
以RMSE为损失函数学习更新门和重置门，最终输出结果为风电出力、光伏出力、以及负荷的补偿数据，即
其中，Wo矩阵是GRU模型中输出层的权重参数；
所述步骤三中基于PPO算法的强化学习层对步骤二获得的处理后的数据集进行新能源消纳处理，得到新能源消纳最大化策略；具体过程为：
步骤三一、建立新能源消纳目标函数和约束条件；
步骤三二、状态集合St表示如下：
其中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻负荷所需功率，t为时刻；D为当前时刻对于风电，光伏和负载的预测数据与真实数据之间的偏差；
动作集合At表示如下：
其中，表示在t时刻风电机组消纳的电量，Pv′t表示在t时刻光伏机组消纳的电量，/>表示在t时刻常规发电机组的出力，Rt表示在t时刻发电机组提供的旋转备用容量；
深度强化学习的主要构成通常是由一个五元组来构成{St,At,Pr,r,λ}，其中包含了状态集合St，动作集合At，转移概率Pr，回报函数r和折扣因子λ；
通过价值函数V(St)表示t时刻的状态S的价值；
步骤三三、Actor网络的损失函数定义如下：
其中，θ表示Actor网络需要更新的参数，oldθ表示Actor网络过去的参数，表示Actor网络的优势函数的值，KL(A,B)表示为计算A与B的相似程度；β为随机设置的超参数；πθ(at|st)表示为当前策略，πoldθ(at|st)表示为过去的策略；at为At中t时刻的一个状态，表示或Rt；st为St中t时刻的一个状态，表示/>或D；E()表示期望；
优势函数表示当前状态下选择动作的优异程度，优势函数计算如下：
更新过程为：
d＝KL(πθ(at|st),πoldθ(at|st)) (28)
其中，dt为常量；
Critic网络的损失函数定义如下：
CL(φ)＝(Rt+V(St+1)-V(St))2 (29)
其中，差值的部分就表示为TD-error，Rt为回报函数；
则θ，φ的随机梯度的更新表示如下：
其中，φ是Actor网络需要更新的参数，为微分算子，AL为actor网络的损失函数，CL为Critic网络的损失函数。
2.根据权利要求1所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述步骤一中测量终端通过无线信道收集来自发电单元和负荷单元的数据集；具体过程为：
发电单元包括常规发电单元、新能源发电单元；
新能源发电单元包括光伏发电能源和风力发电单元。
3.根据权利要求2所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述将得到的输入深度学习层的预测单元，得到(Yt-1,Yt,Yt+1,…)；具体过程为：
输入矩阵为
输入矩阵经过GRU的重置门，即
其中，为弥补后的风电出力数据，/>为弥补后的光伏出力数据，/>为弥补后的负荷数据；
输入矩阵经过GRU的更新门，即
最终输出预测的结果，即Yt；
Yt＝σ(Wo·ht) (20)。
4.根据权利要求3所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述GRU算法的深度学习层的损失函数为：
其中，为利用GRU算法补偿的缺失数据值，Xt,i为步骤一获得的数据集中数据，n是数据总数。
5.根据权利要求4所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述步骤三一中建立新能源消纳目标函数和约束条件；具体过程为：
新能源消纳目标函数如下：
约束条件如下：
式中，表示在t时刻风电机组总出力，/>表示在t时刻光伏电机组的总出力，/>表示在t时刻风电机组消纳的电量，/>表示在t时刻光伏机组消纳的电量，ΔT表示时间段的持续时间，T为总的时间段数；/>表示在t时刻常规发电机组的出力，/>表示在t时刻负荷所需功率，SRt表示在t时刻发电机组提供的旋转备用容量；/>和/>分别表示在t时刻常规发电机组i出力的最小功率和最大功率；/>表示在t时刻常规发电机组i出力的功率；rg,i,down表示常规发电机组的下爬速率，rg,i,up表示常规发电机组的上爬速率；/>表示风电机组i的出力，/>表示光伏机组i的出力，/>表示风电机组i出力最大值，/>表示光伏机组i出力最大值；/>表示在t时刻发电机组能提供的最大旋转备用容量，/>表示在t时刻发电机组的最大出力，Pt表示在t时刻发电机组的出力；/>表示在t时刻联络线i电量，表示在t时刻联络线i的最小功率限额，/>表示在t时刻联络线i的最小功率限额，表示在t时刻联络线i的最大功率限额；
当时，表示在t时刻联络线i接收功率，/>表示在t时刻联络线i送出功率，时，表示在t时刻联络线i无接收无送出功率。
6.根据权利要求5所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述步骤三二中回报函数表示如下：
其中，rt为t时刻的回报函数；
所述折扣因子λ为[0,1]之间的数值。
7.根据权利要求6所述基于边缘智能的能源互联网新能源消纳能力评估方法，其特征在于：所述步骤三二中价值函数V(St)计算方式如下：
其中，λT-i表示折扣因子，E()表示期望。
CN202110698482.2A 2021-06-23 2021-06-23 基于边缘智能的能源互联网新能源消纳能力评估方法 Active CN113344283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698482.2A CN113344283B (zh) 2021-06-23 2021-06-23 基于边缘智能的能源互联网新能源消纳能力评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698482.2A CN113344283B (zh) 2021-06-23 2021-06-23 基于边缘智能的能源互联网新能源消纳能力评估方法

Publications (2)

Publication Number Publication Date
CN113344283A CN113344283A (zh) 2021-09-03
CN113344283B true CN113344283B (zh) 2023-11-28

Family

ID=77478081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698482.2A Active CN113344283B (zh) 2021-06-23 2021-06-23 基于边缘智能的能源互联网新能源消纳能力评估方法

Country Status (1)

Country Link
CN (1) CN113344283B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139354B (zh) * 2021-11-12 2024-05-21 山东浪潮科学研究院有限公司 基于强化学习的电力系统仿真调度方法及系统
CN114204546B (zh) * 2021-11-18 2024-04-23 国网天津市电力公司电力科学研究院 一种考虑新能源消纳的机组组合优化方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110476172A (zh) * 2017-07-21 2019-11-19 谷歌有限责任公司 用于卷积神经网络的神经架构搜索
CN110663049A (zh) * 2017-04-28 2020-01-07 谷歌有限责任公司 神经网络优化器搜索
WO2020063144A1 (zh) * 2018-09-30 2020-04-02 中国电力科学研究院有限公司 一种柔性直流电网的能源外送能力评估方法及系统
CN111062508A (zh) * 2019-03-28 2020-04-24 华北电力大学（保定） 一种基于大数据技术评估风电机组实时运行状态的方法
CN111478377A (zh) * 2020-03-16 2020-07-31 中国电力科学研究院有限公司 一种基于网源动态约束的新能源消纳能力评估方法及系统
CN111950793A (zh) * 2020-08-17 2020-11-17 浙江工业大学 一种考虑多元负荷耦合特性的综合能源系统负荷预测方法
CN112186743A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的动态电力系统经济调度方法
CN112217195A (zh) * 2020-08-11 2021-01-12 广东电网有限责任公司广州供电局 一种基于gru多步预测技术的云储能充放电策略形成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110663049A (zh) * 2017-04-28 2020-01-07 谷歌有限责任公司 神经网络优化器搜索
CN110476172A (zh) * 2017-07-21 2019-11-19 谷歌有限责任公司 用于卷积神经网络的神经架构搜索
WO2020063144A1 (zh) * 2018-09-30 2020-04-02 中国电力科学研究院有限公司 一种柔性直流电网的能源外送能力评估方法及系统
CN111062508A (zh) * 2019-03-28 2020-04-24 华北电力大学（保定） 一种基于大数据技术评估风电机组实时运行状态的方法
CN111478377A (zh) * 2020-03-16 2020-07-31 中国电力科学研究院有限公司 一种基于网源动态约束的新能源消纳能力评估方法及系统
CN112217195A (zh) * 2020-08-11 2021-01-12 广东电网有限责任公司广州供电局 一种基于gru多步预测技术的云储能充放电策略形成方法
CN111950793A (zh) * 2020-08-17 2020-11-17 浙江工业大学 一种考虑多元负荷耦合特性的综合能源系统负荷预测方法
CN112186743A (zh) * 2020-09-16 2021-01-05 北京交通大学 一种基于深度强化学习的动态电力系统经济调度方法

Also Published As

Publication number Publication date
CN113344283A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Yang et al. Intelligent data-driven decision-making method for dynamic multisequence: An E-seq2seq-based SCUC expert system
Zou et al. An inter type-2 FCR algorithm based T–S fuzzy model for short-term wind power interval prediction
CN110298138B (zh) 一种综合能源系统优化方法、装置、设备及可读存储介质
Zhang et al. Robust optimization for dynamic economic dispatch under wind power uncertainty with different levels of uncertainty budget
Zhao et al. Distributed risk-limiting load restoration for wind power penetrated bulk system
CN108306303A (zh) 一种考虑负荷增长和新能源出力随机的电压稳定评估方法
CN113344283B (zh) 基于边缘智能的能源互联网新能源消纳能力评估方法
CN115714382A (zh) 一种基于安全强化学习的主动配电网实时调度方法及装置
Wu et al. An ensemble neural network based on variational mode decomposition and an improved sparrow search algorithm for wind and solar power forecasting
Hu et al. Short-term photovoltaic power prediction based on similar days and improved SOA-DBN model
Chen et al. Research on wind power prediction method based on convolutional neural network and genetic algorithm
CN112330021A (zh) 一种分布式光储系统的网络协调控制方法
Yang et al. Deep learning-based distributed optimal control for wide area energy Internet
CN112508279A (zh) 基于空间相关性的区域分布式光伏预测方法及系统
Phan et al. An approach using transformer-based model for short-term PV generation forecasting
CN117172097A (zh) 基于云边协同与多智能体深度学习的配电网调度运行方法
Ma et al. Very short-term renewable energy power prediction using XGBoost optimized by TPE algorithm
CN108694475B (zh) 基于混合模型的短时间尺度光伏电池发电量预测方法
CN109615142A (zh) 一种基于小波分析的风电场风速组合预测方法
Yang et al. Cloud-edge-end intelligence for fault-tolerant renewable energy accommodation in smart grid
Khoury et al. A predictive convolutional neural network model for source-load forecasting in smart grids
Zha et al. An improved reinforcement learning for security-constrained economic dispatch of battery energy storage in microgrids
Ye et al. Multi-scenario stochastic optimal scheduling for power systems with source-load matching based on pseudo-inverse Laguerre polynomials
Guo et al. Short-Term Photovoltaic Power-Forecasting based on Machine Learning
Wang et al. Ultra-short-term forecast of photovoltaic power based on vmd error correction and cnn-gru-am

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant