CN110516889B - 一种基于Q-learning的负荷综合预测方法和相关设备 - Google Patents

一种基于Q-learning的负荷综合预测方法和相关设备 Download PDF

Info

Publication number
CN110516889B
CN110516889B CN201910829313.0A CN201910829313A CN110516889B CN 110516889 B CN110516889 B CN 110516889B CN 201910829313 A CN201910829313 A CN 201910829313A CN 110516889 B CN110516889 B CN 110516889B
Authority
CN
China
Prior art keywords
prediction
load
basic
learning
per unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910829313.0A
Other languages
English (en)
Other versions
CN110516889A (zh
Inventor
靳冰洁
麻敏华
林勇
郭少青
左郑敏
罗澍忻
韦斌
周姝灿
郑秀波
匡洪辉
张德亮
黄红伟
毛文照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Grid Planning Research Center of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Grid Planning Research Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Grid Planning Research Center of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN201910829313.0A priority Critical patent/CN110516889B/zh
Publication of CN110516889A publication Critical patent/CN110516889A/zh
Application granted granted Critical
Publication of CN110516889B publication Critical patent/CN110516889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种基于Q‑learning的负荷综合预测方法和相关设备，方法包括：获取影响负荷的若干组基础预测参数集，并对其进行标幺化处理和离散化处理，作为环境状态；获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；将负荷预测值和负荷实际值的平方根偏差作为回报函数；根据环境状态、动作空间和回报函数构建预测智能体；基于Q‑learning对预测智能体进行训练；将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中，进行负荷预测。通过将Q强化学习应用于负荷综合预测中，设计了环境状态、动作空间和回报函数，使得所选择预测方法和权重值均可以随基础预测参数而改变，解决了现有的单个预测方法适应性差问题。

Description

一种基于Q-learning的负荷综合预测方法和相关设备
技术领域
本申请涉及电力负荷预测技术领域，尤其涉及一种基于Q-learning的负荷综合预测方法和相关设备。
背景技术
中长期负荷预测是电力系统调度运行中重要的基础数据信息，其预测准确率直接影响到中长期电力电量平衡分析、检修计划安排等运行方式安排内容。为提升中长期负荷预测的准确率，当前学术界与工业界开展了大量研究与实践，其基本思路是采用不同预测方法研究负荷与气象、经济等基础信息之间的相互关系，在此基础上根据不同预测方法的预测效果构建综合预测模型，以实现对中长期负荷的准确预测。
在预测方法研究层面，当前中长期负荷预测中所采用的方法种类众多，不同预测方法所反映的负荷与预测基础信息的特性规律不同，预测方法的精度受预测基础信息影响显著，当预测基础信息变化时，所适用的预测方法不同。
因此，需要提出一种负荷综合预测方法，解决现有的单个预测方法的适应性差问题。
发明内容
本申请实施例提供了一种基于Q-learning的负荷综合预测方法和相关设备，解决现有的单个预测方法适应性差问题
有鉴于此，本申请第一方面提供了一种基于Q-learning的负荷综合预测方法，包括：
获取影响负荷的若干组基础预测参数集，并对所述基础预测参数集进行标幺化处理和离散化处理，作为环境状态；
获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；
将负荷预测值和负荷实际值的平方根偏差作为回报函数；
根据所述环境状态、所述动作空间和所述回报函数构建预测智能体；
基于Q-learning对所述预测智能体进行训练；
将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中，进行负荷预测。
优选的，所述对所述基础预测参数集进行标幺化处理的标幺化公式为：
Figure BDA0002190138670000021
其中，基础预测参数集表示为
Figure BDA0002190138670000022
Figure BDA0002190138670000023
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure BDA0002190138670000024
分别为基础预测参数的最大、最小取值。
优选的，所述回报函数的公式为：
Figure BDA0002190138670000025
其中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值；
Figure BDA0002190138670000026
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure BDA0002190138670000027
为正负偏差，λ为正负偏差系数。
优选的，基础预测参数集和/或所述基础参数包括：温度、风力、降水等气象信息，GDP、居民可支配收入、PPI。
本申请第二方面提供一种基于Q-learning的负荷综合预测装置，包括：
环境状态获取单元，用于获取影响负荷的若干组基础预测参数集，并对其进行标幺化和离散化处理，作为环境状态；
动作空间获取单元，用于获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；
回报函数制定单元，用于将负荷预测值和负荷实际值的平方根偏差作为回报函数；
构建单元，用于根据所述环境状态、所述动作空间和所述回报函数构建预测智能体；
训练单元，用于基于Q-learning对所述预测智能体进行训练；
预测单元，用于将进行标幺化处理和离散化处理后基础参数的输入到已训练收敛的预测智能体中，进行负荷预测。
优选的，所述对所述基础预测参数集进行标幺化处理的标幺化公式为：
Figure BDA0002190138670000031
其中，基础预测参数集表示为
Figure BDA0002190138670000032
Figure BDA0002190138670000033
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure BDA0002190138670000034
分别为基础预测参数的最大、最小取值。
优选的，所述回报函数的公式为：
Figure BDA0002190138670000035
其中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值；
Figure BDA0002190138670000036
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure BDA0002190138670000037
为正负偏差，λ为正负偏差系数。
优选的，基础预测参数集和/或所述基础参数包括：温度、风力、降水等气象信息，GDP、居民可支配收入、PPI。
本申请第三方面提供一种基于Q-learning的负荷综合预测设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的基于Q-learning的负荷综合预测方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种基于Q-learning的负荷综合预测方法，包括：获取影响负荷的若干组基础预测参数集，并对基础预测参数集进行标幺化处理和离散化处理，作为环境状态；获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；将负荷预测值和负荷实际值的平方根偏差作为回报函数；根据环境状态、动作空间和回报函数构建预测智能体；基于Q-learning对预测智能体进行训练；将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中，进行负荷预测。通过将Q强化学习应用于负荷综合预测中，根据负荷预测问题的需要，结合Q-learning实际要求，提出了模型抽象方法，设计了环境状态、动作空间和回报函数，提出了一种动态综合负荷预测方法，其动态体现在所选择预测方法和权重值均可以随基础预测参数而改变。因此，上述负荷综合预测方法实现了综合预测模型中预测方法选用与各预测方法权重的动态调整，提升了综合预测模型与预测基础信息之间的适应性，有效解决了现有的单个预测方法适应性差问题，具有广泛的应用前景。
附图说明
图1为本申请实施例中基于Q-learning的负荷综合预测方法的方法流程图；
图2为本申请实施例中基于Q-learning的负荷综合预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请设计了一种基于Q-learning的负荷综合预测方法和相关设备，考虑到现有技术中采用的负荷预测方法种类众多，例如：利用灰色神经网络与灰色关联度技术，实现中长期日负荷曲线的预测；基于Verhulst-SVM的中长期负荷预测模型；构建偏最小二乘回归模型解决中长期负荷预测问题；基于改进BP神经网络的中长期负荷预测方法；基于改进残差GM(1,1)模型的中长期负荷预测方法。然而不同预测方法所反映的负荷与预测基础信息的特性规律不同，预测方法的精度受预测基础信息影响显著，当预测基础信息变化时，所适用的预测方法不同。因此，本申请所提供的基于Q-learning的负荷综合预测方法旨在解决现有的单个的预测方法适应性差问题。
为了便于理解，请参阅图1，图1为本申请实施例中基于Q-learning的负荷综合预测方法的方法流程图，如图1所示，具体为：
步骤101，获取影响负荷的若干组基础预测参数集，并对基础预测参数集进行标幺化处理和离散化处理，作为环境状态。
所谓环境状态是指智能体决策分析所依据的基础预测参数。在中长期综合负荷预测问题中包括温度、风力、降水等气象信息，GDP、居民可支配收入、PPI等经济指标。根据不同地区中长期负荷预测的实际需要和上述基础预测参数的实际可获取性，取得若干组基础预测参数集，并需要对其进行标幺化和离散化处理。
规定所选取的基础预测参数集可表示为
Figure BDA0002190138670000051
标幺化公式可表示为：
Figure BDA0002190138670000052
式中，
Figure BDA0002190138670000053
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure BDA0002190138670000054
分别为该参数的最大、最小取值。各基础预测参数的标幺值取值范围为0至1，在此基础上可对其离散化处理，一般规定离散取值范围为0至9整数，离散值与标幺值对应关系如表1所示。
表1离散值与标幺值对应表
Figure BDA0002190138670000055
Figure BDA0002190138670000061
步骤102，获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间。
所谓动作空间是指智能体所执行的动作，在中长期综合负荷预测模型中是指所选取的预测方法及其权重。需要说明的是，本申请所提供的预测方法是一种综合预测方法，因此此处选取的预测方法即为现有技术中已存在的多种预测方法。考虑到对上述预测方法及其权重选定均最终需要转化为离散取值，故直接将其按照表2所示的对应关系确定离散值。
表2权重值与其离散值对照表
权重值 离散值
[0,0.1) 0
[0.1,0.2) 1
[0.2,0.3) 2
[0.3,0.4) 3
[0.4,0.5) 4
[0.5,0.6) 5
[0.6,0.7) 6
[0.7,0.8) 7
[0.8,0.9) 8
[0.9,1] 9
按照上述权重值离散化方法，权重离散值取值为0时，表明该预测方法不被选取。
步骤103，将负荷预测值和负荷实际值的平方根偏差作为回报函数。
回报函数设计为综合负荷预测模型的预测准确率，将负荷预测值和负荷实际值的平方根偏差作为回报函数。
进一步的，由于所有预测方法的权重值之和应等于1，考虑到离散化后权重值之和会有所改变，因此在约束条件中引入了正负偏差
Figure BDA0002190138670000071
因此，可表示为：
Figure BDA0002190138670000072
Figure BDA0002190138670000073
式中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值，则
Figure BDA0002190138670000074
为其平方根偏差；/>
Figure BDA0002190138670000075
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure BDA0002190138670000076
为正负偏差，λ为正负偏差系数。
通过在目标函数中引入其最小化目标
Figure BDA0002190138670000077
确保权重值之和趋近于1。λ为正负偏差的系数，由人工给定，应满足λ＞＞1。
步骤104，根据环境状态、动作空间和回报函数构建预测智能体。
智能体训练是指根据待预测对象的历史数据对Q-learning预测智能体进行训练。根据Q-learning的实施要点，需要将实际待研究问题抽象，确定环境状态、动作空间和回报函数三方面内容。因此，根据环境状态、动作空间和回报函数可以构建预测智能体。
步骤105，基于Q-learning对预测智能体进行训练。
Q-learning算法一种免模型强化学习算法，并以时序差分马尔科夫决策过程为基础。在训练过程中，通过对动作-状态值函数的迭代更新，获得最优策略。动作-状态值函数为给定策略下选择动作所获得回报的期望值，可表示为：
Figure BDA0002190138670000078
式中，Q(x,a)为环境状态x下采取动作a的动作-状态值函数，R(x,x',a)为由环境状态x经过动作a作用转移到环境状态x'所获得的回报，P(x'|x,a)为转移概率，
Figure BDA0002190138670000079
为在环境状态x'下所有动作可获得的最大动作-状态值函数。γ为人工给定的折扣因子。Q-learning算法的执行流程包括四个主要步骤，分别为：①构造ε-贪心策略πε，并执行；②更新状态-动作值函数；③策略改进；④收敛判定。考虑到Q-learning属于较为成熟的强化学习方法，这里不再赘述上述四个步骤的智能体训练过程。
步骤106，将进行标幺化处理和离散化处理后基础参数集的输入到已训练收敛的预测智能体中，进行负荷预测。
对于训练成熟，满足收敛条件的智能体，可以用于预测。在预测过程中由于Q-learning采用的是时序差分马尔科夫决策过程，因此需要经过两个步骤。
①对基础参数集实施标幺-离散化处理，具体处理方法与步骤101中环境状态的标幺-离散化一致，这里不再赘述。
②将标幺-离散化后的基础参数集输入已训练收敛的智能体，进行预测。这一步骤也属于Q强化学习的基本操作，即可以得到负荷预测结果。
需要说明的是，此处的基础参数集和上文的基础预测参数集中的数据类型是一样的，基础预测参数集的数据用于训练，基础参数集为实际数据，用于预测。
本申请实施例所提供的基于Q-learning的负荷综合预测方法，通过将Q强化学习应用于负荷综合预测中，根据负荷预测问题的需要，结合Q-learning实际要求，提出了模型抽象方法，设计了环境状态、动作空间和回报函数，提出了一种动态综合负荷预测方法，其动态体现在所选择预测方法和权重值均可以随基础预测参数而改变。因此，上述负荷综合预测方法实现了综合预测模型中预测方法选用与各预测方法权重的动态调整，提升了综合预测模型与预测基础信息之间的适应性，有效解决了现有的单个预测方法适应性差问题，具有广泛的应用前景。
本申请第二方面提供了一种基于Q-learning的负荷综合预测装置，包括：
环境状态获取单元201，用于获取影响负荷的若干组基础预测参数集，并对其进行标幺化和离散化处理，作为环境状态；
动作空间获取单元202，用于获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；
回报函数制定单元203，用于将负荷预测值和负荷实际值的平方根偏差作为回报函数；
构建单元204，用于根据环境状态、动作空间和回报函数构建预测智能体；
训练单元205，用于基于Q-learning对预测智能体进行训练；
预测单元206，用于将进行标幺化处理和离散化处理后基础参数的输入到已训练收敛的预测智能体中，进行负荷预测。
优选的，对基础预测参数集进行标幺化处理的标幺化公式为：
Figure BDA0002190138670000091
其中，基础预测参数集表示为
Figure BDA0002190138670000092
Figure BDA0002190138670000093
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure BDA0002190138670000094
分别为基础预测参数的最大、最小取值。
优选的，回报函数的公式为：
Figure BDA0002190138670000095
其中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值；
Figure BDA0002190138670000096
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure BDA0002190138670000097
为正负偏差，λ为正负偏差系数。
优选的，基础预测参数集和/或基础参数包括：温度、风力、降水等气象信息，GDP、居民可支配收入、PPI。
本申请第三方面提供了一种基于Q-learning的负荷综合预测设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述第一方面的基于Q-learning的负荷综合预测方法。
本申请第四方面提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质用于存储程序代码，程序代码用于执行上述第一方面的基于Q-learning的负荷综合预测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种基于Q-learning的负荷综合预测方法，其特征在于，包括：
获取影响负荷的若干组基础预测参数集，并对所述基础预测参数集进行标幺化处理和离散化处理，作为环境状态；
获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；
将负荷预测值和负荷实际值的平方根偏差作为回报函数；
根据所述环境状态、所述动作空间和所述回报函数构建预测智能体；
基于Q-learning对所述预测智能体进行训练；
将进行标幺化处理和离散化处理后基础参数集输入到已训练收敛的预测智能体中，进行负荷预测；
所述回报函数的公式为：
Figure FDA0004223244330000011
Figure FDA0004223244330000012
其中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值；
Figure FDA0004223244330000013
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure FDA0004223244330000014
为正负偏差，λ为正负偏差系数。
2.根据权利要求1所述的基于Q-learning的负荷综合预测方法，其特征在于，所述对所述基础预测参数集进行标幺化处理的标幺化公式为：
Figure FDA0004223244330000015
其中，基础预测参数集表示为
Figure FDA0004223244330000016
Figure FDA0004223244330000017
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure FDA0004223244330000018
分别为基础预测参数的最大、最小取值。
3.根据权利要求1所述的基于Q-learning的负荷综合预测方法，其特征在于，基础预测参数集和/或所述基础参数集均包括：温度、风力、降水信息、GDP、居民可支配收入和PPI。
4.一种基于Q-learning的负荷综合预测装置，其特征在于，包括：
环境状态获取单元，用于获取影响负荷的若干组基础预测参数集，并对其进行标幺化和离散化处理，作为环境状态；
动作空间获取单元，用于获取若干种负荷预测方法，并对其权重进行离散化处理，作为动作空间；
回报函数制定单元，用于将负荷预测值和负荷实际值的平方根偏差作为回报函数；
构建单元，用于根据所述环境状态、所述动作空间和所述回报函数构建预测智能体；
训练单元，用于基于Q-learning对所述预测智能体进行训练；
预测单元，用于将进行标幺化处理和离散化处理后基础参数集输入到已训练收敛的预测智能体中，进行负荷预测；
所述回报函数的公式为：
Figure FDA0004223244330000021
Figure FDA0004223244330000022
其中，Pt F、Pt R分别为时段t的负荷预测值和负荷实际值；
Figure FDA0004223244330000023
为负荷预测方法i的权重离散值，NI为负荷预测方法的数量；/>
Figure FDA0004223244330000024
为正负偏差，λ为正负偏差系数。
5.根据权利要求4所述的基于Q-learning的负荷综合预测装置，其特征在于，所述对所述基础预测参数集进行标幺化处理的标幺化公式为：
Figure FDA0004223244330000025
其中，基础预测参数集表示为
Figure FDA0004223244330000026
Figure FDA0004223244330000027
分别为第i项基础预测参数在时段t的标幺值和实际值，/>
Figure FDA0004223244330000028
分别为基础预测参数的最大、最小取值。
6.根据权利要求4所述的基于Q-learning的负荷综合预测装置，其特征在于，基础预测参数集和/或所述基础参数集均包括：温度、风力、降水信息、GDP、居民可支配收入和PPI。
7.一种基于Q-learning的负荷综合预测设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-3任一项所述的基于Q-learning的负荷综合预测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-3任一项所述的基于Q-learning的负荷综合预测方法。
CN201910829313.0A 2019-09-03 2019-09-03 一种基于Q-learning的负荷综合预测方法和相关设备 Active CN110516889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910829313.0A CN110516889B (zh) 2019-09-03 2019-09-03 一种基于Q-learning的负荷综合预测方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829313.0A CN110516889B (zh) 2019-09-03 2019-09-03 一种基于Q-learning的负荷综合预测方法和相关设备

Publications (2)

Publication Number Publication Date
CN110516889A CN110516889A (zh) 2019-11-29
CN110516889B true CN110516889B (zh) 2023-07-07

Family

ID=68630642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829313.0A Active CN110516889B (zh) 2019-09-03 2019-09-03 一种基于Q-learning的负荷综合预测方法和相关设备

Country Status (1)

Country Link
CN (1) CN110516889B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523715B (zh) * 2020-04-15 2022-04-05 广东电网有限责任公司 一种负荷综合预测方法
CN111738529B (zh) * 2020-07-28 2022-12-23 南方电网科学研究院有限责任公司 基于强化学习的综合能源系统需求响应方法、系统及设备
CN112651770B (zh) * 2020-12-07 2022-05-17 山东大学 电力现货市场售电商负荷申报优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617564A (zh) * 2013-12-04 2014-03-05 国家电网公司 基于区域负荷预测值综合评价的全网负荷预测方法
CN108520472A (zh) * 2018-02-28 2018-09-11 北京邮电大学 一种处理电力系统数据的方法、装置及电子设备
CN108932671A (zh) * 2018-06-06 2018-12-04 上海电力学院 一种采用深度q神经网络调参的lstm风电负荷预测方法
CN109214605A (zh) * 2018-11-12 2019-01-15 国网山东省电力公司电力科学研究院 电力系统短期负荷概率预测方法、装置及系统
CN109978268A (zh) * 2019-03-29 2019-07-05 广东电网有限责任公司 一种短期负荷预测方法、系统及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617564A (zh) * 2013-12-04 2014-03-05 国家电网公司 基于区域负荷预测值综合评价的全网负荷预测方法
CN108520472A (zh) * 2018-02-28 2018-09-11 北京邮电大学 一种处理电力系统数据的方法、装置及电子设备
CN108932671A (zh) * 2018-06-06 2018-12-04 上海电力学院 一种采用深度q神经网络调参的lstm风电负荷预测方法
CN109214605A (zh) * 2018-11-12 2019-01-15 国网山东省电力公司电力科学研究院 电力系统短期负荷概率预测方法、装置及系统
CN109978268A (zh) * 2019-03-29 2019-07-05 广东电网有限责任公司 一种短期负荷预测方法、系统及相关装置

Also Published As

Publication number Publication date
CN110516889A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN113962364B (zh) 一种基于深度学习的多因素用电负荷预测方法
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
CN111353656B (zh) 一种基于生产计划的钢铁企业氧气负荷预测方法
CN110516889B (zh) 一种基于Q-learning的负荷综合预测方法和相关设备
Wang et al. A seasonal GM (1, 1) model for forecasting the electricity consumption of the primary economic sectors
CN109816221B (zh) 项目风险决策方法、装置、计算机设备和存储介质
Xie et al. A new method for crude oil price forecasting based on support vector machines
Pousinho et al. A hybrid PSO–ANFIS approach for short-term wind power prediction in Portugal
CN112215442B (zh) 电力系统短期负荷预测方法、系统、设备及介质
CN107480815A (zh) 一种电力系统台区负荷预测方法
CN109242139A (zh) 一种电力日峰值负荷预测方法
CN110689190A (zh) 一种电网负荷预测方法、装置及相关设备
CN110781595B (zh) 能源使用效率pue的预测方法、装置、终端及介质
CN109934422A (zh) 一种基于时间序列数据分析的神经网络风速预测方法
CN115438833A (zh) 一种短期电力负荷混合预测方法
Zeng et al. Forecasting the total energy consumption in China using a new-structure grey system model
Gama et al. Stream-based electricity load forecast
CN115034430A (zh) 碳排放量预测方法、装置、终端及存储介质
CN115759469A (zh) 一种针对峰值负荷及其出现时间的预测方法及其装置
CN111191815B (zh) 一种用于风电集群的超短期出力预测方法及系统
CN115374998A (zh) 基于注意力机制和CNN-BiGRU的负荷预测方法
CN113591391A (zh) 一种电力负荷控制装置、控制方法、终端、介质及应用
CN114372691A (zh) 一种基于全息感知的电能替代潜力估算方法
CN114202121A (zh) 一种电网系统低碳运行方法及其相关装置
CN113705929A (zh) 一种基于负荷特征曲线及典型特征值融合的春节假期负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant