CN113555870B - 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法 - Google Patents

一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法 Download PDF

Info

Publication number
CN113555870B
CN113555870B CN202110845507.7A CN202110845507A CN113555870B CN 113555870 B CN113555870 B CN 113555870B CN 202110845507 A CN202110845507 A CN 202110845507A CN 113555870 B CN113555870 B CN 113555870B
Authority
CN
China
Prior art keywords
photovoltaic
output
distribution network
node
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110845507.7A
Other languages
English (en)
Other versions
CN113555870A (zh
Inventor
钱仲豪
茅雷
周亮
袁松
李云鹏
陆凌
徐晓轶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Original Assignee
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co filed Critical Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority to CN202110845507.7A priority Critical patent/CN113555870B/zh
Publication of CN113555870A publication Critical patent/CN113555870A/zh
Application granted granted Critical
Publication of CN113555870B publication Critical patent/CN113555870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers

Abstract

本发明提供了一种基于Q‑learning光伏预测的配电网多时间尺度优化调度方法，包括以下步骤：(1)：基于光伏出力的历史数据，利用K‑means的聚类算法对所述光伏出力进行聚类；(2)：根据光伏出力聚类结果分为不同的场景，利用Q‑learning光伏预测方法分别对不同场景下光伏出力进行预测，有效的提高光伏出力的预测精度；(3)：基于光伏预测数据，建立配电网多时间尺度优化调度模型，主要分为日前优化，日内滚动优化以及实施反馈优化，通过缩小时间尺度进一步提高预测精度。本发明提供一种基于Q‑learning光伏预测的配电网多时间尺度优化调度方法，能够有效应对光伏出力的不确定性，实现配电网高效优化调度。

Description

一种基于Q-learning光伏预测的配电网多时间尺度优化调度 方法
技术领域
本发明属于配电网运行与规划技术领域，特别涉及一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法。
背景技术
近年来，多时间尺度优化调度越来越多的应用到配电网的优化调度中。过往学者为了改善配电系统内风电、光伏出力随机性和负荷波动导致的电压稳定性问题，建立了基于模型预测控制的配电网多时间尺度无功优化模型，包含日前优化调节层和实时滚动调控层。提出了一种主动配电网多时间尺度优化调度方法，该方法在研究电量电价弹性对电动汽车充电影响机理的基础上，基于不同时间尺度可再生能源预测数据，决策电动汽车、储能和柔性负荷的调用。分析配电网内可调资源有功无功协调特性，提出基于模型预测控制的主动配电网多时间尺度有功无功协调调度方法。
上述方法虽然通过缩小时间尺度可以有效的提升了配电网在应对可再生能源能源不确定性方面的能力，但是上述方法均未对光伏出力的预测方法进行研究。光伏出力的准确预测有助于电网调度部门实时地调整调度策略，故在配电网的优化调度中，光伏出力的预测方法是一个重要研究热点。目前，国内外的许多学者已经针对配电网分布式优化调度进行深入研究。过往学者采用隐马尔可夫链模型，分析历史数据并基于求得的状态转换矩阵，对光伏短期出力进行直接预测；也有学者首先利用相空间重构对光伏出力时序混沌特性进行论证与分析，再在点空间向量的基础上使用RBF神经网络进行可再生能源出力超短期预测，上述关于光伏预测的研究都很少提及考虑天气因素，光伏出力受天气影响较大，为了更加准确的预测，考虑天气因素是十分必要的。如今微电网发展迅速，远离大陆的海岛通常使用微网的方式运行。而由于地处偏远地区，气象局很难实时准确地掌握当地的天气信息。
本发明涉及一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法，建立的基于Q-learning光伏预测方法的配电网多时间尺度优化模型，能够有效应对光伏出力的不确定性，实现配电网高效优化调度。同时所提模型中采用多时间尺度的优化调度方法，使得所提调度方法更有实际意义。本发明主要工作及创新点如下：1)提出一种结合K-means聚类和Q-learning算法的光伏预测方法；2)提出基于Q-learning光伏预测方法的配电网多时间尺度优化模型。
发明内容
本发明提供一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法，能够有效应对光伏出力的不确定性，实现配电网高效优化调度。
本发明具体为一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法，所述配电网多时间尺度优化调度方法包括以下步骤：
步骤(1)：基于光伏出力的历史数据，利用K-means的聚类算法对所述光伏出力进行聚类；
步骤(2)：根据所述光伏出力聚类结果分为不同的场景，利用Q-learning光伏预测方法分别对不同场景下所述光伏出力进行预测，有效的提高光伏出力的预测精度；
步骤(3)：基于光伏预测数据，建立所述配电网多时间尺度优化调度模型，主要分为日前优化，日内滚动优化以及实时反馈优化，通过缩小时间尺度进一步提高预测精度。
步骤(1)中，将历史时段进行信息离散化，将所述历史时段每天分为n个时间区间，并将相应预测负荷以相同时间尺度离散化，为建立一个含多时段的，动态的多尺度优化模型做准备；紧接着将历史光伏出力信息基于K-means聚类，以实时辐射度变化衰减程度、出力时间以及实际出力为聚类特征，依据实际光伏的历史数据，对24小时每个采样间隔分别进行光伏出力的聚类分析；最终将所述历史数据的各采样间隔数据划分为晴天(k＝1)、阴天(k＝2)、雨天(k＝3)，其中k为天气场景编号。
步骤(2)中，在对所述历史数据进行天气场景聚类划分之后，参照光伏实时天气状况，采用Q-learning算法对天气场景的历史数据进行强化学习：首先，将光伏的出力离散化，将光伏出力分为若干个离散的状态区间；其次，设置若干个奖励矩阵R，其中n为步长，/>表示t时刻对t+n时刻的延时奖励值，/>为所述光伏出力总的状态区间数；
对于训练集中每种状态的转换，都在R中相应位置累加入延时奖励值，不存在的状态转换置负数。
利用智能体(Agent)进行无监督学习，设置与R相似的状态变换矩阵Q；所述矩阵Q被初始化为0，在智能体对训练集的不断学习中，所述矩阵Q在反复的经历中不断累加奖励，所述矩阵Q的行代表所述智能体当前的状态，列代表到达下一个状态的可能的动作；Q-learning能够由一组时间序列的状态来得出未来各状态的收益，对于经验累加至状态转换矩阵Q的方法，对Bellman方程进行适当修改，从而考虑之前状态对未来状态的影响：Q(s',s)＝Q(s',s)+γ[-Q(s',s)+R(s”,s)+γ2[R(s”',s)+γ3[R(s””,s)+......]]]，其中，s′代表s之前的状态，s″代表s′之前的状态，以此类推；γ是时间相关因素；所述智能体对历史数据的掌握可以由所述矩阵Q全部表征，其中包括每一种状态到另一种状态累计奖励；
步骤(3)中，所建立的所述配电网多时间尺度优化调度优化目标如下：
(1)所述日前优化
所述配电网日前优化模型是在保证电网安全性前提下，日运行成本最小为目标函数，具体如下所示：
其中，FDA为日前优化总运行成本，为日前阶段上级电网的购电成本，/>为光伏发电成本、/>为微型燃气轮机发电成本、/>为可控负荷的发电成本、/>为储能装置的发电成本、/>为有载调压器的操作成本、/>为投切电容器的操作成本；
其中，/>为所述配电网所连接的所述微型燃气轮机的集合，Nt为调度周期(24h)，c1、c2、c3分别为所述微型燃气轮机的成本系数，PDG,i,t为t时刻i节点所连接的所述微型燃气轮机的有功出力，Δt为时间间隔(1h)；
其中，/>为所述配电网所连接的所述可控负荷的集合，rIL为所述可控负荷的成本系数，PIL,i,t为t时刻i节点所连接的所述可控负荷的有功出力；
其中，/>为所述配电网所连接的所述储能装置的集合，rESS为所述储能装置的成本系数，/>为t时刻i节点所连接的所述储能装置的充放电功率；
其中，/>为所述配电网所连接的所述有载调压器的集合，rOLTC为所述有载调压器的成本系数，ΔUOLTC,i,T为t时刻i节点所连接的所述有载调压器的档位变化；
其中，/>为所述配电网所连接的所述投切电容器的集合，rCB为所述投切电容器的成本系数，ΔUCB,i,T为t时刻i节点所连接的所述投切电容器的档位变化；
(2)所述日内滚动优化
所述配电网日内滚动优化模型是在日前优化确定慢动作设备运行状态的基础上，以未来MΔT(4h)运行成本最小为目标函数，具体如下所示：
其中，FDI为日内滚动优化的运行成本，/>为日内滚动阶段所述上级电网的购电成本，/>为日内滚动阶段所述微型燃气轮机的发电成本，/>为日内滚动阶段所述储能装置的发电成本；其具体计算公式和日前阶段类似；
(3)所述实时反馈优化
实时反馈校正是在日内滚动确定各可调可控设备的出力基础上，以所述可调可控设备的出力调整为目标函数，具体如下所示：
其中，为实时反馈阶段所述配电网中可调可控变量的集合，具体包括所述光伏有功无功出力PPV和QPV，所述微型燃气轮机的有功无功出力PDG和QDG，无功补偿装置的无功出力QSVC以及所述储能装置的充放电功率/>和/>uFK ,real、ΔuFK、uDI分别为实际的可控变量的出力值，所述可控变量的出力调整量以及日内滚动阶段所求的可控量的出力值；
建立的所述配电网多时间尺度优化调度约束如下：
(1)系统安全约束
其中Vi,t为t时刻i节点电压值，Vij,t为t时刻ij支路的电流值，Vi min、Vi max分别为i节点电压的上下限，/>为ij支路的电流值的上限；
(2)可调可控资源约束
所述可调可控资源主要包括所述光伏、可中断负荷、所述无功补偿装置、分组投切电容器组、所述微型燃气轮机、所述有载调压器以及所述储能装置，具体约束如下所示：
所述光伏约束：PPV,i,t≤PPV,i,t,pre,QPV,i,t≤QPV,i,t,pre，
所述可中断负荷约束：
所述无功补偿装置SVC约束：
所述分组投切电容器组约束：
所述微型燃气轮机约束：
所述有载调压器约束：
所述储能装置约束：
其中，PPV,i,t为t时刻i节点所连接的所述光伏的有功出力；QPV,i,t、QSVC,i,t、QCB,i,t和QDG,i,t分别为t时刻i节点所连接的所述光伏、所述无功补偿装置、所述投切电容器组以及所述微型燃气轮机的无功出力；PPV,i,t,pre、QPV,i,t,pre分别为所述光伏有功无功出力预测值；为i节点所连接的所述可中断负荷的最大值；/>分别为所述无功补偿装置无功出力上下限；QCB,step,i,t为每组所述电容器的无功功率；σCB,i,t为t时刻i节点所连接的所述电容器投入组数；NCB,i、KCB,i分别为所述电容器组的最大投切次数以及每次投切的最大组数；/> 分别为i节点所连接的所述微型燃气轮机有功无功出力最大值；/>分别为i节点所连接的所述微型燃气轮机爬坡功率的上下限；Mij,t为t时刻ij支路所连接所述有载调压器的档位；/>为ij支路OLTC档位的上下限；kij0和Δkij为ij支路OLTC初始档位以及相邻两个档位差值；Ebat,i,t为t时刻i节点所连接的所述储能装置电量；/>为所述储能装置电量最大值；Pi ch,max、Pi dis,max分别为i节点所连接的所述储能装置充放电功率最大值；ηch、ηdis为充放电效率；
(3)Disflow潮流约束
其中，Pij,t、Qij,t、Iij,t分别为t时刻ij支路的有功功率、无功功率以及电流值；Vj,t为t时刻j节点的电压值；分别为i节点j节点的有功无功负荷；rij、xij分别为支路ij的电阻电抗。
与现有技术相比，有益效果是：所述配电网多时间尺度优化调度方法建立的基于Q-learning光伏预测方法的配电网多时间尺度优化模型，能够有效应对光伏出力的不确定性，实现配电网高效优化调度。同时所提模型中采用多时间尺度的优化调度方法，使得所提调度方法更有实际意义。
附图说明
图1为本发明一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法的工作流程图；
图2为光伏出力预测流程图。
具体实施方式
下面结合附图对本发明一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法的具体实施方式做详细阐述。
如图1所示，配电网多时间尺度优化调度方法包括以下步骤：
步骤(1)：基于光伏出力的历史数据，利用K-means的聚类算法对所述光伏出力进行聚类；
步骤(2)：根据所述光伏出力聚类结果分为不同的场景，利用Q-learning光伏预测方法分别对不同场景下所述光伏出力进行预测，有效的提高光伏出力的预测精度；
步骤(3)：基于光伏预测数据，建立所述配电网多时间尺度优化调度模型，主要分为日前优化，日内滚动优化以及实时反馈优化，通过缩小时间尺度进一步提高预测精度。
步骤(1)中，将历史时段进行信息离散化，将所述历史时段每天分为n个时间区间，并将相应预测负荷以相同时间尺度离散化，为建立一个含多时段的，动态的多尺度优化模型做准备；紧接着将历史光伏出力信息基于K-means聚类，以实时辐射度变化衰减程度、出力时间以及实际出力为聚类特征，依据实际光伏的历史数据，对24小时每个采样间隔分别进行光伏出力的聚类分析；最终将所述历史数据的各采样间隔数据划分为晴天(k＝1)、阴天(k＝2)、雨天(k＝3)，其中k为天气场景编号。
步骤(2)中，在对所述历史数据进行天气场景聚类划分之后，参照光伏实时天气状况，采用Q-learning算法对天气场景的历史数据进行强化学习：首先，将光伏的出力离散化，将光伏出力分为若干个离散的状态区间；其次，设置若干个奖励矩阵R，其中n为步长，/>表示t时刻对t+n时刻的延时奖励值，/>为所述光伏出力总的状态区间数；
对于训练集中每种状态的转换，都在R中相应位置累加入延时奖励值，不存在的状态转换置负数。
利用智能体(Agent)进行无监督学习，设置与R相似的状态变换矩阵Q；所述矩阵Q被初始化为0，在智能体对训练集的不断学习中，所述矩阵Q在反复的经历中不断累加奖励，所述矩阵Q的行代表所述智能体当前的状态，列代表到达下一个状态的可能的动作；Q-learning能够由一组时间序列的状态来得出未来各状态的收益，对于经验累加至状态转换矩阵Q的方法，对Bellman方程进行适当修改，从而考虑之前状态对未来状态的影响：Q(s',s)＝Q(s',s)+γ[-Q(s',s)+R(s”,s)+γ2[R(s”',s)+γ3[R(s””,s)+......]]]，其中，s′代表s之前的状态，s″代表s′之前的状态，以此类推；γ是时间相关因素；所述智能体对历史数据的掌握可以由所述矩阵Q全部表征，其中包括每一种状态到另一种状态累计奖励；故在对训练集中的所有数据训练分析后，将主动配电网优化调度分析之前各可再生能源出力，时间，天气作为初始状态，依据训练得出的矩阵Q选择奖励值高的行为，可以对光伏的出力进行短时间多时间尺度的预测。如图2所示，为光伏出力预测流程图。
基于某光伏公司#1～#200逆变器三年半出力实际数据，使用K-means聚类进行光伏出力的聚类分析，依据实际天气情况将历史数据划分为三类场景：晴天，阴天，雨天。以1h为时间间隔进行聚类。
步骤(3)中，所建立的所述配电网多时间尺度优化调度优化目标如下：
(1)所述日前优化
所述配电网日前优化模型是在保证电网安全性前提下，日运行成本最小为目标函数，具体如下所示：
其中，FDA为日前优化总运行成本，为日前阶段上级电网的购电成本，/>为光伏发电成本、/>为微型燃气轮机发电成本、/>为可控负荷的发电成本、/>为储能装置的发电成本、/>为有载调压器的操作成本、/>为投切电容器的操作成本；
其中，/>为所述配电网所连接的所述微型燃气轮机的集合，Nt为调度周期(24h)，c1、c2、c3分别为所述微型燃气轮机的成本系数，PDG,i,t为t时刻i节点所连接的所述微型燃气轮机的有功出力，Δt为时间间隔(1h)；
其中，/>为所述配电网所连接的所述可控负荷的集合，rIL为所述可控负荷的成本系数，PIL,i,t为t时刻i节点所连接的所述可控负荷的有功出力；
其中，/>为所述配电网所连接的所述储能装置的集合，rESS为所述储能装置的成本系数，/>为t时刻i节点所连接的所述储能装置的充放电功率；
其中，/>为所述配电网所连接的所述有载调压器的集合，rOLTC为所述有载调压器的成本系数，ΔUOLTC,i,T为t时刻i节点所连接的所述有载调压器的档位变化；
其中，/>为所述配电网所连接的所述投切电容器的集合，rCB为所述投切电容器的成本系数，ΔUCB,i,T为t时刻i节点所连接的所述投切电容器的档位变化；
(2)所述日内滚动优化
所述配电网日内滚动优化模型是在日前优化确定慢动作设备运行状态的基础上，以未来MΔT(4h)运行成本最小为目标函数，具体如下所示：
其中，FDI为日内滚动优化的运行成本，/>为日内滚动阶段所述上级电网的购电成本，/>为日内滚动阶段所述微型燃气轮机的发电成本，/>为日内滚动阶段所述储能装置的发电成本；其具体计算公式和日前阶段类似；
(3)所述实时反馈优化
实时反馈校正是在日内滚动确定各可调可控设备的出力基础上，以所述可调可控设备的出力调整为目标函数，具体如下所示：
其中，为实时反馈阶段所述配电网中可调可控变量的集合，具体包括所述光伏有功无功出力PPV和QPV，所述微型燃气轮机的有功无功出力PDG和QDG，无功补偿装置的无功出力QSVC以及所述储能装置的充放电功率/>和/>uFK ,real、ΔuFK、uDI分别为实际的可控变量的出力值，所述可控变量的出力调整量以及日内滚动阶段所求的可控量的出力值；
建立的所述配电网多时间尺度优化调度约束如下：
(1)系统安全约束
其中Vi,t为t时刻i节点电压值，Vij,t为t时刻ij支路的电流值，Vi min、Vi max分别为i节点电压的上下限，/>为ij支路的电流值的上限；
(2)可调可控资源约束
所述可调可控资源主要包括所述光伏、可中断负荷、所述无功补偿装置、分组投切电容器组、所述微型燃气轮机、所述有载调压器以及所述储能装置，具体约束如下所示：
所述光伏约束：PPV,i,t≤PPV,i,t,pre,QPV,i,t≤QPV,i,t,pre，
所述可中断负荷约束：
所述无功补偿装置SVC约束：
所述分组投切电容器组约束：
所述微型燃气轮机约束：
所述有载调压器约束：
所述储能装置约束：
其中，PPV,i,t为t时刻i节点所连接的所述光伏的有功出力；QPV,i,t、QSVC,i,t、QCB,i,t和QDG,i,t分别为t时刻i节点所连接的所述光伏、所述无功补偿装置、所述投切电容器组以及所述微型燃气轮机的无功出力；PPV,i,t,pre、QPV,i,t,pre分别为所述光伏有功无功出力预测值；为i节点所连接的所述可中断负荷的最大值；/>分别为所述无功补偿装置无功出力上下限；QCB,step,i,t为每组所述电容器的无功功率；σCB,i,t为t时刻i节点所连接的所述电容器投入组数；NCB,i、KCB,i分别为所述电容器组的最大投切次数以及每次投切的最大组数；/> 分别为i节点所连接的所述微型燃气轮机有功无功出力最大值；/>分别为i节点所连接的所述微型燃气轮机爬坡功率的上下限；Mij,t为t时刻ij支路所连接所述有载调压器的档位；/>为ij支路OLTC档位的上下限；kij0和Δkij为ij支路OLTC初始档位以及相邻两个档位差值；Ebat,i,t为t时刻i节点所连接的所述储能装置电量；/>为所述储能装置电量最大值；Pi ch,max、Pi dis,max分别为i节点所连接的所述储能装置充放电功率最大值；ηch、ηdis为充放电效率；
(3)Disflow潮流约束
其中，Pij,t、Qij,t、Iij,t分别为t时刻ij支路的有功功率、无功功率以及电流值；Vj,t为t时刻j节点的电压值；分别为i节点j节点的有功无功负荷；rij、xij分别为支路ij的电阻电抗。
最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (2)

1.一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法，其特征在于，所述配电网多时间尺度优化调度方法包括以下步骤：
步骤1：基于光伏出力的历史数据，利用K-means的聚类算法对所述光伏出力进行聚类：将历史时段进行信息离散化，将所述历史时段每天分为n个时间区间，并将相应预测负荷以相同时间尺度离散化，为建立一个含多时段的、动态的多尺度优化模型做准备；紧接着将历史光伏出力信息基于K-means聚类，以实时辐射度变化衰减程度、出力时间以及实际出力为聚类特征，依据实际光伏的历史数据，对24小时每个采样间隔分别进行光伏出力的聚类分析；最终将所述历史数据的各采样间隔数据划分为晴天k＝1、阴天k＝2、雨天k＝3，其中k为天气场景编号；
步骤2：根据所述光伏出力聚类结果分为不同的场景，利用Q-learning光伏预测方法分别对不同场景下所述光伏出力进行预测，提高光伏出力的预测精度：
在对所述历史数据进行天气场景聚类划分之后，参照光伏实时天气状况，采用Q-learning算法对天气场景的历史数据进行强化学习：首先，将光伏的出力离散化，将光伏出力分为若干个离散的状态区间；其次，设置若干个奖励矩阵R，
其中n为步长，/>表示t时刻对t+n时刻的延时奖励值，/>为所述光伏出力总的状态区间数；
利用智能体Agent进行无监督学习，设置与R相似的状态变换矩阵Q；所述矩阵Q被初始化为0，在智能体对训练集的不断学习中，所述矩阵Q在反复的经历中不断累加奖励，所述矩阵Q的行代表所述智能体当前的状态，列代表到达下一个状态的可能的动作；Q-learning能够由一组时间序列的状态来得出未来各状态的收益，对于经验累加至状态转换矩阵Q的方法，对Bellman方程进行适当修改，从而考虑之前状态对未来状态的影响：Q(s',s)＝Q(s',s)+γ[-Q(s',s)+R(s”,s)+γ2[R(s”',s)+γ3[R(s””,s)+......]]]，其中，s′代表s之前的状态，s″代表s′之前的状态；γ是时间相关因素；所述智能体对历史数据的掌握可以由所述矩阵Q全部表征，其中包括每一种状态到另一种状态累计奖励；
步骤3：基于光伏预测数据，建立配电网多时间尺度优化调度模型，分为日前优化、日内滚动优化以及实时反馈优化，通过缩小时间尺度进一步提高预测精度。
2.根据权利要求1所述的一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法，其特征在于，步骤3中，建立的所述配电网多时间尺度优化调度优化目标如下：
(1)所述日前优化
所述配电网日前优化模型是在保证电网安全性前提下，日运行成本最小为目标函数，具体如下所示：
其中，FDA为日前优化总运行成本，为日前阶段上级电网的购电成本，/>为光伏发电成本、/>为微型燃气轮机发电成本、/>为可控负荷的发电成本、/>为储能装置的发电成本、/>为有载调压器的操作成本、/>为投切电容器的操作成本；
其中，/>为所述配电网所连接的所述微型燃气轮机的集合，Nt为调度周期，c1、c2、c3分别为所述微型燃气轮机的成本系数，PDG,i,t为t时刻i节点所连接的所述微型燃气轮机的有功出力，Δt为时间间隔；
其中，/>为所述配电网所连接的所述可控负荷的集合，rIL为所述可控负荷的成本系数，PIL,i,t为t时刻i节点所连接的所述可控负荷的有功出力；
其中，/>为所述配电网所连接的所述储能装置的集合，rESS为所述储能装置的成本系数，/>为t时刻i节点所连接的所述储能装置的充放电功率；
其中，/>为所述配电网所连接的所述有载调压器的集合，rOLTC为所述有载调压器的成本系数，ΔUOLTC,i,T为t时刻i节点所连接的所述有载调压器的档位变化；
其中，/>为所述配电网所连接的所述投切电容器的集合，rCB为所述投切电容器的成本系数，ΔUCB,i,T为t时刻i节点所连接的所述投切电容器的档位变化；
(2)所述日内滚动优化
所述配电网日内滚动优化模型是在日前优化确定慢动作设备运行状态的基础上，以未来MΔT运行成本最小为目标函数，具体如下所示：
其中，FDI为日内滚动优化的运行成本，/>为日内滚动阶段所述上级电网的购电成本，/>为日内滚动阶段所述微型燃气轮机的发电成本，/>为日内滚动阶段所述储能装置的发电成本；
(3)所述实时反馈优化
实时反馈校正是在日内滚动确定各可调可控设备的出力基础上，以所述可调可控设备的出力调整为目标函数，具体如下所示：
其中，为实时反馈阶段所述配电网中可调可控变量的集合，具体包括所述光伏有功无功出力PPV和QPV，所述微型燃气轮机的有功无功出力PDG和QDG，无功补偿装置的无功出力QSVC以及所述储能装置的充放电功率/>和/>uFK,real、ΔuFK、uDI分别为实际的可控变量的出力值，所述可控变量的出力调整量以及日内滚动阶段所求的可控量的出力值；
建立的所述配电网多时间尺度优化调度约束如下：
(1)系统安全约束
其中Vi,t为t时刻i节点电压值，Vij,t为t时刻ij支路的电流值，Vi min、Vi max分别为i节点电压的上下限，/>为ij支路的电流值的上限；
(2)可调可控资源约束
所述可调可控资源主要包括所述光伏、可中断负荷、所述无功补偿装置、分组投切电容器组、所述微型燃气轮机、所述有载调压器以及所述储能装置，具体约束如下所示：
所述光伏约束：PPV,i,t≤PPV,i,t,pre,QPV,i,t≤QPV,i,t,pre，
所述可中断负荷约束：
所述无功补偿装置SVC约束：
所述分组投切电容器组约束：
所述微型燃气轮机约束：
所述有载调压器约束：
所述储能装置约束：
其中，PPV,i,t为t时刻i节点所连接的所述光伏的有功出力；QPV,i,t、QSVC,i,t、QCB,i,t和QDG,i,t分别为t时刻i节点所连接的所述光伏、所述无功补偿装置、所述投切电容器组以及所述微型燃气轮机的无功出力；PPV,i,t,pre、QPV,i,t,pre分别为所述光伏有功无功出力预测值；为i节点所连接的所述可中断负荷的最大值；/>分别为所述无功补偿装置无功出力上下限；QCB,step,i,t为每组所述电容器的无功功率；σCB,i,t为t时刻i节点所连接的所述电容器投入组数；NCB,i、KCB,i分别为所述电容器组的最大投切次数以及每次投切的最大组数； 分别为i节点所连接的所述微型燃气轮机有功无功出力最大值；/>分别为i节点所连接的所述微型燃气轮机爬坡功率的上下限；Mij,t为t时刻ij支路所连接所述有载调压器的档位；/>为ij支路OLTC档位的上下限；kij0和Δkij为ij支路OLTC初始档位以及相邻两个档位差值；Ebat,i,t为t时刻i节点所连接的所述储能装置电量；/>为所述储能装置电量最大值；Pi ch,max、Pi dis,max分别为i节点所连接的所述储能装置充放电功率最大值；ηch、ηdis为充放电效率；
(3)Disflow潮流约束
其中，Pij,t、Qij,t、Iij,t分别为t时刻ij支路的有功功率、无功功率以及电流值；Vj,t为t时刻j节点的电压值；分别为i节点j节点的有功无功负荷；rij、xij分别为支路ij的电阻电抗。
CN202110845507.7A 2021-07-26 2021-07-26 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法 Active CN113555870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110845507.7A CN113555870B (zh) 2021-07-26 2021-07-26 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110845507.7A CN113555870B (zh) 2021-07-26 2021-07-26 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法

Publications (2)

Publication Number Publication Date
CN113555870A CN113555870A (zh) 2021-10-26
CN113555870B true CN113555870B (zh) 2023-10-13

Family

ID=78132822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110845507.7A Active CN113555870B (zh) 2021-07-26 2021-07-26 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法

Country Status (1)

Country Link
CN (1) CN113555870B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109687510A (zh) * 2018-12-11 2019-04-26 东南大学 一种计及不确定性的配电网多时间尺度优化运行方法
CN110276698A (zh) * 2019-06-17 2019-09-24 国网江苏省电力有限公司淮安供电分公司 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法
WO2020000399A1 (zh) * 2018-06-29 2020-01-02 东莞理工学院 一种基于智能电网的多智能体深度强化学习代理方法
CN110729764A (zh) * 2019-12-06 2020-01-24 国网江苏省电力有限公司南通供电分公司 一种含光伏发电系统的优化调度方法
EP3751496A1 (en) * 2019-06-11 2020-12-16 Tata Consultancy Services Limited Method and system for building reinforcement learning (rl) based model for generating bids

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200320159A1 (en) * 2019-03-22 2020-10-08 Robert R. Matthews Magnetic-enthalpy symbol H gasiform species dilute, or solution a heater fluid dynamic mechanic class system transfer the integral sub-plasma thermal cycle state of matter dilute, or solution containing the greater amount of solute synthesis extraction the solution pipeline standard a heater fluid.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020000399A1 (zh) * 2018-06-29 2020-01-02 东莞理工学院 一种基于智能电网的多智能体深度强化学习代理方法
CN109687510A (zh) * 2018-12-11 2019-04-26 东南大学 一种计及不确定性的配电网多时间尺度优化运行方法
EP3751496A1 (en) * 2019-06-11 2020-12-16 Tata Consultancy Services Limited Method and system for building reinforcement learning (rl) based model for generating bids
CN110276698A (zh) * 2019-06-17 2019-09-24 国网江苏省电力有限公司淮安供电分公司 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法
CN110729764A (zh) * 2019-12-06 2020-01-24 国网江苏省电力有限公司南通供电分公司 一种含光伏发电系统的优化调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Multi-Agent异步深度强化学习的居民住宅能耗在线优化调度研究;张虹;申鑫;穆昊源;刘艾冬;王鹤;;中国电机工程学报(第01期);全文 *
基于深度强化学习算法的光伏-抽蓄互补系统智能调度;李涛;胡维昊;李坚;韩晓言;陈哲;;电工技术学报(第13期);全文 *

Also Published As

Publication number Publication date
CN113555870A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Qing et al. Hourly day-ahead solar irradiance prediction using weather forecasts by LSTM
CN110119886B (zh) 一种主动配网动态规划方法
CN102930358B (zh) 一种光伏电站发电功率的神经网络预测方法
Chong et al. Hybrid energy storage systems and control strategies for stand-alone renewable energy power systems
CN111934360B (zh) 基于模型预测控制的虚拟电厂-储能系统能量协同优化调控方法
CN111476407B (zh) 联合风电光伏电站的梯级水电站中长期隐随机调度方法
CN104467029A (zh) 一种区域小水电、风电日内联合优化调度的方法
CN111585310B (zh) 一种分布式电源出力预测的方法和装置
CN104463356A (zh) 一种基于多维信息人工神经网络算法的光伏发电功率预测方法
CN112215428B (zh) 基于误差修正和模糊逻辑的光伏发电功率预测方法及系统
CN112418496B (zh) 一种基于深度学习的配电台区储能配置方法
CN111786417A (zh) 一种面向分布式新能源消纳的主动配电网多目标区间优化调度的方法
CN111092451A (zh) 一种基于配电网网格的光伏消纳预警方法
CN107947166B (zh) 一种基于动态矩阵控制的多能微网变时调度方法及装置
CN113516271A (zh) 一种基于时空神经网络的风电集群功率日前预测方法
CN116760008A (zh) 一种考虑负荷特性的多时间尺度有功无功协调调度方法
CN114444805A (zh) 多光伏电站共享储能系统平滑出力的控制方法
CN112561252B (zh) 一种含新能源地区电网无功组合评价方法
CN113555870B (zh) 一种基于Q-learning光伏预测的配电网多时间尺度优化调度方法
CN105207255B (zh) 一种适用于风电出力的电力系统调峰计算方法
CN117200244A (zh) 一种考虑新能源空间相关性的分布鲁棒无功电压优化方法
Jin et al. Short-term net feeder load forecasting of microgrid considering weather conditions
Habib et al. Quasi-dynamic load and battery sizing and scheduling for stand-alone solar system using mixed-integer linear programming
Li et al. Adaptive dynamic programming approach for micro-grid optimal energy transmission scheduling
CN113536581A (zh) 一种计及运行策略的储能系统多状态可靠性建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant