CN113270867B - 一种薄弱电网潮流无解自动调整方法 - Google Patents

一种薄弱电网潮流无解自动调整方法 Download PDF

Info

Publication number
CN113270867B
CN113270867B CN202110348774.3A CN202110348774A CN113270867B CN 113270867 B CN113270867 B CN 113270867B CN 202110348774 A CN202110348774 A CN 202110348774A CN 113270867 B CN113270867 B CN 113270867B
Authority
CN
China
Prior art keywords
weak
tide
power
channel
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110348774.3A
Other languages
English (en)
Other versions
CN113270867A (zh
Inventor
王甜婧
汤涌
郭强
黄彦浩
陈兴雷
文晶
李文臣
宋新立
李芳�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202110348774.3A priority Critical patent/CN113270867B/zh
Publication of CN113270867A publication Critical patent/CN113270867A/zh
Application granted granted Critical
Publication of CN113270867B publication Critical patent/CN113270867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种薄弱电网潮流无解自动调整方法，首先定义薄弱的横向通道和纵向通道，并证明其与潮流无解的关系；对于横向薄弱通道的定位，基于Dijstra算法，找到最小的有功横向通道TWP和无功横向通道TWQ；对于纵向薄弱通道的定位，以电网地理分区为基础进行分区优化，再基于图论对分区简化图进行输电通道搜索，最后根据输电裕度指标筛选纵向薄弱通道；然后基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略；构建潮流调整的马尔科夫决策过程，通过动作设备的调整灵敏度，给出动作的先验概率；基于soft actor critic，建立了适用于潮流调整的深度强化学习模型。

Description

一种薄弱电网潮流无解自动调整方法
技术领域
本发明属于电力系统技术领域，具体涉及一种基于输电通道和深度强化学习的薄弱电网潮流无解自动调整方法。
背景技术
潮流计算是电网的运行方式与规划方案进行仿真分析的基础，但是潮流计算经常遇到计算不收敛的问题。早期潮流不收敛的研究主要集中在算法本身。而随着计算规模的飞速增长，负荷水平也越来越高，初始潮流方程无解的情况越来越多。在规模大、负荷重、新能源多的情况下，初始潮流的潮流方程往往是无解的。并且由于负荷比较重，系统的某些输电通道运行状态接近极限，在潮流有解的情况下，潮流计算也难以收敛。这种规模大、负荷重、某些输电通道容易接近极限的电网被视为薄弱电网。薄弱电网的潮流无解问题目前只能在已有潮流计算程序的基础上通过人工进行调整，调整过程主要采用试凑的方法，严重依赖人工经验，效率很低。对于中国数万节点的大电网，潮流方程常常无解，而大电网潮流方程变量高维，可调参数众多，收敛调整难度更大，效率更低。电网企业每年需要安排大量人力和时间来完成大电网潮流计算和运行方式调整，其中包括大量的复杂的潮流计算工作。传统的潮流计算工作模式存在大量消耗人力资源、严重依赖专家经验等不足，亟需一种潮流收敛自动调整的人工智能方法，使工作更高效、精准，从而解放人力。
关于潮流无解问题，研究人员已进行了多种尝试。Overbye T J 根据系统有解边界的特性，研究了反映潮流无解程度的指标，并提出了一种潮流无解调整的方法。Granville S等研究了基于内点法的潮流无解调整方法，但因其计算规模太大而实用性不强。LV Barboza等将不可解潮流建模为一个约束优化问题，并用增广拉格朗日函数进行求解。Sur U等提出了一个显式的必要条件，保证了有功配电网潮流不可解的存在唯一性，提出了一种基于雅可比矩阵零特征值的左特征向量的方法，以恢复潮流方程的真实解潮流解还可以求出系统在不可解情况下的最大负荷水平，并可以找出系统的薄弱环节，帮助恢复可解性。以上根据数学方法给出的调整手段往往仅适用于小算例或者特定电网，在实际大电网中的效果有限。
随着人工智能技术的兴起，已有学者将人工智能技术在潮流控制上进行了初步尝试。Ziming等提出了一种基于连续作用域深度强化学习的无模型可再生能源不确定性负荷频率控制方法。Vlachogiannis J G等利用Q学习经验学习如何调整闭环控制规则映射潮流解，通过奖励值控制离线控制设置，实现了无功控制。LeTL等在多目标动态优化模型中协调发电和补偿的最优输出，以提高短期电压安全性，并采用加速多目标强化学习进行求解。XuH等解决了电力系统负荷分接开关分接位置的整定问题电压调节采用批量强化学习。上述研究主要集中于潮流的电压和频率控制，少有利用人工智能方法实现潮流的无解调整问题。
发明内容
本发明的目的在于提供一种基于输电通道和深度强化学习的薄弱电网潮流无解自动调整方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于输电通道和深度强化学习的薄弱电网潮流无解自动调整方法，包括定义薄弱的横向通道和纵向通道、形成潮流调整策略，以及基于soft actor critic建立适用于潮流调整的深度强化学习模型。
所述薄弱的横向通道和纵向通道是潮流当前状态评估的基础。
所述潮流调整策略是潮流调整对象定位的核心。
所述适用于潮流调整的深度强化学习模型是潮流调整动作的依托。
作为本发明进一步的方案：所述横向通道，指随着潮流的流向，节点电压不断下降的通道。
作为本发明进一步的方案：所述纵向通道，指在潮流流向相同的并列线路，如果断开断面中的所有线路，则整个系统将形成2个相互独立的连通系统。
通常指不同区域之间输电线路集合或者区域内潮流较大的输电线路集合。
作为本发明进一步的方案：所述潮流调整策略，基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略。
作为本发明进一步的方案：所述降低负载水平，采用功率因数不变按照比例降低负荷水平的方式，其得到的近似潮流中系统负荷的分配比例保持不变，功率传输特征与初始潮流相近且计算简单。
定义负载水平γ，其指当前负荷有功功率、负荷无功功率和发电机有功功率占原始潮流的百分比。则降载潮流的有功功率和无功功率为：
其中，Pori和Qori分别为原始潮流的有功功率和无功功率。
作为本发明进一步的方案
(1)定位电源节点，得到电源节点簇G；
(2)根据电压相量确定最低电压节点NWmax和最大相角偏移节点 NVmax；
(3)根据TWP和TWQ的定义，通过依次定位从NWmax/NVmax起相角/电压逐渐上升的节点，确定有功型通道和无功型通道；
(4)基于Dijstra算法，找到最小的TWP和TWQ。
对于纵向薄弱通道，通常对应区域间的功率输送通道。
实际电网调度一般依据地理分区对系统进行监控，因此本文以电网地理分区为基础进行分区优化，再基于图论对分区简化图进行输电通道搜索，最后根据输电裕度指标筛选纵向薄弱通道。具体操作如下：
(1)根据地理区域进行分区；
(2)判断联络线的潮流方向是否一致，若不一致，则更改所属分区，形成如图4所示的电网分区简化图；
(3)根据2.1中纵向通道的定义，纵向通道的搜索应是对优化后的电网分区简化图割集的搜索。因此，首先可根据简化图得到邻接矩阵A，进而计算系统的路径矩阵P：
①令P＝A，j＝1；
②i＝1；
③当pij＝1时，k从1增加到n，重复④；
④pik＝pik||pjk，其中||表示逻辑或运算；
⑤i＝i+1，当i≤n时返回③；
⑥j＝j+1，当j≤n时返回②。
矩阵P确定了分区间的功率流动路径，矩阵P的第i列非零元素对应分区i的上游分区。
(4)将路径矩阵P加上n×n的单位矩阵E得到矩阵Q。
(5)计算可求得送电区到受电区所有的送受组合。然而，送受组合中有一些组合可能实际系统中根本没有联络线连接，而矩阵A代表了系统分区间确实存在的联络线，因此对矩阵/>和A进行逻辑与运算就可选出Li-j对应的送电区到受电区的联络线集合。
作为本发明进一步的方案：所述基于调整灵敏度，定义如下式：
si,j＝Δ(ΔδL,j)/ΔPG,i
其中，Δ(ΔδL,j)为发电机i的有功功率变化ΔPG,i时线路j的功角差变化量。
作为本发明进一步的方案：所述调整对象，根据灵敏度，对可动作的发电机进行排序，分为正向调整排序和负向调整排序。
正向调整排序指对线路调整灵敏度为正值的发电机进行从大到小排序，而负向灵敏度则针对线路调整灵敏度为负值的发电机进行排序，其根据绝对值从大到小进行排序。
则可得到以下两种排序：
其中，αk和βk分别为第m个输电通道的正向调整排序和负向调整排序/>的第k台发电机；sk,m和sk+1,m分别为第k台发电机和第k+1台发电机对第m个输电通道的调整灵敏度。
然后，动作发电机时，为使功率实时平衡，往往同时动作两个相反调整量的发电机，形成发电机动作对AG，如下式所示。
其中，nα和nβ分别为正向调整发电机和负向调整发电机的数量。
对于无功型薄弱通道，需动作电容器/电抗器，采用由近到远就地补偿的方式进行动作，对补偿对象附近的电容器/电抗器根据距离由近至远进行排序，序列依次动作电容器/电抗器。
其中，为第i个电容器/电抗器所在节点的编号，为补偿对象附近电容器和电抗器的数量。
作为本发明进一步的方案：所述动作的映射，基于发电机排序，按前x％设定调整范围，则强化学习的动作α可映射为：
对于无功型薄弱通道，动作映射到电容器/电抗器上，电容器/电抗器排序χCR，按前x％设定调整范围，则强化学习的动作可映射为：
作为本发明进一步的方案：所述适用于潮流调整的深度强化学习模型，包括马尔科夫决策过程的形成和深度强化学习的构建。
作为本发明进一步的方案：所述马尔科夫决策过程的形成包括状态空间、动作空间以及奖赏的构建。
作为本发明进一步的方案：所述状态空间，即可观测变量，其涉及学习的效率和泛化性。状态空间既要包含原始不收敛潮流的有功功率、无功功率平衡的重要变量，又要涉及降载潮流的通道性质，即包括发电机的出力状态、电容器/电抗器投切的情况及降载潮流的通道薄弱程度等，具体如下式所示。
其中，PG为发电机有功出力；λCR为电容器/电抗器的有效性；ξWT为降载潮流的通道薄弱程度；nG、nCR和nWT分别为发电机、电容器/电抗器和降载潮流薄弱通道的数量。
作为本发明进一步的方案：所述动作空间，主要包括发电机的出力变化量或者有效性、电容器/电抗器的有效性。因此，可构建动作空间如下式所示。
其中，ΔPG为发电机的有功功率改变量。
作为本发明进一步的方案：所述奖赏，可分为三类，第一类是初始潮流计算结果得到的奖赏，第二类是降载潮流薄弱程度奖赏，第三类是降载潮流负载水平奖赏。
潮流的计算结果仅有两种，分别为收敛和不收敛，收敛状态为调整目标。在调整过程中，多数情况下潮流的计算结果是无解。因此，收敛时，奖赏设为很大的正数；不收敛时，奖赏设为较小的负数，具体参数设置如下式所示。
降载潮流的负载水平γ在一定程度上可以反映潮流离可解的距离，因此，设置如下奖赏：
r3＝λR·γ
其中，λR为奖赏系数。
同时，降载潮流的薄弱程度表示当前负载水平下潮流的可解程度，可设置如下奖赏：
综上，最终的奖赏r为:
r＝r1+r2+r3+r4
作为本发明进一步的方案：所述深度强化学习的构建，考虑到该调整问题的复杂性，借鉴SAC，把熵H(π(·|s`))＝-Ealogπ(a`|s`)引入reward，则Bellman backupequation为：
其中，为熵的系数。
则值函数为：
然后构建神经网络，包括Q网络和Policy网络。根据式(10)，Q 网络的更新为：
以上构造了一个target soft Q网络带参数这个参数通过 exponentiallymoving average Q网络的参数θ得到。
对于Policy网络参数的更新，就是最小化KL divergence：
动作采用reparameterization trick来得到，即：
由于潮流调整过程中，reward的不断变化，采用固定的α并不合理，会让整个训练不稳定，因此，有必要能够自动调节这个α。构造一个带约束的优化问题，让平均的entropy热力熵函数权重是有限制的，但是在不同的state下entropy的权重是可变的，即：
α的loss为：
与现有技术相比，本发明的有益效果是：本发明能够合理定位薄弱输电通道，有效地对薄弱电网的无解潮流调整至可解，实现了潮流无解自动调整。
综上所述，首先定义薄弱的横向通道和纵向通道，并证明其与潮流无解的关系。然后基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略。构建潮流调整的马尔科夫决策过程，通过动作设备的调整灵敏度，给出动作的先验概率。基于soft actor critic，建立了适用于潮流调整的深度强化学习模型。
技术效果
提出了一种薄弱电网潮流无解自动调整方法，可缓解目前大电网潮流无解所带来的人力和时间成本消耗问题；合理定位薄弱输电通道，有效地对薄弱电网的无解潮流调整至可解，实现了潮流无解自动调整。在强化学习中，通过动作设备的调整灵敏度，给出动作的先验概率，使动作的效率更高。本发明采用python编程语言实现，深度学习网络采用TensorFlow进行搭建，可迁移性强。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明中横向通道；
图2为本发明中纵向通道；
图3为本发明中适用于薄弱电网的潮流无解调整策略；
图4为本发明中实施例1的36节点系统迭代过程中潮流可解的平均步数和可解比例；
图5为本发明中实施例1的36节点系统在不同负载水平下LLD和WDC 的变化情况；
图6为本发明中实施例2的东北迭代过程中潮流可解的平均步数和可解比例；
图7为本发明中实施例2的东北电网在不同负载水平下LLD和WDC 的变化情况。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
潮流计算是电网的运行方式与规划方案进行仿真分析的基础，但是潮流计算经常遇到计算不收敛的问题。早期潮流不收敛的研究主要集中在算法本身。而随着计算规模的飞速增长，负荷水平也越来越高，初始潮流方程无解的情况越来越多。在规模大、负荷重、新能源多的情况下，初始潮流的潮流方程往往是无解的。并且由于负荷比较重，系统的某些输电通道运行状态接近极限，在潮流有解的情况下，潮流计算也难以收敛。这种规模大、负荷重、某些输电通道容易接近极限的电网被视为薄弱电网。薄弱电网的潮流无解问题目前只能在已有潮流计算程序的基础上通过人工进行调整，调整过程主要采用试凑的方法，严重依赖人工经验，效率很低。对于中国数万节点的大电网，潮流方程常常无解，而大电网潮流方程变量高维，可调参数众多，收敛调整难度更大，效率更低。电网企业每年需要安排大量人力和时间来完成大电网潮流计算和运行方式调整，其中包括大量的复杂的潮流计算工作。传统的潮流计算工作模式存在大量消耗人力资源、严重依赖专家经验等不足，亟需一种潮流收敛自动调整的人工智能方法，使工作更高效、精准，从而解放人力。
本发明的目的在于提供一种基于输电通道和深度强化学习的薄弱电网潮流无解自动调整方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于输电通道和深度强化学习的薄弱电网潮流无解自动调整方法，包括定义薄弱的横向通道和纵向通道、形成潮流调整策略，以及基于soft actor critic建立适用于潮流调整的深度强化学习模型。
所述薄弱的横向通道和纵向通道是潮流当前状态评估的基础，所述潮流调整策略是潮流调整对象定位的核心，所述适用于潮流调整的深度强化学习模型是潮流调整动作的依托。
作为本发明进一步的方案：所述横向通道，指随着潮流的流向，节点电压不断下降的通道。
作为本发明进一步的方案：所述纵向通道，指在潮流流向相同的并列线路，如果断开断面中的所有线路，则整个系统将形成2个相互独立的连通系统。
通常指不同区域之间输电线路集合或者区域内潮流较大的输电线路集合。
作为本发明进一步的方案：所述潮流调整策略，基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略。
作为本发明进一步的方案：所述降低负载水平，采用功率因数不变按照比例降低负荷水平的方式，其得到的近似潮流中系统负荷的分配比例保持不变，功率传输特征与初始潮流相近且计算简单。
定义负载水平γ，其指当前负荷有功功率、负荷无功功率和发电机有功功率占原始潮流的百分比。则降载潮流的有功功率和无功功率为：
其中，Pori和Qori分别为原始潮流的有功功率和无功功率。
作为本发明进一步的方案
(1)定位电源节点，得到电源节点簇G；
(2)根据电压相量确定最低电压节点NWmax和最大相角偏移节点 NVmax；
(3)根据TWP和TWQ的定义，通过依次定位从NWmax/NVmax起相角/电压逐渐上升的节点，确定有功型通道和无功型通道；
(4)基于Dijstra算法，找到最小的TWP和TWQ。
对于纵向薄弱通道，通常对应区域间的功率输送通道。
实际电网调度一般依据地理分区对系统进行监控，因此本文以电网地理分区为基础进行分区优化，再基于图论对分区简化图进行输电通道搜索，最后根据输电裕度指标筛选纵向薄弱通道。具体操作如下：
(1)根据地理区域进行分区；
(2)判断联络线的潮流方向是否一致，若不一致，则更改所属分区，形成如图4所示的电网分区简化图；
(3)根据2.1中纵向通道的定义，纵向通道的搜索应是对优化后的电网分区简化图割集的搜索。因此，首先可根据简化图得到邻接矩阵A，进而计算系统的路径矩阵P：
①令P＝A，j＝1；
②i＝1；
③当pij＝1时，k从1增加到n，重复④；
④pik＝pik||pjk，其中||表示逻辑或运算；
⑤i＝i+1，当i≤n时返回③；
⑥j＝j+1，当j≤n时返回②。
矩阵P确定了分区间的功率流动路径，矩阵P的第i列非零元素对应分区i的上游分区。
(4)将路径矩阵P加上n×n的单位矩阵E得到矩阵Q。
(5)计算可求得送电区到受电区所有的送受组合。然而，送受组合中有一些组合可能实际系统中根本没有联络线连接，而矩阵A代表了系统分区间确实存在的联络线，因此对矩阵/>和A进行逻辑与运算就可选出Li-j对应的送电区到受电区的联络线集合。
作为本发明进一步的方案：所述基于调整灵敏度，定义如下式：
si,j＝Δ(ΔδL,j)/ΔPG,i
其中，Δ(ΔδL,j)为发电机i的有功功率变化ΔPG,i时线路j的功角差变化量。
作为本发明进一步的方案：所述调整对象，根据灵敏度，对可动作的发电机进行排序，分为正向调整排序和负向调整排序。
正向调整排序指对线路调整灵敏度为正值的发电机进行从大到小排序，而负向灵敏度则针对线路调整灵敏度为负值的发电机进行排序，其根据绝对值从大到小进行排序。
则可得到以下两种排序：
其中，αk和βk分别为第m个输电通道的正向调整排序和负向调整排序/>的第k台发电机；sk,m和sk+1,m分别为第k台发电机和第k+1台发电机对第m个输电通道的调整灵敏度。
然后，动作发电机时，为使功率实时平衡，往往同时动作两个相反调整量的发电机，形成发电机动作对AG，如下式所示。
其中，nα和nβ分别为正向调整发电机和负向调整发电机的数量。
对于无功型薄弱通道，需动作电容器/电抗器，采用由近到远就地补偿的方式进行动作，对补偿对象附近的电容器/电抗器根据距离由近至远进行排序，序列依次动作电容器/电抗器。
其中，为第i个电容器/电抗器所在节点的编号，为补偿对象附近电容器和电抗器的数量。
作为本发明进一步的方案：所述动作的映射，基于发电机排序，按前x％设定调整范围，则强化学习的动作α可映射为：
对于无功型薄弱通道，动作映射到电容器/电抗器上，电容器/电抗器排序χCR，按前x％设定调整范围，则强化学习的动作可映射为：
作为本发明进一步的方案：所述适用于潮流调整的深度强化学习模型，包括马尔科夫决策过程的形成和深度强化学习的构建。
作为本发明进一步的方案：所述马尔科夫决策过程的形成包括状态空间、动作空间以及奖赏的构建。
作为本发明进一步的方案：所述状态空间，即可观测变量，其涉及学习的效率和泛化性。状态空间既要包含原始不收敛潮流的有功功率、无功功率平衡的重要变量，又要涉及降载潮流的通道性质，即包括发电机的出力状态、电容器/电抗器投切的情况及降载潮流的通道薄弱程度等，具体如下式所示。
其中，PG为发电机有功出力；λCR为电容器/电抗器的有效性；ξWT为降载潮流的通道薄弱程度；nG、nCR和nWT分别为发电机、电容器/电抗器和降载潮流薄弱通道的数量。
作为本发明进一步的方案：所述动作空间，主要包括发电机的出力变化量或者有效性、电容器/电抗器的有效性。因此，可构建动作空间如下式所示。
其中，ΔPG为发电机的有功功率改变量。
作为本发明进一步的方案：所述奖赏，可分为三类，第一类是初始潮流计算结果得到的奖赏，第二类是降载潮流薄弱程度奖赏，第三类是降载潮流负载水平奖赏。
潮流的计算结果仅有两种，分别为收敛和不收敛，收敛状态为调整目标。在调整过程中，多数情况下潮流的计算结果是无解。因此，收敛时，奖赏设为很大的正数；不收敛时，奖赏设为较小的负数，具体参数设置如下式所示。
降载潮流的负载水平γ在一定程度上可以反映潮流离可解的距离，因此，设置如下奖赏：
r3＝λR·γ
其中，λR为奖赏系数。
同时，降载潮流的薄弱程度表示当前负载水平下潮流的可解程度，可设置如下奖赏：
综上，最终的奖赏r为:
r＝r1+r2+r3+r4
作为本发明进一步的方案：所述深度强化学习的构建，考虑到该调整问题的复杂性，借鉴SAC，把熵H(π(·|s`))＝-Ealogπ(a`|s`)引入reward，则 Bellman backupequation为：
其中，为熵的系数。
则值函数为：
然后构建神经网络，包括Q网络和Policy网络。根据式(10)，Q 网络的更新为：
以上构造了一个target soft Q网络带参数这个参数通过 exponentiallymoving average Q网络的参数θ得到。
对于Policy网络参数的更新，就是最小化KL divergence：
动作采用reparameterization trick来得到，即：
由于潮流调整过程中，reward的不断变化，采用固定的α并不合理，会让整个训练不稳定，因此，有必要能够自动调节这个α。构造一个带约束的优化问题，让平均的entropy热力熵函数权重是有限制的，但是在不同的state下entropy的权重是可变的，即：
α的loss为：
与现有技术相比，本发明的有益效果是：本发明能够合理定位薄弱输电通道，有效地对薄弱电网的无解潮流调整至可解，实现了潮流无解自动调整。
综上所述，首先定义薄弱的横向通道和纵向通道，并证明其与潮流无解的关系。然后基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略。构建潮流调整的马尔科夫决策过程，通过动作设备的调整灵敏度，给出动作的先验概率。基于soft actor critic，建立了适用于潮流调整的深度强化学习模型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，先通过小算例进行验证，在小算例上运用本发明的方法，通过定位薄弱通道来调整潮流，使无解的样本调整运行方式从而可解。测试结果包括迭代过程中潮流可解的平均步数和可解的比例、随着步数增加的降载潮流的负载水平变化(LLD)和通道的薄弱程度(WDC)的变化情况，验证了本发明的有效性。
进一步的，所述小算例，为形成薄弱电网，本文在New England 39-bus standardsystem的基础上去掉几条联络线，使系统的关键联络线承受功率更大，其接线图见附录A1。基于系统本身的初始收敛潮流，在0-2倍之间随机改变发电机和负荷，同时改变电容电抗器的投切情况，生成10000组数据。经潮流计算，在10000组数据中，其中4310 组数据收敛、5401组数据不收敛。将4000组不收敛的数据作为训练集， 1000组数据作为测试集。
进一步的，所述迭代过程中潮流可解的平均步数和可解的比例，参阅图3，在迭代过程中，潮流由无解调整到可解的平均步数逐渐降低，在60次迭代后趋于稳定，在12到13之间。同时，样本中调整可解的比例不断升高，50次迭代后逐渐收敛，最后可解的样本接近98％。
进一步的，所述随着步数增加的降载潮流的负载水平变化(LLD) 和通道的薄弱程度(WDC)的变化情况，参阅图4，对于降载潮流的负载水平，负载增加60％、100％、140％时，其均可以逐渐增加至1，即均可调整可解。但当负载增加160％时，降载潮流的负载水平稳定至0.8左右，无法完全恢复初始潮流的负载水平，即不能调整收敛。对于通道的薄弱程度，在调整过程中不断波动，最终的薄弱程度稳定在 0.08-0.12之间。
实施例2
本发明实施例中，在东北电网进行验证，运用本发明的方法，通过定位薄弱通道来调整潮流，使不收敛的样本调整运行方式从而计算收敛。测试结果验证了本发明在实际系统中的有效性。并通过与其他方法进行了比较测试。
进一步的，所述迭代过程中潮流可解的平均步数和可解的比例，参阅图5，在迭代过程中，潮流由无解调整到可解的平均步数逐渐降低， 200次迭代后稳定在40。与39节点系统相同，样本中调整可解的比例不断升高，150次迭代后逐渐收敛，最后可解的样本接近93％。相较39节点系统，调整至可解的平均步数有所增多，可解的样本有所下降，但同样达到了在较少步数内对多数样本调整可解的效果。
进一步的，所述随着步数增加的降载潮流的负载水平变化(LLD) 和通道的薄弱程度(WDC)的变化情况，参阅图6，对于区域1，对于，负载增加30％、60％、80％后，降载潮流的负载水平均可以逐渐增加至1，即均可调整可解。但对于区域3，当负载增加100％时，降载潮流的负载水平稳定至0.8左右，无法完全恢复初始潮流的负载水平，即不能调整收敛。对于通道的薄弱程度，与39节点系统相同，在调整过程中不断波动，最终的薄弱程度稳定在0.09-0.13之间。
本发明的工作原理是：通过降低负载水平，定位薄弱通道，再根据灵敏度和转移因子确定调整对象，然后利用深度强化学习进行调整和学习。
技术效果
提出了一种薄弱电网潮流无解自动调整方法，可缓解目前大电网潮流无解所带来的人力和时间成本消耗问题；合理定位薄弱输电通道，有效地对薄弱电网的无解潮流调整至可解，实现了潮流无解自动调整。在强化学习中，通过动作设备的调整灵敏度，给出动作的先验概率，使动作的效率更高。本发明采用python编程语言实现，深度学习网络采用TensorFlow进行搭建，可迁移性强。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求。

Claims (4)

1.一种薄弱电网潮流无解自动调整方法，其特征在于，所述方法包括：
首先定义薄弱的横向通道和纵向通道，并证明其与潮流无解的关系；
对于横向薄弱通道的定位，从低电压点或者相角偏移大的节点反向找到横向通道；基于Dijstra算法，找到最小的有功横向通道TWP和无功横向通道TWQ；
对于纵向薄弱通道的定位，以电网地理分区为基础进行分区优化，再基于图论对分区简化图进行输电通道搜索，最后根据输电裕度指标筛选纵向薄弱通道；
然后基于先降低负载水平再逐步调整的思路，结合薄弱通道的定位、调整灵敏度以及通道薄弱程度，确定调整对象和调整量，形成潮流调整策略；
构建潮流调整的马尔科夫决策过程，通过动作设备的调整灵敏度，给出动作的先验概率；
基于soft actor critic，建立了适用于潮流调整的深度强化学习模型；还包括，横向通道，指随着潮流的流向，节点电压不断下降的通道；纵向通道，指在潮流流向相同的并列线路，如果断开断面中的所有线路，则整个系统将形成2个相互独立的连通系统；指不同区域之间输电线路集合或者区域内潮流较大的输电线路集合；
还包括，马尔科夫决策过程的形成包括状态空间、动作空间以及奖赏的构建；其中，状态空间，即可观测变量，其涉及学习的效率和泛化性；状态空间既要包含原始不收敛潮流的有功功率、无功功率平衡的重要变量，又要涉及降载潮流的通道性质，即包括发电机的出力状态、电容器或电抗器投切的情况及降载潮流的通道薄弱程度；动作空间，主要包括发电机的出力变化量或者有效性、电容器或电抗器的有效性；所述奖赏，可分为三类，第一类是初始潮流计算结果得到的奖赏，第二类是降载潮流薄弱程度奖赏，第三类是降载潮流负载水平奖赏。
2.根据权利要求1所述的方法，其特征在于，还包括，无功型薄弱通道，需动作电容器或者电抗器，采用由近到远就地补偿的方式进行动作，对补偿对象附近的电容器或者电抗器根据距离由近至远进行排序，序列依次动作电容器或者电抗器。
3.根据权利要求1所述的方法，其特征在于，还包括，降低负载水平，采用功率因数不变按照比例降低负荷水平的方式，其得到的近似潮流中系统负荷的分配比例保持不变，功率传输特征与初始潮流相近且计算简单；定义负载水平γ，其指当前负荷有功功率、负荷无功功率和发电机有功功率占原始潮流的百分比；则降载潮流的有功功率和无功功率为：
其中，Pori和Qori分别为原始潮流的有功功率和无功功率。
4.根据权利要求1所述的方法，其特征在于，还包括，所述调整对象，根据灵敏度，对可动作的发电机进行排序，分为正向调整排序和负向调整排序；正向调整排序指对线路调整灵敏度为正值的发电机进行从大到小排序，而负向灵敏度则针对线路调整灵敏度为负值的发电机进行排序，其根据绝对值从大到小进行排序。
CN202110348774.3A 2021-03-31 2021-03-31 一种薄弱电网潮流无解自动调整方法 Active CN113270867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110348774.3A CN113270867B (zh) 2021-03-31 2021-03-31 一种薄弱电网潮流无解自动调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110348774.3A CN113270867B (zh) 2021-03-31 2021-03-31 一种薄弱电网潮流无解自动调整方法

Publications (2)

Publication Number Publication Date
CN113270867A CN113270867A (zh) 2021-08-17
CN113270867B true CN113270867B (zh) 2023-08-18

Family

ID=77228461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110348774.3A Active CN113270867B (zh) 2021-03-31 2021-03-31 一种薄弱电网潮流无解自动调整方法

Country Status (1)

Country Link
CN (1) CN113270867B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113937829B (zh) * 2021-11-16 2024-07-12 华北电力大学 一种基于d3qn的主动配电网多目标无功控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118265A (zh) * 2007-09-17 2008-02-06 重庆大学 通过辨识电网薄弱环节实时识别电网电压稳定性的方法
CN111209710A (zh) * 2020-01-07 2020-05-29 中国电力科学研究院有限公司 一种潮流计算收敛的自动调整方法及装置
CN112541100A (zh) * 2020-12-02 2021-03-23 国网安徽省电力有限公司 基于拓扑分析的电网薄弱环节自动搜索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118265A (zh) * 2007-09-17 2008-02-06 重庆大学 通过辨识电网薄弱环节实时识别电网电压稳定性的方法
CN111209710A (zh) * 2020-01-07 2020-05-29 中国电力科学研究院有限公司 一种潮流计算收敛的自动调整方法及装置
CN112541100A (zh) * 2020-12-02 2021-03-23 国网安徽省电力有限公司 基于拓扑分析的电网薄弱环节自动搜索方法

Also Published As

Publication number Publication date
CN113270867A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109270842B (zh) 一种基于贝叶斯网络的区域供热模型预测控制系统及方法
CN107437813B (zh) 基于布谷鸟-粒子群的配电网无功功率优化方法
Song et al. Coordinated optimization on energy capture and torque fluctuation of wind turbines via variable weight NMPC with fuzzy regulator
CN102170137B (zh) 一种电力系统配电网的无功优化方法
CN114217524A (zh) 一种基于深度强化学习的电网实时自适应决策方法
CN104037776B (zh) 随机惯性因子粒子群优化算法的电网无功容量配置方法
Lian Reactive power optimization based on adaptive multi-objective optimization artificial immune algorithm
CN113270867B (zh) 一种薄弱电网潮流无解自动调整方法
CN113964884A (zh) 基于深度强化学习的电网有功频率的调控方法
CN115313403A (zh) 一种基于深度强化学习算法的实时电压调控方法
CN116760047A (zh) 基于安全强化学习算法的配电网电压无功控制方法及系统
CN106292291A (zh) 一种电网自动发电控制系统控制器参数优化方法
CN106779065A (zh) 一种光伏阵列的最大功率点跟踪方法及系统
CN114722693A (zh) 一种水轮机调节系统二型模糊控制参数的优化方法
CN112787331B (zh) 基于深度强化学习的潮流收敛自动调整方法及系统
CN113759723A (zh) 一种基于遗传算法的最优混合h2/h∞鲁棒控制器设计方法
CN117808151A (zh) 一种基于粒子群-遗传融合算法的变电站无功优化方法
CN105207220B (zh) 一种基于渐进学习的分级电压调控方法
CN109586313B (zh) 无功优化的高效内点求解方法
CN111767621A (zh) 一种基于知识迁移q学习算法的多能源系统优化调度方法
CN116415728A (zh) 一种碳排放量的预测方法、系统、电子设备及存储介质
CN112488442B (zh) 基于深度强化学习算法及源荷不确定性的配电网重构方法
Ao et al. The application of DQN in thermal process control
CN113517723A (zh) 一种含小型水电站的配电网系统的无功电压优化方法
CN113139682A (zh) 一种基于深度强化学习的微电网能量管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant