CN113555876A - 基于人工智能的线路潮流调控方法及系统 - Google Patents
基于人工智能的线路潮流调控方法及系统 Download PDFInfo
- Publication number
- CN113555876A CN113555876A CN202110869936.8A CN202110869936A CN113555876A CN 113555876 A CN113555876 A CN 113555876A CN 202110869936 A CN202110869936 A CN 202110869936A CN 113555876 A CN113555876 A CN 113555876A
- Authority
- CN
- China
- Prior art keywords
- power grid
- power
- line
- agent
- power flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 43
- 230000033228 biological regulation Effects 0.000 title claims abstract description 27
- 238000011217 control strategy Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000001105 regulatory effect Effects 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 230000001276 controlling effect Effects 0.000 claims abstract description 8
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003831 deregulation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
- H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于人工智能的线路潮流调控方法，包括以下过程：获取电网实时断面潮流数据；基于电网实时断面潮流数据，判断是否存在线路潮流越限；若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，依据得到的控制策略调控电网，重复AI智能体与电网的不断交互过程，直至线路潮流不越限。本发明通过AI智能体训练出控制策略来调控电网，通过AI智能体与电网的不断交互，实现电网的在线决策。
Description
技术领域
本发明属于电网智能调控技术领域，具体涉及一种基于人工智能的线路潮流调控方法，还涉及一种基于人工智能的线路潮流调控系统。
背景技术
从安全和经济的角度来看，最大化可用输电传输能力(ATC,Available TransferCapability)对电力系统安全稳定运行和新能源消纳至关重要，这代表了传输网络的可用传输容量，可用于进一步的能源交易。由于环境和经济方面的考虑，通过建立新的线路来扩大传输能力来扩展传输对于世界各地的许多公用事业来说已不再是一个容易的选择。此外，可再生能源，需求响应，电动汽车和电力电子设备的普及率不断提高，导致更多的随机和动态行为威胁着现代电网的安全运行。因此，有必要开发出快速有效的控制策略，以在考虑各种不确定性的同时最大化ATC，同时满足各种安全约束条件。
与重新调度发电机，减少电力需求和安装FACTS设备相比，通过传输线切换或总线拆分进行主动网络拓扑控制以增加ATC并减轻拥堵的方法提供了一种低成本且有效的解决方案，特别是对于电力市场或公用事业放松管制的情况选择有限(例如，法国RTE拥有核电，满足其绝大部分需求)。这个想法最初是在1980年代初提出的，当时人们进行了一些研究工作以实现多种控制目的，例如成本最小化，电压和线路流量调节。考虑到大功率系统的复杂性和不确定性，传输线切换或总线拆分/重新连接本质上是一个混合整数非线性优化问题，是较为复杂的优化问题，较难在线快速求解。
同时，现有方法存在一些局限性，包括：(a)通常在不考虑所有安全约束的情况下使用直流潮流的线性逼近，这会影响实际解决方案的精度。由于电网的高度非线性特性，使用具有所有安全约束的完整交流潮流计算变为非凸优化，如果不放松/牺牲某些安全性约束或解决方案精度，就无法使用最新优化技术有效解决该问题。(b)同时要切换的线路和母线的组合呈指数增长；此外，基于灵敏度的方法容易受到系统运行条件变化的影响。因此，解决大型电网的这种优化过程可能会花费较长时间，从而导致解决方案无法部署在实时环境中。
发明内容
本发明的目的在于克服现有技术中的不足，提供了一种基于人工智能的线路潮流调控方法，通过AI智能体训练出控制策略来调控电网，通过AI智能体与电网的不断交互，实现电网的在线决策。
为解决上述技术问题，本发明提供了一种基于人工智能的线路潮流调控方法，包括以下过程：
获取电网实时断面潮流数据；
基于电网实时断面潮流数据，判断是否存在线路潮流越限；
若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，所述AI智能体为深度双Q网络训练得到的神经网络模型；依据得到的控制策略调控电网，此过程为AI智能体与电网的交互过程；
采集调控后的电网实时断面潮流数据，若判断仍发生潮流越限，则重复AI智能体与电网的交互过程，直至线路潮流不越限。
可选地，所述控制策略包含线路切换和/或节点拆分/重新加入。
可选地，所述AI智能体的训练过程为：
获取电网的多个历史断面潮流数据，并从中提取电网特征量，生成训练样本；
将训练样本输入预先构建的AI智能体进行训练，输出控制策略；
利用输出的控制策略调控电网，获取调控后的电网特征量；
计算控制策略对应的奖励值；
根据奖励值，更新相应的AI智能体模型参数；
不断迭代以上过程，直至获得AI智能体最优的模型参数。
可选地，所述历史断面潮流数据为利用电网仿真器仿真电网环境生成。
可选地，所述奖励值的计算公式为：
式中，rt为当前的奖励值；N为潮流越限线路的总数；lineflowi为第i条线路的功率；thermallimiti为第i条线路的功率限额。
相应的，本发明提供了一种基于人工智能的线路潮流调控系统，包括：
数据采集模块，用于获取电网实时断面潮流数据；
潮流越限判断模块，用于基于电网实时断面潮流数据，判断是否存在线路潮流越限；
在线调控模块，用于若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，依据得到的控制策略调控电网，此过程为AI智能体与电网的交互过程；
潮流调控模块，用于采集调控后的电网实时断面潮流数据，若判断仍发生潮流越限，则重复AI智能体与电网的交互过程，直至线路潮流不越限。
与现有技术相比，本发明所达到的有益效果是：利用训练好的智能体和历史断面潮流数据，针对电网出现的潮流越限问题进行调控决策，该智能体不断与电网进行交互，在一次交互过程中，实现完全基于数据驱动的电网调度在线决策，提升系统运行的经济性和可靠性。
附图说明
图1是基于深度强化学习的电网潮流控制整体框架；
图2是基于竞争深度Q网络算法的电网拓扑实时优化控制算法示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
将电网拓扑结构实时优化求解问题规范为马尔科夫决策过程，将电网拓扑结构决策问题看作是随机动态环境下的离散时序控制问题。针对电网的各个量测量，确定系统的状态空间；确定电网网络拓扑的控制变量并定义系统的控制空间；根据线路潮流控制问题的目标，设定系统的奖励函数，用于评估调控效果。
本发明实施例一种基于人工智能的线路潮流调控方法，提出了数据驱动型电网智能调控技术框架，即“电网脑”系统，其框架设计如图1所示。该系统由电网数据驱动，实时处理和分析大量在线数据，通过AI智能体与电网或高精度电网仿真软件进行不断交互从而进行学习，由智能体根据电网实时运行状态提供在线调控策略并给出该策略对应的预期效果。
采用基于AI的算法(IL和DRL)以及多种创新技术(包括引导勘探和早期预警)来训练有效的智能体，以提供快速和自主的拓扑控制策略以最大程度地延长时间。
本发明的一种基于人工智能的线路潮流调控方法，流程如图2所示，包括以下过程：
步骤S1，构建人工智能(AI)智能体。
本发明实施例中采用深度双Q网络(Double DQN，DDQN)训练得到的神经网络模型构建AI智能体。深度双Q网络其使用两个独立的神经网络将动作选择和动作评估脱钩。AI智能体的主要目标是在各种情况下的所有时间步长内最大化给定电网的ATC。
步骤S2，利用电网仿真器仿真电网，获取电网的多个历史断面潮流数据，从中提取电网特征量，生成训练样本。
电网仿真器Python Power Network(Pypownet)被用来代表训练RL智能体的环境，该环境基于MATPOWER开源仿真电网工具而构建。需要说明的是，其他电网仿真器也是可以的，这里写的Pypownet和Matpower只是一个举例。
这里电网特征量包括发电机的有功功率输出和电压设定值，负载，线路状态，线路流量，热极限，时间戳等。
步骤S3，AI智能体对包含电网状态特征量的训练样本进行训练，输出控制策略，包含进行线路切换，节点拆分/重新加入以及两者的组合。
步骤4，输出的控制策略去调控电网，获取执行当前控制策略后的电网断面潮流数据。此为AI智能体与电网的交互过程；
步骤5，AI智能体计算本次控制策略对应的奖励值。
式中，rt为当前的奖励值；N为潮流越限线路的总数；lineflowi为第i条线路的功率；thermallimiti为第i条线路的功率限额。
步骤6，根据奖励值，更新相应的AI智能体模型参数。
步骤7，根据训练结果确定最优的AI智能体参数。
步骤8，获取电网实时断面潮流数据，若存在线路潮流越限，则使用训练好的AI智能体针对电网实时断面存在的线路潮流越限问题进行快速决策得到控制策略，依据得到的控制策略调节电网，实现AI智能体与电网的交互，直至线路潮流不越限，指导和辅助调度人员进行电网网络拓扑结构的优化调整。
本发明首先基于电网运行断面数据，构建人工智能(AI)智能体，基于排序优先经验回放的竞争深度Q网络这一深度强化学习算法对该智能体进行训练，该智能体不断与电网或高精度电网仿真器进行交互，在一次交互过程中，智能体输出控制决策，根据控制决策对电网拓扑进行调整，调整后的电网状态和奖励值返回给智能体，通过不断的交互更新智能体的各项参数以提升其智能水平。该智能体的参数初始化通过模仿学习实现。
然后，利用训练好的智能体和电网历史断面数据，针对电网出现的潮流问题进行拓扑结构优化调整，依靠奖励函数和评价指标对智能体的决策结果进行测试，若测试结果满足要求，则该智能体可用于电网网络拓扑优化问题的在线决策；若性能指标不满足要求，则持续进行训练，直到性能满足要求。
最后，使用训练好的智能体针对电网实时断面存在的线路潮流越限问题进行快速决策，指导和辅助调度人员进行电网网络拓扑结构的优化调整。
实施例2
基于与实施例1同样的发明构思，本发明的一种基于人工智能的线路潮流调控系统，包括：
数据采集模块，用于获取电网实时断面潮流数据；
潮流越限判断模块，用于基于电网实时断面潮流数据，判断是否存在线路潮流越限；
在线调控模块，用于若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，依据得到的控制策略调控电网，此过程为AI智能体与电网的交互过程；
潮流调控模块，用于采集调控后的电网实时断面潮流数据，若判断仍发生潮流越限，则重复AI智能体与电网的交互过程，直至线路潮流不越限。
本发明系统中各模块的具体实现方案参见实施例1方法的步骤处理过程。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (6)
1.一种基于人工智能的线路潮流调控方法，其特征在于，包括以下过程：
获取电网实时断面潮流数据；
基于电网实时断面潮流数据，判断是否存在线路潮流越限；
若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，所述AI智能体为深度双Q网络训练得到的神经网络模型；依据得到的控制策略调控电网，此过程为AI智能体与电网的交互过程；
采集调控后的电网实时断面潮流数据，若判断仍发生潮流越限，则重复AI智能体与电网的交互过程，直至线路潮流不越限。
2.根据权利要求1所述的一种基于人工智能的线路潮流调控方法，其特征在于，所述控制策略包含线路切换和/或节点拆分/重新加入。
3.根据权利要求1所述的一种基于人工智能的线路潮流调控方法，其特征在于，所述AI智能体的训练过程为：
获取电网的多个历史断面潮流数据，并从中提取电网特征量，生成训练样本；
将训练样本输入预先构建的AI智能体进行训练，输出控制策略；
利用输出的控制策略调控电网，获取调控后的电网特征量；
计算控制策略对应的奖励值；
根据奖励值，更新相应的AI智能体模型参数；
不断迭代以上过程，直至获得AI智能体最优的模型参数。
4.根据权利要求3所述的一种基于人工智能的线路潮流调控方法，其特征在于，所述历史断面潮流数据为利用电网仿真器仿真电网环境生成。
5.根据权利要求3所述的一种基于人工智能的线路潮流调控方法，其特征在于，所述奖励值的计算公式为：
式中，rt为当前的奖励值；N为潮流越限线路的总数；lineflowi为第i条线路的功率；thermallimiti为第i条线路的功率限额。
6.一种基于人工智能的线路潮流调控系统，其特征在于，包括：
数据采集模块，用于获取电网实时断面潮流数据；
潮流越限判断模块，用于基于电网实时断面潮流数据，判断是否存在线路潮流越限；
在线调控模块，用于若判断存在线路潮流越限，则从实时断面潮流数据中提取电网特征量，使用预先训练的AI智能体基于电网特征量进行快速决策得到控制策略，依据得到的控制策略调控电网，此过程为AI智能体与电网的交互过程；
潮流调控模块，用于采集调控后的电网实时断面潮流数据，若判断仍发生潮流越限，则重复AI智能体与电网的交互过程，直至线路潮流不越限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110869936.8A CN113555876A (zh) | 2021-07-30 | 2021-07-30 | 基于人工智能的线路潮流调控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110869936.8A CN113555876A (zh) | 2021-07-30 | 2021-07-30 | 基于人工智能的线路潮流调控方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113555876A true CN113555876A (zh) | 2021-10-26 |
Family
ID=78104970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110869936.8A Pending CN113555876A (zh) | 2021-07-30 | 2021-07-30 | 基于人工智能的线路潮流调控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113555876A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115441475A (zh) * | 2022-09-20 | 2022-12-06 | 国网江苏省电力有限公司经济技术研究院 | 一种电网输电线路功率紧急控制方法 |
-
2021
- 2021-07-30 CN CN202110869936.8A patent/CN113555876A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115441475A (zh) * | 2022-09-20 | 2022-12-06 | 国网江苏省电力有限公司经济技术研究院 | 一种电网输电线路功率紧急控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning | |
| Diao et al. | Autonomous voltage control for grid operation using deep reinforcement learning | |
| US20200119556A1 (en) | Autonomous Voltage Control for Power System Using Deep Reinforcement Learning Considering N-1 Contingency | |
| US11336092B2 (en) | Multi-objective real-time power flow control method using soft actor-critic | |
| CN112615379A (zh) | 基于分布式多智能体强化学习的电网多断面功率自动控制方法 | |
| Bose | Artificial intelligence techniques: How can it solve problems in power electronics?: An advancing frontier | |
| Duan et al. | A deep reinforcement learning based approach for optimal active power dispatch | |
| CN114066333A (zh) | 数据处理方法及装置 | |
| CN113872213B (zh) | 一种配电网电压自主优化控制方法及装置 | |
| Mustafa et al. | Reactive power tracing in pool-based power system utilising the hybrid genetic algorithm and least squares support vector machine | |
| Wei et al. | Power balance control of RES integrated power system by deep reinforcement learning with optimized utilization rate of renewable energy | |
| CN115313403A (zh) | 一种基于深度强化学习算法的实时电压调控方法 | |
| CN114094592A (zh) | 电网紧急切负荷控制方法、系统、设备及存储介质 | |
| CN115912367A (zh) | 一种基于深度强化学习的电力系统运行方式智能生成方法 | |
| Xi et al. | Multi-agent deep reinforcement learning strategy for distributed energy | |
| CN115688574A (zh) | 一种电力系统的暂态稳定在线评估方法及系统 | |
| CN113555876A (zh) | 基于人工智能的线路潮流调控方法及系统 | |
| Li et al. | Multiagent deep meta reinforcement learning for sea computing-based energy management of interconnected grids considering renewable energy sources in sustainable cities | |
| CN116995682B (zh) | 一种可调节负荷参与有功潮流连续调整方法与系统 | |
| CN117973537A (zh) | 一种基于大语言模型的综合能源系统运维决策代理模型构建方法 | |
| CN117057623A (zh) | 一种综合性电网安全优化调度方法、装置、存储介质 | |
| CN111799820A (zh) | 一种电力系统双层智能混合零星云储能对抗调控方法 | |
| CN113725863A (zh) | 基于人工智能的电网自主控制与决策方法及系统 | |
| CN114298429A (zh) | 一种配电网动案辅助决策方法、系统、装置和存储介质 | |
| CN114417710A (zh) | 一种输电网的过载动态决策生成方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |