CN109873406A

CN109873406A - 一种电力系统薄弱线路辨识方法

Info

Publication number: CN109873406A
Application number: CN201910240922.2A
Authority: CN
Inventors: 姚伟; 曾令康; 艾小猛; 文劲宇; 汤涌; 郭强; 黄彦浩
Original assignee: Huazhong University of Science and Technology; China Electric Power Research Institute Co Ltd CEPRI
Current assignee: Huazhong University of Science and Technology; China Electric Power Research Institute Co Ltd CEPRI
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2019-06-11
Anticipated expiration: 2039-03-28
Also published as: CN109873406B

Abstract

本发明涉及一种电力系统薄弱线路辨识方法，该辨识方法基于Q学习算法，根据电网当前运行状态信息，采用ε‑贪婪策略探索不同故障切线组合，通过电网暂态稳定仿真，计算验证所给出的故障切线组合下的系统暂态安全稳定性。接着，Q学习算法结合暂稳仿真计算结果，不断更新不同切线组合的Q值，筛选出容易导致系统失稳的切线组合。最后，基于不同切线组合的Q值，提出线路薄弱度指标，计算得到考虑电网暂态安全稳定性的薄弱线路。本发明利用Q学习算法能有效辨识出考虑系统暂态安全稳定性的薄弱线路，所需的仿真次数远少于故障遍历辨识方法，极大地减少了电网运行专家与技术人员在不同运行方式下进行稳定分析与潮流调整的工作量。

Description

一种电力系统薄弱线路辨识方法

技术领域

本发明涉及薄弱线路辨识技术领域，特别是涉及一种电力系统薄弱线路辨识方法。

背景技术

大型互联电网中，由于线路输送容量限制与网架结构制约，部分输电线路因偶发事件而退出运行，易导致系统负荷缺失、线路过载，甚至引发连锁故障，最终演变成电网崩溃、大停电等安全事故。提前进行电网薄弱线路辨识，找出并补强当前电网结构与运行方式下的薄弱输电线路，对于指导电网规划、运行与调度，保障电网供电可靠性和维持电网安全稳定运行具有十分重要的意义。

目前，绝大多数电网薄弱线路辨识工作都是针对供电充裕性进行的，主要考虑薄弱线路退出运行后，可能造成电网负荷缺失，无法保障供电充裕性。然而，针对供电充裕性的薄弱线路辨识仅考虑故障切除后，因潮流转移导致的连锁故障事故，其采用的是稳态潮流计算模型。事实上，短路故障及断线扰动很可能造成电网暂态失稳，危害电网安全稳定运行。因此，辨识薄弱线路有必要考虑电网暂态稳定性与供电安全性。而在实际的电网运行方式制定过程中，电力专家往往根据运行经验，设定预想故障集，并进行暂态稳定校验，实现针对供电安全性的薄弱线路辨识。但是，这种人工设置预想故障集的做法非常依赖专家经验知识，在大型互联电网的网架结构与运行方式变化较大时，薄弱线路辨识结果容易出现错漏现象。

发明内容

本发明提供一种电力系统薄弱线路辨识方法，用以解决现有通过算法辨识薄弱线路未考虑暂态稳定性导致遍历故障所需仿真次数太多而通过经验制定预想故障集导致薄弱线路辨识结果易出现错漏的技术问题。

本发明解决上述技术问题的技术方案如下：一种电力系统薄弱线路辨识方法，包括：

步骤1、基于电力系统暂态仿真，初始化电力系统，使得所述电力系统中各条线路处于正常工作状态，且切线组合为空；

步骤2、基于Q值表和贪婪系数ε，在所述切线组合中增加一条线路，确定新的切线组合；

步骤3、判断数据库中是否存有所述切线组合对应的所述电力系统的稳定性信息，若是，执行步骤4，若否，通过所述电力系统暂态仿真，得到所述切线组合对应的所述电力系统的稳定性信息并保存；

步骤4、基于该稳定性信息，更新所述Q值表中所述切线组合对应的Q值，且若该稳定性信息为失稳，则执行步骤1；否则，判断所述切线组合中的线路个数是否小于第一阈值，若是，执行步骤2，若否，执行步骤1，直至步骤1的执行次数超过第二阈值；

步骤5、基于所述Q值表，计算每条线路的薄弱水平，确定薄弱线路。

本发明的有益效果是：本发明提供的薄弱线路辨识方法，考虑了输电线路发生故障被切除后对电网暂态安全稳定性的影响。具体的，该辨识方法基于Q学习算法，采用ε-贪婪策略确定不同故障切线组合，通过电网暂态稳定仿真计算，验证所给出的故障切线组合下的系统暂态安全稳定性；接着，系统结合暂稳仿真计算结果，Q学习算法不断更新不同切线组合的Q值；最后，基于不同切线组合的Q值确定薄弱线路，辨识精度高。另外，每次仿真的电力系统的稳定性数据都进行保存，当下次迭代选择同一切线组合时，不需要进行再次进行仿真，节省了仿真时间，且相比于现有通过N-k故障遍历仿真的辨识方法，本发明提供的薄弱线路辨识方法极大地减少了所需的暂态稳定仿真计算次数，减少工作量。另外，本发明的辨识方法不需要提前制定预想故障集，不依赖于专家经验知识，极大地减少了电网运行专家与技术人员在不同运行方式下进行稳定分析与潮流调整的工作量。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述Q值表包括：各切线组合及其Q值；

其中，初始的Q值表中，单线路的切线组合的Q值为正数常数，多线路的切线组合的Q值为0。

本发明的进一步有益效果是：将单线路的切线组合的Q值确定为正数，例如，第一次迭代循环中选择单线路的切线组合时，当选择的第一条线路即使得电力系统失稳，根据贝尔曼方程，更新第一条线路的Q值还是为正数，那么下一次迭代，在空的切线组合中添加一条线路时，Q-Learning算法还是可在所有单线路中选择单线路切线组合。因此，本方法避免了单线路的切线组合的Q值为0时容易陷入局部最优的问题，保障了后续薄弱线路辨识结果的准确性。

进一步，所述步骤2包括：

确定待确定的新的切线组合中的线路个数，并从所述Q值表中确定所有具有所述线路个数及当前的切线组合中的线路的候选的切线组合；

对比所有所述候选的切线组合之间的Q值，确定最大Q值对应的候选的切线组合及非最大Q值对应的候选的切线组合；

按照最大Q值对应的候选的切线组合被选中的概率为1-ε、非最大Q值对应的候选的切线组合被选中的概率为ε，确定新的切线组合。

本发明的进一步有益效果是：具有ε的概率来选择Q值非最大的切线组合，来作为当前的故障切线组合；具有1-ε的概率来选择Q值最大的切线组合，来作为当前的故障切线组合，其中，Q值最大的切线组合有多个时，则具有1-ε的概率来随机选择其中任一个。采用ε-贪婪策略，可进一步避免Q学习训练过程陷入局部最优，保证在每一次切线组合选取时有尽可能多的切线组合有被选择的机会，提高训练速度，保障了薄弱线路辨识结果的准确性。

进一步，所述步骤3中，所述通过所述电力系统暂态仿真，得到所述切线组合对应的所述电力系统的稳定性信息，包括：

在所述电力系统中，所述切线组合中各条线路中间位置同步发生故障并被同步切除；

通过孤岛电网检测，将所述电力系统划分为多个子电网；

基于每个所述子电网中的发电机转速和功角信号，确定所述电力系统的稳定性。

本发明的进一步有益效果是：通过对切线组合中各条线路同步发生故障并被同步切除，且每条线路发生故障并被切除的位置为其中间位置，便于分析，提高训练速度。

进一步，所述步骤4中，所述基于该稳定性信息，更新所述Q值表中所述切线组合对应的Q值，包括：

步骤4.1、基于该稳定性信息及所述切线组合中的线路个数，确定该切线组合对应的立即回报函数；

步骤4.2、基于贝尔曼方程和所述立即回报函数，计算所述切线组合的新的Q值，并更新所述Q值表。

进一步，所述步骤4.1包括：

若所述线路个数不大于第一阈值，且该稳定性信息为失稳，则所述立即回报函数取值为正数常数；

若所述线路个数小于第一阈值，且该稳定性信息为稳定，则所述立即回报函数取值为0；

若所述线路个数等于第一阈值，且该稳定性信息为稳定，则所述立即回报函数取值为负数常数。

本发明的进一步有益效果是：负值起到惩罚效果，正值、0和负值的设置能较快的拉开导致电力系统失稳的切线组合与不能导致电力系统失稳的切线组合的差异，Q-Learning算法将给出最易使得系统暂态失稳的故障切线组合，从而筛选出该电力系统的薄弱线路，本方法提高Q-Learning算法的学习速度。

进一步，所述贝尔曼方程为：

Q(k_t)+ΔQ(k_t)→Q^·(k_t)；

其中，k_t为在t时刻仿真时所述电力系统中的切线组合，Q(k_t)为在电力系统仿真时切除k_t中的每条线路前所述Q值表中k_t的Q值，Q^·(k_t)为所述Q值表中Q(k_t)的更新值，ΔQ(k_t)为Q(k_t)的修正量，α为Q值调整更新的学习速率，取值为[0,1]，R(k_t)为在电力系统仿真时切除k_t中的每条线路后计算得到的立即回报函数，γ为折扣因子。

进一步，所述步骤5包括:

步骤5.1、基于所述Q值表，计算每条线路在每个所述切线组合中的占比以及该占比与该切线组合的Q值的乘积；

步骤5.2、计算每条线路对应的各乘积的加和，得到该条线路的薄弱水平；

步骤5.3、基于每条线路的所述薄弱水平，辨识所述电力系统中的薄弱线路。

进一步，所述步骤5.3包括：

对比各条线路的所述薄弱水平，确定最大薄弱水平；将每条线路的所述薄弱水平与所述最大薄弱水平做比值计算，得到每条线路的薄弱度；基于所述薄弱度，辨识所述电力系统中的薄弱线路。

本发明的进一步有益效果是：通过Q值，衡量各条线路的薄弱程度，从而筛选出电网中薄弱程度较高的线路，便于技术专家有针对性地为薄弱度高的线路故障制定预防与紧急控制措施，保障电力系统安全稳定运行。

本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上所述的任一种电力系统薄弱线路辨识方法。

附图说明

图1为本发明一个实施例提供的一种电力系统薄弱线路辨识方法的流程框图；

图2为IEEE标准新英格兰10机39节点系统单线图；

图3为标准负荷水平下采样本发明提供的薄弱线路辨识方法在不同迭代次数时得到的线路薄弱度对比图；

图4为大负荷水平下采样本发明提供的薄弱线路辨识方法在迭代次数为1000次时得到的线路薄弱度对比图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

一种电力系统薄弱线路辨识方法100，如图1所示，包括：

步骤110、基于电力系统暂态仿真，初始化电力系统，使得电力系统中各条线路处于正常工作状态，且切线组合为空；

步骤120、基于Q值表和贪婪系数ε，在切线组合中增加一条线路，确定新的切线组合；

步骤130、判断数据库中是否存有切线组合对应的电力系统的稳定性信息，若是，执行步骤140，若否，通过电力系统暂态仿真，得到切线组合对应的电力系统的稳定性信息并保存；

步骤140、基于该稳定性信息，更新Q值表中切线组合对应的Q值，且若该稳定性信息为失稳，则执行步骤110；否则，判断切线组合中的线路个数是否小于第一阈值，若是，执行步骤120，若否，执行步骤110，直至步骤110的执行次数超过第二阈值；

步骤150、基于Q值表，计算每条线路薄弱水平，确定薄弱线路。

需要说明的是，切线组合中的每一条切线是指在仿真时使得该条线路发生故障并将其切除。Q-Learning是一种强化学习算法，一般采用试凑法寻找使得环境累计回报函数最大的动作序列。强化学习算法的基本框架主要分为智能体与环境两个模块。智能体结合环境状态给出合理的动作策略，使得环境状态发生改变，并得到相应的回报函数。智能体根据反馈的环境更新状态及回报函数，评估动作序列的质量(Q值)，并修正动作序列对应的Q值。

本实施例采用Q-Learning算法，仿真模拟的电力系统即为环境，智能体可为数据处理器，切线组合即为动作序列。在切线组合中的线路数少于第一阈值时(一般为3)，每次仿真前在切线组合中增加一条线路，进行内循环，一旦切线组合使得电力系统失稳，则确定一组薄弱的切线组合，若在内循环中，切线组合的条数达到第一阈值，且还未使得电力系统失稳，则结束内循环，进行下一次迭代循环。以上每一个用于仿真的切线组合都基于电力系统暂态稳定性而对应有一个立即回报函数，进而得到该切线组合的Q值，用于达到迭代次数仿真结束后，基于Q值，确定电力系统中每条线路的薄弱水平。

本实施例提供的薄弱线路辨识方法，考虑了输电线路发生故障被切除后对电网暂态安全稳定性的影响。具体的，该辨识方法基于Q学习算法，采用ε-贪婪策略确定不同故障切线组合，通过电网暂态稳定仿真计算(调用电网暂态稳定仿真计算，与实际电网运行方式计算中电网薄弱线路辨识工作基本一致)，验证所给出的故障切线组合下系统暂态安全稳定性。接着系统结合暂稳仿真计算结果，生成立即回报函数，用于Q学习算法不断更新不同切线组合的Q值。最后，基于不同切线组合的Q值提出线路薄弱度指标，得到考虑电网暂态安全稳定性的薄弱线路。

本实施例利用Q学习算法能有效辨识出考虑系统暂态安全稳定性的薄弱线路，辨识精度高。其次，由于在进行Q学习时，仿真占用的时间相对是最长的，本实施例对每次仿真的电力系统的稳定性数据都进行保存，当下次迭代选择同一切线组合时，不需要进行再次进行仿真，节省了仿真时间，直接根据该存储的稳定性数据更新Q值表，相比于现有通过N-k故障遍历仿真的辨识方法，本实施例提供的薄弱线路辨识方法极大地减少了所需的暂态稳定仿真计算次数，减少工作量。另外，本实施例的辨识方法不需要提前制定预想故障集，不依赖于专家经验知识，当电网结构与潮流运行方式变化较大时，不易出现错漏现象，极大地减少了电网运行专家与技术人员在不同运行方式下进行稳定分析与潮流调整的工作量。

优选的，Q值表包括各切线组合及其Q值；

Q-Learning算法一般根据贪心策略在动作策略集(候选的切线组合)K_t中选取最佳动作策略(新的切线组合)，即选取当前状态下，获得Q值最大的切线组合，表示为

若初始的Q值表中，单线路的切线组合的Q值为0，那么，当第一外循环迭代时，若第一条线路即使得电力系统失稳，根据贝尔曼方程，更新第一条线路的Q值为正数常数，那么下一次迭代，在空的切线组合中添加一条线路时，Q-Learning算法容易选择Q值最大的单线路切线组合，因此，下一次迭代再次选择第一条线路，容易陷入局部最优。为了避免Q学习训练过程陷入这种局部最优，例如将单线路的切线组合的Q值确定为1，第一次迭代循环中选择单线路的切线组合时，当选择的第一条线路即使得电力系统失稳，根据贝尔曼方程，更新第一条线路的Q值还是为1，那么下一次迭代，在空的切线组合中添加一条线路时，Q-Learning算法还是可在所有单线路中选择单线路切线组合。因此，本方法避免了局部最优，保障了后续薄弱线路辨识结果的准确性。

优选的，步骤120包括：

确定待确定的新的切线组合中的线路个数，并从Q值表中确定所有具有该线路个数及当前的切线组合中的线路的候选的切线组合；对比所有候选的切线组合之间的Q值，确定最大Q值对应的候选的切线组合及非最大Q值对应的候选的切线组合；按照最大Q值对应的候选的切线组合被选中的概率为1-ε、非最大Q值对应的候选的切线组合被选中的概率为ε，确定新的切线组合。

需要说明的是，虽然采用贪心策略能够使Q-Learning算法快速逼近最优Q值(即：使得电力系统失稳的Q值)，但同时还容易导致其落入局部最优的陷阱，耗费更多的Q值训练时间。因此，为了尽可能避免局部最优的问题，在Q-Learning训练Q值表时，需要采用ε-贪婪策略选取新的切线组合。

所谓ε-贪婪策略是指Q-Learning算法中的智能体根据贪心策略从动作策略集K_t中筛选出Q值最大的动作策略后，有ε的概率放弃而选择非最优的动作策略，即：

由上式可知，当ε较小(极限是ε＝0)时，Q-Learning算法会充分利用训练过程中获取的知识，根据不断更新Q值选择最佳动作策略，但容易陷入局部最优的陷阱；当ε较大，尤其是ε＝1时，Q-Learning算法可以杜绝局部最优的问题并获得全局最优解，但与此同时，它对训练过程中所获取知识的利用率为零。不断地探索解空间中存在的各种可能动作序列，会导致训练时间急剧增加，甚至出现“维数灾”的问题。因此，需要合理选择ε的大小，在利用学习知识与探索解空间之间取得平衡，使得Q-Learning训练过程高效、准确地收敛于最优解。

具有ε的概率来选择Q值非最大的切线组合，来作为当前的故障切线组合；具有1-ε的概率来选择Q值最大的切线组合，来作为当前的故障切线组合，其中，Q值最大的切线组合有多个时，则具有1-ε的概率来随机选择其中任一个。采用了ε-贪婪策略，可避免Q学习训练过程陷入局部最优，保障了薄弱线路辨识结果的准确性。

优选的，步骤130中，通过电力系统暂态仿真，得到切线组合对应的电力系统的稳定性信息，包括：在电力系统中，切线组合中各条线路中间位置同步发生故障并被同步切除；通过孤岛电网检测，将电力系统划分为多个子电网；基于每个子电网中的发电机转速和功角信号，确定电力系统的稳定性。

在电网实际运行过程中，故障线路、故障类型、故障位置是随机的，不同线路的故障时刻也是随机的，相应地，故障切线策略也具有时间序列特性，这使得暂态稳定仿真分析变得非常复杂。为了便于阐述薄弱线路辨识过程，同时简化问题分析难度，本实施例电网薄弱线路辨识中电网暂态稳定仿真可具有以下特点：

(1)所有输电线路发生故障的概率相等，且线路故障考虑最严重的三线接地短路故障，故障发生后，经过0.1秒切除故障线路，不重合闸。

(2)由于故障可能发生在线路上任意位置，且故障位置靠近线路左母线节点与靠近线路右母线节点后系统暂态稳定特性会有所不同。本实施例统一考虑线路故障发生在线路50％处。

(3)为了简化分析问题，本实施例暂态稳定仿真计算中，故障切线组合中线路故障时刻相同。

(4)线路故障并切除后，仅考虑系统暂态功角失稳与频率失稳，不考虑系统连锁故障，即不考虑故障线路切除后因系统潮流转移，导致部分线路严重过载而相继退出运行的情况。

功能标志(Flag)的更新，用于表征Q-Learning算法的“功能”是否实现。电力系统暂态稳定仿真结束后，需要先进行孤岛检测，再判断系统稳定特性。若线路故障切除后，系统保持暂态稳定，则Flag＝1；若线路故障切除后，系统暂态失稳，则Flag＝0。当Flag＝0，就意味着完成当前Q(k_t)的更新后，本次循环结束，进入下一次循环。

其中，判断系统稳定特性时，需针对每一个子电网(包括主网与孤岛电网)进行暂态稳定性判别，考察功角稳定性与频率稳定性。电网暂态稳定性判据如下：

暂态功角稳定判据：

暂态频率稳定判据：

暂态稳定判据：

其中，G表示系统中子电网总数量，当G＝1时，系统中仅有主电网，不存在孤岛电网。

暂态功角稳定判据中，δ_Sign(i)表示第i个电网的功角稳定性，Δδ_max,i表示仿真结束时第i个电网中任意两台发电机的最大相对功角差，当Δδ_max,i不大于360°时，第i个电网暂态功角稳定；否则，第i个电网暂态功角失稳。

暂态频率稳定判据中，ω_Sign(i)表示第i个电网的频率稳定性，|Δω|_max,i表示仿真结束时第i个电网中，发电机实际转速标幺值相对额定标幺值的最大偏移量。基于《供电营业规则》，电网正常频率为50赫兹，在电力系统非正常状况下，供电频率允许偏差不应超过±1赫兹。因此，当|Δω|_max,i不大于0.02时，第i个电网暂态频率稳定；否则，第i个电网暂态频率失稳。

暂态稳定判据中，Sign(i)表示第i个电网的暂态稳定性，当第i个电网暂态功角稳定且频率稳定时，才能认定该电网暂态稳定；否则，该电网暂态失稳。需要注意的是，当孤岛电网内仅含一台发电机时，由于不存在相对功角的概念，默认该电网暂态功角稳定。因此，含单台发电机的孤岛电网仅考察其暂态频率稳定性。

进一步，根据各子电网的暂态稳定性，判断整体电力系统的暂态稳定性，即对功能标志Flag进行赋值。当且仅当系统内所有局部电网都保持暂态稳定时，才判定整体电力系统保持暂态稳定。功能标志的赋值函数如下：

优选的，步骤140中，基于该稳定性信息，更新Q值表中所述切线组合对应的Q值，包括：

步骤141、基于该稳定性信息及切线组合中的线路个数，确定该切线组合对应的立即回报函数；

步骤142、基于贝尔曼方程和立即回报函数，计算切线组合的新的Q值，并更新Q值表。

优选的，步骤141包括：

若线路个数不大于第一阈值，且该稳定性信息为失稳，则立即回报函数取值为正数常数；若线路个数小于第一阈值，且该稳定性信息为稳定，则立即回报函数取值为0；若线路个数等于第一阈值，且该稳定性信息为稳定，则立即回报函数取值为负数常数。

具体的，立即回报函数R(k_t)根据功能标志Flag与本次暂态稳定仿真中采用的切线组合中的切线个数N_cut确定，用于更新Q值表。立即回报函数的制定规则例如表示如下：

式中，N_th表示电力系统中允许切除的线路数量上限即为第一阈值，因数量大于N_th的线路同时发生故障的概率极低，不予以考虑。当切线组合的线路个数不大于第一阈值，且该切线组合导致电力系统暂态失稳时，立即反馈函数为1，本次Q值更新迭代完成。利用该立即反馈函数进行Q值更新，将对该切线组合形成正向激励，在后续更新迭代过程中，因为立即反馈函数为1，Q值增大，导致该故障切线组合被选中的概率增加。

当切线组合的线路个数小于第一阈值，且该切线组合尚未导致电力系统暂态失稳时，立即反馈函数为0，本次Q值更新迭代继续，继续选择下一个故障切线组合。

当切线组合的线路个数等于第一阈值，且该切线组合仍未导致电力系统暂态失稳时，立即反馈函数为-1，利用该立即反馈函数进行Q值更新，将对该组状态-动作对形成负向激励，在后续更新迭代过程中，该故障切线组合被选中的概率下降。

如此反复迭代，Q-Learning算法将给出最易使得系统暂态失稳的故障切线组合，从而后续筛选出该电力系统的薄弱线路。负值起到惩罚效果，正值、0和负值的设置能较快的拉开导致电力系统失稳的切线组合与不能导致电力系统失稳的切线组合的差异，本方法提高了Q-Learning算法的学习速度和薄弱线路辨识精度。

优选的，贝尔曼方程为：

Q(k_t)+ΔQ(k_t)→Q^·(k_t)；

Q-Learning算法的强化学习目标是求解如下贝尔曼最优方程，使得环境反馈的累积回报函数最大。

贝尔曼最优方程：其中，Q^*(k_t)表示系统反馈的最大累积回报函数，γ是折扣因子，表示下一时刻的Q值相对于当前时刻Q值得重要程度，当γ＝1时，表示每一时刻的Q值同等重要。在实际应用时，γ一般设置为略小于1的数，以便Q值在更新迭代中能趋于收敛。求解贝尔曼最优方程，即求解使得总体Q值最大的最优切线组合k_t。

Q-Learning是一种离线策略的强化学习算法，其实际采用的动作策略和学习更新时的动作策略不同。具体来说，Q-Learning在学习更新Q^*(k_t)时，使用了max操作来计算后续电力系统状态的预期收益Q^*(k_t+1)，即直接选择使得Q^*(k_t+1)最大的最优切线组合，而当系统实际转移至该最优切线组合对应的系统状态时，并不一定能选择到学习更新时的最优动作。因此，贝尔曼最优方程可改写为：

尽管在具体应用时，最优Q值Q^*(k_t)是未知的，但Q-Learning算法的智能体根据系统给出的累积回报函数不断地进行强化学习，实现Q值的迭代更新，从而逐步逼近Q^*(k_t)，最终得到一组最优切线组合，使得从系统得到的总回报函数最大。

智能体在接收到系统新的切线组合与立即回报函数R(k_t)之后，首先在Q值表中寻找新的切线组合所对应Q(k_t+1)的最大值。接着，根据下式计算更新Q值表：

Q(k_t)+ΔQ(k_t)→Q^·(k_t)；

需要说明的是，当α＝1时，Q-Learning算法仅关注于当前循环的立即回报函数和新切线组合的预期回报函数最大总和，完全无视之前循环过程中修正得到的Q值，且容易导致Q值发生振荡，难以收敛，学习过程显得极端激进。相反地，当α＝0时，Q-Learning将不具备任何学习能力，Q值表会一直维持最初值，学习过程极端保守。因此，确定α值时，需要权衡学习过程的保守性与激进性，使得Q-Learning既能通过强化学习调整更新Q值表，又能快速收敛于最优解。

优选的，步骤150包括:

步骤151、基于Q值表，计算每条线路在每个切线组合中的占比以及该占比与该切线组合的Q值的乘积；

步骤152、计算每条线路对应的各乘积的加和，得到该条线路的薄弱水平；

步骤153、基于每条线路的薄弱水平，辨识电力系统中薄弱线路。

优选的，步骤153包括：

对比各条线路的薄弱水平的大小，确定最大薄弱水平；将每条线路的薄弱水平与最大薄弱水平做比值计算，得到每条线路的薄弱度；基于薄弱度，辨识电力系统中的薄弱线路。

本实施例综合利用切线组合及其对应的Q值，评估线路的薄弱程度，线路薄弱度指标可定义如下：

LWM＝max{W(i)|i＝1,2,...,N}；

式中，LW(i)表示第i条线路的薄弱度，W(i)表示第i条线路的薄弱水平，M表示导致系统暂态失稳的故障切线组合的总数量，C(m)表示第m个导致系统失稳的切线组合。LWM表示所有输电线路薄弱水平的最大值。

L(m)表示第m个导致系统失稳的切线组合的长度，若C(m)为单切线组合，则L(m)＝1；若C(m)为双切线组合，则L(m)＝2；依此类推。E(m,1)表示第i条线路在切线组合C(m)中的参与标志，若C(m)中含有线路i，则表示第m次系统暂态失稳仿真中线路i发生故障并被切除,C(m)对线路i薄弱度计算有贡献；若C(m)中不含线路i，则第i次系统暂态失稳仿真中线路i正常运行，C(m)对线路i薄弱度计算无影响。Q(m)表示与切线组合C(m)对应的Q值。鉴于Q值是立即回报函数的总和，在一定程度上，Q值表征了该切线组合导致系统暂态失稳的能力。Q值越大，对应的切线组合越容易导致电力系统暂态失稳。因此，作为表征输电线路薄弱度的指标，LW(i)越大，表示第i条线路发生故障被切除后，系统发生暂态失稳的可能性越大。

例如，如图2所示，IEEE标准新英格兰10机39节点系统，结合电力系统暂态稳定仿真计算，辨识系统中的薄弱线路。该系统中包含10台发电机，每台发电机配置调速器和电力系统稳定器。系统中包含46条输电线路，其中，包含12条变压器线路和34条非变压器线路。辨识薄弱输电线路时，仅针对非变压器线路设置暂态故障仿真。故障扰动仅考虑线路50％处发生三相短路故障并被切除，故障切线组合最多包含3条线路。若考虑采用遍历仿真N-1、N-2和N-3故障的辨识方法，则共需调用暂态仿真计算6579次。

本实施例提供的薄弱线路辨识方法，其辨识流程如图1所示，具体地，包括以下步骤：

(1)设置学习速率α、贪婪系数ε与迭代次数上限；

(11)学习速率α为变学习速率，采用递减的方式给出，学习速率初值α₀＝0.5，使得Q-Learning在训练初期能更快地从立即回报函数中学习修正状态-动作对的Q值；每经过100次迭代，学习速率递减量为Δα＝0.05，最终，学习速率稳定在α_f＝0.1，避免训练后期Q-Learning已经进行了足够的学习后出现Q值振荡问题；

(12)贪心系数ε同样采用递减的方式给出，其初值ε₀＝0.9，鼓励Q-Learning在训练初期探索更多的故障切线组合，应对局部最优的问题；每经过1次迭代，贪婪系数递减量为Δε＝0.002，最终，贪婪系数稳定在ε_f＝0.3，要求Q-Learning在训练后期更多地利用和访问能导致系统暂态失稳的故障切线组合；

(13)迭代次数上限可分别设置为500、1000、1500和2000次；

(2)电网线路状态描述，通过一个34×1列向量描述电网中各线路处于正常运行还是发生故障被切除状态。线路初始运行状态为s1＝1，即在第一次暂态稳定仿真之前，所有线路都处于正常运行状态。

(3)故障切线策略选取，在切除线路不足3条线路时，Q学习智能体选择新增加的故障切除线路，形成新的故障切线组合；

(31)根据电网当前的线路运行状态，挑出仍处于正常运行状态的线路作为新增切线备选线路，新增切线备选线路与已有切线共同构成当前备选切线策略；

(32)参考Q值表，搜寻得到所有当前备选切线策略所对应的Q值，对比得到Q值最大的备选切线策略；

(33)生成一个随机数，若随机数大于ε，则选定Q值最大的备选切线策略作为当前的切线策略；若随机数小于ε，则任意选择Q值非最大的备选切线策略作为当前的切线策略；

(4)电网暂态稳定仿真，调用电网暂态稳定仿真计算模型，针对新的故障切线组合进行仿真计算，得到电网的暂态运行数据；

(41)每次调用暂态稳定仿真时，仿真开始时系统处于稳定运行状态，且所有输电线路都处于正常运行状态；

(42)根据当前的故障切线策略，0.5秒时，在相应的几条线路上50％处同时设置三相短路接地故障，0.6秒时，同时切除故障线路，5秒时，结束暂态稳定仿真计算；

(43)仿真过程中存储所有发电机的转速及功角；

(5)电网稳定标志更新，根据电网暂态稳定仿真计算数据，判断电网的网架结构变化情况及暂态稳定性；

(51)根据当前故障切线策略，判断系统切除这些输电线路之后，是否会形成异步运行的孤岛电网，将形成的多个异步运行的子电网编号，并标记每个母线节点所处的电网；

(52)针对每个子电网，找出其中存在的发电机编号，并读取仿真结束时刻相应发电机转速与功角信号。若存在发电机转速标幺值与正常转速标幺值的偏差大于0.02，及频率偏差大于1Hz，则该子电网频率失稳；否则，该子电网频率稳定。当该子电网所含发电机不止一台时，还需要考察子电网的公交稳定性。当任意两台发电机的相对功角大于360°时，该子电网功角失稳；否则，该子电网功角稳定。但凡子电网功角失稳或频率失稳，就判定该子电网暂态失稳。

(53)所有子电网暂态稳定性判别结束后，若存在一个子电网暂态失稳，则判定整个电网暂态仿真计算结果是暂态失稳。

(6)立即回报函数生成，根据电网暂态稳定性及当前故障切线组合，产生立即回报函数作为奖惩信号反馈给智能体；

(61)当故障切线数量达到3条时，若仿真计算结果是暂态失稳，则立即汇报函数为1；若仿真计算结果是暂态稳定，则立即汇报函数为-1；

(62)当故障切线数量不足3条时，若仿真计算结果是暂态失稳，则立即汇报函数为1；若仿真计算结果是暂态稳定，则立即汇报函数为0；

(7)相关Q值迭代更新，Q学习智能体根据反馈的立即回报函数更新当前故障切线组合所对应的Q值；

(71)根据当前故障切线后形成的新的系统线路运行状态，在Q值表中检索所有包含当前切线并增加一条故障线路的切线组合对应的Q值，成为下一轮切线策略对应的Q值，即Qt+1，对比得到Qt+1的最大值；

(72)根据公式贝尔曼方程计算得到当前切线策略对应的Q值的修正量；根据修正量更新当前切线策略对应的Q值；

(73)若故障切线数量不足3条，回到步骤(3)，继续增加切线；若故障切线数量达到3条，则结束本次迭代，迭代次数增加1，转入步骤(74)；

(74)若迭代次数未达到上限，则回到步骤(2)；若迭代次数达到上限值，则结束Q学习过程；

(8)线路薄弱指标制定，用于衡量各条线路的薄弱程度，从而筛选出电网中薄弱程度较高的线路。

(81)Q学习过程结束后，输出所有导致系统暂态失稳的故障切线组合，及失稳切线组合对应的Q值；

(82)根据上述薄弱水平和薄弱度的计算式，计算各条输电线路的薄弱度指标；

(83)根据计算的薄弱度指标排序，挑选出薄弱度最高的8条线路，标准负荷水平下的结果展示如表1所示，各条线路的薄弱度对比图如图3所示。

表1薄弱度较高的线路

序号	Q-500次	Q-1000次	Q-1500次	Q-2000次
					1	16-19	16-19	16-19	16-19
2	26-27	26-27	26-27	13-14
					3	13-14	13-14	13-14	26-27
4	26-29	23-24	6-11	23-24
					5	2-25	6-11	23-24	6-11
6	6-11	16-21	16-21	16-21
					7	26-28	2-25	2-25	10-13
8	23-24	10-13	26-29	2-25

对比不同迭代次数的Q学习辨识得到的薄弱线路。由图3可以看出，不同迭代次数得到的薄弱线路色块图中颜色分布基本一致。进一步地，由表1可以看出，8条薄弱线路中有6条线路是4组结果中共有的，且后3组结果中，相同线路达到7条，部分线路薄弱度排序上有细微差别。说明迭代次数到达1000次时辨识结果基本稳定。简单计算可知，由于切线数量上限是3条，故Q值迭代1000次过程中，需要调用的暂态稳定仿真计算不足3000次，不及遍历故障仿真次数的一半。随着系统规模增加，采用Q学习辨识方法所带来的暂态稳定仿真计算次数减少量将更加明显。由此可见，基于Q学习的电力系统薄弱线路辨识方法，能以较少的暂态稳定仿真计算，有效地辨识出考虑系统暂态安全稳定性的薄弱线路。

观察表1所列出的8条薄弱度较大的输电线路在图2中的位置可以发现，这些线路发生故障被切除后，相关发电机脱离主网运行的风险将显著增加。表1中，除线路16-19断开会导致发电机G4、G5脱离主网架运行外，线路23-24、16-21因故障被切除后，发电机G6、G7接入主网架的通道将减少至一回，其脱离主网架运行的风险增加；线路13-14、6-11、10-13因故障被切除后，发电机G2、G3接入主网架的输电通道也将减少至一回；线路26-27因故障被切除后，发电机G9接入主网架的输电通道也将减少至一回；线路2-25因故障被切除后，发电机G8接入主网架的输电通道也将减少至一回。由此可见，考虑系统暂态功角稳定性的电网薄弱线路辨识得到的结果，主要集中于发电机接入主网架通道较少的输电线路。

(84)不同负荷水平下薄弱度结果如表2所示。其中，大负荷水平下的系统输电线路薄弱度如图4所示。

表2不同负荷水平下薄弱度较高的线路

序号	标准负荷	薄弱度	大负荷	薄弱度
					1	16-19	1.0000	16-19	1.0000
2	26-27	0.3848	26-29	0.7676
					3	13-14	0.3355	28-29	0.6695
4	23-24	0.2952	26-27	0.5770
					5	6-11	0.2799	6-11	0.5633
6	16-21	0.2565	13-14	0.3399
					7	2-25	0.2251	17-27	0.3090
8	10-13	0.2226	21-22	0.2690

由图4和表2可以看出，不同负荷水平下得到的考虑系统暂态稳定性的薄弱线路确有不同。但其中16-19、26-27、13-14、6-11四条线路在不同负荷水平下均被辨识为薄弱度较高的输电线路。另一方面，标准负荷水平下，排在第二的线路薄弱度不到0.4，而在大负荷水平下，排在前五的线路薄弱度均超过0.5，整体薄弱度明显升高。这是因为，在大负荷水平下，输电线路呈现重载状态，发生短路故障被切除后更容易导致系统暂态失稳。结果表明，本实施例所提供的基于Q学习算法的薄弱线路辨识结果能有效辨识处不同运行方式下的薄弱线路，指导电网规划、运行、调度与稳定控制。

实施例二

一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上所述的任一种电力系统薄弱线路辨识方法。

在存储介质存储的指令同实施例一所述，在此不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种电力系统薄弱线路辨识方法，其特征在于，包括：

2.根据权利要求1所述的一种电力系统薄弱线路辨识方法，其特征在于，所述Q值表包括各切线组合及其Q值；

3.根据权利要求1所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤2包括：

4.根据权利要求1所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤3中，所述通过所述电力系统暂态仿真，得到所述切线组合对应的所述电力系统的稳定性信息，包括：

通过孤岛电网检测，将所述电力系统划分为多个子电网；

5.根据权利要求1所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤4中，所述基于该稳定性信息，更新所述Q值表中所述切线组合对应的Q值，包括：

6.根据权利要求5所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤4.1包括：

7.根据权利要求5所述的一种电力系统薄弱线路辨识方法，其特征在于，所述贝尔曼方程为：

Q(k_t)+ΔQ(k_t)→Q(k_t)；

ΔQ(k_t)＝α(R(k_t)+γm_kaxQ(k_t+1)-Q(k_t))；

其中，k_t为在t时刻仿真时采用的所述切线组合，Q(k_t)为在电力系统仿真时切除k_t中的每条线路前所述Q值表中k_t的Q值，Q(k_t)为所述Q值表中Q(k_t)的更新值，ΔQ(k_t)为Q(k_t)的修正量，Q(k_t+1)为t时刻以后仿真时待采用的新的切线组合的Q值，α为Q值调整更新的学习速率，取值为[0,1]，R(k_t)为所述立即回报函数，γ为折扣因子。

8.根据权利要求1至7任一项所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤5包括:

9.根据权利要求8所述的一种电力系统薄弱线路辨识方法，其特征在于，所述步骤5.3包括：

10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至9中任一项所述的一种电力系统薄弱线路辨识方法。