CN103715771A - 一种自动发电协调控制平台 - Google Patents

Abstract

本发明是一种自动发电协调控制平台。包括有频率响应模型模块、实时数据传输模块和多智能体控制模块，其中频率响应模型模块通过实时数据传输模块将控制信息传输至多智能体控制模块。本发明自动发电控制平台可以评估智能算法控制性能和解决未来自动发电控制过程所面临的强随机环境，能够准确抽象并快速模拟多智能体系统的AGC控制，通过变换系统的参数和加载不同的控制算法，既可以在同种控制方法下对其他因素的影响进行对比，又可以对不同控制算法之间进行横向比较和评测。

Description

一种自动发电协调控制平台

技术领域

本发明属于电力系统自动发电控制领域，涉及一种基于JADE（智能体开发框架，Java Agent Development Framework）多智能体动态博弈的自动发电控制平台。基于自动发电协调控制平台的创新技术。

背景技术

环境的日益恶化和传统化石能源的不可再生性，促成了风能、太阳能等分布式可再生新能源并网技术的快速发展。由于原动机功率的易变性和不可控性，新能源发电的控制结构和可用性也明显不同于常规发电。现代电力系统结构正随着新能源的渗入而日益复杂，如何通过控制发电机有功出力来跟踪负荷的随机变化，提高电网频率质量是当今控制领域研究的热点问题。同时，随着全世界范围内都开始建设下一代电网——智能电网，为了适应大规模风、光和电动汽车接入后随机性日益变强的电网环境，迫切需要预研下一代自动发电控制系统。智能电网要求发电调度控制系统从“自动化”向“智能化”迅速转变，面对各类新能源接入的新一代智能发电控制系统（Smart Generation Control, SGC）在性能上将会比自动发电控制（Auto Generation Control, AGC）表现得更智能、更优化、更协调。

目前，传统AGC控制策略的设计多为经典比例-积分（PI）控制结构。然而，由于电力系统运行点随日、月、季、年的不断变化，基于传统控制算法的固定增益控制器难以满足日益复杂的电力系统对控制性能的要求。传统AGC控制器所提供的基于电网实际模型的固定增益控制法很难适用于具有非线性和强随机性的大规模互联电网。同时，基于现代线性/鲁棒控制技术的AGC策略所要求的高阶动态控制结构并不利于工程实际。因此，适应性和灵活性更强的智能算法被引入AGC控制器的设计以解决上诉问题。

然而，国内外并没有统一标准的AGC智能仿真平台以实现互联电网多控制区域的协作控制并有效评估智能算法的控制效果。电力系统仿真平台如电力系统分析软件PSD、MATLAB/ Power System Toolbox等其循环运算效率低、封装性不好，对未来复杂多区域强随机环境下的AGC不能很好的实现实时仿真控制；如实时数字仿真仪（Real Time Digital Simulator, RTDS）又因其价格昂贵，维护费用大，一般的研究人员或研究机构根本无法承担；同时，以上仿真平台的自定义能力都较弱，各区域之间通信语言并没有形成统一的规范，难以嵌入用户自定义较强的智能算法。因此，引入多智能体技术以开发多区域互联系统AGC的协调控制平台就显得非常必要。

发明内容

本发明的目的在于实现互联电网多控制区域的协调控制并有效评估智能算法的控制效果的自动发电协调控制平台。

为了实现上述目的，本发明采用了以下技术方案：本发明的自动发电协调控制平台，包括有频率响应模型模块、实时数据传输模块和多智能体控制模块，其中频率响应模型模块通过实时数据传输模块将控制信息传输至多智能体控制模块。

上述频率响应模型模块，该模块包含各区域电网的频率响应模型，每个控制区域包含区域电网实时状态智能体、算法实现智能体和控制输出智能体。

上述实时数据传输模块，该模块负责采集电网实时运行数据，包括：各区域频率偏差、各区域ACE瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率，并负责实时传输这些运行数据至MATLAB实时运行模拟平台，建立相应的通信协议。

上述频率响应模型模块包含各区域电网的频率响应模型，每个控制区域包含区域电网实时状态智能体、算法实现智能体和控制输出智能体。

上述实时数据传输模块负责采集电网实时运行数据，包括：各区域频率偏差、各区域区域控制误差瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率，此模块还负责实时传输这些运行数据至MATLAB实时运行模拟平台，并建立相应的通信协议。

上述多智能体控制模块包括平台服务智能体、电网状态输入/控制输出智能体和分布式协调算法智能体。

上述平台服务智能体包括智能体管理系统ams、目录服务df、消息传输服务和同步智能体，分别起到如下作用：

a）智能体ams负责智能体的命名、定位和控制服务；

b）智能体df提供平台内的黄页服务；

c）消息传输服务提供了不同智能体之间的ACL消息交互机制；

d）同步智能体记录了平台当前运行的时间，并根据各智能体的消息处理时间定量计算各智能体的有效同步时间，各智能体的计算结果仅在同步时段内有效。

上述电网状态输入/控制输出智能体包括：

a）状态输入智能体：包括接收、解码来自区域电网的实时状态信号、时段信号，并负责分配给各智能体所需要的状态信号；

b）控制输出智能体：负责信号编码，并打包发送给各电网区域，区间内智能体主要是数据的接收、发送与备份；

上述分布式协调算法智能体包括测量智能体、区域信息交换智能体、控制选择智能体、Reward信度分配智能体和算法选择智能体，分别起到如下作用：

a）  测量智能体：该智能体数据输入为该区域的联络线功率偏差与频率偏差，输出为此区域的控制误差值和滚动CPS平均值；

b）  区域信息交换智能体：该智能体负责接收来自其它区域电网的状态信号和控制信号和发送本区域的状态控制信号给其它需要区域；

c）  控制选择智能体：该智能体通过接收各区域的ACE与CPS值来决定采用集中式AGC控制器还是分散式AGC控制器；

d）  Reward信度分配智能体：该智能体是对上一步联合动作下电网反馈的奖励进行重新评估；

算法选择智能体：该智能体决定采用智能算法的编号，平台可供选择算法有强化学习标准Q、Q(λ)算法、多智能体完全合作相关均衡算法DCEQ(λ)和斯泰格贝格均衡算法。

   本发明由频率响应模型模块、实时数据传输模块和多智能体控制模块三部分组成，其中频率响应模型模块通过实时数据传输模块将控制信息传输至多智能体控制模块。本发明自动发电控制平台可以评估智能算法控制性能和解决未来自动发电控制过程所面临的强随机环境，能够准确抽象并快速模拟多智能体系统的AGC控制，通过变换系统的参数和加载不同的控制算法，既可以在同种控制方法下对其他因素的影响进行对比，又可以对不同控制算法之间进行横向比较和评测。本发明可以实现互联电网多控制区域的协调控制并有效评估智能算法的控制效果。本发明是一种方便实用的自动发电协调控制平台。

附图说明

图1为多智能体动态博弈的自动发电控制平台结构示意图；

图2为本发明控制平台中的多智能体控制模块结构示意图。

具体实施方式

本发明提出的基于JADE多智能体动态博弈的自动发电协调控制平台结合附图及实施例详细说明如下：

如图1所示，本发明的自动发电协调控制平台，该控制平台是在基于JADE开发平台下设计的多智能体动态博弈的自动发电协调控制，本发明是针对目前国内外没有统一标准的AGC智能仿真平台，由频率响应模型模块、实时数据传输模块和多智能体控制模块三部分组成。

该平台包括：频率响应模型模块、实时数据传输模块和多智能体控制模块；

（1）频率响应模型模块：

频率响应模型模块包含各区域电网的频率响应模型，通过实时仿真产生区域电网的各种所需的实时数据；此模块产生的实时数据通过实时数据传输模块传输到多智能体控制模块；多智能体控制模块对实时数据进行分析，利用智能控制算法对频率响应模型模块中各区域电网进行控制，实现各区域电网AGC的协作控制。每个控制区域包含区域电网实时状态智能体、算法实现智能体和控制输出智能体。

（2）实时数据传输模块：

此模块主要负责采集电网实时运行数据，主要包括：各区域频率偏差、各区域控制误差（Area Control Error, ACE）瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率。此模块还负责实时传输这些运行数据至MATLAB实时运行模拟平台，并建立相应的通信协议。

（3）多智能体控制模块：

包括平台服务智能体、电网状态输入/控制输出智能体和分布式协调算法智能体；

1）平台服务智能体：FIPA（The Foundation for Intelligent Physical Agents）定义了平台应提供的若干服务，包括智能体管理系统（Agent Management System, AMS），目录服务（Directory Facilitator, DF）和消息传输服务。本发明为实时控制平台，因此加入同步控制智能体以记录本次循环控制的时间。JADE平台实体化后总是自动生成这四类智能体，为本平台的智能体创建、运行与销毁提供各类服务。

a）  智能体AMS主要负责智能体的命名、定位和控制服务，每个智能体必须在AMS中注册得到一个有效、唯一Agent的标志（AID），用于智能体生命周期的管理；

b）  智能体DF也是智能体平台必须的部分，主要提供平台内的黄页服务，例如对其它控制单元可视状态的查询、统计查询信息等；

c）  消息传输服务是默认的跨平台的智能体消息传输机制，提供了不同智能体之间的ACL（Agent Communication Language）消息交互机制，在消息传输机制中，ACC（Agent Communication Channel）是消息传输的通道，MTP（Message Transport Protocol）是不同ACC之间的消息交互协议；

d）  同步智能体记录了平台当前运行的时间，并根据各智能体的消息处理时间定量计算各智能体的有效同步时间，各智能体的计算结果仅在同步时段内有效。如某类智能体在同步时段内不能完成指定任务，则启动此类备用智能体继续任务。

2）电网状态输入/控制输出智能体：

a）  状态输入智能体主要包括接收、解码来自区域电网的实时状态信号、时段信号等，并负责分配给各智能体所需要的状态信号；

b）  控制输出智能体负责信号编码，并打包发送给各电网区域。区间内智能体主要是数据的接收、发送与备份。

此类智能体实现机制：在给智能体注册后，即可添加行为TickerBehaviour执行周期性数据收发备份工作。时间间隔等同于AGC时间执行间隔，一般为3-5秒。

3）分布式协调算法智能体：包括测量智能体、区域信息交换智能体、控制选择智能体、Reward信度分配智能体和算法选择智能体；

a）  测量智能体：该智能体数据输入为该区域的联络线功率偏差与频率偏差，输出为此区域的控制误差(Area Control Error, ACE)值和滚动CPS(Control Performance Standards) 平均值；

b）  区域信息交换智能体：该智能体负责接收来自其它区域电网的状态信号和控制信号和发送本区域的状态控制信号给其它需要区域；

c）  控制选择智能体：该智能体通过接收各区域的ACE与CPS值来决定采用集中式AGC控制器还是分散式AGC控制器。选择的原则为各区域状态动作的信息是否齐备和集中AGC智能体是否正常工作，如都是则选择集中AGC智能体，输出为各个区域的及时均衡动作值；否则选择分散AGC智能体，如果数据齐全，各分散AGC控制器分配各自计算的均衡动作并互不影响；如果数据不全，各分散控制器调入数据不齐全区域的上一次正常数据再行计算均衡动作值并分配动作。整个互联电网有且仅有一个集中AGC控制器，而测量智能体和分散AGC控制器在每一区域电网均有一个。

d）  Reward信度分配智能体：该智能体是对上一步联合动作下电网反馈的奖励进行重新评估。评估的原则为：(I)扣除上一步扰动的结果；(II)扣除联络线的波动对奖励的影响。

e）  算法选择智能体：该智能体决定采用智能算法的编号，平台可供选择算法有强化学习标准Q、Q(λ)算法、多智能体完全合作相关均衡算法DCE-Q(λ)和斯泰格贝格均衡算法。

南方电网由广东电网、广西电网、云南电网、贵州电网和海南电网五省构成，属于交直流混合输电系统，于2005年采用CPS控制标准。由于海南电网所占份额很少，且仅有一条外线相连于广东电网，故本平台实施例仅考虑四区域互联电网。控制器调度端AGC总指令控制周期为4s，CPS2中参数L ₁₀广东电网取288MW，广西电网取75MW，贵州电网和云南电网分别取81MW和78MW。CPS1中参数                                                

和分别取0.042和0.052。仿真过程中，电网外部环境描述为强随机环境，采用白噪声进行测试，本平台在南方电网四省区域详细动态全过程频率偏差模型上进行了仿真研究。

本平台结合实施例的工作过程如下：

（1）确定各个智能体状态

1）主智能体（总调）：首先需要向其它四省联络智能体发送“ARE YOU READY TO JOIN?”的消息(PROPOSAL类)，等待其它四区域智能体(广东、广西、云南、贵州)回复信息，当都回复同意(AGREE类)消息后，进入下一个环节；当区域智能体回复不是AGREE类时，过5秒再次发送PROPOSAL类消息；

a） 创建主智能体并初始化(注册)；命名MainCntAgt；

b） 向主智能体添加一并发行为(ParalleBehaviour-WHEN_ALL为结束条件)，分四个有限状态机FSMBehaviour行为类，每一次行为分三个状态：状态A发送消息给对应区域智能体，结束条件为回复AGREE消息；状态B为转移状态(无条件转移至A)并延时5秒；状态C为结束状态；主智能体向各个区域智能体发送消息包括：各区域频率偏差、各区域ACE瞬时值、各区域CPS瞬时值；

c） 并发行为结束后，添加tick行为，每两秒向各智能体发送电网状态信息；

2）区域智能体：开始一直处于接受消息状态，当接收到PROPOSAL消息时，则回复给主智能体AGREE消息(如其它情况回复FAILURE)，表明自己已经联通。

a）     创建智能体并完成初始化；

b）     添加tick行为，每一秒接受信息，然后处理并发送回复REPLY；

（2）实时数据传输模块的数据传输

在第（1）步确定各区域电网智能体的状态之后，根据电网的实时运行状态，如实施例中受到白噪声扰动则区域电网中各指标如：各区域频率偏差、各区域ACE瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率等将通过实时数据传输模块将数据传输到多智能体控制模块。其消息发送的一般步骤如下：

1）     创建代表消息内容的类

2）     创建描述这些消息类的ontology

3）     实例化代表消息内容的类

4）     创建Agent通信语言消息（ACL Message）类

5）     将消息接收者装入Agent通信语言消息类

6）     将形式语言名和ontology名装入Agent通信语言消息类

7）     创建消息内容管理器类（Content Manager）的实例

8）     用方法Content Manager. fill content (ACL Message m, Content Element content)格式化消息内容

9）     用方法send（ACL Message m）发送消息

（3）多智能体控制模块的控制

多智能体控制模块的结构如图2所示，通过接受实时数据传输模块传输过来的数据进行智能控制，实现多智能体AGC仿真控制。本实施例中控制算法采用CE-Q算法，该控制算法的控制流程如下：

1）     采集实时运行数据

2）     根据给定均衡函数求取相关均衡策略

3）     计算更新每个智能体的Q值

4）     再次更新相关均衡策略

5）     根据策略选择区域电网最优动作

通过实施例的仿真研究，可知平台在南方电网四省区域电网的AGC实时在线控制中，效果良好。

Claims (8)

1.一种自动发电协调控制平台，其特征在于包括有频率响应模型模块、实时数据传输模块和多智能体控制模块，其中频率响应模型模块通过实时数据传输模块将控制信息传输至多智能体控制模块。

2.根据权利要求1所述的自动发电协调控制平台，其特征在于上述频率响应模型模块，该模块包含各区域电网的频率响应模型，每个控制区域包含区域电网实时状态智能体、算法实现智能体和控制输出智能体。

3.根据权利要求1所述的自动发电协调控制平台，其特征在于上述实时数据传输模块，该模块负责采集电网实时运行数据，包括：各区域频率偏差、各区域ACE瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率，并负责实时传输这些运行数据至MATLAB实时运行模拟平台，建立相应的通信协议。

4.根据权利要求1所述的自动发电协调控制平台，其特征在于上述频率响应模型模块包含各区域电网的频率响应模型，每个控制区域包含区域电网实时状态智能体、算法实现智能体和控制输出智能体。

5.根据权利要求1所述的自动发电协调控制平台，其特征在于上述实时数据传输模块负责采集电网实时运行数据，包括：各区域频率偏差、各区域区域控制误差瞬时值、各区域有功单位调节量与速率、各区域AGC控制延时系数、各区域之间的交换功率，此模块还负责实时传输这些运行数据至MATLAB实时运行模拟平台，并建立相应的通信协议。

6.根据权利要求1所述的自动发电协调控制平台，其特征在于上述多智能体控制模块包括平台服务智能体、电网状态输入/控制输出智能体和分布式协调算法智能体。

7.根据权利要求6所述的自动发电协调控制平台，其特征在于上述平台服务智能体包括智能体管理系统ams、目录服务df、消息传输服务和同步智能体，分别起到如下作用：

a）智能体ams负责智能体的命名、定位和控制服务；

b）智能体df提供平台内的黄页服务；

c）消息传输服务提供了不同智能体之间的ACL消息交互机制；

d）同步智能体记录了平台当前运行的时间，并根据各智能体的消息处理时间定量计算各智能体的有效同步时间，各智能体的计算结果仅在同步时段内有效。

8.根据权利要求6所述的自动发电协调控制平台，其特征在于上述电网状态输入/控制输出智能体包括：

a）状态输入智能体：包括接收、解码来自区域电网的实时状态信号、时段信号，并负责分配给各智能体所需要的状态信号；

b）控制输出智能体：负责信号编码，并打包发送给各电网区域，区间内智能体主要是数据的接收、发送与备份；

根据权利要求1所述的自动发电协调控制平台，其特征在于上述分布式协调算法智能体包括测量智能体、区域信息交换智能体、控制选择智能体、Reward信度分配智能体和算法选择智能体，分别起到如下作用：

测量智能体：该智能体数据输入为该区域的联络线功率偏差与频率偏差，输出为此区域的控制误差值和滚动CPS平均值；

区域信息交换智能体：该智能体负责接收来自其它区域电网的状态信号和控制信号和发送本区域的状态控制信号给其它需要区域；

控制选择智能体：该智能体通过接收各区域的ACE与CPS值来决定采用集中式AGC控制器还是分散式AGC控制器；

Reward信度分配智能体：该智能体是对上一步联合动作下电网反馈的奖励进行重新评估；

算法选择智能体：该智能体决定采用智能算法的编号，平台可供选择算法有强化学习标准Q、Q(λ)算法、多智能体完全合作相关均衡算法DCEQ(λ)和斯泰格贝格均衡算法。

Images