CN104037761B - 一种agc功率多目标随机优化分配方法 - Google Patents

Abstract

本发明公开了一种基于改进TOPSIS‑Q的AGC功率多目标随机优化分配方法，其步骤为：(1)确定状态离散集和动作离散集；(2)对各个状态‑动作值函数以及状态‑动作概率矩阵进行初始化；(3)采集当前控制周期区域电网各机组的实时输出有功功率；(4)获得各个优化目标的立即奖励值；(5)更新各优化目标的状态‑动作值函数；(6)采用极差变换法对状态‑动作值矩阵进行归一化处理，求解出各个最优权重系数；(7)求解出当前状态下的贪婪动作，更新状态‑动作概率矩阵；(8)根据当前的状态‑动作概率矩阵选择动作，并在下一个控制周期到来时，返回步骤(3)。本发明多目标优化方法结合了改进TOPSIS多目标决策方法，能满足实时性要求很高的AGC闭环控制系统的动态多目标随机优化需求。

Description

一种AGC功率多目标随机优化分配方法

技术领域

本发明涉及电力系统自动发电控制技术领域，特别涉及基于改进TOPSIS-Q的AGC功率多目标随机优化分配方法，该方法适用于AGC功率的动态多目标随机优化分配。

背景技术

AGC(Automatic Generation Control)控制器为电网调度中心的重要控制系统之一，其主要任务是通过实时调整AGC机组的发电功率来应对随机的负荷扰动，使得互联电网频率和联络线交换功率保持在额定值。当AGC控制器根据电网负荷扰动得到一个总发电功率指令后，如何将总发电功率指令实时最优分配到各台AGC机组就成为一个研究难点。

目前，国内外关于AGC机组功率指令分配的研究还较少。在工程应用上，调度人员往往根据工作经验或机组的可调容量、调节速率等某一特性来进行AGC功率分配，并没有考虑到各机组间的其它非线性约束，难以满足复杂工况下的CPS(Control PerformanceStandard)性能要求。刘斌，王克英，余涛，等在《PSO算法在互联电网CPS功率调节中的应用研究》(电力系统保护与控制)中采用了PSO算法进行AGC功率分配，有效解决了CPS指令的最优分配问题。针对AGC功率最优分配的几个难点，余涛等学者采用了具有很好随机优化能力的强化学习Q方法开展了系列研究。在Q算法迭代更新中引入了资格迹，有效解决了火电机组大时延问题，还对AGC机组进行聚类分层，有效避免了功率分配的维数灾难问题。然而，上述方法都只是针对某一个控制目标，或在Q算法的奖励函数采用线性加权的方式进行多目标优化，并没有考虑各个目标之间量纲的差异，同时采用了较为主观的固定目标权重系数，从而难以满足AGC机组功率分配的多目标动态随机优化需要。

在进行多目标决策时，常用的方法有线性加权和法、TOPSIS法、目标规划法、交互式法等，这些方法都需要确定各目标的权重系数，一般采用主观赋权法或客观赋权法。相比主观赋权法，客观赋权法得到的权值系数更加恰当、合理，但其计算方法大多比较繁琐，难以满足快速多目标决策的需求，尤其是在秒级时间尺度的AGC系统应用中。

改进TOPSIS法是一种简便快速的多目标决策方法，能够利用决策矩阵的信息，客观地赋以各目标的权重系数，并以各方案到理想点距离的加权平均和作为综合评价标准。为更好解决Q学习算法的快速多目标决策问题，本发明方法以不同的Q值矩阵代表各个优化目标，然后利用改进TOPSIS法进行多目标决策，更好满足了实时性要求很高的AGC闭环控制系统的动态多目标优化需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于改进TOPSIS-Q的AGC功率多目标随机优化分配方法，该方法以不同的Q值矩阵代表各个优化目标，然后利用改进TOPSIS法进行多目标决策，能更好的适应AGC功率指令动态实时多目标分配，具有更好的优化结果。

本发明的目的通过下述技术方案实现：基于改进TOPSIS-Q的AGC功率多目标随机优化分配方法，包括以下步骤：

(1)确定状态离散集S和动作离散集A；

(2)对各个优化目标的状态-动作值函数以及状态-动作概率矩阵进行初始化；

(3)采集当前控制周期区域电网的实时运行数据，包括各机组的实时输出有功功率，并计算出各机组的功率偏差值；

(4)由当前状态sk,获得各个优化目标的立即奖励值R^m(s_k,s_k+1,a_k)；

(5)根据当前控制周期各个优化目标的立即奖励值更新当前控制周期下各目标的状态-动作值函数；

(6)采用极差变换法对当前状态下各个目标的状态-动作值矩阵进行归一化处理，求解出各个优化目标到理想点的最优权重系数；

(7)求解出当前状态下的贪婪动作，更新状态-动作概率矩阵；

(8)根据当前的状态-动作概率矩阵选择算法动作，根据选择的动作得到各个机组的功率调节因子，并在下一个控制周期到来时，返回步骤(3)。

本发明的步骤(1)中，离散集S为功率物理量，其为事先确定，不需要采集；离散集A为调节因子(调节比例)物理量，其为事先确定，不需要采集。

本发明的步骤(2)中，初始化时，所有状态动作概率相等，均为1/n,其中n为动作个数。

本发明的步骤(3)中，实时运行数据包括各机组的实时输出有功功率。

本发明的步骤(4)中，立即奖励值是算法中的一个环节，其物理意义是对上次状态s_k执行动作a_k的评价，动作如果较优，奖励值就越高。

本发明的步骤(7)中，贪婪动作的物理意义就是当前状态下对应值函数最大的动作，即当前状态最优解。

本发明的步骤(8)中，算法动作就是优化的变量，即各调节因子组合；各个机组的功率调节因子，就相当于各个机组承担的负荷扰动比重，用来将AGC得到的总功率分配到各个机组的。

根据本发明另一具体实施方式，步骤(1)中的状态离散集S是根据自动发电控制总功率指令进行范围划分确定的。

根据本发明另一具体实施方式，步骤(1)中的动作离散集A是由若干个调节因子组合构成的。

根据本发明另一具体实施方式，步骤(2)中的各个优化目标的状态-动作值函数初始化为零。

根据本发明另一具体实施方式，步骤(2)中的状态-动作概率矩阵初始化时各状态下的每个动作概率相等。

根据本发明另一具体实施方式，步骤(3)中的各机组当前控制周期下的功率偏差值ΔP_error-i(k)为：

ΔP_error-i(k)＝ΔP_Gi(k)-ΔP_order-i(k-1)，i＝1,2,...,n；

其中ΔP_Gi(k)为当前控制周期k下的实时输出有功功率值，ΔP_order-i(k-1)为上一控制周期下机组i的有功指令值，n为机组的总数。

根据本发明另一具体实施方式，步骤(4)中的立即奖励值R^m(s_k,s_k+1,a_k)是根据第m个优化目标进行设计的。

根据本发明另一具体实施方式，步骤(5)中的各目标的状态-动作值函数的迭代更新公式为：

$Q_{k+1}^m=Q_k^m(s,a)+{\mathrm{\α\δ}}_k^m{e}_k(s,a);$

$Q_{k+1}^m(s_k,a_k)=Q_{k+1}^m(s_k,a_k)+{\mathrm{\α\ρ}}_k^m;$

${\mathrm{\ρ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_k);$

${\mathrm{\δ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_g);$

$e_k(s,a)=\left\{\begin{array}{cc}{\mathrm{\γ\λe}}_{k-1}(s,a)+1& \mathrm{if}(s,a)=(s_k,a_k)\\ {\mathrm{\γ\λe}}_{k-1}(s,a)& \mathrm{otherwise}\end{array}\right.;$

其中s为状态，a为动作，sk为当前控制周期下的状态，ak为当前控制周期下的动作；e_k(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1；λ为衰减因子，其中0≤λ≤1；α为学习因子，其中0≤α≤1；均为学习偏差值；R^m(s_k,s_k+1,a_k)是第m个优化目标在第k次迭代时刻环境由状态sk经动作ak转移到sk+1后的奖励函数值；ag为贪婪动作策略，即多目标决策评价最好的优化动作。

根据本发明另一具体实施方式，步骤(6)中的归一化处理如下：

$y^m(s_k,a)=\frac{Q_k^m(s_k,a)-\min Q_k^m(s_k,a)}{\max Q_k^m(s_k,a)-\min Q_k^m(s_k,a)};$

其中y^m(s_k,a)为第m个状态-动作值矩阵的归一化矩阵。

根据本发明另一具体实施方式，步骤(6)中的最优权重系数ω_m求解如下：

${\mathrm{\ω}}_m=\frac{1}{\left(\underset{m=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{\underset{a\∈A}{\mathrm{\Σ}}{[y^m(s_k,a)-1]}^2}\right)\left(\underset{a\∈A}{\mathrm{\Σ}}{[y^m(s_k,a)-1]}^2\right)};$

根据本发明另一具体实施方式，步骤(7)中的贪婪动作ag求解如下：

$a_g=\arg \underset{a\∈A}{\min }\left(\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{[y^m(s_k,a)-1]}^2{\mathrm{\ω}}_m^2\right);$

根据本发明另一具体实施方式，步骤(7)中的状态-动作概率矩阵更新如下：

$\left\{\begin{array}{c}{P}_s^{k+1}\left(a_g\right)=P_s^k\left(a_g\right)+\mathrm{\β}(1-P_s^k\left(a_g\right))\\ P_s^{k+1}\left(a\right)=P_s^k\left(a\right)(1-\mathrm{\β}),\∀a\∈A,a\≠a_g\\ P_{s^{\′}}^{k+1}\left(a\right)=P_{s^{\′}}^k\left(a\right),\∀a\∈A\&\∀s^{\′}\∈S,s^{\′}\≠s\end{array}\right.;$

其中β代表动作搜索速度，其中0≤β≤1；Psk(a)代表第k次迭代时状态s下动作a被选择的概率。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明多目标优化方法结合了改进TOPSIS多目标决策方法，满足了实时性要求很高的AGC闭环控制系统的动态优化需求，在求解动态最优权重系数后，贪婪动作策略的确定更加合理；

(2)本发明目标优化方法与经典强化学习算法一样，具有很好的在线学习能力，有效解决了风电接入后随机电力系统的AGC功率指令动态分配随机优化问题；

(3)本发明多目标优化方法能在保证CPS性能的同时，尽可能地满足其他优化目标的需求。

附图说明

图1是实施例1的流程图；

图2是实施例1中标准两区域互联系统负荷频率控制模型。

具体实施方式

实施例1

本实施例中以标准两区域互联系统负荷频率控制模型作为研究对象，其中该模型中包含煤电、气电、水电三台AGC机组，具体模型参数与仿真设计原则请参阅余涛，王宇名，刘前进发表的《互联电网CPS调节指令动态最优分配Q-学习算法》(中国电机工程学报)，如图2所示。本实施例总共有三个需要优化的目标，分别为功率偏差、调节成本以及碳排放。如图1所示，本实施例中针对模型中的AGC机组功率多目标随机优化分配方法包括以下步骤：

(1)确定状态离散集S和动作离散集A。

其中本实施例中确定的状态离散集S为：

S＝{(-∞,1000],(-1000,-500],(-500,0],(0,500],(500,1000],(1000,+∞)}；

单位MW。

本实施例中确定的动作离散集A为：

A [(0,0,1),(0,0.9,0.1),(0,0.8,0.2),…,(0.1,0.9,0),(1,0,0)]；

总共有66个离散动作。

(2)对各个优化目标的状态-动作值函数以及状态-动作概率矩阵进行初始化；在本实施例中将各优化目标的状态动作值函数初始化为零，状态s下各个动作概率

(3)采集当前控制周期区域电网的实时运行数据，包括各机组的实时输出有功功率ΔP_Gi(k)，并计算出各机组的功率偏差值ΔP_error-i(k)：

ΔP_error-i(k)＝ΔP_Gi(k)-ΔP_order-i(k-1)，i＝1,2,3；

ΔP_order-i(k-1)为上一控制周期下机组i的有功指令值，控制周期为8s。

(4)由当前状态sk,获得各个优化目标的立即奖励值R^m(s_k,s_k+1,a_k)，其中各个目标的奖励函数如下所示：

$\left\{\begin{array}{c}{R}^1(s_k,s_{k+1},a_k)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ΔP}}_{\mathrm{error}-i}^2\left(k\right)\\ R^2(s_k,s_{k+1},a_k)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{C}_i\left[{\mathrm{\ΔP}}_{\mathrm{Gi}}\left(k\right)\right]\\ R^3(s_k,s_{k+1},a_k)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i\left[{\mathrm{\ΔP}}_{\mathrm{Gi}}\left(k\right)\right]\end{array}\right.;$

其中Ci为第i台机组的调节成本系数；Di为第i台机组的碳排放强度系数。

(5)根据当前控制周期各个优化目标的立即奖励值R^m(s_k,s_k+1,a_k)更新当前控制周期下各目标的状态-动作值函数

本实施例中状态动作值函数的迭代更新公式为：

$Q_{k+1}^m=Q_k^m(s,a)+{\mathrm{\α\δ}}_k^m{e}_k(s,a);$

$Q_{k+1}^m(s_k,a_k)=Q_{k+1}^m(s_k,a_k)+{\mathrm{\α\ρ}}_k^m;$

${\mathrm{\ρ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_k);$

${\mathrm{\δ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_g);$

$e_k(s,a)=\left\{\begin{array}{cc}{\mathrm{\γ\λe}}_{k-1}(s,a)+1& \mathrm{if}(s,a)=(s_k,a_k)\\ {\mathrm{\γ\λe}}_{k-1}(s,a)& \mathrm{otherwise}\end{array}\right.;$

其中s为状态，a为动作，sk为当前控制周期下的状态，ak为当前控制周期下的动作；e_k(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1，本实施例取γ为0.8；λ为衰减因子，其中0≤λ≤1，本实施例取λ为0.7；α为学习因子，其中0≤α≤1，本实施例取α为0.1；均为学习偏差值；R^m(s_k,s_k+1,a_k)是第m个优化目标在第k次迭代时刻环境由状态sk经动作ak转移到sk+1后的奖励函数值；ag为贪婪动作策略，即多目标决策评价最好的优化动作。

(6)采用极差变换法对当前状态下各个目标的状态-动作值矩阵进行归一化处理，求解出各个优化目标到理想点的最优权重系数。

本实施例中对各个状态-动作值矩阵进行的归一化处理如下：

$y^m(s_k,a)=\frac{Q_k^m(s_k,a)-\min Q_k^m(s_k,a)}{\max Q_k^m(s_k,a)-\min Q_k^m(s_k,a)};$

其中y^m(s_k,a)为第m个状态-动作值矩阵的归一化矩阵。

本实施例中对各个目标的最优权重系数ω_m求解如下：

${\mathrm{\ω}}_m=\frac{1}{\left(\underset{m=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{\underset{a\∈A}{\mathrm{\Σ}}{[y^m(s_k,a)-1]}^2}\right)\left(\underset{a\∈A}{\mathrm{\Σ}}{[y^m(s_k,a)-1]}^2\right)}$

(7)求解出当前状态下的贪婪动作，更新状态-动作概率矩阵。

本实施例中贪婪动作ag的求解如下：

$a_g=\arg \underset{a\∈A}{\min }\left(\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{[y^m(s_k,a)-1]}^2{\mathrm{\ω}}_m^2\right);$

本实施例中状态-动作概率矩阵更新如下：

$\left\{\begin{array}{c}{P}_s^{k+1}\left(a_g\right)=P_s^k\left(a_g\right)+\mathrm{\β}(1-P_s^k\left(a_g\right))\\ P_s^{k+1}\left(a\right)=P_s^k\left(a\right)(1-\mathrm{\β}),\∀a\∈A,a\≠a_g\\ P_{s^{\′}}^{k+1}\left(a\right)=P_{s^{\′}}^k\left(a\right),\∀a\∈A\&\∀s^{\′}\∈S,s^{\′}\≠s\end{array}\right.;$

其中β代表动作搜索速度，其中0≤β≤1，本实施例取β为0.5；Psk(a)代表第k次迭代时状态s下动作a被选择的概率。

(8)根据当前的状态-动作概率矩阵选择算法动作，根据选择的动作得到各个机组的功率调节因子，并在下一个控制周期到来时，返回步骤(3)。

虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。

Claims (5)

1.一种AGC功率多目标随机优化分配方法，其特征在于，包括以下步骤：

(1)确定状态离散集S和动作离散集A，其中状态离散集S为功率，动作离散集A为调节因子；

(2)对各个优化目标的状态-动作值函数以及状态-动作概率矩阵进行初始化；

(3)采集当前控制周期区域电网的实时运行数据，包括各机组的实时输出有功功率，并计算出各机组的功率偏差值；

(4)由当前状态s_k,获得各个优化目标的立即奖励值R^m(s_k,s_k+1,a_k)；

(5)根据当前控制周期各个优化目标的立即奖励值更新当前控制周期下各目标的状态-动作值函数；各目标的状态-动作值函数的迭代更新公式为：

$Q_{k+1}^m=Q_k^m(s,a)+{\mathrm{\α\δ}}_k^m{e}_k(s,a);$

$Q_{k+1}^m(s_k,a_k)=Q_{k+1}^m(s_k,a_k)+{\mathrm{\α\ρ}}_k^m;$

${\mathrm{\ρ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_k);$

${\mathrm{\δ}}_k^m=R^m(s_k,s_{k+1},a_k)+{\mathrm{\γQ}}_k^m(s_{k+1},a_g)-Q_k^m(s_k,a_g);$

$e_k(s,a)=\left\{\begin{array}{cc}{\mathrm{\γ\λe}}_{k-1}(s,a)+1& \begin{array}{cc}if& (s,a)=(s_k,a_k)\end{array}\\ {\mathrm{\γ\λe}}_{k-1}(s,a)& otherwise\end{array}\right.;$

其中s为状态，a为动作，sk为当前控制周期下的状态，ak为当前控制周期下的动作；e_k(s,a)为资格迹矩阵；γ为折扣因子，其中0≤γ≤1；λ为衰减因子，其中0≤λ≤1；α为学习因子，其中0≤α≤1；均为学习偏差值；R^m(s_k,s_k+1,a_k)是第m个优化目标在第k次迭代时刻环境由状态sk经动作ak转移到sk+1后的奖励函数值；ag为贪婪动作策略，即多目标决策评价最好的优化动作；

(6)采用极差变换法对当前状态下各个目标的状态-动作值矩阵进行归一化处理，求解出各个优化目标到理想点的最优权重系数；其中的归一化处理如下：

$y^m(s_k,a)=\frac{Q_k^m(s_k,a)-{\mathrm{minQ}}_k^m(s_k,a)}{{\mathrm{maxQ}}_k^m(s_k,a)-{\mathrm{minQ}}_k^m(s_k,a)};$

其中y^m(s_k,a)为第m个状态-动作值矩阵的归一化矩阵；

其中的最优权重系数ω_m求解如下：

${\mathrm{\ω}}_m=\frac{1}{\left(\underset{m=1}{\overset{3}{\Σ}}\frac{1}{\underset{a\∈A}{\Σ}{\[y^m(s_k,a)-1\]}^2}\right)\left(\underset{a\∈A}{\Σ}{\[y^m(s_k,a)-1\]}^2\right)};$

(7)求解出当前状态下的贪婪动作，更新状态-动作概率矩阵；其中，贪婪动作ag求解如下：

$a_g=\arg \underset{a\∈A}{min}\left(\underset{m=1}{\overset{3}{\Σ}}{\[y^m(s_k,a)-1\]}^2{\mathrm{\ω}}_m^2\right);$

(8)根据当前的状态-动作概率矩阵选择算法动作，根据选择的动作得到各个机组的功率调节因子，并在下一个控制周期到来时，返回步骤(3)。

2.根据权利要求1所述的AGC功率多目标随机优化分配方法，其特征在于，所述步骤(1)中确定的状态离散集S是根据自动发电控制总功率指令进行范围划分确定的。

3.根据权利要求1所述的AGC功率多目标随机优化分配方法，其特征在于，所述步骤(1)中确定的动作离散集A是由若干个调节因子组合构成的。

4.根据权利要求1所述的AGC功率多目标随机优化分配方法，其特征在于，所述步骤(2)中状态-动作概率矩阵初始化时各状态下的每个动作概率相等。

5.根据权利要求1所述的AGC功率多目标随机优化分配方法，其特征在于，所述步骤(4)中立即奖励值R^m(s_k,s_k+1,a_k)是根据第m个优化目标进行设计的。