CN103955748A - 一种基于数据通信可靠性的单负载决策优化方法 - Google Patents

Abstract

本发明提供一种基于数据通信可靠性的单负载决策优化方法，该方法包括以下步骤：分析所述智能电网数据通信的可靠性；定义缓征负载的动作空间L和状态空间A(l)；推导出所述缓征负载的转移概率矩阵；定义缓征负载的瞬时成本函数；建立CMDP模型，得出单负载最优调度策略。本发明提供的方法通过建立基于家庭区域网和邻域网网关可靠性的约束马尔可夫决策过程模型，对智能电网数据通信可靠性进行了分析，采用单负载决策进行缓征负载调度，因此，减少了智能电网数据通信不可靠对决策策略的影响，实现了电力消耗成本的最小化。

Description

一种基于数据通信可靠性的单负载决策优化方法

技术领域

本发明涉及一种智能电网优化调度方法，具体讲涉及一种基于数据通信可靠性的单负载决策优化方法。 

背景技术

以最大限度减少电力消耗和供应成本为目的对智能电表中的数据进行收集、交换和处理的智能电网的智能电表数据管理系统(MDMS：Meter Data Management System)中，传递智能电网的相关数据的智能电网数据通信设施是一种支持智能电网应用的专用数据网络，此网络一般由分层结构中相互连接家庭区域网(HAN：Home Area Network)和邻域网(NAN：Neighborhood Area Network)构成，所以智能电网数据通信设施的可靠性直接影响着智能电网应用的最佳性能。 

缓征负载是一种具有时间灵活性和延期容忍性的负载，洗衣机、干洗机、空调、电动车等都是缓征负载的代表性家用电器。缓征负载调度者通过智能电网数据通信设施定期接收MDMS中的实时电价信息，进而根据实时电价信息做出优化决策以实现电力消耗成本最小化。 

由于智能电网中存在电网数据传送不稳定、电力价格不确定等因素，所以基于实时电价信息的缓征负载调度受这些因素的影响无法实现最大程度减少缓征负载的电力消耗。 

尽管当前提出了一些针对上述问题的许多基于不确定电价信息的调度优化方案，但这些方案主要利用电价统计信息、特殊电价通信渠道等方法解决电价不确定性问题，以智能电表作为决策者对整个缓征负载系统进行调度，采用队列存储负载任务，实现缓征负载电耗优化策略。虽然这些方案考虑了间断通信下电价不确定性，但却忽略了智能电网数据通信可靠性这一因素的重要性。同时，这些方案对整个负载系统进行调度，在满足一定的负载吞吐量的条件下达到电耗优化的目的。本发明提出了考虑智能电网数据通信可靠性，以单负载作为决策者，进行缓征负载调度优化，实现电耗成本最小化的技术方案。 

发明内容

为了克服上述现有技术的不足，本发明提供一种基于智能电网数据通信可靠性的单负载决策调度优化方法，该方法考虑智能电网数据通信可靠性，以单负载作为决策者，进行缓征负载调度优化，有效的实现电网中负载的调度优化。 

为了实现上述发明目的，本发明采取如下技术方案： 

一种基于数据通信可靠性的单负载决策优化方法，所述方法基于智能电网数据通信可靠性；所述单负载为缓征负载；该方法包括以下步骤： 

A.分析所述智能电网数据通信的可靠性； 

B.定义缓征负载的动作空间和状态空间； 

C.推导出所述缓征负载的转移概率矩阵； 

D.定义缓征负载的瞬时成本函数； 

E.建立CMDP模型，得出单负载最优调度策略。 

优选地，所述步骤A中，所述分析包括：通过马尔可夫链模型化家庭区域网和邻域网网关的状态，并得出智能电网数据通信设施连接状态的转移概率矩阵C_con；所述网关的状态包括可用状态和维修状态。 

优选地，所述步骤B中，所述定义包括从负载运作阶段状态、等待状态、电价状态和智能电网数据通信设施的连接状态来定义所述状态空间；从运行状态和推迟状态来定义所述动作空间。 

优选地，所述步骤C所述推导包括： 

C-1.从运行阶段状态、等待状态和动作空间的取值状态得出转移概率； 

C-2.从电价状态和通信设施的连接状态得出所述缓征负载的转移概率矩阵。 

优选地，所述步骤C-1中，当动作空间为运行状态时，从状态（s_i,w_j）到状态（s_m,w_n）的所述转移概率为表达式(1)所示，其中，S表示负载当前的运作阶段状态，{s₀,...s_max}表示所有的运作阶段；W表示负载的等待状态，{w₁,...,w_max}表示所有的等待状态的集合；α(s_i,w_j)表示缓征负载在一个等待时间段内完成运行阶段s_i的概率： 

当动作空间为推迟状态时，从状态（s_i,w_j）到状态（s_m,w_n）的所述转移概率为表达式(2)所示： 

优选地，所述步骤C-2中，所述缓征负载的转移概率矩阵为下式（3）所示： 

$T^a=C_{\mathrm{con}}G\⊗Q^a---\left(3\right)$

式中，G表示电价的转移概率矩阵；a表示动作空间的状态值，取值为0或1；当C_con表示可连接时，缓征负载可观察到价格信息，可获得电价转移概率矩阵P；当C_con表示不可连接时，P表示单位矩阵。 

优选地，所述步骤D中，所述瞬时成本函数用下式（4）表示： 

式中，β⁰(s)表示缓征负载在运行阶段s时执行运行动作所消耗的电力；β¹(s,w)表示缓征负载在运行阶段s、等待状态w时执行推迟动作所消耗的电力；p表示智能电网数据通信设施连接正常时决策者观察到的价格；表示智能电网数据通信设施断开时所取得的平均价格。 

优选地，所述步骤E中，所述CMDP模型用式(5)-(8)表示： 

s.t.  φ(l,a＝1)＝0,  w＝w_max     （6） 

$\begin{array}{cc}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l_1,a)=\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)T\left(l_1\right|l,a),& l_1\∈L\end{array}---\left(7\right)$

$\begin{array}{cc}\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)=1,& \mathrm{\φ}(l,a)>0\end{array}---\left(8\right)$

式中，T(l₁|l,a)表示执行动作a时空间状态从l转移到l₁的转移概率，约束条件(6)表明当到达最大等待状态w_max时缓征负载必须执行“运行”动作，约束条件(7)满足查普曼-科尔莫戈罗夫等式。 

优选地，所述步骤E包括：得到最优平稳状态以推算所述单负载最优调度策略；所述如下表达式所示： 

${\mathrm{\φ}}^{*}(l,a)=\arg \underset{\mathrm{\φ}(l,a)}{\min }\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)\mathrm{\γ}(l,a);$

所述单负载最优调度策略π^*(l,a)为状态空间为l时执行动作a的概率，该调度策略用下式（16）表示： 

与现有技术相比，本发明的有益效果在于： 

本发明建立了基于家庭区域网和邻域网网关可靠性的约束马尔可夫决策过程模型，对智能电网数据通信可靠性进行了分析，采用单负载决策进行缓征负载调度，因此，减少了智能电网数据通信不可靠对决策策略的影响，实现了电力消耗成本的最小化。 

附图说明

图1是本发明的方法的流程图； 

图2是本发明实施例中智能电网数据通信设施结构图。 

具体实施方式

下面结合附图对本发明作进一步详细说明。 

如图1所示，本发明的主要流程如下： 

1）、对智能电网数据通信的可靠性进行分析，得到智能电网数据通信可靠性的转移概率矩阵C_con； 

2）、定义缓征负载的动作空间L和状态空间A(l)，状态空间包括负载运作阶段、等待阶段、电价信息、智能电网数据通信可靠性； 

3）、基于负载动作空间和状态空间分析推导出负载的转移概率矩阵

4）、根据负载的动作空间和状态空间，定义缓征负载的瞬时成本函数γ(l,a)； 

5）、根据负载的动作空间和状态空间以及瞬时成本函数，建立CMDP模型，得出单负载最优调度策略： 

智能电网中MDMS服务器发送电价信息，经过智能电网数据通信设施的传送，消费者接收电价信息。基于实时电价信息决策者对缓征负载进行调度，当负载处于用电高峰期时，电力价格高，为减少电耗，延迟负载的运作，避开用电高峰期；当负载处于非用电高峰期时，电力价格低，启动负载的运作。缓征负载调度是利用变化的电价激励用户避开高峰期用电。智能电网数据通信的可靠性决定电价信息的实时性和可用性，当智能电网数据通信设施完全可靠时，决策者通过MDMS传送的实时电价信息对负载进行决策；当智能电网数据通信设施不可靠时，消费者无法获知电价信息。本实施例中提出了基于智能电网数据通信可靠性的单负载决策调度优化，以单个负载作为决策者，对智能电网数据通信可靠性进行分析，通过缓征负载动作空间和状态空间的定义和分析推导出缓征负载的转移概率矩阵，依据CMDP模型得出单负载决策调度优化策略，实现电力消耗成本的最小化。 

1、基于智能电网数据通信设施的智能电网模型 

我们提出的基于智能电网数据通信设施的智能电网模型如附图2所示，MDMS服务器为供电局所有，供电局从发电厂购电，通过电力传输系统和配电系统传送电力至消费者。MDMS服务器通过智能电网数据通信设施传送实时电价等信息至消费者。缓征负载是特殊的电力消耗单元，具有间断性运作特征，运作阶段可以分为多个阶段进行。缓征负载中的每个负载都是决策者，通过智能电网数据通信设施传送的实时电价信息，利用调度机制实现负载电力消耗水平最小化。 

2、智能电网数据通信可靠性分析 

我们考虑的智能电网数据通信设施如附图2所示。供电局的服务区采用社区制，每个社区都有一个提供MDMS服务器和家庭区域网网关之间双向数据通信的邻域网网关，每个家庭都有一个家庭区域网关。MDMS服务器通过NAN网关和随后的HAN网关向每个电力消费单元发送电价信息。 

对于智能电网数据通信可靠性分析，本实施例中采用一个马尔可夫(Markov)链来模型化HAN和NAN网关的“可用”和“维修”状态。智能电网数据通信可靠性的马尔可夫转移概率矩阵定义公式(1)所示，其中MTBF(MTBF：Mean Time Between Failure)和 MTTR(MTTR：Mean Time To Repair)分别代表平均故障间隔时间和平均修复时间，第一行和第二行分别表示“可用”状态和“维修”状态。平均故障间隔时间是系统可靠性的基本测量参数；平均修复时间代表系统运行过程中的故障之间的平均时间周期。MTTR是衡量可修复系统的可维护性，表示修复失败的系统所需要的平均时间周期。 

$C=\left[\begin{array}{cc}1-1/\mathrm{MTBF}& 1/\mathrm{MTBF}\\ 1/\mathrm{MTTR}& 1-1/\mathrm{MTTR}\end{array}\right]---\left(1\right)$

令C_NAN表示NAN网关的转移概率矩阵，C_HAN表示HAN网关的转移概率矩阵，那么HAN网关和NAN网关到MDMS服务器之间的连接转移如公式(2)所示。 

$C_{\mathrm{con}}=C_{\mathrm{NAN}}\⊗C_{\mathrm{HAN}}---\left(2\right)$

其中表示克罗内克积，C_con的第一行对应“连接”状态，其余对应“断开”状态。“连接”状态表示HAN网关和NAN网关均处于“可用”状态，智能电网数据通信具有可靠性。 

3、单负载电耗优化策略 

基于智能电网数据通信可靠性的分析，我们在缓征负载的状态空间中考虑了将智能电网数据通信可靠性这一因素，依据状态空间定义出决策者的动作空间，分析出动作空间l和动作空间a下的转移概率矩阵，通过CMDP模型得到单负载电耗优化策略。 

（1）缓征负载状态空间和动作空间的定义 

我们把一个缓征负载的运作阶段分为s_max阶段，每个运作阶段最大延缓w_max时间段。决策者观察各种状态信息，并在不同的运作阶段做出动作决策。 

我们定义了缓征负载的状态空间L，如公式（3）所示。S表示负载当前的运作阶段状态，{s₀,...s_max}表示所有的运作阶段；W表示负载的等待状态，{w₁,...,w_max}表示所有的等待状态的集合；P表示价格状态，{p₁,...,p_max}表示所有的价格状态；C表示智能电网数据通信设施的连接状态，“0”表示正常连接状态，“1”表示连接异常。 

L＝{(S,W,P,C);S＝{s₀,...,s_max};W＝{w₀,...,w_max}; 

P＝{p₁,...,p_max};C＝{0,1}}     （3） 

调度者的动作有运行和推迟两种动作，我们定义了状态l∈L下的动作空间A(l)，如公式(4)所示，“0”表示运行，“1”表示推迟。 

（2）基于负载的状态转移概率矩阵分析 

缓征负载的转移概率矩阵是在状态空间和动作空间的基础上进行分析的，调度者的动作状态不同，则有不同的转移概率矩阵。 

首先，我们只考虑运行阶段状态s、等待状态w和动作状态a这三个因素下的转移状态矩阵。 

当动作状态为“0”（即运行状态）时，从状态（s_i,w_j）到状态（s_m,w_n）的转移概率如公式(5)所示，其中α(s_i,w_j)表示缓征负载在一个等待时间段内完成运行阶段s_i的概率。 

当动作状态为“1”（即推迟状态）时，从状态（s_i,w_j）到状态（s_m,w_n）的转移概率如公式(6)所示。 

然后，我们综合考虑价格状态和连接状态，令G表示电价的转移概率矩阵。那么，缓征负载的转移概率矩阵如公式(7)所示。 

$T^a=C_{\mathrm{con}}G\⊗Q^a---\left(7\right)$

其中，a表示动作的状态值，它的取值只能为“0”或者“1”。当C_con可连接时，缓征负载可观察到价格信息，因此可以获得电价转移概率矩阵P；当C_con不可连接时，缓征负载无法观测到价格信息，此时，P表示单位矩阵。 

（3）负载电耗的调度优化策略 

基于上述分析得到的转移概率矩阵，我们建立了CMDP模型，通过CMDP模型可以 得到负载电耗的优化调度策略，该策略的目的是为了实现缓征负载长期平均成本的最小化。 

首先，我们定义缓征负载的瞬时成本函数，如公式(8)所示，其中β⁰(s)表示缓征负载在运行阶段s执行“运行”动作所消耗的电力；β¹(s,w)表示缓征负载在运行阶段s，等待状态w时执行“推迟”动作所消耗的电力。 

其中p表示智能电网数据通信设施可靠时决策者观察到的价格信息；表示智能电网数据通信设施不可靠时决策者无法获得价格信息，根据统计价格信息得到平均价格。平均价格的计算通过公式(9)和公式(10)获得。 

$\left\{\begin{array}{c}{\stackrel{\→}{\mathrm{\ξ}}}^{T}P=\stackrel{\→}{\mathrm{\ξ}}\\ {\stackrel{\→}{\mathrm{\ξ}}}^T\stackrel{\→}{1}=\stackrel{\→}{1}\end{array}\right.---\left(9\right)$

其中表示价格状态的平稳概率向量，我们可以从公式(9)中得到。然后从公式(10)中得到平均价格

$\stackrel{\‾}{p}={\stackrel{\→}{p}}^T{[p_1,...,p_{\max }]}^T---\left(10\right)$

然后，令表示状态l和动作a的平稳概率，CMDP模型的具体表示如公式(11)-(14)所示。 

s.t.  φ(l,a＝1)＝0,  w＝w_max     （12） 

$\begin{array}{cc}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l_1,a)=\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)T\left(l_1\right|l,a),& l_1\∈L\end{array}---\left(13\right)$

$\begin{array}{cc}\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)=1,& \mathrm{\φ}(l,a)>0\end{array}---\left(14\right)$

其中，T(l₁|l,a)表示执行动作a时空间状态从l转移到l₁的转移概率，约束条件(12)表明当到达最大等待状态w_max时缓征负载必须执行“运行”动作，约束条件(13)满足查普曼-科尔莫戈罗夫等式。 

通过公式(11)-(14)，我们可以得到最优平稳状态如公式(15)所示。 

${\mathrm{\φ}}^{*}(l,a)=\arg \underset{\mathrm{\φ}(l,a)}{\min }\underset{l\∈L}{\mathrm{\Σ}}\underset{a\∈A}{\mathrm{\Σ}}\mathrm{\φ}(l,a)\mathrm{\γ}(l,a)---\left(15\right)$

根据公式(15)，我们可以推算出最优调度策略π^*(l,a)，π^*(l,a)表示在特定状态空间下执行特定动作的概率，如公式(16)所示。 

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。 

Claims (9)

1.一种基于数据通信可靠性的单负载决策优化方法；所述单负载为缓征负载；该方法包括以下步骤： 

A.分析所述智能电网数据通信的可靠性； 

B.定义缓征负载的动作空间和状态空间； 

C.推导出所述缓征负载的转移概率矩阵； 

D.定义缓征负载的瞬时成本函数； 

E.建立CMDP模型，得出单负载最优调度策略。 

2.如权利要求1所述的方法，其特征在于，所述步骤A中，所述分析包括：通过马尔可夫链模型化家庭区域网和邻域网网关的状态，并得出智能电网数据通信设施连接状态的转移概率矩阵C_con；所述网关的状态包括可用状态和维修状态。 

3.如权利要求1所述的方法，其特征在于，所述步骤B中，所述定义包括从负载运作阶段状态、等待状态、电价状态和智能电网数据通信设施的连接状态来定义所述状态空间；从运行状态和推迟状态来定义所述动作空间。 

4.如权利要求1所述的方法，其特征在于，所述步骤C所述推导包括： 

C-1.从运行阶段状态、等待状态和动作空间的取值状态得出转移概率； 

C-2.从电价状态和通信设施的连接状态得出所述缓征负载的转移概率矩阵。 

5.如权利要求4所述的方法，其特征在于，所述步骤C-1中，当动作空间为运行状态时，从状态（s_i,w_j）到状态（s_m,w_n）的所述转移概率为表达式(1)所示，其中，S表示负载当前的运作阶段状态，{s₀,...s_max}表示所有的运作阶段；W表示负载的等待状态，{w₁,...,w_max}表示所有的等待状态的集合；α(s_i,w_j)表示缓征负载在一个等待时间段内完成运行阶段s_i的概率： 

当动作空间为推迟状态时，从状态（s_i,w_j）到状态（s_m,w_n）的所述转移概率为表达式(2)所示： 

。

6.如权利要求4所述的方法，其特征在于，所述步骤C-2中，所述缓征负载的转移概率矩阵为下式（3）所示： 

式中，G表示电价的转移概率矩阵；a表示动作空间的状态值，取值为0或1；当C_con表示可连接时，缓征负载可观察到价格信息，可获得电价转移概率矩阵P；当C_con表示不可连接时，P表示单位矩阵。 

7.如权利要求1所述的方法，其特征在于，所述步骤D中，所述瞬时成本函数用下式（4）表示： 

式中，β⁰(s)表示缓征负载在运行阶段s时执行运行动作所消耗的电力；β¹(s,w)表示缓征负载在运行阶段s、等待状态w时执行推迟动作所消耗的电力；p表示智能电网数据通信设施连接正常时决策者观察到的价格；表示智能电网数据通信设施断开时所取得的平均价格。 

8.如权利要求1所述的方法，其特征在于，所述步骤E中，所述CMDP模型用式(5)-(8)表示： 

s.t.  φ(l,a＝1)＝0,  w＝w_max     （6） 

式中，T(l₁|l,a)表示执行动作a时空间状态从l转移到l₁的转移概率，约束条件(6)表明当到达最大等待状态w_max时缓征负载必须执行“运行”动作，约束条件(7)满足查普曼-科尔莫戈罗夫等式。 

9.如权利要求1所述的方法，其特征在于，所述步骤E包括：得到最优平稳状态以推算所述单负载最优调度策略；所述如下表达式所示： 

所述单负载最优调度策略π^*(l,a)为状态空间为l时执行动作a的概率，该调度策略用下式（16）表示：