CN109599856B - 一种微网多楼宇中电动汽车充放电管理优化方法及装置 - Google Patents

Abstract

本发明涉及一种微网多楼宇中电动汽车充放电管理优化方法及装置，其技术特点在于：包括以下步骤：步骤1、规划微网多楼宇系统的总体架构并建立各部分能量模型；步骤2、获取步骤1中所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；步骤3、确定电动汽车接入楼宇后充放电优化管理的目标函数和优化管理的约束条件；步骤4、建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布；步骤5、通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策。本发明能够得到考虑经济性与削峰填谷效果的最优充放电策略。

Description

一种微网多楼宇中电动汽车充放电管理优化方法及装置

技术领域

本发明属于电动汽车充放电技术领域，涉及电动汽车充放电管理优化方法及装置，尤其是一种微网多楼宇中电动汽车充放电管理优化方法及装置。

背景技术

目前，电动汽车使用电能作为能源，以电池作为能量载体，既可作为负荷充电又可作为电源发电，可以当做非固定储能系统分布在电网各电动汽车接入点与电网进行互动。而包括住宅、办公楼、商业区等在内的含DG发电的现代楼宇微网，通常都配有大型停车场，为电动汽车与楼宇进行能量互动提供了空间场所，同时电动汽车充裕的停留时间为能量互动提供了时间便利。可以实现对电动汽车充放电的精细化管理，提升楼宇内部可调度资源容量。

经检索，发现已公开的专利文献1：公开号CN 104269896A，名称为适用于大规模电动汽车有序充放电的控制方法，其通过依据最新的用户充电需求信息启动有序充放电控制策略计算，依次计算接入所述控制中心管辖范围内充放电机的所有电动汽车的集合充放电需求边界曲线、集合充电负荷指导曲线和每辆电动汽车各自的充电或放电功率，并按该最终确定的充放电功率控制充放电机对电动汽车进行充电或放电，实现有序充放电控制。

已公开的专利文献2：公开号CN 105068419B，名称为居民小区电动汽车充放电控制方法，它采用双层离散粒子群算法，通过底层粒子群算法求解各电动汽车满足所有约束条件的充放电计划，再利用顶层粒子群算法优化得出居民小区所有电动汽车充放电功率的控制方法。该方法能够有效改善居民小区的负荷特性指标，提高居民小区的电网设备利用率，同时，还能降低电动汽车的充电费用。

上述两个现有技术的专利虽然为电动汽车充放电管理提出了控制方法，但是在实际运用中仍存在一定的局限性。专利文献1主要考虑适合大规模电动汽车情景下的充放电管理，计算效率高且模型简单，但无法得到对应电动汽车群的具体充放电策略，未能充分考虑电动汽车的时空分散的特性；专利文献2针对居民小区的电动汽车进行充放电控制，采用粒子群算法求解，但该算法所得各时段优化结果是相互独立的，容易造成实际情况中电池频繁充放电损耗寿命的问题。

基于以上考虑，可以建立马尔科夫决策过程解决电动汽车的充放电问题。马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步(未来)的状态是随机的，并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态，再作新的决策，依此反复地进行。适用于对电动汽车各时间段内充放电管理进行决策，以实现计及成本费用与削峰填谷效果的优化目标。

发明内容

本发明的目的在于克服现有技术的不足，提出一种微网多楼宇中电动汽车充放电管理优化方法及装置，能够得到考虑经济性与削峰填谷效果的最优充放电策略，为电动汽车接入楼宇后的充放电管理提供依据。

本发明解决其现实问题是采取以下技术方案实现的：

一种微网多楼宇中电动汽车充放电管理优化方法，包括以下步骤：

步骤1、规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

步骤2、获取步骤1中所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

步骤3、确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

步骤4、建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布；

步骤5、根据步骤3中的目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策。

而且，所述步骤1的具体步骤包括：

(1)楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

(2)楼宇光伏出力P_s的多少与光照轻度r密切相关，建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率。

(3)根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

(4)采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型。

而且，所述步骤2的具体方法为：

所述DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积等数据；

所述楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

所述电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率等；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC等。

而且，所述步骤3的具体步骤包括：

(1)建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益。

(2)建立楼宇负荷曲线等效峰谷差最小的目标函数：

min F₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线。

(3)建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t)

式中，P_grid表示t时刻表示电网与楼宇间传输功率。

(4)建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0。

(5)电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max

SOC_i(t_end)≤SOC_i(t)≤SOC_max

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC。

而且，所述步骤4的具体步骤包括：

(1)考虑在一个优化周期时间间隔为△t的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

其中D＝0表示未接入楼宇；

(2)系统在t时刻的行为集：

如前所述，电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

(3)当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间。

(4)电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇。

(5)电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量。P表示电动汽车固定充放电功率。

(6)马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

而且，所述步骤5的具体步骤包括：

(1)生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况等进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

(2)对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

(3)根据步骤4所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…]

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布。基于此，我们定义最优值函数为：

(4)令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝argmax∑P_sa(s’)V(s’)直至收敛，寻优结束；

(5)得到最终循环后电动汽车群充放电优化策略π^*；。

一种微网多楼宇中电动汽车充放电管理装置，包括：获取模块、计算模块和优化模块；

所述获取模块，用于获取微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；所述计算模块，用于根据获取模块所获参数，计算得到各能量模型实际运行情况；所述优化模块，用于根据所述计算模块计算所得数据，对电动汽车充放电管理进行优化，考虑计及成本费用与削峰填谷效果得到最优充放电决策。

而且，所述获取模块包括：

(1)规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

①楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

②楼宇光伏出力P_s的多少与光照轻度r密切相关，建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率；

③根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

④采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型；

(2)获取所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

①DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积数据；

②楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

③电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC。

而且，所述计算模块包括：

(1)确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

①建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益；

②建立楼宇负荷曲线等效峰谷差最小的目标函数：

min F₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线；

③建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t)

式中，P_grid表示t时刻表示电网与楼宇间传输功率；

④建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0；

⑤电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max

SOC_i(t_end)≤SOC_i(t)≤SOC_max

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC；

(2)建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布；

①考虑在一个优化周期时间间隔为△t的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

其中D＝0表示未接入楼宇；

②系统在t时刻的行为集：

如前所述，电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

③当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间；

④电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇；

⑤电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量；P表示电动汽车固定充放电功率；

⑥马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

而且，所述优化模块包括：

根据目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策；

①生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况等进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

②对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

③根据所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…]

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布；基于此，我们定义最优值函数为：

④令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝arg max∑P_sa(s’)V(s’)直至收敛，寻优结束；

⑤得到最终循环后电动汽车群充放电优化策略π^*。

本发明的优点和有益效果：

本发明提供的一种微网多楼宇中电动汽车充放电管理优化方法及装置，在考虑微网不同类型楼宇负荷特性、DG出力特性以及电动汽车时空特性的基础上建立对应能量模型，根据获取相应参数得到出力情况。然后通过建立马尔科夫决策过程数学模型模拟电动汽车群在典型日内接入楼宇的充放电管理，并运用策略迭代的方法进行优化求解。基于此方法所得的电动汽车充放电优化策略，即为设定情景下考虑经济性与削峰填谷效果相统一的最优策略，为电动汽车的充放电管理优化提供了依据。且计算方法耗时较短，满足实际运行中对电动汽车充放电管理的实时调控需求。

附图说明

图1为本发明实施例提供的一种微网多楼宇中电动汽车充放电管理优化方法流程示意图；

图2为本发明实施例提供的一种微网多楼宇中电动汽车充放电管理装置的结构示意图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种微网多楼宇中电动汽车充放电管理优化方法，如图1所示，所述方法包括以下步骤：

步骤1、规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

在本实施例中，所述步骤1中，规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型以及电动汽车模型是通过如下方式进行确定：

考虑由多个高层楼宇、DG和电动汽车组成的微型电网。其中楼宇类型包括住宅、办公楼和商业楼宇，DG类型包括风机与光伏。

在本系统中，不同类型的楼宇由于性质不同，因此用电结构、用电高峰等均有差异，导致楼宇负荷特性曲线并不相同。

具有发电能力的DG作用是向本楼宇内负荷及电动汽车提供电量，以尽量满足实时楼宇负荷的消纳与电动汽车的充电服务。

所述步骤1的具体步骤包括：

(1)楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，用式(1)建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

(2)楼宇光伏出力P_s的多少与光照轻度r密切相关，用式(2)建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率。

电动汽车用户被要求以一定费用同意成为可调度负荷，车辆停在楼宇后在保证自身出行需求的同时参与充放电调度，在必要时与DG一起调节楼宇负荷曲线，并根据分时电价最大化系统经济效益。

(3)根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

(4)楼宇负荷模型用来描述不同时刻楼宇内负荷功率的变化情况。本发明中采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型。

步骤2、获取步骤1中所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

在本实施例中，所述步骤2获取步骤1中所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数包括如下所述：

DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积等数据；

楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率等；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC等。

步骤3、确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

在本实施例中，所述步骤3中所述的确定电动汽车接入楼宇后充放电优化管理的目标函数，以及优化管理的约束条件,包括等式约束及不等式约束可通过下式确定：

(1)建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC (4)

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益。

(2)建立楼宇负荷曲线等效峰谷差最小的目标函数：

min F₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV) (5)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线。

(3)建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t) (6)

式中，P_grid表示t时刻表示电网与楼宇间传输功率。

(4)建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0。

(5)电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max (8)

SOC_i(t_end)≤SOC_i(t)≤SOC_max (9)

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC。

步骤4、建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布；

在步骤4中所述的建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布可通过下式确定：

在本实施例中，所述步骤4的具体步骤包括：

(1)考虑在一个优化周期时间间隔为△t的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

其中D＝0表示未接入楼宇；

(2)系统在t时刻的行为集：

如前所述，电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

(3)当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间。

(4)电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇。

(5)电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量。P表示电动汽车固定充放电功率。

(6)马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

步骤5、根据步骤3中的目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策。

根据目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策。包括如下步骤：

(1)生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况等进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

(2)对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

(3)根据步骤4所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+… (13)

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…] (14)

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布。基于此，我们定义最优值函数为：

(4)令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝argmax∑P_sa(s’)V(s’)直至收敛，寻优结束；

(5)得到最终循环后电动汽车群充放电优化策略π^*。

基于马尔科夫决策过程策略迭代的方法所得的电动汽车充放电优化策略，即为设定情景下考虑经济性与削峰填谷效果相统一的最优策略。

一种微网多楼宇中电动汽车充放电管理装置，如图2所示，包括：获取模块、计算模块和优化模块。

所述获取模块，用于获取微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

(1)规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

①楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，用式(1)建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

②楼宇光伏出力P_s的多少与光照轻度r密切相关，用式(2)建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率。

③根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

④楼宇负荷模型用来描述不同时刻楼宇内负荷功率的变化情况。本发明中采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型。

(2)获取所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

①DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积等数据；

②楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

③电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率等；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC等。

所述计算模块，用于根据获取模块所获参数，计算得到各能量模型实际运行情况；

(1)确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

①建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC (4)

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益。

②建立楼宇负荷曲线等效峰谷差最小的目标函数：

min F₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV) (5)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线。

③建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t) (6)

式中，P_grid表示t时刻表示电网与楼宇间传输功率。

④建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0。

⑤电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max (8)

SOC_i(t_end)≤SOC_i(t)≤SOC_max (9)

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC。

(2)建立马尔科夫决策过程求解模型，确定模型对应的状态集、行为集及状态转换分布；

①考虑在一个优化周期时间间隔为△t的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

∈{0,1，2，……，M}，其中D＝0表示未接入楼宇；

②系统在t时刻的行为集：

如前所述，电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

③当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间。

④电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇。

⑤电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量。P表示电动汽车固定充放电功率。

⑥马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

所述优化模块，用于根据所述计算模块计算所得数据，对电动汽车充放电管理进行优化，考虑计及成本费用与削峰填谷效果得到最优充放电决策，是根据建立电动汽车充放电的马尔科夫决策过程模型并使用策略迭代的方法进行优化求解的。

根据目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策。

①生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况等进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

②对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

③根据所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+… (13)

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…] (14)

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布。基于此，我们定义最优值函数为：

④令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝arg max∑P_sa(s’)V(s’)直至收敛，寻优结束；

⑤得到最终循环后电动汽车群充放电优化策略π^*。

基于马尔科夫决策过程策略迭代的方法所得的电动汽车充放电优化策略，即为设定情景下考虑经济性与削峰填谷效果相统一的最优策略。

装置的优化模块主要与方法中的步骤5相对应。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (7)

1.一种微网多楼宇中电动汽车充放电管理优化方法，其特征在于：包括以下步骤：

步骤1、规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

步骤2、获取步骤1中所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

步骤3、确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

步骤4、建立马尔科夫决策过程模型，确定模型对应的状态集、行为集及状态转换分布；

步骤5、根据步骤3中的目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策；

所述步骤3的具体步骤包括：

(1)建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益；

(2)建立楼宇等效负荷曲线峰谷差最小的目标函数：

minF₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线；

(3)建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t)

式中，P_grid表示t时刻表示电网与楼宇间传输功率；

(4)建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0；

(5)电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max

SOC_i(t_end)≤SOC_i(t)≤SOC_max

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC；

所述步骤4的具体步骤包括：

(1)考虑在一个优化周期时间间隔为Δt的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

其中D＝0表示未接入楼宇；

(2)系统在t时刻的行为集：

电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

(3)当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间；

(4)电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇；

(5)电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量；P表示电动汽车固定充放电功率；

(6)马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

2.根据权利要求1所述的一种微网多楼宇中电动汽车充放电管理优化方法，其特征在于：所述步骤1的具体步骤包括：

(1)楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

(2)楼宇光伏出力P_s的多少与光照轻度r密切相关，建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率；

(3)根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

(4)采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型。

3.根据权利要求1所述的一种微网多楼宇中电动汽车充放电管理优化方法，其特征在于：所述步骤2的具体方法为：

所述DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积的数据；

所述楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

所述电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC。

4.根据权利要求1所述的一种微网多楼宇中电动汽车充放电管理优化方法，其特征在于：所述步骤5的具体步骤包括：

(1)生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

(2)对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

(3)根据步骤4所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…]

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布；基于此，我们定义最优值函数为：

(4)令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝arg max∑P_sa(s’)V(s’)直至收敛，寻优结束；

(5)得到最终循环后电动汽车群充放电优化策略π*。

5.根据权利要求1至4任一项所述的一种微网多楼宇中电动汽车充放电管理优化方法的管理装置，其特征在于：包括获取模块、计算模块和优化模块；

所述获取模块，用于获取微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；所述计算模块，用于根据获取模块所获参数，计算得到各能量模型实际运行情况；所述优化模块，用于根据所述计算模块计算所得数据，对电动汽车充放电管理进行优化，考虑计及成本费用与削峰填谷效果得到最优充放电决策；

所述计算模块包括：

(1)确定电动汽车接入楼宇后充放电优化管理的目标函数，包括楼宇运行费用最小及等效负荷曲线峰谷差最小两个优化目标，以及优化管理的约束条件,包括等式约束及不等式约束；

①建立楼宇运行费用最小的目标函数：

min F₁＝f_grid+f_EVD-f_EVC

其中，f_grid为楼宇向电网购电成本；f_EVD是向电动汽车用户参与V2B模式放电的支付费用；f_EVC是电动汽车充电收益；

②建立楼宇等效负荷曲线峰谷差最小的目标函数：

minF₂＝max(P_load-P_DG+P_EV)-min(P_load-P_DG+P_EV)

其中，P_load表示楼宇基础负荷功率曲线；P_DG表示楼宇分布式电源出力大小曲线；P_EV表示接入楼宇的电动汽车充放电功率之和曲线；

③建立功率平衡约束：

P_load(t)＝P_DG(t)+P_EV(t)+P_grid(t)

式中，P_grid表示t时刻表示电网与楼宇间传输功率；

④建立DG出力约束：

式中，P_DGmax为DG最大出力；为方便后续主要问题的分析，这里假定DG与楼宇没有无功功率交换的运行情况，因此Q_DG为0；

⑤电动汽车电池约束：

SOC_min≤SOC(t)≤SOC_max

SOC_i(t_end)≤SOC_i(t)≤SOC_max

式中，SOC_min、SOC_max分别是电动汽车电池荷电状态的下限和上限；SOC_i(t)表示第i辆电动汽车t时刻的SOC；SOC_i(t_end)表示第i辆电动汽车充电结束时最低SOC；

(2)建立马尔科夫决策过程模型，确定模型对应的状态集、行为集及状态转换分布；

①考虑在一个优化周期时间间隔为Δt的含M个楼宇的微网中，里面共有N辆电动汽车；

系统在t时刻的状态集：

式中，

表示楼宇j在t时刻DG的出力，

表示电动汽车i在t时刻的剩余电量，

表示电动汽车i在t时刻的剩余充放电时间，

表示电动汽车i在t时刻位置状态，

其中D＝0表示未接入楼宇；

②系统在t时刻的行为集：

电动汽车的充放电功率是恒定的，

时，电动汽车i进行放电，

时，电动汽车i既不充电也不放电，

时，电动汽车i进行充电；

③当状态集S_t和行为集A_t给定，可得系统的状态转换分布：

电动汽车i的剩余停车时间或剩余出行时间的状态转换式如下：

式中，τ^t+1和η^t+1是随机变量，τ^t+1表示电动汽车i在t+1时到达楼宇的总停车时间，η^t+1表示电动汽车i在t+1时离开楼宇的总出行时间；

④电动汽车i的位置状态转换式如下：

式中，R^t+1∈M是随机变量，表示电动汽车i在t+1时刻到达的楼宇；

⑤电动汽车i剩余充电电量需求状态转换式如下：

式中，δ^t+1是随机变量，表示电动汽车i在刚刚到达楼宇的t+1时刻的剩余充电电量；P表示电动汽车固定充放电功率；

⑥马尔科夫决策过程的动态过程即：系统在状态s₀时选择某个动作a₀，然后根据状态转换分布在下个时间点转移到状态s₁，然后执行动作a₁，…如此下去可得到如下过程：

6.根据权利要求5所述的一种微网多楼宇中电动汽车充放电管理优化方法的管理装置，其特征在于：所述获取模块包括：

(1)规划微网多楼宇系统的总体架构并建立各部分能量模型，包括DG出力模型，楼宇负荷模型和电动汽车模型；

①楼宇风力发电中风机出力P_w的多少与楼顶风速v密切相关，建立风机出力模型：

上式中，P_r为风机额定功率，v_i、v_r、v_c分别为风机的切入风速、额定风速、切出风速；

②楼宇光伏出力P_s的多少与光照轻度r密切相关，建立光伏出力模型：

上式中，η_s为光电转换效率，S为光伏组件总受光面积，r_c为阈值常数，r₀为额定光照强度，P_z为光伏额定功率；

③根据电动汽车电池的荷电状态SOC建立模型：

其中SOC(t)为t时刻电动汽车的荷电状态；α_t为电动汽车的充、放电标示变量，充电时α_t＝1、放电时α_t＝-1，静置时α_t＝0；E为电动汽车的额定容量，Δt是充放电的时间间隔；

④采用楼宇在典型日内负荷功率的时刻变化数据来建立楼宇负荷模型；

(2)获取所建立的微网多楼宇系统中各部分能量模型典型日内的技术参数或运营参数；

①DG出力模型的技术参数包括DG类型、容量，运营参数为当前时刻的风速、光照强度、光照面积数据；

②楼宇负荷模型的运营参数为当前时刻楼宇的负荷大小；

③电动汽车模型的技术参数主要指电动汽车车身参数，包括电动汽车型号，电池容量，电池循环次数，充放电功率；运营参数指反映电动汽车的当前时刻时空特性的出行数据，包括到达、离开楼宇时间及对应SOC。

7.根据权利要求5所述的一种微网多楼宇中电动汽车充放电管理优化方法的管理装置，其特征在于：所述优化模块包括：

根据目标函数及所建立的马尔科夫决策过程模型，通过策略迭代的方法对马尔科夫决策过程模型进行求解，确定楼宇内电动汽车群各时段对应的充放电管理决策；

①生成系统各组成部分运营参数，对楼宇内DG、负荷及电动汽车群出行情况进行模拟，得到仿真后楼宇DG与负荷的出力及各车辆出行的数据；

②对接入楼宇的电动汽车群随机初始化一个基本的充放电策略π；

③根据所得状态转换过程，得到与目标函数相关的回报函数之和如下：

R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…

其中，γ是折扣系数，0<γ<1，表示随时间的推移回报率的折扣；定义策略π相应的值函数：

V^π(s)＝E[R(s₀,a₀)+γR(s₁,a₁)+γ²R(s₂,a₂)+…]

即给定初始状态s₀和策略π后的累积折扣回报期望，同时其也满足贝尔曼等式如下：

其中，s’表示状态s执行动作π(s)后的下个可能状态，其服从状态转换P_sπ(s)分布；基于此，我们定义最优值函数为：

④令V:＝V^π，其中V^π通过求解贝尔曼方程得到，对每个状态s，更新π(s):＝arg max∑P_sa(s’)V(s’)直至收敛，寻优结束；

⑤得到最终循环后电动汽车群充放电优化策略π^*。

Images