CN113935463A - 一种基于人工智能控制方法的微电网控制器 - Google Patents

Abstract

本发明涉及一种基于人工智能控制方法的微电网控制器，利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，直接构建微电网运行工况与协调控制结果的映射关系，微电网控制器直接使用离线训练好的微电网控制器模型进行快速在线决策，计算和响应速度非常快，并定期更新离线训练样本库实现模型的滚动优化和策略的持续改进，实现了微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。

Description

一种基于人工智能控制方法的微电网控制器

技术领域

本发明涉及微电网控制技术领域，特别是涉及一种基于人工智能控制方法的微电网控制器。

背景技术

微电网是分布式电源、储能装置和负荷等单元的集合，作为分布式能源的重要利用形式，能够充分促进可再生能源与分布式能源的大规模接入，实现对负荷多种能源形式的高可靠供给。与火电、水电等传统能源相比，微电网内的风电、光伏等可再生能源存在易受天气条件影响、能量密度较低等缺点，其输出功率存在波动性；负荷功率受季节气候、生活生产的影响，也存在一定的不确定性。微电网的可控式电源机组和储能装置依据负荷变化调整的同时，还要平抑可再生能源机组出力的功率波动。因此，微电网的运行控制领域面临极大挑战。

微电网控制器是微电网运行控制系统的重要设备，负责系统底层设备的实时数据采集与转发，提供本地化协调控制策略，实现单独组网运行以及与外部电网的联合组网运行。为保障系统的安全稳定运行、实现新能源的友好接入，控制器需要对系统内部的源、网、荷、储进行协调控制，所以设计稳定可靠的协调控制策略非常关键。分布式电源的控制策略分为有功、无功控制或有功、电压控制，下垂控制和电压频率控制三类；负荷控制策略包括PID控制切负荷等，这些协调控制策略保障了微电网的安全性和可靠性，但经济性较低。为实现微电网各单元的经济控制，模型预测控制等物理模型驱动方法被引入微电网协调控制策略中，但是这些方法存在的普遍问题都是难以对微电网内部元件精确建模、求解效率低、很难满足微电网控制实时性的要求，在决策控制的最优性方面存在不足。

随着微电网历史运行数据的持续积累和系统控制管理设备算力的逐渐提升，基于数据驱动的人工智能控制方法在微电网运行控制领域迅速发展，有助于突破传统控制方法的局限性。

将机器学习应用到微电网控制器具体的协调控制策略中，不依赖微电网各单元的内在联系与机理，而是采用无模型的强化学习方式，基于微电网历史运行和决策数据构成的观测集进行动作探索，根据微电网控制器与微电网系统环境的不断交互进行训练，构造出模拟逼近微电网运行工况与控制决策之间关系的数学模型，在实际微电网控制任务中直接根据微电网的运行工况映射出各元件的控制方案。与传统模型驱动方法相比，基于数据驱动的人工智能控制方法通过对微电网历史数据的积累实现对微电网控制器模型的持续性修正，赋予微电网以自学习和更新的能力，并在实际应用过程中不断提升协调控制策略的精度与效率，在面对考虑不同运行场景下的微电网运行控制问题中适用性更好。目前机器学习在微电网方面的应用方法主要是基于DQN算法框架，但该算法的系统状态和输出决策动作仍为离散形式，不可避免的引入了误差，难以应对微电网高维、连续的动作和状态空间。

传统模型驱动的协调控制策略在决策控制的最优性、应对新能源的不确定性等方面存在不足，具体体现在：

1)微电网内部源、网、荷、储的协调控制伴随着强耦合特性，难以对其物理特性与运行特征进行精确的建模分析；

2)依赖系统单元的内在联系与机理，需要依据网络拓扑结构和电网运行方式建模，对网络拓扑的变化敏感，对新型电力设备接入的适应性不强；

3)微电网控制器在运行过程中积累的数据蕴含着丰富的相关关系，对未来的决策控制具有指导意义，传统模型驱动方法缺乏对历史决策数据信息的挖掘和利用；

4)微电网控制问题本质上是一种非线性、多约束、多目标的复杂系统优化问题，在精度和效率之间存在矛盾，通过简化模型来提高决策效率往往会导致精度下降。

发明内容

本发明的目的是提供一种基于人工智能控制方法的微电网控制器，以实现微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种基于人工智能控制方法的微电网控制方法，所述微电网控制方法包括：

获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；

当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型”。

可选的，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；

所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

可选的，所述获取微电网控制器运行过程中的历史样本数据库，之后还包括：

采用插补法对历史样本数据库中的缺失值进行填充；

对填充后的历史样本数据库利用箱线图法检测出异常值并删除；

根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。

可选的，所述深度确定性策略梯度神经网络采用Actor-Critic框架；

所述Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；

所述Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

可选的，所述将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息，具体包括：

将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。

一种基于人工智能控制方法的微电网控制器，所述微电网控制器包括：

历史样本数据库获取模块，用于获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

训练模块，用于利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

实时决策信息输出模块，用于将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；

实时样本数据集构成模块，用于当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

更新模块，用于利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库对深度确定性策略梯度神经网络进行训练，获得训练好的微电网控制器模型”。

可选的，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；

所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

可选的，所述微电网控制器还包括：

填充模块，用于采用插补法对历史样本数据库中的缺失值进行填充；

删除模块，用于对填充后的历史样本数据库利用箱线图法检测出异常值并删除；

特征选择模块，用于根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。

可选的，所述深度确定性策略梯度神经网络采用Actor-Critic框架；

所述Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；

所述Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

可选的，实时决策信息输出模块，具体包括：

实时决策信息输出子模块，用于将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种基于人工智能控制方法的微电网控制器，利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互训练深度确定性策略梯度神经网络，直接构建微电网运行工况与协调控制结果的映射关系，微电网控制器直接使用离线训练好的微电网控制器模型进行快速在线决策，计算和响应速度非常快，并定期更新离线训练样本库实现模型的滚动优化和策略的持续改进，实现了微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于人工智能控制方法的微电网控制方法的流程图；

图2为本发明提供的基于人工智能控制方法的微电网控制方法的原理图；

图3为本发明提供的DDPG算法的离线训练流程图；

图4为本发明提供的样本库滚动更新图；

图5为本发明提供的马尔可夫决策过程的基本框架图；

图6为本发明提供的Actor-Critic框架图；

图7为本发明提供的DDPG神经网络基本结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于人工智能控制方法的微电网控制器，以实现微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种基于人工智能控制方法的微电网控制方法，如图1-2所示，微电网控制方法包括：

步骤101，获取微电网控制器运行过程中的历史样本数据库；历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

步骤102，利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

步骤103，将微电网的实时运行数据输入训练好的微电网控制器模型，输出实时决策信息；

步骤104，当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

步骤105，利用实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型”。

具体实现过程如下：

步骤1：训练样本库的构建

在微电网控制器的实际应用过程中，基于历史运行数据(微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格)和决策信息(每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率)积累的样本数据泥沙俱下。而基于数据驱动的深度强化学习方法，需要数量和质量俱佳的标签数据作为支撑来训练模型。因此本发明首先对微电网的海量历史数据进行数据清洗，包括用插补法对缺失值进行填充和用箱线图法检测出异常值再进行异常值处理，保留满足需求的有效样本数据，然后进行特征工程操作，用最小冗余最大相关法选择特征。最终，形成具有完整输入输出集合的离线训练样本库，为微电网控制器人工智能模型的离线训练过程提供宏观决策初始策略π。

步骤2：基于深度确定性策略梯度优化算法的离线训练过程

以典型的风光柴储微电网为例，其发电单元主要包括风力涡轮机、光伏面板、可控式柴油发电机和储能电池。微电网系统的控制调度由能量管理系统(energymanagementsystem，EMS)进行控制，其通过对风电机组、光伏面板以及用户负荷等随机量进行预测并综合系统电价等实时状态信息进行分析，然后制定相应的能量调度策略，对微电网的可控分布式单元进行协调控制、调度和管理。本专利所研究的微电网控制器即为EMS提供基于人工智能的调度控制策略，下面介绍控制器模型具体的离线训练过程。

微电网控制器的深度强化学习模型由深度确定性策略梯度算法(DeepDeterministic Policy Gradient，DDPG)神经网络构成。其引入了Actor-Critic框架，将控制决策与价值评估分开来，并对于策略函数和价值函数均使用了双重神经网络模型构架(即在线网络与目标网络)。DDPG算法的离线训练流程如图3所示，首先分别为策略网络和价值网络建立在线网络，网络参数θ和ω可以设置为任何值。然后按照相同的网络结构为策略网络和价值网络建立目标网络，而目标网络的参数θ^-和ω^-与在线网络的参数初始化为相同值。

深度确定性策略梯度神经网络采用Actor-Critic框架；Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

在微电网控制器人工智能模型的训练过程中，我们需要兼顾探索和更新。探索是为了尽量寻找到完整的状态动作空间，因此在通过训练样本库构成的观测集中的当前状态和在线策略网络得到的动作上引入在时序上具有良好相关性的UO(Uhlenbeck-Ornstein，随机过程)，随机噪声将动作的决策过程变成随机过程来寻找更多潜在的更优策略，累积经验并构建经验复用池。

首先智能体根据观测集中当前的状态s_t通过在线策略网络θ和随机UO噪声生成随机过程，并在该随机过程中进行采样获得动作值a_t。环境执行产生的动作值a_t并返回奖励r_t和新的状态s_t+1。智能体将环境的状态转换过程产生的信号(s_t,a_t,r_t,s_t+1)存储在经验池D中，作为在线网络模型的训练数据集：

a_t＝π_θ(s_t)+N_t (1)

其中，N_t为时段t的UO随机探索噪声；π_θ为时段t的在线策略网络策略；经验复用池D由{s_t,a_t,r_t,s_t+1|t＝1,...,T-1}_i,

构成，

为DDPG的训练步数。定期从经验回放记忆池中随机采样一批经历样本(s,a,r,s′)，训练在线策略网络和在线价值网络。(s,a,r,s′)是一批(s_t,a_t,r_t,s_t+1)样本的指代，s′是状态s经过动作a后转移到的新状态。

基于Actor-Critic框架的DDPG神经网络训练选取均方误差(MeanSquared Error，MSE)作为损失函数。在更新阶段，首先从经验复用池D中随机采样小批量样本B，然后训练在线价值网络来更加准确地评估动作值函数，目标是使损失函数L(·)最小化：

其中，目标回报值U可以表示为：

U＝r+γQ(s′,π(s′；θ^-)；ω^-) (3)

式中，B为从经验回放池中随机采样的小批量经验样本(s,a,r,s′)；|B|为该小批量样本所包含的样本数；Q(s,a；ω)是使用在线价值网络估计的动作价值；Q(s′,π(s′；θ^-)；ω^-)是使用目标策略网络和目标价值网络估计的未来动作价值。

然后根据以下条件更新在线价值网络的神经网络参数ω：

式中，α_ω为价值网络的学习率；

为Q(s,a；ω)对参数ω的梯度。

接下来，是训练在线策略网络以更新神经网络参数θ：

式中，α_θ为策略网络的学习率；π(s；θ)为确定的行为策略；

为Q(s,π(s；θ)；ω)对动作a的梯度。

其更新目标是最小化以下功能：

式中，π(s；θ)是确定的行为策略，

是采样策略梯度值，其计算公式为：

最后，根据设置的学习速率α_ω和α_ω对目标策略网络和目标价值网络的参数θ^-和ω^-进行更新，为了使学习过程稳定，DDPG算法采用了软更新的方法，可以表示为：

ω^-＝(1-α_ω)ω^-+α_ωω (8)

θ^-＝(1-α_θ)θ^-+α_θθ (9)

步骤3：在线决策过程

图2中步骤3的结构即为微电网控制器的人工智能模型，采用离线训练阶段训练好的目标策略网络作为协调控制策略，模型的输入为微电网本地柴油机组、可再生能源机组、负荷需求、储能机组以及电力交易价格的系统状态的观测；模型的输出为日内24时段的决策控制结果，具体包括每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

本发明在在线决策阶段采用经过离线训练后的人工智能模型进行决策控制，首先对输入的系统信息进行数据预处理，将向量化后的新数据输入目标策略网络的输入层，并顺着数据流动的方向在网络中进行计算。直到数据传输到输出层，运算后输出预测结果根据输入的系统观测直接给出控制决策结果，并进行安全校验，实现微电网控制器的在线快速决策。

当微电网依据当前的协调控制策略进行在线决策所产生的运行数据累积到一定数量后，微电网控制器人工智能模型离线训练样本库也将进一步更新，将样本库数据替换为当前协调控制策略下产生的控制决策数据，使人工智能控制模型可以学习到更加精准的宏观决策初始策略，以提高离线训练过程中的探索和更新的精度和效率，样本库滚动更新如图4所示。

在此基础上基于DDPG的人工智能模型按照一定的时间周期完成自我更新与进化，然后进一步依据训练好的策略模型进行微电网控制器的实时协调控制。随着历史数据的积累，机器学习驱动的微电网控制器模型得到的初值会越来越精确，模型的计算效率与精度便随着数据的累积而上升。

为了克服微电网控制器在协调控制策略方面的不足，本发明采用了基于机器学习的人工智能控制方法对分布式电源、储能装置和负荷等单元进行协调控制。在机器学习方法中，强化学习缺乏较强的表征性能，无法对感知问题进行很好的求解，使其应用范围局限于有限的观察空间与离散的动作空间。而深度神经网络具备的特征表示和函数逼近特性，为处理复杂、高维场景下的强化学习任务提供了可能。深度强化学习以此为出发点，通过有机融合深度学习和强化学习，使得智能体同时具备了极强的感知优势和决策优势，很大程度地降低了求解任务的复杂度和学习难度，适用于具有高维度观察空间和连续型动作空间的微电网控制任务。

强化学习基本原理：

强化学习是基于严格数学理论的机器学习方法，其核心是使智能体与环境交互过程中学会最佳策略序列。强化学习的本质是互动学习，即让智能体以试错的方法进行学习，根据每次与环境交互过程中所感知到的状态信息来选择动作，并且观测环境所反馈的奖赏优劣来调整自身的调度策略，最终实现对环境状态的最优响应，获得最好的预期回报值。

强化学习的基本框架主要由智能体(Agent)和环境(Environment)组成，两者间通过奖励(Reward)、状态(State)和动作(Action)3个信号进行互动。强化学习定义了价值函数来评估当前智能体在该时间步时状态的好坏程度，即输入为状态s的状态值函数V(s)和输入为<状态-动作>对<s，a>的动作值函数Q(s,a)，最优策略π^*则定义为使得当前策略的价值函数优于任何其他策略的价值函数时所对应的策略。

强化学习问题通常可以展开为马尔可夫决策过程(MarkovDecision Process，MDP)，具体来说，MDP主要由一个四元组构成，即MDP＝(S,A,P_sa,R)。

1)S是状态空间集，即智能体在该时间步所感知到的状态信息；

2)A是动作空间集，即智能体在该时间步能够采取的动作集合；

3)P_sa是状态转移概率，即智能体在当前状态s下执行动作a后转移到另一状态s′的概率分布，概率只与当前所处状态有关而与过去无关，具有无后效性；

4)R是奖励函数，即智能体在当前状态s下执行动作a后转移到另一状态s′获得的奖励；

强化学习问题的MDP展开过程的基本框架如图5所示：在时间步t，智能体从外界环境中感知到状态信息s_t，依据当前动作策略π选择最优动作a_t。动作一旦被执行，环境就会发生转变，并通过交互反馈给智能体下一状态s_t+1和即时奖励r_t+1。智能体通过学习序列(s_t,a_t,r_t,s_t+1)来改进和完善其动作策略，从而最大限度地提高累积奖赏值。

综合而言，强化学习的数学基础理论基于具有马尔可夫性质的马尔科夫决策过程，定义强化学习中的值函数和动作值函数后，通过贝尔曼方程对值函数或动作值函数进行形式化表示，最终得到强化学习任务的求解方法。

深度强化学习方法主要可以分为基于值函数的DQN算法和基于策略梯度的DDPG算法。虽然DQN算法可以表征高维度的观察空间，但依旧局限于低维和离散的动作空间，无法处理具有高维和连续动作空间的任务。DQN的另一个缺陷是采取随机的策略，其输出的动作只是服从概率分布，导致行为具有不确定性，使神经网络参数更新的方向偏离梯度最优方向。基于DQN算法的缺陷，能够解决高维连续型动作空间的确定性策略梯度(DDPG)算法被提出，该算法在动作探索过程中仍然采取随机策略，而在训练学习过程中采取确定性策略。与随机策略同时整合动作和状态空间不同，确定性策略仅仅对状态空间进行整合，给定相应的状态和参数后只输出确定性的具体动作，其需要采样的数据更少，算法的效率更高。

考虑到微电网内部分布式电源运行状态、发电功率、储能电池充放电功率等均为连续值，同时系统运行数据存在很强的相关性，因此需要独立的目标网络与经验回放集合作为缓冲。其次，深度神经网络有逐层处理、有特征的内部变化具有足够的模型复杂度。由于深度确定性策略梯度算法综合了Actor-Critic网络架构与DQN方法，具有处理高维数据的优势，因此能够有效解决微电网电力交易决策的连续性问题。同时，该算法仅需要通过系统观测进行相应的网络参数调整，适用于微电网实时协调控制场景的实际应用。

DDPG神经网络的基本结构单元：

基于策略梯度的深度确定性策略梯度算法涉及了多个网络和相关概念，在了解其神经网络的基本结构之前，首先对部分概念进行定义：

1)确定性动作策略μ：每个时段的具体动作通过a_t＝μ(s_t)计算获得；

2)探索策略：在训练过程中需要兼顾探索和更新，探索的目的是寻找完整的动作状态空间。因此在训练过程中引入随机噪声将动作的决策过程变成随机过程，DDPG算法中使用了在时序上具有良好相关性的UO过程；

3)策略网络：使用深度神经网络对策略函数进行近似的网络，对应Actor-Critic框架中的Actor模块，本发明将Actor网络统称为策略网络；

4)价值网络：使用深度神经网络对价值函数进行模拟的网络，对应Actor-Critic框架中的Critic模块，本发明将Critic网络统称为价值网络；

5)衡量策略μ的表现：使用函数J_π(μ)衡量当前学习到的策略的好坏：

J_π(μ)＝E_π[Q(s,μ(s))] (10)

式中，E_x为策略π的期望。

6)训练的目标：最大化J_π(μ)，同时最小化价值网络的损失；

7)最优行为策略μ^*：就是使得函数J_π(μ)最大的策略：

μ^*＝argmaxJ_π(μ) (11)

DDPG算法包含在Actor-Critic框架下，该框架包含由深度神经网络搭建的两部分：Actor模块和Critic模块。其中，Actor模块用于实现动作策略的选择，输入为当前时刻下环境的状态信息s，输出模型映射的决策动作a；Critic模块则用于评价Actor模块所做出的动作，输入为状态s和动作a的集合，输出状态-动作对的值估计Q值，其依据历史状态转换信息以及反馈r进行自我调整，然后对Actor模块进行相应的更新，其基本框架如图6所示。

在Actor-Critic框架的基础上，DDPG算法分别为策略网络和价值网络各自创建两个深度神经网络，一个为在线网络，另一个为目标网络，其基本结构如图7所示。其更新关系是在结束一次小批量样本数据的训练后，通过梯度上升或下降算法更新在线网络参数，然后通过软更新算法更新目标网络的参数。采用软更新算法的优点在于目标网络参数变化小，用于训练过程中计算在线网络的梯度较为稳定，算法容易收敛。

DDPG算法训练的目标是最大化既定目标函数并且最小化价值网络的损失函数。其算法核心具有以下特点：

1)采用深度神经网络作为函数近似：采用卷积神经网络作为策略函数和价值函数(对应于策略网络和价值网络)的近似，使用随机梯度下降算法训练上述两个神经网络模型的参数，利用其非线性近似策略函数的准确性、高效性和收敛性；

2)引入经验回放机制：微电网控制器与系统环境信息进行交互所产生的样本具有时序关联性。通过经验回放机制，去除样本间的相关性和依赖性，减少函数近似后值函数估计过程中的偏差，解决数据间的相关性和非静态分布问题，更容易收敛；

3)采用双网络架构：对于策略函数和价值函数均使用了双重神经网络模型构架(在线网络和目标网络)，使得算法学习过程更加稳定，收敛更快。

本发明提出基于深度确定性策略梯度算法的系统实时协调控制策略，自适应微电网内可再生能源、负荷的不确定性变化，通过离线训练和在线决策实现微电网控制器对系统内部的源、网、荷、储的协调控制。在离线训练阶段，充分利用微电网历史运行数据和决策信息，训练出一个可适应不同运行场景不同运行工况的微电网控制器人工智能模型，构建系统运行工况与决策控制结果之间的逻辑关系；在在线决策阶段，通过对微电网运行状态信息的及时采集，快速决策出实时协调控制结果，并定期更新离线训练样本库实现微电网控制器模型的滚动优化和协调控制结果的持续改进。本发明充分发挥了深度确定性策略梯度算法的优势，可实现微电网功率的快速平衡与决策控制，有效提高微电网控制器的高效性和鲁棒性，进而提升微电网运行控制的智能化程度。

本发明的关键技术点：

1.提出了基于深度确定性策略梯度算法的微电网实时协调控制方法；

2.提出了基于Actor-Critic框架的微电网控制器人工智能模型，通过海量历史数据的训练，构建了微电网系统运行工况与调度决策结果之间的映射关系；

3.设计了基于DDPG算法的学习框架，通过离线训练和在线决策获得最优协调控制策略。

本发明的优点为：

协调控制策略是设计微电网控制器的关键，决定了分布式电源、储能装置和负荷协调调度结果的优劣。本发明融合了人工智能方法在大数据智能化分析处理方面的优势，设计了基于深度强化学习的微电网实时协调控制策略，选用深度确定性策略梯度算法，引入了经验回放机制和双网络构架，使用深度神经网络逼近策略函数和价值函数并利用策略梯度方法求得最优策略。相比于传统模型驱动控制方法，存在以下几方面的优势：

1)直接构建微电网运行工况与协调控制结果的映射关系，对微电网各元件的物理模型不敏感，避免了复杂非线性、非凸优化模型求解效率低的问题；

2)提供了系统实时协调控制策略，以1h为单位时间步长对分布式电源、储能装置和负荷进行协调控制，自适应可再生能源出力和负荷使用情况的不确定性；

3)充分发掘和利用了微电网历史运行数据和决策数据，通过对微电网历史数据的积累实现模型的持续性修正，赋予决策以自学习和更新的能力，并在实际应用过程中不断提升决策精度或效率；

4)通过“离线训练、在线决策”的模式来解决运行控制问题，基于对系统历史数据的认知和利用，微电网控制器直接使用离线训练好的最优协调控制策略进行快速在线决策，计算和响应速度更快，并定期更新离线训练样本库实现模型的滚动优化和策略的持续改进。

本发明还提供了一种基于人工智能控制方法的微电网控制器，包括：

历史样本数据库获取模块，用于获取微电网控制器运行过程中的历史样本数据库；历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

训练模块，利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

实时决策信息输出模块，用于将微电网的实时运行数据输入训练好的微电网控制器模型，输出实时决策信息；

实时样本数据集构成模块，用于当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

更新模块，用于利用实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用历史样本数据库对深度确定性策略梯度神经网络进行训练，获得训练好的微电网控制器模型”。

历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；

决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

微电网控制器还包括：

填充模块，用于采用插补法对历史样本数据库中的缺失值进行填充；

删除模块，用于对填充后的历史样本数据库利用箱线图法检测出异常值并删除；

特征选择模块，用于根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。

深度确定性策略梯度神经网络采用Actor-Critic框架；

Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；

Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

实时决策信息输出模块，具体包括：

实时决策信息输出子模块，用于将微电网的实时运行数据输入训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人工智能控制方法的微电网控制方法，其特征在于，所述微电网控制方法包括：

获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；

当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型”。

2.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；

所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

3.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述获取微电网控制器运行过程中的历史样本数据库，之后还包括：

采用插补法对历史样本数据库中的缺失值进行填充；

对填充后的历史样本数据库利用箱线图法检测出异常值并删除；

根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。

4.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述深度确定性策略梯度神经网络采用Actor-Critic框架；

所述Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；

所述Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

5.根据权利要求4所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息，具体包括：

将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。

6.一种基于人工智能控制方法的微电网控制器，其特征在于，所述微电网控制器包括：

历史样本数据库获取模块，用于获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；

训练模块，用于利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；

实时决策信息输出模块，用于将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；

实时样本数据集构成模块，用于当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；

更新模块，用于利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库对深度确定性策略梯度神经网络进行训练，获得训练好的微电网控制器模型”。

7.根据权利要求6所述的基于人工智能控制方法的微电网控制器，其特征在于，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；

所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。

8.根据权利要求6所述的基于人工智能控制方法的微电网控制器，其特征在于，所述微电网控制器还包括：

填充模块，用于采用插补法对历史样本数据库中的缺失值进行填充；

删除模块，用于对填充后的历史样本数据库利用箱线图法检测出异常值并删除；

特征选择模块，用于根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。

9.根据权利要求6所述的基于人工智能控制方法的微电网控制器，其特征在于，所述深度确定性策略梯度神经网络采用Actor-Critic框架；

所述Actor-Critic框架中的Actor网络包括在线策略网络和目标策略网络；

所述Actor-Critic框架中的Critic网络包括在线价值网络和目标价值网络。

10.根据权利要求9所述的基于人工智能控制方法的微电网控制器，其特征在于，所述实时决策信息输出模块，具体包括：

实时决策信息输出子模块，用于将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。

Images