CN116014715A - 一种基于数字孪生的综合能源控制方法及系统 - Google Patents

Abstract

本发明属于数字孪生技术领域，公开一种基于数字孪生的综合能源控制方法及系统，所述方法，包括：基于综合能源物理系统构建综合能源系统数字孪生体；从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；输出所述储能策略给综合能源物理系统。本发明基于数据和机理融合的方式构建了综合能源系统的数字孪生体模型，为深度强化学习算法提供了与物理系统同步演化更新的学习环境，解决了传统综合能源系统运行所面临的模型简化、源荷不确定性所带来的优化决策困难问题。

Description

一种基于数字孪生的综合能源控制方法及系统

技术领域

本发明属于数字孪生领域，涉及一种基于数字孪生的综合能源控制方法及系统。

背景技术

数字孪生技术通过在数字空间构建与物理实体行为状态同步变化的数字孪生体模型，并利用神经网络等算法对孪生体模型开展行为预测分析，最后根据优化控制目标，选取人工智能等先进算法，利用上述孪生体模型预测演变分析结果，在数字空间中实现智能分析决策，反馈给物理实体执行，最终实现物理和数字双空间的共同趋优。

数字孪生技术充分体现了数字化革命的思想理念，具备强大的数字复刻能力，将传统的不可测、不可观等问题转化为可动态跟踪、实时演化、预测的问题，再赋以人工智能等先进算法引擎，并与物理实体紧密相连，共同发展进步。基于上述技术优势，数字孪生近些年发展的如火如荼。在能源电力领域，近三年来，已有大量学术文章发表，研究方向覆盖输配电系统仿真，实时在线安全稳定分析，综合能源系统能源管理，变压器、电缆、光伏发电系统、风力发电系统、储能等设备的多物理场建模以及以此为基础的健康评估和智能运维。

综合能源系统(integrated energy system，IES)融合冷、热、电、气多种能源形式，提升资源利用效率，满足社会生产生活多样化需求，是当前能源电力发展的重要举措。

综合能源系统由于涉及多种能源形式耦合，主要存在以下两大类问题：

1)由于多能流运行过程异常复杂，综合能源系统存在大量机理不明确，信息不完备难题。

2)各主体交互复杂，源荷随机性强，优化运行决策困难。

发明内容

本发明的目的在于提供一种基于数字孪生的综合能源控制方法及系统，以解决现有综合能源系统由于涉及多种能源形式耦合所存在的技术问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于数字孪生的综合能源控制方法，包括：

基于综合能源物理系统构建综合能源系统数字孪生体；

从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出所述储能策略给综合能源物理系统。

本发明进一步的改进在于：所述综合能源系统数字孪生体包括：可再生能源孪生体、能源耦合设备孪生体、储能设备孪生体和负荷孪生体。

本发明进一步的改进在于：可再生能源孪生体包括光伏孪生体、风机孪生体；

光伏孪生体的最终光伏功率输出结果P_pv；

P_pv＝P_pv-LTSM+P_correct                (1)

其中，P_pv-LTSM为光伏功率预测值；P_correct为功率补偿值；光伏功率预测值P_pv-LTSM基于采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络获得；功率补偿值P_correct通过相似日气象搜索算法得到；

风力发电机孪生体的输出功率为P_wind。

本发明进一步的改进在于：能源耦合设备孪生体包括热电联产孪生体、燃气轮机孪生体；

热电联产孪生体的电功率输出为P_CHP；电功率输出P_CHP通过以下方法获得：将选择的输入特征输入BP神经网络拟合热电联产机组的电功率输出P_cHP；所选择的输入特征包括：燃料特性、蒸汽质量、流量和温度、氮氧化物排放水平；

燃气轮机孪生体的输出电功率为P_gas。

本发明进一步的改进在于：储能设备孪生体包括电储能孪生体、储热孪生体；

电储能孪生体的SOC预测值为S_soc；SOC预测值S_soc通过以下步骤获得：基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计；基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练；将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电储能孪生体的SOC预测值S_soc；

储热孪生体通过统一机理方程构建：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态；

负荷孪生体在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法实现综合能源系统多元负荷预测。

本发明进一步的改进在于：预先训练好的DQN模型的目标函数为：

以最小化能源成本作为综合能源系统优化调度的目标函数，包括外网取电费用与天然气购买费用；

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得；c_e为电价、c_g为气价；

A)状态空间

状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_ch，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

DQN模型训练时，采用优化求解器方法获取一部分深度强化学习经验池；采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

本发明进一步的改进在于：预先训练好的DQN模型的训练方法包括：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值；

步骤7：每C次更新重置目标网络参数。

第二方面，本发明提供一种基于数字孪生的综合能源控制系统，包括：

构建模块，用于基于综合能源物理系统构建综合能源系统数字孪生体；

储能策略预测模块，用于从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出模块，用于输出所述储能策略给综合能源物理系统。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的一种基于数字孪生的综合能源控制方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的一种基于数字孪生的综合能源控制方法。

相对于现有技术，本发明具有以下有益效果：

本发明提出一种基于数字孪生的综合能源系统储能控制方法及系统；该方法基于数据和机理融合的方式构建了综合能源系统的数字孪生体模型，为深度强化学习算法提供了与物理系统同步演化更新的学习环境，解决了传统综合能源系统运行所面临的模型简化、源荷不确定性所带来的优化决策困难问题。另外，在深度强化学习模型训练过程中，利用优化求解器获得的储能策略来作为经验样本，有助于加速深度强化学习的模型训练时间，并提高模型训练效率。

本发明提出的一种综合能源系统数字孪生体模型构建方法，利用物理机理和数据驱动相结合的方式，实现可再生能源功率预测、综合能源系统多元负荷预测，以及能源耦合设备、储能设备等模型参数的更新和优化，最终实现综合能源物理系统到数字空间的映射，为后续强化学习提供了精准的交互学习环境。

本发明提出了一种经验池构建方法。利用优化求解器，结合能源成本最低的优化目标，获得储能优化策略，将上述信息作为经验样本存储到强化学习的经验池中，提高了深度强化学习的训练效率。

本发明提出一种基于深度强化学习的综合能源系统储能控制模型，包括其状态空间、动作空间、交互过程及奖励函数设计。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于数字孪生的综合能源系统储能控制方法示意图；

图2为LSTM神经网络示意图；

图3为BP神经网络示意图；

图4为电储能数字孪生体构建方法示意图；

图5为本发明又一基于数字孪生的综合能源系统储能控制方法示意图；

图6为本发明基于数字孪生的综合能源系统储能控制系统示意图；

图7为本发明一种电子设备的结构示意图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

面临综合能源系统由于涉及多种能源形式耦合存在的两大类问题，传统的集中式能源优化建模，难以满足多能源耦合、多种设备接入带来的综合能源复杂系统求解和分析的需求，同时，面向综合能源优化运行的仿真方法主要采用离线形式，缺乏仿真模型的实时在线更新和矫正能力。数字孪生技术未解决上述难题提供了重要解决路径：

1)利用数据机理融合驱动的方法，构建电/气/热等不同能源主体的多能源运行机理及建模方法，实现综合能源主体数字孪生体模型建立；并通过模型参数的动态更新和优化，使得数字孪生体模型与多能源物理行为状态保持一致。

2)在数字空间利用人工智能算法，结合孪生体模型构建与不确定行为预测分析，实现不完备信息环境下综合能源系统优化运行决策，并反馈给综合能源物理主体，保障各主体利益的最大化。

图1所示为基本的综合能源系统结构图。综合能源系统是集发-用-储-耦合设备于一体的能源系统，主要包括热电联产(Combined heat and power，CHP)机组、电储能、光伏发电、燃气锅炉、用能设备等，其中电负荷包括空调、照明、动力等，气负荷和热负荷分别包括居民燃气和居民供暖等。

本发明提出一种基于数字孪生的综合能源系统储能控制方法，方法示意见图1所示。主要包括。

1、综合能源系统数字孪生体

(1)可再生能源

1)光伏孪生体

首先基于所采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络，获得光伏功率预测值P_pv-LTSM。LSTM神经网络的结构如图3所示。

其次通过相似日气象搜索算法，得到功率补偿值P_correct，修正LSTM神经网络输出的光伏功率预测值P_pv-LTSM，得到最终光伏功率输出结果P_pv。

P_pv＝P_pv-LTSM+P_correct                (1)

2)风机孪生体

风机孪生体包括风机本体模型与PID控制模型。风机本体模型基于物理机理构建，主要包括叶片机理建模、塔筒机理建模、传动系统建模；控制系统包括转矩控制子系统、变桨控制子系统、偏航控制子系统。

风机孪生体构建的核心在于风机本体模型与PID控制模型参数的优化。以现场采集到的风速、风向信息作为输入，进行数字孪生系统的全工况(不同风速段、不同控制区域)闭环仿真，得到风轮转速、发电机转速、发电机功率、变桨角度的动态特性，通过与实际运行数据的对比和偏差分析，对数字孪生系统中风机本体模型与PID控制模型参数进行迭代调整。

风力发电机孪生体的输出功率记为P_wind。

(2)能源耦合设备

1)热电联产孪生体

首先，进行特征提取。结合热电联产机组的历史运行数据，进行输入特征提取，选择对热电联产机组输出电功率影响权重大的数据属性，所选择的输入特征包括：燃料特性(热值，密度，温度，压力)、蒸汽质量、流量和温度、氮氧化物排放水平。

其次，将选择的输入特征输入图3所示BP神经网络拟合热电联产机组的电功率输出P_CHP。

2)燃气轮机孪生体

首先基于物理机理构建燃气轮机模型，其次通过现场采集的流量数据对燃气轮机模型中的初始点参数更新与优化，实现燃气轮机孪生体模型构建。燃气轮机输出电功率为P_gas。

(3)储能设备

1)电储能孪生体

请参阅图4所示，采用了数据驱动和物理机理融合的建模方法构建电储能数字孪生体，提高电储能荷电状态SOC的预测精度。一方面，基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计，例如电阻、电容、额定容量以及荷电状态SOC；一方面，基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练。最后，将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电池储能系统的SOC预测值S_soc。

2)储热孪生体

储热孪生体通过统一机理方程构建，如下所示：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态。

(4)负荷

本发明在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法来实现综合能源系统多元负荷预测。

本发明基于综合能源系统数字孪生体开展深度强化学习模型训练，包括：

(1)综合能源系统强化学习模型定义

目标函数：以最小化能源成本作为综合能源系统优化调度的目标函数，其包括外网取电费用与天然气购买费用。

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得。c_e为电价、c_g为气价。

A)状态空间

系统的状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型，即：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_ch，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

(2)经验池生成

本发明提出采用传统优化求解器方法来获取一部分深度强化学习经验池。采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

(3)DQN模型训练方法：

本发明选取DQN深度强化学习算法解决综合能源系统优化运行问题。具体对于每一个时间步t，执行以下步骤：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值(回归)；

步骤7：每C次更新重置目标网络参数。

实施例1

请参阅图5所示，本发明提供一种基于数字孪生的综合能源控制方法，包括：

S1、基于综合能源物理系统构建综合能源系统数字孪生体；

S2、从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

S3、输出所述储能策略给综合能源物理系统。

在一具体实施方式中，所述综合能源系统数字孪生体包括：可再生能源孪生体、能源耦合设备孪生体、储能设备孪生体和负荷孪生体。

在一具体实施方式中，可再生能源孪生体包括光伏孪生体、风机孪生体；

光伏孪生体的最终光伏功率输出结果P_pv；

P_pv＝P_pv-LTSM+P_correct                (1)

其中，P_pv-LTSM为光伏功率预测值；P_correct为功率补偿值；光伏功率预测值P_pv-LTSM基于采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络获得；功率补偿值P_correct通过相似日气象搜索算法得到；

风力发电机孪生体的输出功率为P_wind。

在一具体实施方式中，能源耦合设备孪生体包括热电联产孪生体、燃气轮机孪生体；

热电联产孪生体的电功率输出为P_CHP；电功率输出P_CHP通过以下方法获得：将选择的输入特征输入BP神经网络拟合热电联产机组的电功率输出P_CHP；所选择的输入特征包括：燃料特性、蒸汽质量、流量和温度、氮氧化物排放水平；

燃气轮机孪生体的输出电功率为P_gas。

在一具体实施方式中，储能设备孪生体包括电储能孪生体、储热孪生体；

电储能孪生体的SOC预测值为S_soc；SOC预测值S_soc通过以下步骤获得：基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计；基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练；将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电储能孪生体的SOC预测值S_soc；

储热孪生体通过统一机理方程构建：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态；

负荷孪生体在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法实现综合能源系统多元负荷预测。

在一具体实施方式中，预先训练好的DQN模型的目标函数为：

以最小化能源成本作为综合能源系统优化调度的目标函数，包括外网取电费用与天然气购买费用；

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得；c_e为电价、c_g为气价；

A)状态空间

状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_ch，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

DQN模型训练时，采用优化求解器方法获取一部分深度强化学习经验池；采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

在一具体实施方式中，预先训练好的DQN模型的训练方法包括：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值；

步骤7：每C次更新重置目标网络参数。

实施例2

请参阅图6所示，本发明还提供一种基于数字孪生的综合能源控制系统，包括：

构建模块，用于基于综合能源物理系统构建综合能源系统数字孪生体；

储能策略预测模块，用于从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出模块，用于输出所述储能策略给综合能源物理系统。

在一具体实施方式中，所述综合能源系统数字孪生体包括：可再生能源孪生体、能源耦合设备孪生体、储能设备孪生体和负荷孪生体。

在一具体实施方式中，可再生能源孪生体包括光伏孪生体、风机孪生体；

光伏孪生体的最终光伏功率输出结果P_pv；

P_pv＝P_pv-LTSM+P_correct                (1)

其中，P_pv-LTSM为光伏功率预测值；P_correct为功率补偿值；光伏功率预测值P_pv-LTSM基于采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络获得；功率补偿值P_correct通过相似日气象搜索算法得到；

风力发电机孪生体的输出功率为P_wind。

在一具体实施方式中，能源耦合设备孪生体包括热电联产孪生体、燃气轮机孪生体；

热电联产孪生体的电功率输出为P_CHP；电功率输出P_CHP通过以下方法获得：将选择的输入特征输入BP神经网络拟合热电联产机组的电功率输出P_CHP；所选择的输入特征包括：燃料特性、蒸汽质量、流量和温度、氮氧化物排放水平；

燃气轮机孪生体的输出电功率为P_gas。

在一具体实施方式中，储能设备孪生体包括电储能孪生体、储热孪生体；

电储能孪生体的SOC预测值为S_soc；SOC预测值S_soc通过以下步骤获得：基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计；基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练；将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电储能孪生体的SOC预测值S_soc；

储热孪生体通过统一机理方程构建：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态；

负荷孪生体在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法实现综合能源系统多元负荷预测。

在一具体实施方式中，预先训练好的DQN模型的目标函数为：

以最小化能源成本作为综合能源系统优化调度的目标函数，包括外网取电费用与天然气购买费用；

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得；c_e为电价、c_g为气价；

A)状态空间

状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_cg，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

DQN模型训练时，采用优化求解器方法获取一部分深度强化学习经验池；采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

在一具体实施方式中，预先训练好的DQN模型的训练方法包括：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值；

步骤7：每C次更新重置目标网络参数。

实施例3

请参阅图7所示，本发明还提供一种实现基于数字孪生的综合能源控制方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。

存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1所述的一种基于数字孪生的综合能源控制方法的步骤。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

所述至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。

所述电子设备100中的所述存储器101存储多个指令以实现一种基于数字孪生的综合能源控制方法，所述处理器102可执行所述多个指令从而实现：

基于综合能源物理系统构建综合能源系统数字孪生体；

从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出所述储能策略给综合能源物理系统。

实施例4

所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (13)

1.一种基于数字孪生的综合能源控制方法，其特征在于，包括：

基于综合能源物理系统构建综合能源系统数字孪生体；

从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出所述储能策略给综合能源物理系统。

2.根据权利要求1所述的一种基于数字孪生的综合能源控制方法，其特征在于，所述综合能源系统数字孪生体包括：可再生能源孪生体、能源耦合设备孪生体、储能设备孪生体和负荷孪生体。

3.根据权利要求2所述的一种基于数字孪生的综合能源控制方法，其特征在于，可再生能源孪生体包括光伏孪生体、风机孪生体；

光伏孪生体的最终光伏功率输出结果P_pv；

P_pv＝P_pv-LTSM+P_correct                (1)

其中，P_pv-LTsM为光伏功率预测值；P_correct为功率补偿值；光伏功率预测值P_pv-LTSM基于采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络获得；功率补偿值P_correct通过相似日气象搜索算法得到；

风力发电机孪生体的输出功率为P_wind。

4.根据权利要求3所述的一种基于数字孪生的综合能源控制方法，其特征在于，能源耦合设备孪生体包括热电联产孪生体、燃气轮机孪生体；

热电联产孪生体的电功率输出为P_CHP；电功率输出P_CHP通过以下方法获得：将选择的输入特征输入BP神经网络拟合热电联产机组的电功率输出P_CHP；所选择的输入特征包括：燃料特性、蒸汽质量、流量和温度、氮氧化物排放水平；

燃气轮机孪生体的输出电功率为P_gas。

5.根据权利要求4所述的一种基于数字孪生的综合能源控制方法，其特征在于，储能设备孪生体包括电储能孪生体、储热孪生体；

电储能孪生体的SOC预测值为S_soc；SOC预测值S_soc通过以下步骤获得：基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计；基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练；将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电储能孪生体的SOC预测值S_soc；

储热孪生体通过统一机理方程构建：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态；

负荷孪生体在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法实现综合能源系统多元负荷预测。

6.根据权利要求5所述的一种基于数字孪生的综合能源控制方法，其特征在于，预先训练好的DQN模型的目标函数为：

以最小化能源成本作为综合能源系统优化调度的目标函数，包括外网取电费用与天然气购买费用；

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得；c_e为电价、c_g为气价；

A)状态空间

状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_ch，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

DQN模型训练时，采用优化求解器方法获取一部分深度强化学习经验池；采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

7.根据权利要求1所述的一种基于数字孪生的综合能源控制方法，其特征在于，预先训练好的DQN模型的训练方法包括：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值；

步骤7：每C次更新重置目标网络参数。

8.一种基于数字孪生的综合能源控制系统，其特征在于，包括：

构建模块，用于基于综合能源物理系统构建综合能源系统数字孪生体；

储能策略预测模块，用于从综合能源系统数字孪生体进行数据同步并采样得到当前时刻可再生能源功率输出、综合能源负荷预测以及电池荷电状态，输入预先训练好的DQN模型，获得储能策略；

输出模块，用于输出所述储能策略给综合能源物理系统。

9.根据权利要求8所述的一种基于数字孪生的综合能源控制系统，其特征在于，所述综合能源系统数字孪生体包括：可再生能源孪生体、能源耦合设备孪生体、储能设备孪生体和负荷孪生体；

可再生能源孪生体包括光伏孪生体、风机孪生体；

光伏孪生体的最终光伏功率输出结果P_pv；

P_pv＝P_pv-LTSM+P_correct                (1)

其中，P_pv-LTSM为光伏功率预测值；P_correct为功率补偿值；光伏功率预测值P_pv-LTSM基于采集太阳辐射强度、环境温度、湿度数据，输入预先训练好的LSTM神经网络获得；功率补偿值P_correct通过相似日气象搜索算法得到；

风力发电机孪生体的输出功率为P_wind；

能源耦合设备孪生体包括热电联产孪生体、燃气轮机孪生体；

热电联产孪生体的电功率输出为P_CHP；电功率输出P_CHP通过以下方法获得：将选择的输入特征输入BP神经网络拟合热电联产机组的电功率输出P_CHP；所选择的输入特征包括：燃料特性、蒸汽质量、流量和温度、氮氧化物排放水平；

燃气轮机孪生体的输出电功率为P_gas；

储能设备孪生体包括电储能孪生体、储热孪生体；

电储能孪生体的SOC预测值为S_soc；SOC预测值S_soc通过以下步骤获得：基于戴维南等效电路构建电池的动力学建模，并利用卡尔曼滤波器开展电池的参数估计；基于电池历史老化数据，利用LSTM神经网络构建电池储能系统的模型，并开展模型训练；将实时测量的电池电压、电流、环境温度数据，以及卡尔曼滤波器获取的系统估计参数，作为训练好的LSTM神经网络的输入，从而最终得到电储能孪生体的SOC预测值S_soc；

储热孪生体通过统一机理方程构建：

其中，H_ch、H_dis为储热设备充放能功率，η_ch、η_dis为储热设备充放能效率，Q为额定储热功率，S_t为t时刻的储热设备状态，

为t-1时刻的储热设备状态；

负荷孪生体在考虑综合能源系统的电负荷L_e、热负荷L_h方面，采用基于深度神经网络的多任务方法实现综合能源系统多元负荷预测。

10.根据权利要求9所述的一种基于数字孪生的综合能源控制系统，其特征在于，预先训练好的DQN模型的目标函数为：

以最小化能源成本作为综合能源系统优化调度的目标函数，包括外网取电费用与天然气购买费用；

F＝minC＝min(P_gridc_e+V_gasc_g)            (3)

其中，C为能源成本，P_grid为外电网用电功率，V_gas为天然气用量，通过耦合设备模型的输入量获得；c_e为电价、c_g为气价；

A)状态空间

状态空间包括可再生能源功率输出、综合能源负荷预测、电池荷电状态，均来自综合能源系统的数字孪生体模型：

S＝{P_pv，P_wind，L_e，L_h，S_soc}            (4)

B)动作空间

其动作空间变量包括热电联产设备电功率P_CHP、储能系统充放电功率P_cg，P_dis，即

A＝{P_CHP，P_ch，P_dis} (5)

C)奖励函数

将综合能源系统模型目标函数的相反数作为每个智能体的即时奖励，即：

R＝-F＝-(P_gridc_e+V_gasc_g)                  (6)

DQN模型训练时，采用优化求解器方法获取一部分深度强化学习经验池；采用求解器的综合能源系统优化运行问题为混合整数非线性规划问题，在matlab平台采用yalmip工具箱调用Cplex求解器求解。

11.根据权利要求8所述的一种基于数字孪生的综合能源控制系统，其特征在于，预先训练好的DQN模型的训练方法包括：

步骤1：从综合能源数字孪生系统进行数据同步并采样得到当前时刻环境状态信息st，基于贪心策略π执行动作at；

步骤2：根据奖励判断机制得到奖励得分rt，并获得下一时刻环境状态st+1；

步骤3：将(st，at，rt，st+1)存储到经验池中；

步骤4：从经验池中采样(si，ai，ri，si+1)；

步骤5：目标值是rt+Q(si+1,π(si+1))；

步骤6：更新Q的参数使得Q(si，ai)尽可能接近于步骤5中目标值；

步骤7：每C次更新重置目标网络参数。

12.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的一种基于数字孪生的综合能源控制方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的一种基于数字孪生的综合能源控制方法。

Images