CN116128094A - 一种基于数字孪生的工业园区能量管理系统及方法 - Google Patents

Abstract

本发明提供一种基于数字孪生的工业园区能量管理系统及方法，所述系统包括感知层、网络层、平台层、应用层；通过三维图形引擎、unity3D建模、传感器、视频监测、人工智能算法、大数据等技术，在数字空间构建一座与实际物理工业园区一样的虚拟模型，实现能源设备的全息仿真、动态监测，推动电力系统全要素数字化、虚拟化、全状态实时可视化，对工业园区中的能源设备状态全感知、实时能量调度管理，进一步提升能量系统的数字化、精细化管理水平和智能决策能力采用数字孪生技术，对工业园区的能量系统进行管理优化，实现，工业园区能量系统的实时能量监控，在线能量调度。适用于具有能源耦合复杂特征的混合能源系统的工业园区。

Description

一种基于数字孪生的工业园区能量管理系统及方法

技术领域

本发明属于能源建模与管理技术领域，具体涉及一种基于数字孪生的工业园区能量管理系统及方法。

背景技术

为了应对气候变化，以低碳竞争力为目标，碳排量成为各个能源系统中越来越重要的问题。而且工业园区在我国的经济发展中发挥着越来越大的作用，因此对工业园区的能量管理等相关问题需要进一步探讨。

兴起的数字孪生技术，可以利用物理模型和传感器集成多学科、多物理、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映对应实体的全生命周期过程，将数字孪生技术与能量管理系统相结合，可很好的应用于电网优化设计、能量系统故障仿真与仿真、虚拟电厂、智能设备监控等服务。

专利“CN201266319Y一种基于网络的建筑能量管理、调度与控制系统”，包括有位于下层的能量数据监测调度分配装置，位于中层的对下层信息融合、数据挖掘和区域通信与管理的数据管理装置，位于上层的对数据进行优化处理并下传优化方案的执行装置，三层装置通过以太连接；所述的能量数据监测调度分配装置包括有能量检测控制器、能量平衡探测器、能量调度控制服务器、阀门及各种传感器，涵盖了智能建筑中传统楼宇自动化系统和集成系统的功能，是新一代的楼宇自控系统。但是该申请并不能在虚拟空间映射出能源系统模型，进而实施实时监控与调度。

发明内容

基于上述问题，本发明采用数字孪生技术，对工业园区的能量系统进行管理优化，实现工业园区能量系统的实时能量监控，在线能量调度。

本发明提供的一种基于数字孪生的工业园区能量管理系统，包括感知层、网络层、平台层、应用层；

所述感知层用于采集工业园区中各个能源设备的生产过程数据；所述生产过程数据包括当前时间、光照强度、天气温度、光伏发电站发电功率、直流储能系统电池状态、园区内负荷需求量、热电联产机组功率；

所述感知层用于采集、传输、汇聚信息数据；所述感知层包括物联网传感器、网络节点；

所述网络层用于提供数据传输通道；所述网络层包括电力无线专网、电力光纤网；

所述平台层用于构建工业园区中的数据驱动与机理模型，采用人工智能算法对光伏发电历史运行数据和园区内负荷历史运行数据进行拟合，生成对园区内光伏发电站的总功率和未来负荷需求量的预测数据；

所述应用层用于根据生成的预测数据实现虚拟空间对物理空间的响应，包括对园区的全景监视、能量管理。

一种基于数字孪生的工业园区能量管理方法，基于所述的基于数字孪生的工业园区能量管理系统实现，所述方法包括：

步骤1：构建组成工业园区能量系统的各个能源设备的机理模型；具体包括：

工业园区能量系统包括：电力网络、光伏发电站、直流储能系统、热力网络、热电联产机组、居民负荷、工业负荷；所述工业园区与公共电网相连，向电网购电，园区内部具有光伏发电站，光伏发电站与直流储能系统相连接，在光伏发电量过剩时向储能设备充电，存储能源。

光伏发电站包括太阳能电池阵列和电力电子逆变器。太阳能电池阵列采用光生伏特原理，将太阳能转化成电能，产生的直流电一部分由直流储能系统储存起来，一部分直流电电经电力电子逆变器逆变成交流电，供园区内负荷使用。

建立工业园区能量系统有功功率的平衡约束函数：

P_PV(t)+P_BES(t)+P_grid(t)＝P_load(t)

式中：P_grid(t)为t时刻工业园区向电网购电功率，P_load(t)为t时刻工业园区内的负荷需求量,P_PV(t)为园区内光伏发电站实时发电的有功功率,P_BES(t)为园区内储能系统实时发电的有功功率；

建立工业园区能量系统无功功率的平衡约束函数：

Q_PV(t)+Q_grid(t)＝Q_load(t)

式中：Q_grid(t)为t时刻电网所发无功功率，Q_load(t)为t时刻工业园区内的负荷所需无功功率，Q_PV(t)为t时刻园区内光伏系统所发无功功率；

建立光伏发电站中能源设备运行约束条件：

P_pvmin≤P_PV(t)≤P_pvmax

式中：P_pvmin为光伏发电站的最小出力，P_pvmax为光伏发电站的最大出力，P_PV(t)为园区内光伏发电站实时发电功率；

建立直流储能系统中储能设备电荷量的约束条件：

式中：

为储能设备的最小电荷量，

为储能设备的最大电荷量，SOC_BES(t)为园区内储能设备t时刻所储电荷量；

建立直流储能系统中储能设备功率的约束条件：

式中：

为储能系统最小充放电功率，

为储能系统最大充放电功率，P_BES(t)为工业园区内储能系统t时刻的功率，其中正负代表充设备放电状态。

建立热电联产机组功率的约束条件：

式中：

为热电联产机组在运行时允许的最小电出力；

为热电联产机组在运行时允许的最大电出力；

热电联产机组在运行时允许的最小热出力；

热电联产机组在运行时允许的最大热出力；P_CHP(t)为t时刻热电联产机组的电功率输出值；H_CHP(t)为t时刻热电联产机组的热功率输出值；

建立热电联产机组爬坡的约束条件：

式中：

为热电联产机组电出力的爬坡限值；

为热电联产机组热出力的爬坡限值；

建立电力网络的功率模型，其中节点i与节点j之间传递的有功功率P_ij和无功功率Q_ij表述如下：

P_ij＝|V_i||V_j|(G_ijcosθ_ij+B_ijsinθ_ij)

Q_ij＝|V_i||V_j|(G_ijsinθ_ij-B_ijcosθ_ij)

式中，|V_i|和|V_j|表示i和j节点的电压波动；θ_ij表示电压相角差；G_ij表示电力系统线路的电导矩阵；B_ij为电力系统交流网络的电纳矩阵；

建立热力网络的热能模型，从节点i传输到节点j的热功率为：

式中，c_p为水的比热容值；

为水流量，无方向性；T_i ^S为节点i的供水温度；T_g为环境温度；

为节点j的回水管温度；ψ_ij为热传递系数；

步骤2：对工业园区中各个能源设备进行三维建模；

步骤2.1：根据各个能源设备的物理尺寸构建几何模型；

步骤2.2：将几何模型导入Unity3D软件中进行优化和整合，包括调整单个模型在世界环境中的绝对坐标和整体模型在系统中的相对坐标，并进行贴图设计；

步骤3：采集各个能源设备的生产过程数据，构建模型的训练样本集；

步骤4：采用人工智能算法构建数据驱动模型用于优化各个能源设备的发电功率，实现运行成本最小时促进光伏的消纳；具体表述为：

所述人工智能算法包括基于深度学习构建的园区系统能量预测模型及基于深度强化学习构建的工业园区能量管理模型。

步骤4.1：采用LSTM神经网络构建基于深度学习的园区系统能量预测模型；

园区系统能量预测模型采用长短期记忆神经网络，对时序特征明显的能量系统中光伏发电量和电热负荷需求量进行预测。

所述长短期记忆神经网络包括两层神经网络第一层隐藏层神经元个数为150个，第二层隐藏层神经网络包括200个神经元。采用具有稀疏激活性的ReLU激活函数，可以有效的避免梯度爆炸和梯度消失的问题，为了防止神经网络过拟合采用Dropout方法，在误差的反向传播中对随机选择的一部分权值停止更新。

园区系统能量预测模型的输入包括：当前时间、天气温度、光照强度、光伏发电站上一时刻发电数据、直流储能系统的电池状态、上一时刻园区负荷需求量；输出为预测下一时刻光伏发电数据与园区负荷需求量。

园区系统能量预测模型部署在能量管理系统中的平台层，可以为管理人员提供预测的发电和负荷数据情况，也可以将输出的数据做为基于深度强化学习的工业园区能量管理模型的输入数据。

步骤4.2：采用TD3(Twin Delayed Deep Deterministic Policy Gradient，TD3)算法构建基于深度强化学习的工业园区能量管理模型；

工业园区能量管理模型的目标为最小化经济成本的同时保证新能源的消纳，减少碳排放。构建目标函数为：

F＝∑(C+f)

式中：C为系统运行各项成本函数，f为光伏发电设备弃光惩罚项。

所述系统中各个设备成本函数C为：

C＝C_grid+C_PV+C_BES+C_CHP

式中：C_grid为本工业园区向外界公共电网购电所花成本，C_PV为园区内光伏发电站运行成本，C_BES为园区内储能设备运行成本，C_CHP为园区内热电联产设备运行成本。

向公共电网购电成本表示如下：

C_grid＝λ_tP_grid(t)

式中：λ_t为t时刻电网电价。

将所述工业园区能量管理问题描述为马尔可夫决策过程，在t时刻工业园区能量系统可以观测到的状态为当前时间t、此时电价、光伏发电功率、储能设备电荷量和此时园区内所需负荷。将工业园区能量系统当前t时刻的电价、光伏发电站的有功功率、直流储能系统的电荷量、负荷需求量作为状态空间：定义其状态空间为：

S_t＝{t,λ_t,P_PV(t),P_load(t),SOC_BES(t)，H_load(t)}

式中，H_load(t)为园区中热负荷需求量。

动作空间为光伏系统向园区负荷供电功率、园区购电功率、光伏系统向储能设备供电功率，以及储能设备发电功率。具体表述如下：

a_t＝{P_pv，load(t),P_pv,bes(t),P_BES(t),P_grid(t),H_chp(t)}

式中：P_pv，load(t)为光伏系统向园区负荷供电功率，P_pv,bes(t)为光伏系统向储能设备供电功率，H_chp(t)为热电联产机组t时刻的发热功率。

奖励函数定义为工业园区能量管理问题目标函数的倒数，表述为：

r_t＝K₁(1/F)

式中：K₁为权重系数，在本发明中取0.1。

步骤5：将机理模型生成的仿真数据作为训练后的数据模型的样本输入数据，搭建数据驱动模型得到数字孪生系统，将训练好的TD3算法模型应用于数字孪生能量管理系统中。感知层会收集园区内各个能源设备的信息，由网络层将数据传输并存储在服务器中，由平台层中的TD3算法模型根据t时刻工业园区内各个能源设备的输出数据，形成最优的调度策略，并将能量调度策略输出到应用层。调度人员可以根据TD3算法输出的调度策略对工业园区进行能量管理。通过数据孪生系统实现虚拟空间对物理空间的响应。

所述基于深度强化学习的工业园区能量管理模型部署在能量管理系统的应用层，管理人员可以通过TD3算法输出的最优解作为调度策略，实现运行成本最小的情况下促进新能源的消纳。

本发明的有益效果是：

本发明提出了一种基于数字孪生的工业园区能量管理系统，本发明通过三维图形引擎、unity3D建模、传感器、人工智能算法、大数据等技术，在数字空间构建一座与实际物理工业园区一样的虚拟模型，实现能源设备的全息仿真、动态监测，推动电力系统全要素数字化、虚拟化、全状态实时可视化，对工业园区中的能源设备状态全感知、实时能量调度管理，进一步提升能量系统的数字化、精细化管理水平和智能决策能力。本发明方法采用LSTM预测模型和TD3算法策略模型，有效地减少了网络训练所需要的参数，减少了预测所需的时间，与现有技术相比，本发明提高了预测精度，减少了预测时间，同时提高了模型的泛化能力。大大减小了能源系统的运行成本促进了可再生能源的消纳。

附图说明

图1为本发明中工业园区能源系统结构图。

图2为本发明中能量管理系统3D模型搭建流程图。

图3为本发明中TD3算法结构图。

图4为本发明中LSTM算法结构图。

图5为本发明中数据预处理流程图。

图6为本发明LSTM预测模型训练流程图。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明。

本发明提供的一种基于数字孪生的工业园区能量管理系统，包括感知层、网络层、平台层、应用层；

所述感知层用于采集工业园区中各个能源设备的生产过程数据；所述生产过程数据包括当前时间、光照强度、天气温度、光伏发电站发电功率、直流储能系统电池状态、园区内负荷需求量、热电联产机组功率；

所述感知层用于采集、传输、汇聚信息数据；所述感知层(工业园区端)应用标准化的传感技术，对工业园区中各个设备中的电气量及环境量进行采集，完成对能源设备的全面感知，此层包括物联网传感器、网络节点；

所述网络层用于提供数据传输通道；所述网络层包括电力无线专网、电力光纤网，为工业园区中的设备物联网提供高可靠、高安全、高带宽的数据传输通道；

所述平台层用于构建工业园区中的数据驱动与机理模型，采用人工智能算法对光伏发电历史运行数据和园区内负荷历史运行数据进行拟合，生成对园区内光伏发电站的总功率和未来负荷需求量的预测数据；

平台层中构建工业园区中的各个数据驱动与机理驱动的模型，对从感知层与网络层传输过来的数据进行处理与分析，数据包括园区的历史运行数据、仿真生成数据等。设立云端数据库用来储存工业园区中设备运行的相关数据，完成对数据库的增加、删除、查看功能。模型为数据—机理驱动模型，采用人工智能算法对光伏发电历史运行数据进行拟合，生成对能源设备的预测数据、设备状态数据等。

所述应用层用于根据生成的预测数据实现虚拟空间对物理空间的响应，包括对园区的全景监视、能量管理。

所述系统前端设计采用unity3D实时渲染引擎及UI设计完成。建模流程如图2所示。采用Unity3D虚拟现实引擎完成对系统的设计，同过三维建模软件3dsMAX对工业园区能源设备进行建模。

所述系统后端设计采用云端数据库、基于Unity3D的后端服务系统。所述数据库采用MySQL数据库，将在本地开发的数据库部署在云端服务器中。所述云端数据库用以工业园区中能量设备的相关数据，部署在阿里云服务器上，不仅可以让用户在任何时间、任何地点都可以访问，而且还可以保证数据的安全性。

所述系统后端通讯系统开发采用TCP/IP协议的通讯方式，通过Socket将数据进行传输，在Unity3D中使用C#进行编写创建TCP_Client脚本，并挂载在Main Camera物体上，使脚本程序始终处于激活状态，将孪生系统作为客户端，设置好需要连接的服务器IP地址及端口号等参数，将孪生系统中各个参数按照一定格式打包，发送至指定云端服务器。在文本输入框中输入IP地址和端口号，点击创建客户端会开启SocketClient，创建一个以TCP/IP协议发送数据的客户端。断开连接按钮作用为关闭SocketClient，点击发送选择框，U3D将光伏电站实时信息发送至数字孪生体和云端服务器中，云端服务器将数据转发至工业园区能源管理中心，接收到指令后，运检人员按照指令对工业园区进行能量调度和维护。

一种基于数字孪生的工业园区能量管理方法，基于所述的基于数字孪生的工业园区能量管理系统实现，所述方法包括：

步骤1：构建组成工业园区能量系统的各个能源设备的机理模型；具体包括：

如图1所示，工业园区能量系统包括：电力网络、光伏发电站、直流储能系统、热力网络、热电联产机组、居民负荷、工业负荷；所述工业园区与公共电网相连，向电网购电，园区内部具有光伏发电站，光伏发电站与直流储能系统相连接，在光伏发电量过剩时向储能设备充电，存储能源。

光伏发电站包括太阳能电池阵列和电力电子逆变器。太阳能电池阵列采用光生伏特原理，将太阳能转化成电能，产生的直流电一部分由直流储能系统储存起来，一部分直流电电经电力电子逆变器逆变成交流电，供园区内负荷使用。

建立工业园区能量系统有功功率的平衡约束函数：

P_PV(t)+P_BES(t)+P_grid(t)＝P_load(t)

式中：P_grid(t)为t时刻工业园区向电网购电功率，P_load(t)为t时刻工业园区内的负荷需求量,P_PV(t)为园区内光伏发电站实时发电的有功功率,P_BES(t)为园区内储能系统实时发电的有功功率；

建立工业园区能量系统无功功率的平衡约束函数：

Q_PV(t)+Q_grid(t)＝Q_load(t)

式中：Q_grid(t)为t时刻电网所发无功功率，Q_load(t)为t时刻工业园区内的负荷所需无功功率，Q_PV(t)为t时刻园区内光伏系统所发无功功率；

建立光伏发电站中能源设备运行约束条件：

P_pvmin≤P_PV(t)≤P_pvmax

式中：P_pvmin为光伏发电站的最小出力，P_pvmax为光伏发电站的最大出力，P_PV(t)为园区内光伏发电站实时发电功率；

建立直流储能系统中储能设备电荷量的约束条件：

式中：

为储能设备的最小电荷量，

为储能设备的最大电荷量，SOC_BES(t)为园区内储能设备t时刻所储电荷量；

建立直流储能系统中储能设备功率的约束条件：

式中：

为储能系统最小充放电功率，

为储能系统最大充放电功率，P_BES(t)为工业园区内储能系统t时刻的功率，其中正负代表充设备放电状态。

建立热电联产机组功率的约束条件：

式中：

为热电联产机组在运行时允许的最小电出力；

为热电联产机组在运行时允许的最大电出力；

热电联产机组在运行时允许的最小热出力；

热电联产机组在运行时允许的最大热出力；P_CHP(t)为t时刻热电联产机组的电功率输出值；H_CHP(t)为t时刻热电联产机组的热功率输出值

建立热电联产机组爬坡的约束条件：

式中：

为热电联产机组电出力的爬坡限值；

为热电联产机组热出力的爬坡限值；

建立电力网络的功率模型，其中节点i与节点j之间传递的有功功率P_ij和无功功率Q_ij表述如下：

P_ij＝|V_i||V_j|(G_ijcosθ_ij+B_ijsinθ_ij)

Q_ij＝|V_i||V_j|(G_ijsinθ_ij-B_ijcosθ_ij)

式中，|V_i|和|V_j|表示i和j节点的电压波动；θ_ij表示电压相角差；G_ij表示电力系统线路的电导矩阵；B_ij为电力系统交流网络的电纳矩阵；

建立热力网络的热能模型，从节点i传输到节点j的热功率为：

式中，c_p为水的比热容值；

为水流量，无方向性；T_i ^S为节点i的供水温度；T_g为环境温度；

为节点j的回水管温度；ψ_ij为热传递系数；

步骤2：对工业园区中各个能源设备进行三维建模；

步骤2.1：采用三维建模软件3dsMAX对工业园区能源设备进行建模，根据各个能源设备的物理尺寸构建几何模型；

步骤2.2：将几何模型导入Unity3D软件中进行优化和整合，包括调整单个模型在世界环境中的绝对坐标和整体模型在系统中的相对坐标，并进行贴图设计；

如图2所示，所述数字孪生工业园区模型由多个子模型共同运动而成，需要进行物理实体信息的采集，虚拟模型的搭建。首先获得能源设备的物理信息模型，300W光伏板一般尺寸为1960*990*35mm，本发明采用300W光伏板尺寸进行三维建模，采用Pro/E建立几何模型，将搭建完毕的模型导入Unity3D软件进行优化和整合。主要工作在于调整模型在整体环境中的位置，包括单个模型在世界环境中的绝对坐标和整体模型在系统中的相对坐标，调整完成后还需要进行贴图设计，保证模拟的环境更加接近实体环境。最后在模型文件上编写模型运动脚本，完成整体的功能设计。物体的模型的运动需要遵守客观物理的运动规律，包含最大运转角度、运动方向等。

步骤3：采集各个能源设备的生产过程数据，构建模型的训练样本集；具体包括：当前时间、光照强度、天气温度、光伏系统发电功率、储能系统电池状态、园区内负荷需求量、热电联产机组功率；

在实际的能源系统中，由于数据采集或者数据传输的原因，可能会造成功率数据缺失，对于个别缺失时间点位可以用线性插值的方法处理，而对于以整天形式缺失的时间点位则不予使用。数据预处理的具体步骤如附图5所示。数据预处理过程包括：

步骤1.1：将样本数据值超过认为异常数据进行舍弃；

步骤1.2：将以整天形式缺失的采样时间点对应的数据进行剔除；

步骤1.3：对采样时间点进行线性插值处理；

步骤1.4：针对光照强度、天气温度采用最大最小值归一化方法：

式中：x_min为光照强度或天气温度的最小值，x_max为光照强度或天气温度的最大值。

所述工业园区数据库采用Mysql云端数据库，在MySQL数据库中新建一个数据库，命名为alldata，并且在alldata数据库中建立六张表，分别为储能电池工作状态信息、电网状态信息、光伏系统工作信息、用户负荷信息、热电联产机组信息、天气信息，对应的表名称分别为cell、net、pv、load、chp、weather，并将六张表均设置为主键自增长，用于自动增加记录表的行数。

采集到的数据经过网络层传输并存储在工业园区数据库之中。采用TCP/IP协议的通讯方式，通过Socket将数据进行传输，在Unity3D中使用C#进行编写创建TCP_Client脚本，并挂载在Main Camera物体上，使脚本程序始终处于激活状态，将孪生系统作为客户端，设置好需要连接的服务器IP地址及端口号等参数，将系统中各个参数按照一定格式打包，发送至指定云端服务器。在文本输入框中输入IP地址和端口号，点击创建客户端会开启SocketClient，创建一个以TCP/IP协议发送数据的客户端。断开连接按钮作用为关闭SocketClient，点击发送选择框，Unity3D将光伏电站实时信息发送至数字孪生体和服务器中，云端服务器将数据转发至工业园区能源管理中心，接收到指令后，运检人员按照指令对工业园区进行能量调度和维护。

步骤4：采用人工智能算法构建数据驱动模型用于优化各个能源设备的发电功率，实现运行成本最小时促进光伏的消纳；具体表述为：

所述人工智能算法包括基于深度学习构建的园区系统能量预测模型及基于深度强化学习构建的工业园区能量管理模型。

步骤4.1：采用LSTM神经网络构建基于深度学习的园区系统能量预测模型；

园区系统能量预测模型采用长短期记忆神经网络，对时序特征明显的能量系统中光伏发电量和电热负荷需求量进行预测。

长短期记忆神经网络(LSTM)的结构图如图4所示，包括两层神经网络第一层隐藏层神经元个数为150个，第二层隐藏层神经网络包括200个神经元。采用具有稀疏激活性的ReLU激活函数，可以有效的避免梯度爆炸和梯度消失的问题，为了防止神经网络过拟合采用Dropout方法，在误差的反向传播中对随机选择的一部分权值停止更新。

园区系统能量预测模型的输入包括：当前时间、天气温度、光照强度、光伏发电站上一时刻发电数据、直流储能系统的电池状态、上一时刻园区负荷需求量；输出为预测下一时刻光伏发电数据与园区负荷需求量。

园区系统能量预测模型部署在能量管理系统中的平台层，可以为管理人员提供预测的发电和负荷数据情况，也可以将输出的数据做为基于深度强化学习的工业园区能量管理模型的输入数据。

步骤4.2：采用TD3(Twin Delayed Deep Deterministic Policy Gradient，TD3)算法构建基于深度强化学习的工业园区能量管理模型。

如图3所示，所述TD3算法采用深度强化学习中的评论家-演员框架，为深度深度确定性策略梯度(DDPG)算法的改进算法，能够对能源系统的中连续变量进行控制，可以有效解决在强化学习中离散变量的维数灾难问题，所述TD3算法采用两套Crtic网络对Actor网络进行评分，输出最小的评分，保证价值函数Q值不会被高估，所述TD3算法结构如附图3所示。算法一共由六个深度神经网络构成，由3个主网络和3个目标网络构成，TD3算法训练更新过程与DDPG算法更新过程类似。其中Actor网络通过最大化累积期望回报来更新(确定性策略梯度)，Critic1和Critic2网络都是通过最小化评估值与目标值之间的误差来更新(MSE)，所有的目标网络都采用软更新的方式来更新(Exponential Moving Average,EMA)。首先利用梯度下降算法最小化评估值和目标值之间的误差，对Critic1和Critic2网络中的参数进行更新。在Ctitic1和Critic2网络更新d步之后，启动Actor网络更新，利用Actor网络计算出状态s下的动作。采用梯度上升算法最大化Q值，从而完成对Actor网络的更新。最后对目标网络进行更新，采用软更新方式对目标网络进行更新。引入一个学习率(或者成为动量)，将旧的目标网络参数和新的对应网络参数做加权平均，然后赋值给目标网络。该算法可以有效解决具有无模型、非线性、随机性强等特点的能源系统调度问题。深度强化学习算法采用离线训练的方法，离线训练完成后可以在线应用于数字孪生系能源管理系统。

工业园区能量管理模型的目标为最小化经济成本的同时保证新能源的消纳，减少碳排放。构建目标函数为：

F＝∑(C+f)

式中：C为系统运行各项成本函数，f为光伏发电设备弃光惩罚项。

所述系统中各个设备成本函数C为：

C＝C_grid+C_PV+C_BES+C_CHP

式中：C_grid为本工业园区向外界公共电网购电所花成本，C_PV为园区内光伏发电站运行成本，C_BES为园区内储能设备运行成本，C_CHP为园区内热电联产设备运行成本。

向公共电网购电成本表示如下：

C_grid＝λ_tP_grid(t)

式中：λ_t为t时刻电网电价。

将所述工业园区能量管理问题描述为马尔可夫决策过程，在t时刻工业园区能量系统可以观测到的状态为当前时间t、此时电价、光伏发电功率、储能设备电荷量和此时园区内所需负荷。将工业园区能量系统当前t时刻的电价、光伏发电站的有功功率、直流储能系统的电荷量、负荷需求量作为状态空间：定义其状态空间为：

S_t＝{t,λ_t,P_PV(t),P_load(t),SOC_BES(t)，H_load(t)}

式中，H_load(t)为园区中热负荷需求量。

马尔可夫决策过程动作值函数为：

q_π(s,a)＝E_π[G_t∣S_t＝s,A_t＝a]

式中：s为当前状态，a为系统做出动作。

动作空间为光伏系统向园区负荷供电功率、园区购电功率、光伏系统向储能设备供电功率，以及储能设备发电功率。具体表述如下：

a_t＝{P_pv，load(t),P_pv,bes(t),P_BES(t),P_grid(t),H_chp(t)}

式中：P_pv，load(t)为光伏系统向园区负荷供电功率，P_pv,bes(t)为光伏系统向储能设备供电功率，H_chp(t)为热电联产机组t时刻的发热功率。

奖励函数定义为工业园区能量管理问题目标函数的倒数，表述为：

r_t＝K₁(1/F)

式中：K₁为权重系数，在本发明中取0.1。

利用采集和处理好的数据对本发明中的基于LSTM预测模型和基于TD3调度模型进行训练，具体表述为：

1)对LSTM预测模型进行训练：

设置LSTM神经网络学习率为0.001，Loss函数采用Mse均方误差值。将数据集分为训练集和验证集。其中训练集占比百分之七十。LSTM模型的训练过程如附图6所示，在训练过程中，从训练集中取出所需数据代入LSTM计算，得到输出值.通过损失函数计算损失值和权重梯度，优化网络参数.重复以上的计算和更新步骤，直至所有训练数据完成.

2)对TD3调度模型进行训练：

随机初始化Crtic网络1，Crtic网络2和Actor网络，同时随机初始化目标值网络。每次迭代从数据中抽取四元组(S_t,a_t,r_t,S_t+1),让Actor目标网络做出策略动作。将S_t+1输入Actor目标网络使其做出的动作，让两个Crtic目标网络输出Q值进行评价。根据两个Crtic目标网络输出的Q值计算TD值：

式中：

与

分别为两个Crtic目标网络输出的Q值，γ为折扣系数。

随后让两个Crtic网络根据输入S_t,a_t进行预测：

式中：w_1,now与w_2,now为两个Crtic神经网络参数。

计算TD误差值：

随后根据所求TD误差值跟新Ctirc网络参数，重复以上的计算和更新步骤，直至所有训练数据完成。

人工智能模型训练结束后，LSTM预测模型可以输出预测的未来光伏系统发电功率和园区负荷需求量，基于TD3的调度算法可以给出根据当前工业园区内各个设备的能源情况给出调度策略，以便管理人员实时对园区内能源设备进行管理优化。

步骤5：将机理模型生成的仿真数据作为训练后的数据模型的样本输入数据，搭建数据驱动模型得到数字孪生系统，将训练好的TD3算法模型应用于数字孪生能量管理系统中。感知层会收集园区内各个能源设备的信息，由网络层将数据传输并存储在服务器中，由平台层中的TD3算法模型根据t时刻工业园区内各个能源设备的输出数据，形成最优的调度策略，并将能量调度策略输出到应用层。调度人员可以根据TD3算法输出的调度策略对工业园区进行能量管理。通过数据孪生系统实现虚拟空间对物理空间的响应。

所述基于深度强化学习的工业园区能量管理模型部署在能量管理系统的应用层，管理人员可以通过TD3算法输出的最优解作为调度策略，实现运行成本最小的情况下促进新能源的消纳。

本发明公开了基于数字孪生的工业园区能量管理系统通过三维图形引擎、unity3D建模、人工智能算法、大数据等技术，在数字空间构建一座与实际物理工业园区一样的虚拟模型，实现能源设备的全息仿真、动态监测，推动电力系统全要素数字化、虚拟化、全状态实时可视化，对工业园区中的能源设备状态全感知、实时能量调度管理，进一步提升能量系统的数字化、精细化管理水平和智能决策能力。

Claims (8)

1.一种基于数字孪生的工业园区能量管理系统，其特征在于，包括感知层、网络层、平台层、应用层；

所述感知层用于采集工业园区中各个能源设备的生产过程数据；

所述感知层用于采集、传输、汇聚信息数据；

所述网络层用于提供数据传输通道；

所述平台层用于构建工业园区中的数据驱动与机理模型，采用人工智能算法对光伏发电历史运行数据和园区内负荷历史运行数据进行拟合，生成对园区内光伏发电站的总功率和未来负荷需求量的预测数据；

所述应用层用于根据生成的预测数据实现虚拟空间对物理空间的响应。

2.根据权利要求1所述的一种基于数字孪生的工业园区能量管理系统，其特征在于，

所述生产过程数据包括当前时间、光照强度、天气温度、光伏发电站发电功率、直流储能系统电池状态、园区内负荷需求量、热电联产机组功率。

3.根据权利要求1所述的一种基于数字孪生的工业园区能量管理系统，其特征在于，

所述感知层包括物联网传感器、网络节点；

所述网络层包括电力无线专网、电力光纤网。

4.一种基于数字孪生的工业园区能量管理方法，基于所述的基于数字孪生的工业园区能量管理系统实现，其特征在于，所述方法包括：

步骤1：构建组成工业园区能量系统的各个能源设备的机理模型；

步骤2：对工业园区中各个能源设备进行三维建模；

步骤3：采集各个能源设备的生产过程数据，构建模型的训练样本集；

步骤4：采用人工智能算法构建数据驱动模型用于优化各个能源设备的发电功率，实现运行成本最小时促进光伏的消纳；

步骤5：将机理模型生成的仿真数据作为训练后的数据模型的样本输入数据，将训练好的TD3算法模型应用于数字孪生系统用于能量管理。

5.根据权利要求4所述的一种基于数字孪生的工业园区能量管理方法，其特征在于，所述步骤1包括：

建立工业园区能量系统有功功率的平衡约束函数：

P_PV(t)+P_BES(t)+P_grid(t)＝P_load(t)

式中：P_grid(t)为t时刻工业园区向电网购电功率，P_load(t)为t时刻工业园区内的负荷需求量,P_PV(t)为园区内光伏发电站实时发电的有功功率,P_BES(t)为园区内储能系统实时发电的有功功率；

建立工业园区能量系统无功功率的平衡约束函数：

Q_PV(t)+Q_grid(t)＝Q_load(t)

式中：Q_grid(t)为t时刻电网所发无功功率，Q_load(t)为t时刻工业园区内的负荷所需无功功率，Q_PV(t)为t时刻园区内光伏系统所发无功功率；

建立光伏发电站中能源设备运行约束条件：

P_pvmin≤P_PV(t)≤P_pvmax

式中：P_pvmin为光伏发电站的最小出力，P_pvmax为光伏发电站的最大出力，P_PV(t)为园区内光伏发电站实时发电功率；

建立直流储能系统中储能设备电荷量的约束条件：

式中：

为储能设备的最小电荷量，

为储能设备的最大电荷量，SOC_BES(t)为园区内储能设备t时刻所储电荷量；

建立直流储能系统中储能设备功率的约束条件：

式中：

为储能系统最小充放电功率，

为储能系统最大充放电功率，P_BES(t)为工业园区内储能系统t时刻的功率，其中正负代表充设备放电状态；

建立热电联产机组功率的约束条件：

式中：

为热电联产机组在运行时允许的最小电出力；

为热电联产机组在运行时允许的最大电出力；

热电联产机组在运行时允许的最小热出力；

热电联产机组在运行时允许的最大热出力；P_CHP(t)为t时刻热电联产机组的电功率输出值；H_CHP(t)为t时刻热电联产机组的热功率输出值；

建立热电联产机组爬坡的约束条件：

式中：

为热电联产机组电出力的爬坡限值；

为热电联产机组热出力的爬坡限值；

建立电力网络的功率模型，其中节点i与节点j之间传递的有功功率P_ij和无功功率Q_ij表述如下：

P_ij＝|V_i||V_j|(G_ijcosθ_ij+B_ijsinθ_ij)

Q_ij＝|V_i||V_j|(G_ijsinθ_ij-B_ijcosθ_ij)

式中，|V_i|和|V_j|表示i和j节点的电压波动；θ_ij表示电压相角差；G_ij表示电力系统线路的电导矩阵；B_ij为电力系统交流网络的电纳矩阵；

建立热力网络的热能模型，从节点i传输到节点j的热功率为：

式中，c_p为水的比热容值；

为水流量，无方向性；T_i ^S为节点i的供水温度；T_g为环境温度；

为节点j的回水管温度；ψ_ij为热传递系数。

6.根据权利要求4所述的一种基于数字孪生的工业园区能量管理方法，其特征在于，所述步骤4包括基于深度学习构建的园区系统能量预测模型、基于深度强化学习构建的工业园区能量管理模型。

7.根据权利要求6所述的一种基于数字孪生的工业园区能量管理方法，其特征在于，所述园区系统能量预测模型采用LSTM神经网络构建，模型输入包括当前时间、天气温度、光照强度、光伏发电站上一时刻发电数据、直流储能系统的电池状态、上一时刻园区负荷需求量；模型输出为预测下一时刻光伏发电数据与园区负荷需求量。

8.根据权利要求6所述的一种基于数字孪生的工业园区能量管理方法，其特征在于，所述工业园区能量管理模型采用TD3算法构建，具体过程如下：

奖励函数r_t定义为工业园区能量管理问题目标函数F的倒数：

r_t＝K₁(1/F)

式中：K₁为权重系数；

所述目标函数F为：

F＝∑(C+f)

C＝C_grid+C_PV+C_BES+C_CHP

C_grid＝λ_tP_grid(t)

式中，C为系统运行各项成本函数，f为光伏发电设备弃光惩罚项，C_grid为本工业园区向外界公共电网购电所花成本，C_PV为园区内光伏发电站运行成本，C_BES为园区内储能设备运行成本，C_CHP为园区内热电联产设备运行成本，λ_t为t时刻电网电价，P_grid(t)为t时刻工业园区向电网购电功率；

将当前t时刻的电价、光伏发电站的有功功率、直流储能系统的电荷量、负荷需求量作为状态空间；

动作空间为光伏发电站向园区负荷供电功率、园区购电功率、光伏系统向储能设备供电功率，以及储能设备发电功率。

Images