CN117613919B - 一种工商业园区用电峰谷差智能控制方法 - Google Patents

一种工商业园区用电峰谷差智能控制方法 Download PDF

Info

Publication number
CN117613919B
CN117613919B CN202311582460.5A CN202311582460A CN117613919B CN 117613919 B CN117613919 B CN 117613919B CN 202311582460 A CN202311582460 A CN 202311582460A CN 117613919 B CN117613919 B CN 117613919B
Authority
CN
China
Prior art keywords
peak
power
park
agent
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311582460.5A
Other languages
English (en)
Other versions
CN117613919A (zh
Inventor
兰图
刁瑞盛
逯帅
张纲
孙方圆
曾睿原
王安琪
斯琴卓娅
孟达
吴春燕
丁忠祥
刘嘉馨
陈新博
包明洋
付玉敏
谢洹
程晗
刘展宁
许欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huamao Nenglian Technology Co ltd
Zhejiang University ZJU
Original Assignee
Shenzhen Huamao Nenglian Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huamao Nenglian Technology Co ltd, Zhejiang University ZJU filed Critical Shenzhen Huamao Nenglian Technology Co ltd
Priority to CN202311582460.5A priority Critical patent/CN117613919B/zh
Publication of CN117613919A publication Critical patent/CN117613919A/zh
Application granted granted Critical
Publication of CN117613919B publication Critical patent/CN117613919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003Load forecast, e.g. methods or systems for forecasting future load demand
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144Demand-response operation of the power transmission or distribution network
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381Dispersed generators
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48Controlling the sharing of the in-phase component
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/50Controlling the sharing of the out-of-phase component
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20The dispersed energy generation being of renewable origin
    • H02J2300/22The renewable source being solar energy
    • H02J2300/24The renewable source being solar energy of photovoltaic origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Power Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种工商业园区用电峰谷差智能控制方法,包括:(1)构建工商业园区用电峰谷差的控制目标及约束条件;(2)构建用于实时控制的简化数学模型;(3)将在一个场景中控制园区中的可控负荷以达到控制目标的连续决策过程建模为一个马尔科夫决策过程,定义状态空间和动作空间,并设计即时奖励函数;(4)基于日前负荷预测曲线,叠加预测误差概率分布模型,采样生成智能体训练和测试数据集;(5)采用近端策略优化方法对强化学习智能体进行分布式训练;(6)将训练完的强化学习智能体用于园区用电峰谷差在线智能控制。利用本发明,可实现强化学习智能体闭环自主训练、更新和在线实时控制,能有效降低工商业园区用电峰谷差和波动性。

Description

一种工商业园区用电峰谷差智能控制方法
技术领域
本发明属于电网调度控制领域,尤其是涉及一种工商业园区用电峰谷差智能控制方法。
背景技术
高占比新能源发电并网,其波动性、间歇性和不确定性对新型电力系统的安全稳定经济运行带来巨大挑战,对电网调度控制提出了更高要求。其中大量分布式可再生能源接入工商业园区电网,使得园区用电特性变得愈发复杂。在工商业园区中,降低用电峰谷差是缓解电网运行压力和提高电网经济运行效率的重要策略,包括削减用电高峰时期的净负荷需求和在用电低谷时期储存过剩能量。通过控制电池储能系统降低峰谷差是目前一种常用且具有前景的手段,因其具有灵活性、高充放转换效率和较低的地理限制。
公开号为CN116780627A的中国专利文献公开了一种建筑园区内的微电网调控方法;该方法包括基于建筑园区内微电网的应用场景,构建含有多种可调度资源的用户模型;设定日前规划模型,基于可再生能源的预测信息,确立建筑园区内微电网内部的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作,获取建筑园区内微电网与电力市场的能量交易曲线;设定实时调控模型,基于可再生能源发电预测的偏差,以维持所述能量交易曲线的稳定为目标,获取储能系统以及可控发电机的实时动作策略,响应可再生能源预测与实际发电的偏差。
公开号为CN113393126A的中国专利文献公开了一种高耗能园区与电网交替并行协同优化调度方法,包括以下步骤:①建立常规发电机组、分布式电源、储能及其他设备的出力模型及负荷预测模型;②分别对园区侧电、热负荷及光伏出力及电网侧风力发电机组进行日前预测;③建立园区综合能源系统群与电网分解协同优化框架;④建立考虑网络安全约束的高耗能园区综合能源系统与电网并行分解协同优化调度模型;⑤建立基于并行交替方向乘子法的求解流程;⑥建立高耗能园区综合能源系统与电网并行分解协同优化调度Matlab平台求解互动流程。
现有方法对保持微电网负荷曲线的稳定性有一定的提升,但是由于新能源发电和用电负荷不确定性,现有模型训练及部署时间长,且控制效果也有进一步提升的空间。
发明内容
为了有效应对新能源发电和用电负荷不确定性和园区可控资源的易变性,本发明提供了一种工商业园区用电峰谷差智能控制方法,可以实现智能体闭环自主训练、更新和在线实时运行控制。
一种工商业园区用电峰谷差智能控制方法,包括以下步骤:
(1)构建工商业园区用电峰谷差的控制目标及约束条件;其中,主要目标为减少园区一个场景中每天的总净负荷峰谷差,次要目标为降低总负荷曲线的波动性;
(2)构建用于实时控制的简化数学模型,聚合具有相同特性的可控设备;
(3)将在一个场景中控制园区中的可控负荷以达到控制目标的连续决策过程建模为一个马尔科夫决策过程,定义其状态空间和动作空间,并设置智能体训练的奖励函数机制,使得智能体在训练的过程中,每个时间点都能获得即时奖励值;
(4)基于日前负荷预测曲线,叠加预测误差概率分布模型,采样生成智能体训练和测试数据集;
(5)采用近端策略优化方法作为强化学习智能体的策略优化迭代方法,对强化学习智能体进行分布式训练;
(6)将训练完的强化学习智能体用于园区用电峰谷差智能实时控制。智能体生成总策略后,基于当前各工厂各类设备的可调能力的权重,将策略分配到各工厂,再由综合能源管理系统(iEMS)将策略分配到各独立设备并执行。
步骤(1)中,所述的控制目标为:
其中,t表示场景中的时间点,t∈{1,2,…N},N是场景总时间点个数,是园区储能设备的集合,/>是园区其他可调负荷的集合。Pt表示t时刻控制后的净负荷有功,其计算方法见公式(1.2),/>是t时刻的净负荷预测有功值,/>表示第i个储能的t时刻有功,表示放电功率,/>表示充电功率,/>表示第i个储能的充放功率,/>表示第j个可调负荷在t时刻上调或下调的功率;σw是移动窗口的平均标准差,此项用来表征净负荷曲线的波动性,其计算方式见公式(1.3)。其中,w和g分别表示移动窗口的大小和移动步长,Nw为移动窗口的总个数,Pmean是控制后净负荷曲线的平均值。
所述约束条件为:
其中,公式(2.1)、(2.2)表征电力系统模型的动态潮流平衡,要求系统在任意时刻满足这两个潮流方程,,和/>表示注入节点i的有功和无功,/>和/>表示在节点i消耗的有功和无功,gij和bij是线路ij的电导和电纳,θij是节点i和j之间的电压相角差,/>为系统中所有的节点集合;公式(2.3)-(2.5)描述了可控储能设备的约束条件,SOCt,i和/>分别表示储能设备i在t时刻的电量和有功功率,/>和/>分别表示储能设备i的最大放电和充电功率;公式(2.6)-(2.8)描述了其他类型可控负荷的约束条件,/>表示t时刻负荷j的有功功率,/>为容量,r表示一个时间步内最大可调节有功与容量的比例。
将步骤(1)构建的控制目标及约束条件简化,得到步骤(2)中的简化数学模型,简化数学模型为:
其中,是园区可调设备类型的集合,包括储能、空调、照明、充电站和产线;储能外的其他类型设备也与储能整合为同一模型(假设其具有储存能量的能力)。Et,i和/>分别表示设备类型i在t时刻的总电量和充放电功率之和,Et,i的单位为kW·δ,/>是设备类型i的总容量,/>和/>分别表示设备类型i的总最小能量和总最大充放功率。
步骤(3)中,马尔科夫决策过程中可观测的状态空间定义为:
其中,t为时间点,为t时刻的超短期净负荷预测,/>和/>分别表示截止当前时刻净负荷的最大值和最小值,Et是t时刻各类型设备的总电量,/>和/>分别表示t时刻各类型设备的功率最大可上调能力和最大可下调能力。
步骤(3)中,马尔科夫决策过程中动作空间定义为:
其中,为设备类型i的连续动作空间。
步骤(3)中,奖励函数定义如下:
当处于用电量峰区间或谷区间时,智能体获得的即时奖励值为当处于峰谷区间之外时,即时奖励值为/> 表示峰区间的时间点集合,/>表示谷区间的时间点集合。
其中,和/>分别表示在智能体控制后的目标净负荷峰值和目标净负荷谷值;和/>分别表示园区各类可调设备在单个时间步内的最大可下调功率之和以及最大可上调功率之和,/>系数c的取值范围是[0.8,1.0];/>为通过移动平均法计算出的用电曲线,w为移动窗口的大小。
步骤(4)中,智能体训练和测试数据集生成方式如下:
其中是园区中所有负荷(含用电负荷、分布式光伏)的集合,∈i,t表示负荷i在t时刻的日前预测误差,其采样于正态分布/>分别对每个时刻t进行采样,并叠加所有负荷,得到一个场景的推演数据/>其中/>
步骤(5)中,近端策略优化方法如下:
其中,L(st,atk,θ)为需要最大化的目标函数,st是t时刻的观测,at是t时刻的控制动作,θk是更新前的学习模型参数,θ是当前采样模型的参数,表示优势奖励值函数,由即时奖励值rt和状态估计值Ct计算得出,∈为核心的截断系数,取值范围是[0.1,0.3];核心在于将目标函数中使用到的新旧策略比例限制在1±∈。
对强化学习智能体进行分布式训练具体如下:
将N个智能体模型的复制作为采样工人分布到N个CPU线程,且在每个线程中单独分配1个潮流求解器用作独立的潮流计算;在一个训练周期中,每个采样工人同步独立采样,当样本数量达到设定值后,整合传给学习者模型,学习者利用该批样本进行多次训练迭代,并在学习完成后将更新后的模型参数传给采样工人进行参数替换。
步骤(6)的具体过程为:
在每个决策时间点t,数字孪生体将4小时负荷预测发送给强化学习智能体,园区综合能源管理系统实时反馈各工厂各类型可调设备的总最大功率上调能力/>总最大功率下调能力/>和当前总电量Et。基于以上输入,智能体的决策神经网络输出针对园区的总净负荷进行调控的总策略at,然后根据各工厂的可调节能力的权重将总策略分配到各工厂。数字孪生体首先对工厂级策略进行仿真计算,如果潮流收敛,则将策略发送给园区综合能源管理系统,最后由园区综合能源管理系统将各工厂的调节目标进行拆分并下发到各设备;如果潮流不收敛,则决策不下发执行。
与现有技术相比,本发明具有以下有益效果:
1、本发明采用分布式近端策略优化强化学习算法,采用多线程采样,且通过奖励函数的优化设计和参数调优,将此任务的收敛所用周期数大幅度降低,现场部署的智能体所需训练时间从最初的48小时降低到了9小时,达到了每日训练且日前部署更新模型的目标;完成训练的智能体决策响应速率为毫秒级,相比传统优化算法计算速度更快。
2、本发明中,使用了考虑到日前负荷预测不确定性的推演数据训练强化学习智能体,使得智能体更具有应对预测误差的泛化性;智能体使用4小时超短期负荷预测作为输入,使得智能体具有生成考虑到实时负荷动态变化的策略的在线控制能力。
3、本发明中提出的简化数学模型使得智能体的观测空间和控制空间的维度能够保持恒定,不随网络结构和可控设备的数量和参数的变化而改变。因此,训练完成的智能体可以长时间迭代,且极易维护和迁移。
4、本发明中,智能体的在线运行具有高稳定性和安全性:当系统中各层级发生了结构或设备的临时变化,智能体的实时决策下发不会受到影响。例如工厂或设备接入或移出时,智能体和园区能源管理系统iEMS仍然能够按照实时的可调能力权重分配下发策略。智能体的决策在下发前均进行了潮流计算以确保园区电网的安全稳定。
附图说明
图1为本发明中智能体分布式训练和在线运行策略下发整体架构示意图;
图2为本发明中智能体训练流程示意图;
图3为本发明30天在线训练过程中园区A和园区B训练测试评分统计图;
图4为本发明在线训练园区A测试样例;
图5为本发明在线训练园区B测试样例。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述,需要指出的是,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
本发明的方法以减少园区一个场景(一天)中的总净负荷峰谷差为主要目标,降低总负荷曲线的波动性为次要目标,如公式(1)所示。
控制目标:
其中,t表示场景中的时间点,t∈{1,2,…N},N是场景总时间点个数,是园区储能设备的集合,/>是园区其他可调负荷的集合。Pt表示t时刻控制后的净负荷有功,其计算方法见公式(1.2),/>是t时刻的净负荷预测有功值,/>表示第i个储能的t时刻有功,表示放电功率,/>表示充电功率,/>表示第i个储能的充放功率,/>表示第j个可调负荷在t时刻上调或下调的功率;σw是移动窗口的平均标准差,此项用来表征净负荷曲线的波动性,其计算方式见公式(1.3)。其中,w和g分别表示移动窗口的大小和移动步长,Nw为移动窗口的总个数,Pmean是控制后净负荷曲线的平均值。
满足以下约束条件:
其中,公式(2.1)、(2.2)表征电力系统模型的动态潮流平衡,要求系统在任意时刻满足这两个潮流方程,,和/>表示注入节点i的有功和无功,/>和/>表示在节点i消耗的有功和无功,gij和bij是线路ij的电导和电纳,θij是节点i和j之间的电压相角差,/>为系统中所有的节点集合;公式(2.3)-(2.5)描述了可控储能设备的约束条件,SOCt,i和/>分别表示储能设备i在t时刻的电量和有功功率,/>和/>分别表示储能设备i的最大放电和充电功率;公式(2.6)-(2.8)描述了其他类型可控负荷的约束条件,/>表示t时刻负荷j的有功功率,/>为容量,r表示一个时间步内最大可调节有功与容量的比例。
上述数学模型中控制变量和约束变量的维度随可控设备数量的增加而增加,对于一个拥有大量分布式可控设备的园区,此问题的求解速度会受限;并且对于设备易变的实际系统,该模型的维护成本较高。因此,本发明提出以下利于实际系统中实时控制的简化模型:
其中,是园区可调设备类型的集合,包括储能、空调、照明、充电站和产线;储能外的其他类型设备也与储能整合为同一模型(假设其具有储存能量的能力)。Et,i和/>分别表示设备类型i在t时刻的总电量和充放电功率之和,Et,i的单位为kW·δ,/>是设备类型i的总容量,/>和/>分别表示设备类型i的总最小能量和总最大充放功率。
将在一个场景中控制园区中的可控负荷以达到目标(1.1)的连续决策过程建模为一个马尔科夫决策过程(MDP),此MDP由以下核心要素组成,包括状态空间(表1)、动作空间(表2)和奖励函数。
表1状态空间
表2动作空间
本发明中,奖励函数的设计是保证智能体训练效果和实际运行表现的重要因素。在原目标函数(1)中,每一项均需要场景的全局信息才能计算得到结果,因此无法在场景中每个时间节点直接计算出控制动作得到的即时奖励值,只有在场景结束后才能计算得到单个全局奖励值。使用极稀疏奖励值训练模型的速度慢、效率低,并且探索难度极高,模型容易早期收敛到不好的局部解。基于上述原因,作者设计了一套奖励函数机制,使得模型在训练的过程中,每个时间点都能获得即时奖励值,该奖励值间接引导模型实现目标函数(1)中描述的场景全局目标。奖励函数定义如下:
如式(4.1)所示,当处于用电量峰区间或谷区间时,智能体获得的即时奖励值为当处于峰谷区间之外时,即时奖励值为/> 表示峰区间的时间点集合,/> 表示谷区间的时间点集合。
式(4.2)中,和/>分别表示在智能体控制后的目标净负荷峰值和目标净负荷谷值;/>和/>分别表示园区各类可调设备在单个时间步内的最大可下调功率之和以及最大可上调功率之和,/> 整式的设计目的为引导智能体在峰区间控制可调负荷大幅度下调功率以削峰,趋近于设定好的峰值线,在谷区间控制可调负荷大幅度上调功率以填谷,趋近于设计好的谷值线。Exp函数的使用目的为增加惩罚梯度;式(4.4)定义了当控制后净负荷位于峰谷区间之外时,智能体获得的即时奖励值/>当控制后净负荷/>或/>时,智能体会获得较大的惩罚值,其他情况下智能体获得的奖励值/>见式(4.6),会引导控制后用电曲线趋近于通过移动平均法计算出的用电曲线见式(4.7),以此降低用电曲线的波动性并增加平滑度,其中w为移动窗口的大小。
考虑到策略优化的控制维度和计算效率,且观测空间和控制空间均为连续空间,作者在本问题中采用近端策略优化(Proximal Policy Optimization,PPO)作为强化学习智能体的策略优化迭代算法。此算法具有以下几点优势:1)约束了单次更新的梯度,使得算法更加稳定且更容易收敛到较优策略;2)控制空间可以是连续型或离散型,利于后续拓展混合型控制;3)可以进行多线程分布式采样,大幅度增加智能体训练效率。
PPO算法的策略迭代方法如下:
其中,L(st,atk,θ)为需要最大化的目标函数,st是t时刻的观测,at是t时刻的控制动作,θk是更新前的学习模型参数,θ是当前采样模型的参数,表示优势奖励值函数,由即时奖励值rt和状态估计值Vt计算得出,∈为核心的截断系数,常用的取值范围是[0.1,0.3]。此截断式PPO的核心在于将目标函数中使用到的新旧策略比例限制在1±∈。
因为需要进行潮流计算,其所需时间较长,若使用传统单线程采样,则智能体需要巨量的时间才能训练收敛,所以采用分布式PPO训练方法,其架构如图1中(b)所示。
此方法的核心为将N个模型的复制作为采样工人分布到N个CPU线程,且在每个线程中单独分配1个潮流求解器用作独立的潮流计算。在一个训练周期中,每个采样工人同步独立采样,当样本数量达到设定值后,整合传给学习者模型,学习者利用该批样本进行多次训练迭代,并在学习完成后将更新后的模型参数传给采样工人进行参数替换。简要的分布式PPO算法流程伪代码如下表3中所示。
表3分布式PPO算法流程伪代码
强化学习智能体训练流程
针对工业园区的应用场景,本发明设计了一套完整的可闭环运行的训练方和流程,单次训练的流程如图2所示,包含以下核心步骤:
1)智能体训练初始化配置,详见表4。
2)按照设定训练场景数,完成选定园区的智能体训练及训练过程中的模型验证和取优存储;若使用推演数据训练,则按需求采样生成目标数量的推演数据;若有多个园区,则多园区并行训练。
3)训练完成后,使用测试数据评估模型表现。
4)若新模型评估达标,则存储模型并替换部署模型,否则沿用上一代模型。
表4智能体训练初始化配置参数
推演数据集生成方式如下:
其中是园区中所有负荷(含用电负荷、分布式光伏)的集合,∈i,t表示负荷i在t时刻的日前预测误差,其采样于正态分布/>分别对每个时刻t进行采样,并叠加所有负荷,得到一个场景的推演数据/>其中/>
本发明提出的训练流程和多种初始化配置具有以下特点和优势:
1)智能体即时动态建模:智能体在训练前直接通过数据底座读取设备台账表,以获得园区中所有可调设备的设备参数。整套参数直接决定强化学习的状态空间的维度、控制空间的维度和范围,智能体基于此参数自动生成神经网络的输入输出层并完成初始化。
2)智能体无需历史数据:当园区历史数据数量和质量较差时,智能体无需预训练,可以使用基于日前预测推演出的数据直接进行训练,训练完成后便可部署在线运行。并且推演数据集考虑到了日前负荷预测的误差,使得智能体具有更强的泛化性以应对预测的不确定性。
3)智能体快速训练和迭代更新:分布式近端策略优化算法的训练架构(图1)使得智能体训练可以在9小时之内完成训练并直接部署。智能体每天可以基于新数据继续训练、迭代更新。
4)智能体的高拓展性和便捷性:基于以上,新园区扩展十分快速和便捷,程序可自动完成初始化适配和训练,且支持多园区并行训练。
5)智能体的安全性:训练过程中包含潮流计算和约束条件的安全验证,训练中有过程模型的测试验证,训练结束后会对最终模型进行测试和评估,评估达标后才会更新部署模型。
实时运行逻辑
将智能体的训练流程和实时在线决策部署到实际园区时,面临如何将决策下发与执行的问题。本发明设计的在线运行策略下发架构和数据流如图1中(c)所示,在每个决策时间点t,数字孪生体将4小时负荷预测发送给强化学习智能体,园区综合能源管理系统实时反馈各工厂各类型可调设备的总最大功率上调能力/>总最大功率下调能力和当前总电量Et。基于以上输入,智能体的决策神经网络输出针对园区的总净负荷进行调控的总策略at,然后根据各工厂的可调节能力的权重将总策略分配到各工厂。数字孪生体首先对工厂级策略进行仿真计算,如果潮流收敛,则将策略发送给园区综合能源管理系统,最后由园区综合能源管理系统将各工厂的调节目标进行拆分并下发到各设备;如果潮流不收敛,则决策不下发执行。此架构具有以下特点和优势:
1)智能体的建模和训练具有高兼容性、可拓展性和易实施性:智能体以各类型的可调设备为整体进行建模,结合以整体策略按权重和层级分配下发的方式,当园区网络架构发生变化时,智能体的神经网络模型不需要重新建模;当新的可调设备需要接入或旧设备需要移出时,智能体只需要根据维护计划获取新的设备台账表,修改参数后基于上一代模型进行再训练,一天之内便可以更新模型完成维护。
2)智能体的在线运行具有高稳定性和安全性:当系统中各层级发生了结构或设备的临时变化,智能体的实时决策下发不会受到影响。例如工厂或设备接入或移出时,智能体和iEMS仍然能够按照实时的可调能力权重分配下发策略。智能体的决策在下发前均进行了潮流计算以确保园区电网的安全稳定。
智能体评估标准
1)场景峰谷差降低百分比
其中,为日前预测净负荷曲线峰谷差,Dep=Pmax-Pmin为控制后净负荷曲线峰谷差。
2)场景移动窗口标准差降低百分比
其中,表示日前预测净负荷曲线所有移动窗口的标准差的平均值,w为移动窗口大小,g为移动步长;σw表示控制后净负荷曲线所有移动窗口的标准差的平均值,见式(1.3)。
下面以A、B两个园区为例,对本发明的效果进行验证。
实验设置
本发明中的强化学习智能体训练和在线决策模块均通过Python开发实现,程序封装成动态库后,以微服务形式部署在A、B两个园区,进行了连续30天的闭环运行。智能体在每日中午12时获取由日前负荷预测曲线推演出的训练和测试数据集并开始训练,训练和测试总时长约9个小时,于晚上9点完成训练和测试,并部署到次日的在线决策系统中。园区A和B的可调设备参数如下表5所示。
表5园区A和B设备参数
园区A和B的共用训练参数如下表6所示
表6园区A和B训练参数
/>
实验结果
在园区A,30天的在线训练测试评分统计结果如下表7所示。每日训练的智能体均能够有效降低净负荷曲线峰谷差和波动性,在30天中,平均每天能够降低峰谷差6.82%和降低移动窗口标准差6.19%。
表7园区A在线训练测试评分统计
在园区B,30天的训练测试评分平均值统计如下表8所示。每日训练的智能体均能够有效降低净负荷曲线峰谷差和波动性,在30天中,平均每天能够降低峰谷差19.23%和降低移动窗口标准差16.95%。
表8园区B在线训练测试评分统计
园区A和B的测试结果对比统计图如图3所示,园区B的智能体削减净负荷峰谷差和波动性的百分比数值高于园区A,其原因是园区B的可调设备总容量,总最大充放(调节)功率,和总最大充放(调节)功率与控制前平均峰谷差的比值均高于园区A。此外,园区B的测试结果方差远高于园区A,其原因是在测试的30天中,园区B的控前峰谷差的方差远高于园区A。
园区A的测试样例见图4,园区B的测试样例见图5。结果显示,训练好的智能体能够通过控制各类可调负荷有效地进行削峰和填谷,并且在部分局部峰区间和局部谷区间能够合理地调节负荷,此策略能够有效提高智能体在全局峰区间和谷区间的调节能力,同时也能在一定程度上减小负荷曲线的波动。
本发明提出了一种工商业园区用电峰谷差智能控制方法,该方法具有以下特点和优势:
1)基于近端策略优化算法的强化学习智能体训练架构
a)使用考虑了日前负荷预测误差的推演数据集训练智能体,使得智能体具有更强的泛化性以应对预测的不确定性。
b)分布式的训练架构,奖励函数的优化设计和参数调优,大幅度降低了智能体训练所需时间。现场部署的智能体所需训练时间从最初的48小时降低到了9小时,达到了每日训练且日前部署更新模型的目标。
c)完成训练的智能体决策响应速率为毫秒级,相比传统优化算法计算速度更快。
d)新园区扩展十分快速和便捷,程序可自动完成初始化适配和训练,且支持多园区并行训练。
e)智能体的安全性:训练过程中包含潮流计算和约束条件的安全验证,训练中有过程模型的测试验证,训练结束后会对最终模型进行测试和评估,评估达标后才会更新部署模型。
2)智能体在线运行架构
a)智能体实现闭环自运行,能自主完成模型初始化,模型训练,训练过程中验证并取优存储模型,模型测试和评估,自动储存和部署评估合格的模型,和已部署的模型自动完成决策生成和决策下发这整套完整的流程。
b)智能体的建模和训练具有高兼容性、可拓展性和易实施性:智能体以各类型的可调设备为整体进行建模,结合以整体策略按权重和层级分配下发的方式,当园区网络架构发生变化时,智能体的神经网络模型不需要重新建模;当新的可调设备需要接入或旧设备需要移出时,智能体只需要根据维护计划获取新的设备台账表,修改参数后基于上一代模型进行再训练,一天之内便可以更新模型完成维护。
c)智能体的在线运行具有高稳定性和安全性:当系统中各层级发生了结构或设备的临时变化,智能体的实时决策下发不会受到影响。例如工厂或设备接入或移出时,智能体和iEMS仍然能够按照实时的可调能力权重分配下发策略。智能体的决策在下发前均进行了潮流计算以确保园区电网的安全稳定。
智能体部署在园区A和园区B完成了持续一个月的闭环自运行,验证了整套训练和在线运行的流程和方法的可靠性。训练测试的结果也验证了作者提出的控制方法的有效性。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换,均应包含在本发明的保护范围之内。

Claims (9)

1.一种工商业园区用电峰谷差智能控制方法,其特征在于,包括以下步骤:
(1)构建工商业园区用电峰谷差的控制目标及约束条件;其中,主要目标为减少园区一个场景中每天的总净负荷峰谷差,次要目标为降低总负荷曲线的波动性;
(2)构建用于实时控制的简化数学模型,聚合具有相同特性的可控设备;
(3)将在一个场景中控制园区中的可控负荷以达到控制目标的连续决策过程建模为一个马尔科夫决策过程,定义其状态空间和动作空间,并设置智能体训练的奖励函数机制,使得智能体在训练的过程中,每个时间点都能获得即时奖励值;奖励函数定义如下:
当处于用电量峰区间或谷区间时,智能体获得的即时奖励值为当处于峰谷区间之外时,即时奖励值为/> 表示峰区间的时间点集合,表示谷区间的时间点集合
其中,和/>分别表示在智能体控制后的目标净负荷峰值和目标净负荷谷值;/>和/>分别表示园区各类可调设备在单个时间步内的最大可下调功率之和以及最大可上调功率之和,/>系数c的取值范围是[0.8,1.0];/>为通过移动平均法计算出的用电曲线,w为移动窗口的大小;
(4)基于日前负荷预测曲线,叠加预测误差概率分布模型,采样生成智能体训练和测试数据集;
(5)采用近端策略优化方法作为强化学习智能体的策略优化迭代方法,对强化学习智能体进行分布式训练;
(6)将训练完的强化学习智能体用于园区用电峰谷差智能实时控制;智能体生成总策略后,基于当前各工厂各类设备的可调能力的权重,将策略分配到各工厂,再由综合能源管理系统将策略分配到各独立设备并执行。
2.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(1)中,所述的控制目标为:
其中,t表示场景中的时间点,t∈{1,2,…N},N是场景总时间点个数,是园区储能设备的集合,/>是园区其他可调负荷的集合,Pt表示t时刻控制后的净负荷有功,其计算方法见公式(1.2),/>是t时刻的净负荷预测有功值,/>表示第i个储能的t时刻有功,/>表示放电功率,/>表示充电功率,/>表示第i个储能的充放功率,/>表示第j个可调负荷在t时刻上调或下调的功率;σw是移动窗口的平均标准差,此项用来表征净负荷曲线的波动性,其计算方式见公式(1.3),其中,w和g分别表示移动窗口的大小和移动步长,Nw为移动窗口的总个数,Pmean是控制后净负荷曲线的平均值。
3.根据权利要求2所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(1)中,所述约束条件为:
其中,公式(2.1)、(2.2)表征电力系统模型的动态潮流平衡,要求系统在任意时刻满足这两个潮流方程,和/>表示注入节点i的有功和无功,/>和/>表示在节点i消耗的有功和无功,gij和bij是线路ij的电导和电纳,θij是节点i和j之间的电压相角差,/>为系统中所有的节点集合;公式(2.3)-(2.5)描述了可控储能设备的约束条件,SOCt,i和/>分别表示储能设备i在t时刻的电量和有功功率,/>和/>分别表示储能设备i的最大放电和充电功率;公式(2.6)-(2.8)描述了其他类型可控负荷的约束条件,/>表示t时刻负荷j的有功功率,/>为容量,r表示一个时间步内最大可调节有功与容量的比例。
4.根据权利要求3所述的工商业园区用电峰谷差智能控制方法,其特征在于,将步骤(1)构建的控制目标及约束条件简化,得到步骤(2)中的简化数学模型:
其中,是园区可调设备类型的集合,包括储能、空调、照明、充电站和产线;储能外的其他类型设备也与储能整合为同一模型;Et,i和/>分别表示设备类型i在t时刻的总电量和充放电功率之和,Et,i的单位为kW·δ,/>是设备类型i的总容量,/>和/>分别表示设备类型i的总最小能量和总最大充放功率。
5.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(3)中,马尔科夫决策过程中可观测的状态空间定义为:
其中,t为时间点,为t时刻的超短期净负荷预测,/>和/>分别表示截止当前时刻净负荷的最大值和最小值,Et是t时刻各类型设备的总电量,/>和/>分别表示t时刻各类型设备的功率最大可上调能力和最大可下调能力;
步骤(3)中,马尔科夫决策过程中动作空间定义为:
其中,为设备类型i的连续动作空间。
6.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(4)中,智能体训练和测试数据集生成方式如下:
其中是园区中所有负荷的集合,∈i,t表示负荷i在t时刻的日前预测误差,其采样于正态分布/>分别对每个时刻t进行采样,并叠加所有负荷,得到一个场景的推演数据其中/>
7.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(5)中,近端策略优化方法如下:
其中,L(st,at,θk,θ)为需要最大化的目标函数,st是t时刻的观测,at是t时刻的控制动作,θk是更新前的学习模型参数,θ是当前采样模型的参数,表示优势奖励值函数,由即时奖励值rt和状态估计值Vt计算得出,∈为核心的截断系数,取值范围是[0.1,0.3];核心在于将目标函数中使用到的新旧策略比例限制在1±∈。
8.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(5)中,对强化学习智能体进行分布式训练具体如下:
将N个智能体模型的复制作为采样工人分布到N个CPU线程,且在每个线程中单独分配1个潮流求解器用作独立的潮流计算;在一个训练周期中,每个采样工人同步独立采样,当样本数量达到设定值后,整合传给学习者模型,学习者利用该批样本进行多次训练迭代,并在学习完成后将更新后的模型参数传给采样工人进行参数替换。
9.根据权利要求1所述的工商业园区用电峰谷差智能控制方法,其特征在于,步骤(6)的具体过程为:
在每个决策时间点t,数字孪生体将4小时负荷预测发送给强化学习智能体,园区综合能源管理系统实时反馈各工厂各类型可调设备的总最大功率上调能力/>总最大功率下调能力/>和当前总电量Et;基于以上输入,智能体的决策神经网络输出针对园区的总净负荷进行调控的总策略at,然后根据各工厂的可调节能力的权重将总策略分配到各工厂;数字孪生体首先对工厂级策略进行仿真计算,如果潮流收敛,则将策略发送给园区综合能源管理系统,最后由园区综合能源管理系统将各工厂的调节目标进行拆分并下发到各设备;如果潮流不收敛,则决策不下发执行。
CN202311582460.5A 2023-11-24 2023-11-24 一种工商业园区用电峰谷差智能控制方法 Active CN117613919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311582460.5A CN117613919B (zh) 2023-11-24 2023-11-24 一种工商业园区用电峰谷差智能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311582460.5A CN117613919B (zh) 2023-11-24 2023-11-24 一种工商业园区用电峰谷差智能控制方法

Publications (2)

Publication Number Publication Date
CN117613919A CN117613919A (zh) 2024-02-27
CN117613919B true CN117613919B (zh) 2024-05-24

Family

ID=89950953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311582460.5A Active CN117613919B (zh) 2023-11-24 2023-11-24 一种工商业园区用电峰谷差智能控制方法

Country Status (1)

Country Link
CN (1) CN117613919B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599856A (zh) * 2018-11-12 2019-04-09 国网天津市电力公司电力科学研究院 一种微网多楼宇中电动汽车充放电管理优化方法及装置
CN109934403A (zh) * 2019-03-12 2019-06-25 浙江大学 基于数学模型的电动汽车居民区域充电负荷分析预测方法
CN110365057A (zh) * 2019-08-14 2019-10-22 南方电网科学研究院有限责任公司 基于强化学习的分布式能源参与配电网调峰调度优化方法
CN113469839A (zh) * 2021-06-30 2021-10-01 国网上海市电力公司 一种基于深度强化学习的智慧园区优化策略
CN115879637A (zh) * 2022-12-29 2023-03-31 国网天津市电力公司 基于多智能体深度强化学习的车-站-网互动决策方法
CN116961139A (zh) * 2023-09-19 2023-10-27 南方电网数字电网研究院有限公司 一种电力系统的调度方法、调度装置和电子装置
CN117040028A (zh) * 2023-09-28 2023-11-10 泰豪科技(深圳)电力技术有限公司 一种工商业园区光储充微电网的控制策略优化方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599856A (zh) * 2018-11-12 2019-04-09 国网天津市电力公司电力科学研究院 一种微网多楼宇中电动汽车充放电管理优化方法及装置
CN109934403A (zh) * 2019-03-12 2019-06-25 浙江大学 基于数学模型的电动汽车居民区域充电负荷分析预测方法
CN110365057A (zh) * 2019-08-14 2019-10-22 南方电网科学研究院有限责任公司 基于强化学习的分布式能源参与配电网调峰调度优化方法
CN113469839A (zh) * 2021-06-30 2021-10-01 国网上海市电力公司 一种基于深度强化学习的智慧园区优化策略
CN115879637A (zh) * 2022-12-29 2023-03-31 国网天津市电力公司 基于多智能体深度强化学习的车-站-网互动决策方法
CN116961139A (zh) * 2023-09-19 2023-10-27 南方电网数字电网研究院有限公司 一种电力系统的调度方法、调度装置和电子装置
CN117040028A (zh) * 2023-09-28 2023-11-10 泰豪科技(深圳)电力技术有限公司 一种工商业园区光储充微电网的控制策略优化方法及系统

Also Published As

Publication number Publication date
CN117613919A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110826880B (zh) 一种大规模电动汽车接入的主动配电网优化调度方法
CN110417006A (zh) 考虑多能协同优化的综合能源系统多时间尺度能量调度方法
CN108009693A (zh) 基于两级需求响应的并网微电网双层优化方法
CN110148969A (zh) 基于模型预测控制技术的主动配电网优化运行方法
CN116345577A (zh) 风-光-储微电网能量调控优化方法、设备及存储介质
CN116706960A (zh) 一种整合风光储的虚拟电厂多主体博弈控制策略
CN116050637A (zh) 基于分时电价的综合能源虚拟电厂优化调度方法及系统
Yu et al. Research on energy management of a virtual power plant based on the improved cooperative particle swarm optimization algorithm
CN115036914A (zh) 考虑灵活性与新能源消纳的电网储能双层优化方法及系统
CN114723230A (zh) 面向新能源发电和储能的微电网双层调度方法及系统
Tong et al. An intelligent scheduling control method for smart grid based on deep learning
CN117543581A (zh) 考虑电动汽车需求响应的虚拟电厂优化调度方法及其应用
CN117613919B (zh) 一种工商业园区用电峰谷差智能控制方法
CN116914732A (zh) 基于深度强化学习的热电联产系统低碳调度方法及系统
CN115800276A (zh) 一种考虑机组爬坡的电力系统应急调度方法
CN116683445A (zh) 基于模型预测控制的园区微电网多时间尺度运行优化方法
CN116562423A (zh) 基于深度强化学习的电-热耦合新能源系统能量管理方法
CN115912419A (zh) 一种基于负荷聚合商的储热-储电协同调度方法
CN112713590B (zh) 计及idr的冷热电联供微网与主动配电网联合优化调度方法
Lin et al. On-line optimization of microgrid operating cost based on deep reinforcement learning
Wenyue et al. Optimal scheduling strategy for virtual power plant considering voltage control
Yang et al. Multi-time scale collaborative scheduling strategy of distributed energy systems for energy Internet
Ye et al. Optimal Scheduling Method of Virtual Power Plant Based on Model Predictive Control
CN108183498A (zh) 一种含风光储配电网背景下的车储混合配置方法
Feng et al. Design and Development of Household Solar-Heat-Storage Coordination Control Software Module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant