CN112116130B - 一种基于可变结构深度学习框架的短期调度规则提取方法 - Google Patents
一种基于可变结构深度学习框架的短期调度规则提取方法 Download PDFInfo
- Publication number
- CN112116130B CN112116130B CN202010855501.3A CN202010855501A CN112116130B CN 112116130 B CN112116130 B CN 112116130B CN 202010855501 A CN202010855501 A CN 202010855501A CN 112116130 B CN112116130 B CN 112116130B
- Authority
- CN
- China
- Prior art keywords
- network
- deep learning
- sample
- short
- term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 43
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 abstract description 3
- 230000007787 long-term memory Effects 0.000 abstract description 2
- 239000011435 rock Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
一种基于可变结构深度学习框架的短期调度规则提取方法,包括:步骤1、构建深度学习网络;步骤2、输入因子‑决策变量样本对选择;步骤3、将步骤2的样本数据归一化;步骤4、关键超参数选择与优化;步骤5、网络重构;步骤6、网络训练:利用步骤5得到的重构网络,输入步骤3得到的样本进行网络学习,得到最终深度学习网络,此网络即为提取的短期调度规则。本发明立足电站实际历史运行数据,构建基于长短期记忆网络的深度学习网络模型,挖掘实际运行过程中蕴含的内在规律,建立电站短期调度规则,将电站调度期初末水位、期间来水过程以及电站受电网负荷过程作为输入因子,电站时段末水位作为决策变量,使模型输出结果更适用于实际调度过程。
Description
技术领域
本发明涉及水电能源优化领域,具体是一种基于可变结构深度学习框架的短期调度规则提取方法。
背景技术
水电站确定性优化调度将来水与电网负荷作为确定的时间序列输入,然而,径流预报与电网负荷预测均具有精度有限与预见期受限的特点,预测误差使得水电站确定性优化调度结果在实际运行中难以得到很好应用。
隐随机优化调度主要思想是通过挖掘确定性优化调度长序列成果中蕴含的内在规律,略去繁杂的模型求解过程,提取出输入因子与调度决策之间的物理成因关系,进而形成调度规则。但由于该方法的训练数据源仍是优化调度结果,获取模型的训练样本数据较为困难,也导致得到的调度结果难以应用于实际生产过程。
发明内容
本发明目的在于提供一种基于可变结构深度学习框架的短期调度规则提取方法,立足电站实际历史运行数据,构建基于长短期记忆网络的深度学习网络模型,挖掘实际运行过程中蕴含的内在规律,建立电站短期调度规则,将电站调度期初末水位、期间来水过程以及电站受电网负荷过程作为输入因子,电站时段末水位作为决策变量,使模型输出结果更适用于实际调度过程。
本发明涉及一种基于可变结构深度学习框架的短期调度规则提取方法,包括以下步骤:
步骤1、构建深度学习网络:根据应用场景与训练数据,以LSTM层为基础,固定最后两层为全连接层,其中第一层全连接层用于对LSTM层的输出进行加权,得到完整的信息矩阵,再通过Dropout机制连接到下一层全连接层,从而得到最终的网络输出;
步骤2、输入因子-决策变量样本对选择:以天为调度期,小时为调度时段,选取调度期初末水位(Z1,Z24)、电站一天的来水过程(Q1,Q2,...,Q24)以及电站送电电网的负荷过程(L1,L2,...,L24)为输入因子,以时段末水位Zt(t=1,2,3,...,24)为决策变量,选取n对输入因子-决策变量作为样本,如公式(1)所示:
其中,样本1~n1作为训练集样本,其余作为测试集样本;
步骤3、将步骤2的样本数据归一化;
步骤4、关键超参数选择与优化:在构建的深度学习网络结构中,采用控制变量法,选择在训练过程中对样本的学习效果具有显著影响的超参数进行优化;
步骤5、网络重构:运用差分进化算法,以训练集样本与测试集样本的拟合结果与实际结果的均方差和最小为目标优化步骤4中选择出的超参数,得到最优网络结构;
步骤6、网络训练:利用步骤5得到的重构网络,输入步骤3得到的样本进行网络学习,得到最终深度学习网络,此网络即为提取的短期调度规则。
进一步的,步骤3中样本数据归一化采用标准化的处理方式使样本的方差为1均值为0,如公式(2)、(3)所示:
进一步的,步骤4中的超参数包括LSTM层数、每层LSTM的节点数、第一层全连接层的输出维度以及Dropout的概率、学习率、网络学习迭代次数。
与现有技术相比,本发明具有以下优点和有益效果:
1、本发明提供的一种基于可变结构深度学习框架的短期调度规则提取方法,根据历史实际运行数据,选取合适的输入因子与决策变量,将深度学习运用至水库优化调度领域,发挥其特有的“黑箱模型”优势,形成短期调度规则。由于训练数据样本来源于实际运行过程,所以网络中蕴含着实际调度过程中的一些关键信息,如调度人员的调度习惯与经验、调度过程中的不确定性因素等。因此,该方法更加适用于实际调度过程,能更好的给予调度人员决策支持;
2、该方法对水电站中长期调度规则提取同样具有借鉴意义,且有利于开展水电站调度决策等工作。
附图说明
图1为本发明基于可变结构深度学习框架的短期调度规则提取方法的流程示意图;
图2为本发明长短期记忆神经网络(LSTM)结构图;
图3为本发明基于LSTM的深度学习网络框架示意图;
图4为本发明训练集实际水位与网络输出水位拟合曲线;
图5为本发明测试集实际水位与网络输出水位拟合曲线;
图6为本发明实施例2010年7月21日隔河岩电站实际水位与深度学习网络输出的水位运行过程;
图7为本发明实施例2017年5月5日隔河岩电站实际水位与深度学习网络输出的水位运行过程。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述。
图1所示为本发明基于可变结构深度学习框架的短期调度规则提取方法其中一个实施例的流程示意图,具体包括以下步骤:
步骤1、构建深度学习网络:针对本发明的应用场景,即如何利用水电站一天的来水序列和初末控制水位以及电网的负荷序列来提取出这一天的电站的水位运行过程,可看作一个典型的黑箱问题。由水电站日常调度过程易知,该问题存在着时间上的依赖性,而神经网络具有强大的处理黑箱问题的能力,因此长短期记忆网络(LSTM)在该问题的处理上具有天然的优势,其结构如图2所示。
根据应用场景与训练数据,以LSTM层为基础,固定最后两层为全连接层,其中第一层全连接层用于对LSTM层的输出进行加权,得到完整的信息矩阵,同时为防止训练过程中过度学习的情况发生,再通过Dropout机制连接到下一层全连接层,从而得到最终的网络输出,深度学习网络结构框架如图3所示。
步骤2、输入因子-决策变量样本对选择:以天为调度期,小时为调度时段,选取调度期初末水位(Z1,Z24)、电站一天的来水过程(Q1,Q2,...,Q24)以及电站送电电网的负荷过程(L1,L2,...,L24)为输入因子,以时段末水位Zt(t=1,2,3,...,24)为决策变量,选取n对输入因子-决策变量作为样本(其中i=1,2,…,n),如下公式(1)所示:
其中,样本1~n1作为训练集样本,其余作为测试集样本。
步骤3、将步骤2的样本数据归一化:采用标准化的处理方式使样本的方差为1均值为0,如下公式(2)、(3)所示:
步骤4、关键超参数选择与优化:在本发明构建的深度学习网络结构中,LSTM层数、每层LSTM的节点数、第一层全连接层的输出维度以及Dropout的概率、学习率、网络学习迭代次数都是关键的可优化超参数。采用控制变量法,选择在训练过程中对样本的学习效果具有显著影响的超参数进行优化。
例如,以LSTM层数为例,试验其是否对样本的学习效果具有显著影响。此参数以单位步长变化,其余超参数不变,计算其变化后目标函数F的变化幅度。F为训练集样本与测试集样本的拟合结果与实际结果的均方差和,其中βtrain为训练集权重,βtest为测试集权重,ntrain为训练集样本数,ntest为测试集样本数。
步骤5、网络重构:运用差分进化算法,以训练集样本与测试集样本的拟合结果与实际结果的均方差和F最小为目标优化步骤4中选择出的超参数,得到最优网络结构;
步骤6、网络训练:利用步骤5得到的重构网络,输入步骤3得到的样本进行网络学习,得到最终深度学习网络,此网络即为提取的短期调度规则。
本发明以清江流域的隔河岩电站的短期调度为实施例,按照图1所示的基于可变结构深度学习框架的短期调度规则提取方法总体流程,进行调度规则提取与验证,以体现本发明达到的效果。
隔河岩水电站位于清江流域下游,总装机容量1200MW,电站仅向湖北电网供电,其短期调度存在径流预测误差导致的弃水和不能完成负荷任务的风险问题。在本发明实施例中,随机选择2009年8月1日~2017年7月30日中800天历史运行数据为训练集样本,247天为测试集样本。实施例以日为调度期,构建深度学习框架提取隔河岩水电站短期调度规则。
本发明实施步骤如下:
步骤1、构建由L层LSTM、2层全连接层组成的初始深度学习网络。
步骤2、选取调度期初末水位(Z1,Z24)、电站一天的来水过程(Q1,Q2,...,Q24)以及电站送电电网的负荷过程(L1,L2,...,L24)为输入因子,以时段末水位Zt(t=1,2,3,...,24)为决策变量。选取1047对输入因子-决策变量作为样本,即2009年8月1日~2017年7月30日中1047天历史运行数据作为样本。其中800天历史运行数据作为训练集样本,247天为测试集样本。
步骤3、将步骤2的样本数据归一化,采用标准化的处理方式使样本的方差为1均值为0;
步骤4、采用控制变量法,选择出LSTM层数、每层LSTM的节点数、第一层全连接层的输出维度以及Dropout的概率(Dropout_Ratio)四个超参数进行优化。
步骤5、运用差分进化算法优化所选超参数,得到各参数取值:LSTM层数=2、每层LSTM的节点数=200、第一层全连接层的输出维度=71、Dropout_Ratio=0.44,从而构建本发明最终所需网络模型;
步骤6、网络学习。利用步骤5得到的重构网络,输入步骤3得到的样本进行网络学习,得到最终深度学习网络,此网络即为提取的短期调度规则。
本发明实施例构建的网络模型对样本的拟合效果见图4、5。本发明实施例技术方案实施后的结果见图6、7。图4、5结果显示,此模型在训练集与测试集上均具有很好效果。图6是运用提取的调度规则对隔河岩电站2010年7月21日的水位运行过程进行模拟,与实际水位过程基本相同,误差均在0.04m以内,结果合理。图7结果表明,运用深度学习网络建立的调度规则对隔河岩电站2017年5月5日的水位运行过程进行模拟得到的结果与实际运行水位变化过程基本相同,误差均在合理范围内,最大误差仅有0.04m,贴近实际调度变化过程,精度较高。因此,本发明得到的基于可变结构深度学习框架的短期调度规则提取方法符合水电站实际运行情况,具有有效性与可行性,可为电站编制次日调度计划提供决策参考。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何属于本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种基于可变结构深度学习框架的短期调度规则提取方法,其特征在于:包括如下步骤:
步骤1、构建深度学习网络:根据应用场景与训练数据,以LSTM层为基础,固定最后两层为全连接层,其中第一层全连接层用于对LSTM层的输出进行加权,得到完整的信息矩阵,再通过Dropout机制连接到下一层全连接层,从而得到最终的网络输出;
步骤2、输入因子-决策变量样本对选择:以天为调度期,小时为调度时段,选取调度期初末水位(Z1,Z24)、电站一天的来水过程(Q1,Q2,...,Q24)以及电站送电电网的负荷过程(L1,L2,...,L24)为输入因子,以时段末水位Zt(t=1,2,3,...,24)为决策变量,选取n对输入因子-决策变量作为样本,如公式(1)所示:
其中,样本1~n1作为训练集样本,其余作为测试集样本;
步骤3、将步骤2的样本数据归一化;
步骤4、关键超参数选择与优化:在构建的深度学习网络结构中,采用控制变量法,选择在训练过程中对样本的学习效果具有显著影响的超参数进行优化;
步骤5、网络重构:运用差分进化算法,以训练集样本与测试集样本的拟合结果与实际结果的均方差和最小为目标优化步骤4中选择出的超参数,得到最优网络结构;
步骤6、网络训练:利用步骤5得到的重构网络,输入步骤3得到的样本进行网络学习,得到最终深度学习网络,此网络即为提取的短期调度规则。
3.如权利要求1所述的基于可变结构深度学习框架的短期调度规则提取方法,其特征在于:步骤4中的超参数包括LSTM层数、每层LSTM的节点数、第一层全连接层的输出维度以及Dropout的概率、学习率、网络学习迭代次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010855501.3A CN112116130B (zh) | 2020-08-24 | 2020-08-24 | 一种基于可变结构深度学习框架的短期调度规则提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010855501.3A CN112116130B (zh) | 2020-08-24 | 2020-08-24 | 一种基于可变结构深度学习框架的短期调度规则提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112116130A CN112116130A (zh) | 2020-12-22 |
CN112116130B true CN112116130B (zh) | 2022-04-15 |
Family
ID=73805374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010855501.3A Active CN112116130B (zh) | 2020-08-24 | 2020-08-24 | 一种基于可变结构深度学习框架的短期调度规则提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116130B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095642A (zh) * | 2021-03-30 | 2021-07-09 | 中国电力科学研究院有限公司 | 梯级水电计划编制方法、系统、设备及存储介质 |
CN113204583B (zh) * | 2021-04-14 | 2022-11-01 | 武汉大学 | 水库群调度决策行为挖掘方法和水库调度自动控制装置 |
CN113393119B (zh) * | 2021-06-11 | 2022-08-30 | 河海大学 | 基于场景缩减-深度学习的梯级水电短期调度决策方法 |
CN114492952B (zh) * | 2022-01-06 | 2023-08-01 | 清华大学 | 一种基于深度学习的短临降水预报方法和装置 |
CN116068479A (zh) * | 2023-03-07 | 2023-05-05 | 潍柴动力股份有限公司 | 燃料电池耐久试验中输出性能信号的异常检测方法与装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027775A (zh) * | 2019-12-12 | 2020-04-17 | 中国长江三峡集团有限公司 | 基于长短期记忆网络的梯级水电站发电量预测方法 |
-
2020
- 2020-08-24 CN CN202010855501.3A patent/CN112116130B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112116130A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112116130B (zh) | 一种基于可变结构深度学习框架的短期调度规则提取方法 | |
CN109711620B (zh) | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 | |
CN112949945B (zh) | 一种改进双向长短期记忆网络的风电功率超短期预测方法 | |
CN110766212B (zh) | 用于历史数据缺失电场的超短期光伏功率预测方法 | |
CN108711847B (zh) | 一种基于编码解码长短期记忆网络的短期风电功率预测方法 | |
Wang et al. | LSTM-based short-term load forecasting for building electricity consumption | |
CN102722759A (zh) | 基于bp神经网络的电网供电可靠性预测方法 | |
Jiang et al. | Day‐ahead renewable scenario forecasts based on generative adversarial networks | |
Sogabe et al. | Optimization of decentralized renewable energy system by weather forecasting and deep machine learning techniques | |
CN113537582B (zh) | 一种基于短波辐射修正的光伏功率超短期预测方法 | |
CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN114021848A (zh) | 一种基于lstm深度学习的发电量需求预测方法 | |
CN115860177A (zh) | 基于组合式机器学习模型光伏发电功率预测方法及其应用 | |
CN113570132A (zh) | 一种时空气象特征提取与深度学习的风电功率预测方法 | |
Sun | A novel joint bidding technique for fuel cell wind turbine photovoltaic storage unit and demand response considering prediction models analysis Effect's | |
CN113553768B (zh) | 模型数据混合驱动的电网可靠性快速计算方法及装置 | |
CN113191091B (zh) | 基于混合深度学习机制的风速预测方法及系统、设备 | |
CN117132132A (zh) | 基于气象数据的光伏发电功率预测方法 | |
Pal et al. | Short-Term Load Forecasting Using Adaptive Neuro-Fuzzy Inference System (ANFIS) | |
CN116128211A (zh) | 基于风光不确定性预报场景的风光水联合短期优化调度方法 | |
Li et al. | Resilience Assessment of Urban Distribution Network Under Heavy Rain: A Knowledge-Informed Data-Driven Approach (April 2023) | |
Chauhan et al. | Solar Radiation Forecasting using Customized Artificial Neural Network | |
CN110829434B (zh) | 一种提高深度神经网络潮流模型扩展性的方法 | |
Sun et al. | Reliability prediction of distribution network based on PCA-GA-BP neural network | |
Shen et al. | An interval analysis scheme based on empirical error and mcmc to quantify uncertainty of wind speed |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |