CN115099500A - 基于权重修正和drsn-lstm模型的水位预测方法 - Google Patents

基于权重修正和drsn-lstm模型的水位预测方法 Download PDF

Info

Publication number
CN115099500A
CN115099500A CN202210746178.5A CN202210746178A CN115099500A CN 115099500 A CN115099500 A CN 115099500A CN 202210746178 A CN202210746178 A CN 202210746178A CN 115099500 A CN115099500 A CN 115099500A
Authority
CN
China
Prior art keywords
water level
model
prediction
network
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210746178.5A
Other languages
English (en)
Other versions
CN115099500B (zh
Inventor
胡昊
马鑫
郑野
聂相田
王宏涛
徐鹏
陈军朋
孙爽
陈守开
徐杨
任玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yellow River Conservancy Technical Institute
Original Assignee
Yellow River Conservancy Technical Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yellow River Conservancy Technical Institute filed Critical Yellow River Conservancy Technical Institute
Priority to CN202210746178.5A priority Critical patent/CN115099500B/zh
Publication of CN115099500A publication Critical patent/CN115099500A/zh
Application granted granted Critical
Publication of CN115099500B publication Critical patent/CN115099500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于权重修正和DRSN‑LSTM模型的水位预测方法,包括:设置采样时刻,收集每个采样时刻下的水位影响因子;将水位影响因子构建为输入向量,将所有的输入向量划分为训练集和测试集;利用阿基米德优化算法对长短时记忆网络的调参进行优化,利用可变软阈值函数对深度残差收缩网络进行优化,将优化后的长短时记忆网络和优化后的深度残差收缩网络结合构建神经网络模型;将训练集输入神经网络模型进行训练,利用可变权重交叉熵函数对水位影响因子的权重进行调整得到水位预测模型;将测试集输入水位预测模型,利用模型评价指标对水位预测模型进行评价输出最优的水位预测模型。本发明在面对多种影响因子时能实现水位的精准预测。

Description

基于权重修正和DRSN-LSTM模型的水位预测方法
技术领域
本发明属于水位预测技术领域,具体涉及一种基于权重修正和DRSN-LSTM模型的水位预测方法。
背景技术
常用的水位预测方法集中在常规水力学模型和人工智能两个方向。水动力学模型、非恒定流法、水位流量查值法等方法能快速获取预测水位,其中,大型梯级水电站常用的标准曲线法是基于流量-水位关系来完成水位预测,而短时间内水位与流量的映射关系是变化的,可能存在一个水位值对应多个流量值的情况从而影响最终的预测结果。与此同时,梯级水电站单体复杂程度高,上下游梯级之间联系紧密,其水位变化受电站出力、流量变化、上游水位、气候、温度、蒸发量、坡程、时间滞后性等多因素影响,且基于时序的水文数据存在非线性和不确定性的特征,导致常规水力学方法难以准确的对水位变化特性进行规律性分析和趋势预测。
部分研究已经开始探索机器学习等智能技术在水位预测中的效果,诸如决策树、支持向量机、随机森林和神经网络等。为获取受潮汐影响下的水位结果,ZHONG等(Waterlevel forecasting using a hybrid algorithm of artificial neural networks andlocal Kalman filtering[J].Journal of Engineering for the MaritimeEnvironment,2019,233(1):174-185)将电站的多个水位日数据嵌入KALMAN滤波模型中进行水位预测,该方法能够准确捕捉线性关系间的特点,但不适用于多步预测,尤其在水位关系是非线性条件下其预测误差存在较大波动;李欣等(基于时空序列模型的RBF神经网络在河流水位预测中的应用[J].城市勘测,2016(5):34-39)在时空序列的基础上构建径向基函数的神经网络来预测向家坝下游水位,该方法在处理非线性的水文数据时有良好的表现,但仅以水位数据作为输入,忽略其他因素对水位的影响权重,而且在计算过程中,该模型会将特征转化为数字来进行数值的推理计算,易导致部分信息丢失;WEI等(ZHAO W,GAO Y,LIC.RVM based on PSO for groundwater level forecasting[J].Journal of Computers,2012,7(5):1073-1079)为了提高支持向量机在水位预测中的精度,采用粒子群优化算法对相关向量机的参数进行优化,并采用小波分解对水文数据进行处理,但该方法需要信号系统的专业知识,设计较为复杂,且在数据重组阶段可能出现特征丢失或特征重叠情况。
此外,单一的机器学习算法在面对大量时间序列数据时仍存在计算效率偏低、数据特征提取不完整、参数设置存在主观干扰等问题。在众多智能模型中,卷积神经网络凭借其在图像识别、故障诊断领域的良好表现使其在水位预测领域拥有了巨大的发展潜能,该模型能够从大量数据中学习映射变量和响应变量之间复杂的函数关系,不依靠主观经验设置关键阈值和模型框架。BARZEGAR等(BARZEGAR R,ALAMI M T,ADAMOWSKI J.Short-termwater quality variable prediction using a hybrid CNN–LSTM deep learning model[J].Stochastic Environmental Research and Risk Assessment,2020,34(2):1–19)已将卷积神经网络应用于水位预测,采用水位相关的多影响因素作为模型输入,依靠模型的特征提取能力获取长时间序列下的水位预测结果。相比其他模型,卷积神经网络(Convolutional Neural Network,CNN)的深层结构有效地提高了预测性能。此外,基于时序建模的深度学习方法还包括长短期记忆网络(Long Short-Term Memory,LSTM)和循环神经网络(Recurrent Neural Network,RNN)。特征优选被用于对水位影响因子进行筛选以改善LSTM在水位中的预测精度,嵌入的梯度下降算法则是提高运算效率,但结果表明,特征优选阶段带来的误差会在网络传递中被放大,导致最终预测结果的误差无法满足要求;王亦斌等(基于EMD-LSTM模型的河流水量水位预测[J].水利水电科技进展,2020,40(6):40-47)利用EMD-LSTM模型将水文数据进行模态分解并单独进行特征预测,随后将单个预测结果进行数据重组、叠加以获取预测水位,但数据在LSTM中仅能单向传递,无法并行,对多特征数据敏感度较低,且LSTM无法准确捕捉空间特征或非时间因素对水位产生的影响。为了弥补单一模型的缺陷,已有学者利用CNN-LSTM组合模型进行水位预测,前端的CNN网络被用于强化对输入数据的特征捕捉,以弥补LSTM的弱点,该模型在预测精度和时效性均比单一的LSTM模型有着显著进步,但上述方法在处理高维数据和复杂模型时仍存在梯度消失、局部最优解等问题。
大型水电站的水位预测模型尚存在预警能力不足、预报精细化不够、模型智能化欠缺、经验性模型偏多等问题。在实际工况中,上下游水电站之间水位的相互作用、坝间往复流、联合调度产生弃水等因素增加了水位预测的难度。与此同时,国内外针对梯级水电站的水位预测研究较少。且下游的水位变化可能会受下游支流回水顶托影响,复杂的水文条件给水位预测带来了更多不确定性。为满足智慧水利的发展需求,搭建精准高效的多时间尺度水位预测模型有助于维护水电站的运行安全并提高其综合效益。
发明内容
针对现有技术中水位预测难且精度不高的问题,本发明提出了一种基于权重修正和DRSN-LSTM模型的水位预测方法,能有效解决CNN存在的不足,深度残差收缩网络的注意力机制和子通道阈值机制能够针对多维输入单独设定阈值,而且,特征工程的注意力机制可以结合数据领域的知识使模型获取更好的计算效果并增强对数据特征的敏感度,避免了高维数据给模型带来困扰的问题,网络中的软阈值结构可以实现自主的滤波学习,相比于传统的小波阈值更为高效、准确,不需要专家经验和繁杂的专业知识来设置滤波器。更重要的是,该网络的去噪机制能够抑制由噪声干扰或水文数据测绘误差带来的影响。为解决以上技术问题,本发明所采用的技术方案如下:
一种基于权重修正和DRSN-LSTM模型的水位预测方法,包括如下步骤:
S1,设置采样时刻,收集每个采样时刻下的水位影响因子;
S2,将步骤S1收集到的水位影响因子进行高维处理并构建为输入向量,将所有的输入向量划分为训练集和测试集;
S3,利用阿基米德优化算法对长短时记忆网络的调参进行优化,利用可变软阈值函数对深度残差收缩网络进行优化,将优化后的长短时记忆网络和优化后的深度残差收缩网络相结合构建神经网络模型;
S4,将训练集输入神经网络模型进行训练,利用可变权重交叉熵函数对水位影响因子的权重进行调整得到水位预测模型;
S5,将测试集输入水位预测模型,利用模型评价指标对水位预测模型进行评价输出最优的水位预测模型。
在步骤S1中,所述水位影响因子包括采样时刻下水电站的下游水位、上游水位、电站总出力和支流流量。
在步骤S3中,所述利用阿基米德优化算法对长短时记忆网络的调参进行优化包括如下步骤:
a,将第t个时刻的水位输入长短时记忆网络中;
b,判断t=1,如果是,初始化种群参数和当前时刻的水位真实数据后,执行步骤c;否则,采用数据共享法将上一时刻的参数及真实水位数据设置为阿基米德算法的初始参数并执行步骤c;
c,将长短时记忆网络输出的水位预测误差作为适应度函数比较局部解和全局最优解,判断算法是否停滞,如是,采用高斯随机游走策略跳出局部最优以对对象位置和参数进行优化;否则,直接使用适应度函数更新对象的速度和位置;
d,判断长短时记忆网络的水位预测误差是否满足全局最优解条件,如果不满足,返回步骤c,否则,将该预测过程中长短时记忆网络内部的参数作为LSTM的最终参数配置,并进行水位预测。
在步骤S3中,所述利用可变软阈值函数对深度残差收缩网络进行优化,是指将深度残差收缩网络中的软阈值函数替换为可变软阈值函数,可变软阈值函数的函数为:
Figure BDA0003719443040000041
式中,Y表示输出值,
Figure BDA0003719443040000042
β表示可变半软阈值因子,λ表示阈值,x表示输入值。
在步骤S4中,所述可变权重交叉熵函数的表达式为:
Figure BDA0003719443040000043
式中,Lal表示模型整体的损失函数,Eal表示交叉熵损失,
Figure BDA0003719443040000044
表示将第c个状态样本错误判定为第s种状态也即特征捕捉错误时的损失权重,
Figure BDA0003719443040000045
表示将第c个状态样本错误判定为第s种状态的误判目标损失,S表示真实状态样本集,nc表示第c个水位影响因子的真实水位数据。
所述损失权重
Figure BDA0003719443040000046
的计算公式为:
Figure BDA0003719443040000047
式中,
Figure BDA0003719443040000048
表示将第c个状态样本的特征识别为第s种状态的概率。
所述误判目标损失
Figure BDA0003719443040000049
的计算公式为:
Figure BDA00037194430400000410
式中,
Figure BDA00037194430400000411
表示将第c个状态样本的特征识别为第s种状态的概率。
所述模型评价指标包括相关系数r、均方根误差RMSE、平均绝对误差MAE、效率系数NSE,相关系数r的计算公式为:
Figure BDA00037194430400000412
式中,N表示样本数据的数量,y0表示实际观测水位,
Figure BDA00037194430400000413
表示实际观测水位的平均值,yF表示预测水位,
Figure BDA00037194430400000414
表示预测水位的平均值,n表示样本数据中的第n个变量;
均方根误差RMSE的计算公式为:
Figure BDA00037194430400000415
平均绝对误差MAE的计算公式为:
Figure BDA00037194430400000416
效率系数NSE由Nash-Sutcliffe模型计算得到,其计算公式为:
Figure BDA0003719443040000051
本发明的有益效果:
将更新的深度残差收缩网络与长短时记忆网络组合进行水位预测,通过将输入数据拟合为特征图的相似结构进而将原始水文数据转换为特定形式输入模型,将敏感度预测任务转化为数值预测,并引入可变权重函数根据网络预测误差进行自修正,确保水位预测模型在面对多种影响因子时能从多角度完成分析并实现水位的精准预测。
可变软阈值函数能有效避免模型因恒定偏差陷入局部最优的情况,误差修正函数使模型可以根据预测误差实现权重动态调整,显著提高了最终水位的预测精度。经阿基米德优化算法改良后的LSTM能够在短时间下输出精准的水位预测结果并缓解“梯度爆炸”和“梯度消失”。相比CNN-LSTM模型,降低了预测误差和计算时间,并同步提高了预测效率约23%以上。同步考量支流流量,进一步降低了预测误差,提高了模型对复杂水文变化的敏感度,可以对水电站的进行多时间尺度预测下游水位,为水电站优化调度和洪水预警提供了重要的参考依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为深度残差收缩网络的构建单元和整体结构图。
图2为LSTM网络中记忆模块的结构图。
图3为LSTM网络参数优化的流程图。
图4为本发明输入数据的构成及其特征图。
图5为本发明的流程示意图。
图6为采用本发明预测时短期水位预测值与实测值的比较图。
图7为采用本发明预测时中期水位预测值与实测值的比较图。
图8为采用本发明预测时长期水位预测值与实测值的比较图。
图9为本发明与其它算法进行比较水位预测性能的泰勒图。
图10为本发明中改进的深度残差收缩网络与长短时记忆网络的组合模型图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
深度残差收缩网络(Deep Residual Shrinkage Network,DRSN)中的跨层连接能实现数据特征的正向传递和反向回溯,可提高模型的训练效率并避免梯度爆炸等问题,其结构如图1所示,数据在输入层被降维整合后输入卷积层,卷积核提取到有用的特征信息并将其传递给残差收缩层,每一个特征图均可以有一个及以上的特征通道,该特点能满足将上游水库水位、电站出力、下游支流流量等多个水位影响因子设为特征图中特征通道的需求。经过激活函数、批量规范处理(batch normalization,BN)、软阈值操作、全局平均池化层以及交叉熵评价后获取最终水位输出。因不同通道对目标的影响权重不同,模型中的注意力机制和完全GAP层将对每一个通道设置权重并输出,从大量输入信息中捕捉关键内容并提取重要特征,删除不重要特征或降低其权重值,同时,网络的间隙层可以减少连接层的权重数量维持网络稳定。而上游电站水位、电站出力、流量等因素在目标水位的变化中有着不同的影响权重。因此,注意力机制配合子通道阈值功能能协助网络捕捉水位变化过程中的空间特征和时序特征。
LSTM对时间序列数据有着更高的敏感性,相比于RNN有着更高的效率,其结构如图2所示,模型的遗忘门、输入门和输出门的计算方程为:
ft=σ(Wf·[ht-1,xt]+bf); (1)
it=σ(Wi·[ht-1,xt]+bi); (2)
ot=σ(Wo·[ht-1,xt]+bo); (3)
Figure BDA0003719443040000061
Figure BDA0003719443040000062
Figure BDA0003719443040000063
式中,ft、it和ot分别代表在t时刻下遗忘门、输入门和输出门的计算结果;Wf、Wi和Wo分别代表遗忘门、输入门和输出门的权重矩阵;bf、bi和bo分别代表遗忘门、输入和输出门的偏差;σ代表激活函数sigmoid;[ht-1,xt]表示将t-1时刻隐藏层的状态ht-1和t时刻的序列输入xt两个向量连接成一个较长的向量,ct表示t时刻的状态;ht表示t时刻隐藏层的状态;xt代表在t时刻当前的序列输入;ct-1表示记忆层在上一时刻t-1时刻的状态,ht-1代表隐藏层在上一时刻t-1时刻的状态,由存储模块输出t时刻的存储单元状态和隐藏层状态,
Figure BDA0003719443040000064
表示输入单元在t时刻的状态;Wc表示输入单元状态权重矩阵;bc表示输入状态的偏置;tanh表示激活函数⊙,it表示输入门在t时刻的计算结果,ot表示输出门在t时刻的计算结果。
一种基于权重修正和DRSN-LSTM模型的水位预测方法,如图5所示,包括如下步骤:
S1,设置采样时刻,收集每个采样时刻下的水位影响因子;
所述水位影响因子包括采样时刻下水电站的下游水位、上游水位、电站总出力和支流流量。输入数据的选取会影响特征提取及后期预测结果的精度。此外,数据种类过多可能会增加模型的复杂度,例如河道形状、地表植被、土壤含水量、蒸发量、渗透量、日照强度、降水量等间接因素以及电站坝上、坝下水位、流量、电站出力等直观因素。
为突出长江流域水资源特征并降低数据计算导致的误差,本实施例选择监控数据作为模型输入,主要包括溪洛渡电站下游水位、向家坝电站总出力、向家坝电站上游水位、上一时刻向家坝电站下游水位、当前时刻岷江流量、当前时刻横江流量,上述数据为相互独立的时间序列,能够体现水电站调度的空间特征和季节特征。其中溪洛渡下游水位站数据取自中心场水位站。向家坝水文站测站下游1.9km处有横江汇入,28km处有岷江汇入,当有较大支流汇入(横江中高水和岷江高水),会对水电站下游水位产生回水顶托,增加断面水位流量关系的复杂度。为降低回水顶托对水位预测的影响,将岷江流量、横江(高场水文站)流量纳入输入因子,各输入因子及其编号的对应关系如下表1所列。
表1模型输入因子详细信息及编号
Figure BDA0003719443040000071
S2,对步骤S1收集到的水位影响因子进行预处理,并将预处理后的数据构建为输入向量,将所有的输入向量随机划分为训练集和测试集;
考虑到洪水数据可能存在缺失的情况,所述预处理是指将相邻两个时刻的水位影响因子的平均值填补缺失值,保证水位影响因子的完整性。得到完整的水位影响因子后,将其按照高维数据分布的形式进行构建,如图4所示,其中,上一时刻溪洛渡电站下游水位、向家坝电站总出力、上一时刻向家坝电站上游水位、上一时刻向家坝电站下游水位、当前时刻岷江流量、当前时刻横江流量作为模型的输入特征图的通道,并将上述数据与对应时刻的时间点和向家坝当前时刻的流量对齐,此为现有技术,本实施例不再详述。
将基于时间序列的高维特征量作为输入,可以保证输入数据拥有类似于特征图的结构,即长度、宽度和特征通道,数据被拟合成三维分布的形式,输入数据及其特征图形如图4所示,提高了模型对数据时空特征的捕捉精度。本实施例数据集为2014—2021年的水电站相关数据,DRSN调试阶段采用十字交叉法训练数据,将每一组数据集划分为10个子集,保证每一组数据的特征均能被捕捉。LSTM则将训练集和测试集数据按照7∶3进行分配,具体预见期根据不同预测步长设置。
S3,利用阿基米德优化算法(Archimedes optimization algorithm,AOA)对长短时记忆网络的调参进行优化,利用可变软阈值函数对深度残差收缩网络进行优化,将优化后的长短时记忆网络和优化后的深度残差收缩网络相结合构建神经网络模型;
如图3所示,利用阿基米德优化算法对长短时记忆网络的调参进行优化包括如下步骤:
a,将第t个时刻的水位输入长短时记忆网络中;
b,判断t=1,如果是,初始化种群参数和当前时刻的水位真实数据后,执行步骤c;否则,采用数据共享法将上一时刻的参数及真实水位数据设置为阿基米德算法的初始参数并执行步骤c;
c,将长短时记忆网络输出的水位预测误差作为适应度函数比较局部解和全局最优解,判断算法是否停滞(陷入局部最优),如是,采用高斯随机游走策略跳出局部最优以对真实水位数据和参数进行优化;否则,直接使用适应度函数更新对象的速度和位置来提高LSTM网络对水位的预测精度;
所述采用高斯随机游走策略跳出局部最优的表达式为:
G(w+1)=Gaussian(x(w),v1);
式中,G(w+1)表示种群中第G代的最优个体,x(w)表示种群中第w个个体,v1表示方差。
Figure BDA0003719443040000081
式中,κ1表示整个周期内的步长,tmax表示周期内完成一次游走的最大时间,
Figure BDA0003719443040000082
表示第r代种群中的最优个体。sin(π·t/(2·tmax))表示调整行走步长的正弦函数。
d,判断长短时记忆网络的水位预测误差是否满足全局最优解条件,如果不满足,返回步骤c,否则,将该预测过程中LSTM网络内部的参数作为LSTM的最终参数配置,并进行水位预测。
采用阿基米德优化算法将权值迭代更新转化为求解最优来优化LSTM的内部参数,AOA算法在平衡局部搜索能力和全局搜索能力方面表现突出,适用于解决多目标约束的复杂问题,且收敛速度突出,降低了因参数设置不合理导致的误差增大,同时降低了搜索时间,解决了逆向传递算法在推导过程中导致的“梯度消失”和“梯度爆炸”等问题。
所述利用可变软阈值函数对深度残差收缩网络进行优化,是指将可变软阈值函数直接替换原有深度残差收缩网络中的软阈值函数,可变软阈值函数的函数结构为:
Figure BDA0003719443040000091
式中,Y表示输出值,
Figure BDA0003719443040000092
β表示可变半软阈值因子,λ表示阈值,x表示输入值。
深度残差收缩网络中的软阈值函数由于渐进性不佳,在设置阈值时易将区间范围内的数值强制置“0”或“1”,增大特征阈值的偏差。例如,若流量在某一数值范围内不会导致水位变化(或水位波动在可接受范围内),而软阈值函数会忽略该数值区间并强制判定,致使模型捕捉到错误的特征进而影响最终结果的精度,采用可变软阈值函数则可以提高网络的判断精度。
如图10所示,所述神经网络模型包括输入层、全连接神经层、卷积层、残差收缩层、BN层、FC层、LSTM层、Dropout、Flatten、全连接神经层和输出层,模型的具体工作流程如下:
①,将某一时刻的水位影响因子拟合为水位影响因子的高维特征输入向量后,输入改进的深度残差收缩网络-长短时记忆网络的神经网络模型中;
②,卷积层中的特征映射模块在卷积核上滑动,提取水位影响因子向量的空间特性及时间特性等;
③,经卷积核处理过的三维向量数组将被残差收缩模块进行处理,在GAP层中,高维向量被压缩为一维向量,即(1D水位影响因子向量的绝对值特征图)*(一个系数α),随后该向量中每一个特征通道的阈值将被可变半软阈值函数设置一个阈值,以判定不同水位影响因子在不同时期的水位变化中的权重,经赋值和特征提取后的水位影响因子特征向量将继续在主网络中传递,实现特征的反复提取,同时根据后续时刻数据的不断输入来更新该时刻的数据权重;
④,被处理后的一维特征向量经过BN层,激活函数等一系列处理后被压缩为具有一个特征通道的水位一维向量输出给LSTM网络;
⑤,被优化后的LSTM网络将从获取的输入数据中继承深度残差收缩网络提取的空间特征和时序特征,并根据预测误差对预测水位特征向量的权重进行修正,最终输出预测水位。
S4,将训练集输入神经网络模型进行训练,同时利用可变权重交叉熵函数对水位影响因子的权重进行调整得到水位预测模型;
所述可变权重交叉熵函数的表达式为:
Figure BDA0003719443040000093
式中,Lal表示模型整体的损失函数,Eal表示交叉熵损失,当模型将样本判定为其真实状态且正确率越高的情况下,交叉熵损失越低,模型整体精度越高,
Figure BDA0003719443040000101
表示将第c个状态样本错误判定为第s种状态也即特征捕捉错误时的损失权重,
Figure BDA0003719443040000102
表示将第c个状态样本错误判定为第s种状态的误判目标损失(误将样本识别为S,s≠nc),S表示真实状态样本集,nc表示第c个状态样本(mc,nc)的真实水位数据,mi表示第c个状态样本(mc,nc)(也即水位影响因子)的特征向量。损失函数Lal由交叉熵损失Eal和误判损失组成,可以提高模型对目标特征的区分度,尤其是在样本数据较少的情况下,避免模型在初始训练阶段出现大误差累积。
所述将第c个状态样本错误判定为第s种状态也即误判时的损失权重
Figure BDA0003719443040000103
的计算公式为:
Figure BDA0003719443040000104
式中,
Figure BDA0003719443040000105
表示将第c个状态样本的特征识别为第s种状态的概率也即特征识别准确率,因此,特征识别准确率越高,损失权重值越小,同样地,模型整体交叉熵损失也越小。
所述将第c个状态样本错误判定为第s种状态的误判目标损失
Figure BDA0003719443040000106
的计算公式为:
Figure BDA0003719443040000107
若网络对水位影响因子进行权重赋值时出现误差,该误差会在网络传递中被放大并影响最终预测结果。构建新的可变权重交叉熵函数使模型能根据预测误差的评价结果对影响因子的权重进行动态修正,当网络提取到水位影响因子的特征并进行赋值后,可变权重交叉熵函数会根据预测误差重新对水位影响因子权重值进行修改,使模型始终处于动态调整中,以适应不断输入的数据特征和真实工况。
深度残差收缩网络中A为特征通道数也即输入因子的数量设置为6,B对应图像的宽度,本实施例中对应于向家坝电站当前时刻的流量值,采样间隔一致,均设为1,网络层数、卷积核数及通道数根据调试最优效果设置,结构框架为ResNet34。网络的训练率在前20个时期为0.1,随后40个时期为0.01,最后40个时期为0.001。为避免模型出现过拟合,向目标函数中添加惩罚项与L2正则化,惩罚系数设为0.001。根据优化结果,LSTM的学习率设置为0.001,隐藏神经元数设置为10,批量激活函数为ReLU,迭代次数设置为100次,批量大小设置为64,模型最终输出结果为向家坝下游水位。采用多时间尺度进行预测,也即设置不同的预测步长来实现多尺度的水位预测,即使用前t小时的水位预测接下来时刻的水位;同理,拓展至天-周-旬-月-年,范围涵盖小时、天、旬、年。具体步骤为:假定当前时刻为T,向前追溯nΔT月/日/小时(n为正整数;ΔT为水位信息采样间隔,根据预测时长调整),采用第T-nΔT年/日/小时到第T月/日/小时的数据填充预测时间窗口并进行预测,获取nΔT月/日/小时后的预测结果。电站可以根据预测结果调整运行措施,如下:若预测结果显示ΔT月/日/小时后水位会出现异常波动,则提前ΔT1天调整电站运行规程。
S5,将测试集输入水位预测模型,利用模型评价指标对水位预测模型进行评价输出最优的水位预测模型;
所述模型评价指标包括相关系数r、均方根误差RMSE、平均绝对误差MAE、效率系数NSE,相关系数r的计算公式为:
Figure BDA0003719443040000111
式中,N表示样本数据的数量,y0表示实际观测水位,
Figure BDA0003719443040000112
表示实际观测水位的平均值,yF表示预测水位,
Figure BDA0003719443040000113
表示预测水位的平均值,n表示样本数据中的第n个变量。
均方根误差RMSE的计算公式为:
Figure BDA0003719443040000114
平均绝对误差MAE的计算公式为:
Figure BDA0003719443040000115
效率系数NSE由Nash-Sutcliffe模型计算得到,其计算公式为:
Figure BDA0003719443040000116
相关系数r为无量纲的度量,数值越接近1则表示效果越理想,MAE和RMSE则是评价模型的精度,数值越接近0精度越高,NSE展示了模型之间性能的对比,理想值为1。
S6,根据步骤S5输出的最优的水位预测模型对实时水位进行预测。
以下以溪洛渡-向家坝梯级水电站为例进行应用研究,设置硬件配置为i7-9750中央处理器和NVIDIA GeForce GTX处理器的工作站,使模型在python环境下运行。采用本申请的模型对向家坝水电站下游水位开展预测,预测步长为(小时-天)、中期(旬-月)和长期(季度-年),短期水位的预测和采样频率为2小时/次,中期水位的预测和采样频率为3次/天,长期水位采样频率为3次/月,分别在上、中、下旬。图6~8分别为向家坝短期下游水位预测值与实测值对比,中期下游水位预测值与预测值对比,长期下游水位预测值与实际值对比,且图6、图7和图8中每两个图之间的关系为不同实验数据的区别,增加了实验数据的丰富性和多样性,如下表2给出了本申请预测模型的效果。
Figure BDA0003719443040000117
Figure BDA0003719443040000121
根据上述结果可知,本申请关于短期、中期、长期的水位预测值基本与观测水位一致,在短期预测中,最大误差为0.09m,RMSE控制在0.019左右,图6显示在水位出现较大变幅时,预测误差偏大,但在2~3个采样周期内能稳定在较小范围内,随后预测曲线与观测曲线基本重叠。在中期预测时,最大误差为0.17m,该数值能够满足向家坝水电站的航运水位日变幅要求(向家坝水电站要求航运水位日变幅不得超过0.2m),RMSE维持在0.152左右,与短期预测相似的是,预测误差也会因水位的较大变幅存在震荡,这也说明了水位变幅“时滞性”会对水位预测产生影响(中、短期水位时滞约在2.5~4.5h,且与流量变化有关)。此外,为了实现少样本下的精准预测,在短期和中期预测中的采样间隔较大,初始数据量相对较少,虽然在训练阶段有足够的样本,但在测试过程中较少的输入数据可能会导致预测精度存在小范围波动。分析出现较大误差当日的水文和气象数据发现,关联时间段内上、下游出现强降雨等极端天气及梯级水电站的大幅度调度操作占据了主导地位。当进行长期预测时,模型的最大预测误差达到了0.31m,RMSE明显升高,最大值可达0.462,这表明年尺度的结果不能完全满足中、短期的水位分析需求(日调峰、防洪等),虽然误差相对较大,但其预测结果可以为电站的月调度、年调度计划提供有力的数据支持。此外,长期预测中较大的采样间隔较大无法精准反映出每日的水位变化特征,且自然年中不同季节存在极端天气等情况也会影响预测精度,若要实现年尺度的精准预测,长期精准的气象预测是必要条件。
为了进一步验证本申请的效果,将其与常用水位预测技术进行对比。参照对象为BP神经网络、水动力模型、支持向量回归(SVR)、随机森林(RF)、CNN-LSTM模型。水动力学模型采用向家坝电站水位,地形边界采用长江干流,横江和岷江。SVR模型的调节因子设为5,选用径向核函数,误差设置为0.05。RF中决策树的数量设置为100,树的最大深度设置为10,每个节点内部最小样本数设置为2,每个分组中最大特征为3,每个叶子的最小样本数和每个分裂中的最大特征数设置为2。CNN-LSTM模型中卷积核大小设置为3,激活函数采用sigmoid,输出一维水位数据,在LSTM网络中学习率设置为0.001,批量大小设置为32,激活函数采用ReLU,迭代次数设置为100次。BP神经网络层数为3,激活函数为Tanh,隐藏神经元个数设置为10。ANN(Artificial Neural Network)设置7个输入节点,输出层为1个,即水位,隐藏层设置为1,神经元数量设置为10。各模型预测结果如表3、表4和表5所列,如图9展示了各模型关于水位预测性能的泰勒图。
表3各模型短期水位预测结果的对比 m
Figure BDA0003719443040000131
表4各模型中期水位预测结果的对比 m
Figure BDA0003719443040000132
表5各模型短期水位预测结果的对比 m
Figure BDA0003719443040000133
根据实验结果对比可知,本申请也即IDRSN-ALSTM在短期水位预测(RMSE=0.019,MAE=0.017,NSC=0.998,r=0.995)、中期水位预测(RMSE=0.061,MAE=0.056,NSC=0.980,r=0.984)和长期预测(RMSE=0.083,MAE=0.078,NSC=0.950,r=0.955)均取得了最好的效果。尽管在进行长期水位预测时,模型的指标发生了相对明显的波动,但仍优于其他模型,紧随其后的是CNN-LSTM(RMSE=0.109,MAE=0.102,NSC=0.935,r=0.941)。另,从表中数据可知,在短期的水位预测中,各模型误差较为接近,当预测步长扩大时,模型的差距开始凸显,水动力学、BP、SVR等模型的预测效果仍然能保持在一个可接受的范围内,表现较差的为RF模型(RMSE=0.298,MAE=0.271,NSC=0.813,r=0.820)和ANN(RMSE=0.420,MAE=0.418,NSC=0.759,r=0.771)。综合表中数据及泰勒图可知,本申请提出的模型在各个阶段的预测误差均更加稳定,其散射度相较于其他模型更低。
以下表6为各模型的计算时间及误差的对比,相比于CNN-LSTM模型,最大预测误差降低了0.08m,计算时间降低约50%,模型的精度不仅得到了提升,且运算耗时也显著降低,这证明了本申请相比CNN有着更高的特征提取能力和计算效果。此外,当输入参数中增加了下游支流的流量后,预测精度再次得到了提升,可见,增加输入变量的类别对预测精度的提升是正相关的。
表6各模型计算时间及误差的对比
Figure BDA0003719443040000141
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,包括如下步骤:
S1,设置采样时刻,收集每个采样时刻下的水位影响因子;
S2,将步骤S1收集到的水位影响因子进行高维处理并构建为输入向量,将所有的输入向量划分为训练集和测试集;
S3,利用阿基米德优化算法对长短时记忆网络的调参进行优化,利用可变软阈值函数对深度残差收缩网络进行优化,将优化后的长短时记忆网络和优化后的深度残差收缩网络相结合构建神经网络模型;
S4,将训练集输入神经网络模型进行训练,利用可变权重交叉熵函数对水位影响因子的权重进行调整得到水位预测模型;
S5,将测试集输入水位预测模型,利用模型评价指标对水位预测模型进行评价输出最优的水位预测模型。
2.根据权利要求1所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,在步骤S1中,所述水位影响因子包括采样时刻下水电站的下游水位、上游水位、电站总出力和支流流量。
3.根据权利要求1所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,在步骤S3中,所述利用阿基米德优化算法对长短时记忆网络的调参进行优化包括如下步骤:
a,将第t个时刻的水位输入长短时记忆网络中;
b,判断t=1,如果是,初始化种群参数和当前时刻的水位真实数据后,执行步骤c;否则,采用数据共享法将上一时刻的参数及真实水位数据设置为阿基米德算法的初始参数并执行步骤c;
c,将长短时记忆网络输出的水位预测误差作为适应度函数比较局部解和全局最优解,判断算法是否停滞,如是,采用高斯随机游走策略跳出局部最优以对对象位置和参数进行优化;否则,直接使用适应度函数更新对象的速度和位置;
d,判断长短时记忆网络的水位预测误差是否满足全局最优解条件,如果不满足,返回步骤c,否则,将该预测过程中长短时记忆网络内部的参数作为LSTM的最终参数配置,并进行水位预测。
4.根据权利要求1所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,在步骤S3中,所述利用可变软阈值函数对深度残差收缩网络进行优化,是指将深度残差收缩网络中的软阈值函数替换为可变软阈值函数,可变软阈值函数的函数为:
Figure FDA0003719443030000021
式中,Y表示输出值,
Figure FDA0003719443030000022
β表示可变半软阈值因子,λ表示阈值,x表示输入值。
5.根据权利要求1所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,在步骤S4中,所述可变权重交叉熵函数的表达式为:
Figure FDA0003719443030000023
式中,Lal表示模型整体的损失函数,Eal表示交叉熵损失,
Figure FDA0003719443030000024
表示将第c个状态样本错误判定为第s种状态也即特征捕捉错误时的损失权重,
Figure FDA0003719443030000025
表示将第c个状态样本错误判定为第s种状态的误判目标损失,S表示真实状态样本集,hc表示第c个水位影响因子的真实水位数据。
6.根据权利要求5所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,所述损失权重
Figure FDA0003719443030000026
的计算公式为:
Figure FDA0003719443030000027
式中,
Figure FDA0003719443030000028
表示将第c个状态样本的特征识别为第s种状态的概率。
7.根据权利要求5所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,所述误判目标损失
Figure FDA0003719443030000029
的计算公式为:
Figure FDA00037194430300000210
式中,
Figure FDA00037194430300000211
表示将第c个状态样本的特征识别为第s种状态的概率。
8.根据权利要求1所述的基于权重修正和DRSN-LSTM模型的水位预测方法,其特征在于,所述模型评价指标包括相关系数r、均方根误差RMSE、平均绝对误差MAE、效率系数NSE,相关系数r的计算公式为:
Figure FDA00037194430300000212
式中,N表示样本数据的数量,y0表示实际观测水位,
Figure FDA00037194430300000213
表示实际观测水位的平均值,yF表示预测水位,
Figure FDA00037194430300000214
表示预测水位的平均值,h表示样本数据中的第n个变量;
均方根误差RMSE的计算公式为:
Figure FDA00037194430300000215
平均绝对误差MAE的计算公式为:
Figure FDA0003719443030000031
效率系数NSE的计算公式为:
Figure FDA0003719443030000032
CN202210746178.5A 2022-06-29 2022-06-29 基于权重修正和drsn-lstm模型的水位预测方法 Active CN115099500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210746178.5A CN115099500B (zh) 2022-06-29 2022-06-29 基于权重修正和drsn-lstm模型的水位预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210746178.5A CN115099500B (zh) 2022-06-29 2022-06-29 基于权重修正和drsn-lstm模型的水位预测方法

Publications (2)

Publication Number Publication Date
CN115099500A true CN115099500A (zh) 2022-09-23
CN115099500B CN115099500B (zh) 2023-04-18

Family

ID=83293925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746178.5A Active CN115099500B (zh) 2022-06-29 2022-06-29 基于权重修正和drsn-lstm模型的水位预测方法

Country Status (1)

Country Link
CN (1) CN115099500B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115271266A (zh) * 2022-09-27 2022-11-01 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 地下水水位动态预测方法及系统
CN115563907A (zh) * 2022-11-10 2023-01-03 中国长江三峡集团有限公司 水动力模型参数优化、水位流量变化过程模拟方法及装置
CN116740015A (zh) * 2023-06-12 2023-09-12 北京长木谷医疗科技股份有限公司 基于深度学习的医学图像智能检测方法、装置及电子设备
CN117195152A (zh) * 2023-09-20 2023-12-08 长江水利委员会长江科学院 一种基于深度学习的坝下支流顶托条件分析系统
CN117634321A (zh) * 2024-01-25 2024-03-01 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种水库蓄水顶托作用下的水文站水位流量关系重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222698A (zh) * 2020-01-06 2020-06-02 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
US20200311558A1 (en) * 2019-03-29 2020-10-01 Peking University Generative Adversarial Network-Based Optimization Method And Application
CN112116147A (zh) * 2020-09-16 2020-12-22 南京大学 一种基于lstm深度学习的河流水温预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311558A1 (en) * 2019-03-29 2020-10-01 Peking University Generative Adversarial Network-Based Optimization Method And Application
CN111222698A (zh) * 2020-01-06 2020-06-02 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
CN112116147A (zh) * 2020-09-16 2020-12-22 南京大学 一种基于lstm深度学习的河流水温预测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115271266A (zh) * 2022-09-27 2022-11-01 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 地下水水位动态预测方法及系统
CN115563907A (zh) * 2022-11-10 2023-01-03 中国长江三峡集团有限公司 水动力模型参数优化、水位流量变化过程模拟方法及装置
CN116740015A (zh) * 2023-06-12 2023-09-12 北京长木谷医疗科技股份有限公司 基于深度学习的医学图像智能检测方法、装置及电子设备
CN117195152A (zh) * 2023-09-20 2023-12-08 长江水利委员会长江科学院 一种基于深度学习的坝下支流顶托条件分析系统
CN117195152B (zh) * 2023-09-20 2024-05-17 长江水利委员会长江科学院 一种基于深度学习的坝下支流顶托条件分析系统
CN117634321A (zh) * 2024-01-25 2024-03-01 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种水库蓄水顶托作用下的水文站水位流量关系重构方法
CN117634321B (zh) * 2024-01-25 2024-04-26 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种水库蓄水顶托作用下的水文站水位流量关系重构方法

Also Published As

Publication number Publication date
CN115099500B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115099500B (zh) 基于权重修正和drsn-lstm模型的水位预测方法
CN111639748B (zh) 一种基于lstm-bp时空组合模型的流域污染物通量预测方法
CN110084367B (zh) 一种基于lstm深度学习模型的土壤墒情预测方法
CN110471950B (zh) 一种中小河流实时洪水预报智能模型预报方法
CN108304668B (zh) 一种结合水文过程数据和历史先验数据的洪水预测方法
CN109299812B (zh) 一种基于深度学习模型和knn实时校正的洪水预测方法
CN115293415A (zh) 计及时间演变和空间相关的多风电场短期功率预测方法
CN112287294B (zh) 一种基于深度学习的时空双向土壤含水量插值方法
CN115688579A (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
CN113052469B (zh) 一种缺乏量测径流小水电地区的风光水荷互补特性的计算方法
CN113705877A (zh) 基于深度学习模型的实时月径流预报方法
CN113255986A (zh) 一种基于气象信息和深度学习算法的多步日径流预报方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN115423163A (zh) 一种流域短期洪水事件预测方法、装置及终端设备
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN112285376A (zh) 一种基于cnn-lstm的风速预测方法
CN112396152A (zh) 一种基于cs-lstm的洪水预报方法
CN114792158A (zh) 基于时空融合图神经网络的多风电场短期功率预测方法
Shi et al. Deep-learning-based wind speed forecasting considering spatial–temporal correlations with adjacent wind turbines
CN115238948A (zh) 小水电发电量预测方法及装置
CN116187540A (zh) 一种基于时空偏差修正的风电场站超短期功率预测方法
Ranjan et al. ANN and GRNN-based coupled model for flood inundation mapping of the Punpun River basin
Wan et al. A novel approach to extreme rainfall prediction based on data mining
Velasco et al. Performance analysis of multilayer perceptron neural network models in week-ahead rainfall forecasting
CN115860165A (zh) 一种考虑初损的神经网络流域降雨径流预报方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant