CN113780537A - 一种质子交换膜燃料电池发电系统的故障诊断方法及装置 - Google Patents
一种质子交换膜燃料电池发电系统的故障诊断方法及装置 Download PDFInfo
- Publication number
- CN113780537A CN113780537A CN202111336989.XA CN202111336989A CN113780537A CN 113780537 A CN113780537 A CN 113780537A CN 202111336989 A CN202111336989 A CN 202111336989A CN 113780537 A CN113780537 A CN 113780537A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- fuel cell
- formula
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000446 fuel Substances 0.000 title claims abstract description 74
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 239000012528 membrane Substances 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010248 power generation Methods 0.000 title claims abstract description 28
- 238000013531 bayesian neural network Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000007637 random forest analysis Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 60
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 238000003066 decision tree Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 57
- 239000013589 supplement Substances 0.000 description 7
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 6
- 229910052739 hydrogen Inorganic materials 0.000 description 6
- 239000001257 hydrogen Substances 0.000 description 6
- 239000002826 coolant Substances 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012983 electrochemical energy storage Methods 0.000 description 1
- 238000003487 electrochemical reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
- H01M8/00—Fuel cells; Manufacture thereof
- H01M8/04—Auxiliary arrangements, e.g. for control of pressure or for circulation of fluids
- H01M8/04298—Processes for controlling fuel cells or fuel cell systems
- H01M8/04313—Processes for controlling fuel cells or fuel cell systems characterised by the detection or assessment of variables; characterised by the detection or assessment of failure or abnormal function
- H01M8/04664—Failure or abnormal function
- H01M8/04679—Failure or abnormal function of fuel cell stacks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/30—Hydrogen technology
- Y02E60/50—Fuel cells
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Manufacturing & Machinery (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Electrochemistry (AREA)
- General Chemical & Material Sciences (AREA)
- Fuel Cell (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种质子交换膜燃料电池发电系统的故障诊断方法及装置。针对各类故障发生的不确定性,本发明采用的诊断方法为:将深度学习神经网络模型中的固定参数替换为随机变量,通过概率密度分布对各类故障发生的不确定性量化,建立贝叶斯神经网络;然后采用随机森林算法对给定的样本数据集进行数据预处理,提取数据集中的主要特征数据,实现数据降维,并使用预处理后的数据对模型进行训练;最后对于任意一组测试集中的数据,经过训练后的贝叶斯神经网络判断后,给出质子交换膜燃料电池发生某类故障的可能性。本发明利用贝叶斯神经网络将不确定性引入质子交换膜燃料电池的故障诊断,可以有效提高故障诊断时的容错率和准确性。
Description
技术领域
本发明属于质子交换膜燃料电池发电领域,具体地说是一种考虑不确定性的质子交换膜燃料电池发电系统故障诊断方法及装置。
背景技术
燃料电池是一种新型电化学发储能电池,有效地将氢能利用起来,通过电化学反应将化学能高效环保的转化为电能。在各种类型的燃料电池中,质子交换膜燃料电池具有低噪音、零污染、无腐蚀、长寿命等特点,还具备输出电流大、工作温度低、能量效率高、启动快、结构紧凑等优点,被广泛应用于便携式电源、机动车电源和中小型发电系统。同时,以质子交换膜燃料电池为基础建立的发电站,在用电高峰时期可以与电网调度系统接驳,平衡电网负荷。
以质子交换膜燃料电池为基础建立的发电系统会遇到燃料电池的寿命和可靠性问题,应及时检测、隔离和及时纠正与操作性能相关的故障,以避免对发电系统造成严重损坏。对于质子交换膜燃料电池系统,通过有效的诊断,实现早起故障报警,可以避免更严重的故障。基于诊断结果,可以调节操作条件以使燃料电池高效安全地运行。此外,精确的诊断信息可以加快新技术的发展,并减少停机时间(修复时间)、在过去数十年中,质子交换膜燃料电池的故障诊断一直受到学术界和工业界地越来越多的关注。
目前在质子交换膜燃料电池的故障诊断方面已经有了多种诊断方法。专利CN202011536736.2根据质子交换膜燃料电池堆的结构组成,整理总结燃料电池堆可能发生的故障,然后将其构建成燃料电池故障重要度和质子交换膜故障重要度层次结构模型进行层次分析,从故障是否可恢复、对电池的影响程度、故障出现的概率、导致电池性能的衰减率等方面来构造判断矩阵,最后得出方案层各故障的具体权值及排序,可根据排序结果确定燃料电池系统的故障诊断重点部分。专利CN201911146929.4公开了一种质子交换膜燃料电池系统的模式识别故障诊断方法,通过采集在正常状态和故障状态下的压缩机电机电压、压缩机电机电流、压缩机转速、燃料电池电压、燃料电池电流、氢气进堆压力、空气进堆压力、压缩机出口压力等诊断变量,针对获取的正常状态和故障状态下的诊断变量,进行数据归一化处理,建立初始化样本集,通过采用PFCM-OABC-SVM组合模式识别算法进行质子交换膜燃料电池系统的故障诊断,确定质子交换膜燃料电池系统的状态。
虽然很多学者已经对质子交换膜燃料电池的故障诊断进行了大量研究工作,但是用于质子交换膜燃料电池的故障诊断方法仍然相对滞后与燃料电池技术中的其他开发领域。一些技术方面的挑战仍然存在,目前已经提出的方法主要集中在检测一些特定故障的能力,并未考虑多种故障中某一故障的不确定性。为了使诊断方法更加完善和精确,需要考虑发生故障的不确定性。
发明内容
为了降低甚至避免质子交换膜燃料电池故障对发电系统造成的损害,本发明提供一种考虑不确定性的质子交换膜燃料电池发电系统的故障诊断方法及装置,即通过考虑质子交换膜燃料电池各类故障发生的不确定性,来确定燃料电池发生某一故障的概率范围,从而提高燃料电池故障诊断的容错率和准确性。
为此,本发明采用如下技术方案:一种质子交换膜燃料电池发电系统的故障诊断方法,其包括步骤:
1)将深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布对各类故障发生的不确定性量化,建立贝叶斯神经网络;
2)对给定的样本数据集进行数据预处理,采用随机森林算法提取数据集中的主要特征数据,实现数据降维,并将处理之后的数据集分为训练集和测试集;
3)将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解;
4)将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
作为上述技术方案的补充(所述步骤1),本发明按如下步骤建立贝叶斯神经网络:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率
p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i , σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ有关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
作为上述技术方案的补充(所述步骤2),本发明采用随机森林算法提取数据集中的主要特征数据,实现数据降维,其步骤包括:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为N棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
作为上述技术方案的补充(所述步骤3),所述贝叶斯神经网络的训练包括以下步骤:
步骤A),将经过随机森林算法处理过的数据输入网络;
步骤B),从高斯分布(μ i ,σ i )中采样,获得网络参数ω i ;
步骤D),重复更新参数θ ’ =θ ’ -α▽ θ L,直至损失函数取得最小值。
作为上述技术方案的补充(所述步骤4),对于任意一组测试集中的数据,经过贝叶斯神经网络判断后,给出质子交换膜燃料电池发电站发生某类故障的可能性区间,其判断步骤如下:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维:
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间;
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
本发明还提供一种质子交换膜燃料电池发电系统的故障诊断装置,其包括贝叶斯神经网络建立单元、样本数据集预处理单元、模型训练单元和燃料电池故障诊断单元;
所述的贝叶斯神经网络建立单元:将深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布进行不确定性的量化,建立贝叶斯神经网络;
所述的样本数据集预处理单元:对给定的样本数据集进行数据预处理,采用随机森林法提取数据集中的主要特征数据,实现数据降维,同时将处理之后的数据集分为训练集和测试集;
所述的模型训练单元:将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解;
所述的燃料电池故障诊断单元:将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
作为上述技术方案的补充,在贝叶斯神经网络建立单元中,按如下步骤建立贝叶斯神经网络:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中,X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率
p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i , σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ有关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
作为上述技术方案的补充,在样本数据集预处理单元中,采用随机森林算法进行数据预处理的步骤如下:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为N棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
作为上述技术方案的补充,在模型训练单元中,按如下步骤训练贝叶斯神经网络:
步骤A),将经过随机森林算法处理过的数据输入网络;
步骤B),从高斯分布(μ i ,σ i )中采样,获得网络参数ω i ;
步骤D),重复更新参数θ ’ =θ ’ -α▽ θ L,直至损失函数取得最小值。
作为上述技术方案的补充,在燃料电池故障诊断单元,按如下步骤进行燃料电池故障诊断:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维:
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间;
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
与现有技术相比,本发明具有的有益效果为:本发明将不确定性引入质子交换膜燃料电池的故障诊断中,建立了一种基于贝叶斯神经网络的质子交换膜燃料电池故障诊断模型,将某一故障的发生与否转化为某一故障发生的概率范围,提高了故障诊断的容错率和准确性。
此外,本发明还借助随机森林算法对数据集进行预处理,选取主要的数据特征作为贝叶斯神经网络的输入,降低了数据集的复杂程度,使模型求解速度更快。
附图说明
图1为本发明一种考虑不确定性的质子交换膜燃料电池发电系统故障诊断方法的流程图;
图2为本发明贝叶斯神经网络的流程图;
图3为本发明质子交换膜燃料电池发电系统故障诊断方法及装置中的信号测控示意图。
如图所示,信号1至信号10分别测量的数据为模块入口氢气压力、电堆入口氢气压力、电堆电压、电堆电流、电堆出口氢气压力、空气机入口空气温度、空气入口压力、电堆冷却液入口温度、电堆冷却液出口温度、空气出口温度。
具体实施方式
下面结合说明书附图与实施例,对本发明的具体实施方式作进一步的详细描述,以下实施例用于举例说明本发明,而不用于限制本发明的范围。
本发明提出的一种考虑不确定性的质子交换膜燃料电池发电站的故障诊断方法,其步骤如下:建立考虑不确定性的神经网络模型,采用随机森林算法对数据集进行数据预处理,用处理后的数据对贝叶斯神经网络进行训练,最后使用训练后的贝叶斯神经网络来计算燃料电池各类故障在相应置信区间中发生的可能性。
实施例1
本实施例提供一种考虑不确定性的质子交换膜燃料电池发电系统的故障诊断方法,其包含贝叶斯神经网络的建立、样本数据集的预处理、模型训练、燃料电池的故障诊断四个步骤,如图1所示,具体内容如下:
1)将经典的深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布对各类故障发生的不确定性量化,建立贝叶斯神经网络。
2)对给定的样本数据集进行数据预处理,采用随机森林法提取数据集中的主要特征数据,实现数据降维,并将处理之后的数据集分为训练集和测试集。
3)将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解。
4)将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
步骤1)中,按如下步骤建立贝叶斯神经网络,如图2所示:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率
p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i , σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ有关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
本实施例中各燃料电池电堆故障样本数据集
如图3质子交换膜燃料电池信号测控示意图所示,数据测控单元测量的信号1至10分别为模块入口氢气压力、电堆入口氢气压力、电堆电压、电堆电流、电堆出口氢气压力、空气机入口空气温度、空气入口压力、电堆冷却液入口温度、电堆冷却液出口温度、空气出口温度。
将这些测量数据作为本发明的诊断数据,如下表所示:
对以上10个诊断变量,本发明采用随机森林算法对数据集进行预处理,提取数据主要特征,其主要步骤如下:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为50棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
将预处理后的数据集分为训练集和测试集,使用测试集的数据对贝叶斯神经网络进行训练,其训练步骤主要如下:
步骤A),将经过随机森林算法处理过的数据输入网络。
步骤B),从高斯分布(μ i ,σ i )中采样,获得网络参数ω i 。
步骤D),重复更新参数θ ’ =θ ’ -α▽ θ L,直至损失函数取得最小值。
使用本实施例中各燃料电池电堆故障样本数据集对贝叶斯神经网络进行训练,训练结果如下:
考虑不确定性的质子交换膜燃料电池发电系统的故障类型预测结果(训练样本)
贝叶斯神经网络训练完成后,对于给定任意一数据集,将按照如下步骤进行故障诊断:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维。
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间。
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
使用本实施例中各燃料电池电堆故障样本数据集对贝叶斯神经网络进行测试,测试结果如下:
本发明的故障类型预测结果(测试样本)
实施例2
本实施例提供一种考虑不确定性的质子交换膜燃料电池发电系统的故障诊断装置,包含贝叶斯神经网络建立单元、样本数据集预处理单元、模型训练单元、燃料电池故障诊断单元,具体内容如下:
贝叶斯神经网络建立单元:将经典的深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布进行不确定性的量化,建立贝叶斯神经网络。
样本数据集预处理单元:对给定的样本数据集进行数据预处理,采用随机森林法提取数据集中的主要特征数据,实现数据降维,同时将处理之后的数据集分为训练集和测试集。
模型训练单元:将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解。
燃料电池故障诊断单元:将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
具体地,所述贝叶斯神经网络建立单元中,按如下步骤建立贝叶斯神经网络:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i ,σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
具体地,所述样本数据集预处理单元中,采用随机森林算法进行数据预处理,其主要步骤如下:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为N棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
具体地,在模型训练单元中,按如下步骤训练贝叶斯神经网络:
步骤A),将经过随机森林算法处理过的数据输入网络。
步骤B),从高斯分布(μ i ,σ i )中采样,获得网络参数ω i 。
步骤D),重复更新参数θ ’ =θ ’ -α▽ θ L,直至损失函数取得最小值。
具体地,所述燃料电池故障诊断单元中,按如下步骤进行燃料电池故障诊断:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维。
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间。
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种质子交换膜燃料电池发电系统的故障诊断方法,其特征在于,包括步骤:
1)将深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布对各类故障发生的不确定性量化,建立贝叶斯神经网络;
2)对给定的样本数据集进行数据预处理,采用随机森林算法提取数据集中的主要特征数据,实现数据降维,并将处理之后的数据集分为训练集和测试集;
3)将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解;
4)将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
2.根据权利要求1所述的质子交换膜燃料电池发电系统的故障诊断方法,其特征在于,按如下步骤建立贝叶斯神经网络:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率
p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i ,σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ有关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
3.根据权利要求1所述的质子交换膜燃料电池发电系统的故障诊断方法,其特征在于,采用随机森林算法提取数据集中的主要特征数据,实现数据降维,其步骤包括:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为N棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
5.根据权利要求1中所述的质子交换膜燃料电池发电系统的故障诊断方法,其特征在于,对于任意一组测试集中的数据,经过贝叶斯神经网络判断后,给出质子交换膜燃料电池发电站发生某类故障的可能性区间,其判断步骤如下:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维:
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间;
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
6.一种质子交换膜燃料电池发电系统的故障诊断装置,其特征在于,包括贝叶斯神经网络建立单元、样本数据集预处理单元、模型训练单元和燃料电池故障诊断单元;
所述的贝叶斯神经网络建立单元:将深度学习神经网络中的固定参数替换为随机变量,通过概率密度分布进行不确定性的量化,建立贝叶斯神经网络;
所述的样本数据集预处理单元:对给定的样本数据集进行数据预处理,采用随机森林法提取数据集中的主要特征数据,实现数据降维,同时将处理之后的数据集分为训练集和测试集;
所述的模型训练单元:将训练集中的数据作为贝叶斯神经网络的输入,训练网络参数,直至找到使损失函数达到最小的全局最优解;
所述的燃料电池故障诊断单元:将测试集中的数据作为训练后的贝叶斯神经网络的输入,判断各类故障在相应置信区间发生的可能性。
7.根据权利要求6所述的质子交换膜燃料电池发电系统的故障诊断装置,其特征在于,在贝叶斯神经网络建立单元中,按如下步骤建立贝叶斯神经网络:
步骤A),假设神经网络中的网络参数为ω,p(ω)是参数的先验分布,给定训练样本记作D=(X,Y),其中X是输入数据,Y是标签数据,网络参数ω的取值与训练样本有关,设ω服从某一分布,记为p(ω|D),则预测值表示为:
式中,p(ω|D)是后验概率,p(D|ω)是似然函数,p(D)是边缘函数;由于ω是随机变量,故预测值也是一个随机变量,用于表征预测值的不确定度;Y * 为预测值;Δω为网络参数ω的最小微元;
步骤B),由于贝叶斯神经网络中的后验概率p(ω|D)不能直接求出,故需要用变分推断对后验概率进行近似,并构建所需的损失函数;
利用变分推断的方法,用由一组参数θ控制的分布q(ω|θ)去逼近真正的后验概率
p(ω|D),使用高斯分布来近似,即令θ=(μ,σ),则每个网络参数ω i 服从参数为(μ i ,σ i )的高斯分布;使用KL散度度量q(ω|θ)和p(ω|D)的差异,也就是优化:
θ * =argmin KL[q(ω|θ‖p(ω|D)],
式中,θ * 表征q(ω|θ)和p(ω|D)的差异,与参数θ有关;
根据KL散度的公式,进一步推导得到:
由于边缘函数p(D)与θ无关,故损失函数写为:
式中,E q(ω|θ)表示服从q(ω|θ)分布的数学期望;L(D,θ)为损失函数,其值随着参数θ变化;
步骤C),利用蒙特卡洛模拟损失函数近似得到:
式中,θ i 为参数ω i 所服从的高斯分布;X j 为第j个输入数据;Y j 为X j 对应的标签数据;
步骤D),为降低模型的复杂性,需要对模型进行一定的缩放;假设▽将整个数据集分为M批,并对每一小批数据作平均,得到:
步骤E),用梯度下降法更新网络参数,即:
式中,θ ’ 为更新后的参数θ;▽ θ 为关于参数θ的梯度;α为学习率;L即为损失函数L(D,θ)。
8.根据权利要求6所述的质子交换膜燃料电池发电系统的故障诊断装置,其特征在于,在样本数据集预处理单元中,采用随机森林算法进行数据预处理的步骤如下:
步骤A),将特征的重要性评分用VIM表示,采用基尼系数GI作为衡量贡献度的指标,将特征记为x 1, x 2,…x c;
基尼系数GI的计算公式为:
其中,k表示类别,p mk 表示节点m中类别k所占的比例;GI m 表示节点m的基尼系数;
特征x j 在节点m的重要性,即节点m分支前后的基尼系数变化量:
其中,GI l 和GI r 分别表示节点m分支前后两个节点的基尼系数;
步骤C),设置随机森林中的数为N棵,则第j个特征在随机森林所有决策树中节点分裂不纯度的平均改变量,即特征x j 的基尼系数评分VIM j 的计算公式为:
式中,c为所有特征个数的总合。
10.根据权利要求6所述的质子交换膜燃料电池发电系统的故障诊断装置,其特征在于,在燃料电池故障诊断单元,按如下步骤进行燃料电池故障诊断:
步骤A),采用随机森林算法对数据集中的数据进行预处理,提取数据特征的同时实现数据降维:
步骤B),由于使用概率密度分布对各类故障发生时的不确定性进行量化,需要手动选取各类故障发生的置信区间;
步骤C),将预处理后的数据输入训练后的贝叶斯神经网络,得到各类故障在相应置信区间内发生的可能性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111336989.XA CN113780537B (zh) | 2021-11-12 | 2021-11-12 | 一种质子交换膜燃料电池发电系统的故障诊断方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111336989.XA CN113780537B (zh) | 2021-11-12 | 2021-11-12 | 一种质子交换膜燃料电池发电系统的故障诊断方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113780537A true CN113780537A (zh) | 2021-12-10 |
CN113780537B CN113780537B (zh) | 2022-03-15 |
Family
ID=78957026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111336989.XA Active CN113780537B (zh) | 2021-11-12 | 2021-11-12 | 一种质子交换膜燃料电池发电系统的故障诊断方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780537B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114492087A (zh) * | 2022-04-02 | 2022-05-13 | 国网浙江省电力有限公司电力科学研究院 | 氢储能电站质子交换膜燃料电池故障诊断方法及装置 |
CN118630266A (zh) * | 2024-08-14 | 2024-09-10 | 南昌大学 | 一种sofc系统电堆性能分级与故障诊断方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902801A (zh) * | 2019-01-22 | 2019-06-18 | 华中科技大学 | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 |
CN110579709A (zh) * | 2019-08-30 | 2019-12-17 | 西南交通大学 | 一种有轨电车用质子交换膜燃料电池故障诊断方法 |
CN110751199A (zh) * | 2019-10-15 | 2020-02-04 | 南京航空航天大学 | 一种基于贝叶斯神经网络的卫星异常检测方法 |
-
2021
- 2021-11-12 CN CN202111336989.XA patent/CN113780537B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902801A (zh) * | 2019-01-22 | 2019-06-18 | 华中科技大学 | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 |
CN110579709A (zh) * | 2019-08-30 | 2019-12-17 | 西南交通大学 | 一种有轨电车用质子交换膜燃料电池故障诊断方法 |
CN110751199A (zh) * | 2019-10-15 | 2020-02-04 | 南京航空航天大学 | 一种基于贝叶斯神经网络的卫星异常检测方法 |
Non-Patent Citations (3)
Title |
---|
O过把火O: "随机森林如何评估特征重要性", 《HTTP/WWW.JIANSHU.COMP/P/7A876BB876B9》 * |
熊和金: "《智能信息处理第2版》", 30 August 2012 * |
黄亮: "基于差分进化优化的支持向量机燃料电池故障诊断", 《电源技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114492087A (zh) * | 2022-04-02 | 2022-05-13 | 国网浙江省电力有限公司电力科学研究院 | 氢储能电站质子交换膜燃料电池故障诊断方法及装置 |
CN114492087B (zh) * | 2022-04-02 | 2022-07-19 | 国网浙江省电力有限公司电力科学研究院 | 氢储能电站质子交换膜燃料电池故障诊断方法及装置 |
CN118630266A (zh) * | 2024-08-14 | 2024-09-10 | 南昌大学 | 一种sofc系统电堆性能分级与故障诊断方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113780537B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110579709B (zh) | 一种有轨电车用质子交换膜燃料电池故障诊断方法 | |
Gu et al. | Data-based flooding fault diagnosis of proton exchange membrane fuel cell systems using LSTM networks | |
CN113780537B (zh) | 一种质子交换膜燃料电池发电系统的故障诊断方法及装置 | |
Lin et al. | Hydrogen fuel cell diagnostics using random forest and enhanced feature selection | |
CN109840593B (zh) | 诊断固体氧化物燃料电池系统故障的方法及设备 | |
CN114899457B (zh) | 一种针对质子交换膜燃料电池系统的故障检测方法 | |
CN110705657B (zh) | 一种质子交换膜燃料电池系统的模式识别故障诊断方法 | |
CN112784216B (zh) | 一种质子交换膜燃料电池系统的健康度评估方法及系统 | |
CN112069741A (zh) | 燃料电池电堆暂态老化预测方法、装置、设备及储存介质 | |
CN112117475A (zh) | 一种燃料电池水管理子系统故障检测装置及方法 | |
CN115598536A (zh) | 基于模糊c均值聚类和概率神经网络的pemfc故障诊断方法 | |
CN114048688A (zh) | 一种风力发电机轴承寿命预测方法 | |
CN114943372A (zh) | 基于贝叶斯循环神经网络的质子交换膜寿命预测方法及装置 | |
CN118114101B (zh) | 燃料电池故障诊断方法及系统 | |
Peng et al. | Generalized spatial–temporal fault location method for solid oxide fuel cells using LSTM and causal inference | |
CN112331888A (zh) | 一种基于仿真模型的燃料电池电堆模拟器 | |
Xiao et al. | Water management fault diagnosis for proton-exchange membrane fuel cells based on deep learning methods | |
Mehnatkesh et al. | Estimation of water coverage ratio in low temperature PEM-fuel cell using deep neural network | |
CN113359037A (zh) | 基于bp神经网络的燃料电池故障诊断方法 | |
CN114583219A (zh) | 一种质子交换膜燃料电池的水淹故障诊断方法 | |
CN115248382A (zh) | 一种质子交换膜燃料电池控制方法 | |
CN117457949A (zh) | 一种基于电化学阻抗谱的燃料电池水故障诊断方法及系统 | |
Dang et al. | A novel diagnosis method of proton exchange membrane fuel cells based on the PCA and XGBoost algorithm | |
CN112507526B (zh) | 一种质子交换燃料电池系统性能预测方法及系统 | |
CN113161586A (zh) | 一种燃料电池系统运行控制方法及控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |