CN112131673A - 基于融合神经网络模型的发动机喘振故障预测系统及方法 - Google Patents
基于融合神经网络模型的发动机喘振故障预测系统及方法 Download PDFInfo
- Publication number
- CN112131673A CN112131673A CN202011056637.4A CN202011056637A CN112131673A CN 112131673 A CN112131673 A CN 112131673A CN 202011056637 A CN202011056637 A CN 202011056637A CN 112131673 A CN112131673 A CN 112131673A
- Authority
- CN
- China
- Prior art keywords
- engine
- data
- prediction
- sequence
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
Abstract
本发明公开了基于融合神经网络模型的发动机喘振故障预测系统及方法,属于时间序列数据预测技术领域,系统包括:预测模块,用于发动机的三维结构时间序列数据生成指定长度的预测时间序列;特征提取模块,用于提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;分类模块,用于根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。本发明先生成指定长度的预测时间序列,即实现未来一段时间内发动机的工作状态数据的预测,再判断未来一段时间内发动机的工作状态数据是否包括喘振故障数据,以此对发动机喘振故障进行更加准确、快速的提前预测。
Description
技术领域
本发明涉及时间序列数据预测技术领域,尤其涉及基于融合神经网络模型的发动机喘振故障预测系统及方法。
背景技术
航空发动机是飞机的“心脏”,而发动机故障在飞行故障中占据着相当大的比例,且一旦发生故障会非常致命。因此如何对航空发动机故障进行提前预测是当前飞行安全需要解决的难题。而航空发动机喘振故障是一种常见的不正常工作状态,它会导致发动机机件的剧烈震动和热端超温,严重时甚至会危及飞行安全。因此在发动机即将出现喘振时及时发现并识别出喘振现象,进而采取消喘措施,是避免出现飞行事故的重要前提之一。
关于故障预测方法的研究目前呈现出多样化的趋势,主要分为基于模型、基于知识以及基于数据的预测方法。
1.基于模型的预测;主要包括失效物理模型和基于系统的输入输出模型。虽然这些方法其能够满足于实时性的要求,但是由于发动机本身就是一个复杂的非线性振动系统,因此对于预测模型的建立非常困难。
2.基于知识的预测;基于知识的预测可以不需要精确的数学模型,能够充分发挥其发动机各个学科专家知识和经验,但由于专家知识库覆盖的故障模式有限,因此在实际应用中还有诸多问题有待解决。
3.基于数据的预测;基于数据的预测最大优点就是不需要精确的发动机数学模型和物理模型,以数据为基础,通过挖掘数据其中的隐含信息进行预测。其中基于机器学习和深度学习模型的故障预测技术已逐渐成为目前的主流方法,特别是基于深度学习通过构建神经网络模型来完成对发动机故障预测的方法能够不依赖于前期假设,无需处理原始数据,能够直接通过构建的网络模型自动学习预测性的特征。
进一步地,由于航空发动机传感器数据属于时序数据,因此对于航空发动机传感器数据的预测可以看作是时序数据预测问题。传统的时间序列预测方法主要有AR、MR、ARMA、ARIMA等线性模型,其对于平稳时间序列预测有着较好的效果。但是对于股市数据、水文数据又或者是此次提到的航空发动机传感器数据来说大部分都具有非线性特征,传统的线性预测很难得到较好的预测结果。
目前,对于航空发动机传感器这样的时序数据进行预测的问题在业界内并没有太多解决方案,大部分都是基于航空发动机传感器数据解决对航空发动机的剩余寿命预测或是故障诊断等问题。其中基于数据使用机器学习算法或建立深度学习模型进行预测的方案非常少,绝大部分都是基于模型或知识来进行预测,不仅费时费力且预测准确度不高。
发明内容
本发明的目的在于克服在航空发动机喘振故障预测领域上基于数据进行预测的技术空白,能够更加准确快速的提前预测出故障,提供了基于融合神经网络模型的发动机喘振故障预测系统及方法。
本发明的目的是通过以下技术方案来实现的:基于融合神经网络模型的发动机喘振故障预测系统,系统具体包括:
预测模块,用于发动机的三维结构时间序列数据生成指定长度的预测时间序列;特征提取模块,用于提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;分类模块,用于根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。
作为一选项,所述预测模块包括顺次连接的第一LSTM层和第二LSTM层;所述第一LSTM层作为编码器,用于将发动机的三维结构时间序列数据编码成批量的二维语义向量;所述第二LSTM层作为解码器,用于将二维语义向量解码为指定长度的预测时间序列。
作为一选项,所述特征提取模块包括顺次连接的一维卷积单元和第三LSTM层;所述一维卷积单元用于提取预测时间序列的局部特征;所述第三LSTM层用于对提取预测时间序列中数据间的语义关系、以及整体序列趋势特征。
作为一选项,所述一维卷积单元具体包括两个顺次连接的、卷积步长为1的一维卷积层。
作为一选项,所述分类模块包括顺次连接的第一全连接层和第二全连接层;所述第一全连接层用于将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;所述第二全连接层用于将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。
本发明还包括一种基于融合神经网络模型的发动机喘振故障预测方法,所述方法包括以下步骤:
将发动机的三维结构时间序列数据生成指定长度的预测时间序列;
提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;
根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。
作为一选项,所述根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障具体包括:
将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。
作为一选项,所述将加权映射后的特征信息进行二分类时具体包括:
采用Sigmoid激活函数判断发动机在未来一段时间内是否会发生喘振故障,函数为:
其中,x表示加权映射后的特征信息的线性组合。
作为一选项,所述方法还包括数据预处理步骤:
采用滑动窗口法截取发动机不同监测装置数据的子序列,得到子序列集;将子序列集中的某一子序列作为划分点子序列,将划分点子序列之前的子序列作为训练集,将划分点子序列之后的子序列作为测试集。
作为一选项,所述方法还包括反向传播训练步骤:
采用二分类交叉熵函数作为损失函数进行反向传播训练得到所述预测方法基于的模型中各网络层的权重系数梯度,进而对各网络层的权重系数进行更新;损失函数为:
其中,pi表示某一序列i得到的预测结果为喘振故障的概率,yi表示样本i的标签值,N为样本个数。
需要进一步说明的是,上述系统或方法中各选项对应的技术特征可以相互组合或替换构成新的技术方案。
与现有技术相比,本发明有益效果是:
(1)本发明系统预测模块将发动机的三维结构时间序列数据生成指定长度的预测时间序列,即实现未来一段时间内发动机的工作状态数据的预测,再通过特征提取模块、分类模块提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征并进行分类,进而判断未来一段时间内发动机的工作状态数据是否包括喘振故障数据,以此对发动机喘振故障进行更加准确、快速的提前预测。
(2)本发明通过一维卷积单元提取预测时间序列的局部特征,第三LSTM层提取预测时间序列中数据间的语义关系、以及整体序列趋势特征,以此获取发动机时间序列数据更全面的特征信息,利于提升数据分类的准确性。
(3)本发明一维卷积单元具体包括两个顺次连接的、卷积步长为1的一维卷积层,在不采用池化层提取特征信息的基础上,能够保留更多的特征信息,提高了系统的精准性和召回率。
(4)本发明方法通过将发动机的三维结构时间序列数据生成指定长度的预测时间序列,实现未来一段时间内发动机的工作状态数据的预测;再通过特征提取模块、分类模块提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征并进行分类,进而判断未来一段时间内发动机的工作状态数据是否包括喘振故障数据,以此对发动机喘振故障进行更加准确、快速的提前预测。
(5)本发明采用Sigmoid激活函数判断发动机在未来一段时间内是否会发生喘振故障,将发动机发生喘振故障的映射到(0,1)的区间内,适用于本发明用于判断发动机在未来一段时间内是否会发生喘振故障的预测场景。
(6)本发明采用滑动窗口法截取发动机不同监测装置数据的子序列,能够得到海量子序列构成子序列集,利于对预测模型进行训练,以提高模型的预测准确率;根据划分点子序列划分训练集和测试集,防止引入未来数据使模型训练过程中发生过拟合现象影响模型最终的预测效果。
(7)本发明采用二分类交叉熵函数作为损失函数进行反向传播训练,对各网络层的权重系数进行更新。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明,此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,在这些附图中使用相同的参考标号来表示相同或相似的部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为本发明实施例1的系统框图;
图2为本发明实施例1的预测模块框图;
图3为本发明实施例1的预测模块预测曲线与真实数据曲线对照图;
图4为本发明实施例1的一维卷积单元框图;
图5为本发明实施例1的系统预测曲线与真实数据曲线对照图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,属于“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,属于“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明基于融合神经网络模型的发动机喘振故障预测系统及方法,系统具有预测和分类功能,通过先预测未来的传感器数据后对其判定是否为喘振的分类步骤,最终实现了对航空发动机喘振故障的提前预测。
实施例1
如图1所示,在实施例1中,基于融合神经网络模型的发动机喘振故障预测系统,本发明基于融合神经网络(PCFNN)的系统具体包括顺次连接的预测模块、特征提取模块和分类模块。具体地,预测模块用于发动机的三维结构时间序列数据生成指定长度的预测时间序列;特征提取模块用于提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;分类模块,用于根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。本发明系统预测模块将发动机的三维结构时间序列数据(时间序列矩阵)生成指定长度的预测时间序列(预测序列矩阵),即实现未来一段时间内发动机的工作状态数据的预测,再通过特征提取模块、分类模块提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征并进行分类,进而判断未来一段时间内发动机的工作状态数据是否包括喘振故障数据,以此对发动机喘振故障进行更加准确、快速的提前预测。相较于现有技术中卷积层、LSTM层顺次连接的神经网络模型而言,本发明能够实现对未来一段时间内是否发生喘振故障进行预测,而非局限于仅对历史数据的故障诊断,具有更广阔的应用前景。
进一步地,如图2所示,预测模块包括顺次连接的第一LSTM层和第二LSTM层;第一LSTM层作为编码器,用于将发动机的三维结构时间序列数据编码成批量的二维语义向量;第二LSTM层作为解码器,用于将二维语义向量解码为指定长度的预测时间序列。更为具体地,批量的二维语义向量是由第一LSTM层中最后一个Cell的输出,表示当前整个输入序列的语义特征,接着将该语义向量复制,使当前序列长度与输出序列长度相等,以保证数据预测的精准性。将指定长度的二维语义向量解码为指定长度的预测时间序列,可通过设置其LSTM解码器中Cell的个数实现,即通过设置不同个数的LSTM Cell可以生成指定长度的预测时间序列,最终得到未来一段时间内航空发动机的工作状态数据值。更为具体地,预测模块还包括一全连接层,该全连接层与第二LSTM层连接,用于将输出的三维向量中的Cell单元神经元的个数通过维度变换输出与所需时序数据每个时间点的特征数所对应的个数。需要说明的是,第二LSTM层输出的特征信息是一个包括训练的批量数据个数、时间步数(序列长度)、每个Cell单元神经元数的三维向量,其中,第三个维度即每个Cell单元神经元的个数一般表示的是该时间步数据的特征个数,在这里指代的便是当前时间点航空发动机检测装置的个数即当前时间点的特征数。
需要进一步说明的是,在预测模块的激活函数选择上并没有使用激活函数如Relu、Sigmoid或者Tanh,而是直接输出值,这是因为首先在LSTM层中本身默认使用了Tanh函数进行最后输出的激活,因此并没有再次使用Tanh函数和与之类似的Sigmoid函数,Relu函数本身常用于避免深度神经网络训练中经常出现的梯度消失问题,而本发明提到的预测模块是属于浅层神经网络,则无需再进一步采用Relu函数。
进一步地,特征提取模块包括顺次连接的一维卷积单元和第三LSTM层;具体地,在得到指定长度的预测序列矩阵后将输入序列中的一部分与该预测序列拼接重构后作为之后一维卷积单元的输入,一维卷积单元提取预测时间序列的局部特征并进行特征分析,第三LSTM层再对提取预测时间序列中数据间的语义关系、以及整体序列趋势特征,以获得发动机时间序列数据更全面的特征信息,利于提升数据分类的准确性。
进一步地,如图4所示,一维卷积单元具体包括两个顺次连接的、卷积步长为1的一维卷积层,在不采用池化层提取特征信息的基础上,能够保留更多的特征信息,提高了系统的精准性和召回率。更为具体地,两个一维卷积层均采用了Relu激活函数,让一部分神经元输出为0,以使网络具有稀疏性,减少了参数之间的相互依存性和过拟合发生的概率,减少计算量以加快训练速度。需要进一步说明的是,传统CNN架构一般为卷积层+池化层,其中卷积层负责提取数据特征,池化层负责对提取到的特征信息做出进一步的降维操作,其中池化层的目的是为了能够进一步提炼特征,并加快训练速度,减小过拟合;作为一选项,传统CNN架构中也可以用卷积步长大于1的跳步卷积来代替池化层的作用,其中计算任意给定卷积层的输出的大小的公式如下:
上式中,o为卷积层输出的数据尺寸,k是卷积核的尺寸,p是填充,s是卷积步长,其中如果s大于1,那么求得的尺寸会成倍数减少,这也达到了池化层所达到的降维目的,但是与此同时也会丢失掉相邻时间点的信息,这并不适用于对时间序列数据进行特征提取,相邻时间点信息的丢失,会大大降低系统的预测准确性。为了进一步说明本发明采用卷积步长为1的一维卷积层应用在时间序列数据的优越性,将其与采用卷积+池化、卷积步长大于1(无池化)的现有技术进行了性能对照试验,试验结果如下表1所示:
表1本发明特征提取与现有技术的性能比较表
如表1所示,本发明所采用的无池化层的卷积步长为1的一维卷积方式的测试结果在3个指标的评定上均在95%左右,特别是在反应模型查全率和查准率的综合指标F1_Score上本方案采用的无池化层的卷积步长为1的卷积取得了最好的效果,达到了94.7%。
进一步地,分类模块包括顺次连接的第一全连接层和第二全连接层;第一全连接层用于将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;第二全连接层用于将加权映射后的特征信息(预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征)进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。更为具体地,第一全连接层采用了Relu激活函数,让一部分神经元输出为0,以使网络具有稀疏性,减少了参数之间的相互依存性和过拟合发生的概率,减少计算量以加快训练速度。第二全连接层采用Sigmoid激活函数对加权映射后的特征信息进行二分类。
为进一步说明本发明系统的性能,将其与CNN、RNN和LSTM模型从精确率(Precision)、召回率(Recall)以及基于前两者的加权平均值F1_Score进行性能比较,具体比较结果见下表2所示:
表2本发明PCFNN与现有模型的性能比较表
由表2结合图5可以看出,本申请基于融合神经网络(PCFNN)的系统性能明显优于现有技术,进而能够对未来一段时间内发动机的喘振故障进行精准地预测,且随着迭代次数不断增加,其训练集的准确率和测试集的准确率整体都呈现出上升趋势,且不会出现过拟合现象。
实施例2
本实施例与实施例1具有相同的发明构思,在实施例的基础上提供了一种基于融合神经网络模型的发动机喘振故障预测方法,方法包括以下步骤:
S1:将发动机的三维结构时间序列数据生成指定长度的预测时间序列;
S2:提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;
S3:根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。
进一步地,步骤S1中将发动机的三维结构时间序列数据生成指定长度的预测时间序列具体包括:
S11:将发动机的三维结构时间序列数据编码成批量的二维语义向量,并将该转化为指定长度的二维语义向量;具体地,将该语义向量复制,使输入序列长度与输出序列长度相等,以保证数据预测的精准性。
S12:将指定长度的二维语义向量解码为指定长度的预测时间序列。具体地,可通过设置其LSTM解码器中Cell的个数实现,即通过设置不同个数的LSTM Cell可以生成指定长度的预测时间序列,最终得到未来一段时间内航空发动机的工作状态数据值。
进一步地,步骤S2中通过两个顺次连接的、卷积步长为1的一维卷积层提取预测时间序列的局部特征;通过LSTM层提取预测时间序列中数据间的语义关系,以及整体序列趋势特征。更为具体地,两个一维卷积层均采用了Relu激活函数,让一部分神经元输出为0,以使网络具有稀疏性,减少了参数之间的相互依存性和过拟合发生的概率,减少计算量以加快训练速度。Relu激活函数公式如下:
需要进一步说明的是,由于Relu函数会造成网络稀疏,第一LSTM层、第二LSTM层并未使用该激活函数,以保留更多特征信息供一维卷积层分析提取。
进一步地,步骤S3中根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障具体包括:
S31:将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;具体地,通过一全连接层将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射,该全连接层采用Relu激活函数,让一部分神经元输出为0,以使网络具有稀疏性,减少了参数之间的相互依存性和过拟合发生的概率,减少计算量以加快训练速度,Relu激活函数的具体公式参见一维卷积层Relu激活函数,在此不再赘述。
S32:将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。具体地,通过以全连接层将将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。
进一步地,将加权映射后的特征信息进行二分类时具体包括:
S321:采用Sigmoid激活函数判断发动机在未来一段时间内是否会发生喘振故障,函数为:
其中,x表示加权映射后的特征信息的线性组合。Sigmoid激活函数可以让输入的数据映射到(0,1)的区间内,适用于本发明用于判断发动机在未来一段时间内是否会发生喘振故障的预测场景。
进一步地,步骤S1前还包括数据预处理步骤:
S01:采用滑动窗口法截取发动机不同监测装置数据的子序列,得到子序列集;其中,采用滑动窗口法截取发动机不同监测装置数据的子序列,能够得到海量子序列构成子序列集,利于对预测模型进行训练,以提高模型的预测准确率。作为一具体实施例,滑动步长为1,子序列的长度对应滑动窗口长度,窗口大小为64,其中每个序列中的每个时间点存储着不同传感器(航空发动机的监测装置)采集的数据(发动机工作状态数据)。
S02:将子序列集中的某一子序列作为划分点子序列,将划分点子序列之前的子序列作为训练集,将划分点子序列之后的子序列作为测试集,并对训练集和测试集分别进行了标准化处理。其中,根据划分点子序列划分训练集和测试集,不会造成采用传统随机打乱序列数据再进行排序影响预测模型的预测效果的问题。需要进一步说明的是,对训练集和测试集分别进行了标准化处理即将数据的分布转换成为均值为0、标准差为1的标准正态分布,用于取消由于量纲不同、数值相差较大所引起的误差,从而加速权重参数的收敛并提高模型训练效果。
更进一步地,在模型训练过程中,最后还包括反向传播训练步骤:
采用二分类交叉熵函数作为损失函数进行反向传播训练得到预测方法基于的模型中各网络层的权重系数梯度,进而对各网络层的权重系数进行更新,直到设定的最大迭代次数;具体地,损失函数具体为:
其中,pi表示某一序列i得到的预测结果为喘振故障的概率,yi表示样本i的标签值,N为样本个数。本发明采用二分类交叉熵函数作为损失函数进行反向传播训练,对各网络层的权重系数进行更新。
本发明方法通过将发动机的三维结构时间序列数据生成指定长度的预测时间序列,实现未来一段时间内发动机的工作状态数据的预测;再通过特征提取模块、分类模块提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征并进行分类,进而判断未来一段时间内发动机的工作状态数据是否包括喘振故障数据,以此对发动机喘振故障进行更加准确、快速的提前预测。
实施例3
本实施例提供了一种存储介质,与实施例2具有相同的发明构思,其上存储有计算机指令,计算机指令运行时执行实施例2中的基于融合神经网络模型的发动机喘振故障预测方法的步骤。
基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
本实施例还提供一种终端,与实施例2具有相同的发明构思,包括存储器和处理器,存储器上存储有可在处理器上运行的计算机指令,处理器运行计算机指令时执行实施例2中的基于融合神经网络模型的发动机喘振故障预测方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路,或者配置成实施本发明的一个或者多个集成电路。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上具体实施方式是对本发明的详细说明,不能认定本发明的具体实施方式只局限于这些说明,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演和替代,都应当视为属于本发明的保护范围。
Claims (10)
1.基于融合神经网络模型的发动机喘振故障预测系统,其特征在于:所述系统包括:
预测模块,用于发动机的三维结构时间序列数据生成指定长度的预测时间序列;
特征提取模块,用于提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;
分类模块,用于根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。
2.根据权利要求1所述的基于融合神经网络模型的发动机喘振故障预测系统,其特征在于:所述预测模块包括顺次连接的第一LSTM层和第二LSTM层;
所述第一LSTM层作为编码器,用于将发动机的三维结构时间序列数据编码成批量的二维语义向量;所述第二LSTM层作为解码器,用于将二维语义向量解码为指定长度的预测时间序列。
3.根据权利要求1所述的基于融合神经网络模型的发动机喘振故障预测系统,其特征在于:所述特征提取模块包括顺次连接的一维卷积单元和第三LSTM层;
所述一维卷积单元用于提取预测时间序列的局部特征;所述第三LSTM层用于对提取预测时间序列中数据间的语义关系、以及整体序列趋势特征。
4.根据权利要求3所述的基于融合神经网络模型的发动机喘振故障预测系统,其特征在于:所述一维卷积单元具体包括两个顺次连接的、卷积步长为1的一维卷积层。
5.根据权利要求1所述的基于融合神经网络模型的发动机喘振故障预测系统,其特征在于:所述分类模块包括顺次连接的第一全连接层和第二全连接层;
所述第一全连接层用于将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;所述第二全连接层用于将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。
6.基于融合神经网络模型的发动机喘振故障预测方法,其特征在于:所述方法包括以下步骤:
将发动机的三维结构时间序列数据生成指定长度的预测时间序列;
提取预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征;
根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障。
7.根据权利要求6所述的基于融合神经网络模型的发动机喘振故障预测方法,其特征在于:所述根据预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征判断是否为喘振故障具体包括:
将预测时间序列的局部特征、数据间的语义关系,以及整体序列趋势特征信息进行加权映射;
将加权映射后的特征信息进行二分类,判断发动机在未来一段时间内是否会发生喘振故障。
9.根据权利要求1所述的基于融合神经网络模型的发动机喘振故障预测方法,其特征在于:所述方法还包括数据预处理步骤:
采用滑动窗口法截取发动机不同监测装置数据的子序列,得到子序列集;
将子序列集中的某一子序列作为划分点子序列,将划分点子序列之前的子序列作为训练集,将划分点子序列之后的子序列作为测试集。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011056637.4A CN112131673B (zh) | 2020-09-30 | 2020-09-30 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
US17/623,601 US20220358363A1 (en) | 2020-09-30 | 2021-09-15 | Engine surge fault prediction system and method based on fusion neural network model |
PCT/CN2021/118455 WO2022068587A1 (zh) | 2020-09-30 | 2021-09-15 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
JP2021576667A JP7242101B2 (ja) | 2020-09-30 | 2021-09-15 | 融合ニューラルネットワークモデルに基づくエンジンサージング故障の予測システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011056637.4A CN112131673B (zh) | 2020-09-30 | 2020-09-30 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131673A true CN112131673A (zh) | 2020-12-25 |
CN112131673B CN112131673B (zh) | 2021-09-28 |
Family
ID=73843300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011056637.4A Active CN112131673B (zh) | 2020-09-30 | 2020-09-30 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220358363A1 (zh) |
JP (1) | JP7242101B2 (zh) |
CN (1) | CN112131673B (zh) |
WO (1) | WO2022068587A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988978A (zh) * | 2021-04-27 | 2021-06-18 | 河南金明源信息技术有限公司 | 一种公益诉讼重点领域案件趋势分析系统 |
CN113158537A (zh) * | 2021-01-18 | 2021-07-23 | 中国航发湖南动力机械研究所 | 基于lstm结合注意力机制的航空发动机气路故障诊断方法 |
CN113836817A (zh) * | 2021-10-09 | 2021-12-24 | 大连理工大学 | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 |
WO2022068587A1 (zh) * | 2020-09-30 | 2022-04-07 | 西南石油大学 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
CN114954963A (zh) * | 2022-06-27 | 2022-08-30 | 厦门大学 | 一种高超声速航空发动机进气道气动失稳预警方法 |
WO2023056614A1 (zh) * | 2021-10-09 | 2023-04-13 | 大连理工大学 | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 |
CN115985503A (zh) * | 2023-03-20 | 2023-04-18 | 西南石油大学 | 基于集成学习的癌症预测系统 |
CN116401532A (zh) * | 2023-06-07 | 2023-07-07 | 山东大学 | 一种电力系统受扰后频率失稳识别方法及系统 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114662805B (zh) * | 2022-05-26 | 2022-09-13 | 山东融瓴科技集团有限公司 | 一种基于相似时间序列对比的交通流量预测方法 |
CN115114848B (zh) * | 2022-06-13 | 2023-12-26 | 成都星云智联科技有限公司 | 一种基于混合cnn-lstm的三相异步电机故障诊断方法和系统 |
CN115270606B (zh) * | 2022-07-01 | 2024-02-13 | 中国航发沈阳发动机研究所 | 一种航空发动机一体化加力后框架流量分配预测方法 |
CN115049027B (zh) * | 2022-08-17 | 2022-11-11 | 深圳市恒拓高工业技术股份有限公司 | 基于神经网络识别电机良品的方法及装置 |
CN116070791A (zh) * | 2023-03-27 | 2023-05-05 | 天津布尔科技有限公司 | 一种基于LSTM算法的柴油车NOx排放预测方法 |
CN116576890B (zh) * | 2023-07-14 | 2023-09-26 | 北京航空航天大学 | 基于集成神经网络的gnss/ins组合导航系统故障检测方法 |
CN117195734B (zh) * | 2023-09-18 | 2024-04-16 | 安徽工程大学 | 融合时间序列与太赫兹特征的热生长氧化层演变预测方法 |
CN117034093B (zh) * | 2023-10-10 | 2024-05-14 | 尚宁智感(北京)科技有限公司 | 基于光纤系统的入侵信号识别方法 |
CN117375237B (zh) * | 2023-10-20 | 2024-05-24 | 浙江日新电气有限公司 | 基于数字孪生技术变电站运维方法及系统 |
CN117408974B (zh) * | 2023-10-26 | 2024-04-26 | 广州欧派集成家居有限公司 | 一种板式集成家具封边自动检测方法、装置及存储介质 |
CN117560300B (zh) * | 2023-12-28 | 2024-04-30 | 广东云百智联科技有限公司 | 一种智能物联网流量预测与优化系统 |
CN117494056B (zh) * | 2023-12-29 | 2024-03-22 | 长春黄金设计院有限公司 | 基于大数据技术的设备故障预警系统及方法 |
CN117708508B (zh) * | 2024-02-06 | 2024-04-30 | 深圳宇翊技术股份有限公司 | 隔离开关刀闸寿命预测方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408687A (zh) * | 2016-11-24 | 2017-02-15 | 沈阳航空航天大学 | 一种基于机器学习方法的汽车发动机故障预警方法 |
CN107044349A (zh) * | 2017-04-17 | 2017-08-15 | 清华大学深圳研究生院 | 一种发动机的故障预测方法 |
CN109408552A (zh) * | 2018-08-08 | 2019-03-01 | 南京航空航天大学 | 基于lstm-ae深度学习框架的民机系统故障监测与识别方法 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
CN110704221A (zh) * | 2019-09-02 | 2020-01-17 | 西安交通大学 | 一种基于数据增强的数据中心故障预测方法 |
CN110995339A (zh) * | 2019-11-26 | 2020-04-10 | 电子科技大学 | 一种分布式光纤传感信号时空信息提取与识别方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6313730B2 (ja) * | 2015-04-10 | 2018-04-18 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 異常検出システムおよび方法 |
EP3327419B1 (en) * | 2016-11-29 | 2020-09-09 | STS Intellimon Limited | Engine health diagnostic apparatus and method |
US10798230B2 (en) * | 2018-08-23 | 2020-10-06 | Morgan Stanley Services Group Inc. | Faulty distributed system component identification |
KR102073323B1 (ko) * | 2018-09-02 | 2020-02-03 | 주식회사 뉴로다임 | 인공지능 기반의 구조물 건전성 관리 시스템 |
CN110807257A (zh) * | 2019-11-04 | 2020-02-18 | 中国人民解放军国防科技大学 | 航空发动机剩余寿命预测方法 |
CN111639467B (zh) * | 2020-06-08 | 2024-04-16 | 长安大学 | 一种基于长短期记忆网络的航空发动机寿命预测方法 |
CN112131673B (zh) * | 2020-09-30 | 2021-09-28 | 西南石油大学 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
-
2020
- 2020-09-30 CN CN202011056637.4A patent/CN112131673B/zh active Active
-
2021
- 2021-09-15 WO PCT/CN2021/118455 patent/WO2022068587A1/zh active Application Filing
- 2021-09-15 US US17/623,601 patent/US20220358363A1/en active Pending
- 2021-09-15 JP JP2021576667A patent/JP7242101B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408687A (zh) * | 2016-11-24 | 2017-02-15 | 沈阳航空航天大学 | 一种基于机器学习方法的汽车发动机故障预警方法 |
CN107044349A (zh) * | 2017-04-17 | 2017-08-15 | 清华大学深圳研究生院 | 一种发动机的故障预测方法 |
CN109408552A (zh) * | 2018-08-08 | 2019-03-01 | 南京航空航天大学 | 基于lstm-ae深度学习框架的民机系统故障监测与识别方法 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
CN110704221A (zh) * | 2019-09-02 | 2020-01-17 | 西安交通大学 | 一种基于数据增强的数据中心故障预测方法 |
CN110995339A (zh) * | 2019-11-26 | 2020-04-10 | 电子科技大学 | 一种分布式光纤传感信号时空信息提取与识别方法 |
Non-Patent Citations (1)
Title |
---|
YANFENG HE等: "Application of CNN-LSTM in Gradual Changing Fault Diagnosis of Rod Pumping System", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022068587A1 (zh) * | 2020-09-30 | 2022-04-07 | 西南石油大学 | 基于融合神经网络模型的发动机喘振故障预测系统及方法 |
CN113158537A (zh) * | 2021-01-18 | 2021-07-23 | 中国航发湖南动力机械研究所 | 基于lstm结合注意力机制的航空发动机气路故障诊断方法 |
CN112988978A (zh) * | 2021-04-27 | 2021-06-18 | 河南金明源信息技术有限公司 | 一种公益诉讼重点领域案件趋势分析系统 |
CN112988978B (zh) * | 2021-04-27 | 2024-03-26 | 河南金明源信息技术有限公司 | 一种公益诉讼重点领域案件趋势分析系统 |
CN113836817A (zh) * | 2021-10-09 | 2021-12-24 | 大连理工大学 | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 |
CN113836817B (zh) * | 2021-10-09 | 2022-07-19 | 大连理工大学 | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 |
WO2023056614A1 (zh) * | 2021-10-09 | 2023-04-13 | 大连理工大学 | 一种基于堆叠长短期记忆网络的轴流压气机旋转失速预测方法 |
CN114954963A (zh) * | 2022-06-27 | 2022-08-30 | 厦门大学 | 一种高超声速航空发动机进气道气动失稳预警方法 |
CN115985503A (zh) * | 2023-03-20 | 2023-04-18 | 西南石油大学 | 基于集成学习的癌症预测系统 |
CN115985503B (zh) * | 2023-03-20 | 2023-07-21 | 西南石油大学 | 基于集成学习的癌症预测系统 |
CN116401532A (zh) * | 2023-06-07 | 2023-07-07 | 山东大学 | 一种电力系统受扰后频率失稳识别方法及系统 |
CN116401532B (zh) * | 2023-06-07 | 2024-02-23 | 山东大学 | 一种电力系统受扰后频率失稳识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112131673B (zh) | 2021-09-28 |
US20220358363A1 (en) | 2022-11-10 |
JP2023501030A (ja) | 2023-01-18 |
JP7242101B2 (ja) | 2023-03-20 |
WO2022068587A1 (zh) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131673B (zh) | 基于融合神经网络模型的发动机喘振故障预测系统及方法 | |
Wu et al. | Data-driven remaining useful life prediction via multiple sensor signals and deep long short-term memory neural network | |
CN112580263B (zh) | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 | |
CN111224805A (zh) | 一种网络故障根因检测方法、系统及存储介质 | |
CN110609524A (zh) | 一种工业设备剩余寿命预测模型及其构建方法和应用 | |
Tan et al. | Network fault prediction based on CNN-LSTM hybrid neural network | |
CN116541790B (zh) | 基于多特征融合的新能源车辆健康评估方法和装置 | |
CN113343581B (zh) | 基于图马尔可夫神经网络的变压器故障的诊断方法 | |
CN113760670A (zh) | 电缆接头异常预警方法、装置、电子设备和存储介质 | |
CN111309718B (zh) | 一种配网电压数据缺失填补方法及装置 | |
CN116680105A (zh) | 一种基于邻域信息融合注意力机制的时序异常检测方法 | |
CN112631898A (zh) | 基于cnn-svm的软件缺陷预测方法 | |
CN114510871A (zh) | 基于思维进化和lstm的云服务器性能衰退预测方法 | |
CN113839799B (zh) | 一种告警关联规则挖掘方法及装置 | |
CN113345564A (zh) | 一种基于图神经网络的患者住院时长早期预测方法及装置 | |
CN115952928B (zh) | 一种短期电力负荷预测方法、装置、设备及存储介质 | |
CN117195044A (zh) | 故障分析方法、装置、计算机设备、存储介质和程序产品 | |
CN116562120A (zh) | 一种基于rve的涡轮发动机系统健康状况评估方法及装置 | |
Li et al. | Multi-time-step and multi-parameter prediction for real-world proton exchange membrane fuel cell vehicles (PEMFCVs) toward fault prognosis and energy consumption prediction | |
KR20230075150A (ko) | 시스템 건전성을 관리하기 위한 방법 및 장치 | |
CN115616408A (zh) | 电池热管理数据处理方法及系统 | |
CN116860529A (zh) | 故障定位方法及装置 | |
CN113761795A (zh) | 一种飞机发动机故障检测方法和系统 | |
CN113821401A (zh) | 基于wt-ga-gru模型的云服务器故障诊断方法 | |
CN112232557A (zh) | 基于长短期记忆网络的转辙机健康度短期预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |