CN112906775B - 一种设备故障预测方法及系统 - Google Patents
一种设备故障预测方法及系统 Download PDFInfo
- Publication number
- CN112906775B CN112906775B CN202110161445.8A CN202110161445A CN112906775B CN 112906775 B CN112906775 B CN 112906775B CN 202110161445 A CN202110161445 A CN 202110161445A CN 112906775 B CN112906775 B CN 112906775B
- Authority
- CN
- China
- Prior art keywords
- equipment
- training
- fault
- network model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 154
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 210000002569 neuron Anatomy 0.000 claims description 24
- 238000012423 maintenance Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 11
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012407 engineering method Methods 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种设备故障预测方法，它包括如下步骤：使用设备关键部件图像训练样本进行训练；对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，根据所述训练样本集训练获得神经网络模型；获取模块获取设备的工作状态数据；获取设备的关键部件图像；将获取的关键部件图像输入贝叶斯网络模型输出数据DIA；对设备的工作状态数据进行预处理得到数据DIB；根据所述神经网络模型使用DIA和DIB进行故障预测。该方法可以提供预测故障的发生及锁定故障发生部位以降低生产损失、降低维修保障费用、提高设备完好率和任务成功率；通过状态监测，减少任务过程中故障引起的风险，提高任务成功率。
Description
技术领域
本发明涉及工业生产设备的故障诊断和预测领域，尤其是一种基于神经网络的设备故障预测系统及方法。
背景技术
传统工业生产设备在持续工作中，会受到持续的振动和冲击，加之温度及磨损，将会导致设备材料和零件的磨损老化，从而导致工业设备容易产生故障，而当意识到故障时，可能已经产生了很多不良品，甚至整个工业设备已经奔溃停机，从而造成巨大的损失。如果能在故障发生之前进行故障预测，提前维修更换即将出现问题的零部件，这样就可以提高设备的寿命以及避免某个设备突然出现故障对整个生产带来严重的影响。
进行故障诊断的一般步骤如下：判定设备有无故障、分析原因、确定故障类型、划分故障类别、诊断出设备具体的故障部位以及故障原因。
目前，故障诊断的方法有三种：
1、基于解析模型的故障诊断；
2、基于信号处理的故障诊断；
3、基于状态的人工智能故障诊断。
发展最早、研究最系统的故障诊断方法是基于解析模型的故障诊断方法，该方法虽能够深入系统本质的动态性质和实时诊断，但是很难获得一个系统模型，同时由于建模中有误差、扰动和噪声，使得鲁棒性问题渐渐凸显；基于信号处理的方法尽管易于实现、实时性也比较好，但在对潜在的故障进行诊断的时候就会凸显其不足之处，因此往往将其用于故障检测。
为了克服传统维修方式的不足，且随着当前大多设备都配上了各种感应器，通过实时采集设备工作时的振动、温度、电流、电压、关键部件的图像等各项状态数据，基于人工智能的状态检测综合运用各种技术手段获取设备的运行状态信息，并运用数据分析与维修决策技术对设备状态进行实时或者周期性的评价，最终做出科学化的诊断。实现通过状态监测预测即将发生的故障，制订合理的决策。基于状态的人工智能故障诊断方法能够克服对于模型的过分依赖性，也能对潜在的故障进行诊断，从而提高故障诊断的精度。通过分析这些实时的数据，对设备进行故障预测将是一种行之有效的措施。
故障诊断和预测的关键是实现从故障征兆到故障识别的映射。主要是通过利用过去、现在和未来的关于设备环境、操作和使用状态的信息，检测设备退化，诊断其损坏，以及预测和诊断故障。故障诊断则是指故障检测和故障隔离这两个过程，其中利用各种检查和测试方法，发现系统和设备是否存在故障的过程是故障检测；故障隔离则是要求把故障定位到实施修理时可更换的产品层次（可更换单位），因此故障诊断可以判定出设备故障类型与故障部位，从而对设备进行维修，减少由于设备停运时间过长而造成的损失。
发明人在研究了现有技术之后发现现有技术中至少存在如下问题：
1、主要是通过利用过去、现在和未来的关于设备环境、操作和使用状态的信息，检测设备退化，诊断其损坏，以及预测和诊断故障，而设备环境信息主要是通过各种传感器获取与设备相关的系统指标得到，如振动、温度、压力等，这些指标通常中能反应出设备的间接状态，可能出现延迟甚至失灵的问题。同时，由于采用了设备的系统指标，只能检测到设备出故障，而不能具体定位到设备故障的具体位置，也不能将设备的损坏程度进行分级，不利于设备故障的定位。
2、目前的故障检测系统主要是通过传感器将系统数据收集后传输至中心计算机进行处理，有的甚至是在工作期间收集数据，在晚上停工期间进行离线处理，由于数据处理远离工业设备本身，一方面会造成信息处理不及时的问题，别一方面会造成修改现有工厂网络布局工作量大的问题。
3、现有技术的资料中的往往没有对神经网络的具体结构进行介绍，但在实践过程中，不同的网络结构对预测结果的影响巨大，在故障预测时需要对具体的网络进行很多精细化的设定。
发明内容
有鉴于此，本发明的目的是克服现有技术中的缺陷，本发明的其中一个目的是提供一种故障预测方法，该方法采用基于设备关键部件图像的贝叶斯网络模型以及涉及多个工作参数的神经网络模型进行故障预测、采用边缘计算的思想前设计了全新的BP神经网络以解决上述技术问题。
本发明的其中一个目的是提供一种设备故障预测方法，包括：
使用设备关键部件图像训练样本进行训练，其中每个训练样本包括已标注的设备样本故障信息，根据训练样本训练生成贝叶斯网络模型；
对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，每个所述包含多个工作参数的训练样本包括已标注的样本故障信息，根据所述训练样本集训练获得神经网络模型；
获取模块获取设备的工作状态数据；
获取设备的关键部件图像；
将获取的设备的关键部件图像输入所述贝叶斯网络模型，并输出数据DIA；
对设备的工作状态数据进行预处理，得到数据DIB；
根据所述神经网络模型使用DIA和DIB进行故障预测。
本发明的另一个目的是提供一种设备故障预测系统，包括模型训练模块、设备工作状态数据获取模块、设备关键部件状态图像数据获取模块以及故障预测模块；
所述模型训练模块包括设备关键部件状态图像训练模块和故障预测模型训练模块；
所述设备关键部件状态图像训练模块使用设备关键部件图像训练样本进行训练，其中每个训练样本包括已标注的设备样本故障信息，根据训练样本训练生成贝叶斯网络模型；
所述故障预测模型训练模块对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，每个所述包含多个工作参数的训练样本包括已标注的样本故障信息，根据所述训练样本集训练获得神经网络模型；
所述设备工作状态数据获取模块获取设备的工作状态数据；
所述设备关键部件状态图像数据获取模块获取设备的关键部件图像；
故障预测模块包括图像推理模块、设备工作状态数据预处理模块和故障确定模块；
所述图像推理模块将所述设备关键部件状态图像数据获取模块获取的设备的关键部件图像输入所述贝叶斯网络模型，并输出数据DIA；
所述设备工作状态数据预处理模块对所述设备工作状态数据获取模块获取的设备的工作状态数据进行预处理，得到数据DIB；
所述故障确定模块根据所述神经网络模型使用DIA和DIB进行故障预测。
本发明具有如下有益效果：
基于状态的AI故障预测及诊断能克服传统预测方式的不足，实现精确预测及诊断。对于设备，可以提供预测故障的发生及锁定故障发生部位以降低生产损失、降低维修保障费用、提高设备完好率和任务成功率；通过减少备件、保障设备、维修人力等保障资源需求，降低维修保障费用；通过减少维修，特别是计划外维修次数，缩短维修时间，提高设备完好率；通过状态监测，减少任务过程中故障引起的风险，提高任务成功率。
基于边缘计算的思想，将设备布置于工业设备端，其更靠近数据源，而不是外部数据中心或者云，可以缩短延迟时间；系统布置在工厂设备附近，不需进行复杂的组网设备，减少了组网成本；同时提高程序的反应速度，降低延迟，可以更高效、更快速地对设备故障做出反应。
对传统的BP算法进行了改进，提出了BP神经网络动态全参数自调整学习算法，不仅加快了网络的收敛速度，而且优化了网络的拓扑结构，从而增强了BP神经网。
附图说明
图1为P-F间隔期示意图；
图2为故障分级示意图；
图3为本申请的系统结构示意图；
图4 为推理模型运行支撑框架；
图5为机构部分示意图；
图6为三层BP网络模型示意图。
具体实施方式
为了能够更清楚地说明本发明，首先对相关的概念以及定义进行解释。
故障预测的前提条件，对于一些故障，其性能劣化是一个逐渐劣化的过程，即存在“潜在故障—功能故障”间隔，如图1所示，这个过程也就是P-F间隔期。“P”点是潜在故障点，是能够发现故障的点，在此之前，故障是没有任何征兆的，当经历“P”点之后，如果还不采取维修措施，它通常会以较快的速度退化到功能故障点“F”，即设备已不可用。“P—F间隔期”的存在是复杂设备开展预测的前提条件，即基于状态的AI预测仅适用于存在“P—F间隔期”的故障。设备性能也是一个逐渐劣化的过程，在经过一个时间点（潜在故障点“P”）后会产生告警信息和日志信息，性能开始劣化，如不及时进行维修，很快会导致设备故障（功能故障点“F”）,因此，通过建立故障预测标准准确判断设备的“P”点，跟进设备的运行态势，在“F”点之前进行预防性。
其次是故障特征量的提取，对设备进行基于状态的AI故障预测，其实质是利用预测模型对特征量进行预测，再通过预测的特征量的值来预测未来一段时间设备的健康状态，所以故障特征量的选择显得格外重要，要选择对设备运行状态影响较大的特征量，而对于在运行的工业设备来说，可以通过设备传感器获取其大量运行信息，因此，选择它们作为预测模型的特征量，并且从概率的角度出发，做出以下几点合理假设：
1、设备的运行时间越趋近或超过故障周期，认为发生故障的可能性越大；
2、设备的温度超过标准温度越高，认为发生故障的可能性越大；
3、设备的工作电流、电压的于标准差异越大，认为发生故障的可能性越大；
4、设备振动频率及幅度与标准差异振动参数差异越大，认为发生故障的可能性越大；
5、设备关键部件的磨损状态与初始状态变化越大，认为发生故障的可能性越大；
最后是故障分级，故障分级可更直观的显示设备的运行状态、运行趋势，另一方面可以针对不同的级别，分别分析故障特征量对预测结果的影响，提高预测的准确性。将设备故障的级别用“蓝、黄、橙、红”四种颜色表示。从设备运行状态来说，“蓝色”预示着设备已经历了潜在故障点，进入“黄色”反映出故障的严重性上升了，“橙色”较“黄色”进一步上升，“红色”则预示着即将到达功能故障点；从趋势上来说，从“蓝色”到“红色”反映出故障的严重性在逐渐上升。反映到P-F间隔图上如图2所示。
故障分级是根据设备的故障特征的阈值进行划分，如果故障特征的指标达到“蓝”、“黄”、“橙”、“红”级别，则判断设备的状态进入了相应的级别，且故障特征的阈值是可修正，通过对以往获得的大量历史样本进行统计分析。
在一种实施方式中，本发明公开了一种设备故障预测系统，具体包括：模型训练模块，设备工作状态数据获取模块，设备关键部件状态图像数据获取模块，故障预测模块。
为了便于形象化地理解，图3给出一种具体的实施方式，参考图3，图3中左侧部分属于模型训练模块，设备接口属于设备工作状态数据获取模块，工业动态摄像头属于设备关键部件状态图像数据获取模块，图3中基于状态的边缘智能系统属于故障预测模块；图3仅为一种系统总体结构示例，不代表本发明只有此一种具结构。
下面将对各模块的具体组成及作用进行详细地描述。
模型训练模块的作用为训练图像推理模型以及故障预测模型，模型训练模块为一单独的系统，其可以为独立的计算机、服务器，其可以进行在线或离线训练，可以与边缘智能系统连接，也可以不与其直接连接；在不与边缘智能系统直接连接时，可以采用拷贝的方式将模型训练系统传输至故障预测模块。
所述模型训练模块包括设备关键部件状态图像训练模块，所述设备关键部件状态图像训练模块使用设备关键部件图像训练样本进行训练，其中每个训练样本包括已标注的设备样本故障信息，根据训练样本训练生成贝叶斯网络模型；进一步地，样本故障信息包括预设经验值下的设备故障类型以及故障参数，进一步地，故障参数包括如上文提到的故障等级。将已训练好的模型部署在边缘智能程序，通过工业动态摄像头实时获取设备关键部件的图形数据，并解析为设备状态二进制数据，这些数据将作为工作参数输入训练好的神经网络模型；推理模型在这些图像数据进行AI识别后将为故障预测算法模型提供数据。
所述模型训练模块还包括故障预测模型训练模块，所述故障预测模型训练模块对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，每个所述包含多个工作参数的训练样本包括已标注的样本故障信息，根据所述训练样本集训练获得神经网络模型；其中包含多个工作参数的训练样本，每个训练样本包括已标注的样本故障信息，样本故障信息包括预设经验值下的设备故障类型以及故障参数；根据训练样本集，训练获取预设神经网络模型。获取待检测设备在实际工况下的故障信息；根据实际工况下的故障信息、预设贝叶斯网络模型，对训练样本集中各训练样本所标注的样本故障信息进行更新，获取更新后的训练样本集；根据更新后的训练样本集，更新训练预设神经网络模型。上述工作参数包括下述一种或多种的组合：振动信号、噪声信号、温度信号、电压信号、电流信号等；上述获取训练样本集，包括：获取初始训练样本集；采用预设特征工程方法对初始训练样本集进行处理，将处理后的初始训练样本集作为训练样本集。上述故障参数包括下述一种或多种的组合：设备故障位置、设备故障信号范围、设备故障概率；最后，根据训练样本集，训练生成神经网络模型；可选的所述神经网络模型为BP神经网络模型。
设备工作状态数据获取模块，所述设备工作状态数据获取模块获取设备的工作状态数据；其中设备为本发明要监控的工业机械设备，可以为机床、生产流水线、工业机器人、PLC、仪表、仪器等，本发明不做特别限制，只要其具有机械结构且具有可监控指标即可。设备工作状态数据获取模块，可获取通过设备的工作状态数据接口获取设备的工作状态数据，这里的工作状态数据可以通过传感器获取，如红外传感器、温度传感器、压力传感器等，获取的数据通过相应的设备接口可发送至边缘智能设备进行处理。
设备关键部件状态图像数据获取模块，所述设备关键部件状态图像数据获取模块获取设备的关键部件图像；所述设备关键部件状态图像数据获取模块通过工业动态摄像头对设备的关键部件进行取像，如设备的轴承、主连杆、电机等可能影响设备正常运行的部位，获得状态图像数据。工业动态摄像头通过其设备接口将数据发送至边缘智能设备进行处理。
故障预测模块，所述故障预测模块位于设备近端，此近端可理解为物理位置以及网络位置的关系，在物理上其直接与设备连接，且位置靠近设备，在网络上其与设置处理同一局域网，接收工业动态摄像头获取的设备关键部件状态图像数据，以及设备传感器获取的设备工作状态数据，对获取的数据进行处理，并依据设备关键部件状态图像数据及设备工作状态数据对设备进行故障诊断，其为本发明进行故障诊断的主要部件。故障预测模块基于边缘计算的思想，将设备布置于工业设备端，其更靠近数据源，而不是外部数据中心或者云，可以缩短延迟时间；系统布置在工厂设备附近，不需进行复杂的组网设备，减少了组网成本；同时提高程序的反应速度，降低延迟，可以更高效、更快速地对设备故障做出反应。
故障预测模块包括图像推理模块，故障预测模块获取工业动态摄像头的实时图像，并将图像输入所述图像推理模型。其中图像推理模型为一神经网络模型，该神经网络模型由设备关键易损部件的图形样本集经深度学习算法训练而成；其中每个训练样本包括已标注的样本故障信息，样本故障信息包括预设经验值下的设备故障类型以及故障参数。实时图像经图像推理模型处理后生成结果数据DIA。
故障预测模块还包括设备工作状态数据预处理模块，所述设备工作状态数据预处理模块内置各种多种工业设备协议库，用于对获取待检测设备的各种设备工作状态数据抽取、解析为计算机可识别的真实明文数据DIB。
故障预测模块还包括故障确定模块，通过将DIA和DIB数据输入到预测模型来判断设备是否将发生故障。由于故障确定模块结合了具体的设备图像和设备工作状态数据，其最大的特点是根据每个设备具体的状态，在设备故障发生前进行预测和诊断，其可精确到具体的设备。因此，基于状态的AI故障预测及诊断能克服传统预测方式的不足，实现精确预测及诊断。对于设备，可以提供预测故障的发生及锁定故障发生部位以降低生产损失、降低维修保障费用、提高设备完好率和任务成功率；通过减少备件、保障设备、维修人力等保障资源需求，降低维修保障费用；通过减少维修，特别是计划外维修次数，缩短维修时间，提高设备完好率；通过状态监测，减少任务过程中故障引起的风险，提高任务成功率。
可选地，故障预测模块还可包括边缘计算程序模块，实现边缘计算辅助功能。
可选地，所述边缘计算程序模块可包括设备协议解析规则库模块，为满足对不同设备、不同协议的工业数据的解析，该协议解析规则库内置丰富的协议列表，以便对不同设备，包含但不限于：PLC、工业机器人、仪表、仪器等数据的获取及解析，解析后，模块将向推理模型返回设备工作状态的明文数据。
可选地，所述边缘计算程序模块可包括安全策略模块，所述安全策略模块为保证系统数据的安全性，安全策略贯穿整套系列，诊断结果数据的输出支持DES/AES256位加密算法。
可选地，所述边缘计算程序模块可包括预测后处理模块，所述预测后处理模块执行动作模块分为告警及后处理模块告警子模块支持短信、微信、电话等多种方式，用来确保设备管理人员第一时间获知故障即将发生、并故障的原因及关键。
可选地，所述边缘计算程序模块可包括后处理模块，所述后处理模块根据设备管理员预设的动作指令自动执行相应动作。数据云端上传模块，云端上传模块支持面向公有云、私有云基于MQTT协议、TCP协议、HTTP协议上传加密、压缩后的结果数据。
可选地，所述故障预测模块还包括推理模型运行支撑框架，所述推理模型运行支撑框架采用openvino；能最大限度基于通用API接口在CPU、GPU、FPGA等设备上运行模型推理；该支撑框架为上述两种模型的运行提供运行环境，并输出故障诊断结果作为边缘智能程序的输入数据，以做推理后的动作执行处理，如图4所示。
另外，在硬件方面看，故障预测模块其硬件部分由电子、机构两部分组成；示例性地，为满足工业领域长时间稳定运行的需求，机构与电子部分均采用工业级标准设计设计；提供强劲的计算性能、可靠的稳定性、以及丰富工业数据通信的接口，并采用一体化设计。
电子部分：示例性地，基于工业标准设计、X86架构四核处理器设计，并板载集成图形显示卡、板载内存颗粒及存储颗粒,并可搭载多种图形处理加速卡中的任意一种，包含：ModiviusVPU、NVIDA显卡、FPGA加速卡；高性能X86架构处理器用以支持linux操作系统的运行、基础数据的处理；图形处理加速卡提供：AI模型对来自工业摄像头获取到的设备关键部件的图片高速识别的处理性能。
机构部分：示例性地，采用金属外壳、无风扇散热结构设计，由真空铜管将CPU热量、桥芯片热量经由导热硅脂导在外壳，继而由外壳鳍片将热量导出，如图5所示；以满足系统在恶劣工作环境中工作的稳定性及可靠性。
在另一种实施方式中，本发明公开了一种故障预测方法，其具体包括如下步骤：
模型训练步骤，模型训练步骤是为民训练图像推理模型以及故障预测模型，模型训练模块为一单独的系统，其可以为独立的计算机、服务器，其可以进行在线或离线训练，可以与边缘智能系统连接，也可以不与其直接连接；在不与边缘智能系统直接连接时，可以采用拷贝的方式将模型训练系统传输至故障预测模块。
模型训练步骤包括子步骤设备关键部件状态图像训练，设备关键部件状态图像训练时使用图像训练样本进行训练，其中每个训练样本包括已标注的样本故障信息，样本故障信息包括预设经验值下的设备故障类型以及故障参数，故障参数包括如上文提到的故障等级。根据训练样本集，训练生成预设贝叶斯网络模型。将已训练好的模型部署在边缘智能程序，通过工业动态摄像头实时获取设备关键部件的图形数据，并解析为设备状态二进制数据，这些数据将作为工作参数输入训练好的神经网络模型；推理模型在这些图像数据进行AI识别后将为故障预测算法模型提供数据DIA。
模型训练步骤包括子步骤故障预测模型训练，故障预测模型训练时对输入的该训练样本集进行训练获取最终的故障信息，所述训练样本集包括：DIA及DIB；其中DIB多个包含工作参数的训练样本，每个训练样本包括已标注的样本故障信息，样本故障信息包括预设经验值下的设备故障类型以及故障参数；根据训练样本集，训练获取预设神经网络模型。获取待检测设备在实际工况下的故障信息；根据实际工况下的故障信息、预设贝叶斯网络模型，对训练样本集中各训练样本所标注的样本故障信息进行更新，获取更新后的训练样本集；根据更新后的训练样本集，更新训练预设神经网络模型。上述工作参数包括下述一种或多种的组合：振动信号、噪声信号、温度信号、电压信号、电流信号等；上述获取训练样本集，包括：获取初始训练样本集；采用预设特征工程方法对初始训练样本集进行处理，将处理后的初始训练样本集作为训练样本集。上述故障参数包括下述一种或多种的组合：设备故障位置、设备故障信号范围、设备故障概率；最后，根据训练样本集，训练生成神经网络模型；可选的所述神经网络模型为BP神经网络模型。
设备工作状态数据获取步骤，其中设备为本发明要监控的工业机械设备，可以为机床、生产流水线、工业机器人、PLC、仪表、仪器等，本发明不做特别限制，只要其具有机械结构且具有可监控指标即可。设备工作状态数据获取模块，可获取通过设备的工作状态数据接口获取设备的工作状态数据，这里的工作状态数据可以通过传感器获取，如红外传感器、温度传感器、压力传感器等，获取的数据通过相应的设备接口可发送至边缘智能设备进行处理。
设备关键部件状态图像数据获取步骤，通过工业动态摄像头对设备的关键部件进行取像，如设备的轴承、主连杆、电机等可能影响设备正常运行的部位，获得状态图像数据。工业动态摄像头通过其设备接口将数据发送至边缘智能设备进行处理。
故障预测步骤，接收工业动态摄像头获取的设备关键部件状态图像数据，以及与设备关键部件状态图像数据获取模块获取设备传感器获取的设备工作状态数据，对获取的数据进行处理，并依据设备关键部件状态图像数据及设备工作状态数据对设备进行故障诊断，其为本发明进行故障诊断的主要步骤。
障预测包括子步骤图像推理，在此步骤中获取工业动态摄像头的实时图像，并将图像输入所述图像推理模型。其中图像推理模型为一神经网络模型，该神经网络模型由设备关键易损部件的图形样本集经深度学习算法训练而成；其中每个训练样本包括已标注的样本故障信息，样本故障信息包括预设经验值下的设备故障类型以及故障参数。实时图像经图像推理模型处理后生成结果数据DIA。
故障预测包括子步骤设备工作状态数据预处理，在步骤中使用内置的各种多种工业设备协议库，用于对获取待检测设备的各种设备工作状态数据抽取、解析为计算机可识别的真实明文数据DIB。
故障预测包括子步骤故障预测，通过将DIA和DIB数据输入到预测模型来判断设备是否将发生故障。由于故障预测模型结合了具体的设备图像和设备工作状态数据，其最大的特点是根据每个设备具体的状态，在设备故障发生前进行预测和诊断，其可精确到具体的设备。因此，基于状态的AI故障预测及诊断能克服传统预测方式的不足，实现精确预测及诊断。对于设备，可以提供预测故障的发生及锁定故障发生部位以降低生产损失、降低维修保障费用、提高设备完好率和任务成功率；通过减少备件、保障设备、维修人力等保障资源需求，降低维修保障费用；通过减少维修，特别是计划外维修次数，缩短维修时间，提高设备完好率；通过状态监测，减少任务过程中故障引起的风险，提高任务成功率。
可选地，还可包括设备协议解析步骤，为满足对不同设备、不同协议的工业数据的解析，该协议解析规则库内置丰富的协议列表，以便对不同设备，包含但不限于：PLC、工业机器人、仪表、仪器等数据的获取及解析，解析后，模块将向推理模型返回设备工作状态的明文数据。
可选地，在故障预测后还可进行安全加固，所述安全加固为保证系统数据的安全性，安全策略贯穿整套系列，诊断结果数据的输出支持DES/AES256位加密算法。
可选地，在故障预测后还可进行预测后处理，执行动作模块分为告警及后处理模块告警子模块支持短信、微信、电话等多种方式，用来确保设备管理人员第一时间获知故障即将发生、并故障的原因及关键。
可选地，在故障预测后还可进行后处理，根据设备管理员预设的动作指令自动执行相应动作。数据云端上传模块，云端上传模块支持面向公有云、私有云基于MQTT协议、TCP协议、HTTP协议上传加密、压缩后的结果数据。
可选地，在故障预测后还可进行推理模型运行支撑，所述推理模型运行支撑采用openvino；能最大限度基于通用API接口在CPU、GPU、FPGA等设备上运行模型推理；该支撑框架为上述两种模型的运行提供运行环境，并输出故障诊断结果作为边缘智能程序的输入数据，以做推理后的动作执行处理。
上述步骤之间并不具有必然的前后关系，在不脱离本发明原理的前提下，本领域技术人员可以进行适当的顺序调整。
在一种进一步的实施方式中，为了使用神经网络算法能够更适应于本发明的应用场景，本发明对传统的BP算法进行了改进，提出了BP神经网络动态全参数自调整学习算法，不仅加快了网络的收敛速度，而且优化了网络的拓扑结构，从而增强了BP神经网。
如图6所示，BP网络（Back-ProPagationNetwork）亦即反向传播神经网络，通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的神经网络模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。
BP网络由输入层、隐层和输出层组成，隐层可以有一层或多层，图6为m×k×n的三层BP网络模型，网络选用S型传递函数， QUOTE />通过反传误差函数 QUOTE/> />（ QUOTE/> />为期望输出、 QUOTE/> />为网络的计算输出），不断调节网络权值和阈值使误差函数E达到极小。
BP网络具有高度非线性和较强的泛化能力，但也存在收敛速度慢、迭代步数多、易于陷入局部极小和全局搜索能力差等缺点。可以先用遗传算法对“BP网络”进行优化在解析空间找出较好的搜索空间，再用BP网络在较小的搜索空间内搜索最优解。
为了使上述传统BP算法能够更适应于本发明的应用场景，本发明采用如下步骤设计全新的BP网络。
训练样本的确定步骤
BP神经网络首先要利用历史训练样本对网络进行训练，该过程是BP神经网络预测的基础。根据不同的设备，训练样本集主要来源为设备长期运行的的大量数据。温度、振动是预测故障的一个重要切入点，而设备关键部件的损耗度是一个极为重要的补充。 在训练前需要进行数据整理,将多组各项数据指标作为输入，即（电压、电流、振动、故障时间、DIA等），将对应的故障时间作为输出。并用matlab自带的premnmx()函数将这些数据归一化处理。
训练样本的分级步骤
获得的训练样本按照“蓝、黄、橙、红”四个级别进行划分，对不同的级别分别用神经网络进行预测。
网络结构设计步骤
输入输出层的设计
该模型由每组数据的各项素质指标作为输入，以跳高成绩作为输出，所以输入层的节点数为8，输出层的节点数为1。
隐层设计
网络隐层节点数目选择 在设计BP神经网络时，一般先考虑设计一个隐层，当一个隐层的隐节点数与历史故障发生点时间不符时，可考虑再增加一个隐层。本发明选择单隐层BP网络进行设计仿真。只要隐节点足够多,就可以以任意精度逼近一个非线性函数。本发明采用含有一个隐层的三层多输入单输出的BP网络建立预测模型。在网络设计过程中,隐层神经元数的确定十分重要。隐层神经元个数过多,会加大网络计算量并容易产生过度拟合问题；神经元个数过少,则会影响网络性能,达不到预期效果。网络中隐层神经元的数目与实际问题的复杂程度、输入和输出层的神经元数以及对期望误差的设定有着直接的联系。目前,对于隐层中神经元数目的确定并没有明确的公式,只有一些经验公式,神经元个数的最终确定还需要根据经验和多次实验来确定。本发明在选取隐层神经元个数的问题上确定了以下的公式：
其中,n为输入层神经元个数,m为输出层神经元个数,a为[1,10]之间的常数。
根据上式可以计算出神经元个数为4-13个之间，在本发明中初始选择隐层神经元个数为5。
激励函数的选取：
BP神经网络通常采用Sigmoid可微函数和线性函数作为网络的激励函数。本文选择S型正切函数tansig作为隐层神经元的激励函数。而由于网络的输出归一到[-1,1]范围内,因此预测模型选取S型对数函数tansig作为输出层神经元的激励函数。
传递函数的选择：
BP属于多层网络，其神经元常用的传递函数包括log-sigmoid型函数logsig，tan-sigmoid函数tansig，以及线形函数purelin。 需要指出，sigmoid型传递函数的曲线形状是S型的[5]，log-sigmoid、tan-sigmoid型函数都是如此。如果BP网络的输出层采用sigmoid型函数，输出就被限制在[-1，1]范围之内，而如果采用线性函数purelin作为输出层的传递函数，那么输出就可以取任何值。由于网络的输出向量值已经被[-1，1]中，因此输出层神经元传递函数我们选用log-sigmoid函数。 而中间层神经元传递函数的选择，我们依据BP网络设计的一般原则设定为S型正切函数tan-sigmoid。
模型的实现：
此次预测选用MATLAB中的神经网络工具箱进行网络的训练,预测模型的具体实现步骤如下:将训练样本数据归一化后输入网络,设定网络隐层和输出层激励函数分别为tansig和logsig函数,网络训练函数为traingdx,网络性能函数为mse,隐层神经元数初设为6。设定网络参数。网络迭代次数epochs为5000次,期望误差goal为0.00000001,学习速率lr为0.01。设定完参数后,开始训练网络。神经网络的训练 网络设计完成后，要应用历史样本对其进行训练。训练时对所有样本正向进行一轮并反向修改权值一次称为一次训练。在训练过程中要反复使用样本集数据。
该网络通过24次重复学习达到期望误差后则完成学习。
网络训练完成后，只需要将各项素质指标输入网络即可得到预测数据。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (4)
1.一种设备故障预测方法，其特征在于，包括：
使用设备关键部件图像训练样本进行训练，其中每个训练样本包括已标注的设备样本故障信息，根据训练样本训练生成贝叶斯网络模型；
对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，每个所述包含多个工作参数的训练样本包括已标注的样本故障信息，根据所述训练样本集训练获得神经网络模型；
获取模块获取设备的工作状态数据；
获取设备的关键部件图像；
将获取的设备的关键部件图像输入所述贝叶斯网络模型，并输出数据DIA；
对设备的工作状态数据进行预处理，得到数据DIB；
根据所述神经网络模型使用DIA和DIB进行故障预测。
2.根据权利要求1所述的一种设备故障预测方法，其特征在于，所述神经网络模型为BP神经网络模型，BP神经网络模型的隐层神经元个数采用如下公式确定：
其中,n为输入层神经元个数,m为输出层神经元个数,a为[1,10]之间的常数。
3.一种设备故障预测系统，其特征在于，所述系统包括模型训练模块、设备工作状态数据获取模块、设备关键部件状态图像数据获取模块以及故障预测模块；
所述模型训练模块包括设备关键部件状态图像训练模块和故障预测模型训练模块；
所述设备关键部件状态图像训练模块使用设备关键部件图像训练样本进行训练，其中每个训练样本包括已标注的设备样本故障信息，根据训练样本训练生成贝叶斯网络模型；
所述故障预测模型训练模块对输入的训练样本集进行训练，所述训练样本集包括所述贝叶斯网络模型的输出数据以及包含多个工作参数的训练样本，每个所述包含多个工作参数的训练样本包括已标注的样本故障信息，根据所述训练样本集训练获得神经网络模型；
所述设备工作状态数据获取模块获取设备的工作状态数据；
所述设备关键部件状态图像数据获取模块获取设备的关键部件图像；
故障预测模块包括图像推理模块、设备工作状态数据预处理模块和故障确定模块；
所述图像推理模块将所述设备关键部件状态图像数据获取模块获取的设备的关键部件图像输入所述贝叶斯网络模型，并输出数据DIA；
所述设备工作状态数据预处理模块对所述设备工作状态数据获取模块获取的设备的工作状态数据进行预处理，得到数据DIB；
所述故障确定模块根据所述神经网络模型使用DIA和DIB进行故障预测。
4.根据权利要求3所述的一种设备故障预测系统，其特征在于，所述神经网络模型为BP神经网络模型，所述BP神经网络模型隐层神经元个数采用如下公式确定：
其中,n为输入层神经元个数,m为输出层神经元个数,a为[1,10]之间的常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110161445.8A CN112906775B (zh) | 2021-02-05 | 2021-02-05 | 一种设备故障预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110161445.8A CN112906775B (zh) | 2021-02-05 | 2021-02-05 | 一种设备故障预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112906775A CN112906775A (zh) | 2021-06-04 |
| CN112906775B true CN112906775B (zh) | 2023-12-01 |
Family
ID=76124288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110161445.8A Active CN112906775B (zh) | 2021-02-05 | 2021-02-05 | 一种设备故障预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906775B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113886973B (zh) * | 2021-10-25 | 2023-04-18 | 江苏远望仪器集团有限公司 | 基于虚实映射的船舶航速处理方法、装置及处理设备 |
| CN114237087A (zh) * | 2021-11-09 | 2022-03-25 | 深圳市移动力量科技有限公司 | 监控系统预警方法、装置及计算机可读存储介质 |
| CN115331155B (zh) * | 2022-10-14 | 2023-02-03 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158198A1 (zh) * | 2014-04-17 | 2015-10-22 | 北京泰乐德信息技术有限公司 | 一种基于神经网络自学习的故障识别方法及系统 |
| CN108285071A (zh) * | 2018-01-25 | 2018-07-17 | 暨南大学 | 一种基于贝叶斯网络的电梯健康诊断方法 |
| CN109061341A (zh) * | 2018-07-10 | 2018-12-21 | 杭州安脉盛智能技术有限公司 | 基于神经网络的卡尔曼滤波变压器故障预测方法和系统 |
| CN110008350A (zh) * | 2019-03-06 | 2019-07-12 | 杭州哲达科技股份有限公司 | 一种基于贝叶斯推理的机泵安康知识库查找方法 |
| CN111126603A (zh) * | 2019-12-25 | 2020-05-08 | 江苏远望仪器集团有限公司 | 基于神经网络模型的设备故障预测方法、装置及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190384255A1 (en) * | 2018-06-19 | 2019-12-19 | Honeywell International Inc. | Autonomous predictive real-time monitoring of faults in process and equipment |
| CN109800861A (zh) * | 2018-12-28 | 2019-05-24 | 上海联影智能医疗科技有限公司 | 一种设备故障识别方法、装置、设备及计算机系统 |
-
2021
- 2021-02-05 CN CN202110161445.8A patent/CN112906775B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158198A1 (zh) * | 2014-04-17 | 2015-10-22 | 北京泰乐德信息技术有限公司 | 一种基于神经网络自学习的故障识别方法及系统 |
| CN108285071A (zh) * | 2018-01-25 | 2018-07-17 | 暨南大学 | 一种基于贝叶斯网络的电梯健康诊断方法 |
| CN109061341A (zh) * | 2018-07-10 | 2018-12-21 | 杭州安脉盛智能技术有限公司 | 基于神经网络的卡尔曼滤波变压器故障预测方法和系统 |
| CN110008350A (zh) * | 2019-03-06 | 2019-07-12 | 杭州哲达科技股份有限公司 | 一种基于贝叶斯推理的机泵安康知识库查找方法 |
| CN111126603A (zh) * | 2019-12-25 | 2020-05-08 | 江苏远望仪器集团有限公司 | 基于神经网络模型的设备故障预测方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于长短期记忆网络的风电机组齿轮箱故障预测;何群等;《计量学报》(第10期);第1284-1290页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112906775A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112906775B (zh) | 一种设备故障预测方法及系统 | |
| Wang et al. | A gated graph convolutional network with multi-sensor signals for remaining useful life prediction | |
| CN111858526B (zh) | 基于信息系统日志的故障时间空间预测方法及系统 | |
| Velasco-Gallego et al. | RADIS: A real-time anomaly detection intelligent system for fault diagnosis of marine machinery | |
| Fan et al. | Trend attention fully convolutional network for remaining useful life estimation | |
| CN111579243A (zh) | 一种基于深度迁移学习的滚动轴承智能诊断系统 | |
| Zhou et al. | An uncertainty-informed framework for trustworthy fault diagnosis in safety-critical applications | |
| CN110597235A (zh) | 一种通用智能故障诊断方法 | |
| CN113847950A (zh) | 基于云计算的智能船舶设备状态监测系统及信息交互方法 | |
| Mandala et al. | An optimized back propagation neural network for automated evaluation of health condition using sensor data | |
| Kara | Multi-scale deep neural network approach with attention mechanism for remaining useful life estimation | |
| KR20210067108A (ko) | 머신러닝 기반 주파수 분석을 이용한 고장 진단 장치 및 방법 | |
| CN116520806A (zh) | 一种工业系统智能故障诊断系统及其方法 | |
| CN117156442A (zh) | 基于5g网络的云数据安全保护方法及系统 | |
| Mode et al. | Crafting adversarial examples for deep learning based prognostics (extended version) | |
| Zhu et al. | RGCNU: recurrent graph convolutional network with uncertainty estimation for remaining useful life prediction | |
| Kayode et al. | Lirul: A lightweight lstm based model for remaining useful life estimation at the edge | |
| Li et al. | A framework for predicting network security situation based on the improved LSTM | |
| Maher et al. | Survey on deep learning applied to predictive maintenance | |
| Dang et al. | seq2graph: Discovering dynamic non-linear dependencies from multivariate time series | |
| KR20190132223A (ko) | 네트워크 장애 원인 분석 장치 및 방법 | |
| Novilla et al. | The use of fuzzy logic for online monitoring of manufacturing machine: An intelligent system | |
| El Kihel et al. | Maintenance 4.0 Model Development for Production Lines in Industry 4.0 Using a Deep Learning Approach and IoT Data in Real-Time: an Experimental Case Study | |
| Krupp et al. | A hybrid framework for bearing fault diagnosis using physics-guided neural networks | |
| Streiffer et al. | Learning to simplify distributed systems management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |