CN109978031B - 基于图像特征回归的多视角流形分析故障诊断方法 - Google Patents
基于图像特征回归的多视角流形分析故障诊断方法 Download PDFInfo
- Publication number
- CN109978031B CN109978031B CN201910196650.0A CN201910196650A CN109978031B CN 109978031 B CN109978031 B CN 109978031B CN 201910196650 A CN201910196650 A CN 201910196650A CN 109978031 B CN109978031 B CN 109978031B
- Authority
- CN
- China
- Prior art keywords
- view
- image
- matrix
- data
- analysis fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Waste-Gas Treatment And Other Accessory Devices For Furnaces (AREA)
Abstract
本发明提供一种基于图像特征回归的多视角流形分析故障诊断方法,涉及工业冶炼过程控制技术领域。该方法首先在电熔氧化镁的工业过程中利用多个摄像头从多个视角采集电熔氧化炉图像数据并将其灰度化,得到每个视角采集的视频图像的灰度矩阵;然后建立基于图像特征回归的多视角流形分析故障模型,并计算得到模型中的灰度特征矩阵、每个视角的权重系数、每个视角的映射关系矩阵及残差;最后通过多个视角重新采集电熔氧化镁熔炼过程的待检测数据图像对电熔镁炉工况进行检测。本发明提供的基于图像特征回归的多视角流形分析故障诊断方法,在复杂的现场环境下能有效地提升识别电熔镁炉熔炼运行状态的识别度和准确性,大大降低过程检测的误报率、漏报率。
Description
技术领域
本发明涉及工业冶炼过程控制技术领域,尤其涉及一种基于图像特征回归的多视角流形分析故障诊断方法。
背景技术
电熔氧化镁是一种重要的耐火材料,它具有以下优点:熔点高、结构致密、抗氧化性强、耐压强度高、耐腐蚀性强、化学性能稳定,因此在多种工业生产中得到了广泛应用。电熔氧化镁炉是用于生产电熔氧化镁的主要设备之一,是一种矿热电弧炉。随着熔炼技术的发展,电熔氧化镁炉已经成为电熔氧化镁生产的主要设备。
在实际应用中,当原料的粒度、成分、熔点等发生变化时,电极底部与熔池之间的距离会产生波动。这种未知的波动将导致电流的波动,之前的电流设定值将不再适用于变化的工况,此时会产生更高的能量消耗,系统性能下降甚至具有安全威胁。以排气异常工况为例,当原料的粒度发生变化时,原来的电极动作无法完全使熔炼过程中产生的二氧化碳气体排出,即排气工况的电流设定值不再适用,电熔氧化镁炉内的压强将升高,当压强升高到一定程度时,高温熔浆将随气体一起排出炉外,飞溅的高温熔浆将对设备造成严重损坏,对操作人员的人身安全造成极大威胁。同时,在飞溅产生的过程中,大量的能量损失提高了电熔氧化镁炉的单吨能耗。除此之外还有由于电极距离炉壁距离过近,炉壁烧穿进而导致产品外漏,同样造成巨大经济财产损失。由于外界的强烈干扰及变量之间的强耦合、非线性的存在,理解变量间相关关系,以及获取异常工况下的模型是十分困难的。
目前,电熔氧化镁炉异常工况的预警主要依靠现场工人的不间断巡检。工人通过观察生产过程中炉口火焰的形态、亮度、火星,以及炉壁是否有烧红区域等特征,根据经验来预先判断可能发生的异常工况。操作人员的人为调整方法完全依赖于操作者各自的经验,很难保证决策的及时性及准确性。如有操作不当、疏于检测或因不可抗拒的自然因素引起设备故障而导致生产中断等事故,将会给生产带来巨大的浪费和损失。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于图像特征回归的多视角流形分析故障诊断方法,实现在复杂的现场环境下,多视角检测,达到降低误报率的目的。
为解决上述技术问题,本发明所采取的技术方案是:基于图像特征回归的多视角流形分析故障诊断方法,包括以下步骤:
步骤1:采集数据;在电熔氧化镁的工业过程中利用多个摄像头从多个视角采集电熔氧化炉图像数据并将其灰度化,得到每个视角采集的视频图像的灰度矩阵v=1.2,…,r,r为视角总数,i=1,…,N,N为每个视角采集的图像数据个数;
步骤2:在原始图像数据保持流形结构的基础上,使得多视角图像灰度矩阵降维之后的向量在一定的残差下,回归到图片特征上,进而建立基于图像特征回归的多视角流形分析故障模型,如下公式所示:
其中,为正常熔炼过程第v个视角采集的第i个视频图像的灰度矩阵,为第v个视角采集的第j个视频图像的灰度矩阵;Wv∈n×1为第v个视角的映射关系矩阵;Y∈m×1为灰度特征矩阵;b∈m×1为残差;为第v个视角的权重系数;
步骤3:选取Y∈m×1个灰度特征;Y通过从灰度共生矩阵中选取的4个特征,从每个视角选取30个角度,求出每个视角的灰度特征,然后取均值得到;
步骤4:求取每个视角的权重系数;
根据K近邻准则求解得第v个视角的权重系数:
步骤5:固定残差b,迭代求解多视角流形分析故障模型中每个视角的映射关系矩阵;
为了求得映射关系矩阵最优解,首先对公式(1)中的Wv求偏导,得到:
步骤6:固定映射关系矩阵Wv,迭代求解多视角流形分析故障模型中的残差b;
首先对公式(1)中的b求偏导,得到:
然后,固定映射关系矩阵Wv,采用最速下降法迭代求解bk+1,如下公式所示:
bk+1=bk-cb′k
步骤7:通过多个视角重新采集电熔氧化镁熔炼过程的待检测数据图像,将上述步骤得出的Wv,Y,b及待检测数据带入步骤2建立的基于图像特征回归的多视角流形分析故障数学模型中,求取与Y+b的余弦值fv,画出fv的图像;
步骤8:计算每个视角的余弦值fv的控制限,判断待检测数据所对应的电熔镁炉工况时刻是否有故障发生;采用核密度估计的方法,得到不同视角的余弦值fv的控制限tv,并将其画在步骤7的余弦值fv的图像里,则高于控制限的待检测数据所对应的电熔镁炉工况时刻为有故障发生,低于控制限的待检测数据所对应的电熔镁炉工况时刻为正常过程。
采用上述技术方案所产生的有益效果在于:本发明提供的基于图像特征回归的多视角流形分析故障诊断方法,实现了充分利用现场多视角数据,对多视角视频数据通过特征回归的方式进行降维处理,在避免维数灾难的同时,对工业过程进行准确的故障检测。既解决了单一视角信息获取不充分的问题,又能通过流形结构,保持原始图像数据的低维表示的高维结构信息。在复杂的现场环境下能有效地提升识别电熔镁炉熔炼运行状态的识别度和准确性,大大降低过程检测的误报率、漏报率。
附图说明
图1为本发明实施例提供的电镕镁生产过程的结构示意图;
图2为本发明实施例提供的基于图像特征回归的多视角流形分析故障诊断方法的流程图;
图3为本发明实施例提供的通过视角1进行电镕镁生产过程故障检测的结果图;
图4为本发明实施例提供的通过视角2进行电镕镁生产过程故障检测的结果图;
图5为本发明实施例提供的通过视角3进行电镕镁生产过程故障检测的结果图;
图6为本发明实施例提供的采用基于图像特征回归的多视角流形分析故障诊断方法进行故障检测的最终检测结果图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例以如图1所示的电熔氧化镁炉结构为例,采用本发明基于图像特征回归的多视角流形分析故障诊断方法对电熔氧化镁工业过程的故障进行检测。电熔氧化镁炉主要以熔融状态下电流通过物料所产生的物料电阻热为主要热源,同时伴有电弧热,它的热量集中,能有效的将物料加热到熔点2800℃以上,有利于熔炼电熔氧化镁,其结构包括变压器1、短网2、电极升降装置3、电极4、炉壳5、车体6、电弧7和炉料8。
基于图像特征回归的多视角流形分析故障诊断方法,如图2所示,包括以下步骤:
步骤1:采集数据;在电熔氧化镁的工业过程中利用多个摄像头从多个视角采集电熔氧化炉图像数据并将其灰度化,得到每个视角采集的视频图像的灰度矩阵v=1.2,…,r,r为视角总数,i=1,…,N,N为每个视角采集的图像数据个数;
步骤2:在原始图像数据保持流形结构的基础上,使得多视角图像灰度矩阵降维之后的向量在一定的残差下,回归到图片特征上,进而建立基于图像特征回归的多视角流形分析故障模型,如下公式所示:
其中,为正常熔炼过程第v个视角采集的第i个视频图像的灰度矩阵,为第v个视角采集的第j个视频图像的灰度矩阵;Wv∈n×1为第v个视角的映射关系矩阵;Y∈m×1为灰度特征矩阵;b∈m×1为残差;为第v个视角的权重系数;
步骤3:选取Y∈m×1个灰度特征;Y通过从灰度共生矩阵中选取的4个特征,从每个视角选取30个角度,求出每个视角的灰度特征,然后取均值得到;
本实施例中,图像灰度特征矩阵Y∈120×1,具体数值如下矩阵所示:
Y=[25.06134099 0.986773445 0.003687902 0.558670838 36.73336710.979490547 0.003091756 0.517240768 21.08802185 0.986962343 0.0050620470.666403769 44.66088312 0.973971207 0.003049735 0.507348203 67.917652810.964273238 0.002266021 0.427138864 91.71101054 0.948981938 0.0019362720.394833108 53.94848885 0.966880042 0.00324969 0.536685813 103.64056160.940508776 0.001912159 0.380140307 72.12384119 0.956728898 0.0024832220.448511909 63.78665713 0.962243192 0.002499948 0.465300648 82.708558930.95408753 0.002109889 0.407670479 72.51313335 0.961599977 0.0021289540.414481183 92.17636716 0.944913956 0.002089666 0.40161077 86.535760660.948259367 0.0020963 0.420010944 122.7657964 0.933235208 0.0016477740.345018323 113.0979479 0.940869143 0.001655109 0.350127498 123.30602510.928381285 0.001610306 0.335514261 120.5879999 0.929381055 0.0016071320.351868516 217.1142234 0.882478723 0.001183649 0.268654035 209.24186240.889465373 0.001183237 0.271637006 156.1400974 0.911167643 0.0013500680.290666839 155.2080139 0.910774382 0.001342961 0.304372939 324.70659830.825114023 0.000962772 0.222373565 317.4289757 0.832365026 0.0009578660.224025882 190.5624511 0.893467441 0.001187118 0.258111951 190.23815250.892575316 0.001179167 0.269256482 436.0781361 0.768536382 0.0008343040.190974416 430.4269062 0.775197624 0.000829929 0.192172833 177.31896230.899967568 0.001268936 0.27154287 178.0475004 0.89827806 0.0012575420.291315704]
本实施例中,h选取10,求取每个视角图像数据的结构权重系数并建立高维的邻域结构图矩阵,部分数据如表2所示:
0 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0 | 0 |
0.008333 | 0 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0 |
0.008333 | 0.008333 | 0 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 |
0.008333 | 0.008333 | 0.008333 | 0 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 |
0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0.008333 | 0.008333 | 0.008333 | 0.008333 |
0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0.008333 | 0.008333 | 0.008333 |
0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0.008333 | 0.008333 |
0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 | 0.008333 |
0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0.008333 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0.008333 | 0.008333 | 0.008333 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.008333 | 0.008333 |
步骤5:固定残差b,迭代求解多视角流形分析故障模型中每个视角的映射关系矩阵;
为了求得映射关系矩阵最优解,首先对公式(1)中的Wv求偏导,得到:
步骤6:固定映射关系矩阵Wv,迭代求解多视角流形分析故障模型中的残差b;
首先对公式(1)中的b求偏导,得到:
然后,固定映射关系矩阵Wv,采用最速下降法迭代求解bk+1,如下公式所示:
bk+1=bk-cb′k
步骤7:通过多个视角重新采集电熔氧化镁熔炼过程的待检测数据图像,将上述步骤得出的Wv,Y,bk+1及待检测数据带入步骤2建立的基于图像特征回归的多视角流形分析故障数学模型中,求取与Y+b的余弦值fv,画出fv的图像;
步骤8:计算每个视角的余弦值fv的控制限,判断待检测数据所对应的电熔镁炉工况时刻是否有故障发生;采用核密度估计的方法,得到不同视角的余弦值fv的控制限tv,并将其画在步骤7的余弦值fv的图像里,则高于控制限的待检测数据所对应的电熔镁炉工况时刻为有故障发生,低于控制限的待检测数据所对应的电熔镁炉工况时刻为正常过程。
本实施例中,利用核密度估计的方法,确定第一个视角的99%置信度控制限t99=0.012;第二个视角的的99%置信度控制限t99=0.000235;第三个视角的99%置信度控制限t99=0.000193;三个视角的控制限分别如图3-5所示,结合判定条件,满足三个视角的余弦值f1,f2和f3中的两个大于其控制限,判定为故障发生,故障检测结果如图6所示。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (5)
1.一种基于图像特征回归的多视角流形分析故障诊断方法,其特征在于:包括以下步骤:
步骤1:采集数据;在电熔氧化镁的工业过程中利用多个摄像头从多个视角采集电熔氧化炉图像数据并将其灰度化,得到每个视角采集的视频图像的灰度矩阵v=1, 2,…,r,r为视角总数,i=1,…,N,N为每个视角采集的图像数据个数;
步骤2:在原始图像数据保持流形结构的基础上,使得多视角图像灰度矩阵降维之后的向量在一定的残差下,回归到图片特征上,进而建立基于图像特征回归的多视角流形分析故障模型,如下公式所示:
其中,为正常熔炼过程第v个视角采集的第i个视频图像的灰度矩阵,为第v个视角采集的第j个视频图像的灰度矩阵;Wv∈n×1为第v个视角的映射关系矩阵;Y∈m×1为灰度特征矩阵;b∈m×1为残差;为第v个视角的权重系数;
步骤3:选取Y∈m×1个灰度特征;
步骤4:求取每个视角的权重系数;
步骤5:固定残差b,迭代求解多视角流形分析故障模型中每个视角的映射关系矩阵;
步骤6:固定映射关系矩阵Wv,迭代求解多视角流形分析故障模型中的残差b;
步骤7:通过多个视角重新采集电熔氧化镁熔炼过程的待检测数据图像,将上述步骤得出的Wv,Y,b及待检测数据带入步骤2建立的基于图像特征回归的多视角流形分析故障数学模型中,求取与Y+b的余弦值fv,画出fv的图像;
步骤8:计算每个视角的余弦值fv的控制限,判断待检测数据所对应的电熔镁炉工况时刻是否有故障发生;采用核密度估计的方法,得到不同视角的余弦值fv的控制限tv,并将其画在步骤7的余弦值fv的图像里,则高于控制限的待检测数据所对应的电熔镁炉工况时刻为有故障发生,低于控制限的待检测数据所对应的电熔镁炉工况时刻为正常过程。
2.根据权利要求1所述的基于图像特征回归的多视角流形分析故障诊断方法,其特征在于:步骤3所述灰度特征Y通过从灰度共生矩阵中选取的4个特征,从每个视角选取30个角度,求出每个视角的灰度特征,然后取均值得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910196650.0A CN109978031B (zh) | 2019-03-13 | 2019-03-13 | 基于图像特征回归的多视角流形分析故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910196650.0A CN109978031B (zh) | 2019-03-13 | 2019-03-13 | 基于图像特征回归的多视角流形分析故障诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109978031A CN109978031A (zh) | 2019-07-05 |
CN109978031B true CN109978031B (zh) | 2022-10-18 |
Family
ID=67078957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910196650.0A Active CN109978031B (zh) | 2019-03-13 | 2019-03-13 | 基于图像特征回归的多视角流形分析故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109978031B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705368B (zh) * | 2019-09-05 | 2023-04-18 | 深圳大学 | 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质 |
CN113343440A (zh) * | 2021-05-21 | 2021-09-03 | 东北大学 | 基于图像数据的高炉风口回旋区三维温度场构建方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104898646A (zh) * | 2015-04-30 | 2015-09-09 | 东北大学 | 一种基于kpca进行故障分离与重构的电熔镁炉故障诊断方法 |
CN107092923A (zh) * | 2017-03-22 | 2017-08-25 | 东北大学 | 基于改进监督核局部线性嵌入法的电熔镁炉过程监测方法 |
CN107817745A (zh) * | 2017-10-31 | 2018-03-20 | 东北大学 | 基于丛流形核线性判别分析的工业过程故障监测方法 |
CN109325417A (zh) * | 2018-08-23 | 2019-02-12 | 东北大学 | 一种基于深度神经网络的工业过程故障工况诊断方法 |
-
2019
- 2019-03-13 CN CN201910196650.0A patent/CN109978031B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104898646A (zh) * | 2015-04-30 | 2015-09-09 | 东北大学 | 一种基于kpca进行故障分离与重构的电熔镁炉故障诊断方法 |
CN107092923A (zh) * | 2017-03-22 | 2017-08-25 | 东北大学 | 基于改进监督核局部线性嵌入法的电熔镁炉过程监测方法 |
CN107817745A (zh) * | 2017-10-31 | 2018-03-20 | 东北大学 | 基于丛流形核线性判别分析的工业过程故障监测方法 |
CN109325417A (zh) * | 2018-08-23 | 2019-02-12 | 东北大学 | 一种基于深度神经网络的工业过程故障工况诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109978031A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978031B (zh) | 基于图像特征回归的多视角流形分析故障诊断方法 | |
WO2017210894A1 (zh) | 基于运行视频信息的一种电弧炉故障监测方法 | |
CN106950472B (zh) | 一种基于红外紫外成像的绝缘子检测方法 | |
CN106839769B (zh) | 基于多流形半监督局部-全局的电熔镁炉故障监测方法 | |
CN107748901B (zh) | 基于相似性局部样条回归的工业过程故障诊断方法 | |
CN112017173B (zh) | 基于目标检测网络和结构化定位的电力设备缺陷检测方法 | |
CN106599450B (zh) | 基于先验知识的核灵活流形嵌入电熔镁炉故障监测方法 | |
CN114596280B (zh) | 一种碳纤维布面生产过程中碎屑纸的检测方法及装置 | |
CN115091491A (zh) | 一种配电房巡维机器人及其控制方法 | |
CN109961428B (zh) | 基于流形的非负矩阵分解电熔氧化镁工业故障检测方法 | |
CN107862320A (zh) | 一种电缆瓷套终端红外图像特征向量提取方法 | |
CN109885032B (zh) | 基于邻域投影保持的异构数据协同建模工业故障检测方法 | |
CN117078641A (zh) | 基于主动强化学习与多模态的电熔镁炉欠烧工况识别方法 | |
CN108317966A (zh) | 一种阳极导杆钢爪变形检测方法及装置 | |
CN109885029B (zh) | 基于投影非负矩阵分解的电熔氧化镁过程故障检测方法 | |
CN109961027B (zh) | 基于相似性度量共享子空间多视角电熔镁炉故障监测方法 | |
CN109885028B (zh) | 基于相关熵诱导度量的电熔氧化镁熔炼过程故障检测方法 | |
CN108759479A (zh) | 基于盲源分离单边检测法的烧结机漏风故障在线诊断方法 | |
Lu et al. | Deep learning based fusion of RGB and infrared images for the detection of abnormal condition of fused magnesium furnace | |
CN112504509B (zh) | 一种电力设备温度监测系统及方法 | |
CN109948503B (zh) | 基于共享子空间多视角非负矩阵分解的工业故障检测方法 | |
CN112581442A (zh) | 基于人工智能的电弧炉熔炼状态判断方法及装置 | |
JP3079345B2 (ja) | 金属組織評価法及びシステム | |
Zhang et al. | PredNet based sequence image disturbance processing of fused magnesium furnaces | |
CN115170569B (zh) | 一种基于图像的高熵材料涂层刀具的失效检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |