CN114463296B - 基于单样本学习的轻量化部件缺陷检测方法 - Google Patents
基于单样本学习的轻量化部件缺陷检测方法 Download PDFInfo
- Publication number
- CN114463296B CN114463296B CN202210079249.0A CN202210079249A CN114463296B CN 114463296 B CN114463296 B CN 114463296B CN 202210079249 A CN202210079249 A CN 202210079249A CN 114463296 B CN114463296 B CN 114463296B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- component
- feature
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于单样本学习的轻量化部件缺陷检测方法。利用机器视觉技术，使用现有光学检测设备采集的部件图像，实现部件的缺陷检测，包括定性的判定部件是否存在问题，以及给出存在缺陷的可能区域。本发明提出的方法无需人工标注样本，数据采集成本低，且能适应不同的光照条件。
Description
技术领域
本发明属于机器视觉检测技术领域，具体涉及一种基于单样本学习的轻量化部件缺陷检测方法。
背景技术
工业质检的目的是检测图像数据中具有异质特征的对象，也称为缺陷检测。缺陷检测任务在工业生产、交通检测、医疗诊断等领域都发挥着重要作用。如工业生产过程中，检测产品中的不合格品便是一种缺陷检测任务。传统的工业生产过程中，为了完成缺陷检测任务，往往依赖人类优秀的异常检测能力，但这需要有经验的熟练工人，并且不同操作人员对缺陷的认知有差异，导致检测结果良莠不齐，整体检验效率低下。
在目前的缺陷检测场景下，传统的使用图像标签学习图像特征，进而寻找图像的一般特征的方式是难以实现的。因为工业生产的过程中，大量的产品都是无异常、无缺陷的，有缺陷的、有异常的不合格品是十分罕见的，这导致用于训练的具有异常的图像数量稀少，并且这些异常目标的缺陷十分多样，难以描述，无法制作成像素级的标签，使得传统的网络训练往往不能得到令人满意的结果。同时，现有的光学检测设备都需要安装补光装置，而传统机器视觉检测方法易受光照影响，通常在某个光照条件下训练的视觉检测方法，很难应用于其他光照条件下。
综上分析，受缺陷样本少、缺陷情况难以描述以及光照变化等因素的影响，自动光学检测设备获取的部件影像数据复杂多样，现有的部件缺陷检测算法难以满足工业质检的实际需求。
发明内容
本发明针对现有技术的不足，提供一种基于单样本学习的轻量化部件缺陷检测方法。利用机器视觉技术，使用现有光学检测设备采集的部件图像，实现部件的缺陷检测，包括定性的判定部件是否存在问题，以及给出存在缺陷的可能区域，以达到统一的标准化质量控制的目的，提高工业质检的速率和精度。
为了达到上述目的，本发明提供的技术方案是一种基于单样本学习的轻量化部件缺陷检测方法，包括以下步骤：
步骤1，使用照相机配合补光装置对正常部件进行拍摄，得到一张正常部件的图像；
步骤2，使用预训练的神经网络模型提取正常部件的图像特征，并对图像进行分块，每一个图像块对应一个多尺度空间特征向量；
步骤3，根据步骤2提取的特征向量，判断图像所属的数据类型；
步骤4，对于结构类数据，构建特征库，对于纹理类数据，计算各个多尺度特征向量的特征分布；
步骤5，使用照相机配合补光装置采集待检测部件的图像，包含正常部件和异常部件的图像；
步骤6，以步骤1获取的正常部件图像为基准，对待检测部件图像进行色彩校正；
步骤7，对经过色彩校正的待检测部件图像执行步骤2和步骤3的操作，得到待检测部件图像所属的数据类型和各分块图像对应的多尺度空间特征向量；
步骤8，根据步骤4得到的特征库或分布特征，判断图像块存在缺陷的可能性；
步骤9，对每个图像块的缺陷可能值做归一化处理，并整合为与待检测部件图像具有相同分辨率的热力图；
步骤10，设定检测阈值，若热力图中某个图像块的缺陷可能值超过阈值，则判定该待检部件存在缺陷；
步骤11，根据阈值将待检测部件图像中缺陷可能值大的区域分割出来，当图像块对应的缺陷可能值大于设定的阈值时，划为分割区域，用于缺陷区域的可视化。
而且，所述步骤3中对步骤2得到的若干特征向量进行随机采样，并比较特征之间的相似度，若图像块之间的特征向量存在明显差异，则判定部件图像属于结构类数据；反之，认定部件图像属于纹理类数据。
而且，所述步骤4中对于结构类数据，存储所有图像块的多尺度空间特征向量，用于构建特征库；对于纹理类数据，计算并存储各个多尺度特征向量的特征分布，涉及均值、方差的计算，能够反映部件在不同空间尺度下的特征。
而且，所述步骤6中首先计算图像三个色彩通道的亮度值，并进行色彩通道的重组，然后对各个通道以步骤1获取的正常部件图像为基准，实现直方图匹配，最终实现待检测部件图像的色彩校正。
而且，所述步骤8中依次读取每个图像块的特征向量，若待检测部件图像为结构类数据，则在步骤4构建的特征库中进行k近邻检索，找到最相似的图像块，并计算两个图像块之间的欧式距离，用于表示该图像块存在缺陷的可能性；若待检测部件图像为纹理类数据，则读取步骤4计算得到的特征分布信息，计算每个图像块对应特征向量的特征距离，用于表示该图像块存在缺陷的可能性。
而且，所述步骤9中缺陷可能值在归一化后的取值范围在0和1之间，热力图使用渐变色表示缺陷可能值，取0时为深蓝色，取1时为深红色。
与现有技术相比，本发明具有如下优点：
1)相比现有技术需要对包含缺陷部件的图像进行人工标注，本发明使用正常部件图像进行训练，无需人工标注缺陷样本，减少人工成本。
2)本发明在进行待检测部件缺陷检测时，先对图像进行色彩校正，可以保证在光照条件发生变化后，依旧保持准确的检测精度。
附图说明
图1为本发明实施例的技术流程图。
具体实施方式
本发明提供一种基于单样本学习的轻量化部件缺陷检测方法，下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明实施例的流程包括以下步骤：
步骤1，使用照相机配合补光装置对正常部件进行拍摄，得到一张正常部件的图像。
步骤2，使用预训练的带有残差结构的卷积神经网络提取正常部件的图像特征，并对图像进行分块，每一个图像块对应一个多尺度空间特征向量。
步骤3，根据步骤2提取的特征向量，判断图像所属的数据类型。
对步骤2得到的若干特征向量进行随机采样，并比较特征之间的相似度，若图像块之间的特征向量存在明显差异，则判定部件图像属于结构类数据(产品有固定的外观特征，如瓶子、金属螺母等)；反之，认定部件图像属于纹理类数据(产品各个部分没有显著差异，如布料、皮革等)。
步骤4，对于结构类数据，构建特征库；对于纹理类数据，计算各个多尺度特征向量的多元高斯分布。
对于结构类数据，存储所有图像块的多尺度空间特征向量，用于构建特征库；对于纹理类数据，计算并存储各个多尺度特征向量的多元高斯分布，涉及均值、方差的计算，能够反映部件在不同空间尺度下的特征。
步骤5，使用照相机配合补光装置采集待检测部件的图像，包含正常部件和异常部件的图像。
步骤6，以步骤1获取的正常部件图像为基准，对待检测部件图像进行色彩校正。
首先计算图像三个色彩通道的亮度值，并进行色彩通道的重组，然后对各个通道以步骤1获取的正常部件图像为基准，实现直方图匹配，最终实现待检测部件图像的色彩校正。
步骤7，对经过色彩校正的待检测部件图像执行步骤2和步骤3的操作，得到待检测部件图像所属的数据类型和各分块图像对应的多尺度空间特征向量。
步骤8，根据步骤4得到的特征库或多元高斯分布特征，判断图像块存在缺陷的可能性。
依次读取每个图像块的特征向量，若待检测部件图像为结构类数据，则在步骤4构建的特征库中进行k近邻检索，找到最相似的图像块，并计算两个图像块之间的欧式距离，用于表示该图像块存在缺陷的可能性；若待检测部件图像为纹理类数据，则读取步骤4计算得到的多元高斯分布特征，计算每个图像块对应特征向量的马氏距离，用于表示该图像块存在缺陷的可能性。
步骤9，对每个图像块的缺陷可能值做归一化处理，并整合为与待检测部件图像具有相同分辨率的热力图。
缺陷可能值在归一化后的取值范围在0和1之间，热力图使用渐变色表示缺陷可能值，取0时为深蓝色，取1时为深红色。
步骤10，设定检测阈值，若热力图中某个图像块的缺陷可能值超过阈值，则判定该待检部件存在缺陷。
步骤11，根据阈值将待检测部件图像中缺陷可能值大的区域分割出来，当图像块对应的缺陷可能值大于设定的阈值时，划为分割区域，用于缺陷区域的可视化。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于单样本学习的轻量化部件缺陷检测方法，其特征在于，包括以下步骤：
步骤1，使用照相机配合补光装置对正常部件进行拍摄，得到一张正常部件的图像；
步骤2，使用预训练的神经网络模型提取正常部件的图像特征，并对图像进行分块，每一个图像块对应一个多尺度空间特征向量；
步骤3，根据步骤2提取的特征向量，判断图像所属的数据类型；
步骤4，对于结构类数据，构建特征库，对于纹理类数据，计算各个多尺度特征向量的特征分布；
步骤5，使用照相机配合补光装置采集待检测部件的图像，包含正常部件和异常部件的图像；
步骤6，以步骤1获取的正常部件图像为基准，对待检测部件图像进行色彩校正；
步骤7，对经过色彩校正的待检测部件图像执行步骤2和步骤3的操作，得到待检测部件图像所属的数据类型和各分块图像对应的多尺度空间特征向量；
步骤8，根据步骤4得到的特征库或分布特征，判断图像块存在缺陷的可能性；
依次读取每个图像块的特征向量，若待检测部件图像为结构类数据，则在步骤4构建的特征库中进行k近邻检索，找到最相似的图像块，并计算两个图像块之间的欧式距离，用于表示该图像块存在缺陷的可能性；若待检测部件图像为纹理类数据，则读取步骤4计算得到的分布特征，计算每个图像块对应特征向量的特征距离，用于表示该图像块存在缺陷的可能性；
步骤9，对每个图像块的缺陷可能值做归一化处理，并整合为与待检测部件图像具有相同分辨率的热力图；
步骤10，设定检测阈值，若热力图中某个图像块的缺陷可能值超过阈值，则判定该待检部件存在缺陷；
步骤11，根据阈值将待检测部件图像中缺陷可能值大的区域分割出来，当图像块对应的缺陷可能值大于设定的阈值时，划为分割区域，用于缺陷区域的可视化。
2.如权利要求1所述的一种基于单样本学习的轻量化部件缺陷检测方法，其特征在于：步骤3中对步骤2得到的若干特征向量进行随机采样，并比较特征之间的相似度，若图像块之间的特征向量存在明显差异，则判定部件图像属于结构类数据；反之，认定部件图像属于纹理类数据。
3.如权利要求1所述的一种基于单样本学习的轻量化部件缺陷检测方法，其特征在于：步骤4中对于结构类数据，存储所有图像块的多尺度空间特征向量，用于构建特征库；对于纹理类数据，计算并存储各个多尺度特征向量的特征分布，涉及均值、方差的计算，能够反映部件在不同空间尺度下的特征。
4.如权利要求1所述的一种基于单样本学习的轻量化部件缺陷检测方法，其特征在于：步骤6中首先计算图像三个色彩通道的亮度值，并进行色彩通道的重组，然后对各个通道以步骤1获取的正常部件图像为基准，实现直方图匹配，最终实现待检测部件图像的色彩校正。
5.如权利要求1所述的一种基于单样本学习的轻量化部件缺陷检测方法，其特征在于：步骤9中缺陷可能值在归一化后的取值范围在0和1之间，热力图使用渐变色表示缺陷可能值，取0时为深蓝色，取1时为深红色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210079249.0A CN114463296B (zh) | 2022-01-24 | 2022-01-24 | 基于单样本学习的轻量化部件缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210079249.0A CN114463296B (zh) | 2022-01-24 | 2022-01-24 | 基于单样本学习的轻量化部件缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463296A CN114463296A (zh) | 2022-05-10 |
| CN114463296B true CN114463296B (zh) | 2024-04-16 |
Family
ID=81411311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210079249.0A Active CN114463296B (zh) | 2022-01-24 | 2022-01-24 | 基于单样本学习的轻量化部件缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463296B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115855950A (zh) * | 2022-11-23 | 2023-03-28 | 环维电子(上海)有限公司 | 针对微小瑕疵与错件的影像检测方法及其系统 |
| CN116228754B (zh) * | 2023-05-08 | 2023-08-25 | 山东锋士信息技术有限公司 | 一种基于深度学习和全局差异性信息的表面缺陷检测方法 |
| CN116596875B (zh) * | 2023-05-11 | 2023-12-22 | 哈尔滨工业大学重庆研究院 | 晶圆缺陷检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11108759A (ja) * | 1997-09-30 | 1999-04-23 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN110942450A (zh) * | 2019-11-19 | 2020-03-31 | 武汉大学 | 一种基于深度学习的多生产流水线实时缺陷检测方法 |
| CN112037215A (zh) * | 2020-09-09 | 2020-12-04 | 华北电力大学（保定） | 一种基于零样本学习的绝缘子缺陷检测方法及系统 |
| CN113947597A (zh) * | 2021-12-20 | 2022-01-18 | 宁波海棠信息技术有限公司 | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 |
-
2022
- 2022-01-24 CN CN202210079249.0A patent/CN114463296B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11108759A (ja) * | 1997-09-30 | 1999-04-23 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN110942450A (zh) * | 2019-11-19 | 2020-03-31 | 武汉大学 | 一种基于深度学习的多生产流水线实时缺陷检测方法 |
| CN112037215A (zh) * | 2020-09-09 | 2020-12-04 | 华北电力大学（保定） | 一种基于零样本学习的绝缘子缺陷检测方法及系统 |
| CN113947597A (zh) * | 2021-12-20 | 2022-01-18 | 宁波海棠信息技术有限公司 | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的热转印胶片缺陷检测;张芳健;陈新度;王晗;姚洪辉;高梦阳;李逸;;组合机床与自动化加工技术;20200120(第01期);第88-93页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463296A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114463296B (zh) | 基于单样本学习的轻量化部件缺陷检测方法 | |
| KR102643990B1 (ko) | 플레이팅된 배지 상의 스트리킹된 샘플로부터 자동화된 미생물 콜로니 카운트를 위한 방법 및 시스템 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
| CN109409289A (zh) | 一种电力作业安全监督机器人安全作业识别方法及系统 | |
| CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111563896B (zh) | 一种用于接触网异常检测的图像处理方法 | |
| CN108364306B (zh) | 一种高速周期运动的视觉实时检测方法 | |
| CN113781418A (zh) | 一种基于对比的地铁图像异常检测方法、系统及存储介质 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN113628252A (zh) | 一种基于热成像视频的泄漏气体云团检测方法 | |
| CN112598666A (zh) | 一种基于卷积神经网络的电缆隧道异常检测方法 | |
| CN117269193A (zh) | 合成革表观质量智能化检测方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN111428814A (zh) | 一种混纺纱颜色自动识别匹配方法 | |
| JP2022514427A (ja) | バクテリアコロニーのバクテリア増殖を監視しコロニーバイオマスを予測するシステム及び方法 | |
| CN116106319A (zh) | 一种合成革瑕疵自动化检测方法及系统 | |
| CN117677969A (zh) | 一种缺陷检测的方法和装置 | |
| CN115731443A (zh) | 一种输变电设备热缺陷识别方法、装置、设备和存储介质 | |
| CN115861259A (zh) | 一种基于模板匹配的引线框架表面缺陷检测方法及装置 | |
| CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
| CN111652055B (zh) | 一种基于两阶段定位的开关仪表智能识别方法 | |
| CN113850756A (zh) | 一种基于模板比对的标签缺陷检测方法 | |
| ALSAADI et al. | An automated classification of mammals and reptiles animal classes using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |