CN112801962B - 基于正样本学习的半监督工业制品瑕疵检测方法及系统 - Google Patents
基于正样本学习的半监督工业制品瑕疵检测方法及系统 Download PDFInfo
- Publication number
- CN112801962B CN112801962B CN202110066948.7A CN202110066948A CN112801962B CN 112801962 B CN112801962 B CN 112801962B CN 202110066948 A CN202110066948 A CN 202110066948A CN 112801962 B CN112801962 B CN 112801962B
- Authority
- CN
- China
- Prior art keywords
- image
- flaw
- network
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000007547 defect Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 16
- 230000002950 deficient Effects 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000006378 damage Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000002775 capsule Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于正样本学习的半监督工业制品瑕疵检测方法及系统,通过正样本图像训练图像修复网络和瑕疵分割预测网络;采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像,计算两者差值的绝对值后将三幅图像拼接得到检测张量,通过分割预测网络根据检测张量生成分割掩模二值图像,得到瑕疵区域。本发明使用半监督的深度学习方法,不需要提前标注像素级别的瑕疵位置数据,解决了瑕疵分割中的标注难题,只需要使用生产中的部分正品图像即可实现全自动化的训练学习,进行瑕疵分割和有无瑕疵的分类。并且能够对各类型异常瑕疵位置的像素进行分割。
Description
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于正样本学习的半监督工业制品,如钢制品、打印印刷纸制品、布匹纺织品等的瑕疵检测方法及系统。
背景技术
在工业生产中,由于各种原因,会产生各种瑕疵,例如污染、残缺、划痕、破洞。瑕疵种类繁多,形态复杂,肉眼识别难度较大。往往需要检测人员在生产线上人工的判断和筛选瑕疵品。现有瑕疵检测需要工人在高光照的情况下近距离判断每个样品的好坏,对视力带来很高的负担,识别过程不稳定容易受到其他因素影响,生产效率低下。随着人工智能和自动化技术的发展。工业上急需自动化的瑕疵检测技术。提高生产效率和品牌良品率,在生产过程中直接实时对产品表面进行视觉检测,挑选出瑕疵的产品。
现有的基于深度学习的瑕疵检测方法,有通过采集带有瑕疵图像,对瑕疵类型、位置、像素进行标注,制作数据集。使用像素位置和瑕疵有无作为神经网络监督,进行网络训练。但该类现有技术的数据集标注复杂,需要使用预先标注瑕疵位置的数据集进行训练,且该类技术只能对训练数据集内出现过瑕疵类型进行预测,无法对新的瑕疵类型进行预测。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于正样本学习的半监督工业制品瑕疵检测方法及系统,使用半监督的深度学习方法,不需要提前标注像素级别的瑕疵位置数据,解决了瑕疵分割中的标注难题,只需要使用生产中的部分正品(正样本)图像即可实现全自动化的训练学习,进行瑕疵分割和有无瑕疵的分类。并且能够对各类型异常瑕疵位置的像素进行分割。
本发明是通过以下技术方案实现的:
本发明涉及一种基于正样本学习的半监督工业制品瑕疵检测方法,通过正样本图像训练图像修复网络和瑕疵分割预测网络;采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像,计算两者差值的绝对值后将三幅图像拼接得到检测张量,通过分割预测网络根据检测张量生成分割掩模二值图像,得到瑕疵区域。
所述的图像修复网络由UNet结构组成。
所述的瑕疵分割预测网络包括5层下采样结构和5层上采样结构。
技术效果
本发明整体解决了现有技术需要大量像素级别瑕疵区域手工标注的技术问题。与现有技术相比,本发明使用正样本无标签的训练策略,使用修复前后的对比信息更加精准的定位瑕疵的位置区域,不受产品本身图案的影响,不依赖大量的标注数据集,使用随机生成掩模用于破坏正品图像制造合成数据集,使用瑕疵分割网络以及两种损失函数进行端到端训练,实现在各种生产场景下的各种类型的瑕疵检测;能够更好的应对各种复杂的瑕疵场景,在各种情况下恢复产品的图像。
附图说明
图1为本发明流程图;
图2为实施例测试阶段示意图;
图3为瑕疵分割网络结构示意图;
图4为胶囊瑕疵检测结果示意图;
图5为木板瑕疵检测结果示意图;
图6为药片瑕疵检测结果示意图。
具体实施方式
本实施例涉及一种基于正样本学习的半监督瑕疵检测系统,包括:瑕疵生成模块、图像修复网络模块、瑕疵分割模块,图像修复损失函数和瑕疵分割损失函数模块。其中瑕疵生成模块产生合成训练所用图像,图像修复网络负责修复瑕疵区域,瑕疵预测模块输入修复前后图像,计算瑕疵所在区域。损失函数用于网络监督训练。
如图1所示,为本实施例涉及上述系统的基于正样本学习的半监督瑕疵检测方法,包括瑕疵恢复过程和差异区域检测过程,通过恢复含有瑕疵的图像后再与原图进行对比,从而获得差异区域,即待测的瑕疵区域。
步骤1、训练阶段:采用正样本图像训练图像修复网络和瑕疵分割预测网络;
所述的正样本图像,即任意产品中挑选出无瑕疵正品的图像作为训练数据。
所述的图像修复网络由UNet结构组成,多层的跳跃连接有利于恢复细节部分的纹理,使恢复图像更加的逼真,该网络输入为128*128*3的图像,输出为128*128*3合成图像。
如图3所示,所述的瑕疵分割预测网络包括5层下采样结构和5层上采样结构,其中:每层下采样结构包括卷积、批归一化、LeakyReLU激活函数;每层上采样包括反卷积、批归一化、ReLU激活函数和self_attention注意力模块,左右对称位置的下采样和上采样之间使用跳跃连接,即每次上采样块的输入是前一层的输出和对称位置的下采样的特征图的拼接所得。
所述的瑕疵分割预测网络输入为128*128*9的张量,输出为128*128*1的分割掩模图像。
所述的训练,首先从训练数据(正品图库)中选取一张大小为128*128的3通道RGB训练图像A;然后使用随机生成的二值化掩模Mg怈,将正品图中掩模M白色像素对应的区域使用随机噪声破坏,将破坏后得到的有瑕疵缺陷图F送入图像修复网络,修复网输出修复图像R,此时修复图像R接近原始正品图像A;根据有瑕疵缺陷图F以及经过图像修复网络输出的修复图像R,计算图像F与图像R差值的绝对值D=|F-R|;再将F、R、D三张图像拼接成通道为9的训练张量Q=[F,R,D];最后将训练张量Q输入瑕疵分割预测网络,输出瑕疵的二值掩模图像Mou怈,其中白色像素区域代表瑕疵位置。
所述的训练,其损失函数包括图像修复网络的损失L1以及预测缺陷的分割图的掩模输出的损失LIOU,具体为:修复图像R和原始正品图像A的误差损失L1=||R-A||,瑕疵分割模块预测的掩模Mou怈和之前破坏图像所使用的伪造掩模Mg怈的交并比损失 通过将两种损失的加权求和得到训练采用的总体损失函数L=L1+LIOU。
所述的交并比损失函数中:当输出和标注越接近时,T值越接近1。当输出掩模和伪标注掩模完全不同时T值为0,所以使用1-T为损失函数进行监督训练。
所述的训练,以损失函数作为训练监督,其中图像修复网络使用adam优化器进行优化,瑕疵分割预测网络使用SGD优化器进行优化。
步骤2、测试阶段:采用含待测瑕疵的图像F输入图像修复网络得到恢复后的正品图像R,计算两者差值的绝对值后将三幅图像拼接得到检测张量,通过分割预测网络根据检测张量生成分割掩模二值图像M0u怈,得到瑕疵区域。
所述的含待测瑕疵的图像,优选裁剪成128*128的尺寸,该图像可能存在瑕疵。
优选地,将掩模二值图像进行像素点统计,通过阈值过滤方法进行瑕疵筛查判断。
本实施例以MVTec Anomaly Detection Dataset(MVTec AD)的部分胶囊数据为例进行测试,使用ubuntu20.04操作系统,使用英伟达1660super显卡加速,pytorch神经网络框架,python编程语言,使用opencv库进行图像处理。
本实施例使用胶囊数据集的正品(正样本)图像作为训练集。原始图像尺寸为1000*1000*3,将压缩算法将图像缩小至128*128*3,使用随机掩模图像破坏后获得一张有瑕疵的图像输入网络。图像恢复网络恢复出对应的正样本图像。瑕疵分割网络预测出瑕疵区域的掩模图像。其中监督图像恢复的损失函数为L1损失函数,即输出图像和正品图像对应位置每个像素对应位置RGB数值的差值的绝对值的均值。
本实施例使用胶囊数据集的测试集进行测试,如下图所示其中F为待检测的存在瑕疵的图像,R是经过图像修复网络修复的图像。计算F与R的差值的绝对值D,将FRD三张图像拼接为将掩模是网络预测的瑕疵区域,其中白色像素即为缺陷区域。
本实施例进一步采用MVTec Anomaly Detection Dataset(MVTec AD)的部分木板数据以及部分药片数据为例进行测试,得到如图5和图6所示的结果。
经过具体实际实验,本方法可以在瑕疵分割公开数据集AITEX上获得86.1%的预测精度,并且在NVIDIA 2080Ti GPU上实现122FPS的识别速度。综上,本方法在无人工标注训练集数据集的情况下瑕疵预测精准,检测分割速度快。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (5)
1.一种基于正样本学习的半监督工业制品瑕疵检测方法,其特征在于,通过正样本图像训练图像修复网络和瑕疵分割预测网络;采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像,计算两者差值的绝对值后将三幅图像,即含待测瑕疵的图像、恢复后的正品图像以及两者差值的绝对值后的图像拼接得到检测张量,通过分割预测网络根据检测张量生成分割二值掩模图像,得到瑕疵区域;
所述的训练,首先从训练数据中选取一张3通道RGB训练图像A;然后使用随机生成的二值化掩模Mgt,将正品图中掩模M白色像素对应的区域使用随机噪声破坏,将破坏后得到的有瑕疵缺陷图F输入图像修复网络并输出修复图像R,此时修复图像R接近原始正品图像A;根据有瑕疵缺陷图F以及经过图像修复网络输出的修复图像R,计算图像F与图像R差值的绝对值D=|F-R|;再将F、R、D三张图像拼接成通道为9的训练张量Q=[F,R,D];最后将训练张量Q输入瑕疵分割预测网络,输出瑕疵的二值掩模图像Mout,其中白色像素区域代表瑕疵位置。
2.根据权利要求1所述的基于正样本学习的半监督工业制品瑕疵检测方法,其特征是,所述的图像修复网络由UNet结构组成。
3.根据权利要求1所述的基于正样本学习的半监督工业制品瑕疵检测方法,其特征是,所述的瑕疵分割预测网络包括5层下采样结构和5层上采样结构,其中:每层下采样结构包括卷积、批归一化、LeakyReLU激活函数;每层上采样包括反卷积、批归一化、ReLU激活函数和self_attention注意力模块,左右对称位置的下采样和上采样之间使用跳跃连接,即每次上采样块的输入是前一层的输出和对称位置的下采样的特征图的拼接所得。
5.一种实现权利要求1~4中任一所述方法的系统,其特征在于,包括:瑕疵生成模块、图像修复网络模块、瑕疵分割模块,图像修复损失函数和瑕疵分割损失函数模块,其中瑕疵生成模块产生合成训练所用图像,图像修复网络负责修复瑕疵区域,瑕疵预测模块根据训练张量得到瑕疵的二值掩模图像,即瑕疵所在区域,损失函数用于网络监督训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110066948.7A CN112801962B (zh) | 2021-01-19 | 2021-01-19 | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110066948.7A CN112801962B (zh) | 2021-01-19 | 2021-01-19 | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801962A CN112801962A (zh) | 2021-05-14 |
CN112801962B true CN112801962B (zh) | 2022-09-16 |
Family
ID=75810338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110066948.7A Active CN112801962B (zh) | 2021-01-19 | 2021-01-19 | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801962B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808035B (zh) * | 2021-08-25 | 2024-04-26 | 厦门微图软件科技有限公司 | 一种基于半监督学习的瑕疵检测方法 |
CN114240968A (zh) * | 2021-12-17 | 2022-03-25 | 联通(上海)产业互联网有限公司 | 一种分割图像中异常区域的自监督深度学习算法 |
CN114544664B (zh) * | 2022-04-22 | 2022-07-08 | 江苏派陶网络科技有限公司 | 平面感应线圈异常焊接点的识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509172A (zh) * | 2018-09-25 | 2019-03-22 | 无锡动视宫原科技有限公司 | 一种基于深度学习的液晶屏瑕疵检测方法及系统 |
CN111369572A (zh) * | 2020-02-28 | 2020-07-03 | 清华大学深圳国际研究生院 | 一种基于图像修复技术的弱监督语义分割方法和装置 |
CN111612799A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质 |
CN111798409A (zh) * | 2020-05-19 | 2020-10-20 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的pcb缺陷数据生成方法 |
CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
CN112164048A (zh) * | 2020-09-25 | 2021-01-01 | 华中科技大学 | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 |
CN112215803A (zh) * | 2020-09-15 | 2021-01-12 | 昆明理工大学 | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1148333A1 (de) * | 2000-02-05 | 2001-10-24 | YXLON International X-Ray GmbH | Verfahren zur automatischen Gussfehlererkennung in einem Prüfling |
CN104751447A (zh) * | 2015-01-10 | 2015-07-01 | 哈尔滨工业大学(威海) | 一种锂电池单元缺陷检测方法 |
CN111488994A (zh) * | 2020-03-04 | 2020-08-04 | 清华大学 | 正样本学习模型评估方法及装置 |
CN112132833B (zh) * | 2020-08-25 | 2024-03-26 | 沈阳工业大学 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
-
2021
- 2021-01-19 CN CN202110066948.7A patent/CN112801962B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509172A (zh) * | 2018-09-25 | 2019-03-22 | 无锡动视宫原科技有限公司 | 一种基于深度学习的液晶屏瑕疵检测方法及系统 |
CN111369572A (zh) * | 2020-02-28 | 2020-07-03 | 清华大学深圳国际研究生院 | 一种基于图像修复技术的弱监督语义分割方法和装置 |
CN111612799A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质 |
CN111798409A (zh) * | 2020-05-19 | 2020-10-20 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的pcb缺陷数据生成方法 |
CN112215803A (zh) * | 2020-09-15 | 2021-01-12 | 昆明理工大学 | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 |
CN112164048A (zh) * | 2020-09-25 | 2021-01-01 | 华中科技大学 | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 |
CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
"A Surface Defect Detection Method Based on Positive Samples";Zhixuan Zhao等;《PRICAI 2018》;20180727;473-481页 * |
"基于生成对抗网络的缸盖表面缺陷识别";王铭等;《制造业自动化》;20201130;96-102页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112801962A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801962B (zh) | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 | |
CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
CN113989228A (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测系统 | |
JP2006098151A (ja) | パターン検査装置およびパターン検査方法 | |
CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
CN116188459B (zh) | 一种用于皮带撕裂检测的线激光快速识别方法及系统 | |
CN112183639B (zh) | 一种矿物图像识别与分类方法 | |
CN111915593A (zh) | 模型建立方法、装置、电子设备及存储介质 | |
CN114742818A (zh) | 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法 | |
Heo et al. | Crack automatic detection of CCTV video of sewer inspection with low resolution | |
CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
KR20170127269A (ko) | 영상 표면의 결함을 검출 및 분류하는 방법 및 장치 | |
JP2009198290A (ja) | 欠陥検出方法および欠陥検出装置 | |
KR20230064319A (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
JP5889778B2 (ja) | フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法 | |
CN112200766A (zh) | 基于区域关联神经网络的工业产品表面缺陷检测方法 | |
US20230230224A1 (en) | Physics-informed anomaly detection in formed metal parts | |
CN115311273A (zh) | 检测模型的训练方法、缺陷检测方法、装置及存储介质 | |
CN113781449A (zh) | 一种基于多尺度特征融合的纺织品瑕疵分类方法 | |
CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
CN114119562A (zh) | 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 | |
KR102609153B1 (ko) | 딥러닝 기반 제조 영상의 이상 탐지 장치 및 방법 | |
Revathy et al. | Fabric defect detection and classification via deep learning-based improved Mask RCNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |