CN111986195A - 一种外观缺陷检测方法及系统 - Google Patents
一种外观缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN111986195A CN111986195A CN202010930373.4A CN202010930373A CN111986195A CN 111986195 A CN111986195 A CN 111986195A CN 202010930373 A CN202010930373 A CN 202010930373A CN 111986195 A CN111986195 A CN 111986195A
- Authority
- CN
- China
- Prior art keywords
- detected
- defect
- defects
- screening
- appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 249
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000012216 screening Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000013135 deep learning Methods 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000007689 inspection Methods 0.000 claims description 29
- 238000013519 translation Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 17
- 230000010363 phase shift Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims 6
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Abstract
本申请公开了一种外观缺陷检测方法,包括:对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。进一步的,采用去帽二值化方法进行外观缺陷筛选,或者采用相移二值化方法进行外观缺陷筛选。该检测方法的设计能够对于缺陷的成像要求不高,并且不要求缺陷明显,无须定制光源,因而能够有效避免误检及漏检的发生。此外,本申请还公开了一种外观缺陷检测系统。
Description
技术领域
本申请涉及外管缺陷检测技术领域,特别涉及一种外观缺陷检测方法。此外,本申请还涉及一种外观缺陷检测系统。
背景技术
传统的外观缺陷检测方法一般是采用传统的图像处理技术进行缺陷的提取,然后按照缺陷的特征进行缺陷类别分类,分离出真缺陷(划伤、打痕、溢胶等)和假缺陷(灰尘、毛丝、脏污、油脂等),这种处理方法首先对缺陷的成像要求很高,需要缺陷整体能够明显成像,便于缺陷提取;其次需要待检缺陷的特征明显,可以通过这些特征人为进行真假缺陷的甄别。如果缺少以上必要条件,会对检测造成干扰,造成大量的误检、漏检。基于以上的成像条件,往往需要定制光源、对检测项目进行缺陷筛选,大大限制了外观检测的应用场景和缺陷类型。
发明内容
本申请要解决的技术问题为提供一种外观缺陷检测方法,该检测方法的设计能够对于缺陷的成像要求不高,并且不要求缺陷明显,无须定制光源,因而能够有效避免误检及漏检的发生。此外,本申请另一个要解决的技术问题为提供一种外观缺陷检测系统。
为解决上述技术问题,本申请提供一种外观缺陷检测方法,包括:
对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
在一种具体实施方式中,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用去帽二值化方法进行外观缺陷筛选。
在一种具体实施方式中,所述“采用去帽二值化方法进行外观缺陷筛选”包括:
对于待检测图象,生成直方图;
在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;
当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。
在一种具体实施方式中,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用相移二值化方法进行外观缺陷筛选。
在一种具体实施方式中,所述“采用相移二值化方法进行外观缺陷筛选”包括:
基于所述待检测对象,对图像进行同步周期平移;
将平移后的图像与平移前的图像相减;
将相减得到的图像进行二值化处理;
基于所述二值化处理后的数据,提取最大面积值;
当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。
在一种具体实施方式中,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”之前包括:
建立外观缺陷的样本库;
选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
在一种具体实施方式中,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
此外,为解决上述技术问题,本申请提供一种外观缺陷检测系统,包括:
筛选模块,用于对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
识别模块,用于对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
输出模块,用于对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
在一种具体实施方式中,所述筛选模块为去帽二值化筛选模块。
在一种具体实施方式中,所述去帽二值化筛选模块包括:
直方图生成单元,用于对于待检测图象,生成直方图;
第一面积值获取单元,用于在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;
判断单元,用于当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。
在一种具体实施方式中,所述筛选模块为相移二值化筛选模块。
在一种具体实施方式中,所述相移二值化筛选模块包括:
周期平移单元,用于基于所述待检测对象,对图像进行同步周期平移;
相减单元,用于将平移后的图像与平移前的图像相减;
二值化处理单元,用于将相减得到的图像进行二值化处理;
提取单元,用于基于所述二值化处理后的数据,提取最大面积值;
判断单元,用于当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。
在一种具体实施方式中,所述识别模块包括:
样本库建立单元,用于建立外观缺陷的样本库;
模型训练单元,用于选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
模型测试单元,用于基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
在一种具体实施方式中,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
以下介绍本申请实施例的技术效果:
在一种实施例中,本申请所提供的一种外观缺陷检测方法,包括:
对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;如上文所讲,筛选为对检测对象做一个初步筛选,把疑似包含缺陷的图像都筛出来,这个步骤的主要目标是利用筛选算法的高效率性,将一些经计算后肯定的没有缺陷的图像排除掉,留下可能包含缺陷的图像,从而提升检测效率。
对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;如上文所讲,识别是对留下来的可能包含缺陷的图像进行第二步缺陷识别,甄别真缺陷和假缺陷。这一步的主要技术路线是利用深度学习技术对大量分类的图像(包含真缺陷类、假缺陷类、良品类等)进行训练,得到一个模型,该模型对疑似包缺陷的图像进行识别,做出准确的分类,从而最终识别出真缺陷。
对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。将识别出的真缺陷按照:a)大折痕、b)小折痕、c)异物、d)气泡、e)印痕(强)、f)印痕(弱)、g)膜划伤、h)打痕等类别分别区分。
在上述实施例中,由于不再进行特征提取,并且采用了大数据的方式进行缺陷识别,因而该检测方法的设计能够对于缺陷的成像要求不高,并且不要求缺陷明显,无须定制光源,因而能够有效避免误检及漏检的发生。此外,本申请另一个要解决的技术问题为提供一种外观缺陷检测系统。
此外,本申请所提供的外观缺陷检测系统的技术效果,与上文方法的技术效果相同,因而在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为外观缺陷检测中典型缺陷类别示意图;
图2为本申请一种实施例中外观检测方法的流程示意图;
图3为本申请一种实施例中外观检测方法的流程框图;
图4为本申请另一种实施例中外观检测方法的流程框图;
图5为本申请又一种实施例中外观检测方法的流程框图;
图6为本申请再一种实施例中外观检测方法的流程框图;
图7为本申请一种实施例中外观检测系统的功能框图;
图8为本申请另一种实施例中外观检测系统的功能框图;
图9为本申请又一种实施例中外观检测系统的功能框图;
图10为本申请再一种实施例中外观检测系统的功能框图;
图11为本申请中图4中外观检测方法对应的场景图;
图12为本申请中图5中外观检测方法对应的场景图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为外观缺陷检测中典型缺陷类别示意图。
如图1所示,以显示屏行业外观检测为例,图1中展示了该行业外观检测的典型缺陷类别,包括:a)大折痕、b)小折痕、c)异物、d)气泡、e)印痕(强)、f)印痕(弱)、g)膜划伤、h)打痕。
请参考图2,图2为本申请一种实施例中外观检测方法的流程示意图。
如图2所示,本申请所提供的检测方法融合了当今前沿的人工智能技术,除了对成像环境要求较为宽松之外,对缺陷的特征要求也更为宽松,其主要检测思想是筛选和识别,筛选为对检测对象做一个初步筛选,把疑似包含缺陷的图像都筛出来,这个步骤的主要目标是利用筛选算法的高效率性,将一些经计算后肯定的没有缺陷的图像排除掉,留下可能包含缺陷的图像,从而提升检测效率。
识别是对留下来的可能包含缺陷的图像进行第二步缺陷识别,甄别真缺陷和假缺陷。这一步的主要技术路线是利用深度学习技术对大量分类的图像(包含真缺陷类、假缺陷类、良品类等)进行训练,得到一个模型,该模型对疑似包缺陷的图像进行识别,做出准确的分类,从而最终识别出真缺陷。深度学习的应用优点主要是弃用了传统的复杂的特征提取及特征识别技术,采用大数据进行学习,得出的结果有效、精准,缺点是效率略低,但由于在识别之前有筛选对整体的检测效率做支撑,故该方案整体可满足实际应用的效率需求。
基于上述技术构思,下边结合图3,对本申请做出进步介绍,图3为本申请一种实施例中外观检测方法的流程框图。
在本申请一种实施例中,如图3所示,本申请所提供的一种外观缺陷检测方法,包括:
步骤S101:对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
如上文所讲,筛选为对检测对象做一个初步筛选,把疑似包含缺陷的图像都筛出来,这个步骤的主要目标是利用筛选算法的高效率性,将一些经计算后肯定的没有缺陷的图像排除掉,留下可能包含缺陷的图像,从而提升检测效率。
步骤S102:对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
如上文所讲,识别是对留下来的可能包含缺陷的图像进行第二步缺陷识别,甄别真缺陷和假缺陷。这一步的主要技术路线是利用深度学习技术对大量分类的图像(包含真缺陷类、假缺陷类、良品类等)进行训练,得到一个模型,该模型对疑似包缺陷的图像进行识别,做出准确的分类,从而最终识别出真缺陷。
步骤S103:对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
如图1和图2所示,将识别出的真缺陷按照:a)大折痕、b)小折痕、c)异物、d)气泡、e)印痕(强)、f)印痕(弱)、g)膜划伤、h)打痕等类别分别区分。
在上述实施例中,由于不再进行特征提取,并且采用了大数据的方式进行缺陷识别,因而该检测方法的设计能够对于缺陷的成像要求不高,并且不要求缺陷明显,无须定制光源,因而能够有效避免误检及漏检的发生。此外,本申请另一个要解决的技术问题为提供一种外观缺陷检测系统。
在一些实施例中,可以做出进一步设计,具体的,请参考图4和图11,图4为本申请另一种实施例中外观检测方法的流程框图,图11为本申请中图4中外观检测方法对应的场景图。
需要说明是,在上述实施例中,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用去帽二值化方法进行外观缺陷筛选。当然,采用去帽二值化方法进行外观缺陷筛选,仅仅是一种举例,该预定的筛选策略也可以为其他的筛选策略,本申请对此不作限制。
进一步的,如图4所示,所述“采用去帽二值化方法进行外观缺陷筛选”包括:
步骤S201:对于待检测图象,生成直方图;也就是,根据直方图的最大值或最小值确定分割阈值,取一个百分比Percent。
步骤S202:在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;也就是,把直方图最低和最高的Percent部分像素提取出来,然后合并,得到一个区域。比如,如图11所示,图11中的a)部分的高灰度值区域(比如,图像中灰度值大于240的像素)及b)区部分的低灰度值区域(比如,灰度值小于10的像素)合并。
步骤S203:当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。也就是设定一个面积值,如果合并后的总面积大于该面积值,则表示该区域为疑似缺陷。比如,如图10中c部分显示的图像是筛选后的缺陷。
需要说明的是,在上述实施例中,对该技术方案完整介绍便是根据直方图的最大值或最小值确定分割阈值,取一个百分比Percent,把直方图最低和最高的Percent部分像素提取出来,然后合并,得到一个区域,设定一个面积值,如果合并后的总面积大于该面积值,则表示该区域为疑似缺陷。
去帽二值化公式可表示为:
histogram[threshold]*100.0<histogram[maximum]*(100.0-Percent)
其中,histogram[]表示直方图数列。
显然,上述筛选算法能够非常有效完成外观缺陷的初筛,从而待检测对象分成筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象。
此外,在一些实施例中,还可以做出进一步设计,比如,得到另一种筛选算法。请参考图5和图12,图5为本申请又一种实施例中外观检测方法的流程框图,图12为本申请中图5中外观检测方法对应的场景图。
如图5所示,作为一种举例,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用相移二值化方法进行外观缺陷筛选。
如图5所示,所述“采用相移二值化方法进行外观缺陷筛选”包括:
步骤S301:基于所述待检测对象,对图像进行同步周期平移;需要说明的是,相移二值化的思想主要为对背景是周期性规律纹理的图像进行同步周期平移,周期个数可自行设定。
步骤S302:将平移后的图像与平移前的图像相减;也就是基于上述步骤S101得到的数据,将平移后的图像与平移前的图像相减。
步骤S303:将相减得到的图像进行二值化处理;然后基于上述步骤S102得到的图像差值,相减得到的图像进行二值化处理。
步骤S304:基于所述二值化处理后的数据,提取最大面积值;
步骤S305:当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。在此,与去帽二值化方法一致,设定一个面积值,如果最大面积大于该面积值,则表示该区域为疑似缺陷。如图12中,a)部分为原图,b)部分为采用上述方法获得的筛选后的缺陷的图像。也就是,对于有背景纹理的图像,比如横纹,则对图像进行横纹周期性的平移,然后与平移前的图像相减,得到筛选的缺陷。
相移二值化公式可表示为:
g_o-g_p-GrayOffset>=DiffLowerBound
其中,g_o表示相移前原图的灰度值,g_p表示相移后图像的灰度值,GrayOffset是设定灰度阈值,用于提取缺陷。
结合上述方案可知,采用相移二值化方法进行外观缺陷筛选能够非常方便有效的实现外管缺陷的初筛,从而待检测对象分成筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象。
在上述任一种实施例中,还可以做出进一步设计。比如,对本申请第二步“识别”步骤做出具体介绍,具体的请参考图6,图6为本申请再一种实施例中外观检测方法的流程框图。
如图6所示,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”之前包括:
步骤S401:建立外观缺陷的样本库;
具体的,涉及样本库的建立途径,主要是在当前检测环境下,进行待检测目标物体的图像采集及数据分析等。
样本库的建立流程包括如下步骤:
现在收集采集图像;
根据不同缺陷类型的成像差异进行缺陷类别建立;
根据建立的缺陷类别进行初步本地小样本的生成;
进行迭代训练,得到评价分数,如果评价分数不理想,需要不断进行样本库的肃清,直到得到理想的评价分数;
得到理想的样本库。
需要说明的是,新的检测方案主要依赖于深度学习的优势—缺陷智能化分类,而深度学习的优劣主要取决于样本库的量级和完善性。因此,该方案首要解决的问题是样本库的建立,因而以上样本库的建立方法对于本申请发明目的的实现是非常重要的。
步骤S402:选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
具体的,需要说明的是,数据库建立之后,需要选择网络模型,经过多个网络模型的对比,作为一种举例,选择了AlexNet网络,然后通过这个网络模型读入数据,进行模型训练,在模型训练时,如果分类准确率或者训练效率不理想,需要调整学习参数lr_policy和网络参数,使模型训练参数需要调试到最佳,分类准确率到达最高状态。
步骤S403:基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
进一步的,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
得到模型之后需要对模型进行测试,确保分类准确率稳定达到98%以上时,可以对该模型投入使用。
需要说明的是,该测试流程包括如下步骤:
第一、不断对样本库进行肃清。样本库的数据量一般比较大,在建立初期难免出现错放的情况,在不断对样本库肃清的过程中可以有效提高准确率。
第二、调节神经网络训练参数,到合适的值时,可以使分类准确率达到最大。
在检测阶段,可以一直收集图像,对原样本库做填充,并不断更新模型,最终使检测效果达到收敛状态。
需要说明的是,涉及样本库的填充,可以通过如下步骤完成:
第一、现场收集漏检图像和过检图像;
第二、将漏检图像填充到不良样本库,将过检图像填充到良品样本库;
第三、重复步骤1和2;
以显示屏行业的外观检测为例,其中一个样本库中样本类别为10类,每类约含有样本2万张,该样本库共20万张左右。经过完整训练后得到模型,然后随机收集2000张现场图像进行该模型测试,单类分类准确率达到99%以上。
综上得出的结论是样本量越大、样本梳理越明朗,以及缺陷特征越明显,越能从深度学习中获益。
此外,本申请还提供一种外观检测系统,具体请参考图7,图7为本申请一种实施例中外观检测系统的功能框图。
在一种实施例中,如图7所示,一种外观缺陷检测系统,包括:
筛选模块101,用于对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
识别模块102,用于对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
输出模块103,用于对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
上述技术方案的工作过程及技术效果,与前文介绍的相对应的外观检测方法实施例相同,在此不再赘述。
此外,如图8所示,图8为本申请另一种实施例中外观检测系统的功能框图。
在一些实施例中,所述筛选模块为去帽二值化筛选模块。具体的,作为一种举例,所述去帽二值化筛选模块包括:
直方图生成单元201,用于对于待检测图象,生成直方图;
第一面积值获取单元202,用于在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;
判断单元203,用于当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。
需要说明的是,上述技术方案的工作过程及技术效果,与前文介绍的相对应的外观检测方法实施例相同,在此不再赘述。
再者,请参考图9,图9为本申请又一种实施例中外观检测系统的功能框图。
在一些实施例中,所述筛选模块为相移二值化筛选模块。具体的,所述相移二值化筛选模块包括:
周期平移单元301,用于基于所述待检测对象,对图像进行同步周期平移;
相减单元302,用于将平移后的图像与平移前的图像相减;
二值化处理单元303,用于将相减得到的图像进行二值化处理;
提取单元304,用于基于所述二值化处理后的数据,提取最大面积值;
判断单元305,用于当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。
需要说明的是,上述技术方案的工作过程及技术效果,与前文介绍的相对应的外观检测方法实施例相同,在此不再赘述。
最后,请参考图10,图10为本申请再一种实施例中外观检测系统的功能框图。
在一些实施例中,如图10苏轼,所述识别模块包括:
样本库建立单元401,用于建立外观缺陷的样本库;
模型训练单元402,用于选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
模型测试单元403,用于基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
进一步的,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
需要说明的是,上述技术方案的工作过程及技术效果,与前文介绍的相对应的外观检测方法实施例相同,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等,意味着结合该实施例描述的具体特征、部件或特性包括在至少一个实施例中。因此,本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外,在一个或多个实施例中,具体特征、部件或特性可以任何合适的方式进行组合。因此,在无限制的情形下,结合一个实施例示出或描述的具体特征、部件或特性可全部或部分地与一个或多个其他实施例的特征、部件或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“终端”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种外观缺陷检测方法,其特征在于,包括:
对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
2.如权利要求1所述的一种外观缺陷检测方法,其特征在于,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用去帽二值化方法进行外观缺陷筛选。
3.如权利要求2所述的一种外观缺陷检测方法,其特征在于,所述“采用去帽二值化方法进行外观缺陷筛选”包括:
对于待检测图象,生成直方图;
在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;
当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。
4.如权利要求1所述的一种外观缺陷检测方法,其特征在于,所述“采用预定的筛选策略进行外观缺陷筛选”包括:
采用相移二值化方法进行外观缺陷筛选。
5.如权利要求4所述的一种外观缺陷检测方法,其特征在于,所述“采用相移二值化方法进行外观缺陷筛选”包括:
基于所述待检测对象,对图像进行同步周期平移;
将平移后的图像与平移前的图像相减;
将相减得到的图像进行二值化处理;
基于所述二值化处理后的数据,提取最大面积值;
当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。
6.如权利要求1-5任一项所述的外观缺陷检测方法,其特征在于,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”之前包括:
建立外观缺陷的样本库;
选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
7.如权利要求6所述的外观缺陷检测方法,其特征在于,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
8.一种外观缺陷检测系统,其特征在于,包括:
筛选模块,用于对于所有待检测对象,采用预定的筛选策略进行外观缺陷筛选,筛选出确定没有缺陷的待检测对象和疑似具有缺陷的待检测对象;
识别模块,用于对于所述疑似具有缺陷的待检测对象,采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象;
输出模块,用于对于所述具有真缺陷的待检测对象,区分缺陷类别后予以输出。
9.如权利要求8所述的一种外观缺陷检测系统,其特征在于,所述筛选模块为去帽二值化筛选模块。
10.如权利要求9所述的一种外观缺陷检测系统,其特征在于,所述去帽二值化筛选模块包括:
直方图生成单元,用于对于待检测图象,生成直方图;
第一面积值获取单元,用于在所述直方图中,将一定百分比的高灰度值和一定百分比的低灰度值部分将一定百分比的高灰度值和一定百分比的低灰度值部分像素提取合并,并得到该区域的第一面积值;
判断单元,用于当所述第一面积值指大于预先设定的第一预定面积值时,则表示该区域为疑似具有缺陷的区域。
11.如权利要求8所述的一种外观缺陷检测系统,其特征在于,所述筛选模块为相移二值化筛选模块。
12.如权利要求11所述的一种外观缺陷检测系统,其特征在于,所述相移二值化筛选模块包括:
周期平移单元,用于基于所述待检测对象,对图像进行同步周期平移;
相减单元,用于将平移后的图像与平移前的图像相减;
二值化处理单元,用于将相减得到的图像进行二值化处理;
提取单元,用于基于所述二值化处理后的数据,提取最大面积值;
判断单元,用于当所述最大面积值大于预先设定的第二面积值时,则表示待检测区域为疑似具有缺陷的区域。
13.如权利要求8-12任一项所述的外观缺陷检测方系统,其特征在于,所述识别模块包括:
样本库建立单元,用于建立外观缺陷的样本库;
模型训练单元,用于选取网络识别模型,并基于所述样本库,对所述网络识别模型进行训练,使得所述网络识别模型的识别准确率达到预定阈值;
模型测试单元,用于基于测试数据,对所述网络识别模型进行测试,使得所述识别准确率稳定在所述预定阈值。
14.如权利要求13所述的外观缺陷检测系统,其特征在于,所述“采用深度学习技术进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象”包括:
对于所述疑似具有缺陷的待检测对象,采用所述网络识别模型进行识别,区分出具有真缺陷的待检测对象和具有假缺陷的待检测对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010930373.4A CN111986195B (zh) | 2020-09-07 | 2020-09-07 | 一种外观缺陷检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010930373.4A CN111986195B (zh) | 2020-09-07 | 2020-09-07 | 一种外观缺陷检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111986195A true CN111986195A (zh) | 2020-11-24 |
CN111986195B CN111986195B (zh) | 2024-02-20 |
Family
ID=73448518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010930373.4A Active CN111986195B (zh) | 2020-09-07 | 2020-09-07 | 一种外观缺陷检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111986195B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379686A (zh) * | 2021-05-26 | 2021-09-10 | 广东炬森智能装备有限公司 | 一种pcb板缺陷检测方法及装置 |
CN113916127A (zh) * | 2021-09-28 | 2022-01-11 | 安庆帝伯粉末冶金有限公司 | 一种气门导管成品外观视觉检测系统及检测方法 |
CN114441547A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市睿阳精视科技有限公司 | 一种智能家电盖板缺陷检测方法 |
CN114862845A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市瑞桔电子有限公司 | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11214464A (ja) * | 1998-01-29 | 1999-08-06 | Nec Kyushu Ltd | 表面欠陥検査方法及び表面欠陥検査装置 |
JP2001184510A (ja) * | 1999-12-24 | 2001-07-06 | Mitsubishi Chemicals Corp | 欠陥検出方法 |
CN102222323A (zh) * | 2011-06-13 | 2011-10-19 | 北京理工大学 | 基于直方图统计拉伸和梯度滤波的红外图像细节增强方法 |
CN102393397A (zh) * | 2011-08-30 | 2012-03-28 | 成都四星液压制造有限公司 | 一种磁瓦表面缺陷检测系统及其检测方法 |
JP2014010776A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、系统及计算机可读存储介质 |
CN107730548A (zh) * | 2017-10-23 | 2018-02-23 | 厦门诺银科技有限公司 | 一种基于平均灰度和面积的面向加热炉火焰实时检测方法 |
CN109146873A (zh) * | 2018-09-04 | 2019-01-04 | 凌云光技术集团有限责任公司 | 一种基于学习的显示屏缺陷智能检测方法及装置 |
CN109300102A (zh) * | 2017-07-21 | 2019-02-01 | 凌云光技术集团有限责任公司 | 一种针对pcb的缺陷检测方法 |
CN109307675A (zh) * | 2017-07-26 | 2019-02-05 | 凌云光技术集团有限责任公司 | 一种产品外观检测方法和系统 |
CN109471276A (zh) * | 2018-11-07 | 2019-03-15 | 凌云光技术集团有限责任公司 | 一种液晶屏色偏缺陷检测方法及装置 |
CN109800824A (zh) * | 2019-02-25 | 2019-05-24 | 中国矿业大学(北京) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 |
KR102008973B1 (ko) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 |
CN110189290A (zh) * | 2019-04-08 | 2019-08-30 | 广东工业大学 | 基于深度学习的金属表面细微缺陷检测方法及装置 |
CN110288566A (zh) * | 2019-05-23 | 2019-09-27 | 北京中科晶上科技股份有限公司 | 一种目标缺陷提取方法 |
CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
CN111242185A (zh) * | 2020-01-03 | 2020-06-05 | 凌云光技术集团有限责任公司 | 一种基于深度学习的缺陷快速初筛方法及系统 |
CN111537517A (zh) * | 2020-05-18 | 2020-08-14 | 江汉大学 | 一种无人智能化冲压缺陷识别方法 |
-
2020
- 2020-09-07 CN CN202010930373.4A patent/CN111986195B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11214464A (ja) * | 1998-01-29 | 1999-08-06 | Nec Kyushu Ltd | 表面欠陥検査方法及び表面欠陥検査装置 |
JP2001184510A (ja) * | 1999-12-24 | 2001-07-06 | Mitsubishi Chemicals Corp | 欠陥検出方法 |
CN102222323A (zh) * | 2011-06-13 | 2011-10-19 | 北京理工大学 | 基于直方图统计拉伸和梯度滤波的红外图像细节增强方法 |
CN102393397A (zh) * | 2011-08-30 | 2012-03-28 | 成都四星液压制造有限公司 | 一种磁瓦表面缺陷检测系统及其检测方法 |
JP2014010776A (ja) * | 2012-07-02 | 2014-01-20 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
CN109300102A (zh) * | 2017-07-21 | 2019-02-01 | 凌云光技术集团有限责任公司 | 一种针对pcb的缺陷检测方法 |
CN109307675A (zh) * | 2017-07-26 | 2019-02-05 | 凌云光技术集团有限责任公司 | 一种产品外观检测方法和系统 |
CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、系统及计算机可读存储介质 |
CN107730548A (zh) * | 2017-10-23 | 2018-02-23 | 厦门诺银科技有限公司 | 一种基于平均灰度和面积的面向加热炉火焰实时检测方法 |
CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
CN109146873A (zh) * | 2018-09-04 | 2019-01-04 | 凌云光技术集团有限责任公司 | 一种基于学习的显示屏缺陷智能检测方法及装置 |
CN109471276A (zh) * | 2018-11-07 | 2019-03-15 | 凌云光技术集团有限责任公司 | 一种液晶屏色偏缺陷检测方法及装置 |
KR102008973B1 (ko) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 |
CN109800824A (zh) * | 2019-02-25 | 2019-05-24 | 中国矿业大学(北京) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 |
CN110189290A (zh) * | 2019-04-08 | 2019-08-30 | 广东工业大学 | 基于深度学习的金属表面细微缺陷检测方法及装置 |
CN110288566A (zh) * | 2019-05-23 | 2019-09-27 | 北京中科晶上科技股份有限公司 | 一种目标缺陷提取方法 |
CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
CN111242185A (zh) * | 2020-01-03 | 2020-06-05 | 凌云光技术集团有限责任公司 | 一种基于深度学习的缺陷快速初筛方法及系统 |
CN111537517A (zh) * | 2020-05-18 | 2020-08-14 | 江汉大学 | 一种无人智能化冲压缺陷识别方法 |
Non-Patent Citations (1)
Title |
---|
郭慧;王霄;刘传泽;周玉成;: "人造板表面缺陷检测图像自适应快速阈值分割算法", 林业科学, no. 11, 15 November 2018 (2018-11-15) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379686A (zh) * | 2021-05-26 | 2021-09-10 | 广东炬森智能装备有限公司 | 一种pcb板缺陷检测方法及装置 |
CN113916127A (zh) * | 2021-09-28 | 2022-01-11 | 安庆帝伯粉末冶金有限公司 | 一种气门导管成品外观视觉检测系统及检测方法 |
CN114441547A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市睿阳精视科技有限公司 | 一种智能家电盖板缺陷检测方法 |
CN114862845A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市瑞桔电子有限公司 | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 |
CN114862845B (zh) * | 2022-07-04 | 2022-09-06 | 深圳市瑞桔电子有限公司 | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111986195B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111986195B (zh) | 一种外观缺陷检测方法及系统 | |
CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
CN111311542A (zh) | 一种产品质量检测方法及装置 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
CN111652883B (zh) | 基于深度学习的玻璃表面缺陷检测方法 | |
CN109462999B (zh) | 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置 | |
CN108764312B (zh) | 基于ds优化多指标大坝缺陷图像检测方法 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN116721058A (zh) | Opc鼓表面缺陷检测方法、系统、电子设备及存储介质 | |
CN115471487A (zh) | 绝缘子缺陷检测模型构建及绝缘子缺陷检测方法、装置 | |
CN113158969A (zh) | 一种苹果外观缺陷识别系统及方法 | |
CN110188592B (zh) | 一种尿液有形成分细胞图像分类模型构建方法及分类方法 | |
CN111178445A (zh) | 图像处理方法及装置 | |
CN114299040A (zh) | 瓷砖瑕疵检测方法、装置和电子设备 | |
CN109102486B (zh) | 基于机器学习的表面缺陷检测方法及装置 | |
CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 | |
CN116958960A (zh) | 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法 | |
CN111028250A (zh) | 一种实时智能验布方法及系统 | |
JPH07318508A (ja) | 画像判定装置および画像判定方法 | |
CN116228659A (zh) | 一种ems小车漏油的视觉检测方法 | |
CN115661475A (zh) | 一种图像异物识别方法、装置、设备及存储介质 | |
CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
CN108335283A (zh) | 一种自动检测分类玻璃缺陷的方法 | |
CN110706205B (zh) | 一种使用计算机视觉技术检测布匹破洞缺陷的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701 Applicant after: Lingyunguang Technology Co.,Ltd. Address before: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701 Applicant before: Beijing lingyunguang Technology Group Co.,Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |