CN116503415B - 缺陷检测方法、装置、计算机设备及计算机可读存储介质 - Google Patents
缺陷检测方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116503415B CN116503415B CN202310781406.7A CN202310781406A CN116503415B CN 116503415 B CN116503415 B CN 116503415B CN 202310781406 A CN202310781406 A CN 202310781406A CN 116503415 B CN116503415 B CN 116503415B
- Authority
- CN
- China
- Prior art keywords
- sub
- defect
- defect detection
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 242
- 230000007547 defect Effects 0.000 title claims abstract description 212
- 230000000877 morphologic effect Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 description 14
- 230000002950 deficient Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000003292 glue Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。所述方法包括:获取检测图像,检测图像中包含多个子对象;按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。采用本方法能够有效提高缺陷检测的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着缺陷检测技术的发展,利用人工智能算法对工业产品的外观缺陷进行自动化检测,逐渐代替人工检测以提高缺陷检测效率的方法,具有十分重要的应用前景。
现有技术中,通常是利用神经网络算法,对工业产品的外观缺陷特征进行学习,从而利用训练好的模型对外观进行检测,缺陷检测的准确性差。
发明内容
基于此,有必要针对上述技术问题,提供一种缺陷检测方法、装置、计算机设备及计算机可读存储介质,能够有效提高缺陷检测的准确性。
第一方面,本申请提供了一种缺陷检测方法,包括:
获取检测图像,检测图像中包含多个子对象;
按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;
在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;
对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;
将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;
根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
在其中一个实施例中,在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件之前,还包括:
获取检测图像对应的标准图像;
根据标准图像各个子区域对应的目标检测对象的位置信息,确定检测图像每个子区域对应的目标位置。
在其中一个实施例中,对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息,包括:
当目标位置对应在标准图像中的目标检测对象的形态特征为圆形时,对位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息;
当目标位置对应在标准图像中的目标检测对象的形态特征为线形时,对位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息。
在其中一个实施例中,将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
当预设标准特征为圆形特征时将形态特征信息对应的圆形半径与预设标准特征对应的标准半径进行比较,得到半径偏差;
将半径偏差与预设阈值进行比较,得到半径缺陷检测结果;
根据半径缺陷检测结果,得到对应子区域的缺陷检测结果。
在其中一个实施例中,将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
当预设标准特征为线形特征时,将形态特征信息对应的线段间距与预设标准特征对应的标准间距进行比对,确定间距偏差;
通过将间距偏差与偏差阈值进行比较,得到对应子区域的缺陷检测结果。
在其中一个实施例中,上述缺陷检测方法还包括:
对检测图像进行像素的二值化处理,得到各个子区域对应的二值化结果;
对每个子区域对应的二值化结果中的目标像素区域进行分离并提取,得到每个子区域对应的缺陷参考区域。
在其中一个实施例中,上述缺陷检测方法还包括:
将检测图像输入至深度学习模型,输出缺陷标注区域,缺陷标注区域至少包括两个缺陷类别区域,不同缺陷类别区域对应的像素值不同;
对缺陷标注区域进行像素值的分离与提取,得到对应目标缺陷区域。
第二方面,本申请还提供了一种缺陷检测装置,包括:
获取模块,用于获取检测图像,检测图像中包含多个子对象;
分割模块,用于按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;
检测模块,用于在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取检测图像,检测图像中包含多个子对象;
按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;
在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;
对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;
将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;
根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取检测图像,检测图像中包含多个子对象;
按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;
在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;
对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;
将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;
根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
上述缺陷检测方法、装置、计算机设备及计算机可读存储介质,通过对检测图像进行子区域划分,并在每个子区域的目标位置上进行对应功能组件的采样,实现根据对应的功能组件对目标位置处进行精准数据采样,从而能够精准定位目标位置处的外观缺陷检测,对功能组件在目标位置处采样得到的位置参考点进行曲线拟合,得到对子区域目标位置处的形态特征信息,再基于该形态特征信息与预设标准特征进行比对,以确定对应的缺陷检测结果,从而使得对缺陷的形态特征及缺陷位置的检测具有更高的准确性,进而有效实现对缺陷的精准检测。
附图说明
图1为一个实施例中缺陷检测方法的流程示意图;
图2为一个实施例中确定目标位置步骤的流程示意图;
图3为一个实施例中确定对应子区域形态特征信息的流程示意图;
图4为一个实施例中确定对应子区域的缺陷检测结果的流程示意图;
图5为一个实施例中确定对应子区域的缺陷检测结果的流程示意图;
图6为一个实施例中确定各个子区域的缺陷参考区域的流程示意图;
图7为一个实施例中确定目标缺陷区域的流程示意图;
图8为一个实施例中待测灯板按灯条进行子区域划分的示意图;
图9为一个实施例中直线卡尺测量灯板子区域目标位置的示意图;
图10为一个实施例中直线卡尺测量目标位置的局部放大示意图;
图11为一个实施例中LED灯板缺陷检测的流程示意图;
图12为一个实施例中圆卡尺测量灯板子区域目标位置的示意图;
图13为一个实施例中圆卡尺测量目标位置的局部放大示意图;
图14为一个实施例中缺陷检测装置的结构框图;
图15为一个实施例中计算机设备的内部结构图;
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种缺陷检测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤S102,获取检测图像,检测图像中包含多个子对象。
其中,检测图像为待检测物品当前呈现的图像数据,该待检测物品包含多个待检测子对象,对应在检测图像中为多个子对象图像区域。
具体地,计算机设备对机械转盘上的物料区进行图像获取,具体是通过控制物料正面检测相机以及物料反面检测相机进行控制对待检测物品的正面与反面进行图像抓拍,得到待检测物品对应的检测图像。
步骤S104,按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域。
其中,各个子对象对应的子区域之间没有交集。
具体地,计算机设备得到检测图像后,按照检测图像中各个子对象进行划分得到多个与对应子对象对应的子区域,可选地,计算机设备可以以每个子对象的边缘为界限按照预设范围大小来框定当前子对象对应的子区域范围,其子区域的形状可以是矩形框、椭圆形框或其他自定义的不规则形状。可选地,计算机设备还可以按照预先设定的区域划分条件,将满足条件的子对象进行对应子区域的划分,对于不满足条件的子对象进行忽略,例如预设条件为圆形子对象,则计算机设备会将检测图像中识别形状为圆形的子对象进行子区域的划分。
步骤S106,在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件。
其中,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点,其中像素变化情况可以是像素值的变化,功能组件的类别与对应目标位置相对应,即目标位置的不同,其上显示的功能组件类别不同,例如当目标位置处为直线特征时,显示可以采集直线特征的功能组件,当目标位置处为圆孔特征时,其上显示的是可以采集圆孔特征的功能组件,另外,每个子区域的目标位置可以相同,也可以不同。
具体地,计算机设备在每个子区域预先选定的目标位置上放置并显示对应的功能组件,以对目标位置处的形态特征进行检测,根据目标位置处的像素变化情况,确定出若干位置参考点,再由位置参考点确定出目标位置处的图像特征/形态特征。
步骤S108,对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息。
其中,位置参考点与目标位置相互对应,位置参考点是目标位置处设置的功能组件根据目标位置处的像素变化情况进行采样得到的位置点,是用于表征对应目标位置处的形态特征/图像或图案特征的参考点。
具体地,计算机设备根据前述步骤确定了目标位置对应的位置参考点,再将各位置参考点作为曲线采样点,再根据其对应目标位置的标准图案特征,采用相应的曲线拟合方法来对各位置参考点进行拟合,得到对应的子区域的目标位置的形态特征信息,例如当目标位置对应的标准图案特征为圆形时,则对位置参考点进行圆拟合,当目标位置对应的标准图案特征为直线形时,则对位置参考点进行直线拟合,其中标准图案特征为目标位置的对标图案特征,意为合格的图案特征,当目标位置处的实际图案特征与标准图案特征间的差异处在阈值范围内时,表明目标位置处的图案特征的缺陷检测结果为合格。
步骤S110,将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果。
其中,预设标准特征与目标位置相对应,即不同的目标位置对应的预设标准特征有可能是不同的,例如当目标位置对应在标准图像中相同位置处的图案为为圆形时,则该目标位置对应的预设标准特征也为对应圆心位置和半径的圆形。
具体地,计算机设备将前述步骤中确定的形态特征信息与对应的预设标准特征进行比对,当形态特征信息与对应的预设标准特征之间的差异小于阈值范围时,则输出缺陷检测结果为合格,若差异大于阈值范围时,则输出缺陷检测结果为不合格。
步骤S112,根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
其中,缺陷检测结果可以是包括检测合格与不合格,还可以是包含具体缺陷的类型,比如大小缺陷、角度缺陷、宽度缺陷、形状缺陷等,并且包括每种缺陷对应的缺陷程度值,例如当缺陷为角度缺陷时,缺陷检测结果包括角度差值大小,当缺陷为宽度缺陷时,缺陷检测结果包括宽度差值大小。
本实施例中,通过对检测图像进行子区域划分,并在每个子区域的目标位置上进行对应功能组件的采样,实现根据对应的功能组件对目标位置处进行精准数据采样,从而能够精准定位目标位置处的外观缺陷检测,对功能组件在目标位置处采样得到的位置参考点进行曲线拟合,得到对子区域目标位置处的形态特征信息,再基于该形态特征信息与预设标准特征进行比对,以确定对应的缺陷检测结果,从而使得对缺陷的形态特征及缺陷位置的检测具有更高的准确性,进而有效实现对缺陷的精准检测。
在一个实施例中,如图2所示,在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件之前,还包括:
步骤S202,获取检测图像对应的标准图像。
其中,标准图像用于评价检测图像各个子区域的缺陷检测结果,是作为检测图像对应的标准模板图像,即当检测图像与标准图像中的图案特征不一致时,就表示检测图像可能存在缺陷,当检测图像与标准图像中的图案特征不一致的程度超过预定的阈值时,表示检测图像的对应位置存在缺陷。
步骤S204,根据标准图像各个子区域对应的目标检测对象的位置信息,确定检测图像每个子区域对应的目标位置。
其中,目标检测对象为检测图像中需要被检测是否有缺陷的对象。
具体地,计算机设备获取标准图像各个子区域对应的目标检测对象的位置信息,该位置信息可以是目标检测对象对应在标准图像中的位置坐标信息,根据该坐标信息确定检测图像中每个子区域对应的目标位置。
本实施例中,通过获取检测图像对应的标准图像,根据标准图像各个子区域对应的目标检测对象的位置信息,确定检测图像每个子区域对应的目标位置,使得根据标准图像中目标检测对象所确定的目标位置的可靠性更高,确保了后续缺陷检测步骤中根据目标位置获取的形态特征信息的准确性与可靠性。
在一个实施例中,如图3所示,对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息,包括:
步骤S302,当目标位置对应在标准图像中的目标检测对象的形态特征为圆形时,对位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息。
其中,圆拟合为一类特殊的曲线拟合,再保证拟合曲线形状为圆形的情况下,尽可能多地使曲线经过各个位置参考点,另外,圆特征信息可以包括圆心位置信息以及对应的半径信息。
具体地,计算机设备识别目标位置对应的标准图案信息,该标准图案信息为该目标位置对应在标准图像中的目标检测对象的形态特征,当标准图案信息为圆形时,则对位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息。
步骤S304,当目标位置对应在标准图像中的目标检测对象的形态特征为线形时,对位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息。
其中,直线拟合为一类特殊的曲线拟合,再保证拟合曲线形状为直线形的情况下,尽可能多地使曲线经过各个位置参考点,另外,直线特征信息包括直线斜率信息以及对应的直线位置信息。
具体地,计算机设备识别目标位置对应的标准图案信息,该标准图案信息为该目标位置对应在标准图像中的目标检测对象的形态特征,当标准图案信息为线形时,则对位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息。
本实施例中,通过当目标位置对应在标准图像中的目标检测对象的形态特征为圆形时,对位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息,当目标位置对应在标准图像中的目标检测对象的形态特征为线形时,对位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息的方式,使得曲线拟合后得到的对应形态特征信息更加准确反映检测图像在目标位置处的图案特征,使得所生成的形态特征信息可靠性更高。
在一个实施例中,如图4所示,将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
步骤S402,当预设标准特征为圆形特征时,将形态特征信息对应的圆形半径与预设标准特征对应的标准半径进行比较,得到半径偏差。
具体地,计算机设备将形态特征信息对应的圆形半径与预设标准特征对应的标准半径进行比较,确定两者半径之间的差异值以及大小关系,再根据差异值与大小关系确定半径偏差,或者也可以仅将差异值作为半径偏差。
步骤S404,将半径偏差与预设阈值进行比较,得到半径缺陷检测结果。
其中,预设阈值可以根据技术人员经验值设定,也可以根据具体的检测标准、行业标准等方式确定。
具体地,计算机设备将半径偏差与预设阈值进行大小比较,当半径偏差小于预设阈值时,输出半径缺陷检测结果为合格,当半径偏差大于预设阈值时,输出半径缺陷检测结果为不合格。
步骤S406,根据半径缺陷检测结果,得到对应子区域的缺陷检测结果。
具体地,当半径检测结果为合格时,输出对应子区域的缺陷检测结果为合格/无缺陷,否则为不合格/存在缺陷。
本实施例中,当预设标准特征为圆形特征时,将形态特征信息对应的圆形半径与预设标准特征对应的标准半径进行比较,得到半径偏差,将半径偏差与预设阈值进行比较,得到半径缺陷检测结果,最后半径缺陷检测结果,得到对应子区域的缺陷检测结果,能够合理准确地针对目标位置的形态特征信息具体对应的标准图案信息,来确定对应的缺陷确定方法,能够提高缺陷检测的针对性,进而有效提高缺陷检测的准确性。
在一个实施例中,如图5所示,将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
步骤S502,当预设标准特征为线形特征时,将形态特征信息对应的线段间距与预设标准特征对应的标准间距进行比对,确定间距偏差。
具体地,计算机设备按照预设的采样间隔对形态特征信息对应的两条线段之间的距离进行采样,得到多个线段距离,再对该多个线段距离进行加权求和后再取平均值,得到形态特征信息对应的线段间距,将该线段间距与预设标准特征对应的标准间距进行比较,得到两者之间的偏差,记为间距偏差。
步骤S504,通过将间距偏差与偏差阈值进行比较,得到对应子区域的缺陷检测结果。
具体地,计算机设备将间距偏差与偏差阈值进行比较,当间距偏差大于偏差阈值时,则确定对应子区域的缺陷检测结果为不合格/存在缺陷,当间距偏差小于偏差阈值时,则确定对应子区域的缺陷检测结果为合格/无缺陷。
本实施例中,当预设标准特征为线形特征时,将形态特征信息对应的线段间距与预设标准特征对应的标准间距进行比对,确定间距偏差,通过将间距偏差与偏差阈值进行比较,得到对应子区域的缺陷检测结果,能够合理准确地针对目标位置的形态特征信息具体对应的标准图案信息,来确定对应的缺陷确定方法,能够提高缺陷检测的针对性,进而有效提高缺陷检测的准确性。
在一个实施例中,如图6所示,上述缺陷检测方法还包括:
步骤S602,对检测图像进行像素的二值化处理,得到各个子区域对应的二值化结果。
具体地,计算机设备对检测图像进行像素值分析,存在缺陷的区域与正常区域的像素值存在较大差别,将像素值大小存在较大差别的区域进行分类后重新赋值,即二值化处理,例如,将正常区域的像素值设置为255,将存在缺陷区域的像素值设置为0,以使得到的二值化结果中缺陷区域更加凸显。
步骤S604,对每个子区域对应的二值化结果中的目标像素区域进行分离并提取,得到每个子区域对应的缺陷参考区域。
具体地,计算机设备对上述步骤中得到的二值化结果进行分析,按照不同区域的像素值不同,将目标像素区域(即存在缺陷的区域)进行分离并提取,得到每个子区域对应的缺陷参考区域。
本实施例中,通过对检测图像进行像素的二值化处理,得到各个子区域对应的二值化结果,对每个子区域对应的二值化结果中的目标像素区域进行分离并提取,得到每个子区域对应的缺陷参考区域,从而实现利用缺陷区域与正常区域对应在像素值上的差别,有效进行缺陷区域的分离与确定,提高缺陷检测准确性。
在一个实施例中,如图7所示,上述缺陷检测方法还包括:
步骤S702,将检测图像输入至深度学习模型,输出缺陷标注区域。
其中,缺陷标注区域至少包括两个缺陷类别区域,不同缺陷类别区域对应的像素值不同,深度学习模型是根据无缺陷的标准图像以及有缺陷的训练图像一起组成的训练样本训练得到的。
步骤S704,对缺陷标注区域进行像素值的分离与提取,得到对应目标缺陷区域。
具体地,计算机设备根据缺陷的类别不同,对训练样本中的标注缺陷类别及对应的像素值不同,将检测图像输入至深度学习模型,输出缺陷标注区域,缺陷标注区域可以包括各种缺陷类别以及对应的缺陷程度,例如缺陷的面积、深度以及缺陷严重程度等。
本实施例中,将检测图像输入至深度学习模型,输出缺陷标注区域,对缺陷标注区域进行像素值的分离与提取,得到对应目标缺陷区域,通过深度学习模型较强的自主学习能力,对检测图像的各类缺陷进行自主学习并识别,有效提高缺陷识别的效率。
本申请还提供了一种应用场景,该应用场景应用上述的缺陷检测方法,该方法应用于LED灯板自动化缺陷检测的场景。具体地,该缺陷检测方法在该应用场景的应用如下:
检测装置分别控制摄像头对待检测的LED灯板进行图像数据的获取,其中,用于LED灯板自动化缺陷检测的检测转置分别在两个特定工位设置两组相机及光源;
按照灯板图像中灯条的位置,对所获取的待检测LED灯板图像进行子区域的划分如图8所示,每个子区域包含一条完整灯条的所有部件,得到若干块仅包含单个灯条的子区域,其中每个子区域都有自身对应的目标位置;在每个子区域的目标位置放置并显示对应的功能组件;
具体地,在灯条中需要测量的线性区域布置直线卡尺,如图9与图10所示,该直线卡尺包含一组矩形功能采样区,对每个小矩形框中像素值变化明显的交界处,采样取中心点作为位置参考点,将得到的多个位置参考点作直线拟合,得到对应的线段,再采用同样的方法在其他线性区域处拟合得到对应的线段,再通过计算对应线段之间的距离(对应于图11中的线线测量),得到对应的线段间距,再根据线段间距与标准间距进行比对,确定LED灯板各个子区域中各部件的尺寸缺陷检测结果;
在每个子区域灯条对应圆孔区域布置圆卡尺,其中圆卡尺对应的矩形功能采样区的排列方式如图12和图13中的圆卡尺的排列方式所示,对每个小矩形框中像素值变化明显的交界处,采样取中心点作为位置参考点,将得到的多个位置参考点作圆拟合,得到对应的圆形线框,再将该圆形线框的半径大小与标准LED灯板中的标准圆孔进行尺寸的比较,得到当前LED灯板是否存在正反缺陷,其中灯条的两端圆孔尺寸不同,当检测到当前图像中的两圆孔大小对调,则确定当前LED灯板存在正反缺陷;
对当前LED灯板进行二值化处理,根据灯板脏污缺陷处的像素值与正常处的像素值有较大差异,进行二值化,使得缺陷处与正常处的像素值差异进一步放大,从而显示出缺陷区域,再进行Blob分析提取缺陷区域的大小与形状特征,再与预设阈值进行比较,从而确定LED灯板上是否存在脏污缺陷;
最后,将待检测图像输入至深度学习模型进行裂纹、溢胶缺陷的检测,其中,深度学习模型是根据裂纹缺陷、溢胶缺陷以及正常区域的像素值存在明显差异,在使用根据包含裂纹缺陷、溢胶缺陷以及正常区域的训练样本数据对初始深度学习模型进行训练得到的,使之能够很好对LED灯板的裂纹、溢胶区域进行识别,进而根据深度学习模型输出的裂纹区域、溢胶区域以及正常区域的大小与面积,将其与检测标准进行比对,得到LED灯板的裂纹、溢胶缺陷检测结果。
上述缺陷检测方法,通过对待检测图像进行子区域划分,并在每个子区域的目标位置上进行对应功能组件的采样,实现根据对应的功能组件对目标位置处进行精准数据采样,从而能够精准定位目标位置处的外观缺陷检测,对功能组件在目标位置处采样得到的位置参考点进行曲线拟合,得到对子区域目标位置处的形态特征信息,再基于该形态特征信息与预设标准特征进行比对,以确定对应的缺陷检测结果,从而使得对缺陷的形态特征及缺陷位置的检测具有更高的准确性,进而有效实现对缺陷的精准检测。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图14所示,提供了一种缺陷检测装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1402、分割模块1404、检测模块1406,其中:
获取模块1402,用于获取检测图像,检测图像中包含多个子对象;
分割模块1404,用于按照子对象对检测图像进行区域划分,得到每个子对象对应的子区域;
检测模块1406,用于在每个子区域的目标位置显示与目标位置区域形状特征对应的功能组件,功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;对对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息;将形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;根据每个子区域的缺陷检测结果,得到检测图像对应的缺陷检测结果。
在一个实施例中,分割模块1404还用于获取检测图像对应的标准图像;根据标准图像各个子区域对应的目标检测对象的位置信息,确定检测图像每个子区域对应的目标位置。
在一个实施例中,检测模块1406还用于当目标位置对应在标准图像中的目标检测对象的形态特征为圆形时,对位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息;当目标位置对应在标准图像中的目标检测对象的形态特征为线形时,对位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息。
在一个实施例中,检测模块1406还用于当预设标准特征为圆形特征时,将形态特征信息对应的圆形半径与预设标准特征对应的标准半径进行比较,得到半径偏差;将半径偏差与预设阈值进行比较,得到半径缺陷检测结果;根据半径缺陷检测结果,得到对应子区域的缺陷检测结果。
在一个实施例中,检测模块1406还用于当预设标准特征为线形特征时,将形态特征信息对应的线段间距与预设标准特征对应的标准间距进行比对,确定间距偏差;通过将间距偏差与偏差阈值进行比较,得到对应子区域的缺陷检测结果。
在一个实施例中,检测模块1406还用于对检测图像进行像素的二值化处理,得到各个子区域对应的二值化结果;对每个子区域对应的二值化结果中的目标像素区域进行分离并提取,得到每个子区域对应的缺陷参考区域。
在一个实施例中,检测模块1406还用于将检测图像输入至深度学习模型,输出缺陷标注区域,缺陷标注区域至少包括两个缺陷类别区域,不同缺陷类别区域对应的像素值不同;对缺陷标注区域进行像素值的分离与提取,得到对应目标缺陷区域。
上述缺陷检测装置,通过对检测图像进行子区域划分,并在每个子区域的目标位置上进行对应功能组件的采样,实现根据对应的功能组件对目标位置处进行精准数据采样,从而能够精准定位目标位置处的外观缺陷检测,对功能组件在目标位置处采样得到的位置参考点进行曲线拟合,得到对子区域目标位置处的形态特征信息,再基于该形态特征信息与预设标准特征进行比对,以确定对应的缺陷检测结果,从而使得对缺陷的形态特征及缺陷位置的检测具有更高的准确性,进而有效实现对缺陷的精准检测。
关于缺陷检测装置的具体限定可以参见上文中对于缺陷检测方法的限定,在此不再赘述。上述缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储检测图像与标准图像的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种缺陷检测方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种缺陷检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15与图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random AccessMemory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random AccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种缺陷检测方法,其特征在于,所述方法包括:
获取检测图像,所述检测图像中包含多个子对象;
按照所述子对象对所述检测图像进行区域划分,得到每个所述子对象对应的子区域,包括:根据预先设定的区域划分条件,对满足条件的子对象进行对应子区域的划分,得到每个满足条件的子对象对应的子区域;
在每个子区域的目标位置显示与所述目标位置区域形状特征对应的功能组件,所述功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;
对所述对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息,所述曲线拟合的方法是根据对应目标位置的标准图案特征所确定的;将所述形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;
根据每个子区域的缺陷检测结果,得到所述检测图像对应的缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述在每个子区域的目标位置显示与所述目标位置区域形状特征对应的功能组件之前,还包括:
获取所述检测图像对应的标准图像;
根据所述标准图像各个子区域对应的目标检测对象的位置信息,确定所述检测图像每个子区域对应的目标位置。
3.根据权利要求2所述的方法,其特征在于,所述对所述对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息,包括:
当所述目标位置对应在标准图像中的目标检测对象的形态特征为圆形时,对所述位置参考点进行圆拟合,得到对应子区域的目标位置的圆特征信息;
当所述目标位置对应在标准图像中的目标检测对象的形态特征为线形时,对所述位置参考点进行直线拟合,得到对应子区域的目标位置的直线特征信息。
4.根据权利要求1所述的方法,其特征在于,所述将所述形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
当所述预设标准特征为圆形特征时将所述形态特征信息对应的圆形半径与所述预设标准特征对应的标准半径进行比较,得到半径偏差;
将所述半径偏差与预设阈值进行比较,得到半径缺陷检测结果;
根据所述半径缺陷检测结果,得到对应子区域的缺陷检测结果。
5.根据权利要求1所述的方法,其特征在于,所述将所述形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果,包括:
当所述预设标准特征为线形特征时,将所述形态特征信息对应的线段间距与所述预设标准特征对应的标准间距进行比对,确定间距偏差;
通过将所述间距偏差与偏差阈值进行比较,得到对应子区域的缺陷检测结果。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述检测图像进行像素的二值化处理,得到各个子区域对应的二值化结果;
对每个子区域对应的二值化结果中的目标像素区域进行分离并提取,得到所述每个子区域对应的缺陷参考区域。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述检测图像输入至深度学习模型,输出缺陷标注区域,所述缺陷标注区域至少包括两个缺陷类别区域,不同缺陷类别区域对应的像素值不同;
对所述缺陷标注区域进行像素值的分离与提取,得到对应目标缺陷区域。
8.一种缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于获取检测图像,所述检测图像中包含多个子对象;
分割模块,用于按照所述子对象对所述检测图像进行区域划分,得到每个所述子对象对应的子区域,包括:根据预先设定的区域划分条件,对满足条件的子对象进行对应子区域的划分,得到每个满足条件的子对象对应的子区域;
检测模块,用于在每个子区域的目标位置显示与所述目标位置区域形状特征对应的功能组件,所述功能组件用于根据对应目标位置处的像素变化情况确定对应的位置参考点;对所述对应的功能组件确定的位置参考点进行曲线拟合,得到对应子区域的目标位置的形态特征信息,所述曲线拟合的方法是根据对应目标位置的标准图案特征所确定的;将所述形态特征信息与预设标准特征进行比对,得到对应子区域的缺陷检测结果;根据每个子区域的缺陷检测结果,得到所述检测图像对应的缺陷检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310781406.7A CN116503415B (zh) | 2023-06-29 | 2023-06-29 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310781406.7A CN116503415B (zh) | 2023-06-29 | 2023-06-29 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116503415A CN116503415A (zh) | 2023-07-28 |
CN116503415B true CN116503415B (zh) | 2023-09-12 |
Family
ID=87321667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310781406.7A Active CN116503415B (zh) | 2023-06-29 | 2023-06-29 | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503415B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116958125B (zh) * | 2023-09-18 | 2023-12-26 | 惠州市鑫晖源科技有限公司 | 基于图像处理的电竞主机电源元件缺陷视觉检测方法 |
CN117557786B (zh) * | 2024-01-11 | 2024-05-10 | 深圳思谋信息科技有限公司 | 物料质量检测方法、装置、计算机设备及存储介质 |
CN118067624B (zh) * | 2024-04-19 | 2024-08-23 | 宁德时代新能源科技股份有限公司 | 电池焊前检测方法、装置和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105258681A (zh) * | 2015-10-08 | 2016-01-20 | 凌云光技术集团有限责任公司 | 一种用于曲线边缘特征定位的控件及其定位方法 |
CN108876842A (zh) * | 2018-04-20 | 2018-11-23 | 苏州大学 | 一种亚像素边缘角度的测量方法、系统、设备及存储介质 |
CN116258663A (zh) * | 2022-04-01 | 2023-06-13 | 港珠澳大桥管理局 | 螺栓缺陷识别方法、装置、计算机设备和存储介质 |
-
2023
- 2023-06-29 CN CN202310781406.7A patent/CN116503415B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105258681A (zh) * | 2015-10-08 | 2016-01-20 | 凌云光技术集团有限责任公司 | 一种用于曲线边缘特征定位的控件及其定位方法 |
CN108876842A (zh) * | 2018-04-20 | 2018-11-23 | 苏州大学 | 一种亚像素边缘角度的测量方法、系统、设备及存储介质 |
CN116258663A (zh) * | 2022-04-01 | 2023-06-13 | 港珠澳大桥管理局 | 螺栓缺陷识别方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116503415A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116503415B (zh) | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 | |
Zhou et al. | Automated visual inspection of glass bottle bottom with saliency detection and template matching | |
CN110544258A (zh) | 图像分割的方法、装置、电子设备和存储介质 | |
CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
CN113313712B (zh) | 一种电池涂胶缺陷检测方法、装置、电子设备及存储介质 | |
CN110415214A (zh) | 摄像头模组的外观检测方法、装置、电子设备及存储介质 | |
TW202225682A (zh) | 電路板檢測方法、電子裝置及存儲介質 | |
US12094098B2 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
CN115035081B (zh) | 一种基于工业ct的金属内部缺陷危险源定位方法及系统 | |
CN113284094A (zh) | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 | |
CN116188432A (zh) | 缺陷检测模型的训练方法、装置及电子设备 | |
CN114881996A (zh) | 缺陷检测方法及装置 | |
CN111259971A (zh) | 车辆信息检测方法、装置、计算机设备及可读存储介质 | |
CN113689431A (zh) | 工业产品外观缺陷检测方法和装置 | |
CN115375608A (zh) | 检测方法及装置、检测设备和存储介质 | |
CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 | |
CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN113850756A (zh) | 一种基于模板比对的标签缺陷检测方法 | |
CN118052816B (zh) | 一种pcba表面缺陷检测方法、系统 | |
US20200184216A1 (en) | Machine continuous learning method of neural network object classifier and related monitoring camera apparatus | |
CN111412941A (zh) | 安装质量的检测方法及装置 | |
CN118521576B (zh) | 工件缺陷检测方法、装置、计算机设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |