CN114240928B - 板卡质量的分区检测方法、装置、设备及可读存储介质 - Google Patents
板卡质量的分区检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114240928B CN114240928B CN202111625624.9A CN202111625624A CN114240928B CN 114240928 B CN114240928 B CN 114240928B CN 202111625624 A CN202111625624 A CN 202111625624A CN 114240928 B CN114240928 B CN 114240928B
- Authority
- CN
- China
- Prior art keywords
- information
- partition
- image
- board
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005192 partition Methods 0.000 title claims abstract description 160
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 57
- 238000000638 solvent extraction Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000000556 factor analysis Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及质量检测技术领域,具体而言,涉及一种板卡质量的分区检测方法、装置、设备及可读存储介质,所述方法包括获取一种类型的合格板卡的三维图像信息和未检验的板卡的三维图像信息;基于运用语义分割依次对至少两个合格板卡的三维图像信息进行分区和标记,然后将每个分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对未检验的板卡的三维图像信息进行检测,得到第二信息内的板卡质量的分区检测结果。本发明可以多个区域同时检测,检测速度快,减少人力物力投入,不用经过人工处理更客观准确。
Description
技术领域
本发明涉及质量检测技术领域,具体而言,涉及一种板卡质量的分区检测方法、装置、设备及可读存储介质。
背景技术
目前对板卡的需求越来越多,而对板卡的要求也越来越高,但是往往依赖于人工对板卡进行质量检测,在人工检测时往往做不到精细化,并且效率低,主观性大,因此往往造成人力物力的大量浪费,并且在检测时,人工对比难度大,人为检测时可能造成损坏,不知道是人为原因导致板卡不合格,还是原有板卡不合格,所以需要一种能够对多种板卡进行合格检测的方法。
发明内容
本发明的目的在于提供一种板卡质量的分区检测方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
一方面,本申请提供了一种板卡质量的分区检测方法,所述方法包括:获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果。
可选地,所述基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像,包括:依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;获取第三信息,所述第三信息包括至少一个,每个所述第三信息包括一个所述第一信息内的板卡上每个元器件位置信息;基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
可选地,所述将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值,包括:依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
可选地,所述得到第二信息内的板卡质量的分区检测结果之后,还包括:调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
第二方面,本申请实施例提供了一种板卡质量的分区检测装置,所述装置包括:第一获取单元,用于获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;第一处理单元,用于基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;第二处理单元,用于将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;第一检测单元,用于基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果。
可选地,所述装置包括:第一检测子单元,用于依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;第一获取子单元,用于获取第三信息,所述第三信息包括至少一个,每个所述第三信息包括一个所述第一信息内的板卡上每个元器件位置信息;第一计算子单元,用于基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;第一标记子单元,用于基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
可选地,所述装置包括:第一处理子单元,用于依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;第二处理子单元,用于依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;第三处理子单元,用于建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;第四处理子单元,用于将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
可选地,所述装置还包括:第一调用单元,用于调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;第三处理单元,用于将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;第四处理单元,用于基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
第三方面,本申请实施例提供了一种板卡质量的分区检测设备,所述设备包括存储器和处理器。存储器用于存储计算机程序;处理器用于执行所述计算机程序时实现上述板卡质量的分区检测方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述板卡质量的分区检测方法的步骤。
本发明的有益效果为:
本发明通过对板卡的三维图像进行分区标记处理,将每张板卡的三维图像分为多个标号的区域,这样可以细化的对板卡进行检测,防止对比错误,造成不必要的误差,并且本发明通过将每个所述分区图像进行灰度转换和特征提取,获取分区图像的矩阵特征值,通过聚类算法获取图像特征值的误差阈值,进而通过判断未检验板卡的分区图像的矩阵特征值与合格图像的矩阵特征值的误差是否大于误差阈值来判断该板卡是否合格,本发明由于多个区域同时检测,运算量小,检测速度快,减少人力物力投入,不用经过人工处理。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的一种板卡质量的分区检测方法流程示意图;
图2为本发明实施例中所述的一种板卡质量的分区检测装置结构示意图;
图3是本发明实施例中所述的一种板卡质量的分区检测设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将集合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
如图1所示,本实施例提供了一种板卡质量的分区检测方法,其所述方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;
步骤S2、基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;
步骤S3、将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;
步骤S4、基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果。
可以理解的是本发明通过对板卡的三维图像进行分区标记处理,将每张板卡的三维图像分为多个标号的区域,这样可以细化的对板卡进行检测,防止对比错误,造成不必要的误差,并且本发明通过将每个所述分区图像进行灰度转换和特征提取,获取分区图像的矩阵特征值,通过聚类算法获取图像特征值的误差阈值,进而通过判断未检验板卡的分区图像的矩阵特征值与合格图像的矩阵特征值的误差是否大于误差阈值来判断该板卡是否合格,本发明由于多个区域同时检测,运算量小,检测速度快,减少人力物力投入,不用经过人工处理。
可以理解的是本发明通过卷积神经网络算法进行训练和验证对板卡质量进行检测,实现自动化特征值获取和比对,不用人工选取,减少人力物力投入的同时,增加检测的客观性。
可以理解的是本发明一般用于板卡生产和出厂时的检测,对于板卡的质量进行检测,而且本发明可以检测多种不同的板卡,对多种不同的板卡进行比对。
在本公开的一种具体实施方式中,所述步骤S2包括步骤S21、步骤S22、步骤S23和步骤S24。
步骤S21、依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;
步骤S22、获取第三信息,所述第三信息包括至少一个,每个所述第三信息包括一个所述第一信息内的板卡上每个元器件位置信息;
步骤S23、基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;
步骤S24、基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
可以理解的是本发明通过语义分割模型将所述第一信息内所有像素点进行识别,并根据边缘检测算法获取相同像素点的范围,以此来获取板卡上每个元器件的像素点区域,然后更具元器件进行分区,并且基于标记整理算法依次对每个区域进行标号,这样可以在检测时同时进行多个区域检测,减少检测时间,并且可以根据区域标号将标号相同的进行同时比对。
可以理解的是本发明通过计算第一信息内的板卡上的元器件大小和元器件高度和数据库比对确定第一信息的板卡是哪一种板卡,进而进行标号。
在本公开的一种具体实施方式中,所述步骤S3包括步骤S31、步骤S32、步骤S33和步骤S34。
步骤S31、依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;
步骤S32、依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;
步骤S33、建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;
步骤S34、将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
可以理解的是本发明通过将每个标号区域内的图像进行灰度转换,进而通过SEMB-LBP特征提取算法获取每个区域内的特征像素点,然后根据特征像素点的连接获得特征图像,并根据所述特征图像的灰度值建立矩阵,计算矩阵特征值。
可以理解的是本发明通过获取每个元器件的特征图像和特征图像的灰度值,来进行特征比对和灰度值比对,判断板卡上的元器件是否为同一种元器件,而且计算灰度值的矩阵特征值来来代表所述元器件的特征,这样数值化对比,可以确定一个准确的判断标准,使检测结果更加精确,对于特征比对也更加方便快捷,减少需要处理的数据。
在本公开的一种具体实施方式中,所述步骤S4包括步骤S41、步骤S42和步骤S43。
步骤S41、根据距离类距离算法将每个所述矩阵特征值进行聚类,得到至少一个聚类簇,并计算出每个所述聚类簇内的中心点数值;
步骤S42、将每个所述矩阵特征值分别与其所在的聚类簇的中心点数值进行相减,得到第一集合,所述第一集合为每个所述矩阵特征值分别与其所在的聚类簇的中心点数值的误差集合;
步骤S43、计算所述误差集合的算术平方根,并将所述算术平方根作为所述矩阵特征值的误差阈值。
可以理解的是本发明通过距离类聚类算法对每个矩阵特征值进行聚类,得到多个聚类簇,调用每个聚类簇的中心点代表的矩阵特征值,然后通过对矩阵特征值进行集合和算术平方差处理,得到合格图像内每个聚类特征点的误差值,然后将该误差值作为误差阈值。
可以理解的是上述步骤通过确定矩阵特征值的误差阈值是为了在第二信息内的板卡图像在检验时,判断第二信息内的板卡图像的矩阵特征值与合格图像的矩阵特征值相差值是否小于误差阈值,若该相差值大于误差阈值,则第二信息内的板卡图像为不合格图像,则判断第二图像内的板卡为不合格板卡。
在本公开的一种具体实施方式中,所述步骤S4包括步骤S44、步骤S45、步骤S46和步骤S47。
步骤S44、调用预设的历史板卡质量检验信息;
步骤S45、基于卷积神经网络模型对所述预设的历史板卡质量检验信息进行训练和验证,其中进行至少十次训练和验证后,将所述训练结果和验证结果进行记录;
步骤S46、基于记录的训练结果和验证结果建立指数曲线方程,并基于所述指数曲线方程预测卷积神经网络模型进行训练和验证的次数;
步骤S47、将所述预测卷积神经网络模型进行训练和验证的次数作为所述卷积神经网络模型迭代停止的条件进行迭代训练,得到板卡质量的分区检测模型。
可以理解的是本发明通过卷积神经网络模型对历史板卡质量检验信息进行训练和验证,其中通过前十次训练和验证结果预测神经网络模型需要迭代多少次才能符合要求,并根据所述预测结果来确定迭代停止的条件。
可以理解的是上述步骤通过学习模型进行训练得到智能检测模型,减少人工判断过程的同时,提高检测的精度,通过此种方法可以加快卷积神经网络模型的训练速度,从而避免了训练模型出现过拟合和欠拟合的情况。
在本公开的一种具体实施方式中,所述步骤S4之后还包括步骤S5、步骤S6和步骤S7。
步骤S5、调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;
步骤S6、将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;
步骤S7、基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
可以理解的是本发明通过对不合要求的分区图像进行检验和处理,减少检测图像的数量,提高检测效率,并且可以将不合要求的分区图像放大检测,获取放大后图像的像素点不同的区域,这样对于不合格图像的检测更加精确,而且本发明通过因子分析法分析不同的像素点的主要区域作为关键因子,并将该区域圈出发送给检测人员,检测人员通过人为判断确定最终图像是否合格的结果。
实施例2
如图2所示,本实施例提供了一种测试案例快照的生成装置,所述装置包括第一获取单元701、第一处理单元702、第二处理单元703和第一检测单元704。
第一获取单元701,用于获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;
第一处理单元702,用于基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;
第二处理单元703,用于将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;
第一检测单元704,用于基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果。
在本公开的一种具体实施方式中,所述第一处理单元702包括第一检测子单元7021、第一获取子单元7022、第一计算子单元7023和第一标记子单元7024。
第一检测子单元7021,用于依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;
第一获取子单元7022,用于获取第三信息,所述第三信息包括至少一个,每个所述第三信息包括一个所述第一信息内的板卡上每个元器件位置信息;
第一计算子单元7023,用于基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;
第一标记子单元7024,用于基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
在本公开的一种具体实施方式中,所述第二处理单元703包括第一处理子单元7031、第二处理子单元7032、第三处理子单元7033和第四处理子单元7034。
第一处理子单元7031,用于依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;
第二处理子单元7032,用于依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;
第三处理子单元7033,用于建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;
第四处理子单元7034,用于将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
在本公开的一种具体实施方式中,所述第一检测单元704包括第一聚类子单元7041、第五处理子单元7042和第二计算子单元7043。
第一聚类子单元7041,用于根据距离类距离算法将每个所述矩阵特征值进行聚类,得到至少一个聚类簇,并计算出每个所述聚类簇内的中心点数值;
第五处理子单元7042,用于将每个所述矩阵特征值分别与其所在的聚类簇的中心点数值进行相减,得到第一集合,所述第一集合为每个所述矩阵特征值分别与其所在的聚类簇的中心点数值的误差集合;
第二计算子单元7043,用于计算所述误差集合的算术平方根,并将所述算术平方根作为所述矩阵特征值的误差阈值。
在本公开的一种具体实施方式中,所述第一检测单元704包括第一调用子单元7044、第六处理子单元7045、第七处理子单元7046和第八处理子单元7047。
第一调用子单元7044,用于调用预设的历史板卡质量检验信息;
第六处理子单元7045,用于基于卷积神经网络模型对所述预设的历史板卡质量检验信息进行训练和验证,其中进行至少十次训练和验证后,将所述训练结果和验证结果进行记录;
第七处理子单元7046,用于基于记录的训练结果和验证结果建立指数曲线方程,并基于所述指数曲线方程预测卷积神经网络模型进行训练和验证的次数;
第八处理子单元7047,用于将所述预测卷积神经网络模型进行训练和验证的次数作为所述卷积神经网络模型迭代停止的条件进行迭代训练,得到板卡质量的分区检测模型。
在本公开的一种具体实施方式中,所述第一检测单元704之后还包括第一调用单元705、第三处理单元706和第四处理单元707。
第一调用单元705,用于调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;
第三处理单元706,用于将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;
第四处理单元707,用于基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例,本公开实施例还提供了一种板卡质量的分区检测设备,下文描述的一种板卡质量的分区检测设备与上文描述的一种板卡质量的分区检测方法可相互对应参照。
图3是根据一示例性实施例示出的一种板卡质量的分区检测设备800的框图。如图3所示,该板卡质量的分区检测设备800可以包括:处理器801,存储器802。该板卡质量的分区检测设备800还可以包括多媒体组件803,输入/输出(I/O)接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该板卡质量的分区检测设备800的整体操作,以完成上述的板卡质量的分区检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该板卡质量的分区检测设备800的操作,这些数据例如可以包括用于在该板卡质量的分区检测设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该板卡质量的分区检测设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,板卡质量的分区检测设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的一种板卡质量的分区检测方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的板卡质量的分区检测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由板卡质量的分区检测设备800的处理器801执行以完成上述的板卡质量的分区检测方法。
实施例4
相应于上面的方法实施例,本公开实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种板卡质量的分区检测方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的板卡质量的分区检测方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种板卡质量的分区检测方法,其特征在于,包括:
获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;
基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;
将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;
基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果;
所述将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值,包括:
依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;
依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;
建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;
将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
2.根据权利要求1所述的板卡质量的分区检测方法,其特征在于,所述基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像,包括:
依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;
获取第三信息,所述第三信息包括至少一个第一信息内的板卡上每个元器件位置信息;
基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;
基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
3.根据权利要求1所述的板卡质量的分区检测方法,其特征在于,所述得到第二信息内的板卡质量的分区检测结果之后,还包括:
调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;
将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;
基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
4.一种板卡质量的分区检测装置,其特征在于,包括:
第一获取单元,用于获取第二信息和至少两个第一信息,每个所述第一信息均包括一种类型的合格板卡的三维图像信息,所述第二信息为未检验的板卡的三维图像信息;
第一处理单元,用于基于运用语义分割依次对至少两个所述第一信息进行分区和标记,得到每个所述第一信息的分区图像;
第二处理单元,用于将每个所述分区图像依次进行灰度变换和特征提取,得到每个所述分区图像的灰度值集合的矩阵特征值;
第一检测单元,用于基于聚类算法得到每个所述矩阵特征值的误差阈值,并基于卷积神经网络算法建立板卡质量的分区检测模型对第二信息内的板卡质量进行检测,得到第二信息内的板卡质量的分区检测结果;
所述第二处理单元包括:
第一处理子单元,用于依次将每个所述分区图像进行灰度变换,得到每个所述分区图像的灰度图,通过SEMB-LBP特征提取算法提取所述灰度图内每个像素点的LBP值;
第二处理子单元,用于依次将每个所述灰度图内具有相同LBP值的像素点依次相连,得到每个所述分区图像的特征图,并对每个所述特征图建立灰度直方图,得到每个所述分区图像的特征图的灰度值;
第三处理子单元,用于建立至少两个灰度值集合,每个所述灰度值集合中包括一张所述板卡内的所有分区图像的特征图的灰度值;
第四处理子单元,用于将每个所述灰度值集合分别建立矩阵,得到每个所述灰度值集合的灰度值集合矩阵,并基于矩阵特征值的计算公式计算得到每个所述灰度值集合矩阵的矩阵特征值。
5.根据权利要求4所述的板卡质量的分区检测装置,其特征在于,所述装置包括:
第一检测子单元,用于依次将至少两个所述第一信息发送至语义分割模型进行检测,得到每个所述第一信息内的板卡上所有元器件的像素点,并基于边缘检测算法获取每个所述第一信息内的板卡上所有元器件像素点的范围信息;
第一获取子单元,用于获取第三信息,所述第三信息包括至少一个第一信息内的板卡上每个元器件位置信息;
第一计算子单元,用于基于每个所述范围信息和所述第三信息,依次计算每个所述第一信息内的板卡上的元器件大小和元器件高度,并基于层次分析法、所述元器件大小和所述元器件高度对每个所述板卡进行分区,得到每个所述板卡的分区信息;
第一标记子单元,用于基于标记整理算法将每个所述分区信息进行标号,得到每个所述第一信息的分区图像。
6.根据权利要求4所述的板卡质量的分区检测装置,其特征在于,所述装置还包括:
第一调用单元,用于调用所述第二信息内的板卡质量的分区检测结果为不符合要求的分区图像;
第三处理单元,用于将所述不符合要求的分区图像进行放大对比处理,得到至少一个第一区域,所述第一区域为不符合要求的分区图像与合格的分区图像对应的像素点不相同的区域;
第四处理单元,用于基于通过因子分析法对所有的所述第一区域进行分析处理,选取其中两个第一区域作为关键因子,并将所述关键因子圈出,并提示检测人员进行优先检测是否为该区域内元器件出现质量问题。
7.一种板卡质量的分区检测设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述板卡质量的分区检测方法的步骤。
8.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述板卡质量的分区检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111625624.9A CN114240928B (zh) | 2021-12-29 | 2021-12-29 | 板卡质量的分区检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111625624.9A CN114240928B (zh) | 2021-12-29 | 2021-12-29 | 板卡质量的分区检测方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114240928A CN114240928A (zh) | 2022-03-25 |
CN114240928B true CN114240928B (zh) | 2024-03-01 |
Family
ID=80763995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111625624.9A Active CN114240928B (zh) | 2021-12-29 | 2021-12-29 | 板卡质量的分区检测方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240928B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035242A (zh) * | 2022-05-16 | 2022-09-09 | 厦门理工学院 | 土体填压合格区域确定方法、装置、设备及可读存储介质 |
CN114882520B (zh) * | 2022-07-08 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | 一种检测电路图的方法、系统、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295498A (zh) * | 2016-07-20 | 2017-01-04 | 湖南大学 | 光学遥感图像目标区域检测装置与方法 |
WO2017067390A1 (zh) * | 2015-10-20 | 2017-04-27 | 努比亚技术有限公司 | 图像中弱纹理区域的深度信息获取方法及终端 |
CN110930353A (zh) * | 2019-07-03 | 2020-03-27 | 研祥智能科技股份有限公司 | 孔位保护门状态检测方法、装置、计算机设备和存储介质 |
CN111667464A (zh) * | 2020-05-21 | 2020-09-15 | 平安科技(深圳)有限公司 | 危险品三维图像检测方法、装置、计算机设备及存储介质 |
CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
CN112561926A (zh) * | 2020-12-07 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 三维图像分割方法、系统、存储介质及电子设备 |
-
2021
- 2021-12-29 CN CN202111625624.9A patent/CN114240928B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017067390A1 (zh) * | 2015-10-20 | 2017-04-27 | 努比亚技术有限公司 | 图像中弱纹理区域的深度信息获取方法及终端 |
CN106295498A (zh) * | 2016-07-20 | 2017-01-04 | 湖南大学 | 光学遥感图像目标区域检测装置与方法 |
CN110930353A (zh) * | 2019-07-03 | 2020-03-27 | 研祥智能科技股份有限公司 | 孔位保护门状态检测方法、装置、计算机设备和存储介质 |
CN111667464A (zh) * | 2020-05-21 | 2020-09-15 | 平安科技(深圳)有限公司 | 危险品三维图像检测方法、装置、计算机设备及存储介质 |
CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
CN112561926A (zh) * | 2020-12-07 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 三维图像分割方法、系统、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114240928A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114240928B (zh) | 板卡质量的分区检测方法、装置、设备及可读存储介质 | |
TWI748242B (zh) | 掃描晶圓的系統及方法 | |
CN110110726A (zh) | 电力设备铭牌识别方法、装置、计算机设备和存储介质 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
US20200193219A1 (en) | Discrimination device and machine learning method | |
CN116434266B (zh) | 一种医疗检验单的数据信息自动提取分析方法 | |
CN111210402A (zh) | 人脸图像质量评分方法、装置、计算机设备及存储介质 | |
CN111144372A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
CN111758117A (zh) | 检查系统、识别系统以及学习数据生成装置 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN114549993A (zh) | 实验中线段图像的评分方法、系统、设备及可读存储介质 | |
CN113284094A (zh) | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 | |
CN112926621A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
CN112036304A (zh) | 医疗票据版面识别的方法、装置及计算机设备 | |
CN112052702A (zh) | 一种识别二维码的方法和装置 | |
CN111539456A (zh) | 一种目标识别方法及设备 | |
CN113392455A (zh) | 基于深度学习的户型图比例尺检测方法、装置及电子设备 | |
CN105404682A (zh) | 一种基于数字图像内容的图书检索方法 | |
CN110705633B (zh) | 目标物检测、目标物检测模型的建立方法及装置 | |
CN115375954B (zh) | 一种化学实验溶液识别方法、装置、设备及可读存储介质 | |
CN112668365A (zh) | 一种物料入库识别方法、装置、设备及存储介质 | |
CN115424000A (zh) | 一种指针式仪表识别方法、系统、设备及存储介质 | |
CN114998194A (zh) | 产品缺陷检测方法、系统和存储介质 | |
CN111553418B (zh) | 神经元重建错误的检测方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |