CN114742791A - 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 - Google Patents

印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 Download PDF

Info

Publication number
CN114742791A
CN114742791A CN202210351156.9A CN202210351156A CN114742791A CN 114742791 A CN114742791 A CN 114742791A CN 202210351156 A CN202210351156 A CN 202210351156A CN 114742791 A CN114742791 A CN 114742791A
Authority
CN
China
Prior art keywords
image
circuit board
printed circuit
target object
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210351156.9A
Other languages
English (en)
Inventor
王祥
武占侠
吴在军
刘国川
张英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Gridcom Co Ltd
Shenzhen Zhixin Microelectronics Technology Co Ltd
Original Assignee
China Gridcom Co Ltd
Shenzhen Zhixin Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Gridcom Co Ltd, Shenzhen Zhixin Microelectronics Technology Co Ltd filed Critical China Gridcom Co Ltd
Priority to CN202210351156.9A priority Critical patent/CN114742791A/zh
Publication of CN114742791A publication Critical patent/CN114742791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种印刷电路板组装的辅助缺陷检测方法、装置及计算机设备，其中，辅助缺陷检测方法包括：确定模板图像，并获取待检测图像；将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度；根据第一相似度，确定待检测图像中的目标对象占比；根据目标对象占比对印刷电路板进行缺陷判断。该方法不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。

Description

印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
技术领域
本发明涉及印刷电路板组装检测技术领域，尤其涉及一种印刷电路板组装的辅助缺陷检测方法、一种计算机可读存储介质、一种计算机设备和一种印刷电路组装的辅助缺陷检测装置。
背景技术
在利用AOI(Automated Optical Inspection，自动光学检测)设备对PCBA(Printed Circuit Board Assembly，PCB空板经SMT上件或DIP插件)板进行缺陷检测时，传统的方法是采用图像、颜色、边缘、特征等检测对比算法检测印刷电路板的缺陷情况，但是，该方法难以应对抖动造成的偏移和光照造成的亮度变化，从而产生误报。
并且，在对电子元器件的错、漏、反、焊点缺陷等产生误报时，需要人工在设备维修台对缺陷的电子元器件进行复检操作，以确认该点位的电子元器件是否存在缺陷。由于操作人员流动性大，且无法保证每个操作人员的操作动作都符合标准，以及操作人员易疲劳、易受情绪影响等，在电子元器件的替换料多(厂家或者批次变更)时容易产生混淆。因此，通过这种人工复检方式不仅效率低，而且漏检、误检的风险高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种印刷电路板组装的辅助缺陷检测方法，通过特征相似度对比网络比较待检测图像和模板图像的第一相似度以及待检测图像的目标对象占比情况对印刷电路板进行缺陷判断，不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种印刷电路板组装的辅助缺陷检测装置。
为达上述目的，本发明第一方面实施例提出了一种印刷电路板组装的辅助缺陷检测方法，包括：确定模板图像，并获取待检测图像；将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度；根据第一相似度，确定待检测图像中的目标对象占比；根据目标对象占比对印刷电路板进行缺陷判断。
根据本发明实施例的印刷电路板组装的辅助缺陷检测方法，通过确定模板图像和获取待检测图像，并将待检测图像和模板图像输入特征相似度对比网络以确定第一相似度，再根据第一相似度确定待检测图像中的目标对象占比，以及根据目标对象占比对印刷电路板进行缺陷判断，不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。
另外，根据本发明上述实施例的印刷电路板组装的辅助缺陷检测方法，还可以具有如下附加特征：
根据本发明的一个实施例，将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度，包括：将待检测图像和模板图像输入到两个结构相同且权值共享的神经网络，确定第一高维特征空间的表征和第二高维特征空间的表征；根据第一高维特征空间的表征与第二高维特征空间的表征之间的距离，确定第一相似度。
根据本发明的一个实施例，根据第一相似度，确定待检测图像中的目标对象占比，包括：在第一相似度小于预设相似度阈值时，确定待检测图像为异常图像；基于目标检测算法获取异常图像中的目标对象信息；根据异常图像和目标对象信息，确定目标对象占比。
根据本发明的一个实施例，根据目标对象占比对印刷电路板进行缺陷判断，包括：在目标对象占比小于预设占比阈值时，根据目标对象信息对异常图像进行裁剪，获得第一裁剪图像，并对模板图像进行相应的裁剪，获得第二裁剪图像；将第一裁剪图和第二裁剪图输入特征相似度对比网络，确定第二相似度，并根据第二相似度重新确定目标对象占比，以便根据重新确定的目标对象占比对印刷电路板进行缺陷判断。
根据本发明的一个实施例，根据目标对象占比对印刷电路板进行缺陷判断，还包括：在目标对象占比大于等于预设占比阈值时，根据异常图像对印刷电路板进行缺陷类型检测。
根据本发明的一个实施例，根据目标对象信息对异常图像进行裁剪，包括：根据目标对象信息，确定目标对象的真实位置；根据目标对象的真实位置，对异常图像中的目标对象进行裁剪。
根据本发明的一个实施例，在将待检测图像和模板图像输入特征相似度对比网络之前，辅助缺陷检测方法还包括：获取缺陷图像；将缺陷图像输入分类网络，以检测缺陷图像对应的印刷电路板是否真实存在缺陷；若是，则确定缺陷图像为特征相似度对比网络的训练集中的负样本；若否，则确定缺陷图像为特征相似度对比网络的训练集中的正样本。
根据本发明的一个实施例，特征相似度对比网络为孪生网络，目标检测算法为yolov3。
为达上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有印刷电路板组装的辅助缺陷检测程序，印刷电路板组装的辅助缺陷检测程序被处理器执行时，实现上述实施例描述的印刷电路板组装的辅助缺陷检测方法。
根据本发明实施例的计算机可读存储介质，存储的印刷电路板组装的辅助缺陷检测程序被处理器执行时，通过执行印刷电路板组装的辅助缺陷检测程序，能够提高印刷电路板组装检测的准确性和智能化程度。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的印刷电路板组装的辅助缺陷检测程序，处理器执行印刷电路板组装的辅助缺陷检测程序时，实现上述实施例描述的印刷电路板组装的辅助缺陷检测方法。
根据本发明实施例的计算机设备，存储的印刷电路板组装的辅助缺陷检测程序被处理器执行时，通过执行印刷电路板组装的辅助缺陷检测程序，能够提高印刷电路板组装检测的准确性和智能化程度。
为达上述目的，本发明第四方面实施例提出了一种印刷电路板组装的辅助缺陷检测装置，包括：获取模块，用于确定模板图像，并获取待检测图像；第一确定模块，用于将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度；第二确定模块，用于根据第一相似度，确定待检测图像中的目标对象占比；检测模块，用于根据目标对象占比对印刷电路板进行缺陷判断。
根据本发明实施例的印刷电路板组装的辅助缺陷检测装置，通过获取模块确定模板图像和获取待检测图像，第一确定模块将待检测图像和模板图像输入特征相似度对比网络确定第一相似度，第二确定模块根据第一相似度确定待检测图像中的目标对象占比，以及检测模块根据目标对象占比对印刷电路板进行缺陷判断，不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本发明一个实施例的印刷电路板组装的辅助缺陷检测方法的流程图；
图2为根据本发明一个实施例的特征相似度对比网络的结构示意图；
图3为根据本发明一个具体实施例的印刷电路板组装的辅助缺陷检测方法的流程图；
图4为根据本发明一个实施例的VGG16网络的结构示意图；
图5为根据本发明一个实施例的计算机设备的方框示意图；
图6为根据本发明一个实施例的印刷电路板组装的辅助缺陷检测装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面就参照附图对本发明实施例的印刷电路板组装的辅助缺陷检测方法、计算机可读存储介质、计算机设备和印刷电路板组装的辅助缺陷检测装置进行详细描述。
图1为根据本发明一个实施例的印刷电路板组装的辅助缺陷检测方法的流程图。参考图1所示，该印刷电路板组装的辅助缺陷检测方法包括以下步骤：
步骤S1，确定模板图像，并获取待检测图像。
具体地，可以根据待检测印刷电路板确定模板图像，并通过图像拍摄装置获取该待检测印刷电路板的图像得到待检测图像。
步骤S2，将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度。
具体地，将待检测图像和模板图像输入特征相似度对比网络，对待检测图像和模板图像分别进行特征提取，并根据待检测图像的特征和模板图像的特征之间的距离(例如，曼哈顿距离、欧氏距离)，确定第一相似度。
进一步地，在本发明的一些实施例中，将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度，包括：将检测图像和模板图像输入到两个结构相同且权值共享的神经网络，确定第一高维特征空间的表征和第二高维特征空间的表征；根据第一高维特征空间的表征与第二高维特征空间的表征之间的距离，确定第一相似度。
具体地，参考图2所示，两个结构相同且权值共享的神经网络分别包括：Conv-layer(Convolution-layer，卷积层)、ReLU(Linear Rectification Function，线性整流函数)、Max-Pooling(最大池化层)，Norm(Normalization Layer，规范层)、Block(模块)、Eltwise(Element-wiseeltwise Layer，数据差异层)、absdiff(absolute differencelayer，绝对值层)和InnerProd(全连接层)和Loss(LossFunction，损失函数)。其中，Conv-layer采用3*3的卷积核以及Loss采用余弦距离。
在图2所示神经网络中，可以包括5个Block，且每个Block包括：Max-Pooling、Conv-layer、ReLU和concat(合并多个数组)函数。
在本实施例中，通过Conv-layer、ReLU、Max-Pooling、Norm和Block可以提取待检测图像中的第一高维特征空间的表征和模板图像中的第二高维特征空间的表征，并通过Eltwise、absdiff和Loss计算第一高维特征空间的表征与第二高维特征空间的表征之间的余弦距离，确定第一相似度。
步骤S3，根据第一相似度，确定待检测图像中的目标对象占比。
具体地，可以根据第一相似度与预设相似度阈值的关系，确定待检测图像中的目标对象(例如，电子元器件)占比。
在实际应用中，发现非目标对象(非电子元器件)在待检测图中占比过大时，也会导致第一相似度小于预设相似度阈值。
因此，在第一相似度大于等于预设相似度阈值(例如，0.8)时，确定待检测图像与模板图像相似度高，从而判定待检测图像对应的待检测印刷电路板无缺陷；在第一相似度小于预设相似度阈值时，则需确定待检测图像中的目标对象占比，进行下一步判断。
在本发明的一些实施例中，在第一相似度小于预设相似度阈值时，确定待检测图像为异常图像；基于目标检测算法获取异常图像中的目标对象信息；根据异常图像和目标对象信息，确定目标对象占比。
具体地，在第一相似度小于预设相似度阈值时，确定待检测图像是异常图像；将异常图像输入目标检测算法(例如，yolov1、yolov2)对应的模型，获得异常图像中的目标对象信息(例如，电子元器件的类别和位置(识别框标出))；根据目标对象识别框的维度和异常图像的维度的比值，确定目标对象占比。
步骤S4，根据目标对象占比对印刷电路板进行缺陷判断。
具体地，根据目标对象占比与预设占比阈值的关系对印刷电路板进行缺陷判断。
在本发明的一些实施例中，在目标对象占比大于等于预设占比阈值时，根据异常图像对印刷电路板进行缺陷类型检测。
具体地，在目标对象占比大于等于预设占比阈值(例如，0.4)时，可以通过OCR(Optical Character Recognition，光学字符识别)技术识别异常图像上的字符信息，并根据字符信息确定印刷电路板中的电子元器件的厂家和版本信息，以便操作人员根据印刷电路板中的电子元器件的厂家和版本信息确定相应的模板图像，并根据模板图像确定印刷电路板是否存在错件、漏件和极反缺陷等。
通过OCR技术自动识别技术确定印刷电路板中的电子元器件的厂家和版本信息，解决了因电子元器件厂家或批次变化导致传统AOI设备无法正确区分印刷电路板中的电子元器件是错件(非当前生产的版本、型号)还是替换料(厂家或者批次变更)的问题，提高了检测效率与检测精度。
在目标对象占比小于预设占比阈值时，根据目标对象信息对异常图像进行裁剪，获得第一裁剪图像，并对模板图像进行相应的裁剪，获得第二裁剪图像；将第一裁剪图和第二裁剪图输入特征相似度对比网络，确定第二相似度，并根据第二相似度重新确定目标对象占比，以便根据重新确定的目标对象占比对印刷电路板进行缺陷判断。
可以理解的是，在目标对象占比小于预设占比阈值时，表示非目标对象对特征相似度对比网络输出的结果(第一相似度)影响较大，则需要根据目标对象信息对异常图像进行裁剪，从而尽可能保留目标对象，提高目标对象占比。
可选地，在本发明的一些实施例中，在根据目标对象信息对异常图像进行裁剪时，可以根据目标对象信息，确定目标对象的真实位置；根据目标对象的真实位置，对异常图像中的目标对象进行裁剪。
具体地，通过检测算法得到的目标对象信息确定目标对象的真实位置(用识别框标出)，并根据识别框(识别框的维度是N*N)对异常图像中的目标对象进行裁剪，获得第一裁剪图。
需要说明的是，在实际应用中，为保证第一裁剪图和第二裁剪图的维度一致，对模板图像进行相应的裁剪时，需要对模板图像中相应位置的目标对象以(N+10)*(N+10)的维度进行裁剪，获得第二裁剪图像。
将第一裁剪图像和第二裁剪图像输入特征相似度对比网络，确定第二相似度，若第二相似度大于等于预设相似度阈值，则确定该第二裁剪图像对应的待检测印刷电路板不存在缺陷；若第二相似度小于预设相似度阈值，则确定第二裁剪图像为异常图像，并通过上述方法获取异常图像的目标对象占比，并根据目标对象占比与预设占比阈值的关系，对异常图像进行相应的处理，以对印刷电路板进行缺陷判断。
在上述过程中，在异常图像的目标对象占比小于预设相似度阈值时，则直接根据异常图像对印刷电路板进行缺陷类型检测。并且，预设相似度阈值可以根据实际需求进行设置。
由于训练特征相似度对比网络需要大量的缺陷数据，而在工业生产领域普遍存在缺陷数据少且难以收集的问题。传统AOI设备虽能检测出缺陷，但因为其阈值设置低、误检率高导致缺陷数据与误检数据混杂，依靠人工难以从大量误检数据中筛选出缺陷数据作为负样本。
因此，为解决负样本难以收集的问题，在本发明的一些实施例中，在将待检测图像和模板图像输入特征相似度对比网络之前，印刷电路板组装的辅助缺陷检测方法还包括：获取缺陷图像；将缺陷图像输入分类网络，以检测缺陷图像对应的印刷电路板是否真实存在缺陷；若是，则确定缺陷图像为特征相似度对比网络的训练集中的负样本；若否，则确定缺陷图像为特征相似度对比网络的训练集中的正样本。
具体地，可以获取传统AOI设备输出的缺陷图像，将缺陷图像输入由模板图像训练好的分类网络，以识别缺陷图像中的目标对象的类别，若缺陷图像中的目标对象的类别与传统AOI设备根据位置输出的类别不一致，也就是说缺陷图像对应的印刷电路板存在缺陷，则确定缺陷图像为特征相似度对比网络的训练集中的负样本；否则，确定缺陷图像为特征相似度对比网络的训练集中的正样本。
需要说明的是，特征相似度对比网络可以是孪生网络，目标检测算法可以是yolov3。
在本发明的一个具体实施例中，参考图3所示，印刷电路板组装的辅助缺陷检测方法包括以下步骤：
步骤S20，获取孪生网络的训练数据集，并对孪生网络进行训练。
具体地，通过获取传统AOI设备输出的缺陷图像，将缺陷图像输入由模板图像训练好的VGG16(分类网络)，以识别缺陷图像中的电子元器件的类别，若缺陷图像中的电子元器件的类别与传统AOI设备根据位置输出的类别不一致，也就是说缺陷图像对应的印刷电路板存在缺陷，则确定缺陷图像为特征相似度对比网络的训练集中的负样本；否则，确定缺陷图像为特征相似度对比网络的训练集中的正样本。
不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性参考图4所示，VGG16网络依次包括：两个3*3Conv，64(3*3卷积核、64通道的卷积层)、一个Pool(池化层)、两个3*3Conv，128(3*3卷积核、128通道的卷积层)、一个Pool(池化层)、三个3*3Conv，256(3*3卷积核、256通道的卷积层)、一个Pool(池化层)、三个3*3Conv，512(3*3卷积核、512通道的卷积层)、一个Pool(池化层)、三个3*3Conv，512(3*3卷积核、512通道的卷积层)、一个Pool(池化层)和三个fc 4096(1*4096的全连接层)。
步骤S21，确定模板图像，并获取待检测图像。
具体地，可以从AOI设备的存储介质中获取待检测印刷电路板的模板图像数据，以及通过AOI设备的图像拍摄装置获取待检测印刷电路板的图像，作为待检测图像。
步骤S22，将待检测图像和模板图像输入训练好的孪生网络，确定第一相似度。
具体地，可以计算待检测图像中的第一高维特征空间的表征和模板图像中的第二高维特征空间的表征之间的余弦距离，确定第一相似度。
步骤S23，判断相似度(第一相似度或者第二相似度)与预设相似度阈值的关系。若相似度大于等于0.8，则执行步骤S28；若相似度小于0.8，则执行步骤S24。
步骤S24，确定待检测图像是异常图像，将异常图像输入yolov3目标检测算法，获得异常图像中的电子元器件的类别和位置(识别框标出)，根据电子元器件识别框的维度和异常图像的维度的比值，确定电子元器件占比(目标对象占比)。
步骤S25，判断电子元器件占比与预设占比阈值的关系，若电子元器件占比大于等于0.4，则执行步骤S27；若电子元器件占比小于0.4，则执行步骤S26。
步骤S26，根据电子元器件的识别框(识别框的维度是N*N)对异常图像中的电子元器件进行裁剪，获得第一裁剪图，并对模板图像中相应位置的电子元器件以(N+10)*(N+10)的维度进行裁剪，获得第二裁剪图像，并将第一裁剪图像和第二裁剪图像输入孪生网络，并执行步骤S22，确定第二相似度。
步骤S27，通过OCR技术识别异常图像中的字符信息，根据字符信息确定印刷电路板中的电子元器件的厂家和版本信息，并根据印刷电路板中的电子元器件的厂家和版本信息确定印刷电路板是否存在错件、漏件和极反缺陷。
步骤S28，确认印刷电路板不存在缺陷。
在实际应用中，在无需增加额外的服务器，不影响传统AOI设备和生产线工艺时效的前提下，仅需在现有的AOI设备上加载该辅助缺陷检测方法及驱动，插入自主AI(Artificial Intelligence，人工智能)芯片的计算棒，即可提高生产线的效率。
综上所述，根据本发明实施例的印刷电路板组装的辅助缺陷检测方法，通过分类网络对缺陷图像的进一步分类，以确定缺陷图像对应的待检测印刷电路板是否真实存在缺陷，并将存在缺陷的缺陷图像作为特征相似度提取网络的训练集中的负样本，提高了收集训练集的效率；同时，通过将待检测图像和模板图像输入特征相似度对比网络以确定第一相似度，并根据第一相似度确定待检测图像中的目标对象占比，以及根据目标对象占比对印刷电路板进行缺陷判断，不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。
对应上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有印刷电路板组装的辅助缺陷检测程序，印刷电路板组装的辅助缺陷检测程序被处理器执行时，实现上述实施例描述的印刷电路板组装的辅助缺陷检测方法。
根据本发明实施例的计算机可读存储介质，存储的印刷电路板组装的辅助缺陷检测程序被处理器执行时，通过执行印刷电路板组装的辅助缺陷检测程序，能够提高印刷电路板组装检测的准确性和智能化程度。
参考图5所示，本发明实施例提出了一种计算机设备，该计算机设备50包括存储器51、处理器52及存储在存储器51上并可在处理器52上运行的印刷电路板组装的辅助缺陷检测程序，处理器52执行印刷电路板组装的辅助缺陷检测程序时，实现上述实施例描述的印刷电路板组装的辅助缺陷检测方法。
根据本发明实施例的计算机设备，存储的印刷电路板组装的辅助缺陷检测程序被处理器执行时，通过执行印刷电路板组装的辅助缺陷检测程序，能够提高印刷电路板组装检测的准确性和智能化程度。
参考图6所示，本发明实施例提出了一种印刷电路板组装的辅助缺陷检测装置，该辅助缺陷检测装置60包括：获取模块61，用于确定模板图像，并获取待检测图像；第一确定模块62，用于将待检测图像和模板图像输入特征相似度对比网络，确定第一相似度；第二确定模块63，用于根据第一相似度，确定待检测图像中的目标对象占比；检测模块64，用于根据目标对象占比对印刷电路板进行缺陷判断。
在本发明的一些实施例中，第一确定模块62用于：将检测图像和模板图像输入到两个结构相同且权值共享的神经网络，确定第一高维特征空间的表征和第二高维特征空间的表征；根据第一高维特征空间的表征与第二高维特征空间的表征之间的距离，确定第一相似度。
在本发明的一些实施例中，第二确定模块63用于：在第一相似度小于预设相似度阈值时，确定待检测图像是异常图像；将异常图像输入目标检测算法，获得异常图像中的目标对象信息；根据异常图像和目标对象信息，确定目标对象占比。
在本发明的一些实施例中，检测模块64用于：在目标对象占比小于预设占比阈值时，根据目标对象信息对异常图像进行裁剪，获得第一裁剪图像，并对模板图像进行相应的裁剪，获得第二裁剪图像；将第一裁剪图和第二裁剪图输入特征相似度对比网络，确定第二相似度，并根据第二相似度重新确定目标对象占比，以便根据重新确定的目标对象占比对印刷电路板进行缺陷判断。
在本发明的一些实施例中，检测模块64用于：在目标对象占比大于等于预设占比阈值时，根据异常图像对印刷电路板进行缺陷类型检测。
在本发明的一些实施例中，检测模块64用于：根据目标对象信息，确定目标对象的真实位置；根据目标对象的真实位置，对异常图像中的目标对象进行裁剪。
在本发明的一些实施例中，印刷电路板组装的辅助缺陷检测装置还包括：样本采集模块，用于获取缺陷图像；将缺陷图像输入分类网络，以检测缺陷图像对应的印刷电路板是否真实存在缺陷；若是，则确定缺陷图像为特征相似度对比网络的训练集中的负样本；若否，则确定缺陷图像为特征相似度对比网络的训练集中的正样本。
在本发明的一些实施例中，特征相似度对比网络为孪生网络，目标检测算法为yolov3。
需要说明的是，关于印刷电路板组装的辅助缺陷检测装置的描述，请参考前述关于印刷电路板组装的辅助缺陷检测方法的描述，这里不再详述。
根据本发明实施例的印刷电路板组装的辅助缺陷检测装置，通过获取模块确定模板图像和获取待检测图像，第一确定模块将待检测图像和模板图像输入特征相似度对比网络确定第一相似度，第二确定模块根据第一相似度确定待检测图像中的目标对象占比，以及检测模块根据目标对象占比对印刷电路板进行缺陷判断，不仅提高了印刷电路板组装检测的准确性、稳定性和抗干扰性，还提高了智能化程度，降低了人力成本。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本发明中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
需要指出的是，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种印刷电路板组装的辅助缺陷检测方法，其特征在于，包括：
确定模板图像，并获取待检测图像；
将所述待检测图像和所述模板图像输入特征相似度对比网络，确定第一相似度；
根据所述第一相似度，确定所述待检测图像中的目标对象占比；
根据所述目标对象占比对印刷电路板进行缺陷判断。
2.根据权利要求1所述的辅助缺陷检测方法，其特征在于，将所述待检测图像和所述模板图像输入特征相似度对比网络，确定第一相似度，包括：
将所述待检测图像和所述模板图像输入到两个结构相同且权值共享的神经网络，确定第一高维特征空间的表征和第二高维特征空间的表征；
根据所述第一高维特征空间的表征与所述第二高维特征空间的表征之间的距离，确定所述第一相似度。
3.根据权利要求1所述的辅助缺陷检测方法，其特征在于，根据所述第一相似度，确定所述待检测图像中的目标对象占比，包括：
在所述第一相似度小于预设相似度阈值时，确定所述待检测图像为异常图像；
基于目标检测算法获取所述异常图像中的目标对象信息；
根据所述异常图像和所述目标对象信息，确定所述目标对象占比。
4.根据权利要求3所述的辅助缺陷检测方法，其特征在于，根据所述目标对象占比对印刷电路板进行缺陷判断，包括：
在所述目标对象占比小于预设占比阈值时，根据所述目标对象信息对所述异常图像进行裁剪，获得第一裁剪图像，并对所述模板图像进行相应的裁剪，获得第二裁剪图像；
将所述第一裁剪图和所述第二裁剪图输入所述特征相似度对比网络，确定第二相似度，并根据所述第二相似度重新确定所述目标对象占比，以便根据重新确定的所述目标对象占比对所述印刷电路板进行缺陷判断。
5.根据权利要求4所述的辅助缺陷检测方法，其特征在于，根据所述目标对象占比对印刷电路板进行缺陷判断，还包括：
在所述目标对象占比大于等于所述预设占比阈值时，根据所述异常图像对所述印刷电路板进行缺陷类型检测。
6.根据权利要求4所述的辅助缺陷检测方法，其特征在于，根据所述目标对象信息对所述异常图像进行裁剪，包括：
根据所述目标对象信息，确定所述目标对象的真实位置；
根据所述目标对象的真实位置，对所述异常图像中的目标对象进行裁剪。
7.根据权利要求1-6中任一项所述的辅助缺陷检测方法，其特征在于，在将所述待检测图像和所述模板图像输入特征相似度对比网络之前，所述方法还包括：
获取缺陷图像；
将所述缺陷图像输入分类网络，以检测所述缺陷图像对应的印刷电路板是否真实存在缺陷；
若是，则确定所述缺陷图像为所述特征相似度对比网络的训练集中的负样本；
若否，则确定所述缺陷图像为所述特征相似度对比网络的训练集中的正样本。
8.根据权利要求3所述的辅助缺陷检测方法，其特征在于，所述特征相似度对比网络为孪生网络，所述目标检测算法为yolov3。
9.一种计算机可读存储介质，其特征在于，其上存储有印刷电路板组装的辅助缺陷检测程序，该印刷电路板组装的辅助缺陷检测程序被处理器执行时实现根据权利要求1-8中任一项所述的印刷电路板组装的辅助缺陷检测方法。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的印刷电路板组装的辅助缺陷检测程序，所述处理器执行所述印刷电路板组装的辅助缺陷检测程序时，实现权利要求1-8中任一项所述的印刷电路板组装的辅助缺陷检测方法。
11.一种印刷电路板组装的辅助缺陷检测装置，其特征在于，包括：
获取模块，用于确定模板图像，并获取待检测图像；
第一确定模块，用于将所述待检测图像和所述模板图像输入特征相似度对比网络，确定第一相似度；
第二确定模块，用于根据所述第一相似度，确定所述待检测图像中的目标对象占比；
检测模块，用于根据所述目标对象占比对印刷电路板进行缺陷判断。
CN202210351156.9A 2022-04-02 2022-04-02 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备 Pending CN114742791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210351156.9A CN114742791A (zh) 2022-04-02 2022-04-02 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210351156.9A CN114742791A (zh) 2022-04-02 2022-04-02 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN114742791A true CN114742791A (zh) 2022-07-12

Family

ID=82280203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210351156.9A Pending CN114742791A (zh) 2022-04-02 2022-04-02 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN114742791A (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004251781A (ja) * 2003-02-20 2004-09-09 Tani Electronics Corp 画像認識による不良検査方法
CN110135486A (zh) * 2019-05-08 2019-08-16 西安电子科技大学 基于自适应卷积神经网络的筷子图像分类方法
CN110458301A (zh) * 2019-07-11 2019-11-15 深圳壹账通智能科技有限公司 一种车辆部件的定损方法、装置、计算机设备及存储介质
CN110706150A (zh) * 2019-07-12 2020-01-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111144477A (zh) * 2019-12-25 2020-05-12 浙江工业大学之江学院 一种钢材表面缺陷的训练样本生成方法、系统及电子设备
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111684488A (zh) * 2019-05-22 2020-09-18 深圳市大疆创新科技有限公司 图像裁剪方法、装置和拍摄装置
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN111833347A (zh) * 2020-07-31 2020-10-27 广东电网有限责任公司 一种输电线路防振锤缺陷检测方法及相关装置
CN112419260A (zh) * 2020-11-19 2021-02-26 深圳虹星智能有限公司 一种pcb文字区域缺陷检测方法
CN112508846A (zh) * 2020-10-30 2021-03-16 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN112802009A (zh) * 2021-02-25 2021-05-14 常州微亿智造科技有限公司 产品检测数据集的相似度计算方法及装置
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN113362344A (zh) * 2021-06-30 2021-09-07 展讯通信(天津)有限公司 人脸皮肤分割方法和设备
CN113379699A (zh) * 2021-06-08 2021-09-10 上海电机学院 基于深度学习的输电线路绝缘子缺陷检测方法
CN113406092A (zh) * 2021-08-18 2021-09-17 阿里巴巴（中国）有限公司 数字化生产检测系统、方法、装置、设备及存储介质
CN113538412A (zh) * 2021-08-06 2021-10-22 广东电网有限责任公司 一种航拍图像的绝缘子缺陷检测方法及装置
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN113836850A (zh) * 2021-11-26 2021-12-24 成都数之联科技有限公司 模型获得方法及系统及装置及介质及产品缺陷检测方法
CN113989241A (zh) * 2021-10-29 2022-01-28 南京埃斯顿机器人工程有限公司 一种基于图像处理与深度学习融合的光伏组件el缺陷检测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004251781A (ja) * 2003-02-20 2004-09-09 Tani Electronics Corp 画像認識による不良検査方法
CN110135486A (zh) * 2019-05-08 2019-08-16 西安电子科技大学 基于自适应卷积神经网络的筷子图像分类方法
CN111684488A (zh) * 2019-05-22 2020-09-18 深圳市大疆创新科技有限公司 图像裁剪方法、装置和拍摄装置
CN110458301A (zh) * 2019-07-11 2019-11-15 深圳壹账通智能科技有限公司 一种车辆部件的定损方法、装置、计算机设备及存储介质
CN110706150A (zh) * 2019-07-12 2020-01-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111144477A (zh) * 2019-12-25 2020-05-12 浙江工业大学之江学院 一种钢材表面缺陷的训练样本生成方法、系统及电子设备
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN111833347A (zh) * 2020-07-31 2020-10-27 广东电网有限责任公司 一种输电线路防振锤缺陷检测方法及相关装置
CN112508846A (zh) * 2020-10-30 2021-03-16 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN112419260A (zh) * 2020-11-19 2021-02-26 深圳虹星智能有限公司 一种pcb文字区域缺陷检测方法
CN112802009A (zh) * 2021-02-25 2021-05-14 常州微亿智造科技有限公司 产品检测数据集的相似度计算方法及装置
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法
CN113379699A (zh) * 2021-06-08 2021-09-10 上海电机学院 基于深度学习的输电线路绝缘子缺陷检测方法
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN113362344A (zh) * 2021-06-30 2021-09-07 展讯通信(天津)有限公司 人脸皮肤分割方法和设备
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN113538412A (zh) * 2021-08-06 2021-10-22 广东电网有限责任公司 一种航拍图像的绝缘子缺陷检测方法及装置
CN113406092A (zh) * 2021-08-18 2021-09-17 阿里巴巴（中国）有限公司 数字化生产检测系统、方法、装置、设备及存储介质
CN113989241A (zh) * 2021-10-29 2022-01-28 南京埃斯顿机器人工程有限公司 一种基于图像处理与深度学习融合的光伏组件el缺陷检测方法
CN113836850A (zh) * 2021-11-26 2021-12-24 成都数之联科技有限公司 模型获得方法及系统及装置及介质及产品缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUNWEI DING 等: "Unknown defect detection for printed circuit board based on multi-scale deep similarity measure method", 《THE 3RD ASIAN CONFERENCE ON ARTIFICIAL INTELLIGENCE TECHNOLOGY (ACAIT 2019)》, 27 July 2020 (2020-07-27) *
杨洋: "基于Ｘ射线图像特征提取的产品缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, 15 October 2020 (2020-10-15) *

Similar Documents

Publication Publication Date Title
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN110599484B (zh) 缺陷检测方法、装置及存储介质
CN111758117B (zh) 检查系统、识别系统以及学习数据生成装置
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN113820333B (zh) 电池极片异常检测方法、装置、上位机及检测系统
CN108492327B (zh) Aoi图像匹配方法、系统、可读存储介质及智能设备
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN116798036B (zh) 用于识别和校验答题卡客观题识别结果的方法及装置
CN113421265B (zh) 线路板切割路径的生成方法和生成装置、分板机
CN112070749A (zh) 纸张缺陷检测方法和装置
CN115439411A (zh) 电路板元器件极性的检测方法、装置、介质和电子设备
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
CN117542301A (zh) 一种显示屏的检测方法及系统
CN115861161A (zh) 机器学习系统、学习数据收集方法以及存储介质
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
CN114742791A (zh) 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN115861315A (zh) 缺陷检测方法和装置
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN115272340A (zh) 工业产品缺陷检测方法和装置
CN115249316A (zh) 工业缺陷检测方法和装置
CN117817211B (zh) 基于机器视觉的焊接自动化控制方法及系统
CN115965583A (zh) 基于深度学习pcb缺陷两阶段检测方法
CN117853826B (zh) 基于机器视觉的物体表面精度识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination