CN117291892A - 一种板卡的异物检测方法、装置、设备及存储介质 - Google Patents

一种板卡的异物检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117291892A
CN117291892A CN202311275206.0A CN202311275206A CN117291892A CN 117291892 A CN117291892 A CN 117291892A CN 202311275206 A CN202311275206 A CN 202311275206A CN 117291892 A CN117291892 A CN 117291892A
Authority
CN
China
Prior art keywords
target
template
fusion
texture
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311275206.0A
Other languages
English (en)
Inventor
林国柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yingshi Information Technology Co ltd
Original Assignee
Guangzhou Yingshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yingshi Information Technology Co ltd filed Critical Guangzhou Yingshi Information Technology Co ltd
Priority to CN202311275206.0A priority Critical patent/CN117291892A/zh
Publication of CN117291892A publication Critical patent/CN117291892A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种板卡的异物检测方法、装置、设备及存储介质,该方法包括:对目标板卡分别采集目标深度图像数据与目标纹理图像数据;在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;将目标深度对象与目标纹理对象对齐,得到目标融合对象;将目标融合对象与模板融合对象进行匹配;若目标融合对象与任一模板融合对象均匹配失败,则检测目标融合对象是否属于目标板卡上的异物。减小了检测的对象,且丰富了特征的信息量,从而将检测的注意力集中到较小的对象上,可有效检测出目标板卡上的异物,提高检测异物的精确度,降低误报率。

Description

一种板卡的异物检测方法、装置、设备及存储介质
技术领域
本发明涉及自动光学检测的技术领域,尤其涉及一种板卡的异物检测方法、装置、设备及存储介质。
背景技术
随着电子行业的发展,尤其是各种自动光学检测设备中布线空间越来越有限,在PCBA(Printed Circuit Board Assembly,印刷电路板插件)等板卡上布线越来越紧凑,选用的元件越来越多,对板卡的生产质量要求越来越高。
在工业生产板卡的过程中,会使用AOI(Automated Optical Inspection,自动光学检测)技术,基于光学原理来检测板卡上是否存在异物(foreign matter),这些异物可能是贴装过程掉落的物料,运输过程渗入的杂质、头发丝、颜料掉落,等等,异物是PCBA等板卡的主要缺陷之一,严重的异物会导致批量性事故和整块板卡的失效。
目前,检查异物的方法主要有抽色法和深度学习,抽色法主要抽取图像数据中板卡的颜色,基于颜色的特征检测是否存在异物,深度学习主要采集异物的样本训练神经网络,使用神经网络检测是否存在异物。
但是,形成异物的情况众多,异物的颜色、尺寸、形状和位置都具有较大的随机性,抽色法依赖颜色准确性较差,深度学习依赖的样本数量不足,均导致检测异物的精确度较低,误报率较高。
发明内容
本发明提供了一种板卡的异物检测方法、装置、设备及存储介质,以解决如何提高检测板卡上异物的精确度的问题。
根据本发明的一方面,提供了一种板卡的异物检测方法,包括:
对目标板卡分别采集目标深度图像数据与目标纹理图像数据,所述目标板卡所属的板卡类型配置有模板融合对象;
在所述目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;
在所述目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;
将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象;
将所述目标融合对象与所述模板融合对象进行匹配;
若所述目标融合对象与任一所述模板融合对象均匹配失败,则确定所述目标融合对象属于所述目标板卡上的异物。
根据本发明的另一方面,提供了一种板卡的异物检测装置,包括:
目标图像数据采集模块,用于对目标板卡分别采集目标深度图像数据与目标纹理图像数据,所述目标板卡所属的板卡类型配置有模板融合对象;
目标深度对象分割模块,用于在所述目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;
目标纹理对象分割模块,用于在所述目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;
目标对象对齐模块,用于将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象;
融合对象匹配模块,用于将所述目标融合对象与所述模板融合对象进行匹配;
异物确定模块,用于若所述目标融合对象与任一所述模板融合对象均匹配失败,则确定所述目标融合对象属于所述目标板卡上的异物。
根据本发明的另一方面,提供了一种自动光学检测设备,所述自动光学检测设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的板卡的异物检测方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时实现本发明任一实施例所述的板卡的异物检测方法。
在本实施例中,对目标板卡分别采集目标深度图像数据与目标纹理图像数据,目标板卡所属的板卡类型配置有模板融合对象;在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;将目标深度对象与目标纹理对象对齐,得到目标融合对象;将目标融合对象与模板融合对象进行匹配;若目标融合对象与任一模板融合对象均匹配失败,则确定目标融合对象属于目标板卡上的异物。目标板卡上元件、背景的语义较为明确,可以分割出准确的目标深度对象、目标纹理对象,目标深度对象属于目标板卡在三维空间上的深度信息、目标纹理对象属于目标板卡在二维空间上的纹理信息,结合目标深度对象与目标纹理对象检测异物,相比于整个目标板卡,减小了检测的对象,且丰富了特征的信息量,从而将检测的注意力集中到较小的对象上,减少其他信息的影响,而且,利用模板融合对象进行匹配,运算简单,可有效检测出目标板卡上的异物,提高检测异物的精确度,降低误报率。
相比于抽色法,深度信息与纹理信息适应颜色、形状、光线变化等影响,稳定性好、通用性强,可以保证检测异物的精确度。
相比于深度学习,模板融合对象是匹配的正样本,并不依赖异物的样本,通过匹配、排除的方式检测出目标板卡上的异物,可以保证检测异物的精确度。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种板卡的异物检测方法的流程图;
图2是根据本发明实施例一提供的一种目标深度图像数据与目标纹理图像数据的示例图;
图3是根据本发明实施例一提供的一种模板深度图像数据与模板纹理图像数据的示例图;
图4是根据本发明实施例一提供的一种标记异物的示例图;
图5是根据本发明实施例二提供的一种板卡的异物检测方法的流程图;
图6是根据本发明实施例三提供的一种板卡的异物检测方法的流程图;
图7是根据本发明实施例四提供的一种板卡的异物检测装置的结构示意图;
图8是根据本发明实施例五提供的一种自动光学检测设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种板卡的异物检测方法的流程图,本实施例可适用于联合板卡的深度信息与纹理信息检测是否存在异物的情况,该方法可以由板卡的异物检测装置来执行,该板卡的异物检测装置可以采用硬件和/或软件的形式实现,该板卡的异物检测装置可配置于自动光学检测设备中。如图1所示,该方法包括:
步骤101、对目标板卡分别采集目标深度图像数据与目标纹理图像数据。
在生产线的SMT(Surface Mounted Technology,表面贴装技术)工艺上,会在PCBA、FPC(Flexible Printed Circuit,柔性印刷电路板)等板卡的底板上,通过再流焊、浸焊等方法使用焊锡焊接各种元件,如电阻、电容、电感、芯片等。
在生产线的某个环节,可以将板卡放置在AOI设备中,等待检测是否存在异物,此时,可将该板卡记为目标板卡。
如图2所示,针对同一目标板卡,可以调用AOI设备中不同类型的摄像头等对目标板卡分别采集多种感知数据,在多种感知数据中提取深度上的信息,形成目标深度图像数据(Depth map)(即图2中位于左侧的区域),以及,在多种感知数据中提取纹理上的信息,形成目标纹理图像数据(Texture map)(即图2中位于右侧的区域)。
对于目标板卡而言,目标深度图像数据与目标纹理图像数据均属于掩膜Mask。
其中,目标深度图像数据是指将摄像头等采集到的、与板卡中各点的距离(深度)值作为像素值的图像数据,目标深度图像数据反映了目标板卡可视化的表面上、各个物体(如底板、元件、异物等)在三维空间上的几何特征。
目标纹理图像数据是记录板卡表面纹理(Texture)的图像数据,纹理表达了由像素点的颜色和亮度的规律性变化,其是由一组重复出现的纹理单元所构成的,这些纹理单元可以是线条、点、形状等,它们的出现可以是规则的、随机的或半规则的。目标纹理图像数据反应了板卡可视化的表面上、各个物体(如底板、元件、异物等)在二维空间上的几何特征。
步骤102、在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象。
在本实施例中,可以使用深度学习、板卡的结构分析等方式在目标深度图像数据中执行语义分割,将目标深度图像数据分割为多个独立的、且语义为元件或底板的三维对象object_3D,记为目标深度对象。
其中,在目标板卡中,底板又称板底,属于未焊接元件时的结构,将元件与底板比较而言,元件通常属于前景、底板通常属于背景。
由于异物既可能出现在元件中,也可能出现在底板(即背景)中,因此,可以同时在目标深度图像数据中分割出语义为元件、底板的目标深度对象。
如果目标板卡上存在异物,则异物可能被分割为语义为元件的目标深度对象,也可能被分割为语义为底板的目标深度对象。
在深度学习中,可以预先构建语义分割网络,例如,U-Net(U型网络)、FCN(FullyConvolutional Network,全卷积神经网络)、3D CNN(三维卷积神经网络),等等,使用已标注标签(即背景、元件)的、板卡的深度图像数据为样本对语义分割模型进行训练,在训练完成时,将目标深度图像数据输入语义分割网络中进行处理,语义分割网络输出语义为元件或底板的目标深度对象。
进一步而言,语义分割网络的结构不局限于人工设计的神经网络,也可以通过模型量化方法优化的神经网络,通过NAS(Neural Architecture Search,神经网络结构搜索)方法针对板卡的特性搜索的神经网络,等等,本实施例对此不加以限制。
在板卡的结构分析中,可以使用基于法向量聚类等方式在深度图像数据中拟合出表示底板的像素点,作为基准面,该基准面即为语义为底板的目标深度对象,在此基础上,分割出位于基准面之上的各个独立的像素点的集合,得到语义为元件的目标深度对象。
在本实施例中,对于目标深度对象,可以统计其在三维空间的多个属性信息,记为目标属性信息,例如,尺寸、面积(如底面积、横截面积等)、高度、体积,等等。
步骤103、在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象。
在本实施例中,可以使用深度学习、板卡的结构分析等方式在目标纹理图像数据中执行语义分割,将目标纹理图像数据分割为多个独立的、且语义为元件或底板的二维对象object_2D,记为目标纹理对象。
由于异物既可能出现在元件中,也可能出现在底板(即背景)中,因此,可以同时在目标纹理图像数据中分割出语义为元件、底板的目标纹理对象。
如果目标板卡上存在异物,则异物可能被分割为语义为元件的目标纹理对象,也可能被分割为语义为底板的目标纹理对象。
在一种语义分割的方式中,可以对目标纹理图像数据执行边缘检测,在目标纹理图像数据中确定边缘,记为目标边缘。
其中,边缘检测是检测灰度级或者结构具有突变的地方,表明一个区域的终结,也是另一个区域开始的地方。边缘检测主要是运用一阶和二阶导数的不连续性进行检测,包括但不限于如下方式:
(1)、梯度算子
梯度算子可以检测出所有方向的图像边缘,选择合适的方向可增强边缘检测的效果。
(2)、Sobel(索贝尔)边缘检测
对输入的图像数据与3×3的卷积核(即Soble算子)在水平和垂直四个方向进行卷积运算,得到四个值。结合这四个值估计边缘强度和方向。
(3)、Canny(坎尼)边缘检测
Canny边缘检测是一个多阶段的检测过程,对图像数据进行高斯滤波、以对图像数据去噪,由图像数据的灰度图求出纵横2个梯度图以及综合的梯度图,结合3个梯度图来进行非极大抑制和进行边缘连接,对边缘进行细化。
若得到目标纹理图像数据的目标边缘,则可以使用区域生长(Region Growth)算法沿目标边缘执行区域生长操作,得到语义为元件或底板的目标纹理对象。
其中,区域生长可以指根据预先定义的生长规则将像素点或者小区域不断组合为更大区域的过程。从种子点的集合开始,从这些点的区域增长是通过将与每个种子点有相似属性像强度、灰度级、纹理颜色等的相邻像素合并到此区域。
区域生长是一个选代的过程,每个种子像素点都迭代生长,直到处理过每个像素点,因此,可形成不同的区域,这些区域的边界通过闭合的多边形定义。
具体而言,选择区域内某一像素点作为生长的种子,然后判断其相邻像素点是否满足相似性准则,如果是,将其合并到当前区域,给该像素添加区域标记,对于新合并的区域,重复上述步骤,不断重复,区域将在各个方向上不断增长,直至没有相邻像素点满足相似性性准则为止,或者是满足停止准则为止。
在整合边缘检测与区域增长时,对目标纹理图像数据检测边缘,利用边缘已定义边缘区域,在该边缘区域中选择某一个像素点作为生长的种子。在该边缘区域中,围绕着该种子进行迭代生长,最后进行区域尺寸比较,非常小的区域被删除,以基本消除噪声的影响。按这种方法分割目标纹理图像数据时,可以分割成边缘区域和单一特性的均匀区域。
在本实施例中,对于目标纹理对象,可以统计其在二维空间的多个属性信息,记为目标属性信息,例如,尺寸、面积、轮廓点数量、主方向、灰度直方图,等等。
步骤104、将目标深度对象与目标纹理对象对齐,得到目标融合对象。
在实际应用中,目标深度对象的语义与目标纹理对象的语义是一致的,两者均表示目标板卡的元件、底板。
目标深度图像数据包含的三维信息与目标纹理图像数据包含的二维信息存在差异,对目标深度图像数据执行语义分割的方式与对目标纹理图像数据执行语义分割的方式存在差异。
在少数情况中,对目标深度图像数据语义分割得到的目标深度对象与对目标纹理图像数据语义分割得到的目标纹理对象可保持一致。
在多数情况中,对目标深度图像数据语义分割得到的目标深度对象与对目标纹理图像数据语义分割得到的目标纹理对象存在差异。
在此情况中,由于纹理信息更加丰富,可以分割出更多的对象,因此,对目标纹理图像数据语义分割得到的目标纹理对象的数量往往多于对目标深度图像数据语义分割得到的目标深度对象的数量。
当然,对目标纹理图像数据语义分割得到的目标纹理对象的数量也有可能少于对目标深度图像数据语义分割得到的目标深度对象的数量,本实施例对此不加以限制。
在本实施例中,可以在语义的维度上,将目标深度对象与目标纹理对象对齐,得到目标融合对象。
目标深度对象与目标纹理对象是对相同的对象(即目标板卡上的元件、底板)在不同维度下的描述,所谓对齐,可以指寻找描述同一个对象的目标深度对象与目标纹理对象,那么,目标融合对象包括描述同一个对象的目标深度对象与目标纹理对象。
在目标纹理对象的数量多于目标深度对象的数量等情况下,目标融合对象为目标纹理对象,缺失目标深度对象;在目标纹理对象的数量少于目标深度对象的数量等情况下,目标融合对象为目标深度对象,缺失目标纹理对象。
在本发明的一个实施例中,步骤104可以包括如下步骤:
步骤1041、将目标深度对象投影到二维平面上,得到目标深度轮廓。
在本实施例中,可以将目标深度对象中各个像素点去除距离的信息,保留二维平面上的坐标(x,y),从而将其投影到二维平面上,得到其轮廓,记为目标深度轮廓。
步骤1042、将目标纹理对象与目标深度轮廓进行匹配。
在二维空间上,可以依次将各个目标纹理对象与各个目标深度轮廓进行匹配,即,依次将各个目标纹理对象与各个目标深度轮廓进行比较,判断目标纹理对象与目标深度轮廓是否描述同一个对象。
在一种匹配方式中,可以在目标深度轮廓的范围内确定某一个点为目标点。
示例性地,目标点包括目标深度轮廓的最小外接矩形的中心点、目标深度轮廓的重心,等等。
对于各个目标深度轮廓,均可以以目标点为基准(即目标点的坐标在放大处理前后保持不变)、对目标深度轮廓进行放大处理,使得目标深度轮廓等比例外扩,得到目标外轮廓。
其中,放大处理的程度较低,即,目标外轮廓与目标深度轮廓之间的比例(即放大系数)大于1、且趋向于1,如1.05、1.10等,避免对位置相邻的其他目标深度轮廓造成干扰。
判断目标外轮廓与各个目标纹理对象之间的包含关系。
若包含关系为目标外轮廓的范围内包含某个目标纹理对象,则可以确定目标纹理对象与目标深度轮廓匹配成功。
进一步而言,目标外轮廓与目标纹理对象之间的包含关系为面与面之间的包含关系,本实施例中,可以依据AOI检测目标板卡上的异物的业务需求设置包含关系,例如,目标外轮廓包含目标纹理对象可以指目标纹理对象完全位于目标外轮廓内,也可以指目标纹理对象位于目标外轮廓内的区域占据目标纹理对象的比例超过预设的比例阈值,等等,本实施例对此不加以限制。
一般情况下,目标板卡上会分布排列许多尺寸、形状等方面相同或相似的元件,如焊盘等,如果直接使用尺寸、形状等信息进行匹配,会使得同一个目标纹理对象与多个目标深度对象匹配成功。
在本匹配方式中,以目标点为基准,将目标深度轮廓放大为目标外轮廓,保持目标外轮廓与目标深度轮廓的位置基本一致,目标外轮廓稍大于目标深度轮廓,由于位置不同但尺寸、形状等方面相同或相似的其他元件的位置不同,而目标外轮廓限定了位置,因此可以排除位置不同但尺寸、形状等方面相同或相似的其他元件的干扰,提高匹配的精确度,而且,可以弥补语义分割、投影等处理造成的信息丢失,提高匹配的容错率,提高匹配的成功率。
步骤1043、若目标纹理对象与目标深度轮廓匹配成功,则将目标深度对象与目标纹理对象绑定为目标融合对象。
如果某个目标纹理对象与某个目标深度轮廓匹配成功,表示该目标纹理对象与该目标深度轮廓属于同一对象的描述,则可以将该目标深度对象与该目标纹理对象绑定为目标融合对象,即,建立该目标深度对象与该目标纹理对象之间的绑定关系,以目标融合对象统一表示该目标深度对象与该目标纹理对象。
在将目标深度对象与目标纹理对象绑定为目标融合对象时,可以一同将目标深度对象的目标属性信息与目标纹理对象的目标属性信息绑定为目标融合对象的目标属性信息。
步骤1044、若目标纹理对象与任一目标深度轮廓均匹配失败,则将目标纹理对象设置为目标融合对象。
在对目标纹理图像数据语义分割得到的目标纹理对象的数量多于对目标深度图像数据语义分割得到的目标深度对象的数量的情况下,存在某个目标纹理对象与任一目标深度轮廓均匹配失败的情况,此时,可以将该目标纹理对象单独设置为目标融合对象。
在将目标纹理对象单独设置为目标融合对象时,可以一同将目标纹理对象的目标属性信息单独设置为目标融合对象的目标属性信息。
此外,在对目标纹理图像数据语义分割得到的目标纹理对象的数量少于对目标深度图像数据语义分割得到的目标深度对象的数量的情况下,存在某个目标深度轮廓与任一目标纹理对象均匹配失败的情况,此时,可以将目标深度对象单独设置为目标融合对象。
在将目标深度对象单独设置为目标融合对象时,可以一同将目标深度对象的目标属性信息单独设置为目标融合对象的目标属性信息。
步骤105、将目标融合对象与模板融合对象进行匹配。
AOI设备是基于光学原理来对PCBA等板卡在生产过程中遇到的缺陷进行检测的设备,其配置有标准检测的流程,在检测前,AOI设备对标准板卡采集图像数据,并制作相应的检测程式,以该图像数据作为检验标准。在检测时,待测的板卡流入AOI设备,AOI设备对待测的板卡采集图像数据,并调用检测程式与标准板卡的图像数据进行对比,进而检测待测的板卡是否存在缺陷,从而判断待测的板卡是否合格。
在本实施例中,可以应用该标准检测的流程,检测目标板卡是否存在异物。
在实际应用中,同一板卡类型(又称板卡型号)的板卡,底板相同、元件分布相同,预先针对不同板卡类型的板卡,筛选出一个或多个正常的板卡作为模板板卡。
所谓正常,可以指生产线上生产的、检验合格的板卡,板卡上并不存在异物。
针对各个板卡类型的模板板卡,可构建模板融合对象,其中,对模板板卡构建模板融合对象的方式与对目标板卡构建目标融合对象的方式一致,使得目标融合对象的格式与模板融合对象的格式保持一致,从而使得目标融合对象与模板融合对象可以直接进行匹配。
在本实施例中,可以在AOI设备中对不同板卡类型配置多个模板融合对象,对于当前目标板卡,可在AOI设备中查询该目标板卡所属的板卡类型,并查询对该板卡类型配置的多个模板融合对象,从而将当前目标板卡的各个目标融合对象与相应的各个模板融合对象进行匹配,即,依次当前目标板卡的各个目标融合对象与相应的各个模板融合对象进行进行比较,判断当前目标板卡的目标融合对象与模板融合对象是否描述同一个对象。
在本发明的一个实施例中,步骤105可以包括如下步骤:
步骤1051、分别查询目标融合对象在目标深度对象和/或目标纹理对象中的目标属性信息。
如果目标融合对象为绑定的目标深度对象与目标纹理对象,则可以同时查询目标深度对象的目标属性信息与目标纹理对象的目标属性信息,将目标深度对象的目标属性信息与目标纹理对象的目标属性信息融合为目标融合对象的目标属性信息。
如果目标融合对象为单独的目标纹理对象,则可以同时查询目标纹理对象的目标属性信息,作为目标融合对象的目标属性信息。
如果目标融合对象为单独的目标深度对象,则可以同时查询目标深度对象的目标属性信息,作为目标融合对象的目标属性信息。
步骤1052、分别查询模板融合对象在模板深度对象和/或模板纹理对象中的模板属性信息。
如图3所示,在构建模板融合对象的过程中,会对模板板卡分别构建模板深度对象(Depth map)(即图3中位于左侧的区域)与模板纹理对象(Texture map)(即图3中位于右侧的区域),并将模板深度对象与模板纹理对象对齐,得到模板融合对象,即,模板深度对象与模板纹理对象对齐时得到模板融合对象。
进一步而言,对模板板卡构建模板深度对象的方式与对目标板卡构建目标深度对象的方式一致,使得模板深度对象的格式与目标深度对象的格式保持一致,并且,对模板深度对象统计模板属性信息的类型与对目标深度对象同目标属性信息的类型一致。
对模板板卡构建模板纹理对象的方式与对目标板卡构建目标纹理对象的方式一致,使得模板纹理对象的格式与目标纹理对象的格式保持一致,并且,对模板纹理对象统计模板属性信息的类型与对目标纹理对象同目标属性信息的类型一致。
此外,将模板深度对象与模板纹理对象对齐得到模板融合对象的方式,与,将目标深度对象与目标纹理对象对齐得到目标融合对象的方式一致。
对于模板深度对象,在构建模板深度对象时,可以统计其在三维空间的多个属性信息,记为模板属性信息,并将模板属性信息记录在AOI设备中,例如,尺寸、面积(如底面积、横截面积等)、高度、体积,等等。
对于模板纹理对象,在构建模板纹理对象时,可以统计其在二维空间的多个属性信息,记为模板属性信息,并将模板属性信息记录在AOI设备中,例如,尺寸、面积、轮廓点数量、主方向、灰度直方图,等等。
如果模板融合对象为绑定的模板深度对象与模板纹理对象,则可以同时查询模板深度对象的模板属性信息与模板纹理对象的模板属性信息,将模板深度对象的模板属性信息与模板纹理对象的模板属性信息融合为模板融合对象的模板属性信息。
如果模板融合对象为单独的模板纹理对象,则可以同时查询模板纹理对象的模板属性信息,作为模板融合对象的模板属性信息。
如果模板融合对象为单独的模板深度对象,则可以同时查询模板深度对象的模板属性信息,作为模板融合对象的模板属性信息。
步骤1053、依据目标属性信息与模板属性信息计算目标融合对象与各个模板融合对象之间的总相似度。
针对目标融合对象与各个模板融合对象,可以将目标融合对象本身与模板融合对象本身进行比较,得到对象比较结果,也可以将相同属性类型下的目标融合对象本身的目标属性信息与模板融合对象的模板属性信息进行比较,得到属性比较结果,综合考虑对象比较结果与各项属性比较结果,从而评估目标融合对象与各个模板融合对象之间在整体上的总相似度。
在一种计算总相似度的方式中,一方面,可以计算目标融合对象与模板融合对象之间的重叠程度。
进一步而言,若目标融合对象为绑定的目标深度对象与目标纹理对象,考虑到目标深度对象的三维信息比目标纹理对象的二维信息更加丰富,则可以以目标深度对象为主,可以计算目标深度对象与模板深度对象之间的交并比(Intersection over Union,IoU),作为重叠程度,以提高交并比的精确度。
若目标融合对象单独包含目标纹理对象、缺失目标深度对象,则可以计算目标纹理对象与模板纹理对象之间的交并比,作为重叠程度。
若目标融合对象单独包含目标深度对象、缺失目标纹理对象,则可以计算目标深度对象与模板深度对象之间的交并比,作为重叠程度。
其中,该交并比可以为原始的IoU,也可以为IoU的改进系列,例如,GIoU(Generalized IoU,广义交并比)、DIoU(Distance IoU,距离交并比)、CIoU(Complete IoU,完整交并比),等等
在本方式中,针对目标融合对象与模板融合对象的特性,交并比可优选为CIoU。
一般情况下,目标板卡上会分布排列许多尺寸、形状等方面相同或相似的元件,如焊盘等,在本方式中,计算目标融合对象与模板融合对象之间的交并比,在目标融合对象与模板融合对象之间的位置基本重叠时,交并比较大,在目标融合对象与模板融合对象之间的位置存在较大偏差时,交并比较小,可以排除位置不同但尺寸、形状等方面相同或相似的其他元件的干扰,提高总相似度的精确度。
另一方面,按照对属性类型设置的相似度规则计算同一属性类型的目标属性信息与模板属性信息之间的子相似度。
对于不同属性类型,计算子相似度的相似度规则有所不同,例如,对于尺寸、面积、高度等属性类型,可以将尺寸、面积、高度等属性类型之间的比值设置子相似度,对于主方向等属性类型,可以将主方向等属性类型之间的余弦夹角设置为子相似度,对于灰度直方图等属性类型,可以将灰度直方图等属性类型之间的归一化相关系数(如巴氏距离、相交距离等)设置为子相似度,等等,本实施例对此不加以限制。
将所有子相似度线性融合为候选相似度,即,候选相似度与各个子相似度线性正相关,各个子相似度线性越大,则候选相似度越大,反之,各个子相似度线性越小,则候选相似度越小。
进一步而言,若目标融合对象为绑定的目标深度对象与目标纹理对象,此时,子相似度包括目标深度对象与模板深度对象之间的子相似度,以及,目标纹理对象与模板纹理对象之间的子相似度,则分别查询为目标深度对象与目标纹理对象的属性类型配置的第一权重。
遍历各个属性类型,针对同一属性类型,计算子相似度与第一权重之间的乘积,作为第一调权相似度,计算所有第一调权相似度之间的和值,作为候选相似度。
若目标融合对象单独包含目标纹理对象、缺失目标深度对象,此时,子相似度包括目标纹理对象与模板纹理对象之间的子相似度,则查询为目标纹理对象的属性类型配置的第二权重。
遍历各个属性类型,针对同一属性类型,计算子相似度与第二权重之间的乘积,作为第二调权相似度,计算所有第二调权相似度之间的和值,作为候选相似度。
若目标融合对象单独包含目标深度对象、缺失目标纹理对象,此时,子相似度包括目标深度对象与模板深度对象之间的子相似度,则查询为目标深度对象的属性类型配置的第三权重。
遍历各个属性类型,针对同一属性类型,计算子相似度与第三权重之间的乘积,作为第三调权相似度,计算所有第三调权相似度之间的和值,作为候选相似度。
若已完成计算交并比与候选相似度,则可以将交并比与候选相似度线性融合为目标融合对象与模板融合对象之间的总相似度,即,总相似度与交并比、候选相似度均正相关,交并比越大、候选相似度越大,则总相似度越大,反之,交并比越小、候选相似度越小,则总相似度越小。
进一步而言,由于候选相似度为各个子相似度线性融合得到,在线性融合时,可以调节各项目标属性信息的权重(即第一权重、第二权重与第三权重),因此,在对交并比与候选相似度线性融合时,可以查询对交并比配置的权重,在交并比与其权重之间的乘积的基础上添加候选相似度,得到总相似度。
那么,总相似度可以表示为:
其中,Weight_scoresimilar为总相似度,IoU为重叠程度(尤其为交并比),α为交并比的权重,pi为第i项子相似度,βi为第i项子相似度的权重,k为子相似度及其权重的数量。
在本实施例中,考虑目标融合对象本身与模板融合对象本身之间交并比,以及,目标融合对象的各项目标属性信息与模板融合对象的各项模板属性信息之间的候选相似度,生成总相似度,提高了计算总相似度的信息丰富度,可以综合评价出目标融合对象与模板融合对象之间在整体上的相似程度,提高了总相似度的精确度。
步骤1054、依据总相似度确定目标融合对象与模板融合对象匹配成功或失败。
在本实施例中,总相似度反映了目标融合对象与模板融合对象之间在整体上的相似程度,因此,可以以总相似度作为评判标准,判定目标融合对象与模板融合对象匹配成功或失败。
在具体实现中,一个目标融合对象可以依次与多个模板融合对象进行匹配,那么,一个目标融合对象可以得到多个总相似度。
在所有的总相似度中,筛选出数值最大的总相似度,作为参考相似度,并将参考相似度与预设的相似阈值进行比较。
若参考相似度大于预设的相似阈值,则确定目标融合对象与参考相似度对应的模板融合对象匹配成功。
若参考相似度小于预设的相似阈值,则确定目标融合对象与任一模板融合对象均匹配失败。
步骤106、若目标融合对象与任一模板融合对象均匹配失败,则确定目标融合对象属于目标板卡上的异物。
如果某个目标融合对象与任一模板融合对象均匹配失败,表示该目标融合对象与任一正常的元件、底板均不相同,可以确认该目标融合对象属于目标板卡上的异物。
受语义分割的影响,目标融合对象除了包含目标板卡上的异物之外,还可能包含正常的元件、底板。
进一步地,目标融合对象有可能属于异物,也有可能属于噪声,此时,可以进一步依赖其他信息检测目标融合对象是否属于目标板卡上的异物,从而提高检测异物的精确度。
在一种检测方式中,在板卡上、对板卡的质量产生较为明显影响的异物较大,因此,可以以面积作为检测异物的标准,统计面积的方式简单,运算量小,且准确性高。
那么,在本检测方式中,可以对目标融合对象统计面积,该面积可以以像素点的数量等形式表示。
进一步而言,若目标融合对象为绑定的目标深度对象与目标纹理对象,则可以查询目标深度对象投影到二维平面上的目标深度轮廓,统计目标深度轮廓的面积,作为目标融合对象的面积。
若目标融合对象为单独的目标纹理对象、缺失目标深度对象,则可以统计目标纹理对象的面积,作为目标融合对象的面积。
若目标融合对象为单独的目标深度对象、缺失目标纹理对象,则可以查询目标深度对象投影到二维平面上的目标深度轮廓,统计目标深度轮廓的面积,作为目标融合对象的面积。
将目标融合对象的面积与预设的对象阈值进行比较。
若目标融合对象的面积大于或等于预设的对象阈值,表示目标融合对象属于异物的概率较高,则可以确定目标融合对象属于目标板卡上的异物。
若目标融合对象的面积小于预设的对象阈值,表示目标融合对象属于噪声的概率较高,则确定目标融合对象并非目标板卡上的异物。
在本实施例中,对目标板卡分别采集目标深度图像数据与目标纹理图像数据,目标板卡所属的板卡类型配置有模板融合对象;在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;将目标深度对象与目标纹理对象对齐,得到目标融合对象;将目标融合对象与模板融合对象进行匹配;若目标融合对象与任一模板融合对象均匹配失败,则确定目标融合对象属于目标板卡上的异物。目标板卡上元件、背景的语义较为明确,可以分割出准确的目标深度对象、目标纹理对象,目标深度对象属于目标板卡在三维空间上的深度信息、目标纹理对象属于目标板卡在二维空间上的纹理信息,结合目标深度对象与目标纹理对象检测异物,相比于整个目标板卡,减小了检测的对象,且丰富了特征的信息量,从而将检测的注意力集中到较小的对象上,减少其他信息的影响,而且,利用模板融合对象进行匹配,运算简单,可有效检测出目标板卡上的异物,提高检测异物的精确度,降低误报率。
相比于抽色法,深度信息与纹理信息适应颜色、形状、光线变化等影响,稳定性好、通用性强,可以保证检测异物的精确度。
相比于深度学习,模板融合对象是匹配的正样本,并不依赖于异物的样本,通过匹配、排除的方式检测出目标板卡上的异物,可以保证检测异物的精确度。
实施例二
图4为本发明实施例二提供的一种板卡的异物检测方法的流程图,本实施例在前述实施例的基础上增加生成检测报告的操作。如图4所示,该方法包括:
步骤401、对目标板卡分别采集目标深度图像数据与目标纹理图像数据。
其中,目标板卡所属的板卡类型配置有模板融合对象。
步骤402、在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象。
步骤403、在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象。
步骤404、将目标深度对象与目标纹理对象对齐,得到目标融合对象。
步骤405、将目标融合对象与模板融合对象进行匹配。
步骤406、若目标融合对象与任一模板融合对象均匹配失败,则确定目标融合对象属于目标板卡上的异物。
步骤407、依据属于异物的目标融合对象确定目标板卡的状态。
在本实施例中,可以预先按照生产目标板卡的标准设置检测规则,该检测规则以属于异物的目标融合对象作为板卡的状态判断的条件之一,可用于判断板卡是否符合生产标准。
对于目标板卡,可以筛选出属于异物的目标融合对象,按照该检测规则识别目标板卡的状态。
在一个检测规则的示例中,可以统计目标板卡上属于异物的目标融合对象的数量。
具体而言,在目标板卡上,遍历各个目标融合对象,检测目标融合对象是否属于目标板卡上的异物,每检测到一个属于异物的目标融合对象,则可以对属于异物的目标融合对象的数量累加1,在遍历完所有目标融合对象时,输出属于异物的目标融合对象的数量。
将目标板卡上属于异物的目标融合对象的数量与预设的异常阈值进行比较,其中,该异常阈值属于变量,其与检测异物的灵敏度相关,为保证目标板卡的质量,异常阈值可以设置为0。
当然,在某些情况下,该异常阈值可以为正数,本实施例对此不加以限制。
在一种情况中,若目标板卡上属于异物的目标融合对象的数量Foreign_matter_num小于或等于预设的异常阈值(如Foreign_matter_num=0),则确定目标板卡的状态为正常(OK),符合生产的标准。
在另一种情况中,若目标板卡上属于异物的目标融合对象的数量Foreign_matter_num大于预设的异常阈值(如Foreign_matter_num>0),则确定目标板卡的状态为异常(NG),并不符合生产的标准。
当然,上述检测规则只是作为示例,在实施本实施例时,可以根据实际情况设置其它检测规则,例如,结合属于异物的目标融合对象在目标板卡上所处的位置、属于异物的目标融合对象产生影响的元件的类型等信息确定目标板卡的状态,等等,本实施例对此不加以限制。另外,除了上述检测规则外,本领域技术人员还可以根据实际需要采用其它检测规则,本实施例对此也不加以限制。
步骤408、在目标深度图像数据和/或目标纹理图像数据中标记属于异物的目标融合对象,得到异物图像数据。
在本实施例中,在目标深度图像数据、目标纹理图像数据至少一者中,可以以检测框、颜色等方式标记属于异物的目标融合对象,得到异物图像数据,对属于异物的目标融合对象进行提示,以便用户可以快速定位属于异物的目标融合对象。
某个目标融合对象属于异物,该目标融合对象包含的目标深度对象和/或目标纹理对象均属于异物。
那么,在目标深度图像数据中,可以标记属于异物的目标深度对象,和/或,在目标纹理图像数据中,可以标记属于异物的目标纹理对象,得到异物图像数据。
例如,如图5所示,左侧为模板深度图像数据,右侧为目标深度图像数据,在右侧的深度图像数据中,以矩形的检测框标记出属于异物的目标深度对象。
步骤409、依据状态与异物图像数据对目标板卡生成检测报告。
在本实施例中,可以将状态(含属于异物的目标融合对象的数量Foreign_matter_num)与异物图像数据写入目标板卡的检测报告中,AOI设备显示该检测报告,快速了解目标板卡的状态及定位属于异物的目标融合对象,从而按照不良品处理规范等要求,对目标板卡进行返工、销毁等处理。
实施例三
图6为本发明实施例三提供的一种板卡的异物检测方法的流程图,本实施例在前述实施例的基础上增加构建模板融合对象的操作。如图6所示,该方法包括:
步骤601、对模板板卡分别采集模板深度图像数据与模板纹理图像数据。
目标板卡的板卡类型与模板板卡的板卡类型相同。
步骤602、在模板深度图像数据中执行语义分割,得到语义为元件或底板的模板深度对象。
步骤603、在模板纹理图像数据中执行语义分割,得到语义为元件或底板的模板纹理对象。
在具体实现中,在模板纹理图像数据中检测模板边缘;沿模板边缘执行区域生长操作,得到语义为元件或底板的模板纹理对象。
步骤604、将模板深度对象与模板纹理对象对齐,得到模板融合对象。
在具体实现中,将模板深度对象投影到二维平面上,得到模板深度轮廓。
将模板纹理对象与模板深度轮廓进行匹配。
若模板纹理对象与模板深度轮廓匹配成功,则将模板深度对象与模板纹理对象绑定为模板融合对象。
若模板纹理对象与任一模板深度轮廓均匹配失败,则将模板纹理对象设置为模板融合对象。
进一步地,将模板纹理对象与模板深度轮廓进行匹配的过程中,在模板深度轮廓的范围内确定模板点,示例性地,模板点包括模板深度轮廓的最小外接矩形的中心点。
以模板点为基准、对模板深度轮廓进行放大处理,得到模板外轮廓。
若模板外轮廓的范围内包含模板纹理对象,则确定模板纹理对象与模板深度轮廓匹配成功。
在本实施例中,由于构建模板融合对象的方法与实施例一种构建目标融合对象的方法基本相似,所以描述的比较简单,相关之处参见实施例一的部分说明即可,本实施例在此不加以详述。
步骤605、对目标板卡分别采集目标深度图像数据与目标纹理图像数据。
其中,目标板卡所属的板卡类型配置有模板融合对象。
步骤606、在目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象。
步骤607、在目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象。
步骤608、将目标深度对象与目标纹理对象对齐,得到目标融合对象。
步骤609、将目标融合对象与模板融合对象进行匹配。
步骤610、若目标融合对象与任一模板融合对象均匹配失败,则确定目标融合对象属于目标板卡上的异物。
实施例四
图7为本发明实施例四提供的一种板卡的异物检测装置的结构示意图。如图7所示,该装置包括:
目标图像数据采集模块701,用于对目标板卡分别采集目标深度图像数据与目标纹理图像数据,所述目标板卡所属的板卡类型配置有模板融合对象;
目标深度对象分割模块702,用于在所述目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;
目标纹理对象分割模块703,用于在所述目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;
目标对象对齐模块704,用于将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象;
融合对象匹配模块705,用于将所述目标融合对象与所述模板融合对象进行匹配;
异物确定模块706,用于若所述目标融合对象与任一所述模板融合对象均匹配失败,则确定所述目标融合对象属于所述目标板卡上的异物。
在本发明的一个实施例中,所述目标纹理对象分割模块703包括:
目标边缘检测模块,用于在所述目标纹理图像数据中检测目标边缘;
目标生成操作执行模块,用于沿所述目标边缘执行区域生长操作,得到语义为元件或底板的目标纹理对象。
在本发明的一个实施例中,所述目标对象对齐模块704包括:
目标深度对象投影模块,用于将所述目标深度对象投影到二维平面上,得到目标深度轮廓;
目标深度轮廓匹配模块,用于将所述目标纹理对象与所述目标深度轮廓进行匹配;
目标融合对象绑定模块,用于若所述目标纹理对象与所述目标深度轮廓匹配成功,则将所述目标深度对象与所述目标纹理对象绑定为目标融合对象;
目标融合对象设置模块,用于若所述目标纹理对象与任一所述目标深度轮廓均匹配失败,则将所述目标纹理对象设置为目标融合对象。
在本发明的一个实施例中,所述目标深度轮廓匹配模块包括:
目标点确定模块,用于在所述目标深度轮廓的范围内确定目标点,所述目标点包括所述目标深度轮廓的最小外接矩形的中心点;
目标外轮廓生成模块,用于以所述目标点为基准、对所述目标深度轮廓进行放大处理,得到目标外轮廓;
目标包含关系确定模块,用于若所述目标外轮廓的范围内包含所述目标纹理对象,则确定所述目标纹理对象与所述目标深度轮廓匹配成功。
在本发明的一个实施例中,所述融合对象匹配模块705包括:
目标属性信息查询模块,用于分别查询所述目标融合对象在所述目标深度对象和/或所述目标纹理对象中的目标属性信息;
模板属性信息查询模块,用于分别查询所述模板融合对象在模板深度对象和/或模板纹理对象中的模板属性信息,所述模板深度对象与所述模板纹理对象对齐时得到所述模板融合对象;
总相似度计算模块,与依据所述目标属性信息与所述模板属性信息计算所述目标融合对象与各个所述模板融合对象之间的总相似度;
匹配结果确定模块,用于依据所述总相似度确定所述目标融合对象与所述模板融合对象匹配成功或失败。
在本发明的一个实施例中,所述总相似度计算模块包括:
重叠程度计算模块,用于计算所述目标融合对象与所述模板融合对象之间的重叠程度;
子相似度计算模块,用于计算同一属性类型的所述目标属性信息与所述模板属性信息之间的子相似度;
候选相似度融合模块,用于将所有所述子相似度线性融合为候选相似度;
总相似度融合模块,用于将所述重叠程度与所述候选相似度线性融合为所述目标融合对象与所述模板融合对象之间的总相似度。
在本发明的一个实施例中,所述重叠程度计算模块还用于:
若所述目标融合对象为所述目标深度对象与所述目标纹理对象,则计算所述目标深度对象与所述模板深度对象之间的交并比,作为重叠程度;
若所述目标融合对象为所述目标纹理对象,则计算所述目标纹理对象与所述模板纹理对象之间的交并比,作为重叠程度。
在本发明的一个实施例中,所述候选相似度融合模块还用于:
若所述目标融合对象为所述目标深度对象与所述目标纹理对象,则分别查询为所述目标深度对象与所述目标纹理对象的所述属性类型配置的第一权重;
针对同一所述属性类型,计算所述子相似度与所述第一权重之间的乘积,作为第一调权相似度;
计算所有所述第一调权相似度之间的和值,作为候选相似度;
若所述目标融合对象为所述目标纹理对象,则分别查询为所述目标纹理的所述属性类型配置的第二权重;
针对同一所述属性类型,计算所述子相似度与所述第二权重之间的乘积,作为第二调权相似度;
计算所有所述第二调权相似度之间的和值,作为候选相似度。
在本发明的一个实施例中,所述匹配结果确定模块包括:
参考相似度筛选模块,用于筛选出数值最大的所述总相似度,作为参考相似度;
匹配成功确定模块,用于若所述参考相似度大于预设的相似阈值,则确定所述目标融合对象与所述参考相似度对应的所述模板融合对象匹配成功;
匹配失败确定模块,用于若所述参考相似度小于预设的相似阈值,则确定所述目标融合对象与任一所述模板融合对象均匹配失败。
在本发明的一个实施例中,所述异物确定模块706包括:
面积统计模块,用于对所述目标融合对象统计面积;
面积确定模块,用于若所述面积大于或等于预设的对象阈值,则确定所述目标融合对象属于所述目标板卡上的异物;
面积排除模块,用于若所述面积小于预设的对象阈值,则确定所述目标融合对象并非所述目标板卡上的异物。
在本发明的一个实施例中,所述面积统计模块包括:
目标深度轮廓查询模块,用于若所述目标融合对象为所述目标深度对象与所述目标纹理对象,则查询所述目标深度对象投影到二维平面上的目标深度轮廓;
第一统计模块,用于统计所述目标深度轮廓的面积,作为所述目标融合对象的面积;
第二统计模块,用于若所述目标融合对象为所述目标纹理对象,则统计所述目标纹理对象的面积,作为所述目标融合对象的面积。
在本发明的一个实施例中,还包括:
模板图像数据采集模块,用于对模板板卡分别采集模板深度图像数据与模板纹理图像数据,所述目标板卡的板卡类型与所述模板板卡的板卡类型相同;
模板深度对象分割模块,用于在所述模板深度图像数据中执行语义分割,得到语义为元件或底板的模板深度对象;
模板纹理对象分割模块,用于在所述模板纹理图像数据中执行语义分割,得到语义为元件或底板的模板纹理对象;
模板对象对齐模块,用于将所述模板深度对象与所述模板纹理对象对齐,得到模板融合对象。
在本发明的一个实施例中,所述模板纹理对象分割模块包括:
模板边缘检测模块,用于在所述模板纹理图像数据中检测模板边缘;
模板生成操作执行模块,用于沿所述模板边缘执行区域生长操作,得到语义为元件或底板的模板纹理对象。
在本发明的一个实施例中,所述模板对象对齐模块包括:
模板深度对象投影模块,用于将所述模板深度对象投影到二维平面上,得到模板深度轮廓;
模板深度轮廓匹配模块,用于将所述模板纹理对象与所述模板深度轮廓进行匹配;
模板融合对象绑定模块,用于若所述模板纹理对象与所述模板深度轮廓匹配成功,则将所述模板深度对象与所述模板纹理对象绑定为模板融合对象;
模板融合对象设置模块,用于若所述模板纹理对象与任一所述模板深度轮廓均匹配失败,则将所述模板纹理对象设置为模板融合对象。
在本发明的一个实施例中,所述模板深度轮廓匹配模块包括:
模板点确定模块,用于在所述模板深度轮廓的范围内确定模板点,所述模板点包括所述模板深度轮廓的最小外接矩形的中心点;
模板外轮廓生成模块,用于以所述模板点为基准、对所述模板深度轮廓进行放大处理,得到模板外轮廓;
模板包含关系确定模块,用于若所述模板外轮廓的范围内包含所述模板纹理对象,则确定所述模板纹理对象与所述模板深度轮廓匹配成功。
在本发明的一个实施例中,还包括:
状态确定模块,用于依据属于所述异物的所述目标融合对象确定所述目标板卡的状态;
异物图像数据生成模块,用于在所述目标深度图像数据和/或所述目标纹理图像数据中标记属于所述异物的所述目标融合对象,得到异物图像数据;
检测报告生成模块,用于依据所述状态与所述异物图像数据对所述目标板卡生成检测报告。
在本发明的一个实施例中,所述状态确定模块包括:
数量统计模块,用于统计属于所述异物的所述目标融合对象的数量;
正常确定模块,用于若所述数量小于或等于预设的异常阈值,则确定所述目标板卡的状态为正常;
异常确定模块,用于若所述数量大于预设的异常阈值,则确定所述目标板卡的状态为异常。
本发明实施例所提供的板卡的异物检测装置可执行本发明任意实施例所提供的板卡的异物检测方法,具备执行板卡的异物检测方法相应的功能模块和有益效果。
实施例五
图8示出了可以用来实施本发明的实施例的自动光学检测设备10的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示,自动光学检测设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储自动光学检测设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
自动光学检测设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许自动光学检测设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,如板卡的异物检测方法。
在一些实施例中,板卡的异物检测方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到自动光学检测设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的板卡的异物检测方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行板卡的异物检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在自动光学检测设备上实施此处描述的系统和技术,该自动光学检测设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给自动光学检测设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
实施例六
本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时实现如本发明任一实施例所提供的板卡的异物检测方法。
计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种板卡的异物检测方法,其特征在于,包括:
对目标板卡分别采集目标深度图像数据与目标纹理图像数据,所述目标板卡所属的板卡类型配置有模板融合对象;
在所述目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;
在所述目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;
将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象;
将所述目标融合对象与所述模板融合对象进行匹配;
若所述目标融合对象与任一所述模板融合对象均匹配失败,则确定所述目标融合对象属于所述目标板卡上的异物。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象,包括:
将所述目标深度对象投影到二维平面上,得到目标深度轮廓;
将所述目标纹理对象与所述目标深度轮廓进行匹配;
若所述目标纹理对象与所述目标深度轮廓匹配成功,则将所述目标深度对象与所述目标纹理对象绑定为目标融合对象;
若所述目标纹理对象与任一所述目标深度轮廓均匹配失败,则将所述目标纹理对象设置为目标融合对象。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标融合对象与所述模板融合对象进行匹配,包括:
分别查询所述目标融合对象在所述目标深度对象和/或所述目标纹理对象中的目标属性信息;
分别查询所述模板融合对象在模板深度对象和/或模板纹理对象中的模板属性信息,所述模板深度对象与所述模板纹理对象对齐时得到所述模板融合对象;
依据所述目标属性信息与所述模板属性信息计算所述目标融合对象与各个所述模板融合对象之间的总相似度;
依据所述总相似度确定所述目标融合对象与所述模板融合对象匹配成功或失败。
4.根据权利要求3所述的方法,其特征在于,所述依据所述目标属性信息与所述模板属性信息计算所述目标融合对象与各个所述模板融合对象之间的总相似度,包括:
计算所述目标融合对象与所述模板融合对象之间的重叠程度;
计算同一属性类型的所述目标属性信息与所述模板属性信息之间的子相似度;
将所有所述子相似度线性融合为候选相似度;
将所述重叠程度与所述候选相似度线性融合为所述目标融合对象与所述模板融合对象之间的总相似度。
5.根据权利要求4所述的方法,其特征在于,
所述计算所述目标融合对象与所述模板融合对象之间的重叠程度,包括:
若所述目标融合对象为所述目标深度对象与所述目标纹理对象,则计算所述目标深度对象与所述模板深度对象之间的交并比,作为重叠程度;
若所述目标融合对象为所述目标纹理对象,则计算所述目标纹理对象与所述模板纹理对象之间的交并比,作为重叠程度;
所述将所有所述子相似度线性融合为候选相似度,包括:
若所述目标融合对象为所述目标深度对象与所述目标纹理对象,则分别查询为所述目标深度对象与所述目标纹理对象的所述属性类型配置的第一权重;
针对同一所述属性类型,计算所述子相似度与所述第一权重之间的乘积,作为第一调权相似度;
计算所有所述第一调权相似度之间的和值,作为候选相似度;
若所述目标融合对象为所述目标纹理对象,则分别查询为所述目标纹理的所述属性类型配置的第二权重;
针对同一所述属性类型,计算所述子相似度与所述第二权重之间的乘积,作为第二调权相似度;
计算所有所述第二调权相似度之间的和值,作为候选相似度。
6.根据权利要求1-5中任一项所述的方法,其特征在于,还包括:
对模板板卡分别采集模板深度图像数据与模板纹理图像数据,所述目标板卡的板卡类型与所述模板板卡的板卡类型相同;
在所述模板深度图像数据中执行语义分割,得到语义为元件或底板的模板深度对象;
在所述模板纹理图像数据中执行语义分割,得到语义为元件或底板的模板纹理对象;
将所述模板深度对象与所述模板纹理对象对齐,得到模板融合对象。
7.根据权利要求1-5中任一项所述的方法,其特征在于,还包括:
依据属于所述异物的所述目标融合对象确定所述目标板卡的状态;
在所述目标深度图像数据和/或所述目标纹理图像数据中标记属于所述异物的所述目标融合对象,得到异物图像数据;
依据所述状态与所述异物图像数据对所述目标板卡生成检测报告。
8.一种板卡的异物检测装置,其特征在于,包括:
目标图像数据采集模块,用于对目标板卡分别采集目标深度图像数据与目标纹理图像数据,所述目标板卡所属的板卡类型配置有模板融合对象;
目标深度对象分割模块,用于在所述目标深度图像数据中执行语义分割,得到语义为元件或底板的目标深度对象;
目标纹理对象分割模块,用于在所述目标纹理图像数据中执行语义分割,得到语义为元件或底板的目标纹理对象;
目标对象对齐模块,用于将所述目标深度对象与所述目标纹理对象对齐,得到目标融合对象;
融合对象匹配模块,用于将所述目标融合对象与所述模板融合对象进行匹配;
异物确定模块,用于若所述目标融合对象与任一所述模板融合对象均匹配失败,则确定所述目标融合对象属于所述目标板卡上的异物。
9.一种自动光学检测设备,其特征在于,所述自动光学检测设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的板卡的异物检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时实现权利要求1-7中任一项所述的板卡的异物检测方法。
CN202311275206.0A 2023-09-28 2023-09-28 一种板卡的异物检测方法、装置、设备及存储介质 Pending CN117291892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311275206.0A CN117291892A (zh) 2023-09-28 2023-09-28 一种板卡的异物检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311275206.0A CN117291892A (zh) 2023-09-28 2023-09-28 一种板卡的异物检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117291892A true CN117291892A (zh) 2023-12-26

Family

ID=89253187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311275206.0A Pending CN117291892A (zh) 2023-09-28 2023-09-28 一种板卡的异物检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117291892A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154689A (zh) * 2024-05-13 2024-06-07 武汉华工赛百数据系统有限公司 零件位置获取方法、装置、计算机设备、存储介质和产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154689A (zh) * 2024-05-13 2024-06-07 武汉华工赛百数据系统有限公司 零件位置获取方法、装置、计算机设备、存储介质和产品

Similar Documents

Publication Publication Date Title
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN105510348A (zh) 一种印制电路板的缺陷检测方法、装置及检测设备
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
KR100868884B1 (ko) 유리 기판 유리 불량 정보 시스템 및 분류 방법
CN117291892A (zh) 一种板卡的异物检测方法、装置、设备及存储介质
CN113538375A (zh) 一种基于YOLOv5的PCB缺陷检测方法
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN105354816B (zh) 一种电子元件定位方法及装置
CN116777877A (zh) 电路板缺陷检测方法、装置、计算机设备及存储介质
CN116559177A (zh) 一种缺陷检测方法、装置、设备以及存储介质
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN114240924A (zh) 一种基于数字化技术的电网设备质量评估方法
CN108982544B (zh) 一种印制电路板瑕疵部件检测方法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN105427276A (zh) 一种基于图像局部边缘特征的摄像头检测方法
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN117274361A (zh) 一种物料表面积测量方法、装置、电子设备以及介质
CN115063578B (zh) 芯片图像中目标对象检测与定位方法、装置及存储介质
CN114627113B (zh) 一种印制电路板缺陷检测方法及系统及装置及介质
CN113378847B (zh) 字符分割方法、系统、计算机设备和存储介质
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN115294419A (zh) 缺陷样本生成方法、装置、自动光学检测仪及存储介质
CN112837285A (zh) 一种板面图像的边缘检测方法及装置
CN117291891A (zh) 一种焊锡的缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination