CN114187253A - 一种电路板零件安装检测方法 - Google Patents

Abstract

本说明书实施例公开了一种电路板零件安装检测方法，包括：(1)组建用于电路板产线上的图像识别系统，包括操作台、计算机系统、摄像头及支架；(2)用纯色矩形框将标准图片中待比对区域框选出来，通过寻找识别矩形框的方式，获取并记录比对区域坐标；(3)通过ORB算法提取两张图片的特征点，选取匹配度高的特征点计算单应性矩阵，利用单应性矩阵将目标图片透视变换，形成目标图片与标准图片位置对应；(4)根据目标图片和标准图片对应区域中各个对应点之间的汉明距离计算两个区域之间的相似度。本发明解决人工方法准确率得不到保障，神经网络的方法在数据集、计算需求大等方面的缺陷。

Description

一种电路板零件安装检测方法

技术领域

本申请涉及电路板零件安装技术领域，尤其涉及一种电路板零件安装检测方法。

背景技术

电路板在工业生产线上铸造的过程中，由于生产工艺或人为原因等问题会导致部分电路板零件有错装或者漏装。零件的错装和漏装会直接影响到成品合格率，因此对零件的错装、漏装检测是现代化大生产中必不可少的环节。错装、漏装的传统检测通常由人工完成，人工进行工件漏装、错装检测容易受到注意力以及外界环境等因素的影响速度上。进行检测时很容易出现误检和漏检。因此，非接触无损的工件缺陷检测对现代工业生产具有重要的意义。

现有的非接触无损工件缺陷检测，主要是包括以下几种方式：

(1)红外检测、漏磁检测和涡流检测；这些检测方法存在检测速度慢、容易产生能源浪费等问题。

(2)基于机器视觉的表面的错装、漏装检测；由于工件种类的多样性，设计一个鲁棒性好、通用性强的缺陷检测算法是一个非常具有挑战性的问题，通常不易实现。

(3)基于卷积神经网络的错装、漏装检测；一方面对于尺寸较小、分辨率较低的图像识别准确度不高的缺点，另一方面针对新零件需要有较大的前期数据集的创建和模型训练工作。

根据多型号小批量产线上的同一型号产量较少的实际情况，不适宜使用需要大量数据进行训练的基于卷积神经网络的深度学习方法，使用红外检测、漏磁检测和涡流检测存在检测速度慢、产生能源浪费等问题。由此根据电路板整体具有一致性，仅存在部分安装零件位置在安装零件工序前后存在差异，依此设计具有鲁棒性好、通用性强的缺陷检测算法。

发明内容

有鉴于此，本申请实施例提供了一种电路板零件安装检测方法，以解决人工方法准确率得不到保障，神经网络的方法在数据集、计算需求大等方面的缺陷，能够以较低的设备性能要求，简单的操作，应对不同的电路类型板，电路板角度旋转，以及零件尺寸偏小，分辨率低等问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种电路板零件安装检测方法，所述方法包括：

标注电路板零件的标准图像的比对区域，所述比对区域中包含标准图像中的零件安装位置；

将所述标准图像和电路板零件的目标图像对齐，确定所述目标图像的比对位置；

按照确定的比对区域，计算所述目标图像与所述标准图像的相似度；

根据所述相似度与阈值判定所述电路板零件是否有安装错误。

可选的，采用固定在操作台上方的摄像机获取电路板零件的目标图像，其中，所述摄像头角度向下正对着操作台，并通过数据线连接计算机系统。

可选的，所述标注标准图像的比对区域，具体包括：

用固定颜色在计算机系统中选定标准图像并标注出待比对区域；

识别并记录所述比对区域的坐标。

可选的，所述识别并记录所述比对区域的坐标，具体包括：

按照选定颜色设置标准图像中符合的像素，并将其二值化，找出包含像素点的外接矩形，计算矩形围成图形的面积，去除围成面积小于设定阈值的矩形排除干扰，确定矩形的坐标，以矩形框的左上点和右下点的横纵坐标表示对比区域。

可选的，所述将所述标准图像和电路板零件的目标图像对齐，具体包括：

对所述目标图像和所述标准图像进行图像灰度化；

使用ORB方法提取所述目标图像和所述标准图像的特征点；

计算排序各特征点之间的匹配程度，保留前10％匹配程度最好的特征点；

基于匹配度好的特征点实现所述目标图像的透视变换。

可选的，利用所述单应性矩阵实现所述目标图像的透视变换，具体包括：

基于匹配度好的特征点确定所述目标图像与所述标准图像的单应性矩阵；

所述目标图像与所述单应性矩阵相乘得到变换之后的目标透视图像，所述目标透视图像上零件的位置与所述标准图像上零件的位置相对应。

可选的，计算特征点之间的汉明距离来确定特征点的匹配度。

可选的，所述按照确定的比对区域，所述计算所述目标图像与所述标准图像的相似度，具体包括：

按照确定的比对区域，利用模板匹配方式采用归一化相关系数计算目标图像和标准图像之间的相似度。

可选的，根据所述相似度与阈值判定所述电路板零件是否有安装错误，具体包括：

当所述相似度大于阈值时，所述电路板零件不存在漏装或错装；

当所述相似度小于阈值时，所述电路板零件存在漏装或者错装。

可选的，所述阈值为0.9。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明具有不需要数据集的创建以及模型训练的过程，适用于不断有新种类零件产生的产线，还具有识别速度快的优点，也能应对电路板旋转、偏移、尺寸小等问题，具有鲁棒性强的优点。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种电路板零件安装检测方法的流程示意图；

图2为本说明书实施例提供的检测设备的结构简图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例提供的一种电路板零件安装检测方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。

如图1所示，该流程可以包括以下步骤：

步骤102：标注电路板零件的标准图像的比对区域，所述比对区域中包含标准图像中的零件安装位置；

步骤104：将所述标准图像和电路板零件的目标图像对齐，确定所述目标图像的比对位置；

步骤106：按照确定的比对区域，计算所述目标图像与所述标准图像的相似度；

步骤108：根据所述相似度与阈值判定所述电路板零件是否有安装错误。

步骤102为人工标注步骤：标注出比对位置，记录比对区域的坐标，具体可以包括以下步骤：

步骤1021，用单色矩形框恰好将标准图片中零件安装位置完全包含，即通过寻找识别矩形框的方式，获取并记录比对区域坐标。

步骤1022，在标准模板图片中框画出零件安装的位置，根据框线颜色确定标准模板中框线的轮廓，确定轮廓的外接矩形，用矩形的左上点坐标和右下点坐标表示对比区域；

其中，步骤104为目标区域对齐步骤：通过将目标图片和标准图片对应起来，找到目标图片中应当比对的位置。可以包括以下步骤：

步骤1041，图像灰度化步骤：将目标彩色图像与标准模板彩色图像转化为黑白图像；

步骤1042，提取特征点步骤：利用ORB方法分别提取目标图像与标准模板图像的特征点；

步骤1043，匹配并筛选特征点步骤：计算特征点之间的汉明距离，保留其中匹配度最好的前10％特征点。

步骤1044，获取目标图像与标准模板图像的单应性矩阵：以保留的匹配特征点找到目标图像与标准模板图像的单应性矩阵。

步骤1045，对目标图像进行透视变换：目标图像与单应性矩阵相乘，得到变换之后的目标图片，该目标图片零件的位置与标准图片零件的位置相对应。

基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。

(1)安装系统步骤：图2为本发明方法实施例系统结构图，如图2所示，操作台上安装L型支架，支架顶部固定摄像头，调整摄像头角度使其能够完整拍摄操作台上的电路板。数据线连接摄像头与计算机系统。

(2)人工标注步骤：

(21)在标准模板图像中使用RGB(255,0,0)颜色利用矩形框恰好将标准图像中零件安装位置完全包含；

(22)在图像中找寻所有颜色范围在RGB(215,0,0)到RGB(255,40,40)之间的颜色，灰度值设置为255，否则灰度值设置为0，表示成为二值化图像；按照周围的，寻找区域的最外层边界；分别找到边界区域的横纵坐标最大值与最小值，确定外接矩形的坐标，去除围成矩形面积小于图像像素0.01％的区域；记录剩下的矩形区域的坐标，作为比对区域的坐标。

(3)目标区域对齐步骤：

(31)图像灰度化步骤：将目标彩色图像与标准模板彩色图像转化为黑白图像：具体实施时，如果彩色图像中一个像素的红、绿、蓝分量分别为R、G、B，则计算Y＝0.30×G+0.59×G+0.11×B，就得到这个像素的灰度值。

(32)提取特征点步骤：利用ORB方法分别提取目标图像与标准模板图像的特征点：具体实施时，使用FAST9来提取FAST关键点，即在中心点的16邻域中，只要有9个像素点同时都比中心像素p小或者大，即认为其是关键点。为了避免关键点扎堆的情况出现，将较差的部分滤掉，保留较好那部分关键点，会使得在使用过程中，增加系统的鲁棒性。FAST中用极大值抑制来筛选出较好的关键点，统计关键点p1的邻域中的像素差总和分数s1，对比相邻关键点之间的差异，即s1和s2，在邻域内只保留分数最大的关键点。

由于FAST关键点不具有尺度不变形，采用图像空间金字塔为FAST构建尺度不变性，在每一个尺度下的图像中提取FAST关键点。

BRIEF描述子主要是通过比较中心像素点p任意邻域内的256对像素之间的差值来生成二进制描述子的。如公式所示，任意一对像素点p(x)和p(y)，若p(x)<p(y)，则描述子对应的位置为1，否则置为0。f_n(p)为生成的p点的BRIEF描述子：

ORB在计算BRIEF描述子时建立的坐标系是以特征点为圆心，以特征点和取点区域的形心的连线为X轴建立2维坐标系。使得无论图像如何旋转，ORB选取点对的坐标系是固定的，即特征点经过旋转也会保持一致性。

(33)以汉明距离为度量匹配特征点步骤：计算特征点描述子之间的汉明距离，保留其中匹配度最好的前10％特征点。汉明距离是两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。即比对256位二进制描述子，统计其中数字不一致的位数作为ORB描述子之间海明距离。

(34)获取目标图像到标准模板图像的单应性矩阵：以保留的匹配特征点求解得到目标图像与标准模板图像的单应性矩阵：

单应矩阵约束了同一3D空间点在两个像素平面的2D齐次坐标，表示为：

由于单应性矩阵自由度为8，使用h₉＝1来进行归一化，具体如下：

(35)对目标图像进行透视变换：目标图像与单应性矩阵相乘，得到变换之后的目标图像，该目标图像零件的位置与标准图像零件的位置相对应。如下公式所示，(u，v)为原始图像像素坐标，

为变换之后的图像像素坐标,H为单应性矩阵。

[x' y' w']＝[u v w]*H

(4)按照目标图像和标准模板图像相对应的位置进行相似度对比：利用标准图像和目标图像相应位置的图像，得到两者相应位置图像的归一化相关系数R(x,y)，以此判断对应位置零件是否有正确的安装。R(x,y)计算方式如下式所示，T表示标准图像对应区域图像，I表示目标图像对应区域图像，切模板图像的宽为w高为h。x,y分别是这块区域里最小的横纵坐标值。x',y'代表对应区域图像里的点相对于x,y的横纵坐标值。

得出的R(x,y)值作为该比对区域的相似度，与相似度阈值0.9比较。如果R(x,y)≥0.9则认为没有错装与漏装，如果R(x,y)<0.9则认为存在错装与漏装。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种电路板零件安装检测方法，其特征在于，所述方法包括：

标注电路板零件的标准图像的比对区域，所述比对区域中包含标准图像中的零件安装位置；

将所述标准图像和电路板零件的目标图像对齐，确定所述目标图像的比对位置；

按照确定的比对区域，计算所述目标图像与所述标准图像的相似度；

根据所述相似度与阈值判定所述电路板零件是否有安装错误。

2.根据权利要求1所述的方法，其特征在于，采用固定在操作台上方的摄像机获取电路板零件的目标图像，其中，所述摄像头角度向下正对着操作台，并通过数据线连接计算机系统。

3.根据权利要求1所述的方法，其特征在于，所述标注标准图像的比对区域，具体包括：

用固定颜色在计算机系统中选定标准图像并标注出待比对区域；

识别并记录所述比对区域的坐标。

4.根据权利要求3所述的方法，其特征在于，所述识别并记录所述比对区域的坐标，具体包括：

按照选定颜色设置标准图像中符合的像素，并将其二值化，找出包含像素点的外接矩形，计算矩形围成图形的面积，去除围成面积小于设定阈值的矩形排除干扰，确定矩形的坐标，以矩形框的左上点和右下点的横纵坐标表示对比区域。

5.根据权利要求1所述的方法，其特征在于，所述将所述标准图像和电路板零件的目标图像对齐，具体包括：

对所述目标图像和所述标准图像进行图像灰度化；

使用ORB方法提取所述目标图像和所述标准图像的特征点；

计算排序各特征点之间的匹配程度，保留前10％匹配程度最好的特征点；

基于匹配度好的特征点实现所述目标图像的透视变换。

6.根据权利要求5所述的方法，其特征在于，利用所述单应性矩阵实现所述目标图像的透视变换，具体包括：

基于匹配度好的特征点确定所述目标图像与所述标准图像的单应性矩阵；

所述目标图像与所述单应性矩阵相乘得到变换之后的目标透视图像，所述目标透视图像上零件的位置与所述标准图像上零件的位置相对应。

7.根据权利要求5所述的方法，其特征在于，计算特征点之间的汉明距离来确定特征点的匹配度。

8.根据权利要求1所述的方法，其特征在于，所述按照确定的比对区域，所述计算所述目标图像与所述标准图像的相似度，具体包括：

按照确定的比对区域，利用模板匹配方式采用归一化相关系数计算目标图像和标准图像之间的相似度。

9.根据权利要求1所述的方法，其特征在于，根据所述相似度与阈值判定所述电路板零件是否有安装错误，具体包括：

当所述相似度大于阈值时，所述电路板零件不存在漏装或错装；

当所述相似度小于阈值时，所述电路板零件存在漏装或者错装。

10.根据权利要求1所述的方法，其特征在于，所述阈值为0.9。

Images