CN117635607A - 一种用于电路板焊接质量的识别方法 - Google Patents

Abstract

本发明公开了一种用于电路板焊接质量的识别方法，获取焊点俯视图及侧向视图；通过焊点侧向视图获取焊点侧视图；对焊点俯视图及侧视图进行预处理，预处理包括图像增强、图像二值化、形态学处理、图像区域提取、图像轮廓提取；对预处理后的俯视图进行焊点缺陷识别；对预处理后的侧视图进行焊点缺陷识别。通过摄像机坐标系下的坐标获取点在摄像机成像的平面坐标，并结合已知摄像机角度及焦距，获取焊点的侧视图，通过侧视图极大的提高了焊点侧视图的图像识别准确率；通过建立焊点轮廓计算的面积与焊点像素点扫描的面积的函数关系，结合统计的面积偏差确定偏差的阈值，从而更好的进行破洞识别。

Description

一种用于电路板焊接质量的识别方法

技术领域

本发明属于电路板焊接质量识别技术领域，具体涉及一种用于电路板焊接质量的识别方法。

背景技术

随着科学技术的不断发展，PCB电路板的出现让电子行业更新换代，电路板焊接的方式也在不断的更新，从手工焊接到自动焊接等技术的出现，满足了各种电路板生产工艺的要求。自动焊接主要是焊接一些手工焊接精度达不到或者效率达不到的产品，采用自动焊接机器人进行焊接是未来的一个必然选择，不仅提高了工作效率和焊接质量，而且还为企业节省了大量成本。

为了保证焊接产品的质量，往往对焊点进行识别，保证自动焊接焊接后的焊点质量，较为常用的是焊点图像识别，虽然不能进行焊点内部识别，但是其识别效率高，且能保持优秀的准确率，使得焊点图像识别应用较广；但是现有的图像识别还具有以下不足：

受相机的拍摄角度限制很难获取准确的焊点侧视图，导致后续侧视图识别准确度较差；

在焊点同时出现破铜和桥接时，会存在识别不准确的问题。

发明内容

本发明的目的在于提供一种用于电路板焊接质量的识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种用于电路板焊接质量的识别方法，包括如下步骤

1）获取焊点俯视图及侧向视图；

2）通过焊点侧向视图获取焊点侧视图；

3）对焊点俯视图及侧视图进行预处理，预处理包括图像增强、图像二值化、形态学处理、图像区域提取、图像轮廓提取；

4）对预处理后的俯视图进行焊点缺陷识别；

5）对预处理后的侧视图进行焊点缺陷识别。

优选的，所述步骤2）的具体方法为：

取侧向视图不少于三个点坐标，至少为侧向视图中轮廓线底部左右两端及中间的坐标，侧向摄像机设置四个，便获取不少于十二个点坐标，侧向视图中轮廓线底部中间的坐标为焊点侧视图底部边缘点，用于判断焊点底部位置；侧向视图中轮廓线底部左右两端的坐标对应侧视图中母线上点坐标，用于判断焊点边缘形状，点坐标计算可引用无畸变的相机模型，通过点在摄像机坐标系下的坐标计算点在理想摄像机模型下摄像机成像的平面坐标（，/>），如下

其中，f为摄像机有效焦距，、/>、/>为摄像机坐标系下的点坐标；

由于相机角度已知，两个视图的三点坐标关系固定，因此可从已知角度摄像机拍摄的侧向视图得到焊点侧视图；

优选的，将焊点侧视图像与已知角度摄像机拍摄的侧向视图进行图像处理获取轮廓线，并将两种轮廓线对应，建立对应关系函数，并存储在侧视图提取数据库中，通过输入已知角度摄像机拍摄的侧向视图，可直接获得焊点侧视图。

优选的，所述步骤3）中图像增强采用线性灰度变换法；

将摄像机拍摄的原图像的灰度值根据映射关系g(x,y)=T(f)变换成新的灰度值g(x,y)，变换如下，

其中，L表示输入图像灰度值范围，A、B为其中两点的灰度值，A、B均为[0，L]，f表示任一点输入图像灰度值，α、β、γ表示灰度变换斜率，T表示输入图像与输出图像的映射关系。

优选的，所述步骤3）中图像二值化采用阈值处理方法；通过阈值处理将焊点图像从背景中区分。

优选的，还设置焊点定位装置，通过焊点定位装置提前标定焊点位置，二值化处理之后采用图像识别二值化后的焊点图像与焊点定位装置标定焊点位置做对比，确定所有二值化的焊点图像均正确，避免出现多出或缺少焊点的情况。

优选的，所述步骤4）中俯视图焊点缺陷识别中包括桥接识别，具体方法如下：

通过焊点定位装置确定的焊点数量与图像识别的焊点轮廓图像数量对比，并计算焊点轮廓图像的面积，判断每个焊点轮廓图像的面积与标准焊点轮廓面积的差值，当差值为一个标准焊点轮廓面积，则判定桥接。

优选的，所述步骤4）中俯视图焊点缺陷识别中包括破洞识别，具体方法如下：

通过焊点轮廓线计算焊点面积S1，通过扫描像素点计算面积S2，并计算轮廓上的像素点面积S3，将计算轮廓上的像素点面积S3除以2，并设置误差阈值Z，因此更新公式S2=S1+S3/2，得S2=S1+S3/2-Z，当S2小于S1+S3/2-Z时则判定焊点破洞。

优选的，当同时存在破洞和桥接时，在破洞识别检测出破洞后，将通过焊点轮廓计算焊点面积与标准焊点轮廓面积进行比较，当差值与一个标准焊点轮廓面积相同，则判定桥接。

优选的，所述步骤1）中侧视图进行焊点缺陷识别的具体步骤为：

建立焊点侧视图种类数据库，将焊点侧视图轮廓图像与焊点侧视图种类数据库进行对比，从而识别出焊点的侧视图的种类。

本发明的技术效果和优点：1、通过摄像机坐标系下的坐标获取点在摄像机成像的平面坐标，并结合已知摄像机角度及焦距，获取焊点的侧视图，通过侧视图极大的提高了焊点侧视图的图像识别准确率；

通过建立焊点轮廓计算的面积与焊点像素点扫描的面积的函数关系，结合统计的面积偏差确定偏差的阈值，从而更好的进行破洞识别；

在出现桥接误判后采用轮廓面积再次识别，解决了桥接和破洞同时存在时桥接判定不准确的问题；

使用激光定位器辅助桥接识别，在激光定位器确定的焊点数量与图像识别的焊点轮廓图像数量不对等时，判断每个焊点轮廓图像的面积与标准焊点轮廓面积的差值，当对等时则无需判断差值，可提高识别效率；

各角度摄像机位置可调，避免了焊点被遮挡导致无法识别的问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了如图1所示的一种用于电路板焊接质量的识别方法，具体包括以下步骤：

步骤一、通过摄像机获取焊点图像，摄像机为五个，分别置于电路板前后左右及上侧，且每个方向的摄像机安装在多轴控制器上，通过多轴控制器进行摄像机位置的调整；

摄像机获取电路板上的焊点图像，以上侧摄像机拍摄的俯视图为主，前后左右四个方向的视图为辅，组成焊点图像组，俯视图用于判断俯视方向下的焊点情况；由于侧方的摄像机拍摄角度与电路板存在15-30°夹角，侧方的摄像机不能拍出侧视图，在后续进行焊接质量判断容易出现问题，因此采用图像补偿方法补偿侧向摄像机的拍摄图片，使侧向摄像机拍摄照片更加趋近侧视图视角，提高后续焊点焊接质量的判断准确率；

步骤二、对拍摄的俯视图片进行预处理，预处理包括图像增强、图像二值化、形态学处理、图像区域提取、图像轮廓提取，通过预处理从而得到焊点图像，

具体的，图像增强采用线性灰度变换法，可以增强对比度，使图像特征更强清晰，具体步骤为：

将摄像机拍摄的原图像的灰度值根据映射关系g(x,y)=T(f)变换成新的灰度值g(x,y)，变换如下，

其中，L表示输入图像灰度值范围，A、B为其中两点的灰度值，A、B均为[0，L]，f表示任一点输入图像灰度值，α、β、γ表示灰度变换斜率，T表示输入图像与输出图像的映射关系；

通过线性灰度变换增强了图片对比度，增加了灰度的动态范围。

图像增强后使用阈值处理进行图像二值化，将焊点图像从背景中区分出来，为增加焊点图像的区分的准确性，设置激光定位器，通过激光定位器标定焊点位置，二值化处理之后采用图像识别二值化后的焊点图像与激光标定焊点位置做对比，确定所有二值化的焊点图像均正确，避免出现多出或缺少焊点的情况；由于摄像机安装在多轴控制器上，当出现焊点数量不正确的情况时，多轴控制器控制摄像机进行位置微调，避免焊点被电路板上元器件遮挡的情况现；

二值化处理之后进行形态学处理，具体通过膨胀、腐蚀算法获得准确的区域轮廓图像；

通过光栅扫描法扫描区域轮廓图像，按照从左至右、从上至下的方式逐步扫描轮廓图像，确定焊点图像的边界，从而获得焊点图像的区域图像，然后通过边缘提取算子对区域图像进行处理，获得焊点俯视轮廓图像。

步骤三、焊点缺陷识别，包括缺焊识别、桥接识别、破洞识别，缺焊识别通过相关函数实现，将获取的焊点轮廓图像与标准焊点图像进行比对，通过相关函数计算相关系数，当相关系数为零时贼判断为缺焊；

桥接识别，通过激光定位器确定的焊点数量与图像识别的焊点轮廓图像数量对比，并计算焊点轮廓图像的面积，当激光定位器确定的焊点数量与图像识别的焊点轮廓图像数量不对等，则判断每个焊点轮廓图像的面积与标准焊点轮廓面积的差值，当差值与一个标准焊点轮廓面积相同，则判定桥接，通过激光定位器对比可识别具体的桥接焊点位置。

破洞识别，通过焊点轮廓计算焊点面积S1，通过扫描像素点计算面积S2，并计算轮廓上的像素点面积S3，由于焊点轮廓计算焊点面积S1的轮廓边缘像素点存在误差，即轮廓线左右均可能为焊点图像的像素点，计算面积时以轮廓线为准导致与扫描像素点计算面积S2存在天然误差，为减少误差，将计算轮廓上的像素点面积S3除以2，即S2=S1+S3/2为理想状态，然而轮廓线上的像素点数量不可控，轮廓边缘的像素点越多，S1、S2和S3的关系越接近理想状态，通过统计计算得廓边缘的像素点数量m的偏差不超过5个单位面积，20≤m≤30，因此更新公式S2=S1+S3/2，得S2=S1+S3/2-5，当S2小于S1+S3/2-5时则判定焊点破洞，即通过扫描像素点计算面积的S2相较于轮廓线外侧比平均值少5个单位的面积还小则判定为破洞。

桥接误判处理，当焊点桥接和破洞同时存在时，会出现桥接识别误判的情况，即由于存在破洞，每个焊点轮廓图像的面积与标准焊点轮廓面积接近，无差值，使得系统判定焊点非桥接的情况，因此在破洞识别检测出破洞后，将通过焊点轮廓计算焊点面积S1与标准焊点轮廓面积进行比较，当差值接近一个标准焊点轮廓面积，则判定桥接。

步骤一中具体的图像补偿方法如下，

将焊点侧视图像与已知角度摄像机拍摄的侧向视图进行图像处理获取轮廓线，并将两种轮廓线对应，建立对应关系函数，并存储在侧视图提取数据库中，具体的取侧向视图三点坐标，分别为侧向视图中轮廓线底部左右两端及中间的坐标，由于侧向摄像机设置四个，便获取十二个点坐标，侧向视图中轮廓线底部中间的坐标为焊点侧视图底部边缘点，二者相同，用于判断焊点底部位置；侧向视图中轮廓线底部左右两端的坐标对应侧视图中母线上点坐标，用于判断焊点边缘形状，具体的点坐标可引用无畸变的相机模型，通过点在摄像机坐标系下的坐标计算点在理想摄像机模型下摄像机成像的平面坐标（，/>），具体如下

其中，f为摄像机有效焦距，、/>、/>为摄像机坐标系下的点坐标；

由于相机角度已知，两个视图的三点坐标关系固定，因此可从已知角度摄像机拍摄的侧向视图得到焊点侧视图；

步骤四、将获取的侧视图进行图像处理，具体参考俯视图片的图像处理，从而获取焊点侧视图轮廓图像，建立焊点侧视图种类数据库，将焊点侧视图轮廓图像与焊点侧视图种类数据库进行对比，可通过深度学习进行对比识别，从而识别出焊点的侧视图的种类，主要用于识别焊球的情况。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于电路板焊接质量的识别方法，其特征在于，包括如下步骤

1）获取焊点俯视图及侧向视图；

2）通过焊点侧向视图获取焊点侧视图；

3）对焊点俯视图及侧视图进行预处理；

4）对预处理后的俯视图进行焊点缺陷识别；

5）对预处理后的侧视图进行焊点缺陷识别。

2.根据权利要求1所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤2）的具体方法为：

取侧向视图不少于三个点坐标，至少为侧向视图中轮廓线底部左右两端及中间的坐标，侧向摄像机设置四个，便获取不少于十二个点坐标，侧向视图中轮廓线底部中间的坐标为焊点侧视图底部边缘点，用于判断焊点底部位置；侧向视图中轮廓线底部左右两端的坐标对应侧视图中母线上点坐标，用于判断焊点边缘形状，点坐标计算可引用无畸变的相机模型，通过点在摄像机坐标系下的坐标计算点在理想摄像机模型下摄像机成像的平面坐标（，/>），如下

；

；

其中，f为摄像机有效焦距，、/>、/>为摄像机坐标系下的点坐标；

由于相机角度已知，两个视图的三点坐标关系固定，因此可从已知角度摄像机拍摄的侧向视图得到焊点侧视图。

3.根据权利要求2所述的一种用于电路板焊接质量的识别方法，其特征在于：将焊点侧视图像与已知角度摄像机拍摄的侧向视图进行图像处理获取轮廓线，并将两种轮廓线对应，建立对应关系函数，并存储在侧视图提取数据库中，通过输入已知角度摄像机拍摄的侧向视图，可直接获得焊点侧视图。

4.根据权利要求1所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤3）中预处理包括图像增强，具体采用线性灰度变换法；

将摄像机拍摄的原图像的灰度值根据映射关系g(x,y)=T(f)变换成新的灰度值g(x,y)，变换如下，

；

其中，L表示输入图像灰度值范围，A、B为其中两点的灰度值，A、B均为[0，L]，f表示任一点输入图像灰度值，α、β、γ表示灰度变换斜率，T表示输入图像与输出图像的映射关系。

5.根据权利要求1所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤3）中预处理包括图像二值化，具体采用阈值处理方法；通过阈值处理将焊点图像从背景中区分。

6.根据权利要求5所述的一种用于电路板焊接质量的识别方法，其特征在于：还设置焊点定位装置，通过焊点定位装置提前标定焊点位置，二值化处理之后采用图像识别二值化后的焊点图像与焊点定位装置标定焊点位置做对比，确定所有二值化的焊点图像均正确，避免出现多出或缺少焊点的情况。

7.根据权利要求6所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤4）中俯视图焊点缺陷识别中包括桥接识别，具体方法如下：

通过焊点定位装置确定的焊点数量与图像识别的焊点轮廓图像数量对比，并计算焊点轮廓图像的面积，判断每个焊点轮廓图像的面积与标准焊点轮廓面积的差值，当差值为一个标准焊点轮廓面积，则判定桥接。

8.根据权利要求7所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤4）中俯视图焊点缺陷识别中包括破洞识别，具体方法如下：

通过焊点轮廓线计算焊点面积S1，通过扫描像素点计算面积S2，并计算轮廓上的像素点面积S3，将计算轮廓上的像素点面积S3除以2，并设置误差阈值Z，因此更新公式S2=S1+S3/2，得S2=S1+S3/2-Z，当S2小于S1+S3/2-Z时则判定焊点破洞。

9.根据权利要求8所述的一种用于电路板焊接质量的识别方法，其特征在于：当同时存在破洞和桥接时，在破洞识别检测出破洞后，将通过焊点轮廓计算焊点面积与标准焊点轮廓面积进行比较，当差值与一个标准焊点轮廓面积相同，则判定桥接。

10.根据权利要求1所述的一种用于电路板焊接质量的识别方法，其特征在于：所述步骤1）中侧视图进行焊点缺陷识别的具体步骤为：

建立焊点侧视图种类数据库，将焊点侧视图轮廓图像与焊点侧视图种类数据库进行对比，从而识别出焊点的侧视图的种类。