发明内容
为了解决现有激光软焊接自动化生产过程中的自动配准及质量检测技术存在的问题,本发明提供一种激光软钎焊系统焊接过程中自动配准及质量检测方法,以解决在激光软钎焊中如何实现焊点自动搜索、自动焊接的问题,同时将人工智能方案应用于激光软钎焊工艺中,实现焊点质量自动检测,提高效率。
本发明采用如下技术方案实现:一种激光软钎焊系统焊接过程中自动配准及质量检测方法,包括以下步骤:
S1、将第一块焊盘设于标准位置,截取图像采集视窗内焊盘图片中的一块正方形区域作为模板区域,并获取模板的圆投影向量;
S2、当后续焊盘进入图像采集视窗内时,在图像采集视窗内寻找步骤S1的模板区域,将模板区域内的子图作为待匹配图像的子图,计算待匹配图像的子图的圆投影向量,并与步骤S1所获取的模板的圆投影向量进行对比,确定与模板的圆投影向量最相似的子图作为模板区域在该待匹配图像中的位置;
S3、根据模板在后续焊盘的位置计算后续焊盘相对于第一块焊盘的旋转量和平移量,并以此来修正焊点坐标,完成焊盘配准;
S4、焊接完成后,采集焊接后焊点位置图片并进行处理,获得处理后的图片数据;
S5、将处理后的图片数据送入卷积神经网络,获取焊点的质量检测结果。
优选地,步骤S1中,以模板区域的内切圆心为起点,向外扩展圆环,第一个圆环半径为1个像素,相邻圆环半径间隔1个像素,直到圆的半径达到模板内切圆半径,并采用圆投影算法计算各个圆环上像素点的均值,获取模板的圆投影向量。
优选地,步骤S2中,匹配算法过程为:获得后续焊盘的图片作为待匹配图像,从待匹配图像中获得与步骤S1中模板大小相同的待匹配图像的子图及其圆投影向量;将待匹配图像的子图的圆投影向量与步骤S1中模板的圆投影向量进行对比;遍历待匹配图像获得更多待匹配图像的子图及其圆投影向量,将圆投影向量最相似的子图作为匹配成功的子图,子图在待匹配图像中的位置作为模板区域在该待匹配图像中的位置,获得匹配成功的子图内切圆坐标以及模板的内切圆坐标。
与现有技术相比,本发明具有以下有益效果:
(1)对于不同类型、任何旋转角度的焊盘,本发明均可以通过自动配准,获取焊盘的旋转量和平移量,完成激光头对焊点自动准确搜索。
(2)目前的机器视觉在激光焊接中的应用主要在焊缝一类精度较低的焊接中,而本方法可应用于激光软钎焊中精度要求高的较小焊点,比如尺度为0.5mm*1mm的焊点;而且直接利用激光软钎焊机中的图片数据,避免了设计额外系统来获取焊接过程中的数据,降低了实施方案的复杂度与成本。
(3)质量检测的结果可以用于继续优化作为分类器的卷积神经网络的数学模型,提高检测精度。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实施例只用于解释本发明,并非用于限定本发明的保护范围。
激光软钎焊机整个焊接过程主要分为焊盘配准、设定算法控制输入参数、质量检测三部分。本发明主要针对其中的焊盘配准和质量检测提出改进,其原理为:将PCB焊板放入激光软钎焊机,利用黑白相机进行对焦,在第一块焊盘图像中选取一块区域作为模板,在后续焊盘图片中通过模板匹配算法,找到模板在图片的位置,从而修正后续焊盘的平移量和旋转量;焊接完成后,利用位于焊盘上方的相机,采集焊点焊后的图片;将采集的焊后图片送入卷积神经网络,通过卷积神经网络的卷积层、池化层等处理,提取图片特征,并进行分类检测,获取焊点的质量检测结果。
本发明焊盘配准部分主要是通过手动调节第一块焊盘,使其位于标准位置,因而第一块焊盘也称为第一块标准焊盘。后续焊盘由于随意放入,与标准位置都有一些偏移,而焊点数量较多、间隔小,焊点定位的微小误差可能会导致引脚“桥连”等问题,影响焊接质量。因此,需要在后续焊盘上搜索第一块标准焊盘中模板在待匹配焊盘图像中位置,根据坐标差值,计算出后续焊盘相对于标准位置的平移量和旋转量,从而修正焊点定位坐标,主要方法是计算模板图与待匹配子图的圆投影向量,进行相似性比较,确定模板在后续焊盘图像中的位置。
本发明激光软钎焊质量检测部分,主要包括完成焊点焊接、获取焊接后焊点图片、图片数据送入卷积神经网络处理和得到质量检测结果。
在本实施例中,激光软钎焊系统焊接过程中自动配准及质量检测方法,如图1-5所示,包括以下步骤:
S1、将第一块焊盘设于标准位置,截取图像采集视窗内焊盘图片中的一块正方形区域作为模板,并获取模板的圆投影向量。
具体为:将点好锡膏的焊盘放入激光软钎焊机的下方卡槽,并利用摄像头进行定位,使得第一块焊盘位于标准位置,截取摄像头的图像采集视窗内焊盘图片中的一块正方形区域作为模板,记录模板坐标,采用圆投影算法,获取模板的圆投影向量。
本实施例中,圆投影向量以模板区域的内切圆心为起点,向外扩展圆环,第一个圆环半径为1个像素,相邻圆环半径间隔1个像素,直到圆的半径达到内切圆半径,并采用圆投影算法计算各个圆环上像素点的均值,获取模板的圆投影向量。
如图2所示,将每个圆环上平均灰度值采集形成圆投影向量,圆投影向量的数学模型为:
Pr=[Pr(0),Pr(1),Pr(2),Pr(3),.....,Pr(R)] (2)
其中,r表示圆的半径,Sr表示落在半径为r的圆上的像素个数,T(r cos qi,r sinqi)表示在(r cos qi,r sin qi)处的像素值;Pr(r)为半径为r处的圆投影,R为图片内切圆半径。
S2、当后续焊盘进入图像采集视窗内时,在图像采集视窗内寻找步骤S1的模板区域,将模板区域内的子图作为待匹配图像的子图,计算待匹配图像的子图的圆投影向量,并与步骤S1所获取的模板的圆投影向量进行对比,确定与模板的圆投影向量最相似的子图作为模板区域在该待匹配图像中的位置。
具体为:将后续焊盘放入传送带,当后续焊盘进入摄像头视野时,在摄像头的图像采集视窗内寻找步骤S1中的模板区域。如图1所示,匹配算法过程为:
首先,获得后续焊盘的图片作为待匹配图像(也叫待匹配图片),从待匹配图像中获得与步骤S1中模板大小相同的待匹配图像的子图,获取待匹配图像的子图的圆投影向量;然后,将待匹配图像的子图的圆投影向量与S1中模板的圆投影向量进行对比;遍历待匹配图像获得更多待匹配图像的子图及其圆投影向量,将圆投影向量最相似的子图作为匹配成功的子图,子图在待匹配图像中的位置作为模板区域在该待匹配图像中的位置,获得匹配成功的子图内切圆坐标以及模板的内切圆坐标。
本实施例中,模板在初始盘(即第一块焊盘)位置和一个待配准焊盘中的位置如图3所示,其中,(a)图中的PCB板图为第一块焊盘的PCB图像,(a)图正方形区域为选取的模板区域;(b)图中的PCB板图是一个待匹配的PCB图像(左边图像经过旋转平移后的图像),(b)图中正方形区域为匹配算法搜索的模板位置。
S3、根据模板在后续焊盘的位置计算后续焊盘相对于第一块焊盘的旋转量和平移量,并以此来修正焊点坐标,完成焊盘配准。
S4、焊接完成后,采集焊接后焊点位置图片并进行处理,获得处理后的图片数据。
如图4,具体为:将已经点好锡膏的焊盘送入激光软钎焊机下面,调节位置,使得焊盘上方的相机能够获取到整个待焊接焊点的图片,通过控制算法来控制激光的输入功率。待完成焊接操作之后,焊盘上方的相机采集焊接后焊点的图片(也叫焊点焊后的图片),本实施例中,为了减少数据量,采集的图片是分辨率为110*136的黑白图片。相机包括但不限于黑白、彩色相机,图片还可为彩色图片、灰度图片等。为方便后续处理,将相机采集的图片进行尺寸修改处理,修改采集图片的分辨率为60*60,得到处理后的图片。
S5、将处理后的图片数据送入卷积神经网络,获取焊点的质量检测结果。具体处理过程为:
S51、将处理后的图片数据送入卷积神经网络,进行卷积和池化处理,得到特征数据。
本实施例中,为了得到较少数据维数,加入池化层操作,最终获得的特征数据维数为15*15*16。
具体为:通过两个卷积层,如图5所示,卷积操作通过局部连接,只与图片一块区域连接,具体连接区域大小跟卷积核设置有关。本实施例中,设置第一个卷积层的卷积核大小为5*5,8个卷积核,由于卷积层局部连接,权值共享的原则,大大减少了参数数量。本实施例中,参数数量为200,第二个卷积层的卷积核大小为5*5,卷积核数量为16。经过卷积层处理减少了需要的参数数量,卷积数学模型如下:
S(t)=∫x(t-a)w(a)da (3)
s(t)=∑ax(t-a)w(a) (4)
其中,式(3)中S(t)表示微积分中卷积表示式,属于连续形式。在信号x(t)和w(t)中将函数的自变量由t改为a,同时将信号x(a)先翻转得到x(-a),再平移t得到x(t-a);式(4)代表卷积的离散形式;式(5)为卷积神经网络中卷积的操作,其中n_in为输入矩阵的个数,或者是张量最后一维的维数,Xk代表着k个输入矩阵,即实际中焊点焊后的图片数据;Wk代表着卷积核的第k个子卷积核矩阵,s(i,j)即卷积核W对应的输出矩阵的对应位置的元素的值。
卷积神经网络的输入图片经过两个卷积层,每层中的池化层大小为2*2,输入图片大小为60*60,因此经过池化之后为15*15,而第二个卷积层的卷积核数目为16,最终特征维数为15*15*16。
S52、将特征数据通过全连接层进行分类检测,获取焊点的质量检测结果。
具体为:将图片的特征数据与全连接层相连,通过与权重矩阵相乘,然后通过Sigmoid函数进行映射,得到分类结果,即焊点质量检测结果。全连接层数学模型及激活函数如下:
其中,wij是特征权重,Θ是激活函数阈值,f为激活函数,激活函数为Sigmoid函数。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出不同形式的变化或变动,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。