CN117670887B - 一种基于机器视觉的锡焊高度及缺陷检测方法 - Google Patents
一种基于机器视觉的锡焊高度及缺陷检测方法 Download PDFInfo
- Publication number
- CN117670887B CN117670887B CN202410142469.2A CN202410142469A CN117670887B CN 117670887 B CN117670887 B CN 117670887B CN 202410142469 A CN202410142469 A CN 202410142469A CN 117670887 B CN117670887 B CN 117670887B
- Authority
- CN
- China
- Prior art keywords
- pcb
- image
- template
- soldering
- outline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005476 soldering Methods 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 title claims abstract description 42
- 230000007547 defect Effects 0.000 title claims abstract description 28
- 238000003466 welding Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 50
- 229910000679 solder Inorganic materials 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 54
- 238000010586 diagram Methods 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于电子电路检测技术领域,公开了一种基于机器视觉的锡焊高度及缺陷检测方法。高度检测方法包括:根据采集的PCB模板图像,预先建立标准的PCB模板库;获取待测PCB板图像,计算PCB模板库中的PCB模板与待测PCB板图像中每个位置之间的相似度,利用相似度匹配正确的PCB模板;通过直线拟合方法求取待测PCB板图像特征量从而构建变换矩阵,实现待测PCB板图像的校正定位,进而实时获得PCB板上焊点的位置信息以及单个焊点图像,生成锡焊检测区域;利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征。本发明结合了点云处理与图像处理,检测效率高、检测结果精准。
Description
技术领域
本发明属于印刷电子电路板检测技术领域,特别涉及基于机器视觉的锡焊高度及锡焊缺陷检测方法。
背景技术
近年来,电子技术和计算机技术都得到了迅猛的发展,市场对智能手机、笔记本电脑等电子终端产品的需求量越来越大,因此印刷电子电路板(Printed Circuit Board,PCB)的产量也随之增加,其工艺也越来越精良。为了提高生产效率以满足逐年上涨的市场需求,许多公司引进了流水线式的焊接机以替代传统的焊接方法。然而随着PCB表面贴装元器件尺寸逐渐缩小,组件之间的间隔也越来越小,自动焊接机等系统的误差、故障失灵等原因导致焊锡缺陷的问题也越来越严峻,因此对PCB板的生产工艺和检测手段提出了新的要求。尤其是焊接质量与PCB板性能直接相关,而传统的锡焊缺陷检测手段方法因其依赖人工、精度低、耗时久等问题,使焊接质量的检测变得更具挑战性。此外,焊接时产生的有毒气体和烟雾,以及射线辐射等问题对检测人员的健康安全造成了一定的影响和风险,必须采取改进措施以提高生产效率和检测质量。现如今,传统的锡焊检测技术已经无法满足自动化、高速、高精的生产需求,因此需要更完善、更高效的检测方法来提升检测质量和工作效率。
现有技术中有将机器视觉应用到电路板的检测中,然而由于锡球的体积微小、间距小,现有技术难以克服PCB基板的细微弯曲对锡焊高度的测量的影响,导致高度检测不准确,锡焊缺陷易出现漏检、误检的情况。
发明内容
为了解决以上问题,本发明提供一种基于机器视觉的锡焊高度检测方法,检测效率高、检测结果精准。具体技术方案如下。
基于机器视觉的锡焊高度检测方法,包括以下步骤:
S1.根据采集的PCB模板图像,预先建立标准的PCB模板库;
S2.获取待测PCB板图像,使用基于轮廓的模板匹配的方法在PCB模板库中搜索,计算PCB模板与待测PCB板图像中每个位置之间的相似度,利用相似度匹配正确的PCB模板;
S3.通过直线拟合方法求取待测PCB板图像特征量从而构建变换矩阵,实现待测PCB板图像的校正定位,进而实时获得PCB板上焊点的位置信息以及单个焊点图像,生成锡焊检测区域;所述步骤S3具体包括:
通过直线拟合操作在预处理后的图像上利用最小二乘法建立两条拟合直线和其交点作为特征量,其中由交点构建位移变化矩阵,模板图与待测图直线夹角构建旋转变换矩阵,即根据模板图与待测PCB板图像中对应特征量的差值来构建综合变换矩阵;
通过变换矩阵对待测图像进行仿射变换处理从而完成PCB板图像的校正定位,实现待测PCB板图像与PCB模板图像位置信息保持一致;
读取在PCB模板库的模板位置信息与待测PCB板进行匹配,根据匹配的PCB模板的焊点位置在待测图像中设定ROI区域,于ROI区域中提取出待检测PCB板图像中的单个焊锡图像,得到待测PCB板焊点位置,生成锡焊检测区域;
S4.利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征,计算锡焊高度;所述锡焊高度的计算方法具体包括:
在3D点云图像上,于焊点周围随机选取两点得到三维向量a,沿着不同方向另选两点,得到三维向量b,通过三维向量a、b的叉乘运算得到平面法向量c,再由三维向量a、c的叉乘运算得到向量d;
将向量a、c、d进行单位化操作即可构建点云图像的相对坐标系,其中向量a、c构成了点云平面;随后将点云图像进行旋转,使得向量a、c构建的点云平面与点云空间默认的x、y轴构建的平面保持一致,从而使得焊点所处的平面与点云空间默认的xy平面保持一致,则z轴与扫描所得平面垂直,获得的垂直量ΔZ即焊锡高度h。
进一步地,所述步骤S1具体包括:
S11.对采集的PCB模板图像进行滤波、二值化预处理;
S12.对预处理后的PCB模板图像上标识需要识别的PCB板轮廓,获取PCB模板的边缘特征信息,保存PCB模板的边缘像素坐标及其对应的方向向量/>;
S13.在PCB模板图像上绘制锡焊ROI区域,并保存。
进一步地,所述步骤S2具体包括:
S21.对采集的待测PCB板图像进行滤波、二值化预处理;
S22.对预处理后的待测PCB板图像进行边缘提取,获得边缘点坐标集合以及其对应的方向向量/>;
S23.对PCB模板进行仿射变换使PCB模板具备对旋转或缩放目标进行定位的能力;
S24.通过相似度计算来比较待测PCB板与PCB模板之间的匹配程度,选取得分最高的PCB模板与待测PCB板进行匹配。
进一步地,所述步骤S22中,获取的PCB模板轮廓边缘像素坐标,其对应的方向向量/>,经过仿射变化后/>,/>,待测PCB板轮廓像素坐标/>,其对应的方向向量/>;
所述步骤S24中,相似度S的计算公式为:
公式单位化:
其中,分别为PCB模板轮廓边缘像素的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量的横、纵坐标;/>分别为PCB模板轮廓边缘像素经过仿射变化后的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量经过仿射变化后的横、纵坐标;/>分别为待测PCB板轮廓边缘像素的横、纵坐标,/>分别为待测PCB板轮廓边缘像素对应的方向向量的横、纵坐标;T表示矩阵的转置; i=1、2、3......n,表示第i个像素坐标;n为轮廓边缘所有像素点个数。
所述步骤S4中的三维重构方法为基于双目视觉的三维重构、基于结构光的三维重构的一种。
本发明的另一目的在于提供一种基于机器视觉的锡焊缺陷检测方法,所述缺陷检测方法包括:
应用上述基于机器视觉的锡焊高度检测方法,利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征;
对单个焊点图像进行焊锡的轮廓提取,获取焊锡轮廓的边长、圆度、面积特征;
将焊锡轮廓的边长、圆度、面积、高度特征作为评价尺度,对焊锡缺陷进行分类识别。
进一步地,所述对单个焊点图像进行焊锡的轮廓提取,获取焊锡轮廓的边长、圆度、面积特征的方法具体包括:
利用高斯值滤波的方法抑制图像中的噪点;
对焊点图像进行轮廓提取;
通过计算轮廓像素数总数得到焊点周长;计算轮廓内部的像素点个数得到焊点面积;利用焊点的面积与周长来计算焊点的圆度。
进一步地,对焊锡缺陷进行分类识别前,建立焊锡图像的数据库和特征分类器,并将数据库中获取的特征转换成特征向量作为训练样本添加到分类器中进行训练,最后使分类器收敛完成训练;
将焊锡轮廓的边长、圆度、面积、高度特征导入分类器得到分类结果,完成锡焊质量检测。
与现有技术相比,上述技术方案之一或多个技术方案能达到至少以下有益效果之一:
本发明结合了点云处理与图像处理,旨在利用机器视觉的图像处理方法获取PCB板焊点图像,利用基于轮廓的模板匹配和直线拟合的方法精准匹配正确的PCB模板,实时获得PCB板上焊点的位置信息以及单个的焊点图像,即生成检测区域;然后利用图像处理的方法提取焊点的轮廓计算焊锡的轮廓周长、面积以及圆度,对单个焊点图像进行三维重构获取点云图像,以降低计算量提升检测效率;提出一种面对曲面形状PCB板的锡焊高度计算方法,即在焊点附近自动计算基准平面,再计算高度的方法来处理获取的点云图像来准确获得焊锡的高;最后按照这些特征建立焊锡图像的数据库,使用数据库训练分类器使之收敛,使用训练完成的分类器对焊锡特征进行分类,既可得到锡焊缺陷的检测结果,高效且精准的完成锡焊缺陷检测工作,同时也保证了检测人员的健康安全,满足了自动化、高速、高精的生产需求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例1的锡焊缺陷检测装置示意图。
图2 为实施例1的金字塔分层搜索流程示意图。
图3为实施例1的PCB板图像校正流程示意图。
图4为实施例1的PCB板图像校正示意图。
图5为实施例2的锡焊缺陷检测流程示意图。
图6 为实施例2的GMM(Gaussian Mixture Model高斯混合模型)分类器的训练流程示意图。
图7为实施例1锡焊检测区域生成示意图。
附图标记:1、传送带;2、工件托盘;3、相机;4、工控机;5、传感器;6、运动平台控制系统;21、 PCB模板库与待测PCB板匹配度最高的PCB模板;
22、焊点;23、制作模板时手动创建ROI区域;24、待测PCB板;25、待测PCB板图像上生成ROI区域;26、漏焊焊点。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实施例提供一种基于机器视觉的PCB板锡焊高度检测方法,包括步骤:
S1.根据采集的PCB板模板图像,预先建立标准的待测PCB板模板库。
S11.首先采集模板图像,然后对采集的图像进行滤波、二值化处理,去除图像噪声方便后续的图像处理;
S12.在处理后的模板图像上标识出需要识别的PCB板轮廓,借助Canny算子得到模板的边缘特征信息,保存PCB模板的边缘像素坐标及其对应的方向向量/>,以便后边步骤对相同规格的待测PCB板进行模板匹配;
S13.对焊点位置手动创建ROI区域作为检测区域并保存备用,以方便S3中通过ROI区域精准提取出待检测PCB板图像中的单个焊锡图像,得到待测PCB板焊点位置,生成锡焊检测区域。
S2.获取待测PCB板图像,对图像进行预处理降噪,使用基于轮廓的模板匹配的方法在预先建立的PCB模板库中搜索,计算预先建立的PCB模板与采集到的实时锡球图像中每个位置之间的相似度,利用相似度匹配正确的模板。此方法简单且高效,对有部分遮挡、缺失等特殊情况有较强的抵抗力。
作为一个具体实施方式,可以采用以下装置获取待测PCB板图像。如图1所示,装置包括工件托盘2、运动平台控制系统6、传感器5、相机3和工控机4。置于工件托盘2上的待测PCB板通过运动平台控制系统6控制传送带1传送至传感器5处,传感器5感应到工件托盘2时运动平台控制系统6停止运动,相机3通过y轴移动装置移动到指定位置对待测PCB板进行拍摄获取图像并将信息输送到工控机4进行处理。
为待测PCB板图像匹配PCB模板包括步骤:
S21.对采集的待测PCB板图像使用中值滤波、二值化进行图像预处理;
S22.对处理后的PCB板使用Canny算子进行边缘提取,获得边缘点坐标集合以及其对应的方向向量/>;
S23.对PCB模板进行仿射变换使模板具备对旋转或缩放目标进行定位的能力;
S24.通过相似度计算来比较待测PCB板与预先建立的PCB模板之间的匹配程度,选取得分最高的模板与待测PCB板进行匹配。
其中,获取的模板PCB轮廓边缘像素坐标,其对应的方向向量,经过仿射变化后/>,/>,待测PCB板轮廓像素坐标,其对应的方向向量/>,其中相似度S的计算公式:
公式单位化:
其中,分别为PCB模板轮廓边缘像素的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量的横、纵坐标;/>分别为PCB模板轮廓边缘像素经过仿射变化后的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量经过仿射变化后的横、纵坐标;/>分别为待测PCB板轮廓边缘像素的横、纵坐标,/>分别为待测PCB板轮廓边缘像素对应的方向向量的横、纵坐标;T表示矩阵的转置; i=1、2、3......n,表示第i个像素坐标;n为轮廓边缘所有像素点个数。
基于轮廓的相似度匹配其相似度的值的范围为[0,1],其中相似度S越高,PCB板与模板匹配度就越高;在精度需求较大的场合下,可以引入图像金字塔的方法对图像进行处理,加快其运算。金字塔分层搜索流程图如图2所示。
S3.由于锡球尺寸小、间距窄,在取放待测PCB板时可能导致每次测量拍摄的PCB图片相较于模板位置产生细微的旋转、平移上的偏差,为了能够精确的判断锡球的位置以及数量缺陷,提出了基于仿射变换的锡球精确定位。由于PCB板的外轮廓较为规整,结构较为简单,因此通过直线拟合的方法求取待测PCB板图像特征量从而构建变换矩阵实现待测PCB板图像的校正定位,从而实时获得PCB板上焊点的位置信息以及单个的焊点图像。PCB校正定位流程如图3、图4所示。步骤S3具体包括:
S31.对待测PCB图像使用中值滤波、二值化方法进行预处理;
S32.通过直线拟合操作在预处理后的图像上利用最小二乘法建立两条拟合直线和其交点作为特征量,其中由交点构建位移变化矩阵,模板图与待测图直线夹角构建旋转变换矩阵,即根据模板图与待测图中对应特征量的差值来构建变换矩阵;
在模板图中通过直线拟合的操作利用最小二乘法拟合PCB板模板边缘的两条拟合直线、/>和其交点P1作为特征量。同理,通过直线拟合的操作在预处理后的图像上利用最小二乘法拟合待测PCB板边缘的两条拟合直线/>、/>和其交点P2作为特征量,其中由两交点P1、P2构建位移变化矩阵,模板图与待测图直线夹角构建旋转变换矩阵,即根据模板图与待测图中对应特征量的差值来构建综合变换矩阵。
S33.通过变换矩阵对待测图像进行仿射变换处理从而完成PCB板图像的校正定位,实现待测PCB板图像与模板图像位置信息保持一致;
S34.如图7所示,读取在模板制作时保存在数据库中的模板位置信息与待测PCB板进行匹配,根据PCB模板库与待测PCB板24匹配度最高的PCB模板21的焊点22位置,制作模板时手动创建ROI区域23,待测PCB板图像上生成ROI区域25,于待测PCB板图像上生成ROI区域25中提取出待检测PCB板图像中的单个焊锡图像,得到待测PCB板焊点位置,并识别同样规格的PCB板有无漏焊焊点26。
S4.利用步骤S3中提取的待测PCB板的单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征。
具体地,利用3D点云图像实现对锡焊高度特征的精确测量,这里选择对单个焊点的检测区域进行局部三维重构相较于整个PCB板可以极大的减少三维重构的计算量以及点云处理的时间,提升检测的精度以及效率;考虑到PCB板的规模以及焊点体积、间距的差异,对测量的精度要求也有所不同,在此提出两种三维重构的实现方案:第一种是基于双目视觉的三维重构方案,双目视觉方法成熟且精度较高,成本较低,适用与大部分场景;第二种方案是基于结构光的三维重构方案,结构光相机是目前最为精确的三维重构相机之一,贴合精度要求较高的锡焊质量检测场合需求。
在采用三维重构方法获取3D点云图像后,利用点云图像求取焊点的高度;由于锡球的体积微小、间距小,PCB基板的细微弯曲会直接影响到锡焊高度的测量,本实施例面对曲面形状PCB板的锡焊高度计算方法,通过在焊点附近自动计算基准平面,再计算高度。其具体步骤为:在建立的点云图像上,在焊点周围随机选取两点得到三维向量a,沿着不同方向另选两点,得到三维向量b,通过三维向量a、b的叉乘运算可以得到平面法向量c,再由三维向量a、c的叉乘运算得到向量d;其中平面法向量c、向量d的具体计算公式为:,;将向量a、c、d进行单位化操作即可构建点云图像的相对坐标系,其中向量a、c构成了点云平面。随后将点云图像进行旋转,使得向量a、c构建的点云平面与点云空间默认的x、y轴构建的平面保持一致,通过上述点云处理使得焊点所处的平面与点云空间默认的xy平面保持一致,则z轴与扫描所得平面垂直,所求得的 ΔZ为垂直量即焊锡高度h。
本实施例锡焊高度检测方法计算效率高,尤其适用于曲面形状的PCB板,可以有效地消除PCB基板弯曲对锡焊高度测量所带来的影响。
实施例2
如图5所示,本实施例提供一种基于机器视觉的锡焊缺陷检测方法,应用了实施例1的基于机器视觉的锡焊高度检测方法,包括以下步骤。其中,步骤S1至S4的具体实施,可参见实施例1,以获得单个的焊点图像和焊锡轮廓高度特征,此处不赘述。
S1.根据采集的PCB板模板图像,预先建立标准的待测PCB板模板库;
S2.获取待测PCB板图像,计算预先建立的PCB模板与采集到的实时锡球图像中每个位置之间的相似度,利用相似度匹配正确的模板;S3.通过直线拟合的方法求取待测PCB板图像特征量从而构建变换矩阵,实现待测PCB板图像的校正定位,进而实时获得PCB板上焊点的位置信息以及单个的焊点图像,生成锡焊检测区域;
S4.利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征;
S5.对单个焊点图像进行焊锡的轮廓提取,获取焊锡轮廓的边长、圆度、面积特征;
S51.利用高斯值滤波的方法抑制图像中的噪点;
S52.使用Canny算子对焊点图像进行轮廓提取;
S53.通过计算轮廓像素数总数得到焊点周长;计算轮廓内部的像素点个数得到焊点面积;利用焊点的面积与周长来计算焊点的圆度。
焊点周长L通过焊点轮廓的像素点个数计算,焊点面积A通过焊点轮廓的像素点个数进行计算,圆度e则通过计算得到的周长L和面积A进行计算,其具体的计算公式为:
其中,i 是焊点轮廓上的像素点的索引; N是焊点轮廓上的像素点的总数;为锡焊轮廓上或轮廓内的第i个像素。
对焊锡缺陷进行分类识别前,建立焊锡图像的数据库和特征分类器,并将数据库中获取的特征转换成特征向量作为训练样本添加到分类器中进行训练,最后使分类器收敛完成训练;作为较佳的实施方式,分类器选择GMM分类器,其兼具许多分类器的优点,识别率高,能更好的处理多种特征的分类任务,效率也较好。
S6.将焊锡轮廓的边长、圆度、面积、高度特征作为评价尺度,对焊锡缺陷进行分类识别。
通过步骤S4和步骤S5对焊锡轮廓的边长、圆度、面积、高度进行了特征提取,这里将这些特征作为焊锡的形态和尺寸的具体评价尺度,进而可以利用这些特征对焊锡缺陷进行分类识别;在实时的PCB板锡焊质量检测过程中,待测PCB板图像经过前面步骤获得上述四种特征后,导入分类器即可得到分类结果,完成锡焊质量检测。
如图6所示,训练GMM(高斯混合模型)分类器用于识别PCB板上的锡焊缺陷,采用的特征包括面积、周长、圆度和锡焊高度。其步骤包括:收集包含正常和缺陷样本的PCB板图像样本,并提取每个样本的锡焊特征,包括面积、周长、圆度和锡焊高度;进行特征处理生成特征向量,并输入初始化GMM模型中进行训练;待模型完成收敛,获得GMM分类器模型;在实际使用中,使用本方面方案提取出待测PCB板锡焊特征后代入 GMM 分类器即可得到锡焊缺陷的分类结果,完成锡焊质量检测。
本实施例采用非接触式的视觉检测方法,保证了检测人员的健康安全,进一步提升了生产的安全性;能够统精确且高效的完成锡焊缺陷检测任务,满足自动化、高速、高精的生产需求。
显然,上述实施例仅仅是为清楚地说明本发明的技术方案所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护之内。
Claims (8)
1.一种基于机器视觉的锡焊高度检测方法,其特征在于,所述高度检测方法包括以下步骤:
S1.根据采集的PCB模板图像,预先建立标准的PCB模板库;
S2.获取待测PCB板图像,使用基于轮廓的模板匹配的方法在PCB模板库中搜索,计算PCB模板与待测PCB板图像中每个位置之间的相似度,利用相似度匹配正确的PCB模板;
S3.通过直线拟合方法求取待测PCB板图像特征量从而构建变换矩阵,实现待测PCB板图像的校正定位,进而实时获得PCB板上焊点的位置信息以及单个焊点图像,生成锡焊检测区域;所述步骤S3具体包括:
通过直线拟合操作在预处理后的图像上利用最小二乘法建立两条拟合直线和其交点作为特征量,其中由交点构建位移变化矩阵,模板图与待测图直线夹角构建旋转变换矩阵,即根据模板图与待测PCB板图像中对应特征量的差值来构建综合变换矩阵;
通过变换矩阵对待测图像进行仿射变换处理从而完成PCB板图像的校正定位,实现待测PCB板图像与PCB模板图像位置信息保持一致;
读取在PCB模板库的模板位置信息与待测PCB板进行匹配,根据匹配的PCB模板的焊点位置在待测图像中设定ROI区域,于ROI区域中提取出待检测PCB板图像中的单个焊锡图像,得到待测PCB板焊点位置,生成锡焊检测区域;
S4.利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征,计算锡焊高度;所述锡焊高度计算方法具体包括:
在3D点云图像上,于焊点周围随机选取两点得到三维向量a,沿着不同方向另选两点,得到三维向量b,通过三维向量a、b的叉乘运算得到平面法向量c,再由三维向量a、c的叉乘运算得到向量d;
将向量a、c、d进行单位化操作即可构建点云图像的相对坐标系,其中向量a、c构成了点云平面;随后将点云图像进行旋转,使得向量a、c构建的点云平面与点云空间默认的x、y轴构建的平面保持一致,从而使得焊点所处的平面与点云空间默认的xy平面保持一致,则z轴与扫描所得平面垂直,获得的垂直量ΔZ即焊锡高度h。
2.根据权利要求1所述的基于机器视觉的锡焊高度检测方法,其特征在于,所述步骤S1具体包括:
S11.对采集的PCB模板图像进行滤波、二值化预处理;
S12.对预处理后的PCB模板图像上标识需要识别的PCB板轮廓,获取PCB模板的边缘特征信息,保存PCB模板的边缘像素坐标及其对应的方向向量/>;
S13.在PCB模板图像上绘制锡焊ROI区域,并保存。
3.根据权利要求1所述的基于机器视觉的锡焊高度检测方法,其特征在于,所述步骤S2具体包括:
S21.对采集的待测PCB板图像进行滤波、二值化预处理;
S22.对预处理后的待测PCB板图像进行边缘提取,获得边缘点坐标集合以及其对应的方向向量/>;
S23.对PCB模板进行仿射变换使PCB模板具备对旋转或缩放目标进行定位的能力;
S24.通过相似度计算来比较待测PCB板与PCB模板之间的匹配程度,选取得分最高的PCB模板与待测PCB板进行匹配。
4.根据权利要求3所述的基于机器视觉的锡焊高度检测方法,其特征在于,
所述步骤S22中,获取的PCB模板轮廓边缘像素坐标,其对应的方向向量,经过仿射变化后/>,/>,待测PCB板轮廓像素坐标,其对应的方向向量/>;
所述步骤S24中,相似度S的计算公式为:
公式单位化:
其中,分别为PCB模板轮廓边缘像素的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量的横、纵坐标;/>分别为PCB模板轮廓边缘像素经过仿射变化后的横、纵坐标,/>分别为PCB模板轮廓边缘像素对应的方向向量经过仿射变化后的横、纵坐标;/>分别为待测PCB板轮廓边缘像素的横、纵坐标,/>分别为待测PCB板轮廓边缘像素对应的方向向量的横、纵坐标;T表示矩阵的转置; i=1、2、3......n,表示第i个像素坐标;n为轮廓边缘所有像素点个数。
5.根据权利要求1所述的基于机器视觉的锡焊高度检测方法,其特征在于,所述步骤S4中的三维重构方法为基于双目视觉的三维重构、基于结构光的三维重构的一种。
6.一种基于机器视觉的锡焊缺陷检测方法,其特征在于,所述缺陷检测方法包括:
应用权利要求1至5任意一项基于机器视觉的锡焊高度检测方法,利用单个焊点图像进行三维重构建立焊点的3D点云图像,通过3D点云图像获取焊锡轮廓高度特征;
对单个焊点图像进行焊锡的轮廓提取,获取焊锡轮廓的边长、圆度、面积特征;
将焊锡轮廓的边长、圆度、面积、高度特征作为评价尺度,对焊锡缺陷进行分类识别。
7.根据权利要求6所述的基于机器视觉的锡焊缺陷检测方法,其特征在于,所述对单个焊点图像进行焊锡的轮廓提取,获取焊锡轮廓的边长、圆度、面积特征的方法具体包括:
利用高斯值滤波的方法抑制图像中的噪点;
对焊点图像进行轮廓提取;
通过计算轮廓像素数总数得到焊点周长;计算轮廓内部的像素点个数得到焊点面积;利用焊点的面积与周长来计算焊点的圆度。
8.根据权利要求6或7所述的基于机器视觉的锡焊缺陷检测方法,其特征在于,
对焊锡缺陷进行分类识别前,建立焊锡图像的数据库和特征分类器,并将数据库中获取的特征转换成特征向量作为训练样本添加到分类器中进行训练,最后使分类器收敛完成训练;
将焊锡轮廓的边长、圆度、面积、高度特征导入分类器得到分类结果,完成锡焊质量检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410142469.2A CN117670887B (zh) | 2024-02-01 | 2024-02-01 | 一种基于机器视觉的锡焊高度及缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410142469.2A CN117670887B (zh) | 2024-02-01 | 2024-02-01 | 一种基于机器视觉的锡焊高度及缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117670887A CN117670887A (zh) | 2024-03-08 |
CN117670887B true CN117670887B (zh) | 2024-04-09 |
Family
ID=90073543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410142469.2A Active CN117670887B (zh) | 2024-02-01 | 2024-02-01 | 一种基于机器视觉的锡焊高度及缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117670887B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017067321A1 (zh) * | 2015-10-19 | 2017-04-27 | 广州视源电子科技股份有限公司 | 一种基于外轮廓的pcb板卡匹配方法及装置 |
CN110675376A (zh) * | 2019-09-20 | 2020-01-10 | 福建工程学院 | 一种基于模板匹配的pcb缺陷检测方法 |
CN113240674A (zh) * | 2021-07-09 | 2021-08-10 | 深圳市艾视铂智能技术有限公司 | 基于三维点云和二维图像融合的共面度检测方法 |
CN114092411A (zh) * | 2021-10-28 | 2022-02-25 | 东华大学 | 一种高效快速的双目3d点云焊点缺陷检测方法 |
CN116008177A (zh) * | 2022-12-07 | 2023-04-25 | 广州市柯洱斯电子有限责任公司 | Smt元器件高度缺陷识别方法、系统及其可读介质 |
CN116091404A (zh) * | 2022-12-01 | 2023-05-09 | 北京工业大学 | 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法 |
CN116309398A (zh) * | 2023-03-02 | 2023-06-23 | 湘潭大学 | 一种多通道特征融合学习的印制电路板小目标缺陷检测方法 |
-
2024
- 2024-02-01 CN CN202410142469.2A patent/CN117670887B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017067321A1 (zh) * | 2015-10-19 | 2017-04-27 | 广州视源电子科技股份有限公司 | 一种基于外轮廓的pcb板卡匹配方法及装置 |
CN110675376A (zh) * | 2019-09-20 | 2020-01-10 | 福建工程学院 | 一种基于模板匹配的pcb缺陷检测方法 |
CN113240674A (zh) * | 2021-07-09 | 2021-08-10 | 深圳市艾视铂智能技术有限公司 | 基于三维点云和二维图像融合的共面度检测方法 |
CN114092411A (zh) * | 2021-10-28 | 2022-02-25 | 东华大学 | 一种高效快速的双目3d点云焊点缺陷检测方法 |
CN116091404A (zh) * | 2022-12-01 | 2023-05-09 | 北京工业大学 | 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法 |
CN116008177A (zh) * | 2022-12-07 | 2023-04-25 | 广州市柯洱斯电子有限责任公司 | Smt元器件高度缺陷识别方法、系统及其可读介质 |
CN116309398A (zh) * | 2023-03-02 | 2023-06-23 | 湘潭大学 | 一种多通道特征融合学习的印制电路板小目标缺陷检测方法 |
Non-Patent Citations (1)
Title |
---|
基于机器视觉元件管脚高度检测系统研究;范天海;黄丹平;田建平;于少东;吴志鹏;董娜;;光学技术;20200115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117670887A (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109900706B (zh) | 一种基于深度学习的焊缝及焊缝缺陷检测方法 | |
CN109724990B (zh) | 一种包装盒标签中喷码区域的快速定位与检测方法 | |
CN111982921B (zh) | 孔缺陷的检测方法、装置、传送平台及存储介质 | |
CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
CN110260818B (zh) | 一种基于双目视觉的电子连接器鲁棒检测方法 | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
CN112200776A (zh) | 芯片封装缺陷检测方法和检测装置 | |
CN112862794A (zh) | 一种基于结构光的角焊缝外观检测方法 | |
CN114331995A (zh) | 一种基于改进2d-icp的多模板匹配实时定位方法 | |
CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
CN112419429A (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
CN112729112A (zh) | 基于机器人视觉的发动机缸体孔径与孔位检测方法 | |
CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
CN113109364B (zh) | 一种芯片缺陷的检测方法及装置 | |
CN117670887B (zh) | 一种基于机器视觉的锡焊高度及缺陷检测方法 | |
CN117092113A (zh) | 一种摄像头模具焊接质量检测装置及其系统 | |
CN112101060A (zh) | 基于平移不变性和小区域模板匹配的二维码定位方法 | |
CN115388778B (zh) | 一种计算机屏幕质检控制装置 | |
CN115770731A (zh) | 一种基于激光视觉剔除不良工件的方法及系统 | |
CN116474976A (zh) | 一种具备视觉检测的高速喷涂系统 | |
Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
CN114963981A (zh) | 一种基于单目视觉的筒状零件对接非接触式测量方法 | |
CN113240629A (zh) | 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |