CN117420141A - 一种基于3d视觉的基板焊料缺失检测方法及系统 - Google Patents

一种基于3d视觉的基板焊料缺失检测方法及系统 Download PDF

Info

Publication number
CN117420141A
CN117420141A CN202311607315.8A CN202311607315A CN117420141A CN 117420141 A CN117420141 A CN 117420141A CN 202311607315 A CN202311607315 A CN 202311607315A CN 117420141 A CN117420141 A CN 117420141A
Authority
CN
China
Prior art keywords
solder
substrate
suspected
abnormal
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311607315.8A
Other languages
English (en)
Inventor
陈致蓬
黄嘉庆
王珲荣
潘果文
陈争时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aochuangpu Technology Co ltd
Central South University
Original Assignee
Hunan Aochuangpu Technology Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aochuangpu Technology Co ltd, Central South University filed Critical Hunan Aochuangpu Technology Co ltd
Priority to CN202311607315.8A priority Critical patent/CN117420141A/zh
Publication of CN117420141A publication Critical patent/CN117420141A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)

Abstract

本发明公开了一种基于3D视觉的基板焊料缺失检测方法及系统，通过采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域，调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采集第二组RGB图像，根据结构光投影器投射以及第二组RGB图像，对基板焊料区域进行精准定位以及根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，提高了基板焊料缺失检测精度和效率。

Description

一种基于3D视觉的基板焊料缺失检测方法及系统
技术领域
本发明主要涉及共晶焊接技术领域，特指一种基于3D视觉的基板焊料缺失检测方法及系统。
背景技术
第五代通信技术的普及，给普罗大众的生活带去了诸多的便利，也为各行各业注入了新的发展活力，带去了新的发展潜能。5G高速通信网络的建立，为终端之间的大数据传输提供了高速可靠的通道。这一通道通过散布在各地的基站为各个终端建立起联系，不同的基站之间的联系又需要光通信技术来保障。因此，光通信的品质也成了影响5G通信质量的一个重要因素。
光通信首要的就是用于发射光信号的光发射器，负责将终端发送的数据转换为光信号发送到光纤网路中快速传播。共晶贴片机作为光发射器生产的一个重要设备，负责将激光芯片焊接贴合到基板电路上，其产品质量将极大地影响光通信的品质，影响5G通信的效果。因此，共晶贴片机工作的任一过程任一原料品质都应该得到保障。基板焊料作为直接参与焊接贴合的物料，其状态应该得到充分的保证，因此需要对其进行检测，以及时发现焊料异常的基板，避免缺陷产品造成物料浪费，或是流入市场产生恶劣影响。
基板焊料的异常情况主要有两种，一种是焊料缺失，一种是焊料堆积，这两种情况都会导致焊接不均匀，导致芯片和基板之间出现气泡等问题。目前，针对共晶贴片机基板焊料异常的检测的设备方法微乎其微。基板焊料异常检测问题可以归结为一个表面缺陷检测问题。
而目前的缺陷检测类别又依据检测手段可以分为机器视觉类和非机器视觉类。非机器视觉方式主要非图像传感器成像的手段获取检测样件的缺陷信息，常用有X光、超声波等。这一类的传感器多用于探测样件内部的缺陷信息。而对于表面缺陷的检测则较多采用机器视觉的方式，通过图像传感器获取样件表面的图像信息，通过机器视觉的处理手段对表面所含的缺陷信息进行获取。这类方法由于采取的机器视觉处理手段不同，又派生出了多类机器视觉检测方法。目前较多的是采用图像处理的方式，对获取到的样件图像进行矫正和增强处理，来提高缺陷检测算法的识别精度。也有较多的是采用深度学习的方式对获取到的样件图像进行缺陷检测，有较强的抗干扰能力和适应能力。
公开号为CN113570605B的发明专利提供了一种液晶显示面板的缺陷检测方法和系统。该方法利用光源进行补光，通过图像传感器采集面板表面的图像，对面板表面图像进行矫正，包括倾斜校正和光照不均矫正，然后再利用缺陷检测算法对矫正后的图像进行缺陷检测，显示面板的表面缺陷信息。该方法通过图像预处理的方式对显示面板表面图像进行矫正，提高用于缺陷检测算法的图像质量，以此提高算法的识别精度，提高检测的效率和精确率。在采用单一来源的信息对样件表面缺陷进行确定时，单一信息源中存在的随机扰动仅通过软件处理的方式是难以消除的，因此这种方式对于缺陷检测的精度提升较为有限。
公开号为CN114943677A的专利申请提供了一种缺陷检测方法。该方法通过光扫描获取基板的二维图像，利用缺陷检测算法对二维图像中的缺陷信息进行提取，得到缺陷的位置，在获取到的缺陷位置执行强度分布处理得到缺陷区域的三维图像用于显示。该方法能够利用缺陷检测算法通过二维图像对缺陷进行检测，并利用强度分布处理获得缺陷区域的三维图像用于显示，但其并没有通过算法对三维图像的缺陷进行进一步确认，样件缺陷的确认依赖于人工，在需要高效率高精度生产的场合并不适用。
发明内容
本发明提供的一种基于3D视觉的基板焊料缺失检测方法及系统，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题。
为解决上述技术问题，本发明提出的一种基于3D视觉的基板焊料缺失检测方法包括：
采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，其中双目RGB相机包括主视点相机和视差视点相机，且第一组RGB图像包括与主视点相机和视差视点相机分别对应的RGB图像。
基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域。
调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像。
根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位。
根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
进一步地，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置包括：
对第一组RGB图像中的RGB图像进行灰度化，获得第一组RGB灰度图。
对第一组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第一组基板灰度图像。
获取基板轮廓边缘的最小外接矩形，并根据最小外接矩形的中心获得基板位置。
进一步地，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得疑似焊料异常区域以及预检测正常区域包括：
对第一组基板灰度图像中的基板灰度图像进行边缘检测，获得第一组基板焊料区域图像。
对第一组基板焊料区域图像中的基板焊料区域图像进行边缘检测，获得疑似异常区域图像。
将与主视点相机和视差视点相机分别对应的疑似异常区域图像进行交运算，获得交运算结果图。
提取交运算结果图中的疑似异常区域，并根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域以及预检测正常区域，预检测正常区域具体为交运算结果图中除去疑似焊料异常区域的其他区域。
进一步地，根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域包括：
计算疑似异常区域中的单个异常的面积，对存在单个异常的面积大于单异常阈值的疑似异常区域，标记为疑似焊料异常区域，否则计算疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似异常区域标记为疑似焊料异常区域，否则标记为焊料区域正常，并结束当前检测。
进一步地，根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位包括：
对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图。
对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像。
对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像。
根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵，其中第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像。
根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点。
通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像。
通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。
进一步地，根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测包括：
在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点。
根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度。
根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值。
根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
进一步地，根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度包括：
根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度，其中待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离。
进一步地，根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的计算公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。
进一步地，根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域包括：
判断疑似焊料异常区域的异常检验值是否大于检验阈值，若是，则判定疑似焊料异常区域为真实焊料异常区域，否则判断与疑似焊料异常区域对应的疑似异常区域中是否存在单个异常的面积大于单异常阈值的单个异常，若存在，则判定疑似焊料异常区域为真实焊料异常区域，若否，则计算与疑似焊料异常区域对应的疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似焊料异常区域标记为真实焊料异常区域，否则为非真实焊料异常区域。
本发明提供的一种基于3D视觉的基板焊料缺失检测系统包括：
存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的基于3D视觉的基板焊料缺失检测方法的步骤。
本发明提出的基于3D视觉的基板焊料缺失检测方法及系统，通过采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域，调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像，根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位以及根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，大大提高了基板焊料缺失检测精度和效率。
本发明的有益效果具体包括：
(1)在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机对基板进行RGB成像，并利用机器视觉方法获取这两幅图像中的基板焊料异常信息，并通过与运算对焊料异常信息进行滤波，将误差信息滤除，提高检测的精度。对于疑似异常的基板焊料区域利用3D视觉检测验证图像中异常信息的准确性，进一步提高了检测的准确性。
(2)在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机进行RGB图像获取，并利用机器视觉的方法对两RGB图像中的异常信息进行提取，获得基板焊料区域的疑似异常状态，在疑似异常的情况下再对基板焊料区域进行异常检验，如此不需要对所有基板都进行完整的3D视觉检测，节省了共晶贴片机的工时，提高了作业效率。
附图说明
图1为本发明实施例二的基于3D视觉的基板焊料缺失检测方法的方法流程图；
图2为本发明实施例二对两幅疑似异常区域做交运算的示意图；
图3为本发明实施例二的结构光成像示意图；
图4为本发明实施例二的深度计算示意图；
图5为本发明实施例的基于3D视觉的基板焊料缺失检测系统的结构框图。
附图标记：
10、存储器；20、处理器。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
本发明实施例一提供的基于3D视觉的基板焊料缺失检测方法，包括：
步骤S101，采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，其中双目RGB相机包括主视点相机和视差视点相机，且第一组RGB图像包括与主视点相机和视差视点相机分别对应的RGB图像。
步骤S102，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域。
步骤S103，调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像。
步骤S104，根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位。
步骤S105，根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
本发明实施例提供的基于3D视觉的基板焊料缺失检测方法，通过采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域，调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像，根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位以及根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，大大提高了基板焊料缺失检测精度和效率。
实施例二
目前的缺陷检测方法，难以做到精确高效地对基板焊料区域的异常情况进行检测。为解决检测精度和效率的问题，本发明实施例设计了一种基于3D视觉的基板焊料检测方法，为检测共晶贴片机基板焊料异常提供一种可靠高效的方法。
如图1所示，本发明实施例具体实现如下：
1、进行检测准备，具体包括：
①使用双目RGB相机对基板进行拍摄，获得第一组RGB图像，第一组RGB图像包括与主视点相机和视差视点相机分别对应的RGB图像，记为RGB图像和/>
②对两幅RGB图像进行灰度化和去噪处理得到和/>并将处理后的图像进行二值化，用于检测基板的位置和基板区域图像的提取。
③利用边缘检测方法检测二值化图像中的基板轮廓，获取基板轮廓的最小外接矩形，将基板灰度图和/>从/>和/>中提取出，并将最小外接矩形的中心作为基板的位置进行获取，得到基板在两幅RGB图像中的位置pl和pr，并获取中心偏度bp＝||pp-pc||，p∈{l,r}，中心偏度衡量基板偏离图像中央的程度。
④选取中心偏度较小的图像计算获得基板在世界坐标中的位置。
2、进行预检测，具体包括：
①利用提取基板图像的方法将基板焊料区域的灰度图像和/>从基板灰度图/>和/>中提取出来。
②焊料异常的边缘与周围存在较大的差异，因此利用边缘检测将疑似异常区域的边缘提取出来，再将区域进行填充得到两幅疑似异常区域图。
③对疑似异常图像进行开运算操作，去除噪声的影响，得到各个子区域和/>各个子区域最终构成疑似异常区域集合/>和/>
其中，fl,i(x,y)＝0和fr,i(x,y)＝0是两幅图像第i个区域的边缘曲线，nl和nr分别为左和右RGB图像中提取出来的疑似异常区域个数。
④对两幅疑似异常区域做交运算得到最终的疑似异常区域Rs。如图2所示，具体操作如下：
⑤计算疑似异常区域Rs中的第i个疑似异常区域的面积Si(i＝1,2,...,ns)，对单个异常面积大于单异常阈值Tsingle的直接将该焊料区域标记为疑似焊料异常。
⑥若基板尚未被标记为疑似焊料异常，则计算所有疑似异常区域的总面积Ss，当总面积大于阈值Tall时，区域将被标记为疑似焊料异常区域。
其中ns为疑似焊料异常区域的个数。最终的焊料区域疑似异常判定为：
目前绝大多数的焊料缺陷检测便止步于此，但通过二维图像信息对缺陷进行检测和定位。然而，生产现场中的拍摄条件较差，单依据二维图像对焊料区域的缺陷进行判断的方式易将拍摄条件的干扰误判为缺陷，从而出现较高的误检率，大大降低了生产效率，增加了生产成本。因此，为了提高检测精度、保证生产效率，在预检测结果为异常的基板结合3D视觉进行进一步检测。
3、进行预检测结果处理，具体如下：
①对于预检测结果为焊料正常的基板，则将基板位置反馈给基板拾取机构，用于拾取基板进行后续作业。
②对于预检测结果为焊料异常的基板，则需要进行进一步的检测。
4、对于预检测为焊料异常的区域进行进一步检测，具体为：
步骤S401，根据检测准备时获得到的基板区域位置将设备移动至基板上方，使结构光投影器能够将结构光图案投影到基板焊料区域，如图3所示。
步骤S402，使用RGB相机对基板进行拍照，获得第二组RGB图像。随后利用预检测中的方法获取基板焊料区域在两图像中的位置，具体包括对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图，对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像以及对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，其中第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像。
步骤S403，根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵Tmain，其中第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像。
具体地，本实施例获取变换矩阵的具体过程为：获取交运算结果图中焊料区域的最小外接矩形，然后将最小外接矩形的左上角作为焊料区域的坐标原点，并定义水平和垂直方向分别为X和Y轴。同样，对于第二主视点基板焊料区域图像，可以取第二主视点基板焊料区域图像的最小外接矩形的左上角作为坐标原点，将交运算结果图中焊料区域坐标等效至第二主视点基板焊料区域坐标上，由此利用第二主视点基板焊料区域图像的坐标系相对第二主视点图像坐标系中的旋转平移量可以得到交运算结果图中焊料区域坐标相对于第二主视点图像的变换矩阵Tmain。
步骤S404，根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点。
步骤S405，通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像。
步骤S406，通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。具体地，结构光投影器向基板焊料区域投射结构光图案，并对基板区域再次进行RGB图像的获取。结构光投影图案在方窗内的编码各不相同，在两幅RGB图像中进行阈值分割可以获得结构光的编码图案，对两幅RGB图像中图像进行解码即可对两幅图像中的基板焊料区域和实际的基板焊料区域位置进行精确匹配，利用精确匹配的点可精确计算出焊料区域位置的真实深度，大大提高深度计算的精度，从而提高后续焊料缺失检测精度。
步骤S407，对基板焊料区域进行精准定位后，本实施例在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点，然后根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度。参照图4，待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离。
为了对预检测中的疑似焊料异常进行进一步检测，同时减少计算时间、保证检测效率，对预检测正常区域和各个预检测疑似焊料异常中的点进行随机抽样，将抽样的点ps(x,y)按pmain(x,y)＝Tmainps(x,y)转换至第二主视点RGB图像中，并利用结构光图案精确获得第二视差视点RGB图像中的匹配点passistant(x,y)。
本实施例通过将点pmain(x,y)和passistant(x,y)按式(6)计算深度d，并统计预检测正常区域和第i个预检测疑似焊料异常区域中深度样本x的频次Pnormal(x)和Pi(x)，最后获得预检测正常区域和第i个预检测疑似焊料异常区域的深度样本累计经验分布函数和/>若疑似焊料异常区域真实为正常区域，则其中采样的深度样本应该与预检测正常区域中采样的深度样本符合同分布；反之，若疑似焊料异常区域中采样的深度样本与预检测正常区域采样样本的分布相差较大，则可说明疑似焊料异常区域为真实异常。因此，通过式(7)计算累积经验分布函数之间的差异来构建异常检验值，值越大则说明疑似焊料异常区域为真实异常区域的可能性越大。具体地，本实施例根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的具体公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。通常正常区域中选择点数nnormal为500，疑似异常区域中选取点数ni为该疑似异常区域1/3的点数且不超过200个点。
步骤S408，将检验值大于检验阈值Ttest的区域标记为异常区域，记录其区域序号i。对所有疑似焊料异常区域进行检验得到最终的异常区域序号集合A。
A＝{i|1≤i≤ns,i∈Z+,Zi＞Ttest} (8)
步骤S409，查询疑似异常区域中被标记为异常的区域中是否存在单个面积大于单个异常最小允许限度Tsingle的区域，存在则将此基板判定为焊料异常。
步骤S410，在各个异常区域面积均不大于单个异常最大允许限度Tsingle时，计算异常区域总面积S，异常区域总面积大于最大允许限度Tall时，将该焊料区域标记为异常。
其中n是焊料中异常区域的个数。
最终异常区域判定结果result为：
本发明实施例在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机对基板进行RGB成像，并利用机器视觉方法获取这两幅图像中的基板焊料异常信息，并通过与运算对焊料异常信息进行滤波，将误差信息滤除，提高检测的精度。对于疑似异常的基板焊料区域将利用3D视觉检测验证图像中异常信息的准确性，进一步提高了检测的准确性。
此外，本发明实施例在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机进行RGB图像获取，并利用机器视觉的方法对两RGB图像中的异常信息进行提取，获得基板焊料区域的疑似异常状态，在疑似异常的情况下再对基板焊料区域进行异常验证，如此不需要对所有基板都进行完整的3D视觉检测，节省了共晶贴片机的工时，提高了作业效率。
本发明的目的在于设计一种基于3D视觉的基板焊料异常检测方法，提供一种可见光图像和3D图像相结合的异常检测方法，为检测共晶贴片机基板焊料异常提供一种可行可靠的方法。
本发明的目的在于设计一种基于3D视觉的基板焊料异常检测方法，提供一种利用可见光图像和3D图像分步检测的方法，为检测共晶贴片机基板焊料异常提供一种精确高效的方法。
参照图5，本发明实施例提出的基于3D视觉的基板焊料缺失检测系统，包括存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的基于3D视觉的基板焊料缺失检测方法的步骤。
本实施例的一种基于3D视觉的基板焊料缺失检测系统的具体工作过程和工作原理可参照本实施例的一种基于3D视觉的基板焊料缺失检测方法的工作过程和工作原理。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于3D视觉的基板焊料缺失检测方法，其特征在于，所述方法包括：
采用双目RGB相机采集共晶贴片机基板的第一组RGB图像，其中所述双目RGB相机包括主视点相机和视差视点相机，且所述第一组RGB图像包括与主视点相机和视差视点相机分别对应的RGB图像；
基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域；
调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像；
根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位；
根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
2.根据权利要求1所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置包括：
对第一组RGB图像中的RGB图像进行灰度化，获得第一组RGB灰度图；
对第一组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第一组基板灰度图像；
获取基板轮廓边缘的最小外接矩形，并根据最小外接矩形的中心获得基板位置。
3.根据权利要求2所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得疑似焊料异常区域以及预检测正常区域包括：
对第一组基板灰度图像中的基板灰度图像进行边缘检测，获得第一组基板焊料区域图像；
对第一组基板焊料区域图像中的基板焊料区域图像进行边缘检测，获得疑似异常区域图像；
将与主视点相机和视差视点相机分别对应的疑似异常区域图像进行交运算，获得交运算结果图；
提取交运算结果图中的疑似异常区域，并根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域以及预检测正常区域，所述预检测正常区域具体为交运算结果图中除去疑似焊料异常区域的其他区域。
4.根据权利要求3所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域包括：
计算疑似异常区域中的单个异常的面积，对存在单个异常的面积大于单异常阈值的疑似异常区域，标记为疑似焊料异常区域，否则计算疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似异常区域标记为疑似焊料异常区域，否则标记为焊料区域正常，并结束当前检测。
5.根据权利要求4所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位包括：
对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图；
对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像；
对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，所述第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像；
根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵，其中所述第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像；
根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点；
通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中所述第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像；
通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。
6.根据权利要求1-5任一所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测包括：
在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点；
根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度；
根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值；
根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
7.根据权利要求6所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度包括：
根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度，其中待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离。
8.根据权利要求7所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的计算公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。
9.根据权利要求8所述的基于3D视觉的基板焊料缺失检测方法，其特征在于，根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域包括：
判断疑似焊料异常区域的异常检验值是否大于检验阈值，若是，则判定疑似焊料异常区域为真实焊料异常区域，否则判断与疑似焊料异常区域对应的疑似异常区域中是否存在单个异常的面积大于单异常阈值的单个异常，若存在，则判定疑似焊料异常区域为真实焊料异常区域，若否，则计算与疑似焊料异常区域对应的疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似焊料异常区域标记为真实焊料异常区域，否则为非真实焊料异常区域。
10.一种基于3D视觉的基板焊料缺失检测系统，所述系统包括：
存储器(10)、处理器(20)以及存储在存储器(10)上并可在处理器(20)上运行的计算机程序，其特征在于，所述处理器(20)执行所述计算机程序时实现上述权利要求1至9任一所述方法的步骤。
CN202311607315.8A 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测方法及系统 Pending CN117420141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311607315.8A CN117420141A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311607315.8A CN117420141A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测方法及系统

Publications (1)

Publication Number Publication Date
CN117420141A true CN117420141A (zh) 2024-01-19

Family

ID=89532700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311607315.8A Pending CN117420141A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测方法及系统

Country Status (1)

Country Link
CN (1) CN117420141A (zh)

Similar Documents

Publication Publication Date Title
CN110497187B (zh) 基于视觉引导的太阳花模组装配系统
US8233041B2 (en) Image processing device and image processing method for performing three dimensional measurements
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN109974582B (zh) 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法
CN111982921B (zh) 孔缺陷的检测方法、装置、传送平台及存储介质
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN109752392B (zh) 一种pcb板缺陷类型检测系统和方法
CN107345789A (zh) 一种pcb板孔位检测装置及方法
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN109429473A (zh) 电路板中带极性电子元器件的自动检查方法及装置
CN106327496A (zh) 基于aoi的pcb裸板盲孔缺陷的检测系统及方法
CN112686920A (zh) 一种圆形零件几何尺寸参数视觉测量方法及系统
CN111598771B (zh) 一种基于ccd相机的pcb电路板缺陷检测系统及方法
CN111257329A (zh) 一种智能手机摄像头缺陷检测方法以及检测系统
CN115575416A (zh) 柔性电路板焊盘检测方法及系统
CN109712115B (zh) 一种pcb板自动检测方法及系统
CN114820439A (zh) 基于aoi的pcb裸板缺陷的检测系统及方法
CN103091332B (zh) 一种基于机器视觉的u型粉管的检测方法及其检测系统
CN114964032B (zh) 基于机器视觉的盲孔深度测量方法及装置
CN117420141A (zh) 一种基于3d视觉的基板焊料缺失检测方法及系统
CN112837285B (zh) 一种板面图像的边缘检测方法及装置
CN113240629B (zh) 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法
CN117420140A (zh) 一种基于3d视觉的基板焊料缺失检测装置
CN112763495A (zh) 一种手机电池尺寸和外观缺陷检测系统及检测方法
TWI573098B (zh) Wafer defect detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination