CN117420140A - 一种基于3d视觉的基板焊料缺失检测装置 - Google Patents

一种基于3d视觉的基板焊料缺失检测装置 Download PDF

Info

Publication number
CN117420140A
CN117420140A CN202311604810.3A CN202311604810A CN117420140A CN 117420140 A CN117420140 A CN 117420140A CN 202311604810 A CN202311604810 A CN 202311604810A CN 117420140 A CN117420140 A CN 117420140A
Authority
CN
China
Prior art keywords
solder
substrate
suspected
area
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311604810.3A
Other languages
English (en)
Inventor
陈致蓬
黄嘉庆
王珲荣
肖鹏
陈争时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aochuangpu Technology Co ltd
Central South University
Original Assignee
Hunan Aochuangpu Technology Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aochuangpu Technology Co ltd, Central South University filed Critical Hunan Aochuangpu Technology Co ltd
Priority to CN202311604810.3A priority Critical patent/CN117420140A/zh
Publication of CN117420140A publication Critical patent/CN117420140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)

Abstract

本发明公开了一种基于3D视觉的基板焊料缺失检测装置，包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像和3D图像；计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和3D图像，并根据基板焊料区域的RGB图像和3D图像，对基板位置和基板焊料缺失进行检测；外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，既能实现基板定位，又能在保证检测精度的同时提高检测的效率和生产效率。

Description

一种基于3D视觉的基板焊料缺失检测装置
技术领域
本发明主要涉及共晶焊接技术领域，特指一种基于3D视觉的基板焊料缺失检测装置。
背景技术
第五代通信技术的普及，给普罗大众的生活带去了诸多的便利，也为各行各业注入了新的发展活力，带去了新的发展潜能。5G高速通信网络的建立，为终端之间的大数据传输提供了高速可靠的通道。这一通道通过散布在各地的基站为各个终端建立起联系，不同的基站之间的联系又需要光通信技术来保障。因此，光通信的品质也成了影响5G通信质量的一个重要因素。
光通信首要的就是用于发射光信号的光发射器，负责将终端发送的数据转换为光信号发送到光纤网路中快速传播。共晶贴片机作为光发射器生产的一个重要设备，负责将激光芯片焊接贴合到基板电路上，其产品质量将极大地影响光通信的品质，影响5G通信的效果。因此，共晶贴片机工作的任一过程任一原料品质都应该得到保障。基板焊料作为直接参与焊接贴合的物料，其状态应该得到充分的保证，因此需要对其进行检测，以及时发现焊料异常的基板，避免缺陷产品造成物料浪费，或是流入市场产生恶劣影响。
基板焊料的异常情况主要有两种，一种是焊料缺失，一种是焊料堆积，这两种情况都会导致焊接不均匀，导致芯片和基板之间出现气泡等问题。目前，针对共晶贴片机基板焊料异常的检测的设备方法微乎其微。基板焊料异常检测问题可以归结为一个表面缺陷检测问题。
而目前的缺陷检测类别又依据检测手段可以分为机器视觉类和非机器视觉类。非机器视觉方式主要非图像传感器成像的手段获取检测样件的缺陷信息，常用有X光、超声波等。这一类的传感器多用于探测样件内部的缺陷信息。而对于表面缺陷的检测则较多采用机器视觉的方式，通过图像传感器获取样件表面的图像信息，通过机器视觉的处理手段对表面所含的缺陷信息进行获取。这类方法由于采取的机器视觉处理手段不同，又派生出了多类机器视觉检测方法。目前较多的是采用图像处理的方式，对获取到的样件图像进行矫正和增强处理，来提高缺陷检测算法的识别精度。也有较多的是采用深度学习的方式对获取到的样件图像进行缺陷检测，有较强的抗干扰能力和适应能力。
公开号为CN113570605B的发明专利提供了一种液晶显示面板的缺陷检测方法和系统。该方法利用光源进行补光，通过图像传感器采集面板表面的图像，对面板表面图像进行矫正，包括倾斜校正和光照不均矫正，然后再利用缺陷检测算法对矫正后的图像进行缺陷检测，显示面板的表面缺陷信息。该方法通过图像预处理的方式对显示面板表面图像进行矫正，提高用于缺陷检测算法的图像质量，以此提高算法的识别精度，提高检测的效率和精确率。在采用单一来源的信息对样件表面缺陷进行确定时，单一信息源中存在的随机扰动仅通过软件处理的方式是难以消除的，因此这种方式对于缺陷检测的精度提升较为有限。
公开号为CN114943677A的专利申请提供了一种缺陷检测方法。该方法通过光扫描获取基板的二维图像，利用缺陷检测算法对二维图像中的缺陷信息进行提取，得到缺陷的位置，在获取到的缺陷位置执行强度分布处理得到缺陷区域的三维图像用于显示。该方法能够利用缺陷检测算法通过二维图像对缺陷进行检测，并利用强度分布处理获得缺陷区域的三维图像用于显示，但其并没有通过算法对三维图像的缺陷进行进一步确认，样件缺陷的确认依赖于人工，在需要高效率高精度生产的场合并不适用。
发明内容
本发明提供的一种基于3D视觉的基板焊料缺失检测装置，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题。
为解决上述技术问题，本发明提出的一种基于3D视觉的基板焊料缺失检测装置包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中：
取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像以及对基板焊料区域进行结构光投影。
计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测。
外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果。
进一步地，取像组件包括主视点相机、视差视点相机、结构光投影器以及成像驱动单元，其中：
主视点相机和视差视点相机均包括RGB镜头以及与RGB镜头连接的CCD成像芯片，且主视点相机和视差视点相机分别用于在根据基板位置调整取像组件前，从主视点和视差视点采集基板焊料区域的RGB图像，获得第一组RGB图像，以及在根据基板位置调整取像组件后，再次从主视点和视差视点采集基板焊料区域的RGB图像，获得第二组RGB图像。
结构光投影器，用于对基板焊料区域进行结构光投影。
成像驱动单元，用于接收计算驱动组件发送的成像控制信号，控制主视点相机和视差视点相机将基板图像采集到CCD成像芯片上，并通过总线发送至计算驱动组件。
进一步地，计算驱动组件包括依次连接的第一组RGB图像接收单元、预检测单元、第二组RGB图像接收单元、定位单元以及基板焊料缺失检测单元，其中：
第一组RGB图像接收单元，用于通过成像驱动单元接收第一组RGB图像。
预检测单元，用于基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域。
第二组RGB图像接收单元，用于调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像。
定位单元，用于根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位。
基板焊料缺失检测单元，用于根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
进一步地，预检测单元包括基板位置检测模块和疑似焊料异常区域检测模块，其中：
基板位置检测模块，用于对第一组RGB图像中的RGB图像进行灰度化，获得第一组RGB灰度图，对第一组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第一组基板灰度图像，获取基板轮廓边缘的最小外接矩形，并根据最小外接矩形的中心获得基板位置。
疑似焊料异常区域检测模块，用于对第一组基板灰度图像中的基板灰度图像进行边缘检测，获得第一组基板焊料区域图像，对第一组基板焊料区域图像中的基板焊料区域图像进行边缘检测，获得疑似异常区域图像，将与主视点相机和视差视点相机分别对应的疑似异常区域图像进行交运算，获得交运算结果图以及提取交运算结果图中的疑似异常区域，并根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域以及预检测正常区域，预检测正常区域具体为交运算结果图中除去疑似焊料异常区域的其他区域，其中疑似焊料异常区域检测单元根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域包括：
计算疑似异常区域中的单个异常的面积，对存在单个异常的面积大于单异常阈值的疑似异常区域，标记为疑似焊料异常区域，否则计算疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似异常区域标记为疑似焊料异常区域，否则标记为焊料区域正常，并结束当前检测。
进一步地，定位单元包括依次连接的第二组基板焊料区域图像获取模块以及精准定位模块，其中：
第二组基板焊料区域图像获取模块，用于对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图；对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像以及对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像。
精准定位模块，用于根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵，其中第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像；根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点；通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像以及通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。
进一步地，基板焊料缺失检测单元包括依次连接的样本点采样模块、深度计算模块、异常检验值计算模块以及真实焊料异常区域判断模块，其中：
样本点采样模块，用于在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点。
深度计算模块，用于根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度，其中根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度包括：
根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度，其中待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离。
异常检验值计算模块，用于根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值。
真实焊料异常区域判断模块，用于根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
进一步地，异常检验值计算模块，根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的计算公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。
进一步地，真实焊料异常区域判断模块，用于根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域包括：
判断疑似焊料异常区域的异常检验值是否大于检验阈值，若是，则判定疑似焊料异常区域为真实焊料异常区域，否则判断与疑似焊料异常区域对应的疑似异常区域中是否存在单个异常的面积大于单异常阈值的单个异常，若存在，则判定疑似焊料异常区域为真实焊料异常区域，若否，则计算与疑似焊料异常区域对应的疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似焊料异常区域标记为真实焊料异常区域，否则为非真实焊料异常区域。
进一步地，计算驱动组件还包括存储模块和内存单元，其中存储单元用于存储基板焊料缺失检测的预设任务，内存单元用于存储基板焊料缺失检测过程中生成的过程数据和检测结果。
进一步地，基板焊料缺失检测装置还包括用于保护计算驱动组件的外壳组件。
本发明提出的基于3D视觉的基板焊料缺失检测装置，包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像以及对基板焊料区域进行结构光投影；计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测；外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，既能实现基板定位，又能在保证检测精度的同时提高检测的效率和生产效率。
本发明的有益效果具体包括：
(1)在设备组成上，本装置采用两个RGB相机组成RGB相机组，并采用结构光投影辅助检测。利用MCU控制RGB相机组和结构光投影器的开光逻辑，实现对基板焊料区域的预检测和深入检测，从硬件上保证检测精度和检测效率。
(2)在方法上，本装置采取先对基板位置进行预检测，预检测的目的在于检测出基板的位置，用于反馈吸取装置对基板进行吸取，同时也在于减少检测的时间消耗，避免在大部分焊料正常的基板上花费过多的时间。只有在预检测出现疑似异常时才进行结构光辅助的双目检测，进一步检测基板焊料区的焊料状况，从而确定异常情况。如此，既能实现基板定位，又能在保证检测精度的同时提高检测的效率和生产效率。
附图说明
图1为本发明实施二的基于3D视觉的基板焊料异常检测装置图。
图2为本发明实施二的基于3D视觉的基板焊料异常检测装置的硬件单元图。
图3为本发明实施二的基于3D视觉的基板焊料异常检测装置的双目结构光图像采集示意图。
图4为本发明实施二的基于3D视觉的基板焊料异常检测装置的相机控制逻辑流程图。
图5为本发明实施二的深度计算示意图。
附图标记：
U1、计算处理器；U2、左RGB成像CCD芯片；U3、左RGB相机；U4、结构光投影器；U5、右RGB相机；U6、右RGB成像CCD芯片；U7、成像驱动单元；U8、集成电路板；U9、电源接口；U10、外部通信接口；U11、外壳组件；U12、总线；U13、存储模块；U14、外部设备；U15、内存单元；U16、共晶焊接工作环境；U17、基板。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
本发明实施例一提供的一种基于3D视觉的基板焊料缺失检测装置，包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中：
取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像以及对基板焊料区域进行结构光投影。
计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测。
外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果。
本发明实施例提供的基于3D视觉的基板焊料缺失检测装置，包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像以及对基板焊料区域进行结构光投影；计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测；外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果，解决了现有技术无法精确高效检测共晶贴片机基板焊料异常的技术问题，既能实现基板定位，又能在保证检测精度的同时提高检测的效率和生产效率。
实施例二
目前的基板焊料缺陷检测装置由于专一性或通用性，都难以较好地贴合基板焊料异常检测的需求，不能较好地使用在共晶贴片机的基板焊料异常检测上。为此，本发明实施例设计了一种基于3D视觉的基板焊料异常检测装置，为共晶贴片机中基板焊料异常检测提供了一种可见光和深度图像相结合的检测方案。
本装置同基板吸嘴安装在同一活动机构，在吸取转移基板前便可将焊料异常的基板选出，从而提高效率。
如图1和图2所示，本装置由外壳组件、取像组件、计算驱动组件和外部接口组件组成。如下对各个组件进行具体说明。
1、外壳组件U11：
外壳组件U11用于保护取像镜组和内部电子元件。
2、取像组件：
如图3所示，取像组件用于获取基板的RGB图像，并将其用于处理和分析。取像组件包括位于结构光投影器左侧的主视点相机、结构光投影器右侧的视差视点相机、结构光投影器以及成像驱动单元。
其中，左右两个RGB相机用于采集RGB图像，供计算驱动电路进行处理和判断。
结构光投影器用于向基板焊料区域投射编码处理后的结构光图案，用于协同左右两相机进行基板焊料区域的3D成像。结构光投影的区域仅为焊料区域及其周围的小部分范围，以减少成本和计算负载。
3、计算驱动组件：
计算驱动组件用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测。
计算驱动组件包括第一组RGB图像接收单元，用于通过成像驱动单元接收第一组RGB图像，第一组RGB图像具体为根据基板位置调整取像组件前，通过主视点相机和视差视点相机从主视点和视差视点分别采集的基板焊料区域的RGB图像；预检测单元，用于基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域；第二组RGB图像接收单元，用于调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像，第二组RGB图像具体为主视点相机和视差视点相机跟随结构光投影器位置调整后，通过主视点相机和视差视点相机从主视点和视差视点分别采集的基板焊料区域的RGB图像；定位单元，用于根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位；基板焊料缺失检测单元，用于根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
其中第一组RGB图像接收单元、预检测单元、第二组RGB图像接收单元、定位单元以及基板焊料缺失检测单元执行任务是通过集成在集成电路板U8上的计算处理器U1，即CPU和成像驱动单元U7完成的。
如图4所示，计算驱动组件需要实现对拍照逻辑的控制，具体为：
(1)在启动设备后，CPU会将存储模块U13中的预设任务通过总线U12读到内存单元U15中执行。
(2)检测周期开始后，CPU根据预设任务进行预检测，首先是通过总线U12向成像驱动单元U7发送成像控制信号，控制位于结构光投影器左侧的主视点相机(即左RGB相机U3)和位于结构光投影器右侧的视差视点相机(即右RGB相机U5)，将处于共晶焊接工作环境U16中的基板U17的图像分别采集到左RGB成像CCD芯片U2和右RGB成像CCD芯片U6上，并通过成像驱动单元U7将数字图像经过总线U12发送到CPU中，并经总线U12将图像存储到存储模块U13中。
(3)CPU继续执行内存中的预检测任务，对获取到的基板RGB图像进行灰度变换和去噪处理。
其中，预检测包括：
①使用双目RGB相机对基板进行拍摄，获得第一组RGB图像，第一组RGB图像包括与主视点相机和视差视点相机分别对应的RGB图像，记为RGB图像和/>
②对两幅RGB图像进行灰度化和去噪处理得到和/>并将处理后的图像进行二值化，用于检测基板的位置和基板区域图像的提取。
③利用边缘检测方法检测二值化图像中的基板轮廓，获取基板轮廓的最小外接矩形，将基板灰度图和/>从/>和/>中提取出，并将最小外接矩形的中心作为基板的位置进行获取，得到基板在两幅RGB图像中的位置pl和pr，并获取中心偏度bp＝||pp-pc||，p∈{l,r}，中心偏度衡量基板偏离图像中央的程度。
④选取中心偏度较小的图像计算获得基板在世界坐标中的位置。
(4)CPU执行预检测任务的基板定位，并可将其通过总线U12送到外部接口，可以反馈基板吸取机构，实现跟高精度的抓取。
(5)随后计算梯度图检测焊料区域的灰度均匀性，出现灰度变化大的区域时认为该区域为疑似异常区域。若未检测出异常区域时，CPU跳出当前执行的任务，该检测周期结束，共晶贴片机进行后续的作业，设备进入下一检测周期。
①具体地，首先利用提取基板图像的方法将基板焊料区域的灰度图像和/>从基板灰度图/>和/>中提取出来。
②焊料异常的边缘与周围存在较大的差异，因此利用边缘检测将疑似异常区域的边缘提取出来，再将区域进行填充得到两幅疑似异常区域图。
③对疑似异常图像进行开运算操作，去除噪声的影响，得到各个子区域和/>各个子区域最终构成疑似异常区域集合/>和/>
其中，fl,i(x,y)＝0和fr,i(x,y)＝0是两幅图像第i个区域的边缘曲线，nl和nr分别为左和右RGB图像中提取出来的疑似异常区域个数。
④对两幅疑似异常区域做交运算得到最终的疑似异常区域Rs。如图2所示，具体操作如下：
⑤计算疑似异常区域Rs中的第i个疑似异常区域的面积Si(i＝1,2,...,ns)，对单个异常面积大于单异常阈值Tsingle的直接将该焊料区域标记为疑似焊料异常。
⑥若基板尚未被标记为疑似焊料异常，则计算所有疑似异常区域的总面积Ss，当总面积大于阈值Tall时，区域将被标记为疑似焊料异常区域。
其中ns为疑似焊料异常区域的个数。最终的焊料区域疑似异常判定为：
目前绝大多数的焊料缺陷检测便止步于此，但通过二维图像信息对缺陷进行检测和定位。然而，生产现场中的拍摄条件较差，单依据二维图像对焊料区域的缺陷进行判断的方式易将拍摄条件的干扰误判为缺陷，从而出现较高的误检率，大大降低了生产效率，增加了生产成本。因此，为了提高检测精度、保证生产效率，在预检测结果为异常的基板结合3D视觉进行进一步检测。
(6)若检测出疑似异常区域，则继续执行预设的疑似异常处理任务。根据检测出的基板U17位置调整检测设备的位置，使结构光投影器U4投射的图案能够落在基板U17的焊料区域。
(7)对基板焊料区域进行图案投射，再使用左右两个RGB相机对基板进行拍照，获得第二组RGB图像。随后利用预检测中的方法获取基板焊料区域在两图像中的位置，具体包括对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图，对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像以及对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，其中第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像。
根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵Tmain，其中第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像。具体地，本实施例获取变换矩阵的具体过程为：获取交运算结果图中焊料区域的最小外接矩形，然后将最小外接矩形的左上角作为焊料区域的坐标原点，并定义水平和垂直方向分别为X和Y轴。同样，对于第二主视点基板焊料区域图像，可以取第二主视点基板焊料区域图像的最小外接矩形的左上角作为坐标原点，将交运算结果图中焊料区域坐标等效至第二主视点基板焊料区域坐标上，由此利用第二主视点基板焊料区域图像的坐标系相对第二主视点图像坐标系中的旋转平移量可以得到交运算结果图中焊料区域坐标相对于第二主视点图像的变换矩阵Tmain。
根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点。
通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像。
通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。具体地，结构光投影器向基板焊料区域投射结构光图案，并对基板区域再次进行RGB图像的获取。结构光投影图案在方窗内的编码各不相同，在两幅RGB图像中进行阈值分割可以获得结构光的编码图案，对两幅RGB图像中图像进行解码即可对两幅图像中的基板焊料区域和实际的基板焊料区域位置进行精确匹配，利用精确匹配的点可精确计算出焊料区域位置的真实深度，大大提高深度计算的精度，从而提高后续焊料缺失检测精度。
(8)对基板焊料区域进行精准定位后，本实施例在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点，然后根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度。参照图5，待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离。
随后CPU通过总线U12将两幅RGB图像和计算出的待测点的深度存入存储模块。
(9)为了对预检测中的疑似焊料异常进行进一步检测，同时减少计算时间、保证检测效率，对预检测正常区域和各个预检测疑似焊料异常中的点进行随机抽样，将抽样的点ps(x,y)按pmain(x,y)＝Tmainps(x,y)转换至第二主视点RGB图像中，并利用结构光图案精确获得第二视差视点RGB图像中的匹配点passistant(x,y)。
本实施例通过将点pmain(x,y)和passistant(x,y)按式(6)计算深度d，并统计预检测正常区域和第i个预检测疑似焊料异常区域中深度样本x的频次Pnormal(x)和Pi(x)，最后获得预检测正常区域和第i个预检测疑似焊料异常区域的深度样本累计经验分布函数和/>若疑似焊料异常区域真实为正常区域，则其中采样的深度样本应该与预检测正常区域中采样的深度样本符合同分布；反之，若疑似焊料异常区域中采样的深度样本与预检测正常区域采样样本的分布相差较大，则可说明疑似焊料异常区域为真实异常。因此，通过式(7)计算累积经验分布函数之间的差异来构建异常检验值，值越大则说明疑似焊料异常区域为真实异常区域的可能性越大。具体地，本实施例根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的具体公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。通常正常区域中选择点数nnormal为500，疑似异常区域中选取点数ni为该疑似异常区域1/3的点数且不超过200个点。
(10)CPU继续检测任务。根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测，并将结果通过总线U12存入存储模块。
具体地，将检验值大于检验阈值Ttest的区域标记为异常区域，记录其区域序号i。对所有疑似焊料异常区域进行检验得到最终的异常区域序号集合A。
A＝{i|1≤i≤ns,i∈Z+,Zi＞Ttest} (8)
查询疑似异常区域中被标记为异常的区域中是否存在单个面积大于单个异常最小允许限度Tsingle的区域，存在则将此基板判定为焊料异常。
在各个异常区域面积均不大于单个异常最大允许限度Tsingle时，计算异常区域总面积S，异常区域总面积大于最大允许限度Tall时，将该焊料区域标记为异常。
其中n是焊料中异常区域的个数。
最终异常区域判定结果result为：
(10)CPU执行后续的异常处理任务。当基板焊料区域异常属实，则CPU会通过总线U12向外部接口传输信号进行结果反馈。
4、外部接口组件：
外部接口组件用于与外部建立联系，实现电源获取和数据传输功能。外部接口组件由电源接口U9和外部通信接口U10组成。
设备通过电源接口U9从外部获取电源驱动设备。
外部通信接口U10则用于在判断出异常时向外部设备U14，例如上位机和报警设备发出信号，并用于向上位机发送拍摄到的基板图像，留作备份和用于人工复检。
本发明实施例在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机对基板进行RGB成像，并利用机器视觉方法获取这两幅图像中的基板焊料异常信息，并通过与运算对焊料异常信息进行滤波，将误差信息滤除，提高检测的精度。对于疑似异常的基板焊料区域将利用3D视觉检测验证图像中异常信息的准确性，进一步提高了检测的准确性。
此外，本发明实施例在基于3D视觉的基板焊料缺失检测设备的基础上，先利用设备上的两RGB相机进行RGB图像获取，并利用机器视觉的方法对两RGB图像中的异常信息进行提取，获得基板焊料区域的疑似异常状态，在疑似异常的情况下再对基板焊料区域进行异常验证，如此不需要对所有基板都进行完整的3D视觉检测，节省了共晶贴片机的工时，提高了作业效率。
本发明的目的在于设计一种基于3D视觉的基板焊料异常检测装置，采用可见光图像和3D图像相结合的异常检测方法，为检测共晶贴片机基板焊料异常提供一种可行可靠的方法。
本发明的目的在于设计一种基于3D视觉的基板焊料异常检测装置，提供一种利用可见光图像和3D图像分步检测的方法，为检测共晶贴片机基板焊料异常提供一种精确高效的方法。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于3D视觉的基板焊料缺失检测装置，其特征在于，所述基板焊料缺失检测装置包括与基板吸嘴安装在同一活动机构，并依次连接的取像组件、计算驱动组件以及外部接口组件，其中：
所述取像组件，用于根据计算驱动组件发送的成像控制信号采集基板焊料区域的RGB图像以及对基板焊料区域进行结构光投影；
所述计算驱动组件，用于控制取像组件采集基板焊料区域的RGB图像和控制结构光投影器对基板焊料区域进行结构光投影，以及接收取像组件采集的基板焊料区域的RGB图像，并根据基板焊料区域的RGB图像，对基板位置和基板焊料缺失进行检测；
所述外部接口组件，用于根据计算驱动组件输出的基板位置，调整取像组件的取像位置，以及接收并输出基板焊料缺失检测结果。
2.根据权利要求1所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述取像组件包括主视点相机、视差视点相机、结构光投影器以及成像驱动单元，其中：
所述主视点相机和视差视点相机均包括RGB镜头以及与RGB镜头连接的CCD成像芯片，且所述主视点相机和视差视点相机分别用于在根据基板位置调整取像组件前，从主视点和视差视点采集基板焊料区域的RGB图像，获得第一组RGB图像，以及在根据基板位置调整取像组件后，再次从主视点和视差视点采集基板焊料区域的RGB图像，获得第二组RGB图像；
所述结构光投影器，用于对基板焊料区域进行结构光投影；
所述成像驱动单元，用于接收计算驱动组件发送的成像控制信号，控制主视点相机和视差视点相机将基板图像采集到CCD成像芯片上，并通过总线发送至计算驱动组件。
3.根据权利要求2所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述计算驱动组件包括依次连接的第一组RGB图像接收单元、预检测单元、第二组RGB图像接收单元、定位单元以及基板焊料缺失检测单元，其中：
所述第一组RGB图像接收单元，用于通过成像驱动单元接收第一组RGB图像；
所述预检测单元，用于基于第一组RGB图像，对基板焊料区域的焊料异常进行预检测，获得基板位置、疑似焊料异常区域以及预检测正常区域；
所述第二组RGB图像接收单元，用于调整结构光投影器至基板位置正上方，并在双目RGB相机跟随结构光投影器位置调整后的位置，采用双目RGB相机采集共晶贴片机基板的第二组RGB图像；
所述定位单元，用于根据结构光投影器投射的结构光图案以及第二组RGB图像，对基板焊料区域进行精准定位；
所述基板焊料缺失检测单元，用于根据精准定位后的基板焊料区域，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
4.根据权利要求3所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述预检测单元包括基板位置检测模块和疑似焊料异常区域检测模块，其中：
所述基板位置检测模块，用于对第一组RGB图像中的RGB图像进行灰度化，获得第一组RGB灰度图，对第一组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第一组基板灰度图像，获取基板轮廓边缘的最小外接矩形，并根据最小外接矩形的中心获得基板位置；
所述疑似焊料异常区域检测模块，用于对第一组基板灰度图像中的基板灰度图像进行边缘检测，获得第一组基板焊料区域图像，对第一组基板焊料区域图像中的基板焊料区域图像进行边缘检测，获得疑似异常区域图像，将与主视点相机和视差视点相机分别对应的疑似异常区域图像进行交运算，获得交运算结果图以及提取交运算结果图中的疑似异常区域，并根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域以及预检测正常区域，所述预检测正常区域具体为交运算结果图中除去疑似焊料异常区域的其他区域，其中所述疑似焊料异常区域检测单元根据疑似异常区域的面积，对疑似异常区域进行标记，获得疑似焊料异常区域包括：
计算疑似异常区域中的单个异常的面积，对存在单个异常的面积大于单异常阈值的疑似异常区域，标记为疑似焊料异常区域，否则计算疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似异常区域标记为疑似焊料异常区域，否则标记为焊料区域正常，并结束当前检测。
5.根据权利要求4所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述定位单元包括依次连接的第二组基板焊料区域图像获取模块以及精准定位模块，其中：
所述第二组基板焊料区域图像获取模块，用于对第二组RGB图像中的RGB图像进行灰度化，获得第二组RGB灰度图；对第二组RGB灰度图中的RGB灰度图进行二值化及基板轮廓边缘提取，获得第二组基板灰度图像以及对第二组基板灰度图像中的基板灰度图像进行边缘检测，获得第二组基板焊料区域图像，所述第二组基板焊料区域图像包括与主视点相机和视差视点相机分别对应的第二主视点基板焊料区域图像和第二视差视点基板焊料区域图像；
所述精准定位模块，用于根据第二主视点基板焊料区域图像，获取交运算结果图映射到第二主视点RGB图像的变换矩阵，其中所述第二主视点RGB图像为第二组RGB图像中与主视点相机对应的RGB图像；根据变换矩阵，获取与交运算结果图中像素点对应的位于第二主视点RGB图像中的第一匹配点；通过第二视差视点RGB图像对结构光投影器投射的结构光图案进行解码，匹配获得与第一匹配点对应的第二匹配点，其中所述第二视差视点RGB图像为第二组RGB图像中与视差视点相机对应的RGB图像以及通过第一匹配点和第二匹配点，对基板焊料区域进行精准定位。
6.根据权利要求3-5任一所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述基板焊料缺失检测单元包括依次连接的样本点采样模块、深度计算模块、异常检验值计算模块以及真实焊料异常区域判断模块，其中：
所述样本点采样模块，用于在疑似焊料异常区域和预检测正常区域分别随机采集预设阈值数目的样本点；
所述深度计算模块，用于根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度，其中根据精准定位后的基板焊料区域，分别计算疑似焊料异常区域和预检测正常区域中样本点的深度包括：
根据精准定位后的基板焊料区域，匹配获得基板焊料区域中分别与疑似焊料异常区域和预检测正常区域中样本点对应的待测点的深度，其中待测点的深度计算公式具体为：
其中，d为待测点的深度，表示待测点到光心的距离，b为双目RGB相机光心的距离，f为主视点相机和视差视点相机的焦距，y1为待测点到主视点相机图像左边缘的距离，y2为待测点到视差视点相机图像左边缘的距离；
所述异常检验值计算模块，用于根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值；
所述真实焊料异常区域判断模块，用于根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域，从而实现基板焊料缺失检测。
7.根据权利要求6所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述异常检验值计算模块，根据疑似焊料异常区域和预检测正常区域中样本点的深度，计算疑似焊料异常区域的异常检验值的计算公式为：
其中，Zi表示第i个疑似焊料异常区域的异常检验值，Fnormal(d)和Fi(d)分别表示预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本点的累积经验分布函数，nnormal和ni分别表示在预检测正常区域和第i个疑似焊料异常区域随机选取进行深度计算的样本数的个数，Pnormal(x)和Pi(x)分别表示预检测正常区域和第i个疑似焊料异常区域中深度样本x的频次。
8.根据权利要求7所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述真实焊料异常区域判断模块，用于根据疑似焊料异常区域的异常检验值，判断疑似焊料异常区域是否为真实焊料异常区域包括：
判断疑似焊料异常区域的异常检验值是否大于检验阈值，若是，则判定疑似焊料异常区域为真实焊料异常区域，否则判断与疑似焊料异常区域对应的疑似异常区域中是否存在单个异常的面积大于单异常阈值的单个异常，若存在，则判定疑似焊料异常区域为真实焊料异常区域，若否，则计算与疑似焊料异常区域对应的疑似异常区域中所有单个异常的总面积，当所有单个异常的总面积大于总阈值时，将疑似焊料异常区域标记为真实焊料异常区域，否则为非真实焊料异常区域。
9.根据权利要求8所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述计算驱动组件还包括存储模块和内存单元，其中所述存储单元用于存储基板焊料缺失检测的预设任务，所述内存单元用于存储基板焊料缺失检测过程中生成的过程数据和检测结果。
10.根据权利要求9所述的基于3D视觉的基板焊料缺失检测装置，其特征在于，所述基板焊料缺失检测装置还包括用于保护计算驱动组件的外壳组件。
CN202311604810.3A 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测装置 Pending CN117420140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311604810.3A CN117420140A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311604810.3A CN117420140A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测装置

Publications (1)

Publication Number Publication Date
CN117420140A true CN117420140A (zh) 2024-01-19

Family

ID=89526717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311604810.3A Pending CN117420140A (zh) 2023-11-28 2023-11-28 一种基于3d视觉的基板焊料缺失检测装置

Country Status (1)

Country Link
CN (1) CN117420140A (zh)

Similar Documents

Publication Publication Date Title
CN110497187B (zh) 基于视觉引导的太阳花模组装配系统
CN101794842B (zh) 太阳能电池片背银印刷设备视觉装置
CN103675588B (zh) 印刷电路元件极性的机器视觉检测方法及设备
CN100349689C (zh) 基于环形激光视觉传感的焊缝自动定位方法
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN107345789A (zh) 一种pcb板孔位检测装置及方法
CN103063137B (zh) 一种基于机器视觉的药瓶测量系统及其测量方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN103454285A (zh) 基于机器视觉的传动链条质量检测系统
CN110473184A (zh) 一种pcb板缺陷检测方法
CN106327496A (zh) 基于aoi的pcb裸板盲孔缺陷的检测系统及方法
CN111982921A (zh) 孔缺陷的检测方法、装置、传送平台及存储介质
CN112858321A (zh) 基于线阵ccd的钢板表面缺陷检测系统及方法
CN113538583A (zh) 一种工件在机床上位置的精准定位方法及视觉系统
CN114636706A (zh) 一种太阳能电池片在镀膜后的图像检测的综合方法及装置
CN117571721B (zh) 一种电路板焊盘表面缺陷检测方法、装置及存储介质
CN111598771A (zh) 一种基于ccd相机的pcb电路板缺陷检测系统及方法
CN114820439A (zh) 基于aoi的pcb裸板缺陷的检测系统及方法
CN115575416A (zh) 柔性电路板焊盘检测方法及系统
CN107643611A (zh) 一种液晶屏与背光源装配精度的自动检测系统
CN112763496A (zh) 一种手机电池表面缺陷检测装置及其检测方法
CN116851929A (zh) 一种运动状态下的物体视觉定位激光打标方法及系统
CN109712115B (zh) 一种pcb板自动检测方法及系统
CN117420140A (zh) 一种基于3d视觉的基板焊料缺失检测装置
CN206583440U (zh) 一种投影图像视距检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination