CN115082466A - 一种pcb表面焊点缺陷检测方法及系统 - Google Patents

一种pcb表面焊点缺陷检测方法及系统 Download PDF

Info

Publication number
CN115082466A
CN115082466A CN202211002564.XA CN202211002564A CN115082466A CN 115082466 A CN115082466 A CN 115082466A CN 202211002564 A CN202211002564 A CN 202211002564A CN 115082466 A CN115082466 A CN 115082466A
Authority
CN
China
Prior art keywords
point
welding
area
areas
welding point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211002564.XA
Other languages
English (en)
Other versions
CN115082466B (zh
Inventor
陈小兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beilide Electronic Technology Shenzhen Co ltd
Original Assignee
Jiangsu Qingci Machinery Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Qingci Machinery Manufacturing Co ltd filed Critical Jiangsu Qingci Machinery Manufacturing Co ltd
Priority to CN202211002564.XA priority Critical patent/CN115082466B/zh
Publication of CN115082466A publication Critical patent/CN115082466A/zh
Application granted granted Critical
Publication of CN115082466B publication Critical patent/CN115082466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种PCB表面焊点缺陷检测方法及系统，包括：采集焊接后PCB板的表面图像，对图像进行预处理；对图像进行分割，得到焊点，提取焊点区域的特征信息；根据缺陷特征完成识别与分类。本发明通过图像处理技术，消除外界干扰，提取缺陷特征，自动完成对焊点缺陷的检测与识别，有效提高了检测效率与精度。

Description

一种PCB表面焊点缺陷检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种PCB表面焊点缺陷检测方法及系统。
背景技术
在工业领域中，缺陷检测是一个必不可少的环节，其检测性能决定了产品的整体品质，并将直接影响产品的效益。绝大多数工厂还是依靠人工手段即通过人眼结合放大设备如放大镜、显微镜等实现对PCB缺陷和焊点缺陷的检测功能。人工检测存在诸多缺点，如成本较高、检测速度慢，由于工人主观差异以及工人疲劳导致检测误差甚至检测错误等。再者电学检测是通过对PCB进行电性能的检测找出制造缺陷，一般不能直接给出缺陷位置和类别，且缺陷单一，使用难度较高；此外，传统机器视觉缺陷大多都是参考法，做差找位置，特征找类别，所采用的定量测量方式难以找到合适的特征用来进行检测，因此其实际的检测表现较差，受到外界条件如光照的影响较大，识别效果鲁棒性较差。
发明内容
本发明的目的在于提供一种PCB表面焊点缺陷检测方法及系统，用于解决现有的PCB板表面焊点缺陷检测不准确的问题。
为解决上述技术问题，本发明提供了一种PCB表面焊点缺陷检测方法，包括以下步骤：
采集焊接后PCB板的表面图像，并根据表面图像，获取对应的R通道灰度图像和HSV图像；
对R通道灰度图像进行全局阈值分割，从而得到N个第一焊点区域；
根据HSV图像，获取颜色特征图，进而确定色调阈值，根据色调阈值，对颜色特征图进行分割，从而得到M个第二焊点区域；
对N个第一焊点区域和M个第二焊点区域进行匹配关联，确定N个第一焊点区域各自的相关联的第二焊点区域；
根据N个第一焊点区域及其相关联的第二焊点区域中各个像素点的灰度值和色调值，计算N个第一焊点区域与其相关联的第二焊点区域之间的相似性；
根据N个第一焊点区域与其相关联的第二焊点区域之间的相似性，对N个第一焊点区域进行筛选，从而得到筛选后各个第一焊点区域；
根据筛选后各个第一焊点区域以及筛选后各个第一焊点区域各自的相关联的第二焊点区域，确定最终的各个焊点区域；
对最终的各个焊点区域进行特征提取，从而得到最终的各个焊点区域对应的特征向量；
根据最终的各个焊点区域对应的特征向量，确定焊接后PCB板对应的缺陷类别。
进一步的，进而确定色调阈值，包括：
根据颜色特征图，获取颜色直方图，并根据颜色直方图确定初始的色调阈值；
根据初始的色调阈值，对颜色特征图进行分割，得到第一区域和第二区域，计算第一区域的平均色调值和第二区域的平均色调值，并根据第一区域的平均色调值和第二区域的平均色调值对初始的色调阈值进行更新，从而得到更新后的色调阈值；
根据更新后的色调阈值，重新对颜色特征图进行分割，重新得到第一区域和第二区域，计算重新得到的第一区域的平均色调值和第二区域的平均色调值，并根据重新得到的第一区域的平均色调值和第二区域的平均色调值对更新后的色调阈值再次进行更新，重复上述步骤以对色调阈值不断进行更新，直至更新前后的色调阈值之间的差异小于给定的误差值。
进一步的，确定N个第一焊点区域各自的相关联的第二焊点区域，包括：
确定N个第一焊点区域各自对应的质心点以及M个第二焊点区域各自对应的质心点；
计算任意一个第一焊点区域对应的质心点与任意一个第二焊点区域对应的质心点之间的距离，进而根据所有的距离，利用匹配算法进行匹配关联，从而得到N个第一焊点区域各自的相关联的第二焊点区域。
进一步的，计算N个第一焊点区域与其相关联的第二焊点区域之间的相似性对应的计算公式为：
Figure 44079DEST_PATH_IMAGE001
其中，
Figure 23536DEST_PATH_IMAGE002
为任意一个第一焊点区域与其相关联的第二焊点区域之间的相似性，
Figure 383367DEST_PATH_IMAGE003
为任意一个第一焊点区域中第i个像素点的灰度值，
Figure 840893DEST_PATH_IMAGE004
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的灰度值，
Figure 468315DEST_PATH_IMAGE005
为任意一个第一焊点区域中第i个像素点的色调值，
Figure 556356DEST_PATH_IMAGE006
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的色调值，
Figure 400553DEST_PATH_IMAGE007
为任意一个第一焊点区域中像素点的数目，
Figure 740399DEST_PATH_IMAGE008
为任意一个第一焊点区域的相关联的第二焊点区域中像素点的数目。
进一步的，对N个第一焊点区域进行筛选，从而得到筛选后各个第一焊点区域，包括：
根据N个第一焊点区域与其相关联的第二焊点区域之间的相似性，判断每个第一焊点区域与其相关联的第二焊点区域之间的相似性是否大于设定相似性阈值，若大于设定相似性阈值，则将对应的第一焊点区域作为筛选后的第一焊点区域。
进一步的，确定最终的各个焊点区域，包括：
根据筛选后各个第一焊点区域以及筛选后各个第一焊点区域各自的相关联的第二焊点区域， 确定筛选后各个第一焊点区域的各个边缘像素点以及筛选后各个第一焊点区域各自的相关联的第二焊点区域的各个边缘像素点；
根据筛选后各个第一焊点区域的边缘像素点以及筛选后各个第一焊点区域各自的相关联的第二焊点区域的边缘像素点，确定筛选后各个第一焊点区域的各个重叠边缘像素点和各个非重叠边缘像素点；
对筛选后每个第一焊点区域的每个非重叠边缘像素点和所述筛选后每个第一焊点区域的质心点进行连线，从而得到该连线对应的直线与所述筛选后每个第一焊点区域的相关联的第二焊点区域的交点；
计算筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值，并根据优选值，确定筛选后每个第一焊点区域的每个非重叠边缘像素点对应的实际边缘像素点；
根据筛选后每个第一焊点区域的各个重叠边缘像素点以及各个非重叠边缘像素点对应的实际边缘像素点，确定最终的各个焊点区域。
进一步的，计算筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值对应的计算公式为：
Figure 737174DEST_PATH_IMAGE009
其中，
Figure 242455DEST_PATH_IMAGE010
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值，
Figure 59101DEST_PATH_IMAGE011
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点的第k个八邻域像素点对应的灰度值，
Figure 202637DEST_PATH_IMAGE012
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点的灰度值。
进一步的，对最终的各个焊点区域进行特征提取，从而得到最终的各个焊点区域对应的特征向量，包括：
对于最终的每个焊点区域，获取最终的每个焊点区域的边缘上的各个采样点，对最终的每个焊点区域的质心点和每个采样点进行连线，并计算连线上任意两个相邻像素点之间的高度差异，进而得到最终的每个焊点区域对应的平均高度差异和各个离群高度差异；
获取最终的每个焊点区域对应的面积、体积和最小外接矩形，并将最小外接矩形的长和宽分别作为对应焊点区域对应的最大距离和最小距离；
根据最终的各个焊点区域对应的平均高度差异、各个离群高度差异、最大距离、最小距离、面积和体积，确定最终的各个焊点区域对应的特征向量。
本发明还提供了一种PCB表面焊点缺陷检测系统 ，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现上述的一种PCB表面焊点缺陷检测方法。
本发明具有如下有益效果：本发明通过图像处理技术对图像进行分析，相较于传统的分析算法，减少了外界干扰的焊点区域的获取，解决了检测现场存在光照不均的现象以及焊接所用焊锡因包含有杂质而发生溅射等问题，使焊点区域获得的更加准确，同时提取了焊点区域的特征，输送到分类器中，对焊点区域的缺陷进行分类识别，提高了效率和精度，降低了检测成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例的PCB表面焊点缺陷检测方法的流程图；
图2为本发明实施例的树状分段线性分类器进行缺陷分类识别的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
应用情景：生产的PCB板需进行表面焊点缺陷检测，防止因为焊点缺陷导致电子产品出现问题。传统的检测方法存在着一定的局限性，受到的干扰较大。
针对上述应用情景，本实施例提供了一种PCB表面焊点缺陷检测方法，如图1所示，其整体逻辑为：采集PCB表面图像，对图像进行预处理；对图像进行分割，得到焊点，提取焊点区域的特征信息；根据缺陷特征完成识别与分类。该PCB表面焊点缺陷检测方法通过图像处理技术，消除外界干扰，提取缺陷特征，自动完成对焊点缺陷的检测与识别，提高了检测效率与精度。下面对该PCB表面焊点缺陷检测方法进行具体介绍。
步骤一：采集PCB表面图像，对图像进行预处理。
使用高分辨率深度相机，固定光源的形式采集焊接后PCB表面图像，采集的图像为RGB图像，并对RGB图像进行HSV空间转化。而对于RGB颜色空间中，基于R通道描述的PCB焊接图像，由于红色一般表示较平坦的焊盘或焊锡表面，故对其进行检测总体效果更好，故提取PCB图像的R通道，得到相应的灰度图像Q，对图像Q进行中值滤波去除噪声。至此，得到了预处理后的PCB表面的灰度图像Q以及HSV图像。
步骤二：对图像进行分割，得到焊点，提取焊点区域的特征信息。
首先对图像进行分割，获得准确的焊点区域，再提取焊点区域的特征信息，后续输入到分类器中对其缺陷进行分类识别，具体实现过程包括：对图像进行分割，得到焊点区域；提取焊点区域的特征
（1）对图像进行分割，得到焊点区域。
由于PCB板的焊锡部分相对于PCB板图像的其他部分更亮。为有效将包含PCB板的焊锡部分的焊点区域与PCB板图像中其他较暗背景区域有效分离，故将滤波后的图像进行二值化。从而，可以方便地获取焊点区域图像。
本实施例中通过Otsu最佳全局阈值方法得到的阈值将图像焊点区域作为前景，其他部位作为背景对图像Q进行分割，初步得到焊点区域。通过canny算子检测，获得各焊点区域的边缘像素点，通过链码法获取各焊点区域的边缘信息，最终得到了N个焊点区域。
由于检测现场存在光照不均的现象以及焊接所用焊锡因包含有杂质而发生溅射等问题，故得到的焊点区域不一定为真实的焊点区域。故本实施例根据每个像素点均含有色调值H，获得色调图W，像素点个数为R，再对颜色特征图获取颜色直方图，颜色图像上同样包括前景和背景两个区域，在根据色调阈值对图像进行分割时，阈值T的选取尤为关键，当T选取过大时，较多的目标被划分到背景中，T选取较小时，较多的背景被划分到目标中，故本实施例中通过迭代阈值方法获取最优色调阈值对其进行分割。
首先根据颜色直方图估计一个色调阈值
Figure 303186DEST_PATH_IMAGE013
，然后根据阈值
Figure 998610DEST_PATH_IMAGE013
将图像进行分割为俩个区域A和B，计算俩区域内所有像素的平均色调值
Figure 53285DEST_PATH_IMAGE014
，
Figure 656304DEST_PATH_IMAGE015
，根据平均色调值调整色调阈值
Figure 942186DEST_PATH_IMAGE013
：
Figure 355981DEST_PATH_IMAGE016
不断重复上述步骤，直至某连续的俩次迭代得到色调阈值之间的差异小于给定的误差值
Figure 350481DEST_PATH_IMAGE017
，即
Figure 6459DEST_PATH_IMAGE018
，经验值
Figure 910962DEST_PATH_IMAGE019
，停止迭代，其中
Figure 948188DEST_PATH_IMAGE020
表示第n次迭代得到的色调阈值。
选取色调阈值
Figure 473060DEST_PATH_IMAGE021
对图像W进行分割。将其分为焊点区域与背景区域。再通过canny算子对色调图进行检测，获得各焊点区域的边缘像素点，假设得到了M个焊点区域。
根据得到的M个焊点区域与之前大津阈值得到的N个焊点区域进行对比分析。首先对Q图像得到的N个焊点区域与W图像的M个焊点区域进行匹配关联。获取各焊点区域（两张图像的焊点区域都进行了获取）的质心点，计算质心点之间的距离，根据质心点之间的距离使俩张图像之间的焊点区域进行通过KM匹配算法进行匹配关联。比如Q图像的任一焊点区域E，分别计算其质心点a点与W图像上M个焊点区域的质心点（假设焊点区域P，其质心点为b点）的距离d：
Figure 496511DEST_PATH_IMAGE022
其中（
Figure 911312DEST_PATH_IMAGE023
）为质心点a的坐标，b点同理。选取质心点之间距离最小的焊点区域，假设为R区域，R区域内像素点个数为
Figure 431024DEST_PATH_IMAGE007
，与E区域，E区域内像素点个数为
Figure 931275DEST_PATH_IMAGE008
，计算俩焊点区域之间的相似性Y
Figure 368204DEST_PATH_IMAGE024
其中，
Figure 14342DEST_PATH_IMAGE002
为任意一个第一焊点区域与其相关联的第二焊点区域之间的相似性，
Figure 393371DEST_PATH_IMAGE003
为任意一个第一焊点区域中第i个像素点的灰度值，
Figure 131651DEST_PATH_IMAGE004
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的灰度值，
Figure 683855DEST_PATH_IMAGE005
为任意一个第一焊点区域中第i个像素点的色调值，
Figure 56936DEST_PATH_IMAGE006
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的色调值，
Figure 403604DEST_PATH_IMAGE007
为任意一个第一焊点区域中像素点的数目，
Figure 957076DEST_PATH_IMAGE008
为任意一个第一焊点区域的相关联的第二焊点区域中像素点的数目。
上述公式通过计算俩区域内平均灰度差异与色调差异表征焊点区域之间的相似性，差异越大相似度越小。设置阈值T，根据经验值T=0.9，对于图像Q中每个焊点区域都与其相关联的焊点区域进行了相似性Y的计算，对于相似性Y大于阈值T的焊点区域进行保留，否则则可认为该焊点区域为受到干扰而检测出的，不是真实焊点区域。使用两种方法对焊点区域进行获取，对获取的焊点区域进行相似性计算，使获得的焊点区域更准确减少外界干扰。
而两张图像上得到的焊点区域边缘可能不一致，即不一致的区域其边缘信息不够准确，故需要对于Q图像上保留后的焊点区域，对边缘进行再获取。以下为举例说明，Q图像上的E区域，质心点为a点，W图像上的P区域，质心点为b点。
对E和P区域边缘重叠的部分进行保留，非重叠的部分进行如下操作，在E区域边缘上选取像素点q点，连接a点和q点得到一条直线，与P区域边缘相交于w点。在q点与w点之间任选像素点r点，获取其3*3邻域，计算像素点r点作为边缘像素点的优选值S：
Figure 582747DEST_PATH_IMAGE009
其中，
Figure 29909DEST_PATH_IMAGE011
为像素点r点的灰度值，
Figure 298210DEST_PATH_IMAGE011
为像素点r点的第k个八邻域像素点对应的灰度值。
上述公式计算了像素点与其邻域像素点之间的灰度差异，差异越大，越有可能作为边缘，即优选值S越大。优选值越接近1，越可能是边缘像素点，选取q和w之间优选值最大的像素点作为边缘像素点，对非重叠部分像素点进行如上计算，获得准确的边缘像素点，将最终的边缘像素点相连，得到准确的焊点区域边缘。至此，得到了图像上准确的焊点区域。
（2）提取焊点区域的特征。
根据上述步骤，得到了图像Q上的各焊点区域。而本实施例中使用了深度相机，故不仅可得到每个像素点的（x，y）坐标信息也可得到每个像素点的高度信息h。基于此，提取焊点区域的特征信息。E区域的特征指标信息提取过程如下：
像素点的灰度值为F，色调值为H，坐标为(x,y,h)，E区域的质心点为e点。在E区域边缘上选取m个采样点，连接采样点与e点，得到直线，从采样点处向e点处，计算相邻像素点之间的高度差异
Figure 837514DEST_PATH_IMAGE025
，假设采样点与e点之间有V个像素点，则得到V-1个
Figure 731520DEST_PATH_IMAGE025
值，通过拉依达法对
Figure 49500DEST_PATH_IMAGE025
值检测是否存在离群值，若存在则记录下离群值
Figure 737970DEST_PATH_IMAGE026
，不存在则离群值
Figure 33079DEST_PATH_IMAGE027
，对剩下的高度差异
Figure 419192DEST_PATH_IMAGE025
，计算平均值
Figure 637684DEST_PATH_IMAGE028
。得到m个平均值
Figure 74219DEST_PATH_IMAGE028
，再对这m个
Figure 761684DEST_PATH_IMAGE028
求平均值得到
Figure 997493DEST_PATH_IMAGE029
，假设共得到了U个离群值
Figure 520091DEST_PATH_IMAGE026
。
再获取焊点区域的最小外接矩形，其长即为焊点区域的最大距离
Figure 550364DEST_PATH_IMAGE030
，其宽记为最小距离
Figure 53021DEST_PATH_IMAGE031
。获取焊点区域E区域的面积s与体积v。
将上述得到的信息组合，得到特征向量[
Figure 76209DEST_PATH_IMAGE029
,
Figure 269293DEST_PATH_IMAGE032
,
Figure 690041DEST_PATH_IMAGE033
,
Figure 915880DEST_PATH_IMAGE034
,s,v]，其中i=1，2，…U。至此，完成了焊点区域的特征提取。
步骤三：根据缺陷特征完成识别与分类。
将上述步骤得到的焊点区域特征向量输入到已训练好的树状分段线性分类器中，对缺陷进行分类识别。
设一含有n类模式的集合{
Figure 493492DEST_PATH_IMAGE035
}，用特征将其和各枝叶进行二分割处理，最后集合中的每一类都被依次分出，如图2所示。至此，根据缺陷特征完成了缺陷的识别与分类。
本实施例还提供了一种PCB表面焊点缺陷检测系统 ，包括处理器和存储器，处理器用于处理存储在所述存储器中的指令，以实现上述的PCB表面焊点缺陷检测方法。
需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种PCB表面焊点缺陷检测方法，其特征在于，包括以下步骤：
采集焊接后PCB板的表面图像，并根据表面图像，获取对应的R通道灰度图像和HSV图像；
对R通道灰度图像进行全局阈值分割，从而得到N个第一焊点区域；
根据HSV图像，获取颜色特征图，进而确定色调阈值，根据色调阈值，对颜色特征图进行分割，从而得到M个第二焊点区域；
对N个第一焊点区域和M个第二焊点区域进行匹配关联，确定N个第一焊点区域各自的相关联的第二焊点区域；
根据N个第一焊点区域及其相关联的第二焊点区域中各个像素点的灰度值和色调值，计算N个第一焊点区域与其相关联的第二焊点区域之间的相似性；
根据N个第一焊点区域与其相关联的第二焊点区域之间的相似性，对N个第一焊点区域进行筛选，从而得到筛选后各个第一焊点区域；
根据筛选后各个第一焊点区域以及筛选后各个第一焊点区域各自的相关联的第二焊点区域，确定最终的各个焊点区域；
对最终的各个焊点区域进行特征提取，从而得到最终的各个焊点区域对应的特征向量；
根据最终的各个焊点区域对应的特征向量，确定焊接后PCB板对应的缺陷类别；
确定N个第一焊点区域各自的相关联的第二焊点区域，包括：
确定N个第一焊点区域各自对应的质心点以及M个第二焊点区域各自对应的质心点；
计算任意一个第一焊点区域对应的质心点与任意一个第二焊点区域对应的质心点之间的距离，进而根据所有的距离，利用匹配算法进行匹配关联，从而得到N个第一焊点区域各自的相关联的第二焊点区域。
2.根据权利要求1所述的PCB表面焊点缺陷检测方法，其特征在于，进而确定色调阈值，包括：
根据颜色特征图，获取颜色直方图，并根据颜色直方图确定初始的色调阈值；
根据初始的色调阈值，对颜色特征图进行分割，得到第一区域和第二区域，计算第一区域的平均色调值和第二区域的平均色调值，并根据第一区域的平均色调值和第二区域的平均色调值对初始的色调阈值进行更新，从而得到更新后的色调阈值；
根据更新后的色调阈值，重新对颜色特征图进行分割，重新得到第一区域和第二区域，计算重新得到的第一区域的平均色调值和第二区域的平均色调值，并根据重新得到的第一区域的平均色调值和第二区域的平均色调值对更新后的色调阈值再次进行更新，重复上述步骤以对色调阈值不断进行更新，直至更新前后的色调阈值之间的差异小于给定的误差值。
3.根据权利要求1所述的PCB表面焊点缺陷检测方法，其特征在于，计算N个第一焊点区域与其相关联的第二焊点区域之间的相似性对应的计算公式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为任意一个第一焊点区域与其相关联的第二焊点区域之间的相似性，
Figure DEST_PATH_IMAGE006
为任意一个第一焊点区域中第i个像素点的灰度值，
Figure DEST_PATH_IMAGE008
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的灰度值，
Figure DEST_PATH_IMAGE010
为任意一个第一焊点区域中第i个像素点的色调值，
Figure DEST_PATH_IMAGE012
为任意一个第一焊点区域的相关联的第二焊点区域中第j个像素点的色调值，
Figure DEST_PATH_IMAGE014
为任意一个第一焊点区域中像素点的数目，
Figure DEST_PATH_IMAGE016
为任意一个第一焊点区域的相关联的第二焊点区域中像素点的数目。
4.根据权利要求1所述的PCB表面焊点缺陷检测方法，其特征在于，对N个第一焊点区域进行筛选，从而得到筛选后各个第一焊点区域，包括：
根据N个第一焊点区域与其相关联的第二焊点区域之间的相似性，判断每个第一焊点区域与其相关联的第二焊点区域之间的相似性是否大于设定相似性阈值，若大于设定相似性阈值，则将对应的第一焊点区域作为筛选后的第一焊点区域。
5.根据权利要求1所述的PCB表面焊点缺陷检测方法，其特征在于，确定最终的各个焊点区域，包括：
根据筛选后各个第一焊点区域以及筛选后各个第一焊点区域各自的相关联的第二焊点区域，确定筛选后各个第一焊点区域的各个边缘像素点以及筛选后各个第一焊点区域各自的相关联的第二焊点区域的各个边缘像素点；
根据筛选后各个第一焊点区域的边缘像素点以及筛选后各个第一焊点区域各自的相关联的第二焊点区域的边缘像素点，确定筛选后各个第一焊点区域的各个重叠边缘像素点和各个非重叠边缘像素点；
对筛选后每个第一焊点区域的每个非重叠边缘像素点和所述筛选后每个第一焊点区域的质心点进行连线，从而得到该连线对应的直线与所述筛选后每个第一焊点区域的相关联的第二焊点区域的交点；
计算筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值，并根据优选值，确定筛选后每个第一焊点区域的每个非重叠边缘像素点对应的实际边缘像素点；
根据筛选后每个第一焊点区域的各个重叠边缘像素点以及各个非重叠边缘像素点对应的实际边缘像素点，确定最终的各个焊点区域。
6.根据权利要求5所述的PCB表面焊点缺陷检测方法，其特征在于，计算筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值对应的计算公式为：
Figure DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE020
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点对应的优选值，
Figure DEST_PATH_IMAGE022
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点的第k个八邻域像素点对应的灰度值，
Figure DEST_PATH_IMAGE024
为筛选后每个第一焊点区域的每个非重叠边缘像素点与其对应的交点之间的任意一个像素点的灰度值。
7.根据权利要求1所述的PCB表面焊点缺陷检测方法，其特征在于，对最终的各个焊点区域进行特征提取，从而得到最终的各个焊点区域对应的特征向量，包括：
对于最终的每个焊点区域，获取最终的每个焊点区域的边缘上的各个采样点，对最终的每个焊点区域的质心点和每个采样点进行连线，并计算连线上任意两个相邻像素点之间的高度差异，进而得到最终的每个焊点区域对应的平均高度差异和各个离群高度差异；
获取最终的每个焊点区域对应的面积、体积和最小外接矩形，并将最小外接矩形的长和宽分别作为对应焊点区域对应的最大距离和最小距离；
根据最终的各个焊点区域对应的平均高度差异、各个离群高度差异、最大距离、最小距离、面积和体积，确定最终的各个焊点区域对应的特征向量。
8.一种PCB表面焊点缺陷检测系统 ，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现如权利要求1-7中任一项所述的一种PCB表面焊点缺陷检测方法。
CN202211002564.XA 2022-08-22 2022-08-22 一种pcb表面焊点缺陷检测方法及系统 Active CN115082466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211002564.XA CN115082466B (zh) 2022-08-22 2022-08-22 一种pcb表面焊点缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211002564.XA CN115082466B (zh) 2022-08-22 2022-08-22 一种pcb表面焊点缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN115082466A true CN115082466A (zh) 2022-09-20
CN115082466B CN115082466B (zh) 2023-09-01

Family

ID=83245279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211002564.XA Active CN115082466B (zh) 2022-08-22 2022-08-22 一种pcb表面焊点缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN115082466B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239727A (zh) * 2022-09-23 2022-10-25 南通荣茂电子科技有限公司 一种pcb板表面缺陷检测方法
CN115526889A (zh) * 2022-11-24 2022-12-27 江苏太湖锅炉股份有限公司 基于图像处理的锅炉压力管道的无损检测方法
CN116091503A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 一种面板异物缺陷的判别方法、装置、设备及介质
CN116805186A (zh) * 2023-08-21 2023-09-26 北京柏瑞安电子技术有限公司 一种pcba板智能加工数据管理系统
CN117152148A (zh) * 2023-10-31 2023-12-01 南通杰元纺织品有限公司 一种纺织物毛斑缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788806A (zh) * 2012-07-19 2012-11-21 北京农业智能装备技术研究中心 基于类球形亮度变换的水果表面缺陷检测方法
CN108596909A (zh) * 2018-05-09 2018-09-28 芜湖哈特机器人产业技术研究院有限公司 空心圆柱工件表面缺陷检测系统及方法
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及系统
CN114842011A (zh) * 2022-07-04 2022-08-02 启东万惠机械制造有限公司 基于图像处理的轴承磨损检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788806A (zh) * 2012-07-19 2012-11-21 北京农业智能装备技术研究中心 基于类球形亮度变换的水果表面缺陷检测方法
CN108596909A (zh) * 2018-05-09 2018-09-28 芜湖哈特机器人产业技术研究院有限公司 空心圆柱工件表面缺陷检测系统及方法
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及系统
CN114842011A (zh) * 2022-07-04 2022-08-02 启东万惠机械制造有限公司 基于图像处理的轴承磨损检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239727A (zh) * 2022-09-23 2022-10-25 南通荣茂电子科技有限公司 一种pcb板表面缺陷检测方法
CN115239727B (zh) * 2022-09-23 2022-12-27 南通荣茂电子科技有限公司 一种pcb板表面缺陷检测方法
CN115526889A (zh) * 2022-11-24 2022-12-27 江苏太湖锅炉股份有限公司 基于图像处理的锅炉压力管道的无损检测方法
CN115526889B (zh) * 2022-11-24 2023-03-03 江苏太湖锅炉股份有限公司 基于图像处理的锅炉压力管道的无损检测方法
CN116091503A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 一种面板异物缺陷的判别方法、装置、设备及介质
CN116805186A (zh) * 2023-08-21 2023-09-26 北京柏瑞安电子技术有限公司 一种pcba板智能加工数据管理系统
CN116805186B (zh) * 2023-08-21 2023-11-10 北京柏瑞安电子技术有限公司 一种pcba板智能加工数据管理系统
CN117152148A (zh) * 2023-10-31 2023-12-01 南通杰元纺织品有限公司 一种纺织物毛斑缺陷检测方法
CN117152148B (zh) * 2023-10-31 2023-12-29 南通杰元纺织品有限公司 一种纺织物毛斑缺陷检测方法

Also Published As

Publication number Publication date
CN115082466B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN115082466B (zh) 一种pcb表面焊点缺陷检测方法及系统
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN109785316B (zh) 一种芯片表观缺陷检测方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN110210477B (zh) 一种数字式仪表读数识别方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测系统及方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN110047063B (zh) 一种物料掉落的检测方法、装置、设备及存储介质
CN105447489B (zh) 一种图片ocr识别系统的字符与背景粘连噪声消除方法
CN114723758B (zh) 一种MiniLED薄板全自动连线的生产质量检测方法
CN112862770A (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN112991283A (zh) 基于超像素的柔性ic基板线宽检测方法、介质和设备
CN114972575A (zh) 一种基于轮廓边缘的直线拟合算法
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN114417993A (zh) 一种基于深度卷积神经网络和图像分割的划痕检测方法
CN112419260A (zh) 一种pcb文字区域缺陷检测方法
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN109001213B (zh) 一种卷到卷超薄柔性ic基板外观检测方法
CN112686872A (zh) 基于深度学习的木材计数方法
CN111563869B (zh) 用于摄像模组质检的污点测试方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统
CN115661110B (zh) 一种透明工件识别与定位的方法
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230808

Address after: 518000, 3rd Floor, 101 and 201 Office Buildings, Main Building, Beilide Industrial Park, No. 514 Sili Road, Dafu Community, Guanlan Street, Longhua District, Shenzhen City, Guangdong Province

Applicant after: Beilide Electronic Technology (Shenzhen) Co.,Ltd.

Address before: 226000 99, development avenue, HaimenGang New District, Haimen City, Nantong City, Jiangsu Province

Applicant before: Jiangsu Qingci Machinery Manufacturing Co.,Ltd.

GR01 Patent grant
GR01 Patent grant