CN116051485A - 贴片焊接质量检查方法、装置、设备及存储介质 - Google Patents

贴片焊接质量检查方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116051485A
CN116051485A CN202211710106.1A CN202211710106A CN116051485A CN 116051485 A CN116051485 A CN 116051485A CN 202211710106 A CN202211710106 A CN 202211710106A CN 116051485 A CN116051485 A CN 116051485A
Authority
CN
China
Prior art keywords
frame
patch
detected
image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211710106.1A
Other languages
English (en)
Inventor
茹彬鑫
狄东林
康佩伦
赵晨旭
季聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhiyuan Technology Co ltd
Shenzhen Zhiyuan Technology Co ltd
Original Assignee
Beijing Zhiyuan Technology Co ltd
Shenzhen Zhiyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiyuan Technology Co ltd, Shenzhen Zhiyuan Technology Co ltd filed Critical Beijing Zhiyuan Technology Co ltd
Priority to CN202211710106.1A priority Critical patent/CN116051485A/zh
Publication of CN116051485A publication Critical patent/CN116051485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，提供一种贴片焊接质量检查方法、装置、设备及存储介质，方法包括：获取焊接有贴片的PCB图像；采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。本发明具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。

Description

贴片焊接质量检查方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种贴片焊接质量检查方法、装置、设备及存储介质。
背景技术
SMT(表面贴装技术)生产流程中的贴片焊接质量检查是指在经过点胶、贴装、回流焊接和清洗后对贴片有效焊接面积、贴片内气泡、贴片偏移量和偏移角度的检查。SMT贴片焊接质量检查作为SMT基本工艺中必不可少的一环，贴片质量的好坏直接影响到出货率、成品的质量以及企业的利益，因此制造商对于贴片焊接质量检查的要求越来越高。
基于模板匹配，blob分析等传统视觉算法的自动光学检测和X-RAY(X射线)检测系统，依赖于人工提取图像特征，存在算法泛化性弱，迁移性差，性能不稳定等问题，不适用于全新的、复杂度高的检测场景。
发明内容
针对上述技术问题，本申请的目的在于提供一种贴片焊接质量检查方法、装置、设备及存储介质，旨在解决传统视觉算法存在传统SMT贴片焊接质量检查方法存在泛化性弱，迁移性差，性能不稳定等问题。
第一方面，本发明实施例提供一种贴片焊接质量检查方法，其特征在于，包括：
获取焊接有贴片的PCB图像；
采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；
基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；
基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；
基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；
基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
进一步的，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括：
获取所述检测到的贴片框的中心点和所述检测到的焊盘框的中心点；
根据所述检测到的贴片框的中心点确定所述检测到的贴片框的中轴；
根据所述检测到的焊盘框的中心点确定所述焊盘框的中轴；
将所述焊盘框的中轴作为理想状态下的贴片框的中轴；
根据所述检测到的贴片框的中轴和所述理想状态下的贴片框的中轴计算所述检测到的贴片框的偏移角度。
进一步的，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括：
根据所述检测到的贴片框的偏移角度以及所述检测到的贴片框，计算得到理想状态下的贴片框；
获取所述理想状态下的贴片框的中心点；
计算所述检测到的贴片框的中心点和所述理想状态下的贴片框的中心点之间的位移距离，将所述位移距离作为所述检测到的贴片框的偏移距离。
进一步的，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括：
将所述检测到的焊盘框的区域裁切下来，作为焊盘框图像；
基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域；
统计所述有效焊接区域的像素个数；
获取相机的空间分辨率；
将所述有效焊接区域的像素个数乘以所述相机的空间分辨率得到有效焊接区域的实际面积。
进一步的，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括：
采用Laplacian算子对所述焊盘框图像进行处理，得到第一图像；
采用Sobel算子对所述第一图像进行处理，得到第二图像；
采用Canny算子对所述第一图像进行处理，得到第三图像；
将所述第二图像和所述第三图像进行叠加校验降噪，得到第四图像；
基于所述第四图像，采用OTSU算法和/或GrabCut算法分割得到有效焊接区域。
进一步的，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括：
采用预先训练好的预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域；
统计所述气泡区域的像素个数；
计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，将所述比值作为所述效焊接区域内的气泡所占比。
进一步的，在所述获取焊接有贴片的PCB图像的步骤之前，还包括：
获取X-RAY检测系统输出的PCB板的X-RAY图像；其中，所述PCB板上焊接有贴片；
将所述PCB板的X-RAY图像切割为多个图像，得到多个所述焊接有贴片的PCB图像。
第二方面，本发明实施例提供一种贴片焊接质量检查装置，其特征在于，包括：
图像获取模块，用于获取焊接有贴片的PCB图像；
检测模块，用于采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；
贴片框的偏移角度计算模块，用于基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；
贴片框的偏移距离计算模块，用于基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；
有效焊接区域的实际面积计算模块，用于基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；
有效焊接区域内的气泡所占比计算模块，用于基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的贴片焊接质量检查方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的贴片焊接质量检查方法的步骤。
本发明实施例通过采用基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，并基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。如此，不赖于人工提取图像特征，从而解决了基于模板匹配，blob分析等传统视觉算法泛化性弱，迁移性差，性能不稳定等问题，本发明方法具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的贴片焊接质量检查方法的示意图；
图2是本申请实施例提供的焊盘框、检测到的贴片框以及理想状态下的贴片框的示意图；
图3是本申请实施例提供的PCB图像；
图4是本申请实施例提供的焊盘框图像；
图5是本申请实施例提供的采用Laplacian算子对焊盘框图像进行处理，得到第一图像；
图6是本申请实施例提供的采用Sobel算子对第一图像进行处理，得到第二图像；
图7是本申请实施例提供的采用Canny算子对第一图像进行处理，得到第三图像；
图8是本申请实施例提供的分割得到的有效焊接区域；
图9是本申请实施例提供的采用预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域；
图10是本申请实施例提供的贴片焊接质量检查装置的结构示意图；
图11是本申请实施例提供的计算机设备的结构示意框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一：
本发明实施例提供一种贴片焊接质量检查方法，包括步骤S1-S6：
S1、获取焊接有贴片的PCB图像。
在本发明实施例中，执行主体是计算机设备，所述计算机设备具体可以检测工控机设备，所述贴片可以是SMT贴片，SMT是表面贴装技术，英文全称为Surface MountTechnology，是目前电子组装行业里最流行的一种技术和工艺之一，所述PCB，其英文全称为Printed Circuit Board，即印制电路板，俗称PCB板，贴片贴装在PCB板上。
S2、采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框。
在本发明实施例中，所述预先训练好的基于深度学习的贴片以及焊盘检测模型能够对斜框进行检测。所述基于深度学习的贴片以及焊盘检测模型所采用的为单阶段目标检测模型。单阶段目标检测模型不需要进行特征候选区域(ROI)的额外提取，只需要提取一次特征即可以实现目标检测，因此推理速度比多阶段的检测模型快，适合本发明所述的工业检测场景。单阶段目标检测模型的核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box(检测框)的位置及对检测框中包含的物体进行分类。可用于本发明的单阶段选项包括SSD，YOLO，RetinaNet等，他们的核心思想相似，主要区别为：SSD整个网络是全卷积网络，通过不同卷积层提取的尺度不同的特征用于回归和分类；Yolo通过采用特征金字塔结构提取不同尺度的特征，但特征提取的层数和位置与SSD不同；RetinaNet通过损失函数(Focal Loss)的改进解决了目标检测中正负样本不均衡的问题。训练YOLO模型以实现能够检测到贴片以及焊盘，从而得到贴片框和焊盘框，需要构造训练样本以及设计损失函数。训练样本的构建包括获取样本图像本身，然后对样本图像进行标注，得到训练样本。本发明实施例将焊接有贴片的PCB板作为样本图像本身。对样本图像进行标注的方法为：对检测目标用任意角度矩形框进行逐一标注，每个目标对应一个矩形框坐标(x,y,w,h,θ)和矩形框中所包含目标的种类，倾斜矩形框尽可能贴近目标，其中x、y分别表示矩形框中心点相对于图片左上角的水平和竖直偏移，w表示矩形框的宽度，h表示矩形框的高，θ表示矩形框倾斜的角度；每个图片还对应一个txt文件，txt文件中每一行包含该图中目标对应的矩形框的坐标(x,y,w,h,θ)以及目标类别。该过程中优选采用LabelMe标注软件进行标注。训练模型所采用的损失函数为基于单阶段目标检测损失函数，损失函数包括分类损失以及定位/回归损失：
L＝Lregression+Lclassification；其中，Lregression为回归损失，Lclassification为分类损失。
通过修改定位/回归函数，我们可以让模型预测包含角度信息的旋转矩形的检测框：
带旋转的检测框由可以被定义为B(x,y,w,h,θ)其中x,y是框的中心位置，w,h对应框的宽、高，θ是旋转角度，同时带旋转的检测框也可以被转换为一个二维的高斯分布N(μ，Σ)。
Figure BDA0004027227440000081
因此预测检测框和真实检测框的相似度对比可以通过Kullback-Leiblerdivergence(KLD)来量化：
Figure BDA0004027227440000082
其实中t下标代表真实的目标检测框，p下标代表模型预测的检测框.。将KLD稍作改进我们就得到了目标检测模型的定位损失Lregression：
Figure BDA0004027227440000083
τ是一个超参数,f(x)＝ln(x+1)是一个非线性的变换方程。
应当理解的是，训练YOLO模型以实现斜框检测为现有技术，本发明实施例对此不作详细赘述。
此外，应当理解的是，检测到的贴片框指的是贴片以及焊盘检测模型(目标检测网络)输出的表示贴片的目标框。此外，由于贴片机在进行贴片时贴片的位置会有一定的偏差，因而检测到的贴片框并非等同于理想状态下的贴片框。
另外，由于焊盘区域是固定的，因此，检测到的焊盘框的便可以认为是理想状态下的焊盘框。理想状态下的贴片框要包含焊盘框区域且两者中心对齐(即在同一直线上)，两框的边应该平行。理想状态下的贴片框1、检测到的贴片框2以及焊盘框3的关系如图2所示，其中，虚线a为焊盘框的中轴，虚线b为检测到的贴片框的中轴。
S3、基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度。
S4、基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离。
S5、基于所述检测到的焊盘框计算得到有效焊接区域的实际面积。
S6、基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
本发明实施例通过采用基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，并基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。如此，不赖于人工提取图像特征，从而解决了基于模板匹配，blob分析等传统视觉算法泛化性弱，迁移性差，性能不稳定等问题，本发明方法具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。
在一个实施例中，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括步骤S21-S25：
S21、获取所述检测到的贴片框的中心点和所述检测到的焊盘框的中心点。
在本发明实施例中，检测到的贴片框的中心点可以通过贴片框的四个端点在图像中的坐标位置计算得到。检测到的焊盘框的中心点可以通过焊盘框的四个端点在图像中的坐标位置计算得到。
S22、根据所述检测到的贴片框的中心点确定所述检测到的贴片框的中轴。
在本发明实施例中，检测到的贴片框的中轴指的是经过检测到的贴片框的中心点(如图2所示的o2)且垂直于检测到的贴片框的短边的直线，如图2中所示的虚线b。
S23、根据所述检测到的焊盘框的中心点确定所述焊盘框的中轴。
在本发明实施例中，焊盘框的中轴指的是经过焊盘框的中心点(如图2所示的o1)且与焊盘框的长边的垂直的直线，如图2所示的虚线a。其中，理想状态下的贴片框的中心点为焊盘框的中轴上的一点。
S24、将所述焊盘框的中轴作为理想状态下的贴片框的中轴。
在本发明实施例中，由于理想状态下的贴片框的中心点为焊盘框的中轴上的一点，且理想状态下的贴片框的边与焊盘框的边平行，两个框左右两边距离相等，因此将所述焊盘框的中轴作为理想状态下的贴片框的中轴。
S25、根据所述检测到的贴片框的中轴和所述理想状态下的贴片框的中轴计算所述检测到的贴片框的偏移角度。
在本发明实施例中，具体的，获得了检测到的贴片框的中轴也即能够计算出检测到的贴片框的斜率。获得了理想状态下的贴片框的中轴也即能够计算出理想状态下的贴片框的斜率。因此，可根据所述检测到的贴片框的斜率和所述理想状态下的贴片框的斜率计算所述检测到的贴片框的偏移角度。检测到的贴片框的偏移角度如图2所示β角。
在一个实施例中，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括步骤S31-步骤S33：
S31、根据所述检测到的贴片框的偏移角度以及所述检测到的贴片框，计算得到理想状态下的贴片框。
在本发明实施例中，由于理想片框和检测到的贴片框的大小相同，因此，可以将检测到的贴片框旋转偏移角度以得到理想状态下的贴片框。
S32、获取所述理想状态下的贴片框的中心点。
在本发明实施例中，理想状态下的贴片框的中心点可以通过理想状态下的贴片框的四个端点在图像中的坐标位置计算得到。
S33、计算所述检测到的贴片框的中心点和所述理想状态下的贴片框的中心点之间的位移距离，将所述位移距离作为所述检测到的贴片框的偏移距离。
本发明实施例通过基于检测到的贴片框的偏移角度以及检测到的贴片框，计算得到理想状态下的贴片框，然后计算检测到的贴片框的中心点和理想状态下的贴片框的中心点之间的位移距离，如此获得了贴片框的偏移距离。
在一个实施例中，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括步骤S41-步骤S45：
S41、将所述检测到的焊盘框的区域裁切下来，作为焊盘框图像。
假设PCB图像如图3所示，其中，目标框c表示焊盘框区域，目标框d表示贴片框区域，则将目标框c的区域裁切下来，作为焊盘框图像，如图4所示。
S42、基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域。
S43、统计所述有效焊接区域的像素个数。
S44、获取相机的空间分辨率。
S45、将所述有效焊接区域的像素个数乘以所述相机的空间分辨率得到有效焊接区域的实际面积。
在本发明实施例中，通过边缘提取算法和图像分割方法分割得到的有效焊接区域如图4(焊盘框图像)所述的不规则框e所示。
本发明实施例通过将所焊盘框的区域裁切下来，作为焊盘框图像，基于焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，统计所述有效焊接区域的像素个数，将所述有效焊接区域的像素个数乘以所述相机的空间分辨率，如此得到了有效焊接区域的实际面积。
在一个实施例中，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括步骤S421-S425：
S421、采用Laplacian算子对所述焊盘框图像进行处理，得到第一图像；
S422、采用Sobel算子对所述第一图像进行处理，得到第二图像；
S423、采用Canny算子对所述第一图像进行处理，得到第三图像；
S424、将所述第二图像和所述第三图像进行叠加校验降噪，得到第四图像；
S425、基于所述第四图像，采用OTSU算法和/或GrabCut算法分割得到有效焊接区域。
在本发明实施例中，假设焊盘框图像如图4所示，则得到的第一图像如图5所示，得到的第二图像如图6所示，得到的第三图像如图7所示，分割得到的有效焊接区域如图8所示。
在一个实施例中，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括步骤S51-步骤S53：
S51、采用预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域。
在本发明实施例中，采用预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域如图9所示，所述实例分割网络采用YOLO-segment实例分割网络，训练其能够分割出的气泡区域，需构建样本集以及设计损失函数。训练样本的构建包括获取样本图像本身，然后对样本图像进行标注，得到训练样本。本发明实施例将焊盘框图像作为样本图像本身。训练YOLO模型所采用的损失函数为YOLO损失函数，YOLO损失函数包括置信度损失、分类损失以及定位损失。
S52、统计所述气泡区域的像素个数；
S53、计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，将所述比值作为所述效焊接区域内的气泡所占比。
在本发明实施例中，气泡区域的像素个数与有效焊接区域的像素个数的比值便是有效焊接区域内气泡所占比。
本发明实施例通过统计有效焊接区域内的气泡区域的像素个数，并计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，如此获得了有效焊接区域内的气泡所占比。
在一个实施例中，在所述获取焊接有贴片的PCB图像的步骤之前，还包括：
获取X-RAY检测系统输出的PCB板的X-RAY图像；其中，所述PCB板上焊接有贴片；
将所述PCB板的X-RAY图像切割为多个图像，得到多个所述焊接有贴片的PCB图像。
在本发明实施例中，由于X-RAY检测系统输出的PCB板的X-RAY图像的尺寸可能很大，比如是一张分辨率为10000*10000的图像，尺寸过大会影响模型预测结果，因而需要将图像切割为1000*1000大小的多张图。
用户使用本发明的场景如下，假设有一批PCB板已经完成了贴片焊接，已知贴片有效焊接面积、贴片焊接后有效焊接区域内气泡所占比例、贴片相对理想位置的偏移量和偏移角度对最终成品的质量影响较大，现需要一种技术能够实现对上述内容的检查。而本发明则针对这一需求，提供了完整的解决方案。将本发明专利应用于SMT生产工艺流程中，有助于用户快速了解产品整体生产情况，并及时对生产过程进行调整。
本发明可集成在SMT生产工艺中，在经过点胶，贴装，回流焊接，清洗等流程后，在检测阶段获取PCB的X-RAY图像，并对获取到的图像进行切割，随后会自动对PCB上每一个贴片的贴片质量进行检查，等全部检查完毕，工作人员可在显示器上查看该批次PCB上贴片质量的详细情况。
实施例二：
请参阅图10，本发明实施例提供一种贴片焊接质量检查装置，包括：
图像获取模块1，用于获取焊接有贴片的PCB图像；
检测模块2，用于采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；
贴片框的偏移角度计算模块3，用于基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；
贴片框的偏移距离计算模块4，用于基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；
有效焊接区域的实际面积计算模块5，用于基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；
有效焊接区域内的气泡所占比计算模块6，用于有效焊接区域内的气泡所占比计算模块，用于基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
在一个实施例中，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括：
获取所述检测到的贴片框的中心点和所述检测到的焊盘框的中心点；
根据所述检测到的贴片框的中心点确定所述检测到的贴片框的中轴；
根据所述检测到的焊盘框的中心点确定所述焊盘框的中轴；
将所述焊盘框的中轴作为理想状态下的贴片框的中轴；
根据所述检测到的贴片框的中轴和所述理想状态下的贴片框的中轴计算所述检测到的贴片框的偏移角度。
在一个实施例中，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括：
根据所述检测到的贴片框的偏移角度以及所述检测到的贴片框，计算得到理想状态下的贴片框；
获取所述理想状态下的贴片框的中心点；
计算所述检测到的贴片框的中心点和所述理想状态下的贴片框的中心点之间的位移距离，将所述位移距离作为所述检测到的贴片框的偏移距离。
在一个实施例中，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括：
将所述检测到的焊盘框的区域裁切下来，作为焊盘框图像；
基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域；
统计所述有效焊接区域的像素个数；
获取相机的空间分辨率；
将所述有效焊接区域的像素个数乘以所述相机的空间分辨率得到有效焊接区域的实际面积。
在一个实施例中，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括：
采用Laplacian算子对所述焊盘框图像进行处理，得到第一图像；
采用Sobel算子对所述第一图像进行处理，得到第二图像；
采用Canny算子对所述第一图像进行处理，得到第三图像；
将所述第二图像和所述第三图像进行叠加校验降噪，得到第四图像；
基于所述第四图像，采用OTSU算法和/或GrabCut算法分割得到有效焊接区域。
在一个实施例中，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括：
采用预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域；
统计所述气泡区域的像素个数；
计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，将所述比值作为所述效焊接区域内的气泡所占比。
在一个实施例中，所述装置还包括切割模块，用于在所述获取焊接有贴片的PCB图像之前，
获取X-RAY检测系统输出的PCB板的X-RAY图像；其中，所述PCB板上焊接有贴片；
将所述PCB板的X-RAY图像切割为多个图像，得到多个所述焊接有贴片的PCB图像。
实施例三：
参照图11，本发明实施例还提供一种计算机设备，该计算机设备的内部结构可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种贴片焊接质量检查方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地，上述计算机设备还可以设置有输入装置和显示屏等。上述计算机程序被处理器执行时以实现一种贴片焊接质量检查方法，包括如下步骤：获取焊接有贴片的PCB图像；采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本发明实施例通过采用基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，并基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。如此，不赖于人工提取图像特征，从而解决了基于模板匹配，blob分析等传统视觉算法泛化性弱，迁移性差，性能不稳定等问题，本发明方法具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种贴片焊接质量检查方法，包括如下步骤：获取焊接有贴片的PCB图像；采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
本发明实施例通过采用基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，并基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。如此，不赖于人工提取图像特征，从而解决了基于模板匹配，blob分析等传统视觉算法泛化性弱，迁移性差，性能不稳定等问题，本发明方法具有更好的稳定性和泛化性，从而适用于全新的、复杂度高的检测场景。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种贴片焊接质量检查方法，其特征在于，包括：
获取焊接有贴片的PCB图像；
采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；
基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；
基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；
基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；
基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
2.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度，包括：
获取所述检测到的贴片框的中心点和所述检测到的焊盘框的中心点；
根据所述检测到的贴片框的中心点确定所述检测到的贴片框的中轴；
根据所述检测到的焊盘框的中心点确定所述焊盘框的中轴；
将所述焊盘框的中轴作为理想状态下的贴片框的中轴；
根据所述检测到的贴片框的中轴和所述理想状态下的贴片框的中轴计算所述检测到的贴片框的偏移角度。
3.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离，包括：
根据所述检测到的贴片框的偏移角度以及所述检测到的贴片框，计算得到理想状态下的贴片框；
获取所述理想状态下的贴片框的中心点；
计算所述检测到的贴片框的中心点和所述理想状态下的贴片框的中心点之间的位移距离，将所述位移距离作为所述检测到的贴片框的偏移距离。
4.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，所述基于所述检测到的焊盘框计算得到有效焊接区域的实际面积，包括：
将所述检测到的焊盘框的区域裁切下来，作为焊盘框图像；
基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域；
统计所述有效焊接区域的像素个数；
获取相机的空间分辨率；
将所述有效焊接区域的像素个数乘以所述相机的空间分辨率得到有效焊接区域的实际面积。
5.根据权利要求4所述的贴片焊接质量检查方法，其特征在于，所述基于所述焊盘框图像，通过边缘提取算法和图像分割方法分割得到有效焊接区域，包括：
采用Laplacian算子对所述焊盘框图像进行处理，得到第一图像；
采用Sobel算子对所述第一图像进行处理，得到第二图像；
采用Canny算子对所述第一图像进行处理，得到第三图像；
将所述第二图像和所述第三图像进行叠加校验降噪，得到第四图像；
基于所述第四图像，采用OTSU算法和/或GrabCut算法分割得到有效焊接区域。
6.根据权利要求4或5所述的贴片焊接质量检查方法，其特征在，所述基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比，包括：
采用预先训练好的基于深度学习的实例分割网络对所述有效焊接区域进行分割，得到所述有效焊接区域内的气泡区域；
统计所述气泡区域的像素个数；
计算所述气泡区域的像素个数与所述有效焊接区域的像素个数的比值，将所述比值作为所述效焊接区域内的气泡所占比。
7.根据权利要求1所述的贴片焊接质量检查方法，其特征在于，在所述获取焊接有贴片的PCB图像的步骤之前，还包括：
获取X-RAY检测系统输出的PCB板的X-RAY图像；其中，所述PCB板上焊接有贴片；
将所述PCB板的X-RAY图像切割为多个图像，得到多个所述焊接有贴片的PCB图像。
8.一种贴片焊接质量检查装置，其特征在于，包括：
图像获取模块，用于获取焊接有贴片的PCB图像；
检测模块，用于采用预先训练好的基于深度学习的贴片以及焊盘检测模型对所述PCB图像进行贴片检测和焊盘检测，得到检测到的贴片框和检测到的焊盘框；
贴片框的偏移角度计算模块，用于基于所述检测到的贴片框和所述检测到的焊盘框计算得到所述检测到的贴片框的偏移角度；
贴片框的偏移距离计算模块，用于基于所述检测到的贴片框的偏移角度以及所述检测到的贴片框计算得到所述贴片框的偏移距离；
有效焊接区域的实际面积计算模块，用于基于所述检测到的焊盘框计算得到有效焊接区域的实际面积；
有效焊接区域内的气泡所占比计算模块，用于有效焊接区域内的气泡所占比计算模块，用于基于所述有效焊接区域计算得到有效焊接区域内的气泡所占比。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的贴片焊接质量检查方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的贴片焊接质量检查方法的步骤。
CN202211710106.1A 2022-12-29 2022-12-29 贴片焊接质量检查方法、装置、设备及存储介质 Pending CN116051485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211710106.1A CN116051485A (zh) 2022-12-29 2022-12-29 贴片焊接质量检查方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211710106.1A CN116051485A (zh) 2022-12-29 2022-12-29 贴片焊接质量检查方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116051485A true CN116051485A (zh) 2023-05-02

Family

ID=86132417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211710106.1A Pending CN116051485A (zh) 2022-12-29 2022-12-29 贴片焊接质量检查方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116051485A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630333A (zh) * 2023-07-26 2023-08-22 常州铭赛机器人科技股份有限公司 在线监测激光雷达光学镜片点胶质量的方法
CN116912230A (zh) * 2023-08-11 2023-10-20 海格欧义艾姆(天津)电子有限公司 贴片焊接质量检测方法、装置、电子设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630333A (zh) * 2023-07-26 2023-08-22 常州铭赛机器人科技股份有限公司 在线监测激光雷达光学镜片点胶质量的方法
CN116630333B (zh) * 2023-07-26 2023-09-29 常州铭赛机器人科技股份有限公司 在线监测激光雷达光学镜片点胶质量的方法
CN116912230A (zh) * 2023-08-11 2023-10-20 海格欧义艾姆(天津)电子有限公司 贴片焊接质量检测方法、装置、电子设备和存储介质
CN116912230B (zh) * 2023-08-11 2024-06-28 海格欧义艾姆(天津)电子有限公司 贴片焊接质量检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN116051485A (zh) 贴片焊接质量检查方法、装置、设备及存储介质
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN113344931A (zh) 一种插件视觉检测识别方法、可读存储介质及设备
US10140691B2 (en) Correcting perspective distortion in double-page spread images
CN111598074A (zh) 边缘检测方法和装置、电子设备和存储介质
CN113808108B (zh) 一种印刷膜缺陷视觉检测方法和系统
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
CN115908420A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN117152165B (zh) 感光芯片缺陷的检测方法、装置、存储介质及电子设备
CN112115948A (zh) 一种基于深度学习的芯片表面字符识别方法
CN112991374A (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN109584237A (zh) 芯片检测方法、装置、计算机设备和存储介质
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
US20210089806A1 (en) Systems and methods for obtaining templates for tessellated images
CN117670887B (zh) 一种基于机器视觉的锡焊高度及缺陷检测方法
CN113538291B (zh) 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN113221897A (zh) 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN116912230B (zh) 贴片焊接质量检测方法、装置、电子设备和存储介质
CN115239789B (zh) 用于确定液体体积的方法及装置、存储介质、终端
CN110210291B (zh) 导向片参数获取方法、装置、电子设备以及存储介质
CN117007600A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN114863456A (zh) 题目识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination