CN116399888A - 一种基于贴片电阻焊点空洞的检测方法与装置 - Google Patents

Abstract

本发明涉及电子制造领域，更具体地说，它涉及一种基于贴片电阻焊点空洞的检测方法与装置，其技术方案要点是：S1、在生产管理系统中预设空洞率上限，以用于评价实测空洞率是否合格；S2、通过自监督模型，训练面向焊接区空洞的分割网络；S3、启动X‑Ray射线源，使样品在X射线束下旋转扫描，通过投影匹配法将多张2D图像重建成贴片电阻焊点的三维模型；S4、根据所述三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，获取焊点空洞的位置和形状；S5、进行体积计算，以获得焊点空洞总体积及焊点空洞总体积，随后将所述焊点空洞总体积除以所述焊点总体积，计算得出所述实测空洞率；S6、判断所述实测空洞率是否超出空洞率上限。本发明的优点在于可清晰、直观地展示被测对象内部结构，识别内部缺陷能力强，大大减少训练样本。

Description

一种基于贴片电阻焊点空洞的检测方法与装置

技术领域

本发明涉及电子制造领域，更具体地说，它涉及一种基于贴片电阻焊点空洞的检测方法与装置。

背景技术

近年来，全世界众多国家都出台了自己的制造业产业升级计划，典型代表是德国的工业4.0。制造业在我国既是国民社会经济中的支柱产业，也是我国推动创新以及产业升级的主战场。电子制造领域目前是全球化、市场化最彻底的领域，追随高新技术和低廉成本是电子产业发展的必然趋势，随着电子信息技术的发展，电子产品已经成为人民生活中不可分割的产物，印刷电路板作为电子产品中的重要部件，正在向着高效，尺寸小的方向发展，在贴片过程易出现各类缺陷，而对这类缺陷检测算法的研究目前吸引了大量的科研人员。回流焊工艺由于焊接效率高、焊接温度易控制等特性，被广泛应用于表面贴装技术领域。贴片组件在回流焊接过程中，当熔融的焊料冷却凝固时，焊料中产生的气体没有逃逸出去将会被“冻结”形成空洞，空洞对焊点造成的影响会降低焊点的机械强度，影响焊点的可靠性与寿命。在焊锡连接的质量标准中，空洞对质量起决定性的作用，尤其是在大尺度焊点中的空洞。从传热方面讲，空洞可能会导致模块功能失常，甚至在正常运行时会造成损坏。因此，对贴片组件焊点内部空洞缺陷进行检测和评估是实际生产中必不可少的环节。随着PCB上集成电路器件越来越趋向于高密度和小型化，使用人工检测不仅成本高，而且检测效率低、精度低。

针对上述问题，目前，公告号为CN114022464A的中国专利公开了一种贴片电阻焊点内部空洞自适应检测算法，其技术方案要点是：使用2D-X-Ray成像方式采集内部图像，提出一种自适应分区策略对贴片电阻图像进行分区域操作，然后对较暗区域采用基于形状先验的灰度自适应水平集方法进行空洞检测，对较亮区域提出一种自适应圆形卷积核检测空洞，最后采用形状因子和平均灰度策略，实现贴片电阻焊点内部空洞检测。

上述方案中解决了实现贴片电阻焊点内部空洞检测问题，但是其成像精度低，需要大量训练样本，对于目前广泛使用的双面回流焊板子效果很差，会使两面焊点的视像重叠且极难分辨。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于贴片电阻焊点空洞的检测方法与装置，具有清晰、直观地展示被检测对象内部结构、识别内部缺陷能力强、减少训练样本的优点。

本发明的上述技术目的是通过以下技术方案得以实现的，一种基于贴片电阻焊点空洞的检测方法：

S1、在生产管理系统中预设空洞率上限，以用于评价实测空洞率是否合格；

S2、通过自监督模型，训练面向焊接区空洞的分割网络；

S3、启动X-Ray射线源，使样品在X射线束下旋转扫描，通过投影匹配法将多张2D图像重建成贴片电阻焊点的三维模型；

S4、根据所述三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，获取焊点空洞的位置和形状；

S5、进行体积计算，以获得焊点空洞总体积及焊点空洞总体积，随后将所述焊点空洞总体积除以所述焊点总体积，计算得出所述实测空洞率；

S6、判断所述实测空洞率是否超出所述空洞率上限。在其中一个实施例中，所述自监督模型为采用自编码器作为自监督学习的模型，通过训练数据建立一个数据的压缩表示，以重新生成输入数据。

在其中一个实施例中，所述分割网络为U-Net网络，通过将X-ray图像和所述焊接区空洞的位置一一对应，输出与输入图像尺寸相同的标签图像。

在其中一个实施例中，所述投影匹配法的实施步骤如下：

S301、从多个2D投影图像中选择射线方向与基准图像的法向量相差最小的图像作为基准图像，并将其他图像依次与其匹配；

S302、选用交叉投影匹配算法搜索匹配度最佳的像素点位置，以此确定图像之间的匹配关系；

S303、通过依次对所有图像进行匹配，得到贴片电阻焊点的三维模型。在其中一个实施例中，所述焊点空洞的位置和形状的获取步骤还包括：

S401、将待预测的三维模型图像块输入至训练好的U-net网络中，以获得一个灰度值为0或1的二值图像；

S402、利用形态学处理对所述二值图像进行处理，得到所述焊点空洞的位置和形状信息。

在其中一个实施例中，所述体积计算的步骤还包括：

S501、将焊点三维模型导入有限元分析软件，利用软件的体积测量工具计算得出焊点总体积；

S502、将焊点三维模型导入Unigraphics三维建模软件进行网格化处理，生成三维网络模型；

S503、利用软件的测量工具，测量焊点空洞高度及直径尺寸；

S504、根据所述焊点空洞高度及直径尺寸，计算得出焊点空洞体积，将计算出的所述焊点空洞体积累加，得出所述焊点空洞总体积。

在其中一个实施例中，所述空洞率为所述焊点空洞体积与焊点总体积的比值。

在其中一个实施例中，所述判断为使用目测或显微镜方法进行判断。

根据本发明另提供一种基于贴片电阻焊点空洞的检测装置，所述检测装置包括：X-Ray射线源、图像接收器、载物台及移动导轨机构，所述载物台设置在所述移动导轨机构的活动端，所述X-Ray射线源设置在所述载物台的一侧，所述图像接收器设置在所述载物台的另一侧，所述载物台和所述图像接收器设置在所述X-Ray射线源发射端的延线上。

在其中一个实施例中，所述移动导轨机构包括变速箱、伺服电机、螺杆、编码器及控制器。

本发明通过采用3D-X-Ray，以此来解决需要大量训练样本和双面回流焊板子效果差的问题，由于3D-X-Ray可提供高密度和快速的测量点与图像，并且测量内部的几何尺寸与缺陷比例，其实使用分层技术，即将光束聚焦到任何一层并将相应图像投射到旋转的接受面上，使得位于交点处的图像非常清晰，而其他层上的图像则被消除，因此可对板子两面的焊点独立成像，由于其可清晰、直观地展示被测对象内部结构，识别内部缺陷的能力强，所以可大大减少训练样本。

附图说明

图1是本发明中基于贴片电阻焊点空洞的检测装置结构图；

图2是本发明中的检测方法流程图。

图中：1、X-Ray射线源；2、图像接收器；3、载物台；4、移送导轨机构。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

一种基于贴片电阻焊点空洞的检测方法,如图2所示，包括以下步骤：

S1、在生产管理系统(MES)中预设空洞率上限，所述空洞率上限用于评价焊点空洞率是否合格。

S2、通过自监督模型，训练面向焊接区空洞的分割网络；

在一个实例中，利用X-Ray射线源对贴片电阻焊点进行拍摄，获取待测量区域的图像，在数据采集之后，对获取的图像数据进行采样；

具体的，采用自编码器作为自监督学习的模型，自编码器是一种由编码器和解码器组成的神经网络，其目的是通过训练数据建立一个数据的压缩表示，并能够重新生成输入数据；

利用自监督模型得到的数据标签对分割网络进行训练，分割网络是一个U-Net网络，它能够将X-ray图像和空洞的位置一一对应，并输出与输入图像尺寸相同的标签图像。训练完网络后需要对模型进行评估，以确定它在测试集上的性能。如果性能不理想，可以调整训练参数、损失函数来优化模型。

S3、启动X-Ray射线源，使样品在X射线束下旋转扫描，连续获取多张2D图像，对获取的2D图像进行处理，通过投影匹配法将多张2D图像重建成三维模型；

具体的，投影匹配法的实施步骤如下：

S301、从多个2D投影图像中选择射线方向与基准图像的法向量相差最小的图像作为基准图像，并将其他图像依次与其匹配；

S302、选用交叉投影匹配算法搜索匹配度最佳的像素点位置，以此确定图像之间的匹配关系；

S303、通过依次对所有图像进行匹配，得到贴片电阻焊点的三维模型。

S4、根据贴片电阻焊点的三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，得到焊点空洞的位置和形状。

具体的，焊点空洞的位置和形状的获取步骤还包括：

S401、将待预测的三维模型图像块输入至训练好的U-net网络中，以获得一个灰度值为0或1的二值图像；

进一步的，灰度值为0或1，用于表示该像素点是否属于焊点区域。

S402、利用形态学处理对所述二值图像进行处理，得到所述焊点空洞的位置和形状信息。

S5、进行体积计算，以获得焊点空洞总体积及焊点总体积，随后将所述焊点空洞总体积除以所述焊点总体积，计算得出所述实测空洞率；

具体的，所述体积计算的步骤还包括：

S501、将焊点三维模型导入有限元分析软件，利用软件的体积测量工具计算得出焊点总体积；

S502、将焊点三维模型导入Unigraphics三维建模软件进行网格化处理，生成三维网络模型；

S503、利用软件的测量工具，测量焊点空洞高度及直径尺寸；

S504、根据所述焊点空洞高度及直径尺寸，计算得出焊点空洞体积，将计算出的所述焊点空洞体积累加，得出所述焊点空洞总体积。

测量焊点空洞的高度、直径尺寸，空洞的体积可以通过以下公式计算：

V＝(πd²/4)×h

其中，d为空洞的直径，h为空洞的高度(深度)，π为圆周率，V为空洞的体积。根据测量得到的焊点空洞的直径和高度，将其代入公式中即可计算得到空洞的体积。将计算出的空洞体积累加，得到焊点空洞的总体积。：空洞率是指焊点空洞体积与焊点总体积的比值，可以通过以上两步计算得到。

S6、使用目测或显微镜方法进行判断比较空洞率；

基于上述方案，将测得的焊点空洞率与预设的空洞率上限进行比较，如果测得的焊点空洞率小于或等于限值，则判断焊点空气率符合规范要求，如果测得的空洞率超过限值，则说明焊点空洞率已经超出了规范要求，需要采取相应的措施进行处理或修复。

基于上述方案，在一个完整的操作实例中：

在生产管理系统中预设空洞率上限为0.1％，所述空洞率上限用于评价焊点空洞率是否合格。利用X-Ray射线源对贴片电阻焊点进行拍摄，获取待测量区域的图像。采用自编码器作为自监督学习的模型。利用自监督模型得到的数据标签对分割网络进行训练，分割网络是一个U-Net网络，它能够将X-ray图像和空洞的位置一一对应，并输出与输入图像尺寸相同的标签图像。

启动X-Ray射线源，使样品在X射线束下旋转扫描，连续获取300张2D图像，对获取的2D图像进行处理，通过投影匹配法将300张2D图像重建成三维模型。投影匹配法具体的求解过程如下：

(1)首先获取多张2D贴片电阻焊点的图像，采用相同的视角拍摄，且距离相同，并用中值滤波预处理图像，去除噪声；

(2)将每张2D图像根据拍摄视角旋转成同一位姿，以便进行匹配。使用相机内参和图像坐标来进行3D空间到2D图像坐标的映射，并用软件(MATLAB)和相机标定工具完成；

(3)然后利用交叉投影匹配算法，将两张图像进行前向投影、反向投影、差值旋转操作，比较两张图像的匹配程度，通过最大化匹配程度来确定图像间的平移、旋转、缩放、扭曲等参数；

(4)重复第(3)步，对所有图像进行匹配，得到相邻图像之间的几何变换参数，将图像进行配准，转化为同一坐标系下的图像；

(5)接着进行三维重建，将匹配后的2D图像叠加，使用体视学成像技术，利用成像原理，分别从不同角度对匹配后的2D图像进行重建，得到三维体数据；

(6)最后对重建后的三维体数据进行后处理，进行平滑、减噪、修补处理，得到贴片电阻焊点的三维模型；

接着根据贴片电阻焊点的三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，得到焊点空洞的位置和形状。空洞分割网络使用U-net分割算法具体的求解过程如下：

(1)数据预处理：首先将贴片电阻焊点的三维模型切割为多个三维图像块，每个块大小与U-net网络输入层大小一致，并将图像块转化为灰度图像。

(2)构建U-net网络：使用卷积层、反卷积层及跳跃连接的编码器-解码器结构来构建U-net网络，使得网络能够同时考虑多个尺度的特征，提高分割效果。

(3)训练模型：使用已经被标注好的焊点区域和非焊点区域对模型进行训练。

(4)分割焊点区域：将待预测的三维模型图像块输入到已训练好的U-net网络中，得到输出结果。输出结果为二值图像，灰度值为0或1，表示该像素点是否属于焊点区域。通过二值化后，首先采用先膨胀再腐蚀的方式，用OpenCV中的函数cv2.morphologyEx()实现，膨胀可以填满小的空洞，使焊点更加连通，而腐蚀可以消除噪声点，使焊点边缘更加清晰；接着，使用连通组件算法对二值图像进行连通区域分析，找到焊点空洞的连通区域，用OpenCV中的函数cv2.connectedComponentsWithStats()实现，得到每个空洞的位置和大小信息；最后提取每个空洞的形状和位置信息，采用轮廓提取或拟合方法，利用OpenCV的函数cv2.findContours()实现。

对每个焊点空洞进行体积计算，得到焊点空洞的总体积，根据贴片电阻焊点的三维模型计算焊点的总体积，并计算空洞率，即将焊点空洞的总体积除以焊点的总体积。焊点总体积V1计算：将焊点三维模型导入有限元分析(FEA)软件中，利用软件的体积测量工具计算焊点的总体积。焊点空洞总体积V2计算：将焊点三维模型导入三维建模软件(Unigraphics)，进行网格化处理，生成三维网格模型，利用软件的测量工具，测量焊点空洞的高度、直径尺寸。计算实测空洞率：

将测得的焊点空洞率与预设的空洞率上限进行比较，如果实测空洞率小于等于空洞率上限0.1％，则说明焊点空洞符合要求，质量良好；如果实测空洞率超出0.1％，则需要进行返工或更换焊接材料，以提高焊点质量。

如图1所示，本发明还提供一种基于贴片电阻焊点空洞的检测装置，其包括：X-Ray射线源1、图像接收器2、载物台3、移动导轨机构4，载物台3设置在移动导轨机构4的活动端，X-Ray射线源1设置在载物台3的一侧，图像接收器2设置在载物台3的另一侧，载物台3和图像接收器2设置在X-Ray射线源1发射端的延线上。

基于上述方案，在一个实例中：

第一步，通过精确标注图像，数字图像处理系统的采样器对图像中空洞区域和非空洞区域进行采样，采用自编码器作为自监督学习的模型，通过自监督模型得到的数据标签对U-Net分割网络进行训练，对于不同角度图像实现焊接区空洞的分割，根据不同层空洞在多角度图像上的位置关系，排除双面回流焊板子空洞的干扰，得到准确的分割结果；常见的焊接成像角度是沿着焊缝轴线方向，利用U-Net分割网络可以对焊缝的附近区域进行精准的空洞分割；另一种成像角度是焊缝轴线的垂直方向，U-Net分割网络可以更准确地分割焊缝周围的空洞和其他区域，包括焊缝两侧的熔合区和热影响区。

第二步，启动X-Ray射线源1，使样品在X射线束下旋转扫描，连续获取多张2D图像，对获取的2D图像进行处理，通过投影匹配法将多张2D图像重建成三维模型；

第三步，根据贴片电阻焊点的三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，得到焊点空洞的位置和形状；

第四步，对每个焊点空洞进行体积计算，得到焊点空洞的总体积，根据贴片电阻焊点的三维模型计算焊点的总体积，并计算空洞率，最后通过目测或显微镜方法进行判断比较空洞率，对每个焊球的合格性进行判别。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于贴片电阻焊点空洞的检测方法，其特征在于，包括以下步骤：

S1、在生产管理系统中预设空洞率上限，以用于评价实测空洞率是否合格；

S2、通过自监督模型，训练面向焊接区空洞的分割网络；

S3、启动X-Ray射线源，使样品在X射线束下旋转扫描，通过投影匹配法将多张2D图像重建成贴片电阻焊点的三维模型；

S4、根据所述三维模型，使用面向焊接区空洞分割的网络对焊点区域进行分割，获取焊点空洞的位置和形状；

S5、进行体积计算，以获得焊点空洞总体积及焊点总体积，随后将所述焊点空洞总体积除以所述焊点总体积，计算得出所述实测空洞率；

S6、判断所述实测空洞率是否超出所述空洞率上限。

2.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于：所述自监督模型为采用自编码器作为自监督学习的模型，通过训练数据建立一个数据的压缩表示，以重新生成输入数据。

3.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于：所述分割网络为U-Net网络，通过将X-ray图像和所述焊接区空洞的位置一一对应，输出与输入图像尺寸相同的标签图像。

4.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于，所述投影匹配法的实施步骤如下：

S301、从多个2D投影图像中选择射线方向与基准图像的法向量相差最小的图像作为基准图像，并将其他图像依次与其匹配；

S302、选用交叉投影匹配算法搜索匹配度最佳的像素点位置，以此确定图像之间的匹配关系；

S303、通过依次对所有图像进行匹配，得到贴片电阻焊点的三维模型。

5.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于，所述焊点空洞的位置和形状的获取步骤还包括：

S401、将待预测的三维模型图像块输入至训练好的U-net网络中，以获得一个灰度值为0或1的二值图像；

S402、利用形态学处理对所述二值图像进行处理，得到所述焊点空洞的位置和形状信息。

6.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于，所述体积计算的步骤还包括：

S501、将焊点三维模型导入有限元分析软件，利用软件的体积测量工具计算得出焊点总体积；

S502、将焊点三维模型导入Unigraphics三维建模软件进行网格化处理，生成三维网络模型；

S503、利用软件的测量工具，测量焊点空洞高度及直径尺寸；

S504、根据所述焊点空洞高度及直径尺寸，计算得出焊点空洞体积，将计算出的所述焊点空洞体积累加，得出所述焊点空洞总体积。

7.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于：所述空洞率为所述焊点空洞体积与焊点总体积的比值。

8.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测方法，其特征在于：所述判断为使用目测或显微镜方法进行判断。

9.根据权利要求1所述的一种基于贴片电阻焊点空洞的检测装置，其特征在于：包括X-Ray射线源、图像接收器、载物台及移动导轨机构，所述载物台设置在所述移动导轨机构的活动端，所述X-Ray射线源设置在所述载物台的一侧，所述图像接收器设置在所述载物台的另一侧，所述载物台和所述图像接收器设置在所述X-Ray射线源发射端的延线上。

10.根据权利要求9所述的一种基于贴片电阻焊点空洞的检测装置，其特征在于：所述移动导轨机构包括变速箱、伺服电机、螺杆、编码器及控制器。

Images