CN112833821B - 高密度ic焊点的微分几何立体微视觉检测系统及方法 - Google Patents

Abstract

本发明公开一种高密度IC焊点的微分几何立体微视觉检测系统及方法，该系统包括稠密焊点离散点云获取系统，由两台带有金相显微镜的彩色CCD数字相机构成的双目立体视觉系统和半球形LED阵列照明系统组成；焊点微分几何特征参数计算模块以空间离散点法向量为依据的主方向和主曲率估计方法，对焊点表面离散点云脊点提取和脊线跟踪；焊点分类决策模块基于Frenet活动标架的焊点类型模型匹配规则，实现对焊点快速准确检测分类。本发明利用双目微视系统并通过微分几何理论实现焊点表面离散点云特征提取，为微米级三维重构提供一种新途径，降低以CT扫描进行微米级重构成本；基于微分几何特征的脊线分析方法大大简化焊点识别分类过程。

Description

高密度IC焊点的微分几何立体微视觉检测系统及方法

技术领域

本发明涉及高密度IC焊点的微视觉三维表面信息分析技术领域，具体涉及一种高密度IC焊点的微分几何立体微视觉检测系统及方法。

背景技术

三维数据到目标物体的几何特征是对目标表面描述和目标匹配分类的重要方法。随着计算机技术的发展和数据融合技术的成熟，双目立体视觉的应用越发普遍。高密度印制电路板广泛应用在计算机、汽车和医疗等行业，随着电子产品持续向微型化和便携化发展，对印制电路板焊点质量检测提出了更高的分辨率要求。现仅有的CT微米级三维表面信息获取设备，因价格昂贵阻碍其普遍推广应用。因此，设计一种新的微视焊点立体视觉系统，在高密度印制电路板质量控制领域具有重要的应用价值。此外，针对焊点表面离散点云数据量庞大，且焊点在回流后总呈现凸或峰的特点，基于微分几何特征参数分析方法提取表征焊点形状信息的脊线，以脊线的微分量作为定量分析指标来分类焊点缺陷类型，既减轻了计算机的负担且提高了检测效率和准确性。

焊点检测在印制电路板表面芯片封装过程中具有重要作用，其检测速度影响产品的生产效率；其检测准确性影响质量控制过程中的合格率。国外高密度焊点传统检测方法是通过手工或间接电性测试来进行，这些方法不完全可靠，即使很小的缺陷率将会导致制造商每年数百万美元的损失。而我国对高密度印制电路板缺陷检测的研究较少，尚处于一个初始阶段。

发明内容

为了克服现有技术存在的缺陷与不足，为解决高密度印制电路板质量控制过程中的焊点表面点云获取和焊点缺陷类型快速分类难题，提供一种高密度IC焊点的微分几何立体微视觉检测系统及方法。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种高密度IC焊点的微分几何立体微视觉检测系统，包括：稠密焊点离散点云获取系统、焊点微分几何特征参数计算模块、焊点分类决策模块；

所述稠密焊点离散点云获取系统包括双目立体微视觉系统和3彩色半球形LED阵列照明系统；

所述焊点分类决策模块采用以空间离散点法向量为依据的主方向和主曲率估计方法，用于对焊点的重构表面脊点提取和脊线跟踪；

所述焊点分类决策模块基于右手Frenet正交活动标架的焊点类型模型匹配规则，对高密度IC焊点实现快速准确的检测分类。

作为优选的技术方案，所述双目立体微视觉系统由两台带有金相显微镜的彩色CCD数字相机构成。

一种高密度IC焊点的微分几何立体微视觉检测方法，包括下述步骤：

通过带有金相显微镜的双目成像系统对高密度IC焊点进行表面重构，并执行空间滤波以去除噪声和进一步网格化处理；

对离散点云的法向量B进行估计，计算得到各点云的主曲率k_max,k_min和主方向e₁,e₂，利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点；

构建右手Frenet正交活动标架并依附在脊线上，通过焊点类型模型匹配规则决定被检测焊点所属的缺陷等级。

作为优选的技术方案，所述空间滤波采用双边滤波器，表示为：

其中，

和P_i分别表示输入点云和滤波处理后的输出点云，B_i为某一离散点的法向量，λ为双边滤波因子，

和

分别表示空间域和频率域权重函数。

作为优选的技术方案，所述对离散点云的法向量B进行估计，具体表示为：

其中，

PP_i和PP_i+1分别是离散点P与其δ邻域点的连线，α_i为线段PP_i和PP_i+1的夹角，N_i为相邻三个离散点组成的三角片面的法向量。

作为优选的技术方案，所述离散点的主曲率k_max,k_min和主方向e₁,e₂分别对应于Weingarten映射矩阵W的两个实特征值和特征值相应的特征方向。

作为优选的技术方案，Weingarten映射关系表示为：

其中，

为对称矩阵，u、v为曲面的参数，r_u和B_v分别表示曲面r对u的偏导，法向量B对v的偏导。

作为优选的技术方案，所述利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点，焊点的重构表面脊点提取规则为：

其中，

k_max(l₁)、k_min(l₂)分别表示通过曲率线性插值得到的邻域点的主曲率值，β为给定的经验系数。

作为优选的技术方案，空间任意两等价Frenet活动标架经过一个刚体运动彼此重合。

作为优选的技术方案，焊点类型模型匹配规则为：

当且仅当上式满足：

其中，P_i ^j、T_i ^j(s)、

和P_i、T_i(s)、N_i(s)、B_i(s)分别为被检测焊点脊线和已建立的焊点类型模型脊线上Frenet正交活动标架的各个分量。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用了金相显微镜和数字相机组成的双目微视系统，为微米级三维物体表面重构提供了一种新途径，较现有以CT扫描的微米级物体表面三维信息获取方法，本系统具有硬件简单、重构速度快的优点。

(2)本发明采用了微分几何理论实现焊点重构表面的特征提取，并利用基于微分几何特征的脊线分析方法对焊点缺陷类型进行分类，极大减轻了计算量且提高了识别检测的准确性和稳定性。

附图说明

图1为本发明微纳米级AOI三维点云获取系统简图；

图2为本发明离散点空间相对位置关系以及离散曲率估计示意图；

图3为本发明脊点的离散估计示意图；

图4为本发明在脊线上的各脊点及其邻域点建立Frenet标架示意图。

其中，1-彩色CCD数字相机，2-光源散热器，3-光圈，4-物镜，5-金相显微镜，6-滤光片，7-LED结构光源。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种高密度IC焊点的微分几何立体微视觉检测系统，包括：

稠密焊点离散点云获取系统：由两台带有金相显微镜的彩色CCD数字相机1构成的双目立体视觉系统，以及3彩色(红、绿、蓝)半球形LED阵列照明系统。

结合图1所示，焊点离散点云获取系统采用两台相同参数的彩色CCD数字相机1与大功率金相显微镜5，按平行式布置方式构成立体视觉系统，其中金相显微镜替代相机镜头，安装在CCD感光芯片前端合适位置，显微镜的物镜4可针对不同分辨率选择不同的倍率。滤光片6、光圈3和LED结构光源7的调节可提高获取的图像质量。

焊点微分几何特征参数计算模块：包括以空间离散点法向量为依据的主方向和主曲率估计方法，用于对焊点的重构表面脊点提取和脊线跟踪。

焊点分类决策模块：包括基于右手Frenet正交活动标架的焊点类型模型匹配规则，实现对高密度IC焊点快速准确分类。

实施例2

一种高密度IC焊点的微分几何立体微视觉检测方法，包括下述步骤：

S1：通过带有金相显微镜的双目成像系统对高密度IC焊点进行表面重构，并执行空间滤波以去除噪声和进一步网格化处理；

S11：高密度柔性IC焊点经金相显微镜放大，放大的焊点图像在CCD感光芯片上被转换成高分辨率的数字图像。

S12：通过双目成像系统左右相机高分辨率图像对应点匹配获得焊点表面离散点云，然后执行空间滤波操作以去除孤立噪点，最后对焊点表面离散点云进行网格化处理。

进一步地，步骤S12选用的空间滤波器为双边滤波器：

其中，

和P_i分别表示输入点云和滤波处理后的输出点云，B_i为某一离散点的法向量，λ为双边滤波因子，

和

分别表示空间域和频率域权重函数。

S2：对离散点云的法向量B进行估计，计算得到各点云的主曲率k_max,k_min和主方向e₁,e₂，利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点，进一步地，基于“区域生长”法则跟踪生成焊点脊线；

所述步骤S2具体包括：

S21：对焊点表面离散点云的法向量进行估计，并构建右手Frenet正交活动标架。

进一步地，如图2所示，为离散点云空间相对位置关系，所述步骤S21焊点表面离散点云法向量B估计有：

其中，

PP_i和PP_i+1分别是离散点P与其邻域点的连线，α_i为线段PP_i和PP_i+1的夹角，N_i为相邻三个离散点组成的三角片面的法向量；

S22：通过各点云局部邻域内的点在右手Frenet正交活动标架上的投影，以“化曲为直”的方法得到各点云局部邻域内点的微分近似值，如图2所示，为各点云局部邻域内的点在右手Frenet正交活动标架上的投影与其相应的微分近似值

S23：通过局部邻域点的微分近似值求解Weingarten映射矩阵W，并通过矩阵QR分解得到W的两个实特征值和其相应的特征方向。他们分别对应于点云的两个主曲率k_max,k_min和主方向e₁,e₂；

所述步骤S23中的Weingarten映射关系表示为

其中，

为对称矩阵，u、v为曲面的参数，r_u和B_v分别表示曲面r对u的偏导，法向量B对v的偏导，其值等于步骤(2.2)所求局部邻域点的微分近似值。

所述步骤(2.3)将相应微分近似值代入Weingarten映射关系有：

其中，PP_i'·u和PP_i'·v分别为r_u、r_v的微分近似值；B′·u和B′·v分别为B_u、B_v的微分近似值。

进一步地，如图3所示，步骤S24焊点的重构表面脊点提取规则为：

其中，

k_max(l₁)、k_min(l₂)分别表示通过曲率线性插值得到的邻域点的主曲率值，β为在实际应用中给定的经验系数。

S24：利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点。

S25：将提取的脊点利用“区域生长”法则跟踪生成焊点表面脊线。

步骤S25基于“区域生长”法则的焊点表面脊线生成伪代码为：

S3：构建右手Frenet正交活动标架并依附在脊线上，利用焊点类型模型匹配规则决定被检测焊点所属的缺陷等级；

所述步骤S3具体包括：

S31：如图4所示，分别在脊线R的各脊点R_i上构建右手Frenet正交活动标架F_i ^j(s)＝{P_i(s)；T_i(s),N_i(s),B_i(s)}，同样的方法在已给焊点类型模型的各脊点上构建活动标架

S32：通过焊点类型模型匹配规则求取相关系数d(P_i ^*,P_i)，利用每种焊点缺陷类型的阈值范围决定被检测焊点所属的缺陷等级。

焊点类型模型匹配规则为：

当且仅当上式满足：

其中，P_i ^j、T_i ^j(s)、

和P_i、T_i(s)、N_i(s)、B_i(s)分别为被检测焊点脊线和已建立的焊点类型模型脊线上Frenet正交活动标架的各个分量。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种高密度IC焊点的微分几何立体微视觉检测系统，其特征在于，包括：稠密焊点离散点云获取系统、焊点微分几何特征参数计算模块、焊点分类决策模块；

所述稠密焊点离散点云获取系统包括双目立体微视觉系统和3彩色半球形LED阵列照明系统；

所述焊点分类决策模块采用以空间离散点法向量为依据的主方向和主曲率估计方法，用于对焊点的重构表面脊点提取和脊线跟踪；

所述焊点分类决策模块基于右手Frenet正交活动标架的焊点类型模型匹配规则，对高密度IC焊点实现快速准确的检测分类。

2.根据权利要求1所述的高密度IC焊点的微分几何立体微视觉检测系统，其特征在于，所述双目立体微视觉系统由两台带有金相显微镜的彩色CCD数字相机构成。

3.一种高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，包括下述步骤：

通过带有金相显微镜的双目成像系统对高密度IC焊点进行表面重构，并执行空间滤波以去除噪声和进一步网格化处理；

对离散点云的法向量B进行估计，计算得到各点云的主曲率k_max,k_min和主方向e₁,e₂，利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点；

构建右手Frenet正交活动标架并依附在脊线上，通过焊点类型模型匹配规则决定被检测焊点所属的缺陷等级。

4.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，所述空间滤波采用双边滤波器，表示为：

其中，

和P_i分别表示输入点云和滤波处理后的输出点云，B_i为某一离散点的法向量，λ为双边滤波因子，

和

分别表示空间域和频率域权重函数。

5.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，所述对离散点云的法向量B进行估计，具体表示为：

其中，

PP_i和PP_i+1分别是离散点P与其δ邻域点的连线，α_i为线段PP_i和PP_i+1的夹角，N_i为相邻三个离散点组成的三角片面的法向量。

6.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，所述离散点的主曲率k_max,k_min和主方向e₁,e₂分别对应于Weingarten映射矩阵W的两个实特征值和特征值相应的特征方向。

7.根据权利要求6所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，Weingarten映射关系表示为：

其中，

为对称矩阵，u、v为曲面的参数，r_u和B_v分别表示曲面r对u的偏导，法向量B对v的偏导。

8.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，所述利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点，焊点的重构表面脊点提取规则为：

其中，

k_max(l₁)、k_min(l₂)分别表示通过曲率线性插值得到的邻域点的主曲率值，β为给定的经验系数。

9.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，空间任意两等价Frenet活动标架经过一个刚体运动彼此重合。

10.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法，其特征在于，焊点类型模型匹配规则为：

当且仅当上式满足：

其中，P_i ^j、T_i ^j(s)、

和P_i、T_i(s)、N_i(s)、B_i(s)分别为被检测焊点脊线和已建立的焊点类型模型脊线上Frenet正交活动标架的各个分量。

Images