CN116664570A - 基于工业视觉的扁形连接器生产缺陷检测方法 - Google Patents

Abstract

本申请涉及图像处理领域，提供一种基于工业视觉的扁形连接器生产缺陷检测方法，包括：获取扁形连接器的灰度图像；基于灰度图像计算扁形连接器上端子的特征显著系数，基于特征显著系数从灰度图像中确定疑似端子触点区域；基于疑似端子触点区域确定端子触点边缘线，并基于端子触点边缘线确定端子触点特征图像；基于端子触点特征图像对扁形连接器进行缺陷检测。该方法提高了对端子触点的检测精度。

Description

基于工业视觉的扁形连接器生产缺陷检测方法

技术领域

本申请涉及图像处理领域，特别是涉及一种基于工业视觉的扁形连接器生产缺陷检测方法。

背景技术

连接器是一种电子元器件，在电路中起着电流桥梁的作用，随着近几年科学技术的发展，连接器的生产规模逐渐扩大，人们对连接器产品质量的要求也日渐提高，连接器生产步骤中质量检测成为了重要的环节。随着电子行业的发展，自动光学检测在近年来成为质检中最广泛的检测方法，但由于连机器中端子触点尺寸较小，同时精度要求较高，传统的自动光学检测方法在对端子触点进行检测时通常会检测出虚边缘，检测精度降低，从而影响质检效果。

发明内容

本发明提供一种基于工业视觉的扁形连接器生产缺陷检测方法，该方法能够提高检测精度。

第一方面，本申请提供一种基于工业视觉的扁形连接器生产缺陷检测方法，包括：

获取扁形连接器的灰度图像；

基于所述灰度图像计算所述扁形连接器上端子的特征显著系数，基于所述特征显著系数从所述灰度图像中确定疑似端子触点区域；

基于所述疑似端子触点区域确定端子触点边缘线，并基于所述端子触点边缘线确定端子触点特征图像；

基于所述端子触点特征图像对所述扁形连接器进行缺陷检测。

在一实施例中，基于所述灰度图像计算所述扁形连接器上端子的特征显著系数，包括：

利用阈值分割算法对所述灰度图像进行分割，得到前景区域，所述前景区域包括扁形连接器所在的区域；

利用连通域标记算法对所述前景区域进行处理，得到多个连通域；

计算每一所述连通域的边缘线对应的拟合优度、每一所述连通域内像素点的灰度值方差以及所述连通域的最小外接矩形长宽比；

基于每一所述连通域的边缘线对应的拟合优度、每一所述连通域内像素点的灰度值方差以及所述连通域的最小外接矩形的长宽比计算得到所述扁形连接器上端子的特征显著系数。

在一实施例中，计算每一所述连通域的边缘线对应的拟合优度，包括：

利用角点检测方法检测每一连通域的边缘线；

利用最小二乘法对所述边缘线上的两个角点以及两个角点之间的采样点进行直线拟合，进而确定拟合优度，其中，所述拟合优度越大，所述边缘线为所述扁形连接器的边缘线可能性越大。

在一实施例中，利用如下公式计算特征显著系数：

；

其中，表示特征显著系数，/>为连通域i边缘线上两个角点以及两个角点之间的采样点的拟合优度，/>为连通域i内像素点的灰度值的方差，/>为连通域i最小外接矩形的长宽比，/>为调参因子，防止分母为零。

在一实施例中，基于所述特征显著系数从所述灰度图像中确定疑似端子触点区域，包括：

将特征显著系数大于第一阈值的连通域确定疑似端子触点区域。

在一实施例中，基于所述疑似端子触点区域确定端子触点边缘线，包括：

从所述疑似端子触点区域中心选取待测区域，所述待测区域的圆心为所述疑似端子触点区域的质心，半径大于所述疑似端子触点区域的最小外接圆的半径；

利用边缘检测算法检测待测区域中的边缘线，确定所述边缘线的法线，所述边缘线的法线经过所述边缘线上的任一边缘像素点；

沿着法线从边缘像素点的两侧分别取m个像素点确定边缘像素点显著系数，其中，边缘像素点为法线与边缘线相交的像素点，m为大于0的整数；

基于所述边缘像素点显著系数确定端子触点边缘线。

在一实施例中，沿着法线从边缘像素点的两侧分别取m个像素点确定边缘像素点显著系数，包括：

计算边缘像素点在法线的一侧选取的m个像素点灰度值均值与在另一侧选取的m个像素点灰度值均值之间的均值比；计算边缘像素点在法线的一侧选取的m个像素点灰度值方差与在另一侧选取的m个像素点灰度值方差之间的方差比；

基于所述均值比以及所述方差比确定所述边缘像素点显著系数；

基于所述边缘像素点显著系数确定端子触点边缘线，包括：

将所述边缘线上所有边缘像素点的边缘像素点显著系数从大到小进行排序，选取前预设数量的像素点作为端子触点边缘像素点，端子触点边缘像素点组成所述端子触点边缘线。

在一实施例中，基于所述均值比以及所述方差比确定所述边缘像素点显著系数，包括：

；

其中，A表示均值比，B表示方差比，表示边缘像素点显著系数。

在一实施例中，所述选取前预设数量的像素点作为端子触点边缘像素点之后，包括：

利用双线性插值法对端子触点边缘像素点进行处理，从而得到亚像素级的端子触点边缘像素点，亚像素级的端子触点边缘像素点组成所述端子触点边缘线。

在一实施例中，基于所述端子触点特征图像对所述扁形连接器进行缺陷检测，包括：

基于所述端子触点特征图像确定端子触点区域的尺寸；

如果端子触点区域的尺寸与标准扁形连接器的端子触点尺寸差距大于第二阈值，则确定所述扁形连接器具有缺陷。

本申请的有益效果，区别于现有技术，本申请的基于工业视觉的扁形连接器生产缺陷检测方法包括：获取扁形连接器的灰度图像；基于灰度图像计算扁形连接器上端子的特征显著系数，基于特征显著系数从灰度图像中确定疑似端子触点区域；基于疑似端子触点区域确定端子触点边缘线，并基于端子触点边缘线确定端子触点特征图像；基于端子触点特征图像对扁形连接器进行缺陷检测。该方法提高了对端子触点的检测精度。

附图说明

图1为本发明基于工业视觉的扁形连接器生产缺陷检测方法的一实施例的流程示意图；

图2为图1中步骤S12的一实施例的流程示意图；

图3为图1中步骤S13的一实施例的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明根据端子触点在图像中的特征，首先获取端子触点在图像中的大概轮廓，然后对轮廓进行分析，获得更准确的端子触点边缘线，最后将边缘线提高到亚像素级，提高边缘线的精度，获得更准确的端子触点轮廓，将轮廓内的区域作为端子触点区域，构建对应的特征图像，提高对连接器端子触点检测的精度，改善检测效果。下面结合附图和实施例对本申请进行详细的说明。

请参见图1，图1为基于工业视觉的扁形连接器生产缺陷检测方法的一实施例的流程示意图，具体包括：

步骤S11：获取扁形连接器的灰度图像。

通过CCD相机获取fpc（柔性印刷电路板）连接器对应面的图像，在拍照时要设置光源。在获取fpc连接器内槽端子触点面图像时，由于各端子脚均匀排列，为使其成像效果相同，在对应端面上设置条形LED光源，并选择向前打光的照明方式。在采集图像的过程中，为精确检测出内槽端子触点的缺陷，需要获取三张图像，一张为内槽端子触点面的RGB图像，一张为灰度图像区域，一张为边缘区域。对得到的RGB空间图像进行处理，减少环境中噪声对其的影响，通过高斯滤波对得到的RGB图像进行去噪处理，得到去噪后的图像，设去噪后的RGB空间图像为图像F。对去噪后的图像进行灰度化处理，设得到的内槽端子触点面的灰度图像为图像GF。

步骤S12：基于灰度图像计算扁形连接器上端子的特征显著系数，基于特征显著系数从灰度图像中确定疑似端子触点区域。

本发明针对45pinFPC连机器的端子进行特征分析。45pinFPC连机器有45个端子，通常性能上的缺陷都出现在端子上，若端子触点的尺寸不符合生产要求，出现问题，则连接器的功能会受到一定影响。45pinFPC连接器的针脚排列要求精度较高，在检测端子的尺寸时，检测误差必须小于，结合实际情况考虑，在图像中的误差应小于一个像素的大小。

针对图像GF即灰度进行分析，图像GF采集的是内槽端子面的图像，内槽端子裸露出触点，通常由于端子触点表面形状以及光源的影响，端子触点边缘并不清晰，在检测对应端子触点尺寸以及位置坐标时会受到影响，检测结果并不精确，影响后续对端子缺陷的检测。

请结合图2，步骤S12具体包括：

步骤S21：利用阈值分割算法对灰度图像进行分割，得到前景区域，前景区域包括扁形连接器所在的区域。

具体的，通过阈值分割算法例如OTSU算法对图像GF进行分割，大于最佳分割阈值的区域为前景区域，小于最佳分割阈值的区域为背景区域。可以理解的，前景区域包括扁形连接器所在的区域。

步骤S22：利用连通域标记算法对前景区域进行处理，得到多个连通域。

针对前景区域，通过连通域标记算法得到前景中的连通区域并进行标记，进而得到多个连通域。

步骤S23：计算每一连通域的边缘线对应的拟合优度、每一连通域内像素点的灰度值方差以及连通域的最小外接矩形长宽比。

在一具体实施例中，利用角点检测方法检测每一连通域的边缘线；利用最小二乘法对边缘线上的两个角点以及两个角点之间的采样点进行直线拟合，进而确定拟合优度，其中，拟合优度越大，边缘线为扁形连接器的边缘线可能性越大。两个角点时间的采样点为两个角点之间的像素点。

具体的，由于端子在图像中呈现出的边缘通常呈现出较为不规则的边缘，而连接器外壳在图像中呈现出规则的边缘，同时由于端子表面凸起的不规则性，导致端子区域的连通域在图像中灰度值相较于连接器外壳区域起伏较大，则针对前景区域中的连通域边缘，以连通域i为例，通过harris角点检测技术检测前景区域中连通域i的边缘线上的角点，对边缘线上相邻两角点之间的像素点进行处理，对相邻两角点之间像素点进行采样，采样次数为，经验值取5，得到边缘线上采样后得到的像素点。以边缘线/>为例，在边缘线/>上随机选取两角点，记为角点/>和角点/>，以角点/>和角点/>之间的采样点为例，通过最小二乘法将角点/>和角点/>之间的采样点进行直线拟合（包括角点/>和角点/>在内），得到拟合优度为/>。由于连接器外壳的边缘通常是规则的直线，则直线拟合优度越高，边缘线越有可能为连接器外壳的边缘线。

针对连通域i内的像素点，求连通域i内的灰度值的方差，设连通域i内像素点灰度值的方差为，由于端子表面的凸起，在图像中端子区域灰度值的方差要大于连接器外壳区域的灰度值方差。

由于连接器外壳材料以及光照影响，在内槽端子上方的连接器外壳区域也存在灰度值方差较大的区域，但端子区域为整体的块状区域，在内槽端子上方的连接器区域为离散的点状区域，则针对前景区域的连通域，求其最小外接矩形，设最小外接矩形长宽比为，的值越接近于1，则对应连通域在/>轴和/>轴方向的延伸量相同，越有可能为端子区域。

步骤S24：基于每一连通域的边缘线对应的拟合优度、每一连通域内像素点的灰度值方差以及连通域的最小外接矩形的长宽比计算得到扁形连接器上端子的特征显著系数。

具体的，利用如下公式计算特征显著系数：

；

其中，表示特征显著系数，/>为连通域i边缘线上两个角点以及两个角点之间的采样点的拟合优度，/>的值越大，对应边缘线越有可能为连接器外壳的边缘线，/>为连通域i内像素点的灰度值的方差，由于端子触点面较为不平整，因此在图像GF中对应区域内的方差较大，/>为连通域i最小外接矩形的长宽比，当连通域i最小外接矩形的长宽比越接近于1，则连通域i越有可能为端子触点区域；/>为调参因子，防止分母为零，经验值取1。

通过上述方式计算得到特征显著系数，将特征显著系数大于第一阈值的连通域确定疑似端子触点区域。在一具体实施例中，设第一阈值，经验值取20，将端子特征显著系数大于第一阈值/>的连通域作为疑似端子触点区域。

步骤S13：基于疑似端子触点区域确定端子触点边缘线，并基于端子触点边缘线确定端子触点特征图像。

具体的，请结合图3，步骤S13包括：

步骤S31：从疑似端子触点区域中心选取待测区域，待测区域的圆心为疑似端子触点区域的质心，半径大于疑似端子触点区域的最小外接圆的半径。

通过上述步骤可以得到图像GF中疑似端子触点区域，随机选取一疑似端子触点区域，找到该疑似端子触点区域的质心坐标，以质心坐标为圆心，以为半径，选取一个圆的区域，作为待测区域。其中r的值大于疑似端子触点区域的半径，疑似端子触点区域的半径为对应区域最小外接圆的半径，其小于凹槽之间欧式距离的二分之一。

步骤S32：利用边缘检测算法检测待测区域中的边缘线，确定边缘线的法线，边缘线的法线经过边缘线上的任一边缘像素点。

在该待测区域内，通过边缘检测算法例如canny检测算子检测图像中的边缘线。针对待测区域内的边缘线，随机选一条边缘线，设该边缘线为，在边缘线/>上随机选一边缘像素点/>，设边缘线/>上边缘像素点/>的灰度值为/>，过边缘像素点/>作边缘线/>的法线/>。

步骤S33：沿着法线从边缘像素点的两侧分别取m个像素点确定边缘像素点显著系数，其中，边缘像素点为法线与边缘线相交的像素点。

法线通常在端子触点部位会产生阴影区域，在图像中选取端子触点部位的位置时容易寻找错误，通常在端子触角凸起的部分灰度值较大，在阴影区域灰度值较小，而在端子凹槽背景区域，灰度值通常较小且在图像GF中分布比较均匀，若边缘线为端子区域的边缘线，则边缘线一边区域为端子触点部位区域，另一边区域为端子凹槽背景区域，则针对法线，计算边缘像素点在法线的一侧选取的m个像素点灰度值均值与在另一侧选取的m个像素点灰度值均值之间的均值比；计算边缘像素点在法线的一侧选取的m个像素点灰度值方差与在另一侧选取的m个像素点灰度值方差之间的方差比；基于均值比以及方差比确定边缘像素点显著系数。

具体的，计算边缘像素点在法线的一侧选取的m个像素点灰度值均值与在另一侧选取的m个像素点灰度值均值/>之间的均值比的计算方式为：

；

其中，A表示均值比，为调参因子，防止分母为0，经验值取1。，/>为边缘像素点o在法线/>上一侧选取的m个像素点的均值，/>为边缘像素点o在法线/>上另一侧选取的m个像素点的均值。

其中，灰度值均值的计算方式为：

为边缘像素点o在法线/>上一侧选取的第j个像素点的灰度值。

计算边缘像素点在法线的一侧选取的m个像素点灰度值方差与在另一侧选取的m个像素点灰度值方差/>之间的方差比为：

其中，B表示方差比，为调参因子，防止分母为0，经验值取1。/>为边缘像素点o在法线/>上一侧选取的/>个像素点的灰度值的方差，/>为边缘像素点o在法线/>上另一侧选取的/>个像素点的灰度值的方差；/>为调参因子，防止分母为0，经验值取1。

其中，方差比的计算方式为：

基于均值比以及方差比确定边缘像素点显著系数为：

；

其中，A表示均值比，B表示方差比，表示边缘像素点显著系数。

上述公式中，若边缘像素点o两侧的区域像素点的灰度值相差越大，边缘像素点o为端子触点的可能性就越大，A的值越偏离于1；若边缘像素点o两侧的区域像素点，一边为灰度值方差较大的区域，另一边为灰度值方差较小的区域，边缘像素点o为端子触点边界线上的可能性越大，B的值越偏离1。边缘像素点显著系数的值越大，像素点越有可能为端子触角边缘线上的像素点。

步骤S34：基于边缘像素点显著系数确定端子触点边缘线。

具体的，将边缘线上所有边缘像素点的边缘像素点显著系数从大到小进行排序，选取前预设数量的像素点作为端子触点边缘像素点，端子触点边缘像素点组成端子触点边缘线。

在一实施例中，针对圆内的边缘线上的像素点，计算其对应的边缘像素点显著系数，直到遍历圆内所有边缘线上像素点，设边缘线上像素点的个数为q，将边缘像素点显著系数/>由大到小排序，选取边缘像素点显著系数/>为前/>的像素点作为端子触点边缘线像素点，若像素点之间的不连贯（即存在两选取的像素点之间并不相邻的情况），则将两像素之间直线中的像素点同样作为边缘像素点，使两像素连贯；若出现离群点，则舍弃该像素点。至此，得到端子触点的边缘线。遍历图像GF中所有疑似端子触点区域，得到对应的端子触点边缘点，所有的端子触点边缘点组成端子触点边缘线。

在一实施例中，由于得到的端子触点边缘线为像素级，而在对端子进行质量检测时，精度要求较高，检测得到的边缘线为基于像素级坐标，相比于针对端子触角的精度，像素级的边缘线无法满足针对端子触点的检测，因此需要亚像素定位，精确到浮点坐标位置。因此利用双线性插值法对端子触点边缘像素点进行处理，从而得到亚像素级的端子触点边缘像素点，亚像素级的端子触点边缘像素点组成端子触点边缘线，以此能够增加边缘线的精度。

在得到端子触点边缘线后，基于端子触点边缘线确定端子触点特征图像。具体的，将端子触点边缘线内的像素点赋值为1，其他区域的像素点赋值为0，将赋值后的图像作为端子触点特征图像。至此，得到端子触点区域特征图像，设端子触点区域特征图像为图像RF。

步骤S14：基于端子触点特征图像对扁形连接器进行缺陷检测。

具体的，基于端子触点特征图像确定端子触点区域的尺寸；如果端子触点区域的尺寸与标准扁形连接器的端子触点尺寸差距大于第二阈值，则确定扁形连接器具有缺陷。

在一具体实施例中，通过几何测量方法测量图像RF中的端子触点区域的尺寸，与标准的45pinFPC连机器端子触角的尺寸进行对比，设第二阈值，经验值取0.01，单位为mm，当尺寸误差大于第二阈值/>时，端子触点尺寸不符合生产标准，具有缺陷；当尺寸误差小于等于第二阈值/>时，端子触点尺寸在允许误差之内，符合生产标准。

本发明主要通过对端子触点的特征进行分析，根据端子触点在形状上通常为规则的块状区域的特性，选取端子触点的大概区域，根据端子表面有微小弧度，在光线的影响下会产生阴影，影响边缘线的判定的特性选取精确的端子触点的边界线，避免了由于边缘线选定错误从而影响对端子触点尺寸的判定问题，提高了对端子触点尺寸的检测精度，改善了质量检测的效果。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，包括：

获取扁形连接器的灰度图像；

基于所述灰度图像计算所述扁形连接器上端子的特征显著系数，基于所述特征显著系数从所述灰度图像中确定疑似端子触点区域；

基于所述疑似端子触点区域确定端子触点边缘线，并基于所述端子触点边缘线确定端子触点特征图像；

基于所述端子触点特征图像对所述扁形连接器进行缺陷检测。

2.根据权利要求1所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，基于所述灰度图像计算所述扁形连接器上端子的特征显著系数，包括：

利用阈值分割算法对所述灰度图像进行分割，得到前景区域，所述前景区域包括扁形连接器所在的区域；

利用连通域标记算法对所述前景区域进行处理，得到多个连通域；

计算每一所述连通域的边缘线对应的拟合优度、每一所述连通域内像素点的灰度值方差以及所述连通域的最小外接矩形长宽比；

基于每一所述连通域的边缘线对应的拟合优度、每一所述连通域内像素点的灰度值方差以及所述连通域的最小外接矩形的长宽比计算得到所述扁形连接器上端子的特征显著系数。

3.根据权利要求2所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，计算每一所述连通域的边缘线对应的拟合优度，包括：

利用角点检测方法检测每一连通域的边缘线；

利用最小二乘法对所述边缘线上的两个角点以及两个角点之间的采样点进行直线拟合，进而确定拟合优度，其中，所述拟合优度越大，所述边缘线为所述扁形连接器的边缘线可能性越大。

4.根据权利要求3所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，利用如下公式计算特征显著系数：

；

其中，表示特征显著系数，/>为连通域i边缘线上两个角点以及两个角点之间的采样点的拟合优度，/>为连通域i内像素点的灰度值的方差，/>为连通域i最小外接矩形的长宽比，/>为调参因子，防止分母为零。

5.根据权利要求1~4任一项所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，基于所述特征显著系数从所述灰度图像中确定疑似端子触点区域，包括：

将特征显著系数大于第一阈值的连通域确定疑似端子触点区域。

6.根据权利要求1所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，基于所述疑似端子触点区域确定端子触点边缘线，包括：

从所述疑似端子触点区域中心选取待测区域，所述待测区域的圆心为所述疑似端子触点区域的质心，半径大于所述疑似端子触点区域的最小外接圆的半径；

利用边缘检测算法检测待测区域中的边缘线，确定所述边缘线的法线，所述边缘线的法线经过所述边缘线上的任一边缘像素点；

沿着法线从边缘像素点的两侧分别取m个像素点确定边缘像素点显著系数，其中，边缘像素点为法线与边缘线相交的像素点，m为大于0的整数；

基于所述边缘像素点显著系数确定端子触点边缘线。

7.根据权利要求6所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，沿着法线从边缘像素点的两侧分别取m个像素点确定边缘像素点显著系数，包括：

计算边缘像素点在法线的一侧选取的m个像素点灰度值均值与在另一侧选取的m个像素点灰度值均值之间的均值比；计算边缘像素点在法线的一侧选取的m个像素点灰度值方差与在另一侧选取的m个像素点灰度值方差之间的方差比；

基于所述均值比以及所述方差比确定所述边缘像素点显著系数；

基于所述边缘像素点显著系数确定端子触点边缘线，包括：

将所述边缘线上所有边缘像素点的边缘像素点显著系数从大到小进行排序，选取前预设数量的像素点作为端子触点边缘像素点，端子触点边缘像素点组成所述端子触点边缘线。

8.根据权利要求7所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，基于所述均值比以及所述方差比确定所述边缘像素点显著系数，包括：

；

其中，A表示均值比，B表示方差比，表示边缘像素点显著系数。

9.根据权利要求7所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，所述选取前预设数量的像素点作为端子触点边缘像素点之后，包括：

利用双线性插值法对端子触点边缘像素点进行处理，从而得到亚像素级的端子触点边缘像素点，亚像素级的端子触点边缘像素点组成所述端子触点边缘线。

10.根据权利要求1所述的基于工业视觉的扁形连接器生产缺陷检测方法，其特征在于，基于所述端子触点特征图像对所述扁形连接器进行缺陷检测，包括：

基于所述端子触点特征图像确定端子触点区域的尺寸；

如果端子触点区域的尺寸与标准扁形连接器的端子触点尺寸差距大于第二阈值，则确定所述扁形连接器具有缺陷。