CN117689657A - 一种柔性线路板贴片异常检测方法及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，提出了一种柔性线路板贴片异常检测方法及系统，包括：采集柔性线路板图像，确定柔性线路板区域；确定聚类结果簇和铜箔导线的先验灰度值，获取导线簇可能性，根据导线簇可能性识别铜箔导线簇；获取铜箔导线簇的形态学骨架，确定链码序列和弯折像素点，确定同一分割线异常度，确定弯折像素点的分割线，将导线段划分为导线段组；获取导线段组的最大的主成分向量，划分同组导线段组，确定导线段组的相对偏移系数，根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测。本发明旨在解决铜箔导线自身存在转折对铜箔导线偏移检测的影响，使柔性线路板贴片异常检测准确性不足的问题。

Description

一种柔性线路板贴片异常检测方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种柔性线路板贴片异常检测方法及系统。

背景技术

柔性线路板是一种基于柔性基材的电子线路板，可以在一定程度上弯曲和折叠。柔性线路板贴片是将电子元件直接安装在柔性线路板上的一种装配技术，在贴片过程中可能会受到热应力或机械应力的影响，导致线路板中铜箔导线产生偏移，使柔性线路板贴片出现异常。所以，需要对柔性线路板贴片异常进行检测。

铜箔导线偏移可使用基于图像特征的图像识别方法进行检测，对每个铜箔导线的相对位置进行分析，识别出可能存在偏移的铜箔导线。但由于铜箔导线自身存在转折，容易对上述分析产生干扰，影响铜箔导线偏移检测的准确性。

发明内容

本发明提供一种柔性线路板贴片异常检测方法及系统，以解决铜箔导线自身存在转折对铜箔导线偏移检测的影响，使柔性线路板贴片异常检测准确性不足的问题，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种柔性线路板贴片异常检测方法，该方法包括以下步骤：

采集柔性线路板图像，根据柔性线路板图像确定柔性线路板区域；

根据柔性线路板区域确定聚类结果簇，确定聚类结果簇的主成分向量，获取聚类结果簇的凸包，确定铜箔导线的先验灰度值，根据聚类结果簇，聚类结果簇的凸包和主成分向量，以及铜箔导线的先验灰度值，获取聚类结果簇的导线簇可能性，根据导线簇可能性识别出铜箔导线簇；

获取铜箔导线簇的形态学骨架，确定形态学骨架的链码序列，进而确定弯折像素点，根据链码序列获取弯折像素点的链码方向趋势，根据不同弯折像素点的链码方向趋势和不同弯折像素点的位置，确定弯折像素点之间的同一分割线异常度，根据弯折像素点之间的同一分割线异常度，确定弯折像素点的分割线，使用分割线，将导线段划分为导线段组；

获取导线段组的最大的主成分向量，划分同组导线段组，根据同组导线段组中不同导线段组的最大的主成分向量，确定导线段组的相对偏移系数，根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测。

进一步，所述导线簇可能性，获取的具体方法为：

式中，为聚类结果簇的导线簇可能性；/>为聚类结果簇的凸包内包含的像素点数量；/>为聚类结果簇内包含的像素点数量；/>为聚类结果簇的最大的主成分向量的模长；为聚类结果簇的最小的主成分向量的模长；/>为铜箔导线的先验灰度值；/>为聚类结果簇内包含的像素点的灰度值均值；/>表示归一化函数。

进一步，所述根据导线簇可能性识别出铜箔导线簇，包括的具体方法为：

将导线簇可能性大于等于第一预设参数的聚类结果簇记为于铜箔导线簇。

进一步，所述弯折像素点，获取的具体方法为：

将链码方向符发生改变的像素点为弯折像素点。

进一步，所述同一分割线异常度，获取的具体方法为：

将两弯折像素点的链码方向趋势的差值的绝对值与欧氏距离的乘积记为第一乘积，将以第一乘积为自变量的指数函数取值记为两弯折像素点之间的同一分割线异常度。

进一步，所述根据弯折像素点之间的同一分割线异常度，确定弯折像素点的分割线，使用分割线，将导线段划分为导线段组，包括的具体方法为：

将同一分割线异常度小于等于第二预设参数的两弯折像素点确定的直线记为两弯折像素点的分割线，两弯折像素点的分割线将弯折像素点所在的铜箔导线簇分割为导线段组。

进一步，所述划分同组导线段组，包括的具体方法为：

将分割线对应的两个弯折像素点所在的导线段组记为同组导线段组。

进一步，所述相对偏移系数，获取的具体方法为：

将导线段组的最大的主成分向量与导线段组的同组导线段组内其他导线段组的最大的主成分向量之间的夹角余弦值总和记为导线段组的余弦差异；

将导线段组的同组导线段组内其他导线段组的数量与导线段组的余弦差异的差值的归一化值记为导线段组的相对偏移系数。

进一步，所述根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测，包括的具体方法为：

将相对偏移系数大于第三预设参数的导线段组划分为偏移导线段组，在柔性线路板图像中标记出偏移导线段组，实现柔性线路板贴片异常检测。

第二方面，本发明实施例还提供了一种柔性线路板贴片异常检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

本发明的有益效果是：

本发明根据柔性线路板中的铜箔导线的形态表现为狭长的线性区域、制造材料单一，且存在明显的弯折位置的特征进行分析，结合对应柔性线路板中不同部件的聚类结果簇存在明显的延伸方向的可能性，确定聚类结果簇的导线簇可能性，确定对应铜箔导线的铜箔导线簇；然后，根据柔性线路板的集成特性，贴片完成的柔性线路板表面的铜箔导线大多平行排列且弯折位置一致的特征，确定铜箔导线弯折的位置，进而在弯折位置将铜箔导线进行划分，获取导线段组，避免弯折位置对柔性线路板贴片异常检测的影响；最后，根据每个导线段组平行排列且弯折位置一致的特征，确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测，解决铜箔导线自身存在转折对铜箔导线偏移检测的影响，使柔性线路板贴片异常检测准确性不足的问题，提升柔性线路板贴片异常检测的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种柔性线路板贴片异常检测方法流程示意图；

图2为弯折像素点示意图；

图3为铜箔导线整体偏移示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种柔性线路板贴片异常检测方法流程图，该方法包括以下步骤：

步骤S001、采集柔性线路板图像，根据柔性线路板图像确定柔性线路板区域。

通过固定位置的高分辨率摄像机对贴片完成的柔性线路板进行图像采集，获取柔性线路板图像，柔性线路板图像为RGB图像。

对柔性线路板图像进行预处理，预处理步骤包括去噪、灰度化和直方图均衡化，以优化柔性线路板图像的质量，获取柔性线路板灰度图像。其中，图像去噪可采用双边滤波去噪，灰度化可使用加权平均法，直方图均衡化可采用CLAHE算法，去噪、灰度化和直方图均衡化的具体实现算法为公知技术，不再赘述。

由于对贴片完成的柔性线路板进行图像采集时的背景颜色为白色，所以，对柔性线路板灰度图像使用最大类间方差法进行划分，获取划分阈值，将灰度值小于等于划分阈值的像素点组成的区域记为柔性线路板区域。

至此，获取柔性线路板灰度图像中的柔性线路板区域。

步骤S002、根据柔性线路板区域确定聚类结果簇，确定聚类结果簇的主成分向量，获取聚类结果簇的凸包，确定铜箔导线的先验灰度值，根据聚类结果簇，聚类结果簇的凸包和主成分向量，以及铜箔导线的先验灰度值，获取聚类结果簇的导线簇可能性，根据导线簇可能性识别出铜箔导线簇。

对柔性线路板灰度图像中的柔性线路板区域使用ISODATA迭代自组织聚类算法进行处理，获取聚类结果簇。ISODATA迭代自组织聚类算法为基于K-means聚类进行改进的一种聚类算法，可以将灰度相似的像素点分组成紧密相关的簇，而不需要预先知道聚类结果簇的数量，并通过多轮迭代得到聚类结果簇，为公知技术，不再赘述。

由于柔性线路板图像中不同部件在图像中对应的像素点的灰度值存在差异，且同种部件在图像中对应的像素点的灰度值相似。因此，每个聚类结果簇对应一个部件。所以，可以基于聚类结果簇的形态与灰度特征进行筛选，选出可能对应铜箔导线的聚类结果簇，从而进行柔性线路板贴片异常的分析。

柔性线路板中的铜箔导线的作用为连接元器件，形态表现为狭长的线性区域，且存在明显的弯折位置，而柔性线路板中的其他部件，如焊点、元器件等形态较为规则，无此特征，但是，多条导线之间存在的柔性基材也可能存在狭长的线性形态，且存在明显的弯折的特征，为了排除柔性基材区域的干扰，可结合柔性基材与铜箔导线的灰度差异特征，对结果簇进行综合分析从而筛选对应铜箔导线的结果簇。

对每个聚类结果簇分别使用PCA主成分分析法进行分析，获取所有主成分向量。由于柔性线路板中的铜箔导线对应的聚类结果簇应呈狭长的线状分布，所以，柔性线路板中的铜箔导线对应的聚类结果簇可获取非常大的主成分向量以及与该主成分向量差异较大的其他主成分向量，而其他部件因为没有此特征，无法获取差异较大的主成分向量。当聚类结果簇获取的主成分向量之间差异越大时，聚类结果簇越可能对应柔性线路板中的铜箔导线。

对聚类结果簇进行凸包检测，获取每个聚类结果簇的凸包。由于柔性线路板中的铜箔导线对应的聚类结果簇应呈狭长的线状分布，且存在弯折，那么，铜箔导线对应的聚类结果簇的凸包内包含的像素点数量应明显大于铜箔导线对应的聚类结果簇内包含的像素点数量。

同时，多条导线之间存在的柔性基材相对于铜箔导线的颜色不同，所以，获取多张相同型号的柔性线路板，人工划分铜箔导线对应的区域，将所有铜箔导线对应的区域内包含的像素点的均值记为铜箔导线的先验灰度值。获取聚类结果簇内包含的所有像素点的灰度值均值。当聚类结果簇内包含的所有像素点的灰度值均值与铜箔导线的先验灰度值越为接近时，聚类结果簇越可能对应柔性线路板中的铜箔导线。

根据聚类结果簇，聚类结果簇的凸包和主成分向量，以及铜箔导线的先验灰度值，获取聚类结果簇的导线簇可能性。

式中，为聚类结果簇的导线簇可能性；/>为聚类结果簇的凸包内包含的像素点数量；/>为聚类结果簇内包含的像素点数量；/>为聚类结果簇的最大的主成分向量的模长；为聚类结果簇的最小的主成分向量的模长；/>为铜箔导线的先验灰度值；/>为聚类结果簇内包含的像素点的灰度值均值；/>表示归一化函数，作用为取括号内的现行归一化值。

聚类结果簇的最大的主成分向量的模长即为聚类结果簇在最有可能延伸方向的延伸程度，聚类结果簇的最小的主成分向量的模长即为聚类结果簇在最小可能延伸方向的延伸程度，越大，则聚类结果簇在最有可能延伸方向的延伸程度相对来说越明显，聚类结果簇越可能存在明显的延伸方向。

当聚类结果簇越可能存在明显的延伸方向，聚类结果簇的凸包相对于类结果簇内包含的像素点数量越多，聚类结果簇呈现出的灰度值与铜箔导线的先验灰度值越为接近时，聚类结果簇的导线簇可能性越大，此时，聚类结果簇越可能对应柔性线路板中的铜箔导线。

当聚类结果簇的导线簇可能性大于等于第一预设参数时，则将聚类结果簇记为于铜箔导线簇。其中，第一预设参数的经验值为0.8。

至此，获取铜箔导线簇。

步骤S003、获取铜箔导线簇的形态学骨架，确定形态学骨架的链码序列，进而确定弯折像素点，根据链码序列获取弯折像素点的链码方向趋势，根据不同弯折像素点的链码方向趋势和不同弯折像素点的位置，确定弯折像素点之间的同一分割线异常度，根据弯折像素点之间的同一分割线异常度，确定弯折像素点的分割线，使用分割线，将导线段划分为导线段组。

由于柔性线路板的集成特性，贴片完成的柔性线路板表面的铜箔导线大多平行排列且弯折位置一致，为了避免弯折位置对柔性线路板贴片异常检测的影响，首先，识别出铜箔导线的弯折位置。

对铜箔导线簇使用形态学骨架提取算法，获取铜箔导线簇的形态学骨架。其中，形态学骨架提取算法可使用Zhang-Suen算法，使用Zhang-Suen算法提取形态学骨架为公知技术，不再赘述。

使用8连通链码得到铜箔导线簇的形态学骨架的链码序列。在铜箔导线的弯折位置，铜箔导线的方向会发生改变，所以，在形态学骨架的链码序列中，铜箔导线方向发生改变的位置的像素点的链码也会发生改变。所以，获取铜箔导线簇的形态学骨架的链码序列中链码方向符发生改变的像素点，将获取的像素点记为弯折像素点。

弯折像素点示意图如图2所示。在弯折像素点示意图中，8-链码为8连通链码的8个方向符，这8个方向符分别为0、1、2、3、4、5、6、7；方格为像素点，所有方格组成的区域为铜箔导线簇，填充的方格为铜箔导线簇的形态学骨架，铜箔导线簇的形态学骨架的链码序列为6，6，6，7，7，7，6，6，6，6；圆圈圈出来的方格即为弯折像素点。

至此，获取弯折像素点，即铜箔导线簇内对应铜箔导线方向发生改变的位置。

贴片完成的柔性线路板表面的铜箔导线大多平行排列且弯折位置一致，所以，平行分布的铜箔导线的相同弯折位置距离相近且弯折趋势相似。

将弯折像素点在链码序列中的前一个链码方向符记为弯折像素点的前链码方向符，将弯折像素点在链码序列中的后一个链码方向符记为弯折像素点的后链码方向符，将弯折像素点的前链码方向符与弯折像素点的链码方向符的比值记为弯折像素点的第一比值，将弯折像素点的后链码方向符与弯折像素点的链码方向符的比值记为弯折像素点的第二比值，将弯折像素点的第一比值与第二比值的乘积记为弯折像素点的链码方向趋势。

根据不同弯折像素点的链码方向趋势和不同弯折像素点的位置，确定弯折像素点之间的同一分割线异常度。

式中，为弯折像素点/>与/>之间的同一分割线异常度；/>为弯折像素点/>的链码方向趋势；/>为弯折像素点/>的链码方向趋势；/>为弯折像素点/>与/>之间的欧氏距离；/>为以自然常数为底数的指数函数。

当两弯折像素点的链码方向趋势越为接近、且距离越近时，两弯折像素点之间的同一分割线异常度越小，此时，两弯折像素点越可能对应同一分割线。

当两弯折像素点之间的同一分割线异常度小于等于第二预设参数时，则认为两弯折像素点对应的铜箔导线弯折位置为平行分布的铜箔导线出现相同弯折的位置，将过两弯折像素点的直线记为两弯折像素点的分割线。其中，第二预设参数的经验值为0.25。

为了避免弯折位置对柔性线路板贴片异常检测的影响，使用两弯折像素点的分割线将弯折像素点所在的铜箔导线簇分割开，将获取的分割开的每个区域均记为一个导线段组。将每个铜箔导线簇包含的所有像素点组成的区域记为导线段。

对每个导线段组分别进行分析，可以排除铜箔导线的弯折位置对柔性线路板贴片异常检测的影响。

至此，确定分割线，将导线段划分为导线段组。

步骤S004、获取导线段组的最大的主成分向量，划分同组导线段组，根据同组导线段组中不同导线段组的最大的主成分向量，确定导线段组的相对偏移系数，根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测。

在贴片的过程中，柔性基材受温度的影响可能会发生形变，但是，由于导线自身应力较大，发生形变的柔性基材无法使导线产生弯折，只会使铜箔导线的位置产生整体偏移。铜箔导线整体偏移示意图如图3所示。所以，可以根据导线段内包含的导线段组与其他导线段组之间的相对位置关系，筛选可能存在位置偏移的导线段。

对每个导线段组分别使用PCA主成分分析法进行分析，获取导线段组的所有主成分向量，从中选取最大的主成分向量。导线段组的最大的主成分向量代表导线段组对应的铜箔导线最有可能的延伸方向。

将划分导线段组时，将分割线对应的两个弯折像素点所在的导线段组记为同组导线段组。当同组导线段组中的导线段组对应的铜箔导线最有可能的延伸方向越为接近时，导线段组对应的铜箔导线为存在位置偏移的导线段的可能性越小。

根据同组导线段组中不同导线段组的最大的主成分向量，确定导线段组的相对偏移系数。

式中，为导线段组/>的相对偏移系数；/>为导线段组/>的所有同组导线段组内包含的不同导线段组的数量；/>为导线段组/>的所有同组导线段组内包含的不是导线段组/>的不同导线段组的数量；/>为导线段组/>的最大的主成分向量；/>为导线段组/>的所有同组导线段组内导线段组/>的最大的主成分向量，其中，导线段组/>与线段组/>对应不同导线段组；为/>与/>之间的夹角余弦值；/>表示归一化函数，作用为取括号内的现行归一化值。

当同组导线段组中的导线段组对应的铜箔导线的最有可能的延伸方向越为接近时，导线段组对应出现位置偏移的导线段的可能性越小，此时，导线段组的相对偏移系数越小。

当导线段组的相对偏移系数大于第三预设参数时，将导线段组判断为偏移导线段组，偏移导线段组即对应位置偏移的导线段。其中，第三预设参数的经验值为0.25。

至此，确定偏移导线段组。

根据偏移导线段组内包含的像素点位置，在柔性线路板图像中标记出偏移导线段组，将标记出偏移导线段组的柔性线路板图像传输至质检员的通知系统中，并将标记出偏移导线段组的柔性线路板图像对应的柔性线路板，标记为异常柔性线路板，对异常柔性线路板进行回收。

至此，实现柔性线路板贴片异常检测。

基于与上述方法相同的发明构思，本发明实施例还提供了一种柔性线路板贴片异常检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种柔性线路板贴片异常检测方法中任意一项所述方法的步骤。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种柔性线路板贴片异常检测方法，其特征在于，该方法包括以下步骤：

采集柔性线路板图像，根据柔性线路板图像确定柔性线路板区域；

根据柔性线路板区域确定聚类结果簇，确定聚类结果簇的主成分向量，获取聚类结果簇的凸包，确定铜箔导线的先验灰度值，根据聚类结果簇，聚类结果簇的凸包和主成分向量，以及铜箔导线的先验灰度值，获取聚类结果簇的导线簇可能性，根据导线簇可能性识别出铜箔导线簇；

获取铜箔导线簇的形态学骨架，确定形态学骨架的链码序列，进而确定弯折像素点，根据链码序列获取弯折像素点的链码方向趋势，根据不同弯折像素点的链码方向趋势和不同弯折像素点的位置，确定弯折像素点之间的同一分割线异常度，根据弯折像素点之间的同一分割线异常度，确定弯折像素点的分割线，使用分割线，将导线段划分为导线段组；

获取导线段组的最大的主成分向量，划分同组导线段组，根据同组导线段组中不同导线段组的最大的主成分向量，确定导线段组的相对偏移系数，根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测。

2.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述导线簇可能性，获取的具体方法为：

式中，为聚类结果簇的导线簇可能性；/>为聚类结果簇的凸包内包含的像素点数量；/>为聚类结果簇内包含的像素点数量；/>为聚类结果簇的最大的主成分向量的模长；/>为聚类结果簇的最小的主成分向量的模长；/>为铜箔导线的先验灰度值；/>为聚类结果簇内包含的像素点的灰度值均值；/>表示归一化函数。

3.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述根据导线簇可能性识别出铜箔导线簇，包括的具体方法为：

将导线簇可能性大于等于第一预设参数的聚类结果簇记为于铜箔导线簇。

4.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述弯折像素点，获取的具体方法为：

将链码方向符发生改变的像素点为弯折像素点。

5.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述同一分割线异常度，获取的具体方法为：

将两弯折像素点的链码方向趋势的差值的绝对值与欧氏距离的乘积记为第一乘积，将以第一乘积为自变量的指数函数取值记为两弯折像素点之间的同一分割线异常度。

6.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述根据弯折像素点之间的同一分割线异常度，确定弯折像素点的分割线，使用分割线，将导线段划分为导线段组，包括的具体方法为：

将同一分割线异常度小于等于第二预设参数的两弯折像素点确定的直线记为两弯折像素点的分割线，两弯折像素点的分割线将弯折像素点所在的铜箔导线簇分割为导线段组。

7.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述划分同组导线段组，包括的具体方法为：

将分割线对应的两个弯折像素点所在的导线段组记为同组导线段组。

8.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述相对偏移系数，获取的具体方法为：

将导线段组的最大的主成分向量与导线段组的同组导线段组内其他导线段组的最大的主成分向量之间的夹角余弦值总和记为导线段组的余弦差异；

将导线段组的同组导线段组内其他导线段组的数量与导线段组的余弦差异的差值的归一化值记为导线段组的相对偏移系数。

9.根据权利要求1所述的一种柔性线路板贴片异常检测方法，其特征在于，所述根据相对偏移系数确定偏移导线段组，根据偏移导线段组实现柔性线路板贴片异常检测，包括的具体方法为：

将相对偏移系数大于第三预设参数的导线段组划分为偏移导线段组，在柔性线路板图像中标记出偏移导线段组，实现柔性线路板贴片异常检测。

10.一种柔性线路板贴片异常检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述一种柔性线路板贴片异常检测方法的步骤。