CN101661004A - 一种基于支持向量机的电路板焊接质量视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的电路板焊接质量视觉检测方法，其步骤为：1)、获取电路板焊接部分的图像；2)、提取焊接图像的灰度直方图；3)、采用基于熵的图像分割方法将焊接图像分割为3个色度带；4)、每一个色度带上取其面积、重心纵坐标、二阶矩三个变量作为电路板焊接质量检测的特征量；5)、将特征量作为支持向量机分类器的输入，以支持向量机分类器的三个输出值来判断焊接质量归属于焊锡正常、焊锡过量、焊锡不足三种情况，最后给出焊接质量结果。本发明能克服人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳等问题，提高电子制造生产自动化程度和产品质量。

Description

一种基于支持向量机的电路板焊接质量视觉检测方法

技术领域

本发明主要涉及到电子制造领域的视觉检测，特别涉及一种基于支持向量机的电路板焊接质量视觉检测方法。

背景技术

在电子制造生产线上，电路板的生产需要经过多道工序，其中很关键的一个环节就是电路板质量的检测与测试。电路板检测与测试中的一个重要内容是电子元器件焊接质量的检测，主要是检测在焊接的过程中各个电子元器件是否存在漏焊、焊锡过量、焊锡不足等不合格情况。现有的电路板焊接质量检测中，往往都是人工检验，效率不高，而且难以保证检验的质量。随着电路板制造工艺的发展和技术的进步，电路板上焊接的各种器件越来越多，需要进行焊接检测的地方也越来越多，依靠传统的人工检验方法已无法满足较大规模生产制造的需求。

在我国进入WTO后，面对国外成套先进电子制造设备对国内市场的冲击，力保国内市场，打开国际市场，研究具有自主知识产权的电子制造生产检测设备和方法具有十分重要的价值和意义。目前，基于机器视觉的检测方法已经成为该领域的一个发展趋势。

发明内容

本发明的目的是提供一种基于支持向量机的电路板焊接质量视觉检测方法，以克服人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳等不足，本方法利用计算机、数字摄像机等设备来实现电路板焊接质量的视觉检测，从而提高电子制造生产自动化程度和产品质量。

为实现上述目的，本发明的技术方案为：

一种基于支持向量机的电路板焊接质量视觉检测方法，其特征在于，包括以下步骤：

1)获取电路板焊点焊接部分的数字图像并提取所获取的数字图像的灰度直方图；数字图像的直方图表示为 $p\left(h\right)=\frac{g\left(h\right)}{G},$ 其中G表示数字图像中像素的总和，h表示灰度等级，g(h)表示图像灰度等级为h的像素个数；

2)应用基于熵的图像分割方法将所述的数字图像分割为3个色度带；

对于灰度值变化范围在[0，N-1]的数字图像，其直方图的熵用下式表示： $H=-\underset{h=0}{\overset{N-1}{\mathrm{\Σ}}}p\left(h\right)\ln p\left(h\right);$ 用t_a表示图像分割的阈值，是灰度值0～255之间的数值，则不同阈值范围内的直方图的熵可表示为 $H_a=-\underset{h=t_a}{\overset{t_{a+1}}{\mathrm{\Σ}}}p\left(h\right)\ln p\left(h\right);$ 而总熵为 $H=\underset{a=0}{\overset{L-1}{\mathrm{\Σ}}}{H}_a,$ 取总熵H的导数，通过求解总熵H的导数为零时的点作为阈值，阈值个数L＝2，灰度级是从0～255，两个阈值将灰度分成三个区间，由此将数字图像分割成三个色度带；

3)在每一个色度带上各取其面积、重心纵坐标、二阶矩三个变量为特征量，得到3个色度带的总共9个特征量作为用于电路板焊接质量检测的支持向量机分类器的输入量；支持向量机分类器的三个输出值用来判断焊接质量归属于焊锡正常、焊锡过量、焊锡不足三种情况，当某一个输出值大于0.5，则认为当前焊接质量归属于此类，从而由支持向量机的输出结果来判断电路板焊接质量；

所述的面积为归一化面积A＝A_p/A_s，其中A_p为黑色区域部分面积，A_s为焊盘面积；所述的重心纵坐标为Y＝Y_p/Y_s，Y_p为黑色区域部分重心纵坐标，Y_s为焊盘长度；所述的二阶矩为 $m_i=\underset{h=0}{\overset{N-1}{\mathrm{\Σ}}}{h}^{i}p\left(h\right),i=2.$

在实际检测之前，需要对支持向量机进行训练，以保证检测的精度。具体方法为：采集多个电路板焊锡的样本图像，提取图像的灰度直方图，将焊锡正常、焊锡过量、焊锡不足的三种情况的多幅样本图像作为步骤3)中支持向量机的训练样本对支持向量机进行训练。

本发明提供了一种基于支持向量机的电路板焊接质量视觉检测方法，详细说明如下：

首先，介绍该视觉检测算法的学习训练步骤如下：

(1)采集电路板焊锡的样本图像，提取图像的灰度直方图，将焊锡正常、焊锡过量、焊锡不足的三种情况的多幅图像作为支持向量机的训练样本；

(2)采用基于熵的图像分割方法将电路板焊接图像分割为3个色度带；

(3)将第(2)步得到的每一个色度带上取图形的面积、重心纵坐标、二阶矩三个变量作为特征量，这样得到3×3＝9个特征量，作为描述电路板焊接图像的特征向量；

(4)确定支持向量机分类器的结构，输入变量有9个，即步骤(3)中的9个特征量；

(5)确定支持向量机分类器的输出变量为3个，分别对应于焊锡正常、焊锡过量、焊锡不足三种情况，并且各个输出变量的值为-1或1。

(6)采用步骤(1)中的训练样本、步骤(4)和(5)中的支持向量机结构，进行支持向量机的学习训练。

采用上述的步骤可以训练好支持向量机分类器，以此作为电路板焊接质量视觉检测的分类器。

在实际的视觉检测过程，该检测方法的实施过程如下：

(1)获取电路板焊接部分的图像；

(2)提取图像的灰度直方图；

(3)基于熵的图像分割方法将电路板焊接图像分割为3个色度带；

(4)每一个色度带上取其面积、重心纵坐标、二阶矩三个变量作为电路板焊接质量检测的输入特征量；

(5)将输入特征量作为支持向量机分类器的输入，以支持向量机分类器的三个输出值来判断焊接质量归属于焊锡正常、焊锡过量、焊锡不足三种情况，当某一个输出值大于0.5，则认为归属于此类，从而由支持向量机的输出结果来判断电路板焊接质量。

本发明的优点与效果：

与现有技术相比，本发明的优点就在于：

1、采用熵的图像分割方法将电路板焊接图像分割为3个色度带，每一个色度带上取其面积、重心纵坐标、二阶矩三个变量作为电路板焊接质量检测的输入特征量。这些特征量较好地反映了电路板焊接质量的信息，而且处理的数据维数不太大，检测算法实时性好；

2、采用支持向量机算法来识别视觉检测结果，当采用足够多的样本集来训练支持向量机之后，就可以直接应用于焊接质量检测，检测准确度高，也不需要在线学习或调整；

3、运用计算机、数字摄像机等实现机器视觉检测算法，可以克服人工检测的诸多不足，提高生产效率，自动化程度高。

附图说明

图1是本发明的支持向量机分类器学习训练过程示意图；

图2是本发明中的实际视觉检测过程示意图；

图3是本发明中基于熵的多阈值图像分割效果；

图4是样本在均值-方差特征空间的分布情况；

图5是样本在面积-重心纵坐标特征空间的分布情况；

图6是样本在二阶矩-水力半径特征空间的分布情况；

图7是本发明中基于支持向量机焊接质量检测示意图。

具体实施方式

实施例1：

以下将结合附图和具体实施例对本发明做进一步详细说明。

1、首先，本发明采用数字摄像机拍摄电路板焊接部位的图像，并提取图像的灰度直方图。

一幅图像的直方图可以表示为

$p\left(h\right)=\frac{g\left(h\right)}{G}---\left(1\right)$

式中G表示图像像素的总和，h表示灰度等级，g(h)表示图像灰度等级为h的像素个数。灰度直方图(histogram)是灰度级的函数，它表示图像中具有每种灰度级的像素的个数，反映图像中每种灰度出现的频率。灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频率，是图像的最基本的统计特征。

2、基于熵的多阈值焊接图像分割。

对于一幅灰度值变化范围在[0，N-1]的图像，其直方图的熵可表示为：

$H=-\underset{h=0}{\overset{N-1}{\mathrm{\Σ}}}p\left(h\right)\ln p\left(h\right)---\left(2\right)$

用t_a表示图像分割的阈值，是灰度值0～255之间的数值，那么不同阈值范围内的直方图的熵可表示为

$H_a=-\underset{h=t_a}{\overset{t_{a+1}}{\mathrm{\Σ}}}p\left(h\right)\ln p\left(h\right)---\left(3\right)$

而总熵H可以表示为每一段阈值范围内的熵的求和，即： $H=\underset{a=0}{\overset{L-1}{\mathrm{\Σ}}}{H}_a,$ 取总熵H的导数，通过求解总熵H的导数为零时的点作为阈值，L即为阈值的个数，可以使总熵达到最大值。在本算法中L＝2，灰度级是从0～255，加上这两个阈值，正好分成三个区间，此时图像分割效果如图3所示。【说明，分割时，处于灰度范围内的像数正常显示，其他灰度的像数显示为0，即黑像点，从而实现图像的分割。三个区间的像数值正好分割出3个色度带】

3、焊接图像特征量的选取

在电路板质量检测识别中，选取具有代表性的焊点图像特征不仅能够提高电路板质量检测结果的可靠性，而且能够提高检测算法中的支持向量机的训练速度和识别速度。这里的焊接图像检测中，可以考虑的几个典型的特征说明如下：

(a)归一化面积。面积在焊点质量检测中是一个重要的特征，从图3中可以看出，焊锡不足在第一个色度带中的Particle面积(即粒子面积，即黑色区域部分面积)均比焊锡过量、焊锡正常的Particle面积大一些；而在第二个色度带中，情况则不一样。由于不同电子元件的焊点大小不同，因此，需要将焊点面积进行归归一化，即：A＝A_p/A_s，其中A_p为Particle面积，A_s为焊盘面积。

(b)归一化重心。从图3中可以看出，在第一个色度带中，对于焊锡正常的情况，Particle的重心在整个焊点图像的中心附近，而对于焊锡过量的情况，则偏向图像的下方。由于图像左右比较对称，因此，只需取重心的纵坐标就可以大致反映重心位置。同样，由于焊盘大小不同，需要进行归一化，即：Y＝Y_p/Y_s，Y_p为Particle重心纵坐标，Y_s为焊盘长度。

(c)水力半径，其定义为：R＝A/p，P表示Particle的周长。

(d)矩，这里所说的矩特征是利用力学中矩的概念，将区域内部的象素点作为质量，象素的坐标作为力臂，从而以各阶矩的形式来表示区域形状特征的一种表示方式，其定义为： $m_i=\underset{h=0}{\overset{N-1}{\mathrm{\Σ}}}{h}^{i}p\left(h\right),i=\mathrm{1,2},...$

其中一阶矩(i＝1时)是图像的均值。i＝2时对应的m_i即m₂表示二阶矩。

(e)中心矩，其定义为： $u_i=\underset{h=0}{\overset{N-1}{\mathrm{\Σ}}}{(h-m_1)}^{i}p\left(h\right),i=\mathrm{1,2},...$

最常用的中心矩是u₂、u₃和u₄，u₂是图像灰度值的方差。

在焊接质量检测中，所选取的特征并非越多越好，过多的特征信息会增加检测算法的计算分析复杂度。因此，需要在特征维数和检测性能之间找一个平衡点，这样既能保证检测精度，又可以避免过大的计算量。从实际工程应用的角度来看，在保证检测准确性的前提下，尽量使用小的特征维数，检测计算量较小，此时，支持向量机的学习训练与识别分类也将更加快捷。因此，焊接检测中需要对主要图像特征(归一化面积、归一化重心、水力半径、矩、中心矩)的分辨力进行评估，从中选择几个最有代表性的特征作为电路板质量检测的依据。

为了针对焊点质量检测这个具体问题更好地选取图像特征量，我们对几种类型的焊点图像进行了分析和归纳。图4-图6给出了焊点图像样本在不同特征空间中的分布情况，其中图4为均值-方差特征量分布情况，该图中可以看出，焊锡正常、焊锡过量、焊锡不足这3种类型的焊点分布相互交错，很难区分开来，因此，均值和方差不宜作为焊点质量检测的输入特征信息。

图5为归一化之后的面积-重心纵坐标分布情况，从图5中可以看出，焊锡正常、焊锡过量、焊锡不足3种类型的焊点分布具有明显的分界，而且同一类型的特征点分布相对集中，分辨能力强。因此，面积和重心纵坐标具有非常好的分辨力，可以作为焊点质量检测的输入特征信息。同样，从图6中可以看出，二阶矩可以比较容易地将焊锡过量与其它两类区分，但是很难将焊锡正常和焊锡不足进行区分；而水力半径的分辨力却较弱。

根据这些样本可以看出，面积、重心纵坐标和二阶矩3个特征变量可以反映不同类型样本的不同分布，因而较好地区分焊点质量。因而在本发明的焊接质量视觉检测方法中，将选择面积、重心纵坐标和二阶矩3个变量的值作为输入图像的特征量，每一个特征将图像分为3个色度带。这样，共有9个特征值作为支持向量机分类器的输入。

4、支持向量机分类器

自1995年Vapnik等人提出支持向量机以来，支持向量机理论得到了不断的发展。最初的支持向量机分类是针对两类的情况，对于多类分类和模式识别问题，学者们提出了支持向量机多类分类器，从而更加符合实际应用状况。

假定在训练样本中有n个样本，每一个用向量

来表示，向量

代表着图像灰度分布特征。分类问题转化为寻找一个适合的分类函数的问题，该分类函数为 $f:\stackrel{\→}{x_i}\→y_i,y_i\∈\{-1,+1\}.$ 首先，利用样本数据来训练该函数。然后，将试验数据输入，利用该函数来进行分类。如果 $f\left(\stackrel{\→}{x_i}\right)>0,$ 输入向量被认为是属于y_i＝+1类的，也就是合格的；否则，输入向量被认为是属于y_i＝-1类的，也就是不合格的。

支持向量机分类函数具有如下形式，

$f\left(\stackrel{\→}{x_i}\right)=\mathrm{sgn}(\stackrel{\→}{w}\·\stackrel{\→}{x_i}+b)---\left(4\right)$

其中向量

垂直于超平面，b是偏差量，sgn(·)为符号函数。以上方程必须满足以下约束条件：

$y_i(\stackrel{\→}{w}\·\stackrel{\→}{x_i}+b)-1\≥0,i=\mathrm{1,2},...,n---\left(5\right)$

此时分类间隔等于2/||w||，使间隔最大等价于使||w||²最小。满足条件(5)且使最小的分类面叫做最优分类面。假定H1，H2分别为过各类中离分类面最近的样本且平行于分类面的超平面，H1，H2上的训练样本点就称作支持向量(Support vector，SV)。

使分类间隔最大实际上就是对推广能力的控制，这是SVM的核心思想之一。统计学习理论指出，在N维空间中，设样本分布在一个半径为R的超球范围内，则满足条件||w||≤A的正则超平面构成的分类面f(x，w，b)＝sgn{(w·x)+b}的VC维满足下面的界：

h≤min([R²A²]，N)+1(6)

因此，使||w||²最小就是使VC维的上界最小，从而实现SRM准则中对函数复杂性的选择。

利用Lagrange优化方法可以把上述最优分类面问题转化为其对偶问题，即约束条件为

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_i=0,$ 其中α_i≥0，i＝1，...，n             (7)

根据式(7)所示的约束条件，对α_i求解下列函数的最大值

$Q\left(\mathrm{\α}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j(x_i\·x_j)---\left(8\right)$

α_i为与每个样本对应的Lagrange乘子。这是一个不等式约束下二次函数寻优的问题，存在唯一解。容易证明，解中将只有一部分(通常是少部分)α_i不为零，对应的样本就是支持向量。求解上述问题后得到的最优分类函数是：

$f\left(x\right)=\mathrm{sgn}\left\{(w^{*}\·x+b)\right\}$

$=\mathrm{sgn}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{*}{y}_i(x_i\·x)+b^{*}\}$

其中 $w^{*}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{*}{y}_i{x}_i---\left(9\right)$

式(9)中的求和实际上只对支持向量进行，b^*是分类阈值，可以用任一个支持向量(满足式(5)中的等号)求得，或通过两类中任意一对支持向量取中值求得。式(9)中只包含待分类样本与训练样本中的支持向量的内积运算(x_i·x_j)，用多项式形式的内积函数K(x，x_i)来代替(x_i·x_j)，K(x，x_i)如式(10)所示：

K(x，x_i)＝[(x·x_i)+1]^q    (10)

此时，式(8)的优化函数变为

$Q\left(\mathrm{\α}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_{j}K(x_i,x_j)---\left(11\right)$

算法的其他条件不变，而相应的最优分类函数式(9)变为

$f\left(x\right)=\mathrm{sgn}\left\{(w^{*}\·x+b)\right\}=\mathrm{sgn}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{*}{y}_{i}K(x_i,x)+b^{*}\},$

其中 $w^{*}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{*}{y}_i{x}_i---\left(12\right)$

用于焊接质量检测的支持向量机用图7来说明。

支持向量机技术是现有的技术，在本发明中只是应用它。中间的节点数量，训练算法是根据公式(4)～(12)来自动计算的，不是人为设定的。

Claims (2)

1.一种基于支持向量机的电路板焊接质量视觉检测方法，其特征在于，包括以下步骤：

1)获取电路板焊点焊接部分的数字图像并提取所获取的数字图像的灰度直方图；数字图像的直方图表示为

其中G表示数字图像中像素的总和，h表示灰度等级，g(h)表示图像灰度等级为h的像素个数；

2)应用基于熵的图像分割方法将所述的数字图像分割为3个色度带；

对于灰度值变化范围在[0，N-1]的数字图像，其直方图的熵用下式表示：

用t_a表示图像分割的阈值，是灰度值0～255之间的数值，则不同阈值范围内的直方图的熵可表示为

而总熵为

取总熵H的导数，通过求解总熵H的导数为零时的点作为阈值，阈值个数L＝2，灰度级是从0～255，两个阈值将灰度分成三个区间，由此将数字图像分割成三个色度带；

3)在每一个色度带上各取其面积、重心纵坐标、二阶矩三个变量为特征量，得到3个色度带的总共9个特征量作为用于电路板焊接质量检测的支持向量机分类器的输入量；支持向量机分类器的三个输出值用来判断焊接质量归属于焊锡正常、焊锡过量、焊锡不足三种情况，当某一个输出值大于0.5，则认为当前焊接质量归属于此类，从而由支持向量机的输出结果来判断电路板焊接质量；

所述的面积为归一化面积A＝A_p/A_s，其中A_p为黑色区域部分面积，A_s为焊盘面积；所述的重心纵坐标为Y＝Y_p/Y_s，Y_p为黑色区域部分重心纵坐标，Y_s为焊盘长度；所述的二阶矩为

i＝2。

2.根据权利要求1所述的一种基于支持向量机的电路板焊接质量视觉检测方法，其特征在于，采集多个电路板焊锡的样本图像，提取图像的灰度直方图，将焊锡正常、焊锡过量、焊锡不足的三种情况的多幅样本图像作为步骤3)中支持向量机的训练样本对支持向量机进行训练。

Images