CN109584215A - 一种电路板在线视觉检测系统 - Google Patents

Abstract

本发明公开了一种电路板在线视觉检测系统，其特征在于，通过移动CCD相机采集电路板表面的反射光或散射光，得到电路板的全景图像并储存，利用FPGA对图像进行图像增强处理，图像去噪处理，图像分割处理，通过多级边缘检测算法提取图像边缘通过Hough变换操作提取图像特征，然后通过相似性度量和约束条件进行特征匹配，最后通过差影法检测出电路板的缺陷；通过FPGA进行图像预处理将采集的电路板全景图像进行图像增强处理，图像去燥处理，图像分割处理，为缺陷检测提供了良好的条件；通过Roberts算子依据局部差分算子来寻找图像的边缘并通过Hough变换操作提取边缘特征，大大提搞了计算的精度；通过差影法能够快速识别电路板的缺陷。

Description

一种电路板在线视觉检测系统

技术领域

本发明涉及一种检测设备，尤其涉及一种电路板在线视觉检测系统。

背景技术

电路板又称为印刷线路板或印制电路板，在现代电子设备中占有重要的地位；电路板缺陷检测是评估印刷电路板质量的一个关键因素，直接影响到电子产品的性能和使用安全；传统上PCB缺陷检测由人工目检完成，但是这部分工作十分枯燥乏味，而且人的精力有限，容易发生漏检和误检，且效率不高；而且，随着互联网技术加速从生产工具向生产要素转变，其与传统行业的结合日益紧密，工业方面主要体现在制造业与互联网的结合，即“互联网+制造”，过机器视觉进行PCB缺陷自动检测，已经成为业内迫切需求，同时也是一种必然的发展趋势。

发明内容

针对上述现有技术的不足，本发明的目的是提供一种电路板在线视觉检测系统。

本发明是通过以下技术方案予以实现的。

一种电路板在线视觉检测系统，通过移动CCD相机采集电路板表面的反射光或是散射光，得到电路板的全景图像并储存，利用FPGA对图像进行图像增强处理，图像去噪处理，图像分割处理，通过多级边缘检测算法提取图像边缘并通过Hough变换操作提取图像特征，然后通过相似性度量和约束条件进行特征匹配，最后通过差影法检测出电路板的缺陷。

本视觉检测系统主要用于电路板的缺陷检测，在本视觉检测系统中，用 CCD相机获取电路板的全景图像需要进行A/D转换，将检测到的电路板的全景图像传输到计算机设备，在进行电路板的全景图像采集过程中、电路板的运输过程中常常可能会引入噪声污染，常见的噪声有椒盐噪声、高斯噪声等，这些噪声降低了图像的质量，会给后面的电路板的缺陷检测(特征提取、图像匹配)操作难度的增加和检测精度的下降，比如会造成缺陷检测失误，将正常的图案角点检测为缺陷，或者忽略某些边沿缺陷，在本视觉检测中通过FPGA进行图像预处理，图像预处理包括图像增强处理，图像去噪处理，图像分割处理，并且通过多级边缘检测算法提取图像边缘，然后通过Hough变换操作提取图像特征，最后通过差影法检测出电路板的缺陷，在本视觉检测系统中多级边缘算法采用的是Roberts算子作为电路板边缘检测的检测方法。

本在线视觉检测系统中CCD相机获取电路板的全景图像需要进行A/D 转换是指经过采样和幅值变化的图像，即，数字图像处理；所谓图像的数字化就是将一幅图像以数字的形式进行表示，在信息不丢失的同时便于进行数字化处理和存储、传输；数字化设备只能存储和处理数字信号，因此如果要用计算机处理图像，必须先将由CCD等器件获取的灰度连续变化的图像进行数字化处理。

在通过FPGA进行图像预处理时，可采用跨平台计算机视觉资源库，它是用C语言和一部分C++类构成，可以实现图像处理、计算机视觉、机器学习方面常见的算法；跨平台计算机视觉资源库的结构包括点、矩形框、矩阵、图像头、图像色彩定义等。

更进一步的，CCD相机通过串行接口线连图像采集卡，所述图像采集卡插在工控机PCI插槽上，即，将CCD相机采集的电路板全景图像通过图像采集卡传入计算机进行图像处理。

更进一步的，所述移动CCD相机采集电路板表面的反射光或散射光并存储图像具体是：采集电路板表面采用环形光源进行采集。

更进一步的，所述多级边缘检测算法具体是先使用高斯函数对采集的电路板全景图像进行去燥处理，然后通过二值化算法将全景图像进行二值化处理，得到图像的边缘阵列。

图像的边缘是图像最基本的特征，在图像的边缘中，沿着边缘方向的像素变化较平缓，垂直于边缘方向的像素变化较剧烈；依据这种变化特点，要检测出图像的边缘，可以通过检测图像中每个像素在其邻域内的灰度变化来实现，灰度变化以一阶或二阶微分来表示；图像的边缘并不就是物体的真实边缘，而只是一种尽可能的接近，这是由于图像数据与实际物体的维数不同造成的，图像数据是二维的，而实际物体是三维的，从实际物体到图像的转换实质上就是图像数据从三维到二维的映射，这个映射过程必然会造成图像信息的丢失；再加上受到图像采集系统的光照不均及其他噪声等因素的影响，图像的真实边缘与虚假边缘可能会相互之间混淆，导致检测出的图像边缘不是实际目标物体的真实边缘，或者在检测过程中没能完全检测出实际目标物体的真实边缘。

更进一步的，所述Hough变换作操作提取图像特征具体是指：通过检测采集到的全景图像中的直线，扩展后检测全景图像。

更进一步的，所述通过差影法检测出电路板的缺陷具体是指：将已经通过 FPGA处理和Hough提取特征的全景图像与储存在计算机内的图像相减，利用差影图像提供的图像间的差异信息进行检测和识别。

所谓的差影法就是图像的相减运算又称减影技术，该运算是把同一景物在不同时间拍摄的图像或同一景物在不同波段的图像相减，用差影图像提供的图像间的差异信息以达到动态监测、运动目标检测和识别以及目标识别等目的；其原理如下：图像的代数运算是指对两幅输入图像进行图像的加、减、乘、除四则运算而得到输出图像的运算

与现有技术相比，本发明的有益效果在于：通过采用跨平台计算机视觉资源库大大提高了在本在线视觉检测系统中图像预处理的效率，主要体现在编程及算法上；通过FPGA进行图像预处理将采集的电路板全景图像进行图像增强处理，图像去燥处理，图像分割处理，为缺陷检测提供了良好的条件；通过Roberts算子依据局部差分算子来寻找图像的边缘并通过Hough变换操作提取边缘特征，大大提搞了计算的精度；通过差影法能够快速识别电路板的缺陷。

附图说明

图1为本发明的工作流程图。

图2为本发明的电路板定远原始图像。

图3为本发明的Roberts算子检测结果图像。

图4为本发明的Sobel算子检测结果图像。

图5为本发明的Prewitt算子检测结果图像。

图6为本发明的LOG算子检测结果图像。

图7为本发明的Canny算子检测结果图像。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

实施例1

如图1所示，一种电路板在线视觉检测系统，通过移动CCD相机采集电路板表面的反射光或散射光，得到电路板的全景图像并储存，利用FPGA对图像进行图像增强处理，图像去噪处理，图像分割处理，通过多级边缘检测算法提取图像边缘并通过Hough变换操作提取图像特征，然后通过相似性度量和约束条件进行特征匹配，最后通过差影法检测出电路板的缺陷。

本视觉检测系统主要用于电路板的缺陷检测，在本视觉检测系统中，用 CCD相机获取电路板的全景图像需要进行A/D转换，将检测到的电路板的全景图像传输到计算机设备，在进行电路板的全景图像采集过程中、电路板的运输过程中常常可能会引入噪声污染，常见的噪声有椒盐噪声、高斯噪声等，这些噪声降低了图像的质量，会给后面的电路板的缺陷检测(特征提取、图像匹配)操作难度的增加和检测精度的下降，比如会造成缺陷检测失误，将正常的图案角点检测为缺陷，或者忽略某些边沿缺陷，在本视觉检测中通过FPGA进行图像预处理，图像预处理包括图像增强处理，图像去燥处理，图像分割处理，并且通过多级边缘检测算法提取图像边缘然后通过 Hough变换操作提取图像特征，最后通过差影法检测出电路板的缺陷，在本视觉检测系统中多级边缘算法采用的是Roberts算子作为电路板边缘检测的检测方法。

本在线视觉检测系统中CCD相机获取电路板的全景图像需要进行A/D 转换是指经过采样和幅值变化的图像，即，数字图像处理；所谓图像的数字化就是将一幅图像以数字的形式进行表示，在信息不丢失的同时便于进行数字化处理和存储、传输；数字化设备只能存储和处理数字信号，因此如果要用计算机处理图像，必须先将由CCD等器件获取的灰度连续变化的图像进行数字化处理。

在通过FPGA进行图像预处理时，可采用跨平台计算机视觉资源库，它是用C语言和一部分C++类构成，可以实现图像处理、计算机视觉、机器学习方面常见的算法；跨平台计算机视觉资源库的结构包括点、矩形框、矩阵、图像头、图像色彩定义等。

在本在线视觉检测系统中缺陷检测时，会采用跨平台计算机视觉资源库中特有的数据结构；具体如表1-1。

表1-1跨平台计算机视觉资源库中常用的数据结构

数据结构	成员	意义
			CvPoint	intx，y	二维整形数轴上的点
CvPoint3D32f|	float x，y	三维浮点型坐标轴的点
			CvSize	int width，height	矩形框大小
CvRect	int x，y，width，height	矩形框
			CvScalar	double val	RGBA值

跨平台计算机视觉资源库中常用的基础函数很多，如表1-2：

表1-2常用函数及其功能表

Ipllmage是中特有的图像数据结构，在使用跨平台计算机视觉资源库进行图像处理时，会转化成Ipllmage形式的文件头。

所述CCD相机通过串行接口线连图像采集卡，所述图像采集卡插在工控机PCI插槽上，即，将CCD相机采集的电路板全景图像通过图像采集卡传入计算机进行图像处理。

所述移动CCD相机采集电路板表面的反射光或散射光并存储图像具体是：采集电路板表面采用环形光源进行采集。

实际使用中，采用CCD相机与高清远心镜头的组合采集电路板表面的反射光或散射光，在采集过程中，电路板随传送带移动，CCD相机固定在电路板的传送带上，通过电路板的移动采集电路板的全景图像，并通过图像采集卡将采集的电路板全景图像传送至计算机进行下一工序(图像处理)；在 CCD相机上还设有光敏传感器，当光敏传感器感应到有电路板通过时，会传递信号给CCD相机，CCD相机开始工作，对电路板进行图像采集。

所述多级边缘检测算法具体是先使用高斯函数对采集的电路板全景图像进行去燥处理，然后通过二值化算法将全景图像进行二值化处理，得到图像的边缘阵列。

图像边缘是图像对视觉的最主要特征，因此在机器视觉中提出了多种检测边缘的算法；常见的边缘检测有梯度算子、高斯-拉普拉斯算子以及Canny 算子等方法，而不同的边缘检测算子有着不同的检测效果；梯度算子属于一阶微分算子，对应于图像函数的一阶导数，对于具有离散化特性的数字图像来说，荼毒的计算过程中，常用差分来代替微分，一般采用小区域模板与图像卷积来计算梯度值，在梯度算子包括Roberts算子、Sobel算子、Prewitt算子，其中Roberts算子依据局部差分算子来寻找图像的边缘，其领域大小为2 ×2，梯度与下面几种形式表示：

R₂＝Max(|a₅-a₉|,|a₆-a₈|)，其卷积算子如表2，表3表示Roberts 算子Y方向；

表2

-1	0	1
			-2	0	2
-1	0	1

其中Sobel算子是以f(x,y)为中心计算3×3领域x方向和y方向偏导数，冰柜像素的中心文职做了加权，表达式如下：

f_x＝(a₇+2a₈+a₉)-(a₁+2a₂+a₃)，

f_y＝(a₃+2a₆+a₉)-(a₁+2a₄+a₇)，其卷积算子如表3，表3表示 Sobel算子X方向；

表3

在图样检测过程中，为能够在精确性和抗噪声能力方面得到提高， Prewitt将算子模板的大小由2×2扩大到3×3，将局部平均和方向差分相运算结合，表达式如下：

f_x＝(a₇+a₈+a₉)-(a₁+a₂+a₃)，

f_y＝(a₃+a₆+a₉)-(a₁+a₄+a₇)，其卷积算子如表4、表5，表4表示为Prewitt算子X方向，表5位Prewitt算子Y方向；

高斯-拉普拉斯算子为二阶微分算子，高斯滤波和拉普拉斯边缘检测结合起来形成LOG算法其对噪声比较铭感，在一般的计算中，通常需要先通过平滑滤波器进行平滑滤波处理，再进行拉普拉斯运算，以减轻噪声对拉普拉斯算子的不理影响，最后通过零点的检测来提取边缘位置；Canny算子是通过将原始图像与高斯滤波函数卷积来实现；在本视觉在线检测系统中，采用的是梯度算子中Roberts算子检测电路板的边缘。

从图2-7可以看出，Roberts边缘检测算子对电路板的边缘检测效果最好，虽然该检测方法对噪声敏感，不能像LOG算子与Canny算子能够检测出电路板周围其他部分的边缘，恰恰是这个特点，使得检测结果比其他算子更好，Sobel 与Prewitt边缘检测算子检测效果差不多，检测效果较好，对噪声有一定的抑制作用；所以，最后选择Roberts算子作为PCB图像定位圆边缘检测的检测方法。

所述Hough变换作操作提取图像特征具体是指：通过检测采集到的全景图像中的直线，扩展后检测全景图像。

Hough变换一般通过以下几个步骤来实现图形的检测：

1、为参数空间分配缓冲区，该缓冲区用来存储参数内容，为图像空间到参数空间映射做好准备；

2、将图像从图像空间转换到参数空间，扫描图像中的特点，并求出每个满足一定关系的特征点对应的参数空间内的图形；

3、累加并存储参数空间的所有满足这个关系的图像参数，图像空间上满足一定条件的每个点都加一；

4、定位参数平面上的最大点的位置，这个位置就是原始图像上图形的参数。

所述通过差影法检测出电路板的缺陷具体是指：将已经通过FPGA处理和Hough提取特征的全景图像与储存在计算机内的图像相减，利用差影图像提供的图像间的差异信息进行检测和识别。

所谓的差影法就是图像的相减运算又称减影技术，该运算是把同一景物在不同时间拍摄的图像或同一景物在不同波段的图像相减，用差影图像提供的图像间的差异信息以达到动态监测、运动目标检测和识别以及目标识别等目的；其原理如下：图像的代数运算是指对两幅输入图像进行图像的加、减、乘、除四则运算而得到输出图像的运算；其中输入图像为A(x，Y)和B(x，Y)，输出图像为C(X，Y)，满足公式C(X，Y)＝A(X，Y)士B(X，Y)；如表6所示：图像A(x，Y)为某基元3×3矩阵即x1，x2，x3，，x9；图形B(X， Y)为基元3×3矩阵，即x1，x2，x3，…x9；假设分别对应的数值为表7和表8，两矩阵相比较，设差值系数为8＝2△＝lX；-Xil，I＝1～9；如果<6则图像处理后图像对应点的灰度值为0；否则，对应点灰度为225；表9为所处理之后的图像灰度矩阵，其算法实现及数学公式如下：

1)如果X(i，j)-Y(i，y)l≤K，则Z(i，j)＝0；两图像相减，其差值如果满足差异系数，则将图像该点置为0；

2)如果K-1≤lX(i，j)-Y(i，y)I≤&HFFFFFF，则Z(i，j)＝&HFFFFFF；两图像相减其差值如果不满足差异系数，则将图像该点置为&HFFFFFF；其中 X(i，j)为模板图像，Y(i，j)为焊接过程中焊缝图像，Z(i，j)为处理之后图像，K为差异系数，i，j分别为数组的行和列。

本发明的在线视觉检测系统，采用CCD相机采集电路板表面的反射光或散射光通过A/D转换后进行图像处理，通过Roberts算子检测电路板边缘并提取边缘图像，通Hough变换操作提取图像特征，最后通过差影法检测出电路板的缺陷。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (6)

1.一种电路板在线视觉检测系统，其特征在于，通过移动CCD相机采集电路板表面的反射光或散射光，得到电路板的全景图像并储存，利用FPGA对图像进行图像增强处理，图像去噪处理，图像分割处理，通过多级边缘检测算法提取图像边缘并通过Hough变换操作提取图像特征，然后通过相似性度量和约束条件进行特征匹配，最后通过差影法检测出电路板的缺陷。

2.根据权利要求1所述的一种电路板在线视觉检测系统，其特征在于，CCD相机通过串行接口线连图像采集卡，所述图像采集卡插在工控机PCI插槽上，即，将CCD相机采集的电路板全景图像通过图像采集卡传入计算机进行图像处理。

3.根据权利要求1所述的一种电路板在线视觉检测系统，其特征在于，所述移动CCD相机采集电路板表面的反射光或散射光并存储图像具体是：采集电路板表面采用环形光源进行采集。

4.根据权利要求1所述的一种电路板在线视觉检测系统，其特征在于，所述多级边缘检测算法具体是先使用高斯函数对采集的电路板全景图像进行去燥处理，然后通过二值化算法将全景图像进行二值化处理，得到图像的边缘阵列。

5.根据权利要求1所述的一种电路板在线视觉检测系统，其特征在于，所述Hough变换作操作提取图像特征具体是指：通过检测采集到的全景图像中的直线，扩展后检测全景图像。

6.根据权利要求1所述的一种电路板在线视觉检测系统，其特征在于，所述通过差影法检测出电路板的缺陷具体是指：将已经通过FPGA处理和Hough提取特征的全景图像与储存在计算机内的图像相减，利用差影图像提供的图像间的差异信息进行检测和识别。