CN104713885B - 一种用于pcb板在线检测的结构光辅助双目测量方法 - Google Patents

Abstract

本发明涉及一种用于PCB板在线检测的结构光辅助双目测量方法。在图像分析的基础上应用摄影测量双目交会的方法通过由双面阵相机系统而不依靠其他三维拍摄设备对电路板表面结构进行高精度测量。完成PCB针对性区域投影、采图、双目摄像机立体标定，特征点、线、面的提取以及最小二乘匹配，最终建立双目交会方程得到一系列特征的位置，这些特征构成了电路板的表面结构。将重建出的这些结构与标准结构对比从而发现缺陷、检验成品的质量。本发明采用传统摄像测量的交会方法对电路板表面结构进行在线实时测量，设备简单，解算结果的精度较高，可以代替人眼检测。

Description

一种用于PCB板在线检测的结构光辅助双目测量方法

技术领域

本发明涉及PCB在线自动质量检测技术中的视觉测试法领域，具体涉及一种用于PCB板在线检测的结构光辅助双目测量方法。

背景技术

印刷PCB作为电子产品的基础部件，是各种电器元器件的信息载体，在现代电子设备中占重要的地位。随着时代变迁，电子设备的日益普及，国内外的PCB行业都在应势发展，从生产加工到产品检修，提升每个环节的质量更是各商家的共识。

PCB结构复杂，质量直接影响产品的性能。为保证质量必须保证其线宽、线距、焊盘等都满足设计要求。而PCB的生产工序繁多、在生产过程中存在很多不确定的因素，无法保证每个成品都完整无缺。在生产加工过程中必须对PCB进行缺陷检测，尽早识别缺陷提高产物合格率。PCB的常见的缺陷主要有短路、断路，目前的检测系统从技术上看可以分为电器测试法（Electrical Test）和视觉测试法(Vision-inspection)。两者原理不同，各有优缺点。视觉测试是经由过程视觉查抄电子元件的特性以及印刷路线的特性找出缺陷。按其操作方式又可细分为人工法和主动视觉检测法。视觉检测通常应用在生产过程的初期阶段，可以更轻易侦测到导体间不准确但是只能检测用视觉可以看出的妨碍，对付短路或断路之类的瑕疵只能用电器测试法来加以办理。

PCB主动视觉检测(AOI)基于光学原理，综合图像、计算机和自动控制等多种技能，是自动化的检测设备，其检测的服从度，可靠性都高很多。对生产中碰到的缺陷进行检测和处理，是较新的确认制造缺陷的方式。针对视觉检测技术，人眼这种原始的视觉检测手腕相对于AOI，不但繁琐，劳动强度大，而且检测精度低，速度慢，最关键还无法消除主观的测量误差，已无法全满足现代制造业快速发现的要求，近年来国内外学者对PCB的基于视觉缺陷检测提出了不少算法，大都基于两个常识。一是利用待测PCB的全部信息，最直接的将两张图像进行异或运算，将待测PCB的图像与标准图进行逐像素对比，差异则被视为缺陷，具有算法简单、速度快并且易于用硬件实现的优点，但是它对光照和定位的要求高，另外这种方法存在数据量大，缺陷分类难等难题；另外一种通过预先定义的法则，如线宽、线距、焊点半径等特征值要求在设计的范围内，不符合设计准则的地方则视为存在缺陷。这种检测思路无需标准PCB图，因此降低了存储空间，但是其边缘、特征点提取与测量算法相对复杂，并且只能检测那些违反设计规则的缺陷，对于丢失孔、线条等缺陷无法检测。国外研究基于这两种判断的多种组合手段，组成的PCB质量检测系统已经基本能完成常见缺陷的检测，但其价格昂贵，操作方式也不符合国人的习惯导致无法充分发挥其功能，发生资源浪费。

国内这方面研究相对较晚。目前的算法复杂不能满足实时要求，自适性不够，系统扩展能力差，经常出现漏检误判等问题，检测精度和效率不能满足当前电子信息产业飞速发展的需求。因此国内的大部分中小企业还是由人工目测完成PCB的质量检测，虽然人眼检测方法快速有效，适合小批量的生产但容易发生误检和漏检，因此PCB工业迫切需要研制出自主知识产权的高效高精度低成本，适用于中小企业生产流水线上的PCB缺陷检测设备，这对我国的电子信息产业发展有深远的意义。

摄像测量有着悠久的历史，是一种非接触、被动、实时、高精度的测量方法。在三维测量的应用中有着一套完整的理论，算法成熟。

发明内容

本发明应用双目相机对PCB进行观测时克服了单张图像的局限性，且不需要使用三维相机，避免了三维摄像机存在图像分辨率和成像质量较差的难题，实现三维表面缺陷检测。因此这种基于双面阵相机的交会测量方法可以在简单的实验设备下对PCB进行在线观测，具有设备的简单性、测量精度高的优点。

一种用于PCB板在线检测的结构光辅助双目测量方法，在结构光辅助下，由两台摄像机构成双目摄像测量系统，在线标定摄像机，并由自适应投影结构光纹理来完善PCB板表面纹理稀疏的区域，结合立体视觉，得到待检测电路板表面的三维结构，并最终用于实时缺陷检测。

本发明突出在于在线检测生产线两端布设标志控制点可以实时标定拍摄设备的外参数，并在结构光的辅助下根据PCB表面的分布结构，构建自适应结构光纹理，以确保在纹理稀疏的部位也能够准确的重建，最终达到PCB实时缺陷检测的目的。

该在线检测系统包括图像采集、图像预处理、特征点匹配、三维测量解算环节，本发明重点是以下几个问题做了研究。

（1）实验平台的总体设计

包括硬件和软件系统。硬件系统是支撑软件系统所能实现的基础，包括图像采集硬件即双相机、投影光、控制点、计算机。

1）在生产线测量平台上根据PCB表面纹理分布，提供自适应投影结构光，结构光的形式为对应PCB板无纹理区域不满单像素间隔的国际象棋棋盘格，使得生产线上的PCB在表面缺少或没有纹理的区域依然可以匹配，如图1。

2）PCB生产线路的两侧安装标志点用于相机标定，计算机连接两个相机和投影仪，进行采图、图像处理、交会计算、投影图案生成等设备结构设计如图2。

3）软件系统是按缺陷检测系统的工作要求编写特定程序来实现它的功能，是整个系统最关键的部分，各模块所需要的算法具体包括图像预处理、相机标定、特征点匹配、三维测量等方面。

（2）双面阵相机的在线标定

立体标定是三维重建待检测的PCB的基础环节。本发明采用计算机视觉中成熟的立体标定算法。事先标定双相机内参数，再利用生产线两侧固定的位置摆设的控制点与拍摄PCB同时拍摄控制点，可以完成在线实时标定外参数，即两个像机之间的姿态参数R和T，完成相对定向。

（3）本发明中采用最小二乘匹配算法配准PCB左右影像

图像匹配是实现PCB表面不规则形貌全面测量的必要工作。从PCB表面特征分布来看，其影像可以看作是一系列点、线、面的集合，适合用特征匹配的方法提取特征。一般区域利用其本身纹理特征进行匹配，对于PCB上存在纹理缺乏的区域，本发明安装投影结构光，根据PCB纹理分布情况，在其没有电路纹理的光滑区域投影结构光，使得这块区域形成规则的特殊纹理，有效克服图像缺乏特征点的区域匹配问题。

由于辐射畸变和几何畸变使得左右影像不可避免的存在灰度分布差异，匹配前对图像进行预处理。为了提高匹配的可靠性，生产线测量台的设计方案要保证双面阵相机拍摄的左右像对间旋转很小，且经过了立体标定后确定左右相机间的位置关系。本发明采用最小二乘影像匹配算法，引入相应的变形参数，以相关系数最大作为匹配测度，解求变形参数的改正值，计算变形参数，获得最佳匹配的点位。

（4）本发明基于双目交会的摄像测量方法对PCB三维测量

双目交会测量方法是最简单的交会测量方法。本发明从摄影测量最基本的共线方程出发，利用共线方程所描述的摄像机成像的中心透视投影关系，实现待检测PCB表面特征点的三维测量。原理是，即所有需要检测的PCB表面特征点的成像光线都通过光心、物点、像点、即三点共线。如图3所示即摄影时的光线，本发明基于双面阵相机的双目交会即可计算出该特征点的空间坐标。

设 在摄像机坐标系中的坐标为,则可以用旋转矩阵和平移向量描述 与点在世界坐标系中的关系：

摄像机对待测点的成像可以用投影矩阵来表示，投影矩阵为：

中摄像机的主点为，等效焦距为，旋转矩阵为，平移向量为。设待测点在图像坐标系中的坐标为，图像坐标系中的像点与世界坐标系中的目标点的成像关系：

摄像机中修正像差后的像点，满足方程：

每个像点可以列出2个方程，PCB上的特征点成像在2台摄像机，因此可以列四个方程解求空间坐标(X,Y,Z)这3个未知数。

其中，、…:

本发明可以达到以下的技术效果

PCB的缺陷检测系统一般要求具有较快的检测速度和高精度，以及可靠的稳定性。通过各模块的搭建，本发明可以达到以下技术效果：

1、一种结构光辅助的在线检测系统所需硬件设备简单、造价较低具有实用性；

2、布设的高精度控制点可以在线标定摄像机，精确测出控制点位置坐标，其抗干扰能力强。避免了传统标定算法中的特征点提取步骤，可以得到较好的标定结果；

3、拍摄PCB板同时拍摄控制点，每幅图都可以单独标定外参数，这样就可以现场安装固定相机，甚至在检测过程中可以调整相机安装位置和姿态角度；

4、本发明采用的方法与经典三维重建算法不同，采用摄影测量中双目交会法实现三维测量，算法不用迭代、稳定性强；

5、可以实现实时缺陷检测，测量结果精度高。

附图说明

图1投影结构光；

图2生产线测量台设备设计图；

图3双目交会测量原理示意图；

图4 PCB在线检测系统流程图；

图5立体标定原理图。

具体实施措施

本发明的检测系统模式是对待检的每片PCB完成投影、采图、双目相机外参数标定、密集点提取与匹配，交会计算，流程图如图4。

具体实施步骤如下：

（1）PCB图像分析以及自适应投影结构光

如果已知当前批次型号PCB板理想图案，则事先设置投影结构光图案；如果事先未知，则对第一张板采图后，计算灰度方差，方差小的区域表示纹理少。确定其纹理不丰富区域位置，再根据图像分析结果对相应位置投影棋盘格图案的结构光。

（2）PCB缺陷检测系统的双面阵相机在线标定

用两个摄像机来模拟人眼的立体成像能力，立体标定是把各个测量数据统一到统一的坐标系中，也就是确定两个摄像机之间的旋转矩阵和平移向量。如果现场不许调整摄像机内参数，立体标定前要获得每个摄像机的内参数和畸变系数。则对每张待测PCB只同时标定两摄像机间的外参数,标定原理如下：

对任意一个控制点P在左右影像上像点P_l、Pr，如图5。

满足：

建立摄像机畸变模型，联立多个控制点的方程，利用反投影法进一步优化求精。标定后可以得到左右摄像机的外参数：旋转R_l、R_r和平移参数T_l、T_r；

左右摄像机之间的关联可以通过P_l=R^T(P_r-T)关联：

本发明的PCB缺陷在线检测系统中摄像机坐标系以左摄像机的投影中心为原点，其中R和T分别表示了右摄像机相对于左摄像机的旋转矩阵和平移向量。

如果现场调整内参数，则需要先同时先左右摄像机各自标定获取各自内参数外参数，再按上面步骤完成立体标定。

(3)PCB左右影像的密集匹配

在前一步完成立体标定后可以得到左右两个相机的姿态和位置，分析PCB的实时二维图像，预处理的方法可以选用直方图均衡和3*3均值滤波。密集匹配前，先根据PCB原始纹理和PCB基本固定不变位置关系进行稀疏匹配，再对纹理稀缺位置投影棋盘格纹理形式的结构光进行加密匹配。

(4)PCB表面特征点的三维测量

本发明的最终环节即利用摄像机内参数、旋转矩阵R和平移向量T求解投影矩阵M，将匹配得到的左右像片同名特征点代入共线方程中即可交会求解PCB上这些特征点的三维空间坐标。重建出的无数个PCB表面的特征点即恢复了对应区域的三维结构，并将这样三维信息重建图用做PCB生产线路上缺陷检测的参考。

具体的实现方法按以下步骤进行：

1、为电路板生产加工线路设计在线测量平台，需要在此平台上安装间隔一段距离的两台摄像机、对电路板投射结构光的投影设备，事先标定各摄像机的内参数和畸变系数；

2、利用生产线路两侧布设的控制点，按具体要求在线完成摄像机标定和双目视觉的立体标定；

3、如果已知当前批次型号PCB板理想图案，则事先在纹理稀疏区域进行结构光投影；如果事先未知，则对第一张板采图后经过图像分析确定其纹理不丰富区域，从而构建一种自适应投影结构光纹理。

4、对待检测的、纹理完整的电路板进行实时跟拍，同时得到控制点和电路板的左右影像；

5、分别对拍摄到的左右影像分析，完成PCB板原始纹理和投影纹理图像特征提取、最小二乘匹配，确定相同特征点在左右两幅影像中的像素坐标位置；

6、如果检测过程中测量系统有受到干扰，则在左右影像中提取控制点坐标，实时进行摄像机标定和双目视觉的立体标定；

7、通过双目交会测量的方法得到每个特征点的三维位置坐标。

实时在线地标定摄像机参数，本发明设计的测量平台通过在生产线路两侧事先布设精确的控制点来标定相机，既可以事先标定，也可以每幅图单独标定外参数，这样就可以现场安装固定相机，甚至在检测过程中可以调整相机安装位置和姿态角度。

根据PCB板纹理分布情况自适应投影结构光纹理。通过对图像计算灰度方差的方法，方差小的区域表征纹理少，对PCB板原始纹理少的区域投影结构光纹理。根据同一系列PCB板原始纹理和结构光纹理成像关系基本一致引导进行稀疏匹配，再在稀疏匹配的基础上进行密集匹配。

在通过立体标定后，求出了以左相机为参照的相机之间旋转矩阵和平移参数。建立一套“无畸变”双目视觉平台。特征匹配通过最小二乘匹配算法，确定精确的特征点位。通过恢复摄影时刻特征点的两束光线，将旋转矩阵R和平移向量T和匹配得到的同名特征点的像素坐标代入共线方程，求解得到所有密集匹配特征点的三维坐标，完成PCB板三维结构测量并可用于其缺陷检测。

Claims (1)

1.一种用于PCB板在线检测的结构光辅助双目测量方法，在结构光辅助下，由两台摄像机构成双目摄像测量系统，其特征在于，在线标定摄像机，并由自适应投影结构光纹理来完善PCB板表面纹理稀疏的区域，结合立体视觉，得到待检测电路板表面的三维结构，并最终用于实时缺陷检测，步骤如下：

(1)PCB图像分析以及自适应投影结构光

已知当前批次型号PCB板理想图案，则事先设置投影结构光图案；事先未知，则对第一张板采图后，计算灰度方差，方差小的区域表示纹理少，确定其纹理不丰富区域位置，再根据图像分析结果对相应位置投影棋盘格图案的结构光；

(2)PCB缺陷检测系统的双面阵相机在线标定

用两个摄像机来模拟人眼的立体成像能力，立体标定是把各个测量数据统一到统一的坐标系中，也就是确定两个摄像机之间的旋转矩阵和平移向量，标定原理如下：

对任意一个控制点P在左右影像上像点P_l、Pr，

满足：

$\begin{array}{cc}{P}_1={\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]}_l=\left[\begin{array}{cc}{R}_1& T_l\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]& P_r={\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]}_r=\left[\begin{array}{cc}{R}_r& T_r\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\end{array}$

建立摄像机畸变模型，联立多个控制点的方程，利用反投影法进一步优化求精，标定后可以得到左右摄像机的外参数：旋转R_l、R_r和平移参数T_l、T_r；

左右摄像机之间的关联可以通过P_l＝R^T(P_r-T)关联：

R＝R_r(R_l)T T＝T_r-RT_l

摄像机坐标系以左摄像机的投影中心为原点，其中R和T分别表示了右摄像机相对于左摄像机的旋转矩阵和平移向量，

现场调整内参数，则需要先同时先左右摄像机各自标定获取各自内参数外参数，再按上面步骤完成立体标定；

(3)PCB左右影像的密集匹配

完成立体标定后，得到左右两个摄像机的姿态和位置，分析PCB的实时二维图像，选用直方图均衡和3*3均值滤波，密集匹配前，先根据PCB原始纹理和PCB基本固定不变位置关系进行稀疏匹配，再对纹理稀缺位置投影棋盘格纹理形式的结构光进行加密匹配；

(4)PCB表面特征点的三维测量

利用摄像机内参数、旋转矩阵R和平移向量T求解投影矩阵M，将匹配得到的左右像片同名特征点代入共线方程中即交会求解PCB上这些特征点的三维空间坐标，重建出的无数个PCB表面的特征点即恢复了对应区域的三维结构，将这样三维信息重建图用做PCB生产线路上缺陷检测的参考；

所述PCB表面特征点的三维测量，具体为：

从摄影测量的共线方程出发，利用共线方程所描述的摄像机成像的中心透视投影关系，实现待检测PCB表面特征点的三维测量，即所有需要检测的PCB表面特征点的成像光线都通过光心、物点、像点，即三点共线，基于双面阵相机的双目交会即计算出该特征点的空间坐标；

设P在摄像机坐标系中的坐标为(X_c,Y_c,Z_c),则用旋转矩阵R和平移向量T描述(X_c,Y_c,Z_c)与点P在世界坐标系中(X,Y,Z)的关系：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T=\left[\begin{array}{ccc}{r}_0& r_1& r_2\\ r_3& r_4& r_5\\ r_6& r_7& r_8\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]$

摄像机对待测点的成像用投影矩阵来表示，投影矩阵M为：

$M=\left[\begin{array}{cccc}{F}_x& 0& C_x& 0\\ 0& F_y& C_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]$

M中摄像机的主点为(C_x,C_y)，等效焦距为(F_x,F_y)，旋转矩阵为R，平移向量为T，设待测点在图像坐标系中的坐标为(x,y)，图像坐标系中的像点与世界坐标系中的目标点的成像关系：

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

摄像机中修正像差后的像点满足方程：

$\left\{\begin{array}{c}{\tilde{x}}_i=\frac{m_{0}X+m_{1}Y+m_{2}Z+m_3}{m_{8}X+m_{9}Y+m_{10}Z+m_{11}}\\ {\tilde{y}}_i=\frac{m_{4}X+m_{5}Y+m_{6}Z+m_7}{m_{8}X+m_{9}Y+m_{10}Z+m_{11}}\end{array}\right.$

$\left\{\begin{array}{c}({\tilde{x}}_i{m}_{i8}-m_{i0})X+({\tilde{x}}_i{m}_{i9}-m_{i1})Y+({\tilde{x}}_i{m}_{i10}-m_{i2})Z+({\tilde{x}}_i{m}_{i11}-m_{i3})=0\\ ({\tilde{y}}_i{m}_{i8}-m_{i4})X+({\tilde{y}}_i{m}_{i9}-m_{i5})Y+({\tilde{y}}_i{m}_{i10}-m_{i6})Z+({\tilde{y}}_i{m}_{i11}-m_{i7})=0\end{array}\right.$

每个像点列出2个方程，PCB上的特征点成像在2台摄像机，因此列四个方程解求空间坐标(X,Y,Z)这3个未知数，

其中，m₀、…m_i11:

m₀＝F_xr₀+C_xr₆

m₁＝F_xr₁+C_xr₇

m₂＝F_xr₂+C_xr₈

m₃＝F_xT_X+C_xT_Z

m₄＝F_xr₃+C_xr₆

m₅＝F_xr₄+C_xr₇

m₆＝F_xr₅+C_xr₈

m₇＝F_xT_Y+C_xT_Z

m₈＝r₆

m₉＝r₇

m₁₀＝r₈

m₁₁＝T_Z。