CN103854278A - 基于连通区域质心形状上下文的印刷电路板图像配准方法 - Google Patents

Abstract

本发明描述一种基于连通区域质心形状上下文的印刷电路板图像配准方法。该方法属于基于特征的图像配准方法，兴趣点为图像连通区域的质心坐标。质心坐标的特征包括两部分：一是以该质心坐标为中心，其所在的连通区域的形状上下文，该形状上下文描述了该连通区域的形状特征，因而称其为形状描述子；二是该质心坐标相对于该连通区域所在图像内其他连通区域质心坐标的形状上下文，该形状上下文描述了该质心坐标及其所在的连通区域在整幅图像中的相对位置，因而称其为相对位置描述子。利用连通区域质心坐标的形状描述子和相对位置描述子，实现参考图像和待配准图像连通区域的精确匹配，进而根据精确比配的连通区域的质心坐标估计出参考图像和待配准图像之间的变换参数，并最终将其精确配准。

Description

基于连通区域质心形状上下文的印刷电路板图像配准方法

技术领域：本发明涉及一种印刷电路板图像的配准方法，属于数字图像处理领域，具体涉及基于连通区域质心形状上下文的印刷电路板图像配准方法。 

背景技术：

印制电路板(PCB：Printed Circuit Boards)是电子设备中最基本的组成环节，是电子元器件的支撑体，其质量对于电子产品的性能起着举足轻重的作用，其质量的检测对PCB生产至关重要。传统基于人工目测PCB瑕疵检测方法无法满足PCB发展的需要。自动光学检测(AOI：Automated optical inspection)技术目前是国内外主流的PCB瑕疵检测技术。在所有AOI技术中，又以基于模板匹配的方法为主，而模板匹配的核心技术就是图像配准。本发明即是一种PCB图像的配准技术。 

基于模板匹配的PCB瑕疵检测，首先需要将待检测PCB图像与完好的模板图像进行配准，然后通过分析配准好的待检测图像与模板图像的差分图像，检测出待配准PCB图像中是否包含瑕疵点。 

图像配准算法大致可分为两类：基于区域的方法和基于特征的方法。 

基于区域的方法也称为类相关法或模板匹配法。该方法一般不需要对图像进行复杂的预处理，只利用两幅图像的某种统计信息作为相似性判别标准，采用适当的搜索算法得到令相似性判别标准最大化的图像转换形式，以达到图像配准的目的。主要特点是实现比较简单，但应用范围较窄，不能直接用于校正图像的非线性形变，而且在最优变换的搜索过程中运算量较大。如文献1(S.Mashohor，J.R.Evans，T.Arslan.Image Registration of Printed Circuit Boardsusing Hybrid Genetic Algorithm.IEEE Congress on Evolutionary Computation，page(s)：2685-2690，2006)提出一种混合爬山(hill-climbing)、精英(elitism)策略的遗传算法进行图像配准，该算法能处理图像配准中较简单的平移和旋转变换，但难以处理其他复杂的变换，而且很耗时，对初始化参数比较敏感。 

基于特征的图像配准算法借助图像中具有的显著特征结构，将其作为标志位，分别在参考图像和待匹配图像中提取出它们，然后再找到两幅图像标志位之间的匹配关系，继而完成空间对位。基于特征的配准方法由于提取了图像的显著特征，大大压缩了图像信息的数据量，同时较好地保持了图像的位移、旋转、比例方面的特征，配准时计算量小，速度较快，应用也更为广泛。图像的显著特征有很多，如点特征(包括角点、高曲率点等)、直线段、边缘、轮廓、闭合区域特征等。 

在基于特征的图像配准算法中，点特征是常用的特征，而其中，角点是最常用的特征点。然而，现有的角点检测方法一般依赖于图像的梯度的计算，因而易受噪声及光照变化的影响，而且梯度的计算实际是使用差分来近似，检测出的角点位置往往偏离真实的角点位置，精度不高，无法满足PCB检测这种对精度要求较高的场合。 

在基于特征的图像配准算法中，边缘或轮廓也是常用特征。文献2(Y.C.Chiou，Y.K.Zhang.An Edge-Based Registration Method for Locating Defects on PCB Films.IPCV CSREA Press(2006)，p.209-215.)提出利用边缘的二阶矩及相对角进行图像配准；文献3(胡涛，郭宝平，郭轩，杨欧.基于轮廓特征的图像配准.光电工程，2009，36(11)：118-122.)首先提取图像轮廓并计算每个轮廓点的法向角，然后对轮廓点法向角进行直方图统计，通过对两幅图像的轮廓点法向角直方图进行圆周相关计算来快速估计出两幅图像所存在的旋转角度。文献4(C.S.Chen，C.W.Yeh，P.Y.Yin.A novel Fourier descriptor based image alignment algorithm for automatic opticalinspection.Journal of Visual Communication and Image Representation，2009，Vol.20，pp.178-189.)提出根据组件边缘的傅里叶描述子的幅值和相位相似测度实现图像配准。然而，在离散化的数字图像中，边缘或轮廓点的精确定位并非易事。通过一般的边缘检测算子检测出的目 标边缘往往并不闭合，存在许多的断点，经常需要后续边缘连接处理。通过轮廓跟踪算法得到的目标轮廓往往有很多的锯齿状部分。边缘片段和锯齿轮廓的出现影响图像配准的精度。 

形状上下文(shape context)由文献5(S.Belongie，J.Malik，J.Puzicha.Shape Matching andObject Recognition Using Shape Context.IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(4)：509-522.)引入，它描述了特征点与其周围点的相对空间分布(距离和方向)，它满足平移不变性，对旋转变换和尺度变换均具有较好的鲁棒性。具体参见文献6(Haibin Ling，David W.Jacobs.Shape Classification Using the Inner-Distance.IEEE Transactions On PatternAnalysis And Machine Intelligence，2007，29(2)：286-299.)和文献7(杨小军，杨兴炜，曾峦 等.基于轮廓关键点集的形状分类.南京大学学报(自然科学)，2010，46(1)：47-55.)。 

给定形状上的n个样本点p₁，p₂，...p_n，点p_i的形状上下文定义为点p_i与其余n-1个点的相对坐标直方图h_i： 

h_i(k)＝#{p_j：j≠i，p_j-p_i∈bin(k)}，k＝1..K 

其中bins均匀地划分以点p_i为中心的对数-极坐标空间，K为空间划分的总数。两个形状上下文h_i(k)和h_j(k)的距离C_ij定义为如下χ²统计量： 

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

为克服现有算法的不足，本发明描述一种基于连通区域质心形状上下文的PCB图像配准方法。该方法属于基于特征的图像配准方法，兴趣点为图像连通区域的质心坐标。质心坐标的特征包括两部分：一是以该质心坐标为中心，其所在的连通区域的形状上下文，该形状上下文描述了该联通区域的形状特征，因而称其为形状描述子；二是该质心坐标相对于其他所有连通区域质心坐标的形状上下文，该形状上下文描述了该质心坐标及其所在的连通区域在整幅图像中的相对位置，因而称其为相对位置描述子。利用连通区域质心坐标的形状描述子和相对位置描述子，实现参考图像和待配准图像连通区域的精确匹配，进而根据精确比配的连通区域的质心坐标估计出参考图像和待配准图像之间的变换参数，并最终将其精确配准。 

发明内容：

本发明所要解决的技术问题是提供一种快速鲁棒精确的PCB图像配准方法。 

技术方案：本发明公开一种基于连通区域质心形状上下文的印刷电路板图像配准方法，其特征在于，包括以下步骤： 

步骤1：提取参考图像和待配准图像中的连通区域，并计算参考图像和待配准图像中各连通区域的质心坐标； 

步骤2：以各连通区域质心为中心，计算参考图像和待配准图像各连通区域的形状描述子和相对位置描述子； 

步骤3：根据参考图像和待配准图像各连通区域的形状描述子和相对位置描述子，计算参考图像各连通区域与待配准图像各连通区域的之间的相似度测度； 

步骤4：根据参考图像和待配准图像各连通区域之间的相似度测度，确定参考图像与待配准图像之间合适的连通区域对； 

步骤5：根据步骤4确定的参考图像与待配准图像之间合适的连通区域对的质心坐标，估计参考图像与待配准图像之间的变换参数； 

步骤6：根据步骤4估计得到的参考图像与待配准图像之间的变换参数，将待配准图像与参考图像进行配准。 

所述步骤1中，图像的连通区域既包括从连通标记后的二值图像中获得的连通分量，也包括经由其他方法从图像中提取出的构件或对象所在的图像区域。 

所述步骤2中，连通区域的形状描述子定义为该连通区域的质心在该连通区域内的形状上下文(Shape Context)，连通区域的相对位置描述子定义为该连通区域的质心相对于该连通区域所在图像内其他连通区域质心的形状上下文(Shape Context)。 

有益效果： 

本发明所述的基于连通区域质心形状上下文的印刷电路板图像配准方法的有益效果是： 

1)本发明所描述的印刷电路板图像配准方法属于基于特征的图像配准方法，兴趣点为图像连通区域的质心坐标。选择图像连通区域的质心坐标作为兴趣点而非其他兴趣点(如角点)，是因为连通区域的质心坐标是区域坐标的平均量，本身更能抵抗噪声干扰，对光照变化不敏感，其定位精度较其他兴趣点(如角点)更高，往往能达到亚像素精度。 

2)参考图像和待配准图像中的连通区域一般是稳定的一致的，这种连通区域的稳定性和一致性决定了其质心的稳定性和一致性，其他兴趣点如角点一般不具备这种稳定性和一致性，在参考图像中检测出的角点，在待配准图像中往往无法稳定地一致地检测出对应的角点。 

3)其他基于兴趣点特征的图像配准算法，其特征向量以局部特征为主，参考图像和待配准图像中特征点的点对应关系较难确定。而连通区域的形状描述子和相对位置描述子不仅刻画了其所在连通区域的形状特征，而且描述了该连通区域在整幅图像中的相对位置，两幅图像中的连通区域质心的对应关系相对较容易确定。 

4)综合以上3点，本发明所描述的图像配准算法具有效率高、精度高、鲁棒性强的优点。 

附图说明：

图1为基于连通区域质心形状上下文的印刷电路板图像配准方法流程； 

图2(a)和图2(b)分别为某一连通区域形状描述子和相对位置描述子的极坐标区域划分图； 

图3(a)为二值化参考图像；图3(b)为二值化待配准图像；图3(c)为与待配准图像配准好的参考图像；图3(d)为图3(b)与图3(c)的差分图像；图3(e)为对图3(d)进行形态学处理后的结果，亮点对应为图3(b)中的瑕疵点。 

具体实施方式：

下面将结合附图对本发明作进一步的详细描述。 

图1是本发明基于连通区域质心形状上下文的印刷电路板图像配准方法的流程图。如图1所示，本发明包括以下步骤： 

步骤1：用P和T分别表示参考图像和待配准图像，从图像P和T中提取出面积大于某一阈值的连通区域(设定面积阈值是为了剔除一些由噪声或污点产生的连通区域)；令R_ri(i＝1...N_r)和R_ij(j＝1...N_t)分别表示图像P和T的第i个和第j个连通区域，N_t和N_r分别是图像P和图像T的连通区域个数；记R_ri的质心坐标为c_ri，R_tj的质心坐标为c_tj。 

步骤2：计算R_ri(i＝1...N_r)和R_tj(j＝1...N_t)的形状描述子和相对位置描述子。 

设R_ri的形状描述子和相对位置描述子分别用S_ri和L_ri表示，R_tj的形状描述子和相对位置描述子分别用S_tj和L_ij表示，则 

S_ri(k)＝#{p∈R_ri：p-c_ri∈bin(k)}，k＝1..K 

L_ri(k)＝#{c_rl：l≠i，c_rl-c_ri∈bin(k)}，k＝1..K 

S_tj(k)＝#{p∈R_tj：p-c_ij∈bin(k)}，k＝1..K 

L_tj(k)＝#{c_tl：l≠j，c_tl-c_tj∈bin(k)}，k＝1..K 

当距离方向等分数为N_d，角方向等分数为N_a时，K＝N_dN_a。根据本发明所述的基于连通区域质心形状上下文的印刷电路板图像配准方法的一个优选方案，对S_ri(或S_tj)而言，bin(1)、bin(2)...bin(K)均匀地分割以c_ri(或c_tj)为中心，

(或

)为半径的圆形极坐标区域；对L_ri(或L_tj)而言，bin(1)、bin(2)...bin(K)均匀地分割以c_ri(或c_tj)为中心，(或

)为半径的圆形极坐标区域；针对PCB瑕疵检测时，参考图像与待配准图像之间的旋转角度一般较小(20度以内)，在计算形状描述子和相对位置描述子时，直接取图像的x坐标为极坐标系的极轴。图2(a)和图2(b)分别给出了用于计算一连通区域形状描述子和相对位置描述子的bin划分图，其中N_d＝5，N_a＝12，K＝N_dN_a＝60。 

步骤3：计算R_tj(j＝1...N_t)和R_ri(i＝1...N_r)的形状描述子与相对位置描述子之间的相似测度。 

连通区域R_tj与连通区域R_ri之间的距离定义为 

$C_{\mathrm{ij}}=\frac{1}{2}\underset{x=1}{\overset{N_d}{\mathrm{\Σ}}}\underset{y=1}{\overset{N_a}{\mathrm{\Σ}}}\{\mathrm{\α}\frac{{[S_{\mathrm{ri}}(x,y)-S_{\mathrm{tj}}(x,y)]}^2}{S_{\mathrm{ri}}(x,y)+S_{\mathrm{tj}}(x,y)}+\mathrm{\β}\frac{{[L_{\mathrm{ri}}(x,y)-L_{\mathrm{tj}}(x,y)]}^2}{L_{\mathrm{ri}}(x,y)+L_{\mathrm{tj}}(x,y)}\}$

其中α和β为非负加权系数，满足α+β＝1。根据本发明所述的基于连通区域质心形状上下文的印刷电路板图像配准方法的一个优选方案，设置加权系数α＝0.6，β＝0.4。 

步骤4：确定待配准图像与参考图像之间的合适的连通区域对。 

对

若

且

(ε为预先给定的阈值常数，其大小决定匹配的连通区域对的多少，可根据实际情况进行调整)，则R_tj与R_ri是一对合适的连通区域对。 

步骤5：根据步骤4确定的全部合适的连通区域对的质心坐标，利用最小二乘法，估计待配准图像与参考图像之间的变换参数。 

步骤6：根据步骤5计算得到的变换参数，将待配准图像与参考图像进行配准。 

实施例：采用本发明的方法对两幅PCB胶片图像进行配准，图3(a)和图3(b)分别表示二值化后的参考图像和待配准图像，已知图3(a)和图3(b)之间存在旋转和平移变换，且图3(a)和图3(b)之间的精确的旋转角度为9.5度，利用本发明的方法估计得出的旋转角度数为9.4999度，说明采用本发明方法估计的变换参数精度非常高。图3(c)为与待配准图像配准好的参考图像；图3(d)为图3(b)与图3(c)的差分图像；图3(e)为图3(d)的形态学开运算处理结果，所采用的形态学结构元素为2x2的矩形结构元素。从图3可以看出，采用本发明对参考图像和待配准图像进行配准后，利用差分法即可精确检测出待配准图像中的瑕疵点。 

本发明提供了一种PCB图像配准方法，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。 

Claims (4)

1.一种基于连通区域质心形状上下文的印刷电路板图像配准方法，其特征在于，包括以下步骤：

步骤1：提取参考图像和待配准图像中的连通区域，并计算参考图像和待配准图像中各连通区域的质心坐标；

步骤2：以各连通区域质心为中心，计算参考图像和待配准图像各连通区域的形状描述子和相对位置描述子；

步骤3：根据参考图像和待配准图像各连通区域的形状描述子和相对位置描述子，计算参考图像各连通区域与待配准图像各连通区域的之间的相似度测度；

步骤4：根据参考图像和待配准图像各连通区域之间的相似度测度，确定参考图像与待配准图像之间合适的连通区域对；

步骤5：根据步骤4确定的参考图像与待配准图像之间合适的连通区域对的质心坐标，估计参考图像与待配准图像之间的变换参数；

步骤6：根据步骤5估计得到的参考图像与待配准图像之间的变换参数，将待配准图像与参考图像进行配准。

2.根据权利要求1所述的方法，其特征在于，图像的连通区域既包括从连通标记后的二值图像中获得的连通分量，也包括经由其他方法从图像中提取出的构件或对象所在的图像区域。

3.根据权利要求1所述的方法，其特征在于，连通区域的形状描述子定义为该连通区域的质心在该连通区域内的形状上下文(Shape Context)。

4.根据权利要求1所述的方法，其特征在于，连通区域的相对位置描述子定义为该连通区域的质心相对于该连通区域所在图像内其他连通区域质心的形状上下文(Shape Context)。

Images