CN104156938A - 一种图像连通区域描述方法及其在图像配准中的应用方法 - Google Patents

Abstract

本发明提供一种图像连通区域描述方法，以及一种基于此连通区域描述方法的图像配准方法。为刻画图像当前连通区域的局部形状特征和全局相对位置信息，本发明定义了局部距离上下文和全局距离上下文；局部距离上下文和全局距离上下文均具有平移、旋转、尺度不变性，组合在一起构成了一种良好的图像连通区域描述子。基于此连通区域描述子，本发明提供一种图像配准方法，该方法可对两幅同时存在旋转、平移、尺度变化的图像进行精确配准，因而可应用于自动光学检测(如印刷电路板瑕疵检测)中的图像配准。

Description

一种图像连通区域描述方法及其在图像配准中的应用方法

技术领域：本发明涉及数字图像处理领域，具体涉及一种图像连通区域描述方法及其在图像配准中的应用方法。

背景技术：

为保证100％的质量达标，自动光学检测(AOI)广泛应用于工业生产如印刷电路板(PCB)生产领域。图像配准在AOI技术中占有重要地位。现有的图像配准方法大致可分为两类：基于区域的方法和基于特征的方法.

基于区域的方法也称为类相关法或模板匹配法。该方法只利用两幅图像的某种统计信息作为相似性判别标准，采用适当的搜索算法得到令相似性判别标准最大化的图像转换形式，以达到图像配准的目的。主要特点是实现比较简单，但应用范围较窄，不能直接用于校正图像的非线性形变，而且在最优变换的搜索过程中运算量较大。如文献1(S.Mashohor，J.R.Evans，T.Arslan.Image Registration of Printed Circuit Boards using Hybrid Genetic Algorithm.IEEECongress on Evolutionary Computation，page(s)：2685-2690，2006)提出一种混合爬山(hill-climbing)、精英(elitism)策略的遗传算法进行图像配准，该算法能处理图像配准中较简单的平移和旋转变换，但难以处理其他复杂的变换，而且很耗时，对初始化参数比较敏感。

基于特征的图像配准算法通过抽取某些几何特征如角点、高曲率点、线片段、目标轮廓或边缘等特征，并对他们进行匹配以实现图像的匹配。这类方法配准时计算量小，速度较快，应用也更为广泛。但由于角点、高曲率点、线片段、目标轮廓或边缘等的定位易受噪声及光照变化的影响，图像配准精度通常难以满足AOI这种对精度要求较高的场合。

对图像形状的描述，常用的有傅里叶描述子(FD：Fourier descriptor)、曲率尺度空间描述子(CSSD：curvature scale space descriptor)、形状上下文描述子等。文献2(D.Zhang，G.Lu.Acomparative study of curvature scale space and Fourier descriptors.Journal of visualcommunication and image representation，2003，14(1)：41-60.)对FD和CSSD在图像检索中的应用进行了比较，发现FD在效果和效率方面优于CSSD。文献3(C.S.Chen，C.W.Yeh，P.Y.Yin.A novel Fourier descriptor based image alignment algorithm for automatic optical inspection.Journal of visual communication and image representation，2009，20：178-189.)提出根据连通区域轮廓的傅里叶描述子的幅值和相位相似测度实现图像配准，所使用的FD具有平移、旋转、尺度不变性，但FD毕竟只是一种局部特征描述子，当图像中包含若干相似的目标轮廓时，使用FD无法对他们进行区分，因而基于FD的图像配准方法精度仍难以保证。

发明内容：

为克服现有图像描述子如傅里叶描述子的不足，本发明提供一种同时包含局部形状信息与全局位置信息的、满足平移、旋转、尺度不变性的计算简单的图像连通区域描述方法，并在此基础上提供一种精度高、计算量小的图像配准方法。

一种图像连通区域描述方法，包括以下步骤：

A1，输入待处理图像P；

A2，提取图像P中的连通区域及其参考点，记R₁、R₂...R_N为从图像P中提取出的N个连通区域，且R_i：{(x_ij，y_ij)|j＝1...n_i}(其中n_i为R_i中的点的个数)，R_i的参考点记为(x_i，y_i)(i＝1...N)；

A3，对图像P中每一个连通区域R_i(i＝1...N)，计算其局部距离上下文和全局距离上下文并将和分别作为连通区域R_i的局部形状描述子和全局相对位置描述子；

A4，输出图像P中每一个连通区域R_i的描进

步骤A2所述连通区域提取方法如下：首先利用预设的阈值t将图像P二值化，记二值化结果为B，即 $B(x,y)=\left\{\begin{array}{cc}1& P(x,y)\&GreaterEqual;t\\ 0& P(x,y)<t\end{array}\right.;$ 然后对二值图像B进行连通区域标记，B中标记出来的面积大于某一预设参数的连通区域即为所需的从图像P中提取的连通区域。

步骤A2所述连通区域R_i(i＝1...N)的参考点(x_i，y_i)为连通区域R_i的质心(或形心)或连通区域R_i的轮廓坐标的统计平均量。

步骤A3所述连通区域R_i(i＝1...N)的局部距离上下文定义为R_i的参考点(x_i，y_i)与R_i中各点(x_ij，y_ij)(j＝1...n_i)的归一化加权距离直方图，设该直方图的频数为K_l，加权函数为w_l()，的计算步骤如下：

B1，初始化 $h_i^l\left(k\right)=0(k=1..K_l);$

B2，计算点(x_i，y_i)与(x_ij，y_ij)的距离d_ij(j＝1...n_i)，并令d_i为中的最大值，即 $d_i=\underset{j}{\max }{d}_{\mathrm{ij}};$

B3，统计的加权距离直方图：

对j＝1到n_i，执行

若 $K_l\frac{d_{\mathrm{ij}}}{d_i}\&Element;(k-1,k],$ 则 $h_i^l\left(k\right)=h_i^l\left(k\right)+w_l(d_{\mathrm{ij}}/d_i);$

B4，对进行归一化处理：计算 $a=\underset{k=1}{\overset{K_l}{\mathrm{\&Sigma;}}}{h}_i^l\left(k\right),$ 并令 $h_i^l\left(k\right)=h_i^l\left(k\right)/a,(k=1...K_l).$

步骤A3所述连通区域R_i(i＝1...N)的全局距离上下文定义为R_i的参考点(x_i，y_i)与其余连通区域R_j(1≤j≤N_i，j≠i)的参考点(x_j，y_j)的归一化加权距离直方图，设该直方图的频数为K_g，加权函数为w_g()，的计算步骤如下：

C1，初始化 $h_i^g\left(k\right)=0(k=1..K_g);$

C2，计算点(x_i，y_i)与(x_j，y_j)(1≤j≤N，j≠i)的距离δ_ij，并令δ_i为{δ_ij：1≤j≤N，j≠i}中的最大值，即 ${\mathrm{\&delta;}}_i=\underset{j}{\max }{\mathrm{\&delta;}}_{\mathrm{ij}};$

C3，统计{δ_ij|1≤j≤N，j≠i}的加权距离直方图：

对j＝1...i-1，i+1...N，执行

若 $K_g\frac{{\mathrm{\&delta;}}_{\mathrm{ij}}}{{\mathrm{\&delta;}}_i}\&Element;(k-1,k],$ 则 $h_i^g\left(k\right)=h_i^g\left(k\right)+w_g({\mathrm{\&delta;}}_{\mathrm{ij}}/{\mathrm{\&delta;}}_i);$

C4，对进行归一化处理：计算 $a=\underset{k=1}{\overset{K_g}{\mathrm{\&Sigma;}}}{h}_i^g\left(k\right),$ 并令 $h_i^g\left(k\right)=h_i^g\left(k\right)/a,(k=1...K_g).$

一种基于图像连通区域距离上下文的图像配准方法，包括以下步骤：

D1，输入参考图像P和待配准图像T；

D2，提取参考图像P和待配准图像T中的连通区域，设R_r1、R_r2...R_rm和R_t1、R_t2...R_tn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域；

D3，令局部距离上下文和全局距离上下文中直方图的频数为K，根据步骤B1-B4和C1-C4所描述方法，计算连通区域R_ri(i＝1...m)的局部距离上下文和全局距离上下文以及连通区域R_tj(j＝1...n)的局部距离上下文和全局距离上下文

D4，由和计算连通区域R_ri和连通区域R_tj的距离

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\{\mathrm{\&alpha;}\frac{{[h_{\mathrm{ri}}^l\left(k\right)-h_{\mathrm{tj}}^l\left(k\right)]}^2}{h_{\mathrm{ri}}^l\left(k\right)+h_{\mathrm{tj}}^l\left(k\right)}+\mathrm{\&beta;}\frac{{[h_{\mathrm{ri}}^g\left(k\right)-h_{\mathrm{tj}}^g\left(k\right)]}^2}{h_{\mathrm{ri}}^g\left(k\right)+h_{\mathrm{tj}}^g\left(k\right)}\},$

其中α＞0和β＞0为加权系数满足α+β＝1；

D5，根据C_ij(i＝1...m，j＝1...n)确定参考图像P和待配准图像T之间相互匹配的连通区域对：{R_rI，R_tJ}为一对相互匹配的连通区域对，当且仅当且

D6，根据步骤D5所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息，利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度等变换参数；

D7，根据步骤D6估计的变换参数对参考图像P与待配准图像T进行配准。

本发明所述的局部距离上下文和全局距离上下文，计算简单，具有旋转、平移、尺度不变性，分别包含了图像连通区域的局部形状信息和全局位置信息；所述基于图像连通区域距离上下文的图像配准方法，具有精度高，计算简单的特点，可对两幅同时存在旋转、平移、尺度变化的图像进行精确配准。

附图说明：

图1为基于图像连通区域距离上下文的图像配准方法流程图；

图2为两幅原始PCB胶片图像，其中(a)参考图像，(b)为待配准图像，大小均为900x900；

图3为图2中的PCB胶片图像的阈值化结果，其中图3(a)和图3(b)分别对应于图2(a)和图2(b)；

图4为与待配准图像配准后的参考图像；

图5(a)为图4与图2(b)的差值图像(两图像之差的绝对值)；图5(b)为根据图5(a)对待配准图像图2(b)进行瑕疵检测的结果，其中的亮点对应图2(b)中的瑕疵点。

具体实施方式：

下面将结合附图对本发明作进一步的详细描述。

首先给出距离上下文的定义及其计算方法。

给定一点c和一点集P＝{p₁，p₂...p_n}，点c相对于点集P的距离上下文定义为点c到点集P中各点的归一化加权距离直方图。

设直方图的频数为K，加权函数为w(·)，则点c相对于点集P的距离上下文h的计算步骤如下：

S101，初始化h(j)＝0(j＝1..K)；

S102，计算点c到点p_i的距离d_i(i＝1...n)并令d为{d₁，d₂...d_n}的最大值，即

S103，统计{d₁，d₂...d_n}的加权距离直方图：

对i＝1到n执行

若则h(j)＝h(j)+w(d_i/d)；

S104，对h进行归一化处理：计算并令h(j)＝h(j)/a，(j＝1...K)。

本发明所述一种图像连通区域描述方法，包括以下步骤：

S201，输入待处理图像P；

S202，提取图像P中的连通区域及其参考点：1)对图像P进行二值化，设所得二值图像为Bw；2)通过对Bw进行连通标注，提取Bw中的连通区域，设R₁、R₂...R_N为从图像Bw中提取出的N个连通区域，且R_i：{(x_ij，y_ij)|j＝1...n_i}(其中n_i为R_i中的点的个数)(i＝1...N)，则R₁、R₂...R_n即为图像P的N个连通区域；设R_i(i＝1...N)的参考点为(x_i，y_i)，则 $y_i=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}};$

S203，对图像P中每一个连通区域R_i(i＝1...N)，计算其局部距离上下文和全局距离上下文定义为点(x_i，y_i)相对于点集{(x_ij，y_ij)|j＝1...n_i}的距离上下文，定义为点(x_i，y_i)相对于点集{(x_j，y_j)：1≤j≤N，j≠i}的距离上下文，和均按步骤S101-S104所述距离上下文计算方法计算。

S204，输出图像P中每一个连通区域R_i(i＝1...N)的描述

图1是本发明一种基于图像连通区域距离上下文的图像配准方法的流程图。如图1所示，本发明包括以下步骤

S301，输入参考图像P和待配准图像T；

S302，提取参考图像P和待配准图像T中的连通区域，设R_r1、R_r2...R_rm和R_t1、R_t2...R_tn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域；

S303，设定局部距离上下文和全局距离上下文使用的直方图频数均为K，根据本发明所述一种图像连通区域描述方法，计算连通区域R_ri(i＝1...m)的局部距离上下文h^l _ri和全局距离上下文h^g _ri，以及连通区域R_tj(j＝1...n)的局部距离上下文h^l _tj和全局距离上下文h^g _tj；

S304，由{h^l _ri，h^g _ri}(i＝1...m)和{h^l _tj，h^g _tj}(j＝1...n)计算连通区域R_ri和连通区域R_tj的距离

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\{\mathrm{\&alpha;}\frac{{[h_{\mathrm{ri}}^l\left(k\right)-h_{\mathrm{tj}}^l\left(k\right)]}^2}{h_{\mathrm{ri}}^l\left(k\right)+h_{\mathrm{tj}}^l\left(k\right)}+\mathrm{\&beta;}\frac{{[h_{\mathrm{ri}}^g\left(k\right)-h_{\mathrm{tj}}^g\left(k\right)]}^2}{h_{\mathrm{ri}}^g\left(k\right)+h_{\mathrm{tj}}^g\left(k\right)}\},$

其中α＞0和β＞0为加权系数满足α+β＝1。

S305，根据C_ij(i＝1...m，j＝1...n)确定参考图像P和待配准图像T之间相互匹配的连通区域对，{R_rI，R_tJ}为一对相互匹配的连通区域对，当且仅当且

S306，根据步骤S305所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息，利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度等变换参数；

S307，根据步骤S306所估计的变换参数对参考图像P与待配准图像T进行配准。

实施例：

图2(a)和图2(b)为本实施例选取的两幅PCB胶片图像，其大小均为900x900，其中图2(a)为参考图像，图2(b)为待配准图像，且已知图2(a)和图2(b)之间存在的旋转角为25度，缩放尺度系数为0.9。

本实施例的程序运行平台为Windows xp系统(1.81Ghz双核处理器，2G内存)、MATLAB2009a开发平台。

根据本发明所述一种基于图像连通区域距离上下文的图像配准方法，在步骤S302中，为提取图2(a)和图2(b)中的连通区域，先使用最大类间方差法即Otsu方法对2(a)和图2(b)进行阈值化，阈值化结果分别如图3(a)和图3(b)所示；在步骤S303中，设定直方图频数K＝10，局部距离上下文计算中的权函数w≡1，全局距离上下文计算中的权函数w(x)＝exp(-x/10)；在步骤S304中，设定加权系α＝0.6，β＝0.4。

根据本发明所述一种基于图像连通区域距离上下文的图像配准方法，估计出的参考图像图2(a)和待配准图像图2(b)之间的旋转角度为24.9916度、缩放尺度系数为0.9000。图4为根据估计得到的平移、旋转、尺度参数对参考图像图2(a)进行相似变换后的结果，图5(a)为图4与图2(b)的差异图像，图5(b)为根据图5(a)对待配准图像图2(b)进行瑕疵检测的结果，其中的亮点对应图2(b)中的瑕疵点。从参考图像读取、处理，待配准图像读取、处理到配准参数的估计整个过程所消耗的CPU时间为0.3193秒。

以上具体实施例表明，本发明所描述的图像配准算法具有速度快、精度高的优点，可直接应用于PCB胶片瑕疵检测。

本发明提供了一种图像连通区域描述方法及应用于图像配准的方法，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种图像连通区域描述方法，其特征在于，包括以下步骤：

S1-1，输入待处理图像P；

S1-2，提取图像P中的连通区域及其参考点，记R₁、R₂...R_N为从图像P中提取出的N个连通区域，且R_i：{(x_ij，y_ij)|j＝1...n_i}(其中n_i为R_i中的点的个数)，R_i的参考点记为(x_i，y_i)(i＝1...N)；

S1-3，对图像P中每一个连通区域R_i(i＝1...N)，计算其局部距离上下文和全局距离上下文并将和分别作为连通区域R_i的局部形状描述子和全局相对位置描述子；

S1-4，输出图像P中每一个连通区域R_i(i＝1...N)的描述

2.根据权利要求1所述的方法，其特征在于，步骤S1-2所述连通区域提取方法如下：

首先利用预设的阈值t将图像P二值化，记二值化结果为B，即 $B(x,y)=\left\{\begin{array}{cc}1& P(x,y)\&GreaterEqual;t\\ 0& P(x,y)<t\end{array}\right.;$ 然后对二值图像B进行连通区域标记，B中标记出来的面积大于某一预设参数的连通区域即为从图像P中所需提取的连通区域。

3.根据权利要求1所述的方法，其特征在于，步骤S1-2所述连通区域R_i(i＝1...N)的参考点(x_i，y_i)为连通区域R_i的质心(或形心)或连通区域R_i的轮廓坐标的统计平均量。

4.根据权利要求1所述的方法，其特征在于，步骤S1-3所述连通区域R_i(i＝1...N)的局部距离上下文定义为R_i的参考点(x_i，y_i)与R_i中各点(x_ij，y_ij)(j＝1...n_i)的归一化加权距离直方图，设该直方图的频数为K_l，加权函数为w_l()，的计算步骤如下：

S4-1，初始化 $h_i^l\left(k\right)=0(k=1..K_l);$

S4-2，计算点(x_i，y_i)与(x_ij，y_ij)的距离d_ij(j＝1...n_i)，并令d_i为中的最大值，即 $d_i=\underset{j}{\max }{d}_{\mathrm{ij}};$

S4-3，统计的加权距离直方图：

对j＝1到n_i，执行

若 $K_l\frac{d_{\mathrm{ij}}}{d_i}\&Element;(k-1,k],$ 则 $h_i^l\left(k\right)=h_i^l\left(k\right)+w_l(d_{\mathrm{ij}}/d_i);$

S4-4，对进行归一化处理：计算 $a=\underset{k=1}{\overset{K_l}{\mathrm{\&Sigma;}}}{h}_i^l\left(k\right),$ 并令 $h_i^l\left(k\right)=h_i^l\left(k\right)/a,(k=1...K_l).$

5.根据权利要求1所述的方法，其特征在于，步骤S1-3所述连通区域R_i(i＝1...N)的全局距离上下文定义为R_i的参考点(x_i，y_i)与其余连通区域R_j(1≤j≤N_i，j≠i)的参考点(x_j，y_j)的归一化加权距离直方图，设该直方图的频数为K_g，加权函数为w_g()，的计算步骤如下：

S5-1，初始化 $h_i^g\left(k\right)=0(k=1..K_g);$

S5-2，计算点(x_i，y_i)与(x_i，y_i)(1≤j≤N，j≠i)的距离δ_ij，并令δ_i为{δ_ij：1≤j≤N，j≠i}中的最大值，即 ${\mathrm{\&delta;}}_i=\underset{j}{\max }{\mathrm{\&delta;}}_{\mathrm{ij}};$

S5-3，统计{δ_ij|1≤j≤N，j≠i}的加权距离直方图：

对j＝1...i-1，i+1...N，执行

若 $K_g\frac{{\mathrm{\&delta;}}_{\mathrm{ij}}}{{\mathrm{\&delta;}}_i}\&Element;(k-1,k],$ 则 $h_i^g\left(k\right)=h_i^g\left(k\right)+w_g({\mathrm{\&delta;}}_{\mathrm{ij}}/{\mathrm{\&delta;}}_i);$

S5-4，对进行归一化处理：计算 $a=\underset{k=1}{\overset{K_g}{\mathrm{\&Sigma;}}}{h}_i^g\left(k\right),$ 并令 $h_i^g\left(k\right)=h_i^g\left(k\right)/a,(k=1...K_g).$

6.基于权利要求1所述的图像连通区域描述方法，提供一种基于图像连通区域距离上下文的图像配准方法，其特征在于，包括以下步骤：

S6-1，输入参考图像P和待配准图像T；

S6-2，提取参考图像P和待配准图像T中的连通区域，记R_r1、R_r2...R_rm和R_t1、R_t2...R_tn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域；

S6-3，令局部距离上下文和全局距离上下文中的直方图频数为K，根据权利要求1所描述方法，计算连通区域R_ri(i＝1...m)的局部距离上下文和全局距离上下文以及连通区域R_tj(j＝1...n)的局部距离上下文和全局距离上下文

S6-4，由和计算连通区域R_ri和连通区域R_tj的距离

$C_{\mathrm{ij}}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\{\mathrm{\&alpha;}\frac{{[h_{\mathrm{ri}}^l\left(k\right)-h_{\mathrm{tj}}^l\left(k\right)]}^2}{h_{\mathrm{ri}}^l\left(k\right)+h_{\mathrm{tj}}^l\left(k\right)}+\mathrm{\&beta;}\frac{{[h_{\mathrm{ri}}^g\left(k\right)-h_{\mathrm{tj}}^g\left(k\right)]}^2}{h_{\mathrm{ri}}^g\left(k\right)+h_{\mathrm{tj}}^g\left(k\right)}\},$

其中α＞0和β＞0为加权系数满足α+β＝1。

S6-5，根据C_ij(i＝1...m，j＝1...n)确定参考图像P和待配准图像T之间相互匹配的连通区域对：{R_rI，R_tJ}为一对相互匹配的连通区域对，当且仅当且

S6-6，根据步骤S6-5所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息，利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度等变换参数；

S6-7，根据步骤S6-6估计的变换参数对参考图像P与待配准图像T进行配准。