CN103679702B - 一种基于图像边缘矢量的匹配方法 - Google Patents

Abstract

本发明公开了一种基于图像边缘矢量的匹配方法。利用边缘的方向和大小，实现对缩放、噪声、光照变化、局部遮挡、旋转平移等情况的匹配；提取模板边缘中有代表性的矢量，与目标图像的边缘特征进行比较，而不是逐边缘点比较，大大减少计算量，具有较好匹配准确度；先用金字塔得到较小的模板和目标图像，并采用较大且合适的参数步长，得到较为粗匹配的匹配位置和参数，再选取更为精细且满足匹配要求的参数步长，在粗匹配的结果基础上再次搜索匹配，得到精确的匹配位置和参数。

Description

一种基于图像边缘矢量的匹配方法

技术领域

本发明属于图像处理技术领域，涉及一种图像边缘矢量的匹配方法。

背景技术

IC封装产品向着集成化、小型化发展，要求IC电子封装设备具有高速度、高精度的定位的能力，从而能快速准确的实现芯片的拾取和放置。机器视觉定位技术是指用摄像机代替人眼对检测对象进行拍照，经过图像处理和图像匹配等图像处理算法，可得到检测对象的位置，从而指导机器进行相关操作。图像匹配技术则是实现高速度、高精度定位的关键。

常见的匹配算法有灰度匹配和几何匹配两种。灰度匹配原理简单，匹配精度准确度高，但计算量大，匹配速度低；几何匹配，有利用点或边缘等特征进行匹配，匹配速度快，但存在原理复杂，匹配特征少易出现误匹配的现象。

发明内容

针对现有技术的不足，本发明提出了一种能稳定高效匹配的几何算法，旨在提高匹配准确度和速度，减少计算量。

为实现以上发明目的，本发明采用以下技术方案：

一种基于图像边缘矢量的匹配方法，包括以下步骤：

（1）对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层；

（2）对模板图像做边缘检测，在曲率变化较小的边缘段上抽取若干边缘梯度方向矢量，建立模板矢量链表，其中，对于粗匹配，所述模板图像数据是指模板图像的金字塔顶层；对于精匹配，所述模板图像数据是指模板图像的金字塔底层，也即模板图像的原图。

（3）为非平移变换设置匹配参数范围表，包括缩放范围、旋转角度范围；

（4）设置所述匹配参数在其参数范围内变化的参数步长，得到多个参数组合，根据所述参数组合将步骤（2）得到的模板矢量链表进行相应的坐标转化，得到各个参数组合对应的编译模板矢量链表；

（5）对目标图像做边缘检测，依据编译模板矢量链表在目标图像上搜索，进行粗匹配，找到满足预定搜索条件的位置，并记录对应的匹配参数，作为粗匹配结果，其中，对于粗匹配，所述目标图像是指目标图像的金字塔顶层；

（6）缩小匹配参数步长，在上一步获得的位置和参数的结果基础上，在底层金字塔的模板图像和目标图像上，重复步骤（2）、（4）并进行精匹配，得到精度更高的匹配位置和参数，其中，对于精匹配，所述模板图像是指模板图像的金字塔底层，也即模板图像的原图，所述目标图像是指目标图像的金字塔底层，也即目标图像的原图。

本发明具有以下有益效果：匹配准确度高，利用边缘梯度特征，大大减少计算量，提高了匹配速度，能够应对光照变化、局部遮挡等情况，应用范围广。

附图说明

图1是本发明的基于图像边缘矢量的匹配方法的整体流程图；

图2是本发明所构建的一个离线制作模板流程图；

图3是本发明所构建的一个匹配过程流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种稳定准确快速的基于图像边缘矢量的匹配方法，用于确定相似图案在目标图像的位置与参数。

在本实施例中，图像可以表示为行列方向的二维数组，每个数组元素的值代表该点的像素灰度值，以图像左上角为图像坐标的原点，垂直向下方向为Y正方向，同时也为行数标号递增方向，代表了图像的高度方向，水平向右方向为X正方向，同时也为列数标号递增方向，代表了图像的宽度方向。

如图1-2所示，总体而言，本发明的匹配方法分为模板矢量制作阶段、编译模板矢量转换阶段和匹配阶段。以下对本发明提出的匹配方法作详细说明。

模板矢量制作阶段，首先对模板图像和目标图像进行边缘检测处理，具体步骤如下：

（1）对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层。

其中，可以根据模板图像大小，确定金字塔层数。

（2）对模板图像做边缘检测，抽取若干边缘梯度方向矢量，建立模板矢量链表，其中，对于粗匹配，所述模板图像数据是指模板图像的金字塔顶层；对于精匹配，所述模板图像数据是指模板图像的金字塔底层，也即模板图像的原图。具体而言，步骤（2）包括：

（2.1）对所述模板图像数据做边缘检测，计算得到边缘点处的梯度大小和方向。

在本实施例中，边缘检测可以采用Sobel算子。Sobel算子x，y方向的算子分别为：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right],G_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

梯度大小的计算公式：

$G=\sqrt{{G_x}^2+{G_y}^2}$

梯度方向的计算公式：

$\mathrm{\θ}=\arctan \left(\frac{G_y}{G_x}\right)$

（2.2）连接相邻且梯度方向接近的边缘点，从第一个边缘点开始，判断其四邻域或八邻域内是否存在边缘点，若存在，则按顺序存储，直到所有边缘点搜索检测完毕，得到若干条存储边缘。其中，梯度方向接近例如为相邻边缘点之间的梯度方向差小于预定阈值。

（2.3）去除所述存储边缘中长度小于设定阈值，或梯度大小的平均值小于设定阈值的边缘段。若有些边缘的长度小于设定的阈值，则为短小边缘；若该边缘的梯度大小的平均值小于设定的阈值，则为弱边缘。短小边缘或弱边缘可以直接去除，减少影响。

（2.4）对剩下的边缘段分别做曲率分析，去除角点。去除角点的目的是为了得到曲率变化较小的若干个边缘段，其中，所谓角点即曲率过大的点。在本实施例中，曲率判断的阈值为Angle，若当前边缘点与相邻两个边缘点的梯度方向差的绝对值都大于Angle，则认为该边缘点为角点。

（2.5）在一个边缘段中，曲率变化小则梯度方向相近。对于去除角点后的每一个边缘段，均匀抽取若干边缘梯度矢量，用以取代整个边缘段，从而建立代表模板的矢量链表。

其中，矢量间隔空间根据模板边缘点的数量而定，每个矢量包含位置Positon、方向Direction和相对大小Mag信息。其中为了方便计算，以所有边缘段的梯度大小的均值mag为参考值，Mag为mag的相对大小。一般为了保证准确性和效率，模板中的矢量数不小于16个，不大于64个。若模板图形复杂，边缘点多，也可适当增加矢量数。

编译模板矢量转换阶段，设置需要转换的参数，并完成模板矢量转换。

（3）为非平移变换设置匹配参数范围表，包括缩放范围、旋转角度范围。

目标图像与模板图像中的图案相似，但可能存在着平移变换、旋转变换、缩放变换等多种情况，其中，

平移变换的矩阵为

$T=\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right]$

以旋转变换的对应变换矩阵为：

$R=\left[\begin{array}{cc}\cos \left(x\right)& -\sin \left(x\right)\\ \sin \left(x\right)& \cos \left(x\right)\end{array}\right]$

缩放变换的矩阵为

$S=\left[\begin{array}{cc}x& 0\\ 0& x\end{array}\right]$

为了适应复杂的情况，为每一种变换对应一个参数列表，可多种变换结合使用。总体而言，各种变换可划分为平移变换和非平移变换，平移变换最后通过搜索位置得到，非平移变换需要设置参数范围，并进行组合。以平移、旋转、缩放变换组合为例，需要设置参数x的变化范围，以旋转为例，若是大角度旋转则设置0-360度。若加入缩放，则需再添加一个参数表，在特定实施例中，其中x的变化范围可设置为0.8-1.2。

（4）设置所述匹配参数在其参数范围内变化的参数步长，得到多个参数组合，根据所述参数组合将步骤（2）得到的模板矢量链表进行相应的坐标转化，得到各个参数组合对应的编译模板矢量链表。每个参数组合都对应一个编译模板矢量链表。

其中，若设置不同的参数步长Stepsize，可得到不同的参数组合情况。旋转的情况次数用m表示，缩放的情况次数用n表示，则需要制作index＝m×n个编译模板矢量链表。非平移变换将模板矢量链表进行相应的坐标转化，得到编译模板矢量链表。

非平移变换的矩阵表示为：

C＝R×S

模板矢量的位置Positon用(x,y)来表示，编译模板矢量的位置用(x₀,y₀)来表示，则

$\left[\begin{array}{c}{y}_0\\ x_0\end{array}\right]=C\·\left[\begin{array}{c}y\\ x\end{array}\right]$

模板矢量的方向Direction的角度用θ表示，经过旋转变换，编译模板矢量的方向

${\mathrm{\θ}}_0=\arctan \left(C\left[\begin{array}{c}\cos \mathrm{\θ}\\ \sin \mathrm{\θ}\end{array}\right]\right)$

此时矢量的相对大小Mag不变化。由此，生成index个不同参数组合对应的编译模板矢量链表。

需要指出，在粗匹配和精匹配中，参数步长Stepsize的设置是不同的。粗匹配采用金字塔顶层进行匹配，步长Stepsize应大些，以减少匹配次数。精匹配采用金字塔底层进行匹配，步长Stepsize应减小，以确定准确的匹配参数。在特定实施例中，精匹配步长可以取为粗匹配步长的一半。

匹配阶段，用于在目标图像中搜索模板图像图案。其中匹配分为粗匹配和精匹配，参见图3。具体步骤如下：

（5）对目标图像做边缘检测，依据编译模板矢量链表在目标图像上搜索，进行粗匹配，找到满足预定搜索条件的位置，并记录对应的匹配参数，作为粗匹配结果，其中，对于粗匹配，所述目标图像是指目标图像的金字塔顶层。具体包括：

（5.1）对目标图像做边缘检测，得到边缘点处的梯度大小和方向。具体操作同步骤（2.1）。

（5.2）对步骤（4）得到的编译模板矢量链表按旋转、缩放的顺序，依次变化参数，分别将所述编译模板矢量链表在目标图像上平移，并计算出每个位置的匹配得分Score1。

在本实施例中，粗匹配计算匹配得分Score1时只利用梯度方向，梯度大小不参与计算：

$\mathrm{Scorel}=\frac{R_{\mathrm{dir}}(D_i-d_i)}{\underset{i}{\mathrm{\Σ}}\left(w_i\right)}$

其中i表示第i个编译模板矢量，表示编译模板矢量总数，d_i表示第i编译模板矢量的梯度方向，D_i表示目标图像对应第i编译模板矢量位置的边缘梯度方向，R_dir表示目标图像边缘矢量与模板矢量的方向差的函数，取值范围是[0,1]，若|D_i-d_i｜＞2Angle，则R_dir(D_i-d_i)=0，若|D_i-d_i|＜Angle，R_dir(D_i-d_i)=1，若Angle＜|D_i-d_i|＜2Angle，R_dir(D_i-d_i)在0-1的范围内线性变化。

（5.3）设置阈值Threshold，将Score1>Threshold的多个位置作为参考位置，并记录下对应的匹配参数，作为后续精匹配的参数范围。

（6）缩小匹配参数步长，在上一步获得的位置和参数的结果基础上，在底层金字塔的模板图像和目标图像上，重复步骤（2）、（4）并进行精匹配，得到精度更高的匹配位置和参数，其中，对于精匹配，所述模板图像是指模板图像的金字塔底层，也即模板图像的原图，所述目标图像是指目标图像的金字塔底层，也即目标图像的原图。参见图3，精匹配具体包括：

（6.1）对目标图像做边缘检测，得到边缘点处的梯度大小和方向。具体操作同步骤（2.1）。

（6.2）缩小匹配参数步长，参数范围使用步骤（5.3）获得的粗匹配结果，对步骤（4）得到的编译模板矢量链表按旋转、缩放的顺序，依次变化参数，以步骤（5.3）得到的参考位置为初始位置，分别将所述编译模板矢量链表在目标图像上平移，并计算出每个位置的匹配得分Score2。

在本实施例中，精匹配使用梯度的方向和大小计算匹配得分Score2：

$\mathrm{Score}2=\frac{R_{\mathrm{mag}}\left(M_i\right)R_{\mathrm{dir}}(D_i-d_i)}{\underset{i}{\mathrm{\Σ}}\left(w_i\right)}$

其中，先计算出目标图像所有边缘的梯度大小的均值，从而计算出每个边缘的相对梯度大小。M_i为对应的目标图像中的边缘相对梯度大小的值，R_mag表示目标图像边缘矢量与模板矢量的相对梯度大小差的函数，取值范围是[0,1]，若M_i＞0.7m_median，则R_mag(M_i)＝1，若M_i≤0.7m_median，R_mag(M_i)在0-1的范围内线性增长，m_median为编译模板矢量的相对梯度大小Mag的均值。

注意到，在精匹配过程中加入了梯度大小的因素，使得匹配更为精确。

（6.3）寻找匹配得分Score2最大的位置，该位置即为匹配点，所对应的参数即为匹配参数。

通过本发明所提出的方法，对模板和模板图像进行边缘处理，利用边缘的梯度方向和梯度大小的相似度进行比较，抽取模板中有代表性的梯度矢量代替所有边缘，进行匹配，在保证匹配稳定性的同时加快匹配；另外进行图像金字塔，结合粗、精匹配相结合的方式，大大减少搜索量，提高匹配效率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像边缘矢量的匹配方法，包括以下步骤：

(1)对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层；

(2)对模板图像做边缘检测，抽取若干边缘梯度方向矢量，建立模板矢量链表，其中，对于粗匹配，所述模板图像数据是指模板图像的金字塔顶层；对于精匹配，所述模板图像数据是指模板图像的金字塔底层，也即模板图像的原图；

(3)为非平移变换设置匹配参数范围表，包括缩放范围、旋转角度范围；

(4)设置所述匹配参数在其参数范围内变化的参数步长，得到多个参数组合，根据所述参数组合将步骤(2)得到的模板矢量链表进行相应的坐标转化，得到各个参数组合对应的编译模板矢量链表；

(5)对目标图像做边缘检测，依据编译模板矢量链表在目标图像上搜索，进行粗匹配，找到满足预定搜索条件的位置，并记录对应的匹配参数，作为粗匹配结果，其中，对于粗匹配，所述目标图像是指目标图像的金字塔顶层；

(6)缩小匹配参数步长，在上一步获得的位置和参数的结果基础上，在底层金字塔的模板图像和目标图像上，重复步骤(2)、(4)并进行精匹配，得到精度更高的匹配位置和参数，其中，对于精匹配，所述模板图像是指模板图像的金字塔底层，也即模板图像的原图，所述目标图像是指目标图像的金字塔底层，也即目标图像的原图；

其中，所述步骤(2)包括：

(2.1)对所述模板图像数据做边缘检测，计算得到边缘点处的梯度大小和方向；

(2.2)连接相邻且梯度方向接近的边缘点，从第一个边缘点开始，判断其四邻域或八邻域内是否存在方向接近的边缘点，若存在，则按顺序存储，直到所有边缘点搜索检测完毕，得到若干条存储边缘；

(2.3)去除所述存储边缘中长度小于设定阈值，或梯度大小的平均值小于设定阈值的边缘段；

(2.4)对剩下的边缘段分别做曲率分析，去除角点；

(2.5)对于去除角点后的每一个边缘段，均匀抽取若干边缘梯度矢量，用以取代整个边缘段，从而建立代表模板的矢量链表。

2.根据权利要求1所述的匹配方法，步骤(2.4)中，曲率判断的阈值为Angle，若当前边缘点与相邻两个边缘点的角度差都大于Angle，则认为该边缘点为角点。

3.根据权利要求1所述的匹配方法，其中，所述边缘检测采用Sobel算子，Sobel算子x，y方向的算子分别为：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right],G_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

梯度大小的计算公式：

$G=\sqrt{{G_x}^2+{G_y}^2}$

梯度方向的计算公式：

$\mathrm{\θ}=arctan\left(\frac{G_y}{G_x}\right).$

4.根据权利要求1所述的匹配方法，其中，所述步骤(5)包括：

(5.1)对目标图像做边缘检测，得到边缘点处的梯度大小和方向；

(5.2)对步骤(4)得到的编译模板矢量链表按旋转、缩放的顺序，依次变化参数，分别将所述编译模板矢量链表在目标图像上平移，并计算出每个位置的匹配得分Score1；

(5.3)设置阈值Threshold，将Score1>Threshold的多个位置作为参考位置，并记录下对应的匹配参数，作为后续精匹配的参数范围。

5.根据权利要求4所述的匹配方法，其中，所述步骤(5.2)中，匹配得分Score1为：

$Score1=\frac{R_{dir}(D_i-d_i)}{\underset{i}{\Σ}\left(w_i\right)}$

其中i表示第i个编译模板矢量，表示矢量总数，d_i表示第i编译模板矢量的梯度方向，D_i表示目标图像对应第i编译模板矢量位置的边缘梯度方向，R_dir表示目标图像边缘矢量与模板矢量的方向差的函数，取值范围是[0,1]。

6.根据权利要求4所述的匹配方法，其中，所述步骤(6)具体为：

(6.1)对目标图像做边缘检测，得到边缘点处的梯度大小和方向；

(6.2)缩小匹配参数步长，参数范围使用步骤(5.3)获得的粗匹配结果，对步骤(4)得到的编译模板矢量链表按旋转、缩放的顺序，依次变化参数，以步骤(5.3)得到的参考位置为初始位置，分别将所述编译模板矢量链表在目标图像上平移，并计算出每个位置的匹配得分Score2。

(6.3)寻找匹配得分Score2最大的位置，该位置即为匹配点，所对应的参数即为匹配参数。

7.根据权利要求6所述的匹配方法，其中，所述步骤(6.2)中，匹配得分Score2为：

$Score2=\frac{R_{mag}\left(M_i\right)R_{dir}(D_i-d_i)}{\underset{i}{\Σ}\left(w_i\right)}$

其中，i表示第i个编译模板矢量，表示矢量总数，d_i表示第i编译模板矢量的梯度方向，D_i表示目标图像对应第i编译模板矢量位置的边缘梯度方向，R_dir表示目标图像边缘矢量与模板矢量的方向差的函数，取值范围是[0,1]；M_i对应为目标图像中的边缘梯度大小的值，R_mag表示目标图像边缘矢量与模板矢量的梯度大小差的函数，取值范围是[0,1]。