CN104252711A - 一种基于图像梯度方向码的匹配方法 - Google Patents

Abstract

本发明公开了一种基于图像梯度方向码的匹配方法。方向码是一种基于梯度特征的匹配算法，利用统计的原理，以图像中的梯度值，区分成若干等分，并分别统计出不同区域内的出现的频率，借用直方图的概念，比较模板图像与目标子图像之间的相似性和差异性，作为衡量标准，最终确定匹配的位姿信息。方向码具有旋转不变性，对光照变化有较好的鲁棒性，匹配准确，原理简单，适宜并行处理。

Description

一种基于图像梯度方向码的匹配方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于图像梯度方向码的匹配方法。

背景技术

IC封装产品向着集成化、小型化发展，利用机器视觉的高速度、高精度定位，从而能快速准确的实现芯片的拾取和放置。图像匹配算法是机器视觉定位的关键，硬件方面采用DSP作为系统的处理器被广泛使用。DSP中有多个CPU，可并行处理同一张图片，计算速度得以大大提升。因此在视觉处理的硬件基础上，需要有原理简单并且适合并行处理的图像匹配算法。

常见的匹配算法有灰度匹配和几何匹配两种。灰度匹配，算法简单，但对光照过于敏感。而几何特征匹配的算法过于复杂，很难将其转化为并行处理。因此需要寻找一种算法原理简单，对光照变化有较好的鲁棒性，匹配准确，易于实现能够并行处理的方法。

发明内容

针对现有技术的不足，本发明提出了一种原理简单、匹配准确度高、可适应光照变化的匹配方法，旨在满足匹配定位同时，便于硬件移植和并行加速。

为了实现上述目的，本发明提供了一种基于图像梯度方向码的匹配方法，其特征在于，所述方法包括如下步骤：

(1)金字塔处理步骤：对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图作为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层；

(2)方向码直方图粗匹配步骤：(2.1)分别计算出顶层模板图像和顶层目标图像的方向码；(2.2)利用方向码统计出顶层模板图像的方向码直方图和当前点的顶层目标子图像的方向码直方图，所述目标子图像表示目标图像中与模板大小相同的图，将目标子图像方向码直方图平移N-1次后，与顶层模板图像方向码直方图最大重叠度作为当前点的D₁值；(2.3)选取D₁值大于阈值的点作为候选区域，进入精匹配阶段；

(3)方向码精匹配步骤：将步骤(2)中得到的候选区域映射到底层目标图像区域，利用底层模板图像和底层目标子图像的方向码之间的差异，得到差异最小的值，从而得到精匹配的位置和角度。

与现有技术相比，本发明具有以下有益效果：

(1)利用图像梯度特征，而非图像本身的灰度信息，因此能够适应光照变化的情况；

(2)利用梯度方向的统计信息，把梯度方向分区，能够快速进行角度定位，同时保证匹配准确度高；

(3)原理简单，分为粗定位和精定位两步骤，移植到硬件设备中，且大量计算可同时进行，可进行并行加速。

附图说明

图1是本发明实施例中一种基于图像梯度方向码的匹配方法的整体流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种简单快速的基于图像梯度方向码的匹配方法，用于确定相似图案在目标图像中的位置与参数。

在本实施例中，图像可以表示为行列方向的二维数组，每个数组元素的值代表该点的像素灰度值，以图像左上角为图像坐标的原点，垂直向下方向为Y正方向，同时也为行数标号递增方向，代表了图像的高度方向，水平向右方向为X正方向，同时也为列数标号递增方向，代表了图像的宽度方向。

首先从原理上说明本发明方法，本发明提供了一种基于图像梯度方向码的匹配方法，方法分为方向码直方图匹配和方向码匹配两个部分，包括以下步骤：

(1)对模板图像和目标图像分别进行金字塔处理：以模板图像和目标图像的原图为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层；

(2)粗匹配，利用方向码直方图匹配，得到大致位置和角度。首先分别计算出顶层模板图像和顶层目标图像的方向码，形成顶层模板方向码直方图，计算顶层所有目标子图像的方向码直方图，(目标子图像表示目标图像中与模板大小相同的图)，子图旋转一定角度后统计的方向码直方图近似于子图方向码直方图的循环移位，每循环移位一次，计算顶层子图直方图与顶层模板直方图的相似性。若相似性大于一定阈值，则该点为候选点，顶层子图的近似旋转角度通过直方图的移位次数得到。

(3)精匹配，方向码匹配，在粗匹配中得到的候选区域映射到底层目标图像区域，利用底层模板和底层目标子图像的方向码之间的差异，得到差异最小的值，从而得到精确的匹配的位置和角度。

具体而言，如图1所示，本发明基于图像梯度方向码的匹配方法分为建立金字塔、方向码直方图粗匹配和方向码精匹配。以下对本发明提出的匹配方法作详细说明。具体步骤如下：

(1)对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层。

其中，可以根据模板图像大小，确定金字塔层数。

用金字塔顶层图片来进行粗匹配，可大大提高匹配速度，同时不降低匹配准确性，用金字塔底层(原图)来进行精匹配，可以保证匹配的准确性和稳定性。

(2)方向码直方图匹配(粗匹配)

方向码直方图匹配，可以分成三步来进行，一、分别计算出底层模板图像和顶层目标图像的方向码；二、需要利用方向码统计出顶层模板图像直方图和当前点的顶层目标子图像直方图，将顶层目标子图像进行直方图平移N次，得到最大重叠度作为当前点的D₁值；三，判断D₁值大于阈值的作为候选点，进入精匹配阶段。方向码直方图是粗定位，由于搜索面积范围大，并要进行角度估计，计算量较大，使用顶层模板和顶层目标图像，可得到大致位置和角度。具体而言，步骤(2)包括：

(2.1)计算方向码

(2.1.1)图像梯度方向计算

灰度图像的梯度方向可用水平和垂直方向的差分计算得到。

在本实施例中，边缘检测可以采用Sobel算子。A表示图像

$\▿f_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]\·A,\▿f_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\·A$

得到像素点水平梯度值▽f_x、垂直梯度值▽f_y后，可计算得到点(x,y)的梯度方向,用θ(x,y)＝tan^-1(▽f_y/▽f_x)

(2.1.2)方向码计算

为了减小后面匹配的计算量，需将梯度方向量化，形成方向码，定义如下：

$c(x,y)=\left\{\begin{array}{cc}\left[\frac{\mathrm{\θ}(x,y)}{\mathrm{\Δ\θ}}\right]& |\▿f_x|+|\▿f_y|>T\\ N& |\▿f_x|+|\▿f_y|\≤T\end{array}\right.$

其中，[]为取整运算；T为梯度阈值。

将梯度方向分成N个区域，这样每一个像素对应一个方向码，将360度划分成N个区域，记录为{0,1,…,N-1}。因为低对比度区域梯度方向不稳定，所以将梯度模值小于阈值T的像素赋为特别方向N。本实施例中取N＝16，即将梯度方向量化成16份，每一区间的量化间隔角Δθ为方向码的范围0～16，共17种方向码。

阈值T的选取要视具体情况而定，若选得过大，有用的梯度信息就会被忽略；若选得过小，噪声的影响就会变大，并对后续直方图匹配的影响很大。若T＝10时，方向码为N的直方图过于集中，这意味着大部分的梯度值被忽略了。那么最后直方图匹配时，得到的匹配度值参考性会变低。阈值的选择条件即，不能让直方图N值过于集中。最后选取阈值T＝5。

(2.2)方向码直方图匹配

(2.2.1)方向码直方图计算

方向码直方图，采用统计原理，类比灰度直方图，根据前文方向码的定义，对顶层模板和顶层目标子图计算其方向码图像，通过统计每个方向码值的出现频率就得到了方向码直方图。用H_R＝{h_R(i)|i＝0,1,2,...,N}表示顶层模板的方向码直方图，用H_xy＝{h_xy(i)|i＝0,1,2,...,N}表示在顶层目标图像(x,y)处的子图像的方向码直方图。

此处建议使用矩形模板邻域直方图统计法来计算顶层目标图像所有子图的直方图。

通常使用的模板单元形状大致有三种：矩形、圆形和中心环绕形。采用圆形模板，可以减少因图像旋转而造成的误差。但在目标图像是逐点移动统计模板覆盖下的子图像的方向码直方图，这样必须每移动一次就重新计算一次直方图，计算量大，重复计算过多而导致耗时问题严重。

由于粗匹配中，需要匹配的区域面积大，为减小计算量提高速度，采用矩形模版区域，利用矩形邻域的重叠度，大大减小统计时间，提升速度，并且适合进行并行处理。

若采用圆形模板，每移动一个像素点都需要统计一次方向码直方图，这个计算巨大，很难利用重叠数据，若图片太大，可能造成程序崩溃无法处理。

而采用矩形模板，并利用邻域的数据重叠性，若矩形模板为m×m,则每次有的面积的重叠的，每次只需要计算面积的差异，粗略按计算速度与像素个数成正比关系,则圆形模板移动一次所需时间为：矩形模板邻域计算法则只需要：T_j＝2m×t。

$\frac{T_y}{T_j}=\frac{\mathrm{\πm}}{8}$

明确可知，一般取用的模板大小m≥3，m值越大，矩形的计算速度相比圆形模板倍数越高。若都采用矩形模板进行对比，T_b表示采用邻域法所需时间，T_a为直接统计所需时间，则两者时间对比：

$\frac{T_a}{T_b}=\frac{m}{2}$

(2.2.2)方向码直方图的匹配

设顶层模板的方向码直方图为H_R＝{h_R(i)|i＝0,1,2,...,N}，顶层目标子图像直方图为H_xy＝{h_xy(ⁱ)|i＝0,1,2,...,N}，本文用顶层模板图像与顶层目标子图像两者的直方图的重叠度来作为匹配的度量D₁.

D₁＝maxS^k

其中，S^k表示顶层目标子图像直方图右移第k次与模板直方图的交集，其中k的范围是[0,N-1],D₁取k次移动后顶层目标子图像与模板直方图交集最大的值。循环移位的直方图近似于旋转一定角度后统计的方向码直方图，最大值对应于模板与该区域最可能旋转角度。交集公式如下：

$S^k=\frac{1}{M}[\left(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\min \right\{h_{\mathrm{xy}}^k\left(i\right),h_R\left(i\right)\left\}\right)+\min \{h_{\mathrm{xy}}^k\left(N\right),h_R\left(N\right)\left\}\right],$

其中，M为顶层模板像素点个数,表示直方图h移位k次，即 表示移位第k次的取i处两个直方图的交集(重叠面积)。该直方图i＝N不移动，直方图最后一个量化值对应低对比度的像素，不参与移位运算(见2.1.2节)。

移动第k次时，顶层模板与当前目标子图像的匹配值S最大，则可认为此时，模板相对于子图像，逆时针旋转角度angle＝k*Δθ。

上式中采用的是目标子图像进行直方图右移N-1次，由于目标子图像一直在改变，若目标图像大小为m×n，则在进行直方图匹配时，至多需要计算m×n×N次直方图。

目标子图像直方图右移其效果等同于模板图像直方图左移，由于模板图像一直没变，模板的直方图也是固定的，最多移动N-1次。所以可以建立起模板直方图表，方便匹配时直接提取，可以大大提高匹配效率。模板直方图移动表是一张N×N的表格。

(2.3)得到候选区域

顶层模板在顶层目标图上，以左上角的点作为起始点，逐一像素滑动，得到每个点的D₁值，最后得到由D₁值组成的矩阵，该矩阵是一个三维波峰曲面，取D₁＞T_D区域作为第二步精匹配的范围,T_D取值范围在[0,1],T_D越大，下一步计算速度越快，但T_D不宜过大，容易导致不稳定，T_D取0.8～0.9较为合适。

(3)方向码匹配(精匹配)

首先根据直方图匹配得到的旋转角度angle，在粗匹配中得到的候选区域映射到底层目标图像区域，将候选区域的底层目标图像进行角度旋转，得到旋转后的底层子图像的方向码，与底层模板图像逐点计算方向码差值。设O_R代表底层模板方向码图像，O代表底层子图方向码图像，则差异度函数的原则为，差异度S₂越小表示两图间方向码越接近。为了方便后续计算，将其结果用1减去。因此精匹配的相似度量D₂的表达式为：

$S_2=\frac{1}{M\·E}\underset{(x,y)}{\mathrm{\Σ}}d(O(x,y),O_R(x,y))$

D₂＝1-S₂

其中，M为参与匹配的像素总数，E为任意2个方向码的最大差值，由下式可得E＝N/2,d由下式求得：

$d(a,b)=\left\{\begin{array}{ccc}\min \left\{\right|a-b|,N-|a-b\left|\right\}& 0\≤a,b\≤N-1& \\ N/4& a=N,b\≠\mathrm{Nor}& a\≠N,b=N\\ 0& a=b=N& \end{array}\right.$

最后，模板与目标子图的综合相似度

D＝αD₁+(1-α)D₂

此处α取0.5。在两步匹配中，D₁与D₂的取值范围都位于区间[0,1]内，因此，总相似度D也位于区间[0,1]内，相似度D最大的点即为最佳匹配点。

在进行精匹配中，为加快匹配速度，可以将方向码之间的差值式d(a,b)，建成表格，计算时直接查表，这样就可以大大节省计算量，提高匹配速度。

通过本发明所提出的方法，利用梯度的结构特征和统计原理，因此可以描述局部的形状信息；位置和方向空间的量化一定程度上可以抑制平移和旋转带来的影响，有良好的旋转不变性；可以部分抵消光照变化带来的影响，该原理简单，适合并行处理。并利用图像金字塔，大大减少计算量；利用矩形模板减少冗余计算；并用建表的方式，减少匹配过程的中计算，提升匹配效率，并保证匹配精度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像梯度方向码的匹配方法，其特征在于，所述方法包括如下步骤：

(1)金字塔处理步骤：对模板图像和目标图像分别进行金字塔处理，其中，以模板图像和目标图像的原图作为金字塔底层，采用各行各列抽取原图的方式，得到上一层的图像金字塔，直至金字塔顶层；

(2)方向码直方图粗匹配步骤：(2.1)分别计算出顶层模板图像和顶层目标图像的方向码；(2.2)利用方向码统计出顶层模板图像的方向码直方图和当前点的顶层目标子图像的方向码直方图，所述目标子图像表示目标图像中与模板大小相同的图，将目标子图像方向码直方图平移N-1次后，与顶层模板图像方向码直方图最大重叠度作为当前点的D₁值；(2.3)选取D₁值大于阈值的点作为候选区域，进入精匹配阶段；

(3)方向码精匹配步骤：将步骤(2)中得到的候选区域映射到底层目标图像区域，利用底层模板图像和底层目标子图像的方向码之间的差异，得到差异最小的值，从而得到精匹配的位置和角度。

2.如权利要求1所述的方法，其特征在于，所述步骤(2.1)具体包括：

(2.1.1)计算图像的梯度方向：利用下式计算图像的各像素点水平梯度值▽f_x和垂直梯度值▽f_y，其中A表示图像：

$\▿f_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]\·A,\▿f_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\·A$

根据像素点水平梯度值▽f_x、垂直梯度值▽f_y，计算得到图像各像素点(x,y)的梯度方向：θ(x,y)＝tan^-1(▽f_y/▽f_x)；

(2.1.2)方向码计算：

利用下式将梯度方向量化，形成方向码：

$c(x,y)=\left\{\begin{array}{cc}\left[\frac{\mathrm{\θ}(x,y)}{\mathrm{\Δ\θ}}\right]& |\▿f_x|+|\▿f_y|>T\\ N& |\▿f_x|+|\▿f_y|\≤T\end{array}\right.$

其中，[]为取整运算；T为梯度阈值，N为对梯度方向所分的区域数目。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(2.2)具体包括：

(2.2.1)方向码直方图计算：

对顶层模板图像和顶层目标图像中所有与模板大小相同的子图计算方向码图像，通过统计每个方向码值的出现频率得到了方向码直方图；用H_R＝{h_R(i)|i＝0,1,2,...,N}表示顶层模板的方向码直方图，用H_xy＝{hx_y(i)|i＝0,1,2,...,N}表示在顶层目标图像(x,y)处的子图像的方向码直方图；

(2.2.2)方向码直方图的匹配：

用顶层模板图像与顶层目标子图像两者的直方图的重叠度来作为匹配的度量D₁，D₁＝maxS^k，其中，

S^k表示目标子图像直方图右移第k次与模板直方图交集，其中k的范围是[0,N-1],D₁取k次移动中目标子图像与模板直方图交集最大的值，循环移位的直方图近似于旋转一定角度后统计的方向码直方图，最大值对应于模板与该区域最可能旋转角度；

交集公式如下： $S^k=\frac{1}{M}[\left(\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\min \right\{h_{\mathrm{xy}}^k\left(i\right),h_R\left(i\right)\left\}\right)+\min \{h_{\mathrm{xy}}^k\left(N\right),h_R\left(N\right)\left\}\right],$

其中，M为模板像素点个数,表示直方图h移位k次，即 表示移位k次后的取i处两个直方图的交集。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(2.3)具体包括：

将顶层模板图像在顶层目标图像上，以左上角的点作为起始点，逐一像素滑动，得到每个点的D₁值，最后得到由D₁值组成的矩阵，该矩阵是一个三维波峰曲面，取D₁＞T_D区域作为步骤(3)精匹配的范围，T_D取值范围在[0,1]。

5.如权利要求1或2所述的方法，其特征在于，所述步骤(3)具体包括：

(3.1)计算底层模板图像与底层目标图像的方向码相似度：根据直方图匹配得到的旋转角度，在粗匹配中得到的候选区域映射到底层目标图像区域，将候选区域的底层目标图像进行角度旋转，得到旋转后的子图像的方向码，与底层模板图像逐点计算方向码差值，得到相似度量D₂，D₂的表达式为：

$D_2=1-S_2,S_2=\frac{1}{M\·E}\underset{(x,y)}{\mathrm{\Σ}}d(O(x,y),O_R(x,y))$

其中：M为底层参与匹配的像素总数，E＝N/2，

$d(a,b)=\left\{\begin{array}{ccc}\min \left\{\right|a-b|,N-|a-b\left|\right\}& 0\≤a,b\≤N-1& \\ N/4& a=N,b\≠\mathrm{Nor}& a\≠N,b=N\\ 0& a=b=N& \end{array}\right.$

(3.2)计算模板图像与目标子图的综合相似度D＝αD₁+(1-α)D₂，取相似度D最大的点作为最佳匹配点。

6.如权利要求3所述的方法，其特征在于，所述步骤(2.2.1)中使用矩形模板邻域直方图统计法来计算目标图像所有子图的直方图。

7.如权利要求3所述的方法，其特征在于，所述步骤(2.2.2)中建立模板直方图表，方便匹配时直接提取，模板直方图移动表是一张N×N的表格。

8.如权利要求5所述的方法，其特征在于，所述步骤(3.1)中将方向码之间的差值式d(a,b)，建成表格，计算时直接查表。