CN105023021A - 一种基于主方向模板的特征匹配方法 - Google Patents

Abstract

本发明属于图像处理技术领域，特别是涉及一种基于主方向模板的特征匹配方法。本发明包括以下步骤：步骤1：将目标图和样本图都分割为网格，且网格的大小相同，计算每个网格中的像素点的梯度值和梯度方向；步骤2：每个网格使用其最大的梯度方向进行表示，且将梯度方向和是否具有明显的梯度值使用字节进行存储；步骤3：样本图与目标图的网格模板特征按位异或匹配；步骤4：匹配结果为“111”，则两个网格模板特征匹配，并确定样本图中的匹配网格数量。本发明对模板特征进行压缩，且使用单字节进行存储，降低了内存的消耗。

Description

一种基于主方向模板的特征匹配方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于主方向模板的特征匹配方法，通过目标图像和样本图像主方向模板的最大梯度方向进行特征匹配的方法。

背景技术

近年来，模板匹配吸引了很多的关注，已经成为物体检测的重要方法之一，其目标在于在图像(样本)中寻找特定的物体(目标)。模板匹配一般使用全局特征，而目标的特征描述被称为模板。其优点在于能够通过添加和学习不同的模板而适应不同场合的需要。它通过在样本图像中滑动小窗口，并且比较小窗口与目标的内容进行判断。其特点是定位过程比较简单，但是遍历图片的运算复杂度较高，因此需要快速有效地表示和匹配模板的特征。

为了加快特征的提取与匹配速度，Hinterstoisser^[1]等人提出了主方向模板(Dominant Orientation Template，简称DOT)特征。主方向模板特征既保留了局部统计方法的优点，又将滑动窗口分割为网格。在对网格中的梯度进行统计的时候，主方向模板特征将梯度的方向量化到7个，并且只保留网格中梯度较大的方向，额外增加1个比特用于表明网格中没有明显的梯度变化，从而可以保存到一个字节(8个比特)中。两个主方向模板特征的相似程度即可用匹配的网格数量体现。此外，主方向模板特征还使用了按位的表示法和计算，从而大幅度降低了提取与比较特征的计算复杂度。对于两个主方向模板特征中匹配的网格，按位与(AND)操作结果为1。为了进一步加速匹配，DOT特征匹配使用的函数利用SSE2指令集进行并行处理。为了适应多目标检索和旋转、仿射变换等情况下的不变性，模板匹配模型往往需要训练大量的模板。对于主方向模板特征而言，在使用默认设置的情况下，原始的实现方式对目标使用范围[-7,7]之间的变形矩阵，并在360度的圆周内每10度提取一个模板特征。这样，在线训练的结果会产生大约500个模板。即使使用聚类的方法消除部分较为相似的模板，模板的总数仍然还有200个左右。存储该模板特征需要消耗大量的空间。此外，主方向模板特征对按位与操作的16比特结果建立查询表并获得匹配的网格数量，该查询表也占用了大量内存空间。

参考文献：

[1].Hinterstoisser S，Lepetit V，Ilic S，etal.Dominant orientationtemplates for real-time detection of texture-less objects[C],Proceedings of IEEE Computer Society Conference on ComputerVision and Pattern Recognition.New York:IEEE，2010:2257-2264。

发明内容

针对模板数量较大之时主方向模板特征在存储空间上消耗过大的问题，提出了一种基于主方向模板的特征匹配方法，对于模板特征采用紧凑表示法并设计了与之对应的匹配过程。

本发明采用如下技术方案：

一种基于主方向模板的特征匹配方法，其特征在于包括如下步骤：

步骤1：将目标图和样本图都分割为网格，且网格的大小相同，目标图被分割为N个网格，用A_i表示目标图中第i个网格，样本图被分割为M个网格，用B_j表示样本图中第j个网格；计算目标图和样本图的每个网格中的像素梯度，像素点(k,l)的梯度值公式为：

$\begin{array}{c}{V}_{k,l}=\\ \sqrt{{\[(z_{k-1,l-1}+2z_{k,l-1}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k,l+1}+z_{k+1,l+1})\]}^2+{\[(z_{k+1,l+1}+2z_{k+1,l}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k-1,l}+z_{k-1,l-1})\]}^2}\end{array}$

梯度方向公式为：

$G_{k,l}=\arctan \frac{(z_{k+1,l+1}+2z_{k+1,l}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k-1,l}+z_{k-1,l-1})}{(z_{k-1,l-1}+2z_{k,l-1}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k,l+1}+z_{k+1,l+1})}$

其中，z_k,l为像素坐标点(k,l)位置的灰度值；

步骤2：比较每个网格中所有的像素点的梯度值，获取最大的梯度值对应的梯度方向，将像素梯度方向量化到7个组上，梯度量化公式为：

$Q=\mathrm{int}eger\left(\frac{G_{k,l}}{2\mathrm{\π}/7}\right)$

其中，integer()表示对括号里的值取整，引入一个组用于表示该网格是否有明显的梯度值，网格的模板特征包括最大梯度方向和是否具有明显梯度值，用3个比特的二进制数值表示为X，目标图网格的模板特征A_i＝X，而样本图网格的模板特征B_j＝～X，将计算结果按位取反作为样本图网格的梯度特征；

步骤3：样本图与目标图的模板特征匹配，即样本图中所有网格与目标图中的部分网格进行模板特征匹配，匹配结果公式为A_i⊕B_j；

步骤4：匹配结果为“111”，则两个网格模板特征匹配，并确定样本图中的匹配网格数量，当网格匹配数为样本图的网格总数M时，则确定样本图在目标图中的位置。

进一步的，步骤2中网格的模板特征可用单字节、双字节、四字节或八字节存储。

进一步的，步骤2中将两个网格的模板特征存储在一个字节中。

进一步的，步骤2中用一个字节中的高六位或低六位存储两个网格的模板特征。

进一步的，步骤2梯度量化公式为其中round()为四舍五入函数。

进一步的，步骤4还包括查表法，对比查询表，确定网格匹配数量，所述查询表包括匹配结果与相对应的网格匹配数量。

相对于主方向模板特征，本发明具有以下优点：1.本发明只使用网格中最大的1个梯度方向作为该网格的模板特征描述，使得模板特征描述的种类从2⁸降低到2³。这样，原有的8个比特的表示方法就可以压缩到3个比特当中，实现特征的压缩。2.本发明的能量方程用异或操作，查表法改为对异或操作的结果进行查表。由于本发明使用单字节单位进行存储，因此只需对8比特的异或操作结果建立查询表，这样就使得内存消耗进一步降低。

附图说明

图1是主方向模板与本发明一实施例的梯度特征表示法对比图；

图2是基于主方向模板的特征匹配方法的部分查询表。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

本发明提出了一种基于主方向模板的特征匹配方法，包括以下几个步骤：

步骤1：将目标图和样本图都分割为网格，且网格的大小相同，计算每个网格中的像素点的梯度值和梯度方向。

该实施例将目标图和样本图分割为大小相同的网格，每个网格均为7×7像素。本领域的技术人员可知，网格的大小不限于7×7像素，还可分割为其他大小的像素。根据需要，技术人员可自定义网格大小。

目标图被分割为N个网格，用A_i表示目标图中第i个网格；样本图被分割为M个网格，用B_j表示样本图中第j个网格。计算目标图和样本图的每个网格中的像素梯度，像素点(k,l)的梯度值公式为：

$\begin{array}{c}{V}_{k,l}=\\ \sqrt{{\[(z_{k-1,l-1}+2z_{k,l-1}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k,l+1}+z_{k+1,l+1})\]}^2+{\[(z_{k+1,l+1}+2z_{k+1,l}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k-1,l}+z_{k-1,l-1})\]}^2}\end{array}---\left(1\right)$

梯度方向公式为：

$G_{k,l}=\arctan \frac{(z_{k+1,l+1}+2z_{k+1,l}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k-1,l}+z_{k-1,l-1})}{(z_{k-1,l-1}+2z_{k,l-1}+z_{k+1,l-1})-(z_{k-1,l+1}+2z_{k,l+1}+z_{k+1,l+1})}---\left(2\right)$

其中，z_k,l为像素坐标点(k,l)位置的灰度值；

步骤2：每个网格使用其最大的梯度方向进行表示，且将梯度方向和是否具有明显的梯度值使用字节进行存储。比较每个网格中所有的像素点的梯度值，获取最大的梯度值对应的梯度方向，并将像素梯度方向量化到7个组上，梯度量化公式为：

$Q=round\left(\frac{G_{k,l}}{2\mathrm{\π}/7}\right)---\left(3\right)$

其中，round()表示四舍五入函数。同时，引入一个组用于表示该网格是否有明显的梯度值，最大值为8的数可以用3个比特的二进制数值表示。网格的模板特征包括最大梯度方向和是否具有明显梯度值，可用3个比特的二进制数值表示为X。目标图网格的模板特征A_i＝X，而样本图网格的模板特征B_j＝～X，(将计算结果按位取反作为样本图网格的梯度特征)。如果某个网格在0度上得到明显的梯度值，其模板特征X＝000，则目标图中的网格的模板特征表示为A_i＝X＝000，而样本图中的网格的模板特征表示为B_j＝～X＝111。参阅图1所示，为主方向模板与本发明一实施例的梯度特征表示法对比图，将原有的8个比特的模板特征表示方法压缩为3个比特中，大大减少了模板特征的存储空间。

步骤3：样本图与目标图的模板特征匹配，即样本图中所有网格与目标图中的部分网格进行模板特征匹配，匹配公式为A_i⊕B_j。假设样本图中的网格B_j＝101，目标图中的网格A_i＝010，匹配结果为A_i⊕B_j＝111；若A_i+1＝011，匹配结果为A_i+1⊕B_j＝110。

将3个比特的单个网格模板特征放到字节单位之中，无法填满整个字节，将其余的比特舍弃，置为零。计算机在处理数据时会调用SSE2指令集，根据SSE2指令集的设置，可并行处理的字节单位大小可以为单字节(8比特)、双字节(16比特)、四字节(32比特)和八字节(64比特)。为了能够使用计算机中的SSE2指令进行匹配处理，网格的模板特征需要放入1个字节(8个比特)的整数倍的存储单位中。

步骤4：检查样本图中所有网格模板特征的匹配结果，匹配结果为“111”，则表示样本图和目标图的网格模板特征匹配。并确定样本图中的匹配网格数量，当网格匹配数为样本图的网格总数M时，则确定样本图在目标图中的位置。

需要说明的是，梯度量化公式，该实施例采用的是四舍五入取整，本领域的技术人员可知，还可采用其他的方式取整，如截去小数取整，截去小数向上取整数，截去小数向下取整等。

为了加快计算速度，使用查表法获得样本图匹配的网格数量。查表法所使用的查询表可以事先离线计算获得，保存在磁盘与内存中。查询表包括匹配结果与相对应的网格匹配数量。

字节单位的大小会影响查表法使用的查询表大小以及比特的利用率。比特的利用率还进一步影响到模板特征匹配的处理时间。比特的利用率越高，则SSE2指令所处理的模板特征的矢量长度就越短，处理时间也会大幅度降低。虽然8比特字节单位浪费了最多的比特数，但是其查询表却最小，而且相对于原始主方向模板特征的查询表更小。16比特字节单位比8比特字节单位的比特利用率高，但是查询表略大，与原始主方向模板特征的查询表相同。32比特字节单位与64比特字节单位的查询表过大，一般无法直接放入内存中。

综合以上考虑，本发明使用8比特的字节单位，即将3个比特的梯度特征放入单字节(8比特)中。因此，一个字节中可以存放两个网格的特征描述，剩余2个比特舍弃不用。存储方式为00aaabbb或aaabbb00，还可采用其他类型的存储方式。参阅图2所示，为基于主方向模板的特征匹配方法的部分查询表。对每个字节单位的匹配数量求和，获得样本图中所有网格的模板特征匹配数量。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种基于主方向模板的特征匹配方法，其特征在于包括如下步骤：

步骤1：将目标图和样本图都分割为网格，且网格的大小相同，目标图被分割为N个网格，用A_i表示目标图中第i个网格，样本图被分割为M个网格，用B_j表示样本图中第j个网格；计算目标图和样本图的每个网格中的像素梯度，像素点(k,l)的梯度值公式为：

$\begin{array}{c}{V}_{k,l}=\\ \sqrt{{\[(z_{k-1,l-1}+2z_{k,l-1}+z_{k\mathrm{+1},l-1})\mathrm{-(}{z}_{k-1,l+1}\mathrm{+2}{z}_{k,l+1}+z_{k+1,l+1})\]}^2+{\[(z_{k+1,l+1}+2z_{k\mathrm{+1},l}+z_{k\mathrm{+1},l-1})\mathrm{-(}{z}_{k-1,l+1}\mathrm{+2}{z}_{k\mathrm{-1},l}+z_{k-1,l-1})\]}^2}\end{array}$

梯度方向公式为：

$G_{k,l}=\arctan \frac{(z_{k+1,l+1}+2z_{k\mathrm{+1},l}+z_{k\mathrm{+1},l-1})-\left(z_{k-1,l+1}\mathrm{+2}{z}_{k\mathrm{-1},l}+z_{k-1,l-1}\right)}{(z_{k-1,l-1}+2z_{k,l-1}+z_{k\mathrm{+1},l-1})-\left(z_{k-1,l+1}\mathrm{+2}{z}_{k,l+1}+z_{k+1,l+1}\right)}$

其中，z_k,l为像素坐标点(k,l)位置的灰度值；

步骤2：比较每个网格中所有的像素点的梯度值，获取最大的梯度值对应的梯度方向，将像素梯度方向量化到7个组上，梯度量化公式为：

$Q=\mathrm{int}eger\left(\frac{G_{k,l}}{2\mathrm{\π}/7}\right)$

其中，integer()表示对括号里的值取整，引入一个组用于表示该网格是否有明显的梯度值，网格的模板特征包括最大梯度方向和是否具有明显梯度值，用3个比特的二进制数值表示为X，目标图网格的模板特征A_i＝X，而样本图网格的模板特征B_j＝～X，将计算结果按位取反作为样本图网格的梯度特征；

步骤3：样本图与目标图的模板特征匹配，即样本图中所有网格与目标图中的部分网格进行模板特征匹配，匹配结果公式为A_i⊕B_j；

步骤4：匹配结果为“111”，则两个网格模板特征匹配，并确定样本图中的匹配网格数量，当网格匹配数为样本图的网格总数M时，则确定样本图在目标图中的位置。

2.如权利要求1所述的基于主方向模板的特征匹配方法，其特征在于:所述步骤2中网格的模板特征可用单字节、双字节、四字节或八字节存储。

3.如权利要求2所述的基于主方向模板的特征匹配方法，其特征在于:所述步骤2中将两个网格的模板特征存储在一个字节中。

4.如权利要求3所述的基于主方向模板的特征匹配方法，其特征在于:所述步骤2中用一个字节中的高六位或低六位存储两个网格的模板特征。

5.如权利要求1所述的基于主方向模板的特征匹配方法，其特征在于:所述步骤2梯度量化公式为其中round()为四舍五入函数。

6.如权利要求1所述的基于主方向模板的特征匹配方法，其特征在于:所述步骤4还包括查表法，对比查询表，确定网格匹配数量，所述查询表包括匹配结果与相对应的网格匹配数量。