CN111009004B - 一种加速图像匹配的硬件优化方法 - Google Patents

Abstract

本发明公开了一种加速图像匹配的硬件优化方法，包括以下步骤：1)对输入的图像进行逐层的高斯滤波；2)获取相邻高斯滤波图像的差分图像并生成关键点；3)在关键点邻域内获取方向直方图来确定其主方向；4)结合关键点主方向，统计关键点邻域信息生成特征描述子；5)对特征描述子进行匹配，得到匹配的特征点。本发明提供一种加速图像匹配的硬件优化方法，对算法进行重新定义，搭建高效的并行计算框架，使用高效的描述子匹配方式，有效提高图像匹配的速度。

Description

一种加速图像匹配的硬件优化方法

技术领域

本发明涉及SIFT算法家族的特征点描述领域，具体涉及一种加速图像匹配的硬件优化方法。

背景技术

随着计算机技术的发展，图像视觉在生产生活中的应用越来越广泛。图像匹配是视觉算法的基础，对三维重建、SLAM、VR和AR等应用的实现起到至关重要的作用。在图像匹配特征邻域有着众多的特征检测算法，其中包括SIFT(Scale-invariant featuretransform，SIFT)、SURF、FAST等，其中SIFT检测出来的特征精度最高、稳定性最好。另外，特征描述符方面有BRIEF、ORB、RISK等。这些特征点和描述子对图像匹配的效果各异，其中效果较理想且应用较多的特征检测算法有SIFT和SURF。

SIFT算法具有旋转和尺度不变性，对光照、视角变化和噪声等也有较强的稳定性，在很多高精度的视觉里程计系统中采用了SIFT特征算法例如Lowe DG.Distinctive imagefeatures from scale-invariant keypoints[J].International Journal of ComputerVision,2004,60(2):91-110.，经典的SIFT算法对图像进行上采样以及下采样并生成高斯金字塔，算法模拟人的移动过程，随着人与物体的距离不同，人眼对前方物体的感知效果也不同，由此可以得到不同尺度的物体图像。在图像描述子计算中，对关键点周围区域点的特征进行统计，将其作为关键点的独特属性，使图像匹配更加稳定。

然而，经典的SIFT特征检测算法存在如下问题：

1)实时性低。算法复杂加大了优化难度，同时对运行效率造成很大的影响。对于一幅256*256的图像，特征描述子的计算时间达到秒级以上，达不到实时性的要求，更加难以应用在移动机器人的视觉检测领域。

2)资源耗费多。图像滤波过程中需要保存所有的滤波图像，图像尺度越大，需要的内存也越多。在计算梯度信息以及描述子等过程中需要占用大量的乘法器和除法器资源，同时算法的运行也会使DDR和CPU的使用率大幅提升。

发明内容

发明的目的是基于SIFT算法的特征点具有旋转不变性、尺度不变性和光照不变性等特点，SIFT算法是目前最稳定的特征点检测算法之一。但是算法的结构复杂，特征描述子计算量大且运算速度慢，无法满足对实时性要求高的设计。为了提高图像特征描述子的计算速度，同时保证图像特征点稳定性的前提下，本发明提供一种加速图像匹配的硬件优化方法，对算法进行重新定义，使用高效的描述子匹配方式，有效提高图像匹配的速度。

本发明至少通过如下技术方案之一实现。

一种加速图像匹配的硬件优化方法，包括以下步骤：

1)、对输入的图像进行逐层的高斯滤波；

2)、获取相邻高斯滤波图像的差分图像并生成关键点；

3)、在关键点邻域内获取方向直方图来确定其主方向；

4)、结合关键点主方向，统计关键点邻域信息生成特征描述子；

5)、对特征描述子进行匹配，得到匹配的特征点。

进一步的，所述步骤1具体包括如下步骤：

1.1)、将输入的原始图像分割保存到四个缓存中，每个缓存有两个端口；

1.2)、使用内存中的高斯滤波模板对缓存中的图像进行卷积滤波；

1.3)、将卷积滤波后的图像保存到第一图像层中；

1.4)、在第一图像层上再次进行卷积滤波，并将卷积滤波后图像保存第二图像层中；

1.5)、依次循环完成四层图像滤波，并保存到四个图像层中。

进一步的，所述高斯滤波模板是根据二维高斯函数得到，每个高斯滤波模板维度都为7*7，四个图像层与四个高斯滤波模板一一对应，四个高斯滤波模板对应的σ参数分别为1.600、1.226、1.545、1.946，最后将高斯滤波模板保存到ROM中；

二维高斯函数如下：

其中的m、n表示高斯滤波模板的维度，x、y为像素坐标。

进一步的，所述步骤2具体包括如下步骤：

2.1)、将相邻层的高斯滤波图像相减，判断两个相减数据的大小，用大的数据减去小的数据，使结果为正数或等于0；

2.2)、在上述得到的差分图像中寻找空间中的极值点，当中心点数据大于等于或小于等于其他空间点数据时，认为该点为极值点。

进一步的，所述步骤3具体包括如下步骤：

3.1)、使用查找表的方式获取关键点周围的邻域点；

3.2)、每次读取一个邻域点，并计算其梯度方向和模值大小；

3.3)、将梯度模值的加权值做成查找表的形式，并统计邻域点的方向直方图；

3.4)、使用状态机的方式循环对直方图进行平滑滤波；

3.5)、遍历直方图幅值数据并将最大的数对应的幅角方向确定为关键点的主方向。

进一步的，所述步骤4具体包括如下步骤：

4.1)、以查找表的方式计算关键点周围大小的邻域点；

4.2)、利用三角函数旋转每个邻域点，并将有效的邻域点保存到先入先出缓存(fifo)中；

4.3)、获取梯度幅值的加权值并统计邻域点的方向直方图；

4.4)、对直方图进行三线性插值；

4.5)、根据直方图的幅值得到描述子向量。

进一步的，所述步骤5具体包括如下步骤：

5.1)、计算描述子之间的曼哈顿距离，得到一个距离向量；

5.2)、计算距离向量的最小值和次小值；

5.3)、判断最小值与次小值的比值是否小于设定的阈值，如果满足则保存对应的特征点。

进一步的，步骤4.4)的三线性插值是根据以下公式对直方图进行三线性插值

weight＝w*dr^k*(1-dr)^1-k*dc^m*(1-dc)^1-m*doⁿ*(1-do)^1-n

其中的k、m、n为0或者为1，w为梯度幅值的加权值，dr、dc、do分别为像素点对邻近行、邻近列、邻近方向的贡献因子。

本发明的原理为：

由于SIFT算法在计算特征描述子时需要耗费大量的时间，无法在实时性要求高的环境下应用。为了解决这些问题，本发明进行部分SIFT算法的修改，并使用具有并行运算能力的FPGA(Field Programmable Gate Array)来实现修改后的算法，使描述子计算速度大幅提升。

高斯滤波模板的大小与图像所在的尺度有关，随着尺度因子的变大，滤波模板也会变大，这样会耗费大量的滤波时间。因此本发明使用固定的滤波模板对每层高斯图像进行滤波，提高滤波速度。

高斯差分计算过程中相邻两层图像相减的结果会出现负数的情况，但是FPGA处理负数需要耗费更多的资源，因此本发明首先判断相减数据的大小，再使用大的数据减去小的数据，使结果为正数。在计算关键点时，利用FPGA的并行特性，同时读取三层差分图像数据，可以快速识别图像中的极值点。

描述子匹配时使用简单的曼哈顿距离，可以极大提高匹配速度，同时也可以取得较好的匹配效果。

与现有技术相比，本发明的有益效果为：对原SIFT算法的多个步骤进行简化和改进，并使用并行计算方式计算描述子以及匹配描述子。在图像高斯滤波部分，简化模板使滤波速度大幅提升。在关键点计算时，使用正的差分数据以及并行空间方式快速提高图像极值点的计算。图像匹配过程中，使用快速的曼哈顿距离匹配，避免欧氏距离的复杂运算，即提高了运算速度，又节省了大量的资源。

附图说明

图1为本实施例的一种加速图像匹配的硬件优化方法流程示意图；

图2为本实施例高斯滤波示意图；

图3为本实施例关键点计算示意图；

图4为本实施例确定关键点主方向示意图；

图5为本实施例计算特征描述子示意图；

图6为本实施例匹配描述子示意图。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明。

如图1所示，本实施例提供一种加速图像匹配的硬件优化方法，包括如下步骤：

1)、如图2所示，对输入的图像进行逐层的高斯滤波，具体包括如下步骤：

1.1)、将原始图像分割保存到四个缓存中，图像为256*256大小的灰度图像，缓存选用Block RAM，每个缓存有两个端口。缓存1保存256*256图像的第1行到第67行，缓存2保存第62行到第131行，缓存3保存第126行到第195行，缓存4保存第190行到第256行；

1.2)、根据二维高斯函数计算好四个高斯滤波模板，每个高斯滤波模板维度都为7*7，四个高斯滤波模板对应的σ参数分别为1.600、1.226、1.545、1.946，四个高斯滤波模板对应需要滤波的四个图像层，将计算好的高斯滤波模板保存到内存中，该内存选用只读存储器(ROM)。

1.3)、使用高斯滤波模板对图像进行卷积滤波，具体是先用第一个高斯滤波模板对缓存1到缓存4中的图像进行卷积滤波，将滤波后的图像保存到第一图像层即图像层1中，得到第一层高斯滤波图像，并使用Block RAM进行保存。

所述高斯滤波模板是根据二维高斯函数计算得到，每个高斯滤波模板维度都为7*7，四个高斯滤波模板对应的σ参数分别为1.600、1.226、1.545、1.946，四个高斯滤波模板对应需要滤波的四个图像层，最后将高斯滤波模板保存到ROM中；

二维高斯函数如下：

其中的m、n表示高斯滤波模板的维度，x、y为像素坐标。

1.4)、当得到图像层1之后，将图像层1读取到缓存1到缓存4中，并读取第二个高斯滤波模板进行卷积滤波计算，得到图像层2,按照上述步骤，依次循环进行卷积滤波得到四个图像层。

2)、如图3所示，获取相邻高斯滤波图像的差分图像并生成关键点，包括如下步骤：

2.1)、同时输入四层的高斯滤波图像，并将相邻的图像层通过减法器得到差分图像，减法器计算时需要先判断两个相减数据的大小，把较大的数减去较小的数，得到的差分图像数据都大于或等于0。

2.2)、读取三层差分图像数据，将数据保存到分差空间极值点检测空间。该空间是一个3*3*3维度的图像空间，当中心点数据大于等于或小于等于其他26个数据时，认为该点为极值点。

3)、如图4所示，在关键点邻域内获取方向直方图来确定其主方向，包括如下步骤：

3.1)、使用查找表的方式获取关键点的邻域点。关键点邻域的大小与关键点所在图像的尺度有关，邻域半径计算公式为3x1.5σ，σ为图像的尺度因子。由于只在第二层差分图像上进行关键点计算，因此直接确定邻域维度为7*7，不需要重新计算邻域半径。

3.2)、每次读取一个邻域点，并计算其梯度方向和模值大小。

3.3)、将梯度模值的加权值做成查找表的形式，并统计邻域点的方向直方图；直方图的横坐标表示的是梯度的方向，纵轴表示模值加权后的值。将梯度方向分配到36个方向上，每10度作为一个方向，360度的梯度方向总共可以分配成36柱的直方图。

3.4)、使用状态机的方式循环对直方图进行平滑滤波，把幅度值最大的柱序列对应的方向确定为关键点的主方向。

4)、如图5所示，结合关键点主方向，统计关键点邻域信息生成特征描述子，使关键点具有独特的特性以便更容易被识别，具体包括如下步骤：

4.1)、以查找表的方式计算关键点的邻域点。计算描述子邻域半径前先确定子区域的个数，在SIFT算法中，特征邻域分成4*4个子区域，每个子区域的边长为3σ，另外还需要考虑三线性插值和旋转，最终的区域边长根据公式3σ*(4+1)*√2得到。本实施例中将邻域半径确定为18，不通过公式计算。

4.2)、利用三角函数旋转每个邻域点，并将有效的邻域点保存到先入先出缓存(fifo)中，具体是获取邻域点的梯度方向和模值，梯度方向以弧度表示，将该梯度方向减去关键点的主方向得到旋转后的邻域点方向。另外，需要将方向角度范围从-180度到180度映射到0度到360度，以便获取直方图的横轴数据。

4.3)、将梯度模值进行加权后加入直方图中，每个子区域统计一个直方图，该直方图总共8个柱子，每个柱表示45度方向。所有子区域的直方图加起来共128个柱，可以得到128维的描述子。

4.4)、根据公式

weight＝w*dr^k*(1-dr)^1-k*dc^m*(1-dc)^1-m*doⁿ*(1-do)^1-n

对直方图进行三线性插值，其中的k、m、n为0或者为1，w为梯度幅值的加权值，dr、dc、do分别为像素点对邻近行、邻近列、邻近方向的贡献因子。本实施例中使用状态机循环分析每种情况。

4.5)、根据子区域的排序和子区域内梯度方向的顺序，确定每个子区域内直方图的柱序在描述子向量中的位置，并将直方图的幅值数据分配到该向量位置，得到描述子向量。

5)、如图6所示，对特征描述子进行匹配，得到匹配的特征点，具体包括如下步骤：

5.1)、两组描述子保存在两个Block RAM中，连续读取第一组描述子的所有描述子，同时读取第二组的第一个描述子并放入缓存中，计算该描述子与第一组的所有描述子的曼哈顿距离，并保存到距离向量中。

5.2)、寻找距离向量中的最小值和次小值，计算这两个数据的比值，当比值满足阈值条件时认为最小值对应的关键点与第二组第一个描述子对应的关键点匹配。判断最小值与次小值的比值是否满足设定的阈值，如果满足则保存对应的特征点。根据实际情况阈值通常取0.6，当比值小于0.6时对应的关键点匹配。

5.3)、当第二组第一个描述子匹配完成之后，读取第二个进行匹配。按照这种方式，依次对其他描述子进行匹配。

通过原SIFT算法和本实施例的方法对256*256大小的图像进行匹配测试，得到如下表1：

表1匹配测试结果

对比分析上表，本发明方法在运行速度上大幅提高，同时也匹配到精度较高的关键点，经典方法匹配到更多的关键点，但是耗费更多的运算时间，在对匹配点对数量要求不高或者实时性要求较高的场合下，本方法更加适合上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合等均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种加速图像匹配的硬件优化方法，其特征在于：包括以下步骤：

1)、对输入的图像进行逐层的高斯滤波；

2)、获取相邻高斯滤波图像的差分图像并生成关键点；

3)、在关键点邻域内获取方向直方图来确定其主方向；具体包括如下步骤：

3.1)、使用查找表的方式获取关键点周围的邻域点；

3.2)、每次读取一个邻域点，并计算其梯度方向和模值大小；

3.3)、将梯度模值的加权值做成查找表的形式，并统计邻域点的方向直方图；

3.4)、使用状态机的方式循环对直方图进行平滑滤波；

3.5)、遍历直方图幅值数据并将最大的数对应的幅角方向确定为关键点的主方向；

4)、结合关键点主方向，统计关键点邻域信息生成特征描述子；具体包括如下步骤：

4.1)、以查找表的方式计算关键点周围大小的邻域点；

4.2)、利用三角函数旋转每个邻域点，并将有效的邻域点保存到先入先出缓存(fifo)中；

4.3)、获取梯度幅值的加权值并统计邻域点的方向直方图；

4.4)、对直方图进行三线性插值；步骤4.4)的三线性插值是根据以下公式对直方图进行三线性插值

weight＝w*dr^k*(1-dr)^1-k*dc^m*(1-dc)^1-m*doⁿ*(1-do)^1-n

其中的k、m、n为0或者为1，w为梯度幅值的加权值，dr、dc、do分别为像素点对邻近行、邻近列、邻近方向的贡献因子；

4.5)、根据直方图的幅值得到描述子向量；

5)、对特征描述子进行匹配，得到匹配的特征点；具体包括如下步骤：

5.1)、计算描述子之间的曼哈顿距离，得到一个距离向量；

5.2)、计算距离向量的最小值和次小值；

5.3)、判断最小值与次小值的比值是否小于设定的阈值，如果满足则保存对应的特征点。

2.根据权利要求1所述的一种加速图像匹配的硬件优化方法，其特征在于：所述步骤1具体包括如下步骤：

1.1)、将输入的原始图像分割保存到四个缓存中，每个缓存有两个端口；

1.2)、使用内存中的高斯滤波模板对缓存中的图像进行卷积滤波；

1.3)、将卷积滤波后的图像保存到第一图像层中；

1.4)、在第一图像层上再次进行卷积滤波，并将卷积滤波后图像保存第二图像层中；

1.5)、依次循环完成四层图像滤波，并保存到四个图像层中。

3.根据权利要求2所述的一种加速图像匹配的硬件优化方法，其特征在于：所述高斯滤波模板是根据二维高斯函数得到，每个高斯滤波模板维度都为7*7，四个图像层与四个高斯滤波模板一一对应，四个高斯滤波模板对应的σ参数分别为1.600、1.226、1.545、1.946，最后将高斯滤波模板保存到ROM中；

二维高斯函数如下：

其中的m、n表示高斯滤波模板的维度，x、y为像素坐标。

4.根据权利要求1所述的一种加速图像匹配的硬件优化方法，其特征在于：所述步骤2)具体包括如下步骤：

2.1)、将相邻层的高斯滤波图像相减，判断两个相减数据的大小，用大的数据减去小的数据，使结果为正数或等于0；

2.2)、在上述得到的差分图像中寻找空间中的极值点，当中心点数据大于等于或小于等于其他空间点数据时，认为该点为极值点。

Images