CN104809731B - 一种基于梯度二值化的旋转尺度不变场景匹配方法 - Google Patents

Abstract

一种基于梯度的旋转尺度不变二值化场景匹配方法，涉及场景识别领域。本发明在经典二值描述BRIEF算法单纯比较灰度强度的基础上，提出加入水平与垂直梯度值比较，保存采样区域的纹理信息，从而降低匹配错误率。另外，建立图像尺度金字塔，在不同尺度内进行图像特征点检测和特征描述，在描述符计算过程中加入重心矢量方向，使得该二值化描述符具有方向与尺度不变性。实验表明，本文提出的基于二值化的旋转不变梯度采样描述符具有较高的鲁棒性，在场景图像发生较大旋转以及尺度变换的情况下，平均比BRIEF算法匹配正确率高73.06％。

Description

一种基于梯度二值化的旋转尺度不变场景匹配方法

技术领域

本发明涉及场景识别领域，尤其是涉及一种适用于场景匹配的基于梯度二值化旋转尺度不变场景匹配方法。

背景技术

场景匹配常常用于搜索两个场景中相同的内容，在场景识别以及目标识别等领域有着广泛的应用。

图像特征点匹配作为场景匹配的具体实现方法，通过将当前图像与数据库中的历史图像进行特征点匹配，从而实现对当前场景的匹配和识别。因此，图像特征点匹配成为了当前研究的重点。特征点匹配包括特征点检测、特征点描述以及特征点匹配三部分，首先在两幅图像上搜索稳定的特征点，这些特征点在图像发生尺度变换、旋转或者投影变换后依旧能被检测器检测到，因此这些特征点往往在多尺度图像序列中进行搜索；之后，描述器利用特征点周围区域内的图像信息计算特征描述符；分别计算得到两幅图像后的特征向量集合后，匹配器对连个特征向量集合进行匹配生成最优匹配集合。

近年来，针对这一流程有很多优秀的算法被提出，最为经典是Lowe等提出的SIFT[1]特征描述。SIFT算法提出了利用高斯差分图像金字塔(difference-of-Gaussianimages pyramid)中的局部极值点作为图像特征点，并在图像周围的4×4单元区域内统计8个方向上的梯度之和，最终产生128维特征向量进行特征点匹配。由于在高斯差分图像金字塔中搜索特征点，因此SIFT其特征点具有良好的尺度不变性，即使图像在尺度以及清晰度发生剧烈变化的情况下，其检测依旧具有很高的稳定性。另外，SIFT算法在生成描述符时，计算了特征点周围区域的梯度主方向，并将特征采样区域旋转到主方向后进行描述符的计算，实现了特征描述符的旋转不变性，在图像发生旋转之后，SIFT依旧能利用梯度主方向实现描述符的方向归一化，从而实现图像特征的匹配。但是，SIFT由于计算复杂度过高，特征点检测以及特征描述符生成时间较为费时，因此不能用于实时系统。为降低计算复杂度，Herbert等提出了SURF[2]算法，该算法利用方框滤波器代替高斯滤波器进行图像模糊处理，并通过改变方框滤波器大小实现不同尺度下的高斯模糊图像，由于此方法可以实现不同尺度下的高斯模糊图像的并行处理，运算速度大大提升，另外，SURF采用Haar小波特征计算得到64维描述符，降低了特征匹配过程的计算复杂度。虽然SURF在SIFT算法的思想上大大提高了运算速度，但是仍然不能满足实时系统的需求。为进一步降低运算法复杂度，Calonder等提出了基于二值描述的BRIEF[3]描述符，该描述符通过在特征点周围采样区域内随机抽取若干(通常为128、256或512)采样点对，使用0或1来表示采样点对两点之间的灰度大小关系，最终形成128、256或512维二值化特征描述子，匹配时采用汉明距离进行计算，计算速度得到巨大提升，满足了实时系统的匹配要求，但是由于缺乏对描述符进行方向归一化，因此BRIEF不具有旋转不变性。

本文发明基于二值化描述算法，提出一种基于梯度的旋转与尺度不变二值化场景匹配方法，在保持二值化描述符高速匹配的优势下提高描述算法对旋转以及尺度变换的鲁棒性，是非常有意义的。

附：参考文献

[1]Lowe,David G."Distinctive image features from scale-invariantkeypoints."International journal of computer vision,60.2:91-110,2004.

[2]Bay,Herbert,Tinne Tuytelaars,and Luc Van Gool."Surf:Speeded uprobust features."Computer vision–ECCV 2006.Springer Berlin Heidelberg,404-417,2006.

[3]Calonder,Michael,et al."Brief:Binary robust independent elementaryfeatures."Computer Vision–ECCV 2010.Springer Berlin Heidelberg,778-792,2010.

发明内容

本发明主要解决的技术问题是场景匹配问题中图像特征描述问题。为解决目前二值化图像特征描述符丢失描述区域纹理信息，本发明提供一种基于梯度的旋转尺度不变二值化特征描述符，通过在多尺度空间对描述区域的梯度采样以记录该区域纹理信息，并在此过程中使用方向归一化，实现在图像大尺度旋转和尺度变换下提高特征点的匹配正确率。

为解决上述技术问题采取的技术方案为：一种基于梯度二值化的旋转尺度不变图像匹配方法，针对以BRIEF等二值化描述符仅仅利用灰度信息进行二值化描述，从而导致丢失描述区域纹理信息的问题，本文提出的基于局部梯度信息进行描述的流程图如图1所示，包括特征点检测、特征点描述、特征匹配三个步骤。假设数据库中存在的某场景图像为图像A，待匹配图像为图像B，图像A的尺寸为Soze_A，图像B的尺寸为Sizw_B，图像金字塔尺度因子为σ，Oct为金字塔层数，Kp_A为图像A中特征点集合，每个特征点对应生成描述符组成的集合为Dpt_A，Kp_B为图像B中的特征点集合，对应生成描述符组成的集合为Dpt_B，M为两幅图像之间特征点匹配的匹配集合，M_good为两幅图像之间的最优匹配对集合，包含如下步骤：

A.特征点检测。建立多尺度图像金字塔，分别在每一层进行FAST特征点检测。

B.特征点方向计算，采用重心向量方向作为特征点方向，重心向量由采样区域中心指向采样区域重心。重心位置计算采用如下公式：

其中，G_x与G_y分别代表重心位置的水平坐标与垂直坐标，I(x，y)表示位于(x，y)坐标位置像素的灰度值，x和y为位于(x，y)位置像素的横坐标与纵坐标。

C.特征点描述，旋转采样区域，将采样区域划分为n×n个单元，利用如下公式分别计算单元内部平均灰度、水平梯度以及垂直梯度：

其中F_intestty为单元区域平均灰度，F_GradientX为单元区域水平梯度，F_GradientV为单元区域垂直梯度，P代表某个划分单元，S_cell为单个单元区域P所包含的像素个数，k为指定区域内的像素，P_rtght、P_left、P_down以及P_up分别为P区域内右半部分、左半部分、下部部分和上半部分，Intensity(k)为像素灰度值。

计算出所有子单元这三个分量后，使用二值化公式，依次比较n×n各单元之间三个分量关系，并生成二值描述符。D.特征点匹配

进一步，所述步骤A包括：

A1建立图像金字塔。对两幅原始图像连续降采样，尺度因子为σ，共建立Oct层。即对于图像A，原始图像为第0层，尺度为Size_A，第1层尺度为Size_A×σ,第Oct-1层图像尺度为Size_A×σ^Oct-1；对于图像B，原始图像为第0层，尺度为Size_B，第1层尺度为Size_B×σ,第Oct-1层图像尺度为Size_B×σ^Oct-1，如图2所示。

A2FAST角点检测。分别在两幅图像的图像金字塔中使用FAST角点检测，计算图像A与图像B的特征点集合，该集合中包含每个特征点在图像金字塔中位于哪一层，以及在该层图像中的坐标信息，最终分别生成Kp_A和Kp_B。

进一步，所述步骤B包括：

B1特征方向，分别计算特征点集合Kp_A和Kp_B中每个特征点的重心向量方向。对于每个特征点，根据其信息找到对应尺度图像金字塔图像，在该特征点周围S×S采样区域内计算其重心位置，如图3所示，重心位置由采样区域的水平重心和垂直重心构成，计算公式如下：

其中I(x，y)为位于(x，y)位置的像素的灰度值，(x，y)为当前像素与采样中心的相对坐标位置。由此，该采样区域重心位置为C(G_x，G_y)，重心向量为该向量方向即为该点的特征方向。

进一步，所述步骤C包括：

C1建立描述区域。根据特征点位置信息，在对应的图像金字塔层中定位该点坐标位置，将该位置周围S×S区域作为特征描述区域。该点特征方向为重心向量所指方向，该方向与水平方向夹角为θ，θ由以下公式计算可得：

由该方向夹角θ计算得到描述区域旋转矩阵R：

如图4所示，使用旋转矩阵与特征描述区域S×S内的像素位置相乘得到旋转后的特征描述区域：

其中(x，y)^T为原始采样区域像素位置，(x′，y′)^T为旋转后对应像素的位置。

C2采样区域梯度计算(针对的是旋转后的图像)。将特征点周围S×S区域划分成n×n个单元，如图5所示。分别计算每个单元内部的的平均灰度、水平梯度以及垂直梯度。平均灰度为每个单元内部所有像素灰度的平均值；水平梯度由单元内部右半边像素灰度值之和与左半边像素值灰度值之和做差获得；垂直梯度由单元内部上半边像素灰度值之和与下半边像素值灰度值之和做差获得。三个分量的计算公式如式所示：

使用二值化公式比较两个单元之间这三个分量的大小关系并生成二值描述符。

其中，F(·)为单元内部平均灰度、水平梯度以及垂直梯度三个分量，即F_intestty、F_GradientX以及F_GradientV，P1和P2分别为两个划分单元。依次比较n×n各单元之间三个分量关系，最终生成二值化特征描述向量。

依次对Kp_A和Kp_B中的特征点按照上述过程进行描述，最终分别生成对应的二值化特征描述符集合Dpt_A和Dpt_B。

进一步，所述步骤D包括：

D1汉明距离匹配。针对计算生成的二值化特征描述符集合Dpt_A中每个特征描述符D_A，依次计算与特征描述符集合Dpt_B中每个特征描述符D_B之间的汉明距离，当汉明距离最小时则表示D_B为当前D_A的最邻近对象，二者之间的距离为最邻近距离Dst_nearest，若D_B′与D_A之间距离为所有大于Dst_nearest距离中的最小值，则距离为D_B与D_A之间的次最小距离Dst_nearest′。只有当Dst_nearest′与Dst_nearest的比率小于0.8时，才将D_B与D_A作为匹配对保存到匹配集合M中。

本发明的方法将采样区域平均梯度和平均灰度通过二值化公式转化成二值化图像特征描述符，与传统像素灰度计算与梯度计算相比，平均梯度即保留了图像局部区域的纹理信息又保证了图像描述符的鲁棒性。另一方面，以局部采样区域的重心向量方向为描述符主方向，归一化描述符方向，并在图像金字塔中进行描述符计算，实现了描述符旋转及尺度不变。实验结果表明本发明的方法能够大幅提高二值化描述符的描述能力，对于场景图像发生大尺度旋转或缩放仍然具有一定的鲁棒性。

附图说明

图1基于梯度的旋转尺度不变二值化特征描述方法流程图

图2图像尺度金字塔示意图

图3区域重心以及重心向量示意图

图4采样区域旋转示意图

图5单元块划分与梯度采样示意图

图6场景匹配流程图

图7Boat场景图像

图8特征点检测有效区域示意图

图9Boat场景两幅图像特征点检测结果

图10Boat场景两幅图像特征点匹配结果

图11经过RANSAC过滤后的特征点匹配结果

具体实施方式

以下结合附图实施例对本发明作进一步详细阐述。

图6为使用本发明方法进行场景匹配的流程图，包括特征点检测、特征点描述、特征匹配以及场景变换模型四个步骤。图7为场景boat，其中，左图为数据库已有场景A，右图为待匹配场景B，图像A的尺寸为Size_A，图像B的尺寸为Size_B，图像金字塔尺度因子为σ，Oct为金字塔层数，Kp_A为图像A中特征点集合，每个特征点对应生成描述符组成的集合为Dpt_A，Kp_B为图像B中的特征点集合，对应生成描述符组成的集合为Dpt_B，M为两幅图像之间特征点匹配的匹配集合，M_good为两幅图像之间的最优匹配对集合，匹配阈值为r，M_Tran代表场景变换模型，本发明的方法步骤如下：

第一步，特征点检测：

1)建立图像金字塔。对两幅原始图像A和B连续降采样，尺度因子为σ＝0.5，共建立Oct＝4层。对于图像A，原始图像作为第0层，尺度为Size_A＝850×680，第1层尺度为Size_A×σ＝425×340，第2层尺度为Size_A×σ²＝212×170，第3层尺度为Size_A×σ³＝106×85；对于图像B，原始图像为第0层，尺度为Size_B＝850×680，第1层尺度为Size_B×σ＝425×340,第2层尺度为Size_B×σ²＝212×170，第3层尺度为Size_B×σ³＝106×85。

2)FAST角点检测。分别在两幅图像的图像金字塔中使用FAST角点检测，计算场景A与场景B的特征点集合。如图8所示，为保证特征点周围有足够的空间区域进行特征描述，将距离边界大于25像素的区域作为特征点检索的有效区域，即：

25＜P_x＜Width-25

25＜P_y＜Height-25

其中Width为图像宽度，Height为图像高度，P_x和P_y像素位置坐标。对于场景A的第0层图像，检索有效区域为25＜P_x＜825，25＜P_y＜655；对于场景B的第2层图像，检索范围为25＜P_x＜187，25＜P_y＜145。依次对场景A与场景B的图像金字塔各层有效检索范围中的所有像素进行特征点检测，若该点满足FAST特征点条件，则将该点作为特征点保存至特征点集合，该集合中包含每个特征点在图像金字塔中的层数，以及在该层图像中的坐标信息，最终对应场景A和场景B分别生成特征点集合Kp_A和Kp_B。场景A与场景B的特征点检测图图9所示。

第二步，特征点描述

依次为特征点集合Kp_A和Kp_B中每个特征点进行特征描述，特征描述包含特征点方向计算、采样区域建立以及梯度计算三部分。

1)特征方向。如图3所示，对于每个特征点，根据其信息找到对应尺度图像金字塔图像，在该特征点周围32×32采样区域内计算其重心位置，重心位置为采样区域内个像素位置以亮度值为权重计算生成的加权坐标位置。重心位置由采样区域的水平重心和垂直重心构成，计算采用如下公式：

其中I(x，y)为位于(x，y)位置的像素的灰度值，(x，y)为当前像素与采样中心的相对坐标位置。由此，该采样区域重心位置为C(G_x，G_y)，重心向量为重心向量指向采样区域内较为明亮的方向，该向量方向即为该点的特征方向。

2)建立描述区域。根据特征点位置信息，在对应的图像金字塔层中定位该点坐标位置，将该位置周围32×32区域作为特征描述区域。由上一步可得该点特征方向为重心向量所指方向，该方向与水平方向夹角为θ，θ由以下公式计算可得：

由该方向夹角θ计算得到描述区域旋转矩阵R：

使用旋转矩阵与特征描述区域S×S内的像素位置相乘得到旋转后的特征描述区域：

其中(x，y)^T为原始采样区域像素位置，(x′，y′)^T为旋转后对应像素的位置。

3)采样区域梯度计算。将特征点周围32×32区域划分成8×8个单元，如图5所示。分别计算每个单元内部的的平均灰度、水平梯度以及垂直梯度。平均灰度为每个单元内部所有像素灰度的平均值；水平梯度由单元内部右半边像素灰度值之和与左半边像素值灰度值之和做差获得；垂直梯度由单元内部上半边像素灰度值之和与下半边像素值灰度值之和做差获得。三个分量的计算公式如式所示：

使用二值化公式比较两个单元之间这三个分量的大小关系并生成二值描

述符。

其中，F(·)为单元内部平均灰度、水平梯度以及垂直梯度三个分量。依次比较n×n各单元之间三个分量关系，最终生成二值化特征描述向量。

4)依次对Kp_A和Kp_B中的特征点按照上述过程进行描述，最终分别生成对应的二值化特征描述符集合Dpt_A和Dpt_B。

第三步，特征点匹配

1)汉明距离匹配。针对由权利要求2.3中计算生成的二值化特征描述符集合Dpt_A中每个特征描述符D_A，依次计算与特征描述符集合Dpt_B中每个特征描述符D_B之间的汉明距离，当汉明距离最小时则表示D_B为当前D_A的最邻近对象，二者之间的距离为最邻近距离Dst_nearest，若D_B′与D_A之间距离为所有大于Dst_nearest距离中的最小值，则距离为D_B与D_A之间的次最小距离Dst_nearest′。只有当Dst_nearest′与Dst_nearest的比率小于某个阈值r时，才将D_B与D_A作为匹配对保存到匹配集合M中。Boat场景中A图像与B图

像匹配结果如图10所示。

第四步，计算场景变换模型

1)优匹配过滤。使用RANSAC算法，将单应性矩阵作为约束模型，对权利要求3.1中计算得到的匹配集合M中的匹配对进行筛选，得到符合同一个变换模型的匹配点集合M_good。在RANSAC每次迭代中，从匹配集合中随机抽取4对匹配对，根据这4对匹配对计算出单应性变换矩阵，在容差为4像素的情况下，若匹配集合中85％的匹配对都满足该变换模型则将此变换模型作为最优变换模型，返回符合该模型的所有匹配对作为最优匹配对；若迭代100次后，仍没有变换模型满足上述变换模型，则将100次迭代中能够满足最多匹配对的模型作为最优变换模型，返回满足该模型的所有匹配对作为最优匹配对。经过100次迭代后，Boat场景中图像A与图像B之间的匹配结果如图11所示。

2)计算场景变换模型。对最优匹配集合M_good使用最小二乘法，计算得到满足这些最优匹配对的单应性变换矩阵M_Tran。

为了检验本发明所提出的方法的性能，将本发明的方法与经典二值化匹配方法BRIEF算法进行比较。实验平台为OpenCV2.3.8，实验场景为Image Sequences图像库中的“Boat”、“Bike”、“Trees”以及“Leuven”，这四个场景分别包含了图像的旋转和尺度变换、模糊变换以及光照变换。记匹配对M中图像A的点为P_A，图像B的点为P_B，匹配集合将P_A的坐标与数据库提供的标准变换矩阵相乘得到P_A在第2幅图像中对应的P_A’点，若P_A’与P_B点之间的误差距离在10像素以内，则可以认为这个匹配对M为优匹配。统计所有优匹配数量记为n_c，所有匹配数量为N，计算匹配正确率n_c/N作为衡量描述方法鲁棒性的标准。

表1为四个场景中本发明的方法与BRIEF方法正确率的比较结果。可以看出，本发明提出的方法与BRIEF相比，具有较高的鲁棒性，在图像发生重大变化的情况下仍然保持着较高的准确性。在图像发生较大旋转以及尺度变化时(Boat场景)，BRIEF方法正确率不足5％，本发明提出的方法仍然能够保持75％以上的匹配正确率。当图像发生较大模糊变化时(Bike与Trees场景)，BRIEF方法匹配正确率低至0.00％和18.97％，本文提出的方法正确率保持在97％和93％以上。在Leuven场景中光线发生较强变化，BRIEF方法正确率最低为87.68％，本文算法正确率维持在96％以上。

表1 本发明提出的算法与BRIEF二值化特征描述算法比较

Claims (4)

1.一种基于梯度二值化的旋转尺度不变图像匹配方法，包括特征点检测、特征点描述、特征点匹配三个步骤；假设数据库中存在的某场景图像为图像A，待匹配图像为图像B，图像A的尺寸为Size_A，图像B的尺寸为Size_B，图像金字塔尺度因子为σ，Oct为金字塔层数，Kp_A为图像A中特征点集合，每个特征点对应生成描述符组成的集合为Dpt_A，Kp_B为图像B中的特征点集合，对应生成描述符组成的集合为Dpt_B，M为两幅图像之间特征点匹配的匹配集合，M_good为两幅图像之间的最优匹配对集合，其特征在于，包含如下步骤：

A.特征点检测：建立多尺度图像金字塔，分别在每一层进行FAST特征点检测；

B.特征点方向计算：采用重心向量方向作为特征点方向，重心向量由采样区域中心指向采样区域重心；重心位置计算采用如下公式：

其中，G_x与G_y分别代表重心位置的水平坐标与垂直坐标，I(x，y)表示位于(x，y)坐标位置像素的灰度值，x和y为位于(x，y)位置像素的横坐标与纵坐标；

C.特征点描述：旋转采样区域，将采样区域划分为n×n个单元，利用如下公式分别计算单元内部平均灰度、水平梯度以及垂直梯度：

其中F_intesity为单元区域平均灰度，F_GradientX为单元区域水平梯度，F_GradientY为单元区域垂直梯度，P代表某个划分单元，S_cell为单个单元区域P所包含的像素个数，k为指定区域内的像素，P_right、P_left、P_down以及P_up分别为P区域内右半部分、左半部分、下半部分和上半部分，Intensity(k)为像素灰度值；

计算出所有子单元这三个分量后，使用二值化公式，依次比较n×n个单元之间三个分量关系，并生成二值描述符；

D.特征点匹配。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

A1建立图像金字塔

对两幅原始图像连续降采样，尺度因子为σ，共建立Oct层；即对于图像A，原始图像为第0层，尺度为Size_A，第1层尺度为Size_A×σ,第Oct-1层图像尺度为Size_A×σ^Oct-1；对于图像B，原始图像为第0层，尺度为Size_B，第1层尺度为Size_B×σ,第Oct-1层图像尺度为Size_B×σ^Oct-1，

A2FAST角点检测

分别在两幅图像的图像金字塔中使用FAST角点检测，计算图像A与图像B的特征点集合，该集合中包含每个特征点在图像金字塔中位于哪一层，以及在该层图像中的坐标信息，最终分别生成Kp_A和K_pB。

3.根据权利要求1所述的方法，其特征在于，所述步骤C包括：

C1建立描述区域；

根据特征点位置信息，在对应的图像金字塔层中定位该点坐标位置，将该位置周围S×S区域作为特征描述区域；特征点特征方向为重心向量所指方向，该方向与水平方向夹角为θ，θ由以下公式计算可得：

由该方向夹角θ计算得到描述区域旋转矩阵R：

使用旋转矩阵与特征描述区域S×S内的像素位置相乘得到旋转后的特征描述区域：

其中(x，y)^T为原始采样区域像素位置，(x′，y′)^T为旋转后对应像素的位置；

C2采样区域梯度计算；

将特征描述区域S×S划分成n×n个单元；分别计算每个单元内部的平均灰度、水平梯度以及垂直梯度；平均灰度为每个单元内部所有像素灰度的平均值；水平梯度由单元内部右半边像素灰度值之和与左半边像素值灰度值之和做差获得；垂直梯度由单元内部上半边像素灰度值之和与下半边像素值灰度值之和做差获得；三个分量的计算公式如下式所示：

使用二值化公式比较两个单元之间这三个分量的大小关系并生成二值描述符；

其中，F(·)为单元内部平均灰度、水平梯度以及垂直梯度三个分量，即F_intesity、F_GradientX以及F_GradientY，P1和P2分别为两个划分单元；依次比较n×n个单元之间三个分量关系，最终生成二值化特征描述向量；

依次对Kp_A和Kp_B中的特征点按照上述过程进行描述，最终分别生成对应的二值化特征描述符集合Dpt_A和Dpt_B。

4.根据权利要求1所述的方法，其特征在于，所述步骤D包括：针对由计算生成的二值化特征描述符集合Dpt_A中每个特征描述符D_A，依次计算与特征描述符集合Dpt_B中每个特征描述符D_B之间的汉明距离，当汉明距离最小时则表示D_B为当前D_A的最邻近对象，二者之间的距离为最邻近距离Dst_nearest，若D_B′与D_A之间距离为所有大于Dst_nearest距离中的最小值，则距离为D_B与D_A之间的次最小距离Dst_nearest′；只有当Dst_nearest′与Dst_nearest的比率小于0.8时，才将D_B与D_A作为匹配对保存到匹配集合M中。