CN102496022A - 一种有效的特征点描述i-brief方法 - Google Patents

Abstract

本发明提出了一种有效的特征点描述I-BRIEF方法，步骤一、按一定规则在以特征点为中心的指定大小的图像面片上选取一系列的由两个像素位置组成的像素测试点对，这些测试点对组成一个测试点对集合。步骤二、在测试点对集合中选取一个点对，在每个点先局部平滑滤波，然后比较两个像素的灰度值，比较结果分为相似、亮、暗三类，分别用两个比特00，10，01表示。步骤三、对测试点对集合中每一个点对重复步骤二过程，然后将测试结果串联在一起形成一个比特串，并把该比特串作为特征点的描述符。相比以往方法，该方法不仅能够快速的进行描述符计算和匹配，所需存储量也更少，用于描述的特征也更稳定。

Description

一种有效的特征点描述I-BRIEF方法

技术领域

本发明属于计算机视觉领域，特别是涉及特征点的描述方法与图像匹配。

背景技术

I-BRIEF即改进的独立二元鲁棒初级特征，对于鲁棒的局部特征点描述方法的研究仍然是当前计算机视觉研究的热点。那是因为对特征点进行有效描述是当前许多计算机视觉技术如图像检索、三维重建、相机姿态估计等技术的核心，特别当这些技术需要处理大量数据或在计算资源有限的移动设备上运行时，就需要特征点描述符能够进行快速计算和匹配，同时尽量节省存储。在众多的描述方法当中，SIFT和SURF是当前最常用的方法。SIFT描述符通过计算图像梯度直方图获得，而且在实际中被证明是很有效的方法。然而，SIFT方法比较复杂，因此计算相对耗时。SURF与SIFT方法比较相似，但由于采用了积分图像和盒子滤波方法，因此计算速度是SIFT的3到7倍。当然，还有一些其他著名方法。例如Mikolajczyk等人提出的GLOH方法，GLOH与SIFT类似，但采用了不同于SIFT采样方法，在一定程度上比SIFT更鲁棒。Tola等人提出的DAISY方法用高斯滤波的方向导数取代了SIFT中的梯度方向相加的方法，实验证明该方法在不降低区分效果的情况下计算速度比SIFT更加快速。M.Calonder等人提出的Signatures方法计算比SIFT和SURF快很多。它利用经过离线学习产生的Ferns分类器来对新的特征点进行描述，对于每一个新的特征点，他的描述是通过其对Ferns分类器的响应获得的。但是，该方法的一个不足之处在于需要额外的存储来存储Ferns分类器。Mikolajczyk等人的对几种描述符进行了全面的比较，Winder和Brown等人也研究了几种描述方法，并提出了一种优化描述符计算过程中参数的框架。

在计算机视觉领域，关于能够快速计算，快速匹配以及节省存储的特征点描述方法的研究一直吸引着研究者的兴趣。通常加速匹配和降低存储的方法是进行描述符降维，Yan Ke等人提出采用主成分分析(PCA)方法对SIFT进行降维。Hua等人提出用线性判别分析(LDA)来降维。Chandrasekhar等人采用哈夫曼树结构对像SIFT这样基于梯度直方图的方法进行压缩(CHOG)。一种更加有效的降维方法是用哈希函数将如SIFT的描述符降维成比特串。Chuohao等人用随机投影方法对SIFT降维来产生二元比特串。Shakhnarovich在他的论文中采用一种机器学习方法来获得比特串描述符。Strecha等人提出了一种新的简单有效的方法从SIFT计算比特串，首先对齐问题相关的协方差矩阵，然后根据一个合适的代价函数来估算进行二值化的可靠阈值(LDAHash)。前面的方法虽然有效，但这些基于降维的方法在进一步处理前需要先计算完整的描述符。M.Calonder等人提出了一种从以特征点为中心的图像面片直接计算比特串描述符的BRIEF(Binary Robust Independent Elementary Features)方法(ECCV 2010、PAMI 2011)，这避免了之前的先进行描述符计算再降维的问题。

BRIEF描述方法利用二元比特串对特征点进行描述，具有区分能力强，并且描述符计算和匹配快速的特点，相比已有的描述方法如SIFT、SURF等无论在计算速度上还是区分能力上在大多数情况下都有较大的提高。

BRIEF通过对以特征点为中心的图像面片简单的像素灰度值的比较测试所产生的二元比特串来对该特征点进行描述。它所进行的比较测试定义如下所示：

其中p(x)表示像素在位置x＝(u₁，v₁)^T处的像素值，同理p(y)表示在位置y＝(u₂，v₂)^T处的像素值。独立的选取n_d个(x，y)的位置对，组成一个测试位置的集合，然后对每个一比特的测试结果组合成一个比特串f_nd，从而对一个特征点用比特串进行描述。比特串f_nd的定义方法如下：

其中n_d为测试位置对的个数，τ(p；x，y)定义如公式(1)所示，由于可以有很多方法来产生n_d个位置对，M.Calonder实验了如图3所示的五种位置布局方法。通过实验发现其中图3(b)的方法在多数情况下略微优于其他方法。同时由于BRIEF采用独立的比特组成的比特串来对特征点进行描述，因此进行特征点匹配时可以采用比欧氏距离更快的海明距离(Hammingdistance)作为距离度量方法，海明距离可以通过对匹配的比特串做异或操作然后统计结果中比特值为一的比特个数获得。

发明内容

为了适用当前对特征点描述符在应用中需要能够快速计算、快速匹配以及节省存储的要求，在已有工作基础上，本发明提出一种有效的特征点描述I-BRIEF方法，所述I-BRIEF即改进的独立二元鲁棒初级特征(I-BRIEF)描述方法，本发明提出的方法是一种利用由少量比特组成的比特串对图像中提取的特征点进行描述的新方法，相比已有方法，该方法不仅可以快速进行描述符计算，匹配速度也大大提高，同时所需存储也更少，用于描述的特征也更稳定。

本发明所采用的技术方案是：一种有效的特征点描述I-BRIEF方法，其特征在于如下步骤：

步骤1、在以特征点为中心的指定大小的图像面片上选取一系列的由两个像素位置组成的像素测试点对，这些测试点对组成一个测试点对集合；

步骤2、在测试点对集合中选取一个点对，在每个点先局部平滑滤波，然后比较两个像素的灰度值，比较结果分为相似、亮、暗三类，分别用两个比特00，10，01表示；

步骤3、对测试点对集合中每一个点对重复步骤二过程，然后将测试结果串联在一起形成一个比特串，并把该比特串作为特征点的描述符。

进一步的，本发明还提出了一种应用权利要求1所述的特征点描述方法进行图像特征点匹配的方法，其特征在于：

步骤1、输入两幅图像；

步骤2、在输入的图像中提取一系列特征点，采用权利要求1的所述的方法进行特征点描述；

步骤3、依据步骤2获得的对特征点的描述符，对两幅图像进行特征点匹配。

本发明的有益效果在于：在保证特征点描述符在多种仿射变换下仍然具有高区分性能的条件下，相比以往方法，描述符计算更加快速，所需存储更少，匹配更加快速。

附图说明

下面结合附图对本发明进一步说明。

图1是利用本发明对图像中的一个特征点进行描述的示意图；

图2是用本发明对两幅测试图像进行特征点描述和匹配的示例；

图3是本发明所实验的不同测试点对选取方案；令S为以特征点为中心的图像面片大小，图3(a)中测试点对(x，y)位置是独立同分布，都服从同样的均匀分布(-S/2，S/2)，图3(b)中测试点对(x，y)位置是独立同分布的，都服从相同的高斯分布(0，S²/25)，图3(c)中测试点对(x，y)位置是独立同分布的，x服从高斯分布(0，S²/25)，y服从高斯分布(0，S²/100)，图3(d)中测试点对(x，y)位置为对极网格上得随机分布，图3(e)中测试点对(x，y)位置中x恒在中心，y为在以x为圆心的圆上采样的点；

图4是BRIEF算法问题分析图；

图5(a)为图像视角变化较小时BRIEF算法中特征的鲁棒性分析，图5(b)为图像视角变化较大时BRIEF算法中特征的鲁棒性分析；

图6(a)为Wall测试序列，用于测试描述符在视角变化下的鲁棒性，图6(b)为Graffiti测试序列，用于测试描述符在尺度和旋转变化下的鲁棒性，图6(c)为Trees测试序列，用于测试描述符在图像模糊情况下的鲁棒性，图6(d)为Bikes测试序列，用于测试描述符在图像模糊情况下的鲁棒性，图6(e)为Cars测试序列，用于测试描述符在光照变化情况下的鲁棒性(f)为Ubc测试序列，用于测试描述符在Jpeg压缩下的鲁棒性；

图7(a)为在Wall测试序列中不同描述方法的识别率实验结果，图7(b)为在Graffiti测试序列中不同描述方法的识别率实验结果，图7(c)为在Trees测试序列中不同描述方法的识别率实验结果，图7(d)为在Bikes测试序列中不同描述方法的识别率实验结果，图7(e)为在Cars测试序列中不同描述方法的识别率实验结果，图7(f)为在Ubc测试序列中不同描述方法的识别率实验结果。

具体实施方式

图1给出了利用本发明，即改进的独立二元鲁棒初级特征(I-BRIEF)描述方法，对一个图像中提取的特征点进行描述的示意图，图中右边每根线段连接一个测试点对，图中共有128个测试点对。图2是用本发明对两幅测试图像进行特征点描述和匹配的示例，每幅图像中的提取的每个特征点先用I-BRIEF描述，然后根据描述符进行最近邻匹配，图中每根线段连接的是由I-BRIEF匹配获得的匹配点对，从图中可以大致看出其中大部分的匹配都是正确的。

由于本发明是在BRIEF方法的基础上改进创新的，因此将分以下三步来详细描述本发明的实施方式：一、BRIEF算法问题分析与改进；二、实验结果分析；三、应用。

一、BRIEF算法问题分析与改进

尽管实验数据证明BRIEF方法在大多数情况下比SIFT、SURF方法计算更快，区分能力更强。但是我们发现它的测试定义还有不足之处，下面将详细对该问题进行阐述并提出了我们的改进方法。

根据BRIEF方法的测试定义，无论相比较的两个像素值相差是大是小，只要一个值大于或小于另一个值，测试的结果就是确定的。而我们发现在图像角度变化的情况下，像素值相差较小的两个像素的测试结果不鲁棒，也就是说这种情况下，在不同图像中对于同一个特征点在同一测试对上，测试结果很可能不一样。下面我们给出了该情况下的一个直观的解释。如图4所示，对于在不同图像中的同一个特征点，(X，Y)表示一个测试位置对，(X’，Y’)表示经过图像扭曲后与之对应的真实测试位置对，当进行特征点匹配的两幅图像之间的旋转、尺度和角度变化不大时，X’和Y’应该各自在X和Y的附近，由于空间一致连续性，那么在非边缘区域，p(X’)的值很可能应该处于R(p(X’))的范围内，R(p(X’))表示(p(X)-δ(X，X’)，p(X)+δ(X，X’))，其中δ(X，X’)表示一个与从X到X’的距离成正比例的尺度因子，对于p(Y’)也是一样的道理。如图5(a)所示，当p(X)与p(Y)相差较大且图像间角度变化较小时，p(X)-p(Y)与p(X’)-p(Y’)也很可能保持测试结果的符号一致性，此时特征比较鲁棒，如图5(b)所示，当p(X)与p(Y)相差较小且图像间角度变化较大时(在实际中通常出现这种情况)，此时δ变大，R(p(X’))将与R(p(Y’))相交，从而使得p(X’)-p(Y’)的值的符号不确定，从而使产生的特征变得不鲁棒。

为了解决上述问题，受FAST脚点检测方法中在以某像素为中心的一定半径圆上每个像素和中心比较可以有亮、暗、相似三种状态结果的启发，我们提出了一种新的定义方法(I-BRIEF)，如下：

其中t是一个决定两个像素是否相似的阈值。当图像对比度较大时，t值相对较大，而当图像对比度较小时，t值相对应该较小。由于现在用两个比特表示一个特征，为了保持描述符长度一致性，在实验中我们只用了BRIEF方法一半的测试数，并且新的距离度量同样可以海明距离。实验结果证明I-BRIEF无论从匹配效果还是匹配速率上对BRIEF算法都有提高。同时我们将I-BRIEF方法应用到了一个并行跟踪与制图(Parallel tracking and mapping)系统中，实验表明这使得PTAM跟踪更加鲁棒。

二、实验结果分析

为了验证本发明的效果，我们从匹配效果和时间内存消耗两方面进行比较。

(A)匹配效果

为了进行匹配效果比较，我们采用了六组公用的图像数据集(图6)：Wall、Graffiti、Trees、Bikes、Cars、Ubc。每组数据集有六幅图像，它们用于测试在以下不同条件下描述符的匹配效果。

●视角变化：Wall，Graffiti

●图像模符：Trees，Bikes

●光照变化：Cars

●Jpeg压缩：Ubc

对于每一组图像集，我们用第一幅图像与该图像集中其他每一幅进行匹配，并采用识别率作为匹配结果的度量。识别率定义为用描述符获得的特征点匹配对中与基准数据相比的正确匹配对的百分比值。为了计算识别率，我们首先检测在每个测试对中每幅图像的SURF特征点，然后计算它们的描述符(SURF，BRIEF，I-BRIEF)，进行最近邻匹配，接着运用标准的左右一致性检查，并把产生的特征点对叫做一个匹配。对于一个匹配中的一个点，我们利用测试数据集已知的几何关系来计算与之对应的点的坐标位置，然后据此判断该匹配是否是一个正确匹配。

SURF是当前公认的比较好的描述方法，因此本发明将和其作对比，同时由于本发明是基于BRIEF方法的思想上改进创新的，因此主要将和BRIEF方法作对比。如图7所示，BRIEF、I-BRIEF名字尾部的数字表示描述符以字节为单位的长度，而SURF末尾数字表示以浮点数为单位的长度。t在Cars集上取10，其他集取25。从图中可以看出，I-BRIEF对SURF在各组数据上识别率都有不同程度提高。此外，I-BRIEF方法在Wall测试集上对BRIEF方法有明显的提高，这证明了我们之前分析的合理性，同时可以看到在除了Cars的其他数据集上，I-BRIEF方法都有小幅度的提高。这也是可以理解的，由于在Cars数据集没有视角变化且在光照变化情况下像素值的相对大小容易保持不变，这使得原来的方法在此情况下比较稳定。

(B)时间效率和内存消耗

表一

ms：millisecond NN：nearest neighbor

表一给出了在一个3.2GHz/x86-64机器上，各方法在对512个特征点进行描述和匹配时的时间统计，从结果可以看出由于I-BRIEF只采用了BRIEF一半的测试，所以描述符计算更加快速。内存上，BRIEF、I-BRIEF名字尾部的数字表示描述符以字节为单位的长度，而SURF末尾数字表示以浮点数为单位的长度，一个浮点数一般用四字节表示，因此SURF内存消耗大于BRIEF、I-BRIEF四倍以上。

三、应用

Parallel Tracking and Mapping(PTAM)是当前先进的相机跟踪方法，它可以同时重建场景中的三维特征点并进行相机姿态估计。其中的相机姿态估计方法主要步骤如下：首先根据相机之前的运动预测当前相机所处大致位置，然后将场景中重建的三维点向当前预测的相机平面进行投影，获得三维点在图像平面的二维投影位置，并按一定方法获得三维点在当前图像平面的大致投影图像，接着在以二维投影位置为中心的一定半径内搜索与该点真实匹配的特征点，并利用特征点之间的匹配关系和鲁棒的统计方法(如RANSAC)计算出当前相机的姿态。其中的特征点匹配是一个关键步骤，当相机快速运动时，会产生一定程度上的运动模糊，这会一定程度上减少图像中检测的特征点数目，同时运用PTAM中采用的平方差法(SSD)使得特征点之间的匹配在此情况下变得困难。通过图7实验数据我们可以发现，I-BRIEF方法在图像模糊较大的情况下仍然保持着高的识别率，同时I-BRIEF具有描述符构建和匹配均快速的特点，因此我们将其应用到了PTAM技术相机姿态估计的特征点匹配过程中，通过实验结果我们发现，这提高了PTAM方法在相机快速运动情况下的相机跟踪质量。一般来说，跟踪质量越高，计算出来的相机姿态越精确。其中每帧图像的跟踪质量根据投影到二维图像平面上的点中找到的正确匹配的比例来定义，当正确匹配的比例高时，该帧图像的跟踪质量被认为是好(Good)，当正确匹配的比例较低时，该帧图像的跟踪质量被认为是不太好(Poor)，当正确匹配的比例很低时，该帧图像的跟踪质量被认为是差(Bad)，当连续多帧质量为差时，认为相机姿态丢失，这时系统会尝试恢复相机姿态(Attempting Recovery)。表二给出了在室内场景下，伴随相机快速运动情况下用不同方法进行相机跟踪一定时间后统计每帧图像跟踪质量的结果。从表中结果我们不难发现将I-BRIEF运用到PTAM中进行特征点匹配的方法确实提高了原来方法在相机快速运动下的跟踪质量。

表二

Claims (2)

1.一种有效的特征点描述I-BRIEF方法，其特征在于如下步骤：

步骤1、在以特征点为中心的指定大小的图像面片上选取一系列的由两个像素位置组成的像素测试点对，这些测试点对组成一个测试点对集合；

步骤2、在测试点对集合中选取一个点对，在每个点先局部平滑滤波，然后比较两个像素的灰度值，比较结果分为相似、亮、暗三类，分别用两个比特00，10，01表示；

步骤3、对测试点对集合中每一个点对重复步骤二过程，然后将测试结果串联在一起形成一个比特串，并把该比特串作为特征点的描述符。

2.一种应用权利要求1所述的特征点描述方法进行图像特征点匹配的方法，其特征在于：

步骤1、输入两幅图像；

步骤2、在输入的图像中提取一系列特征点，采用权利要求1的所述的方法进行特征点描述；

步骤3、依据步骤2获得的对特征点的描述符，对两幅图像进行特征点匹配。

Images