CN104282001A - 增强图像特征二值描述子性能的方法 - Google Patents

Abstract

本发明提供了一种增强图像特征二值描述子性能的方法，首先确定特征点方向，为特征点设定一个可重复再现的方向；接着基于优化设计的采样模式构建特征的二值描述子，从采样点密度和高斯平滑范围重叠度方面优化设计采样模式，基于该采样模式选择位方差高，且位与位之间不关联的位串，这样有效地描述图像局部特征的独特性。本发明除具有速度快的特点外，还增强了图像在各种变化条件下的鲁棒性，能够实现高质量高速度的特征匹配。

Description

增强图像特征二值描述子性能的方法

技术领域

本发明涉及计算机视觉图像特征识别技术，尤其涉及一种图像特征描述方法。 

背景技术

特征描述子是广泛应用于计算机视觉的图像特征识别方法，如视觉搜索、3D重构、场景拼接及相机定位等。这些应用要求局部特征描述子具有能适应图像尺度、旋转、模糊、光度和压缩等变化的性能，而且具有实时性。 

最初采用浮点方式描述图像特征。虽然浮点型图像特征描述子对图像变换具有一定的鲁棒性，但非常好用计算时间和内存，所以后来学者们采用二值方式描述图像特征。 

较早的图像特征二值描述方法是BRIEF，由瑞士洛桑联邦理工学院的Calonder等人提出。BRIEF是根据少量成对像素灰度值的比较结果能对图像补丁(特征点周围小块领域)有效地分类的思想提出的，在补丁内随机取两个像素点作灰度值比较测试，根据多次测试的结果来表征补丁的独特性和描述性。尽管最初的BRIEF(又称U-BRIEF)描述子简单，速度快，但是对图像旋转和尺度变化很敏感，所以后来有许多BRIEF的改进版，如(O,S)-BRIEF分别从旋转和尺度等方面改进，D-BRIEF是通过建立数据库模板达到旋转和尺度的不变性。 

也有学者从筛选测试点对角度提出二值描述子。美国WillowGarage公司的Rublee等人分析了有向BRIEF特征的方差和关联性，提出一个学习方法从测试队列中剔除了关联的测试，由此获得了对旋转不变的、抗噪性能强的二值描述子ORB；苏黎世国家自动化系统实验室的Leutenegger等人用AGAST检测特征点，通过设计一个采样模式获取特征点对，比较像素点灰度值而获得二值描述子BRISK；瑞士洛桑联邦理工学院的Alahi等人构建类似视网膜神经的视网膜采样模式，从训练数据库里学习最好的采样点对进行比较测试，得到二值描述子FREAK。 

还有学者从机器学习角度提出二值描述子。瑞士洛桑联邦理工学院的Trzcinski等人试图通过弱学习确定描述子每个位的值，改进二值描述子的鲁棒性；Brown等人开发了从训练数据里学习得到局部图像描述子；国防科技大学的蔡红萍等等人通过线性独特投影减少局部图像描述子的维数，增加描述子的独特性；瑞士洛桑联邦理工学院 的Strecha等人从样本中学习描述子的异同点，以更短的二值串来表示描述子。 

以上二值描述子构建时间较长，在应用中图像特征识别的实时性较差，而且这些二值描述子多因为对各种图像转换鲁棒性低而限制了它的广泛应用。 

综上所述，目前众多的特征描述算法要么注重性能，但描述子构建都很耗时；要么注重计算速度。但可靠性和鲁棒性差，特别是对图像旋转和尺度变化表现很差。理想的图像特征描述子能捕获到特征点显著区域的重要且独特的信息，而且能依据这些信息识别出具有同样结构的显著区域。更重要的是，在确保图像特征描述性能的情况下，特征描述的速度要尽可能的快，以达到实时性要求。 

发明内容

为了克服现有技术的不足，本发明提供一种基于新的采样模式增强图像特征二值描述子性能的方法，除具有速度快的特点外，还增强了图像在各种变化条件下的鲁棒性，能够实现高质量高速度的特征匹配。 

本发明解决其技术问题所采用的技术方案包括以下步骤： 

1.确定特征点方向方法，步骤如下： 

步骤1.1：对图像p采用SURF方法检测出特征点的位置和图像p的尺度s； 

步骤1.2：在以特征点为中心、6s为半径的区域内对所有像素点进行高斯平滑去噪声处理； 

步骤1.3：在所述区域内计算出沿图像p方向上的两个矩m_x，m_y， 

$m_x=\underset{(x,y)\∈R}{\mathrm{\Σ}}\mathrm{xI}(x,y),m_y=\underset{(x,y)\∈R}{\mathrm{\Σ}}\mathrm{yI}(x,y),$ 其中I(x,y)表示图像上坐标为(x,y)处的灰度值； 

步骤1.4：构造一个从特征点到灰度重心的向量，如果重心与特征点的距离大于6s的5％，特征点的方向θ＝arctan2(m_y,m_x)，如果重心与特征点的距离小于6s的5％，采用最大梯度法确定特征点的方向； 

2.采样模式设计，步骤如下： 

步骤2.1：采用均匀对称圆形采样模式作为初始模式，采样模式方向为对应特征点的方向； 

步骤2.2：调整采样模式上同心圆之间的距离和采样点个数，使采样点密度处于 75％到80％之间； 

步骤2.3：在一个采样模式里，调整每个采样点的分布，使得平滑范围重叠度处于18％到20％之间； 

3.二值描述子生成，步骤如下： 

步骤3.1：选择n双采样点(X_i,Y_i)组成集合S，N＜n≤351，1＜i＜n，N为描述子的期望维数，X_i、Y_i分别为第i对的两个像素点，S是一个2×n的矩阵， $S=\left(\begin{array}{c}{X}_1,...,X_n\\ Y_1,...,Y_n\end{array}\right);$

步骤3.2：每次测试结果依次组合在一起就构成了一个位串，由特征点方向θ得到旋转后的集合 $S_{\mathrm{\θ}}=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)S;$

步骤3.3：对旋转后的采样点对集合进行测试，得到的描述子 

$g_n(p,\mathrm{\θ}):=\underset{1\≤i\≤n}{\mathrm{\Σ}}{2}^{i-1}\mathrm{\τ}(p;X_i,Y_i)|(X_i,Y_i)\∈S_{\mathrm{\θ}},$

其中 $\mathrm{\&tau;}(p;X,Y):=\left\{\begin{array}{cc}1& I\left(X\right)<I\left(Y\right)\\ 0& I\left(X\right)\&GreaterEqual;I\left(Y\right)\end{array}\right.,$ I(X)是像素点X处的灰度值，I(Y)是像素点Y处的灰度值，得到的是一个包含n个位的位串； 

步骤3.4：继续增加测试，测试得到500个位串，每个位串有n个位； 

步骤3.5：创建一个500行的矩阵，每一行对应一个n个位的位串； 

步骤3.6：计算每列的平均值； 

步骤3.7：对每一列按照方差由大到小排序，平均值为0.5的列为目标队列集合，也称为最早目标队列集合，均值非0.5的列为剩余队列集合； 

步骤3.8：最早目标队列集合中方差最小的队列与剩余队列集合中按方差由大到小顺序选择的队列依次进行关联性计算，完成所有剩余队列的计算，得到关联性最低值和次最低值对应的两个剩余队列；若关联性最低值比关联性次最低值的比值小于50％，则将关联性最低值对应的队列加入到目标队列集合中构成新的目标队列集合，同时从剩余队列集合中剔除该队列；否则不加入到目标队列，再从最早目标队列集合中按方差由小到大的顺序选择对应的队列进行类似操作，直到新目标队列集合大小为N就终止，这就是所要得到的描述子，该描述子的维数为N；如果计算完所有最早目标队列后，最新目标队列集合大小还没有达到N，则首先选择最早加入到目标队列集合的队 列与剩余队列依次进行关联性计算，选择关联性最低值小于次最低值50％的队列加入到目标队列中，同时从剩余队列中剔除；否则不加入到目标队列，再从次最早加入到目标队列集合的队列与剩余队列依次进行关联性计算。 

本发明的有益效果是： 

1.鲁棒性好 

评估一个特征描述子的性能优劣，主要是考察描述子对各种图像转换变化的鲁棒性。通常与其他不同描述子对比测试，才能很好地说明描述子的性能。与FREAK类似，本发明也提供两种对比测试方法，第一种对比测试是基于Mikolajczyk提供的标准数据集和标准方法(precision-recall)，该方法是根据在图像某种变化条件下特征描述子的匹配效果来说明描述子的性能。第二种对比测试方法是基于某网站中所提到的比较描述子性能的方法，该方法测试图像单一连续变换对特征描述子性能的影响。两种方法都将本发明所提的算法与FREAK和BRISK的描述子作对比测试。 

第一种对比测试方法，是根据precision-recall曲线评价局部特征描述子的鲁棒性，其中precision表示查准率，指所有匹配对中正确匹配对的比值；1-precision表示查错率，指所有匹配对中错误匹配对的比值；recall表示查全率，是指正确匹配特征点数与两幅图像间对应特征点总数的比值。本发明将从视角变化(graffiti和wall)、模糊(bikes和trees)、缩放与旋转(boat和bark)、亮度变化(leuven)和JPEG图像压缩(ubc)方面作对比测试，测试结果与分析如图8所示。 

在第二种对比测试方法里，精确评估四种描述子算法对标准数据集里的Graffiti图像的旋转、尺度变化、视角变化、模糊(高斯模糊)、和亮度变化的正确匹配比例。旋转变化测试观察特征描述子依赖特征方向的程度，将原图像绕其中心从0到360度旋转，这过程对旋转转换图像进行测试。尺度变化测试观察特征描述子依赖特征大小的程度，将原图像从0.25到2倍缩放，这过程对缩放转换图像进行测试。模糊测试观察特征描述子对模糊的鲁棒性，将原图像不断通过高斯函数使其模糊，这过程对模糊转换图像进行测试。亮度变化测试观察特征描述子对光照变化的鲁棒性。视角变化测试观察特征描述子对视角变化的鲁棒性。 

这种测试环境下，测试结果如图9所示，从测试的结果中可以看到，所提的描述子在各项测试中均比其他的好。分析原因包括：首先是所发明的技术中特征点方向的稳定性高(关键是特征点方向确定方法里的步骤2到步骤5)，其次是设计的采样模式性能 得到最优化(采样模式设计里的步骤2和步骤3很关键)，再者就是生成的描述子独特性高(这要得益于二值描述子生成里的步骤4到步骤9)。 

特别地，图9f是关于不同数量的特征点平均描述时间的三种方法的对比，可以看到即使同一种描述方法，不同数量的特征点平均描述时间也是波动变化的。这可能与描述算法的参数设置及计算机性能有关。 

这两种对比测试方法的测试结果看到，对测试图像的多种变化，本发明所提算法较其他算法具有更强的鲁棒性。在第一种对比测试方法里，除了在光照变化条件下，所提方法与FREAK性能不相上下外，对于其他变化条件，所提的描述子的匹配效果较其他算法明显好。在第二种对比测试方法里，所提算法在各种图像转换连续变化下较其他算法具有更好的鲁棒性。 

2.实时性好 

实时性是检验一个描述子算法性能的重要方面。本次实验对四种算法(本发明方法、FREAK、BRISK和SURF)实时性进行了对比测试。评估的时间包括特征点检测到匹配完成的总时间、所有特征点检测时间、所有特征点描述时间、所有特征点处理总时间和每个关键平均处理时间。实验均在Ubuntu10.04(32位)环境中实现(虚拟机，512M内存，双核-2GHz)。所有方法的测试都是在Graffiti图片集里的第三幅图像进行的，测试结果如表1所示。从表中可以看出，本发明方法在时间上与FREAK、BRISK相媲美，比SURF要快很多倍。 

表1 四种算法特征点检测描述时间对比结果 

为了测试四种算法描述子匹配的实时性，同样做了对比测试。测试环境和对比对象同上，测试图像采用Graffiti的第一幅和第三幅图像。测试结果如表2所示。从表中可以看到，所提描述子匹配的实时性是最好的。 

表2 四种算法匹配实时性对比结果 

附图说明

图1是四种确定特征点方向方法效果对比图； 

图2是采样点集中过程示意图；其中，a-e分别表示了采样点从外密内疏向内密外疏的过渡； 

图3是采样点集中程度与描述子相似度的关系图； 

图4是平滑范围和重叠区确定采样模式示意图； 

图5是针对图4所示的九种情形分别测试得到的位方差的柱状图； 

图6是平滑范围及重叠范围对捕获每个采样点新信息量的影响示意图； 

图7是本发明提出的采样模式示意图； 

图8是本文所提描述子与FREAK\BRISK关于标准图像集对比测试结果图，其中，a是结构图像在视角变化下的匹配结果，b是纹理图像在视角变化下的匹配结果，c是结构图像在模糊变化下的匹配结果，d是纹理图像在模糊变化下的匹配结果，e是结构图像在旋转尺度变化下的匹配结果，f是纹理图像在旋转尺度变化下的匹配结果，g是亮度变化下的匹配结果，h是JPEG压缩变化下的匹配结果； 

图9是本文提出的描述子与FREAK\BRISK关于Graffiti在图像转换连续变化情况下对比测试结果图，其中，a是旋转角度变化下的匹配正确率，b是尺度变化下的匹配正确率，c是视角变化下的匹配正确率，d是图像模糊变化下的匹配正确率，e是光照变化下的匹配正确率，f是特征描述时间。 

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。 

本发明首先确定特征点方向，不同方法确定的特征点方向直接影响二值描述子的性能，这里为特征点设定了一个可重复再现的方向；接着基于优化设计的采样模式构 建特征的二值描述子，从采样点密度和高斯平滑范围重叠度方面优化设计采样模式，基于该采样模式采用机器学习选择位方差高，且位与位之间不关联的位串，这样有效地描述图像局部特征的独特性。 

1.确定特征点方向方法 

以特征点为中心的图像上局部区域，因为该区域上像素点灰度值非均匀对称性造成该区域灰度重心(Intensity Centroid)与该区域的中心不重合，中心到重心的向量可以表示该区域的方向。对一块以特征点为中心的局部图像区域，中心到重心的方向可以表示特征点的方向。确定特征点的方向的步骤如下： 

步骤1：对图像p采用SURF方法检测出特征点的位置，同时由SURF方法得到该特征点所在图像的尺度s。 

步骤2：以特征点为中心，以6s为半径的图像上局部区域内所有像素点采用高斯平滑去噪声处理。 

步骤3：在以特征点为中心的范围内计算出沿图像p方向上的两个矩m_x，m_y。 

$m_x=\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y),$

$m_y=\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y),$

其中I(x,y)表示图像上坐标为(x,y)处的灰度值。 

步骤4：构造一个从特征点到重心的向量。如果重心与特征点的距离大于该区域半径(6s)的5％，特征点的方向可用角度表示为： 

θ＝arctan2(m_y,m_x)    (1) 

步骤5：当重心与特征点距离小于区域半径的5％时，采用最大梯度法(Maximum Gradient)来确定特征点的方向。 

2.采样模式设计 

确定了特征点方向后，也就确定了以特征点为中心的采样模式的方向，在此基础上设计优化的采样模式，步骤如下： 

步骤1：选择一个均匀对称圆形(Symmetric Circle)采样模式作为初始模式，如FREAK或BRISK采样模式，采样模式方向为对应特征点的方向。 

步骤2：采样点密度方面，调整采样模式上同心圆之间的距离和采样点个数，使采样点密度处于75％到80％之间。采样点密度是反映采样模式里的采样点向中心集中程度。将采样模式上的采样点距离中心分布的密集程度，可得到5种集中度的采样模式，如图2所示。采样点密集程度会影响描述子每一位的方差和均值。如果采样点在中心周围外密内疏，则不能充分利用中心附近的信息而降低特征的独特性。距离中心近的采样点密度过高，远离中心的采样点密度低，造成描述子位特征方差(Bit Feature Variance)变小，即描述子的相似度变低，降低局部特征的独特性。相似度计算如下： 

采样点集中度与描述子的相似度的关系如图3所示，采样点集中度从50％到80％(即大约80％采样点集中于中心)这段过程，描述子的独特性在增加；采样点集中度在80％之后的描述子，相似性开始增加，独特性开始减少，所以应选择采样点集中度为75％～80％的采样模式。 

步骤3：高斯平滑范围重叠度方面，在一个采样模式里，调整每个采样点的分布，能使每个采样点捕获到理想的最大新信息量，使得平滑范围重叠度处于18％到20％之间。根据高斯平滑范围和重叠部分大小的变化，采样模式可划分为九种情形，如图4所示。对每种情形经过10k次测试后得到10k个位的描述子。因为位特征方差能表达一个描述子的独特性，计算出这个描述子的位特征方差，结果如图5所示。 

调整采样模式里每个采样点的高斯平滑范围，能使每个采样点捕获到理想的最大新信息量。为了达到对特征点最独特的描述，即捕获新信息比重最高，通过图6发现使新信息含量最高的有效平滑范围为20％。位方差的计算与普通方差计算相同，计算位均值，再计算每个位与该均值之间的差的平方和，实际中很难得到最优化的20％的平滑范围，这里认为18％～20％的平滑范围也是可接受的。 

步骤4：根据步骤2和步骤3，通过对初始采样模式组合重构设计出性能优化的采样模式，如图7所示。 

3.二值描述子生成 

在所设计出的采样模式上构建二值描述子，二值描述子生成步骤如下： 

步骤1：进行像素点灰度值比较测试。选择n(N＜n≤351)双采样点(X_i,Y_i)(1＜i＜n)组成集合S，其中N为描述子的期望维数(可设定为150～200的常量)，X_i，Y_i分别为 第i对的两个像素点，S是一个2×n的矩阵： 

$S=\left(\begin{array}{c}{X}_1,...,X_n\\ Y_1,...,Y_n\end{array}\right).$

步骤2：每次测试结果依次组合在一起就构成了一个位串，但是该位串不具有方向。为了使其具有旋转不变性，需要旋转S。由式(1)计算的关键点方向θ，得到旋转后的集合为： 

$S_{\mathrm{\&theta;}}=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)S.$

步骤3：对旋转后的采样点对集合进行测试，得到的描述子可表示为： 

$g_n(p,\mathrm{\&theta;}):=\underset{1\&le;i\&le;n}{\mathrm{\&Sigma;}}{2}^{i-1}\mathrm{\&tau;}(p;X_i,Y_i)|(X_i,Y_i)\&Element;S_{\mathrm{\&theta;}},$

其中 $\mathrm{\&tau;}(p;X,Y):=\left\{\begin{array}{cc}1& I\left(X\right)<I\left(Y\right)\\ 0& I\left(X\right)\&GreaterEqual;I\left(Y\right)\end{array}\right.,$ I(X)是像素点X处的灰度值，p为待测图像。这样得到的是一个包含n个位的位串。为了获得性能好的描述子，测试次数要大于描述子的期望维数N。描述子位的高方差性使得一个描述子更具独特性，描述子位之间无关性使得每次一个位的值的变化都会增加描述子的独特机器性。而通过旋转的描述子的位方差不高，而且某些描述子位之间具有关联性，所以需要通过机器学习剔除掉描述子的一些位。 

步骤4：继续增加测试，测试得到500个位串，每个位串有n个位。 

步骤5：创建一个500行的矩阵。每一行对应一个n个位的位串，也代表着所有采样点对可能构造的描述子。采样点对取自上述的采样模式，所以每一行有n列，即对应的n个位。 

步骤6：计算每列的平均值。每一列均值为0.5就表示该列二值分布具有高方差。 

步骤7：对每一列关于方差由大到小排序，均值为0.5的列为目标队列集合，也称为最早目标队列集合，均值非0.5的列为剩余队列集合。 

步骤8：最早目标队列集合中方差最小的队列与剩余队列集合中按方差由大到小顺序选择的队列依次进行关联性计算。完成所有剩余队列的计算，就能得到关联性最低值和次最低值对应的两个剩余队列。若关联性最低值比关联性次最低值的比值小于50％，则将关联性最低值对应的队列加入到目标队列集合中构成新的目标队列集合， 同时从剩余队列集合中剔除该队列；否则不加入到目标队列，再从最早目标队列集合中按方差由小到大的顺序选择对应的队列进行类似操作，直到新目标队列集合大小为N就终止，这就是所要得到的描述子，该描述子的维数为N。 

步骤9：如果计算完所有最早目标队列后，最新目标队列集合大小还没有达到N，则首先选择最早加入到目标队列集合的队列与剩余队列依次进行关联性计算，选择关联性最低值小于次最低值50％的队列加入到目标队列中，同时从剩余队列中剔除；否则不加入到目标队列，再从次最早加入到目标队列集合的队列与剩余队列依次进行关联性计算，依次类推，直到目标队列的长度为N就终止，目标队列就为特征描述子，描述子的维数为N。 

图1说明的是四种特征点方向确定方法在不同强度噪声处理的特征点局部区域上计算的特征点方向的变化。横向坐标轴表示增加特征点局部区域噪声程度，噪声由高斯核卷积该区域产生，强度大小由高斯核标准差(sigma)确定；纵向轴表示每次计算出的关键方向与初始特征点方向夹角的绝对值，主要用来反映方向波动程度。图中GIC表示高斯平滑灰度重心法、IC表示灰度重心法、BIN表示直方图方法、LG表示局部梯度法。 

图2演示了采样点五种不同的集中程度，黑点表示一个采样点，圆圈表示采样模式同心圆。图2a展示的是采样点外密内疏分布，图2e展示的是采样点内密外疏分布。图2b到图2d演示了两极之间渐变过程，其中图2c展示了采样点平均分布。一般考虑在采样点平均分布与内密外疏的之间设计采样模式。 

图3反映了采样点密度对描述子独特性影响效果，横坐标0％指采样点外密内疏分布，100％是指采样点密集程度最高。 

图4中每个子方块里，大圆圈表示采样模式范围，圆心为特征点位置；两个小圆圈表示高斯平滑范围，圆心表示采样点。 

图5横坐标轴两端代表重叠区的两个极端：左端表示采样模式没有重叠，如BRISK，右端表示采样模式有大量重叠，如FREAK。而且，随着重叠次数的增加，采样区的信息冗余度会呈指数增加，严重压制了采样区新信息的进入，所以应适度减小平滑区域的重叠次数。 

图6所示大约平滑范围重叠度在20％的情况下，每个采样点都能捕获到最多的新信息。 

图7中为本发明所提的采样模式，该采样模式也是圆形对称的，每个圆圈的圆心为采样点，共有27个采样点。有四层同心圆，同心圆之间距离由内向外逐渐增大，同时圆上采样点的个数分别是5、6、7和8，并均匀分布。每个同心上所有采样点高斯平滑范围大小相同，不同同心圆上采样点的高斯平滑范围大小不等，平滑范围有适度的重叠，重叠次数不大于2。 

根据图8所示，鲁棒性好的原因包括以下内容： 

1)描述子获取了特征点局部区域的更多边际信息，可有效地捕获该区域的独特性。这是因为采样模式设计里的步骤2得出采样点密度为80％能使描述子独特性最好；和新的特征点方向确定方法及描述子生成里通过机器学习剔除描述子里不相关的位。 

2)对采样模式里每个采样点进行大小适度高斯平滑和保留适当的平滑重叠度(20％)，所以产生了很强的抗噪性能，这要得益于采样模式设计里的步骤3，通过分析高斯平滑范围重叠度与描述子的相似度来改进采样模式设计。 

3)因为对采样模式里所有的采样点形成适度地外疏内密的布局和采用高斯密度重心法确定稳定的特征点方向。而且，学习一系列测试得到的位串，保留高方差、与其他位关联度最低的位构成了独特的描述子，这也是重要原因。 

4)因为选择了性能很好的SURF检测子和采样模式设计里的步骤2和步骤3优化设计的采样模式，和根据描述子位方差即位之间的关联性筛选出独特的描述子。 

本发明的特征点方向确定方式类似于ORB采用的灰度重心(intensity centroid，IC)方法。若将灰度值比作密度的话，一块灰度值不均匀的图像区域，类似于一块密度不均匀的铁板，这样形状规则的铁板的重心与中心往往不重合，中心到重心的向量可以表示该铁板的方向。 

类似的，对一块以特征点为中心的局部图像区域，中心到重心的方向可以表示特征点的方向。重心的位置与特征点周围区域形状和像素噪声有关。ORB以特征点为中心、以6s(s为尺度)为半径的圆R为重心计算范围。本发明在计算重心位置之前，首先对该范围的所有像素点高斯平滑去噪声，高斯核的大小与该像素点到特征点的距离成比例。 

由于SURF检测出的特征点类似于斑点，这样有可能造成重心无限接近特征点。本发明的处理办法是设定一个距离阈值，当重心与特征点距离小于该阈值时，采用最大梯度法来确定特征点的方向。最大梯度法是将特征点指向区域内最大梯度值的像素 点的方向作为特征点方向。之所以选择最大梯度法，是因为其计算较简单，而且在噪声影响小的情况下，计算出的方向较稳定。虽然采用最大梯度法后，特征点方向波动范围随着噪声增加而变大，但是，一般来说，重心无限接近特征点的情况很少出现，所以整体上对特征点方向影响不大。 

本发明确定的特征点方向与ORB的灰度重心法得到的方向有以下三点不同： 

(1)本发明特征点周围局部圆形区域半径大小与该特征点的尺度信息关联的，这样计算出的重心位置具有尺度不变性。ORB采用固定的补丁大小作为特征点圆形区域半径，在不同尺度图像下，计算出的重心位置可能会漂移。 

(2)本发明在计算重心之前先对圆形区域高斯平滑去噪，这样消除了由于噪声影响而使重心位置不稳定。ORB则没有高斯平滑去噪处理。 

(3)本发明采用SURF特征点检测法，需要对重心与特征点无限接近情况进行处理。ORB是采用FAST方法检测类似角点的特征点，所以无需处理重心无限接近特征点的问题。 

为了检测所提方法的效果，本发明将所提的高斯平滑灰度重心法(gauss-smooth intensity centroid，GIC)与一般的灰度重心法(IC)、直方图方法(BIN)以及局部梯度法(LG)作了对比实验。对比实验设计如下：对同一个特征点，根据该点局部区域的灰度信息，首先分别用这四种方法确定特征点的初始方向；接着对该局部区域添加高斯噪声，对每种噪声强度，都分别用这四种方法计算出各自的特征点方向；然后将每种方法所计算出的特征点方向与其初始方向进行比较，得到夹角的绝对值；最后，对每种特征点确定方法，测试每种噪声强度下的得到的夹角绝对值，测试结果如图1所示。 

由图1可知，随着噪声强度的增加，GIC确定的特征点方向波动变化范围小，高斯平滑灰度重心法较其他三个方法更稳定。分析具体原因，首先BIN确定的特征点方向是在某个范围(SIFT:±10°，SURF:±15°)内的鲁棒性好，若超过此范围就很不稳定了；其次LG根据选择的一部分点对来计算特征点方向，不可避免的存在误差；还有IC没有根据特征点的尺度信息来确定重心计算范围，而且没有进行高斯平滑，使得特征点方向波动很大。 

二值特征描述子的二进制是通过比较样本像素点灰度值获得的。有两种方法得到 采样点对，一种是在特征点周围以某种分布随机提取两个像素点，尽管这个方法简单、速度快，但抗噪性能差，所以不能广泛应用。另一种方式通过采样模式来获得采样点对，采样模式里有代表性的采样点采用高斯平滑去噪处理，所以抗噪性强。本发明通过分析最新提出的几种采样模式的特点，提出了一种新的采样模式。二值描述子位特征(bit feature)具有高方差(即均值在0.5附近)和每次测试的采样点对的无关性都会将一个特征描述得很独特，本发明据此标准评价采样模式的性能。 

在介绍本发明采样模式之前，首先分析BRISK和FREAK的采样模式特点，本发明采样模式是在汲取二者优点的基础上提出的。 

BRISK采样模式是一种采样点在不同半径的同心圆上均匀分布的圆形模式。随着同心圆半径增大，圆上采样点个数也增多。每个采样点的灰度值是通过高斯核平滑得到的，高斯平滑范围不重叠，全部60个采样点几乎均匀分布。每个同心圆上两个采样点的距离确定了平滑范围，也就确定了高斯核的标准差大小。 

FREAK采样模式也是对称圆形模式，共有43个采样点，每个同心圆上采样点的个数相同，所以采样点在整个模式内非均匀分布，离中心点近的采样点密度高，远离中心采样点密度呈指数下降。距离中心点越远的采样点的高斯平滑范围呈指数增大，所以平滑范围大量重叠，产生大量的冗余信息。Alahi指出高斯核大小关于指数变化，采样模式性能会更好；同时指出重叠部分也能提高采样模式的性能，尽管重叠区里的新信息只有部分被编码。 

采样点密度和高斯平滑范围重叠程度是影响采样模式表征特征性能的两个方面，所以先要分析清楚这两个影响因素是如何影响采样模式性能的，据此调整这两个影响因素以构建性能最优的采样模式。 

采样点密度是反映采样模式里的采样点向中心集中程度。一般来说，采样点向中心集中程度高的采样点密度就大，否则，采样点比较疏散和均匀分布于采样模式，采样点密度就小。在每个同心圆上的采样点是对称均匀分布的采样模式里，采样点集中度是指每一层同心圆上的两个采样点距离与其紧邻外层同心圆上的两个采样点距离的比值的补数。 

为了探究采样模式性能与采样点密度之间的关系，通过对多个不同采样点密度的采样模式进行测试，来观察描述子独特性的变化。首先要选择一个均匀对称圆形采样模式作为初始模式。本发明使用类似于BRISK采样模式，因为该采样模式采样点几乎 均匀分布，而且整个采样模式是圆形对称的。然后，在采样点密度由均匀分布逐渐向中心集中的过程中，采样点集中度增加1％，就确定一个采样模式测试样本，这样可以100个用于测试的采样模式。对每个采样模式样本，在100个不同特征点上进行测试，一个特征点就得到一个描述子，总共可以得到100个描述子。对其中每一个描述子与剩余的描述子进行相似性比较。在同幅图片中，如果两个描述子的相似度很高，则表示描述子因缺乏独特性致使相互之间不能很好地区别开来，故描述子的描述性差。 

最后对99个相似度取平均数，就得到了相应采样模式的描述子的相似度平均值。测试结果如图3所示。从图3中可以看出，采样点密度对描述子的独特性是有影响的。在集中程度50％(也称为均匀分布)之前，即采样模式里的采样点严重地外密内疏，这种情况下描述子独特性很差。注意到，采样点集中度从50％到80％(即大约80％采样点集中于中心)这段过程，描述子的独特性在增加；采样点集中度在80％之后的描述子，相似性开始增加，独特性开始减少。 

造成这种现象的原因是采样点密集程度会影响描述子每一位的方差和均值。距离中心近的采样点密度过高，远离中心的采样点密度低，造成描述子位特征方差变小，降低局部特征的独特性。如果采样点在中心周围外密内疏，则不能充分利用中心附近的信息而降低特征的独特性。在圆形采样模式里，影响采样点密度主要有两个变量：一个是同心圆之间的距离；另一个是同心圆上的采样点个数。本发明根据上述测试分析，调整这两个变量，使采样点密度为80％。但是实际上很难将采样点布置到集中度精确为80％的，所以这里认为75％～80％的采样点集中也是满足要求的。 

影响采样模式特性的另一个因素是高斯平滑范围重叠影响。一般来说，平滑范围越大，捕获的新信息越多，就会增加对特征点独特性描述。但是，在一个多采样点的采样模式里，采样点之间的平滑范围会有重叠。重叠区域产生冗余信息会压缩接收区里新信息，从而会降低特征描述子的独特性。 

在讨论平滑范围重叠对采样模式影响之前，先定义两个名词。信息冗余度，指冗余信息与接收区里全部信息的比值；平滑范围重叠度，指采样模式里某一同心圆上所有采样点的平滑范围与相邻采样点平滑范围重叠部分面积的总和与该圆上所有采样点平滑范围面积总和的比值，所以该值能反映平滑范围和重叠部分之间的关系。通过定义可知，平滑范围重叠度是对信息冗余度的更具体地表现。 

为了探究高斯平滑范围和重叠范围的变化对采样模式的独特性的影响，根据采样 模式里所有样本点的平滑范围和重叠范围将采样模式划分不同情形。为了演示这一划分过程，在用于测试采样模式内，随机取两个样本点进行高斯平滑。根据高斯平滑范围和重叠部分大小的变化，采样模式可划分为九种情形，如图4所示。 

实际测试中，根据采样模式里的所有样本点的高斯平滑范围和重叠范围，将采样模式划分为这九种情形。然后，对每种情形经过10k次测试后得到10k个位的描述子。因为位特征方差能表达一个描述子的独特性，计算出这个描述子的位特征方差，结果如图5所示。位方差的计算与普通方差计算相同，首先计算位均值，再计算每个位与该均值之间的差的平方和。 

通过这个测试，发现高斯平滑范围和重叠范围对采样模式的特性是有影响的。高斯平滑范围适度重叠可以捕捉到更多的信息，增加局部特征的独特性，这与Alahi所提的结论吻合。但随着平滑范围不断增加，重叠区也就不断增大，每个平滑范围包含新的局部区域不断减少，反而使局部特征的独特性减少，如图5所示。 

在一个采样模式里，调整每个采样点的分布，能使每个采样点捕获到理想的最大新信息量。如何合理的调整平滑范围和重叠区大小，以达到对特征点最独特的描述，即捕获新信息比重最高。通过上面测试，发现了使新信息含量最高的有效平滑范围，如图6所示。综上所述，为了达到局部特征独特性上的最优化，采样点集中度尽可能地调整到75％～80％，平滑范围重叠度达到18％～20％。据此信息设计本发明的采样模式如图7所示。 

该采样模式看上去像Alahi的视网膜神经模型，其实有很大的不同。首先，Alahi的采样模型每个同心圆采样点有六个；本发明的有每个同心圆上采样点个数不等，内密外疏，这就使采样点集中度逼近80％。其次，Alahi的采样模式的采样点高斯平滑范围高度重叠，局部区域有三次平滑范围重叠；本发明的高斯平滑范围适度重叠，一个区域最多有两次重叠，调整平滑范围重叠度逼近20％。最后，Alahi的采样模式是根据视网膜神经模型得到的；本发明从分析采样点密度集中度和平滑重叠程度对采样模式性能影响得出的。本发明的采样模式兼具了BRISK和FREAK的优点，通过后续的实验可以看到所提的采样模式性能要好于二者。 

本发明采样模式里的27个采样点共得到351(即27×(27-1)/2)对不同的采样点对，所以每次测试选择的采样点对不可能都一样。实际上，为了获得性能好的描述子， 测试次数要大于描述子的期望维数N，这是因为在后面的学习中会过滤掉一些不能有效描述局部特征的位。 

这样得到的是一个包含n个位的位串。因为有些位没有有效地描述局部特征，所以要进行筛选处理。本发明采样学习方法获得独特的描述子。描述子位的高方差性使得一个描述子更具独特性，描述子位之间无关性使得每次一个位的值的变化都会增加描述子的独特性。而通过旋转的描述子的位方差不高，而且某些描述子位之间具有关联性，所以需要通过学习剔除掉描述子的一些位。本发明运行一个类似于ORB或FREAK的算法，从描述子中选择位方差高，且位与位之间不关联的位的集合，这样的子集合能有效地描述局部特征的独特性。 

在构建3D模型过程中，需要对包含某个目标的多幅图像进行特征提取、特征描述和特征匹配，直至生成最后的3D模型。3D模型的好坏取决于空间点云的精度和密度。空间点云的精度取决于匹配效果，提高正确匹配比例、降低错误匹配比例，点云精度就越高；匹配效果又取决于特征描述子对图像转换的鲁棒性。空间点云的密度取决于检测子的性能和匹配效果。所以总的看来，特征描述子的性能对重构出高质量的3D模型极为重要。 

Claims (1)

1.一种增强图像特征二值描述子性能的方法，其特征在于包括下述步骤： 

1）.确定特征点方向方法，步骤如下： 

步骤1.1：对图像p采用SURF方法检测出特征点的位置和图像p的尺度s； 

步骤1.2：在以特征点为中心、6s为半径的区域内对所有像素点进行高斯平滑去噪声处理； 

步骤1.3：在所述区域内计算出沿图像p方向上的两个矩m_x，m_y， 

其中I(x,y)表示图像上坐标为(x,y)处的灰度值； 

步骤1.4：构造一个从特征点到灰度重心的向量，如果重心与特征点的距离大于6s的5％，特征点的方向θ＝arctan2(m_y,m_x)，如果重心与特征点的距离小于6s的5％，采用最大梯度法确定特征点的方向； 

2）.采样模式设计，步骤如下： 

步骤2.1：采用均匀对称圆形采样模式作为初始模式，采样模式方向为对应特征点的方向； 

步骤2.2：调整采样模式上同心圆之间的距离和采样点个数，使采样点密度处于75％到80％之间； 

步骤2.3：在一个采样模式里，调整每个采样点的分布，使得平滑范围重叠度处于18％到20％之间； 

3）.二值描述子生成，步骤如下： 

步骤3.1：选择n双采样点(X_i,Y_i)组成集合S，N＜n≤351，1＜i＜n，N为描述子的期望维数，X_i、Y_i分别为第i对的两个像素点，S是一个2×n的矩阵，

步骤3.2：每次测试结果依次组合在一起就构成了一个位串，由特征点方向θ得到旋转后的集合

步骤3.3：对旋转后的采样点对集合进行测试，得到的描述子 

其中I(X)是像素点X处的灰度值，I(Y)是像素点Y处的灰度值，得到的是一个包含n个位的位串； 

步骤3.4：继续增加测试，测试得到500个位串，每个位串有n个位； 

步骤3.5：创建一个500行的矩阵，每一行对应一个n个位的位串； 

步骤3.6：计算每列的平均值； 

步骤3.7：对每一列按照方差由大到小排序，平均值为0.5的列为目标队列集合，也称为最早目标队列集合，均值非0.5的列为剩余队列集合； 

步骤3.8：最早目标队列集合中方差最小的队列与剩余队列集合中按方差由大到小顺序选择的队列依次进行关联性计算，完成所有剩余队列的计算，得到关联性最低值和次最低值对应的两个剩余队列；若关联性最低值比关联性次最低值的比值小于50％，则将关联性最低值对应的队列加入到目标队列集合中构成新的目标队列集合，同时从剩余队列集合中剔除该队列；否则不加入到目标队列，再从最早目标队列集合中按方差由小到大的顺序选择对应的队列进行类似操作，直到新目标队列集合大小为N就终止，这就是所要得到的描述子，该描述子的维数为N；如果计算完所有最早目标队列后，最新目标队列集合大小还没有达到N，则首先选择最早加入到目标队列集合的队列与剩余队列依次进行关联性计算，选择关联性最低值小于次最低值50％的队列加入到目标队列中，同时从剩余队列中剔除；否则不加入到目标队列，再从次最早加入到目标队列集合的队列与剩余队列依次进行关联性计算。