CN104217459B - 一种球面特征提取方法 - Google Patents

Abstract

本发明公开了一种球面特征提取方法，涉及计算机视觉领域，所述方法包括以下步骤：通过测地线网格获取均匀参数化表示的球面图像；对球面图像进行FAST的特征检测；通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符。本发明计算速度快，能够实时地对球面特征进行检测和描述。本发明相对于现有的球面特征提取算法和基于局部平面投影的方法也具有较好的算法鲁棒性。本发明的鲁棒性在相机发生旋转和移动时均有所体现。

Description

一种球面特征提取方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种球面特征提取方法，本发明作为计算机视觉领域的基础技术可用于全景图拼接、基于球面图像的图像检索以及基于大视角图像的三维重建等。

背景技术

随着图像拼接技术的日趋成熟和全景相机的发展，非专业用户也能够利用自己手中的设备进行球面全景数据的采集。由于拥有更广阔的视野，球面全景图像越来越多地应用于虚拟现实、漫游导航、变化检测、场景重建等系统中。球面图像普及的同时，如何对球面全景图像进行特征提取成为研究人员日益关注的话题。

(1)ORB(Oriented FAST and Rotated BRIEF)特征(见文献[1])：Rublee等在2011年提出一种快速鲁棒的平面图像二值特征。该特征以FAST(Features from AcceleratedSegment Test)特征检测算子和BRIEF(Binary Robust Independent ElementaryFeatures)特征描述符为基础，并引入了尺度不变性和旋转不变性。其中尺度不变性通过构建图像尺度金字塔，在尺度金字塔的每一层中进行特征点的检测和描述来实现。旋转不变性通过将描述符采样模式依据特征点的主方向进行旋转来实现，其中特征点主方向由图像灰度质心确定。为了提高算法的鲁棒性，BRIEF特征描述算法中随机生成的采样模式改为借助机器学习的方式来得到。由于FAST特征检测算子和BRIEF描述符都是基于图像灰度值大小的比较来实现，ORB能够快速地对特征点进行检测和描述。生成的二值特征不仅降低了存储消耗，也提高了描述符匹配的速度。

(2)球面SIFT(Scale Invariant Feature Transform)特征(见文献[2])：该方法将平面SIFT特征提取方法移植到球面图像上，由Cruz-Mota等于2012年提出。球面图像与平面图像最大的不同在于球面图像一般存在采样不一致问题，例如球面两极区域的采样率远高于赤道区域。因此，如何处理这种采样不一致性成为球面特征提取需要首先解决的问题。Cruz-Mota等借助球面调和函数对球面图像进行高斯模糊，进而建立球面域尺度金字塔。基于球面金字塔，SIFT特征被移植来对球面图像进行特征检测和描述。然而，由于球面调和函数自身存在计算复杂度高、具有带宽约束等问题，该方法在计算速度、鲁棒性等方面存在一定缺陷。

由于球面图像的采样不一致性，平面图像的特征提取算法(如文献[1])不能直接应用到球面全景图像上。现有的球面特征提取算法(如文献[2])大多借助球面调和函数建立球面尺度空间，进而在球面域内检测或描述特征。然而，由于球面调和函数的计算复杂度比较高，此类方法不适用于对处理速度要求比较严格的应用，如SLAM(SimultaneousLocalization And Mapping，同步定位与地图构建)等。同时，由于球面调和函数具有带宽约束的问题，此类方法在鲁棒性等方面也存在一定缺陷。

发明内容

本发明提供了一种球面特征提取方法，本发明实现了快速地检测、描述特征，并且能够鲁棒地在不同球面图像间找到相互匹配的像素点，为高层应用提供必要的匹配点输入，详见下文描述：

一种球面特征提取方法，所述方法包括以下步骤：

通过测地线网格获取均匀参数化表示的球面图像；

对球面图像进行FAST的特征检测；

通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符。

本发明的基础是球面均匀参数化表示方法，球面经过均匀参数化表示后，球面的每个像素拥有近似相同的邻域结构，并且其邻域可以当成局部平面来处理。由于这些特性，平面图像快速鲁棒的特征提取技术可以被移植，用于处理球面图像。本发明以平面ORB特征为原型，提出了用于处理球面全景图像的特征检测与描述算法。本发明具有以下优点：

(1)与现有基于球面调和函数的球面特征提取算法相比，本发明计算速度快，能够实时地对球面特征进行检测和描述。其速度优势主要源于三个方面：第一，以球面FAST为特征检测算子，通过对样本球面图像进行训练的方式，对特征检测过程进行了加速；第二，通过比较特征点邻域内若干组像素灰度级大小的方式来产生描述符，代替了传统浮点型描述符中计算梯度直方图并进行归一化的过程，对特征描述过程进行了加速；第三，本发明生成的描述符为二进制串，进行匹配时采用的距离度量为海明距离。海明距离的计算可以通过对两个二进制串进行异或操作并统计结果串中为1的位的数目实现，对特征匹配过程进行了加速。

(2)与直接使用平面特征提取算法对球面特征进行检测和描述的方法相比，本发明具有更好的鲁棒性。该鲁棒性体现在特征检测算子的可重复性(repeatability)和描述符的准确性(precision)上。同时，本发明相对于现有的球面特征提取算法和基于局部平面投影的方法也具有较好的算法鲁棒性。本发明的鲁棒性在相机发生旋转和移动时均有所体现。

附图说明

图1为geodesic grid(测地线网格)的构建方式示意图：

(a)为正二十面体示意图；(b)为弧等分示意图；(c)为弧4等分时得到的多面体；(d)为多面体的对偶网格geodesic grid。

图2为geodesic grid(测地线网格)的结构示意图：

(a)为geodesic grid被分成全等的五部分示意图；(b)为计算网格示意图；(c)为存储网格示意图。

图3为对存储网格进行边界扩展的示意图；

图4为计算网格和存储网格邻域定义及坐标系转换示意图；

(a)为计算网格的邻域定义及坐标系转换示意图；(b)为存储网格邻域定义及坐标系转换示意图。

图5为球面FAST特征检测算子示意图；

其中，k为待处理像素，加粗边界的六边形标记的像素为对像素k检测特征时需要考查的像素。

图6为一种球面特征提取方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明提出了快速鲁棒的球面特征提取新技术。与现有技术不同，本发明以球面的均匀参数化表示方法为基础，在球面域内采用灰度值比较的方式来检测和描述特征点，不仅加快了特征提取的速度，并有效的提高了算法的鲁棒性。本发明属于计算机视觉领域，涉及球面图像均匀参数化表示、球面图像特征检测、球面图像特征描述与匹配三部分，详见下文描述：

101：通过geodesic grid(测地线网格)获取均匀参数化表示的球面图像；

a)建立单位球内接正二十面体，作为初始的多面体A；

b)二等分多面体A的所有边，并归一化等分点，使等分点落在球面上；

c)根据多面体的信息连接相应的等分点与原始顶点，得到细分的多面体B；

d)若多面体B的分辨率达到预设的分辨率，进入步骤e)；否则，将B作为初始多面体A，重复步骤b)和步骤c)；

e)构建d)中生成多面体的对偶网格即geodesic grid；

f)基于geodesic grid对球面图像进行采样，得到该表示方法下的球面图像。

下面结合附图来说明本步骤的详细操作，本步骤包括：geodesic grid的构建、球面图像的转换、转换后图像边界的扩展等步骤；

1、geodesic grid的构建：首先建立单位球的内接正二十面体。由于需要构建球面图像的尺度金字塔，采用弧等分的方式代替二等分多面体的边再归一化等分点的方案。使用球面大弧连接正二十面体的相邻顶点。将每条弧线进行n等分，用大弧两两连接等分点，等分点和弧线的交点作为多面体新的顶点。当三条弧线不能交于同一点时，使用三个交点的质心(经过归一化处理)作为新的顶点，如图1所示。连接新的顶点和正二十面体初始的顶点，得到指定分辨率的多面体。构建多面体的对偶网格，即以多面体的每个顶点为中心构建维诺单元。得到的对偶网格便为geodesic grid。根据其构建方式可知，弧线进行n等分时生成的geodesic grid的分辨率，即网格单元的数目，为N_c＝10×n²+2。为了建立球面图像的尺度金字塔，分别构建n＝64，80，102，128，162，204，256的geodesic grid，即尺度金字塔每层的分辨率分别为40962，64002，104042，163842，262442，416162，655362。由于不同的球面图像对应相同的球面参数化表示方式，将构建的geodesic grid进行存储。处理新的球面图像时，直接读取存储的网格信息对球面图像进行转换，提高了算法的执行速度。

2、球面图像的转换：根据存储的geodesic grid信息对球面图像进行采样，采样时依据经纬度对球面像素进行双线性插值。将球面拆成全等的五部分(如图2a所示)并将每部分展平得到一个平行四边形结构(如图2b所示)。由于后续的特征检测和描述基于该结构，称其为计算网格。将计算网格通过一定程度的拉伸得到易于存储的矩形结构，称其为存储网格。像素的存储和索引基于存储网格进行。由于存储网格是通过计算网格进行拉伸得到，为了将存储网格中像素的坐标转换成计算网格中的形式，需要定义坐标转换矩阵。根据存储网格中的正交坐标系和计算网格中倾斜的坐标系相对应这一事实(图4a中两个短箭头定义的坐标系)，可得坐标转换矩阵的形式为：

其中，v₁和v₂为计算网格中倾斜坐标系的基坐标。在存储网格中，依据图4b中定义的坐标系，坐标原点的邻域可定义为

N(r)＝{(x，y)|-r≤y≤r，max(-r，-r-y)≤x≤min(r，r-y)}， (2)

其中，r为邻域半径，(x，y)为邻域中像素点的横坐标和纵坐标，邻域中像素点的数目为|N(r)|＝3r²+3r+1。

3、转换后图像边界的扩展：由于特征点的检测和描述都是基于像素邻域，为了后续操作的便利需要对存储网格的边界进行扩展。每个存储网格上边界左半部分的扩展像素，需要从相邻存储网格的左边界沿45度斜向选取；存储网格上边界右半部分的扩展像素，需要从相邻存储网格下边界的左半部分沿90度纵向选取；存储网格右边界的扩展像素，需要从相邻存储网格下边界的右半部分沿45度斜向选取。存储网格下边界和左边界像素的扩展与上边界和右边界像素的扩展类似。边界扩展过程如图3所示。

102：对球面图像进行FAST的特征检测；

a)建立不同分辨率下以geodesic grid方法表示的球面图像，每一种分辨率下的球面图像作为球面尺度金字塔中的一层。

b)对球面尺度金字塔的每一层利用球面FAST进行特征点检测。

由于球面均匀参数化表示方法的特殊性，每个像素周围有六个相邻的像素点(正二十面体的十二个顶点对应的像素点除外)。平面FAST特征检测算子移植到球面上时需要做相应的调整：FAST中需要考察的像素点的数目由16个变成球面域内的18个，满足约束的像素点的最小数目由连续的9个变成连续的10个。

c)计算潜在特征点的FAST得分，当该点的得分在邻域像素的FAST得分中最大时保留该特征点，否则将该特征点移除。

下面结合具体实例来说明本步骤的详细操作，本步骤包括：训练球面FAST特征检测算子、球面特征检测、球面特征过滤等步骤；

1、球面FAST特征检测算子的训练：对完成转换和扩展操作的球面全景图像，采用暴力的方式检测球面特征点。对图像的每个像素k，测试其第三层邻域覆盖的18个像素x中是否有超过9个像素点同时满足约束条件I_x-I_k＞t或I_x-I_k＜-t，如图5所示，其中I_x和I_k分别为像素x和像素k的灰度值，t为设定的阈值。如果满足上述条件，则像素点k为一个特征点。根据像素点k和x的灰度关系，像素k的状态包括三种状态：

其中，d表示像素x比像素k更暗(darker)，s表示像素x与像素k的灰度值相似(similar)，b表示像素x比像素k更亮(brighter)。

给定x后，根据对应的中心像素的状态，全部训练图像的像素点集合P可以分成三个子集合P_d，P_s和P_b。选择使信息增益H(P)-H(P_d)-H(P_s)-H(P_b)最大的x的位置，对集合P进行划分。信息增益中的H(P)是集合P的熵，即

其中，c和分别为集合P中特征点和非特征点的数目。信息增益中的H(P_d)，H(P_s)，H(P_b)分别是集合P_d，P_s，P_b的熵，它们的计算方法与H(P)类似，只需将集合P替换成集合P_d，P_s，P_b即可。重复上述过程，分别对子集合P_d，P_s和P_b进行划分直到信息增益为0。根据划分结果构建决策树，决策树的结点为每次划分时选择的x的位置。对决策树进行遍历，根据遍历时得到的x的位置生成经过训练的特征检测算子，即嵌套的逻辑判断语句。

2、球面特征检测：对用户输入的球面全景图像，根据步骤101建立球面图像尺度金字塔。在金字塔的每层使用步骤1(步骤102中的步骤1)中经过训练的特征检测算子检测特征点。

3、球面特征过滤：对步骤2(步骤102中的步骤2)中检测到的每个特征点，逐步增大阈值t直到该点不再被检测为特征点，此时t的取值记为该特征点的FAST得分。将每个特征点的FAST得分与邻域N(r＝1)中特征点的FAST得分进行比较，当该点的FAST得分最大时保留该特征点，否则将其移除。

103：通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符。

a)利用像素点邻域的灰度质心计算步骤102中检测的特征点的主方向。

b)根据计算得到的每个特征点的主方向，对采样模式进行相应的旋转。

c)对旋转后采样模式中的每个位置对(x_i，y_i)，比较像素I(x_i)和I(y_i)灰度值的大小关系。如果I(x_i)＜I(y_i)，则描述符中对应的位为1；否则为0。

d)将c)中根据每个位置对得到的二进制比较值进行串联，组成某个特征点的描述符。

下面结合附图来说明本步骤的详细操作，本步骤包括：描述符采样模式的训练、计算特征点主方向、生成描述符、描述符的匹配等步骤：

1、描述符采样模式的训练：该过程的目的是从邻域确定的 个位置对和选取出最具代表性的256个，用于特征点的描述。训练前准备一定数目(十万级)的特征点邻域作为样本数据，邻域半径r＝15。对邻域内的每一组位置对x和y，比较每个训练样本在该位置对的灰度值大小关系。如果I(x)＜I(y)，结果记为1；否则，结果记为0。对每一个位置对在所有训练样本上的结果取平均值，得到一个长度为的向量。将向量的每一维按照0.5的距离进行排序。按照距离从小到大的顺序依次选取位置对，同时使相互关系低于指定的阈值。选取得到的256个位置对为描述符的采样模式，记作S＝{(x_i，y_i)|i＝1，...，256}。

2、计算特征点主方向：根据图像灰度质心的定义，特征点的主方向为

θ＝arctan2(m₀₁，m₁₀)， (5)

其中

m₀₁＝∑_{(s，t)∈N(r＝15)}t_cI(s，t)， (6)

m₁₀＝∑_{(s，t)∈N(r＝15)}s_cI(s，t)， (7)

为图像矩，s_c和t_c为计算网格上的坐标，即[s_c，t_c]^T＝T[s，t]^T，I(s，t)为图像像素(s，t)的灰度值。

3、生成描述符：根据计算的特征点的主方向对训练的采样模式进行旋转，得到旋转归一化的采样模式

其中，T为坐标变换矩阵，R_θ为以主方向为旋转角度的旋转矩阵，S为训练得到的定义在存储网格上的采样模式。给定后，一个特征点对应的描述符为

F(p)＝∑_1≤i≤2562^i-1τ(p；x_i，_yi)， (9)

其中，p为该特征点的邻域，为灰度比较操作符

4、描述符的匹配：利用上述方法对给定的2张球面全景图像提取特征后，可以对这些特征进行匹配。

在本发明中采用基于比率的匹配方法：对第一张球面图像的每个特征f在第二张球面图像中寻找海明距离最小的两个特征f′和f″，d(f，f′)＜d(f，f″)。如果d(f，f′)/d(f，f″)＜r，则f和f′是一组匹配点，r为比率阈值，一般取0.75。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种球面特征提取方法，其特征在于，所述方法包括以下步骤：

通过弧等分产生的测地线网格获取均匀参数化表示的球面图像；

将球面图像等份拆分，经过拉伸转换、边界扩展后得到球面图像的存储网格；

对球面图像进行FAST的特征检测；

基于球面图像的存储网格，通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符；

所述通过弧等分产生的测地线网格获取均匀参数化表示的球面图像的步骤具体为：

建立单位球内接正二十面体，作为初始的多面体A；采用弧等分的方式，将多面体的每条弧线进行n等分，用大弧两两连接等分点，等分点和弧线的交点作为多面体新的顶点；当三条弧线不能交于同一点时，使用三个交点的质心作为新的顶点；

构建生成多面体的对偶网格；基于对偶网格对球面图像进行采样，得到球面图像；

其中，所述将球面图像等份拆分，经过拉伸转换、边界扩展后得到球面图像的存储网格的步骤具体为：

a)将球面图像拆成全等的5部分，并将每部分展平得到一个平行四边形结构的计算网格；

b)将该平行四边形结构进行坐标变换转换为矩形结构的存储网格；

c)对存储网格的四个边界沿不同的方向进行扩展，涵盖后续特征点检测的范围；

所述对球面图像进行FAST的特征检测的步骤具体为：

a)建立不同分辨率下以geodesic grid方法表示的球面图像，每一种分辨率下的球面图像作为球面尺度金字塔中的一层；

b)将FAST在测底线网格上做适应性拓展，对球面尺度金字塔的每一层利用球面FAST进行特征点检测；

c)计算潜在特征点的FAST得分，当得分在邻域像素的FAST得分中最大时保留该特征点，否则将该特征点移除；

所述通过图像灰度值比较的球面图像特征点描述算法对过滤后特征点进行处理，获取过滤后特征点的描述符的步骤具体为：

a)利用像素点邻域的灰度质心计算特征点的主方向；

b)根据计算得到的每个特征点的主方向，结合球面图像的存储网格到计算网格的坐标变换矩阵，对采样模式进行相应的旋转；

c)对旋转后采样模式中的每个位置对(x_i,y_i)，如果像素灰度值I(x_i)<I(y_i)，则描述符中对应的位为1；否则为0；

d)将c)中根据每个位置对得到的二进制比较值进行串联，组成某个特征点的描述符；

根据计算的特征点的主方向对训练的采样模式进行旋转，得到旋转归一化的采样模式

其中，T为坐标变换矩阵，R_θ为以主方向为旋转角度的旋转矩阵，S为训练得到的定义在存储网格上的采样模式。