CN101661618A - 具有翻转不变性的图像特征提取和描述方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种具有镜面翻转不变性的特征提取和描述方法，包括下列步骤：(1)对输入的图像进行高斯核卷积处理；(2)对图像继续进行高斯差处理，检测其极值点；(3)筛选特征点；(4)精确定位特征点位置；(5)确定每一个特征点的方向参数；(6)对分别以主方向为分界线的两侧的梯度模值求和；(7)划分辅助区域，组织像素单元，进行编码和归一化操作，从而生成对图像的描述数据。本发明增加了特征提取和描述方法对镜面成像问题的健壮性，扩展了计算机视觉的应用领域。

Description

具有翻转不变性的图像特征提取和描述方法

技术领域

本发明属于图像处理技术领域，涉及一种图像特征提取方法。

背景技术

当今的计算机技术发展飞速，计算机视觉和图像检索的应用领域越来越广泛，同时也彰显出它们的重要性。热门的三维重建、物体识别、相机校准、机器人双目导航等等都是建立在计算机视觉的基础之上，所以合理有效地解决计算机视觉所存在的问题或改进不完善之处可以给计算机界甚至科学界带来巨大的推动。计算机视觉建立在一种令计算机模拟人类(哺乳类动物)视觉而达到一定程度的智能性的理念之上，连同图像检索等都需要对图像的特征进行提取分析，所以图像特征的定义及提取方案有着举足轻重的作用。当然，当今有多种解决方案，常见的有基于梯度的特征提取和描述方法，包括Harriscorner detector【1】、SIFT【2】、SURF【3】、HOG【4】、GLOH【5】、DAISY【6】。除了基于梯度的特征提取方法，还有基于轮廓提取等其它方法。由于本发明提出的MIFT-DAISY是基于梯度的方法，所以对其它方法不予过多描述。其中Harris cornerdetector(哈里斯角点检测器)能够提取出在图像本身尺度上对于旋转和光照不变性的特征点。实际上，并不是如名称中所说的那样仅仅是提取角点而已，而是所有的在多个方向上具有显著梯度的特征点。但是，Harris corner detector的局限性相对较大，因为它对图像尺度的缩放非常敏感。为了去除或是减弱图像尺度改变的影响，Lowe提出SIFT解决了尺度缩放所带来的问题，当然它也保证了旋转不变性甚至在一定程度能容忍光照、仿射变换和遮盖等影响。SURF，简单来讲是一个加速版的SIFT，它与SIFT都采用一种辅助区域策略，也就是说以特征点为中心指定一个辅助区域，在这个区域中的像素共同决定特征点的描述。不同的是SIFT采用一种根据区域中不同像素对特征点贡献不同的策略来给它们赋予权值，而SURF则仅仅采用基于积分图像(integral image)的相等权值策略。HOG结合SVM(支持向量机)提供了一种基于梯度信息的人类检测方法。GLOH则是SIFT的另一变种形式，它利用圆形策略来组织辅助区域，目的是增强特征的健壮性和突出性，初始的GLOH描述符有272维，但经过PCA(主成分分析)操作，使272维降至与SIFT相同的128维，保证在不丢失关键信息的基础上，提高匹配操作的效率。DAISY利用环形辅助区域来提高特征描述符的健壮性，它的辅助区域形状结合了GLOH和SIFT的优势，这种辅助区域的优势使DAISY本身就对旋转具有健壮性。上述的所有方法，虽然可以很好的解决旋转、尺度变化甚至是光照变化和仿射等图像上的变形，但是几乎所有的方法都没有考虑到镜面成像一类的情况，这种情况在现实生活中是很常见的，例如水面倒影，镜面成像，对称物体的不同角度观察等等。

参考文献：

【1】C.Harris和M.J.Stephens，《角边探测器》，Alvey视觉会议，vol.20，pp.147-152，1988.

【2】D.G.Lowe，《选自尺度不变关键点的独特图像特征》，计算机视觉国际期刊，vol.60，pp.91-110，2004.

【3】H.Bay，T.Tuytelaars，和L.Van Gool.，《Surf：加速提取健壮性特征》，计算机视觉欧洲会议，pp.404-417，2006.

【4】N.Dalal和B.Triggs，《基于方向梯度直方图的人类探测》，计算机视觉及模式识别国际会议，vol.1，pp.886-893，2005.

【5】K.Mikolajczyk和C.Schmid，《局部特征描述符的性能估计》，IEEE模式分析及机器智能会刊，vol.27，pp.1651-1630，2004.

【6】E.Tola，V.Lepetit和P.Fua，《一种快速的密集型匹配描述符》，计算机视觉和模式识别，pp.1-8，2008.

发明内容

本发明的目的在于提供一种能够解决镜面翻转现象所导致的SIFT特征提取方法失效的问题，同时又保持SIFT的所有优点和性能。换句话说，提供一种在翻转前后两种情况下保持同一描述形式的特征提取和描述方法，也即具有镜面翻转不变性的特征提取和描述方法。为此，本发明采用如下的技术方案：

一种具有翻转不变性的图像特征提取和描述方法，包括下列步骤：

步骤1：对输入的图像I(x，y)进行高斯核卷积处理，即L(x，y，σ)＝G(x，y，σ)*I(x，y)，得到多尺度空间表达的图像L(x，y，σ)，式中，

其中σ为高斯正态分布的方差；

步骤2：对多尺度空间表达的图像L(x，y，σ)按照下列公式进行高斯差处理D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，检测多尺度空间表达的图像L(x，y，σ)的极值点；

步骤3：利用阈值法和黑塞矩阵法筛选特征点，剔除具有低对比度和边缘响应的备选点；

步骤4：采用拟合三维二次曲线的方式精确定位特征点位置；

步骤5：根据特征点辅助邻域像素上的梯度方向θ(x，y)和大小m(x，y)的信息，确定每一个特征点的方向参数，其中：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y+1))}^2},$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right),$ 并采用直方图的形式，结合以特征点为圆心的高斯权值窗口，根据整个邻域中的各个像素点的梯度大小和方向进行统计，并确定主方向；

步骤6：对分别以主方向为分界线的两侧的梯度模值求和，计算

和

其中，N_bin是所有方向的总数，n_d则是主方向的索引并且L_i表示在方向

上的梯度模值，％代表取模操作；

步骤7：以特征点为中心选取一个正方形为辅助区域，将辅助区域划分成9个像素单元，该9个像素单元采用覆盖-扩展的方式来组织，即上层单元包含于下层单元，中心单元包含于外层单元；

步骤8：按照左到右，由上至下再由下至上的横向“S”型组织辅助区域里的9个像素单元，每个单元中8个梯度从梯度角相对主方向0度开始顺时针编码，使用9个存储单元存储每个单元中的8个梯度信息，其中相对与主方向0度的梯度拆分成二等分，放置在9个存储单元的首尾，并进行归一化操作，从而生成对图像的描述数据，特征描述符的维数为81+2维，其中81维即9个像素单元×9个梯度存储单元，另外两维S_r以及S_l用以存储81维描述符信息使用顺序的标志信息；

步骤9：求取m＝max(m_r，m_l)，若m_r＞τm，则使用描述符信息的顺序为顺序，否则，不使用顺序的描述符信息；若m_l＞τm，则使用描述符信息的顺序为逆序，否则，不使用逆序的描述符信息，其中τ为限制系数，取值在0与1之间。

本发明基于Hessian-Gaussian特征检测方法，提出命名为FIND(Flip InvariantNeat Descriptor)的新方法，FIND主要解决的就是利用新颖的特征描述符使得这类问题得以解决。并且，相比于SIFT，降低了时间和空间的复杂度，使得处理大规模数据的压力得以有效的缓解。FIND与SIFT在镜面成像情况下的比较结果如图1所示。

本发明增加了特征描述方法对镜面成像问题的健壮性，并且对每一个描述符来说，相对于128维的SIFT和200维的DIASY，FIND只使用81维(特征信息)加2维(标志位信息)的信息，这减少了近乎35.15％和58.5％的存储空间，随着维数的降低匹配的速度也有极大的提高。FIND扩展了计算机视觉的应用领域并且缓解了多媒体应用中处理海量数据的压力。当今计算机视觉领域中所有的特征提取和描述的方法并未对镜面成像的情况有所考虑和处理，虽然像Harris corner detector、SIFT、SURF、GLOH、DAISY等方法可以在旋转、光照等变化下可以保持一定程度的稳定性，但是在镜面成像的情况下却束手无策。并且SIFT，SURF，GLOH都是使用128维的向量来组织特征描述，而DAISY则使用200维的向量来组织，看似不多的128或是200维，在成万上亿的图像或视频数据的处理中对应的是一种不可忽视的巨大的存储空间和处理时间。本发明是针对这些情况而提出的方法，在成功解决镜面成像情况的同时，对于非镜面成像的情况，它拥有和SIFT相近的性能，并且仅使用81维的向量来组织特征信息。匹配结果的比较如图2所示。

附图说明

图1：镜面成像情况下的匹配结果比较。(a)FIND匹配结果(b)SIFT匹配结果。

图2：FIND与SIFT匹配结果比较。(a)在非镜面成像情况下，FIND匹配结果。(b)在非镜面成像情况下，SIFT匹配结果。(c)在镜面成像情况下，FIND匹配结果。(d)在镜面成像情况下，SIFT匹配结果。

图3一幅图像在相邻三个尺度下的表示情况示意图。

图4：特征点梯度信息图。图中，n_d为主方向的索引下标，％代表取模操作。

图5：图像翻转前后特征描述符组织结构分析。(a)特征点及其辅助区域在未翻转图像上的表示。(b)(a)辅助区域的层次结构。(c)特征点(a)及辅助区域翻转后的版本。(d)(c)辅助区域的层次结构。(e)在(a)情况下FIND的特征描述符。(f)在(b)情况下FIND的特征描述符。

图6：特征检测及特征描述流程图。

具体实施方式

首先将输入图像进行尺度变化，这种变化是通过高斯卷积完成的，在一系列不同尺度的图像中，针对每个像素点都寻找像素点灰度值的极值点。然而并不是所有的极值点都符合作为特征点的标准，由于特征点需具有一定的突出性和健壮性，通过对高斯差(Difference of Gaussian)和黑塞矩阵(Hessian matrix)设置合适的阈值，从而分别对特征点具有低对比度和具有边缘响应的备选点进行筛选。经过这两步的筛选所留下的极值点就是所要的特征点，对于这些极值点，在通过三维二次曲线拟合之后，得到它们精确的坐标和尺度信息。保留特征点的坐标、尺度等信息，为后来的匹配阶段提供可用信息。

上述部分可以被认为是特征点检测器，也就是说这部分主要是寻找图像的特征点。那么紧接着，就是如何组织特征点的信息，成为可用的特征描述，以提供更高层的应用一特征匹配。特征点描述部分分为统计梯度信息指定方向参数以及特征描述符的构建。

针对镜面成像问题，图像共分为四类，分别是：原始图像、水平翻转图像(镜像)、垂直翻转图像(倒置)和完全翻转图像(同时存在水平和垂直两类翻转)。但是，容易验证的是完全翻转图像等同于对原始图像旋转坐标系180度所得到的图像，同样，垂直翻转图像和水平翻转图像也存在如原始图像和完全翻转图像之间的类似关系。又因为在特征点描述之前的指定方向参数的操作使得特征描述具有旋转不变性，所以四种情况可以简化为两种，即原始图像和水平翻转图像。在原始图像和水平翻转图像之间，存在一种固定的关系，即：图像的像素行顺序保持不变而列顺序恰恰相反。这种关系是解决翻转不变性的基础。下面对本发明的特征提取和描述方法做详细说明。

步骤1：输入图像的多尺度空间表示

Koendetink和Lindeberg证明高斯卷积核是唯一的线性实现尺度变换的不变卷积核。二维高斯函数形式为：

其中σ为高斯正态分布的方差。那么一幅二维图像在不同尺度下的图像可以通过图像与高斯核卷积来得到：L(x，y，σ)＝G(x，y，σ)*I(x，y)。

步骤2：检测尺度空间极值点

由步骤1中所得到的多尺度的图像中，可以通过从整个尺度空间上计算和比较得到以像素点为观察单位的极值。除了比较相邻尺度上一定数量的像素点，同时也要比较同一幅二维图像空间上的相邻的像素点得以较为全面的检测到极值点。本专利利用DoG(Difference-of-Gaussian)算子来近似LoG(Laplacian-of-Gaussian)以检测极值点，虽然DoG的精度较LoG略有不及，但是前者的运算速度胜过后者。其中，DoG算子定义形式如下：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)。

图3显示了一幅图像在相邻三个尺度下的表示情况，黑色十字是当前所计算的像素点位置，而灰色的圆点是所有需要比较的像素点，共2×9+8＝26个点。

步骤3：从极值点中筛选特征点

完成了上述两个步骤所得到的极值点组成了特征点的备选集合，特征点将由此集合中的备选点中筛选出来，也就是说，并非所有的极值点都满足特征点的要求。因为在此集合中还存在着低对比度和边缘响应的点，作为图像的特征它们的独特性和稳定性不够突出，所以采用不同的两种策略将这两类点剔除掉。其一，在运算高斯差(DoG)的同时，设置适当的阈值来有效地消除低对比度的极值点。其二，由于高斯差(DoG)本身存在着边缘响应，那么采用黑塞矩阵(Hessian matrix)方法过滤掉具有边缘响应的点(鞍点)。

步骤4：精确定位特征点位置

经过了以上的操作，特征点已经确定，由于尺度上的变换和像素单位大小上的影响可能导致特征点坐标和尺度信息有些偏差，为了保证特征点的信息精确，采用拟合三维二次曲线的方式进行信息的拟合和逼近，以得到更为精确的坐标和图像尺度信息。

步骤5：确定方向参数

为了满足特征点具有旋转不变性，根据特征点辅助邻域像素上的梯度方向和大小的信息，为每一个特征点指定方向参数。其中，梯度的大小m(x，y)和方向角度θ(x，y)可由像素点之间的差为基础计算出来，计算方式为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y+1))}^2},$

$\mathrm{\θ}{(x,y)}^{\′}={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right).$

然后，采用直方图的形式进行信息统计，将直方图的范围规定为0-360度，10度为一单位，并结合以特征点为圆心的高斯权值窗口(Gaussian weighted windows)，根据整个邻域中的各个像素点的梯度大小和方向进行统计。在直方图中36个方向中强度最大的便是主方向，由于噪声或变形的影响，图像可能略有变化或失真，而这些变化或失真可能会导致特征点的主方向参数产生偏差，为了缓解或是避免这些偏差对方向参数所带来的影响，本专利和SIFT一样使用辅方向。辅方向定义为强度大于80％的主方向强度的方向，而且辅方向可能有多个。实际上，每个辅方向在生成特征描述符的环节都被视为与主方向同等重要而建立单独的描述符。

步骤6：特征点描述符编码

下面详细介绍镜面翻转和特征描述符的构建方法。特征描述符是由一个向量来表示的，这个向量包含了所有的高斯权值窗口中的像素点的梯度信息。FIND采取9×9＝81维的向量来表示特征信息，即把辅助区域划分成9个像素单元，如图5所示，9个像素单元大小并不一致，其中，最上及中间层是大小相等的而最下一层则是他们的4倍大小。下面，以图5为例，分别对两个层次进行分析。其中(a)表示在未翻转图像中的一个特征点及其辅助区域，(b)则是同一个特征点和它的辅助区域在翻转后的图像中的表示，这两种情况都已指定了方向参数。

首先，分析特征描述符较为宏观的层次-9个单元的顺序。在规定主方向之后，FIND与其他的方法(诸如SIFT、SURF等)一样使用固定的编码顺序，但FIND并不是行优先或列优先的编码方式，而是采取由左向右的横向‘S’的形式来组织这9个单元，例如：图5(a)所示，FIND组织这9个单元的顺序为{123456789}，图5(b)所示，FIND则以{987654321}的顺序组织这些单元。如图5中所示，FIND特征描述符向量如(e)所示。在经过翻转之后的图像，也就是对应(b)的情况，那么就导致了FIND在(b)下的特征描述符向量组织方式如(f)所示。不容置疑的是，如果仅仅使用这样的策略，FIND将无法解决翻转上的问题，但是FIND的描述符具有对称的特点，如图5中(e)和(f)所示，在翻转前后的情况下9个单元的顺序完全相反，所以，本发明虽用统一的编码方式来组织特征信息，但采用标志位来决定使用哪一种顺序(标志位为1则为顺序和标志位为0则为逆序)得以在图像翻转前后得到唯一的描述符组合形式。那么，如何去决定标志位应使用何种标志，需要一个标准。直观上，图5中的左右指向的梯度模值(点划线)可以用作判断采用上述两种中的某种方式的依据。但是，仅用左右指向的梯度信息对噪音等影响比较敏感，因此本专利改用对所有指向同一侧梯度模值求和的策略。如图4所示，抽象为数学公式即为：

$m_r=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d-k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}},$

$m_l=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d+k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}},$

其中，N_bin是所有方向的总数，在这里N_bin＝36，n_d则是主方向的索引并且L_i表示在方向

上的梯度模值，％代表取模操作。其中m_r和m_l分别是图4中右下方虚线箭头和左上方点划线箭头之和。据此，我们将编码策略由原来的固定顺序编码改变成为由m_r和m_l比较结果决定。理论上而言，在翻转前后通过本发明提出的方法(即使用描述符及标志位组合)可以对同一个特征点在不同翻转条件下得到相同的描述信息，如图5中(e)和(f)所示。与主辅方向原理相似，为了减少各种噪音和光照条件变化等影响，增强FIND的健壮性，如果满足min{m_r，m_l}＞τmax{m_r，m_l}，(其中τ为阈值，这里我们将之设置为0.70，)那么另一个指示相反顺序编码的描述符标志位则随之生成。

第二个层次较为微观，是具体到每个单元中的各方向梯度的关系。以图5中(a)和(c)中第6个单元中梯度部分为例，它们分别对应着翻转之前和翻转之后图像中同一个部分，它们之间各个方向梯度，根据两种图像之间所对应的关系，每个单元中的8个梯度方向满足如下公式：

其中，下标ori代表原始图像，下标hor代表水平翻转图像。虽然只有8个方向的梯度信息，但是使用9个存储空间来存储，其中将图5中的A(即与主方向夹角为0度的梯度)拆分成两个相等的部分：

放在9个存储空间的首尾。这个拆分的技巧维持了整个描述符的对称性，同时由于匹配方法中使用的是L₂距离，所以这种拆分使得即A方向的梯度没有精度损失。编码策略充分利用两个层次的关系，从而产生一个镜面翻转不变性的特征描述符。根据这种特殊关系，结合第一个层次的分析，可以通过如下的策略生成最终的特征描述符：计算和比较m_r和m_l，由较大的一个作为编码顺序的指向，结合图5，在(a)所示的情况下m_l＞m_r，标志位为1-顺序使用描述符信息，9个单元的编码顺序为{123456789}，每个单元中的8个梯度方向，从A开始，顺时针编码，并且需将A进行拆分得{A₁ BCDEFGHA₂}；若在(b)所示的情况下m_l＜m_r，标志位为0-逆序使用描述符信息，9个单元的编码顺序为{987654321}，每个单元中的8个梯度方向，从A开始，顺时针编码，并且需将A进行拆分得{A₂ HGFEDCBA₁}，这两种情况下所得到的特征描述符是相同的，也就是说这种特征描述可以解决镜面成像类的问题。当然，为了增加特征描述符对光照条件变化的稳定性，最后的归一化操作是必不可少的。特征检测及特征描述的流程，如图6所示。

Claims (1)

1.一种具有翻转不变性的图像特征提取和描述方法，包括下列步骤：

步骤1：对输入的图像I(x，y)进行高斯核卷积处理，即L(x，y，σ)＝G(x，y，σ)*I(x，y)，得到多尺度空间表达的图像L(x，y，σ)，式中，

其中σ为高斯正态分布的方差；

步骤2：对多尺度空间表达的图像L(x，y，σ)按照下列公式进行高斯差处理D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，检测多尺度空间表达的图像L(x，y，σ)的极值点；

步骤3：利用阈值法和黑塞矩阵法筛选特征点，剔除具有低对比度和边缘响应的备选点；

步骤4：采用拟合三维二次曲线的方式精确定位特征点位置；

步骤5：根据特征点辅助邻域像素上的梯度方向θ(x，y)和大小m(x，y)的信息，确定每一个特征点的方向参数，其中：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2},$

并采用直方图的形式，结合以特征点为圆心的高斯权值窗口，根据整个邻域中的各个像素点的梯度大小和方向进行统计，并确定主方向；

步骤6：对分别以主方向为分界线的两侧的梯度模值求和，计算和

其中，N_bin是所有方向的总数，n_d则是主方向的索引并且L_i表示在方向上的梯度模值，％代表取模操作；

步骤7：以特征点为中心选取一个正方形为辅助区域，将辅助区域划分成9个像素单元，该9个像素单元采用覆盖-扩展的方式来组织，即上层单元包含于下层单元，中心单元包含于外层单元；

步骤8：按照左到右，由上至下再由下至上的横向“S”型组织辅助区域里的9个像素单元，每个单元中8个梯度从梯度角相对主方向0度开始顺时针编码，使用9个存储单元存储每个单元中的8个梯度信息，其中相对与主方向0度的梯度拆分成二等分，放置在9个存储单元的首尾，并进行归一化操作，从而生成对图像的描述数据，特征描述符的维数为81+2维，其中81维即9个像素单元×9个梯度存储单元，另外两维S_r以及S_l用以存储81维描述符信息使用顺序的标志信息；

步骤9：求取m＝max(m_r，m_l)，若m_r＞τm，则使用描述符信息的顺序为顺序，否则，不使用顺序的描述符信息；若m_l＞τm，则使用描述符信息的顺序为逆序，否则，不使用逆序的描述符信息，其中τ为限制系数，取值在0与1之间。

Images