CN101630365A - 基于daisy的具有镜面翻转不变性的特征提取和描述方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种基于DAISY的具有镜面翻转不变性的特征提取和描述方法，包括下列步骤：(1)对输入的图像进行高斯核卷积处理；(2)对图像继续进行高斯差处理，检测其极值点；(3)筛选特征点；(4)精确定位特征点位置；(5)确定每一个特征点的方向参数；(6)对分别以主方向为分界线的两侧的梯度模值求和；(7)组织高斯权值窗口里的像素单元，进行编码和归一化操作，从而生成对图像的描述数据。本发明增加了特征提取和描述方法对镜面成像问题的健壮性，扩展了计算机视觉的应用领域。

Description

基于DAISY的具有镜面翻转不变性的特征提取和描述方法

技术领域

本发明属于图像处理技术领域，涉及一种图像特征提取方法。

背景技术

当今的计算机技术发展飞速，计算机视觉和图像检索的应用领域越来越广泛，同时也彰显出它们的重要性。热门的三维重建、物体识别、相机校准、机器人双目导航等等都是建立在计算机视觉的基础之上，所以合理有效地解决计算机视觉所存在的问题或改进不完善之处可以给计算机界甚至科学界带来巨大的推动。计算机视觉建立在一种令计算机模拟人类(哺乳类动物)视觉而达到一定程度的智能性的理念之上，连同图像检索等都需要对图像的特征进行提取分析，所以图像特征的定义及提取方案有着举足轻重的作用。当然，当今有多种解决方案，常见的有基于梯度的特征提取和描述方法，包括Harriscorner detector【1】、SIFT【2】、SURF【3】、HOG【4】、GLOH【5】、DAISY【6】。除了基于梯度的特征提取方法，还有基于轮廓提取等其它方法。由于本发明提出的MIFT-DAISY是基于梯度的方法，所以对其它方法不予过多描述。其中Harris cornerdetector(哈里斯角点检测器)能够提取出在图像本身尺度上对于旋转和光照不变性的特征点。实际上，并不是如名称中所说的那样仅仅是提取角点而已，而是所有的在多个方向上具有显著梯度的特征点。但是，Harris corner detector的局限性相对较大，因为它对图像尺度的缩放非常敏感。为了去除或是减弱图像尺度改变的影响，Lowe提出SIFT解决了尺度缩放所带来的问题，当然它也保证了旋转不变性甚至在一定程度能容忍光照、仿射变换和遮盖等影响。SURF，简单来讲是一个加速版的SIFT，它与SIFT都采用一种辅助区域策略，也就是说以特征点为中心指定一个辅助区域，在这个区域中的像素共同决定特征点的描述。不同的是SIFT采用一种根据区域中不同像素对特征点贡献不同的策略来给它们赋予权值，而SURF则仅仅采用基于积分图像(integral image)的相等权值策略。HOG结合SVM(支持向量机)提供了一种基于梯度信息的人类检测方法。GLOH则是SIFT的另一变种形式，它利用圆形策略来组织辅助区域，目的是增强特征的健壮性和突出性，初始的GLOH描述符有272维，但经过PCA(主成分分析)操作，使272维降至与SIFT相同的128维，保证在不丢失关键信息的基础上，提高匹配操作的效率。DAISY利用环形辅助区域来提高特征描述符的健壮性，它的辅助区域形状结合了GLOH和SIFT的优势(如图1所示)，这种辅助区域的优势使DAISY本身就对旋转具有健壮性。上述的所有方法，虽然可以很好的解决旋转、尺度变化甚至是光照变化和仿射等图像上的变形，但是几乎所有的方法都没有考虑到镜面成像一类的情况，这种情况在现实生活中是很常见的，例如水面倒影，镜面成像，对称物体的不同角度观察等等。

参考文献：

【1】C.Harris和M.J.Stephens，《角边探测器》，Alvey视觉会议，vol.20，pp.147-152，1988.

【2】D.G.Lowe，《选自尺度不变关键点的独特图像特征》，计算机视觉国际期刊，vol.60，pp.91-110，2004.

【3】H.Bay，T.Tuytelaars，和L.Van Gool.，《Surf：加速提取健壮性特征》，计算机视觉欧洲会议，pp.404-417，2006.

【4】N.Dalal和B.Triggs，《基于方向梯度直方图的人类探测》，计算机视觉及模式识别国际会议，vol.1，pp.886-893，2005.

【5】K.Mikolajczyk和C.Schmid，《局部特征描述符的性能估计》，IEEE模式分析及机器智能会刊，vol.27，pp.1651-1630，2004.

【6】E.Tola，V.Lepetit和P.Fua，《一种快速的密集型匹配描述符》，计算机视觉和模式识别，pp.1-8，2008.

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种能够解决镜面翻转现象所导致的SIFT、DAISY等特征提取方法失效的问题，同时又保持DAISY的所有优点和性能，以及增加了尺度上的健壮性。换句话说，提供一种在翻转前后两种情况下保持同一描述形式的特征提取和描述方法，也即具有镜面翻转不变性的特征提取和描述方法。为此，本发明采用如下的技术方案：

一种基于DAISY的具有镜面翻转不变性的特征提取和描述方法

步骤1：对输入的图像I(x，y)进行高斯核卷积处理，即L(x，y，σ)＝G(x，y，σ)*I(x，y)，得到多尺度空间表达的图像L(x，y，σ)，式中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ 其中σ为高斯正态分布的方差；

步骤2：对多尺度空间表达的图像L(x，y，σ)按照下列公式进行高斯差处理D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，检测多尺度空间表达的图像L(x，y，σ)的极值点；

步骤3：利用阈值法和黑塞矩阵法筛选特征点，剔除具有低对比度和边缘响应的备选点；

步骤4：采用拟合三维二次曲线的方式精确定位特征点位置；

步骤5：根据特征点辅助邻域像素上的梯度方向θ(x，y)和大小m(x，y)的信息，确定每一个特征点的方向参数，其中：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2},$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right),$ 并采用直方图的形式，结合以特征点为圆心的高斯权值窗口，根据整个邻域中的各个像素点的梯度大小和方向进行统计，并确定主方向；

步骤6：对分别以主方向为分界线的两侧的梯度模值求和，计算 $m_r=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d-k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}}$ 和 $m_l=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d+k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}},$ 其中，N_bin是所有方向的总数，n_d则是主方向的索引并且L_i表示在方向上的梯度模值，％代表取模操作；

步骤7：根据已确定的特征点及其主方向信息，以特征点位置为中心划分辅助区域，将整个区域划分为25个像素单元，这25个单元分布在4个层次上，除中心一层仅1个圆形像素单元以外，其他3层都分布8个圆形像素单元，并且每个圆形像素单元的半径与它的圆心距特征点的距离成正比，在每个圆形像素单元中，梯度信息被归划到8个方向，使用(1+3×8)×8＝200维的向量来表示特征描述符；

步骤8：判断m_r、m_l与τmax{m_r，m_l}的关系，如果满足m_r＞τmax{m_r，m_l}，其中τ为阈值，那么特征描述符将从内向外、顺时针进行编码；如果满足m_r＞τmax{m_r，m_l}那么特征描述符将从内向外、逆时针进行编码。

本发明基于DIASY，提出命名为MIFT-DAISY的新方法，MIFT-DAISY主要解决的就是合理组织特征点描述符使得这类问题得以解决，并增强DAISY的尺度上的健壮性。MIFT-DAISY与DAISY在镜面成像情况下的比较结果如图2所示。本发明增加了特征描述方法对镜面成像问题的健壮性，扩展了计算机视觉的应用领域。当今计算机视觉领域中所有的特征提取和描述的方法并未对镜面成像的情况有所考虑和处理，虽然像Harriscorner detector、SIFT、SURF、GLOH、DAISY等方法可以在旋转、光照等变化下可以保持一定程度的稳定性，但是在镜面成像的情况下却束手无策。本发明是针对这种情况而提出的方法，在成功解决镜面成像情况的同时，对于非镜面成像的情况，它拥有和DAISY相近的性能并且增加了尺度上的健壮性。匹配结果的比较如图3所示。

附图说明

图1：辅助区域的不同类型。(a)SIFT和SURF，(b)GLOH，(c)结合了SIFT和GLOH的特点的DAISY。

图2：镜面成像情况下的匹配效果图。图1(a)为MIFT匹配结果图1(b)为DAIFT匹配结果。阈值同为0.55的情况下，MIFT-DAISY匹配142个特征点对，DAISY匹配10个特征点对。

图3：MIFT与SIFT匹配结果比较。(a)在非镜面成像情况下，MIFT-DAISY匹配结果。(b)在非镜面成像情况下，DAISY匹配结果。(c)在镜面成像情况下，MIFT-DAISY匹配结果。(d)在镜面成像情况下，DAISY匹配结果。

图4：一幅图像在相邻三个尺度下的表示情况示意图。

图5：图像翻转前后特征描述符组织结构分析。(a)特征点及其辅助区域在未翻转图像上的表示。(b)同一特征点及其辅助区域在翻转后图像上的表示。(c)来自(a)中的第20个单元中8个梯度的表示。(d)来自(b)中的第20个单元中8个梯度的表示。(e)在(a)情况下DAISY和MIFT-DAISY的特征描述符。(f)在(b)情况下DAISY的特征描述符。(g)在(b)情况下MIFT-DASIY的特征描述符。

图6：特征点梯度信息图。图中，n_d为主方向的索引下标，％代表取模操作。

图7：特征检测及特征描述流程图。

具体实施方式

由于，DAISY本身是针对图像深度图估计和三维重建的一种描述方式，并没有考虑尺度空间上的健壮性，所以DAISY本身是有缺陷的。针对这种缺陷本发明采取Hessian-Gaussian特征检测的方法对其进行改进。

首先将输入图像进行尺度变化，这种变化是通过高斯卷积完成的，在一系列不同尺度的图像中，针对每个像素点都寻找像素点灰度值的极值点。然而并不是所有的极值点都符合作为特征点的标准，由于特征点需具有一定的突出性和健壮性，通过对高斯差(Difference of Gaussian)和黑塞矩阵(Hessian matrix)设置合适的阈值，从而分别对特征点具有低对比度和具有边缘响应的备选点进行筛选。经过这两步的筛选所留下的极值点就是所要的特征点，对于这些极值点，在通过三维二次曲线拟合之后，得到它们精确的坐标和尺度信息。保留特征点的坐标、尺度等信息，为后来的匹配阶段提供可用信息。

上述部分可以被认为是特征点检测器，也就是说这部分主要是寻找图像的特征点。那么紧接着，就是如何组织特征点的信息，成为可用的特征描述，以提供更高层的应用一特征匹配。特征点描述部分分为统计梯度信息指定方向参数以及特征描述符的构建。

针对镜面成像问题，图像共分为四类，分别是：原始图像、水平翻转图像(镜像)、垂直翻转图像(倒置)和完全翻转图像(同时存在水平和垂直两类翻转)。但是，容易验证的是完全翻转图像等同于对原始图像旋转坐标系180度所得到的图像，同样，垂直翻转图像和水平翻转图像也存在如原始图像和完全翻转图像之间的类似关系。又因为在特征点描述之前的指定方向参数的操作使得特征描述具有旋转不变性，所以四种情况可以简化为两种，即原始图像和水平翻转图像。

在原始图像和水平翻转图像之间，存在一种固定的关系，即：图像的像素行顺序保持不变而列顺序恰恰相反。这种关系是解决翻转不变性的基础。

下面结合附图和实施例对本发明做进一步描述。

步骤1：输入图像的多尺度空间表示

Koendetink和Lindeberg证明高斯卷积核是唯一的线性实现尺度变换的不变卷积核。二维高斯函数形式为： $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ 其中σ为高斯正态分布的方差。那么一幅二维图像在不同尺度下的图像可以通过图像与高斯核卷积来得到：L(x，y，σ)＝G(x，y，σ)*I(x，y)。

步骤2：检测尺度空间极值点

由步骤1中所得到的多尺度的图像中，可以通过从整个尺度空间上计算和比较得到以像素点为观察单位的极值。除了比较相邻尺度上一定数量的像素点，同时也要比较同一幅二维图像空间上的相邻的像素点得以较为全面的检测到极值点。本发明利用DoG(Difference-of-Gaussian)算子来近似LoG(Laplacian-of-Gaussian)以检测极值点，虽然DoG的精度较LoG略有不及，但是前者的运算速度胜过后者。其中，DoG算子定义形式如下：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)。图4显示了一幅图像在相邻三个尺度下的表示情况，黑色十字是当前所计算的像素点位置，而灰色的圆点是所有需要比较的像素点，共2×9+8＝26个点。

步骤3：从极值点中筛选特征点

完成了上述两个步骤所得到的极值点组成了特征点的备选集合，特征点将由此集合中的备选点中筛选出来，也就是说，并非所有的极值点都满足特征点的要求。因为在此集合中还存在着低对比度和边缘响应的点，作为图像的特征它们的独特性和稳定性不够突出，所以采用不同的两种策略将这两类点剔除掉。其一，在运算高斯差(DoG)的同时，设置适当的阈值来有效地消除低对比度的极值点。其二，由于高斯差(DoG)本身存在着边缘响应，那么采用黑塞矩阵(Hessian matrix)方法过滤掉具有边缘响应的点(鞍点)。

步骤4：精确定位特征点位置

经过了以上的操作，特征点已经确定，由于尺度上的变换和像素单位大小上的影响可能导致特征点坐标和尺度信息有些偏差，为了保证特征点的信息精确，采用拟合三维二次曲线的方式进行信息的拟合和逼近，以得到更为精确的坐标和图像尺度信息。

步骤5：确定方向参数

为了满足特征点具有旋转不变性，根据特征点辅助邻域像素上的梯度方向和大小的信息，为每一个特征点指定方向参数。其中，梯度的大小m(x，y)和方向角度θ(x，y)可由像素点之间的差为基础计算出来，计算方式为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2},$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right).$

然后，采用直方图的形式进行信息统计，将直方图的范围规定为0-360度，10度为一单位，并结合以特征点为圆心的高斯权值窗口(Gaussian weighted windows)，根据整个邻域中的各个像素点的梯度大小和方向进行统计。在直方图中36个方向中强度最大的便是主方向，由于噪声或变形的影响，图像可能略有变化或失真，而这些变化或失真可能会导致特征点的主方向参数产生偏差，为了缓解或是避免这些偏差对方向参数所带来的影响，本发明和SIFT一样使用辅方向。辅方向定义为强度大于80％的主方向强度的方向，而且辅方向可能有多个。实际上，每个辅方向在生成特征描述符的环节都被视为与主方向同等重要而建立单独的描述符。

步骤6：特征点描述符编码

镜面翻转和特征描述符的构建在本部分进行详细介绍。特征描述符是由一个向量来表示的，这个向量包含了所有的高斯权值窗口中的像素点的梯度信息。如图1中DAISY辅助区域所示，整个区域划分为25个像素单元，这25个单元分布在4个层次上，除中心一层仅1个圆形像素单元以外，其他3层都分布8个像素单元，并且圆形单元的半径与它的圆心距特征点的距离成正比。在每个小的像素单元中，梯度信息被归划到8个方向，因此特征描述符向量包含了(1+3×8)×8＝200维的信息，同样MIFT-DAISY也使用200维的向量来表示描述符，尽管维数的大小并非强制不变的。以图5为例，分别对两个层次进行分析。其中(a)表示在未翻转图像中的一个特征点及其辅助区域，(b)则是同一个特征点和它的辅助区域在翻转后的图像中的表示，这两种情况都已指定了方向参数。

首先，分析特征描述符较为宏观的层次-25个单元的顺序。在规定主方向之后，DAISY使用固定的顺序，采取由内向外、顺时针方向来组织这25个单元，如图5中所示，DAISY特征描述符向量如(e)所示。在经过翻转之后的图像，也就是对应(b)的情况，那么就导致了DAISY在(b)下的特征描述符向量组织方式如(f)所示。不容置疑的是，DAISY对旋转、光照、仿射变换等有良好的稳定性和健壮性，但同样不可否认的是，对于镜面成像这类情况，DAISY无能为力。所以，本发明提出了一种可以在图像翻转前后得到唯一形式的描述符的编码方法。在两种不同的情况下，由内向外的顺序下仅有两种编码方式，一种是顺时针顺序另一种则是逆时针顺序。直观上，图中的左右指向的梯度模值(点划线)可以用作判断采用上述两种中的某种方式的依据。但是，仅用左右指向的梯度信息对噪音等影响比较敏感，因此本发明改用对所有指向同一侧梯度模值求和的策略。如图6所示，抽象为数学公式即为： $m_r=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d-k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}},$ $m_l=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d+k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}},$ 其中，N_bin是所有方向的总数，在这里N_bin＝36，n_d则是主方向的索引并且L_i表示在方向

上的梯度模值，％代表取模操作。其中m_r和m_l分别是图6中右下方虚线箭头和左上方点划线箭头之和。据此，我们将编码策略由原来的固定顺序编码改变成为由m_r和m_l比较结果决定。理论上而言，在翻转前后通过本发明提出的方法可以得到同样的描述符如图5中(g)所示。与主辅方向原理相似，为了减少各种噪音和光照条件变化等影响，增强DAISY的健壮性，如果满足min{m_r，m_l}＞τmax{m_r，m_l}，(其中τ为阈值，这里我们将之设置为0.70，)那么另一个逆向编码的描述符则随之生成。

图7为本发明的特征检测及特征描述流程图。

Claims (1)

1.一种基于DAISY的具有镜面翻转不变性的特征提取和描述方法

步骤1：对输入的图像I(x，y)进行高斯核卷积处理，即L(x，y，σ)＝G(x，y，σ)*I(x，y)，得到多尺度空间表达的图像L(x，y，σ)，式中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ 其中σ为高斯正态分布的方差；

步骤2：对多尺度空间表达的图像L(x，y，σ)按照下列公式进行高斯差处理D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，检测多尺度空间表达的图像L(x，y，σ)的极值点；

步骤3：利用阈值法和黑塞矩阵法筛选特征点，剔除具有低对比度和边缘响应的备选点；

步骤4：采用拟合三维二次曲线的方式精确定位特征点位置；

步骤5：根据特征点辅助邻域像素上的梯度方向θ(x，y)和大小m(x，y)的信息，确定每一个特征点的方向参数，其中：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2},$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right),$ 并采用直方图的形式，结合以特征点为圆心的高斯权值窗口，根据整个邻域中的各个像素点的梯度大小和方向进行统计，并确定主方向；

步骤6：对分别以主方向为分界线的两侧的梯度模值求和，计算

$m_r=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d-k+N_{\mathrm{bin}})\%N_{\mathrm{bin}}}$ 和 $m_l=\underset{k=1}{\overset{(N_{\mathrm{bin}}-2)/2}{\mathrm{\Σ}}}{L}_{(n_d+k+N_{\mathrm{bin}})\%N_{\mathrm{bin}},}$ 其中，N_bin是所有方向的总数，n_d则是主方向的索引并且L_i表示在方向上的梯度模值，％代表取模操作；

步骤7：根据已确定的特征点及其主方向信息，以特征点位置为中心划分辅助区域，将整个区域划分为25个像素单元，这25个单元分布在4个层次上，除中心一层仅1个圆形像素单元以外，其他3层都分布8个圆形像素单元，并且每个圆形像素单元的半径与它的圆心距特征点的距离成正比，在每个圆形像素单元中，梯度信息被归划到8个方向，使用(1+3×8)×8＝200维的向量来表示特征描述符；

步骤8：判断m_r、m_l与τmax{m_r，m_l}的关系，如果满足m_r＞τmax{m_r，m_l}，其中τ为阈值，那么特征描述符将从内向外、顺时针进行编码；如果满足m_r＞τmax{m_r，m_l}，那么特征描述符将从内向外、逆时针进行编码。

Images