CN102393960A - 一种图像的局部特征描述方法 - Google Patents

Abstract

本发明公开了一种图像的局部特征描述方法，对通过尺度不变特征提取方法提取到的特征点进行特征流形描述。该方法对特征点的局部区域进行一系列仿射变换，相应地在每个变换图像上提取特征点的尺度不变特征描述向量，从而形成特征向量集合，进而通过线性子空间组合来模拟该特征向量集合，作为特征流形的特征描述符。所述的特征描述方法包括以下步骤：提取特征点的局部区域图像、对局部图像进行系列变换、对每个变换图像的特征点提取尺度不变特征描述、形成特征向量集、采用线性子空间逼近特征向量集、生成特征描述符。该方法的输入是图像和一系列用坐标位置表示的特征点，输出则是由多个线性子空间表示的特征描述。

Description

一种图像的局部特征描述方法

技术领域

本发明涉及计算机图像的处理方法，特别是一种具有较强描述性和区分力的图像局部特征描述方法。

背景技术

图像的局部特征描述是计算机视觉与图像处理等领域研究的基本问题和热点问题，一个描述性强、具有较好不变性和区分度的图像局部特征描述方法在图像配准与拼接、目标跟踪、物体识别和图像检索等方面具有应用。

相对于整体特征，局部特征标记出了图像中的重要区域，将图像信息用这些区域来表示，能够在表示图像局部重要信息的同时，节约应用时的计算量。传统的局部特征描述如尺度不变特征SIFT(Scale Invariant Feature Transformation)等，一般采用编码图像局部信息的向量来表征图像局部信息，有着良好的平移不变性、旋转不变性、尺度不变性。

但近年来的研究表明，传统局部特征描述针对图像拍摄视点仿射变换的不变性范围相当有限，这严重限制了局部特征描述符在图像配准和拼接等领域的应用。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种图像的局部特征描述方法。

为了解决上述技术问题，本发明公开了一种图像的局部特征流形表示方法，包括以下步骤：

步骤1，提取特征点周围的局部区域图像：一般情况下，局部区域取为以该特征点为中心，固定宽和高的正方形图像区域。

步骤2，对局部图像进行一系列复合变换，复合变换由三种基础变换依次组合而成，三种基础变换是缩放变换、旋转变换和错切变换，改变各变换的参数，构造一系列变换图像；

步骤3，对每个变换图像的特征点提取尺度不变特征描述；

步骤4，形成特征向量集：将针对每个变换图像的特征点提取的特征描述向量排列在一起，构成特征向量集；

步骤5，采用线性子空间逼近特征向量集：针对该特征向量集，运用主元分析提取特征向量集的特征主元向量；

步骤6，生成特征描述符：将特征主元向量联结在一起，构成特征描述符。

本发明中，所述步骤1以特征点为中心，提取一个高和宽分别为50×50的正方形局部图像区域；可以根据图像的大小以及特征点在图像中的位置，适当调整特征点周围局部图像区域的大小。

本发明中，所述步骤2包括以下步骤：

步骤21，首先对局部图像区域进行缩放变换，得到三张缩放图像，其宽和高分别为原局部图像的1半，1倍和2倍；如果原始局部图像区域分辨率为50×50，则三张缩放图像分别为25×25，50×50和100×100；

步骤22，其次对三张缩放图像分别进行旋转变换，旋转的角度为顺时针30、60、90、120、150、180、210、240、270、300和330度，得到一系列旋转图像；

步骤23，再次对旋转图像分别进行错切变换，错切变换涉及到对图像横和纵坐标的缩放，缩放参数取值范围均是{-1，0，1}，改变横向和纵向缩放的参数共产生9种错切变换。

本发明中，所述步骤3使用SIFT(Scale Invariant Feature Transformation)算法对每张变换图像的中心点提取其一个128维的尺度不变特征描述向量，该向量包括所描述区域的尺度、所描述区域的主梯度方向和描述子矢量。SIFT算法的具体内容可参见维基百科关于尺度不变特征提取的阐述或作者David G.Lowe的原论文。

本发明中，所述步骤4中，每张变换图像的中心点均有一个128维的尺度不变的特征描述向量，将这些特征向量按照行序排列，即构成一个完整的特征向量集合。

本发明中，所述步骤5使用PCA主元分析方法对特征向量集合进行降维，可以人为设定降维的维度，假设降维的维度为N，则提取出N个特征主元向量，一般N的取值为5。主元分析PCA(Principal component analysis)是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化，可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构，关于其算法的具体内容可参见维基百科关于主元分析的阐述。

本发明中，所述步骤6将步骤51提取到的N个特征主元向量作为原始局部特征点的特征流形表示。

有益效果：本发明的显著优点是：在描述图像局部区域特征时，特征流形对视角变换的适应性要明显好于传统的局部特征点。传统的局部特征点虽然能很好的适应平移变换、旋转变换、尺度变换，但是对视角变换的适应性并不好，局部特征点只能保证在一定小范围内的图像变换稳定性。本发明提出了特征流形来扩大局部特征点对视角变换的适应范围。特征流形是建立在局部特征点之上，通过构造适当个数的多个视角下该特征点的描述，从而获得了该特征点的全视角完备描述。相对于传统的局部特征描述方法，采用本发明提出的特征流形来表示局部特征，在进行图像匹配时，图像的匹配准确性会更高，这极大地提高了图像的特征匹配率。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法的基本流程图。

图2为一个特征点的局部图像区域。

图3为经过变换后生成的部分结果图像。

图4为所得到的特征描述集合中的部分特征向量。

图5a和图5b为牛津大学的一个研究小组公开发布的两幅视角变化的图像。

图6为采用基于特征流行的特征匹配算法与采用基于原始尺度不变特征SIFT的特征匹配算法作用与图5的亮度图像得到的精确度和召回率曲线图。

具体实施方式

具体地说，如图1所示，本发明公开了一种图像的局部特征描述方法，包括以下步骤：

步骤1，提取特征点周围的局部区域图像：一般情况下，局部区域取为以该特征点为中心，固定宽和高的正方形图像区域。

步骤2，对局部图像进行一系列复合变换：复合变换由缩放变换、旋转变换和错切变换三种基础变换依次组合而成，首先施加缩放变换，然后是旋转变换，最后施加错切变换。改变各变换的参数，构造一系列变换图像；

步骤3，采用SIFT特征描述方法，对每个变换图像的特征点提取尺度不变特征描述；

步骤4，形成特征向量集：将针对每个变换图像的特征点提取的特征描述向量排列在一起，构成特征向量集；

步骤5，采用线性子空间逼近特征向量集：针对该特征向量集，运用主元分析提取特征向量集的特征主元向量；

步骤6，生成特征描述符：将特征主元向量联结在一起，构成特征描述符。

所述步骤1包括以下步骤：采用SIFT算法提取输入图像的特征点，对每一个特征点，以该特征点为中心，提取一个高和宽分别为50×50的正方形局部图像区域；可以根据图像的大小以及特征点在图像中的位置，适当调整特征点周围局部图像区域的大小。SIFT算法的具体内容可参见维基百科关于尺度不变特征提取的阐述或作者David G.Lowe的原论文David G.Lowe，″Distinctive Image Features fromScale-Invariant Keypoints，″(International Journal of Computer Vision.2004，pp.60：91-110)。

所述步骤2包括以下步骤：

步骤21，首先对原始特征点的局部区域图像进行缩放变换：缩放变换将每一点的横和纵坐标缩小或放大至s倍，变换矩阵为：

$\left[\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right],$

参数s取值范围是{1/2，1，2}。经过缩放变换后，得到三张结果图像，其分辨率的横和宽分别为原局部区域图像的一半25×25、，一倍50×50和两倍100×100；

步骤22，进而对三张经过缩放变换的结果图像施加旋转变换：假设原始图像特征点的坐标是(x，y)，绕其为轴心顺时针旋转θ弧度，变换矩阵为：

$\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& x-x*\cos \mathrm{\θ}+y*\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& y-x*\sin \mathrm{\θ}-y*\cos \mathrm{\θ}\\ 0& 0& 1\end{array}\right],$

这里参数θ取值范围是{0、30、60、90、120、150、180、210、240、270、300和330}度。对经过缩放变换得到的三张结果图像分别进行旋转变换，会得到一组33张旋转后的结果图像；

步骤23，再次对旋转后得到的一系列结果图像进行错切变换：错切变换分别对图像区域在横和纵坐标上实行不同程度的错切，使图像呈现不同程度的扭曲，变换矩阵为：

$\left[\begin{array}{ccc}1& {\mathrm{sh}}_x& 0\\ {\mathrm{sh}}_y& 1& 0\\ 0& 0& 1\end{array}\right],$

参数sh_x和sh_y的取值范围均是{-1，0，1}。通过改变这两个参数的取值，对旋转后得到的一系列结果图像各施加9个错切变化，从而生成一组33×9个错切图像。

所述步骤3包括以下步骤：使用SIFT特征描述算法对每张变换图像的中心点提取其一个128维的尺度不变特征描述向量，该向量包括所描述区域的中心坐标点、尺度、所描述区域的主梯度方向和描述子矢量。

所述步骤4包括以下步骤：每张变换图像的中心点均有一个128维的尺度不变的特征描述向量，然而部分特征描述可能不够精确，具体表现是与从原始图像中提取的SIFT特征描述向量差距过大，这样的特征描述向量不符合要求，需要将其过滤掉。在此，计算每一个128维的特征描述向量与原128维的特征向量的欧式距离，当该距离大于设定阈值时，舍弃该特征描述向量，根据不同图像的特点，阈值取值范围介于300-500间。

在对这些特征向量进行过滤后，将剩余的特征向量按照行序排列，即构成一个完整的特征向量集合。

所述步骤5包括以下步骤：使用PCA主元分析方法对特征向量集合进行降维，可以人为设定降维的维度，假设降维的维度为N，则提取出N个128维的特征主元向量，一般N的取值为5，PCA算法的具体内容可参见维基百科关于主元分析的阐述。

所述步骤6包括以下步骤：将步骤5提取到的N个特征主元向量作为原始局部特征点的特征流形表示。

实施例：

图2给出了一张图像的局部特征点，以红色点代表，图2下面的小图给出了其中一个特征点周围的局部图像区域。

采用本发明给出的变换对该局部图像区域进行几何变换，得到一系列的变换图像，图3给出了其中的部分变换图像。

图4给出了针对每张变换图像提取尺度不变特征描述向量并过滤掉部分欠精确特征向量后得到的特征向量集合中的部分特征向量。

本发明提出了特征流形来扩大局部特征点的特征描述向量对视角变换的适应范围。传统的局部特征点描述虽然能很好地适应平移、旋转和尺度变换，但是对视角变换的适应性并不好，局部特征点描述只能保证在一定小范围内的图像变换稳定性；而现实世界我们对相似的物体拍摄照片时，所获取的图像间往往具有较大的视角差异。本发明提出的特征流形表示是建立在局部特征点之上，通过构造适当个数的多个视角下该特征点的描述，从而获得了由一系列特征向量集合构成的该特征点的全视角描述，然后，本发明采用主元分析方法对该特征向量集合进行降维，从而得到了由少量几个特征主元向量表示的特征流形。本发明提出的特征流形图像局部特征方法在进行图像匹配时，图像的匹配准确性会更高，这极大地提高了图像的特征匹配率。

图5a和图5b给出了同一物体在两张不同视角下拍摄的照片图像，该组图像是牛津大学的一个研究小组公开发布的，同时发布的还有每幅图像的特征点及正确的匹配点对，这组图像及匹配数据用以验证视角变换下特征匹配算法的效果，该组图像可以在网址Http://www.robots.ox.ac.uk/～vgg/research/affine/index.html免费下载并应用。

由于图2，、图3以及图5为本发明图像处理方法的截图，因此略有不清晰，且为多色彩图，仅供参考。

图6比较了采用本发明方法进行图像匹配与采用传统方法进行图像匹配的效果，从精确度和召回率两方面关系给出对比曲线，采用本发明方法的匹配即基于特征流行的特征匹配算法(图中上方点曲线)，采用传统方法即基于原始尺度不变特征SIFT的特征匹配算法(图中下方实曲线)。采用尺度不变特征SIFT进行图像间特征匹配的步骤为：采用SIFT算法检测两幅图像的特征点；对两幅图像A，B中的特征点进行特征匹配，即计算两幅图像特征点间SIFT特征描述的两两欧式距离，假设图像A中的特征点p的SIFT描述与图像B中的特征点q的SIFT描述的距离小于其与图像B中其它所有特征点SIFT描述距离，且小于某一给定阈值，则认为p与q匹配。采用基于特征流行的特征匹配算法进行图像间特征匹配的步骤为：采用SIFT算法检测两幅图像的特征点；对图像B中的每个特征点，构造其特征流行表示，计算图像A中的每个特征点SIFT特征描述到B中每个特征点的特征流行距离，该距离取做与该特征流行的多个主元向量距离的最小值；假设图像A中的特征点p的SIFT描述与图像B中的特征点q的特征流行距离小于其与图像B中其它所有特征点的特征流行距离，且小于某一给定阈值，则认为p与q匹配。匹配的精确度和召回率分别用precision和recall表示，通过如下公式计算：

从图6可以看出，相对于传统方法，采用基于本发明方法的特征匹配算法在实验的精确度和召回率方面更高，因而具有更好的匹配效果。

本发明提供了一种图像的局部特征描述方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种图像的局部特征描述方法，其特征在于，包括以下步骤：

步骤1，提取特征点的局部区域图像；

步骤2，对局部图像进行变换：所述变换包括缩放变换、旋转变换和错切变换，构造变换后的图像；

步骤3，对每个变换后图像的特征点提取尺度不变特征描述；

步骤4，形成特征向量集：将针对每个变换后图像的特征点提取的特征描述向量排列在一起，构成特征向量集；

步骤5，采用线性子空间逼近特征向量集：针对该特征向量集，提取特征向量集的特征主元向量；

步骤6，生成特征描述符：将特征主元向量联结在一起，构成特征描述符。

2.根据权利要求1所述的一种图像的局部特征描述方法，其特征在于，所述步骤1中提取特征点的局部区域图像具体为以该特征点为中心，提取宽和高为50×50的正方形图像区域。

3.根据权利要求1所述的一种图像的局部特征描述方法，其特征在于，所述步骤2包括以下步骤：

步骤21，对局部图像区域进行缩放变换，得到三张缩放图像，其分辨率的横和宽分别为原局部区域图像的一半、，一倍和两倍；

步骤22，对三张缩放图像分别进行旋转变换，旋转的角度为顺时针30、60、90、120、150、180、210、240、270、300和330度，得到一组旋转后的图像；

步骤23，对旋转后的图像分别进行错切变换，所述错切变换为对图像横和纵坐标的缩放，缩放参数取值范围均是{-1，0，1}。

4.根据权利要求1所述的一种图像的局部特征描述方法，其特征在于，所述步骤3具体为对每张变换图像的中心点提取其一个128维的尺度不变的特征描述向量，该向量包括所描述区域的尺度、所描述区域的主梯度方向和描述子矢量。

5.根据权利要求1所述的一种图像的局部特征描述方法，其特征在于，所述步骤4具体为每张变换图像的中心点均有一个128维的尺度不变的特征描述向量，将所述特征向量按照行序排列，即构成特征向量集合。

6.根据权利要求1所述的一种图像的局部特征描述方法，其特征在于，所述步骤5具体为使用主元分析方法对特征向量集合进行降维，提取多个特征主元向量。

7.根据权利要求6所述的一种图像的局部特征描述方法，其特征在于，所述步骤6将步骤5提取到的多个特征主元向量作为特征流形表示。

Images