CN104933434A - 一种结合LBP特征提取和surf特征提取方法的图像匹配方法 - Google Patents

Abstract

本发明涉及一种在计算机科学，医疗辅助诊断，军事，工业测量等领域提供快速准确的特征点算法提取技术，公开了一种结合LBP特征提取和surf特征提取方法的图像匹配方法，通过三步进行特征点的匹配步骤一：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向；步骤二：构建特征描述子；步骤三：特征点匹配。较现有技术相比，本发明速度快、效果好的。

Description

一种结合LBP特征提取和surf特征提取方法的图像匹配方法

技术领域

本发明涉及图像特征提取与图像处理技术领域，具体地为一种结合LBP特征提取和surf特征提取的图像匹配方法，涉及通过利用LBP算子的旋转不变性来处理旋转情况下的图像匹配，利用Harr算子来处理模糊，光照情况下的图像匹配。

背景技术

随着科技的发展进步，从各种成像设备，互联网网络或图像数据库中获取大量图像已成为可能，从而人们对图像处理（Feature Extraction and Image Processing）的要求也越来越高，图像处理技术得到了深入，广泛和迅速的发展。在图像处理上，特征提取的好坏是决定处理性能的关键因素，特征提取是指能够有效表示图像属性的特征，然后可以在此基础上可以对图像进行准确高效的分割和分类。鉴于这样的事实，对图像本身进行深入研究，准确高效的提取图像特征已成为客观必然要求。

由于计算机电子技术和计算机技术的发展，数字图像处理进入高速发展时期。因而对图像进行特征提取成为许多科研人员的研究话题。2004年发表在IJCV上的SIFT以及后来为改进SIFT运行速度提出的基于Hessian矩阵和Harr小波的SURF是图像匹配领域中最具代表性的两个方法，SURF提供的匹配方法有效地改进了基于梯度图的SIFT方法下计算速度慢的问题，但在处理角度变化图像的问题上低效，准确率不高，通过引入具有旋转不变性LBP算子可以有效的解决这个问题，并同时能够加强了光照和模糊条件下的鲁棒性，简而言之，结合LBP特征提取和surf特征提取的图像匹配方法具有下列六大优点：1)快速的：在surf图像匹配方法的基础上保留了其快速计算的Hessian矩阵，积分图方法，使我们的方法依然能够快速计算； 2)泛在的: 图像特征提取以及匹配方法因其在图像处理的必要性和实用特征已经在互联网，摄像等涉及图像处理的领域广泛存在，兼具surf，sift优点的图像特征匹配方法也将是泛在的； 3)准确性：结合LBP特征提取和surf特征提取的图像匹配方法可以准确的提取发生旋转，光照，视角变化图像的特征点； 4)大量性:结合LBP特征提取和surf特征提取的图像匹配方法可以产生出大量的特征点，从而方便从中选出合适的特征点进行匹配。

特征提取和匹配一直是图像处理和计算机视觉研究领域中一个值得探讨的问题，在计算机科学，医疗辅助诊断，军事，工业测量等众多领域都广泛采用这一技术，尤其是计算机视觉和模式和模式识别研究中，如何准确定位和提取关键特征往往是其中首先需要解决的问题之一，是提高识别率等问题的重要前奏和关键问题；有着广泛的应用前景和潜在的市场价值。

发明内容

在现有技术中，基于Harr特征描述的SURF因其匹配的快速性和准确性成为特征提取匹配领域中最常用和代表性的方法，但是在应对发生了旋转的图像时，其匹配效果较差，经常出现错误的匹配点，从而导致其性能下降。而更早出现的基于梯度图特征描述的SIFT方法虽然对旋转图像有不错的处理效果，但是其缓慢的运算速度，复杂的计算量，以及在处理光照变化，模糊等图像变化时较差的处理效果的缺陷也是显而易见的，简而言之，目前在图像特征点提取和匹配领域缺少一种能够处理大部分的图像变换，同时又有着较高处理速度的图像匹配方法。

为克服现有技术中的不足，在本发明中利用旋转不变LBP算子结合surf图像匹配方法中的Haar算子，从而使我们提出的方法能够处理大部分的图像变换，同时又有着较高的的处理速度。

由于Surf图像匹配方法提供的特征描述子采用的是Haars特征描述，Harrs特征首先具有很强的光照不变性，模糊不变性，但是Harrs特征在应对旋转变换时因其自身的特性使得描述效果较差，因此本文算法旨在保留Haars特征描述子优点的情况下，采取合理的实现方式，将Haars特征描述子与LBP旋转不变描述子相结合，使得其在应对旋转变化，光照变化，视角变化，模糊变化时也具有良好的匹配效果，同时不影响其运算速度。

为达到本发明的发明目的，现技术的技术方案如下。

一种结合LBP特征提取和surf特征提取方法的图像匹配方法，包括：步骤一：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向；步骤二：构建特征描述子；步骤三：特征点匹配。

其中，步骤一具体为：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向，包括：

1. 构造高斯金字塔尺度空间，为保证图像的尺度不变性，首先对其进行高斯滤波，滤波后对每一个像素点进行Hessian 的计算得到图像的特征点。

2. 利用非极大值抑制初步确定特征点，此步骤和surf图像匹配方法类似，将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点。

3. 精确定位极值点，采用三维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阀值的点。

4. 选取特征点的主方向。在特征点的领域统计60度扇形内所有点的水平harr小波特征和垂直haar小波特征总和，这样一个扇形得到了一个值，然后60度扇形以一定间隔进行旋转，最后将最大那个扇形的方向最为该特征点的主方向。

其中，步骤二具体为：构建特征描述子，包括：

1. 构造算法描述子，在特征点周围选取一个正方形框，框的边长为20s（s是所检测到该特征点所在的尺度）将该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征即Σdx, Σd|x|, Σdy, Σd|y|,这样每个小区域就有4个值，这样就得到了第一组16*4=64维向量；

2. 以特征点为中心取一个9*9大小的图像区域，求取以它为中心的旋转不变LBP特征，亦可得到8*8=64维的第二组向量。将此两组向量各自高斯加权后作为新的图像特征提取和图像匹配方法描述子。

其中，步骤三具体为：特征点匹配，包括：

关键点匹配，采用两幅图像关键点之间的距离作为相似性判定度量，即在特征点haar特征值和LBP特征值相同的前提下，最先匹配到的两个特征点为一对匹配点。

大量的实验表明，结合旋转不变LBP算子和harr小波特征能够得到匹配率较高的匹配效果，同时按照提供的方法，其匹配的速度也在可接受范围之内。

本发明的应用领域相当广泛，可用于：

（1）数字水印：图像本身的某些局部特征能够辅助水印的嵌入和提取，尤其是辅助确定水印嵌入的准确位置，只有这样才能有效抵抗 裁剪、缩放等局部几何攻击。

（2）视屏拷贝检索技术：具有仿射不变性局部特征的提取是视频拷贝检测技术的关键所在

（3）对象识别：基于特征点匹配的对象识别被广泛的应用到各个民用领域

（4）生物识别：前者主要指用于身份确认的指纹识别、人脸识别、虹膜识别，后者主要指基于图像特征的物体识别，比如在智能交通管理、 机动车检测、停车场管理等场合的车牌识别或建筑物识别等。

（5）目标分类：在目标分类中广泛使用的特征有基于形状的特征和基于运动的特征。由于提取到的前景目标存在多角度、含有少量影子、区域提取不完整以及目标较小等情况，采用基于形状的局部特征对目标进行分类可较好地应对这些情况。

（6）图像拼接：通过提取图像特征点，通过特征点，利用边界追踪法对图像进行轮廓提取，最终可以实现图像拼接。

综合上述应用领域，与现有技术相比，本发明的优点在于：

比如在数字水印方面，常用的空域算法，PatchWork等算法在选择水印信息嵌入位置的时候，都只是选择不重要的像素区域，而PatchWork算法干脆就是随机选择像素来嵌入信息，这些传统的数字水印算法都忽视了嵌入像素位置的鲁棒性，从而使得这些算法实现的数字水印在安全性和低错误率上效果较差，本发明提出的方法可以有效的选择出鲁棒性像素区域，从而保证数字水印的安全性和低错误率。

对于视屏拷贝技术，具有仿射不变性局部特征的提取是视频拷贝检测技术的关键所在。传统的基于分块对比的镜头检测或者是基于直方图对比的镜头检测方法，对于某些特殊编辑效果，或者是光线变化比较剧烈的情况下，镜头检测会受到极大的干扰。而本发明提出的方法对于视角，旋转等特殊情形，尤其是光照变化的情况下都具有很强的鲁棒性，因此在视频拷贝的精度和检测效率上都有很好的效果。

对于对象识别技术：基于特征点匹配的对象识别被广泛的应用到各个民用领域，而各种对象识别算法，LBP特征点或是SIFT特征点在特征匹配上都具有情形匹配不完全，匹配时间长等各自的问题，而本发明提出的方法则能够实现大部分情形下的匹配情况，且匹配速度快速。

生物识别方面，主要是用于身份确认的指纹识别、人脸识别、虹膜识别，或者是基于图像特征的物体识别，比如在智能交通管理、机动车检测、停车场管理等场合的车牌识别或建筑物识别等，诸如此类种种识别情形其实也是基于特征点匹配的识别过程。在现有主流的特征点匹配方法中，sift匹配的时间过长，LBP匹配太过片面，而本发明提出的方法能保证在兼具各种情形下的匹配的同时还能保证快速的匹配速度。

在目标分类中广泛使用的特征有基于形状的特征和基于运动的特征。通用的分类算法入KNN，MSVM等方面由于提取到的前景目标存在多角度、含有少量影子、区域提取不完整以及目标较小等情况，而本发明提出的方法可以有效的提取多个纹理图像上的特征，快速的实现目标分类。

图像拼接：通过提取图像特征点，通过特征点，利用边界追踪法对图像进行轮廓提取，最终可以实现图像拼接。传统方法在提取图像边缘特征时或提取效果差，或是提取出来的特征不具有拼接价值，无法实现有效的匹配。而本发明提出的方法可以有效的提取出图像边缘的可以利用的拼接特征值，有效的实现图像匹配。

本发明的优点还不仅限于上述所列举的应用领域，在图像特征提取与图像处理技术领域都可展现本发明优越的功效。

附图说明

附图1为本发明步骤流程图；

附图2为视角变化情况下的图像匹配；

附图3为光照变化情况下的图像匹配；

附图4为模糊变化情况下的图像匹配；

附图5为旋转变化情况下的图像匹配；

附图6为高斯金字塔的构建方式；

附图7为确定为该点为区域的特征点；

附图8为计算得到每一个特征点的主方向；

附图9为haar特征描述；

附图10为以每个特征点为中心，以1为步长，取中心点3*3的像素范围，计算旋转不变LBP值；

附图11为得到LBP的匹配向量。

具体实施方式

下面结合说明书附图对本发明进一步描述。

如附图1本发明步骤流程图所示，如附图1所示，对于输入的图像，我们首先利用Hessian矩阵处理图像，计算像素Hessian矩阵为极值的点，然后，为了保证图像具有尺度不变形，我们需要对图像构建高斯金字塔图，在高斯金字塔图像上，上中下三层图像进行匹配，保留对比过程中出现的最值点，这些点为我们的初步特征点，以这些特征点为中心，计算这些点周围的Harr特征值，取Harr值最大的Harr方向为主方向，随后计算响应的权重，记为T1，然后计算这些特征点的LBP特征，计算相应的权重，记为T2。图像匹配时从图像左上角开始遍历匹配，T1，T2相同的情况下，最先匹配到的两个点为一对相互匹配的特征点。具体地步骤如下：

一种结合LBP特征提取和surf特征提取方法的图像匹配方法，包括三个步骤：

步骤一：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向，包括：

1. 构造高斯金字塔尺度空间，为保证图像的尺度不变性，首先对其进行高斯滤波，滤波后对每一个像素点进行Hessian 的计算得到图像的特征点。

2. 利用非极大值抑制初步确定特征点，此步骤和surf图像匹配方法类似，将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点。

3. 精确定位极值点，采用三维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阀值的点。

4. 选取特征点的主方向。在特征点的领域统计60度扇形内所有点的水平harr小波特征和垂直haar小波特征总和，这样一个扇形得到了一个值，然后60度扇形以一定间隔进行旋转，最后将最大那个扇形的方向最为该特征点的主方向。

步骤二：构建特征描述子，包括：

1. 构造算法描述子，在特征点周围选取一个正方形框，框的边长为20s（s是所检测到该特征点所在的尺度）将该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征即Σdx, Σd|x|, Σdy, Σd|y|,这样每个小区域就有4个值，这样就得到了第一组16*4=64维向量；

2. 以特征点为中心取一个9*9大小的图像区域，求取以它为中心的旋转不变LBP特征，亦可得到8*8=64维的第二组向量。将此两组向量各自高斯加权后作为新的图像特征提取和图像匹配方法描述子。

步骤三：特征点匹配，包括：

关键点匹配，采用两幅图像关键点之间的距离作为相似性判定度量，即在特征点haar特征值和LBP特征值相同的前提下，最先匹配到的两个特征点为一对匹配点。

如附图2至附图5分别为视角变化情况下、光照变化情况下、模糊变化情况下、旋转变化情况下的图像匹配。

实施例1

如附图2为视角变化情况下的图像匹配所示，视角变化对于图像变化来说是一个巨大的挑战，因为视角变化兼具旋转变化和尺度变化，图像像素间值的大小和相对位置都会发生变化，而且不会具有线性变化和全局性的特征，这就要求本发明的匹配子具有应对多种变化情形的能力，本发明提出匹配子因为由Harr向量T1，LBP向量T2组成，所以能够应对视角变化下的匹配。图中所示的是本发明提出的方法在视角变化下的匹配，匹配的正确率为92%。具有很好的匹配效果。

具体地说：对于两个输入图像，变化图像存在着20度~30度的视角变化，和15度的尺度变化。对于两个图像，我们在匹配两幅图像时，对于匹配需要的特征点，我们对两幅做同样的处理。过程如下：

首先我们构建Hessian矩阵，应用在图像像素矩阵，提取出初步特征点，Hessian矩阵构建如下：

判断图像像素矩阵每个像素det值，det为0的保留下来作为我们的初步特征点。

因为图像存在着15度的尺度变化，为了让图像获得尺度不变性，需要对两幅图进行尺度空间的构造。所获得图层，称为高斯金字塔即为不同尺度下的图像降采样。构建方式如图6所示。

然后精确定位特征点，然后从上向下扫描图像，扫描图层图像9个像素与自身尺度尺度层中其余8个点和在其之上及之下的两个尺度层9个点进行比较，共26个点。如图7所示：’X’的像素点的特征点所大于周围像素则可确定为该点为区域的特征点。

到此为止，已经可以把两幅图的特征点精确提取出来。

接下来需要确定每个特征点主方向：为保证旋转不变性，首先以特征点为中心，计算半径为6s（s为特征点所在的尺度值）领域内的点在z，y，方向的haar(Haar小波边长取4s)响应，并给这些响应值贡献小，其次将6s(s为特征点所的尺度值)范围内的响应相加以形成新的矢量，遍历整个圆形区域，选择最长矢量的方向为特征点的主方向。这样，通过特征点逐个进行计算，得到每一个特征点的主方向（如图8所示）。

特征点描述子的生成：

1，  首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

首先是haar特征描述：

如图9所示，以各自特征点为中心，选取8*8的窗口，图左部分的中央黑色为当前关键点的位置，每个小格代表关键点领域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算，每个像素对应一个向量，长度为该像素点高斯权值。然后再每4*4的小块计算8个方向梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子店，如右部分所示。此图中个关键点由2*2共4个种子点组成。所以haar特征可为4*4*4=64维向量。

然后是LBP特征描述向量：

如图10所示，以每个特征点为中心，以1为步长，取中心点3*3的像素范围，计算旋转不变LBP值。3*3旋转不变LBP计算方法如下：

再如图11所示，随后计算旋转LBP其他值，并计算权重，3*3的区域，出去中心点，一共可以得到8*4=32个旋转特征值。计算权重后可以得到LBP的匹配向量。

得到两个匹配向量之后，接下来就是图像的匹配：

两张图像，我们从两张图像左上角的地方开始遍历，比较他们的两个匹配向量，Haar向量和旋转LBP向量，最先匹配到的两个点视为一对匹配点。

实施例2

如附图3为光照变化情况下的图像匹配所示，在光照的条件下，由于图像被照射，图像上的像素点会出现像素值增高或者降低的情况。但是光照情况下像素的变化呈现线性变化的特点，本发明提出的方法中，Harr描述子和LBP描述子都能够有效的适应这种线性变化，准确的提取出能够代表局域特征的特征点。因此本发明提出的方法具有很强的光照不变性。图中所示的本发明提出的方法在光照情况下的匹配，可以看出，匹配的错误率为0。具有很好的匹配效果。

光照情况的图像匹配过程与视角变化匹配的过程相同，我们要做的是只需要把原始图像作为我们图像匹配部分的输入部分，输入到我们的图像匹配方法中。

实施例3

如附图4为模糊变化情况下的图像匹配所示，在图像发生模糊的时候，图像的像素变化呈现出全局性的特点，也就是说模糊对图像像素值的影响具有全局性，而本发明提出的方法中所包含的Harr描述子，因为描述向量取自图像的Harr特征，该特征只与像素间的差值有关系。所以模糊变化对Harr描述子的影响很小，故本发明提出的方法对模糊变化的情况也具有很好的匹配效果。同中所示的是本发明提出的方法在模糊情况下的匹配，匹配的正确率为93.8%。具有很好的匹配效果。

模糊情况的图像匹配过程与视角变化匹配的过程相同，我们要做的只是只需要把原始图像作为我们图像匹配部分的输入部分，输入到我们的图像匹配方法中。

实施例4

如附图5为旋转变化情况下的图像匹配所示，在图像发生旋转时，图像像素的变化具体体现为像素彼此的方位会发生变化，这就造成了基友图像间像素差值的Harr特征匹配的效果较差，但是我们提出的旋转不变的LBP描述子，由于是基于图像特征点周围像素点尤其的大小关系，所以在应对旋转情况时具有很好的匹配效果。图中所示的是本发明提出的方法在旋转情况下的匹配，匹配的正确率为97.2%。具有很好的匹配效果。

旋转情况的图像匹配过程与视角变化匹配的过程相同，我们要做的只是只需要把原始图像作为我们图像匹配部分的输入部分，输入到我们的图像匹配方法中。

Claims (4)

1. 一种结合LBP特征提取和surf特征提取方法的图像匹配方法，其特征在于：

步骤一：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向；

步骤二：构建特征描述子；

步骤三：特征点匹配。

2.根据权利要求1所述的一种结合LBP特征提取和surf特征提取方法的图像匹配方法，其特征在于：

步骤一：利用Hessian矩阵，高斯金字塔提取特征点，并确定方向，包括：

构造高斯金字塔尺度空间，为保证图像的尺度不变性，首先对其进行高斯滤波，滤波后对每一个像素点进行Hessian 的计算得到图像的特征点；

利用非极大值抑制初步确定特征点，将经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点；

精确定位极值点，采用三维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阀值的点；

选取特征点的主方向，在特征点的领域统计60度扇形内所有点的水平harr小波特征和垂直haar小波特征总和，这样一个扇形得到了一个值，然后60度扇形以一定间隔进行旋转，最后将最大那个扇形的方向最为该特征点的主方向。

3.根据权利要求1所述的一种结合LBP特征提取和surf特征提取方法的图像匹配方法，其特征在于：

所述的步骤二：构建特征描述子，包括：

构造算法描述子，在特征点周围选取一个正方形框，框的边长为20s（s是所检测到该特征点所在的尺度）将该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征即Σdx, Σd|x|, Σdy, Σd|y|,这样每个小区域就有4个值，这样就得到了第一组16*4=64维向量；

以特征点为中心取一个9*9大小的图像区域，求取以它为中心的旋转不变LBP特征，亦可得到8*8=64维的第二组向量；

将此两组向量各自高斯加权后作为新的图像特征提取和图像匹配方法描述子。

4.根据权利要求1所述的一种结合LBP特征提取和surf特征提取方法的图像匹配方法，其特征在于：

步骤三：特征点匹配，包括：

关键点匹配，采用两幅图像关键点之间的距离作为相似性判定度量，即在特征点haar特征值和LBP特征值相同的前提下，最先匹配到的两个特征点为一对匹配点。