CN103077512A - 基于主成分析的数字图像的特征提取与匹配方法及装置 - Google Patents

Abstract

基于主成分析的数字图像的特征提取与匹配方法及装置，属于图像分析技术领域。所述的方法包括如下步骤：1）尺度空间极值点检测；2）定位极值点；3）极值点方向分配：4）PCA降维及图像特征描述子的生成；5）相似性度量的判定及特征匹配；所述的装置主要包括：数值预处理模块、特征点提取模块、特征点匹配模块。本发明比原有的SIFT特征提取与匹配算法具有更高的精确度与匹配速度，本发明可直接应用于基于内容的数字图像检索、基于内容的数字视频检索、数字图像融合、超分辨率图像重建等机器视觉领域。

Description

基于主成分析的数字图像的特征提取与匹配方法及装置

技术领域

本发明涉及一种数字图像的特征提取与匹配方法及装置。

背景技术

主成分析(Principal Component Analysis,PCA)，又称主分量分析。是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。该方法是一种将多个相关的变量转化为少数几个独立的变量的有效分析方法，通过减少通道间的依赖性而达到减少数据的通道或子带的目的。

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。

数字图像特征提取是基于内容的图像检索的关键步骤。目前，针对于特征提取的方法有很多，其中多数方法是基于颜色、纹理、形状或空间关系。颜色特征是全局特征，对丰富的区域对象详细信息并不敏感；而纹理特征易受光照和仿射变化的影响；当物体旋转、缩放或变形时，形状特征和空间关系特征不会捕捉精确的特征点。Harris角检测算法对图像的尺度变化非常敏感，不适合匹配不同尺寸下的图像。尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法是近几年提出的在基于不变量技术的特征检测方法的基础上，一种基于尺度空间、对图像缩放、旋转甚至仿射变换保持不变的特征匹配算法。算法的主要特点有：

1.SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

2.独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

3.多量性，即使少数的几个物体也可以产生大量SIFT特征向量；

4.高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；

5.可扩展性，可以很方便的与其他形式的特征向量进行联合。

但是，SIFT采用128维特征向量表示，当在图像特征点较多情况下进行匹配实验时，存在存储空间大、匹配耗时多等缺点，因此需要对数据进行降维处理。

此外，在特征匹配的过程中，通过特征提取生成图像特征点以后，进行特征匹配可以通过计算每个特征点与待训练图像序列中每幅图像的特征点的最短距离，即——欧式距离来得到。当两幅图像的SIFT特征向量生成后，采用极值点特征向量的欧式距离来作为两幅图像中极值点的相似性判定度量。要确定特征匹配是否成功，需要设置一个固定的比例阈值，如果特征点的欧式距离小于某个比例阈值，则接受这一对匹配点，认为这两个特征点匹配成功。如果降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

同样，该算法也存在缺陷，特征提取后，在对特征进行匹配的时候，用户定义的感兴趣区往往有用户并不需要匹配的图像数据。例如图3中，用户需要提取“象”的特征并进行匹配，而不需要图像中草地与树木枝干的信息，这些信息被用户“误”选择，因此也会参与图像特征的提取，带来算法的复杂度与数据冗余。

发明内容

针对以上问题，本发明的目的在于提供一种准确、高效的数字图像特征提取与匹配的方法及装置，其采用SIFT算法对数字图像进行特征提取，当生成图像特征描述子时，通过PCA将临域内的数据降维生成图像特征描述子，来代替原有的SIFT特征描述子；最后采用高斯加权欧式距离代替欧式距离完成特征匹配。

其具体步骤包括：

1）尺度空间极值点检测：

首先使用原始图像与可变尺度的高斯函数进行卷积，生成多尺度空间图像。然后，使用高斯差分(Difference-of-Gaussian，DoG)函数与原始图像进行卷积，生成高斯差分图像序列；在高斯差分图像序列中，对比每个当前像素与3×3邻域的当前尺度和相邻尺度共26个像素点的最大、最小值，得到原始图像的极值点。

2）定位极值点：

由于DoG算子会产生较强的边缘响应，为了提高特征匹配的精度和抗噪能力，需要去除低对比度的极值点和不稳定的边缘响应点。过程为：确定原始图像的极值点以后，通过使用尺度空间的三维二次函数拟合当地的采样点，将高斯差分图像序列中的DoG算子展开为泰勒展开式：

$D\left(x\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X$

其中X=(x,y,σ)^T；x、y为原始图像坐标，σ为图像尺度，D(x)为DoG算子的泰勒展开形式。

通过2×2的Hessian矩阵H求得D的主曲率。令α和β分别为最大、最小特征值，则：

Tr(H)=D_xx+D_yy=α+β

Det(H)=D_xxD_yy-(D_xy)²=αβ

其中D_xx为对x的二阶偏导数；D_yy为对y的二阶偏导数；D_xy为对x和y的二阶偏导数；Tr(H)为矩阵H对角线的和；Det(H)为矩阵H的行列式；α为矩阵H在x方向上的梯度；β为矩阵H在y方向上的梯度。

令α=γ₁β，(γ₁+1)²/γ₁的值在两个特征值相等的时候最小，随着γ₁的增大而增大。为了准确估计边缘响应，检查主曲率的比例低于比例阈值γ₁，只需检测以下不等式来去除边缘响应：

$\frac{\mathrm{Tr}\left(H\right)}{\mathrm{Det}\left(H\right)}<\frac{{({\mathrm{\&gamma;}}_1+1)}^2}{{\mathrm{\&gamma;}}_1}$

其中γ₁为用来去除边缘响应而设置的阈值，本发明中，设置γ₁=10。如果不等式成立，则保留该极值点；如果不等式不成立，则去除该极值点。

3）极值点方向分配：

获得并且定位极值点后，利用极值点邻域像素的梯度方向分布特性为每个极值点指定方向参数，使算子具备旋转不变性：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

式中m(x,y)和θ(x,y)分别代表极值点(x,y)处的模值和方向。L(x+1,y)、L(x-1,y)、L(x,y+1)、L(x,y-1)分别代表点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的灰度值。以极值点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，建立梯度方向直方图分配极值点的主方向和辅方向。梯度方向直方图的横轴为方向，范围是0～360度，其中每10度一个柱，总共36个柱；纵轴为对应方向的邻域像素数。直方图的纵轴最大值，即主峰值，它代表了极值点邻域梯度的主方向，当存在另一个相当于主峰值80%能量以上的峰值时，则将峰值定义为极值点的辅方向。一个极值点可能会被指定具有多个方向（一个主方向，一个以上辅方向），从而增强算法匹配的鲁棒性。

4）PCA降维及图像特征描述子的生成：

主元分析又称主分量分析（以下简称PCA）。是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。

本发明中，以每个极值点为中心取41×41像素的窗口，分别计算垂直和水平梯度，并以大小为39×39×2=3042维的矢量进行描述。利用PCA将3042维数据进行降维。

首先将坐标轴旋转为极值点的方向，以确保旋转不变性。接下来以极值点为中心取8×8的窗口。图5左部分的中央黑点为当前极值点的位置，每个小格代表极值点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近极值点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，错误！未找到引用源。右部分所示。此图中一个极值点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

本发明中，对每个极值点使用4×4共16个种子点来描述，这样对于一个极值点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

计算投影矩阵步骤如下：

设

是n幅待配准的图像，经过1）至3）三个步骤检测到m个极值点，以每个极值点为中心取41×41的窗口，分别计算垂直和水平梯度，并以大小为39×39×2=3042维矢量进行描述。将矢量放入m×3042的矩阵I中，并对数据标准化，得：

建立其相关矩阵：R=I^TI/n

其中

是n幅待配准的图像；R为相关矩阵。

求R的特征值：λ₁,λ₂…λ_m，按从大到小的顺序对其排序，并求得相应的单位特征向量，记为：K＝(K₁,K₂,...,K_m)；

选择前k个特征向量，构成k×3042投影矩阵并存储，记为P。

生成低维特征描述子。

得到投影矩阵后，对于待配准图像的极值点中心取41×41的窗口，旋转到它的主方向，并分别计算垂直和水平梯度，构成3042维矢量v(N_i)。用预先计算好的投影矩阵P与此矢量相乘，最终生成k维PCA-SIFT描述子d_k，即：

d_k=v(N_i)*P

其中0<k<3042，为特征描述子的维度；P为投影矩阵；d_k为PCA-SIFT描述子；v(N_i)为3042维特征向量；*为卷积符号。

最终采用低维（16维，32维，64维）数据描述每一个极值点，使之即保持丰富的信息量，及对噪声、旋转、尺度变化、光照、视角变化的不变性，又具有较少的数据冗余。通过以上步骤得到的极值点称为原始图像的特征点或者特征向量。

5）相似性度量的判定及特征匹配：

获得每一幅图像的特征点以后，在判断两幅图像的相似性时，计算两幅图像中每个特征点之间的最短距离，即——欧式距离。

本发明中选取高斯加权欧式距离代替欧式距离；设置一个阈值γ₂的范围为0.7≤γ₂≤0.9，进行相似性度量的判定。

本发明同时提出了一种对数字图像进行特征提取及特征匹配的装置。该装置主要包括：数值预处理模块、特征点提取模块、特征点匹配模块。数值预处理模块对输入的图像转化为灰度图像，并生成二维数组数据，同时设置两个比较阈值；特征点提取模块分为极值点检测与定位单元、多维数值计算单元和PCA降维单元；特征点匹配模块分为计算单元、比较单元和特征匹配点输出单元。若比较单元未通过，则数据不经过特征匹配点输出单元，而获取其它数据继续从特征点提取模块开始，直至二维数组中的全部数据处理完毕。

本发明可以取得如下有益效果：

本发明将主成分析(Principal Component Analysis—简称PCA)理论运用到数字图像特征提取中，通过尺度空间极值点检测、精确定位极值点、极值点方向分配，然后通过PCA降维生成图像特征描述子，完成数字图像的特征提取；最后采用高斯加权欧式距离代替欧式距离进行特征匹配，最终实现一套完整的对数字图像的特征进行提取，并对特征进行匹配的方法，总流程图如图1所示。该特征提取与匹配的装置包括：数值预处理模块、特征点提取模块、特征点匹配模块，装置如图2所示。本发明比原有的SIFT特征提取与匹配算法具有更高的精确度与匹配速度，本发明可直接应用于基于内容的数字图像检索、基于内容的数字视频检索、数字图像融合、超分辨率图像重建等机器视觉领域。

附图说明

图1特征提取与匹配方法流程图

图2特征提取与匹配装置示意图

图3人眼视觉特性示意

图4DoG尺度空间极值点检测

图5特征极值点向量的获取

图6Corel数据库特征提取与匹配实例

具体实施方式

为了更好地理解本发明，下面结合附图和具体实施方式对本发明作详细说明。本发明提出了一种新的基于主成分析的数字图像特征提取与匹配的方法及装置，其包括如下步骤：

1）尺度空间极值点检测。

首先，根据原始图像I(x,y)与可变尺度的高斯函数的卷积，生成多尺度空间图像L(x,y,σ)，公式为：L(x,y,σ)=G(x,y,σ)*I(x,y)

高斯卷积核G(x,y,σ)定义为：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}$

其中，x空间坐标中的横坐标；y是空间坐标中的纵坐标；σ是尺度坐标；*为卷积符号。

其次，使用高斯差分(Difference-of-Gaussian，DoG)函数与图像进行卷积，计算尺度空间极值点，可有效地检测在尺度空间中稳定的极值点位置。相邻的两个尺度的差分值由常数计算卷积函数乘法因子k。DoG算子公式为：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

式中：D(x,y,σ)为DoG算子，G(x,y,kσ)为尺度为kσ的高斯函数，G(x,y,σ)为尺度为σ的高斯函数，I(x,y)为原始图像。

根据DoG算子的计算公式，初始图像与高斯卷积产生尺度空间的图像序列，相邻高斯图像做差，生成差分高斯图像。每完成一组高斯图像，就进行因子2降采样，如此反复。下一组的图像由上一组图像降采样生成，最终生成的结构称为高斯金字塔。

为了有效地检测出DoG算子中尺度空间的极值，需要在高斯差分图像序列中，对比每个像素与3×3邻域的当前尺度和相邻尺度共26个像素点的最大、最小值。如图4所示，中间的检测点与同尺度的8个相邻点和上下相邻尺度对应的26（9×3-1）个点进行比较，以确保尺度空间和二维图像空间都检测到极值点。

2）精确定位极值点

由于DoG算子会产生较强的边缘响应，为了提高特征匹配的精度和抗噪能力，需要去除低对比度的极值点和不稳定的边缘响应点。过程为：确定原始图像的极值点以后，通过使用尺度空间的三维二次函数拟合当地的采样点，将DoG算子展开为泰勒展开式：

$D\left(x\right)=D+\frac{\&PartialD;D^T}{\&PartialD;X}X+\frac{1}{2}{X}^T\frac{{\&PartialD;}^{2}D}{\&PartialD;X^2}X$

其中X=(x,y,σ)^T；x、y为原始图像坐标，σ为图像尺度，D(x)为DoG算子的泰勒展开形式。

一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2的Hessian矩阵H求出：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]$

其中D_xx为对x的二阶偏导数；D_yy为对y的二阶偏导数；D_xy为对x和y的二阶偏导数；H为Hessian矩阵的值。

导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令α为最大特征值，β为最小的特征值，则：

Tr(H)=D_xx+D_yy=α+β

Det(H)=D_xxD_yy-(D_xy)²=αβ

其中D_xx为对x的二阶偏导数；D_yy为对y的二阶偏导数；D_xy为对x和y的二阶偏导数；Tr(H)为矩阵H对角线的和；Det(H)为矩阵H的行列式；α为矩阵H在x方向上的梯度；β为矩阵H在y方向上的梯度。

令α=γ₁β，(γ₁+1)²/γ₁的值在两个特征值相等的时候最小，随着γ₁的增大而增大。为了准确估计边缘响应，检查主曲率的比例低于某个阈值γ1，只需检测来去除边缘响应：

$\frac{\mathrm{Tr}\left(H\right)}{\mathrm{Det}\left(H\right)}<\frac{{({\mathrm{\&gamma;}}_1+1)}^2}{{\mathrm{\&gamma;}}_1}$

其中γ₁为用来去除边缘响应而设置的阈值，本发明中，设置γ₁=10。

3）极值点方向分配

利用极值点邻域像素的梯度方向分布特性为每个极值点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)=tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

式中m(x,y)和θ(x,y)分别代表极值点(x,y)处的模值和方向。L(x+1,y)、L(x-1,y)、L(x,y+1)、L(x,y-1)分别代表点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的灰度值。

本发明在实际应用时，以极值点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度方向直方图的横轴为方向，范围是0～360度，其中每10度一个柱，总共36个柱；纵轴为对应方向的邻域像素数。直方图的纵轴最大值，即主峰值，它代表了极值点邻域梯度的主方向，当存在另一个相当于主峰值80%能量以上的峰值时，则将峰值定义为极值点的辅方向。一个极值点可能会被指定具有多个方向（一个主方向，一个以上辅方向），从而增强算法匹配的鲁棒性。

4）PCA降维及图像特征描述子的生成

首先将坐标轴旋转为极值点的方向，以确保旋转不变性。接下来以极值点为中心取8×8的窗口。图5左部分的中央黑点为当前极值点的位置，每个小格代表极值点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近极值点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，错误！未找到引用源。右部分所示。此图中一个极值点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

本发明中，对每个极值点使用4×4共16个种子点来描述，这样对于一个极值点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

计算投影矩阵步骤如下：

设

是n幅待配准的图像，经过1）至3）三个步骤检测到m个极值点，以每个极值点为中心取41×41的窗口，分别计算垂直和水平梯度，并以大小为39×39×2=3042维矢量进行描述。将矢量放入m×3042的矩阵I中，并对数据标准化，得：

建立其相关矩阵：R=I^TI/n

其中

是n幅待配准的图像；R为相关矩阵。

求R的特征值：λ₁,λ₂…λ_m，按从大到小的顺序对其排序，并求得相应的单位特征向量，记为：K＝(K₁,K₂,...,K_m)；

选择前k个特征向量，构成k×3042投影矩阵并存储，记为P。

生成低维特征描述子。

得到投影矩阵后，对于待配准图像的极值点中心取41×41的窗口，旋转到它的主方向，并分别计算垂直和水平梯度，构成3042维矢量v(N_i)。用预先计算好的投影矩阵P与此矢量相乘，最终生成k维PCA-SIFT描述子d_k，即：

d_k=v(N_i)*P

其中0<k<3042，为特征描述子的维度；P为投影矩阵；d_k为PCA-SIFT描述子；v(N_i)为3042维特征向量；*为卷积符号。

本发明利用PCA的特点是针对不同精度，采用不同的维度，维度越高精度越高，处理速度越慢，本发明取k＝20，即20维。

5）相似性度量的判定及特征匹配

通过特征提取生成图像特征点以后，进行特征匹配可以通过计算每个特征点与待训练图像序列中每幅图像的特征点的最短距离，即——欧式距离来得到。

定义P=(p_x,p_y)和Q=(q_x,q_y)分别为两个坐标点，欧氏距离计算公式为：

$\mathrm{Ed}(P,Q)=\sqrt{{(p_x-q_x)}^2+{(p_y-q_y)}^2}$

其中Ed(P,Q)为欧式距离的值；p_x、p_y分别为点P的横纵坐标；q_x、q_y分别为点Q的横纵坐标。

本发明中，引入高斯权重值，计算高斯加权欧式距离来代替欧式距离。

$d(i,j)={\left|\right|v\left(N_i\right)-v\left(N_j\right)\left|\right|}_{2,a}^2$

其中v(N_i)和v(N_j)分别为待匹配的特征向量，a>0为高斯核的标准差，d(i,j)为任意两个特征向量间高斯加权欧式距离。

欧式距离作为两幅图像中特征点的相似性判定度量。遍历每个特征点，找出其与待配准图像中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值γ₂，则接受这一对匹配点，特征点匹配成功。如果降低这个比例阈值，特征匹配点数会减少，但更加稳定。

$\frac{d(i,j_{1\mathrm{st\; nearest}})}{d(i,j_{2\mathrm{nd\; nearest}})}<{\mathrm{\&gamma;}}_2$

其中，d(i,j_1st nearest)为两个待匹配的特征点最近的距离；d(i,j_2nd nearest)为两个待匹配的特征点次近的距离。本发明中设置阈值γ₂=0.8。

式中A是振幅，x₀和y₀是图像中心坐标。评价系统稳定性的指标为准确率（Precision）和查全率（Recall），公式分别表示为：

$\mathrm{precision}=\frac{N_1}{N_F},$ $\mathrm{recall}=\frac{N_1}{N_A}$

式中N_F为应匹配的特征点数量；N_A为实验匹配的所有特征点数量，包括正确的和错误的；N₁为实验匹配的正确的特征点数量。

本发明装置以Corel标准数字图像数据库为例进行说明。任选库中的20幅图像，图像Elephant.jpg与其余19幅图像进行特征提取与匹配，匹配结果如图6所示。

Claims (2)

1.基于主成分析的数字图像的特征提取与匹配方法，其特征在于：其包括下述步骤: 

1）尺度空间极值点检测： 

首先使用原始图像与可变尺度的高斯函数进行卷积，生成多尺度空间图像；然后，使用高斯差分(Difference-of-Gaussian，DoG)函数与原始图像进行卷积，生成高斯差分图像序列；在高斯差分图像序列中，对比每个当前像素与3×3邻域的当前尺度和相邻尺度共26个像素点的最大、最小值，得到原始图像的极值点； 

2）定位极值点： 

确定原始图像的极值点以后，通过使用尺度空间的三维二次函数拟合当地的采样点，将高斯差分图像序列中的DoG算子展开为泰勒展开式： 

其中X=(x,y,σ)^T；x、y为原始图像坐标，σ为图像尺度，D(x)为DoG算子的泰勒展开形式； 

通过2×2的Hessian矩阵H求得D的主曲率；令α和β分别为最大、最小特征值，则： 

Tr(H)=D_xx+D_yy=α+β 

Det(H)=D_xxD_yy-(D_xy)²=αβ 

其中D_xx为对x的二阶偏导数；D_yy为对y的二阶偏导数；D_xy为对x和y的二阶偏导数；Tr(H)为矩阵H对角线的和；Det(H)为矩阵H的行列式；α为矩阵H在x方向上的梯度；β为矩阵H在y方向上的梯度； 

令α=γ₁β，(γ₁+1)²/γ₁的值在两个特征值相等的时候最小，随着γ₁的增大而增大；为了准确估计边缘响应，检查主曲率的比例低于比例阈值γ₁，只需检测以下不等式来去除边缘响应： 

其中γ₁为用来去除边缘响应而设置的阈值，设置γ₁=10；如果不等式成立，则保留该极值点；如果不等式不成立，则去除该极值点； 

3）极值点方向分配： 

获得并且定位极值点后，利用极值点邻域像素的梯度方向分布特性为每个极值点指定方向参数，使算子具备旋转不变性： 

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) 

式中m(x,y)和θ(x,y)分别代表极值点(x,y)处的模值和方向；L(x+1,y)、L(x-1,y)、L(x,y+1)、L(x,y-1)分别代表点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的灰度值；以极值点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，建立梯度方向直方图分配极值点的主方向和辅方向；梯度方向直方图的横轴为方向，范围是0～360度，其中每10度一个柱，总共36个柱；纵轴为对应方向的邻域像素数；直方图的纵轴最大值，即主峰值，它代表了极值点邻域梯度的主方向，当存在另一个相当于主峰值80%能量以上的峰值时，则将峰值定义为极值点的辅方向； 

4）PCA降维及图像特征描述子的生成： 

主元分析PCA是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法； 

以每个极值点为中心取41×41像素的窗口，分别计算垂直和水平梯度，并以大小为39×39×2=3042维的矢量进行描述；利用PCA将3042维数据进行降维； 

具体做法为： 

首先将坐标轴旋转为极值点的方向，以确保旋转不变性；接下来以极值点为中心取8×8的窗口；然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，一个极值点由2×2共4个种子点组成，每个种子点有8个方向向 量信息；这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性； 

对每个极值点使用4×4共16个种子点来描述，这样对于一个极值点就可以产生128个数据，即最终形成128维的SIFT特征向量；此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响； 

计算投影矩阵步骤如下： 

设

是n幅待配准的图像，经过1）至3）三个步骤检测到m个极值点，以每个极值点为中心取41×41的窗口，分别计算垂直和水平梯度，并以大小为39×39×2=3042维矢量进行描述；将矢量放入m×3042的矩阵I中，并对数据标准化，得： 

建立其相关矩阵：R=I^TI/n 

其中

是n幅待配准的图像；R为相关矩阵； 

求R的特征值：λ₁,λ₂…λ_m，按从大到小的顺序对其排序，并求得相应的单位特征向量，记为：K＝(K₁,K₂,...,K_m)； 

选择前k个特征向量，构成k×3042投影矩阵并存储，记为P； 

生成低维特征描述子； 

得到投影矩阵后，对于待配准图像的极值点中心取41×41的窗口，旋转到它的主方向，并分别计算垂直和水平梯度，构成3042维矢量v(N_i)；用预先计算好的投影矩阵P与此矢量相乘，最终生成k维PCA-SIFT描述子d_k，即： 

d_k=v(N_i)*P 

其中0<k<3042，为特征描述子的维度；P为投影矩阵；d_k为PCA-SIFT描述子；v(N_i)为3042维特征向量；*为卷积符号； 

最终采用低维数据描述每一个极值点，使之即保持丰富的信息 量，及对噪声、旋转、尺度变化、光照、视角变化的不变性，又具有较少的数据冗余；通过以上步骤得到的极值点称为原始图像的特征点或者特征向量；所述的低维为16维，32维或64维； 

5）相似性度量的判定及特征匹配： 

获得每一幅图像的特征点以后，在判断两幅图像的相似性时，计算两幅图像中每个特征点之间的最短距离，即——欧式距离； 

或选取高斯加权欧式距离代替欧式距离； 

设置一个阈值γ₂的范围为0.7≤γ₂≤0.9，进行相似性度量的判定。 

2.一种对数字图像进行特征提取及特征匹配的装置，其特征在于：该装置主要包括：数值预处理模块、特征点提取模块、特征点匹配模块；数值预处理模块对输入的图像转化为灰度图像，并生成二维数组数据，同时设置两个比较阈值；特征点提取模块分为极值点检测与定位单元、多维数值计算单元和PCA降维单元；特征点匹配模块分为计算单元、比较单元和特征匹配点输出单元；若比较单元未通过，则数据不经过特征匹配点输出单元，而获取其它数据继续从特征点提取模块开始，直至二维数组中的全部数据处理完毕。 

Images