CN102004916A - 图像特征提取系统及其方法 - Google Patents

Abstract

本发明提供一种图像特征提取系统及其方法，本发明的方法计算各个关键点的局部图像重要性以及空间分布重要性，根据对各个关键点的重要性的评估，从中挑选出重要的关键点来描述目标，避免了次要关键点的影响，既提高了目标识别的准确程度，又降低了后续匹配过程中的运算量。

Description

图像特征提取系统及其方法

【技术领域】

本发明图像识别领域，特别是关于图像特征提取的图像特征提取系统及其方法。

【背景技术】

图像局部特征是模式识别领域近年来涌现出的一类描述图像特性的鲁棒特征。这类特征具有很强的区分力和稳定性，基于这些局部特征的三维重建、图像拼接、摄像机标定、图像与视频检索、视频跟踪技术都取得了较大的成功。

目前最常用的局部特征提取方法就是SIFT变换(全称为Scale InvariantFeature Transformation，即尺度不变特征变换)，该变换可以提取出对图像缩放、旋转甚至仿射变换都保持不变的图像局部特征。SIFT变换首先检测出图像中的显著性结构即尺度空间极值点，这些显著结构在图像中往往称作关键点(KeyPoint)。

检测出关键点之后，在各个关键点为中心的大小为8×8的图像窗口中，计算梯度方向直方图作为各个关键点的特征。

但是，SIFT变换存在一个严重的问题，即会在一幅图像中产生大量的关键点，如图1所示，这会产生大量的特征，冗余信息很多，对于描述物体的特征以及后续的匹配、识别操作都是十分不利的。

【发明内容】

本发明的目的就是提出一种能够准确提取图像特征又能降低后续匹配过程中运算量的的图像特征提取系统。

本发明的另一目的在于提出一种能够准确提取图像特征又能降低后续匹配过程中运算量的图像特征提取方法。

为达成前述目的，本发明一种图像特征提取系统，其包括：

图像关键点检测单元，其检测并初步确定图像中的关键点；

局部图像重要性判断单元，其对图像关键点检测单元初步确定的关键点进行重要性分析，获得每个关键点的局部图像重要性信息；

空间位置重要性判断单元，其对每个关键点进行空间位置重要性分析，获取每个关键点的空间位置重要性信息；

重要性排序单元，结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序；

关键点筛选单元，依据重要性排序单元对关键点的排序选出排在前面的若干个关键点，其余的予以剔除，挑选出重要的关键点。

进一步地，所述图像关键点检测单元采用尺度不变特征变换(SIFT变换)检测图像中的关键点。

进一步地，所述局部图像重要性判断单元计算关键点图像的信息熵来判断关键点的局部图像重要性，熵值越高，则该关键点越重要。

进一步地，所述空间位置重要性判断单元确定以关键点为中心的不同大小的图像窗口，然后计算不同窗口图像的直方图的变化值，不同窗口图像的直方图的变化值越大则图像空间位置重要性越高。

进一步地，所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积，计算关键点的重要性值，然后依据该重要性值对关键点进行排序。

为达成前述另一目的，本发明一种图像特征提取方法，其包括：

对输入的图像进行关键点检测，获取n个关键点的位置；

计算每个关键点的局部图像重要性；

计算每个关键点的空间位置重要性信息；

结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序；

依据重要性排序单元对关键点的排序选出排在前面的若干个关键点，其余的予以剔除，挑选出重要的关键点。

进一步地，所述对输入的图像进行关键点检测是采用尺度不变特征变换(SIFT变换)检测图像中的关键点。

进一步地，所述计算每个关键点的局部图像重要性是计算关键点图像的信息熵来判断关键点的局部图像重要性，熵值越高，则该关键点越重要，其中图像熵值的计算为：

$\mathrm{EN}\left(I\right)=-\underset{g=0}{\overset{255}{\mathrm{\Σ}}}p\left(g\right)\mathrm{lo}{g}_{2}p\left(g\right)$

其中，p(g)表示图像I中灰度等于g的所有像素点的个数N(g)与图像中总的像素数N的比值即

进一步地，所述计算每个关键点的空间位置重要性信息包括：

确定以关键点为中心的不同大小的图像窗口；

计算不同窗口图像的直方图的变化值，不同窗口图像的直方图的变化值越大则图像空间位置重要性越高，其中不同窗口的直方图的变化值为：

$\mathrm{\Δ}(x_i,y_i)=\frac{1}{2}\underset{d=-1}{\overset{+1}{\mathrm{\Σ}}}\underset{i=0}{\overset{255}{\mathrm{\Σ}}}|\stackrel{\‾}{H}(x,y)-\stackrel{\‾}{H}(x,y,d)|$

为以关键点为中心的图像窗口的归一化直方图，

为窗口大小变化d之后以关键点为中心的图像窗口的归一化直方图。

进一步地，所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积，计算关键点的重要性值，然后依据该重要性值对关键点进行排序。

与现有的图像局部特征提取方法相比，本发明根据对各个关键点的重要性的评估，从中挑选出重要的关键点来描述目标，避免了次要关键点的影响，既提高了目标识别的准确程度，又降低了后续匹配过程中的运算量。

【附图说明】

图1是现有的SIFT变换中关键点太多的示意图。

图2是本发明的图像特征提取系统的结构框图。

图3是本发明图像特征提取系统的图像关键点检测单元初步检测关键点的示意图。

图4是本发明特征提取系统的图像关键点检测单元确定关键点特征向量的示意图。

图5是不同图像块的灰度直方图，以证明熵是一种合理的图像重要性度量。

图6是具有相同的熵值的不同图像的示意图。

图7是本发明特征提取系统的特征提取方法的流程图。

【具体实施方式】

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

请参阅图2所示，其显示本发明的图像特征提取系统2的结构框图。如图所示，本发明的图像特征提取系统2其包括图像关键点检测单元21、局部图像重要性判断单元22、空间位置重要性判断单元23、重要性排序单元24以及关键点筛选单元25。

图像关键点检测单元21用于对输入的图像进行关键点检测，其中检测的具体方法为使用SIFT变换(全称为Scale Invariant Feature Transformation，即尺度不变特征变换)获取图像中各个关键点的特征向量。如图3所示，SIFT变换的方法首先对图像进行尺度空间极值检测，以初步确定关键点位置和所在尺度。在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。如图4所示，检测出关键点之后，在各个关键点为中心的大小为8×8的图像窗口中，计算梯度方向直方图作为各个关键点的特征。关于SIFT变换的其他具体步骤为本领域技术人员应当知道的技术，因此本说明书不再具体详细说明。

如前述背景技术中所述，SIFT变换存在一个严重的问题，即会在一幅图像中产生大量的关键点，如图1所示，这会产生大量的特征，冗余信息很多，对于描述物体的特征以及后续的匹配、识别操作都是十分不利的。因此在检测出关键点之后进一步判断每个关键点的重要性。

局部图像重要性判断单元22使用图像信息熵来衡量各个关键点的重要程度。图像信息熵是衡量图像信息丰富程度的一个重要指标，表示一幅图像包含信息量的多少，图像的熵值越大，说明图像信息越丰富。任意一幅图像I的信息熵可以按照如下公式来计算：

$\mathrm{EN}\left(I\right)=-\underset{g=0}{\overset{255}{\mathrm{\Σ}}}p\left(g\right)\mathrm{lo}{g}_{2}p\left(g\right)---\left(1\right)$

其中，p(g)表示图像I中灰度等于g的所有像素点的个数N(g)与图像中总的像素数N的比值即

可见，只要计算出图像I图像的灰度直方图N(0)，N(1)，…，N(255)就可以确定出其图像信息熵。

图5是不同图像块的灰度直方图。可以看出，那些视觉上较为显著的区域往往具有比较复杂的局部结构，其灰度直方图的分布也趋向于平坦，从而具有较大的熵值；而那些不太显著的区域的灰度直方图则呈明显的峰状分布，从而具有较小的熵值。因此，熵是一种合理的图像重要性度量。

对于每个关键点(x_i，y_i)，我们提取以(x_i，y_i)为中心的8×8的图像窗口，如图4所示，计算该窗口中的图像直方图，再按照公式(1)计算出熵EN(x_i，y_i)，熵值越高表明该关键点的局部特征越显著，描述能力越强，其重要性就应该越高。

由于熵计算过程只需要计算局部直方图，忽略了结构和空间信息，一个很明显的推论就是此区域中像素的任何一种排列都具有相同的熵值。如图6所示，(a)是一个从摩托车图像中截取的图像块，(b)是其像素的随机排列。这两个图像块虽然具有相同的熵值，但显然图(a)的图像块从视觉上感觉更显著一些，因为其中像素的排列具有高度的结构性。而图(b)这种结构性差的局部区域对于特征提取是没有什么意义的。

为了处理情况，本发明的空间位置重要性判断单元23进一步使用直方图的变化来区别有相似灰度分布的局部图像的重要性。具体的，我们改变以各个关键点为中心的图像窗口的大小，然后计算直方图的变化，如果直方图变化越小，表明该局部图像的结构性越不好，越类似于随机区域。设以关键点(x_i，y_i)为中心的8×8的图像窗口计算出的直方图为H(x_i，y_i)，我们对其进行归一化，得到归一化直方图，即对H(x_i，y_i)中的每个元素都除以一个常数使得所有元素的和为1。然后，调整图像窗口的大小至(8+d)×(8+d)，一般，d可以取-1，1，计算出归一化之后的直方图

，计算

与他们的差异：

$\mathrm{\Δ}(x_i,y_i)=\frac{1}{2}\underset{d=-1}{\overset{+1}{\mathrm{\Σ}}}\underset{i=0}{\overset{255}{\mathrm{\Σ}}}|\stackrel{\‾}{H}(x,y)-\stackrel{\‾}{H}(x,y,d)|---\left(2\right)$

Δ(x_i，y_i)的数值越大，表明(x_i，y_i)处的局部特征的结构性程度越高。最后，关键点(x_i，y_i)的重要性α_i计算为：

α_i＝Δ(x_i，y_i)×EN(x_i，y_i)(3)

重要性排序单元24根据公式(3)计算出的关键点的重要性α_i对所有的关键点的重要性进行排序。

关键点筛选单元25根据重要性排序单元24的排序选出排在前面的若干个关键点，其余的都予以剔除，就实现了挑选出重要的关键点的目标。

请参阅图7所示，其显示本发明的图像特征提取系统的图像特征提取方法的流程图。本发明的特征提取方法包括：

步骤S701：对输入的图像进行关键点检测，获取n个关键点的位置

其中具体的检测方法为使用SIFT变换(全称为Scale Invariant FeatureTransformation，即尺度不变特征变换)获取图像中各个关键点的特征向量。如图3所示，SIFT变换的方法首先对图像进行尺度空间极值检测，以初步确定关键点位置和所在尺度。在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。如图4所示，检测出关键点之后，在各个关键点为中心的大小为8×8的图像窗口中，计算梯度方向直方图作为各个关键点的特征。

步骤S702：计算每个关键点(x_i，y_i)的局部图像重要性EN(x_i，y_i)，计算每个关键点的图像重要性是通过计算每个关键点的图像窗口的信息熵来判断关键点的图像重要性。任意一幅图像I的信息熵可以按照如下公式来计算：

$\mathrm{EN}\left(I\right)=-\underset{g=0}{\overset{255}{\mathrm{\Σ}}}p\left(g\right)\mathrm{lo}{g}_{2}p\left(g\right)---\left(1\right)$

其中，p(g)表示图像I中灰度等于g的所有像素点的个数N(g)与图像中总的像素数N的比值即

可见，只要计算出图像I图像的灰度直方图N(0)，N(1)，…，N(255)就可以确定出其图像信息熵。

对于每个关键点(x_i，y_i)，我们提取以(x_i，y_i)为中心的8×8的图像窗口，如图4所示，计算该窗口中的图像直方图，再按照公式(1)计算出熵EN(x_i，y_i)，熵值越高表明该关键点的局部特征越显著，描述能力越强，其重要性就应该越高。

步骤S703：计算每个关键点的空间位置重要性Δ(x_i，y_i)，我们改变以各个关键点为中心的图像窗口的大小，然后计算直方图的变化，如果直方图变化越小，表明该局部图像的结构性越不好，越类似于随机区域。设以关键点(x_i，y_i)为中心的8×8的图像窗口计算出的直方图为H(x_i，y_i)，我们对其进行归一化，得到归一化直方图

，即对H(x_i，y_i)中的每个元素都除以一个常数使得所有元素的和为1。然后，调整图像窗口的大小至(8+d)×(8+d)，一般，d可以取-1，1，计算出归一化之后的直方图，计算与他们的差异：

$\mathrm{\Δ}(x_i,y_i)=\frac{1}{2}\underset{d=-1}{\overset{+1}{\mathrm{\Σ}}}\underset{i=0}{\overset{255}{\mathrm{\Σ}}}|\stackrel{\‾}{H}(x,y)-\stackrel{\‾}{H}(x,y,d)|---\left(2\right)$

Δ(x_i，y_i)的数值越大，表明(x_i，y_i)处的局部特征的结构性程度越高。

步骤S704：计算每个关键点(x_i，y_i)的重要性α_i＝Δ(x_i，y_i)×EN(x_i，y_i)。

步骤S705：根据前面计算的关键点的重要性α_i＝Δ(x_i，y_i)×EN(x_i，y_i)对关键点的重要性进行排序，选出排在前面的若干个关键点，其余的都予以剔除，即可确定出重要关键点。

与现有的图像局部特征提取方法相比，本发明根据对各个关键点的重要性的评估，从中挑选出重要的关键点来描述目标，避免了次要关键点的影响，既提高了目标识别的准确程度，又降低了后续匹配过程中的运算量。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种图像特征提取系统，其包括：

图像关键点检测单元，其检测并初步确定图像中的关键点；

局部图像重要性判断单元，其对图像关键点检测单元初步确定的关键点进行重要性分析，获得每个关键点的局部图像重要性信息；

空间位置重要性判断单元，其对每个关键点进行空间位置重要性分析，获取每个关键点的空间位置重要性信息；

重要性排序单元，结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序；

关键点筛选单元，依据重要性排序单元对关键点的排序选出排在前面的若干个关键点，其余的予以剔除，挑选出重要的关键点。

2.如权利要求1所述的图像特征提取系统，其特征在于：所述图像关键点检测单元采用尺度不变特征变换(SIFT变换)检测图像中的关键点。

3.如权利要求1所述的图像特征提取系统，其特征在于：所述局部图像重要性判断单元计算关键点图像的信息熵来判断关键点的局部图像重要性，熵值越高，则该关键点越重要。

4.如权利要求1或3所述的图像特征提取系统，其特征在于：所述空间位置重要性判断单元确定以关键点为中心的不同大小的图像窗口，然后计算不同窗口图像的直方图的变化值，不同窗口图像的直方图的变化值越大则图像空间位置重要性越高。

5.如权利要求4所述的图像特征提取系统，其特征在于：所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积，计算关键点的重要性值，然后依据该重要性值对关键点进行排序。

6.一种图像特征提取方法，其包括：

对输入的图像进行关键点检测，获取关键点的位置；

计算每个关键点的局部图像重要性；

计算每个关键点的空间位置重要性信息；

结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序；

依据重要性排序单元对关键点的排序选出排在前面的若干个关键点，其余的予以剔除，挑选出重要的关键点。

7.如权利要求6所述的图像特征提取方法，其特征在于：所述对输入的图像进行关键点检测是采用尺度不变特征变换(SIFT变换)检测图像中的关键点。

8.如权利要求6所述的图像特征提取方法，其特征在于：所述计算每个关键点的局部图像重要性是计算关键点图像的信息熵来判断关键点的局部图像重要性，熵值越高，则该关键点越重要，其中图像熵值的计算为：

$\mathrm{EN}\left(I\right)=-\underset{g=0}{\overset{255}{\mathrm{\Σ}}}p\left(g\right)\mathrm{lo}{g}_{2}p\left(g\right)$

其中，p(g)表示图像I中灰度等于g的所有像素点的个数N(g)与图像中总的像素数N的比值即

9.如权利要求6或8所述的图像特征提取方法，其特征在于：所述计算每个关键点的空间位置重要性信息包括：

确定以关键点为中心的不同大小的图像窗口；

计算不同窗口图像的直方图的变化值，不同窗口图像的直方图的变化值越大则图像空间位置重要性越高，其中不同窗口的直方图的变化值为：

$\mathrm{\Δ}(x_i,y_i)=\frac{1}{2}\underset{d=-1}{\overset{+1}{\mathrm{\Σ}}}\underset{i=0}{\overset{255}{\mathrm{\Σ}}}|\stackrel{\‾}{H}(x,y)-\stackrel{\‾}{H}(x,y,d)|$

为以关键点为中心的图像窗口的归一化直方图，

为窗口大小变化d之后以关键点为中心的图像窗口的归一化直方图。

10.如权利要求9所述的图像特征提取方法，其特征在于：所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积，计算关键点的重要性值，然后依据该重要性值对关键点进行排序。

Images