CN104115189A - 局部特征量提取装置、用于提取局部特征量的方法和程序 - Google Patents

Abstract

本发明减少特征量的大小，同时保持识别被写体的精度。局部特征量提取装置包括被配置成检测图像中的特征点的特征点检测单元、被配置成获取用于每个特征点的局部区域的局部区域获取单元、被配置成将每个局部区域分成多个子区域的子区域分割单元、被配置成对每个局部区域中的每个子区域，生成具有多个维度的特征向量的子区域特征向量生成单元，以及被配置成基于每个局部区域中的子区域之间的位置关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域之间的相关性以及将所选择的维度的元素输出为局部区域的特征量的维度选择单元。

Description

局部特征量提取装置、用于提取局部特征量的方法和程序

技术领域

本发明涉及局部特征量提取装置、用于提取局部特征量的方法和程序。

背景技术

已经提出了打算在存在拍摄大小或角度的变化或遮挡的情况下，鲁棒地识别图像中的被写体(object)的方案。这些方案涉及检测图像中的大量兴趣点(特征点)以及提取特征点的每一个周围的局部区域中的特征量(局部特征量)。作为典型的方案，专利文献1和非专利文献1公开了使用SIFT(规模不变特征变换)特征量的局部特征量提取装置。

图31是示出使用SIFT特征量的局部特征量提取装置的一般配置的示例的图。此外，图32是示出图31中所示的局部特征量提取装置中的SIFT特征量的提取的图像的图。

如图31所示，局部特征量提取装置包括特征点检测单元200、局部区域获取单元210、子区域分割单元220和子区域特征向量生成单元230。特征点检测单元200检测图像中的大量兴趣点(特征点)并且输出特征点的每一个的坐标位置、规模(大小)和定向。局部区域获取单元210基于所检测的特征点的每一个的坐标值、规模和定向，获取将从其提取特征量的局部区域。子区域分割单元220将局部区域分割成子区域。在图32所示的例子中，子区域分割单元220将局部区域分割成16个块(4×4个块)。子区域特征向量生成单元230针对局部区域的子区域的每一个，生成梯度定向直方图。具体地，子区域特征向量生成单元230针对每个子区域中的像素中的每一个计算梯度定向并且执行量化以获得8个方向。所确定的定向方向是相对于由特征点检测单元200输出的特征点的定向的方向。即，定向方向是相对于由特征点检测单元200输出的定向所规范化的方向。然后，子区域特征向量生成单元230合计每个子区域的量化的8个定向的频率以生成梯度定向直方图。由此，针对每个特征点生成的16个块×8个定向的梯度定向直方图被输出为128维度的局部特征量。

现有技术文献

专利文献1：U.S.专利No.6711293

非专利文献1：David G.Lowe,"Distinctive image features fromscale-invariant keypoints",(U.S.),International Journal of Computer Vision,60(2),2004,p.91-110

发明内容

本发明要解决的问题

上述局部特征量不利地具有增加的大小。例如，为了以1字节表示每一维度中的直方图值，SIFT特征量需要128维度×1字节的大小。当使用局部特征量来使图像彼此匹配(匹配)时，由此增加的局部特征量的大小可能产生问题。例如，当用户终端(例如具有照相机的便携式终端)从图像中提取局部特征量，并且将局部特征量传送到服务器，以便于搜索与已经从其提取了局部特征量的图像类似的图像时，大的局部特征量的大小使通信时间增加。这增加了直至获得图像搜索的结果为止的时间量。此外，当基于局部特征量使图像彼此匹配时，大的局部特征量的大小使处理时间增加。此外，在使用局部特征量的图像搜索中，将图像中的局部特征量存储在存储器中。然而，大的局部特征量的大小减小可以在存储器上存储其局部特征量的图像的数目。因此，使用局部特征量不适合于预期用于大量图像的大规模图像搜索。

由此，本发明的目的是减小特征量的大小，同时保持被写体识别的精度。

对问题的解决方案

根据本发明的一方面的局部特征量提取装置包括检测图像中的特征点的特征点检测单元、获取针对各个特征点的局部区域的局部区域获取单元、将各个局部区域分割成多个子区域的子区域分割单元、针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量的子区域特征向量生成单元、以及基于各个局部区域中的子区域的位置关系来从各个子区域中的特征向量中选择维度以便于减少邻近子区域中的特征向量之间的相关性并且将所选择的维度的元素作为局部区域的特征量进行输出的维度选择单元。

此外，在根据本发明的一方面的用于提取局部特征量的方法中，计算机检测图像中的特征点，获取针对各个特征点的局部区域，将各个局部区域分割成多个子区域，针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量，以及基于各个局部区域中的子区域中的位置关系来从各个子区域中的特征向量中选择维度以便于减小邻近子区域中的特征向量之间的相关性，并且将所选择的维度的元素作为局部地区的特征量进行输出。

此外，根据本发明的一方面的程序允许计算机实现检测图像中的特征点的功能，获取针对各个特征点的局部区域的功能，将各个局部地区分割成多个子区域的功能，针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量的功能，以及基于各个局部区域中的子区域中的位置关系来从各个子区域的特征向量中选择维度以便于减小邻近子区域中的特征向量之间的相关性，并且将所选择的维度的元素作为局部地区的特征量进行输出的功能。

根据本发明，“单元”不是简单的是物理装置，而是包括通过软件实现“单元”的功能。此外，一个“单元”或装置的功能可以由两个或以上物理装置或设备实现或两个或以上“单元”或设备的功能可以由一个物理装置或设备实现。

本发明的效果

本发明可以在保持被写体识别的精度的情况下减小特征量的大小。

附图说明

图1是示出作为本发明的第一实施例的局部特征量提取装置的配置的图。

图2是示出从128维的特征向量中选择维度的例子的图。

图3是示出维度选择的其他例子的图。

图4是示出用于维度的选择的优先次序的例子的图。

图5是示出150维中的特征向量的元素的编号的图。

图6是示出150维中的特征向量的元素的编号的另一例子的图。

图7是示出根据优先次序，局部特征量输出的配置的例子的图。

图8A和8B是示出用于维度的选择的优先次序的例子的图。

图9A和9B是示出用于维度的选择的优先次序的另一例子的图。

图10是示出圆形局部区域的例子的图。

图11是示出用于圆形局部区域的维度选择的例子的图。

图12是示出局部特征量提取装置中的处理的例子的流程图。

图13是示出根据本发明的第二实施例的局部特征量提取装置的配置的图。

图14是示出根据本发明的第三实施例的局部特征量提取装置的配置的图。

图15是示出将梯度定向直方图中的维度量化为二进制的例子的图。

图16是示出根据本发明的第四实施例的局部特征量提取装置的配置的图。

图17是示出根据本发明的第五实施例的局部特征量提取装置的配置的图。

图18是示出特征向量的扩展的例子的图。

图19是示出特征向量的扩展的例子的图。

图20是示出使用不同于由后级维度选择单元选择的维度的维度的梯度定向直方图的扩展的例子的图。

图21是示出用于维度的选择的优先次序的另一例子的图。

图22是示出根据优先次序的局部特征量输出的配置例子的图。

图23是示出用于维度的选择的优先次序的另一例子的图。

图24是示出根据优先次序的局部特征量输出的配置例子的图。

图25是示出根据本发明的第六实施例的局部特征量提取装置的配置的图。

图26是示出根据本发明的第七实施例的局部特征量提取装置的配置的图。

图27是示出根据本发明的第八实施例的局部特征量提取装置的配置的图。

图28是示出根据本发明的第九实施例的局部特征量提取装置的配置的图。

图29是示出可应用局部特征量提取装置的匹配系统的例子的图。

图30是示出在匹配装置中，使用局部特征量匹配的例子的图。

图31是示出使用SIFT特征量的局部特征量提取装置的一般配置的例子的图。

图32是示出在局部特征量提取装置中，SIFT局部特征量的提取的图像的图。

具体实施方式

在下文中，将参考图，描述本发明的实施例。

第一实施例

图1是示出作为本发明的第一实施例的局部特征量提取装置的配置的图。局部特征量提取装置1A被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16和维度选择单元18。局部特征量提取装置1A可以被配置成例如使用信息处理装置，诸如个人计算机或个人数字助理。局部特征量提取装置1A的单元可以通过例如使用诸如存储器的存储区域或通过执行存储在存储区域中的程序的处理器来实现。可以类似地实现下述其他实施例中的组件。

特征点检测单元10检测图像中的多个兴趣点(特征点)，并且输出各个特征点的坐标位置、规模(大小)和定向。

局部区域获取单元12基于所检测的特征点的每一个的坐标值、规模和角度来获取将从其提取特征量的局部区域。

子区域分割单元14将局部区域分割成子区域。例如，子区域分割单元14可以将局部区域分成16个块(4×4个块)，如图32所示。替代地，子区域分割单元14可以将局部区域分割成25个块(5×5个块)。

子区域特征向量生成单元16生成针对局部区域中的子区域中的每一个的特征向量。作为子区域中的特征向量，例如，可以使用梯度定向直方图。具体地，子区域特征向量生成单元16计算各个子区域中的像素中的每一个的梯度定向(gradient orientation)，并且执行量化来获得8个定向。所确定的定向方向是相对于由特征点检测单元10输出的特征点的定向的方向。即，定向方向是相对于由特征点检测单元10输出的定向规范化的方向。然后，子区域特征向量生成单元16合计各个子区域的量化的8个方向的频率以生成梯度定向直方图。在该情况下，子区域特征向量生成单元16输出特征向量，包括针对各个特征点生成的16割块×8个方向＝128个维度的梯度定向直方图。此外，从量化得到的梯度定向的数目不限于8，而是可以是任何量化数目，诸如4、6或10。当要通过量化获得D个梯度定向时，如果量化前的梯度定向由G(0至2π弧度)表示，则可以使用例如公式(1)或公式(2)来确定用于梯度定向的量化值(i)(i＝0,…,D-1)。然而，第一实施例不限于这些公式。

[公式1]

$i=\mathrm{floor}(G\×\frac{D}{2\mathrm{\π}})...\left(1\right)$

[公式2]

$i=\mathrm{round}(G\×\frac{D}{2\mathrm{\π}})\mathrm{mod}D...\left(2\right)$

在这种情况下，floor()表示舍去小数点后的数字的函数，round()表示用于圆整(round-off)的函数，以及mod表示用于确定余数的计算。此外，当生成梯度定向直方图时，代替仅合计频率，能够将梯度的大小相加在一起以进行合计。另外，当对梯度定向直方图执行合计时，基于子区域之间的距离，加权值不仅可以与像素所属于的子区域相加，而且可以与邻近子区域(相邻块等等)相加。此外，加权值可以与量化梯度定向前后的梯度定向相加。子区域中的特征向量不限于梯度定向直方图，而是可以是具有多个维度(元素)的颜色信息等。在第一实施例的描述中，梯度定向直方图用作子区域中的特征向量。

维度选择单元18选择(挑选)将输出为局部特征量以减少邻近子区域中的特征向量之间的相关性的维度(元素)。更具体地说，维度选择单元18选择维度，使得在至少一个梯度定向中，相邻子区域彼此不同。根据第一实施例，相邻子区域主要用作邻近子区域。然而，邻近子区域不限于相邻子区域，而是可以是例如处于与对象子区域预定距离或更短的子区域。

此外，维度选择单元18不仅可以简单地选择维度，而且可以确定选择的优先次序。即，维度选择单元18可以提供维度选择的优先次序，使得从相邻子区域中选择的维度不在同一梯度定向中。然后，维度选择单元18将包括所选择的维度的特征向量输出为局部特征量。维度选择单元18可以输出具有基于优先次序重新排列的维度的局部特征量。

参考图2至图7，将描述维度选择单元18的维度选择的具体例子。图2是示出从通过将局部区域分割成对应于4×4个块的子区域并且执行量化来获得8个梯度定向所生成的128个维度的梯度定向直方图中的特征向量选择维度的例子的图。在图2所示的例子中，从与SIFT特征量类似的128个维度(4×4＝16个块×8个方向)中的特征向量选择维度。

如图2所示，当选择128个维度的一半时，即，64个维度，维度选择单元18可以选择该维度，使得从水平或垂直相邻块(子区域)选择的维度不在同一梯度定向中。图2示出了下述例子：当用"i"(i＝0,1,2,3,4,5,6和7)表示梯度定向直方图中的量化定向时，与选择具有i＝1,3,5和7的元素的块交替地排列选择具有i＝0,2,4和6的元素的块。图2还示出另一例子：与选择具有i＝1,2,5和6的元素的块交替地排列选择具有i＝0,3,4和7的块。在图2所示的例子中，从相邻块选择总共8个梯度定向(维度)。即，相邻块的每一个补充其他块中的特征量。

此外，如图2所示，维度选择单元18可以选择维度，使得从位于相对于彼此45°的角度的块中选择的维度也不在同一梯度定向中。在图2所示的例子中，从相邻2×2个块选择总共8个梯度定向(维度)。即，在这种情况下，相邻块的每一个也补充其他块中的特征量。

由此，执行选择以防止相邻块中的梯度定向重叠并且允许均匀地选择所有梯度定向。此外，期望从整个局部区域均匀选择维度，如在图2所示的例子中的情况。用于图2所示的维度选择的方法是说明性的，并且第一实施例不限于该方法。

图3是示出维度选择的其他例子的图。在图3所示的例子中，子区域分割单元14将局部区域分成对应于5×5＝25个块的子区域。然后，子区域特征向量生成单元16生成在每个子区域中具有6个定向的梯度定向直方图。即，如图3所示，子区域特征向量生成单元16生成具有150个维度的特征向量。

如图3所示，当选择150个维度的一半时，即，75个维度，维度选择单元18可以选择该维度使得从水平或垂直相邻块选择的维度不在同一梯度定向中。在该例子中，当由"i"(i＝0,1,2,3,4和5)表示梯度定向直方图中的量化定向时，与从其选择具有i＝1,3和5的元素的块交替地排列从其选择具有i＝0,2和4的元素的块。在图3所示的例子中，从相邻块选择总共6个梯度定向。

此外，当从75个维度中选择50个维度时，维度选择单元18可以选择这些维度，使得位于相对于彼此45°的角度的两个块中的一个中的梯度定向中的仅一个与另一块中的梯度定向中的一个相同(块中的一个的剩余梯度定向不同于另一块中的剩余一个定向)。此外，当从50个维度中选择25个维度时，维度选择单元18可以选择这些维度，使得从位于相对于彼此45°的角度的两个块中的一个选择的梯度定向没有一个与从另一块选择的梯度定向相同。

在图3所示的例子中，维度选择单元18从第1维度至第25维度的每一子区域选择一个梯度定向、从第26维度至第50维度的每一子区域选择两个梯度定向，并且从第51维度至第75维度的子区域选择三个梯度定向。

此外，在第1维度和第25维度之间、第26维度和第50维度之间以及第51维度和第75维度之间，维度选择单元18可以通过顺序地增加维度，例如按如图4所示的块的顺序，来选择维度。当使用图4所示的优先次序时，维度选择单元18可以选择梯度定向，使得更接近中心的块具有较高优先次序。图5是示出具有150维度的特征向量的元素的数目的例子的图。在该例子中，当根据光栅扫描顺序，用编号“b”(b＝0,1,...,或24)分别表示5×5＝25个块，并且由“i”(i＝0,1,2,3,4或5)表示量化定向方向时，特征向量的每个元素的编号“k”(k＝0,1,…,或149)为k＝6×b+i。示意性地示出图5所示的梯度定向和相应的编号“k”，并且不一定与实际图像上的梯度定向一致。例如，在图5中，元素编号0被示为向上梯度，但是通常与实际图像上的图像坐标系中的0°方向的梯度相关联。举例来说，图6示出了不同于图5中所示的关联的梯度定向的关联。与图5中的关联相比，图6所示的关联更类似于图像坐标系中的实际图像的关联，但在图5和6的关联之间不存在本质区别。

此外，图7示出了通过根据图4所示的优先次序来选择图5或图6中所示的元素所获得的局部特征量的配置例子的图。例如，维度选择单元18可以按图7所示的顺序输出维度(元素)。具体地，在输出例如150维度的局部特征量中，维度选择单元18可以按图7所示的顺序来输出150维度的全部元素。另外，当输出例如25维度的局部特征量时，维度选择单元18可以按图7所示的顺序(从左到右)输出图7所示的第一行中的元素(第76元素、第45元素、第83元素，…，和第120元素)。此外，当输出例如50维度的局部特征量时，除图7所示的第一行中的元素外，维度选择单元18可以按图7所示的顺序(从左到右)输出图7中的第二行中的元素。

在图7所示的例子中，局部特征量具有分层配置。即，例如，对25维度的局部特征量和150维度的局部特征量来说，前25维度的局部特征量的元素的排列是相同的。由此，通过以分层方式(逐行地)选择维度，维度选择单元18可以根据应用、通信容量、终端的规格等提取和输出任何数目维度的局部特征量，即，任何大小的局部特征量。此外，通过以分层方式选择维度、基于优先次序重新排列维度以及输出重新排列的维度，维度选择单元18可以使用不同数目维度的局部特征量来使图像相互匹配。例如，当使用75维度的局部特征量和50维度的局部特征量来使图像相互匹配时，仅使用前50维度可以计算局部特征量之间的距离。

图4至图7中所示的优先次序是说明性的，并且用于维度的选择的顺序不限于这些优先次序。例如，代替图4的例子中所示的顺序，可以按如图8A或图8B所示的顺序选择块。此外，例如，可以设置优先次序，使得从所有子区域均匀地选择维度。替代地，可以设置优先次序，使得根据局部区域的中心邻近的重要性，在中心附近的子区域中，选择的频率更高。另外，有关维度选择的顺序的信息可以例如在程序中指定或存储在当执行程序时所参考的表等(选择顺序存储单元)中。

替代地，维度选择单元18可以执行如图9A或图9B所示的选择。在这种情况下，从一些子区域选择6维度，而从与某些子区域相邻的其他子区域选择0维度。而且在这种情况下，针对子区域选择维度，使得减少相邻子区域之间的相关性。

此外，局部区域和子区域的形状不限于图2和图3所示的方形，而是可以任选。例如，如图10所示，局部区域获取单元12可以获取圆形的局部区域。在这种情况下，如图10所示，子区域分割单元14可以将圆形局部区域分成例如9个子区域或17个子区域。而且在这种情况下，维度选择单元18可以从每一子区域选择维度，例如，如图11所示。在图11所示的例子中，当从72维度选择40维度时，不对中心子区域执行维度的挑选。

图12是示出局部特征量提取装置1A中的处理的例子的流程图。首先，特征点检测单元10检测图像中的特征点，并且输出每一特征点的坐标位置、规模(大小)和定向(S1101)。当检测到特征点时，局部区域获取单元12基于所检测的特征点的每一个的坐标位置、规模和定向来获取将从其提取特征量的局部区域(S1102)。然后，子区域分割单元14将局部区域分割成子区域(S1103)。子区域特征向量生成单元16针对局部区域中的子区域中的每一个生成梯度定向直方图(S1104)。最后，维度选择单元18根据指定的选择顺序来选择将输出为局部特征量的维度(元素)(S1105)。

由此，在根据第一实施例的局部特征量提取装置1A中，维度选择单元18基于子区域中的位置关系来选择将输出为局部特征量的维度(元素)，使得降低邻近子区域之间的相关性。换句话说，邻近子区域通常具有高的相关性，并且由此，维度选择单元18可以选择维度，使得防止从邻近子区域选择相同特征向量的维度(元素)。由此，能够在保持被写体识别的精度的情况下降低特征量的大小。

此外，维度选择单元18可以以分层方式(逐行)输出局部特征量，如图7所示。这正好实现某些数目的所选择的维度的局部特征量与不同数目的所选择的维度(特征量的不同大小)的局部特征量的匹配(距离计算)。

此外，维度选择单元18基于子区域中的位置关系来选择维度，并且由此，不需要执行选择维度的学习。即，可以在不依赖于数据(图像)的情况下执行局部特征量的广义提取。

在局部特征量提取装置1A中，可以相互改变子区域特征向量生成单元16中的处理和维度选择单元18中的处理的顺序。即，局部特征量提取装置1A可以允许在维度选择单元18选择维度后，子区域特征向量生成单元16生成具有所选择的维度的特征向量的处理。

第二实施例

接着，在下文中，将描述第二实施例。图13示出了根据本发明的第二实施例的局部特征量提取装置的配置。第二实施例允许改变所选择的维度。如图13所示，局部特征量提取装置1B被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16、维度数目确定单元20和维度选择单元18。由此，局部特征量提取装置1B的配置对应于添加了维度数目确定单元20的根据第一实施例的局部特征量提取装置1A。由相同的附图标记表示与第一实施例的相应部件相同的第二实施例的部件，并且在下文中不再描述。

维度数目确定单元20可以确定由维度选择单元18选择的维度数目。例如，维度数目确定单元20可以通过从用户接收表示维度数目的信息来确定维度数目。指示维度数目的信息不一定指示维度本身的数目，而是可以指示例如搜索精度或搜索速度。具体地，例如，在接收到请求增加搜索精度的输入时，维度数目确定单元20可以将维度数目确定为被增加的值。此外，例如，在接收到请求降低搜索精度的输入时，维度数目确定单元20可以将维度数目确定为被降低的值。

此外，维度数目确定单元20可以基于使用局部特征量提取装置1B的应用、通信容量、终端的处理规格等来确定维度数目。具体地，例如，当通信容量小(通信速度低)时，维度数目确定单元20可以将维度数目确定成小于当通信容量大(通信速度高)时选择的维度数目的值。替代地，例如，当终端的处理规格低时，维度数目确定单元20可以将维度数目确定为小于当处理规格高时选择的维度数目的值。替代地，维度数目确定单元20可以根据终端上的处理负担，动态地确定维度数目。替代地，例如，当确定可以用于整个图像的局部特征量的大小时，维度数目确定单元20可以通过逆向地计算从整个图像提取的特征点数来确定从每一特征点选择的维度数目。

维度数目确定单元20可以针对在图像中检测到的所有特征点确定相同维度数目，或者针对各个特征点确定不同维度数目。例如，在经由外部信息提供特征点的重要性时，维度数目确定单元20可以对更重要的特征点确定更多维度数目，而对不太重要的特征点确定较少维度数目。

例如，维度数目确定单元20可以根据图像中的区域来确定重要性。具体地，维度数目确定单元20可以认为图像的中心的特征点比图像的周边部分中的特征点更重要，并且确定维度数目，使得对图像的中心的特征点提供更多维度。

此外，例如，维度数目确定单元20可以基于特征向量来确定特征点的重要性。具体地，例如，维度数目确定单元20可以参考特征向量的值，并且当可以确定该特征量对应于频繁出现的图案(pattern)时，认为该特征向量作为用于识别的局部特征量不是非常有用并且确定该特征点不太重要。相反，在这种情况下，维度数目确定单元20可以增加维度数目来增强识别能力。

替代地，例如，维度数目确定单元20可以基于与图像中的其他特征点的特征向量的值的关系来确定每个特征点的重要性。具体地，例如，通过将每个特征向量的值与其他特征点的特征向量的值进行比较，维度数目确定单元20可以确定该特征向量是否对应于频繁出现的图案，并且基于确定结果，确定特征点的重要性。

替代地，例如，维度数目确定单元20可以基于当特征点检测单元10检测特征点时获得的信息，确定每个特征点的重要性。具体地，例如，维度数目确定单元20可以基于有关特征点的规模的信息来确定每个特征点的重要性。例如，维度数目确定单元20可以确定具有较大规模值的特征点更重要。

基于由维度数目确定单元20确定的维度数目，维度选择单元18可以选择用于特征向量的维度并且将维度输出为局部特征量，与根据第一实施例的维度选择单元18类似。如上所述，所选择的维度数目对在图像中检测到的所有特征点可以是相同的，或可以在特征点之间改变。

由此，在根据第二实施例的局部特征量提取装置1B中，维度数目确定单元20可以确定由维度选择单元18选择的维度数目。由此，可以基于用户输入、通信容量、终端的处理规格等来确定适当的维度数目。

第三实施例

现在，将描述第三实施例。图14是示出根据本发明的第三实施例的局部特征量提取装置的配置的图。第三实施例通过量化特征向量来实现局部特征量的大小的进一步减小。如图14所示，局部特征量提取装置1C被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16、维度选择单元18和量化单元22。由此，局部特征量提取装置1C的配置对应于增加了量化单元22的根据第一实施例的局部特征量提取装置1A。由相同的附图标记表示与第一实施例的相应部件相同的第二实施例的部件并且在下文中将不再描述。

量化单元22可以将由子区域特征向量生成单元16输出的梯度定向直方图中的维度量化成N值。可以在量化单元22中使用任何量化技术。量化单元22可以使用向量量化等单独地量化维度而不是集中地量化多个维度。由此，即使在执行量化后，维度选择单元18也可以选择维度，与第一实施例的情形相同。

将描述量化的具体例子。例如，对于N＝2，量化单元22可以将梯度定向直方图中的维度量化成二进制，如图15所示。这里，梯度定向直方图中的梯度定向的数目由D表示(例如，D＝6或D＝8)，并且由hi(i＝0,…,D-1)表示用于梯度定向直方图中的每个子区域的值。量化单元22可以基于公式(3)，确定hi的量化值(i＝0,…,D-1)。

[公式3]

$q_i=\left\{\begin{array}{cc}1& (\mathrm{if}{h}_i>\mathrm{th})\\ 0& (\mathrm{if}{h}_i\≤\mathrm{th})\end{array}\right....\left(3\right)$

此外，量化单元22可以例如使用公式(4)计算阈值th。

[公式4]

$\mathrm{th}=\mathrm{\α}\underset{i=0}{\overset{D-1}{\mathrm{\Σ}}}{h}_i...\left(4\right)$

在这种情况下，α表示预定系数。α对所有子区域可以具有相同的值或可以子区域之间改变的值。

此外，使用公式(4)计算的阈值是说明性的，并且量化单元22可以基于另一公式计算阈值th。例如，量化单元22可以通过计算th＝α·max(hi:i＝0,…,D-1)确定阈值th。替代地，量化单元22可以设定阈值，使得量化值的近一半为0或1。具体地，量化单元22可以将按升序，从排序hi(i＝0,…,D-1)产生的量化值的前一半确定为0，而将量化值的后一半确定为1。

替代地，量化单元22可以对每个子区域或对整个局部区域设定阈值th。例如，量化单元22可以使用用于整个局部区域的梯度定向直方图的值，而不是用于每个子区域的值，根据公式(4)，计算阈值th，由此对整个局部区域设定阈值th。

如上所述，在根据第三实施例的局部特征量提取装置1C中，量化单元22量化特征向量，实现局部特征量的大小的进一步缩减。

第四实施例

现在，将描述第四实施例。图16是示出根据本发明的第四实施例的局部特征量提取装置的配置的图。第四实施例在选择维度后，执行量化，实现局部特征量的大小的进一步缩减。如图16所示，局部特征量提取装置1D被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16、维度选择单元18和量化单元24。由此，局部特征量提取装置1D的配置对应于增加量化单元24的根据第一实施例的局部特征量提取装置1A。用相同的参考数字表示与第一实施例的相应部件相同的第四实施例的部件，并且在下文中，将不再描述。

与根据第三实施例的量化单元22相同，量化单元24能单独地量化特征向量的维度。此外，量化单元24能例如通过向量量化，集中地量化特征向量的多个维度。

由此，在根据第四实施例的局部特征量提取装置1D中，量化单元24量化特征向量，实现局部特征量的大小的进一步缩减。此外，当量化单元24集中地量化多个维度时，与第三实施例相比，第四实施例能减少待量化的维度数目，由此减少量化所需的吞吐量。

第五实施例

现在，将描述第五实施例。图17是示出根据本发明的第五实施例的局部特征量提取装置的配置的图。如图17所示，局部特征量提取装置1E被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16、维度选择单元18和特征向量扩展单元26。由此，局部特征量提取装置1E的配置对应于增加特征向量扩展单元26的根据第一实施例的局部特征量提取装置1A。用相同的参考数字表示与第一实施例的相应部件相同的第五实施例的部件，并且在下文中，将不再描述。此外，特征向量扩展单元26不仅能应用于根据第一实施例的局部特征量提取装置，而且能应用于根据其他实施例的局部特征量提取装置。

通过使用由子区域特征向量生成单元16生成的特征向量来以较大规模(扩展分割区域)生成维度，特征向量扩展单元26能扩展特征向量。特征向量扩展单元26可以使用仅有关由子区域特征向量生成单元16输出的特征向量的信息，扩展特征向量。这消除了恢复成原始图像来执行用于扩展特征向量的提取的需要。由此，与由原始图像生成特征向量所需的处理时间相比，扩展特征向量所需的处理时间非常短。

例如，特征向量扩展单元26可以将用于相邻子区域的梯度定向直方图合成为新的梯度定向直方图。例如，特征向量扩展单元26可以基于由子区域分割单元14执行的分割产生的N×N块的梯度定向直方图(N×N×D维度)，加总相邻2×2＝4块的梯度定向直方图(加总具有相同梯度的元素)来生成(N-1)×(N-1)块的梯度定向直方图((N-1)×(N-1)×D维度)。由此，特征向量扩展单元26可以基于原始特征向量，以(2×2块)的规模生成梯度定向直方图。由此生成的特征向量是未包含在原始特征向量中的新信息(以较大规模的直方图信息)，由此使得提高识别的精度。此外，扩展所考虑的块不限于2×2块。例如，特征向量扩展单元26可以将3×3块的梯度定向直方图加总成(N-2)×(N-2)块的梯度定向直方图((N-2)×(N-2)×D)。由此，特征向量扩展单元26可以以分层规模，将块大小顺序地增加到梯度定向直方图。

图18示出了通过加总2×块的梯度定向直方图(加总具有相同梯度的元素)的特征向量的扩展的例子。如图18所示，特征向量扩展单元26可以将5×5×6维度(150维度)的梯度定向直方图扩展成4×4×6维度(96维度)的梯度定向直方图。

在图18所示的例子中，当根据光栅扫描顺序，用编号b1(b1＝0,1,…,24)表示5×5块的层(在下文中，称为层1)中的块，以及根据光栅扫描顺序，由编号b2(b2＝0,1,…,15)表示由扩展生成的4×4＝16块的层(在下文中，称为层2)中的块时，

由块b1＝0,1,5和6生成块b2＝0的直方图，

由块b1＝1,2,6和7生成块b2＝1，

由块b1＝2,3,7和8生成块b2＝2，

由块b1＝3,4,8和9生成块b2＝3，

由块b1＝5,6,10和11生成块b2＝4，

由块b1＝6,7,11和12生成块b2＝5，

由块b1＝7,8,12和13生成块b2＝6，

由块b1＝8,9,13和14生成块b2＝7，

由块b1＝10,11,15和16生成块b2＝8，

由块b1＝11,12,16和17生成块b2＝9，

由块b1＝12,13,17和18生成块b2＝10，

由块b1＝13,14,18和19生成块b2＝11，

由块b1＝15,16,20和21生成块b2＝12，

由块b1＝16,17,21和22生成块b2＝13，

由块b1＝17,18,22和23生成块b2＝14，和

由块b1＝18,19,23和24生成块b2＝15。

类似地，特征向量扩展单元26可以基于5×5×6维度(150维度)，加总相邻3×3块的梯度定向直方图来生成3×3×6维度(54维度)的梯度定向直方图。此外，基于由扩展产生的4×4×6维度(96维度)的梯度定向直方图，特征向量扩展单元26可以生成进一步扩展的梯度定向直方图。例如，通过基于由扩展产生的4×4×6维度(96维度)的梯度定向直方图，加总2×2块的梯度定向直方图，特征向量扩展单元26可以进一步生成3×3×6维度(54维度)的梯度定向直方图，如图18所示。

在该例子中，当根据光栅扫描方向，由编号b3(b3＝0,1,…,8)表示3×3＝9块的层(在下文中，称为层3)中的块时，

由块b1＝0,1,4和5生成块b3＝0的直方图，

由块b1＝1,2,5和6生成块b3＝1，

由块b1＝2,3,6和7生成块b3＝2，

由块b1＝4,5,8和9生成块b3＝3，

由块b1＝5,6,9和10生成块b3＝4，

由块b1＝6,7,10和11生成块b3＝5，

由块b1＝8,9,12和13生成块b3＝6，

由块b1＝9,10,13和14生成块b3＝7，和

由块b1＝10,11,14和15生成块b3＝8。

此外，特征向量扩展单元26可以使用不同于由后续维度选择单元18选定的维度的维度，扩展梯度定向直方图。图20示出了具体例子。例如，当维度选择单元18从150维度的梯度定向直方图选择75维度时，特征向量扩展单元26可以将剩余(未选择的)75维度扩展成96维度的梯度定向直方图。

例如，假定在层1，根据图7所示的优先次序，选择75维度。在这种情况下，当由(i)(i＝0,1,2,3,4或5)表示梯度定向直方图中的量化梯度定向时，从块b1＝偶数块选择具有i＝0,2和4的元素的维度，以及从块b1＝奇数块选择具有i＝1,3和5的元素的维度。

由此，当根据扩展结果，在层2生成96维度的梯度定向直方图时，特征向量扩展单元26可以在层1，将具有i＝1,3和5的元素的未选择维度仅用于块b1＝偶数块和在层1，将具有i＝0,2和4的元素的未选择维度仅用于块b1＝奇数块，在层2生成梯度定向直方图。

例如，在上述例子中，当由层1，块b1＝0,1,5和6的梯度定向直方图生成块b2＝0的梯度定向直方图时，特征向量扩展单元26可以将具有i＝1,3和5的元素的未被选择的维度仅用于块b1＝0和6，以及可以将具有i＝0,2和4的元素的未被选择的维度仅用于块b1＝1和5。

根据与层1的模式类似的模式(使将选择具有i＝0,2和4的元素的块与将选择具有i＝1,3和5的元素的块交替地排列)，维度选择单元18可以从由此生成的96维度的梯度定向直方图，选择一半的维度，即48维度(75+48＝总共123维度)。

当从层2扩展到层3时，特征向量扩展单元26可以类似地使用层2未被选择的48维度来生成层3的54维度的梯度定向直方图。然后，以类似的模式(使将选择具有i＝0,2和4的元素的块与与将选择具有i＝1,3和5的元素的块交替地排列)，将维度选择单元18可以从层3生成的54维度的梯度定向直方图选择一半维度，即，27维度(75+48+27＝总共150维度)。

由此，由扩展产生的梯度定向直方图是未包含在由维度选择单元18输出的特征向量中的新信息。因此，能提高识别的精度。

如图18的右边所示，维度选择单元18可以通过选择维度，输出局部特征量，使得对以每个规模生成的梯度定向直方图，从相邻子区域选择的维度不在同一梯度定向中。

现在，将示例用于维度选择的优先次序的例子，其中，从在层2生成的96维度(4×4＝16块)的梯度定向直方图选择维度。对从层2选择的维度，维度选择单元18可以通过在第1维度和第16维度之间、第17维度和第32维度之间和第33维度和第48维度之间，例如，以图21所示的块的顺序，顺序地增加维度来选择维度。

使用图21所示的优先次序允许维度选择单元18选择具有位于更接近中心的块的较高优先次序的梯度定向。此外，当由b2表示块编号时，由(i)(i＝0,1,2,3,4或5)表示梯度定向直方图中的量化方向，以及96维度的梯度定向直方图中的特征向量的每个元素的编号k(k＝0,1,…,或95)为k＝6×b+i时，可以例如根据图22所示的优先次序，顺序地选择维度(元素)。

现在，示例用于维度选择的优先次序的例子，其中，从在层3生成的54维度的梯度定向直方图(3×3＝9块)选择维度。对从层3选择的维度，维度选择单元18可以通过在第1维度和第9维度之间、第10维度和第18维度之间和第19维度和第27维度之间，按图23所示的块的顺序，顺序地增加维度来选择维度。使用图23所示的优先次序允许维度选择单元18选择具有位于更接近中心的块的较高优先级的梯度定向。此外，当由b3表示块编号时，由(i)(i＝0,1,2,3,4或5)表示梯度定向直方图中的量化方向，以及54维度的梯度定向直方图中的特征向量的每个元素的编号k(k＝0,1,…,或53)为k＝6×b+i时，维度选择单元18可以例如根据图24所示的优先次序，顺序地选择维度(元素)。

在具体例子中，维度选择单元18可以通过根据图7所示的层1的优先次序，按顺序选择第1维度至第75维度(150维度的一半)，然后根据图22所示的层2的优先次序，按顺序选择第1维度至第48维度(96维度的一半)，构造第76维度至第123维度(75维度+48维度＝128维度)。此外，维度选择单元18通过根据图24所示的层3的优先次序，按顺序选择第1维度至第27维度(54维度的一半)，由此构造第124维度至第150维度(75维度+48维度+27维度)。

由特征向量扩展单元26执行的扩展的模式不限于上述例子。例如，特征向量扩展单元26可以通过量化用于每个子区域(块)的梯度定向直方图，生成扩展特征向量。具体地，例如，可以通过将用于整个局部区域的梯度定向直方图的和乘以系数α来获得阈值以及当用于子区域的梯度定向直方图的和等于或小于该阈值时设定0，而当用于子区域的梯度定向直方图的和等于或大于该阈值时设定1，生成扩展的特征向量。替代地，特征向量扩展单元26能例如基于差值而不是梯度定向直方图的和，扩展特征向量。具体地，特征向量扩展单元26可以基于梯度定向直方图中，不同子区域之间的同一维度的值的差，扩展特征向量。

可以使用第三实施例和第四实施例的组合，量化特征向量(梯度定向直方图)。可以将不同参数用于各个层(层1、层2和层3)，执行量化。例如，可以基于公式(1)，执行量化，以及当根据公式2计算阈值th时，系数α的值可以在层之间改变。例如，对层1，α＝0.063，对层2，α＝0.10，以及对层3，α＝0.12。

如上所述，在根据第五实施例的局部特征量提取装置1E中，特征向量扩展单元26可以扩展特征向量。由此，生成包含原始特征向量中不存在的新信息的特征向量，使得提高识别的精度。

第六实施例

现在，将描述第六实施例。图25是示出根据本发明的第六实施例的局部特征量提取装置的配置的图。如图25所示，局部特征量提取装置1F被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、第一子区域特征向量生成单元16、第二子区域特征向量生成单元28和维度选择单元18。由此，局部特征量提取装置1F的配置对应于增加第二子区域特征向量生成单元28的根据第一实施例的局部特征量提取装置1A。用相同的参考数字表示与第一实施例的相应部件相同的第六实施例的部件，并且在下文中，将不再描述。此外，第二子区域特征向量生成单元28不仅可应用于根据第一实施例的局部特征量提取装置，而且可应用于根据其他实施例的局部特征量提取装置。

第二子区域特征向量生成单元28可以生成与由第一子区域特征向量生成单元16提供的梯度定向不同的梯度定向的梯度定向直方图。例如，当第一子区域特征向量生成单元16以45°的间隔，生成8个方向的梯度定向直方图时，第二子区域特征向量生成单元28可以以60°的间隔，生成6个方向的梯度定向直方图。

然后，维度选择单元可以通过选择维度，输出局部特征量，使得对由第一子区域特征向量生成单元16生成的特征向量以及由第二子区域特征向量生成单元28生成的特征向量，从相邻子区域选择的维度不在同一梯度定向中。

如上所述，在根据第六实施例的局部特征量提取装置1F中，第二子区域特征向量生成单元28生成与由第一子区域特征向量生成单元16提供的梯度定向不同的梯度定向的梯度定向直方图。这增加特征向量的信息量，实现识别精度提高。

在第六实施例中，示出了两个子区域特征向量生成单元，第一子区域特征向量生成单元16和第二子区域特征向量生成单元28。然而，可以提供三个或以上特征向量生成单元。

第七实施例

现在，将描述第七实施例。图26是示出了根据本发明的第七实施例的局部特征量提取装置的配置的图。如图26所示，局部特征量提取装置1G被配置成包括特征点检测单元10、局部区域获取单元12、第一子区域分割单元14、第二子区域分割单元30、第一子区域特征向量生成单元16、第二子区域特征向量生成单元28和维度选择单元18。由此，局部特征量提取装置1G的配置对应于增加了第二子区域分割单元30的根据第六实施例的局部特征量提取装置1F。用相同的参考数字表示与第六实施例的相应部件相同的第七实施例的部件，并且在下文中，将不再描述。

第二子区域分割单元30使用与由第一子区域分割单元14使用的技术不同的技术来执行分割。例如，当第一子区域分割单元14将局部区域分成4×4块时，第二子区域分割单元30可以将该局部区域分成5×5块。

然后，第一子区域特征向量生成单元16生成用于由第一子区域分割单元14执行的分割产生的子区域的每一个的梯度定向直方图。此外，第二子区域特征向量生成单元28生成用于由第二子区域分割单元30执行的分割产生的子区域的每一个的梯度定向直方图。

如上所述，在根据第七实施例的局部特征量提取装置1G中，第二子区域分割单元30使用与由第一子区域分割单元14使用的技术不同的技术划分局部区域。这增加了有关特征向量的信息量，实现识别精度提高。

在第七实施例中，示例两个子区域分割单元，第一子区域分割单元14和第二子区域分割单元30。然而，可以提供三个或以上子区域分割单元。

第八实施例

现在，将描述第八实施例。图27是示出根据本发明的第八实施例的局部特征量提取装置的配置的图。如图27所示，局部特征量提取装置1H被配置成包括特征点检测单元10、第一局部区域获取单元12、第二局部区域获取单元32、第一子区域分割单元14、第二子区域分割单元30、第一子区域特征向量生成单元16、第二子区域特征向量生成单元28和维度选择单元18。由此，局部特征量提取装置1H的配置对应于增加了第二局部区域获取单元32的根据第七实施例的局部特征量提取装置1G。用相同的参考数字表示与第七实施例的相应部件相同的第八实施例的部件，并且在下文中，将不再描述。

第二局部区域获取单元32使用与由第一局部区域获取单元12使用的技术不同的技术，获取局部区域。例如，当第一局部区域获取单元12获取方形局部区域时，第二局部区域获取单元32可以获取圆形局部区域。

第一子区域分割单元14将由第一局部区域获取单元12获得的局部区域分成子区域。此外，第二子区域分割单元30将由第二局部区域获取单元32获得的局部区域分成子区域。

如上所述，在根据第八实施例的局部特征量提取装置1H中，第二局部区域区获取单元32使用与由第一局部区域获取单元12使用的技术不同的技术，获取局部区域。这增加了有关特征向量的信息量，使得提高识别的精度。

在第八实施例中，示出了两个局部区域获取单元，第一局部区域获取单元12和第二局部区域获取单元32。然而，可以提供三个或以上局部区域获取单元。

第九实施例

现在，将描述第九实施例。图28是示出根据本发明的第九实施例的局部特征量提取装置的配置的图。如图28所示，局部特征量提取装置1J被配置成包括特征点检测单元10、局部区域获取单元12、子区域分割单元14、子区域特征向量生成单元16、维度选择单元18和编码单元34。由此，局部特征量提取装置1J的配置对应于增加了编码单元34的根据第一实施例的局部特征量提取装置1A。用相同的参考数字表示与第一实施例的相应部件相同的第九实施例的部件，并且在下文中，将不再描述。此外，编码单元34不仅可应用于根据第一实施例的局部特征量提取装置，而且可应用于根据其他实施例的局部特征量提取装置。

编码单元34可以编码由维度选择单元18输出并且具有按优先次序的顺序排列的维度的特征向量并且将所编码的向量输出为特征量的位流。编码单元34可以使用固定位长编码例如特征向量。此外，例如，编码单元34可以基于无损编码(可逆压缩)，诸如使用霍夫曼码或算术码的熵编码或基于有损编码(不可逆压缩)执行编码。

具体地，例如，如果特征向量是由第三实施例中所示的量化单元22执行的量化成0或1的二进制产生的二进制特征，编码单元34可以通过将N维度与N位(N/8字节)关联以及使用固定位长执行编码。例如，编码单元34可以将96维度的特征向量(96位)编码成96/8＝12字节。此外，例如，编码单元34可以使用霍夫曼码或算术码执行熵编码。此外，例如，当使用熵编码，诸如算术码时，编码单元34可以使用有关编码维度的信息来执行有效编码(上下文编码)。

此外，编码单元34能使用有关从图像提取的一组特征向量执行编码。例如，图像包含许多重复出现的模式，由此，编码单元34可以通过分组这些类似的特征向量执行编码。此外，如果图像是运动图像的帧，编码单元34跟踪连续帧之间的特征点并且将当前特征点与以前帧中的特征点关联，以及仅编码特征向量之间的差的值。由此，编码单元34使用有关一组特征向量的信息执行编码，以远大于特征向量的单个压缩更大的规模实现编码压缩。

此外，编码单元34可以按任何顺序编码从图像提取的一组特征向量。例如，编码单元34可以按已经提取特征向量的顺序编码特征向量(特征点)。此外，除特征点的特征向量外，可以编码有关特征点的坐标位置(X坐标值，Y坐标值)的信息。在这种情况下，编码单元34按某些预定顺序，诸如光栅扫描顺序重新排列特征点以及仅编码坐标值之间的差的值是可能的。在这种情况下，编码单元34可以按此顺序编码特征向量。由此，使用比在使用固定位长编码坐标值的情形相比，使用更短位长编码有关特征点的坐标值的信息。

此外，除特征点的特征向量外，可以编码有关由特征点检测单元10输出的特征点的规模信息。在这种情况下，编码单元34以用于编码的规模值顺序重新排列特征点以及仅编码规模值变化的编号和相应的规模值。这消除了编码用于各个特征向量的所有规模值的需要。另外，当编码规模信息和坐标值时，编码单元34可以按规模值顺序重新排列特征向量并且按光栅扫描顺序，编码具有相同规模值的特征点。此外，编码单元34可以编码角度信息，与规模信息的情形相同。

此外，编码单元34可以按降低重要性的顺序编码一组特征向量。有关特征点的重要性的引用与例如第一实施例中的引用类似。由此，用于匹配特征向量的装置可以执行有效匹配：该装置按从前导(leading)特征点(最重要特征点)开始的顺序执行特征量的匹配，以及在成功地确定是否找到匹配后中断匹配。

此外，当从特征向量选择的维度数对整个图像来说相同时，编码单元34可以在位流的前导位置输入(编码)维度数。当维度数在特征点之间改变时，编码单元34需要编码相应的信息，使得编码信息清楚地表示用于各个特征点的维度数。在这种情况下，编码单元34可以编码有关用于每个特征点的维度数的信息。另外，如编码规模信息的情形，编码单元34按用于编码的维度数顺序重新排列特征向量，并且仅编码维度数改变的编号和相应的维度数。这消除了编码用于各个特征向量的维度数的所有值的需要。

如上所述，在根据第九实施例的局部特征量提取装置1J中，编码单元34编码局部特征量，由此实现局部特征量的大小的进一步缩减。

应用例子

图29是示出应用在第一至第九实施例中所示的局部特征量提取装置的匹配系统的例子的图。如图29所示，匹配系统被配置成包括匹配装置100、特征量数据库(DB)110和局部特征量提取装置120。

匹配装置100可以通过将包含在由局部特征量提取装置120传送的搜索请求中的局部特征量与在特征量DB 110中存储的局部特征量匹配，搜索包含与输入到局部特征量提取装置120的图像中的被写体类似的被写体。

特征量DB 110与已经提取局部特征量的图像关联，存储从多个图像提取的局部特征量。在特征量DB 110中存储的局部特征量可以是例如按图7所示的顺序输出的150维度的特征向量。

局部特征量提取装置120可以是在第一至第九实施例的任何一个中所示的局部特征量提取装置。

局部特征量提取装置120生成包含在输入图像中检测到的特征点的特征向量的搜索请求，以及将搜索请求传送到匹配装置100。匹配装置100将所接收的局部特征量与在特征量DB 110中存储的局部特征量匹配来确定与所输入的图像类似的图像。然后，匹配装置100将表示确定为与输入图像类似的图像的信息作为搜索结果输出到局部特征量提取装置120。

在该匹配系统中，局部特征量提取装置120基于子区域之间的位置关系，选择将输出为局部特征量的维度(元素)，使得减小邻近子区域之间的相关性，如在第一至第九实施例中所述。由此，匹配系统能减小局部特征量的大小，同时保持由匹配装置100执行的匹配的精度。

这实现将局部特征量从局部特征量提取装置120传送到匹配装置100所需的通信时间的缩减。此外，减小的局部特征量的大小实现由匹配装置100执行的匹配的处理负担的减轻。此外，局部特征量具有如图7所示的分层(逐行)配置。因此，即使当由局部特征量提取装置120提取的局部特征量的维度数不同于在特征量DB 110中存储的局部特征量的维度数时，匹配装置100也能使用多至与特征量DB 110和局部特征量提取装置120共用的维度数的局部特征量执行匹配处理。

例如，假定在特征量DB 110中存储的局部特征量等于150维度，而由局部特征量提取装置120提取的局部特征量等于50维度，如图30所示。在这种情况下，匹配装置100能使用特征量DB 110和局部特征量提取装置120中多至50维度的局部特征量执行匹配。换句话说，即使当例如根据局部特征量提取装置120的处理能力，局部特征量中的维度数改变，匹配装置100能使用所改变的维度数的局部特征量执行匹配处理。

预期实施例便于理解本发明，并且不打算限制本发明的解释。在不背离其精神的情况下，可以改变或改进本发明并且包括其等效。

本申请要求基于2011年11月18日提交的日本专利申请No.2011-253257的优先权，其全部内容在此引入以供参考。

已经参考实施例描述了本发明。然而，本发明不限于上述实施例。可以在其范围内，对本发明的配置和细节做出本领域的技术人员能理解的各种改变。

一些或全部实施例可以描述如下，但本发明不限于这些特征。

(特征1)一种局部特征量提取装置，包括：特征点检测单元，被配置成检测图像中的特征点；第一局部区域获取单元，被配置成获取用于每个特征点的局部区域；第一子区域分割单元，被配置成将每个局部区域分成多个子区域；第一子区域特征向量生成单元，被配置成对每个局部区域中的每个子区域，生成具有多个维度的特征向量；以及维度选择单元，被配置成基于每个局部区域中的子区域之间的位置关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域之间的相关性以及将所选择的维度的元素输出为该局部区域的特征量。

(特征2)根据特征1所述的局部特征量提取装置，维度选择单元被配置成以在所选择的维度的至少一个中，相邻子区域彼此不同的方式，从特征向量选择维度。

(特征3)根据特征1或2所述的局部特征量提取装置，其中，维度选择单元被配置成根据用于从局部区域的多个子区域中的特征向量选择维度的选择顺序，从特征向量选择维度。

(特征4)根据特征3所述的局部特征量提取装置，其中，维度选择单元被配置成将根据选择顺序选择的维度的顺序的所选择的维度的元素输出为局部区域的特征量。

(特征5)根据特征1至4的任何一个所述的局部特征量提取装置，进一步包括维度数目确定单元，维度数目确定单元被配置成确定由维度选择单元选择的维度数目，其中，维度选择单元被配置成以用于局部区域的特征量的维度数目等于所确定的维度数目的方式，从特征向量选择维度。

(特征6)根据特征5所述的局部特征量提取装置，其中，维度数目确定单元被配置成根据所检测的特征点的数目，对每个特征点，确定为局部区域的特征量选择的维度数目。

(特征7)根据特征5所述的局部特征量提取装置，其中，维度数目确定单元被配置成基于表示每个特征点的重要性的信息，对每个特征点，确定为局部区域的特征量选择的维度数目。

(特征8)根据特征1至7的任何一个所述的局部特征量提取装置，进一步包括被配置成量化每个子区域中的特征向量的量化单元，其中，维度选择单元被配置成从量化特征向量选择维度。

(特征9)根据特征1至7的任何一个所述的局部特征量提取装置，进一步包括被配置成量化局部区域的特征量的量化单元。

(特征10)根据特征1至9的任何一个所述的局部特征量提取装置，进一步包括特征向量扩展单元，特征向量扩展单元被配置成基于多个邻近子区域中的特征向量，生成用于作为大于多个邻近子区域的每一个的子区域的扩展子区域的特征向量，其中，维度选择单元被配置成基于每个局部区域中的扩展子区域之间的位置关系，从每个扩展子区域的特征向量选择维度，使得减小邻近扩展子区域之间的相关性，以及将所选择的维度的元素输出为局部区域的特征量。

(特征11)根据特征10所述的局部特征量提取装置，其中，特征向量的元素是由方向而定的特征量，以及特征向量扩展单元被配置成基于每个子区域的特征向量中，未被维度选择单元选择的维度的元素，生成用于扩展子区域的特征向量。

(特征12)根据特征1至11的任何一个所述的局部特征量提取装置，进一步包括第二子区域特征向量生成单元，第二子区域特征向量生成单元被配置成对每个局部区域中的每个子区域，生成在至少一个元素的方向上，不同于由第一子区域特征向量生成单元生成的特征向量、具有多个维度的特征向量。

(特征13)根据特征12所述的局部特征量提取装置，进一步包括第二子区域分割单元，第二子区域分割单元被配置成将每个局部区域分成与由第一子区域分割单元的分割所获得的多个子区域不同的多个子区域，其中，第二子区域特征向量生成单元被配置成对由第二子区域分割单元分割获得的每个子区域，生成特征向量。

(特征14)根据特征13所述的局部特征量提取装置，进一步包括第二局部区域获取单元，第二局部区域获取单元被配置成对每个特征点，获得与由第一局部区域获取单元获得的局部区域不同的局部区域，其中，第二子区域分割单元被配置成将由第二局部区域获取单元获得的每个局部区域分成多个子区域。

(特征15)一种用于提取局部特征量的方法，由计算机执行的方法包括：检测图像中的特征点；获取用于每个特征点的局部区域；将每个局部区域分成多个子区域；对每个局部区域中的每个子区域，生成具有多个维度的特征向量；以及基于每个局部区域中的子区域之间的位置关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域之间的相关性以及将所选择的维度的元素输出为局部区域的特征量。

(特征16)一种程序，使计算机实现：检测图像中的特征点的功能；获取用于每个特征点的局部区域的功能；将每个局部区域分成多个子区域的功能；对每个局部区域中的每个子区域，生成具有多个维度的特征向量的功能；以及基于每个局部区域中的子区域之间的位置关系，从每个子区域中的特征向量选择维度，使得减小邻近子区域之间的相关性以及将所选择的维度的元素输出为局部区域的特征量的功能。

(特征17)根据特征1至14所述的任何一个所述的局部特征量提取装置，进一步包括编码单元，配置为对局部区域的特征量进行编码。

附图标记描述

1A至1J 局部特征量提取装置

10 特征点检测单元

12 局部区域获取单元

14 子区域分割单元

16 子区域特征向量生成单元

18 维度选择单元

20 维度数目确定单元

22，24 量化单元

26 特征向量扩展单元

34 编码单元

Claims (16)

1.一种局部特征量提取装置，包括：

特征点检测单元，所述特征点检测单元被配置成检测图像中的特征点；

第一局部区域获取单元，所述第一局部区域获取单元被配置成获取针对各个特征点的局部区域；

第一子区域分割单元，所述第一子区域分割单元被配置成将各个局部区域分割成多个子区域；

第一子区域特征向量生成单元，所述第一子区域特征向量生成单元被配置成针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量；以及

维度选择单元，所述维度选择单元被配置成基于各个局部区域中的子区域之间的位置关系来从每个子区域中的特征向量选择使得减小邻近子区域之间的相关性的维度，并且将所选择的维度的元素作为局部区域的特征量进行输出。

2.根据权利要求1所述的局部特征量提取装置，其中，所述维度选择单元被配置成以使得相邻子区域在所选择的维度的至少一个中彼此不同的方式来从所述特征向量选择维度。

3.根据权利要求1或2所述的局部特征量提取装置，其中，所述维度选择单元被配置成根据用于从局部区域的多个子区域中的特征向量中选择维度的选择顺序，来从所述特征向量选择维度。

4.根据权利要求3所述的局部特征量提取装置，其中，所述维度选择单元被配置成将按根据所述选择顺序选择的维度的顺序所选择的维度的元素作为局部区域的特征量进行输出。

5.根据权利要求1至4中的任何一项所述的局部特征量提取装置，进一步包括维度数目确定单元，所述维度数目确定单元被配置成确定由所述维度选择单元所选择的维度数目，其中，所述维度选择单元被配置成以使得局部区域的特征量的维度数目等于所确定的维度数目的方式来从所述特征向量选择维度。

6.根据权利要求5所述的局部特征量提取装置，其中，所述维度数目确定单元被配置成根据所检测的特征点的数目，确定针对各个特征点的局部区域的特征量所选择的维度数目。

7.根据权利要求5所述的局部特征量提取装置，其中，所述维度数目确定单元被配置成基于指示各个特征点的重要性的信息来确定针对各个特征点的局部区域的特征量所选择的维度数目。

8.根据权利要求1至7的任何一项所述的局部特征量提取装置，进一步包括配置成量化每个子区域中的所述特征向量的量化单元，

其中，所述维度选择单元被配置成从所量化的特征向量选择维度。

9.根据权利要求1至7中的任何一项所述的局部特征量提取装置，进一步包括配置成量化所述局部区域的特征量的量化单元。

10.根据权利要求1至9中的任何一项所述的局部特征量提取装置，进一步包括特征向量扩展单元，所述特征向量扩展单元被配置成基于多个邻近子区域中的所述特征向量来生成扩展子区域的特征向量，所述扩展子区域是大于所述多个邻近子区域中的每一个的子区域，

其中，所述维度选择单元被配置成基于各个局部区域中的扩展的子区域之间的位置关系来从每个扩展的子区域的所述特征向量选择使得减小邻近扩展子区域之间的相关性的维度，并且将所选择的维度的元素作为局部区域的特征量进行输出。

11.根据权利要求10所述的局部特征量提取装置，其中，所述特征向量的元素是取决于定向的特征量，并且

所述特征向量扩展单元被配置成基于每个子区域中的所述特征向量的所述维度选择单元没有选择的维度的元素，来生成用于所述扩展子区域的特征向量。

12.根据权利要求1至11中的任何一项所述的局部特征量提取装置，进一步包括第二子区域特征向量生成单元，所述第二子区域特征向量生成单元被配置成针对每个局部区域中的子区域中的每一个生成具有多个维度的特征向量，所述具有多个维度的特征向量在至少一个元素的定向上不同于由所述第一子区域特征向量生成单元所生成的特征向量。

13.根据权利要求12所述的局部特征量提取装置，进一步包括第二子区域分割单元，所述第二子区域分割单元被配置成将每个局部区域分割成与通过所述第一子区域分割单元进行的分割所获得的多个子区域不同的多个子区域，

其中，所述第二子区域特征向量生成单元被配置成针对通过所述第二子区域分割单元进行的分割所获取的子区域中的每一个生成所述特征向量。

14.根据权利要求13所述的局部特征量提取装置，进一步包括第二局部区域获取单元，所述第二局部区域获取单元被配置成针对每个特征点获取与由所述第一局部区域获取单元所获得的局部区域不同的局部区域，

其中，所述第二子区域分割单元被配置成将由所述第二局部区域获取单元所获得的局部区域中的每一个分割成多个子区域。

15.一种用于提取局部特征量的方法，由计算机执行的所述方法包括：

检测图像中的特征点；

获取针对各个特征点的局部区域；

将各个局部区域分割成多个子区域；

针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量；以及

基于各个局部区域中的子区域之间的位置关系来从每个子区域中的特征向量选择使得减小邻近子区域之间的相关性的维度，并且将所选择的维度的元素作为局部区域的特征量进行输出。

16.一种程序，所述程序使得计算机执行下述功能：

检测图像中的特征点；

获取针对各个特征点的局部区域；

将各个局部区域分割成多个子区域；

针对各个局部区域中的子区域中的每一个生成具有多个维度的特征向量；以及

基于各个局部区域中的子区域之间的位置关系来从每个子区域中的特征向量选择使得减小邻近子区域之间的相关性的维度，并且将所选择的维度的元素作为局部区域的特征量进行输出。