CN102422319B - 图像检索方法和图像存储方法 - Google Patents

Abstract

一种图像检索方法，包括以下步骤：从拍摄有待检索对象的查询图像提取表示查询图像的局部特征的至少一个查询特征向量；访问图像数据库，多个参考图像、从各参考图像生成的学习图像以及表示参考图像和学习图像的局部特征的多个参考特征向量彼此关联地预先存储在该图像数据库中；使用近似最近邻搜索匹配查询特征向量和与各参考图像关联的参考特征向量，并找到近似最接近查询特征向量的参考特征向量；以及选择与所找到的各参考特征向量关联的参考图像作为检索结果，其中：通过对各参考图像进行施加在拍摄待检索对象的图像时可能出现的模糊和/或变化的图像处理来生成学习图像；使用尺度空间技术分别从参考图像和对应于参考图像的学习图像提取各参考特征向量；使用尺度空间技术从查询图像提取查询特征向量；以及用计算机执行上述各步骤。

Description

图像检索方法和图像存储方法

技术领域

本发明涉及图像检索方法、图像检索程序和图像登记方法，特别地，涉及使用诸如配置有照相机的移动电话等的常见的图像输入装置拍摄的图像作为查询图像的图像检索方法、图像检索程序和图像登记方法。

背景技术

随着配置有照相机的移动电话的普及，需要一种不仅把照相机用作为简单拍摄图像的设备而且还用作为输入设备的服务。例如，已知通过拍摄杂志、目录等所示的产品而订购产品或者呈现相关信息的服务。为此，需要高速且高精度地识别图像中的物体。

发明人提出了利用大型图像数据库(例如参见专利文献1、非专利文献2和3)高速且高精度地识别图像的方法。在本方法中，针对表示图像的局部特性的局部特征应用PCA-SIFT(例如参见非专利文献1)，使用近似最近邻搜索来比较查询图像的局部特征和图像数据库中的局部特征，并将最接近查询图像的图像确定为识别结果。注意，通常，局部特征表示成向量，PCA-SIFT就是如此。专利文献1和非专利文献2的方法的特征为级联处理，其中，根据查询图像对近似程度进行适当调整，以提高处理速度。非专利文献3的方法的特征为通过使用标量量化来减少所使用的存储量。

引文列表

专利文献

专利文献1：国际公开WO2008/026414

非专利文献

非专利文献1：Y.Ke and R.Sukthankar,PCA-SIFT:A MoreDistinctive Representation For Local Image Descriptors,Proc.OfCVPR2004,vol.2,pp.506-516,2004。

非专利文献2：野口和人,黄瀬浩一,岩村雅一,〝近似最近傍探索の多段階化による物体の高速認識,〝画像の認識·理解シンポジウム(MIRU2007)論文集,pp.111-118，July，2007。

非专利文献3：野口和人,黄瀬浩一,岩村雅一,〝局所記述子に基づく物体認識のためのメモリ削減の実験的検討,〝画像の認識·理解シンポジウム(MIRU2008)論文集,pp.251-258，July，2008。

发明内容

然而，如果将上述方法应用于由配置有照相机的移动电话所拍摄的查询图像，存在不能获得足够的识别率的问题。认为这是因为，由于诸如在配置有照相机的移动电话拍摄目录等的特写图像时出现的模糊或失焦等的劣化，从拍摄到的图像提取出的局部特征改变了。这里，模糊或失焦均使得拍摄对象(被摄体)的轮廓不清楚，虽然它们的起因不同。模糊是由于拍摄瞬间照相机不静止引起的。失焦是由于被摄体在焦点之外或者照相机分辨率不够引起的。

作为改进上述劣化图像的识别率的方法，有三种可能的方法：(1)修复查询图像的劣化；(2)使用相对于图像的劣化稳健的局部特征，以及(3)通过对原始图像施加劣化来生成学习图像。在修复图像的劣化的方法(1)中，需要在识别时执行修复处理，因而处理时间成为问题。至于使用不随劣化改变的局部特征的方法(2)，根据一些技术文献，PCA-SIFT对于失焦相对稳健(例如参见K.Mikolajazyk and C.Schmid,“A PerformanceEvaluation of Local Descriptors”IEEE Transactions on PatternAnalysis&Machine Intelligence,vol.27,no.10,pp.1615-1630,2005)，其中，在后面所述的针对适用于本发明的方法的局部特征的实验也用到了PCA-SIFT。因而，进一步改进方法(2)是困难的。也就是说，PCA-SIFT和作为PCA-SIFT的基础的SIFT是用于提取表示图像的局部特性的特征点以及与特征点相对应的局部特征的方法。提取过程包括如下过程：在以某个速率增大高斯滤波器的规模的情况下将高斯滤波器顺序应用于原始图像以生成平滑的图像(尺度空间)，然后，根据相邻的尺度图像之间的差分图像检测极值，以确定特征点和尺度。因而，认为在提取局部特征的过程中已考虑了对失焦的处理。此外，由于使用尺度空间，PCA-SIFT和SIFT对于图像尺度的改变是稳健的。

考虑到上述情况，发明人致力于用于学习根据原始图像生成的劣化图像的方法。该方法称为生成型学习，并用于如字符识别等领域(例如，参见石田皓之,高橋友和,井手一郎,目加田慶人,村瀬洋,〝手ブレ情報を利用したカメラ入力型低品質文字の認識法,〝画像の認識·理解シンポジウム(MIRU2006)論文集,pp.180-186，July，2006)。在利用局部特征的图像识别的领域中，也提出了一种方法，其中，局部区域经过几千种随机转换，学习所获得的局部区域，从而实现高精度(例如，M.Ozuysal,M.Calonder,V.Lepetit,and P.Fua,“Fast Keypoint Recognitionusing Random Ferns”,IEEE Transactions on Pattern Analysis andMachine Intelligence.)。然而，在这些文献中，只针对仅包括几千个图像的图像数据库验证了有效性，而没有针对本发明考虑的大型图像数据库验证其有效性。

首先，已知使用局部特征的图像识别对部分遮挡和由几何变换引起的变形是稳健的，而且，在各种局部特征中，通过使用尺度空间所提取出的局部特征对失焦和照明条件变化尤其稳健。然而，在使用局部特征的图像识别中，需要存储和处理大量局部特征。因而，进行的研究主要旨在减少数据量和处理时间。另一方面，在生成型学习中，由于学习模式是从原始图像生成的，要登记到图像数据库中的数据量增加了。也就是说，使用局部特征的图像识别技术的方向和生成型学习的方向不兼容。然而，发明人大胆地尝试结合这两种方法，并且发现通过容忍处理时间一定程度上的增加，识别率得到极大改进，这是始料未及的。

此外，发现如果把用于减少处理时间的非专利文献2的方法和用于减少存储量的非专利文献3的方法相结合，则可以实现高识别率，同时抑制了生成型学习的缺点。

有鉴于此，本发明提供了一种图像检索方法，该图像检索方法可以实现高精度的图像检索、即图像识别，特别是在使用由诸如配置有照相机的移动电话等的常见的图像输入设备拍摄的图像作为查询图像的情况下。此外，本发明提供一种用于生成图像检索用的图像数据库的图像登记方法。此外，本发明提供用于通过计算机处理来实现图像检索方法的图像检索程序。

问题解决方案

本发明提供一种通过利用生成型学习来解决如模糊和失焦等问题的方法。具体而言，从要登记的图像生成多个具有模糊或失焦的图像，从生成的图像获得局部特征，从而增加了登记的局部特征存在于查询图像的每个局部特征的附近的概率。这时发生的存储量增加和处理时间增加的问题可以通过组合非专利文献2的级联方法和使用标量量化的非专利文献3的方法而解决。

也就是说，本发明提供一种图像检索方法，其包括：从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；比较步骤，使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及选择步骤，从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，使用所述尺度空间方法来从所述查询图像提取所述查询特征向量，以及利用计算机执行上述各步骤。

另一方面，本发明提供一种用于使计算机执行如下步骤的图像检索程序，所述步骤包括：从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，以及使用所述尺度空间方法来从所述查询图像提取所述查询特征向量。

另一方面，本发明提供一种图像存储方法，用于将参考图像存储到能够存储所述参考图像的图像数据库中，所述图像数据库用于检索与拍摄有图像检索对象的查询图像相匹配的特定参考图像的图像检索，所述图像存储方法包括如下步骤：通过向要存储的参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成学习图像；分别从所述参考图像和各学习图像提取至少一个参考特征向量；以及将所述参考特征向量和所述学习图像与相应的参考图像相关联地存储在所述图像数据库中，其中，使用尺度空间方法分别从所述参考图像和各学习图像提取所述参考特征向量，通过以下的处理来执行所述图像检索：以与提取所述参考特征向量的方式相同的方式从所述查询图像提取至少一个查询特征向量；使用近似最近邻搜索来比较所述查询特征向量和从所述参考图像及所述学习图像提取的各参考特征向量，以找到近似最接近所述查询特征向量的特定参考特征向量；以及从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像，以及利用计算机执行上述各步骤。

发明效果

在本发明的图像检索方法中，通过向每个参考图像施加失焦和/或运动模糊效果来生成学习图像，通过使用尺度空间方法从每个参考图像和对应于参考图像的学习图像提取参考特征向量，而且，通过使用尺度空间方法从查询图像提取查询特征向量。因而，可以实现高精度图像识别，特别是在使用如配置有照相机的移动电话这样的尺寸小重量轻的常见的图像输入设备拍摄的图像作为查询图像的情况下。

根据本发明的图像检索程序具有和上述图像检索方法相同的优点。此外，可以利用根据本发明的图像登记方法生成图像检索方法所使用的图像数据库。

根据本发明的图像检索方法和图像登记方法的步骤利用例如个人计算机或服务器的CPU来执行。除此之外，还可用例如移动终端或移动电话这样的设备的CPU或微型计算机来执行这些步骤。根据本发明的图像检索程序是本发明的一方面，是使这种CPU或微型计算机执行上述处理的程序。

作为从图像提取局部特征的算法，已知有诸如SIFT和PCA-SIFT的一些方法。在下文所述的实施例中使用PCA-SIFT。然而，本发明不限于PCA-SIFT。本发明中，查询图像的特征由从查询图像提取的多个查询特征向量表示。参考图像的特征由从参考图像提取的多个参考特征向量表示。图像检索基于如下处理：将每个查询特征向量与参考特征向量进行比较，并找到近似最接近查询特征向量的参考特征向量。

预先将参考特征向量和每个参考图像相关联地登记在图像数据库中。本发明的特征方面在于，不仅使用直接从每个参考图像提取的参考特征向量，还使用从通过对每个参考图像施加失焦和/或运动模糊效果并应用尺度空间方法所生成的每个学习图像提取的局部特征，来进行比较。

注意，如果简单增加从学习图像提取的参考特征向量，由于用来进行比较的参考特征向量的数量增加，所以图像数据库所需的存储量增加，并且处理时间增加。因而，在优选实施例中，本发明可以与标量量化方法结合，以节约存储量，而且可以与级联方法结合，以节约处理时间。

附图说明

图1是示出根据本发明的级联标识单元的结构的图。

图2是示出根据本发明的原始图像和从原始图像生成的学习图像的例子的图。

图3是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第一图。

图4是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第二图。

图5是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第三图。

图6是示出根据本发明的登记图像的例子的图。

图7是示出在本发明实验中使用学习集C成功识别的查询图像的例子的图。

图8是示出本发明在使用级联标识单元的情况下以及未使用级联标识单元的情况下的实验中获得的登记图像的数量和识别率之间的关系的图。

图9是示出本发明在进行了标量量化的情况下以及未进行标量量化的情况下的实验中获得的登记图像的数量和处理时间之间的关系的图。

具体实施方式

下面描述本发明的优选实施例。

在根据本发明的图像检索方法中，比较步骤可以分别使用与顺序从轻到重的处理负荷相对应的顺序从粗略到精细的多个近似程度，重复查询特征向量和每个参考特征向量的比较；选择步骤可以使比较步骤重复进行比较，直到提供了确定检索结果的基础为止。也就是说，图像检索方法可以与级联方法结合。这样，比较步骤从需要小的处理量的粗略近似程度的级开始进行比较，逐步进行到精细近似程度的级，并在获得确定检索结果的有效基础时的级处结束检索。因而，容易识别的查询图像的比较处理在开始级结束，即，在进行粗略近似的早的级。另一方面，在难以识别的查询图像的比较处理中，与针对容易的查询图像的比较处理相比，该比较处理重复较多的次数之后确定检索结果。因而，在比较重复了与查询图像的识别难度相对应的次数之后结束比较，即，处理时间与难度相对应。

这种情况下，与利用针对任何查询图像均匀设置的近似程度所进行的比较的情况相比，大大减小了各种查询图像的比较的平均处理时间。这是由于，如果均匀设置近似程度以获得等同于级联方法的识别性能的识别性能，需要基于最难识别的查询图像来设置近似程度。结果，容易识别的查询图像的近似程度比所需的更精细，针对查询图像进行的比较耗费长的时间。这里，在使用级联方法进行比较的本发明中，如果随着近似级的推进通过使用在前一级获得的近似结果来进行累积比较，则与均匀设置近似程度的情况相比，即使对于最难以识别的查询图像，处理时间也不会大大增加。这种累积比较是可能的(参考非专利文献2)。因而，可以通过引入生成型学习来解决处理时间增加的问题。

此外，图像检索方法可进一步包括将每个参考特征向量的向量维度量化成预定位数的标量量化步骤。即，图像检索方法可以和标量量化方法结合。这样，可以减少登记图像所需的存储量，同时与不使用标量量化方法的情况相比几乎维持识别率。因而，可以通过引入生成型学习来解决存储量的增加的问题。

此外，标量量化步骤可以将每个向量维度量化成两位或更少位。这是由于下文所述实验证明，即使通过将每个向量维度量化成两位或更少位而大大减少了存储量，识别率也不会大幅度降低。

可通过在水平方向和/或垂直方向施加运动模糊效果来生成学习图像。即，如果通过使用仅在水平方向和/或垂直方向施加运动模糊效果的图像来生成学习集，则可以获得最大效果，同时与学习图像还包括在倾斜方向上施加了运动模糊效果的图像的情况相比，使由于引入生成型学习而增加的处理时间和存储量保持为最小。

上述优选模式可以相互结合。

以下参考附图详细描述本发明。注意，以下说明从各方面来讲都是说明性的。不应将以下说明理解为对本发明的限定。

首先，描述作为本发明的前提的使用近似最近邻搜索(Approximate Nearest Neighbor Search)的物体识别方法的基本过程。然后描述通过生成型学习生成学习数据。

1.使用近似最近邻搜索的物体识别方法(前提方法)

适用于本发明的物体识别方法使用包括利用级联方法的高速识别处理和利用标量量化的存储量减小处理的近似最近邻搜索。将描述通常用于至图像数据库的登记的哈希函数和基于近似最近邻搜索的图像检索。之后，描述登记，然后描述检索。

1.1哈希函数和特征向量的提取

首先，描述作为近似最近邻搜索的基本元素的哈希函数。哈希表和哈希函数是检索领域所已知的。此处，将集中根据本发明的用于将局部特征登记至哈希表的具体过程来描述哈希函数。注意，局部特征是使用PCA-SIFT提取的。即，使用PCA-SIFT执行提取查询特征向量的过程和提取参考特征向量的过程。使用PCA-SIFT获得的36维特征向量x是主成分分析的结果。因而，较低维度的特征向量x的特征值较大。然后，由表达式1表示x的第1到第d维(d≤36)。

[表达式1]

$\hat{x}=(x_1,x_2,...,x_d)$

[表达式2]

接下来，通过使用表达式2将各维度转换成二进制值，从而生成由表达式3表示的位向量。

[表达式3]

u=(u₁,....,u_d)

此处，u_j是所有对象图像的向量x_j的平均值。

[表达式4]

$H_{\mathrm{index}}=\left(\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{u}_i{2}^i\right)\mathrm{mod}{H}_{\mathrm{size}}$

然后，通过使用表达式4获得哈希值。此处，mod表示求余数运算，H_size是哈希表的大小。

1.2将参考图像和参考特征向量登记到图像数据库

利用前述哈希函数将参考特征向量登记到哈希表。在哈希表中，通过标量量化减少了数据量的特征向量与参考图像的ID一起登记。当登记中出现冲突时，将多个特征向量登记成链表(下文简称为列表)。这时，如果列表过长，则会出现检索中的距离计算的处理量过度增加的问题。因而，本实施例中，为列表长度n设置上限值c。如果满足n>c，则从哈希表中删除整个列表。如果大量的参考特征向量具有同一哈希值，则参考特征向量对图像识别的贡献不大。因而，认为删除整个列表的影响相对较小。

对要登记到图像数据库的所有特征向量执行上述处理，从而完成将参考图像的数据登记到图像数据库。

1.3通过级联方法进行图像数据库的检索(比较)

在检索(比较)中，利用图1所示的级联方法实现高速处理。

图1是示出根据本发明的级联方法的结构的图。在图1中，编号为0到b的方块表示用于在各级执行检索处理的标识单元。编号较小的标识单元利用较粗略的近似执行检索。每个标识单元通过近似最近邻搜索将表示查询特征的每个查询特征向量与表示图像数据库11中包括的特征点的参考特征向量进行比较，获得近似最接近每个查询特征向量的参考特征向量，然后获得从中提取了参考特征向量的参考图像的ID。对与各个查询特征向量相对应的参考图像的ID中的每个ID执行投票处理，将与最大数量的查询特征向量相对应的参考图像确定为检索答案。

首先，第一级的标识单元对从查询图像获得的一组查询特征向量执行检索处理，从而执行查询图像识别。在该级，如果获得下文所述的有效基础，则识别处理结束，并将识别结果确定为答案。另一方面，如果没有获得有效基础，则执行更精细近似的下一级标识单元对该组查询特征向量执行检索处理，从而再次执行查询图像识别。

粗略近似的比较处理的负荷较小，这是因为要比较的数据量小，精细近似的比较处理的负荷较重。在图1所示的级联方法中，近似程度逐渐从粗略近似变成精细近似。精细近似的检索的一部分处理(一些检索对象)与在前一级执行的粗略近似的检索的处理重叠。考虑到上述方面，每个标识单元可以被配置为对于与在前一级执行的处理重叠的处理部分使用在前一级获得的结果，并且新执行检索处理的其他部分。

如果即使在每一级执行了检索直到最后一级(第b+1级)也没有获得有效基础，则可以把获得最多投票的参考图像确定为答案，或者可以拒绝该查询图像。利用上述处理，在较早的级处结束处理的图像的识别的效率大幅度提高，而且可以根据需要进行较长时间的识别。

识别时会引起错误的图像的特征在于，首先，图像获得很少投票，而且，即使图像获得一定数量的投票，该图像的投票数量大致等于第二位候选的投票数量。鉴于此，可以如下确定基础是否有效。如果同时满足V₁>t和rV₁>V₂，其中，V₁是第一位候选的投票数量，V₂是第二位候选的投票数量，结束处理以将第一位候选确定为答案。注意，t是投票数量的阈值，r是第一位候选的投票数量和第二位候选投票数量之比的阈值。

1.4各标识单元的处理(各级的比较和选择)

下面描述各级的标识单元执行的处理。每个标识单元从哈希表检索要确定为从查询图像获得的每个查询特征向量q的最近邻的参考特征向量。然而，由于结果包括近似，所以通过近似最近邻搜索所获得的结果可以为近似最近邻，但是不一定是最近邻。这是由于，考虑到处理时间而对检索精度做了折衷。然而，通过下文所述的投票处理来补偿经过折衷的检索精度。此处，将获得的一组参考特征向量表示为X。接下来，计算通过对每个查询特征向量q进行标量量化所获得的向量和X中包括的每个向量之间的欧氏(Euclidian)距离，从而获得被确定为最近邻的参考特征向量X*。

然后，向对应于X*的参考图像的ID投票。如果存在多个被确定为最近邻的参考特征向量，则执行如下投票处理：向对应于多个参考特征向量的参考图像的每个ID投票，然后确定获得最多投票的参考图像。对查询图像的所有查询特征向量执行投票处理，选择最终获得最多投票的参考图像作为答案(检索结果)。

在各标识单元的处理中，通过用于检索与各查询特征向量q相对应的特征向量组X的步骤来确定近似度。在执行最粗略近似的情况下(第一级)，如登记时那样，从每个查询特征向量q获得位向量，通过使用哈希函数获得具有相同哈希值的特征向量。

在执行粗略近似的情况下，考虑到特征向量的每个维度的值可能随拍摄条件而变化，执行检索来处理该变化。具体而言，通过使用每个维度的值的变化范围e作为参数，来以下述方式处理该变化。

[表达式5]

q=(q₁,…,q_d)

由表达式5表示q。

[表达式6]

q_j-u_j≤e

如果维度j满足表达式6，则不仅使用u_j而且还使用表达式7来执行参考特征向量的检索。

[表达式7]

u’_j=(u_j+1)mod2(如果u_j为0则u’_j为1，如果u_j为1则u’_j为0)

从最高维度开始依次对每个特征向量执行上述处理。随着检索处理进行到级联方法的较后级，即，随着近似度变得更精细，每个查询特征向量以及要执行处理的参考特征向量的维数增加。如果处理到达最后一级(第b级)，要处理2^b位向量。这里，可以通过使用除了在前一级已执行了处理的位向量之外的位向量来容易地执行检索处理(参见非专利文献2)。因此，可将由于级联方法而引起的处理量增加抑制到最少。

2.使用尺度空间方法的学习图像生成(生成型学习)

接下来，描述学习图像的生成。对于在拍摄如书或图片这样的平面物体时出现的劣化，存在几个可能原因。本发明假定失焦和模糊是最大的原因，并对此采取一些措施。

应对失焦和模糊的最简单有效的方法是使用生成型学习的方法。在该方法中，通过向原始图像应用各种失焦和模糊来生成学习图像，而且还从学习图像提取识别要使用的特征向量。在每个标识单元的处理中，使用所提取的特征向量，连同从原始图像中提取的特征向量一起，作为学习数据。

本发明中，由于通过对局部特征的最近邻搜索来进行识别，所以学习数据的增加导致所需存储量的增加，而且增加了处理时间。因而，为了尽可能减少学习数据，对模糊设置下述假定。作为拍摄对象的书或图片不会移动，并且在拍摄图像时按下拍摄按钮之际出现模糊。因而，假定仅在垂直方向或水平方向上出现模糊。

本实施例中，从原始图像以及由原始图像生成的一组学习图像(学习集)中提取局部特征。

图2是示出包括原始图像以及通过向原始图像施加失焦或模糊而获得的学习图像的示例的图。通过在改变核(kernel)大小的情况下使用高斯滤波器模糊图像数据库11中的图像来生成学习图像。图2中框线表示的图像集合是学习集A到D，它们是根据失焦和模糊的程度和类型生成的。将从1、7、13和19[像素]选出的组合用于垂直核大小和水平核大小。垂直核大小和水平核大小不同的图像具有模糊。注意，实验所使用的图像数据库11中的图像的大小基本等于QVGA大小(320×240)。

此处，在PCA-SIFT中，利用失焦程度不同的多个图像生成尺度空间，并获得特征点，从而实现尺度不变。因而，有可能从垂直核大小和水平核大小彼此不同的、具有模糊的相应图像中提取出与原始图像的特征不同的特征。另一方面，从垂直核大小和水平核大小彼此相同的、具有失焦的相应图像中仅提取出与原始图像的特征相同的特征，因此，认为在学习集中增加这样的图像不会大幅度提高识别率。

然而，与预期不同的是，发现如果在学习集中增加垂直核大小和水平核大小彼此相同的这种失焦图像，识别率会增加，从而验证了本发明的有效性。认为其原因和以下事实有关：利用PCA-SIFT生成尺度空间时，高斯滤波器的尺度离散扩展了。即，认为原因在于，如果查询图像的失焦度在离散尺度之间，则可以从相应图像提取不同于原始图像的特征点。为了验证这一点，通过从学习集D中包括的图像提取垂直核大小和水平核大小彼此相同的图像(图2中的对角成分)来生成学习集D_diag。

图3到图5是示出从根据本发明的学习集A、B、C、D和D_diag中的每个图像获得的局部特征与通过利用移动电话拍摄原始图像所获得的拍摄图像的局部特征之间的一一对应关系的图。左侧图像(拍摄图像)的特征点(获得了局部特征的部分)的数量是134。注意，为了便于说明，右侧图像显示为相同图像(学习集A中的图像)，但是特征点表示从每个学习集获得局部特征的部分。

具体而言，从每个学习集发现与拍摄图像的每个局部特征最相似的局部特征(到拍摄图像的每个局部特征距离最小的局部特征)，如果距离等于或小于阈值，则判断为所发现的局部特征与拍摄图像的局部特征具有对应关系。如图3的(a)所示，在学习集A中，9个局部特征与拍摄图像的局部特征具有一一对应关系。如图的3(b)所示，在学习集B中，31个局部特征与拍摄图像的局部特征具有一一对应关系。学习集B中的31个局部特征包括学习集A中的9个局部特征。因而，在学习集B中，与学习集A相比，新获得了22个局部特征。如图4的(a)所示，在学习集C中，比学习集B中的多了5个的36个局部特征与拍摄图像的局部特征具有一一对应关系，如图4的(b)所示，在学习集D中，与学习集C中的一样多的36个局部特征与拍摄图像的局部特征具有一一对应关系。

在图3到图5中，点表示特征点，线表示对应关系。发现学习集中的模糊图像的数量越大，获得的对应关系的数量越多。同样，在图5所示的学习集D_diag中，获得的对应关系的数量比学习集A的多，因而，发现这是有一些作用的。

基于以上，发现通过利用生成型学习，学习集中与使用移动电话拍摄的图像的特征点具有对应关系的特征点的数量增加了，即，找到了离从查询图像提取的每个查询特征向量更近的参考特征向量。这表示查询图像与学习集中的图像类似，即，查询图像具有模糊和失焦。注意，上述“对应关系”是仅利用对应于同一个原始图像的图像所获得的处理结果。因而，实验中示出了在登记了多个图像的情况下所获得的识别结果。

3.实验

3.1.实验条件

为了验证本发明的有效性，进行下述实验。在实验中，使用下述图像数据库和查询图像。通过使用PCA-SIFT(获取自http://www.cs.cmu.edu/yke/pcasift/)提取局部特征。使用以下表达式表示的哈希表大小。

[表达式8]

H_size=2^d

以下说明中的处理时间是识别每个查询图像所需的时间。

注意，处理时间不包括提取特征向量所耗费的时间。使用的CPU为2.8GHz的AMD皓龙(注册商标)、64GB内存的计算机。

3.1.1图像数据库

下面描述实验所使用的图像。图像数据库包括使用“动物”、“生日”、“食物”、“日本”等标签的从照片共享站点flickr收集到的10万个图像。如图6所示，图像数据库主要包括物品、自然和人物等的照片。注意，缩小了图像大小，使得图像的长边等于或小于320像素。

表1示出从第2节描述的每个学习集获得的特征点的数量。图像越模糊，从图像获得的PCA-SIFT特征点的数量越少。因而，与图像的数量相比，特征点的数量没有增加。

[表1]

学习集类型

在实验中，将从1万个图像的图像数据库获得的标量量化的阈值用于任意数量的图像的图像数据库。

3.1.2查询图像

生成两类查询图像，即，识别用的查询图像和拒绝用的查询图像。识别用的查询图像是通过拍摄从图像数据库随机选取的1000个图像所获得的。具体生成过程如下。首先，将排列有四个或十六个图像的每组图像打印到一张A4纸上。使用彩色激光打印机打印。拍摄者使用不同的各移动电话拍摄纸张，以包括每个图像的全部。这时，如表2所示，图像大小设置为QVGA(320×240)，并且设置微距模式。拒绝用的查询图像是通过打印图像数据库中不包括的1000个图像所获得的，并且以与上述方式类似的方式拍摄所打印的图像。表2示出每个图像的平均特征点数量。

[表2]

查询图像类型

3.2没有拒绝的实验

3.2.1学习集

首先，调查生成型学习对识别率的影响。登记图像的数量为1万。不进行可能对识别率产生负面影响的级联方法和量化(即，特征向量由每维16位的向量表示)。处理参数设为b=10、c=100、d=28以及e=400。表3示出结果。八位拍摄者拍摄图像。随着学习集如图2按A、B、C和D的顺序改变，识别率增加。在学习集D中，识别率是93.3%，比学习集A(原始图像)的81%增加了12.3%。在拍摄者之间相比，拍摄者4表示最有效，其中，识别率从57.0%增加到88.7%，增加了31.7%。拍摄者3表示第二最有效。如表2所示，拍摄者3和4在未使用微距模式的情况下拍摄图像，使用的每张A4纸上打印了16个图像。因而，认为所拍图像的失焦程度比其它查询图像的大，这样，本发明的方法提供了良好效果。在学习集D_diag中，虽然识别率比学习集D的小，但是比学习集A的增加了10%。未对学习集D_diag进行施加模糊的处理。因而，发现甚至仅执行施加失焦的处理也可以获得一定程度的效果。

另一方面，有关处理时间，发现学习集中特征点的数量越多，处理时间越长。例如，学习集C的特征点的数量是学习集A的约5倍，学习集C的处理时间是学习集A的约2倍。学习集A、B、C和D实际使用的存储量包括了除了用于特征向量的存储量以外的存储量以及占用的存储量，并且分别为2.5GB、3.5GB、4.3GB和4.5GB，即，存储量按A、B、C和D的顺序增加。这样，以处理时间和存储量增加为代价，实现了通过增加学习集中图像的数量而改善识别率。

图7示出学习集A中未能识别的图像以及学习集C中成功识别的图像。从图7发现均匀模糊和失焦严重的图像也可识别。

[表3]

每类学习集和每类查询图像的识别率[%]和处理时间[ms]

3.2.2可扩展性

根据上述实验，发现可以通过增加学习集中的特征点的数量提高识别率。然而，增加要登记至哈希表的特征点可能会对本发明方法的可扩展性产生负面影响。因而，本发明中，通过在将登记图像的数量增加到10万的情况下使用学习集C来调查识别率、处理时间和存储量三个要素。参数设置为b=400、c=100、d=28、t=4以及r=0.4。在使用级联方法和不使用级联方法两种情况下进行了实验。在标量量化中，将每维的位数设为2和16(未量化)。

图8示出识别率。在未进行量化的情况下，即使登记图像的数量增加到10万，识别率也基本恒定为92.5%。在将每维量化为2位的情况下，识别率下降约1%。另一方面，几乎未出现由于级联方法引起的识别率下降。

图9示出处理时间。发现使用级联方法使处理时间减少了约1/10。在未进行量化的情况下，需要额外的处理时间来处理查询图像的特征向量量化。

在登记图像的数量为10万的情况下，如果不进行量化，存储量是22.6GB，如果将每维量化成2位，存储量是6.7GB，这大约是22.6GB的1/3。在登记图像的数量为1万的情况下，如果将每维量化成2位，识别率是92.4%，处理时间是1.7ms，存储量是2.7GB。在第1节中，在使用学习集A时，即不执行生成型学习时，识别率是81.0%，处理时间是7.7ms，存储量是2.5GB。因而，可以说通过使用级联方法和量化的组合，可以利用几乎相同的存储量实现高速和高精度识别。

3.3拒绝的实验

最后，描述拒绝的实验的结果，其中登记图像的数量为1万并使用学习集C。如下定义结果的评价标准。首先，在存在与查询图像相对应的图像的情况下，使用识别率C₁、错误识别率E₁和拒绝率R₁(C₁、E₁和R₁满足C₁+E₁+R₁=1)。在不存在与查询图像相对应的图像的情况下，使用错误识别率E₂和拒绝率R₂(E₂和R₂满足E₂+R₂=1)。在实验中，使用了十重交叉验证(10-fold cross validation)。通过使用表4所示的三类标准从学习样本获得参数，并将参数应用于测试样本。使用从b=5、10和15，c=2、5、10和100，d=20、24和28，e=200、400和600，r=0.2、0.4和0.6，t=4、8和12中选择的每种参数组合。表4示出结果。拒绝用的查询图像的处理时间比识别用的查询图像的处理时间长。这是由于处理需要进行到最后一级以拒绝查询图像。如果允许约10ms的查询时间和约10%的拒绝率R₁，则可以认为实现了错误识别率为1%或更低(相当于几乎不出现错误识别)的识别。

[表4]

在进行拒绝情况下的结果

4.结论

本发明通过使用生成型学习来解决在使用配置有照相机的移动电话作为图像输入设备的情况下对局部特征使用最近邻搜索的图像识别方法中出现的诸如模糊和失焦等的问题。根据使用1万个图像的实验结果，发现识别率提高了12.3%。

除上述实施例之外，还可以实现本发明的各种变形。这些变形不应当认为是在本发明的范围以外。本发明包括在权利要求及其等同的范围内以及在上述范围内的所有变形。

工业应用性

根据本发明，在使用配置有照相机的移动电话等作为查询图像的输入设备的情况下，可以抑制由在用输入设备拍摄图像时产生的失焦和模糊引起的识别精度下降，并执行高精度图像识别。

此处引入的生成型学习所带来的一个问题是最近邻搜索所需的存储量和处理时间随着学习数据的增加而增加。该问题在使用大型图像数据库的情况下尤其突出。然而，发现可以通过使用发明人提出的级联方法和标量量化来有效解决该问题。

附图标记说明

11：图像数据库

A、B、C和D：学习集

Claims (10)

1.一种图像检索方法，包括以下步骤：

从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；

访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；

比较步骤，使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及

选择步骤，从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，

其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，

使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，

使用所述尺度空间方法来从所述查询图像提取所述查询特征向量，

所述比较步骤分别使用与顺序从轻到重的处理负荷相对应的顺序从粗略到精细的多个近似程度，重复所述查询特征向量与各参考特征向量的比较，

所述选择步骤使所述比较步骤重复，以执行比较直到提供了确定检索结果的基础为止，以及

利用计算机执行上述各步骤。

2.根据权利要求1所述的图像检索方法，其特征在于，还包括标量量化步骤，所述标量量化步骤用于将各参考特征向量的向量维度量化成预定的位数。

3.根据权利要求2所述的图像检索方法，其特征在于，所述标量量化步骤将各向量维度量化成2位或更少位数。

4.根据权利要求1所述的图像检索方法，其特征在于，所述图像数据库被配置为能够存储10万个参考图像。

5.根据权利要求1所述的图像检索方法，其特征在于，通过分别对所述参考图像施加具有不同程度的可能出现的失焦和/或运动模糊效果的不同核大小的高斯滤波器来生成所述学习图像。

6.根据权利要求5所述的图像检索方法，其特征在于，

用于提取所述参考特征向量和所述查询特征向量的所述尺度空间方法包括如下处理：以使高斯滤波器的核大小按特定速率增大的方式，依次对各参考图像、相应的学习图像和查询图像应用具有不同的核大小的高斯滤波器，

具有不同程度的可能出现的失焦和/或运动模糊效果的图像处理应用了在各学习图像中具有不同的垂直核大小及水平核大小的高斯滤波器。

7.一种图像存储方法，用于将参考图像存储到能够存储所述参考图像的图像数据库中，所述图像数据库用于检索与拍摄有图像检索对象的查询图像相匹配的特定参考图像的图像检索，所述图像存储方法包括如下步骤：

通过向要存储的参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成学习图像；

分别从所述参考图像和各学习图像提取至少一个参考特征向量；以及

将所述参考特征向量和所述学习图像与相应的参考图像相关联地存储在所述图像数据库中，

其中，使用尺度空间方法来分别从所述参考图像和各学习图像提取所述参考特征向量，

通过以下步骤来执行所述图像检索：

以与提取所述参考特征向量的方式相同的方式从所述查询图像提取至少一个查询特征向量；

比较步骤，使用近似最近邻搜索来比较所述查询特征向量和从所述参考图像及所述学习图像提取的各参考特征向量，以找到近似最接近所述查询特征向量的特定参考特征向量；以及

选择步骤，从所述参考图像中选择与所找到的参考特征向量相关联地存储的参考图像，

所述比较步骤分别使用与顺序从轻到重的处理负荷相对应的顺序从粗略到精细的多个近似程度，重复所述查询特征向量与各参考特征向量的比较，

所述选择步骤使所述比较步骤重复，以执行比较直到提供了确定检索结果的基础为止，以及

利用计算机执行上述各步骤。

8.根据权利要求7所述的图像存储方法，其特征在于，所述图像数据库被配置为能够存储10万个参考图像。

9.根据权利要求7所述的图像存储方法，其特征在于，通过分别对所述参考图像施加具有不同程度的可能出现的失焦和/或运动模糊效果的不同核大小的高斯滤波器来生成所述学习图像。

10.根据权利要求9所述的图像存储方法，其特征在于，

用于提取所述参考特征向量和所述查询特征向量的所述尺度空间方法包括如下处理：以使高斯滤波器的核大小按特定速率增大的方式，依次对各参考图像、相应的学习图像和查询图像应用具有不同的核大小的高斯滤波器，

具有不同程度的可能出现的失焦和/或运动模糊效果的图像处理应用了在各学习图像中具有不同的垂直核大小及水平核大小的高斯滤波器。

Images