CN101627399B - 特征匹配方法 - Google Patents

Abstract

在二维或三维图像数据中识别对象的特征匹配方法中，检测多个特征(10)，在各个特征中，二维或三维图像数据中的预定属性呈现局部最大值和/或最小值，并且，从检测到的特征中排除沿着边缘和线轮廓的特征(12)。之后，把剩余的特征分配到平面，通过使用局部信息从分配的特征中选择一些特征，并且对于被设置为对象的所选择的特征执行特征匹配(14)。

Description

特征匹配方法

技术领域

本发明涉及一种在二维或三维图像数据中识别对象的特征匹配方法。

背景技术

USP 7,016,532B2公开了一种通过针对一个目标区域执行多个处理操作(例如，产生分界框、几何归一化、小波分解、彩色立方分解、形状分解和以低分辨率产生灰度图像)来识别对象的技术。

发明内容

USP 7,016,532B2中公开的技术不能针对大缩放比特征(例如，线、球(bob)或区域)执行稳定的特征匹配。另外，即使已进行并行处理操作，处理速度也不可避免地降低，这是因为对于所有的目标区域都执行多个处理操作。

考虑到上述情况，提出本发明。本发明的目的在于提供一种能够利用简化的系统实现高速处理的特征匹配方法。

根据本发明的一方面，提供了一种在二维或三维图像数据中识别对象的特征匹配方法，该方法包括以下步骤：

检测如下的多个特征，在各个特征中，二维或三维图像数据中的预定属性呈现局部最大值和/或最小值；

从检测到的所述多个特征中，去除沿着边缘和线轮廓而存在的特征；

把剩余的特征分配到平面；

通过使用局部信息从分配的特征中选择一些特征；以及

对于选择的特征执行特征匹配。

附图说明

图1是描述根据本发明第一实施方式的特征匹配方法的框图。

图2A是表示原始图像的图。

图2B是表示用于检测特征的多缩放比图像的阵列的图。

图2C是表示通过多缩放比特征检测而检测出的特征的图。

图3A是表示原始图像的特征和通过将原始图像平行移动20个像素而获得的图像的特征之间的匹配的图。

图3B是表示原始图像的特征和通过把原始图像乘以0.7而获得的图像的特征之间的匹配的图。

图3C是表示原始图像的特征和通过把原始图像旋转30度而获得的图像的特征之间的匹配的图。

图3D是表示原始图像的特征和通过执行0.4的共享以使得原始图像相当于3D仿射变换而获得的图像的特征之间的匹配的图。

图4是表示数据集的最终匹配结果的图。

图5是描述根据本发明第二实施方式的特征匹配方法中的高速匹配搜索技术的框图。

图6是说明Brute-Force匹配技术的图。

图7是表示使用穷举搜索的两个多维集的匹配搜索的示例的图。

图8是表示对于大量特征点使用穷举搜索而进行匹配搜索所需要的时间的实验统计结果的图。

图9A是表示把整个特征空间分级分解成一些子空间的过程的图。

图9B是表示分级分解的子空间的图。

图10是表示对于小数据库在Brute-Force匹配技术和高速匹配技术之间的比较实验的统计结果的图。

图11是表示对于大数据库在Brute-Force匹配技术和高速匹配技术之间的比较实验的统计结果的图。

图12是表示第一应用的信息检索系统的结构的图。

图13是表示第一应用的信息检索系统的操作的流程图。

图14是表示第一应用的信息检索系统的变型例的结构的图。

图15是表示第二应用的信息检索系统的结构的图。

图16是表示第二应用的信息检索系统的变型例的结构的图。

图17是表示第二应用的信息检索系统的另一变型例的结构的图。

图18是表示采用图17的结构的移动电话的操作的流程图。

图19是表示第三应用的信息检索系统的结构的图。

图20是表示第四实施方式的产品识别系统的结构的图。

图21是数据库(DB)中预先登记的特征的图。

图22是由第四应用的产品识别系统进行的产品结算的流程图。

图23是特征的提取和识别处理的流程图。

图24是用于说明来自摄像机的图像中的特征和预先登记的基准图像中的特征之间的比较的对象的图。

图25是第五应用的检索系统的总体结构的图。

图26是第五应用的检索系统的结构的框图。

图27是表示第五应用的检索系统的操作的流程图。

图28是与DB进行匹配的处理的详细流程图。

图29是在仅显示一个候选图像的情况下数字摄像机的显示单元的显示画面的图。

图30是在显示九个候选图像的情况下的显示画面的图。

图31是用于说明特征DB创建方法的示例的流程图。

图32是用于说明特征DB创建方法的另一示例的流程图。

图33是用于说明特征DB创建方法的另一示例的流程图。

图34是用于说明特征DB创建方法的另一示例的流程图。

图35是用于说明在拍摄一个站的站名牌作为标志牌的情况下的操作概念的图。

图36是在地图上显示照片的示例的图。

图37是在地图上显示照片的另一示例的图。

图38是在大量照片的情况下在地图上的照片显示的示例的图。

图39是在大量照片的情况下在地图上的照片显示的另一示例的图。

图40是第六应用的检索系统的结构的框图。

图41是表示第六应用的检索系统的操作的流程图。

图42是用于对打印件进行图像形成的图像获取处理的详细流程图。

图43是用于说明特征DB创建方法的流程图。

图44是采用第七应用的检索系统的摄像机移动电话的结构的框图。

图45是表示第八应用的检索系统的操作的流程图。

图46是用于说明第九应用的检索系统中使用的一般性特征的图。

图47是用于说明第九应用的检索系统中使用的细节特征的图。

图48是用于说明原始图像数据、一般性特征和细节特征之间的位置关系的图。

图49是表示第九应用的检索系统的操作的流程图。

图50是用于说明在关注图像数据的中央部分的情况下的细节特征的图。

图51是用于说明分散位于图像内的细节特征的图。

图52是用于说明其中在对原始图像进行图像形成的情况下关注区域位于焦点位置的细节特征的图。

图53是用于说明在与一般性特征的区域相同的区域中创建的细节特征的图。

图54是表示第十应用的检索系统的操作的流程图。

图55是表示第十一应用的检索系统的结构的图。

图56是表示识别元素鉴定处理的流程图。

具体实施方式

以下，将参照附图描述根据本发明的特征匹配方法。

[第一实施方式]

根据本发明第一实施方式的特征匹配方法也称为PBR(基于点的识别)。如图1中所示，这个方法包括三个部分：特征检测部分10；特征采用部分12；和特征识别部分14。特征在空间上和在时间上是分散的。例如，在通过这种方法识别图像的情况下，执行按照二维扩展的特征匹配。可以考虑基于时间的扩展来执行对运动图片的识别。

特征检测部分10从输入的对象数据(例如，图像)检测不依赖于缩放比或布局的在空间上稳定的特征。特征采用部分12采用鲁棒和稳定的部分以用于对特征检测部分10检测出的特征进行鲁棒的识别。特征识别部分14使用由特征采用部分12提取的特征、以及预先分析并存储在数据库16中的对于对象进行定位、索引和识别的附加约束条件。

现在，将对这些特征检测部分10、特征采用部分12和特征识别部分14中的每一个进行详细描述。

首先，将对特征检测部分10进行描述。

鲁棒识别既依赖于所选择的特征的性质，又依赖于对它们进行匹配所使用的方法。良好的特征应该使匹配器良好并鲁棒地工作。因此，适当的特征类型和匹配方法的综合设计应该表现出可靠性和稳定性。通常，大缩放比特征(例如，线、球或区域)更容易匹配，这是因为它们为时间匹配计算提供了更全局的信息。然而，大缩放比特征也容易由于视野、几何结构和照明的变化而引起显著的成像失真。因此，对它们进行匹配需要存储条件和假设以补偿这些失真。不幸的是，对这些条件进行建模所需的几何结构通常是未知的，因此大缩放比特征往往只能恢复近似的图像几何结构。

对于图像识别，需要在图像空间中恢复精确的2D对应物，对小缩放比特征(例如，点)进行匹配具有这样的优点：相应的测量至少可以达到像素分辨率的精确度。另外，点特征相对于大缩放比特征(例如，线和面)在下述方面具有优势：独特性、对留藏的鲁棒性(当部分特征隐藏时)和良好的对仿射变换的不变性。点特征的相关缺点在于：经常只有点和测量的稀疏集是可用的，并且对它们进行匹配也是比较难的，这是因为只能使用局部信息。然而，如果可靠地检测到很多点特征，则应该可以恢复与测量对应的潜在的大量图像，而不会由其它类型特征所需的各种假设和约束条件而引入测量质量的降低。实际上，在特征点附近经常发生利用很多方法的观测，这些方法使用大缩放比特征或恢复最可靠测量的全仿射场。考虑到这些因素，选择点(特征点)以用作识别特征。

一般性特征检测是很重要的问题。对于图像匹配或识别，即使检测到的特征与真实世界中的结构不具有任何物理对应，检测到的特征也应该对于识别方法显示出良好的可靠性和稳定性。换句话说，特征检测方法应该能够检测到在各种仿射图像形成条件下都可靠、独特且可重复的尽可能多的特征。这保证了如果大多数特征被留藏也可以分配足够的特征以用于进一步的图像匹配和参数恢复。

本实施方式中的特征检测部分10使用在纹理丰富的区域寻找点特征的方法。在这种方法中，使用三个滤波器。首先，使用高通滤波器检测具有局部最大响应的点。R是3×3窗口，中心是点P，F(P)是把高频滤波器F应用于这个点的输出。如果

F(P)＝max  {P＞pi：R}＞Threshold    (1)

则点P是候选特征并被保存以用于将来的检查。这个滤波器可以用于提取局部最小响应。

第二滤波器是区别性特征滤波器。已知的是，沿着边缘或线性轮廓的点对于匹配是不稳定的。这是所谓的匹配不定效应(看起来好像匹配成功的效应)，必须去除这些点以进行可靠的匹配。另外，已知图像导数的协方差矩阵是对小片区域上的图像结构的分布进行测量的良好指标。总结该矩阵和图像结构之间的关系，小的特征值对应于区域内相对恒定的强度。一对大特征值和小特征值对应于高纹理图案，两个大特征值可以代表线性特征、椒盐纹理或其它图案。因此，可以设计滤波器以去除这些线性特征点。

M是从图像导数计算出的2×2矩阵，

$M=\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}{W}^2\left(x\right)\left[\begin{array}{cc}{I}_x{(x,t)}^2& I_x(x,t)I_y(x,t)\\ I_y(x,t)I_x(x,t)& I_y{(x,t)}^2\end{array}\right]---\left(2\right)$

λ₁和λ₂是M的特征值。线性边缘响应的测量是

R＝det(M)-k(trace(M))²                   (3)

其中，det(M)＝λ₁λ₂，trace(M)＝λ₁+λ₂。

因此，如果边缘响应

R(P)＞Threshold                          (4)

则将点P视为线性边缘点并将其从候选特征列表中去除。

第三滤波器是迭代地将检测到的点提炼至子像素精度的插值滤波器。首先使用仿射平面来对局部点进行拟合以重构连续的超平面。然后，该滤波器在重构的平面上迭代地提炼这些点，直到最佳拟合解收敛为止，使用最终的拟合来把这些点更新至子像素精度。

本实施方式的新颖性方面在于：通过采用多分辨率技术提高了缩放比不变性，由此从具有各种分辨率的多个图像中的每个图像提取特征。

为了实现仿射缩放比不变性，在上述特征检测处理中采用多分辨率策略。与主要目标为加速处理的传统金字塔法(即，粗到细的搜索)不同，目标在于在不同缩放比上检测所有可能的特征，以实现有效的仿射缩放比不变性。因此，相关地处理金字塔的每一级的特征。

图2A至图2C各自表示把这种方法应用于杂乱场景的结果。图2A表示原始图像，图2B表示用于检测特征的多缩放比图像的阵列，图2C表示检测到的特征。

现在，将对于特征采用部分12进行描述。

一旦已经在上述特征检测部分10中检测到特征，则由此检测到的特征必须按照鲁棒和稳定的形式用于鲁棒识别。如上所述，使用点特征作为匹配基元的相关缺点在于经常只有稀疏集的点和只有局部信息可用，这使得匹配比较困难。适当的特征采用策略对于处理视点、几何结构和照明的变化是很重要的。

在这种方法中，本实施方式的特征采用部分12利用它的局部区域信息(称为仿射区域)采用每个特征点。使用三个约束条件来限定该局部区域，即强度、缩放比和取向。强度约束条件是在区域像素内计算的图像梯度值G(x，y)，其指示特征的纹理性。

$G(x,y)=\sqrt{\▿x^2+\▿y^2}---\left(5\right)$

在两个匹配的图像的小基线的情况下，采用强度足以在小的线性位移的情况下匹配图像。可以使用简单的相关匹配策略。另外，如果匹配的图像具有较大的图像形成失真，则仿射卷绕匹配对于补偿失真是有效的。

然而，在其中匹配的图像具有严重的几何形变(包括缩放比、2D和3D旋转)的大图像基线的情况下，简单采用强度不够充分。众所周知，简单的强度相关不是按照比例也不是旋转不变。在这种情况下，应该考虑所有可能的约束条件以按照鲁棒且稳定的多质量表示来采用匹配点。缩放比和局部取向约束条件嵌入在采用和匹配处理中。首先，将连续的取向空间量化成离散空间。

{O_discrete(x_n，y_n)：n＝1，2，...N)＝Quant{O_continue(x，y)：x，y∈[0，2π])(6)

$O_{\mathrm{continue}}(x,y)=\arctan (\▿y/\▿x)---\left(7\right)$

这些量化的取向形成覆盖取向空间的基空间。通过应用图像分解模型，可以将所有特征的局部取向指定到离散的基空间。以这种方式，能够通过紧凑的表示来按照特征的局部取向建立特征。为了针对所有考虑的质量(强度、缩放比和取向)形成一致的表示，强度和缩放比值用于对每个局部取向对匹配特征的贡献进行表决。另外，为了减小量化影响(误差)，还使用高斯平滑函数(高斯平滑处理)对表决贡献进行加权。

本实施方式的新颖性方面在于：按照如下式(8)中所示的形式来提供从特征的周围区域归一化的取向的特征。

R是表决范围，该表决范围的尺寸由用于产生缩放比金字塔的高斯滤波器定义。对于表决范围内的任何点P(x_i，y_i)，它对量化的取向的贡献由下面公式(8)代表：

{O_discrete(x_n，y_n)：n＝1，2，...N)＝∑G(x_i，y_i)*Weight(x_i，y_i)(8)

其中，G(x_i，y_i)是用上面公式(5)计算的梯度，Weight(x_i，y_i)是以处理的点(x，y)为中心的高斯加权函数，如下面公式(9)中所示：

Weight(x_i，y_i)＝exp(-((x_i-x)²+(y_i-y)²)/σ²)                (9)

以上的采用策略对于处理图像缩放和面外旋转是有效的，但是它对于面内取向仍然是敏感的。为了补偿这个变化，在表决计算期间把仿射区域归一化为一致的方向。另外，为了消除一致旋转的量化影响，在一致窗口内应用双线性插值和高斯平滑处理。此外，为了增加对于照明条件的变化的鲁棒性，对输入图像进行归一化。

特征采用部分12的最终输出是每个匹配点的紧凑矢量表示和嵌入了所有约束条件的关联区域，实现了仿射几何结构和照明不变性。

图3A和图3D各自表示在不同的仿射变换下把这个方法用于场景的结果。图3A是通过把原始图像平行移动20个像素获得的场景；图3B是通过把原始图像乘以0.7获得的场景；图3C是通过把原始图像旋转30度获得的场景；图3D是通过执行0.4的共享以使得原始图像相当于3D仿射变换而获得的场景。

现在，将对于特征识别部分14进行描述。

由特征检测部分10检测并由特征采用部分12采用的特征建立了几何结构不变性的良好特性。基于采用的特征表示执行匹配。SSD(差值平方和)用于相似度匹配，即，对于每个特征P，针对匹配的图像计算相似值Similarity(P)，执行SSD搜索以寻找具有最大相似度的最佳匹配点。如果下面的关系成立，

Similarity(P)＝{P，P_i}＞Threshold(10)

则这指示P_i是P的匹配点。

当存在少量匹配点时，使用利用RANSAC(随机抽样一致性)的一对评估技术作为图像识别的可靠性估计技术是有效的，特别地，对从根据这个技术计算的仿射变换矩阵进行图像识别时计算姿态是有效的，这使得可以基于计算出的姿态估计图像识别的可靠性。

实验结果显示：以上的多约束条件特征表示建立了用于图像匹配的良好特性。然而，对于非常杂乱的场景，可能发生失配(即，异常值(outlier))，尤其是对于位于背景中的特征。为了去除这些失配异常值，使用基于RANSAC的方法搜索满足基本几何结构约束条件的对。众所周知，与同一对象对应的匹配图像特征将满足2D参数变换(单应性)。为了加速计算，特征识别部分14使用2D仿射约束条件来近似用于异常值去除的单应性，这仅需要3个点来估计参数变换。首先，使用随机选择的3个特征来应用RANSAC迭代以估计初始变换M_init。

$M_{\mathrm{init}}=\left[\begin{array}{ccc}{m}_1& m_2& 0\\ m_3& m_4& 0\\ m_5& m_6& 1\end{array}\right]---\left(11\right)$

然后，使用所有的匹配特征来迭代改进估计出的参数变换。对于那些具有较大拟合残差的匹配点指示匹配异常值(失配)。

Outlines(P_i)＝residuals(Pi)＞Threshold    (12)

$\mathrm{residual}\left(P_i\right)=\underset{i\∈\mathrm{allthepoints}}{\mathrm{\Σ}}(\sqrt{{(x_i^t-x_i^s)}^2}+\sqrt{{(y_i^t-y_i^s)}^2})---\left(13\right)$

其中，x_i ^t是通过应用如下的估计仿射变换而获得的x_i到x_i ^s的翘曲点(warped point)

$\left[\begin{array}{c}{x}_i^t\\ y_i^t\end{array}\right]=\left[\begin{array}{c}{m}_1{x}_i+m_2{y}_i+m_3\\ m_4{x}_i+m_5{y}_i+m_6\end{array}\right]---\left(14\right)$

特征匹配的最终输出是具有异常值指示符的一列匹配点和估计出的2D参数变换(仿射参数)。

图4表示特征识别部分14从预分析并存储在数据库16中的对象数据集获得的最终匹配结果的示例。

[第二实施方式]

本实施方式描述用于在前述特征识别部分14中实现更快速度的快速匹配搜索。

这个快速匹配搜索称为数据库树(dBTree)。dBTree是能够迅速地恢复对高维数据库16(从高维数据库16提取了如以上第一实施方式所述的PBR特征点)的可能的匹配的有效图像匹配搜索技术。在技术上，这个问题是典型的NP数据查询问题，即，给定N维数据库点和查询点q，要求找出数据库之中q的最接近匹配(最接近邻居)。根据本实施方式的快速匹配搜索是树结构匹配方法，其形成PBR特征的分级表示以实现高维特征空间的有效数据表示、匹配和索引。

在技术上，如图5中所示，dBTree匹配器包括dBTree结构18、dBTree搜索20和匹配索引22。为了实现快速的特征搜索和查询，dBTree结构18根据如以上第一实施方式所述地从对象数据输入获得的PBR特征，在PBR特征空间上创建分级数据表示(以下，称为dBTree表示)。创建的dBTree表示登记在数据库16中。与关于对象数量的数据相关的dBTree表示由此登记在数据库16中。dBTree搜索20在数据库16中构造的dBTree空间上进行搜索，以定位如第一实施方式所述地从输入对象数据获得的给定PBR特征的可能的最接近邻居(NN)。匹配索引22使用找到的NN和另外的PBR约束条件对校正的匹配进行定位并索引。

在详细描述本实施方式中的dBTree方法之前，对要在匹配搜索中解决的问题进行描述。

匹配搜索的目标在于迅速地恢复与高维数据库的可能匹配。虽然本实施方式把注意力放在PBR特征匹配的特定情况上，但这个dBTree搜索结构普遍适用于任何数据搜索应用。

给定两组点：P＝{pi，i＝1，2，...，N}和Q＝{qj，户1，2，...，M}，其中，pi和qj是k维矢量，例如PBR特征的128维矢量，目标是在特定匹配相似度的情况下寻找两组点P和Q之间的所有可能匹配，即Matches＝{pi＜＝＞qj}。

由于PBR特征为特征匹配建立了良好的不变特性，所以不变特征的Euclidean距离用于相似度匹配，即，对于每个特征pi，对于匹配的特征qj计算相似度值Similarity(pi)，执行匹配搜索以寻找具有最小Euclidean距离的最佳匹配点。

很明显，匹配性能和速度高度依赖于这两组点的维数N和M。

为了匹配两个数据集的点，第一直觉可能是Brute-Force穷举搜索法。如图6中所示，Brute-Force方法取组P的每个点，并计算它对于组Q中的每个点的相似度。很明显，穷举搜索的匹配速度与点组的维数成线性比例关系，导致总共O(N×M)个算法运算(Euclidean距离计算)。对于具有547个点和547个点的两个典型PBR特征组的匹配，例如，Brute-Force匹配将在1.7GHz PC上花费3.79秒。图7表示使用穷举搜索匹配两个多维数据集(2955点乘以5729点)的示例将花费169.89秒。

图8表示针对特征点数量(输入图像特征N和数据库特征M的总的特征数量N×M)的Brute-Force搜索的匹配时间的实验统计结果(针对50个测试图像)。

现在，将对于本实施方式中的dBTree方法进行详细的描述。

首先，将对dBTree结构18进行描述。

dBTree匹配器中的中心数据结构是形成特征分布的有效分级表示的树结构。与Brute-Force搜索中使用的扫描线特征表示(即，按栅格结构表示每个特征)不同，dBTree匹配器通过根据每个树节点的分解值把整个空间分级分解为几个子空间来按照平衡的二进制树表示k维数据。这个树的根节点代表整个匹配空间，分支节点代表矩形子空间，所述矩形子空间包含封闭空间具有不同特性的特征。由于与原始空间相比子空间相对较小从而它包含少量的输入特征，所以所述树表示应该提供按照特征的位置来访问任何输入特征的快速方法。通过向下遍历分级结构直到找到包含输入特征的子空间，仅通过扫描子空间中的少数节点就能够执行匹配点的识别操作。

图9A和图9B各自表示把整个特征空间24分级分解为几个子空间26以建立dBTree数据结构的过程。首先，根据定义的分解措施来划分(分割)输入点集。对于本实施方式使用中值滤波器，以使得分解子空间26的每一侧落入有相等数量的点。树中的每个节点由穿过维度之一的把点集划分为左/右和上/下子空间26(各自具有父节点的一半的点)的平面定义。通过使用穿过不同维度的平面，将这些子节点再次划分为相等的两半。重复这个过程直到划分达到log(N)级，每个点在它自己的叶子上。

现在，将对dBTree搜索20进行描述。

在树上搜索查询点有两个步骤：搜索最接近的子空间26以及搜索子空间26内最接近的节点。首先，遍历树以寻找包含查询点的子空间26。由于子空间26的数量相对较少，所以仅通过log(N)次比较就可以迅速地定位最接近的子空间26，并且该空间有很高的概率包含匹配的点。一旦定位了子空间26，对子空间26中的所有节点执行节点级遍历以识别可能的匹配点。重复这个过程，直到找到与查询点最接近的节点为止。

对以上搜索策略进行了测试，它在匹配小维度数据集方面显示出一定的速度提高。然而，令人惊讶的是，它表示出对于大规模数据集极为低效，甚至比Brute-Force搜索方法慢。分析原因，有两个方面。首先，传统的树搜索的效率基于这样的事实：如果到查询点的距离太远，则可以剪除很多树分支，这大大减少了不必要的搜索时间。这一点对于低维数据集通常是正确的，但是对于高维数据集，存在与中央分支相邻的必须检查的太多分支。仍然执行了大量计算以试图剪除分支并寻找最佳搜索路径，这就变成了树型穷举搜索。其次，子空间26内的节点级遍历也是穷举每个包含的节点，完全依赖于包含的节点的数量。对于高维数据集，每个子空间26仍包含了太多的需要以穷举方式遍历的节点。

在本实施方式中，采用两个策略(方法)来克服这些问题并实现对于高维数据集的有效匹配。首先，使用树剪除滤波器(分支切除滤波器)来切除(减少)需要检查的分支的数量。在探测特定数量的最近分支(即，搜索步骤)之后，将分支搜索强制停止。距离滤波也可以用于这个目的，但大量实验表明：使用搜索步骤滤波在校正的匹配和计算成本方面表现出更好的性能。虽然观察到从该策略获得的搜索结果给出近似解决方案，但实验表明失配率仅增加不到2％。

第二策略(方法)是通过引入节点距离滤波器来改进节点搜索。基于匹配一致约束条件(即，对于大多数真实世界的场景，正确的匹配大部分是聚类的)，因此，替代于以穷举方式搜索每个特征节点，使用距离阈值来限制节点搜索范围。作为循环模式来执行节点搜索，以便首先搜索更接近目标的节点。一旦到达搜索边界，则强制停止搜索并输出最接近的邻居(NN)。

现在，将对索引匹配22进行描述。

一旦检测到最接近的邻居，则下一步骤是决定是否接受NN作为正确的匹配。与原始PBR点匹配器中使用的相关匹配成本阈值相同，使用相关匹配成本阈值来选择正确的匹配，即如果最高NN和第二高NN之间的相似度差(到最高NN的距离/到第二高NN的距离)小于预定义的阈值，则接受该点作为正确的匹配。

图10和图11各自表示Brute-Force和dBTree匹配方法之间的比较实验的统计结果(超过50个测试图像)。

获得最高NN和第二高NN之间的相似度差，作为表示该点的相似度的身份判断的精确性的参数。另外，还获得图像中的匹配点的数量本身，作为表示图像的身份判断的精确性的参数。另外，还获得由以上公式(13)表示的图像中的匹配点的仿射变换中的微分总和(残差)，作为表示图像的身份判断的精确性的参数。可以利用这些参数中的一部分。另选的是，定义了把这些参数中的每个参数定义为变量的变换公式，由此可以将这个公式定义为匹配中的身份判断的精确性。

另外，通过利用所述精确性的值，可以按预定顺序输出多个图像作为匹配结果。例如，将匹配点的数量用作精确性，然后，按匹配点数量的降序排列显示匹配结果，由此从最可靠的图像开始按顺序输出图像。

以下，将描述利用上述特征匹配方法的应用。

[第一应用]

图12是表示第一应用的信息检索系统的结构的图。

该信息检索系统被构造为包括：信息展示设备100、存储单元102、数据集服务器104和信息服务器106。信息展示设备100由平台硬件构成。存储单元102设置在该平台硬件中。数据集服务器104和信息服务器106被构造为该平台硬件可访问的站点。

信息展示设备100被构造为包括：图像获取单元108、识别和鉴定单元110、信息指定单元112、展示图像产生单元114和图像显示单元116。识别和鉴定单元110、信息指定单元112和展示图像产生单元114由安装在平台硬件中的信息展示单元的应用软件来实现。

根据情况，图像获取单元108和图像显示单元116作为物理结构设置在平台硬件中，或者连接到外部。因此，识别和鉴定单元110、信息指定单元112和展示图像产生单元114可以称为信息展示设备。然而，在本应用中，信息展示设备被限定为执行从图像形成或图像捕捉的处理到最终图像展示的处理的多个处理，从而在这里将图像获取单元108、识别和鉴定单元110、信息指定单元112、展示图像产生单元114和图像显示单元116的组合称为信息展示设备。

图像获取单元108是具有预定图像获取范围的摄像机等。识别和鉴定单元110从由图像获取单元108获取的图像中识别并鉴定图像获取范围内的各个对象。信息指定单元112根据由识别和鉴定单元110鉴定的各个对象的信息，从信息服务器106获得预定信息(显示内容)。然后，信息指定单元112指定该预定信息作为相关信息。展示图像产生单元114产生由信息指定单元112所指定的相关信息和图像获取单元108所获取的图像之间的相关而形成的展示图像。图像显示单元116例如是显示由展示图像产生单元114产生的展示图像的液晶显示器。

位于平台中的存储单元102经通信单元或存储介质(未示出)而包含由数据集服务器104存储的数据集118。不管信息展示设备100预启动还是后启动，都可以进行数据集118的输入(下载或介质替换)和存储。

如上所述地构造的信息展示设备100如下执行操作。首先，如图13中所示，由图像获取单元108获取图像(步骤S100)。然后，对于在上述步骤S100中获取的图像，识别和鉴定单元110提取预定对象(步骤S102)。随后，识别和鉴定单元110根据从平台的存储单元102读取的数据集108中的特征，执行在上述步骤S102中提取的对象的图像(例如，矩形框中的图像)的比较和鉴定。以这种方式，识别和鉴定单元110检测匹配的对象图像。如果识别和鉴定单元110已检测到匹配的对象图像(步骤S104)，则在信息指定单元112中再次读取并执行必须从数据集118中的对应数据中获得的信息的定位和/或获取方法(步骤S106)。在通常情况下，通过经通信从平台访问信息服务器106(其外部地存在于网络等)来获得该信息。然后，展示图像产生单元114处理在信息指定单元112中获得的信息(未示出)，以便该信息可以显示在设置于平台或外部的图像显示单元116上，由此产生展示图像。如此产生的展示图像从展示图像产生单元114传送到图像显示单元116，由此该信息显示在图像显示单元116上(步骤S108)。在这种情况下，根据情况，以下面的方式执行信息展示也是有用的方法：将如上所述获得的信息叠加在图像获取单元108中获得的原始图像上，由此产生展示图像并把展示图像传送给图像显示单元116。因此，这个处理被构造为允许用户选择信息展示的方法。

如图14中所示，该结构可以如下：在识别和鉴定单元110与信息指定单元112之间设置有位置和取向计算单元120。展示图像产生单元114以下面的形式产生展示图像：将信息指定单元112指定的相关信息叠加在图像获取单元108获取的图像中的由位置和取向计算单元120计算出的位置和取向。

虽然在图12和图14中未示出，但在大存储容量的平台的情况下，能够实现在下文中描述的内容。在从数据集服务器104输入数据集118的情况下，对信息服务器106和数据集服务器104进行控制以使其彼此通信。由此，与允许输入信息的数据集服务器104对应的信息(显示内容)预先输入(即存储在平台的存储单元102中)。由此，能够增加信息展示设备100的操作效率。

以下，将描述使用摄像机移动电话作为平台的第一应用。基本上，移动电话是个人使用的装置。近年来，大多数型号的移动电话允许从移动电话可访问的互联网站点(以下，将简称为“移动电话可访问站点”)输入(即，通过下载来安装)应用软件。基本上，作为前提，也假定信息展示设备100是上述类型的移动电话。信息展示设备100的应用软件安装到移动电话的存储单元102中。数据集118经由与连接到特定移动电话可访问站点(未示出)的数据集服务器104的通信而适当地存储在移动电话的存储单元102中。

作为示例，移动电话中的信息展示设备100的使用范围包括下文中描述的使用方法。例如，假定这样的情况：预先指定存在于出版物(例如，杂志或报纸)中的照片并且预先准备与其相关的数据集。在这种情况下，用户的移动电话从任一出版物的纸空间获取对象的图像，并随后从移动电话可访问站点读取与该对象相关的信息。在这种情况下，可以保留所有出版物中包含的所有照片、图标、插图和类似的条目作为特征。因此，如下操作是实际的：把范围限定于例如特定使用范围，由此提供特征。例如，数据可以按照摘要的形式提供给用户，例如特定杂志的“引用第n月期中包含的照片作为对象的数据集”。根据这种设置，提高了用户的可用性，并且能够充分地将基准图像(如果一个数据集中有100到几百条)存储在移动电话的存储单元102中，另外，识别和鉴定处理时间能够在几秒以内。另外，例如，对于在信息展示设备100中使用的印刷物的一侧的照片和插图不需要进行特殊的设计或处理。

根据上述第一应用，对于用户，使用范围中的多项数据能够批量输入到信息展示设备100中，因此能够容易地准备数据集提供侧，并且能够实现容易在商业上提供的业务。

在进一步包括计算位置和取向的功能的结构中，从信息服务器106获得的信息可以按照适当的位置和取向显示在原始图像上。因此，该结构导致用户信息获得效果的增强。

[第二应用]

以下，将描述第二应用。

图15是表示第二应用的信息检索系统的结构的图。该信息检索系统的基本结构和操作与第一应用中的结构和操作类似。在信息展示设备100中，可以按集为单位来处理特征，由此如上所述对于用户增加了可用性，并且使得数据集提供更实用。

然而，在信息展示设备100变得普及并且从很多行业提供多种多样的数据集的情况下，优选地采用下面的设置。在数据中，具有高使用频率的数据(该数据以下称为“基本数据”122)不作为单独的数据集118提供，而是优选地即使选择任何类型的数据集118也提供为可使用。例如，这样做是有好处的：从数据集118中排除与数据集118自身的索引信息关联的对象或最频繁使用的对象等，而仅存储一些特征以常驻在信息展示设备100的应用软件中。更具体地讲，在第二应用中，数据集118由与用户的使用目的对应的集或者与其相关的出版物或对象组成，并且被作为单独的资源从应用软件提供。然而，与具有特别高的使用频率或必要性的对象相关的特征等被存储以作为基本数据122常驻在应用软件自身中或者作为基本数据122被保留在应用软件自身中。

再次参照摄像机移动电话是平台的情况进行描述。例如，通过与移动电话可访问站点的通信来下载普通数据集118是最实际的。然而，在这种情况下，如果能够在数据集118的索引站点(移动电话可访问站点中的页)执行引导和检索，则对于移动电话的用户来说是很方便的。即使在访问站点本身的情况下，也执行控制以便信息展示设备100获取因此专用的对象的图像，并且将站点的URL传递给访问软件以便可以进行访问，从而不必进行数据集118的特殊准备。这样，与对象对应的特征被存储以作为基本数据122常驻在应用软件中。在这种情况下，可以将特定插图或标志设置为对象，或者可以将自由可用的普通矩形设置为对象。

另选的是，替代于基本数据122被存储以常驻在应用软件自身中或者被保留在应用软件自身中的设置，该结构可以是这样的：如图16中所示，要提供的任何一个数据集118都包括至少一个始终是基本数据122的相同数据文件集(图中的“特征A”)。

更具体地讲，如上所述，当实际操作信息展示设备100时，用户接收任意的数据集118。任一数据集118中都包括至少一项基本数据122，以便总是可以对具有高使用频率或高必要性的对象进行定址。例如，设想这样的情况：如图16中所示，准备了大量的数据集118(数据集(1)至(n))；在它们之中，一组或多组数据集118被接收并存储在平台的存储单元102中。在这种情况下，任何一个选择的数据集118总是包括一个或多个类型的基本数据122。因此，即使没有进行特定的考虑，用户也能够执行对基本对象进行图像形成的基本操作。尽管部分地重复描述，但基本操作是诸如针对预定区域“访问数据集的索引页”、“访问信息展示设备100的提供者的支持中心”、“访问天气信息站点”的操作以及很多用户希望的其它操作中的任何一个。也就是说，基本操作被定义为用户使用频率很高的操作。

另外，如图17中所示，该结构可以是这样的：在启动信息展示设备100的情况下，连接数据集服务器104，针对另一数据集118可靠地下载并保留基本数据122，或者使得可以同时参考基本数据122。

这个结构提供了在提供数据集118作为单独资源并且特别地通过网络从数据集服务器104下载数据集118的结构模式中有用的接收基本数据122的方法。更具体地讲，在图17示出的结构中，在通过网络把数据集118提供给信息展示设备100的情况下，当用户选择数据集118并且由数据集服务器104下载数据集118时，除了数据集118之外，也可以同时自动下载基本数据122。另外，在图17示出的结构中，在基本数据122已经存储在具有信息展示设备100的平台的存储单元102中的情况下，可以更新基本数据122。

由此，不需要进行特殊的考虑，用户就总能够利用信息展示设备100来使用基本数据122。

例如，近年来，能够使用应用软件的摄像机移动电话已广泛地普及。现在，设想这样的情况：这种类型的摄像机移动电话用作平台，具有除了信息展示设备100的图像获取单元108和图像显示单元116的功能之外的功能的应用软件安装在该平台上。参照图18，通过使用应用软件，通过移动电话的通信来访问预定数据集下载站点(步骤S110)。然后，由数据集服务器104首先执行下载(步骤S112)。随后，从数据集服务器104确定是否有必要进行基本数据122的更新(步骤S114)。

如果基本数据122不存在于移动电话中，则确定更新是必要的。在如下情况下：即使基本数据122已经存在于移动电话的存储单元102中，如果基本数据122的版本比将要从数据集服务器104提供的基本数据122的版本老，则确定更新是必要的。

随后，类似于数据集118的情况，下载基本数据122(步骤S116)。将由此下载的基本数据122存储在移动电话的存储单元102中(步骤8118)。另外，将下载的数据集118存储在移动电话的存储单元102中(步骤S120)。

因此，在基本数据122已经存在于移动电话的存储单元102中的情况下，通过版本比较来确定更新的必要性，随后，下载并存储基本数据122。

如上所述，关于数据集118的必要性，仅将与用户的需要对应的数据集118存储在移动电话中，由此使得对象鉴定处理速度的保证和用户的需要相容。

信息展示设备100的使用范围例如包括：从移动电话访问与作为对象的出版物(例如，报纸或杂志)的照片或插图的图案相关或有关的信息，以及通过把前述信息叠加在摄像机获取的图像上而实现的信息展示的改进。另外，不仅可以将这种印刷品，而且可以将例如存在于城镇中的物理对象和标志牌中的任一个作为对象登记为特征。在这种情况下，移动电话把这些物理对象或标志牌识别为对象，由此能够获得附加的信息或最新的信息。

作为使用移动电话的另一使用模式，在具有包装的产品(例如，CD、DVD等)的情况下，它们的封套的设计是不同的，因此，可以将各封套设计用作对象。例如，现在假定：从商店或单独从唱片公司把关于这些封套的数据集发布给用户。在这种情况下，在例如CD和/或DVD店或出租店中，移动电话能够把各封套识别为对象。这样，例如，将URL与对象相关，并且可以将所选择的一部分音乐到移动电话的音频发布实现为通过URL而与对象相关的信息。另外，作为这种相关信息，可以适当地加入与封套的表面对应的注释(封套的照片的各种注释)。

因此，作为使用移动电话的使用模式，在使用具有包装的产品(例如，CD、DVD等)的封套设计作为对象的情况下，可以如下进行设置。首先，(1)将包含固定音乐的记录介质或其包装的外部图像的至少一部分预先发布给移动电话作为对象数据。然后，(2)将与所述固定音乐相关的预定音乐信息(例如，音频数据和注释信息)发布给访问到由所述对象引导的地址的移动电话。

由此进行的设置对于唱片公司方的推销是有效的，并且产生这样的优点：例如，能够减少在商店方准备观看和聆听所花费的时间和劳动。

如以上在每个应用中所述，识别和鉴定单元、信息指定单元、展示图像产生单元以及位置和取向计算单元中的每一个由包括在信息展示设备中的CPU和在该CPU上运行的程序来实现。然而，这可以按照另一种模式：其中设置有租用线路。

作为实现平台中的存储单元的模式，可以使用外部数据包和可拆卸的存储介质(例如，闪存)，并且不限于此。

此外，在第二应用中，类似于第一应用，该结构可以形成为包括位置和取向计算单元120，以便根据计算出的位置和取向展示相关信息。

另外，如图12和图14至图17中的虚线所示，可以使用可替换存储介质124来替代数据集服务器104和/或信息服务器106。在这种情况下，将数据(例如，数据集118和基本数据122)输入到平台中的存储单元102意味着从可替换存储介质124将数据扩展在内部存储器上。

[第三应用]

图12中示出的第一应用的信息检索系统的结构可以修改为图19中示出的结构。更具体地讲，在第一应用中设置于信息展示设备100的识别和鉴定单元110以及设置于存储单元102的数据集118当然可以设置于服务器侧，如图19中所示。在这种结构用于信息检索系统的情况下，设置于存储单元102的存储介质124是不必要的，因此不提供存储介质124。

[第四应用]

以下，将描述第四应用。

图20是表示第四应用的产品识别系统的结构的图。

产品识别系统包括：条形码扫描器126，用作识别各自具有条形码的产品的读取器；重量秤128，用于测量各产品的重量；此外还有摄像机130，用于获取产品的图像。用于存储现金的控制单元/现金存储盒132根据登记了用于进行识别的产品特征的数据库134来执行对产品的识别，并在监视器136上显示识别的产品的类型、单位价格和总价格。摄像机130的视野138与重量秤128的范围一致。

因此，根据该产品识别系统，系统提供者预先获取需要识别的对象的图像，并把从其提取的特征点登记到数据库134中。例如，为了在超市中使用，对蔬菜等(例如，西红柿、苹果和青椒)拍照，提取它们的特征点140并将其与鉴定索引(例如，各个对应的识别ID和名称)一起存储在数据库134中，如图21中所示。另外，根据需要，将各对象的辅助信息(例如，平均重量和平均尺寸)预先存储在数据库134中。

图22是由第四应用的产品识别系统执行的产品结算的流程图。

产品的购买者携带产品(对象)并把产品放在安装于现金出纳机的摄像机130的视野138内，由此获取产品的图像(步骤S122)。产品的图像数据从摄像机130传送到控制单元/现金存储盒132(步骤S124)。在控制单元/现金存储盒132中，提取特征，并且参照数据库134识别产品(步骤S126)。

在识别了产品之后，控制单元/现金存储盒132从数据库134调用或检索识别的产品的指定价格(步骤S128)，使价格显示在监视器136上，并执行结算(步骤S130)。

在购买者购买两件产品(青椒和西红柿)的情况下，首先，由摄像机130获取西红柿的图像。然后，在控制单元/现金存储盒132中，提取图像数据中的特征，并执行与数据库134的匹配。在匹配之后，在指定了一个对象产品的情况下，从数据库134读取与其价格或其重量(如果使用基于重量的系统)对应的系数，并把该系数输出给监视器136。然后，类似地，对于青椒也执行产品鉴定和价格显示。最后，计算产品的总价格并把总价格输出到监视器136，由此执行结算。

在匹配之后输出超过了相似度阈值的多个候选对象的情况下，应用下面的方法：(1)将候选对象显示在监视器136上以进行选择；或者(2)重新获取对象的图像。由此，执行对象建立。

在上面的描述中，虽然示出了由摄像机130逐个地获取每个产品的图像的示例，但可以一次获取包括多个对象产品的图像以用于匹配。

当购买者执行这些处理时，能够实现自动现金出纳机。

图23是上述步骤S126中的特征提取和识别处理的流程图。

从由摄像机130输入的图像(产品图像数据)中提取多个特征(步骤S132)。然后，从数据库134读取预先登记的对象的特征作为比较数据(步骤S134)。然后，如图24中所示，执行从摄像机130接收的图像142的特征与预先登记的基准图像144的特征之间的比较匹配(步骤S136)，由此确定对象的可识别性(步骤S138)。如果确定对象不同(步骤S140)，则从数据库134读取下一个预先登记的对象的特征作为比较数据(步骤S142)。然后，操作返回到步骤S136。

另选的是，如果确定对象相同(步骤S140)，则将当前比较的对象和输入图像中的产品确定为彼此相同(步骤S144)。

如上所述，根据第四应用的产品识别系统，能够在不对产品附加识别索引(例如，条形码或RF标签)的情况下完成产品识别。这一点尤其有用，因为自动识别可以识别例如蔬菜的农产品以及例如肉、鱼的其它产品，对于这些产品，与能够通过印刷等而容易地附加识别索引的诸如工业产品的产品不同，需要花费大量时间和劳动来附加识别索引。

另外，较少附加这种识别索引的对象包括矿石，从而该系统可适用于工业用途，例如其自动分离。

[第五应用]

以下，将描述第五应用。

图25是第五应用的检索系统的总体结构的图。如图中所示，该检索系统包括：数字摄像机146、存储器148和打印机150。存储器148存储多项图像数据。打印机150打印存储在存储器148中的图像数据。

例如，存储器148是可以从数字摄像机146拆卸的存储器或者是数字摄像机146中内置的存储器。打印机150根据从数字摄像机146接收的打印指令而打印出存储在存储器(即，存储器148)中的图像数据。另选的是，存储器148通过连接端子、线缆或无线/有线网络连接到数字摄像机146，另选的是，存储器148可以是安装了从数字摄像机146拆下的存储器并能够传送图像数据的装置。在这种情况下，打印机150可以是连接到存储器148或者与存储器148一体地构成、并且根据从数字摄像机146接收的打印输出指令而执行打印输出操作的类型。

存储器148还包括可根据特征值从其检索图像数据的数据库的功能。具体地讲，存储器148构成包含从原始图像的数字数据创建的特征集的特征数据库(DB)。

如此构造的检索系统如下执行操作。

(1)首先，数字摄像机146获取包括由打印机150打印输出的检索源打印件152的照相物体的图像。然后，从获取的图像数据提取与检索源打印件152的图像对应的区域，并提取所提取的区域的特征。

(2)然后，数字摄像机146执行提取的特征与存储在存储器148中的特征集的匹配(处理)。

(3)因此，数字摄像机146从存储器148读取与匹配的特征对应的图像数据作为检索源打印件152的原始图像数据。

(4)由此，数字摄像机146能够利用打印机150再次打印输出读取的原始图像数据。

检索源打印件152不仅能够使用以一页为单位输出的打印件，还能够使用被输出为总体地包括多个缩小图像的索引打印件。这是因为在成本和可用性方面，从索引打印件中选择必要的图像并且复制它们是更有利的。

检索源打印件152可以是从系统外部的打印机(未示出)输出的打印件，只要它是原始图像数据存在于特征DB的图像即可。

参照图26中示出的结构的框图和图27中示出的操作流程图更详细地描述第五应用的检索系统。除了通常的图像形成模式之外，数字摄像机146具有用于检索已获取的图像数据的检索模式。图27的操作流程图表示在设置了检索模式的情况下的处理。

在已把模式设置为检索模式之后，用户操作数字摄像机146的图像获取单元154，以获取如下的检索源打印件152的图像：在将检索源打印件152粘贴到例如桌子或墙面的状态下希望再次打印输出检索源打印件152(步骤S146)。

然后，由特征提取单元156提取特征(步骤S148)。特征可以是下面类型中的任一个：一个类型使用图像数据中的特征点；另一类型使用根据预定规则的图像数据中的分解区域(即，利用预定格栅分配的小区域)的相对浓度；另一类型根据与各分解区域对应的Fourier变换值。优选的是，包含于这些特征点中的信息包括点分布信息。

随后，匹配单元158按如下方式执行DB匹配处理：将特征提取单元156提取的特征与构成在存储器148中的已获取的图像数据的特征DB(特征集)进行比较，并且按顺序提取具有相对较高相似度的数据(步骤S150)。

更具体地讲，如图28中所示，如下执行DB匹配处理。首先，计算与各个已获取的图像数据的特征的相似度(步骤S152)，并根据相似度对特征进行排序(步骤S154)。然后，根据相似度选择候选原始图像(步骤S156)。这种选择可以按如下方式执行：设置阈值，或者按越高相似度的次序指定高次序的项。在任一方式，都有两种方法是可用的，一种方法用于选择具有最高相似度的一项，另一种方法用于从具有相对较高相似度的项开始按顺序选择多个项。

其后，从存储器148读取选择的候选原始图像的图像数据，并把这些图像数据显示在显示单元160上作为要提取的候选图像(步骤S158)，由此从用户接收选择(步骤S160)。

图29表示在仅显示一个候选图像的情况下的显示单元160的显示画面。显示画面在候选图像162的显示区的侧面具有“前一个”和“后一个”图标164以及“确定”图标166。“前一个”和“后一个”图标164代表被操作时指定显示另一候选图像的按钮。“确定”图标166代表被操作时指定候选图像162作为希望的图像数据的按钮。“前一个”和“后一个”图标164分别代表常规设置于数字摄像机146的所谓箭头键的左键和右键，“确定”图标166代表设置于箭头键中央的输入键。

在按下与“前一个”和“后一个”图标164对应的箭头键(步骤S162)的情况下，处理返回至显示候选图像162的步骤S158。在按下与“确定”图标166对应的输入键(步骤S162)的情况下，匹配单元158把存储在存储器148中的候选图像162所对应的原始图像数据发送给连接的打印机150，并且再次打印输出该图像数据(步骤S164)。当存储器148没有通过有线/无线网络连接到打印机150时，对存储在存储器148中的候选图像162所对应的原始图像数据执行做预定标记(例如，另外写入标志)的处理。由此，可以由能够访问存储器148的打印机150打印输出该数据。

在显示候选图像的步骤S158中，可以一次显示多个候选图像。在这种情况下，常规安装于数字摄像机146的显示单元160无疑具有几英寸的小尺寸，从而显示四个或九个项目是适用的。图30是在显示九个候选图像162的情况下的显示画面的图。在这种情况下，指示选择图像的粗线框168响应于分别与“前一个”和“后一个”图标164对应的箭头键的左键或右键的操作而移动。虽然没有具体地示出，但可以是这样的设置：通过操作箭头键的上键或下键，九个候选图像162的显示变为(也就是说，进行所谓的翻页)前九个候选图像或后九个候选图像的显示。

必须从存储在存储器148中的原始图像数据预先创建在步骤S150中使用的作为比较对象的构成在存储器148中的已获取图像数据的特征DB。存储器148可以是附接于数字摄像机146的存储器，或者可以是通过如图26中虚线所示的通信单元170可访问的数据库。

为了创建特征DB，可以考虑多种方法。

一个示例是这样的方法：当把原始图像获取过程中获取的图像数据存储在数字摄像机146的存储区中时，执行特征的计算和数据库登记。更具体地讲，如图31中所示，数字摄像机146执行图像获取操作(步骤S166)，并且将获取的图像数据存储在数字摄像机146的存储区中(步骤S168)。然后，从存储的所获取图像数据计算特征(步骤S170)，并且与所获取图像数据相关联地存储该特征(步骤S172)。因此，在存储器148是数字摄像机146的内置存储器的情况下，在其中建立数据库。另选的是，在存储器148是独立于数字摄像机146的单独装置的情况下，将存储在数字摄像机146的存储区中的所获取图像数据和特征都传递给存储器148，并且在其中建立数据库。

另一种方法是这样的：当由打印机150打印输出存储在存储器148中的原始图像数据时，指定打印输出，同时执行特征提取处理，并且将提取的特征存储在数据库中，由此产生高处理效率。更具体地讲，如图32中所示，当打印输出存储在存储器148中的原始图像数据时，常规上响应于用户的指定而选择要打印输出的原始图像数据(步骤S174)；设置打印输出条件(步骤S176)，由此执行打印(步骤S178)。常规上，在这个阶段完成打印处理；然而，在本示例中，继续进行处理，由此从选择的原始图像数据计算特征(步骤S180)并随后与原始图像数据相关联地存储其特征(步骤S180)。在创建特征的情况下，在操作中反映打印输出条件，由此可以提高检索源打印件152和特征之间的匹配精确性。根据该方法，仅针对可以进行匹配处理的原始图像数据创建特征，由此可以节省不必要的特征值数据的创建时间和存储容量。

另外，当然也可以执行批处理。更具体地讲，如图33中所示，当从用户接收到批特征创建指定时(步骤S184)，选择存储器148中未创建特征的原始图像数据(步骤S186)，并对选择的未创建特征的原始图像数据执行批特征创建处理(步骤S188)。在批特征创建处理中，从各个未创建特征的原始图像数据提取特征以创建特征(步骤S190)，并且把创建的特征与对应的原始图像数据相关联地存储在存储器148中(步骤S192)。

另外，可以根据用户指定的输入而分散地处理数据。更具体地讲，如图34中所示，用户选择存储器148中的一项原始图像数据(步骤S 194)，用户指定创建选择的原始图像数据的特征(步骤S196)。由此，从选择的原始图像数据提取特征(步骤S198)，并且把该特征与选择的原始图像数据相关联地存储在存储器148中(步骤S200)。可以通过对希望打印输出的照片做标记来给出特征创建的指定。

常规上，在很多情况下，当对先前打印输出的图像数据进行再次打印输出时，用户参照图像数据的补充信息(例如，文件名和图像获取日期/时间)来检索数据。然而，根据本应用的检索系统，仅通过使用数字摄像机146获取希望的检索源打印件152的图像，就能够访问原始图像的文件(图像数据)，由此可以为用户提供直观并且具有较高可用性的检索方法。

另外，不仅可以检索原始图像数据本身，还可以检索图像结构相似的图像数据，由此可以提供新的辅助适应性。更具体地讲，在如上所述的所谓检索模式下，获取例如街上的标志牌或海报的图像。在这种情况下，从存在于存储器148(例如，通过例如附属于数字摄像机146的存储器和通信可访问的数据库)中的图像数据及其特征能够容易地检索与获取的图像数据相似或相同的图像数据。

另外，例如，假定如图35中所示，获取作为标志牌的车站站名的图像。在这种情况下，从其图像数据中识别站名，由此可以识别摄影师的位置。因此，通过从存在于存储器148(例如，通过例如附属于数字摄像机146的存储器和通信可访问的数据库)中的相关信息进行检索，能够提供识别的相关信息，例如识别的车站的周围部分，即车站的周围部分的地图信息、图像信息和相关字符(字母)信息。作为识别这种站名的方法，存在多个可用方法，诸如字符识别、图案识别、基于相似图像检索的识别估计的方法，这些方法能够通过匹配单元43的功能来执行。

另外，假定这样的示例性情况：获取东京塔的图像。在这种情况下，检索存在于存储器148(例如，通过例如附属于数字摄像机146的存储器和通信可访问的数据库)中的图像，由此不仅能够检索并提取东京塔的照片，还能够检索并提取世界各角落的类似于塔的建筑物的照片。另外，根据作为如此检索和提取的各照片的附加信息而提供的位置信息，可以知道各个塔的位置，或者，如图36和图37中所示，可以通过把照片叠加到地图上的位置来执行显示。在这种情况下，地图和照片是相关信息。

在地图上叠加照片的显示的情况下，可能发生这样的情况：很多图像重叠并且由于各种因素(例如，地图缩放比、照片尺寸、与该位置相关的照片的数量)而使得可见度较差。在这种情况下，如图38中所示，例如采用技术措施以使得照片的显示尺寸根据地图缩放比而改变；如图39中所示，在大量照片的情况下，仅显示一个代表性照片，而不是以与照片的数量成比例的显示尺寸来显示照片。另选的是，可以仅显示代表因为照片彼此叠加或以过高浓度集中而可能可见度较差的总集的一个照片。可以从各种角度选择这种代表性照片，诸如照片集中的具有最高相似度的照片和最频繁观看的照片。

以上，虽然已经描述在数字摄像机146内执行步骤S148至S162的处理，但可以按照如下的不同方法执行该处理。在独立于数字摄像机146提供存储器148作为单独资源的情况下，上述处理实际上可以通过以存储器148中的软件的形式被激活来执行，或者可以通过被分散到数字摄像机146和存储器148中来执行。

[第六应用]

以下，将参照图25来描述的第六应用的检索系统的概况。

该检索系统包括：数字摄像机146、存储器148、打印机150和个人计算机(PC)172。存储器148是内置在PC 172中的存储装置或由PC 172通过通信可访问的存储装置。PC 172以有线/无线方式连接到数字摄像机146，或者另选地被构造为可以附接从数字摄像机146拆下的存储器，由此能够读取存储在数字摄像机146的存储器中的图像数据。

如此构造的检索系统可以如下执行操作。

(1)首先，数字摄146获取包括由打印机150打印输出的检索源打印件152的照相物体的图像。

(5)PC 172从获取的图像数据提取与检索源打印件152的图像对应的区域，并随后提取所提取的区域的特征。

(6)然后，PC 172执行提取的特征与存储在存储器148中的特征的匹配处理。

(7)因此，PC 172从存储器148读取与匹配的特征对应的图像数据作为检索源打印件152的原始图像数据。

(8)由此，PC 172能够通过打印机150再次打印输出读取的原始图像数据。

参照图40中示出的结构的框图和图41中示出的操作流程图更详细地描述第六应用的检索系统。在这些附图中，相同的标号表示与第五应用中的部件对应的部件。

本应用设想这样的情况：由数字摄像机146获取的图像数据存储在由用户指定的PC 172内置或连接的存储器148中，并且图41中的PC侧示出的处理以应用软件的形式在PC 172中运行。在PC 172和数字摄像机146以影布线或无线方式连接在一起由此建立通信状态的状态下，激活应用软件。该状态可以是这样的：通过接通对数字摄像机146设置的诸如“检索模式”的开关的操作，执行功能的激活。

利用如此启动操作的应用软件，在数字摄像机146侧执行获取打印件图像的图像获取处理(步骤S146)。更具体地讲，如图42中所示，用户操作数字摄像机146的图像获取单元154以获取如下的检索源打印件152的图像：在将检索源打印件152粘贴到例如桌子或墙面从而至少不会遗漏检索源打印件152的状态下希望再次打印输出检索源打印件152(步骤S202)。由此，将获取的图像数据存储在用作数字摄像机146的存储器的存储单元176中。然后，将如此存储的所获取图像数据传送给硬布线或无线连接的PC 172(步骤S204)。

然后，在PC 172中，由应用软件实现的特征提取单元176执行从传送的所获取图像数据提取特征的处理(步骤S148)。特征提取处理可以在数字摄像机146侧执行。由此，能够减少从数字摄像机146到PC 172的通信量。

随后，由应用软件实现的匹配单元178执行DB匹配处理，以将提取的特征与构成在存储器148中的已获取图像数据的特征DB进行比较，按顺序提取具有相对较高相似度的特征(步骤S150)。更具体地讲，根据计算出的特征，PC 172侧的匹配单元178执行和与存储器148中的各项图像数据相关联地存储(或以数据库的形式综合存储)的特征的比较，并选择最相似的一个特征。在可用性方面进行这种设置也是有效的：选择多个最相似的候选特征。特征包括已从其计算特征的原始图像数据的指定信息，并且根据指定信息调用候选图像。

其后，从存储器148读取选择的原始候选图像(或候选图像)的图像数据，并把该图像数据显示在用作PC 172的显示器的显示单元180上作为要提取的候选图像(步骤S158)，由此从用户接收选择。在这种情况下，处理可以是这样的：将选择的候选原始图像(或候选图像)按原样或者在适当的压缩状态下从PC 172传送到数字摄像机146，并显示在数字摄像机146的显示单元160上(步骤S206)。

然后，响应于通过鼠标等的操作执行的选择，将存储在存储器148中的候选图像所对应的原始图像数据发送给连接的打印机150并由此进行打印(步骤S164)。更具体地讲，通过用户的确定来确定显示的候选原始图像，并将其传送给打印处理，由此使用户能够容易地执行对已打印图像数据的预先希望的重新打印。在这种情况下，不仅简单地进行了打印，而且多个选择的候选图像导致了这样的状态：根据用户的确定，“虽然与希望的原始图像不同，但收集了相似的图像”，由此实现了相似图像数据的批检索的功能。

在本应用中，在通过PC 172把获取的图像数据从数字摄像机146传送给存储器148的情况下，能够创建特征DB。更具体地讲，参照图43，开始把获取的图像数据从数字摄像机146传送给PC 172(步骤S208)。然后，通过使用PC 172，把传送的所获取图像数据存储在存储器148中(步骤S210)，并从获取的图像数据创建特征(步骤S212)。然后，与获取的图像数据相关联地把创建的特征存储在存储器148中(步骤S214)。

因此，根据第六应用，类似于第五应用，仅通过使用数字摄像机146获取希望的检索源打印件152的图像，就能够访问原始图像的文件(图像数据)，由此可以为用户提供直观并且具有较高可用性的检索方法。

另外，不仅可以检索原始图像数据本身，还可以检索图像结构相似的图像数据，由此可以提供新的辅助适应性。更具体地讲，在如上所述的所谓检索模式下获取例如街上的标志牌或海报的图像。在这种情况下，从存在于存储器148(例如，通过例如附属于数字摄像机146的存储器和图40中虚线指示的通信单元182可访问的外部数据库)中的图像数据及其特征中能够容易地检索与获取的图像数据相似或相同的图像数据。另外，可以把与数据关联的互联网站点显示在例如PC 172和数字摄像机的显示器上，并且能够执行特定应用(例如，音频和运动图像(电影)的应用)。

已参照使用数字摄像机146的情况进行了描述，本发明不限于此，也可以使用扫描仪。

另外，尽管由数字摄像机146获取实际已打印输出的检索源打印件152的图像，但可以由数字摄像机146获取例如显示检索源打印件152的获取图像的显示器的图像。

[第七应用]

以下，将描述第七应用的检索系统。本应用是适用于带有摄像机186的移动电话184的应用软件188的示例，如图44中所示。

目前，对于大多数移动电话可以使用移动电话应用软件，并且大量的图像数据项可以存储在存储器，诸如内部存储器或外部存储卡。另外，在特定的移动电话站点(移动电话专用互联网站点)，提供例如对用户指定的图像文件的存储业务。在这些环境下，可以存储很大量的图像数据，由此可以把它们用于用户自己的各种活动记录和工作。然而，另一方面，对于具有相对较差自由度的接口的移动电话的硬件而言，对希望的图像数据的检索复杂而繁重。在大多数情况下，从例如代表图像数据的标题或者日期和时间的文本列表执行实际的检索。由此，必须承认，在大量图像数据的情况下，检索复杂而繁重；即使当键入文本时，例如，输入多个文字或较长的标题也是不方便的。

根据安装的本检索系统，该系统用作摄像机移动电话的应用，由此执行“图像输入功能”、“关注区域的分割”和“特征计算”的激活。特征经移动电话线路而传送给相应的服务器。可以相对于摄像机以一对一或一对多的关系提供相应的服务器。发送给服务器的特征实际上经受这样的处理：通过服务器中提供的“匹配功能”而与服务器需要的从数据库读取的特征进行匹配。由此，提取具有高相似度的图像数据。将由此提取的图像数据从服务器返回给呼叫侧移动电话，由此可以从移动电话通过未指定的打印机输出该图像数据。在将与图像数据相关的多种类型的信息进一步添加到由服务器提取的图像数据的情况下，能够实现扩展功能“将该信息返回给移动电话”。另外，将提取的图像数据高度压缩并返回给移动电话，并且在用户验证该数据是希望的图像数据之后，将该数据存储在移动电话的存储区域中或显示在移动电话的显示器190上。即使仅从这个事实来看，也无疑可以说这个系统是有用的。

[第八应用]

以下，将描述第八应用的检索系统。

本应用具有这样的结构，该结构包括具有通信功能的数字摄像机146和经通信连接的服务器，在该结构中，向数字摄像机146和服务器共同提供图像检索的功能。具有通信功能的数字摄像机146提供作为安装有图像获取功能的通信装置的功能，并无疑包括摄像机移动电话。

在这种情况下，类似于第五应用，数字摄像机146包括图像获取功能和用于从图像数据计算特征的计算功能。在第五至第七应用中的任一应用中，将进行比较和作为基准的特征(或特征DB)是基于由用户或数字摄像机146获取并打印输出的图像而初始创建的。这是由于这样的事实：最初目的在于形成已获取图像数据的打印件的图像并执行检索。作为比较，通过延伸该目的而构造本应用，并且本应用的显著区别在于：基于例如街上的标志牌、海报、印刷品和出版物的图像而计算的特征也存储在服务器的存储器148中形成的数据库中。

当然，不仅能够完成打印输出，还能够完成从数据库中所包含的图像进行的提取。

另外，从获取的图像提取的特征可以添加到数据库。

在登记的情况下，通过传感器(例如，GPS)或通过上述字符识别手工识别与图像相关的位置信息，随后登记该位置信息。以这种方式，在获取相似位置的下一时间图像的情况下，通过从数据库检索来提取相似的图像，由此能够提取希望添加到所获取图像的位置信息。

图45是表示本应用的检索系统的操作的流程图。在附图中，相同的标号表示与第五应用中的部件对应的部件。

在本应用中，例如，由数字摄像机146获取街上的海报(例如，产品广告)的图像(步骤S146)。然后，由数字摄像机146对获取的图像数据执行特征提取处理(步骤S148)。提取的特征由数字摄像机146中内置或连接到数字摄像机146的通信单元170发送给预定服务器。

在服务器中，查询(访问)服务器可访问的存储器148中形成的特征DB，将从数字摄像机146发送的特征与该特征DB进行比较(步骤S150)，由此提取具有相似特征的候选相似图像(步骤S216)。提取的候选相似图像的图像数据根据需要而受到预定压缩处理以减少通信量，然后被发送给数字摄像机146，由此能够简单地将候选图像显示在数字摄像机146的显示单元160上(步骤S218)。由此，能够类似于第五应用地执行用户选择。

然后，将提取(并选择)的候选图像的图像数据发送和输出给数字摄像机146；或者，另选的是，根据与提取(并选择)的候选图像的特征相关联的指定信息而执行下一操作(步骤S220)。在产品广告的情况下，例如，下一操作可以是产品的描述或者连接到邮购站点或者把站点的画面作为图像数据返回给数字摄像机146。另外，在已获取街上标志牌的图像的情况下，也检索标志牌的周围信息作为特征。另外，例如，比较在通信期间无线通信基站的位置的数据，由此可以把例如对位置和地址的鉴定结果作为信息提供给用户。

[第九应用]

以下，将描述第九应用的检索系统。

本应用根据对获取的检索源打印件152而获取的图像通过使用第一特征进行匹配来从存储器148检索多项图像数据。另外，本应用从如下的多项图像数据中检索一项或多项图像数据：所述多项图像数据是作为通过使用比第一特征窄或与第一特征相同并且分辨率更高的区域的第二特征进行特征匹配而执行的检索的结果而获得的。

本应用的检索系统具有与第五应用的结构类似的结构。特别地，在本应用中，存储器148被构造为包括：总体特征DB，其包含登记为第一特征的一般性特征；和细节特征DB，其包含登记为第二特征的细节特征。

如图46中所示，通过以相对比较粗糙(较低)的分辨率对包含全部(100％)图像数据的大部分(例如，大约90％)的区域进行提取而获得一般性特征。如图47中所示，通过以比一般性特征的分辨率高的分辨率对包含图像数据的中央区域部分(例如，大约中间25％)的区域进行提取而获得细节特征。原始图像数据与一般性特征和细节特征之间的位置关系显示在图48中。

图49是表示本应用的检索系统的操作的流程图。在图中，相同的标号表示与第五应用中的部分对应的部分。

类似于第五应用，在本应用中，首先，设置为检索模式的数字摄像机146的图像获取单元154获取如下的检索源打印件152的图像：在将检索源打印件152粘贴到例如桌子或墙面从而至少不会遗漏检索源打印件152的状态下希望再次打印输出检索源打印件152的图像(步骤S146)。

然后，由特征提取单元156执行从图像获取单元154获取的全部图像数据提取特征的总体特征提取处理(步骤S222)。然后，由匹配单元158执行与总体特征DB的匹配处理：把提取的总体特征与构成在存储器148中并包含登记的一般性特征的总体特征DB进行比较，并按顺序提取具有相对较高相似度的数据(步骤S224)。

其后，在特征提取单元156中，从全部关注区域的所获取图像数据进一步提取细节检索对象区域(即，本示例中的关注区域的中央区域部分的图像数据)作为细节检索对象图像数据(步骤S226)。然后，由特征提取单元156执行从提取的细节检索对象图像数据提取特征的细节特征提取处理(步骤S228)。随后，在匹配单元158中，执行与细节特征DB的匹配处理：把提取的细节特征与存储器148中形成并登记有细节特征的细节特征DB进行比较，并顺序地提取具有较高相似度的数据(步骤S230)。然而，在这种情况下，不执行与登记在细节特征DB中的所有细节特征的特征匹配，而是仅针对与通过步骤S224中与总体特征DB的匹配处理提取的多项图像数据对应的细节特征执行特征匹配。因此，虽然与细节特征的特征值匹配处理由于分辨率高的自身原因而耗费处理时间，但该处理能够在最小的必要时间内完成。作为步骤S224中与总体特征DB的匹配处理的提取标准，采用这样的方法：提供相似度的阈值或者固定地选择高次序的500项。

在通过与细节特征DB的匹配处理而提取具有较高相似度的图像数据作为候选原始图像之后，将候选图像显示在显示单元160上作为用于提取的候选图像(步骤S158)，由此从用户接收选择。如果确定了用户希望的图像(步骤S162)，则匹配单元158把存储在存储器148中的候选图像所对应的原始图像数据发送给连接的打印机150；并且再次打印输出该数据(步骤S164)。

根据本应用，彼此兼顾了原始图像数据的检索结果的质量(满意水平)和适当的检索时间。

另外，能够在考虑摄影师的关注区域的情况下获得检索结果。更具体地讲，通常，摄影师通过在图像形成区域中央捕捉主要拍照物体来获取主要拍照物体的图像。因此，如图50中所示，使用关注于图像数据中央的细节特征来获得良好的检索结果。因此，在从作为打印输出的照片的检索源打印件152检索并提取原始图像数据并且容易地执行对它的复制的本系统中，对打印的照片的检索效率很高。

另外，在从难以进行关键字分类等的原始图像全体进行检索时，作为执行较小差别的高速确定的装置的效率较高。也就是说，能够对于较大的群体逐步地缩减检索结果。

此外，在本应用中，针对一项原始图像数据，一般性特征和细节特征必须预先创建并登记在数据库中。可以如第五应用中所述地执行登记。然而，这两种特征不必同时创建。例如，可以是这样的方法：当必须执行辅助检索时创建细节特征。

另外，特征不限于例如图47或图50中所示的关注于中央部分的特征。

例如，如图51中所示，特征可以设置于图像的几个部分。通过这样以分布方式设置特征，能够防止由于打印图像形成条件导致的失败。由此，通过动态地改变例如特征的位置和数量，能够实现收敛。

另外，如图52中所示，在获取原始图像的情况下，细节特征可以是这样的：关注区域可以位于焦点位置。根据这种细节特征，有望获得反映摄影师的意图的结果。

另外，如图53中所示，在与一般性特征的区域相同的区域中创建细节特征，并将细节特征登记在数据库中。由此，在与细节特征进行特征匹配的情况下，使用其部分区域(即，如图50至图52中各自所示的区域)作为基准区域192，并且使用其它区域作为非基准区域194。

虽然对应于第五应用如此描述了本应用，但本应用无疑类似地可适用于第六至第八应用。

[第十应用]

以下，将描述第十应用的检索系统。

本应用的检索系统是使用包括通信功能的数字摄像机146的示例。本应用适用于这样的情况：获取预先登记的图像以由此识别该图像，并根据识别结果执行预定操作(例如，激活音频输出或预定节目、或者显示预定URL)。当然，具有通信功能的数字摄像机146用作具有图像形成功能的通信装置，并包括摄像机移动电话。

当识别图像时，尽管将图像数据登记为基准数据库(所谓的字典数据)，但对图像的特征进行比较比对图像本身进行比较更为有效和实用，从而使用从图像提取的特征的特征值数据库(DB)。该数据库可以是内置类型或经通信存在于服务器中的类型。

在本应用中，计算图像的特征点的排列关系作为矢量组合，并把多组矢量组合定义为特征。在这种情况下，特征的精确度根据特征点的数量而不同，从而随着原始图像数据的精细度越高，可以检测到成比例的更多数量的特征点。这样，对于原始图像数据，在可能的最高精细度的条件下计算特征。在这种情况下，当根据具有降低的精细度的图像数据对于同一图像元素计算特征时，特征点的数量相对较少，从而特征本身的容量较小。在较小容量的情况下，尽管匹配精确性较低，但产生以下优点：例如，匹配速度较高并且通信速度较高。

在本应用中，注意力集中于上述内容。更具体地讲，在图像数据登记为基准数据(特征)的情况下，当登记一个图像元素时，根据多个不同精细度来计算特征，由此构造与各精细度对应的专用数据库。对应的匹配服务器连接到各数据库，并设置为能够提供并行操作。更具体地讲，如图54中所示，准备了第一特征匹配服务器和第一信息DB 198-1、第二特征匹配服务器和第二信息DB 198-2、......和第n特征匹配服务器和第n信息DB 198-n。第二特征匹配服务器和第二信息DB 198-2至第n特征匹配服务器和第n信息DB 198-n分别是与第一特征匹配服务器和第一信息DB 198-1相比具有有着更高精细度的特征或者属于特殊种类的数据库。

根据如此准备的匹配处理系统，如图54中所示，由具有通信功能的数字摄像机146获取已经登记的设计(对象)的图像(步骤S232)。然后，通过数字摄像机146内置的应用软件从特征点的排列关系计算特征(步骤S148)。然后，经通信把特征传送给各匹配服务器，由此执行与各DB的匹配处理(步骤S150)。在通过匹配处理获得匹配结果的情况下，获得与该结果相关的操作信息(例如，URL链接)(步骤S234)，并且把该操作信息传送给数字摄像机146，由此执行指定操作，诸如显示3D对象获取(步骤S236)。当然，数字摄像机146可以把所获取图像的整体或一部分传送给匹配服务器，由此能够在匹配服务器中执行步骤S148。

在这种情况下，假定摄像机分辨率大约为二百万像素。在这种情况下，当经通信执行匹配服务器中的检索时，如果通过使用具有大约二百万像素的分辨率的特征DB的数据执行匹配，则错误识别率低。然而，在具有低分辨率(例如，VGA级分辨率)的同时操作的特征DB中的匹配以高速作出响应，因此，结果更早传送给数字摄像机146。如此并行设置与多个分辨率对应的多个匹配服务器在速度和识别精确性方面是有利的。然而，可能发生这样的情况：落后操作的高分辨率匹配服务器得到的响应(结果)不同于低分辨率匹配服务器的已输出的结果。在这种情况下，首先执行根据较早的结果的显示，然后将其更新为根据后面的结果的显示。在识别例如钞票的情况下，虽然低分辨率匹配的结果是“$100的钞票”的级别，但在高分辨率匹配中能够获得由于更高精细度导致的更加详细或准确的结果，诸如“$100的钞票，编号为HD85866756A”。另外，这样的显示方式也是有效的：从低分辨率结果获得多个候选，并且当得到高分辨率结果时减少获得的候选以使其精确。

另外，如上所述，在高分辨率匹配服务器中，特征本身的容量较大。XGA级的特征增大至大约40kB；然而，通过预先的低分辨率匹配，容量减小到大约10kB。另外，在第二或更高匹配服务器和数据库中，当仅保留与更低的低分辨率数据库的差异时，实现更小的数据库结构。这导致了识别处理的速度的增加。已经证实：当对于特征进行特征提取(执行区域分配和比较各浓度值的方法)时，特征通常是10kB或更小，此外，通过适当组合这两种方法获得的多维特征对于提高识别精确性是有用的。

如上所述，与多个匹配服务器简单地以杂乱的方式分布的情况相比，将获取的图像表面的一部分或全部的分辨率分为多个分辨率以由此实质上实现匹配等级化的方法在识别速度和识别精确性方面都是有效的。

特别的是，上述方法是在预先登记在数据库中的图像的数量很大(1000或更多)的情况下有效的方法，并且在包括具有较高相似度的图像的情况下是有效的。

[第十一应用]

以下，将描述第十一应用的检索系统。

如图55中所示，第十一应用的检索系统包括带有摄像机186的移动电话184和检索单元。带有摄像机186的移动电话184包括：摄像机186，用于输入图像；和显示器190，用于输出检索结果的图像。根据从摄像机186输入的图像，检索单元通过使用分级管理的特征从数据库检索图像。检索单元由带有摄像机186的移动电话184的应用软件188和可与带有摄像机186的移动电话184通信的服务器198中构造的匹配处理单元200来实现。

服务器198还包括特征管理数据库(DB)202，特征管理数据库(DB)202包含登记的多项特征并执行这些特征的分级管理。登记在特征管理DB 202中的特征由特征创建单元204从通过使用台式印刷系统(DTP)210设置在纸空间208的对象图像206创建。

也就是说，在本应用的检索系统中，对象图像206预先由DTP 210打印在纸空间208上，并且对象图像206的特征由特征创建单元204创建。然后，创建的特征预先登记在服务器198的特征管理DB 202中。当存在大量要登记的对象图像206时，重复执行上述的特征创建和登记。

当希望检索的用户通过使用移动电话184的摄像机186从纸空间208获取对象图像206时，应用软件188对输入图像执行图像的特征提取。应用软件188把提取的特征发送给服务器198的匹配处理单元200。然后，匹配处理单元200执行与登记在特征管理DB 202中的特征的匹配。如果获得匹配结果，则匹配处理单元200把匹配结果的信息发送给带有摄像机186的移动电话184的应用软件188。应用软件188在显示器190上显示该结果信息。

如上所述，在第十一应用中，从输入图像提取多个特征，并且将包括这些特征的特征集与以预先登记的对象为单位的特征集进行比较匹配(进行匹配处理)。由此，执行相同对象的鉴定。

在这种情况下的图像中的特征点指的是与其它像素的差别大于预定水平的点，例如，在亮度、颜色、周围像素的分布、区别分量值和特征点间排列方面的对比。在第十一应用中，以对象为单位提取特征并随后进行登记。然后，在实际鉴定的情况下，通过搜索输入图像的内部提取特征，并且将特征与预先登记的数据进行比较。

参照图56，下面描述根据第十一应用的匹配处理单元200中的鉴定处理的操作控制的流程。首先，从包含特征点集的特征管理DB 202读取对象Z(例如，对象图像206)的识别元素的预先登记的特征(步骤S238)。随后，将特征输入到执行特征比较的匹配处理单元200(步骤S240)。然后，在匹配处理单元200中，执行在所述特征和输入的对象特征之间的比较匹配(步骤S242)。然后，确定对象Z是否与输入的对象相同(步骤S244)。其后，确定匹配特征的数量是否大于等于预定值(在本示例中为X(条))(步骤S246)。如果步骤S246为“否”，则流程返回至步骤S242。另选的是，如果步骤S246为“是”，则确定当前比较的对象Z的识别元素与输入对象相同(步骤S248)。

然后，确定与所有识别元素的比较是否完成(步骤S250)。如果步骤S250为“否”，则将下一识别元素的特征集中的特征输入给匹配处理单元200作为比较数据(步骤S252)，并且流程返回至步骤S242。

如果步骤S250为“是”，则确定匹配特征的数量是否大于或等于预定值(在本示例中为Y(条))(步骤S254)。如果步骤S254为“是”，则确定输入对象与对象Z相同并将其显示在显示器190上以通知给用户(步骤S256)。另选的是，如果步骤S254为“否”，则确定输入对象和对象Z彼此不同(步骤S258)。

在实际鉴定的情况下，当代表相似度(程度)的数值(各个特征分量之差)超过预设的阈值时，确定该特征是相似的特征。另外，确定具有多个匹配特征的对象与输入图像的对象相同。更具体地讲，如下所述地将输入图像中的特征和预先登记的特征集彼此比较。

第一，将对象的内部分成多个元素，并且登记这些元素。由此，在对象之间进行比较匹配的情况下，对于识别应用确定逻辑以如下进行确定：除非识别了多个元素(例如，三个元素)，否则不能识别对象。

第二，假定在如下情况下在用于对象识别的图像中示出相似的图像：例如，S公司使用对象OBJ1(特征：A、B和C)作为它的标识，M公司使用对象OBJ2(特征：E、F和G)作为它的标识。另外，假定S公司和M公司是彼此竞争的公司。在这种情况下，应该尽一切努力防止这两个公司的标识之间混淆。考虑到这些情况，根据第十一应用，在从同一画面上同时检测到特征A和E的情况下，不识别为任一对象。也就是说，识别确定很严格。

第三，常规上，不管识别的特征的数量是多少，向用户通知识别结果的文本表达是相同的。由此，在例如仅识别了一些特征的情况下，更具体地讲，在输入图像和比较图像之间的识别水平包括不确定性的情况下，不能将实际状态报告给用户。然而根据第十一应用，当识别元素的数量较少时，改变结果显示方法(表达方法)以提供包括上述不确定性的表达。

根据上述的各项技术措施，能够获得下面的各种效果。

第一，能够减小由于对象的仅仅一部分特性而导致错误识别的概率。

第二，可以把要应用的确定基准(尤其是当希望防止错误识别时的确定基准)指定为很严格。

第三，即使当对象的身份确定的精确性低于预定值时，也对该用户引起注意，然后可以把识别确定结果报告给用户。

在对象中的特征分开登记的对象OBJ1(特征：A、B和C)和对象OBJ2(特征：E、F和G)的情况下，根据以下描述的确定逻辑执行识别。

第一，除非满足“A且B且C”，否则不将对象OBJ1的识别确定为成功。

更具体地讲，在识别包括识别元素或特征A、B和C的对象OBJ1的情况下，当仅识别了A、B和C中的一个或两个时，不把对象OBJ1的识别确定为成功。

作为以上内容的变型例，通过分配权重作为评分而分别对特征A、B和C进行加权。例如，这些特征的权重分别为1.0、0.5和0.3。在这种情况下，如果当总的评分超过1.5时做出识别，则当检测到特征A和B作为识别元素时，由于总的评分为1.5，所以识别为对象OBJ1。当检测到特征B和C时，不识别为对象OBJ1。

可以与识别元素的特征一起管理识别元素的评分。

另外，作为逻辑表达式，可以改变各元素的优先级，由此不仅可以是“A且B且C”，还可以是诸如“A且(B或C)”或“A或(B且C)”的组合，。在这些示例中的任一个中，A对于实现成功的识别总是必不可少的。

评分和逻辑表达式的上述示例可以组合使用。更具体地讲，各逻辑表达式的优先级和各元素的权重可以组合使用。

第二，当提取“E且A”时，既不识别为对象OBJ1又不识别为对象OBJ2。

例如，再次参照这样的情况：使用对象OBJ1作为其标识的S公司和使用对象OBJ21作为其标识的M公司处于竞争关系，应该尽一切努力防止这两个标识之间的混淆。在这种情况下，当用作S公司的标识的对象OBJ1和用作M公司的标识的对象OBJ2都显示在同一画面上时，不识别为任一个标识。在这种情况下，系统向用户提供如下意思的显示语言：不能识别并不是因为没有检测到对象图像，而是因为从(A、B和C)以及(E、F和G)都检测到识别元素。

因此，根据第十一应用，以下面的方式鉴定例如处于竞争关系的公司的标识。例如，仅仅当用作S公司的标识的对象OBJ1和用作M公司的标识的对象OBJ2中的仅仅一个显示在获取的图像上时，才识别出标识。更具体地讲，如果在一个图像内检测到(A、B和C)中的仅仅一个或者(E、F和G)中的仅仅一个，则识别出对象OBJ1或对象OBJ2。换句话说，如果在一个图像内检测到(A、B和C)中的任一个以及(E、F和G)中的任一个，则既不识别为对象OBJ1又不识别为对象OBJ2。

第三，当仅提取部分特征(例如，“A和B”)时，改变结果展示方法(使表达包括不确定性)。

例如，在识别对象OBJ1的情况下，当已经可识别特征A、B和C中的所有识别元素时，识别结果以高调的表达展示给用户，诸如“已识别对象OBJ1”。另选的是，当已经可识别两个识别元素(例如，特征A和B、B和C、或者A和C)时，识别结果以信心下降的低调表达展示给用户，诸如“我们认为该对象是对象OBJ1”。另选的是，当可识别的元素的数量是1时，识别结果以包括不确定性的表达展示给用户，诸如“可能识别了对象OBJ1”。

作为第十一应用的变型例，在应用上述加权评分的情况下，可以考虑根据总的评分向用户展示识别结果的上述表达方法的技术措施。当然，向用户展示识别结果的上述表达方法的技术措施可以适用于多种情况。例如，该技术措施也可以适用于对希望的单个识别元素的识别。另外，如上所述的表达方法可以适用于这样的情况：例如，根据识别元素中的匹配特征的数量以及提取特征和已登记特征之间的识别水平，将识别结果展示给用户。

在第十一应用中，可以在服务器198中运行特征创建单元204。纸空间208指的是显示表面，而未必是纸。例如，它可以是金属、塑料等材料中的任一种材料，甚至可以是图像显示设备，诸如液晶监视器或等离子电视。当然，在上述地方显示的信息对应于在人眼的可见光区域中显示的信息。然而，该信息可以是人眼不可见的，只要该信息可以输入到摄像机186即可。另外，由于所有可获取为图像的物体都可以是对象，所以对象可以是诸如X光图像和热图像的图像。

在图55中，包括从摄像机186输入的对象图像的图像从带有摄像机186的移动电话184传送给服务器198的匹配处理单元200。在这种情况下，由摄像机186获取的图像当然可以原样按照图像数据的形式进行传送，或者可以被缩小并传送。当然，可以从图像提取并可以传送用于匹配的特征。另外，无疑既可以传送图像，又可以传送特征。因此，可以传送任何类型的数据，只要它是可从图像获得的数据即可。

Claims (8)

1.一种在二维或三维图像数据中识别对象的特征匹配方法，该特征匹配方法的特征在于包括以下步骤：

通过下述操作来检测(10)多个特征，在各个特征中，二维或三维图像数据中的预定属性呈现局部最大值和/或最小值，其中，所述操作是对二维或三维图像数据的多个点应用高通滤波器，并将高通滤波器的输出与阈值进行比较；

利用区别性特征滤波器从检测到的特征中，排除(12)沿着边缘和线轮廓而存在的特征；

应用迭代地将检测到的特征提炼至子像素精度的插值滤波器来把剩余的特征分配(14)到平面；

通过使用三个约束条件的局部信息来限定局部区域，从而按照矢量表示来采用所述分配的特征，其中，所述三个约束条件是强度、缩放比和取向；以及

对于被设置为对象的所选择特征执行(14)特征匹配。

2.如权利要求1所述的特征匹配方法，该特征匹配方法的特征在于还包括以下步骤：

从所述一个二维或三维图像数据创建具有不同缩放比的多项图像数据，并且，

针对创建的所述多项不同图像数据，执行检测特征、排除特征、分配剩余特征、采用所述分配的特征和执行特征匹配中的至少一个操作。

3.如权利要求1所述的特征匹配方法，该特征匹配方法的特征在于，

执行特征匹配的步骤使用RANSAC方案。

4.如权利要求1所述的特征匹配方法，该特征匹配方法的特征在于，

执行特征匹配的步骤使用dBTree方案(18，20，22)。

5.如权利要求1所述的特征匹配方法，该特征匹配方法的特征在于还包括以下步骤：

计算(22)执行的特征匹配的精确度；以及

根据计算的精确度输出(22)多个识别结果。

6.如权利要求1所述的特征匹配方法，该特征匹配方法的特征在于，

执行特征匹配的步骤根据数据库中登记的多个图像数据的组合的条件来执行(S242)二维或三维图像数据的匹配，所述条件由逻辑表达式表示。

7.一种产品识别系统，该产品识别系统的特征在于包括：

特征存储单元(134)，其被构成为记录预先登记的多个产品的特征；

图像输入单元(130)，其被构成为获取产品的图像；

自动识别单元(132)，其被构成为从由所述图像输入单元获取的产品图像中提取特征，并对于提取的特征执行与记录在所述特征存储单元中的特征的比较匹配，由此自动识别由所述图像输入单元获取了其图像的产品；以及

结算单元(132)，其被构成为通过使用所述自动识别单元的识别结果来执行结算处理，

所述自动识别单元使用如权利要求1所述的特征匹配方法。

8.如权利要求7所述的产品识别系统，该产品识别系统的特征在于还包括：

特定信息存储单元(134)，其被构成为记录预先登记的所述多个产品的特定信息，所述特定信息各自包括重量和尺寸中的至少一个，并且其中，

所述自动识别单元使用记录在所述特定信息存储单元中的特定信息来增加产品的识别精确度。

Images