CN101268490A - 信息呈现系统、信息呈现终端和服务器 - Google Patents

Abstract

一种信息呈现系统(10)，其包括：获得图像的摄像部(11)；取得周边信息的周边信息取得部(14)；预先存储登记信息的存储部(15)；分析基础信息构建部(16)，其根据上述周边信息取得部(14)所取得的周边信息，由存储在上述存储部(15)中的登记信息构建分析基础信息；关联信息取得部(12)，其根据从上述摄像部(11)获得的图像和从上述分析基础信息构建部(16)获得的分析基础信息，取得与上述图像相关联的信息；以及呈现部(13)，其呈现上述关联信息取得部(12)所取得的关联信息，上述分析基础信息构建部(16)根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个来改变上述分析基础信息。

Description

信息呈现系统、信息呈现终端和服务器

技术领域

本发明涉及呈现与从摄像部获得的图像相关联的信息的信息呈现系统、信息呈现终端和服务器。

背景技术

在日本特开2003-15980号公报中公开了利用所拍摄的标识的图像寻找服务器所对应的URL的技术。即，在该技术中，首先利用便携式设备拍摄印刷在杂志等上的广告中所包含的标识符号。接着，通过因特网将利用该拍摄所取得的标识符号发送给检索服务器。检索服务器检索与通过因特网发送来的上述标识符号最接近的标识符号。然后，上述检索服务器将与其检索到的标识符号对应的URL经由因特网发送给上述便携式设备。在上述便携式设备中，能访问上述URL并浏览主页。

并且，在日本特开2004-179783号公报中公开了用户不必顾及ID类别即可利用便携式客户端装置读取ID的技术。即，在该技术中，首先便携式客户端装置用照相机或扫描仪取得图像。接着，即使上述图像是一维条形码、二维条形码、电子水印嵌入图像、普通图像，便携式客户端装置也从上述图像中获取ID。然后，上述便携式客户端装置将上述ID无线发送给位于外部的ID信息数据库。便携式客户端装置从上述ID信息数据库无线接收信息。

在此，在上述日本特开2003-15980号公报所公开的技术中，标识和URL固定地关联起来。但是，无论周围状况、使用设备的条件等如何，都利用共同的内容和共同的各种参数，所以导致便利性降低。例如，即使是相同招牌，根据电饰，观看方式在白天和夜晚发生变化。并且，也有时联络地点在白天和夜晚发生变化等。这样，根据用户拍摄标识的环境，用户实际求得的信息不同。因此，在上述日本特开2003-15980号公报所公开的技术中，难以灵活地应对用户的要求。

并且，在上述日本特开2004-179783号公报所公开的技术中，读取ID所需要的各种图像处理参数固定地保存在装置中成为公认的。但是，当以同一应用程序支持多个机种、多个数据集时，若用于识别的条件固定，则能够应对的环境受到限制。即，在实际的使用状况中，由于周边亮度和每个终端的光学性能的差异，如果不调整参数，则难以稳定地进行图像处理。

但是，作为判定两个图像的一致程度的方法，例如在“金沢靖、金谷健一“2画像間の特徴点对応の自勤探索”、「画像ラボ」2004年11月号(日本工業出版)2004、PP20-23”中公开了以下方法。首先，分别提取输入图像和比较图像中的作为识别要素的特征点。然后，比较对照输入图像中的特征点与比较图像中的特征点。在该特征点之间的比较对照中，使用RANSAC(随机抽样一致性)法等判定两图像之间的相似度的值是否超过作为数据的符合率而被设定为预定值的阈值。但是，在该方法中主要产生以下三点问题。

第一问题是：由于上述方法是对图像自身进行比较的方法，所以预先登记对象物或拍摄对象物所得的图像整体，在此基础上对该登记的图像(比较图像)与输入图像进行比较。因此，在输入图像或比较图像中拍摄了假设的对象物以外的对象物时、或者拍摄了与假设的对象物相似的对象物时，有时会产生错误识别。

第二问题是：在上述方法中，当识别对象物时，在图像内拍摄了相似对象物的情况下，有可能引起以下不良情况。例如，假设将OBJ1(特征点组：A、B、C)作为本公司的标识符号的S公司、和将OBJ2(特征点组：E、F、G)作为本公司的标识符号的M公司。在此，假设S公司和M公司是竞争公司。在这样的情况下，当然必须尽量避免混淆两者的标识符号。但是，在上述方法中，当从同一图像内提取了特征点A、和特征点E～G中的任一个时，并不基于考虑了避免OBJ1和OBJ2混淆的特殊逻辑来进行判定。因此，在这样的情况下，在上述方法中有可能产生不良情况。

第三问题是：在能识别出的特征点的数量为几个时，将识别结果传达给用户的文章表达相同。因此，例如在仅能识别出一部分特征点时，即在输入图像和比较图像的一致程度是包含不确定性的一致程度时，无法将该信息传达给用户。

发明内容

本发明是鉴于上述问题而完成的，其目的在于，提供能根据利用环境来呈现与状况对应的最佳信息的信息呈现系统、信息呈现终端和服务器。

本发明的信息呈现系统的一个方式的特征在于，该信息呈现系统具有：

获得图像的摄像部；

取得周边信息的周边信息取得部；

预先存储登记信息的存储部；

分析基础信息构建部，其根据上述周边信息取得部所取得的周边信息，由存储在上述存储部中的登记信息构建分析基础信息；

关联信息取得部，其根据从上述摄像部获得的图像和从上述分析基础信息构建部获得的分析基础信息，获取与上述图像相关联的信息；以及

呈现部，其呈现上述关联信息所取得部取得的关联信息，

上述分析基础信息构建部根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个来改变上述分析基础信息。

并且，本发明的信息呈现终端的一种方式的特征在于，该信息呈现终端具有：

获得图像的摄像部；

取得与上述摄像部相关联的周边信息的周边信息取得部；

分析基础信息构建部，其根据上述周边信息取得部所取得的周边信息，由通过通信线路从服务器下载的登记信息构建分析基础信息；

关联信息取得部，其根据从上述摄像部获得的图像和从上述分析基础信息构建部获得的分析基础信息，取得与上述图像相关联的信息；以及

呈现部，其呈现上述关联信息取得部所取得的关联信息，

上述分析基础信息构建部根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个来改变上述分析基础信息。

并且，本发明的服务器的一种方式的特征在于，该服务器具有：

周边信息取得部，其获取从信息呈现终端通过通信线路发送来的、由摄像部获得的图像和/或与上述摄像部相关联的周边信息；

预先存储登记信息的存储部；以及

分析基础信息构建部，其根据上述周边信息取得部所取得的周边信息，由存储在上述存储部中的登记信息构建分析基础信息，

上述分析基础信息构建部根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个来改变上述分析基础信息，

通过将上述分析基础信息构建部所构建的上述分析基础信息下载到上述信息呈现终端，使上述信息呈现终端根据该分析基础信息和从上述摄像部获得的图像取得与上述图像相关联的信息，并呈现该信息。

即，在本发明的信息呈现系统、信息呈现终端和服务器中，作为周边信息使用时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个。这样一来，根据上述周边信息，由登记信息构建分析基础信息。并且，将上述分析基础信息附加给利用摄像部拍摄到的图像上，取得与上述图像相关联的信息并呈现该信息。

作为取得上述周边信息的周边信息取得部，例如有以下部分。例如在采用时刻作为上述周边信息时，作为上述周边信息取得部，有内置的钟表、或者通过通信线路获得预定场所的时刻信息的通信部。例如，在采用日期作为上述周边信息时，作为上述周边信息取得部，有内置的日历信息、或者通过通信线路获得预定场所的日期的通信部。例如，在采用天气、气温和湿度作为上述周边信息时，作为上述周边信息取得部，有内置的气温/湿度传感器和根据该传感器的输出判断天气的电子电路，或者通过通信线路获得预定场所的气温/湿度/天气信息的通信部。例如，在采用周围的亮度作为上述周边信息时，作为上述周边信息取得部，有内置的照度传感器、或对利用摄像部拍摄的图像进行分析以求出照度的分析电路。例如，在采用取得图像的平均颜色/颜色分布作为上述周边信息时，作为上述周边信息取得部，有对利用摄像部拍摄的图像信息进行分析的分析电路。例如，在采用周围的声音作为上述周边信息时，作为上述周边信息取得部有音量传感器。例如，在采用机种作为上述周边信息时，作为上述周边信息取得部，有记录机种信息的内置存储器。

并且，作为摄像部，例如有CCD和CMOS等摄像元件、以及使在上述摄像元件的受光面上成像的光学系统等。

作为存储部，例如有内置或可以通过通信线路存取的存储器元件和HDD(硬盘驱动器)等。

作为分析基础信息构建部，例如有内置的CPU和在该CPU上进行动作的分析基础信息构建程序等。

另外，作为呈现部有液晶和等离子体等的显示器装置等。并且，在通过发音来呈现必要信息时，有扬声器等。

附图说明

图1是本发明的第1实施例所涉及的信息呈现系统的方框结构图。

图2是示出分析基础信息构建部的动作流程图的图。

图3是本发明的第2实施例所涉及的信息呈现系统的方框结构图。

图4是示出信息呈现终端构成为携带式电话机时的信息呈现系统的结构图。

图5是示出使用多个服务器、并且信息呈现终端构成为携带式电话机时的信息呈现系统的结构的图。

图6是本发明的第3实施例所涉及的信息呈现系统的方框结构图。

图7是本发明的第4实施例所涉及的信息呈现系统的方框结构图。

图8是本发明的第5实施例所涉及的信息呈现系统的方框结构图。

图9是用于说明分析基础信息构建部与关联信息取得部和第二关联信息取得部之间的关系的图。

图10是示出本发明的第6实施例所涉及的检索系统的结构的图。

图11是示出对象图像的一例的图。

图12是示出对象图像的一例的图。

图13是示出对象图像的一例的图。

图14是示出对象图像的一例的图。

图15是示出对所输入的期望登记的对象图像、和已登记在TP数据管理DB中的图像进行比较并登记的处理的流程图。

图16是示出在进行分割登记时，对判断为与已登记在TP数据管理DB中的图像相似的部分进行强调显示的显示方法的一例的图。

图17是示出将已登记于TP数据管理DB的图像中的、与期望登记的图像相似的图像以一览表形式显示给用户的显示方法的一例的图。

图18是示出将已登记于TP数据管理DB的图像中的、与期望登记的图像相似的图像以一览表形式显示给用户的显示方法的一例的图。

图19是示出当TP数据管理DB内存在多个与期望登记的对象图像相似的图像时，将对象图像中的相似部分依次分离和删除，最后将非相似部分作为新登记部分保留的过程的图。

图20是示出将已经登记在TP数据管理DB中的图像分离并再次登记的过程的图。

图21A是示出当TP数据管理DB中存在具有与期望登记的对象图像的一部分相似的部分的图像时，合成相似部分使其重合的过程的图。

图21B是示出当TP数据管理DB中存在具有与期望登记的对象图像的一部分相似的部分的图像时，合成相似部分使其重合的过程的图。

图22是示出在TP数据管理DB中登记动态图像时利用匹配的例子的图。

图23是示出识别要素识别处理的流程图。

图24是说明第12实施例所涉及的对象物识别方法的图。

图25是说明第12实施例所涉及的对象物识别方法的图。

图26是说明第14实施例的匹配处理部和TP数据管理DB的系统结构的图。

图27是示出使用本发明的第15实施例所涉及的带照相机的携带式电话机的图像匹配处理流程的流程图。

图28是示出本发明的第15实施例的标志图像的显示形式的一例的图。

图29是示出本发明的第15实施例的标记图像的显示形式的一例的图。

具体实施方式

以下，参照附图说明用于实施本发明的最佳方式。

[第1实施例]

如图1所示，本发明的第1实施例所涉及的信息呈现系统10具有摄像部11、关联信息取得部12、呈现部13、周边信息取得部14、存储部15以及分析基础信息构建部16。上述摄像部11是照相机等的摄像部。上述关联信息取得部12取得与从上述摄像部11获得的标志图像或标识图像这样的预定图像相关联的信息。上述呈现部13呈现通过该关联信息取得部12取得的关联信息。上述周边信息取得部14取得与上述摄像部11相关联的周边信息。上述存储部15存储登记信息。上述分析基础信息构建部16根据通过上述周边信息取得部14取得的周边信息，由存储在上述存储部15中的登记信息构建分析基础信息。

在此，通过上述周边信息取得部14取得的周边信息包括时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个。上述分析基础信息构建部16根据上述周边信息来改变上述分析基础信息。即，如图2所示，上述分析基础信息构建部16从上述周边信息取得部14取得周边信息(步骤S1)。另外，上述分析基础信息构建部16根据该周边信息设定各种参数(步骤S2)。与该步骤S2同时，上述分析基础信息构建部16从上述存储部15选择性地读入登记信息(步骤S3)。然后，上述分析基础信息构建部16将上述设定的参数和读入的登记信息综合为分析基础信息(步骤S4)。另外，上述分析基础信息构建部16将在上述步骤S4中构建的分析基础信息提供给上述关联信息取得部12。上述关联信息取得部12根据从上述摄像部11获得的图像和由该分析基础信息构建部16提供的分析基础信息，取得与上述图像相关联的信息。

作为这种结构的信息呈现系统10的具体例，例如想到了如下例子。

在起动时，周边信息取得部14取得日期和时刻信息，分析基础信息构建部16从位于存储部15内的地址簿取得与该时刻对应的电话号码，并按照上述那样构建分析基础信息。在上述分析基础信息构建部16中，能够按照这样从预先准备的信息中选择最佳信息。并且，上述分析基础信息包括输出信息。即，上述分析基础信息构建部16根据上述周边信息来改变输出信息。在此，假设了如下的应用：例如，当通过摄像部11拍摄带脸部照片的相册时，识别该脸部，并显示电话号码。在该情况下，如果是平日的9:00～18:00，则取得办公室的电话号码作为分析基础信息。但是，如果是休息日或平日的18:00以后，则取得自家的电话号码作为分析基础信息。另外，如果是22:00以后，同样取得自家的电话号码，但可以追加“仅限紧急时”的信息作为分析基础信息。

并且，在起动时，周边信息取得部14取得位置信息，上述分析基础信息构建部16也可以由存储部15的登记信息(招牌)中的、处于用上述位置信息表示的位置四周1km内的登记信息(招牌)，来构建分析基础信息。在该情况下，周边信息取得部14在具有GPS、通信装置时，可以根据基站之间的电波强度、拍摄对象的标志或嵌入二维码中的位置信息、例如经纬度或住所等来决定位置信息。当形成为这样的结构时，即使是存在于多个地域的招牌，也能够呈现与该场所对应的信息。例如能提供如下的应用：在利用摄像部11拍摄A公司的标识记号时，显示出最近的修理受理窗口。并且能提供如下的应用：在利用摄像部11拍摄B便利店的招牌时，以位置信息为基础取得当前的天气或天气预报信息，例如呈现“现在伞是XXX日元，还有库存”这样的该便利店的促销信息。这样，采用该第1实施例所涉及的信息呈现系统10，能够呈现导航和促销这样的各种信息。

或者，在起动时，周边信息取得部14取得周围的亮度或者从摄像部11取得的图像的亮度，分析基础信息构建部16也能够以该取得的亮度信息为基础，进行调整用于图像处理的阈值、或者调整对比度滤波器的参数等这样的处理。由此，即使利用摄像部11取得的图像是微暗的图像，也能够识别出识别对象的标志或脸部照片、标识符号等。例如，当在照明较暗的房间拍摄时，以图像的亮度为基础，将二值化的阈值减小10％。通过该调整，即使标识或照片周围稍暗，也能够稳定地进行这些的提取。另外，通过同样地对作为分析基础信息而提供的模板与该提取出的作为识别对象的标识或照片之间进行匹配处理，能够稳定地进行识别。

并且，在起动时，周边信息取得部14取得周围的亮度或者从摄像部11取得的图像的亮度，在较暗时，分析基础信息构建部16由以被施加了照明的招牌或发光的招牌作为对象的登记信息，构建分析基础信息。由此，即使是在较暗时观看方式变化的招牌，也能够进行识别。另外，因为能够将画面内的组成颜色调整为与周围的亮度对应的配色，所以能够清晰地呈现信息。

[第2实施例]

如图3所示，本发明的第2实施例所涉及的信息呈现系统被分割为信息呈现终端10A和服务器10B。并且，使信息呈现终端10A和服务器10B通过通信线路连接。在该情况下，上述信息呈现终端10A包括上述摄像部11、上述关联信息取得部12和上述呈现部13。上述服务器10B包括上述周边信息取得部14、上述存储部15和上述分析基础信息构建部16。

另外，在信息呈现终端10A构成为携带式电话机时，该第2实施例所涉及的信息呈现系统成为例如图4所示的结构。在此，服务器10B的周边信息取得部14不仅取得信息呈现终端10A具有的传感器或GPS的信息作为周边信息，也取得基站21提供的位置信息和环境信息等作为周边信息。

或者，在信息呈现终端10A构成为PDA等具有因特网连接功能的便携式信息设备时，通信线路20包括因特网。在该情况下，信息呈现终端10A和服务器10B不限定存在于同一国家内。因此，服务器10B的周边信息取得部14也可以从信息呈现终端10A具有的钟表适当取得日期时间信息作为周边信息。

在这样的结构中，在信息呈现终端10A起动时、或者从服务器10B下载分析基础信息时，利用服务器10B中的分析基础信息构建部16构建最佳的分析基础信息。

例如，根据作为信息呈现终端10A的携带式电话机的机种，在服务器10B中调整二值化(图像处理)的阈值，构建分析基础信息。另外，根据作为信息呈现终端10A的携带式电话机的机种，设定图像处理滤波器，构建分析基础信息。即，携带式电话机存在多个机种，每个机种的摄像部11的光学性能不同。因此，如果不设定合适的图像处理参数，将难以进行稳定的图像识别处理。例如，携带式电话机根据机种，其图像变模糊，所以设定较高二值化的阈值比较有效。并且，如果是图像模糊的携带式电话机机种，作为图像处理滤波器而设定边缘强调滤波器有利于稳定的图像识别。

或者，也可以根据携带式电话机的机种调整模板尺寸。并且，还可以根据组合到分析基础信息中的登记信息的数量和/或彼此的相似度，调整模板尺寸。例如，在作为分析基础信息而综合的登记信息彼此的相似度为预先设定的值以上时，将用于进行模板匹配的模板尺寸的横纵尺寸设为2倍，使该值包含在分析基础信息中。这样一来，即使是容易错误识别的环境，也能够实现更高精度的匹配处理。并且，在登记信息彼此的相似度较低时，根据登记数量减小模板尺寸。即，在登记数量较多时，为了缩短匹配处理所需要的时间，尝试在不会错误识别的范围(彼此的相似度不会达到设定值以上的范围)内减小模板尺寸。并且，在登记信息彼此的相似度较低时，也可以降低模板的数据灰阶。例如，通常为256灰阶的灰度，但可以将其降低为16灰阶。并且，在登记信息彼此的相似度较低时，为了避免错误识别，也可以设定较高的匹配阈值。

另外，包括上述周边信息取得部14、上述存储部15和上述分析基础信息构建部16的上述服务器10B不限于一个，也可以准备多个。在信息呈现终端10A作为携带式电话机时，该第2实施例所涉及的信息呈现系统成为例如图5所示的结构。即，如图5所示，形成为多个服务器10B-1、10B-2、10B-3…与通信线路20连接的结构的信息呈现系统。另外，该通信线路20由基站21和网络22构成。并且，上述服务器10B-1～10B-3…与上述网络22连接。在这样的情况下，上述信息呈现终端10A的关联信息取得部12也可以从这些多个服务器10B-1、10B-2、10B-3…取得分析基础信息。并且，一个服务器10B(例如服务器10B-1)的分析基础信息构建部16也可以从该服务器10B(例如服务器10B-1)以外的至少一个服务器10B(例如服务器10B-2、10B-3…)取得信息，并组合这些信息，然后构建发送给上述信息呈现终端10A的分析基础信息。

[第3实施例]

本发明的第3实施例所涉及的信息呈现系统与上述第2实施例相同，被分割为信息呈现终端10A和服务器10B。并且，使上述信息呈现终端10A和上述服务器10B通过通信线路连接。但是，在本实施例中，如图6所示，信息呈现终端10A包括上述摄像部11、上述关联信息取得部12、上述呈现部13、上述周边信息取得部14以及上述分析基础信息构建部16。上述服务器10B构成为仅包括上述存储部15。

采用这样的结构，在信息呈现终端10A中，将从服务器10B取得的登记信息构建为分析基础信息，所以只要下载一次登记信息，就能够与信息呈现终端10A的周边信息确实对应。

[第4实施例]

本发明的第4实施例所涉及的信息呈现系统也与上述第2和第3实施例相同，被分割为信息呈现终端10A和服务器10B。并且，使上述信息呈现终端10A和上述服务器10B通过通信线路连接。但是，在该实施例中，如图7所示，信息呈现终端10A仅具有上述摄像部11和上述呈现部13。上述服务器10B具有其他的上述关联信息取得部12、上述周边信息取得部14、上述存储部15以及上述分析基础信息构建部16。但是，如图7所示，服务器10B的周边信息取得部14通过通信线路，从信息呈现终端10A具有的传感器等取得GPS信息或时间信息、以及用于取得亮度等信息的来自摄像部11的图像等周边信息(也包括从基站21发送来的周边信息)。

采用这样的结构，用户不需要预先向信息呈现终端10A下载分析基础信息。并且，服务器10B可以根据与拍摄的图像一起发送来的、与该信息呈现终端10A的周边信息对应的最佳分析基础信息进行处理。

[第5实施例]

如图8所示，本发明的第5实施例所涉及的信息呈现系统是在上述第2实施例的结构中，服务器10B还设置具有与上述关联信息取得部12等同的功能的第二关联信息取得部17。在此，上述第二关联信息取得部17根据比上述关联信息取得部12取得的分析基础信息多的分析基础信息取得关联信息。

即，在本实施例中，如图8所示，服务器10B的周边信息取得部14通过通信线路，从信息呈现终端10A具有的传感器等取得GPS信息或时间信息、以及用于取得亮度等信息的来自摄像部11的图像等周边信息(也包括从基站21发送来的周边信息)。并且，如图9所示，分析基础信息构建部16根据周边信息取得部14所取得的周边信息，构建优先度高的分析基础信息、以及与该分析基础信息相比优先度低的第二分析基础信息。并且，上述分析基础信息通过通信线路被下载到信息呈现系统10A的关联信息取得部12。并且，上述第二分析基础信息被提供给第二关联信息取得部17。

通过形成为这样的结构，即使在上述信息呈现系统10A的关联信息取得部12不能取得关联信息的情况下，上述呈现部13也可以呈现上述第二关联信息取得部17的结果。

例如，在考虑携带式电话机作为信息呈现系统10A时，携带式电话机的存储容量因机种而不同。并且，根据用户的使用方法，能利用的存储容量不同。另外，处理速度因机种而不同。因此，优选方式为，通过对每个机种变更要下载的分析基础信息的容量，使得不对携带式电话机中的处理施加所需以上的负担。因此，在本实施例中，未下载的分析基础信息保存在服务器10B中。并且，服务器10B的第二关联信息取得部17将从携带式电话机发送的图像或者图像的一部分作为对象，根据该未下载的分析基础信息即第二分析基础信息进行关联信息的取得处理。当在携带式电话机上能够取得关联信息时，将该信息显示在呈现部13上。另一方面，当在携带式电话机上不能取得关联信息，但能够在服务器10B上取得时，在携带式电话机的呈现部13上呈现在服务器10B上取得的信息。或者，虽然在携带式电话机上也进行处理，但在服务器10B上能够更快地取得信息的情况下，也在携带式电话机的呈现部13上呈现在服务器10B上取得的信息。

例如，根据携带式电话机的位置信息，取得周围500m的模板集作为分析基础信息，并下载到携带式电话机中。用户能够一边通过该模板集取得周边店铺的信息一边在街上散步。当用户离开最初取得模板集的位置50m以上时，将不能利用携带式电话机中取得的模板获得对应的信息。但是，在本实施例中，将通过携带式电话机取得的图像也发送给服务器10B的第二关联信息取得部17。在服务器10B中，在用户最初下载周围500m的模板集时，同时将周围4km的模板集转发给第二关联信息取得部17。因此，即使用户不能从携带式电话机内取得信息，也能够利用服务器上的该第二关联信息取得部17从周围4km的模板集取得信息。当在服务器10B上能够取得信息而在携带式电话机上不能取得信息时，显示在服务器10B上取得的信息。因此，用户能够利用超过携带式电话机容量的区域的模板数据。并且，此时也可以向携带式电话机发送基于当前位置的周围500m的模板集。这样，在距该位置500m以内，可以再次仅利用携带式电话机取得信息，所以能够实现轻松的操作感。

如以上实施例说明的那样，根据环境和使用机种等各种信息，切换成为系统的识别对象的模板数据、或与该模板数据相关联的信息、以及识别处理上的各种参数等利用信息，由此可以根据使用环境呈现与状况对应的最佳信息。

以上根据实施例说明了本发明，但本发明不限于上述实施例，当然可以在本发明的宗旨范围内进行各种变形和应用。

例如，在上述第5实施例中，服务器10B具有第二关联信息取得部17，分析基础信息构建部16构建分析基础信息和第二分析基础信息。但是，不限于这样的结构，还可以构成为使服务器10B具有第三关联信息取得部、第四关联信息取得部、…这样的多个关联信息取得部，分析基础信息构建部16还可以构建第三分析基础信息、第四分析基础信息、…。

[第6实施例]

如图10所示，本发明的第6实施例所涉及的检索系统由带照相机的携带式电话机或带照相机的PDA等带照相机的便携式终端23、和检索单元构成。上述带照相机的便携式终端23包括输入图像的图像输入部(照相机)11、和输出检索结果的图像的显示器26。上述检索单元根据通过上述图像输入部24输入的图像，使用分层管理的模板，从数据库中检索图像。另外，在此上述检索单元可以通过带照相机的便携式终端23的便携式应用软件25和匹配处理部29来实现，该匹配处理部29构成在能与上述带照相机的便携式终端23通信的服务器27中。

上述服务器27还具有登记有多个模板并对它们进行分层管理的模板(TP)数据管理数据库(DB)28。在该TP数据管理数据库DB 28中登记的模板是在台式印刷系统(DTP)30中由TP制作部50根据按照图10所示那样配置在纸面40上的对象图像41制作的。

即，在该第6实施例所涉及的检索系统中，预先通过DTP 30在纸面40上印刷对象图像41，并且通过TP制作部50制作该对象图像41的模板。并且，将该制作完的模板登记在服务器27的TP数据管理DB 28中。另外，当要登记的对象图像41有多个时，则重复这样的模板的制作和登记。

并且，当期望检索的用户使用带照相机的便携式终端23的图像输入部24从纸面40获取对象图像41后，便携式应用软件25从该输入图像中进行图像的特征提取。并且，便携式应用软件25将所提取的特征数据发送给服务器27的匹配处理部29。然后，该匹配处理部29与登记在TP数据管理DB 28中的模板进行匹配。在该情况下，在使用了上位层次的模板的模板匹配之后，进行使用了下位层次的模板的模板匹配，并圈定检索图像。然后，如果取得了匹配结果，则匹配处理部29将该匹配结果信息发送给带照相机的便携式终端23的便携式应用软件25。便携式应用软件25使显示器26显示上述结果信息。

另外，作为对象图像，按照图10所示的上述对象图像41那样，在使用登记区域即作为识别对象的区域明确的对象图像时，具有以下优点。即，在向上述TP数据管理DB 28登记上述对象图像41时，进行期望登记的对象图像与已经完成向上述TP数据管理DB 28中登记的图像之间的相似度评价，例如，如果在匹配中得到两图像之间的相似度(表示相似程度的数值)为75％以上的评价结果，则不进行该对象图像41向上述TB数据管理DB 22中的登记，由此能防止在上述TP数据管理DB 28中再次登记与已完成登记的图像相似的对象图像。由此，能够稳定地避免上述匹配中的错误识别。另外，在此为了方便，将是否执行登记处理的判断的阈值设为75％，但是上述阈值当然不限于75％。在此，关于匹配中的相似度判断的阈值，优选在该匹配的使用环境中不产生错误识别的数值范围内设定为尽量高的值。另外，上述阈值不仅静态地设定为系统的一个要素，当然也可以根据该匹配的条件(例如拍摄时的照相机的倾斜、照明的稳定性、照相机的拍摄像素数、匹配中使用的信息的种类、匹配的方法等)动态地设定。

并且，在向上述TP数据管理DB 28中登记上述对象图像41时，当然也可以对上述对象图像41进行适当变形(例如附加噪声等)后再登记。通过施加这样的适当变形，上述对象图像41接近于实际用照相机拍摄所取得的状态。这在评价上述相似度时有效地发挥作用。即，不仅对施加上述适当变形之前的图像，对施加上述适当变形之后的图像也实施上述相似度的评价，由此上述相似度评价的准确性提高。

另外，作为上述适当变形，例如可以列举旋转、三维仿射转换、放大、缩小、颜色信息的劣化、白噪声的施加、基于各种照明条件的拍摄模拟等各种图像处理操作。

另外，作为在上述TP数据管理DB 28中存在与期望登记的图像相似的图像时的处理，不限于如上所述那样拒绝登记的处理。即，例如，当然可以向用户通知在上述TP数据管理DB 28中存在与期望登记的图像相似的图像，使用户自己进行是否登记的选择。另外，这种处理是对相互相似的图像施加相同信息时的有效处理之一。

并且，根据各种状况将上述的拒绝登记的处理和由用户登记的选择处理选择性地提示给用户，这在实际的系统中也是有效的。即，例如在上述TP数据管理DB 28中存在具有登记权限的多个客户。此时，一般情况下，用户不能看到与自己以外的客户的相关联信息。在这样的系统中，考虑了如下情况：例如假设客户A想要将图像C登记到上述TP数据管理DB中时，该图像C与客户B已经在上述TP数据管理DB 28中登记的图像相似。在这样的情况下，上述匹配处理部29以在上述TP数据管理DB 28中发现了相似图像为理由而拒绝对上述图像C登记是合理的。并且，还考虑了如下情况：例如假设客户B想再次向上述TP数据管理DB 28登记图像C。在这样的情况下，上述匹配处理部29显示客户B已经登记的图像C的信息，并进行委托用户判断“与该图像相似，登记吗？”这样的登记与否的处理是合理的。这样，根据状况进行最合理的处理，该系统的用户能避免错误识别的风险，这在实际服务中是很重要的。

另外，在这样的匹配系统中，作为上述对象图像41所使用的图像，不限于图10所示的上述对象图像41那样的用明确的四方框划分区域的图像。作为上述对象图像41，当然也可以是例如图11～图14所示结构的对象图像41。即，作为对象图像能利用：具有由圆和曲线等构成的任意形状的外框的对象图像41A(参照图11和图12)、不包括外框自身的对象图像41B和41C(分别参照图13和图14)、在特定的图案设计附近配置特定的象征标志等的对象图像41C(参照图14)等各种图像。

在此，作为对象图像，在使用未利用明确的外框对成为识别或登记对象的区域加以限制的对象图像41B和41C那样的图像时，进行以下匹配。首先，从输入图像中提取多个特征点。然后，将这些特征点组与预先按各对象物登记在上述TP数据管理DB 28中的特征点组进行比较对照。通过该比较对照，进行是否为同一对象图像的匹配。

另外，在实际匹配时，根据上述特征点之间的特征量的差异，在表示相似程度的值是超过预先设定的阈值的值时，上述匹配处理部29判断为该特征点之间是相似特征点。例如，对于登记在上述TP数据管理DB 28中的对象物中预定数量的特征点被判断为与上述输入图像的对象物的特征点相似的对象物，通过上述匹配处理部29判断为其与输入图像的对象物相同。

在此，上述特征点是指在某个图像中与其他像素的特征量的差异为一定水平以上的点。例如，作为上述差异，可以列举明暗对比度、颜色、周围的像素分布、微分成分值、或特征点之间的配置等差异。另外，在使用基于这样的特征点组的比较对照的匹配时，预先按各对象物提取上述特征点，并按各对象物登记在上述TP数据管理DB 28中。

如上所述，在基于特征点进行匹配时，在从已经登记在上述TP数据管理DB 28中的图像组中发现了与输入图像相似的图像时，除“拒绝登记”或“知道相似后再登记”的选择项外，也考虑了“将期望登记的对象图像和/或已登记的图像分开登记”的选择项。如果采用该“将期望登记的对象图像和/或已登记的图像分割登记”的选择项，则能够构建将不能登记的图像数量抑制为最小、并可避免错误识别的数据库。

在考虑了上述“将期望登记的对象图像和/或已登记的图像分开登记”的选择项的情况下，例如，上述TP制作部50按照图15所示的流程图，对所输入的期望登记的对象图像与已登记在TP数据管理DB 28中的比较图像进行匹配。另外，为了便于说明，图15所示的流程图示出仅“将期望登记的对象图像和/或已登记的图像分开登记”的情况下的上述TP制作部50的动作控制。

首先，比较用户输入的作为期望登记的图像的输入图像和已登记在上述TP数据管理DB 28中的图像(以后称为登记图像)(步骤S10)。接着，判断上述输入图像和上述登记图像是否为相似图像(步骤S11)。在该步骤S11分支为“否”时，将上述输入图像登记在上述TP数据管理DB 28中(步骤S12)。另外，在该步骤S12中，例如图16所示，当然也可以委托用户选择是否将该输入图像登记在上述TP数据管理DB 28中。在该情况下，仅在用户进行了将输入图像登记在上述TP数据管理DB 28中的选择时才登记。

但是，在上述步骤S11分支为“是”时，判定上述输入图像中与上述登记图像相似的部分，分离和删除该相似的部分(步骤S13)。换言之，该步骤S13是制作将上述输入图像中与上述登记图像相似的部分删除的图像的步骤。

并且，在上述步骤S13的处理结束后，返回上述步骤S10。这样，通过反复进行上述步骤S10、上述步骤S11和上述步骤S13的一系列处理，根据上述输入图像制作将与上述登记图像相似的部分完全分离和删除了的图像。

另外，在将通过分割和删除而制作的图像提示给用户时，考虑了图16所示的提示方法。即，该提示方法是提示输入图像、和判断与该输入图像相似的登记图像这两个图像，而且明确展示在两个图像的相似判断中所使用的部分。这样地进行图示在提高登记效率上是有效的。并且，例如图17和图18所示，当然也可以通过以一览表形式显示判断为与输入图像相似的登记图像，来向用户提示。

即，如图17和图18所示，将显示画面划分为输入图像显示区域251、一览表显示区域253和选择图像显示区域255三个。当在上述一览表显示区域253中按照斜线所示的那样选择登记图像时，在上述选择图像显示区域255中显示该选择图像。并且，对在上述输入图像显示区域251中显示的输入图像进行与登记图像的识别显示(图17和图18中的斜线部分)。

但是，当在上述TP数据管理DB 28内存在多个与期望登记的输入图像相似的登记图像时，例如图19所示，依次分离和删除该相似的部分，将最后剩下的部分作为新登记的输入图像。

以上说明了分离和删除期望登记的输入图像的处理。但是，未必需要仅将上述输入图像分离和删除。即，当然也可以进行分离和删除上述登记图像的处理。另外，例如图20所示，还可以将两者分离，并按照下面那样登记各个图像。首先，因为输入图像300A中包含的“ABCDEFGH”标识与登记图像301A中包含的“ABC”标识相似，所以分离和删除输入图像300A中的“ABC”，形成输入图像300B。然后，输入图像300B中的“DEFGH”标识与登记图像301B中包含的“GHIJ”相似，所以将登记图像301B分离为仅由“GH”构成的图像301B1和仅由“IJ”构成的图像301B2。并且，将上述仅由“GH”构成的图像301B1和上述仅由“IJ”构成的图像301B2这两个图像再次登记在上述TP数据管理DB 28中。并且，上述输入图像300B在经过上述分离后，作为图像300C登记在上述TP数据管理DB 28中。

如上所述，采用将图像分离登记的方法，可实现例如在以下所示的实际服务中非常有益的实施例。

例如，在同一生产商的商品或同一品牌的商品中，一般在该商品的包装上印刷有该生产商的商品或该品牌的商品特有的品牌标识、和该商品独有的商品名称或图标等(以下将商品名称或图标等统称为商品名称)。在这样的情况下，采用本实施例，将上述品牌标识和上述商品名称分离，并登记在上述TP数据管理DB 28中。由此，产生以下效果。

例如，在记载有品牌标识和A这一商品名称的图像已经作为“商品A”登记到上述TP数据管理DB 28中的情况下，记载有与该品牌标识相同的品牌标识和上述A以外的商品名称的图像作为与上述“商品A”相似的图像，不被拒绝登记。即，采用该实施例，将作为登记图像的“商品A”分离为上述品牌标识和上述商品名称A。然后，分别独立地再次登记上述品牌标识和上述商品名称A。具体地讲，将记载有上述品牌标识的图像登记为“品牌标识”，将记载有商品名称A的图像登记为“商品A的名称”。

另外，在该第6实施例中，引入了“组合信息”这一概念。该组合信息是以下信息。例如考虑了将“品牌标识”和“商品A的名称”的组合登记为“商品A”的情况。在该情况下，表示“品牌标识”和“商品A的名称”的组合是“商品A”的信息为“组合信息”。另外，在该情况下可以说，在将表示“品牌标识”的图像和表示“商品A的名称”的图像登记在上述TP数据管理DB 28中时，同时将组合信息登记在上述TP数据管理DB 28中。

另外，在将期望登记的输入图像和/或登记图像分离时，未必需要一定登记通过该分离而产生的图像。例如，在拍摄有二手车或商品的照片中，各自的照片多具有彼此相似的背景。在此，例如考虑了车辆A以带背景的图像被登记在上述TP数据管理DB 28中的情况。在该情况下，在想要将具有与拍摄了上述车辆A的照片相似的背景的、拍摄了车辆B的照片登记在上述TP数据管理DB 28中时，采用该第6实施例，能够分离提取该背景。在这样的情况下，当然可以在用户认为没必要登记时，将该背景部分从要登记的对象中去除。这样一来，用户即信息提供者能够仅将想要匹配的部分有效地登记在上述TP数据管理DB 28中。因此，能够避免产生由输入图像和登记图像的该背景部分的相似性引起的错误识别。

另外，关于“图像表达的信息”，当然也可以对应上述分离后的图像的组合进行管理。在此，作为图像表达的信息，例如可以列举图像对应的URL、应用内部的资源ID、音乐信息、地图上的位置信息等。例如，在图20所示的例子中，包括“GHIJ”的图像301B按照上述那样被分离为包括“GH”的图像301B1和包括“IJ”的图像301B2后进行登记，但是关于图像表达的信息，当然也可以赋予给包括“GH”的图像301B1和包括“IJ”的图像301B2的集合。同样，在图20所示的例子中，当然可以对包括“ABC”、“GH”和“DEF”的整体的图像300A赋予图像表达的信息。

即，将图像表达的信息作为包括预定标识的图像的逻辑“或”进行管理，仅对符合预定逻辑条件的图像赋予图像表达的信息。由此，例如在输入图像的分离结果是该输入图像中不存在与登记图像不相似的部分的情况下，也可以作为预定的登记图像的集合赋予图像表达的信息之后，登记在上述TP数据管理DB 28中。

另外，不限于逻辑“或”，当然也可以使用更加复杂的逻辑式。例如，在图20所示的输入图像300中，假设“GH”为必需要素(用于对某个图像赋予图像表达的信息的逻辑“或”中的要素)。于是，作为管理必需要素的逻辑式，可以表述为“GH”AND(“ABC”OR“DEF”)。这样，能够以分离的图像为单位，利用任意逻辑式进行图像表达的信息的管理。

例如，通过将必需要素作为指示拍摄对象即对象图像的象征来利用，能够将该图像是对象图像明确展示给用户，而且可以实现稳定的匹配。另外，当然可以对必须要素的周边区域的特征点的重要度进行加权，使其成为高于其他特征点的重要度，并在匹配处理中追加该加权来判断相似度。由此，可以实现更加稳定且有效的匹配处理。

另外，作为逻辑式，当然可以使用“非”(NOT)的逻辑式。例如，在标识A是登记图像的情况下，重新登记标识B的人利用“非”的关系来表述作为登记图像的标识A与自己登记的标识B，由此可以在匹配时不同时识别标识A和标识B。这样，采用非的逻辑式，在标识A和标识B被彼此属于互相竞争关系的公司等使用的情况下等非常有效。另外，当然也可以预先在系统中登记这样的竞争关系信息，在登记标识时，根据上述竞争关系信息，系统自动地利用“非”的关系来表述并登记预定标识和处于竞争关系的公司等所使用的标识。在此，所谓上述竞争关系信息是在某个领域中处于竞争关系的公司等所使用的各种图案设计的数据库。

另外，在按照这样使用逻辑“或”的情况下，如图20所示的例子中的输入标识300A中的“DEF”那样，在输入图像中包含登记图像中没有的部分时，匹配时的判断变得容易。

以上所述的基于各种逻辑式的图像之间的关系，当然可以在图像的分离过程中表述并构建。另外，匹配在该第6实施例中构成为上述服务器20与便携式终端23上的应用25协作进行，但是当然也可以在该应用25中包含所谓的电子邮件。即，当然可以通过用户附加输入图像并用电子邮件发送给服务器来进行匹配。在该情况下，匹配的处理结果用电子邮件发送给用户。

另外，在发现了与期望登记的输入图像相似的登记图像时可以采用的处理不限于上述的分离输入图像和/或登记图像的处理。即，也考虑了以下处理。

例如图21A所示，在判断为输入图像与登记图像相似的情况下，也考虑了通过使该相似部分重合而将输入图像与登记图像合成的处理。另外，如图21B所示，也考虑了将包括“B”的一部分和“C”的一部分的图像402作为输入图像进行匹配的情况。在此，在该匹配之前，若包括“A”和“B”的输入图像400、与含有包括“A”和“C”的输入图像的登记图像401被实施合成处理，而且这些合成图像被登记在上述TP数据管理DB 28中，能够更加正确地进行该匹配。即，由此，可以向用户回复准确度高的匹配结果。

另外，在将输入图像和/或登记图像分离时，对通过该分离而产生的各个图像要素赋予分类要素或个别要素等意义，由此能够将该系统作为进行分层次的图像识别的系统加以运用。并且，对于保存了有关分离的各种信息的上述TP数据管理DB 28，在以通过各个分离而产生的图像要素作为单位的、基于上述的逻辑式进行匹配时的判断中可有效使用。

[第7实施例]

以下，对假设由TP制作部制作的模板为动态图像时的实施例进行说明，该TP制作部制作在匹配处理中使用的模板图像。

动态图像由例如30张/秒的连续静态图像构成。因此，当在记录由上述TP制作部制作成的模板的单元即TP数据管理DB中作为TP而登记动态图像时，该动态图像被作为静态图像连续形成的图像来处理。但是，不需要登记构成动态图像的静态图像中的全部帧的静态图像。即，在暂时将某帧的静态图像登记在上述TP数据管理DB中后，其后面帧的静态图像可以仅在符合以下所示的一定基准时，将该帧的静态图像再次追加登记在上述TP数据管理DB中。

第1，作为上述一定基准，考虑了使用上述相似度。在该情况下，对暂时登记在上述TP数据管理DB中的帧的静态图像与其后面帧的静态图像的相似度进行评价，仅在该相似度为预定值以下时，再将该帧的静态图像追加登记在上述TP数据管理DB中即可。并且，作为上述相似度的上述预定值，例如可以设定为相似度为75％以下。

第2，作为上述一定基准，考虑了使用上述特征点的数量。即为如下方法：当在已登记的静态图像中发现的特征点的数量，在该已登记的静态图像后面的静态图像中减少到某个阈值以下时，再追加登记。

第3，作为上述一定基准，考虑了使用上述特征点的移动距离。即，使在已登记的静态图像中发现的特征点在其后面的静态图像中继续跟踪，当该特征点的移动距离达到阈值以上时，再追加登记。

本申请的发明人可以确认如下情况：采用以上的方法，即使是由120张静态图像构成的动态图像，但实际上仅登记6个即可稳定地匹配该动态图像中的任意位置的一个场景。

另外，作为动态图像登记的静态图像不仅独立地处理各个静态图像，也可以包含该动态图像中的各个静态图像的顺序信息，并登记在上述TP数据管理DB中。这样，通过在匹配中也利用上述顺序信息，可以实现更加稳定的匹配，能够避免错误识别。

以下，参照图22所示的对象物识别系统的一个结构例进行具体说明。在带照相机的便携式终端23和服务器中的TP数据管理DB 28例如通过可视电话的线路连接时，从上述带照相机的便携式终端23的图像输入部(未图示)向服务器中的上述TP数据管理DB 28连续发送静态图像。在服务器中的匹配处理部(未图示)在上述连续发送的静态图像中识别到静态图像B的阶段，还不能确定与该动态图像对应的登记动态图像(登记在TP数据管理DB 28中的动态图像)，但由于之后识别的图像是E、G，所以能够确定是动态图像400。

另外，作为识别动态图像的结构，不限于可视电话那样连续发送图像的方式，例如，也可以利用带照相机的便携式终端23拍摄动态图像，并将其从应用程序发送给服务器27。上述应用程序当然可以是所谓的电子邮件。在该情况下，用户向特定的邮件地址发送附加了动态图像的邮件，由此进行匹配所需要的数据的发送。并且，该匹配的处理结果通过邮件发送给用户。另外，在上述第6实施例中说明的分离登记图像的方法，当然也可以适用于动态图像的情况。

[第8实施例]

但是，在利用了特征点的图像识别例如匹配处理中，从图像中提取的特征点的数量越多，越容易识别图像。但是，特征点的数量越多，匹配处理越需要时间。因此，仅提取对匹配处理有效的特征点并仅登记该特征点，可实现有效的匹配处理。

一般情况下，通过对期望登记的输入图像实施各种图像处理，可以提取特征点。作为该图像处理，可以列举对图像施加模糊效果的处理、施加变更图像尺寸的处理等处理。在这样提取出的特征点的特征量中，在局部上的确与其他像素存在差异。但是，不能防止在同一图像内存在多个具有相似特征量的点。

在此，考虑了在图像Z内存在多个具有相似特征量的点的情况。在该情况下，在图像Z和拍摄了图像Z的图像的匹配中，判断为从图像Z提取的特征点与图像Z内的多个点相似。因此，难以实现稳定的匹配。这样，同一图像内包含的相似特征点妨碍稳定匹配，而且使匹配的处理速度变慢。

并且，对于这种同一图像内包含的彼此相似的多个特征点，除其特征量完全相同的情况以外，不容易将它们排除。这是因为很难在同一图像内根据匹配的有效性来设定用于判断为相似的阈值。

鉴于上述情况，在该第8实施例中，在登记时对对象图像实施摄像的模拟，在与对象图像自身的匹配中评价各个特征点的有效性。由此，选择要登记的特征点，有效地实现基于最少数量特征点的稳定匹配。

上述摄像的模拟包括：施加包括旋转和放大缩小的二维和/或三维仿射转换、摄像时的噪声和/或模糊的处理；施加摄像尺寸的图像压缩的噪声的处理；体现照明环境的水平的操作处理；对比度的操作处理；伽码曲线的操作等处理；颜色信息的劣化操作处理；以及颜色覆盖操作的处理等可利用普通图像处理程序实现的各种处理。

制作在匹配处理中使用的模板的TP制作部50例如由特征点提取部、模拟图像组制作部、匹配处理部和特征点评价部构成。这些各部分的具体功能如下所述。

在上述特征点提取部中，从期望登记的对象图像中提取特征点。

上述模拟图像组制作部对上述对象图像实施上述模拟，制作至少一个模拟图像。另外，上述模拟图像组制作部提取这些模拟图像组的特征点。

上述匹配处理部对由上述特征点提取部提取出的特征点和由上述模拟图像组制作部提取出的特征点进行比较。在此，在特征点的比较中，也可以将通过上述特征点提取部提取出的特征点作为登记在上述TP数据管理DB 28中的特征点加以处理，利用从各个模拟图像中提取出的特征点进行匹配。并且，当然也可以将通过上述模拟图像组制作部提取出的特征点作为已登记在上述TP数据管理DB 28中的特征点加以处理，用通过上述特征点提取部提取出的特征点进行匹配。

在上述特征点评价部中，参照上述匹配处理部的匹配处理结果，使对实际匹配有用的量与通过上述特征点提取部提取出的特征点关联起来。然后，将上述有用的量作为该特征点的品质加以处理，对特征点排列顺序。另外，仅选择具有某个阈值以上的品质的特征点和/或上位的一定数量的特征点，将该特征点作为期望登记的对象图像的特征点。

如上所述，通过选择登记对象的特征点，可以优先登记对实际的匹配处理有效的点。因此，能够缩短匹配的处理时间，而且能获得高精度的结果。

[第9实施例]

在该第9实施例中，从输入图像中提取多个特征点，将由这些特征点构成的特征点组与预先登记的每个对象物的特征点组比较对照，由此进行同一对象物的识别。

在此所说的图像中的特征点指与其他像素的差异在一定水平以上的点，作为其特征量，例如可以列举明暗对比度、颜色、周围的像素分布、微分成分值、以及特征点之间的配置等。在该第9实施例中，在提取上述特征点后，按每个对象物预先进行登记。并且，在实际识别时，在输入图像中搜寻，提取特征点，并与预先登记的数据进行比较。

以下，参照图23说明该第9实施例中匹配处理部的识别处理的动作控制流程。首先，从记录有特征点组的特征点数据存储部中读出预先登记的对象物Z的识别要素的特征点数据(步骤S21)。接着，将上述特征点数据输入到对特征点数据进行比较的特征点比较部(步骤S22)。然后，通过上述特征点比较部进行上述特征点数据与所输入的对象物的特征点数据的比较对照(步骤S23)。

然后，在判断对象物彼此的相同性的相同性判断部中，进行上述对象物Z与所输入的对象物的识别(步骤S24)。然后，判断一致的特征点的个数是否在预定值(在此为X个)以上(步骤S25)。在该步骤S25分支为“否”时，返回上述步骤S23。另一方面，在该步骤S25分支为“是”时，判定当前比较的对象物Z的识别要素是否与所输入的对象物相同(步骤S27)。

然后，判断是否已结束对全部识别要素的比较(步骤S28)。在该步骤S28分支为“否”时，将后面的识别要素的特征点组中的特征点数据作为比较数据输入到上述特征点比较部(步骤S26)，返回上述步骤S23。但是在上述步骤S28分支为“是”时，对一致的特征点的个数是否在预定值(在此为Y个)以上进行判断(步骤S29)。这里，在该步骤S29分支为“是”时，判定为所输入的对象物与对象物Z一致，将该信息显示在显示部等上以通知用户(步骤S30)。另一方面，在上述步骤S29分支为“否”时，判定为所输入的对象物与对象物Z不一致(步骤S31)。

另外，在实际进行识别时，当表示相似程度的数值(特征点之间的各个成分的差异)超过预先设定的阈值时，判定为该特征点是相似特征点。并且，还判定为多个特征点一致的对象物与输入图像的对象物相同。此时，对输入图像中的特征点组和预先登记的特征点组进行以下比较。

第1，预先在对象物中分离出多个要素并登记。由此，在进行对象物之间的比较对照时，利用若不识别多个要素(例如3个)就不会识别出该对象物的判定逻辑来进行识别。

第2，当进行对象物的识别时，在图像内拍摄了相似对象物的情况下，例如假设将OBJ1(特征点组，A、B、C)作为本公司的标识符号的S公司、和将OBJ2(特征点组，E、F、G)作为本公司的标识符号的M公司。在此，S公司和M公司是竞争公司。在这样的情况下，当然必须尽量避免混淆两者的标识符号。鉴于这样的情况，在该第9实施例中，在从同一画面内同时检测到A和E时，对哪个对象物都不进行识别。即，严格进行识别判定。

第3，以往，即使在能够识别的特征点的数量有几个时，将识别结果传达给用户的文章表述也相同。因此，例如在仅能识别一部分特征点时，即输入图像和比较图像的一致程度是包括不确定性的一致程度时，无法将该情况传达给用户。另一方面，在该第9实施例中，在识别要素数量较少时，改变结果的显示方法(表述方法)，形成为包括不确定性的表述。

通过上述各种方法，分别能够获得以下效果。

第1，能够将由于仅对象物的一部分一致而产生错误识别的概率抑制得较低。

第2，能够严格执行尤其是想要避免对象物的错误识别时的判定基准。

第3，在对象物的相同性判定的正确性低于预定值时，也能够提醒用户注意，并且将一致判定结果通知用户。

但是，在对象物中的特征点被分离登记的对象物即OBJ1(特征点组，A、B、C)和OBJ2(特征点组，E、F、G)的情况下，基于以下判定逻辑进行识别。

第1，在不是A and B and C时，就不视为OBJ1识别成功。

即，在进行由识别要素即A、B、C构成的OBJ1的识别时，在识别A、B、C中任一个或两个的状态下，不视为OBJ1识别成功的形式。

并且，作为其变形例，对A、B、C进行作为评价点的加权。例如，分别加权为1、0.5、0.3。在此，在合计评价点超过1.5时视为认证，在A和B作为识别要素被发现时，合计评价点为1.5，所以认证OBJ1。另一方面，在发现了B和C时，不认证OBJ1。

关于这些识别要素的评价点，能够与识别要素的特征点一起管理。

并且，作为逻辑式，也可以改变各个要素的优先度，除A and B and C以外，例如还可以是A and(B or C)、A or(B and C)的组合。这些例子是为了视为识别成功而使A在哪个中均为必需要素的例子。

另外，上述评价点和逻辑式的例子可以组合使用。即，可以组合使用逻辑式的优先度和各个要素的加权。

第2，在提取了E and A时，OBJ1和OBJ2均无论如何也不识别。

例如，将OBJ1用作标识的S公司和将OBJ2用作标识的M公司是竞争关系，当想要尽量避免混淆两者时，在S公司的标识即OBJ1和M公司的标识即OBJ2被拍摄到同一画面内时，哪个标识都不识别。在该情况下，向用户进行如下显示：不能识别的理由不是因为未检测到对象图像，而是因为从(A、B、C)和(E、F、G)两者检测到识别要素。

这样，在该第9实施例中，关于相互处于竞争关系的公司等的标识的识别，例如，只有当处于仅S公司的标识即OBJ1或者仅M公司的标识即OBJ2中的任一方位于画面内的状态下时，进行该标识的识别。具体地讲，只有当在同一画面内检测到仅(A、B、C)中的任一方或者仅(E、F、G)中的任一方时，进行OBJ1或OBJ2的识别。换言之，在同一画面内检测到(A、B、C)中的任一方和(E、F、G)中的任一方时，OBJ1和OBJ2均不进行识别。

第3，在仅提取了A and B等一部分时，改变结果的提示方法(遵守包括不确定性的表述)。

例如，关于OBJ1的识别，在识别要素A、B、C全部能识别到时，利用“OBJ1已认证”这一强制表述将识别结果提示给用户。并且，在能够识别到识别要素A和B、B和C等两个识别要素时，例如，利用“估计是OBJ1”这种减弱确信度的表述，将识别结果提示给用户。另外，在能够识别到的识别要素是一个时，利用“有可能识别到了OBJ1”这种包括不确定性的表述，将识别结果提示给用户。

另外，作为该第9实施例的变形例，在使用了上述加权的评价点时，也可以考虑将基于该合计评价点的识别结果提示给用户时的表述方法中的上述特征。并且，对用户提示识别结果时的上述表述方法的特征，当然可以适用于各种场面。例如，可以适用于所期望的单个识别要素的识别。并且，例如在根据识别要素内的一致特征点的数量、提取特征点与已登记特征点的一致程度将识别结果提示给用户时，也可以适用上述表述方法。

另外，在将该第9实施例适用于上述第6实施例时，上述TP制作部50当然可以在服务器20上进行动作。并且，上述纸面40指显示面，未必限定于纸。例如，可以是金属、塑料等其他材料，还可以是液晶监视器和等离子电视机等影像显示装置。当然，在这些装置上显示的信息对应于在人的可见光区域上所显示的信息。但是，如果是可以输入到图像输入部的信息，当然也可以是人看不见的信息。并且，作为图像可以取得的东西全部是对象，因此，例如可以是称为X射线图像或红外热像这样的图像。

另外，在图10中，捕捉到从上述图像输入部24输入的对象图像所得的图像，从带照相机的便携式终端被发送给服务器20中的上述匹配处理部29。此时，当然可以将上述图像输入部24取得的图像直接作为图像数据发送，也可以将图像缩小后发送。并且，当然也可以从该图像中提取在匹配中使用的特征数据，并发送该特征数据。另外，当然可以发送上述图像和上述特征数据两者。即，只要是能够从该图像导出的形式的数据，则可以发送任何形式的数据。

[第10实施例]

该第10实施例是在上述第6～第9实施例中，服务器包括存储用于和输入图像比较对照的登记图像的图像存储部的实施例。

作为在上述比较对照中使用的数据，通常使用预先或在输入图像时提取的特征点组数据。因此，在存储用于比较对照的数据的存储部中存储的信息通常也是特征点组数据。并且，在比较对照作业中，考虑了数据的相似性等来进行相同性的判定。在该情况下，在用于比较对照的数据中例如有两个非常相似的图像时，有时很难判别输入图像的相似度。在该情况下，如果存在比较对照用的图像(提取特征点组后的原始数据，以后称为原图像)，则通过变更特征量的提取基准，可以进行更高精度的比较对照，或者用户可以对特征点组的提取结果进行使用了原图像的目视确认。并且，图像自身的容量有时小于从该图像中提取的特征点组数据。

鉴于上述情况，如该第10实施例所示，作为比较对照用的数据而假设了图像，并使服务器具有关于该图像的图像存储部，可以说这是有益的。另外，当然可以在每当发生图像的比较对照作业时，从比较对照用的图像中提取特征点组。

[第11实施例]

该第11实施例是在上述第6～第9实施例中服务器具有位置存储部的实施例，在该位置存储部存储中，作为相对输入图像内的特征点组的比较对照数据而存储位置信息，该位置信息表示记录有特征点组和与该特征点组对应的图像的场所。

例如，作为与输入图像内的特征点组比较对照用的数据，可以考虑在记录图像用的图像记录部中记录图像和从图像中提取的特征点组的情况。在该情况下，这些图像和从图像中提取出的特征点组即比较对照用的数据的尺寸较大，作为系统进行保存有时不是上策。在该情况下，鉴于整体效果的提高，考虑到在该系统内不具有记录图像的图像记录部比较好。

鉴于上述情况，根据匹配的处理结果，在需要被判断为相同的图像时，使服务器具有用于记录检索该图像用的位置信息的位置存储部。在此，上述位置信息例如可以列举：与位于不同于该系统的其他系统内的上述图像的链接信息、与网络上的上述图像的链接信息、用于提取位于网络上的上述图像的关键词等检索信息等。将这样的位置信息作为表示其与为进行比较对照而登记的特征点组之间的关系的位置信息，记录在上述位置存储部中并进行管理。在该第11实施例中，使在该系统内部具有上述位置信息存储部。

[第12实施例]

该第12实施例的特征在于，在上述第6～第11实施例中，用于与输入图像比较对照的特征点组增加了拍摄对象物中的三维配置信息。

即，在该第12实施例中导入了拍摄对象物中的三维配置信息。在此，上述三维配置信息指所谓对象局部坐标系上的各个特征点坐标值。以下，参照图24和图25说明该第12实施例所涉及的对象物识别方法。在此，在图24和图25中，附加了(1)～(11)的点分别表示特征点。这些特征点是在输入图像内提取的特征点。并且，如图24所示，这些特征点中的特征点(1)～(5)表示在左侧拍摄的树木的特征点，特征点(6)～(11)表示在右侧拍摄的房屋的特征点。在此，图25是仅提取图24所示的特征点而示出的图。另外，这些特征点作为该拍摄对象物的特征点组预先被登记在登记特征点组的数据库中。

在此，作为树木的特征点，在进行其登记时，关于特征点(2)～(5)，将特征点(1)作为原点，也登记作为各自的三维配置信息的三维位置即(X2、Y2、Z2)～(X5、Y5、Z5)。另外，作为检测这些特征点的三维位置的方法，有图像检测的方法或者使用测定仪器检测的方法等。

根据该第12实施例，如上所述，在登记特征点时，同时登记各个特征点的三维配置信息，由此可以获得以下效果。即，在通过匹配等的特征点的比较对照进行了预定识别后，还能使用上述三维配置信息进行再次验证。即，根据该第12实施例，能够实现减少匹配中的错误识别。

另外，作为使用上述三维配置信息进行再次验证的验证方法考虑各种方法。例如，根据上述三维配置信息，对以预定特征点作为原点并将各个特征点投影在二维平面上时的各个特征点的位置、和按通常取得并登记的各个特征点的位置进行比较对照，求出两者的偏差，由此求出该匹配的识别精度。

根据该方法，例如顺序地验证在输入图像内被识别为树木部分的特征点组中的特征点，将各个点作为原点，根据其他特征点的三维配置信息，验证投影在二维平面上时的各个特征点(1)～(5)的位置是否与已登记的特征点(1)～(5)一致。按照将特征点(1)作为原点时、将特征点(2)作为原点时、……的方式，对所有特征点进行该验证。并且，采用一致性最高的验证时的特征点。

根据上述验证方法，能够求出该图像输入设备(例如照相机等)与拍摄对象物的位置关系。另外，通过预先求出该图像输入设备的透镜参数(视野角、焦点距离)，能够求出拍摄对象物中的各个特征点与该图像输入设备之间的距离。

[第13实施例]

该第13实施例是在上述第6～第12实施例中进行以下处理的实施例：即，从输入图像中提取多个特征点组，在该输入图像与登记图像的匹配中比较对照两者时，不仅进行各个特征点组的识别，也进行增加了特征点组彼此的位置关系的信息即配置信息的识别。

从输入图像中提取特征点组，通过与比较对照用的特征点组比较来进行匹配。根据该第13实施例，在图24的例子中，可以根据属于树木特征点组的特征点(1)～(5)与属于房屋特征点组的特征点(6)～(11)的配置关系，识别到在画面中树木被配置在房屋的左侧。

根据该第13实施例，通过按照上述识别特征点的配置关系，可以判别以下配置状态。例如，在图24的例子中，树木在左、房屋在右的图像是利用与房屋的正面相对的照相机等拍摄的图像。并且，关于树木和房屋在画面中位于大致相同位置的图像，是利用位于树木和房屋在大致一条直线上并列的方向、即相对于房屋的正面倾斜的方向上的照相机等拍摄的图像。

另外，根据特征点组和特征点的配置的扩散情况，还能求出树木与房屋的前后关系。另外，在这些对象物为可动时，可以求出当前时间点的配置状态。

如果根据场面预先登记上述的特征点组的配置关系，则在相同对象物并列配置的情况下，也能够识别该对象物。具体地讲，例如在相同设计的住宅并列的情况下，当树木在左、房屋在右时，可以识别是A的家，相反配置时，可以识别是B的家。并且，在同一画面内输入3个以上的特征点组，而且也分别预先记录该特征点组的三维位置信息，由此可以根据三角测量的原理具体求出该照相机与上述特征点组的相对位置关系。

[第14实施例]

该第14实施例的特征在于，为了实现匹配系统的快速化、或者与大量登记图像对应的匹配系统，将实际进行匹配的处理部即匹配处理部分组。

在以往的匹配系统中，一般采用如下的方法：在使对匹配中使用的图像等进行登记的数据库相同的状态下将匹配处理部并列的方法，或者将数据库和匹配处理部以相同内容的状态并列的方法。采用这样的方法，可以预计确实使同时收到多个匹配请求时的处理快速化的效果。但是，不能使针对大量登记图像的匹配处理快速化。并且，在将大量登记图像分离存储在并列的多个数据库中时，确实可以使针对大量登记图像的匹配处理快速化。但是，在最终评价被分离的登记图像组的匹配结果时，在该匹配中使用的图像未必是对所分离的登记图像组整体进行平均评价后的上位图像。因此，很难说是高可靠性的匹配处理。

在该第14实施例中，关于登记在分离并列的多个数据库(称为TP数据信息DB)中的图像组，为了不产生相似图像被偏向登记在一个TP数据信息DB中的情况，而进行以下调整。

在向上述TP数据信息DB登记图像时，提取作为登记对象的图像的特征量。另外，该特征量可以是一定区域的浓淡分布，也可以是特征点。

然后，对作为登记对象的图像、和上述划分并列的多个TP数据信息DB中的已登记图像进行匹配处理，评价作为登记对象的图像与已登记图像的相似度。另外，关于上述匹配处理部，也可以与上述TP数据信息DB同样地进行分离并列。

然后，参照上述相似度评价，在判断为与作为登记对象的图像的相似度最低的TP数据信息DB中，登记作为上述登记对象的图像。

另外，如上所述，当然可以将包括登记对象的已登记对象组整体再次分离，而不是以针对完成分离的已登记图像组进行追加的形式登记作为登记对象的图像。并且，当然也可以暂时以针对完成分离的已登记图像组进行追加的形式登记作为登记对象的图像，然后定期地对处理图像组整体进行再次分离处理。另外，在上述再次分离中，也可以将相似度作为基准，将相似的图像最大分散地存储在各个TP数据信息DB中。并且，例如在特征点用多维向量来表述时，在上述再次分离中考虑特征点在多维向量空间中的分散比较有效。

这样，通过适当地选择对期望登记的对象图像进行登记的TP数据信息DB，可以实现高可靠性的匹配。

以下，参照图26说明该第14实施例中的匹配处理部和TP数据信息DB的系统结构。

在匹配时，首先，向第一匹配处理部500发送匹配对象的数据。然后，第一匹配处理部500并行地委托向与并列的TP数据信息DB520A～520C对应的第二匹配处理部521A～521C进行匹配处理。

然后，第二匹配处理部521A～521C针对各自对应的TP数据信息DB522A～522C，执行与上述匹配对象的数据的匹配处理。

然后，第二匹配处理部521A～521C将作为上述匹配处理的结果的匹配结果发送给上述第一匹配处理部500。在此，上述匹配结果包括相似度信息。并且，上述匹配结果可以仅是最上位的匹配结果，也可以是预先确定的一定数目的上位匹配结果，还可以是成为一定比率以上的相似度的匹配结果。在此，上述预先确定的一定数目不限于静态设定在系统中的数目。例如，当然可以是第一匹配处理部500所受理的匹配对象的数据数目除以并列的TP数据信息DB的数目而得到的数目。在该情况下，在变更了上述TP数据信息DB的并列数目时，上述预先确定的一定数目将动态地变更。

但是，第二匹配处理部521A～521C将作为上述匹配处理的结果的匹配结果发送给上述第一匹配处理部500后，在第一匹配处理部500中，将从第二匹配处理部521A～521C接收到的匹配结果按照相似度依次排列顺序，制作最终结果。并且，第一匹配处理部500当然可以对从第二匹配处理部521A～521C接收到的匹配结果再次进行匹配处理。并且，在该情况下，使用比通过第二匹配处理部521A～521C进行的匹配处理更加具体的特征量，对提高可靠性比较有效。

例如，在第二匹配处理部521A～521C中，在匹配处理中利用区域的分离数少的浓淡数据和灰阶少的浓淡数据，在第一匹配处理部500中，在匹配处理中利用区域的分离数多的浓淡数据和灰阶多的浓淡数据。并且，也可以在第二匹配处理部521A～521C中利用TP数据信息DB522A～522C所保存的一部分特征点，在第一匹配处理部500中利用全部特征点。在该情况下，作为上述一部分特征点的选定方法，可以根据特征点的可靠性和/或有效度，选择上位的一定数目、或者一定以上的有效度数目的特征点，还可以随机拾取。另外，作为第一匹配处理部500的匹配结果，可以将判断为最相似的一个作为匹配结果，也可以将某个基准以上的多个作为匹配结果。在此，所谓的上述某个基准，例如可以是结果的数目，也可以是相似度的阈值。

并且，作为TP数据信息DB 522A～522C，在TP数据信息DB被分离并列的结构中，当然未必需要使服务器壳体自身并列。

通过进行上述的匹配处理，可以有效利用该第14实施例中的分离并列的TP数据信息DB。

[第15实施例]

另外，还考虑了例如以下实施例。在该第15实施例中，假设信息呈现终端是带照相机的携带式电话机。并且，在该带照相机的携带式电话机中，进行图像的例如特征量提取等特征量处理的一部分。为了实现该处理，预先将有关图像的特征量处理的应用软件安装到该带照相机的携带式电话机上。以下，参照图27所示的流程图，说明这种使用了该第15实施例所涉及的带照相机的携带式电话机的图像匹配处理流程。

首先，用户在带照相机的携带式电话机上起动上述应用软件，使用照相机功能拍摄例如纸面上的预定图像或图案设计(步骤S51)。接着，利用该带照相机的携带式电话机的上述应用软件，执行一部分的特征量处理(在该实施例中为从图像中提取特征量)(步骤S52)。然后，将上述步骤S52的特征量处理结果(在该实施例中为从图像中提取出的特征量，以后相同)发送给服务器。

接收到上述特征量处理结果的服务器的匹配处理部(未图示)，根据该特征量处理结果，对登记有用于比较的图像(比较图像)的特征量的词典图像数据库50进行访问，进行图像的匹配处理(步骤S53)。然后，将该匹配处理结果发送给上述带照相机的携带式电话机。另外，在服务器侧，除上述词典图像数据库50外，还设有多级并列数据库60，该多级并列数据库60包括构成为多级且相互并列构成的多个数据库。因此，在上述匹配处理所需要的比较图像未存储在上述词典图像数据库50中时，上述匹配处理部(未图示)检索上述多级并列数据库60。

并且，在取得了上述步骤S53中的匹配处理结果的上述带照相机的携带式电话机中，针对上述匹配处理结果执行预先设定的动作命令(步骤S54)。在此，例如当上述动作命令是面向携带式电话机的网站的URL显示时，上述匹配处理部(未图示)向该带照相机的携带式电话机的网站浏览应用发送上述URL，该带照相机的携带式电话机执行与上述URL对应的网站的显示(步骤S54)。

另外，在该第15实施例中，图像中的特征量的提取在带照相机的携带式电话机中执行，但是，根据使用的带照相机的携带式电话机的运算能力，当然也可以由服务器进行图像中的特征量的提取。

并且，对于将利用上述带照相机的携带式电话机拍摄的作为对象的图像，例如图28和图29所示，为了将该图像是标记图像明确展示给用户，也可以在该图像附近设置方框(配置在特定的图案设计附近的特定特征标识等)。在此，图28示出在标志图像70附近配置一个由指示标志图像的箭头构成的方框72的例子。并且，图29示出在标志图像70附近以夹着标志图像70的方式配置两个圆框74的例子。

Claims (20)

1.一种信息呈现系统，其特征在于，该信息呈现系统具有：

获得图像的摄像部(11)；

取得周边信息的周边信息取得部(14)；

预先存储登记信息的存储部(15)；

分析基础信息构建部(16)，其根据上述周边信息取得部(14)所取得的周边信息，由存储在上述存储部(15)中的登记信息构建分析基础信息；

关联信息取得部(12)，其根据从上述摄像部(11)获得的图像和从上述分析基础信息构建部(16)获得的分析基础信息，取得与上述图像相关联的信息；以及

呈现部(13)，其呈现上述关联信息取得部(12)所取得的关联信息，

上述分析基础信息构建部(16)根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个来改变上述分析基础信息。

2.根据权利要求1所述的信息呈现系统，其特征在于，

上述摄像部(11)、上述关联信息取得部(12)和上述呈现部(13)构成在信息呈现终端(10A)中；

上述周边信息取得部(14)、上述存储部(15)和上述分析基础信息构建部(16)构成在服务器(10B)中；

上述信息呈现终端(10A)通过通信线路(20)与上述服务器(10B)连接。

3.根据权利要求2所述的信息呈现系统，其特征在于，上述信息呈现终端(10A)的关联信息取得部(12)从多个服务器(10B)中取得分析基础信息。

4.根据权利要求2所述的信息呈现系统，其特征在于，上述服务器(10B)的分析基础信息构建部(16)还从该服务器以外的至少一个服务器(10B)中取得信息，在组合该信息之后构建发送给上述信息呈现终端(10A)的分析基础信息。

5.根据权利要求1所述的信息呈现系统，其特征在于，

上述摄像部(11)、上述关联信息取得部(12)、上述周边信息取得部(14)、上述分析基础信息构建部(16)和上述呈现部(13)构成在信息呈现终端(10A)中；

上述存储部(15)构成在服务器(10B)中；

上述信息呈现终端(10A)通过通信线路(20)与上述服务器(10B)连接。

6.根据权利要求1所述的信息呈现系统，其特征在于，

上述摄像部(11)和上述呈现部(13)构成在信息呈现终端(10A)中；

上述关联信息取得部(12)、上述周边信息取得部(14)、上述分析基础信息构建部(16)和上述存储部(15)构成在服务器中；

上述信息呈现终端(10A)通过通信线路(20)与上述服务器(10B)连接。

7.根据权利要求1所述的信息呈现系统，其特征在于，

上述摄像部(11)、上述关联信息取得部(12)和上述呈现部(13)构成在信息呈现终端(10A)中；

上述周边信息取得部(14)、上述分析基础信息构建部(16)和上述存储部(15)构成在服务器(10B)中；

上述信息呈现终端(10A)通过通信线路(20)与上述服务器(10B)连接；

上述服务器(10B)还包括具有与上述关联信息取得部(12)相同的功能的第二关联信息取得部(17)；

上述第二关联信息取得部(17)根据比上述关联信息取得部(12)取得的分析基础信息多的分析基础信息取得关联信息，即使在上述关联信息取得部(12)不能取得关联信息的情况下，上述呈现部(13)也呈现该第二关联信息取得部(17)的结果。

8.根据权利要求1所述的信息呈现系统，其特征在于，上述分析基础信息包括图像处理滤波器、模板尺寸、模板灰阶、二值化阈值、匹配阈值中的至少一个。

9.根据权利要求1所述的信息呈现系统，其特征在于，上述分析基础信息构建部(16)根据作为分析基础信息的登记信息相互间的相似度，设定分析基础信息中包含的图像处理参数。

10.一种信息呈现终端，其特征在于，该信息呈现终端具有：

获得图像的摄像部(11)；

周边信息取得部(14)，其取得与上述摄像部(11)相关联的周边信息；

分析基础信息构建部(16)，其根据上述周边信息取得部(14)所取得的周边信息，由通过通信线路(20)从服务器下载的登记信息构建分析基础信息；

关联信息取得部(12)，其根据从上述摄像部(11)获得的图像和从上述分析基础信息构建部(16)获得的分析基础信息，取得与上述图像相关联的信息；以及

呈现部(13)，其呈现上述关联信息取得部(12)所取得的关联信息，

上述分析基础信息构建部(16)根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个，改变上述分析基础信息。

11.一种服务器，其特征在于，该服务器具有：

周边信息取得部(14)，其取得经由通信线路(20)从信息呈现终端(10A)发送来的、由摄像部(11)获得的图像和/或与上述摄像部(11)相关联的周边信息；

预先存储登记信息的存储部(15)；以及

分析基础信息构建部(16)，其根据上述周边信息取得部(14)所取得的周边信息，由存储在上述存储部(15)中的登记信息构建分析基础信息，

上述分析基础信息构建部(16)根据时刻、日期、季节、天气、气温、湿度、场所、周围的亮度、取得图像的平均颜色/颜色分布、周围的声音、机种中的至少一个，改变上述分析基础信息，

通过将上述分析基础信息构建部(16)所构建的上述分析基础信息下载到上述信息呈现终端(10A)，使上述信息呈现终端(10A)根据该分析基础信息和由上述摄像部(11)获得的图像，取得与上述图像相关联的信息，并呈现该信息。

12.根据权利要求11所述的服务器，其特征在于，

该服务器还包括具有与上述关联信息取得部(12)相同的功能的第二关联信息取得部(17)，

上述第二关联信息取得部(17)根据比上述关联信息取得部(12)取得的分析基础信息多的分析基础信息取得关联信息，即使在上述关联信息取得部(12)不能取得关联信息的情况下，上述信息呈现终端(10A)也呈现该第二关联信息取得部(17)的结果。

13.一种对象物识别方法，该对象物识别方法包括如下步骤：在数据库中预先记录多个对象物的特征点的步骤(步骤S12)；从期望登记的输入图像中提取特征点的步骤(步骤S52)；将上述提取出的特征点与预先记录在数据库中的多个对象物的特征点进行比较对照的步骤(步骤S 10、步骤S23)；参照上述比较对照的步骤(步骤S10、步骤S23)的比较对照结果，识别上述输入图像中的特征点与记录在上述数据库中的上述对象物的特征点，由此进行对象物的识别的步骤(步骤S24、步骤S53)；以及将进行上述识别的步骤(步骤S24、步骤S53)的识别结果显示给用户的步骤(步骤S30)，该对象物识别方法的特征在于，

在上述数据库中预先记录多个对象物的特征点的步骤(步骤S12)中，将对象物分离为多个要素对象物，将各个要素对象物的特征点登记在上述数据库中，并且在进行上述识别的步骤(步骤S24、步骤S53)中，在未识别出预定要素对象物时，不进行对象物的识别。

14.根据权利要求13所述的对象物识别方法，其特征在于，在进行上述识别的步骤(步骤S24、步骤S53)中，在所识别的多个要素对象物的组合是预定组合时，不进行对象物的识别。

15.根据权利要求13所述的对象物识别方法，其特征在于，在进行上述识别的步骤(步骤S24、步骤S53)中，在不满足预定组合但至少识别到一个以上的上述要素对象物时，在进行上述显示的步骤(步骤S30)中，利用包括不确定要素的表达将识别结果显示给用户。

16.根据权利要求13所述的对象物识别方法，其特征在于，在上述数据库中预先记录多个对象物的特征点的步骤(步骤S12)中，上述对象物的图像自身也被记录在上述数据库中。

17.根据权利要求13所述的对象物识别方法，其特征在于，在上述数据库中预先记录多个对象物的特征点的步骤(步骤S12)中，将表示记录有与上述特征点对应的图像的场所的位置信息连同上述特征点一起记录在上述数据库中。

18.根据权利要求13所述的对象物识别方法，其特征在于，在提取上述特征点的步骤(步骤S52)中，从对象物的二维图像中提取上述特征点。

19.根据权利要求13所述的对象物识别方法，其特征在于，在提取上述特征点的步骤(步骤S52)中，根据表示对象物的三维位置关系的三维配置信息算出上述特征点。

20.根据权利要求13所述的对象物识别方法，其特征在于，在提取上述特征点的步骤(步骤S52)中提取出由多个特征点构成的特征点组时，在上述比较对照的步骤(步骤S10、步骤S23)中，不仅进行各个特征点组的识别，也进行考虑了特征点组彼此的位置关系即特征点配置信息在内的上述比较对照。

Images