CN101010695A - 检索系统和检索方法 - Google Patents

Abstract

本发明提供一种检索系统及检索方法，当使用数字照相机(10)拍摄包含检索方打印输出(1)在内的被摄体时，该数字照相机(10)从该拍摄的图像数据中提取与上述检索方打印输出(1)对应的区域，提取该所提取的区域的特征量，访问构筑有可根据特征量来检索图像数据的数据库的存储器(20)，根据上述所提取出的特征量，从上述数据库中检索上述检索方打印输出(1)的原图像数据。

Description

检索系统和检索方法

技术领域

本发明涉及从数据库中检索图像数据的检索系统和检索方法。

背景技术

近些年来，关于由数字照相机拍摄的图像数据，也与使用胶片照相机所拍摄的图像一样，将其打印输出来欣赏的情况普遍存在。

当对这样打印输出的图像数据进行再打印时，必须参照该图像数据的附带信息(文件名、拍摄日期时间等)，由用户从图像存储介质中进行检索，非常浪费时间。

因此，例如在日本特开2001-88374号公报中，提出有如下的存储打印机，该存储打印机以简单地搜索出曾经从图像数据供给源打印输出过的图像的数据为目的，预先保存所打印输出的图像数据，可以进行关键词检索等。

但是，在上述日本特开2001-88374号公报所公开的存储打印机中，由于并非使用图像本身来检索，所以当内置于打印机的存储区域中包含多个图像数据时，显示多个再打印输出图像候选，产生用户选择上浪费时间的问题。

发明内容

本发明是鉴于上述课题而完成的，其目的在于提供一种检索系统和检索方法，该检索系统和检索方法可以容易地搜索出所打印输出的图像的原图像数据。

本发明的检索系统的一个方式的特征在于，该检索系统具有：从摄像单元拍摄包含打印输出图像在内的被摄体而得到的图像数据中，提取与上述打印输出图像对应的区域的区域提取单元；提取上述区域提取单元所提取出的区域的特征量的特征量提取单元；以及访问可根据特征量来检索图像数据的数据库，根据上述特征量提取单元所提取出的特征量，从上述数据库中检索图像数据的检索单元。

另外，本发明的检索方法的一个方式是以打印输出图像为基础来检索图像数据的检索方法，其特征在于，在该检索方法中，从摄像单元拍摄包含打印输出图像在内的被摄体而得到的图像数据中，提取与上述打印输出图像对应的区域；提取上述所提取出的区域的特征量；以及访问可根据特征量来检索图像数据的数据库，根据上述所提取出的特征量，从上述数据库中检索图像数据。

再有，本发明的检索系统的另一个方式的特征在于，该检索系统具有：拍摄被摄体的摄像单元；提取由上述摄像单元所拍摄的区域的特征量的特征量提取单元；访问可根据特征量来检索图像数据的图像数据库，利用上述特征量提取单元所提取出的特征量，从上述图像数据库中检索图像数据的检索单元；以及显示上述检索单元的检索结果的多个显示单元。

附图说明

图1是表示本发明的第1实施例的检索系统的概要结构的图。

图2是第1实施例的检索系统的结构框图。

图3是表示第1实施例的检索系统的动作流程的图。

图4是表示打印输出的切取处理的详细流程的图。

图5是表示与DB的匹配处理的详细流程的图。

图6是表示与DB的匹配处理的另一个例子的详细流程的图。

图7是表示仅显示1个图像候选的情况下的数字照相机的显示部的显示画面的图。

图8是表示显示9个图像候选的情况下的显示画面的图。

图9是表示用于说明特征量数据库的制作方法的流程的图。

图10是表示用于说明特征量数据库的制作方法的另一个例子的流程的图。

图11是表示用于说明特征量数据库的制作方法的再一个例子的流程的图。

图12是表示用于说明特征量数据库的制作方法的其他例子的流程的图。

图13是用于说明拍摄车站的站名显示板作为招牌的情况下的动作概念的图。

图14是表示在地图上显示图片的例子的图。

图15是表示在地图上显示图片的另一例子的图。

图16是表示图片较多时在地图上显示图片的例子的图。

图17是表示图片较多时在地图上显示图片的另一例子的图。

图18是本发明的第2实施例的检索系统的结构框图。

图19是表示第2实施例的检索系统的动作流程的图。

图20是表示打印输出的摄像处理的详细流程的图。

图21是表示用于说明特征量数据库的制作方法的流程的图。

图22是应用了本发明的第3实施例的检索系统的带照相机的移动电话的结构框图。

图23是表示本发明的第4实施例的检索系统的动作流程的图。

图24是用于说明本发明的第5实施例的检索系统所用的概要模板的图。

图25是用于说明第5实施例的检索系统所用的详细模板的图。

图26是用于说明原图像数据和概要模板以及详细模板之间的位置关系的图。

图27是表示第5实施例的检索系统的动作流程的图。

图28是用于说明关注于图像数据的中央部的详细模板的图。

图29是用于说明在图像内分散配置了多处的详细模板的图。

图30是用于说明将关注区域放在原图像数据拍摄时的对焦位置上的详细模板的图。

图31是用于说明将概要模板和详细模板收纳于同一图像中的复合模板的图。

图32是表示16×16模板和128×128模板以及将它们组合起来的复合模板的图。

图33是用于说明针对与概要模板相同的区域制作的详细模板的图。

图34是表示本发明的第6实施例的检索系统的动作流程的图。

图35是表示本发明的第7实施例的打印输出的切取处理的详细流程的图。

图36是用于说明在第7实施例中使用的边缘提取过滤器的图。

图37是用于说明霍夫变换的图。

图38是表示在拍摄图像视野内只有一个关注区域时的直线提取的例子的图。

图39是表示具有多个关注区域时的直线提取的例子的图。

图40是表示本发明的第8实施例的打印输出的切取处理的详细流程的图。

图41是用于说明第8实施例中的引导框和被该引导框划分的上边区域、下边区域、左边区域和右边区域的图。

图42是表示第8实施例的打印输出的切取处理的详细流程的图。

图43是用于说明拍摄图像数据和各直线提取区域的图像数据的关系的图。

图44是用于说明各直线提取区域中的各边的存在角度范围的图。

图45是表示从各直线提取区域中提取直线的处理的详细流程的图。

图46是表示显示了图像数据的显示设备的拍摄时的数字照相机的显示例的图。

图47是表示关心区域提取处理结束时的显示例的图。

具体实施方式

下面参照附图说明用于实施本发明的最佳方式。

[第1实施例]

本发明的第1实施例的检索系统如图1所示，由数字照相机10和存储器20和打印机30构成。此处，存储器20存储多个图像数据，打印机30将存储在该存储器20中的图像数据打印输出。

例如，存储器20是内置于数字照相机10中或者可以装拆的存储器，打印机30按照来自数字照相机10的打印输出指示，将作为该存储器20的存储器内的图像数据进行打印输出。或者，存储器20可以是经由连接端子、缆线或无线/有线网络与数字照相机10连接的设备，或者也可以是能够安装从数字照相机10上卸下的存储器来转送图像数据的设备。此时，打印机30可以与存储器20连接或者一体地构成，按照来自数字照相机10的打印输出指示来执行打印输出。

而且，存储器20还具有构成为可以根据特征量来检索图像数据的数据库的功能。即，存储器20构成特征量数据库，该特征量数据库存储由原图像的数字数据所制作的特征量数据(模板)组。

这种结构的检索系统如下进行动作。

(1)首先，数字照相机10拍摄包含由打印机30曾经打印输出的检索方打印输出1的图像在内的被摄体。然后，从所得到的拍摄图像数据中提取与该检索方打印输出1的图像对应的区域，提取该提取出的区域的特征量。

(2)然后，数字照相机10根据该提取出的特征量执行存储在存储器20中的模板和模板的匹配处理。

(3)其结果，数字照相机10将与进行了匹配的模板对应的图像数据作为上述检索方打印输出1的原图像数据，从存储器20中读取。

(4)由此，数字照相机10可以将该读取的原图像数据再次用打印机30进行打印输出。

而且，作为检索方打印输出1，除了以1张为单位进行输出的打印输出之外，还可以使用将多个缩小图像集中输出的索引打印。这是因为从索引打印中选择需要的内容，进行加印，这在成本方面和方便性上较好。

另外，关于检索方打印输出1，如果为在系统内的存储器20中构成的特征量数据库内具有原图像数据的图像，则即使为系统外(未图示)的打印机所打印输出的图像也可以。

下面，参照图2所示的结构框图和图3所示的动作流程图来详细说明本第1实施例的检索系统。而且，数字照相机10与普通的拍摄模式不同，具有拍摄完毕数据的检索模式，图3的动作流程图表示设定为该检索模式的情况下的处理。

即，用户在设定为上述检索模式后，在将期望再次打印输出的检索方打印输出1粘贴在桌子上或者墙面上等的状态下，通过数字照相机10的摄像部11进行拍摄，使得至少没有上述检索方打印输出1的缺陷(步骤S11)。

于是，在数字照相机10中，使用区域提取部12，从摄像部11所拍摄的图像数据中，指定上述检索方打印输出1的图像，执行用于提取该部分的打印输出的切取处理(步骤S12)。

该打印输出的切取处理如图4所示，首先检测所拍摄的图像数据中的线段(步骤S121)，从这些所检测出的线段中检测直线(步骤S122)。然后，推测这些所检测出的4条直线所构成的框(步骤S123)。即，从所拍摄的图像数据中搜索被4边围起来的关心区域。而且，当具有多个这种被4边围起来的区域时，只要将其中面积最大的部分作为关心区域提取，或者根据矩形的纵横比等指定关心区域即可。另外，在所拍摄的图像数据中，检索方打印输出1自身偶尔会产生弯曲，其结果有时无法指定被4边围起来的区域。此时，即使4边之中的某几个由缓和的圆弧构成，进行允许该构成的处理也是有效的。另外，此处也包含提取出被视为检索方打印输出1的区域之后，通过仿射变换等将该图像数据区域进行标准化的处理。

接着，通过特征量提取部13进行从上述区域提取部12所指定并提取出的关心区域中提取特征量的处理(步骤S13)。而且，特征量可以使用图像数据内的特征点的配置关系，也可以使用基于规定规则的图像数据内的分割区域、即由预定的格子所分割的小区域的相对浓度等，还可以基于每个分割区域的傅里叶变换值。

接着，根据匹配部14将上述特征量提取部13提取的特征量数据与在存储器20中构成的拍摄完毕图像数据的特征量数据库(特征量模板)进行比较，与按顺序提取出其相似度高的特征量数据的DB进行匹配处理(步骤S14)。

即，与该DB的匹配处理如图5所示，首先计算与各拍摄完毕图像数据的特征量模板的相似度(步骤S141)，根据相似度来分类(步骤S142)。然后，按照该相似度选出原图像候选(步骤S143)。而且，该选择可以设定阈值，也可以按照相似度从高到低的顺序指定上位候选。无论如何，都具有选出一个相似度最上位候选的方法和从相似度较高的候选之中选出多个的方法这2种方法。

而且，将在上述步骤S13中提取出的特征量作为上述特征点和格子状的小区域的相对浓度时，在上述步骤S14中的与DB的匹配处理中使用的特征量模板成为特征点和格子状模板。在格子状模板中，可以对作为构图的详细的部分进行匹配处理。另外，如果为特征点，则可以识别被摄体，也可以用于进行例如建筑物、人物、花等这些分类等的中间解析的用途。可以进行同时使用了这些特征点和格子状模板的阶段性的筛选。

当像这样同时使用特征点和格子状模板的情况下，上述步骤S14的与DB的匹配处理成为图6所示那样。即，首先使用在上述步骤S13中提取出的特征点，与存储器20中构成的拍摄完毕图像数据的特征点数据库(特征点模板)进行比较(步骤S144)，将其相似度较高的提取为详细检索候选对象(步骤S145)。而且，在该阶段中，使用从低分辨率的图像中提取出的特征点。因此，有可能无法判断细部的区别。接着，使用在上述步骤S13中所提取出的格子状的小区域，通过与存储器20中构成的拍摄完毕图像数据的详细数据库(详细模板(格子状模板))进行比较，从而判断细部的区别(步骤S146)，选择原图像候选(步骤S147)。

之后，从存储器20中读取上述所选择的原图像候选的图像数据，并在显示部15上显示为应提取的图像候选(步骤S15)，接受用户的选择(步骤S16)。

图7表示仅显示1个图像候选的情况下的显示部15的显示画面。在该显示画面中，在图像候选151的显示的旁边，配置有表示在指示其他的图像候选的显示时应该操作的按钮的“前一个”和“下一个”图标152、和在将该图像候选151指示为期望的图像数据时应该操作的按钮的“确定”图标153。“前一个”和“下一个”图标152表示数字照相机10通常具有的所谓十字键的左键和右键，“确定”图标153表示配置在该十字键的正中的输入键。

此处，在操作了相当于“前一个”和“下一个”图标152的十字键的情况下(步骤S17)，返回上述步骤S15，更新显示图像候选151。与此相对，当操作了相当于“确定”图标153的输入键的情况下(步骤S17)，匹配部14将存储在存储器20中的与该图像候选151对应的原图像数据发送给所连接的打印机30，再次进行打印输出(步骤S18)。另外，在没有用有线/无线方式直接连接打印机30的情况下，在存储在存储器20中的与该图像候选151对应的原图像数据上，执行追加标签等的进行规定的匹配的处理，从而可以使用能够访问该存储器20的打印机30进行打印输出。

而且，在上述步骤S15的图像候选的显示中，也可以同时显示多个候选。此时，由于一般设置于数字照相机10上的显示部15当然是几英寸的小型部件，所以显示4个或9个左右是便于使用的。图8表示显示了9个图像候选151的例子。此时，根据相当于“前一个”和“下一个”图标152的十字键的左键和右键的操作，移动表示选择图像的粗框154。而且，虽然没有特别地图示，然而也可以根据十字键的上键和下键的操作，进行将9个图像候选151的显示转变为之前和之后的9个图像候选的显示的、所谓页面的切换显示。

而且，关于在上述步骤S14中所使用的作为比较对象的构成于存储器20中的拍摄完毕图像数据的特征量数据，需要事先以存储器20中的原图像数据为基础进行制作。另外，该存储器20可以是附属于数字照相机10的存储器，也可以是图2虚线所示那样的可经由通信部访问的数据库。

可以考虑各种方法来制作该特征量数据库。

例如是在原图像拍摄时将该拍摄图像数据保存在数字照相机10的存储区域中的情况下，进行特征量计算和该数据库登记的方法。即，如图9所示，使用数字照相机10进行拍摄(步骤S201)，将该拍摄图像数据保存于数字照相机10的存储区域中(步骤S202)。然后从该保存的拍摄图像数据中计算特征量，制作模板数据(步骤S203)，将该制作的模板数据与上述拍摄图像数据关联起来保存(步骤S204)。因此，如果存储器20是数字照相机10内置的存储器，则可以构筑数据库。另外，当存储器20独立于数字照相机10时，将保存于数字照相机10的存储区域中的拍摄图像数据和模板数据一起转送给存储器20，可以构筑数据库。

另外，当使用打印机30对存储在存储器20中的原图像数据进行打印输出时，与该打印输出指示同时进行特征量提取处理，并存储在数据库中，这在处理上也是高效的方法。即，如图10所示，对存储在存储器20中的原图像数据进行打印输出时，一般根据用户的指示，选择要打印输出的原图像数据(步骤S211)，另外还要设定打印条件(步骤S212)，执行打印(步骤S213)。一般在此结束打印处理，但在本例中，接着还从该所选择的原图像数据中计算特征量，以制作模板数据(步骤S214)，将该制作完的模板数据与其原图像数据关联起来保存(步骤S215)。而且，在制作模板数据时，通过反映打印条件，可以提高检索方打印输出1和模板数据之间的匹配精度。通过这种方法，由于只对可能实施匹配处理的原图像数据制作模板数据，所以可以省略不需要的模板数据的制作时间和保存容量。

另外，当然也可以用标记处理来进行。即，如图11所示，当具有来自用户的总括模板制作执行指示时(步骤S221)，挑选存储器20内的模板未制作原图像数据(步骤S222)，对这些所挑选的模板未制作原图像数据执行总括模板制作处理(步骤S223)。在该总括模板制作处理中，从每个模板未制作原图像数据中提取特征量来制作模板数据(步骤S223A)，将这些所制作的模板数据与对应的原图像数据关联起来保存于存储器20中(步骤S223B)。

进而，也可以通过用户的输入指示，个别地进行处理。即，如图12所示那样，用户选择存储器20内的原图像数据中的一个(步骤S231)，通过对该选择的原图像数据进行模板数据的制作的指示(步骤S232)，从该所选择的原图像数据中提取出特征量来制作模板数据(步骤S233)，将该所制作的模板数据与上述所选择的原图像数据关联起来保存于存储器20中(步骤S234)。

当希望对迄今为止打印输出的图像数据进行再次打印时，大多由用户参考图像数据的附带信息(文件名、拍摄日期时间等)来检索。根据本实施例的检索系统，只需用数字照相机10拍摄期望的检索方打印输出1的图像，就可以访问原图像的文件(图像数据)，可以提供直观的用户使用方便的检索方法。

此外，不仅原图像数据本身，还可以检索相似的图像结构的图像数据，虽然其为附属性作用但也能提供新的用途。即，用该所谓检索模式来拍摄街头的招牌和广告等，可以从附属于数字照相机10的存储器和经由通信可以访问的数据库等的存储器20中所存在的图像数据及其特征量数据中，容易地检索相似或者相同的图像数据。

另外，如图13所示，例如如果拍摄了车站的站名显示板作为招牌，则通过从该图像数据中识别该站名，可以进行拍摄者的位置识别。于是，可以从附属于数字照相机10的存储器和经由通信可以访问的数据库等的存储器20中所存在的关联信息中，检索该所识别的位置周围即车站周围的地图信息、与该位置相关联的图像信息、相同的文字信息等的关联信息来进行提供。而且，作为站名的识别方法，具有文字识别、图案识别、用相似的图像的检索的识别推测等，可以作为匹配部43的功能来实施。

另外，例如拍摄东京塔，通过检索附属于数字照相机10的存储器和经由通信可以访问的数据库等的存储器20中的图像，不但可以对东京塔，还可以对世界各地的塔状的建筑物的图片进行检索提取。而且，还可以根据作为该检索提取的图片的附带信息的位置信息，告知各塔的位置，如图14和图15那样在地图上的相应的地方重叠显示图片。此时，地图和图片是关联信息。

而且，在地图上重叠显示图片时，由于地图的比例尺、图片的大小、与该场所相关的图片的张数等原因，有时很多图像重叠而难以辨认。此时，如图16所示那样根据地图比例尺来改变图片的显示大小，或者在张数很多的情况下如图17所示那样仅显示代表性的1张图片，来代替进行与张数成比例的显示大小下的图片的显示。

而且，说明了上述步骤S12至S17的处理在数字照相机10内实施的情况，但是在存储器20独立于数字照相机10而存在的情况下，由存储器20将这种处理作为软件来启动，或者以分割的形式由数字照相机10和存储器20来启动，从而可以使其实际动作起来。

[第2实施例]

下面参照图1，说明本发明的第2实施例的检索系统的概要。

即，本检索系统由数字照相机10、存储器20、打印机30和个人计算机(PC)40构成。此处，存储器20是内置于PC 40中或者可以通过通信来访问的存储装置。另外，PC 40无线/有线地与数字照相机10相连，或者构成为可以安装从数字照相机10上卸下的存储器来读取保存于数字照相机10的存储器中的图像数据。

这种结构的检索系统如下进行动作。

(1)首先，数字照相机10拍摄包含曾经被打印机30打印输出过的检索方打印输出1的图像在内的被摄体。

(5)PC 40从所得到的拍摄图像数据中提取与该检索方打印输出1的图像对应的区域，提取该所提取出的区域的特征量。

(6)然后，PC 40使用该所提取出的特征量执行存储在存储器20中的模板和模板的匹配处理。

(7)其结果，PC 40将与进行了匹配的模板对应的图像数据作为上述检索方打印输出1的原图像数据来读取。

(8)由此，PC 40可以将该所读取的原图像数据再次使用打印机30进行打印输出。

下面参照图18所示的结构框图和图19所示的动作流程图来详细说明本第2实施例的检索系统。而且，在这些图中，对于与上述第1实施例对应的部分，赋予相同的参照号码。

即，本实施例是如下的情况，即：将数字照相机10所拍摄的图像数据储存在内置于或者连接于该用户指定的PC 40的存储器20中，而且使用PC 40来使图19中的作为PC侧而示出的处理作为应用软件来动作。而且，用有线或者无线来连接PC 40和数字照相机10，在确立了通信状态的状态下，启动本应用软件。也可以是通过接通数字照相机10上所设定的“检索模式”等的开关的操作来启动功能的状态。

在这样使本应用软件启动后，在数字照相机10侧，执行打印输出的摄像处理(步骤S11)。即，如图20所示，用户在将期望再次进行打印输出的检索方打印输出1粘贴在桌子上或者墙面上等的状态下，通过数字照相机10的摄像部11进行拍摄，使得至少没有上述检索方打印输出1的缺陷(步骤S111)。由此，将所得到的拍摄图像数据保存在作为数字照相机10内的存储器的存储部16中。然后，该所保存的拍摄图像数据使用有线或者无线来转送给所连接的PC 40(步骤S112)。

于是，在PC 40中，使用由应用软件所实现的区域提取部41，从上述发送来的拍摄图像数据中指定上述检索方打印输出1的图像，执行用于指定/提取该部分的打印输出的切取处理(步骤S12)。接着，通过由应用软件所实现的特征量提取部42，进行从上述所指定/提取的关心区域中提取特征量的处理(步骤S13)。而且，上述切取处理和特征量提取处理可以在数字照相机10侧进行。这样，可以减少从数字照相机10向PC 40的通信量。

之后，通过由应用软件所实现的匹配部43，比较上述所提取的特征量数据和构成在存储器20中的拍摄完毕图像数据的特征量数据库，与按照顺序提取出其相似度高的特征量数据的DB进行匹配处理(步骤S14)。即，以计算出的特征量数据为基础，用PC 40侧的匹配部43与包含在(或者包含性地进行了数据库化)存储器20的各个图像数据中的特征量数据组进行比较，选择最相近的特征量数据。通过设定，选择最相近的多个特征量候选在使用便利性上是有效的。在该特征量数据中，包含计算出该特征量的原图像数据的指定信息，根据该指定信息来调出候选图像。

之后，从存储器20中读取上述所选择的原图像候选(或者是候选图像组)，在作为该PC 40的显示器的显示部44上显示为应该提取的图像候选(步骤S15)，接受用户的选择。此时，上述所选择的原图像候选(或者是候选图像组)的图像数据可以被原样或者在经过适当压缩的状态下从PC 40转送给数字照相机10，在数字照相机10的显示部15上进行显示(步骤S31)。

然后，根据鼠标等的操作的选择，将与存储在存储器20中的该图像候选对应的原图像数据发送给所连接的打印机30，再次进行打印输出(步骤S18)。即，通过用户的判断来确定上述所显示的原图像候选，通过交给印刷处理，对用户而言可以简单地进行作为最开始的目的的对打印输出完毕的图像的再次印刷。而且，此时，不仅是单纯的印刷，当选择多个作为候选图像时，通过用户的判断，成为“虽然与期望的原图像不同，但收集了相似的图像”，可以实现总括地检索相似的图像数据的功能。

而且，在本实施例中，特征量数据库的制作可以在从数字照相机10经由PC 40向存储器20的拍摄图像数据的转送时进行。即，如图21所示，开始从数字照相机10向PC 40进行拍摄图像数据的转送(步骤S241)，通过PC 40，将该转送来的拍摄图像数据保存在存储器20中(步骤S242)，同时根据该拍摄图像数据制作模板数据(步骤S243)。然后，将该制作成的模板数据与上述拍摄图像数据关联起来保存在存储器20中(步骤S244)。

如上所述，在本第2实施例中也与上述第1实施例一样，仅用数字照相机10拍摄期望的检索方打印输出1的图像，就能够访问原图像的文件(图像数据)，可以提供直观的用户便于使用的检索方法。

此外，不仅原图像数据本身，还可以检索相似的图像结构的图像数据，虽然其为附属性作用但也能提供新的用途。即，用该所谓检索模式来拍摄街头的招牌和广告等，可以从附属于数字照相机10的存储器和经由图5的虚线所示的通信部可以访问的外部数据库等的存储器20中所存在的图像数据及其特征量数据中，容易地检索相似或者相同的图像数据。进而，可以将与该数据相关联的互联网站点用PC 40或者数字照相机等的显示器来显示，或者可以使指定的应用(声音/动画等)进行动作等。

而且，在上述说明中使用了数字照相机10，但在本实施例中不限于此，也可以是扫描仪。

另外，实际上使用数字照相机10来拍摄所打印输出的检索方打印输出1，但即使例如用数字照相机10来拍摄显示有拍摄了检索方打印输出1的图像的显示器，也同样可以实施。

[第3实施例]

下面，说明本发明的第3实施例的检索系统。本实施例是应用于图22所示那样的带照相机51的移动电话50的应用软件52的例子。

即，当前几乎所有的移动电话都可以使用移动电话的应用软件，而且可以在内部存储器或者外部存储卡等中较多地存储该图像数据。进而，在指定的移动站点(用于移动电话的互联网站点)中，也进行指定了用户的图像文件等的储存服务。这种状况下储存非常多的图像数据，虽然可以丰富多彩地用于自身的活动记录和业务等，但另一方面对于移动电话这种不太有用户接口的自由度的硬件而言，检索期望的图像数据是很麻烦的。实际上利用图像数据的标题和日期时间等从文本的列表中进行检索是中心，当图像数据很多时十分麻烦，另外在键入文本的情况下也是，输入多个单词和较长的名称等也不能不说很麻烦的。

根据本检索系统的导入，通过作为带照相机的移动电话的应用来动作，从而开始“图像输入功能”，进行期望的“切取关心区域”、“计算特征量”。该特征量(数据)经由便携线路被发送给对应的服务器。该对应的服务器既可以与上述照相机一一对应，也可以对应于一对多的照相机。被发送给上述服务器的特征量，通过安装于服务器上的“匹配功能”，与从服务器所请求的数据库中所读取的特征量数据组进行实际的匹配处理，提取相似性较高的图像数据。将该所提取出的图像数据从服务器返回给上述发送方的移动电话，可以从移动电话通过未指定的打印机输出该图像数据。但是，此处对于服务器提取的图像数据，在进一步附加了与该图像数据相关联的各种信息的情况下，可进行“将该信息返回给移动电话”这样的功能的扩展，当然也可以对所提取的图像数据施加较高的压缩而返回给移动电话，由用户确认是期望的图像数据之后，即使仅存储于移动电话的存储区域中、或者显示于移动电话的显示器53上，也是有使用价值的。

[第4实施例]

下面说明本发明的第4实施例的检索系统。

在本实施例中，作为其结构，由作为带照相机的移动电话等的带有摄像功能的通信装置的具有通信功能的数字照相机10和由通信连接的服务器来构成，用于图像检索的功能被分开设置在数字照相机10和服务器上。

此时，与上述第1实施例一样，在数字照相机10中具有拍摄功能和根据该图像数据计算特征量的功能。在上述第1至第3实施例的情况下，进行比较参照的特征量数据组(或者特征量数据库)是以原本由用户或者该数字照相机10拍摄和印刷的图像组为基础而制作的。这是因为开始的目的在于对印刷了已经印刷过的图像数据的打印输出进行拍摄来检索。与此相对，本实施例对该目的进行扩展，将一般地以街头的招牌、广告和印刷物、出版物的图像为基础而计算出的特征量也取入到配置在服务器中的存储器20内所构成的数据库中，这一点具有很大不同。

不限于打印输出，当然也可以从位于数据库上的图像中进行提取。

另外，也可以将从所拍摄的图像中提取出的特征点追加到数据库中。

在登记时，将与图像关联的位置信息通过手动、GPS等的传感器、前面的文字识别等来进行识别登记。这样，接下来，在同样的地方拍摄图像时检索数据库，从而可以通过提取相似的图像来提取应该附加给该拍摄图像的位置信息。

图23是表示本实施例的检索系统的动作流程的图。而且，在该图中，关于与上述第1实施例对应的部分赋予相同的参照号码。

即，在本实施例中，例如通过数字照相机10对存在于街头的商品广告等的广告进行拍摄(步骤S11)。于是，使用数字照相机10从该拍摄图像数据上执行切取处理和特征量提取处理(步骤S12、步骤S13)。然后，将该提取的特征量通过内置于或者附属于数字照相机10的通信部发送到规定的服务器中。

在服务器中，参照该服务器可以访问的构成在存储器20中的特征量数据库，比较上述数字照相机10发送来的特征量数据(步骤S14)，提取具有相似的特征量数据的相似图像候选(步骤S41)。这些提取出的相似图像候选的图像数据根据需要被施加规定的压缩处理，而减少了通信量，之后发送给上述数字照相机10，可以在数字照相机10的显示部15上进行简单的显示(步骤S42)。由此，与上述实施例1一样，可以由用户进行选择。

然后，上述所提取(进而被选择)的图像候选的图像数据被发送输出给数字照相机10，或者根据与上述所提取(进而被选择)的图像候选的特征量相关联的指定信息进行下一个阶段的动作(步骤S43)。所谓该接下来的动作，如果为上述的商品广告，则既可以是该商品的解说和对邮购站点的连接，也可以将该站点画面作为图像数据返回给数字照相机10。另外，在拍摄街头的招牌时，通过将招牌的周围信息也作为特征量取入，或者也对通信时的无线基站所在地的数据进行比较，从而可以向用户呈现场所和住所的指定来作为信息。

[第5实施例]

接着，说明本发明的第5实施例的检索系统。

本实施例以所拍摄的检索方打印输出1的图像为基础，通过使用了第1模板的模板匹配从存储器20中检索多个图像数据，从该已检索的结果的多个图像数据中，使用比上述第1模板狭窄的区域而且分辨率较高的第2模板，通过模板匹配来检索单一或者多个图像数据。

本实施例的检索系统与上述第1实施例具有相同的结构，特别在本实施例中，在存储器20中构成有登记了作为第1模板的概要模板的整体特征量数据库和登记了作为第2模板的详细模板的详细特征量数据库。

此处，概要模板如图24所示，是通过以较低的分辨率对包含图像数据的整体(100％)的几乎所有(例如约90％)在内的区域提取特征量数据而得到的。另外，详细模板如图25所示，是通过以高于上述概要模板的分辨率的高分辨率对包含图像数据的中央区域部分(例如中央约25％)在内的区域提取特征量数据而得到的。而且，原图像数据与上述概要模板和详细模板的位置关系如图26所示。

图27是本实施例的检索系统的动作流程图。而且，在该图中，对于与上述第1实施例对应的部分赋予相同的参照号码。

即，在本实施例中，首先，与上述第1实施例一样，通过设定为检索模式的数字照相机10，在将期望再次进行打印输出的检索方打印输出1粘贴在桌子上或者墙面上等的状态下进行拍摄，使得至少没有上述检索方打印输出1的缺陷(步骤S11)。然后，使用数字照相机10的区域提取部12从摄像部11所拍摄的图像数据中指定上述检索方打印输出1的图像，执行用于指定/提取该部分的打印输出的切取处理(步骤S12)。

然后，接着通过特征量提取部13进行从上述区域提取部12所指定并提取的关心区域的图像数据整体中提取特征量的整体特征量提取处理(步骤S51)，将该提取出的整体特征量数据通过匹配部14与构成于存储器20中的登记了上述概要模板的整体特征量数据库进行比较，与按顺序提取出其相似度高的特征量数据的整体特征量DB进行匹配处理(步骤S52)。

之后，在上述区域提取部12中，从上述所指定并提取的关心区域整体的图像数据中，还将详细检索对象区域、在本例中为上述关心区域的中央区域部的图像数据作为详细检索对象图像数据来提取(步骤S53)。然后，通过特征量提取部13进行从由上述区域提取部12提取的详细检索对象图像数据中提取特征量的详细特征量提取处理(步骤S54)，通过匹配部14将该提取出的详细特征量数据与构成于存储器20中的登记了上述详细模板的详细特征量数据库进行比较，与按顺序提取出其相似度高的特征量数据的详细特征量DB进行匹配处理(步骤S55)。其中，此时，并非与登记在详细特征量数据库中的所有详细模板进行模板匹配，而只对在上述步骤S52的与整体特征量DB的匹配处理中提取出的与多个图像数据对应的详细模板进行模板匹配。因此，与因为分辨率较高而需要处理时间的详细模板之间的模板匹配处理在所需的最低限度上即可。而且，作为在上述步骤S52的与整体特征量DB的匹配处理中的提取基准，可以用对相似度设置阈值的方法或固定选择上位500个等的方法来进行。

然后，如果在与该详细特征量DB的匹配处理中将相似度较高的图像数据作为原图像候选提取出来，则在显示部15上将它们显示为应该提取的图像候选(步骤S15)，接受用户的选择，如果确定了用户期望的图像(步骤S17)，则匹配部14将存储在存储器20中的与该图像候选对应的原图像数据发送给所连接的打印机30，再次进行打印输出(步骤S18)。

根据这种本实施例，可以既实现原图像数据的检索结果的质量的(满意度)的提高，又能够实现适当的检索时间。

另外，可以得到考虑了拍摄者的关注区域的检索结果。即，一般拍摄者在画面中央捕捉主要被摄体来进行拍摄，所以如图28所示，通过使用关注于图像数据的中央部的详细模板，可以得到良好的检索结果。因此，在从作为所打印输出的图片的检索方打印输出1中检索提取该原图像数据，以易于进行加印的系统中，对于该打印图片的检索具有很好的效果。

进而，在对关键词分类等较难的原图像母集团的检索中，作为高速判断细部的不同的手段具有很高的效果。即，可以对大规模的母集团进行阶段性的检索结果筛选。

而且，在本实施例中，需要预先对一个原图像数据制作概要模板和详细模板，并登记在数据库中，该登记只要像上述第1实施例中所说明的那样进行即可。但是，不一定必须同时制作两个模板，例如也可以是在执行2次检索的阶段需要时制作详细模板的方法。

另外，详细模板如图25和图28所示，不限定关注于图像数据的中央部。

例如如图29所示，可以在图像内设定多处详细模板。通过这样地分散配置详细模板，可以避免打印拍摄条件导致的失败。即，可使位置和数量动态改变来进行筛选。

另外，如图30所示，也可以作为将关注区域放在原图像数据拍摄时的对焦位置上的详细模板。在这种详细模板中，可以看到反映了拍摄者的意图的结果。

另外，如图31所示，构成将低分辨率的概要模板22和高分辨率的详细模板23收纳于同一图像中的复合模板21，与上述第1实施例同样地仅进行1次模板匹配处理即可。例如如图32所示，通过组合概要模板22(16×16模板)和详细模板23(128×128模板)，来构成复合模板21。根据这种复合模板21，可以实现高速性和稳定的检索结果这两方面。另外，即使改变高分辨率区域的配置和结构，也能够不改变整体的安装来进行处理。

进而，如图33所示，预先对与概要模板相同的区域制作详细模板，并登记在数据库中，在与实际的详细模板进行模板匹配时，可将其中的部分区域、即图28至图30所示的区域用作参照区域24，将其它区域作为非参照区域25。

而且，关于本实施例，对应于上述第1实施例进行了说明，但对于上述第2至第4实施例当然也可以同样地适用。

另外，对本实施例的特征量的计算也可以使用将特征点组的配置关系作为基础的方法。

[第6实施例]

下面说明本发明的第6实施例的检索系统。

本实施例是使用带照相机的移动电话等的带摄像功能的通信装置即具有通信功能的数字照相机10的例子，适用于通过拍摄事先登记的图像，来识别该图像，根据识别结果使其进行规定的动作(例如声音输出和规定的程序的启动、或者规定的URL的显示)的情况。

在识别图像时，将图像数据作为进行参照的数据库(所谓字典数据)来登记，但并非原样比较图像，而是比较图像的特征量，这是高效且实际的做法，因此使用从图像提取出的特征量数据库。另外，该数据库可以是内置的，也可以存在于经由通信的服务器上。

在本实施例中，将图像的特征点的配置关系作为矢量的组合来计算，将该多个组作为特征量来定义。此时，该特征量的精度因特征点显现的数量而不同，原图像数据的精度越高越能够检测更多的特征点，所以对于相同的原图像数据，尽量用高精细的条件来计算特征量。此时，当对于相同的图像素材以降低了精度的图像数据为基础计算特征量时，由于特征点变得较少，所以特征量自身成为较小的容量。容量较小虽然在匹配精度上稍逊一筹，但具有匹配速度为高速、通信速度快等优势。

在本实施例中，着眼于此，在将图像数据作为参照数据(模板)进行登记时，在登记一个图像素材时根据不同的多个精度计算特征量，构成个别化为各个精度的数据库。在该各个数据库中，连接有分别对应的匹配服务器，成为可以并行动作的配置。即，如图34所示，准备1次特征量的匹配服务器和1次信息DB 21、2次特征量的匹配服务器和2次信息DB 22、...、n次特征量的匹配服务器和n次信息DB 2n。而且，2次特征量的匹配服务器和2次信息DB 22到n次特征量的匹配服务器和n次信息DB 2n比起1次特征量的匹配服务器和1次信息DB 21，是高精度的特征量或者特别的类别的数据库。

在准备了这种匹配处理系统的基础上，如图34所示，用具备通信功能的数字照相机10拍摄已经登记的外观(对象标记)(步骤S61)，通过上述数字照相机10所内置的应用软件，根据特征点的配置关系来计算特征量数据(步骤S13)。然后，将该特征量数据经由通信发送给各匹配服务器，从而进行与各DB的匹配处理(步骤S14)。通过该匹配处理，如果得到了进行匹配的结果，则获得与该结果相关联的动作信息(例如URL的链接等)(步骤S62)，将该动作信息发送给数字照相机10，来执行例如3D对象获取和显示之类的指定动作(步骤S63)。

而且，如果此时的照相机分辨率为200万像素级，则经由通信使用匹配服务器进行检索的情况下也用来自200万像素级的分辨率的特征量数据库的数据来进行匹配的话会减少错误识别率。但是，同时进行动作的低分辨率(例如VGA级别的分辨率)的特征量数据库下的匹配由于进行高速的响应，所以将结果先发送到数字照相机10中。这种将匹配服务器按照不同分辨率进行并列配置的情况在速度上、识别精度上是有利的。而且，有时后面追来的来自高分辨率匹配服务器的回答与前面已经发出去的低分辨率匹配服务器的回答不同，在该情况下，首先进行基于在先结果的显示，之后更新为基于后续结果的显示。例如准备识别纸币等时，即使在低分辨率匹配下的回答为“一万日元纸币”这样的水平，也能像在高分辨率匹配下“一万日元纸币，其号码为ZTA473298SPK”这样的回答那样，得到更高精度下的详细或者正确的结果。

另外，如上所述，在高分辨率匹配服务器中特征量自身的容量较大，XGA级别的特征量增大到40kB左右，但是预先通过低分辨率匹配将其减小到大致10kB左右。另外，在2次以后的匹配服务器和数据库中，如果仅保持了与更低分辨率数据库之间的差值，则实现更小的数据库的结构，其可以达到识别处理的高速化。而且，利用模板(进行区域分配，比较各自的浓度值的方式)对特征量进行提取时，确认到一般为10kB以下，适当地组合两个方式的多元特征量也对提高识别精度是有效的。

这样，对拍摄图像面的部分或者整面的分辨率进行多阶段化，实现实质上的匹配阶段化的情况相比单纯地对多个匹配服务器进行簇分散处理的情况，在识别速度、识别精度这两面上具有效果。

特别是，该方式在预先登记在数据库中的图像非常多(1000以上)的情况下具有效果，另外，在其中包含有相似性较高的图像的情况下也具有效果。

[第7实施例]

接着，说明本发明的第7实施例的检索系统。

本实施例在上述的步骤S12中的打印输出的切取处理上具有特征，其他与上述第1实施例相同，所以省略其说明。本实施例采用了通过线段提取来提取闭合区域的方法。

即，本实施例的打印输出的切取处理如图35所示，首先从包含由数字照相机10所拍摄的检索方打印输出1的图像在内的图像数据中提取边缘成分以易于检测线段(步骤S124)。这是例如像共立出版株式会社刊·尾崎等著的「画像処理」、日刊工业新闻社刊·手塚等著的「デジタル画像処理工学」等中所公开的使用过滤器从图像数据中提取边缘成分的技术。此时，过滤器根据进行检测的边缘方向，使用如图36所示那样的一般的过滤器。而且此处，说明了提取x、y这2个方向上的边缘成分的例子，但在没有指定成为对象的检索方打印输出1的朝向的情况下，进行所有方向的边缘成分的提取。

接着，进行直线成分的提取(步骤S125)。例如进行霍夫变换下的直线成分的提取。

所谓霍夫变换，例如像共立出版株式会社刊·尾崎等著的「画像処理」、日刊工业新闻社刊·手塚等著的「デジタル画像処理工学」等中所公开的那样，是通过坐标变换从点的集合中确定直线的式子的手法，可以在图像处理中良好地使用。

在霍夫变换中，如图37所示，将图像上的坐标(X、y)变换为由θ，ρ来表示的霍夫曲线。

ρ＝xcosθ+ysinθ......式(1)

在通过边缘提取过滤器进行了边缘提取的图像中，将超过阈值的像素的坐标(x、y)变换为霍夫曲线，在以θ，ρ为坐标轴的θ-ρ图像上描绘曲线。实际上，使θ-ρ图像的坐标(θ，ρ)递增。

由于霍夫曲线的交点表示相同直线，所以上述得到的θ，ρ坐标的亮度(交点处的重叠)表示存在于同一直线上的像素数。将θ-ρ图像上亮度最亮的坐标(θ，p)代入上述式(1)，得到直线的式子。

接着，将由上述霍夫变换所得到的各直线分解为线段(步骤S126)。即，求出延长了各直线的线段。然后，根据各线段的关系和形状来确定区域(步骤S127)。即，探索由4个线段所包围的区域，当为闭合区域时作为提取区域。这是因为当拍摄图像视野内仅有一个检索方打印输出1(关注区域)时，探索由4个直线所包围的区域即可，但当具有多个检索方打印输出1，而且其一部分重叠时，无法用4个直线包围位于下面的检索方打印输出1。通过延长的线段来探索各直线，可以对这种位于下面的检索方打印输出1也推测闭合区域。

而且，对于识别闭合区域提出了各种方法，在此不再叙述。另外，此处对边缘提取、使用了霍夫变换的直线提取进行了说明，但只要是检测直线的方法就不限于这些。

图38和图39表示上述处理中的直线的提取的例子。粗线17表示所提取的直线。图38表示在拍摄图像视野内仅有一个关注区域的情况，另外图39表示具有多个关注区域的情况。

当具有多个关注区域时，有时检索多个原图像数据，但是，当筛选为一个的情况下，可以按下述那样进行选择。

例如优先选择位于被摄体图像的中央部的闭合区域。

或者，也可以将求出的多个闭合区域显示于数字照相机10的显示部15上，通过十字键等的操作，由用户选择期望的闭合区域。另外，此时也可以通过这种用户接口，允许用户对区域的局部修改。

另外，还可以优先选择面积较大的闭合区域。

或者，可以选择提取区域中含有较多规定色彩的图像(红、蓝等)。

进而，还可以选择提取区域中的频率分布接近规定值的图像。

另外，也可以优先选择与其他图像重叠较少即在上方的闭合区域。作为该重叠较少的状态的识别方法，具有以下的方法。

方法1：通过霍夫变换，对于识别为位于同一线上的点，将图37中的右图上的各点再次配置在图37中的左图的线上。通过这样确定线上的线段，可以根据各线段与图39的提取区域的关系求出区域的上下关系。将位于更上方的区域作为重叠较少的区域。

方法2：在检索系统中，当具有多个进行匹配的模板时，仅某个模板的相似度非常低时，可以判断为该部分被其他区域遮蔽。

除了使用上述方法之外，还可以组合上述方法1和2，来判断精度更好、重叠较少的状态。

如上所述，由于本实施例是求出基于提取直线的线段的交点的方式，所以只要能看到检索方打印输出1的各边的一部分即可。

因此，可以易于从多张检索方打印输出1中提取作为目的的检索方打印输出1。特别是，即使在检索方打印输出1彼此部分重叠的情况下也能进行提取。

[第8实施例]

接着，说明本发明的第8实施例的检索系统。

本实施例在上述的步骤S12中的打印输出的切取处理上具有特征，其他与上述第1实施例相同，所以省略其说明。本实施例采用了通过边缘提取来提取闭合区域的方法。

图40表示本实施例的打印输出的切取处理的动作流程图。

即，使用过滤器从包含由数字照相机10拍摄的检索方打印输出1的图像在内的图像数据中提取边缘(步骤S124)。接着探索这些检测出的边缘(步骤S128)，根据边缘的形状来确定区域(步骤S129)。

也可以根据这种方法来提取闭合区域。

[第9实施例]

接着，说明本发明的第9实施例的检索系统。

本实施例在上述的步骤S12中的打印输出的切取处理上具有特征，其他与上述第1实施例相同，所以省略其说明。本实施例采用了分割图像内部，限定提取线段来提取闭合区域的方法。

即，在本实施例中，当在检索模式下使用数字照相机10对检索方打印输出1进行拍摄时，如图41所示，在显示部15上显示引导框18。然后让用户进行拍摄，以使检索方打印输出1的上下左右的4边之一分别进入被该引导框18所划分的上边区域、下边区域、左边区域和右边区域内。而且，各区域的宽度通过在数字照相机10的设定模式下操作十字键等，可以由用户设定为易于拍摄的宽度。

由此，可以将拍摄图像数据也同样分割为上边、右边、左边、下边这4个区域。而且，在上述第6实施例所说明的直线提取中，对上边和下边区域只进行横线的检测，对右边和左边区域只进行纵线的检测。通过这样进行限定，可以大幅减少计算量。

图42是本实施例的打印输出的切取处理的动作流程图。即，在本实施例中，首先根据当前的引导框18的设定来确定包含数字照相机10所拍摄的检索方打印输出1的图像在内的图像数据中的直线提取区域(步骤S12A)。即，如图43所示，对于拍摄图像数据19，确定上下左右4个直线提取区域。然后，从该确定的各直线提取区域的图像数据19U、19D、19L、19R中提取直线(步骤S12B)。

即，在上述第6实施例中，对图像数据内的所有直线进行霍夫变换，对成为该直线上的点的像素进行计数，但在本实施例中，如图44所示，确定了各直线提取区域上的各边的存在角度范围。

以下，根据处理区域大小来确定探索范围。

对角线角度θ＝±αtan(处理区域高度/处理区域宽度)

纵线探索范围：90-θ～90+θ

横线探索范围：0～θ，180-θ～180

即，如图45的动作流程图所示，比较处理区域的宽度和高度(步骤S71)，如果宽度一方较大，则提取0～atan(处理区域高度/处理区域宽度)和π-atan(处理区域高度/处理区域宽度)～π的范围的直线(步骤S72)。另外，如果处理区域的高度大于宽度，则提取π/2-atan(处理区域宽度/处理区域高度)～π/2+atan(处理区域宽度/处理区域高度)的范围的直线(步骤S73)。

这样对探索区域施加限制之后，由在上述第6实施例中所说明的步骤来确定闭合区域(步骤S12C)。然后，将所确定的闭合区域作为粗线17提示在数字照相机10的显示部15上。

而且，当由于图像数据内的噪声等的影响而使提取区域并非期望的区域时(例如检测了地面和水平线的情况下)，可通过下面的手法来修正。

(a)上述霍夫变换中的θ，ρ坐标的亮度使用第2位的直线。

(b)使用用户手动选择提取的直线。

当然，可以像上述第6实施例中所说明的那样，由用户局部地修改上述所提取的闭合区域。

如上所述，根据本第8实施例，通过在拍摄画面内进行分割，将检索方打印输出1的边进行诱导而导入各区域中，可以限定检测范围，实现计算量的减少和高速化。

而且，输入图像并不限于静止图像。当输入动态图像时，可以对各帧进行处理，显示逐步提取区域。另外，同时对多帧信息进行评价，例如不拘泥于霍夫变换的θ，ρ坐标的亮度值，可以在任意的帧中将所提取的直线、规定的多帧中出现次数较多的直线作为候选。

另外，输入图像不限于打印机所打印输出的检索方打印输出1。如图46所示，可以拍摄显示图像数据的显示设备60，将显示于该显示设备60上的图像数据作为关心区域进行提取，如图47那样显示粗线17。而且此时，如图43所示，也可以将各直线提取区域的图像数据19U、19D、19L、19R置换为黑图像数据，将粗线17显示得更可识别。

根据上述实施例说明了本发明，但本发明不限于上述实施例，当然可以在本发明的主旨的范围内进行各种变形和应用。

例如，数字照相机不限于拍摄静止图像的数字照相机，也包含拍摄动态图像的数字摄像机。

另外，所谓具备通信功能的数字照相机即带摄像功能的通信装置包含带照相机的移动电话、带照相机的PHS、固定电视电话。

产业上的可利用性

作为本发明的应用范围，不仅在带照相机的移动电话和数字照相机中，而且在使用图像进行认证的方式的安全系统等、一般通过照相机拍摄数字图像来进行存储的系统中也被期待着广泛的应用。

Claims (13)

1.一种检索系统，其特征在于，该检索系统具有：

区域提取单元(12；41)，其从摄像单元(11)拍摄包含打印输出图像(1)在内的被摄体而得到的图像数据中，提取与上述打印输出图像对应的区域；

特征量提取单元(13；42)，其提取上述区域提取单元所提取出的区域的特征量；以及

检索单元(14；43)，其访问可根据特征量来检索图像数据的数据库(20)，根据上述特征量提取单元所提取出的特征量，从上述数据库中检索图像数据。

2.根据权利要求1所述的检索系统，其特征在于，该检索系统作为内置于数字照相机(10)中的系统来实现。

3.根据权利要求1所述的检索系统，其特征在于，该检索系统作为内置于带摄像功能的通信装置(50)中的系统来实现。

4.根据权利要求1所述的检索系统，其特征在于，该检索系统还具有上述摄像单元。

5.根据权利要求1所述的检索系统，其特征在于，该检索系统还具有上述数据库。

6.根据权利要求1所述的检索系统，其特征在于，上述数据库位于上述检索系统之外，

对上述数据库的访问通过通信单元来进行。

7.根据权利要求5所述的检索系统，其特征在于，上述数据库对打印输出的图像的原图像数据计算特征量。

8.根据权利要求1所述的检索系统，其特征在于，上述特征量由特征点和格子状模板构成，

上述检索单元通过同时使用上述特征点和格子状模板来进行筛选，以此检索图像数据。

9.一种检索方法，该检索方法以打印输出图像(1)为基础来检索图像数据，其特征在于，在该检索方法中，

从摄像单元(11)拍摄包含打印输出图像在内的被摄体而得到的图像数据中，提取与上述打印输出图像对应的区域；

提取上述所提取出的区域的特征量；以及

访问可根据特征量来检索图像数据的数据库(20)，根据上述所提取出的特征量，从上述数据库中检索图像数据。

10.一种检索系统，其特征在于，该检索系统具有：

拍摄被摄体的摄像单元(11)；

特征量提取单元(12；42)，其提取由上述摄像单元所拍摄的区域的特征量；

检索单元(14；43)，其访问可根据特征量来检索图像数据的图像数据库(20)，利用上述特征量提取单元所提取出的特征量，从上述图像数据库中检索图像数据；以及

显示单元(15；44)，其显示上述检索单元的多个检索结果。

11.根据权利要求10所述的检索系统，其特征在于，

上述摄像单元拍摄由特征量唯一地确定位置的对象物来作为上述被摄体，

上述检索单元从通过上述摄像单元的拍摄所得到的图像数据来识别拍摄者的位置，访问存储了与位置相关的关联信息的关联信息数据库(20)，根据上述所识别的位置，从上述关联信息数据库中检索关联信息。

12.根据权利要求11所述的检索系统，其特征在于，上述显示单元将由上述检索单元所检索的图像数据和关联信息重叠显示于地图上的相应位置上。

13.根据权利要求12所述的检索系统，其特征在于，上述显示单元在将上述所检索的图像数据和关联信息重叠显示于地图上的相应位置上时，根据规定的比例尺来进行显示。

Images