CN101010694A - 检索系统以及检索方法 - Google Patents

Abstract

本发明提供一种检索系统以及检索方法。所述检索系统根据拍摄得到的图像数据，通过使用了概要模板(21)的模板匹配而从构成全体特征量数据库的存储器(20)中检索多个图像数据，使用与上述概要模板(21)相比区域窄且解像度高的详细模板(22)，从该检索出的结果的多个图像数据中，通过模板匹配检索一个或多个图像数据。

Description

检索系统以及检索方法

技术领域

本发明涉及从数据库中检索图像数据的检索系统以及检索方法。

背景技术

近年来，与使用胶卷式照相机拍摄的图像同样，对于使用数字照相机拍摄的图像数据也正在广泛地将其打印输出而进行欣赏。

当要再次打印已经这样打印输出的图像数据时，用户必须参考该图像数据的附带信息(文件名、拍摄日期时间等)来从图像存储介质中进行检索，非常麻烦。

因此，例如，在日本特开2001-88374号公报中提出了以下的存储打印机(storage printer)，即以从图像数据供给源中简单地找出已经打印输出的图像的数据作为目的，保存已打印输出的图像数据，能够进行关键字检索等。

但是，在上述日本特开2001-88374号公报中公开的存储打印机中，进行基于关键字分类的检索，因此需要用户预先进行分类，而花费时间。

此外，在通过模板匹配从较大的母集中检索目标图像数据的情况下，当为了提高识别率而直接应用解像度较高的模板时，因为存在运算时间增加的倾向，所以需要高速化方法。

发明内容

本发明是鉴于上述的问题点而产生的，其目的在于提供一种可以从数据库中容易且高速地搜索出图像数据的检索系统以及检索方法。

本发明的检索系统的一个实施方式的特征在于，所述检索系统具备：图像输入单元，其输入图像；以及图像检索单元，其根据由上述图像输入单元输入的图像，通过使用了第1模板的模板匹配而从数据库中检索多个图像，使用与上述第1模板相比区域窄且解像度高的第2模板，从该检索出的结果的多个图像中，通过模板匹配检索出一个或多个图像。

此外，本发明的检索系统的另一实施方式的特征在于，所述检索系统具备：图像输入单元，其输入图像；以及图像检索单元，其根据由上述图像输入单元输入的图像，通过基于部分地提高了解像度的模板进行的模板匹配而从数据库中检索一个或多个图像。

此外，本发明的检索方法的一个实施方式的特征在于，输入图像，根据上述输入的图像，通过使用了第1模板的模板匹配而从数据库中检索多个图像，使用与上述第1模板相比区域窄且解像度高的第2模板，从上述检索结果的多个图像中，通过模板匹配来检索一个或多个图像。

此外，本发明的检索方法的另一实施方式的特征在于，输入图像，根据上述输入的图像，通过基于部分地提高了解像度的模板进行的模板匹配而从数据库中检索一个或多个图像。

附图说明

图1示出了本发明的第1实施例的检索系统的概要结构。

图2是用于说明概要模板的图。

图3是用于说明详细模板的图。

图4是用于说明原图像数据与概要模板和详细模板之间的位置关系的图。

图5是第1实施例的检索系统的结构框图。

图6示出了第1实施例的检索系统的动作流程图。

图7示出了打印输出的切出处理的详细流程图。

图8示出了与数据库的匹配处理的详细流程图。

图9示出了仅显示1个图像候选时的数字照相机的显示部的显示画面。

图10示出了显示9个图像候选时的显示画面。

图11是用于说明关注图像数据的中央部的详细模板的图。

图12是用于说明分散配置在图像内的多个位置处的详细模板的图。

图13是用于说明使关注区域处于原图像数据摄影时的对焦位置的详细模板的图。

图14是用于说明在同一图像内容纳了概要模板和详细模板的复合模板的图。

图15示出了16×16模板、128×128模板、以及将它们组合而成的复合模板。

图16是用于说明对于与概要模板相同的区域生成的详细模板的图。

图17示出了用于说明特征量数据库的生成方法的流程图。

图18示出了用于说明特征量数据库的生成方法的另一例的流程图。

图19示出了用于说明特征量数据库的生成方法的另一例的流程图。

图20示出了用于说明特征量数据库的生成方法的另一例的流程图。

图21是本发明的第2实施例的检索系统的结构框图。

图22示出了第2实施例的检索系统的动作流程图。

图23示出了打印输出的摄像处理的详细流程图。

图24示出了用于说明特征量数据库的生成方法的流程图。

图25示出了在数字照相机中应用摄影时等的范本图像引导功能的例子。

图26示出了引导的显示例。

图27示出了引导的另一显示例。

图28示出了本发明的第3实施例的检索系统的动作流程图。

具体实施方式

以下，参照附图来说明用于实施本发明的优选方式。

(第1实施例)

如图1所示，本发明的第1实施例的检索系统由数字照相机10、存储器20以及打印机30构成。此处，存储器20存储多个图像数据，打印机30打印输出存储在该存储器20中的图像数据。

例如，存储器20是内置于数字照相机10中或可对于数字照相机10自由装卸的存储器，打印机30根据来自数字照相机10的打印输出指示来打印输出作为该存储器20的存储器内的图像数据。或者，存储器20通过连接端子、线缆、或无线/有线网络与数字照相机10连接，或者，也可以是能够安装从数字照相机10取出的存储器而传送图像数据的设备。此时，打印机30也可以构成为连接在存储器20上或与存储器20一体地构成，根据来自数字照相机10的打印输出指示来执行打印输出。

另外，存储器20还具备构成为可通过特征量来检索图像数据的数据库的功能。即，存储器20构成特征量数据库，所述特征量数据库存储有利用原图像的数字数据而生成的特征量数据(模板)群。

此时，包括登录了作为第1模板的概要模板的全体特征量数据库、和登录了作为第2模板的详细模板的详细特征量数据库。另外，特征量可以使用与预定的解像度相当的图像数据内的分割区域、即由预定的格子划分的小区域的相对浓度等，也可以是基于每个分割区域的傅立叶变换值等的特征量。

此处，如图2所示，概要模板21是按照比较粗糙的解像度(分割区域)对于包括图像数据50全体(100％)的大部分(例如大约90％)的区域来提取特征量数据而得到的模板。并且，如图3所示，详细模板22是按照高于上述概要模板21的解像度对包括图像数据50的中央区域部分(例如中央大约25％)的区域来提取特征量数据而得到的模板。另外，原图像数据与上述概要图像模板21及详细模板22之间的位置关系如图4所示。

这样结构的检索系统如下述那样动作。

(1)首先，数字照相机10拍摄被摄体，所述被摄体包括通过打印机30已经打印输出的检索元打印输出1的图像。然后，从所得到的摄影图像数据中提取与该检索元打印输出1的图像对应的区域，提取该提取出的区域的特征量。

(2)然后，数字照相机10利用该提取出的特征量来与存储在存储器20中的概要模板21以及详细模板22进行模板匹配处理。

(3)其结果，数字照相机10从存储器20中读出与匹配的模板对应的图像数据来作为上述检索元打印输出1的原图像数据。

(4)由此，数字照相机10能够使用打印机30来再次打印输出该读出的原图像数据。

另外，作为检索元打印输出1，除以1张为单位来输出的打印输出之外，还可以使用集中多个缩小图像而输出的索引打印。这是因为从索引打印中选择需要的图像而进行加印在成本和方便性方面都好。

此外，关于检索元打印输出1，如果在构成于系统内的存储器20中的特征量数据库中存在原图像数据，则也可以利用系统外(未图示)的打印机来打印输出。

以下，参照图5表示的结构框图以及图6表示的动作流程图来详细说明本实施例1的检索系统。另外，数字照相机10除了通常的摄影模式之外还具有对已完成拍摄的数据的检索模式，图6的动作流程图示出了设定为该检索模式时的处理。

即，用户在设定了上述检索模式之后，在将希望再次打印输出的检索元打印输出1粘贴在桌子上或壁面等的状态下，通过数字照相机10的摄像部11，在至少上述检索元打印输出1没有缺失的情况下进行拍摄(步骤S11)。

于是，在数字照相机10中，在区域提取部12中，从由摄像部11拍摄到的图像数据中，确定上述检索元打印输出1的图像，执行用于确定并提取该部分的打印输出切出处理(步骤S12)。

如图7所示，该打印输出切出处理首先检测出所拍摄的图像数据中的线段(步骤S121)，从这些检测出的线段中检测出直线(步骤S122)。然后，推断出由这些检测出的4根直线所构成的框(步骤S123)。即，从所拍摄的图像数据中搜索出由4边围成的关注区域。另外，当存在多个这样的由4边围成的区域时，提取其中面积最大的部分来作为关注区域，或者也可以根据矩形的纵横比等来确定关注区域。并且，偶尔，在所拍摄的图像数据中检索元打印输出1本身产生弯曲，其结果，无法确定为由4边围成的区域。此时，进行即使4边中任意几条边由较平缓的圆弧构成也允许的处理。并且，此处也包括在提取出视为检索元打印输出1的区域之后，通过仿射变换等对该图像数据区域进行归一化的处理。

接下来，通过特征量提取部13进行全体特征量提取处理，所述全体特征量提取处理从上述区域提取部12所确定并提取的关注区域的图像数据整体中提取特征量(步骤S13)。然后，通过匹配部14来对由上述特征量提取部13提取出的全体特征量数据、和构成于存储器20中的、登录有上述概要模板21的全体特征量数据库进行比较，执行依次提取类似度高的特征量数据的与全体特征量数据库之间的匹配处理(步骤S14)。

即，如图8所示，与该全体特征量数据库的匹配处理首先计算出与各概要模板21的类似度(步骤S141)，基于类似度进行排序(步骤S142)。然后，按照该类似度来选择原图像候选(步骤S143)。另外，该选择可以设定阈值，也可以按照类似度从高到低的顺序来指定排在前面的原图像候选。总之，存在如下的2种方法：选出类似度最高的1个原图像候选的方法和从类似度高的原图像候选中选出多个的方法。

之后，通过上述区域提取部12，从上述确定并提取的关注区域全体的图像数据中，进一步提取详细检索对象区域，在本例中作为详细检索对象图像数据提取上述关注区域的中央区域部的图像数据(步骤S15)。然后，通过特征量提取部13来进行详细特征量提取处理，所述详细特征量提取处理从通过上述区域提取部12提取出的详细检索对象图像数据中提取特征量(步骤S16)，利用匹配部14对该提取出的详细特征量数据和构成于存储器20中的、登录有上述详细模板22的详细特征量数据库进行比较，执行依次提取类似度高的特征量数据的与详细特征量数据库之间的匹配处理(步骤S17)。但是此时，不进行与登录在详细特征量数据库中的所有的详细模板22的模板匹配，而仅执行关于与上述步骤S14的与全体特征量数据库的匹配处理中提取出的多个原图像候选对应的详细模板22的模板匹配。从而，能够以必要的最低限度来完成因为解像度高而需要处理时间的、与详细模板22的模板匹配处理。另外，作为上述步骤S14的与全体特征量数据库的匹配处理中的提取基准，使用对于类似度设置阈值的方法或固定地选择排在前面的500个等方法来进行。

而且，如果在与该详细特征量数据库的匹配处理中提取出了类似度高的图像数据作为原图像候选，则接下来，从存储器22中读出上述提取出的原图像候选的图像数据，作为所要提取的图像候选显示在显示部15(步骤S18)，接受用户的选择(步骤S19)。

图9示出了仅显示1个图像候选时的显示部15的显示画面。在该显示画面中，在图像候选151的显示的旁边，配置有表示在指示显示其他的图像候选时所要操作的按钮的“前”以及“后”图标152、和表示在指示该图像候选151作为所希望的图像数据时所要操作的按钮的“确定”图标153。“前”以及“后”图标152表示数字照相机10通常具备的所谓十字键的左键以及右键，“确定”图标153表示配置在该十字键的正中间的回车键。

此处，在操作了与“前”以及“后”图标152相当的十字键时(步骤S20)，返回到上述步骤S18，更新显示图像候选151。与此对应，在操作了与“确定”图标153相当的回车键时(步骤S20)，匹配部14将存储在存储器20中的、与该图像候选151对应的原图像数据传送到所连接的打印机30，再次进行打印输出(步骤S21)。此外，在没有通过有线/无线的方式与打印机30直接连接的情况下，对存储于存储器20中的与该图像候选151对应的原图像数据执行追加标记等的预定的标记处理，从而能够使用可访问该存储器20的打印机30来进行打印输出。

另外，在上述步骤S18的图像候选的显示中，可以同时显示多个候选。此时，通常配置在数字照相机10上的显示部15当然是几英寸的小型显示器，因此易于使用4个或9个左右的显示。图10示出了显示9个图像候选151的例子。此时，根据与“前”以及“后”图标152相当的十字键的左键以及右键的操作，移动表示选择图像的粗框154。另外，虽然没有特别图示，也可以与十字键的上键以及下键的操作相应地，将9个图像候选151的显示变更为前9个图像候选以及后9个图像候选的显示，进行所谓页面切换显示。

根据这样的本实施例，能够提高原图像数据的检索结果的质量(满意度)，并且可以兼顾妥当的检索时间。

此外，能够得到考虑了摄影者的关注区域的检索结果。即，通常，如图11所示，摄影者在图像中央捕捉主要被摄体而进行拍摄，所以通过使用关注图像数据的中央部的详细模板22，能够得到良好的检索结果。从而，在从所打印输出的照片即检索元打印输出1中检索提取其原图像数据、容易地进行加印的系统中，提高了该打印照片的检索的效果。

进而，在对难以进行关键字分类等的原图像母集的检索中，作为高速地判别细部差异的手段的效果较好。即，能够对于大规模的母集阶段性地缩小检索结果的范围。

另外，详细模板22并不限于如图3和图11所示关注图像数据的中央部。

例如，如图12所示，可以在图像内的多个位置设定详细模板22。通过像这样分散配置详细模板22，能够避免因打印摄影条件而引起的失败。即，能够动态地改变位置和数量而缩小范围。

此外，如图13所示，也可以是使关注区域处于原图像数据摄影时的对焦位置的详细模板22。在这样的详细模板22中，能够预料到反映出摄影者意图的结果。

此外，如图14所示，也可以构成在同一图像中容纳了低解像度的概要模板21和高解像度的详细模板22的复合模板23，通过1次模板匹配处理来完成。例如，如图15所示，通过组合概要模板21(16×16模板)和详细模板22(128×128模板)而构成复合模板23。根据这样的复合模板23，能够同时取得高速性和稳定的检索结果。并且，即使变更了高解像度区域的配置和结构，也可以不变更整体的安装而进行处理。

而且，如图16所示，预先针对与概要模板21相同的区域生成详细模板22并登录到数据库中，在进行与实际的详细模板22的模板匹配时，可以使用其中的一部分区域即如图11至图13所示那样的区域作为参照区域24，而将其他的区域作为非参照区域25。

另外，需要预先根据存储器20中的原图像数据生成如上述那样的登录了详细模板22的详细特征量数据库、以及登录了概要模板21的全体特征量数据库。此外，该存储器20可以是附属于数字照相机10的存储器，也可以是通过图2中用虚线表示的那样的通信部可访问的数据库。

在这些特征量数据库的生成中，考虑了各种方法。

例如，有如下的方法：即在原图像摄影时将该摄影图像数据保存到数字照相机10的存储区域中时，进行各特征量计算和该数据库登录。即，如图17所示，利用数字照相机10进行拍摄(步骤S301)，将该摄影图像数据保存到数字照相机10的存储区域中(步骤S302)。然后，根据该保存的摄影图像数据，按照2种解像度(以及位置)分别计算特征量而生成两个模板数据(步骤S303)，将该生成的各模板数据与上述摄影图像数据关联起来而保存到各自的数据库中(步骤S304)。从而，如果存储器20是数字照相机10内置的存储器，则构建成数据库。此外，当存储器20独立于数字照相机10时，将保存在数字照相机10的存储区域中的摄影图像数据与模板数据一同传送至存储器20，构建数据库。

此外，在使用打印机30来打印输出蓄积在存储器20中的原图像数据时，与该打印输出指示同时地进行特征量提取处理，蓄积到数据库的处理也是处理上高效的方法。即，如图18所示，在打印输出蓄积在存储器20中的原图像数据时，通常根据用户的指示来选择要打印输出的原图像数据(步骤S311)，或者，设定打印条件(步骤S312)来执行打印(步骤S313)。通常，在此处结束打印处理，但在本例中进一步继续，按照各解像度(以及位置)根据该选择的原图像数据来计算特征量，生成两个模板数据(步骤S314)，将所生成的各模板数据与该原图像数据关联起来保存到各数据库中(步骤S315)。另外，通过在模板数据生成时反映打印条件，能够提高检索元打印输出1和模板数据的匹配精度。根据这样的方法，仅对于可能实施匹配处理的原图像数据生成模板数据，所以能够省略不必要的模板数据的生成时间以及保存容量。

此外，当然也可以通过批处理来进行。即，如图19所示，当存在来自用户的集中模板生成执行指示时(步骤S321)，选择存储器20内的模板未生成原图像数据(步骤S322)，对这些选择出的模板未生成原图像数据执行集中模板生成处理(步骤S323)。该集中模板生成处理按照各解像度(以及位置)从各个模板未生成原图像数据中提取特征量来生成两个模板数据(步骤S323A)，将这些生成的各模板数据与所对应的原图像数据关联起来而保存到存储器20中(步骤S323B)。

而且，也可以根据用户的指示输入来单独进行处理。即，如图20所示，用户选择存储器20内的原图像数据中的一个(步骤S331)，对该选择出的原图像数据进行生成模板数据的指示(步骤S332)，从而按照各解像度(以及位置)从该选择出的原图像数据中提取特征量来生成两个模板数据(步骤S333)，将该生成的各模板数据与上述选择出的原图像数据关联起来而保存到各自的存储器20中(步骤S334)。

另外，无需一定同时生成两个模板，例如，也可以是在执行二次检索的阶段中在需要的时候生成详细模板22的方法。

此外，上述步骤S12至S20的处理作为在数字照相机10内执行的处理进行了说明，但在存储器20独立于数字照相机10存在的情况下，将这样的处理作为软件由存储器20启动，或者可以按分割的形式启动数字照相机10和存储器20，从而进行实际工作。

如上所述，到此为止，当要再次打印已经打印输出的图像数据时，用户大多以图像数据的附带信息(文件名、摄影日期时间等)为参考来进行检索，但根据本实施例的检索系统，仅由数字照相机10拍摄所希望的检索元打印输出1的图像，即可访问原图像的文件(图像数据)，能够提供直观且用户容易操作的检索方法。

加之，不仅是原图像数据本身，还可以检索类似的图像结构的图像数据，能够提供派生的新的用途。即，在该所谓检索模式下拍摄街头的广告牌或海报等，可以从附属于数字照相机10的存储器、或可通过图5中虚线所示的通信部进行访问的数据库等的存储器20中存在的图像数据及其特征量数据中，容易地检索出类似或相同的图像数据。

并且，如上所述，根据本实施例，能够提高原图像数据的检索结果的质量(满意度)，并且兼顾妥当的检索时间。

进而，能够得到考虑了摄影者的关注区域的检索结果。

此外，在对难以进行关键字分类等的原图像母集的检索中，作为高速地判别细部差异的手段的效果较好。即，能够对于大规模母集阶段性地缩小检索结果的范围。

(第2实施例)

接下来，参照图1来说明本发明的第2实施例的检索系统的概略情况。

即，本检索系统由数字照相机10、存储器20、打印机30、以及个人计算机(PC)40构成。此处，存储器20是内置于PC 40或可通过通信进行访问的存储装置。此外，PC 40构成为与数字照相机10无线/有线连接，或者，可以安装从数字照相机10取下的存储器而读出保存在数字照相机10的存储器中的图像数据。

这样结构的检索系统如下述那样动作。

(1)首先，数字照相机10拍摄被摄体，所述被摄体包括已经利用打印机30打印输出的检索元打印输出1的图像。

(5)PC 40从所得到的摄影图像数据中提取与该检索元打印输出1的图像对应的区域，提取该提取出的区域的特征量。

(6)然后，PC 40根据该提取出的特征量来执行与存储在存储器20中的概要模板21以及详细模板22的模板匹配处理。

(7)其结果，PC 40读出与相匹配的模板对应的图像数据作为上述检索元打印输出1的原图像数据。

(8)由此，PC 40能够利用打印机30再次打印输出该读出的原图像数据。

以下，参照图21所示的结构框图以及图22所示的动作流程图来详细说明本第2实施例的检索系统。另外，在这些图中，对于与上述第1实施例对应的部分赋予了相同的标号。

即，本实施例将由数字照相机10拍摄的图像数据蓄积在该用户确定的内置于PC 40内或与PC 40连接的存储器20中，并且在图22中作为PC侧所示的处理作为应用软件在PC 40中动作。另外，在以有线或无线的形式连接PC 40和数字照相机10、建立了通信状态的状态下，启动本应用软件。此处，也可以通过接通设定在数字照相机10中的“检索模式”等的开关的操作来启动功能。

像这样通过使本应用软件动作，在数字照相机10侧执行打印输出的摄像处理(步骤S11)。即，如图23所示，在将希望再次打印输出的检索元打印输出1粘贴在桌子上或壁面等的状态下，用户通过数字照相机10的摄像部11，在至少上述检索元打印输出1没有缺失的情况下进行拍摄(步骤S111)。由此，所得到的摄影图像数据保存到数字照相机10内的存储器即存储部16中。然后，该保存的摄影图像数据以有线或无线的方式传送到所连接的PC 40(步骤S112)。

于是，在PC 40中，通过由应用软件实现的区域提取部41，从上述发送来的摄影图像数据中确定上述检索元打印输出1的图像，执行用于确定/提取该部分的打印输出的切出处理(步骤S12)。接下来，通过由应用软件实现的特征量提取部42进行全体特征量提取处理，所述全体特征量提取处理从上述确定/提取出的关注区域的图像数据全体中提取特征量(步骤S13)。

之后，通过由应用软件实现的匹配部43，将上述提取出的全体特征量数据与构成在存储器20中的、登录了上述概要模板21的全体特征量数据库进行比较，执行依次提取类似度高的特征量数据的与全体特征量数据库之间的匹配处理(步骤S14)。即，根据计算出的全体特征数据量数据，利用PC 40侧的匹配部43，与分别与存储器20的图像数据捆绑在一起(或总括性地数据库化)的特征量数据(概要模板21)群进行比较，选出最相近的特征量数据。通过设定能够有效地实现方便地选出最接近的多个特征量候选。在该特征量数据中包括计算出该特征量的原图像数据的指定信息，由此调出候选图像。

之后，通过上述区域提取部41中，从上述确定/提取出的关注区域全体的图像数据中，进一步提取详细检索对象区域、在本例中提取上述关注区域的中央区域部的图像数据作为详细检索对象图像数据(步骤S15)。然后，通过上述特征量提取部42进行详细特征量提取处理，所述详细特征量提取处理从由上述区域提取部41提取出的详细检索对象图像数据中提取特征量(步骤S16)，通过匹配部43比较该提取出的详细特征量数据、和构成在存储器20中的、登录了上述详细模板22的详细特征量数据库，执行依次提取类似度高的特征量数据的与详细特征量数据库之间的匹配处理(步骤S17)。但是此时，不进行与登录在详细特征量数据库中的所有的详细模板22的模板匹配，而仅对于与在上述步骤S14的全体特征量数据库的匹配处理中提取出的多个原图像候选对应的详细模板22进行模板匹配。从而，由于解像度高而需要处理时间的、与详细模板22的模板匹配处理能够以必要的最低限度来完成。

之后，从存储器20中读出上述选择出的原图像候选(或候选图像群)的图像数据，作为所要提取的图像候选显示在作为该PC 40的显示器的显示部44上(步骤S18)，与上述第1实施例相同，接受用户的选择。此时，也可以从PC 40直接或在适当压缩的状态下将上述所选出的原图像候选(或候选图像群)的图像数据传送到数字照相机10，在数字照相机10的显示部15上进行显示(步骤S41)。

然后，与利用鼠标等的操作而进行的选择相应地，将存储在存储器20中的与该图像候选对应的原图像数据发送到所连接的打印机30，再次进行打印输出(步骤S21)。即，通过用户的判断来决定上述显示出的原图像候选，对于用户而言可以通过转移到打印处理而简单地执行作为当初目标的打印输出结束图像的再次打印。然而此时，不仅是单纯地打印，也可以实现在作为候选图像而多个选择的图像中，集中地检索由用户判断为“虽然与目标的元图像不同，但集中了类似的图像”的类似图像数据的功能。

另外，在本实施例中，也可以在从数字照相机10通过PC 40向存储器20传送摄影图像数据时生成特征量数据库。即，如图24所示，开始从数字照相机10向PC 40传送摄影图像数据(步骤S341)，通过PC 40将该传送来的摄影图像数据保存到存储器20中(步骤S342)，并且根据该摄影图像数据生成概要模板数据以及详细模板数据(步骤S343)。然后，将该生成的各模板数据与上述摄影图像数据关联起来保存到存储器20中(步骤S344)。

如上所述，在本第2实施例中，也能够起到与上述第1实施例相同的效果。

加之，不仅是原图像数据自身，还可以检索类似的图像结构的图像数据，能够提供派生的新的用途。即，可以在该所谓检索模式下拍摄街头的广告牌和海报等，容易地从附属于数字照相机10的存储器、或可通过图5中虚线所示的通信部访问的数据库等存储器20中存在的图像数据及其特征量数据中检索出类似或相同的图像数据。进而，可以使用PC 40或数字照相机等的显示器来显示与该数据关联的因特网网站，或使特定的应用(声音/动画等)工作。

另外，检索类似图像结构的图像数据的功能可以是摄影时等的范本图像引导。这是因为，可以使用概要模板21来评价整体构图，使用详细模板22来进行细部评价，可以选择引导信息和优选构图的图像。

该功能具有在PC 40上进行脱机处理的方法、和内置于数字照相机10和便携信息终端等的摄像装置中而进行在线处理的方法。作为在PC 40上进行脱机处理的例子，可应用于从所拍摄的多个图像中挑选优选构图的图像的用途。并且，内置在数字照相机10中和便携信息终端中时，也可应用于作为摄影的辅助功能进行工作，以实时方式支援摄影的例子。

作为使用该功能的范本图像可以使用在摄影比赛等中选拔出的良好的范例或专业摄影者拍摄的图像等的范例的图像(范本图像)，根据用户的喜好来进行选择。

在范本图像的模板中，不仅具有特征量，而且还可以追加时间、位置信息、以及气象信息等，通过使用这些信息能够例如考虑摄影位置的日落时刻而指示成为最佳构图的时间带。并且，在镜头交换式的照相机的情况下，也可以具有根据所交换的镜头来自动选择或修正范本图像模板的功能。

图25示出了在数字照相机10中应用摄影时等的范本引导功能的例子。在该例中，将范本图像作为模板预先保持在存储器20中，摄影时进行与范本图像模板的匹配，进行引导以便能够拍摄类似度高的图像，从而能够进行辅助以便可以拍摄到最佳构图的图像。存在如下的方法：通过匹配来检测出与范本图像之间的偏差，例如图26所示那样通过箭头155等来引导到构图良好的方向的方法、和如图27所示那样强调显示156构图良好的部分的方法等。

作为引导时使用的特征量，可以使用图像数据内的特征点或颜色信息的配置关系，也可以使用基于预定规则的图像数据内的分割区域、即通过预先设定的格子而划分的小区域的相对浓度等，也可以是基于每个分割区域的傅立叶变换值等的特征量。

另外，在上述说明中，使用了数字照相机10，但本实施例并不限定于此，也可以是扫描仪。

此外，使用数字照相机10来拍摄实际地打印输出的检索元打印输出1，但例如也可以同样实施使用数字照相机10来拍摄显示有拍摄了检索元打印输出1的图像的显示器。

(第3实施例)

接下来，说明本发明的第3实施例的检索系统。

本实施例是使用数字照相机10的例子，所述数字照相机10具备作为附带照相机的便携电话机等的附带摄像功能的通信装置的通信功能，应用于通过拍摄预先登录的图像而识别该图像，根据识别结果进行预定的动作(例如声音输出、预定程序的启动、或预定的URL显示)的情况。

识别图像时，作为所参照的数据库(所谓的词典数据)登录有图像数据，但不是直接比较图像，实际上比较图像的特征量更为高效，所以使用从图像提取出的特征量数据库。并且，该数据库可以内置，也可以存在于可通信的服务器上。

在本实施例中，作为向量的组合计算图像特征点的配置关系，将该多个组定义为特征量。此时，该特征量随着特征点的出现数量不同其精度不同，原图像数据的精细度越高则能够检测出越多的特征点，所以相对于相同的原图像数据，尽可能以高精细度的条件来计算特征量。此时，对相同的图像素材基于降低了精细度的图像数据来计算特征量时，由于特征点相对减少，所以特征量本身变为小容量。容量小虽然不利于匹配精度，但具有匹配速度高和通信速度快等的优点。

在本实施例中着眼于此，将图像数据作为参照数据(模板)登录时，在一个图像素材的登录时，根据不同的多个精细度计算出特征量，构成按各自的精细度独立化后的数据库。各个数据库分别与各自对应的匹配服务器连接，为可并行动作的配置。即，如图28所示，准备一次特征量的匹配服务器以及一次信息数据库21、二次特征量的匹配服务器以及二次信息数据库22、…、n次特征量的匹配服务器以及n次信息数据库2n。另外，二次特征量的匹配服务器以及二次信息数据库22至n次特征量的匹配服务器以及n次信息数据库2n是具有比一次特征量的匹配服务器以及一次信息数据库21高的精细度的特征量或特殊类别的数据库。

如图28所示，在准备了这样的匹配处理系统的基础上，利用具有通信功能的数字照相机10拍摄已经登录的外观(对象标记)(步骤S51)，通过内置于上述数字照相机10中的应用软件而根据特征点的配置关系计算特征量数据(步骤S52)。然后，通过通信将该特征量数据发送到各匹配服务器，从而进行与各数据库的匹配处理(步骤S53)。如果通过该匹配处理得到了匹配的结果，则取得与该结果关联的动作信息(例如URL的链接等)(步骤S54)，该动作信息被发送到数字照相机10，执行例如3D对象取得和显示等的指定动作(步骤S55)。

另外，如果此时的照相机解像度为200万像素级，通过通信在匹配服务器中进行检索时，也使用来自200万像素级解像度的特征量数据库的数据进行匹配，则误识别率较少。但是，同时动作的低解像度(例如VGA等级的解像度)的特征量数据库中的匹配高速地进行响应，所以先向数字照相机10发送结果。像这样按照解像度分别并行配置匹配服务器在速度和识别精度上是有利的。另外，有时后来的来自高解像度匹配服务器的回答与先前已输出的低解像度匹配服务器不同，在这样的情况下，首先进行基于先前的结果的显示，之后，更新为基于后来的结果的显示。例如，当要识别纸币等时，即使低解像度匹配下的回答为“一万日元纸币”的水平，在高解像度匹配中，像“一万日元纸币，序号为ZTA473298SPK”这样的回答那样，可得到精细度更高的详细或正确的结果。

此外，如上所述，在高解像度匹配服务器中，特征量本身的容量变大、XGA等级的特征量增大到40kB，但通过预先的低解像度匹配可以减小到约10kB左右。此外，如果在二次起的匹配服务器以及数据库中仅保持与更低解像度数据库之间的差分，则实现更小的数据库结构，有利于识别处理的高速化。另外，在对特征量进行基于模板(进行区域划分、比较各自的浓度值的方式)的提取的情况下，一般为10kB以下，确认了适当组合了两种方式的多维特征量也有助于识别精度的提高。

像这样，对摄影图像面的一部分或全部的解像度进行多阶段化，实现实质上的匹配层级化，与单纯地将多个匹配服务器归组地进行分散处理的情况相比较，在提高识别速度和识别精度的两个方面具有效果。

特别在预先进行数据库登录的图像非常多(1000以上)的情况下是具有效果的方式，并且在其中包含类似性高的图像的情况下也具有效果。

根据以上实施例说明了本发明，但本发明并不限定于上述的实施例，当然可以在本发明的实旨范围内实现各种变形和应用。

例如，数字照相机不限定于拍摄静止画面的数字静止照相机，也包括拍摄动态图像的数字摄像机。

此外，作为具备通信功能的数字照相机的带有摄像功能的通信装置包括：附带照相机的便携电话机、附带照相机的PHS以及固定视频电话。

产业上的利用可能性

作为本发明的应用范围，不言而喻包括附带照相机的便携电话和数字照相机，还可以期待能够广泛利用在使用图像进行认证的类型的安全系统等、一般地通过照相机拍摄蓄积数字图像的系统中。

Claims (12)

1.一种检索系统，其特征在于，所述检索系统具备：

图像输入单元(11)，其输入图像；以及

图像检索单元(14；43)，其根据由上述图像输入单元所输入的图像，通过使用了第1模板(21)的模板匹配从数据库(20)中检索多个图像，从该检索出的结果的多个图像中，使用与上述第1模板相比区域窄且解像度高的第2模板(22)，通过模板匹配来检索一个或多个图像。

2.根据权利要求1所述的检索系统，其特征在于，在上述图像检索单元中，上述第2模板对应于图像的中央区域部分。

3.根据权利要求1所述的检索系统，其特征在于，在上述图像检索单元中，上述第2模板对应于图像的多个区域部分。

4.根据权利要求1所述的检索系统，其特征在于，在上述图像检索单元中，上述第2模板对应于图像的对焦区域部分。

5.一种检索系统，其特征在于，所述检索系统具备：

图像输入单元(11)，其输入图像；以及

图像检索单元(14；43)，其根据由上述图像输入单元所输入的图像，通过基于部分地提高了解像度的模板(23)进行的模板匹配而从数据库(20)中检索一个或多个图像。

6.根据权利要求5所述的检索系统，其特征在于，在上述图像检索单元中，上述模板中部分地提高了解像度的区域对应于图像的中央区域部分。

7.根据权利要求5所述的检索系统，其特征在于，在上述图像检索单元中，上述模板中部分地提高了解像度的区域对应于图像的多个区域部分。

8.根据权利要求5所述的检索系统，其特征在于，在上述图像检索单元中，上述模板中部分地提高了解像度的区域对应于图像的对焦区域部分。

9.根据权利要求1或5所述的检索系统，其特征在于，在上述图像检索单元中，通过上述图像输入单元输入的图像是拍摄已打印输出的图像(1)所得的图像。

10.一种检索方法，其特征在于，

输入图像，

根据上述输入的图像，通过使用了第1模板(21)的模板匹配从数据库中检索多个图像，

使用与上述第1模板相比区域窄且解像度高的第2模板(22)，从上述检索出的结果的多个图像中，通过模板匹配检索一个或多个图像。

11.根据权利要求10所述的检索方法，其特征在于，根据作为范例的优选图像生成上述第1以及第2模板(21、22)，

挑选优选图像作为上述检索的一个或多个图像。

12.一种检索方法，其特征在于，

输入图像，

根据上述输入的图像，通过基于部分地提高了解像度的模板(23)进行的模板匹配而从数据库中检索一个或多个图像。

Images