CN101010698A - 标记指定装置及标记指定方法 - Google Patents

Abstract

本发明提供一种标记指定装置及标记指定方法，便携应用程序(13)和匹配处理部(21)使用与登记在分类TP数据管理DB(22)中的标记的分类信息对应的分类模板(51)，对图像输入部(11)所输入的图像进行模板匹配，进而，使用登记在个别TP数据管理DB(23)中的、作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的个别模板(52)，对上述图像输入部(11)所输入的图像进行模板匹配。

Description

标记指定装置及标记指定方法

技术领域

本发明涉及对图像中所包含的标记进行指定的标记指定装置及标记指定方法。

背景技术

以往，作为指定所输入的图像中包含的标记的方法，公知有所谓的模板匹配。在该方法中，制作使存储在数据库中的标记图像降低为预定的较低分辨率的模板，将这些模板登记在数据库中，对降低为相同的分辨率的输入标记图像和这些模板进行匹配。

但是，在这种模板匹配中，有可能对相似的标记图像进行错误匹配。因此，为了降低错误匹配，使用相似度表来管理模板间的相似度，进行防止登记相似的标记图像等的应对。但是，登记模板数量越多，错误匹配的可能性就越大。

另外，还公知有根据特征点的配置来确定用于确定相似度的特征量的方法。而且，在这种方法中，例如如日本特开2004-362186号公报所公开的那样，考虑如下的方法：当保持多个匹配用数据库来进行参照的情况下，使匹配服务器并列，分割多个参照数据进行匹配，从而缩短时间。

但是，关于上述日本特开2004-362186号公报所公开的匹配的并列处理，虽然概率上具有高速化的效果，但是发明者们通过实验确认并没有提高识别(成功)率的效果。

另外，即使进行了并列处理，也是登记模板数越多，匹配处理就越需要时间。

发明内容

本发明就是鉴于上述问题而完成的，其目的在于提供一种标记指定装置及标记指定方法，该标记指定装置及标记指定方法可以高速且精度良好地进行图像中所包含的标记的指定。

本发明的标记指定装置的一个方式是指定图像中所包含的标记的装置，其特征在于，该标记指定装置具有：输入图像的图像输入单元；使用与标记的分类信息对应的分类模板，对上述图像输入单元所输入的图像进行模板匹配的分类模板匹配单元；以及使用作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的个别模板，对上述图像输入单元所输入的图像进行模板匹配的个别模板匹配单元。

另外，本发明的标记指定方法的一个方式是指定图像中所包含的标记的方法，其特征在于，在该标记指定方法中：输入图像；使用与标记的分类信息对应的分类模板，对上述所输入的图像进行模板匹配；以及使用作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的个别模板，对上述所输入的图像进行模板匹配。

附图说明

图1是表示本发明的一个实施例所涉及的标记指定装置的结构的图。

图2是表示对象图像和配置了该对象图像的纸面的例子的图。

图3是表示对象图像的例子的图。

图4是表示分类模板的例子的图。

图5是表示个别模板的例子的图。

图6是表示多个对象图像和分别与它们对应的分类模板和个别模板的例子的图。

图7是表示TP制作部中分类模板制作处理的流程的图。

图8是用于说明以往的模板匹配的问题点的图。

图9是用于说明使用分类模板的效果的图。

图10是表示TP制作部中个别模板制作处理的流程的图。

图11是表示带照相机的便携终端的便携应用程序中的终端侧动作处理的流程的图。

图12是表示服务器的匹配处理部中的匹配处理的流程的图。

图13是表示第1具体例中的模板区域分割布局的图。

图14是表示用于说明第1具体例的动作的流程的图。

图15是表示第2具体例中的模板区域分割布局的图。

图16是表示用于说明第2具体例的动作的流程的图。

图17是表示用于说明第3具体例的动作的流程的图。

图18是表示1次标记和2次标记的例子的图。

图19是表示1次标记和2次标记的其他例子的图。

图20是表示第4具体例中的标记指定装置的结构的图。

图21是表示用于说明第4具体例的动作的流程的图。

图22是表示第5具体例中的显示例的图。

图23是表示第5具体例中其他的显示例的图。

图24是用于说明第6具体例的动作的图。

图25是用于说明第6具体例的效果的图。

具体实施方式

下面参照附图说明用于实施本发明的最佳方式。

本发明的一个实施例涉及的标记指定装置如图1所示，由带照相机的便携终端10和模板匹配单元构成。带照相机的便携终端10包含输入图像的作为图像输入单元的图像输入部(照相机)11和输出指定结果的作为输出单元的显示器12。模板匹配单元使用数据库中所登记的模板，对由上述图像输入部11所输入的图像进行模板匹配。该模板匹配单元通过带照相机的便携终端10的便携应用程序13和匹配处理部21来实现，该匹配处理部21构成在可与上述带照相机的便携终端10进行通信的服务器20中。

此处，上述服务器20还具有分类模板(TP)数据管理数据库(DB)22和个别数据管理DB23。分类模板是根据标记的分类信息所制作的模板。另外，个别模板对应于各分类模板，是根据标记的详细信息所制作的模板。匹配处理部21首先使用登记在上述分类TP数据管理DB22中的分类模板，对从便携应用程序13发送来的、由上述图像输入部11所输入的图像进行模板匹配。然后，使用与在该分类模板匹配中进行了匹配的分类模板对应的上述个别数据管理DB23中所登记的个别模板，对上述所输入的图像进行模板匹配。

登记在上述分类TP数据管理DB22中的分类模板和登记在上述个别数据管理DB23中的个别模板是由TP制作部50根据用桌面印刷(DTP)30配置在纸面40上的对象图像41来制作的。即，在该一个实施例的检索系统中，预先用DTP30按照图2所示那样，在纸面40上印刷作为标记的对象图像41。与此同时，使用TP制作部50制作该对象图像41的分类模板和个别模板。然后，将该制作好的模板登记在服务器20的分类TP数据管理DB22和个别TP数据管理DB23中。而且，如果登记的对象图像41(标记)为多个，则重复这种模板的制作和登记。

即，在本实施例中，对于图3所示那样的1个对象图像41，制作图4所示那样的分类模板51和图5所示那样的个别模板52，并进行登记。

此处，在具有多个对象图像41时，如果为相同分类，则分类模板51是共同的。即，分类模板51和个别模板52可以以1∶n来对应。另外，如图6所示，即使根据另外的对象图像41制作的个别模板52相同，只要分类模板51不同，分类模板51和个别模板52就成为n∶n的对应。

然后，当用户使用带照相机的便携终端10等的图像输入部11从纸面40取入作为标记的对象图像41时，便携应用程序13从该输入图像中进行图像的特征提取，将提取出的特征数据发送给服务器20的匹配处理部21。接受到该特征数据的匹配处理部21进行该特征数据与登记在分类TP数据管理DB22中的分类模板51的图案匹配。然后，还进行使用登记在上述个别数据管理DB23中的个别模板52中与上述进行了匹配的分类模板51对应的个别模板52的模板匹配，指定作为被拍摄的标记的对象图像41。

而且，在登记于上述个别TP数据管理DB23中的各个个别模板52上，例如与指定的图像或指定的URL这些在匹配时应该输出的结果信息相对应地进行登记。因此，如果按照上述指定了对象图像41，则匹配处理部21将与该个别模板52对应的结果信息发送给带照相机的便携终端10的便携应用程序13。并且，便携应用程序13在显示器12上显示该结果信息。

下面参照图7来更详细地说明各部的动作。

即，在TP制作部50中，首先定义分类模板布局(步骤S11)。该分类模板布局表示从应该制作分类模板51和个别模板52的原图像(对象图像41)中切取作为分类模板51使用的图像的切取位置。或者，也可以是该切取位置和该分类模板51的分辨率的组合。

例如在模板匹配中，有可能对图8所示的相似的图像进行错误匹配。这种情况下，如图9所示，如果使用仅四边形的框部区域的分辨率较高的模板、即分类模板，则能够减少错误匹配的可能性。另外，通过使用这种分类模板51，即使个别模板52相同，也可以与不同的结果信息对应起来。

而且，所谓对分类模板布局“进行定义”，包含新“制作”的情况和“选择”已有的情况的任一情况。

而且，如果定义了上述那样的分类模板布局，则根据该所定义的分类模板布局，输入原图像(步骤S12)。此时，所输入的原图像为对象图像41中的上述分类模板布局所表示的图像切取位置的图像数据。而且，按照上述所定义的分类模板布局，根据该输入的原图像制作特征数据、即制作分类n的分类模板51(步骤S13)，将其登记在上述服务器20的分类TP数据管理DB22中(步骤S14)。而且，上述特征数据例如是特征点的分布和浓度等的数据。

之后，在上述服务器20的个别TP数据管理DB23内，新制作与该新登记的分类m的分类模板51对应的个别TP数据管理DB组23m(步骤S15)。而且，在图7中，示出与分类1、2、3、...、m对应的个别TP数据管理DB组231、232、233、...、23m。

接着，参照图10说明上述TP制作部50中的个别模板制作处理的详细情况。

即，在TP制作部50中，首先选择个别TP数据管理DB23所具有的多个个别TP数据管理DB组23n内与分类模板对应的个别TP数据管理DB组23m(步骤S21)。另外，还从即将制作个别模板的对象图像41中以按照该分类模板的位置和分辨率来输入原图像(步骤S22)。

然后，根据该所输入的原图像制作特征数据(步骤S23)。接着，输入例如通过模板匹配而成为OK时应该输出的结果信息、例如指定的Web站点的URL等(步骤S24)。然后将这些制作成的特征数据和所输入的结果信息登记在上述所选择的个别TP数据管理DB组23m中(步骤S25)。

接着，参照图11和图12，详细说明上述带照相机的便携终端10的便携应用程序13中的终端侧动作处理和上述服务器20的匹配处理部21中的匹配处理的情况。而且，在图1中，虽然只示出了一个便携应用程序13，但实际上在带照相机的便携终端10中具有多个便携应用程序13。即，对于一个模板布局存在一个便携应用程序13，根据原来的对象图像41的种类而启动的便携应用程序13不同。

当与某对象图像41对应的便携应用程序13启动时，该便携应用程序13输入通过图像输入部11拍摄纸面40上的对象图像41而得到的图像(步骤S31)。接着，根据该便携应用程序13的模板布局，对该图像提取分类特征数据和个别特征数据(步骤S32)。然后，将该提取出的分类特征数据和个别特征数据发送给服务器20的匹配处理部21(步骤S34)。之后，等待接收来自该匹配处理部21的结果信息(步骤S35)。

在服务器20的匹配处理部21中，首先获得从便携应用程序13发送来的分类特征数据(步骤S41)。而且此处，所谓获得分类特征数据，不仅意味着接收发送来的分类特征数据，也可以将发送来的分类特征数据和个别特征数据暂时存储在存储器等中，读取该所存储的分类特征数据。匹配处理部21接着进行该所获得的分类特征数据与登记在分类TP数据管理DB22中的分类模板51的图案匹配(步骤S42)。然后，通过该图案匹配，如果没有对象数据候选(步骤S43)，则结束处理。

与此相对，在有对象数据候选时(步骤S43)，作为结果信息，选择与个别TP数据管理DB23的该分类模板51对应的个别TP数据管理DB组23m(步骤S44)。然后，从便携应用程序13中获得个别特征数据(步骤S45)。此处，所谓获得个别特征数据，不仅意味着接收发送来的个别特征数据，也可以将发送来的分类特征数据和个别特征数据暂时存储在存储器等中，读取该所存储的个别特征数据。匹配处理部21接着进行该所获得的个别特征数据与登记在上述所选择的个别TP数据管理组DB23m中的个别模板52的图案匹配(步骤S46)。然后，通过该图案匹配，如果没有对象数据候选(步骤S47)，则结束处理。

与此相对，在具有对象数据候选时，根据该对象数据候选的特征数据将登记在上述个别TP数据管理DB组23m中的结果信息返回给上述带照相机的便携终端10(步骤S48)，结束处理。

而且，便携应用程序13在经过了规定时间也没有从上述服务器20的匹配处理部21返回结果信息时(步骤S35)，通过将错误消息等显示在显示器12上等，询问用户是否继续。然后，在具有结束的指示的情况下(步骤S36)，结束处理。

与此相对，在具有再次实施的指示的情况下(步骤S36)，返回上述步骤S31，再次从对象图像41的拍摄开始重复。

另一方面，当从上述服务器20的匹配处理部21返回结果信息时(步骤S35)，将其显示在显示器12上(步骤S37)，结束处理。

根据上述的本实施例的标记指定装置及标记指定方法，由于使用针对框区域的模板(分类模板51)的匹配，来对被筛选的框内部模板(个别模板52)进行匹配，所以可以得到下面的效果。

即，可以登记的模板数量增大到分类模板的几倍(几百倍)。

另外，匹配速度提高。

错误匹配还降低。

下面，参照附图说明本实施例的标记指定装置及标记指定方法的具体例。

[第1具体例]

本具体例是将分类模板51和检索DB关联起来的例子。

此时，如图13所示，分类模板51成为适合在作为标记的对象图像41上显示有分类信息的分类区域41A的模板，个别模板52成为适合在上述对象图像41上显示有详细信息的个别区域的个别区域41B的模板。而且，如图14所示，根据所读取的分类模板51，切换检索目的地DB。

本具体例是利用带照相机的移动电话作为带照相机的便携终端10，在邮购杂志/商品目录杂志上进行顺利邮购的情况的例子。

使用邮购杂志/商品目录杂志购买商品时，在对象图像41的分类区域41A上事先记载有指定检索DB的种类的信息，在对象图像41的个别区域41B上事先记载有商品图像。而且，通过这样的记载，根据标记的各区域(显示有分类信息的分类区域41A、显示有详细信息的个别区域41B)的位置/形状/大小等，规定模板的位置/形状/大小等。因此，在匹配中，容易进行标记和模板的对准，处理效率良好。

当使用带照相机的移动电话的图像输入部11输入对象图像41时，使用便携应用程序13来提取该分类区域41A的特征数据和个别区域41B的特征数据(步骤S51)。在服务器20的匹配处理部21中，使用登记在分类TP数据管理DB22中的分类模板对该所提取出的分类区域41A的特征数据进行匹配处理(步骤S52)。然后，根据该结果，选择个别TP数据管理DB23的个别TP数据管理DB组23n。此时，个别TP数据管理DB组23n作为检索目的地DB，存储各个个别模板52和与它们对应的商品信息。在图14所示的例子中，存在照相机目录DB23a和箱包目录DB23b两种检索DB。在匹配处理部21中，使用根据使用了上述分类模板51的匹配结果而选择的个别TP数据管理DB组23n的个别模板52，进行用便携应用程序13所提取的个别区域41B的特征数据的模板匹配处理，指定记载于对象图像41的个别区域41B中的商品图像(步骤S53a、S53b)。然后，将与其对应地登记的商品信息作为结果信息返回给便携应用程序13，从而便携应用程序13可以把该商品信息显示在显示器12上。

这样，可以使用分类模板51来分开DB，即使个别模板52的数量增大也能够抑制检索时间的增加。

[第2具体例]

本具体例是将分类模板51和应用程序关联起来的例子。

此时，如图15所示，分类模板51成为适合在作为标记的对象图像41上显示有分类信息的分类区域41A的模板，个别模板52成为适合在上述对象图像41上显示有详细信息的个别区域41B的模板。其中，在本具体例中，显示于分类区域41A上的分类信息表示应用程序的分类。

而且，在本具体例中，如图16所示，当通过带照相机的移动电话机的图像输入部11输入了对象图像41时，使用便携应用程序13提取该分类区域41A的特征数据和个别区域41B的特征数据(步骤S61)。在服务器20的匹配处理部21中，使用登记在分类TP数据管理DB22中的分类模板对该所提取出的分类区域41A的特征数据进行匹配处理(步骤S62)。然后，匹配处理部21将表示应用程序分类的应用程序名作为其结果所得到的结果信息返回给便携应用程序13。

在便携应用程序13中，将用分类模板匹配所得到的结果信息(应用程序名)和自身进行比较(步骤S63)。然后，如果为自身(步骤S64)，则在上述匹配处理部21中，使用根据使用了上述分类模板51的匹配结果而选择的个别TP数据管理DB组23n(在本例中为个别TP数据管理DB组23A)的个别模板52，进行用便携应用程序13所提取的个别区域41B的特征数据的模板匹配处理，指定记载于对象图像41的个别区域41B中的例如商品图像(步骤S65)。然后，将与其对应地登记的商品信息作为结果信息返回给便携应用程序13，从而便携应用程序13可以把该商品信息显示在显示器12上。

另一方面，作为在上述步骤S63中比较的结果，当判断为在分类模板匹配中得到的结果信息(应用程序名)不是自身时(步骤S64)，便携应用程序13从服务器20下载相当于该结果信息(应用程序名)的应用程序(步骤S66)。然后，结束自身，启动该下载的应用程序(步骤S67)。

之后，该启动的应用程序确认自身是否确实为相当于该结果信息(应用程序名)的应用程序(步骤S68)，如果不是则结束处理。与此相对，当确认到是的情况下，上述匹配处理部21使用根据使用了上述分类模板51的匹配结果而选择的个别TP数据管理DB组23n(在本例中为个别TP数据管理DB组23B)的个别模板52，进行用便携应用程序13所提取的个别区域41B的特征数据的模板匹配处理，指定记载于对象图像41的个别区域41B中的商品图像(步骤S69)。然后，将与其对应地登记的商品信息作为结果信息返回给便携应用程序13，从而便携应用程序13可以把该商品信息显示在显示器12上。

这样，将分类模板51与应用程序关联起来，根据所读取的分类模板来切换应用程序，另外，当终端上没有与分类模板对应的应用程序时，通过在下载后执行，可以使与分类模板51关联起来的应用程序在各自的专用的DB中进行检索。

[第3具体例]

下面说明第3具体例。

本具体例是使用带照相机的移动电话和带通信功能的PDA等的带照相机的便携终端10的例子，适用于通过预先拍摄所登记的图像，来识别该图像，根据识别结果使其执行规定的动作(例如声音输出和规定的程序的启动、或者规定的URL的显示、在规定位置上重叠显示3D对象等)的情况。

在识别图像时，将图像数据登记成进行参照的数据库(所谓字典数据)，但并非原样比较图像，而是比较图像的特征量，这是很高效且实际的做法，所以使用从图像中提取出的特征量数据库。另外，该数据库既可以是内置的也可以是存在于经由便携通信的服务器上的。

在本具体例中，同时使用下面两种方法：将图像的特征点(浓淡差较大的点)的配置关系作为矢量的组合进行计算，将该多个组作为特征量的方法；和通过比较作为模板匹配而对应的分割面的浓淡来作为特征量的方法。在被称为分类模板51的模板中，用特征点方式来识别框形状。此时框的形状不限于四边形和圆形，也可以为星形或者心形等任意形状。另外，如果根据情况使用特征点方式来识别指定的外观而并非框，则具有高速和通信速度较快等的优点。

在本具体例中，当存在非常多的标记图像(查询图像)时，是对匹配服务器进行分散处理时的现实的处理方法。将对象图像的一部分或者另外存在的图像登记为与指定参照数据的匹配服务器相关联的内容，将其称为1次(匹配)服务器。在该1次服务器中通常将指定2次服务器的位置(地址)作为主要功能，但在本具体例中，除此之外还具有指定2次标记图像的位置等的功能。

即，如图17所示，在带照相机的便携终端10侧拍摄对象标记(1次标记)(步骤S71)，提取1次特征量(步骤S72)。该提取出的1次特征量被发送给服务器20(1次服务器)侧，实施与登记在相当于分类TP数据管理DB22的1次信息DB24中的1次特征量的匹配处理(步骤S73)。然后，该1次匹配结果的信息从服务器20侧被发送到带照相机的便携终端10侧。

在带照相机的便携终端10侧，显示该1次匹配结果的信息，用户根据该显示，使用带照相机的便携终端10拍摄对象标记(2次标记)(步骤S74)。由此，进行2次特征量的提取(步骤S75)，并发送给服务器20(2次服务器)侧。在服务器20中，实施与登记在相当于个别TP数据管理DB23的2次信息DB25中的2次特征量的匹配处理(步骤S76)，该2次匹配结果的结果动作指定被发送到带照相机的便携终端10侧(步骤S77)。

然后，在带照相机的便携终端10侧，执行例如3D对象的获得和显示等的按照该结果动作指定的动作(步骤S78)。

即，通过1次服务器进行2次服务器的地址指定，同时进行2次标记43(图18中为1次标记42(图标)的上方)的大致该区域的指定。在2次标记43的拍摄时，即使进行同样包括1次标记42的拍摄，在2次特征量的提取时也对该所指定的区域之外的拍摄图像部分进行遮挡，通过不读取来减少错误识别。

另外，由于1次服务器所指定的2次服务器已经限定于某个类别中，所以从各自的2次数据库所匹配的图像特征量本身在概率性上具有较高的正确性。例如，在图19的情况下，通过将拉面的图标作为1次标记42，可以将提供2次标记43的2次服务器限定为与拉面店相关的信息，所以不会检索其他信息。即，即使在拍摄图像中存在作为2次标记43的多个店铺图像，由于事先通过1次标记42限定了类别，所以只对作为其中的拉面店的店铺图像的指定的2次标记43A进行与2次信息DB25的匹配处理。

在准备这种匹配处理系统之后，利用带照相机的便携终端10拍摄已经登记的外观，通过内置于上述带照相机的便携终端10中的便携应用程序13根据特征点的配置关系来计算特征量。即使此时的图像输入部11的分辨率较低，也像本具体例那样经过2个阶段进行匹配处理的结果可以实现错误识别率的降低和高速性。实际上如果要用1次匹配来提高识别性，则需要20kB到70kB的特征量容量，然而像本具体例那样采用简单的图标作为1次标记42时，将成为5kB到10kB的特征量。进而，如果以模板方式来识别2次标记43，则其可以处理5kB以下处理特征量。即，1次标记42的目的在于只对实际上导出有用的信息的2次匹配服务器进行指定，例如在1000左右的2次服务器的指定中上述特征量容量是足够的。2次匹配也是同样，将2次匹配服务器的数据数限定为1000左右，进而用模板方式计算特征量，从而可以用5kB以下1kB左右的非常小的数据容量来进行通信，其结果可实现处理的高速化。

特别是，本方法是在预先登记在数据库中的图像为非常多(1000以上)的情况下具有效果的方式，另外，在其中包含有相似性较高的图像的情况下也有效。

[第4具体例]

下面说明第4具体例。

在上述第1具体例中，以邮购杂志/商品目录杂志为例示出了由分类区域41A和个别区域41B构成对象图像41，用分类区域41A切换检索目的地DB的效果。

但是，上述效果并不限定于邮购杂志/商品目录杂志，即使例如在用户自由登记图像的系统中也是有效的。

作为分类区域41A指定道路标示和建筑物、招牌，对包含这些的风景进行拍摄时，使用与上述第1具体例同样的处理，切换检索目的地DB，通过根据拍摄图像来识别个别区域41B从而向使用者提示相关内容。而且，作为分类区域41A，在没有指定特定的对象物的情况下，意味着其不具有指定的分类信息，当然也会向对应于该意义的检索目的地DB进行切换。

此时，可以识别分类区域41A，但有时无法识别个别区域41B。也就是说，有时在拍摄图像内不包含已经登记的个别区域41B。例如，像某个企业提供的邮购系统那样，当明确划分出系统所提供的内容的提供者侧和使用者侧的情况下，由于对未被登记的图像进行要求所以不会成为问题。另一方面，例如如果根据图像指定关联的关键词/标签，设想检索该关键词/标签的系统、根据图像提供关联的公告板信息、口碑信息的系统等，则针对本系统的内容(与图像对应的关键词/标签)提供者不明确，所以图像在被某人登记之前无法用作检索对象，这对使用者来说是不方便的环境。

在这种情况下，如图20所示，向与分类区域41A对应的数据库新登记的系统是有效的。本系统的使用者自身可以增大登记对象，由于仅登记自身所拍摄的图像和对其期待的关键词/标签，所以使用者操作也十分简单。

该登记如图21那样进行。即，首先使用带照相机的移动电话等的带照相机的便携终端10的图像输入部11进行拍摄，向匹配处理部21发送数据(步骤S81)。在匹配处理部21中，对对象图像41进行分类区域41A的匹配，指定检索目的地DB(分类TP数据管理DB22)。作为分类区域，在不存在指定的部分的情况下，当然只要指定与不存在的状态对应的检索目的地DB即可。接着，匹配处理部21根据对象图像41进行个别区域41B的匹配，指定向使用者提示的信息(步骤S83)。

此处，匹配处理部21判断是否已经指定了向使用者提示的信息(步骤S84)。在可以指定信息时，提示该可以指定的信息(步骤S85)。此时，当指定了多个信息时，也可以以列表状提示这些简单信息。另外，当所指定的信息为一个时，既可以显示列表，也可以直接显示所指定的信息的详细情况。

与此相对，在无法指定向使用者提示的信息时(步骤S84)，从使用者获得指示信息以判断是否登记信息(步骤S85)。在不进行信息登记的情况下结束处理。

另一方面，在具有进行信息登记的指示时，使用者可以对所拍摄的对象图像41登记任意的信息。例如，可以登记指定的移动电话用站点的URL、摄影对象图像41相关的关键词和注解等。

[第5具体例]

下面说明第5具体例。

不仅像上述第1具体例那样将对象图像41分为分类区域41A和个别区域41B这2个区域，而且分为更多的区域，这是对提高用户的方便性有效的。例如，既可以在一个分类区域存在多个个别区域，又可以使每个区域发挥分类区域、个别区域二者的作用。

例如，考虑在邮购杂志/商品目录杂志中作为商品以餐具为对象的情况。作为对象图像41的餐具的商品图片是拍摄了排列在桌子上的大盘子、小盘子、杯子、刀、叉。此时，例如如果将各餐具的图案的部分作为分类区域41A，将每个餐具的整体作为个别区域41B进行登记，则可以精度良好地识别指定的图案下的具体商品。

进而，个别的要素无需一定反映在相同的图片上，也可以是各自独立的图片。

在模板登记时，在分别登记个别的要素的同时，也可以将它们登记为组。此时，也可以伴随着每个要素间相对的位置和/或姿态信息。

在作为组而登记的要素中，当至少一个被识别时，作为识别结果，提示组中包含的全部信息。

通过这种构成，可以方便地集中图案相同的系列来进行提示。

另外，如图22所示，当在一个大图片上拍摄了一套餐具时，可以提供识别结果的信息，以反映拍摄了该图片的状态的位置。例如，在从左到右排列了“叉、大盘子、小盘子、杯子”的情况下，通过也按相同顺序排列识别结果，可以容易理解与所拍摄的图像之间的对应。而且，即使在所拍摄的图像中没有反映刀，也可以作为识别结果根据组信息而在最右面提示刀的信息。

或者如图23所示，在拍摄图像上进行重叠显示，在易于把握对象物和识别结果的关系的方面也是有效的。

而且，识别结果的显示顺序不限于上述方法，例如也可以将接近所拍摄的图像的中心的部分显示在列表的最上方。或者，也可以将所拍摄的图像的上下方向与所登记的图像的上下方向之间的偏差最小的部分作为可靠性最高的结果显示在列表的最上方。

另外，将所拍摄的对象图像41中包含的要素显示为列表状，但对于所拍摄的对象图像41中未包含的要素，在该列表上追加“其他”，尽管为同一层级的组，但在显示上显示为下一层级，这不会使用户观察到不需要的信息，所以可实现高效的操作。

而且，组结构不限于单一层级，也可以是组包括组那样的层级结构。此时，关于作为识别结果来提示的内容到哪个级别的层级为止，需要考虑显示器12的显示画面的大小。如果为大画面，则提示层级结构整体的信息，并且将所识别的最小单位的要素所属的组显示到详细信息级别，这样非常有效。另一方面，如果为小画面，则只显示所识别的最小单位的要素所属的组是有效的。

另外，在商品图片附近配置优惠券图标来作为分类区域41A，用下面的规则来进行运用，这对于负担和不负担印刷介质的分布的成本分配是有效的。

即，如图24所示，客户A进行邮购杂志/商品目录杂志的发行，客户A和客户B被登记为该纸面40上刊登的商品的邮购商。这些邮购商当然可以按照各个商品而不同。

(1)通过带照相机的移动电话等的带照相机的便携终端10的图像输入部11对纸面40上刊登的商品进行拍摄。

(2)从带照相机的便携终端10向服务器20(的匹配处理部21)发送数据。

(3)当在服务器20中从用户的拍摄图像内识别分类区域41A时，从服务器20向带照相机的便携终端10返回伴随有优惠信息的商品信息。此时，可以从分类区域41A指定拍摄了哪个纸面的情况与上述第1具体例所述一样。

(4)用户从上述商品信息连接指定的客户(例如客户B)。

(5)连接目的地的客户(客户B)向本系统运用者支付介绍费。

(6)本系统运用者将从客户处收到的介绍费的一部分支付给上述(3)中指定的纸面的提供者(此时为客户A)。

其结果，客户A可以回收邮购杂志/商品目录杂志的发行所需费用的一部分。另一方面，没有发行邮购杂志/商品目录杂志的客户B根据负担邮购杂志/商品目录杂志的发行成本的一部分这样的合理的关系而可以使用客户A的邮购杂志/商品目录杂志。

另外，在邮购等希望集中多个对象物来进行处理的情况下，可以为使用便携应用程序连续多次进行拍摄对象物的操作，将这些多个拍摄图像发送给服务器20的匹配处理部21的形式。此时，无需每次拍摄时都重复邮购站点上的操作(向购物篮中进行追加等)和应用程序的拍摄，提高了集中购买多个物品时的用户的方便性。

另外，在连续拍摄多个对象时，可以在拍摄后自动向服务器20的匹配处理部21发送数据，将其结果存储在服务器20上。此时，在最终访问邮购站点时，易于成为将作为迄今为止进行的匹配的结果的多个项目指定为购买对象的状态，提高了用户的方便性。

进而，在拍摄后自动使用匹配处理部21进行处理时，使用用户迄今为止的匹配结果，可以提高下次匹配处理中的识别处理的可靠性。即，在识别处理中，当存在多个最终候选时，该用户根据迄今为止的匹配结果来推定作为拍摄对象中的类别和属性等，使用该信息可以进一步筛选。

[第6具体例]

下面说明第6具体例。

在上述第5具体例中，叙述了分为多个部位进行登记，但在以动画作为识别对象的情况下第6具体例是更有效的方法。

在以动画作为识别对象的情况下，只要登记动画中的一部分的帧即可。例如在第1帧中，当拍摄有演员A和车B时，将演员A和车B作为组来登记第1帧。第2帧只拍摄有车B，而且本系统中也没有登记第2帧。在这种状态下用户拍摄第2帧时，可以识别作为第1帧登记的车B，进而可以一起登记被登记为组的演员A的信息。通过出现这种效果，信息登记者对没有拍摄演员A的第2帧，无需进行任何作业，所以可以提高登记作业的效率。而且，并不限于第1帧和第2帧连续的帧，即使第2帧为在动画中从第1帧经过了规定时间之后的帧也一样。

这样，以演员A和车B分别作为登记对象，而且登记为组，所以也容易使例如作为演员A和车B的信息提供的内容沿着分别独立的时间轴发生变化。如图25所示，应该识别的信息的组合有多个，但不必将它们循环地全部登记，而按照每个个别的对象使信息变化，所以可以以最小的劳力自动获得所有的组合。

Claims (4)

1.一种标记指定装置，该标记指定装置是指定图像中所包含的标记(41；42；43)的装置，其特征在于，该标记指定装置具有：

输入图像的图像输入单元(11)；

分类模板匹配单元(13、21)，其使用与标记的分类信息对应的分类模板(51)，对上述图像输入单元所输入的图像进行模板匹配；以及

个别模板匹配单元(13、21)，其使用作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的个别模板(52)，对上述图像输入单元所输入的图像进行模板匹配。

2.根据权利要求1所述的标记指定装置，其特征在于，上述分类模板和个别模板被管理成多个个别模板对应于1个分类模板。

3.根据权利要求1所述的标记指定装置，其特征在于，

上述分类模板是适合在上述标记上显示有分类信息的区域的模板，

上述个别模板是适合在上述标记上显示有详细信息的区域的模板。

4.一种标记指定方法，该标记指定方法是指定图像中所包含的标记(41；42；43)的方法，其特征在于，该标记指定方法中：

输入图像；

使用与标记的分类信息对应的分类模板(51)，对上述所输入的图像进行模板匹配；以及

使用作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的个别模板(52)，对上述所输入的图像进行模板匹配。

Images