CN1331451A - 信息检索系统 - Google Patents

Abstract

移动终端具有取得包含检索对象物的多个帧的图像的摄像部和根据包含在这些各帧中的检索对象物的图像生成特征描述符的特征描述符生成部。移动终端将由特征描述符生成部生成的特征描述符向检索服务器发送。检索服务器具有匹配处理部。该匹配处理部从目录服务器的数据库检索与从移动终端接收的特征描述符一致的记录。

Description

信息检索系统

技术领域

本发明涉及信息检索系统。

背景技术

由于通信技术和信息处理技术的进步，利用网络的各种信息检索系统已得到了广泛的利用。在这种信息检索系统中，通常采用的方法是用户指定与检索对象关联的关键字等，检索服务器从数据库中检索与该关键字一致的记录来向用户提供。

然而，有时会存在虽然检索对象物位于用户的眼前，但用户却不知道该检索对象物的名称等从而不能指定适当的关键字的情况。这时，用户就不能向信息检索系统传送适当的关键字，存在着不能取得关于检索对象物的信息这样的问题。

发明内容

本发明的目的旨在提供即使在用户不能指定适当的关键字等状况下也能取得关于检索对象物的信息的信息检索系统。

为了达到上述目的，本发明提供了一种信息检索系统，包括：使关于各种检索对象物的记录与作为各个用于选择的条件的特征描述符对应而进行存储的数据库；取得包含检索对象物的图像的图像取得单元；根据包含在由上述图像取得单元取得的图像中的检索对象物的图像生成特征描述符的特征描述符生成部；以及从上述数据库中检索关于由与上述特征描述符生成部生成的特征描述符一致的检索对象物的记录的匹配处理部。

按照该信息检索系统，根据取得的图像生成检索对象物的特征描述符，将该特征描述符作为检索关键字进行信息检索。因此，用户即使不知检索对象物的名称等也可以取得关于该检索对象物的信息。

附图说明

图1是表示作为本发明实施例1的信息检索系统的结构的框图。

图2是表示该实施例的图像编码部102的结构的框图。

图3是表示该实施例的数据库的结构的框图。

图4是表示该实施例的全体工作的流程图。

图5是表示该实施例的摄像和特征描述符生成处理的第1例的流程图。

图6是表示该实施例的摄像和特征描述符生成处理的第2例的流程图。

图7是表示该实施例的摄像和特征描述符生成处理的第3例的流程图。

图8是表示该实施例的摄像和特征描述符生成处理的第4例的流程图。

图9A和图9B是说明在该实施例中进行的轮廓决定处理的图。

图10A和图10B是说明该实施例的物体构成色区域处理和空间配置描述符生成处理的图。

图11是表示该实施例的匹配处理的第1处理例的流程图。

图12是表示该实施例的匹配处理的第2处理例的流程图。

图13是表示作为本发明实施例2的信息检索系统的结构的框图。

图14是表示该实施例的接收部的译码器的结构的框图。

图15是表示作为本发明实施例3的信息检索系统的结构的框图。

图16是表示该实施例的工作的流程图。

图17是表示本发明实施例4的信息检索系统的结构的流程图。

具体实施方式

下面，参照附图说明本发明的实施例。

A.实施例1.

(1)实施例1的结构

图1是表示作为本发明实施例1的信息检索系统的结构的框图。该信息检索系统是进行关于位于用户的眼前的物体的记录的检索并向用户提供该检索结果的系统。如图1所示，该信息检索系统的主要结构要素是移动终端100；检索服务器200；网络300；以及由检索服务器200内的目录服务器A及检索服务器200的外部的目录服务器B等构成的数据库。

移动终端100是具有通过网络300在与其他装置之间进行声音及图像的收发的功能的多媒体对应的移动终端。在该移动终端100中，摄像部101和图像编码部102在通过网络300向其他人发送图像时被利用。即，从移动终端100向其他人进行图像发送时，摄像部101拍摄应向其他人发送的外界的图像，并输出图像信息，图像编码部102进行该图像信息的压缩编码，生成适合于通过网络300进行传送的低的数据率的编码数据。

并且，本实施例的移动终端100除了进行这样的图像通信的功能外，还具有利用检索服务器200进行关于位于用户的眼前的物体的信息检索的功能。该信息检索在本实施例中大致按以下的顺序进行。即，移动终端100取得位于用户的眼前的作为检索对象的物体的图像信息，根据该图像信息生成表示物体的特征的信息(以下，称为特征描述符)并向检索服务器200传送，检索服务器200从目录服务器A及目录服务器B等的数据库中检索与该特征描述符一致的记录，并传送回移动终端100。

在该信息检索中，移动终端100的摄像部101作为用于取得作为检索对象的物体的图像数据的单元来利用。该摄像部101按一定时间间隔进行外界的摄影，并每次输出1帧的图像数据。另外，图像编码部102是按照由MPEG—4(活动图像专家组，第4阶段)规定的编码算法进行从摄像部101得到的图像数据的编码的装置。在本实施例中，根据在图像数据的编码过程中发生的数据生成与作为检索对象的物体对应的特征描述符。这样，本实施例的1个特征就是可以将多媒体对应的移动终端原来具有的结构要素有效地利用于信息检索。

图2是表示图像编码部102的结构的框图。在图2中，编码控制部401是发生各种控制信息来控制该图像编码部102全体的工作的装置。在由该编码控制部401生成的控制信息中，包括例如编码模式信息和量化步长Qp。这里，编码模式信息是为了进行帧内编码或进行帧间预测编码的切换控制而生成的信息。另外，量化步长Qp是为了控制从该图像编码部102输出的编码数据的代码量而生成的信息。

从摄像部101输出的一连串的帧的图像数据顺序供给MB(宏块)生成部402。该MB生成部402将由摄像部101供给的1帧的图像数据分割为16×16像素的MB而输出。减法器403进行这些各MB与由后面所述的运动补偿部413供给的各MB对应的参照图像的减法运算，并输出差值图像。

开关404具有接点a和接点b，来自MB生成部402的MB供给接点a，来自减法器403的差值图像供给接点b。并且，该开关404在进行帧内编码时根据由编码控制部401输出的编码模式信息切换到接点a侧，在进行帧间预测编码时切换到接点b侧。

DCT部405对将通过开关404供给的MB或差值图像进行4分割后的各块进行作为正交变换的一种的DCT(离散余弦变换)，并输出DCT系数矩阵。量化器406按照由编码控制部401供给的量化步长Qp对从DCT部405得到的DCT系数矩阵的各矩阵元素(即DCT系数)进行量化，并输出量化后的DCT系数矩阵。

逆量化器407对从量化器406得到的量化后的DCT系数矩阵进行逆量化，恢复为原来的DCT系数矩阵。IDCT部408对从逆量化器407输出的DCT系数矩阵进行逆DCT，恢复为原来的MB(帧内编码时)或差值图像(帧间预测编码时)。

该原来的MB或差值图像和开关410的输出数据供给加法器409。这里，开关410具有接点a和接点b，固定值「0」供给接点a，参照图像由运动补偿部413供给接点b。并且，该开关410在进行帧内编码时根据由编码控制部401输出的编码模式信息切换到接点a侧，在进行帧间预测编码时切换到接点b侧。因此，加法器409在帧内编码时输出DCT前的原来的MB，在帧间预测编码时输出对差值图像加上与其对应的参照图像，即输出原来的MB的译码图像。帧存储器411是存储这样从加法器409得到的译码图像的存储器。

运动预测部412对由MB生成部402供给减法器403的每一个MB从帧存储器FM内存储的在时间上为前一帧的译码图像中搜索与该MB相似的参照图像，并输出该MB与参照图像之间的运动矢量。运动补偿部413对由MB生成部402供给减法器403的每一个MB根据由运动预测部412求出的运动矢量将进行了运动补偿的参照图像供给减法器403和上述开关410的接点b。

可变长度编码器414将从量化器406得到的进行了量化的DCT系数矩阵和从运动预测部412得到的运动矢量进行可变长度编码，并与编码模式信息等各种控制信息复用，作为编码数据而输出。缓冲器415是暂时存储这样输出的编码数据的存储器。该缓冲器415存储的编码数据通过网络向移动终端100的对方装置发送。

在通常的图像通信时，编码控制部401在适当的时刻输出指示帧内编码的编码模式信息，在其他期间输出指示帧间预测编码的编码模式信息。另外，编码控制部401监视缓冲器415内的未发送的编码数据的代码量，随着未发送代码量的增大调整量化步长Qp，以使缓冲器415不发生溢出，从而来控制向缓冲器415输出的编码数据的代码量。

另一方面，移动终端100开始进行利用检索服务器200的信息检索的工作时，在进行该信息检索的工作的期间，把检索工作模式指示供给编码控制部401。这时，编码控制部401在供给检索工作模式指示之后，输出指示帧内编码的编码模式信息，进行1帧的帧内编码，在进行此后的信息检索的工作结束之前的帧中，根据编码控制部401具有的编码模式规范以MB为单位进行编码模式的切换。另外，编码控制部401在供给检索工作模式指示的期间将量化步长Qp固定为作为最小值的「1」。因此，在该期间内，以最高的精度进行编码。

以上是图像编码部102的结构的详细情况。

移动终端100除了以上说明的摄像部101和图像编码部102外，作为利用检索服务器200进行信息检索的单元，还具有初始物体区域指定部103、特征描述符生成部104、检索要求发送部105、检索数据复用和发送部106和检索结果显示部107。

初始物体区域指定部103是用于使用户确定在由摄像部101拍摄的外界的图像中作为检索对象的物体占有的区域(初始物体区域)的装置。

作为依据该初始物体区域指定部103的初始物体区域的确定方法，可以考虑各种方法，但是，也有例如以下的简便的方法。即，初始物体区域指定部103将由摄像部101拍摄的外界的图像显示到显示器(图中未示出)上。另外，初始物体区域指定部103在显示器上显示例如四边形的框。用户操作设置在移动终端100上的指定的键(例如光标键)，可以使该四边形的框的显示移动，或者调整该框的纵尺寸和横尺寸，使作为检索对象的物体的图像纳入到框中。并且，在检索对象纳入到四边形的框中时操作指定的键，将进行了初始物体区域的确定的情况通知移动终端100的初始物体区域指定部103。并且，初始物体区域指定部103将接收到该通知时四边形的框在画面内的占有位置作为检索对象的物体的初始物体区域而获得。此外，作为初始物体区域的确定方法，还有通过使用例如摄像机的变焦功能进行调整、以使物体充满画框从而将这时的画框作为初始物体区域的方法。

在输出了检索工作模式指示的期间，由图像编码部102向特征描述符生成部104供给编码数据。更详细而言，开始时，把由帧内编码得到的DCT系数供给特征描述符生成部104，以后，在输出了检索工作模式指示的期间，供给DCT系数、运动矢量和编码模式信息。另外，在供给帧内编码数据之前，将由初始物体区域指定部103得到的初始物体区域通知特征描述符生成部104。特征描述符生成部104使用由帧内编码得到的各DCT系数中与初始物体区域内的各MB对应的DCT系数生成特征描述符。另外，在进行帧间预测编码时，根据与由帧间预测编码得到的各MB对应的运动矢量推断帧内作为检索对象的物体的占有区域，并根据与该推断的占有区域内的各MB对应的DCT系数生成特征描述符。在特征描述符中，包括例如代表色描述符、构成色空间配置描述符和纹理描述符等。对于它们的意义，为了避免说明的重复，在本实施例的工作说明中详细说明。

特征描述符生成部104除了特征描述符外，还输出检索控制数据。这是为了在检索服务器200侧进行与检索对象物对应的高效率的检索而在特征描述符生成部104内自动生成的控制数据。对于该检索控制数据，也在本实施例的工作说明中详细说明。

检索要求发送部105是按照来自用户的指示输出检索要求数据的装置。

检索数据复用和发送部106是将由检索要求发送部105输出的检索要求数据与由特征描述符生成部104输出的特征描述符和检索控制数据复用并通过网络300向检索服务器200发送的装置。

检索结果显示部107是应答该检索数据复用和来自发送部106的检索要求数据等的发送在从检索服务器200返回检索结果数据时将该检索结果数据显示在图中未示出的显示器上的装置。

以上是移动终端100的结构的详细情况。

下面，说明检索服务器200。

检索服务器200具有检索数据接收、分离部201、匹配处理部202、检索结果发送部203和目录服务器A。检索数据接收、分离部201通过网络300接收来自移动终端100的发送数据，并将该发送数据分离为特征描述符、检索控制数据和检索要求数据，供给匹配处理部202。匹配处理部202通过接受检索要求数据而访问目录服务器A或网络300上的目录服务器B，将特征描述符作为检索关键字进行信息检索。

这里，目录服务器A及目录服务器B所具有的数据库形成图3所示的分层结构。设该数据库为例如关于生物的记录的数据库时，则最高位的基本类型例如是生物。并且，例如与动物对应的类型和与植物对应的类型属于基本类型的低位的类型层1，这些类型由包含关于一般动物或一般植物的信息的记录构成。并且，类型层1的低位的类型层2由将动物或植物进一步细分的类型构成，再低位的类型层的类型属于这些类型。并且，对于属于各类型层的每一个记录，用于检索它们的特征描述符的内容已被决定。这里，属于高位的类型层的各记录可以根据数量少的特征描述符或抽象的特征描述符进行检索，但是，对于越是处于低位的类型层，为了从属于各类型层的各记录中检索该记录，就需要更多的特征描述符或更具体的并且严密的特征描述符。

在由移动终端100侧供给的检索要求数据中，包含在进行信息检索时指定成为其搜索范围的类型的信息。匹配处理部202在该指定的搜索范围内进行与特征描述符一致的信息的检索。例如，在将属于类型层1的动物指定为搜索范围的检索要求数据从移动终端100传送来时，匹配处理部202就将图3中属于类型、动物的低位的各类型作为搜索范围进行与特征描述符一致的记录的检索。

检索结果发送部203将由匹配处理部202检索的记录作为检索结果数据向移动终端100发送。

以上是本实施例的信息检索系统的结构的详细情况。

(2)实施例的工作

①全体工作

图4是表示本实施例的信息检索系统的全体的工作的流程图。下面，参照该流程图说明本实施例的全体的工作。用户进行关于自己眼前存在的物体的信息检索时，将对该物体所知道的情况输入移动终端100。例如，知道眼前的物体是植物时，作为检索类型，用户就将指定植物的信息输入移动终端100(步骤S1)。

然后，用户指定检索条件，并向移动终端100输入(步骤S2)。在该步骤S2中输入的检索条件包括例如以下所述的内容。

a.描述时间

该描述时间是根据从摄像部101得到的图像数据进行特征描述符的生成的时间。具体而言，该描述时间由进行特征描述符的生成的图像的帧数指定。

b.详细度

该详细度是进行到什么样的严密的检索的程度。由于不能直接指定该详细度，所以，代之以指定作为从摄像部101进行图像数据的输出时的帧频或检索关键字使用的特征描述符的数量。

c.应答时间

是从将检索要求数据向检索服务器200传送后到检索结果数据返回来的应答时间。再有，特征描述符的数量越多，该应答时间就越长，所以，也可以指定特征描述符的数量来取代应答时间。

d.检索结果数据数

这是指定接收多少个与特征描述符一致的检索结果数据的信息。

e.同步检索/非同步检索的区别

在本实施例中，移动终端100的用户可以接受同步检索和非同步检索这2种业务。这里，所谓同步检索，就是移动终端100反复进行特征描述符的生成和向检索服务器200的发送，而检索服务器200反复进行来自移动终端100的特征描述符的接收和信息检索及检索结果数据的发送的检索业务。另一方面，所谓非同步检索，就是将在用户指定的描述时间内生成的特征描述符汇总从移动终端100向检索服务器200传送、而在检索服务器200中使用该特征描述符进行信息检索并将检索结果数据向移动终端100传送的检索业务。用户指定接受同步检索或非同步检索中的某一检索服务。

f.主观有意特征指定

这是用户本身主观上认为是该检索对象物的特征的事项。例如，用户考虑检索对象物的特征是其花样时，花样就成为主观的有意特征指定。

在以上的检索条件输入结束时，移动终端100就执行系统调整(步骤S3)。在该系统调整中，移动终端100在与检索服务器200之间进行能力协商。即，移动终端100向检索服务器200传送性能交换信息。该性能交换信息包含可以从移动终端100向检索服务器200提供的特征描述符的种类。检索服务器200根据该性能交换信息判定移动终端100是否可以提供信息检索所需要的特征描述符，并将该判定结果向移动终端100传送。在该判断结果中，包含表示由移动终端100可以提供的特征描述符能够进行何种程度的精度的信息检索的信息。另一方面，检索服务器200也向移动终端100发送性能交换信息。该性能交换信息包含检索服务器200可以检索的类型的范围等信息。移动终端100确认了可以向检索服务器200提供信息检索所需要的特征描述符并且检索服务器200可以进行从移动终端100要求的信息检索时，就进入到系统调整中的其余的处理。另一方面，在移动终端100不能向检索服务器200提供信息检索所需要的特征描述符时或者检索服务器200不能进行从移动终端100要求的信息检索时，移动终端100将表示这个意思的信息显示在显示器上，并中断处理。在能力协商结束时，移动终端100就将指定在步骤S1输入的检索类型的信息通过网络300从检索数据复用和发送部106向检索服务器200发送。这样，在检索服务器200侧，就确定检索对象的范围。然后，移动终端100将在步骤S2输入的各种检索条件通过网络300从检索数据复用和发送部106向检索服务器200发送。该该检索条件设定到检索服务器200的匹配处理部202中。

以上说明的系统调整结束时，在移动终端100中，就进行摄像和特征描述符的生成(步骤S4)。

更详细而言，在该步骤S4，用户利用移动终端100的摄像部101进行检索对象物的摄像，确定在显示器上显示出的图像中的检索对象物的初始物体区域，并指示移动终端100开始进行检索。该指示通过按压设置在移动终端100上的指定的按钮等操作而进行。

在移动终端100内部，根据该检索开始的指示，发生检索工作模式指示。这里，在步骤S2选择了同步检索时，然后继续发生检索工作模式指示直至用户指示了检索结束时为止。另一方面，在步骤S2选择了非同步检索时，就继续发生检索工作模式指示直至从在步骤S2指定的帧数的图像中抽出特征描述符为止。

在图像编码部102中，在发生检索工作模式指示的期间，按量化步长Qp＝「1」的条件进行编码。另外，在图像编码部102中，对于发生检索工作模式指示之后的最初的帧的图像数据，进行帧内编码，对于其后的帧的图像数据，进行伴有运动补偿的帧间预测编码。并且，把在该编码过程中生成的DCT系数、运动矢量和编码模式信息供给特征描述符生成部104，在特征描述符生成部104中，使用DCT系数、运动矢量和编码模式信息生成检索对象物的特征描述符。该特征描述符的生成在发生检索工作模式指示的期间继续进行。

其次，移动终端100利用检索数据复用和发送部106将这样生成的特征描述符和检索控制数据向检索服务器200传送(步骤S5)。这里，在进行同步检索时，用户随时可以输入指定检索类型等的检索要求数据。这时，检索要求数据在该步骤S5中与特征描述符和检索控制数据一起向检索服务器200传送。在该检索控制数据中，包含特征描述符的种类、检索时的各特征描述符的优先级等和在检索服务器200侧的检索控制所需要的信息。检索控制数据在特征描述符生成部104中自动生成，但是，也有反映来自用户的意思的数据。例如，在用户进行了主观的有意特征指定时，该指定反映在检索控制数据中关于各特征描述符的优先级的信息中。

检索服务器200利用检索数据接收、分离部201接收从移动终端100这样发送来的特征描述符、检索控制数据和检索要求数据(步骤S6)。这些特征描述符、检索控制数据和检索要求数据供给检索服务器200内的匹配处理部202。

并且，匹配处理部202访问目录服务器A或B内的数据库，在移动终端100指定的检索类型的范围内，进行从移动终端100传送来的特征描述符与数据库内的各记录对应的特征描述符的匹配处理(步骤S7)。更详细而言，对于数据库内的各记录，定义用于检索每个记录的特征描述符的内容。在匹配处理部202中，将与各记录对应的特征描述符与从移动终端100传送来的特征描述符进行比较对照，求出表示两者的一致度的评价值。并且，从评价值高的开始顺序进行记录的选择，在个数与从移动终端100传送来的检索结果数据数相当的记录集中的时刻，这些记录就作为检索结果数据向移动终端100发送(步骤S8)。具体而言，由匹配处理部202进行的匹配处理按照由移动终端100的特征描述符生成部104生成的检索控制数据进行。再有，关于该匹配处理的具体的内容，后面进行说明。

移动终端100从检索服务器200接收到检索结果数据时，就显示在显示器上(步骤S9)。

用户判断该显示的检索结果数据是否为自己所希望的数据(步骤S10)，在该判断结果为「是」时，就结束检索。另一方面，在对所显示的检索结果数据不满意时，用户就向移动终端100要求再次进行检索(步骤S11)，返回到检索类型的输入(步骤S1)，重新进行检索。

以上是本实施例的工作的概要。

②摄像和特征描述符生成的处理例

图5～图8分别是例示本实施例的摄像和特征描述符生成处理即图4中的步骤S4的处理的详细情况的流程图。下面，说明这些各处理例。

<例1>

在图5所示的处理例中，首先，在移动终端100中，把在图4的步骤S4等中输入的检索条件供给图像编码部102和特征描述符生成部104(步骤S101)。在该检索条件中，包含例如关于将特征描述符的抽出进行到多少个帧的结束条件的信息。

其次，从初始物体区域指定部103向特征描述符生成部104供给指定初始物体区域的信息(步骤S102)。这样，图像编码部102就开始进行用于得到特征描述符的图像数据的编码。

首先，图像编码部102在从摄像部101接受图像数据时，就判断该图像数据是否为检索工作模式指示发生之后的最初的帧的图像数据(步骤S103)。并且，在是最初的帧的图像数据时，图像编码部102就进行该图像数据的帧内编码(步骤S104)。

并且，特征描述符生成部104将在该帧内编码过程中从图像编码部102的量化器406得到的DCT系数中与DC分量对应的DCT系数取入(步骤S105)。

其次，特征描述符生成部104根据在步骤S105中取得的DC分量决定作为检索对象的物体的轮廓(步骤S106)。下面，参照图9A和9B说明该轮廓决定处理。

首先，在帧内编码过程中，对分割1帧的8×8像素的每一块求出DCT系数矩阵。这里，在对每一块求出的DCT系数矩阵中，第1行第1列的矩阵元素是该块内的图像的直流分量。如图9A所示，特征描述符生成部104从对每一块得到的DCT系数矩阵中抽出直流分量，将这些各DC分量集中，构成DC图像。

其次，特征描述符生成部104检测在该DC图像中存在的边缘。具体而言，将DC图像分割为横向2个、纵向2个的DC分量的块，对每一块、对构成各块的4个DC分量pk(k＝0～3)(参见图9B)，与边缘检测用的滤波系数ftk(k＝0～3)进行乘法运算，并将各乘法运算结果相加，求出评价值stgt。并且，在该评价值stgt超过指定的阈值时，就判定在该块中存在边缘。这里，滤波系数ftk(k＝0～3)适合于例如水平方向边缘、垂直方向边缘、右上倾斜方向边缘、左上倾斜方向边缘这样的情况，可以准备多组与应检测的边缘的方向相应的系数。通过对各种滤波系数ftk(k＝0～3)的每一组求出评价值stgt，可以判断在各块中是否存在各种边缘。

特征描述符生成部104对DC图像的所有的块进行这样的运算和判断，作成知道什么样的边缘位于何处的边缘图。并且，特征描述符生成部104从该边缘图中全部选择位于初始物体区域的内侧并且最接近初始物体区域的边界的边缘，将这些边缘决定为物体的轮廓线。

其次，特征描述符生成部104进行物体构成色区域生成处理(步骤S107)。下面，参照图10A说明该物体构成色区域生成处理。图10A表示由摄像部101拍摄的图像的例子。该图像中的花是检索对象物。BB是由用户指定为包围作为检索对象物的花的初始物体区域。在物体构成色区域生成处理中，特征描述符生成部104对属于初始物体区域BB内的各MB根据各个DC分量进行分组，将检索对象物的图像分别分为仅由同一色构成的物体构成区域。在图10A所示的例子中，分组为由黄色构成的物体构成区域R1和由白色构成的物体构成区域R2。

其次，特征描述符生成部104根据该分组的结果作成以下内容的代表色描述符(步骤S108)。

代表色描述符：作为检索对象的物体具有物体构成区域R1和R2，物体构成区域R1的代表色是黄色，物体构成区域R2的代表色是白色。

然后，特征描述符生成部104进行构成色空间配置描述符的生成处理(步骤S109)。在该处理中，生成表示在物体构成色区域生成处理中求出的各物体构成区域的空间的配置关系的信息。例如，图10A所示的情况，在该步骤S109中，如图10B中表示其图像那样，物体构成区域R1是在其周围8个方向上、对物体构成区域R1生成了与物体构成区域R2相对的这种意思的构成色空间配置描述符的区域。

其次，特征描述符生成部104进行纹理描述符的生成处理(步骤S110)。在该处理中，利用在步骤S106中求出的边缘图生成纹理描述符。即，在该处理中，在初始物体区域的垂直方向的各位置，合计在水平方向哪个方向的边缘有几个并作成直方图。另外，在初始物体区域的水平方向的各位置，合计在垂直方向哪个方向的边缘有几个并作成直方图。并且，将这些直方图作为纹理描述符。

然后，判断是否满足结束特征描述符的生成处理的条件，在该判断结果为「否」时，再次从步骤S101开始进行处理。

以上，就是与检索工作模式指示发生后的最初的帧对应的处理的详细情况。

下面，说明与第2个以后的帧对应的处理。

第2个以后的帧的图像数据从摄像部101输出时，图像编码部102进行该图像数据的帧间预测编码(步骤S121)。特征描述符生成部104从图像编码部102读入在该帧间预测编码过程中得到的DCT系数中与DC分量对应的DCT系数、从运动预测部412得到的与各MB对应的运动矢量和编码模式信息。并且，根据已得到的检索对象物的物体区域(在初始状态，是初始物体区域)和与各MB对应的运动矢量进行推断检索对象物现在所占据的物体区域的物体跟踪(步骤S122)。

然后，复原这样求出的物体区域内的各MB的DC分量(步骤S123)。这里，在帧内编码过程中可以从图像编码部102取得各MB的DC分量，但是，在帧间预测编码过程中从图像编码部102取得的不是各MB的DC分量，而是各MB和与它们对应的参照图像之差的DC分量。因此，在该步骤S123，根据由图像编码部102的加法器409生成的译码图像的图像数据及与自身的差值图像对应的DC分量等推断物体区域内的各MB的DC分量。

在步骤S123结束时，以后就进行已说明的步骤S107～S111，作成与第2帧对应的代表色描述符、构成空间配置描述符和纹理描述符。

以后，对后续的各帧反复进行代表色描述符等各特征描述符的生成，直至在步骤S111中形成满足结束条件这个意思的判断为止。

在同步检索时，每当这样得到与各帧对应的特征描述符时，特征描述符就与检索控制数据和检索要求数据复用，并向检索服务器200传送。并且，在检索服务器200中，每当接收到与各帧对应的特征描述符等时，就进行与特征描述符号一致的记录的检索，并作为检索结果数据向移动终端100发送。

用户通过确认这样顺序传送来的检索结果数据并进行检索类型的变更等，由此，进行检索范围的筛选从而可以接受所希望的检索结果数据。

另外，在非同步检索时，仅对预先作为描述时间而设定的帧数生成与各帧对应的特征描述符，并将这些多个帧的特征描述符集向检索服务器200传送。并且，在检索服务器200中，进行与这些特征描述符集一致的记录的检索，并将检索结果数据向移动终端100发送。

按照该非同步检索，可以例如从多方面拍摄检索对象物、生成表示从多个不同的视角看到的检索对象物的多面的特征的特征描述符集，从而可以进行与该特征描述符集一致的记录的检索。

<例2>

下面，说明图6所示的处理例。再有，在图6中，对于和上述图5的各步骤共同的部分标以相同的符号，并省略其说明。

在该图6所示的处理例中，附加了步骤S131、S132及步骤S141～S143。

在图5所示的处理例中，用于信息检索而生成的多个特征描述符(以下，称为特征描述符集)的种类是固定的。

与此相反，该图6所示的处理例中，特征描述符集的结构准备了2种(以下，称为第1特征描述符集和第2特征描述符集)，用户可以选择其中的某一种。

即，在步骤S131，向用户询问生成第1和第2特征描述符集中的哪一种，由用户进行其选择。并且，在步骤S132，判断用户选择的特征描述符集是哪一种。

在选择了第1特征描述符集时，就进行步骤S107～S111，生成由代表色描述符、构成色空间配置描述符和纹理描述符构成的第1特征描述符集。

另一方面，在用户选择了第2特征描述符集时，特征描述符生成部104就对由物体区域内的各MB的DC分量构成的DC图像进行DCT(步骤S141)，将得到的DCT系数中与低频分量相当的DCT系数作为第2特征描述符集而抽出(步骤S142)。并且，判断是否满足结束条件(步骤S143)，在不满足该结束条件时，就返回到步骤S103。

按照该处理例，用户可以选择与检索对象物一致的特征描述符集，进行信息检索。表示该特征描述符集的选择结果的选择信息作为检索控制数据从特征描述符生成部104输出，与特征描述符集复用后向检索服务器200发送(上述图4的步骤S5)。并且，该选择信息作为检索控制数据向检索服务器200内的匹配处理部202传送，由匹配处理部202根据该选择信息判断特征描述符集，使用该特征描述符集进行匹配处理。

特征描述符集的选择也可以自动地进行。例如，在步骤S106可以获得物体区域内的边缘分布，在该边缘分布中，在物体区域内存在多个细的边缘时，就选择第2特征描述符集。这是因为，可以认为，在物体区域内存在多个细的边缘时，使用反映全体的花样的特征的第2特征描述符集可以比作为主要由代表色构成的物体构成区域的集合(第1特征描述符集)捕捉物体更好地描述物体的特征。

<例3>

下面，说明图7所示的处理例。再有，在图7中，对于与上述图5的各步骤共同的部分标以相同的符号，并省略其说明。

在该图6所示的处理例中，步骤S107置换为步骤S106A，同时步骤S111A附加到步骤S111之前。

这里，在步骤S106A，根据在步骤S106或S123得到的物体区域内的各MB的DC分量求出检索对象物的形状，并作成表示该形状的物体描述符。

另一方面，在步骤S111A，判定在步骤S106A～S110得到的各种特征描述符的描述精度，并将与该描述精度相应的优先级分配给各特征描述符。该描述精度可以在生成各特征描述的过程中取得。例如，如果相邻的MB的色之间的距离是在允许范围内，就判定两MB属于相同的物体构成区域，用于求代表色描述符的分组就通过反复进行这样的判断而进行。这里，即使是属于同一物体构成区域的MB，两者的颜色不一定相同。并且，可以说包含在同一物体构成区域中的各MB间的色的差别越大，该物体构成区域的代表色就越不正确。因此，关于代表色的描述符，在其生成过程中，可以求出包含在同一物体构成区域中的各MB间的色的差别，并根据该结果得到描述精度。

以上，是关于代表色描述符的描述精度的评价方法，但是，同样对于其他种类的特征描述符也可以按照适当的评价方法评价它们的描述精度。在步骤S111A，这样求出各特征描述符的描述精度，并将与描述精度相应的优先级分配给各特征描述符。

这里，在由用户进行主观有意特征指定时，在根据描述精度附加优先级之后，进而可以加上提高用户主观指定为特征的特征描述符的优先级的修正。

各特征描述符的优先级作为检索控制数据向检索服务器200传送。检索服务器200的匹配处理部202对各特征描述符进行与各个优先级对应的加权，进行信息检索。再有，关于信息检索的情况，后面进行说明。

<例4>

下面，说明图8所示的处理例。再有，在图8中，对于和上述图5的各步骤共同的部分标以相同的符号，并省略其说明。

在上述图5的处理例中，在进行物体的轮廓决定(步骤S106)之后，进行物体构成色区域的生成(步骤S107)。

与此相反，在图8所示的处理例中，在抽出DC分量后，开始进行第1物体构成色区域的生成(步骤S107B)。这样，便可得到某种程度的色库的区域分割。这时，有2个以上的不同的代表色相邻的部分时，该部分是物体边界的可能性高。其次，在图8所示的处理例中，抽出作为物体区域的矩形区域内的边缘的分布，与通过上述第1物体构成区域的生成处理而得到的构成色库的区域分割结果组合，决定视为物体边界的MB(步骤S106B)。例如，识别非常清晰的边缘，并且存在2个以上的不同的代表色，从而将接近作为物体区域的矩形的端边位置的MB作为物体边界。

在决定了物体边界之后，仅将物体区域内存在的MB作为对象，进行第2物体构成色区域的生成。这就是使第1物体构成色区域的生成处理更可靠的改善处理，根据该结果生成代表色描述符。以后的处理和上述图5相同。

③匹配处理的例子

图11和图12分别是表示检索服务器200的匹配处理部202进行的匹配处理的例子的流程图。下面，说明这些匹配处理例。

<例1>

在图11所示的处理例中，匹配处理部202首先进行检索处理初始设定(步骤S201)。该检索处理初始设定与上述图4的全体流程中的系统调整(步骤S3)对应。在该检索处理初始设定中，匹配处理部202按照从移动终端100接收的检索控制数据进行作为检索关键字使用的特征描述符集的选择、作为检索对象的目录服务器的选择、根据由移动终端100指定的应答时间的检索步骤数的设定和根据检索类型的指定的检索范围的设定等。

其次，匹配处理部202从移动终端100接收并存储作为检索关键字使用的特征描述符(步骤S202)。

然后，匹配处理部202进行特征描述符匹配处理(步骤S203)。即，匹配处理部202选择数据库中检索范围内的1个记录，将作为用于选择该记录的条件而决定的特征描述符和从移动终端100传送来的特征描述符代入指定的评价函数，评价两特征描述符的一致度，求出评价值。这里，在特征描述符有多种并且从移动终端100接收到指定各个优先级的信息时，就修正评价函数，以使优先级高的特征描述符一致时的比优先级低的特征描述符一致时可以得到更高的评价值，并使用该修正后的评价函数进行一致度的评价(步骤S203)。

其次，匹配处理部202进行匹配结果更新处理。在该匹配结果更新处理中，在经过步骤S202的特征描述符匹配处理后的记录的个数达到检索结果数据数之前的期间，把这些记录与通过特征描述符匹配处理而得到的评价值一起存储到检索结果缓冲器内。并且，该检索结果缓冲器中存储的记录的个数达到检索结果数据数时，在其后的匹配结果更新处理中，将通过特征描述符匹配处理而得到的新的记录的评价值与检索结果缓冲器中存储的各记录的评价值进行比较。并且，新的记录的评价值比在该时刻检索结果缓冲器中存储的各记录的评价值的哪一个低时，就不考虑新的记录及其评价值。另一方面，在该时刻检索结果缓冲器中存储的各记录的评价值中有比新的记录的评价值低者时，该记录和评价值就被从检索结果缓冲器中逐出，代之以新的记录及其评价值存储到检索结果缓冲器中。

该匹配结果更新处理结束时，匹配处理部202就判断是否从移动终端100接收到了应进行特征描述符匹配处理的其他帧的特征描述符(步骤S205)。

在步骤S205的判断结果为「是」时，就使用与该帧对应的特征描述符进行步骤S203和S204。

另一方面，在步骤S205的判断结果为「否」时，就判断在检索范围内是否还有特征描述符匹配处理未结束的记录(步骤S206)。

在该判断结果为「是」时，就从数据库中读出该记录(步骤S207)，进行步骤S203～S205。

另一方面，在步骤S206的判断结果为「否」时，就判断是否有应另外检索的数据库(步骤S208)。

并且，在有这样的数据库时，就以该数据库为对象进行步骤S203～S207。

另一方面，在步骤S208的判断结果为「否」时，就将个数与检索结果缓冲器内存储的检索结果数据数相当的记录从检索结果发送部203向移动终端100发送(步骤S209)。

以上，就是匹配处理例的详细情况。

<例2>

图12所示的匹配处理例是与在移动终端100侧可以选择第1特征描述符集或第2特征描述符集中的某一个的情况对应的处理例。

在该处理例中，步骤S203A～S209A是使用第1特征描述符集的匹配处理，步骤S203B～S209B是使用第2特征描述符集的匹配处理，其处理内容都和图11中的步骤S203～S209相同。

并且，在该处理例中，在附加到步骤S201和S202之后的步骤S210中，根据从移动终端100接收的检索控制数据判断在移动终端100侧选择了第1或第2特征描述符集中的哪一个，在选择了第1特征描述符集时，就进行步骤S203A～S209A，在选择了第2特征描述符集时，就进行步骤S203B～S209B。

以上，说明了本发明的实施例1，但是，业者可以对其加以各种各样的变形而进行实施。例如，可以考虑以下的变形例。即，在上述实施例中，在移动终端100中仅是最开始的帧进行帧内编码，但是，也可以在发生检索工作模式指示的期间中总是进行帧内编码。具体而言，就是在图5所示的移动终端100的工作流程中删除步骤S103和S121～S123后的工作流程。这时，不进行物体的跟踪，所以，用户必须进行摄像机的变焦调整等以便将检索对象物总是纳入到物体区域内，但是，由于可以提高DC分量的抽出精度，所以，可以提高特征描述符的描述精度，从而可以进行精度高的信息检索。

B.实施例2.

图13是表示作为本发明实施例2的信息检索系统的结构的框图。在该信息检索系统中，从外部接收图像的编码数据并进行解调的接收部110设置在移动终端100中。图14是表示该接收部110的译码器的结构的框图。该译码器具有可变长度译码器501、逆量化器502、逆DCT部503、加法器504、开关505、运动补偿部506和帧存储器507。

通过网络接收的帧内编码数据或帧间预测编码数据在可变长度译码器501中解除复用，同时恢复为可变长度编码前的编码数据。

首先，假设接收帧内编码数据，供给可变长度译码器501。这时，从可变长度译码器501输出的帧内编码数据包含构成帧的各块的DCT系数的量化数据、量化步长Qp和指定帧内编码模式的编码模式信息。其中，DCT系数的量化数据由逆量化器502进行逆量化。并且，由逆DCT部503对各块的DCT系数进行逆DCT，复原各块的图像数据。这时，开关505按照与帧内编码模式对应的编码模式信息选择固定值「0」，供给加法器504。因此，从逆DCT部503输出的图像数据通过加法器504作为监视信号直接向显示器传送。另外，该译码图像的图像数据存储到帧存储器507中。

其次，假设接收帧间预测编码数据，供给可变长度译码器501。这时，从可变长度译码器501输出的帧间预测编码数据包含从构成帧的各块的图像与参照图像之间的差值得到的DCT系数的量化数据、量化步长Qp、指定帧间预测编码模式的编码模式信息和与各宏块对应的运动矢量。其中，DCT系数的量化数据由逆量化器502进行逆量化。并且，由逆DCT部503对各块的DCT系数进行逆DCT，复原各块的图像与参照图像之差。

另一方面，与各宏块对应的运动矢量供给运动补偿部506。运动补偿部506在与构成各宏块的各块对应的差值信息从逆DCT部503供给加法器504时参照与该宏块对应的运动矢量求出与该宏块对应的参照图像的位置，并将该参照图像的图像数据从帧存储器507中读出，向开关505传送。

这时，开关505按照与帧间预测编码模式对应的编码模式信息选择该参照图像的图像数据，供给加法器504。因此，该参照图像的图像数据由加法器504与从逆DCT部503输出的差值图像的图像数据相加。结果，译码图像的图像数据从加法器504输出，作为监视信号向显示器传送。另外，该译码图像的图像数据存储到帧存储器507中。

以上，是该译码器的工作。

在该译码器中得到的DCT系数和运动矢量除了用于以上说明的译码处理外，还供给特征描述符生成部104。

用户在显示器显示的图像中包含检索对象物时可以利用初始物体区域指定部103指定该初始物体区域，另外，可以指定各种检索控制数据而指示生成特征描述符。

特征描述符生成部104按照来自该用户的指示使用来自接收部110的译码器的DCT系数和运动矢量生成特征描述符，并向检索服务器200要求信息检索。

特征描述符生成部104的处理内容和检索服务器200的处理内容与已在实施例1中说明的没有变化，所以，省略其说明。

按照本实施例，不仅对于由摄像部101从外界取得的图像，而且对于包含在通过网络接收的图像中的检索对象物，都可以进行信息检索。

C.实施例3.

图15是表示作为本发明实施例3的信息检索系统的结构的框图。与上述实施例1比较，本实施例的移动终端100不具有特征描述符生成部104及检索数据复用和发送部106，而代之以具有开关130和复用发送部140。另外，本实施例的检索服务器200具有接收、分离部220，取代检索数据接收、分离部201，此外，还具有特征描述符生成部210。

图16是表示本实施例的工作的流程图。再有，在该流程图中，步骤S101、S102、S104和S111是在移动终端100侧进行的处理，步骤S105～S110和S150是在检索服务器200侧进行的处理。

首先，在移动终端100中，在图4的步骤S4等输入的检索条件供给图像编码部102(步骤S101)。在该检索条件中，包含例如关于对哪一个帧进行特征描述符的抽出的结束条件。

其次，用户将检索对象物的图像收满摄像机的画框，由初始物体区域指定部103指定初始物体区域。表示该初始物体区域的信息通过开关130供给复用、发送部140(步骤S102)。

然后，发生工作模式指示时，在发生该工作模式指示的期间，图像编码部102按量化步长Qp＝「1」的条件，反复进行从摄像部101输出的图像数据的帧内编码。由该帧内编码得到的编码数据与表示初始物体位置的信息复用，以网络300可以传输的速度内的传输速度向检索服务器200发送。另外，用户可以随时将包含检索类型的指定等的检索要求数据输入移动终端100，这时，该检索要求数据也可以与编码数据复用而向检索服务器200发送。

在检索服务器200中，这样从移动终端100侧传送来的数据的接收及分离由接收、分离部220进行，编码数据和初始物体位置的信息向特征描述符生成部210传送，检索要求数据向匹配处理部202传送。

并且，在特征描述符生成部210中，使用编码数据和初始物体位置的信息进行步骤S105～S110，生成信息检索所需要的特征描述符。另外，这时还生成包含带各特征描述符的优先级的信息等的检索控制信息。再有，这些处理和在上述实施例中由移动终端100内的特征描述符生成部进行的处理一样，所以，省略其说明。

由特征描述符生成部210生成的特征描述符和检索控制信息向匹配处理部202传送。并且，在匹配处理部202中，进行匹配处理(步骤S150)。该匹配处理也和已在实施例1中详细说明的一样。并且，该匹配处理的结果由检索结果发送部203向移动终端100发送，在该终端的显示器上显示。

在移动终端100中，判断是否已满足了结束条件(步骤S111)，直至该判断结果成为「是」为止，反复进行以上说明了的处理。

在本实施例中，由帧内编码得到的编码数据从移动终端100向检索服务器200发送，所以，在检索服务器200侧不能进行使用运动矢量的物体跟踪。因此，用户必须总是将检索对象物捕捉满画框(或作为初始物体区域而指定的框内)进行摄影。

但是，按照本实施例，在移动终端100侧不必设置特征描述符生成部和用于发送特征描述符的接口。因此，对于已有的移动终端，仅将作为检索信息输入装置的基本的菜单处理和对图像编码部发生工作模式指示的处理作为软件附加就可以构成本实施例的移动终端100。

另外，在本实施例中，向检索服务器200要求信息检索时，必须从移动终端100发送帧内编码数据，但是，该帧内编码数据不是用于图像的显示，所以，可以按网络可以传输的速度内的速度进行传输。因此，本实施例不增加网络的传输容量就可以实施。

另外，这时如果将量化步长Qp取为「1」、进行精度高的帧内编码，就可以提高在检索服务器200侧推断图像的DC分量时的精度，从而可以提高特征描述符的描述精度。

对于本实施例，可以考虑以下的变形例。即，在移动终端100侧，只有检索要求时最开始的帧进行帧内编码，后续的帧根据需要进行帧间预测编码。这时，在检索服务器200侧，必须附加使用包含在帧间预测编码数据中的运动矢量、对物体区域进行跟踪的处理。但是，在移动终端100侧，不必连续指定物体区域，所以，可以减轻用户的负担。

D.实施例4.

图17是表示作为本发明实施例4的信息检索系统的结构的框图。该信息检索系统是将上述实施例2加以改良的系统，在移动终端100中附加了传感器部120。在本实施例中，由该传感器部120得到的读出数据与特征描述符一起向检索服务器200传送，在检索服务器200中，将读出数据和特征描述符作为检索关键字进行信息检索。

传感器部120是例如GPS(全球定位系统)等的位置传感器。当然，也可以采用读出其他信息的传感器。

作为传感器部120，采用位置传感器时，可以进行将用户的所在地也包含在检索关键字中的信息检索。

E.其他实施例.

(1)系统结构

利用检索服务器进行信息检索的终端，也可以是非移动终端的固定终端。另外，在以上说明的各实施例中，列举了由终端和检索服务器构成的信息检索系统，但是，例如对于个人计算机，也可以具有摄像部、图像编码部、特征描述符生成部和匹配处理部来构成独立型的信息检索系统。

(2)检索控制

在上述各实施例中，特征描述符生成部生成用于高效率地进行检索的检索控制数据，匹配处理部按照该检索控制数据进行匹配处理，但是，也可以利用与此相反方向的信息的流程用于高效率地进行检索的处理。例如，在已判明了检索对象的类型时，就可以考虑将适合于该类型的信息检索的特征描述符或特征描述符集从匹配处理部通知特征描述符生成部、而特征描述符生成部生成该特征描述符或特征描述符集并向匹配处理部传送的处理的流程。

(3)本发明除了按以上说明的生产并使用移动终端和检索服务器的形式实施外，也可以如上述实施例那样将用于使移动终端和检索服务器工作的控制程序通过电通信线路分配给用户或将记录该控制程序的记录媒体分配给用户这样的形式进行实施。

Claims (24)

1.一种信息检索系统，其特征在于包括：使关于各种检索对象物的记录与作为各个用于选择的条件的特征描述符对应而进行存储的数据库；取得包含检索对象物的图像的图像取得单元；根据包含在由上述图像取得单元取得的图像中的检索对象物的图像生成特征描述符的特征描述符生成部；以及从上述数据库中检索关于与由上述特征描述符生成部生成的特征描述符一致的检索对象物的记录的匹配处理部。

2.按权利要求1所述的信息检索系统，其特征在于：具有终端和检索服务器，

上述终端具有上述图像取得单元和上述特征描述符生成部，将由上述特征描述符生成部生成的特征描述符通过网络进行发送，

上述检索服务器具有上述匹配处理部，通过上述网络从上述终端接受上述特征描述符，由上述匹配处理部从上述数据库检索与上述特征描述符一致的记录，并向上述终端发送。

3.按权利要求1所述的信息检索系统，其特征在于：具有终端和检索服务器，

上述终端具有上述图像取得单元，将由上述骀取得单元取得的图像通过网络进行发送，

上述检索服务器具有上述特征描述符生成部和上述匹配处理部，通过上述网络从上述终端接受图像，由上述特征描述符生成部根据上述图像生成特征描述符，由上述匹配处理部从上述数据库检索与上述特征描述符一致的记录，并向上述终端发送。

4.按权利要求1～3的任一项所述的信息检索系统，其特征在于：

上述图像取得单元取得构成活动图像的多个帧的图像，

上述特征描述符生成部根据包含在上述多个帧的各图像中的上述检索对象物的图像生成特征描述符。

5.按权利要求1～4的任一项所述的信息检索系统，其特征在于：上述图像取得单元是拍摄外界的图像的摄像部。

6.按权利要求1～4的任一项所述的信息检索系统，其特征在于：上述图像取得单元是通过网络接收图像的接收单元。

7.按权利要求2或3所述的信息检索系统，其特征在于：上述终端是移动终端。

8.按权利要求1～7的任一项所述的信息检索系统，其特征在于：

上述特征描述符生成部输出指定检索条件的检索控制数据，

上述匹配处理部按照该检索控制数据进行信息检索。

9.按权利要求2或3所述的信息检索系统，其特征在于：

上述终端具有发送指定同步检索或非同步检索的检索要求数据的单元，

上述检索服务器在接收到指定上述同步检索的检索要求数据时，每当得到与各帧对应的特征描述符时就将该特征描述符作为检索关键字进行信息检索，并将检索结果数据向上述终端发送，

在接收到指定上述非同步检索的检索要求数据时，在接收到与规定个数的帧对应的特征描述符时就将该特征描述符作为检索关键字进行信息检索，并将检索结果数据向上述终端发送。

10.按权利要求2或3所述的信息检索系统，其特征在于：

上述终端具有发送指定检索范围的检索要求数据的单元，

上述检索服务器在由该检索要求数据指定的检索范围内进行信息检索。

11.按权利要求1～10的任一项所述的信息检索系统，其特征在于：

上述特征描述符生成部根据检索对象物的图像生成由多种特征描述符构成的特征描述符集，

上述匹配处理部从上述数据库检索关于与该特征描述符集一致的检索对象物的记录。

12.按权利要求11所述的信息检索系统，其特征在于：上述特征描述符生成部选择多种特征描述符集中的某一个，根据检索对象物的图像生成该选择了的特征描述符集，同时将表示选择了的特征描述符集的特征描述符集选择信息通知上述匹配处理部。

13.按权利要求1～12的任一项所述的信息检索系统，其特征在于：

上述特征描述符生成部生成多种特征描述符，同时决定各特征描述符的优先级，

上述匹配处理部根据各优先级将各特征描述符作为检索关键字使用，进行信息检索。

14.按权利要求13所述的信息检索系统，其特征在于：上述特征描述符生成部根据各特征描述符的描述精度决定各特征描述符的优先级。

15.按权利要求13或14所述的信息检索系统，其特征在于：上述特征描述符生成部根据来自用户的指定决定各特征描述符的优先级。

16.按权利要求1～15的任一项所述的信息检索系统，其特征在于：具有传感器，上述匹配处理部将从该传感器得到的读出数据与上述特征描述符一起作为检索关键字进行信息检索。

17.按权利要求16所述的信息检索系统，其特征在于：上述传感器是输出表示所在位置的读出数据的位置传感器。

18.按权利要求1～17的任一项所述的信息检索系统，其特征在于：上述特征描述符生成部通过与上述匹配处理部进行协商，决定根据检索对象物的图像生成的特征描述符。

19.按权利要求1～18的任一项所述的信息检索系统，其特征在于：

具有对取得的图像进行编码的图像编码部，

上述特征描述符生成部根据在上述图像编码部的图像编码过程中生成的数据生成特征描述符。

20.按权利要求1～19的任一项所述的信息检索系统，其特征在于：

具有指定检索对象物在由上述图像取得单元取得的图像中占据的物体区域的单元，

上述图像编码部在进行特征描述符的生成时对最开始的帧进行帧内编码，对其后的帧反复进行伴随运动补偿的帧间预测编码，

上述特征描述符生成部根据在帧内编码过程中得到的数据生成与检索对象物对应的特征描述符，在进行帧间预测编码时，根据在帧间预测编码过程中得到的运动矢量推断检索对象物的物体区域，生成特征描述符。

21.按权利要求1～19的任一项所述的信息检索系统，其特征在于：

具有指定检索对象物在由上述图像取得单元取得的图像中占据的物体区域的单元，

上述图像编码部在生成特征描述符时进行帧内编码，

上述特征描述符生成部根据在帧内编码过程中得到的数据生成与检索对象物对应的特征描述符。

22.一种终端，其特征在于包括：

用于与网络内的检索服务器进行通信的通信单元；

取得包含检索对象物的图像的图像取得单元、根据包含在由上述图像取得单元取得的图像中的检索对象物的图像生成特征描述符并利用上述通信部向上述检索服务器发送的特征描述符生成部；以及

利用上述通信部从该检索服务器接收关于与上述特征描述符一致的检索对象物的记录的单元。

23.一种终端，其特征在于包括：

用于与检索服务器进行通信的通信单元；

取得包含检索对象物的图像的图像取得单元；

特征描述符生成部，利用上述通信单元将表示可以提供的特征描述符的种类的性能交换信息向上述检索服务器发送，利用上述通信单元从上述检索服务器接收关于可以使用上述可以提供的特征描述符进行的信息检索的信息，根据该接收信息决定信息检索用特征描述符，根据包含在由上述图像取得单元取得的图像中的检索对象物的图像生成上述信息检索用特征描述符，并利用上述通信单元向上述检索服务器发送；以及

利用上述通信单元从上述检索服务器接收信息检索结果的单元。

24.一种检索服务器，其特征在于包括：

用于与终端进行通信的通信单元；

匹配处理部，通过上述通信单元接收表示可以从上述终端提供的特征描述符的种类的性能交换信息，将关于可以使用该特征描述符进行的信息检索的信息向上述终端发送，从上述终端接收到特征描述符时，从数据库中检索关于与从上述终端接收的特征描述符一致的检索对象物的记录；以及

利用上述通信单元将由上述匹配处理部得到的记录向上述终端发送的单元。

Images