CN101373482B - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明提供了一种信息处理设备和信息处理方法。该信息处理设备包括：存储器，该存储器被配置为在逐数据基础上存储视频数据的至少一个变化点间隔；计算器，该计算器被配置为从输入视频数据计算至少一个变化点间隔；检测器，该检测器被配置为检测与彼此匹配的变化点间隔，检测到的变化点间隔之一源自于存储器中的存储，检测到的变化点间隔中的另一个源自于计算器进行的计算；以及判定器，该判定器被配置为将各自包括在从由检测器检测到的变化点间隔中的相应一个变化点间隔起的预定范围中的变化点间隔与彼此相比较，以判定输入视频数据是否匹配与存储器中存储的变化点间隔相对应的视频数据。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及信息处理设备，具体地说涉及允许运动图像检索(movingimage retrieval)的信息处理设备和信息处理方法。

背景技术

近年来，诸如因特网之类的网络技术正在被改进，使得对各种信息片段的高速通信正成为可能，并且这种通信的可靠度正在被提高。另外，运动图像共享系统正变得普遍起来。在该系统中，运动图像被上载到与因特网相连的运动图像管理服务器，并且运动图像以被与因特网相连的多个个人计算机所共享的方式被查看。

例如，以下的在线服务是很普遍的。具体地说。在该服务中，用户家中的个人计算机经由因特网连接到运动图像管理服务器，并且运动图像被从用户家中的个人计算机上载到运动图像管理服务器，以便该运动图像可被从另一个人计算机查看。

在这种运动图像共享系统中，上载的运动图像在一些情况下将是由用户自己创建的，但在其他情况下却将会是侵犯他人著作权的。如果侵犯他人著作权的运动图像被这样上载，那么例如通过禁止下载运动图像来防止人们查看运动图像，将会是很重要的。对于有关上载的运动图像是否侵犯他人著作权的判定，通常运动图像管理服务器的管理员直接查看各个上载的运动图像，从而作出该判定。但是，如果上载的运动图像的数目很大，那么管理员很难查看所有运动图像。

为了解决该问题，例如已经提出了一种图像检索设备。该设备作出关于图像相对于特定图像的匹配和相似度的判定，从而检索出与特定图像匹配的图像，而无需对根据例如JPEG2000系统压缩编码的视频内容进行完全解码(例如参考日本专利早期公开No.2006-285615(图1))。

发明内容

该现有技术可以迅速地检索与特定图像匹配的图像。

但是，将被上载到网络上的运动图像的数目是非常大的，并且可能侵犯他人著作权的运动图像的数目也是非常大的。因此，为了基于特定图像的特征等等来迅速地检索运动图像，减少应当被存储在检索执行方的信息的量以及与检索相关的处理量以便进行迅速的运动图像检索，是很重要的。

本发明需要迅速地检索运动图像。

根据本发明的一个实施例，提供了一种信息处理设备，包括：存储器，该存储器被配置为在逐数据基础上存储视频数据的至少一个变化点间隔；计算器，该计算器被配置为从输入视频数据计算至少一个变化点间隔；以及检测器，该检测器被配置为检测与彼此匹配的变化点间隔。检测到的变化点间隔之一源自于存储器中的存储，检测到的变化点间隔中的另一个源自于计算器进行的计算。该信息处理设备还包括判定器，该判定器被配置为将各自包括在从由检测器检测到的变化点间隔中的相应一个变化点间隔起的预定范围中的变化点间隔与彼此相比较，以判定输入视频数据是否匹配与存储器中存储的变化点间隔相对应的视频数据。

根据本发明的另一个实施例，提供了一种信息处理方法，包括以下步骤：在逐数据基础上存储视频数据的至少一个变化点间隔；从输入视频数据计算至少一个变化点间隔；以及检测与彼此匹配的变化点间隔。检测到的变化点间隔之一源自于存储步骤，检测到的变化点间隔中的另一个源自于计算步骤。该信息处理方法还包括以下步骤：将各自包括在从在检测步骤中检测到的变化点间隔中的相应一个变化点间隔起的预定范围中的变化点间隔与彼此相比较，以判定输入视频数据是否匹配与在存储步骤中存储的变化点间隔相对应的视频数据。

本发明的这些实施例可提供允许迅速运动图像检索的优良优点。

附图说明

图1是示出信息处理设备的功能配置示例的框图；

图2是示出特征提取器的功能配置示例的框图；

图3A和3B是各自示出在逐帧基础上提取的亮度信号Y、色差信号(蓝)Cb和色差信号[0](红)Cr的颜色直方图(color histogram)的一个示例的示图，并且图3C是示出图3A和3B的颜色直方图之间的面积差别的示图；

图4是概念性地示出与运动图像中包括的各个帧相对应的图像被以时间序列方式布置的示例的示图；

图5是示意性地示出存储在数据库中的锐变点(cut-change point)间隔列表的示图；

图6是示出锐变点间隔列表的示图；

图7是示意性地示出通过锐变点间隔列表之间的比较来判定运动图像是否与彼此匹配的判定方法的一个示例的示图；

图8是示出信息处理设备进行的用于检索匹配运动图像的处理的过程的流程图；

图9是示出在信息处理设备进行的用于检索匹配运动图像的处理中的匹配判定处理的过程的流程图；

图10A和10B是示出锐变点间隔列表的示图；

图11是示出信息处理设备的配置示例的框图；

图12是示出特征提取器的功能配置示例的框图；

图13是示意性地示出存储在数据库中的特征列表的示图；

图14是示出特征列表的示图；

图15是示出指示出特征列表中的连续帧之间的直方图差别的线图(line graph)的示图；

图16是示出指示出特征列表中的连续帧之间的直方图差别的线图的示图；

图17是示出信息处理设备进行的阈值改变处理的过程的流程图；

图18是示出基于运动图像的特性对运动图像进行的分类的示图；

图19是示出特征提取器的功能配置示例的框图；

图20是概念性地示出运动图像中包括的、以时间序列方式布置的各个帧的示图；

图21是示出信息处理设备的配置示例的框图；

图22是示出特征提取器的功能配置示例的框图；

图23是示意性地示出存储在数据库中的特征列表的示图；

图24是示出信息处理设备的配置示例的框图；

图25是示出特征提取器的功能配置示例的框图；

图26是示出特征核对器(feature checker)的功能配置示例的框图；

图27是示出核对方法决定器对核对方法的决定方法的概要的示图；以及

图28是示出信息处理系统的系统配置图。

具体实施方式

下面将参考附图详细描述本发明的实施例。

图1是示出根据本发明实施例的信息处理设备100的功能配置示例的框图。该信息处理设备100包括运动图像输入单元110、视频和音频解复用器120、视频解码器130、数据库140、特征核对器150、判定结果输出单元160和特征提取器200。该信息处理设备100例如可由个人计算机来实现，该个人计算机可以通过视频分析来提取由诸如数字摄像机之类的成像设备捕捉到的运动图像的特征，并且可以利用所提取的特征执行各种图像处理。

运动图像输入单元110是运动图像所输入到的单元，并且将输入的运动图像输出到视频和音频解复用器120。将被输入到运动图像输入单元110的运动图像的示例包括由成像设备捕捉的运动图像和通过电视广播接收的运动图像。

视频和音频解复用器120将从运动图像输入单元110输出的运动图像分离成视频数据(信号)和音频数据(信号)，并将分离后的视频数据输出到视频解码器130。在本发明的实施例中没有具体利用分离后的音频数据。

视频解码器130通过对从视频和音频解复用器120输出的视频数据进行解码来创建基带数据，并且将所创建的基带数据输出到特征提取器200。

特征提取器200基于从视频解码器130输出的基带数据来提取特征，并且将所提取的特征输出到数据库140和特征核对器150。在本发明的实施例中，就被特征提取器200提取的特征而言，运动图像中的变化点之间的间隔、运动图像中包括的帧之间的直方图差别以及作为变化点之间的行程(leg)中包括的帧当中的至少一个帧的直方图的代表性直方图被用作示例。变化点例如涵盖了指示出运动图像的瞬时场景变化的边界的锐变点，以及指示出运动图像的较大场景变化的边界的渐变点(cross fade point)。变化点之间的间隔指示出连续的变化点之间的行程的时间、帧数目等等。在此示例中，锐变点被用作变化点。其他特征的细节将在下文中参考图17等等来描述。特征提取器200的细节将在下文中参考图2来描述。锐变点之间的间隔的细节将在下文中参考图4来描述。

由特征提取器200提取的变化点间隔被提供到数据库140和特征核对器150，以成为其中以时间序列方式布置提取出的变化点间隔的锐变点间隔列表。锐变点间隔列表的细节将在下文中参考图5、6等等来描述。

数据库140针对每个运动图像存储与特征提取器200输出的锐变点间隔相对应的锐变点间隔列表，并且针对每个运动图像将存储的锐变点间隔列表输出到特征核对器150。

特征核对器150将从特征提取器200输出的锐变点间隔与存储在数据库140中的各个锐变点间隔列表相比较。基于比较结果，特征核对器150对照与存储在数据库140中的锐变点间隔列表相对应的运动图像来核对输入到运动图像输入单元110的运动图像，从而判定两个运动图像是否与彼此匹配。特征核对器150将指示出该判定结果的匹配列表输出到判定结果输出单元160。也就是说，特征核对器150从存储在数据库140中的锐变点间隔列表中，检索出对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的锐变点间隔列表。

判定结果输出单元160输出从特征核对器150输出的匹配列表。例如，判定结果输出单元160可以显示从特征核对器150输出的匹配列表。

图2是示出特征提取器200的功能配置示例的框图。特征提取器200包括颜色直方图提取器210、用于连续帧之间的直方图差别的计算器220、阈值保存器230、锐变点判定器240以及变化点间隔计算器250。

图3A和3B是示出在逐帧基础上从输出自视频解码器130的基带数据中提取的亮度信号Y、色差信号(蓝)Cb和色差信号[0](红)Cr的颜色直方图的一个示例的示图。在图3A和3B的图中，横坐标指示灰度，纵坐标指示频率。图3C是示出图3A和3B的颜色直方图之间的面积差别的示图。图3C中的阴影面积等于图3A和3B的颜色直方图之间的面积差别。图3A至3C的细节将参考图2来描述。

图4是概念性地示出与运动图像中包括的各个帧相对应的图像被以时间序列方式布置的示例的示图。图4的细节将在下文中参考图2来描述。

颜色直方图提取器210将从视频解码器130输出的基带数据保存在缓冲器中，并且从保存在缓冲器中的基带数据中采样整个屏幕的Y、Cb和Cr的颜色直方图。此外，对于所采样的颜色直方图，颜色直方图提取器210将灰度分为N级(例如N＝16)，并且以使得各级的频率之和变为常数的方式来执行归一化。然后，颜色直方图提取器210将Y、Cb和Cr的归一化后的直方图输出到直方图差别计算器220。例如，从运动图像中包括的一帧之中提取的Y、Cb和Cr的直方图在图3A中示出，并且从与图3A所示直方图相对应的帧之后的帧中提取出的Y、Cb和Cr的直方图在图3B中示出。这样，对于输入到运动图像输入单元110的运动图像中包括的每一帧，提取了Y、Cb和Cr的直方图。

直方图差别计算器220针对从颜色直方图提取器210输出的各个帧的Y、Cb和Cr的颜色直方图，计算连续的两帧之间的颜色直方图面积的差别。计算器220将计算出的直方图差别输出到锐变点判定器240。例如，作为图3A和3B所示的与连续的两帧相对应的颜色直方图之间的面积差别，计算出了图3C所示的阴影区域的面积。

阈值保存器230保存在锐变点判定器240判定连续两帧之间的边界是否是锐变点时使用的阈值，并且将保存的阈值输出到锐变点判定器240。

锐变点判定器240基于从直方图差别计算器220输出的直方图差别是否超过阈值保存器230中保存的阈值，来判定连续两帧之间的边界是否是锐变点。具体地说，如果从计算器220输出的直方图差别超过阈值保存器230中保存的阈值，则锐变点判定器240判定与直方图差别相对应的连续两帧之间的边界是锐变点，并且将与该边界相对应的时间作为锐变点时间输出到变化点间隔计算器250。另一方面，如果从计算器220输出的直方图差别不超过阈值保存器230中保存的阈值，锐变点判定器240则判定与直方图差别相对应的连续两帧之间的边界不是锐变点。如果以这种方式判定边界不是锐变点，则不向变化点间隔计算器250输出时间。

图4示意性地示出了与成像设备捕捉到的运动图像300中包括的各个帧相对应的图像301至309。图像301至309被包括在一个运动图像300中。在运动图像300中包括了成像时间和地点彼此不同的四个场景，因此在与场景变化相对应的帧之间，对象的构成、颜色等等瞬时变化。结果，与场景变化相对应的连续两帧之间的直方图差别大于阈值保存器230中保存的阈值，从而连续两帧之间的每个边界被判定为锐变点。

例如，图像301至303源自于对在城市里漫步的人成像。这些图像整体上看起来与彼此类似，但在图像之间人在移动，从而在图像之间人的位置略有不同。因此，图像301至303的连续两帧之间的直方图差别不超过阈值保存器230中保存的阈值，从而判定连续两帧之间的每个边界不是锐变点。

图像304和305源自于对山脉前的一排房屋成像。这些图像整体上看起来与彼此类似，但它们是以成像设备水平移动的方式来捕捉的，从而对象位置水平移动，因而在图像之间与彼此略有不同。但是，图像303和304整体上与彼此不同，因为这些图像之间的边界对应于成像时间和地点彼此不同的场景的转换。因此，图像303和304之间的边界被判定为锐变点，并且与该锐变点相对应的时间(从起始时间t1起的时段)t2被输出到变化点间隔计算器250。

另外，图像305和360之间的边界以及图像307和图像308之间的边界也被类似地检测为锐变点，并且与这些锐变点相对应的时间t3和t4被输出到变化点间隔计算器250。

变化点间隔计算器250基于从锐变点判定器240输出的锐变点的时间来计算相邻两个锐变点之间的时间间隔。变化点间隔计算器250将计算出的锐变点间隔输出到数据库140和特征核对器150。具体地说，如果锐变点时间被从锐变点判定器240输出，则变化点间隔计算器250计算该时间与就在该时间之前输出的时间之间的差别，从而计算相邻两个锐变点之间的时间间隔。就相邻两个锐变点之间的间隔而言，可以计算这些锐变点之间的行程中包括的帧的数目，并且将计算出的帧数目用作锐变点的间隔。

下面将参考附图来描述基于由特征提取器200提取的锐变点间隔来创建的锐变点间隔列表的细节。

图5是示意性地示出存储在数据库140中的锐变点间隔列表的示图。一个或多个锐变点间隔列表被存储在数据库140中。例如，锐变点间隔列表400、405和406被存储在数据库140中。存储在数据库140中的锐变点间隔列表可以通过顺序地存储从特征提取器200输出的锐变点间隔来创建，或者可以通过顺序地存储由另一信息处理设备提取的锐变点间隔来创建。

在锐变点间隔列表400中，以时间序列方式记录了锐变点间隔403。这些间隔与用于标识相应运动图像的内容ID相关联。内容ID可用于对存储在设置于信息处理设备100内部或外部的运动图像数据库中的运动图像进行的检索。例如，“123”被用来作为与锐变点间隔列表400相对应的内容ID。另外，在图5中，节点ID402被用来作为从相应运动图像提取出的锐变点间隔的标识号。

锐变点间隔403指示出从相应运动图像中作为时间提取出的变化点间隔，并且是以时间序列方式被记录的。

在利用这样存储了一个或多个锐变点间隔列表的数据库140对输入到运动图像输入单元110的运动图像进行的匹配检索中，存储在数据库140中的锐变点间隔列表被顺序地逐一读出，并且随后的检索处理被执行。

图6是示出从数据库140读出的锐变点间隔列表400以及与从作为检索对象通过运动图像输入单元110输入的运动图像中提取出的锐变点间隔相对应的锐变点间隔列表420的示图。参考图7，下面将描述通过锐变点间隔列表400和420之间的比较来判定与这些列表相对应的运动图像是否与彼此匹配。

图7是示意性地示出用于通过锐变点间隔列表400和420之间的比较来作出关于与这些列表相对应的运动图像是否与彼此匹配的判定的方法的一个示例的示图。

首先，作为相对于锐变点间隔列表420的比较对象的锐变点间隔列表被从数据库140读出。例如，锐变点间隔列表400被读出。然后，基于节点ID的顺序来顺序地将锐变点间隔列表400中的锐变点间隔403的值和锐变点间隔列表420中的锐变点间隔423的值与彼此比较，从而检测与彼此匹配的值。例如，如箭头431所示，与锐变点间隔列表400中的节点ID402的“11”相对应的锐变点间隔403的值“0:00:05.605”匹配与锐变点间隔列表420中的节点ID422的“21”相对应的锐变点间隔423的值“0:00:05.605”(441)。在图7中，省略了对图6所示的锐变点间隔列表的各个值的前面部分的指示。

如果这样从两个锐变点间隔列表中检测到与彼此匹配的锐变点间隔的值，则从两个列表的每一个中读出与该匹配值的节点ID之后的节点ID相对应的锐变点间隔的值。例如，与锐变点间隔列表400中的节点ID402的“12”相对应的锐变点间隔403的值“0:00:03.603”和与锐变点间隔列表420中的节点ID422的“22”相对应的锐变点间隔423的值“0:00:03.570”被读出。然后，判定读出的这两个值是否与彼此匹配(442)。如果这些值与彼此匹配，则从两个列表的每一个中读出与该匹配值的节点ID之后的节点ID相对应的锐变点间隔的值，并且判定这些读出的值是否彼此匹配。

另一方面，如图6和7所示，如果读出的两个值不与彼此匹配(442)，那么从读出作为比较对象的这两个值中的较小值的那个锐变点间隔列表中，与该较小值的节点ID之后的节点ID相对应的锐变点间隔的值被读出，以便被加到比较对象较小值。例如，锐变点间隔403的值“0:00:03.603”被与锐变点间隔423的值“0:00:03.570”相比较。锐变点间隔423的值“0:00:03.570”较小。因此，与锐变点间隔列表420中的节点ID422的“23”相对应的锐变点间隔423的值“0:00:01.634”被读出，以便被加到锐变点间隔423的值“0:00:03.570”(443)。

然后，判定由于相加而得出的值是否与未被应用相加的值相匹配(444)。如果这些值与彼此匹配，则从两个列表的每一个中读出与该匹配值的节点ID之后的节点ID相对应的锐变点间隔的值，并且判定这些读出的值是否彼此匹配。这样，将从第一匹配值起的预定范围内的值顺序地相加，并且判定两个锐变点间隔列表的值是否彼此匹配。就预定范围而言，例如可以使用三个节点ID的范围。例如，在从通过图6所示的箭头431与彼此耦合的第一匹配值起的三节点ID范围432中，执行相加处理(443、445、447)，并且执行比较处理(442、444、446、448)。结果，在三节点ID范围432中，在由箭头433指示的位置处，作为比较对象的两个值与彼此匹配(448)。

如果在从第一匹配值起的预定范围中两个锐变点间隔列表的值以这种方式与彼此匹配，那么类似地，将从这些匹配值起的预定范围中的值顺序地相加，并且判定两个锐变点间隔列表的值是否彼此匹配。就此预定范围而言，例如，与第一范围类似，可以使用与三个节点ID相对应的范围，或者可以使用不同的值。

例如，在从通过图6所示的箭头433与彼此耦合的匹配值起的与锐变点间隔列表400中的三个节点ID相对应的范围435中以及与锐变点间隔列表420中的三个节点ID相对应的范围434中，执行相加处理(450、452)并且执行比较处理(449、451、453)。结果，在三节点ID范围434和435中，在由箭头436指示的位置处，作为比较对象的两个值与彼此匹配(453)。

如果基于第一匹配值或第二或后续匹配值读出的两个值中的至少一个在该至少一个值经历相加处理之前与另一比较对象值相匹配，则基于这些匹配值执行下一比较处理，而不对该至少一个值进行相加处理。如果相加结果值在预定范围中不与彼此匹配，则从两个列表中检测匹配值的操作被再次重复。

下面将参考附图描述根据本发明实施例的信息处理设备100的操作。

图8是示出信息处理设备100进行的用于检索匹配运动图像的处理的过程的流程图。图8涉及这样一个示例，其中一个或多个锐变点间隔列表被存储在数据库140中，并且对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的锐变点间隔列表将被从存储在数据库140中的锐变点间隔列表中检索出。

首先，运动图像被输入到运动图像输入单元110(步骤S901)。然后，视频和音频解复用器120将输入的运动图像分离成视频数据和音频数据(步骤S902)。然后，视频解码器130对从输入运动图像分离出的视频数据进行解码，从而创建基带数据(步骤S903)。然后，特征提取器200基于所创建的基带数据来提取锐变点(步骤S904)，并且计算所提取的锐变点之间的间隔(步骤S905)。

然后，基于由特征提取器200计算的锐变点间隔，特征核对器150创建出其中以时间序列方式布置锐变点间隔的锐变点间隔列表(步骤S906)。

然后，特征核对器150从存储在数据库140中的锐变点间隔列表中获取一个锐变点间隔列表(步骤S907)。例如，如图6所示，创建锐变点间隔列表420，并从数据库140获取锐变点间隔列表400。

然后，特征核对器150对在步骤S906中创建的锐变点间隔列表和从数据库140获取的锐变点间隔列表执行匹配判定处理(步骤S920)。该匹配判定处理的细节将在下文参考图9来描述。

在匹配判定处理之后，判定在数据库140中存储的锐变点间隔列表当中是否存在尚未经历匹配判定处理的锐变点间隔列表(步骤S908)。如果在数据库140中存在尚未经历匹配判定处理的锐变点间隔列表(步骤S908)，处理序列返回步骤S907，在该步骤中特征核对器150在数据库140中存储的锐变点间隔列表当中获取尚未经历匹配判定处理的锐变点间隔列表。

如果在数据库140中不存在尚未经历匹配判定处理的锐变点间隔列表(步骤S908)，则判定结果输出单元160输出匹配列表，该匹配列表指示出通过匹配判定处理被判定为匹配比较结果的判定结果(步骤S909)。

图9是示出信息处理设备100进行的用于检索匹配运动图像的处理的匹配判定处理(图8所示的步骤S920的处理过程)的过程的流程图。

首先，变量m和n被初始化到1，并且变量i被初始化到0(步骤S921)。然后，获取在步骤S906中创建的锐变点间隔列表中的第m个锐变点间隔的值(步骤S922)。然后，获取从数据库140获取的锐变点间隔列表中的第n个锐变点间隔的值(步骤S923)。

然后，将在步骤S922和S923中获取的最新的两个值与彼此相比较，并且判定这些值是否与彼此匹配(步骤S924)。如果在步骤S922和S923中获取的最新的两个值不与彼此匹配(步骤S924)，则向变量n加1(步骤S935)，然后判定所得到的变量n是否大于从数据库140获取的锐变点间隔列表中存储的锐变点间隔的数目(步骤S936)。如果变量n不大于从数据库140获取的锐变点间隔列表中存储的锐变点间隔的数目(步骤S936)，则处理序列返回到步骤S923，在该步骤中获取从数据库140获取的锐变点间隔列表中的第n个锐变点间隔的值。

如果变量n大于从数据库140获取的锐变点间隔列表中存储的锐变点间隔的数目(步骤S936)，则向变量m加1(步骤S937)，然后判定所得到的变量m是否大于在步骤S906中创建的锐变点间隔列表中存储的锐变点间隔的数目(步骤S938)。如果变量m不大于在步骤S906中创建的锐变点间隔列表中存储的锐变点间隔的数目(步骤S938)，则变量n被初始化到1，以便可以从来自数据库140的列表中获取第一锐变点间隔(步骤S939)，并且处理序列返回到步骤S922，在该步骤中获取在步骤S906中创建的锐变点间隔列表中的第m个锐变点间隔的值。这样，以时间序列方式顺序地获取了锐变点间隔的相应值，从而可将两个锐变点间隔列表中的锐变点间隔的值与彼此相比较。

如果在步骤S922和S923中获取的最新的两个值与彼此匹配(步骤S924)，则分别从两个锐变点间隔列表中获取在步骤S922和923中获取的这些匹配值之后的值(步骤S925)。例如，从在步骤S906中创建的锐变点间隔列表中获取第m+1个锐变点间隔的值，并且从获取自数据库140的锐变点间隔列表中获取第n+1个锐变点间隔的值(步骤S925)。

然后，判定在步骤S925中获取的两个值是否与彼此匹配(步骤S926)。如果在步骤S925中获取的两个值与彼此匹配(步骤S926)，则处理序列前进到步骤S932，在该步骤中向变量i加1。如果在步骤S925中获取的两个值不与彼此匹配(步骤S926)，则针对作为比较对象的两个值，判定在步骤S906中创建的锐变点间隔列表中的值是否大于从数据库140获取的锐变点间隔列表中的值(步骤S927)。

如果在步骤S906中创建的锐变点间隔列表中的值大于从数据库140获取的锐变点间隔列表中的值(步骤S927)，则从获取自数据库140的锐变点间隔列表中获取后续的值，并且将所获取的值加到从数据库140获取的锐变点间隔列表中的值(步骤S928)。例如，如果从数据库140获取的锐变点间隔列表中的第n+1个锐变点间隔的值是步骤S926中的比较对象，则第n+2个锐变点间隔的值被获取，以便被加到第n+1个锐变点间隔的值。所得到的值被用作下一比较对象。

另一方面，如果在步骤S906中创建的锐变点间隔列表中的值小于从数据库140获取的锐变点间隔列表中的值(步骤S927)，则从在步骤S906中创建的锐变点间隔列表中获取后续的值，并且将所获取的值加到在步骤S906中创建的锐变点间隔列表中的值(步骤S929)。例如，如果在步骤S906中创建的锐变点间隔列表中的第m+1个和第m+2个锐变点间隔的值的总和是步骤S927中的比较对象，则第m+3个锐变点间隔的值被获取，以便被加到第m+1个和第m+2个锐变点间隔的值的总和。所得到的值被用作下一比较对象。

然后，判定其中至少有一个源自于步骤S928或S929中的相加处理的两个值是否与彼此匹配(步骤S930)。如果这两个值与彼此匹配(步骤S930)，则处理序列前进到步骤S932，在该步骤中向变量i加1。如果这两个值不与彼此匹配(步骤S930)，则处理序列前进到步骤S931。在步骤S931中，将在步骤S924或S926中被判定为与彼此匹配的两个值视为基本值，并且判定在两个匹配值之后从任一锐变点间隔列表获取的值是否是从基本值后的值起的第N个值。例如，如果在步骤S924中被判定为与彼此匹配的两个值被用作基本值，则判定是否从在步骤S906中创建的锐变点间隔列表中获取了第m+N个锐变点间隔的值，并且判定是否从获取自数据库140的锐变点间隔列表中获取了第n+N个锐变点间隔的值。

如果在在步骤S924或S926中被判定为与彼此匹配的两个值之后从任一锐变点间隔列表获取的值是从基本值后的值起的第N个值(步骤S931)，则处理序列返回到步骤S935，在该步骤中向变量n加1。另一方面，如果在在步骤S924或S926中被判定为与彼此匹配的两个值之后从任一锐变点间隔列表获取的值不是从基本值后的值起的第N个值(步骤S931)，则处理序列返回到步骤S927。在步骤S927中，针对作为比较对象的两个值，判定源自于在步骤S906中创建的锐变点间隔列表的值是否大于源自于从数据库140获取的锐变点间隔列表的值。

如果向变量i加1(步骤S932)，则判定变量i是否等于常数A(步骤S933)。具体地说，判定在步骤S926或S930中的匹配次数是否达到了A。如果变量i等于常数A(步骤S933)，则从中获取判定对象值的锐变点间隔列表被添加到匹配列表(步骤S934)。就常数A而言，例如可以使用2或3。就常数N而言，例如可以使用3到6的任何数字。具体地说，第一匹配值被用作第一基本值，并且相加以及比较处理是在从第一基本值后的值起的N个值的范围中执行的，从而判定值是否与彼此匹配。如果在N个值的范围中值与彼此匹配，则最新获取的值被用作第二基本值，并且相加以及比较处理在从第二基本值后的值起的N个值的范围中执行，从而判定值是否与彼此匹配。这一系列相加以及比较处理被重复。结果，依据是否有A次找到值匹配，来判定输入运动图像是否与目标运动图像相匹配。

如果变量i小于常数A(步骤S933)，则处理序列返回到步骤S925，在该步骤中，分别从两个锐变点间隔列表中获取提供了步骤S926或S930中的匹配的最新获取值之后的值(步骤S925)。

在上述示例中，如果在步骤S924中两个值与彼此匹配，则这些匹配值之后的值被顺序地获取并比较。但是，如果在步骤S924中两个值是在至少一个列表的较后端与彼此匹配的，那么就不可能顺序地获取并比较这一端的匹配值之后的值，因为作为这一端的匹配值之后的值的比较对象锐变点间隔并不存在。因此，即使在这种情况下也执行匹配判定处理是很重要的。为了该目的，例如有以下方案可用。具体地说，锐变点间隔列表被划分成前部、中部和后部，并且比较和相加处理的方式依据步骤S924中两个值的匹配位置而被改变。更具体地说，如果在步骤S924中两个值在前部与彼此匹配，则匹配值之后的值被顺序地获取并比较，如图7和9所示。如果在步骤S924中两个值在后部与彼此匹配，则匹配值之前的值被顺序地获取和比较。如果在步骤S924中两个值在中部与彼此匹配，则沿着从匹配值起的向前或向后方向中的任何一个的值被顺序地获取和比较。上述比较和相加处理可基于作为比较对象的两个列表中的任何一个被改变。或者，比较和相加处理可依据在步骤S924中被判定为与彼此匹配的两个列表中的两个值的两个位置而被改变。

接下来，下面将参考附图详细描述连续提取出短锐变点间隔的情况。

图10A和10B是示出锐变点间隔列表480和490的示图。图10A示出了包括连续的较短锐变点间隔的锐变点间隔列表480。图10B示出了由于将连续的较短锐变点间隔与彼此相加而得到的锐变点间隔列表490。

如图10A所示，有可能提取出各自等同于一或两场的较短锐变点间隔。如果利用这种包括大量连续的较短锐变点间隔(例如1)的锐变点间隔列表来执行匹配判定处理，则很有可能在步骤S924中的两个值的匹配之后，随后的值和再随后的值在步骤S925和S926中与彼此匹配。这种情况可能涉及这样的可能性，即目标运动图像被判定为与实际上并不匹配目标运动图像的错误运动图像相匹配。为了避免该问题，如果短锐变点间隔被连续提取出，则变化点间隔计算器250如图10B所示将这些连续的较短锐变点间隔与彼此相加，从而得到的值可用于匹配判定处理。

在图10A和10B的示例中，图10A所示的锐变点间隔列表480中包括的等于或短于10的连续短锐变点间隔被相加在一起，从而获得图10B所示的锐变点间隔列表490。图10A和10B中的箭头481至489指示出相加之前和之后锐变点间隔之间的关系。

如图10A所示，在将等于或短于10的连续锐变点间隔相加之前，锐变点间隔的数目为45。与之相比，如图10B所示，在将等于或短于10的连续锐变点间隔相加之后，锐变点间隔的数目是32。因此，可以减少数据库140中存储的数据的量，并且可以减小与错误运动图像错匹配的概率。在执行图10A和10B所示的相加处理的情况下，该相加处理是对存储在数据库140中的锐变点间隔列表和与作为匹配判定处理的对象的运动图像相对应的锐变点间隔列表两者执行的。

接下来，下面将描述特征提取器200所使用的阈值基于特征核对器150的判定结果而被改变的示例。

如上所述，特征核对器150进行的匹配判定处理受到特征提取器200所提取的锐变点的很大影响。但是，即使与存储在数据库140中的锐变点间隔列表相对应的运动图像和输入到运动图像输入单元110中的运动图像是相同的，如果这两个运动图像具有不同的图像质量、图像大小等等的话，也有可能一个运动图像中的帧位置被提取为锐变点，而另一运动图像中的同一帧位置却没有被提取为锐变点。这样，如果图像质量、图像大小等等不同，则有可能未从同一运动图像中提取相同的锐变点。在这种情况下，特征核对器150进行的匹配判定处理的准确度将降低。因此，为了提高特征核对器150进行的匹配判定处理的准确度，提高从运动图像提取锐变点的准确度是很重要的。

图11是示出通过部分修改图1所示的信息处理设备100而获得的信息处理设备101的配置示例的框图。就与图1所示的信息处理设备100的差别而言，信息处理设备101包括数据库141和特征提取器201，而不是数据库140和特征提取器200，并且还包括特征保存器710、变化点比较器720和阈值更新器730。除数据库141、特征提取器201、特征保存器710、变化点比较器720和阈值更新器730之外的配置与图1所示的信息处理设备100中的配置相同，因此对除这些组件之外的配置的描述被省略。在匹配判定处理中，特征核对器150在逐列表基础上将匹配判定处理中的第一匹配值的位置记录在匹配列表中。

特征提取器201基于从视频解码器130输出的基带数据来提取运动图像中包括的连续帧之间的直方图差别和锐变点间隔。特征提取器201将所提取的锐变点间隔输出到特征核对器150，并将所提取的直方图差别和锐变点间隔输出到数据库141和特征保存器710。特征提取器201的细节将在下文中参考图12来描述。

数据库141针对每个运动图像存储与从特征提取器201输出的直方图差别和锐变点间隔相对应的特征列表，并且针对每个运动图像将所存储的特征列表输出到特征核对器150。特征列表的细节将在下文中参考图12、13等等来描述。

特征核对器150将从特征提取器201输出的锐变点间隔与存储在数据库141中的各个特征列表相比较。基于比较结果，特征核对器150判定输入到运动图像输入单元110的运动图像是否匹配与存储在数据库141中的特征列表相对应的运动图像。特征核对器150将指示该判定结果的匹配列表输出到判定结果输出单元160。也就是说，特征核对器150从存储在数据库141中的特征列表中检索出对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的特征列表。

特征保存器710基于从特征提取器201输出的直方图差别和锐变点间隔来创建和保存其中以时间序列方式布置了直方图差别和锐变点间隔的特征列表。特征保存器710将所保存的特征列表输出到变化点比较器720。

变化点比较器720从数据库141获取从特征核对器150输出的匹配列表中包括的特征列表。变化点比较器720从所获取的特征列表和输出自特征保存器710的特征列表中检测不与彼此匹配的变化点，并且将检测到的变化点的直方图差别与彼此相比较。另外，变化点比较器720基于比较结果计算阈值，并将计算出的阈值输出到阈值更新器730。

阈值更新器730基于从变化点比较器720输出的阈值来更新在特征提取器201对变化点的提取中使用的阈值。阈值更新的细节将在下文中参考图15、16等等来描述。

图12是示出特征提取器201的功能配置示例的框图。特征提取器201与图2所示的特征提取器200的不同之处在于特征提取器201包括阈值保存器231，而不是阈值保存器230。另外，特征提取器201将来自用于连续帧之间的直方图差别的计算器220的直方图差别输出到数据库141和特征保存器710。此外，特征提取器201将来自变化点间隔计算器250的锐变点间隔输出到数据库141、特征核对器150和特征保存器710。除了阈值保存器231之外的配置与图2所示的特征提取器200中的配置相同，因此对除阈值保存器231之外的配置的描述被省略。

阈值保存器231保存在锐变点判定器240判定连续两帧之间的边界是否是锐变点时使用的阈值，并且基于来自阈值更新器730的更新信息来更新保存的阈值。阈值保存器231将保存的阈值输出到锐变点判定器240。

下面将参考附图描述基于从特征提取器201输出的直方图差别和锐变点间隔来创建的特征列表的细节。

图13是示意性地示出存储在数据库141中的特征列表的示图。一个或多个特征列表被存储在数据库141中。例如，特征列表460、465和466被存储在数据库141中。可以顺序地存储基于从特征提取器201输出的直方图差别和锐变点间隔来创建的特征列表，来作为存储在数据库141中的特征列表。或者，可以存储由另一信息处理设备创建的特征列表。

在特征列表460中，锐变点间隔463和连续帧之间的直方图差别464以时间序列方式与彼此相关联地被记录。这些特征与用于标识相应运动图像的内容ID(例如“223”)相关联。另外，在图13中，节点ID462被用来作为从相应运动图像提取出的锐变点间隔的标识号。锐变点间隔463与图5所示的锐变点间隔403类似，因此对其的描述被省略。

直方图差别464指示出从特征提取器201中的直方图差别计算器220输出的直方图差别，并且是在逐帧基础上以时间序列方式来记录的。锐变点间隔463是针对下述的两个连续帧来记录的：这两个连续帧对应于由直方图差别计算器220计算出的直方图差别当中的超过在阈值保存器230中保存的阈值的直方图差别。与之相比，由直方图差别计算器220计算出的所有直方图差别都被记录来作为直方图差别464。

如上所述，特征核对器150进行的匹配判定处理是利用特征列表460中的锐变点间隔463来执行的。因此，省略对特征核对器150进行的匹配判定处理的描述。

接下来，下面将参考附图详细描述用于基于特征列表中存储的连续帧之间的直方图差别来改变阈值的阈值改变方法。

图14是示出从数据库141获取的特征列表460和从特征保存器710获取的特征列表470的示图。下面，将参考图15和16来描述通过对特征列表460和特征列表470之间的连续帧之间的直方图差别的比较而进行的阈值改变。

图15和16各自示出了指示出特征列表460和470中的连续帧之间的直方图差别的线图。线图481指示出特征列表460中的连续帧之间的直方图差别464。线图482指示出特征列表470中的连续帧之间的直方图差别474。在图15中，250被设置为阈值483。在图16中，250的阈值483被改变为230的阈值484。在该示例中，与从数据库141获取的特征列表460相对应的运动图像是具有高图像质量的运动图像。与之相比，与从特征保存器710获取的特征列表470相对应的运动图像是具有低图像质量的运动图像。也就是说，作为比较对象的两个运动图像是相同的，但具有不同的图像质量。

如图15所示，两个列表中的连续帧之间的直方图差别在时间t11、t12和t13处有很大变化。在图15的情况中，因为阈值483被设置为250，因此在时间t1连续帧之间的边界被从高质量运动图像和低质量运动图像两者中提取出来，作为锐变点。与之相比，在时间t12，帧边界被从高质量图像中提取出来作为锐变点，因为跨边界的直方图差别大于阈值，而帧边界没有被从低质量图像中提取出来作为锐变点，因为跨边界的直方图差别小于阈值。在时间t13，帧边界被从低质量图像中提取出来作为锐变点，因为跨边界的直方图差别大于阈值，而帧边界没有被从高质量图像中提取出来作为锐变点，因为跨边界的直方图差别小于阈值。如上所述，如果在两个彼此相同的运动图像之间，图像质量、图像大小等等是不同的，则有可能提取出的锐变点的位置是不同的。

高质量运动图像将会接近原始视频，并且具有较高的锐变点提取准确度。因此，当在两个彼此相同的运动图像之间，提取出锐变点的位置不同时，在信任具有高图像质量的运动图像的直方图差别的情况下改变阈值。具体地说，如果存在这样一个点，该点在高质量图像中具有高于阈值的直方图差别，但在低质量图像中具有等于或低于阈值的直方图差别，则阈值将会被改变，使得该点也将被从低质量图像中作为锐变点提取出来。例如，阈值被设置为这种点在低质量图像中的直方图差别。具体地说，例如，在图15中被设置到250的阈值483如图16所示被改变到230的阈值484，230等于与低质量图像相对应的线图482中的时间t12处的值。由于该操作，即使当在该改变之后输入的运动图像具有低图像质量时，也可以从中提取出更适当的锐变点。

在时间t13，只有低质量图像的直方图差别大于阈值。但是，从低质量图像提取锐变点的准确度将会较低。因此，将把其直方图差别仅在低质量图像中低于阈值的点视为差错，并且不会对其执行像对时间t12处的点那样的阈值改变。另外，如果存在多个点，每个点在高质量图像具有大于阈值的直方图差别，但在低质量图像具有等于或小于阈值的直方图差别，则这些点的直方图差别当中的最小直方图差别可被用作阈值。

图17是示出信息处理设备101进行的阈值改变处理的过程的流程图。图17涉及这样一个示例，其中与高图像质量相对应的特征列表被存储在数据库141中，并且作为检索对象输入的运动图像具有低图像质量。

首先，由特征核对器150创建的匹配列表被输入到变化点比较器720(步骤S941)。然后，变化点比较器720判定在输入的匹配列表中是否存在被判定为匹配输入运动图像的特征列表(步骤S942)。如果不存在被判定为匹配输入运动图像的特征列表，则阈值改变处理的操作结束。

如果在匹配列表中存在被判定为匹配输入运动图像的特征列表(步骤S942)，则变化点比较器720从数据库141获取匹配列表中包括的特征列表，并且获取保存在特征保存器710中的特征列表(步骤S943)。

然后，变化点比较器720将从数据库141获取的特征列表中的锐变点与从特征保存器710获取的特征列表中的锐变点相比较，从而检测这样的点：该点未被包括在从特征保存器710获取的特征列表(与低质量图像相对应的特征列表)中，但却被包括在从数据库141获取的特征列表(与高质量图像相对应的特征列表)中(步骤S944)。也就是说，检测低质量运动图像的特征列表中的锐变点缺失。如果不存在未被包括在低质量图像的特征列表中但却被包括在高质量图像的特征列表中的点(步骤S945)，则阈值改变处理的操作结束。

如果存在未被包括在低质量图像的特征列表中但却被包括在高质量图像的特征列表中的点(步骤S945)，变化点比较器720从获取自特征保存器710的特征列表中获取在步骤S944中检测到的点的直方图差别(步骤S946)。如果在步骤S944中检测到多个点，则获取这多个点的直方图差别。

然后，变化点比较器720判定在步骤S944中是否检测到多个点(步骤S947)。如果在步骤S944中只检测到一个点(步骤S947)，则变化点比较器720将阈值设置为从获得自特征保存器710的特征列表中获取的这一个点的直方图差别(步骤S948)。

如果在步骤S944中检测到多个点(步骤S947)，则变化点比较器720将阈值设置为从获得自特征保存器710的特征列表中获取的、在步骤S944中检测到的多个点的直方图差别当中的最小直方图差别。

在上述示例中，与具有高图像质量的运动图像相对应的特征列表被存储在数据库141中，并且作为检索对象输入的运动图像具有低图像质量。或者，可以在特征核对器150进行的匹配判定处理之前预先判定与作为比较对象的两个特征列表相对应的运动图像是具有高图像质量还是低图像质量，并且可以基于判定结果为执行上述阈值改变处理。对于有关运动图像是具有高图像质量还是低图像质量的判定，例如，可以从运动图像的压缩流的头部信息中提取出压缩率或图像大小，以便基于提取出的压缩率或图像大小来进行判定。另外，在检索匹配运动图像之前，可将作为测试数据的多个运动图像输入到信息处理设备101，并可以利用测试数据来执行阈值改变处理。具体地说，将与高质量运动图像相对应的特征列表中的变化点和与低质量运动图像相对应的特征列表中的变化点相比较。如果存在这样一个点，该点在低质量图像中未被判定为变化点，但在高质量图像中被判定为变化点，则阈值被调节，使得该点在低质量图像中也将被判定为变化点。这可以进一步提高特征核对器150进行的匹配判定处理的准确度。此外，可以通过上述阈值改变处理预先获得运动图像的图像质量与阈值之间的关系，从而可以依据作为检索对象输入的运动图像的图像质量来改变阈值。

接下来，下面将描述这样一个示例，其中，颜色直方图经过多个帧以较大的变化量变化的位置被提取来作为在连续帧之间的颜色直方图的变化量中不包括瞬时增大的运动图像的变化点。

如上所述，特征提取器200提取与连续帧之间的颜色直方图的变化量的瞬时增大相对应的锐变点。但是，如果颜色直方图经过多个帧以较大的变化量变化的位置也被提取来作为变化点，则检索准确度将被进一步提高。

图18是示出基于运动图像的特性对运动图像进行的分类的示图。在下面描述的示例中，利用运动图像中包括的帧之间的颜色直方图变化的量作为运动图像的特性来提取变化点，并且依据变化点的存在与否来对运动图像进行分类。

例如，可以基于作为时间轴信息501的是否存在切换转变(cuttransition)，来对运动图像进行分类。切换转变例如指的是运动图像中的场景变化的边界。如果存在切换转变，那么作为屏幕信息502，切换转变可被分类成：锐变点，在该点处场景在连续两帧之间被瞬时转换；以及渐变点，在该点上场景经预定数目的帧在较短的时间中被转换。这个分类可以依据帧间颜色直方图变化量530是瞬时变大还是非瞬时但在较短时间中变大来进行。

如果不存在切换转变，那么作为屏幕信息502，运动图像可基于屏幕中的对象的运动(屏幕中的运动)来被分类。屏幕中的运动例如可被分类成：“对象快速运动”、“对象缓慢运动”以及“静止对象”。与变化点类似，对屏幕中的运动的这种分类也可利用帧间颜色直方图变化量503来进行。具体地说，如果颜色直方图经过预定数目的帧变化的量较大，则屏幕中的运动被分类为“对象快速运动”。如果颜色直方图经过预定数目的帧变化的量较小，则运动被分类为“对象缓慢运动”。如果颜色直方图经过预定数目的帧变化的量几乎为零，则运动被分类为“静止对象”。如果颜色直方图经过预定数目的帧变化的量较大，从而屏幕中的运动被分类为“对象快速运动”，则类似于包括渐变点的运动图像，该运动图像可被分类为包括变化点的图像。

如图18所示，包括“锐变点”、“渐变点”和“对象快速运动”中的至少一个的运动图像被分类为包括变化点的运动图像。与之相比，不包括“锐变点”、“渐变点”和“对象快速运动”中的任何一个、但包括“对象缓慢运动”或“静止对象”的运动图像可被分类为不包括变化点的运动图像。下面将描述如何利用涵盖了“渐变点”和“对象快速运动”的变化点来执行用于检索匹配运动图像的处理。

图19是示出特征提取器202的功能配置示例的框图。特征提取器202与图2所示的特征提取器200的不同之处在于特征提取器202包括变化点间隔计算器251，而不是变化点间隔计算器250，并且还包括用于经过N帧的直方图差别的计算器260、阈值保存器270以及用于N帧之间的变化点的判定器280(以下称为N帧变化点判定器280)。除了变化点间隔计算器251、直方图差别计算器260、阈值保存器270和N帧变化点判定器280之外的配置与图2所示的特征提取器200中的配置相同，因此对除这些组件之外的配置的描述被省略。

图20是概念性地示出运动图像中包括的、以时间序列方式布置的各个帧的示图。图20的细节将在下文中参考图19来描述。

用于经过N帧的直方图差别的计算器260针对从颜色直方图提取器210输出的各帧的Y、Cb和Cr的颜色直方图，计算连续N帧的第一帧和最后一帧之间的颜色直方图面积的差别。计算器260将计算出的直方图差别输出到N帧变化点判定器280.

阈值保存器270保存在N帧变化点判定器280判定连续N帧之间的点是否是变化点时使用的阈值，并且将所保存的阈值输出到N帧变化点判定器280。

N帧变化点判定器280基于从计算器260输出的直方图差别是否超过阈值保存器270中保存的阈值，来判定连续N帧之间的点是否是变化点。具体地说，如果从计算器260输出的直方图差别超过阈值保存器270中保存的阈值，则N帧变化点判定器280判定与该直方图差别相对应的连续N帧之间的点是变化点，并且将与该点相对应的时间作为变化点时间输出到变化点间隔计算器251。另一方面，如果从计算器260输出的直方图差别不超过阈值保存器270中保存的阈值，则N帧变化点判定器280判定与该直方图差别相对应的连续N帧之间的点不是变化点。如果以这种方式判定该点不是变化点，则不向变化点间隔计算器251输出时间。

图20示意性地示出了由成像设备捕捉的运动图像340的帧341至350。帧341至350被包括在一个运动图像340中。帧341至345是连续的帧，帧346至350也是连续的帧。帧341和346、342和347、343和348、344和349以及345和350这些对各自是连续N帧的第一帧和最后一帧的对。例如，假定帧速率是30fps(帧/秒)，则N可被设置为30，这等同于1秒。

图20的示例是基于以下假设的：帧342和347之间、帧343和348之间以及帧344和349之间的点的直方图差别分别超过了阈值保存器270中保存的阈值，从而满足了连续N帧之间的这些点各自被判定为变化点的条件。在图20中，其中有一个点被判定为变化点的连续N帧中的最后一帧由阴影区域指示。如果满足该点被判定为变化点的条件的点以这种方式连续，那么在这些连续的点中，只有与最早的连续N帧相对应的点被N帧变化点判定器280检测为变化点。具体地说，在分别满足点被判定为变化点的条件的帧342和347之间、帧343和348之间以及帧344和349之间的点中，作为包括满足条件的点的最早的连续N帧的第一帧和最后一帧的帧342和347之间的点被判定为变化点。

变化点间隔计算器251基于从锐变点判定器240和N帧变化点判定器280输出的变化点的时间来计算相邻两个变化点之间的时间间隔(以下，术语“变化点”涵盖锐变点和变化点两者)。变化点间隔计算器251将计算出的变化点间隔输出到数据库140和特征核对器150。具体地说，如果变化点时间被从锐变点判定器240或N帧变化点判定器280输出，则变化点间隔计算器251计算该时间与就在该时间之前输出的时间之间的差别，从而计算相邻两个变化点之间的时间间隔。就相邻两个变化点之间的间隔而言，可以计算这些变化点之间的行程中包括的帧的数目，并且将计算出的帧数目用作变化点的间隔。

接下来，下面将描述这样一个示例，其中被锐变点判定器240和N帧变化点判定器280使用的阈值基于特征核对器150的判定结果被改变。此示例是对图11至17所示的信息处理设备101中的阈值保存器中的阈值更新的修改。与图11至17所示的配置不同的部分将被描述，而对相同部分的描述将被省略。

图21是示出通过部分修改图11所示的信息处理设备101而获得的信息处理设备102的配置示例的框图。就与图11所示的信息处理设备101的差别而言，信息处理设备102包括数据库142、特征核对器151、特征提取器203、特征保存器711、变化点比较器721和阈值更新器731，而不是数据库141、特征核对器150、特征提取器201、特征保存器710、变化点比较器720和阈值更新器730。除这些组件之外的配置与图11所示的信息处理设备101中的配置相同，因此对除这些组件之外的配置的描述被省略。

特征提取器203基于从视频解码器130输出的基带数据，提取运动图像中包括的连续两帧之间的直方图差别、锐变点间隔、经过运动图像中包括的连续N帧的直方图差别以及变化点间隔。特征提取器203将所提取的锐变点间隔和变化点间隔输出到特征核对器151。另外，特征提取器203将所提取的直方图差别、锐变点间隔和变化点间隔输出到数据库142和特征保存器711。特征提取器203的细节将在下文中参考图22来描述。

数据库142针对每个运动图像存储与从特征提取器203输出的各个直方图差别、锐变点间隔和变化点间隔相对应的特征列表，并且针对每个运动图像将所存储的特征列表输出到特征核对器151。特征列表的细节将在下文中参考图23等等来描述。

特征核对器151将从特征提取器203输出的锐变点间隔和变化点间隔与存储在数据库142中的各个特征列表相比较。基于比较结果，特征核对器151判定输入到运动图像输入单元110的运动图像是否匹配与存储在数据库142中的特征列表相对应的运动图像。特征核对器151将指示该判定结果的匹配列表输出到判定结果输出单元160。也就是说，特征核对器151从存储在数据库142中的特征列表中检索出对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的特征列表。

特征保存器711基于从特征提取器203输出的直方图差别、锐变点间隔和变化点间隔来创建和保存其中以时间序列方式布置了直方图差别、锐变点间隔和变化点间隔的特征列表。特征保存器711将所保存的特征列表输出到变化点比较器721。

变化点比较器721从数据库142获取从特征核对器151输出的匹配列表中包括的特征列表。变化点比较器721从所获取的特征列表和输出自特征保存器711的特征列表中检测不与彼此匹配的变化点。另外，对于这些检测到的变化点，变化点比较器721将连续两帧之间的直方图差别与彼此相比较，并且将经过连续N帧的直方图差别与彼此相比较。也就是说，变化点比较器721基于对连续两帧之间的直方图差别的比较结果，计算用于由锐变点判定器240进行的关于被包括在两个特征列表中并且不与彼此匹配的变化点的判定的阈值。此外，变化点比较器721基于对经过连续N帧的直方图差别的比较结果，计算用于由N帧变化点判定器280进行的关于被包括在两个特征列表中并且不与彼此匹配的变化点的判定的阈值。然后，变化点比较器721将各个计算出的阈值输出到阈值更新器731。

阈值更新器731基于从变化点比较器721输出的阈值来更新在特征提取器203对锐变点或变化点的提取中使用的阈值。与参考图14、15等等描述的更新方法相同的方法被用于更新与连续两帧之间的直方图差别相对应的阈值和与经过连续N帧的直方图差别相对应的阈值。

图22是示出特征提取器203的功能配置示例的框图。特征提取器203与图19所示的特征提取器202的不同之处在于特征提取器203包括阈值保存器231和阈值保存器271，而不是阈值保存器230和阈值保存器270。另外，特征提取器203将来自用于连续帧之间的直方图差别的计算器220和用于经过N帧的直方图差别的计算器260的直方图差别输出到数据库142和特征保存器711。此外，特征提取器203将来自变化点间隔计算器251的变化点间隔输出到数据库142、特征核对器151和特征保存器711。除了阈值保存器231和271之外的配置与图19所示的特征提取器202中的配置相同，因此对除阈值保存器231和271之外的配置的描述被省略。

阈值保存器231保存在锐变点判定器240判定连续两帧之间的边界是否是锐变点时使用的阈值，并且基于来自阈值更新器731的更新信息来更新保存的阈值。阈值保存器231将保存的阈值输出到锐变点判定器240。

阈值保存器271保存在N帧变化点判定器280判定连续N帧之间的点是否是变化点时使用的阈值，并且基于来自阈值更新器731的更新信息来更新保存的阈值。阈值保存器271将保存的阈值输出到N帧变化点判定器280。

下面将参考附图描述基于从特征提取器203输出的直方图差别和变化点间隔来创建的特征列表的细节。

图23是示意性地示出存储在数据库142中的特征列表的示图。一个或多个特征列表被存储在数据库142中。例如，特征列表470、476和477被存储在数据库142中。可以顺序地存储基于从特征提取器203输出的直方图差别和变化点间隔来创建的特征列表，来作为存储在数据库142中的特征列表。或者，可以存储由另一信息处理设备创建的特征列表。

在特征列表470中，变化点间隔473、连续帧之间的直方图差别474和经过N帧的直方图差别475以时间序列方式与彼此相关联地被记录。这些特征与用于标识相应运动图像的内容ID(例如“323”)相关联。另外，在图23中，节点ID472被用来作为从相应运动图像提取出的变化点间隔的标识号。变化点间隔473和连续帧之间的直方图差别474与图13所示的锐变点间隔463和连续帧之间的直方图差别464类似，因此对其的描述被省略。

经过N帧的直方图差别475指示出从特征提取器203中的直方图差别计算器260输出的直方图差别，并且是在逐帧基础上以时间序列方式来记录的。变化点间隔473是针对下述帧之间的点来记录的：所述帧对应于由直方图差别计算器220和260计算出的直方图差别当中的超过在相应阈值保存器231或271中保存的阈值的直方图差别。与之相比，由直方图差别计算器260计算出的所有直方图差别都被记录来作为经过N帧的直方图差别475。

对用于N帧变化点判定器280执行的判定的阈值的更新是与参考图15、16等等描述的更新方法相类似地利用经过N帧的直方图差别475来进行的。

接下来，下面将详细描述如何为无法从中提取出变化点间隔的运动图像检索匹配运动图像。

如图18所示，运动图像可被分类成包括变化点的和不包括变化点的。在上述用于检索匹配运动图像的处理中，比较对象运动图像应当包括至少两个变化点。但是，如图18所示，也有可能例如通过捕捉其中对象运动缓慢的场景而获得的运动图像不包括变化点。对于这种情况，匹配判定处理依据变化点间隔的存在与否而被改变。具体地说，对于无法从中提取变化点间隔的运动图像，匹配运动图像的检索是利用除变化点间隔之外的特征来执行的。

图24是示出通过部分修改图1所示的信息处理设备101而获得的信息处理设备103的配置示例的框图。就与图1所示的信息处理设备100的差别而言，信息处理设备103包括数据库143、特征核对器152和特征提取器204，而不是数据库140、特征核对器150和特征提取器200。除数据库143、特征核对器152和特征提取器204之外的配置与图1所示的信息处理设备100中的配置相同，因此对除这些组件之外的配置的描述被省略。

特征提取器204基于从视频解码器130输出的基带数据来提取变化点之间的变化点间隔和代表性直方图，并将所提取的变化点间隔和代表性直方图输出到数据库143和特征核对器152。特征提取器204的细节将在下文中参考图25来描述。

数据库143针对每个运动图像存储与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表，并且针对每个运动图像将所存储的特征列表输出到特征核对器152。

特征核对器152将从特征提取器204输出的变化点间隔和代表性直方图与存储在数据库143中的各个特征列表相比较。基于比较结果，特征核对器152判定输入到运动图像输入单元110的运动图像是否匹配与存储在数据库143中的特征列表相对应的运动图像。特征核对器152将指示该判定结果的匹配列表输出到判定结果输出单元160。也就是说，特征核对器152从存储在数据库143中的特征列表中检索出对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的特征列表。特征核对器152的细节将在下文中参考图26来描述。

图25是示出特征提取器204的功能配置示例的框图。特征提取器204与图19所示的特征提取器202的不同之处在于它还包括代表性直方图采样器290。除了代表性直方图采样器290之外的配置与图19所示的特征提取器202中的配置相同，因此对除代表性直方图采样器290之外的配置的描述被省略。

代表性直方图采样器290基于从锐变点判定器240和N帧变化点判定器280输出的变化点时间，从相邻两个变化点之间的帧中采样至少一个帧。代表性直方图采样器290选择与所采样的帧相关联的从颜色直方图提取器210输出的直方图，并且将所选择的直方图作为代表性直方图输出到数据库143和特征核对器152。也就是说，代表性直方图采样器290采样一次切换中的代表性直方图。如果锐变点判定器240和N帧变化点判定器280未从输入到运动图像输入单元110的一个运动图像中输出变化点时间，则代表性直方图采样器290从输入的这一个运动图像中包括的帧中采样至少一个帧，并且将从颜色直方图提取器210输出的与所选择的这个帧相关联的直方图作为代表性直方图输出。

图26是示出特征核对器152的功能配置示例的框图。特征核对器152包括核对方法决定器153、变化点间隔核对器154和颜色直方图核对器155。

图27是示出核对方法决定器153对核对方法的决定方法的概要的示图。在本发明的实施例中，基于在与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表中以及存储在数据库143中的各个特征列表中是否存在变化点间隔，来决定核对方法。具体地说，如图27所示，如果在与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表中存在变化点间隔(输入运动图像的变化点间隔511为“存在”)，并且在存储在数据库143中的特征列表中存在变化点间隔(DB运动图像的变化点间隔512为“存在”)，则决定利用变化点间隔的核对方法。另一方面，如果在与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表中不存在变化点间隔(输入运动图像的变化点间隔511为“不存在”)，并且在存储在数据库143中的特征列表中不存在变化点间隔(DB运动图像的变化点间隔512为“不存在”)，则决定利用颜色直方图的核对方法。

基于与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表和存储在数据库143中的各个特征列表，核对方法决定器153如图27所示依据在这些列表中是否包括变化点间隔来决定核对方法。对应于所决定的核对方法，核对方法决定器153向变化点间隔核对器154或颜色直方图核对器155输出核对指令信号。具体地说，如果决定利用变化点间隔的核对方法，则核对方法决定器153向变化点间隔核对器154输出核对指令信号。如果决定利用颜色直方图的核对方法，则核对方法决定器153向颜色直方图核对器155输出核对指令信号。

在接收到来自核对方法决定器153的核对指令信号后，变化点间隔核对器154将从特征提取器204输出的变化点间隔与数据库143中存储的特征列表中包括的变化点间隔相比较。基于比较结果，变化点间隔核对器154判定输入到运动图像输入单元110的运动图像是否匹配与存储在数据库143中的特征列表相对应的运动图像。变化点间隔核对器154将指示该判定结果的匹配列表输出到判定结果输出单元160。也就是说，与上述特征核对器150类似，变化点间隔核对器154从存储在数据库143中的特征列表中检索出对应于与输入到运动图像输入单元110的运动图像相匹配的运动图像的特征列表。

在接收到来自核对方法决定器153的核对指令信号后，颜色直方图核对器155将从特征提取器204输出的代表性直方图与数据库143中存储的特征列表中包括的代表性直方图相比较。基于比较结果，颜色直方图核对器155判定输入到运动图像输入单元110的运动图像是否匹配与存储在数据库143中的特征列表相对应的运动图像。颜色直方图核对器155将指示该判定结果的匹配列表输出到判定结果输出单元160。具体地说，在接收到来自核对方法决定器153的核对指令信号后，颜色直方图核对器155将与从特征提取器204输出的变化点间隔和代表性直方图相对应的特征列表中包括的代表性直方图与数据库143中存储的特征列表中包括的代表性直方图相比较，从而计算相应两个代表性直方图之间的直方图差别。如果这些计算出的直方图差别等于或小于阈值，则颜色直方图核对器155判定输入到运动图像输入单元110的运动图像匹配与存储在数据库143中的特征列表相对应的运动图像。

这样，对于从中提取出变化点的运动图像和没有从中提取出变化点的运动图像，都可以执行对匹配运动图像的检索。

例如，经编辑的运动图像内容(例如电影和TV节目)将包括变化点。在此情况下，利用变化点间隔可以迅速检索匹配运动图像。此外，对照存储在数据库中的代表性直方图来核对输入运动图像的代表性直方图的颜色直方图核对不仅允许了对匹配运动图像的检索，还允许了对相似运动图像的检索。在不包括变化点的运动图像内容的情况下，应当从中采样颜色直方图的帧的数目很小，因为该内容具有很小的颜色直方图变化量或者没有颜色直方图变化量。这允许了信息量的减少。

下面将参考附图详细描述包括根据本发明实施例的信息处理设备的信息处理系统。

图28是示出根据本发明实施例的信息处理系统800的系统配置图。在信息处理系统800中，一个或多个用于查看和提供内容的内容提供商公司(电影公司、电视台等等)和用户终端(个人计算机、电视机等等)中的信息处理设备连接到运动图像共享站点。在此示例中，电影公司820和830以及电视台840是内容提供商公司，并且个人计算机(PC)850是用户终端。设置于电影公司820和830、电视台840和PC850中的信息处理设备821、831和841连接到运动图像共享站点810中的信息处理设备811。信息处理设备811、821、831和841以及PC850经由作为通信网络的网络860(例如因特网)连接到彼此，并且可以交换各种信息。

信息处理设备811、821、831和841各自具有与根据本发明实施例的信息处理设备中的任何一个的配置相同的配置，并且分别具有用于运动图像管理的运动图像数据库812、822、832和842。信息处理设备811、821、831和841以及PC850在某种条件下能够将运动图像上载到运动图像共享站点810。就运动图像的上载条件而言，可以设置各种条件中的任何一种，例如运动图像的长度短于五分钟的条件，以及运动图像具有低分辨率的条件。PC850的用户851通过利用PC850，可以自由地查看上载到运动图像共享站点810的较短运动图像和低分辨率运动图像。如果用户希望查看上载到运动图像共享站点810的运动图像的完整长度或高质量版本，则用户可以从上载了运动图像的内容提供商公司购买运动图像的完整长度或高质量版本，并且可以查看购买的运动图像。

下面将描述信息处理系统800中的用于运动图像检索的方法。首先，PC850的用户851利用PC850，查看上载到运动图像共享站点810的较短运动图像和低分辨率运动图像。如果用户851希望查看上载的运动图像的完整长度或高质量版本，则用户851可利用PC850向运动图像共享站点810发送检索指令。

在接收到来自PC850的检索指令后，信息处理设备811通过提取与该检索指令相关的运动图像的变化点间隔来创建特征列表，并且将该特征列表发送到信息处理设备821、831和841。在接收到该特征列表后，信息处理设备821、831和841各自对照存储在内置的数据库中的变化点间隔来核对接收到的特征列表中包括的变化点间隔，以便检索匹配运动图像。然后，信息处理设备821、831和841将检索结果发送到信息处理设备811。在接收到检索结果后，信息处理设备811计算接收到的检索结果的总和，并将总计的检索结果发送到PC850。在接收和查看检索结果后，用户851利用PC850访问具有所需运动图像的完整长度或高质量版本的内容提供商公司，并且可以决定是否购买运动图像。在此示例中，运动图像检索是在内容提供商公司中执行的。或者，信息处理设备811可保存与上载的运动图像相对应的特征列表，以便运动图像检索可在运动图像共享站点810中执行。

在信息处理系统800中，如上所述，用户851可利用PC850将较短的运动图像和低分辨率运动图像上载到运动图像共享站点810。另外，另一用户可通过用户终端等等来自由查看由用户851上载到运动图像共享站点810的运动图像。但是，也有可能由用户851上载到运动图像共享站点810的运动图像涉及他人的著作权。如果涉及他人的著作权的运动图像被这样上载到运动图像共享站点810，则运动图像共享站点适当地执行过滤以防止著作权侵犯，将会是很重要的。

为此，例如，在逐内容的基础上，与运动图像相关联并且指示出运动图像是否涉及著作权的NG标签被存储在信息处理设备811的存储特征列表的数据库中。基于该NG标签，判定上载的运动图像是否涉及著作权，从而可以执行过滤。

还有可能其音频被处理的运动图像被上载到了运动图像共享站点。但是，在根据本发明实施例的匹配运动图像检索中，没有使用涉及音频的特征。因此，对于没有音频的运动图像和具有经编辑的音频的运动图像，也可执行适当的运动图像检索。此外，经编辑的运动图像也将被上载到运动图像共享站点。但是，在根据本发明实施例的匹配运动图像检索中，只要在运动图像的一部分中找到匹配的锐变点间隔，就可以作出关于匹配运动图像的判定。因此，即使当检索对象运动图像是某个运动图像的一部分时，也可以执行适当的检索。类似地，即使当检索对象运动图像源自于多个运动图像的结合时，也可以执行适当的检索。由于这些特性，可以适当并迅速地执行对可能侵犯著作权的运动图像的过滤。

对于除了涉及著作权的运动图像之外的运动图像，NG标签也可以用于有关是否许可该运动图像的发布的判定。

另外，本发明的实施例可被应用到例如通过为运动图像共享站点的管理员检测或提交相同运动图像和相似运动图像来消除与运动图像内容相似的视频的情况以及消除不需要被存储的运动图像内容的情况。

如上所述，在根据本发明实施例的匹配运动图像检索中，对于不具有音频的运动图像、具有经编辑的音频的运动图像以及经编辑的运动图像等等，也可以执行适当的运动图像检索。另外，可以通过只使用锐变点间隔作为特征来执行对匹配运动图像的检索，从而可以节约用于匹配运动图像检索的数据库量。另外，利用变化点间隔来执行匹配运动图像检索，因此对于具有不同比特率或图像大小的运动图像也可以执行适当的检索。也就是说，本发明的实施例允许了应当为运动图像检索而保存的信息量的减少，并且允许了适当的运动图像检索被迅速执行。

本发明的上述实施例涉及对于输入到信息处理设备的运动图像的匹配检索。但是，本发明的实施例也可被应用到例如以下目的：在因特网上分发的运动图像内容的检索；内容保存者(电影公司、电视台、CM内容保存者)中的匹配检索；一种系统，其中用户通过蜂窝电话捕捉TV节目等等并将其发送到服务器从而介绍或分发该内容；运动图像内容的分类；以及运动图像共享站点中的运动图像内容的分类。

本发明的上述实施例涉及作为示例的信息处理设备。但是，本发明的实施例也可被应用到可以检索运动图像的图像检索设备，例如便携式终端设备。

另外，本发明的上述实施例涉及包括特征提取器、特征核对器和数据库的信息处理设备。但是，本发明的实施例也可被应用到这样一种的信息处理系统，其包括用于从运动图像内容中提取特征的特征提取服务器，用于存储从运动图像内容中提取的特征的特征数据库，以及用于对照特征数据库中的特征来核对输入运动图像的特征从而基于核对结果来对输入运动图像执行检索匹配的特征核对器。

以上针对本发明实施例描述的处理过程可解释为包括该过程的方法。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内。

本发明包含与2007年8月20日向日本专利局提交的日本专利申请JP2007-213219相关的主题，这里通过引用将该申请的全部内容并入。

Claims (9)

1.一种信息处理设备，包括：

存储装置，用于在逐帧基础上存储视频数据的至少一个变化点间隔，所述变化点间隔指所述视频数据的变化点之间的间隔；

计算装置，用于从输入视频数据计算至少一个变化点间隔；

检测装置，用于检测与彼此匹配的变化点间隔，检测到的变化点间隔之一源自于所述存储装置中的存储，检测到的变化点间隔中的另一个源自于所述计算装置进行的计算；以及

判定装置，用于将所述计算装置计算出的至少一个变化点间隔与存储在所述存储装置中的至少一个变化点间隔相比较，以判定所述输入视频数据是否匹配与所述存储装置中存储的变化点间隔相对应的视频数据。

2.如权利要求1所述的信息处理设备，还包括

判定标准设置装置，用于设置判定标准，该判定标准是：对于与由所述检测装置检测到的变化点间隔相邻的变化点间隔或者源自于对从所述相邻变化点间隔起的预定范围中包括的连续变化点间隔进行的相加的值，是否找到匹配，其中

所述判定装置根据由所述判定标准设置装置所设置的判定标准，来判定所述输入视频数据是否匹配与所述存储装置中存储的变化点间隔相对应的视频数据。

3.如权利要求2所述的信息处理设备，还包括

基本点设置装置，用于在对于所述相邻变化点间隔或者源自于所述相加的所述值未找到匹配的情况下设置基本变化点间隔，每个所述基本变化点间隔是在用作比较对象的变化点间隔当中距由所述检测装置检测到的变化点间隔中的相应一个变化点间隔最遥远的，其中

所述判定装置根据下一判定标准来判定所述输入视频数据是否匹配与所述存储装置中存储的变化点间隔相对应的视频数据，所述下一判定标准是：对于与由所述基本点设置装置设置的基本变化点间隔相邻的变化点间隔或者源自于对从与所述基本变化点间隔相邻的变化点间隔起的预定范围中包括的连续变化点间隔进行的相加的值，是否找到匹配。

4.如权利要求2所述的信息处理设备，其中

所述存储装置存储一值，该值源自于对所述至少一个变化点间隔当中的各自等于或短于预定值的连续变化点间隔进行的相加，并且

如果所述至少一个变化点间隔包括各自短于所述预定值的连续变化点间隔，则所述判定标准设置装置设置新的判定标准，该新的判定标准是：对于源自于对各自等于或短于所述预定值的连续变化点间隔进行的相加的值，是否找到匹配。

5.如权利要求2所述的信息处理设备，所述存储装置以时间序列方式存储从视频数据提取的并与所述至少一个变化点间隔相关联的特征，所述信息处理设备还包括：

特征比较装置，用于针对被所述检测装置判定为与彼此匹配的视频数据，将所述存储装置中存储的特征与从所述输入视频数据提取的特征相比较；

阈值计算装置，用于根据所述特征比较装置的比较结果，计算在所述检测装置检测变化点间隔时使用的阈值；以及

阈值更新装置，用于将所设置的阈值更新为由所述阈值计算装置计算出的阈值。

6.如权利要求1所述的信息处理设备，还包括

删除装置，用于在所述判定装置判定所述输入视频数据匹配与所述存储装置中存储的变化点间隔相对应的视频数据的情况下，删除与所述存储装置中存储的变化点间隔相对应的视频数据。

7.如权利要求1所述的信息处理设备，还包括

显示控制装置，用于在所述判定装置判定所述输入视频数据匹配与所述存储装置中存储的变化点间隔相对应的视频数据的情况下，使显示单元显示与所述存储装置中存储的变化点间隔相对应的视频数据。

8.如权利要求7所述的信息处理设备，其中

所述显示控制装置使所述显示单元显示所述输入视频数据。

9.一种信息处理方法，包括以下步骤：

在逐帧基础上存储视频数据的至少一个变化点间隔，所述变化点间隔指所述视频数据的变化点之间的间隔；

从输入视频数据计算至少一个变化点间隔；

检测与彼此匹配的变化点间隔，检测到的变化点间隔之一源自于所述存储步骤，检测到的变化点间隔中的另一个源自于所述计算步骤；以及

将计算出的至少一个变化点间隔与所存储的至少一个变化点间隔相比较，以判定所述输入视频数据是否匹配与在所述存储步骤中存储的变化点间隔相对应的视频数据。

Images