CN102214194A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

提供了图像处理设备、图像处理方法及程序，所述图像处理设备包括：第一层摘要数据生成部件；第二层摘要数据生成部件；第一搜索部件以及第二搜索部件。

Description

图像处理设备、图像处理方法及程序

技术领域

本发明涉及图像处理设备、图像处理方法及程序。更具体地，本发明涉及用于容易地搜索和管理多个运动图像内容的图像处理设备、图像处理方法和程序。

背景技术

用于管理大量运动图像内容的技术一直以来都获得广泛认可。

特别地通过广播站，海量运动图像内容每天持续被广播和记录。日益增加的运动图像内容量不间断地累积。因此搜索多个运动图像内容以得到特定内容极其困难。

一种应对上述问题的技术(见日本专利早期公开No.2001-134589，以下称为专利文献1)涉及在一方面的搜索所针对的运动图像内容中包含的某些代表性图像的元数据和另一方面的已经登记并累积的运动图像内容的元数据之间进行比较，以便搜索和获取类似的运动图像内容。

发明内容

在存在包括由同一元数据组成的图像的重复运动图像内容的场合，专利文献1公开的技术要求使用另一代表性运动图像来在搜索结果中进行搜索。另外，在包含多个类似的图像的运动图像内容数量巨大的情况下，除非异常有特点的代表性运动图像内容被用于搜索，否则随着被管理的运动图像内容量不断增大，越来越难将想要的运动图像内容从搜索所针对的目标运动图像内容中孤立出来。结果，搜索想要的运动图像内容可能要求花费越来越多于从前的时间和精力。

本实施例是鉴于上述情况做出的并提供了用于容易地管理海量运动图像内容和用于容易地搜索被管理的大量运动图像内容以得到想要获取的目标运动图像内容的发明装置。

在实施本发明时，根据本发明的一个实施例，提供了一种图像处理设备，所述图像处理设备包括：第一层摘要数据生成部件，所述第一层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以第一频率提取的图像，所述第一层摘要数据生成部件生成第一尺寸的第一层摘要数据之后再将该第一层摘要数据登记到数据库；第二层摘要数据生成部件，所述第二层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，所述第二层摘要数据生成部件生成小于所述第一尺寸的第二尺寸的第二层摘要数据；第一搜索部件，所述第一搜索部件被配置成基于由第一层摘要数据生成部件生成的所述第一层摘要数据，所述第一搜索部件搜索所述数据库以得到相应运动图像内容；以及第二搜索部件，所述第二搜索部件被配置成基于由所述第二层摘要数据生成部件生成的第二层摘要数据，所述第二搜索部件搜索由所述第一搜索部件检索得到的运动图像内容以得到相应的运动图像内容。

优选地，所述第一层摘要数据可以由与多个分割区域中的每一个有关的像素值、亮度值、活动性、音量、预定音频频带内的幅度平均值的组合或它们中的一个组成，所述多个分割区域构成作为运动图像内容的一部分并以所述第一频率从所述运动图像内容中提取出的图像的每一个，所述第一层摘要数据具有第一尺寸，并且所述第二层摘要数据可由与多个分割区域中的每一个有关的像素值、亮度值、活动性、音量、预定音频频带内的幅度平均值的组合或它们中的一个组成，所述多个分割区域构成作为运动图像内容的一部分并以高于所述第一频率的第二频率从所述运动图像内容中提取出的图像的每一个，所述第二层摘要数据具有第二尺寸。

优选地，所述第一和第二频率可以是周期性或非周期性地从运动图像内容中提取图像的那些频率。

优选地，周期性图像提取可以指以预定帧数的间隔来提取图像；并且非周期性图像提取可以指每次运动图像内容中发生场景改变时或每次音频数据的无声部分后面跟着音频数据的非无声部分时提取图像。

优选地，本实施例的图像处理设备还可包括压缩单元，所述压缩单元被配置成将一方面的由所述第二搜索部件检索得到的运动图像内容与另一方面的所述第一层摘要数据生成部件生成第一层摘要数据所依据的运动图像内容之间的不同区域相连，以删除用于运动图像内容数据压缩的内容的任一个。

根据本发明的另一实施例，提供了供图像处理设备使用的图像处理方法，所述图像处理设备包括：第一层摘要数据生成部件，所述第一层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以第一频率提取的图像，所述第一层摘要数据生成部件生成第一尺寸的第一层摘要数据，之后将该第一层摘要数据登记到数据库；第二层摘要数据生成部件，所述第二层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，所述第二层摘要数据生成部件生成小于所述第一尺寸的第二尺寸的第二层摘要数据；第一搜索部件，所述第一搜索部件被配置成基于由第一层摘要数据生成部件生成的所述第一层摘要数据，所述第一搜索部件搜索所述数据库以得到相应运动图像内容；以及第二搜索部件，所述第二搜索部件被配置成基于由所述第二层摘要数据生成部件生成的第二层摘要数据，所述第二搜索部件搜索由所述第一搜索部件检索得到的运动图像内容以得到相应的运动图像内容。所述图像处理方法包括以下步骤：令所述第一层摘要数据生成部件根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将该第一层摘要数据登记到数据库；令所述第二层摘要数据生成部件根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；令所述第一搜索部件基于由第一层摘要数据生成步骤生成的所述第一层摘要数据，搜索所述数据库以得到相应运动图像内容；以及令所述第二搜索部件基于由第二层摘要数据生成步骤生成的第二层摘要数据，搜索由所述第一搜索步骤检索得到的运动图像内容以得到相应的运动图像内容。

根据本发明的又一实施例，提供了一种供控制图像处理设备的计算机使用的程序，所述图像处理设备包括：第一层摘要数据生成部件，所述第一层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以第一频率提取的图像，所述第一层摘要数据生成部件生成第一尺寸的第一层摘要数据，之后将该第一层摘要数据登记到数据库；第二层摘要数据生成部件，所述第二层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，所述第二层摘要数据生成部件生成小于所述第一尺寸的第二尺寸的第二层摘要数据；第一搜索部件，所述第一搜索部件被配置成基于由第一层摘要数据生成部件生成的所述第一层摘要数据，所述第一搜索部件搜索所述数据库以得到相应运动图像内容；以及第二搜索部件，所述第二搜索部件被配置成基于由所述第二层摘要数据生成部件生成的第二层摘要数据，所述第二搜索部件搜索由所述第一搜索部件检索得到的运动图像内容以得到相应的运动图像内容。所述程序令计算机执行包括以下步骤的过程：令所述第一层摘要数据生成部件根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将该第一层摘要数据登记到数据库；令所述第二层摘要数据生成部件根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；令所述第一搜索部件基于由第一层摘要数据生成步骤生成的所述第一层摘要数据，搜索所述数据库以得到相应运动图像内容；以及令所述第二搜索部件基于由所述第二层摘要数据生成步骤生成的第二层摘要数据，搜索由所述第一搜索步骤检索得到的运动图像内容以得到相应的运动图像内容。

根据如上面概述地被体现的本发明，根据从组成运动图像内容的图像中以第一频率提取的图像，第一尺寸的第一层摘要数据被生成，之后被登记到数据库。根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，小于所述第一尺寸的第二尺寸的第二层摘要数据生成。基于所述第一层摘要数据，所述数据库被搜索以得到相应运动图像内容。并且基于所述第二层摘要数据，检索得到的运动图像内容被搜索以得到相应的运动图像内容。

本实施例的图像处理设备可以是执行图像处理的独立设备或块。

根据本发明的实施例，可以容易地搜索和管理大量运动图像内容。

附图说明

图1是示出作为本发明实施例的图像处理设备的典型结构的框图；

图2是说明图像存储处理的流程图；

图3是说明第一层摘要数据生成处理的流程图；

图4是说明第一层摘要数据生成处理的示意性视图；

图5是说明集群化处理的流程图；

图6是说明第二层摘要数据生成处理的示意性视图；

图7是说明初始集群化处理的流程图；

图8是说明初始集群化处理的示意性视图；

图9是说明初始集群化处理的另一示意性视图；

图10是说明搜索和提取处理的流程图；

图11是说明搜索和提取处理的示意性视图；

图12是说明搜索和提取处理的另一示意性视图；

图13是说明压缩处理的流程图；

图14是说明压缩处理的示意性视图；并且

图15是说明通用个人计算机的典型结构的示意性视图。

具体实施方式

[图像处理设备的典型结构]

图1示出作为本发明实施例的图像处理设备11的典型结构。图1中的图像处理设备11存储运动图像内容并允许所存储的内容按需要被搜索和提取。

图像处理设备11包括图像获取单元21、缓冲器22、运动图像内容数据登记单元23、存储单元24、搜索和提取单元25、内容文件压缩单元26和显示单元27。

图像获取单元21获取要被登记的运动图像内容或者作为搜索所针对的运动图像内容的一部分的采样数据，并且将所获取的东西临时存储在缓冲器22中。采样数据通常可包括能够通过因特网下载的运动图像内容的部分，与内容有关的图像和采样运动图像。

从缓冲器22中存储的为登记准备的运动图像内容中，运动图像内容数据登记单元23生成第一层摘要数据和第二层摘要数据。运动图像内容数据登记单元23向存储单元24的第一层摘要数据数据库(DB)101登记第一层摘要数据。另外，运动图像内容数据登记单元23将与由运动图像内容组成的运动图像内容文件111配对的由第二层摘要数据组成的第二层摘要数据文件112存储在存储单元24中作为内容数据对102。这种情况下，如果存储单元24中保存的运动图像内容被集群化(即，被分成类别)，则运动图像内容数据登记单元23在存储给定的运动图像内容之前，基于第一层摘要数据来将所讨论的运动图像内容归到这些类别之一中。

图1中的存储单元24包括第一层摘要数据数据库101和多个类别A至D。类别A至D分别包括内容数据对102-1至102-a，102-b至102-c，102-d至102-e以及102-f至102-g。内容数据对102-1至102-a分别包括运动图像内容文件111-1至111-a和第二层摘要数据文件112-1至112-a。内容数据对102-b至102-c分别包括运动图像内容文件111-b至111-c和第二层摘要数据文件112-b至112-c。内容数据对102-d至102-e分别包括运动图像内容文件111-d至111-e和第二层摘要数据文件112-d至112-e。内容数据对102-f至102-g分别包括运动图像内容文件111-f至111-g和第二层摘要数据文件112-f至112-g。

在没有特别需要对这些文件进行区分的场合，内容数据对可被简单地称为内容数据对102，运动图像内容文件被称为运动图像内容文件111，并且第二层摘要数据文件被称为第二层摘要数据文件112。同样情况也适用于图像处理设备11的其他组件和相关元素。类别A至D是以如下方式来构造的：即，信息被简单地记录到与第一层摘要数据相对应的每个类别，所述第一层摘要数据由第一层摘要数据数据库101管理并属于所讨论的类别。出于管理的目的，存储单元24中不存在名称为类别A至D的个别文件夹等。存储单元24在图1中以仅示意性地揭示其类别结构的方式被示出。实际上，内容数据对102不被个别地记录到统一按类别来排列的区域中。此外，虽然组成内容数据对102的第二层摘要数据文件112和运动图像内容文件111被记录为彼此相关，但是这些文件是可以个别管理的、分开提供的文件。

运动图像内容数据登记单元23包括活动性计算部件41、图像滑动部件42、第一层摘要数据生成部件43、第二层摘要数据生成部件44和集群化部件45。活动性计算部件41获取如下图像作为活动性图像，所述图像的像素值由给定的运动图像内容中包含的图像的相邻像素之间的像素值之差来表示。图像滑动部件42基于由活动性计算部件41计算的活动性图像来将最高活动性的位置滑动到图像中心。也就是说，由于图像中最高活动性的位置在视觉上最引人注意，因此该位置被移动到图像中心以便使将要提取的第一层摘要数据和第二层摘要数据标准化(normalize)。

第一层摘要数据生成部件43包括图像划分块61、RGB像素值平均值计算块62和场景改变检测块63。第一层摘要数据生成部件43从在所输入的运动图像内容中的预定间隔处出现的或者在由场景改变检测块63检测到场景改变时出现的感兴趣帧中生成第一层摘要数据。也就是说，第一层摘要数据生成部件43控制图像划分块61以将感兴趣帧划分成预定数目的分割区域。第一层摘要数据生成部件43还控制RGB像素值平均值计算块62以计算每个分割区域中的与每个RGB像素(红绿蓝像素)有关的像素值的平均值。第一层摘要数据生成部件43随后获得用由计算出的每个分割区域中的与每个RGB像素有关的像素值平均值组成的元素形成的、总计约100字节的基于帧的向量，作为第一层摘要数据，并向第一层摘要数据数据库101登记所获取的第一层摘要数据。

第二层摘要数据生成部件44包括图像划分块71和RGB像素值平均值计算块72，并从构成给定的运动图像内容的所有帧中生成第二层摘要数据。图像划分块71和RGB像素值平均值计算块72分别与第一层摘要数据生成部件43的图像划分块61和RGB像素值平均值计算块62相同。

也就是说，第二层摘要数据生成部件44控制图像划分块71以将感兴趣帧划分成预定数目的分割区域。第二层摘要数据生成部件44还控制RGB像素值平均值计算块72以计算每个分割区域中的与每个RGB像素(红绿蓝像素)有关的像素值的平均值。第二层摘要数据生成部件44随后获得用由计算出的每个分割区域中的RGB像素的平均值组成的元素形成的、总计约30字节的基于帧的向量，作为第二层摘要数据。此外，第二层摘要数据生成部件44将由第二层摘要数据文件112和运动图像内容文件111构成的内容数据对102存储到存储单元24中，所述第二层摘要数据文件112中，这样获得的第二层摘要数据按时间顺序排列。

第一层摘要数据和第二层摘要数据各自包括指示所讨论的数据属于哪个运动图像内容文件的信息。虽然第一层摘要数据被设置为按30帧的间隔获得总共约100字节并且第二层摘要数据被设置为每帧获得总共约30字节，但是第一层摘要数据可以以不同数目的帧间隔来获取并且可通过不同的信息量来形成，只要第一层摘要数据与第二层摘要数据相比具有更低的帧频并且通过更大的数量来形成即可。也就是说，第一层摘要数据可以是相对大量的数据，因为它是从第一层摘要数据数据库101被个别地搜索并取得的。另一方面，第二层摘要数据个别地需要具有小数据尺寸，因为它是以包含按时间顺序管理的多个第二层摘要数据的第二层摘要数据文件112为单位被使用的。

集群化部件45包括重心计算块81、距离计算块82和初始登记块83。基于第一层摘要数据数据库101中登记的第一层摘要数据，集群化部件45将彼此类似并被存储在存储单元24中的多个内容数据对102的第一层摘要数据分类成(即，集群化成)同一类别。

当新的运动图像内容文件111要被登记到已完成集群化的存储单元24中时，集群化部件45基于新登记的运动图像内容的第一层摘要数据来对新文件进行分类。也就是说，集群化部件45首先控制重心计算块81以计算由属于各个类别的向量组成的第一层摘要数据的重心向量。集群化部件45随后控制距离计算块82以计算一方面的所涉及的每个类别的重心与另一方面的构成新登记的运动图像内容的第一层摘要数据的向量之间的距离。集群化部件45将新登记的运动图像内容分到如下类别中，所述类别具有的重心与组成新添加的运动图像内容的第一层摘要数据的向量距离最短。

如果存储单元24中登记的内容数据对102尚未被分类，则集群化部件45将这些内容数据对102集群化成类别。也就是说，集群化部件45控制距离计算块82以计算组成代表运动图像内容的并被登记在第一层摘要数据数据库101中的第一层摘要数据的向量之间的距离，以便将在预定距离范围内找到的运动图像内容数据集群化到同一类别。集群化部件45还控制初始登记块83以登记运动图像内容已被集群化到其中的第一层摘要数据的类别。

搜索和提取单元25包括活动性计算部件151、图像滑动部件152、第一层摘要数据搜索部件153、第二层摘要数据搜索和提取部件154、类别搜索部件155和搜索结果显示图像生成部件156。搜索和提取单元25基于与由图像获取单元21获取并被放入缓冲器22的、搜索所针对的运动图像内容有关的采样数据，来搜索运动图像内容。搜索和提取单元25在显示单元27上显示搜索结果。

更具体地，活动性计算部件151和图像滑动部件152分别与运动图像内容数据登记单元23的活动性计算部件41和图像滑动部件42相同。也就是说，活动性计算部件151计算由与搜索所针对的运动图像内容有关的图像(即，帧)中的相邻像素之间的差值形成的活动性，以便生成以计算出的活动性作为其像素值的活动性图像。图像滑动部件152将最大活动性的位置滑动到这样计算出的活动性图像的中心。

第一层摘要数据搜索部件153包括图像划分块171、RGB像素值平均值计算块172和比较块173。第一层摘要数据搜索部件153从与搜索所针对的运动图像内容有关的采样数据的代表性图像中生成第一层摘要数据。也就是说，第一层摘要数据搜索部件153首先控制图像划分块171以将代表性图像划分成多个分割区域。第一层摘要数据搜索部件153随后控制RGB像素值平均值计算块172以获得每个分割区域中的与每个RGB像素(红绿蓝像素)有关的像素平均值。第一层摘要数据搜索部件153随后获得用由计算出的每个分割区域中的与每个RGB像素有关的像素值平均值组成的元素形成的、总计约100字节的基于帧的向量，作为第一层摘要数据。顺便提及，给定的采样数据的代表性图像或者是组成采样数据的运动图像内容的第一图像，或者是每次场景改变时出现的图像。

第一层摘要数据搜索部件153控制比较块173以在一方面的构成从采样数据获得的代表性图像的第一层摘要数据的向量和另一方面的构成第一层摘要数据数据库101中登记的第一层摘要数据的向量之间进行比较，以确定其间是否存在匹配或相似性。另外，第一层摘要数据搜索部件153搜索与采样数据的第一层摘要数据相对应的待搜索的运动图像内容候选。这种情况下，假设类别搜索部件155事先已获得在用于确定在一方面的代表性图像的第一层摘要数据的向量和另一方面的被集群化到各个类别中的第一层摘要数据的重心向量之间是否存在匹配或相似性的比较之后匹配的类别的重心向量。基于此假设，第一层摘要数据搜索部件153基于指示与属于目标类别的第一层摘要数据匹配或相似的比较结果，来搜索与采样数据的第一层摘要数据相对应的运动图像内容。也就是说，每个类别由构成数据的向量之间的距离短的第一层摘要数据组成。为此，从第一层摘要数据数据库101中登记的第一层摘要数据中，第一层摘要数据搜索部件153只需将属于如下类别的第一层摘要数据进行比较：所述类别的重心向量与代表性图像的第一层摘要数据匹配。该特征提高了搜索速度。

第二层摘要数据搜索和提取部件154基于与搜索所针对的采样数据的运动图像内容有关的运动图像信息来生成第二搜索摘要数据。第二层摘要数据搜索和提取部件154进行搜索以得到一方面的采样数据的第二搜索摘要数据与另一方面的由第一层摘要数据搜索部件153检索得到的第一层摘要数据的运动图像内容的第二层摘要数据文件112之间的匹配。也就是说，第二层摘要数据搜索和提取部件154控制图像划分块181以将构成与搜索所针对的采样数据的运动图像内容有关的运动图像信息的每个帧划分成预定数目的分割区域。第二层摘要数据搜索和提取部件154随后控制RGB像素值平均值计算块182以计算每个分割区域中的与每个RGB像素(红绿蓝像素)有关的像素值的平均值。第二层摘要数据搜索部件154随后获得用由计算出的每个分割区域中的与每个RGB像素有关的像素值平均值组成的元素形成的、总计约30字节的基于帧的向量，作为采样数据的第二层摘要数据。也就是说，第二层摘要数据文件112是其中按时间顺序排列了每帧获得的第二层摘要数据的文件。因此如果在第二层摘要数据文件112中按时间顺序排列和登记的采样数据的第二层摘要数据被逐帧滑动以便依次获得相应帧的第二层摘要数据之间的差别，并且如果最小差值被发现比预定阈值小，则确定已出现与搜索所针对的运动图像内容的匹配或相似性。在与搜索所针对的运动图像内容匹配或相似的情况中，差值最小的滑动位置被确定为搜索所针对的运动图像内容内的、所讨论的采样数据的再生位置。

类别搜索部件155获得一方面的组成从采样数据的代表性图像获取的第一层摘要数据的向量和另一方面的存储单元24中存储的第一层摘要数据数据库101中登记的每个类别的重心向量之间的距离，以便搜索处于预定距离内的类别。也就是说，类别搜索部件155控制重心计算块191以获得构成属于每个类别的第一层摘要数据的向量的重心向量。类别搜索部件155随后搜索具有预定距离内的重心向量的类别以寻找由代表性图像的第一层摘要数据形成的向量和重心向量之间的距离。

搜索结果显示图像生成部件156令诸如LCD(液晶显示器)之类的显示单元27显示与第二层摘要数据搜索和提取部件154搜索的运动图像内容的第一层摘要数据相对应的图像。

内容文件压缩单元26包括匹配部分搜索部件211、不匹配部分搜索部件212、编辑部件213和更新部件214。内容文件压缩单元26搜索第二层摘要数据搜索和提取部件154检索得到的第二层摘要数据文件112中的匹配和不匹配部分，并执行诸如删除匹配部分仅保留其中一个并将其接合到剩余的不匹配部分以压缩运动图像内容文件111的数据量之类的编辑。也就是说，内容文件压缩单元26控制匹配部分搜索部件211以搜索所检索得到的第二层摘要数据文件112中的匹配部分的范围。内容文件压缩单元26还控制不匹配部分搜索部件212以搜索所检索得到的文件的不匹配部分的范围。内容文件压缩单元26随后控制编辑部件213以执行涉及删除匹配部分仅保留其中一个并按需要将其连接到不匹配部分的编辑。使用这样新生成的运动图像内容文件111，内容文件压缩单元26更新当前的运动图像内容文件111。

[运动图像内容存储处理]

下面参考图2的流程图说明的是由图1的图像处理设备11执行的运动图像内容存储处理。

在步骤S11中，图像获取单元21获取要存储到存储单元24中的运动图像内容，并将所获取的内容存储到缓冲器22中。

在步骤S12中，运动图像内容数据登记单元23从缓冲器22读取运动图像内容，执行第一层摘要数据生成处理以生成第一层摘要数据，并将生成的摘要数据登记到存储单元24的第一层摘要数据数据库101中。

[第一层摘要数据生成处理]

下面参考图3的流程图来说明第一层摘要数据生成处理。

在步骤S31中，运动图像内容数据登记单元23将对帧进行计数的计数器“f”初始化为“1”。

在步骤S32中，运动图像内容数据登记单元23依次读取运动图像内容以确定是否存在尚未处理的另一帧图像。如果另一未处理帧图像在步骤S32中被确定为不存在，则第一层摘要数据生成处理终止。如果在步骤S32中确定运动图像内容的另一未处理帧图像存在，则控制转移到步骤S33。

在步骤S33中，第一层摘要数据生成部件43控制场景改变检测块63以在与紧跟在前图像进行比较后确定所提供的帧图像是否代表场景改变。例如，场景改变检测块63获得被处理的帧图像的像素与紧跟在前图像的像素之间的像素值差值总和。如果所获得的总和被发现大于预定阈值，则确定场景改变已发生。也就是说，在连续运动图像的情况中，当前帧图像与紧跟在前帧图像之间的改变被认为较小，因此像素值的差值总和被认为小于预定阈值。在发生场景改变后，帧图像常常与紧跟在前帧图像大大不同因此像素之间的像素值差值总和被认为极大地变化。出于这些考虑，场景改变检测块63将像素之间的像素值差值总和与预定阈值进行比较以确定是否发生了场景改变。

如果在步骤S33中由于当前和紧跟在前帧图像之间的像素值的差值总和小于阈值而确定未发生场景改变，则控制被转移到步骤S34。

在步骤S34中，运动图像内容数据登记单元23确定计数器“f”是否被设成30。如果计数器“f”不是30，则控制被转移到步骤S35，然后再次到达步骤S32，其中在步骤S35中，计数器“f”递增1。也就是说，在30帧流逝之前，除非发生场景改变，否则步骤S32至S35重复。

如果在步骤S33中由于当前和紧跟在前帧图像之间的像素值的差值总和大于阈值而确定已发生场景改变，或者如果在步骤S34中计数器“f”为30，则控制被转移到步骤S36。

在步骤S36中，运动图像内容数据登记单元23从缓冲器22提取作为从紧跟在前帧起第30个帧的感兴趣帧的图像。

在步骤S37中，运动图像内容数据登记单元23控制活动性计算部件41以计算所提取的感兴趣帧的图像中的活动性。更具体地，活动性计算部件41计算彼此水平和垂直相邻的像素之间的差的和，作为每个像素的活动性。活动性计算部件41对所有像素执行相同的计算，以获得由与每个像素有关的像素值的活动性形成的活动性图像。

在步骤S38中，运动图像内容数据登记单元23控制图像滑动部件42以在所获得的活动性图像内将具有最高活动性的像素的位置移动到构成感兴趣帧的图像的中心。也就是说，由于图像中高活动性的位置在视觉上最引人注意，因此该位置被滑动到图像中心以便该位置将最容易吸引观看者的注意力。这种安排使后续处理标准化。如果存在各自具有最高活动性的多个像素，则观看者的注意力被吸引到由这些最高活动性像素形成的对象。这种情况下，这些像素的重心可被移动到组成感兴趣帧的图像的中心。

在步骤S39中，第一层摘要数据生成部件43控制图像划分块61以将滑动了中心位置的第F帧划分成N个分割区域P(n)。例如，如果数目N为32，则第F帧被划分为分割区域P(1)至P(32)，如图4所示。

在步骤S40中，第一层摘要数据生成部件43将对分割区域P(n)进行计数的计数器“n”初始化为1。

在步骤S41中，第一层摘要数据生成部件43控制RGB像素值平均值计算块62以计算每个分割区域中的与每个RGB像素有关的像素值的平均值。

在步骤S42中，第一层摘要数据生成部件43确定计数器“n”是否在分割的预定数目N。在图4的示例中，第一层摘要数据生成部件43确定计数器“n”是否在预定的分割数N＝32。如果在步骤S42中确定计数器“n”未达到预定分割数N，则到达步骤S43。在步骤S43中，第一层摘要数据生成部件43将计数器“n”递增1，并且控制返回到步骤S41。也就是说，所有分割区域P(n)中的与每个RGB像素有关的像素值的平均值被获得。

如果在步骤S42中确定计数器“n”已达到分割数N，则控制被转移到步骤S44。

在步骤S44中，第一层摘要数据生成部件43随后获得由下述向量形成的并且总计约100字节的第一层摘要数据C1，并将所获取的第一层摘要数据C1登记到第一层摘要数据数据库101以存储在存储单元24中，所述向量的元素由计算出的每个分割区域P(1)至P(N)中的与每个RGB像素有关的像素值平均值组成。控制随后返回到步骤S31。

当上述步骤已被执行时，感兴趣帧被以30帧的间隔依次从目标运动图像内容中获得或在每次场景改变时被获得。每个感兴趣帧被划分成预定数目的分割区域P(n)，并且每个分割区域中的与每个RGB像素有关的像素值平均值被获得。然后，用其元素由计算出的每个分割区域P(n)中的与每个RGB像素有关的像素值平均值组成的向量形成并且总计约100字节的第一层摘要数据C1被获得并依次登记在第一层摘要数据数据库101中。例如，如果感兴趣帧被划分成如图4所示的32个分割区域并且如果指示16个颜色等级(gradation)之一的每个RGB像素用一字节表示，则第一层摘要数据C1由96维向量形成，所述96维向量由各自代表向量的一个元素的96个字节组成。为此，第一层摘要数据数据库101中登记的信息可被认为是由构成不包含时序信息的第一层摘要数据的向量集合组成的特征量。

现在将说明返回到图2的流程图。

在步骤S12中，待登记的运动图像数据的第一层摘要数据被登记到存储单元24的第一层摘要数据数据库101中。在步骤S13中，集群化部件45执行集群化处理从而对要登记的运动图像内容的第一层摘要数据进行分类。

[集群化处理]

下面参考图5的流程图来说明集群化处理。

在步骤S51中，从第一层摘要数据数据库101中登记的第一层摘要数据中，集群化部件45提取被集群化到类别中并且不包括登记的运动图像内容的那些数据。另外，集群化部件45控制重心计算块81以计算由集群化到同一类别中的第一层摘要数据组成的向量的重心向量。例如，对于图1所示的类别A，集群化部件45控制重心计算块81以计算由与类别A的每个内容数据对102-1至102-a相对应的第一层摘要数据组成的向量的重心向量。以类似方式，集群化部件45令重心计算块81计算由与每个类别B至D相对应的第一层摘要数据组成的向量的重心向量。

在步骤S52中，在要登记的运动图像数据的第一层摘要数据中，集群化部件45将未处理的摘要数据设为待处理的第一层摘要数据C1。

在步骤S53中，集群化部件45将对类别进行计数的计数器“m”初始化为1。

在步骤S54中，集群化部件45控制距离计算块82以计算类别“m”的重心向量与构成待处理的第一层摘要数据C1的向量之间的距离dm。更具体地，距离计算块82可使用平方范数来计算向量之间的距离dm。

在步骤S55中，集群化部件45确定这样获得的向量到向量距离dm是否小于预定阈值th1。如果向量到向量距离dm被确定为小于阈值th1，则控制被转移到步骤S56。

在步骤S56中，集群化部件45将处理所针对的第一层摘要数据C1临时登记到类别“m”。

在步骤S57中，集群化部件45确定计数器“m”是否已达到集群化的类别的数目M。如果确定计数器“m”尚未达到数目M，则控制被转移到步骤S58。在步骤S58中，集群化部件45将计数器“m”递增1，并且控制返回到步骤S54。也就是说，在每个类别的重心向量和第一层摘要数据C1的向量之间的距离被确定为小于预定阈值th1之前，步骤S54到S58被重复。

如果在步骤S57中计数器“m”被确定为已达到类别数目M，则到达步骤S59。在步骤S59中，集群化部件45确定处理所针对的第一层摘要数据C1是否已被集群化到任一类别中并且临时登记在那里。如果确定第一层摘要数据C1已被集群化到任一类别中并且临时登记在那里，则控制被转移到步骤S60。

在步骤S60中，从待处理的第一层摘要数据C1被临时登记到的类别中，集群化部件45将第一层摘要数据C1集群化到处于最短距离dm的类别“m”中。也就是说，在待处理的第一层摘要数据C1已被临时登记到多个类别的场合，需要将摘要数据明确地集群化到其中一个类别中。因此，待处理的第一层摘要数据C1被集群化到重心向量离所讨论的第一层摘要数据C1的向量最近的类别中(即，集群化到最相似的类别中)。

在步骤S61中，集群化部件45确定同一运动图像内容的第一层摘要数据是否已被登记到所选类别中。如果在步骤S61中，确定没有同一运动图像内容的第一层摘要数据被登记到所选类别中，则到达步骤S62。在步骤S62中，集群化部件45将处理所针对的第一层摘要数据C1集群化到所选类别中从而将摘要数据C1登记到第一层摘要数据数据库101中。

如果在步骤S59中所讨论的第一层摘要数据C1尚未被集群化到任一类别中，或者如果在步骤S61中同一运动图像内容的第一层摘要数据已被登记到所选类别中，则控制被转移到步骤S63中。

在步骤S63中，集群化部件45确定要登记的运动图像内容中是否剩有任何未处理的第一层摘要数据。如果确定这种未处理的第一层摘要数据存在，则控制返回到步骤S52。也就是说，在未处理的第一层摘要数据在采样数据的运动图像内容中穷尽之前，步骤S52至S63被重复。

如果在步骤S63中确定不再有未处理的第一层摘要数据存在于要登记的运动图像内容中了，则集群化处理终止。

当上述步骤已被执行时，关于要登记的运动图像内容的第一层摘要数据，最大的一个第一层摘要数据项被集群化到每个类别中。

现在将说明返回到图2的流程图。

在步骤S13中，关于登记所针对的运动图像内容的第一层摘要数据，最大的一个第一层摘要数据项被集群化到每个类别中。控制随后被转移到步骤S14。

在步骤S14中，第二层摘要数据生成部件44执行第二层摘要数据生成处理以生成由第二层摘要数据组成的第二层摘要数据文件112。第二层摘要数据生成部件44将生成的第二层摘要数据文件112与运动图像内容文件111一起以内容数据对102的形式存储到存储单元24中。

[第二层摘要数据生成处理]

下面参考图6的流程图来描述第二层摘要数据生成处理。

在步骤S81中，运动图像内容数据登记单元23将对帧的数目进行计数的计数器F初始化为1。

在步骤S82中，运动图像内容数据登记单元23确定缓冲器22中保存的作为要登记的运动图像内容的一部分的另一帧图像是否存在。如果运动图像内容中不剩有帧图像了，则第二层摘要数据生成处理终止。如果另一帧图像在步骤S82中被确定为存在，则控制被转移到步骤S83。

在步骤S83中，运动图像内容数据登记单元23从缓冲器22中提取帧(F)作为感兴趣帧的图像。

在步骤S84中，运动图像内容数据登记单元23控制活动性计算部件41以计算与所提取的感兴趣帧的图像有关的活动性图像。

在步骤S85中，运动图像内容数据登记单元23控制活动性计算部件41以在所获得的活动性图像内将具有最高活动性的像素的位置滑动到感兴趣帧的图像的中心。

在步骤S86中，第二层摘要数据生成部件44控制图像划分块71以将滑动了中心位置的第F帧划分成N个分割区域P(n)。

在步骤S87中，第二层摘要数据生成部件44将对分割区域P(n)进行计数的计数器“n”初始化为1。

在步骤S88中，第二层摘要数据生成部件44控制RGB像素值平均值计算块72以获得分割区域P(n)中的与每个RGB像素有关的像素值的平均值。

在步骤S89中，第二层摘要数据生成部件44确定计数器“n”是否在预定分割数N。如果在步骤S89中确定计数器“n”未达到预定分割数N，则到达步骤S90。在步骤S90中，第二层摘要数据生成部件44将计数器“n”递增1，并且控制返回到步骤S88。也就是说，所有分割区域P(n)中的与每个RGB像素有关的像素值的平均值被获得。

如果在步骤S90中确定计数器“n”已达到分割数N，则控制被转移到步骤S91。

在步骤S91中，第二层摘要数据生成部件44向新的第二层摘要数据文件112登记由下述向量形成的并且总计约30字节的第二层摘要数据C2，所述向量的元素由计算出的每个分割区域P(1)至P(N)中的与每个RGB像素有关的像素值平均值组成。这种情况下，第二层摘要数据生成部件44将第二层摘要数据C2以被处理的帧的次序登记到新的第二层摘要数据文件112中以存储在存储单元24中。

在步骤S92中，计数器F递增1。控制随后返回到步骤S82。

当上述步骤已被执行时，组成运动图像内容的每个帧被依次当作感兴趣帧并被划分成预定数目的分割区域P(n)。每个分割区域P(n)中的与每个RGB像素有关的像素值平均值被获得。作为其元素由每个分割区域P(n)中的与每个RGB像素有关的像素值平均值组成的向量的并且总计约30字节的第二层摘要数据C2以被处理的帧的次序被依次登记在第二层摘要数据文件112中。例如，如果感兴趣帧被划分成如图4所示的32个分割区域并且如果指示四个颜色等级之一的每个RGB像素用两比特表示，则一个第二层摘要数据项C2由96维向量形成，所述96维向量由24个字节组成。另外，第二层摘要数据文件112被以如下方式构造：第二层摘要数据C2以帧的次序按时间顺序被存储在该文件中。为此，由以帧的次序被存储在第二层摘要数据文件112中的第二层摘要数据C2组成的数据可被认为构成了由包含时序信息的第二层摘要数据C2的向量组成的特征量。

现在将说明返回到图2的流程图。

在步骤S14中，第二层摘要数据文件112在第二层摘要数据生成处理中生成。控制随后被转移到步骤S15。

在步骤S15中，运动图像内容数据登记单元23向存储单元24登记由运动图像内容文件111和相应的第二层摘要数据文件112构成的内容数据对102，所述运动图像内容文件111由要登记的运动图像内容组成。

在通过实施上述步骤登记了运动图像内容的场合，在预定数目的帧间隔处提取的或者以场景改变时出现的帧为单位提取的第一层摘要数据被登记到第一层摘要数据数据库101中。此外，以帧为单位提取的第二层摘要数据按帧的次序被登记在第二层摘要数据文件112中。第二层摘要数据文件112与运动图像内容文件111配对以组成被存储到存储单元24中的内容数据对102。

第一层摘要数据数据库101中的信息在其中唯一地被登记为构成不以帧为单位提取而在预定数目的帧间隔处提取或以场景改变时出现的帧为单位提取的数据库的第一层摘要数据C1。因此，第一层摘要数据数据库101中的信息不包含时序信息并且被登记以用作有助于增强数据搜索的数据库。为此，第一层摘要数据数据库101中的信息被认为提供了高度适合于通过与搜索的目标采样数据的运动图像内容的数据作比较来确定搜索所针对的采样数据的运动图像内容的特征量。

由于第一层摘要数据在被登记到第一层摘要数据数据库101中时被集群化，因此，在搜索给定的第一层摘要数据时，可以确定感兴趣的第一层摘要数据属于哪一类别，然后再搜索所确定的类别以得到所讨论的第一层摘要数据。这种安排可以提高搜索的速度。

[初始集群化处理]

对于前述步骤，假设存储单元24中登记的所有运动图像内容文件111已被集群化到类别中。然而，如果运动图像内容文件111是未经集群化地登记在存储单元24中的，则需要初始集群化处理。以下参考图7的流程图来说明初始集群化处理。这里假设关于所有运动图像内容的第一层摘要数据在第一层摘要数据生成处理后已被登记到第一层摘要数据数据库101中。因此，假设运动图像内容在图2的流程图中的步骤S11、S12、S14和S15(不包括S13)中不经集群化地被存储在存储单元24中。

在步骤S111中，集群化部件45将计数器“q”和“r”分别初始化为1和2。计数器“q”标识出感兴趣的第一层摘要数据C1(q)并且计数器“r”标识出第一层摘要数据数据库101内作为比较对象的第一层摘要数据C1(r)。

在步骤S112中，集群化部件45控制距离计算块82以计算第一层摘要数据C1(q)和第一层摘要数据C1(r)之间的距离dm。

在步骤S113中，集群化部件45确定计算出的距离dm是否短于预定阈值th1。如果距离dm被确定短于预定阈值th1(即，检测到相似性)，则控制被转移到步骤S114。

在步骤S114，集群化部件45令初始登记块83确定第一层摘要数据C1(r)所属于的运动图像内容的任何其他第一层摘要数据C1是否已被集群化并登记到与感兴趣的第一层摘要数据C1(q)相同的类别。

如果在步骤S114中确定第一层摘要数据C1(r)所属于的运动图像内容的任何其他第一层摘要数据C1尚未被集群化并登记到与感兴趣的第一层摘要数据C1(q)相同的类别，则控制被转移到步骤S115。

在步骤S115中，初始登记块83在登记摘要数据C1(r)之前，将第一层摘要数据C1(r)集群化到与第一层摘要数据C1(q)相同的类别。

也就是说，如果被集群化到与第一层摘要数据C1(q)相同的类别的、用于与其他摘要数据进行比较的第一层摘要数据C1(r)已被登记，则从同一运动图像内容获得的多个不同的第一层摘要数据将被登记到同一类别。由于每个类别被认为容纳了运动图像内容之间的相似的或匹配的帧图像，因此无需将同一运动图像内容的多个第一层摘要数据登记到同一类别。为此，只有在没有同一运动图像内容的其他第一层摘要数据已被登记的情况下，才将作为比较对象的第一层摘要数据C1(r)集群化并登记到与感兴趣的第一层摘要数据C1(q)相同的类别中。

在步骤S116中，集群化部件45确定计数器“r”是否已达到第一层摘要数据C1的总计数Q。如果确定计数器“r”未处于总计数Q，则到达步骤S117。在步骤S117中，计数器“r”递增1，并且控制返回到步骤S112。

如果在步骤S113中确定距离dm长于预定阈值th1，或者如果在步骤S114中确定作为比较对象的、与感兴趣的第一层摘要数据C1(q)属于同一类别的某一其他第一层摘要数据C1(r)已被集群化并登记，则略过步骤S115。控制随后被转移到步骤S116。

也就是说，在感兴趣的第一层摘要数据C1(q)已与作为比较对象的所有其他第一层摘要数据C1(r)进行比较之前，步骤S112至S116被重复。

如果在步骤S116中确定计数器“r”已达到总计数Q，则到达步骤S118。在步骤S118中，集群化部件45确定计数器“q”是否已达到总计数Q。如果在步骤S118中确定计数器“q”未达到总计数Q，则到达步骤S119。在步骤S119中，集群化部件45将计数器“q”递增1。然后在步骤S120中，集群化部件45将计数器“r”设为大于计数器“q”上的值的值。控制随后返回到步骤S112。

也就是说，无需在第一层摘要数据数据库101中的第一层摘要数据之间执行重复比较。用于与感兴趣第一层摘要数据C1(q)进行比较的第一层摘要数据C1(r)只需大于计数器“q”上的值。因此计数器“r”计算处理从q+1开始到总计数Q被执行的次数。在这些比较在所有第一层摘要数据之间已被执行之前，步骤S112至S120重复。

如果在步骤S118中确定计数器“q”已达到总计数Q，则初始集群化处理结束。

当上述步骤已被执行时，相似的或匹配的第一层摘要数据被集群化到同一类别中。另外，属于同一运动图像内容的最大一个第一层摘要数据被集群化到每个类别中。结果，如果每个类别是通过比如说从不同的运动图像内容获得六个第一层摘要数据项而形成的，则提取出如图8的顶行所示的指示同一个人的六个帧图像。作为替代，可以提取出图8的从顶部数第二行的示出同一灯塔和海洋的六个帧图像、从顶部数第三行的示出两架飞机的六个帧图像或者从顶部数第四行的示出同一火箭发射台的六个帧图像。图8中每行的六个帧图像被集群化到同一类别中。也就是说，由图8每行的六个帧图像组成的第一层摘要数据构成其向量到向量距离落入预定范围的图像。

当针对每个被集群化到同一类别中的第一层摘要数据的数目获得类别数目时，已知会出现如图9所示的趋势。也就是说，在图9中，纵轴表示被集群化到同一类别中的第一层摘要数据的数目(即，被集群化到同一类别中的帧图像的数目)，并且横轴代表类别数目。结果，可以看出，存在多个各自集群化了小数目(例如3到5)的第一层摘要数据项的类别，并且存在极少数的各自集群化了大数目(例如16或更大)的第一层摘要数据项的类别。由此理解到标识出具有多个第一层摘要数据项的类别之一也可以标识出相应的运动图像内容。因此，在对给定的运动图像内容进行搜索时，可以看出，通过标识出类别并与属于所标识的类别的第一层摘要数据进行比较，搜索处理所涉及的负荷被减少并且搜索速度被提高。还可以使用如图9所示的未经修改的类别分布来执行数据挖掘。例如，在同一TV节目每天被存储为运动图像内容的场合，可以对在给定月份中高频率地使用的场景进行统计分析。

[搜索和提取处理]

下面参考图10的流程图来说明搜索和提取处理。

在步骤S141中，图像获取单元21获取组成搜索所针对的运动图像内容的采样数据的运动图像内容，并将获取的内容存储在缓冲器22中。

在步骤S142中，搜索和提取单元25从缓冲器22所保存的采样数据的运动图像中提取构成代表性图像的帧图像。另外，搜索和提取单元25控制活动性计算部件151以计算组成搜索所针对的运动图像内容的代表性图像的帧的活动性图像。

在步骤S143中，搜索和提取单元25控制图像滑动部件152以在所获取的活动性图像内将具有最高活动性的像素的位置滑动到构成代表性图像的帧的图像的中心。

在步骤S144中，第一层摘要数据搜索部件153控制图像划分块171以将组成滑动了中心位置的代表性图像的帧划分成N个分割区域P(n)。

在步骤S145中，第一层摘要数据搜索部件153将对分割区域P(n)进行计数的计数器“n”初始化为1。

在步骤S146中，第一层摘要数据搜索部件153控制RGB像素值平均值计算块172以获得分割区域P(n)中的与每个RGB像素有关的像素值的平均值。

在步骤S147中，第一层摘要数据搜索部件153确定计数器“n”是否处于预定分割数N。如果在步骤S147中确定计数器“n”未达到预定分割数N，则到达步骤S148。在步骤S148中，第一层摘要数据搜索部件153将计数器“n”递增1，并且控制返回到步骤S146。也就是说，所有分割区域P(n)中的与每个RGB像素有关的像素值的平均值被获得。

如果在步骤S147中确定计数器“n”已达到分割数N，则控制被转移到步骤S149。

在步骤S149中，第一层摘要数据搜索部件153存储由下述向量形成的、总计约100字节的第一层摘要数据C1t，所述向量的元素由计算出的每个分割区域P(1)至P(N)中的与每个RGB像素有关的像素值平均值组成，并且对于搜索所针对的运动图像内容，所述第一层摘要数据C1t组成采样数据的代表性图像。控制随后被转移到步骤S150。

在步骤S150中，类别搜索部件155从第一层摘要数据数据库101中登记的那些第一层摘要数据中提取被集群化到类别中的第一层摘要数据。另外，类别搜索部件155控制重心计算块191以计算由被集群化到同一类别的第一层摘要数据组成的向量的重心向量。

在步骤S151中，类别搜索部件155将标识出类别的计数器“m”初始化为1。

在步骤S152中，类别搜索部件155控制比较块192以将代表性图像的帧的第一层摘要数据C1t的向量与类别“m”的重心向量作比较以便确定其间的匹配(或相似性)。这种情况下，比如说(3，4，0，4)和(2，4，1，4)之类的使用范围从0到7的值、用三比特来表示的向量被映射到使用值0到3用两比特来表示的向量(1，2，0，2)和(1，2，0，2)。如果向量之间的这种比特转换导致匹配或相似性，则所涉及的向量可被确定为彼此匹配或相似。在另一示例中，比如说(3，2，3，0)和(4，2，4，0)之类的三比特的向量在经历简单的三至两比特转换后产生两比特的向量(1，1，1，0)和(2，1，2，0)，结果不匹配。然而，如果由所涉及的量化步长的一半(即，1)来补充，则初始三比特向量成为向量(4，3，3，1)和(5，3，5，1)，后者进而在经历三至两比特转换后产生向量(2，1，2，0)和(2，1，2，0)，结果匹配。也就是说，如果当在量化期间进行半个量化步长的补充后再进行三至两比特转换时，所涉及的向量被发现彼此匹配或彼此相似，则这种匹配或相似性可以被识别为有效。这种安排使得可以降低由如下情况决定的极窄搜索范围所造成的增加的不匹配的可能性，所述情况即：向量之间的比较只有在完全数值匹配时才被认为是匹配的。

在步骤S152中，确定第一层摘要数据C1t的向量是否与类别“m”的重心向量匹配。如果在步骤S152中确定两个向量彼此匹配。则到达步骤S153。在步骤S153中，类别搜索部件155登记类别“m”。如果在步骤S152中确定第一层摘要数据C1t的向量与类别“m”的重心向量不匹配，则略过步骤S153。

在步骤S154中，类别搜索部件155确定计数器“m”是否已达到类别数M。如果确定计数器“m”未达到类别数M，则到达步骤S155。在步骤S155中，计数器“m”递增1，并且控制被转移到步骤S152。

当与每个类别“m”的重心向量的比较已完成时，计数器“m”在步骤S154中被确定为已达到类别数M。控制随后被转移到步骤S156。

在步骤S156中，第一层摘要数据搜索部件153选择步骤S153中登记的类别“m”的集合作为处理所针对的类别“x”。作为替代，类别“x”可以被布置成代表多个类别“m”。

在步骤S157中，第一层摘要数据搜索部件153将标识出属于类别“x”的第一层摘要数据C1(s)的计数器“s”初始化为1。

在步骤S158中，第一层摘要数据搜索部件153控制比较块173以将一方面的构成代表性图像的帧的第一层摘要数据C1t的向量与另一方面的属于类别“x”的第一层摘要数据C1(s)的向量作比较，以便确定其间的匹配或不匹配。作为替代，如上面结合步骤S152的处理说明的，向量之间的匹配还可在比特数转换后或者在通过添加半个所涉及的量化步长宽度来改变比特数之后被识别。

如果在步骤S158中确定第一层摘要数据C1t的向量与属于类别“x”的第一层摘要数据C1(s)的向量匹配，则到达步骤S159。在步骤S159中，第一层摘要数据搜索部件153登记属于类别“x”的第一层摘要数据C1(s)的向量。如果在步骤S158中确定第一层摘要数据C1t的向量与属于类别“x”的第一层摘要数据C1(s)的向量不匹配，则略过步骤S159。

在步骤S160中，第一层摘要数据搜索部件153确定计数器“s”是否已达到属于类别“x”的第一层摘要数据C1(s)的总数S。如果确定计数器“s”未达到总数S，则到达步骤S161并且计数器“s”递增1。控制随后返回到步骤S158。

在完成与属于所有类别“x”的第一层摘要数据C1(s)的向量的比较之后，到达步骤S160。在步骤S160中，计数器“s”被认为已达到总数S。控制随后被转移到步骤S162。

在步骤S162中，从属于类别“x”的第一层摘要数据C1(s)的向量中，检索与下述第一层摘要数据C1t的向量匹配的第一层摘要数据C1的运动图像内容所对应的内容数据对102，所述第一层摘要数据C1t是从搜索所针对的运动图像内容的采样数据提取的。

在步骤S163中，第二层摘要数据搜索和提取部件154以和第二层摘要数据生成部件44控制图像划分块71和RGB像素值平均值计算块72相同的方式来控制图像划分块181和RGB像素值平均值计算块182，从而执行第二层摘要数据生成处理以生成搜索所针对的运动图像内容的采样数据的第二层摘要数据文件112。第二层摘要数据生成处理与上面参考图6的流程图说明的处理相同，因此不再讨论。

在步骤S164中，第二层摘要数据搜索和提取部件154控制滑动匹配搜索块183以滑动搜索所针对的运动图像内容的采样数据的第二层摘要数据文件和步骤S162中检索得到的内容数据对102中包含的第二层摘要数据文件112，从而获得在帧的第二层摘要数据之间的差分绝对值和的意义上的相似度。

在步骤S165中，基于相似度，第二层摘要数据搜索和提取部件154确定搜索所针对的运动图像内容和运动图像内容中采样数据的再生位置。更具体地，如果与滑动帧的数目相对应地获得的最小相似度小于预定阈值，则第二层摘要数据搜索和提取部件154认为采样数据的运动图像内容与步骤S162中检索得到的内容数据对102的运动图像内容匹配，从而将采样数据的运动图像内容确定为搜索所针对的运动图像内容。这种情况下，相似度最小的滑动位置也被确定为搜索所针对的运动图像内容中采样数据的再生位置。

也就是说，滑动匹配搜索块183通常可获得一方面的在图11的顶行中示出的采样数据的第二层摘要数据文件112A和另一方面的在图11的第二行中示出并且在步骤S162中检索得到的第二层摘要数据文件112B之间的差分绝对值和来作为相似度。在图11中，采样数据的第二层摘要数据文件112A由帧F201至F203组成。这些帧的第二层摘要数据以帧的次序被表达为用数字10、11和7表示的一维向量。第二层摘要数据文件112B由帧F111至F115组成。这些帧的第二层摘要数据也以帧的次序被表达为用数字8、10、11、7和6表示的一维向量。

在初始处理中，获取顶行中的第二层摘要数据文件112A和第二行中的第二层摘要数据文件112B之间的按相应帧的次序的差分绝对值和来作为相似度。这种情况下，相似度被获取为7(＝|10-8|+|11-10|+|7-11|)。在下一处理中，第二层摘要数据文件112A被向右滑动一帧，如图11的底行中所示。这将相似度提供为0(＝|10-10|+|11-11|+|7-7|)。这种情况下，确定第二层摘要数据文件112B的运动图像内容是已从如下运动图像中搜索到的运动图像内容，从所述运动图像中获得了第二层摘要数据文件112A。另外在这种情况下，确定：搜索所针对的运动图像内容匹配的定时作为第二层摘要数据文件112B中的帧F112和F113被给出。这使得可以确定匹配的运动图像的再生位置。在图11的示例中，第二层摘要数据文件被认为在其间的相似度结果为0时匹配。作为替代，可在发现相似度小于预定阈值的情况下识别出文件之间的匹配。

例如，如图12所示，在发现不同运动图像内容之间的相应帧的第二层摘要数据的改变在其间是相似的或匹配的场合，这些内容可被认为是同一运动图像内容。

在图12中，时隙0至9是标识出运动图像内容的标识符。图12的横轴代表帧号，纵轴表示由组成每个帧的一维向量元素组成的第二层摘要数据的改变。应该注意，时隙0至9代表为了提供最小相似度(即，最相似状态)而通过滑动匹配来调整帧的滑动位置之后给出的波形。

也就是说，假定在图12中，由比如说时隙1指示的波形属于从采样数据的运动图像内容获得的第二层摘要数据文件。然后，该波形被认为与对应于时隙2和3的运动图像内容的第二层摘要数据文件的波形足够相似。结果，时隙1的运动图像内容被发现与时隙2和3的运动图像内容匹配。然后确定搜索所针对的运动图像内容是由时隙2和3的波形指示的运动图像内容。

在步骤S166中，搜索结果显示图像生成部件156读取与相似度低于预定值的第二层摘要数据文件112的内容数据对相同的内容数据对102的运动图像内容文件111。这样检索得到的运动图像内容文件111与再生位置一起作为搜索结果被显示在显示单元27上。

在已执行了以上步骤的场合，可以通过简单地输入采样数据的运动图像内容来容易而迅速地搜索存储单元24中登记的想要的运动图像内容。

在诸如第一层和第二层摘要数据之类的分层摘要数据被使用的场合，在使用位于较低层并含有时序信息的第二层摘要数据文件执行目标运动图像内容的搜索之前，首先基于指示位于较高层并且不含时序信息的特征量的第一层摘要数据来执行搜索提炼。这使得可以降低搜索涉及的负荷并提高搜索的速度。

另外，当第一层摘要数据是以数据库的形式来管理的时，搜索可以比之前更容易且更高速地执行。由于第一层摘要数据是在被集群化到类别中之后以类别为单位来管理的，第一层摘要数据可以通过每个类别的重心向量来提炼。只有这样提炼的第一层摘要数据可以在彼此之间进行详细比较。这使得可以实现仅涉及第一层摘要数据的高速搜索处理。

[压缩处理]

以上描述集中于通过简单地输入由运动图像内容的一部分组成的采样数据来容易而迅速地搜索并取得目标运动图像内容的示例。然而，有时候，大量个别不同的、各自包含同一场景的运动图像内容同样可能被检索并存储到存储单元24中，作为众多包含重复场景的运动图像内容。这种情况下，每个运动图像内容文件可通过删除重复场景并且仅将需要的场景接合在一起来压缩，从而可以大大节省存储单元24的存储容量。

下面参考图13来说明上述压缩处理。

在步骤S181中，搜索和提取单元25执行搜索和提取处理以基于组成采样数据的、给定的运动图像内容的一部分来搜索匹配或相似的运动图像内容，从而确定相应的内容和再生位置。搜索和提取处理与以上参考图10的流程图讨论的处理相同因而不再说明。

在步骤S182中，内容文件压缩单元26控制匹配部分搜索部件211以在多个所检索得到的运动图像内容文件中搜索匹配部分。也就是说，如上面参考图11说明的，第二层摘要数据文件112通过以帧为单位的滑动匹配被比较。所述比较通过搜索确定了来自采样数据的运动图像内容的哪些帧与被认为匹配或相似的运动图像内容的那些帧匹配。

如果多个运动图像内容作为上述比较的结果被获取，则采样运动图像内容的匹配部分可与所检索得到的运动图像内容对齐，以便识别其间哪些帧对应。因此，匹配部分搜索部件211对齐运动图像内容文件之间的匹配帧以搜索相同部分。例如，在帧F1的位置处，图14顶行示出的运动图像内容文件Cont1的第二层摘要数据文件112与从顶部起第二行示出的运动图像内容文件Cont2的第二层摘要数据文件112对齐。在图14的阴影部分中，指示帧Fs1至Fe1的填充了上三角斜线的部分代表运动图像内容文件Cont1的第二层摘要数据文件112，指示帧Fs2至Fe2的填充了下三角斜线的部分代表运动图像内容文件Cont2的第二层摘要数据文件112。匹配部分搜索部件211随后通过搜索确定运动图像内容文件Cont1(或Cont2)中范围从帧Fs1至Fe2的部分在两个文件中相同。

在步骤S183中，内容文件压缩单元26控制不匹配部分搜索部件212以在所检索得到的多个运动图像内容文件的第二层摘要数据文件112中搜索不匹配部分。也就是说，在图14的情况中，确定运动图像内容Cont2的帧Fs2至Fs1和运动图像内容Cont1的帧Fe2至Fe1是不匹配部分。

在步骤S184中，内容文件压缩单元26控制编辑部件213以通过编辑将匹配和不匹配部分接合在一起。也就是说，编辑部件213将与第二层摘要数据文件112相对应的运动图像内容Cont1(或Cont2)的运动图像内容文件111中的帧Fs1至Fe2、运动图像内容Cont2的运动图像内容文件111中的帧Fs2至Fs1以及运动图像内容Cont1的运动图像内容文件111中的帧Fe2至Fe1接合在一起。这种情况下，如果运动图像内容Cont2被用作基准，则运动图像内容Cont1中的帧Fe2至Fe1仅需要通过如图14第三行所示的编辑被接合在一起。该接合生成构造图14第三行示出的新的运动图像内容的一部分的格状部分。图14所指示的行组成第二层摘要数据文件112的结构。编辑部件213基于第二层摘要数据文件112的结构来编辑运动图像内容文件111。

在步骤S185中，更新部件214以反映新生成的运动图像内容的方式来更新由运动图像内容文件111和第二层摘要数据文件112组成的内容数据对102和第一层摘要数据数据库101。这种情况下，更新部件214删除不再必要的运动图像内容Cont1和Cont2的内容数据对102。

当上述步骤已被执行时，运动图像内容文件可被大大压缩。这使得可以节省容纳运动图像内容的存储单元24的存储容量。另外，压缩处理降低了搜索所针对的运动图像内容的数目，所以内容管理的负担减轻。同时，可以降低基于采样数据的运动图像内容搜索所涉及的负荷从而增加搜索速度。

前面的描述涉及目标图像被划分成多个分割区域以获得每个分割区域中的RGB像素值的平均值以用作第一和第二层摘要数据的示例。然而，这不限制本实施例。特征量只需以帧为单位生成。例如，每个分割区域中的RGB像素值的平均值可用每个分割区域中的亮度或活动性值的平均值来取代。每个分割区域的亮度直方图也可被变为数据。例如，亮度方向的分辨率可用三至五比特来表达。如果用四比特来表达，则亮度方向的分辨率作为16维向量来给出。作为替代，亮度值可用RGB像素值来取代。用RGB像素表达的色立体各自可沿每个所涉及的轴用二至四比特的分辨率来划分，每个划分物用其出现的频率来补充。如果用三比特来表达，则每个色立体划分物可以作为512维向量(＝8³)被给出。另外，不仅图像而且音频信息可被用作生成以帧为单位的第一和第二层摘要数据的基础。例如，每个预定音频频带中的声音音量或幅度平均值可与图像信息结合使用。

另外，色集群化(对以RGB值进行三维表达的颜色的分布尝试向量量化的一般图像处理技术)可在所涉及的像素上执行。产生的RGB值随后可使用这样的三维向量来表达：最频繁使用的颜色被表示为代表性颜色。

另外，存在这种情况：画面被分割成较小区域以使得一个分割区域专用于在其顶部或底部领域频繁显示插播(telop)。这种情况下，专用于频繁插播显示的画面区域可用比其他区域更粗糙的分辨率来划分以减轻插播的影响。

在以上描述中，第一层摘要数据被示为从以30帧的间隔或在场景改变时出现的感兴趣帧中获取。作为替代，第一层摘要数据可以以与所涉及的运动图像内容的改变一致的其他间隔或非周期性地获取。例如，在需要周期性方案的场合，第一层摘要数据可以通过不同数目的帧间隔来获取。在优选非周期性选项的场合，第一层摘要数据可从在音频数据的静音部分结束时出现的帧获取。另外在以上描述中，第二层摘要数据被示为从每一帧中获取。然而，第二层摘要数据只需以比第一层摘要数据小的数目的帧间隔来获取。只要该要求被满足，第二层摘要数据就可在每当某个条件(例如，出现场景改变)被满足时被周期性地(例如，以若干个帧的间隔)或非周期性地获得。

以上描述给出了如下示例：在提取第一和第二层摘要数据后，通过事先获得活动性图像并将高活动性的位置当作中心位置，使图像标准化。作为替代，可使用如下距离来使图像标准化，图像在该距离上的自相关函数改变预定量(例如，0.9倍)。匹配的图像随后可通过容许更高的放缩自由度而被检测到。

在比较后确定向量之间是否发生匹配时，要求其间的距离落入预定值内。该预定值可依应用而改变。例如，如果希望搜索完全匹配的运动图像内容，则最好应令预定值小。作为替代，如果希望通过忽略比如说插播或颜色集合的存在来搜索匹配图像，则允许预定值大。

在上述搜索和提取处理中比较各自由第一层摘要数据组成的向量时，确定向量之间是否存在匹配。作为替代，如上面结合集群化处理和初始集群化处理说明的，向量之间的距离可被获得以根据所获得的距离是否短于预定距离来确定其间是否存在足够的相似性。结果，搜索和提取处理中的关于向量是否匹配的确定可取代集群化处理或初始集群化处理中的确定所获得的向量之间的距离是否揭示了其间足够的相似性的处理。

另外，虽然前面的段落说明了涉及由第一和第二层摘要数据形成的两层摘要数据结构的示例，但是这不限制本实施例。作为替代，多层摘要数据结构可被采用，每个层经历针对分类目的的集群化处理。

根据本实施例，如上所述，可以容易地管理海量运动图像内容并且容易地在这被管理的大量运动图像内容中搜索想要的运动图像内容。

上述步骤或处理序列可由硬件或软件来执行。在基于软件的处理被执行的场合中，构成软件的程序可事先被合并到所使用的计算机的专用硬件中或在通用个人计算机等类似设备中使用时安装，所述通用个人计算机等类似设备能够基于所安装的程序运行各种功能。

图15示出通用个人计算机的典型结构。个人计算机包括CPU(中央处理单元)1001。输入/输出接口1005经由总线1004连接到CPU 1001。ROM(只读存储器)1002和RAM(随机存取存储器)1003也连接到总线1004。

输入/输出接口1005与输入部件1006、输出部件1007、存储部件1008和通信部件1009相连。输入部件1006由用户用来输入操作命令的键盘和鼠标之类的输入设备组成。输出部件1007允许处理操作画面或处理结果图像出现在显示设备上。存储部件1008一般由用于存储程序和各种数据的硬盘驱动器形成。通信部件1009通常由执行诸如因特网之类的网络上的通信处理的LAN(局域网)适配器组成。另外，输入/输出接口1005与从一项可移除介质1011读数据并向其写数据的驱动器1010相连，所述可移除介质例如是磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘-只读存储器)和DVD(数字万用盘))、磁光盘(包括MD(微型盘))和半导体存储器。

CPU 1001根据ROM 1002中存储的程序或与从可移除介质1011读取并安装在存储部件1008中然后从那里加载到RAM 1003的程序一致地执行各种处理，所述可移除介质例如是磁盘、光盘、磁光盘或半导体存储器。RAM 1003还可容纳CPU 1001执行其不同处理所需的数据。

在本说明书中，描述记录存储介质上存储的程序的步骤不仅代表以所示顺序(即，在时序基础上)执行的处理，还代表可并列或个别但不一定按时间顺序执行的处理。

本发明包含与2010年4月9日递交日本专利局的日本优先专利申请JP 2010-090608中公开的主题相关的主题，该日本优先专利申请的全部内容通过引用结合于此。

本领域技术人员应该理解，取决于设计需求和其他因素，可以对本发明做出各种修改、组合、子组合和变更，只要它们落入所附权利要求或其等同物的范围内即可。

Claims (8)

1.一种图像处理设备，包括：

第一层摘要数据生成装置，所述第一层摘要数据生成装置用于根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将所述第一层摘要数据登记到数据库；

第二层摘要数据生成装置，所述第二层摘要数据生成装置用于根据从组成所述运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；

第一搜索装置，所述第一搜索装置用于基于由所述第一层摘要数据生成装置生成的所述第一层摘要数据，从所述数据库中搜索相应运动图像内容；以及

第二搜索装置，所述第二搜索装置用于基于由所述第二层摘要数据生成装置生成的所述第二层摘要数据，从由所述第一搜索装置检索得到的运动图像内容中搜索相应的运动图像内容。

2.根据权利要求1所述的图像处理设备，其中所述第一层摘要数据由与多个分割区域中的每一个有关的像素值、亮度值、活动性、音量、预定音频频带内的幅度平均值的组合或它们中的一个组成，所述多个分割区域构成作为所述运动图像内容的一部分并以所述第一频率从所述运动图像内容中提取出的图像的每一个，所述第一层摘要数据具有所述第一尺寸；并且

所述第二层摘要数据由与多个分割区域中的每一个有关的像素值、亮度值、活动性、音量、预定音频频带内的幅度平均值的组合或它们中的一个组成，所述多个分割区域构成作为所述运动图像内容的一部分并以高于所述第一频率的所述第二频率从所述运动图像内容中提取出的图像的每一个，所述第二层摘要数据具有所述第二尺寸。

3.根据权利要求1所述的图像处理设备，其中所述第一频率和所述第二频率是周期性或非周期性地从所述运动图像内容中提取图像的那些频率。

4.根据权利要求3所述的图像处理设备，其中周期性图像提取指以预定帧数的间隔来提取图像；并且非周期性图像提取指每次所述运动图像内容中发生场景改变时或每次音频数据的无声部分后面跟着音频数据的非无声部分时提取图像。

5.根据权利要求1所述的图像处理设备，还包括压缩装置，所述压缩装置用于将一方面的由所述第二搜索装置检索得到的运动图像内容与另一方面的由所述第一层摘要数据生成装置从中生成所述第一层摘要数据的运动图像内容之间的不同区域相连，以删除这些内容中的任一者以进行运动图像内容数据压缩。

6.一种供图像处理设备使用的图像处理方法，所述图像处理设备包括：第一层摘要数据生成装置，所述第一层摘要数据生成装置用于根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将所述第一层摘要数据登记到数据库；第二层摘要数据生成装置，所述第二层摘要数据生成装置用于根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；第一搜索装置，所述第一搜索装置用于基于由第一层摘要数据生成装置生成的所述第一层摘要数据，从所述数据库搜索相应运动图像内容；以及第二搜索装置，所述第二搜索装置用于基于由所述第二层摘要数据生成装置生成的所述第二层摘要数据，从由所述第一搜索装置检索得到的运动图像内容中搜索相应的运动图像内容；所述图像处理方法包括以下步骤：

令所述第一层摘要数据生成装置根据从组成运动图像内容的图像中以第一频率提取的图像，生成所述第一尺寸的所述第一层摘要数据，之后将所述第一层摘要数据登记到所述数据库；

令所述第二层摘要数据生成装置根据从组成运动图像内容的图像中以高于所述第一频率的所述第二频率提取的图像，生成小于所述第一尺寸的所述第二尺寸的第二层摘要数据；

令所述第一搜索装置基于由第一层摘要数据生成步骤生成的所述第一层摘要数据，从所述数据库搜索相应运动图像内容；以及

令所述第二搜索装置基于由第二层摘要数据生成步骤生成的所述第二层摘要数据，从由所述第一搜索步骤检索得到的运动图像内容中搜索相应的运动图像内容。

7.一种供控制图像处理设备的计算机使用的程序，所述图像处理设备包括：第一层摘要数据生成装置，所述第一层摘要数据生成装置用于根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将所述第一层摘要数据登记到数据库；第二层摘要数据生成装置，所述第二层摘要数据生成装置用于根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；第一搜索装置，所述第一搜索装置用于基于由第一层摘要数据生成装置生成的所述第一层摘要数据，从所述数据库搜索相应运动图像内容；以及第二搜索装置，所述第二搜索装置用于基于由所述第二层摘要数据生成装置生成的所述第二层摘要数据，从由所述第一搜索装置检索得到的运动图像内容中搜索相应的运动图像内容；所述程序令计算机执行包括以下步骤的过程：

令所述第一层摘要数据生成装置根据从组成运动图像内容的图像中以第一频率提取的图像，生成所述第一尺寸的所述第一层摘要数据，之后将所述第一层摘要数据登记到所述数据库；

令所述第二层摘要数据生成装置根据从组成运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；

令所述第一搜索装置基于由第一层摘要数据生成步骤生成的所述第一层摘要数据，从所述数据库搜索相应运动图像内容；以及

令所述第二搜索装置基于由第二层摘要数据生成步骤生成的所述第二层摘要数据，从由所述第一搜索步骤检索得到的运动图像内容中搜索相应的运动图像内容。

8.一种图像处理设备，包括：

第一层摘要数据生成部件，所述第一层摘要数据生成部件被配置成根据从组成运动图像内容的图像中以第一频率提取的图像，生成第一尺寸的第一层摘要数据，之后将所述第一层摘要数据登记到数据库；

第二层摘要数据生成部件，所述第二层摘要数据生成部件被配置成根据从组成所述运动图像内容的图像中以高于所述第一频率的第二频率提取的图像，生成小于所述第一尺寸的第二尺寸的第二层摘要数据；

第一搜索部件，所述第一搜索部件被配置成基于由所述第一层摘要数据生成部件生成的所述第一层摘要数据，从所述数据库搜索相应运动图像内容；以及

第二搜索部件，所述第二搜索部件被配置成基于由所述第二层摘要数据生成部件生成的所述第二层摘要数据，从由所述第一搜索部件检索得到的运动图像内容中搜索相应的运动图像内容。

Images