CN102236900A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

信息处理设备、信息处理方法和程序。该信息处理设备包括：改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间的运动图像的多个图像中包含的对象的转变；组成相似度信息生成单元，其基于构成改变点之间包含的运动图像的各图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与改变点之间包含的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；以及确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定改变点之间包含的运动图像是否为对应于特定场景的运动图像。

Description

信息处理设备、信息处理方法和程序

技术领域

本发明涉及信息处理设备，具体涉及用于检测运动图像中的具体场景的信息处理设备和信息处理方法，以及用于在计算机上执行该方法的程序。

背景技术

近年来，当观看电视广播的记录的运动图像内容时只复制和欣赏希望的部分的人有所增加。为此，已提出了多种具有自动提取用户希望的部分的功能的信息处理设备。

例如，已提出了一种基于构成运动图像内容的声音数据来检测运动图像内容中的高潮场景的信号处理设备(例如，参见日本未审查专利申请公开2004-191780号)。该信号处理设备提取这样的部分，其中在预定时间或更长时间内，声音数据中的信号幅度持续较大，并且该信号处理设备基于所提取的部分的信号幅度和声音质量来确定所提取的部分是否为高潮。

发明内容

根据上述信号处理设备，可以通过检测由观众产生的声音(高潮声音)来自动检测许多事件中的重要场景。

以这种方式，在上述信号处理设备中，可以检测由观众加强的部分(重要场景)。然而，在上述信号处理设备中，当进行其中上升到高潮和安静下来的过程在比赛过程中被重复的特定的体育项目时，难以提取部分。例如，如果一个体育项目是运动图像内容，该体育项目的进行在连续对打过程中由观众观看，这种信号处理设备可能只检测运动员在完成动作之后得分的场景。

希望适当地检测特定场景。

根据本发明的一个实施例，提供一种信息处理设备，包括：改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测包括在构成运动图像的多个图像中的对象的转变，该运动图像被包括在所检测的改变点中的两个邻近的改变点之间；组成相似度信息生成单元，其基于构成包括在改变点之间的运动图像的图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与包括在改变点之间的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；以及确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像，并提供一种信息处理方法以及程序。通过该配置，基于对象的转变、组成相似度信息和声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像。

确定单元可以确定作为特定体育项目的正在进行的部分的在进行部分为特定场景。通过该配置，确定体育项目的正在进行的部分是否为在进行部分。

确定单元可以包括评估值生成单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来生成用于评估包括在改变点之间的运动图像的评估值；以及评估值确定单元，其将评估值与阈值比较，并基于该比较结果进行确定。通过该配置，通过包括在改变点之间的运动图像的评估值来确定其是否为对应于特定场景的运动图像，该评估值是基于对象的转变、组成相似度信息和声音相似度信息生成的。

组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域的亮度与另一区域的亮度的比较结果来生成组成相似度信息作为该组成的特征量。通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域的亮度与另一区域的亮度的比较结果来生成组成相似度信息作为该组成的特征量。

组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的特定方向的对称度来生成组成相似度信息作为该组成的特征量。通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的特定方向的对称度的比较结果来生成组成相似度信息作为该组成的特征量。

组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的亮度差来生成组成相似度信息作为该组成的特征量。通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的亮度值的比较结果来生成组成相似度信息作为该组成的特征量。

组成相似度信息生成单元可以将构成包括在改变点之间的运动图像的图像中的每个分离成多个块，并使用每个块的亮度的平均值来生成组成相似度信息作为该组成的特征量。通过该配置，将构成包括在改变点之间的运动图像的图像中的每个分离成多个块，并使用每个块的亮度的平均值来生成组成相似度信息作为该组成的特征量。

转变检测单元可以检测成像设备在捕捉包括在改变点之间的运动图像时的水平方向运动作为该对象的转变。通过该配置，检测成像设备在捕捉包括在改变点之间的运动图像时的水平方向运动作为该对象的转变。

转变检测单元可以检测成像设备在捕捉包括在改变点之间的运动图像时的竖直方向运动作为该对象的转变。通过该配置，检测成像设备在捕捉包括在改变点之间的运动图像时的竖直方向运动作为该对象的转变。

转变检测单元可以将包括在改变点之间的运动图像的对象图像与在时间轴上邻近或接近该对象图像的另一图像进行比较，并基于该比较结果检测对象的转变。通过该配置，将包括在改变点之间的运动图像的对象图像与在时间轴上邻近或接近该对象图像的另一图像进行比较，并基于该比较结果检测对象的转变。

可以包括优先级应用单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息将包括在改变点之间的被确定为对应于特定场景的运动图像设置为特定运动图像，并将特定运动图像的优先级应用到该特定运动图像。通过该配置，优先级被应用到被确定为对应于特定场景的运动图像的运动图像。

根据本发明的另一个实施例，提供一种信息处理设备，包括：改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测包括在构成运动图像的多个图像中的对象的转变，该运动图像被包括在所检测的改变点中的两个邻近的改变点之间；组成相似度信息生成单元，其基于构成包括在改变点之间的运动图像的图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与包括在改变点之间的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像；以及显示控制单元，其基于确定单元的确定结果来进行控制，使得被确定为对应于特定场景的包括在改变点之间的运动图像被显示在显示单元上。通过该配置，基于对象的转变、组成相似度信息和声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像，并且显示被确定为对应于特定场景的运动图像。

根据本发明的实施例，可以适当地检测特定场景并获得很好的效果。

附图说明

图1是示出根据本发明的第一实施例的信息处理设备的功能配置示例的框图；

图2是示出根据本发明的第一实施例的信息处理单元的功能配置示例的框图；

图3是示出本发明的第一实施例中所分析的运动图像内容和该运动图像的剪切改变点的示例的示意图；

图4A至图4C是示出在根据本发明的第一实施例的水平方向运动分析单元中分析的用于捕捉运动图像内容的摄像机的水平方向运动的示例的示意图；

图5A至图5C是示出在根据本发明的第一实施例的竖直方向运动分析单元中分析的用于捕捉运动图像内容的摄像机的竖直方向运动的示例的示意图；

图6是示出根据本发明的第一实施例的组成分析单元的图像分离的示例的示意图；

图7A和图7B是示出根据本发明的第一实施例的亮暗分析单元的图像亮暗分析的示例的示意图；

图8A和图8B是示出根据本发明的第一实施例的对称分析单元的图像对称分析的示例的示意图；

图9是示出由根据本发明的第一实施例的幅度分析单元和谱分析单元分析的排球广播的在进行部分中的欢呼的改变的示例的示意图；

图10A至图10E是示出由根据本发明的第一实施例的部分特征量生成单元基于每个剪切部分的图像数据的特征量生成的示例的示意图；

图11是示出由根据本发明的第一实施例的部分特征量生成单元基于每个剪切部分的声音数据的特征量生成的示例的示意图；

图12A和图12B是示出由根据本发明的第一实施例的输出控制单元再现的运动图像内容的显示示例的图；

图13是示出使用根据本发明的第一实施例的在进行部分属性信息来选择运动图像内容的图像的示例的示意图；

图14是图解根据本发明的第一实施例的信息处理设备的属性信息生成过程的示例的流程图；

图15是图解根据本发明的第一实施例的图像数据处理的示例的流程图；

图16是图解根据本发明的第一实施例的声音数据处理的示例的流程图；

图17是图解根据本发明的第一实施例的部分分析过程的示例的流程图；

图18是示出根据本发明的第二实施例的信息处理单元的功能配置示例的框图；

图19是示出根据本发明的第二实施例的重要度计算单元基于欢呼的幅度和长度来生成重要度的示例的示意图。

具体实施方式

下面将说明用于实现本发明的模式(此后称为实施例)。将以以下顺序给出说明。

1.第一实施例(信息处理控制：检测排球广播的在进行部分的示例)

2.第二实施例(信息处理控制：对在进行部分添加重要度的示例)

1.第一实施例

信息处理设备的功能配置示例

图1是示出根据本发明的第一实施例的信息处理设备100的功能配置示例的框图。信息处理设备100包括输入单元110、操作接收单元120、记录控制单元130、存储单元140、信息处理单元200、输出控制单元150、显示单元160和声音输出单元170。

信息处理设备100例如通过用于记录或显示外部输入的运动图像内容的图像观看设备(例如，内置硬盘的电视机)实现。

输入单元110接收运动图像内容。例如，通过输入单元110输入电视广播的广播信号、所记录的广播信号的运动图像等。输入单元110通过信号线119将输入的运动图像内容提供给信息处理单元200和记录控制单元130。

操作接收单元120接收来自用户的操作输入，并根据操作输入将操作信号提供给信息处理设备100的各单元。操作接收单元120例如接收用于开始对在进行部分的检测的操作，并将关于检测开始的信号提供给信息处理单元200。操作接收单元120接收用于显示所检测的在进行部分的操作，并将用于控制显示的信号(显示控制信号)提供给输出控制单元150。

信息处理单元200进行用于检测运动图像内容的特定场景(这里指在进行部分)的信息处理。信息处理单元200基于从输入单元110提供的运动图像内容生成指示在进行部分的属性信息(在进行部分属性信息)，并将所生成的在进行部分属性信息提供给记录控制单元130。将参照图2至图10说明信息处理单元200。

记录控制单元130执行存储单元140中的运动图像内容和在进行属性信息的记录控制。当从信息处理单元200提供了在进行部分属性信息时，记录控制单元130将从输入单元110提供的运动图像内容与在进行部分属性信息相关联，并在存储单元140中记录运动图像内容。

存储单元140记录从记录控制单元130提供的运动图像内容和在进行部分属性信息。存储单元140包括运动图像内容存储单元141和属性信息存储单元142。

运动图像内容存储单元141记录运动图像内容，并将所记录的运动图像内容提供给输出控制单元150。

属性信息存储单元142记录在进行部分属性信息，并将所记录的在进行部分属性信息提供给输出控制单元150。

输出控制单元150控制对用户输出所观看的图像以及声音。输出控制单元150将构成从运动图像内容存储单元141提供的运动图像内容的图像数据提供给显示单元160。另外，输出控制单元150将构成从运动图像内容存储单元141提供的运动图像内容的声音数据提供给声音输出单元170。在将在进行部分与运动图像内容相关地显示的情况下，输出控制单元150基于从属性信息存储单元142提供的在进行部分属性信息来生成图像，并将关于所生成的图像的图像数据提供给显示单元160。将参照图12和图13说明基于在进行部分属性信息生成的图像的示例。

显示单元160基于从输出控制单元150提供的图像数据显示各种图像。显示单元160例如是通过彩色液晶板实现的。显示单元160例如显示用于图解地显示运动图像内容的在进行部分的位置的画面等。

声音输出单元170基于从输出控制单元150提供的声音数据输出声音。

也就是说，信息处理设备100检测部分(时间轴上的部分)，在该部分中，所取得的体育项目的运动图像内容(运动图像文件)中比赛正在进行(在进行)。

虽然用于记录或显示输入的运动图像内容的图像观看设备被描述为信息处理设备100，但本发明不限于此。例如，可以考虑用于关于已保持的运动图像内容(诸如数字通用盘(DVD))生成在进行部分属性信息(例如，个人计算机等的运动图像再现)的设备。可以考虑用于记录广播的设备，诸如DVD记录器。

信息处理单元的功能配置示例

图2是示出根据本发明的第一实施例的信息处理单元200的功能配置示例的框图。

信息处理单元200包括信号分离单元210、图像数据缓冲器220、剪切改变分析单元230、运动分析单元240和组成分析单元270。信息处理单元200还包括声音数据缓冲器310、幅度分析单元320、谱分析单元330、图像特征量缓冲器340、部分特征量生成单元350、部分评估单元360以及属性信息生成单元370。

信号分离单元210将从输入单元110提供的运动图像内容分离为图像数据和声音数据。信号分离单元210将所分离的图像数据提供给图像数据缓冲器220。信号分离单元210将所分离的声音数据提供给声音数据缓冲器310。

图像数据缓冲器220保持图像数据。图像数据缓冲器220以帧单元(图像单元)保持图像数据。图像数据缓冲器220例如通过先进先出(FIFO)型队列实现，该队列用于在一个帧被输入时输出所保持的帧中输入顺序最早的(时间上最远的)帧。图像数据缓冲器220将所保持的图像提供给剪切改变分析单元230、运动分析单元240和组成分析单元270。

剪切改变分析单元230分析对象图像是否为剪切改变点(改变点)。剪切改变分析单元230例如将分析对象的图像(分析对象图像)与时间轴上的先前图像(邻近图像)进行比较，并检测快速改变的图像以分析对象图像是否为剪切改变点。作为通过剪切改变分析单元230检测剪切改变的方法，例如，使用图像间的直方图相似度和空间相关图像相似度来确定剪切改变的方法(例如，参见日本未审查专利申请公开2008-83894号)。在该方法中，基于分析对象图像和邻近图像之间的直方图相似度和空间相关图像相似度来确定分析对象图像和邻近图像之间的图像改变是否为剪切改变。剪切改变分析单元230生成指示分析对象图像是否为剪切改变点的信息(剪切改变特征量)。剪切改变分析单元230将所生成的剪切改变特征量提供给图像特征量缓冲器340的剪切改变缓冲器235。将参照图3说明生成剪切改变特征量的示例。剪切改变分析单元230是权利要求中所述的改变点检测单元的一个示例。

运动分析单元240分析用于捕捉图像的摄像机的运动。运动分析单元240例如将分析对象图像与邻近图像进行比较，计算这两个图像之间的改变量，分析摄像机的运动，并生成关于运动的信息(运动特征量)。也就是说，运动分析单元240通过分析对象图像和邻近图像之间的比较来检测对象的转变，从而分析摄像机的运动。如果分析对象图像的运动接近于在进行部分的图像的运动，则运动特征量为相似值，因此指示分析对象图像和在进行部分的图像组成之间的相似度。作为通过运动分析单元240分析运动的示例，可应用这样的方法：重叠分析对象图像和邻近图像，同时偏移像素并获得相关为最高时的偏移量。作为通过运动分析单元240分析运动的方法，可以应用使用通过块匹配方法等计算的运动向量的方法。运动分析单元240包括用于分析水平方向的运动的水平方向运动分析单元250，和用于分析竖直方向的运动的竖直方向运动分析单元260。运动分析单元240是权利要求中所述的转变检测单元的一个示例。

水平方向运动分析单元250分析用于捕捉图像的摄像机(成像设备)的水平方向的运动。也就是说，水平方向运动分析单元250检测由摄像机的水平方向的运动引起的对象的转变，从而分析摄像机的水平方向的运动。水平方向运动分析单元250基于分析结果生成指示分析对象图像的水平方向的运动量的信息(水平方向运动特征量)。水平方向运动分析单元250将所生成的水平方向运动特征量提供给图像特征量缓冲器340的水平方向运动缓冲器255。将参照图4A至图4C说明生成水平方向运动特征量的示例。

竖直方向运动分析单元260分析用于捕捉图像的摄像机的竖直方向的运动。也就是说，竖直方向运动分析单元260检测由摄像机的竖直方向的运动引起的对象的转变，从而分析摄像机的竖直方向的运动。竖直方向运动分析单元260基于分析结果生成指示分析对象图像的竖直方向的运动量的信息(竖直方向运动特征量)。竖直方向运动分析单元260将所生成的竖直方向运动特征量提供给图像特征量缓冲器340的竖直方向运动缓冲器265。将参照图5A至图5C说明生成竖直方向运动特征量的示例。

组成分析单元270对分析对象图像的组成进行分析。例如，组成分析单元270分析分析对象图像的组成，并将分析对象图像分离为多个块。组成分析单元270计算每个块的亮度均值，并将每个块的亮度均值加权相加，从而计算关于图像的组成的信息(组成特征量)。当分析对象图像的组成接近在进行部分的图像的组成时，组成特征量为相似值，因此指示分析对象图像与在进行部分的图像的组成之间的相似度。组成分析单元270包括用于分析分析对象图像的亮和暗的亮暗分析单元280和用于分析分析对象图像的图像对称的对称分析单元290。组成分析单元270是权利要求中所述的组成相似度信息生成单元的一个示例。

亮暗分析单元280分析分析对象图像的亮和暗的组成。亮暗分析单元280使用分析对象图像的亮度生成关于分析对象图像的上部和下部之间的对比度的信息(亮暗特征量)。亮暗分析单元280比较分析对象图像的预定区域(上部)的亮度和另一区域(下部)的亮度，从而生成亮暗特征量。也就是说，亮暗分析单元280使用分析对象图像的预定区域的亮度与另一区域的亮度之间的差(对比度)作为组成特征量。亮暗分析单元280将所生成的亮暗特征量提供给图像特征量缓冲器340的亮暗缓冲器285。将参照图7A和图7B说明亮暗特征量。

对称分析单元290分析分析对象图像的图像对称的组成。对称分析单元290使用分析对象图像的亮度生成对称特征量，该对称特征量是关于分析对象图像的左右对称的信息。也就是说，对称分析单元290基于分析对象图像的特定方向(左和右)上的对称度生成对称特征量。也就是说，对称分析单元290使用分析对象图像的特定方向上的对称度生成对称特征量作为组成特征量。对称分析单元290将所生成的对称特征量提供给图像特征量缓冲器340的对称缓冲器295。将参照图8A和图8B说明对称特征量。

声音数据缓冲器310保持声音数据。声音数据缓冲器310在一个样本单元(一个帧周期的声音数据)中保持声音数据。声音数据缓冲器310例如通过先进先出(FIFO)型队列实现，该队列用于在一个样本被输入时输出所保持的样本中输入顺序最早的(时间上最远的)样本。声音数据缓冲器310将所保持的声音数据提供给幅度分析单元320和谱分析单元330。

幅度分析单元320分析声音数据的声音强度。幅度分析单元320基于一个样本的声音数据分析对应于该样本的图像的声音强度。幅度分析单元320例如在时间上分散一个样本的声音数据，并计算均方根以分析声音强度。幅度分析单元320基于该分析结果生成指示该声音数据(一个样本)的所分析的声音强度的信息(幅度特征量)。幅度分析单元320将所生成的幅度特征量提供给图像特征量缓冲器340的幅度缓冲器325。将参照图9说明生成幅度特征量的示例。

谱分析单元330分析声音数据的音色。谱分析单元330基于一个样本的声音数据分析对应于该样本的图像的音色。谱分析单元330例如使用一个样本的声音数据计算短时间离散谱以分析音色。谱分析单元330基于该分析结果生成指示声音数据(一个样本)的所分析的音色的信息(谱特征量)。谱分析单元330将所生成的谱特征量提供给图像特征量缓冲器340的谱缓冲器335。将参照图9说明生成谱特征量的示例。幅度分析单元320和谱分析单元330是权利要求中所述的声音相似度信息生成单元的示例。另外，当分析对象的声音数据具有与在进行部分的声音数据相同的特征时，幅度特征量和谱特征量变为相似值，因此指示两段声音数据之间的相似度。

图像特征量缓冲器340保持每个图像的基于图像数据和声音数据生成的特征量。图像特征量缓冲器340包括剪切改变缓冲器235、水平方向运动缓冲器255、竖直方向运动缓冲器265、亮暗缓冲器285、对称缓冲器295、幅度缓冲器325和谱缓冲器335。

剪切改变缓冲器235保持从剪切改变分析单元230提供的每个图像(每个帧)的剪切改变特征量。剪切改变缓冲器235将所保持的剪切改变特征量提供给部分特征量生成单元350。

水平方向运动缓冲器255相继地保持从水平方向运动分析单元250提供的每个图像(一个帧)的水平方向运动特征量。水平方向运动缓冲器255将所保持的水平方向运动特征量提供给部分特征量生成单元350。

竖直方向运动缓冲器265相继地保持从竖直方向运动分析单元260提供的每个图像的竖直方向运动特征量。竖直方向运动缓冲器265将所保持的竖直方向运动特征量提供给部分特征量生成单元350。

亮暗缓冲器285相继地保持从亮暗分析单元280提供的每个图像的亮暗特征量。亮暗缓冲器285将所保持的亮暗特征量提供给部分特征量生成单元350。

对称缓冲器295相继地保持从对称分析单元290提供的每个图像的对称特征。对称缓冲器295将所保持的对称特征量提供给部分特征量生成单元350。

幅度缓冲器325相继地保持从幅度分析单元320提供的一个样本的幅度特征量。幅度缓冲器325将所保持的幅度特征量提供给部分特征量生成单元350。

谱缓冲器335相继地保持从谱分析单元330提供的一个样本的谱特征量。谱缓冲器335将所保持的谱特征量提供给部分特征量生成单元350。

部分特征量生成单元350生成每个部分的特征量(部分特征量)。例如，部分特征量生成单元350从图像特征量缓冲器340获得夹在剪切改变点之间的部分的图像的每个特征量。部分特征量生成单元350使用所获取的每个图像的特征量生成指示分析对象的部分是在进行部分的程度的一个值(部分特征值)。部分特征量生成单元350将所生成的部分特征量提供给部分评估单元360。将参照图10和图11说明生成部分特征量的示例。

部分评估单元360基于部分特征量评估分析对象的部分是否为在进行部分。部分评估单元360预先保持预定阈值，并将部分特征量的值与该阈值进行比较以评估分析对象的部分。部分评估单元360将关于被评估为在进行部分的部分的信息(例如，部分的开始时间和结束时间)提供给属性信息生成单元370。部分特征量生成单元350和部分评估单元360是权利要求中所述的确定单元的示例。

属性信息生成单元370基于从部分评估单元360提供的关于在进行部分的信息生成在进行部分属性信息。例如，属性信息生成单元370生成在进行部分属性信息，包括在进行部分的编号、在进行部分的开始时间和在进行部分的结束时间。属性信息生成单元370将所生成的在进行部分属性信息通过信号线209提供给记录控制单元130。

剪切改变分析单元230的剪切改变分析示例

图3是示出本发明的第一实施例中所分析的运动图像内容和该运动图像的剪切改变点的示例的示意图。

在本发明的第一实施例中，考虑排球广播节目的在进行部分的检测。在本发明的第一实施例中，从发球通过连续对打到得分的场景(部分)被称为“在进行部分”，而其它场景被称为“非在进行”部分。排球的广播节目包括拍摄进行过程中的球场的图像，拍摄比赛的解说员的图像，比赛的解说的重放的图像，广告图像等。

在同一图中，示意性地示出作为分析对象的运动图像内容(运动图像内容400)以及时间轴上指示由运动图像内容的分析检测到的剪切改变点的位置(剪切改变点信息510)。

运动图像内容400是排球广播节目的运动图像内容。运动图像内容400包括作为在进行部分的两个部分(部分S1和S3)以及作为非在进行部分的一个部分(部分S3)。在运动图像内容400中，示出了图像(图像410)，其中拍摄进行比赛的球员作为显示部分S1的内容的图像(部分S1内的一个帧的图像(代表图像))。类似地，示出了拍摄比赛的解说员的图像(图像420)作为显示部分S2的内容的图像(部分S1内的一个帧的图像(代表图像))。

剪切改变信息510示意地示出由剪切改变分析单元230分析的剪切改变点在时间轴上的的位置。在剪切改变信息510中，横轴表示运动图像内容的时间，并且示出了由剪切改变分析单元230检测的三个剪切改变点(剪切改变点C1至C3)。

现在，将说明剪切改变分析单元230进行的剪切改变分析。剪切改变分析单元230将分析对象的图像(第n帧)与时间轴上的先前(第(n-1)帧)进行比较以分析分析对象的帧是否为剪切改变点。例如，剪切改变分析单元230生成分析对象的图像的直方图(针对每个帧提取的亮度信号Y、色差信号(蓝)Cb和色差信号(红)Cr的彩色直方图)以及先前图像的直方图。剪切改变分析单元230计算所生成的直方图之间的差。随后，剪切改变分析单元230基于所生成的直方图之间的差是否超过预定阈值来分析两个图像之间的点是否为剪切改变点。也就是说，如果直方图的差超过预定阈值，则剪切改变分析单元230分析检测到剪切改变点，并将所分析的图像的剪切改变特征量(C[n])的值设置为“1”。相反地，如果直方图之间的差未超过预定阈值，则分析未检测到剪切改变点，并且将所分析的图像的剪切改变特征量(C[n])的值设置为“0”。

关于运动图像内容400中具有剪切改变点C1到C3的图像，生成具有值“1”的剪切改变特征量。相反地，关于其它图像，生成具有值“0”的剪切改变特征量。

这样，通过剪切改变分析单元230分析剪切改变点，并且在剪切改变缓冲器235中保持指示分析结果的剪切改变特征量。

水平方向运动分析单元250的水平方向运动分析示例

图4A至图4C是示出在根据本发明的第一实施例的水平方向运动分析单元250中分析的用于捕捉运动图像内容的摄像机的水平方向运动的示例的示意图。

在图4A中，示出了示意性地显示非在进行部分的摄像机运动的两个图像(图像411和图像412)。在图像412中，示出了摄像机从拍摄图像411的时间到拍摄图像412的时间的水平方向的运动量(水平方向运动量M1)。

现在，将说明在进行部分的摄像机水平方向运动。一般地，在排球的转播中，由于球通过球网来来去去，摄像机进行操作以跟随球到球网的两侧(在图421中，在水平方向)以捕捉球员。也就是说，在在进行部分中，如果比赛继续，则摄像机连续地左右运动(在水平方向)。关于摄像机的水平方向的运动，左右运动的量成为被球场宽度等限制的预定量。

在图4B中，示出了示意性地显示非在进行部分的摄像机水平方向运动的两个图像(图像421和图像422)。在图像421和图像422中，示出进攻场景的转播图像作为非在进行部分的示例。在图像422中，示出了摄像机从捕捉图像421的时间到捕捉图像422的时间的水平方向的运动量(水平方向运动量M2)。

现在，将说明非在进行部分的摄像机水平方向运动。在非在进行部分中，例如，存在许多场景，其中以高放大率追踪人或球，诸如拍摄评论员的场景(例如图3中的图像420)或进攻场景的转播图像(图像421)。在这种场景中，如水平方向运动量M2所表示的，很少发生水平方向的运动。虽然可能存在在水平方向上追踪球的场景(例如当球落到球场的时刻的转播图像)，但不像在在进行部分中那样重复左右运动。

在图4C中，示出了运动图像内容的摄像机水平方向运动的特性(水平方向运动特性520)。在水平方向运动特性520中，水平方向表示运动图像内容的时间，竖直方向表示向右方向(正方向)和左方向(负方向)的运动的大小，并且示出了由水平方向运动分析单元250分析的水平方向的运动量。

如水平方向运动特性520所表示的，在进行部分(部分S1和S3)的水平方向的运动主要在左右方向，并且重复预定量的左右运动。另外，非在进行部分(部分S2)的水平方向运动不频繁并且较小。非在进行部分的水平方向运动没有规律。

现在，将说明水平方向运动分析单元250的水平方向运动的分析。水平方向运动分析单元250将分析对象的图像(第n帧)与时间轴上的先前图像(第(n-1)帧)进行比较以分析分析对象的图像的水平方向的运动。例如，水平方向运动分析单元250将分析对象图像与邻近图像重叠，同时偏移像素并将具有最高相关的图像的偏移量设置为分析对象图像的水平方向运动特征量(G_H[n])。也就是说，当摄像机的运动增大时，分析对象图像的水平方向运动特征量(G_H[n])增大。

这样，由水平方向运动分析单元250分析摄像机的水平方向的运动，并且在水平方向运动缓冲器255中保持指示分析结果的水平方向运动特征量。

竖直方向运动分析单元260的竖直方向运动分析示例

图5A至图5C是示出在根据本发明的第一实施例的竖直方向运动分析单元260中分析的用于捕捉运动图像内容的摄像机的竖直方向运动的示例的示意图。

与图4A类似，在图5A中，示出了非在进行部分的两个图像(图像411和图像412)。在图5A的图像412中，示出了摄像机从拍摄图像411的时间到拍摄图像412的时间的竖直方向的运动量(竖直方向运动量M11)。

现在，将说明在进行部分的摄像机竖直方向运动。如参照图4A所描述的，在在进行部分中，摄像机连续地左右运动。然而，在在进行部分中，摄像机基本不上下(竖直方向)运动，以便以低放大率捕捉较宽范围，从而知道球落到的位置。

与图4B类似，在图5B中，示出了非在进行部分的两个图像(图像421和图像422)。在图5B的图像422中，示出了摄像机从拍摄图像421的时间到拍摄图像422的时间的竖直方向的运动量(竖直方向运动量M12)。

现在，将说明非在进行部分的摄像机竖直方向运动。如参照图4B说明的，在非在进行部分中，存在许多场景，其中以高放大率追踪球，诸如进攻场景的转播图像。为此，例如如竖直方向运动量M12所表示的，可能发生较大的竖直方向运动。

在图5C中，示出了运动图像内容的摄像机竖直方向运动的特性(竖直方向运动特性530)。在竖直方向运动特性530中，水平方向表示运动图像内容的时间，竖直方向表示向上方向(正方向)和向下方向(负方向)的运动的大小，并且示出了由竖直方向运动分析单元260分析的竖直方向的运动量。

如竖直方向运动特性530所表示的，在进行部分(部分S1和S3)的竖直方向的运动较频繁且较小。非在进行部分(部分S2)的竖直方向运动有时可以较大，但该运动没有规律。

现在，由竖直方向运动分析单元260分析竖直方向的运动的方法与图4A至图4C中所示的由水平方向运动分析单元250分析水平方向的运动的方法相同，因此将省略其说明。也就是说，当摄像机的运动增大时，分析对象图像的竖直方向运动特征量(G_v[n])增大。

这样，由竖直方向运动分析单元260分析摄像机的竖直方向的运动，并且在竖直方向运动缓冲器265中保持指示分析结果的竖直方向运动特征量。

组成分析单元270的图像分离的示例

图6是示出根据本发明的第一实施例的组成分析单元270的图像分离的示例的示意图。

在同一图中，示出了分离对象的图像(图像430)以及当分离对象的图像被分离为16部分时的16块(块431)。块431中的编号(编号0到编号15)指示块编号。

这样，组成分析单元270将图像分离为多个块并随后进行组成分析。亮暗分析单元280的图像亮暗分析的示例

图7A和图7B是示出根据本发明的第一实施例的亮暗分析单元280的图像亮暗分析的示例的示意图。

在图7A中，示出了指示在进行部分中的图像的组成的图像(图像415)。在图像415中，线(线L1)指示图像中捕捉到的观众看台与球场之间的边界，区域(区域R1)指示捕捉到的观众看台的范围，而区域(区域R2)指示捕捉到的球场的范围。

现在，将说明在进行部分的图像的亮和暗的组成。如图像415中所示，在排球广播节目的进行的图像中，球场被捕捉在图像的下部，观众看台也被捕捉在图像的上部。球场的亮度较亮，从而排球的球员容易地进行比赛。相反，由于不需要使观众看台的亮度与球场的亮度一样亮，因此观众看台的亮度比球场的亮度暗。也就是说，在在进行部分的图像的亮和暗组成中，图像的上部由于低亮度而成为暗图像，而图像的下部由于高亮度而成为亮图像。

在图7B中，示出了构成运动图像内容的图像的亮暗特性(亮暗特性540)。在亮暗特性540中，横轴表示运动图像内容的时间，纵轴表示对比度(对比度随其增大而增大)，并且示出了每个图像的对比度。

如亮暗特性540所表示的，在进行部分(部分S1和S3)的对比度一致地较大，因为该部分的竖直方向的运动较小。相反地，非在进行部分(部分S2)的对比度较小，因为该部分中存在许多具有非常小的对比度的图像，诸如重放图像。

现在，将说明亮暗分析单元280的亮和暗的组成的分析。首先，亮暗分析单元280将分析对象图像(第n帧)分离成多个(K)块，如图6所示。亮暗分析单元280计算每个块的亮度的均值Y_k。随后，亮暗分析单元280例如使用以下等式1来计算亮暗特征量P_v[n]：

$P\left[n\right]={\mathrm{\Σ}}_{k=0}^{K-1}{W}_k{Y}_k---\left(1\right)$

其中，W表示预定权重。K表示由图像分离成的块的数量。k表示所分离的块的块编号。例如，使用图6中所示的块编号(编号0至编号15)。

如果块的数量K为“16”，亮暗分析单元280使用以下等式2中所示的权重W计算亮暗特征量P_v[n]。

$W=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 1& 1\\ -1& -1& -1& -1\\ -1& -1& -1& -1\end{array}\right)---\left(2\right)$

如果使用等式2和等式1中所示的权重W计算亮暗特征量P_v[n]，则在图像的上部和下部之间的对比度较大的情况下，亮暗特征量P_v[n]为较大的负值。相反地，如果图像的上部和下部之间的对比度较小，则亮暗特征量P_v[n]为接近“0”的值。

这样，通过亮暗分析单元280根据亮度分析图像的亮和暗的组成，并且在亮暗缓冲器285中保持指示分析结果的亮暗特征量。

对称分析单元290的对称分析的示例

图8A和图8B是示出根据本发明的第一实施例的对称分析单元290的图像对称分析的示例的示意图。

与图7A类似，在图8A中，示出了指示在进行部分中的图像的组成的图像(图像415)。在图8A的图像415中，线(线L11)在水平方向上将图像二等分，区域(区域R11)指示二等分的图像的左半部范围，而区域(区域R12)指示右半部范围。

现在，将说明在进行部分的图像对称的组成。如图415中所示，在排球广播节目的进行的图像中，由于经常拍摄整个球场，因此图像的左右对称性较高。

在图8B中，示出了运动图像内容的图像的对称特性(对称特性550)。在对称特性550中，横轴表示运动图像内容的时间，纵轴表示左右对称(左右对称随其增大而增大)，并且示出了每个图像的对称。

如对称特性550所表示的，因为经常拍摄整个球场，在进行部分(部分S1和S3)的对称通常高于非在进行部分(部分S2)的对称。

现在，将说明对称分析单元290的对称分析。与亮暗分析单元280的亮暗特征量的计算类似，对称分析单元290使用上述等式1计算对称特征量P_H[n]。然而，对称分析单元290中使用的权重W不同于亮暗分析单元280中使用的权重W(等式2)。对称分析单元290例如使用以下等式3中所示的权重W计算对称特征量P_H[n]。

$W=\left(\begin{array}{cccc}-1& -1& 1& 1\\ -1& -1& 1& 1\\ -1& -1& 1& 1\\ -1& -1& 1& 1\end{array}\right)---\left(3\right)$

如果使用等式3和等式1中所示的权重W计算对称特征量P_H[n]，则在图像的左右对称较大的情况下，对称特征量P_H[n]为接近“0”的值。

这样，由对称分析单元290分析图像的左右对称的组成，并且在对称缓冲器295中保持指示分析结果的对称特征量。

虽然使用图7A至图8B的亮度的均值计算亮暗特征量和对称特征量，但本发明不限于此。例如，可以从图像中提取颜色信息(例如RGB(G(绿)、R(红)和B(蓝)))，并且可以使用该颜色信息计算亮暗特征量和对称特征量。

在进行部分中的欢呼的改变的示例

图9是示出由根据本发明的第一实施例的幅度分析单元320和谱分析单元330分析的排球广播的在进行部分中的欢呼的改变的示例的示意图。

在同一图中，横轴表示运动图像内容的时间，纵轴表示欢呼幅度，并且示出了指示在进行部分(部分S11)的欢呼幅度的改变的欢呼特性560。

在欢呼特性560中，欢呼幅度在在进行部分(部分S11)开始之前最小。另外，在在进行部分的开始时刻(例如，发球时刻)，欢呼幅度与到目前为止的非在进行部分相比略微增大。在发球之后的连续对打过程中，欢呼幅度与非在进行部分相比增大。另外，在在进行部分(部分S11)的结束时刻(例如得分的时刻)，欢呼进一步增大。欢呼在得分时持续一段时间，随后欢呼减小。

基于这种声音数据，幅度分析单元320和谱分析单元330计算音质(欢呼幅度和音色)的特征量。

现在，将说明幅度分析单元320的幅度特征量计算。幅度分析单元320从声音数据缓冲器310获取一个样本(对应于一个帧周期的时间(时间T))的声音数据。该时间T指示图像间隔(帧间隔)，并且如果每秒的帧为F则时间T为1/F秒。幅度分析单元320使用所获取的声音数据计算幅度特征量A[n]。幅度分析单元320使用以下等式4计算幅度特征量A[n]：

$A\left[n\right]=\sqrt{\frac{1}{M}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}{x}_m^2}---\left(4\right)$

其中M表示时间T中分散的时间的总量。另外，m表示指示分散的时间的样本编号。也就是说，样本编号m为“0到M-1”的值的编号。x_m表示对应于样本编号m的时间的声音数据。

如上述等式4中所示，在幅度分析单元320中，使用对应于分析对象图像的声音数据计算均方根，并且将计算的结果作为幅度特征量提供给幅度缓冲器325。

接下来，将说明谱分析单元330的谱特征量的计算。与幅度分析单元320类似地，谱分析单元330从声音数据缓冲器310获取一个样本的声音数据。谱分析单元330使用所获取的声音数据计算谱特征量F[k；n]。谱分析单元330使用以下等式5计算谱特征量F[k；n]：

$F[k;n]=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}{x}_m{e}^{-j\frac{2\mathrm{\πmk}}{M}}---\left(5\right)$

其中k表示指示分散的频率的谱编号。也就是说，如果分散的频率的总数为K，则谱编号k为值“0至K-1”的编号。

如上述等式5中所示，在谱分析单元330中，使用对应于分析对象图像的声音数据计算短时间分散谱，并且将计算的结果作为谱特征量提供给谱缓冲器335。

幅度分析单元320的幅度特征量的计算不限于此。例如，可以对声音数据进行快速傅里叶变换(FFT)，并且可以将每个频率分量的平方得到的值的总和的平方根设置为幅度特征量。可替选地，在计算幅度特征量之前，可以使用带通滤波器从声音数据信号中去除不需要的频率分量，从而生成需要的频带的声音数据以检测欢呼幅度等，并且可以根据所生成的声音数据计算均方根。

谱分析单元330的谱特征量的计算不限于此，并且例如可以使用FFT或线性预测编码(LPC)进行。

如图3至图9所示，在信息处理单元200中，以剪切改变点、摄像机的运动、图像的组成以及欢呼的方面对分析对象图像进行分析，并且针对每个图像保持分析结果。也就是说，在信息处理单元200中，生成以下等式6中所示的信息作为分析对象图像(第n帧)的特征量(图像特征量Q[n])。

Q[n]＝{C[n]，C_V[n]，G_H[n]，P_V[n]，P_H[n]，A[n]，F[k；n]}    (6)

这样，计算每个图像(帧)的特征量，如果至少一个剪切部分(夹在剪切改变点之间的部分)的图像的特征量被保持在每个缓冲器中，则部分特征量生成单元350生成该剪切部分的特征量(部分特征量)。由部分特征量生成单元基于每个剪切部分的图像数据生成特征量的示例

图10A至图10E是示出由根据本发明的第一实施例的部分特征量生成单元350基于每个剪切部分的图像数据的特征量生成的示例的示意图。

在同一图中，例如，将描述图3中所示的运动图像内容400的部分S1和部分S2的特征的计算。

在图10A中，示出显示剪切改变点的示意图(剪切改变特征量)以识别部分S1和部分S2。在图10A中，示出了用于识别部分S1的两个剪切改变点(剪切改变点C1和C2)和用于识别部分S2的两个剪切改变点(剪切改变点C2和C3)。

现在，将说明在部分特征量生成单元350生成部分特征量的情况下从图像特征量缓冲器340获取每个图像的特征量的方法。如果一个剪切部分的图像的特征量被分析，则部分特征量生成单元350从图像特征量缓冲器340的每个缓冲器获取一个剪切部分的每个图像的特征量。也就是说，当在剪切改变缓冲器235中保持具有值“1”的新的剪切改变特征量的情况下，部分特征量生成单元350从图像特征量缓冲器340的每个缓冲器获取以剪切改变点为端点的一个剪切部分的图像的特征量。

图10B示出了示意性地示出部分S1和部分S2中摄像机在水平方向上的运动的变化的图(水平方向运动特征量(部分))。在该图中，纵轴表示该部分的摄像机左右运动的变化水平，并且示出了根据部分S1的每个图像的水平方向运动特征量计算的部分S1的特征量(水平方向运动特征量(部分S1)B1)。在该图中，作为水平方向运动特征量(部分S1)B1的比较对象，示出了根据部分S2的每个图像的水平方向运动特征量计算的部分S2的水平方向运动特征量(水平方向运动特征量(部分S2)B2)。

现在，将说明部分特征量生成单元350计算每个部分的水平方向运动特征量的示例。首先，部分特征量生成单元350使用以下等式7根据计算对象的部分的每个图像的水平方向运动特征量计算计算对象的部分的摄像机水平方向运动的均值“/G_H[N_cut]”。这里，“/”用作指示G_H[N_cut]的均值的符号(在等式7中为上横杠)。

${\stackrel{\‾}{G}}_H\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{G}_H\left[n\right]---\left(7\right)$

其中，N_cut表示用于计算每个部分的特征量的对象的剪切部分，而n₀表示指示剪切部分的开始点的图像的图像编号。n₁表示指示剪切部分的结束点的图像的图像编号。

接下来，部分特征量生成单元350使用由上述等式7计算的均值计算计算对象的部分的摄像机水平方向运动的变化G² _H[N_cut]。变化G² _H[N_cut]的计算例如是使用以下等式8计算的。

$G_H^2\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{\left({\stackrel{\‾}{G}}_H\right[N_{\mathrm{CUT}}]-G_H[n\left]\right)}^2---\left(8\right)$

这样，部分特征量生成单元350计算变化G² _H[N_cut]作为该部分的水平方向运动特征量以量化该剪切部分的摄像机水平方向运动。另外，变化G² _H[N_cut]在摄像机左右运动较大的在进行部分中为较大值，而在摄像机左右运动较小的非在进行部分中为较小值。

图10C示出了示意性地示出部分S1和部分S2中摄像机在竖直方向上的运动的变化的图(竖直方向运动特征量(部分))。在该图中，纵轴表示该部分的摄像机上下运动的变化水平，并且示出了根据部分S1的每个图像的竖直方向运动特征量计算的部分S1的特征量(竖直方向运动特征量(部分S1)B3)。在该图中，作为竖直方向运动特征量(部分S1)B3的比较对象，示出了根据部分S2的每个图像的竖直方向运动特征量计算的部分S2的竖直方向运动特征量(竖直方向运动特征量(部分S2)B4)。

现在，将说明部分特征量生成单元350计算每个部分的竖直方向运动特征量的示例。与图10B所示的每个部分的竖直方向运动特征量的计算类似，首先，部分特征量生成单元350计算计算对象的部分中摄像机竖直方向运动的变化G² _v[N_cut]。也就是说，部分特征量生成单元350使用以下等式9计算计算对象的部分中摄像机竖直方向运动的均值“/G_V[N_cut]”。部分特征量生成单元350使用以下等式10计算计算对象的部分中摄像机竖直方向运动的变化G² _v[N_cut]。

${\stackrel{\‾}{G}}_V\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{G}_V\left[n\right]---\left(9\right)$

$G_V^2\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{\left({\stackrel{\‾}{G}}_V\right[N_{\mathrm{CUT}}]-G_V[n\left]\right)}^2---\left(10\right)$

这样，部分特征量生成单元350计算变化G² _V[N_cut]作为该部分的竖直方向运动特征量，以量化该剪切部分的摄像机竖直方向运动。另外，变化G² _V[N_cut]在摄像机上下运动较小的在进行部分中为较小值，而在摄像机上下运动与在进行部分相比相对较大的非在进行部分中为较大值。

图10D中示出了性地示出部分S1和部分S2中的图像的亮暗特征量的均值的图(亮暗特征量(部分))。在该图中，纵轴表示该部分的图像的亮和暗的均值，并且示出了根据部分S1的每个图像的亮暗特征量计算的部分S1的特征量(亮暗特征量(部分S1)B5)。在该图中，作为亮暗特征量(部分S1)B5的比较对象，示出了根据部分S2的每个图像的亮暗特征量计算的部分S2的特征量(亮暗特征量(部分S2)B6)。另外，在图10D中，为了便于说明，由图示出通过部分特征量生成单元350计算的每个部分的亮暗特征量的绝对值。

现在，将说明部分特征量生成单元350计算每个部分的亮暗特征量的示例。部分特征量生成单元350使用以下等式11根据计算对象的部分的每个图像的亮暗特征量计算计算对象的部分的亮和暗的均值“/P_V[N_cut]”。

${\stackrel{\‾}{P}}_V\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{P}_V\left[n\right]---\left(11\right)$

这样，部分特征量生成单元350计算均值″/P_V[N_cut]″作为该部分的亮暗特征量，以量化该剪切部分的图像的亮和暗的组成。另外，均值“/P_V[N_cut]”在图像的上部与下部之间的对比度较大的在进行部分中为负值(在图10D中，由于其为绝对值，因此其增大)，而在图像的上部与下部之间的对比度较小的非在进行部分中为接近于“0”的值。

图10E中示出了示意性地示出部分S1和部分S2中的图像的对称特征量的均值的图(对称特征量(部分))。在该图中，纵轴表示该部分的图像的对称的均值，并且示出了根据部分S1的每个图像的对称特征量计算的部分S1的特征量(对称特征量(部分S1)B7)。在该图中，作为对称特征量(部分S1)B7的比较对象，示出了根据部分S2的每个图像的对称特征量计算的部分S2的特征量(对称特征量(部分S2)B8)。另外，在图10E中，为了便于说明，由图示出通过部分特征量生成单元350计算的每个部分的对称特征量的倒数。

现在，将说明部分特征量生成单元350计算每个部分的对称特征量的示例。部分特征量生成单元350使用以下等式12根据计算对象的部分的每个图像的对称特征量计算计算对象的部分的对称的均值“/P_H[N_cut]”。

${\stackrel{\‾}{P}}_H\left[N_{\mathrm{cut}}\right]=\frac{1}{n_1-n_0}\underset{n=n_0}{\overset{n_1}{\mathrm{\Σ}}}{P}_H\left[n\right]---\left(12\right)$

部分特征量生成单元350计算均值“/P_H[N_cut]”作为该部分的对称特征量，以量化该剪切部分的图像的对称的组成。另外，均值“/P_H[N_cut]”在图像的左右之间对称较高的在进行部分中为接近于“0”的值(其在图10E中增大，因为其为倒数)，而在对称较低的非在进行部分中为较大的值。由部分特征量生成单元基于每个剪切部分的声音数据生成特征量的示例

图11是示出由根据本发明的第一实施例的部分特征量生成单元350基于每个剪切部分的声音数据的特征量生成的示例的示意图。

在同一图中，将描述图3中所示的运动图像内容400的部分S1和部分S2的特征的计算。

首先，部分特征量生成单元350使用幅度特征量A[n]和谱特征量F[k；n]计算欢呼的强度S[n]。例如，使用包括欢呼中的特性谱和欢呼的强度S[n]的谱特征量来计算分析对象的图像n的欢呼的强度S[t]。这里，t表示指示对应于图像n的欢呼的强度的编号。

部分特征量生成单元350使用以下等式13计算分析对象的剪切部分的欢呼的改变量S[N_cut]：

$S\left[N_{\mathrm{cut}}\right]=\frac{1}{T_1}\underset{t=t_1}{\overset{t_1+T_1}{\mathrm{\Σ}}}S\left[t\right]-\frac{1}{T_0}\underset{t=t_0}{\overset{t_0+T_0}{\mathrm{\Σ}}}S\left[t\right]---\left(13\right)$

其中，T₁表示分析对象的剪切部分中的端点附近的帧的预定数量(端点附近的分析帧的数量)。另外，t₁表示由端点附近的分析帧的数量所指示的各帧中的时间轴的第一帧(端点附近的分析帧中的第一帧)。另外，T₀表示分析对象的剪切部分中开始点附近的帧的预定数量(开始点附近的分析帧的数量)。另外，t₀表示由开始点附近的分析帧的数量所指示的各帧中的时间轴的第一帧(开始点附近的分析帧中的第一帧)。另外，在图11中由相同符号表示等式13中所示的每个变量。

也就是说，通过使用上述等式13，可以计算分析对象的剪切部分的结束点(剪切改变点C12)附近的欢呼强度的平均值以及剪切部分的结束点(剪切改变点C13)附近的欢呼强度的平均值的差。这样，部分特征量生成单元350计算欢呼的改变量S[N_cut]作为该部分的欢呼的特征量，以量化该剪切部分的欢呼。欢呼的改变量S[N_cut]在以发球开始并以得分结束的部分(在进行部分)中为较大值，而在以得分开始，给出解说重播图像，并以下一球的发球结束的非在进行部分中为较小值。

如参照图11和图10A至图10E所说明的，部分特征量生成单元350根据每个图像的特征量计算每个部分的特征量。部分特征量生成单元350使用每个经计算的部分的特征量来计算量化地示出该部分的一个值(部分特征量)，以便容易地分析该部分。

现在，将说明部分特征量生成单元350的部分特征量的计算。部分特征量生成单元350使用以下等式14计算部分特征量R[N_cut]：

$R\left[N_{\mathrm{cut}}\right]={\mathrm{\Σ}}_{l=0}^L{W}_l{H}_l\left(Q_l\right)---\left(14\right)$

其中，L表示特征量的总数，而l表示指示每个特征量的编号。特征量的数量L为“5”，水平方向运动的变化G² _H[N_cut]、竖直方向运动的变化G² _V[N_cut]、亮和暗的均值“/P_V[N_cut]”、对称的均值“/P_H[N_cut]”以及欢呼的改变量S[N_cut]。W_l表示每个特征量的预定权重。H_l表示每个特征量的预定非线性参数。Q_l表示由编号l指示的特征量。权重W_l和非线性参数H_l是关于运动项目决定的值。

也就是说，部分特征量生成单元350使用上述等式14，通过阈值函数等关于每个特征进行非线性参数转换，此外进行加权相加，并将所计算的值求和，由此使每个剪切部分的进行成为得分。

部分评估单元360使用由部分特征量生成单元350计算的部分特征量R[N_cut]执行部分的评估。现在，将说明部分评估单元360的部分评估。

部分评估单元360使用以下等式15评估分析对象的部分是否为在进行部分：

R[N_cut]≥Thsd    (15)

其中，Thsd表示阈值。

这样，使用上述等式15，如果部分特征量R[N_cut]等于或大于该阈值，则部分评估单元360将分析对象的部分设置为在进行部分。

属性信息生成单元370根据关于被分析为在进行部分的部分的信息生成在进行部分属性信息。例如，属性信息生成单元370生成包括在进行部分的编号、运动图像内容的开始时间和结束时间的在进行部分属性信息，以生成用于识别运动图像内容的在进行部分的属性信息。

这样，由部分特征量生成单元350生成部分特征量，并且所生成的部分特征量被部分评估单元360评估(与阈值比较)，由此识别该剪切部分是否为在进行部分。也就是说，信息处理单元200将剪切部分分类为在进行部分和非在进行部分。

虽然这里使用剪切部分的全部图像中的每个图像的特征量计算部分特征量，但本发明不限于此。例如，不管剪切部分的各种长度，由于对于可以保持在图像特征量缓冲器340中的特征量的数量存在上限，根据剪切部分的长度可以不保持全部图像中的每个图像的特征量。因此，可以针对预定间隔的每个图像计算每个特征量。如果特征量的数量超过上限，虽然未发生剪切改变，也可能生成假设发生剪切改变的部分特征量。

显示单元的显示示例

随后，将参照图12A和图12B以及图13说明使用由信息处理单元200生成的在进行部分属性信息的示例。

图12A和图12B是示出由根据本发明的第一实施例的输出控制单元150再现的运动图像内容的显示示例的图。在同一图中，示出了使用与运动图像内容相关的在进行部分属性信息提取和再现运动图像内容的在进行部分示例。

在图12A中，示出了在选择和再现在进行部分的情况下在显示单元160上示意性地显示的图像(图像490)。

基于从运动图像内容存储单元141提供的运动图像内容以及从属性信息存储单元142提供的在进行部分属性信息生成图像490。图像490是当执行仅再现运动图像内容的在进行部分的再现指令操作时显示在显示单元160上的图像的示例。也就是说，如果执行再现指令操作，则输出控制单元150从运动图像内容存储单元141获取与再现指令操作相关的运动图像内容，并从属性信息存储单元142获取与运动图像内容相关的在进行部分属性信息。

输出控制单元150基于所获取的在进行部分属性信息从所获取的运动图像内容提取在进行部分。输出控制单元150基于所获取的在进行部分属性信息创建显示窗口(图像区域590)，用于连续再现在进行部分。在图12B中示出了图像区域590的细节。

在图12B中，放大并示出了图12A的图像区域590。在图像区域590中，示出了位置条(条O1至O8)，其视觉地示出运动图像内容的在进行部分的数量和位置，并示出了当前位置(当前位置591)，其示出当前再现位置(所显示的图像的运动图像内容的位置)。在图像区域590中，示出了菜单图标(菜单图标593)，其用于选择在进行部分，并示出了区域(数字显示区域594)，其指示当前再现的在进行部分的编号以及在进行部分的总数。另外，在图像区域590中，示出了区域(时间显示区域595)，其示出当前再现的图像的时间。

通过查看图像区域590，用户可以容易地选择要观看的在进行部分。通过参考输出控制单元150中的在进行部分属性信息，例如，可以自动执行仅对在进行部分的连续再现(即，仅正在播放的图像的概要运动图像的再现)。

这样，通过使用在进行部分属性信息，可以进行仅对运动图像内容的在进行部分的再现。

图13是示出使用根据本发明的第一实施例的在进行部分属性信息来选择运动图像内容的图像的示例的示意图。

在图一图中，示意性地示出了运动图像内容部分画面的示例(运动图像内容选择图像480)，其用于从多个运动图像内容中选择希望的运动图像内容。

与图12A和图12B的图像490类似地，基于从运动图像内容存储单元141提供的运动图像内容以及从属性信息存储单元142提供的在进行部分属性信息，生成运动图像内容选择图像480。也就是说，如果执行内容列表显示指令操作，则输出控制单元150从运动图像内容存储单元141获取全部运动图像内容，并从属性信息存储单元142获取与运动图像内容相关的在进行部分属性信息。

输出控制单元150基于所获取的在进行部分属性信息生成运动图像内容的在进行部分信息(再现图像481至483的下部)485至487。输出控制单元150显示所获取的运动图像内容的再现图像(例如，先导帧)481至483以及彼此相关地生成的在进行部分信息485至487。

在显示运动图像内容选择图像480的情况下，用户基于与再现图像481至483相关地显示的在进行部分选择信息485至487选择要观看的一个运动图像内容。

这样，通过与运动图像内容列表一起显示在进行部分信息，用户可以容易地识别比赛内容的概要。因此，当选择要观看的运动图像内容时，可以容易地选择用户喜爱的运动图像内容。

信息处理设备的操作示例

接下来，将参照附图说明根据本发明的第一实施例的信息处理设备100的操作。

图14是图解根据本发明的第一实施例的信息处理设备100的属性信息生成过程的示例的流程图。在图14中，示出了从运动图像内容被输入到信息处理设备100的时间到生成并显示包括关于在进行部分的信息的显示图像的时间的过程。

首先，将运动图像内容输入到输入单元110(步骤S901)。随后，由信息处理单元200的图像数据缓冲器220以帧为单位相继获取构成运动图像内容的图像数据，并由信息处理单元200进行图像数据处理(步骤S910)。将参照图15说明图像数据处理(步骤S910)。

由信息处理单元200的声音数据缓冲器310在对应于帧的每个时间相继获取构成运动图像内容的声音数据，并由信息处理单元200进行声音数据处理(步骤S920)。另外，将参照图16说明声音数据处理(步骤S920)。

接下来，基于图像数据处理和声音数据处理的处理结果，由部分特征量生成单元350进行关于是否检测到剪切改变点的确定(步骤S902)。如果确定未检测到剪切改变点(步骤S902)，则过程转向步骤S910。

相反地，如果确定检测到剪切改变点(步骤S902)，则由部分特征量生成单元350和部分评估单元360进行分析夹在剪切改变点之间的部分的部分分析过程(步骤S930)。将参照图17说明部分分析过程(步骤S930)。

随后，由部分特征量生成单元350进行关于是否完成了对运动图像内容的全部部分的分析的确定(步骤S903)。如果确定未完成对运动图像内容的全部部分的分析(步骤S903)，则过程转向步骤S910。

相反，如果确定已完成对运动图像内容的全部部分的分析(步骤S903)，则由属性信息生成单元370生成在进行部分属性信息(属性信息)(步骤S904)。当再现运动图像内容时，基于在进行部分属性信息，由输出控制单元150在显示单元160上显示关于在进行部分的信息(步骤S905)，并且属性信息生成过程结束。

图15是图解根据本发明的第一实施例的图像数据处理(步骤S910)的示例的流程图。

首先，将运动图像内容的图像数据的一个图像(帧)输入到图像数据缓冲器220(步骤S911)。随后，通过使用从图像数据缓冲器220输出的图像，由剪切改变分析单元230分析图像的剪切改变点的存在/不存在(步骤S912)。另外，步骤S912是权利要求中所述的改变点检测步骤的一个示例。

通过使用输出图像，由水平方向运动分析单元250分析用于捕捉图像的摄像机的水平方向运动(步骤S913)。通过使用输出图像，由竖直方向运动分析单元260分析用于捕捉图像的摄像机的竖直方向运动(步骤S914)。另外，通过使用输出图像，由亮暗分析单元280分析图像的亮和暗的组成(步骤S915)。通过使用输出图像，由对称分析单元290分析图像的对称的组成(步骤S916)。另外，步骤S913和步骤S914是权利要求中所述的转变检测步骤的一个示例。S915和步S916是权利要求中所述的组成相似度信息生成步骤的一个示例。

由图像特征量缓冲器340保持分析结果(每个特征量)(步骤S917)。

图16是图解根据本发明的第一实施例的声音数据处理(步骤S920)的示例的流程图。

首先，将运动图像内容的声音数据的一个样本(一个帧周期的声音数据)输入到声音数据缓冲器310(步骤S921)。随后，通过使用从声音数据缓冲器310输出的一个样本的声音数据，由幅度分析单元320分析声音数据的幅度的特征量(步骤S922)。通过使用一个样本的声音数据，由谱分析单元330分析声音数据的谱的特征量(步骤S923)。S922和步S923是权利要求中所述的声音相似度信息生成过程的一个示例。

由图像特征量缓冲器340保持分析结果(每个特征量)(步骤S924)。

图17是图解根据本发明的第一实施例的部分分析过程(步骤S930)的示例的流程图。

首先，由部分特征量生成单元350从图像特征量缓冲器340获取剪切部分的图像的每个特征量(步骤S931)，该剪切部分具有被确定为在步骤S902(见图14)中要被检测为结束点的剪切改变点。随后，通过使用所获取的特征量，由部分特征量生成单元350生成部分特征量(步骤S932)。通过将生成的部分特征量与预定阈值进行比较，由部分评估单元360评估剪切部分是否为在进行部分(步骤S933)。步骤S932和步骤S933是权利要求中所述的确定步骤的一个示例。

这样，根据本发明的第一实施例，可以适当地检测排球广播的在进行部分。

现在，将说明由信息处理单元200识别的排球的趋势。信息处理单元200分析以下点(1)至(6)作为排球广播的在进行部分的主要特征。

(1)在排球广播中，连续对打以发球开始并且以得分结束。在连续对打过程中，几乎不发生被检测为剪切改变的图像改变。

(2)在排球广播中，在连续对打场景中，摄像机追踪球并在水平方向上运动。该运动量对左和右也是恒定的，因为存在场地宽度的限制。

(3)在排球广播中，在连续对打场景中，摄像机追踪球并在水平方向上运动，并且摄像机基本上不在竖直方向上运动。

(4)在排球广播中，在连续对打场景中，球场被拍摄在图像的下部，而观众看台被拍摄在图像的上部。如果比较图像的上部的亮度与图像的下部的亮度，图像的下部比图像的上部亮。

(5)在排球广播中，在连续对打场景中，整个球场被捕捉并且在场景的组成中左右对称较高。

(6)在排球广播中，当连续对打以得分结束时的欢呼大于连续对打以发球开始时的欢呼。

如图3所述由剪切改变分析单元230分析上述特征(1)。如图4A至图4C所述由水平方向运动分析单元250分析特征(2)，并且如图5A至图5C所述由竖直方向运动分析单元260分析特征(3)。如图7A和图7B所述由亮暗分析单元280分析特征(4)，并且如图8A和图8B所述由对称分析单元290分析特征(5)。如图9和图11所述由幅度分析单元320和谱分析单元330分析特征(6)。也就是说，信息处理单元200分析上述特征(1)至(6)，从而检测排球广播的在进行部分。

虽然到目前为止例如描述了排球广播作为信息处理设备100处理的运动图像内容，但本发明不限于此。信息处理设备100可用于其它运动项目(例如，网球或乒乓球)，其中比赛以发球开始，并且连续对打以得分结束。上述特征(1)至(6)与其它运动项目略有不同(例如，在网球的在进行部分中，在竖直方向上发生预定量的运动)。为此，通过根据运动项目改变部分特征量生成单元350中使用的权重、非线性参数、阈值等，可以与排球广播相似地检测在进行部分。

2.第二实施例

在本发明的第一实施例中，描述了用于识别在进行部分的信息处理设备100。在信息处理设备100中，通过在在进行部分属性信息中保持在进行部分的数量、开始时间和结束时间，可以识别运动图像内容的在进行部分。在这种情况下，信息处理设备100计算多个特征量以分析每个部分。因此，通过使用所计算的多个特征量，可以保持可以与在进行部分比较的值。在本发明的第二实施例中，将参照图18至图19说明在在进行部分属性信息中保持可以与在进行部分比较的值的示例。

信息处理设备的功能配置示例

图18是示出根据本发明的第二实施例的信息处理单元700的功能配置示例的框图。信息处理单元700包括属性信息生成单元720以代替图2中所示的信息处理单元200的属性信息生成单元370。除了属性信息生成单元720之外，信息处理单元700除了信息处理单元200的部件之外还包括重要度计算单元710。在图18中，将关注重要度计算单元710。

与部分特征量生成单元350类似地，将剪切部分的图像的每个特征量从图像特征量缓冲器340提供给重要度计算单元710。当部分评估单元360中检测到在进行部分时，将关于在进行部分的信息提供给重要度计算单元710。

重要度计算单元710计算被部分评估单元360评估为在进行部分的部分的重要度。这里，重要度是用于比较在进行部分的值。也就是说，通过使用重要度，可以确定在进行部分的优先级。例如，通过量化在进行部分的连续对打长度、一盘的开始点到结束点的时间、一局的开始点到结束点的时间、发球得分、欢呼的幅度和长度、哨音等，来计算重要度。重要度计算单元710根据部分的图像数据和声音数据的每个特征量计算被部分评估单元360评估为在进行部分的剪切部分的重要度。重要度计算单元710将所计算的重要度提供给属性信息生成单元720。将参照图19说明计算重要度的示例。重要度计算单元710是权利要求中所述的优先级应用单元的一个示例。

与图2所示的属性信息生成单元370类似，属性信息生成单元720生成在进行部分属性信息。属性信息生成单元720生成在进行部分属性信息，包括在进行部分的编号、在进行部分的开始时间、在进行部分的结束时间以及在进行部分的重要度。

计算重要度的示例

图19是示出根据本发明的第二实施例的重要度计算单元710基于欢呼的幅度和长度来生成重要度的示例的示意图。

在同一图中，横轴表示运动图像内容的时间，纵轴表示欢呼幅度，并且示出了指示在进行部分(部分S21)的欢呼幅度的改变的欢呼特性561。在欢呼特性561中，示出了计算重要度时的欢呼幅度阈值(阈值L31)、欢呼特性561的重要度计算中使用的欢呼的最大值(欢呼最大值D1)以及重要度计算中使用的欢呼的长度(欢呼时间T31)。

现在，将说明基于欢呼幅度和长度计算重要度的示例。重要度计算单元710使用以下等式16根据欢呼的幅度和长度计算重要度：

A＝W₀A_max+W₁A_len(16)

其中，W₀表示欢呼幅度的预定权重。A_max表示分析对象的在进行部分的欢呼的最大值(欢呼最大值)。也就是说，图18中由欢呼最大值D1表示欢呼最大值A_max。W₁表示欢呼长度的预定权重。A_len表示分析对象的在进行部分的欢呼长度(欢呼时间)。也就是说，在同一图中由欢呼时间T31表示欢呼长度A_len。

这样，由重要度计算单元710计算重要度。通过将重要度应用到在进行部分属性信息，例如，可以以重要度的降序再现在进行部分。

这样，根据本发明的第二实施例，可以将每个在进行部分的重要度应用到在进行部分属性信息。

这样，在本发明的实施例中，可以适当地从运动项目的广播节目检测在进行部分，该在进行部分为进行时段。也就是说，根据本发明的实施例，可以适当地检测特定场景(特定运动项目的进行部分(在进行部分))。

本发明的实施例是用于实施本发明的示例，并且如本发明的实施例中所描述的，本发明的实施例的事项分别对应于权利要求中的发明的特定事项。类似地，权利要求中的发明的特定事项分别对应于本发明的实施例的具有同样名称的事项。本发明不限于这些实施例，并且可以对实施例进行各种修改而不脱离本发明的范围。

本发明的实施例中所描述的过程可以是具有一系列过程的方法，或者可以是用于执行一系列过程的程序，该程序在计算机或用于存储该程序的记录介质上。作为记录介质，例如可以使用压缩盘(CD)、微型盘(MD)、数字通用盘(DVD)、存储卡、蓝光盘(注册商标)等。

本发明包含与2010年4月20日提交日本专利局的日本优先权专利申请JP-2010-096603中公开的主题相关的主题，将其完整内容通过引用合并于此。

本领域技术人员应理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和改变，只要它们在所附权利要求及其等同物的范围内即可。

Claims (14)

1.一种信息处理设备，包括：

改变点检测单元，其检测运动图像的改变点；

转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间的运动图像的多个图像中包含的对象的转变；

组成相似度信息生成单元，其基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量来生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；

声音相似度信息生成单元，其基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量来生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及

确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。

2.根据权利要求1所述的信息处理设备，其中，所述确定单元确定作为特定体育项目的正在进行的部分的在进行部分为所述特定场景。

3.根据权利要求1所述的信息处理设备，其中，所述确定单元包括：

评估值生成单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来生成用于评估所述改变点之间包含的所述运动图像的评估值；以及

评估值确定单元，其将所述评估值与阈值比较，并基于所述比较的结果进行所述确定。

4.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域的亮度与另一区域的亮度的比较结果来生成所述组成相似度信息，以作为所述组成的特征量。

5.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域与另一区域之间的特定方向的对称度来生成所述组成相似度信息，以作为所述组成的特征量。

6.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域与另一区域之间的亮度差来生成所述组成相似度信息，以作为所述组成的特征量。

7.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元将构成所述改变点之间包含的所述运动图像的各图像分离成多个块，并使用每个块的亮度的平均值来生成所述组成相似度信息，以作为所述组成的特征量。

8.根据权利要求1所述的信息处理设备，其中，所述转变检测单元检测成像设备在捕捉所述改变点之间包含的所述运动图像时的水平方向运动，以作为所述对象的转变。

9.根据权利要求1所述的信息处理设备，其中，所述转变检测单元检测成像设备在捕捉所述改变点之间包含的所述运动图像时的竖直方向运动，以作为所述对象的转变。

10.根据权利要求1所述的信息处理设备，其中，所述转变检测单元将所述改变点之间包含的所述运动图像的对象图像与在时间轴上邻近或接近所述对象图像的另一图像进行比较，并基于所述比较的结果检测所述对象的转变。

11.根据权利要求1所述的信息处理设备，还包括优先级应用单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，将所述改变点之间包含的被确定为对应于所述特定场景的所述运动图像设置为特定运动图像，并将所述特定运动图像的优先级应用到所述特定运动图像。

12.一种信息处理设备，包括：

改变点检测单元，其检测运动图像的改变点；

转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；

组成相似度信息生成单元，其基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量来生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；

声音相似度信息生成单元，其基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量来生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；

确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像；以及

显示控制单元，其基于所述确定单元的确定结果来进行控制，使得被确定为对应于所述特定场景的运动图像的、在所述改变点之间包含的所述运动图像被显示在显示单元上。

13.一种信息处理方法，包括步骤：

检测运动图像的改变点；

检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；

基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量，生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；

基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量，生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及

基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。

14.一种程序，用于在计算机上执行步骤：

检测运动图像的改变点；

检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；

基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量，生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；

基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量，生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及

基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。

Images