CN102378005A - 运动图像处理装置、运动图像处理方法和程序 - Google Patents

Abstract

提供了运动图像处理装置、运动图像处理方法和程序。该装置包括：相似度判定单元，基于从运动图像中包括的第一和第二剪切片段群组各自的提取图像生成的特征量判定后续剪切片段与第一和第二剪切片段群组间的相似程度；剪切片段分组单元，当后续剪切片段与第一或第二剪切片段群组相似时，将其分组到与后续剪切片段相似的相似剪切片段群组中，而当不相似时将其分组到第三剪切片段群组中；特征量生成单元，当不相似时把从第三剪切片段群组提取的提取图像与从第一和第二剪切片段群组提取的提取图像相比较并生成第三剪切片段群组的特征量；和图像提取单元，从每个剪切片段群组包括的图像中优先提取运动图像的时间码较迟的图像来获得其提取图像。

Description

运动图像处理装置、运动图像处理方法和程序

技术领域

本公开涉及运动图像处理装置、运动图像处理方法和程序。

背景技术

一般地，视频(或运动图像)包括多个剪切片段(cut)。在视频表现中，存在一种情况，其中剪切片段结构被设计为例如根据制作者的意图在时间上间隔地布置具有相同内容的剪切片段。

发明内容

另外，存在必须了解视频的剪切片段结构以便观看或使用视频的情况。在这种情况下，通过将视频划分成多个剪切片段并将相似的剪切片段分组成共同的剪切片段群组来了解视频的剪切片段结构。然而，当剪切片段未被适当分组时，可能不能适当地了解剪切片段结构。

鉴于上述情况，希望提供一种能够适当地对视频的剪切片段分组的运动图像处理装置、运动图像处理方法和程序。

根据本公开的实施例，提供了一种运动图像处理装置，包括：相似度判定单元，被配置为基于从运动图像中包括的第一剪切片段群组的提取图像生成的特征量和从运动图像中包括的第二剪切片段群组的提取图像生成的特征量，来判定后续剪切片段与第一剪切片段群组和第二剪切片段群组之间的相似程度；剪切片段分组单元，被配置为当后续剪切片段与第一剪切片段群组或第二剪切片段群组相似时，将后续剪切片段分组到作为第一剪切片段群组和第二剪切片段群组之一的、与后续剪切片段相似的相似剪切片段群组中，而当后续剪切片段不与第一剪切片段群组和第二剪切片段群组中的任一个相似时，将后续剪切片段分组到第三剪切片段群组中；特征量生成单元，被配置为当后续剪切片段不与第一剪切片段群组和第二剪切片段群组中的任一个相似时，把从第三剪切片段群组中提取的提取图像与从第一剪切片段群组和第二剪切片段群组中提取的提取图像相比较，并且生成第三剪切片段群组的特征量；以及图像提取单元，被配置为从每个剪切片段群组中包括的图像中优先提取运动图像的时间码较迟的图像，从而获得每个剪切片段群组的提取图像。

当后续剪切片段与第一剪切片段群组或第二剪切片段群组相似时，特征量生成单元可以把从包括后续剪切片段的相似剪切片段群组中提取的提取图像与从不与后续剪切片段相似的剪切片段群组中提取的提取图像相比较，并且可以生成相似剪切片段群组的特征量。

当后续剪切片段与第一剪切片段群组或第二剪切片段群组相似时，图像提取单元可以从后续剪切片段和与后续剪切片段相似的剪切片段群组中提取出提取图像。

当后续剪切片段与第一剪切片段群组或第二剪切片段群组相似时，图像提取单元可以从后续剪切片段中提取出提取图像。

特征量生成单元可以把从第一剪切片段群组中提取的提取图像与从第二剪切片段群组中提取的提取图像相比较，并且可以生成第一剪切片段群组的特征量和第二剪切片段群组的特征量。

图像提取单元可以从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有固定间隔的图像。

图像提取单元可以从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有由等比数列表达的间隔的图像。

图像提取单元可以从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有由阶差数列表达的间隔的图像。

根据本公开的另一实施例，提供了一种运动图像处理方法，包括：基于从运动图像中包括的第一剪切片段群组的提取图像生成的特征量和从运动图像中包括的第二剪切片段群组的提取图像生成的特征量，来判定后续剪切片段与第一剪切片段群组和第二剪切片段群组之间的相似程度；当后续剪切片段与第一剪切片段群组或第二剪切片段群组相似时，将后续剪切片段分组到作为第一剪切片段群组和第二剪切片段群组之一的、与后续剪切片段相似的相似剪切片段群组中；以及当后续剪切片段不与第一剪切片段群组和第二剪切片段群组中的任一个相似时，将后续剪切片段分组到第三剪切片段群组中，并且把从第三剪切片段群组中提取的提取图像与从第一剪切片段群组和第二剪切片段群组中提取的提取图像相比较以生成第三剪切片段群组的特征量。每个剪切片段群组的提取图像是通过从每个剪切片段群组中包括的图像中优先提取运动图像的时间码较迟的图像来获得的。

根据本公开的另一实施例，提供了一种程序，其使得计算机执行该运动图像处理方法。该程序可在计算机可读介质中提供或经由通信等手段提供。

根据以上所述的本公开的实施例，可以提供一种能够对视频的剪切片段适当分组的运动图像处理装置、运动图像处理方法和程序。

附图说明

图1是示出根据本公开的实施例的运动图像处理方法的概要的示图；

图2是示出根据本公开的实施例的运动图像处理装置的配置的框图；

图3是示出运动图像处理装置的操作过程的流程图；

图4是示出从剪切片段转变的检测结果获得的剪切片段结构的示例的示图；

图5是示出剪切片段分组处理的过程的流程图；

图6是示出特征量生成处理的过程的流程图；

图7是示出图像的提取规则的示例的示图；

图8是示出特征量的再生成规则的示例的示图；

图9是示出剪切片段分组处理的结果的示例的示图；

图10是示出特征量生成处理的过程的示例的示图；并且

图11是示出剪切片段结构图像的示例的示图。

具体实施方式

下面，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号来标示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

[1.运动图像处理方法的概要]

首先，将参考图1来描述根据本公开的实施例的运动图像处理方法的概要。图1示出了根据本公开的实施例的运动图像处理方法的概要。

如图1中所示，在运动图像处理方法中，在运动图像MP中包括的第一剪切片段群组的图像之中，优先提取运动图像MP的时间码较迟的图像(步骤S1)。以同样的方式，在运动图像MP中包括的第二剪切片段群组的图像之中，优先提取运动图像MP的时间码较迟的图像(步骤S2)。接下来，基于从第一剪切片段群组的提取图像生成的特征量S1和从第二剪切片段群组的提取图像生成的特征量S2来判定后续剪切片段与第一和第二剪切片段群组之间的相似程度(步骤S3)。

然后，判定后续剪切片段是否与第一或第二剪切片段群组相似(步骤S4)。当后续剪切片段与第一或第二剪切片段群组相似时(步骤S4中的“是”)，后续剪切片段被分组到作为第一和第二剪切片段群组之一的、与后续剪切片段相似的相似剪切片段群组(例如第一剪切片段群组)中(步骤S5)。

同时，当后续剪切片段不与第一和第二剪切片段群组中的任何一个相似时(步骤S4中的“否”)，后续剪切片段被分组到第三剪切片段群组中(步骤S6)。此外，在包括后续剪切片段的第三剪切片段群组的图像之中，优先提取运动图像MP的时间码较迟的图像(步骤S7)。然后，将第三剪切片段群组的提取图像与第一和第二剪切片段群组的提取图像相比较，并且生成第三剪切片段群组的特征量S3(步骤S8)。

这里，关于每个剪切片段群组的提取图像，从每个剪切片段群组中包括的图像之中，优先提取运动图像MP的时间码较迟的图像。另外，通过基于运动图像MP的时间码，在每个剪切片段群组中包括的图像之中，重视与要经历相似度判定的后续剪切片段靠近的图像的特征量，来生成每个剪切片段群组的特征量S(剪切片段群组的特征量的总称)。结果，可以通过充分考虑剪切片段之间的时间情境(运动图像MP的故事等等)来适当地对后续剪切片段分组。

[2.运动图像处理装置1的配置]

接下来，将参考图2描述根据本公开的实施例的运动图像处理装置1。图2示出了运动图像处理装置1的主要功能配置。如图2中所示，运动图像处理装置1包括数据获取单元11、剪切片段转变检测单元13、剪切片段分组处理单元15、剪切片段结构图像生成单元17、剪切片段结构图像输出单元19、剪切片段结构信息输出单元21、以及数据存储单元23。

数据获取单元11获取包括多个剪切片段的运动图像数据MP，并将运动图像数据MP提供给剪切片段转变检测单元13、剪切片段分组处理单元15和剪切片段结构图像生成单元17。一般地，运动图像数据MP是帧格式的数据，并且可以仅是图像数据或者是图像数据和声音数据的组合。可从数据存储单元23或外部装置(未示出)获取运动图像数据MP。

剪切片段转变检测单元13检测运动图像数据MP中的剪切片段转变，并将检测结果提供给剪切片段分组单元15。剪切片段转变表示运动图像MP中的剪切片段的变化。获得连续的帧中的图像和/或声音的特征量并且基于特征量的相似程度来检测剪切片段转变。作为图像和/或声音的特征量，可以使用颜色直方图和脸部图像检测，和/或声音的音量、音调/节奏等等。此外，剪切片段转变的检测结果除了被提供给剪切片段分组处理单元15以外，还可被提供给剪切片段结构信息输出单元21、数据存储单元23、外部装置等等。另外，当检测剪切片段转变时获得的特征量可被存储在数据存储单元23等等中并用于其他处理。

剪切片段分组处理单元15基于剪切片段间的相似程度将多个剪切片段分组成剪切片段群组，这将在下文中详细描述。剪切片段分组结果与剪切片段转变的检测结果一起被提供给剪切片段结构图像生成单元17。然而，剪切片段分组结果可被提供给剪切片段结构信息输出单元21、数据存储单元23、外部装置等等。剪切片段分组处理单元15基于剪切片段分组结果向剪切片段赋予表示剪切片段群组的群组ID。剪切片段分组处理单元15充当图像提取单元、相似度判定单元、剪切片段分组单元和特征量生成单元。

剪切片段间相似程度是根据剪切片段中包括的图像和/或声音的颜色直方图和脸部图像的检测结果和/或包括声音的音量、音调/节奏等等的剪切片段的特征量来计算的。剪切片段群组表示具有相似的特征量的剪切片段的组合。

为了生成剪切片段结构图像CI，剪切片段结构图像生成单元17根据预定的标准，基于剪切片段转变的检测结果，从每个剪切片段中包括的图像中提取代表图像I(代表图像的总称)。代表图像I是代表每个剪切片段的图像，并且例如是以与剪切片段的中央帧相对应的图像的形式来提取的。然后，剪切片段结构图像生成单元17基于运动图像数据MP和剪切片段分组结果，生成指示运动图像MP的剪切片段结构的剪切片段结构图像CI。例如，剪切片段结构图像CI是包括按剪切片段转变的顺序布置的每个剪切片段的代表图像I并指示剪切片段分组的图像。

剪切片段结构图像输出单元19输出从剪切片段结构图像生成单元17提供来的剪切片段结构图像CI，以便用户能够容易地了解运动图像MP的剪切片段结构。剪切片段结构图像CI可被输出到与运动图像处理装置1相连接的显示装置、打印装置、存储装置或外部装置(未示出)。

剪切片段结构信息输出单元21输出剪切片段分组结果等等作为剪切片段结构信息，以便用户能够使用剪切片段结构信息来了解剪切片段结构。剪切片段结构信息可被输出到与运动图像处理装置1相连接的显示装置、打印装置、存储装置或外部装置(未示出)。剪切片段结构信息可用作用于执行考虑剪切片段结构的运动图像搜索的数据。

数据存储单元23存储运动图像数据MP和属于运动图像数据MP的数据。数据存储单元23可存储与运动图像数据MP相关联的诸如剪切片段转变的检测结果和剪切片段分组结果之类的剪切片段结构信息以及剪切片段结构图像CI。此外，在图2中，省略了数据存储单元23与其他元件之间的连接关系的一部分。

这里，在功能配置中，数据获取单元11、剪切片段转变检测单元13、剪切片段分组处理单元15、剪切片段结构图像生成单元17、剪切片段结构图像输出单元19和剪切片段结构信息输出单元21包括诸如CPU或数字信号处理装置(DSP)之类的运算处理单元。数据存储单元23包括诸如闪存之类的内部存储设备或者诸如硬盘驱动器或蓝光盘驱动器之类的外部存储设备。CPU在RAM上展开并执行从ROM等等读取的程序，从而执行运动图像处理方法。此外，功能配置的至少一部分可由诸如专用逻辑之类的硬件来实现。

[3.运动图像处理装置1的操作]

接下来，将参考图3至11来描述根据本公开的实施例的运动图像处理装置1的操作。图3示出了运动图像处理装置1的操作过程。

如图3中所示，数据获取单元11首先获取运动图像数据MP(步骤S11)，并将运动图像数据MP提供给剪切片段转变检测单元13等等。剪切片段转变检测单元13基于运动图像数据MP检测运动图像MP中的剪切片段转变(步骤S13)，并将检测结果提供给剪切片段分组处理单元15等等。基于连续的帧中的图像和/或声音的特征量来检测剪切片段转变。

图4示出了从剪切片段转变的检测结果获得的剪切片段结构的示例。为了帮助理解，图4利用各个剪切片段的代表图像I1至I7示出剪切片段结构。此外，代表图像I是由剪切片段结构图像生成单元17从运动图像数据MP中提取的，这将在下文中描述。如图4中所示，剪切片段1、3和6相互相似，剪切片段2、4和7相互相似，并且剪切片段5不与剪切片段1至4、6和7中的任何一个相似。

返回图3的描述，接下来，剪切片段分组处理单元15执行将剪切片段分组成剪切片段群组的剪切片段分组处理(步骤S15)。图5示出了剪切片段分组处理的过程。如图5中所示，在剪切片段分组处理中，首先执行初始化处理(步骤S31)。在初始化处理中，初始化群组的数目m。另外，向剪切片段1赋予等于1的群组ID，并且向剪切片段2赋予等于2的群组ID。这里，群组的数目m指示从运动图像数据MP确定的剪切片段群组的数目(在初始化处理中确定了剪切片段群组1和2)。向每个剪切片段赋予群组ID以便表示每个剪切片段所属的剪切片段群组。

然后，生成剪切片段1的特征量并将其作为剪切片段群组1的特征量S1存储在数据存储单元23等等中(步骤S33)。以相同的方式，生成剪切片段2的特征量并将其作为剪切片段群组2的特征量S2存储在数据存储单元23等等中(步骤S35)。图6示出了特征量生成处理的过程。

如图6中所示，首先从剪切片段1的图像中提取预定数目的图像作为第一提取图像，并且从剪切片段2的图像中提取预定数目的图像作为第二提取图像(步骤S71和S73)。通常，每个剪切片段包括数十到数千帧的图像，并且例如大约10帧的图像被分别提取来作为第一和第二提取图像。第一和第二提取图像例如是根据以下的提取规则来提取的。

图7示出了图像的提取规则。图7示出了如下情况：按运动图像数据MP的时间码的顺序，即根据运动图像数据MP的再现方向，来执行剪切片段分组处理。时间码是赋予给运动图像MP的每个帧(图像)的时间信息，并且是通过采用起始帧作为起始点来赋予的。

在图7中，在剪切片段1的图像之中，优先在从剪切片段1到剪切片段2的剪切片段转变时间点处提取第一提取图像，即优先从剪切片段1的靠近最终帧n的图像中提取第一提取图像。此外，在图7中，提取的图像(帧)带有点状阴影。

根据图7的规则1，当将剪切片段1的最终帧设定为帧n时，按4帧的固定间隔(公差为4的等差数列)提取预定数目的图像(例如，帧n-1、n-5、n-9、n-13、n-17、……)。根据图7的规则2，以相同的方式，按2帧、4帧、8帧、16帧的间隔(公比为2的等比数列)提取预定数目的图像(例如，帧n-1、n-3、n-7、n-15、n-31、……)。根据图7的规则3，以相同的方式，按2帧、3帧、4帧、5帧的间隔(公差为1的阶差数列(progression of differences))提取预定数目的图像(例如，帧n-1、n-3、n-6、n-10、n-15、……)。

此外，在规则1至3的任何一个中，公差和公比分别被设定为任意值。以相同的方式，提取图像可以被提取成包括最终帧，或者通过排除最终帧附近的若干帧来提取。另外，虽然在图7中没有示出，但可以提取相对于邻近帧具有较大的像素差异的预定数目的帧。另外，例如可以通过将规则1与规则2相组合来按等差数列或等比数列的间隔提取出提取图像。

在步骤S71和S73的处理中，关于第一提取图像，根据提取规则，从剪切片段1的图像中优先提取与剪切片段1的最终帧靠近的图像。关于第二提取图像，从剪切片段2的图像中优先提取与剪切片段2的最终帧靠近的图像。

接下来，计算被提取为第一和第二提取图像的图像的各种特征量。各种特征量例如是以颜色直方图和脸部图像检测和/或声音的音量、音调/节奏等等或其组合的形式来计算的。计算出的图像的特征量被存储在数据存储单元23等等中以便用于下文中将描述的处理(步骤S75和S77)。

然后，向第一提取图像赋予“正确”标签，并且向第二提取图像赋予“不正确”标签(步骤S79和S81)。这里，向从剪切片段1中提取的第一提取图像赋予“正确”标签，因为与第二提取图像相比，第一提取图像包括剪切片段群组1的特征量S1的可能性很高，并且向第二提取图像赋予“不正确”标签，因为与第一提取图像相比，第二提取图像包括剪切片段群组1的特征量S1的可能性较低。

然后，与被赋予了“正确”标签的第一提取图像相对应并且不与被赋予了“不正确”标签的第二提取图像相对应的特征量被生成作为剪切片段群组1的特征量S1(步骤S83)。即，剪切片段群组1的特征量S1是作为用于将第一提取图像与第二提取图像区分开来的特征量生成的。

例如，假定任意的特征量A在第一提取图像中具有预定的定量或定性值，而在第二提取图像中不具有该预定的定量或定性值。在此情况下，生成其中特征量A具有该预定的定量或定性值的特征量(特征)S1。当然，对于任意特征量A、B、……的组合，以相同的方式生成特征量(特征)。

接下来，向第二提取图像赋予“正确”标签并且向第一提取图像赋予“不正确”标签(步骤S85和S87)。然后，与被赋予了“正确”标签的第二提取图像相对应并且不与被赋予了“不正确”标签的第一提取图像相对应的特征量被生成作为剪切片段群组2的特征量S2(步骤S89)。即，剪切片段群组2的特征量S2是作为用于将第二提取图像与第一提取图像区分开来的特征量生成的。

返回图5的描述，检查是否存在要处理的后续剪切片段(步骤S37)。每当执行步骤S37的处理时，按剪切片段3、剪切片段4、……的顺序检查后续剪切片段。当存在后续剪切片段时(步骤S37中的“是”)，生成后续剪切片段的特征量S’(步骤S39)，并且在后续剪切片段与剪切片段群组1至m之间判定特征量的相似度(步骤S41)。

在相似度的判定中，首先从后续剪切片段的图像中提取预定数目的图像作为比较图像。以代表后续剪切片段的图像的预定数目的图像的形式提取比较图像。可以根据图7所示的提取规则或其他提取规则来提取出比较图像。

接下来，判定在比较图像与剪切片段群组1至m的图像之间特征量是否相似，即后续剪切片段是否与剪切片段群组1至m相似。

这里，剪切片段群组1至m的特征量S1至Sm是通过基于运动图像MP的时间码，在每个剪切片段群组的图像之中重视与要经历相似度判定的后续剪切片段靠近的图像的特征量来生成的。例如，剪切片段群组1的特征量S1是通过在剪切片段1的图像之中重视与剪切片段1的最终帧靠近的图像的特征量来生成的。因此，基于运动图像MP的时间码，在比较图像与剪切片段群组1至m的图像之中靠近后续剪切片段的图像之间判定特征量的相似度。

此外，在相似度判定中，可以优先在后续剪切片段与具有比前一剪切片段的群组ID更大的群组ID的剪切片段群组之间判定特征量的相似程度。这是因为，当重复剪切片段时，包括后续剪切片段的剪切片段群组的群组ID比前一剪切片段的大。

当在后续剪切片段与剪切片段群组1至m中的任何一个之间特征量的相似程度等于或大于预定阈值时(步骤S41中的“是”)，向后续剪切片段赋予具有最高相似度的剪切片段群组的群组ID(步骤S43)。

例如，当后续剪切片段与剪切片段群组1之间的相似程度满足预定阈值时，后续剪切片段被分组到剪切片段群组1中。在这种情况下，根据以下过程再生成并存储剪切片段群组1的特征量S1(步骤S45)。

首先，从包括后续剪切片段的剪切片段群组1中包括的图像之中提取预定数目的图像作为第一提取图像。也根据图7中所示的提取规则来提取第一提取图像。图8示出了特征量再生成处理的规则。图8示出了包括剪切片段1、剪切片段2和与剪切片段1相似的剪切片段3的剪切片段结构。此外，在图8中，被优先提取作为剪切片段群组的提取图像的图像的位置带有浓密阴影。

根据图8的规则a，在被分组到剪切片段群组1中的剪切片段3中包括的图像之中，与剪切片段3的最终帧靠近的图像被优先提取作为第一提取图像。在这种情况下，不提取剪切片段1中的图像。同时，根据图8的规则b，在被分组到剪切片段群组1中的剪切片段1和剪切片段3中包括的图像之中，与剪切片段3的最终帧靠近的图像被优先提取作为第一提取图像。在这种情况下，也提取了剪切片段1中包括的图像。

此外，第一提取图像的数目可等于或大于初始生成特征量时的提取图像的数目。另外，可以在与步骤S33的处理时的提取图像相同的条件下或不同的条件下提取第一提取图像。例如，在初始生成特征量时，可以使用不同的公差和公比，或者可以使用不同的规则(例如，在初始生成特征量时使用规则1，在再生成特征量时使用规则2，等等)。

另外，可以通过将多个不同的条件相互组合来提取第一提取图像。例如，可以将规则a与规则1相组合，将规则b与规则2相组合。在这种情况下，从后续剪切片段中按等差数列的间隔以及按等比数列表达的间隔提取图像，而从除后续剪切片段以外的剪切片段中按阶差数列表达的间隔提取图像。

接下来，计算被提取作为剪切片段群组1的第一提取图像的图像的各种特征量。此外，作为剪切片段群组2至m的第二至第m提取图像的特征量，使用在生成每个剪切片段群组时生成的特征量。

然后，向第一提取图像赋予“正确”标签并且向第二至第m提取图像赋予“不正确”标签。这里，向第一提取图像赋予“正确”标签，因为与第二至第m提取图像相比，从剪切片段群组1中提取的第一提取图像包括剪切片段群组1的特征量的可能性很高，并且向第二至第m提取图像赋予“不正确”标签，因为与第一提取图像相比，第二至第m提取图像包括剪切片段群组1的特征量的可能性较低。

然后，与被赋予了“正确”标签的第一提取图像相对应并且不与被赋予了“不正确”标签的第二至第m提取图像相对应的特征量被生成作为剪切片段群组1的特征量S1。即，剪切片段群组1的特征量S1是作为用于将第一提取图像与第二至第m提取图像区分开来的特征量生成的。这样，以通过从剪切片段群组1的图像中优先提取与后续剪切片段的最终帧靠近的图像而获得的第一提取图像的特征量的形式生成剪切片段群组1的特征量S1。

以相同的方式，当比较图像与剪切片段群组x(1＜x＜m)之间的相似程度满足预定阈值时，后续剪切片段被分组到剪切片段群组x中。在这种情况下，以与剪切片段群组1相同的方式，再生成剪切片段群组x的特征量Sx。这样，以通过从剪切片段群组x的图像中优先提取与后续剪切片段的最终帧靠近的图像而获得的第x提取图像的特征量的形式来计算包括后续剪切片段的剪切片段群组x的特征量Sx。

同时，当在后续剪切片段与所有剪切片段群组1至m之间特征量的相似程度都小于预定阈值时(步骤S41中的“否”)，群组数m被递增1以便生成新的剪切片段群组(步骤S47)。向作为新剪切片段群组的后续剪切片段赋予与群组数m相当的群组ID(步骤S49)。在这种情况下，根据以下过程来生成和存储剪切片段群组m的特征量Sm(步骤S51)。

首先，从后续剪切片段中包括的图像之中提取预定数目的图像作为第m提取图像。也根据图7中所示的提取规则来提取第m提取图像。这里，通过从剪切片段群组m的图像之中优先提取与后续剪切片段的最终帧靠近的图像来获得第m提取图像。

接下来，计算被提取作为剪切片段群组m的第m提取图像的图像的各种特征量。此外，作为剪切片段群组1至m-1的第一至第m-1提取图像的特征量，使用在生成每个剪切片段群组时生成的特征量。

然后，向第m提取图像赋予“正确”标签并且向第一至第m-1提取图像赋予“不正确”标签。这里，向从剪切片段群组m中提取的第m提取图像赋予“正确”标签，因为与第一至第m-1提取图像相比，第m提取图像包括剪切片段群组m的特征量Sm的可能性很高，并且向第一至第m-1提取图像赋予“不正确”标签，因为与第m提取图像相比，第一至第m-1提取图像包括剪切片段群组m的特征量Sm的可能性较低。

然后，与被赋予了“正确”标签的第m提取图像相对应并且不与被赋予了“不正确”标签的第一至第m-1提取图像相对应的特征量被生成作为剪切片段群组m的特征量Sm。即，剪切片段群组m的特征量Sm是作为用于将第m提取图像与第一至第m-1提取图像区分开来的特征量生成的。这样，以通过从剪切片段群组m的图像中优先提取与后续剪切片段的最终帧靠近的图像而获得的第m提取图像的特征量的形式生成剪切片段群组m的特征量Sm。

返回图5的描述，重复步骤S37、S39、S41、S43、S45、S47、S49和S51的处理，直到没有后续剪切片段为止。当没有后续剪切片段时(步骤S37中的“否”)，剪切片段分组处理结束，并且如图3中所示执行下一步骤S17的处理。剪切片段分组处理单元15将剪切片段转变的检测结果和剪切片段分组结果提供给剪切片段结构图像生成单元17。

图9示出了剪切片段分组处理的结果的示例。图10示出了特征量生成处理的过程的示例。图9和10示出了针对图4所示的剪切片段结构执行剪切片段分组处理的情况。此外，在图10中，被优先提取作为剪切片段群组的提取图像的图像的位置带有浓密阴影。

首先，如图9中所示，向剪切片段1和2分别赋予等于1和2的群组ID。如图10的状态1中所示，以通过从剪切片段1的图像中优先提取与剪切片段1的最终帧靠近的图像而获得的图像的特征量的形式生成剪切片段群组1的特征量S1，并且以通过从剪切片段2的图像中优先提取与剪切片段2的最终帧靠近的图像而获得的图像的特征量的形式生成剪切片段群组2的特征量S2。

接下来，判定剪切片段3与剪切片段群组1和2之间的相似度。如图10的状态1中所示，剪切片段3的相似度是利用在剪切片段群组1和2的图像之中基于运动图像MP的时间码与剪切片段3靠近的图像的特征量来判定的。在图9的示例中，剪切片段3对于剪切片段群组1和2分别具有相似程度0.9和0.2。从而，判定剪切片段3与剪切片段群组1相似，而不与剪切片段群组2相似(相似度判定的阈值被设定为等于或大于相似度0.5)。因此，向剪切片段3赋予等于1的群组ID。如图10的状态2中所示，以通过从剪切片段1和3的图像之中优先提取与剪切片段3的最终帧靠近的图像而获得的图像的特征量的形式再生成剪切片段群组1的特征量S1。

然后，判定剪切片段4与剪切片段群组1和2之间的相似度。如图10的状态2中所示，剪切片段4的相似度是利用在剪切片段群组1和2的图像之中基于运动图像MP的时间码与剪切片段4靠近的图像的特征量来判定的。在图9的示例中，剪切片段4对于剪切片段群组1和2分别具有相似程度0.3和0.8。从而，判定剪切片段4与剪切片段群组2相似，而不与剪切片段群组1相似。因此，向剪切片段4赋予等于2的群组ID。如图10的状态3中所示，以通过从剪切片段2和4的图像之中优先提取与剪切片段4的最终帧靠近的图像而获得的图像的特征量的形式再生成剪切片段群组2的特征量S2。

然后，判定剪切片段5与剪切片段群组1和2之间的相似度。如图10的状态3中所示，剪切片段5的相似度是利用在剪切片段群组1和2的图像之中基于运动图像MP的时间码与剪切片段5靠近的图像的特征量来判定的。在图9的示例中，剪切片段5对于剪切片段群组1和2分别具有相似程度0.1和0.2。从而，判定剪切片段5不与剪切片段群组1和2的任何一个相似。因此，生成剪切片段群组3并且向剪切片段5赋予等于3的群组ID。如图10的状态4中所示，以通过从剪切片段5的图像之中优先提取与剪切片段5的最终帧靠近的图像而获得的图像的特征量的形式来生成剪切片段群组3的特征量S3。

接下来，判定剪切片段6与剪切片段群组1至3之间的相似度。如图10的状态4中所示，剪切片段6的相似度是利用在剪切片段群组1至3的图像之中基于运动图像MP的时间码与剪切片段6靠近的图像的特征量来判定的。在图9的示例中，剪切片段6对于剪切片段群组1至3分别具有相似程度0.8、0.3和0.2。从而，判定剪切片段6与剪切片段群组1相似，而不与剪切片段群组2和3相似。因此，向剪切片段6赋予等于1的群组ID。如图10的状态5中所示，以通过从剪切片段1、3和6的图像之中优先提取与剪切片段6的最终帧靠近的图像而获得的图像的特征量的形式再生成剪切片段群组1的特征量S1。

然后，判定剪切片段7与剪切片段群组1至3之间的相似度。如图10的状态5中所示，剪切片段7的相似度是利用在剪切片段群组1至3的图像之中基于运动图像MP的时间码与剪切片段7靠近的图像的特征量来判定的。在图9的示例中，剪切片段7对于剪切片段群组1至3分别具有相似程度0.1、0.9和0.1。从而，判定剪切片段7与剪切片段群组2相似，而不与剪切片段群组1和3相似。因此，向剪切片段7赋予等于2的群组ID。如图10的状态6中所示，以通过从剪切片段2、4和7的图像之中优先提取与剪切片段7的最终帧靠近的图像而获得的图像的特征量的形式再生成剪切片段群组2的特征量S2。

结果，如图9中所示，对于图4中示出的剪切片段结构，剪切片段1、3和6被分组到剪切片段群组1中，剪切片段2、4和7被分组到剪切片段群组2中，并且剪切片段5被分组到剪切片段群组3中。

返回图3的描述，当剪切片段分组处理结束时，剪切片段结构图像生成单元17首先根据预定的标准，基于运动图像数据MP和剪切片段转变的检测结果，从每个剪切片段中包括的一系列图像中提取代表图像I(步骤S17)。此外，可在检测剪切片段转变时预先提取每个剪切片段的代表图像I。接下来，基于剪切片段群组的确定结果生成剪切片段结构图像CI(步骤S19)。以包括按剪切片段转变的顺序布置的每个剪切片段的代表图像I并指示剪切片段群组的图像的形式生成剪切片段结构图像CI。

图11示出了从图9中所示的剪切片段群组的确定结果生成的剪切片段结构图像CI的示例。在图11中所示的剪切片段结构图像CI中，横向布置了剪切片段1和2的代表图像I1和I2，在剪切片段1和2的代表图像I1和I2的下方横向布置了剪切片段3至5的代表图像I3至I5，并且在剪切片段3和4的代表图像I3和I4的下方横向布置了剪切片段6和7的代表图像I6和I7。利用如上所述的剪切片段结构图像CI，容易了解剪切片段结构。此外，剪切片段结构图像CI的结构不限于图11中所示的结构。

[4.结论]

如上所述，根据本公开的实施例的运动图像处理装置1和运动图像处理方法，通过基于运动图像MP的时间码，在每个剪切片段群组中包括的图像之中，重视与要经历相似度判定的后续剪切片段靠近的图像的特征量，来生成每个剪切片段群组的特征量S。结果，可以通过充分考虑剪切片段之间的时间情境(运动图像MP的故事等等)来适当地对后续剪切片段分组。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

本公开包含与2010年8月10日向日本专利局提交的日本优先权专利申请JP 2010-179696中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (10)

1.一种运动图像处理装置，包括：

相似度判定单元，被配置为基于从运动图像中包括的第一剪切片段群组的提取图像生成的特征量和从所述运动图像中包括的第二剪切片段群组的提取图像生成的特征量，来判定后续剪切片段与所述第一剪切片段群组和第二剪切片段群组之间的相似程度；

剪切片段分组单元，被配置为当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，将所述后续剪切片段分组到作为所述第一剪切片段群组和第二剪切片段群组之一的、与所述后续剪切片段相似的相似剪切片段群组中，而当所述后续剪切片段不与所述第一剪切片段群组和第二剪切片段群组中的任一个相似时，将所述后续剪切片段分组到第三剪切片段群组中；

特征量生成单元，被配置为当所述后续剪切片段不与所述第一剪切片段群组和第二剪切片段群组中的任一个相似时把从所述第三剪切片段群组中提取的提取图像与从所述第一剪切片段群组和第二剪切片段群组中提取的提取图像相比较，并且生成所述第三剪切片段群组的特征量；以及

图像提取单元，被配置为从每个剪切片段群组中包括的图像中优先提取所述运动图像的时间码较迟的图像，从而获得每个剪切片段群组的提取图像。

2.根据权利要求1所述的运动图像处理装置，其中，当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，所述特征量生成单元把从包括所述后续剪切片段的所述相似剪切片段群组中提取的提取图像与从不与所述后续剪切片段相似的剪切片段群组中提取的提取图像相比较，并且生成所述相似剪切片段群组的特征量。

3.根据权利要求2所述的运动图像处理装置，其中，当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，所述图像提取单元从所述后续剪切片段和与所述后续剪切片段相似的剪切片段群组中提取所述提取图像。

4.根据权利要求2所述的运动图像处理装置，其中，当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，所述图像提取单元从所述后续剪切片段中提取所述提取图像。

5.根据权利要求1所述的运动图像处理装置，其中，所述特征量生成单元把从所述第一剪切片段群组中提取的提取图像与从所述第二剪切片段群组中提取的提取图像相比较，并且生成所述第一剪切片段群组的特征量和所述第二剪切片段群组的特征量。

6.根据权利要求1所述的运动图像处理装置，其中，所述图像提取单元从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有固定间隔的图像。

7.根据权利要求1所述的运动图像处理装置，其中，所述图像提取单元从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有由等比数列表达的间隔的图像。

8.根据权利要求1所述的运动图像处理装置，其中，所述图像提取单元从每个剪切片段群组中包括的图像中从最迟的时间码起按顺序提取出位置具有由阶差数列表达的间隔的图像。

9.一种运动图像处理方法，包括：

基于从运动图像中包括的第一剪切片段群组的提取图像生成的特征量和从所述运动图像中包括的第二剪切片段群组的提取图像生成的特征量，来判定后续剪切片段与所述第一剪切片段群组和第二剪切片段群组之间的相似程度；

当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，将所述后续剪切片段分组到作为所述第一剪切片段群组和第二剪切片段群组之一的、与所述后续剪切片段相似的相似剪切片段群组中；以及

当所述后续剪切片段不与所述第一剪切片段群组和第二剪切片段群组中的任一个相似时，将所述后续剪切片段分组到第三剪切片段群组中，并且把从所述第三剪切片段群组中提取的提取图像与从所述第一剪切片段群组和第二剪切片段群组中提取的提取图像相比较以生成所述第三剪切片段群组的特征量，

其中，每个剪切片段群组的提取图像是通过从每个剪切片段群组中包括的图像中优先提取所述运动图像的时间码较迟的图像来获得的。

10.一种程序，使得计算机执行运动图像处理方法，该方法包括：

基于从运动图像中包括的、包括第一剪切片段的第一剪切片段群组的提取图像生成的特征量和从所述运动图像中包括的、包括第二剪切片段的第二剪切片段群组的提取图像生成的特征量，来判定后续剪切片段与所述第一剪切片段群组和第二剪切片段群组之间的相似程度；

当所述后续剪切片段与所述第一剪切片段群组或第二剪切片段群组相似时，将所述后续剪切片段分组到作为所述第一剪切片段群组和第二剪切片段群组之一的、与所述后续剪切片段相似的相似剪切片段群组中；以及

当所述后续剪切片段不与所述第一剪切片段群组和第二剪切片段群组中的任一个相似时，将所述后续剪切片段分组到第三剪切片段群组中，并且把从所述第三剪切片段群组中提取的提取图像与从所述第一剪切片段群组和第二剪切片段群组中提取的提取图像相比较以生成所述第三剪切片段群组的特征量，

其中，每个剪切片段群组的提取图像是通过从每个剪切片段群组中包括的图像中优先提取所述运动图像的时间码较迟的图像来获得的。

Images