CN101783886B - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

本发明提供了一种信息处理设备、信息处理方法和程序。该信息处理设备设有：运动图片分析单元，其用于分析是包括与时间信息相关联的多个图像和音频的运动图片的数据的运动图片数据并且用于生成是与描述运动图片的特征的多个特征量有关的元数据的运动图片元数据；连环画显示变换单元，其用于基于运动图片元数据来从运动图片数据中提取多个图像，并且用于将预定的显示区域划分成帧，用于将多个所提取出图像的布置变换成连环画式的布置，以及用于生成包括有关被布置在这些帧的各个帧中的图像的信息的帧信息；以及连环画显示数据生成单元，其用于生成至少包括帧信息、所提取出的图像的数据和运动图片的音频数据的连环画显示数据。

Description

信息处理设备、信息处理方法和程序

技术领域

本发明涉及信息处理设备、信息处理方法和程序。

背景技术

伴随着信息处理技术的进步，诸如数字静止相机和数字视频相机之类的数字成像设备被广泛使用。对于这些数字成像设备，不仅用于提高拍摄图片的便利性的技术而且用于向用户显示所拍摄的图片的技术都有明显发展。

例如，日本专利申请特开2008-22300号公报公开了一种用于提高拍摄图片的便利性的技术，即，用于检测人的面部区域作为对象并且基于该面部区域的尺寸的变化和移动速度来确定该图片中发生模糊的可能性的技术。

此外，例如，日本专利申请特开2005-141297号公报公开了一种用于将所拍摄的图片显示给用户的技术的示例。在该技术中，在显示屏上显示有关用户所经历过的事件的缩略图像，并且在代表该事件的重要缩略图像上的发言气球框中显示根据事件生成的词语。

发明内容

回顾能够拍摄运动图片的成像设备(例如，数字视频相机)中所生成运动图片的内容要花大量时间，这是因为，随着技术的几步，最大记录时间增加了。在这种情况中，即使是使用日本专利申请文件特开2005-141297号公报中所记载的技术来显示多个缩略图像和重要的缩略图像上的发言气球框，仍然可能存在这样的情况：用户很难理解附有发言气球框的图像与其它图像之间的关系。因此，需要自动提取并且显示运动图片的有用图像以使用户能够容易地理解运动图片的内容的这样一种技术。

鉴于以上所述，需要提供能够自动提取对于理解运动图片的内容有用的图像并且以内容可以容易地被理解的方式显示这些图像的新颖的改进的信息处理设备、信息处理方法和程序。

为了解决上述问题，根据本发明实施例，提供了一种信息处理设备，包括：用于分析运动图片数据并且用于生成运动图片元数据的运动图片分析单元，运动图片数据是包括与时间信息相关联的多个图像和音频的运动图片的数据，运动图片元数据是与表征该运动图片的多个特征量有关的元数据；连环画显示变换单元，该连环画显示变换单元用于基于运动图片元数据来从运动图片数据中提取多个图像，并且用于将预定的显示区域划分成帧，用于将多个所提取出图像的布置变换成连环画式的布置，以及用于生成包括有关被布置在这些帧的各个帧中的图像的信息的帧信息；以及用于生成连环画显示数据的连环画显示数据生成单元，连环画显示数据至少包括帧信息、所提取出的图像的数据和该运动图片的音频数据。

利用这样的配置，运动图片分析单元分析运动图片数据，即包括与时间信息相关联的多个图像的运动图片的数据，并且生成运动图片元数据，即，与表征该运动图片的多个特征量有关的元数据。此外，连环画显示变换单元基于运动图片元数据从运动图片数据提取多个图像，并且将预定的显示区域划分成帧，将这多个提取出的图像的布置变换成连环画式的布置，并且生成包括有关被布置在各个帧中的图像的的帧信息。此外，连环画显示数据生成单元生成连环画显示数据，该连环画显示数据至少包括帧信息、所提取出的图像的数据和运动图片的音频数据。

连环画显示变换单元还可以包括：用于基于所述运动图片元数据来计算摘要得分的摘要得分计算单元，摘要得分是通过对构成所述运动图片的多个图像中的每一个图像的多个特征量求加权和获得的值；缩略图数目确定单元，该缩略图数目确定单元用于基于摘要得分来从构成运动图片数据的多个图像中提取要被布置在所述帧中的缩略图像，并且用于确定所述缩略图像的数目；用于基于摘要得分来确定被布置在预定的显示区域中的缩略图像的大小的帧图像布置单元；以及用于生成与布置了所述缩略图像的帧有关的帧信息的帧信息生成单元。

缩略图数目确定单元还可以提取与预定时间的所提取的缩略图像相连接的多个图像，作为动画图像。

运动图片元数据可以包括与拍摄运动图片时的摄影操作有关的运动图片元数据，并且连环画显示变换单元还可以包括摄影操作元数据利用单元，该摄影操作元数据利用单元用于基于与摄影操作有关的运动图片元数据来确定被缩略图数目确定单元提取作为动画图像的图像的数目。

摄影操作元数据利用单元可以从所提取出的缩略图像与在摄影操作的积分值达到预定的阈值时的图像之间存在的多个图像中选择动画图像。

摄影操作元数据利用单元可以根据摄影操作的积分值的大小来设置包括缩略图像和动画图像的动画的再现速度。

信息处理设备还可以包括静止图片分析单元，该静止图片分析单元用于分析作为与静止图片相对应的数据的静止图片数据并且用于生成作为与表征所述静止图片的多个特征量有关的元数据的静止图片元数据。图像大小确定单元可以基于静止图片元数据来确定被布置在预定的显示区域中的静止图片的大小。

帧图像布置单元可以基于与静止图片数据相关联的有关静止图片数据被生成的时间的时间信息，确定静止图片被布置的顺序。

连环画显示变换单元还可以包括效果图像布置单元，该效果图像布置单元用于基于运动图片元数据来在布置所述缩略图像的帧上布置发言气球框和屏幕效果中的至少任何一种。

效果图像布置单元可以通过使用与运动图片数据中所包括的音频数据有关的运动图片元数据来布置发言气球框和屏幕效果中的任何一种。

效果图像布置单元可以通过使用与摄影操作有关的运动图片元数据在缩略图像上布置屏幕效果。

对于运动图片元数据指示图像包括脸的运动图片，图像大小确定单元可以通过放大示出脸的面部区域来制作缩略图像。

运动图片元数据还可以包括指示图像包括人的运动图片元数据、与图像中的对象有关的运动图片元数据和与图像中存在的先前登记的物体有关的运动图片元数据中的至少任一个。并且，效果图像布置单元可以，基于指示图像包括人的运动图片元数据、与图像中的对象有关的运动图片元数据和与图像中存在的先前登记的物体有关的运动图片元数据，来布置屏幕效果。

静止图片元数据可以包括指示图像包括脸的静止图片元数据、指示图像包括人的静止图片元数据、与图像中的对象有关的静止图片元数据和与所述图像中存在的先前登记的物体有关的静止图片元数据中的至少任个。并且，效果布置单元可以，基于指示图像包括脸的静止图片元数据、指示图像包括人的静止图片元数据、与图像中的对象有关的静止图片元数据和与图像中存在的先前登记的物体有关的静止图片元数据，来布置屏幕效果。

效果图像布置单元可以，基于所述缩略图像中预定的显示区域的重心与所述缩略图像中检测到预定的物体的区域的重心之间的相对位置关系，来将所述屏幕效果布置在除了所述预定的物体被检测到的区域以外的区域中。

当图像包括所述多个面部区域时，图像大小确定单元可以通过执行放大处理以包括所有的面部区域来制作缩略图像。

此外，为了解决上述问题，根据本发明另一实施例，提供了一种信息处理方法，包括以下步骤：分析运动图片数据并且生成运动图片元数据，所述运动图片数据是包括与时间信息相关联的多个图像和音频的运动图片的数据，所述运动图片元数据是与表征所述运动图片的特征量有关的元数据；基于所述运动图片元数据来从所述运动图片数据中提取多个图像，将预定的显示区域划分成帧，将多个所提取出图像的布置变换成连环画式的布置，生成包括有关被布置在所述帧的各个帧中的图像的信息的帧信息；以及生成连环画显示数据，所述连环画显示数据至少包括所述帧信息、所提取出的图像的数据和所述运动图片的音频数据。

此外，为了解决上述问题，根据本发明另一实施例，提供了一种程序，该程序使得使得计算机实现以下功能：分析运动图片数据并且生成运动图片元数据，所述运动图片数据是包括与时间信息相关联的多个图像和音频的运动图片的数据，所述运动图片元数据是与表征所述运动图片的特征量有关的元数据；基于所述运动图片元数据来从所述运动图片数据中提取多个图像，将预定的显示区域划分成帧，将多个所提取出图像的布置变换成连环画式的布置，以及生成包括有关被布置在所述帧的各个帧中的图像的信息的帧信息；以及生成连环画显示数据，所述连环画显示数据至少包括所述帧信息、所提取出的图像的数据和所述运动图片的音频数据。

如上所述，根据本发明，对于用户理解运动图片的内容有用的图像可以被自动提取并且以使得用户容易理解内容的方式被显示，以用于基于与表征运动图片的特征量有关的运动图片元数据从运动图片中提取出多个图像并且用于以连环画式的方式布置和显示这多个提取出的图像。

附图说明

图1是用于图示出根据本发明第一实施例的运动图片的连环画式的表示的说明性示图。

图2是用于图示出根据该实施例的信息处理设备的配置的框图；

图3是用于说明连环画显示数据的说明性示图；

图4是用于图示出根据该实施例的运动图片分析单元的配置的框图；

图5是用于图示出运动图片元数据的说明性示图；

图6是用于图示出运动图片元数据的说明性示图；

图7是用于图示出根据该实施例的连环画显示变换单元的配置的框图；

图8是用于图示出根据该实施例的计算摘要得分的方法的说明性示图；

图9是用于图示出根据该实施例的提取代表帧图像的方法的说明性示图；

图10是用于图示出根据该实施例的动画帧图像的说明性示图；

图11A是用于图示出根据该实施例的摄影操作元数据利用单元的说明性示图；

图11B是用于图示出根据该实施例的摄影操作元数据利用单元的说明性示图；

图12是用于图示出根据该实施例的图像大小确定单元的说明性示图；

图13是用于图示出根据该实施例的图像大小确定单元的说明性示图；

图14是用于图示出根据该实施例的帧图像布置单元的说明性示图；

图15是用于图示出根据该实施例的帧图像布置单元的说明性示图；

图16是用于图示出根据该实施例的帧图像布置单元的说明性示图；

图17是用于图示出根据该实施例的帧图像布置单元的说明性示图；

图18是用于图示出考虑摄影操作的图像布置的说明性示图；

图19是用于图示出考虑摄影操作的图像布置的说明性示图；

图20是用于图示出根据该实施例的效果图像布置单元的说明性示图；

图21是用于图示出根据该实施例的效果图像布置单元的说明性示图；

图22是用于图示出根据该实施例的效果图像布置单元的说明性示图；

图23是用于图示出根据该实施例的信息处理方法的总体流程的流程图；

图24是用于图示出根据该实施例的选择代表帧图像的方法的流程图；

图25是用于图示出根据该实施例的根据摄影操作来选择动画帧图像的方法的流程图；

图26A是用于图示出根据该实施例的动态布置代表帧图像的方法的流程图；

图26B是用于图示出根据该实施例的动态布置代表帧图像的方法的流程图；

图27是用于图示出考虑摄影操作来布置代表帧图像的方法的流程图；

图28是用于图示出考虑摄影操作来布置效果图像的方法的流程图；

图29是用于图示出用于确定缩略图动画的再现速度的方法的流程图；

图30是用于图示出根据该实施例的运动图片分析单元的第一变形例的框图；

图31A是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图31B是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图31C是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图31D是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图31E是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图32是用于图示出根据该变形例的布置效果图像的方法的说明性示图；

图33是用于图示出根据本发明第二实施例的信息处理设备的配置的框图；

图34是用于图示出根据该实施例的静止图片分析单元的配置的说明性示图；

图35是用于图示出根据该实施例的连环画显示变换单元的配置的说明性示图；

图36是用于图示出根据该实施例的信息处理方法的总体流程的流程图；

图37是用于图示出确定静止图片的图像大小的方法的流程图；

图38是用于图示出根据本发明第三实施例的信息处理方法的配置的框图；

图39是用于图示出根据本发明各个实施例的信息处理设备的硬件配置的框图。

具体实施方式

以下，将参考附图来详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的标号来标注具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复描述。

将按照以下次序进行说明。

(1)第一实施例

(1-1)连环画式表示的概览

(1-2)信息处理设备的配置

(1-3)信息处理方法

(1-4)第一变形例

(2)第二实施例

(2-1)信息处理设备的配置

(2-2)信息处理方法

(3)第三实施例

(3-1)信息处理设备的配置

(4)根据本发明各个实施例的信息处理设备的硬件配置

(5)总结

(第一实施例)

<连环画式表示的概览>

首先，在详细说明根据本发明第一实施例的信息处理设备和信息处理方法之前，将参考图1来描述根据本发明的运动图片的连环画式的表示的概览。图1是用于图示根据本实施例的运动图片的连环画式的表示的说明性示图。

当单个或多个运动图片数据被指定时，根据本发明的信息处理设备自动从运动图片数据中所包括的多个图像中提取重要的场景。例如，信息处理设备将所提取出的图像的编排变换成连环画式的编排，并且显示所提取出的图像，如图1中所示。

将考虑如图1中所示的显示区域301。显示区域301相当于一页普通连环画。显示区域301被划分成多个帧303。在这多个帧303中的每一帧中，编排运动图片数据中所包括的图像(例如，缩略图像)305。

诸如各种发言气球框307、射线309和效果线311之类的屏幕效果基于稍后描述的运动图片元数据被自动布置在缩略图像305上。发言气球框307、射线309、效果线311等可以以与普通纸质连环画相同的方式被自由布置在帧303中或帧303的外部。

可能存在这样的情况：信息处理设备的用户想要知道某一缩略图像305表示何种场景。在该情况中，用户操作信息处理设备上所布置的输入设备(例如，鼠标和键盘)来将诸如鼠标指针之类的位置选择对象313移动到所希望的缩略图像305以产生所谓的鼠标悬停(mouseover)状态。作为响应，信息处理设备针对位置选择对象313所置于其上的缩略图像305执行动画(animation)。该动画从该帧中相应的缩略图像305的场景开始。

在图1中，仅示出一个显示区域301。然而，显示区域301的大小可以根据显示屏等的大小而改变。可替换地，在一个显示屏中可以布置多个显示区域301。

信息处理设备以与各个图像相关联的时间信息的顺序来编排构成运动图片的图像，并且因此，用户可以以与他读普通连环画相同的方式容易地理解运动图片数据的内容。此外，根据与缩略图像相关联的运动图片元数据自动布置了诸如发言气球框之类的屏幕效果(以下，也称为效果)，并且因此，用户可以享受评论运动图片数据的内容的乐趣。

<信息处理设备的配置>

以下，将参考图2至图22来详细描述能够实现运动图片的上述连环画式的表示的信息处理设备的配置。

[信息处理设备的总体配置]

首先，将参考图2来详细描述根据本实施例的信息处理设备的总体配置。图2是用于图示出根据本实施例的信息处理设备的配置的框图。

例如，如图2中所示，根据本实施例的信息处理设备10包括运动图片数据获取单元101、运动图片分析单元103、音频提取单元105、连环画显示变换单元107、帧图像数据生成单元109和连环画显示数据生成单元111。信息处理设备10还包括连环画显示执行单元113、显示控制单元115和存储单元117。除了上述单元以外，信息处理设备10例如可以包括用于控制经由任何通信网络与任何设备的通信的通信控制单元(未示出)。

运动图片数据获取单元101例如是由CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)、通信设备等构成。运动图片数据获取单元101根据对信息处理设备10执行的用户操作，从稍后描述的存储单元117和信息处理设备10中所插入的各种记录介质中获取与用户所指定的运动图片相对应的运动图片数据。这里所称的运动图片是指包括与时间信息相关联的多个图像和音频的运动图片的数据。可替换地，运动图片数据获取单元101可以从连接到信息处理设备10的其它设备获取运动图片数据，并且可以从经由诸如因特网等的通信网络连接的各种服务器获取运动图片数据。运动图片数据获取单元101将所获得的运动图片数据分别传送到运动图片分析单元103和音频提取单元105。

运动图片分析单元103例如由CPU、ROM、RAM等构成。运动图片分析单元103分析所传送的运动图片数据，并且提取表征运动图片特征的特征量。运动图片分析单元103通过使用所提取出的特征量来生成运动图片元数据，即，有关特征量的元数据。这些特征量是针对构成运动图片数据的图像数据和音频数据两者来提取的。所生成的运动图片元数据不仅包括与图像数据有关的特征量元数据，也包括与音频数据有关的特征量元数据。运动图片分析单元103将所生成的运动图片元数据传送给稍后描述的连环画显示变换单元107。运动图片分析单元103不仅可以使用通过分析运动图片生成的运动图片元数据，也可以使用能在诸如便携式摄像机之类的成像设备上获得的元数据，来作为要由连环画显示变换单元107使用的运动图片元数据。这里，能在成像设备上获得的元数据例如包括：所记录的快照、最喜爱的按钮、放大(zoom-in)按钮、缩小(zoom-out)按钮等的操作历史。此外，运动图片分析单元103将从运动图片数据获取单元101传送的运动图片数据中所包括的图像数据传送给稍后描述的帧图像数据生成单元109。

稍后将再详细描述运动图片分析单元103。

音频提取单元105例如由CPU、ROM、RAM等构成。音频提取单元105从自运动图片数据获取单元101传送的运动图片数据中提取音频数据。当音频提取单元105提取音频数据时，音频提取单元105可以关于ROM、存储单元117等中所存储的运动图片数据的格式等来参考数据库等。此外，音频提取单元105可以在必要时执行诸如压缩所提取出的音频数据之类的变换处理。音频提取单元105将所提取出的音频数据传送给稍后描述的连环画显示数据生成单元111。

连环画显示变换单元107例如由CPU、ROM、RAM等构成。连环画显示变换单元107基于运动图片元数据来从运动图片数据中提取多个图像。连环画显示变换单元107还将预定的显示区域划分成帧，并且将所提取出的多个图像的布置变换成连环画式的布置。此外，连环画显示变换单元107生成包括有关各个帧中所布置的图像的信息的帧信息。连环画显示变换单元107将所生成的帧信息传送给稍后描述的帧图像数据生成单元109和连环画显示数据生成单元111。

以下将再详细描述连环画显示变换单元107。

帧图像数据生成单元109例如由CPU、ROM、RAM等构成。帧图像数据生成单元109基于从运动图片分析单元103传送的图像数据和从连环画显示变换单元107传送的帧信息来生成帧图像数据。更具体而言，帧图像数据生成单元109从构成运动图片的多个帧图像中提取帧信息中所描述的帧图像。此外，帧图像数据生成单元109基于帧信息中所描述的信息来放大或缩小所提取出的帧图像，从而使得帧图像成为与帧的大小相对应的缩略图像。此外，帧图像数据生成单元109基于帧信息来生成用于动画再现的图像。然后，帧图像数据生成单元109将所生成的帧图像数据(即，缩略图像数据和用于动画再现的图像数据)传送给连环画显示数据生成单元111。

连环画显示数据生成单元111例如由CPU、ROM、RAM等构成。连环画显示数据生成单元111通过使用从存储单元117等获得的效果数据和从音频提取单元105、连环画显示变换单元107和帧图像数据生成单元109传送的各种信息来生成连环画显示数据。例如，如图3中所示，连环画显示数据至少包括例如XML格式的帧信息、帧图像数据、音频数据和效果数据。信息处理设备10和其它设备可以通过读和显示XML格式的帧信息来在各种应用程序、诸如中生成连环画显示屏幕。

连环画式的表示例如可以在使用Visual C++(注册商标)等的单独网络应用程序、诸如Java Brew之类的用于便携式电话的应用程序和使用Flash、JavaScript等的浏览器应用程序中实现。例如，一般可用的web浏览器可以通过使用具有Action Script的Flash文件(SWF文件)来读XMI的用作连环画图像的布置信息的帧信息而显示连环画显示屏幕。

当连环画显示数据是利用Flash生成的时，可以更互动地显示这些内容，例如，可以利用按钮来翻动或利用鼠标轮来卷动页面。当这些帧是按时间顺序用动画显示的时，用户可以流畅地回顾具有许多帧的内容而不混乱。当用户点击缩略图像来再现音频时，在除了所点击的帧以外的帧中的透明度可以被增大，使得可以以容易理解的方式强调当前再现的帧。如上所述，当帧信息被输出作为AML格式的文件时，包括Flash的各种应用程序可以参考帧信息。

连环画显示数据生成单元111将所生成的连环画显示数据传送给连环画显示执行单元113。连环画显示数据生成单元111还可以将所生成的连环画显示数据经由诸如CD-ROM和DVD-ROM之类的各种记录介质和经由诸如因特网等的通信网络提供给其它信息处理设备。

连环画显示执行单元113例如由CPU、ROM、RAM等构成。连环画显示执行单元113例如可以通过执行用于执行从连环画显示数据生成单元111传送的连环画显示数据的应用程序来显示如图1中所示的连环画。用于执行连环画显示数据的应用程序可以是用于执行连环画显示的专用应用程序或可以是诸如web浏览器之类的一般可用的应用程序。连环画显示执行单元113执行连环画显示数据来使得连环画经由稍后描述的显示控制单元115被显示在显示单元(未在图中示出)上。

显示控制单元115例如由CPU、ROM、RAM等构成。显示控制单元115获取存储单元117等中所记录的与显示屏幕上所要显示的内容相对应的数据，并且在显示屏幕上显示所获得的数据。当显示控制单元115从信息处理设备10上所布置的输入单元接收表示诸如鼠标指针之类的位置选择对象的移动的信号时，显示控制单元115根据所接收到的信号在显示屏幕上显示位置选择对象的移动。当连环画显示执行单元113请求显示控制单元115改变显示内容时，显示控制单元115基于来自连环画显示执行单元113的请求来改变显示屏幕上所显示的显示内容。

存储单元117存储利用视频相机、便携式电话等拍摄的运动图片数据，并且还存储各种运动图片数据(例如，诸如TV内容之类的运动图片内容)。存储单元117还存储显示屏幕上所要显示的对象数据。这里所提及的对象数据例如是构成诸如图标、按钮和缩略之类的图形用户接口(GUI)的任何部分。

存储单元117也可以在必要时存储当根据本实施例的信息处理设备10执行某些处理时被保存的各种数据库或中间数据和各种参数。存储单元117可以被以下单元自由读写：运动图片数据获取单元101、运动图片分析单元103、音频提取单元105、连环画显示变换单元107、帧图像数据生成单元109、连环画显示数据生成单元111、连环画显示执行单元113、显示控制单元115等。

[运动图片分析单元103的配置]

随后，将参考图4至图6来详细描述根据本实施例的运动图片分析单元103的配置。图4是图示出根据本实施例的运动图片分析单元103的配置的框图。图5和图6是用于图示出运动图片元数据的说明性示图。

例如，如图4中所示，运动图片分析单元103主要包括运动图片数据划分单元131、脸检测单元133、场景转变检测单元135、摄影操作检测单元137、音频分析单元139和运动图片元数据生成单元141。

运动图片数据划分单元131例如由CPU、ROM、RAM等构成。运动图片数据划分单元131将从运动图片数据获取单元101传送的运动图片数据划分成图像数据和音频数据。运动图片数据划分单元131将所获得的运动图片数据传送给帧图像数据生成单元109、脸检测单元133、场景转变检测单元135和摄影操作检测单元137。运动图片数据划分单元131还将所获得的音频数据传送给音频分析单元139。

脸检测单元133例如由CPU、ROM、RAM等构成。脸检测单元133在构成运动图片的帧图像的每一个帧图像中检测人脸。当在帧图像中存在人脸时，脸检测单元133还执行对有关人脸的各种信息(例如，图像中存在的脸的数目、脸是否正在笑、脸的位置、脸的方向以及脸是否被缩放)的检测。当脸检测单元133执行以上检测时，脸检测单元133例如可以参考存储单元117等中之前存储的检测数据库等并且可以执行检测程序等。

在以上检测结果中，对于可以用两个值(即“是/否”)来表示的诸如脸是否存在、脸是否在笑以及脸是否被缩放之类的项目的检测结果，脸检测单元133在“是”的情况中输出值“1”，并且在“否”的情况中输出值“0”。对于诸如脸的方向和图像中所存在的脸的数目之类的项目，脸检测单元133可以原样输出检测结果或可以输出被根据预定的变换方法变换成值的检测结果。

脸检测单元133将这些检测结果传送给稍后描述的运动图片元数据生成单元141。

场景转变检测单元135例如由CPU、ROM、RAM等构成。场景转变检测单元135在构成运动图片的帧图像中的每个帧图像中是否发送场景转变，并且输出检测结果作为被称为场景变化得分的值。场景变化得分是表示感兴趣的帧图像与之前的帧图像有多不同的数值。换而言之，场景变化得分表示感兴趣的帧图像和之前的帧图像之间的类似程度。该场景变化得分例如可以用色彩柱状图来定义。当场景转变检测单元135执行以上检测时，场景转变检测单元135例如可以参考存储单元117等中之前所存储的场景转变检测数据库等，并且可以执行检测程序等。

场景转变检测单元135向稍后描述的运动图片元数据生成单元141传送所获得的场景变化得分。

摄影操作检测单元137例如由CPU、ROM、RAM等构成。摄影操作检测单元137检测构成运动图片的帧图像中的每一个帧图像的摄影操作。摄影操作表示当拍摄运动图片时诸如视频相机之类的成像设备是如何移动的。更具体而言，例如，摄影操作检测单元137比较感兴趣的帧图像和之前的帧图像来检测成像设备移动的方向并且检测成像设备移动的距离。在这种情况中，摄影操作检测单元137可以基于场景转变检测单元135的检测结果来执行对摄影操作的检测处理。摄影操作检测单元137例如可以参考存储单元117等中之前所存储的摄影操作检测数据库，并且可以执行检测程序等。

这里，成像设备的移动距离例如可以由图像在帧之间移动的像素数来表示。这样检测到的摄影操作的示例例如包括固定、左右移动、上下移动、旋转、放大、缩小等。这里，固定是指在成像设备被固定的情况下拍摄运动图片。左右移动(Panoramic Viewing)是指在成像设备在水平方向移动的情况下拍摄运动图片。上下移动是指在成像设备在垂直方向移动的情况下拍摄运动图片。旋转是指在成像设备沿轴旋转的情况下拍摄运动图片。

摄影操作检测单元137向稍后描述的运动图片元数据生成单元141传送摄影操作的以上检测结果。

音频分析单元139例如由CPU、ROM、RAM等构成。音频分析单元139分析从运动图片数据划分单元131传送的音频数据并且计算与有关运动图片的音频数据有关的特征量。更具体而言，音频分析单元139分析：在与构成运动图片的帧图像的每一个帧图像相关联的音频数据中是否存在以下声音。换而言之，音频分析单元139对音频数据执行分类处理，以确定声音是否是语音、笑声、诸如“哇”之类的喝彩声、诸如“砰”之类的鼓掌声(拟声)、诸如鼓掌声之类的欢呼声或音乐。对音频数据的分类处理例如可以通过参考存储单元117等中之前所存储的音频分析数据库等并且执行音频分析程序等来执行。

例如，音频分析单元139也可以分析声音数据的音量，并且例如可以对声音进行量化并且将其作为数值输出。当音频数据包括人发出的声音(例如，语音或笑声)时，音频分析单元139还可以执行确定该声音是由男人、女人还是孩子等发出的分析。以上分析例如可以通过参考表示音频的谱并且分析相应波形的幅度、音频数据的频率等来执行。

音频分析单元139向运动图片元数据生成单元141传送以上分析结果。

运动图片元数据生成单元141例如由CPU、ROM、RAM等构成。运动图片元数据生成单元141收集从脸检测单元133、场景转变检测单元135、摄影操作检测单元137、音频分析单元139等传送的检测结果和分析结果，并且生成与表征运动图片特征的特征量有关的运动图片元数据。

图5示出由运动图片元数据生成单元141生成的运动图片元数据中所包括的检测结果或分析结构的示例。如图5中所示，运动图片元数据包括与从图像数据提取出的特征量有关的元数据和与从音频数据提取出的特征量有关的元数据。图6图示出与运动图片元数据中所包括的多个特征量中的“是否为脸”、“脸的数量”、“是否存在语音”、“是否存在笑声”有关的特征量。在图6中，在图表中表示出特征量的各个值。在图6中所示的每个图表中，横坐标表示与运动图片数据相关联的时间或附到构成运动图片的帧图像的编号，并且纵坐标表示特征量。图6示出每个特征量是1或0任一者的情况，但是，即使在每个特征量是0和1之间的连续值的情况中，也可以以相同方式应用本实施例。

如图6中所示，在运动图片元数据中，针对构成运动图片的所有图像以及针对与这些图像相关联的音频，按照时间顺序分别描述各个特征量的值。运动图片元数据不必是图6中所示的形式。运动图片元数据可以是描述特征量的表格的形式，在表格中，每一列表示附到构成运动图片的帧图像的编号。

运动图片元数据生成单元141向连环画显示变换单元107传送这样生成的运动图片元数据。

由处理单元执行的以上分析方法仅仅是示例，本实施例不限于以上示例。运动图片分析单元103根据所要生成的运动图片元数据可以包括除了以上处理单元以外的各种分析单元。

[连环画显示变换单元107的配置]

接着，将参考图7至图22来详细描述根据本实施例的连环画显示变换单元107的配置。首先，将参考图7来详细描述连环画显示变换单元107的整体配置。图7是用于图示出根据本实施例的连环画显示变换单元107的配置的框图。

例如，如图7中所示，连环画显示变换单元107包括摘要得分计算单元151、缩略图数目确定单元153、摄影操作元数据利用单元155、图像大小确定单元157、帧图像布置单元159和效果图像布置单元161。连环画显示变换单元107还包括用于收集由以上处理单元生成的各种信息并且用于生成帧信息的帧信息生成单元163。

摘要得分计算单元151例如由CPU、ROM、RAM等构成。对于构成运动图片的多个图像中的每一个图像，摘要得分计算单元151基于所传送的运动图片元数据来计算摘要得分(以下简称为DS)，即通过对多个特征量求加权和获得的值。

例如，如图8中所示，针对用于计算摘要得分的运动图片元数据中的特征量设置加权系数。在图8中，例如，与“是否存在脸”有关的特征量“脸”被设置加权系数0.7，并且与“脸的数量”有关的特征量“脸计数”被设置加权系数1.2。与“脸是否被缩放”有关的特征量“脸缩放”被设置加权系数1.5，并且与“脸是否在笑”有关的特征量“笑检”被设置加权系数1.0。

此外，不仅与图像数据有关的以上运动图片元数据而且与音频数据有关的运动图片元数据都被以相同方式设置加权系数。例如，在图8中，与“是否存在语音”有关的特征量“语音”被设置加权系数1.0，并且与“是否存在笑声”有关的特征量“笑声”被设置加权系数2.2。与“是否存在喝彩声”有关的特征量“喝彩”被设置加权系数3.6，并且与“是否存在鼓掌声”有关的特征量“鼓掌声”被设置加权系数1.8。与“是否存在鼓掌声”有关的特征量“鼓掌声”被设置加权系数2.7，并且与“是否存在音乐”有关的特征量“音乐”被设置加权系数1.2。

摘要得分DS是使用这些加权系数和运动图片元数据中所包括的特征量来计算的。摘要得分DS是通过分别将特征量乘以它们的加权系数并且将DS的计算中使用的所有经加权的特征量加和来计算的。

图8中的所示的加权系数表示每个特征量对使得视频场景令人兴奋有多大贡献。在图8的示例中，以下特征量的加权系数被设置成相对较大的值：与“脸是否被缩放”有关的特征量的加权系数，与“是否存在笑声”有关的特征量的加权系数，与“是否存在喝彩声”有关的特征量的加权系数，与“是否存在鼓掌声”有关的特征量的加权系数以及与“是否存在欢呼声”有关的特征量的加权系数。这基于以下经验规则：具有声音的视频场景和人被缩放的视频场景更有可能“令人感兴趣”或“令人兴奋”。可替换地，通过统计学习获得的参数可以用作加权系数，或者可以允许用户输入和设置加权系数。此外，这些加权系数可以响应于来自用户的反馈被更新。

如上所述，各种运动图片元数据被加权，并且具有各种特征的场景可以被提取出作为令人兴奋的场景。这些令人兴奋的场景可以被自动检测到以反映运动图片的特征。

摘要得分计算单元151可以向稍后描述的缩略图数目确定单元153传送这样计算出的摘要得分DS。

缩略图数目确定单元153例如由CPU、ROM、RAM等构成。缩略图数目确定单元153基于所传送的摘要得分从构成运动图片数据的多个图像中提取要被布置在帧中的缩略图像，并且确定缩略图像的数目。以下，将参考图9来详细描述缩略图像的提取方法。

如上所述，摘要得分计算单元151针对构成运动图片的所有帧图像来计算摘要得分。然后，缩略图数目确定单元153计算摘要得分在构成运动图片的所有帧图像中的分布，并且计算感兴趣的运动图片数据的摘要得分的中值(Median)。以下，例如，如图9中所示，缩略图数目确定单元153提取出所具有的摘要得分等于或大于所计算出的中值的帧图像作为缩略图像的候选。当缩略图像的候选是以这种方式提取的时，有可能在剪除具有低摘要得分并且被认为是不令人兴奋的帧图像的同时提取令人兴奋的场景。

以下，将按照步骤顺次具体描述缩略图数目确定单元153如何从所具有的摘要得分等于或大于中值的帧图像中采用用于缩略图像的帧。在这种情况中，如果缩略图数目确定单元153简单地采用所具有的摘要得分等于或大于中值的所有帧图像，则将列出大量类似图像的帧，这会引起帧的布置变得单调的问题。可替换地，如果缩略图数目确定单元153简单地按照摘要得分的降序来采用帧图像，则列出相似大小的大帧，这可能无法实现动态的帧布置。因此，为了避免这样的情况，如下选择缩略图像。

首先，缩略图数目确定单元153判断运动图片元数据中所包括的场景变化得分是否等于或大于预定的阈值。当该场景变化得分大时，认为该场景已经变为另一场景，并且可以检测场景中的变化。当场景变化得分大于阈值时，缩略图数目确定单元153认定该图片由于相机移动太多是模糊的，并且不采用该图像作为缩略图像并且移除该图像。具体地，在私人的视频内容中，当相机快速移动时，场景变换得分趋向于快速增大。在这样的情况中拍摄的图像通常是模糊的和不太好的，并且因此，这样的图像不被用作缩略图像。

接着，缩略图数目确定单元153计算摘要得分的分布和中值。如上所述，中值被用来确定帧图像是否要被用作缩略图像。

当作为缩略图像的候选的帧图像的数目等于或大于预定的设置值m时，缩略图数目确定单元153设置阈值T＝中值。当作为缩略图像的候选的帧图像的数目少于设置值m时，缩略图数目确定单元153设置阈值T＝最小摘要得分。应当注意，以上设置值例如可以被设置为约100。该处理被执行以防止当再现时间很短时，所显示的帧的数目太少。

随后，缩略图数目确定单元153确定不采用连续地具有相同摘要得分或具有小于T的摘要得分的候选者。该处理被执行来避免具有高的摘要得分的帧被用作令人兴奋的场景以及相同场景中具有相同兴奋度的帧被连续采用的情况。如果具有相同兴奋度的帧连续出现，则连续列出相同大小的类似帧，这会给出单调的印象。因此，不采用这样的帧。

以下，缩略图数目确定单元153计算所采用的帧图像的总数，并且当该总数等于或大于预定阈值时，执行跳过处理。这里使用的阈值是根据所要显示的页面数来确定的。从所采用的帧中，仅可以安插在页面中的帧被用作缩略图像。例如，缩略图数目确定单元153可以按摘要得分的降序排列帧图像并且以恒定间隔跳过帧图像。从而，可以执行跳过处理，而同时保持摘要得分的分布。

最终，缩略图数目确定单元153在具有小的摘要得分的帧连续出现的情况中执行跳过处理。当类似的小帧在运动图片的连环画式的显示中连续出现时，帧的布置是按顺序的，这给出非常单调的印象。由于小的帧趋向于具有小的摘要得分，所以，通过优选跳过这样的帧可以使帧的布置更类似连环画。缩略图数目确定单元153采用在以上放映之后仍然保留的帧图像，作为连环画显示中的帧(即，缩略图像)。此后，这些缩略图像可以称为代表帧(或代表帧图像)。

当缩略图数目确定单元153如上所述选择要被用作缩略图像的帧图像时，缩略图数目确定单元153随后选择要用于帧中缩略图像的动画的图像(以下，可以称为动画帧图像)。更具体而言，如图10中所示，缩略图数目确定单元153提取预定时间的与所提取出的缩略图像(代表帧图像)中的每一个连接的帧图像作为动画帧图像。当提取动画帧图像时，不考虑摘要得分的大小。提取帧图像的“预定时间”可以被设置为任何值。例如，预定时间可以被设置为使得包括代表帧的动画持续1秒的值。例如，当运动图片数据的帧频是30FPS(帧每秒)时，1秒的帧图像数约为30帧。

缩略图数目确定单元153设置图像数目信息，即，有关如上所述所提取的缩略图像(代表帧)和缩略图像的数目的信息和有关动画帧的信息。这里，有关缩略图像和缩略图像的数目的信息例如描述从运动图片的第个帧图像开始哪些编号的帧图像被选作缩略图像以及总共存在多少缩略图像。缩略图数目确定单元153将该图像数目信息传送给后述图像大小确定单元157和帧信息生成单元163。

在以上说明中，已经描述了缩略图数目确定单元153选择预设时间的动画帧图像的情况。可替换地，可以使用运动图片元数据中所包括的有关摄影操作的特征量来动态地改变所选择的动画帧图像的数目。该处理例如由稍后描述的摄影操作元数据利用单元155执行。

摄影操作元数据利用单元155例如由CPU、ROM、RAM等构成。摄影操作元数据利用单元155基于有关摄影操作的运动图片元数据来确定由缩略图数目确定单元153提取作为动画帧图像的的图像的数目。

在说明摄影操作元数据利用单元155之前，将首先简要描述如果不考虑摄影操作来选择动画帧图像将发生什么。

例如，如图1中所示，当诸如鼠标指针之类的位置选择对象被置于图像上时开始的动画(缩略图动画)对于理解整个运动图片的内容是有用的，并且还可以用作运动图片的内容的索引或概要。然而，当动画在没有考虑摄影操作的情况下被简单再现时，由相机的大量移动引起的屏幕上的主要变化使得用户难以看见屏幕(帧)，因为屏幕(帧)很小。结果，动画有可能看起来不自然。当图像快速改变时(例如，屏幕上所示出的图像快速地从一个人变成另一个人的情况)，用作运动图片内容概要的动画的故事可能变得不一致。当动画被简单地再现时，动画可能看起来单调。因此，需要一种例如用于剪除动画中相机移动大的部分并且响应于场景变化而进一步切换再现的技术。在本实施例中，如下所述的摄影操作元数据利用单元155被设置为使得能够考虑摄影操作来选择动画帧图像。

摄影操作元数据利用单元155从缩略图数目确定单元153接收图像数目信息。摄影操作元数据利用单元155基于与图像数目信息中所描述的与动画帧图像有关的运动图片元数据中所描述的摄影操作有关的特征量来计算摄影操作的积分值。这里，存在两种摄影操作积分值，即，通过对摄影操作的绝对值进行积分获得的积分值和通过对摄影操作本身的值进行积分(而不考虑摄影操作的绝对值)获得的积分值。在本实施例中，可以使用以上两种摄影操作。摄影操作的绝对值的积分值是指相机移动的总距离。当在不考虑绝对值的情况下使用积分值时，当相机返回移动前原来的位置或原来的方向时，摄影操作的积分值返回0，这使得除非基于关于初始位置的相对值，否则不可能估计摄影操作的量。然而，在不考虑绝对值的情况下使用的积分值具有能够容忍相机的晃动和噪声的优势。相对地，摄影操作的绝对值的积分值可能受手的晃动和噪声的影响，但是不论相机向哪个方向移动总是增加，因此，具有可以基于相机的总的移动距离来容易地估计积分值的优势。

摄影操作元数据利用单元155通过使用所计算出的摄影操作积分值和预设的阈值TH来确定动画帧图像的数目。以下，将参考图11A和图11B来详细描述由摄影操作元数据利用单元155用来确定动画帧图像的数目的方法。图11A和图11B示出通过使用摄影操作的绝对值的积分值来确定动画帧图像的数目的方法。当在不考虑绝对值的情况下使用摄影操作的积分值时，积分值可能是负值，并且因此，可以通过设置绝对值相等的正的和负的阈值TH(即，通过设置阈值+TH和-TH)来确定图像的数目。

例如，如图11A和图11B中所示，摄影操作元数据利用单元155检测摄影操作的绝对值的积分值等于或大于预定阈值TH的i个帧，并且利用预定设置值n将从0到i的区间划分成n个相等的部分。以下，摄影操作元数据利用单元155通过使用i/n的值来选择动画帧图像。例如，在图11A和图11B中，在原点0为代表帧的位置的情况中，具有的帧编号与(i/n)，2×(i/n)，…，n×(i/n)＝i最接近的帧图像被选作动画帧图像。

这里，设置值是根据摄影操作的积分值来确定的，以与动画帧图像的数目相对应。例如，n被设置为使得n＝2至12，并且n根据积分值被设置为n＝2，4，8，12等。更具体而言，当摄影操作的积分值大时，n被设置为小的值。当摄影操作的积分值小时，n被设置为大的值。可以通过任何使用摄影操作的积分值的方法来确定设置值n。例如，可以基于以下准则来确定设置值n。以下，FPS表示运动图片数据的帧频。

(1)n＝2，其中，摄影操作的积分值＞(0.1×FPS×2)

(2)n＝4，其中，(0.1×FPS×2)≥摄影操作的积分值＞(0.1×FPS×1)

(3)n＝8，其中，(0.1×FPS×1)≥摄影操作的积分值＞(0.1×FPS×0.5)

(4)n＝12，其中，(0.1×FPS×0.5)≥摄影操作的积分值

如上所述，与动画帧图像的数目相对应的设置值n被确定，使得动画帧图像可以根据摄影操作是大还是小被动态确定。换而言之，在如图11A中所示，摄影操作相对小的情况中，摄影操作的积分值不容易达到阈值TH。因此，当摄影操作的积分值达到阈值TH时，帧的数目趋向于为接近30的值。在摄影操作的积分值相对小的情况中，设置值n被设置为大的值，并且因此，可以自从0至i的相对大的区间中选择许多图像。在图像是利用小的摄影操作拍摄的情况中，图像几乎不改变。因此，通过增加动画帧图像的数目可以流畅地再现动画。

相对地，在如图11B中所示摄影操作相对大的情况中，摄影操作的积分值容易达到阈值TH。因此，当摄影操作的积分值达到阈值TH时，值i趋向于是小的值。在摄影操作的积分值相对大的情况中，设置值n被设置为小的值，并且因此，从自0至i的相对小的区间中选择较少的图像。在图像是利用大的摄影操作拍摄的情况中，图像大大改变。因此，通过减少动画的数目n可以选择最接近的帧图像(即，高度类似的图像)。

此外，摄影操作元数据利用单元155根据摄影操作的积分值的大小来设置包括缩略图像和动画帧图像的动画的再现速度。更具体而言，当所选择的动画帧图像的数目大时，摄影操作元数据利用单元155将再现速度设置为大的值来快速再现动画。当所选择的动画帧图像的数目小时，摄影操作元数据利用单元155将再现速度设置为小的值来以慢速再现动画。具体地，例如，如下设置动画的再现速度：

(1)再现速度＝1(FPS)，其中，动画图像的数目(n)是2或更少

(2)再现速度＝2(FPS)，其中，动画图像的数目(n)是多于2少于4或是4

(3)再现速度＝8(FPS)，其中，动画图像的数目(n)是多于4少于8或是8

(4)再现速度＝24(FPS)，其中，动画图像的数目(n)多于8

摄影操作元数据利用单元155可以通过执行如上所述的处理来从多个候选的动画帧图像中采用类似的帧图像，从而能够防止突然的场景变化并且能够生成自然的动画。

接着，将参考图7来描述图像大小确定单元157。图像大小确定单元157例如由CPU、ROM、RAM等构成。图像大小确定单元157基于摘要得分来确定预定显示区域中所放置的缩略图像的大小。

更具体而言，例如如图12中所示，图像大小确定单元157按照摘要得分的降序来对构成运动图片的所有图像进行分类。然后，图像大小确定单元157确定具有最高的若干百分比的摘要得分(例如，最高的3％)的图像不用于确定图像的大小，因为这样的图像是离群值(outlier value)。以下，图像大小确定单元157根据摘要得分的大小来划分摘要得分等于或大于中值但是小于离群值的图像划分成m个相等的部分，并且生成m个级别的图像大小。这里，设置值m可以根据屏幕上所显示的显示区域的大小等被设置为任何值。例如，设置值m可以被设为2或3。

图12示出设置两个级别的图像大小的情况。在图12中，图像大小B小于图像大小A。图像大小确定单元157针对从缩略图数目确定单元153传送的图像数目信息中所描述的缩略图像，确定相应图像的摘要得分属于图12中所示的图像大小A中的区域或图像大小B中的区域中的哪一个。根据该确定结果，图像大小确定单元157确定图像数目信息中所描述的所有缩略图像的图像大小。当图像大小被以这种方式确定时，具有相对大的摘要得分的图像具有相对大的图像大小，并且具有相对小的摘要得分的图像具有小的图像大小。从而，在根据本实施例的信息处理设备10中，可以根据兴奋度来自动确定图像大小。

当所选择的缩略图像具有指示了在图像中存在脸的运动图片数据时，图像大小确定单元157以放大面部区域(即示出脸的区域)的方式来确定图像大小。当图像中存在多个面部区域时，图像大小确定单元157以使得所有面部区域都被包括在该图像中的方式来放大图像数据的大小。

例如，如图13中所示，仅包括一个面部区域的帧图像a被选作缩略图像，图像大小确定单元157以放大面部区域的方式来确定连环画显示屏幕的图像大小。当包括两个面部区域的帧图像b被选作缩略图像时，图像大小确定单元157以使得这两个面部区域都被包括在图像中的方式放大图像。

图像大小确定单元157设置帧图像信息，即，有关这样设置的缩略图像的大小的信息(动画帧图像的大小)，并且将帧图像信息传送给稍后描述的帧图像布置单元159和帧信息生成单元163。

随后，将还参考图7来描述帧图像布置单元159。帧图像布置单元159例如由CPU、ROM、RAM等构成。帧图像布置单元159将已图像大小确定的缩略图像以预定次序布置到帧中。以下，将参考图14至图17来详细描述由帧图像布置单元159执行的帧布置处理。

如上所述，帧图像布置单元159将图像大小已确定的缩略图像布置到显示区域上。在这种情况中，帧图像布置单元159通过按照视频的时间顺序布置图像来实现反映视频内容的帧布置。普通的连环画书基本上在一页中包括多行，并且每一行包括多个帧。这样的连环画书的读者通过从左到右读一行中包括的帧并且在到达这些帧的结尾时移到下一行来理解连环画书的内容。在该方法中，以与实际的连环画书相同的方式，将缩略图像从左到右布置在每一行中，并且从上到下布置行。

为了实现与右翻书相同的页面顺序，帧图像布置单元159在将缩略图像布置到某一行中时从右向左布置缩略图像。相反，为了实现与左翻书相同的页面顺序，帧图像布置单元159在将缩略图像布置在某一行中时，从左向右布置缩略图像。

图14是示出缩略图像的示例性布置的说明性示图。在图14中，假定为与右翻书相同的页面顺序。在显示区域301中，布置16个缩略图像(在图中表示为Pic.1至Pic.16)。在图14中，所附加的编号Pic.1至Pic.16是依照运动图片的时间顺序的。

在这种情况中，帧图像布置单元159定义具有与最小的缩略图像的大小相同的大小的区域作为布置单位框501。布置单位框501用作布置缩略图像的一行。帧图像布置单元159可以通过在放大布置单位框501的同时布置缩略图像来实现如图14中所示的图像布置。然而，如果缩略图像被简单地布置，可能在图像之间存在空缺。在这样的情况中，放大缩略图像以实现连环画式的帧布置。

以下，将参考图15至图17来以具体方式进行说明。首先，帧图像布置单元159基于所要布置的图像的最小大小(最小高度)来设置布置单位框501(以下，称为单位帧501)。帧图像布置单元159通过使用单位帧501来布置缩略图像。

如图15中所示，帧图像布置单元159判断缩略图像是否小于单位帧501，并且按照时间顺序布置第一缩略图像，即图像Pic.1。当布置随后的缩略图像Pic.2时，帧图像布置单元159比较单位帧501的高度和缩略图像Pic.2的高度并且判断是否布置该图像。在图15中所示的示例中，缩略图像Pic.1的高度和缩略图像Pic.2的高度相同，所以，帧图像布置单元159将缩略图像Pic.2布置为与缩略图像Pic.1相邻并且在其右边。

随后，如图15B中所示，将描述要布置具有比单位帧501大的高度的缩略图像Pic.3的情况。帧图像布置单元159比较单位帧501的高度和缩略图像Pic.3的高度。在这种情况中，缩略图像的高度大于单位帧501的高度，因此，如图15C中所示，帧图像布置单元159增大单位帧501的高度，并且从该行的开始起重新布置缩略图像。

当缩略图像的高度小于单位帧501的高度时，帧图像布置单元159判定是否可以布置该缩略图像。当可以布置缩略图像时，帧图像布置单元159将图像布置在该位置，并且移动到被布置的图像下一行处的位置并且判断是否可以在那布置随后的缩略图像。结果，如图15C中所示，Pic.2被布置在Pic.1下面，Pic.3被布置为与Pic.1和Pic.2相邻并且在它们的右边。

当如图16(a)中所示布置的缩略图像Pic.6朝向下方超出单位帧501时，帧图像布置单元159改变单位帧501的大小，并且从大小已改变的行的开始起重新布置缩略图像。在这种情况中，随Pic.5之后放置的图像Pic.6的图像大小大于Pic.5的图像大小。因此，如果图像Pic.6被放在图像Pic.5之下，则图像Pic.6超出单位帧501。为了避免这样的情况，帧图像布置单元159将缩略图像布置为与Pic.5相邻并且在其右边。当如图16(b)所示在当前的图像与之前的图像之间存在空缺时，帧图像布置单元159放大之前的缩略图像以填充它们之间的空缺。换而言之，在如图16(b)所示的情况中，如图16(c)中所示放大Pic.5来填充它们之间的空缺。

如图17A中所示，当图像Pic.4朝向右方超出显示区域301的右端时，帧图像布置单元159认识到当前行已被填充，并且移动到下一行。在下一行，帧图像布置单元159在通过以上方法改变单位帧501的大小的同时如图17(b)中所示布置缩略图像Pic.4。还在这种情况中，当在之前的图像和当前图像之间存在空缺时，以与图16的情况相同的方式放大之前的图像来填充空缺。在图17中所示的情况中，如图17(c)中所示，帧图像布置单元159放大Pic.3来消除空缺。

帧图像布置单元159根据如上所述程序来布置缩略图像。当所有的缩略图像都被布置时，帧图像布置单元159结束布置处理。

当缩略图像的布置结束时，帧图像布置单元159将帧布置信息传送给稍后描述的效果图像布置单元161和帧信息生成单元163。帧布置信息表示哪些缩略图像被布置，这些缩略图像被变成多大的大小，以及，这些缩略图像被布置在哪里。当针对缩略图像的放大处理被执行来填充图像布置中发生的空缺时，帧图像布置单元159可以向图像大小确定单元157和帧信息生成单元163通知该效果，并且可以请求图像大小确定单元157和帧信息生成单元163校正帧图像信息。

应当注意，当图像大小确定单元157确定缩略图像的大小和帧图像布置单元159布置缩略图像时，可以考虑摄影操作。例如，如图18中所示，将考虑这样的情况：存在3个缩略图像Pic.1至Pic.3，并且这些图像中的每个图像的摄影操作方向是在水平方向上(即，摄影操作是左右移动)。在这种情况中，图像大小确定单元157可以根据摄影操作方向和摄影操作速度来确定缩略图像中每一个的大小和形状。可替换地，帧图像布置单元159可以沿摄影操作方向布置这些缩略图像中的每一个。

在如图18中所示的示例中，摄影操作是左右移动，因此，帧图像布置单元159如图18的较低列中所示在水平方向布置缩略图像。此外，图像大小确定单元157处理这些缩略图像使得这些缩略图像垂直方向上很长，并且可以根据摄影操作速度来确定缩略图像的宽度。换而言之，当摄影操作速度慢时，缩略图像的宽度被设置为大，并且当摄影操作速度快时，缩略图像的宽度被设置为窄。

此外，如图19中所示，当摄影操作是上下移动时，帧图像布置单元159可以在垂直方向上布置缩略图像。可替换地，图像大小确定单元157可以处理这些缩略图像使得缩略图像在水平方向上很长，并且可以根据摄影操作速度来确定缩略图像的高度。

如上所述，图像大小、图像形状和图像布置方向根据摄影操作的方向和速度而改变。因此，可以以更加类似连环画的方式显示缩略图像。

将还参考图7来描述效果图像布置单元161。效果图像布置单元161例如由CPU、ROM、RAM等构成。效果图像布置单元161基于运动图片元数据在布置了缩略图像的帧上布置发言气球框和屏幕效果中的至少一个。例如，效果图像布置单元161通过使用与运动图片数据中所包括的音频数据有关的运动图片元数据来布置发言气球框和屏幕效果中的至少一个。

图20示出音频元数据与发言气球框之间的关系。如图20中所示，效果图像布置单元161在布置了具有相应音频元数据的缩略图像的帧上布置发言气球框，这允许根据本实施例的信息处理设备10实现连环画式的表示。假定，将在Web上显示发言气球框，则其可能被生成为诸如SWF格式之类的向量数据，这使得不仅能够节省容量还可以实现诸如放大和缩小操作之类的动画处理。

当缩略图像具有指示存在脸的运动图片元数据时，效果图像布置单元161布置发言气球框以免覆盖面部区域。从而，可以以连环画式的方式创建连环画显示图像。此外，这允许要表示的预定发言气球框，使得发言气球框表述在相应显示图像中出现的人的话语。更具体而言，首先，效果图像布置单元161比较帧的水平和垂直比。当帧在垂直方向上长时，在垂直方向上布置发言气球框。当帧在水平方向上长时，在水平方向上布置发言气球框。在这种情况中，效果图像布置单元161比较面部区域的中心的坐标和帧的中心的坐标，并且在与脸存在的位置相反的那侧布置发言气球框。例如，当帧在垂直方向上长时，并且面部区域的中心的坐标低于帧的中心的坐标时，效果图像布置单元161在帧的上侧布置发言气球框。

此外，效果图像布置单元161可以根据音频元数据的持续时间来改变发言气球框的大小。例如，可以设置3个级别的时间长度，即1秒或更少，3秒或更少，以及多于3秒。音频持续越长，音频元数据的重要性被确定为越高。以这种方式，效果图像布置单元161可以强调更重要的场景。

效果图像布置单元161可以根据音频元数据的类型来改变发言气球框的颜色。例如，元数据“语音”被附到包括音频的会话场景，并且3中分类“男”、“女”和“孩子”可以被添加到元数据“语音”。这3个分类“男”、“女”和“孩子”是在男人、女人和孩子的会话音频分别被提取之后附加的元数据。效果图像布置单元161可以针对每个元数据预设诸如蓝色、红色和黄色之类的颜色，并且可以改变发言气球框的颜色。从而，在连环画中，不同的发言者可以由不同的颜色来表示。

此外，效果图像布置单元161可以基于运动图片元数据中所包括的摄影操作的特征量来布置诸如射线和效果线之类的屏幕效果。效果线是在水平方向上布置的多根水平线。射线是以从某一区域的中心射出的方式布置的多根线。效果图像布置单元161可以根据摄影操作的方向的类型来布置射线和效果线，并且可以根据摄影操作的速度来增加或减少射线和效果线的线的数目或线的集中度。

例如，如图21中所示，当缩略图像具有指示存在面部区域的运动图片元数据和具有指示执行了所谓的放大的摄影操作的运动图片元数据时，多根射线309被布置在面部区域周围。以这种方式，示出如图21中所示的以放大的脸的缩略图像被布置在布置了射线的缩略图像上，连环画显示屏幕变得更加类似连环画。应当注意，当放大的速度快时，布置许多射线309，而当放大速度低时，布置少数射线309。

在具有指示摄影操作是左右移动的运动图片元数据的缩略图像中，效果图像布置单元161例如如图22中所示沿摄影操作方向布置效果线。以与射线相同的方式，当摄影操作速度快时，布置许多效果线，而当摄影操作速度慢时，布置少数效果线。

以这种方式，根据摄影操作布置与诸如射线和效果线之类的屏幕效果有关的图像，使得漫漶显示屏幕变得更加类似连环画。从而，信息处理设备10的用户可以在享受观看运动图片的乐趣的同时理解运动图片的内容。

将还参考图7来描述帧信息生成单元163。帧信息生成单元163例如由CPU、ROM、RAM等构成。帧信息生成单元163生成与布置了缩略图像的每一帧有关的帧信息。帧信息包括由连环画显示变换单元107的各个处理单元生成的各种信息，例如图像数目信息、帧图像信息、帧布置信息和效果布置信息。通过参考该帧信息，信息处理设备10可以获得用来生成连环画显示屏幕的信息，例如缩略图像要被布置在哪儿、缩略图像要被变成多大大小以及何种效果要被布置。

以上，已经描述了根据本实施例的信息处理设备10的示例性功能。以上构成元件中的每一个可以利用通用组件或电路来制造，或者可以利用专用于每个构成元件的功能的硬件来制造。可替换地，构成元件的所有功能可以通过CPU等来执行。因此，可以根据执行本实施例的技术水平，在必要时改变所使用的配置。

有可能制造用于实现根据本实施例的上述信息处理设备的功能的计算机程序，并且计算机程序可以在个人计算机等上被执行。还可以提供存储了这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁-光盘和闪存。此外，以上计算机程序例如可以经由网络来分发，而不使用记录介质。

<信息处理方法>

以下，将参考图23至图29来详细描述根据本实施例的信息处理方法(更具体而言，运动图片数据的连环画显示方法)。图23至图29是用于图示出根据本实施例的信息处理方法的流程图。

[信息处理方法的总体流程]

首先，将参考图23来详细描述根据本实施例的信息处理方法的总体流程。

首先，根据本实施例的信息处理设备10的运动图片数据获取单元101根据用户的操作获取与用户所指定的运动图片相对应的运动图片数据(步骤S101)。运动图片数据获取单元101可以从信息处理设备10中的存储单元117等或者从信息处理设备10中所集成的各种记录介质获取运动图片数据。可替换地，运动图片数据获取单元101可以从无线或有线连接的另一些设备获取运动图片数据，并且可以从经由诸如因特网之类的通信网络连接的另一些设备获取运动图片数据。运动图片数据获取单元101向运动图片分析单元103和音频提取单元105传送所获得的运动图片数据。

音频提取单元105从自运动图片数据获取单元101传送的运动图片数据提取音频数据(步骤S103)，并且向连环画显示数据生成单元111传送所获得的音频数据。

另一方面，运动图片分析单元103分析从运动图片数据获取单元101传送的运动图片数据，并且生成运动图片元数据，即，与表征与所传送的运动图片数据相对应的运动图片的特征量有关的元数据(步骤S105)。运动图片分析单元103向连环画显示变换单元107传送所生成的运动图片元数据。

随后，连环画显示变换单元107的摘要得分计算单元151基于所传送的运动图片元数据来计算构成运动图片的所有图像(帧图像)的摘要得分。摘要得分计算单元151向缩略图数目确定单元153传送所计算出的摘要得分。

随后，缩略图数目确定单元153通过使用所传送的摘要得分和运动图片元数据来选择用作缩略图像的代表帧图像(步骤S107)。当缩略图数目确定单元153结束选择代表帧图像时，缩略图数目确定单元153选择用于缩略图动画的动画帧图像。缩略图数目确定单元153生成图像数目信息，图像数目信息包括用于识别所选择的代表帧图像的信息、有关代表帧图像的数目的信息、有关与代表帧图像有关的动画帧图像的信息等。缩略图数目确定单元153向图像大小确定单元157和帧信息生成单元163传送所生成的图像数目信息。

当确定动画帧图像和缩略图动画的再现速度时，有可能反映摄影操作元数据利用单元155所提供的分析结果。

随后，图像大小确定单元157基于已经传送的图像数目信息、运动图片元数据、摘要得分等，确定要被显示为连环画的所选择的代表帧图像的图像大小(步骤S109)。图像大小确定单元157生成包括与代表帧图像的图像大小有关的信息的帧图像信息，并且向帧图像布置单元159和帧信息生成单元163传送帧图像信息。

随后，帧图像布置单元159通过使用已经传送的帧图像信息、运动图片元数据等，自动将代表帧图像布置到显示区域并且确定代表帧图像的布置(步骤S111)。当帧图像布置单元159确定代表帧图像的布置时，帧图像布置单元159生成包括有关哪些代表帧图像被布置在哪些位置的信息的帧布置信息，并且向效果图像布置单元161和帧信息生成单元163传送所生成的帧布置信息。

随后，效果图像布置单元161基于已经传送的帧布置信息、运动图片元数据等来布置诸如发言气球框等的效果图像(步骤S113)。当效果图像布置单元161结束布置效果图像时，效果图像布置单元161生成包括有关哪些效果被布置并且这些效果被布置在哪的信息的效果布置信息，并且向帧信息生成单元163传送所生成的效果布置信息。

当图像大小被确定并且帧图像和效果图像被布置时，有可能使用与运动图片元数据中所包括的摄影操作有关的特征量。

随后，帧信息生成单元163基于从各个处理单元传送的图像数目信息、帧图像信息、帧布置信息、效果布置信息等来生成帧信息(步骤S115)。帧信息生成单元163向帧图像数据生成单元109和连环画显示数据生成单元111传送所生成的帧信息。

随后，帧图像数据生成单元109基于图像数据和帧信息来执行用于调节用于显示连环画的帧图像的大小和形状的处理(步骤S117)。帧图像数据生成单元109向连环画显示数据生成单元111传送所生成的帧图像数据。

连环画显示数据生成单元111基于从音频提取单元105传送的音频数据和从连环画显示变换单元107传送的帧信息，生成用于显示连环画的音频数据。此外，连环画显示数据生成单元111通过使用帧信息、音频数据、帧图像数据和效果数据来生成连环画显示数据，即，一组用来显示连环画的数据(步骤S119)。

信息处理设备10通过执行所生成的连环画显示数据来在显示屏幕上显示用作运动图片的内容的概要的连环画。

[用于选择代表帧图像的方法]

接着，将参考图24来详细描述用于选择代表帧图像的方法的流程。图24是用于图示出根据本实施例的用于选择代表帧图像的方法的流程图。

首先，缩略图数目确定单元153判断运动图片元数据中所包括的场景变化得分(SCS)是否等于或大于预定阈值(步骤S201)。当场景变化得分大于阈值时，缩略图数目确定单元153认定该图片由于相机移动太多而模糊，并且确定不选择该图像作为代表帧图像(步骤S203)。

随后，缩略图数目确定单元153计算摘要得分(DS)的分布和中值(步骤S205)。如上所述，中值被用来判断帧图像是否要被选作代表帧图像。

然后，缩略图数目确定单元153判断作为代表帧图像的候选有用的帧的数目是否等于或大于预定设置值N(步骤S207)。当有用的帧的数目等于或大于m时，阈值T被设置为使得阈值T＝中值。当有用的帧的数目小于m时，阈值T被设置为使得阈值T＝最小的摘要得分。

随后，缩略图数目确定单元153判定不选择连续具有相同摘要得分或据哟小于T的摘要得分的候选作为代表帧图像。缩略图数目确定单元153从代表帧图像候选中选择具有等于或大于T的摘要得分但是并不连续具有相同摘要得分的候选。

随后，缩略图数目确定单元153判断是否已对所有的帧执行了以上处理(步骤S211)。当已经对所有的帧执行了该处理时，流程返回步骤S207来执行该处理。

当已经对所有帧执行了该处理时，缩略图数目确定单元153计算所采用的帧图像的总数，并且判断该总数是否等于或大于预定阈值(步骤S213)。当所采用的帧图像的数目等于或大于预定阈值时，缩略图数目确定单元153以恒定间隔执行跳过处理以保持摘要得分的分布(步骤S215)。

随后，缩略图数目确定单元153在具有相同摘要得分的帧连续出现的情况中执行跳过处理(步骤S217)。缩略图数目确定单元153选择在以上放映之后仍然保留的帧图像作为连环画显示中的帧(即，代表帧图像)(步骤S219)。

[用于根据摄影操作来选择动画帧图像的方法]

接着，将参考图25来详细描述根据摄影操作选择动画帧图像的方法。图25是用于图示出根据摄影操作选择动画帧图像的方法的流程图。

首先，摄影操作元数据利用单元155判断当前的帧是否超过最后的帧图像(步骤S301)。当当前的帧图像超过最后的帧图像时，摄影操作元数据利用单元155结束处理。当当前的帧图像没有超过最后的帧图像时，摄影操作元数据利用单元155执行以下处理。

随后，摄影操作元数据利用单元155判断当前的帧图像是否是要被显示的代表帧图像(步骤S303)。当当前帧不是要被显示的代表帧时，摄影操作元数据利用单元155对下一代表帧执行处理(步骤S305)。当当前的帧是要被显示的代表帧时，摄影操作元数据利用单元155参考运动图片元数据中所包括的与摄影操作有关的特征量。更具体而言，摄影操作元数据利用单元155计算与左右移动、上下移动、旋转和缩放有关的摄影操作的绝对值(步骤S307)。

随后，摄影操作元数据利用单元155对关于代表帧图像选择的动画帧图像执行积分处理，即，按次序将摄影操作的绝对值相加。每次摄影操作元数据利用单元155结束对一个动画帧图像的绝对值的相加时，摄影操作元数据利用单元155判断积分值是否等于或大于预定的阈值(步骤S309)。当积分值等于或大于预定的阈值时，摄影操作元数据利用单元155执行稍后将描述的步骤S313的处理。当积分值小于预定的阈值时，摄影操作元数据利用单元155判断是否针对预定时间或更多(例如，1秒)对与摄影操作有关的帧的特征量进行相加(步骤S311)。当已经针对预定时间或更多帧的特征量进行了相加时，摄影操作元数据利用单元155保存当前正被处理的帧数(步骤S313)。当没有针对预定时间或更多对帧的特征量进行了相加时，摄影操作元数据利用单元155继续进行到随后的动画帧图像(步骤S317)，并且返回步骤S307来继续处理。

随后，摄影操作元数据利用单元155根据摄影操作的积分值来确定动画帧图像的数目(步骤S315)。随后，摄影操作元数据利用单元155基于已被确定的动画帧图像和已被保存的帧数来确定用于缩略图动画的动画帧图像。

利用以上处理，根据本实施例的信息处理方法可以实现根据摄影操作的自然的缩略图动画。

[用于动态地布置代表帧图像的方法]

随后，将参考图26A和图26B来详细描述根据本实施例的用于动态布置代表帧图像的方法。图26A和图26B是用于图示出根据本实施例的用于动态布置代表帧图像的方法的流程图。

首先，帧图像布置单元159生成用于布置代表帧图像的布置单位框(步骤S401)。在这种情况中，帧图像布置单元159使得布置单位框的高度与图像大小确定单元157所确定的图像大小的最小高度相同。

随后，帧图像布置单元159判断正被布置的代表帧图像是否小于布置单位框(步骤S403)。当正被布置的代表帧图像小于布置单位框的高度时，帧图像布置单元159执行稍后描述的步骤S405至步骤S409的处理。当正被布置的代表帧图像等于或小于布置单位框的高度时，帧图像布置单元159执行稍后描述的步骤S411和随后的步骤的处理。

当正被布置的代表帧图像的高度大于布置单位框的高度时，帧图像布置单元159将布置单位框的高度布置为正被布置的代表帧图像的高度(步骤S405)。随后，帧图像布置单元159返回该行的开始(即，高度已被放大的布置单位框中的开始)(步骤S407)，并且开始从该行的开始布置图像(步骤S409)。

当正被布置的代表帧图像的高度等于或小于布置单位框的高度时，帧图像布置单元159判断正被布置的代表帧图像是否能够被布置(步骤S411)。

当正被布置的代表帧图像能够被布置时，帧图像布置单元159将代表帧图像布置到相应的位置(步骤S413)。随后，帧图像布置单元159将该图像所要布置于的帧移动到相邻的帧(步骤S415)。当步骤S413中所布置的代表帧图像的高度小于布置单位框的高度时，帧图像布置单元159将在步骤S413中图像所布置于的帧下面的帧设置为步骤S415的相邻帧。当步骤S413中所布置的代表帧图像的高度等于布置单位框的高度时，帧图像布置单元159将在步骤S413中图像所布置于的帧的右边或左边的帧设置为步骤S415的相邻帧。

随后，帧图像布置单元159判断是否所有的代表帧图像都已被布置(步骤S417)。当所有的代表帧图像都已被布置时，帧图像布置单元159结束帧布置处理。当不是所有的代表帧图像图像都已被布置时，帧图像布置单元159对随后的代表帧图像执行步骤S403和随后的步骤的处理。

在步骤S411中，当正被布置的代表帧图像在垂直方向(高度方向)上超出布置单位框时，帧图像布置单元159放大在当前正被布置的图像之前的帧中所布置的图像(步骤S419)。随后，帧图像布置单元159将当前的帧改为相邻的帧(步骤S421)。之后，帧图像布置单元159返回该行的开始(步骤S423)，并且从该行的开始处开始重新布置图像(步骤S425)。

此外，在步骤S411中，当正被布置的代表帧图像在水平方向(宽度方向)上超出布置单位框时，帧图像布置单元159放大在当前正被布置的图像之前的帧中所布置的图像(步骤S427)。随后，帧图像布置单元159继续移到下一行(步骤S429)，并且将布置单位框的大小设置为其原来的大小(步骤S431)。之后，帧图像布置单元159返回步骤S401，并且重新开始代表帧图像的布置处理。

代表帧图像的布置处理是根据如上所述的程序来执行的。从而，根据本实施例的信息处理设备10能够按时间顺序动态布置代表帧图像。

[用于考虑摄影操作来布置代表帧图像的方法]

接着，将参考图27来详细描述用于考虑摄影操作来布置代表帧图像的方法。图27是用于图示出用于考虑摄影操作来布置代表帧图像的方法的流程图。

以下，将描述这样的情况：在代表帧图像已如参考图26A和图26B所述被布置之后，执行用于考虑摄影操作来布置代表帧图像的方法。然而，要理解，也可以在图26A和图26B中考虑摄影操作来布置代表帧图像。

首先，帧图像布置单元159判定是否存在指示左右移动或上下移动摄影操作被执行的任何运动图片元数据(步骤S501)。当摄影操作既不是左右移动也不是上下移动时，帧图像布置单元159结束考虑摄影操作的代表帧图像布置处理。当摄影操作是左右移动或上下移动时，帧图像布置单元159判断相应的图像是否是通过提取面部区域产生的(步骤S503)。当不包括面部区域时，帧图像布置单元159等分进行了摄影操作的帧区间(步骤S505)。

随后，帧图像布置单元159保存所有删除的面部区域以及它们的帧数(步骤S507)。

随后，帧图像布置单元159基于运动图片元数据来判断相应代表帧图像中的摄影操作是否是左右移动或上下移动(步骤S509)。当摄影操作是左右移动时，帧图像布置单元159将代表帧图像(帧图像)设置为垂直方向上长，并且沿摄影操作方向，即水平方向布置相应的图像(步骤S511)。当摄影操作是上下移动时，帧图像布置单元159将代表帧图像(帧图像)设置为水平方向上长，并且沿摄影操作方向，即垂直方向布置相应的图像(步骤S513)。

随后，图像大小确定单元157根据从帧图像布置单元159传送的有关代表帧图像是在垂直方向上还是水平方向上长的指定以及根据从与运动图片元数据获得的摄影操作速度来确定代表帧图像(帧图像)的大小(步骤S515)。

随后，帧图像布置单元159在必要时校正其它帧的布置(步骤S617)。

用于考虑摄影操作来布置代表帧图像的上述方法使得连环画的显示在连环画式的表现方面更丰富。

[用于考虑摄影操作来布置效果图像的方法]

接着，将参考图28来详细描述用于考虑摄影操作来布置效果图像的方法。图28是用于图示出用于考虑摄影操作来布置效果图像的方法的流程图。

首先，效果图像布置单元161判断是否存在任何指示左右移动或上下移动摄影操作被执行的运动图片元数据(步骤S601)。当摄影操作是左右移动或上下移动时，效果图像布置单元161执行效果线的效果图像的生成处理(步骤S603)。当摄影操作既不是左右移动又不是上下移动时，例如，当摄影操作是缩放等时，效果图像布置单元161执行射线的效果图像的生成处理(步骤S605)。

首先，以下将描述生成效果线的效果图像的情况。效果图像布置单元161提取摄影操作开始处的帧图像和摄影操作结束处的帧图像(步骤S607)。随后，效果图像布置单元161基于运动图片元数据来判断图像是否存在面部区域(步骤S609)。

当存在面部区域时，效果图像布置单元161从图像的边缘到面部区域周围生成效果线的效果图像(步骤S611)。当不存在面部区域时，效果图像布置单元161在图像的外围中生成效果线的效果图像(步骤S613)。应当注意，效果图像布置单元161根据摄影操作速度来确定效果线的效果图像的密度、长度、数目等。

当效果线的效果图像的生成结束时，效果图像布置单元161保存有关效果线的效果图像的大小以及效果图像被布置给哪个帧图像的信息(步骤S615)。

接着，将描述生成射线的效果图像的情况。效果图像布置单元161检测摄影操作开始处的帧图像和摄影操作结束处的帧图像(步骤S617)。随后，效果图像布置单元161基于运动图片元数据来判断图像中是否存在任何面部区域(步骤S619)。

当存在面部区域时，效果图像布置单元161在面部区域周围生成射线的效果图像(步骤S621)。当不存在面部区域时，效果图像布置单元161在图像的外围生成射线的效果图像(步骤S623)。应当注意，效果图像布置单元161根据摄影操作速度来确定射线的效果图像的密度、长度、数目等。

当射线的效果图像的生成结束时，效果图像布置单元161保存有关射线的效果图像的大小以及效果图像被布置到哪个帧图像的信息(步骤S615)。

用于考虑摄影操作来布置效果图像的上述处理使得连环画的显示在连环画式的表现方面更丰富。

[用于确定动画再现速度的方法]

接着，将参考图29来详细描述确定缩略图动画的再现速度的方法。图29是用于图示出确定缩略图动画的再现速度的方法的流程图。

在以上说明中，已经描述了摄影操作元数据利用单元155之前确定动画的再现速度的情况。可替换地，如下所述，连环画显示执行单元113可以确定当动画被再现时的再现速度。

首先，连环画显示执行单元113参考连环画显示数据，并且判断图像是否是布置了效果图像的帧(代表帧图像)(步骤S701)。

当图像是布置了效果图像的帧时，连环画显示执行单元113基于连环画显示数据来再现效果线的效果(步骤S703)，并且进行到步骤S705。可替换地，当图像是没有布置任何效果图像的帧时，连环画显示执行单元113执行如下所述的步骤S705的处理。

随后，连环画显示执行单元113参考连环画显示数据，并且获得用于缩略图动画的图像的数目(步骤S405)。连环画显示执行单元113基于动画帧图像的数目并且基于例如如下所述的标准来确定动画的再现速度(步骤S707)。

(1)再现速度＝1(FPS)，其中，动画图像的数目(n)为2或更少。

(2)再现速度＝2(FPS)，其中，动画图像的数目(n)多于2少于4或是4。

(3)再现速度＝8(FPS)，其中，动画图像的数目(n)多于4少于8或是8。

(4)再现速度＝24(FPS)，其中，动画图像的数目(n)多于8。

随后，连环画显示执行单元113基于所确定的再现速度来再现缩略图动画(步骤S709)。

以上处理使得能够在缩略图动画被再现时考虑摄影操作来确定再现速度。

<第一变形例>

随后，将参考图30至图32来详细描述根据本实施例的信息处理设备10的第一变形例。

根据本变形例的信息处理设备10的运动图片分析单元103不仅具有根据第一实施例的运动图片分析单元103的功能，而且具有用于从运动图片数据检测人、检测用户注意的对象、检测用户指定的物体等的检测功能。此外，根据本变形例的信息处理设备10的连环画显示变换单元107具有根据运动图片分析单元103的检测结果来布置效果图像以避免遮挡(occlusion)的功能。

[运动图片分析单元的配置]

首先，将参考图30来详细描述根据本变形例的运动图片分析单元103。图30是用于图示出根据本变形例的运动图片分析单元103的配置的框图。

根据本变形例的运动图片分析单元103具有：运动图片数据划分单元131、脸检测单元133、场景转变检测单元135、摄影操作检测单元137、音频分析单元139和运动图片元数据生成单元141。此外，运动图片分析单元103还具有如下所述的处理单元，即，人检测单元171、对象检测单元173和物体检测单元175。

根据本变形例的运动图片数据划分单元131、脸检测单元133、场景转变检测单元135、摄影操作检测单元137和音频分析单元139与本发明第一实施例的各个处理单元分别具有相同的配置，并且分别实现相同的效果。因此，在以下说明中省略有关的详细描述。

此外，根据本变形例的运动图片元数据生成单元141基于由脸检测单元133、场景转变检测单元135、摄影操作检测单元137、人检测单元171、对象检测单元173和物体检测单元175输出的结果等来生成运动图片元数据。根据本变形例的运动图片元数据生成单元141的其它功能和根据本发明第一实施例的运动图片元数据生成单元141的功能相同，并且本变形例可以提供基本相同的效果。因此，在以下说明中省略有关的详细描述。

人检测单元171例如由CPU、ROM、RAM等构成。人检测单元171通过使用之前利用诸如AdaBoost方法之类的统计学习处理生成的分类器来从所传送的图像数据检测与人相对应的部分。

该分类器例如是通过组合衣服分类器和轮廓分类器而生成的。衣服分类器是由通过统计学习生成的多个弱分类器构成的相对强的分类器。当基于人的衣服的特征进行有关所传送的图像是否包括人的图像的区域的判断时，使用衣服分类器。轮廓分类器是由通过统计学习生成的多个弱分类器构成的相对强的分类器。当基于人的轮廓来进行有关所传送的图像是否包括人的图像的区域的判定时，使用轮廓分类器。

当人检测单元171接收到从运动图片数据划分单元131传送的图像数据时，人检测单元171从所传送的图像数据提取衣服特征和轮廓特征。人检测单元171基于所提取的特征来计算衣服特征量和轮廓特征量。人检测单元171通过将所计算出的衣服特征量和所计算出的轮廓特征量代入分类器来进行计算，基于所获得的计算结果来判断人是否在图像中被识别(检测)出，并且输出识别结果。

根据本变形例的人检测单元171通知两种特征量，即，人的衣服和轮廓。从而，人检测单元171可以从图像中检测人，只要人检测单元171能够从所传送的图像中充分提取特征量中的至少一个。

人检测单元171向运动图片元数据生成单元141传送有关所传送的图像是否包括人的检测结果。此外，当人检测单元171在图像中检测到多个人时，人检测单元171可以向运动图片元数据生成单元141传送所检测到的人的数目。

当图像包括人时，人检测单元171可以向运动图片元数据生成单元141传送表示与人相对应的像素的位置的位置信息。这样输出的位置信息允许根据本变形例的其它处理单元容易地识别人存在于该图像中的哪个位置。此外，人检测单元171可以向运动图片元数据生成单元141传送被执行了人检测处理的图像的计算结果(分类器输出的得分)。

对象检测单元173例如由CPU、ROM、RAM等构成。对象检测单元173在所传送的图像数据中检测预期当用户看到图像时会感兴趣的物体，即认为用户会注视的物体，作为要被照下来的对象。

对象检测单元173例如基于所传送的图像的模糊程度(失焦程度)、曝光适当程度、白平衡适当程度等来检测对象。对象检测单元173所执行的对象检测处理将被具体描述如下。

当对象检测单元173接收到从运动图片数据划分单元131传送的图像数据时，对象检测单元173基于所传送的图像针对相对应的图像的各个区域生成表示有关亮度的信息的亮度信息图。此外，对象检测单元173还基于所传送的图像来针对相对应的图像的每个区域来生成表示有关构成图像的颜色的信息的颜色信息图。对象检测单元173还基于所传送的图像来针对相对应的图像的各个区域生成表示有关边缘的信息的边缘信息图。对象检测单元173还基于所传送的图像来针对相对应的图像的每个区域生成表示有关人的脸的信息的面部信息图。对象检测单元173还基于所传送的图像来针对相对应的图像的各个区域生成表示有关移动的信息的移动信息图。

这些信息图中所包括的信息是指示包括对象的区域中明显存在的特征的特征量的信息。在这些信息图中，该信息与所传送的图像的各个区域相关联。换而言之，这些信息图是表示所传送的图像的各个区域中的特征量的信息。上述信息图仅仅是示例。可以生成除了以上之外的信息图。可替换地，可以生成上述信息图中的某些。

对象检测单元173通过对所生成的信息图进行线性组合来生成对象图。换而言之，对象图是通过对上述信息图的各个区域的信息(特征量)求加权和生成的，因为这各个区域共址。

随后，对象检测单元173通过使用所传送的图像和所生成的对象图，关于所传送的图像中的对象的区域生成表示对象的模糊程度的指数(失焦指数)。对象检测单元173还基于所传送的图像生成表示整个所传送的图像中的曝光适当程度的指数(曝光指数)。对象检测单元173还基于所传送的图像生成表示整个所传送的图像中的白平衡适当程度的指数(白平衡指数)。

对象检测单元173通过使用预设的权重对这些所生成的指数进行线性组合来得出所传送的图像的对象得分。对象检测单元173检测所计算出的对象得分等于或大于预定阈值的区域作为对象。

对象检测单元173向运动图片元数据生成单元141传送有关所传送的图像是否包括对象的检测结果。当在图像中检测到多个对象时，对象检测单元173可以向运动图片元数据生成单元141传送所检测到的对象的数目。

当图像包括对象时，对象检测单元173可以向运动图片元数据生成单元141传送表示与对象相对应的像素的位置的位置信息。这样的位置信息的输出允许根据本变形例的其它处理单元容易地识别对象存在于图像中的哪个位置。可替换地，对象检测单元173可以向运动图片元数据生成单元141传送已经计算出的对象得分、失焦指数、曝光指数、白平衡指数中的任何或全部。

物体检测单元175例如由CPU、ROM、RAM等构成。物体检测单元175从所传送的图像中检测数据库中之前所登记的物体。因此，当根据本变形例的信息处理设备10的用户之前向数据库登记了各种表征物体特征的数据时，有可能从图像中检测出反映用户偏好的物体。

物体检测单元175通过对包括一般物体和信息处理设备10的用户所指定的物体的图像执行边缘检测处理来生成边缘图像。物体检测单元175提取所生成的边缘图像上的边缘点处的区域特征量和支持这些边缘点的点，利用几何位置关系来关联所提取出的点，并且将它们登记到数据库。

当物体检测单元175接收到从运动图片数据划分单元131传送的图像数据时，物体检测单元175通过对所传送的图像执行边缘检测处理来生成边缘图像。物体检测单元175通过使用所生成的边缘图像来计算边缘图像上的边缘点处的区域特征量。物体检测单元175搜索数据库中所登记的边缘点的特征量和集合位置关系，并且判断数据库是否包括与所生成的区域特征量等类似的数据。当数据库包括之前所登记的类似数据时，物体检测单元175向运动图片元数据生成单元141输出检测结果，因为图像包括相对应的物体。当在图像中检测到多个物体时，物体检测单元175可以向运动图片元数据生成单元141传送所检测到的物体的类型和数目。

除了根据第一实施例的运动图片分析单元103的功能之外，还设有这些处理单元，使得根据本变形例的运动图片分析单元103可以从运动图片中检测人、用户注意的对象和用户指定的物体等。从而，根据本变形例的运动图片分析单元103可以关于各种点来分析运动图片的内容。结果，根据本变形例的信息处理设备10可以生成以更加自然和印象深刻的方式反映运动图片的内容的连环画显示屏幕。

以上说明中的人检测方法、对象检测方法和物体检测达到仅仅是示例。由根据本变形例的运动图片分析单元103执行的检测处理的细节不限于上述示例。根据本变形例的运动图片分析单元103还可以通过使用除了上述方法以外的处理来检测人、对象和物体。

可替换地，脸检测单元133、人检测单元171、对象检测单元173和物体检测单元175中的每一个可以被配置为优选检测预定的检测对象，例如，最先检测到的图像中的人(物体)、检测出具有最高精度的人(物体)、朝向预定方向的人(脸)、正在笑的人等。

在以上说明中，传送给运动图片元数据生成单元141的检测结果等仅仅是示例。如果可以获得除了上述检测结果以外的检测结果来用作表征运动图片的特征量，则这样的检测结果可以用作运动图片元数据。

[效果图像的布置处理]

接着，将参考图31A至图31E和图32来详细描述根据本变形例的连环画显示变换单元107所执行的效果图像的布置处理。图31A至图31E和图32是用于图示出根据本变形例的效果图像的布置方法的说明性示图。

连环画显示变换单元107的效果图像布置单元161可以按照以下所述的策略、根据运动图片分析单元103所提供的运动图片分析结果来布置效果图像。

例如，当图像包括检测到高精度面部区域时，效果图像布置单元161可以在包括面部区域的整个帧上布置射线的效果以强调面部区域，如图31A中所示。这里，检测到高精度面部区域的示例包括脸检测处理中所计算出的数值(得分)等于或大于预定阈值的区域。结果，如图31A所示，整个帧变成效果图像布置区域，即，布置效果图像的区域，并且效果图像布置单元161在该效果图像布置区域中布置射线的效果。

可能存在这样的情况：运动图片分析单元103向连环画显示变换单元107通知没有检测到具体区域(面部区域、人区域、对象区域、物体区域)等并且仅检测到音频的结果。在该情况中，效果图像布置单元161可以在整个帧区域上布置指示音频的存在的预定效果图像，如图31B中所示。

可能还存在这样的情况，运动图片分析单元103向连环画显示变换单元107通知检测到不是高精度的区域并且与此检测到音频的结果。在这种情况中，效果图像布置单元161可以布置效果图像布置区域以避开所检测到的区域(所检测到的不是高精度的区域)并且在该效果图像布置区域中布置与音频相对应的发言气球框等的效果。在该情况中，效果图像布置单元161优选考虑所检测到的不是高精度的区域与效果图像布置区域之间的相对位置关系并且设置正被布置的效果图像的方向。必要时，这里设置的效果图像布置区域是根据帧的高宽比(aspect ratio)等来确定的。

例如，如图31C中所示，当在帧的右侧检测到不是高精度的面部区域并且还与此检测到音频时，效果图像布置单元161在帧的左侧布置效果图像布置区域以避开所检测到的面部区域。此外，所检测到的音频常常与所检测到的面部区域具有关系，效果图像布置单元161在从存在面部区域的帧的右侧向左侧这样的方向上设置发言气球框的效果。

当检测到不是高精度的区域并且布置了效果图像以强调所检测到的区域时，产生这样的可能性：如果检测失败，则强调了不正确的检测结果。为了避免这样的情况，如图31C中所示，效果图像被布置为避开所检测到区域。因此，即使不正确的结果被输出，也很有可能对正被处理的图像施加自然的效果。

此外，可能存在这样的情况：运动图片分析单元103向连环画显示变换单元107通知检测到多个区域并且还与此检测到音频的结果。在这种情况中，效果图像布置单元161设置较大的区域以包括多个所检测到的区域。效果图像布置单元161可以设置效果图像布置区域以避开所布置的区域，并且可以在该效果图像布置区域中布置与音频相对应的发言气球框的效果等。在这种情况中，效果图像布置单元161优选考虑所布置的较大的区域与效果图像布置区域之间的相对位置关系，并且设置布置效果图像的方向。

效果图像布置单元161，不仅可以在检测到人和脸时，还可以在如图31E所示检测到被检测作为要被照下来的对象的物体和一般的物体时，如上所述布置效果图像。

当效果图像布置单元161不考虑效果图像的方向来布置效果图像时，例如如图32所示，效果图像布置单元161在计算整个帧的中心位置与所检测的区域的重心位置之间的相对关系之后确定效果图像的方向。从而，效果图像布置单元161可以在避免遮挡并且提高效果图像与所检测到的区域之间的关连性的同时有效布置效果图像。

(第二实施例)

随后，将参考图33至图37来详细描述根据本发明第二实施例的信息处理设备和信息处理方法。在根据本实施例的信息处理设备和信息处理方法中，通过使用对运动图片和静止图片的分析的结果来自动提取用于识别运动图片和静止图片的内容的有用图像，并且以允许用户容易地理解内容的方式显示所提取出的图像。从而，当使用运动图片和静止图片两者记录事件时，可以在不区分运动图片和静止图片的情况下容易地理解事件的内容。

<信息处理设备的配置>

首先，将参考图33至图35来详细描述根据本实施例的信息处理设备的配置。图33是用于图示出根据本实施例的信息处理设备的配置的框图。图34是用于图示出根据本实施例的静止图片分析单元1003的配置的框图。图35是用于图示出根据本实施例的连环画显示变换单元1005的配置的框图。

[信息处理设备的总体配置]

例如，如图33中所示，根据本实施例的信息处理设备10包括运动图片数据获取单元101、运动图片分析单元103、音频提取单元105、帧图像数据生成单元109、连环画显示数据生成单元111和连环画显示执行单元113。此外，信息处理设备10包括显示控制单元115、存储单元117、静止图片数据获取单元1001、静止图片分析单元1003和连环画显示变换单元1005。处理上述处理单元以外，信息处理设备10例如可以包括用于控制经由任何通信网络与任何设备的通信的通信控制单元(未示出)。

在该第二实施例中，运动图片数据获取单元101、运动图片分析单元103、音频提取单元105、帧图像数据生成单元109、连环画显示数据生成单元111、连环画显示执行单元113、显示控制单元115和存储单元117具有与根据第一实施例的处理单元基本相同的配置，并且实现基本相同的效果。因此，在以下说明中，将省略有关的详细描述。

静止图片数据获取单元1001例如由CPU、ROM、RAM、通信设备等构成。静止图片数据获取单元1001根据信息处理设备10上所执行的用户操作，从存储单元117或信息处理设备10中所插入的各种记录介质中获取与用户所指定的静止图片相对应的静止图片数据。这里，假定静止图片数据与有关静止图片数据被生成的时间的时间信息相关联。可替换地，静止图片数据获取单元1001可以从连接到信息处理设备10的另一设备获取静止图片数据，并且可以从经由诸如因特网之类的通信网络连接的各种服务器获取静止图片数据。静止图片数据获取单元1001向静止图片分析单元1003和帧图像数据生成单元109传送所获得的静止图片数据。

静止图片分析单元1003例如由CPU、ROM、RAM等构成。静止图片分析单元1003分析所传送的静止图片数据并且提取表征静止图片的特征量。静止图片分析单元1003通过使用所提取出的特征量来生成静止图片元数据，即有关这些特征量的元数据。静止图片分析单元1003向稍后描述的连环画显示变换单元1005传送所生成的静止图片元数据。静止图片分析单元1003不仅可以使用通过分析静止图片生成的静止图片元数据而且可以使用可从诸如静止相机之类的成像设备获取的元数据来作为将由稍后描述的连环画显示变换单元1005使用的静止图片元数据。这里，可从成像设备获得的元数据例如包括喜欢的按钮、放大按钮、缩小按钮等的操作历史。

以下，将再详细描述静止图片分析单元1003。

连环画显示变换单元1005例如由CPU、ROM、RAM等构成。连环画显示变换单元1005基于运动图片元数据和静止图片元数据从与运动图片数据和静止图片数据中提取多个图像。连环画显示变换单元1005还将预定的显示区域划分成帧，并且将所提取出的多个图像的布置变换成连环画式的布置。此外，连环画显示变换单元1005生成包括有关被布置在各帧中的图像的信息的帧信息。连环画显示变换单元1005向帧图像数据生成单元109和连环画显示数据生成单元111传送所生成的帧信息。

以下，将再详细描述连环画显示变换单元1005。

[静止图片分析单元1003的配置]

随后，将参考图34来详细描述根据本实施例的静止图片分析单元1003的配置。

例如，如图34中所示，根据本实施例的静止图片分析单元1003主要包括脸检测单元1011、人检测单元1013、对象检测单元1015、物体检测单元1017、时间戳确定单元1019和静止图片元数据生成单元1021。

这里，脸检测单元1011、人检测单元1013、对象检测单元1015、物体检测单元1017具有与根据第一实施例和本发明第一实施例的变形例的处理单元相同的配置，并且实现相同的效果。因此，省略有关的详细描述。

时间戳确定单元1019例如由CPU、ROM、RAM等构成。时间戳确定单元1019参考与从静止图片数据获取单元1001传送的静止图片数据相关联的时间信息，并且确定静止图片数据被生成的时间。时间戳确定单元1019向稍后描述的静止图片元数据生成单元1021传送静止图片数据的时间戳。

传送给静止图片元数据生成单元1021的这样的时间戳，即静止图片元数据之一使得信息处理设备10中的其它处理单元能够确定相应的静止图片被生成的时间。当这样的时间戳被识别时，连环画显示变换单元1005的帧图像布置单元159可以容易地确定所提取出的静止图片要被插入从运动图片选出的这多个图像中的哪个位置。

静止图片元数据生成单元1021例如由CPU、ROM、RAM等构成。静止图片元数据生成单元1021基于从脸检测单元1011、人检测单元1013、对象检测单元1015、物体检测单元1017、时间戳确定单元1019传送的检测结果等，生成与表征静止图片的特征量有关的静止图片元数据。换而言之，静止图片元数据包括与从图像数据提取的帧特征量有关的元数据。

静止图片元数据生成单元1021向连环画显示变换单元1005传送如上所述生成的静止图片元数据。

以上，已经描述了根据本实施例的静止图片分析单元1003的配置。图34示出静止图片分析单元1003具有脸检测单元1011、人检测单元1013、对象检测单元1015、物体检测单元1017的情况。可替换地，静止图片分析单元1003可以仅具有以上处理单元中的某些处理单元。

在根据本实施例的信息处理设备10中，运动图片分析单元103和静止图片分析单元1003中的每一个都具有相同功能的处理单元(检测单元)。可替换地，信息处理设备10可以设有检测单元。这些检测单元中的每一个被运动图片分析单元103和静止图片分析单元1003两者共享。

[连环画显示变换单元1005的配置]

随后，将参考图35来详细描述根据本实施例的连环画显示变换单元1005的配置。

连环画显示变换单元1005主要包括：摘要得分计算单元151、缩略图数目确定单元153、摄影操作元数据利用单元155、帧图像布置单元159、效果图像布置单元161、帧信息生成单元163和图像大小确定单元1031。

这里，摘要得分计算单元151、缩略图数目确定单元153、摄影操作元数据利用单元155、帧图像布置单元159、效果图像布置单元161和帧信息生成单元163具有与根据第一实施例和本发明第一实施例的变形例的处理单元基本相同的配置，并且实现相同的效果。因此，省略有关的详细描述。

图像大小确定单元1031例如由CPU、ROM、RAM等构成。图像大小确定单元1031以与根据第一实施例的图像大小确定单元157相同的方式，基于摘要得分来确定要被布置在预定的显示区域中的运动图片的缩略图像的大小。

当所选择的缩略图像具有指示存在脸的运动图片数据时，图像大小确定单元1031以放大面部区域，即，示出脸的区域的方式来确定图像大小。当在图像中存在多个面部区域时，图像大小确定单元1031以在图像中包括所有面部区域的方式放大图像数据的大小。

图像大小确定单元1031基于从静止图片分析单元1003传送的静止图片元数据来确定要被布置在预定的显示区域中的静止图片的缩略图像的大小。图像大小确定单元1031还可以基于静止图片元数据和静止图片的大小来从输入到信息处理设备10的多个静止图片中选择用于显示连环画的静止图片。例如，图像大小确定单元1031可以优选地选择具有指示对脸、人、对象等的选择的元数据的静止图片。图像大小确定单元1031可以基于通过以下所述用于确定图像大小的方法所确定的静止图片的图像大小来选择具有大的图像大小的静止图片。以下，将再详细描述用于基于静止图片元数据来确定静止图片的图像大小的方法。

图像大小确定单元1031向帧图像布置单元159和帧信息生成单元163传送有关这样设置的运动图片和静止图片的缩略图像的大小(此外，动画帧图像的大小)的信息作为帧图像信息。

以上已经描述了根据本实施例的信息处理设备10的示例性功能。以上构成元件中的每一个可以利用同样组件或电路来制造，或可以利用专用于各个构成元件的功能的硬件来制造。可替换地，构成元件的所有功能可以通过CPU等来执行。因此，可以根据执行本实施例时的技术水平在必要时改变所使用的配置。

有可能制造用于实现根据本实施例的上述信息处理设备的功能的计算机程序，并且计算机程序可以在个人计算机等上被执行。还可以提供存储了这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁-光盘和闪存。此外，以上计算机程序例如可以经由网络来分发，而不使用记录介质。

<信息处理方法>

随后，将参考图36至图37来详细描述根据本实施例的信息处理方法。图36是用于描述根据本实施例的信息处理方法的总体流程的流程图。图37是用于图示出用于确定静止图片的图像大小的方法的流程图。

[信息处理方法的总体流程]

首先，将参考图36来详细描述根据本实施例的信息处理方法的总体流程。

首先，根据本实施例的信息处理设备10的运动图片数据获取单元101根据用户的操作获取与用户所指定的运动图片相对应的运动图片数据(步骤S1001)。运动图片数据获取单元101可以从信息处理设备10中的存储单元117等或者附接到信息处理设备10的各种记录介质获取运动图片数据。可替换地，运动图片数据获取单元101可以从无线或有线连接的其它设备获取运动图片数据，并且可以从经由诸如因特网之类的通信网络连接的其它设备获取运动图片数据。运动图片数据获取单元101向运动图片分析单元103和音频提取单元105传送所获得的运动图片数据。

此外，根据本实施例的信息处理设备10的静止图片数据获取单元1001根据用户的操作获取与用户所指定的静止图片相对应的静止图片数据(步骤S1001)。静止图片数据获取单元1001可以从信息处理设备10中的存储单元117等或者附接到信息处理设备10的各种记录介质获取静止图片数据。可替换地，静止图片数据获取单元1001可以从无线或有线连接的其它设备获取静止图片数据，并且可以从经由诸如因特网之类的通信网络连接的其它设备获取静止图片数据。静止图片数据获取单元1001向静止图片分析单元1003和帧图像数据生成单元109传送所获得的静止图片数据。

运动图片分析单元103分析从运动图片数据获取单元101传送的运动图片数据，并且生成运动图片元数据，即，与表征与所传送的运动图片数据相对应的运动图片的特征量有关的元数据(步骤S 1003)。运动图片分析单元103向连环画显示变换单元1005传送所生成的运动图片元数据。

音频提取单元105从自运动图片数据获取单元101传送的运动图片数据提取音频数据(步骤S1005)，并且向连环画显示数据生成单元111传送所获得的音频数据。

另一方面，静止图片分析单元1003分析从静止图片数据获取单元1001传送的静止图片数据，并且生成静止图片元数据，即，与表征与所传送的静止图片数据相对应的静止图片的特征量有关的元数据(步骤S1007)。静止图片分析单元1003向连环画显示变换单元1005传送所生成的静止图片元数据。

随后，连环画显示变换单元1005的摘要得分计算单元151基于所传送的运动图片元数据来计算构成运动图片的所有图像(帧图像)的摘要得分。摘要得分计算单元151向缩略图数目确定单元153传送所计算出的摘要得分。

随后，缩略图数目确定单元153通过使用所传送的摘要得分和运动图片元数据来选择用作缩略图像的代表帧图像(步骤S1009)。当缩略图数目确定单元153结束选择代表帧图像时，缩略图数目确定单元153选择用于缩略图动画的动画帧图像。缩略图数目确定单元153生成图像数目信息，图像数目信息包括用于识别所选择的代表帧图像的信息、有关代表帧图像的数目的信息、有关与代表帧图像有关的动画帧图像的信息等。缩略图数目确定单元153向图像大小确定单元1031和帧信息生成单元163传送所生成的图像数目信息。

在确定动画帧图像和缩略图动画的再现速度时，有可能反映出摄影操作元数据利用单元155所提供的分析结果。

随后，图像大小确定单元1031基于已经传送的图像数目信息、运动图片元数据、摘要得分等，确定要被显示为连环画的所选择的代表帧图像的图像大小(步骤S1011)。图像大小确定单元1031基于从静止图片分析单元1003传送的静止图片元数据等来确定静止图片的图像大小(步骤S1013)。图像大小确定单元1031生成包括与代表帧图像的图像大小有关的信息的帧图像信息，并且向帧图像布置单元159和帧信息生成单元163传送帧图像信息。

图像大小确定单元1031还可以基于静止图片元数据和静止图片的大小来从输入信息处理设备10的多个静止图片中选择用于显示连环画的静止图片。例如，图像大小确定单元1031可以优先选择具有指示出检测到脸、人、物体等的元数据的静止图片。图像大小确定单元1031可以优选基于通过下述用于确定图像大小的方法所确定的静止图片的图像大小来选择具有大的图像大小的静止图片。

随后，帧图像布置单元159通过使用已经传送的帧图像信息、运动图片元数据等，自动将代表帧图像布置到显示区域并且确定代表帧图像的布置(步骤S1015)。当帧图像布置单元159确定代表帧图像的布置时，帧图像布置单元159生成包括有关哪些代表帧图像被布置在哪些位置的信息的帧布置信息，并且向效果图像布置单元161和帧信息生成单元163传送所生成的帧布置信息。

随后，效果图像布置单元161基于已经传送的帧布置信息、运动图片元数据、静止图片元数据等来布置诸如发言气球框等的效果图像(步骤S1017)。此时，效果图像布置单元161根据如本发明第一实施例和第一实施例的第一变形例中所描述的用于布置效果图像的方法来布置效果图像。当效果图像布置单元161结束布置效果图像时，效果图像布置单元161生成包括有关哪些效果被布置并且这些效果被布置在哪的信息的效果布置信息，并且向帧信息生成单元163传送所生成的效果布置信息。

在布置图像大小、帧图像和效果图像时，有可能使用与运动图片元数据中所包括的摄影操作有关的特征量。

随后，帧信息生成单元163基于从各个处理单元传送的图像数目信息、帧图像信息、帧布置信息、效果布置信息等来生成帧信息(步骤S1019)。帧信息生成单元163向帧图像数据生成单元109和连环画显示数据生成单元111传送所生成的帧信息。

随后，帧图像数据生成单元109基于图像数据和帧信息来执行用于调节用于显示连环画的帧图像的大小和形状的处理(步骤S1021)。帧图像数据生成单元109向连环画显示数据生成单元111传送所生成的帧图像数据。

连环画显示数据生成单元111基于从音频提取单元105传送的音频数据和从连环画显示变换单元1005传送的帧信息，生成用于显示连环画的音频数据。此外，连环画显示数据生成单元111通过使用帧信息、音频数据、帧图像数据和效果数据来生成连环画显示数据，即，一组用来显示连环画的数据(步骤S1023)。

信息处理设备10通过执行所生成的连环画显示数据来在显示屏幕上显示用作运动图片的内容的概要的连环画。

当在生成连环画之后观看从静止图片生成的帧图像时，可以通过移动一个静止图片来制作动画。此外，对于从静止图片生成的帧图像，可以通过静止图片聚合来从多个静止图片中选择用于动画的图像，并且可以使用所选择的图片来制作动画。

[用于确定静止图片的图像大小的方法]

随后，将参考图37来详细描述由图像大小确定单元1031执行的用于确定静止图片的图像大小的方法。

当确定静止图片的图像大小时，图像大小确定单元1031首先对表示静止图片的图像大小的参数设置初始值(步骤S1101)。

随后，图像大小确定单元1031参考从静止图片分析单元1003传送的静止图片元数据，并且判断在正被处理的静止图片中是否存在两个或更多面部区域(步骤S 1103)。当没有检测到两个或更多面部区域时，图像大小确定单元1031执行稍后描述的步骤S1111。当检测到两个或更多面部区域时，图像大小确定单元1031增大表示图像大小的参数(步骤S1105)。随后，图像大小确定单元1031判断所检测到的面部区域的大小是否等于或大于80个像素(步骤S1107)。当面部区域的大小等于或大于80个像素时，图像大小确定单元1031增大表示图像大小的参数(步骤S1109)。当面部区域的大小不等于或大于80像素时，图像大小确定单元1031执行稍后描述的步骤S1111。

随后，图像大小确定单元1031参考静止图片元数据，并且判断静止图片的失焦指数是否等于或大于50(步骤S1111)。当失焦指数等于或大于50时，可能存在图像模糊的可能性。因此，图像大小确定单元1031减小表示图像大小的参数(步骤S1113)，并且之后，执行稍后描述的步骤S1115。当失焦指数不等于或大于50时，图像大小确定单元1031执行稍后描述的步骤S1117。

随后，图像大小确定单元1031计算被定义为(作为对象检测到的面积/离图像中心的距离)的对象区域得分(步骤S1115)，并且判断所计算出的对象区域得分是否是0.75或更大(步骤S1117)。当对象区域得分为0.75或更大时，图像大小确定单元1031增大表示图像大小的参数(步骤S1119)，并且执行稍后描述的步骤S1121。当对象区域得分不是0.75或更大时，图像大小确定单元1031执行稍后描述的步骤S1121。

随后，图像大小确定单元1031参考所产生的表示图像大小的参数，并且基于该参数来确定图像大小(步骤S1121)。

图像大小确定单元1031可以通过根据这样的程序、基于静止图片元数据执行这些处理来确定用于显示连环画的图像大小。

以上说明中所示出的各个阈值仅仅是示例，并且可以根据诸如图像大小确定单元1031所处理的静止图片的拍照条件、大小等各种因素被设置为任何值。

(第三实施例)

接着，将参考图38来描述根据本方面第三实施例的信息处理设备。根据本实施例的信息处理设备通过使用分析结果来自动提取对一连串静止图片的内容的识别有用的图像，并且以使得用户能够容易地理解内容的方式显示所提取出的图像。

<信息处理设备的配置>

图38是用于图示出根据本实施例的信息处理设备的配置的框图。例如，如图38中所示，根据本实施例的信息处理设备10包括帧图像数据生成单元109、连环画显示数据生成单元111、连环画显示执行单元113、显示控制单元115和存储单元117。此外，根据本实施例的信息处理设备10包括静止图片数据获取单元1001、静止图片分析单元1003和连环画显示变换单元1101。

帧图像数据生成单元109、连环画显示数据生成单元111、连环画显示执行单元113、显示控制单元115和存储单元117具有与根据第一实施例、第一变形例和第二实施例的处理单元基本相同的配置，并且实现基本相同的效果。因此，在以下说明中将省略有关的详细描述。

此外，静止图片数据获取单元1001和静止图片分析单元1003具有与根据第二实施例的静止图片数据获取单元1001和静止图片分析单元1003基本相同的配置，并且实现基本相同的效果。因此，在以下说明中将省略有关的详细描述。

连环画显示变换单元1101例如由CPU、ROM、RAM等构成。连环画显示变换单元1101基于从静止图片分析单元1003传送的静止图片数据将预定的显示区域划分成帧，并且将所提取出的多个静止图像的布置变换成连环画式的布置。此外，连环画显示变换单元1101生成有关被布置在各个帧中的图像的信息的帧信息。连环画显示变换单元1101向帧图像数据生成单元109和连环画显示数据生成单元111传送所生成的帧信息。

以上连环画显示变换单元1101的详细配置与根据本发明的第二实施例的连环画显示变换单元1005的详细配置基本相同。因此，将省略有关的详细描述。

根据本实施例的信息处理设备10的静止图片数据获取单元1001根据信息处理设备10上所执行的用户操作来从存储单元117获取与用户所指定的静止图片相对应的静止图片数据，并且向静止图片分析单元1003传送所获得的静止图片数据。静止图片分析单元1003分析从静止图片数据获取单元1001传送的静止图片数据，并且生成静止图片元数据，即，与表征与所传送的静止图片元数据相对应的静止图片的特征量有关的元数据。静止图片分析单元1003向连环画显示变换单元1101传送所生成的静止图片元数据。

连环画显示变换单元1101的图像大小确定单元1031基于从静止图片分析单元1003传送的静止图片元数据等来确定静止图片的图像大小。图像大小确定单元1031生成包括与代表帧图像的图像大小有关的信息的帧图像信息，并且向连环画显示变换单元1101的帧图像布置单元159和帧信息生成单元163传送所生成的帧图像信息。

连环画显示变换单元1101的帧图像布置单元159通过使用已经传送的帧图像信息、静止图片元数据等来将代表帧图像自动布置到显示区域中，并且确定代表帧图像的步骤。当帧图像布置单元159确定代表帧图像的布置时，帧图像布置单元159生成包括有关哪些代表帧图像被布置在哪些位置的信息的帧布置信息，并且向连环画显示变换单元1101的效果图像布置单元161和帧信息生成单元163传送所生成的帧布置信息。

随后，连环画显示变换单元1101的效果图像布置单元161基于已经传送的帧布置信息、运动图片元数据、静止图片元数据等来布置诸如发言气球框等的效果图像。此时，效果图像布置单元161根据如本发明第一实施例和第一实施例的第一变形例中所描述的用于布置效果图像的方法来布置效果图像。当效果图像布置单元161结束布置效果图像时，效果图像布置单元161生成包括有关哪些效果被布置并且这些效果被布置在哪的信息的效果布置信息，并且向帧信息生成单元163传送所生成的效果布置信息。

随后，连环画显示变换单元1101的帧信息生成单元163基于从各个处理单元传送的帧图像信息、帧布置信息、效果布置信息等来生成帧信息。帧信息生成单元163向帧图像数据生成单元109和连环画显示数据生成单元111传送所生成的帧信息。

随后，帧图像数据生成单元109基于图像数据和帧信息来执行用于调节用于显示连环画的帧图像的大小和形状的处理。帧图像数据生成单元109向连环画显示数据生成单元111传送所生成的帧图像数据。

连环画显示数据生成单元111通过使用帧信息、帧图像数据和效果数据来生成连环画显示数据，即一组用来显示连环画的数据。

信息处理设备10可以通过执行所生成的连环画显示数据来在显示屏幕上显示用作运动图片的内容的概要的连环画。

以上，已经描述了根据本实施例的信息处理设备10的示例功能。以上构成元件中的每一个可以利用通用组件或电路来制造，或者可以利用专用于每个构成元件的功能的硬件来制造。可替换地，构成元件的所有功能可以通过CPU等来执行。因此，可以根据执行本实施例的技术水平，在必要时改变所使用的配置。

有可能制造用于实现根据本实施例的上述信息处理设备的功能的计算机程序，并且计算机程序可以在个人计算机等上被执行。还可以提供存储了这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁-光盘和闪存。此外，以上计算机程序例如可以经由网络来分发，而不使用记录介质。

<硬件配置>

随后，将参考图39来详细描述根据本发明各个实施例的信息处理设备10的硬件配置。图39是用于图示出根据本发明各个实施例的信息处理设备10的硬件配置的框图。

信息处理设备10主要包括CPU 901、ROM 903和RAM 905。信息处理设备10还包括：主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。

CPU 901用作算术处理单元和控制设备，并且根据ROM 903、RAM905、存存储装置919或可移除记录介质927上所存储的各种程序来控制信息处理设备10中的全部操作或某些操作。ROM 903存储由CPU 901使用的程序、操作参数等。RAM 905主要在必要时存储在CPU 901的执行期间使用的程序以及在执行期间变化的参数等。这些装置经由由诸如CPU总线之类的内部总线构成的主机总线907彼此连接。

主机总线907经由桥接器909连接到诸如PCI(外围组件互连/接口)之类的外部总线911。

输入装置915用户操作的操作装置，例如，鼠标、键盘、触摸面板、按钮、开关或控制杆之类的操作装置。输入装置915可以是例如使用红外线或其它无线电波的遥控装置(所谓的遥控器)，或可以是能够操作信息处理设备10的诸如便携式电话和PDA之类的外部地连接的装置929。输入装置915由用于例如基于用户例如以上操作装置输入的信息来生成输入信息并且向CPU 901输出该输出信号的输入控制电路等构成。通过操作输入装置915，信息处理设备10的用户可以向信息处理设备10输入各种数据，或者可以向信息处理设备10给出有关处理操作的指令。

输出装置917是由能够可听见地或可看见地向用户通知所获得信息的装置构成。输出装置917的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯光之类的显示装置，诸如扬声器和头戴式耳机之类的音频输出装置，打印机，便携式电话，传真机等等。输出装置917例如输出利用信息处理设备10所执行的各种处理获得的结果。更具体而言，显示装置将利用信息处理设备10所执行的各种处理获得的结果作为文本或图像进行显示。另一方面，音频输出装置将诸如所再现的音频数据和声音数据变换成模拟信号，并且输出模拟信号。

存储装置919是用于存储数据的装置，其是信息处理设备10的存储单元的示例。存储装置919例如由诸如HDD(硬盘驱动器)之类的磁存储装置、半导体存储装置、光存储装置、磁-光存储装置等构成。存储装置919存储由CPU 901执行的程序以及从外部获得的各种数据、声学信号数据和图像信号数据。

驱动器921是用于记录介质的阅读器/写入器，并且被嵌入在信息处理设备10中或外部地附接到信息处理设备10。驱动器921读诸如磁盘、光盘、磁-光盘或半导体存储器之类的所附接的可移除记录介质927中所存储的信息，并且向RAM 905输出所读出的信息。驱动器921也可以将记录写入诸如磁盘、光盘、磁-光盘或半导体存储器之类的所附接的可移除记录介质927中。可移除记录介质927例如是DVD介质、HD-DVD介质、Blu-ray介质等。可移除记录介质927可以是CompactFlash(注册商标)(CompactFlash：CF)、记忆棒、SD存储卡(安全数字存储卡)等。可替换地，可移除记录介质927例如可以是电子产品或装有非接触IC芯片的IC卡。

连接端口923是用于允许设备直接连接到信息处理设备10的端口。连接端口923的示例包括USB(通用串行总线)端口、诸如i.Link之类的IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其它示例包括RS-232C端口、光学音频端子、HDMI(高清晰多媒体接口)等。当外部地连接的设备929连接到连接端口923时，信息处理设备10直接地从外部地连接的设备929获取声学信号数据和图像信号数据，或向外部地连接的设备929馈送声学信号数据和图像信号数据。

通信装置925是例如由用于连接到通信网络931的通信装置等构成的通信接口。通信装置925例如是有线或无线LAN(局域网)、Bluetooth、用于WUSB(无线USB)的通信卡等。可替换地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字订户线)的路由器、用于各种通信的调制解调器等。通信装置925可以利用因特网和其它通信设备来根据诸如TCP/IP之类的预定协议发送和接收信号等。通信装置925连接到的通信网络931是由有线或无线连接的网络等构成。例如，通信网络931可以是因特网、家庭LAN、红外通信、无线电通信、卫星通信等。

以上，已经描述了能够实现根据本发明各个实施例的信息处理设备10的功能的硬件配置的示例。以上构成元素的每一个可以使用通用组件来制造或使用专用于构成元件的功能的硬件来制造。因此，可以根据执行本实施例时的技术水平在必要时改变所使用的配置。

<概要>

如上所述，利用该方法，可以以连环画式的方式来显示各种事件(例如，聚会、旅行等)的私人视频。具有若干分钟的持续时间的私人视频可以根据帧的大小被表示为若干页面。因此，用户可以在短时间内观看私人视频。当连环画显示数据被生成为诸如Flash之类的内容时，用户可以在Web浏览器上翻页，并且在收听指定帧的再现音频的同时读这些内容。

以这种方法，运动图片分析单元通过分析运动图片数据来提取运动图片元数据。可替换地，当运动图片包括TV内容时，还可以获得诸如标题数据和EPG数据之类的信息，这使得例如能够在发言气球框中显示人所讲的话语。

如上所述，根据该方法，可以以使得用户一瞥就理解运动图片的内容的方式来总结运动图片的内容。从而，运动图片可以在较短的时间中被再现，并且用户可以察看整个内容而不错过重要的场景。此外，通过帧的大小来反映场景的兴奋度，使得令人兴奋的场景可以被有效表示。此外，可以容易地从许多运动图片中搜索具体的运动图片，这是因为运动图片被以一瞥就理解的方式表示。

此外，根据该方法，使能各种连环画表现，例如帧划分和发言气球框，使得用户感觉在看运动图片。从而，所提取的令人兴奋的场景被划分并且被制成动态帧，这使得连环画更有趣。利用脸提取功能，包括拍得好的脸的帧可以以脸不被发言气球框覆盖的方式被用到连环画。利用音频数据的分类功能，可以根据音频中所讲的话语来生成发言气球框。各种发言气球框使得用户能够更容易地理解运动图片中的场景。此外，有可能防止用户由于失去看的热情而不管所拍的运动图片这样的情况，并且有可能使得用户对运动图片感兴趣。被表示为连环画图像的运动图片可以消除私人视频中的冗长的感觉。

可以用诸如Flash、JavaScript和Java/BREW之类的各种Script和语言来描述根据该方法的连环画显示数据。例如，当连环画显示数据被实现为Flash等时，可以制成交互式的内容使得用户可以翻页和再现音频。此外，可以在一般可用的web浏览器上观看连环画显示数据，这消除了诸如专用应用程序的安装之类的麻烦。此外，有可能提高共享网站的运动图片的表现和可用性，因为运动图片的内容可以作为列表被显示。因此，有可能邀请越来越多的人来将连环画显示数据上载到网络以与其它人共享运动图片。以这种方法，以一瞥就理解的方式来表现内容，并且表现内容的方式令人感兴趣。因此，该方法可以提高与例如粘贴到主页和博客上的兼容性。

通过不仅使用面部区域的检测结果还使用诸如人检测、对象检测利物体检测之类的各种识别和检测技术，可以提取对于理解内容有用的各种图像，并且内容可以被更容易地理解。

布置效果图像的位置根据例如所检测到的区域的位置或检测所检测到的区域的精度而改变。因此，可以以强调的方式显示图像中的重要物体，并且有可能防止重要的物体被效果图像覆盖。

此外，用户的各种媒体的内容，例如运动图片内容和静止图片内容，可以被全体变换成连环画式的表示。因此，用户可以轻松享受看多个媒体的摘要的乐趣。

本领域技术人员应当理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和更改，只要它们在所附权利要求及其等价物的范围以内即可。

本发明包含与2009年1月20日在日本专利局提交的日本优先权专利申请JP 2009-009920和2009年7月30日在日本专利局提交的日本优先权专利申请JP 2009-177877中所公开的主题有关的主题，其全部内容通过引用被结合于此。

Claims (17)

1.一种信息处理设备，包括：

运动图片分析单元，用于分析运动图片数据，并且用于生成运动图片元数据，所述运动图片数据是包括与时间信息相关联的多个图像和音频的运动图片的数据，所述运动图片元数据是与表征所述运动图片的多个特征量有关的元数据；

连环画显示变换单元，用于基于所述运动图片元数据来从所述运动图片数据中提取多个图像，用于将预定的显示区域划分成帧，用于将多个提取出的图像的布置变换成连环画式的布置，并且用于生成含有与各个帧中所布置的图像有关的信息的帧信息；以及

连环画显示数据生成单元，用于生成连环画显示数据，所述连环画显示数据至少包括所述帧信息、所提取出的图像的数据以及所述运动图片的音频数据。

2.根据权利要求1所述的信息处理设备，其中，所述连环画显示变换单元还包括：

摘要得分计算单元，用于基于所述运动图片元数据来计算摘要得分，所述摘要得分是通过对构成所述运动图片的多个图像中的每一个图像的多个特征量加权并求和而获得的值；

缩略图数目确定单元，用于基于所述摘要得分，来从构成所述运动图片数据的多个图像中提取要被布置在所述帧中的缩略图像，并且用于确定所述缩略图像的数目；

图像大小确定单元，用于基于所述摘要得分，来确定被布置在所述预定的显示区域中的缩略图像的大小；

帧图像布置单元，用于将图像大小已确定的所述缩略图像按预定的顺序布置到所述帧中；以及

帧信息生成单元，用于生成与布置了所述缩略图像的帧有关的帧信息。

3.根据权利要求2所述的信息处理设备，其中，所述缩略图数目确定单元还提取与所提取的缩略图像连续预定时间的多个图像，作为动画图像。

4.根据权利要求3所述的信息处理设备，其中，所述运动图片元数据包括与拍摄所述运动图片时的摄影操作有关的运动图片元数据，并且

所述连环画显示变换单元还包括摄影操作元数据利用单元，所述摄影操作元数据利用单元用于基于与所述摄影操作有关的运动图片元数据来确定被所述缩略图数目确定单元提取作为动画图像的图像的数目。

5.根据权利要求4所述的信息处理设备，其中，所述摄影操作元数据利用单元从在所提取出的缩略图像和在摄影操作的积分值达到预定阈值时的图像之间存在的多个图像中，选择所述动画图像。

6.根据权利要求5所述的信息处理设备，其中，所述摄影操作元数据利用单元根据所述摄影操作的积分值的大小，设置包括所述缩略图像和所述动画图像的动画的再现速度。

7.根据权利要求2所述的信息处理设备，还包括静止图片分析单元，所述静止图片分析单元用于分析作为与静止图片相对应的数据的静止图片数据，并且用于生成静止图片元数据，所述静止图片元数据是与表征所述静止图片的多个特征量有关的元数据，

其中，所述图像大小确定单元基于所述静止图片元数据，确定被布置在所述预定的显示区域中的静止图片的大小。

8.根据权利要求7所述的信息处理设备，其中，所述帧图像布置单元基于与所述静止图片数据相关联的关于所述静止图片数据何时被生成的时间信息，确定所述静止图片被布置的顺序。

9.根据权利要求4所述的信息处理设备，其中，所述连环画显示变换单元还包括效果图像布置单元，所述效果图像布置单元用于基于所述运动图片元数据，在布置了所述缩略图像的帧上布置发言气球框和屏幕效果中的至少任一种。

10.根据权利要求9所述的信息处理设备，其中，所述效果图像布置单元通过使用与所述运动图片数据中所包括的音频数据有关的运动图片元数据来布置所述发言气球框和所述屏幕效果中的任一种。

11.根据权利要求10所述的信息处理设备，其中，所述效果图像布置单元通过使用与所述摄影操作有关的运动图片元数据来对所述缩略图像布置所述屏幕效果。

12.根据权利要求2所述的信息处理设备，其中，对于运动图片元数据指示出图像包括脸的运动图片，所述图像大小确定单元通过放大示出脸的面部区域来制作所述缩略图像。

13.根据权利要求2所述的信息处理设备，其中，所述运动图片元数据还包括指示所述图像包括人的运动图片元数据、与所述图像中的对象有关的运动图片元数据、与所述图像中存在的先前登记的物体有关的运动图片元数据中的至少任一种，并且

所述连环画显示变换单元还包括效果图像布置单元，所述效果图像布置单元基于指示所述图像包括人的运动图片元数据、与所述图像中的对象有关的运动图片元数据或者与所述图像中存在的先前登记的物体有关的运动图片元数据，来布置屏幕效果。

14.根据权利要求7所述的信息处理设备，其中，所述静止图片元数据包括指示所述图像包括脸的静止图片元数据、指示所述图像包括人的静止图片元数据、与所述图像中的对象有关的静止图片元数据、与所述图像中存在的先前登记的物体有关的静止图片元数据中的至少任一种，并且

所述连环画显示变换单元还包括效果图像布置单元，所述效果布置单元，基于指示所述图像包括脸的静止图片元数据、指示所述图像包括人的静止图片元数据、与所述图像中的对象有关的静止图片元数据或者与所述图像中存在的先前登记的物体有关的静止图片元数据，来布置屏幕效果。

15.根据权利要求2所述的信息处理设备，其中，所述连环画显示变换单元还包括效果图像布置单元，所述效果图像布置单元基于所述缩略图像中预定的显示区域的重心与所述缩略图像中检测到了预定的物体的区域的重心之间的相对位置关系，来将屏幕效果布置在除了所述预定的物体被检测到的区域之外的区域中。

16.根据权利要求12所述的信息处理设备，其中，当所述图像包括多个面部区域时，所述图像大小确定单元通过执行放大处理来制作所述缩略图像，使得包括所有面部区域。

17.一种信息处理方法，包括以下步骤：

分析运动图片数据并且生成运动图片元数据，所述运动图片数据是包括与时间信息相关联的多个图像和音频的运动图片的数据，所述运动图片元数据是与表征所述运动图片的特征量有关的元数据；

基于所述运动图片元数据来从所述运动图片数据中提取多个图像，将预定的显示区域划分成帧，将多个提取出的图像的布置变换成连环画式的布置，并生成含有与各个帧中所布置的图像有关的信息的帧信息；以及

生成连环画显示数据，所述连环画显示数据至少包括所述帧信息、所提取出的图像的数据以及所述运动图片的音频数据。

Images