CN103297671A - 信息处理设备、终端设备、图像捕获设备和信息提供方法 - Google Patents

Abstract

提供了一种信息处理设备、终端设备、图像捕获设备和信息提供方法。该信息处理设备包括：运动检测部分，其检测包括在运动图像帧中的对象的运动信息；以及剪切区域决定部分，其利用由运动检测部分针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域。

Description

信息处理设备、终端设备、图像捕获设备和信息提供方法

技术领域

本技术涉及一种信息处理设备、终端设备、图像捕获设备、信息处理方法以及用于图像捕获设备的信息提供方法。

背景技术

准备这样的环境：即使在普通的家中等也能编辑由数码相机等捕获的视频图像。然而，针对许多用户来说不期望的困难是捕获针对被摄体优选的构图的图像和/或准备用于插入镜头的图像。关于决定这种构图的技术和插入这种插入镜头图像的技术，例如在日本专利公开H06-253197号和日本专利公开2006-302459号（下文中分别称作专利文件1和2）中公开了下面的技术问题。

日本专利公开H06-253197号公开了这样的技术：从通过在时间和空间上投影某一视频图像获得的图像中检测按时间顺序的改变等，并且基于检测结果从视频图像中剪切一部分视频图像。而且，日本专利公开2006-302459号公开了这样的技术：获取预先配置了插入标记的图像，并且将获取的图像作为插入图像插入在某一视频图像中在其连续性方面被确定为不连续的图像之间。

发明内容

然而，日本专利公开H06-253197号丝毫未提及以优选组合剪切视频图像的方法，在优选组合中相对于诸如包括在视频图像的每一帧中的被摄体的对象考虑单个对象的运动。而且，日本专利公开2006-302459号丝毫未提及自动生成适合于插入镜头图像的图像的技术。

因此，鉴于这些情况设计了本技术，并且期望提供一种信息处理设备、终端设备、图像捕获设备、信息处理方法以及用于图像捕获设备的信息提供方法，它们是新颖的、改进的并且能够更自然地实现运动图像帧的剪切。

根据本技术的实施例，提供了一种信息处理设备，包括：运动检测部分，其检测包括在运动图像帧中的对象的运动信息；以及剪切区域决定部分，其利用由运动检测部分针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域。

此外，根据本公开的另一实施例，提供一种终端设备，包括：图像获取部分，其获取经由检测包括在运动图像帧中的对象的运动信息的处理获得的剪切图像，利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域，并从运动图像帧剪切所决定的区域。

此外，根据本技术的另一实施例，提供一种图像捕获设备，包括：运动图像提供部分，其将捕获的运动图像提供给预定装置；辅助信息获取部分，其从已经执行如下处理的预定装置获取辅助信息：检测包括在捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域的处理，以及产生与用于捕获决定区域的图像的图像捕获方法有关的辅助信息的处理；以及信息提供部分，其将辅助信息提供给用户。

此外，根据本公开的另一实施例，提供了一种信息处理方法，包括：检测包括在运动图像帧中的对象的运动信息；以及利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域。

此外，根据本公开的另一实施例，提供了一种用于图像捕获设备的信息提供方法，包括：将捕获的运动图像提供给预定装置；从已经执行如下处理的预定装置获取辅助信息：检测包括在捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域的处理，以及产生与用于捕获所决定区域的图像的图像捕获方法有关的辅助信息的处理；以及将辅助信息提供给用户。

如上所述，根据本技术的实施例，能够实现运动图像帧的更自然的剪切。

附图说明

图1为用于说明多个对象的运动检测技术的示例图；

图2为用于说明多个对象的运动检测技术的示例图；

图3为用于说明根据实施例的构图确定技术的概况的示例图；

图4为用于说明根据实施例的插入镜头图像插入技术的概况的示例图；

图5为用于说明根据实施例的能够实现构图确定技术和插入镜头图像插入技术的示例系统配置的示例图；

图6为用于说明根据实施例的能够实现构图确定技术的信息处理设备的功能配置的示例图；

图7为用于说明根据更详细的实施例的能够实现构图确定技术的信息处理设备的功能配置的示例图；

图8为用于说明根据更详细的实施例的能够实现构图确定技术的信息处理设备的功能配置的示例图；

图9为用于说明根据更详细的实施例的能够实现构图确定技术的信息处理设备的功能配置的示例图；

图10为具体地说明根据实施例的被摄体区域的调整方法的示例图；

图11为具体地说明根据实施例的被摄体区域的调整方法的示例图；

图12为用于具体地说明根据实施例的剪切模式的示例的示例图；

图13为用于具体地说明根据实施例的剪切模式的示例的示例图；

图14为用于具体地说明根据实施例的剪切模式的示例的示例图；

图15为用于具体地说明根据实施例的剪切区域的决定方法的示例图；

图16为用于具体地说明根据实施例的围绕构图的确定方法的示例图；

图17为用于具体地说明根据实施例的剪切方法的示例图；

图18为用于具体地说明根据实施例的剪切方法的示例图；

图19为用于具体地说明根据实施例的剪切方法的示例图；

图20为用于说明根据实施例的构图确定处理的整个流程的示例图；

图21为用于说明根据实施例的被摄体区域的检测方法的示例图；

图22为用于说明根据实施例的运动检测方法的示例图；

图23为用于说明根据实施例的剪切区域的决定方法的示例图；

图24为用于说明应用了根据实施例的构图确定技术的构成能够实现构图建议提供方法的系统的图像捕获设备的功能配置的示例图；

图25为用于说明应用了根据实施例的构图确定技术的能够实现构图建议提供方法的图像捕获设备的操作的示例图；

图26为用于说明应用了根据实施例的构图确定技术的能够实现构图建议提供方法的图像捕获设备的操作的示例图；

图27为用于说明应用了根据实施例的构图确定技术的能够实现构图建议提供方法的信息处理系统的功能配置的示例图；

图28为用于说明应用了根据实施例的构图确定技术的能够实现构图建议提供方法的信息处理系统的操作的示例图；

图29为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图30为用于说明根据更详细的实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图31为用于说明根据更详细的实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图32为用于说明根据更详细的实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图33为用于说明根据更详细的实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图34为用于说明根据更详细的实施例的能够实现插入镜头图像插入技术的信息处理设备的功能配置的示例图；

图35为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；

图36为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；

图37为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；

图38为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；

图39为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；

图40为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备的操作的示例图；以及

图41为图示了根据实施例的能够实现构图确定技术和插入镜头图像插入技术的设备和系统的示例硬件配置的示例图。

具体实施方式

下文中，将结合附图详细描述本公开的优选实施例。请注意：在说明书和附图中，实质上具有相同功能和结构的结构部件用相同的附图标记表示并且省略这些结构部件的重复说明。

[描述流程]

下文中，简单提到了下面的描述的流程。

首先，参考图1和图2简单描述多个对象的运动检测技术。接下来，参考图3描述根据实施例的构图确定技术的概况。接下来，参考图4描述根据实施例的插入镜头图像插入技术的概况。接下来，参考图5描述了能够应用根据实施例的构图确定技术和插入镜头图像插入技术的示例系统配置。

接下来，参考图6至图19描述了根据实施例的能够实现构图确定技术的信息处理设备30的配置。接下来，参考图20至图23描述了根据实施例的能够实现构图确定技术的信息处理设备30的操作。

接下来，参考图24描述应用了根据实施例的构图确定技术的能够实现构图建议提供方法的图像捕获设备10的功能配置。接下来，参考图25和图26描述了应用了根据实施例的构图确定技术的能够实现构图建议提供方法的图像捕获设备10的操作。接下来，参考图27描述应用了根据实施例的构图确定技术的能够实现构图建议提供方法的信息处理系统20的功能配置。接下来，参考图28描述了应用了根据实施例的构图确定技术的能够实现构图建议提供方法的信息处理系统20的操作。

接下来，参考图29至图34描述了根据实施例的能够实现插入镜头图像插入技术的信息处理设备30的功能配置。接下来，参考图35至图40描述了根据实施例的能够实现插入镜头图像插入技术的信息处理设备30的操作。接下来，参考图41描述了根据实施例的能够实现构图确定技术和插入镜头图像插入技术的设备和系统的示例硬件配置。最后，总结了实施例的技术实质并且简单描述了基于技术实质获得的效果。

（描述项）

1：引言

1-1：多个对象的运动检测技术

1-2：构图确定技术的概况

1-3：插入镜头图像插入技术的概况

1-4：系统配置

2：构图确定技术的细节

2-1：信息处理设备30的配置（示例性配置#1）

2-2：信息处理设备30的操作

2-3：应用示例#1（使用编解码器的运动信息的配置）

2-4：应用示例#2（使用广角图像捕获获得的图像的配置）

2-5：应用示例#3（构图建议功能）

2-5-1：图像捕获设备10的配置

2-5-2：图像捕获设备10的操作

2-5-3：信息处理系统20的配置

2-5-4：信息处理系统20的操作

3：插入镜头图像插入技术的细节

3-1：信息处理设备30的配置（示例性配置#2）

3-2：信息处理设备30的操作

3-3：应用示例#1（考虑声音的插入位置的决定方法）

3-4：应用示例#2（考虑色调的插入图像的选择方法）

4：示例硬件配置

5：总结

<1：引言>

首先，介绍了根据实施例的涉及构图（composition）确定技术和插入镜头图像插入技术的多个对象的运动检测技术。而且，描述了根据实施例的构图确定技术和插入镜头图像插入技术的概况。

[1-1：多个对象的运动检测技术（图1和图2）]

首先，参考图1和图2描述了多个对象的运动检测技术。图1和图2为用于说明多个对象的运动检测技术的示例图。

该技术为在运动图像帧包括多个对象（图1的示例中的人M1和M2）的情况下，计算各个对象的运动向量（图1的示例中的ObjectMV1和ObjectMV2）的技术。作为检测运动向量的技术，例如经常使用块匹配方法等。

利用这种技术能够检测构成运动图像帧的各个块的运动向量（下文中称作LMV）。此外，这样检测的若干LMV进行聚类，属于每个聚类（图2的示例中的聚类#1至#3中的每一个）的LMV的代表被提取为ObjectMV，从而，能够获得每个对象的运动向量。在本说明中，这种技术称作多个对象的运动检测技术。

如上所述，已经描述了多个对象的运动检测技术。

[1-2：构图确定技术的概况（图3）]

接下来，参考图3描述根据实施例的构图确定技术的概况。图3为用于说明根据实施例的构图确定技术的概况的示例图。

根据实施例的构图确定技术涉及考虑对象（图3中的示例中的人M1）的运动决定优选构图和剪切适合于该构图的区域的技术。例如，在图3的示例中，对象M1位于帧的中心附近并且沿向右方向移动。基于运动向量ObjectMV1检测对象M1的运动。在该阶段，在根据实施例的构图确定技术中，剪切范围被决定为使得例如在对象M1的运动方向上产生空间。然后，剪切出剪切范围，对剪切范围进行诸如尺寸调整的处理，之后，替代原始的运动图像帧。

根据实施例的构图确定技术的特征为考虑每个对象的运动的剪切范围的决定方法。而且，在根据实施例的构图确定技术中，在记住了包括在运动图像帧中的多个对象的情况下考虑各个对象的运动向量决定剪切范围。为了实现这种决定方法，使用了上述多个对象的运动检测技术。此处介绍了在运动方向产生空间的剪切方法，然而能够通过利用每个对象的运动向量实现各种构图。在后面的具体示例中将详细描述其它的剪切模式。而且，还介绍了一种机制，其中将利用根据实施例的构图确定技术决定的优选构图的信息提供给用户。

如上所述，已经描述了根据实施例的构图确定技术的概况。

[1-3：插入镜头图像插入技术的概况（图4）]

接下来，参考图4描述了根据实施例的插入镜头图像插入技术的概况。图4为用于说明根据实施例的插入镜头图像插入技术的概况的示例图。

根据实施例的插入镜头图像插入技术涉及从运动图像帧中自动剪切用于插入镜头的图像（下文中称作插入图像）的材料并且处理材料以生成插入图像的技术。例如，如图4所示，不包括主要对象（图4的示例中的人M1至M3）的一部分区域被配置为用于插入图像的材料的剪切范围。此时，例如，剪切范围被设定为与运动图像帧中的纵横比相同的纵横比的形状。而且，剪切出在该剪切范围中的图像并使其扩大到运动图像帧的尺寸以生成插入图像。然后，将该插入图像插入在诸如场景改变的点处。在后面描述详细，根据实施例的插入镜头图像插入技术为包括自动产生插入图像、自动检测要插入插入镜头的点以及自动插入插入图像的技术。

如上所述，已经描述了根据实施例的插入镜头图像插入技术的概况。

[1-4：系统配置（图5）]

接下来，参考图5描述了能够应用根据实施例的构图确定技术和插入镜头图像插入技术的系统的示例性配置。图5为用于说明能够应用根据实施例的构图确定技术和插入镜头图像插入技术的系统的示例性配置的示例图。然而，此处介绍的系统配置为一个示例并且能够根据本公开的实施例进行各种修改。

如图5所示的，该系统例如包括图像捕获设备10、信息处理系统20、信息处理设备30等。图像捕获设备10为捕获运动图像的设备。而且，信息处理系统20例如为经由网络连接到图像捕获设备10的云计算系统或服务器系统。而且，信息处理设备30为诸如个人计算机、信息终端和游戏机的设备。此外，下面进行描述，为了便于下面的描述，假定主要由信息处理设备30处理由图像捕获设备10捕获的视频数据，然而系统配置可以包括在信息处理系统20中实现的信息处理设备30的功能，反之亦然。而且，信息处理设备30可以由多个设备构成。

如上所述，已经描述了能够应用根据实施例的构图确定技术和插入镜头图像插入技术的系统的示例性配置。此处，呈现了包括执行根据实施例的构图确定技术和插入镜头图像插入技术的设备和系统的示例系统配置，然而系统可以进一步包括获取和播放反映了构图确定结果的运动图像的终端设备。相似地，系统可以包括获取和播放基于插入镜头图像插入技术插入了插入镜头的运动图像的终端设备。

如上所述，已经描述了根据实施例的主要技术的概况等。下面一个接一个地更加详细地描述根据实施例的构图确定技术和插入镜头图像插入技术。

<2：构图确定技术的细节>

下文中，描述根据实施例的构图确定技术。

[2-1：信息处理设备30的配置（示例性配置#1；图6至图19）]

首先，参考图6描述根据实施例的能够实现构图确定技术的信息处理设备30的配置。图6为用于说明根据实施例的能够实现构图确定技术的信息处理设备30的配置的示例图。

如图6所示，信息处理设备30主要包括被摄体区域检测部分301、按对象运动检测部分302、剪切区域决定部分303、剪切模式数据库304和剪切部分305。

当开始构图确定处理时，首先，对应于当前运动图像帧的CUR图像被输入到被摄体区域检测部分301、按对象运动检测部分302、剪切区域决定部分303和剪切部分305。而且，对应于用于运动检测的参考帧的REF图像被输入到按对象运动检测部分302。被摄体区域检测部分301利用被摄体检测技术（也包括对象识别、面部识别、面部跟踪等）从CUR图像检测包括被摄体的区域（下文中称作被摄体区域）。由被摄体区域检测部分301检测到的被摄体区域的信息（下文中称作被摄体区域信息）被输入到剪切区域决定部分303。

另一方面，输入了CUR图像和REF图像的按对象运动检测部分302利用输入的CUR图像和REF图像检测每个对象的运动向量ObjectMV。由按对象运动检测部分302检测的每个对象的运动向量ObjectMV的信息（下文中称作ObjectMV信息）被输入到剪切区域决定部分303。

如上所述，CUR图像、被摄体区域信息和ObjectMV信息被输入到剪切区域决定部分303。当输入这些信息时，剪切区域决定部分303基于输入信息决定剪切区域。在该阶段，剪切区域决定部分303基于从剪切模式数据库304读出的剪切模式的信息决定剪切区域。剪切模式为用于调整剪切条件的信息，剪切条件以对象的布置和运动朝向为基础，例如诸如“在对象的对象运动方向上产生空间的构图”、“三分构图”和“围绕（enclosure）构图”。

由剪切区域决定部分303决定的剪切区域的信息被输入到剪切部分305。当输入剪切区域的信息时，剪切部分305根据剪切区域的输入信息从CUR图像剪切出部分区域以产生剪切图像。从信息处理设备30输出由剪切部分305产生的剪切图像。例如，将剪切图像提供给终端设备（未示出）、图像捕获设备10等。而且，剪切图像被扩大到运动图像帧的尺寸，在那之后，代替CUR图像插入到原始运动图像。

如上所述，已经粗略描述了信息处理设备30的配置。之后，更详细地描述信息处理设备30的主要构成。

（被摄体区域检测部分301的细节）

首先，参考图7更详细地描述被摄体区域检测部分301的配置。图7为用于更详细地说明被摄体区域检测部分301的配置的示例图。

如图7所示，被摄体区域检测部分301主要包括亮度信息提取部分311、颜色信息提取部分312、边缘信息提取部分313、被摄体信息提取部分314、运动信息提取部分315、被摄体映射产生部分316和被摄体区域识别部分317。

当CUR图像被输入到被摄体区域检测部分301时，输入的CUR图像被输入到亮度信息提取部分311、颜色信息提取部分312、边缘信息提取部分313、被摄体信息提取部分314、运动信息提取部分315和被摄体区域识别部分317。亮度信息提取部分311从CUR图像提取亮度信息并将其输入到被摄体映射产生部分316。颜色信息提取部分312从CUR图像提取颜色信息并将其输入到被摄体映射产生部分316。边缘信息提取部分313从CUR图像提取边缘信息并将其输入到被摄体映射产生部分316。被摄体信息提取部分314从CUR图像提取被摄体信息并将其输入到被摄体映射产生部分316。运动信息提取部分315从CUR图像提取运动信息并将其输入到被摄体映射产生部分316。

当输入亮度信息、颜色信息、边缘信息、被摄体信息和运动信息时，被摄体映射产生部分316利用输入的亮度信息、颜色信息、边缘信息、被摄体信息和运动信息产生被摄体映射。将由被摄体映射产生部分316产生的被摄体映射输入到被摄体区域识别部分317。当被摄体映射被输入时，被摄体区域识别部分317基于输入的CUR图像和被摄体映射识别对应于各个被摄体的区域（被摄体区域），并且输出被摄体区域信息。

如上所述，已经描述了被摄体区域检测部分301的配置。

（按对象运动检测部分302的细节）

接下来，参考图8更详细地描述按对象运动检测部分302的配置。图8为用于更详细地说明按对象运动检测部分302的配置的示例图。

如图8所示，按对象运动检测部分302主要包括LMV检测部分321、块排除确定部分322、聚类部分323、平均计算部分324、325、326、327和328以及延迟缓冲器329。

当CUR图像和REF图像被输入到按对象运动检测部分302时，输入的CUR图像和REF图像被输入到LMV检测部分321。LMV检测部分321利用CUR图像和REF图像检测LMV。例如，LMV检测部分321利用诸如块匹配方法的技术对每个块检测LMV。由LMV检测部分321检测到的LMV被输入到块排除确定部分322、聚类部分323以及平均计算部分324、325、326、327和328。

当LMV被输入时，块排除确定部分322基于块的坐标以块为单位确定DR（动态范围）和SAD（绝对差之和），以及不用于聚类的无用块（下文中称作排除块）。由块排除确定部分322确定为无用快的块的信息被输入到聚类部分323。当排除块的信息被输入时，聚类部分323执行对LMV的聚类处理，将对应于排除块的LMV之外的LMV设定为对象。

通过聚类部分323进行聚类的结果被输入到平均计算部分324、325、326、327和328。平均计算部分324计算属于聚类#0的LMV的平均值，并且将计算的平均值输出为ObjectMV0。此外，#0至#4是为了方便而简单附加的数字。而且，为了方便描述，此处假定聚类的数量为5，然而推荐平均计算部分的数量和配置在聚类的数量超过5的情况下适当地改变。

相似地，平均计算部分325计算属于聚类#1的LMV的平均值，并且将计算的平均值输出为ObjectMV1。平均计算部分326计算属于聚类#2的LMV的平均值，并且将计算的平均值输出为ObjectMV2。平均计算部分327计算属于聚类#3的LMV的平均值，并且输出计算的平均值作为ObjectMV3。平均计算部分328计算属于聚类#4的LMV的平均值，并且输出计算的平均值作为ObjectMV4。

而且，从平均计算部分324、325、326、327和328输出的ObjectMV0至ObjectMV4被存储在延迟缓冲器329中。由聚类部分323读取存储在延迟缓冲器329中的ObjectMV0至ObjectMV4，并将其用于下一次执行聚类处理。例如，在执行后面描述的分级聚类等的情况下使用前一个聚类处理中提取的每个聚类的代表向量（ObjectMV）。

如上所述，已经描述了按对象运动检测部分302的配置。

（剪切区域决定部分303的细节）

接下来，参考图9至图14更详细地描述剪切区域决定部分303的配置。图9至图14为用于更详细地说明剪切区域决定部分303的配置的示例图。

如图9所示，剪切区域决定部分303主要包括被摄体区域调整部分331和剪切区域计算部分332。

当被摄体区域信息、ObjectMV信息和CUR图像被输入到剪切区域决定部分303中时，输入的被摄体区域信息、ObjectMV信息和CUR图像被输入到被摄体区域调整部分331。当如图10所示地输入这些信息时，被摄体区域调整部分331比较从ObjectMV信息识别的被摄体区域与由被摄体区域信息指示的被摄体区域，并且根据比较结果调整被摄体区域。

在图10的示例中，从ObjectMV信息识别对应于两个对象OBJ1和OBJ2的被摄体区域。另一方面，作为一个示例，基于被摄体区域信息，获得通过面部识别检测的对象OBJ1的面部区域作为被摄体区域。在这种情况下，被摄体区域调整部分331从由ObjectMV信息指示的两个被摄体区域提取包括由被摄体区域信息指示的被摄体区域的一个被摄体区域，并在将其识别为调整之后的被摄体区域。例如，执行这种调整使得能够更准确地剪切出人为被摄体的区域。

在上面提及的示例中，呈现了使ObjectMV信息与面部识别的结果进行比较的方法，然而，例如，利用除了面部的部分（手部，身体的上半部分等）的检测结果也能够获得相似的结果。而且，可以考虑这样的方法：其中利用被摄体区域信息补充在ObjectMV信息中已经被排除的区域。例如，有时的情况是，当穿素色衣服的人被设定为被摄体时，在ObjectMV信息中从被摄体区域排除了衣服部分。当在被摄体区域信息中检测到这种被排除的区域时，被摄体区域调整部分331调整被摄体区域以使得包括由被摄体区域信息标识的被摄体区域。

这样，比较根据ObjectMV信息确定的被摄体区域的位置与由被摄体检测检测的被摄体区域的位置使得能够增加被摄体区域的检测准确度。此外，能够考虑如图11所示各种方法作为图10中的示例方法之外的被摄体区域的调整方法。特别地，将图11所示方法应用到例如检测图10所示对象OBJ1和OBJ2的被摄体区域二者等的情况。例如，能够考虑这样的方法：（示例1）其中将具有大尺寸的被摄体区域选择并设定为调整之后的被摄体区域，（示例2）其中将包括所有被摄体区域的矩形区域设定为调整之后的被摄体区域，（示例3）其中将包括通过面部识别检测的面部的区域设定为调整之后的被摄体区域等。

除了这些之外，还可考虑使用这样的方法：（示例4）其中将包括通过面部识别识别的其自身的孩子的区域优选地设定为调整之后的被摄体区域，（示例5）其中将包括通过对象识别检测的特定的对象本体的区域优选地设定为调整之后的被摄体区域，（示例6）其中将用于被摄体区域的候选提供给用户并且允许用户选择调整之后的被摄体区域等。这样，由被摄体区域调整部分331调整的被摄体区域的信息被输入到剪切区域计算部分332。当输入被摄体区域的信息时，剪切区域计算部分332基于从剪切模式数据库304读取的剪切模式的信息计算剪切区域。

例如，当将“三分构图”选择为剪切模式时，剪切区域计算部分332计算剪切区域，使得作为被摄体的对象OBJ1落入从屏幕的左侧起的屏幕的三分之一的范围内，如图12所示。此外，例如，可以考虑除了“三分构图”之外的如图13所示各种模式作为剪切模式。例如，还可以考虑：（示例1）根据被摄体占用的比例的剪切模式，（示例2）根据被摄体类型的剪切模式，（示例3）根据被摄体周围的边缘的剪切模式，（示例4）根据运动量的剪切模式，（示例5）提供剪切模式并且允许用户选择一个的方法等。此外，诸如（示例2）的方法预期进行诸如面部识别的处理，可以对其使用已知面部识别方法。

而且，当决定剪切区域时，剪切区域计算部分332计算剪切区域的左上角（初始点（x，y））的坐标值，剪切区域的宽度Width，剪切区域的高度Height等，如图14所示。这样计算的定义剪切区域的值被输入到剪切部分305。

（关于剪切区域的决定方法的补充说明）

此处，参考图15至图19补充剪切区域的决定方法的描述。图15至图19为用于补充剪切区域的决定方法的说明的示例图。

首先，参照图15。如图15所示，当在CUR图像中包括被摄体和背景时，考虑考虑了背景的剪切区域的决定方法。例如，可以考虑使得包括背景的区域（下文中称作背景区域）的重心被包括的剪切的方法。而且，也可以考虑使得背景区域被忽略的剪切的方法。而且，还可以考虑选择是否忽略背景区域的剪切的方法并且使用根据选择结果的剪切模式。例如，选择可以包括允许用户选择的方法，根据背景区域的面积执行选择的方法等。而且，还可以考虑其中考虑被摄体的运动和背景区域的位置的决定剪切区域的方法。

接下来，参考图16。如图16所示，有时候的情况是：选择“围绕构图”作为剪切模式是适合的。例如，确定围绕构图的方法可包括下面的方法。首先，以被摄体区域的中心为基础将图像分成4个象限，并且计数属于每个象限的背景区域的像素的数量。然后，当背景区域的像素的数量针对全部分4个象限来说为预定阈值或更大时，确定围绕构图是适合的。此外，类似地，在像素的数量的比例代替像素的数量的值作为用于阈值确定的对象的情况中，围绕构图的确定也是可能的。当确定出围绕构图适合时，应用这样的方法：其中剪切被执行为使得被摄体的中心位于三分角（trisectrix）的中心、其中剪切被执行为使得被摄体的中心位于屏幕的中心，等。

接下来，参考图17。如图17所示，还可以考虑根据多个被摄体的运动的剪切方法。在这种情况下，应用选择主要被摄体并且以主要被摄体为基础决定剪切区域的方法。例如，主要被摄体的选择准则可以包括具有大面积的被摄体、位于前景中的被摄体、没有污迹或不清晰的被摄体等。在图17的示例中，例如，具有最大面积的对象OBJ1被选择为主要被摄体，并且以对象OBJ1为基础决定剪切区域。

接下来，参考图18和图19。到目前为止还未考虑在运动图像中的哪个运动图像帧用于要被剪切的CUR图像。在此描述该点。如图18所示，所考虑的一种方法是选择在被摄体之间具有最短距离的运动图像帧并且选择的运动图像帧被设定为剪切对象的方法。在这种情况下，可以考虑将彼此接近的多个被摄体识别为一个被摄体区域的剪切的方法，并且例如将识别的被摄体区域的中心设定为落在三分角上。相反，如图19所示，还可以考虑将在被摄体之间具有最大距离的运动图像帧设定为剪切对象的方法。在这种情况下，例如，可以考虑将每个被摄体区域的中心设定为落入三分角中的剪切的方法。

如上所述，能够应用各种剪切方法。

如上所述，已经详细描述了信息处理设备30的功能配置。

[2-2：信息处理设备30的操作（图20至图23）]

接下来，参考图20至图23描述信息处理设备30的操作。图20至图23为用于说明信息处理设备30的操作的示例图。

（处理的整个流程）

首先，描述处理的整个流程。如图20所示，信息处理设备30首先基于被摄体检测技术检测被摄体区域（S101）。接下来，信息处理设备30检测各个对象的运动向量（S102）。接下来，信息处理设备30基于各个对象的运动向量、被摄体区域的检测结果和剪切模式决定剪切区域（S103）。接下来，信息处理设备30剪切在步骤S103中决定的剪切区域（S104），并且结束处理系列。此外，可以颠倒步骤S101和S102中的处理顺序。

如上所述，已经描述了处理的整个流程。

（根据被摄体区域的检测的处理流程）

接下来，描述根据被摄体区域的检测的处理的流程。如图21所示，信息处理设备30首先从CUR图像提取亮度信息（S111）。接下来，信息处理设备30从CUR图像提取颜色信息（S112）。接下来，信息处理设备30从CUR图像提取边缘信息（S113）。接下来，信息处理设备30从CUR图像提取被摄体信息（S114）。

接下来，信息处理设备30从CUR图像提取运动信息（S115）。接下来，信息处理设备30利用亮度信息、颜色信息、边缘信息、被摄体信息和运动信息产生被摄体映射（S116）。接下来，信息处理设备30利用在步骤S116中产生的被摄体映射检测被摄体区域（S117），并且根据被摄体区域的检测结束处理系列。

如上所述，已经描述了根据被摄体区域的检测的处理的流程。

（根据运动检测的处理的流程）

接下来，描述了根据运动检测的处理的流程。如图22所示，信息处理设备30首先确定是否针对所有的块完成了处理（S121）。当针对所有的块完成了处理时，信息处理设备30使处理前进至步骤S125。另一方面，当没有对所有的块完成处理时，信息处理设备30使处理前进至步骤S122。

当使处理向前至步骤S122时，信息处理设备30确定当前作为目标的块是否为排除目标的块（S122）。在是排除目标的块的情况下，信息处理设备30使处理前进至S123。另一方面，在不是排除目标的任何块的情况下，信息处理设备30使处理前进至步骤S124。

当使处理前进至步骤S123时，信息处理设备30为当前作为目标的块输入排除标记（S123），并使处理前进至步骤S121。另一方面，当使处理前进至步骤S124时，信息处理设备30执行LMV的聚类（S124），并使处理前进至步骤S121。当在步骤S121中使处理前进至步骤S125时，信息处理设备30计算每个聚类的LMV的平均值（S125），并且根据运动检测结束处理系列。

如上所述，已经描述了根据运动检测的处理的流程。

（根据剪切区域的决定的处理的流程）

接下来，描述根据剪切区域的决定的处理的流程。如图23所示，信息处理设备30基于被摄体区域信息和ObjectMV信息调整被摄体区域（S131）。接下来，信息处理设备30基于调整之后的被摄体区域和剪切模式决定剪切区域（S132），并且根据剪切区域的决定结束处理系列。

如上所述，已经描述了根据剪切区域的决定的处理的流程。

如上所述，已经描述了信息处理设备30的操作。

[2-3：应用示例#1（使用编解码器的运动信息的配置）]

顺便提及，目前为止已经作出了描述，假设从头开始计算ObjectMV，然而使用包括在运动图像中的编解码器信息能够减少ObjectMV的计算负载。当在编解码器信息中包括ObjectMV信息时，通过原样使用信息当然可以省略ObjectMV的计算步骤，因此能够极大地降低处理量。而且，当在编解码器信息中包括LMV的信息时，在计算ObjectMV中可以省略LMV的计算步骤，因此能够减小处理负载和处理时间。

[2-4：应用示例#2（使用由广角图像捕获获得的图像的配置）]

顺便提及，当剪切CUR图像以使得具有优选构图时，其图像尺寸理所当然地缩小。因此，当在运动图像中插入剪切图像时，期望剪切图像扩大至运动图像帧的尺寸。此时，图像质量劣化。因此，当应用根据实施例的构图确定技术时，期望以高的分辨率捕获图像。以高的分辨率捕获图像能够抑制图像质量劣化。而且，预先准备由广角图像捕获获得的运动图像扩大了执行剪切的范围，因此，可实现的剪切模式增大，并且能够使得各种构图更加灵活。

[2-5：应用示例#3（构图建议功能）]

现在，到目前为止已经描述了确定剪切区域以使得具有对应于剪切模式的构图以从CUR图像生成剪切图像的方法。然而，剪切区域的信息针对图像捕获的人来讲也是有用的，该信息是在产生剪切图像的处理中获得的。也即是说，剪切区域的信息能够用来确定在哪种构图中图像适合于被捕获。因此，发明人已经设计出一种将剪切区域的信息用于构图的建议的机制。例如，图像捕获设备10和信息处理系统20的下面的配置使得能够实现上面提及的构图建议功能。

（2-5-1：图像捕获设备10的配置（图24））

首先，参考图24描述其中实施了构图建议功能的图像捕获设备10的功能配置。图24为用于说明其中实施了构图建议功能的图像捕获设备10的功能配置的示例图。

如图24所示，图像捕获设备10主要包括图像捕获部分101、图像数据传输部分102、通信设备103、建议接收部分104以及建议提供部分105。

图像捕获部分101包括由变焦透镜、聚焦透镜等构成的光学系统、诸如CCD和CMOS的固态图像传感器、对从固态图像传感器输出的电子信号执行A/D转换以生成图像数据的图像处理电路等。从图像捕获部分101输出的图像数据被输入到图像数据传输部分102。当图像数据被输入时，图像数据传输部分102经由通信设备103将图像数据传输至信息处理系统20。此外，通信设备103可以配置为能够从壳体上拆卸。

当从已经接收了图像数据的信息处理系统20传输构图建议的信息时，建议接收部分104经由通信设备103接收构图建议的信息。由建议接收部分104接收的构图建议的信息被输入到建议提供部分105。当构图建议的信息被输入时，建议提供部分105将构图建议的输入信息提供给用户。例如，建议提供部分105在显示部分（未示出）上显示对应于剪切区域的帧，和/或执行控制以自动驱动变焦机构，使得剪切区域靠近图像捕获区域。

如上所述，已经描述了图像捕获设备10的配置。

（2-5-2：图像捕获设备10的操作（图25和图26））

接下来，参考图25和图26描述实施了构图建议功能的图像捕获设备10的操作。图25和图26为用于说明实施构图建议功能的图像捕获设备10的操作的示例图。

首先，参考图25。如图25所示，已经开始图像数据传输处理的图像捕获设备10捕获运动图像的图像数据（S201）。接下来，图像捕获设备10将在步骤S201中捕获的运动图像的图像数据传输至信息处理系统20（S202）。接下来，图像捕获设备10确定是否存在图像数据传输处理的结束操作（S203）。当存在结束操作时，图像捕获设备10根据图像数据传输处理结束处理系列。另一方面，当不存在结束操作时，图像捕获设备10使处理前进至步骤S201。

接下来，参考图26。如图26所示，首先，已经开始建议提供处理的图像捕获设备10确定是否从信息处理系统20接收到构图建议的信息（S211）。当接收到构图建议的信息时，图像捕获设备10使处理前进到步骤S212。另一方面，当没有接收到构图建议的信息时，图像捕获设备10使处理前进到步骤S211。当处理前进至步骤S212时，图像捕获设备10将从信息处理系统20接收到的构图建议的信息提供给用户（S212），并且结束根据建议提供处理的处理系列。

如上所述，已经描述了图像捕获设备10的操作。

（2-5-3：信息处理系统20的配置（图27））

接下来，参考图27描述实施了构图建议功能的信息处理系统20的功能配置。图27为用于说明实施了构图建议功能的信息处理系统20的功能配置的示例图。

如图27所示，信息处理系统20主要包括图像数据接收部分201、剪切方法决定部分202、建议产生部分203以及建议传输部分204。

由图像数据接收部分201接收从图像捕获设备10传输的图像数据。由图像数据接收部分201接收的图像数据被输入到剪切方法决定部分202。类似于上面提及的信息处理设备30，当输入图像数据时，剪切方法决定部分202从图像数据检测被摄体区域信息和ObjectMV信息，并且在被摄体区域的调整之后，基于剪切模式决定剪切区域。由剪切方法决定部分202决定的剪切区域的信息被输入到建议产生部分203。

当输入剪切区域的信息时，建议产生部分203基于剪切区域的输入信息产生构图建议的信息。例如，建议产生部分203产生包括剪切区域的位置、垂直和水平大小等的信息的构图建议的信息。或者，建议产生部分203根据剪切区域的信息产生构图建议的信息，构图建议的信息包括关于变焦控制值校正的内容、图像捕获设备10的倾斜、透镜面朝的方位等。

由建议产生部分203产生的构图建议的信息被输入到建议传输部分204。当输入构图建议的信息时，建议传输部分204将构图建议的输入信息传输到图像捕获设备10。

如上所述，已经描述了信息处理系统20的配置。

（2-5-4：信息处理系统20的操作（图28））

接下来，参考图28描述实施了构图建议功能的信息处理系统20的操作。图28为用于说明实施了构图建议功能的信息处理系统20的操作的示例图。

如图28所示，首先，已经开始了建议传输处理的信息处理系统20确定是否从图像捕获设备10接收到图像数据（S301）。当接收到图像数据时，信息处理系统20使处理前进到步骤S302。另一方面，当没有接收到图像数据时，信息处理系统20使处理前进到步骤S301。当处理前进至步骤S302时，信息处理系统20决定剪切方法（S302）。接下来，信息处理系统20基于在步骤S302中决定的剪切方法产生构图建议的信息（S303）。接下来，信息处理系统20将在步骤S303中产生的构图建议的信息传输至图像捕获设备10（S304），并且使处理前进到步骤S301。

如上所述，已经描述了信息处理系统20的操作。

如上所述，已经描述了根据实施例的构图确定技术的细节。

<3：插入镜头图像插入技术的细节>

接下来，描述根据实施例的插入镜头图像插入技术。此外，此处所述的插入镜头图像插入技术与上面提及的构图确定技术关于剪切区域检测具有部分共同的部分，用于利用被摄体区域信息和ObjectMV信息剪切出用于插入图像的材料。

[3-1：信息处理设备30的配置（示例性配置#2；图29至图34）]

首先，参考图29描述根据实施例的能够实现插入镜头图像插入技术的信息处理设备30的功能配置。图29为用于说明根据实施例的能够实现插入镜头图像插入技术的信息处理设备30的功能配置的示例图。

如图29所示，信息处理设备30主要包括：插入图像选择部分351、插入图像产生部分352、剪切图像缓冲器353、插入图像缓冲器354、插入图像插入点检测部分355、插入的插入图像决定部分356以及插入图像插入部分357。

此外，之后，插入图像选择部分351、插入图像产生部分352和剪切图像缓冲器353有时称作插入图像产生块B1。而且，插入图像插入点检测部分355，插入的插入图像决定部分356和插入图像插入部分357有时称作插入图像插入块B2。

（插入图像产生块B1的配置）

当CUR图像的图像数据被输入到信息处理设备30时，输入的图像数据被输入到插入图像选择部分351。当图像数据被输入时，插入图像选择部分351剪切出一部分输入图像数据以生成用作插入图像的材料的剪切图像。由插入图像选择部分351产生的剪切图像被输入到插入图像产生部分352，并且此外存储在剪切图像缓冲器353中。当输入剪切图像时，插入图像产生部分352使输入的剪切图像扩大到运动图像帧的尺寸以生成插入图像。由插入图像产生部分352产生的插入图像被存储在插入图像缓冲器354中。

（插入图像插入块B2的配置）

当作为插入了插入图像的对象的图像数据被输入到信息处理设备30时，输入的图像数据被输入到插入图像插入点检测部分355。当输入图像数据时，插入图像插入点检测部分355从输入的图像数据检测要插入插入镜头的诸如场景改变的点（下文中称作插入点）。由插入图像插入点检测部分355检测到的插入点的信息被输入到插入的插入图像决定部分356。

当输入插入点的信息时，插入的插入图像决定部分356从存储在插入图像缓冲器354中的插入图像中决定适合于在输入的插入点处插入的插入图像（下文中称作插入的插入图像）。由插入的插入图像决定部分356决定的插入的插入图像被输入到插入图像插入部分357。当插入的插入图像被输入时，插入图像插入部分357在插入点插入如此输入的插入的插入图像，并且输出插入了插入的插入图像的图像数据（下文中称作插入之后的图像数据）。

如上所述，已经粗略描述了信息处理设备30的配置。之后，更详细地描述信息处理设备30的主要构成。

（插入图像选择部分351的细节）

首先，参考图30更详细地描述插入图像选择部分351的配置。图30为用于更详细地说明插入图像选择部分351的配置的示例图。

如图30所示，插入图像选择部分351主要包括：被摄体区域检测部分361、按对象运动检测部分362、插入切口用区域检测部分363和插入切口用区域剪切部分364。此外，被摄体区域检测部分361的功能实质上与上面提及的被摄体区域检测部分301的功能相同。而且，按对象运动检测部分362的功能实质上与上面提及的按对象运动检测部分302的功能相同。

当CUR图像被输入到插入图像选择部分351时，CUR图像被输入到被摄体区域检测部分361、按对象运动检测部分362、插入切口用区域检测部分363和插入切口用区域剪切部分364。输入了CUR图像的被摄体区域检测部分361基于被摄体检测技术检测包括在CUR图像中的被摄体区域。由被摄体区域检测部分361（被摄体区域信息）检测的被摄体区域的信息被输入到插入切口用区域检测部分363。

在检测包括在CUR图像中的每个对象的运动向量中使用的REF图像被输入到按对象运动检测部分362。按对象运动检测部分362基于输入的CUR图像和REF图像检测每个对象的运动向量。指示由按对象运动检测部分362检测到的每个对象的运动向量的信息（ObjectMV信息）被输入到用于插入切口用区域检测部分363。

当输入CUR图像、被摄体区域信息和ObjectMV信息时，插入切口用区域检测部分363从CUR图像检测要剪切的区域（剪切区域）作为用于插入镜头的插入图像的材料。由插入切口用区域检测部分363检测到的剪切区域的信息被输入到插入切口用区域剪切部分364。当剪切区域的信息被输入时，插入切口用区域剪切部分364根据输入的剪切区域的信息剪切出一部分CUR图像，并将这样剪切的图像（剪切图像）存储在剪切图像缓冲器353中。

（插入切口用区域检测部分363的细节）

在此，参考图31更详细地描述插入切口用区域检测部分363的配置。图31为用于更详细地说明插入切口用区域检测部分363的配置的示例图。

如图31所示，插入切口用区域检测部分363主要包括被摄体区域调整部分371和插入切口用图像区域决定部分372。此外，被摄体区域调整部分371的功能实质上与上面提及的被摄体区域调整部分331的功能相同。

当被摄体区域信息、CUR图像和ObjectMV信息被输入到插入切口用区域检测部分363时，这些信息段被输入到被摄体区域调整部分371。当输入这些信息时，被摄体区域调整部分371比较根据被摄体区域信息识别的被摄体区域与根据ObjectMV信息识别的被摄体区域，并且识别将二者彼此一致的被摄体区域识别为调整之后的被摄体区域。此外，被摄体区域调整部分371可以被配置为利用另外的方法的被摄体区域调整类似于上面提及的被摄体区域调整部分331。

因此，由被摄体区域调整部分371获得的调整之后的被摄体区域的信息被输入到插入切口用图像区域决定部分372。当输入被摄体区域的信息时，插入切口用图像区域决定部分372基于被摄体区域的输入信息决定用于插入镜头的剪切区域。例如，插入切口用图像区域决定部分372从除了被摄体区域之外的区域决定出与运动图像帧相同的纵横比的矩形区域作为剪切区域。

如上所述，已经描述了插入图像选择部分351的配置。

（插入图像产生部分352的细节）

接下来，参考图32更详细地描述插入图像产生部分352的配置。图32为用于更详细地说明插入图像产生部分352的配置的示例图。

如图32所示，插入图像产生部分352主要包括相同场景检测部分381和图像扩大部分382。

当剪切图像被输入到插入图像产生部分352时，输入的剪切图像被输入到相同场景检测部分381。输入了剪切图像的相同场景检测部分381从存储在剪切图像缓冲器353中的剪切图像中检测对应于与输入剪切图像的场景相同的场景的剪切图像。然后，相同场景检测部分381将在相同场景中的检测的剪切图像的信息输入到图像扩大部分382。

此外，由于此处假设剪切图像被扩大，应用使用多个运动图像帧的超分辨率技术，因此提供了在相同场景中准备剪切图像的块。然而，如果使用一个运动图像帧的超分辨率技术，则该块是不需要的。而且，如果利用诸如双三次插值和双线性插值的技术而不利用超分辨率技术扩大剪切图像，则上面提及的块也是不需要的。然而，在此假设应用了利用多个运动图像帧的超分辨率技术进行描述。

此外，在上面提及的从一个运动图像帧扩大剪切图像的技术中，能够应用这样的方法：其中，如果出现多个相同的场景，则从相同的场景中选择具有好的质量的一个并使用等。例如，从相同的场景中选择出并利用污迹和/或不清晰较少的运动图像帧或噪声较少的运动图像帧使得能够抑制剪切图像在图像质量方面劣化。

当输入相同场景中的剪切图像的信息时，图像扩大部分382利用当前剪切图像和在与当前剪切图像的场景相同的场景中的剪切图像对当前剪切图像执行超分辨率处理，并且将当前剪切图像扩大至与运动图像帧的尺寸相同的尺寸。由图像扩大部分382扩大的剪切图像被输出为插入图像。

此外，例如，可如图33所图示地配置图像扩大部分382。在图33的示例中，图像扩大部分382主要包括：初始图像产生电路391，SR图像缓冲器392，超分辨率处理器393、395和397，加法器394、396和398，以及开关SW。此外，针对图33中示例出的图像扩大部分382的详细配置和操作，推荐参考日本专利公开2008-140012号。

如上所述，已经描述了插入图像产生部分352的配置。

（插入图像插入点检测部分355的细节）

接下来，参考图34更详细地描述插入图像插入点检测部分355的配置。图34为用于更详细地说明插入图像插入点检测部分355的配置的示例图。

如图34所示，插入图像插入点检测部分355主要包括延时设备401、场景改变检测部分402和插入确定部分403。

当图像数据被输入到插入图像插入点检测部分355中时，输入的图像数据被输入到延时设备401和场景改变检测部分402。延时设备401使图像数据的输出延时一帧。因此，当输入当前图像数据时，延时设备401比当前图像数据早一帧将图像数据输入到场景改变检测部分402。因此，当前图像数据和早一帧的前一个图像数据被输入到场景改变检测部分402。

当当前图像数据和早一帧的前一个图像数据被输入时，场景改变检测部分402比较输入的两个图像数据，检测场景改变。由场景改变检测部分402获得的检测结果被通知插入确定部分403。当检测到任何场景改变时，插入确定部分403确定“插入正（positive）”，并且输出指示插入点的插入标记。另一方面，当没有检测到场景改变时，插入确定部分403确定“插入负（negative）”，并且输出不指示任何插入点的插入标记。

此外，此处介绍了这种方法：其中基于目标帧和位于所述帧之前和之后的帧检测场景改变，然而还可通过参照除了位于之前和之后的帧之外的帧来检测场景改变。例如，在不想要地拍摄了几帧脚趾等的情况下，将插入点设定为对应的多个帧。从而，在相关的部分上插入插入图像。

如上所述，已经描述了插入图像插入点检测部分355的配置。

如上所述，已经详细描述了信息处理设备30的功能配置。

[3-2：信息处理设备30的操作（图35至图40）]

接下来，参考图35至图40描述信息处理设备30的操作。图35至图40为用于说明信息处理设备30的操作的示例图。

（在插入图像产生块B1中的处理的整个流程）

首先，参考图35描述在插入图像产生块B1中的处理的整个流程。图35为用于说明在插入图像产生块B1中的处理的整个流程的示例图。

如图35所示，插入图像产生块B1首先选择适合于插入图像的图像，并将其存储在剪切图像缓冲器中（S401）。接下来，插入图像产生块B1将在步骤S401中选择的图像扩大到帧的尺寸以生成插入图像（S402）。接下来，插入图像产生块B1在插入图像缓冲器中存储在步骤S402中产生的插入图像（S403），并且根据插入图像的产生结束处理系列。

如上所述，已经描述了在插入图像产生块B1中的处理的整个流程。

（根据插入用图像的选择的处理的流程）

接下来，参考图36更详细地描述根据插入用图像的选择的处理的流程。图36为用于说明根据插入用图像的选择的处理的流程的示例图。

如图36所示，插入图像产生块B1首先检测被摄体区域（S411）。接下来，插入图像产生块B1检测每个对象的运动向量（S412）。接下来，插入图像产生块B1基于每个对象的运动向量、被摄体区域的检测结果和剪切模式决定用于剪切用于插入图像的材料的剪切区域（S413）。接下来，插入图像产生块B1剪切在步骤S413中检测的剪切区域，在剪切图像缓冲器中存储剪切图像（S414），并且根据插入用图像的选择结束处理系列。此外，可以颠倒步骤S411和S412中的处理的顺序。

如上所述，已经描述了根据插入用图像的选择的处理的流程。

（根据插入图像用区域的检测的处理的流程）

接下来，参考图37描述根据插入图像用区域的检测的处理的流程。图37为用于说明根据插入图像用区域的检测的处理的流程的示例图。

如图37所示，插入图像产生块B1基于被摄体区域信息和ObjectMV信息调整被摄体区域（S421）。接下来，插入图像产生块B1输出排除了被摄体区域的矩形区域作为插入图像用区域（剪切区域）（S422），并且根据插入图像用区域的检测结束处理系列。

如上所述，已经描述了根据插入图像用区域的检测的处理的流程。

（根据插入图像的产生的处理的流程）

接下来，参考图38描述根据插入图像的产生的处理的流程。图38为用于说明根据插入图像的产生的处理的流程的示例图。

如图38所示，插入图像产生块B1确认图像数据是否具有与前一帧的场景相同的场景（S431）。此外，如果在扩大的剪切图像中不利用应用到多个剪切图像的超分辨率，则可以省略步骤S431。接下来，当利用在相同的场景中的多个帧应用超分辨率时，插入图像产生块B1扩大当前帧（剪切图像）并将其存储在插入图像缓冲器中（S432），并且根据插入图像的产生结束处理系列。

此外，插入图像产生块B1可以被配置为考虑对应于在预定时间内的运动的序列执行剪切处理，并且根据剪切图像生成插入图像（在这种情况下，插入图像被获得为运动图像）以将其存储在缓冲器中。根据这种配置，例如，在运动会的场景中能够利用通过以预定时间捕获旗帜的运动的图像、运动员的运动等而获得的插入图像。也即是说，能够插入适合于插入的运动图像。而且，考虑用作运动图像，优选地是在图像捕获中执行诸如去除污迹的处理和/或提高扩大处理等，以便不会作为不优美的运动图像。

如上所述，已经描述了根据插入图像的产生的处理的流程。

（插入图像插入块B2中的处理的整个流程）

接下来，参考图39描述在插入图像插入块B2中的处理的整个流程。图39为用于说明在插入图像插入块B2中的处理的整个流程的示例图。

如图39所示，插入图像插入块B2首先检测插入图像的插入点（S441），例如，插入图像插入块B2检测出现场景改变的点作为插入点。接下来，插入图像插入块B2从插入图像缓冲器中选择插入的插入图像（S442）。接下来，插入图像插入块B2在插入点处插入在步骤S442中选择的插入图像（S443），并且结束处理系列。

如上所述，已经描述了插入图像插入块B2中的处理的整个流程。

（根据插入点的检测的处理的流程）

接下来，参考图40描述根据插入点的检测的处理的流程。图40为用于说明根据插入点的检测的处理的流程的示例图。

如图40所示，插入图像插入块B2首先确认是存在还是不存在场景改变（S451）。接下来，当存在场景改变时，插入图像插入块B2输出指示“插入存在”的插入标记，当场景改变不存在时，插入图像插入块B2输出指示“插入不存在”的插入标记（S452），并且根据插入点的检测结束处理系列。

如上所述，已经描述了根据插入点的检测的处理的流程。此外，在上面提及的描述中，将插入一个插入图像的处理作为目标并进行了描述，然而其能够扩大到插入由多个运动图像帧构成的运动图像的配置中。而且，如果以预定时间（例如，5秒）准备插入图像，则能够从对应于该时间的运动图像帧中产生插入图像。而且，能够以预定时间插入相同的运动图像帧。

如上所述，已经描述了信息处理设备30的操作。

[3-3：应用示例#1（考虑声音的插入位置的决定方法）]

在上面提及的描述中，介绍了通过比较前一帧的图像与当前帧的图像检测场景改变的方法，然而在根据实施例的应用技术中，场景改变的检测方法不限于上面提及的方法。例如，能够考虑利用声音检测场景改变的方法等。例如，在运动会的音乐的背景声音等连续的情况下，能够确定没有出现场景改变。更具体地，预期这样的方法是有效的：其中当背景音乐连续时，即使在基于图像的比较确定存在场景改变时，也能确定没有出现场景转换。因此，将声音应用于场景改变使得能够以提高的准确度检测场景改变并且更优选地检测插入点。

[3-4：应用示例#2（考虑色调的插入图像的选择方法）]

而且，关于插入图像的选择方法，例如，通过尽可能靠近插入点从运动图像帧中选择插入图像，或者通过靠近颜色的色调选择插入图像，能够实现更自然的插入镜头。例如，可以考虑这样的方法：其中，使（在先前帧中的所有像素值的平均值+在后帧中的所有像素值的平均值）/2与用于插入图像候选的所有像素值的平均值进行比较，并且采用在二者之间差值最小的候选作为插入图像。而且，实践上预期其针对限制已经用于插入的插入图像不会再次使用等是有效的。而且，能够考虑这样的方法：其中如果在这样的考虑之后没有适合的插入图像则选择和插入预先准备的插入图像而不管运动图像。

如上所述，已经描述了根据实施例的插入镜头图像插入技术的细节。

<4：示例硬件配置（图41）>

例如，能够通过利用图41中所示的硬件配置实现包括在上述信息处理设备30和信息处理系统20中的每个构成的功能。也就是说，通过利用计算机程序控制图41中所示的硬件能够实现每个构成的功能。此外，该硬件的模式是任意的，可以是个人计算机，诸如移动电话的移动信息终端、PHS或PDA、游戏机或各种类型的信息装置。而且，PHS为个人手持式电话系统的简称。此外，PDA为个人数字助理的简称。

如图41所示，该硬件主要包括CPU 902、ROM 904、RAM 906，主机总线908和桥910。此外，该硬件包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924和通信单元926。而且，CPU为中央处理单元的简称。此外，ROM为只读存储器的简称。此外，RAM为随机存取存储器的简称。

例如，CPU 902用作算法处理单元和控制单元，并且基于记录在ROM904、RAM 906、存储单元920或可移除记录介质928上的各种程序控制每个结构部件的整个操作或一部分操作。ROM 904为用于存储例如在算法操作中使用的被加载在CPU 902上的程序或数据等的介质。RAM 906暂时或永久地存储在执行程序中任意改变的例如被加载在CPU 902上的程序或各种参数等。

这些结构性部件例如通过能够执行高速数据传输的主机总线908连接到彼此。针对该部分，主机总线908通过桥910连接到例如其数据传输速度相对较低的外部总线912。此外，输入916例如为鼠标、键盘、触摸面板、按钮、开关或操纵杆。此外，输入单元916可以为能够利用红外线或其它无线电波传输控制信号的远程控制器。

输出单元918例如为能够可视地或可听地通知用户获得的信息的诸如CRT、LCD、PDP或ELD的显示设备、诸如扬声器或耳机的音频输出设备、打印机、移动电话或传真。而且，CRT为阴极射线管的简称。LCD为液晶显示器的简称。PDP为等离子显示板的简称。此外，ELD为电致发光显示器的简称。

存储单元920为用于存储各种数据的设备。存储单元920例如为磁性存储设备，诸如硬盘驱动器（HDD）、半导体存储设备、光学存储设备或磁光存储设备。HDD为硬盘驱动器的简称。

驱动器922读取记录在可移除记录介质928上的信息或在可移除记录介质928上写入信息的设备，所述可移除记录介质928诸如磁盘、光盘、磁光盘或半导体存储器。可移除记录介质928例如为DVD介质、蓝光光碟介质、HD-DVD介质、各种类型的半导体存储介质等。当然，可移除记录介质928例如可以为电子设备或安装有非接触IC芯片的IC卡。IC为集成电路的简称。

连接端口924为端口，诸如USB端口、IEEE1394端口、SCSI、RS-232C端口或用于连接外部连接设备93诸如声光终端的端口。外部连接设备930例如为打印机、移动音乐播放器、数码相机、数字视频相机或录音机。而且，USB为通用串行总线的简称。此外，SCSI为小型计算机系统接口的简称。

通信单元926为连接到网络932上的通信设备，例如为用于有线或无线LAN的通信卡，蓝牙（注册商标）、或WUSB、光学通信路由器、ADSL路由器或用于各种通信的调制解调器。连接到通信单元926上的网络932由有线连接或无线连接的网络配置，并且例如为因特网、家用LAN、红外通信、可见光通信、广播或卫星通信。而且，LAN为局域网的简称。此外，WUSB为无线USB的简称。此外，ADSL为非对称数字用户环路的简称。

<5：总结>

最后，简单总结了实施例的技术实质。下面描述的技术实质能够应用到各种信息处理设备中，诸如PC、移动电话、手持游戏机、移动信息终端、信息家用装置和汽车导航系统。

能够如下呈现上面提及的信息处理设备的功能配置。例如在下面的（1）中呈现的信息处理设备使用每个对象的运动信息决定剪切区域，并因此能够在留下对象正朝其运动的物体的同时调整运动图像帧的构图作为总得来说优秀的构图。

本领域的技术人员应当理解的是，根据设计需要和其它因素，可以发生各种变型、组合、子组合以及修改，它们在所附的权利要求或其等价物的范围内。

（1）一种信息处理设备，包括：

运动检测部分，其检测包括在运动图像帧中的对象的运动信息；以及

剪切区域决定部分，其利用由运动检测部分针对每个对象检测的运动信息决定要从运动图像帧中剪切的区域。

（2）根据（1）所述的信息处理设备，还包括：

对象检测部分，其检测包括在运动图像帧中的对象，

其中，剪切区域决定部分基于由运动检测部分针对每个对象检测的运动信息和由对象检测部分检测到的对象的检测结果决定要从运动图像帧中剪切的区域。

（3）根据（2）所述的信息处理设备，

剪切区域决定部分利用针对每个对象检测的运动信息和对象的检测结果提取对应于对象的实质外部形状的对象区域，并且基于所提取的对象区域的布置和以对象区域的布置为基础的预定剪切模式决定要从运动图像帧中剪切的区域。

（4）根据（1）至（3）中任一项所述的信息处理设备，

在运动图像帧中包括多个对象的情况下，运动检测部分检测多个对象中的每一个的运动信息。

（5）根据（1）至（4）中任一项所述的信息处理设备，

运动检测部分输出包括在运动图像帧的编解码器信息中的运动信息作为检测结果。

（6）根据（3）所述的信息处理设备，还包括：

对象识别部分，其识别由对象检测部分检测到的对象是被摄体还是背景，

其中，剪切区域决定部分基于被识别为被摄体的对象的对象区域和被识别为背景的对象的对象区域的布置以及预定剪切模式，决定要从运动图像帧中剪切的区域。

（7）根据（3）所述的信息处理设备，还包括：

对象识别部分，其识别由对象检测部分检测到的对象是被摄体还是背景，

其中，剪切区域决定部分基于被识别为被摄体的对象的对象区域的布置和预定剪切模式决定要从运动图像帧中剪切的区域。

（8）根据（1）至（5）中任一项所述的信息处理设备，

剪切区域决定部分决定要从运动图像帧内的除被识别为被摄体的对象的对象区域外的区域中剪切的区域作为能用于插入切口的材料，以及

其中，信息处理设备还包括：

插入图像产生部分，通过从运动图像帧剪切由剪切区域决定部分决定的区域并且利用区域的图像，插入图像产生部分产生要作为插入切口被插入到运动图像中的插入图像。

（9）根据（8）所述的信息处理设备，还包括：

插入位置检测部分，其检测要插入插入图像的位置；以及

插入图像插入部分，其在由插入位置检测部分检测到的位置处插入由插入图像产生部分产生的插入图像。

（10）根据（9）所述的信息处理设备，

剪切区域决定部分决定要剪切的多个区域，

插入图像产生部分产生对应于要剪切的多个区域的多个插入图像，以及

插入图像插入部分在由插入位置检测部分检测到的位置处插入从多个插入图像中选择的插入图像。

（11）一种终端设备，包括：

图像获取部分，其获取剪切图像，剪切图像是经由检测包括在运动图像帧中的对象的运动信息的处理、利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域的处理、以及从运动图像帧中剪切所决定的区域的处理而获得的。

（12）根据（11）所述的终端设备，还包括：

运动图像播放部分，其播放用剪切图像或通过处理剪切图像获得的图像代替与剪切图像对应的运动图像帧的运动图像。

（13）根据（11）或（12）所述的终端设备，

决定要被剪切的区域的处理为基于针对每个对象检测到的运动信息和利用对象检测而获得的对象的检测结果决定要从运动图像帧中剪切的区域的处理。

（14）根据（13）所述的终端设备，

决定要剪切的区域的处理为这样的处理：通过利用针对每个对象检测到的运动信息和对象的检测结果提取与对象的实质外部形状相对应的对象区域，基于所提取的对象区域的布置和以对象区域的布置为基础的预定剪切模式，决定要从运动图像帧中剪切的区域。

（15）根据（11）至（14）中任一项所述的终端设备，

在运动图像帧中包括多个对象的情况下，检测运动信息的处理为检测多个对象中的每一个的运动信息的处理。

（16）根据（11）至（15）中任一项所述的终端设备，

检测运动信息的处理为输出包括在运动图像帧的编解码器信息中的运动信息作为检测结果的处理。

（17）根据（11）所述的终端设备，

决定要剪切的区域的处理为决定要从运动图像帧内的除被识别为被摄体的对象的对象区域外的区域中剪切的区域作为能用于插入切口的材料的处理，

图像获取部分获取利用剪切图像产生并且作为插入切口被插入在运动图像中的插入图像，以及

终端设备还包括：

运动图像播放部分，其播放插入有插入图像的运动图像。

（18）一种图像捕获设备，包括：

运动图像提供部分，其将捕获的运动图像提供给预定装置；

辅助信息获取部分，其从已经执行如下处理的预定装置获取辅助信息：检测包括在捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域的处理，以及产生与用于捕获决定区域的图像的图像捕获方法有关的辅助信息的处理；以及

信息提供部分，其将辅助信息提供给用户。

（19）一种信息处理方法，包括：

检测包括在运动图像帧中的对象的运动信息；以及

利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域。

（20）一种用于图像捕获设备的信息提供方法，包括：

将捕获的运动图像提供给预定装置；

从已经执行如下处理的预定装置获取辅助信息：检测包括在捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的运动信息决定要从运动图像帧中剪切的区域的处理，以及产生与用于捕获所决定区域的图像的图像捕获方法有关的辅助信息的处理；以及

将辅助信息提供给用户。

（21）一种能够使计算机实现包括在根据上述（1）至（18）中任一项所述的信息处理设备、终端设备或图像捕获设备中的各个部件的功能的程序。一种具有记录在其上的该程序的计算机可读记录介质。

（备注）

上面提及的按对象运动检测部分302为运动检测部分的一个示例。上面提及的被摄体区域检测部分30为对象检测部分和对象识别部分的一个示例。上面提及的插入图像插入点检测部分355为插入位置检测部分的一个示例。上面提及的图像数据传输部分102为运动图像提供部分的一个示例。上面提及的建议接收部分104为辅助信息获取部分的一个示例。上面提及的建议提供部分105为信息提供部分的一个示例。

本领域的技术人员应当理解的是：根据设计需要和其它因素，可以发生各种变型、组合、子组合以及修改，它们在所附的权利要求或其等价物的范围内。

本公开包含与在2012年2月23日提交日本专利局的日本优先权专利申请JP2012-037352中公开的主题相关的主题，其全部内容通过引用合并于此。

Claims (20)

1.一种信息处理设备，包括：

运动检测部分，其检测包括在运动图像帧中的对象的运动信息；以及

剪切区域决定部分，其利用由所述运动检测部分针对每个对象检测的所述运动信息决定要从所述运动图像帧中剪切的区域。

2.根据权利要求1所述的信息处理设备，还包括：

对象检测部分，其检测包括在所述运动图像帧中的所述对象，

其中，所述剪切区域决定部分基于由所述运动检测部分针对每个对象检测的所述运动信息和由所述对象检测部分检测到的所述对象的检测结果决定要从所述运动图像帧中剪切的区域。

3.根据权利要求2所述的信息处理设备，其中，

所述剪切区域决定部分利用针对每个对象检测的所述运动信息和所述对象的所述检测结果提取对应于所述对象的实质外部形状的对象区域，并且基于所提取的对象区域的布置和以所述对象区域的所述布置为基础的预定剪切模式决定要从所述运动图像帧中剪切的区域。

4.根据权利要求1所述的信息处理设备，其中，

在所述运动图像帧中包括多个对象的情况下，所述运动检测部分检测所述多个对象中的每一个的所述运动信息。

5.根据权利要求1所述的信息处理设备，其中，

所述运动检测部分输出包括在所述运动图像帧的编解码器信息中的运动信息作为检测结果。

6.根据权利要求3所述的信息处理设备，还包括：

对象识别部分，其识别由所述对象检测部分检测到的所述对象是被摄体还是背景，

其中，所述剪切区域决定部分基于被识别为被摄体的对象的对象区域和被识别为背景的对象的对象区域的布置以及所述预定剪切模式，决定要从所述运动图像帧中剪切的区域。

7.根据权利要求3所述的信息处理设备，还包括：

对象识别部分，其识别由所述对象检测部分检测到的所述对象是被摄体还是背景，

其中，所述剪切区域决定部分基于被识别为被摄体的对象的对象区域的布置和所述预定剪切模式决定要从所述运动图像帧中剪切的区域。

8.根据权利要求1所述的信息处理设备，其中，

所述剪切区域决定部分决定要从所述运动图像帧内的除被识别为被摄体的对象的对象区域外的区域中剪切的区域作为能用于插入切口的材料，以及

其中，所述信息处理设备还包括：

插入图像产生部分，通过从所述运动图像帧剪切由所述剪切区域决定部分决定的所述区域并且利用所述区域的图像，所述插入图像产生部分产生要作为所述插入切口被插入到运动图像中的插入图像。

9.根据权利要求8所述的信息处理设备，还包括：

插入位置检测部分，其检测要插入所述插入图像的位置；以及

插入图像插入部分，其在由所述插入位置检测部分检测到的所述位置处插入由所述插入图像产生部分产生的所述插入图像。

10.根据权利要求9所述的信息处理设备，其中，

所述剪切区域决定部分决定要剪切的多个区域，

所述插入图像产生部分产生对应于要剪切的所述多个区域的多个插入图像，以及

所述插入图像插入部分在由所述插入位置检测部分检测到的所述位置处插入从所述多个插入图像中选择的插入图像。

11.一种终端设备，包括：

图像获取部分，其获取剪切图像，所述剪切图像是经由检测包括在运动图像帧中的对象的运动信息的处理、利用针对每个对象检测到的所述运动信息决定要从所述运动图像帧中剪切的区域的处理、以及从所述运动图像帧中剪切所决定的区域的处理而获得的。

12.根据权利要求11所述的终端设备，还包括：

运动图像播放部分，其播放用所述剪切图像或通过处理所述剪切图像获得的图像代替与所述剪切图像对应的运动图像帧的运动图像。

13.根据权利要求11所述的终端设备，其中，

决定要被剪切的所述区域的所述处理为基于针对每个对象检测到的所述运动信息和利用对象检测而获得的所述对象的检测结果决定要从所述运动图像帧中剪切的区域的处理。

14.根据权利要求13所述的终端设备，其中，

决定要剪切的所述区域的所述处理为这样的处理：通过利用针对每个对象检测到的所述运动信息和所述对象的检测结果提取与所述对象的实质外部形状相对应的对象区域，基于所提取的对象区域的布置和以所述对象区域的布置为基础的预定剪切模式，决定要从所述运动图像帧中剪切的区域。

15.根据权利要求11所述的终端设备，其中，

在所述运动图像帧中包括多个对象的情况下，检测所述运动信息的所述处理为检测所述多个对象中的每一个的运动信息的处理。

16.根据权利要求11所述的终端设备，其中，

检测所述运动信息的所述处理为输出包括在所述运动图像帧的编解码器信息中的运动信息作为检测结果的处理。

17.根据权利要求11所述的终端设备，其中，

决定要剪切的区域的所述处理为决定要从所述运动图像帧内的除被识别为被摄体的对象的对象区域外的区域中剪切的区域作为能用于插入切口的材料的处理，

所述图像获取部分获取利用所述剪切图像产生并且作为所述插入切口被插入在运动图像中的插入图像，以及

所述终端设备还包括：

运动图像播放部分，其播放插入有所述插入图像的运动图像。

18.一种图像捕获设备，包括：

运动图像提供部分，其将捕获的运动图像提供给预定装置；

辅助信息获取部分，其从已经执行如下处理的所述预定装置获取辅助信息：检测包括在所述捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的运动信息决定要从所述运动图像帧中剪切的区域的处理，以及产生与用于捕获所述决定区域的图像的图像捕获方法有关的所述辅助信息的处理；以及

信息提供部分，其将所述辅助信息提供给用户。

19.一种信息处理方法，包括：

检测包括在运动图像帧中的对象的运动信息；以及

利用针对每个对象检测到的运动信息决定要从所述运动图像帧中剪切的区域。

20.一种用于图像捕获设备的信息提供方法，包括：

将捕获的运动图像提供给预定装置；

从已经执行如下处理的所述预定装置获取辅助信息：检测包括在所述捕获的运动图像的运动图像帧中的对象的运动信息的处理，利用针对每个对象检测到的所述运动信息决定要从所述运动图像帧中剪切的区域的处理，以及产生与用于捕获所决定区域的图像的图像捕获方法有关的所述辅助信息的处理；以及

将所述辅助信息提供给用户。

Images