CN107851299B - 信息处理装置、信息处理方法以及程序 - Google Patents

Abstract

[问题]提供了一种能够以用户期望的方式执行组合的信息处理装置、信息处理方法以及程序。[技术方案]设置有控制单元的信息处理装置，其中，控制单元通过第一对象模型和第二对象模型的组合生成组合对象模型，将生成的组合对象模型与和第一对象模型或第二对象模型相对应的图像相关联，并且显示结果。控制单元基于输入信息控制用于前述组合的模式。此外，还提供了一种信息处理方法和程序。

Description

信息处理装置、信息处理方法以及程序

技术领域

本公开内容涉及信息处理装置、信息处理方法以及程序。

背景技术

近年来，随着图像处理技术的进步，已经研究并且开发了在虚拟或现实图像上叠加并且显示图像的技术。例如，还存在作为这样的技术中的一种的增强现实(AR)技术，并且该技术已经应用至各个领域。

例如，专利文献1公开了基于在图像中识别的面部的部分的位置来在图像上叠加并且显示用于追踪图像中的面部的化装装图像的信息处理装置。除了化装装图像外，还可以叠加并且显示各种图像。具体地，包括通过合成两个或更多个图像而获得的合成图像。

引用列表

专利文献

专利文献1：JP 2012-181688A

发明内容

技术问题

然而，现有技术的技术中的图像的合成是固定的，并且并不总是适合用户的意图。因此，本公开内容将提出一种能够执行用户期望的合成的新颖的并且改进的信息处理装置、信息处理方法以及程序。

问题的解决方案

根据本公开内容，提供了一种包括控制单元的信息处理装置，控制单元被配置成通过对第一对象模型和第二对象模型进行合成来生成合成对象模型，并且使生成的合成对象模型与和第一对象模型或第二对象模型相对应的图像相关联地显示。控制单元基于输入信息来控制合成的模式。

此外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：通过控制单元，通过对第一对象模型和第二对象模型进行合成来生成合成对象模型；使生成的合成对象模型与和第一对象模型或第二对象模型相对应的图像相关联地显示；以及基于输入信息控制合成的模式。

此外，根据本公开内容，提供了一种程序，该程序使计算机实现以下功能：通过对第一对象模型和第二对象模型进行合成来生成合成对象模型的功能；使生成的合成对象模型与和第一对象模型或第二对象模型相对应的图像相关联地显示的功能；以及基于输入信息控制合成的模式的功能。本发明的有益效果

根据本公开内容，可以提供如上所述能够执行用户期望的合成的信息处理装置、信息处理方法以及程序。注意，上述效果不一定是限制性的。连同或替代上述效果，可以实现本说明书中描述的效果的任何一种或者可以从本说明书理解到的其他效果。

附图说明

[图1]图1是示出根据本公开内容的第一实施方式的信息处理装置的示意性功能配置示例的框图。

[图2]图2是示出根据实施方式的图像合成处理的图。

[图3]图3是示出根据实施方式的src和dst的组合示例的图。

[图4]图4是示出根据实施方式的与合成面部掩模有关的操作和处理的图。

[图5]图5是示出根据实施方式的由信息处理装置显示的面部掩模的示例的图。

[图6]图6是概念性地示出根据实施方式的由信息处理装置执行的处理的流程图。

[图7]图7是示出根据实施方式的第二修改示例的基于在面部列表中选择的面部掩模等生成多个合成面部掩模的处理的图。

[图8]图8是示出根据实施方式的第二修改示例的基于从画面上显示的面部图像等选择的面部掩模生成多个合成面部掩模的处理的图。

[图9]图9是示出根据实施方式的第三修改示例的面部列表中的登记处理的图。

[图10]图10是示出根据实施方式的第四修改示例的合成处理的图。

[图11]图11是示出根据实施方式的第五修改示例的面部列表中的预览的图。

[图12]图12是示出根据实施方式的第六修改示例的在没有固定面部掩模的情况下的合成处理的图。

[图13]图13是示出根据实施方式的第六修改示例的在面部掩模被固定的情况下的合成处理的图。

[图14]图14是示出根据实施方式的第七修改示例的用于调整合成面部掩模中的面部特征信息的接口的示例的图。

[图15A]图15A是示出根据实施方式的第七修改示例的改变合成面部掩模中的网格信息的处理的图。

[图15B]图15B是示出根据实施方式的第七修改示例的改变合成面部掩模中的网格信息的处理的图。

[图15C]图15C是示出根据实施方式的第七修改示例的改变合成面部掩模中的网格信息的处理的图。

[图16]图16是示出根据实施方式的第七修改示例的改变合成面部掩模中的网格信息的处理的另一示例的图。

[图17]图17是示出根据实施方式的第七修改示例的改变合成面部掩模中的纹理信息的处理的图。

[图18]图18是示出根据实施方式的第七修改示例的改变合成面部掩模中的纹理信息的处理的图。

[图19]图19是示出根据实施方式的第九修改示例的对除了面部之外的对象进行合成的处理的示例的图。

[图20]图20是示出根据实施方式的第九修改示例的对除了面部之外的对象进行合成的处理的另一示例的图。

[图21]图21是示出由根据本公开内容的第二实施方式的信息处理装置执行的移动面部掩模作为合成的目标的操作的图。

[图22]图22是示出由根据实施方式的信息处理装置执行的基于用户的移动来指定合成的目标的处理的图。

[图23]图23是示出根据实施方式的第一修改示例的通过人物移动作为合成的目标的面部掩模等的示例的图。

[图24]图24是示出根据实施方式的第二修改示例的链接信息的生成和共享的图。

[图25]图25是示出根据本公开内容的实施方式的信息处理装置的硬件配置的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

在说明书和附图中，在一些情况下，将用添加至同一附图标记的不同编号区分具有基本相同的功能配置的多个部件。例如，具有基本相同的功能的多个配置将根据需要被区分为例如面部掩模20A和面部掩模20B。然而，在不需要区分基本相同的功能配置的情况下，将仅给出相同的附图标记。在不是特别需要区分面部掩模20A和面部掩模20B的情况下，将简单地将面部掩模称为面部掩模20。

将按以下顺序给出描述。

1.第一实施方式(针对移动终端的应用示例)

1-1.装置的配置

1-2.装置的技术特征

1-3.通过装置进行的处理

1-4.第一实施方式的总结

1-5.修改示例

2.第二实施方式(针对数字告示装置的应用示例)

2-1.装置的配置

2-2.装置的技术特征

2-3.通过装置进行的处理

2-4.第二实施方式的总结

2-5.修改示例

3.应用示例

4.根据本公开内容的一个实施方式的信息处理装置的硬件配置

5.结论

<1.第一实施方式(针对移动终端的应用示例)>

首先，将描述根据本公开内容的第一实施方式的信息处理装置100-1。根据本实施方式的信息处理装置100-1是便携式移动终端例如智能电话或平板电脑终端。为了便于描述，将通过在末尾处添加与实施方式相对应的编号例如信息处理装置100-1和信息处理装置100-2，来区分根据第一实施方式和第二实施方式的信息处理装置100。

<1-1.装置的配置>

将参照图1描述根据本公开内容的第一实施方式的信息处理装置100-1的功能配置。图1是示出根据本公开内容的第一实施方式的信息处理装置100-1的示意性功能配置示例的框图。

如图1所示，信息处理装置100-1包括：成像单元102、面部识别单元104、操作检测单元106、控制单元108、存储单元110以及显示单元112。

成像单元102对信息处理装置100-1的周围进行成像。具体地，成像单元102基于来自控制单元108的指令捕获静态图像或移动图像。例如，成像单元102可以包括：成像光学系统，例如变焦镜头和用于收集光的成像镜头；以及信号转换元件，例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。可以包括获取图像的输入单元来代替成像单元102。可以通过通信来获取图像。

面部识别单元104识别图像中包括的面部作为对象(包括对象的一部分)。具体地，面部识别单元104识别通过成像单元102的图像捕获而获得的图像中出现的面部或者存储在存储单元110中的图像中包括的面部。然后，将面部识别结果提供至控制单元108。例如，面部识别单元104通过使用典型的面部识别技术来执行面部识别处理。

操作检测单元106检测用户对信息处理装置100-1执行的操作。具体地，如果用户执行操作，则操作检测单元106获取与该操作有关的信息，并且从所获取的与该操作有关的信息检测该操作的内容。然后，将操作检测结果提供至控制单元108。例如，被检测到的操作可以是按钮操作、点击操作、敲击操作、拖放操作、滑动操作、轻拂操作、手势操作等。

控制单元108控制图像显示。具体地，控制单元108基于面部识别单元104的面部识别结果和由操作检测单元106检测到的操作检测结果来执行图像合成处理。此外，将参照图2详细描述图像合成处理。图2是示出根据实施方式的合成图像的处理的图。

首先，控制单元108检测被识别的面部中的特征点。例如，控制单元108检测如图2的左图中所示的由面部识别单元104识别的面部的图像(在下文中，也称为面部图像)10A和10B中的如图2的左中图中所示的特征点。

接下来，控制单元108基于检测到的特征点生成面部模型(在下文中，也称为面部掩模)。具体地，控制单元108基于特征点生成包括网格信息和纹理信息的信息(在下文中，也称为面部特征信息)。然后，控制单元108基于面部特征信息生成面部掩模。例如，控制单元108基于特征点生成与如图2的右中图中所示的网格有关的网格信息，并且生成与由网格分割的区域中的纹理有关的纹理信息。然后，控制单元108针对面部图像10A和10B中的每一个，基于网格信息和纹理信息分别生成如图2的右中图中所示的面部掩模20A和20B。

接下来，控制单元108通过对面部掩模进行合成来生成合成面部掩模。具体地，控制单元108组合各个面部掩模的面部特征信息，并且基于通过组合获得的面部特征信息来生成合成面部掩模。例如，控制单元108生成包括如图2的右中图中所示的面部掩模20A的网格信息和面部掩模20B的纹理信息的面部特征信息，并且基于面部特征信息生成合成的面部掩模。

接下来，控制单元108使生成的合成面部掩模与和用作合成目的或合成源(在下文中，也称为合成的目标)的面部掩模相对应的图像相关联地显示。例如，如图2的右图中所示，控制单元108使生成的合成面部掩模30叠加并且显示在与面部掩模20A相对应的面部图像10A上。

返回至参照图1的信息处理装置100-1的功能配置的描述，存储单元110存储与图像处理有关的信息。具体地，存储单元110存储图像作为面部识别处理的输入和用于面部识别的字典信息(特征点信息)。

显示单元112显示图像。具体地，显示单元112显示从控制单元108提供的图像。例如，显示单元112可以是液晶面板、有机电致发光(EL)显示器等。

<1-2.装置的技术特征>

接下来，将描述根据实施方式的信息处理装置100-1的技术特征。

(A.合成的目标的指定)

信息处理装置100-1响应于用户的输入来指定合成的目标。具体地，控制单元108将基于用户的输入操作而指定的面部掩模或者从指定的面部图像生成的面部掩模指定为合成的目标。合成的目标的指定是合成源(src)和合成目的(dst)的指定。此外，将参照图3描述src和dst的组合。图3是示出根据实施方式的src和dst的组合的示例的图。

首先，主要存在与用作合成的目标的面部掩模相对应的三种类型的面部图像。例如，面部图像可以是静态图像、移动图像或通过图像捕获临时记录的图像(在下文中，也称为直通图像(through image))。控制单元108对从作为静态图像、移动图像或直通图像的面部图像生成的面部掩模和从作为静态图像、移动图像或直通图像的面部图像生成的面部掩模进行合成。因此，例如，如图3所示，存在九种合成方式。此外，src或dst可以是已经生成的面部掩模，并且如果包括该情况，则存在十六种合成方式。

存在一些生成面部掩模的时刻。具体地，在合成处理之前或在合成处理开始时生成面部掩模。在合成处理之前的时刻的示例包括面部识别单元104识别面部的时间。在合成处理开始时的时间的示例包括稍后将描述的面部掩模的移动开始的时间或者未伴随有面部掩模的移动的合成的目标的指定完成的时间。

控制单元108响应于基于用户的运动的输入而使作为合成的目标的面部掩模被移动。具体地，基于用户的运动的输入包括用于指定起点和终点二者的操作或者用于仅指定起点的操作。存在作为用于指定起点和终点二者的操作的拖放操作。存在作为用于仅指定起点的操作的滑动操作或轻拂操作。例如，控制单元108将作为拖动操作的目标的面部掩模或面部图像(在下文中，也称为面部掩模等)指定为src，并且将作为放开操作(droppingoperation)的目标的面部掩模等指定为dst。可替选地，控制单元108将已经对其执行了滑动操作或轻拂操作的面部掩模等指定为src，并且将定位在滑动操作或轻拂操作的方向上的面部掩模等指定为dst。使已经对其执行了滑动操作或轻拂操作的面部掩模等移动，就好像该面部掩模等朝向操作的方向飞行。

(A-1.合成源的指定)

控制单元108将通过用户的输入操作而选择的面部掩模或者从所选择的面部图像生成的面部掩模指定为src。具体地，控制单元108使其中排列有面部掩模或面部图像的面部列表显示在画面上。然后，控制单元108将通过用户的输入操作从面部列表选择的面部掩模或者从所选择的面部图像生成的面部掩模指定为src。例如，控制单元108将被选择作为移动的目标的面部掩模指定为src。此外，将参照图4详细描述指定合成源的处理。图4是示出根据实施方式的与合成的面部掩模有关的操作和处理的图。

控制单元108使其中排列有面部掩模或面部图像的面部列表显示在画面上。例如，控制单元108使其中排列有如图4的下部所示的静态面部图像12A1至12A3的面部列表显示在画面上。

然后，控制单元108将通过用户的输入操作从面部列表指定的面部掩模或者从指定的面部图像生成的面部掩模指定为src。例如，如图4的左图所示，控制单元108将作为拖动操作的目标的静态面部图像12A1指定为src。

虽然目前为止已经描述了从面部列表选择src的示例，但是可以从画面上显示的静态图像、移动图像或直通图像选择src。例如，控制单元108将由用户从根据画面上显示的静态图像、移动图像或直通图像而获得的面部识别结果中包括的面部图像选择的面部掩模等或者从根据所述面部图像生成的面部掩模中选择的面部掩模等指定为src。

控制单元108基于由面部掩模表示的面部的属性来选择面部列表中排列的面部掩模等作为合成的候选。具体地，面部的属性包括年龄或性别。例如，控制单元108选择与和根据被从面部识别单元104提供为面部识别结果的面部图像的面部估计的年龄接近的年龄的面部掩模相对应的面部掩模或面部图像，或者选择表示与估计的性别相同的性别的面部的面部掩模或面部图像。然后，控制单元108使排列有选择的面部掩模等的面部列表被显示。

面部列表中排列的面部掩模等可以是在预定的时间段中被识别的面部的面部掩模等。

(A-2.合成目的的指定)

控制单元108将通过用户的输入操作而选择的面部掩模或者从选择的面部图像生成的面部掩模指定为dst。具体地，控制单元108将在移动目的地处的面部掩模等例如要被移动的面部掩模等指定为dst。此外，将参照图4详细描述指定合成目的的处理。

控制单元108使被指定为src的面部掩模等响应于基于用户的运动的输入而移动。例如，控制单元108使如图4的左图所示的被指定作为拖动操作的目标的静态面部图像12A1根据用户的手指运动而移动。

接下来，控制单元108将当基于用户的运动的输入结束时存在于输入结束的位置处的面部掩模等指定为dst。例如，如果如图4的左图所示，静态面部图像12A1朝向直通面部图像16A被移动并且对面部图像16A执行放开操作，则控制单元108将面部图像16A指定为dst。

(B.基于合成模式的合成面部掩模的生成)

信息处理装置100-1基于被指定为合成的目标的面部掩模等，来根据用于合成的模式(在下文中，也称为合成模式)生成合成面部掩模。具体地，控制单元108根据合成模式，通过对已经被指定为src或者已经从被指定的面部图像生成的面部掩模和已经被指定为dst或者已经从被指定的面部图像生成的面部掩模进行合成来生成合成面部掩模。

此处，合成模式包括第一模式和第二模式，其中，在第一模式下，合成面部掩模是基于作为src的面部掩模的网格信息而生成的，在第二模式下，合成面部掩模是基于作为dst的面部掩模的网格信息而生成的。在第一模式下，合成面部掩模是基于作为dst的面部掩模的纹理信息而生成的，而在第二模式下，合成面部掩模是基于作为src的面部掩模的纹理信息而生成的。

例如，控制单元108对从如图4的左图所示的面部图像12A1生成的已经被指定为src的面部掩模和从如图4的左图所示的面部图像16A生成的已经被指定为dst的面部掩模进行合成。在图4的示例中，控制单元108根据第二模式，采用作为dst的从面部图像16A生成的面部掩模的网格信息作为网格信息并且采用作为src的从面部图像12A1生成的面部掩模的纹理信息作为纹理信息，生成如图4的中间图所示的合成的面部掩模26A。

在未指定合成目的的情况下，控制单元108可以不执行合成。具体地，如果基于用户的运动的输入被中断，则控制单元108不合成面部掩模。例如，在在未显示面部掩模或面部图像的位置处执行放开操作的情况下，控制单元108不执行合成。

(C.合成模式的控制)

信息处理装置100-1控制前述合成模式。具体地，控制单元108基于输入信息控制合成模式。更具体地，对应于通过控制单元108进行的处理的输入，输入信息包括与和作为src的面部掩模或者作为dst的面部掩模相对应的图像有关的信息。与该图像有关的信息的示例包括与该图像的属性或者该图像的内容有关的信息。作为图像的属性，例示了介质(电子介质)的类型例如静态图像、移动图像或直通图像以及内容的类型例如照片或计算机图像(CG)。例如，在静态图像的面部掩模是dst并且移动图像的面部掩模是src的情况下，控制单元108选择第一模式。作为图像的内容，例示了图像中出现的人的言语和动作的存在或内容例如音乐播放或运动。

输入信息可以是与用户的输入操作有关的信息。具体地，用户的输入操作包括选择用作src的面部掩模或者用作dst的面部掩模的操作，并且控制单元108根据选择用作src的面部掩模或者用作dst的面部掩模的位置来指定合成模式。此外，将参照图5详细描述根据选择的位置指定合成模式的处理。图5是示出根据实施方式的通过信息处理装置100-1显示的面部掩模的示例的图。

控制单元108使与每个合成模式相对应的选择用作src的面部掩模或者用作dst的面部掩模的位置以视觉上可区分的形式显示。具体地，控制单元108使选择的位置以与由显示的面部掩模的纹理信息指定的形式不同的形式显示。例如，控制单元108使如图5所示的阴影区域A1和网格线区域A2施加有不同颜色的面部掩模20被显示。例如，在用户从区域A1中的起点开始拖动操作的情况下，第一模式被指定为合成模式。在用户从区域A2中的起点开始拖动操作的情况下，第二模式被指定为合成模式。

虽然目前为止已经描述了视觉上可区分的形式为使用颜色的示例，但是该形式可以是使用明亮度、亮度、图案或闪烁。在选择与每个合成模式相对应的选择位置之外的位置的情况下，控制单元108不会基于选择的位置指定合成模式。

虽然目前为止已经描述了用户的输入操作是选择面部掩模的操作的示例，但是除了前述示例以外，用户的输入操作可以是对合成面部掩模的点击操作或敲击操作。用户的输入操作可以是对专用图形用户接口(GUI)执行的操作。例如，根据在执行放开操作时显示的合成模式切换按钮或者合成模式指定菜单的操作结果来指定模式。此外，可以在画面上显示指示被选择的合成模式的显示对象。

(D.合成面部掩模的显示)

信息处理装置100-1将生成的合成面部掩模与面部图像进行关联和显示。具体地，控制单元108使合成面部掩模与基于用户的输入从与作为src的面部掩模和作为dst的面部掩模相对应的面部图像中指定的面部图像相关联地显示。更具体地，在从面部掩模src至面部掩模dst的移动完成之后，控制单元108使合成面部掩模与和dst的面部掩模相对应的图像相关联地显示。例如，控制单元108使如图4的中间图所示的已经通过合成获得的合成面部掩模26A叠加并且显示在已经通过放开操作被指定为dst的面部图像16A上。控制单元108可以将合成面部掩模的纹理表现为透明的，并且使得当显示合成面部掩模时，透明度随着时间的流逝而降低。

(E.对合成面部掩模的操作)

信息处理装置100-1响应于用户的操作而使合成面部掩模以与面部掩模相同的方式移动。具体地，控制单元108根据基于用户的运动的输入使合成面部掩模移动。例如，控制单元108响应于用户的拖动操作而使如图4的右图中所示的合成面部掩模36A被移动。即使在合成面部掩模未被叠加并且显示在面部图像上时，也根据src或dst的变化来改变合成面部掩模。

(F.图像的保存)

信息处理装置100-1保存其上叠加并且显示合成面部掩模的图像(在下文中，也称为经处理的图像)。具体地，如果在画面上显示合成面部掩模的状态下操作检测单元106检测到保存图像的操作，则控制单元108使存储单元110存储经处理的图像。

信息处理装置100-1可以使用户选择经处理的图像和未处理的图像作为保存的目标。例如，如果由操作检测单元106检测到保存图像的操作，则控制单元108使GUI显示在画面上，其中，GUI使用户选择要保存经处理的图像和未处理的图像中的哪一个。然后，控制单元108根据选择结果保存经处理的图像或未处理的图像。

信息处理装置100-1可以在画面上显示指示图像是经处理的图像的显示对象。例如，控制单元108使标记对象显示在经处理的图像的角落处。此外，控制单元108可以使显示对象例如手指抓握处显示在与合成面部掩模邻近的位置处，可以降低合成面部掩模的轮廓的透明度，或者可以使合成面部掩模被显示就好像合成面部掩模能够被翻转。

<1-3.通过装置进行的处理>

接下来，将参照图6描述通过根据实施方式的信息处理装置100-1进行的处理。图6是概念性地示出通过根据实施方式的信息处理装置100-1进行的处理的流程图。

信息处理装置100-1确定是否已经执行了拖动面部掩模等的操作(步骤S302)。具体地，控制单元108确定操作检测单元106是否已经检测到拖动操作。

如果确定已经执行了拖动操作，则信息处理装置100-1基于拖动操作指定src(步骤S304)。具体地，如果操作检测单元106检测到拖动操作，则控制单元108将在检测到的拖动操作的开始位置处的面部掩模指定为src。

接下来，信息处理装置100-1确定是否已经执行了放开面部掩模等的操作(步骤S306)。具体地，控制单元108确定操作检测单元106是否已经检测到放开操作。

如果确定已经执行了放开操作，则信息处理装置100-1基于放开操作指定dst(步骤S308)。具体地，如果操作检测单元106检测到放开操作，则控制单元108将在检测到放开操作的位置处的面部掩模等指定为dst。

在未正常执行放开操作的情况下，处理结束。具体地，在在不存在面部掩模等的位置处执行放开操作的情况下，控制单元108使处理结束。

接下来，信息处理装置100-1基于输入信息指定合成模式(步骤S310)。具体地，控制单元108基于与被指定为src或dst的面部图像或者与面部掩模相对应的面部图像有关的信息指定合成模式。

接下来，信息处理装置100-1确定指定的合成模式(步骤S312)。具体地，控制单元108确定指定的合成模式是第一模式和第二模式中的哪一个。

在指定的合成模式是第一模式的情况下，信息处理装置100-1基于面部掩模src的网格信息和面部掩模dst的纹理信息来生成合成面部掩模(步骤S314)。具体地，在合成模式是第一模式的情况下，控制单元108生成包括作为网格信息的面部掩模src的网格信息和作为纹理信息的面部掩模dst的纹理信息的合成面部掩模。

在指定的合成模式是第二模式的情况下，信息处理装置100-1基于面部掩模dst的网格信息和面部掩模src的纹理信息来生成合成面部掩模(步骤S316)。具体地，在合成模式是第二模式的情况下，控制单元108生成包括作为网格信息的面部掩模dst的网格信息和作为纹理信息的面部掩模src的纹理信息的合成面部掩模。

接下来，信息处理装置100-1将合成面部掩模与dst的面部图像相关联并且显示(步骤S318)。具体地，控制单元108使生成的合成面部掩模叠加并且显示在与面部掩模dst相对应的面部图像上。

<1-4.第一实施方式的总结>

根据本公开内容的第一实施方式，信息处理装置100-1通过对第一对象掩模和第二对象掩模进行合成来生成合成对象掩模，并且使生成的合成对象掩模与和第一对象掩模或第二对象掩模相对应的图像相关联地显示。此外，信息处理装置100-1基于输入信息来控制合成的模式。因此，可以通过根据输入信息执行合成来执行用户期望的合成。

第一对象掩模包括第一面部掩模，第二对象掩模包括第二面部掩模，并且合成对象掩模包括合成面部掩模。因此，可以使用户欣赏作为合成的目标的面部，其中，面部是人体的特征部分。对象掩模的目标可以是除了人之外的对象，例如，自然对象诸如蔬菜或岩石，或者人造对象诸如时钟。对象包括上述对象的一部分。因此，对象掩模的目标可以是除了面部之外的人体的其他部分，或者可以是除了人之外的对象的一部分。

模式包括第一模式和第二模式，在第一模式下，合成面部掩模是基于第一面部掩模的网格信息而生成的，在第二模式下，合成面部掩模是基于第二面部掩模的网格信息而生成的。因此，可以通过按照合成模式切换合成面部掩模的网格信息来从src或dst的面部掩模的面部的表示中选择合成面部掩模的面部的表示。结果是，可以提高用户的便利性。

在第一模式下，合成面部掩模是基于第二面部掩模的纹理信息而生成的。在第二模式下，合成面部掩模是基于第一面部掩模的纹理信息而生成的。因此，合成面部掩模被自动切换，并且可以通过根据合成模式改变网格信息和纹理信息的组合来提高用户的便利性。

信息处理装置100-1使合成面部掩模与基于用户的输入从与第一面部掩模和第二面部掩模相对应的图像中指定的图像相关联地显示。因此，可以通过在由用户指定的面部图像上叠加并且显示合成面部掩模来提高用户的便利性。

输入信息包括作为控制处理的输入的与和第一面部掩模或第二面部掩模相对应的图像有关的信息。因此，可以通过执行适合面部图像特别是其上叠加并且显示合成面部掩模的面部图像的合成，抑制给予用户的陌生的感觉以及相反有意地给予用户陌生的感觉。

前述与图像有关的信息包括与前述图像的属性和前述图像的内容有关的信息。因此，与根据图像的内容的合成相比较，可以降低根据图像的属性的合成中的处理负荷。此外，与根据图像的属性的合成相比较，可以通过根据图像的内容的合成来执行适合显示场景的合成。

此外，输入信息包括与用户的输入操作有关的信息。因此，可以通过执行满足用户的意图的合成来提高用户的便利性。

用户的输入操作包括选择第一面部掩模或第二面部掩模的操作，并且信息处理装置100-1根据第一面部掩模或第二面部掩模的选择位置来指定模式。因此，可以通过使得能够在选择合成的目标时选择合成模式来改善操作性。

信息处理装置100-1使得与每个模式相对应的第一面部掩模或第二面部掩模的选择位置以视觉上可区分的形式被显示。因此，用户易于知道选择位置，并且可以提高用户的便利性。

与第一面部掩模和第二面部掩模相对应的图像中的至少一个包括通过图像捕获临时记录的图像。因此，用户可以观察在图像捕获期间合成如何进行，并且用户可以经历试错。以该方式，可以提高用户的便利性。

根据本公开内容的第一实施方式，信息处理装置100-1响应于基于用户相对于其上显示对象掩模或与对象掩模相对应的图像的画面的运动的输入，使第一对象掩模或第二对象掩模被移动以用于合成。因此，可以通过根据用户的意图移动面部掩模来改善合成的操作感觉。

在完成从第一面部掩模和第二面部掩模中的一者至另一者的移动之后，信息处理装置100-1使合成面部掩模与和所述另一面部掩模相对应的图像相关联地显示。因此，可以通过根据用户的运动指定显示合成的面部掩模的时刻来改善操作感觉。

如果基于用户的运动的输入被中断，则信息处理装置100-1不执行合成。因此，可以通过根据用户的意图中断合成来提高用户的便利性。

基于用户的运动的输入包括指定起点和终点二者的操作或者仅指定起点的操作。因此，用户可以感官地操作面部掩模，并且可以进一步提高操作性。

要被移动的第一面部掩模或第二面部掩模包括画面上显示的面部列表中排列的面部掩模和从面部列表中排列的图像生成的面部掩模。因此，可以设置画面上未出现的面部作为合成的目标，并且通过选择面部列表中用作src的面部掩模或面部图像来扩宽用户的选择。

信息处理装置100-1基于由第一面部掩模或第二面部掩模表示的面部的属性来选择面部列表中排列的面部掩模或图像。因此，可以通过将适合作为合成候选的面部的面部掩模或面部图像排列在面部列表中，来提高用户对于列出的面部掩模或面部图像的满意程度。

第一面部掩模和第二面部掩模中的至少一个包括用户的面部掩模。因此，可以使他或她自己的面部与另一面部合成、使另一面部与他或她自己的面部合成，从而模拟适合用户的发型、时尚等。

<1-5.修改示例>

目前为止已经描述了本公开内容的第一实施方式。实施方式不限于前述示例。在下文中，将描述实施方式的第一至第十修改示例。

(第一修改示例)

根据实施方式的第一修改示例，信息处理装置100-1可以基于合成的目标的两个网格信息片段或两个纹理信息片段来生成合成面部掩模。具体地，合成模式包括第三模式，在第三模式下，合成面部掩模是基于用作src的面部掩模的网格信息和用作dst的面部掩模的网格信息以及用作src的面部掩模的纹理信息和用作dst的面部掩模的纹理信息而生成的。

例如，控制单元108通过使用作src的面部掩模的网格和用作dst的面部掩模的网格以第三模式合成来指定合成面部掩模的网格。例如，可以通过对src的网格和dst的网格进行平均来获得第三模式下的合成面部掩模的网格。以与前述网格相同的方式处理纹理。当然，以与第一模式和第二模式下相同的方式，基于输入信息来控制第三模式。

如上所述，根据实施方式的第一修改示例，合成模式包括第三模式，在第三模式下，合成的面部掩模是基于用作src的面部掩模的网格信息和用作dst的面部掩模的网格信息以及用作src的面部掩模的纹理信息和用作dst的面部掩模的纹理信息而生成的。因此，可以更精细地设置合成程度，从而解决各种用户的需求。

(第二修改示例)

根据实施方式的第二修改示例，在存在成为dst的多个面部掩模的情况下，信息处理装置100-1可以针对所有多个面部掩模生成合成面部掩模。具体地，在画面上显示多个面部掩模或面部图像的情况下，控制单元108基于被移动的面部掩模和多个面部掩模或面部图像中的每一个分别生成合成的面部掩模。此外，将参照图7和图8详细描述根据本修改示例的处理。图7是示出根据实施方式的第二修改示例基于从面部列表选择的面部掩模等生成多个合成面部掩模的处理的图，图8是示出根据实施方式的第二修改示例基于从画面上显示的面部图像等选择的面部掩模等生成多个合成面部掩模的处理的图。

如果面部掩模等被移动至多个面部掩模或与面部掩模相对应的多个面部图像中的一个，则控制单元108执行合成。例如，将考虑基于从面部列表选择的面部掩模等生成多个合成面部掩模。如果如图7的左图中所示的面部列表中排列的面部图像12B3被移动至静态面部图像14B1至14B4中的任何一个，则控制单元108以第二模式执行面部图像14B1至14B4的面部掩模中的每一个与面部图像12B3的面部掩模的合成。结果是，如图7的右图中所示，在面部图像14B1至14B4中的每一个上叠加并且显示生成的合成面部掩模34B1至34B4中的每一个。

例如，将考虑基于从画面上显示的面部图像等选择的面部掩模等生成多个合成面部掩模。例如，如果如图8的左图所示的静态面部图像14C1被移动至其他面部图像14C2至14C4中的任何一个，则控制单元108以第二模式执行面部图像14C2至14C4的面部掩模中的每一个与面部图像14C1的面部掩模的合成。结果是，如图8的右图中所示，在面部图像14C2至14C4中的每一个上叠加并且显示生成的合成面部掩模34C2至34C4中的每一个。

控制单元108可以在不使用作src的面部掩模等被移动的情况下执行合成。例如，如果选择用作src的面部掩模等，则控制单元108使用用作dst的多个面部掩模等来执行合成，

当然，可以针对从多个面部掩模等选择的一个生成合成面部掩模。

在画面上显示多个面部掩模等的情况下，控制单元108可以基于用户的操作来切换生成合成面部掩模的目标。具体地，控制单元108基于对显示对象执行的操作来切换生成合成面部掩模的目标。例如，如果如图8所示的按钮对象40被设置成接通，则控制单元108将所有多个面部掩模设置为生成合成面部掩模的目标。此外，如果如图8所示的按钮对象40被设置成断开，则控制单元108将多个面部掩模等中的一个设置为生成合成面部掩模的目标。

根据实施方式的第二修改示例，在画面上显示多个面部掩模或面部图像的情况下，信息处理装置100-1基于被移动的面部掩模和多个面部掩模或面部图像中的每一个分别生成合成面部掩模。因此，可以省去使用多个面部掩模的合成所需要的用户的时间和努力。

如果面部掩模等被移动至多个面部掩模或与面部掩模相对应的多个面部图像中的一个，则控制单元108执行合成。因此，无论dst的数量如何，都可以通过集成用于合成的接口来提高操作的容易性。

(第三修改示例)

根据实施方式的第三修改示例，信息处理装置100-1可以基于用户的操作将面部掩模等登记在面部列表中。具体地，控制单元108将朝向面部列表移动的面部掩模添加至面部列表。此外，将参照图9详细描述面部列表中的登记处理。图9是示出根据实施方式的第三修改示例的面部列表中的登记处理的图。

控制单元108在面部列表中准备登记框。虽然在面部列表中登记之前，如图9的左图中所示面部列表中未排列有面部掩模等，但是排列有指示其中可以进行登记的框的对象。

接下来，如果面部掩模等移动至面部列表，则控制单元108将面部掩模等添加至面部列表。例如，如果由用户将从如图9的左图中的左上侧所示的直通面部图像16D生成的面部掩模移动至面部列表，则如图9的右图中所示，控制单元108将面部掩模22D添加至面部列表。

接下来，控制单元108通过使用面部列表中登记的面部掩模等作为src来执行合成。例如，控制单元108通过使面部列表中登记的面部掩模22D被移动至面部图像14D1至14D3，来通过使用面部掩模22D作为src并且使用在移动的目的地处的每个面部图像作为dst，以第二模式生成合成面部掩模。然后，在面部图像14D1至14D3中的每一个上叠加并且显示生成的合成面部掩模34D1至34D3中的每一个。

如果面部图像被移动至面部列表，则控制单元108可以将从面部图像生成的面部掩模登记在面部列表中。例如，如果用户使他或她的面部或者信息处理装置100-1被移动以使得出现在直通图像中的他或她的面部移动至面部列表，则控制单元108从直通图像中的用户的面部生成面部掩模，并且将生成的面部掩模登记在面部列表中。

控制单元108可以基于未伴随有面部掩模等的移动的操作等来将面部掩模登记在面部列表中。例如，在面部掩模等上的选择操作例如触摸操作持续达预定时间的情况下，控制单元108将与选择操作有关的面部掩模添加至面部列表。在这样的情况下，控制单元108可以在检测到选择操作的继续之后，使用于检查登记的可用性的GUI被显示。控制单元108可以添加由用户从通过图像捕获而获得的图像或存储在存储单元110中的图像中选择的图像。

控制单元108可以自动生成面部列表。例如，控制单元108生成在通过图像捕获而获得的图像(包括静态图像、移动图像以及直通图像)中出现的面部的面部掩模，并且将生成的面部掩模添加至面部列表。此外，控制单元108可以生成作为图像捕获期间的对象的面部的面部掩模，并且将生成的面部掩模添加至面部列表。此外，可以更新之前登记的面部掩模。例如，如果获取了指向比已经登记的面部掩模更靠近前侧的方向的面部图像或者面部掩模，则控制单元108登记新获取的面部掩模代替已经登记的面部掩模。

可以从面部列表删除面部掩模等。具体地，控制单元108基于用户的操作从面部列表删除面部掩模等。例如，在通过拖放操作将面部列表中排列的面部掩模等移动至面部列表的外部的情况下，控制单元108从面部列表删除被移动的面部掩模等。

控制单元108可以自动从面部列表删除面部掩模等。例如，控制单元108删除在登记在面部列表中之后已经逝去了预定时间的面部掩模等。此外，控制单元108可以从面部列表删除在成像范围外部的面部掩模等。如果图像捕获结束或成像画面被打印，则控制单元108可以从面部列表删除面部掩模等。此外，控制单元108可以基于用户的位置信息删除面部掩模等。当用户离开预定区域时，控制单元108删除与预定区域相对应的面部掩模等。

根据实施方式的第三修改示例，如上所述，信息处理装置100-1将朝向面部列表移动的面部掩模添加至面部列表。因此，用户可以感官地创建面部列表，并且可以提高操作性。

(第四修改示例)

根据实施方式的第四修改示例，信息处理装置100-1可以使合成面部掩模与除了真实的人的面部之外的面部相关联地显示。具体地，用于合成的面部掩模包括人工生成的面部(在下文中，也称为人造面部)的面部掩模。例如，控制单元108对从人造面部的面部图像生成的面部掩模与其他面部掩模进行合成。然后，控制单元108使通过合成获得的合成面部掩模叠加并且显示在人造面部的面部图像上。此外，将参照图10描述根据本修改示例的处理。图10是示出根据实施方式的第四修改示例的合成处理的图。

人造面部包括被图示为图片的面部。例如，如果从直通面部图像16E生成的面部掩模朝向被图示为如图10的左图中所示的图片的女性面部的面部图像14E移动，则控制单元108以第二模式对从面部图像14E生成的面部掩模与被移动的面部掩模进行合成。然后，如图10的右图中所示，控制单元108使通过合成获得的合成面部掩模34E叠加并且显示在面部图像14E上。当然，登记在面部列表中的面部掩模例如面部掩模22E1至22E4中的一个面部掩模可以代替从直通面部图像16E生成的面部掩模而用于合成。

人造面部可以是通过CG创造的面部。可以使用虽然不是人造对象但是类似面部形式的自然对象例如蔬菜或岩石代替人造对象。

根据实施方式的第四修改示例，如上所示，用于合成的面部掩模包括人工生成的面部的面部掩模。因此，可以通过扩展合成的目标来解决各种用户的需求。

(第五修改示例)

根据实施方式的第五修改示例，信息处理装置100-1可以呈现与合成面部掩模有关的第二合成面部掩模的预先显示(在下文中，也称为合成面部掩模的预览)。具体地，合成面部掩模的预览包括使正在被移动的面部掩模改变成第二合成面部掩模，并且第二合成面部掩模包括合成面部掩模。例如，控制单元108使被选择作为移动的目标的面部掩模改变成通过对该面部掩模与被估计为移动目的的面部掩模进行合成而获得的合成面部掩模。例如，在移动操作是拖动操作的情况下，控制单元108通过使用存在于拖动方向上的面部掩模作为用作dst的面部掩模来执行预览。还以与拖动操作情况下相同的方式执行滑动操作或轻拂操作。

第二合成面部掩模包括通过根据与正在被移动的面部掩模的移动有关的信息来改变合成面部掩模中的面部特征信息而获得的合成面部掩模。具体地，根据用作src的面部掩模与用作dst的面部掩模之间的距离来改变与预览有关的合成面部掩模的面部特征信息，其中，所述距离通过移动而改变。例如，当距离减小时，控制单元108使正在被移动的面部掩模改变成在移动之后更接近合成面部掩模的合成面部掩模。更具体地，当距离减小时，控制单元108使正在被移动的面部掩模的网格和纹理进一步接近合成面部掩模的网格和纹理。移动操作可以是拖动操作或滑动操作。

可以根据面部掩模的移动方向来改变与预览有关的合成面部掩模的面部特征信息。例如，如果面部掩模沿预定方向被移动，则控制单元108使被移动的面部掩模改变成强调src的面部掩模的网格和纹理的合成面部掩模。此外，如果面部掩模沿与预定方向相反的方向被移动，则控制单元108使被移动的面部掩模改变成强调dst的面部掩模的网格和纹理的合成面部掩模。

此外，可以根据面部掩模的移动速度来改变与预览有关的合成面部掩模的面部特征信息。例如，当面部掩模的移动速度变得更高时，控制单元108使被移动的面部掩模的网格和纹理进一步接近合成面部掩模的网格和纹理。在移动速度等于或大于阈值的情况下，控制单元108可以使被移动的面部掩模改变成合成面部掩模。

合成面部掩模的预览可以使面部列表中排列的面部掩模或者从排列的面部图像生成的面部掩模改变成第二合成面部掩模。具体地，控制单元108使面部列表中排列的面部掩模、从面部图像中选择的面部掩模或者从选择的面部图像生成的面部掩模改变成第二合成面部掩模。此外，将参照图11详细描述面部列表中的预览。图11是示出根据实施方式的第五修改示例的面部列表中的预览的图。

控制单元108对通过用户的操作从面部列表选择的一个面部掩模或者多个面部掩模中的每一个与画面上的已经由面部识别单元104识别的面部的面部掩模进行合成。例如，控制单元108以第一模式分别对面部列表中排列的面部掩模与从分别与面部掩模相对应的面部图像14F1至14F3生成的面部掩模进行合成。

然后，控制单元108分别使生成的合成面部掩模中的每一个被显示，代替面部列表中的选择的对应的面部掩模。例如，如图11所示，控制单元108使合成面部掩模32F1至32F3被显示，代替面部列表中的面部掩模。在选择面部列表中的面部图像的情况下，可以在面部图像上叠加并且显示合成面部掩模。

控制单元108可以使用面部列表中排列的所有面部掩模等作为预览的目标。可以基于用户的操作切换预览的目标。

可以基于src或dst的网格信息来更新预览中的合成面部掩模。例如，根据src或dst的面部的运动来改变预览中的合成面部掩模的面部表示。

虽然目前为止已经描述了用作dst的面部掩模等被改变成合成面部掩模的示例，但是用作src的面部掩模等可以改变成合成面部掩模。

虽然目前为止已经描述了通过将作为合成的目标的面部掩模等改变成合成面部掩模来执行预览的示例，但是可以提供用于预览的额外的画面，并且可以在该画面上显示合成面部掩模的预览。

根据实施方式的第五修改示例，信息处理装置100-1呈现与合成面部掩模有关的第二合成面部掩模的预先显示。因此，由于预先呈现合成之后的情形，所以用户可以在合成之前确定是否执行合成，并且可以提高用户的便利性。

第二合成面部掩模的预先显示包括使正在被移动的面部掩模改变成第二合成面部掩模。因此，由于在用于合成的移动操作期间执行合成面部掩模的预览，所以用户可以在移动期间确定是否执行合成。

第二合成面部掩模包括以下合成面部掩模：所述合成面部掩模的面部特征信息根据用作src的面部掩模与用作dst的面部掩模之间的距离而改变。因此，用户可以通过移动操作来检查合成的处理，并且可以向用户提供乐趣。

第二合成面部掩模的预先显示包括使面部列表中排列的面部掩模或者从面部列表中排列的面部图像生成的面部掩模改变成第二合成面部掩模。因此，由于面部列表中排列的面部掩模变成预览的目标，所以用户可以在不执行移动操作的情况下观察预览。

信息处理装置100-1使从面部列表中排列的面部掩模或面部图像中选择的一个面部掩模或者所有的面部掩模改变成一个第二合成面部掩模或者多个第二合成面部掩模。因此，由于只有用户有意向的面部掩模被认为是预览的目标，所以用户可以关注并且观察用户期望检查的合成面部掩模。

(第六修改示例)

根据实施方式的第六修改示例，信息处理装置100-1可以在叠加并且显示合成面部掩模时，固定在其上叠加并且显示合成面部掩模的面部图像的面部掩模。具体地，当显示合成面部掩模时，控制单元108使与和合成面部掩模相关联的图像相对应的面部掩模显示成邻近该合成面部掩模。此外，将参照图12和图13详细描述根据本修改示例的处理。图12是示出根据实施方式的第六修改示例的在面部掩模未被固定的情况下的合成处理的图，图13是示出根据实施方式的第六修改示例的在面部掩模被固定的情况下的合成处理的图。

首先，将描述面部掩模未被固定的情况。如果用作src的面部掩模被移动至用作dst的面部掩模等，则控制单元108生成合成面部掩模。如果如图12的左图中所示，通过拖动操作将从直通面部图像16G生成的面部掩模26G移动至移动面部图像18G，则控制单元108以第二模式对面部掩模26G与从面部图像18G生成的面部掩模进行合成。

接下来，控制单元108使生成的合成面部掩模叠加并且显示在用作dst的面部图像上。例如，控制单元108使生成的合成面部掩模38G叠加并且显示在用作dst的面部图像18G上。此处，由于合成面部掩模38G被叠加并且显示在面部图像18G上，所以在用户期望生成面部图像18G的面部掩模的情况下，用户难以对面部图像18G执行从面部图像18G生成面部掩模的操作。因此，如稍后将要描述的，在信息处理装置100-1中面部掩模被固定。

如果用作src的面部掩模被移动至用作dst的面部掩模等，则控制单元108生成合成面部掩模。如果如图13的左图中所示，通过拖动操作将从静态面部图像14H生成的面部掩模移动至直通面部图像16H，则控制单元108以第二模式对被移动的面部掩模与从面部图像16H生成的面部掩模进行合成。

接下来，控制单元108使生成的合成面部掩模叠加并且显示在用作dst的面部图像上，并且使从用作dst的面部图像生成的面部掩模显示在邻近合成面部掩模的位置处。如图13的中央图中所示，例如，控制单元108使生成的合成面部掩模36H叠加并且显示在用作dst的面部图像16H上，并且使从面部图像16H生成的面部掩模26H显示在合成面部掩模36H、即面部图像16H上。

可以以与前述面部掩模相同的方式移动并且合成固定的面部掩模。例如，如果如图13的中间图中所示，生成的要被固定的面部掩模26H被移动至面部图像14H，则控制单元108以第二模式对面部掩模26H与从面部图像14H生成的面部掩模进行合成。

接下来，控制单元108使生成的合成面部掩模叠加并且显示在用作dst的面部图像上，并且使从用作dst的面部图像生成的面部掩模显示在邻近合成面部掩模的位置处。例如，控制单元108使生成的合成面部掩模34H叠加并且显示在面部图像14H上，并且使从面部图像14H生成的面部掩模24H显示在合成面部掩模34H、即面部图像14H上。结果是，执行显示以使得与面部图像有关的面部已经被切换。

可以切换是否固定前述面部掩模。具体地，控制单元108基于用户的操作来切换是否固定面部掩模。例如，控制单元108根据如图13的左图中所示的按钮对象50的接通与断开之间的切换来切换是否固定面部掩模。

根据实施方式的第六修改示例，如上所述，当显示合成面部掩模时，信息处理装置100-1使与和该合成面部掩模相关联的图像相对应的面部掩模显示成邻近该合成面部掩模。因此，可以对其上叠加并且显示合成面部掩模的面部图像的面部掩模执行操作，从而提高用户的便利性。

(第七修改示例)

根据实施方式的第七修改示例，信息处理装置100-1可以改变合成面部掩模的面部特征信息。具体地，控制单元108基于输入信息改变合成面部掩模的面部特征信息。更具体地，控制单元108基于用户的输入操作来在用作src的面部掩模的面部特征信息与用作dst的面部模型的面部特征信息之间改变合成面部掩模的面部特征信息。此外，将参照图14详细描述根据本修改示例的处理。图14是示出根据实施方式的第七修改示例的用于调整合成面部掩模的面部特征信息的接口的示例的图。

控制单元108向用户提供用于调整合成面部掩模的面部特征信息的接口。例如，控制单元108使得显示如图14所示的GUI60。GUI 60包括用于调整合成面部掩模的网格信息的接口例如滑块和用于调整合成面部掩模的纹理信息的接口例如滑块。例如，滑块的左端对应于src而滑块的右端对应于dst。

在针对网格信息的滑块的手指抓握被设置在左端处并且针对纹理信息的滑块的手指抓握被设置在右端处的情况下，合成面部掩模的面部特征信息与前述第一模式下的面部特征信息相对应。在分别以相反的方式设置两个滑块的各自的手指抓握的情况下，合成面部掩模的面部特征信息与前述第二模式下的面部特征信息相对应。在两个滑块的各自的手指抓握被设置在左端与右端之间的情况下，合成面部掩模的面部特征信息与前述第三模式下的面部特征信息相对应。

然后，控制单元108基于通过接口设置的面部特征信息使合成面部掩模的显示被改变。例如，控制单元108将如图14所示的合成面部掩模的网格信息和纹理信息改变成通过GUI 60中的滑块设置的网格信息和纹理信息。控制单元108可以响应于对GUI 60的操作而使合成面部掩模实时改变，或者可以使合成面部掩模在对GUI 60的操作完成之后例如在结束操作之后被改变。

无论用作src和dst的面部掩模的面部特征信息如何，都可以改变合成面部掩模的面部特征信息。具体地，控制单元108基于用作src的面部掩模或者用作dst的面部掩模的属性信息，来改变合成面部掩模的网格信息。此外，将参照图15A至图15C详细描述配置。图15A至图15C是示出根据实施方式的第七修改示例的改变合成面部掩模的网格信息的处理的图。

控制单元108基于掩模的属性信息来选择网格类型，并且基于选择的网格类型来改变网格信息。例如，例示了面部穿戴物例如面部口罩或医疗口罩、卡通或CG人物或者前部刘海的存在的类型作为面部掩模的属性信息。例如，在面部掩模的类型是面部穿戴物的情况下，控制单元108选择在面部的一部分例如图15A或图15B所示的前额或眼睛处脱落的网格类型。在面部掩模的类型是人物的情况下，控制单元108选择被设置成比其他网格类型大以使得如图15C所示面部的一部分例如眼睛变形的网格类型。

代替或者除了选择网格类型以外，控制单元108可以动态地改变网格信息。将参照图16详细描述该配置。图16是示出根据实施方式的第七修改示例的改变合成面部掩模的网格信息的处理的另一示例的图。

控制单元108响应于用户的操作而动态地改变网格信息。具体地，控制单元108将网格信息的一部分改变成具有通过用户的操作而选择的尺寸。例如，如图16所示的合成面部掩模36I1至36I3，控制单元108使网格中与眼睛相对应的一部分的尺寸改变成通过用户的操作设置的1.0至1.5倍。

控制单元108可以基于与合成面部掩模相关联的面部图像或者合成的目标的面部掩模来改变合成面部掩模的纹理信息。具体地，控制单元108基于用作src的面部掩模的纹理信息与用作dst的面部掩模等的纹理信息之间的比较来改变合成面部掩模的纹理信息。此外，将参照图17和图18详细描述该配置。图17和图18分别是示出根据实施方式的第七修改示例的改变合成面部掩模的纹理信息的处理的图。

首先，将描述未改变纹理信息的情况。如果生成合成面部掩模，则控制单元108使生成的合成面部掩模叠加并且显示在用作dst的面部图像上。例如，控制单元108使如图17的左图中所示的合成面部掩模36J1被显示。此处，由于合成面部掩模36J1的纹理的色调与被叠加并且被显示的面部图像的色调不同，所以存在用户感觉合成不自然的可能性。因此，控制单元108根据用作src的面部掩模的纹理与用作dst的面部掩模的纹理之间的视觉差异的程度来改变合成面部掩模的纹理的透明度。

具体地，控制单元108根据用作src的面部掩模的纹理与用作dst的面部掩模的纹理的亮度或颜色属性(颜色相位、明亮度或饱和度)的差异程度，来改变合成面部掩模的纹理的透明度。例如，如图17的右图中所示的合成面部掩模36J2，控制单元108提高合成面部掩模的轮廓周围的纹理的透明度。以该方式，可以抑制陌生的感觉。

代替或者除了纹理的透明度的变化之外，控制单元108可以改变纹理的颜色属性。具体地，控制单元108根据用作src的面部掩模的纹理与用作dst的面部掩模的纹理之间的亮度或颜色属性的差异程度，来改变合成面部掩模的纹理的颜色属性。例如，控制单元108通过使合成面部掩模的纹理的亮度降低，来将合成面部掩模从如图18的右图中所示的合成面部掩模36K1改变成如图18的右图中所示的合成面部掩模36K2。以该方式，可以抑制陌生的感觉。

可以在合成之后或者在合成期间执行前述改变合成面部掩模的面部特征信息的处理。

根据实施方式的第七修改示例，如上所述，信息处理装置100-1基于输入信息来改变合成面部掩模的面部特征信息。因此，由于显示适合输入信息的合成面部掩模，所以可以提高用户对合成面部掩模的可视性。

信息处理装置100-1在用作src的面部掩模的面部特征信息与用作dst的面部模型的面部特征信息之间改变合成面部掩模的面部特征信息。因此，由于精细地设置合成面部掩模的面部特征信息变得容易，所以可以提高用户的便利性。具体地，在合成面部掩模的面部特征信息在合成之后响应于用户的输入操作而实时改变的情况下，用户可以在检查合成面部掩模的变化的同时进行调整，从而可以进一步提高便利性。

信息处理装置100-1基于用作src的面部掩模或者用作dst的面部掩模的属性信息，来改变合成面部掩模的网格信息。因此，由于无论面部掩模对应于src和dst中的哪一个，合成面部掩模都被改变，所以用户的选择被扩宽，并且可以解决各种用户的需求。此外，由于合成面部掩模的网格信息被改变，所以可以改变由合成面部掩模表示的面部表示并且使合成面部掩模符合合成目的。

信息处理装置100-1基于与合成面部掩模有关的面部图像或者作为合成的目标的面部掩模来改变合成面部掩模的纹理信息。因此，由于合成面部掩模的纹理信息被改变，所以可以改变由合成面部掩模表示的面部颜色，并且使合成面部掩模符合合成目的。

(第八修改示例)

根据实施方式的第八修改示例，信息处理装置100-1可以在用于生成合成面部掩模的面部特征信息不充足的情况下使用其他面部掩模的面部特征信息。此处，存在以下情况：通过出现在移动图像或直通图像中的人摇晃他或她的头或者通过改变相机工作，与面部掩模相对应的面部图像中检测到的特征点的数量减少。在这样的情况下，src或dst的面部掩模的网格信息和纹理信息的量减少，并且可能生成给予用户陌生的感觉的合成面部掩模。因此，控制单元108使用过去的面部掩模的面部特征信息以补充不充足的面部特征信息。

具体地，如果生成或者更新面部掩模，则控制单元108使面部特征信息被存储。例如，控制单元108临时使存储单元110存储面部掩模的面部特征信息，直到在生成或更新面部掩模之后逝去了预定时间。

然后，控制单元108获取过去存储的面部特征信息，并且在面部特征信息不充足的情况下补充不充足的面部特征信息。例如，在检测到的特征点的数量等于或小于阈值的情况下，控制单元108使用过去存储的特征点来补充不充足的特征点。

具有用于补充的面部特征信息的其他面部掩模可以是作为合成对象的src或dst的面部掩模。例如，在面部掩模src中检测到的特征点的数量等于或小于阈值的情况下，控制单元108通过使用面部掩模dst的与在面部掩模src中未检测到的特征点相对应的特征点来补充src的特征点。

可以根据检测到的特征点的数量来改变合成面部掩模的透明度。例如，当用作src或dst的面部掩模中检测到的特征点的数量较小时，控制单元108针对合成面部掩模的纹理设置较高的透明度。此处，当检测到的特征点的数量减少时，网格信息和纹理信息减少，并且合成面部掩模的外观变得更粗糙。然而，由于根据该配置，当检测到的特征点的数量减少时，合成面部掩模的透明度增加，所以用户不能清楚地视觉上识别合成面部掩模，并且可以使合成面部掩模的粗糙度模糊。

在未检测到特征点的情况下，可以删除合成面部掩模。例如，在未检测到用作src或dst的面部掩模的特征点的情况下，控制单元108通过逐渐增加合成面部掩模的纹理的透明度使合成面部掩模淡出。

已经检测到特征点的面部掩模src或dst可以代替合成面部掩模被叠加并且被显示，而不是删除合成面部掩模。在这样的情况下，不执行合成处理。

根据实施方式的第八修改示例，信息处理装置100-1在用于生成合成面部掩模的面部特征信息不充足的情况下使用其他面部掩模的面部特征信息。因此，由于即使在未检测到特征点中的一部分的情况下，仍继续显示合成面部掩模，所以可以抑制在合成面部掩模的显示与不显示之间频繁地切换，并且维持对用户的可见度。

其他面部掩模包括过去的面部掩模或者作为合成对象的用作src的面部掩模或用作dst的面部掩模。因此，由于使用与合成面部掩模兼容的特征点进行了补充，所以可以使给予观察该合成面部掩模的用户陌生的感觉的可能性降低。

(第九修改示例)

根据实施方式的第九修改示例，信息处理装置100-1可以执行除了面部之外的对象的合成。具体地，控制单元108执行src和dst的模型中的至少一个是除了面部之外的对象模型的合成。例如，面部模型预先连接至除了面部之外的对象的图像。然后，控制单元108对连接至该对象的图像的面部模型与面部图像的面部模型进行合成，并且使通过合成获得的合成面部模型叠加并且显示在该对象的图像或者面部图像上。此外，将参照图19和图20详细描述根据本修改示例的处理。图19是示出根据实施方式的第九修改示例的对除了面部之外的对象进行合成的处理的图，图20是示出根据实施方式的第九修改示例的对除了面部之外的对象进行合成的处理的另一示例的图。

除了面部之外的对象包括插图。例如，面部模型预先连接至如图19所示的面部列表中排列的歌舞伎插图图像12L。在对象是接近面部的对象的情况下，通过面部识别处理生成面部模型。如果插图图像12L或连接至图像12L的面部模型被移动至其他面部模型或面部图像，则控制单元108执行连接至图像12L的面部模型与面部模型或从移动目的地处的面部图像生成的面部模型的合成。然后，控制单元108使如图19所示的通过合成获得的合成面部模型36L叠加并且显示在移动目的地处的面部图像上。

除了面部之外的对象包括用于叠加的图像。例如，如图20所示的面部列表中排列的化装图像12M预先连接至面部模型。如果化装图像12M或连接至化装图像12M的面部模型被移动至其他面部模型或面部图像，则控制单元108执行连接至化装图像12M的面部模型与面部模型或从移动目的地处的面部图像生成的面部模型的合成。然后，控制单元108使如图20所示的通过合成获得的合成面部模型36M叠加并且被显示在移动目的地处的面部图像上。

虽然目前为止已经描述了除了面部之外的对象是插图图像或者用于叠加的图像的示例，但是该对象可以是自然对象例如蔬菜或者是人造对象例如时钟。

虽然目前为止已经描述了面部模型预先连接至对象图像的示例，但是信息处理装置100-1可以对从对象图像生成的对象的模型进行合成。例如，控制单元108可以对从番茄图像生成的番茄模型与其他番茄模型进行合成。

此外，控制单元108可以执行不同对象的模型之间的合成。例如，控制单元108执行从面部图像生成的面部模型与从番茄图像生成的番茄模型的合成。由于在该情况下，如何拾取特征点以及特征点的数量在面部模型与番茄模型之间是不同的，所以网格信息和纹理信息是不同的。因此，模型之间的特征点、网格信息以及纹理信息被预先相关联。

根据实施方式的第九修改示例，如上所述，信息处理装置100-1执行src和dst的模型中的至少一个是除了面部之外的对象的模型的合成。因此，由于合成处理的应用目的被扩展到除了面部之外的对象，因此可以解决各种用户的需求。

(第十修改示例)

根据实施方式的第十修改示例，无论用户的操作如何，都可以叠加并且显示合成面部掩模。具体地，如果在面部识别之后逝去了预定时间，则控制单元108执行从与面部识别有关的面部图像生成的面部掩模与预定面部掩模的合成，并且使通过合成获得的合成面部掩模叠加并且显示在面部图像上。

要被合成的面部掩模可以朝向与被识别的面部有关的面部图像移动。例如，在用户的面部被显示在画面上并且在识别用户的面部之后逝去了预定时间的情况下，要被用于合成的面部掩模等朝向被识别的用户的面部、即画面上的面部图像移动，就好像面部掩模等飞向用户的面部一样。然后，如果被移动的面部掩模到达用户的面部，则合成面部掩模被叠加并且被显示在用户的面部上。在被移动的面部掩模未到达用户的面部的情况下，不执行合成。

可以移动要被合成的面部掩模，就好像面部掩模被画面上显示的显示对象携带。例如，人物持有面部掩模并且移动，并且如果人物移动至用户的面部，则合成面部掩模被叠加并且被显示在用户的面部上。

在用作dst的面部掩模等的数量是预定数量的情况下，可以执行与预定数量相对应的面部掩模和用作dst的面部掩模的合成。例如，在画面上存在七个面部的情况下，分别对与七相对应的面部掩模组的面部掩模例如七个漫画英雄的面部的面部掩模和画面上的七个面部的面部掩模进行彼此相关联和合成，并且通过合成获得的七个合成面部掩模分别被叠加和显示在画面上的七个面部上。

根据实施方式的第十修改示例，如上所述，无论用户的操作如何，都叠加并且显示合成面部掩模。因此，用户不需要执行操作，并且可以省去用户的时间和努力。此外，在用户难以执行操作的情况下提高了用户的便利性。

<2.第二实施方式(针对数字告示装置的应用示例)>

目前为止已经描述了根据本公开内容的第一实施方式的信息处理装置100-1。接下来，将描述根据本公开内容的第二实施方式的信息处理装置100-2。根据本实施方式的信息处理装置100-2是静态装置例如数字告示。

<2-1.装置的配置>

由于根据本公开内容的第二实施方式的信息处理装置100-2的功能配置与根据第一实施方式的信息处理装置100-1的功能配置基本相同，所以将省略描述。

<2-2.装置的技术特征>

接下来，将描述根据实施方式的信息处理装置100-2的技术特征。将省略对与第一实施方式中的特征基本相同的特征的描述。

(G.合成的目标的指定)

信息处理装置100-1根据作为基于用户的运动的输入的用户的姿势操作来指定合成的目标。

(G-1.基于面部掩模的移动的合成的目标的指定)

控制单元108响应于用户的姿势操作而使合成的目标的面部掩模被移动。此外，将参照图21描述响应于姿势操作而移动面部掩模的处理。图21是示出在根据实施方式的信息处理装置100-2中移动合成的目标的面部掩模的操作的图。

首先，控制单元108使作为合成的目标的面部掩模等被显示。例如，如图21左图中所示，控制单元108使其中排列有用作src的面部掩模等的面部列表被显示。

然后，控制单元108响应于从面部列表中选择面部掩模等的用户姿势而使面部掩模等被移动。例如，如果如图21的中间图中所示，用户采取动作从面部列表中拾取面部图像12N，则控制单元108响应于用户的动作而使面部图像12N被移动。

接下来，如果面部掩模等被移动至用户的面部，则控制单元108使合成面部掩模叠加并且显示在用户的面部上。例如，如果面部图像12N被移动至用户的面部，则如图21的右图中所示，控制单元108使通过面部图像12N的面部掩模与用户的面部的面部掩模的合成而获得的合成面部掩模36N叠加并且显示在用户的面部上。

(G-2.基于用户的移动的合成的目标的指定)

此外，控制单元108可以基于用户的移动来指定合成的目标。将参照图22详细描述该配置的处理。图22是示出在根据实施方式的信息处理装置100-2中基于用户的移动指定合成的目标的处理的图。将省略对与前述功能基本相同的功能的描述。

首先，如上所述，控制单元108使作为合成的目标的面部掩模被显示。

如果通过用户的移动使用户的面部和面部掩模重叠，则控制单元108使合成面部掩模叠加并且显示在用户的面部上。例如，如果如图22的中间图所示，用户的面部与面部列表中排列的面部图像12O重叠，则如图22的右图中所示，控制单元108使通过面部图像12O的面部掩模与用户的面部的面部掩模的合成而获得的合成面部掩模36O叠加并且显示在用户的面部上。

<2-3.通过装置进行的处理>

由于通过根据本公开内容的第二实施方式的信息处理装置100-2进行的处理与通过根据第一实施方式的信息处理装置100-1进行的处理基本相同，所以将省略其描述。

<2-4.第二实施方式的总结>

根据本公开内容的第二实施方式，基于用户的运动的输入包括手势操作，并且如上所述，信息处理装置100-2基于姿势操作使用于合成的面部掩模被移动。因此，用户可以感官地执行用于合成的操作，并且可以提高与合成有关的操作中的操作性。

<2-5.修改示例>

目前为止已经描述了本公开内容的第二实施方式。实施方式不限于前述示例。在下文中，将描述实施方式的第一修改示例和第二修改示例。

(第一修改示例)

根据实施方式的第一修改示例，无论用户的操作如何，都可以叠加并且显示合成面部掩模。具体地，控制单元108使合成的目标的面部掩模被移动，就好像面部掩模被画面上显示的显示对象携带。此外，将参照图23详细描述根据本修改示例的处理。图23是示出根据实施方式的第一修改示例通过人物来移动作为合成的目标的面部掩模等的示例的图。

控制单元108使伴随有面部掩模的显示对象朝向画面上出现的用户的面部移动。例如，如图23的左图中所示，持有面部掩模22P的人物70朝向画面上的用户的面部移动。

接下来，如果伴随有面部掩模的显示对象到达画面上出现的用户的面部附近，则控制单元108使面部掩模从显示对象移动至用户的面部。例如，如图23的中间图所示，如果人物70移动至用户的面部的附近，则人物70朝向用户的面部投掷人物70持有的面部掩模22P。

接下来，如果面部掩模到达画面上出现的用户的面部，则控制单元108使合成面部掩模叠加并且显示在用户的面部上。例如，如果如图23的右图中所示，面部掩模22P到达用户的面部，则在用户的面部上叠加并且显示通过面部掩模22P与用户的面部的面部掩模的合成而获得的合成面部掩模36P。

根据实施方式的第一修改示例，信息处理装置100-2使合成的目标的面部掩模被移动，就好像面部掩模被画面显示的显示对象携带。因此，可以通过允许用户在执行合成之前欣赏处理来提高合成面部掩模的处理对用户的吸引力。

(第二修改示例)

根据实施方式的第二修改示例，信息处理装置100-2可以根据合成的目标的链接执行合成。具体地，控制单元108基于用户的选择操作来对合成的目标进行链接，并且基于链接的合成的目标来执行合成。例如，如果用户选择合成的目标例如用作dst的面部掩模等、例如他或她自己的面部的图像，则控制单元108生成用户的面部的面部掩模并且将选择的面部掩模等与用户的面部掩模进行链接。然后，控制单元108基于与用户的面部掩模链接的面部掩模等执行合成，并且使生成的合成面部掩模叠加并且显示在用户的面部出现的图像上。

可以在面部列表上选择合成的一个或两个目标。此外，可以提供多个链接，并且在这样的情况下，用户可以选择使用哪个链接。例如，用户通过移动终端例如智能电话或平板电脑终端来选择链接，关于所选择的链接的信息(在下文中，也称为链接信息)被提供至信息处理装置100-2例如数字告示，并且信息处理装置100-2根据提供的链接信息显示合成面部掩模。

合成的目标的链接信息可以与另一装置共享。具体地，控制单元108通过通信向另一信息处理装置提供链接信息。此外，将参照图24详细描述链接信息的共享。图24是示出根据实施方式的第二修改示例的链接信息的生成和共享的图。

控制单元108基于用户的选择生成合成的目标的链接信息，并且共享生成的链接信息。例如，如图24左图中所示，预先将漫画前景200的面部出现位置与面部出现位置处的人物的面部掩模彼此相关联。用户选择用户期望链接的面部、使他或她的面部符合用户期望链接的面部的面部出现孔，并且在面部符合漫画前景200的情形下对漫画前景200成像。如果通过图像捕获而获得的图像通过通信被提供至信息处理装置100-2，则控制单元108生成符合所述图像的用户的面部的面部掩模。然后，控制单元108生成所生成的面部掩模和与漫画前景200的面部出现位置相关联的面部掩模的链接信息。然后，控制单元108通过通信向另一信息处理装置100-2提供链接信息。

如果提供了链接信息，则控制单元108存储链接信息。例如，如果接收到链接信息，则控制单元108使存储单元108存储链接信息。

接下来，如果在通过图像捕获而获得的图像中识别了与匹配链接信息的面部掩模相对应的面部，则控制单元108基于面部掩模和链接的面部掩模来生成被识别的面部的面部掩模，并且叠加且显示合成面部掩模。例如，如果与存储的链接信息有关的用户进入成像范围并且用户的面部被识别，则控制单元108生成用户的面部的面部掩模。然后，控制单元108使通过生成的面部掩模与链接的面部掩模的合成而获得的合成面部掩模34Q1和34Q2分别叠加并且显示在与链接的面部掩模相对应的人物面部图像上。

虽然目前为止已经描述了使用物理漫画前景200的示例，但是，可以使用要在数字告示上显示的虚拟前景。

对漫画前景成像的信息处理装置可以是根据第一实施方式的信息处理装置100-1。在这样的情况下，执行图像捕获的信息处理装置100-1生成链接信息，并且信息处理装置100-1提供该链接信息。

根据实施方式的第二修改示例，信息处理装置100-2基于用户的选择操作对合成的目标进行链接，并且基于链接的合成的目标执行合成。因此，由于通过链接管理合成的目标，所以存储合成的目标的组合并且重新组合合成的目标变得容易。

链接信息与其他装置共享。因此，由于合成面部掩模也根据链接显示在其他装置上，所以可以省去针对每个装置设置合成的目标所需要的时间和努力，并且提高用户的便利性。

<3.应用示例>

前述各实施方式中描述的配置可以应用至各种情况。在下文中，将描述除了前述各实施方式之外的一部分情况。

(隐私保护)

可以通过使合成面部掩模叠加并且显示在图像中出现的人的面部上来保护隐私。例如，信息处理装置100通过使用图像中出现的人的面部掩模作为dst并且使用单独选择的面部掩模作为src，来基于dst的网格信息和src的纹理信息生成合成面部掩模。然后，信息处理装置100使生成的面部掩模叠加并且显示在用作dst的图像中出现的人的面部上。

用作src的面部掩模被叠加并且显示在与用作dst的面部掩模相对应的面部图像上。在这样的情况下，图像中出现的面部看起来就像覆盖有面部掩模的面部。

(卡拉OK的电影)

可以通过使合成面部掩模叠加并且显示在卡拉OK上显示的电影中出现的人的面部上，来增强使用卡拉OK播放唱歌的人的感觉或者听到卡拉OK的人的感觉。例如，信息处理装置100通过使用卡拉OK的电影中出现的人的面部掩模作为dst并且使用唱歌的人的面部掩模作为src，来基于dst的网格信息和src的纹理信息生成合成面部掩模。然后，信息处理装置100使生成的合成面部掩模叠加并且显示在卡拉OK的电影中出现的人的面部上。可以基于src的纹理信息和dst的纹理信息以相反的方式生成合成面部掩模。

可以在卡拉OK电影中出现的人的面部之间执行合成。例如，信息处理装置100使通过人X的面部的面部掩模与卡拉OK电影上出现的另一人Y的面部的面部掩模的合成而获得的合成面部掩模叠加并且显示在卡拉OK的电影中出现的人X的面部上。

(视频聊天的电影)

通过使合成面部掩模叠加并且显示在视频聊天的电影中出现的人的面部上，可以平滑通过视频聊天的通信。例如，信息处理装置100使通过对视频聊天的电影中出现的人的面部掩模的眼睛部分与观看用于视频聊天的相机的眼睛进行合成而获得的合成面部掩模叠加并且显示在该人上。以该方式，视频聊天的电影中出现的人的视线被显示为好像其被引导至摄像装置。

(将面部特征信息嵌入到介质中)

通过预先将面部特征信息连接至介质，即使在难以从与介质有关的图像直接生成面部掩模的情况下，也可以使合成面部掩模叠加并且显示在图像中出现的面部上。例如，介质是移动图像，并且连接至移动图像的每一帧的面部特征信息或特征点信息存储在移动图像信息中作为元信息。然后，当再现移动图像时，信息处理装置100通过使用被存储作为移动图像的移动图像信息的面部特征信息等来执行合成。面部特征信息等可以连接至移动图像的帧的一部分。被存储作为移动图像信息的信息可以是特征点信息和与特征点有关的颜色信息。

介质可以是纸例如杂质、书或报纸。例如，在杂质上张贴的人的附近预先写入可读面部特征信息例如二维AR标记。如果用户对二维AR标记成像，则信息处理装置100基于从二维AR标记读取的面部特征信息生成面部掩模，并且通过使用生成的面部掩模来执行合成。

<4.根据本公开内容的一个实施方式的信息处理装置的硬件配置>

图25是示出根据本公开内容的实施方式的信息处理装置100的硬件配置的说明图。如图25所示，信息处理装置100包括：中央处理单元(CPU)142、只读存储器(ROM)144、随机存取存储器(RAM)146、桥接器148、总线150、接口152、输入设备154、输出设备156、存储设备158、驱动器160、连接端口162以及通信设备164。

CPU 142用作计算处理设备，并且与各种类型的程序协作以实现信息处理装置100中的面部识别单元104、操作检测单元106以及控制单元108的操作。此外，CPU 142可以是微处理器。ROM144存储由CPU 142使用的程序、计算参数等。例如，RAM146临时存储在CPU 142的执行中使用的程序或者在执行中适当地改变的参数。ROM 144和RAM146构成信息处理装置100中的存储单元110的一部分。CPU 142、ROM144以及RAM146通过配置有CPU总线等的内部总线彼此连接。

例如，作为信息处理装置100中的成像单元102的示例，输入设备154配置有用于用户输入信息的输入装置，例如鼠标、键盘、触摸面板、按钮、麦克风、开关、杆以及输入控制电路，输入控制电路例如基于用户的输入生成输入信号并且将输入信号输出至CPU 142。信息处理装置100的用户可以通过操作输入设备154来将各种类型的数据输入至信息处理装置100并且指示处理操作。

例如，作为信息处理装置100中的显示单元112的示例，输出设备156例如执行向诸如液晶显示(LCD)设备、有机发光二极管(OLED)设备以及灯的设备的输出。此外，输出设备156可以执行扬声器、头戴式耳机等的声音输出。

存储设备158是用于数据存储的设备。存储设备158可以包括：存储介质，将数据记录在存储介质中的记录设备，从存储介质读取数据的读取设备，删除记录在存储介质中的数据的删除设备等。存储设备158存储由CPU 142执行的程序和各种类型的数据。

驱动器160是用于存储介质的读取器/写入器，并且被设置在信息处理装置100的内部或外部附接至信息处理装置100。驱动器160读出记录在可移除存储介质例如磁盘、光盘、磁光盘或放入在驱动器160中的半导体存储器中的信息，并且将该信息输出至RAM146。此外，驱动器160可以将信息写入至可移除存储介质中。

连接端口162是例如用于连接至信息处理装置或信息处理装置100外部的外围设备的总线。此外，连接端口162可以是通用串行总线(USB)。

通信设备164是例如配置有用于连接至网络的通信设备的通信接口。此外，通信设备164可以是红外通信兼容设备，可以是无线局域网(LAN)兼容通信设备，可以是长期演进(LTE)兼容通信设备，或者可以是执行有线通信的有线通信设备。

<5.结论>

根据本公开内容的第一实施方式，如上所述，可以通过根据输入信息执行合成来执行用户期望的合成。可以通过根据用户的意图移动面部掩模来改进合成的操作感觉。

根据本公开内容的第二实施方式，用户可以感官地执行用于合成的操作，并且可以提高与合成有关的操作的操作性。

上面已经参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于上述示例。本领域的技术人员可以发现所附权利要求的范围内的各种替代和修改，并且应当理解的是，所述修改和替代将自然地落在本公开内容的技术范围下。

虽然在上述实施方式中，在同一画面上显示作为合成的目标的面部掩模等，但是本技术不限于这样的示例。例如，可以分别在不同的画面上显示作为合成的目标的面部掩模等。例如，用户通过移动终端例如智能电话选择用作src的面部掩模等，并且例如通过滑动操作使选择的面部掩模等朝向其上显示用作dst的面部掩模等的设备例如数字告示移动。结果，用作src的面部掩模通过通信从智能电话被提供至数字告示，并且通过使用所提供的面部掩模的合成而获得的合成面部掩模被叠加并且显示在由数字告示显示的dst的面部上。

虽然在前述实施方式中已经描述了对整个面部执行合成的示例，但是可以对面部的一部分执行合成。例如，仅对面部的一部分例如眼睛、鼻子、嘴或者眉毛执行合成。

虽然在前述实施方式中已经描述了显示单元112是显示器的示例，但是显示单元112可以是投影仪。例如，控制单元108使合成面部掩模朝向与用作dst的面部掩模相对应的面部投影至显示单元112。

虽然在前述实施方式中已经描述了合成的主要目标是面部掩模的示例，但是合成的目标可以是头部的掩模。例如，信息处理装置100可以生成整个头部的模型、即头部掩模，并且执行所生成的头部掩模的合成。

虽然在前述实施方式中已经描述了信息处理设备100是智能电话、平板终端或数字告示的示例，但是信息处理装置100可以是所谓的光学透视型或视频透视型的头戴式显示器(HMD)或者个人计算机(PC)。

信息处理装置100可以基于与用作src的面部掩模等有关的人的位置信息来使合成面部掩模改变。具体地，信息处理装置100根据由位置信息指示的位置与特定位置之间的距离而使合成面部掩模改变。例如，当用户接近音乐直播音乐厅时，信息处理装置100使通过对用户的面部的面部掩模与直播音乐会中的艺术家的面部的面部掩模进行合成而获得的合成面部掩模的面部特征信息进一步接近艺术家的面部掩模的面部特征信息。在信息处理装置100是HMD的情况下，合成面部掩模被叠加并且显示在用户周围的人上。当然，合成面部掩模可以被叠加并且显示在艺术家的面部上。在这样的情况下，即使在参观特定位置例如直播音乐厅的处理中，也可以向用户提供乐趣。

信息处理装置100可以根据由位置信息指示的位置是否在特定范围内来使合成面部掩模改变。例如，在用户处于主题公园中的情况下，信息处理装置100使通过对主题公园中的其他人的面部掩模与用户的面部的面部掩模进行合成而获得的合成面部掩模被叠加并且显示在其他人的面部上。如果用户离开主题公园，则信息处理装置100停止合成面部掩模的叠加和显示。在这样的情况下，可以改善在特定区域例如主题公园中的真实感觉。

虽然目前为止已经描述了一些应用示例，但是当然，本公开内容的各实施方式的配置可以应用至其他领域、业务类别、产品、应用等。例如，配置可以应用至整容手术领域。在这样的情况下，例如，手术后的面部作为合成面部掩模被叠加在用户的面部上。

此外，本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。即，连同或代替上述效果，根据本公开内容的技术可以从本说明书的描述中实现对本领域的技术人员而言清楚的其他效果。

此外，不仅包括根据描述的顺序按时间序列方式执行上述实施方式的流程图中所示的步骤的处理，还包括不必以时间序列方式处理所述步骤而是并行或单独执行所述步骤的处理。此外，不言而喻，即使以时间序列方式处理的步骤也可以根据情况适当地改变顺序。

此外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

控制单元，其被配置成

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型，以及

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示，

其中，所述控制单元基于输入信息来控制所述合成的模式。

(2)根据(1)所述的信息处理装置，

其中，所述第一对象模型包括第一面部模型，

所述第二对象模型包括第二面部模型，以及

所述合成对象模型包括合成面部模型。

(3)根据(2)所述的信息处理装置，

其中，所述模式包括第一模式和第二模式，其中，在所述第一模式下，所述合成面部模型是基于所述第一面部模型的网格信息而生成的，在所述第二模式下，所述合成面部模型是基于所述第二面部模型的网格信息而生成的。

(4)根据(3)所述的信息处理装置，

其中，在所述第一模式下，所述合成面部模型是基于所述第二面部模型的纹理信息而生成的，以及

在所述第二模式下，所述合成面部模型是基于所述第一面部模型的纹理信息而生成的。

(5)根据(2)至(4)中的任意一项所述的信息处理装置，

其中，面部特征信息包括面部模型的网格信息和纹理信息，以及

所述模式包括第三模式，在所述第三模式下，所述合成面部模型是基于所述第一面部模型的网格信息、所述第二面部模型的网格信息、所述第一面部模型的纹理信息以及所述第二面部模型的纹理信息而生成的。

(6)根据(2)至(5)中的任意一项所述的信息处理装置，

其中，所述控制单元使所述合成面部模型与基于用户的输入从与所述第一面部模型和所述第二面部模型相对应的图像中指定的图像相关联地显示。

(7)根据(2)至(6)中的任意一项所述的信息处理装置，

其中，所述输入信息包括用作由所述控制单元执行的处理的输入的、与和所述第一面部模型或所述第二面部模型相对应的图像有关的信息。

(8)根据(7)所述的信息处理装置，

其中，与所述图像有关的信息包括与所述图像的属性或所述图像的内容有关的信息。

(9)根据(2)至(8)中的任意一项所述的信息处理装置，

其中，所述输入信息包括与用户的输入操作有关的信息。

(10)根据(9)所述的信息处理装置，

其中，所述用户的输入操作包括选择所述第一面部模型或所述第二面部模型的操作，以及

所述控制单元根据所述第一面部模型或所述第二面部模型的选择位置来指定所述模式。

(11)根据(10)所述的信息处理装置，

其中，所述控制单元使所述第一面部模型或所述第二面部模型的与所述模式中的每一个相对应的选择位置以视觉上能够区分的形式显示。

(12)根据(2)至(11)中的任意一项所述的信息处理装置，

其中，所述控制单元在用于生成所述合成面部模型的面部特征信息不充足的情况下使用其他面部模型的面部特征信息。

(13)根据(12)所述的信息处理装置，

其中，所述其他面部模型包括过去的面部模型或者用作合成对象的所述第一面部模型或所述第二面部模型。

(14)根据(2)至(13)中的任意一项所述的信息处理装置，

其中，所述控制单元基于所述输入信息来改变所述合成面部模型的面部特征信息。

(15)根据(14)所述的信息处理装置，

其中，所述控制单元基于用户的输入操作，在所述第一面部模型的面部特征信息与所述第二面部模型的面部特征信息之间改变所述合成面部模型的面部特征信息。

(16)根据(14)或(15)所述的信息处理装置，

其中，所述控制单元基于所述第一面部模型或所述第二面部模型的属性信息，来改变所述合成面部模型的网格信息。

(17)根据(14)至(16)中的任意一项所述的信息处理装置，

其中，所述控制单元基于所述第一面部模型、所述第二面部模型或者与所述合成面部模型相关联的图像，来改变所述合成面部模型的纹理信息。

(18)根据(2)至(17)中的任意一项所述的信息处理装置，

其中，与所述第一面部模型和所述第二面部模型相对应的图像中的至少一个包括通过成像临时记录的图像。

(19)一种信息处理方法，包括：由控制单元，

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型；

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示；以及

基于输入信息控制所述合成的模式。

(20)一种程序，所述程序使计算机实现以下功能：

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型的功能；

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示的功能；以及

基于输入信息控制所述合成的模式的功能。

此外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

控制单元，被配置成

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型，以及

使所生成的合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示，

其中，所述控制单元响应于基于用户相对于其上显示对象模型或与所述对象模型相对应的图像的画面的运动的输入，而使用于所述合成的所述第一对象模型或所述第二对象模型被移动。

(2)根据(1)所述的信息处理装置，

其中，所述第一对象模型包括第一面部模型，

所述第二对象模型包括第二面部模型，以及

所述合成对象模型包括合成面部模型。

(3)根据(2)所述的信息处理装置，

其中，在完成从所述第一面部模型和所述第二面部模型中的一者至另一者的移动之后，所述控制单元使所述合成面部模型与和所述另一面部模型相对应的图像相关联地显示。

(4)根据(2)或(3)所述的信息处理装置，

其中，当基于所述用户的运动的所述输入被中断时，所述控制单元不执行所述合成。

(5)根据(2)至(4)中任一项所述的信息处理装置，

其中，基于所述用户的运动的所述输入包括指定起点和终点二者的操作或者仅指定所述起点的操作。

(6)根据(2)至(5)中任一项所述的信息处理装置，

其中，基于所述用户的运动的所述输入包括姿势操作。

(7)根据(2)至(6)中任一项所述的信息处理装置，

其中，当显示所述合成面部模型时，所述控制单元使与和所述合成面部模型相关联的图像相对应的所述第一面部模型或所述第二面部模型显示成邻近所述合成面部模型。

(8)根据(2)至(7)中任一项所述的信息处理装置，

其中，要被移动的所述第一面部模型或所述第二面部模型包括画面上显示的面部列表中排列的面部模型或者从所述面部列表中排列的图像生成的面部模型。

(9)根据(8)所述的信息处理装置，

其中，所述控制单元基于由所述第一面部模型或所述第二面部模型表示的面部的属性来选择所述面部列表中排列的面部模型或图像。

(10)根据(8)或(9)所述的信息处理装置，

其中，所述控制单元将朝向所述面部列表移动的所述第一面部模型或所述第二面部模型添加至所述面部列表。

(11)根据(8)至(10)中任一项所述的信息处理装置，

其中，所述控制单元执行与所述合成面部模型有关的第二合成面部模型的预先显示。

(12)根据(11)所述的信息处理装置，

其中，所述第二合成面部模型的所述预先显示包括使正在被移动的所述第一面部模型或所述第二面部模型改变成所述第二合成面部模型。

(13)根据(12)所述的信息处理装置，

其中，所述第二合成面部模型包括以下合成面部掩模：所述合成面部模型的面部特征信息根据与正在被移动的所述第一面部模型或所述第二面部模型的移动有关的信息而改变。

(14)根据(11)至(13)中任一项所述的信息处理装置，

其中，所述第二合成面部模型的所述预先显示包括使所述面部列表中排列的面部模型或者从所述面部列表中排列的图像生成的面部模型改变成所述第二合成面部模型。

(15)根据(14)所述的信息处理装置，

其中，所述控制单元使从所述面部列表中排列的面部模型或者从所述面部列表中排列的图像生成的面部模型中选择的面部模型或者所有所述面部模型改变成所述第二合成面部模型。

(16)根据(2)至(15)中任一项所述的信息处理装置，

其中，在画面上显示与所述面部模型相对应的多个面部模型或图像的情况下，所述控制单元基于被移动的面部模型和所述多个面部模型或者与所述面部模型相对应的所述图像来生成各个所述合成面部模型。

(17)根据(16)所述的信息处理装置，

其中，当面部模型被移动至与所述面部模型相对应的所述多个面部模型中的一个或者所述图像中的一个时，所述控制单元执行所述合成。

(18)根据(2)至(17)中任一项所述的信息处理装置，

其中，所述第一面部模型和所述第二面部模型中的至少一个包括用户的面部模型。

(19)一种信息处理方法，包括：通过控制单元，

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型；

使所生成的合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示；以及

响应于基于用户相对于其上显示对象模型或与所述对象模型相对应的图像的画面的运动的输入，而使用于所述合成的所述第一对象模型或所述第二对象模型被移动。

(20)一种程序，所述程序使计算机实现以下功能：

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型的功能；

使所生成的合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示的功能；以及

响应于基于用户相对于其上显示对象模型或与所述对象模型相对应的图像的画面的运动的输入，而使用于所述合成的所述第一对象模型或所述第二对象模型被移动的功能。

附图标记列表

100 信息处理装置

102 成像单元

104 面部识别单元

106 操作检测单元

108 控制单元

110 存储单元

112 显示单元

Claims (16)

1.一种信息处理装置，包括：

控制单元，其被配置成

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型，以及

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示，

其中，所述控制单元基于输入信息来控制所述合成的模式，

其中，所述第一对象模型包括第一面部模型，

所述第二对象模型包括第二面部模型，以及

所述合成对象模型包括合成面部模型，

其中，所述模式包括第一模式和第二模式，其中，在所述第一模式下，所述合成面部模型是基于仅所述第一面部模型的网格信息而生成的，在所述第二模式下，所述合成面部模型是基于仅所述第二面部模型的网格信息而生成的，

其中，所述输入信息包括与用户的输入操作有关的信息，

其中，所述用户的输入操作包括选择所述第一面部模型或所述第二面部模型的操作，以及

其中，所述控制单元根据所述第一面部模型或所述第二面部模型的选择位置来指定所述模式。

2.根据权利要求1所述的信息处理装置，

其中，在所述第一模式下，所述合成面部模型还基于所述第二面部模型的纹理信息而生成，以及

在所述第二模式下，所述合成面部模型还基于所述第一面部模型的纹理信息而生成。

3.根据权利要求1所述的信息处理装置，

其中，面部特征信息包括面部模型的网格信息和纹理信息，以及

所述模式包括第三模式，在所述第三模式下，所述合成面部模型是基于所述第一面部模型的网格信息、所述第二面部模型的网格信息、所述第一面部模型的纹理信息以及所述第二面部模型的纹理信息而生成的。

4.根据权利要求1所述的信息处理装置，

其中，所述控制单元使所述合成面部模型与基于用户的输入从与所述第一面部模型和所述第二面部模型相对应的图像中指定的图像相关联地显示。

5.根据权利要求1所述的信息处理装置，

其中，所述输入信息包括用作由所述控制单元执行的处理的输入的、与和所述第一面部模型或所述第二面部模型相对应的图像有关的信息。

6.根据权利要求5所述的信息处理装置，

其中，与所述图像有关的信息包括与所述图像的属性或所述图像的内容有关的信息。

7.根据权利要求1所述的信息处理装置，

其中，所述控制单元使所述第一面部模型或所述第二面部模型的与所述模式中的每一个相对应的选择位置以视觉上能够区分的形式显示。

8.根据权利要求1所述的信息处理装置，

其中，所述控制单元在用于生成所述合成面部模型的面部特征信息不充足的情况下使用其他面部模型的面部特征信息。

9.根据权利要求8所述的信息处理装置，

其中，所述其他面部模型包括过去的面部模型或者用作合成对象的所述第一面部模型或所述第二面部模型。

10.根据权利要求1所述的信息处理装置，

其中，所述控制单元基于所述输入信息来改变所述合成面部模型的面部特征信息。

11.根据权利要求10所述的信息处理装置，

其中，所述控制单元基于用户的输入操作，在所述第一面部模型的面部特征信息与所述第二面部模型的面部特征信息之间改变所述合成面部模型的面部特征信息。

12.根据权利要求10所述的信息处理装置，

其中，所述控制单元基于所述第一面部模型或所述第二面部模型的属性信息，来改变所述合成面部模型的网格信息。

13.根据权利要求10所述的信息处理装置，

其中，所述控制单元基于所述第一面部模型、所述第二面部模型或者与所述合成面部模型相关联的图像，来改变所述合成面部模型的纹理信息。

14.根据权利要求1所述的信息处理装置，

其中，与所述第一面部模型和所述第二面部模型相对应的图像中的至少一个包括通过成像临时记录的图像。

15.一种信息处理方法，包括：由控制单元，

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型；

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示；以及

基于输入信息控制所述合成的模式，

其中，所述第一对象模型包括第一面部模型，

所述第二对象模型包括第二面部模型，以及

所述合成对象模型包括合成面部模型，

其中，所述模式包括第一模式和第二模式，其中，在所述第一模式下，所述合成面部模型是基于仅所述第一面部模型的网格信息而生成的，在所述第二模式下，所述合成面部模型是基于仅所述第二面部模型的网格信息而生成的，

其中，所述输入信息包括与用户的输入操作有关的信息，

其中，所述用户的输入操作包括选择所述第一面部模型或所述第二面部模型的操作，以及

其中，由所述控制单元根据所述第一面部模型或所述第二面部模型的选择位置来指定所述模式。

16.一种计算机可读存储介质，其上编码有计算机可执行指令，当所述计算机可执行指令被执行时，执行一种信息处理方法，包括：

通过对第一对象模型和第二对象模型进行合成来生成合成对象模型的功能；

使所生成的所述合成对象模型与和所述第一对象模型或所述第二对象模型相对应的图像相关联地显示的功能；以及

基于输入信息控制所述合成的模式的功能，

其中，所述第一对象模型包括第一面部模型，

所述第二对象模型包括第二面部模型，以及

所述合成对象模型包括合成面部模型，

其中，所述模式包括第一模式和第二模式，其中，在所述第一模式下，所述合成面部模型是基于仅所述第一面部模型的网格信息而生成的，在所述第二模式下，所述合成面部模型是基于仅所述第二面部模型的网格信息而生成的，

其中，所述输入信息包括与用户的输入操作有关的信息，

其中，所述用户的输入操作包括选择所述第一面部模型或所述第二面部模型的操作，以及

其中，根据所述第一面部模型或所述第二面部模型的选择位置来指定所述模式。

Images