CN103369244B - 图像合成设备、图像合成方法 - Google Patents

Abstract

本发明提供图像合成设备、图像合成方法，该图像合成设备获取作为被摄体包含一个或多个人物像的图像，判定上述一个或多个人物像的形态，根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分，将上述切出的一个或多个图像进行合成。

Description

图像合成设备、图像合成方法

技术领域

本发明涉及切出图像的一部分来进行合成的设备、方法以及程序。

背景技术

近年来，数码相机等带有摄影功能的便携设备（摄影设备）运用图像处理，具有各种摄影功能。例如，在日本国特开2009-182880号公报（以下，称为文献1）中，公开有判定人物的笑脸，在笑脸的时刻自动地进行摄影或记录的摄像装置。

在专利文献1的发明中，虽然能够对笑脸的人物进行摄影，但是摄影者并不一定总是希望对笑脸等表情好的人物进行摄影。另外，有时得到让摄影者感觉想要摄影的氛围的时刻与人物成为笑脸或表情丰富的脸的时刻不一致。但是，在专利文献1的发明中，会无视摄影者的意向而简单地仅在成为笑脸的时刻进行摄影。摄影者为了判断与此时的氛围对应的最佳的被摄体的情况而不错过快门时机来进行摄影，需要极高的摄影技术，并且这种快门时机还有可能不会到来。

发明内容

本发明的目的在于，提供能够根据摄影者的意向简单地对适合此时的氛围的状态的被摄体进行摄影的图像合成设备、图像合成方法以及图像合成程序。

本发明的一方式的图像合成设备，包括：获取部，其获取包含一个或多个人物像作为被摄体的图像；判定部，判定上述一个或多个人物像的形态；裁剪部，其根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分；以及合成部，其将进行上述切出得到的一个或多个图像进行合成。

另外，本发明的一方式的图像合成方法，包括以下步骤：获取包含一个或多个人物像作为被摄体的图像；判定上述一个或多个人物像的形态；根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分；以及将进行上述切出得到的一个或多个图像进行合成。

另外，本发明的一方式的记录了图像合成程序的非临时性的计算机可读取记录介质，其中，上述图像合成程序包括如下步骤：获取作为被摄体包含一个或多个人物像的图像；判定上述一个或多个人物像的形态；根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分；以及将进行上述切出得到的一个或多个图像进行合成。

参照以下描述和附图，将更清楚地理解上述和其他目的的本发明的特征和优点。

附图说明

图1是示出本发明的第1实施方式的摄影设备的电路结构的框图。

图2A～图2H是用于说明最佳拍摄合成模式的说明图。

图3是用于说明第1实施方式的动作的流程图。

图4A～图4D是用于说明第1实施方式的动作的说明图。

图5A～图5E是用于说明本发明的第2实施方式的说明图。

图6是用于说明第2实施方式的动作的流程图。

图7是示出表情级别的计算方法的一例的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行详细说明。

（第1实施方式）

图1是示出本发明的第1实施方式的构成图像合成设备的摄影设备10的电路结构的框图。

在图1中，摄影设备10由信号处理和控制部1、摄像部2、临时记录部3、记录部4、显示部5、操作部6、动态图像摄影操作部6a、静态图像摄影操作部6b、触摸部6c构成。

信号处理和控制部1向摄像部2输出摄像元件的驱动信号，并且读出来自摄像部2的摄像图像。该摄像图像的取入是通过读取部1a来进行。读取部1a将从摄像部2读出的摄像图像提供给临时记录部3。而且，具有读出在临时记录部3中记录的摄像图像而进行图像处理的两系统的图像处理部1b、1c。

图像处理部1b、1c对所输入的图像，进行预定的信号处理，例如颜色信号生成处理、矩阵转换处理、其他各种信号处理。而且，图像处理部1b、1c构成为还能够进行对输入图像进行尺寸调整的调整尺寸处理、生成输入图像的一部分区域的图像（以下，称为部分图像）的处理等各种图像处理。

特征判定部1接受来自图像处理部1b的输入图像的图像信息，判定人物的脸等对象被摄体的特征量，将判定结果作为对象被摄体的信息输出到追踪部1e。追踪部1e根据依次输入的输入图像追踪包含对象被摄体的特征量一致的部分的区域，将追踪结果输出到图像处理部1c。

由此，图像处理部1c能够一边始终追踪包含对象被摄体的图像部分一边生成为部分图像。

来自图像处理部1b、1c的动态图像和静态图像被提供给图像选择部1f。图像选择部1f选择所输入的动态图像和静态图像，提供给显示控制部1g，并且还提供给S压缩部1h、M压缩部1i和M压缩部1j。

显示控制部1g进行用于将所输入的动态图像和静态图像提供给显示部5来进行显示的显示处理。另一方面，S压缩部1h对所输入的静态图像进行压缩而提供给记录控制部1k，M压缩部1i、1j对所输入的动态图像进行压缩而提供给记录控制部1k。记录控制部1k将被压缩的压缩动态图像和压缩静态图像提供给记录部4来进行记录。

摄像部2由光学系统2a和摄像系统2b构成。光学系统2a构成为能够控制光圈、对焦、变焦等，使被摄体像成像在摄像系统2b上。摄像系统2b由CCD或CMOS传感器等摄像元件构成，对被摄体进行摄像，输出摄像图像。

临时记录部3具有将来自摄像部2的摄像图像保存预定期间的容量，存储保存从摄像部2读出的摄像图像（动态图像和静态图像）。

记录部4被记录控制部1k控制，记录所输入的压缩动态图像和压缩静态图像。作为记录部4，例如能够采用卡接口，记录部4在存储卡等记录介质中记录图像信息和声音信息等。

显示部5由LCD等构成，显示从显示控制部1g提供的动态图像和静态图像。

操作部6具有摄影模式设定等各种开关和按钮，产生基于用户操作的操作信号而供给到信号处理和控制部1。动态图像摄影操作部6a用于指示动态图像摄影，通过操作动态图像摄影操作部6，从而将用于开始动态图像摄影的操作信号提供给信号处理和控制部1。

另外，静态图像摄影操作部6b用于指示静态图像摄影，通过操作静态图像摄影操作部6b，从而将用于开始静态图像摄影的操作信号提供给信号处理和控制部1。信号处理和控制部1根据操作信号对各部分进行控制。

触摸部6c产生基于用户的手指等的触摸操作的操作信号而提供给信号处理和控制部1。例如，通过在显示部5的显示画面上设置触摸部6c，从而能够产生与用户用手指指示的显示画面上的位置对应的操作信号。由此，用户能够简单地进行显示在显示部5的显示画面上的部分图像的选择和删除等操作。

如上所述，信号处理和控制部1通过控制上述各部分，设定基于用户操作的摄影模式，实现与各摄影模式对应的摄影功能。例如，信号处理和控制部1除了设定一般的摄影模式以外，还能够设定最佳拍摄合成模式。

摄影者在摄影者自身从此时的状况判断为是快门时机的时刻进行摄像。因此，即使在最佳拍摄合成模式中，摄影时机听凭摄影者的操作，将其摄像结果显示在整个画面上并进行记录。由此，能够进行反映了摄影者的意志的摄影。

另一方面，在再现时，为了对此时的氛围等进行随后体验，查看被摄体的一部分、例如脸等是有效的。因此，从摄影图像切出一部分的部分图像。由于如上所述的部分图像的尺寸小，因此即使合成到摄影图像也不会妨碍摄影图像，而且能够得到多变的摄影图像。另外，作为部分图像，例如通过选择对摄像图像具有变化的脸图像等、表情丰富的被摄体的脸图像，从而能够得到更令人愉快的摄影图像。

图2A～图2H是用于说明如上所述的最佳拍摄合成模式的说明图。

图2A示出模式的选择画面。在内置有图1的摄影设备10的摄影设备主体20上，在上表面配设有与静态图像摄影操作部6b相当的快门按钮21。在摄影设备主体20的背面，设置有显示部5的显示画面5b和操作部6。在显示画面5a上显示有最佳拍摄合成模式，以及作为其他的模式显示有XXXXX模式和YYYYY模式等选择显示22。当用户通过操作部6的操作指定了最佳拍摄合成模式时，信号处理和控制部1设定最佳拍摄合成模式。

图2B示出最佳拍摄合成模式中的实时取景图像显示。来自摄像部2的摄像图像通过读取部1a而提供给临时记录部3，而且，还从临时记录部3提供给图像处理部1b、1c，生成实时取景图像。在本实施方式中，在最佳拍摄合成模式时，信号处理和控制部1在实时取景图像显示中也在临时记录部3中临时记录摄像图像。

在本实施方式中，信号处理和控制部1在最佳拍摄合成模式中，如后所述在摄影图像的一部分区域上合成作为部分图像的最佳拍摄图像。此时，为了防止最佳拍摄图像重叠在摄影图像中的摄影者认为重要的部分上而使得看不到，显示控制部1g如图2B所示，显示表示合成最佳拍摄图像的位置的合成框显示23。在图2B的例子中，在比作为合成框显示23的虚线部分还要上侧的区域上合成最佳拍摄图像。

图2B示出作为实时取景图像24对两个人物进行了摄像的情况。图2C示出从图2B的状态起随着时间经过，摄入到实时取景图像24上的两个人物状态变化的情况。

当在图2C的状态下摄影者按下了快门按钮21时，信号处理和控制部1控制临时记录部3而停止动态图像的临时记录，并且为了进行在摄影操作时刻所显示的图像、即已拍摄图像的显示（以下，称为“记录浏览显示”），而在显示部5上进行显示。

图2D示出通过记录浏览显示而示出的摄像图像25。另外，信号处理和控制部1从在动态图像的临时记录中得到的部分图像中选择最佳拍摄图像，将所选择的最佳拍摄图像合成到摄影图像25上来进行显示。

图2E示出该合成显示。在图2E中，在显示在显示画面5a上的摄影图像25上的一部分区域上重叠而合成最佳拍摄图像31a、31b。最佳拍摄图像31a是与在摄影图像25中拍摄的左侧的人物对应的最佳拍摄图像，最佳拍摄图像31b是与在摄影图像25中拍摄的右侧的人物对应的最佳拍摄图像。

另外，最佳拍摄图像是利用脸的局部形状和位置来进行数值化，将笑脸的程度判断为“笑脸度”，或者通过脸的角度或视线、姿势等来假定捕捉了优选瞬间的人物的图像。如后所述，为了选择最佳拍摄图像，对表情不同或姿势不同等进行数值化而能够进行分级。

在本实施方式中，信号处理和控制部1将在进行记录浏览显示的摄影图像25、即摄影者进行了摄影操作的时刻的摄影图像与最佳拍摄图像进行合成并记录。此时，信号处理和控制部1能够使用户选择要作为最佳拍摄图像来合成的图像。

例如，在图2E中，显示有用于指定也可以合成记录所显示的最佳拍摄图像31a、31b的OK按钮显示32。当进行了对于该OK按钮显示32的操作时，记录所显示的摄影图像25与最佳拍摄图像的合成图像。

另外，摄影者还能够进行用于解除所显示的最佳拍摄图像的合成的操作。图2F示出该解除操作，在摄影者将手指33触碰到最佳拍摄图像31b的显示上之后，通过进行在图2F的箭头所示的方向滑动的操作，从而解除该最佳拍摄图像31b的选择。

另外，也可以在显示画面上显示“通过滑动删除”等消息显示。图2G示出选择解除后的状态，在摄影图像25上仅合成显示最佳拍摄图像31a。当在该状态下进行了对于OK按钮显示32的操作时，在摄影图像25上合成最佳拍摄图像31并进行记录。图2H示出在摄影图像的记录后恢复到实时取景图像显示26的状态。

接着，参照图3的流程图和图4A～图4D的说明图对如上所述构成的实施方式的动作进行说明。

信号处理和控制部1在步骤S1中判定是否指示了摄影模式。在没有指定摄影模式时，信号处理和控制部1转移到再现模式。在指定了摄影模式时，在步骤S2中判定是否指定了最佳拍摄合成模式。在没有指定最佳拍摄合成模式时信号处理和控制部1转移到其他的模式。

设为用户通过例如对图2A的选择显示22的操作，指定最佳拍摄合成模式。于是，信号处理和控制部1在步骤S3中显示实时取景图像。即，读取部1a将来自摄像部2的摄像图像提供给临时记录部3，图像处理部1b在对来自临时记录部3的摄像图像进行图像处理之后，通过图像选择部1f提供给显示控制部1g。显示控制部1g使所输入的摄像图像显示在显示部5上。另外，信号处理和控制部1通过显示控制部1g而使合成框显示23显示（步骤S4）。

在本实施方式中，在最佳拍摄合成模式时，信号处理和控制部1进行动态图像记录。即，信号处理和控制部1直接记录提供给临时记录部3的摄像图像（步骤S5）。由此，如图2B、图2C所示，在显示实时取景图像时，还随着在临时记录部3中记录所显示的实时取景图像。

信号处理和控制部1在接下来的步骤S6中，判定是否进行了静态图像摄影。在本实施方式中，在步骤S7～S1O中，进行从临时记录中的动态图像中检测要进行合成的部分图像、即最佳拍摄图像的处理，直到进行静态图像摄影为止。

在步骤S7中，信号处理和控制部1进行脸检测处理。即，信号处理和控制部1通过对摄像图像的公知的脸检测手法，检测摄影图像中的人物的脸。例如，信号处理和控制部1还可以采用通过依次比较对脸的亮度特征进行了模型化的多个浓淡图像和摄影图像，从而检测人物的脸的手法。另外，信号处理和控制部1由检测到的对象物在摄像图像中的位置来判定脸等对象物存在的方向（脸方向）。而且，信号处理和控制部1通过利用存储了脸部分的特征的数据库并且求出帧相关，从而还能够判定是否如在说话中那样开闭口。信号处理和控制部1使这些判定结果与检测到的各脸对应而记录到临时记录部3中。

接着，信号处理和控制部1在步骤S8中对检测到的每个脸进行后述的表情级别的计算。例如，越是判定为最像笑脸的表情的图像，其表情级别的值越高，信号处理和控制部1也可以将表情级别最高的脸图像作为最佳拍摄图像。

另外，例如如果是表达被摄体的感情，表现此时的状况，则也可以设定为使“哭泣的脸”和“愤怒的脸”的表情级别成为最高，而不是笑脸。

另外，不仅是脸，也可以根据姿势选择最佳拍摄图像。此时，也可以设定为：作为表情级别也可以获取与被摄体的姿势对应的值，例如也可以在取振臂姿势等特定的姿势时使表情级别成为最高。

而且，也可以设定为：在表情变化得大时，表情级别变高。信号处理和控制部1在步骤S9中使检测到的各脸的各脸图像与表情级别对应起来而记录在临时记录部3中。信号处理和控制部1在步骤10中判定对于所有的脸的表情级别的处理是否结束，重复进行步骤S7～S9的处理，直到对于所有的脸的处理结束为止。

此处，通过由摄影者按下快门按钮21而进行摄影。信号处理和控制部1在步骤S11中进行静态图像摄影。即，信号处理和控制部1使读取部1a的读取处理停止，使显示控制部1g直接对显示中的摄像图像进行静态图像显示。接着，信号处理和控制部1在步骤S12～S24中，进行将最佳拍摄图像合成到摄影图像上的合成处理。

首先，信号处理和控制部1通过步骤S7的脸检测处理来判定是否检测到脸（步骤S12）。在没有检测到脸时，由于不存在要合成的最佳拍摄图像，因此不进行合成处理，而在步骤25中记录摄影图像。

在通过脸检测处理而检测到脸时，信号处理和控制部1在接下来的步骤S13、S14中，通过与步骤S7、S8相同的处理，检测正在进行记录浏览显示的摄影图像中的脸，并且计算其表情级别。另外，信号处理和控制部1检测摄影图像中的脸显示在显示画面5a上的哪个位置上（步骤S15）。

但是，如图2E所示，要合成到摄影图像上的最佳拍摄图像与摄影图像中的被摄体的人物的排列对应，显示成横向一列。例如，当最佳拍摄图像的尺寸过小时，不能判别最佳拍摄图像中的脸的表情。

另外，当最佳拍摄图像过大时，没有重叠最佳拍摄图像的摄影图像的有效区域变窄。另外，在将充分尺寸的最佳拍摄图像显示成两列时，摄影图像的有效区域也变窄。

另外，使进行合成的最佳拍摄图像的高宽比与显示画面的高宽比一致会感觉容易看清。

根据以上的观点，考虑一般的相机等的显示部的显示画面尺寸，认为通过使最佳拍摄图像成为显示画面5a的1/4尺寸程度的大小，从而能够充分地对最佳拍摄图像中的脸的表情进行视觉辨认，并且摄影图像的视觉辨认性也不会那么恶化。根据以上的理由，进行合成的部分图像、即最佳拍摄图像的个数为4个以内。也就是说，对摄影图像中的4人以下的人物，进行最佳拍摄图像的合成。

信号处理和控制部1判定在摄影图像中检测到的脸的数量是否比4多（步骤S16）。在比4多时，信号处理和控制部1在步骤S17中仅选择4个脸。例如，信号处理和控制部1选择尺寸大的4个、画面的中央侧的4个、表情级别最低的4个等。另外，信号处理和控制部1也可以在显示画面5a上显示用于选择的消息显示，使用户选择4个脸。在摄影图像中的脸的数量为4个以内时，信号处理和控制部1使处理从步骤S16转移到步骤S18。

另外，通过显示画面5a的尺寸等，有时即使在部分图像的个数为5个以上时也能够充分识别部分图像中的表情，不限定于必须是4个。

在步骤S18中，信号处理和控制部1确定最佳拍摄图像的配置位置。即，信号处理和控制部1对应于从摄影图像中选择的4人以内的人物的脸的水平位置，确定与所选择的人物对应的最佳拍摄图像的显示位置。

图4A～图4D示出要进行合成的最佳拍摄图像在显示画面5a上的配置的例子。

图4A至图4D是分别配置的最佳拍摄图像1～4的例子。如图4A～图4D所示，最佳拍摄图像配置在显示画面5a的上部的虚线部的区域。

接着，信号处理和控制部1对摄影图像中的所选择的每个人物，比较摄影图像中的脸的表情级别与对应的最佳拍摄图像的表情级别（步骤S19）。在摄影图像中的脸的表情级别比对应的最佳拍摄图像的表情级别低时，信号处理和控制部1选择表情级别最高的最佳拍摄图像（步骤S20）。

另外，在摄影图像中的脸的表情级别比对应的最佳拍摄图像的表情级别高时，信号处理和控制部1选择最大表情级别以外的最佳拍摄图像，例如当设定成在笑脸时得到最大表情级别时，选择与哭泣的脸、愤怒的脸等对应的表情级别的最佳拍摄图像（步骤S21）。

信号处理和控制部1通过步骤S22的判定，重复进行步骤S19～S21的处理，直到对摄影图像中的所选择的所有人物的处理结束为止。当对所选择的人物的处理结束时，信号处理和控制部1在步骤S23中进行合成显示。

即，信号处理和控制部1在与摄影图像中的所选择的人物的水平位置对应的位置的摄影图像上，合成通过步骤S20、S21而对每个人物选择的最佳拍摄图像并进行显示。图像处理部1c从临时记录部3读出所选择的最佳拍摄图像，输出到图像选择部1f。图像选择部1f对来自图像处理部1b的摄影图像与最佳拍摄图像进行合成而输出到显示控制部1g。显示控制部1g也将合成图像提供给显示部5来进行显示。

图2E示出该状态，在分别与摄影图像25中的两个人物对应的位置上，合成对每个人物选择的最佳拍摄图像31a、31b并显示。信号处理和控制部1在步骤S24中，接受摄影者的最佳拍摄图像的选择解除操作（参照图2F）。当进行了选择解除操作时，图像选择部1f解除对应的最佳拍摄图像的选择。

由此，得到如图2G所示的合成图像。通过由摄影者进行对于OK按钮显示32的操作，从而确定合成图像。由此，信号处理和控制部1记录合成图像（步骤S25）。即，图像选择部1f确定要合成的图像，将合成图像提供给S压缩部1h。合成图像是在S压缩部1h中被压缩，通过记录控制部1k而记录到记录部4。

另外，在最佳拍摄图像的显示区域上存在富裕时，也可以对摄影图像中的1个人物显示多个最佳拍摄图像。例如，也可以按照从表情级别高开始的顺序选择为最佳拍摄图像。

如上所述在本实施方式中，在与摄影者的摄影操作对应的摄影图像上，合成通过根据实时取景图像时的动态图像对表情级别进行分级而选择的最佳拍摄图像并进行记录。摄影者能够在自己确定的时刻对与此时的氛围对应的最佳的被摄体进行摄影，并且能够一并显示和记录摄影时刻以外的被摄体的最佳拍摄图像。

由此，能够根据摄影者的意向简单地对适合此时的氛围的状态的被摄体进行拍摄。另外，为了选择最佳拍摄图像，作为表情级别不仅可以是基于脸图像的表情数值，也可以对姿势进行数值化而进行分级，而且还可以根据这些数值的变化进行分级。

另外，在上述实施方式中，虽然对在摄影图像上合成一个静态图像的例子进行了说明，但是还能够通过在预定的时刻、或者根据表情级别来选择多个从动态图像中获取的多个静态图像，从而在1个摄影图像上依次合成多个变化的静态图像并显示。

（第2实施方式）

图5A～图5E是用于说明本发明的第2实施方式的说明图。本实施方式的硬件结构与图1相同。在本实施方式中，只有最佳拍摄合成模式的动作与第1实施方式不同。在本实施方式中，在动态图像时应用了最佳拍摄图像的合成。

图5A～图5E是用于说明第2实施方式中的最佳拍摄合成模式的图。在图5A～图5E中，对与图2A～图2H相同的结构要素附上相同符号并省略说明。

图5A示出模式的选择画面。在显示画面5a上，显示有最佳拍摄合成模式，以及作为其他的模式显示有XXXXX模式和YYYYY模式的选择显示22。当用户通过操作部6的操作等而指定了最佳拍摄合成模式时，信号处理和控制部1设定最佳拍摄合成模式。

图5B示出最佳拍摄合成模式中的实时取景图像显示。图5B示出作为实时取景图像24对两个人物进行摄像的情况。来自摄像部2的摄像图像通过读取部1a提供给临时记录部3，而且，从临时记录部3提供给图像处理部1b、1c，生成实时取景图像。在本实施方式中，当成为最佳拍摄合成模式时，信号处理和控制部1在将摄像图像提供给压缩部1i、1j进行了压缩之后，通过记录控制部1k而记录到记录部4。

在本实施方式中，信号处理和控制部1也在最佳拍摄合成模式中在摄影图像的一部分区域上合成作为部分图像的最佳拍摄图像。此时，为了防止最佳拍摄图像重叠在摄影图像中的摄影者认为重要的部分上而使得看不到，显示控制部1g如图5B所示，显示表示要合成最佳拍摄图像的位置的合成框显示23。在图5B的例子中，在比作为合成框显示23的虚线部分还要靠上的区域上合成最佳拍摄图像。

图5B～图5D示出摄像图像随着时间经过而变化的情况。在本实施方式中，从拍摄中的动态图像中提取出所拍摄的人物的脸，将提取的脸图像作为静态图像的最佳拍摄图像，合成显示到摄像图像上。另外，在本实施方式中，检测所拍摄的人物的脸的变化，在存在预定的变化时，将变化后的脸图像作为静态图像的最佳拍摄图像来进行合成。

图5B～图5D示出对于作为时时刻刻变化的动态图像的摄影图像25，合成在出现脸的变化的时刻生成的静态图像的最佳拍摄图像31a、31b、32b并显示。图5E示出在最佳拍摄合成模式结束之后恢复到实时取景图像显示26的状态。

在本实施方式中，记录摄影图像25，并且与对应于摄影图像25的显示时间的时间信息一起记录最佳拍摄图像31a、31b、32b。另外，在本实施方式中，也可以记录摄影图像与最佳拍摄图像的合成图像。

接着，参照图6的流程对如上所述构成的实施方式的动作进行说明。在图6中对与图3相同的步骤附上相同的标号并省略说明。

步骤S1～S5的步骤与第1实施方式相同。在本实施方式中，当成为最佳拍摄合成模式时，信号处理和控制部1在步骤S5中，不仅是在临时记录部3而且还在记录部4中开始动态图像的摄像图像的记录。信号处理和控制部1继续进行动态图像记录，直到在步骤S6中判定为进行了动态图像记录的停止操作为止。另外，摄影设备10中的各个处理，例如对于摄像图像的图像处理、图像的合成处理、显示处理、记录处理、脸检测处理、表情级别的计算处理等各处理与图1的实施方式相同。

信号处理和控制部1在步骤S32中进行脸检测处理。信号处理和控制部1判定在摄影图像中检测到的脸的数量是否比4多（步骤S33）。在比4多时，信号处理和控制部1在步骤S34中只选择4个脸。例如，信号处理和控制部1选择尺寸大的4个，画面的中央侧的4个等。另外，信号处理和控制部1也可以在显示画面5a上显示用于选择的消息显示，使用户选择4个脸。在摄影图像中的脸的数量为4个以内时，信号处理和控制部1使处理从步骤S33转移到步骤S35。

接着，信号处理和控制部1检测从摄像图像检测到的脸图像在显示画面5a上的位置（步骤S35）。接着，信号处理和控制部1确定最佳拍摄图像在显示画面5a上的配置位置。即，信号处理和控制部1与从摄影图像中选择的4人以内的人物的脸的水平位置对应，确定与所选择的人物对应的最佳拍摄图像的显示位置（步骤S36）。接着，信号处理和控制部1在步骤S37中计算检测到的脸的表情级别。

在本实施方式中，在接下来的步骤S38中，对每个所选择的人物的脸，进行上一次计算的表情级别与此次计算的表情级别之间的比较。并且，在步骤S39中，判定表情级别的级差是否为预定阈值以上。在级差为预定阈值以上时，即脸的表情变化得比较大时，信号处理和控制部1在步骤S40中，与检测到脸图像的时间一起将该脸图像作为部分图像（最佳拍摄图像）以静态图像的形式记录到临时记录部3中。

由此，在每个预定的时间，检测脸图像的表情级别，将与上一次的表情级别的级差超过预定阈值的脸图像与检测到脸的时间一起，按照每个脸进行静态图像记录。

信号处理和控制部1在步骤S41中判定对所选择的人物的所有脸图像的处理是否结束，在没有结束时，重复进行步骤S35～S40的处理。当对于所选择的人物的所有脸图像的处理结束时，信号处理和控制部1在步骤S42中，从临时记录部3读出与所选择的人物对应的脸图像、即最新被静态图像记录的脸图像。信号处理和控制部1在摄像中的动态图像上合成被静态图像记录的最佳拍摄图像并显示。信号处理和控制部1在步骤S44中将记录在临时记录部3中的脸图像与检测时间的信息一起记录到记录部4中。

如上所述在本实施方式中，在动态图像摄影时，也能得到与第1实施方式相同的效果，并且在每次表情出现变化时切换要合成的最佳拍摄图像，能够得到变化丰富的摄影图像。

另外，虽然对最佳拍摄图像为静态图像的情况进行了说明，但是也可以通过使用M压缩部1i、1j，除了动态图像的摄像图像以外，对于最佳拍摄图像也记录为动态图像。

接着，参照图7对图3和图6中的步骤S8、S14、S37中的表情级别的计算方法进行说明。图7是示出表情级别的计算法的一例的流程图。

图7所示的表情级别的计算中，将与脸的朝向有关的得分设为RF、与眼睛有关的得分设为RE、与嘴有关的得分设为RL，通过R=RF+RE+RL来求出表情级别R。信号处理和控制部1在步骤S51中，从检测到的脸中检测眼部和嘴部。信号处理和控制部1在步骤S52中，判定从脸检测到的眼睛的数量是否为2个。

在能够从脸检测到两个眼睛时，信号处理和控制部1认为脸朝向正面，在得分RF中代入1.0（步骤S53）。接着，信号处理和控制部1在步骤S54～S56中求出与眼睛有关的得分RE，在步骤S57～S59中求出与嘴有关的得分RL。

在步骤S54中，信号处理和控制部1将连接两眼的瞳孔的线上方的眼白的面积代入到变量EA。在接下来的步骤S55中，信号处理和控制部1将连接两眼的瞳孔的线下方的眼白的面积代入到变量EB。例如，在笑脸时，外眼角和内眼角垂下来的情况较多。由于外眼角和内眼角垂下来，从而穿过瞳孔中心的水平线下方的眼白面积与上方的眼白面积之间的比率变化。因此，信号处理和控制部1求出瞳孔线上方的眼白面积和下方的眼白面积（步骤S54、S55），通过两者的比来计算与眼睛有关的得分RE。即，信号处理和控制部1使得分RE为（EA-EB）/（EA+EB）（步骤S56）。

另外，信号处理和控制部1在步骤S57中将连接嘴两端的线上方的唇面积代入到变量LA。在接下来的步骤S58中，信号处理和控制部1将连接嘴两端的线下方的唇面积代入到变量LB。例如，在笑脸时，嘴两端上扬的情况较多。由于嘴两端上扬，从而连接嘴两端的线段上方的唇面积与下方的唇面积的比率发生变化。因此，信号处理和控制部1求出连接嘴两端的线段上方的唇面积和下方的唇面积（步骤S57、S58），通过两者的比来计算得分RL。即，信号处理和控制部1使得分RL为（LB-LA）/（LA+LB）（步骤S59）。

另外，当在步骤S52中判定为检测到的眼睛的数量不是2个时，信号处理和控制部1在步骤S61中判定检测到的眼睛的数量是否为1个。在1个时，信号处理和控制部1在RF中代入0.5。另外，在判定为检测到的眼睛的数量不是1个时，信号处理和控制部1在步骤S65中认为正在追踪中的人物的头部向后，在RF中代入0.5（步骤66）。

信号处理和控制部1将在步骤S59、S62、S65中求出的得分RF、RE、RL相加来作为表情级别的值R（步骤S60）。

如上所述，虽然在图7中对通过脸的朝向、眼睛的形状以及嘴形来求出表情级别的例子进行了说明，但是也可以通过其他的手法来求出表情级别。例如，也可以通过嘴的开闭状态来判定表情级别，并且，不仅是眼睛的数量，还可以通过相对于头部的头发的比例和视线的朝向等来判断脸的朝向。另外，在上述各实施方式中，虽然对考虑了脸的朝向的表情级别来选择最佳拍摄图像的例子进行了说明，但是不限定于脸的表情级别，也可以通过头部的亮度级别、从身体全体的姿势等得到的表情级别来选择最佳拍摄图像。

在上述的实施方式中，虽然作为原始的图像的获取方使用了摄影部2，但是本申请并不限定于此，例如，也可以将记录在记录部4中的图像作为原始图像来获取，也可以将从外部输入I/F7输入的图像作为原始图像来获取。

如上所述，在上述各实施方式中，由于将最佳拍摄图像合成显示到摄像图像上并随着进行记录，因此能够得到令人愉快的摄影图像。而且，在摄影者自身根据此时的状况判断为是快门时机的时刻进行摄像，将该摄像结果显示在整个画面上并进行记录。由此，能够进行反映了摄影者的意志的摄影。而且，通过在摄影图像的一部分区域上，显示提取被摄体来得到的部分图像，从而在再现时，能够容易地对被摄体和此时的氛围等进行随后体验。作为部分图像，显示表情丰富的被摄体的脸图像等，从而能够容易进行随后体验。另外，通过仅显示变化的脸图像，从而能够得到变化丰富的图像。

另外，在此处说明的技术中，在主流程图中说明的控制和功能，很多都能够通过程序来设定，通过由计算机读取并执行该程序，从而能够实现上述的控制和功能。关于该程序，作为计算机程序产品，能够在软盘、CD-ROM等非易失性存储器等便携介质、以及硬盘、易失性存储器等存储介质中，记录或存储其全体或一部分，能够在产品出厂时或通过便携介质或通信线路来流通或提供。利用者通过通信网络下载其程序并安装到计算机，或者从记录介质安装到计算机，从而能够容易实现本实施方式的图像合成设备。

以上参考附图说明了本发明的优选实施方式，然而对于本领域技术人员而言，能够理解本发明不限于上述描述的实施方式，能够在不脱离权利要求所记载的宗旨和范围的情况下进行变更和变形。

Claims (6)

1.一种图像合成设备，其包括：

获取部，其获取包含一个或多个人物像作为被摄体的图像；

判定部，其判定上述一个或多个人物像的形态；

裁剪部，其根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分；

合成部，其将进行上述切出得到的一个或多个图像与上述获取部所获取的图像进行合成以生成合成图像，所述合成图像中具有上述获取部所获取的图像中的一个或多个人物像，以及进行上述切出得到的一个或多个图像，

在上述合成图像中，上述切出得到的一个或多个图像被合成于合成区域，并且不重叠在上述获取部所获取的图像中的一个或多个人物像上，

当所述合成区域的尺寸能够显示多个进行上述切出得到的图像时，针对上述一个或多个人物像中的至少一个人物像，将所述多个进行上述切出得到的图像合成于所述合成区域，

其中，针对上述至少一个人物像，按照从表情级别高开始的顺序选择多个进行上述切出得到的图像。

2.一种图像合成设备，其包括：

获取部，其获取包含一个或多个人物像作为被摄体的图像；

判定部，其在每个预定的时间，计算上述一个或多个人物像的表情级别，并判定所计算的每个人物像的表情级别与上一次所计算的每个人物像的表情级别之间的级差是否超过阈值；

裁剪部，其在所述判定部判定所述级差超过阈值时，重新切出该一个或多个人物像的一部分，以替换原有的由所述裁剪部所切出的该一个或多个人物像的一部分；以及

合成部，其将进行上述重新切出得到的一个或多个图像与上述获取部所获取的图像进行合成以生成合成图像，所述合成图像中具有上述获取部所获取的图像中的一个或多个人物像，以及进行上述切出得到的一个或多个图像，

在上述合成图像中，上述切出得到的一个或多个图像不重叠在上述获取部所获取的图像中的一个或多个人物像上。

3.一种图像合成设备，其包括：

获取部，其获取包含一个或多个人物像作为被摄体的图像；

判定部，其判定上述一个或多个人物像的表情级别；

裁剪部，其根据上述一个或多个人物像的表情级别，切出该一个或多个人物像的一部分；以及

合成部，其在上述获取部所获取的图像中的一个或多个人物像的表情级别比进行上述切出得到的一个或多个图像的表情级别高的情况下，将在进行上述切出得到的一个或多个图像中表情级别最大的图像以外的图像与上述获取部所获取的图像进行合成以生成合成图像，

所述合成图像中具有上述获取部所获取的图像中的一个或多个人物像，以及上述表情级别最大的图像以外的图像，

在上述合成图像中，上述表情级别最大的图像以外的图像不重叠在上述获取部所获取的图像中的一个或多个人物像上。

4.一种图像合成方法，其包括：

获取包含一个或多个人物像作为被摄体的图像；

判定上述一个或多个人物像的形态；

根据上述一个或多个人物像的形态，切出该一个或多个人物像的一部分；

将进行上述切出得到的一个或多个图像与上述获取的图像进行合成以生成合成图像，所述合成图像中具有上述获取的图像中的一个或多个人物像，以及进行上述切出得到的一个或多个图像，

在上述合成图像中，上述切出得到的一个或多个图像被合成于合成区域，并且不重叠在上述获取的图像中的一个或多个人物像上；

当所述合成区域的尺寸能够显示多个进行上述切出得到的图像时，针对上述一个或多个人物像中的至少一个人物像，将所述多个进行上述切出得到的图像合成于所述合成区域，

其中，针对上述至少一个人物像，按照从表情级别高开始的顺序选择多个进行上述切出得到的图像。

5.一种图像合成方法，其包括：

获取包含一个或多个人物像作为被摄体的图像；

在每个预定的时间，计算上述一个或多个人物像的表情级别，并判定所计算的每个人物像的表情级别与上一次所计算的每个人物像的表情级别之间的级差是否超过阈值；

在所述判定部判定所述级差超过阈值时，重新切出该一个或多个人物像的一部分，以替换原有的由所述裁剪部所切出的该一个或多个人物像的一部分；以及

将进行上述重新切出得到的一个或多个图像与上述获取的图像进行合成以生成合成图像，所述合成图像中具有上述获取的图像中的一个或多个人物像，以及进行上述切出得到的一个或多个图像，

在上述合成图像中，上述切出得到的一个或多个图像不重叠在上述获取的图像中的一个或多个人物像上。

6.一种图像合成方法，其包括：

获取包含一个或多个人物像作为被摄体的图像；

判定上述一个或多个人物像的表情级别；

根据上述一个或多个人物像的表情级别，切出该一个或多个人物像的一部分；以及

在上述获取的图像中的一个或多个人物像的表情级别比进行上述切出得到的一个或多个图像的表情级别高的情况下，将在进行上述切出得到的一个或多个图像中表情级别最大的图像以外的图像与上述获取的图像进行合成以生成合成图像，

所述合成图像中具有上获取的图像中的一个或多个人物像，以及上述表情级别最大的图像以外的图像，

在上述合成图像中，上述表情级别最大的图像以外的图像不重叠在上述获取的图像中的一个或多个人物像上。