CN101945216B - 摄像装置和动态图像再现方法 - Google Patents

Abstract

本发明的目的是提供一种摄像装置和动态图像再现方法，其能获得欣赏动态图像的欣赏者容易感兴趣的动态图像。为此，当在TV(200)的显示部(202)中再现记录于数字照相机(100)的记录部(105)中的动态图像期间数字照相机(100)的工作模式是通信模式时，启动数字照相机(100)的摄像部(101)来取得动态图像的欣赏者的脸部图像，将所取得的脸部图像与正在再现的动态图像进行合成并显示在显示部(202)上。

Description

摄像装置和动态图像再现方法

技术领域

本发明涉及具有使用外部设备来再现动态图像的功能的摄像装置和这样的动态图像再现方法。

背景技术

近年来，数字照相机和便携电话机等具有各种摄像功能的便携设备已经能够进行动态图像摄影。然而，准确捕捉不进行规定运动的被摄体的运动来拍摄动态图像，这对于普通用户来说是较困难的。因此，对于普通用户，只能拍摄单调的动态图像。与此相对，对于内行人士制作的电视节目等，可以在通过多个摄像机频繁切换构图的同时进行摄影。因此，可以拍摄不单调的动态图像。然而，普通用户采取这种摄影方法是非常困难的。

摄影时即使是单调的动态图像，如果经过适当的编辑作业，也会成为值得欣赏的动态图像。近年来，提出了各种能对电视画面上再现的动态图像进行动态图像编辑的技术（例如参照日本专利第2822187号公报）。

在日本专利第2822187号公报等现有的动态图像编辑技术中，对于欣赏编辑后得到的动态图像的欣赏者的情况未作任何考虑，编辑后得到的动态图像对于欣赏者来说未必是感兴趣的动态图像。因此，动态图像的欣赏者很有可能感到无聊。

发明内容

本发明的目的是提供一种可获得欣赏动态图像的欣赏者容易感兴趣的动态图像的摄像装置和动态图像再现方法。

为了达到上述目的，本发明的第1方式的摄像装置，其特征在于，该摄像装置具有：摄像部，其取得动态图像；记录部，其记录由上述摄像部取得的动态图像；脸部检测部，其从上述摄像部获得的动态图像中检测出脸部；裁剪部，其从上述摄像部获得的动态图像中裁剪出上述脸部检测部检测到的脸部；以及合成部，其将在记录于上述记录部中的动态图像的再现时使上述摄像部工作而获得的动态图像与上述再现中的动态图像进行合成，上述合成部将使上述摄像部工作而获得的经裁剪后的脸部的动态图像合成在记录于上述记录部的动态图像的无对比的部分。

为了达到上述目的，本发明的第2方式的摄像装置，其特征在于，该摄像装置具有：摄像部，其取得图像；记录部，其记录由上述摄像部所取得的图像中的第1图像；脸部检测部，其从上述摄像部获得的动态图像中检测出脸部；裁剪部，其从上述摄像部获得的动态图像中裁剪出上述脸部检测部检测到的脸部；发送部，其将第3图像与上述再现中的第1图像进行合成并发送到外部，该第3图像基于在记录于上述记录部内的第1图像的再现时使上述摄像部工作而获得的图像即第2图像的一部分；以及接收部，其接收在该第3图像的表情或声音恢复的情况下，使上述第3图像在上述第1图像内的合成位置退避到正在再现的画面以外或者周边部的信号；其中，上述第3图像是上述经裁剪后的脸部的动态图像。

为了达到上述目的，本发明的第3方式的动态图像再现方法，其特征在于，所述方法包括以下步骤：取得动态图像，在再现上述所取得的动态图像时使摄像装置的摄像部工作，将使上述摄像部工作而获得的经裁剪后的脸部的动态图像与上述再现的动态图像进行合成，并且在使该摄像部工作而获得的经裁剪后的脸部的动态图像的表情或声音恢复的情况下，使上述合成的位置退避到正在再现的画面以外或者周边部。

附图说明

图1是示出具有作为本发明的一个实施方式的摄像装置的一例的数字照相机的动态图像再现系统的结构的图。

图2是示出动态图像再现系统使用时的情况的图。

图3是示出数字照相机的主工作的流程图的第1图。

图4A是表示动态图像的缩略图像的显示例。

图4B是用于选择动态图像的再现目的地的画面的显示例。

图4C是动态图像再现时的例子。

图4D是表示是在通信模式中的显示例。

图5是示出数字照相机的主工作的流程图的第2图。

图6A是示出脸部图像的合成例的图。

图6B是示出脸部图像的合成位置变更例的图。

图7是示出位置变更处理的流程图。

图8是示出数字照相机的主工作的流程图的第3图。

图9A是示出遥控器操作显示图像的第1显示例的图。

图9B是示出遥控器操作显示图像的第2显示例的图。

图10是示出外部再现结束处理的流程图。

图11是示出确认画面的显示例的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

图1是示出具有数字照相机（其作为本发明的一个实施方式的摄像装置的一例）的动态图像再现系统的结构的图。如图1所示，该动态图像再现系统构成为使数字照相机100和电视接收机（以下简称为TV）200经由通信电缆以自由通信的方式连接。

本实施方式的数字照相机100具有：摄像部101，脸部检测部102，显示部103，声音采集部104，记录部105，时钟部106，控制部107，操作部108，以及通信接口部109。另外，本实施方式中的数字照相机100至少具有以下工作模式：用于进行动态图像摄影的动态图像摄影模式，用于进行动态图像再现的动态图像再现模式，以及用于与TV200进行数据通信的通信模式。

摄像部101具有用于对未图示的被摄体像进行会聚的镜头、以及将由镜头所会聚的被摄体像转换成电信号的摄像元件等。该摄像部101对被摄体进行摄像，取得被摄体的静态图像。此外，通过连续地执行摄像部101的摄像，还能取得动态图像。

脸部检测部102检测通过摄像部101的摄像而获得的图像中的被摄体的脸部。由脸部检测部102检测出的脸部的信息例如可用于使构成摄像部101的镜头的焦点对准脸部位置的控制、以及使图像中的脸部的曝光合适的控制。另外，脸部检测部102中的脸部检测是例如通过检测图像中的脸部的特征量（眼和鼻的形状和位置关系等）来进行的。并且，本实施方式中的脸部检测部102还能检测脸部表情（特别是笑脸）。

显示部103显示由摄像部101取得的静态图像或动态图像。该显示部103是例如配设在数字照相机100背面的液晶显示器。

声音采集部104取得动态图像摄影时的数字照相机100周围的声音，将所取得的声音信号转换成电信号。

记录部105记录由摄像部101取得的静态图像或动态图像。该记录部105是例如可在数字照相机100上进行自由拆装的半导体存储卡。时钟部106对在摄像部101中进行静态图像摄影或动态图像摄影的日期时刻进行计时。由该时钟部106所计时的摄影日期时刻与由摄像部101所取得的静态图像或动态图像相关联地记录在记录部105中。

控制部107进行数字照相机100内部的各模块的控制（包括摄像部101的摄像工作的控制、显示部103的显示工作的控制、声音采集部104的工作控制等）。此外，控制部107还进行针对由摄像部101所获得的图像的图像处理、针对由声音采集部104所获得的声音的声音处理等各种数据处理。这里，本实施方式中的控制部107还具有作为合成部的功能。即，控制部107还进行这样的处理：将记录在记录部105中的动态图像与欣赏该动态图像的欣赏者的图像进行合成，并将欣赏者的声音与记录在记录部105中的动态图像关联起来。而且，控制部107还具有作为裁剪部的功能，对由摄像部101所获得的图像中的脸部图像（脸部图像）进行裁剪并提取。

操作部108是用于供用户进行数字照相机100的各种操作的操作部。识别操作部108的操作，控制部107执行与操作部108的操作对应的处理。另外，作为操作部108，例如包含有：用于设定数字照相机100的工作模式的操作部，用于指示数字照相机100的摄影执行/结束的操作部，用于进行各种选择工作的操作部等。

通信接口部109是用于在数字照相机100与TV200之间进行数据通信的接口。在本实施方式中，将HDMI（HighDefinitionMultimediaInterface，高清晰度多媒体接口）（注册商标）用作通信接口部109。然而，通信接口部109只要是适于动态图像传送的接口，就不作特别限定。并且，图1中示出了有线接口，但是也可以使用与红外线通信或电波通信等对应的无线接口。

作为本实施方式的外部设备的一例的TV200具有：广播接收部201，显示部202，网络通信部203，信息重叠部204，控制部205，遥控器信号接收部206，以及通信接口部207。

广播接收部201包含用于从未图示的电视台等接收电视广播的天线等。显示部202显示基于经由广播接收部201接收到的电视广播的动态图像。此外，本实施方式中的显示部202还能显示作为数字数据从数字照相机100传送来的动态图像。

网络通信部203是用于供TV200经由互联网与未图示的服务器等进行通信的接口。信息叠加部204使经由网络通信部203从未图示的服务器等获得的各种数据与显示在显示部202上的动态图像叠加。

控制部205进行包含显示部202的显示工作的控制和信息叠加部204的工作控制等的、TV200内部的各模块的控制。遥控器信号接收部206接收来自TV200的遥控器400的遥控器信号。识别由遥控器信号接收部206接收到的遥控器信号，控制部205执行与遥控器400的操作对应的处理。

通信接口部207是用于供TV200与数字照相机100之间进行数据通信的接口。该通信接口部207例如也是HDMI。

图2是示出本实施方式的动态图像再现系统使用时的情况的图。如图2所示，数字照相机100经由通信电缆300与TV200连接。在这样的状态下，欣赏者500可观看显示在TV200的显示部202中的动态图像202a。并且，欣赏者500通过操作遥控器400，能对TV200进行远程操作。

这里，在本实施方式中，在从数字照相机100经由通信电缆300传送的动态图像202a的再现期间，由数字照相机100的摄像部101取得欣赏者500的脸部图像，将欣赏者500的脸部图像202b与从数字照相机100传送的动态图像合成并显示在TV200的显示部202上。通过进行这样的显示，例如如图2所示，两位欣赏者500在欣赏动态图像202a时可在显示部202上确认彼此的反应，由此能使动态图像202a的欣赏气氛热烈。这样，即使未事先编辑实际再现的动态图像，也能对该动态图像赋予不是仅仅观看该动态图像的乐趣。也就是说，在本实施方式中，在TV200的显示部202上显示具有与犹如观看编辑过的图像相同的效果的图像。

以下，参照图3～图11说明图2所示的动态图像再现系统的工作详情。另外，本实施方式中的TV200只进行如下工作：显示从数字照相机100发送的动态图像；以及在操作了遥控器400的情况下，将表示遥控器400的操作内容的操作信号作为外部信号发送到数字照相机100。因此，在以下说明中对数字照相机100侧的工作进行特别说明。此外，本实施方式中的数字照相机100也能进行静态图像的摄影和再现，但是在以下说明中，对动态图像摄影和动态图像再现所涉及的工作进行特别说明。

在图3中，数字照相机100的控制部107首先判定数字照相机100的工作模式是否是动态图像摄影模式（步骤S101）。在步骤S101的判定中，在数字照相机100的工作模式是动态图像摄影模式的情况下，控制部107使摄像部101连续工作来进行图像的取入（步骤S102），将通过摄像部101的连续工作获得的动态图像实时显示在显示部103上（步骤S103）。在观看显示在该显示部103上的动态图像的同时，摄影者能决定摄影开始的时机和构图等。在显示部103上显示了动态图像之后，控制部107判定是否摄影者通过操作操作部108而进行了动态图像的摄影开始指示（步骤S104）。在步骤S104的判定中，在未进行动态图像的摄影开始指示的情况下，控制部107再次进行步骤S101的工作模式判定。并且，在步骤S104的判定中，在进行了动态图像的摄影开始指示的情况下，控制部107开始将经由摄像部101获得的动态图像和经由声音采集部104获得的声音记录到记录部105内（步骤S105）。这里，作为动态图像的记录方式，在本实施方式中，例如使用MotionJPEG方式。使用MotionJPEG的原因是因为以帧为单位编辑动态图像（具体为后述的脸部图像合成）较容易。当然，只要是允许合成时机的限定等预定条件的标准，就可以使用H.264等的帧间压缩处理。此外，假定经由摄像部101的动态图像记录和经由声音采集部104的声音记录是同时进行，使得彼此同步。

在动态图像的摄影开始后，控制部107判定是否摄影者通过操作操作部108而进行了动态图像的摄影结束指示（步骤S106）。在步骤S106的判定中，在未进行动态图像的摄影结束指示的情况下，处理回到步骤S105，控制部107继续动态图像的记录。并且，在步骤S106的判定中，在进行了动态图像的摄影结束指示的情况下，控制部107结束动态图像的记录。此时，控制部107将记录在记录部105中的动态图像与由时钟部106所记录的摄影日期时刻关联起来进行记录。在动态图像的记录结束后，控制部107进行步骤S101以后的处理。

并且，在步骤S101的判定中，在数字照相机100的工作模式不是动态图像摄影模式的情况下，控制部107判定数字照相机100的工作模式是否是动态图像再现模式（步骤S107）。在步骤S107的判定中，在数字照相机100的工作模式是动态图像再现模式的情况下，控制部107将表示记录在记录部105中的动态图像（还关联有声音）的缩略图像如图4A所示地显示在显示部103上（步骤S108）。另外，假定作为缩略图像进行显示的图像是各动态图像的代表图像。该代表图像例如是动态图像中的第一帧的图像或后述的附有索引的帧的图像。

在显示缩略图像之后，控制部107判定是否欣赏者通过操作操作部108而进行了动态图像的选择（步骤S109）。在步骤S109的判定中，在未进行动态图像的选择的情况下，控制部107继续显示缩略图像。并且，在步骤S109的判定中，在进行了动态图像的选择的情况下，控制部107将图4B所示的选择动态图像的再现目的地的画面显示在显示部103上。在图4B的例子中，“1.再现”表示动态图像的再现目的地是数字照相机100的显示部103，“2.TV”表示动态图像的再现目的地是TV200的显示部202。在显示图4B的画面之后，控制部107判定是否将动态图像显示在显示部103上，即动态图像的再现目的地是否是显示部103（步骤S110）。在步骤S110的判定中，在动态图像的再现目的地是显示部103的情况下，控制部107从记录部105中读出当前由欣赏者所选择的动态图像，如图4C所示，开始在显示部103上再现所读出的动态图像（步骤S111）。此时，如图4C所示，可以显示表示正在再现动态图像的消息。

在动态图像的再现开始后，控制部107判定是否用户通过操作操作部108而进行了要在显示部103上再现的动态图像的切换（步骤S112）。在步骤S112的判定中，在进行了动态图像的切换的情况下，控制部107结束动态图像的再现，之后进行要再现的动态图像的切换（步骤S113）。该切换是这样进行的，例如，每当操作了操作部108时，将要再现的动态图像切换为摄影日期时刻比当前正在再现的动态图像早的（或者晚的）动态图像。在动态图像切换后，控制部107对通过切换而选择的动态图像进行步骤S109以后的处理。

并且，在步骤S112的判定中，在未进行动态图像的切换的情况下，控制部107判定是否用户通过操作操作部108而指示了动态图像的再现结束（步骤S114）。在步骤S114的判定中，在未指示动态图像结束的情况下，控制部107进行步骤S109以后的处理。另一方面，在步骤S114的判定中，在进行了动态图像的结束操作的情况下，控制部107进行步骤S101以后的处理。

并且，在步骤S107的判定中，在数字照相机100的工作模式不是动态图像再现模式的情况下，控制部107执行图5所示的流程图的处理。该图5的处理是与通信模式对应的处理。具体情况将在后面叙述，但是在通信模式中，在TV200的显示部202上再现动态图像。然后，数字照相机100根据由欣赏者进行的遥控器400的操作，依照从TV200输入的外部信号进行工作。

在通信模式中，控制部107判定是否经由通信接口部109从TV200接收到外部信号（步骤S201）。在步骤S201的判定中，在未从TV200输入外部信号的情况下，处理返回至图3的步骤S101。并且，在步骤S201的判定中，在从TV200输入了外部信号的情况下，控制部107对所输入的外部信号进行识别（步骤S202）。然后，控制部107判定外部信号是否是表示脸部图像的合成命令的信号（步骤S203）。在步骤S203的判定中，在外部信号不是表示脸部图像的合成命令的信号的情况下，控制部107在当前摄像部101正在工作的情况下，停止摄像部101的工作（步骤S204）。具体情况将在后面叙述，但是在通信模式中，摄像部101在表示脸部图像的合成命令被输入的期间进行工作。在停止了摄像部101的工作之后，控制部107判定外部信号是否是表示动态图像的再现命令的信号（步骤S205）。在步骤S205的判定中，在外部信号是表示动态图像的再现命令的信号的情况下，控制部107将随后应发送的帧的图像发送到TV200（步骤S206）。另一方面，在步骤S206的判定中，在外部信号不是表示动态图像的再现命令的信号的情况下，控制部107在例如经过预定时间后进行外部再现结束处理（步骤S207）。关于该外部再现结束处理将在后面描述。在步骤S206或步骤S207中的处理结束后，控制部107进行图3的步骤S101以后的处理。

并且，在步骤S203的判定中，在外部信号是表示合成命令的信号的情况下，控制部107暂时停止正在再现的动态图像的再现，之后启动摄像部101，以帧为单位取得欣赏者的图像（步骤S208）。然后，控制部107利用脸部检测部102检测经由摄像部101获得的欣赏者的图像中的脸部，裁剪检测出的脸部图像，将所裁剪的脸部图像合成到在TV200的显示部202上正在再现的动态图像的显示框外。然后，控制部107例如将脸部图像暂时记录在记录部105中，以便以后能根据需要将欣赏者的脸部图像与当前正在再现的动态图像进行合成并保存（步骤S209）。这样，通过仅裁剪脸部图像，能节约记录部105的记录容量。此外，通过将合成范围限定为较窄的范围，连多余的背景等也不显示，能容易地看见欣赏者的表情。此时，可以使声音采集部104启动，同时取入声音，可根据需要监视声音变化，也可以如后所述，根据声音变化决定将脸部合成到正在再现的动态图像内的时机。当然，也可以指定脸部图像和声音中的任一方。

在再现画面外（或者正在再现的动态图像的周边部）对脸部图像进行合成显示处理以及暂时记录之后，控制部107进行位置变更处理（步骤S210）。参照图6A、图6B、图7来说明该位置变更处理。位置变更处理是这样的处理，如图6A和图6B所示，在再现显示于TV200的显示部202上的动态图像202a的预定位置处合成欣赏者的脸部图像202b，或者变更所合成的脸部图像202b的位置。此时，可以改变脸部的大小。

在图7中，控制部107判定位置变更处理中的处理模式是否是自动变更模式（步骤S301）。

在步骤S301的判定中，在处理模式是自动变更模式的情况下，控制部107根据在图5的步骤S209中记录至记录部105中的欣赏者的脸部图像，利用脸部检测部102检测欣赏者的脸部表情，判定检测出的脸部表情是否变化为例如笑脸（步骤S302）。该判定是例如通过判定检测出的脸部表情是否与表示笑脸的特征一致来进行的。在步骤S302的判定中，在欣赏者的脸部表情变化为笑脸的情况下，控制部107在随后发送到TV200的帧的图像中的无对比部（例如图6B所示的图像中的背景部），合成摄像中的脸部图像（步骤S303）。为了决定脸部图像在该正在再现的动态图像内的合成显示时机，除了使用表情的变化以外，还可以利用笑声或谈话声大小的变化。这是因为气氛热烈时的表情是大家所在乎的。在将脸部图像合成到正在再现的动态图像内时，控制部107将进行脸部图像合成的时机、此时的脸部图像、表示帧的位置的信息作为合成历史记录在记录部105中。此时，如上所述，也可以记录笑声或谈话声等声音。由此，随后可以了解欣赏者进行了何种反应。这样，将脸部图像适当合成到正在再现的动态图像中，因而可进行变化丰富的显示。即使是容易陷于单调的业余人士所拍摄的动态图像，有时也成了具有欣赏者的脸部图像进入到画面内这种效果的动态图像，可获得有变化的动态图像。这里，只有笑脸进入到了正在再现的动态图像内，但是，如果是看起来无聊的脸部进入的情况下，出于使单调的图像有变化的想法，也可以利用这种表情。

此外，如果始终保持脸部图像进入到正在再现的动态图像的状态，就会失去乐趣，因而在表情或声音的大小恢复的情况下，或者在有使用遥控器400的操作的情况下，使已经进入的脸部图像退避到正在再现的画面以外或者周边部。在数字照相机100中，为了实现这样的再现方式，虽然将正在再现的动态图像与脸部图像合成而显示在TV200上（使用HDMI发送），但是在该情况下，作为合成信息（历史），解除了合成。

并且，在脸部图像位于正在再现的动态图像的显示框外或者周边部的情况下，最好尽量显示地不显眼且小，因而也可以根据TV200的显示部202的画面尺寸来变更脸部图像的显示大小。如果是大画面的TV200，即使不使用宽的画面范围，也能确认出放映的脸部。

另外，还可以考虑动态图像的欣赏者是多人，在该情况下，不一定所有人的表情都变化为笑脸。在这种作为经由摄像部101得到的欣赏者图像存在多个脸部的情况下，例如仅将表情变化为笑脸的脸部图像进行合成。当然，也可以将所有人的脸部图像进行合成。也可以根据声音大小来决定这样的切换。如果是大的声音，则将所有人的脸部合成到再现图像中，如果是小的声音，则仅将笑脸的脸部合成到再现图像中等。此外，尽管为了简化说明而作了省略，然而在欣赏者的表情不再是笑脸的情况下，解除步骤S303的合成，使脸部图像退避到再现图像的画面外或者周边部。此外，也可以是没有时间变化的部分而取代无对比部。在人物是被摄体的情况下，如果是不隐藏人物脸部的位置，则其它位置也可以。

此外，在步骤S301的判定中，在处理模式不是自动变更模式的情况下，或者在步骤S302的判定中，在欣赏者的脸部表情未变化为笑脸的情况下，控制部107判定是否通过欣赏者操作遥控器400而输入了表示变更脸部图像的合成位置的意思的外部信号（步骤S304）。在步骤S304的判定中，在输入了表示变更脸部图像的合成位置的意思的外部信号的情况下，控制部107在随后发送到TV200的帧的图像中的、根据欣赏者操作遥控器400所指定的位置，将记录在记录部105内的脸部图像进行合成（步骤S305）。在脸部图像合成后，控制部107将表示进行了脸部图像合成的帧的位置的信息作为合成历史记录在记录部105内。

在步骤S303或步骤S305的合成后，控制部107对随后发送到TV200的帧的图像赋予索引信息（步骤S306）。通过这种做法，可以作为随后重新观看时的检索辅助。之后，控制部107将合成了脸部图像后的帧的图像发送到TV200（步骤S307）。之后，控制部107结束图7的处理。另外，在脸部图像的合成后，控制部107将表示进行了脸部图像合成的帧的位置的信息作为合成历史记录在记录部105中。

这样，在本实施方式中，通过自动或手动在动态图像中赋予索引信息，可自动或手动指定在动态图像的再现中被认为气氛热烈的点。由此，在下次欣赏时，容易确定动态图像中的气氛热烈的点。并且，特别是，当多人欣赏了动态图像时，也能看见当时各欣赏者的表情，能生成对欣赏者来说趣味更高的动态图像。

并且，在步骤S304的判定中，在未输入外部信号的情况下，控制部107在例如经过预定时间后，在随后发送到TV200的帧的图像中的主显示部以外的位置（例如图6A所示的动态图像202a的外部），将记录在记录部105中的脸部图像进行合成，将合成了脸部图像后的帧的图像发送到TV200（步骤S308）。

这里，再次回到图3的说明。在图3的步骤S110的判定中，在动态图像的再现目的地是TV200的显示部202的情况下，控制部107进行向图8所示的通信模式的转移处理。即，控制部107经由通信接口部109向TV200发送当前由欣赏者选择的动态图像的代表图像（例如，第一帧的图像或者赋予了索引信息的帧的图像）（步骤S401）。

在发送代表图像后，控制部107经由通信接口部109向TV200发送遥控器操作显示图像（步骤S402）。遥控器操作显示图像是图9A和图9B所示的、在将来自数字照相机100的动态图像显示在TV200的显示部202上时的、用于引导遥控器400的操作的显示图像202c。通过观看这样的遥控器操作显示图像202c，欣赏者容易理解，只要操作遥控器400的哪个按钮就能进行何种操作。

这里，图9A所示的遥控器操作显示图像202c是在代表图像的发送后显示在TV200的显示部202上的图像。在形成了图9A所示的遥控器操作显示图像202c时按下了遥控器400的再现按钮的情况下，从TV200向数字照相机100输入表示再现命令的信号。另一方面，在按下了遥控器400的摄像按钮的情况下，从TV200向数字照相机100输入表示合成命令的信号。此外，图9B所示的遥控器操作显示图像202c是在按下了遥控器400的摄像按钮之后显示在TV200的显示部202上的图像。在形成了图9B所示的遥控器操作显示图像202c时按下了遥控器400的再现按钮的情况下，从TV200向数字照相机100输入表示再现命令的信号。另一方面，在按下了遥控器400的位置变更按钮的情况下，显示在显示部202上的脸部图像202b的位置发生变更，并且从TV200向数字照相机100输入表示变更脸部图像202b的合成位置的意思的信号。

在发送遥控器操作显示图像202c后，控制部107关闭数字照相机100的显示部103的显示（步骤S403）。在关闭显示部103的显示之后，控制部107进行图1的步骤S101以后的处理。即，由于在通信模式中，记录于数字照相机100内的动态图像显示在TV200的显示部202上，因而认为欣赏者不会观看数字照相机100的显示部103。因此，为了实现节能，关闭显示部103的显示。在关闭显示部103的显示之后，控制部107使数字照相机100的工作模式转移到通信模式（步骤S404）。另外，可以不关闭显示部103的显示而进行表示处于图4D所示通信模式中的显示。

下面，参照图10和图11说明外部再现结束处理。在图10中，控制部107判定与结束再现的动态图像对应的合成历史是否被记录在记录部105中（步骤S501）。在步骤S501的判定中，在合成历史被记录在记录部105中的情况下，控制部107向TV200发送用于显示用来向欣赏者确认是否将合成了脸部图像后的动态图像记录在记录部105中的画面的图像（步骤S502）。图11是示出显示在TV200的显示部202上的确认画面的一例的图。在图11的例子中，将结束再现的动态图像的代表图像202a显示在显示部202上，并显示该外部再现结束处理中的用于引导欣赏者的遥控器400的操作的遥控器操作显示图像202c。

在发送用于显示图11所示的确认画面的图像后，控制部107判定是否欣赏者通过操作遥控器400而指示了保存动态图像（步骤S503）。在步骤S503的判定中，在指示了保存的情况下，根据合成历史确定在动态图像中进行了合成的帧，将记录在记录部105的脸部图像与所确定的帧的图像进行合成并记录在记录部105中（步骤S504）。通过再次记录合成了脸部图像后的动态图像，其它成员也可随后追加体验例如大家欣赏动态图像时的状况。例如，在使用数字照相机100拍摄了运动会的状况等的情况下，记录了该运动会状况的动态图像首先由父母孩子欣赏，如果将此时的动态图像送给祖父母等，则祖父母可以感受犹如参加了父母孩子团聚的体验。如上所述，在正在再现的动态图像内没有脸部图像的进入处理的情况下，在脸部图像处于正在再现的动态图像的画面外、或者如图6A所示处于周边部的情况下，认为没有合成历史。仅图6B所示的脸部图像进入场景为合成历史的对象。在该情况下，可以利用遥控器400变更脸部的大小。并且，当照原样显示了脸部时，由于也有人不愿意自己的脸部被观看，因而可以用阿凡达等其它脸部图像来代替显示。

这样，在本实施方式中，由于是记录了脸部图像的合成历史的形式，因而也能简单地将所记录的脸部图像置换为别的图像。

在步骤S501中合成历史未被记录于记录部105中的情况下，在步骤S503中未指示保存动态图像的情况下，或者在步骤S504之后，控制部107判定是否欣赏者通过操作遥控器400而指示了通信模式时的动态图像的再现结束（步骤S505）。在步骤S505的判定中，在指示了通信模式时的动态图像的再现结束的情况下，控制部107将数字照相机100的工作模式变更为再现模式（步骤S506）。之后，进行步骤S101以后的处理。另一方面，在步骤S505的判定中，在未指示通信模式时的动态图像的再现结束的情况下，控制部107判定是否欣赏者通过操作遥控器400而指示了重放（步骤S507）。在步骤S507的判定中，在未指示重放的情况下，控制部107进行步骤S505以后的处理。并且，在步骤S507的判定中，在指示了重放的情况下，控制部107执行图5的步骤S201以后的处理。

如以上说明那样，根据本实施方式，在将记录于数字照相机100的记录部105中的动态图像在TV200的显示部202上再现时，也能一并再现欣赏该动态图像的欣赏者的脸部图像。由此，可获得动态图像的欣赏者容易感兴趣的动态图像。并且，对于欣赏者的脸部表情变为笑脸而进行了脸部图像的合成后的帧、以及由欣赏者指定了脸部图像的合成位置的帧，通过对这些赋予索引信息，也能在后面的检索中确定动态图像中的重要场景。

而且，由于TV200中要再现的动态图像仅为通过数字照相机100选择的动态图像，因而记录在数字照相机100内的私人的动态图像不会意想不到地在TV200的显示部202上进行大画面显示。

这里，在上述实施方式中，将欣赏者的脸部图像与在TV200的显示部202上再现的动态图像进行合成。与此相对，本实施方式也能应用于将欣赏者的脸部图像与在数字照相机100的显示部103上再现的动态图像进行合成的情况。并且，可以使TV200具有用于拍摄欣赏者的脸部图像的摄像部。

并且，在上述实施方式中，以动态图像的帧为单位来合成脸部图像，因而只要使脸部图像的合成位置按各帧错开，就也能使脸部图像进行动画等。

而且，在上述实施方式中，将脸部图像与记录在数字照相机100中的动态图像进行合成并在TV200上进行再现，然而不限于此，本实施方式的方法能应用于具有动态图像摄影功能的各种便携设备。

并且，这里以对动态图像施加变化为前提进行了说明，但是，当然也能用于这样的用途：在TV200上显示静态图像的同时，合成再现中获得的脸部图像、或者基于脸部图像信息的阿凡达等的图像。由此，在观看大量静态图像的情况下，当场可以知道或者其它人可以知道哪个图像有人气等。

以上根据实施方式说明了本发明，然而本发明不限定于上述的实施方式，当然能在本发明的主旨的范围内进行各种变形和应用。

而且，在上述实施方式中包含各阶段的发明，通过将公开的多个构成要件适当组合，可提取各种发明。例如，即使从实施方式所示的全部构成要件中删除若干构成要件，也能解决上述问题，在获得上述效果的情况下，删除了该构成要件后的结构也能作为发明来提取。

Claims (10)

1.一种摄像装置，其特征在于，该摄像装置具有：

摄像部，其取得动态图像；

记录部，其记录由上述摄像部取得的动态图像；

脸部检测部，其从上述摄像部获得的动态图像中检测出多个脸部；

裁剪部，其从上述摄像部获得的动态图像中分别裁剪出上述脸部检测部检测到的多个脸部；以及

合成部，其将在记录于上述记录部中的动态图像的再现时使上述摄像部工作而获得的动态图像与上述再现的动态图像进行合成，

上述合成部将使上述摄像部工作而获得的经裁剪后的多个脸部的动态图像合成，其中，根据声音变化或表情变化决定将经裁剪后的多个脸部的动态图像合成到上述再现的动态图像内的时机。

2.根据权利要求1所述的摄像装置，其特征在于，上述合成部在上述摄像装置与再现记录于上述记录部的动态图像的外部设备连接时进行上述合成。

3.根据权利要求2所述的摄像装置，其特征在于，上述合成部在从上述外部设备输入了表示合成命令的信号时进行上述合成。

4.根据权利要求1至3中任一项所述的摄像装置，其特征在于，上述合成部将在上述再现时使上述摄像部工作而获得的动态图像中的与所限定的区域对应的动态图像，与上述再现中的动态图像进行合成。

5.根据权利要求1所述的摄像装置，其特征在于，上述记录部进一步记录由上述合成部进行了合成后的动态图像。

6.根据权利要求2所述的摄像装置，其特征在于，上述记录部进一步记录由上述合成部进行了合成后的动态图像。

7.根据权利要求3所述的摄像装置，其特征在于，上述记录部进一步记录由上述合成部进行了合成后的动态图像。

8.根据权利要求4所述的摄像装置，其特征在于，上述记录部进一步记录由上述合成部进行了合成后的动态图像。

9.一种摄像装置，其特征在于，该摄像装置具有：

摄像部，其取得图像；

记录部，其记录由上述摄像部所取得的图像中的第1图像；

脸部检测部，其从上述摄像部获得的动态图像中检测出脸部；

裁剪部，其从上述摄像部获得的动态图像中裁剪出上述脸部检测部检测到的脸部；

发送部，其将第3图像与上述再现的第1图像进行合成并发送到外部，该第3图像基于在记录于上述记录部中的第1图像的再现时使上述摄像部工作而获得的图像即第2图像的一部分；以及

接收部，其接收在该第3图像的表情或声音恢复的情况下，使上述第3图像在上述第1图像内的合成位置退避到正在再现的画面以外或者周边部的信号；

其中，上述第3图像是上述经裁剪后的脸部的动态图像。

10.一种动态图像再现方法，其特征在于，所述方法包括以下步骤：

取得动态图像，

在再现上述取得的动态图像时使摄像装置的摄像部工作，

将使上述摄像部工作而获得的经裁剪后的脸部的动态图像与上述再现的动态图像进行合成，并且在使该摄像部工作而获得的经裁剪后的脸部的动态图像的表情或声音恢复的情况下，使上述合成的位置退避到正在再现的画面以外或者周边部。