CN102469263A - 拍摄装置及图像合成方法 - Google Patents

Abstract

本发明提供一种拍摄装置及图像合成方法。在数码相机(1)中，在指示了合成摄影模式之后马上由一位摄影者拍摄被摄影者(多人)的摄影图像(a)。接着，将数码相机传递给被摄影者的其中一位，拍摄之前的摄影者一人的摄影图像(b)。而且，在满足规定的合成条件的情况下，将连续拍摄到的两张摄影图像(a、b)的其中一方包含的面部图像合成在另一摄影图像，以制作新的合成图像(c)。由此，可以容易地合成多人全部被拍摄的集体照片。

Description

拍摄装置及图像合成方法

技术领域

本发明的实施方式涉及对集体照片进行拍摄时优选的拍摄装置及图像合成方法。

背景技术

一直以来，在多人的集体照片中，若多人中的一人作为摄影者进行摄影，则集体照片中不会拍摄到摄影者，因此需要委托第三人或将照相机固定在三脚架上，使用自拍器进行摄影。

然而，在没有第三人的情况下或者没有三脚架的情况下，虽然可以将照相机放置在任何物体的上表面上进行自拍器摄影，但是根据设置场所的不同，有时会难易设定视场角。再有，在自拍器摄影中，按照除了摄影者以外的被摄影者进入摄影视野的方式设定视场角后按下快门按钮，然后摄影者尽快作为被摄影者进入摄影视野。此时，根据摄影者所进入的位置的不同，摄影者有时会从设定视场角脱离，或者被摄影者整体的位置改变而无法收敛在设定视场角内。

因此，提出一种技术，即：首先对除了摄影者以外的被摄影者进行摄影，然后对摄影者进行摄影，适当地合成两张摄影图像，由此生成拍摄了多个人全员的集体照片(例如参照日本国特开2005-94741号公报)。

在该现有技术中，设想在主体的正面与背面双方均具备拍摄部的移动电话，从用第一照相机部拍摄到的摄影者侧的图像数据中检测摄影者的面部区域，从用第二照相机部拍摄到的被摄影者侧的图像中判别被摄影者的区域和未包含被摄影者的区域，基于该判别结果，在未包含被摄影者的区域内合成所检测出的摄影者的面部区域。

在上述现有技术中，通过利用第一照相机部与第二照相机部对摄影者和被摄影者进行一次摄影，从而可以减轻摄影所需的劳力或时间，但是在设想了一般的数码相机等的情况下，存在以下问题：具备两个摄影部、尤其是仅为了拍摄集体照片就设置两个摄影部的方法会导致成本上升，并且是没有效率的。

发明内容

本发明的实施方式的目的在于：可以容易地对包含摄影者在内的多人的集体照片进行摄影的拍摄装置及图像合成方法。

根据本发明的第一侧面，拍摄装置包括：对被摄体进行拍摄的拍摄部；指示两张摄影图像的合成的指示部；第一指定部，其将所述指示部进行指示之后由所述拍摄部最先拍摄的摄影图像或者在所述指示部进行指示之前由所述拍摄部最后拍摄的摄影图像指定为第一摄影图像；第二指定部，其指定和所述第一摄影图像具有规定关系的第二摄影图像；面部图像提取部，其从包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像中的一张摄影图像提取面部图像；和合成部，其将由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

根据本发明的第二侧面，所述第二指定部也可以将在所述第一摄影图像的摄影之前或之后由自己的拍摄装置连续拍摄到的摄影图像指定为所述第二摄影图像。

根据本发明的第三侧面，所述第二指定部也可以将在所述第一摄影图像的摄影之前或之后由其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像，该拍摄装置还包括将由所述自己的拍摄装置拍摄到的所述第一摄影图像传输到所述其他拍摄装置的传输部，在所述第一摄影图像的传输目的地的所述其他拍摄装置上对包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像进行合成。

根据本发明的第四侧面，所述其他拍摄装置也可以是存在于该拍摄装置周围的拍摄装置，该拍摄装置还包括催促所述其他拍摄装置进行协调摄影的协调摄影催促部，所述第二指定部将响应所述协调摄影催促部催促协调摄影而由所述其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像。

根据本发明的第五侧面，所述面部图像提取部也可以从由所述拍摄部拍摄到的所述第一摄影图像中提取面部图像，所述传输部将由所述面部图像提取部提取出的面部图像发送到所述其他拍摄装置。

根据本发明的第六侧面，所述面部图像提取部也可以从由所述拍摄部拍摄到的所述第一摄影图像中提取面部图像，所述传输部将由所述面部图像提取部提取出的面部图像发送到所述其他拍摄装置。

根据本发明的第七侧面，所述指示部可以根据从周围存在的其他拍摄装置接收到的所述协调摄影的催促，指示所述两张摄影图像的合成，所述第一指定部在从周围存在的其他拍摄装置接收到所述协调摄影的催促之后，将用自己的拍摄装置拍摄到的摄影图像指定为所述第一摄影图像，将由催促了协调摄影的其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像。

根据本发明的第八侧面，所述面部图像提取部在从周围存在的其他拍摄装置接收到所述协调摄影的催促的情况下判断为进行过指示合成所述两张摄影图像的指示操作，从由所述自己的拍摄装置拍摄到的所述第一摄影图像与由所述其他拍摄装置拍摄到的所述第二摄影图像的两张摄影图像内的一张摄影图像中提取面部图像，所述合成部将由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

根据本发明的第九侧面，该拍摄装置还包括在所述合成部进行图像合成之前判断是否满足规定的合成条件的判断部，所述合成部在所述判断部判断为满足了规定的合成条件的情况下，将由所述面部图像提取部提取出的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

根据本发明的第十侧面，所述规定的合成条件是：在所述一张摄影图像内有规定尺寸以上的1个面部且在所述另一摄影图像内存在规定尺寸以上的多个面部的情况。

根据本发明的第十一侧面，所述规定的合成条件是：由所述两张摄影图像各自检测出的面部的人物构成不同的情况。

根据本发明的第十二侧面，所述合成部在所述两张摄影图像的背景相同的情况下，按照维持每张摄影图像中的背景与人物的位置关系的方式，将所述一张摄影图像的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

根据本发明的第十三侧面，该拍摄装置还包括对所述两张摄影图像中所包含的面部图像的个数进行比较的比较部，所述面部图像提取部基于所述比较部的比较结果，从面部图像的个数较少的摄影图像中提取面部图像，所述合成部将由所述面部图像提取部提取出的面部图像合成在所述面部的个数较多的摄影图像的未包含面部图像的区域。

根据本发明的第十四侧面，该拍摄装置还包括将由所述指定部指定的两张摄影图像对应后进行存储的存储部。

根据本发明的第十五侧面，一种图像合成方法，是具备对被摄体进行拍摄的拍摄部的拍摄装置中的图像合成方法，其中，该方法包括以下步骤：指示两张摄影图像的合成；将进行所述指示之后由所述拍摄部最先拍摄的摄影图像或者在所述指示之前由所述拍摄部最后拍摄的摄影图像指定为第一摄影图像；指定和所述第一摄影图像具有规定关系的第二摄影图像；从包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像中的一张摄影图像提取面部图像；和将所述提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

(发明的效果)

根据本实施方式，能够获得可以容易地拍摄包含摄影者在内的多人的集体照片的效果。

附图说明

图1是表示本发明第一实施方式涉及的数码相机的构成的框图。

图2是表示用本第一实施方式涉及的数码相机拍摄集体照片时的基本流程的概念图。

图3是用于说明本第一实施方式涉及的数码相机的动作的流程图。

图4是在本第一实施方式涉及的数码相机的动作中表示合成条件例的流程图。

图5是在本第一实施方式涉及的数码相机的动作中表示合成条件例的流程图。

图6是用于说明本第一实施方式涉及的、上述步骤S26中的一张摄影图像的面部检测&另一摄影图像的嵌入位置确定处理的流程图。

图7是表示在本第一实施方式中用于确定摄影图像a的插入位置的一动作例的概念图。

图8是表示在本第一实施方式中用于确定摄影图像a的插入位置的一动作例的概念图。

图9是用于说明本第二实施方式涉及的数码相机的动作的流程图。

图10是用于说明本第三实施方式涉及的、一张摄影图像的面部检测&另一摄影图像的嵌入位置确定处理的流程图。

图11是表示本发明第四实施方式涉及的数码相机的构成的框图。

图12是表示用本第四实施方式涉及的数码相机拍摄集体照片时的基本流程的概念图。

图13是用于说明本第四实施方式涉及的数码相机的动作的流程图。

图14是用于说明本第四实施方式涉及的数码相机1-1、1-2的动作的次序图。

具体实施方式

以下参照附图，对本发明的实施方式进行说明。

A.第一实施方式

图1是表示本发明的第一实施方式涉及的数码相机的构成的框图。在图1中，数码相机1包括拍摄透镜2、透镜驱动部3、光圈兼用快门4、CCD5、TG(Timing Generator)6、单元电路7、图像处理部8、CPU11、DRAM12、存储器13、闪存14、图像显示部15、按键输入部16、卡I/F17以及存储卡18。

拍摄透镜2包括聚焦透镜、变焦透镜等，并且连接着透镜驱动部3。透镜驱动部3由沿着光轴方向分别驱动构成拍摄透镜2的聚焦透镜、变焦透镜的电动机；以及根据来自CPU11的控制信号来驱动聚焦电动机、变焦电动机的聚焦电动机驱动器、变焦电动机驱动器构成。

光圈4包含未图示的驱动电路，驱动电路根据从CPU11发送来的控制信号使光圈4工作。该光圈4控制从拍摄透镜2进入的光的量。CCD(拍摄元件)5将通过拍摄透镜2、光圈4而被投影的被摄体的光变换为电信号，作为拍摄信号输出到单元电路7。再有，根据由TG6生成的规定频率的定时信号来驱动CCD5。

单元电路(CDS/AGC/AD)7由对从CCD5输出的拍摄信号进行相关二重取样后进行保持的CDS(Correlated Double Sampling)电路、进行该取样后的拍摄信号的自动增益调整的AGC(Automatic Gain Control)电路、以及将该自动增益调整后的模拟拍摄信号转换为数字信号的A/D转换器构成。CCD5的拍摄信号经过单元电路7而被作为数字信号发送到图像处理部8。其中，根据由TG6生成的规定频率的定时信号来驱动单元电路7。

图像处理部8进行从单元电路7发送来的图像数据的图像处理(像素插补处理、γ补偿、亮度色差信号的生成、白平衡处理、曝光补偿处理等)、图像数据的压缩/解压缩(例如JPEG格式或M-JPEG格式或MPEG格式的压缩/解压缩)处理、合成摄影图像等的处理等。其中，根据由TG6生成的规定频率的定时信号来驱动图像处理部8。

CPU11是控制数码相机1的各部的单芯片微型计算机。尤其是，在本第一实施方式中，CPU11进行在一定时间内摄影的两张摄影图像的被摄体的面部识别、面部位置推测、一张摄影图像的面部部分(或者被摄体全身)向另一摄影图像的合成。另外，关于图像合成的详细内容将在后面叙述。

DRAM12被用作在由CCD5进行了拍摄之后暂时存储从CPU11发送来的图像数据的缓冲存储器，并且被用作CPU11的工作存储器。存储器13预先存储有CPU11进行数码相机1的各部的控制所需的程序以及各部的控制所需的数据，CPU11依据该程序进行处理。闪存14或存储卡18是预先保存由CCD5拍摄的图像数据、合成图像数据等的记录介质。

图像显示部15包含彩色LCD及其驱动电路，在数码相机1处于拍摄待机状态时，将由CCD5拍摄的被摄体作为直通图像来显示，在记录图像的再生时，从闪存14或存储卡18中读出，显示解压缩后的记录图像。按键输入部16包含快门SW、变焦SW、模式按键、SET按键、十字按键等多个操作按键，向CPU11输出与用户的按键操作相应的操作信号。经由数码相机1主体的未图示的卡槽，将存储卡18装卸自由地安装在卡I/F17中。

CPU11依据存储器13所存储的程序执行各种处理。

其中，这些处理可以通过由CPU11执行存储器13所存储的程序来进行，但是也可以设置专用的处理电路(处理部)，利用这些专用的处理电路(处理部)进行处理。

也就是说，数码相机1包括：

对被摄体进行拍摄的拍摄部；

指示两张摄影图像的合成的指示部；

第一指定部，其将所述指示部进行指示之后由所述拍摄部最先拍摄的摄影图像或者在所述指示部进行指示之前由所述拍摄部最后拍摄的摄影图像指定为第一摄影图像；

第二指定部，其指定和由所述第一指定部指定的摄影图像具有规定关系的第二摄影图像；

面部图像提取部，其从包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像中的一张摄影图像提取面部图像；和

合成部，其将由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

再有，所述第二指定部能将在所述第一摄影图像的摄影之前或之后由自己的数码相机1连续拍摄到的摄影图像指定为所述第二摄影图像。

所述第二指定部将在所述第一摄影图像的摄影之前或之后由其他数码相机拍摄到的摄影图像指定为所述第二摄影图像，

数码相机1还包括将由所述自己的数码相机拍摄到的所述第一摄影图像传输到所述其他数码相机的传输部，

能在传输目的地的所述其他数码相机上对包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像进行合成。

数码相机1还包括催促周围存在的其他数码相机进行协调摄影的协调摄影催促部，

所述第二指定部能将响应所述协调摄影催促部催促协调摄影而由所述其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像。

所述面部图像提取部从由所述拍摄部拍摄到的所述第一摄影图像中提取面部图像，

所述传输部将由所述面部图像提取部提取出的面部图像发送到所述其他数码相机。

所述指示部将从周围存在的其他拍摄装置接收到的所述协调摄影的催促作为所述两张摄影图像的合成指示，

所述第一指定部在从周围存在的其他拍摄装置接收到所述协调摄影的催促之后，将用自己的数码相机拍摄到的摄影图像指定为所述第一摄影图像，将由催促了协调摄影之后的其他数码相机拍摄到的摄影图像指定为所述第二摄影图像。

所述面部图像提取部在从周围存在的其他数码相机接收到所述协调摄影的催促的情况下，判断为进行过指示合成所述两张摄影图像的指示操作，从包括由所述自己的数码相机拍摄到的所述第一摄影图像与由所述其他数码相机拍摄到的所述第二摄影图像的两张摄影图像内的一张摄影图像中提取面部图像，

所述合成部对由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

数码相机1还包括在所述合成部进行图像合成之前判断是否满足规定的合成条件的判断部，

所述合成部在所述判断部判断为满足了规定的合成条件的情况下，将所述面部图像提取部提取出的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

所述规定的合成条件是指：所述一张摄影图像内有规定尺寸的1个面部且所述另一摄影图像内存在规定尺寸以上的多个面部的情况。

所述规定的合成条件是指在所述两张摄影图像中分别检测出的面部的人物构成不同的情况。

所述合成部在所述两张摄影图像的背景相同的情况下，按照维持每张摄影图像的背景与人物的位置关系的方式，将所述一张摄影图像的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

数码相机1还包括对所述两张摄影图像所包含的面部图像的个数进行比较的比较部，

所述面部图像提取部基于所述比较部的比较结果，从面部图像的个数较少的摄影图像中提取面部图像，

所述合成部将由所述面部图像提取部提取出的面部图像合成在所述面部的个数较多的摄影图像的未包含面部图像的区域。

数码相机1还包括将由所述指定部指定的两张摄影图像对应后进行存储的存储部。

图2(a)～(c)是表示用本第一实施方式涉及的数码相机拍摄集体照片时的基本流程的概念图。首先，如图2(a)所示，在指示了合成摄影模式之后马上通过一位摄影者的用户操作(按下快门按钮)来拍摄其他被摄影者的(多位)的摄影图像a，接着如图2(b)所示，将数码相机1传递给其他被摄影者的其中一位，通过用户操作来拍摄之前的那位摄影者一人的摄影图像b。而且，若符合规定的合成条件(后述)，则根据在照相机的传递所需的规定时间内连续进行的用户操作，如图2(c)所示那样，将连续拍摄到的两张摄影图像a、b的任一方所包含的面部图像合成在另一方，以生成新的合成图像c。由此，可以容易地合成拍摄了多人全员的集体照片。

其中，所谓上述的规定时间是指：在拍摄了摄影图像a之后，将数码相机1传递给其他被摄影者中的其中一位，由该其他被摄影者的一位拍摄摄影图像b为止的时间，例如设定3秒～30秒左右的范围。因此，虽然可以单单将连续拍摄到的两张摄影图像作为合成处理的对象，但是在将摄影间隔的上限或下限预先设定为上述规定时间，摄影间隔没达到该规定时间(下限)的情况下，或者在该规定时间内(上限)没有进行下一次摄影的情况下，也可以对最先的摄影图像a与通常摄影同样地进行处理，而不进行该合成处理。换言之，可以将规定时间内连续拍摄到的两张摄影图像指定为应该合成的两张摄影图像。

再有，在符合合成条件并进行合成处理的情况下，或者在不进行合成后处理的情况下，均在指示了上述合成摄影模式之后马上根据规定时间内连续进行的用户操作，判断为连续拍摄到的摄影图像a与摄影图像b具有关联性，对摄影图像a与摄影图像b建立关联。在此，作为摄影图像的建立关联的方法，有对数据附加tag的方法等。例如在拍摄了集体照片之后，通过由该摄影者进行自拍，从而这两张摄影图像可以建立关联，因此拍摄了照片的人也能在之后容易地确认此时此景自己在场。

图3是用于说明本第一实施方式涉及的数码相机的动作的流程图。首先，通过用户操作输入摄影模式(步骤S10)。接着，判断所输入的摄影模式是否为合成摄影模式(步骤S12)，若不是合成摄影模式，则判断为是其他摄影模式、例如通常的摄影，执行通常的摄影处理(步骤S14)。然后，结束该处理(或者返回到步骤S10)。

另一方面，在所输入的摄影模式为合成摄影模式的情况下，根据摄影者的用户操作，利用数码相机1拍摄摄影图像a(步骤S16)。接下来，进行摄影图像a的面部识别，并且基于该面部识别结果，在摄影图像a内推测面部存在的位置(步骤S18)。接着，根据摄影者的用户操作，拍摄摄影图像b(步骤S20)，进行摄影图像b的面部识别，并且基于该面部识别结果，在摄影图像b内推测面部存在的位置(步骤S22)。也就是说，可以将上述摄影图像a、b指定为连续拍摄到的应合成的两张摄影图像。

接下来，判断是否符合合成条件(步骤S24)。作为合成条件是指：如图4所示那样，是否在一张摄影图像(例如摄影图像b)内有规定尺寸以上的1个面部且在另一摄影图像(例如摄影图像a)内有规定尺寸以上的多个面部(步骤S24a)；或者如图5所示那样，从两张摄影图像a、b各自检测出的面部的人物构成是否不同(步骤S24b)。通过设定这种合成条件，从而可以不进行无用的合成处理就行，无用的合成处理是指：对没有面部图像的摄影图像进行合成，或者对人物构成相同的摄影图像进行合成等。

而且，在符合合成条件的情况下，检测一张摄影图像(例如摄影图像b)的面部部分，并且确定用于合成该面部部分的、另一摄影图像(例如摄影图像a)的嵌入位置(步骤S26)。其中，关于该步骤S26中的一张摄影图像的面部部分检测&另一摄影图像的嵌入位置确定处理的详细内容将在后面叙述。

接着，将一张摄影图像(例如摄影图像b)的面部部分合成在另一摄影图像(例如摄影图像a)的嵌入位置，生成一张新的合成图像c并进行保存(步骤S28)。接下来，对摄影图像a与摄影图像b建立关联(步骤S30)。然后，结束该处理(或者返回到步骤S10)。

另一方面，在步骤S20中，在不符合合成条件的情况下不进行合成处理，在步骤S30中，对摄影图像a与摄影图像b建立关联。然后，结束该处理(或者返回到步骤S10)。

图6是用于说明本第一实施方式涉及的、上述步骤S26中的一张摄影图像的面部检测&另一摄影图像的嵌入位置确定处理的流程图。另外，图7、图8是表示用于确定摄影图像a的插入位置的一动作例的概念图。其中，在以下的内容中将一张摄影图像作为摄影图像a、将另一摄影图像作为摄影图像b而进行说明。

首先，读取预先设定的设定内容(步骤S40)。设定内容例如在将摄影图像b的面部图像嵌入到摄影图像a时，因为若将该嵌入的面部图像紧靠端部放置，则看起来不美观，所以指定将摄影图像b的面部部分图像不能嵌入到摄影图像a内的左右上下的端部的范围(作为例子，图7所示的值a或b相当于这种情况)或者设定嵌入图像的最大纵横像点数、相对于摄影图像a的最大比等。

接着，基于在摄影图像b中识别出的面部部分，确定插入用面部范围(步骤S42)。图7所示的斜线部分相当于插入用面部范围。接下来，基于设定内容，为了使该部分适合摄影图像a的面部的大小而放大、缩小到适当的大小(x，y)，作为摄影图像b的插入用面部图像来生成(步骤S44)。接着，在摄影图像a中使上述摄影图像b的插入用面部图像重合，提取用于添加从摄影图像b获取的(摄影者的)插入用面部图像的能插入位置(步骤S46)。

接下来，如图7所示，首先在摄影图像a的左上方放置插入用面部图像，在放置了插入用面部图像的范围内若不存在摄影图像a的面部图像(或者已经重叠的插入用面部图像)，则向下方偏移，再从右向左移动，将最初摄影图像a的面部图像(或者已经重叠的插入用面部图像)所存在的位置之前的位置(未重叠的位置)确定为摄影图像a中的摄影图像b的插入用面部图像的插入位置(步骤S48)。

例如，如图8所示，若摄影图像a中存在人物A、B、C，则摄影图像b的插入用面部图像是将摄影图像a的与人物A、B、C(的面部图像)不重叠的位置确定为插入位置的。此时，因为在摄影图像a上确定了摄影图像b的插入用面部图像的插入位置，所以摄影图像a中的能插入位置是除了所确定的插入位置以外的区域。

接下来，判断摄影图像b的全部面部图像是否全部插入完毕(步骤S50)，还有在存在未插入的面部图像的情况下，返回到步骤S46，重复上述的处理，由此在上述摄影图像a中的能插入位置上确定摄影图像b的插入用面部图像的插入位置。当然，可以按照插入用面部图像与摄影图像a的面部图像不重叠或被插入的插入用面部图像彼此之间不重叠的方式来确定插入位置。

根据上述的实施方式，在进行了指示合成两张摄影图像的指示操作的情况下，根据1台数码相机中不同的定时、即规定时间内连续进行的用户操作(按下快门按钮)，指定连续拍摄到的两张摄影图像，通过对该指定的两张摄影图像进行合成，从而可以容易地拍摄包含摄影者在内的多人的集体照片。

再有，在一张摄影图像内可检测的规定尺寸以上的面部为多个且在另一摄影图像内可检测的规定尺寸以上的面部为一个的情况下，指定根据1台数码相机中不同的定时、即规定时间内连续进行的用户操作(按下快门按钮)而拍摄到的两张摄影图像，通过对该指定的两张摄影图像进行合成，从而可以更可靠且更容易地拍摄包含摄影者在内的多人的集体照片。

还有，在两张摄影图像中各自可检测的面部的人物构成不同的情况下，指定根据1台数码相机中不同的定时、即规定时间内连续进行的用户操作(按下快门按钮)而拍摄到的两张摄影图像，通过对该指定的两张摄影图像进行合成，从而不会合成两张摄影图像中重复的人物，因此可以无浪费且容易地拍摄包含摄影者在内的多人的集体照片。

B.第二实施方式

接下来，对本发明的第二实施方式进行说明。

在本第二实施方式中，设想在旅行等中想以相同风景(山或海等或者建筑物等)为背景来拍摄集体照片的情况。因此，在本第二实施方式中，其特征在于：在根据规定时间内连续进行的用户操作而拍摄到的摄影图像a、b的背景相同的情况下，按照维持各摄影图像a、b中的背景与人物的位置关系的方式，确定一张摄影图像的插入用面部图像向另一摄影图像插入的插入位置，在摄影图像a、b的背景不同的情况下，与上述的第一实施方式同样地按照面部不重叠的方式确定一张摄影图像的插入用面部图像向另一摄影图像插入的插入位置。其中，数码相机1的构成与图1同样，因此省略说明。

图9是用于说明本第二实施方式涉及的数码相机的动作的流程图。其中，对与图3对应的部分赋予相同的步骤。与图3在步骤S24c、步骤S26a、S26b有所不同。

与上述的第一实施方式同样，在步骤S10-S22中，作为摄影模式而输入了合成摄影模式之后马上推测根据在规定时间内连续进行的用户操作而拍摄的摄影图像a、b的面部识别&面部位置，然后判断摄影图像a、b的背景是否相同(步骤S24c)。也就是说，上述摄影图像a、b被指定为连续拍摄到的两张摄影图像。而且，在摄影图像a、b的背景相同的情况下，按照维持摄影图像a、b各自的背景与人物的位置关系的方式，确定一张摄影图像的插入用面部图像向另一摄影图像插入的插入位置(步骤S26a)。

另外，在摄影图像a、b的背景不同的情况下，与上述的第一实施方式同样，仅按照面部不会重叠的方式确定一张摄影图像的插入用面部图像向另一摄影图像插入的插入位置(步骤S26b)。

以下，与上述的第一实施方式同样，在步骤S28中将一张摄影图像(例如摄影图像b)的面部部分合成在另一摄影图像(例如摄影图像a)的嵌入位置，生成一个合成图像c并进行保存，在步骤S30中将摄影图像a与摄影图像b建立关联后结束该处理(或者返回到步骤S10)。

其中，虽然简单地说明了图9所示的步骤S24c、步骤S26a、S26b，但是对于插入位置的确定方法而言，基本上都遵循上述的图6所示的流程图。

根据上述第二实施方式，在根据不同定时、即规定时间内连续进行的用户操作而拍摄到的两张摄影图像具有相同的背景的情况下，通过在维持背景与人物的位置关系的同时进行合成，从而可以在维持背景与人物的位置关系的同时很容易地在相同的背景上拍摄包含摄影者在内的多人的集体照片。

C.第三实施方式

接着对本发明的第三实施方式进行说明。

在本第三实施方式中，其特征在于：检测摄影图像a、b各自所包含的面部的个数，从面部的个数较少的摄影图像中切取面部图像，然后合成在面部的个数较多的摄影图像中。由此，能够减轻面部图像的切取、合成的处理。其中，数码相机1的构成与图1相同，因此省略说明。再有，主处理和第一实施方式(图3)或第二实施方式(图9)相同，因此省略说明。

图10是用于说明本第三实施方式涉及的、一张摄影图像的面部部分检测&另一摄影图像的嵌入位置确定处理的流程图。首先，读取预先设定的设定内容(步骤S60)。设定内容中预先指定了上下左右的端部的不能嵌入的范围、或者设定嵌入图像的最大纵横像点数、相对于被合成侧的摄影图像的最大比等。

接着，检测摄影图像a中所包含的已经被识别出的面部的个数(步骤S62)，检测摄影图像b中所包含的已经被识别出的面部的个数(步骤S64)。接下来，从面部的个数较少的摄影图像中确定插入用面部范围(步骤S66)，制作面部的个数较少的摄影图像的插入用面部图像(步骤S68)。此时，为了符合面部个数较多的摄影图像的面部的大小，也可以基于设定内容将该插入用面部图像放大、缩小到适当的大小。然后，在面部的个数较多的摄影图像上使上述插入用面部图像重合，提取用于合成插入用面部图像的能插入位置(步骤S70)。

接着，将插入用面部图像放置在面部个数较多的摄影图像的左上部，若在放置了插入用面部图像的范围内不存在面部个数较多的摄影图像的面部图像(或者已经重叠的插入用面部图像)，则向下方偏移，再使其从右向左移动，将在面部个数较多的摄影图像的面部图像(或者已经重叠的插入用面部图像)最初所存在的位置之前的位置(未重合的位置)确定为面部个数较少的摄影图像的插入用面部图像在面部个数较多的摄影图像中的插入位置(步骤S72)。

接下来，判断面部个数较少的摄影图像的面部图像是否全部插入完毕(步骤S74)，在存在还未插入的面部图像的情况下处理流程返回到步骤S70，重复上述的处理，由此在上述面部个数较多的摄影图像中的能插入位置上确定了面部个数较少的摄影图像的插入用面部图像的插入位置。当然是按照插入用面部图像和摄影图像a的面部图像不重叠、或者被插入的插入用面部图像彼此之间不会重叠的方式来确定插入位置。

根据上述的第三实施方式，因为检测两张摄影图像各自所包含的面部的个数，从面部个数较少的摄影图像中切取面部部分并合成在面部个数较多的摄影图像中，所以可以有效且容易地拍摄包含摄影者在内的多人的集体照片。

另外，在上述的第一～第三实施方式中，在作为摄影模式而输入了合成摄影模式之后，马上将根据规定时间内连续进行的用户操作而拍摄的摄影图像a与摄影图像b指定为连续拍摄到的应合成的两张摄影图像，由此对该指定的两张摄影图像a、b进行合成，但是本发明并未限于此，也可以在根据规定时间内连续进行的用户操作而连续地拍摄了摄影图像a与摄影图像b之后马上输入了合成摄影模式的情况下，将摄影图像a与摄影图像b指定为连续拍摄的应合成的两张合影图像，并对该指定的两张摄影图像a、b进行合成。该情况下，若没有输入合成摄影模式，则不会进行合成，而是与通常的摄影同样，将摄影图像a与摄影图像b作为单独的摄影图像进行记录保存。

此外，所谓在输入了合成摄影模式之后马上进行拍摄(或者在摄影之前输入合成摄影模式)指的是：在输入了合成摄影模式之后，关闭数码相机的电源，或者在切换到合成摄影模式以外的其他动作模式之前通过规定时间内连续进行的用户操作来进行摄影。再有，所谓在连续拍摄摄影图像a与摄影图像b之后马上输入合成摄影模式(或者在输入合成摄影模式之前拍摄摄影图像a与摄影图像b)指的是：在通过规定时间内连续进行的用户操作而拍摄了摄影图像a与摄影图像b之后，拍摄其他的图像，或者关闭数码相机的电源，或者在切换为合成摄影模式以外的其他动作模式之前输入合成摄影模式；或者在通过规定时间内连续进行的用户操作而拍摄了摄影图像a与摄影图像b之后，在经过规定时间之前输入合成摄影模式。

D.第四实施方式

接下来，对本发明的第四实施方式进行说明。

图11是表示本第四实施方式涉及的数码相机的构成的框图。其中，对与图1对应的部分赋予相同的标记并省略说明。在图11中，通信部19通过近距离无线通信(红外线通信、蓝牙等)而与周围存在的其他数码相机之间进行通信。尤其是，在本第四实施方式中，用于和周围存在的其他数码相机进行协调摄影。

图12(a)～(e)是表示用本第四实施方式涉及的数码相机拍摄集体照片时的基本流程的概念图。首先，若指示协调摄影模式，则如图12(a)所示，可以在数码相机1-1与数码相机1-2之间设定协调摄影模式。接着，如图12(b)所示，根据一位摄影者的用户操作，用数码相机1-1拍摄其他被摄影者(多位)的摄影图像a，如图12(c)所示，数码相机1-1将摄影结束的信息通知给另一数码相机1-2。接下来，如图12(d)所示，根据其他被摄影者的任一位的用户操作，用接收了该摄影结束信息的数码相机1-2拍摄之前的摄影者一人的摄影图像b，如图12(e)所示，数码相机1-2将摄影结束的信息通知给数码相机1-1。也就是说，上述摄影图像a、b被指定为连续拍摄到的两张摄影图像。

然后，利用数码相机1-1、1-2互相发送接收对方数码相机拍摄到的摄影图像a、b，若符合规定的合成条件，则将根据规定时间内连续进行的用户操作而连续拍摄到的两张摄影图像a、b任一方中所包含的面部图像合成在另一方，从而制作新的合成图像。由此，可以很容易地合成拍摄了多人全员的集体照片。

再有，无论是在符合合成条件并进行了合成处理的情况下还是在不进行合成处理的情况下，都可以判断为在指示了上述协调摄影模式之后马上根据用户操作利用各自的数码相机1-1、1-2连续拍摄的摄影图像a与摄影图像b具有关联性，对摄影图像a与摄影图像b建立关联。在此，作为摄影图像的建立关联的方法，有对数据附加tag等的方法。例如，在拍摄了集体照片之后，通过由该摄影者进行自拍，从而这两张摄影图像被建立了关联，因此在事后也可以很容易地确认拍摄了照片的人此时此景也在场。

图13是用于说明本第四实施方式涉及的数码相机的动作的流程图。再有，图14是用于说明本第四实施方式涉及的数码相机1-1、1-2的动作的次序图。首先，通过任一方的数码相机的用户操作输入摄影模式(步骤S80)。接着，判断所输入的摄影模式是否为协调摄影模式(步骤S82)，若不是协调摄影模式，则判断为其他摄影模式、例如通常的摄影模式，执行通常的摄影处理(步骤S88)。然后，结束该处理(或者返回到步骤S80)。

另一方面，在所输入的摄影模式为协调摄影模式的情况下，由通信部19利用规定的通信方法，对周围存在的具有相同功能的数码相机催促进行协调摄影(步骤S84：参照图12(a))。在数码相机1-1的周围存在着其他数码相机1-2，该数码相机1-2针对协调摄影的催促信息进行响应。更具体的是，数码相机1-2接收到协调摄影的催促信息之后通过显示该意思等方式向用户通知。用户确认已经接收到协调摄影的催促信息，从按键输入部16等指示是否进行协调摄影。

另外，也可以通过是否预先对数码相机1-2进行了响应协调摄影的催促信息的设定，来决定其他数码相机1-2是否响应来自数码相机1-1的协调摄影的催促信息。再有，也可以预先注册数码相机1-2的对手方的数码相机的ID信息(1个或多个)，数码相机1-2仅响应来自具备该注册的ID的数码相机的协调摄影的催促信息。

在数码相机1-1中，判断是否有来自周围的数码相机的响应、即周围是否有进行协调摄影的数码相机(步骤S86)。而且，在周围不存在进行协调摄影的数码相机的情况下，判断为通常的摄影，执行通常的摄影处理(步骤S88)。然后，结束该处理(或者返回到步骤S80)。

另一方面，在周围存在进行协调摄影的数码相机的情况下(例如从数码相机1-2进行响应的情况下)，数码相机1-1向对方的数码相机1-2发送协调摄影的设定条件(步骤S90)。作为该协调摄影的设定条件，例如考虑如下条件：由哪台数码相机进行合成处理；从哪台相机向哪台相机发送图像；为了减少图像的传输量仅将切取完毕的面部图像发送到另一数码相机；将所拍摄到的图像整体发送到另一数码相机；或者将摄影图像发送到网络上的服务器并在服务器上进行图像合成等。其中，在以下的说明中，对相互交换摄影图像并在双方的数码相机1-1、1-2中进行图像合成的情况进行说明。

接着，判断是否从对方的数码相机1-2接收了表示对设定条件进行过确认、设定的OK信号(步骤S92)。而且，在接收到OK信号的情况下，数码相机1-1通过图像显示部15或声音向用户通知摄影OK，根据确认了该情况的用户所进行的快门按钮的操作，拍摄摄影图像a(步骤S94：参照图12(b))。然后，向对方的数码相机1-2发送摄影结束的信息(步骤S96：参照图12(c))。

在对方的数码相机1-2中，若接收到上述的摄影结束的信息，则通过图像显示部15或声音向用户通知摄影OK，根据确认了该情况的用户所进行的快门按钮的操作，拍摄摄影图像b(参照图12(d)、图14的步骤S200)。然后，向对方的数码相机1-1发送摄影结束的信息(步骤S96：参照图12(e))。

在数码相机1-1中，判断是否从对方的数码相机1-2接收了表示摄影结束的信息(步骤S98)。若接收了表示摄影结束的信息，则由通信部19向对方的数码相机1-2发送摄影图像a(步骤S100)。在数码相机1-2中，接收来自数码相机1-1的摄影图像a。同样地，在数码相机1-2中，若从数码相机1-1接收摄影图像a，则向数码相机1-1发送摄影图像b(参照图14的步骤S202)。在数码相机1-1中接收来自对方的数码相机1-2的摄影图像b(步骤S102)。也就是说，可以将上述摄影图像a、b指定为连续拍摄到的两张摄影图像。

在数码相机1-1中，与上述第一实施方式同样地判断是否符合合成条件(步骤S104)。而且，在符合合成条件的情况下，检测一张摄影图像(例如摄影图像b)的面部部分，并且决定用于合成该面部部分的、另一摄影图像(例如摄影图像a)中的嵌入位置(步骤S106)。

接着，将一张摄影图像(例如摄影图像b)的面部部分合成在另一摄影图像(例如摄影图像a)的嵌入位置，制作一张合成图像c并进行保存(步骤S108)。接下来，对摄影图像a与摄影图像b建立关联(步骤S110)。然后结束该处理(或者返回到步骤S80)。

另一方面，在步骤S106中，在不符合合成条件的情况下，不进行合成处理，在步骤S110中对摄影图像a与摄影图像b建立关联。然后结束该处理(或者返回到步骤S80)。

在上述协调摄影的设定条件中，在数码相机1-2中也设定为进行合成处理的情况下，如上所述，在数码相机1-2中也将一张摄影图像(例如摄影图像b)的面部部分合成在另一摄影图像(例如摄影图像a)的嵌入位置，制作一张合成图像c并进行保存，对摄影图像a与摄影图像b建立关联，然后结束该处理(参照图14的步骤S203)。

另外，在上述的第四实施方式中，对在数码相机1-1、1-2中分别进行图像处理的方式进行了说明，但根据协调摄影的设定条件的不同，也可以仅在其中一台数码相机中进行合成处理，或者在交换图像后，以用户所希望的定时将摄影图像a、b发送到网络上的服务器，在服务器上进行合成处理。

再有，在本第四实施方式中，所谓上述的规定时间指的是：在数码相机1-1对数码相机1-2进行协调摄影的催促并且拍摄了摄影图像a之后，到数码相机1-2响应协调摄影的催促而拍摄摄影图像b为止的等待时间，作为进行最初的摄影的摄影者在拍摄后放下照相机到摆好姿势(pose)为止的准备时间，例如设想1秒～10秒左右的范围。

还有，在本第四实施方式中，在数码相机1-2中，虽然通过用户操作来拍摄摄影图像b，但是不限于此，也可以在达到规定时间后进行自动摄影。

根据上述的第四实施方式，多人利用各自的数码相机互相进行摄影，就能很容易地拍摄包含摄影者在内的多人的集体照片，以便宛如用1台照相机同时拍摄多个人物。

此外，作为合成条件，若设为：仅向一台数码相机发送摄影图像，向进行合成侧的数码相机发送已切取完的面部图像，则可以减少图像的传输量，可以更有效且容易地拍摄包含摄影者在内的多人的集体照片。

Claims (15)

1.一种拍摄装置，其包括：

拍摄部，其对被摄体进行拍摄；

指示部，其指示两张摄影图像的合成；

第一指定部，其将所述指示部进行指示之后由所述拍摄部最先拍摄的摄影图像或者在所述指示部进行指示之前由所述拍摄部最后拍摄的摄影图像指定为第一摄影图像；

第二指定部，其指定和所述第一摄影图像具有规定关系的第二摄影图像；

面部图像提取部，其从包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像中的一张摄影图像提取面部图像；和

合成部，其将由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

2.根据权利要求1所述的拍摄装置，其特征在于，

所述第二指定部将在所述第一摄影图像的摄影之前或之后由自己的拍摄装置连续拍摄到的摄影图像指定为所述第二摄影图像。

3.根据权利要求1所述的拍摄装置，其特征在于，

所述第二指定部将在所述第一摄影图像的摄影之前或之后由其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像，

该拍摄装置还包括将由所述自己的拍摄装置拍摄到的所述第一摄影图像传输到所述其他拍摄装置的传输部，

在所述第一摄影图像的传输目的地的所述其他拍摄装置上对包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像进行合成。

4.根据权利要求3所述的拍摄装置，其特征在于，

所述其他拍摄装置是存在于该拍摄装置周围的拍摄装置，

该拍摄装置还包括催促所述其他拍摄装置进行协调摄影的协调摄影催促部，

所述第二指定部将响应所述协调摄影催促部催促协调摄影而由所述其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像。

5.根据权利要求3所述的拍摄装置，其特征在于，

所述面部图像提取部从由所述拍摄部拍摄到的所述第一摄影图像中提取面部图像，

所述传输部将由所述面部图像提取部提取出的面部图像发送到所述其他拍摄装置。

6.根据权利要求4所述的拍摄装置，其特征在于，

所述面部图像提取部从由所述拍摄部拍摄到的所述第一摄影图像中提取面部图像，

所述传输部将由所述面部图像提取部提取出的面部图像发送到所述其他拍摄装置。

7.根据权利要求3所述的拍摄装置，其特征在于，

所述指示部根据从周围存在的其他拍摄装置接收到的所述协调摄影的催促，指示所述两张摄影图像的合成，

所述第一指定部在从周围存在的其他拍摄装置接收到所述协调摄影的催促之后，将由自己的拍摄装置拍摄到的摄影图像指定为所述第一摄影图像，将由催促了协调摄影的其他拍摄装置拍摄到的摄影图像指定为所述第二摄影图像。

8.根据权利要求7所述的拍摄装置，其特征在于，

所述面部图像提取部在从周围存在的其他拍摄装置接收到所述协调摄影的催促的情况下，判断为作出了指示合成所述两张摄影图像的指示操作，从由所述自己的拍摄装置拍摄到的所述第一摄影图像与由所述其他拍摄装置拍摄到的所述第二摄影图像的两张摄影图像内的一张摄影图像中提取面部图像，

所述合成部将由所述面部图像提取部提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

9.根据权利要求1所述的拍摄装置，其特征在于，

该拍摄装置还包括在所述合成部进行图像合成之前判断是否满足规定的合成条件的判断部，

所述合成部在由所述判断部判断为满足了规定的合成条件的情况下，将由所述面部图像提取部提取出的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

10.根据权利要求9所述的拍摄装置，其特征在于，

所述规定的合成条件是在所述一张摄影图像内存在规定尺寸以上的1个面部且在所述另一摄影图像内存在规定尺寸以上的多个面部的情况。

11.根据权利要求9所述的拍摄装置，其特征在于，

所述规定的合成条件是在所述两张摄影图像中各自检测出的面部的人物构成不同的情况。

12.根据权利要求1所述的拍摄装置，其特征在于，

所述合成部在所述两张摄影图像的背景相同的情况下，按照维持每张摄影图像中的背景与人物的位置关系的方式，将所述一张摄影图像的面部图像合成在所述另一摄影图像的未包含面部图像的区域。

13.根据权利要求1所述的拍摄装置，其特征在于，

该拍摄装置还包括对所述两张摄影图像中所包含的面部图像的个数进行比较的比较部，

所述面部图像提取部基于所述比较部的比较结果，从面部图像的个数较少的摄影图像中提取面部图像，

所述合成部将由所述面部图像提取部提取出的面部图像合成在所述面部的个数较多的摄影图像的未包含面部图像的区域。

14.根据权利要求1所述的拍摄装置，其特征在于，

该拍摄装置还包括将由所述指定部指定的两张摄影图像对应后进行存储的存储部。

15.一种图像合成方法，是具备对被摄体进行拍摄的拍摄部的拍摄装置中的图像合成方法，其中，该方法包括以下步骤：

指示两张摄影图像的合成；

将进行所述指示之后由所述拍摄部最先拍摄的摄影图像或者在所述指示之前由所述拍摄部最后拍摄的摄影图像指定为第一摄影图像；

指定和所述第一摄影图像具有规定关系的第二摄影图像；

从包含所述第一摄影图像与所述第二摄影图像在内的两张摄影图像中的一张摄影图像提取面部图像；和

将所述提取出的面部图像合成在所述两张摄影图像中的另一摄影图像的未包含面部图像的区域。

Images