CN103139485B - 图像合成装置及图像合成方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。照相机装置(100)包括：记录介质(9)、操作输入部(12)、和图像合成部(8g)。记录介质(9)将图像与该图像拍摄时的拍摄条件建立关联并存储。操作输入部(12)从该记录介质(9)中读出多个图像并指示合成。图像合成部(8g)从记录介质(9)中读出与由操作输入部(12)指示合成的多个图像分别建立了关联的拍摄条件，按照与一个图像的拍摄条件相接近的方式来合成另一个图像。

Description

图像合成装置及图像合成方法

技术领域

本发明涉及一种用于合成多幅图像的图像处理装置及图像处理方法。

背景技术

目前，通过将被拍摄对象图像与背景用图像及帧图像合成而生成合成图像的技术已经为人们所知。例如，JP特开2004-159158号公报中公开了这种技术。

然而，在合成被拍摄对象图像与背景用图像的情况下，仅仅简单地将这些图像重叠在一起会带来合成图像不自然的问题。另外，即使采用强调立体感的背景用图像，也存在着仅仅能平面地表现相对于背景用图像完全重叠了被拍摄对象图像的问题。

发明内容

本发明的目的在于能够生成不和谐感低的合成图像。

为了实现上述目的，本发明的图像处理装置，其特征在于，包括：存储单元，其将图像与该图像拍摄时的拍摄条件建立关联并存储多个；指示单元，其指示对该存储单元中所存储的多个图像之间进行合成；图像处理单元，其由所述存储单元读出与由该指示单元指示合成的图像分别建立了关联的拍摄条件，并按照与一张图像的拍摄条件相接近的方式来处理另一张图像；以及合成单元，其对由该图像处理单元处理后的所述另一张图像与所述一张图像进行合成。

另外，本发明的图像处理方法，其特征在于，包括：区域指示步骤，在至少二张图像中指示一张图像内应当合成另一张图像的区域；亮度获取步骤，获取在该区域指示步骤中指示的一张图像的应当合成的区域的亮度；以及合成步骤，按照所述另一张图像的亮度与在所述亮度获取步骤中获取的一张图像的应当合成的区域的亮度相接近的方式，来进行处理，并合成所述两张图像。

另外，本发明的另一种图像处理方法，其特征在于，包括：确定步骤，在至少两张图像中，确定一张图像中的光源的位置；位置指示步骤，在所述一张图像中，指示应当合成另一张图像的位置；以及合成步骤，基于所述一张图像的光源的位置和在所述位置指示步骤中指示的位置，对所述另一张图像进行处理，并合成所述两张图像。

附图说明

图1是表示适用于本发明的一个实施方式的照相机装置的大致结构的方框图。

图2是表示关于用图1的照相机装置从包含被拍摄对象的背景图像中剪切被拍摄对象的处理的操作的一个例子的流程图。

图3是表示关于用图1的照相机装置进行背景用图像拍摄处理的操作的一个例子的流程图。

图4是表示关于用图1的照相机装置进行被拍摄对象合成图像生成处理的操作的一个例子的流程图。

图5是表示关于在图4的被拍摄对象合成图像生成处理中的图像合成处理的一个例子的流程图。

图6是示意性表示用于说明图2的从包含被拍摄对象的背景图像中提取被拍摄对象图像的处理的图像的一个例子的图。

图7是示意性表示用于说明图4的被拍摄对象合成图像生成处理的图像的一个例子的图。

图8是示意性表示用于说明图4的被拍摄对象合成图像生成处理的图像的一个例子的图。

图9是表示关于用图1的照相机装置进行变形例的被拍摄对象合成图像生成处理的操作的一个例子的流程图。

具体实施方式

以下，对于本发明来说，用附图来说明具体的方式。但是发明的范围不限定于图示的例子中。

图1是表示适用于本发明的一个实施方式的照相机装置100的大致结构的方框图。

本实施方式的照相机装置100从背景用图像P1中检测出具有多个特征的区域C。接下来，照相机装置100在具有多个特征的区域C中，确定出与包含非显示区域的被拍摄对象图像P2内的被拍摄对象图像(前景图像)D相比更配置于前景的前景区域C1。在此，在具有多个特征的区域C中，与被拍摄对象图像D相比位于前景的图像为C1，与被拍摄对象图像D相比位于后景的图像为C2。而且，照相机装置100以该前景区域C1作为该被拍摄对象图像D的前景，来对背景用图像P1和被拍摄对象图像D进行合成。

具体地说，如图1所示，照相机装置100包括：透镜部1、电子拍摄部2、拍摄控制部3、图像数据生成部4、图像存储器5、特征量运算部6、块匹配部7、图像处理部8、记录介质9、显示控制部10、显示部11、操作输入部12、以及CPU13。

另外，拍摄控制部3、特征量运算部6、块匹配部7、图像处理部8、以及CPU13例如被设计为定制LSI(custom LSI)。

透镜部1由多个透镜构成，包括变焦透镜和聚焦透镜等。

另外，透镜部1省略了图示，但是优选包括：在对被拍摄对象进行拍摄时使变焦透镜在光轴方向上移动的变焦驱动部、和使聚焦透镜在光轴方向上移动的合焦驱动部。

电子拍摄部2例如由CCD(Charge Coupled Device)和CMOS(ComplementaryMetal-oxide Semiconductor)等图像传感器构成，将透过透镜部1的各个透镜的光学像变换成二维图像信号。

拍摄控制部3省略了图示，但是它包括定时发生器、驱动器等。而且，拍摄控制部3通过定时发生器、驱动器来扫描驱动电子拍摄部2，并由电子拍摄部2按每个规定周期将光学像变换成二维图像信号，从该电子拍摄部2的拍摄区域中读出每个画面的图像帧，并输出给图像数据生成部4。

另外，拍摄控制部3进行被拍摄对象的拍摄条件的调整控制。具体地说，拍摄控制部3具备进行使透镜部1在光轴方向上移动并调整合焦条件的自动合焦处理的AF部3a。

此外，作为拍摄条件的调整控制，拍摄控制部3进行AE(自动曝光处理)和AWB(自动白平衡)等。

这样来构成的透镜部1、电子拍摄部2、以及拍摄控制部3作为拍摄单元，对与图像合成处理有关的背景用图像P1(参考图7A)和包含被拍摄对象的背景图像E1(参考图6A)进行拍摄。

另外，透镜部1、电子拍摄部2、以及拍摄控制部3在对包含被拍摄对象的背景图像E1进行拍摄之后，在固定了对包含该被拍摄对象的背景图像E1进行拍摄时的拍摄条件的状态下，为了生成包含非显示区域的被拍摄对象图像P2(参考图7C)而拍摄仅有背景的图像E2(参考图6B)。

图像数据生成部4在对从电子拍摄部2所传送的图像帧的模拟值的信号按RGB每种颜色成分进行了适当增益调整之后，由采样保持电路(图示略)进行采样保持，并由A/D变换器(图示略)变换成数字数据，在颜色处理电路(图示略)中进行了包括像素插值处理以及γ补正处理在内的颜色处理之后，生成数字值的亮度信号Y和色差信号Cb、Cr(YUV数据)。

从颜色处理电路所输出的亮度信号Y和色差信号Cb、Cr经由图中未示出的DMA控制器被DMA传送到用作缓冲存储器的图像存储器5中。

图像存储器5例如由DRAM等构成。图像存储器5暂时存储特征量运算部6、块匹配部7、图像处理部8、和CPU13等作为处理对象的数据等。

特征量运算部6以仅有背景的图像E2为基准，进行从该仅有背景的图像E2中提取特征点的特征提取处理。具体地说，特征量运算部6例如基于仅有背景的图像E2的YUV数据，选出规定数(或规定数以上)的特征较高的块区域(或者特征较高的点)，以该块的内容作为模版(例如，16×16像素的正方形)进行提取。

在此，所谓的特征提取处理就是从多个候补块中选择在追踪方面情况较好、特征性较高的块的处理。

块匹配部7在生成包含非显示区域的被拍摄对象图像P2时，执行用于对仅有背景的图像E2与包含被拍摄对象的背景图像E1进行位置对照的块匹配处理。具体地说，块匹配部7搜索在特征提取处理中所提取的模版与包含被拍摄对象的背景图像E1内的何处(这个模版对应于何处)相对应，即，搜索在包含被拍摄对象的背景图像E1内模版的像素值(在包含被拍摄对象的背景图像E1中)最佳对应(match)的位置(对应区域)。并且，计算像素值差异度的评价值(例如，差分平方和(SSD)及差分绝对值和(SAD)等)最小的仅有背景的图像E2与包含被拍摄对象的背景图像E1之间的最佳偏移量，作为该模块的运动矢量。

图像处理部8具备被拍摄对象图像生成部8a，其用于生成包含非显示区域的被拍摄对象图像P2的图像数据。具体地说，虽然省略了图示，但是被拍摄对象图像生成部8a包括：图像位置对照部、被拍摄对象区域提取部、位置信息生成部、被拍摄对象图像生成部等。

图像位置对照部基于从仅有背景的图像E2中所提取的特征高的块区域，计算出与仅有背景的图像E2相对的、包含被拍摄对象的背景图像E1的各个像素的坐标变换式(射影变换矩阵)，根据该坐标变换式对包含被拍摄对象的背景图像E1进行坐标变换，并进行与仅有背景的图像E2的位置对照。

被拍摄对象区域提取部生成由图像位置对照部进行了位置对照后的、在包含被拍摄对象的背景图像E1与仅有背景的图像E2之间对应的各个像素的差分信息，以该差分信息作为基准，从包含被拍摄对象的背景图像E1中提取出包含被拍摄对象区域的被拍摄对象图像D。

位置信息生成部确定从包含被拍摄对象的背景图像E1中提取的被拍摄对象图像D的位置，然后生成用于在包含被拍摄对象的背景图像E1中指示被拍摄对象图像D的位置的位置信息(例如，α映射)。

在此，所谓的α映射是指，对于包含被拍摄对象的背景图像E1的各个像素来说，将在被拍摄对象图像D的图像相对于规定背景进行α混合时的权重表示为α值(0≤α≤1)。

图像生成部基于所生成的α映射，在包含被拍摄对象的背景图像E1的各个像素中，相对于规定的单色图像(图示略)来说，不显示α值为1的像素，而且，相对于规定的单色图像(图示略)来说，显示α值为0的像素，从而将被拍摄对象D与规定的单色图像进行合成，并生成包含非显示区域的被拍摄对象图像P2的图像数据。

另外，图像处理部8具备用于检测背景用图像P1中具有特征的区域C的特征区域检测部8b。

特征区域检测部8b采用图像数据的颜色信息等，根据对比度变化来在图像中确定并检测出具有球和草木这些特征的区域C(参考图7B)。

此外，具有特征的区域C的检测可以通过利用背景用图像P1的像素值的边缘并提取轮廓线来进行。

另外，图像处理部8具备距离信息获取部8c，其用于获取到由透镜部1、电子拍摄部2、以及拍摄控制部3所拍摄到的图像中的规定区域为止的距离信息。

这个距离信息获取部8c在对背景用图像P1进行拍摄时，获取到具有多个特征的区域C为止的距离信息。具体地说，距离信息获取部8c在对背景用图像P1进行拍摄时，从拍摄控制部3的AF部3a中获取与在自动合焦处理中由合焦驱动部(图示略)所移动的聚焦透镜的光轴方向的位置有关的透镜位置信息，并基于该透镜位置信息获取到具有多个特征的区域C为止的距离。另外，距离信息获取部8c在对包含被拍摄对象的背景图像E1进行拍摄时，从拍摄控制部3的AF部3a中获取与在自动合焦处理中由合焦驱动部(图示略)所移动的聚焦透镜的光轴方向的位置有关的透镜位置信息，并基于该透镜位置信息来获取到被拍摄对象区域为止的距离。

在此，距离信息获取部8c在对背景用图像P1进行拍摄时，获取到具有多个特征的区域C为止的距离信息。另外，距离信息获取部8c在对包含被拍摄对象的背景图像E1进行拍摄时，构成用于获取到被拍摄对象区域为止的距离信息的距离信息获取单元。

此外，获取到被拍摄对象区域为止的距离信息，例如可以基于规定的换算程序的执行来进行，也可以采用规定的换算表来进行。

另外，图像处理部8还具备特征区域确定部8d，其用于在由特征区域检测部8b所检测的具有多个特征的区域C中，确定与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像(前景图像)D相比配置在前景中的前景区域C1。

具体地，特征区域确定部8d对由距离信息获取部8c获取的到被拍摄对象区域为止的距离信息和到具有多个特征的区域C为止的距离信息进行比较，判断被拍摄对象图像D和具有多个特征的区域C的前后位置。并且，特征区域确定部8d将被判断为与被拍摄对象图像D相比位于前景的具有特征的区域C确定为前景区域C1。

这里，特征区域确定部8d包括有确定单元，其用于在具有多个特征的区域C中，确定与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像D相比配置在前景中的前景区域C1。

另外，图像处理部8具备特征区域图像复制部8e，其用于复制由特征区域确定部8d所确定的前景区域C1的图像。

具体地说，特征区域图像复制部8e提取由特征区域确定部8d所确定的前景区域C1的图像，然后复制该前景区域C1的图像的图像数据。

在此，特征区域图像复制部8e包括有复制单元，其用于复制由特征区域确定部8d所确定的前景区域C1的图像的图像数据。

另外，图像处理部8具备图像合成部8f作为合成单元，其用于对背景用图像P1与包含非显示区域的被拍摄对象图像P2进行合成。

具体地说，图像合成部8f在背景用图像P1的各个像素中，显示α值为0的像素(相对于包含非显示区域的被拍摄对象图像P2，显示背景用图像P1的各个像素)，α值为1的像素以包含非显示区域的被拍摄对象图像P2的对应的像素的像素值来写入覆盖背景用图像P1的像素，进而，背景用图像P1的各个像素中，α值处于0＜α＜1的像素采用1的补数(1-α)在生成提取了被拍摄对象图像D的图像(背景用图像×(1-α))之后，在α映射中采用1的补数(1-α)在生成包含非显示区域的被拍摄对象图像P2时，计算与单一背景色进行混合后的α值，从包含非显示区域的被拍摄对象图像P2中减去该α值，并对该减去的α值的图像与(从包含非显示区域的被拍摄对象图像P2中)提取了被拍摄对象图像D的图像(背景用图像×(1-α))进行合成。

另外，图像处理部8具备合成控制部8g，其用于在背景用图像P1与被拍摄对象图像D进行图像合成时，在图像合成部8f中使由特征区域确定部8d所确定的前景区域C1成为被拍摄对象图像D的前景，从而进行合成。

合成控制部8g，具体地说，在图像合成部8f中合成背景用图像P1与被拍摄对象图像D之后，使前景区域C1与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像D相比作为前景，以此方式来合成由特征区域图像复制部8e所复制的前景区域C1的图像。这时，在前景区域C1的图像的图像数据中，基于作为Exif信息而附加的该前景区域C1的特征区域位置信息(稍后描述)，按照使前景区域C1回到背景用图像P1中原来位置的方式来对照位置并进行合成。

由此，例如，在图7B中，对于像球这样的前景区域C1的位置与被拍摄对象图像D重叠的情况来说，以作为被拍摄对象图像D的前景的方式被合成。另一方面，例如，在图7B中，对于像左侧的草这样的前景区域C1的位置不与被拍摄对象图像D重合的情况来说，不进行前景区域C1的合成，只保持背景用图像P1不变。

在此，合成控制部8g包括有合成控制单元，其用于在进行背景用图像P1与被拍摄对象图像D的图像合成之时，在图像合成部8f中将由特征区域确定部8d所确定的前景区域C1作为被拍摄对象图像D的前景来进行合成。

记录介质9例如可由非易失性存储器(闪存)等构成。记录介质9存储由图像处理部8的JPEG压缩部(图示略)进行编码后的包含非显示区域的被拍摄对象图像P2、背景用图像P1、以及前景区域C1的图像的图像数据。

另外，将包含非显示区域的被拍摄对象图像P2的图像数据与由被拍摄对象图像生成部8a的位置信息生成部所生成的α映射建立对应，并将包含该非显示区域的被拍摄对象图像P2的图像数据的扩展名保存为“.jpe”。另外，包含非显示区域的被拍摄对象图像P2的图像数据由附加了由距离信息获取部8c所获取的到被拍摄对象区域为止的距离信息来作为Exif信息的Exif形式的图像文件构成。

另外，在背景用图像P1的图像数据由Exif形式的图像文件构成，Exif形式的图像文件中存在具有特征的区域C的图像的图像数据的情况下，将该具有特征的区域C的图像的确定用信息、以及由距离信息获取部8c所获取的到具有特征的区域C为止的距离信息作为Exif信息来附加。

另外，具有特征的区域C的图像的图像数据将背景用图像P1中与该具有特征的区域C的位置有关的特征区域位置信息等各种信息作为Exif信息来附加。

另外，前景区域C1的图像的图像数据由将在背景用图像P1中与该前景区域C1的位置有关的特征区域位置信息等各种信息作为Exif信息来附加的Exif形式的图像文件构成。

显示控制部10读出图像存储器5中暂存的显示用图像数据，并对在显示部11中的显示进行控制。

具体地说，显示控制部10具备VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器在CPU13的控制下从图像存储器5中读取的存储在VRAM(图示略)中的亮度信号Y及色差信号Cb、Cr，经由VRAM控制器从VRAM中定期地读取，然后以这些数据为基础产生视频信号并输出到显示部11中。

显示部11例如是液晶显示装置。显示部11基于来自显示控制部10的视频信号，将电子拍摄部2所拍摄的图像等显示成显示画面。具体地说，在拍摄模式下，显示部11基于通过由透镜部1、电子拍摄部2、以及拍摄控制部3对被拍摄对象进行拍摄所生成的多个图像帧，来显示实时取景图像，或显示作为主要拍摄图像而拍摄的记录浏览(rec view)图像。

操作输入部12用于进行该照相机装置100的规定操作。具体地说，操作输入部12具备：与被拍摄对象的拍摄指示有关的快门按键12a、与拍摄模式和功能等的选择指示有关的选择决定按键12b、与变焦量的调整指示有关的变焦按键(图示略)等，响应于这些按键的操作而向CPU13输出规定的操作信号。

CPU13用于控制照相机装置100的各个部件。具体地说，CPU13根据照相机装置100用的各种处理程序(图示略)进行各种控制操作。另外，CPU13基于由用户对选择决定按键12b的规定操作而检测背景用图像P1与被拍摄对象图像D的合成指示。

接着，参考图2对由照相机装置100从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理进行说明。

图2是表示关于从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理的操作的一个例子的流程图。

从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理是基于由用户对操作输入部12的选择决定按键12b的规定操作，在从菜单画面中所显示的多个拍摄模式中选择指示被拍摄对象生成模式的情况下所执行的处理。

如图2所示，首先，CPU13基于通过由透镜部1、电子拍摄部2、以及拍摄控制3对被拍摄对象进行拍摄所生成的多个图像帧，在显示控制部10中将实时取景图像显示于显示部11的显示画面中，同时按照在该实时取景图像上进行重叠的方式在显示部11的显示画面中显示包含被拍摄对象的背景图像E1的拍摄指示消息(步骤S1)。

然后，CPU13在拍摄控制部3中调整聚焦透镜的合焦位置，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，在规定的拍摄条件下由电子拍摄部2对包含被拍摄对象的背景图像E1的光学像进行拍摄(步骤S2)。然后，CPU13在图像处理部8的距离信息获取部8c中获取从这时的聚焦透镜的光轴方向的位置到被拍摄对象区域为止的距离信息(步骤S3)。此外，由图像数据生成部4所生成的包含被拍摄对象的背景图像E1的YUV数据被暂存于图像存储器5中。

另外，CPU13控制拍摄控制部3，保持在固定了对包含该被拍摄对象的背景图像E1进行拍摄时的合焦位置、曝光条件、白平衡等条件的状态。

此后，CPU13基于通过由透镜部1、电子拍摄部2、以及拍摄控制部3对被拍摄对象进行拍摄而生成的多个图像帧，在显示控制部10中将实时取景图像显示于显示部11的显示画面中，同时在该实时取景图像上进行重叠，在显示部11的显示画面中显示包含被拍摄对象的背景图像E1的半透明显示状态的图像和仅有背景的图像E2的拍摄指示消息(步骤S4)。此后，用户使被拍摄对象移动到画角外，或者等待被拍摄对象移动之后，再进行仅有背景的图像E2的拍摄。

然后，由用户按照将仅有背景的图像E2与包含被拍摄对象的背景图像E1的半透明图像重合的方式调整照相机位置，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，CPU13在拍摄控制部3中，由电子拍摄部2在对包含被拍摄对象的背景图像E1进行拍摄后，在固定拍摄条件下，对仅有背景的图像E2的光学像进行拍摄(步骤S5)。此外，由图像数据生成部4生成的仅有背景的图像E2的YUV数据被暂存于图像存储器5中。

接着，CPU13以图像存储器5中暂存的仅有背景的图像E2的YUV数据为基准，在特征量运算部6、块匹配部7、和图像处理部8中以规定的图像变换模型(例如，相似变换模型、或者合同变换模型)计算出用于对包含被拍摄对象的背景图像E1的YUV数据进行射影变换的射影变换矩阵。

具体地说，特征量运算部6基于仅有背景的图像E2的YUV数据，选择规定数(或规定数以上)的(对比度值等的)特征较高的块区域(或者特征高的点)，将该块区域的内容提取为模板。然后，块匹配部7在包含被拍摄对象的背景图像E1中搜索在特征提取处理中所提取的模板的像素值最佳匹配的位置，计算像素值差异度的评价值最小的仅有背景的图像E2与包含被拍摄对象的背景图像E1之间的最佳偏移量，来作为该模板的运动矢量。并且，被拍摄对象图像生成部8a的图像位置对照部基于由块匹配部7所计算出的多个模板的运动矢量来统计计算出全部的运动矢量，采用与该运动矢量相关的特征点对应来计算出包含被拍摄对象的背景图像E1的射影变换矩阵。之后，图像位置对照部基于所计算出的射影变换矩阵来对包含被拍摄对象的背景图像E1进行射影变换，并对射影变换后的包含被拍摄对象的背景图像E1的YUV数据与仅有背景的图像E2的YUV数据之间进行位置对照(步骤S6)。

并且，被拍摄对象图像生成部8a的被拍摄对象区域提取部从包含被拍摄对象的背景图像E1中提取被拍摄对象图像D(步骤S7)。

具体地说，被拍摄对象区域提取部分别针对包含被拍摄对象的背景图像E1的YUV数据和仅有背景的图像E2的YUV数据，启动低通滤波器来除去各个图像的高频成分。之后，被拍摄对象区域提取部针对在低通滤波后的包含被拍摄对象的背景图像E1与仅有背景的图像E2之间相对应的各个像素，计算出差异度，生成差异度映射。接着，被拍摄对象区域提取部以规定的阈值对与各个像素相关的差异度映射进行2值化，之后，进行压缩处理，用于从差异度映射中去除由于细微的噪声和手抖而产生差别的区域。之后，被拍摄对象区域提取部进行标识(labeling)处理，除去规定值以下的区域和最大区域以外的区域之后，把最大条纹的图案确定为被拍摄对象图像D，进行用于修正缩小程度的放大处理。

然后，被拍摄对象图像生成部8a的位置信息生成部生成用于表示所提取的被拍摄对象图像D的被拍摄对象被包含在背景图像E1内的位置的α映射(步骤S8)。

之后，被拍摄对象图像生成部8a的生成部生成将被拍摄对象图像与规定的单色图像合成之后的包含非显示区域的被拍摄对象图像P2的图像数据(步骤S9)。

具体地说，生成部读出包含被拍摄对象的背景图像E1、单色图像、以及α映射，并在图像存储器5中展开后，对于包含被拍摄对象的背景图像E1的全部像素，使α值为0的像素(α＝0)透过，对α值为0＜α＜1的像素(0＜α＜1)与规定的单色进行混合，对α值为1的像素不进行任何操作，使其相对于规定单色无法透过。

之后，CPU13基于由生成部所生成的包含非显示区域的被拍摄对象P2的图像数据，在显示控制部10中将以规定单色重叠被拍摄对象之后的包含非显示区域的被拍摄对象P2显示于显示部11的显示画面中(步骤S10)。

接下来，CPU13在记录介质9的规定存储区域中，将由位置信息生成部所生成的α映射、由距离信息获取部8c所获取的到被拍摄对象区域为止的距离信息、和包含非显示区域的被拍摄对象P2的图像数据建立对应，并以“.jpe”作为包含该非显示区域的被拍摄对象P2的图像数据的扩展名来保存文件(步骤S11)。

由此，结束被拍摄对象剪切处理。

接下来，参考图3对由照相机装置100进行背景用图像拍摄处理进行说明。

图3是显示有关背景用图像拍摄处理的操作的一个例子的流程图。

如图3所示，首先，CPU13在拍摄控制部3中调整聚焦透镜的合焦位置和曝光条件(快门速度、光圈、放大率等)和白平衡等拍摄条件，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，在规定的拍摄条件下，由电子拍摄部2对背景用图像P1(参考图7A)的光学像进行拍摄(步骤S21)。

接下来，CPU13在特征区域检测部8b中采用在步骤S21中所拍摄的背景用图像P1的图像数据的颜色信息等，根据对比度变化来确定并检测出图像中具有球和草木这些特征的区域C(参考图7B)(步骤S22)。

接下来，特征区域检测部8b判断是否检测出背景用图像P1中的具有特征的区域C(步骤S23)。

在此，当判断检测到了具有特征的区域C时(步骤S23：是)，CPU13在距离信息获取部8c中，在背景用图像P1拍摄时，从拍摄控制部3的AF部3a中获取在自动合焦处理中由合焦驱动部(图示略)移动的聚焦透镜的光轴方向的位置相关的透镜位置信息，并基于该透镜位置信息来获取到具有特征的区域C为止的距离信息(步骤S24)。

并且，特征区域图像复制部8c复制背景用图像P1中具有特征的区域C的图像的图像数据(步骤S25)。接下来，CPU13在记录介质9的规定存储区域中，记录以下图像数据：附加有该具有特征的区域C的图像的确定用信息和由距离信息获取部8c所获取的到具有特征的区域C为止的距离信息来作为Exif信息的、在步骤S21中所拍摄的背景用图像P1的图像数据；以及附加有背景用图像P1中与该具有特征的区域C的位置有关的特征区域位置信息等的各种信息来作为Exif信息的具有特征的区域C的图像数据(步骤S26)。

另一方面，当在步骤S23中判断为没有检测到具有特征的区域C(步骤S23：否)时，CPU13在记录介质9的规定存储区域中记录在步骤S21中所拍摄的背景用图像P1的图像数据(步骤S27)。

由此，结束背景用图像拍摄处理。

接下来，参考图4和图5来说明用照相机装置100进行被拍摄对象合成图像生成处理。

图4是表示关于被拍摄对象合成图像生成处理有关的操作的一个例子的流程图。

被拍摄对象合成图像生成处理采用图像处理部8的合成部8f和合成控制部8g，对背景用图像P1与包含非显示区域的被拍摄对象P2中的被拍摄对象图像D进行合成，并生成被拍摄对象合成图像。

如图4所示，首先，基于用户对操作输入部12的指示操作，当选择并指定在记录介质9中所记录的多个图像中包含期望的非显示区域的被拍摄对象P2时(步骤S31)，图像处理部8读取所指定的包含非显示区域的被拍摄对象P2的图像数据，并在图像存储器5中展开，同时特征区域确定部8d读出并获取与该图像数据建立了对应后进行存储的到被拍摄对象区域为止的距离信息(步骤S32)。

接下来，基于用户对操作输入部12的规定操作，当选择并指定在记录介质9中所记录的多个图像中的期望背景用图像P1时，合成部8f读取所指定的背景用图像P1的图像数据，并在图像存储器5中展开(步骤S33)。

接下来，图像合成部8f采用在图像存储器5中所展开的该背景用图像P1和包含该非显示区域的被拍摄对象P2中的被拍摄对象图像D，进行图像合成处理(步骤S34)。

在此，参考图5对图像合成处理进行详细地说明。

图5是表示关于图像合成处理的操作的一个例子的流程图。

如图5所示，合成部8f读取以“.jpe”保存的α映射，并在图像存储器5中展开(步骤S341)。

接下来，图像合成部8f指定背景用图像P1中任一个像素(例如，左上角的像素)(步骤S342)，对于该像素，基于α映射的α值进行分支处理(步骤S343)。具体地说，合成部8f对于背景用图像P1的任何一个像素中α值为1的像素(步骤S343；α＝1)，以包含非显示区域的被拍摄对象图像P2的对应像素的像素值来写入覆盖(步骤S344)，对于α值为0＜α＜1的像素(步骤S343，0＜α＜1)，采用1的补数在生成剪切了被拍摄对象图像D的图像(背景用图像×(1-α))之后，在α映射中采用1的补数(1-α)在生成包含非显示区域的被拍摄对象图像P2时，计算单色背景色与混合后的(α)值，从包含非显示区域的被拍摄对象图像P2中减去该(α)值，将由包含非显示区域的被拍摄对象图像P2减去的α值与剪切了被拍摄对象图像D后的图像(背景用图像×(1-α))(的α值)进行合成(步骤S345)，对于α值为0的像素(步骤S343：α＝0)，不进行操作，而是显示背景用图像P1(对于包含非显示区域的被拍摄对象图像P2)。

接着，图像合成部8f判断是否要对背景用图像P1的所有像素进行(图像合成)处理(步骤S346)。

在此，在判断为不对(背景用图像P1的)全部像素进行(图像合成)处理时(步骤S346：否)，合成部8f将处理对象移动到下一个像素(步骤S347)，并将(图像合成)处理转移到步骤S343中。

重复执行上述的(图像合成)处理，直到在步骤S346中判断为已经对(背景用图像P1的)全部像素进行了处理为止(步骤S346：是)，从而图像合成部8f生成已经对被拍摄对象图像D与背景用图像P1进行了合成后的被拍摄对象合成图像P4(参考图8B)的图像数据。

由此，结束图像合成处理。

如图4所示，之后，CPU13基于在读出的背景用图像P1的图像数据中被存储为Exif信息的具有特征的区域C的图像的确定用信息，判断是否存在从该背景用图像P1中提取的具有特征的区域C的图像的图像数据(步骤S35)。

在此，当判断为存在具有特征的区域C的图像的图像数据时(步骤S35：是)，合成部8f基于该背景用图像P1的图像数据中被存储为Exif信息的具有特征的区域C的图像的确定用信息，读出具有特征的区域C的图像的图像数据，同时特征区域确定部8d读出并获取与背景用图像P1的图像数据建立了对应后存储的到具有特征的区域C为止的距离信息(步骤S36)。

接下来，特征区域确定部8d，对基于在步骤S36中读出的到具有特征的区域C为止的距离信息的距离的值，判断其是否小于基于在步骤S32中读出的到被拍摄对象区域为止的距离信息的距离的值(步骤S37)。

在此，在判断为基于到该具有特征的区域C为止的距离信息的距离的值比基于到该被拍摄对象区域为止的距离信息的距离的值小时(步骤S37：是)，图像合成控制部8g在图像合成部8f中使前景区域C1与被拍摄对象图像D的前景重合，从而在背景用图像P1中将重叠了被拍摄对象图像D的被拍摄对象合成图像P4与前景区域C1的图像进行合成，并生成被拍摄对象合成图像P3的图像数据(步骤S38)。接着，CPU13在显示控制部10中基于由图像合成部8f所生成的被拍摄对象合成图像P3的图像数据，按照前景区域C1重叠于被拍摄对象图像D的前景中的方式，将合成的被拍摄对象合成图像P3显示于显示部11的显示画面中(步骤S39；参考图8A)。

另一方面，在步骤S37中，在判断为基于到该具有特征的区域C为止的距离信息的距离的值不小于基于到该被拍摄对象区域为止的距离信息的距离的值时(步骤S37：否)，CPU13转移到步骤S39中进行处理，在显示部11的显示画面中显示在背景用图像P1中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤S39；参考图8B)。

另外，在步骤S35中，当判断为不存在具有特征的区域C的图像的图像数据时(步骤S35：否)，CPU13转移到步骤S39进行处理，在显示部11的显示画面中显示在背景用图像P1中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤S39；参考图8B)。

由此，结束被拍摄对象合成图像生成处理。

如上所述，采用本实施方式的照相机装置100，从背景用图像P1中所检测出的具有特征的区域C中，确定与被拍摄对象图像D相比被配置于前景的前景区域C1，将该前景区域C1重叠于被拍摄对象图像D的前景，从而合成背景用图像P1与被拍摄对象图像D，这样就可以在背景用图像P1中使被拍摄对象是否存在于背景之内地进行显示，能够生成不和谐感低的合成图像。

另外，在对背景用图像P1进行拍摄时，获取到具有特征的区域C为止的距离信息，基于这个到具有特征的区域C为止的距离信息来确定前景区域C1。具体地说，在对包含被拍摄对象的背景图像E1进行拍摄时，获取到被拍摄对象区域为止的距离信息，将这个到被拍摄对象区域为止的距离信息与背景用图像P1中到具有特征的区域C为止的距离信息相比较，判断被拍摄对象图像D与具有特征的区域C的前后位置，由于能够将被判断为与被拍摄对象D相比位于前景中的具有特征的区域C确定为前景区域C1，所以可基于到该被拍摄对象区域为止的距离信息以及到具有特征的区域C为止的距离信息，来进行客观判断，以确定前景区域C1，并更适当地生成不和谐感低的合成图像。

此外，虽然在上述实施方式中由特征区域确定部8d自动地确定前景区域C1，但是特征区域的确定方法不限于此，例如，可以将基于用户对选择决定按键12b的规定操作所指定的规定区域确定为前景区域C1。

以下，说明在本发明的上述实施方式中照相机装置100的变形示例。

<变形示例>

变形示例的照相机装置100具备自动确定模式和手动确定模式，在该自动确定模式中，在由特征区域检测部8b所检测的具有特征的区域C中，在确定与被拍摄对象图像D相比配置于前景的前景区域C1时，由特征区域确定部8d自动地确定前景区域C1；在该手动确定模式中，在对背景用图像P1进行拍摄并在显示部11的显示画面中显示(该背景用图像P1)时，将用户指定的规定区域确定为前景区域C1。

并且，在对背景用图像P1进行拍摄时，通过用户对选择决定按键12b的操作，来选择决定自动确定模式和手动确定模式中的任一个。

另外，操作输入部12的选择决定按键12b在手动确定模式中，基于用户的规定操作来输入在背景用图像P1中规定的区域的指定指示。并且，响应于该选择决定按键12b的操作，向CPU13输出规定区域的指定信号。

CPU13根据所输入的区域指定信号，在特征区域检测部8b中将该规定区域检测为具有特征的区域C，在特征区域确定部8d中将由特征区域检测部8b所检测出的具有特征的区域C的图像确定为前景区域C1。

在此，选择决定按键12b及CPU13构成用于指定所显示的背景用图像P1中的规定区域的指定单元。

接下来，参考图9对于采用变形示例中的照相机装置100进行被拍摄对象合成图像生成处理进行说明。

图9是表示在对背景用图像P1进行拍摄时，通过用户对选择决定按键12b的操作选择决定了手动确定模式的情况下关于被拍摄对象合成图像生成处理的操作的一个例子的流程图。

如图9所示，首先，在基于用户对操作输入部12的规定操作来选择并指定在记录介质9中所记录的多个图像中包含期望的非显示区域的被拍摄对象P2时，图像处理部8(从记录介质9中)读出所指定的包含非显示区域的被拍摄对象P2的图像数据，并在图像存储器5中展开(步骤S41)。

接下来，在基于用户对操作输入部12的规定操作来选择并指定在记录介质9中所记录的多个图像中期望的背景用图像P1时，图像合成部8f(从记录介质9中)读出所指定的背景用图像P1的图像数据，并在图像存储器5中展开(步骤S42)。

接下来，对于显示控制部10，CPU13基于图像存储器5中所展开的背景用图像P1的图像数据，将背景用图像P1显示于显示部11的显示画面(步骤S43)。

接下来，CPU13基于用户对选择决定按键12b的规定操作，根据是否已向CPU13输出了规定区域的指定信号，来判断是否指定了在显示部11的显示画面中所显示的背景用图像P1中的规定区域(步骤S44)。

在此，当(由CPU13)判断为已经指定了规定区域时(步骤S44：是)，CPU13在特征区域检测部8b中将该规定区域检测为具有特征的区域C，在特征区域确定部8d中将由特征区域检测部8b所检测的具有特征的区域C的图像确定为前景区域C1，在特征区域图像复制部8e中复制该前景区域C1(步骤S45)。

接下来，图像合成部8f采用在图像存储器5中所展开的该背景用图像P1和包含该非显示区域的被拍摄对象图像P2中的被拍摄对象图像D，进行图像合成处理(步骤S46)。此外，由于图像合成处理与上述实施方式中相同，因此省略了对其的详细说明。

接下来，图像合成控制部8g在图像合成部8f中以规定区域图像作为被拍摄对象图像D的前景，从而将在背景用图像P1中重叠了被拍摄对象图像D的被拍摄对象合成图像P4与规定区域图像进行合成(步骤S48)。接着，CPU13在图像显示控制部10中基于由图像合成部8f所生成的被拍摄对象合成图像的图像数据，在显示部11的显示画面中显示以规定区域图像作为被拍摄对象图像D的前景来合成的被拍摄对象合成图像(步骤S49)。

另一方面，当(由CPU13)判断为没有指定规定区域时(步骤S44：否)，合成部8f采用在图像存储器5中所展开的该背景用图像P1与包含该非显示区域的被拍摄对象图像P2中的被拍摄对象图像D，进行图像合成处理(步骤S47)。此外，由于图像合成处理与上述实施方式中相同，因此省略了对其的详细说明。

之后，CPU13转移到步骤S49中进行被拍摄对象合成图像处理，在显示部11的显示画面中显示在背景用图像P1中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤S49)。

由此，结束被拍摄对象合成图像生成处理。

如上所述，采用变形示例的照相机装置100，可根据用户对选择决定按键12b的规定操作，指定在显示部11中所显示的背景用图像P1中的规定区域，将所指定的规定区域确定为前景区域C1。

因此，能够将用户期望的规定区域确定为前景区域C1，使合成图像的生成更富有趣味。

此外，本发明不限于上述实施方式，在不脱离本发明主旨的范围内可以进行各种改进和设计变更。

例如，在上述实施方式中，虽然采用了前景区域C1重叠于被拍摄对象图像D的前景中的方式来合成背景用图像P1与被拍摄对象图像D，但是也可以生成从背景用图像P1中提取前景区域C1后的图像，将(从背景用图像P1中)取出该前景区域C1后的图像与被拍摄对象图像D进行合成之后，再将前景区域C1重叠于被拍摄对象图像D的前景中，从而将这个合成后的图像与前景区域C1进行合成。

另外，在变形示例中，根据用户对选择决定按键12b的规定操作，指定在显示部11中所显示的背景用图像P1中的规定区域，将所指定的规定区域确定为前景区域C1，但是，该变形示例不限于此，也可以按照能够识别由图像处理部8的特征区域检测部8b所检测出的具有特征的区域C的方式，在显示部11中显示背景用图像P1，从在显示部11中所显示的该具有特征的区域C之中，用户指定具有所期望的特征的区域C，并确定为前景区域C1。

另外，在变形示例中，虽然是根据用户对选择决定按键12b的规定操作来指定规定区域，但是，该变形示例不限于此，显示部11也可以具备触摸屏，根据用户对触摸屏的规定操作来指定规定区域。

此外，特征区域确定部8d也可以在由特征区域检测部8b所检测的具有特征的区域C中确定与被拍摄对象图像D相比配置于后侧的后景区域(后景图像)C2。并且，在具有特征的区域C中确定与被拍摄对象图像D相比配置于后侧的后景区域，将所确定的前景区域C1重叠于被拍摄对象图像D的前景，并且将所确定的后景区域与被拍摄对象图像D相比配置于后侧，从而对背景用图像P1与被拍摄对象图像D进行合成。

另外，在上述实施方式中例示了照相机装置100的结构的一个例子，其结构不限于此。即虽然例示了作为图像合成装置的照相机装置，但是图像合成装置不限于此，至少可适当任意地变更包括合成单元、指示检测单元、确定单元、合成控制单元的结构。例如，背景用图像P1和包含非显示区域的被拍摄对象图像P2的生成可以采用不同于该照相机装置100的拍摄装置来进行，可以是能够记录从该拍摄装置所传送的图像数据、被拍摄对象区域、到具有特征的区域C为止的距离信息，并仅执行包含非显示区域的被拍摄对象图像生成处理的图像合成装置。

进而，虽然在上述实施方式中被构造成在CPU13的控制下通过图像处理部8的驱动来实现确定单元、合成控制单元的功能，但是其不限于此，也可以构造成由CPU13执行规定程序等来实现。

即，在存储程序的程序存储器(图示略)中，存储了包括确定处理例程、图像合成控制例程在内的程序。并且，通过确定处理例程可使CPU13实现确定单元的功能，即从背景用图像P1中确定与被拍摄对象图像D相比应当存在于前景的前景区域。另外，通过合成控制例程可使CPU13实现合成控制单元的功能，即以由确定处理例程所确定的前景区域C1作为被拍摄对象图像D的前景，从而合成背景用图像P1与被拍摄对象图像D。

Claims (8)

1.一种图像合成装置，其特征在于，包括：

指示检测部(13)，其检测背景图像和前景图像的合成指示；

距离信息获取部(8c)，获取从对上述背景图像进行拍摄的拍摄部到上述背景图像包含的背景物为止的距离信息、以及从对上述前景图像进行拍摄的拍摄部到上述前景图像包含的前景物为止的距离信息；

确定部(8d)，其通过基于该指示检测部的指示检测，对到上述背景物的距离信息与到上述前景物的距离信息进行比较，从上述背景图像中将到上述背景物的距离比到上述前景物的距离短的区域确定为相比上述前景图像更应当存在于前景的前景区域；以及

合成部(8g)，其按照该前景区域被配置得比上述前景图像处于更前景的方式，来对上述背景图像和上述前景图像进行合成。

2.根据权利要求1所述的图像合成装置，其特征在于，

还包括复制部(8e)，该复制部对上述前景区域进行复制，

上述合成部(8g)按照由上述复制部复制的前景区域相比上述前景图像处于更前景的方式来对上述背景图像和上述前景图像进行合成。

3.根据权利要求1所述的图像合成装置，其特征在于，

上述确定部(8d)通过在上述背景图像的拍摄时获取以包含在该背景图像中的前景区域作为主要被摄体的距离信息，来确定上述前景区域，

上述合成部(8g)基于上述背景图像拍摄时的距离信息和上述前景图像拍摄时的距离信息来进行合成。

4.根据权利要求3所述的图像合成装置，其特征在于，

还包括：拍摄部(2)，

所述距离信息获取部获取在所述拍摄部进行拍摄时的从该装置直至主要被摄体为止的距离信息。

5.根据权利要求4所述的图像合成装置，其特征在于，

所述距离信息获取部，获取在所述拍摄部进行拍摄时的合焦时的从该装置直至主要被摄体为止的距离信息。

6.根据权利要求1所述的图像合成装置，其特征在于，

还包括指定部(12b)，该指定部任意指定上述确定部应当确定的前景区域。

7.根据权利要求1至6中任一项所述的图像合成装置，其特征在于，

所谓上述前景图像是包含透过区域的图像。

8.一种图像合成方法，其特征在于，

是图像合成装置的图像合成方法，

该图像合成方法包括：

指示检测步骤(13)，检测背景图像和前景图像的合成指示；

距离信息获取步骤(8c)，获取从对上述背景图像进行拍摄的拍摄部到上述背景图像包含的背景物为止的距离信息、以及从对上述前景图像进行拍摄的拍摄部到上述前景图像包含的前景物为止的距离信息；

确定步骤(8d)，通过基于该指示检测步骤的指示检测，对到上述背景物的距离信息与到上述前景物的距离信息进行比较，从上述背景图像中将到上述背景物的距离比到上述前景物的距离短的区域确定为相比上述前景图像更应当存在于前景的前景区域；以及

合成步骤(8g)，按照该前景区域被配置得比上述前景图像处于更前景的方式来对上述背景图像和上述前景图像进行合成。