CN102348056B

CN102348056B - 图像合成装置和图像合成方法

Info

Publication number: CN102348056B
Application number: CN201110205268.5A
Authority: CN
Inventors: 真锅佳嗣
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-07-23
Filing date: 2011-07-21
Publication date: 2014-06-04
Anticipated expiration: 2031-07-21
Also published as: EP2571249A3; EP2410734A1; EP2410734B1; EP2571249B1; KR101247647B1; US20120019686A1; EP2571249A2; KR20120010205A; CN102348056A

Abstract

本发明提供一种图像合成装置、图像合成方法。控制部(9)如果检测出快门键(41)被按下，则指示驱动控制部(2)执行N次连拍，生成连拍图像并保存到RAM(8)中(步骤S103)。接着，从这些连拍图像中选择基准图像(步骤S104)，将选择的基准图像的图像数据和全部连拍图像的合成图像的YUV图像数据暂时保存到RAM(8)中(步骤S106、S108)。之后，按每个像素求出基准图像的YUV图像数据和各连拍图像的YUV图像数据的差值绝对值，对除基准图像外的各连拍图像的最大差值进行平均化，生成运动物体判定映射(M)，将其用作α映射来合成基准图像的YUV图像数据和噪声降低处理后的合成图像的YUV图像数据。

Description

图像合成装置和图像合成方法

技术领域

本发明涉及对通过连续拍摄等得到的多个图像进行合成的图像合成装置、图像合成方法及程序产品。

背景技术

以往，已知一种如下技术：通过对连拍得到的图像进行像素相加合成，生成即便在夜景等光量少的摄影环境下也具有记录所需的充分的明亮度的图像。

另外，如JP特开2006-148550号公报记载那样，已知在用户手持相机进行拍摄的手持摄影时对摄像视场角的摇动进行修正合成的图像合成技术。

可是，在上述的图像合成技术的情况下，在摄像视场角内存在运动物体时，即便利用上述图像合成技术也将获得残留运动物体余像的图像。

发明内容

本发明鉴于上述现有技术问题提出的，其目的在于即便在摄影视场角内存在运动物体时也能获得运动物体余像的影响较少的合成图像。

为了达成上述目的，本发明的第1方面的图像合成装置包括：

图像获取单元，获取在时间上连续的多个图像；

图像生成单元，对由该图像获取单元获取到的多个图像进行像素相加合成从而生成一个图像；

第一差值获取单元，在由所述图像生成单元进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和

混合(blending)单元，将由该第一差值获取单元获取到的信息作为透过强度的信息混合在由所述图像生成单元生成的图像中。

另外，为了达成上述目的，本发明的第2方面的图像合成方法包括：

图像获取步骤，获取在时间上连续的多个图像；

图像生成步骤，对由该图像获取步骤获取到的多个图像进行像素相加合成从而生成一个图像；

差值获取步骤，在由所述图像生成步骤进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和

混合步骤，将由该差值获取步骤获取到的信息作为透过强度的信息混合在由所述图像生成步骤生成的图像中。

此外，为了达成上述目的，本发明的第3方面的程序产品存储了计算机可读取的程序，所述程序产品使计算机执行以下功能：

图像获取单元，获取在时间上连续的多个图像；

差值获取单元，在由所述图像生成单元进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和

混合单元，将由该差值获取单元获取到的信息作为透过强度的信息混合在由所述图像生成单元生成的图像中。

附图说明

图1是应用了本发明第一实施方式的摄像装置的电路框图。

图2是表示该摄像装置中的处理顺序的流程图。

图3是表示运动物体判定·混合处理的处理顺序的流程图。

图4是表示连拍到的图像的一例的图。

图5A是表示平滑化处理的处理结果的图；图5B是表示强调处理的处理结果的图。

图6A是表示相加合成的合成图像；图6B是表示本实施方式的合成图像。

图7是应用了本发明第二实施方式的摄像装置的电路框图。

图8是表示第二实施方式的该摄像装置中的处理顺序的流程图。

图9A是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光不足图像的图。

图9B是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光过度图像的图。

图10A是表示平滑化处理的处理结果的图。

图10B是表示强调处理的处理结果的图。

图11是表示本发明第二实施方式的变形例中的处理顺序的流程图。

具体实施方式

下面，参照附图对本发明的一实施方式进行说明。

第一实施方式

图1是具备本发明第一实施方式所涉及的图像处理装置的摄像装置的电路结构图。该摄像装置具有：摄像部1、驱动控制部2、CDS/ADC3、键输入部4、显示部5、图像记录部6、程序存储器7、RAM8、控制部9、图像处理部10。这些部件经由总线进行连接。键输入部4具备用于检测摄影者的记录指示的快门键41，图像处理部10具备合成部11。

在该图中，摄像部1内置CMOS等图像传感器、设置在该图像传感器上的RGB的滤色器、以及通过来自驱动控制部2的控制将光的强度作为电荷的蓄积而保持一定时间并将它们作为模拟的摄像信号输出至CDS/ADC3的驱动器。并且，通过检测经由快门键41、控制部9、驱动控制部2的摄影者的摄影指示，从而获取多个图像(彩色图像)。

CDS/ADC3是输入与摄像部1输出的被摄体的光学像相应的模拟的摄像信号的电路，由对所输入的摄像信号进行保持的CDS、将该摄像信号进行放大的增益调整放大器(AGC)、以及将被放大的摄像信号变换成数字的摄像信号的A/D变换器(ADC)等构成。此外，关于增益调整放大器的调整所涉及的控制，也是基于来自驱动控制部2的指示进行的。为此，即便使曝光条件(快门速度或光圈值)相同地获取多个图像，也能生成因依次改变RGB的增益调整放大器及图像的色调导致的条件不同的多个图像。

此外，在本实施方式中，虽然驱动控制部2进行了与增益调整放大器相关的控制，但并不限定于此。例如，也可由控制部9进行上述控制。

键输入部4除了具备上述快门键41之外，还具备用于向本发明涉及的以图像的获取和记录为目的的摄影模式的切换、检测显示的切换等的各种键。

显示部5具有显示被合成的图像的功能。图像记录部6在执行了本发明涉及的合成处理之后，存储、保存以JPEG方式编码的图像数据(图像文件)。程序存储器7存储由控制部9、图像处理部10执行的程序，控制部9根据需要读出该程序。RAM8具有对各处理所产生的处理中的数据进行暂时保持的功能。控制部9控制该摄像装置整体的处理动作。图像处理部10除了具备图像数据的编码和解码处理之外，还具备与本发明的特征结构对应的合成部11。

也就是说，合成部11执行从连拍图像选出的一个基准图像与对连拍图像进行相加合成之后的合成图像之间的合成，并且对于该合成图像将后面叙述的运动物体判定映射用作差值区域所对应的透过强度映射(α映射)，以减少由运动物体产生的余像。

下面，说明本发明第一实施方式的动作。用户操作设置于键输入部4的模式按钮，当设定本实施方式所涉及的摄影模式时，控制部9从程序存储器7中读出程序，如图2的流程图所示那样开始处理。

也就是说，控制部9判断是否检测出快门键41按下(步骤S101)。如果检测出快门键41被按下，则指示驱动控制部2执行N个连拍(步骤S102)。其次，基于连拍得到的图像数据，生成由以亮度色差的颜色空间信息表现出的YUV图像构成的连拍图像，并保存到RAM8中(步骤S103)。

例如，如果连拍个数N例如为6个，则如图4所示由YUV图像构成的6个连拍图像P1～P6被保存到RAM8中。在图4中，箭头t为时间轴，连拍图像P1～P6是在表示摄像视场角整体的背景B内作为运动物体的手H上下摆动的状态下，以大致相同的摄像视场角连拍到的图像。在连拍图像P1～P6中，虽然背景B是相同的，但随着P1→P2→P3和时间t的推移手H的像在背景B内相对位于上方，图像P3的手H的像位于最上方。另外，随着P3→P4→P5→P6和时间t的推移手H的像在背景B内相对位于下方，图像P6的手H的像位于最下方。

此外，在连拍这些连拍图像P1～P6时，因手抖动引起的图像模糊通过公知技术(基于CCD移位或透镜移位的视场角修正技术)进行修正。

下面，从这些连拍图像中选择基准图像(步骤S104)。在选择该基准图像时，在连拍图像中选择运动物体的移动量最小的图像。因此，在连拍图像P1～P6中，运动物体(手H的像)的移动量最小的图像为从下向上运动的手H的像从上向下变化的分歧点的图像，也就是手H的像的位置位于最上方的连拍图像P3作为基准图像而选择。

然后，由LPF(低通滤波器)对该选择的基准图像的图像数据进行噪声降低处理(步骤S105)。然后，将该噪声降低处理之后的基准图像的YUV图像数据暂时保存到RAM8中(步骤S106)。因此，通过该步骤S105及步骤S106中的处理，在图4所示的例子中连拍图像P3的图像数据被进行噪声降低处理，并将该YUV图像数据保存到RAM8中。

另外，对连拍的多个图像进行噪声降低并合成(步骤S107)。也就是说，如果按每个像素对多个连拍图像的YUV图像数据进行相加平均，则能够一边降低噪声一边进行合成。N个连拍图像的YUV图像数据相加平均的式[1]～[3]如下所示。此外，Y_result、U_result及V_result分别表示像素的亮度色差参数各自合成后的信息。

Y_result＝(Y[0]+Y[1]+…+Y[N])/N …式[1]

U_result＝(U[0]+U[1]+…+U[N])/N …式[2]

V_result＝(V[0]+V[1]+…+V[N])/N …式[3]

当然，并不限定于加法平均，只要是利用多个连拍图像有噪声降低效果的合成方法，则也可以是其他处理方法。然后，将该噪声降低之后的全部连拍图像的合成图像的YUV图像数据暂时保存到RAM8中(步骤S108)。

因此，在结束了该步骤S108处理的时刻，在RAM8中暂时保存有下述图像数据。

(1)各连拍图像的YUV图像数据；

(2)噪声降低处理后的基准图像的YUV图像数据；

(3)噪声降低处理后的合成图像的YUV图像数据。

并且，将步骤S109的运动物体判定·α混合处理包含在内，进行用于合成上述(2)基准图像的YUV图像数据和(3)图像合成的YUV图像数据的处理。

图3是表示运动物体判定·α混合处理(步骤S109)的处理顺序的流程图。此外，在该图3所示的流程图说明时，使用下式、符号或函数。

Y_Base_Nr、U_Base_Nr、V_Base_Nr：上述(2)的噪声降低后基准图像数据的YUV各参数；

Y[n]、U[n]、V[n]：第n个图像数据的YUV各参数；

N：合成个数；

fMax()：最大值计算函数；

fLpf()：平滑化函数；

fEmphasis()：映射强调函数。

在图3的流程图中，控制部9如下式[4]～[6]所示那样，按各连拍图像的YUV图像数据(1)的每个像素，求出噪声降低处理后的基准图像的YUV图像数据(2)和各连拍图像的YUV图像数据(1)的差值绝对值(步骤S201)。

也就是说，按各连拍图像的每个像素求出下式。

Diff_Y[n]＝|Y_base_Nr-Y[n]|…式[4]//Y的差值绝对值

Diff_U[n]＝|U_base_Nr-U[n]|…式[5]//U的差值绝对值

Diff_V[n]＝|V_base_Nr-V[n]|…式[6]//V的差值绝对值

并且，由于差值越大越是被摄体运动的可能性大的区域，故如下式[7]所示那样选择差值最大的(按连拍图像所对应的每一个像素而言差值最大的)(步骤S202)。

Diff[n]＝fMax(Diff_Y[n]，Diff_U[n]，Diff_V[n])…式[7]

下面，如下式[8]所示，执行对除基准图像外的各连拍图像的最大差值进行平均化的处理(步骤S203)。

Ave_Diff＝(Diff[0]+Diff[1]+…+Diff[N])/N-1...式[8]

进而，如下式[9]所示，执行平滑化处理(步骤S204)。

Ave_Diff_Lpf＝fLpf(Ave_Diff)…式[9]

通过该步骤S204中的平滑化处理，如图5A所示那样生成运动物体判定映射M。在该运动物体判定映射M中，斜线示出的部分是α＝0、即全透过的区域，白色部分是α＝255、即不透过的区域。

接着，如下式[10]所示，进行强调处理以提高所述运动物体判定映射M的对比度(步骤S105)。

Map_Move＝fEmphasis(Ave_Diff_Lpf) …式[10]

通过该步骤S205中的平滑化处理，如图5B所示在运动物体判定映射M中运动物体的手H的像重叠的区域的对比度被提高。

最终，将该图5B所示的运动物体判定映射M(Map_Move[0～255]：0＝无运动物体)用作α映射，来合成上述(2)噪声降低处理后的基准图像的YUV图像数据和(3)噪声降低处理后的合成图像的YUV图像数据(步骤S206)。

被合成的各像素的YUV的各参数(Y_result，U_result，V_result)由下式[11]～[13]进行表现。

Y_result＝(Y_Nr_Mix×(255-Map_Move)+Y_Base_Nr×Map_Move)/255 …式[11]

U_result＝(U_Nr_Mix×(255-Map_Move)+U_Base-Nr×Map_Move)/255 …式[12]

V_result＝(V_Nr_Mix×(255-Map_Move)+V_Base-Nr×Map_Move)/255 …式[13]

由此，如图6B所示，生成了表示由背景B和手H构成的合成图像PM的YUV图像数据。

为了比较，图6A是单将连拍到的图像进行平均相加处理之后的合成图像PN。

这样，在单将连拍到的图像进行平均加法处理之后的合成图像PN中，作为运动物体的手H的像会产生大的抖动。相对于此，根据本实施方式，即便在手H的像运动的情况下，也如图6B所示那样得到运动物体抖动少的合成图像PM。

并且，如前述，由于在步骤S204中进行平滑化处理，因此能够使合成而得到运动物体(手H)和背景的边界线更自然。

另外，由于在上述步骤S205中执行了提高映射M对比度的处理，故也能够减少合成处理中的被摄体抖动的余像(重像)。

以上，如果通过生成表示合成图像PM的YUV图像数据，并完成了图2流程图中的运动物体判定·混合处理，则对作为完成图像的合成图像PM的YUV图像数据以JPEG方式进行编码、文件化，并记录保存到图像记录部6中(步骤S110)，由此结束处理。

第二实施方式

在上述第一实施方式中，叙述了在单纯地合成连拍得到的多个图像的情况下，减少由运动的被摄体的运动物体抖动带来的影像的事例，但如果是与其无关地连拍到的图像，则合成改变曝光条件连拍到的图像，生成扩大动态范围的图像的事例中，本发明也能适用。

下面，在第二实施方式中，叙述如下情况：在合成改变曝光条件连拍到的图像，并生成扩大了动态范围的图像的事例中应用本发明。

此外，在电路结构或流程图的说明中，对与第一实施方式同样的地方，在本发明第二实施方式中也赋予相同的符号、序号，并省略其说明。

图7是具备本发明第二实施方式所涉及的图像合成装置的摄像装置的电路结构图。与上述第一实施方式的不同点在于：代替程序存储器7、合成部11，而具备程序存储器17、合成部12。

该程序存储器17存储由控制部9、图像处理部10、合成部12执行的程序，控制部9根据需要读出该程序。

另外，合成部12执行后述的曝光过度图像和疑似曝光过度图像的合成，并且对于该合成图像将后面叙述的运动物体判定映射用作差值区域所对应的透过强度映射(α映射)，减少由运动物体带来的余像。另外，通过对所述合成图像和曝光不足图像进行像素相加合成，由此来扩大动态范围。

下面，利用图8说明本发明第二实施方式的动作。用户操作设置于键输入部4的模式按钮，当设定本实施方式涉及的摄影模式时，控制部9从程序存储器7中读出程序，如图8的流程图所示那样开始处理。

也就是说，控制部9判断是否检测出快门键41被按下(步骤S301)。如果检测出快门键41被按下，则检测适当曝光，并且用将该适当曝光的曝光值0EV减去了“1”之后的-1EV指示驱动控制部2执行摄影，将由该-1EV摄影得到的曝光不足图像暂时保存到RAM8中(步骤S302)。接着，用将适当曝光的曝光值0EV增加“1”之后的+1EV指示驱动控制部2执行摄影，并将由该+1EV摄影得到的曝光过度图像暂时保存到RAM8中(步骤S303)。

因此，通过该步骤S302及步骤S303中的处理，图9A所示的由YUV图像构成的曝光不足图像U和图9B所示的由YUV图像构成的曝光过度图像O保存到RAM8中(当然，此外也可获取由适当曝光拍摄到的图像)。连拍得到的曝光不足图像U和曝光过度图像O是在表示摄像视场角整体的背景B内使作为运动物体的手H上下摆动的状态下以大致相同的摄像视场角连拍得到的。

两个图像U、O，虽然背景B相同，但先拍摄到的曝光过度图像O的手H的像与后拍摄到的曝光不足图像U的手H的像相比，位于下方。

此外，在连拍这些连拍图像U、O时，因手抖动引起的图像模糊通过公知技术(基于CCD移位或透镜移位的视场角修正技术)进行修正。

下面，以与曝光过度图像O的曝光条件相同的方式提高曝光不足图像U的增益，由此生成该疑似曝光过度图像，并暂时保存到RAM8中(步骤S304)。也就是说，以-1EV拍摄到的曝光不足图像U和以+1EV拍摄到的曝光过度图像O这两个图像的明亮度有4倍差异，曝光过度图像O比曝光不足图像U亮4倍。因此，通过用数字增益4倍处理曝光不足图像U，生成曝光条件与曝光过度图像O近似相同的疑似曝光过度图像。

下面，进行运动物体判定·α混合处理(步骤S305)。对于该运动物体判定·α混合处理的整体而言，与第一实施方式中的步骤S105相同，作为概略处理的流程而与图3说明相同。其中，在说明图3所示的流程图时，对于式子、符号或函数而言，替代第一实施方式而使用下述的式子、符号或函数。

Y_Under_4，U_Under_4，V_Under_4：疑似曝光过度图像的YUV参数；

Y_Over，U_Over，V_Over：曝光过度图像的YUV参数；

fMax()：最大值计算函数；

fLpf()：平滑化函数；

fEmphasis()：映射强调函数。

另外，在图3流程图的步骤S201中，如下式[14]～[16]所示那样，控制部9按两个图像的每个像素，求出疑似曝光过度图像和曝光过度图像的差值绝对值。

也就是说，按所述两个图像的每个像素求出下式。

Diff_Y＝|Y_Under_4-Y_Mid|…式[14]//Y差值绝对值

Diff_U＝|U_Under_4-U_Mid|…式[15]//U差值绝对值

Diff_V＝|V_Under_4-V_Mid|…式[16]//V差值绝对值

并且，由于差值越大越是被摄体运动的可能性大的区域，故在步骤S202中如下式[17]所示那样选择差值最大的差值绝对值(按两个图像对应的每个像素而言差值最大的)。

Diff＝fMax(Diff_Y，Diff-U，Diff_V)...式[17]

下面，如下式[18]所示，在步骤S203中执行对两个图像的最大差值进行平均化的处理。

Ave_Diff＝(Diff[0]+Diff[1]+…+Diff[N])/N-1...式[18]

进而，如下式[19]所示，在步骤S204中执行平滑化处理。

Diff_Lpf＝fLpf(Diff)...式[19]

通过该步骤S204中的平滑化处理，如图10A所示生成运动物体判定映射M。在该运动物体判定映射M中，斜线示出的部分是α＝0、即全透过的区域，白色部分是α＝255、即不透过的区域。

接着，如下式[20]所示，在步骤S205中进行强调处理以提高所述运动物体判定映射M的对比度。

Map_Move＝fEmphasis(Diff_Lpf)...式[20]

通过该步骤S205中的平滑化处理，如图10B所示，在运动物体判定映射M中作为运动物体的手H的像的区域中的对比度被提高。

然后，在步骤S206中将该图10B所示的运动物体判定映射M(Map_Move[0～255]：0＝无运动物体)用作α映射，来合成上述的疑似曝光过度图像和曝光过度图像。

被合成之后的图像(以下，称为混合图像)各像素的YUV的各参数(Y_result_Over，U_result_Over，V_result_Over)由下式[21]～[23]进行表现。

Y_result_Over＝(Y_Over×(255-Map_Move)+Y_Under_4×Map_Move)/255...式[21]

U_result_Over＝(U_Over×(255-Map_Move)+U_Under_4×Map_Move)/255...式[22]

V_result_Over＝(V_Over×(255-Map_Move)+V_Under_4×Map_Move)/255...式[23]

并且，在图8流程图中的步骤S305后续的步骤S306中，将该混合图像暂时保存到RAM8中。接着，对该RAM8中暂时保存的混合图像和所述曝光不足图像U进行像素相加合成(步骤S307)。

这样，如果生成表示合成图像PM的YUV图像数据，则对作为完成图像的合成图像PM的YUV图像数据以JPEG方式进行编码、文件化，并记录保存到图像记录部6中(步骤S308)，由此结束处理。

第二实施方式的变形例

图11是表示本发明第二实施方式中的变形例的处理顺序的流程图，用到以大致相同视场角拍摄到的三个图像、曝光不足图像、适当曝光图像、曝光过度图像。用户操作设置于键输入部4的模式按钮，当设定本实施方式涉及的摄影模式时，控制部9从程序存储器7中读出程序，如该流程图所示开始处理。

也就是说，控制部9判断是否检测出快门键41被按下(步骤S401)。如果检测出快门键41被按下，则检测适当曝光，并且用将该适当曝光的曝光值0EV减去了“2”之后的-2EV指示驱动控制部2执行摄影，并将由该-2EV摄影得到的曝光不足图像暂时保存到RAM8中(步骤S402)。

另外，用适当曝光的曝光值0EV指示驱动控制部2执行摄影，并将由0EV摄影得到的适当曝光图像暂时保存到RAM8中(步骤S403)。进而，用将适当曝光的曝光值0EV增加了“2”之后的+2EV指示驱动控制部2执行摄影，并将由该+2EV摄影得到的曝光过度图像暂时保存到RAM8中(步骤S404)。

因此，通过该步骤S402及步骤S403中的处理，由YUV图像构成的曝光不足图像、适当曝光图像及曝光过度图像被保存到RAM8中。

下面，以与适当曝光图像的曝光条件相同的方式提高曝光不足图像的增益，由此来生成第一疑似曝光过度图像，且以与曝光过度图像的曝光条件相同的方式提高曝光不足图像的增益，由此来生成第二疑似曝光过度图像，并将其暂时保存到RAM8中(步骤S405)。

也就是说，以-2EV拍摄到的曝光不足图像和以0EV拍摄到的适当曝光图像这两个图像的明亮度有8倍差异，适当曝光图像比曝光不足图像亮8倍。因此，以数字增益8倍处理曝光不足图像，来生成曝光条件与适当曝光图像近似相同的第一疑似曝光过度图像。

另外，以-2EV拍摄到的曝光不足图像和以+2EV拍摄到的曝光过度图像这两个图像的明亮度有16倍差异，曝光过度图像比曝光不足图像亮16倍。因此，以数字增益16倍处理曝光不足图像，来生成曝光条件与曝光过度图像近似相同的第二疑似曝光过度图像。并且，将这些第一疑似曝光过度图像和第二疑似曝光过度图像暂时保存到RAM8中。

下面，判断第一次的运动物体判定·混合处理是否结束(步骤S406)。如果尚未执行运动物体判定·混合处理，本次为第一次处理，则步骤S406的判断为“否”，进入步骤S407。

之后，利用曝光值近似相等的第一疑似曝光过度图像和适当曝光图像，进行运动物体判定·α混合处理。该运动物体判定·α混合处理(步骤S407)的处理顺序，与基于图13的流程图所说明的实施方式相同。如果利用了该第一疑似曝光过度图像和适当曝光图像的运动物体判定·α混合处理结束，则将由此得到的第一混合图像暂时保存到RAM8中(步骤S408)，并返回到步骤S406。

于是，因为第一次的运动物体判定·α混合处理已结束，故步骤S406的判断为“是”。因此，进入步骤S409，利用曝光值近似相等的第二疑似曝光过度图像和曝光过度图像，进行运动物体判定·α混合处理。该运动物体判定·α混合处理(步骤S409)的处理顺序，也与基于图3流程图所说明的所述实施方式相同。

如果使用了该第二疑似曝光过度图像和曝光过度图像的运动物体判定·α混合处理结束，则将由此得到的第二混合图像暂时保存到RAM8中(步骤S410)。

接着，对这些在RAM8中暂时保存的第一混合图像及第二混合图像和所述曝光不足图像进行像素相加合成，生成表示该合成图像的YUV图像数据(步骤S411)。

然后，对作为完成图像的合成图像PM的YUV图像数据以JPEG方式进行编码、文件化，并将其记录保存到图像记录部6中(步骤S412)，由此结束处理。

此外，在该变形例中，在步骤S411中对第一混合图像、第二混合图像及曝光不足图像进行像素相加合成，而得到完成图像。但是，也可仅仅对第一混合图像和曝光不足图像进行像素相加合成来得到完成图像，或者对第二混合图像和曝光不足图像进行像素相加合成而得到完成图像。

此外，虽然在本实施方式中示出使用YUV图像数据的情况，但也可使用RGB图像数据。此时，对于RGB的每一个，也可同样地计算差值平方。

Claims

1.一种图像合成装置，其特征在于，具备：

图像获取单元，获取在时间上连续且各自包含共同的运动物体的多个图像；

基准图像选择单元，从由所述图像获取单元所获取的多个图像中，选择包含移动量最少的所述运动物体在内的图像，作为成为合成基准的基准图像；

图像生成单元，对由所述图像获取单元获取的多个图像进行像素相加从而生成一个图像；

第一差值获取单元，对于由所述基准图像选择单元选择出的基准图像与由所述图像获取单元获取的其他图像之间的每个像素的差值，按每个所述其他图像进行获取；

选择单元，在由所述第一差值获取单元获取的每个所述其他图像的每个像素的差值中，按每个像素选择最大差值，和

混合单元，利用由所述选择单元选择出的每个像素的最大差值来生成表示透过强度的映射，利用该映射对所述基准图像和所述一个图像进行混合。

2.根据权利要求1所述的图像合成装置，其特征在于，

图像获取单元获取的多个图像是摄影视场角大致相同且曝光条件各不相同的图像，

并且所述图像合成装置还具备增益控制单元，该增益控制单元实施控制以提高由所述图像获取单元获取的多个图像中的曝光量低的图像的明亮度的增益，使得曝光条件与所述多个图像中的其他曝光条件的图像相同，

并且所述第一差值获取单元获取由所述增益控制单元提高了增益的图像和曝光条件与提高了增益的图像相同的图像之间的每个像素的差值。

3.根据权利要求2所述的图像合成装置，其特征在于，

所述图像合成装置还具备：

运动物体区域检测单元，将由所述第一差值获取单元获取的差值作为运动物体区域进行检测；

置换单元，将曝光条件与提高了所述增益的图像相同的图像中的由所述运动物体区域检测单元检测出的运动物体区域的图像置换成提高了所述增益的图像中的相同区域的图像；和

第二差值获取单元，对于由所述运动物体区域检测单元检测出的运动物体区域，获取提高了所述增益的图像和曝光条件与提高了所述增益的图像相同的图像之间的每个像素的差值的最大值，

并且，所述混合单元代替由所述第一差值获取单元获取的信息，对由所述第二差值获取单元获取的信息进行平均化，并将其作为透过强度的信息混合在由所述置换单元置换后的图像中。

4.根据权利要求3所述的图像合成装置，其特征在于，

所述图像合成装置还具备生成单元，该生成单元生成由所述混合单元混合后的图像和所述曝光量低的图像的像素相加合成图像。

5.根据权利要求1所述的图像合成装置，其特征在于，

所述混合单元对由所述差值获取单元获取的信息进行平均化，并基于该平均化后的信息进一步执行提高对比度的处理。

6.根据权利要求1所述的图像合成装置，其特征在于，

所述混合单元对由所述差值获取单元获取的信息进行平均化，并基于该平均化后的信息进一步执行平滑化处理。

7.根据权利要求1所述的图像合成装置，其特征在于，

所述图像获取单元包括摄像单元。

8.根据权利要求1所述的图像合成装置，其特征在于，

所述图像是以大致相同的摄像视场角获取的。

9.一种图像合成方法，其特征在于，包括：

图像获取步骤，获取在时间上连续且各自包含共同的运动物体的多个图像；

基准图像选择步骤，从由所述图像获取步骤所获取的多个图像中，选择包含移动量最少的所述运动物体在内的图像，作为成为合成基准的基准图像；

图像生成步骤，对由所述图像获取步骤获取的多个图像进行像素相加从而生成一个图像；

差值获取步骤，对于由所述基准图像选择步骤选择出的基准图像与由所述图像获取步骤获取的其他图像之间的每个像素的差值，按每个所述其他图像进行获取；

选择步骤，在由所述差值获取步骤获取的每个所述其他图像的每个像素的差值中，按每个像素选择最大差值，和

混合步骤，利用由该选择步骤选择出的每个像素的最大差值来生成表示透过强度的映射，利用该映射对所述基准图像和所述一个图像进行混合。