CN103108122B - 图像合成装置和图像记录方法 - Google Patents

Abstract

本发明提供图像合成装置以及图像合成方法。摄像部(1)取得在时间上连续的多个图像，控制部(9)基于来自键输入部(4)的外部操作，从由摄像部(1)取得的多个图像中选择成为合成基准的图像。图像处理部(10)比较通过键输入部(4)选择的基准图像和通过摄像部(1)取得的其它的图像，检测该比较的结果为差分的值超过规定的阈值的图像。另外，图像处理部(10)基于检测出的图像来设定合成比率。合成部(11)使用由图像处理部(10)设定的合成比率，合成包含成为基准的图像在内的所取得的多个图像，来生成1个图像。

Description

图像合成装置和图像记录方法

本发明基于并主张2011年11月14日提出的日本专利申请No.2011-213890的优先权，并将其内容援引于此。

技术领域

本发明涉及图像合成装置和图像记录方法。

背景技术

现有技术中，已知通过对连拍的图像进行像素加法运算并合成，即使在夜景等的光量较少的摄影环境中也能生成对记录而言具有足够的明亮度的图像的技术。

在特开2006-148550号公报中，记载了通过连拍并合成来补正摄像视场角的抖动的图像合成技术。

但是，若由于在曝光中出现未曾想到的频闪闪光而导致在明亮度中出现变化，则会取得明亮度上存在不均匀的图像。

若在加法运算合成中使用这样的图像，由于会保留明亮度的变化地进行合成，结果，会生成明亮度上出现不均匀的合成图像。

发明内容

本发明鉴于这样的问题点而提出，目的在于即使取得明亮度上存在不均匀的图像也不会将其影响带给合成结果。

为了达成上述目的，本发明的一个形态的特征在于，具备：图像取得部，其取得在时间上连续的多个图像；选择部，其从由所述图像取得部取得的所述多个图像中选择成为明亮度的基准的一图像；检测部，其比较由所述选择部选择的所述一图像和由所述图像取得部取得的其它的图像，检测出其比较结果为差分的值超过规定的阈值的图像；设定部，其基于由该检测部检测出的图像来设定合成比率；和图像生成部，其使用由该设定部设定的所述合成比率，来合成包含由所述检测部检测出的图像在内的由所述图像取得部取得的多个图像，从而生成1个图像。

另外，为了达成上述目的，本发明的其它形态的特征在于，包括：图像取得步骤，取得在时间上连续的多个图像；选择步骤，从在所述图像取得步骤取得的所述多个图像中选择成为明亮度的基准的一图像；检测步骤，比较所述选择步骤中选择的所述一图像和所述图像取得步骤中取得的其它的图像，检测出其比较结果为差分的值超过规定的阈值的图像；设定步骤，基于该检测步骤中检测出的图像来设定合成比率；和图像生成部，使用该设定步骤中设定的所述合成比率，来合成包含所述检测步骤中检测出的图像在内的所述图像取得步骤中取得的多个图像，从而生成1个图像。

附图说明

图1是应用本发明的一个实施方式的摄像装置的电路框图。

图2是表示图1的摄像装置中的处理顺序的流程图。

图3A是表示图2的处理顺序中的图像例的图。

图3B是表示图2的处理顺序中的图像例的图。

图3C是表示图2的处理顺序中的图像例的图。

图3D是表示图2的处理顺序中的图像例的图。

图3E是表示图2的处理顺序中的图像例的图。

具体实施方式

下面，按照附图来说明本发明的一个实施方式。图1是具备本发明的一个实施方式所涉及的图像处理装置的摄像装置的电路构成图。该摄像装置具有以卷帘快门(rolling shutter)方式来读取图像信号的功能，具有：驱动控制部2、CDS/ADC3、键输入部4、显示部5、图像记录部6、程序存储器7、RAM8、控制部9、和图像处理部10。它们介由总线而连接。键输入部4具备用于检测摄影者的记录指示的快门键41，图像处理部10具备合成部11。

在图1中，摄像部1内置有CMOS等的图像传感器、设于该图像传感器上的RGB的滤色器以及驱动器，其中该驱动器通过来自驱动控制部2的控制，将光的强度作为电荷的积蓄而保持一定时间，并将它们作为模拟的摄像信号而输出给CDS/ADC3。并且，通过检测摄影者的经由快门键41、控制部9、驱动控制部2的摄影指示，来取得多个图像(彩色图像)。

CDS/ADC3是被输入与从摄像部1输出的被摄体的光学像相应的模拟的摄像信号的电路，由用于保持所输入的摄像信号的CDS、放大该摄像信号的增益调整放大器(AGC)、和将放大后的摄像信号变换为数字的摄像信号的A/D变换器(ADC)等构成。另外，与增益调整放大器的调整相关的控制也是基于来自驱动控制部2的指示来进行。由此，即使使曝光条件(快门速度或光圈值等)相同来取得多张图像，也能生成因依次改变了增益调整放大器的RGB或图像的色调而条件不同的多个图像。

另外，在本实施方式中，驱动控制部2进行与增益调整放大器相关的控制，但并不限于此，例如也可以由控制部9来进行上述的控制。

键输入部4除了上述的快门键41以外，还具备以本发明所涉及的图像的取得、记录为目的的用于检测向摄影模式的切换、显示的切换等的各种按键。

显示部5具有显示所合成的图像的功能。图像记录部6在执行本发明所涉及的合成处理之后，记录、容纳以JPEG格式而编码的图像数据(图像文件)。程序存储器7存储控制部9、图像处理部10所执行的程序，控制部9根据需要读取该程序。RAM8具有暂时保存由于各处理而产生的处理中的数据的功能。控制部9控制该摄像装置整体的处理动作。除了图像数据的编码/解码处理之外，图像处理部10还具备与本发明的特征性构成对应的合成部11。

即，合成部11执行从连拍图像中选择的1张基准图像、和对连拍图像进行加法运算合成而得到的合成图像的合成，并且，通过对该合成图像使用与后述的差分区域对应的透过强度映射(α映射：αmap)，来按照每个像素区域改变合成比率进行合成，减轻明亮度的不均匀的影响。

接下来，说明本实施方式的动作。用户操作设于键输入部4的模式按钮来设定本实施方式所涉及的摄影模式时，控制部9从程序存储器7中读取程序，并如图2的流程图所示那样开始处理。

即，控制部9判断是否检测到快门键41的按下(步骤S101)。若检测到快门键41的按下，则指示驱动控制部2来执行N张连拍(步骤S102)。接下来，基于通过连拍而得到的图像数据来生成以亮度色差的色空间信息而表现的YUV形式的连拍图像的图像数据群，并保存在RAM8中(步骤S103)。

因此，若将连拍张数N设为例如6张，则连拍图像P1～P6被保存在RAM8中。另外，这些连拍图像P1～P6能通过公知的技术(CCD移位或基于镜头移位的视场角补正技术)来补正图像的抖动。

接下来，从这些连拍图像中选择1张基准图像(步骤S104)。在该基准图像的选择时，基于用户进行的外部操作来选择。例如，在显示部5一览显示连拍图像P1～P6，将通过用户操作而从这些一览显示的连拍图像P1～P6中选择的1张图像设为基准图像。在本实施方式中，假设将连拍图像P3选择为基准图像。

然后，用LPF(低通滤波)对该选择的基准图像的图像数据进行降噪处理(步骤S105)。然后，将该降噪处理后的基准图像的图像数据保存在RAM8中(步骤S106)。因此，通过在该步骤S105以及步骤S106的处理，在本例中，连拍图像P3(基准图像)的图像数据在降噪处理后被保存到RAM8中。

另外，关于连拍的多张图像进行降噪并合成(步骤S107)。即，若按照每个像素对多张连拍图像的图像数据进行加法运算平均，就能在降噪的同时进行合成。N张连拍图像的图像数据加法运算平均的数学式表示为下述的式[1]～[3]。另外，Y_result、U_result以及V_result表示各个像素的亮度色差参数的合成后的信息。

Y_result＝(Y[0]+Y[1]+…Y[N])/N  …式[1]

U_result＝(U[0]+U[1]+…U[N])/N  …式[2]

V_result＝(V[0]+V[1]+…V[N])/N  …式[3]

只要使用了多张连拍图像的具有降噪效果的合成方法，则并不限于加法运算平均，也可以是其它的处理方法。并且，将该降噪后的全部连拍图像的合成图像的图像数据保存到RAM8(步骤S108)。

因此，在结束该步骤S108的处理的时间点，在RAM8中保存下述的图像数据。

(1)各连拍图像的图像数据

(2)降噪处理后的基准图像的图像数据

(3)降噪处理后的合成图像的图像数据

接下来，根据在所述步骤S104选择的基准图像来生成评价基准图像(步骤S109)。在此，评价基准图像，是指将所述基准图像例如缩小为32×32像素后的缩小图像。接下来，根据在所述步骤S104选择的基准图像以外的其它的连拍图像来生成评价对象图像(步骤S110)。在此，评价基准图像是指将所述基准图像例如缩小为32×32像素后的缩小图像。

然后，在下面的步骤S111到步骤S115的处理中，进行所述评价基准图像和各连拍图像的每个像素的差分的比较、评价。此时，首先判断是否还有未进行评价的评价对象图像(连拍图像)(步骤S111)。若还有未进行比较、评价的评价对象图像(连拍图像)，则比较评价基准图像和还未进行比较、评价的评价对象图像(步骤S112)。

在比较后，判断评价对象图像和评价基准图像的差分是否为阈值以上(步骤S113)。即，如下面数学式[4]～[6]所示那样，控制部9按照各连拍图像的图像数据(1)的每个像素，求取降噪处理后的评价基准图像的图像数据(2)和评价对象图像(由缩小图像构成的各连拍图像)的图像数据(1)之间的差分绝对值。

即在下式中，若设

Y_Base_Nr、U_Base_Nr、V_Base_Nr：上述(2)的降噪后基准图像数据的YUV各参数

Y[n]、U[n]、V[n]：第n张图像数据的YUV各参数

N：合成张数

fMax()：最大值算出函数

fLpf()：平滑化函数

fEmphasis()：映射强调函数

则按各连拍图像的每个像素来求取

Diff_Y[n]＝|Y_base_Nr-Y[n]|  …式[4]//Y的差分绝对值

Diff_U[n]＝|U_base_Nr-U[n]|  …式[5]//U的差分绝对值

Diff_V[n]＝|V_base_Nr-V[n]|  …式[6]//V的差分绝对值

然后，判断所述差分绝对值是否为规定的阈值以上。在该步骤S113的判断的结果是差分不为阈值以上的情况下，判断为该评价对象图像是在明亮度上没有不均匀的图像数据，执行递增处理(步骤S115)，接下来对下一评价对象图像反复进行步骤S112起的处理。另外，在步骤S113的判断的结果是差分为阈值以上的情况下，则判断为在明亮度上存在不均匀，存在局部变亮的图像区域，对该评价对象图像设置标记(步骤S114)。

即，如前述那样，本实施方式所涉及的摄像装置具有以卷帘快门方式来读取图像信号的功能。因此，若正在连拍中出现了暂时性的摄影环境上的明亮度变化，则不仅会取得图3A所示的在明亮度上没有不均匀的图像，还会取得图3B所示的在明亮度上有不均匀的图像。图3B的图像是仅区域B2(阴影区域)的明亮度局部地比区域B1、B3明亮、在明亮度上有不均匀的图像。因此，若将图3A的图像设为比较基准图像PA，将图3B的图像设为比较对象图像PB，则仅区域2B的差分绝对值为规定的阈值以上，因此，在步骤S113的判断成为“是”，并对比较对象图像PB设置标记。

如此，若反复进行连拍张数份的步骤S111到步骤S115的处理，则不再有比较对象的评价对象图像，步骤S111的判断成为“否”。因此，控制部9使处理从步骤S111前进到S116，来判断是否有执行了前述步骤S114的处理而被设置了标记的评价对象图像(连拍图像)。在没有被设置标记的评价对象图像的情况下，不执行步骤S117的处理，前进到步骤S118的处理，使用α映射来进行合成。

即，在前述的式[4]～[6]中，由于可以说是差分越大，则越是明亮度上有不均匀的图像区域，因此，如下述式[7]所示，选择差分最大的图像区域(连拍图像的对应的每个像素中差分最大的图像区域)。

Diff[n]＝fMax(Diff_Y[n]，Diff_U[n]，Diff_V[n])  …式[7]

接下来，如下述式[8]所示，执行将除基准图像外的各连拍图像的最大差分进行平均化的处理。

Ave_Diff＝(Diff[0]+Diff[1]+...+Diff[N])/N-1  …式[8]

进而，如下述式[9]所示，执行平滑化处理。

Ave_Diff_Lpf＝fLpf(Ave_Diff)  …式[9]

通过该平滑化处理，生成映射M。该映射M由α＝0而全透过的区域、和α＝255而不透过的区域来构成。

接着，如下述式[10]所示，进行强调处理从而来提升所述映射M的对比度。

Map_Move＝fEmphasis(Ave_Diff_LPf)  …式[10]

通过该强调处理，提升了在映射M中，重叠了运动体的像的区域的对比度。

并且，最终将该映射M(Map_Move[0～255]：0＝没有运动体)作为α映射，合成前述的

(2)降噪处理后的基准图像的图像数据

(3)降噪处理后的合成图像的图像数据(步骤S118)。

所合成的各像素的YUV的各参数(Y_result、U_result、V_result)用下述式[11]～[13]来表现。

Y_result＝(Y_Nr_Mix×(255-Map_Move)+Y_Base_Nr×Map_Move)/255  …式[11]

U_result＝(U_Nr_Mix×(255-Map_Move)+U_Base_Nr×Map_Move)/255  …式[12]

V_result＝(V_Nr_Mix×(255-Map_Move)+V_Base_Nr×Map_Move)/255  …式[13]

由此来生成合成图像的图像数据。

但是，在步骤S116的判断的结果是有被设置标记的评价对象图像的情况下，修正与被设置标记的评价对象图像对应的图像的α混合率进行修正(步骤S117)，然后再执行前述的步骤S118的处理。

即，图3B所示的比较对象图像PB是仅区域B2的明亮度比区域B1、B3局部地明亮的图像，在前述步骤S114的处理中被设置标记。因此，成为有被设置标记的比较对象图像PB的情况，从步骤S116前进到步骤S117，来修正与评价对象图像PB对应的图像的α混合率(步骤S117)。

即，若使用图3C所示的图像PC来说明，则该图像PC仅与所述评价对象图像PB的区域B2对应的区域C2局部地比与区域B1以及B3对应的C1以及C3明亮。

因此，在该进行了降噪处理的全部连拍图像的合成图像((3)降噪处理后的合成图像的YUV图像数据)上合成仅区域C2受到闪光的影响而更明亮的连拍图像PC。因此，若直接使用该合成图像，将映射M作为α映射来合成

(2)降噪处理后的基准图像的图像数据、

(3)降噪处理后的合成图像的图像数据，

则在“(3)降噪处理后的合成图像的图像数据”中会包含区域C2的明亮度分量，因此，如图3D所示，会生成仅与连拍图像PC的区域C2对应的区域D2局部地比与区域C1以及C3对应的D1以及D3明亮的合成图像PD。

因此，在本实施方式中，在步骤S117中，对与被设置标记的评价对象图像对应的图像的α混合率进行修正。更具体地，不采用图像PC的区域C2，采用区域C1、C3，执行与步骤S107相同的处理，对连拍的多张图像进行降噪并合成。由此，能生成在连拍的多张的图像中未采用图像PC的区域C2的“(3)降噪后的合成图像的图像数据”。

然后，使用在步骤S117的处理中新生成的“(3)降噪处理后的合成图像的图像数据”，在步骤S118中将映射M作为α映射，来合成

(2)降噪处理后的基准图像的图像数据，

(3)降噪处理后的合成图像的图像数据。

此时，在步骤S118的合成中使用的“(3)降噪处理后的合成图像的图像数据”中不包含与连拍图像PC的区域C2对应的分量。由此，如图3E所示，区域E1、E2、E3为相同明亮度，能得到在明亮度中没有不均匀的合成图像PE。

并且，如前述那样，由于在本实施方式中进行平滑化处理，因此能合成出运动体和背景的边界线更自然的图像。另外，由于执行提升映射M的对比度的处理，因此还能减少合成处理中的被摄体抖动的残像(ghost)。

以上，说明了本发明的实施方式，但本发明并不限于这些实施方式，还包含记载于权利要求的范围内的发明以及等同的范围。

Claims (5)

1.一种图像合成装置，其特征在于，具备：

图像取得部，其取得在时间上连续的多个图像；

选择部，其从由所述图像取得部取得的所述多个图像中选择成为明亮度的基准的一图像；

检测部，其比较由所述选择部选择的所述一图像和由所述图像取得部取得的其它的图像，检测出其比较结果为差分的值超过规定的阈值的图像；

设定部，其基于由该检测部检测出的图像，按每个像素区域来设定合成比率；和

图像生成部，其使用由该设定部设定的所述合成比率，来合成包含由所述检测部检测出的图像在内的由所述图像取得部取得的多个图像，从而生成1个图像。

2.根据权利要求1所述的图像合成装置，其特征在于，

所述图像合成装置还具备：

合成图像取得部，其对由所述图像取得部取得的图像进行像素加法运算来取得合成图像，

所述图像生成部合成由所述合成图像取得部取得的图像和所述一图像，来生成1个图像。

3.根据权利要求1所述的图像合成装置，其特征在于，

所述图像取得部包括摄像部。

4.根据权利要求3所述的图像合成装置，其特征在于，

所述设定部根据所述摄像部拍到图像信号的瞬间的摄影环境中的外部光的照射状况、和基于所述摄像部拍到图像信号的定时而产生的明暗差，来设定所述合成比率。

5.一种图像合成方法，其特征在于，包括：

图像取得步骤，取得在时间上连续的多个图像；

选择步骤，从在所述图像取得步骤取得的所述多个图像中选择成为明亮度的基准的一图像；

检测步骤，比较所述选择步骤中选择的所述一图像和所述图像取得步骤中取得的其它的图像，检测出其比较结果为差分的值超过规定的阈值的图像；

设定步骤，基于所述检测步骤中检测出的图像，按每个像素区域来设定合成比率；和

图像生成步骤，使用该设定步骤中设定的所述合成比率，来合成包含所述检测步骤中检测出的图像在内的所述图像取得步骤中取得的多个图像，从而生成1个图像。