CN103686101A - 图像处理装置、图像处理方法及固体拍摄装置 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法及固体拍摄装置。根据实施方式，高动态范围合成部将第1图像信号与第2图像信号合成。主控制用曝光值计算部，基于第1图像信号以及第2图像信号中被指定为主控制用信号的一方，计算主控制用曝光值。副控制用曝光值计算部将主控制用曝光值乘以高动态范围倍率，作为关于副控制用信号的副控制用曝光值。副控制用信号使亮度调整追随于主控制用信号。

Description

图像处理装置、图像处理方法及固体拍摄装置

相关申请的参考

本申请享有2012年9月3日提交的日本专利申请2012-193412的优先权，在本申请中引用该日本专利申请的全部内容。

技术领域

本实施方式总体涉及图像处理装置、图像处理方法及固体拍摄装置。

背景技术

高动态范围（high dynamic range，HDR）合成，作为用于表现与通常的拍摄相比宽幅的动态范围的拍摄技术而为人们所知。作为HDR合成的方法，例如有下述方法：获取电荷蓄积时间互不相同的长时间曝光图像信号和短时间曝光图像信号，生成合成图像。固体拍摄装置，在一并控制HDR合成图像的拍摄和自动曝光（auto exposure，AE）工作的情况下，需要进行对于长时间曝光图像信号以及短时间曝光图像信号的复杂的运算处理，因此电路规模的增大和/或处理时间的增加就成为问题。

发明内容

本发明所要解决的课题在于提供关于通过高动态范围合成形成的合成图像可以通过简单的构成控制曝光工作的图像处理装置、图像处理方法及固体拍摄装置。

实施方式的图像处理装置具备：高动态范围合成部，其通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号与第1电荷蓄积期间中向第1像素入射的入射光量相应，所述第2图像信号与比所述第1电荷蓄积期间短的第2电荷蓄积期间中向第2像素入射的入射光量相应；曝光值计算部，其计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及控制量转换部，其将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，其中所述曝光值计算部包括：主控制用曝光值计算部，其基于所述第1图像信号以及所述第2图像信号中被指定为主控制用信号的一方，计算关于所述主控制用信号的所述曝光值即主控制用曝光值；以及副控制用曝光值计算部，其计算关于副控制用信号的所述曝光值即副控制用曝光值，所述副控制用信号是所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方且使亮度调整追随于所述主控制用信号；所述副控制用曝光值计算部将由所述主控制用曝光值计算部计算的所述主控制用曝光值乘以高动态范围倍率，作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

另一实施方式的图像处理方法包括：通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号与第1电荷蓄积期间中向第1像素入射的入射光量相应，所述第2图像信号与比所述第1电荷蓄积期间短的第2电荷蓄积期间中向第2像素入射的入射光量相应；计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，其中指定所述第1图像信号以及所述第2图像信号中的一方作为主控制用信号，将所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方作为使亮度调整追随于所述主控制用信号的副控制用信号，所述曝光值的计算：包括关于所述主控制用信号的所述曝光值即主控制用曝光值的计算和关于所述副控制用信号的所述曝光值即副控制用曝光值的计算；将高动态范围倍率乘以所述主控制用曝光值而得到的结果作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

另外，另一实施方式的固体拍摄装置具有：像素阵列，其包括检测第1电荷蓄积期间中的入射光量的第1像素和检测比所述第1电荷蓄积期间短的第2电荷蓄积期间中的入射光量的第2像素；高动态范围合成部，其通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号是所述第1像素与所述入射光量相应地输出的信号，所述第2图像信号是所述第2像素与所述入射光量相应地输出的信号；曝光值计算部，其计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及控制量转换部，其将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，其中所述曝光值计算部包括：主控制用曝光值计算部，其基于所述第1图像信号以及所述第2图像信号中被指定为主控制用信号的一方，计算关于所述主控制用信号的所述曝光值即主控制用曝光值；以及副控制用曝光值计算部，其计算关于副控制用信号的所述曝光值即副控制用曝光值，所述副控制用信号是所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方且使亮度调整追随于所述主控制用信号；所述副控制用曝光值计算部将由所述主控制用曝光值计算部计算的所述主控制用曝光值乘以高动态范围倍率，作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

根据上述构成的图像处理装置、图像处理方法以及固体拍摄装置，关于由高动态范围合成形成的合成图像，能够通过简单的构成控制曝光工作。

附图说明

图1是表示第1实施方式涉及的固体拍摄装置的概略结构的框图。

图2是表示具备图1所示的固体拍摄装置的数字照相机的概略结构的框图。

图3是说明像素阵列中的像素的排列的图。

图4是说明长时间曝光像素以及短时间曝光像素的输出特性和由HDR合成电路进行的图像信号的合成的图。

图5是说明由AE控制电路进行的AE工作的控制的图。

图6是说明由AE控制电路进行的ES、AG以及DG的各控制量的计算的图。

图7是表示AE控制电路的结构的框图。

图8关说明闪烁的发生的图。

图9是表示图7所示的AE控制电路中的、在通常拍摄模式下的AE工作的控制中使用的要素的框图。

图10是表示第2实施方式涉及的图像处理装置所包含的AE控制电路的结构的框图。

图11是表示第3实施方式涉及的图像处理装置所包含的AE控制电路的结构的框图。

图12是说明由AE控制电路进行的ES、AG以及DG的各控制量的计算的图。

具体实施方式

以下参照附图，详细地说明实施方式涉及的图像处理装置、图像处理方法及固体拍摄装置。此外，本发明并不由这些实施方式限定。

图1是表示第1实施方式涉及的固体拍摄装置的概略结构的框图。图2是表示具备图1所示的固体拍摄装置的数字照相机的概略结构的框图。

数字照相机1具有照相机模块2以及后级处理部3。照相机模块2具有拍摄光学系统4以及固体拍摄装置5。后级处理部3具有图像信号处理器（image signal processor，ISP）6、存储部7以及显示部8。照相机模块2除了数字照相机1以外也可应用于例如带照相机的便携终端等电子设备。

拍摄光学系统4获取来自被摄体的光，使被摄体像成像。固体拍摄装置5对被摄体像进行拍摄。ISP6实施通过固体拍摄装置5的拍摄得到的图像信号的信号处理。存储部7存储经过了ISP6中的信号处理后的图像。存储部7根据使用者的操作等，向显示部8输出图像信号。显示部8根据从ISP6或存储部7输入的图像信号，显示图像。显示部8例如是液晶显示器。

固体拍摄装置5例如为CMOS（complementary metal oxidesemiconductor，互补金属氧化物半导体）图像传感器。固体拍摄装置5除了CMOS图像传感器外，也可以是CCD（charge coupled device，电荷耦合器件）。固体拍摄装置5具有像素阵列10、前处理部11、拍摄处理电路12、接口（I／F）14、定时生成器15以及自动曝光（auto exposure，AE）控制电路16。

像素阵列10将由拍摄光学系统4获取的光在光电二极管中转换成信号电荷，对被拍摄体像进行拍摄。像素阵列10以例如与拜耳排列对应的顺序获取R（红）、G（绿）及B（蓝）的各信号值，由此生成模拟图像信号。

前处理部11，对来自像素阵列10的图像信号，实施相关双重采样、基于模拟增益（AG）以及数字增益（DG）的放大、模拟数字转换（AD转换）。

拍摄处理电路12对从前处理部11输入的数字图像信号实施各种信号处理。拍摄处理电路12具有高动态范围（HDR）合成部13。HDR合成部13实施向拍摄处理电路12输入的数字图像信号的HDR合成，生成合成图像。拍摄处理电路12，除了由HDR合成部13进行的HDR合成外，还实施例如缺陷修正、噪音降低、阴影修正、白平衡调整等信号处理。

I／F14输出经过了拍摄处理电路12中的信号处理后的图像信号。I／F14对图像信号适宜进行用于向外部设备的传输的处理，例如从串行数据向并行输出或者从并行输入向串行数据的转换等处理。

AE控制电路16根据拍摄时的亮度控制数字照相机1的AE工作。AE控制电路16对前处理部11传送AG以及DG的数据。AE控制电路16对定时生成器15传送电子快门时间（ES）的数据。拍摄处理电路12以及AE控制电路16作为图像处理装置发挥作用。定时生成器15输出用于像素阵列10的驱动的脉冲。

图3是说明像素阵列中的像素的排列的图。像素阵列10中Gr、R、Gb以及B这4个像素配置为拜耳排列。R像素检测红色光。B像素检测蓝色光。Gr像素以及Gb像素检测绿色光。Gr像素在水平行上与R像素并列。Gb像素在水平行上与B像素并列。

像素阵列10，按每个包括GR／R行和B／Gb行这2条水平行的行区域，使电荷蓄积期间交替不同。长时间曝光行区域（第1行区域）17的电荷蓄积期间即第1电荷蓄积期间，比短时间曝光行区域（第2行区域）18的电荷蓄积期间即第2电荷蓄积期间长。

长时间曝光行区域17由包括第1像素即长时间曝光像素的2条水平行构成。短时间曝光行区域18由包括第2像素即短时间曝光像素的2条水平行构成。长时间曝光行区域17以及短时间曝光行区域18在垂直方向上交替地配置。

长时间曝光像素检测第1电荷蓄积期间中的入射光量。短时间曝光像素检测第2电荷蓄积期间中的入射光量。像素阵列10输出与第1电荷蓄积期间中向长时间曝光像素入射的入射光量相应的长时间曝光图像信号（第1图像信号）和与第2电荷蓄积期间中向短时间曝光像素入射的入射光量相应的短时间曝光图像信号（第2图像信号）。HDR合成部13将向拍摄处理电路12输入的长时间曝光图像信号以及短时间曝光图像信号合成。

图4是说明长时间曝光像素以及短时间曝光像素的输出特性和由HDR合成电路进行的图像信号的合成的图。长时间曝光像素，若入射光量大于预定的饱和光量I0，则通过光电转换而产生的信号电荷达到光电二极管的蓄积容量。

在入射光量为饱和光量I0以下的情况下，长时间曝光图像信号S1的信号级别与入射光量的增加成比例地变高。在入射光量比饱和光量I0大时，长时间曝光图像信号S1的信号级别变为一定。短时间曝光图像信号S2的信号级别，在入射光量比饱和光量I0大的情况下，也与入射光量的增加成比例地变高。

HDR合成部13，为了关于长时间曝光像素和短时间曝光像素使输出级别一致，将短时间曝光图像信号S2乘以预定的HDR倍率。HDR倍率，对应于长时间曝光像素的第1电荷蓄积期间与短时间曝光像素的第2电荷蓄积期间之比即曝光比。HDR合成部13经过使用长时间曝光图像信号S1和经过了HDR倍率的相乘后的短时间曝光图像信号S2的插补处理，生成合成图像信号S。

图5是说明由AE控制电路进行的AE工作的控制的图。图示的曲线的纵轴表示对于入射光的信号级别的调整量。AE控制电路16通过与ES相应地蓄积的电荷量和与AG以及DG相应的信号级别的放大率的调节，使信号级别的调整量可变。

图示的曲线的横轴表示照度。照度设为，在横轴方向上随着从左向右变低。AE控制电路16，为了使得拍摄时的照度越低信号级别越高，增大信号级别的调整量。图中设为，带点的部分表示与ES相应的信号级别的调整量、带斜线的部分表示基于DG的信号级别的调整量、带网格的部分表示基于AG的信号级别的调整量。

照相机模块2在室内的拍摄中，有时由于供给照明光的萤光灯的电源频率导致图像的明暗变化，产生所谓闪烁。照相机模块2通过以闪烁的周期的倍数的周期为单位来调节ES，能够抑制闪烁。例如，在萤光灯的电源频率为60Hz的情况下，照相机模块2通过每1／120秒就调节ES能够抑制闪烁。

例如，在将合成图像的帧速率设为60fps（frame per second，帧每秒）的情况下，照相机模块2为了抑制60Hz的闪烁，将ES设为2／120秒和1／120秒中的任一个。照相机模块2在照度高的情况下，为了使相对于入射光量的输出电荷的饱和的抑制比闪烁的抑制优先，在1／120秒以下的范围内调整ES。

在此例中，AE控制电路16将照相机模块2的具有拍摄感度的照度范围分为3个等级，来切换与ES、AG以及DG相应的AE工作的控制（亮度调整）。AE控制电路16在低照度范围b3中使ES以2／120秒而一定，仅实施AG的调整。AE控制电路16，在相对于照度范围b3为高照度侧的照度范围b2中使ES以1／120秒而一定，仅实施DG的调整。

AE控制电路16在相对于照度范围b2为高照度侧的照度范围b1中，进行随着照度变高而使ES分等级地变短的调整。AE控制电路16，通过DG调整与低于ES的量子化单位相当的照度的变化量。此外，在ES的量子化单位为照度的分辨率以下的情况下，AE控制电路16也可以不进行基于DG的调整。

此外，由AE控制电路16进行的AE工作的控制方式能够适宜变化。例如，AE控制电路16，在根据照度确定ES后，既可以将AG以及DG中的任一个设为调整对象，也可以将AG以及DG两方作为调整对象。

AE控制电路16也可以根据合成图像的帧速率和/或闪烁的周期而适宜变更ES的设定。在相对于闪烁的频率60Hz将合成图像的帧速率设为30fps的情况下，AE控制电路16能够进行将ES最大设为4／120秒的调整。在闪烁的频率为50Hz的情况下，AE控制电路16每1／100秒就调节ES。

图6是说明由AE控制电路进行的ES、AG以及DG的各控制量的计算的图。AE控制电路16，将长时间曝光图像信号以及短时间曝光图像信号中被指定为主控制用信号的一方作为对象而实施AE工作的控制。AE控制电路16，使对于副控制信号的AE工作追随于对于主控制用信号的AE工作。副控制信号设为长时间曝光图像信号以及短时间曝光图像信号中的主控制用信号以外的一方。

例如，假定将长时间曝光图像信号指定为主控制用信号。AE控制电路16基于长时间曝光图像信号，求出关于长时间曝光像素的适合曝光L1，并求出与适合曝光L1相应的控制量。例如，在适合曝光L1处于照度范围b3内时，AE控制电路16关于ES求出控制量ES1（例如2／120秒），关于AG求出控制量AG1（例如6倍）。

AE控制电路16通过将适合曝光L1乘以HDR倍率M，求出关于短时间曝光像素的适合曝光L2。例如，在HDR倍率M被定为4倍的情况下，AE控制电路16将适合曝光L1乘以4而设为适合曝光L2。

AE控制电路16求出与适合曝光L2相应的控制量。例如，在适合曝光L2处于照度范围b3内时，AE控制电路16关于ES求出控制量ES2（例如2／120秒），关于AG求出控制量AG2（例如1.5倍）。

在图6中，L1与L2在横轴方向上的间隔相当于与HDR倍率M相应的照度之差。所谓使副控制用信号的AE工作追随于主控制用信号的AE工作的AE控制，在图6中能够表现为：以将L1与L2在横轴方向上的间隔设为一定的状态，在横轴方向上使L1以及L2移动而参照纵轴的调整量的工作。

图7是表示AE控制电路的结构的框图。AE控制电路16具有主控制用信号切换部20、辉度信号生成部21、辉度平均值计算部22、辉度目标值比较部23、EV计算部24、控制量转换部25、闪烁检测用累计部26以及闪烁周期推定部27。

对AE控制电路16，输入来自拍摄处理电路12（参照图1）的长时间曝光图像信号S1以及短时间曝光图像信号S2。主控制用信号切换部20将向AE控制电路16输入的长时间曝光图像信号S1以及短时间曝光图像信号S2中的一方，作为主控制用信号而输出。主控制用信号切换部20根据指示主控制用信号的切换的切换指示信号33，将作为主控制用信号的输出切换成长时间曝光图像信号S1和短时间曝光图像信号S2。

切换指示信号33例如为与由使用者进行的设定操作相应的信号。照相机模块2，在例如重视图像的暗部的画质的情况下，可以选择来自长时间曝光像素的长时间曝光图像信号S1作为主控制用信号。

辉度信号生成部21根据来自主控制用信号切换部20的主控制用信号生成辉度信号35。辉度信号35例如为关于与YUV色空间的辉度分量相当的信息的信号。辉度信号生成部21例如从作为主控制用信号的RAW图像数据提取关于G分量的辉度信息，设为辉度信号35。辉度信号生成部21将关于由Gr像素以及Gb像素检测出的G分量的辉度值设为辉度信号35。

辉度信号生成部21采用R、G以及B各分量中能够获得最多关于辉度的信息的G分量的辉度值，作为辉度信号35。此外，辉度信号生成部21不限于仅根据G分量的辉度值来生成辉度信号35的情况。例如，辉度信号生成部21也可以使用R、G以及B各分量的辉度值来生成辉度信号35。辉度信号35也可以为例如按预定比率将R、G以及B各分量的辉度值相加而得到的信号。

辉度平均值计算部22关于整个画面对辉度信号35进行积分并平均化，计算辉度平均值36。辉度平均值计算部22也可以在将画面内所设定的每个区域的权重施加于辉度信号35的基础上计算辉度平均值36。

辉度目标值比较部23将来自辉度平均值计算部22的辉度平均值36与预先设定的辉度目标值进行比较，求出差。辉度目标值比较部23将辉度平均值36与辉度目标值的差作为用于根据拍摄时的照度调整合成图像的亮度的亮度调整量37而输出。亮度调整量37为例如用于曝光修正的曝光值（EV）的修正量。

EV计算部24包括主控制用EV计算部31以及副控制用EV计算部32。主控制用EV计算部31计算主控制用EV41。主控制用EV41是关于主控制用信号的EV。主控制用EV计算部31通过使来自辉度目标值比较部23的亮度调整量37反映于基于主控制用信号的图像的亮度的运算，计算主控制用EV41。主控制用EV41对应于关于主控制用信号的适合曝光L1。

副控制用EV计算部32计算副控制用EV42。副控制用EV42是关于副控制用信号的EV。副控制用EV计算部32将由主控制用EV计算部31计算的主控制用EV41乘以HDR倍率M，作为副控制用EV42。副控制用EV42对应于关于副控制用信号的适合曝光L2。

副控制用EV计算部32根据切换指示信号33识别长时间曝光图像信号S1以及短时间曝光图像信号S2中的哪一个是副控制用信号。例如，在HDR倍率M设定为4倍且长时间曝光图像信号S1被指定为主控制用信号的情况下，副控制用EV计算部32将主控制用EV41乘以1／4，作为副控制用EV42。另一方面，在HDR倍率M设定为4倍且短时间曝光图像信号S2被指定为主控制用信号的情况下，副控制用EV计算部32将主控制用EV41乘以4，作为副控制用EV42。此外，HDR倍数M例如为预先设定的固定值。

闪烁检测用累计部26关于来自主控制用信号切换部20的主控制用信号，实施用于闪烁检测的积分，输出积分结果34。闪烁周期推定部27基于来自闪烁检测用累计部26的积分结果34来推定闪烁的周期，并输出推定结果38。

图8是说明闪烁的发生的图。萤光灯的照明以电源频率的2倍的频率闪烁。通过依次进行每行的信号电荷的读出，基于电子快门的曝光开始时刻依读出行的位置而不同。因此，在帧内，由萤光灯的闪烁导致的辉度不均成为明暗条纹而显现。

相对于电源频率50Hz或60Hz，闪烁周期为1／100s或1／120s。例如，在相对于电源频率50Hz，帧周期为1／30s的情况下，产生处于光量最大的水平同步期间T1的行为明部、处于光量最小的水平同步期间T2的行为暗部的1／100s周期的条纹。水平同步期间T1以及T2例如设为2ms。

闪烁检测用累计部26关于画面内的多个部位实施以行为单位的主控制信号的积分。闪烁周期推定部27根据画面内的每个部位的积分结果34的差来推定闪烁周期。例如，闪烁周期推定部27，通过将每隔1／100s的积分结果34彼此的差与每隔1／120s的积分结果34彼此的差进行比较，推定闪烁周期为1／100s以及1／120s中的哪一个。

此外，在相对于电源频率50Hz帧周期为1／100s的整数倍时以及相对于电源频率60Hz帧周期为1／120s的整数倍时，无论曝光定时如何曝光量都一定，因此闪烁不会发生。闪烁周期推定部27推定在帧周期不是荧光灯的闪烁周期的整数倍时发生的闪烁的周期。

控制量转换部25将来自主控制用EV计算部31的主控制用EV41向关于ES的控制量ES1、关于AG的控制量AG1以及关于DG的控制量DG1转换。控制量转换部25根据适合曝光L1即主控制用EV41处于哪一照度范围（例如图6所示的b1～b3）内，来确定控制量ES1。

在图6所示的例子中，在主控制用EV41包含于照度范围b2以及b3中的任一范围的情况下，控制量转换部25根据作为推定结果38输出的闪烁周期，确定控制量ES1。控制量转换部25将推定出的闪烁周期的整数倍的值作为控制量ES1。

在主控制用EV41包含于照度范围b3的情况下，控制量转换部25，使主控制用EV41与控制量AG1处于线性关系而确定与主控制用EV41相应的控制量AG1。在主控制用EV41包含于照度范围b2的情况下，控制量转换部25，使主控制用EV41与控制量DG1处于线性关系而确定与主控制用EV41相应的控制量DG1。

在主控制用EV41包含于照度范围b1的情况下，控制量转换部25根据与照度相应地分等级设定的ES来确定与主控制用EV41相对应的控制量ES1。在该情况下，控制量转换部25与推定结果38即闪烁周期无关地确定控制量ES1。控制量转换部25，使在ES的量子化单位内主控制用EV41与控制量DG1处于线性关系而确定与主控制用EV41相应的控制量DG1。

控制量转换部25将来自副控制用EV计算部32的副控制用EV42向关于ES的控制量ES2、关于AG的控制量AG2以及关于DG的控制量DG2转换。控制量转换部25，根据适合曝光L2即副控制用EV42处于哪一照度范围（例如图6所示的b1～b3）内，来确定控制量ES2。控制量转换部25，与从主控制用EV41向各控制量ES1、AG1以及DG1的转换同样地，将副控制用EV42向各控制量ES2、AG2以及DG2转换。

控制量转换部25分时地实施从由主控制用EV计算部31计算的主控制用EV41向各控制量的转换和从由副控制用EV计算部32计算的副控制用EV42向各控制量的转换。AE控制电路16，通过关于主控制用信号以及副控制用信号在各控制量的生成中使用共同的控制量转换部25，能够实现电路规模的抑制。

在例如长时间曝光图像信号S1被指定为主控制用信号的情况下，图1所示的定时生成器15对像素阵列10中的长时间曝光像素输出与控制量ES1相应的脉冲。定时生成器15对像素阵列10中的短时间曝光像素输出与控制量ES2相应的脉冲。

另外，在长时间曝光图像信号S1被指定为主控制用信号的情况下，图1所示的前处理部11使用控制量AG1以及DG1来放大长时间曝光图像信号S1。前处理部11使用控制量AG2以及DG2来放大短时间曝光图像信号S2。

EV计算部24计算包含于照相机模块2具有拍摄感度的照度范围的主控制用EV41以及副控制用EV42。主控制用EV计算部31，为了使该照度范围不仅包含主控制用EV41，而且也包含由副控制用EV计算部32计算的副控制用EV42，对主控制用EV41设置限制。

在例如将长时间曝光图像信号S1作为主控制用信号的情况下，关于短时间曝光图像信号S2的副控制用EV42成为相对于主控制用EV41高HDR倍率M的量的值。主控制用EV计算部31限制主控制用EV41的最大值，以使副控制用EV42包含于照相机模块2具有拍摄感度的最大照度以下的范围。若参照图6的曲线，则以相对于L1按与M相当的量处于左侧的L2到达曲线左端时为限度，L1的作为向曲线左侧（高照度侧）移动的调整受到限制。

另外，在例如将短时间曝光图像信号S2作为主控制用信号的情况下，关于长时间曝光图像信号S1的副控制用EV42成为相对于主控制用EV41低HDR倍率M的量的值。主控制用EV计算部31限制主控制用EV41的最小值，以使副控制用EV42包含于照相机模块2具有拍摄感度的最小照度以上的范围。若参照图6的曲线，则以相对于L2按HDR倍率M的量处于右侧的L1到达曲线右端时为限度，L2的作为向曲线右侧（低照度侧）移动的调整受到限制。

EV计算部24通过对主控制用EV41设置这样的限制，能够获取与照相机模块2的拍摄感度相应的主控制用EV41以及副控制用EV42。AE控制电路16，关于长时间曝光图像信号S1以及短时间曝光图像信号S2双方，能够实施与照相机模块2的拍摄感度相应的AE工作的控制。

照相机模块2，能够进行例如实施HDR合成的HDR拍摄模式与不实施HDR合成的通常拍摄模式的切换。AE控制电路16在处于HDR拍摄模式时，分别求取关于长时间曝光图像信号S1以及短时间曝光图像信号S2的各控制量。

图9是表示图7所示的AE控制电路中的、在通常拍摄模式下的AE工作的控制中使用的要素的框图。在通常拍摄模式下，固体拍摄装置5对在HDR拍摄模式下分类为长时间曝光像素和短时间曝光像素的各像素应用相同的电荷蓄积期间。

对AE控制电路16输入来自拍摄处理电路12的图像信号S0。辉度信号生成部21根据图像信号S0生成辉度信号35。辉度平均值计算部22对辉度信号35进行积分并平均化，计算辉度平均值36。辉度目标值比较部23将辉度平均值36与辉度目标值的差作为用于根据拍摄时的照度调整图像亮度的亮度调整量37而输出。EV计算部24通过使来自辉度目标值比较部23的亮度调整量37反映于基于图像信号S0的图像亮度的运算，计算EV43。

闪烁检测用累计部26关于图像信号S0实施用于闪烁检测的积分，输出积分结果34。闪烁周期推定部27基于来自闪烁检测用累计部26的积分结果34来推定闪烁的周期，输出推定结果38。控制量转换部25将来自EV计算部24的EV43向关于ES的控制量ES0、关于AG的控制量AG0以及关于DG的控制量DG0转换。控制量转换部25在通常拍摄模式下，求出关于对各像素应用相同的电荷蓄积期间而得到的图像信号S0的各控制量。

图1所示的定时生成器15对像素阵列10输出与控制量ES0相应的脉冲。前处理部11通过控制量AG0以及DG0放大图像信号S0。

第1实施方式涉及的固体拍摄装置5，通过将HDR倍率M设为固定并求出关于副控制用信号的控制量，与应用始终被进行调节的HDR倍率M的情况相比，能够通过简单的运算处理来实施AE控制。固体拍摄装置5通过对长时间曝光图像信号和短时间曝光图像信号进行简单的运算处理，能够进行与拍摄时的亮度相应的AE工作的控制。

AE控制电路16能够通过运算处理的简单化实现电路规模的缩小、处理时间的缩短。固体拍摄装置5，通过对于不实施HDR合成的情况的电路结构增加副控制用EV计算部32等比较小规模的电路，能够实现HDR拍摄模式下的AE工作的控制。固体拍摄装置5能够成为小规模且简单的电路结构。

此外，本实施方式中说明的各电路结构，只要是能够实现本实施方式中说明的功能的结构即可，能够适宜变更。

图10是表示第2实施方式涉及的图像处理装置中所包含的AE控制电路的结构的框图。本实施方式的AE控制电路50能够应用在第1实施方式中的固体拍摄装置5（参照图1）。对与第1实施方式相同的部分标注相同的符号，并适宜省略重复的说明。

AE控制电路50中，取代图7所示的控制量转换部25，设有作为控制量转换部的第1控制量转换部（主控制用控制量转换部）51以及第2控制量转换部（副控制用控制量转换部）52。

第1控制量转换部51将由主控制用EV计算部31计算的主控制用EV41向各控制量ES1、AG1以及DG1转换。第2控制量转换部52将由副控制用EV计算部32计算的副控制用EV42向各控制量ES2、AG2以及DG2转换。

第2实施方式涉及的固体拍摄装置5与第1实施方式同样地，能够成为小规模且简单的电路结构。进而，AE控制电路50能够并行实施由第1控制量转换部51进行的从主控制用EV41向各控制量的转换和由第2控制量转换部52进行的从副控制用EV42向各控制量的转换。AE控制电路50通过能够并行地获得关于主控制用信号以及副控制用信号的各控制量，能够谋求AE工作的高速化。

图11是表示第3实施方式涉及的图像处理装置中所包含的AE控制电路的结构的框图。本实施方式的AE控制电路60能够应用于第1实施方式中的固体拍摄装置5（参照图1）。对与第1以及第2实施方式相同的部分标注相同的符号，并适宜省略重复的说明。

第1控制量转换部51将根据主控制用EV41求出的控制量ES1向第2控制量转换部52输出。作为控制量转换部的第1控制量转换部51以及第2控制量转换部52，对于主控制用信号和副控制用信号，关于ES应用相同的控制量ES1。第2控制量转换部52根据来自第1控制量转换部51的控制量ES1和来自副控制用EV计算部32的副控制用EV42，确定各控制量AG2以及DG2。第1控制量转换部51以及第2控制量转换部52，对主控制用信号和副控制用信号，关于AG以及DG中的至少一方设定不同的控制量。

图1所示的定时生成器15，对像素阵列10的长时间曝光像素以及短时间曝光像素双方，输出与控制量ES1相应的脉冲。AE控制电路60能够并行地实施由第1控制量转换部51进行的从主控制用EV41向各控制量的转换和由第2控制量转换部52进行的从副控制用EV42向各控制量的转换。AE控制电路60通过能够并行地获得关于主控制用信号以及副控制用信号的各控制量，能够谋求AE工作的高速化。

此外，AE控制电路60也可以取代第1控制量转换部51以及第2控制量转换部52而应用第1实施方式的控制量转换部25（参照图7）。该情况下，控制量转换部25分时地实施从由主控制用EV计算部31计算的主控制用EV41向各控制量的转换和从由副控制用EV计算部32计算的副控制用EV42向各控制量的转换。AE控制电路60，通过关于主控制用信号以及副控制用信号在各控制量的生成中使用共同的控制量转换部25，能够实现电路规模的抑制。

图12是说明由AE控制电路进行的ES、AG以及DG的各控制量的计算的图。AE控制电路60，将长时间曝光图像信号S1以及短时间曝光图像信号S2中被指定为主控制用信号的一方作为对象，实施AE工作的控制。AE控制电路60，使关于长时间曝光图像信号S1以及短时间曝光图像信号S2中的主控制用信号以外的一方即副控制用信号的AE工作，追随于关于主控制用信号的AE工作。

例如，假定长时间曝光图像信号S1被指定为主控制用信号。第1控制量转换部51，基于长时间曝光图像信号S1求出关于长时间曝光像素的适合曝光L1。第1控制量转换部51求出与适合曝光L1相应的控制量、例如ES1以及AG1。

AE控制电路60，通过将适合曝光L1乘以HDR倍率M，求出关于短时间曝光像素的适合曝光L2。第2控制量转换部52求出与适合曝光L2相应的控制量。第2控制量转换部52原样采用关于长时间曝光图像信号S1的控制量ES1作为关于ES的控制量。进而，第2控制量转换部52除了ES以外，还求出与适合曝光L2相应的控制量、例如AG2。

在图12中，直线AGL表示关于长时间曝光图像信号S1的AG的控制量与照度的关系。直线AGS表示关于短时间曝光图像信号S2的AG的控制量与照度的关系。直线AGL与AGS在纵轴方向上的间隔相当于与HDR倍率M相应的AG之差。

例如，在适合曝光L2包含于照度范围b1、适合曝光L1包含于照度范围b2或b3（关于照度范围b1、b2以及b3，参照图6）、适合曝光L1以及L2的照度宽度跨多个照度范围的情况下，在长时间曝光像素和短时间曝光像素中，AE工作不同。在长时间曝光像素和短时间曝光像素中关于ES应用不同的控制量的情况下，可能有时仅在适合曝光L2成为高照度侧的短时间曝光像素中发生闪烁。适合曝光L1以及L2的照度宽度越大、即HDR倍率M越大，短时间曝光像素的闪烁越容易发生。

第3实施方式的AE控制电路60，通过在长时间曝光像素和短时间曝光像素中关于ES应用相同的控制量，可抑制短时间曝光像素的闪烁发生。本实施方式的AE控制电路60，应用于期望抑制闪烁的情况下。

例如，在搭载于行车记录器的照相机模块2对在显示中使用LED的信号机进行拍摄的情况下，可能有时由于LED点亮的周期与帧速率的偏差，LED未点亮便记录图像。在这样的情况下，照相机模块2通过应用本实施方式的AE控制电路60来抑制闪烁，能够可靠地记录基于LED的信号显示。

第3实施方式涉及的固体拍摄装置5，与第1实施方式同样地，能够成为小规模且简单的电路结构。进而，AE控制电路60，对于副控制用信号也原样应用关于主控制用信号确定的控制量ES1，由此能够省略用于关于副控制用信号另行计算ES的控制量的运算处理。由此，固体拍摄装置5能够谋求AE工作的高速化。

关于本发明的几种实施方式进行了说明，但是这些实施方式是作为例子而呈现的，并非要限定发明的范围。这些新的实施方式可以通过其他的各种方式实施，在不脱离发明的主旨的范围，能够进行各种省略、置换、变更。这些实施方式和/或其变形包含于发明的范围和/或主旨，并且包含于权利要求所记载的发明及其等同的范围。

Claims (20)

1.一种图像处理装置，具备：

高动态范围合成部，其通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号与第1电荷蓄积期间中向第1像素入射的入射光量相应，所述第2图像信号与比所述第1电荷蓄积期间短的第2电荷蓄积期间中向第2像素入射的入射光量相应；

曝光值计算部，其计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及

控制量转换部，其将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，

其中所述曝光值计算部包括：

主控制用曝光值计算部，其基于所述第1图像信号以及所述第2图像信号中被指定为主控制用信号的一方，计算关于所述主控制用信号的所述曝光值即主控制用曝光值；以及

副控制用曝光值计算部，其计算关于副控制用信号的所述曝光值即副控制用曝光值，所述副控制用信号是所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方且使亮度调整追随于所述主控制用信号；

所述副控制用曝光值计算部将由所述主控制用曝光值计算部计算的所述主控制用曝光值乘以高动态范围倍率，作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

2.根据权利要求1所述的图像处理装置，其中，

所述控制量转换部分时地实施从由所述主控制用曝光值计算部计算的所述主控制用曝光值向所述各控制量的转换和从由所述副控制用曝光值计算部计算的所述副控制用曝光值向所述各控制量的转换。

3.根据权利要求1所述的图像处理装置，其中，

所述控制量转换部具有主控制用控制量转换部和副控制用控制量转换部，

所述主控制用控制量转换部实施从由所述主控制用曝光值计算部计算的所述主控制用曝光值向所述各控制量的转换，

所述副控制用控制量转换部实施从由所述副控制用曝光值计算部计算的所述副控制用曝光值向所述各控制量的转换。

4.根据权利要求1所述的图像处理装置，其中，

所述控制量转换部，对于所述主控制用信号以及所述副控制用信号，关于所述电子快门时间设定相同的控制量，至少关于所述模拟增益设定互不相同的控制量。

5.根据权利要求1所述的图像处理装置，其中，

所述高动态范围倍率固定。

6.根据权利要求1所述的图像处理装置，其中，

所述主控制用曝光值计算部，为了使由所述副控制用曝光值计算部计算的所述副控制用曝光值包含于与拍摄感度相应的照度范围，对所述主控制用曝光值设置限制。

7.根据权利要求1所述的图像处理装置，其中，

还具备根据所述主控制用信号的积分结果推定闪烁的周期的闪烁周期推定部，

所述控制量转换部根据所述闪烁周期推定部的推定结果，确定关于所述电子快门时间的控制量。

8.根据权利要求1所述的图像处理装置，其中，

在实施高动态范围合成的高动态范围拍摄模式下，所述控制量转换部求出关于所述第1图像信号以及所述第2图像信号的所述各控制量，

在不实施所述高动态范围合成的通常拍摄模式下，所述控制量转换部求出关于对各像素应用相同的电荷蓄积时间而得到的图像信号的所述各控制量。

9.一种图像处理方法，包括：

通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号与第1电荷蓄积期间中向第1像素入射的入射光量相应，所述第2图像信号与比所述第1电荷蓄积期间短的第2电荷蓄积期间中向第2像素入射的入射光量相应；

计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及

将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，

其中指定所述第1图像信号以及所述第2图像信号中的一方作为主控制用信号，

将所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方作为使亮度调整追随于所述主控制用信号的副控制用信号，

所述曝光值的计算：

包括关于所述主控制用信号的所述曝光值即主控制用曝光值的计算和关于所述副控制用信号的所述曝光值即副控制用曝光值的计算；

将高动态范围倍率乘以所述主控制用曝光值而得到的结果作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

10.根据权利要求9所述的图像处理方法，其中，

分时地实施从所述主控制用曝光值向所述各控制量的转换和从所述副控制用曝光值向所述各控制量的转换。

11.根据权利要求9所述的图像处理方法，其中，

并行地实施从所述主控制用曝光值向所述各控制量的转换和从所述副控制用曝光值向所述各控制量的转换。

12.根据权利要求9所述的图像处理方法，其中，

对于所述主控制用信号以及所述副控制用信号，关于所述电子快门时间设定相同的控制量，至少关于所述模拟增益设定互不相同的控制量。

13.根据权利要求9所述的图像处理方法，其中，

所述高动态范围倍率固定。

14.根据权利要求9所述的图像处理方法，其中，

为了使所述副控制用曝光值包含于与拍摄感度相应的照度范围，对所述主控制用曝光值设置限制。

15.根据权利要求9所述的图像处理方法，其中，

还包括根据所述主控制用信号的积分结果推定闪烁的周期，

根据所述闪烁的周期的推定结果，确定关于所述电子快门时间的控制量。

16.根据权利要求9所述的图像处理方法，其中，

在实施高动态范围合成的高动态范围拍摄模式下，求出关于所述第1图像信号以及所述第2图像信号的所述各控制量，

在不实施所述高动态范围合成的通常拍摄模式下，求出关于对各像素应用相同的电荷蓄积时间而得到的图像信号的所述各控制量。

17.一种固体拍摄装置，具有：

像素阵列，其包括检测第1电荷蓄积期间中的入射光量的第1像素和检测比所述第1电荷蓄积期间短的第2电荷蓄积期间中的入射光量的第2像素；

高动态范围合成部，其通过第1图像信号与第2图像信号的合成而生成合成图像，所述第1图像信号是所述第1像素与所述入射光量相应地输出的信号，所述第2图像信号是所述第2像素与所述入射光量相应地输出的信号；

曝光值计算部，其计算曝光值，所述曝光值反映了用于根据拍摄时的照度调整所述合成图像的亮度的亮度调整量；以及

控制量转换部，其将所述曝光值向关于电子快门时间、模拟增益以及数字增益的各控制量转换，

其中所述曝光值计算部包括：

主控制用曝光值计算部，其基于所述第1图像信号以及所述第2图像信号中被指定为主控制用信号的一方，计算关于所述主控制用信号的所述曝光值即主控制用曝光值；以及

副控制用曝光值计算部，其计算关于副控制用信号的所述曝光值即副控制用曝光值，所述副控制用信号是所述第1图像信号以及所述第2图像信号中的所述主控制用信号以外的一方且使亮度调整追随于所述主控制用信号；

所述副控制用曝光值计算部将由所述主控制用曝光值计算部计算的所述主控制用曝光值乘以高动态范围倍率，作为所述副控制用曝光值，所述高动态范围倍率是作为所述第1电荷蓄积期间与所述第2电荷蓄积期间之比而预先设定的倍率。

18.根据权利要求17所述的固体拍摄装置，其中，

所述固体拍摄装置能够切换为实施高动态范围合成的高动态范围拍摄模式和不实施所述高动态范围合成的通常拍摄模式，

所述控制量转换部，

在所述高动态范围拍摄模式下，求出关于所述第1图像信号以及所述第2图像信号的所述各控制量，

在所述通常拍摄模式下，求出关于对各像素应用相同的电荷蓄积时间而得到的图像信号的所述各控制量。

19.根据权利要求17所述的固体拍摄装置，其中，

所述控制量转换部分时地实施从由所述主控制用曝光值计算部计算的所述主控制用曝光值向所述各控制量的转换和从由所述副控制用曝光值计算部计算的所述副控制用曝光值向所述各控制量的转换。

20.根据权利要求17所述的固体拍摄装置，其中，

所述控制量转换部，对于所述主控制用信号以及所述副控制用信号，关于所述电子快门时间设定相同的控制量，至少关于所述模拟增益设定互不相同的控制量。

Images