CN102724400B - 图像处理设备及其控制方法 - Google Patents

Abstract

提供一种诸如数字照相机等的图像处理设备及其控制方法。在一个实施例中，数字照相机通过针对正常HDR处理所要合成的多个图像中的两个图像进行合成，生成HDR图像。在图像合成操作之前，数字照相机转换所述两个图像中的至少一个图像的灰度特性，以与转换之前相比，向所述HDR图像的全部灰度区域中未被所述两个图像中的任一个适当覆盖的灰度区域分配更多的灰度值。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种图像处理设备及其控制方法。

背景技术

在使用诸如数字静止照相机或数字摄像机等的拍摄设备的拍摄操作中，当拍摄具有大亮度差的场景时，在亮部可能发生高亮细节损失，并且在暗部可能发生阴影细节损失。作为用于校正这类高亮细节损失和阴影细节损失的方法，可以使用这样一种方法，该方法通过拍摄多个具有不同曝光量的图像、并且将各个图像中没有任何高亮细节损失的区域与没有任何阴影细节损失的区域进行合成，生成适当再现亮部和暗部的高动态范围图像。

日本特开2003-046848号公报所述的拍摄设备可以在运动图像模式和静止图像模式之间切换的同时进行拍摄。该设备通过根据经过了高动态范围处理的图像估计拍摄状态来生成灰度特性信息，并且在图像再现时控制灰度特性。日本特开2003-046857号公报所述的拍摄设备交替进行长时间拍摄和短时间拍摄，并且切换成与当前曝光时间相对应的高动态范围处理。该拍摄设备还根据与当前帧的相似程度切换成对两个图像进行合成或者对三个图像进行合成。

通常，合成的具有不同曝光量的图像的数量越多，高动态范围处理的效果就越高。然而，该处理需要长的时间。因此，随着要合成的图像的数量的增加，向运动图像或实时取景图像应用高动态范围处理将导致帧频下降。然而，减少要合成的图像的数量来抑制帧频的下降，这将导致在预览图像和根据要合成的许多图像所生成的要记录的静止图像之间在高动态范围处理的效果上大的差异。因此用户难以通过运动图像或预览图像来预先针对要记录的静止图像检查高动态范围处理的效果。

如上所述，提出了各种类型的高动态范围处理技术。然而，日本特开2003-046848号公报和日本特开2003-046857号公报所公开的技术都没有对上述问题提出任何解决方案。另外，由于日本特开2003-046848号公报所述的拍摄设备在再现时控制灰度特性，所以预览图像和再现图像在高动态范围处理的效果上不同。此外，日本特开2003-046857号公报所述的拍摄设备基于对于运动的相似程度来改变用于高动态范围处理的要合成的图像的数量，因此需要准备资源以始终允许利用最大数量的要合成的图像的处理。

发明内容

考虑到这一情况做出本发明，并且本发明提供一种用于使利用小数量的要合成的图像的高动态范围处理的效果近似于利用大数量的要合成的图像的高动态范围处理的效果的技术。

根据本发明的第一方面，提供一种图像处理设备，其包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像、即高动态范围图像，其中N是3以上的整数，所述图像处理设备还包括：拍摄控制单元，用于使所述拍摄单元利用两个不同的曝光值拍摄两个图像；转换单元，用于转换所述两个图像中的至少一个图像的灰度特性；以及生成控制单元，用于使所述生成单元对所述转换单元已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，其中，所述转换单元基于所述N个不同的曝光值和所述两个图像的所述两个不同的曝光值，转换所述两个图像中的至少一个图像的灰度特性，以使得根据所述两个图像所生成的HDR图像的灰度特性近似于根据所述N个图像所生成的HDR图像的灰度特性。

根据本发明的第二方面，提供一种图像处理设备，其包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像、即高动态范围图像，其中N是3以上的整数，所述图像处理设备还包括：拍摄控制单元，用于使所述拍摄单元利用所述N个不同的曝光值中的两个曝光值拍摄两个图像；转换单元，用于转换所述两个图像中的至少一个图像的灰度特性；以及生成控制单元，用于使所述生成单元对所述转换单元已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，其中，所述转换单元转换所述两个图像中的至少一个图像的灰度特性，以使得与转换之前相比，向根据所述N个图像所生成的HDR图像的全部灰度区域中未被以下灰度区域中的任一个覆盖的灰度区域分配更多的灰度值：(a)作为所述两个图像中表现出较小曝光的图像的低曝光图像的、灰度值不小于第一阈值的灰度区域；以及(b)作为所述两个图像中表现出较大曝光的图像的高曝光图像的、灰度值不大于第二阈值的灰度区域。

根据本发明的第三方面，提供一种用于控制图像处理设备的方法，所述图像处理设备包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像、即高动态范围图像，其中N是3以上的整数，所述方法包括以下步骤：拍摄控制步骤，用于使所述拍摄单元利用两个不同的曝光值拍摄两个图像；转换步骤，用于转换所述两个图像中的至少一个图像的灰度特性；以及生成控制步骤，用于使所述生成单元对在所述转换步骤中已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，其中，在所述转换步骤中，基于所述N个不同的曝光值和所述两个图像的所述两个不同的曝光值，转换所述两个图像中的至少一个图像的灰度特性，以使得根据所述两个图像所生成的HDR图像的灰度特性近似于根据所述N个图像所生成的HDR图像的灰度特性。

根据本发明的第四方面，提供一种用于控制图像处理设备的方法，所述图像处理设备包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像、即高动态范围图像，其中N是3以上的整数，所述方法包括以下步骤：拍摄控制步骤，用于使所述拍摄单元利用所述N个不同的曝光值中的两个曝光值拍摄两个图像；转换步骤，用于转换所述两个图像中的至少一个图像的灰度特性；以及生成控制步骤，用于使所述生成单元对在所述转换步骤中已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，其中，在所述转换步骤中，转换所述两个图像中的至少一个图像的灰度特性，以使得与转换之前相比，向根据所述N个图像所生成的HDR图像的全部灰度区域中未被以下灰度区域中的任一个覆盖的灰度区域分配更多的灰度值：(a)作为所述两个图像中表现出较小曝光的图像的低曝光图像的、灰度值不小于第一阈值的灰度区域；以及(b)作为所述两个图像中表现出较大曝光的图像的高曝光图像的、灰度值不大于第二阈值的灰度区域。

利用上述结构，根据本发明，可以使利用小数量的要合成的图像的高动态范围处理的效果近似于利用大数量的要合成的图像的高动态范围处理的效果。

通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据第一实施例的数字照相机100的结构的框图；

图2是示出根据第一实施例由数字照相机100所执行的简单HDR处理的过程的流程图；

图3是示出计算用于正常HDR处理的图像的拍摄条件的处理的过程的流程图；

图4是示出输入图像的亮度值直方图的例子的图；

图5是示出高曝光图像的亮度值直方图的例子的图；

图6A是基于两个具有小曝光水平差的要合成的图像的HDR处理的概念图；

图6B是在低曝光图像和高曝光图像之间的曝光水平差大时的HDR处理的概念图；

图7A是示意性示出在简单HDR处理中要合成的各图像的动态范围和处理之后的HDR图像的动态范围之间的关系的图；

图7B是在选择中间灰度区域作为目标灰度区域时的简单HDR处理的概念图；

图8A是用于向黑色灰度区域分配更多灰度值的灰度映射的概念图；

图8B是用于向白色灰度区域分配更多灰度值的灰度映射的概念图；以及

图9是示出根据第二实施例的数字照相机900的结构的框图。

具体实施方式

现参考附图说明本发明的实施例。应该注意，通过权利要求书限定本发明的技术范围，并且该技术范围不受下述各实施例的限制。另外，实现本发明并非一定需要这些实施例中所述特征的所有组合。

第一实施例

以下说明将根据本发明的图像处理设备应用于数字照相机的实施例。图1是示出根据第一实施例的数字照相机100的结构的框图。数字照相机100包括形成被摄体图像的光学系统101和诸如CCD传感器或CMOS传感器等的对由光学系统101所形成的被摄体图像进行光电转换的图像传感器102。数字照相机100还包括用于根据从图像传感器102输出的电信号形成视频信号的照相机信号处理单元103。照相机信号处理单元103包括A/D转换单元、自动增益控制单元(AGC)和自动白平衡单元(均未示出)，并且形成数字信号。图像传感器102和照相机信号处理单元103构成获取(拍摄)图像的拍摄系统。

数字照相机100包括存储器104。存储器104临时存储和保持由照相机信号处理单元103所形成的视频信号中与一个场或多个场相对应的图像数据。数字照相机100还包括用于针对输入图像评价例如高亮细节损失量或阴影细节损失量的评价值获取单元105。

数字照相机100还包括用于根据从评价值获取单元105所获得的图像评价值计算对于静止图像合成所要使用的图像的拍摄条件的拍摄条件计算单元106。另外，数字照相机100包括用于检测具有时差的两个要合成的图像之间的多个坐标的运动量(运动矢量)的运动矢量检测单元107。

数字照相机100包括对准参数计算单元108，其中，对准参数计算单元108基于运动矢量检测单元107所检测到的运动矢量，计算要合成的图像之间的偏移量作为图像变形量。数字照相机100还包括对准单元109。对准单元109通过使用由对准参数计算单元108所计算出的图像变形量，进行用于图像之间的对准的图像几何变换处理。

数字照相机100包括灰度控制单元111。灰度控制单元111通过基于由拍摄条件计算单元106所获得的拍摄参数而对用于高动态范围处理(以下称为“HDR处理”)的要合成的图像进行灰度映射处理等，来对要合成的图像进行灰度校正。

数字照相机100包括图像合成单元112。图像合成单元112通过对经过了对准单元109的对准的多个要合成的图像进行合成，生成高动态范围图像(以下称为“HDR图像”)。图像合成单元112通过对利用不同的N个(N是3以上的整数)曝光值所拍摄的N个图像进行合成，生成用于静止图像记录的高分辨率HDR图像。图像合成单元112还可以通过对利用N个曝光值中的两个所拍摄的两个图像进行合成，生成用于实时取景显示的HDR图像。还将用于静止图像记录的HDR处理和用于实时取景显示的HDR处理分别称为“正常HDR处理”和“简单HDR处理”。控制单元113(后面说明)根据是进行用于实时取景显示的简单HDR处理还是进行用于静止图像记录的正常HDR处理，控制对准单元109和存储器104改变路径。当进行简单HDR处理时，调整大小单元110首先将低曝光图像和高曝光图像的大小调整成适于显示介质上的显示的大小。然后，灰度控制单元111进行灰度映射(后面说明)以将作为结果的数据输出给图像合成单元112。当进行正常HDR处理时，在不经由调整大小单元110和灰度控制单元111的情况下，将低曝光图像和高曝光图像发送给图像合成单元112。在本实施例中，与简单HDR处理相比，随着要合成的图像的数量增多，正常HDR处理的效果变得更高，因此将N设置成3以上。然而，图像合成单元112可以通过使用两个图像进行正常HDR处理。另外，在本实施例中，通过使用两个图像实现简单HDR处理。然而，简单HDR处理所要使用的图像的数量没有特别限制，只要小于正常HDR处理所使用的数量即可。

数字照相机100还包括控制单元113。例如，控制单元113向数字照相机100的各个单元发出指示，并且进行各单元的处理所需的计算。图1(箭头)示出与本实施例的特征操作相关联的块之间的控制的关系。控制单元113管理其它块。

数字照相机100还包括记录单元114。记录单元114以预定压缩格式对从图像合成单元112输出的合成图像数据进行压缩，并且将作为结果的数据记录在记录介质上。要使用的记录介质可以是安装在设备中的存储器或者可拆卸的存储器。

数字照相机100还包括显示单元115。显示单元115将从图像合成单元112输出的合成图像数据显示在显示单元上。作为显示单元，可以使用诸如包含在照相机中的液晶显示器或外部监视器等的显示介质来显示上述合成图像数据。

图2是示出根据第一实施例由数字照相机100执行的简单HDR处理的过程的流程图。由于简单HDR处理和正常HDR处理具有共同点，所以也部分说明正常HDR处理。

步骤S201：图像输入

在步骤S201，图像传感器102输出通过光学系统101所形成的被摄体图像，作为与被摄体亮度相对应的模拟信号。照相机信号处理单元103通过对该输出模拟信号进行A/D转换来生成例如12位数字信号。照相机信号处理单元103还对数字信号进行AGC处理和AWB处理，以生成经过了信号电平校正和白电平校正的数字视频信号，并且将作为结果的数据记录在存储器104上。本实施例中的数字照相机100以预定帧频顺次生成场图像。评价值获取单元105和运动矢量检测单元107还接收记录在存储器104上的场图像。顺次更新记录在存储器104上的场图像。

基于图像合成操作的HDR处理需要多个具有不同曝光量(利用不同曝光值所拍摄)的图像。当进行运动图像拍摄操作或者实时取景显示时，数字照相机100在至少两种类型的曝光条件、即低曝光值和高曝光值下，重复拍摄图像以进行简单HDR处理。另一方面，当进行静止图像记录或者运动图像拍摄操作期间的静止图像记录时，数字照相机100在三种以上类型的曝光条件下(如上所述，可以在两种类型的曝光条件下进行拍摄)连续进行拍摄，以进行高精度的HDR处理(正常HDR处理)。在步骤S202确定诸如“三种以上类型的曝光条件”等的拍摄条件。

步骤S202：拍摄条件的确定

在步骤S202，数字照相机100通过评价输入图像来计算用于正常HDR处理的拍摄条件(特别地，要合成的图像的数量和要合成的各个图像的曝光值)。数字照相机100为什么计算用于正常HDR处理的拍摄条件而不是计算用于简单HDR处理的拍摄条件的原因在于，为了使简单HDR处理的效果近似于正常HDR处理的效果，作为前提必需知道正常HDR处理的内容。为了在运动图像显示或实时取景显示中实现简单HDR处理，必需以预定周期进行该拍摄条件确定处理来更新拍摄条件。另外，为了在静止图像拍摄操作之后的快速回放显示中实现简单HDR处理，在静止图像拍摄操作时，在诸如半按下释放开关等的时间点进行该拍摄条件确定处理。

图3是示出计算用于正常HDR处理的图像的拍摄条件的处理的过程的流程图。如上所述，评价值获取单元105经由图像传感器102和照相机信号处理单元103交替接收高曝光图像和低曝光图像。在本实施例中，作为用于评价用于确定拍摄条件的图像的方法的例子，说明使用从图像的亮度值直方图所获得的黑色灰度区域和白色灰度区域的亮度分布的方法。

首先，在步骤S 301，评价值获取单元105生成在步骤S201输入的各图像的亮度值直方图。图4示出输入图像的亮度值直方图的例子。参考图4，水平轴表示亮度值。在这种情况下，假定颜色深度是8位，亮度值范围为0～255。另外，垂直轴表示各亮度值的出现频率，以表示在图像中存在多少具有各亮度值的像素。参考图4，亮度值0附近的像素是图像中的黑色区域，即包括阴影细节损失的区域中的像素，而亮度值255附近存在的像素是图像中的白色区域，即包括高亮细节损失的区域中的像素。

在步骤S 302，评价值获取单元105确定在步骤S 301所获取的直方图中可被认为包括阴影细节损失和高亮细节损失的灰度，并且判断图像中的黑色灰度区域和白色灰度区域中的亮度值的分布。例如，当根据图4的直方图判断图像中的黑色灰度区域的亮度分布时，评价值获取单元105设置以附图标记401所表示的可被当作为黑色灰度区域的灰度范围，并且判断该范围中存在的亮度值的分布状态。同样，在判断图像中的白色灰度区域时，评价值获取单元105设置以附图标记402所表示的可被当作为白色灰度区域的灰度范围，并且判断该范围中存在的亮度值的分布状态。用于确定以附图标记401和402所表示的灰度的范围的方法没有特别限制。可以通过参考实际图像来主观地确定这一范围，或者可以将这一范围设置为亮度值范围的比，例如亮度值所占的范围的10％。以上述方式所设置的范围401和402包括要通过HDR处理改善的亮度值。也就是说，如果输入图像是高曝光图像，即使作为适度曝光图像中的阴影细节损失区域的范围401中的像素也可以获得适当纹理。在合成时使用该区域。同样，如果输入图像是低曝光图像，则范围402是改善高亮细节损失所要使用的区域。

本实施例示例性说明了用于通过使用亮度值直方图获得图像的评价值的技术。然而，所要使用的技术没有特别限制。例如，可以使用利用主被摄体区域的亮度值或者整个图像的亮度值的方差值的技术。可选地，可以使用安装在数字照相机100中的测光单元的值。

图3的流程图的处理根据当前拍摄定时是否是高曝光拍摄的定时，在步骤S302之后出现分支。如果当前定时是高曝光拍摄的定时，则处理进入步骤S303。否则(在低曝光拍摄的情况下)，处理进入步骤S304。在步骤S303和S304，拍摄条件计算单元106基于根据亮度值直方图所确定的黑色灰度区域和白色灰度区域的亮度分布，确定HDR处理所使用的要合成的图像的拍摄条件。

下面通过示例性说明步骤S303的处理，说明用于确定作为要合成的各图像的拍摄条件的曝光量(曝光值)的方法。图5示出以高于图4的图像的曝光水平的曝光水平所拍摄的图像的亮度值直方图的例子。由于以高曝光水平拍摄该图像，所以图4中以附图标记401所表示的黑色灰度区域具有如图5中以附图标记501所表示的更宽范围的亮度值。拍摄条件计算单元106计算黑色灰度区域501的亮度分布的熵，以判断曝光量是否适于高曝光图像。在这种情况下，熵是表示特定数据的平均化的程度的数值。熵越大，数据的变化越大，反之亦然。下面是用于计算图像中的亮度值的熵Eg的公式：

$\mathrm{Eg}=\underset{i=0}{\overset{255}{\mathrm{\Σ}}}(-p_i\log \left(p_i\right))$ …(1)

$p_i=\frac{n_i}{n}$

在公式(1)中，n是黑色灰度区域中的像素的总数，并且n_i是黑色灰度区域中具有亮度值i的像素的数量。因此，如果通过公式(1)所获得的亮度分布的熵的值大于前一高曝光图像中的熵的值，则黑色灰度区域中的亮度变化增大，如图5中的附图标记501所示。因此，可以判断为亮度值变化小的阴影细节损失区域减少。可以认为，通过利用更高曝光量进行拍摄，与当前帧相比，可以进一步抑制下一高曝光帧中的阴影细节损失。过分增大曝光量，这将增大整个图像的亮度。这将减小黑色灰度区域的熵。为此认为：如果拍摄条件计算单元106在步骤S 303判断为熵减小，则由于认为阴影细节损失量增大，所以照相机在下一高曝光帧中通过减少曝光量来进行拍摄。由于照相机重复执行图3的流程图中的处理(图2的步骤S202中的处理)，所以照相机重复执行步骤S303的处理。最后，高曝光图像的曝光量收敛至最佳值(使黑色灰度区域的熵最大化的曝光量)。

如上所述，通过将当前拍摄的高曝光图像中的黑色灰度区域的熵与先前拍摄的高曝光图像中的黑色灰度区域的熵进行比较、并且在最大化熵的方向上控制曝光量，可以拍摄适当的高曝光图像。尽管这适用于输入在步骤S304所示的低曝光图像的情况，但是关注低曝光图像中的高亮细节损失来控制曝光量。另外，可以通过改变诸如光圈和快门速度等的拍摄参数来控制曝光量。也就是说，所要使用的参数没有特别限制，只要它们可以改变曝光量即可。

至此说明了用于控制曝光量的方法。然而，除该条件以外，作为用于拍摄要合成的图像的拍摄条件，需要确定要拍摄的图像的数量。首先考虑下面的情况：在上述曝光量控制中所确定的用于低曝光图像的曝光水平和用于高曝光图像的曝光水平之间的差小，例如，用于低曝光图像的曝光水平比作为基准的用于适度曝光的曝光水平低1，并且用于高曝光图像的曝光水平比用于适度曝光的曝光水平高1。图6A示意性示出在通过使用两个具有小的曝光水平差的要合成的图像进行HDR处理时，HDR图像的动态范围和这两个图像中的每一个的动态范围之间的关系。图6A在垂直方向上示出这些图像的灰度，其中，LSB(最低有效位)表示HDR图像的最小亮度值，并且MSB(最高有效位)表示最大亮度值。附图标记601表示具有无任何高亮细节损失的白色灰度区域的低曝光图像的亮度值的动态范围；附图标记602表示具有无任何阴影细节损失的黑色灰度区域的高曝光图像的亮度值的动态范围；并且附图标记603表示HDR图像中的中间灰度区域。注意，图6A所示的低曝光图像601和高曝光图像602的动态范围是预先经过亮度值之间的水平匹配的动态范围，如下面详细所述。

由于输入/输出特性的差异，即使在相同光强度的情况下，输出亮度值之间也出现差异，因此，不能在相对于拍摄状态没有任何改变的情况下对低曝光图像601和高曝光图像602进行合成。为此，为了进行这两个图像的输出亮度值之间的水平匹配，需要对这两个图像中的任一个进行增益校正。可以根据这两个要合成的图像之间的曝光水平差来获得增益校正值。例如，如果低曝光图像601和高曝光图像602之间的曝光水平差为1，则高曝光图像与低曝光图像的光强度的比为2。因此，使低曝光图像601的每一像素的亮度值的增益加倍，这可以实现与高曝光图像602的每一像素的亮度值的水平匹配。这使得可以对这些图像进行合成。以上述方式所生成的图6A的图示出，HDR处理所使用的各个图像负责在处理之后的HDR图像的动态范围中的哪一灰度。

在这种情况下，如果曝光水平差小，则每一图像都可以覆盖与中间灰度区域603相对应的灰度。因此可以通过使用这两个图像中的任一个或者两者的像素来生成良好的HDR图像。也就是说，可以判断为图6A中要拍摄的图像的必要数量是2个。

相反，图6B示出在用于低曝光图像的曝光水平和用于高曝光图像的曝光水平之间的差大的情况下，例如，在用于低曝光图像的曝光水平比作为基准的用于适度曝光的曝光水平低3、并且用于高曝光图像的曝光水平比用于适度曝光的曝光水平高3的情况下的动态范围之间的关系。如图6B所示，如果曝光水平差大，则低曝光图像604和高曝光图像605覆盖中间灰度区域607的较小范围。另外，在低曝光图像604的黑色灰度区域中发生了许多阴影细节损失，而在高曝光图像605的白色灰度区域中发生了许多高亮细节损失。为此，即使在没有任何改变的情况下通过对这些图像进行合成来生成HDR图像，也不会适当再现中间灰度区域的灰度。在这种情况下，如图6B中的附图标记606所示，除这两个图像、即低曝光图像604和高曝光图像605以外，还需要通过以中间曝光量拍摄图像、并且使用其进行合成操作来提高中间灰度的再现性。在图6B所示的情况下，确定要拍摄的图像的必要数量是3。然而，实际上，合成操作所要使用的图像的数量没有特别限制，并且可以拍摄大量图像。另外，用于确定要拍摄的图像的数量的方法没有特别限制，并且可以根据曝光水平差来自动计算要拍摄的图像的数量，或者可以使用用于使用户手动指定要拍摄的图像的数量的方法。

然而，当考虑数字照相机100的实际操作时，不必一定拍摄作为拍摄条件所确定的数量的图像，并且可以根据拍摄状态改变要拍摄的图像的数量。也就是说，当进行运动图像拍摄操作或实时取景显示等时，可以通过使用较小数量的图像来进行简单HDR处理。因此，在这种情况下，数字照相机100可以利用选择被确定为拍摄条件的多个曝光值中的两个来拍摄两个图像(例如，作为用于执行图3的步骤S303和S304的处理的拍摄条件所确定的多个曝光值中的最大曝光值和最小曝光值)。例如，当用户按下快门按钮以向数字照相机100发出指示来进行用于静止图像记录的高分辨率HDR处理时，数字照相机100进行作为拍摄条件所确定的曝光量和数量的拍摄。

以上述方式，在步骤S202，作为正常HDR处理所需的要合成的图像的拍摄条件，确定要拍摄的图像的拍摄参数(曝光量)和数量。数字照相机100根据所确定的信息进行拍摄。然后，存储器104存储所拍摄的要合成的图像。将拍摄条件信息发送给灰度控制单元111。

步骤S203：图像对准

照相机同时执行步骤S203的处理和步骤S202的处理(可以顺序执行它们)。在步骤S203，照相机进行在步骤S202所拍摄的多个要合成的图像之间的对准。如果数字照相机100或被摄体在拍摄要合成的图像期间移动，则在各个要合成的图像之间发生微小偏移。由于该偏移，在这种状态下对这些图像进行合成将导致作为HDR图像的被摄体图像模糊。因此需要检测各个要合成的图像之间的偏移量，并且通过对这些图像进行几何变换来进行对准，以抵消偏移量。

更具体地，首先，运动矢量检测单元107获得要合成的图像之间的运动矢量。通常，运动矢量检测单元107基于两个图像之间的目标像素和它们的相邻区域的纹理信息的相关性来检测运动矢量。可以以相等间隔配置目标像素以覆盖整个图像，或者可以通过提取纹理的边缘和角等的特征点来设置目标像素。然而，由于利用不同曝光量拍摄要合成的图像，所以在没有任何改变的状态下，这些图像在整体上亮度不同。为此，即使对于相同区域，照相机也判断为具有低相关性。因此，在运动矢量检测之前，需要完成各个要合成的图像的亮度值之间的水平匹配。

用于进行亮度值之间的水平匹配的方法包括用于基于图像拍摄时的拍摄参数进行增益调整的方法和用于对所有像素进行标准化处理的方法。然而，本发明不局限于这些方法。另外，作为用于检测运动矢量的方法，可以使用诸如模板匹配方法或梯度方法等的一般检测方法。然而，可以使用的这些方法没有特别限制。

然后，对准参数计算单元108通过使用由运动矢量检测单元107所计算出的运动矢量，计算要合成的图像之间的偏移量作为图像变形量。本实施例将示例性说明下面的情况：照相机通过使用单应性模型作为图像变形量模型来计算用于对准的图像变形量。

假定存在于要对准的两个图像中的第一图像上的特定点a

a＝[x，y，1]^T          ...(2)

移动至第二图像上的点a′。

a′＝[x′，y′，1]^T    ...(3)

在这种情况下，可以通过使用单应性矩阵如下表示点a和a′之间的关系：

a′＝Ha                ...(4)

在这种情况下，公式(2)和(3)各自中的T均表示矩阵转置。公式(4)中的单应性矩阵H是行列式，表示图像之间的平移、转动、缩放、裁切或倾斜的变化量，可以表示为如下。

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]...\left(5\right)$

另外，通过齐次坐标表示点a和a′以及单应性矩阵H。以下同样适用。

可以通过使用由运动矢量检测单元107所计算出的运动矢量组、即要合成的图像的目标点之间的对应关系以及诸如最小二乘法等的统计处理来计算单应性矩阵H的各元素。以该方式获得的单应性矩阵H表示图像之间的偏移量。因此，为了校正偏移，需要将H变换成用于抵消该偏移的图像变形量。也就是说，假定K是单应性矩阵H的逆矩阵，

a＝Ka′        ...(6)

公式(6)使得偏移之后的特征点a′恢复成与偏移之前的特征点a的坐标相同的坐标。在本实施例中，将K称为对准参数。

本实施例参考第一图像计算第二图像的偏移量。然而，本发明不局限于此。可以根据用于图像合成操作的基准图像来选择用于偏移检测的基准图像。例如，当拍摄三个图像作为要合成的图像时，由于，在第一图像和第三图像之间插入第二图像，参考第一图像来计算第三图像的偏移量，这将获得比第一图像和第二图像之间的偏移量更大的偏移量。通常，图像之间的偏移量越大，则计算出的图像变形量的误差越大。为此，当对三个图像进行合成时，通过使用第二图像作为基准图像来计算偏移量，这使得可以计算具有较小误差的图像变形量，从而获得高精度的对准。这样，可以根据要使用的图像的数量来选择用于计算偏移量的适当基准图像。

随后，图像对准单元109通过使用该对准参数对图像上的所有像素进行图像几何变换处理，进行偏移校正。本实施例使用单应性矩阵作为表示偏移的图像变形量。然而，实际上，本发明不局限于此，并且可以根据图像之间发生的偏移的类型，使用诸如Helmert矩阵或仿射变换矩阵等其它图像变形量。

步骤S204：曝光值确定

在步骤S204，拍摄条件计算单元106确定简单HDR处理所使用的要合成的图像的曝光值。假定在本实施例中，拍摄条件计算单元106选择在步骤S202所确定的曝光值中的最大值和最小值。在图6B所示的情况下，拍摄条件计算单元106选择用于低曝光图像604和高曝光图像605的曝光值。在这种情况下，在简单HDR处理中，照相机利用正常HDR处理中所使用的多个曝光值中的最大曝光值和最小曝光值生成HDR图像。本发明不局限于此。为了实现与利用正常HDR处理中使用的多个曝光值所生成的HDR图像的灰度特性相同的灰度特性，可以选择不同于这多个曝光值的其它曝光值。例如，当在正常HDR处理中利用三个曝光值进行拍摄时，照相机确定包括最大曝光值和适当曝光值之间的中间值、以及适当曝光值和最小曝光值之间的中间值的两个中间值，作为用于简单HDR处理的曝光值。这样可以针对适当曝光值附近的中间区域生成具有较高再现性的简单HDR图像。

步骤S205：获取简单HDR处理的要合成的图像

在步骤S205，拍摄条件计算单元106进行用于获取利用在步骤S204选择的曝光值所拍摄的图像的处理(拍摄控制)。更具体地，拍摄条件计算单元106控制光学系统101和图像传感器102以利用在步骤S204所确定的曝光值拍摄图像。

步骤S206：灰度特性转换

在步骤S206，灰度控制单元111通过对要合成的图像进行灰度控制处理，使实时取景等所使用的简单HDR图像的灰度表现(灰度特性)近似于用于静止图像记录的正常HDR图像的灰度表现。静止图像记录时的正常HDR处理在每一灰度区域中理想地再现相当于现实世界表现的灰度表现，没有任何高亮细节损失或阴影细节损失。另外，不同于实时取景显示，静止图像记录不受诸如帧频等的时间限制，因此不管稍微长的处理时间，通过拍摄许多要合成的图像进行高精度的HDR处理。相反，在本实施例所述的用于实时取景的简单HDR处理中，由于以预定帧频连续拍摄图像，所以高精度的HDR处理不能跟上显示操作。为此，用于实时取景的简单HDR处理通过利用用于静止图像记录的正常HDR处理所使用的多个曝光值中的两个任意曝光值拍摄两个图像，以简单方式生成HDR图像。

图7A是示意性示出简单HDR处理中在处理之后的HDR图像的动态范围和要合成的各图像的动态范围之间的关系的图。图7A示出这样一种情况：与如图6B所示的说明针对静止图像记录对三个图像进行合成的拍摄条件相反，照相机通过使用包括用于实时取景显示的低曝光图像701和高曝光图像702的两个图像，容易地生成HDR图像。在这种情况下，中间灰度区域703的范围仅包括低曝光图像701和高曝光图像702，其中，低曝光图像701包括许多阴影细节损失，高曝光图像702包括许多高亮细节损失。为此，在没有任何改变的情况下对这些图像进行合成，这将导致中间灰度区域703和实际记录的高精度HDR图像的中间灰度区域之间的不匹配。这使得用户即使通过参考实时取景显示进行拍摄也难以获得想要的图像。

因此，照相机通过对要合成的各图像进行灰度控制处理作为用于简单HDR处理的预处理，获得足以再现中间灰度区域703的灰度的灰度。本实施例将示例性说明使用灰度映射处理的方法作为灰度控制方法。灰度映射处理是用于将特定图像的灰度特性转换成不同灰度特性的处理。下面是用于灰度映射的公式的例子。

$O(x,y)=t\_\mathrm{out}{\left(\frac{I(x,y)}{t\_\mathrm{in}}\right)}^{\frac{1}{\mathrm{\γ}}}...\left(7\right)$

在上述公式中，I(x，y)表示输入图像的坐标(x，y)处的特定像素的亮度值，t_in表示输入图像的最大亮度值，t_out表示灰度映射之后的最大亮度值，并且O(x，y)表示灰度映射之后的I(x，y)处的亮度值。因此，改变t_out的值可以例如将12位图像压缩成8位图像，或者将12位图像扩展成14位图像。另外，γ是用于调整在灰度映射之后的灰度值的分配的系数。将γ的值增大成大于1，这将向黑色灰度区域分配许多灰度值。这明确了灰度映射之后的黑色灰度区域中的浓度差，从而抑制阴影细节损失。相反，将γ的值设置成0和1之间的值，这将向白色灰度区域分配许多灰度值。这明确了白色灰度区域中的浓度差，从而抑制高亮细节损失。

作为灰度映射的例子，将说明照相机扩展低曝光图像701的黑色灰度区域的情况。假定在图7A中，HDR图像的动态范围是16位，并且中间灰度区域703的动态范围落在从4位到12位的范围内。在这种情况下，如果低曝光图像701的动态范围是8位，则低曝光图像701的灰度负责图7A中的HDR图像的8位到16位。在这种情况下，如图7A中的附图标记704所示，通过进行灰度映射处理来扩展低曝光图像701的黑色灰度区域，这将使得低曝光图像701的灰度负责HDR图像的4位到16位的范围。通过使用公式(7)表示上述操作，这可以绘制如图8A所示一样的图。

参考图8A，水平轴表示原始图像的亮度值，并且垂直轴表示灰度映射之后的亮度值。如图8A所示，在扩大该图像的动态范围的同时向黑色灰度区域精细地分配灰度，可以在中间灰度区域703中获得在扩展黑色灰度区域的范围的同时能够抑制阴影细节损失的图像。因此，使用经过了灰度控制处理的低曝光图像701和高曝光图像702作为要合成的图像，这可以使通过简单HDR处理所获得的HDR图像的中间灰度表现近似于在静止图像记录时通过正常HDR处理所获得的HDR图像的中间灰度表现。

对于扩展低曝光图像701的黑色灰度区域的情况做出了上述说明。然而，还可以使用用于通过扩展高曝光图像702的白色灰度区域来获得HDR图像的中间灰度的方法。然而，高曝光图像702的白色灰度区域是高亮细节损失区域，因此亮度信息可能超过图像的灰度的上限并且可能丢失。与低曝光图像701低亮度侧相比，这限制了可以扩展白色灰度区域的范围。

如上所述，用于转换灰度特性的方法包括各种方法，例如，用于扩展低曝光图像701的黑色灰度区域的方法和用于扩展高曝光图像702的白色灰度区域的方法。注意，下面的是重要的。当通过仅使用正常HDR处理要合成的图像中的一部分进行简单HDR处理时(参考图6B)，如图7A所示，要合成的任何图像都没有覆盖HDR图像的全部灰度区域(LSB和MSB之间)的一部分。更具体地，低曝光图像701覆盖低曝光图像701的全部灰度区域中排除了黑色灰度区域的部分(具有大于或等于第一阈值的灰度值的灰度区域)。高曝光图像702覆盖高曝光图像702的全部灰度区域中排除了白色灰度区域的部分(具有小于或等于第二阈值的灰度值的灰度区域)。因此，低曝光图像701和高曝光图像702没有适当覆盖HDR图像的全部灰度区域中心附近的灰度区域。因此，灰度控制单元111转换低曝光图像701和高曝光图像702中至少一个的灰度特性，以使得与转换之前相比，向这一灰度区域分配更多的灰度值。灰度特性的这类转换的例子有图7A所示的低曝光图像701的黑色灰度区域的扩展。在本实施例的实际操作中，照相机通过基于正常HDR处理所使用的N个曝光值和简单HDR处理所使用的两个曝光值而确定使用上述灰度映射方法中的一个，生成灰度曲线。显然，代替对于每一操作生成灰度曲线，可以选择并使用预先存储的灰度曲线中的一个。

通过灰度映射扩展灰度区域，特别地，这还会扩展黑色灰度区域中的噪声成分。为此，在本实施例中，当进行简单HDR处理时，灰度控制单元111通过比用于静止图像记录的处理更强地应用诸如平滑化等噪声抑制处理来抑制增强的噪声成分。

步骤S207：图像合成

参考图2，在步骤S207，图像合成单元112进行用于生成实时取景显示的HDR图像的图像合成(生成控制)。将参考图7A说明图像合成的概况。图7A示出要生成的HDR图像的灰度的范围。通常，将该范围设置成宽于要合成的各输入图像的动态范围。作为要合成的图像的低曝光图像701和高曝光图像702经过了由对准单元109在它们之间进行的亮度值水平匹配以及偏移校正。另外，低曝光图像701和高曝光图像702中至少一个经过了诸如步骤S206中的灰度控制单元111的灰度映射处理等的灰度扩展(灰度特性转换)。

考虑动态范围的连续性来配置上述要合成的图像，这将示出哪一图像具有HDR图像的哪一灰度，如图7A所示。因此，为生成HDR图像，照相机可以确定从哪一图像将获取与各灰度相对应的像素。照相机可以使用下面的用于选择亮度值的方法。如果仅一个图像具有相应灰度，则照相机可以使用该图像。对于合成操作而使用低曝光图像701的白色灰度区域，这将抑制高亮细节损失。使用高曝光图像702的黑色灰度区域同样可以抑制阴影细节损失。对于中间灰度区域703，使用扩展了黑色灰度区域的低曝光图像701，这使得可以使简单HDR处理的效果近似于正常HDR处理的效果。以该方式确定所有灰度所要使用的像素来自哪一图像，这可以生成抑制阴影细节损失和高亮细节损失两者的HDR图像。注意，除灰度控制单元111的执行/不执行灰度控制以及要合成的图像的数量以外(参考图6B)，正常HDR处理与简单HDR处理相同。

步骤S208：图像输出

在步骤S208，图像合成单元112将生成的HDR图像输出给显示设备或者存储设备(未示出)。在这种情况下，与正常图像相比，HDR图像具有扩展的动态范围，因此有时在没有任何改变的情况下不能输出给显示设备。在这种情况下，可以对HDR图像进一步进行灰度映射处理，以将其动态范围转换成诸如8位范围等的一般动态范围。

如上所述，根据本实施例，数字照相机100通过合成正常HDR处理所要合成的多个图像中的两个图像，生成HDR图像。在图像合成操作之前，数字照相机100转换这两个图像中的至少一个的灰度特性，以与转换之前相比，向HDR图像的全部灰度区域中没有被这两个图像中的任一个适当覆盖的灰度区域分配更多灰度值。这可以通过减少要合成的图像的数量来抑制帧频的降低，并且可以使简单HDR处理的效果近似于正常HDR处理的效果。另外，由于要合成的图像的数量减少，所以可以减少HDR处理所需的存储器容量。

第二实施例

在第一实施例中，在图2的步骤S204，照相机选择在步骤S202所确定的曝光值中的最大值和最小值。在这种情况下，在通过简单HDR处理生成的HDR图像的全部灰度区域中，中心附近的灰度区域和其它灰度区域在与正常HDR处理的近似程度不同。通过图6B和7A之间的比较可以理解，由于灰度特性转换的近似，使简单HDR处理对中心附近的灰度区域的效果一定程度地近似于正常HDR处理的效果。然而，该近似导致效果上的误差。另一方面，通过图6B和7A之间的比较可以理解，由于其余灰度区域不需要近似，所以即使简单HDR处理也产生与正常HDR处理的效果差不多相同的效果。

考虑到简单HDR处理的这些特性，本实施例根据关注简单HDR处理所生成的HDR图像的哪一灰度区域，改变要选择的曝光值和灰度控制的内容。

图9是示出根据第二实施例的数字照相机900的结构的框图。在图9中，相同的附图标记表示图1中的相同或相似构件，并且省略对其的说明。除图1所示的结构以外，数字照相机900还包括目标像素区域选择单元901。下面的说明仅为本实施例中与图2所示流程图的第一实施例中的处理不同的处理。

在本实施例的图2的步骤S204，照相机在预览图像中指定目标图像区域时选择曝光值。假定目标像素区域选择单元901指定被摄体的面部，并且面部图像包括许多中间灰度像素。在这种情况下，可以将目标像素区域选择单元901对面部的指定当作为指定HDR图像的全部灰度区域的中心附近的灰度区域(中间灰度区域)。

下面说明目标灰度区域和图像间的曝光差之间的关系。在图7A所示的合成方法中，如上所述，灰度映射近似实现中间灰度区域和实际要记录的高动态范围图像的中间灰度区域之间的匹配，而其余灰度区域可以获得与要记录的图像差不多相同的图像。

与此相反，图7B是在选择中间灰度区域作为目标灰度区域时的简单HDR处理的概念图。参考图7B，HDR图像的中间灰度区域709的范围包括低曝光图像705的中间灰度区域和高曝光图像706的中间灰度区域，因此该中间灰度区域可以获得与要记录的图像差不多相同的图像。然而，由于在作为HDR图像的最小亮度值的L SB和作为最大亮度值的M SB附近不存在图像的任何灰度区域，所以不可能改善阴影细节损失和高亮细节损失。因此需要通过灰度控制处理近似实现与这类灰度区域的匹配。

如上所述，要生成的图像根据简单HDR处理所要使用的图像之间的曝光差而在灰度再现性上有所不同。为此，在本实施例中，当用户想要知道通过简单HDR处理将会改善多少阴影细节损失和高亮细节损失时，拍摄条件计算单元106在步骤S204选择具有大的差的两个曝光值。另一方面，当用户想要关注中间灰度区域的质量时，拍摄条件计算单元106在步骤S204选择具有小的差的两个曝光值。作为用于选择目标灰度区域的方法，可以使用用于通过使用户在菜单画面等上手动指定图像区域来选择目标图像区域中所包括的灰度区域的方法。作为另一选择方法，根据评价值获取单元105所生成的亮度值直方图，基于阴影细节损失区域和高亮细节损失区域中包括的像素的数量，选择目标灰度区域。在这种情况下，当黑色灰度区域中所包括的像素的数量少于或等于预定阈值时，在判断为图像中的阴影细节损失区域小时，照相机可以将中间灰度区域自动设置为目标灰度区域，而不使用户主动选择。

在本实施例的图2的步骤S206，照相机对利用根据目标灰度区域所选择的曝光值而拍摄的图像进行灰度控制。在这种情况下，当关注改善阴影细节损失和高亮细节损失时，也就是说，当图像之间的曝光差大时，照相机进行与第一实施例中的图7A中的处理相同的处理。与此相反，当关注中间灰度时，也就是说，当图像之间的曝光差小时，照相机进行图7B所示的灰度控制。也就是说，照相机通过灰度映射来扩展如附图标记707所示的低曝光图像705的白色灰度区域，并且扩展如附图标记708所示的高曝光图像706的黑色灰度区域。此时，照相机通过进行如图8B所示的用于向白色灰度区域分配许多灰度的灰度映射处理来扩展白色灰度区域，并且通过与图8A所示的处理相同的处理来扩展黑色灰度区域。这使得即使在简单HDR处理所要使用的图像之间的曝光差小时，也可以获得实现与实际记录的图像相匹配的HDR图像。

如上所述，根据本实施例，数字照相机900根据关注简单HDR处理所生成的HDR图像的哪一灰度区域，选择简单HDR处理所要使用的图像的曝光值。然后，如参考图7A和7B所述，数字照相机900根据利用所选择的曝光值拍摄的两个图像之间的曝光差来进行灰度控制。这使得通过简单HDR处理可以获得对于用户关注的灰度区域、实现与通过正常HDR处理所获得的HDR图像更好匹配的HDR图像。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，其包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像，即高动态范围图像，其中N是3以上的整数，所述图像处理设备还包括：

拍摄控制单元，用于使所述拍摄单元利用两个不同的曝光值拍摄两个图像；

转换单元，用于转换所述两个图像中的至少一个图像的灰度特性；以及

生成控制单元，用于使所述生成单元对所述转换单元已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，

其中，所述转换单元基于所述N个不同的曝光值和所述两个图像的所述两个不同的曝光值，转换所述两个图像中的至少一个图像的灰度特性，以使得根据所述两个图像所生成的HDR图像的灰度特性近似于根据所述N个图像所生成的HDR图像的灰度特性。

2.根据权利要求1所述的图像处理设备，其特征在于，还包括选择单元，所述选择单元用于从所述N个不同的曝光值中选择所述两个不同的曝光值。

3.根据权利要求1所述的图像处理设备，其特征在于，当所述两个不同的曝光值是所述N个不同的曝光值中的最大曝光值和最小曝光值时，所述转换单元转换作为所述两个图像中表现出较小曝光的图像的低曝光图像的灰度特性，以向具有较小灰度值的灰度区域分配更多灰度值。

4.根据权利要求1所述的图像处理设备，其特征在于，当所述两个不同的曝光值之间的差小于所述N个不同的曝光值中的最大曝光值和最小曝光值之间的差时，所述转换单元转换作为所述两个图像中表现出较小曝光的图像的低曝光图像的灰度特性，以向具有较大灰度值的灰度区域分配更多灰度值，并且转换作为所述两个图像中表现出较大曝光的图像的高曝光图像的灰度特性，以向具有较小灰度值的灰度区域分配更多灰度值。

5.根据权利要求1所述的图像处理设备，其特征在于，还包括指定单元，所述指定单元用于将根据所述两个图像所生成的HDR图像的全部灰度区域中心附近的灰度区域或者所述全部灰度区域的其它灰度区域指定为所述全部灰度区域的目标灰度区域，

其中，当指定所述中心附近的灰度区域，并且所述两个不同的曝光值之间的差小于所述N个不同的曝光值中的最大曝光值和最小曝光值之间的差时，所述转换单元转换作为所述两个图像中表现出较小曝光的图像的低曝光图像的灰度特性，以向具有较大灰度值的灰度区域分配更多灰度值，并且转换作为所述两个图像中表现出较大曝光的图像的高曝光图像的灰度特性，以向具有较小灰度值的灰度区域分配更多灰度值，以及

当指定所述其它灰度区域，并且所述两个不同的曝光值是所述N个不同的曝光值中的最大曝光值和最小曝光值时，所述转换单元转换作为所述两个图像中表现出较小曝光的图像的低曝光图像的灰度特性，以向具有较小灰度值的灰度区域分配更多灰度值。

6.根据权利要求1所述的图像处理设备，其特征在于，还包括抑制单元，所述抑制单元用于抑制所述生成单元所生成的HDR图像中的噪声，

其中，与在所述生成单元根据所述N个图像生成HDR图像时相比，在所述生成单元根据所述两个图像生成HDR图像时，所述抑制单元更强烈地抑制噪声。

7.根据权利要求1所述的图像处理设备，其特征在于，所述两个图像由所述拍摄单元在拍摄所述N个图像之前拍摄，由所述生成单元进行合成，并且显示在显示单元上。

8.根据权利要求1所述的图像处理设备，其特征在于，所述两个图像是在拍摄所述N个图像时从所述N个图像中所选择的两个图像，并且所述生成单元在对所述N个图像进行合成之前对所述两个图像进行合成。

9.一种图像处理设备，其包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像，即高动态范围图像，其中N是3以上的整数，所述图像处理设备还包括：

拍摄控制单元，用于使所述拍摄单元利用所述N个不同的曝光值中的两个曝光值拍摄两个图像；

转换单元，用于转换所述两个图像中的至少一个图像的灰度特性；以及

生成控制单元，用于使所述生成单元对所述转换单元已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，

其中，所述转换单元转换所述两个图像中的至少一个图像的灰度特性，以使得与转换之前相比，向根据所述N个图像所生成的HDR图像的全部灰度区域中未被以下灰度区域中的任一个覆盖的灰度区域分配更多的灰度值：

(a)作为所述两个图像中表现出较小曝光的图像的低曝光图像的、灰度值不小于第一阈值的灰度区域；以及

(b)作为所述两个图像中表现出较大曝光的图像的高曝光图像的、灰度值不大于第二阈值的灰度区域。

10.一种用于控制图像处理设备的方法，所述图像处理设备包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像，即高动态范围图像，其中N是3以上的整数，所述方法包括以下步骤：

拍摄控制步骤，用于使所述拍摄单元利用两个不同的曝光值拍摄两个图像；

转换步骤，用于转换所述两个图像中的至少一个图像的灰度特性；以及

生成控制步骤，用于使所述生成单元对在所述转换步骤中已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，

其中，在所述转换步骤中，基于所述N个不同的曝光值和所述两个图像的所述两个不同的曝光值，转换所述两个图像中的至少一个图像的灰度特性，以使得根据所述两个图像所生成的HDR图像的灰度特性近似于根据所述N个图像所生成的HDR图像的灰度特性。

11.一种用于控制图像处理设备的方法，所述图像处理设备包括生成单元，所述生成单元能够通过对拍摄单元利用N个不同的曝光值所拍摄的N个图像进行合成来生成HDR图像，即高动态范围图像，其中N是3以上的整数，所述方法包括以下步骤：

拍摄控制步骤，用于使所述拍摄单元利用所述N个不同的曝光值中的两个曝光值拍摄两个图像；

转换步骤，用于转换所述两个图像中的至少一个图像的灰度特性；以及

生成控制步骤，用于使所述生成单元对在所述转换步骤中已经转换了其中至少一个图像的灰度特性的所述两个图像进行合成，

其中，在所述转换步骤中，转换所述两个图像中的至少一个图像的灰度特性，以使得与转换之前相比，向根据所述N个图像所生成的HDR图像的全部灰度区域中未被以下灰度区域中的任一个覆盖的灰度区域分配更多的灰度值：

(a)作为所述两个图像中表现出较小曝光的图像的低曝光图像的、灰度值不小于第一阈值的灰度区域；以及

(b)作为所述两个图像中表现出较大曝光的图像的高曝光图像的、灰度值不大于第二阈值的灰度区域。