CN102970488A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法以及程序。提供了一种图像处理设备，包括：曝光补偿单元，根据曝光比率执行长时曝光图像和短时曝光图像的曝光补偿；模糊信息测量单元，使用经过曝光补偿的图像来计算模糊信息，该模糊信息示出了长时曝光图像和短时曝光图像中的对应像素位置处的像素值之间的差异程度；混合系数计算单元，使用模糊信息来决定混合系数，该混合系数将在对长时曝光图像和短时曝光图像中的对应像素位置处的像素值进行的混合处理中使用；以及混合单元，使用所计算的混合系数对长时曝光图像和短时曝光图像中的对应像素位置处的像素值执行混合处理，以决定输出图像的像素值。

Description

图像处理设备、图像处理方法以及程序

技术领域

本公开涉及图像处理设备、图像处理方法以及程序。具体地，本公开涉及生成具有高动态范围(宽动态范围)的图像的图像处理设备、图像处理方法以及程序。

背景技术

在摄像机或数字照相机中使用的诸如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器之类的固态图像拍摄装置通过累积与入射光的量相应的电荷并且输出与所累积的电荷相对应的电信号来执行光电转换。然而，存在对能够在光电转换元件中累积的电荷的量的限制，使得当已经接收到某一光量时，达到饱和水平，导致具有某一亮度或更高亮度的拍摄物体区域被设置为饱和亮度水平，即被称为“过曝高亮部分(blown out highlights)”或“裁剪(clipping)”的问题。

为了防止裁剪，执行以下处理：根据来自外部的光的改变等来控制光电转换元件的电荷累积时段，以调整曝光时长并且从而优化灵敏度。例如，通过对于明亮拍摄物体使用高快门速度来缩短曝光时长，缩短了光电转换元件的电荷累积时段并且在累积的电荷的量达到饱和水平之前输出电信号。通过执行这样的处理，可以输出其中为拍摄物体正确地再现了色调的图像。

然而，如果当对存在亮区和暗区二者的拍摄物体进行拍摄时使用高快门速度，则对于暗区而言曝光时长将是不足的，这将导致S/N比的恶化和图像质量的下降。为了正确地再现在包括亮区和暗区二者的拍摄物体的拍摄图像中的亮区和暗区的亮度水平，有必要对图像传感器上存在很少入射光的像素使用长时曝光以实现高S/N比，并且有必要执行处理来避免具有大量入射光的像素的饱和。

作为实现这样的处理的方法，连续地拍摄具有不同曝光时长的多个图像并且对这些图像进行混合的方法是已知的。也就是说，存在一种方法，该方法独立地且连续地拍摄长时曝光图像和短时曝光图像，并且对于暗图像区使用长时曝光图像以及对于具有长时曝光图像中的过曝高亮部分的亮图像区使用短时曝光图像来执行混合处理以生成单个图像。通过这种方式，通过组合具有不同曝光的多个图像，可以获得没有过曝高亮部分的宽动态范围的图像，即高动态范围(HDR)图像。

作为一个示例，日本特开专利公报No.2000-50151公开了一种配置，该配置拍摄其中设置了多个不同的曝光时长的两个图像并且通过组合这样的图像来获得HDR图像。现将参考图1对这样的处理进行描述。例如，图像拍摄装置在运动图像的拍摄期间输出具有视频速率(30-60 fps)内的两种不同曝光时长的图像数据。同样地在静止图像的拍摄期间，生成并且输出具有两种不同曝光时长的图像数据。图1是用于说明由图像拍摄装置生成的具有两种不同曝光时长的图像(即，长时曝光图像和短时曝光图像)的特性的图。横轴示出了时间(t)，纵轴示出了在构成与固态图像拍摄元件的一个像素相对应的光电转换元件的光接收光电二极管(PD)中的累积电荷(e)。

例如，如果光接收光电二极管(PD)接收到大量的光，即当拍摄物体是亮的时，则随着时间的推移存在所累积的电荷的突然上升，如图1中所示出的高亮度区域11中所示。同时，如光接收光电二极管(PD)接收到少量的光，即当拍摄物体是暗的时，则随着时间的推移存在所累积的电荷的逐步上升，如图1中的低亮度区域12中所示。

时间t0至t3对应于用于获取长时曝光图像的曝光时长TL。即使当设置了这个长时曝光时长TL时，也如能够从示出低亮度区域12的线所理解的，所累积的电荷即使在时间t3处也将未达到饱和水平(非饱和点Py)，这意味着从使用基于这样的累积电荷Sa获得的电信号而决定的像素的色调水平实现了准确的色调再现。

然而，根据示出高亮度区域11的线，清楚的是所累积的电荷将在到达时间t3之前已经达到饱和水平(饱和点Px)。因此，对于这样的高亮度区域11，仅能够从长时曝光图像获得与具有饱和水平的电信号相对应的像素值，导致像素成为过曝高亮部分。

为此，在高亮度区域11中，在到达时间t3之前的一个时间处，例如在图1中的时间t1(电荷清扫开始点P1)处，在光接收光电二极管(PD)中累积的电荷被扫除。电荷的这种清扫不扫除在光接收光电二极管(PD)中累积的所有电荷，并且被假定为将电荷减少到在光接收光电二极管(PD)中控制的中间电压保持水平。在这种电荷清扫处理之后，再次以曝光时长TS(t1至t2)进行短时曝光。也就是说，在从图1中所示出的短时曝光开始点P2至短时曝光结束点P3的时段内进行短时曝光。累积电荷(Sb)是通过这个短时曝光而获得的，并且根据基于该累积电荷(Sb)获得的电信号来决定像素的色调水平。

注意，当根据基于通过低亮度区域12中的长时曝光获得的累积电荷(Sa)和通过高亮度区域251中的短时曝光获得的累积电荷(Sb)的电信号来决定像素值时，对于当曝光被执行相同时间的情况，像素值水平是基于所估计的累积电荷来确定的，或者当计算了与这样的所估计的累积电荷相对应的电信号输出值时，像素值水平是基于计算结果来决定的。

按照这种方式，通过组合短时曝光图像和长时曝光图像，可以获得具有高动态范围且没有过曝高亮部分的图像。

然而，采用日本特开专利公报No.2000-50151中公开的配置，有必要执行单独地拍摄长时曝光图像和短时曝光图像并且组合这些图像的处理。

按照这种方式，尽管可以使用改变了曝光时长的多个图像来生成高动态范围(HDR)图像，但是基于这样的多个图像的处理具有以下问题。因为与短时曝光图像相比长时曝光图像具有更长时间的曝光，所以存在由于由相机抖动或者拍摄物体移动引起的模糊的发生和对于移动物体的色彩损失和假色(fake color)的发生而导致的图像质量下降的问题。

发明内容

本公开的目的是提供能够在抑制例如由于拍摄物体的移动而导致的模糊的情况下生成高质量高动态范围图像的图像处理设备、图像处理方法以及程序。

根据本公开的第一方面，提供了一种图像处理设备，其包括通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值的图像处理单元。该图像处理单元包括：曝光补偿单元，根据长时曝光与短时曝光之间的曝光比率来执行长时曝光图像和短时曝光图像的曝光补偿；模糊信息测量单元，使用在曝光补偿之后的长时曝光图像和短时曝光图像来计算模糊信息，所述模糊信息是示出了在长时曝光图像和短时曝光图像中的对应像素位置处的像素值之间的差异(discrepancy)程度的指标值；混合系数计算单元，使用模糊信息来决定混合系数，作为将在对长时曝光图像和短时曝光图像中的对应像素位置处的像素值进行的像素值混合处理中使用的混合比率；以及混合单元，使用由混合系数计算单元计算的混合系数对长时曝光图像和短时曝光图像中的对应像素位置处的像素值执行像素值混合处理，以决定输出图像的像素值。

另外，在根据本公开的图像处理设备的实施例中，图像处理单元输入其中混合了长时曝光像素和短时曝光像素的一个图像，并且还包括：特定于灵敏度的插值单元(sensitivity-specific interpolation unit)，对输入图像执行插值处理以生成其中所有像素都以长时曝光像素的像素值来设置的长时曝光图像和其中所有像素都以短时曝光像素的像素值来设置的短时曝光图像；以及曝光补偿单元，对由特定于灵敏度的插值单元输出的长时曝光图像和短时曝光图像执行与长时曝光像素与短时曝光像素之间的曝光比率相一致的曝光补偿，并且模糊信息测量单元使用由曝光补偿单元生成的经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像来计算模糊信息。

另外，在根据本公开的图像处理设备的实施例中，混合系数计算单元使用模糊信息来决定混合系数，作为将在对经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像中的对应像素位置处的像素值进行的像素值混合处理中使用的混合比率。

另外，在根据本公开的图像处理设备的实施例中，混合单元通过使用由混合系数计算单元计算的混合系数对经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像中的对应像素位置处的像素值执行像素值混合处理来决定输出图像的像素值。

另外，在根据本公开的图像处理设备的实施例中，模糊信息测量单元使用已经经历了曝光补偿的长时曝光图像和短时曝光图像来计算每种颜色的模糊信息，并且输出各个像素位置处的每种颜色的模糊信息当中的最大值作为与每个像素相对应的模糊信息。

另外，在根据本公开的图像处理设备的实施例中，模糊信息测量单元包括估计在长时曝光图像和短时曝光图像中包括的噪声的噪声估计单元，并且通过从基于在已经经历了曝光补偿的长时曝光图像和短时曝光图像中的对应像素的像素值中的差分而计算出的值中减去由噪声估计单元估计的噪声来计算与像素相对应的模糊信息。

另外，在根据本公开的图像处理设备的实施例中，对于长时曝光图像中的像素值处于饱和水平的像素，混合系数计算单元计算抑制长时曝光图像的像素值的混合比率的混合系数。

另外，在根据本公开的图像处理设备的实施例中，混合单元对长时曝光图像和短时曝光图像中的对应像素位置处的像素值执行像素值混合处理，以生成高动态范围(HDR)图像作为输出图像。

根据本公开的第二方面，提供了一种由包括图像处理单元的图像处理设备执行的图像处理方法，所述图像处理单元执行通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值的图像处理。所述图像处理包括：根据长时曝光与短时曝光之间的曝光比率来执行长时曝光图像和短时曝光图像的曝光补偿；使用在曝光补偿之后的长时曝光图像和短时曝光图像来计算模糊信息，所述模糊信息是示出了长时曝光图像和短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；使用模糊信息来决定混合系数，作为将在对长时曝光图像和短时曝光图像中的对应像素位置处的像素值进行的像素值混合处理中使用的混合比率；以及使用所计算的混合系数对长时曝光图像和短时曝光图像中的对应像素位置处的像素值执行像素值混合处理，以决定输出图像的像素值。

根据本公开的第三方面，提供了一种使图像处理设备执行图像处理的程序，所述图像处理通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值，所述图像处理包括：执行与长时曝光和短时曝光之间的曝光比率相一致的长时曝光图像和短时曝光图像的曝光补偿；使用在曝光补偿之后的长时曝光图像和短时曝光图像来计算模糊信息，所述模糊信息是示出了长时曝光图像和短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；使用该模糊信息来决定混合系数，作为将用在对长时曝光图像和短时曝光图像中的对应像素位置处的像素值进行的像素值混合处理中的混合比率；以及使用所计算的混合系数对长时曝光图像和短时曝光图像中的对应像素位置处的像素值执行像素值混合处理，以决定输出图像的像素值。

注意，作为一个示例，根据本公开的程序是可以经由计算机可读记录介质或通信介质提供给能够执行各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读格式提供程序，在信息处理设备或计算机系统上实现根据该程序的处理。

从本公开的以下实施例和基于附图的详细描述中，本公开的其它目的和优点应该变得显而易见。注意，本说明书中的措辞“系统”指的是多个设备的逻辑分组，并且各配置的设备不限于存在于同一壳体内。

根据本公开的实施例，实现了通过对长时曝光像素和短时曝光像素执行像素值混合处理而生成HDR图像的设备和方法。

更具体地，图像处理设备包括通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值的图像处理单元。该图像处理单元包括：模糊信息测量单元，使用长时曝光图像和短时曝光图像来测量模糊信息；混合系数计算单元，使用所测量到的模糊信息来决定用于长时曝光图像和短时曝光图像的混合系数；以及混合单元，使用由混合系数计算单元计算出的混合系统来对长时曝光图像和短时曝光图像执行像素值混合处理。通过基于模糊信息来控制混合系数，可以生成减少了模糊的影响的高质量HDR图像。

附图说明

图1是用于说明多次执行图像拍摄的情况下对HDR图像的图像拍摄处理的示例的图；

图2是用于说明对HDR图像的生成处理的概要的图；

图3(a)和3(b)是用于说明对HDR图像的生成处理的概要的图；

图4(a)和4(b)是用于说明对HDR图像的生成处理的问题的图；

图5(a)和5(b)是用于说明根据本公开的实施例的处理的对HDR图像的生成处理的概要的图；

图6是用于说明图像拍摄设备的示例配置的图；

图7是用于说明图像拍摄元件的曝光控制处理的图；

图8是用于说明图像拍摄元件的曝光控制处理的图；

图9是用于说明图像处理单元的配置和处理的图；

图10是用于说明图像处理单元的配置和处理的图；

图11是用于说明图像处理单元的配置和处理的图；

图12是用于说明图像处理单元的配置和处理的图；

图13是用于说明图像处理单元的配置和处理的图；

图14是用于说明图像处理单元的配置和处理的图；

图15是用于说明图像处理单元的配置和处理的图；

图16是用于说明图像处理单元的配置和处理的图；

图17是用于说明图像处理单元的配置和处理的图；

图18是用于说明图像处理单元的配置和处理的图；

图19是用于说明图像处理单元的配置和处理的图；

图20(A)至20(J)是用于说明图像拍摄元件的示例配置的图；以及

图21是用于说明图像处理序列的流程图。

具体实施方式

在下文中，将参考附图对本公开的优选实施例进行详细的描述。注意，在此说明书和附图中，具有基本上相同功能和结构的结构元素用相同的附图标记表示，并且省略对这些结构元素的重复说明。

现将按以下指示的顺序参照图来描述根据本公开的实施例的图像处理设备、图像处理方法以及程序的优选实施例。

1.高动态范围图像的生成处理的概要

2.在根据本公开的实施例的处理中决定混合系数β的处理的示例

3.图像处理设备的示例配置

4.用于图像拍摄元件的曝光控制配置的示例

5.图像处理单元的处理的细节

6.其它实施例

7.图像处理设备的处理序列

8.结论

1.高动态范围图像的生成处理的概要

首先，将对高动态范围图像的生成处理的概要进行描述。可以通过组合(在下文中，称为“混合”)长时曝光图像和短时曝光图像来生成高动态范围图像。现将参考图2对高动态范围图像的生成处理进行描述。图2示出了通过混合短时曝光图像51和长时曝光图像52来生成高动态范围(在下文中称为“HDR”)图像55的处理的示例。用于由本实施例执行的处理的措辞“混合处理”是根据混合系数β对短时曝光图像51和长时曝光图像52的对应像素值的混合，其中输出图像(或“混合后的图像”)的各个像素值是通过此混合处理来设置的。

首先，在步骤S11和S12中，通过乘以与曝光比率相对应的(in keepingwith)常数对短时曝光图像51和长时曝光图像52执行曝光补偿。作为一个示例，当对于10比特传感器曝光比率为16时，在曝光补偿阶段短时曝光图像51被乘以16，长时曝光图像52被乘以1，然后在步骤S13中对应像素的像素值被混合以决定作为输出图像的HDR图像55的像素值。注意，在曝光补偿之后的短时曝光图像被称为“经过曝光补偿的短时曝光图像”，在曝光补偿之后的长时曝光图像被称为“经过曝光补偿的长时曝光图像”。

现将描述对于作为输出图像的HDR图像55的像素值决定处理的特定序列。

例如，如果D_S为经过曝光补偿的短时曝光图像的像素值，则D_L为经过曝光补偿的长时曝光图像的像素值，并且D_H为输出的HDR图像的像素值，HDR图像105的像素值被根据以下等式在步骤S13中的混合处理中计算。

D_H＝(1.0-β)×D_S+β×D_L

注意，根据上述等式的像素值的混合是针对经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像中的每个对应像素位置执行的。也就是说，输出图像(HDR图像)的各个像素值是通过在同一拍摄物体的每个图像拍摄像素位置处执行混合处理来决定的。

通过执行这样的处理，由于例如经过曝光补偿的短时曝光图像的饱和像素值是1023×16＝16368(14比特)，所以被输出的像素值也是14比特，从而实现了扩展的动态范围。

然而，存在如下可能性：通过在步骤S11和S12中执行乘以与曝光比率相对应的常数的曝光补偿而获得的经过曝光补偿的短时曝光图像53和经过曝光补偿的长时曝光图像54将不把正确值存储为像素值。也就是说，存在如下可能性：经过曝光补偿的短时曝光图像53的暗区域将包含大量的噪声并且经过曝光补偿的长时曝光图像54的亮区域将具有过曝高亮部分。为此，在步骤S13中的混合处理期间，执行不使用这样的错误像素的像素值的混合处理。通过执行这样的处理，获得了从亮区域到暗区域具有良好的S/N比(信号噪声比)的高动态范围的HDR图像55。

对于上文所描述的HDR图像生成处理存在模糊的问题。通常，如果在图像传感器的曝光时段期间拍摄物体与相机之间的相对位置关系改变，则拍摄物体将被跨越多个像素来拍摄，从而引起细节从所获得的图像丢失。与短时曝光图像相比具有长曝光时段的长时曝光图像特别容易丢失细节。为此，当已经存在拍摄物体的运动或者相机抖动时，即使为短时曝光图像和长时曝光图像补偿了曝光以使亮度均匀，在长时曝光图像和短时曝光图像中的对应像素位置之间的像素值中也将存在差异。按照这种方式，由于在曝光时段期间拍摄物体与相机之间的相对位置关系的改变而导致的、通过曝光补偿已经使其亮度级均匀的、在长时曝光图像和短时曝光图像中的对应像素位置的像素值中产生差异的现象从而被称为“模糊”。采用根据下文中所描述的本公开的实施例的处理，可以生成抑制了模糊的影响的高质量HDR图像。

首先，将说明待用在参照图2所描述的混合处理中的混合系数β。例如，对于未考虑到模糊的情况的混合系数β_F可以按以下所示出的计算。

β_F＝(V_S)/(V_S+V_L)

其中，V_L是经过曝光补偿的长时曝光图像中的聚焦像素(focus pixel)的噪声的方差，V_S是经过曝光补偿的短时曝光图像中的聚焦像素的噪声的方差，β_F是对于未考虑到模糊的情况下用于经过曝光补偿的长时曝光图像中的聚焦像素的混合系数。然而，执行补偿以使得在长时曝光像素是饱和的条件下β_F＝0。在本说明书中稍后对此进行详细描述。

图3(a)和3(b)中示出了用于根据通常的混合来生成HDR图像的配置。如图3(a)中所示，获取短时曝光图像和长时曝光图像，通过乘以与曝光比率相对应的常数来执行曝光补偿以使得短时曝光图像和长时曝光图像的亮度匹配，根据经过曝光补偿的短时曝光图像来决定混合系数，并且通过基于所决定的混合系数执行混合处理来生成HDR图像。

如图3(b)中所示出，例如，作为一个示例可以使用与经过曝光补偿的短时曝光图像的像素值D_S相对应的线性近似数据，并且从而仅根据短时曝光图像来计算混合系数β_F。可替代地，可以仅根据长时曝光图像来计算混合系数β_F。尽管对能够减少噪声的混合系数的选择处理在过去已经经过许多考虑，但是目前不存在在考虑到由于例如拍摄物体的运动而导致的模糊的情况下决定混合系数的方法。

如上文所描述，可以仅根据短时曝光图像或长时曝光图像来计算混合系数β_F。然而，如果执行了这样的处理，则对于所生成的HDR图像出现各种问题。

图4(a)示出了对于根据经过曝光补偿的短时曝光图像来决定混合比率的情况的处理示例，而图4(b)示出了对于根据经过曝光补偿的长时曝光图像来决定混合比率的情况的处理示例。如果根据经过曝光补偿的短时曝光图像来决定混合系数，则将经常发生颜色在所生成的HDR图像的模糊部分中未被正确地输出的现象。此外，如果根据经过曝光补偿的长时曝光图像来决定混合系数，则发生的问题在于在所生成的HDR图像中这两个图像之间的边界是显著的。这样的问题通过根据本公开的这个实施例的图像处理来解决。

2.在根据本公开的实施例的处理中决定混合系数β的处理的示例

现将参考图5描述由根据本公开的本实施例的图像处理设备执行的、决定用于长时曝光图像和短时曝光图像的混合系数β的处理的示例。

图5(a)中示出了由根据本实施例的图像处理设备执行的混合处理的配置的一个示例。在根据本实施例的处理中，基于短时曝光图像和长时曝光图像两者来测量模糊信息，基于所测量的模糊信息以及短时曝光图像和长时曝光图像两者来决定混合系数，并且使用所决定的混合系数对短时曝光图像和长时曝光图像执行混合处理。

注意，如之前所描述的，措辞“模糊”指的是在已经基于曝光比率进行了补偿的长时曝光图像和短时曝光图像中的对应像素位置处的像素的像素值中的差异，“模糊信息”是示出了与像素值的差异相对应的模糊程度的指标值。

在根据本公开的处理中，“模糊信息”是从所拍摄的图像中在单体像素单元中获取的，并且通过使用基于这样获取的“模糊信息”而决定的混合系数对短时曝光图像和长时曝光图像执行混合处理，生成HDR图像。

在根据本实施例的配置中，例如，考虑了模糊的混合系数β_B根据下面的等式1来计算。

β_B＝min(β₀，β₁)

${\mathrm{\β}}_0=\frac{V_S}{V_S+V_L+M}$ ……等式1

β₁＝max(k₁D_S+k₀，0.0)

在这里，“M”是模糊信息(即，示出了模糊的大小的模糊程度指标值)，“max(a，b)”是求出a和b中的最大值的函数，“min(a，b)”是求出a和b中的最小值的函数。此外，k₁和k₀是稍后详细描述的参数。

注意，“M”是示出了长时曝光图像的模糊的大小的值，在理想情况下根据以下等式来计算。

M＝(μ_L-μ_S)²

在这里，“μ_L”是当噪声没有任何影响时获得的经过曝光补偿的长时曝光图像的理想像素值，而“μ_S”是当噪声没有任何影响时获得的经过曝光补偿的短时曝光图像的理想像素值。

然而，对于上述等式，实际上噪声将具有影响并且不可能直接求出μ_L和μ_S。为此，例如使用在聚焦像素周围的一群像素利用等式2近似地求出M。

$M(x,y)=\underset{\mathrm{dx},\mathrm{dy}}{\mathrm{\Σ}}\mathrm{\φ}(\mathrm{dx},\mathrm{dy})\×{\{D_L(x+\mathrm{dx},y+\mathrm{dy})-\min [D_S(x+\mathrm{dx},y+\mathrm{dy}),1023\left]\right\}}^2$ ……等式2

$-p\×V_S(x,y)-p\×V_L(x,y)$

在这里，“M(x，y)”是像素位置(x，y)的模糊信息，D_L(x，y)是经过曝光补偿的长时曝光图像中的像素位置(x，y)的像素值，D_S(x，y)是经过曝光补偿的短时曝光图像中的像素位置(x，y)的像素值，V_L(x，y)是在经过曝光补偿的长时曝光图像中的像素位置(x，y)处的噪声方差值，V_S(x，y)是经过曝光补偿的短时曝光图像中的像素位置(x，y)处的噪声方差值，

表示低通滤波器的加权系数，“min(a，b)”是计算值a和b的最小值的函数，“max(a，b)”是计算值a和b的最大值的函数，“p”是作为零或更高的常数的调整参数。

作为上文中所描述的等式2中的计算的结果，当M(x，y)是负值时，M(x，y)被用零来代替。可替代地，示出了长时曝光图像中的模糊大小的M的计算可以根据下面的等式3来简化和计算。

M(x，y)＝{D_{L_LPF}(x，y)-D_{S_LPF}(x，y)}²-p×V_S(x，y)-p×V_L(x，y)

$D_{L\_\mathrm{LPF}}(x,y)=\underset{\mathrm{dx},\mathrm{dy}}{\mathrm{\Σ}}\{\mathrm{\φ}(\mathrm{dx},\mathrm{dy})\×D_L(x+\mathrm{dx},y+\mathrm{dy})\}$ ……等式3

$D_{S\_\mathrm{LPF}}(x,y)=\underset{\mathrm{dx},\mathrm{dy}}{\mathrm{\Σ}}\{\mathrm{\φ}(\mathrm{dx},\mathrm{dy})\×\min [D_S(x+\mathrm{dx},y+\mathrm{dy}),1023\left]\right\}$

按照这种方式通过决定混合系数β_B来执行混合处理。根据该处理，在存在显著模糊的区域中，使用β_B接近于0的设置以使得基于具有少量模糊的短时曝光图像的像素值被优先输出，而在存在少量模糊的区域中，使用β_B与现有的方法相同的设置以使得根据规定的混合比率来生成像素值。作为执行这样的处理的结果，获得了其中包括运动物体的一部分具有很少的模糊并且静止部分具有从暗区域到亮区域的有利的S/N比率的HDR图像。注意，上文所描述的混合系数的计算负荷不大，这意味着能够以高速度执行处理。例如，这使得处理能够甚至用于运动图像的HDR图像生成处理。

3.图像处理设备的示例配置

图6示出了作为根据本实施例的图像处理设备的示例配置的图像拍摄设备100的示例配置。图6是示出了图像拍摄设备100的示例配置的方框图。经由光学镜头101入射的光入射在由诸如CMOS图像传感器之类的图像拍摄单元构成的图像拍摄元件102上，经历光电转换，然后被输出为图像数据。所输出的图像数据被输入到图像处理单元103中。

图像拍摄元件102的输出图像是所谓的“马赛克图像”，其中为每个像素设置了颜色RGB中的一种颜色的像素值。除了模糊校正处理等之外，图像处理单元103还执行基于为各个像素设置RGB像素值的去马赛克处理和对之前描述的长时曝光图像和短时曝光图像的混合处理的HDR图像生成处理。

图像处理单元103的输出被输入到信号处理单元104中。信号处理单元104通过执行针对相机的典型信号处理(诸如白平衡(WB)调整和伽玛校正)来生成输出图像120。输出图像120被存储在存储单元(未示出)中。可替代地，输出图像120被输出到显示单元。

控制单元105通过根据例如存储在存储器(未示出)中的程序向各种单元输出控制信号来控制各种处理。

4.用于图像拍摄元件的曝光控制配置的示例

接下来，将参照图7描述图像拍摄元件102的曝光控制配置的示例。在根据本实施例的图像处理设备中，通过以一个拍摄图像中包括的像素为单位设置长时曝光像素和短时曝光像素并且对这样的像素执行混合处理来生成HDR图像。根据控制单元105的控制来执行这样的曝光时间控制。

图7是示出了根据本公开的本实施例由图像拍摄元件102对曝光时长的示例设置的图。如图7中所示，构成图像拍摄元件的像素被分类成两种类型的像素，即，在曝光条件被设置为长时曝光的情况下执行图像拍摄的“长时曝光像素”和在曝光条件被设置为短时曝光的情况下执行图像拍摄的“短时曝光像素”。对于本公开，如图7中所示的在单个图像拍摄元件上包括长时曝光像素和短时曝光像素的像素图案被称为SVE(空间变化曝光)图案。

图8示出了用于各个像素的曝光时长的定时示例。在长时曝光像素处执行长时曝光处理，而在短时曝光像素处执行短时曝光处理。尽管在图8中所示的示例中曝光开始定时对于短时曝光像素和长时曝光像素而言不一致，但是将曝光条件设置为使得曝光结束定时一致。

5.图像处理单元的处理的细节

接下来，将描述图6中所示出的图像拍摄设备100中的图像处理单元103的处理。首先，将参照图9描述由图像处理单元103执行的去马赛克处理。如图9中所示，构成图像处理单元103的去马赛克处理单元包括特定于灵敏度的插值单元201和HDR混合/模糊校正单元202。

特定于灵敏度的插值单元201输入例如具有图7中所示的配置的作为包括长时曝光像素和短时曝光像素的像素图案的SVE图案的图像，对所输入的SVE图案图像执行插值处理以生成整个画面具有短时曝光的图像和整个画面具有长时曝光的图像，并且输出这样的插值图像。所输出的图像的颜色图案可以和所输入的图像的颜色图案相同(在本实施例中，拜尔图案(Bayer pattern))，或者所输出的图像可以是在去马赛克以产生用于每个像素位置的RGB值之后的图像。HDR混合/模糊校正单元202将短时曝光图像和长时曝光图像进行混合以生成并且输出没有模糊的HDR图像。

图10详细地示出了特定于灵敏度的插值单元201。如图10中所示，特定于灵敏度的插值单元201包括：提取单元211、212，所述提取单元211、212仅提取各个灵敏度的像素；以及颜色插值单元213、214，所述颜色插值单元213、214使用各个灵敏度的像素来生成低灵敏度图像(短时曝光图像)和高灵敏度图像(长时曝光图像)。注意，作为与这样的灵敏度相对应的插值处理配置，例如可以使用日本特开专利公报No.2008-125117的图74中的方法。用于插值的相关灵敏度和颜色的像素是由提取单元211、212从周围像素中提取的，并且通过颜色插值单元213、214执行插值处理。注意，对于插值，例如可以使用如下方法：使用简单低通滤波器的方法或者根据周围像素估计图像中的边缘的方向并且沿着边缘的方向进行插值。

接下来，将参照图11描述HDR混合/模糊校正单元202的配置和处理。HDR混合/模糊校正单元202包括曝光补偿单元(乘法器单元)221、222、模糊信息测量单元223、混合系数计算单元224以及混合单元225。

曝光补偿单元(乘法器单元)221、222乘以与曝光时长相对应的常数以使得短时曝光图像和长时曝光图像的亮度相匹配。在本实施例中，由于曝光比率是16，所以短时曝光图像被乘以16并且长时曝光图像被乘以1。模糊信息测量单元223测量每个像素的模糊信息(示出了长时曝光图像的模糊程度)。措辞“模糊信息”是与M相对应的值，该值示出了之前参照等式1至等式3所描述的长时曝光图像的模糊的大小。混合系数计算单元224计算示出了用于将经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像进行混合的比例的混合系数。混合单元225根据混合系数将经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像混合。

现将参照图12描述模糊信息测量单元223的详细配置和处理。模糊信息测量单元223包括单色模糊信息测量单元241至243以及最大值选择单元244。

模糊信息测量单元223输入经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像，其中已经通过去马赛克处理为每个像素位置设置了三种颜色RGB并且这些图像已经经历了曝光补偿。

用于红色(R)的经过曝光补偿的长时曝光图像230RL和经过曝光补偿的短时曝光图像230RS被输入到单色模糊信息测量单元241中。用于绿色(G)的经过曝光补偿的长时曝光图像230GL和经过曝光补偿的短时曝光图像230GS被输入到单色模糊信息测量单元242中。用于蓝色(B)的经过曝光补偿的长时曝光图像230BL和经过曝光补偿的短时曝光图像230BS被输入到单色模糊信息测量单元243中。由单色模糊信息测量单元241至243测量与各个颜色R、G和B相对应的模糊信息。措辞“模糊信息”是与M相对应的值，该值示出了之前参照等式1至等式3所描述的长时曝光图像的模糊的大小，并且单色模糊信息测量单元241至243计算每个像素位置处各个颜色R、G以及B的模糊信息M_R、M_G、M_B。

此外，由单色模糊信息测量单元241至243计算的每个像素位置处各个颜色R、G以及B的模糊信息M_R、M_G、M_B被输入到最大值选择单元244。在最大值选择单元244中，对在每个像素位置处的各个模糊信息M_R、M_G和M_B进行比较，并且在每个像素位置处选择各个颜色的模糊信息中的最大值并输出该最大值。

现将参照图13描述单色模糊信息测量单元241至243的详细配置和处理。单色模糊信息测量单元241至243针对各个颜色来计算模糊信息。在这里，将描述计算R单色模糊信息(M_R)的图12中所示出的单色模糊信息测量单元241的处理配置。其它单色模糊信息测量单元242至243具有相同的配置。

如图13中所示，单色模糊信息测量单元241包括饱和处理单元251、252、噪声估计单元253、255、差分计算单元254、平方计算单元256、低通滤波运算单元257以及运算单元258。

例如，单色模糊信息测量单元241以和根据上文中描述的等式2的计算处理相同的方式来使用聚焦像素周围的一组像素，以使用下面的等式4来近似地求出R单色模糊信息(M_R)。

$M_R(x,y)=\underset{\mathrm{dx},\mathrm{dy}}{\mathrm{\Σ}}\mathrm{\φ}(\mathrm{dx},\mathrm{dy})\×{\{D_{\mathrm{RL}}(x+\mathrm{dx},y+\mathrm{dy})-\min [D_{\mathrm{RS}}(x+\mathrm{dx},y+\mathrm{dy}),1023\left]\right\}}^2......$

$-p\×V_{\mathrm{RL}}(x,y)-p\×V_{\mathrm{RS}}(x,y)$

等式4

注意，如果通过上述的等式4计算的M_R的值为负值，则这样的值被用零来代替。在这里，等式4中的各个变量如下。在饱和处理之后在位置(x，y)处的经过曝光补偿的长时曝光像素的R像素值是D_RL(x，y)，在饱和处理之后在位置(x，y)处的经过曝光补偿的短时曝光像素的R像素值是D_RS(x，y)，低通滤波器的核心(kernel)是

在位置(x，y)处的经过曝光补偿的长时曝光像素的R噪声方差是V_RL(x，y)，并且在位置(x，y)处的经过曝光补偿的短时曝光像素的R噪声方差是V_RS(x，y)。

噪声估计单元253、255估计聚焦像素位置处在曝光补偿之后的像素的噪声方差值。通常，由图像传感器输出的像素值和在这样的像素处的噪声的方差值被按如下建模。

噪声方差＝n₁×像素值+n₀

在此等式中，n₁和n₀是与传感器和灵敏度相对应的常数。在此示例中，由于经过曝光补偿的长时曝光图像中的像素值D_L是通过将传感器输出的像素值乘以1而产生的，并且经过曝光补偿的短时曝光图像中的像素值D_S是通过将传感器输出的像素值乘以曝光比率E而产生的，因此作为具体示例，可以通过使用以下等式来计算在聚焦位置(x，y)处的经过曝光补偿的长时曝光图像的噪声方差V_L(x，y)和经过曝光补偿的短时曝光图像的噪声方差V_S(x，y)。

V_L(x，y)＝(n₁×D_L(x，y)+n₀)

V_S(x，y)＝(n₁×(D_S(x，y)÷E)+n₀)×E²

＝n₁×E×D_S(x，y)+n₀×E²

注意，如下文所描述，对于上文所提到的噪声方差，噪声方差计算处理被单独地针对各个颜色R、G以及B执行，以计算经过曝光补偿的长时曝光图像中与R相对应的噪声方差V_RL(x，y)、经过曝光补偿的短时曝光图像中与R相对应的噪声方差V_RS(x，y)、经过曝光补偿的长时曝光图像中与G相对应的噪声方差V_GL(x，y)、经过曝光补偿的短时曝光图像中与G相对应的噪声方差V_GS(x，y)、经过曝光补偿的长时曝光图像中与B相对应的噪声方差V_BL(x，y)以及经过曝光补偿的短时曝光图像中与B相对应的噪声方差V_BS(x，y)。

饱和处理单元251、252以阈值来代替等于或超过这样的阈值的值，以对于已经经历了曝光补偿的短时曝光图像和长时曝光图像设置相匹配的饱和水平。在本实施例中，由于在曝光补偿之后长时曝光图像的饱和像素值是1023，所以在经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像两者中，等于或超过1023的所有值都被以1023来代替。

在包括差分计算单元254、平方计算单元256以及低通滤波运算单元257的块中，计算了与等式4的前一半相对应的值，即以下的等式5中所示出的值。

$\underset{\mathrm{dx},\mathrm{dy}}{\mathrm{\Σ}}\mathrm{\φ}(\mathrm{dx},\mathrm{dy})\×{\{D_L(x+\mathrm{dx},y+\mathrm{dy})-\min [D_S(x+\mathrm{dx},y+\mathrm{dy}),1023\left]\right\}}^2......$

等式5

注意，在上文中所给出的等式5中的计算受到在经过曝光补偿的长时曝光像素和经过曝光补偿的短时曝光像素中包括的噪声影响。在这里，希望求出仅由于模糊而导致的影响。为此，运算单元258执行减去噪声方差的处理。减去噪声方差的处理对应于在上文所描述的等式4的后一半中的减法，即，上文中所给出的

(-P×V_RL(x，y)-P×V_RS(x，y))

结果，可以计算作为之前描述的等式4的计算结果的R单色模糊信息(M_R)。注意，由于模糊信息M不可以取负值，所以如果根据上文描述的等式4所计算的M_R的值是负值，则这样的值被用零来代替。

接下来，将参照图14描述图11中所示出的HDR混合/模糊校正单元202的混合系数计算单元224的示例配置。如图14中所示，混合系数计算单元224包括最大值选择单元261和262以及混合系数运算单元263。

混合系数计算单元224输入其中为每个像素位置提供了三种颜色R、G以及B的图像，具体而言是与RGB颜色相对应的经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像，并且接连地将同一位置的R、G以及B像素值信息输入到最大值选择单元261、262。

最大值选择单元261从在各个RGB的经过曝光补偿的长时曝光图像中的对应像素位置处的RGB像素值中选择最大值。按照相同的方式，最大值选择单元262从在各个RGB经过曝光补偿的短时曝光图像中的相应像素位置处的RGB像素值中选择最大值。

混合系数运算单元263输入来自最大值选择单元261的RGB经过曝光补偿的长时曝光图像中的对应像素位置处的RGB像素值中的最大值，输入来自最大值选择单元262的RGB经过曝光补偿的短时曝光图像中的对应像素位置处的RGB像素值中的最大值，并且还输入来自已经参照图11至13所描述的模糊信息测量单元223的各个像素位置的模糊信息。混合系数运算单元263基于这样的输入信息来计算混合系数。

混合系数运算单元263计算用于各个像素的实际混合系数，即，示出了经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像的混合比率的混合系数。注意，经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像是利用R、G以及B所共用的混合系数来混合的。

现将参照图15描述混合系数运算单元263的详细配置和处理。如图15中所示，混合系数运算单元263包括噪声估计单元271、272，运算单元273，饱和附近(near-saturation)混合系数计算单元274以及最小值选择单元275。

噪声估计单元271、272估计曝光补偿之后的噪声的方差值。这样的噪声估计单元271、272执行与之前参照图13描述的单色模糊信息测量单元241中的噪声估计单元253、255相同的处理。也就是说，噪声估计单元271、272估计聚焦像素位置处在曝光补偿之后的像素的噪声方差值。如之前描述的，聚焦像素(x，y)的经过曝光补偿的长时曝光图像中的噪声方差V_L(x，y)和经过曝光补偿的短时曝光图像中的噪声方差V_S(x，y)根据下面的等式来计算。

V_L(x，y)＝(n₁×D_L(x，y)+n₀)

V_S(x，y)＝(n₁×(D_S(x，y)÷E)+n₀)×E²

＝n₁×E×D_S(x，y)+n₀×E²

其中，D_L是经过曝光补偿的长时曝光像素的像素值，D_S是经过曝光补偿的短时曝光像素的像素值，E是短时曝光与长时曝光之间的曝光比率，并且n₁和n₀是与传感器和灵敏度相对应的常数。

根据下面的计算，运算单元273计算将在计算最终的混合系数β时使用的混合系数计算值βp。

βp＝(V_S)/(V_S+V_L+M)

其中，V_L是经过曝光补偿的长时曝光图像的噪声方差，V_S是经过曝光补偿的短时曝光图像的噪声方差，并且M是模糊信息。

注意，为了减少除法的负荷，可以使用近似地计算上文给出的除法的处理。可替代地，提前登记了上文给出的除法的输入和输出值的查找表(LUT)可以被存储在存储单元中，并且可以通过使用参考该LUT的处理来简化计算。

注意，对于其中长时曝光像素是饱和的条件，希望将混合系数β设置为0并且输出经过曝光补偿的短时曝光像素。为此，在饱和附近混合系数计算单元274中，使用了诸如图16中所示出的曲线之类的折线以使得在长时曝光像素变得饱和的附近，计算混合系数计算值βp以便调整混合系数β。

图16中所示出的曲线是如下曲线：在横轴上具有经过曝光补偿的短时曝光像素的像素值，并且在纵轴上具有用来计算最终的混合系数β的混合系数计算值βq。在横轴上为经过曝光补偿的短时曝光像素的像素值设置两个阈值Th0和Th1以使得

0＜Th0＜Th1

满足此关系的值被用作阈值Th0和Th1。作为示例，阈值Th1是经过曝光补偿的短时曝光像素的像素值，其对应的经过曝光补偿的长时曝光像素的估计像素值将为基本上100％饱和的像素值，而阈值Th0是经过曝光补偿的短时曝光像素的像素值，其对应的长时曝光像素的像素值成为饱和像素值的可能性增大。

如图16中所示出，将混合系数计算值βq设置成使得当经过曝光补偿的短时曝光像素的像素值为0至Th0时βq＝1，当经过曝光补偿的短时曝光像素的像素值为Th0至Th1时βq＝1到0，并且当经过曝光补偿的短时曝光像素的像素值高于Th1时βq＝0。在本实施例中，由于经过曝光补偿的长时曝光图像的饱和像素值是1023，所以Th1被设置成低于1023的参数，而Th0被设置成具有比Th1更低的值的参数。

最小值选择单元275从两个混合系数计算值βp、βq中选择最小值，这两个混合系数计算值即(a)由运算单元273计算的使得βp＝(V_S)/(V_S+V_L+M)的混合系数计算值βp和(b)由饱和附近混合系数计算单元274计算的混合系数计算值βq，即具有图16中所示出的设置的混合系数计算值βq。

注意，最小值选择单元275计算混合系数β的等式能够被表示为下面的等式6。

β＝min(βp，βq)……等式6

接下来，将参照图17描述图11中所示出的HDR混合/模糊校正单元202的混合单元225的示例配置。如图17中所示，混合单元225包括单色混合单元281、282以及283。

单色混合单元281至283使用所决定的混合系数β来对用于颜色R、G、以及B的短时曝光像素和长时曝光像素中的对应像素执行混合处理以获得HDR图像。作为用于R、G以及B的混合系数，共同值被用于每个像素。

现将参照图18描述单色混合单元281、282以及283的详细配置和处理。图18示出了单色混合单元281的配置。单色混合单元282和283也具有相同的配置。如图18中所示，单色混合单元281包括减法器291、乘法器292以及加法器293。

在单色混合单元281中，待输出的HDR图像的像素值D_H根据下面的等式来计算。

D_H＝(1-β)×D_S+β×D_L

＝β×(D_L-D_S)+D_S

其中，D_L是经过曝光补偿的长时曝光图像的像素值，D_S是经过曝光补偿的短时曝光图像的像素值，β是混合系数。作为根据上述等式的混合处理的结果，获得HDR图像的像素值。

6.其它实施例

在上文中已经描述了图像处理设备的具体实施例。现将描述具有对上文所描述的实施例的基本配置的部分改变的其它实施例。

(6-1)简化了模糊信息的计算的实施例

现将描述简化了模糊信息的计算的实施例。在之前描述的基本实施例中，各个RGB颜色的单位中的模糊信息被计算为根据之前描述的等式4的模糊信息M的计算处理。

代替上文所描述的计算，可以通过首先执行使用低通滤波器(LPF)的处理或者相当于使用LPF的计算来抑制乘法器或存储器的成本。通过首先执行使用低通滤波(LPF)的处理或者执行相当于使用LPF的计算，因为已经经历了LPF的像素值被设置为多个周围像素的相加结果，所以抑制了噪声的影响并且可以省略从经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像减去噪声方差V_L和V_S的处理。例如，作为与R相对应的模糊信息M_R的计算处理，可以使用下面的计算等式(等式7)。

M_R＝[min(φ(x，y)*D_RL(x，y)，1023)-min(φ(x，y)*D_RS(x，y)，1023)]²……等式7

图19中示出了根据上文给出的等式7执行对模糊信息的计算处理的单色模糊信息测量单元231的示例配置。图19中所示出的单色模糊信息测量单元231包括LPF301、302，饱和处理单元303、304，差分计算单元305以及平方计算单元306，并且经由这样的单元的处理根据上文给出的等式7执行对模糊信息M的计算处理。

6-2.对拜尔图案执行插值处理的处理的示例

上文中所描述的基本实施例被构造成在特定于灵敏度的插值单元中为每个像素产生三个RGB颜色。按照这种方式，在没有设置三种颜色的情况下，如果短时曝光图像和长时曝光图像被插值成具有相同颜色图案的图像，则可以执行本处理。例如，在本实施例中，还可以执行插值成与输入图像的图像传感器具有相同颜色图案(拜尔图案)的处理。

在这种情况下，由于颜色对于逐个像素是不同的，所以有必要从周围像素中提取与聚焦像素相同颜色的像素并且使用模糊信息测量单元的低通滤波计算单元等来执行低通滤波计算。这里的基本配置和之前描述的基本实施例相同。

6-3.图像拍摄元件的像素图案

尽管在上述实施例中已经描述了用于具有拜尔图案的来自图像拍摄元件的输出的处理示例，但是根据本公开的处理不限于拜尔图案而且还能够适用于具有各种其它像素图案的图像。例如，能够对图20(A)至图20(J)中所示出的各种像素图案执行处理。

6-4使用没有SVE图案的图像传感器的示例

除具有SVE图案的图像传感器之外，根据本公开的处理能够使用由普通图像传感器通过多次图像拍摄而获取的图像(诸如短时曝光和长时曝光)或者能够使用利用多个图像传感器拍摄的图像。在这样的情况下，由于存在拍摄物体的位置在短时曝光图像与长时曝光图像之间移位的可能性，因此还可以使用位置校正单元来执行校正以预先对准拍摄物体的位置。

7.图像处理设备的处理序列

接下来，将参照图21中所示出的流程来描述由根据本公开的实施例的图像处理设备执行的图像处理的序列。

现将描述图21中所示出的流程图的步骤中的处理。作为一个示例，图21中所示出的流程是由图6中所示出的图像拍摄设备100中的图像处理单元103执行的处理，并且是根据在图像处理单元103内部的存储单元中存储的程序使用作为图像处理单元103内部的数据处理单元的处理器或硬件来执行的。

注意，图21中所示出的流程是通过顺次输入构成由图6所示图像拍摄设备100的图像拍摄元件102拍摄的图像的像素值信息的图像处理单元103以像素为单位执行的处理。图像处理单元103基于输入图像的像素值以像素为单位重复地执行图21中所示出的流程，来确定并且输出作为输出图像的HDR图像的像素值。

注意，由图6中所示出的图像拍摄设备100中的图像拍摄元件102拍摄的图像是其中短时曝光像素和长时曝光像素被混合的图像，如例如参照图7至图20所描述的。图像处理单元103接连地输入并且处理其中混合了这样的短时曝光像素和长时曝光像素的图像的各个像素值。

现将描述图21中所示出的流程图中的各个步骤的处理。

步骤S101

图像处理单元103输入来自图像拍摄元件(图像传感器)102的待处理的在聚焦像素位置处的像素值。

步骤S102

在聚焦像素位置附近的像素值被读取为附近像素值。注意作为一个示例，附近像素区域被假定为中心在聚焦像素上的7乘7像素的矩形区域并且被预先设置。

步骤S103

通过使用所输入的聚焦像素和在附近像素中包括的短时曝光像素来执行像素插值处理，生成了所有像素被设置为短时曝光像素的短时曝光图像。

步骤S104

通过使用所输入的聚焦像素和在附近像素中包括的长时曝光像素来执行像素插值处理，生成了所有像素被设置为长时曝光像素的长时曝光图像。步骤S103和S104中的插值处理是由参照图9和10所描述的特定于灵敏度的插值单元201执行的处理。

步骤S105

对通过步骤S103中的插值处理生成的短时曝光图像执行与曝光比率(短时曝光像素与长时曝光像素之间的曝光比率)相对应的曝光补偿，以生成经过曝光补偿的短时曝光图像。更具体地，短时曝光图像的像素值被乘以与曝光比率相对应的曝光常数以生成经过曝光补偿的短时曝光图像。

步骤S106

对通过步骤S104中的插值处理生成的长时曝光处理执行与曝光比率相对应的曝光补偿，以生成经过曝光补偿的长时曝光图像。更具体地，长时曝光图像的像素值被乘以与曝光比率相对应的曝光常数以生成经过曝光补偿的长时曝光图像。步骤S105和S106中的补偿处理是由图11中所示出的HDR混合/模糊校正单元202中的曝光补偿单元(乘法器单元)221、222执行的处理。

步骤S107

使用经过曝光补偿的短时曝光图像和经过曝光补偿的长时曝光图像来计算模糊信息。如之前描述的，模糊信息是示出了长时曝光图像的模糊程度的指标值。步骤S107中的处理是由HDR混合/模糊校正单元202中的模糊信息测量单元223执行的处理。如之前参照图12和13所描述的，模糊信息测量单元223根据之前描述的等式4计算单色模糊信息M_R、M_G、M_B，并且输出这样的模糊信息中的最大值作为相应像素的模糊信息M。

步骤S108

使用在步骤S105中生成的经过曝光补偿的短时曝光图像、根据经过曝光补偿的短时曝光图像而决定的常数n₀、n₁以及传感器(图像拍摄元件)的特有噪声模型等等来计算短时曝光图像中的相应像素的噪声方差值V_S(x，y)。

步骤S109

使用在步骤S106中生成的经过曝光补偿的长时曝光图像、根据经过曝光补偿的长时曝光图像而决定的常数n₀、n₁以及传感器(图像拍摄元件)的特有噪声模型等等来计算长时曝光图像中的相应像素的噪声方差值V_L(x，y)。

步骤S108和S109中的处理是由图15中所示出的混合系数运算单元263中的噪声估计单元271、272执行的处理。如之前描述的，噪声估计单元271、272根据下面给出的等式计算在聚焦像素(x，y)处的经过曝光补偿的长时曝光图像的噪声方差V_L(x，y)和经过曝光补偿的短时曝光图像的噪声方差V_S(x，y)。

V_L(x，y)＝(n₁×D_L(x，y)+n₀)

V_S(x，y)＝(n₁×(D_S(x，y)÷E)+n₀)×E²

＝n₁×E×D_S(x，y)+n₀×E²

其中，D_L是经过曝光补偿的长时曝光像素的像素值，D_S是经过曝光补偿的短时曝光像素的像素值，E是短时曝光与长时曝光之间的曝光比率，并且n₁和n₀是与传感器和灵敏度相对应的常数。

步骤S110

使用在步骤S108中计算的短时曝光图像噪声方差值V_S(x，y)、在步骤S109中计算的长时曝光图像噪声方差值V_L(x，y)、在步骤S107中计算的模糊信息以及在步骤S105中生成的经过曝光补偿的短时曝光图像来计算混合系数β，混合系数β示出了用于混合作为输出图像的HDR图像的像素值中的经过曝光补偿的长时曝光图像的像素值的混合比率。

步骤S110中的处理是图15中所示出的混合系数运算单元263的处理。如之前参照图15描述的，运算单元273根据下面给出的计算来计算将在对最终的混合系数β进行计算时使用的混合系数计算值βp。

βp＝(V_S)/(V_S+V_L+M)

其中，V_L是经过曝光补偿的长时曝光图像的噪声方差，V_S是经过曝光补偿的短时曝光图像的噪声方差，M是模糊信息。

此外，饱和附近混合系数计算单元274使用诸如图16中所示出的曲线之类的折线在长时曝光像素变得饱和的附近计算用于调整混合系数β的混合系数计算值βq。

此外，最小值选择单元275选择两个混合系数计算值βp、βq中的最小值，并且输出所选择的值作为经过曝光补偿的长时曝光图像的混合系数β，这两个混合系数计算值即，(a)由运算单元273计算的使得βp＝(V_S)/(V_S+V_L+M)的混合系数计算值βp和(b)由饱和附近混合系数计算单元274计算的混合系数计算值βq，即，具有图16中所示出的设置的混合系数计算值βq。步骤S110中的处理是在这里描述的混合系数β的计算处理。

步骤S111

根据在步骤S110中计算的混合系数β来执行对在步骤S105中生成的经过曝光补偿的短时曝光图像与在步骤S106中生成的经过曝光补偿的长时曝光图像进行混合的处理，以计算HDR图像的像素值。

步骤S111中的处理是由参考图17和图18描述的混合单元225和单色混合单元281至283执行的处理。如之前描述的，单色混合单元281至283根据以下给出的等式来计算待输出的HDR图像的像素值D_H。

D_H＝(1-β)×D_S+β×D_L

＝β×(D_L-D_S)+D_S

其中，D_L是经过曝光补偿的长时曝光图像中的像素值，D_S是经过曝光补偿的短时曝光图像中的像素值，β是混合系数。作为根据上述等式的混合处理的结果，获得了HDR图像的像素值。

步骤S112

执行下游信号处理。该处理是由图6中所示出的信号处理单元104执行的。对由图像处理单元103生成的HDR图像执行典型的相机信号处理，诸如像白平衡调整和伽玛校正这样的相机信号处理，并且在必要时为了存储在存储单元中还存储编码处理等。

在步骤S113中，确定是否已经对每个像素执行了上述处理。如果还有未处理的像素，则在步骤S101中输入未处理的像素并且针对未处理的像素继续执行步骤S102中的处理。同时，如果结束了每个像素的处理，则在步骤S114中，处理后的图像(HDR图像)被输出为输出图像或者存储在存储单元中。注意，可以例如在控制单元的控制下根据在存储器中存储的程序来执行上述处理。

8.结论

已经在上文中参考附图对本公开的优选实施例进行了详细的描述。本领域的技术人员应该理解的是，依据设计要求和其它因素可以出现各种修改、组合、子组合以及变动，只要它们在所附权利要求或其等同物的范围之内。

此外，本技术还可以被配置如下。

(1)一种图像处理设备，包括：

图像处理单元，通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值，

其中，所述图像处理单元包括：

曝光补偿单元，执行与长时曝光和短时曝光之间的曝光比率一致的、所述长时曝光图像和所述短时曝光图像的曝光补偿；

模糊信息测量单元，使用在所述曝光补偿之后的所述长时曝光图像和所述短时曝光图像来计算模糊信息，所述模糊信息是示出了在所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；

混合系数计算单元，使用所述模糊信息来决定混合系数，该混合系数是将在对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值的像素值混合处理中使用的混合比率；以及

混合单元，使用由所述混合系数计算单元计算的混合系数对在所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理，以决定所述输出图像的像素值。

(2)根据(1)所述的图像处理设备，

其中，所述图像处理单元输入其中混合了长时曝光像素和短时曝光像的一个图像，并且还包括：

特定于灵敏度的插值单元，对输入图像执行插值处理，以生成其中所有的像素都被设置为长时曝光像素的像素值的长时曝光图像和其中所有的像素都被设置为短时曝光像素的像素值的短时曝光图像；和

曝光补偿单元，对由特定于灵敏度的插值单元输出的所述长时曝光图像和所述短时曝光图像执行与所述长时曝光像素和所述短时曝光像素之间的曝光率一致的曝光补偿，并且

所述模糊信息测量单元使用由所述曝光补偿单元生成的经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像来计算所述模糊信息。

(3)根据(1)或者(2)所述的图像处理设备，

其中，所述混合系数计算单元使用所述模糊信息来决定所述混合系数，该混合系数是将在对所述经过曝光补偿的长时曝光图像和所述经过曝光补偿的短时曝光图像中的所述对应像素位置处的像素值进行的所述像素值混合处理中使用的所述混合率。

(4)根据(1)至(3)中的任一项所述的图像处理设备，

其中，所述混合单元通过使用由所述混合系数计算单元计算的混合系数对在所述经过曝光补偿的长时曝光图像和所述经过曝光补偿的短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理来决定所述输出图像的像素值。

(5)根据(1)至(4)中任一项所述的图像处理设备，

其中，所述模糊信息测量单元使用已经经历了所述曝光补偿的所述长时曝光图像和所述短时曝光图像来计算每个颜色的模糊信息，并且输出每个像素位置处的每个颜色的模糊信息中的最大值，作为与每个像素相对应的模糊信息。

(6)根据(1)至(5)中任一项所述的图像处理设备，

其中，所述模糊信息测量单元包括估计在长时曝光图像和短时曝光图像中包括的噪声的噪声估计单元，并且通过从基于已经经历了曝光补偿的长时曝光图像和短时曝光图像中的对应像素的像素值的差分而计算出的值中减去由所述噪声估计单元估计的噪声来计算与像素相对应的模糊信息。

(7)根据(1)至(6)中任一项所述的图像处理设备，

其中，对于所述长时曝光图像中的像素值处于饱和水平的像素，所述混合系数计算单元计算抑制所述长时曝光图像的像素值的混合比率的混合系数。

(8)根据(1)至(7)中任一项所述的图像处理设备，

其中，所述混合单元对所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值执行所述像素值混合处理，以生成作为所述输出图像的高动态范围(HDR)图像。

此外，本公开的配置还包括由上文所描述的设备和系统执行的处理的方法、用于执行这样的处理的程序以及上面记录了这样的程序的记录介质。

另外，在本说明书中说明的处理序列能够通过硬件、通过软件以及通过组合硬件和软件的配置来实施。在通过软件实现处理的情况下，可以在被整合到专用硬件中的计算机内的存储器中安装其中编码有该处理序列的程序并且执行该程序。还可以将程序安装在能够执行各种类型的处理的通用计算机中并且执行该程序。例如，程序可以被预先安装在存储介质中。除了被从存储介质安装在计算机中之外，程序还可以通过诸如局域网(LAN)或因特网之类的网络来接收，并且可以被安装在诸如内置于计算机中的硬盘等的存储介质中。

注意，在本说明书中描述的各种类型的处理不仅可以以如已经描述的时间序列来执行，而且也可以根据执行处理的装置的处理能力或根据需要，并行或单独地执行。另外，本说明书中的系统不限于逻辑上聚合了多个全部被包含在同一壳体内的装置的配置。

如上文所描述，根据本公开的实施例的配置，实现了通过对长时曝光像素和短时曝光像素执行像素值混合处理来生成HDR图像的设备和方法。

更具体地，图像处理设备包括通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值的图像处理单元。该图像处理单元包括：模糊信息测量单元，使用长时曝光图像和短时曝光图像来测量模糊信息；混合系数计算单元，使用所测量到的模糊信息来决定用于长时曝光图像和短时曝光图像的混合系数；以及混合单元，使用由混合系数计算单元计算出的混合系统来对长时曝光图像和短时曝光图像执行像素值混合处理。通过基于模糊信息来控制混合系数，可以生成其中减少了模糊的影响的高质量HDR图像。

本公开包含与2011年8月31日向日本专利局提交的日本优先权专利申请JP2011-190055和2011年12月19日向日本专利局提交的日本优先权专利申请JP2011-277629中公开的主题有关的主题，该申请的全部内容通过引用结合于此。

Claims (10)

1.一种图像处理设备，包括：

图像处理单元，通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值，

其中，所述图像处理单元包括：

曝光补偿单元，根据长时曝光与短时曝光之间的曝光比率来执行所述长时曝光图像和所述短时曝光图像的曝光补偿；

模糊信息测量单元，使用在所述曝光补偿之后的所述长时曝光图像和所述短时曝光图像来计算模糊信息，所述模糊信息是示出了在所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；

混合系数计算单元，使用所述模糊信息来决定混合系数，作为将在对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值进行的所述像素值混合处理中使用的混合比率；以及

混合单元，使用由所述混合系数计算单元计算的混合系数对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理，以决定所述输出图像的像素值。

2.根据权利要求1所述的图像处理设备，

其中，所述图像处理单元输入其中混合了长时曝光像素和短时曝光像素的一个图像，并且还包括：

特定于灵敏度的插值单元，对输入图像执行插值处理，以生成其中所有的像素都以长时曝光像素的像素值来设置的长时曝光图像和其中所有的像素都以短时曝光像素的像素值来设置的短时曝光图像；以及

曝光补偿单元，对由所述特定于灵敏度的插值单元输出的所述长时曝光图像和所述短时曝光图像执行与所述长时曝光像素与所述短时曝光像素之间的曝光比率相对应的曝光补偿，并且

所述模糊信息测量单元使用由所述曝光补偿单元生成的经过曝光补偿的长时曝光图像和经过曝光补偿的短时曝光图像来计算所述模糊信息。

3.根据权利要求2所述的图像处理设备，

其中，所述混合系数计算单元使用所述模糊信息来决定所述混合系数，作为将在对所述经过曝光补偿的长时曝光图像和所述经过曝光补偿的短时曝光图像中的所述对应像素位置处的像素值进行的所述像素值混合处理中使用的混合比率；

4.根据权利要求2所述的图像处理设备，

其中，所述混合单元通过使用由所述混合系数计算单元计算的混合系数对所述经过曝光补偿的长时曝光图像和所述经过曝光补偿的短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理来决定所述输出图像的像素值。

5.根据权利要求1所述的图像处理设备，

其中，所述模糊信息测量单元使用已经经历所述曝光补偿的所述长时曝光图像和所述短时曝光图像来计算每个颜色的模糊信息，并且输出每个像素位置处的每个颜色的模糊信息当中的最大值，作为与每个像素相对应的模糊信息。

6.根据权利要求1所述的图像处理设备，

其中，所述模糊信息测量单元包括估计在所述长时曝光图像和所述短时曝光图像中包括的噪声的噪声估计单元，并且通过从基于在已经经历所述曝光补偿的所述长时曝光图像和所述短时曝光图像中的对应像素的像素值的差分而计算出的值中减去由所述噪声估计单元估计的噪声来计算与像素相对应的模糊信息。

7.根据权利要求1所述的图像处理设备，

其中，对于所述长时曝光图像中的像素值处于饱和水平的像素，所述混合系数计算单元计算抑制所述长时曝光图像的像素值的混合比率的混合系数。

8.根据权利要求1所述的图像处理设备，

其中，所述混合单元对所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值执行所述像素值混合处理，以生成作为所述输出图像的高动态范围(HDR)图像。

9.一种由图像处理设备执行的图像处理方法，包括：

使用图像处理单元来执行图像处理，所述图像处理通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值，

其中，所述图像处理包括：

根据长时曝光与短时曝光之间的曝光比率来执行所述长时曝光图像和所述短时曝光图像的曝光补偿；

使用在所述曝光补偿之后的所述长时曝光图像和所述短时曝光图像来计算模糊信息，所述模糊信息是示出了在所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；

使用所述模糊信息来决定混合系数，作为将在对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值进行的所述像素值混合处理中使用的混合比率；以及

使用所计算的混合系数对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理，以决定所述输出图像的像素值。

10.一种使图像处理设备执行图像处理的程序，所述图像处理通过对长时曝光图像和短时曝光图像执行像素值混合处理来生成输出图像的像素值，

所述图像处理包括：

根据长时曝光与短时曝光之间的曝光比率来执行所述长时曝光图像和所述短时曝光图像的曝光补偿；

使用在所述曝光补偿之后的所述长时曝光图像和所述短时曝光图像来计算模糊信息，所述模糊信息是示出了在所述长时曝光图像和所述短时曝光图像中的对应像素位置处的像素值之间的差异程度的指标值；

使用所述模糊信息来决定混合系数，作为将在对所述长时曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值进行的所述像素值混合处理中使用的混合比率；以及

使用所计算的混合系数对长所述曝光图像和所述短时曝光图像中的所述对应像素位置处的像素值执行所述像素值混合处理，以决定所述输出图像的像素值。

Images