CN104980652A - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供一种图像处理设备和图像处理方法。所述图像处理设备包括：使用图像选择器，被配置为产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域；平均处理器，被配置为通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；合成器，被配置为通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。

Description

图像处理设备和图像处理方法

本申请要求于2014年4月11日提交到日本专利局的第2014-0081999号日本专利申请和于2014年9月25日提交到韩国知识产权局的第10-2014-0128283号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。

技术领域

与示例性实施例一致的设备和方法涉及能够执行改进的宽动态范围(WDR)或高动态范围(HDR)拍摄功能的图像处理。

背景技术

最近增加了对宽动态范围(WDR)或高动态范围(HDR)拍摄功能的使用。根据WDR或HDR拍摄功能，连续捕捉短时间曝光图像(在下文中，被称为短曝光图像)和长时间曝光图像(在下文中，被称为长曝光图像)，随后对它们进行合成。因此，可获得超出允许图像传感器提供的最大动态范围的动态范围的图像。WDR或HDR拍摄功能对于高对比度场景(诸如背光模式)非常有效。

用于在长曝光图像和短曝光图像之间选择图像以用于区域中的每个像素的标准通常包括像素值信息和运动检测信息。在连续图像组中，对短曝光图像和长曝光图像的一对进行合成是普遍的。

将描述相机轻微晃动的场景。例如，将描述安装在室外的固定相机被路过车辆(或被风)轻微晃动的情况，或便携式相机被用户的手抖动轻微晃动的情况。在这种场景下，对于WDR合成的图像的特定区域，对短曝光图像和长曝光图像的选择相对于时间改变。因此，可能会把短曝光图像和长曝光图像之间的图像质量差异看做是闪烁。

将描述短曝光图像和长曝光图像之间的图像质量差异。通常，在根据曝光率将短曝光图像归一化之后执行对WDR图像的合成，使得短曝光图像具有与长曝光图像相同的亮度。在长曝光图像饱和的区域中，不可能使短曝光图像和长曝光图像具有相同的亮度。然而，如果长曝光图像不饱和，则长曝光图像的亮度可与归一化的短曝光图像的亮度匹配。然而，难以使两个图像具有恰好相同的图像质量。

例如，如果基于曝光率执行归一化，则期望曝光率可能不等于实际捕捉的像素值的比率。这是因为快门时间的设置精度低或者图像传感器的曝光特性受到影响。当执行对短曝光图像的归一化时，计算精度也会成为问题。

短曝光图像通常具有许多噪声。因此，虽然亮度匹配，但是如果通过捕捉相同对象获得的短曝光图像和长曝光图像频繁改变，则噪声量的差异可被检测为闪烁。

以下专利文献公开了用于减少外部振动对WDR合成的图像的影响的技术。

第2003-143484号日本专利特许公开(在下文中，被称为专利文献1)公开了一种在通过坐标变换应对整个屏幕的不一致之后对图像进行合成的技术。即使当短曝光图像的位置与长曝光图像的位置因振动(诸如相机晃动)而不一致时，可对图像进行合成，而不管这种不一致。

第2012-165213号日本专利特许公开(在下文中，被称为专利文献2)公开了这样一种算法：当确定将使用短曝光图像和长曝光图像中的哪一个时，如果像素值等于或大于参照长曝光图像的阈值，则使用短曝光图像。

由于长曝光图像饱和，因此平稳地转变图像选择以在高对比度区域中产生自然合成的图像，在高对比度区域中，使用短曝光图像的区域与适当曝光并使用长曝光图像的区域邻近。然而，由于饱和长曝光图像的像素值混合，因此在高对比度区域的饱和部分中颜色变浅。因此，专利文献2的技术通过将长曝光图像的明亮的像素值区域放大达振动幅度那么多来产生图像，参照放大的图像确定选择信号，并使用短曝光图像对区域进行放大。

第2011-135152号日本专利特许公开(在下文中，被称为专利文献3)公开了一种利用短快门时间执行支架捕捉以最大化地抑制因振动导致的不一致的技术。

第2013-066142号日本专利特许公开(在下文中，被称为专利文献4)公开了一种通过在运动区域中使用短曝光图像来抑制合成伪影或抖动图像的技术。在该技术中，当通过对象的运动捕捉抖动长曝光图像时，使用具有少量抖动分量的短曝光图像。

在观看WDR合成的图像中的一帧时，使用专利文献1中描述的技术可能有效。然而，当持续观看WDR合成的图像时，振动的影响不可被忽视。例如，当参照长曝光图像来移动短曝光图像的位置以进行对齐时，如果长曝光图像受振动影响，则振动的影响也仍存在于合成的图像组中。也就是说，根据专利文献1中描述的技术，对短曝光图像和长曝光图像的选择由于振动而相对于时间改变，并且图像的一部分可被视为闪烁。

在专利文献2中描述的技术中，饱和长曝光图像不用于合成。因此，可解决当饱和长曝光图像的像素值用于合成时引起的不自然颜色的产生。然而，根据该技术，短曝光图像和长曝光图像的转变区域的位置仅在空间上移动。因此，对于暂时连续的WDR合成的图像之中的特定区域，短曝光图像和长曝光图像可由于振动频繁改变。

根据专利文献3中描述的技术，快速振动的影响不可被忽视。此外，虽然假设振动的影响可被忽视，但是由短快门时间引起的噪声会增加。

专利文献4中描述的技术没有描述当存在振动时包括在连续WDR合成结果中的闪烁。然而，当全部振动被检测为运动时，在全屏中选择短曝光图像，并且在全屏上噪声增加。此外，当振动没有被检测为运动时，根据像素值从短曝光图像和长曝光图像选择将用于合成的图像。由于用于合成的图像暂时改变，因此可出现闪烁。

发明内容

示例性实施例包括图像处理设备和图像处理方法，其中，当选择短曝光图像和长曝光图像以用于合成时，可抑制选择的图像因轻微振动而改变。

各个方面将在下面的描述中部分地阐明，并且从描述中部分将是显然的，或者可通过呈现的实施例的实施而得知。

根据示例性实施例，提供一种图像处理设备，所述图像处理设备可包括：使用图像选择器，被配置为产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前使用图像选择信息和当前使用图像选择信息；平均处理器，被配置为通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；合成器，被配置为通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。

所述图像处理设备还可包括：运动检测器，被配置为检测关于对象的运动信息；更新处理器，被配置为根据检测到的所述关于对象的对平均的使用图像选择信息进行更新，其中，合成器被配置为通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。

这里，运动检测器可使用所述至少两个图像或仅使用从所述至少两个图像选择的一个图像检测关于对象的运动信息。

图像处理设备还可包括缩小处理器，被配置为通过分别缩小所述多个图像来获得缩小的图像，使用图像选择器可根据缩小的图像产生使用图像选择信息。

使用图像选择器可被配置为根据缩小的图像产生使用图像选择信息。

运动检测器可被配置为从缩小的图像检测关于对象的运动信息。

更新处理器可被配置为对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与关于对象的运动信息相应的运动区域中。

以上，先前使用图像选择信息可包括针对先前产生的合成图像中的每个区域的至少两个先前图像的混合比率，当前使用图像选择信息可包括针对当前合成的图像中的每个区域的所述至少两个图像的混合比率。

根据另一示例性实施例，提供一种图像处理方法，所述图像处理方法可包括：产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前使用图像选择信息和当前使用图像选择信息；通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。

所述图像处理方法还可包括：检测关于对象的运动信息；根据检测到的所述关于对象的对平均的使用图像选择信息进行更新，其中，通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。

这里，可使用所述至少两个图像或仅使用从所述至少两个图像选择的一个图像检测关于对象的运动信息。

以上方法还可包括通过分别缩小所述多个图像来获得缩小的图像，其中，根据缩小的图像产生使用图像选择信息。

以上，可通过将所述多个图像中的每个划分为多个预定大小的块，并对每个块的像素值取平均来执行缩小所述多个图像。

可对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与关于对象的运动信息相应的运动区域中。

如上所述，当选择所述多个图像之中的所述至少两个图像以用于合成时，可防止选择的图像因轻微振动而频繁改变。

附图说明

从以下结合附图对实施例的描述，这些和/或其它方面将变得清楚且更容易理解，在附图中：

图1是示出根据第一示例性实施例的图像处理设备的配置和操作的示图；

图2是根据示例性实施例的连续捕捉短曝光图像和长曝光图像的一对的情况的示图；

图3是示出根据示例性实施例的平均处理器的配置的框图；

图4、图5、图6A、图6B和图6C是用于解释第一示例性实施例的效果的示例的示图；

图7是示出根据第二示例性实施例的图像处理设备的配置和操作的示图。

具体实施方式

现在将详细参照示例性实施例，在附图中示出示例性实施例，其中，相同的标号始终表示相同的元件。就这点而言，本实施例可具有不同的形式，并且不应被解释为局限于这里阐明的描述。因此，下面通过参照附图仅描述示例性实施例以解释本发明构思的多个方面。

[第一实施例]

首先，以下将描述根据第一示例性实施例的图像处理设备的配置和操作。

图1是示出根据第一示例性实施例的图像处理设备1A的配置和操作的示图。如图1中所示，图像处理设备1A包括图像传感器10、帧存储器20A、使用图像选择器30、运动检测器40、平均处理器50、更新处理器60、WDR合成器70和灰度压缩处理器80。在下文中，将依次描述包括在图像处理设备1A中的以上组件的操作。

图像处理设备1A在改变图像传感器10的曝光设置的同时连续捕捉两帧图像。这里，假设首先执行短曝光拍摄，然后执行长曝光拍摄。然而，可在长曝光拍摄之后执行短曝光拍摄。

按照上述方式捕捉的短曝光图像和长曝光图像被配对并被写入帧存储器20A。连续执行对短曝光图像和长曝光图像的捕捉以及将短曝光图像和长曝光图像写入帧存储器20A。

图2是连续捕捉短曝光图像和长曝光图像的一对的情况的示图。参照图2，针对时间捕捉短曝光图像(t-1)、长曝光图像(t-1)、短曝光图像(t)、长曝光图像(t)、短曝光图像(t+1)、长曝光图像(t+1)。在图2中，在括号内指示每个图像的捕捉时间。相似地，在下文中，在括号内指示每个图像的捕捉时间。

在本示例性实施例中，至少当前时间的短曝光图像和当前时间的长曝光图像被保存在帧存储器20A中。因此，短曝光图像和长曝光图像的捕捉间隔不具体局限于此。此外，短曝光时间和长曝光时间可按照每帧的周期写入帧存储器20A或按照多个帧的周期写入帧存储器20A。

更具体地讲，如图1中所示，如果存在短曝光图像和长曝光图像的一对被写入的区域，则图像处理设备1A可将短曝光图像和长曝光图像的一对连续写入相应区域。例如，写入帧存储器20A的短曝光图像(t-1)和长曝光图像(t-1)可被短曝光图像(t)和长曝光图像(t)覆盖。

此外，在图1中示出的示例中，图像处理设备1A包括用于输出短曝光图像和长曝光图像的通用系统，图像传感器10以时分方式输出短曝光图像和长曝光图像，但是可同时输出短曝光图像和长曝光图像。在这种情况下，图像处理设备1A可具有两个系统，即，用于从图像传感器10输出短曝光图像的系统和用于从图像传感器10输出长曝光图像的系统。由对象的动态范围或图像传感器10的规格确定每种情况的快门时间。

在示例性实施例中，这里使用的术语“短曝光图像”和“长曝光图像”不限于捕捉的两个图像的绝对曝光时间。因此，当具有不同曝光时间的两个图像被捕捉时，具有相对短的曝光时间的图像对应于短曝光图像，具有相对长的曝光时间的图像对应于长曝光图像。

图像传感器10被配置为将外部光成像到成像元件的光接收表面上并通过将成像光光电地转换为电荷量来形成电信号。图像传感器10的类型不被具体限制，并且可以是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。

使用图像传感器30检测从帧存储器20A读取的短曝光图像和长曝光图像中的每个图像的饱和状态和运动，并产生用于将短曝光图像和长曝光图像中的一个选择为使用图像的使用图像选择信息。可使用各种算法来选择短曝光图像和长曝光图像中的一个。

例如，由于在长曝光图像中饱和的区域在短曝光图像中很可能将不饱和，因此短曝光图像可被选择为相应区域的使用图像。然而，针对具有大幅度运动的区域仅使用该处理会引起伪影。也就是说，该区域的轮廓会重影。因此，可执行用于检测大幅度运动并减少伪影的处理。包括以上描述的处理的用于选择短曝光图像和长曝光图像中的一个图像的算法不被具体限制。

此外，如上所述，使用图像选择信息可以是指示短曝光图像和长曝光图像中的哪个被选择的二进制数据的集合并且可以是短曝光图像和长曝光图像被混合的混合比率的集合。例如，如果长曝光图像的饱和度增加，则使用图像选择器30可增加短曝光图像的部分。此外，使用图像选择器30可随着短曝光图像或长曝光图像的运动增加而增加短曝光图像的部分。用于计算短曝光图像和长曝光图像的混合比率的算法也不具体局限于此。

运动检测器40检测运动并产生运动检测信息。运动检测方法不被具体限制。当从短曝光图像和长曝光图像检测到运动时，可通过将曝光率乘以两个图像之一的增益来执行归一化，随后可计算短曝光图像和长曝光图像之间的差。

此外，产生运动检测信息的方法不被具体限制。例如，运动检测器40可根据从短曝光图像和长曝光图像检测到的运动与阈值之间的关系产生运动检测信息。

具体地讲，运动检测器40可检测短曝光图像和长曝光图像中的相应区域的像素值或梯度的差，并将差大于阈值的区域检测为运动区域。显然运动检测器40可将差小于阈值的区域检测为非运动区域。差等于阈值的区域可被检测为运动区域或非运动区域。运动检测器40可将这样的检测结果产生为运动检测信息。

平均处理器50通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息。由平均处理器50执行的取平均不被具体限制，只要它是一种相加平均即可。以下将描述平均处理器50的配置的示例。

图3是示出平均处理器50的配置的示例的框图。如图3中所示，平均处理器50可包括无限脉冲响应(IIR)滤波器51和先前使用图像选择信息存储器52。

例如，IIR滤波器51通过使用以下等式1，对由使用图像选择器30输入的当前使用图像选择信息和从先前使用图像选择信息存储器52读取的先前使用图像选择信息执行相加取平均：

Out＝COEF×Sprv+(1.0-COEF)×Scur    (1)

在以上等式1中，Out表示从IIR滤波器51输出到后级的使用图像选择信息，Sprv表示先前使用图像选择信息，Scur表示当前使用图像选择信息，COEF表示混合系数。混合系数可被预先设置或者可由用户设置。从IIR滤波器51输出到后级的使用图像选择信息也可被写入先前使用图像选择信息的存储器52并被IIR滤波器51用于下一取平均。

此外，图3示出IIR滤波器51被用作用于对先前使用图像选择信息和当前使用图像选择信息取平均的配置的示例。然而，取平均配置不限于IIR滤波器51。例如，可使用有限脉冲响应(FIR)滤波器，或者可使用其它滤波器来代替IIR滤波器51。

更新处理器60基于由运动检测器40产生的运动检测信息对由平均处理器50取平均的使用图像选择信息进行更新。具体地讲，更新处理器60相对于运动检测信息对平均的使用图像选择信息进行更新，从而在运动区域中短曝光图像被选择为使用图像。以这种方式，可减少引起合成图像的轮廓重影的伪影。另一方面，更新处理器60被配置为使得相对于运动检测信息，在非运动区域中由平均处理器50取平均的使用图像选择信息不被更新。

WDR合成器70根据由平均处理器50取平均的使用图像选择信息，通过对短曝光图像和长曝光图像进行合成来产生WDR合成的图像。具体地讲，WDR合成器70基于平均的使用图像选择信息，通过使用短曝光图像使用区域中的短曝光图像并使用长曝光图像使用区域中的长曝光图像，来产生合成图像。

由WDR合成器70执行的合成方法不被具体限制。

例如，“0”是指示长曝光图像被选择的值，“1”是指示短曝光图像被选择的值。

WDR合成器70可针对长曝光图像和短曝光图像中的相应像素计算α×(短曝光图像的像素值)+(1-α)×(长曝光图像的像素值)，(其中，α是构成使用图像选择信息的混合比率)，并将计算结果输出为后合成图像(WDR图像)。

以这种方式，在第一示例性实施例中，当短曝光图像和长曝光图像被选择用于合成时，引用由平均处理器50取平均的使用图像选择信息而不是由使用图像选择器30自身产生的使用图像选择信息。因此，可抑制选择的图像因轻微振动而频繁改变。

此外，如上所述，WDR合成器70可直接引用从平均处理器50输出的平均的使用图像选择信息并可引用由更新处理器60更新的使用图像选择信息。也就是说，WDR合成器70可通过根据由更新处理器60更新的使用图像选择信息对长曝光图像和短曝光图像进行合成来产生合成图像。根据以上配置，由于由运动检测器40检测的运动(例如，大幅度振动或运动对象)反映在合成处理中，因此可减少由合成引起的伪影。

灰度压缩处理器80针对由WDR合成器70产生的WDR图像执行用于将宽动态范围的图像信号的比特范围设置为预定比特范围的压缩处理。可使用基于查找表(LUT)的色调映射作为压缩处理，但是也可使用任何方法作为压缩处理。

灰度压缩处理器80的后级连接到从贝尔图案(Bayer pattern)产生RGB平面的图像处理引擎(未示出)。图像处理引擎可包括去马赛克处理器、轮廓增强处理器和颜色管理处理器。因此，从灰度压缩处理器80输出的信号的数据量可被调整为适合输入到图像处理引擎的数据大小(例如，大约12比特)。由于数据大小的减小将图像改变为黑暗图像，高亮度侧可被压缩到WDR图像接近于人的视觉特性的程度。

以上已描述了捕捉具有不同曝光量的两种类型的图像(短曝光图像和长曝光图像)并对所述两种类型的图像进行合成的示例。然而，根据本发明构思的在图像合成中使用的图像的类型不被具体限制。例如，可捕捉具有不同曝光量的三种类型的图像并对所述三种类型的图像进行合成来产生WDR图像。

更具体地讲，对于使用短曝光图像、中曝光图像和长曝光图像的情况，运动检测器40可包括从短曝光图像和中曝光图像检测运动以及从中曝光图像和长曝光图像检测运动的两种运动检测器。根据示例性实施例，作为单个单元的运动检测器40可执行上述两种不同的运动检测功能。此外，运动检测器40可仅使用三种图像之一来检测运动信息。此外，帧存储器20A可具有用于写入中曝光图像的区域。使用图像选择信息的格式可以是用于从三种类型的图像(即，短曝光图像、中曝光图像和长曝光图像)选择使用图像的格式。

接下来，下面将描述第一示例性实施例的效果。

图4至图6是用于解释第一示例性实施例的效果的示图。

参照图4，示出由相机捕捉的短曝光图像和长曝光图像。在每个图像中，示出从室内捕捉室外光的场景。在长曝光图像中，窗户区域完全饱和，因此室内被黑暗地捕捉。在短曝光图像中，在窗户区域中捕捉室外的云彩，但是室内几乎墨黑。在这样的场景中，被认为是基于“当长曝光图像的像素值等于或大于阈值时使用短曝光图像”的逻辑来选择使用图像的情况。

基于长曝光图像中由虚线围绕的估计区域R1，图5中示出计算长曝光图像中的估计区域R1的平均值的情况。由于在窗户区域中12比特信号饱和，因此窗户区域的像素值被设置为4095。为了简单，室内黑暗地捕捉的像素值被设置为0。估计区域R1的大小为16像素×16像素。如果相机水平振动，则在估计区域R1中室内黑暗的像素重复进出。

例如，如果室内区域的两个黑暗像素列进入估计区域R1，则长曝光图像的平均像素值为3584，即长曝光图像的平均像素值被显著降低。当四个像素列进入时，长曝光图像的平均值为3072，该值比上述情况的值小很多。也就是说，如果相机以四个像素列的幅度振动，则相应区域中的长曝光图像的平均像素值在4095和3072之间改变。

这样，当估计存在高对比度边缘的区域周围的长曝光图像的像素值时，估计值可因若干像素的轻微振动而波动很大，因此可在用于确定图像选择的阈值周围波动。图6A示出长曝光图像的像素值在阈值周围波动的情况。如果根据估计值选择使用图像，则针对相应区域选择短曝光图像或长曝光图像相对于时间发生改变。

图6B示出当短曝光图像的使用被限定为256并且长曝光图像的使用被限定为0时的使用图像选择信息的时间方向运动。根据第一示例性实施例，对先前使用图像选择信息和当前使用图像选择信息取平均。

图6C是示出当对使用图像选择信息取平均时的平均使用图像选择信息的时间方向运动的示图。在这种情况下，使用图像选择信息的暂时改变被抑制。如果对使用图像选择信息取平均，则短曝光图像和长曝光图像的混合比率被设置在小范围内。因此，难以检测出短曝光图像和长曝光图像之间的图像质量差异。

然而，如果相对于时间对使用图像选择信息相加取平均，则运动对象的图像的合成处理成为问题。存在在运动区域中选择短曝光图像以减少在对运动对象的图像进行合成时发生的伪影的技术。如果相对于时间对在运动区域中选择短曝光图像的使用图像选择信息相加取平均，则在运动区域中长曝光图像被混合，使得合成伪影发生。关于该问题，在第一示例性实施例中，可通过在相对于时间对使用图像选择信息执行相加取平均之后将使用图像选择信息与运动信息合并，来减少运动对象的合成伪影。

当整个屏幕呈现为平移操作和倾斜操作在宽范围中移动时，整个屏幕被检测为运动。因此，在这种情况下，可在没有执行WDR合成处理时执行合成，或者通过坐标变换来调整位置。根据第一示例性实施例，可防止在选择短曝光图像和长曝光图像时由暂时改变引起的闪烁的出现。

然而，若干像素(例如，两个像素列)的轻微振动不被检测为运动而成为在高对比度区域中暂时改变使用图像选择信息的原因。因此，在合成图像中将可能发生闪烁。具体地讲，随着像素数量增加，轻微振动也可被捕捉和发展。在第一示例性实施例中，可减小几乎不受这种运动检测影响的轻微振动对WDR合成的图像的影响。

[第二实施例]

接下来，下面将描述第二示例性实施例。在第一实施例中，与现有技术相比，先前使用图像选择信息需要被存储和保存在存储器中，并且对硬件而言存储区域的增加或数据传输量的增加会是一种障碍。例如，在使用图6B中示出的使用图像选择信息格式的情况下，与“9比特×图像大小”相应的信息被存储和保存。在第二示例性实施例中，下面将描述能够展示与第一示例性实施例的效果相同的效果并抑制数据传输量的增加的配置。

图7是示出根据第二示例性实施例的图像处理设备1B的配置和操作的示图。如图7中所示，与根据第一示例性实施例的图像处理设备1A相比，根据第二示例性实施例的图像处理设备1B还包括在图像传感器11的后级的缩小处理器15。在下文中，将详细描述缩小处理器15。

缩小处理器15缩小长曝光图像和短曝光图像。产生缩小的图像的方法不被具体限制。每个矩形区域(例如，宏块)的平均值的集合可被产生，作为缩小的图像。参照图7，各个缩小的图像被写入帧存储器20B，作为缩小的长曝光图像和缩小的短曝光图像。

使用图像选择器30可根据缩小的短曝光图像和缩小的长曝光图像产生使用图像选择信息。根据以上配置，与根据原始短曝光图像和原始长曝光图像产生使用图像选择信息的情况相比，由使用图像选择30产生的先前使用图像选择信息的大小被减小。因此，可抑制图3中的存储先前使用图像选择信息的存储器52的大小的增加或数据传输量的增加。

运动检测器40可根据缩小的短曝光图像和缩小的长曝光图像产生运动检测信息。根据以上配置，可抑制数据传输量的增加。

显然运动检测器40可根据原始短曝光图像和原始长曝光图像产生运动检测信息。此外，显然由WDR合成器70使用的短曝光图像和长曝光图像可不被缩小。参照图7，未缩小的短曝光图像和未缩小的长曝光图像作为原始短曝光图像和原始长曝光图像被写入帧存储器20B。

接下来，将详细描述第二示例性实施例的效果。例如，当水平缩小比率和竖直缩小比率被设置为1/10时，缩小的图像的数据量为原始图像的数据量的1/100。因此，与两个缩小的图像(长曝光图像和短曝光图像)相应的数据量仅为原始图像的数据量的1/50(2％)，先前使用图像选择信息的数据量是从原始图像产生的使用图像选择信息的数据量的1/100。因此，与现有技术相比，第二示例性实施例能够显著抑制数据量的增加。

在运动检测中使用缩小的图像的情况下，被认为运动检测信息的空间分辨率为1/100。然而，如果使用缩小的图像执行运动检测，则在缩小处理中噪声减少。因此，可使用高质量图像执行运动检测。此外，由于参照缩小的图像执行的运动检测等同于参照预定区域执行的运动检测，因此可获得空间上稳健的检测结果。此外，即使当运动检测信息的空间分辨率稍微降低时，也可获得准确到足以对具有预定大小的运动对象执行运动适配处理的运动检测信息。因此，认为在使用缩小的图像的本配置中几乎不存在实际缺点。

以上已描述了第一示例性实施例和第二示例性实施例。根据第一示例性实施例，图像处理设备1A包括：使用图像选择器30，针对每个区域选择长曝光图像或短曝光图像并产生使用图像选择信息；平均处理器50，通过对先前使用图像选择信息和当前使用图像选择信息取平均来获取平均的使用图像选择信息；WDR合成器70，通过根据平均的使用图像选择信息来对长曝光图像和短曝光图像进行合成来产生合成图像。

根据以上配置，当短曝光图像和长曝光图像被选择用于合成时，引用由平均处理器50取平均的使用图像选择信息而不是引用由使用图像选择器30自身产生的使用图像选择信息。因此，可抑制选择的图像因轻微振动而频繁改变。

此外，根据第二示例性实施例，图像处理设备1B包括：缩小处理器15,通过分别缩小长曝光图像和短曝光图像来获得缩小的长曝光图像和缩小的短曝光图像；使用图像选择器30，根据缩小的长曝光图像和缩小的短曝光图像产生使用图像选择信息。

根据以上配置，根据缩小的短曝光图像和缩小的长曝光图像产生使用图像选择信息，并将产生的使用图像选择信息发送到平均处理器50。此外，由平均处理器50取平均的使用图像选择信息作为先前使用图像选择信息被写入存储器。因此，可抑制存储区域的增加或数据传输量的增加。

在需要比以前更高的分辨率的网络相机领域，用于视觉上使合成图像稳定的技术预期变得更加重要。示例性实施例意在减少在合成图像中因轻微振动而发生的闪烁的发生。示例性实施例还减少运动对象的图像的合成伪影或按照实际电路大小实现图像处理设备，同时使合成图像的质量稳定。

应理解的是，以上描述的示例性实施例应该被认为仅是描述性的意义而不是为了限制的目的。以上实施例的特征或方面的描述通常应被认为可用于其它的实施例。

根据示例性实施例，提供一种可包括执行上述图像处理设备的各种功能的操作的图像处理的方法。由于关于这些操作的描述是多余的，因此这里省略对它们的描述。然而，根据另一示例性实施例，这些操作可被实现为计算机可读记录介质上的计算机可读代码，或者可被实现为通过传输介质传输的计算机可读代码。所述计算机可读记录介质为任何可存储其后能由计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述传输介质可包括通过互联网或者各种类型的通信信道传输的载波。所述计算机可读记录介质还可分布于网络连接的计算机系统上，以便所述计算机可读代码以分布式方式被存储并被执行。

根据示例性实施例，由如图1、图3和图7所示的块表示的组件、元件或者单元中的至少一个可被实现为执行如上所述的各自的功能的不同数量的硬件、软件和/或固件结构。例如，这些组件、元件或者单元中的至少一个可使用可通过一个或者更多个微处理器或其它控制设备的控制来执行各自的功能的直接的电路结构(诸如，存储器、处理装置、逻辑、查找表等)。此外，这些组件、元件或者单元中的至少一个可通过模块、程序或者代码的一部分来具体体现，所述模块、程序或者代码的一部分包含用于执行指定的逻辑功能的一个或更多个可执行指令。此外，这些组件、元件或者单元中的至少一个还可包括处理器，诸如执行各自的功能的中央处理器(CPU)、微处理器等。此外，虽然在以上框图中没示出总线，但可通过总线来执行组件、元件或者单元之间的通信。可在一个或者更多个处理器上执行的算法中实现以上示例性实施例的功能方面。此外，由块或者处理步骤表示的组件、元件或者单元可采用用于电子配置、信号处理和/或控制、数据处理等的任意数量的现有技术。

虽然已经参照附图描述了一些示例性实施例，但是本领域普通技术人员将理解的是，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其做出形式和细节上的各种改变。

Claims (20)

1.一种图像处理设备，包括：

使用图像选择器，被配置为产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前的使用图像选择信息和当前的使用图像选择信息；

平均处理器，被配置为通过对先前的使用图像选择信息和当前的使用图像选择信息取平均来获取平均的使用图像选择信息；

合成器，被配置为通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。

2.如权利要求1所述的图像处理设备，还包括：

运动检测器，被配置为检测关于对象的运动信息；

更新处理器，被配置为根据检测到的所述关于对象的运动信息对平均的使用图像选择信息进行更新，

其中，合成器被配置为通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。

3.如权利要求2所述的图像处理设备，其中，运动检测器被配置为使用所述至少两个图像检测所述关于对象的运动信息。

4.如权利要求2所述的图像处理设备，其中，运动检测器被配置为仅使用从所述至少两个图像选择的一个图像来检测所述关于对象的运动信息。

5.如权利要求2所述的图像处理设备，还包括：缩小处理器，被配置为通过分别缩小所述多个图像来获得缩小的图像，

其中，使用图像选择器被配置为根据缩小的图像产生使用图像选择信息。

6.如权利要求5所述的图像处理设备，其中，缩小处理器被配置为通过将所述多个图像中的每个划分为多个预定大小的块，并对每个块的像素值取平均来缩小所述多个图像。

7.如权利要求5所述的图像处理设备，其中，运动检测器被配置为从缩小的图像检测所述关于对象的运动信息。

8.如权利要求2所述的图像处理设备，其中，更新处理器被配置为对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与所述关于对象的运动信息相应的运动区域。

9.如权利要求1所述的图像处理设备，其中，先前的使用图像选择信息包括针对先前产生的合成图像中的每个区域的至少两个先前图像的混合比率，

其中，当前的使用图像选择信息包括针对当前要产生的合成图像中的每个区域的至少两个图像的混合比率。

10.如权利要求9所述的图像处理设备，还包括：

运动检测器，被配置为检测关于对象的运动信息；

更新处理器，被配置为根据检测到的所述关于对象的运动信息对平均的使用图像选择信息进行更新，

其中，合成器被配置为通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。

11.一种图像处理方法，包括：

产生使用图像选择信息，所述使用图像选择信息用于从在多个曝光时间段内捕捉的对象的多个图像选择一个图像以用于合成图像的每个区域，其中，所述使用图像选择信息包括先前的使用图像选择信息和当前的使用图像选择信息；

通过对先前的使用图像选择信息和当前的使用图像选择信息取平均来获取平均的使用图像选择信息；

通过根据平均的使用图像选择信息对所述多个图像之中的至少两个图像进行合成以构造每个区域，来产生合成图像。

12.如权利要求11所述的图像处理方法，还包括：

检测关于对象的运动信息；

根据检测到的所述关于对象的运动信息对平均的使用图像选择信息进行更新，

其中，通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。

13.如权利要求12所述的图像处理方法，其中，使用所述至少两个图像检测所述关于对象的运动信息。

14.如权利要求12所述的图像处理方法，其中，仅从自所述至少两个图像选择的一个图像检测所述关于对象的运动信息。

15.如权利要求12所述的图像处理方法，还包括：通过分别缩小所述多个图像来获得缩小的图像，

其中，根据缩小的图像产生使用图像选择信息。

16.如权利要求15所述的图像处理方法，其中，通过将所述多个图像中的每个划分为多个预定大小的块，并对每个块的像素值取平均来执行缩小所述多个图像。

17.如权利要求15所述的图像处理方法，其中，从缩小的图像检测所述关于对象的运动信息。

18.如权利要求12所述的图像处理方法，其中，对平均的使用图像选择信息进行更新，从而所述多个图像之中的在最短曝光时间段内捕捉的图像被用于合成图像的与所述关于对象的运动信息相应的运动区域。

19.如权利要求11所述的图像处理方法，其中，先前的使用图像选择信息包括针对先前产生的合成图像中的每个区域的至少两个先前图像的混合比率，

其中，当前的使用图像选择信息包括针对当前要产生的合成图像中的每个区域的至少两个图像的混合比率。

20.如权利要求19所述的图像处理方法，还包括：

检测关于对象的运动信息；

根据检测到的所述关于对象的运动信息对平均的使用图像选择信息进行更新，

其中，通过根据更新的使用图像选择信息对所述至少两个图像进行合成来产生合成图像。