CN107925726B - 用于产生高动态范围图像的有效存储装置 - Google Patents

Abstract

提供了用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的方法、装置和计算机程序，其中，多曝光高动态范围处理对来自一个或多个传感器输出图像的像素值进行组合以产生经处理的图像。在一个示例中，方法包括从图像传感器接收第一传感器输出图像，其中第一传感器输出图像具有第一曝光。该方法还包括从图像传感器接收第二传感器输出图像，其中第二传感器输出图像具有与第一曝光不同的第二曝光。标识第一传感器输出图像的第一图像像素，该第一图像像素具有不太可能对经处理的图像有实质贡献的像素值，并且基于所述标识步骤来减少与所述第一图像像素相关的所存储的信息量。

Description

用于产生高动态范围图像的有效存储装置

技术领域

本发明涉及用于产生高动态范围图像的方法、装置、和计算机可读存储介质。

背景技术

高动态图像是表示所具有的亮度的动态范围比标准成像技术通常可能达到的亮度更宽的图像。能够捕获高动态范围(HDR)图像的图像传感器可从各种制造商获得。用于捕获这样的图像的广泛采用的技术是快速连续地进行多次曝光，针对不同的光敏度来计算每个曝光(例如，通过改变曝光持续时间)，然后将其组合(或“缝合”)成单个HDR曝光。

一些图像传感器包括被布置成像素线的多个光检测元件。例如，高分辨率传感器可以由1080条像素线组装，每条线包括1920行的像素。

为了组合来自序列的多个曝光，必须首先临时存储从每个曝光中读回的像素，使得在对曝光进行组合(以形成最终的HDR图像)时，每个曝光的等效像素是同时可用的。

例如，可以通过对每个成分曝光的左上像素进行组合来生成HDR图像的左上像素。用于组合这些像素的方法是众所周知的。

存储来自一个或多个曝光的图像数据以实现这种像素数据组合的要求对相机系统提出了重要要求。首先，数据存储容量是昂贵的，片上解决方案需要极大的硅面积。第二，将大量数据传输到存储设备所需的高数据带宽与其他系统资源竞争。第三，去往和来自存储设备的数据业务导致高功耗，尤其在通过诸如DDR存储器之类的外部存储器(这是便携式设备的典型配置)来进行存储时。

因此需要一种减少这种存储要求并显著降低多曝光HDR摄像系统的带宽要求的方法。

发明内容

根据本发明的第一方面，提供了一种用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的方法，其中多曝光高动态范围处理对来自传感器输出图像中的一个或多个的像素值进行组合以产生经处理的图像，该方法包括：

从图像传感器接收第一传感器输出图像，其中第一传感器输出图像具有第一曝光；

从图像传感器接收第二传感器输出图像，其中第二传感器输出图像具有不同于第一曝光的第二曝光；

标识第一传感器输出图像的第一图像像素，第一图像像素具有不太可能对经处理的图像有实质贡献的像素值；以及

基于所述标识步骤来减少与所述第一图像像素相关的所存储的信息量。

标识具有不太可能对经处理的图像有实质贡献的像素允许减少传输用于存储的第一传感器输出图像所需的带宽，减少存储第一传感器输出图像所需的存储空间，并且还允许增加产生高动态范围图像所需的后续处理的效率。

该方法可以包括：

标识第二传感器输出图像的第二图像像素，第二图像像素具有不太可能对经处理的图像有实质贡献的像素值；以及

基于所述标识步骤减少与所述第二图像像素相关的所存储的信息量。

对具有不太可能对经处理的图像有实质贡献的像素的标识允许减少传输用于存储的第二传感器输出图像所需的带宽，减少存储第二传感器输出图像所需的存储空间，并且还允许增加产生高动态范围图像所需的后续处理的效率。

该方法可以包括处理第一图像和第二图像以产生多曝光高动态范围图像，其中处理不包括被标识为具有不太可能对经处理的图像有实质贡献的像素值的像素。不包括被标识为不太可能具有实质贡献的像素可以允许减少带宽和存储，以及提高处理效率。

在一些实施例中，第二曝光小于第一曝光，并且第一图像像素是基于具有大于或等于预定阈值的像素值来标识的。这允许过度饱和的像素被如此标识，这些过度饱和的像素由于来自第二传感器输出图像的相对应像素可能会被选择用于高动态范围图像而不太可能会对高动态范围图像有贡献。

在第二曝光大于第一曝光的其他实施例中，第一图像像素是基于具有小于或等于预定阈值的像素值来标识的。这允许具有相对较低的信噪比的相对较暗的像素被如此标识，这些相对较暗的像素由于来自第二传感器输出图像的相对应像素可能会被选择用于高动态范围图像而不太可能会对高动态范围图像有贡献。

该方法可以包括：

从图像传感器接收第三图像，其中第三图像具有比第一曝光小且比第二曝光大的第三曝光；

将具有在两个预定阈值之间的像素值的第三图像的像素标识为从第三图像中排除。

在处理至少三个图像以产生高动态范围图像的实施例中，这允许减少带宽和存储以及提高处理效率，如上所述。

在一些实施例中，阈值中的至少一个是基于图像传感器的噪声分布来选择的。这允许排除和与不期望的噪声水平相关联的图像强度水平相对应的像素。

在一些实施例中，阈值中的至少一个是基于第一曝光与第三曝光的比率，和/或

阈值中的至少一个是基于第三曝光与第二曝光的比率，和/或

阈值中的至少一个是基于第一曝光与第二曝光的比率。

这允许根据需要将饱和的和/或相对较暗的像素从特定图像中排除，如将在下面更详细描述的。

减少与所述第一图像像素相关的所存储的信息量可以包括使用游程编码算法来表示第一图像像素。这允许有效地压缩第一和/或第二图像，这允许减少用于传输和存储图像的带宽和存储要求。

在一些实施例中，预定阈值可以包括第一图像的最大像素值。这允许从第一图像中排除饱和像素。类似地，预定阈值可以包括第二图像的最小像素值。这允许从第一图像中排除相对较暗的像素。

根据本公开的方面，提供了一种用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的装置，其中，多曝光高动态范围处理对来自传感器输出图像中的一个或多个的像素值进行组合以产生经处理的图像，该装置包括：

图像传感器；

第一编码器，被配置为：

从图像传感器接收第一传感器输出图像，其中，第一传感器输出图像具有第一曝光；以及

产生第一传感器输出图像的修改版本，其中，产生第一图像的修改版本包括：

标识第一传感器输出图像的第一图像像素，第一图像像素具有不太可能对经处理的图像有实质贡献的像素值，以及

基于所述标识步骤来减少与所述第一图像像素相关的所存储的信息量；

第一缓冲存储设备，被配置为接收并存储第一图像的修改版本；

第二编码器，被配置为：

从图像传感器接收第二传感器输出图像，其中，第二传感器输出图像具有与第一曝光不同的第二曝光；以及

产生第二传感器输出图像的修改版本，其中产生第二图像的修改版本包括：

标识第二传感器输出图像的第二图像像素，第二图像像素具有不太可能对经处理的图像有实质贡献的像素值；以及

基于所述标识步骤减少与所述第二图像像素相关的所存储的信息量；

第二缓冲存储设备，被配置为接收并存储第二图像的修改版本。这还允许减少存储第一和第二传感器输出图像的修改版本所需的缓冲存储设备大小，并且允许提高处理第一和第二传感器输出图像的修改版本的效率，如上所述。

在一些实施例中，该装置包括被配置为进行以下操作的高动态范围图像构造器：

从第一缓冲器接收第一传感器输出图像的修改版本；

从第二缓冲器接收第二传感器输出图像的修改版本；以及

处理第一传感器输出图像的修改版本和第二传感器输出图像的修改版本以产生多曝光高动态范围图像，其中，处理不包括被标识为具有不太可能对经处理的图像有实质贡献的像素值的像素。不包括被标识为不太可能具有实质贡献的像素允许产生高动态范围图像所需的有效处理。

在一些实施例中，第一缓冲器将第一传感器输出图像的修改版本存储为第一压缩图像，和/或第二缓冲器将第二传感器输出图像的修改版本存储为第二压缩图像。存储第一压缩图像和/或第二压缩图像可以包括使用游程编码算法来指示从第一图像和/或第二图像的修改版本中排除的像素。这允许在第一和/或第二缓冲器中有效地存储第一和/或第二图像的修改版本。

第一缓冲器和第二缓冲器可以被配置为将第一传感器输出图像的修改版本和第二传感器输出图像的修改版本同时发送到高动态范围图像构造器或该高动态范围图像构造器。这允许构造器应用包括对第一和第二图像的像素进行比较的逻辑。

根据本公开的另一方面，提供了一种包括在其上存储的一组计算机可读指令的非暂态计算机可读存储介质，这些计算机可读指令在由至少一个处理器执行时使得至少一个处理器进行以下操作：

从图像传感器接收第一传感器输出图像，其中，第一传感器输出图像具有第一曝光；

将具有等于或大于第一阈值的像素值的第一传感器输出图像的像素标识为从第一传感器输出图像中排除，第一阈值对应于第一图像强度；

从图像传感器接收第二传感器输出图像，其中，第二传感器输出图像具有比第一曝光小的第二曝光；

将具有小于或等于第二阈值的像素值的第二传感器输出图像的像素标识为从第二传感器输出图像中排除，第二阈值对应于比第一图像强度低的第二图像强度；

从图像传感器接收第三传感器输出图像，其中，第三传感器输出图像具有比第一曝光小且比第二曝光大的第三曝光；

将具有大于或等于第三阈值且小于或等于第四阈值的第三传感器输出图像的像素标识为从第三传感器输出图像中排除，其中，第三阈值对应于比第一图像强度低的第三图像强度，并且第四阈值对应于比第二图像强度高的第四图像强度，以及

处理第一传感器输出图像、第二传感器输出图像和第三传感器输出图像以产生多曝光高动态范围图像，其中该处理不包括被标识为从第一传感器输出图像中排除的像素，不包括被标识为从第二传感器输出图像中排除的像素，并且不包括被标识为从第三传感器输出图像中排除的像素。

这允许减小传输第一、第二和第三传感器输出图像所需的带宽。这还允许减小存储第一、第二和第三传感器输出图像所需的缓冲存储设备大小，并且允许提高处理第一、第二和第三传感器输出图像以产生高动态范围图像的效率，如上所述。

本发明的进一步的特征和优点将从以下参照附图仅以示例的方式给出的本发明的优选实施例的描述中变得显而易见。

附图说明

图1a示出了处理同一场景的三个曝光以产生多曝光高动态范围图像的示意图。

图1b示出了处理同一场景的三个曝光以产生多曝光高动态范围图像的时序的示意图。

图2示出了用于存储来自三个曝光的图像数据的示例架构。

图3示出了用于产生多曝光高动态范围图像的示例装置。

图4示出了用于产生高动态范围图像的方法的示意图。

图5示出了针对三个曝光的随图像强度变化来绘制像素值的图。

图6示出了根据实施例的用于存储图像数据的扩展架构。

图7示出了根据实施例的用于存储图像数据的扩展架构。

图8示出了根据示例的非暂态计算机可读存储介质。

具体实施方式

图1a 示出了处理同一场景的三个图像105、110、115以产生多曝光 HDR图像120的示意图。图像对入射光的敏感度可以被表示为“曝光”。曝光可以通过改变诸如摄像头之类的成像设备的参数来改变。例如，可以通过减少光入射到图像传感器上的时间长度来减少曝光，例如，通过减少快门保持打开的时间长度。这可以被称为积分时间。这种参数的另一示例是图像传感器的模拟和/或数字增益，其表示传感器对光的敏感度。这种参数的第三个示例是焦比或“光圈级数(f-stop)”。图像的曝光可以被表示为这些参数中的至少一个的函数，例如被表示为表示整体光敏度的单个值。例如，将图像传感器的增益加倍并将积分时间减半可能对曝光没有影响。导致较高光敏度的设置的组合可以被称为较大的曝光，并且导致较低光敏度的设置的组合可以被称为较小的曝光。如本领域中常见的那样，术语“曝光”也可以用于指具有特定曝光值的图像。在下文中，曝光在曝光时间方面是变化的，但应理解的是，改变与曝光相关的图像传感器的其他参数将具有相同的效果。

第一曝光105具有比第二曝光110更长的曝光，并且第二曝光110具有比第三曝光115更长的曝光。较长的曝光使得曝光对低光区域中的细节更敏感，并且还使得较亮区域饱和。相反，较短的曝光使得曝光对亮区域的细节更敏感，并且还使得较暗区域的细节丢失。

可以通过组合三个曝光的不同区域来产生具有比任何单个曝光105、 110、115更宽范围的光强度的细节的单个组合的HDR图像120。在图1a 中，从最长的曝光105捕获HDR图像120的最暗区域125，从中等长度的曝光110获得中等暗度的区域130，并且从最短的曝光115获得最亮的区域135。如此，饱和或黑暗的曝光105、110、115的区域不对组合的HDR 图像120作贡献。

图1b示出了处理同一场景的三个曝光(例如，图1a所示的那些曝光)以产生多曝光高动态范围图像的时序的示意图。在第一捕获序列140 期间，图像传感器顺序地产生长曝光105、中曝光110、和短曝光115。在第一捕获序列140之后可以是相同或不同场景的第二捕获序列145。

在捕获长曝光105之后，将来自长曝光105的长曝光数据150读回到例如诸如缓冲存储设备之类的存储设备中。类似地，在捕获中曝光110之后读回中曝光数据155，并且在捕获短曝光115之后读回短曝光数据 160。这些操作可以一起被称为图像回读序列165。

为了构建HDR图像，可能需要在HDR构造器处同时接收来自每个曝光的对应像素。例如，可能需要同时接收来自长曝光的给定像素170a、来自中曝光的像素170b和来自短曝光的170c，其中，像素170a-c具有相同的x-y位置。为了辅助这一点，可以将短曝光160直接发送给HDR构造器。同时，可以将长曝光数据的延迟版本175和短曝光数据的延迟版本 180递送到HDR，延迟被设置为使得像素170a、170b、和170c同时到达 HDR构造器。然后可以使用已知的HDR构造技术来组合这些像素以形成组合的HDR图像185的像素170d。这些操作可以一起被称为HDR构造 190或HDR图像组成。

图2示出了用于从三个曝光产生HDR图像的示例架构，例如图1a-b 中示出的那些曝光。在一个示例中，图像传感器205捕获第一长曝光105。来自第一曝光105的长曝光数据210被存储在第一缓冲器215中。图像传感器205然后捕获第二中曝光110，其中源自该第二中曝光110的中曝光数据被存储在第二缓冲器225中。图像传感器205然后捕捉第三短曝光115。将来自曝光115的短曝光数据230连同来自第一缓冲器215的长曝光数据和来自第二缓冲器225的中曝光数据一起发送到HDR构造器235。 HDR构造器然后根据(例如，如图1a-b 所示的)三个曝光105、110、115产生HDR图像。在其他示例中，三个曝光105、110、115以与图2所示的顺序不同的顺序来产生。

图3示出了根据本公开的一个方面的用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的装置，其中多曝光高动态范围处理对来自一个或多个传感器输出图像的像素值进行组合以产生经处理的图像。装置300包括图像传感器305、第一编码器310、第二编码器315、第一缓冲器320、以及第二缓冲器325。该装置可以包括高动态范围图像构造器330。第一和第二缓冲器320、325可以例如包括静态随机存取存储器(SRAM)。第一编码器310被配置为从图像传感器305接收具有第一曝光的第一传感器输出图像335，并且产生第一图像的修改版本 345。

产生第一图像335的修改版本345包括：标识第一传感器输出图像 335的第一图像像素，其中该第一图像像素具有不太可能对经处理的图像具有实质贡献的像素值，以及基于该标识减少与所述第一图像像素相关的所存储的信息量。例如，这可以包括将具有等于或大于预定阈值的像素值的第一图像335的像素标识为从第一图像335的修改版本345中排除。例如，第一个曝光可能足够长，使得第一图像335的亮区域饱和，具有最大像素值。阈值可以被设置为使得这样的饱和区域被从第一图像335的修改版本345中排除，如下面将更详细描述的。

第一缓冲器320被配置为接收并存储第一图像335的修改版本345。

第二编码器315被配置为从图像传感器305接收第二传感器输出图像 340，其中第二图像340具有与第一曝光不同的第二曝光，并且随后产生第二传感器输出图像340的修改版本350。

产生第二传感器输出图像340的修改版本350包括标识第二传感器输出图像340的第二图像像素，该第二图像像素具有不太可能对经处理的图像具有实质贡献的像素值，以及基于该标识步骤减少与所述第二图像像素相关的所存储的信息量。在第二曝光比第一曝光短的情况下，这可以例如包括将具有等于或小于第二阈值的像素值的第二图像340的像素标识为从第二图像340的修改版本350中排除，其中第二阈值低于第一阈值。例如，第二曝光可能足够短，使得第二图像340的暗区域相对较暗。第二阈值可以被设置为使得这些暗区域从第二图像340的修改版本350中排除，如下面将更详细描述的。

第二缓冲器325被配置为接收并存储第二传感器输出图像340的修改版本350。在一些实施例中，装置300包括单个缓冲器，其被配置为存储第一和第二传感器输出图像的修改版本345、350。在这样的实施例中，单个缓冲器通常可以为每个图像存储标志，该标示将该图像标识为第一或第二传感器输出图像的修改版本。

第一缓冲器320可以存储第一传感器输出图像335的修改版本345作为第一压缩图像。第二缓冲器325可以存储第二传感器输出图像340的修改版本350作为第二压缩图像。由于图像通常包括暗像素的连续区域和亮像素的连续区域，所以该压缩可以例如通过使用已知的游程(run-length) 编码算法来执行，以指示从第一和/或第二传感器输出图像的修改版本中排除的像素。这降低了传输第一和第二图像335、340以及这些345、350的修改版本所需的传输带宽。这也减少了存储修改版本345、350所需的缓冲器存储空间。

在该装置包括高动态范围图像构造器330的情况下，高动态范围图像构造器330可以被配置为从第一缓冲器320接收第一传感器输出图像335 的修改版本345，并从第二缓冲器325接收第二传感器输出图像340的修改版本350。高动态范围图像构造器330被配置为处理第一传感器输出图像335的修改版本345和第二传感器输出图像340的修改版本350，以产生并输出多曝光高动态范围图像355。该处理不包括被标识为所具有的像素值不太可能对经处理的图像有实质贡献的像素。例如，在标识像素使得饱和和相对较暗的区域被排除的实施例中，这通常对最终的HDR图像355 几乎没有影响，因为如上面关于图1所解释的那样，这样的区域不会对 HDR图像355有贡献。

高动态范围图像构造器330可以被配置为从第一缓冲器320接收第一传感器输出图像335的修改版本345，并同时从第二缓冲器325接收第二传感器输出图像340的修改版本350。这允许在产生HDR图像355期间一起处理这些图像，使得构造器330可以应用已知的HDR构造算法来选择第一和第二修改图像345、350的区域以用于包括在HDR图像355中。

在产生HDR图像时，还可以将其他图像发送给HDR构造器以进行处理。这些图像中的至少一个可以被直接发送到HDR构造器330而不被存储在缓冲器中，例如，如图2中的短曝光数据230所示。

图4示出了根据实施例的用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的方法400的示意图，其中，多曝光高动态范围处理对来自一个或多个传感器输出图像的像素值进行组合以产生经处理的图像。

在框410处，从图像传感器接收第一传感器输出图像，其中，第一传感器输出图像具有第一曝光。

在框415处，从图像传感器接收第二传感器输出图像，其中，第二传感器输出图像具有不同于第一曝光的第二曝光。

在框420处，标识所具有的像素值不太可能对经处理的图像有实质贡献的第一传感器输出图像的像素。例如，在第二曝光比第一曝光短的情况下，可以基于具有等于或大于第一预定阈值的像素值来标识像素。这些像素可以被标识为从第一图像中排除。在其他实施例中，第二曝光大于第一曝光，并且基于具有小于或等于预定阈值的像素值来标识第一图像像素。

在第二曝光比第一曝光短的一些实施例中，将具有小于或等于第二阈值的像素值的第二传感器输出图像的像素标识为从第二传感器输出图像中排除，其中第二阈值低于第一阈值。

如上所述，阈值可以包括最大像素值，使得从第一图像中排除饱和像素。类似地，阈值可以包括最小像素值，使得从第二图像中排除黑色像素。

在框425处，基于所述标识步骤减少与所述第一图像像素相关的所存储的信息量。在实施例中，该步骤包括减少与所述第一像素相关的所存储的信息量，但同时不减少与除了所述第一像素之外的像素相关的所存储的信息量。这允许以图像传感器产生的像素分辨率来存储与可能对经处理的图像有贡献的像素相关的完整信息(即，图像传感器输出的数据值)，而同时减少所存储的信息的总量。例如，可以以低于图像传感器产生的像素分辨率的分辨率来存储与所述第一像素相关的信息，并且可以将与其他像素相关的信息存储为未压缩数据。在另一实施例中，与所述第一像素相关的信息可以用有损压缩算法来存储，并且与其他像素相关的信息可以用无损压缩算法来存储。有损压缩算法通常提供比无损算法更高程度的压缩，并且因此该实施例允许比在全部像素都用无损压缩算法来存储时可能的更大程度的整体压缩。例如，无损压缩算法可以包括存储所述第一像素的位置但不存储所述第一像素的值。作为以这种方式存储与所述第一像素相关的信息的结果，数据丢失通常将不会对最终经处理的图像有显著的影响，因为这样的像素不太可能对经处理的图像有显著贡献。在另一示例中，与所述第一像素相关的信息可以被丢弃并且不被存储。

在一些实施例中，第一和第二传感器输出图像被处理以产生多曝光高动态范围图像，其中该处理不包括被标识为不太可能对经处理的图像有实质贡献的像素。

方法400可被扩展为处理任何数目的不同曝光的图像以形成HDR图像。例如，方法400可以包括从图像传感器接收第三图像，其中第三图像具有比第一曝光短且比第二曝光长的第三曝光。然后，方法400可以包括将具有在两个预定阈值之间的像素值的第三图像的像素标识为从第三图像中排除。例如，方法400可以包括排除具有大于或等于第三阈值且小于或等于第四阈值的像素值的第三图像的像素。在这样的实施例中，产生多曝光高动态范围图像包括处理第三图像，其中该处理不包括被标识为从第三图像中排除的像素。

基于对图像强度(对应于进入图像传感器的光的亮度)和对应的像素值之间的关系的考虑，可以选择至少一个阈值。图5示出了这种关系的示意性示例。

图5示出了三个曝光(长曝光505、中曝光510、和短曝光515)的随图像强度变化的像素值的图500。最大像素值520表示可以从图像传感器输出的最大像素值。例如，对于12位图像传感器，最大像素值将是 4096。可以看出，对于最长曝光520，全范围的像素值被用于表示最暗图像强度的相对较短的范围525并且最大像素值520被用于高于范围525的任何图像强度。因此，最长曝光产生了这样的图像：示出了暗区域中的细节并且即使在中等亮度的区域中也是饱和的。

对于中曝光510，全范围的像素值被用于表示图像强度的更宽范围 525+530。因此，中曝光表示比长曝光505更亮的强度而不会饱和。然而，较暗区域(例如，范围525)由相对较小范围的低像素值表示，这些低像素值可能由于噪声而具有较差的图像质量，因为噪声在低像素值处通常具有成比例地更大的效果。

对于短曝光515，全范围的像素值被用于表示图像强度的最宽范围 525+530+535。在该示例中，最大像素值520仅用于表示最大图像强度，并且因此短曝光515表示全范围的图像强度而不会饱和。然而，低和中等图像强度的区域(例如，范围525和530)由相对较小范围的低像素值表示，如上所述，这些低像素值可能由于噪声而具有较差的图像质量。

如此，在产生HDR图像时，可能期望从长曝光505中获取低图像强度的区域525，从中曝光510中获取中等图像强度的区域530，并从短曝光515中获取高图像强度的区域535。这可以通过将第一和第三阈值分别设置为等于与针对长曝光和中曝光的范围525和530之间的边界相对应的像素值，并将第二和第四阈值分别设置为与针对短和中曝光的范围530和 535之间的边界相对应的像素值。在这样的实施例中，给定的像素将从两个图像中排除并被包括在一个图像中。如此，这使要存储的全部三个图像的像素值的数目最小化。其结果是产生HDR图像是有效的，因为处理图像以产生HDR图像不需要包括关于要包括来自每个图像的哪些像素的任何决定过程。

在一些实施例中，第三阈值与比对应于第一阈值的图像强度更低的图像强度相对应。在这样的实施例中，这两个图像强度之间的图像强度的像素不会从第一图像或第二图像中排除；被包括在第一图像和第二图像中的图像强度因此可以被认为是重叠的。类似地，第四阈值可以与比对应于第二阈值的图像强度更高的图像强度相对应，使得被包括在第二图像和第三图像中的图像强度重叠。在这样的实施例中，可以使用已知的HDR构建算法来将值分配给其中像素被包括在第一、第二和第三图像中的两者中的区域中的HDR图像的像素。因此，较大程度的重叠需要更复杂且更低效的处理来产生HDR图像，但是通常也产生在不同图像强度的区域之间具有不明显的尖锐边界的更高质量的图像。

可以基于图像传感器的噪声分布来选择至少一个阈值。例如，可能已知给定的图像传感器在给定像素值处具有概率噪声水平N。因此第一阈值可以被设置为使得具有比来自最大像素值的N的值的第一图像的任何像素都被视为饱和并因此被排除。类似地，第二阈值可以被设置为使得具有小于N的值的第二图像的任何像素都被视为零并因此被排除。

在曝光被表示为随影响图像的光敏度的参数(例如，作为单个值)变化的函数的情况下，可以基于第一图像的曝光与第三图像的曝光的比率来选择至少一个阈值。例如，如果第一图像具有比第三图像的曝光大16倍的曝光，则可以预期第一图像的非饱和像素具有约为第三图像的对应像素的16倍的值。可以相应地选择第一阈值和第三阈值，使得第一图像不包括饱和像素，并且第三图像不包括暗像素。

类似地，可以基于第三图像的曝光与第二图像的曝光的比率来选择至少一个阈值。例如，可以以这种方式选择第二阈值和第四阈值，使得第三图像不包括暗像素和饱和像素，并且第二图像不包括暗像素。

在一些实施例中，无论其他阈值被如何选择或第三图像是否被产生，至少一个阈值是基于第一曝光与第二曝光的比率的。例如，可以选择第一阈值和第二阈值，使得第一图像不包括饱和像素，并且第二图像不包括暗像素。

在一些实施例中，减少与所述第一和/或第二图像像素相关的所存储的信息量包括通过使用游程编码算法来表示第一和/或第二图像像素。因为图像通常包括与亮或暗区域相对应的被排除的像素的连续块，所以这可以表示图像大小的显著减小。如此，这些图像可以在产生HDR图像之前被有效地传输和存储，例如在如图3所示的缓冲器中。

图6示出了根据实施例的图3所示的架构的扩展。图像传感器305将第一传感器输出图像335提供给第一编码器310，如上面关于图3所描述的那样。第一传感器输出图像的修改版本345然后可以存储在第一缓冲存储设备320或外部存储设备605中。外部存储设备605可以例如包括双数据速率同步动态随机存取存储器(DDR SDRAM)。例如，可以在这样的情况下使用这种方案：有限量的缓冲存储设备320通常足以存储第一传感器输出图像的修改版本345，但像素数据可能不时地溢出到外部存储设备 605中(例如，比平常需要更多的存储空间)。尽管图6示出了被配置用于存储第一传感器输出图像的修改版本345的外部存储设备605，但外部存储设备可以替代地或附加地被配置用于存储第二图像的修改版本350。

可以由块地址控制器610来控制是使用缓冲存储设备320还是外部存储设备605的选择。块地址控制器610可以例如包括进行以下操作的方案：以适当大小的块来分配存储器，并且保持哪些数据被存储在哪里的记录，使得这些数据可以被恢复。

图7示出了图3所示的架构的扩展，其也可以结合图6所示的架构来实现。该架构利用了通常存在于后续的曝光之间的强相关性。例如，第一传感器输出图像335可以具有16倍于第二传感器输出图像340的曝光的曝光。然后，第二传感器输出图像340的像素可以被预测为具有比第一传感器输出图像335中的相同像素的值小16倍的值。这可以被第一预测器705 利用，第一预测器705从第一缓冲器320接收第一传感器输出图像335的像素值。第一预测器705然后预测第二传感器输出图像340的相同像素的值，并且将该预测发送到第二编码器315。编码器然后可以使用该预测来提供更有效的编码。例如，如上所解释的，一些像素(例如，具有接近上述阈值中的一者的值的像素)可以被包括在不止一个图像中。可以通过仅存储像素值与阈值之间的值的差来压缩与这种像素相关的信息。替代地或附加地，可以通过仅存储预测值与实际值之间的值的差来压缩与其像素值被预测的像素相关的信息。

如果第二传感器输出图像340在第一图像335之后被捕获，则第一图像335的给定像素将总是在第二传感器输出图像340中的相同像素之前被捕获。这可以被第二预测器710利用，第二预测器710从第一缓冲器320 接收第一传感器输出图像335的像素值并且预测第二传感器输出图像340 的相同像素的值。第二预测器710然后将该预测发送到HDR构造器330 以用于HDR图像的构建。替代地，在架构包括用于对第二传感器输出图像的修改版本350进行解码的解码器(图7中未示出)的情况下，第二预测器710可以将该预测发送到解码器。

实施例可以仅包括第一预测器710，仅包括第二预测器720，或者包括第一预测器710和第二预测器720两者。

图8示出了包括一组计算机可读指令805的非暂态计算机可读存储介质800的示例，该计算机可读指令805在由至少一个处理器810执行时使得至少一个处理器810执行根据本文所描述的示例的方法。计算机可读指令805可以从机器可读介质(例如，可以包含、存储或维护程序和数据以供指令执行系统使用或与其相关地使用的任何介质)获取。在这种情况下，机器可读介质可以包括多个物理介质中的任一者，例如，电子的、磁性的、光学的、电磁的、或半导体介质。合适的机器可读介质的更具体的示例包括但不限于硬盘驱动器、随机存取存储器(RAM)、只读存储器 (ROM)、可擦除可编程只读存储器、或便携式盘。

在框815处，指令805使得处理器810从图像传感器接收第一传感器输出图像，其中第一传感器输出图像具有第一曝光。

在框820处，指令805使得处理器810将具有等于或大于第一阈值的像素值的第一传感器输出图像的像素标识为排除在第一图像之外。第一阈值对应于第一图像强度；

在框825处，指令805使得处理器810从图像传感器接收第二传感器输出图像。第二传感器输出图像具有比第一曝光更短的第二曝光。

然后在框830处，指令805使得处理器810将具有小于或等于第二阈值的像素值的第二传感器输出图像的像素标识为从第二传感器输出图像中排除。第二阈值对应于比第一图像强度低的第二图像强度。

在框835处，指令805使得处理器810从图像传感器接收第三传感器输出图像。第三传感器输出图像具有第三曝光，该第三曝光比第一曝光短并且比第二曝光长。

然后，在框840处，指令805使得处理器810将具有大于或等于第三阈值且小于或等于第四阈值的像素值的第三图像的像素标识为排除在第三传感器输出图像之外。第三阈值对应于比第一图像强度低的第三图像强度，第四阈值对应于比第二图像强度高的第四图像强度。

最后，在框845处，指令805使得处理器810处理第一、第二和第三传感器输出图像以产生例如如上所描述的多曝光高动态范围图像。该处理不包括被标识为从第一传感器输出图像中排除的像素，不包括被标识为从第二传感器输出图像中排除的像素，并且不包括被标识为从第三传感器输出图像中排除的像素。

以上实施例应被理解为本发明的说明性示例。设想本发明的其他实施例。例如，可以以与所示出和描述的顺序不同的顺序来捕获和处理第一、第二和在适当的情况下的第三和另外的图像。应理解的是，与任何一个实施例相关地描述的任何特征都可以单独使用，或者与所描述的其他特征组合使用，并且还可以与任何其他实施例或任何其他实施例的任何组合的一个或多个特征组合使用。此外，在不脱离在所附权利要求中限定的本发明的范围的情况下，也可以采用以上未描述的等同形式和修改。

Claims (14)

1.一种用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的方法，其中所述多曝光高动态范围处理对来自所述传感器输出图像中的一个或多个的像素值进行组合以产生所述经处理的图像，所述方法包括：

从图像传感器接收第一传感器输出图像，其中所述第一传感器输出图像具有第一曝光；

从所述图像传感器接收第二传感器输出图像，其中所述第二传感器输出图像具有大于所述第一曝光的第二曝光；

标识所述第一传感器输出图像的第一图像像素，所述第一图像像素具有不太可能对所述经处理的图像有实质贡献的像素值，其中所述第一图像像素是基于具有小于或等于第一预定阈值的像素值来标识的；

基于标识所述第一图像像素来减少与所述第一图像像素相关的所存储的信息量；

标识所述第二传感器输出图像的第二图像像素，所述第二图像像素具有不太可能对所述经处理的图像有实质贡献的像素值，其中所述第二图像像素是基于具有大于或等于第二预定阈值的像素值来标识的；以及

基于标识所述第二图像像素来减少与所述第二图像像素相关的所存储的信息量。

2.根据权利要求1所述的方法，包括处理所述第一传感器输出图像和所述第二传感器输出图像以产生多曝光高动态范围图像，其中所述处理不包括所述第一图像像素。

3.根据权利要求1所述的方法，还包括：

从所述图像传感器接收第三图像，其中所述第三图像具有比所述第一曝光大且比所述第二曝光小的第三曝光；以及

将具有在所述第一预定阈值与所述第二预定阈值之间的像素值的所述第三图像的像素标识为从所述第三图像中排除。

4.根据权利要求3所述的方法，其中，所述第一预定阈值和所述第二预定阈值中的至少一个是基于所述图像传感器的噪声分布来选择的。

5.根据权利要求3或权利要求4所述的方法，其中：

所述第一预定阈值和所述第二预定阈值中的至少一个是基于所述第一曝光与所述第三曝光的比率，和/或

所述第一预定阈值和所述第二预定阈值中的至少一个是基于所述第三曝光与所述第二曝光的比率，和/或

所述第一预定阈值和所述第二预定阈值中的至少一个是基于所述第一曝光与所述第二曝光的比率。

6.根据权利要求1至4中任一项所述的方法，其中，减少与所述第一图像像素相关的所存储的所述信息量包括使用游程编码算法来表示所述第一图像像素。

7.根据权利要求1至4中任一项所述的方法，其中，所述第一预定阈值包括所述第一传感器输出图像的最小像素值。

8.根据权利要求3或权利要求4所述的方法，其中，所述第一预定阈值包括所述第一传感器输出图像的最小像素值，并且所述第二预定阈值包括所述第二传感器输出图像的最大像素值。

9.一种用于存储用于多曝光高动态范围处理的一组传感器输出图像以产生经处理的图像的装置，其中，所述多曝光高动态范围处理对来自所述传感器输出图像中的一个或多个的像素值进行组合以产生经处理的图像，所述装置包括：

图像传感器；

第一编码器，被配置为：

从所述图像传感器接收第一传感器输出图像，其中，所述第一传感器输出图像具有第一曝光；以及

产生所述第一传感器输出图像的修改版本，其中，产生所述第一传感器输出图像的所述修改版本包括：

标识所述第一传感器输出图像的第一图像像素，所述第一图像像素具有不太可能对所述经处理的图像有实质贡献的像素值，其中所述第一图像像素是基于具有小于或等于第一预定阈值的像素值来标识的；以及

基于标识所述第一图像像素来减少与所述第一图像像素相关的所存储的信息量；

第一缓冲存储设备，被配置为接收并存储所述第一传感器输出图像的所述修改版本；

第二编码器，被配置为：

从所述图像传感器接收第二传感器输出图像，其中，所述第二传感器输出图像具有大于所述第一曝光的第二曝光；以及

产生所述第二传感器输出图像的修改版本，其中产生所述第二传感器输出图像的所述修改版本包括：

标识所述第二传感器输出图像的第二图像像素，所述第二图像像素具有不太可能对所述经处理的图像有实质贡献的像素值，其中所述第二图像像素是基于具有大于或等于第二预定阈值的像素值来标识的；以及

基于标识所述第二图像像素减少与所述第二图像像素相关的所存储的所述信息量，以及

第二缓冲存储设备，被配置为接收并存储所述第二传感器输出图像的所述修改版本。

10.根据权利要求9所述的装置，包括被配置为进行以下操作的高动态范围图像构造器：

从所述第一缓冲存储设备接收所述第一传感器输出图像的所述修改版本；

从所述第二缓冲存储设备接收所述第二传感器输出图像的所述修改版本；以及

处理所述第一传感器输出图像的所述修改版本和所述第二传感器输出图像的所述修改版本以产生所述经处理的图像，其中，所述处理不包括所述第一图像像素和所述第二图像像素。

11.根据权利要求9所述的装置，其中，所述第一缓冲存储设备被配置为将所述第一传感器输出图像的所述修改版本存储为第一压缩图像，和/或所述第二缓冲存储设备被配置为将所述第二传感器输出图像的所述修改版本存储为第二压缩图像。

12.根据权利要求11所述的装置，其中，存储所述第一压缩图像和/或所述第二压缩图像包括使用游程编码算法来指示从所述第一传感器输出图像和/或所述第二传感器输出图像的所述修改版本中排除的像素。

13.根据权利要求9至12中任一项所述的装置，其中，所述第一缓冲存储设备和所述第二缓冲存储设备被配置为分别将所述第一传感器输出图像的所述修改版本和所述第二传感器输出图像的所述修改版本同时发送到高动态范围图像构造器或所述高动态范围图像构造器。

14.一种包括在其上存储的一组计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令在由至少一个处理器执行时使得所述至少一个处理器进行以下操作：

从图像传感器接收第一传感器输出图像，其中，所述第一传感器输出图像具有第一曝光；

将具有等于或小于第一预定阈值的像素值的所述第一传感器输出图像的像素标识为从所述第一传感器输出图像中排除，所述第一预定阈值对应于第一图像强度；

从所述图像传感器接收第二传感器输出图像，其中，所述第二传感器输出图像具有比所述第一曝光大的第二曝光；

将具有大于或等于第二预定阈值的像素值的所述第二传感器输出图像的像素标识为从所述第二传感器输出图像中排除，所述第二预定阈值对应于比所述第一图像强度高的第二图像强度；

从所述图像传感器接收第三传感器输出图像，其中，所述第三传感器输出图像具有比所述第一曝光大且比所述第二曝光小的第三曝光；

将具有大于或等于第三阈值且小于或等于第四阈值的所述第三传感器输出图像的像素标识为从所述第三传感器输出图像中排除，其中，所述第三阈值对应于比所述第二图像强度低的第三图像强度，并且所述第四阈值对应于比所述第一图像强度高的第四图像强度，以及

处理所述第一传感器输出图像、所述第二传感器输出图像和所述第三传感器输出图像以产生多曝光高动态范围图像，其中所述处理不包括被标识为从所述第一传感器输出图像中排除的像素，不包括被标识为从所述第二传感器输出图像中排除的像素，并且不包括被标识为从所述第三传感器输出图像中排除的像素。

Images