CN105023258A - 噪声增强直方图 - Google Patents

Abstract

噪声增强直方图。一种用于将输入值分箱到共同地表示输入值的直方图的多个格子中的一个格子的装置，所述多个格子中的每一个格子代表相应范围的输入值，所述装置包括：输入，其用于接收输入值；噪声源，其被配置成根据预定的噪声分布产生误差值；以及分箱控制器，其被配置成将所接收的输入值与所述误差值混合以产生经修改的输入值并且将经修改的输入值分配给与该经修改的输入值相对应的所述格子。

Description

噪声增强直方图

技术领域

本发明涉及用于产生输入值的直方图的分箱(binning)装置以及涉及一种用于分箱输入值以产生这种直方图的方法。

背景技术

数码相机的处理流水线经常地利用直方图来概括由相机传感器的像素拍摄的参数(诸如，曝光参数)的频率分布。直方图把参数可能的输入值的范围分成一系列的格子(bin)，其中每个格子代表具有落在这个格子的相应范围内的参数的像素的计数。为了执行相机的控制功能(诸如，自动曝光、自动聚焦以及自动白平衡)，这种直方图可以被流水线的图像处理算法使用。相机传感器通常包括数百万个像素以及这种直方图的使用有助于以适当的并且易于通过流水线算法管理的细化程度提供拍摄的帧的特征的概括。

数码相机中用来产生这种直方图的常见分箱控制器的使用遇到了问题，尤其是当帧参数的频率分布在数值上表现出急剧的变化时。例如，在参数是曝光程度的情况下，当大量的像素都指示位于狭窄范围内的曝光参数时，这个问题可以看到。图3示出了这样一组的曝光参数，其在由帧的像素所报告的曝光参数的频率分布中作为尖锐尖峰303显示(在图中只示出了部分分布)。实际上，例如，当相机拍摄包含大面积明亮照射的白墙(诸如，拍摄肖像的人的后面)的帧时，可以观察到这个。这种帧在对应于所拍摄帧的亮白色区域的高曝光处将显示出频率分布中的尖峰。

在图3中，格子301和302是相邻格子，形成了由拍摄的曝光参数的频率分布产生的直方图的一部分。频率分布可以代表在给定样本(样本为，例如，属于由相机传感器拍摄的帧的一组拍摄的曝光参数)中所拍摄的曝光参数的出现频率。频率分布可以由如下的表格表示，即，该表格具有针对共同地跨越拍摄的曝光参数的可能值范围的间隔的集合中的每一个间隔的条目，表格中的每个条目持有具有位于相应间隔内的值的拍摄的曝光参数的出现数目的计数。

在图3中可以看到，尖峰303的宽度比直方图相邻的格子301和302的宽度更窄。在形成直方图中，所有位于格子301范围内(到线304的右侧)的曝光参数将被分配给格子301，并且所有位于格子302范围内(到线304的左侧)的曝光参数将被分配给格子302。尖峰的峰值所位于其中的格子302因此接收到比格子301显著更高的贡献。

由于每个连续的帧由相机拍摄并且入射到传感器的光变化(例如，由于相机的重新定位或拍摄场景的变化)，峰值有可能轻微地由一帧偏移到下一帧，同时自动曝光算法希望最优化待拍摄的帧的曝光。从图3可以理解，在峰值303的位置只需要轻微的偏移来从格子302移动到格子301。粗略地说，这将引起直方图中的峰值从格子302移动到格子301，显著地改变直方图的轮廓。曝光参数的频率分布中的尖峰位置处的轻微的偏移换句话说可以被放大，导致直方图中的大变化以及随之产生的变化(例如，通过由数码相机的自动曝光控制功能所做的决定)。

例如，考虑尖峰303从格子302到格子301移动了少量的情况。把直方图的每个格子的值典型地看作为这个格子的平均值(例如，图3中的中心值305和306)。在尖峰303偏移之前最初由格子302表示的峰值因此取306的值，但是在尖峰303的偏移之后，峰值似乎出现在格子301的平均值305。尖峰303的显著小于格子宽度的移动在峰值的明显位置(如直方图指示的)方面可以因此导致等于格子宽度的阶跃变化。

该问题的具体表现为，当曝光参数中的峰值出现在靠近直方图的格子之间的边缘时，数码相机的自动曝光(AE)控制功能可以结束状态之间的震荡。例如，当由常规的分箱控制器产生的直方图显示出在格子302的峰值时，AE功能可能选择第一模式。与此相应，AE功能可以改变控制参数(诸如，快门速度以及敏感度，其进而可能引起尖峰303以上面描述的方式轻微地偏移并且因此导致直方图在格子301中显示峰值)。自动曝光算法作为回应随后将选择第二模式并以不同的方式改变控制参数，从而移动基本的尖峰303回到格子302。以这种方式，常规的分箱控制器可能具有在即使不存在环境变化(诸如，拍摄的场景中亮度水平的变化)时引起数码相机的控制算法在模式之间震荡的反馈问题。这可以导致次最优的相机性能以及装置过多的能量消耗。

常规的分箱控制器的这种问题典型地通过引入更大量的格子来解决。然而，这具有显著地增加分箱装置所需要的资源的影响，因为分箱控制器的复杂度提升了，由格子占用的资源增加了，以及使用分箱控制器的直方图输出的控制算法的复杂度增加了。

发明内容

根据本发明的第一方面，提供一种用于将输入值分箱到共同地表示输入值的直方图的多个格子中的一个格子的装置，所述多个格子中的每一个格子代表相应范围的输入值，所述装置包括：

输入，其用于接收输入值；

噪声源，其被配置成根据预定的噪声分布产生误差值；以及

分箱控制器，其被配置成将所接收的输入值与所述误差值混合以产生经修改的输入值并且将经修改的输入值分配给与该经修改的输入值相对应的所述格子。

所述噪声源可以被配置成通过从共同地表示所述预定的噪声分布的误差值的伪随机序列选择所述误差值来产生所述误差值。

所述分箱控制器可以被配置成将由所述分箱控制器接收用于分箱的每个输入值与来自所述伪随机序列的新的误差值结合。

所述多个格子中的每一个格子可以是由所述分箱控制器维护的计数器，其中，所述分箱控制器被配置成当经修改的输入值被分配给所述计数器时递增所述计数器的计数值。

所述多个格子可以共同地跨越可能范围的输入值。

所述噪声分布可以是关于零对称的。

所述预定的噪声分布可以具有基本上等于每个格子的宽度的方差。

所述噪声分布可以是高斯分布、三角分布或矩形分布中的一种。

在图像处理流水线可以提供所述装置以产生所述直方图供一个或多个图像处理算法使用。

所述图像处理流水线可以是相机的图像处理流水线并且所述图像处理算法是自动曝光算法、自动白平衡算法和自动聚焦算法中的一个或多个。

所述输入值可以代表曝光、亮度、清晰度、对比度、色调、饱和度、明度、色度和色彩中的一个或多个。

可以提供用于产生所述装置的机器可读代码。非暂时性的机器可读代码被编码在其上的机器可读存储介质可以被提供用于产生该装置。

根据本发明的第二方面，提供了一种用于产生输入值的直方图的方法，所述直方图包括多个格子，所述多个格子中的每个格子代表相应范围的输入值，所述方法包括以下步骤：

接收输入值；

根据预定的噪声分布产生误差值；

将所接收的输入值与所述误差值混合以产生经修改的输入值；以及

将经修改的输入值分配给与该经修改的输入值相对应的所述格子。

所述直方图的所述多个格子中的每一个格子可以是计数器，并且所述方法包括通过递增所述计数器的计数值而将经修改的输入值分配给所述格子。

所述预定的噪声分布可以具有基本上等于每个格子的宽度的方差。

可以提供用于执行产生输入值的直方图的方法的机器可读代码。非暂时性的机器可读代码被编码在其上的机器可读存储介质可以被提供用于执行产生输入值的直方图的所述方法。

附图说明

现在将参考附图以实施例的方式描述本发明。在图中：

图1是根据在此描述的原理构造的分箱装置的示意图。

图2示出了表示出现在帧中的曝光值的频率分布的直方图。

图3示出了直方图值和针对相机流水线的输入值的基本的频率分布中的尖峰之间的映射。

图4是根据在此描述的原理说明产生直方图的方法的流程图。

具体实施方式

提供以下描述以使所属领域的技术人员能够制造和使用本发明。本发明并不限制于这里描述的实施方式并且对所公开实施例的各种修改对于本领域的技术人员而言是显而易见的。

具有一种解决上面指出的问题的改进的分箱控制器是有用的。如下文实施例中所述，在执行分箱处理之前，可以将噪声与输入值混合，并且这可以改善作为结果得到的直方图。令人惊奇的是输入值中引入噪声可以改善直方图。

图1是说明根据在此描述的原理构造的分箱装置100的示意图。分箱装置100包括具有用于接收输入值的输入101的分箱控制器102。分箱控制器102以下面描述的方式被配置成分配输入值给一组格子104以产生指示输入值的频率分布的直方图。每个格子可以是由分箱控制器102维护的计数器。在这种情况下，分箱控制器102被配置成当每一次输入值被分配给这个格子时以某一预定值(例如，1)增加计数器的计数值，从而形成输入值的频率分布的概括。这种直方图以适合用于流水线算法105的细化程度提供输入值的概括是有用的，该流水线算法105在提供分箱装置100的设备上执行一个或多个控制或校准功能。

输入值可以是任意类型的关于它将形成直方图的值。在此描述的实施例中，输入值是针对支持分箱控制器的相机流水线的输入值，并且由格子104的集合表示的直方图用于在相机流水线的操作中的图像处理算法105。分箱控制器可以被配置成分箱与拍摄的帧相关的所有输入值以形成表示针对这个帧的这些输入值的频率分布的直方图。例如，针对拍摄的帧的每个像素可以有相应的输入值。通过在由相机流水线拍摄的一序列的帧上运行该分箱控制器，可以产生概括输入值的频率分布的演化的一系列的直方图。

现在将以实施例的方式描述分箱控制器的操作，在实施例中输入值是拍摄的帧中曝光的量度并且由格子104的集合表示的直方图用于相机流水线的自动曝光算法105。图4是根据本实施例说明在接收的输入值401上的分箱控制器的操作的流程图。

图2示出了说明针对由包括分箱控制器102的数码相机拍摄的帧的曝光值202的频率分布的直方图201。曝光值可以是曝光的任何适合的量度并且在本实施例中代表针对分箱控制器102的输入值。在图2示出的例子中，曝光值已经被分箱到从格子0(低曝光)到格子15(高曝光)变化的16个格子中，每个格子代表在该格子的输入值的相应范围内的曝光值的在帧中的比率。例如，曝光值可能的范围可能按某些预定的比例位于0和255之间，每个格子代表这个规模的1/16，使得在0和15之间的曝光值分配给格子0，在16和31之间的曝光值分配给格子1等等。由格子共同地形成的直方图因此是曝光值的频率分布的近似表示。

典型地，相机传感器具有大量的像素，每个像素可以提供光强度信息，从光强度信息可以确定曝光的量度(例如，曝光值)。例如，5兆像素相机传感器将具有五百万个像素，每个像素提供光强度信息(典型地从一个或更多个子像素的集合，每个子像素适合检测分量颜色：红、绿和蓝)。这代表可以形成直方图201的大量的输入值。视传感器和相机流水线的底层架构而定，就每个像素或者两个或更多个像素的组合而确定的曝光输入值可以由分箱控制器分箱到直方图201的格子中。

每个曝光值能够例如正比于在给定时间段(例如，曝光时间)上入射到相机传感器的像素的光的强度。高频值(诸如，图2中由204指示的高的列)说明大量的像素具有落入相应范围内的曝光值，并且低频值(诸如，图2中由205指示的小的列)说明少量的像素具有落入相应范围内的曝光值。

返回到图1，分箱控制器102被配置成在将输入值分箱到格子104中之前将输入值101与噪声源103混合。例如，在图4中的步骤403，分箱控制器可以被配置成将它从噪声源接收的误差值添加到从输入101接收的曝光值。应当注意的是，不同的输入值添加不同的误差值。这样具有展宽输入值的频率分布中尖锐的尖峰以及确保作为结果得到的直方图更好地反映基本的频率分布的效果。用这样的方法，可以避免输入值的频率分布中尖峰位置的轻微偏移引起直方图的不适当的大变化的情况。通过选择随机(或，在实际实现中，伪随机)、对称于平均值0、以及独立于输入值本身的噪声源，可以避免引入系统性偏差。如上所述，在分箱处理之前，将来自噪声源103的误差值添加到输入值，从而产生修改后的输入值。分箱控制器102分配修改后的输入值给格子(例如，如同图4中由步骤404所指示的通过分配每个修改后的曝光值给相应的格子)。

如果噪声源103被配置成提供具有方差近似地等于格子104的宽度的分布的噪声，则是有利的。例如，噪声源可以被配置成提供具有方差在格子宽度的5％、10％、15％、20％、25％、30％或35％之内的分布的噪声。对于具有格子宽度在输入值范围上变化的直方图，将格子的宽度取为格子的平均宽度(例如，平均宽度)或最大格子的宽度是有利的。这有助于确保在直方图的全部范围上优化性能。

将噪声源的方差配置成近似地等于直方图的格子的宽度提供了在引入足够的噪声以实现改进输入值的频率分布的直方图表示的目的同时最小化由引入噪声而导致的误差与因此最小化引入到输入值的任何可能的伴随的精度损耗以便避免降低相机流水线的性能之间的良好平衡。噪声源103产生的误差值用于在作为结果的值被分箱到格子104之前与输入值结合。例如，噪声源103可以产生用于由分箱控制器使用的伪随机数字序列。为了保持良好的噪声特性，分箱控制器102优选地被配置成将来自伪随机序列的新的误差值(例如，该序列中的下一个误差值)与它接收到的用于分箱的每个输入值结合。

由噪声源103产生的噪声(如图4中由步骤402指示的)可以具有任何类型的以零为中心的对称分布(也就是说，以便不引入偏差到输入值)。例如，噪声可以具有高斯、三角或矩形分布。通常噪声源103被配置成根据预定的噪声分布产生误差值。如上所述，可以通过从共同地表示预定的噪声分布的误差值伪随机序列中选择误差值来产生误差值。

利用相同数量的格子，分箱装置100可以提供相比于常规分箱装置的改进的性能。类似地，分箱装置100可以提供与使用更大量的格子并且具有显著更高的资源需求的常规分箱装置等效的性能水平。提供高性能和低资源需求的有效噪声源对于软件和硬件环境二者都是公知的。例如，线性反馈移位寄存器(LFSR)或伽罗华LFSR以低的计算开销提供良好的性能。

在上面描述的实施例中，分箱装置100被配置成执行曝光值的分箱以便形成由相机流水线的自动曝光算法使用的直方图，如由图4的步骤405所指示的。用于表示曝光的合适的输入值包括曝光量度、强度以及亮度。等效的分箱装置可以用于执行表示图像中清晰度和/或对比度的量度的值的分箱以便产生由相机流水线的自动聚焦算法使用的直方图。等效的分箱装置可以用于代表图像中色调、亮度、饱和度、色度和/或色彩的量度的值的分箱以便产生由相机流水线的自动白平衡算法使用的直方图。分箱装置不仅限制于在相机流水线执行并且更一般地说可以在其中任何类型的输入值将被分箱以便形成直方图的任何类型的设备中提供。流水线算法105可以是使用直方图的经分箱的值的任何类型的算法。

图1的分箱装置显示为包括许多功能块。这仅仅是为了说明性的目的并且不打算定义芯片上硬件的不同部分之间或软件中不同程序、过程或功能之间的严格的划分。这里使用的术语“逻辑”可以指的是任何类型的软件、硬件或硬件和软件的组合。

根据本发明构造的分箱装置可以以硬件、软件或硬件和软件的任何合适的组合体现。本发明的分箱装置可以包括，例如，用于在一个或多个处理器(诸如，在CPU和/或GPU)、和/或一个或多个专用处理器(诸如，ASIC)、和/或一个或多个适当地编程以便提供数据处理设备的功能性的可编程处理器(诸如，FPGA)、和/或包括一个或多个专用的、可编程的以及通用目的处理功能性的异构处理器的执行的软件。在本发明的优选实施方式中，分箱装置包括具有程序代码存储于其上的一个或多个处理器以及一个或多个存储器，数据处理器和存储器是例如相结合来提供所要求保护的分箱装置和/或执行所要求保护的方法。

在此使用的术语软件和计算机可读程序代码包括针对处理器(例如，CPU和/或GPU)的可执行代码、固件、字节码、编程语言代码(诸如，C或OpenCL(RTM))、以及用于可重配置逻辑设备的模块(诸如，FPGA)。机器可读代码包括用于在任何等级定义集成电路硬件表示的软件和代码，包括在寄存器传送级(RTL)、高级电路表示(诸如，Verilog或VHDL)、以及低级表示(诸如，OASIS(RTM)和GDSII)。

在此描述的任何一个或多个算法和方法可以由一个或多个物理处理单元执行，该一个或多个物理处理单元运行引起该单元执行算法/方法的程序代码。该物理处理单元或每个物理处理单元可以是任何合适的处理器(诸如，CPU或GPU(或其核)、或固定功能或可编程硬件)。程序代码可以以永久的形式存储在机器可读介质(诸如，集成电路存储器、或光学或磁式存储器)。机器可读介质可能包括许多存储器(诸如，芯片上存储器、计算机工作存储器、以及非易失性存储器设备)。

申请人在此独立地公开了在此描述的每个单独特征以及两个或多个这种特征的任意组合，从而使得这样的特征或组合能够鉴于本领域技术人员的普通常识基于整个说明书来实现，而不考虑这些特征或特征的组合是否解决这里所公开的任何问题，并且不限制权利要求的范围。申请人指出本发明的各方面可以由任何这样的单独特征或特征组合构成。鉴于以上描述，对于本领域技术人员来说显而易见，在本发明的范围内可以进行各种修改。

Claims (16)

1.一种用于将输入值分箱到共同地表示输入值的直方图的多个格子中的一个格子的装置，所述多个格子中的每一个格子代表相应范围的输入值，所述装置包括：

输入，其用于接收输入值；

噪声源，其被配置成根据预定的噪声分布产生误差值；以及

分箱控制器，其被配置成将所接收的输入值与所述误差值混合以产生经修改的输入值并且将经修改的输入值分配给与该经修改的输入值相对应的所述格子。

2.根据权利1所述的装置，其中，所述噪声源被配置成通过从共同地表示所述预定的噪声分布的误差值的伪随机序列选择所述误差值来产生所述误差值。

3.根据权利2所述的装置，其中，所述分箱控制器被配置成将由所述分箱控制器接收用于分箱的每个输入值与来自所述伪随机序列的新的误差值结合。

4.根据前述任一权利要求所述的装置，其中，所述多个格子中的每一个格子是由所述分箱控制器维护的计数器，其中，所述分箱控制器被配置成当经修改的输入值被分配给所述计数器时递增所述计数器的计数值。

5.根据前述任一权利要求所述的装置，其中，所述多个格子共同地跨越可能范围的输入值。

6.根据前述任一权利要求所述的装置，其中，所述噪声分布是关于零对称的。

7.根据前述任一权利要求所述的装置，其中，所述预定的噪声分布具有基本上等于每个格子的宽度的方差。

8.根据前述任一权利要求所述的装置，其中，所述噪声分布是高斯分布、三角分布或矩形分布中的一种。

9.根据前述任一权利要求所述的装置，其中，在图像处理流水线提供所述装置以产生所述直方图供一个或多个图像处理算法使用。

10.根据权利要求9所述的装置，其中，所述图像处理流水线是相机的图像处理流水线并且所述图像处理算法是自动曝光算法、自动白平衡算法和自动聚焦算法中的一个或多个。

11.根据前述任一权利要求所述的装置，其中，所述输入值代表曝光、亮度、清晰度、对比度、色调、饱和度、明度、色度和色彩中的一个或多个。

12.一种用于产生根据权利要求1到11中的任何一项所述的装置的机器可读代码。

13.一种用于产生输入值的直方图的方法，所述直方图包括多个格子，所述多个格子中的每个格子代表相应范围的输入值，所述方法包括以下步骤：

接收输入值；

根据预定的噪声分布产生误差值；

将所接收的输入值与所述误差值混合以产生经修改的输入值；以及

将经修改的输入值分配给与该经修改的输入值相对应的所述格子。

14.根据权利要求13所述的方法，其中，所述直方图的所述多个格子中的每一个格子是计数器，并且所述方法包括通过递增所述计数器的计数值而将经修改的输入值分配给所述格子。

15.根据权利要求13或14所述的方法，其中，所述预定的噪声分布具有基本上等于每个格子的宽度的方差。

16.一种用于执行根据权利要求13到15中的任何一项所述的产生输入值的直方图的方法的机器可读代码。