CN101138251A - 用于数字图像处理的亮度适应 - Google Patents

Abstract

本发明提供一种用于数字图像处理的亮度适应。将亮度信号与表示图像的传感器RGB信号分离。自所述亮度信号获得传递函数。通过使用所述传递函数，调整传感器RGB信号以适应所述图像的亮度。

Description

用于数字图像处理的亮度适应

技术领域

本发明大体而言涉及数字成像处理，且更具体而言涉及用于数字图像处理系统及过程的亮度适应。

背景技术

在移动通信中对多媒体应用的需求一直在以令人吃惊的速度增长。今天，用户可以发送和接收静态图像、以及从因特网下载图像和视频，供用于在移动终端机或手机上观看。将数码相机集成至移动终端机内也进一步促进了多媒体功能在移动通信中的增长趋势。

在给定有限的资源量(如与移动终端机相关联的电池容量、处理功率和传输速度)的情况下，需要有效的数字成像处理技术来支持多媒体功能。这就要求发展更为完善的硬件和软件，以降低多媒体应用的计算复杂性，同时仍维持图像质量。这些硬件和软件的发展使移动终端机的功率消耗更低且待机时间更长。

所述数字成像处理的一个方面涉及处理颜色信息。颜色信息一般表示为由红、绿和蓝(RBG)分量组成的合成信号。假设维持全亮度带宽，则可以通过利用人眼相对贫乏的颜色敏锐性来降低传达这种颜色信息所要求的数据容量。具体而言，视频信号的这三个颜色分量(RGB)可被转变为亮度(Y)和色度(CbCr)分量，并压缩色度分量。

亮度(Y)分量一般与图像的亮度相关联。大动态范围处理技术常常用于数字成像处理系统中，以在景物的动态范围较大时保留图像在黑暗和明亮区域内的细节。将希望以适用于移动应用的有效处理资源实现这种目的。

亮度适应是一种类型的动态范围图像处理技术。其创造一根据图像的亮度分布而自动变化的非线性色调再现曲线。基于图像的柱状图信息产生所述再现曲线。

发明内容

本文揭示一种用于数字图像处理的亮度适应方法。所述方法包括：自表示图像的传感器RGB信号导出亮度信号；自所述亮度信号获得传递函数；及使用所述传递函数调整所述传感器信号，以使其适应图像的亮度。

本文揭示一种亮度适应处理器。所述亮度适应处理器包括：用于自表示图像的传感器信号导出亮度信号的装置；用于自所述亮度信号获得传递函数的装置；及用于使用所述传递函数调整所述传感器信号以使其适应图像亮度的装置。

本文还揭示亮度适应处理器的另一方面。所述亮度适应处理器包括：亮度转换器，其经配置以将亮度信号在表示图像的传感器信号分开；传递函数产生器，其经配置以自所述亮度信号获得传递函数；及亮度适应模块，其经配置以使用所述传递函数调整传感器信号。

本文还揭示一种计算机可读媒体，其包含可由计算机执行以实施一种用于数字图像处理的亮度适应方法的指令程序。所述方法包括：自表示图像的传感器RGB信号导出亮度信号；自所述亮度信号获得传递函数；及使用所述传递函数调整所述传感器信号，以使其适应图像的亮度。

附图说明

在附图中，以举例而非限制方式图解说明各个实施例，其中：

图1是图解说明数字成像过程的概念性方框图；

图2是图解说明数字图像处理系统中的预处理模块功能的概念性方框图；

图3是图解说明与数字图像处理系统中的预处理相关联的亮度处理器功能的概念性方框图；

图4是图解说明图像在具有光源的黑暗环境中的简化柱状图的图形表示；

图5是图解说明一传递函数的图形表示，所述传递函数表示图4所示柱状图的累积函数；

图6是图解说明使用图5所示传递函数的柱状图等化过程的图形表示；

图7是图解说明在限制柱状图高度时对图4所示柱状图的累积函数的影响的图形表示；

图8是图解说明图5所示传递函数的压缩区域的图形表示；及

图9是图解说明一用于消去压缩区域的经修改传递函数的图形表示。

具体实施方式

下文结合附图所作的详细说明旨在作为亮度适应的各种实施例的说明，而非旨在表示本发明仅可实施为所述实施例。为能够透彻理解亮度适应，所述详细说明包括具体细节。然而，所属技术领域的技术人员将易于了解，无需这些具体细节也可以实施本发明。在某些实例中，为避免淡化亮度适应的概念，以方框图形式显示熟知的结构和组件。

图1是图解说明适用于集成至移动终端内的数码相机的数字成像过程的概念性方框图。所述移动终端可以是无线电话、个人数字助理(PDA)、膝上型计算机或任一其他移动无线装置。可使用透镜(未显示)将图像聚焦于图像传感器102上。图像传感器102可以是电荷耦合装置(CCD)、互补型金属氧化物半导体(CMOS)图像传感器、或任一其他适合的图像传感器。在图像传感器102的至少一个实施例中，可使用半导体阵列在图像的不同像素处捕获光线。可使用定位于图像传感器102前方的滤色镜阵列(CFA)(未显示)将单个颜色(亦即，红、绿或蓝)传送至每个半导体。最常见的CFA是RGB和CMYG图案。图像传感器102产生的传感器信号可提供至预处理模块104，其中对其进行去马赛克处理，以获得全RGB分辨率作为静态图像和视频压缩器106的输入。静态图像和视频压缩器106可使用JPEG压缩或任一其他适合的压缩演算法。

图2是图解说明预处理模块功能的概念性方框图。预处理模块104可用于补偿人类视觉系统的反应与图像传感器102所产生的传感器信号之间的差别。这些差别可以使用各种处理技术来校正，包括(例如)亮度适应、去马赛克、白平衡、颜色校正、γ调整和颜色转换。这些过程在图2中表示为单独的处理模块，但或者可使用共享硬件或软件平台来实施。

参看图2，可使用亮度适应处理器202将亮度适应应用至传感器RGB信号。经亮度适应的RGB信号可提供至颜色内插器204。颜色内插器204可用于通过内插处理将传感器RGB信号转换为全分辨率RGB信号。全分辨率RGB信号在图像的每一像素处提供红、绿和蓝色信息。白平衡与颜色校正模块206可用于补偿照明的不同色温和传感器所导致的色差，且γ调整模块208可用于补偿由比如移动终端机的显示器(未显示)引入的非线性效应。颜色转换模块210可用于通过将非线性(经γ校正的)R’G’B’信号转变为亮度(Y’)和色度(C_bC_r)信号来减少向下游传输图像所需要的数据容量。随后，假设维持亮度信号的全带宽，可通过对色度信号进行二次抽样来减少颜色细节。

图3是图解说明亮度处理器功能的概念性方框图。亮度处理器202可集成至预处理模块104(见图2)中，并用预处理模块104中的微处理器、数字信号处理器(DSP)、或基于任一其他硬件及/或软件的处理实体来实施。尽管在图2中显示为预处理模块104的一部分，但亮度适应处理器202可以用与预处理模块104进行通信的独立处理器来实施。所述独立处理器可以是微处理器、DSP、可编程逻辑或专用硬件。或者，亮度处理器202的功能可分布于预处理模块104中任一数量的处理实体中及/或移动终端机中的其他处理实体中。

参看图3，可使用亮度转换器304自传感器RGB信号导出亮度(Y)信号。图像每像素的亮度(Y)信号可通过如方程式(1)中所示转变其邻近的3x3RGB信号而获得：

$Y=\left[\begin{array}{ccc}{s}_1& s_2& s_3\\ s_4& \stackrel{\‾}{s}& s_5\\ s_6& s_7& s_8\end{array}\right]\·\left[\begin{array}{ccc}1/16& 1/8& 1/16\\ 1/8& 1/4& 1/8\\ 1/16& 1/8& 1/16\end{array}\right]$

(1)

其中：

是所关注的RGB信号；及

S₁～S₈是邻近的3x3RGB信号举例而言，当中心像素为B，且其邻近像素排列为 $\left[\begin{array}{ccc}R& G& R\\ G& B& G\\ R& G& R\end{array}\right]$ 时，对应的Y值是

$Y=\frac{1}{4}R+\frac{1}{2}G+\frac{1}{4}B$

(2)。

当中心像素是R，例如 $\left[\begin{array}{ccc}B& G& B\\ G& R& B\\ B& G& B\end{array}\right]$ 时，或当中心像素是G，例如 $\left[\begin{array}{ccc}G& B& G\\ R& G& R\\ G& B& G\end{array}\right]$ 时，对应的Y值仍遵循方程式(2)。

亮度适应模块304可用于恢复图像在黑暗及明亮区域中的细节。在至少一个实施例中，可通过柱状图建模技术来实施亮度适应。“柱状图”是图像的显示每一亮度或灰度级处的图像像素数量的曲线图。所述柱状图中的峰值表示图像中更常见的亮度级，而峰值之间的谷值表示图像中不太常见的亮度级。图4中显示其中在相对黑暗的环境中具有光源的柱状图实例。所述图像的柱状图展现黑白区域中的峰值，但在中级灰度区域内相对平缓。在这个柱状图中，明显看出未充分利用灰度。所述灰度可以通过如下方式而得到更好地利用：在峰值区域内扩展灰度级，同时在谷值区域中压缩灰度级，从而使得图像周围的亮度分布更均匀。这一过程称作“柱状图等化”。

返回图3，亮度适应模块304可使用柱状图等化过程重新分配输入图像的亮度信号，从而使得输出图像包含相对均匀分布的亮度信号(也就是平缓的柱状图)。这使得可在黑白区域内看到在原始图像中察觉不到的细节。原始图像的传递函数可用于重新分配亮度信号。可自原始图像的柱状图产生传递函数。传递函数产生器306可用于产生原始图像柱状图的累积函数，并将其提供给亮度适应模块304作为传递函数。

图5是显示一表示图4所示柱状图的累积函数的传递函数实例的图形说明。图中显示所述图像的柱状图502在黑白区域内具有峰值，但在中级灰度区域内相对平缓。柱状图502的累积函数504可由一描绘输入与输出图像之间的累积信号的曲线来表示。所述曲线的斜率与原始图像中具有特定亮度级的像素数量成比例地变化。换句话说，所述曲线在灰度的黑白区域内(柱状图到达峰值处)具有较陡的斜率，而在中级灰度区域内具有平缓的斜率。

图6是显示使用传递函数进行柱状图等化过程的另一图形说明。所述传递函数是图4所示柱状图502的累积函数504。输入图像中亮度信号处于柱状图502的黑色区域中604与606之间的所有像素将被重新分配至等化柱状图602中处于604’与606’之间的较大范围内。类似地，输入图像中亮度信号处于柱状图502的白色区域中608与610之间的所有像素将被重新分配至等化柱状图602中处于608’与610’之间的较大范围内。在需要时，等化柱状图602为灰度的黑白区域分派更为动态的范围。为其中存在相对少像素的中级灰度部分分派较小部分的动态范围。

返回图3，柱状图等化可基于亮度信号的对数分布，以更好地接近人眼的反应。对数转换器308可用于将亮度信号自线性域转变至对数域。传递函数产生器306可用于为对数亮度信号的柱状图产生累积函数。随后，所产生的传递函数可由亮度适应模块304中的柱状图等化器314用于重新分配所述对数亮度信号，以更有效地利用图像黑白区域内灰度的动态范围。随后，在柱状图等化器314的输出端处，对数转换器316将经重新分派的亮度信号转变回线性域。

RGB信号调整模块318可用于调整亮度适应处理器202的传感器RGB信号输入。所述传感器RGB信号输入是作为其亮度信号(Y_输入)与来自等化柱状图的亮度信号(Y_{输 出})的函数进行调整。这一调整是在线性域中执行，且可由下述方程式表示：(传感器RGB信号)

(传感器RGB信号)

在传递函数产生器306的至少一个实施例中，可以采用两种方式约束传递函数，以限制总图像的对比度。第一个约束可应用于柱状图。如先前所更详细论述，传递函数的斜率与原始图像中具有特定亮度级的像素数量成比例地变化。当传递函数的斜率过陡时，所产生图像的对比度可能过高，或可能将不利的噪点量引入图像。柱状图模块310可用于形成具有上限的柱状图，以限制在每一给定的亮度级下的像素数量。通过给出像素数量的上限，可以更好地控制传递函数的斜率。在这种配置中，每亮度级的像素数量应满足下述方程式：

(3)

其中：p_i是灰度的第i个亮度级中的像素数量；

P_总是图像中的总像素数量；

N_级是灰度中的亮度级数量；及

K是经验常数。

图7是显示对图4所示柱状图的累积函数影响的图形说明。贯穿灰度的虚线702表示上限(也就是每亮度级的最大像素数量)。所述上限将柱状图的黑白区域中的峰值高度降低“Δh”。如表示带上限柱状图的累积函数的曲线704所显示，峰值高度的降低会减少黑白区域内的传递函数斜率。

第二个约束可应用于传递函数，也就是累积函数。在某些情况下，传递函数可压缩灰度的某些区域，以增加总图像对比度。图8显示灰度的其中图4所示传递函数中出现压缩的部分。对数域中的虚直线802用于表示其中所再现的图像与原始图像相同的传递函数。传递函数504中低于虚直线802的部分表示表现出压缩的区域。由于亮度适应的一般目的是再现阴影细节并还保持明亮部分，或降低原始图像的对比度，因而再增加那些宽广动态范围图像的对比度是不合意的。因此，对传递函数的另一约束可能是限制所再现亮度信号，以使其永远不会比原始图像暗。具体而言，用直线802代替传递函数504中位于所述直线802下方的部分，而保留传递函数504中位于直线802上方的部分。图9中显示最终的传递函数。它是图8所示直线802与原始传递函数504的组合。

结合本文所揭示实施例所阐述的各种例示性逻辑块、模块、电路、元件及/或组件均可用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件、或其设计用于执行本文所述功能的任一组合来构建或实施。通用处理器可以是微处理器，但或者，所述处理器可以是任何传统处理器、控制器、微控制器、或状态机。处理器还可以构建为计算组件的组合，例如DSP与微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心相结合、或任何其他这种配置。

结合本文所揭示实施例所阐释的方法或演算法可直接实施于硬件、可由处理器执行的软件模块、或两者的组合内。软件模块可驻存于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可抽换磁盘、CD-ROM、或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦接至处理器，以使处理器可自存储媒体读取信息或向存储媒体写入信息。或者，所述存储媒体可以是处理器的组成部分。

提供上文对所揭示实施例的说明旨在使所属技术领域的技术人员能够实践亮度适应。所述技术领域的技术人员将易于得出所述实施例的各种修改，且本文所定义的一般原理还可以用于其它实施例，此并不背离本文所教示的精神或范畴。因此，本揭示内容的范畴并不打算限定为本文所示实施例，而是要使其具有与权利要求书相一致的全部范围，其中除非明确指明，否则以单数形式提及的元件并不打算表示“一个且只有一个”，而是“一个或多个”。所属技术领域的技术人员所熟知或随后将熟知的在本揭示内容通篇中所述各实施例的元件的所有结构及功能等效物皆明确地以引用方式并入本文中并打算涵盖于权利要求书中。此外，无论是否在权利要求书中明确陈述这一揭示内容，本文揭示的内容皆不意欲奉献给公众。各权利要求要素皆不依据35 U.S.C.§112第六段的规定加以解释，除非使用短语“用于…的装置”明确描述所述要素，或在方法项中使用短语“用于…的步骤”描述所述要素。

Claims (32)

1.一种用于数字图像处理的亮度适应方法，其包括：

自表示图像的传感器RGB信号导出亮度信号；

自所述亮度信号获得传递函数；及

使用所述传递函数调整所述传感器RGB信号，以适应所述图像的亮度。

2.如权利要求1所述的方法，其中通过将所述传递函数应用至所述亮度信号并使用结果调整所述传感器RGB信号来使用所述传递函数调整所述传感器RGB信号。

3.如权利要求1所述的方法，其中所述传递函数包括所述亮度信号的柱状图的累积函数。

4.如权利要求3所述的方法，其进一步包括限制所述柱状图的峰值。

5.如权利要求4所述的方法，其中所述柱状图是针对所述亮度信号的对数。

6.如权利要求3所述的方法，其进一步包括修改所述传递函数，以使得所述传感器RGB信号的每一者均比其相应的经调整传感器RGB信号更亮。

7.如权利要求6所述的方法，其中所述柱状图是针对所述亮度信号的对数。

8.如权利要求1所述的方法，其中自对数域中的所述亮度信号获得所述传递函数。

9.如权利要求1所述的方法，其中通过将所述亮度信号的等化柱状图转换为经调整RGB信号来调整所述传感器RGB信号，所述传递函数用于产生所述等化柱状图。

10.一种亮度适应处理器，其包括：

用于将亮度信号自表示图像的传感器RGB信号分离的装置；

用于自所述亮度信号获得传递函数的装置；及

用于使用所述传递函数调整所述传感器RGB信号以适应所述图像的亮度的装置。

11.如权利要求10所述的亮度适应处理器，其中所述传递函数包括所述亮度信号的柱状图的累积函数。

12.如权利要求11所述的亮度适应处理器，其进一步包括用于限制所述柱状图的峰值的装置。

13.如权利要求11所述的亮度适应处理器，其进一步包括用于修改所述传递函数以使得所述传感器RGB信号中每一者均比其相应的经调整传感器RGB信号更亮的装置。

14.如权利要求12所述的亮度适应处理器，其进一步包括用于将所述亮度信号转换至所述对数域的装置，其中自所述对数亮度信号获得所述传递函数。

15.一种亮度适应处理器，其包括：

亮度转换器，其经配置以将亮度信号自表示图像的传感器RGB信号分离；

传递函数产生器，其经配置以自所述亮度信号获得传递函数；及亮度适应模块，其经配置以使用所述传递函数调整所述传感器RGB信号。

16.如权利要求15所述的亮度适应处理器，其中所述亮度适应模块进一步经配置以将所述传递函数应用至所述亮度信号，及使用结果调整所述传感器RGB信号。

17.如权利要求15所述的亮度适应处理器，其中所述传递函数包括所述亮度信号的柱状图的累积函数。

18.如权利要求17所述的亮度适应处理器，其中所述亮度适应模块进一步经配置以将所述亮度信号的等化柱状图转换为所述经调整RGB信号，其中所述传递函数用于产生所述等化柱状图。

19.如权利要求17所述的亮度适应处理器，其中所述传递函数产生器进一步经配置以限制所述柱状图的峰值。

20.如权利要求19所述的亮度适应处理器，其中所述亮度适应模块进一步包括经配置以将所述亮度信号转变至对数域的对数转换器，其中所述柱状图是针对对数亮度信号。

21.如权利要求17所述的亮度适应处理器，其中所述传递函数产生器进一步经配置以修改所述传递函数，以使得所述传感器RGB信号中每一者均比其相应的经调整传感器RGB信号更亮。

22.如权利要求21所述的亮度适应处理器，其中所述亮度适应模块进一步包括经配置以将所述亮度信号转变至所述对数域的对数转换器，其中所述柱状图是针对对数亮度信号。

23.如权利要求15所述的亮度适应处理器，其中所述亮度适应模块进一步包括经配置以将所述亮度信号转变至所述对数域的对数转换器，其中自所述对数亮度信号获得所述传递函数。

24.一种计算机可读媒体，其体现可由计算机执行以实施用于数字图像处理的亮度适应方法的指令程序，所述方法包括：

自表示图像的传感器RGB信号导出亮度信号；

自所述亮度信号获得传递函数；及

使用所述传递函数调整所述传感器RGB信号，以适应所述图像的亮度。

25.如权利要求24所述的计算机可读媒体，其中通过将所述传递函数应用至所述亮度信号及使用结果调整所述传感器RGB信号来使用所述传递函数调整所述传感器RGB信号。

26.如权利要求24所述的计算机可读媒体，其中所述传递函数包括所述亮度信号的柱状图的累积函数。

27.如权利要求26所述的计算机可读媒体，其中所述方法进一步包括限制所述柱状图的峰值。

28.如权利要求27所述的计算机可读媒体，其中所述柱状图是针对所述亮度信号的对数。

29.如权利要求26所述的计算机可读媒体，其中所述方法进一步包括修改所述传递函数，以使得所述传感器RGB信号中每一者均比其相应的经调整传感器RGB信号更亮。

30.如权利要求29所述的计算机可读媒体，其中所述柱状图是针对所述亮度信号的对数。

31.如权利要求24所述的计算机可读媒体，其中自所述对数域中的所述亮度信号获得所述传递函数。

32.如权利要求24所述的计算机可读媒体，其中通过将所述亮度信号的等化柱状图转换为所述经调整RGB信号来调整所述传感器RGB信号，其中所述传递函数用于产生所述等化柱状图。

Images