CN101233539A - 自适应图像对比度增强的方法 - Google Patents

Abstract

通过形成图像的有效区的亮度值的直方图，计算将直方图分割成具有基本相等的填充密度的多个柱的多个“初始”柱索引，将“初始”柱索引映射到比该“初始”柱索引更均匀间隔的“最终”柱索引，以及根据“最终”柱索引调节所有像素的亮度值来增强数字图像的对比度。

Description

自适应图像对比度增强的方法

发明领域和背景

本发明涉及数字图像处理，尤其涉及通过处理像素亮度值的直方图来增强数字图像对比度的方法。

基于直方图均衡化的对比度增强是图像处理方面的一种标准技术。与诸如仅相对于相邻像素值改变像素值的过滤之类的局部技术不同，对比度增强是一种基于整个图像的直方图来改变像素值的全局方法。因此对比度增强对图像的总体外观具有显著影响。对比度增强强调薄弱细节并可“照亮”初始暗淡的图像区域。

在视频信号的对比度增强中存在两个挑战：避免噪声放大以及实时增强图像的对比度。

关于噪声放大，正如图像的信号细节由对比度增强强调，所以噪声也由对比度增强放大。必须特别小心以将有噪声的视频信号中的这种典型后果最小化。

关于实时对比度增强，对比度增强法仅在已经计算出一个视频帧的完整直方图之后才校正该帧的像素值。因此，实时对比度增强需要某种形式的延迟。通常，或者将针对每一帧计算的校正应用到随后帧，或者将每一帧延迟足够长的时间以应用其自身的校正。

在例如，A.K.Jain，Fundamentals of Digital Image Processing(数字图像处理原理)(Prentice-Hall出版社，1988)的图像处理方面的基础教科书中描述了对比度增强技术。标准的现有技术直方图均衡化技术如下进行：

1.计算图像直方图H(g)：具有灰度级g的像素的数量，其中g是区间[0，N]中的整数。

2.计算累加直方图 $F\left(\text{g}\right)=\frac{\underset{k=0}{\overset{g}{\mathrm{\Σ}}}H\left(g\right)}{\underset{k=0}{\overset{N}{\mathrm{\Σ}}}H\left(g\right)}.$ 由Fmin表示在直方图中获得的最小正值，即，除以所有的H(g)的和的第一个非零H(g)。

3.根据 $P\left(g\right)=[\left(\frac{F\left(g\right)-F_{\min }}{1-F_{\min }}\right)L+0.5]$ 将灰度值为g的像素变换成“均衡化”新分辨率[0，...L]。为了产生具有增强对比度的图像，采用值L＝N。为了动态范围缩减(数据量化)的目的，采用小于N的L值。

将该标准方法或类似方法应用到视频序列的各帧可能导致时间上的不连续性并可能对于诸如室外景物与室内景物之类的不同类型的景物呈现出不稳定的性能。因此，必须修改标准技术，以用于具有其附加的时间维度的视频图像流。此外，该方法应健壮，应对宽泛类别的典型视频序列良好执行，并应具有充分低的复杂性以便实时地实现。解决这种或有关问题的现有技术专利包括：

Opittek等人的美国专利第3,979,555号

Ketcham等人的美国专利第3,983,320号

Fitch等人的美国专利第4,231,065号

Bailey等人的美国专利第4,353,092号

Ackermann的美国专利第4,450,482号

FitzHenry等人的美国专利第5,063,607号

Fujimura等人的美国专利第5,808,697号

Bhaskar的美国专利第6,393,148号

Bhaskar的美国专利第6,580,825号

Choi的美国专利第6,771,320号

Stessen的美国专利第6,781,636号

Huniu的美国专利申请公开第2003/0007689号

Kim的美国专利申请公开第2003/0025838号

Young等人的美国专利申请公开第2003/0091222号

Srinivasa的美国专利申请公开第2004/0042676号

发明内容

[下面的四段几乎一字不差地重复了独立权利要求。这是我们在每篇专利申请中完全机械地作出的，以保证即使说明书的其它部分一团糟，至少这部分包括对独立权利要求的支持。对这些段的任何批评应对准权利要求。]

根据本发明提供了用于包括多个像素并且每一个像素都具有各自的初始亮度值和两个各自的初始色度值的图像的一种调节初始亮度值的方法，包括以下步骤：(a)形成至少一部分像素的初始亮度值的直方图；(b)计算将直方图分割成具有基本相等的填充密度(population)的多个柱(bin)的多个初始柱索引；(c)将这多个初始柱索引映射到比该初始柱索引更均匀间隔的多个最终柱索引；以及(d)根据最终柱索引调节初始亮度值，从而获得对于每一个像素的各自的最终亮度值。

根据本发明提供了用于包括多个像素并且每一个像素都具有各自的初始值的图像的一种调节初始值的方法，包括以下步骤：(a)形成至少一部分像素的初始值的直方图；(b)计算将直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引；(c)将这多个初始柱索引映射到比该初始柱索引更均匀间隔的多个最终柱索引；以及(d)根据最终柱索引调节初始值，从而获得对于每一个像素的各自的最终值。

根据本发明提供了一种系统，包括：(a)用于存储包括多个像素并且每一个像素都具有各自的值的图像的存储器；以及(b)处理器，用于：(i)形成至少一部分像素值的直方图；(ii)计算将直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引；(iii)将初始柱索引映射到比该初始柱索引更均匀间隔的多个最终柱索引；以及(iv)根据最终柱索引调节值。

根据本发明提供了一种计算机可读存储介质，具有在计算机可读存储介质中体现的计算机可读代码，该计算机可读代码用于处理包括多个像素并且每一个像素都具有各自的值的图像，该计算机可读代码包括：(a)用于形成至少一部分像素的值的直方图的程序代码；(b)用于计算将直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引的程序代码；(c)用于将初始柱索引映射到比该初始柱索引更均匀间隔的多个最终柱索引的程序代码；以及(d)用于根据最终柱索引调节值的程序代码。

本发明涉及增强数字图像的对比度，该数字图像具有各自的初始色度和亮度值，即每个像素有一个亮度值和两个色度值。首先形成至少一部分像素的初始亮度值的直方图。计算初始“柱索引”，该初始柱索引将直方图分成以该初始柱索引为边界并具有基本相等的填充密度的多个柱。将初始柱索引映射到比初始柱索引更均匀间隔的多个最终柱索引。然后根据最终柱索引调节初始亮度值，以提供最终亮度值。

优选地，仅利用某些像素的亮度值形成直方图。

在本发明的一个优选的变型中，最终柱索引是相等间隔的。优选地，根据初始柱索引和最终柱索引两者来调节初始亮度值。更佳的是，通过找到括住初始亮度值的两个初始柱索引，然后将初始亮度值变换成由相应的一对最终柱索引之间括住的最终亮度值来调节每一个初始亮度值。最佳的是，该变换是分段线性变换。

在本发明的另一个优选的变型中，初始柱索引至最终柱索引的映射包括修改初始柱索引，以获得比初始柱索引更均匀间隔的相应的多个经修改的柱索引。相应的最终柱索引也比初始柱索引更均匀地间隔，但不一定是均匀间隔的。更佳的是，通过找到括住初始亮度值的两个经修改的柱索引并将初始亮度值变换成由相应的一对最终柱索引括住的最终亮度值来调节每一个初始亮度值。最佳的是，该变换是分段线性变换。

上述的描述应用到彩色数字图像。在单色数字图像的情况下，即每一像素仅具有一个值，像素值的处理方式与彩色数字图像的像素亮度值的处理方式相同。

本发明的范围还包括用于实现本发明的方法的系统以及其中体现了被执行(例如，由本发明的系统的存储器)以实现本发明的方法的计算机可读代码的计算机可读存储介质。

本发明的最接近的现有技术是Opittek等人、Ackermann和FitzHenry等人的专利。这些专利也教授了用于拉平像素亮度/光强度(intensity)值的直方图的方法和系统。Opittek等人和FitzHenry等人精确地拉平了直方图。Ackermann使直方图拟合所期望的但未必是平坦的形状。本发明和现有技术的主要区别在于现有技术未明确计算将初始直方图分成相等填充的柱的初始柱索引。现有技术和本发明其中最终柱索引不一定是均匀间隔的实施例的另一个显著区别在于，本发明的最终柱索引是后验确定的，意思是最终柱索引的值被确定为用于修正最初柱索引的算法的结果。换言之，本发明不对直方图施加先验的期望的形状，相反接受算法产生的任何形状。作为对比，现有技术的最终柱索引由直方图拟合的期望形状(平坦或其它)先验地确定。

[关于你的发明和现有技术的主要区别在于是否明确计算初始柱索引，我与你的意见不同。并且如果这不是主要区别，则在相等地间隔最后柱索引的情况下你的发明与现有技术相同。我建议我们使独立权利要求保留原样，并让审查员来决定。作为退路，我引入了关于后验最后柱索引的权利要求。]

附图简述

在本文中仅作为示例参考附图描述了本发明，附图中：

图1是有效区的亮度分量值的典型直方图；

图2示出分成4个相等填充的部分的图1的直方图；

图3是与图2对应的校正函数的曲线，并具有均匀间隔的最终柱索引；

图4和5示出公式(3)、(4)和(5)如何将图3的校正函数变换成经修正的校正函数；

图6是在利用经修正的校正函数变换后的有效区亮度分量值的直方图；

图7是本发明的系统的部分高层框图。

优选实施例的描述

本发明是用于增强数字图像的对比度的直方图均衡化的方法。具体地，本发明可用于增强视频流的各帧的对比度。

参考附图及描述可更好地理解根据本发明的对比度增强的原理和操作。

如上所述，本发明适用于彩色图像和单色图像。然而，本文所述的优选实施例是彩色图像实施例。输入图像具有三个颜色坐标：一个亮度分量和两个色度分量。使用这种分量的常见颜色坐标系包括YUV坐标系、YPrPb坐标系、Luv坐标系以及Lab坐标系。诸如RGB之类的其它坐标系统的输入图像在本发明的方法应用到该图像之前必须被转换成亮度-色度坐标系。本文的讨论采用YUV作为亮度-色度坐标系一个例子。本领域的技术人员将清楚如何将本发明应用到任何其它的亮度-色度坐标系。假设亮度分量Y的值是区间[0，N]中的整数。在下文中，符号“Y_i，j”用于指示在图像坐标(i，j)处像素的亮度分量值，而“y”一般用于指示亮度分量值。

除输入图像外，本发明的方法还接收五个另外的输入参数：有效区A、直方图分辨率参数K以及三个对比度增益参数：C、α_D和α_L。

图像的有效区A是图像中其像素被用于导出直方图的部分。因数值上的效率而使用小于完整图像的“有效区”：期望像素的统计样本提供充分准确的直方图。该有效区未必是图像的单个连续部分。例如，通常提供良好的像素统计样本的一个“有效区”是每隔一行的每隔一个像素。

K是直方图中柱的数量。

C是限制本发明的方法适用的最大对比度增益率的参数。

α_D和α_L是分别确定应用于黑暗图像和光亮图像的对比度增益水平的参数。

本发明的算法包括三个主要的阶段。

在第一阶段中，针对位于有效区内的像素，累加亮度分量Y的直方图。如上所述，Y的值是区间[0，N]中的整数。直方图由K个柱组成，每个柱横跨n＝(N+1)/K个连续的亮度分量值。

在第二阶段，基于该直方图计算用于亮度分量的校正函数。将校正函数设计成使直方图“均衡化”，意思是校正函数将像素从直方图的密集填充区推向直方图的稀疏填充区。

在第三阶段，将校正函数应用到所有图像像素的亮度分量。[如果有什么区别的话，对色度分量做了什么？]当将本发明的方法应用到视频帧流时，使用一帧延迟使得每一个视频帧根据其自身的直方图来得到增强。

直方图累加

形式上，直方图的第k柱中有效区的填充密度是H_K＝#{(i，j)∶(i，j)∈A，Y_i，j∈{n(k-1)，n(k-1)+1，...n(k-1)+n-1}}。(符号#T的意思是“集合T的项数”。)直方图中像素的总数是 $S=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{H}_K.$

现在参考附图，图1示出分布在128个柱中的有效区像素的亮度分量的直方图的例子。

计算校正函数

首先，将直方图分成p个相等填充的部分，得到p+1个索引X₀至X_p，使得对于q∈[0，p-1]的所有值，直方图中以索引X_q和X_q+1为边界的部分中的像素的累加数约为S/p。形式上，X₀＝0，X_p＝K，并且对于1≤q＜p， $X_q=\underset{k}{\min }\underset{l=0}{\overset{k+1}{\mathrm{\Σ}}}{H}_l>\frac{\mathrm{qS}}{p}.$ 换言之，X_q是直到第k柱并包括第k柱的柱填充密度的和超过qS/p的最小的整数k。图2示出分成4个相等填充的部分的图1的直方图。在所附权利要求中，索引{X_p}被称为“初始柱索引”。

本发明的概念上的目的是以移动索引{X_q}使得它们变得均匀地间隔的方式来调节图像像素的亮度分量。所以对于每一个索引X_q，相应的“概念上理想的”索引Y_q是qK/p。索引{Y_q}是所附权利要求书中称为“最终柱索引”的例子。索引{X_q}和{Y_q}定义了连续的分段线性函数：

对X_q＜y≤X_q+1， $Y\left(y\right)=Y_q+\frac{Y_{q+1}-Y_q}{X_{q+1}-X_q}(y-X_q).---\left(1\right)$

该函数具有对于所有的q∈[0，p]，Y(X_q)＝Y_q的性质。图3示出从图2的直方图导出的这个函数的曲线10。图3中最左下方的点是(X₀，Y₀)＝(0，0)。图3中最右上方的点是(X₄，Y₄)＝(128，128)。其它三个点是(X₁，Y₁)＝(17，31.75)，(X₂，Y₂)＝(21，63.5)以及(X₃，Y₃)＝(31，95.25)。Y₁、Y₂和Y₃的值接近完美平坦直方图可获得的值(32，64，96)。

经修正的校正函数

上述均匀间隔的Y_q-s尽管在概念上是理想的，但通常产生在审美上不能令人满意的图像。因此，本发明提供了参数C、α_D和α_L以产生在审美上更加令人满意的图像的方式来修正初始的柱索引{X_q}和均匀间隔的最终柱索引{Y_q}。具体地，将初始的柱索引修正如下：

$\stackrel{\‾}{X_q}=X_q+\frac{\mathrm{PC}-\mathrm{\Δ}}{P-\mathrm{\Δ}}(\mathrm{qP}-X_q)---\left(2\right)$

其中 $\mathrm{\Δ}=\underset{q=0,...p-1}{\min }(X_{q+1}-X_q),$ P＝K/p并且 $\mathrm{\α}=(1-\frac{X_{p/2}}{K+1}){\mathrm{\α}}_D+\frac{X_{p/2}}{K+1}{\mathrm{\α}}_L.$ 相应的最终柱索引是

$Y_q=\mathrm{qP\α}+\stackrel{\‾}{X_q}(1-\mathrm{\α})---\left(3\right)$

对应的分段线性函数的斜率比公式(1)的函数的斜率浅，使得经修正的柱索引

比初始的柱索引更均匀地间隔，而最终柱索引{Yq}尽管不是均匀间隔的，但也比初始柱间隔更均匀间隔。

应用校正函数

公式1需要被修正以顾及亮度分量的范围是区间[0，N]而不是区间[0，K]的事实。用于将初始亮度分量值y变换成最终亮度分量值

的经修正的公式是：

对nX_q＜y≤nX_q+1， $\tilde{y}={\mathrm{nY}}_q+\frac{Y_{q+1}-Y_q}{X_{q+1}-X_q}(y-{\mathrm{nX}}_q).---\left(4\right)$

在所附权利要求书中X_q、y和X_q+1之间的这种关系被称为由X_q和X_q+1“括住”y。注意，所得的最终亮度分量值

由Y_q和Y_q+1括住： ${\mathrm{nY}}_q<\tilde{y}\&le;{\mathrm{nY}}_{q+1}.$

使用的经修正的柱索引将初始亮度分量值y变换成最终亮度分量值

的相应公式是：

对nX_q＜y≤nX_q+1， $\tilde{y}={\mathrm{nY}}_q+\frac{Y_{q+1}-Y_q}{{\stackrel{\&OverBar;}{X}}_{q+1}-{\stackrel{\&OverBar;}{X}}_q}(y-{n\stackrel{\&OverBar;}{X}}_q).---\left(5\right)$

如果对于任何特定的像素，从YUV坐标到RGB坐标的变换产生非法的R、G或B分量的值，则将该非法值移动到最近的合法值。

图4示出公式(3)如何修正曲线10以给出经修正的曲线20。图5示出公式(4)和(5)如何修正曲线20以给出进一步修正的曲线30。所使用的C、α_D和α_L的值是C＝2.5、α_D＝0.55以及α_L＝0.65。曲线20的三个中间点是 $({\stackrel{\&OverBar;}{X}}_1,Y_1)=\left(\mathrm{22,31.75}\right),$ $({\stackrel{\&OverBar;}{X}}_2,Y_2)=\left(\mathrm{35,63.5}\right),$ $({\stackrel{\&OverBar;}{X}}_3,Y_3)=(52,95.25).$ 曲线30的三个中间点是 $(2{\stackrel{\&OverBar;}{X}}_1,\tilde{y}\left(Y_1\right))=\left(\mathrm{44,55}\right),$ $(2{\stackrel{\&OverBar;}{X}}_2,\tilde{y}\left(Y_2\right))=\left(\mathrm{70,102.5}\right),$ $(2{\stackrel{\&OverBar;}{X}}_3,\tilde{y}\left(Y_3\right))=(104,154).$ 注意，图5的比例是相对于图3和图4的两倍，因为在该示例中n＝2。图5中的曲线20’被相应地重新确定比例。曲线30中所述的变换比基于曲线10的类似的变换更加缓和地修正输入亮度分量值。图6示出在根据曲线30的变换后有效区像素的亮度分量的直方图。

图7是本发明用于接收数字图像、增强数字图像的对比度以及显示增强的图像的系统40的部分高层框图。系统40包括用于从诸如摄像机之类的外部设备接收图像的接口42、用于存储图像的随机存取存储器(RAM)46、用于存储实现如上所述的本发明的方法的可执行代码的只读存储器(ROM)48、用于执行存储在ROM 48中的代码以增强存储在RAM 46中的图像的对比度的处理器44以及用于显示对比度增强的图像的监视器50。

在系统40中，有效区以及参数C、α_D和α_L的值的定义在存储于ROM 48中的代码中硬连线。本发明的可供选择的系统包括用于控制这些参数的用户接口。

尽管已参考有限数量的实施例描述了本发明，但将意识到可对本发明进行很多改变、修改和其它应用。

Claims (24)

1.一种用于对包括多个像素并且每一个像素都具有一个各自的初始亮度值和两个各自的初始色度值的图像调节所述初始亮度值的方法，包括以下步骤：

(a)形成至少一部分像素的所述初始亮度值的直方图；

(b)计算将所述直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引；

(c)将所述多个初始柱索引映射到比所述初始柱索引更均匀间隔的多个最终柱索引；以及

(d)根据所述最终柱索引调节所述初始亮度值，从而获得对于每一个像素的各自的最终亮度值。

2.如权利要求1所述的方法，其特征在于，所述直方图是仅利用一部分所述像素的初始亮度值形成的。

3.如权利要求1所述的方法，其特征在于，所述最终柱索引是相等间隔的。

4.如权利要求3所述的方法，其特征在于，根据所述初始柱索引调节所述初始亮度值。

5.如权利要求4所述的方法，其特征在于，通过以下步骤调节每一个所述初始亮度值：

(i)确定括住所述每一个初始亮度值的一对所述初始柱索引；以及

(ii)将所述每一个初始亮度值变换成相应的最终亮度值，所述最终亮度值由对应于所述一对初始柱值的一对所述最终柱索引括住。

6.如权利要求5所述的方法，其特征在于，所述变换是分段线性的。

7.如权利要求1所述的方法，其特征在于，所述最终柱索引是后验确定的。

8.如权利要求7所述的方法，其特征在于，所述映射包括修正所述初始柱索引，从而获得比所述初始柱索引更均匀间隔的相应的多个经修正的柱索引，然后根据所述经修正的柱索引调节所述初始亮度值。

9.如权利要求8所述的方法，其特征在于，通过以下的步骤调节每一个所述初始亮度值：

(i)确定括住所述每一个初始亮度值的一对所述经修正的柱索引；以及

(ii)将所述每一个初始亮度值变换成相应的最终亮度值，所述最终亮度值由对应于所述一对经修正的柱值的一对所述最终柱索引括住。

10.如权利要求9所述的方法，其特征在于，所述变换是分段线性的。

11.一种用于对包括多个像素并且每一个像素都具有各自的初始值的图像调节所述初始值的方法，包括以下步骤：

(a)形成至少一部分像素的所述初始值的直方图；

(b)计算将所述直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引；

(c)将所述初始柱索引映射到比所述初始柱索引更均匀间隔的多个最终柱索引；以及

(d)根据所述最终柱索引调节所述初始值，从而获得对于每一个像素的各自的最终值。

12.如权利要求11所述的方法，其特征在于，所述直方图是仅利用一部分所述像素的初始值形成的。

13.如权利要求11所述的方法，其特征在于，所述最终柱索引是相等间隔的。

14.如权利要求13所述的方法，其特征在于，根据所述初始柱索引调节所述初始值。

15.如权利要求14所述的方法，其特征在于，通过以下步骤调节每一个所述初始值：

(i)确定括住所述每一个初始值的一对所述初始柱索引；以及

(ii)将所述每一个初始值变换成相应的最终值，所述最终值由对应于所述一对初始柱值的一对所述最终柱索引括住。

16.如权利要求15所述的方法，其特征在于，所述变换是分段线性的。

17.如权利要求11所述的方法，其特征在于，所述最终柱索引是后验确定的。

18.如权利要求17所述的方法，其特征在于，所述映射包括修正所述初始柱索引，从而获得比所述初始柱索引更均匀间隔的相应的多个经修正的柱索引，然后根据所述经修正的柱索引调节所述初始值。

19.如权利要求18所述的方法，其特征在于，通过以下的步骤调节每一个所述初始值：

(i)确定括住所述每一个初始值的一对所述经修正的柱索引；以及

(ii)将所述初始值变换成相应的最终值，所述最终值由对应于所述一对经修改的柱值的一对所述最终柱索引括住。

20.如权利要求19所述的方法，其特征在于，所述变换是分段线性的。

21.一种系统，包括：

(a)用于存储包括多个像素并且每一个像素都具有各自的值的图像的存储器；以及

(b)处理器，用于：

(i)形成至少一部分所述像素的所述值的直方图；

(ii)计算将所述直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引；

(iii)将所述初始柱索引映射到比所述初始柱索引更均匀间隔的多个最终柱索引；以及

(iv)根据所述最终柱索引调节所述值。

22.如权利要求21所述的系统，其特征在于，所述图像是单色图像

23.如权利要求21所述的系统，其特征在于，所述图像是彩色图像，所述值是初始亮度值。

24.一种计算机可读存储介质，所述计算机可读存储介质上体现了计算机可读代码，所述计算机可读代码用于处理包括多个像素并且每一个像素都具有各自的值的图像，所述计算机可读代码包括：

(a)用于形成至少一部分所述像素的所述值的直方图的程序代码；

(b)用于计算将所述直方图分割成具有基本相等的填充密度的多个柱的多个初始柱索引的程序代码；

(c)用于将所述初始柱索引映射到比所述初始柱索引更均匀间隔的多个最终柱索引的程序代码；以及

(d)用于根据所述最终柱索引调节所述值的程序代码。

Images