CN1669335A - 非线性图像处理 - Google Patents

Abstract

本发明为显示装置提供了一种图象处理的方法，其特征在于处理输入图象信号(R，G，B)的措施是非线性方式，从而为装置生成输出图象信号(R’，G’，B’)，该非线性处理对输入图象信号(R，G，B)的参数(Y，S，H)作出回应。

Description

非线性图像处理

本发明涉及图像信号处理，而且特别是，但是并不限于，适应图像质量的改善。

虽然当前已经存在着高质量的显示设备，用来显示视频的、或计算机生成的，等等之类图像，然而仍存在着局限，特别是对于数码显示，例如LCD显示板和监视器。因而人们认识到，图像质量的改进还有巨大的空间，而且意识到通过实现增加色饱和度可以大大改善图像质量。但是，显示设备一般都显现有某种最大的可接受饱和值，同时还发现，当显示图像的某区域有某特定色，可能正处于或接近于它的最大饱和值，而其他颜色的另外区可能仍低于该最大值。

而且还有，特别是通行的数字LCD监视器，相对而言，用户几乎不能对画面进行调节。最常见的是图像反差和亮度可以调节，而饱和度、色调、色温较少是可调的。在这类数码显示中，每个像素由三个一组的值驱动，其中每一个代表三种颜色红、绿、蓝之一的强度。然而，由于用于表示各颜色值的比特数是有限的，可能的驱动值也是有限的。例如24比特LCD显示屏，每种颜色可以被包括在0至255范围内的任意值驱动。因而，如果通过某种形式图像处理，或者甚至是用户控制，试图将输出增加至最大允许值之上，将导致剪削效应，使得所有阈以上的驱动水平以同一值，即最大饱和值来表示。于是，输入图像信号里十分清晰呈现的某些图像细节，由于这种剪削效应，通过饱和水平的混合而丢失了。

本发明的一个目的是提高图像。本发明由独立权利要求确定，从属权利要求确定有利的实施方案。

依据本发明的一个方面，输入图像信号的非线性处理方法的特征是：非线性处理是对输入图像信号的色调值作出回应。

特别有利的是，该处理可以用于限制、或者甚至避免输出信号的任何剪削。其实现的方法是：将饱和增加至某最大水平，而此时剪削尚未发生。除了其他的因素，使用色调值确定此最大水平。

本发明具有的优点是，例如，由于表现低饱和水平图像区较表现高饱和水平图像区增加更多的色饱和度，从而能够在避免损失图像细节的情况下，控制输出图像信号的色饱和度。因而前面讨论的剪削效应将得以方便地避免。

输入参数值组最好包含饱和值，因为饱和度的增加将大大提高待显示的图像。

另外，可以实施对亮度值的调配。通过恰当地搭配饱和值以及亮度值的调配，图像将不会有意外的色变。

非线性处理的简单方法是将参数值提升到特定的幂。通过选择依赖于色调值的幂，非线性处理照应到了输出图像信号不表现出剪削效应(或可忽略不计)。

在饱和值非线性处理过程中，考虑到最大饱和值S_max，非线性处理还可以进一步精细化(例如，其观点是：最大化饱和度，从而避免或弱化剪削效应)。

如果最大饱和值S_max取决于色调值，或者输出参数值相应于亮度(最好是取决于色调值以及输出亮度值两者)，情况比较有利。

也可以使非线性处理中的幂取决于图像内容，以输入参数值的一个或多个组的直方图表示。这将进一步精细化，以这种方式调配非线性处理：例如，饱和度继续提高而剪削效应更加减弱。

对于输入图像信号代表实时视频信息的情况，视频信息可以看成是图像序列。每个图像有其自身的直方图。依据直方图的内容，直接地对幂进行调配，或者是另外的方式，可以应用较平稳的变化，即通过基于幂改变的若干图像的平均(低通过滤)，调配幂。这样，图像之间幂突发的巨大改变所引起的无规性将得以避免。

因而，应该认识到，根据本发明，显示画面里各个像素的饱和度以及(或者)亮度可以以非线性方式修改，其作用是：对于输入图像信号具有较低的饱和值，将引起巨大的改进，对于输入信号的饱和值接近其最大限，将引起小一些的改进，而对于已经具有最大饱和值的输入信号，将没有变化。

本发明的上述情况以及其他方面被表示在附图中，并且将参照附图进行说明：

图1是具体实施本发明一般概念的系统的基本方框图；

图2是示意性方框图，较细致地表现图1中的系统；

图3是示意性方框图，表现图2中非线性饱和度处理方块的一种特定实施方案；

图4是图2里非线性亮度处理方块的示意性方框图；

图5a是对于给定色调，最大饱和度与亮度的图形表示；

图5b至5d显示中间参数的恰当值。

图6a和6b包括图2中饱和限度评估方块里硬件实施的示意性方框图；和

图7显示幂γ_h的恰当值。

图8显示其他幂γ_γ的恰当值。

图1是某系统10的一般性方框图。按照本发明的一个实施方案，它被安排来驱动显示装置。它含有一个非线性处理引擎12，用于接收红、绿、蓝输入图像信号14，并且，一旦处理，就为LCD屏之类的显示装置输出红、绿、蓝输出图像信号16。非线性处理引擎12的运行受到微处理器18的控制，而它自身对来直方图评估器20的信号作出反应，并且对红、绿、蓝输入图像信号14或源自这些信号的参数(没有绘出)进行取样。在这个图示的例子里，直方图评估器20对输入图像信号的亮度、饱和度和色调值进行工作，还将进一步表示在图2的说明中。当然，这些图所显示的只不过是本发明具体实施的一种可能。图像信号14表示由象素的行、列矩阵组建的图像。红、绿、蓝输出图像信号14、16包含了图像里各象素中红、绿、蓝成分的数字格式信息。对于实时视频信号的情况，这些信号被当作图像序列处置。本处理可以应用于这些图像中的各个图像。

图2相当详细地显示了图1的一种可能的实施方案，下面将依次讨论其中显示的各个处理方块。

第一个转换器方块22用于将红R、绿G和蓝B输入图像信号14转换为亮度Y、色调H和饱和度S参数值。

在图示的实施方案里，此方块可以按功能分割为两个次方块，即通过矩阵完成的线性变换，接着是一个非线性方块。

借助线性方块，根据下式，对全部象素计算亮度Y和色度坐标C_r、C_b：

$\left[\begin{array}{c}Y\\ C_r\\ C_b\end{array}\right]=\left[\begin{array}{c}{a}_{11}{a}_{12}{a}_{13}\\ a_{21}{a}_{22}{a}_{23}\\ a_{31}{a}_{32}{a}_{33}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right],$

其中矩阵a_ij由一组预定的参数组成，它取决于待驱动的显示装置的色坐标。此计算可以在硬件里执行，对于每行，用三个乘法器和三个加法器。

于是，对于每个象素，饱和度S和色调值H由以下公式决定：

                 S＝(C_r ²+C_b ²)^

                 H＝tan(C_r/C_b)。

这些功能可以用几种方式实现，例如用LUT(Look Up Table，查询表)，以及(或者)用硬件内插器。

非线性饱和度处理方块24被安排用于从转换器22接收最大饱和值S_max和饱和度值。下面将解释对某象素确定其最大饱和值S_max的方法。在图示的实施方案里，应用了gamma函数形式的非线性函数，如下：

$S^{\′}=S_{\max }{(S/S_{\max })}^{{\mathrm{\γ}}_h},$

这里S’是相应于饱和的输出图像信号16的输出参数，γ_h是该非线性处理中使用的幂。

变换函数可以重写成这种形式：

$S^{\′}=2^{{\mathrm{\γ}}_h[{\log }_2\left(S\right)-\mathrm{lo}{g}_2\left(S_{\max }\right)]+{\log }_2\left(S_{\max }\right)}$

此函数可以有几种方式实现，例如用LUT和乘法器。一种可能的实施方案表示在图3中。

首先，饱和度S和最大饱和值S_max的对数在各自的对数方块302、301里确定。其结果再在减法器303里相减。减法器303的输出，Log₂(S)-Log₂(S_max)，在乘法器304里乘以幂γ_h。乘法器304的输出在加法器305里与方块301的输出Log₂(S_max)相加。加法器305的输出被用作指数方块306的幂，在其中将数2提升到此幂。出现在指数方块306输出处的结果，就是输出饱和值S’。

饱和限度评估方块34接收来自转换器22的色调值H以及来自亮度处理方块32的亮度值Y’。

图5a里的线条表现了给定色调值H的情况下，最大饱和值S_max与亮度值Y之间的典型关系。中间参数m₁、m₂和Y_t都是色调值H的函数。这些值可以容易地从LUT得到。中间参数m₁、m₂被定义为图5a中各自角度α₁和α₂的正切：

m₁＝tg(α₁)

m₂＝tg(α₂)

图5b，5c，5d中对各中间参数m₁、m₂和Y_t提供了恰当值。这些恰当值在某情况已经实验地得到，那里输入参数值能够以8比特数字格式得到(得自256个可能的不同值)，而且矩阵a_ij由以下值构成：

a₁₁＝66     a₁₂＝129    a₁₃＝25

a₂₁＝-38    a₂₂＝-74    a₂₃＝112

a₃₁＝112    a₃₂＝-94    a₃₃＝-18

当应用此矩阵a_ij，最小亮度值Y_min(见图5a)等于零，而最大亮度值Y_max达到220。

饱和限度评估方块34的一种可能的硬件实现方框图见图6a。第一分支利用第一减法器601和第一乘法器602计算函数(Y_max-Y’)*m₂。第二分支利用第二减法器603和第二乘法器604计算函数(Y’-Y_max)*m₁。比较器605确定Y’是大于还是小于Y_t。如果Y’大于Y_t，多路器606选择(Y_max-Y’)*m₂作为输出。如果Y’小于Y_t，多路器606选择(Y’-Y_min)*m₁作为输出。以这种方式，多路器606的输出相当于所需的、作为输出亮度值Y’的函数的最大饱和值S_max，如图5a表示的。

中间参数m₁、m₂和Y_t从LUT可以获得，而它接收色调值H作为输入(图6a里没有标出)。这些LUT包含如图5b、5c、5d中的线条显示的中间参数。

饱和限度评估方块34另一种可能的硬件实现的方框图见图6b。比较器610仍旧确定Y’是否大于Y_t：

-如果不大于，多路器611、612、615选择呈现在输入处的输入值为输出，如多路器611、612、615里面的点线标出的。

-如果大于，多路器611、612、615选择呈现在其他输入处的输入值。

其结果是，(Y’-Y_min)或(Y_max-Y’)将分别呈现在减法器613的输出处。

根据比较器610的输出，乘法器614将上面提到的减法器613的输出分别乘以m₁、m₂。

根据比较器610的输出，多路器615分别选择m₁、m₂。多路器614得到的输出又将是所需的最大饱和值S_max：

S_max＝(Y’-Y_min)m₁，如果Y’≤Y_t

S_max＝(Y_max-Y’)m₂，如果Y’＞Y_t

如前面提到的，中间参数可以从LUT得到。

γ_h的LUT方块26从转换器22接收色调值H。γ_h值可以包含色调的函数。以这种方式，有可能依据色调值H应用不同的色饱和处理。这可以采用LUT而很容易地实现。图7是一个例子，显示作为色调值H的函数，幂γ_h的恰当值。在色调值H的限定范围内，幂γ_h显现为较大的值(接近于一)。此限定范围包括，例如，相当于皮肤的颜色的、色调值H为145的附近。人眼对这类颜色是非常敏感的，而饱和度增加将得到“不自然的”图像。对这类皮肤色，通过减少非线性处理的级(选择幂接近于一)，可以避免此问题。在此限定范围以外，通过应用γ_h的值为，例如0.7，色彩将得到显著的“增进(boosting)”。

回到图2，非线性亮度处理方块32被安排接收来自转换器22的亮度值。

在此实施方案中，应用了采用其他幂γ_γ的非线性函数，其中提供亮度值Y’的函数是：

$Y^{\′}=Y^{{\mathrm{\γ}}_{\mathrm{\γ}}}$

变换函数可以重写成下列形式：

$Y^{\′}=2^{{\mathrm{\γ}}_{\mathrm{\γ}}\left[{\log }_{2}Y\right]}$

举例说，上面的函数可以用图4里的硬件方框图实现。输入亮度值Y的对数在对数方块401里确定。对数方块401的输出在乘法器402里被另外的幂γ_γ相乘。乘法器402的输出用作指数方块403里的幂，提升数2至此幂。出现在指数方块403输出处的结果，就是输出亮度值Y’。上述硬件方框图的另外替代方案是应用LUT。

在图2中，γ_γ的LUT方块28也从转换器22接收色调值H。γ_γ值也可以含有色调的函数，于是也可能依据色调值H应用不同的亮度处理。这可以通过适当的LUT方便地实现。图8是一个例子，显示作为色调值H的函数，其他幂γ_γ的恰当值。在色调值H(145附近)的限定范围内，其他幂γ_γ显现为接近于一。同样是，在此范围内，为避免不自然的皮肤颜色，非线性处理的级要降低(或者使为零)。在此范围以外，其他幂γ_γ的值最好是大于一，比方说1.2。

图2中，YHS对RGB的转换器30含有信号流支路里最后的一个方块，用于将输出参数值Y’、S’、H转换为输出图像信号R’G’B’。

此方块可以通过将非线性变换函数与其后的线性变换串联起来实现。前者用来从输出饱和值S’和色调值H得到输出色度坐标C_r’、C_b’，后者是将这些坐标转换为输出图像信号R’、G’、B’。

计算输出坐标C_r’、C_b’的公式是：

C_r’＝S’sin(H)    C_b’＝S’cos(H)

函数sin(H)和cos(H)可以通过查询表和内插得到。

另外，输出图像信号R’、G’、B’的值可以将合适的矩阵b_ij乘以Y’、C_r’、C_b’进行计算，如下式：

$\left[\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right]=\left[\begin{array}{c}{b}_{11}{b}_{12}{b}_{13}\\ b_{21}{b}_{22}{b}_{23}\\ b_{31}{b}_{32}{b}_{33}\end{array}\right]\left[\begin{array}{c}{Y}^{\′}\\ {C_r}^{\′}\\ {C_b}^{\′}\end{array}\right],$

其中矩阵b_ij含有一组取决于显示装置色坐标的预定参数。对每个矩阵行，函数需要三个乘法器和三个加法器。

也可以让非线性处理依赖于图像输入参数值Y、S、H的分布。此分布可以用直方图评估器20进行评估，如图2所显示。评估器20接收输入参数值Y、S、H，并确定图像某区域中(一个“窗口”)(或者整个图像中)输入值Y、S、H的组合(三重)发生数。

依据分布，通过微控制器18，幂γ_γ和γ_h可以分别在γ_γ LUT28和γ_h LUT26里进行调配。其结果是，非线性处理的级可以调配得与分布无关。由于主要目的是对给定的色调值H，调配图像某区域的色饱和度，采用的合适参数是平均饱和度值 S(Y)|_H，它是输入亮度值Y的函数。

作为输入亮度值Y的函数的平均饱和度值 S(Y)|_H，可以从直方图Ω(Y，H，S)按下式推出：

$\stackrel{\‾}{S}\left(Y\right){|}_H=\underset{i}{\mathrm{\Σ}}{S}_i\mathrm{\Ω}{|}_H(Y,S_i),$

这里Ω_H是给定色调值H的直方图，i是可能输入饱和度值S’范围的指数，S_i是第i个可能的输入饱和度值。对于8比特数字输入图像信号，i的范围是256。

考虑到权重因子W(Y，H)，可以进行精细化。权重因子用来衡量对于给定输入亮度值Y，依赖于最大可能饱和度值的平均饱和度 S(Y)|_H值。

考虑到权重因子W(Y，H)，加权的平均饱和度值成为：

${\stackrel{\‾}{S}}^{\′}\left(Y\right){|}_H=W(Y,H)\stackrel{\‾}{S}\left(Y\right){|}_H=\frac{\stackrel{\‾}{S}\left(Y\right){|}_H}{S_{\max }(Y,H)}$

作为随后的一步，参数ψ|_H，代表对于给定色调值的情况，加权平均色调饱和值，可以从以下表达式计算：

$\mathrm{\ψ}{|}_H=\underset{j}{\mathrm{\Σ}}{Y}_j{\stackrel{\‾}{S}}^{\′}\left(Y_j\right){|}_H,$

其中j是可能输入亮度值Y的范围的指数。

与图像某区域相关的加权平均色调饱和值ψ|_H，通过调配幂γ_h，可以用来调配非线性处理的级。

对于图像里改变区域，或者改变图像的视频信息，ψ|_H的值是对视频信息的每个图像进行确定。ψ|_H的当前值与用户可调节的目标值ψ_T|_H相比较。

如果当前值ψ|_H偏离了目标值ψ_T|_H，与两个值之差成正比的误差信号被用来调配幂γ_h。在误差信号上施行低通过滤，由于视频信息改变造成幂γ_h的突发变化将得到避免。

以这种方法，当输出图像信号显示在显示设备的时候，干扰效应可以避免。

应该注意的是，上述具体实施方式是为了说明而不是限制本发明，本领域的技术人员能够设计出许多替代的实施方案而不偏离后面所附权利要求的范围。在权利要求中，任何放置在括号之内的参考标记都不应该解释为对权利要求的限制。动词“包含”及其相关变体都不排除除了权利要求中说明的之外还有另外的成分和步骤。成分前面的冠词”a”或”an”都不排除存在着该成分的复数。本发明可以利用含有若干不同元件的硬件实现，也可用合适的编程的计算机实现。在装置权利要求列举的若干方法中，这些方法的几个可以用一个和同样项目的硬件具体实施。若干方法在不同的相互非独立的权利要求中陈述一事并不表明这些方法的组合不能更有效地利用。

Claims (12)

1.一种输入图像信号(R，G，B)的至少一组输入参数值(Y，S，H)的非线性处理方法，使得产生具有输出参数值(Y’，S’，H’)的输出图像信号(R’，G’，B’)，其特征在于该非线性处理是对输入图像信号(R，G，B)的色调值(H)作出反应。

2.如权利要求1的方法，其中非线性处理涉及确定依赖于色调值(H)的幂γ_h的步骤，以及将与饱和度相关的输入参数值S提升至幂γ_h。

3.如权利要求2的方法，还包含基于由输入参数值(Y，S，H)导出的直方图数据调配幂γ_h的步骤。

4.如权利要求1的方法，其中非线性处理涉及确定依赖于色调值(H)的幂γ_γ的步骤，以及将与亮度相关的输入参数值(Y)提升至幂γ_γ。

5.如权利要求4的方法，还包含基于由输入参数值(Y，S，H)导出的直方图数据调配幂γ_γ的步骤。

6.如权利要求2的方法，其中与饱和度相关的输入参数值S的非线性处理取决于最大饱和值S_max。

7.如权利要求6的方法，其中最大饱和值S_max取决于色调值(H)。

8.如权利要求6的方法，其中最大饱和值S_max取决于与亮度相关的输出参数值(Y’)。

9.如权利要求6的方法，其中与饱和度相关的输出参数值S’实质上由以下方程式确定：

     S′＝S_max(S/S_max)^γh

10.如权利要求3的方法，其中对于预定的色调值(H)，基于表示图像窗口中像素的输入图像信号的加权平均饱和度值，对幂γ_h进行了调配。

11.如权利要求10的方法，其中对于预定的色调值(H)，依据当前和/或先前窗口的直方图数据，对当前窗口的幂γ_h进行了调配。

12.一种含有图像处理电路的设备，用于实现权利要求1的方法。

Images