CN102063703A - 用于增强输入图像的系统、图像显示系统和用于图像增强的方法 - Google Patents

Abstract

本发明的方面涉及一种用于增强输入图像的系统、图像显示系统以及用于在低对比度观看条件下提高液晶显示器(LCD)上的内容可见性的方法。根据本发明的一个方面，关键特征估计器可以估计与输入图像相关联的关键特征图，亮度提升器可以通过提升输入图像的亮度来形成增亮图像。增强图像可以通过组合与输入图像相关联的关键特征图和输入图像的亮度提升版本来形成。该效果是通过边缘加亮和图像增亮，来提高低对比度观看条件下图像的感知对比度、可见性以及可理解性。

Description

用于增强输入图像的系统、图像显示系统和用于图像增强的方法

技术领域

本发明实施例总体上涉及图像增强，具体涉及一种用于增强输入图像的系统、图像显示系统以及用于在低对比度观看条件下提高液晶显示器(LCD)上的内容可见性的方法。

背景技术

例如，由于眼疲劳，低对比度观看条件会对LCD设备(例如，LCD电视、LCD移动设备以及包括LCD显示器的其他设备)的用户的观看体验产生负面影响。

当在迅速(aggressive)功率降低模式中使用设备时，会出现低对比度观看条件，其中，LCD背光功率级急剧降低，使得图像/视频内容看起来较暗，并且对于观看者几乎不可见。图像/视频的对比度会极大降低，或者在某些情况下，固定在黑色，并且可以传递重要场景内容的许多图像特征会降至可见阈值以下。

当在强环境光(例如，直射阳光)下观看LCD显示器时，也会引起低对比度观看条件。在这些情况下，观看者可以感知到的最小显示亮度可能因周围的强环境光而提高。图像/视频中应当亮的地方会看起来“褪了色”，并且图像/视频在较暗的区域看起来无特征。

对于上述两种低对比度观看情况，以及其他低对比度观看情况，图像/视频的色调动态范围被压缩，并且图像对比度极大降低，从而劣化了用户的观看体验。由于日益增加的对降低能量成本的消费关注以及对设备移动性的要求，期望提供改善的数字图像和视频质量，以增强低对比度观看条件下的观看体验。

在以下参考文献中示出了数字图像和视频质量的这种改善：例如，S.Takafumi和T.Takahashi的“Comprehensible rendering of 3-D shapes，”pp.197-206，SIGGRAPH(1990)；G.Winkenbach和D.H.Salesin的“Computer generated pen-and-ink illustration，”Proc.of SIGGRAPH 2000，pp.91-100(1994)；M.Nienhaus和J.Doellner的“Edge-enhancement-an algorithm for real-time non-photorealistic rendering，”Journal of WSCG，Vol.11，No.1，pp.346-353(2003)；D.E.Pearson和J.A.Robinson的“Visual communication at very low data rates，”Proceedings of the IEEE，Vol.73，No.4(1985)；以及D.DeCarlo和A.Santella，A的“Stylization and abstraction of photographs，”In Proceedings of.SIGGRAPH，pp.769-776(2002)。

然而，所有这些传统技术具有以下问题：

传统技术不能解决“低对比度观看条件下的低图像可见性”的特定问题。因此，传统技术所处理的图像在低对比度观看条件下仍不可用或可理解。

传统技术不能使图像增亮，因此在低对比度观看条件下观看图像对比度时，图像对比度仍较低。

传统技术在形成增强图像时没有考虑背光功率级、环境光级以及图像内容。因此，传统技术所产生的图像在低对比度观看条件下不可观看或不可理解。

发明内容

本发明的一些实施例包括用于在对比度观看条件下提高液晶显示器(LCD)上的内容可见性的方法和系统。

根据本发明的一个方面，公开了一种用于增强输入图像的系统。该系统包括：关键特征估计器，用于估计与输入图像相关联的关键特征图像，也被称作关键特征图；亮度提升器(booster)，用于产生与输入图像相关联的增亮图像；以及组合器，用于将关键特征图像和增亮图像进行组合，以形成增强的图像，所述增强的图像在被显示在LCD显示器上以及在低对比度观看条件下观看时可以呈现改善的内容可见性。关键特征图像可以在输入图像中识别存在大梯度和清晰的对象轮廓的像素。

根据本发明的另一方面，公开了一种用于增强输入图像的方法。该方法包括：接收输入图像；估计与输入图像相关联的关键特征图；通过提升输入图像的亮度来形成增亮图像；以及将关键特征图与增亮图像进行组合，以形成增强图像。

根据本发明的另一方面，公开了一种图像显示系统。该系统包括：输入图像接收器，用于接收输入图像；关键特征估计器，用于估计与输入图像相关联的关键特征图；亮度提升器，用于通过提升输入图像的亮度来形成增亮图像；组合器，用于将梯度图与增亮图像进行组合，以形成增强图像；以及显示器，用于显示增强图像。

在考虑以下结合附图进行的本发明的详细描述的情况下，将更容易理解本发明的上述和其他目标、特征和优点。

附图说明

图1是示出了在低背光功率观看条件下的示例图像的图；

图2是示出了在强环境光观看条件下的示例图像的图；

图3是示出了本发明的示例实施例的图，包括：用于提升输入图像的亮度级的亮度提升器、用于估计与输入图像相关联的关键特征图的关键特征估计器、以及用于将亮度提升后的图像与关键特征图进行组合的组合器；

图4是示出了本发明的示例实施例的图，包括梯度估计器，梯度估计器包括大空间模板(large-spatial-support)梯度计算器；

图5是示出了根据本发明实施例的在梯度计算中使用的与像素位置相关联的示例大空间模板的画面；

图6是示出了示例输入图像的画面；

图7是示出了针对图6所示示例输入图像、根据本发明实施例确定的未处理梯度图的画面；

图8是示出了根据本发明实施例的在图7所示未处理梯度图中抑制低幅度梯度之后的梯度图的画面；

图9是示出了根据本发明实施例的应用于图8所示示例梯度图、通过极性反向所产生的反梯度图的画面；

图10是示出了与图9所示反梯度图相关联的、根据本发明实施例产生的对比度增强梯度图的画面；

图11是示出了应用于图10所示示例对比度增强梯度图的梯度平滑的效果的画面；

图12是示出了本发明示例实施例的图，包括确定在发生裁剪时在是三个颜色通道上保持颜色比的亮度提升因子；

图13是示出了根据本发明实施例的在全功耗下图6所示示例输入图像的非真实感绘制(NPR)再现的画面；

图14是示出了根据本发明实施例的在2％功耗下图6所示示例输入图像的NPR再现的画面；

图15是示出了根据本发明实施例的在直射阳光下观看的图2所示示例输入图像的NPR再现的画面；以及

图16示出了本发明示例实施例的图，包括：用于提升输入图像的亮度级的亮度提升器、用于估计与输入图像相关联的关键特征图的关键特征估计器、用于将亮度提升后的图像与关键特征图进行组合的组合器、以及用于确定组合器所使用的混合参数的混合参数选择器。

具体实施方式

为了解决传统技术中所示的问题，本发明通过边缘加亮和图像增亮，在低对比度观看条件下改善了感知的对比度、可见性和可理解性。

本发明还使用图像增亮，确保在低对比度观看条件下观看时，图像对比度不低。

本发明还基于背光功率级、环境光级和图像内容形成增强图像。这确保所产生的图像在低对比度观看条件下可观看或可理解。

参照附图将更好地理解本发明的实施例，其中，贯穿附图类似的部件由类似的数字表示。可以将以上所列附图清楚地合并为该详细描述的一部分。

容易理解，这里附图中总体上描述和示意的本发明的组件应当按照各种不同配置来布置和设计。因此，本发明的方法和系统的实施例的以下更详细描述并不意在限制本发明的范围，而仅代表本发明的当前优选实施例。

本发明实施例的元件可以以硬件、固件和/或软件来实现。尽管这里揭示的示例实施例仅描述这些形式中的一种形式，但是应理解，本领域技术人员能够实现采用这些形式中的任何形式的这些元件，而同时保持在本发明的范围内。

例如，由于眼疲劳，低对比度观看条件会对LCD设备(例如，LCD电视，LCD移动设备以及包括LCD显示器的其他设备)的用户的观看体验产生负面影响。

当在迅速功率降低模式中使用设备时，会引起低对比度观看条件，其中，LCD背光功率级急剧降低，使得图像/视频内容看起来较暗，并且对于观看者几乎不可见。图像/视频的对比度会极大降低，或者在某些情况下，固定在黑色，并且可以传递重要场景内容的许多图像特征会降至可见阈值以下。图1示出了在操作于迅速功率模式降低下的设备上显示的示例图像10。

当在强环境光(例如，直射阳光)下观看LCD显示器时，也会引起低对比度观看条件。在这些情况下，观看者可以感知到的最小显示亮度可能因周围的强环境光而提高。图像/视频中应当亮的地方会看起来“褪了色”，并且图像/视频在较暗的区域看起来无特征。图2示出了在强环境光照(直射阳光)下利用移动电话观看的示例图像20。

对于上述两种低对比度观看情况，以及其他低对比度观看情况，图像/视频的色调动态范围被压缩，并且图像对比度极大降低，从而劣化了用户的观看体验。由于日益增加的对降低能量成本的消费关注以及对设备移动性的要求，期望提供改善的数字图像和视频质量，以增强低对比度观看条件下的观看体验。

关于图3描述的本发明的一些实施例可以利用非真实感绘制(NPR)技术加亮关键图像特征，来增加低对比度观看条件下的图像/视频特征的可见性。这些实施例中的一些可以包括图像增强系统30，图像增强系统30包括亮度提升器32、关键特征估计器34、组合器36以及码值映射器38。图像增强系统30可以接收输入图像31，并且可以使得输入图像31对于亮度提升器32和关键特征估计器34可用。在本发明的一些实施例中，输入图像31可以是彩色图像，例如，RGB图像。在备选实施例中，输入图像31可以是灰度级图像。输入图像31可以是静止图像或视频序列的帧。

亮度提升器32可以使用亮度保护技术来提升输入图像31的亮度，并且亮度提升器32可以产生可用于组合器36的增亮图像33。在本发明的一些实施例中，亮度提升器32可以基于与LCD背光相关的信息，来提升输入图像31的亮度，LCD背光与可以在其上显示增强图像的LCD显示器相关联。

关键特征估计器34可以根据输入图像31估计关键特征图像35(也被称作关键特征图)，并且可以使关键特征图像35可用于组合器36。

组合器36可以对增亮图像33和关键特征图像35进行混合，以形成使得可用于码值映射器38的混合图像37。码值映射器38可以通过将组合器36所产生的码值映射成适合于LCD的码值(例如，[0，255]的范围)，来形成关键特征加亮(KFH)图像39。在一些实施例中，可以使KFH图像39直接可用于LCD，以进行显示。KFH图像39也可以被称作NPR图像。

在关于图4描述的本发明的一些实施例中，关键特征估计器34可以包括低通滤波器40以及用于将输入图像的分辨率降低至允许近实时处理的分辨率的下采样器42(如果需要)。示例低通滤波器可以包括邻域像素值平均、高斯平滑、中值模糊滤波以及本领域中已知的其他低通滤波器。在本发明的一些实施例中，低通滤波器可以基于计算极限和/或系统资源来选择。示例下采样器可以包括图像行的移除、图像列的移除、双线性图像缩放、双三次图像缩放、高斯金字塔下采样器以及本领域已知的其他下采样器。在本发明的一些实施例中，下采样器可以基于计算极限和/或系统资源来选择。在备选实施例(未示出)中，关键特征估计器可以不降低输入图像的分辨率，因此可以不包括低通滤波器和下采样器。

可以使下采样图像43可用于双边滤波器44，双边滤波器44可以平滑纹理稀疏的区域。图像内对象的主要轮廓可以传递重要的图像信息，而纹理稀疏的区域在感知上对观看者不太重要。因此，双边滤波器可以用于移除不必要的梯度信息，而保留与对象轮廓相对应的关键边缘信息。

可以通过灰度级转换器46将双边滤波器的结果45转换成灰度级值，并且可以通过大空间模板梯度计算器对灰度级图像47执行梯度估计。常用的边缘检测器(例如，sobel算子、canny边缘检测器以及拉普拉斯算子)不能高效地检测与主要轮廓相关联的边缘。这些常用边缘检测器的使用可能导致主要对象轮廓上的断线。此外，可以在纹理稀疏的区域中检测次要边缘，这在KFH渲染中是不期望的。此外，使用常用边缘检测器之一产生的梯度图中的对象边界不是清晰的。本发明的实施例可以使用大空间模板来计算图像梯度，并且仅保留具有大梯度值的像素作为边缘像素。

在本发明的一些实施例中，大空间模板梯度计算器48可以包括用于根据从输入图像形成的灰度级图像来计算梯度图的梯度图计算器。梯度图计算器可以在梯度图计算中使用大规模空间模板。

在本发明的一些实施例中，大空间模板梯度计算器48可以包括水平梯度计算器和垂直梯度计算器。在灰度级图像47的每个像素处，水平梯度值可以由水平梯度计算器来确定，垂直梯度值可以由垂直梯度计算器来确定。可以基于与像素(第一像素)相关联的确定的水平梯度值和确定的垂直梯度值，来将梯度值分配给该像素。在一些实施例中，分配给像素的梯度值可以是与该像素相关联的水平梯度值和垂直梯度值中最大的一个。

在本发明的一些实施例中，可以通过在像素处计算相对于沿着所述像素左边和右边的每个方向的多个水平邻域的一阶导数，来确定与所述像素相关联的水平梯度值。这可以看作相对于第一像素位置的沿着第一水平方向的多个第一一阶导数以及沿着第二水平方向的多个第二一阶导数。可以将沿着每个方向的最大导数值加在一起，以形成与该像素相关联的水平梯度值。沿着第一水平方向的最大导数值是第一最大值，沿着第二水平方向的最大导数值是第二最大值。类似地，可以通过在像素处计算相对于沿着所述像素之上和之下的每个方向的多个垂直邻域的一阶导数，来确定与所述像素相关联的垂直梯度值。这可以看作相对于第一像素位置的沿着第一垂直方向的多个第三一阶导数，以及沿着第二垂直方向的多个第四一阶导数。可以将沿着每个方向的最大导数值加在一起，以形成与像素相关联的垂直梯度值。沿着第一垂直方向的最大导数值是第三最大值，沿着第二垂直方向的最大导数值是第四最大值。在本发明的一些实施例中，与方向(左、右、上、下)相关联的一维搜索窗的大小可以是三个像素。图5示出了其中一维搜索窗是三个像素的示例实施例的大空间模板。在该示例中，对于表示为的像素p₀ 80的像素，水平梯度值grad_H(p₀)可以根据以下公式来确定：

grad_H(p₀)＝

max[D¹(p₀，ph₁)，D¹(p₀，ph₂)，D¹(p₀，ph₃)]+max[D¹(p₀，ph_-1)，D¹(p₀，ph_-2)，D¹(p₀，ph_-3)]

并且垂直梯度值grad_V(p₀)可以根据以下公式来确定：

grad_V(p₀)＝

max[D¹(p₀，pv₁)，D¹(p₀，pv₂)，D¹(p₀，pv₃)]+max[D¹(p₀，pv_-1)，D¹(p₀，pv_-2)，D¹(p₀，pv_-3)]

其中，D¹(·，·)可以表示一阶导数，ph₁ 81、ph₂ 82和ph₃ 83是一维搜索窗中像素p₀ 80右边的像素，ph_-1 84、ph_-2 85和ph_-3 86是一维搜索窗中像素p₀ 80左边的像素，pv₁ 87、pv₂ 88和pv₃ 89是一维搜索窗中像素p₀ 80下边的像素，pv_-1 90、pv_-2 91和pv_-3 92是一维搜索窗中像素上边的像素。与像素p₀ 80相关联的最终未处理梯度值grad(p₀)可以根据以下公式来确定：

grad(p₀)＝max[grad_H(p₀)，grad_V(p₀)]

从而产生未处理梯度图49。

图6示出了示例输入图像100，图7示出了针对图6所示的示例图像100根据本发明的上述实施例确定的所获得的未处理梯度图110。在该示例中，使用三个像素搜索窗。

未处理梯度图49可以包含噪声细节。因此，可以使未处理梯度图49可用于低幅度梯度抑制器50，该抑制器50可以移除低幅度梯度。这提供了“估计关键特征图的”效果。在本发明的一些实施例中，低幅度梯度抑制器50可以包括比较器，该比较器根据以下公式将梯度幅度与阈值进行比较：

其中，T可以表示阈值，grad_suppress(p₀)可以表示低幅度梯度抑制的梯度图。在一些实施例中，可以将阈值设置为T＝5.0。在备选实施例中，低幅度梯度抑制器50可以包括零交叉检测器，并且可以在梯度图中保留与零交叉相关联的像素位置，而同时可以抑制非零交叉。图8示出了在图7所示的未处理梯度图110中通过阈值处理抑制低幅度梯度之后所获得的梯度图120。

可以使低幅度梯度抑制的梯度图51可用于梯度图极性反向器52，该该梯度图极性反向器52可以根据以下公式来使梯度极性反向：

grad_rev(p₀)＝offset-grad_suppress(p₀)

其中，offset可以表示与白背景相关联的偏移参数，grad_rev(p₀)可以表示反梯度图。在一些实施例中，可以根据经验确定参数offset。在一些实施例中，offset＝120。图9示出了应用于图8所示示例梯度图120的极性反向的结果130。

可以使反梯度图53可用于梯度对比度增强器54，梯度对比度增强器54可以改善(增强)反梯度图53的对比度，并且可以将梯度值映射至0到255的范围。在一些实施例中，梯度对比度增强器54可以根据以下公式来映射反梯度值：

${\mathrm{grad}}_{\mathrm{enhanced}}\left(p_0\right)=\left\{\begin{array}{cc}255,& {\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)=\mathrm{offset}\\ 0,& {\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)\&le;0\\ {\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)+\mathrm{shift},& 0<{\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)<\mathrm{offset}\end{array}\right.$

其中，shift可以表示对比度偏移，grad_enhanced(p₀)可以表示对比度增强梯度图。在本发明的一些实施例中，可以根据经验确定参数shift。在一些实施例中，shift＝120。

在本发明的一些实施例中，梯度对比度增强器54可以根据以下公式产生二进制梯度图：

${\mathrm{grad}}_{\mathrm{enhanced}}\left(p_0\right)=\left\{\begin{array}{cc}255,& {\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)=\mathrm{offset}\\ 0,& {\mathrm{grad}}_{\mathrm{rev}}\left(p_0\right)<\mathrm{offset}\end{array}\right.$

图10示出了应用于图9所示示例反梯度图130的梯度对比度增强的结果140。这提供了“形成增亮图像”的效果。

可以使对比增强梯度图55可用于梯度平滑器56，梯度平滑器56可以模糊前景边缘与白背景之间的边界，并且可以连接断线。在本发明的一些实施例中，梯度平滑器56可以包括高斯低通滤波器，以平滑梯度-对比度增强梯度图中的梯度。在一些实施例中，高斯低通滤波器的核大小可以是3x3。图11示出了应用于图10所示示例对比度-增强梯度图140的梯度平滑的结果150。

可以使平滑后的梯度图57可用于上缩放器58，上缩放器58可以将平滑后的梯度图57缩放(上缩放)至原始输入图像分辨率。可以使上缩放的梯度图59可用于梯度图偏移器60，梯度图偏移器60可以将梯度图的背景偏移至零。在一些实施例中，梯度图偏移器60可以从上缩放的梯度值中减去255，以将背景偏移至零。使从特征估计34所获得的关键特征图61可用于组合器36。

在关于图3描述的本发明的一些实施例中，亮度提升器32可以使用线性缩放因子(也被称作缩放因子、提升因子、增亮因子以及亮度提升因子)来提升输入图像31的亮度。在这些实施例中的一些实施例中，可以确定线性缩放因子，使得在预定百分比背光调光下根据以下公式来保留亮度：

$S={\left(\frac{1}{{\mathrm{BL}}_{\mathrm{reduced}}}\right)}^{\frac{1}{\mathrm{\&gamma;}}}$

其中，S可以表示缩放因子，BL_reduced可以表示背光调光的百分比，γ可以表示LCD系统伽马。在一些实施例中，BL_reduced可以是预定固定百分比，例如百分之十五。在备选实施例中，可以基于图像内容自适应地确定缩放因子S。在这些实施例中的一些实施例中，可以使用输入图像的彩色直方图来计算缩放因子S。如本领域技术人员将认识到的，可以使用现有技术中任何方法和系统来确定背光调光的百分比BL_reduced。例如，可以根据于2006年8月17日提交的题为“Systems and Methods for Selecting a Display Source Light Illumination Level”的美国专利申请No.11/465,436中所公开的方法和系统，来确定背光调光的百分比BL_reduced，其全部内容通过引用合并于此。

在本发明的一些实施例中，为了避免裁剪问题，亮度提升可以包括关于图12描述的每像素处理。可以计算160提升因子(第一增亮因子)S，并且确定162是否存在未处理的像素。如果不存在163未处理的像素，则亮度提升过程可以终止164。如果存在165未处理的像素，则可以获得166下个像素的颜色分量值，表示为[R，G，B]。这些颜色分量值可以被看作与输入图像中第一像素相关联的第一、第二和第三颜色分量值。可以确定168最大颜色分量值，可以表示为V。在一些实施例中，可以根据以下公式来确定V：

V＝max(max(R，G)，B)

最大颜色分量值V可以通过提升因子S来缩放，并且缩放后的像素值可以与最大码值相比较170。在本发明的一些实施例中，最大码值可以是255。如果缩放值小于或等于171最大码值，则可以使用缩放值S来对与当前像素相关联的颜色值进行亮度提升，并且可以针对当前像素输出172亮度提升后的颜色值。确定162是否存在未处理的像素，并且处理可以继续。如果缩放值大于173最大码值，则可以根据以下公式重新计算提升因子：

$S^{\&prime;}=\frac{255}{V}$

其中，S′可以表示重新计算的提升因子。可以使用重新计算的提升因子S′来对与当前像素相关联的颜色值进行亮度提升，并且可以针对当前像素输出176亮度提升后的颜色值。确定162是否存在未处理的像素，并且处理可以继续。在这些实施例中，在发生裁剪时，可以保持三个颜色通道上的颜色比，并因此保持颜色保真度。

在上述亮度提升方法和系统中，除了发生裁剪的像素以外，可以在每个像素处使用公共增亮因子(第一增亮因子)S。在本发明的备选实施例中，增亮因子S可以根据图像内容在空间上变化。在一些实施例中，可以根据以下公式来确定增亮因子S：

$S(x,y)=(\mathrm{\&alpha;}+\exp (-\frac{f{(x,y)}^2}{{\mathrm{\&sigma;}}^2})),\mathrm{\&alpha;}\&GreaterEqual;1$

其中，f(x，y)可以是位置(x，y)处的图像亮度，α可以是控制增亮因子的范围的参数，σ可以是控制高斯加权函数的形状的因子。对于具有范围[0，255]的f(x，y)，α和σ的示例参数值分别为1.6和100。在这些实施例中，高斯加权函数可以在亮度f(x，y)较低时产生较大提升因子S(x，y)。因此，与具有较大亮度值的像素相比，可以更着重增亮具有低亮度值的像素。

在本发明的备选实施例中，可以将图像亮度值量化成多个亮度值段(bin)，并且增亮因子可以与每个亮度值段相关联。相同亮度值段内具有亮度值的像素可以通过相同因子、与相应段相关联的增亮因子来增亮。在一些实施例中，量化可以基于亮度值的直方图。

在本发明的一些实施例中，可以将RGB输入值转换到备选颜色空间，例如，亮度-色度-色度颜色空间。示例亮度-色度-色度颜色空间可以包括YCbCr、YUV、Lab以及其他亮度-色度-色度颜色空间。在这些实施例中，可以对亮度通道进行亮度提升，而同时色度通道保持不变。

亮度提升器32所产生的增亮图像33与关键特征估计器34所产生的关键特征图像35可以通过组合器36来组合。在本发明的一些实施例中，组合器36可以通过将两幅图像相加，来组合增亮图像33和关键特征图像35。在本发明的备选实施例中，组合器36可以根据以下公式使用两幅图像的加权平均来混合图像：

I_KFH＝βI_boosted+(1-β)I_KFM

其中，β可以表示混合因子，也被称作混合参数，I_KFH可以表示混合后的图像37，I_boosted可以表示亮度提升器32所产生的增亮图像33，以及I_KFM可以表示关键特征估计器34所产生的关键特征图像35。在本发明的一些实施例中，混合因子β可以是用户选定参数。在本发明的备选实施例中，混合因子β可以是预定值。

可以通过码值映射器38将混合图像37的像素值映射至显示码值的范围。在本发明的一些实施例中，显示码值的范围是[0，255]。在一些实施例中，可以使从图像增强系统30所获得的KFH图像39可用于LCD显示器。

图13示出了根据本发明实施例的全功耗下图6所示输入图像100的NPR再现190。这提供了“将关键特征图与增亮图像进行组合以形成增强图像”的效果。图14示出了根据本发明实施例的2％功耗下图6所示输入图像100的NPR再现200。图15示出了根据本发明实施例的在直射阳光下观看的图2所示输入图像20的NPR再现210。

关于图16描述的本发明的一些实施例可以包括亮度提升器260、关键特征估计器262、混合参数选择器264、组合器266以及码值映射器268。在这些实施例中，输入图像252、背光功率级254以及环境光级256可以由图像增强系统250来接收。输入图像可以是彩色图像或灰度级图像。可以使输入图像252可用于亮度提升器260和关键特征估计器262。可以使背光功率级254和环境光级256可用于亮度提升器260。

关键特征估计器262可以产生与输入图像252相关联的关键特征图像263，也被视为关键特征图。在本发明的一些实施例中，关键特征估计器262可以根据先前描述的本发明实施例来产生关键特征图263。

亮度提升器260可以基于输入图像252的内容、背光功率级254以及环境光级256，来产生增亮图像261。

混合参数选择器264可以确定组合器266所使用的混合参数265，以混合增亮图像261和梯度图263。将用户选定混合参数270提供给混合参数选择器264。在本发明的一些实施例中，用户选定混合参数270可以直接对应于混合参数265。在备选实施例中，用户选定混合参数370可以是用户所选的图像质量设置，且与混合参数选择器264确定的混合参数265相关联。在本发明的一些实施例中，混合参数选择器264可以在用户选定混合参数270不可用的情况下选择混合参数265的缺省值。

组合器266可以基于混合参数265，将关键特征图像263与增亮图像261进行组合。在本发明的一些实施例中，组合器266可以使用混合参数265线性地混合关键特征图像263和增亮图像261，以作为加权因子根据以下公式对关键特征图和亮度图进行线性加权：

I_KFH＝βI_boosted+(1-β)I_KFM

其中，β可以表示混合参数265，I_KFH可以表示混合图像267，I_boosted可以表示亮度提升器260所产生的增亮图像261，I_KFM可以表示关键特征估计器262所产生的关键特征图像263。在备选实施例中，组合器266可以根据以下公式组合关键特征图像263和增亮图像261：

I_KFH＝I_boosted+I_KFM

可以通过码值映射器268将混合图像267的值映射至显示器码值的范围。在本发明的一些实施例中，显示器码值的范围是[0，255]。在一些实施例中，可以使从图像增强系统250所获得的KFH图像269可用于LCD显示器。

本发明的一些实施例公开了方法，其中，形成基于与LCD显示器相关联的背光功率级、环境光级以及输入图像的图像内容中的至少一个。

本发明的一些实施例公开了方法，包括将增强图像的像素值映射至与LCD显示器相关联的码值。

本发明的一些实施例公开了方法，包括选择混合参数值并在组合中使用该混合参数值。

本发明的一些实施例公开了方法，其中，使用混合参数对关键特征图和增亮图像进行线性加权。

本发明的一些实施例公开了方法，其中，估计包括：根据从输入图像形成的灰度级图像来计算梯度图，梯度图计算是大空间模板计算。

本发明的一些实施例公开了方法，其中，估计包括：对与输入图像相关联的低分辨率图像进行双边滤波；将双边滤波后的图像转换成灰度级图像；对灰度级图像执行大空间模板梯度计算，从而产生未处理梯度图；抑制未处理梯度图中的低幅度梯度；使低幅度梯度抑制后的梯度图中的极性反向；增强极性反向后的梯度图中的梯度对比度；对梯度对比度增强梯度图形中的梯度进行平滑；以及将根据平滑后的梯度图形成的梯度图的背景偏移至零。

本发明的一些实施例公开了方法，其中，与输入图像相关联的低分辨率图像通过以下操作来形成：对输入图像进行低通滤波；以及对低通滤波后的输入图像进行下采样。

本发明的一些实施例公开了方法，其中，根据平滑后的梯度图形成的梯度图是通过以下操作来形成：将平滑后的梯度图上缩放至输入图像的分辨率。

本发明的一些实施例公开了方法，其中，估计包括：确定与输入图像相关联的灰度级图像中相对于第一像素位置的沿着第一水平方向的多个第一一阶导数值；确定与输入图像相关联的灰度级图像中相对于第一像素位置的沿着第二水平方向的多个第二一阶导数值；确定与输入图像相关联的灰度级图像中相对于第一像素位置的沿着第一垂直方向的多个第三一阶导数值；确定与输入图像相关联的灰度级图像中相对于第一像素位置的沿着第二垂直方向的多个第四一阶导数值；确定第一最大值，其中，第一最大值是多个第一一阶导数值的最大值；确定第二最大值，其中，第二最大值是多个第二一阶导数值的最大值；确定第三最大值，其中，第三最大值是多个第三一阶导数值的最大值；确定第四最大值，其中，第四最大值是多个第四一阶导数值的最大值；通过将第一最大值与第二最大值相加来确定水平梯度值；通过将第三最大值与第四最大值相加来确定垂直梯度值；以及确定与像素位置相关联的梯度值，其中与像素位置相关联的梯度值是水平梯度值和垂直梯度值中的最大值。

本发明的一些实施例可以包括用于增强输入如下的计算机实现方法。所述方法可以包括：在计算设备中接收输入图像；估计与输入图像相关联的关键特征图；通过提升输入图像的亮度来形成增亮图像；以及组合关键特征图与增亮图像，以形成增强图像。

根据本发明的另一方面，关键特征估计器可以使用大空间模板梯度计算器来估计与输入图像相关联的灰度级图像中像素处的梯度。

根据本发明的另一方面，亮度提升器可以基于与LCD显示器相关联的功率级、与LCD显示器相关联的环境光级、以及输入图像内容的测量中的至少一个，来确定提升因子。

本发明的一些实施例可以包括LCD显示器和输入图像接收器。本发明的一些实施例可以包括环境光传感器。

本发明的一些实施例可以包括一种计算机程序产品，所述计算机程序产品是计算机刻度存储介质，和/或其上和/或其中存储有指令的介质，可以用于对计算机进行编程以执行这里提出的任何特征。

上述说明书中已经采用的术语和表述方式在这里用作描述而不是限制，并且这样的术语和表述方式的使用并不意在排除所示出和描述的特征或特征的一部分的等同物，应认识到本发明的范围仅由所附权利要求来限定和限制。

Claims (15)

1.一种用于增强输入图像的系统，所述系统包括：

关键特征估计器，用于估计与输入图像相关联的关键特征图；

亮度提升器，用于通过提升所述输入图像的亮度，来形成增亮图像；以及

组合器，用于将所述关键特征图和所述增亮图像进行组合，以形成增强图像。

2.根据权利要求1所述的系统，还包括：混合参数选择器，用于选择所述组合器要使用的混合参数。

3.根据权利要求1所述的系统，还包括：码值映射器，用于将所述增强图像的像素值映射至与LCD显示器相关联的码值。

4.根据权利要求1所述的系统，其中，所述关键特征估计器包括：梯度图计算器，用于根据从所述输入图像形成的灰度级图像来计算梯度图，其中，所述梯度图计算器在所述梯度图的计算中使用大空间模板。

5.根据权利要求1所述的系统，其中，所述关键特征估计器包括：

a)双边滤波器，用于对与所述输入图像相关联的低分辨率图像进行滤波；

b)灰度级转换器，用于将双边滤波后的图像转换成灰度级图像；

c)梯度计算器，用于对所述灰度级图像执行大空间模板梯度计算，从而产生未处理梯度图；

d)低幅度梯度抑制器，用于抑制所述未处理梯度图中的低幅度梯度；

e)梯度图极性反向器，用于使低幅度梯度抑制后的梯度图中的极性反向；

f)梯度对比度增强器，用于增强极性反向后的梯度图中的梯度对比度；

g)梯度平滑器，用于对梯度对比度增强后的梯度图中的梯度进行平滑；以及

h)梯度图偏移器，用于将根据平滑后的梯度形成的梯度图的背景偏移至零。

6.根据权利要求1所述的系统，其中，所述关键特征估计器包括：

a)水平梯度计算器，用于确定与所述输入图像相关联的灰度级图像中第一像素位置处的水平梯度，其中，所述水平梯度计算器用于：

i)确定相对于所述第一像素位置的沿着第一水平方向的多个第一一阶导数值；

ii)确定相对于所述第一像素位置的沿着第二水平方向的多个第二一阶导数值；

iii)确定第一最大值，其中，所述第一最大值是所述多个第一一阶导数值的最大值；

iv)确定第二最大值，其中，所述第二最大值是所述多个第二一阶导数值的最大值；以及

v)通过将所述第一最大值与所述第二最大值相加来确定水平梯度值；

b)垂直梯度计算器，用于确定与所述输入图像相关联的灰度级图像中第一像素位置处的垂直梯度，其中，所述垂直梯度计算器用于：

i)确定相对于所述第一像素位置的沿着第一垂直方向的多个第三一阶导数值；

ii)确定相对于所述第一像素位置的沿着第二垂直方向的多个第四一阶导数值；

iii)确定第三最大值，其中，所述第三最大值是所述多个第三一阶导数值的最大值；

iv)确定第四最大值，其中，所述第四最大值是所述多个第四一阶导数值的最大值；

v)通过将所述第三最大值与所述第四最大值相加来确定垂直梯度值；以及

c)像素梯度确定器，用于确定与像素位置相关联的梯度值，其中所述与像素位置相关联的梯度值是所述水平梯度值和所述垂直梯度值中的最大值。

7.根据权利要求1所述的系统，其中，所述亮度提升器在形成所述增亮图像中，使用与LCD显示器相关联的背光功率级、环境光级以及所述输入图像的图像内容中的至少一个。

8.根据权利要求2所述的系统，其中，所述混合参数值用于对所述关键特征图和所述增亮图像进行线性加权。

9.根据权利要求5所述的系统，其中，与所述输入图像相关联的所述低分辨率图像由以下来形成：

a)低通滤波器，用于对所述输入图像进行低通滤波；以及

b)下采样器，用于对低通滤波后的输入图像进行下采样。

10.根据权利要求9所述的系统，其中，根据平滑后的梯度图形成的所述梯度图通过以下来形成：将所述平滑后的梯度图上缩放至所述输入图像的分辨率。

11.一种用于增强输入图像的方法，所述方法包括：

a)接收输入图像；

b)估计与输入图像相关联的关键特征图；

c)通过提升所述输入图像的亮度来形成增亮图像；以及

d)组合所述关键特征图与所述增亮图像，以形成增强图像。

12.根据权利要求11所述的方法，其中，所述形成包括确定增亮因子。

13.根据权利要求12所述的方法，其中，所述增亮因子是在空间上变化的。

14.根据权利要求11所述的方法，其中，所述形成包括：

a)接收第一增亮因子；

b)接收所述输入图像中与第一像素相关联的第一颜色分量值；

c)接收与所述第一像素相关联的第二颜色分量值；

d)接收与所述第一像素相关联的第三颜色分量值；

e)当所述第一增亮因子修改的第一颜色分量值小于最大码值，所述第一增亮因子修改的第二颜色分量值小于所述最大码值，以及所述第一增亮因子修改的第三颜色分量值小于所述最大码值时，通过所述第一增亮因子，修改所述第一颜色分量值、所述第二颜色分量值以及所述第三颜色分量值；以及

f)当所述第一增亮因子修改的第一颜色分量值不小于所述最大码值，或者所述第一增亮因子修改的第二颜色分量值不小于所述最大码值，或者所述第一增亮因子修改的第三颜色分量值不小于所述最大码值时：

i)基于所述最大码值、以及所述第一颜色分量值、所述第二颜色分量值和所述第三颜色分量值中的最大值，确定第二增亮因子；

ii)通过所述第二增亮因子，修改所述第一颜色分量值；

iii)通过所述第二增亮因子，修改所述第二颜色分量值；以及

iv)通过所述第二增亮因子，修改所述第三颜色分量值。

15.一种图像显示系统，包括：

a)输入图像接收器，用于接收输入图像；

b)关键特征估计器，用于估计与所述输入图像相关联的关键特征图；

c)亮度提升器，用于通过提升所述输入图像的亮度，来形成增亮图像；

d)组合器，用于组合所述梯度图和所述增亮图像，以形成增强图像；以及

e)显示器，用于显示所述增强图像。

Images