CN101911172A

CN101911172A - 用于图像色阶设计的方法和系统

Info

Publication number: CN101911172A
Application number: CN2008801233088A
Authority: CN
Inventors: L·J·科洛夫斯基
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-12-26
Filing date: 2008-12-19
Publication date: 2010-12-08
Anticipated expiration: 2028-12-19
Also published as: JP5411848B2; CN101911172B; EP2232469A1; WO2009082021A1; JP2010537223A; US8169431B2; US20090167751A1; EP2232469A4; RU2427042C1

Abstract

本发明包括用于图像补偿后处理的方法和系统。经修改的亮度保持/图像补偿处理(2521)知道图像补偿后处理(2523)并且可解决其对输入图像(2520)的影响。经修改的亮度保持/图像补偿处理(2521)能生成将对选择用于图像的背光照度级作出补偿和将对图像补偿后处理(2523)的影响作出补偿的处理并将其应用于输入图像(2520)。

Description

用于图像色阶设计的方法和系统

相关参考

以下申请通过引用纳入于此：2006年8月17日提交的题为“用于选择显示源光照度级的方法和系统”(Methods and Systems for Selecting a Display Source Light Illumination Level)的美国专利申请No.11/465,436；

2005年12月2日提交的题为“用于确定显示光源调节的方法和系统”(Methods and Systems for Determining a Display Light Source Adjustment)的美国专利申请No.11/293,562；

2005年9月12日提交的题为“用于图像特定的色阶调节和光源控制的方法和系统”(Methods and Systems for Image-Specific Tone Scale Adjustment andLight-Source Control)的美国专利申请No.11/224,792；

2005年6月15日提交的题为“用于以高频对比度增强来增强显示特性的方法和系统”(Methods and Systems for Enhancing Display Characteristics with HighFrequency Contrast Enhancement)的美国专利申请No.11/154,053；

2005年6月15日提交的题为“用于以频率特定增益来增强显示特性的方法和系统”(Methods and Systems for Enhancing Display Characteristics withFrequency-Specific Gain)的美国专利申请No.11/154,054；

2005年6月15日提交的题为“用于增强显示特性的方法和系统”(Methodsand Systems for Enhancing Display Characteristics)的美国专利申请No.11/154,052；

2006年3月30日提交的题为“使用肤色检测的色彩增强技术(A ColorEnhancement Technique using Skin Color Detection)”的美国专利申请No.11/393,404；

2006年7月28日提交的题为“用于畸变相关的源光管理的方法和系统”(Methods and Systems for Distortion-Related Source Light Management)的美国专利申请No.11/460,768；

2005年8月8日提交的题为“用于多视图显示中的单独视图调节的方法和系统”(Methods and Systems for Independent View Adjustment in Multiple-ViewDisplays)的美国专利申请No.11/202,903；

2006年3月8日提交的题为“用于以环境照度输入来增强显示特性的方法和系统”(Methods and Systems for Enhancing Display Characteristics withAmbient Illumination Input)的美国专利申请No.11/371,466；

2005年12月2日提交的题为“用于显示模式相关的亮度保持的方法和系统”(Methods and Systems for Display Mode Dependent Brightness Preservation)的美国专利申请No.11/293,066；

2006年7月28日提交的题为“用于产生和应用图像色阶校正的方法和系统”(Methods and Systems for Generating and Applying Image Tone ScaleCorrections)的美国专利申请No.11/460,907；

2006年7月28日提交的题为“用于用图像色阶校正进行色彩保持的方法和系统”(Methods and Systems for Color Preservation with Image TonescaleCorrections)的美国专利申请No.11/160,940；

2006年11月28日提交的题为“用于图像色阶调节以补偿降低的源光功率电平的方法和系统”(Methods and Systems for Image Tonescale Adjustment toCompensate for a Reduced Source Light Power Level)的美国专利申请No.11/564,203；

2007年2月28日提交的题为“用于使用平滑增益图像进行亮度保持的方法和系统”(Methods and Systems for Brightness Preservation Using a Smoothed GainImage)的美国专利申请No.11/680,312；

2007年8月27日提交的题为“用于产生、选择和应用色调曲线的方法和系统”(Methods and Systems for Tone Curve Generation，Selection and Application)的美国专利申请No.11/845,651；以及

2006年11月28日提交的题为“使用肤色检测的色彩增强技术”的美国专利申请No.11/605,711。

发明领域

本发明诸实施例包括用于创建经修改的源光照度级补偿曲线以及附加色阶处理的方法和系统，该补偿曲线对降低的源光照度级作补偿，而该附加色阶处理在应用经修改的源光照度级补偿曲线之后应用。

背景

典型的显示设备使用固定范围的辉度级显示图像。对于许多显示器而言，辉度范围具有从0到255均匀间隔的256级。一般分配图像代码值以直接匹配这些辉度级。

在许多具有大显示器的电子设备中，显示器是主要的功率消耗者。例如，在膝上型计算机中，显示器可能比系统中的任一其它组件都消耗更多功率。可用功率有限的许多显示器，诸如电池供电设备中的显示器，可使用若干照度或亮度级来帮助管理功耗。当系统接入诸如交流电源的电源时可使用全功率模式，而在电池电源上操作时可使用节电模式。

在一些设备中，显示器可自动进入节电模式，在该模式中显示器照度降低以节电。这些设备可具有多个节电模式，在这些节电模式中照度逐步降低。一般而言，当显示器照度降低时，图像质量也下降。当最大辉度级降低时，动态显示范围减小且图像对比度受损。因此，在典型的节电模式操作期间，对比度和其它图像质量降低。

诸如液晶显示器(LCD)或数字微镜器件(DMD)的许多显示器件使用以一种或另一种方式背面照射、侧面照射或正面照射的光阀。在诸如LCD的背面照射光阀显示器中，背光定位于液晶面板后面。背光透过LC面板发光，LC面板调制该光以对准图像。在彩色显示器中辉度和色彩两者均可被调制。单个LC像素调制从背光透过LC面板传输到用户眼睛或一些其它目的地的光的量。在一些情形中，该目的地可以是诸如电荷耦合器件(CCD)的光传感器。

一些显示器还可使用光发射器来对准图像。诸如发光二极管(LED)显示器和等离子显示器的这些显示器使用发光而不反射来自另一源的光的图元。

概述

本发明的一些实施例包括用于改变光阀调制像素的辉度调制级以补偿降低的光源发光强度或在固定光源照度级上改进图像质量的系统和方法。

本发明的一些实施例还可供使用光发射器来对准图像的显示器使用。诸如发光二极管(LED)显示器和等离子显示器的这些显示器使用发光而不反射来自另一源的光的图元。本发明的诸实施例可用来增强由这些设备产生的图像。在这些实施例中，像素的亮度可被调节以增强特定图像频带的动态范围、辉度范围和其它图像细分部分。

在本发明的一些实施例中，可响应于图像特性将显示光源调节至不同级。当这些光源级改变时，图像代码值可被调节以补偿亮度的改变或以其它方式增强该图像。

本发明的一些实施例包括环境光感测，其可在确定光源级和图像像素值时用作输入。

本发明的一些实施例包括畸变相关的光源和电池消耗控制。

本发明的一些实施例包括用于产生和应用图像色阶校正的系统和方法。

本发明的一些实施例包括用于以改进色彩保真度进行图像色阶校正的方法和系统。

本发明的一些实施例包括用于选择显示源光照度级的方法和系统。

本发明的一些实施例包括用于形成面板色调曲线和目标色调曲线的方法和系统。这些实施例中的一部分供形成多条目标色调曲线之用，其中每条曲线与一不同的背光或源光照度级相关。在这些实施例中，可选择背光照度级并将与所选背光照度级相关的目标色调曲线应用于要显示的图像。在一些实施例中，性能目标可影响色调曲线参数的选择。

本发明的一些实施例包括用于色彩增强的方法和系统。这些实施例中的一部分包括肤色检测、肤色映射细化、以及色彩处理。

本发明的一些实施例包括用于位深扩展的方法和系统。这些实施例中的一部分包括在位深缩减之前将空间和时间高通抖动模式(dither pattern)应用于图像。

本发明的一些实施例包括对视频序列中场景删节的存在性作出响应的源光照度级信号滤波器。

本发明的一些实施例包括基于映射至显示模型属性的图像特性进行源光照度级选择。一些实施例在选择或修改将图像特性关联到显示模型属性的映射时考虑环境光状况、用户亮度选择和手动用户映射选择。一些实施例还包括对选择显示亮度级的用户输入作出响应的时间滤波器。

本发明的一些实施例包括用于选择显示源光照度级的方法和系统。这些实施例的一部分包括直方图产生和操纵。在一些实施例中，可使用色彩权重因子来将二维直方图转换成一维直方图。

本发明的一些实施例包括创建经修改的源光照度级补偿曲线以及附加色阶处理的方法和系统，该补偿曲线对降低的源光照度级作补偿，而该附加色阶处理在应用经修改的源光照度级补偿曲线后应用。

在考虑了以下结合附图进行的本发明的详细描述之后，将更容易理解本发明的前述和其它目的、特征和优点。

附图简述

图1是示出现有技术背光LCD系统的示图；

图2A是示出原始图像代码值和增大的图像代码值之间的关系的图表；

图2B是示出在削波情况下原始图像代码值和增大的图像代码值之间的关系的图表；

图3是示出针对各个代码值修改方案的与代码值相关联的辉度级的图表；

图4是示出原始图像代码值和根据各个修改方案的经修改图像代码值之间的关系的图表；

图5是示出示例性色阶调节模型的产生的示图；

图6是示出色阶调节模型的示例性应用的示图；

图7是示出示例性色阶调节模型和增益映射的产生的示图；

图8是示出示例性色阶调节模型的图表；

图9是示出示例性增益映射的图表；

图10是示出其中色阶调节模型和增益映射应用于图像的示例性处理的流程图；

图11是示出其中色阶调节模型应用于图像的一个频带且增益映射应用于该图像的另一个频带的流程图；

图12是示出随MFP改变的色阶调节模型变化的图表；

图13是示出示例性的图像相关的色阶映射方法的流程图；

图14是示出示例性的图像相关的色阶选择实施例的示图；

图15是示出示例性的图像相关的色阶映射计算实施例的示图；

图16是示出包括源光级调节和图像相关的色阶映射的实施例的流程图；

图17是示出包括源光级计算器和色阶映射选择器的示例性实施例的示图；

图18是示出包括源光级计算器和色阶映射计算器的示例性实施例的示图；

图19是示出包括源光级调节和源光级相关的色阶映射的实施例的流程图；

图20是示出包括源光级计算器和源光级相关的色阶计算或选择的实施例的示图；

图21是示出原始图像代码值与色阶斜率之间的关系的标绘图的示图；

图22是示出包括单独的色度通道分析的实施例的示图；

图23是示出包括对图像处理模块的环境照度输入的实施例的示图；

图24是示出包括对源光处理模块的环境照度输入的实施例的示图；

图25是示出包括对图像处理模块的环境照度输入和器件特性输入的实施例的示图；

图26是示出包括对图像处理模块和/或源光处理模块以及源光信号后处理器的替代环境照度输入的实施例的示图；

图27是示出包括对源光处理模块的环境照度输入的实施例的示图，该源光处理模块将此输入传递至图像处理模块；

图28是示出包括对图像处理模块的环境照度输入的实施例的示图，该图像处理模块将此输入传递至源光处理模块；

图29是示出包括畸变自适应电源管理的实施例的示图；

图30是示出包括恒定电源管理的实施例的示图；

图31是示出包括自适应电源管理的实施例的示图；

图32A是示出恒定功率模型与恒定畸变模型的功耗的比较的曲线图；

图32B是示出恒定功率模型与恒定畸变模型的畸变的比较的曲线图；

图33是示出包括畸变自适应电源管理的实施例的示图；

图34是示出针对示例性视频序列在各个畸变限制下的背光功率电平的曲线图；

图35是示出示例性功率/畸变曲线的曲线图；

图36是示出管理与畸变标准相关的功耗的实施例的流程图；

图37是示出包括基于畸变标准的源光功率电平选择的实施例的流程图；

图38A&B是示出包括说明亮度保持方法的效果的畸变测量值的实施例的流程图；

图39是示例性图像的功率/畸变曲线；

图40是示出固定畸变的功率曲线图；

图41是示出固定畸变的畸变曲线图；

图42是示例性色阶调节曲线；

图43是图42中所示的色阶调节曲线的暗区的放大视图；

图44是另一示例性色阶调节曲线；

图45是图44中所示的色阶调节曲线的暗区的放大视图；

图46是示出基于最大彩色通道值的图像代码值调节的图表；

图47是示出基于最大彩色通道代码值的多个彩色通道的图像代码值调节的图表；

图48是示出基于彩色通道之一的代码值特性的多个彩色通道的图像代码值调节的图表；

图49是示出包括接收最大彩色通道值作为输入的色阶发生器的本发明实施例的示图；

图50是示出包括在色阶调节的情况下进行频率分解和彩色通道代码辨别的本发明实施例的示图；

图51是示出包括频率分解、彩色通道辨别和色彩保留剪辑的本发明实施例的示图；

图52是示出包括基于彩色通道代码值特性的色彩保留剪辑的本发明实施例的示图；

图53是示出包括低通/高通分频和最大彩色通道代码值的选择的本发明实施例的示图；

图54是示出经处理图像和显示模型之间的各种关系的示图；

图55是示例性图像的图像代码值的直方图的曲线图；

图56是与图55的直方图相对应的示例性畸变曲线的曲线图；

图57是示出将示例性最优化标准应用于简短的DVD剪辑的结果的曲线图，该曲线图标绘所选背光功率与视频帧数的关系；

图58示出针对实际显示的不同对比率的最小MSE畸变背光确定；

图59是示出示例性面板色调曲线和目标色调曲线的曲线图；

图60是示出针对节电配置的示例性面板色调曲线和目标色调曲线的曲线图；

图61是示出针对较低黑色电平配置的示例性面板色调曲线和目标色调曲线的曲线图；

图62是示出针对亮度增强配置的示例性面板色调曲线和目标色调曲线的曲线图；

图63是示出针对其中黑色电平被降低且亮度被增强的增强图像配置的示例性面板色调曲线和目标色调曲线的曲线图；

图64是示出针对黑色电平改进的一系列示例性目标色调曲线的曲线图；

图65是示出针对黑色电平改进和图像亮度增强的一系列示例性目标色调曲线的曲线图；

图66是示出包括目标色调曲线确定和畸变相关背光选择的示例性实施例的图表；

图67是示出包括性能目标相关参数选择、目标色调曲线确定和背光选择的示例性实施例的图表；

图68是示出包括性能目标相关的目标色调曲线确定和背光选择的示例性实施例的图表；

图69是示出包括性能目标相关和图像相关的目标色调曲线确定和背光选择的示例性实施例的图表；

图70是示出包括在位深扩展的情况下进行频率分解和色阶处理的示例性实施例的图表；

图71是示出包括频率分解和色彩增强的示例性实施例的图表；

图72是示出包括色彩增强、背光选择和高通增益处理的示例性实施例的图表；

图73是示出包括色彩增强、直方图生成、色阶处理和背光选择的示例性实施例的图表；

图74是示出包括肤色检测和肤色映射细化的示例性实施例的图表；

图75是示出包括色彩增强和位深扩展的示例性实施例的图表；

图76是示出包括色彩增强、色阶处理和位深扩展的示例性实施例的图表；

图77是示出包括色彩增强的示例性实施例的图表；

图78是示出包括色彩增强和位深扩展的示例性实施例的图表；

图79是示出目标输出曲线和多个面板或显示输出曲线的曲线图；

图80是示出图79的目标和显示输出曲线的误差向量曲线的曲线图；

图81是示出直方图加权误差曲线的曲线图；

图82是示出包括基于直方图加权误差的源光照度级选择的本发明的示例性实施例的图表；

图83是示出包括基于直方图加权误差的源光照度级选择的本发明的替代示例性实施例的图表；

图84是示出包括场景剪切检测器的示例性系统的图表；

图85是示出包括场景剪切检测器和图像补偿模块的示例性系统的图表；

图86是示出包括场景剪切检测器和直方图缓冲器的示例性系统的图表；

图87是示出包括场景剪切检测器和对该场景剪切检测器作出响应的时间滤波器的示例性系统的图表；

图88是示出其中滤波检测基于场景剪切检测的示例性方法的图表；

图89是示出其中比较各帧以检测场景剪切的示例性方法的图表；

图90是示出在没有滤波器的情况下的背光响应的图表；

图91是示出典型的时间对比灵敏度函数的曲线图；

图92是示出示例性滤波器的响应的曲线图；

图93是示出经滤波和未经滤波的背光响应的曲线图；

图94是示出场景剪切上的滤波响应的曲线图；

图95是示出场景剪切上的未经滤波响应以及第一经滤波响应和第二经滤波响应的曲线图；

图95是示出未经滤波的、经滤波的、以及经场景剪切滤波的响应的曲线图；

图96是示出包括直方图缓冲器、时间滤波器和Y增益补偿的实施例的系统图；

图97是示出各种示例性Y增益曲线的曲线图；

图98是示出示例性显示模型的曲线图；

图99是示出示例性显示误差向量曲线的曲线图；

图100是示出示例性图像直方图的曲线的曲线图；

图101是示出示例性图像畸变与背光级的关系曲线的曲线图；

图102是示出不同畸变度量的比较的曲线图；

图103是示出包括场景剪切检测和图像补偿的示例性系统的示图；

图104是示出包括用以确定场景剪切的图像分析和响应场景剪切的畸变计算的示例性方法的示图；

图105是示出包括图像特性映射模块的示例性系统的示图；

图106是示出包括具有手动用户映射选择输入的图像特性映射模块的示例性系统的示图；

图107是示出包括具有环境光传感器输入的图像特性映射模块的示例性系统的示图；

图108是示出包括具有用户亮度选择输入的图像特性映射模块的示例性系统的示图；

图109是示出包括具有用户亮度选择输入的图像特性映射模块和响应于用户亮度选择的时间滤波器的示例性系统的示图；

图110是示出包括具有用户亮度选择输入、环境传感器输入和手动映射选择的图像特性映射模块的示例性系统的示图；

图111是示出包括涉及图像直方图数据的图像特性映射模块的示例性系统的示图；

图112是示出示例性直方图转换方法的示图；

图113是示出用于直方图生成和转换的示例性方法的示图；

图114是示出包括直方图转换并用于映射和畸变模块的示例性实施例的示图；

图115是示出示例性直方图动态范围转换的示图；

图116是示出包括直方图转换和动态范围转换的示例性实施例的示图；

图117是示出包括在基于修改图像进行背光选择的情况下的源光照度级补偿处理和预补偿处理的示例性系统的示图；

图118是示出包括在基于原始输入图像进行背光选择的情况下的源光照度级补偿处理和预补偿处理的示例性系统的示图；

图119是示出包括在基于原始输入图像进行背光选择的情况下的经修改源光照度级补偿处理和后补偿处理的示例性系统的示图；以及

图120是示出创建经修改源光照度级补偿曲线所涉及的处理的示图。

示例性实施例的详细描述

参照附图本发明诸实施例将得到最佳的理解，在全部附图中相同的部件由相同的附图标记标示。以上所列附图被明确地纳入为本说明书的一部分。

将容易理解，如附图中所一般描述和例示地，本发明的组件将以各种各样的不同配置进行排列和设计。因此，本发明的方法和系统的实施例的以下更详细描述不旨在限制本发明的范围，而仅仅表示本发明的当前优选实施例。

本发明诸实施例的要素可用硬件、固件和/或软件实现。尽管本文中所公开的示例性实施例可能仅描述这些形式之一，但可以理解本领域技术人员将能够以这些形式的任一种来实现这些要素且落在本发明的范围之内。

使用诸如LC调制器的光阀调制器和其它调制器的显示设备可以是反射性的，其中光被照射至正面(面对观看者)并且在通过调制面板层之后向观看者反射回。显示设备也可以是透射性的，其中光被照射至调制面板层的背面，且被允许通过调制层照向观看者。一些显示设备也可以是透射反射性的，即反射性和透射性的组合，其中光可从背面向正面地通过调制层，同时来自另一源的光在从调制层的正面进入之后反射。在这些情形的任一个中，调制层中的元件(诸如各个LC元件)可控制像素的感知亮度。

在背光、前光和侧光显示器中，光源可以是一串荧光管、LED阵列或某些其它源。一旦显示器大于约18″的典型尺寸，则该设备的大部分功耗是由光源引起的。对于特定应用，并且在特定市场中，功耗的降低是重要的。然而，功率降低意味着光源的光通量的减少，由此意味着显示器最大亮度的降低。

使电流γ校正光阀调制器的灰度电平代码值、CV、光源级即L_源和输出光能级L_输出相关的基本方程是：

方程1

L_输出＝L_源*g(CV+暗)^γ+环境

其中g是校准增益，暗是光阀的暗电平，且环境是从室内条件命中显示器的光。根据此方程，可看出减少背光光源x％也将所输出光减少x％。

可通过改变光阀的调制值，具体而言增大它们来补偿光源级的降低。实际上，低于(1-x％)的任何光能级可准确再现，而高于(1-x％)的任何光能级在没有附加光源或光源强度不增加的情况下不能再现。

设置从原始和简约源输出的光给出基本代码值校正，其可用来针对x％的降低(假设暗电平和环境光为0)校正代码值：

方程2

L_输出＝L_源*g(CV)^γ＝L_简约*g(CV_升压)^γ

方程3

CV_升压＝CV*(L_源/L_简约)^1/γ＝CV*(1/x％)

图2A示出此调节。在图2A和2B中，原始显示值对应于沿线12的点。当背光或光源被置于节能模式且该光源照度降低时，显示代码值需要被增大以使光阀能抵消光源照度的降低。这些增大值与沿线14的点相一致。然而，此调节导致代码值18高于显示器所能够产生的代码值(例如对8位显示器而言为255)。因此，这些值最终被削波20，如图2B所示。以此方式调节的图像会遭受高亮模糊、伪外观、以及一般低质量的问题。

使用此简单调节模型，低于削波点15的代码值(在此示例性实施例中为输入代码值230)将以与用全功率光源产生的辉度级相等的辉度级、但以降低的源光照明模式显示。该相同辉度以较低功率产生，从而导致节能。如果图像的代码值集合受限于低于削波点15的范围，则节能模式可对用户透明地操作。不幸地是，当值超过削波点15时，辉度降低且细节丢失。本发明诸实施例提供可改变LCD或光阀代码值以提供增强亮度(或者在节能模式下不减弱亮度)、同时减少会在辉度范围高端发生的削波伪像的一种算法。

本发明的一些实施例通过针对相当大范围的值使以低功率显示的图像亮度与以全功率显示的图像辉度相匹配，可消除与降低显示光源功率相关联的亮度降低。在这些实施例中，源光或背光功率的将输出辉度除以特定因子的降低由图像数据增大倒数因子来补偿。

忽略动态范围约束，在全功率和降低功率下显示的图像可以是相同的，因为除分(对于降低的光源亮度)和倍增(对于增大的代码值)在相当大范围上实质上是抵消的。在图像数据的倍增(对于代码值增大)超过显示的最大值的任何时候，动态范围限制可引起削波伪像。动态范围约束所引起的削波伪像可通过滚降在代码值上端的该增大来消除或减少。此滚降可在最大保真点(MFP)开始，超过该最大保真点则辉度不再与原始辉度相匹配。

在本发明的一些实施例中，可执行以下步骤来补偿光源照度降低或虚拟降低以便于图像增强：

1)源光(背光)降低水平根据辉度减弱百分比来确定；

2)确定最大保真点(MFP)，在该MFP处发生从匹配功率降低输出到全功率输出的滚降。

3)确定补偿色阶算子；

a.在低于MFP之处，增大色阶以补偿显示辉度的减弱；

b.在高于MFP之处，逐渐地滚降色阶(在一些实施例中，保持导数连续)；

4)将色阶映射算子应用于图像；以及

5)发送给显示器。

这些实施例的主要优点是可在仅对狭窄类别的图像有小改变的情况下实现节能。(差异仅在MFP之上出现，且由峰值亮度减弱和一些亮度细节的损失构成)。MFP之下的图像值能以节能模式用与全功率模式相同的辉度显示，从而使得图像的这些区域不能与全功率模式作区分。

本发明的一些实施例可使用取决于功率降低和显示γ、并且与图像数据无关的色阶映射。这些实施例可提供两个优点。首先可能因不同地处理多个帧而产生的闪烁伪像没有产生，其次该算法具有极低的实现复杂性。在一些实施例中，可使用离线色阶设计和在线色阶映射。高亮中的削波可通过指定MFP来控制。

本发明诸实施例的一些方面可相关于图3进行描述。图3是示出对于若干情形的图像代码值与辉度的关系的曲线图。示为虚线的第一曲线32表示以100％功率运行的光源的原始代码值。示为点划线的第二曲线30表示当光源以全功率的80％运行时原始代码值的辉度。示为虚线的第三曲线36表示当代码值被增大以匹配光源以全功率的80％操作时以100％光源照度提供的辉度之时的辉度。示为实线的第四曲线34表示增大的数据，但其中滚降曲线降低了数据高端上削波的效果。

在如图3所示的该示例性实施例中，使用代码值180处的MFP 35。注意，在低于代码值180处，增大曲线34匹配原始100％功率显示的辉度输出32。在180以上，增大曲线平滑过渡到80％显示上所允许的最大输出。该平滑性减少了削波和量化伪像。在一些实施例中，色阶函数可分段定义，以在由MFP 35给出的过渡点处平滑匹配。在MFP 35之下，可使用增大的色阶函数。在MFP 35之上，曲线平滑拟合至该MFP处增大色阶曲线的终点，并拟合至最大代码值[255]处的终点37。在一些实施例中，该曲线的斜率在MFP 35处与增大色阶曲线/直线的斜率相匹配。这可通过使该MFP处直线和曲线函数的导数相等而使MFP之下的直线斜率与MFP之上的曲线斜率相匹配、并且使该点处直线和曲线函数的值相等来实现。对该曲线函数的另一约束可以是它被迫使通过最大值点[255，255]37。在一些实施例中，曲线的斜率在最大值点37处可被设置成0。在一些实施例中，180的MFP值可对应于20％的光源功率降低。

在本发明的一些实施例中，色阶曲线可由与最大保真点(MFP)之下的增益g的线性关系来定义。该色阶可在该MFP之上进一步定义，以使该曲线及其一阶导数在MFP处连续。该连续性表示关于色阶函数的以下形式：

y = \{\begin{matrix} g \cdot x & x < MFP \\ C + B \cdot (x - MFP) + A \cdot {(x - MFP)}^{2} & x &GreaterEqual; MFP \end{matrix}

C＝g·MFP

B＝g

A = \frac{Max - (C + B \cdot (Max - MFP)}{{(Max - MFP)}^{2}}

A = \frac{Max - g \cdot Max}{{(Max - MFP)}^{2}}

A = \frac{Max \cdot (1 - g)}{{(Max - MFP)}^{2}}

y = \{\begin{matrix} g \cdot x & x < MFP \\ g \cdot x + Max \cdot (1 - g) \cdot {(\frac{x - MFP}{Max - MFP})}^{2} & x &GreaterEqual; MFP \end{matrix}

方程4

该增益可通过显示γ和亮度减弱比确定如下：

方程5

在一些实施例中，该MFP值可通过手动平衡高亮细节保持和绝对亮度保持来调谐。

MFP可通过施加斜率在最大点应当为零的约束来确定。这意味着：

方程6

在一些示例性实施例中，以下方程可用来根据一示例性实施例分别计算简单增大数据的代码值、具有削波的增大数据、以及经校正数据。

方程7

色阶_增大(cv)＝(1/x)^1/γ·cv

系数A、B和C可被选择成给出MFP处的平滑拟合以使曲线通过该点[255，255]。这些函数的曲线在图4中示出。

图4是原始代码值与经调节代码值之间关系的曲线图。原始代码值被示为沿原始数据线40的点，该数据线示出在值是原始的且没有进行调节时经调节值与原始值之间的1∶1关系。根据本发明诸实施例，这些值可被增大或调节以表示更高的辉度级。根据以上“色阶增大”方程的简单增大过程可产生沿增大线42的值。因为这些值的显示将导致削波，如线46上图形地和以上“色阶削波”方程中数学地所示，调节可从最大保真点45沿曲线44逐渐过渡至最大值点47。在一些实施例中，此关系可在以上“经校正色阶”方程中数学地描述。

使用这些概念，由具有以100％功率运行的光源的显示器所表示的辉度值可由具有以低功率电平运行的光源的显示器来表示。这通过色阶的增大来实现，这实质上进一步打开了光阀以补偿光源照度的损失。然而，在整个代码值范围上简单应用此增大导致该范围高端上的削波伪像。为防止或减少这些伪像，色阶函数可被平滑滚降。此滚降可受到MFP参数控制。大的MFP值在宽间隔上给出辉度匹配，但增加了代码值高端上的可视量化/削波伪像。

本发明诸实施例可通过调节代码值来操作。在简单的γ显示模型中，代码值的缩放给出具有不同缩放因子的辉度值的缩放。为了确定在更为真实的显示模型中此关系是否保持，可考虑γ偏移增益-杂光(GOG-F)模型。缩放背光功率对应于线性约简方程，其中百分比p被施加于显示的输出而非环境光。已观察到，将增益缩减因子p等效于使增益不作修改，并将数据、代码值和偏置缩放由显示γ确定的因子。在数学上，如果经适当修改，倍乘因子可被拖入功率函数。该经修改因子可缩放代码值和偏置两者。

方程8GOG-F模型

L＝G·(CV+暗)^γ+环境

方程9 线性辉度降低

L_线性约简＝p·G·(CV+暗)^γ+环境

L_线性约简＝G·(p^1/γ·(CV+暗))^γ+环境

L_线性约简＝G·(p^1/γ·CV+p^1/γ·暗)^γ+环境

方程10代码值减小

L_CV约简＝G·(p^1/γ·CV+暗)^γ+环境

本发明的一些实施例可参照图5进行描述。在这些实施例中，可在图像处理之前离线地设计或计算色阶调节，或者在对图像进行处理时可在线地设计或计算该调节。不考虑操作的定时，色阶调节56可基于显示γ50、效率因子52和最大保真点(MFP)54的至少之一来设计或计算。这些因子可在色阶设计过程56中处理以产生色阶调节模型58。色阶调节模型可采取算法、查找表(LUT)或可应用于图像数据的某其它模型的形式。

一旦已创建了调节模型58，它就可应用于图像数据。该调节模型的应用可参照图6进行描述。在这些实施例中，图像被输入(62)且色阶调节模型58被应用(64)于该图像以调节图像代码值。此过程产生可被发送至显示器的输出图像66。色阶调节的应用64通常是一在线过程，但可在条件允许时在图像显示之前进行。

本发明的一些实施例包括用于增强在利用发光像素调制器的诸如LED显示器、等离子显示器和其它类型显示器的显示器上显示的图像的系统和方法。这些相同的系统和方法可用来增强在具有以全功率模式或其它方式运行的光源的利用光阀像素调制器的显示器上显示的图像。

这些实施例与前述实施例相似地工作，但是这些实施例并不对降低的光源照度作补偿，而是像光源已减弱一样简单地增强一像素范围的辉度。以此方式，图像的整体亮度得以改进。

在这些实施例中，在相当大范围的值上原始代码值被增大。对于其它实施例，此代码值调节可如上所述地实现，不同之处在于不会有实际的光源照度降低发生。因此，图像亮度在宽泛范围的代码值上显著增强。

这些实施例的一部分也可参照图3进行说明。在这些实施例中，原始图像的代码值被示为沿曲线30的点。这些值可被增大或调节成具有更高辉度级的值。这些增大的值可被表示为沿曲线34的点，其从零点33延伸至最大保真点35、然后逐渐过渡至最大值点37。

本发明的一些实施例包括反锐化掩模(unsharp masking)处理。在这些实施例的一部分中，反锐化掩模可使用空间变化增益。此增益可根据图像值和经修改色阶曲线的斜率来确定。在一些实施例中，增益阵列的使用使得甚至在图像亮度由于对显示功率的限制而不能倍增时也能匹配图像对比度。

本发明的一些实施例可采取以下处理步骤：

1.计算色阶调节模型；

2.计算高通图像；

3.计算增益阵列；

4.按增益加权高通图像；

5.将低通图像与加权高通图像求和；以及

6.发送给显示器。

本发明的其它实施例可采取以下处理步骤：

1.计算色阶调节模型；

2.计算低通图像；

3.将高通图像计算为图像与低通图像之间的差异；

4.利用图像值和经修改色阶曲线的斜率来计算增益阵列；

5.按增益加权高通图像；

6.将低通图像与加权高通图像求和；以及

7.发送给功率降低的显示器。

使用本发明的一些实施例，可在仅对狭窄类别的图像有小改变的情况下实现节能。(差异仅在MFP之上出现，且由峰值亮度减弱和一些亮度细节的损失组成。)MFP之下的图像值能以节能模式用与全功率模式相同的辉度显示，从而使得图像的这些区域不能与全功率模式作区分。本发明的其它实施例通过减少亮度细节的损失来改善此性能。

这些实施例可包括在空间上改变反锐化掩模以保持亮度细节。与其它实施例相同，可使用在线和离线组件。在一些实施例中，离线组件可通过计算增益映射以及色阶函数来扩展。该增益映射可基于图像值来指定要应用的反锐化滤波器。增益映射值可使用色阶函数的斜率来确定。在一些实施例中，特定点“P”处的增益映射值可被计算为MFP之下色阶函数的斜率与点“P”处的色阶函数的斜率之比。在一些实施例中，色阶函数在MFP之下是线性的，因此增益在MFP之下为1。

本发明的一些实施例可参照图7进行描述。在这些实施例中，可在图像处理之前离线地设计或计算色阶调节，或者在对图像进行处理时可在线地设计或计算该调节。不考虑操作的定时，色阶调节76可基于显示γ70、效率因子72和最大保真点(MFP)74的至少之一来设计或计算。这些因子可在色阶设计过程76中处理以产生色阶调节模型78。色阶调节模型可采取算法、查找表(LUT)或可如上相关于其它实施例所述地应用于图像数据的某些其它模型的形式。在这些实施例中，还计算(75)单独的增益映射77。该增益映射77可应用于特定的图像细分部分，诸如频率范围。在一些实施例中，增益映射可应用于图像的分频部分。在一些实施例中，增益映射可应用于高通图像细分部分。它也可应用于特定的图像频率范围或其它图像细分部分。

示例性色阶调节模型可参照图8进行描述。在这些示例性实施例中，函数过渡点(FTP)84(类似于光源减弱补偿实施例中使用的MFP)被选择，且增益函数被选择成向低于FTP 84的值提供第一增益关系82。在一些实施例中，该第一增益关系可以是线性关系，但其它关系和函数可用来将代码值转变成增强代码值。在FTP 84之上，可使用第二增益关系86。该第二增益关系86可以是将FTP 84与最大值点88连结在一起的函数。在一些实施例中，该第二增益关系86可在FTP 84处匹配第一增益关系82的值和斜率，并通过最大值点88。如以上相关于其它实施例描述的其它关系以及另外的关系也可用作第二增益关系86。

在一些实施例中，增益映射77可相关于如图8所示的色阶调节模型来计算。示例性增益映射77可相关于图9进行描述。在这些实施例中，增益映射函数与色阶调节模型78相关，其作为色阶调节模型的斜率的函数。在一些实施例中，特定码值上增益映射函数的值根据色阶调节模型在FTP之下的任一代码值处的斜率与色阶调节模型在该特定代码值处的斜率之比来确定。在一些实施例中，此关系可用方程11来数学表达：

方程11

在这些实施例中，在FTP之下的增益映射函数等于1，在该FTP处色阶调节模型产生线性上升。对于FTP之上的代码值，增益映射函数随着色阶调节模型的斜率递减而快速增大。此增益映射函数的急剧增大增强了其所应用的图像部分的对比度。

图8所示的示例性色阶调节因子和图9所示的示例性增益映射函数使用80％的显示百分比(源光减弱)、2.2的显示γ和180的最大保真度点来计算。

在本发明的一些实施例中，可在应用色阶调节模型之后应用反锐化掩模操作。在这些实施例中，用反锐化掩模技术来减少伪像。

本发明的一些实施例可参照图10进行描述。在这些实施例中，原始图像102被输入且色阶调节模型103被应用于该图像。该原始图像102还被用作产生增益映射的增益映射处理105的输入。色阶调节图像然后通过低通滤波器104处理，从而产生低通调节图像。该低通调节图像然后从色阶调节图像减去(106)以产生高通调节图像。此高通调节图像然后乘以(107)增益映射中的适当值以提供增益调节高通图像，该增益调节高通图像然后加至(108)已用色阶调节模型调节的低通调节图像。此相加产生具有增强亮度和改善高频对比度的输出图像109。

在这些实施例的一部分中，对于图像的每个像素的每个分量，增益值根据该像素处的增益映射和图像值来确定。在应用该色阶调节模型之前，原始图像102可用来确定增益。高通图像的每个像素的每个分量在加回至低通图像之前还可被缩放相应增益值。在增益映射函数为1的点处，反锐化掩模操作没有修改图像值。在增益映射函数超过1的点处，对比度增大。

本发明的一些实施例通过将图像分解成多个频带来解决在增大代码值亮度时高端代码值中对比度的损失。在一些实施例中，色阶函数可应用于低通频带，从而增大图像数据的亮度以补偿低功率设置上的源光辉度降低，或简单地增大所显示图像的亮度。对应地，恒定增益可应用于高通频带，从而甚至在由于较低显示功率而使平均绝对亮度降低的区域中保持图像对比度。示例性算法的运算通过以下步骤给出：

1.执行原始图像的频率分解

2.将亮度保持、色阶映射应用于低通图像

3.将常数乘法器应用于高通图像

4.将低通图像和高通图像求和

5.将结果发送给显示器

针对源光照度降低应用，色阶函数和恒定增益可通过创建原始图像的全功率显示与过程图像的低功率显示之间的光度匹配来离线确定。色阶函数还可针对亮度增强应用来离线确定。

对于适中的MFP值，这些恒定高通增益实施例和反锐化掩模实施例在其性能方面几乎不可分辨。这些恒定高通增益实施例与反锐化掩模实施例相比具有三个主要优点：降低的噪声敏感度、使用较大MFP/FTP的能力、以及使用当前显示系统中的处理步骤。反锐化掩模实施例使用作为色阶曲线的斜率的倒数的增益。当此曲线的斜率较小时，此增益招致大的放大噪声。此噪声放大还可对MFP/FTP的大小设置实际限制。第二优点是扩展至任意MFP/FTP值的能力。第三优点来自对算法在系统内的放置的检查。恒定高通增益实施例和反锐化掩模实施例使用频率分解。在频率分解之前，恒定高通增益实施例首先执行此操作，而一些反锐化掩模实施例则首先应用色阶函数。诸如去轮廓的一些系统处理将在亮度保持算法之前执行频率分解。在这些情形中，频率分解可由一些恒定高通实施例使用，由此消除转换步骤，而一些反锐化掩模实施例必须倒转频率分解、应用色阶函数、以及执行附加频率分解。

本发明的一些实施例通过在应用色阶函数之前基于空间频率拆分图像来防止高端代码值中对比度的损失。在这些实施例中，具有滚降的色阶函数可应用于图像的低通(LP)分量。在光源照度降低补偿应用中，这将提供低通图像分量的整体辉度匹配。在这些实施例中，高通(HP)分量被均匀增大(恒定增益)。频率分解信号可按需重组和削波。因为高通分量没有经过色阶函数的滚降，所以细节得以保留。低通色阶函数的平滑滚降保持净空以添加增大的高通对比度。没有发现可能在此最终组合中发生的削波显著地减少了细节。

本发明的一些实施例可参照图11进行描述。这些实施例包括分频或频率分解111、低通色阶映射112、恒定高通增益或增大116、以及增强图像分量的求和或重组115。

在这些实施例中，输入图像110被分解成多个空间频带111。在使用两个频带的示例性实施例中，这可使用低通(LP)滤波器111来执行。通过经由滤波器111计算LP信号和从原始信号减去(113)该LP信号以形成高通(HP)信号118来执行分频。在示例性实施例中，可将空间5x5整流滤波器用于此分解，尽管可使用另一滤波器。

该LP信号然后可通过应用色阶映射进行处理，如对先前所述实施例所讨论地。在一示例性实施例中，这可用光度匹配LUT来实现。在这些实施例中，与一些先前所述的反锐化掩模实施例相比，可使用MFP/FTP的较高值，因为大多数细节已在滤波111时提取。通常不应当使用削波，因为通常应当保留用以添加对比度的一些净空。

在一些实施例中，MFP/FTP可自动被确定且可被设置成使色阶曲线的斜率在上限处为0。以此方式确定的一系列色阶函数在图12中示出。在这些实施例中，MFP/FTP的最大值可被确定为使色阶函数在255处的斜率为0。这是不会引起削波的最大MFP/FTP值。

在如参照图11所述的本发明的一些实施例中，处理HP信号118与在处理低通信号时使用的MFP/FTP的选择无关。该HP信号118用恒定增益116处理，该恒定增益116在功率/光源照明降低时或图像码值以其它方式增大以改进亮度时将保持对比度。按照全背光功率(BL)或降低背光功率的HP信号增益116的公式作为高通增益方程在以下立即给出。HP对比度增大对噪声是稳健的，因为增益通常较小(例如针对80％的功率降低和γ2.2，增益为1.1)。

方程12

在一些实施例中，一旦已通过LUT处理或以其它方式将色阶映射112应用于LP信号，并且已将恒定增益116应用于HP信号，就可对这些频率分量求和(115)并且在一些情形中对其削波。当添加至LP值的增大HP值超过255时，削波可能是必要的。这通常仅对具有高对比度的明亮信号相关。在一些实施例中，通过色阶LUT结构确保LP信号不超出上限。HP信号可引起总和中的削波，但HP信号的负值永不会削波，从而甚至在削波的确发生时保持某个对比度。

图像相关源光实施例

在本发明的一些实施例中，显示光源照度级可根据所显示图像、先前显示图像、要在所显示图像之后显示的图像或其它组合的特征来调节。在这些实施例中，显示光源照度级可根据图像特征变化。在一些实施例中，这些图像特征可包括图像辉度级、图像色度级、图像直方图特征以及其它图像特征。

一旦已查明图像特性，光源(背光)照度级就可变化以增强一个或多个图像属性。在一些实施例中，光源级可减小或增大以增强较暗或较亮的图像区域中的对比度。光源照度级也可增大或减小以增大图像的动态范围。在一些实施例中，光源级可被调节以最优化每个图像帧的功耗。

当不管出自何因光源级已被修改时，图像像素的代码值可使用色阶调节来调节以进一步改进该图像。如果光源级已被减小以保存功率，则像素值可被增大以重获所丢失的亮度。如果光源级已被更改以增强特定辉度范围内的对比度，则像素值可被调节以补偿另一范围内的降低对比度或进一步增强该特定范围。

在本发明的一些实施例中，如图13所示，图像色阶调节可取决于图像内容。在这些实施例中，可分析(130)图像以确定图像特性。图像特性可包括辉度通道特性，诸如作为图像平均辉度的平均图片级(APL)、最大辉度值、最小辉度值、诸如直方图均值的辉度直方图数据、最频繁的直方图值等、以及其它辉度特性。图像特性还可包括色彩特性，诸如单个色彩通道(例如RGB信号中的R,G & B)的特性。每个色彩通道可被独立分析以确定色彩通道专属图像特性。在一些实施例中，对每个色彩通道可使用一单独的直方图。在其它实施例中，结合有关于图像数据的空间分布的团块直方图(blob histogram)数据可被用作图像特性。图像特性还可包括视频帧之间的时间改变。

一旦已分析了(130)图像且已确定了特性，就可基于该图像特性的值计算色阶映射或从一组预先计算的映射中选择一色阶映射(132)。然后该映射可应用于(134)图像以补偿背光调节或以其它方式增强该图像。

本发明的一些实施例可关于图14进行描述。在这些实施例中，图像分析器142接收图像140并确定可用来选择色阶映射的图像特性。这些特性然后被发送至色阶映射选择器143，其基于这些图像特性确定适当的映射。此映射选择然后可发送至图像处理器145，以供将该映射应用于图像140。图像处理器145将接收映射选择和原始图像数据，并用所选色阶映射144处理原始图像，由此产生经调节图像，该经调节图像被发送至显示器146以供向用户显示。在这些实施例中，储存一个或多个色阶映射144以供基于图像特性作出选择。这些色阶映射144可预先被计算并储存为表格或某其它数据格式。这些色阶映射144可包括简单的γ转换表、利用以上相关于图5、7、10和11所述的方法创建的增强映射、或其它映射。

本发明的一些实施例可关于图15进行描述。在这些实施例中，图像分析器152接收图像150并确定可用来计算色阶映射的图像特性。这些特性然后被发送至色阶映射计算器153，其可基于这些图像特性计算适当的映射。所计算的映射然后可发送至图像处理器155，以供将该映射应用于图像150。图像处理器155将接收所计算映射154和原始图像数据，并用该色阶映射154处理该原始图像，由此产生经调节图像，该经调节图像被发送至显示器156以供向用户显示。在这些实施例中，基于图像特性基本上实时地计算色阶映射154。所计算的色阶映射154可包括简单的γ转换表、利用以上相关于图5、7、10和11所述的方法创建的增强映射、或另一映射。

本发明的其它实施例可关于图16进行描述。在这些实施例中，光源照度级可取决于图像内容，而色阶映射也取决于图像内容。然而，源光计算通道和色阶映射通道之间不一定有任何通信。

在这些实施例中，分析图像(160)以确定源光或色阶映射计算所需的图像特性。此信息然后被用来计算适于该图像的源光照度级161。该源光数据然后被发送(162)至显示器以供在显示图像时变更源光(例如背光)。图像特性数据还被发送至色阶映射通道，在其中基于图像特性信息选择或计算(163)色阶映射。该映射然后被应用于(164)图像以产生发送至显示器(165)的增强图像。为图像计算的源光信号与增强图像数据同步，以使源光信号与增强图像数据的显示相一致。

如图17所示的这些实施例的一部分采用所储存的色阶映射，这些色阶映射可包括简单的γ转换表、利用以上相关于图5、7、10和11所述的方法创建的增强映射、或另一映射。在这些实施例中，图像170被发送至图像分析器172以确定与色阶映射和源光计算相关的图像特性。这些特性然后被发送至源光计算器177以供确定适当的源光照度级。一些特性还可被发送至色阶映射选择器173，以供在确定适当的色阶映射174时使用。原始图像170和映射选择数据然后被发送至图像处理器175，该图像处理器175取回所选映射174并将该映射174应用于图像170以创建增强图像。此增强图像然后被发送至显示器176，该显示器176还接收来自源光计算器177的源光级信号，并使用该信号来在显示增强图像时调制源光179。

图18所示的这些实施例中的一部分可在传输过程中计算色阶映射。这些映射可包括简单的γ转换表、利用以上相关于图5、7、10和11所述的方法创建的增强映射、或另一映射。在这些实施例中，图像180被发送至图像分析器182以确定与色阶映射和源光计算相关的图像特性。这些特性然后被发送至源光计算器187以供确定适当的源光照度级。一些特性还可被发送至色阶映射计算器183，以供在计算适当的色阶映射184时使用。原始图像180和所计算的映射184然后被发送至图像处理器185，该图像处理器185将映射184应用于图像180以创建增强图像。此增强图像然后被发送至显示器186，该显示器186还接收来自源光计算器187的源光级信号，并使用该信号来在显示增强图像时调制源光189。

本发明的一些实施例可参照图19进行描述。在这些实施例中，分析图像(190)以确定相关于源光和色阶映射计算与选择的图像特性。这些特性然后用来计算(192)源光照度级。该源光照度级然后被用来计算或选择色阶调节映射(194)。此映射然后应用于(196)该图像以创建增强图像。该增强图像和源光级数据然后被发送(198)至显示器。

用于相关于图19所述方法的装置可参照图20进行描述。在这些实施例中，在确定图像特性的图像分析器202处接收图像200。图像分析器202然后可将图像特性数据发送至源光计算器203以供确定源光级。源光级数据然后可被发送至色阶映射选择器或计算器204，该色阶映射选择器或计算器204可基于光源级计算或选择色阶映射。所选映射207或所计算映射然后可连同原始图像一起被发送至图像处理器205，以供将该映射应用于原始图像。该过程将产生增强图像，该增强图像与源光级信号一起被发送至显示器206，该源光级信号被用来在显示图像时调制显示源光。

在本发明的一些实施例中，源光控制单元负责选择源光减弱，这将维持图像质量。关于在自适应阶段保持图像质量的能力的知识用来引导对源光级的选择。在一些实施例中，重要的是意识到在图像较亮或图像包含高度饱和色彩即代码值为255的蓝色时需要高源光级。仅使用辉度来确定背光级可在具有低辉度但大代码值即饱和蓝色或红色的图像的情况下引起伪像。在一些实施例中，可检查每个色彩面，并基于所有色彩面的最大值作出决定。在一些实施例中，背光设置可基于经削波的单个特定百分比的像素。在图22所示的其它实施例中，背光调制算法可使用两个百分比：削波像素百分比236和畸变像素百分比235。选择具有这些不同值的背光设置向色阶计算器提供平滑滚降色阶函数而非强加硬削波的空间。给定输入图像，确定每个色彩面的代码值的直方图。给定两个百分比P_削波236和P_畸变235，检查每个色彩面221-223的直方图以确定对应于这些百分比224-226的代码值。这给出了C_削 _波(色彩)228和C_畸变(色彩)227。不同色彩面之中的最大经削波代码值234和最大经畸变代码值233可用来确定背光设置229。此设置确保对于每个色彩面，至多指定百分比的代码值将被削波或畸变。

方程13

通过检查将被用于补偿的色阶(TS)函数并选择背光(BL)百分比以使该色阶函数将在代码值Cv_削波234下在255处削波，BL百分比得以确定。该色阶函数在值Cv_畸变(此斜率之值将对BL减弱作补偿)之下将是线性的，在255处对Cv_削波之上的代码值将是恒定的，且具有连续导数。检查这些导数阐明如何选择较低斜率并因此阐明如何选择背光功率，以使对低于Cv_畸变的代码值而言不会有图像畸变。

在如图21所示的TS导数的曲线中，值H是未知的。对于将Cv_削波映射至255的TS，TS导数之下的面积必须是255。该限制允许如下地确定H之值。

方程14

BL百分比根据代码值增大和显示γ以及对畸变点之下代码值的准确补偿的标准来确定。将在Cv_削波处削波并允许从Cv_畸变之下无畸变的平滑过渡的BL比由以下方程给出：

方程15

另外为了解决BL变化的问题，对BL比设置上限。

方程16

时间低通滤波231可应用于以上导出的图像相关BL信号以补偿LCD与BL之间同步的缺失。示例性背光调制算法的示图在图22中示出，在其它实施例中可使用不同的百分比和值。

色阶映射可补偿所选背光设置，同时最小化图像畸变。如上所述，背光选择算法基于对应色阶映射运算的能力来设计。所选BL级允许色阶函数补偿背光级而对第一指定百分比以下的代码值无畸变，并对第二指定百分比以上的代码值削波。该两个指定百分比允许色阶函数在无畸变和削波范围之间平滑转换。

环境光感测实施例

本发明的一些实施例包括环境照度传感器，其可向图像处理模块和/或源光控制模块提供输入。在这些实施例中，包括色阶调节、增益映射和其它修改的图像处理可与环境照度特性相关。这些实施例还可包括与环境照度特性相关的源光或背光调节。在一些实施例中，源光和图像处理可在单个处理单元中组合。在其它实施例中，这些功能可由单独的单元来执行。

本发明的一些实施例可参照图23进行描述。在这些实施例中，环境照度传感器270可被用作图像处理方法的输入。在一些示例性实施例中，输入图像260可基于来自环境照度传感器270和源光268级的输入来被处理。为了节电或出于其它原因，可调制或调节诸如用于照亮LCD显示面板266的背光的源光268。在这些实施例中，图像处理器262可接收来自环境照度传感器270和源光268的输入。基于这些输入，图像处理器262可修改输入图像以应对环境条件和源光268照度级。输入图像260可根据以上针对其它实施例所述方法的任一种方法或通过其它方法来修改。在一示例性实施例中，色阶映射可应用于该图像以相对于降低的源光照度和环境照度变化来增大图像像素值。经修改图像264然后可在诸如LCD面板的显示面板266上配准。在一些实施例中，当环境光低时源光照度级可降低，并且当色阶调节或其它像素值处理技术被用来补偿源光照度降低时，源光照度级可被进一步降低。在一些实施例中，当环境照度降低时源光照度级可被降低。在一些实施例中，当环境照度达到上阈值和/或下阈值时，源光照度级可被提高。

本发明的一些实施例可参照图24进行描述。在这些实施例中，在图像处理单元282处接收输入图像280。输入图像280的处理还可取决于来自环境照度传感器290的输入。此处理还可取决于来自源光处理单元294的输出。在一些实施例中，源光处理单元294可接收来自环境照度传感器290的输入。一些实施例还可接收来自设备模式指示器292的输入，诸如可指示设备功耗模式、设备电池状况或某些其它设备状况的功率模式指示器。源光处理单元294可使用环境光状况和/或设备状况来确定源光照度级，该源光照度级被用来控制将照亮诸如LCD显示器286的显示器的源光288。源光处理单元还可将源光照度级和/或其它信息传递给图像处理单元282。

图像处理单元282可使用来自源光处理单元294的源光信息来确定用于处理输入图像280的处理参数。该图像处理单元282可应用色阶调节、增益映射或其它过程来调节图像像素值。在一些示例性实施例中，此过程将改进图像亮度和对比度，并且部分或全部地补偿光源照度减弱。图像处理单元282处理的结果是经调节图像284，该经调节图像284可被发送至可被源光288照亮的显示器286。

本发明的其他实施例可参照图25进行描述。在这些实施例中，在图像处理单元302处接收输入图像300。输入图像300的处理可取决于来自环境照度传感器310的输入。此处理还可取决于来自源光处理单元314的输出。在一些实施例中，源光处理单元314可接收来自环境照度传感器310的输入。一些实施例还可接收来自设备模式指示器312的输入，诸如可指示设备功耗模式、设备电池状况或某其它设备状况的功率模式指示器。源光处理单元314可使用环境光状况和/或设备状况来确定源光照度级，该源光照度级被用来控制将照亮诸如LCD显示器306的显示器的源光308。该源光处理单元还可将源光照度级和/或其它信息传递给图像处理单元302。

图像处理单元302可使用来自源光处理单元314的源光信息来确定用于处理输入图像300的处理参数。图像处理单元302还可使用来自环境照度传感器310的环境照度信息来确定用于处理输入图像300的处理参数。该图像处理单元302可应用色阶调节、增益映射或其它过程来调节图像像素值。在一些示例性实施例中，此过程将改进图像亮度和对比度，并且部分或全部地补偿光源照度减弱。图像处理单元302处理的结果是经调节图像304，该经调节图像304可被发送至可被源光308照亮的显示器306。

本发明的另一些实施例可参照图26进行描述。在这些实施例中，在图像处理单元322处接收输入图像320。输入图像320的处理可取决于来自环境照度传感器330的输入。此处理还可取决于来自源光处理单元334的输出。在一些实施例中，源光处理单元334可接收来自环境照度传感器330的输入。在其它实施例中，环境信息可从图像处理单元322接收。源光处理单元334可使用环境光状况和/或设备状况来确定中间源光照度级。此中间源光照度级可被发送至源光后处理器332，该源光后处理器332可采取量化器、定时处理器或可修改中间源光照度级以适应特定设备的需求的某其它模块的形式。在一些实施例中，源光后处理器332可针对光源328类型和/或诸如视频应用程序的图像处理应用程序所强加的定时限制来修改光源控制信号。然后该经后处理的信号可被用来控制将照亮诸如LCD显示器326的显示器的源光328。源光处理单元还可将经后处理的源光照度级和/或其它信息传递给图像处理单元322。

图像处理单元322可使用来自源光后处理器332的源光信息来确定用于处理输入图像320的处理参数。图像处理单元322还可使用来自环境照度传感器330的环境照度信息来确定用于处理输入图像320的处理参数。该图像处理单元322可应用色阶调节、增益映射或其它过程来调节图像像素值。在一些示例性实施例中，此过程将改进图像亮度和对比度，并且部分或全部地补偿光源照度减弱。图像处理单元322处理的结果是经调节图像344，该经调节图像344可被发送至可被源光328照亮的显示器326。

本发明的一些实施例可包括单独的图像分析模块342、362和图像处理模块343、363。尽管这些单元可被集成在单个组件中或单个芯片上，但它们被例示和描述为单独的模块以便于更佳地描述其交互。

本发明的一些实施例可参照图27进行描述。在这些实施例中，在图像分析模块342处接收输入图像340。该图像分析模块可分析图像以确定图像特性，该图像特性可被传递至图像处理模块343和/或源光处理模块354。输入图像340的处理可取决于来自环境照度传感器330的输入。在一些实施例中，源光处理模块354可接收来自环境照度传感器350的输入。源光处理单元354也可接收来自设备状况或模式传感器352的输入。源光处理单元354可使用环境光状况、图像特性和/或设备状况来确定源光照度级。此源光照度级可被发送至将照亮诸如LCD显示器346的显示器的源光348。源光处理模块354还可将经后处理的源光照度级和/或其它信息传递给图像处理模块343。

图像处理模块322可使用来自源光处理模块354的源光信息来确定用于处理输入图像340的处理参数。图像处理模块343还可使用通过源光处理模块354从环境照度传感器350传递的环境照度信息。此环境照度信息可用来确定用于处理输入图像340的处理参数。该图像处理模块343可应用色阶调节、增益映射或其它过程来调节图像像素值。在一些示例性实施例中，此过程将改进图像亮度和对比度，并且部分或全部地补偿光源照度减弱。图像处理模块343处理的结果是经调节图像344，该经调节图像344可被发送至可被源光348照亮的显示器346。

本发明的一些实施例可参照图28进行描述。在这些实施例中，在图像分析模块362处接收输入图像360。该图像分析模块可分析图像以确定图像特性，该图像特性可被传递至图像处理模块363和/或源光处理模块374。输入图像360的处理可取决于来自环境照度传感器370的输入。此处理还可取决于来自源光处理模块374的输出。在一些实施例中，环境信息可从图像处理模块363接收，该图像处理模块363可接收来自环境传感器370的环境信息。此环境信息可通过中途的图像处理模块363传递和/或处理，并传递给源光处理模块374。设备状况或模式也可从设备模块372被传递至源光处理模块374。

源光处理单元374可使用环境光状况和/或设备状况来确定源光照度级。此源光照度级可被用来控制将照亮诸如LCD显示器366的显示器的源光368。源光处理单元374还可将源光照度级和/或其它信息传递给图像处理单元363。

图像处理模块363可使用来自源光处理模块374的源光信息来确定用于处理输入图像360的处理参数。图像处理模块363还可使用来自环境照度传感器370的环境照度信息来确定用于处理输入图像360的处理参数。该图像处理模块363可应用色阶调节、增益映射或其它过程来调节图像像素值。在一些示例性实施例中，此过程将改进图像亮度和对比度，并且部分或全部地补偿光源照度减弱。图像处理模块363处理的结果是经调节图像364，该经调节图像364可被发送至可被源光368照亮的显示器366。

畸变自适应功率管理实施例

本发明的一些实施例包括用于解决包括移动设备和应用的显示设备的功率需要、显示特性、周围环境和电池限制的方法和系统。在一些实施例中，可使用三个族系的算法：显示功率管理算法、背光调制算法、以及亮度保持(BP)算法。尽管功率管理在电池供电的移动设备中具有较高优先级，但这些系统和方法也可应用于其它设备，这些设备可受益于出于节能、热管理和其它目的的功率管理。在这些实施例中，这些算法可相互作用，但它们的独特功能可包括：

功率管理-这些算法利用视频内容中的变化来管理一系列帧上的背光功率，从而最优化功耗。

背光调制-这些算法选择要用于单个帧的背光功率电平，并利用图像内的统计数据来最优化功耗。

亮度保持-这些算法处理每个图像以补偿降低的背光功率并保持图像亮度，同时避免伪像。

本发明的一些实施例可参照图29描述，图29包括指示这些实施例的组件的交互的简化框图。在一些实施例中，功率管理算法406可管理视频、图像序列或其它显示任务上的固定电池资源402，并可保证指定平均功耗同时保持质量和/或其它特性。背光调制算法410可接收来自功率管理算法406的指令，并以功率管理算法406所定义的限制为依据选择功率电平来有效地表示每个图像。亮度保持算法414可使用所选背光级415和可能的削波值413来处理图像，从而补偿减弱的背光。

显示功率管理

在一些实施例中，显示功率管理算法406可管理视频、图像序列或其它显示任务上的功率使用分布。在一些实施例中，显示功率管理算法406可分派电池的固定能量来提供得到保证的工作寿命、同时保持图像质量。在一些实施例中，功率管理算法的一个目标是提供得到保证的对电池寿命的较低限制，以确保移动设备的可用性。

恒定功率管理

符合任意目标的一种形式的功率控制是要选择将符合期望寿命的固定功率。示出基于恒定功率管理的系统的系统框图在图30中示出。要点在于功率管理算法436仅基于电池充满度432和期望寿命434来选择恒定背光功率。针对此背光级444的补偿442对每个图像446执行。

方程17 恒定功率管理

背光级444以及因此功耗与图像数据440无关。一些实施例可支持多个恒定功率模式，从而允许功率电平的选择基于功率模式作出。在一些实施例中，图像相关的背光调制不可用来简化系统实现。在其它实施例中，一些恒定功率电平可基于工作模式或用户偏好设置和选择。一些实施例可在单个降低功率电平即最大功率的75％的情况下使用此概念。

简单自适应功率管理

本发明的一些实施例可参照图31进行描述。这些实施例包括自适应功率管理算法456。因背光调制460引起的功率降低455被反馈回功率管理算法456，从而使图像质量得以改进、同时仍然提供期望系统寿命。

在一些实施例中，通过如方程18中随时间更新静态最大功率计算，图像相关背光调制情况下的节能可被包括在功率管理算法中。自适应功率管理可包括计算剩余电池充满度(mA-Hr)与剩余期望寿命(Hr)之比以向背光调制算法460给出功率上限(mA)。一般而言，背光调制460可选择此最大值之下的实际功率，从而进一步节能。在一些实施例中，因背光调制导致的节能可用通过剩余电池电荷或运行中平均选择功率的变化值的反馈的形式来反映，并因此影响后续的功率管理决定。

方程18 自适应功率管理

在一些实施例中，如果电池状态信息不可用或不准确，则通过计算显示器所使用的能量即平均所选功率乘以工作时间、并且从初始电池电荷减去此能量，可估计剩余电池电荷。

方程19 估计剩余电池电荷

显示器所使用能量(t)＝平均所选功率·t

剩余电荷(t)＝初始电荷-显示器所使用能量(t)

后一技术具有不与电池交互即可完成的优点。

功率-畸变管理

发明人已观察到，在畸变与功率之间关系的研究中，许多图像在相同功率下展现极为不同的畸变。由于高功率使用产生的黑电平的上升，那些诸如曝光不足照片的具有低对比度的暗淡图像实际上在低功率下能显示得更好。功率控制算法可能以图像畸变来交换电池容量，而不是直接功率设置。在本发明的一些实施例中，如图29所示，功率管理技术可包括诸如最大畸变值的畸变参数403、以及给予背光控制算法410的最大功率401。在这些实施例中，功率管理算法406可使用来自背光调制算法410的当前图像的功率/畸变特性405形式的反馈。在一些实施例中，最大图像畸变可基于目标功率和当前帧的功率-畸变特性而被修改。在这些实施例中，除关于实际所选功率的反馈之外，功率管理算法可选择和提供畸变目标403，且可接收关于相应图像畸变405的反馈以及关于电池充满度402的反馈。在一些实施例中，可在功率控制算法中使用附加输入，诸如：环境电平408、用户偏好、以及工作模式(即视频/图形)。

本发明的一些实施例可尝试在一视频序列上最佳地分派功率、同时保持显示质量。在一些实施例中，对于给定视频序列，可将两个标准用于在所用总功率与图像畸变之间选择折衷。可使用最大图像畸变和平均图像畸变。在一些实施例中，这些项可被最小化。在一些实施例中，最小化图像序列上的最大畸变可通过对该序列中的每个图像使用相同畸变来实现。在这些实施例中，功率管理算法406可选择此畸变403，从而使背光调制算法410能选择符合此畸变目标403的背光级。在一些实施例中，当对每个图像选择的功率使得功率畸变曲线的斜率相等时，可实现最小化平均畸变。在此情形中，功率管理算法406可依赖于背光调制算法410选择功率畸变曲线的斜率，从而选择适当的背光级。

图32A和32B可用来例示在功率管理过程中考虑畸变时的节能。图32A是图像序列的连续帧的源光功率电平的曲线图。图32A示出维持多个帧之间的恒定畸变480所需的源光功率电平与恒定畸变曲线的平均功率482。图32B是图像序列的相同连续帧的图像畸变的曲线图。图32B示出因维持恒定功率设置产生的恒定功率畸变484、在整个序列中因维持恒定畸变产生的恒定畸变电平488、以及维持恒定功率时的平均恒定功率畸变486。恒定功率电平已被选择为等于恒定畸变结果的平均功率。由此，两种方法使用相同的平均功率。通过检查畸变发现，恒定功率484给出图像畸变中的显著变化。还注意到，尽管两者使用相同平均功率，但恒定功率控制的平均畸变486是恒定畸变算法的畸变488的10倍以上。

实际上，对于一些应用而言，因为原始与降低功率图像之间的畸变必须在功率畸变函数的每一点上计算以评估功率-畸变折衷，所以可以证明最优化来使得一视频序列上的最大或平均畸变最小化过于复杂。每次畸变评估可要求计算背光减弱和相应的补偿性图像增亮，并将其与原始图像作比较。因此，一些实施例可包括用于计算或估计畸变特性的更简单方法。

在一些实施例中，可使用一些近似。首先，观察到诸如均方差(MSE)的逐点畸变度量可根据图像代码值的直方图而非图像本身计算，如在方程20中所表达的。在此情形中，直方图是相对于在320x240分辨率下具有7680个样本的图像仅具有256个值的一维信号。这可通过按需对直方图进行二次采样来进一步缩减。

在一些实施例中，通过假设用在补偿阶段中削波而非应用实际补偿算法图像得以简单缩放，可作出近似。在一些实施例中，在畸变度量中包括黑电平升高项也可能是有价值的。在一些实施例中，使用此项可能意味着针对全黑帧的最小畸变在零背光时发生。

方程20 简化畸变计算

在一些实施例中，为了计算给定功率电平下的畸变，对于每个代码值，可确定削波情况下的线性增大所引起的畸变。该畸变然后可按代码值的频率加权并求和以给出指定功率电平下的平均图像畸变。在这些实施例中，用于亮度补偿的简单线性增大不会给出供图像显示的可接受质量，但用作供计算背光变化所引起的图像畸变的估计结果的简单源。

在如图33所示的一些实施例中，为了控制功耗和图像畸变两者，功率管理算法500不仅可跟踪电池充满度506和剩余寿命508，而且也可控制图像畸变510。在一些实施例中，功耗上限512和畸变目标511可被提供给背光调制算法502。该背光调制算法502然后可选择符合功率限制和畸变目标两者的背光级512。

背光调制算法(BMA)

背光调制算法502负责选择用于每个图像的背光级。此选择可基于要显示的图像和来自功率管理算法500的信号。通过尊重功率管理算法500所提供的对增大功率的限制512，可在期望寿命期间管理电池506。在一些实施例中，背光调制算法502可依赖于当前图像的统计数据来选择较低功率。这可以是对具体图像的节能之源。

一旦选择了适当的背光级415，背光416即被设置成所选电平，且此电平415被给予亮度保持算法414以确定必要补偿。对于一些图像和序列，允许少量的图像畸变可大大地降低所需背光功率。因此，一些实施例包括允许受控的图像畸变量的算法。

图34是示出针对若干容限的畸变作为帧数的函数的样本DVD剪辑上节能的量的曲线图。具有零畸变的像素的百分比从100％变到97％再变到95％，且该视频剪辑上的平均功率被确定。平均功率的范围为从95％到60％。由此允许5％的像素畸变给出了附加35％的节能。这表明通过允许少量的图像畸变使显著节能成为可能。如果亮度保持算法能在引入少量畸变的同时保持主观质量，则可获得显著的节能。

本发明的一些实施例可参照图30进行描述。这些实施例还可包括来自环境光传感器438的信息，并且可针对移动应用降低复杂性。这些实施例包括由功率管理算法436提供的静态直方图百分比限制和动态最大功率限制。一些实施例可包括恒定功率目标，而其它实施例可包括更为复杂的算法。在一些实施例中，可通过计算各个色彩分量的直方图来分析图像。该直方图中出现指定百分比的代码值可针对每个色彩平面来计算。在一些实施例中，目标背光级可被选择成使代码值中的线性增大将仅仅引起从直方图中选出的代码值的削波。实际背光级可被选择为此目标电平和功率管理算法436所提供的背光级限值中的最小值。这些实施例可提供得到保证的功率控制，并且在可达到功率控制限制的情形中可允许有限量的图像畸变。

方程21 基于直方图百分比的功率选择

P_所选＝min(P_目标，P_最大值)

基于图像畸变的实施例

本发明的一些实施例可包括由功率管理算法提供的畸变限制和最大功率限制。图32B和34示出给定背光功率电平下的畸变的量根据图像内容来显著地改变。每个图像的功率-畸变行为的属性可在背光选择过程中利用。在一些实施例中，可通过计算各个色彩分量的直方图来分析当前图像。通过使用方程20的第二表达式计算一功率值范围上的畸变，可计算限定畸变(例如MSE)的功率畸变曲线。背光调制算法可选择具有指定畸变限值处或之下的畸变的最小功率作为目标电平。该背光级然后可被选择为此目标电平和功率管理算法所提供的背光级限值中的最小值。此外，所选电平下的图像畸变可被提供给功率管理算法以引导畸变反馈。功率畸变曲线和图像直方图的采样频率可被降低以控制复杂性。

亮度保持(BP)

在一些实施例中，BP算法基于所选背光级来增亮图像以补偿减弱照度。BP算法可控制引入到显示中的畸变，并且BP算法保持质量的能力规定背光调制算法可尝试节约多少功率。一些实施例可通过缩放图像并且削波超过255的值来补偿背光减弱。在这些实施例中，背光调制算法必须对降低功率持保守态度，否则烦扰的削波伪像将被引入，由此限制可能的节能。一些实施例被设计成以固定的功率降低保持要求最高的帧上的质量。这些实施例的一部分补偿单个背光级(即75％)。其它实施例可被通用化以供背光调制之用。

亮度保持(BP)算法的一些实施例可利用对作为背光和图像数据的函数的从显示器输出的辉度的描述。利用该模型，BP可确定对图像的修改以补偿背光的减弱。就透射反射型显示器而言，BP模型可被修改以包括显示器反射方面的描述。从显示器输出的辉度成为背光、图像数据和环境的函数。在一些实施例中，BP算法可确定对图像的修改以补偿给定周围环境中背光的减弱。

环境影响

由于实现约束，一些实施例可包括用于确定BP参数的复杂性有限的算法。例如，开发完全在LCD模块上运行的算法限制了该算法可用的处理和存储器。在该示例中，对不同背光/环境组合产生替换γ曲线可用于一些BP实施例。在一些实施例中，可能需要对γ曲线的数量和分辨度作出限制。

功率/畸变曲线

本发明的一些实施例可获取、估算、计算或以其它方式确定包括但不限于视频序列帧的图像的功率/畸变特性。图35是示出4个示例性图像的功率/畸变特性的曲线图。在图35中，图像C的曲线520对整个源光功率带保持负斜率。图像A、B和D的曲线522、524和526以负斜率下降直至达到最小值，然后以正斜率上升。对于图像A、B和D，增大源光功率实际上将在曲线的具有正斜率528的特定范围上增加畸变。这可能是由诸如但不限于LCD渗漏、或使所显示图像在观看者看来与代码值始终不同的其它显示不规则的显示特性引起的。

本发明的一些实施例可使用这些特性来针对具体图像或图像类型确定适当的源光功率电平。可在畸变参数计算中考虑显示特性(例如LCD渗漏)，这些显示特性用来针对图像确定适当的源光功率电平。

示例性方法

本发明的一些实施例可关于图36进行描述。在这些实施例中，建立功率预算(530)。这可使用简单功率管理、自适应功率管理和上述其它方法或通过其它方法来执行。通常，建立功率预算可包括估算将允许诸如显示视频文件的显示任务完成的背光或源光功率电平，同时使用诸如电池电荷的一部分的固定功率资源。在一些实施例中，建立功率预算可包括确定将允许在固定功率量的情况下完成显示任务的平均功率电平。

在这些实施例中，还可建立初始畸变标准(532)。通过估算将符合功率预算的降低的源光功率电平并测量该功率电平下的图像畸变，可确定此初始畸变标准。可在未经校正的图像上、已使用如上所述的亮度保持(BP)技术修改的图像上、或已用简化BP过程修改的图像上测量畸变。

一旦建立了该初始畸变标准，即可使用源光功率电平显示该显示任务的第一部分，这使得所显示的一个或多个图像的畸变特性遵照该畸变标准。在一些实施例中，可针对视频序列的每个帧选择源光功率电平以使每个帧符合畸变要求。在一些实施例中，光源值可被选择成保持恒定畸变或畸变范围、保持畸变低于指定水平、或以其它方式符合畸变标准。

然后可估算(536)功耗以判定用来显示显示任务的第一部分的功率是否满足功率预算管理参数。可通过对每个图像、视频帧或其它显示任务元素使用固定量功率来分派功率。还可分派功率以使在一系列显示任务元素上所消耗的平均功率符合要求、而对每个显示任务元素消耗的功率可变化。也可使用其它功率分派方案。

当功率消耗估算536显示显示任务的第一部分的功耗不符合功率预算要求时，可修改畸变标准(538)。在可估算、假设、计算或以其它方式确定功率/畸变曲线的一些实施例中，畸变标准可被修改以按需允许或多或少的畸变，从而符合功率预算要求。尽管功率/畸变曲线是图像特定的，但可使用针对一序列的第一帧、针对一序列中的示例性图像、或针对代表显示任务的合成图像的功率/畸变曲线。

在一些实施例中，当多于预算量的功率被用于显示任务的第一部分且功率/畸变曲线的斜率为正时，可修改畸变标准以允许更少畸变。在一些实施例中，当多于预算量的功率被用于显示任务的第一部分且功率/畸变曲线的斜率为负时，可修改畸变标准以允许更多畸变。在一些实施例中，当少于预算量的功率被用于显示任务的第一部分且功率/畸变曲线的斜率为负或正时，可修改畸变标准以允许更少畸变。

本发明的一些实施例可参照图37进行描述。这些实施例通常包括具有有限功率的由电池供电的设备。在这些实施例中，估计或测量电池充满度或电荷(540)。还可估计或计算显示任务功率要求(542)。还可估计或以其它方式确定初始光源功率电平(544)。此初始光源功率电平可使用如以上针对恒定功率管理所述的电池充满度和显示任务功率要求或通过其它方法来确定。

还可确定与初始光源功率电平相对应的畸变标准(546)。此标准可以是在初始光源功率电平下对示例性图像出现的畸变值。在一些实施例中，畸变值可基于未经校正图像、用实际或经估算BP算法修改的图像、或另一示例性图像。

一旦确定了畸变标准(546)，就估算显示任务的第一部分，并选择(548)将使显示任务的第一部分的畸变符合畸变标准的源光功率电平。然后使用所选源光功率电平显示(550)该显示任务的第一部分，并估算或测量(552)显示该部分期间所消耗的功率。当此功耗不符合功率要求时，可修改(554)该畸变标准以使功耗顺应功率要求。

本发明的一些实施例可参照图38A和38B进行描述。在这些实施例中，建立功率预算(560)并且还建立畸变标准(562)。这些通常都是参照诸如视频序列的具体显示任务建立的。然后选择图像(564)，诸如视频序列的一个帧或一组帧。然后对所选图像估算降低源光功率电平(566)，以使因降低源光功率电平产生的畸变符合畸变标准。此畸变计算可包括将估算或实际亮度保持(BP)方法应用于所选图像的图像值。

然后可用BP方法修改所选图像(568)以补偿降低的光源功率电平。然后可测量经BP修改图像的实际畸变(570)并可关于此实际畸变是否符合畸变标准作出判定(572)。如果实际畸变不符合畸变标准，则可调节估算过程(574)并可重新估算降低的光源功率电平(566)。如果实际畸变的确符合畸变标准，则可显示所选图像(576)。然后可测量图像显示期间的功耗(578)，并将其与功率预算约束580作比较。如果功耗符合功率预算约束，则可选择诸如视频帧的后续集合(584)，除非显示任务完成(582)，此时该过程将结束。如果选择了下一图像(584)，则该过程将返回至点“B”，在此处将针对该图像估算降低的光源功率电平(566)，且该过程将与对第一图像一样地继续。

如果所选图像的功耗不符合功率预算约束(580)，则可如以上针对其它实施例所述地修改畸变标准(586)并且将选择下一图像(584)。

经改进的黑色电平实施例

本发明的一些实施例包括用于显示器黑色电平改进的方法和系统。一些实施例使用指定背光级并产生与色阶相匹配的辉度，这既保持了亮度又改进了黑色电平。其它实施例包括在其设计中包括黑色电平改进的背光调制算法。一些实施例可被实现为上述实施例的扩展或修改。

经改进的辉度匹配(目标匹配理想显示)

以上呈现的辉度匹配公式即方程7被用来确定代码值的线性缩放，这对背光减弱作出补偿。这在功率降低至75％的试验中被证明是有效的。在具有图像相关背光调制的一些实施例中，对于暗色帧可显著减弱背光，例如低于10％。对于这些实施例，在方程7中导出的代码值的线性缩放可能并不恰当，因为它可过度地增大暗色值。尽管采用这些方法的实施例可倍增功率降低显示器上的全功率输出，但这可能不用来最优化输出。因为全功率显示具有上升的黑色电平，所以对暗色场景再现此输出不能实现在较低背光功率设置的情况下可能的降低黑色电平的益处。在这些实施例中，可修改匹配标准且可导出对方程7中给出的结果的替换。在一些实施例中，理想显示的输出得到匹配。该理想显示可包括零黑色电平以及与全功率显示相同的最大输出，白色电平＝W。此示例性理想显示对代码值cv的响应在方程22中可用最大输出W、显示γ和最大代码值的项来表达。

方程22 理想显示

在一些实施例中，示例性LCD可具有相同的最大输出W和γ，但具有非零黑色电平B。此示例性LCD可使用上述GOG模型针对全功率输出建模。输出随功率小于100％的相关背光功率缩放。增益和偏移模型参数可由全功率显示的最大输出W和黑色电平B确定，如方程23所示。

方程23 全功率GOG模型

通过将全功率结果缩放相关功率倍数，可确定具有相关背光功率P的功率降低显示器的输出。

方程24 实际LCD输出与功率和代码值的关系

在这些实施例中，可修改代码值以使理想和实际显示的输出在可能时相等。(如果理想输出不小于或大于在实际显示上给定功率情况下可能的输出)

方程25 用于匹配输出的标准

W \cdot {(\frac{x}{{cv}_{Max}})}^{γ} = P \cdot {((W^{\frac{1}{γ}} - B^{\frac{1}{γ}}) \cdot (\frac{\tilde{x}}{cvMax}) + B^{\frac{1}{γ}})}^{γ}

一些计算根据x，P，W，B求解

方程26 用于匹配输出的代码值关系

\cdot \tilde{x} = \frac{{(\frac{W}{P})}^{\frac{1}{γ}}}{(W^{\frac{1}{γ}} - B^{\frac{1}{γ}})} \cdot x - \frac{cvMax \cdot B^{\frac{1}{γ}}}{(W^{\frac{1}{γ}} - B^{\frac{1}{γ}})}

\cdot \tilde{x} = \frac{{(\frac{1}{P})}^{\frac{1}{γ}}}{(1 - {(\frac{B}{W})}^{\frac{1}{γ}})} \cdot x - \frac{cvMax}{({(\frac{W}{B})}^{\frac{1}{γ}} - 1)}

\tilde{x} = \frac{{(\frac{CR}{P})}^{\frac{1}{γ}}}{({(CR)}^{\frac{1}{γ}} - 1)} \cdot x - \frac{cvMax}{({(CR)}^{\frac{1}{γ}} - 1)}

这些实施例显示用于将实际显示器上的理想输出与非零黑色电平相匹配的代码值关系的一些属性。在此情形中，在上端和下端

处都存在削波。这些对应于方程27所给出的x_低和x_高处的削波输入。

方程27 削波点

这些结果与先前对其中显示假设具有零黑色电平即对比率为无穷的其它实施例的开发相一致。

背光调制算法

在这些实施例中，结合有黑色电平考虑的辉度匹配理论通过实现给定功率下显示和具有零黑色电平的基准显示之间的匹配来确定背光调制算法。这些实施例使用辉度匹配理论来确定在图像以功率P显示时相比于在理想显示器上显示而必须具有的畸变。背光调制算法可使用最大功率限制和最大畸变限制来选择产生低于指定最大畸变的畸变的最小功率。

功率畸变

在一些实施例中，给定由全功率下黑色电平和最大亮度所指定的目标显示和要求显示的图像，可计算给定功率P下显示图像时的畸变。通过削波大于受限功率显示的亮度的值并削波小于理想基准的黑色电平的值，可在理想基准显示器上仿真显示的受限功率和非零黑色电平。图像的畸变可被定义为原始图像代码值和经削波代码值之间的MSE，然而也可在一些实施例中使用其它畸变度量。

削波情况下的图像由功率相关代码值定义，且方程27中引入的削波限值在方程28中给出。

方程28 经削波图像

理想显示上的图像与像素域中以功率P显示的图像之间的畸变变成

D (I, P) = \frac{1}{N} \cdot \underset{x, y, c}{Σ} \max_{c} {| I (x, y, c) - \tilde{I} (x, y, c, P) |}^{2}

观察到这可使用图像代码值的直方图来计算。

D (I, P) = \underset{n, c}{Σ} \tilde{h} (n, c) {\cdot \max}_{c} {| (n - \tilde{I} (n, P)) |}^{2}

色阶函数的定义可用来推导此畸变度量的等效形式，如方程29所示。

方程29 畸变度量

此度量包括高代码值和低代码值处削波误差的加权和。功率/畸变曲线可使用方程29的表达式对图像构建。图39是示出各个示例性图像的功率/畸变曲线的曲线图。图39示出针对整体白色图像的功率/畸变曲线590、针对黄花的明亮特写的功率/畸变曲线592、针对一群人的暗色低对比度图像的功率/畸变曲线594、针对整体黑色图像的功率/畸变曲线596、以及针对冲浪者在浪尖上的明亮图像的功率/畸变曲线598。

如从图39可以看出，不同图像可具有相当不同的/功率-畸变关系。在极值处，黑色帧596在零背光功率下具有最小畸变，其中畸变在功率增至10％时急剧上升。相反，白色帧590在零背光下具有最大畸变，其中畸变稳定下降直到在100％功率下快速降低为零。明亮冲浪图像598示出随功率增加的畸变的稳定下降。另两个图像592和594在中间功率电平下显示最小畸变。

本发明的一些实施例可包括如下运算的背光调制算法：

1.计算图像直方图

2.计算图像的功率畸变函数

3.计算具有低于畸变限值的畸变的最低功率

4.(可任选)基于所提供的功率上限和下限限制所选功率

5.选择计算出的用于背光的功率

在关于图40和41所述的一些实施例中，BL调制算法所选择的背光值604可被提供给BP算法并用于色阶设计。示出了平均功率602和畸变606。还示出了在此试验中使用的对平均功率的上限600。因为所使用的平均功率显著低于此上限，所以背光调制算法使用比简单使用等于此平均限值的固定功率低的功率。

平滑色阶函数的导出

在本发明的一些实施例中，平滑色阶函数包括两个设计方面。第一个方面设想色阶参数给定，并确定符合那些参数的平滑色阶函数。第二个方面包括用于选择设计参数的算法。

设想参数的色阶设计

方程26所定义的代码值关系在削波至有效范围[cvMin，cvMax]时具有斜率不连续性。在本发明的一些实施例中，暗端处的平滑滚降可与方程7中明端处相似地定义。这些实施例设想其间色阶符合方程26的最大保真度点(MFP)和最小保真度点(LFP)两者。在一些实施例中，色阶可被构建为连续并在MFP和LFP两处具有连续一阶导数。在一些实施例中，色阶可通过极值点(ImageMinCV，cvMin)和(ImageMaxCV，cvMax)。在一些实施例中，在高端和低端两处可从仿射增大修改色阶。此外，图像代码值的限制可用来确定极值点而不使用固定限值。有可能在此结构中使用固定限值，但在大功率降低的情况下会产生问题。在一些实施例中，这些条件唯一地定义了分段二次色阶，推导如下。

条件：

方程30 色阶定义

TS (x) = \{\begin{matrix} cvMin & cvMin \leq x \leq ImageMinCV \\ A \cdot {(x - LFP)}^{2} + B \cdot (x - LFP) + C & ImageMinCV < x < LFP \\ α \cdot x + β & LFP \leq x \leq MFP \\ D \cdot {(x - MFP)}^{2} + E \cdot (x - MFP) + F & MFP < x < ImageMaxCV \\ cvMax & ImageMaxCV \leq x \leq cvMax \end{matrix}

方程31 色阶斜率

{TS}^{'} (x) = \{\begin{matrix} 2 \cdot A \cdot (x - LFP) + B & 0 < x < LFP \\ α & LFP \leq x \leq MFP \\ 2 \cdot D \cdot (x - MFP) + E & x > MFP \end{matrix}

LFP和MFP处的色阶与一阶导数的连续性的快速观察产生。

方程32 色阶参数B，C，E，F的解

B＝α

C＝α·LFP+β

E＝α

F＝α·MFP+β

端点将常数A和D确定为：

方程33 色阶参数A和D的解

A = \frac{cvMin - B \cdot (ImageMinCV - LFP) - C}{{(ImageMinCV - LFP)}^{2}}

D = \frac{cvMax - E \cdot (ImageMaxCV - MFP) - F}{{(ImageMaxCV - MFP)}^{2}}

在一些实施例中，设想MFP/LFP和ImageMaxCV/ImageMinCV可用，这些关系式定义色阶的平滑扩展。这使得选择这些参数的需要悬而未决。其它实施例包括用于选择这些设计参数的方法和系统。

参数选择(MFP/LFP)

以上所述的相关应用中的本发明的一些实施例仅解决ImageMaxCV等于255、cvMax用来替换这些实施例中所引入的ImageMaxCV的情况下的MFP。那些前述实施例由于基于全功率显示而非理想显示的匹配而在低端具有线性色阶。在一些实施例中，MFP被选择成使平滑色阶在上限即ImageMaxCV处具有零斜率。在数学上，MFP通过以下方程来定义：

方程34 MFP选择标准

TS′(ImageMaxCV)＝0

2·D·(ImageMaxCV-MFP)+E＝0

此标准的解使MFP相关于上削波点和最大代码值：

方程35 预先MFP选择标准

MFP＝2·x_高-ImageMaxCV

MFP = 2 \cdot cvMax \cdot {(P)}^{\frac{1}{γ}} - ImageMaxCV

对于诸如P＝80％的适度功率降低，此预先MFP选择标准适用。对于大功率降低，这些实施例可基于前述实施例的结果改进。

在一些实施例中，选择适于大功率降低的MFP选择标准。直接在方程35中使用值ImageMaxCV会引起问题。在功率低的图像中，期望低的最大代码值。如果图像中的最大代码值ImageMaxCV已知为小，则方程35给出MFP的合理值，但在一些情形中ImageMaxCV为未知或较大，其可导致不合理即负的MFP值。在一些实施例中，如果最大代码值未知或过高，则可为ImageMaxCV选择替换值并应用于以上结果。

在一些实施例中，k可被定义为定义MFP可具有的经削波值x_高的最小部分的参数。然后，k可被用来判定通过方程35计算的MFP是否合理，即

方程36“合理”MFP标准

MFP≥k·x_高

如果所计算的MFP不合理，则该MFP可被定义为最小合理值，并且可确定ImageMaxCV的必要值(方程37)。MFP和ImageMaxCV的值然后可用来通过如上所述地确定色阶。

方程37 校正ImageMaxCV

MFP＝k·x_高

ImageMaxCV＝(2-k)·x_高

一些实施例的MFP选择步骤归纳如下：

1.利用ImageMaxCV(或在其不可用时利用CVMax)计算候选MFP

2.利用方程36测试合理性

3.如果不合理，则基于削波代码值的分数k定义MFP

4.利用方程37计算新的ImageMaxCV

5.利用MFP、ImageMaxCV和功率计算平滑色阶函数

可应用类似的技术来使用ImageMinCV和x_低来选择暗端处的LFP。

基于色阶设计算法和自动参数选择的示例性色阶设计如图42-45所示。图42和43示出其中已选择11％的背光功率电平的示例性色阶设计。示出与MFP 610与LFP 612之间的色阶设计的线性部分相对应的线616。色阶设计614在MFP 610之上和LFP 612之下偏离线616，但在LFP 612与MFP 610之间与线616一致。图43是图42的色阶设计的暗区的放大图像。LFP 612清晰可见，且可看到色阶设计的较低部分曲线620偏离线性延伸部分622。

图44和45示出背光级选择为89％的最大功率的示例性色阶设计。图44示出与色阶设计的线性部分相一致的线634。线634表示理想显示响应。色阶设计636在MFP 630以上和LFP 632以下偏离(636、638)理想线性显示表示634。图45示出LFP 640以下的色阶设计636的暗端的放大视图，其中色阶设计642偏离理想显示延伸部分644。

在本发明的一些实施例中，畸变计算可通过改变理想和实际显示图像之间的误差计算来修改。在一些实施例中，可用畸变像素之和来替代MSE。在一些实施例中，高区和低区的削波误差可不同地加权。

本发明的一些实施例可包括环境光传感器。如果环境光传感器可用，则该传感器可用来修改畸变度量，包括环境照明和屏幕反射的效果。这可用来修改畸变度量并因此修改背光调制算法。环境信息可用来通过在黑端指示相关感知削波点来控制色阶设计。

色彩保持实施例

本发明的一些实施例包括用于保持色彩特性同时增强图像亮度的系统和方法。在一些实施例中，亮度保持包括将全功率色域体(gamut solid)映射成功率降低显示的较小色域体。在一些实施例中，不同方法用来进行色彩保持。一些实施例保持色彩的色度/饱和度，以替换辉度增大的减少。

上述一些非色彩保持实施例独立地处理各个色彩通道，从而用来给出关于每个色彩通道的辉度匹配。在那些非色彩保持实施例中，高度饱和或高亮色彩可变得饱和度降低和/或在色度仿效处理中改变。色彩保持实施例解决了这些色彩伪像，但在一些情形中会略微地降低辉度增大。

在重组低通和高通通道时，一些色彩保持实施例也可采用削波操作。单独地削波每个色彩通道可再次产生色彩变化。在采用色彩保持削波的实施例中，削波操作可用来保持色度/饱和度。在一些情形中，此色彩保持削波可将经削波值的辉度降至其它非色彩保持实施例的辉度之下。

本发明的一些实施例可参照图46进行描述。在这些实施例中，读取输入图像650并确定指定像素位置的对应于不同色彩通道的代码值(652)。在一些实施例中，输入图像可以是具有记录在图像文件中的单独色彩通道信息的格式。在一示例性实施例中，可就红绿蓝(RGB)色彩通道记录图像。在其它实施例中，可以青、品红、黄、黑(CMYK)格式、Lab(暗室)、YUV或另一格式记录图像文件。输入图像可以是包括单独辉度通道的诸如Lab的格式、或没有单独辉度通道的诸如RGB的格式。当图像文件没有单独的色彩通道数据可用时，该图像文件可被转换成具有色彩通道数据的格式。

一旦确定了每个色彩通道的代码值(652)，就确定色彩通道代码值中的最大代码值(654)。然后此最大代码值可用来确定代码值调节模型的参数(656)。该代码值调节模型可用许多方式产生。在一些实施例中，可使用色阶调节曲线、增益函数或其它调节模型。在一示例性实施例中，可使用响应于降低的背光功率设置增强图像亮度的色阶调节曲线。在一些实施例中，代码值调节模型可包括如上所述相关于其它实施例的色阶调节曲线。代码值调节曲线然后可应用于(658)色彩通道代码值的每一个。在这些实施例中，代码值调节曲线的应用将导致相同的增益值被应用于每个色彩通道。一旦执行调节，就对图像中的每个像素继续该处理(660)。

本发明的一些实施例可参照图47进行描述。在这些实施例中，读取输入图像(670)并选择第一像素位置(672)。对所选像素位置确定第一色彩通道的代码值(674)，并对所选像素位置确定第二色彩通道的代码值(676)。然后分析这些代码值并基于代码值选择标准选择这些代码值之一(678)。在一些实施例中，可选择最大代码值。此所选代码值然后可被用作将产生模型的代码值调节模型发生器680的输入。然后该模型可被应用于(682)第一和第二色彩通道代码值，其中基本相等的增益被应用于每个通道。在一些实施例中，从调节模型获得的增益值可被应用于所有色彩通道。然后处理可继续至下一像素(684)，直至处理了整个图像。

本发明的一些实施例可参照图48进行描述。在这些实施例中，输入图像690被输入至系统。该图像然后被滤波(692)以创建第一频率范围图像。在一些实施例中，这可以是低通图像或某其它频率范围图像。还可产生第二频率范围图像(694)。在一些实施例中，可通过从输入图像减去第一频率范围图像来创建第二频率范围图像。在一些实施例中，当第一频率范围图像是低通(LP)图像时，第二频率范围图像可以是高通(HP)图像。第一频率范围图像中第一色彩通道的代码值然后可针对像素位置确定(696)，并且第一频率范围图像中第二色彩通道的代码值也可在该像素位置上确定(698)。然后通过比较代码值或其特性来选择(700)色彩通道代码值之一。在一些实施例中，可选择最大代码值。然后可使用所选代码值作为输入来产生或访问(702)调节模型。这可产生可应用于(704)第一色彩通道代码值和第二色彩通道代码值的增益乘法器。

本发明的一些实施例可参照图49进行描述。在这些实施例中，输入图像710可被输入至可标识要调节像素的像素选择器712。第一色彩通道代码值读取器714可读取所选像素的第一色彩通道的代码值。第二色彩通道代码值读取器716也可读取所选像素位置上第二色彩通道的代码值。这些代码值可在分析模块718中分析，其中将基于代码值特性来选择代码值之一。在一些实施例中，可选择最大代码值。此所选代码值然后可被输入至模型生成器720或可确定增益值或模型的模型选择器。此增益值或模型然后可被应用于(722)两个色彩通道的代码值，而不管该代码值是否被分析模块718选择。在一些实施例中，可在应用该模型时访问(728)输入图像。然后控制可被传递(726)回像素选择器712以遍历图像中的其它像素。

本发明的一些实施例可参照图50进行描述。在这些实施例中，输入图像710可被输入至滤波器730以获取第一频率范围图像732和第二频率范围图像734。该第一频率范围图像可被转换以允许访问单独的色彩通道代码值736。在一些实施例中，输入图像可允许在不经任何转换的情况下访问色彩通道代码值。可确定第一频率范围的第一色彩通道的代码值738并且可确定第一频率范围的第二色彩通道的代码值740。

这些代码值可被输入至可确定代码值特性的代码值特性分析器742。然后代码值选择器744可基于代码值分析来选择代码值之一。此选择然后可被输入至调节模型选择器或发生器746，其将基于代码值选择产生或选择增益值或增益映射。该增益值或映射然后可应用于(748)所调节像素处的两个色彩通道的第一频率范围代码值。此过程可重复，直至已调节了整个第一频率范围图像(750)。增益映射也可应用于(753)第二频率范围图像734。在一些实施例中，恒定增益因数可被应用于第二频率范围图像中的所有像素。在一些实施例中，第二频率范围图像可以是输入图像710的高通版本。经调节的第一频率范围图像750和经调节的第二频率范围图像753可相加或以其它方式组合(754)以创建经调节的输出图像756。

本发明的一些实施例可参照图51进行描述。在这些实施例中，输入图像710可被发送至滤波器760或其它某处理器，以供将该图像分成多个频率范围图像。在一些实施例中，滤波器760可包括低通(LP)滤波器和处理器，该处理器用于从输入图像减去用LP滤波器创建的LP图像以创建高通(HP)图像。滤波器模块760可输出两个或多个频率特定图像762、764，每个图像具有特定的频率范围。第一频率范围图像762可具有第一色彩通道766和第二色彩通道768的色彩通道数据。这些色彩通道的代码值可被发送至代码值特性估计器770和/或代码值选择器772。此过程将导致色彩通道代码值之一的选择。在一些实施例中，将从特定像素位置的色彩通道数据选择最大代码值。此所选代码值可被传递至将产生代码值调节模型的调节模型生成器774。在一些实施例中，此调节模型可包括增益映射或增益值。然后此调节模型可被应用于(776)所分析像素的每个色彩特定代码值。此过程可对图像中的每个像素重复，从而产生第一频率范围经调节图像778。

可任选地第二频率范围图像764可用单独的增益函数765来调节以增大其代码值。在一些实施例中可不应用调节。在其它实施例中，恒定增益因数可被应用于第二频率范围图像中的所有代码值。此第二频率范围图像可与经调节的第一频率范围图像778组合以形成经调节的组合图像781。

在一些实施例中，调节模型对第一频率范围图像的应用和/或增益函数对第二频率范围图像的应用可使一些图像代码值超过显示设备或图像格式的范围。在这些情形中，代码值可能需要被“削波”至所需范围。在一些实施例中，可使用色彩保持削波过程782。在这些实施例中，落于指定范围外的代码值可用保持这些色彩值之间的关系的方式来削波。在一些实施例中，可针对所分析像素计算乘数，其不大于最大所需范围值除以最大色彩通道代码值。这将导致“增益”因数小于1且将“过大”代码值减至所需范围的最大值。此“增益”或削波值可被应用于所有色彩通道代码值以保持像素的色彩，同时将所有代码值减至小于或等于最大值或指定范围的值。应用此削波过程产生经调节的输出图像784，其具有在指定范围内的所有代码值并且维持代码值的色彩关系。

本发明的一些实施例可关于图52进行描述。在这些实施例中，色彩保持削波被用于保持色彩关系，同时将代码值限制于指定范围。在一些实施例中，经组合的调节图像792可对应于相关于图51所述的经组合的调节图像781。在其它实施例中，经组合的调节图像792可以是具有需要被削波至指定范围的代码值的任何其它图像。

在这些实施例中，针对指定像素位置确定第一色彩通道代码值794并确定第二色彩通道代码值796。这些色彩通道代码值794和796在代码值特性估算器798中估算以确定选择性代码值特性并选择色彩通道代码值。在一些实施例中，该选择性特性将是最大值，而较高代码值将被选择为调节生成器800的输入。所选代码值可被用作输入以生成削波调节800。在一些实施例中，此调节将把最大代码值减小为指定范围内的值。然后可将此削波调节应用于所有色彩通道代码值。在一示例性实施例中，第一色彩通道和第二色彩通道的代码值将减小(802)相同倍数，由此保持两个代码值之比。此过程对图像中所有像素的应用将产生代码值落于指定范围内的输出图像804。

本发明的一些实施例可参照图53进行描述。在这些实施例中，通过基于最大色彩分量操纵应用于所有三个色彩分量的增益，在RGB域中实现方法。在这些实施例中，输入图像810通过频率分解812被处理。在一示例性实施例中，低通(LP)滤波器814被应用于该图像以创建LP图像820，该LP图像然后从输入图像810减去以创建高通(HP)图像826。在一些实施例中，空间5x5整流滤波器可用于该LP滤波器。在LP图像820中的每个像素上，选择(816)最大值或三个色彩通道(R、G和B)并输入至LP增益映射818，该LP增益映射818选择要应用于该特定像素的所有色彩通道值的适当增益函数。在一些实施例中，具有值[r，g，b]的像素上的增益可根据由max(r，g，b)索引的1维LUT确定。值x处的增益可从如上所述值x处的光度匹配色阶曲线的值除以x来推导。

增益函数834还可应用于HP图像826。在一些实施例中，增益函数834可以是恒定增益因数。此经修改的HP图像与经调节的LP图像组合(830)以形成输出图像832。在一些实施例中，输出图像832可包括在应用范围之外的代码值。在这些实施例中，削波过程可如上相关于图51和52所述地应用。

在如上所述的本发明的一些实施例中，LP图像的代码值调节模型可被设计成使得对于其最大色彩分量低于例如最大保真度点的参数的像素，增益补偿背光功率电平的降低。在色域边界，以经处理的低通信号在色域内保持的方式低通增益平滑滚降至1。

在一些实施例中，处理HP信号可与处理低通信号的选择无关。在补偿降低背光功率的实施例中，HP信号可用恒定增益处理，这将在功率降低时保持对比度。用全背光功率和降低背光功率以及显示γ来表示的HP信号增益的公式在5中给出。在这些实施例中，HP对比度增大对噪声是稳健的，因为增益通常较小(例如针对80％的功率降低和γ2.2增益为1.1)。

在一些实施例中，将处理LP信号和HP信号的结果求和并削波。削波可应用于每个像素处的RGB样本的整个向量，从而相等地缩放三个分量以使最大分量缩放至255。当添加至LP值的增大HP值超过255时削波发生，并且削波通常仅对具有高对比度的明亮信号相关。通常，通过LUT结构确保LP信号不超出上限。HP信号可引起总和中的削波，但HP信号的负值永不会削波，从而甚至在削波的确发生时保持某对比度。

本发明诸实施例可尝试最优化图像的亮度，或者它们可尝试最优化色彩保持或匹配同时增大亮度。通常在最大化辉度或亮度时会有色移的折衷。在防止色移时，通常亮度会受损。本发明的一些实施例可通过形成应用于每个色彩分量的加权增益来尝试平衡色移与亮度之间的折衷，如方程38所示。

方程38 加权增益

加权增益(cv_x，α)＝α·增益(cv_x)+(1-α)·增益(max(cv_R，cv_G，cv_B)

此加权增益在α0处的最大辉度与α1处的最小色彩伪像之间变化。注意，当所有代码值低于MFP参数时，所有三个增益相等。

基于显示模型的畸变相关实施例

术语“背光缩放”可指用于减弱LCD背光且同时修改发送至LCD的数据以补偿背光减弱的技术。此技术的主要方面是选择背光级。本发明诸实施例可利用背光调制来选择LCD中的背光照度级，以节能或改进动态对比度。用来解决此问题的方法可被分成图像相关技术和图像无关技术。这些图像相关技术可具有约束由后续背光补偿图像处理所强加的削波量的目标。

本发明的一些实施例可利用最优化来选择背光级。给定一图像，最优化例程可选择背光级，以使假设基准显示上显现的图像与实际显示上显现的图像之间的畸变最小。

以下项可用来描述本发明诸实施例的元素：

1.基准显示模型：基准显示模型可表示来自诸如LCD的显示器的期望输出。在一些实施例中，基准显示模型可建模具有零黑色电平的理想显示或具有不受限动态范围的显示。

2.实际显示模型：实际显示的输出的模型。在一些实施例中，实际显示输出可对不同背光级建模，并且实际显示可被建模为具有非零黑色电平。在一些实施例中，背光选择算法可通过此参数取决于显示对比率。

3.亮度保持(BP)：处理原始图像以补偿降低的背光级。实际显示上显现的图像是增亮图像上给定背光级上显示模型的输出。一些示例性情形为：

●无亮度保持：未经处理的图像数据被发送至LCD面板。在此情形中，背光选择算法仅改变背光，相应地不保持亮度。

●线性增大亮度补偿。使用简单仿射变换处理图像以补偿背光减弱。尽管此简单亮度保持算法在实际用于背光补偿时牺牲了图像质量，但这是选择背光值的有效工具。

●色阶映射：使用色阶映射来处理图像，该色阶映射可包括线性和非线性分段。分段可用来限制削波并增强对比度。

4.畸变度量。显示模型和亮度保持算法可用来确定在实际显示上所显现的图像。然后可计算此输出和基准显示上的图像之间的畸变。在一些实施例中，畸变可仅基于图像代码值来计算。此畸变取决于对误差度量的选择，在一些实施例中可使用均方差。

5.最优化标准。畸变可依照不同约束来最小化。例如，在一些实施例中，可使用以下标准：

●最小化视频序列的每一帧上的畸变

●依据平均背光约束来最小化最大畸变

●依据平均背光约束来最小化平均畸变

显示模型

在本发明的一些实施例中，可将GoG模型用于基准显示模型和实际显示模型两者。此模型可被修改以基于背光级缩放。在一些实施例中，基准显示可被建模为具有零背光级和最大输出W的理想显示。实际显示可被建模为具有全背光下的相同最大输出W和全背光下的黑色电平B。对比率为W/B。当黑色电平为零时对比率为无穷。这些模型可使用CV_Max来在数学上表达，以表示以下方程中的最大图像代码值。

方程39 基准(理想)显示输出的模型

对于在全背光级即P＝1下具有最大输出W和最小输出B的实际LCD，输出被建模为随相关背光级P缩放。对比率CR＝W/B与背光级无关。

方程40 实际LCD的模型

B(P)＝P·B W(P)＝P·W

CR＝W/B

亮度保持

在此示例性实施例中，使用基于简单增大和削波的BP过程，其中升压被选择以在可能时补偿背光减弱。以下推导示出色阶修改，其提供给定背光下基准显示和实际显示之间的辉度匹配。实际显示的最大输出和黑色电平两者随背光缩放。注意，实际显示的输出被限制成低于经缩放的输出最大值且高于经缩放的黑色电平。这对应于将辉度匹配色阶输出削波成0和CV_max.

方程41 用于匹配输出的标准

Y_理想(cv)＝Y_实际(P，cv′)

W \cdot {(\frac{cv}{{cv}_{Max}})}^{γ} = P \cdot {((W^{\frac{1}{γ}} - B^{\frac{1}{γ}}) \cdot (\frac{{cv}^{'}}{cvMax}) + B^{\frac{1}{γ}})}^{γ}

{cv}^{'} = \frac{cvMax}{(W^{\frac{1}{γ}} - B^{\frac{1}{γ}})} \cdot ({(\frac{W}{P} \cdot {(\frac{cv}{{cv}_{Max}})}^{γ})}^{\frac{1}{γ}} - B^{\frac{1}{γ}})

{cv}^{'} = \frac{1}{P^{\frac{1}{γ}} \cdot (1 - {(\frac{B}{W})}^{\frac{1}{γ}})} \cdot cv - {(\frac{B}{W})}^{\frac{1}{γ}} \cdot \frac{cvMax}{(1 - {(\frac{B}{W})}^{\frac{1}{γ}})}

对cv’的削波限制表示对辉度匹配的范围的削波限制。

方程42 削波限制

{cv}^{'} &GreaterEqual; 0

&DoubleRightArrow;

\frac{1}{P^{\frac{1}{γ}} \cdot (1 - {(\frac{B}{W})}^{\frac{1}{γ}})} . . cv &GreaterEqual; {(\frac{B}{W})}^{\frac{1}{γ}} \cdot \frac{cvMax}{(1 - {(\frac{B}{W})}^{\frac{1}{γ}})}

cv &GreaterEqual; cvMax \cdot {(\frac{B}{W})}^{\frac{1}{γ}} \cdot P^{\frac{1}{γ}}

{cv}^{'} \leq cvMax

&DoubleRightArrow;

\frac{1}{P^{\frac{1}{γ}} \cdot (1 - {(\frac{B}{W})}^{\frac{1}{γ}})} \cdot cv - {(\frac{B}{W})}^{\frac{1}{γ}} \cdot \frac{cvMax}{(1 - {(\frac{B}{W})}^{\frac{1}{γ}})} \leq cvMax

cv \leq cvMax \cdot P^{\frac{1}{γ}}

方程43 削波点

色阶提供最小值以上最大值以下代码值的输出的匹配，其中最小值和最大值取决于相关背光功率P和实际显示对比率CR＝W/B。

畸变计算

在本发明诸实施例中创建和使用的各个经修改图像可参照图54进行描述。在创建这些示例性修改图像的每一个时，原始图像I 840可被用作输入。在一些实施例中，原始输入图像840被处理(842)以产生理想输出Y_理想844。理想图像处理器即基准显示842可假设理想显示具有零黑色电平。此输出Y_理 _想844可表示在基准(理想)显示上看到的原始图像840。在一些实施例中，假设给定背光级，可计算通过将具有此背光级的图像呈现在实际LCD上所引起的畸变。

在一些实施例中，亮度保持846可用来从图像I 840产生图像I’850。图像I’850然后可连同所选背光级被发送至实际LCD处理器854。所得输出被标记为Y_实际858。

该基准显示模型可通过使用输入图像I*852来仿真实际显示的输出。

实际LCD 854的输出是通过辉度匹配色阶函数846传递原始图像I 840以获取图像I’850的结果。这实际上不会根据背光级来再现基准输出。然而，实际显示输出可在基准显示842上仿真。图像I*852表示发送至基准显示842以仿真实际显示输出从而创建Y_仿真860的图像数据。通过将图像I 840削波至由以上相关于方程43和在他处定义的削波点确定的范围而产生图像I*852。在一些实施例中，I*在数学上可描述为：

方程44 经削波图像

在一些实施例中，畸变可被定义为具有图像I的基准显示的输出与具有背光级P和图像I’的实际显示的输出之间的差异。因为图像I*仿真基准显示器上实际显示的输出，所以基准和实际显示之间的畸变等于基准显示上图像I和I*之间的畸变。

方程45

D(Y_理想，Y_实际)＝D(Y_理想，Y_仿真)

因为两个图像都在基准显示上，所以可在仅图像数据之间测量畸变而不需要显示输出。

方程46

D(Y_理想，Y_仿真)＝D(I，I*)

图像畸变测量

以上分析示出了图像I 840在基准显示上的呈现与在实际显示上的呈现之间的畸变等效于图像I 840和I*852在基准显示上的呈现之间的畸变。在一些实施例中，逐点畸变度量可用来定义图像之间的畸变。给定逐点畸变d，可通过对图像I和I*之间的差异求和来计算图像之间的畸变。因为图像I*仿真辉度匹配，所以误差由上限和下限处的削波组成。在一些实施例中，标准化的图像直方图h(x)可被用来定义图像畸变与背光功率之间的关系

方程47

D (I, I^{*}) = \underset{x}{Σ} d (x, T^{*} (x, P))

背光与畸变关系曲线

给定基准显示、实际显示、畸变定义和图像，畸变可在一背光级范围上计算。在组合时，此畸变数据可形成背光与畸变关系曲线。背光与畸变关系曲线可使用样本帧以及具有零黑色电平的理想实际模型、具有1000∶1对比率的实际LCD模型、以及均方差MSE误差度量来例示，该样本帧是从暗室中向外看的视图的昏暗图像。图55是示例性图像的图像代码值的直方图的图表。

在一些实施例中，畸变曲线可通过利用直方图计算一背光值范围的畸变来计算。图56是与图55的直方图相对应的示例性畸变曲线的图表；对于此示例性图像，在低背光值处，亮度保持不能有效地补偿减弱的背光，从而导致畸变的急剧增加880。在高背光级处，受限的对比率使黑色电平相比于理想显示升高882。最小畸变范围存在，并且在一些实施例中，给出此最小畸变884的最低背光值可通过最小畸变算法来选择。

最优化算法

在一些实施例中，诸如图56所示畸变曲线的畸变曲线可被用来选择背光值。在一些实施例中，可选择每个帧的最小畸变功率。在一些实施例中，当最小畸变值不唯一时，可选择给出此最小畸变的最低功率884。将此最优化标准应用于简短DVD剪辑的结果在图57中示出，其标绘出所选背光功率对视频帧数的关系。在此情形中，平均所选背光890大致为50％。

图像相关性

为了例示本发明一些实施例的图像相关性质，具有变化内容的示例性测试图像被选择，并且对一背光值范围计算这些图像中的畸变。图39是针对这些示例性图像的背光与畸变关系曲线的曲线图。图39包括多个曲线图：图像A 596，全黑图像；图像B 590，全白图像；图像C 594，一群人的极暗照片；以及图像D 598，冲浪者在浪尖上的明亮图像。

注意该曲线的形状极大地取决于图像内容。这可在背光级平衡因亮度损失引起的畸变和因黑色电平升高引起的畸变时预期。黑色图像596在低背光时具有最小畸变。白色图像590在全背光时具有最小畸变。昏暗图像594在中等背光级下具有最小畸变，其将有限对比率作为升高黑色电平与亮度减弱之间的有效平衡。

对比率

显示对比率可进入实际显示的定义。图58示出针对实际显示的不同对比率的最小MSE畸变背光确定。注意在1∶1对比率限制900下，最小畸变背光取决于图像平均信号电平(ASL)。在无穷对比率(零黑色电平)的相反极值下，最小畸变背光取决于图像最大值902。

在本发明的一些实施例中，基准显示模型可包括具有理想零黑色电平的显示模型。在一些实施例中，基准显示模型可包括由视觉亮度模型选择的基准显示，并且在一些实施例中，基准显示模型可包括环境光传感器。

在本发明的一些实施例中，实际显示模型可包括具有有限黑色电平的透射GoG模型。在一些实施例中，实际显示模型可包括用于透射反射型显示器的模型，其中输出被建模为取决于环境光和显示器的反射部分。

在本发明的一些实施例中，背光选择过程中的亮度保持(BP)可包括具有削波的线性增大。在其它实施例中，背光选择过程可包括用平滑滚降和/或双通道BP算法的色阶运算器。

在本发明的一些实施例中，畸变度量可包括图像代码值中的均方差(MSE)作为逐点度量。在一些实施例中，畸变度量可包括含绝对差之和的逐点误差度量、多个削波像素和/或基于直方图的百分比度量。

在本发明的一些实施例中，最优化标准可包括选择使每一帧中的畸变最小化的背光级。在一些实施例中，最优化标准可包括使最大畸变最小化或使平均畸变最小化的平均功率限制。

LCD动态对比度实施例

液晶显示器(LCD)通常因有限对比率而受损。例如，显示器的黑色电平可因为背光泄漏或其它问题而被升高。这可导致黑色区域看起来是灰色而非黑色。通过降低背光级和相关联泄漏从而也降低黑色电平，背光调制可减轻此问题。然而，在不补偿的情况下使用时，该技术将具有降低显示亮度的非期望效果。图像补偿可用来恢复因背光调暗而损失的显示亮度。补偿通常已被约束为恢复全功率显示的亮度。

如上所述的本发明的一些实施例包括集中于节能的背光调制。在那些实施例中，目标是以低背光级呈现全功率输出。这可通过同时调暗背光并增亮图像来实现。黑色电平或动态对比度的改进是那些实施例中的有利副作用。在这些实施例中，目标是实现图像质量改进。一些实施例可产生以下的图像质量改进：

1.由于背光减弱的低黑色电平，

2.通过减弱背光引起的泄漏减少而改进暗色的饱和度

3.在使用比背光减弱强的补偿时，亮度改进

4.动态对比度即一序列的明亮帧中的最大值除以暗帧中的最小值的改进

5.暗帧中的帧内对比度

本发明的一些实施例可经由两种基本技术实现这些益处的一种或多种：背光选择和图像补偿。一种挑战是避免视频中的闪烁伪像，因为背光和经补偿图像两者在亮度上都将有变化。本发明的一些实施例可使用目标色调曲线来降低闪烁的可能性。在一些实施例中，目标曲线可具有超过面板(具有固定背光)对比率的对比率。目标曲线可用于两个目的。首先，目标曲线可在选择背光时使用。其次，目标曲线可用来确定图像补偿。目标曲线影响以上提及的图像质量方面。目标曲线可从全背光亮度下的显示峰值延伸至最低背光亮度下的最小显示值。因此，目标曲线将延伸至用全背光亮度实现的典型显示值的范围之下。

在一些实施例中，背光辉度或亮度级的选择可对应于与自然面板对比率相对应的目标曲线的区间的选择。此区间随背光变化而移动。在全背光下，目标曲线的暗区不能在面板上呈现。在低背光下，目标曲线的亮区不能在面板上呈现。在一些实施例中，为了确定背光，给出面板色调曲线、面板色调曲线、以及要显示的图像。背光级可被选择成使具有所选背光的面板的对比度范围最接近地匹配目标色调曲线下图像值的范围。

在一些实施例中，图像可被修改或补偿以使显示输出尽可能多地落在目标曲线上。如果背光过高，则目标曲线的暗区不能实现。同样如果背光低，则目标曲线的亮区不能实现。在一些实施例中，可通过将固定目标用于补偿来最小化闪烁。在这些实施例中，背光亮度与图像补偿两者变化，但显示输出逼近固定的目标色调曲线。

在一些实施例中，目标色调曲线可归纳以上列出的图像质量改进的一个或多个。背光选择与图像补偿两者可通过目标色调曲线来控制。可执行背光亮度选择以“最优地”呈现图像。在一些实施例中，上述的基于畸变的背光选择算法可用指定目标色调曲线和面板色调曲线来应用。

在一些示例性实施例中，增益-偏移-γ杂光(GOGF)模型可用于色调曲线，如方程49所示。在一些实施例中，2.2的值可用于γ且0可用于偏移，从而留下两个参数——增益和杂光。面板和目标色调曲线两者都可用这两个参数来指定。在一些实施例中，增益确定最大亮度，而对比率确定加性杂光项。

方程48 色调曲线模型

T (c) = M \cdot ((1 - \frac{1}{CR}) \cdot c^{γ} + \frac{1}{CR})

其中CR是显示的对比率，M是最大面板输出，c是图像代码值，T是色调曲线值，而γ是伽玛值。

为实现动态对比度改进，目标色调曲线与面板色调曲线不同。在最简单应用中，目标的对比率CR大于面板的对比率。示例性面板色调曲线在方程49中示出，

方程49 示例性面板色调曲线

其中CR是面板的对比率，M是最大面板输出，c是图像代码值，T是面板色调曲线值，而γ是伽玛值。

示例性面板色调曲线在方程50中示出，

方程50 示例性目标色调曲线

其中CR是目标的对比率，M是最大目标输出(例如全背光亮度下的最大面板输出)，c是图像代码值，T是目标色调曲线值，而γ是伽玛值。

一些示例性色调曲线的方面可相关于图60进行描述。图59是水平轴上代码值和垂直轴上相对辉度的双对数标绘图。其中示出了三条色调曲线：面板色调曲线1000、目标色调曲线1001和幂定律曲线1002。面板色调曲线1000从面板黑色点1003延伸至最大面板值105。目标色调曲线从目标黑色点1004延伸至最大目标/面板值1005。目标黑色点1004因为受益于较低背光亮度而低于面板黑色点1003，但是，目标色调曲线的整个范围不能用于单个图像，因为对于任意给定帧背光可仅具有一个亮度级，因此当背光亮度被减弱以获得较低目标黑色点1004时不能实现最大目标/面板值1005。本发明诸实施例选择目标色调曲线最适于所显示图像和期望性能目标的范围。

可产生多条目标色调曲线以实现不同优先级。例如，如果节能是主要目标，则针对目标曲线M和CR的值可被设置成等于面板色调曲线中的相应值。在该节能实施例中，目标色调曲线等于自然面板色调曲线。背光调制被用来节能，同时除该范围的顶端外，所显示图像实质上与全功率下显示上的图像相同，这在低背光设置下是不可获得的。

示例性节能色调曲线在图60中示出。在这些实施例中，面板和目标色调曲线相同1010。背光亮度被减弱，由此允许更低可能目标曲线1011的可能性，但是此可能性在这些实施例中不使用。相反，通过补偿图像代码值，图像被增亮以匹配面板色调曲线1010。当这不可能时，在由于为节能而减弱背光的面板限制1013下，补偿可被舍入1012以避免削波伪像。此舍入可根据以上相关于其它实施例描述的方法来实现。在一些实施例中，可允许削波或者可由于图像中的受限动态范围而不进行削波。在那些情形中，舍入1012可能不是必要的，并且目标色调曲线在范围顶端1014处可简单地跟随面板色调曲线。

在另一示例性实施例中，当较低黑色电平是主要目标时，目标曲线的M的值可被设置成等于面板色调曲线中的相应值，但目标曲线的CR的值可被设置成等于面板色调曲线中相应值的4倍。在这些实施例中，目标色调曲线被选择成降低黑色电平。显示亮度相对于全功率显示不变。目标色调曲线具有与面板相同的最大值M，但具有更高的对比率。在以上示例中，对比率是自然面板对比率的4倍。或者，目标色调曲线可包括其范围顶端处的舍入曲线。假设背光可被调制4∶1的倍数。

优先考虑黑色电平降低的一些实施例可相关于附图61进行描述。在这些实施例中，如上所述地例如利用方程49计算面板色调曲线1020。目标色调曲线1021也针对降低背光亮度级和更高对比率来计算。在该范围的顶端，目标色调曲线1024可沿面板色调曲线延伸。可选地，目标色调曲线可采用舍入曲线1023，其可减少针对降低背光级的显示限制1022附近的削波。

在另一示例性实施例中，当更明亮图像是主要目标时，目标曲线的M的值可被设置成等于面板色调曲线中的相应值的1.2倍，但目标曲线的CR的值可被设置成等于面板色调曲线中的相应值。目标色调曲线被选择成增加亮度，从而保持相同的对比率。(注意黑色电平升高。)目标最大值M比面板最大值大。图像补偿将被用来增亮图像以实现该增亮。

优先考虑图像亮度的一些实施例可相关于附图62进行描述。在这些实施例中，面板色调曲线和目标色调曲线在范围底端1030附近基本上相似。然而，在此区域之上，面板色调曲线1032跟随至最大显示输出1033的典型路径。然而，目标色调曲线跟随升高路径1031，其在此区域中提供更明亮的图像代码值。朝向该范围的顶端，目标曲线1031可包括舍入曲线1035，其将目标曲线舍入至点1033，在该点处显示因为降低背光级而不再跟随目标曲线。

在另一示例性实施例中，当具有较低黑色电平和更明亮中频的增强图像是主要目标时，目标曲线的M的值可被设置成等于面板色调曲线中相应值的1.2倍，但目标曲线的CR的值可被设置成等于面板色调曲线中相应值的4倍。目标色调曲线被选择成增大亮度并降低黑色电平两者。目标最大值大于面板最大值M且对比率也大于面板对比率。此面板色调曲线可影响背光选择和图像补偿两者。背光将在暗帧中减弱以实现目标的降低黑色电平。甚至在全背光下可使用图像补偿来实现增大亮度。

优先考虑图像亮度和较低黑色电平的一些实施例可相关于附图63进行描述。在这些实施例中，如上所述地例如利用方程49计算面板色调曲线1040。也计算目标色调曲线1041，但是目标色调曲线1041可在较低黑色点1045处开始以负责降低背光级。目标色调曲线1041还可跟随升高路径来增亮色阶中程和上程中的图像代码值。因为具有降低背光级的显示不能达到最大目标值1042甚至最大面板值1043，所以可采用舍入曲线1044。此舍入曲线1044可在最大降低背光面板值1046处终止面板色调曲线1041。以上相关于其它实施例所述的各种方法可用来确定舍入曲线特性。

本发明的一些实施例可关于图64进行描述。在这些实施例中，可计算多条目标色调曲线，并且可基于图像特性、性能目标或某其它标准来从所计算曲线集合中作出选择。在这些实施例中，面板色调曲线1127可针对具有升高黑色电平1120的全背光亮度情形产生。目标色调曲线1128和1129也可产生。这些目标色调曲线1128和1129包括黑色电平转换区1122，其中曲线转换至诸如黑色电平点1121的黑色电平点。这些曲线还包括公用区，其中来自任一目标色调曲线的输入点被映射至相同输出点。在某实施例中，这些目标色调曲线还可包括亮度舍入曲线1126，其中曲线舍入至诸如以上针对其它实施例所述的最大亮度级1125。曲线可基于图像特性从该目标色调曲线集中选择。作为示例而非限制，具有许多极暗像素的图像可受益于较低黑色电平，且具有调暗背光和较低黑色电平的曲线1128可被选择用于此图像。具有许多明亮像素值的图像可影响具有更高最大亮度1124的曲线1127的选择。视频序列的每个帧可影响对不同目标色调曲线的选择。如果没有受管制，不同色调曲线的使用可引起序列中的闪烁和非期望伪像。然而，由这些实施例的所有目标色调曲线所共享的公用区1123用来稳定瞬时效应并减少闪烁和类似伪像。

本发明的一些实施例可关于图65进行描述。在这些实施例中，可产生诸如目标色调曲线1105的目标色调曲线集合。这些目标色调曲线可包括不同的黑色电平转换区1102，其可对应于不同的背光亮度级。该目标色调曲线的集合还包括该集合中的所有曲线共享相同映射的增强公用区1101。在一些实施例中，这些曲线还可包括从公用区转换至最大亮度级的亮度舍入曲线1103。在示例性增强目标色调曲线1109中，曲线可在黑色电平点1105开始并转换至增强公用区1101，该曲线然后可从增强公用区随舍入曲线转换至最大亮度级1106。在一些实施例中，可能不出现亮度舍入曲线。这些实施例与参照图65所述的那些实施例的不同之处在于公用区在面板色调曲线之上。这将输入像素值映射至更高输出值，由此增亮所显示图像。在一些实施例中，增强目标色调曲线的集合可产生并选择性地用于图像序列的帧。这些实施例共享用来减少闪烁和相似伪像的公用区。在一些实施例中，可计算目标色调曲线集合和增强目标色调曲线集合并储存，以供根据图像特性和/或性能目标选择性地使用。

本发明的一些实施例可关于图66进行描述。在图66的方法中，确定目标色调曲线参数(1050)。在一些实施例中，这些参数可包括最大目标面板输出、目标对比率和/或目标面板γ值。其它参数还可被用来定义可用来调节或补偿图像以产生性能目标的目标色调曲线。

在这些实施例中，还可计算面板色调曲线(1051)。面板色调曲线被示出以例示典型面板输出与目标色调曲线之间的差异。面板色调曲线1051关联要用于显示的显示面板的特性，并且可用来创建根据其可作出误差或畸变测量的基准图像。此曲线1051可基于给定显示器的最大面板输出M和面板对比率CR来计算。在一些实施例中，此曲线可基于最大面板输出M、面板对比率CR、面板伽玛值γ、以及图像代码值c。

可计算一个或多个目标色调曲线(TTC)(1052)。在一些实施例中，TTC族可在该族的每一成员基于不同背光级的情况下计算。在其它实施例中，其它参数可不同。在一些实施例中，可使用最大目标输出M和目标对比率CR计算目标色调曲线。在一些实施例中，此目标色调曲线可基于最大面板输出M、面板对比率CR、面板伽玛值γ、以及图像代码值c。在一些实施例中，目标色调曲线可呈现图像的期望变体。例如，目标色调曲线可呈现较低黑色电平、较明亮图像区域、经补偿区域、和/或舍入曲线中的一个或多个。目标色调曲线可被呈现为查寻表(LUT)、可经由硬件或软件计算、或可通过其它手段来表示。

可确定背光亮度级(1053)。在一些实施例中，背光级选择可受诸如节能的性能目标、黑色电平标准或其它目标影响。在一些实施例中，背光级可被确定成最小化经处理或增强图像与如在假设基准显示器上显示的原始图像之间的畸变或误差。当图像值主要极暗时，较低背光级对于图像显示可能是最适当的。当图像值主要明亮时，更高的背光级对于图像显示可能是最佳选择。在一些实施例中，用面板色调曲线处理的图像可与用多个TTC处理的图像作比较以确定适当的TTC和相应的背光级。

在本发明的一些实施例中，也可在背光选择和图像补偿选择方法中考虑具体性能目标。例如，当节能已被标识为性能目标时，较低背光级可具有优于图像性能最优化的优先级。相反，当图像亮度是性能目标时，较低背光级可具有较低优先级。

背光级可被选择(1053)成使图像相对于目标色调曲线、假设基准显示或某其它标准的误差或畸变最小化。在一些实施例中，在2006年7月28日提交的题为“用于畸变相关源光管理的方法和系统”(Methods and Systems forDistortion-Related Source Light Management)的美国专利申请11/460,768中揭示的方法可用来选择背光级和补偿方法，该专利申请通过引用结合于此。

在目标色调曲线计算之后，可用目标色调曲线调节或补偿(1054)图像以实现性能目标或对降低背光级作补偿。此调节或补偿可参照目标色调曲线执行。

在背光选择1053和补偿或调节1054之后，经调节或补偿的图像可在所选背光级1055下显示。

本发明的一些实施例可参照图67进行描述。在这些实施例中，建立图像增强或处理目标(1060)。此目标可包括节能、较低黑色电平、图像增亮、色阶调节、或其它处理或增强目标。基于该处理或增强目标，可选择目标色调曲线参数(1061)。在一些实施例中，参数选择可被自动化并基于这些增强或处理目标。在一些示例性实施例中，这些参数可包括最大目标输出M和目标对比率CR。在一些实施例中，这些参数可包括最大目标输出M、目标对比率CR、显示伽玛值γ、以及图像代码值c。

可基于所选目标色调曲线参数来计算目标色调曲线(TTC)(1062)。在一些实施例中，可计算一个集合的TTC。在一些实施例中，该集合包括对应于变化背光级但具有公用TTC参数的曲线。在其它实施例中，其它参数可不同。

可选择背光亮度级(1063)。在一些实施例中，背光级可参照图像特性来选择。在一些实施例中，背光级可基于性能目标来选择。在一些实施例中，背光级可基于性能目标和图像特性来选择。在一些实施例中，背光级可通过选择与性能目标或误差标准相匹配的TTC并使用与该TTC相对应的背光级来选择。

一旦选择了背光级(1063)，就可通过关联选择与该级相对应的目标色调曲线。现在可用目标色调曲线来调节、增强或补偿(1064)该图像。然后可使用所选背光级在显示器上显示(1065)经调节图像。

本发明的一些实施例可参照图68进行描述。在这些实施例中，标识图像显示性能目标(1070)。这可通过用户界面执行，用户通过该用户界面直接选择性能目标。这也可通过用户查询执行，用户通过该用户查询标识根据其产生性能目标的优先级。性能目标也可基于图像分析、显示设备特性、设备使用历史或其它信息来自动标识。

基于该性能目标，可自动选择或产生目标色调曲线参数(1071)。在一些示例性实施例中，这些参数可包括最大目标输出M和目标对比率CR。在一些实施例中，这些参数可包括最大目标输出M、目标对比率CR、显示伽玛值γ、以及图像代码值c。

可根据目标色调曲线参数产生(1072)一个或多个目标色调曲线。目标色调曲线可被表示为方程、一系列方程、表格(例如LUT)或某其它表示。

在一些实施例中，每个TTC将对应于一背光级。可通过发现符合标准的相应TTC来选择背光级(1073)。在一些实施例中，背光选择可通过其它方法来作出。如果背光与TTC无关地选择，则也可选择对应于该背光级的TTC。

一旦选择了最终的TTC(1073)，其就可应用于(1074)图像以增强、补偿或以其它方式处理该图像以供显示。然后可显示经处理图像(1075)。

本发明的一些实施例可参照图69进行描述。在这些实施例中，标识图像显示性能目标(1080)。这可通过用户界面执行，用户通过该用户界面直接选择性能目标。这也可通过用户查询执行，用户通过该用户查询标识根据其产生性能目标的优先级。性能目标也可基于图像分析、显示设备特性、设备使用历史或其它信息来自动标识。还可执行图像分析(1081)以标识图像特性。

基于该性能目标，可自动选择或产生目标色调曲线参数(1082)。还可选择背光级，该背光级可被直接标识或者可经由最大显示输出值和对比率来表示。在一些示例性实施例中，这些参数可包括最大目标输出M和目标对比率CR。在一些实施例中，这些参数可包括最大目标输出M、目标对比率CR、显示伽玛值γ、以及图像代码值c。

可根据目标色调曲线参数产生(1083)目标色调曲线。目标色调曲线可被表示为方程、一系列方程、表格(例如LUT)或某其它表示。一旦产生了此曲线(1083)，其就可应用于(1084)图像以增强、补偿或以其它方式处理该图像以供显示。然后可显示经处理图像(1085)。

色彩增强和亮度增强

本发明的一些实施例包括色彩增强和亮度增强或保持。在这些实施例中，具体色彩值、范围或区域可被修改以增强色彩方面以及亮度增强或保持。在一些实施例中，这些修改或增强可对图像的低通(LP)版本执行。在一些实施例中，可使用具体色彩增强过程。

本发明的一些实施例可参照图70进行描述。在这些实施例中，可用低通(LP)滤波器对图像1130滤波(1131)以产生LP图像1125。此LP图像1125可被减去(1134)或以其它方式与原始图像1130组合以产生高通(HP)图像1135。然后用诸如亮度保持(BP)过程或用于增亮图像特征的相似过程的色阶过程1133来处理该LP图像，从而补偿降低的背光级或以其它方式如以上相关于其它实施例所述地修改LP图像1125。所得的经处理LP图像然后可与HP图像1135组合以产生色阶增强图像，该色阶增强图像然后可用位深扩展(BDE)过程1139处理。在BDE过程1139中，特别设计的噪声模式或抖动模式可被应用于图像，以降低对因减少图像位深的后续处理产生的等高线伪像的敏感性。一些实施例可包括如2004年2月9日提交的且发明人为Scott J.Daly和Xiao-Fan Feng的题为“用于自适应抖动结构的方法和系统”(Methods and Systems for Adaptive Dither Structures)的美国专利申请No.10/775,012中所述的BDE过程，所述申请由此通过引用纳入于此。一些实施例可包括如2003年8月22日提交的且发明人为Xiao-Fan Feng和Scott J.Daly的题为“用于抖动结构创建和应用的系统和方法”(Systems and Methods for Dither Structure Creation and Application)的美国专利申请No.10/645,952中所述的BDE过程，所述申请通过引用纳入于此。一些实施例可包括如2003年9月30日提交的且发明人为Xiao-Fan Feng和Scott J.Daly的题为“用于多维抖动结构创建和应用的系统和方法”(Systems and Methods for Dither Structure Creation and Application)的美国专利申请No.10/676,891中所述的BDE过程，所述申请由此通过引用纳入于此。然后可显示或进一步处理所得的BDE增强图像1129。BDE增强图像1129将不太可能在其位深如以上通过引用结合于此的申请中所述地减少时示出等高线伪像。

本发明的一些实施例可参照图71进行描述。在这些实施例中，可对图像1130低通(LP)滤波(1131)以产生图像的LP版本。此LP版本可被发送至色彩增强模块1132以供处理。该色彩增强模块1132可包括色彩检测功能、色彩映射细化功能、色彩区域处理功能和其它功能。在一些实施例中，色彩增强模块1132可包括肤色检测功能、肤色映射细化功能和肤色区域处理以及非肤色区域处理。色彩增强模块1132中的功能可导致图像元的修改色彩值，诸如像素强度值。

在色彩修改之后，经色彩修改的LP图像可被发送至亮度保持或亮度增强模块1133。该模块1133与以上所述的其中图像值用色阶曲线或类似方法调节或修改以改进亮度特性的许多实施例相似。在一些实施例中，色阶曲线可与源光或背光级相关。在一些实施例中，色阶曲线可对降低背光级作出补偿。在一些实施例中，色阶曲线可增亮图像或以其它方式与任何背光级无关地修改图像。

然后经色彩增强、亮度增强的图像可与图像的高通(HP)版本组合。在一些实施例中，图像的HP版本可通过从原始图像1130减去(1134)LP版本创建，从而产生图像的HP版本1135。经色彩增强、亮度增强的图像与图像的HP版本1135的组合1137产生经增强图像1138。

本发明的一些实施例可包括图像相关的背光选择和/或对HP图像的单独增益处理。这两个附加元件是不相关的独立元件，但可相关于包括图72中所示两个元件的实施例进行描述。在此示例性实施例中，图像1130可被输入至其中可产生LP图像1145的滤波器模块1131。然后可从原始图像1130减去LP图像1145以产生HP图像1135。LP图像1145还可被发送至色彩增强模块1132。在一些实施例中，原始图像1130还可被发送至背光选择模块1140，以用于确定背光亮度级。

该色彩增强模块1132可包括色彩检测功能、色彩映射细化功能、色彩区域处理功能和其它功能。在一些实施例中，色彩增强模块1132可包括肤色检测功能、肤色映射细化功能和肤色区域处理以及非肤色区域处理。色彩增强模块1132中的功能可导致图像元的修改色彩值，诸如像素强度值。

亮度保持(BP)或亮度增强色阶模块1141可接收LP图像1145，以供用色阶操作进行处理。色阶操作可取决于从背光选择模块1140接收的背光选择信息。当用色阶操作实现亮度保持时，背光选择信息在确定色阶曲线时有用。当在没有背光补偿的情况下仅执行亮度增强时，可能不需要背光选择信息。

也可使用以上对相似实施例所述的方法在HP增益模块1136中处理HP图像1135。HP增益模块中的增益处理将产生经修改HP图像1147。因色阶模块1141中的色阶处理所产生的经修改LP图像1146然后可与经修改HP图像1147组合(1142)以产生增强图像1143。

增强图像1143可利用用背光1144的背光调制在显示器上显示，背光1144已从背光选择模块1140处接收到背光选择数据。因此，图像可以降低的或以其它方式调制的背光设置、但以补偿背光调制的经修改图像值显示。类似地，可以全背光亮度显示包括LP色阶处理和HP增益处理的亮度增强图像。

本发明的一些实施例可参照图73进行描述。在这些实施例中，原始图像1130被输入至可产生LP图像1155的滤波器模块1150。在一些实施例中，滤波器模块也可产生直方图1151。LP图像1155可被发送至色彩增强模块1156以及减法过程1157，在该减法过程1157中将从原始图像1130中减去LP图像1155以形成HP图像1158。在一些实施例中，HP图像1158也可进行去核(coring)处理1159，其中从HP图像1158中去除一些高频成分。该去核处理将产生经去核的HP图像1160，其然后可用增益映射1162处理(1161)以实现亮度保持、增强或以上针对其它实施例所述的其它处理。增益映射处理1161将产生经增益映射的HP图像1168。

可在色彩增强模块1156中用色彩检测功能、色彩映射细化功能、色彩区域处理功能和其它功能来处理发送至该模块的LP图像1155。在一些实施例中，色彩增强模块1156可包括肤色检测功能、肤色映射细化功能和肤色区域处理以及非肤色区域处理。色彩增强模块1156中的功能可产生针对图像元的经修改色彩值，诸如像素强度值，这些经修改色彩值可被记录为经色彩增强的LP图像1169。

经色彩增强的LP图像1169然后可在BP色阶或增强色阶模块1163中被处理。亮度保持(BP)或亮度增强色阶模块1163可接收经色彩增强的LP图像1169，以供用色阶操作进行处理。色阶操作可取决于从背光选择模块1154接收的背光选择信息。当用色阶操作实现亮度保持时，背光选择信息在确定色阶曲线时有用。仅当亮度增强在没有背光补偿的情况下执行时，可能不需要背光选择信息。在色阶模块1163内执行的色阶操作可取决于图像特性、应用的性能目标以及其它参数，但与背光信息无关。

在一些实施例中，图像直方图1151可被延迟(1152)以使色彩增强模块1156和色阶模块1163有时间执行其功能。在这些实施例中，经延迟的直方图1153可被用来影响背光选择1154。在一些实施例中，来自前一帧的直方图可被用来影响背光选择1154。在一些实施例中，来自当前帧的前两个帧的直方图可被用来影响背光选择1154。一旦执行背光选择，就可由色阶模块1163使用背光选择数据。

一旦经色彩增强的LP图像1169通过色阶模块1163处理，所得的经色彩增强、亮度增强的LP图像1176可与经增益映射的HP图像1168组合(1164)。在一些实施例中，此过程1164可以是一加法过程。在一些实施例中，从该组合过程1164产生的经组合的增强图像1177将是供图像显示的最终产物。此经组合的增强图像1177可利用以从背光选择模块1154接收的背光设置调制的背光1166在显示器上显示。

本发明的一些色彩增强模块可参照图74进行描述。在这些实施例中，LP图像1170可被输入至色彩增强模块1171。在色彩增强模块1171中各种处理可被应用于LP图像1170。肤色检测处理1172可应用于LP图像1170。肤色检测处理1172可包括分析LP图像1170中每个像素的色彩并基于该像素色彩指派肤色可能性值。该处理可产生肤色可能性映射。在一些实施例中，查找表(LUT)可用来确定色彩是一肤色的可能性。其它方法也可用来确定肤色可能性。一些实施例可包括以上所述以及在通过引用结合于此的其它申请中所述的肤色检测方法。

所得的肤色可能性映射可通过肤色映射细化处理1173来处理。LP图像1170也可被输入至此细化处理1173或被其访问。在一些实施例中，此细化处理1173可包括图像驱动的非线性低通滤波器。在一些实施例中，细化处理1173可包括：当相应图像色彩值离相邻像素色彩值在特定色彩空间距离内时并且当图像像素和相邻像素在特定空间距离内时对肤色映射值应用的取平均处理。通过此处理修改或细化的肤色映射然后可被用来标识LP图像内的肤色区域。该肤色区域外的区域也可被标识为非肤色区域。

在色彩增强模块1171中，LP图像1170然后可通过仅对肤色区域应用色彩修改处理1174来进行微分处理。在一些实施例中，色彩修改处理1174可仅应用于非肤色区域。在一些实施例中，第一色彩修改处理可被应用于肤色区域，而第二色彩修改处理可被应用于非肤色区域。这些色彩修改处理的每一个将产生经色彩修改或增强的LP图像1175。在一些实施例中，经增强的LP图像可在色阶模块(例如BP)或增强色阶模块1163中进一步处理。

本发明的一些实施例可参照图75进行描述。在这些实施例中，可对图像1130低通(LP)滤波(1131)以产生图像的LP版本。此LP版本可被发送至色彩增强模块1132以供处理。该色彩增强模块1132可包括色彩检测功能、色彩映射细化功能、色彩区域处理功能以及其它功能。在一些实施例中，色彩增强模块1132可包括肤色检测功能、肤色映射细化功能和肤色区域处理以及非肤色区域处理。色彩增强模块1132中的功能可导致图像元的经修改色彩值，诸如像素强度值。

然后经色彩增强、亮度增强的图像可与图像的高通(HP)版本组合。在一些实施例中，图像的HP版本可通过从原始图像1130减去(1134)LP版本来创建，从而产生图像的HP版本1135。经色彩增强、亮度增强的图像与图像的HP版本1135的组合1137产生经增强图像1138。

在这些实施例中，可对经增强图像1138执行位深扩展(BDE)处理1139。此BDE处理1139可减少当位深受限制时产生的可见伪像。一些实施例可包括如以上提及的通过引用结合于此的专利申请中所述的BDE处理。

本发明的一些实施例可参照图76进行描述。这些实施例与参照图73所述的那些实施例相似，但包括附加的位深扩展处理。

在这些实施例中，原始图像1130被输入至可产生LP图像1155的滤波器模块1150。在一些实施例中，滤波器模块也可产生直方图1151。LP图像1155可被发送至色彩增强模块1156以及减法过程1157，在该减法过程1157中将从原始图像1130中减去LP图像1155以形成HP图像1158。在一些实施例中，HP图像1158也可进行去核(coring)处理1159，其中从HP图像1158中去除一些高频成分。该去核处理将产生经去核的HP图像1160，其然后可用增益映射1162处理(1161)以实现亮度保持、增强或以上针对其它实施例所述的其它处理。增益映射处理1161将产生经增益映射的HP图像1168。

发送至色彩增强模块1156的LP图像1155可在该模块中用色彩检测功能、色彩映射细化功能、色彩区域处理功能和其它功能来处理。在一些实施例中，色彩增强模块1156可包括肤色检测功能、肤色映射细化功能和肤色区域处理以及非肤色区域处理。色彩增强模块1156中的功能可产生针对图像元的经修改色彩值，诸如像素强度值，这些经修改色彩值可被记录为经色彩增强的LP图像1169。

经色彩增强的LP图像1169然后可在BP色阶或增强色阶模块1163中处理。亮度保持(BP)或亮度增强色阶模块1163可接收经色彩增强的LP图像1169，以供用色阶操作进行处理。色阶操作可取决于从背光选择模块1154接收的背光选择信息。当用色阶操作实现亮度保持时，背光选择信息在确定色阶曲线时有用。当在没有背光补偿的情况下仅执行亮度增强时，可能不需要背光选择信息。在色阶模块1163内执行的色阶操作可取决于图像特性、应用的性能目标以及其它参数，但与背光信息无关。

一旦经色彩增强的LP图像1169通过色阶模块1163处理，所得的经色彩增强、亮度增强的LP图像1176可与经增益映射的HP图像1168组合(1164)。在一些实施例中，此过程1164可以是一加法过程。在一些实施例中，从此组合过程1164产生的经组合增强图像1177可用位深扩展(BDE)处理1165来处理。此BDE处理1165可减少位深受限制时产生的可见伪像。一些实施例可包括如以上提及的通过引用结合于此的专利申请中所述的BDE处理。

在BDE处理1165之后，此经增强图像1169可利用以从背光选择模块1154接收的背光设置调制的背光1166在显示器上显示。

本发明的一些实施例可参照图77进行描述。在这些实施例中，可用低通(LP)滤波器对图像1180滤波(1181)以产生LP图像1183。此LP图像1183可被减去(1182)或以其它方式与原始图像1180组合以产生高通(HP)图像1189。然后可用色彩增强模块1184来处理该LP图像。在色彩增强模块1184中，可对LP图像应用各种处理。肤色检测处理1185可应用于LP图像1183。肤色检测处理1185可包括分析LP图像1183中每个像素的色彩并基于该像素色彩指派肤色可能性值。该处理可产生肤色可能性映射。在一些实施例中，查找表(LUT)可用来确定色彩是一肤色的可能性。其它方法也可用来确定肤色可能性。一些实施例可包括以上所述以及在通过引用结合于此的其它申请中所述的肤色检测方法。

所得的肤色可能性映射可通过肤色映射细化处理1186来处理。LP图像1183也可被输入至此细化处理1186或被其访问。在一些实施例中，此细化处理1186可包括图像驱动的非线性低通滤波器。在一些实施例中，细化处理1186可包括：当相应图像色彩值离相邻像素色彩值在特定色彩空间距离内时并且当图像像素和相邻像素在特定空间距离内时对肤色映射中的值应用的取平均处理。通过此处理修改或细化的肤色映射然后可被用来标识LP图像内的肤色区域。肤色区域外的区域也可被标识为非肤色区域。

在色彩增强模块1184中，LP图像1183然后可通过仅对肤色区域应用色彩修改处理1187来进行微分处理。在一些实施例中，色彩修改处理1187可仅应用于非肤色区域。在一些实施例中，第一色彩修改处理可被应用于肤色区域，而第二色彩修改处理可被应用于非肤色区域。这些色彩修改处理的每一个将产生经色彩修改或增强的LP图像1188。

此经增强的LP图像1188然后可与HP图像1189相加或以其它方式与之组合，从而产生经增强图像1192。

本发明的一些实施例可参照图78进行描述。在这些实施例中，可用低通(LP)滤波器对图像1180滤波(1181)以产生LP图像1183。此LP图像1183可被减去(1182)或以其它方式与原始图像1180组合以产生高通(HP)图像1189。然后可用色彩增强模块1184来处理该LP图像。在色彩增强模块1184中，可对LP图像应用各种处理。肤色检测处理1185可应用于LP图像1183。肤色检测处理1185可包括分析LP图像1183中每个像素的色彩并基于该像素色彩指派肤色可能性值。该处理可产生肤色可能性映射。在一些实施例中，查找表(LUT)可用来确定色彩是一肤色的可能性。其它方法也可用来确定肤色可能性。一些实施例可包括以上所述以及在通过引用结合于此的其它申请中所述的肤色检测方法。

所得的肤色可能性映射可通过肤色映射细化处理1186来处理。LP图像1183也可被输入至此细化处理1186或通过其访问。在一些实施例中，此细化处理1186可包括图像驱动的非线性低通滤波器。在一些实施例中，细化处理1186可包括：当相应图像色彩值离相邻像素色彩值在特定色彩空间距离内时并且当图像像素和相邻像素在特定空间距离内时对肤色映射中的值应用的取平均处理。通过此处理修改或细化的肤色映射然后可被用来标识LP图像内的肤色区域。肤色区域外的区域也可被标识为非肤色区域。

在色彩增强模块1184中，然后可通过仅对肤色区域应用色彩修改处理1187来对LP图像1183进行微分处理。在一些实施例中，色彩修改处理1187可仅应用于非肤色区域。在一些实施例中，第一色彩修改处理可被应用于肤色区域，而第二色彩修改处理可被应用于非肤色区域。这些色彩修改处理的每一个将产生经色彩修改或增强的LP图像1188。

该经增强LP图像1188然后可与HP图像1189相加或以其它方式组合以产生经增强图像，该经增强图像然后可用位深扩展(BDE)处理1191处理。在BDE处理1191中，特别设计的噪声模式或抖动模式可被应用于图像，以降低对因减少图像位深的后续处理产生的等高线伪像的敏感性。一些实施例可包括如以上提及的通过引用结合于此的专利申请中所述的BDE处理。然后可显示或进一步处理所得的BDE增强图像1193。经BDE增强的图像1193在如以上通过引用结合的申请中所述其位深被减小时将较不可能显示等高线伪像。

本发明的一些实施例包括在硬件实现的约束下实现高质量背光调制和亮度保持的细节。这些实施例可参照图73和76中所示的实施例进行描述。

一些实施例包括驻留在图73和76中的背光选择块1154和BP色阶块1163中的元件。这些实施例的一部分可减少存储器消耗和实时计算需求。

直方图计算

在这些实施例中，对图像代码值而非辉度值计算直方图。因而不需要色彩转换。在一些实施例中，初始算法可对图像的所有样本计算直方图。在这些实施例中，直方图计算直到接收到图像的最后一个样本时才能完成。在背光选择和补偿色调曲线设计能够完成之前必须获得所有样本并且必须完成直方图。

这些实施例具有若干复杂性问题：

●因为直到完成直方图时才能对第一像素作补偿，所以需要帧缓存器-RAM

●因为其它功能元件被停止以等待结果，所以几乎没有时间可用于直方图和背光选择运算-计算

●必须处理以对所有图像样本计算一直方图的大量图像样本-计算

●对于10比特的图像数据而言，10比特的直方图需要相对大的存储器来保存数据，并需要在畸变最优化中检查大量点-RAM和计算

本发明的一些实施例包括用于克服这些问题的技术。为了消除对帧缓存器的需要，前一帧的直方图可被用作背光选择算法的输入。来自帧n的直方图被用作帧n+1、n+2或另一后续帧的输入，由此消除对帧缓存器的需要。

为了允许计算时间，可将直方图延迟一个或两个附加帧，从而来自帧n的直方图被用作供帧n+2、n+3等的背光选择的输入。这允许背光选择算法有从帧n结束处至例如n+2的后续帧开始处的时间来计算。

在一些实施例中，背光选择算法的输出上的时间滤波器可用来降低对背光选择中相对于输入帧的该帧延迟的敏感度。

为了减少在计算每个直方图时必须处理的样本数量，一些实施例可使用一区块而非单独的像素。对于每个色彩平面和每个区块，计算最大样本。可对这些区块最大值计算直方图。在一些实施例中，最大值仍然在每个色彩平面上计算。由此，具有M个区块的图像将具有对直方图的3-M个输入。

在一些实施例中，可对量化到小比特范围即6比特的输入数据计算直方图。在这些实施例中，减少了保存直方图所需的RAM。另外，在畸变相关实施例中，畸变搜索所需的操作也减少。

以下以函数1的代码形式描述示例性直方图计算实施例。

函数1

/***************************************************************************************/

//

ComputeHistogram

//基于区块上的最大值计算直方图

//在定义中设置的区块大小和直方图位深

//相关全局变量

//gHistogramBlockSize

//gN_HistogramBins

//N_PIPELINE_CODEVALUES

void ComputeHistogram(SHORT*pSource，IMAGE_SIZE size，UINT32*pHistogram)

{

SHORT cv；

SHORT bin；

SHORT r，c，k；

SHORT block；

SHORT cvMax；

SHORT BlockRowCount；

SHORT nHistogramBlocksWide；

nHistogramBlocksWide＝size.width/gHistogramBlockSize；

/*清除直方图*/

for(bin＝0；bin＜gN_HistogramBins；bin++)

pHistogram＝0；

//将区块上的最大值用于直方图，不要混合色彩

//跟踪区块的每一扫描行中的最大值，并且在扫描行上取最大值

//初始化

BlockRowCount＝0；

for(k＝0；k＜NCOLORS；k++)

for(block＝0；block＜nHistogramBlocksWide；block++)

MaxBlockCodeValue＝0；

for(r＝0；r＜size.height；r++)

{

//单个扫描行

for(c＝0；c＜size.width；c++)

{

block＝c/gHistogramBlockSize；

for(k＝0；k＜NCOLORS；k++)

{

cv＝pSource；

if(cv＞MaxBlockCodeValue)

MaxBlockCodeValue＝cv；

}

//完成了成行的区块？

if(r＝＝(gHistogramBlockSize*(BlockRowCount+1)-1))

{

//更新直方图并递增BlockRowCount

for(k＝0；k＜NCOLORS；k++)

for(block＝0；block＜nHistogramBlocksWide；block++)

{

cvMax＝MaxBlockCodeValue；

bin＝(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/2))/((SHORT)N_PIPELINE_CODEVALUES))；

pHistogram++；

}

BlockRowCount＝BlockRowCount+1；

//重置最大值

for(k＝0；k＜NCOLORS；k++)

for(block＝0；block＜nHistogramBlocksWide；block++)

MaxBlockCodeValue＝0；

}

return；

}

目标和实际显示模型

在一些实施例中，畸变和补偿算法取决于用来描述目标和基准显示器的幂函数。该幂函数或“γ”可以整数表示离线计算。在一些实施例中，该实时计算可利用γ幂函数的预先计算的整数值。以下列示为函数2的样本代码描述一示例性实施例。

函数2

void InitPowerOfGamma(void)

{

inti；

//在此初始化ROM表格

for(i＝0；i＜N_PIPELINE_CODEVALUES；i++)

{

PowerOfGamma＝pow(i/((double)N_PIPELINE_CODEVALUES-1)，GAMMA)；

IntPowerOfGamma＝(UINT32)((1＜＜N_BITS_INT_GAMMA)*PowerOfGamma+0.5)；

}

retum；

}

在一些实施例中，目标和实际显示两者可用双参数GOG-F模型建模，该模型实时地用来控制基于畸变的背光选择过程和背光补偿算法。在一些实施例中，目标(基准)显示和实际面板两者可建模为具有带加性偏移的2.2γ功率规则。该加性偏移可确定显示的对比率。

畸变权重的计算

在一些实施例中，对于每个背光级和输入图像，可计算期望输出图像与给定背光级上的输出之间的畸变。结果是对每个直方图面元(bin)和每个背光级的权重。通过仅对所需背光级计算畸变权重，所使用RAM的大小被保持于最小或减小水平。在这些实施例中，在线计算使算法能适应对基准或目标显示的不同选择。该计算涉及两个元素，即图像直方图和畸变权重集合。在其它实施例中，所有可能背光值的畸变权重被离线计算并储存在ROM中。为了降低ROM要求，畸变权重可针对每个帧的每个感兴趣背光级计算。给定期望和面板显示模型以及背光级列表，可对每个帧计算这些背光级的畸变权重。以下示出作为函数3的一示例性实施例的样本代码。

函数3

/****************************************************************************************

//void ComputeBackLightDistortionWeight

//计算畸变需要大的位深

//针对所选背光级列表和面板参数计算畸变权重

//相关全局变量

//MAX_BACKLIGHT_SEARCH

//N_BITS_INT_GAMMA

//N_PIPELINE_CODEVALUES

//IntPowerOfGamma

//gN_HistogramBins

***************************************************************************************/

void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched，

SHORT BlackWeight，

SHORT WhiteWeight，

SHORT PanelCR，

SHORT TargetCR，

SHORT

BackLightLevelReference，

SHORT

BackLightLevelsSearched)

{

SHORT b；

SHORT bin；

SHORT cvL，cvH；

__int64X，Y，D，Dmax；

Dmax＝(1＜＜30)；

Dmax＝Dmax*Dmax；

for(b＝0；b＜nBackLightsSearched；b++)

{

SHORT r，q；

r＝N_PIPELINE_CODEVALUES/gN_HistogramBins；

//找出所搜索的每个背光的低代码值和高代码值

//

PanelOutput＝BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)

//

TargetOutput＝BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)

//对于cvL，找出使得最小面板输出在目标输出上实现的x

//TargetOutput(cvL)＝min(PanelOutput)＝BackLightSearched*PanelFlare

//

BackLightLevelReference*((1-TargetFlare)*cvL^Gamma+TargetFlare)＝BackLightSearched/PanelCR

//

BackLightLevelReference/TargetCR*((TargetCR-1)*cvL^Gamma+1)＝BackLightSearched/PanelCR

//

PanelCR*BackLightLevelReference*((TargetCR-1)*cvL^Gamma+1)＝TargetCR*BackLightSearched

//

PanelCR*BackLightLevelReference*((TargetCR-1)*IntPowerOfGamma+(1＜＜N_BITS_INT_GAMMA))＝TargetCR*BackLightSearched*(1＜＜N_BITS_INT_GAMMA))

X＝TargetCR；

X＝X*BackLightLevelsSearched；

X＝X*(1＜＜N_BITS_INT_GAMMA)；

for(cvL＝0；cvL＜N_PIPELINE_CODEVALUES；cvL++)

{

Y＝IntPowerOfGamma；

Y＝Y*(TargetCR-1)；

Y＝Y+(1＜＜N_BITS_INT_GAMMA)；

Y＝Y*BackLightLevelReference；

Y＝Y*PanelCR；

if(X＜＝Y)

break；

}

//对于cvH，找出使得最大面板输出在目标输出上实现的x

//TargetOutput(cvH)＝max(PanelOutput)＝BackLightSearched*1

//

BackLightLevelReference*((1-TargetFlare)*cvH^Gamma+TargetFlare)＝BackLightSearched

//

BackLightLevelReference/TargetCR*((TargetCR-1)*cvH^Gamma+1)＝BackLightSearched

//

BackLightLevelReference((TargetCR-1)*cvH^Gamma+1)＝TargetCR*BackLightSearched

//

BackLightLevelReference((TargetCR-1)*IntPowerOfGamma+(1＜＜N_BITS_INT_GAMMA))＝TargetCR*BackLightSearched*(1＜＜N_BITS_INT_GAMMA)

X＝TargetCR；

X＝X*BackLightLevelsSearched；

X＝X*(1＜＜N_BITS_INT_GAMMA)；

for(cvH＝(N_PIPELINE_CODEVALUES-1)；cvH＞＝0；cvH--)

{

Y＝IntPowerOfGamma；

Y＝Y*(TargetCR-1)；

Y＝Y+(1＜＜N_BITS_INT_GAMMA)；

Y＝Y*BackLightLevelReference；

if(X＞＝Y)

break；

}

//建立畸变权重

for(bin＝0；bin＜gN_HistogramBins；bin++)

{

SHORT k；

D＝0；

for(q＝0；q＜r；q++)

{

k＝r*bin+q；

if(k＜＝cvL)

D+＝BlackWeight*(cvL-k)*(cvL-k)；

else if(k＞＝cvH)

D+＝WhiteWeight*(k-cvH)*(k-cvH)；

}

if(D＞Dmax)

D＝Dmax；

gBackLightDistortionWeights＝(UINT32)D；

}

return；

}

对背光的二次采样搜索

在一些实施例中，背光选择算法可包括使每个背光级上的目标显示输出和面板输出之间的畸变最小化的处理。为了减少必须估算的背光级的数量与必须计算和储存的畸变权重的数量两者，可在搜索中使用背光级的子集合。

在一些实施例中，可使用对搜索二次采样的两种示例性方法。在第一种方法中，可能范围的背光级被粗糙量化至例如4个比特。搜索该经量化级的子集以寻找最小畸变。在一些实施例中，可使用绝对最小值和最大值来完成。在第二种方法中，使用发现用于最后一帧的背光级附近的一范围值。例如，搜索来自最后一帧的背光级的±4、±2、±1和+0连同绝对最小级和最大级。在该后一方法中，第二范围中的限制对所选背光级中的变化施加某限制。在一些实施例中，场景切换检测被用来控制二次采样。在一场景内，BL搜索以最后一帧的背光周围的小搜索窗口为中心。在场景切换边界，搜索在可能BL值的范围中分配少量的点。同一场景中的后续帧使用以前一帧的BL周围的搜索为中心的先前方法，直到检测到另一场景切换。

单个BP补偿曲线的计算

在一些实施例中，可在操作期间使用若干不同背光级。在其它实施例中，用于背光级的穷尽集合的补偿曲线被离线地计算、然后储存在ROM中以供实时图像补偿。通过注意到在每个帧中仅需要单个补偿曲线，可降低此存储器要求。由此，针对每个帧计算补偿色调曲线并将其保存在RAM中。在一些实施例中，补偿曲线的设计像在离线设计中使用一样。一些实施例可包括如上所述线性增大至最大保真度点(MFP)、然后平滑滚降的曲线。

时间滤波器

在具有背光调制的系统中的一个关注点是闪烁。这可通过使用图像处理补偿技术来减少。然而，存在对补偿的一些限制，其在背光变化快时会产生伪像。在一些情形中，黑色和白色点跟踪背光并且在所有情形中都不能得到补偿。此外，在一些实施例中，背光选择可基于来自延迟帧的数据，并且由此可与实际帧数据不同。为了在背光计算中调节黑色/白色电平闪烁并使直方图能被延迟，可使用时间滤波器来平滑发送至背光控制单元的实际背光值和相应补偿。

纳入亮度变化

出于各种原因，用户可能想要改变显示的亮度。问题是在背光调制环境中如何这样做。因此，一些实施例可供操纵基准显示的亮度之用，而使背光调制和亮度补偿组件不变。以下作为函数4描述的代码例示了其中基准背光系数或者被设置为最大值，或者被设置成取决于APL被用来改变最大显示亮度时的平均图片电平(APL)的值的一示例性实施例。

函数4

if(gStoredMode)

{

BackLightIndexReference＝N_BACKLIGHT_VALUES-1；

}

else

{

APL＝ComputeAPL(pHistogram)；

//时间滤波器APL

if(firstFrame)

{

for(i＝(APL_FILTER_LENGTH-1)；i＞＝0；i--)

{

APL_History＝APL；

}

for(i＝(APL_FILTER_LENGTH-1)；i＞＝1；i--)

{

APL_History＝APL_History；

}

APL_History＝APL；

APL＝0；

for(i＝0；i＜APL_FILTER_LENGTH；i++)

APL＝APL+APL_History*IntAplFilterTaps；

APL＝(APL+(1＜＜(APL_FILTER_SHIFT-1)))＞＞APL_FILTER_SHIFT；

BackLightIndexReference＝APL2BackLightIndex；

}

加权误差向量实施例

本发明的一些实施例包括利用加权误差向量来选择背光或源光照度级的方法和系统。在一些实施例中，选择多个源光照度级，从中可作出最终选择以供目标图像的光照。面板显示模型然后可用来针对源光照度级中的每一个计算显示输出。在一些实施例中，如相关于前述实施例所述的基准显示模型或实际显示模型可用来确定显示输出电平。还可产生目标输出曲线。然后可通过将面板输出与目标输出曲线作比较来对每个源光照度级确定误差向量。

也可对目标图像产生图像直方图或枚举图像值的类似结构。与图像直方图或结构中的每个图像代码值相对应的值然后可被用来加权具体图像的误差向量。在一些实施例中，直方图面元中对应于特定代码值的命中数量可乘以该代码值的误差向量值，从而产生经加权的图像专属误差向量值。加权误差向量可包括图像中每个代码值的误差向量值。该图像专属的源光照度级专属的误差向量然后可被用作因对该特定图像使用指定源光照度级而产生的误差的指示。

每个源光照度级的误差向量数据的比较可指示哪一个照度级将对该具体图像产生最小误差。在一些实施例中，加权误差向量代码值的和可被称为加权图像误差。在一些实施例中，针对具体图像的对应于最小误差或最小加权图像误差的光源照度级可被选择用于显示该图像。在一视频序列中，对每个视频帧进行该处理，从而产生可对每个帧变化的动态源光照度级。

本发明的一些示例性实施例的多个方面可关于图79进行描述，图79示出目标输出曲线2000和若干显示输出曲线2002-2008。目标输出曲线2000表示图像代码值(在水平轴上示出)和显示输出(在垂直轴上示出)之间的期望关系。还对从25％至100％的源光照度级示出显示输出曲线2002-2008。在2002处示出25％背光的显示输出曲线。在2004处示出50％背光的显示输出曲线。在2006处示出75％背光的显示输出曲线。在2008处示出100％背光的显示输出曲线。在一些实施例中，显示输出曲线2002-2008与目标输出曲线2000之间的垂直差可表示与该位置处的代码值相对应的误差值，或与该误差值成比例。在一些实施例中，针对代码值集合的这些误差值的累积可被称为误差向量。

本发明的一些示例性实施例的多个方面可关于图80进行描述，图80示出特定显示光源照度级的误差向量曲线。该附图中的误差向量曲线对应于图79的目标和显示输出曲线2000-2008。在2016处示出25％背光的误差向量曲线。在2014处示出50％背光的误差向量曲线。在2012处示出75％背光的误差向量曲线。在2010处示出100％背光的误差向量曲线。在图80中示出的这些示例性实施例中，利用均方误差值来使所有的误差值为正数。在其它实施例中，误差值可通过其它方法来确定，并且在一些情形中可存在负误差值。

在本发明的一些实施例中，误差向量可与图像数据组合以创建图像特定的误差值。在一些实施例中，图像直方图可与一个或多个误差向量相组合以创建直方图加权误差值。在一些实施例中，特定代码值的直方图面元计数值可乘以与该代码值相对应的误差值，从而产生经直方图加权的误差值。图像在给定背光照度级下图像的所有经直方图加权的代码值的和可被称为直方图加权误差。可针对多个背光照度级的每一个确定直方图加权误差。背光照度级选择可基于与背光照度级相对应的直方图加权误差。

本发明的一些实施例的多个方面可关于图81进行描述，图81包括各个背光照度级的直方图加权误差的曲线。第一图像的直方图加权误差曲线2020示出误差大小稳定降至86％照度级附近的最小值2021，在86％照度级之后曲线随背光值增大而上升。对于该具体图像，86％左右的照度级提供最低误差。第二图像的另一曲线2022稳定降至95％照度级附近的最小值2023，在95％照度级之后曲线随背光值增大而上升。对于该第二图像，95％左右的照度级提供最低误差。以此方式，一旦对各个源光或背光照度级确定了直方图加权误差，就可对具体图像选择背光照度级。

本发明一些实施例的方面可相关于图82进行描述。在这些实施例中，图像2030被输入至产生图像直方图2032的直方图计算过程2031。显示面板也被分析以针对多个背光照度级确定误差向量数据2033。然后通过将直方图数据2032与加权误差向量数据2033组合可产生(2034)加权误差2035。在一些实施例中，通过将与代码值相对应的误差向量值乘以与该代码值相对应的直方图计数值从而产生经直方图加权的误差向量值，可执行此组合2034。针对图像中所有代码值的所有经直方图加权的误差向量值的和可被称为经直方图加权的误差2035。

通过将每个背光照度级的误差向量与适当的直方图计数值组合，可对多个背光照度级的每一个确定经直方图加权的误差。此处理可产生经直方图加权的误差阵列，其包括针对多个背光照度级的经直方图加权的误差值。然后可分析经直方图加权的误差阵列中的值以确定哪一个背光照度级最适用于图像显示。在一些实施例中，与最小直方图加权误差2036相对应的背光照度级可被选择用于图像显示。在一些实施例中，其它数据可影响背光照度级判定，例如在一些实施例中节能目标可影响该判定。在一些实施例中，可选择在最小直方图加权误差值附近、但也符合某其它标准的背光照度级。一旦选择了背光照度级2037，此电平即可被发信号至显示器。

本发明一些实施例的方面可相关于图83进行描述。在这些实施例中，产生针对特定显示设备或显示特性的目标输出曲线(2040)。该曲线或其附随数据表示该显示器的期望输出。显示输出曲线也针对各个背光或源光照度级产生(2041)。例如，在一些实施例中，可针对背光照度级以10％或5％的增量从0％到100％产生显示输出曲线。

基于目标输出曲线和显示或面板输出曲线，可计算照度级专属误差向量(2042)。通过确定相应图像代码值处目标输出曲线值和显示器或面板输出曲线值之间的差异来计算这些误差向量。误差向量可包括针对图像的每个代码值或针对目标显示的动态范围中的每个代码值的误差值。可针对多个源光照度级计算误差向量。例如，可针对对该显示器产生的每个显示输出曲线计算误差向量。一误差向量集合可预先计算并储存，以供在图像显示期间用于“实时”计算或者可在其它计算中使用。

为了使源光照度级适合特定图像或图像特性，图像直方图可产生(2043)并用于照度级选择过程。在一些实施例中，可使用其它数据结构来标识特定图像中图像代码值出现的频率。在本说明书中这些其它结构可被称为直方图。

在一些实施例中，与变化源光照度级相对应的误差向量可用直方图值加权(2044)以使显示误差与图像相关。在这些实施例中，误差向量值可乘以相应代码值的直方图值，或以其它方式与之相关。换言之，与给定图像代码值相对应的误差向量值可乘以与给定代码值相对应的直方图面元计数值。

一旦确定了加权误差向量值，给定误差向量的所有加权误差向量值就可相加(2045)以针对对应于误差向量的照度级创建直方图加权的误差值。直方图加权的误差值可针对为其计算误差向量的每个照度级计算。

在一些实施例中，可检查(2046)经直方图加权的误差值集合以确定集合特性。在一些实施例中，此集合特性可以是最小值。在一些实施例中，此集合特性可以是某其它约束内的最小值。在一些实施例中，此集合特性可以是符合功率约束的最小值。在一些实施例中，线、曲线或其它结构可被拟合至该直方图加权误差值集合，并可用来在已知误差值之间插值或以其它方式表示直方图加权误差值的集合。基于直方图加权误差值和集合特性或其它约束，可选择源光照度级。在一些实施例中，与最小直方图加权误差值相对应的源光照度级可被选择。

一旦已选择了源光照度级，该选择就可被发信号至显示器或与图像一起记录以在显示时使用，从而该显示器可使用所选照度级来显示目标图像。

响应场景切换的显示光源信号滤波器

源光调制可改进动态对比度并降低显示功耗，但是源光调制可引起显示辉度中的烦扰波动。图像数据可如上所述地修改以补偿许多源光变化，但此方法不能完全补偿动态范围的极端处的源光变化。通过对源光信号进行时间低通滤波以减少源光电平的急剧变化和相关联波动，可减少此烦扰波动。该方法在控制黑色电平变化中会是有效的，并且在有足够长滤波器的情况下，黑色电平变化能有效地不被感知。

然而，可跨视频序列的数个帧的长滤波器在场景切换时是有问题的。例如，从暗场景到明亮场景的切换需要源光级的快速上升以从低黑色电平转换至高亮度。源光或背光信号的简单时间滤波限制了显示器的响应度，并导致从暗场景到明亮场景的切换之后图像亮度的烦扰渐次上升。利用足够长以使该上升实质上不可见的滤波器导致切换之后的降低亮度。

因此，本发明的一些实施例可包括场景切换检测，而一些实施例可包括对视频序列中场景切换的出现作出响应的滤波器。

本发明的一些实施例可参照图84进行描述。在这些实施例中，图像2050或其图像数据被输入至场景切换检测器2051和/或缓存器2052。在一些实施例中，这些模块2051和2052的一个或多个可产生图像直方图，该图像直方图也可被传递至另一个模块2051或2052。图像2050和/或图像数据然后可被传递至源光级选择模块2053，在其中可确定或选择适当的源光级。此选择或确定可以如上所述的各种方法来执行。所选源光级然后被发信号至时间滤波器模块2054。场景切换检测器模块2051可使用图像数据或图像直方图来判定场景切换是存在于视频序列中邻接当前帧之处，还是存在于当前帧的特定邻近度之内。如果检测到一场景切换，则可将其存在性发信号给时间滤波器模块2054。该时间滤波器模块2054可包括源光信号缓存器以使一序列的源光级信号可被滤波。时间滤波器模块2054还可包括多个滤波器或一个或多个可变滤波器来对源光信号滤波。在一些实施例中，时间滤波器模块2054可包括无限冲激响应(IIR)滤波器。在一些实施例中，IIR滤波器的系数可被改变以实施不同的滤波器响应和输出。

该时间滤波器模块2054的一个或多个滤波器可以是场景切换相关的，藉此来自场景切换检测器2051的场景切换信号可影响滤波器的特性。在一些实施例中，当在接近当前帧处检测到一场景切换时滤波器可被完全旁路。在其它实施例中，滤波器特性可仅仅响应于检测到一场景切换来改变。在其它实施例中，可响应于在接近当前帧处检测到一场景切换应用不同的滤波器。在时间滤波器模块2054已执行了任何必要滤波之后，源光级信号可被传送至源光操作模块2055。

本发明的一些实施例可参照图85进行描述。在这些实施例中，场景切换检测功能和相关联时间滤波功能可与图像补偿模块耦合。在一些实施例中，图像2060或其图像数据被输入至场景切换检测器2061、缓存器2062和/或图像补偿模块2066。在一些实施例中，这些模块2061和2062的一个或多个可产生图像直方图，图像直方图可被传递至另一个模块2061或2062。图像2060和/或图像数据然后可被传递至源光级选择模块2063，在其中可确定或选择适当的源光级。此选择或确定可以如上所述的各种方法来执行。所选源光级然后被发信号至时间滤波器模块2064。场景切换检测器模块2061可使用图像数据或图像直方图来判定场景切换是存在于视频序列中邻接当前帧之处，还是存在于当前帧的特定邻近度之内。如果检测到一场景切换，则可将其存在性发信号给时间滤波器模块2064。该时间滤波器模块2064可包括源光信号缓存器以使一序列的源光级信号可被滤波。时间滤波器模块2064还可包括多个滤波器或一个或多个可变滤波器来对源光信号滤波。在一些实施例中，时间滤波器模块2064可包括无限冲激响应(IIR)滤波器。在一些实施例中，IIR滤波器的系数可被改变以实施不同的滤波器响应和输出。

该时间滤波器模块2064的一个或多个滤波器可以是场景切换相关的，藉此来自场景切换检测器2061的场景切换信号可影响滤波器的特性。在一些实施例中，当在接近当前帧处检测到一场景切换时，滤波器可被完全旁路。在其它实施例中，滤波器特性可仅仅响应于检测到一场景切换来改变。在其它实施例中，可响应于在接近当前帧处检测到一场景切换应用不同的滤波器。在时间滤波器模块2064已执行了任何必要滤波之后，源光级信号可被传送至源光操作模块2065和图像补偿模块2066。该图像补偿模块2066可使用源光级信号来确定用于图像2060的适当补偿算法。该补偿可通过以上所述的各种方法来确定。一旦确定了图像补偿，就可将其应用于图像2060，且可使用发送至源光操作模块2065的源光级来显示经修改图像2067。

本发明的一些实施例可参照图86进行描述。在这些实施例中，输入图像2070可被输入至图像补偿模块2081和图像处理模块2071。在图像处理模块2071中，图像数据可被提取、缩减采样或以其它方式处理以实现这些实施例的其它元件的功能。在一些实施例中，图像处理模块2071可产生直方图，该直方图可被发送至背光选择模块(BLS)2072，该背光选择模块(BLS)2072包括直方图缓存器模块2073和场景切换检测器模块2084以及畸变模块2074和时间滤波器模块2075。

在直方图缓存器模块2073中，可比较和分析来自图像帧序列的直方图。场景切换检测器模块2084还可比较和分析直方图以确定在接近当前帧处存在场景切换。直方图数据可被传送至畸变模块2074，在该畸变模块2074中可针对一个或多个源光或背光照度级计算(2077)畸变特性。可通过最小化(2078)畸变特性来确定特定源光照度级。

该所选照度级然后可被发送至时间滤波器模块2075。时间滤波器模块还可接收来自场景切换检测器模块2084的场景切换检测信号。基于该场景切换检测信号，时间滤波器2079可被应用于该源光照度级信号。在一些实施例中，当在接近当前帧处检测到一场景切换时滤波器可不应用滤波器。在其它实施例中，存在场景切换时应用的滤波器将与场景切换不接近时应用的滤波器不同。

经滤波的源光照度级信号可被发送至源光操作模块2080和图像补偿模块2081。图像补偿模块可使用经滤波的源光照度级来确定适当的色阶校正曲线或另一校正算法，以补偿源光照度级中的任何变化。在一些实施例中，可为此目的产生色阶校正曲线或γ校正曲线2082。然后此校正曲线可被应用于输入图像2070以创建经修改图像2083。然后该经修改图像2083用发送至源光操作模块2080的源光照度级来显示。

本发明的一些实施例可参照图87进行描述。在这些实施例中，输入图像2090或从中导出的数据被输入至空间低通滤波器2096、缓存器/处理器2092、场景切换检测器模块2091以及加法器2098。空间低通滤波器2096可创建低通图像2097，该低通图像2097可被传送至亮度保持色阶产生模块2101。该低通图像2097还可被发送至加法器2098以供与输入图像2090组合来形成高通图像2009。

场景切换检测器模块2091可使用输入图像或诸如直方图的其数据、以及储存在缓存器/处理器2092中的数据来确定场景切换是否与当前帧接近。如果检测到一场景切换，则可将信号发送至时间滤波器模块2094。输入图像2090或从其中推导的数据被发送至缓冲器/处理器2092，其中可储存和比较图像、图像数据和直方图。该数据可被发送至源光级选择模块2093，以供在计算适当的源光照度级时考虑。由源光级选择模块2093计算的级可被发送至时间滤波器模块2094以供滤波。用于此处理的示例性滤波器稍后在此文档中描述。源光级信号的滤波可自适应于邻近当前帧的场景切换的存在。如下所述，当场景切换不邻近时，时间滤波器模块2094可更激进地滤波。

在任意滤波之后，源光级可被发送至源光操作模块2095以基于该源光级显示输入图像或经修改图像。时间滤波模块2094的输出还可被发送至亮度保持色阶产生模块2101，其然后将产生色阶校正曲线并将该校正曲线应用于低通图像2097。此经校正的低通图像然后可与高通图像2099组合以形成经增强图像2102。在一些实施例中，在与经校正低通图像组合之前还可用增益曲线处理高通图像2099。

本发明一些实施例的方面可参照图88进行描述。在这些实施例中，确定当前帧的源光照度级(2110)。还确定邻近当前帧处场景切换的存在(2111)。如果场景切换邻近，则将第二时间滤波过程应用于(2112)当前帧的源光照度级信号。如果场景切换与当前帧不邻近，则将第一时间滤波过程应用于(2113)当前帧的源光照度级信号。在执行任何滤波之后，源光照度级信号被发送至显示器以指示(2114)当前帧的照度级。在一些实施例中，当场景切换邻近时第二滤波过程212可简单地绕过任何滤波。

本发明一些实施例的方面可参照图89进行描述。在这些实施例中，分析图像(2120)以确定与源光级选择相关的数据。此过程可包括直方图产生和比较。适当的源光级基于图像数据来选择(2121)。然后通过将来自一个或多个先前帧的图像数据和来自当前帧的图像数据作比较(2122)可确定场景切换的存在。在一些实施例中，此比较可包括直方图比较。如果场景切换不存在(2123)，则第一滤波过程可应用于(2125)当前帧的源光级。此过程可基于用于先前帧的源光级来调节针对当前帧的源光级的值。当检测到一场景切换(2123)时，第二滤波过程2124可应用于源光照度级。在一些实施例中，此第二滤波过程可包括略去第一滤波过程或使用较不激进的滤波过程。在任何滤波之后，源光照度级可被发送至显示器以用于显示当前帧。

可参照具有测试视频序列的示例性情形来例示本发明的一些实施例的方法和系统。该序列由黑色背景与显现和消失的白色物体构成。黑色值和白色值两者都遵从背光，而与图像补偿无关。按帧选择的背光从黑色帧上的零值变至高值以实现白色帧，并变回至零值。在图90中示出源光或背光级与帧数的关系的曲线图。所得图像因黑色电平的变化受损。视频序列是有白色方块显现的黑色背景。起初，背光较低并且黑色场景极暗。当白色方块显现时，背光上升并且可注意到黑色电平增至低灰度。当该方块消失时，背光减弱并且背景再次极暗。该黑色电平的变化可以是扰动的。存在两种方式来消除此黑色电平变化：人工地提高暗色场景中的黑色或控制背光中的变化。提高黑色电平是不合需要的，因此本发明的方法和系统控制背光变化以使该变化不那么剧烈或不那么显著。

时间滤波

这些实施例的解决方案是通过控制背光信号中的变化来控制此黑色电平变化。人类视力系统对辉度中的低频变化不敏感。例如，在日出期间天空的亮度持续变化，但该变化很慢足以使其不被人注意。定量测量被归纳在图91中所示的时间对比度敏感函数(CSF)中。在一些实施例中此概念可用于设计限制黑色电平变化的滤波器。

在一些示例性实施例中，单极点IIR滤波器可用来“平滑”背光信号。该滤波器可基于背光信号的历史值。当将来值不可用时这些实施例很好地起作用。

方程51 IIR滤波器

S(i)＝α·S(i-1)+(1-α)·BL(i) 0≤α≤1

其中BL(i)是基于图像内容的背光值，而S(i)是基于电流值和历史的经平滑背光值。此滤波器是在α处具有极点的IIR滤波器。此滤波器的传递函数可被表达为：

方程52 滤波器传递函数

H (z) = \frac{1}{1 - α \cdot z^{- 1}}

此函数的伯德图在以下图92中示出。该频率响应图示出该滤波器是低通滤波器。

在本发明的一些实施例中，该滤波器可基于场景切换在接近当前帧处存在而变化。在这些实施例的一部分中，可使用极点α的两个值。这些值可取决于场景切换检测信号来切换。在一示例性实施例中，当没有检测到场景切换时推荐值为1000/1024。在一些示例性实施例中，推荐1与1/2之间的值。然而，当检测到场景切换时，可用128/1024替换该值。在一些实施例中，1/2与0之间的值可用作此系数。这些实施例提供场景切换上更为有限量的平滑，这被发现是有用的。

图93中的曲线示出示例性系统的响应，该示例性系统将时间背光滤波用于图90所示的序列，图90包括在2141处的帧60与2143处的帧120之间的黑色背景上白色区域的显现。在白色区域显现之前，未经滤波的背光从零2140a增至白色显现的稳定高值2140b。当在2143处白色区域从序列中消失时，未经滤波的背光然后瞬时又跌至零2140c。这具有增亮明亮白色区域的效果，但还具有将黑色背景增至低灰度的副作用。由此当白色区域显现和消失时背景变化。经滤波的背光2142a、b和c限制背光的变化以使其变化不易被察觉。经滤波的背光从白色区域在2141处显现之前的零值2142a开始，然后随着时间的流逝更慢地增大2142b。当白色区域消失时，允许背光值以受控速率减小2142c。经滤波系统的白色区域比未经滤波系统略暗，但背景中的变化更不易于被察觉。

在一些实施例中，时间滤波器的响应度会是一个问题。这在与对背光的响应度无这种限制的系统的并列比较中特别显著。例如，当在场景切换上滤波时，背光的响应受用来控制黑色电平波动的滤波器限制。该问题在图94中示出。图94的曲线模拟在2150处从黑色急剧切换至白色之后系统的输出。通过将背光从零2151a升高至升高电平2151b以获得明亮的白色，未经滤波的系统2151立即响应。在从黑色切换成白色之后，经滤波系统从零2152a沿曲线2152b缓慢上升。在未经滤波系统中，图像立即切换至灰度值。在经滤波系统中，随着背光缓慢增强，灰色缓慢升至白色。由此，经滤波系统对快速场景变化的响应度降低。

场景切换检测

本发明的一些实施例包括场景切换检测处理。当检测到场景切换时，可修改时间滤波以允许背光的快速响应。在一场景内，背光中的变化受滤波限制，以控制黑色电平中的变化。在场景切换时，由于人类视觉系统的遮蔽效果，视频信号中的短暂伪像和变化是注意不到的。

在当前帧与前一帧极为不同时存在场景切换。当不出现场景切换时，连续帧之间的差异较小。为有助于检测场景切换，可定义两个图像之间差异的测量，且可设置阈值以将场景切换与无场景切换区分开。

在一些实施例中，场景切换检测方法可基于直方图差异的关联。具体地，可计算两个连续或接近帧H₁和H₂的直方图。两个图像之间的差异可被定义为直方图距离：

方程53 示例性直方图距离度量

D_{cor} (H_{1}, H_{2}) = \sqrt{\frac{1}{W} Σ_{i = 1}^{N} Σ_{i = 1}^{N} a_{ij} | H_{1} (i) - H_{2} (i) | | H_{1} (j) - H_{2} (j) |}

W = Σ_{i = 1}^{N} Σ_{i = 1}^{N} a_{ij}

a_ij＝(i-j)²

其中i和j是面元索引，N是面元的数量，而H₁(i)是直方图的第i个面元的值。该直方图被标准化以使面元值的总和等于1。概言之，如果每个面元的差异较大，则距离D_cor较大。a_ij是与面元索引之间距离的平方相等的关联权重。这表示如果两个面元彼此接近，例如第i个面元和第i+1个面元，则其乘积的贡献极小；否则，贡献大。直观地，对于纯黑和纯白图像，两个大的面元差异在第一面元和最后一个面元处，因为面元索引的距离大所以直方图的最终距离也大。但是对于黑色图像的轻微辉度变化，尽管面元差异也大，但它们彼此接近(第i个面元和第i+1个面元)，因此最终距离小。

为了归类场景切换，除图像距离测量外还需要确定阈值。在一些实施例中，此阈值可凭经验确定并且可设置成0.001。

在一些实施例中，在一场景内，可使用以上用来限制黑色电平波动的滤波。这些实施例将简单地采用对场景切换不作响应的固定滤波器系统。黑色电平中的可见波动不出现，但是响应受限制。

在一些实施例中，当检测到场景切换时，滤波器可被切换至具有更快响应的滤波器。这使得背光能在从黑色到白色的切换之后快速上升，但不像未经滤波信号一样急剧上升。如图95所示，未经滤波信号可从零值跳至最大值2161，并且在2160处白色区域显现之后保持该值。在场景2163内使用的更激进滤波器对于场景切换而言切换得太慢，但是在场景切换位置使用的经修改滤波器2162允许快速上升，然后是向最大值的逐渐增大。

本发明的包括场景切换检测和设计成使黑色电平中变化不易察觉的自适应时间滤波的实施例可激进地应用于一场景内，同时用对自适应滤波器的改变来保持背光对具有大亮度变化的场景切换的响应度。

低复杂度Y增益实施例

本发明的一些实施例被设计成在低复杂度系统内工作。在这些实施例中，源光或背光级选择可基于辉度直方图，且畸变度量的最小化可基于此直方图。在一些实施例中，补偿算法可使用Y增益特性。在一些实施例中，图像补偿可包括操纵参数以控制Y增益处理。在一些情形中，Y增益处理可完全补偿灰度图像上的源光减弱，但将使得饱和图像上的色彩降低饱和度。一些实施例可控制Y增益特性以防止过度降低饱和度。一些实施例可采用Y增益强度参数来控制饱和度降低。在一些实施例中，已证明25％的Y增益强度是有效的。

本发明的一些实施例可参照图96进行描述。在这些实施例中，可计算针对各种背光照度级的畸变权重2174，并将其储存在例如ROM中以供在在线处理期间访问。在一些实施例中，滤波系数2175或其它滤波特性或参数可被储存在诸如ROM中以供在处理期间选择。

在这些实施例中，输入图像2170被输入至直方图计算处理2071，其计算可储存在直方图缓存器2172中的图像直方图。在一些实施例中，前一帧的直方图可被用来确定当前帧的背光级。在一些实施例中，畸变模块2176可使用来自直方图缓存器2172的直方图值与畸变权重2174来确定各个背光照度级的畸变特性。畸变模块2176然后可选择减小或最小化(2178)所计算畸变的背光照度级。在一些实施例中，方程54可用来确定畸变值。

方程54 示例性畸变度量

其中BL表示背光照度级，权重是与背光照度级和直方图面元相关的畸变权重值，而H是直方图面元值。

在选择了背光照度级之后，可用滤波器模块2179中的时间滤波器2180来滤波背光信号。滤波器模块2179可使用已预定并储存的滤波系数或特性2175。一旦执行了任何滤波，经滤波的最终背光信号就可被发送至显示器或显示背光控制模块2181。

经滤波的最终背光信号也可被发送至Y增益设计模块2183，在该模块中经滤波的最终背光信号可被用于确定图像补偿处理。在一些实施例中，此补偿处理可包括将色阶曲线应用于图像的辉度通道。此Y增益曲线可用一个或多个点指定，在该一个或多个点之间可进行插补。在一些实施例中，Y增益色阶处理可包括最大保真度点(MFP)，在该MFP之上可使用滚降曲线。在这些实施例中，一个或多个线性分段可定义MFP之下的色阶曲线，且舍入曲线关系可定义MFP之上的曲线。在一些实施例中，舍入曲线部分可由方程55定义。

方程55 舍入曲线的示例性斜率定义

这些实施例仅对辉度通道执行图像补偿，并提供对灰度图像的全部补偿，但此过程可引起彩色图像中饱和度的降低。为了避免彩色图像饱和度的过度降低，一些实施例可包括补偿强度因子，其可在强度控制模块2182中确定。因为Y增益设计模块2183仅对辉度数据运算，所以色彩特性是未知的，并且强度控制模块必须在不知道实际色彩饱和度的情况下操作。在一些实施例中，强度因子或参数可被结合到如方程56中所示的色阶曲线定义中。

方程56 色阶曲线的示例性斜率定义

其中S是强度因子，BL是背光照度级，而γ是显示伽玛值。图97中示出了示例性色阶曲线。

有效计算实施例

在本发明的一些实施例中，背光或源光选择可基于最小化理想显示器与诸如LCD的有限对比率显示器之间的误差。理想和有限CR显示器被建模。针对每个灰色电平的理想和有限CR显示器之间的误差定义针对每个背光值的误差向量。通过用每个背光级上的误差向量来加权图像直方图，可定义图像的畸变。

在一些实施例中，显示器可利用功率函数、γ、以及一加性项来建模以说明方程57中给出的有限CR LCD中的杂光。这是利用显示器对比率CR表示的偏移为零的γ-偏移-增益杂光模型。

方程57 显示模型

Y_理想(x)＝x^γ

显示模型在图98中绘出。示出了理想显示2200与有25％背光的有限CR显示2201和有75％背光的有限CR显示2202。

有限CR LCD的最大值和最小值定义理想显示的上限和下限x_max和x_min，其可用图像补偿实现。这些限制取决于背光bl、伽玛值γ、以及对比率CR。由模型定义的这些削波限制在方程58中归纳。

方程58 模型削波限制

x_{\min} (bl) = {(\frac{bl}{CR})}^{\frac{1}{γ}}

x_{\max} (bl) = {(bl)}^{\frac{1}{γ}}

在一些实施例中，可使用最大和最小限制来定义每个背光级的误差向量。以下所示的示例性误差基于由削波引起的平方误差。误差向量的分量是在指定背光级下理想显示输出与有限对比率显示上的最接近输出之间的误差。在代数上这些在方程59中定义。

方程59 显示误差向量

\overset{&RightArrow;}{d} (x, bl) = \{\begin{matrix} {| | x - x_{\min} (bl) | |}^{2} & x \leq x_{\min} (bl) \\ 0 & x_{\min} (bl) < x < x_{\max} (bl) \\ {| | {x - x}_{\max} (bl) | |}^{2} & x_{\max} (bl) \leq x \end{matrix}

样本误差向量在图99中绘出。注意，100％背光3010具有由与理想显示相比升高的黑色电平所引起的低代码处的误差。这些与图像数据无关，而仅取决于背光级和代码值。

在一些实施例中，具有背光调制和图象补偿的有限CR LCD的性能可用如上所定义的针对每个背光的误差向量集合归纳。每个背光值上图像的畸变可被表达为图像像素值的畸变之和，见方程60。如图所示，在这些实施例中，这可根据图像直方图计算。可通过用图像直方图对每个背光bl的误差向量加权来对bl计算图像畸变。结果是每个背光级上图像畸变的度量。

方程60 图像畸变与背光的关系

D (I, bl) = \underset{i, j}{Σ} \overset{&RightArrow;}{d} (I (i, j), bl) = \underset{x}{Σ} h_{I} (x) \cdot \overset{&RightArrow;}{d} (x, bl)

示例性实施例可用根据用于TV功率测量的最近IEC标准的三个帧来阐述。图像直方图在图100中示出。针对图100的图像直方图和图99的显示误差向量的畸变与背光的关系曲线在图101中示出。

在一些实施例中，背光选择算法可通过最小化理想和有限CR显示之间的图像畸变来运算。

本发明的一些实施例包括畸变框架，该畸变框架包括显示对比率和包括不同误差度量的能力两者。一些实施例可通过作为背光选择过程的一部分或全部的最小化经削波像素的数量来操作。图102将IEC测试集合的一个帧上的示例性误差平方和(SSE)畸变与经削波像素的数量(#经削波)作比较。该SSE说明误差的大小以及经削波像素的数量，并保持图像突出显示。对于此图像，与经削波像素数量的最小值相比，SSE最小值在高得多的背光下发生。由于说明削波误差的大小以及经削波像素的数量的SSE，此差异产生。表示多个经削波像素的曲线不平滑且具有许多局部极小值。该SSE曲线是平滑的，且局部极小值是作出对有效SSE最小值的二次采样搜索的全局最小值。

使用该畸变框架的计算不像它一开始显现地那样困难。在一些实施例中，背光选择可每帧执行一次，而不是以像素率执行。如上所述，显示误差权重仅取决于显示参数和背光，而非图像内容。因而显示建模和误差向量计算可按需离线完成。在线计算可包括直方图计算、用图像直方图加权误差向量、以及选择最小畸变。在一些实施例中，在畸变最小化中使用的背光值的集合可被二次采样，并有效定位畸变最小值。在一示例性实施例中，测试17个背光级。

在本发明的一些实施例中，可在线执行显示建模、误差向量计算、直方图计算、用图像直方图加权误差向量、以及为最小畸变进行的背光选择。在一些实施例中，显示建模和误差向量计算可在实际图像处理之前离线地执行，而直方图计算、用图像直方图加权误差向量、以及为最小畸变进行的背光选择在线地执行。在本发明的一些实施例中，可离线计算针对每个背光级的削波点，而误差向量计算、直方图计算、用图像直方图加权误差向量、以及为最小畸变进行的背光选择可在线执行。

在本发明的一些实施例中，在选择用于图像的源光照度级时，可考虑选择整个范围的源光照度级的子集。在一些实施例中，该子集可通过量化整个范围的照度级来选择。在这些实施例中，仅考虑选择子集中的照度级。在一些实施例中，此照度级子集的大小可由存储器约束或一些其它资源约束规定。

在一些实施例中，通过将从中作出选择的子集值限制在与对前一帧选择的照度级相关的范围，在处理期间可进一步限制此源光照度级子集。在一些实施例中，此受限子集可被限于对最后一帧选择的照度级的给定范围内的值。例如，在一些实施例中，选择源光照度级可被限于先前所选照度级的任一侧上的7个值的有限范围。

在本发明的一些实施例中，对源光照度级的范围的限制可取决于场景切换检测。在一些实施例中，当接近当前帧处没有检测到场景切换时，源光照度级搜索算法可从照度级子集内搜索有限范围，而在检测到一场景切换时，该算法可搜索整个照度级子集。

本发明的一些实施例可参照图103进行描述。在这些实施例中，来自原始输入图像帧2250的图像数据被输入至场景切换检测模块2251，以确定场景切换是否接近当前输入帧2250。与邻近当前帧的帧相关的图像数据还可被输入场景切换检测模块2251。在一些实施例中，此图像数据可包括直方图数据。场景切换检测模块然后可处理此图像数据以确定场景切换是否接近当前帧。在一些实施例中，当前一帧的直方图和当前帧的直方图的差异为一阈值量时可检测到场景切换。场景切换检测处理的结果然后被输入至畸变模块2252，在该畸变模块2252中，场景切换的存在可被用来确定在源光照度级选择处理中考虑什么源光照度值。在一些实施例中，当场景切换邻近时可考虑更宽范围的照度级。在一些实施例中，与选择用于最后一个图像帧的照度级相关的有限照度级子集可用于该选择过程。因此，场景切换检测过程影响在源光照度处理中考虑的值的范围。在一些实施例中，当检测到场景切换时，在针对当前帧的选择过程中考虑更大范围的照度级。在一些实施例中，当检测到场景切换时，在针对当前帧的选择过程中使用与选择用于前一帧的照度级不相关的照度级范围，而当没有检测到场景切换时，在该选择过程中使用框入选择用于前一帧的照度级的照度级范围。

一旦参照场景切换的存在确定了候选照度级的范围或子集，就可确定针对每个候选照度级的畸变值(2253)。然后可基于最小畸变值或某其它标准来选择照度级之一(2254)。此所选照度级然后可被传送至源光或背光控制模块2555，以供在显示当前帧时使用。所选照度级还可被用作图像补偿处理2256的输入以供计算色阶曲线或类似补偿工具。然后可显示该处理所产生的经补偿或增强图像2257。

本发明的一些实施例可参照图104进行描述。在这些实施例中，分析(2260)图像或图像序列以确定接近当前帧的场景切换的存在。如果检测到场景切换(2263)，则可在源光照度级选择过程中考虑更大的源光照度级集合。此更大集合在大小上相对于在没有检测到场景切换时使用的子集。在一些实施例中，此更大集合也可与用于前一帧的值无关。在没有检测到场景切换时(2262)，可在选择过程中使用照度级的有限子集。在一些实施例中，此有限子集也可与用于前一帧的值相关。例如，在一些实施例中，此有限子集可以在框入用于前一帧的值的子集。一旦确定了对照度级范围的限制，就可从适当范围或子集中选择(2264)源光照度级。

映射模块实施例

本发明的一些实施例可包括映射模块，该映射模块将一个或多个图像特性与显示模型属性相关。在一些实施例中，这些图像特性之一可以是图像平均像素电平(APL)，其可从图像文件、图像直方图或其它图像数据直接确定。在一些实施例中，该映射模块可将图像APL映射到显示模型缩放因子、显示模型最大输出值、特定显示模型、或某其它显示模型属性。在一些实施例中，除APL或另一图像特性外的其它输入可用来确定显示模型属性。例如，在一些实施例中，环境光级别、用户亮度选择或用户可选的映射选择也可影响通过映射模块选择的显示模型属性。

本发明的一些实施例可参照图105进行描述。在这些实施例中，图像2270或图像数据可被输入至映射模块2271。映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构。在一些实施例中，映射模块2271可将图像APL与理想显示最大输出值或关于理想显示最大输出值的缩放因子相关。例如，映射模块2271可将图像APL值或另一图像特性与一缩放因子相关，该缩放因子可应用于公式57中所述的理想显示模型输出。

一旦已确定此显示模型属性，就可在显示建模模块2272中建立其它显示模型参数。显示建模模块2272可确定以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2273然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2273还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2273可将图像直方图数据与在建模模块2272中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2274可基于诸如畸变的性能度量选择适当的源光照度级。此所选源光照度级然后可被传送至图像补偿模块2275，从而该图像可对源光照度级中的任何变化作出补偿。该照度级还被发送至显示源光控制模块2276。从图像补偿处理2275产生的经补偿图像然后可被发送至显示器2277，该经补偿图像可使用选择用于该图像的源光照度级在该显示器2277处显示。

本发明的一些实施例可参照图106进行描述。在这些实施例中，图像2280或图像数据可被输入至映射模块2281。该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，手动映射选择模块2288也可影响映射选择。当定义多个映射或关联时，用户可用手动映射选择模块2288选择优选映射。该所选映射可实施与缺省映射或自动选择映射不同的关联。在一些实施例中，映射可被储存并指定用于特定观看情形，诸如存储显示、低或高环境光，或用于特定观看内容，诸如电视观看、电影观看或打游戏。一旦选择了映射或关联，映射模块2281就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2282。

一旦已确定此显示模型属性，就可在显示建模模块2282中建立其它显示模型参数。显示建模模块2282可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2283然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2283还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2283可将图像直方图数据与在建模模块2282中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2284可基于诸如畸变的性能度量选择适当的源光照度级。此所选源光照度级然后可被传送至图像补偿模块2285，从而该图像可对源光照度级中的任何变化作出补偿。该照度级还被发送至显示源光控制模块2286。从图像补偿处理2285产生的经补偿图像然后可被发送至显示器2287，该经补偿图像可使用选择用于该图像的源光照度级在该显示器2287处显示。

本发明的一些实施例可参照图107进行描述。在这些实施例中，图像2290或图像数据可被输入至映射模块2291。该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，环境光模块2298也可影响映射选择。环境光模块2298可包括用于确定诸如环境光强度、环境光色彩或环境光特性变化的环境光状况的一个或多个传感器。此环境光数据可被传送至映射模块2291。

当定义了多个映射或关联时，映射模块可基于从环境光模块2298接收的数据选择一映射。该所选映射可实施与缺省映射或自动选择映射不同的关联。在一些实施例中，映射可被储存并指定用于特定观看情形，诸如低或高环境光或不同环境光模式。一旦选择了映射或关联，映射模块2291就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2292。

一旦已确定此显示模型属性，就可在显示建模模块2292中建立其它显示模型参数。显示建模模块2292可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2293然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2293还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2293可将图像直方图数据与在建模模块2292中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2294可基于诸如畸变的性能度量选择适当的源光照度级。此所选源光照度级然后可被传送至图像补偿模块2295，从而该图像可对源光照度级中的任何变化作出补偿。该照度级还被发送至显示源光控制模块2296。从图像补偿处理2295产生的经补偿图像然后可被发送至显示器2297，该经补偿图像可使用选择用于该图像的源光照度级在该显示器2297处显示。

本发明的一些实施例可参照图108进行描述。在这些实施例中，图像2300或图像数据可被输入至映射模块2301。该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，用户亮度选择模块2308也可影响映射选择。用户亮度选择模块2308可接受指示显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2301，在该模块中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2302。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2302，其中该输入可被用来修改从映射模块2301中接收的数据。

一旦已确定符合用户亮度输入的显示模型属性，就可在显示建模模块2302中建立其它显示模型参数。显示建模模块2302可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2303然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2303还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2303可将图像直方图数据与在建模模块2302中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2304可基于诸如畸变的性能度量选择适当的源光照度级。此所选源光照度级然后可被传送至图像补偿模块2305，从而该图像可对源光照度级中的任何变化作出补偿。该照度级还被发送至显示源光控制模块2306。从图像补偿处理2305产生的经补偿图像然后可被发送至显示器2307，该经补偿图像可使用选择用于该图像的源光照度级在该显示器2307处显示。

本发明的一些实施例可参照图109进行描述。在这些实施例中，图像2310或图像数据可被输入至映射模块2311。该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，用户亮度选择模块2318也可影响映射选择。用户亮度选择模块2318可接受指示优选显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2311，其中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2312。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2312，在该模块中该输入可被用来修改从映射模块2311接收的数据。在这些实施例中，用户亮度选择或已作出用户亮度选择的指示符可被发送至时间滤波器模块2319。

一旦已确定符合用户亮度输入的显示模型属性，就可在显示建模模块2312中建立其它显示模型参数。显示建模模块2312可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2313然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2313还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2313可将图像直方图数据与在建模模块2312中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2314可基于诸如畸变的性能度量选择适当的源光照度级。

在这些实施例中，所选源光照度级然后可被发送至时间滤波器模块2319，该模块对用户亮度选择作出响应。在一些实施例中，滤波器模块可在接收到用户亮度选择时应用一不同滤波器。在一些实施例中，可在没有接收到用户亮度选择时选择性地应用滤波器，而在接收到用户亮度选择时不应用滤波器。在一些实施例中，可响应于接收到用户亮度选择修改滤波器。

在源光照度级信号的任何滤波之后，此经滤波信号然后可被传送至图像补偿模块2315，从而可就源光照度级中的任何变化对该图像作出补偿。该经滤波照度级还被发送至显示源光控制模块2316。从图像补偿处理2315产生的经补偿图像然后可被发送至显示器2317，该经补偿图像可使用选择用于该图像的经滤波源光照度级在该显示器2317处显示。

本发明的一些实施例可参照图110进行描述。在这些实施例中，图像2330或图像数据可被输入至映射模块2331。该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，用户亮度选择模块2338也可影响映射选择。用户亮度选择模块2338可接受指示显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2331，其中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2332。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2332，其中该输入可被用来修改从映射模块2331接收的数据。

这些实施例还可包括环境光模块2198，该环境光模块2198可包括用于确定诸如环境光强度、环境光色彩或环境光特性变化的环境光状况的一个或多个传感器。此环境光数据可被传送至映射模块2331。

当定义了多个映射或关联时，映射模块可基于从环境光模块2339接收的数据选择一映射。该所选映射可实施与缺省映射或自动选择映射不同的关联。在一些实施例中，映射可被储存并指定用于特定观看情形，诸如低或高环境光或不同环境光模式。

这些实施例还可包括手动映射选择模块2340，其也可影响映射选择。当定义多个映射或关联时，用户可用手动映射选择模块2340选择优选映射。该所选映射可实施与缺省映射或自动选择映射不同的关联。在一些实施例中，映射可被储存并指定用于特定观看情形，诸如存储显示、低或高环境光，或用于特定观看内容，诸如电视观看、电影观看或打游戏。

在这些实施例中，从用户亮度选择模块2338、手动映射选择模块2340和环境光模块2339接收的数据可被用来选择映射、修改映射、或修改从映射获得的结果。在一些实施例中，来自这些模块之一的输入可具有优于其它模块的优先级。例如，在一些实施例中，从用户输入接收的手动映射选择可基于环境光状况超驰自动化映射选择过程。在一些实施例中，对映射模块2331的多个输入可被组合以选择和修改映射或映射输出。

一旦选择了映射或关联，映射模块2331就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2332。

一旦已确定符合映射模块2331中约束的显示模型属性，就可在显示建模模块2332中建立其它显示模型参数。显示建模模块2332可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。性能度量或畸变模块2333然后可使用该数据来确定各个源光照度级的性能度量。在一些实施例中，性能度量或畸变模块2333还可接收诸如图像直方图的图像数据，以供在确定性能度量时使用。在一些实施例中，畸变模块2333可将图像直方图数据与在建模模块2332中确定的加权值组合以确定针对给定源光照度级的畸变值。

然后源光级选择模块2334可基于诸如畸变的性能度量选择适当的源光照度级。此所选源光照度级然后可被传送至图像补偿模块2335，从而该图像可对源光照度级中的任何变化作出补偿。该照度级还被发送至显示源光控制模块2336。从图像补偿处理2335产生的经补偿图像然后可被发送至显示器2337，该经补偿图像可使用选择用于该图像的源光照度级在该显示器2337处显示。

本发明的一些实施例可参照图111进行描述。在这些实施例中，图像2357或图像数据可由直方图模块2355处理以产生图像直方图。在一些实施例中，可产生辉度直方图。在其它实施例中，可产生色彩通道直方图。图像直方图然后可被储存在直方图缓存器2356中。在一些实施例中，直方图缓存器2356可具有容纳诸如来自先前视频序列帧的直方图的多个直方图的容量。然后这些直方图可由系统的各个模块用于若干目的。

在一些实施例中，场景切换模块2359可访问直方图缓存器并使用直方图数据来确定在视频序列中是否存在场景切换。此场景切换信息然后可被发送至时间滤波器模块2364，在该模块中该信息可被用来切换或修改滤波器或滤波参数。映射模块2353还可访问直方图缓存器2356，并使用直方图数据来计算APL或另一图像特性。

该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105中所示实施例所述。在一些实施例中，用户亮度选择模块2351也可影响映射选择。用户亮度选择模块2351可接受指示显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2353，其中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2354。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2354，在该模块中该输入可被用来修改从映射模块2353中接收的数据。

这些实施例还可包括环境光模块2350，该环境光模块2350可包括用于确定诸如环境光强度、环境光色彩或环境光特性变化的环境光状况的一个或多个传感器。此环境光数据可被传送至映射模块2353。

这些实施例还可包括手动映射选择模块2352，其也可影响映射选择。当定义多个映射或关联时，用户可用手动映射选择模块2352选择优选映射。

在这些实施例中，从用户亮度选择模块2351、手动映射选择模块2352和环境光模块2350接收的数据可被用来选择映射、修改映射、或修改从映射获得的结果。在一些实施例中，来自这些模块之一的输入可具有优于其它模块的优先级。例如，在一些实施例中，从用户输入接收的手动映射选择可基于环境光状况超驰自动化映射选择过程。在一些实施例中，对映射模块2353的多个输入可被组合以选择和修改映射或映射输出。

一旦选择了映射或关联，映射模块2353就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2354。

一旦已确定符合映射模块2353中约束的显示模型属性，就可在显示建模模块2354中建立其它显示模型参数。显示建模模块2354可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。或者，一个或多个显示模型参数可在性能度量模块2362中建立，该性能度量模块2362可确定模型削波限制、显示误差向量、直方图加权值和用于确定差异、误差、畸变或其它性能度量的其它数据。

性能或畸变模块2360然后可使用该数据来确定各个源光照度级的性能度量。然后源光级选择模块2361可基于诸如畸变的性能度量选择适当的源光照度级。该所选源光照度级然后可被发送至时间滤波器模块2364。

时间滤波器模块2364可对来自系统中其它模块的输入作出响应。具体而言，场景切换模块2359和用户亮度选择模块2351可与时间滤波器模块2364通信以指示场景切换何时发生以及用户何时选择了手动亮度选择。当这些事件发生时，时间滤波器模块可通过如上相关于场景切换响应实施例所述切换或修改滤波处理来作出响应。

经滤波的源光照度级可被发送至显示源光控制模块2367和图像补偿计算模块2368。图像补偿计算模块2368然后可将经滤波的源光照度级用于计算补偿曲线或如上针对各个实施例所述的另一补偿处理。然后可向图像补偿模块2358指示该补偿曲线或处理，在该模块中曲线或处理可应用于原始图像2357以创建经增强图像2369。然后该经增强图像2369可被发送至显示器2370，在该显示器上可结合经滤波的源光照度级显示图像。

混合色彩和色差直方图实施例

本发明的一些实施例可作调整以在具有有限资源和受限参数的系统内起作用。在一些实施例中，可从不提供每个色彩通道的全部图像数据的电路、芯片或处理中获取图像信息。在一些实施例中，下游处理可能需要将数据转换成特定格式以便处理。

在一些实施例中，复合色彩或色差直方图从图像中产生并用来向其它处理提供图像数据。在一些实施例中，色差直方图可以是包括辉度值和色差值的二维直方图。在一示例性实施例中，直方图辉度值可使用方程61来获取。

方程61 直方图辉度值

Y＝0.29R+0.59G+0.12B

其中Y是直方图辉度值，R是红色通道值，G是绿色通道值，而B是蓝色通道值。

在一示例性实施例中，直方图色差值可使用方程62来获取。

方程62 直方图色差值

C＝max(R-Y，G-Y，B-Y)

其中R、G和B是色彩通道值，Y是从方程61或以其它方式获取的辉度值，而C是直方图中的色差值。

在一些实施例中，二维色差直方图可利用诸如通过方程61获得的辉度值和诸如通过方程62获得的色差值产生。然而，在一些实施例中，通过其它方法获得的辉度值和色彩值可用来构建二维直方图。用辉度通道和代表输入图像中的多个色彩通道的色彩通道产生的、但不用色差值产生的直方图可被称为复合色彩直方图。通过相加、相乘或以其它方式组合色彩通道数据来将多个色彩通道数据组合到单个复合色彩通道中，可创建复合色彩通道。

本发明的一些实施例可包括需要一维直方图作为输入的处理。在这些实施例中，二维色差直方图或另一二维色彩-辉度直方图可被转换成一维直方图。此直方图转换处理可包括将多个二维直方图面元相加成单个一维直方图面元。一些示例性实施例可参照图112进行描述。在这些实施例中，二维直方图面元在具有多个面元值2401的表格2400中示出。二维直方图表格2400中的每个面元可用与辉度和色彩面元数相对应的坐标索引。该面元数向右向上增大，其中第一面元在左下侧。例如，左下侧二维面元2402可称为H(1，1)，因为其是最低辉度面元和最低色彩面元。类似地，二维面元2403可称为H(2，3)，因为其是第二辉度面元和第三色彩面元。

为了将二维直方图转换或归纳成一维直方图，求和处理可被设计成保持尽可能多的信息，并考虑影响二维直方图生成的因子。在一示例性实施例中，具有恒定(Y+C)值的二维直方图面元可相加以创建新的一维直方图面元。例如，第一一维面元将对应于Y+C＝2，其仅包括二维面元H(1，1)2402，因为没有其它面元的坐标加起来是2。下一一维面元将对应于Y+C＝3，其包括二维面元H(1，2)和H(2，1)。第三一维面元将对应于Y+C＝4，其包括二维面元H(1，3)、H(2，2)和H(3，1)。此过程对每个Y+C值继续，其中与特定Y+C值相对应的所有二维面元的总和变成新的一维直方图面元值。求和线2404例示该关联。当辉度和色彩对二维直方图的贡献被视为基本上相等时，此处理有效。然而，并非总是如此。

在一些情形中，利用不同量化因子、不同位深、或给予色彩分量不同于相应辉度分量的权重的其它因子来获得二维色差直方图或其它色彩/辉度直方图中的辉度和色彩值。在其它情形中，所得一维直方图可在色彩或辉度对结果有更大影响的处理中使用。在这些情形中，实施例可包括影响求和处理的色彩权重值。在一些实施例中，色彩权重值可用来改变求和线2404的斜率，从而改变哪些面元相加以创建新的一维面元。例如，在色彩权重值为4的情况下，求和线的斜率可被变成1∶4，以使二维H(1，2)和H(4，1)的和是第二一维面元值。

一旦产生了一维直方图，该直方图或相关数据就可传递至其它系统模块。在一些实施例中，一维直方图或相关数据可被传递至映射模块、显示建模模块、或诸如畸变模块的性能度量模块。一维直方图还可由场景切换检测模块使用。

本发明的一些示例性实施例可参照图113进行描述。在这些实施例中，图像2420可被用作色差直方图生成器2421的输入。由该直方图生成器2421产生的色差直方图然后可被传递给直方图转换模块2423。直方图转换模块2423还可接收色彩权重参数2422。基于色彩权重参数2422，直方图转换模块2423可确定求和线斜率或用于将二维色差直方图转换成一维直方图的相似转换参数。一旦设置了参数，就可执行如上所述的转换，并且将创建一维直方图。此一维直方图然后可被传送至诸如性能度量模块2425的不同模块以供进一步处理，诸如利用误差向量的直方图加权。

本发明的其它实施例可参照图114进行描述。在这些实施例中，图像2430或图像数据可由色差直方图模块2431处理以产生二维色差直方图。此二维色差直方图然后可在直方图转换模块2432中被转换成一维直方图。此一维直方图2433然后可被储存在直方图缓存器2434中。在一些实施例中，直方图缓存器2434可具有容纳诸如来自先前视频序列帧的直方图的多个直方图的容量。然后这些直方图可由系统的各个模块用于若干目的。

在一些实施例中，场景切换模块2435可访问直方图缓存器并使用直方图数据来确定在视频序列中是否存在场景切换。此场景切换信息然后可被发送至时间滤波器模块2445，在该模块中该信息可被用来切换或修改滤波器或滤波参数。映射模块2436还可访问直方图缓存器2434，并使用直方图数据来计算APL或另一图像特性。

该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105和其它附图中所示实施例所述。在一些实施例中，用户亮度选择模块2439也可影响映射选择。用户亮度选择模块2439可接受指示显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2436，在该模块中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2437。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2437，其中该输入可被用来修改从映射模块2436中接收的数据。

这些实施例还可包括环境光模块2438，该环境光模块2438可包括用于确定诸如环境光强度、环境光色彩或环境光特性变化的环境光状况的一个或多个传感器。此环境光数据可被传送至映射模块2436。

这些实施例还可包括手动映射选择模块2440，其也可影响映射选择。当定义多个映射或关联时，用户可利用手动映射选择模块2440选择优选映射。

在这些实施例中，从用户亮度选择模块2439、手动映射选择模块2440和环境光模块2438接收的数据可被用来选择映射、修改映射、或修改从映射获得的结果。在一些实施例中，来自这些模块之一的输入可具有优于其它模块的优先级。例如，在一些实施例中，从用户输入接收的手动映射选择可基于环境光状况超驰自动化映射选择过程。在一些实施例中，对映射模块2436的多个输入可被组合以选择和修改映射或映射输出。

一旦选择了映射或关联，映射模块2436就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2437。

一旦已确定符合映射模块2436中约束的显示模型属性，就可在显示建模模块2437中建立其它显示模型参数。显示建模模块2437可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。或者，一个或多个显示模型参数可在性能度量模块2441中建立，该性能度量模块2441可确定模型削波限制、显示误差向量、直方图加权值和用于确定差异、误差、畸变或其它性能度量的其它数据。

性能或畸变模块2443然后可使用该数据来确定各个源光照度级的性能度量。然后源光级选择模块2444可基于诸如畸变的性能度量选择适当的源光照度级。该所选源光照度级然后可被发送至时间滤波器模块2445。

时间滤波器模块2445可对来自系统中其它模块的输入作出响应。具体而言，场景切换模块2435和用户亮度选择模块2439可与时间滤波器模块2445通信以指示场景切换何时发生以及用户何时选择了手动亮度选择。当这些事件发生时，时间滤波器模块可通过如上相关于场景切换响应实施例所述的切换或修改滤波处理来作出响应。

经滤波的源光照度级可被发送至显示源光控制模块2448和图像补偿计算模块2449。图像补偿计算模块2449然后可将经滤波的源光照度级用于计算补偿曲线或如上针对各个实施例所述的另一补偿处理。然后可向图像补偿模块2450指示该补偿曲线或处理，在该模块中曲线或处理可应用于原始图像2430以创建经增强图像2451。然后该经增强图像2451可被发送至显示器2452，在该显示器上可结合经滤波的源光照度级显示图像。

直方图处理

当前视频处理系统和协议对所传送的图像数据设置了限制。在一些情形中，协议要求诸如元数据和同步数据的附加数据要与视频序列一起传送。此附加净空限制了可用于传送实际视频内容的带宽。在一些情形中，此净空要求视频内容的位深减小。例如，8位色彩或辉度通道数据会被限制成7位以便于传送。然而，许多显示设备和过程能够处理全8位动态范围。在一些实施例中，当直方图在较低动态范围的情况下产生或传送时，直方图可在接收设备或模块上接收时被扩展到更高动态范围。

在一些实施例中，低动态范围直方图可由直方图模块产生并传送至诸如性能度量模块的另一模块，其可使用误差向量来加权直方图作为畸变计算的一部分。然而，当直方图范围与具有图像的全动态范围的误差向量相匹配时，此处理较为容易。因此，性能度量模块可在加权处理之前将直方图扩展到图像的全动态范围。

本发明一些实施例的方面可参照图115进行描述。在这些实施例中，原始动态范围线2460表示图像的全动态范围。在此情形中，范围从值为0的低点2461跨越到作为全8位范围的值为255的高点2462。然而，具有此动态范围的图像和从该图像创建的直方图由于处理或传输限制可被推入受限动态范围内。此受限动态范围可由受限动态范围线2463表示，其在一示例性实施例中从值为16的低点2464跨越到值为235的高点2465。一旦直方图被生成或被转换至此受限动态范围并且然后传送至不具有此动态范围限制的处理，该直方图就可被转换回图像的全动态范围或符合对后一处理的限制的另一动态范围。在此示例性实施例中，由线2463表示的受限动态范围被转换回由范围线2466表示的图像的全动态范围，其从值为0的低点2467跨越到值为255的高点2468。转换至全动态范围可包括将新值指派给低点和高点，并使用线性缩放来确定任何中间点。

本发明的其它实施例可参照图116进行描述。在这些实施例中，图像2470或图像数据可由色差直方图模块2471处理以产生二维色差直方图。此二维色差直方图然后可在直方图转换模块2472中被转换成一维直方图。该一维直方图然后可用直方图范围转换器2493进一步转换，该转换器2493可改变一维直方图的动态范围。在一些实施例中，直方图范围转换器2493可将从一维-二维直方图转换器2473接收的直方图转换成不同动态范围，诸如误差向量或图像的动态范围。

具有经转换动态范围的此一维直方图2473然后可被储存在直方图缓存器2474中。在一些实施例中，直方图缓存器2474可具有容纳诸如来自先前视频序列帧的直方图的多个直方图的容量。然后这些直方图可由系统的各个模块用于若干目的。

在一些实施例中，场景切换模块2475可访问直方图缓存器并使用直方图数据来确定在视频序列中是否存在场景切换。此场景切换信息然后可被发送至时间滤波器模块2485，在该模块中该信息可被用来切换或修改滤波器或滤波参数。映射模块2476还可访问直方图缓存器2474，并使用直方图数据来计算APL或另一图像特性。

该映射模块可包括将一个或多个图像特性与一个或多个显示模型属性相关的一个或多个映射或关联结构，如以上相关于图105和其它附图中所示实施例所述。在一些实施例中，用户亮度选择模块2479也可影响映射选择。用户亮度选择模块2479可接受指示显示亮度的用户输入，并且可包括用于接受用户选择的用户界面或其它装置。在一些实施例中，用户亮度选择输入可被发送至映射模块2476，其中输入可被用来选择或修改映射或修改来自映射的输出。然后此经修改输出可被发送至建模模块2477。在其它实施例中，用户亮度选择输入可被直接发送至建模模块2477，其中该输入可被用来修改从映射模块2476中接收的数据。

这些实施例还可包括环境光模块2478，该环境光模块2478可包括用于确定诸如环境光强度、环境光色彩或环境光特性变化的环境光状况的一个或多个传感器。此环境光数据可被传送至映射模块2476。

这些实施例还可包括手动映射选择模块2480，其也可影响映射选择。当定义多个映射或关联时，用户可用手动映射选择模块2480选择优选映射。

在这些实施例中，从用户亮度选择模块2479、手动映射选择模块2480和环境光模块2478接收的数据可被用来选择映射、修改映射、或修改从映射获得的结果。在一些实施例中，来自这些模块之一的输入可具有优于其它模块的优先级。例如，在一些实施例中，从用户输入接收的手动映射选择可基于环境光状况超驰自动化映射选择过程。在一些实施例中，对映射模块2476的多个输入可被组合以选择和修改映射或映射输出。

一旦选择了映射或关联，映射模块2476就可将图像特性与显示模型属性相关联，并将此属性发送至显示建模模块2477。

一旦已确定符合映射模块2476中约束的显示模型属性，就可在显示建模模块2477中建立其它显示模型参数。显示建模模块2477可确定当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据。在一些实施例中，当以特定源光照度级显示时的模型削波限制、显示误差向量、直方图加权值、以及用于确定差异、误差、畸变或图像的其它性能度量的其它数据可在诸如权重计算模块2482的性能度量/畸变模块2481内确定。

性能或畸变模块2481然后可使用该数据来确定各个源光照度级的性能度量。然后源光级选择模块2484可基于诸如畸变的性能度量选择适当的源光照度级。该所选源光照度级然后可被发送至时间滤波器模块2485。

时间滤波器模块2485可对来自系统中其它模块的输入作出响应。具体而言，场景切换模块2475和用户亮度选择模块2479可与时间滤波器模块2485通信以指示场景切换何时发生以及用户何时选择了手动亮度选择。当这些事件发生时，时间滤波器模块可通过如上相关于场景切换响应实施例所述的切换或修改滤波处理来作出响应。

经滤波的源光照度级可被发送至显示源光控制模块2488和图像补偿计算模块2489。图像补偿计算模块2489然后可将经滤波的源光照度级用于计算补偿曲线或如上针对各个实施例所述的另一补偿处理。然后可向图像补偿模块2490指示该补偿曲线或处理，在该模块中曲线或处理可应用于原始图像2470以创建经增强图像2491。然后该经增强图像2491可被发送至显示器2492，在该显示器上可结合经滤波的源光照度级显示图像。

用于附加处理的图像补偿设计

在许多上述系统中，图像补偿是在显示前要对图像执行的最后处理。然而，在一些系统中，可能需要执行补偿后处理。这可能是因为芯片或处理架构或对系统的在图像补偿之前排除了此处理的性能的其它约束。另外，在一些情形中，在图像补偿之前对图像执行处理会在图像中引起伪像或误差，这些伪像或误差在图像补偿之后执行该处理则不会发现。

在进行图像补偿之后执行处理时，图像补偿算法应当考虑补偿后处理的影响。如果不作考虑，则针对给定源光照度或其它条件，该图像会被过校正或欠校正。因此，当将执行后处理时，本发明的一些实施例将在设计图像补偿算法或处理时考虑该后处理过程。

示例性图像补偿和源光照度级选择系统在图117中示出。此系统包括用于在图像补偿前色阶处理2501上接收输入图像2500。在初始处理2501之后，经修改图像或经修改图像数据被发送至背光选择模块2502以供图像相关背光选择。经修改图像还被发送至亮度补偿/图像补偿(BP/IC)模块2503，该模块还接收从背光选择模块2502产生的背光选择。亮度保持或图像补偿模块2503产生BP/IC色阶或类似处理以针对因背光选择过程产生的背光变化对图像作出补偿。此BP/IC色阶或类似处理然后被应用于经修改图像，从而产生经补偿图像2505。该背光选择还被发送至背光2504以控制其照度级。然后使用所选背光照度级显示经补偿图像2505。在此示例性系统中，背光选择处理2502与背光保持/图像补偿处理2503在同一图像上操作。这些实施例可用作补偿后处理和经修改补偿处理的参考。

另一示例性系统在图118中示出。在此系统中，输入图像2510被输入至图像补偿色阶处理2513。该输入图像还被输入至背光选择模块2512。从背光选择过程2512产生的选择以及显示背光2514被发送至亮度保持/图像补偿处理2513。亮度保持/图像补偿处理2513接收图像并产生亮度保持/图像补偿色阶或类似处理以供图像补偿。该亮度保持/图像补偿处理然后被应用于经修改图像，从而产生经补偿图像，该经补偿图像然后被发送至补偿后处理2511。该补偿后处理2511然后可通过另一色阶操作或另一处理来进一步处理经补偿图像。

然后使用所选背光照度级显示经补偿图像2515。经补偿图像的后处理可产生不当的图像补偿。此外，在该示例性系统中，被引入补偿色阶处理2513的任何误差可在补偿后处理2511中放大。在一些情形中，这些放大误差可使得该系统不适于使用。

再一示例性系统在图119中示出。在此系统中，输入图像2520被输入至背光选择过程2522和经修改的亮度保持/图像补偿处理2521，该亮度保持/图像补偿处理2521被修改以供图像补偿后处理2523之用。从背光选择过程2522产生的背光选择还被发送至经修改的亮度保持/图像补偿处理2521。该经修改的亮度保持/图像补偿处理2521知道图像补偿后处理2523并能解决其对图像的影响。因此，经修改的亮度保持/图像补偿处理2521可产生将对选择用于图像2520的背光照度级作出补偿并将对图像补偿后处理2523的影响作出补偿的处理，并将该处理应用于图像2520。此处理在图像被发送至图像补偿后处理2523之前应用于图像。图像然后用图像补偿后处理2523进行处理，其产生可用所选背光照度级显示的经补偿和经修改的图像2525。在此系统中，使用图像补偿后处理2523避免因放大来自图像补偿前处理的误差而产生的问题。

本发明的一些实施例包括经修改的亮度保持/图像补偿处理，其解决在经修改的亮度保持/图像补偿处理之后应用的另一色阶处理的影响。此附加色阶处理可被称为补偿后处理。这些经修改处理可基于经修改的亮度保持/图像补偿处理MBP(x)和随后的另一色阶处理TS(x)将具有与色阶处理TS(x)和随后的原始亮度保持/图像补偿处理BP(x)将具有相同结果的原理。此原理可用如方程63的方程形式表达。

方程63 示例性经修改BP/IC处理

TS(MBP(x))＝BP(TS(x))

MBP(x)＝TS^-1(BP(TS(x)))

此原理可在图120中图形地描述，在该图120中第一色阶处理TS(x)由第一色阶曲线2530表示。对于输入图像代码值x2531，此处理产生一输出值w2532。第一色阶曲线的输出w可被用作由第二色阶曲线2534表示的BP/IC处理的输入BP(w)。通过将w2532用作BP/IC处理的输入，此处理将产生输出值z2536。值z2536然后可被用来确定色阶处理TS()2538的输入值y2540，该色阶处理将产生输出z2536。该结果是y2540。在一些实施例中，此最终处理可通过求解输入来执行，这将产生期望的已知输出。在其它实施例中，色阶逆运算TS^-1可被获取并用来利用z2536确定最终值y2540。

利用这些处理或者数学或函数等效物，可确定并映射(2541)输入代码值x2531和最终值y2540之间的关系。在一些实施例中，通过确定拟合最终值y2540与初始输入x2531之间关系的多个点并在这些点之间插补以产生经修改的亮度保持/图形补偿曲线MBP(x)，可传达该关系。

在前面说明书中采用的术语和表达是按照描述而非限制使用的，并且没有意图使用这些术语和表达来排除所示和所描述特征的等效物或其一部分，可以理解本发明的范围仅受所附权利要求限定和限制。

Claims

1.一种用于产生对源光照度级和补偿后处理作出补偿的图像补偿曲线的方法，所述方法包括：

a)选择源光照度级；

b)确定与输入至所述补偿后处理的多个图像代码值相对应的补偿后处理输出点；

c)基于在所述选择中所选的所述源光照度级产生源光照度级补偿曲线；

d)确定与所述补偿后处理输出点的输入相对应的源光照度级补偿曲线输出点；

e)确定将产生所述源光照度级补偿曲线输出点的输出的所述补偿后处理的输入点；以及

f)通过使所述多个图像代码值与所述补偿后处理的所述输入点相关来定义经修改的源光照度级补偿曲线。

2.如权利要求1所述的方法，其特征在于，所述补偿后处理是色阶曲线。

3.如权利要求1所述的方法，其特征在于，所述补偿后处理是用查找表(LUT)实现的。

4.如权利要求3所述的方法，其特征在于，所述确定将产生所述源光照度级补偿曲线输出点的输出的补偿后处理的输入点包括使用逆LUT。

5.如权利要求1所述的方法，其特征在于，所述选择源光照度级包括产生显示模型。

6.如权利要求1所述的方法，其特征在于，所述选择源光照度级包括产生图像直方图和误差向量。

7.如权利要求6所述的方法，其特征在于，所述选择源光照度级包括用所述误差向量加权所述图像直方图。

8.一种用于针对源光照度级降低和补偿后处理对图像作出补偿的方法，所述方法包括：

a)针对输入图像创建图像直方图；

b)基于所述图像直方图产生针对所述图像的显示模型；

c)用所述显示模型确定针对多个源光照度级的性能度量；

d)基于所述性能度量选择源光照度级；

e)确定与输入至所述补偿后处理的多个图像代码值相对应的补偿后处理输出点；

f)基于在所述选择中所选的所述源光照度级产生源光照度级补偿曲线；

g)确定与所述补偿后处理输出点的输入相对应的源光照度级补偿曲线输出点；

h)确定将产生所述源光照度级补偿曲线输出点的输出的所述补偿后处理的输入点；

i)通过使所述多个图像代码值与所述补偿后处理的所述输入点相关来定义经修改的源光照度级补偿曲线；以及

j)用所述经修改的源光照度级补偿曲线处理所述图像。

9.如权利要求8所述的方法，其特征在于，所述补偿后处理是色阶曲线。

10.如权利要求8所述的方法，其特征在于，所述补偿后处理是用查找表(LUT)实现的。

11.如权利要求10所述的方法，其特征在于，所述确定将产生所述源光照度级补偿曲线输出点的输出的补偿后处理的输入点包括使用逆LUT。

12.如权利要求8所述的方法，其特征在于，所述确定针对多个源光照度级的性能度量包括确定针对所述源光照度级的每一个的误差向量。

13.如权利要求12所述的方法，其特征在于，所述确定性能度量还包括用所述误差向量加权所述直方图以获取针对所述源光照度级的每一个的畸变值。

14.如权利要求13所述的方法，其特征在于，所述选择源光照度级包括选择对应于最低畸变值的源光照度级。

15.一种用于产生对源光照度级和补偿后处理作出补偿的图像补偿曲线的系统，所述系统包括：

a)用于选择源光照度级的选择器；

b)用于确定与输入至所述补偿后处理的多个图像代码值相对应的补偿后处理输出点的补偿后处理；

c)基于由所述选择器所选的所述源光照度级的源光照度级补偿曲线，其中所述补偿曲线确定与补偿后处理输出点的输入相对应的源光照度级补偿曲线输出点；

d)用于确定将产生所述源光照度级补偿曲线输出点的输出的所述补偿后处理的输入点的补偿后逆处理；以及

e)通过使所述多个图像代码值与所述补偿后处理的所述输入点相关来产生经修改的源光照度级补偿曲线的经修改曲线生成器。

16.如权利要求15所述的系统，其特征在于，所述经修改的曲线生成器通过在一个集合的控制点之间插补来定义经修改的源光照度级补偿曲线。

17.如权利要求15所述的系统，其特征在于，所述补偿后处理是用查找表(LUT)实现的。

18.如权利要求17所述的系统，其特征在于，所述补偿后逆处理包括使用逆LUT。

19.如权利要求15所述的系统，其特征在于，所述用于选择源光照度级的选择器还包括显示模型。

20.如权利要求15所述的系统，其特征在于，所述用于选择源光照度级的选择器还包括误差向量计算器。