闪烁处理
本发明涉及一种用于把输入图像转换成输出图像的图像转换单元。
本发明还涉及一种图像处理设备,包括:
-用于接收输入图像的接收装置;以及
-用于把输入图像转换成输出图像的图像转换单元。
本发明还涉及一种把输入图像转换成输出图像的方法。
本发明还涉及一种由计算机设备装载的计算机程序产品,包括把输入图像转换成输出图像的指令,所述计算机设备包括处理装置和存储器。
在自然景象中亮度(luminance)值的范围可以是极高的。典型地,相机在获取图像以便以后在显示器上显示时,应用了对比度减小。这种对比度减小也被称为动态范围压缩,并典型地包含(非)线性缩放和削波(clipping)的组合。这极经常地导致对亮区的相当强的压缩,亮区即图像中的具有相当高的亮度值的区域。因此,当在显示设备上显示获取的(和处理的)图像时,动态范围被限制,并甚至可导致非自然的,即,人工产物的表示。
本发明的目的是提供在开头段落中描述的那种图像转换单元,以用于增强亮区。
本发明的这个目的被实现,因为该图像转换单元包括:
-滤波器,用于从输入图像中选择一组连结的输入像素,该组连结的输入像素具有相对于输入图像的尺寸相对较小的尺寸,该组连结的输入像素中的输入像素具有相对于输入亮度值范围的高的亮度值;以及
-像素处理器,用于根据输入图象的输入像素的各自亮度值给输出图像的输出像素指定亮度值,由此,相应于该组连结的输入像素的输出像素的亮度值高于该连结的输入像素的各自亮度值。
按照本发明的图像转换单元被安排成增强加亮区(highlight)。本发明是基于这样的假设,即加亮区通常限于相对较小的区域,也就是相对较小的图像区。例如,象汽车头灯和街灯那样的光源以及在象珠宝、汽车的轮圈和玻璃那样的发光物体上的反射是相对明亮的。而且,假设这些加亮区的视亮度(brightness)靠近输入图像的动态范围(即亮度值的范围)的最大值。根据这些假设,申请人开发了按照本发明的图像转换单元。该图像转换单元被安排成:通过有选择地增加具有有限尺度的亮区的视亮度,即亮度值,而重新创建加亮区。这产生经常被称为“闪烁(sparkle)”的视觉外观。
优选地,输入图像的较大亮区保持它们原先的亮度值。此外,相对较暗的区域也保持它们原先的亮度值。
在按照本发明的图像转换单元的实施例中,该滤波器包括高通滤波器。对于选择该组连结的输入像素,即,其亮度值必须被增加的输入图像的区域,高通滤波器是适当的。优选地,该高通滤波器的特性符合于该组连结的输入像素的尺度。对于标准分辨率的视频输入图像(720×480像素),该高通滤波器的适当的核心尺寸约为20×20像素。这意味着,在小于该数目的像素上延伸的、且具有相对较高亮度值的物体的表示被选择用于亮度值增加。
按照本发明的图像转换单元的实施例包括增益控制单元,用于藉助于基于输入像素的亮度值的增益控制信号来控制像素处理器。优选地,亮度值的增加不是对所有的亮度值都恒定,而是取决于不同的亮度值。优选地,增加量,即增益,正比于输入亮度值。较高的输入亮度值被增加得更多。
在按照本发明的图像转换单元的实施例中,增益控制信号是基于滤波器的输出,由此,增益控制信号的实际增益值对于滤波器的相对较高输出值是相对较高的。优选地,亮度值的增加不是对所有选定的像素都恒定。具有比起输入亮度值的范围相对较高的、且比起它们的相邻像素相对较高的亮度值的像素将受到图像转换单元相对更大的影响,即,在这些输入像素的亮度值与相应的输出像素的亮度值之间的差值是相对较高的。
在按照本发明的图像转换单元的实施例中,像素处理器被安排成:根据相应于特定输出像素的特定输入像素的特定输入亮度值和根据对于特定输入像素的特定增益值,来确定特定输出像素的特定输出亮度值。优选地,特定像素的特定亮度值的增加既基于该特定亮度值本身、又基于与相邻像素的另外亮度值相比较的亮度值。相邻的像素可以位于约30×30像素的区域内。这意味着,在输入图像中具有极高亮度值的极小区域,比起稍微大一点的和/或具有稍微小一点的高亮度值的区域被增强得更多。
按照本发明的图像转换单元的实施例被安排成:把具有在输入亮度值范围内的亮度值的输入像素转换成具有在输出亮度值范围内的亮度值的各个输出像素,由此,输出亮度值的范围大于输入亮度值的范围。
按照本发明的图像转换单元的另一个实施例被安排成:把具有在输入亮度值范围内的亮度值的输入像素转换成具有在输出亮度值范围内的亮度值的各个输出像素,由此,输出亮度值的范围与输入亮度值的范围基本上是彼此相等的。典型地,为了产生用于扩展对于相对较高亮度值的动态范围的空间,需要减小对于相对较低亮度值的动态范围。
按照本发明的图像转换单元的实施例还包括平均亮度计算单元,用于计算输入图像的平均亮度值和用于控制输入像素的亮度值到输出像素的各自亮度值的转换。如果输入图像的平均亮度值是相对较低的,则亮度值的可能增加量是相对较高的。测量输入图像的平均亮度值是有利的。测量的或计算的平均亮度值优选地被应用来调节高通滤波器的特性。替换地,平均亮度值被应用在增益控制单元或像素处理器中。
本发明的另一个目的是提供在开头段落中描述的那种图像处理设备,以用于增强亮区。
本发明的这个目的被实现,因为该图像转换单元包括:
-滤波器,用于从输入图像中选择 一组连结的输入像素,该组连结的输入像素具有相对于输入图像的尺寸相对较小的尺寸,该组连结的输入像素中的输入像素具有相对于输入亮度值范围的高的亮度值;以及
-像素处理器,用于根据输入图象的输入像素的各自亮度值给输出图像的输出像素指定亮度值,由此,相应于该组连结的输入像素的输出像素的亮度值高于该连结的输入像素的各自亮度值。
该图像处理设备可以支持一个或多个以下类型的图像处理:
-视频压缩,即,例如按照MPEG标准进行编码或译码;
-去隔行(de-interleave):隔行是用于交替地传送奇数或偶数图像行的通常的视频广播处理过程。去隔行试图恢复完全的垂直分辨率,即,使得偶数和奇数行对于每个图像是同时可得到的;
-图像速率转换:从一系列原先的输入图像计算出更大系列的输出图像。输出图像在时间上位于两个原先的输入图像之间;以及
-时间噪声减小:这也会涉及到空间处理,导致空间-时间噪声减小。
该图像处理设备可以例如是电视机、机顶盒、VCR(盒式磁带录像机)播放器、卫星调谐器、DVD(数字通用盘)播放器或记录器或硬盘记录器。
该图像处理设备可包括附加部件,例如是用于显示输出图像的显示设备。该显示设备可以是基于包括LCD、OLED和PDP在内的一组显示技术中的任一项技术。对于OLED,例如参阅N.C.,van der Vaart等人的文章“Towards Large-Area Full-Color Active-Matrix PrintedPolymer OLED Television”,SID 2004 Digest,pp.1284,2004.
优选地,该显示设备是基于多基色技术,即,三个以上的彩色分量,例如RGBW或RGBY。对于RGBW,例如参阅US 20030128872的背景部分。典型地,象OLED那样的显示设备受限于平均视亮度,而不是它们的峰值视亮度。这是因为与寿命、功耗、或彩色饱和度有关的约束条件。通过应用按照本发明的图像转换单元,人们可以获益于显示器的非常高的峰值视亮度能力,而同时避免显著增加平均亮度。
而且,所得到的动态范围容量(content)可被使用来充分利用RGBW显示设备的附加亮度净空高度(headroom),RGBW显示设备即在现有的RGB(红绿蓝)基色之外具有附加的白基色的显示设备。这些显示设备的全范围是这样的,即并不总是有可能去使用可得到的亮度而不产生人工产物。所以,按照本发明的图像转换单元可以使用任何剩余的净空高度。
本发明的再一个目的是提供在开头段落中描述的那种方法,以用于增强亮区。
本发明的这个目的被实现,因为该方法包括:
-从输入图像中选择一组连结的输入像素,该组连结的输入像素具有相对于输入图像的尺寸相对较小的尺寸,该组连结的输入像素中的输入像素具有相对于输入亮度值范围的高的亮度值;以及
-根据输入图像的输入像素的各自亮度值给输出图像的输出像素指定亮度值,由此,相应于该组连结的输入像素的输出像素的亮度值高于该连结的输入像素的各自亮度值。
本发明的又一个目的是提供在开头段落中描述的那种计算机程序产品,以用于增强亮区。
本发明的这个目的被实现,因为该计算机程序产品在被装载之后,给所述处理装置提供实行以下步骤的能力:
-从输入图像中选择一组连结的输入像素,该组连结的输入像素具有相对于输入图像的尺寸相对较小的尺寸,该组连结的输入像素中的输入像素具有相对于输入亮度值范围的高的亮度值;以及
-根据输入图像的输入像素的各自亮度值给输出图像的输出像素指定亮度值,由此,相应于该组连结的输入像素的输出像素的亮度值高于该连结的输入像素的各自亮度值。
该图像转换单元的修改方案和它的变例可以相应于所描述的图像处理设备、方法和计算机程序产品的修改方案和变例。
从以下参照附图描述的实现和实施例中,按照本发明的图像转换单元、图像处理设备、方法和计算机程序产品的这些和其它方面将变得显而易见,并相对于该实现和实施例被予以阐述,其中:
图1A示意地显示按照本发明的图像转换单元的实施例;
图1B示意地显示包括平均亮度计算单元的、按照本发明的图像转换单元的实施例;
图1C示意地显示包括图形检测单元的、按照本发明的图像转换单元的实施例;
图2示意地显示包括二维查找表的图像转换单元的实施例;
图3显示在图2的实施例中要应用的多个转移函数;
图4示意地显示按照本发明的图像转换单元的另一个实施例;
图5示意地显示按照本发明的图像处理设备的实施例;以及
图6显示输入图像和输出图像。
在全部的图中,相同的参考标号被用来表示相似的部件。
图1A示意地显示按照本发明的图像转换单元100的实施例。图像转换单元100被安排成把输入图像转换成输出图像。输入图像在输入连接器106处被提供,以及输出图像在输出连接器108处被输出。图像转换单元100包括:
-滤波器102,用于从输入图像中选择成组的连结的输入像素,以及
-像素处理器104,用于根据输入图像的输入像素的各自亮度值给输出图像的输出像素指定亮度值,由此,相应于该成组的连结的输入像素的输出像素的亮度值高于该连结的输入像素的各自亮度值。
该成组的连结的输入像素的特征在于,它们具有:
-相对于输入图像的尺寸来说小的尺寸;以及
-相对于输入亮度值的范围来说高的亮度值。
滤波器102和像素处理器104可以通过使用一个处理器来实现。通常,这些功能在软件程序产品的控制下被执行。在执行期间,该软件程序产品通常被装载到象RAM那样的存储器中,并从这里执行,该程序可以从象ROM、硬盘、或者磁和/或光贮存装置那样的后台(background)存储器中被装载,或可以经由象互联网那样的网络被装载。任选地,专用集成电路提供所公开的功能性。
优选地,滤波器102的输出不是二进制的,而是相应于一个增益控制信号,其具有在包括两个以上值的范围内的值。优选地,对于输入图像的每个像素,确定相应的增益值以应用于任选地适配该相应的亮度值。例如,高于1的增益值导致亮度值的增加。更高的增益值导致亮度值的更高的增加。
图1B示意地显示包括平均亮度计算单元110的、按照本发明的图像转换单元101的实施例。优选地,加亮区尽可能多地被增强,然而,平均亮度值不应当增加太多。增强的量不必预先规定。这意味着,如果可得到的动态范围的量是相对较高的,例如因为输入图像的平均亮度值是相对较低的,则亮区的增强的量可以是相对较大的。然而,如果输入图像的平均亮度值已是相对较高的,则亮区的增强的量优选地被限制。在后者的情形下,典型地需要压缩相对较低的亮度值,以创建用于相对较高亮度值的增加的空间。任选地,实施一种反馈机制,以便藉助于比较输入图像与以预定的增益被增强的测试输出图像,而调节所要施加的增强的量。
平均亮度计算单元110被安排成:通过累加输入图像的亮度值或输入图像的一部分的亮度值而计算出和值,随后,该和值被除以累加的亮度值的数目。
平均亮度计算单元110的输出,即平均亮度值,能以几种方式被应用。优选地,平均亮度值被应用来控制滤波器102的滤波特性。滤波器核的孔径可以正比于平均亮度值,或滤波器的增益因子可以与平均亮度值有关。替换地,(未示出的)平均图像值被应用来控制像素处理器104。
图1C示意地显示包括图形检测单元112的、按照本发明的图像转换单元103的实施例。图像转换单元103的目标是增强实际的图像内容,即代表被获取的景象的图像内容。然而,在许多情形下,图形被叠加,即重叠在所得到/获取的图像上。例如,把字幕与得到的图像混合。另一个例子是广播台的徽标的呈现。优选地,这种类型的图形信息不被增强,即,代表这种类型信息的像素的亮度值不增加。为了防止这种增强发生,图像转换单元103的实施例包括检测叠加图形的存在的装置。这些装置是本领域技术人员已知的。例如,以下的参考文献描述了用于检测的方法:美国专利6,100,941;美国专利申请20030091237;以及D.Zhang,R,K.Rajendran,和S-F.Chang的文章“General anddomain-specific techniques for detecting and recognizedsuperimposed text in video”,Proc.IEEE ICIP(InternationalConference on Image Processing),Rochester,NY,USA,2002年9月。
图形检测单元112的输出包括一组不应当被考虑增加亮度值的像素。替换地,图形检测单元112被安排来提供一种概率信号,其代表各个像素相应于图形的概率。图形检测单元112的输出能以几种方式被应用。优选地,该输出被应用来控制滤波器。替换地,(未示出)该输出被应用来控制像素处理器104。
图2示意地显示图像转换单元200的实施例,包括:
-高通滤波器202,用于指示在经由输入连接器106被提供到高通滤波器的输入图像中明亮的详细区域的存在;
-增益控制单元204,用于根据高通滤波器202的输出来确定对增益转移函数的参考;以及
-像素处理器104,被安排成确定要被提供到输出连接器108的输出亮度值。
图像转换单元200的工作如下。高通滤波器202被安排成通过对输入图像进行高通滤波而计算值的二维矩阵M1。二维矩阵M1具有其个数等于输入图像的像素的数目的元素。该二维矩阵中的、对应于那些具有与输入亮度值范围相比和与相邻输入像素相比相对较高的亮度值的输入像素的元素,也具有相对较高的值。
增益控制单元204被安排成:把由高通滤波器提供的二维矩阵M1转移成另一个二维矩阵M2,其包括对增益转移函数的参考。参见图6中的作为例子用参考标号604表示的二维矩阵。对于增益转移函数的例子参见图3。另一个二维矩阵M2的元素代表在增益转移函数组中的、必须被应用到输入图像的相应输入像素的各个增益转移函数。
像素处理器104被提供以输入图像的输入像素的亮度值、和增益控制单元204的另一个二维矩阵M2。像素处理器104被安排成:通过把输入亮度值乘以一个因子,即,基于输入亮度值和用于该输入亮度值的适当增益转移函数的输出值的增益值,而施行输入像素的输入亮度值到输出像素的输出亮度值的转换。优选地,输出亮度值藉助于二维查找表被确定,其中该二维查找表具有:
-作为输入项的第一维的亮度值;
-作为输入项的第二维的增益转移函数;以及
-作为输出的亮度值。
图3显示在图2的实施例中要应用的多个转移函数。X轴相应于(归一化的)输入亮度值,而y轴相应于输出亮度值。其中的一个增益转移函数(增益转移函数1)相应于单位增益,导致输入亮度值与输出亮度值之间没有差别。增益转移函数4相应于最高的增益值。应当指出,对于相对较低的亮度值,所有的增益转移函数相应于单位增益。这意味着,实际上仅仅增加相对较高的亮度值。
图4示意地显示按照本发明的图像转换单元400的另一个实施例,包括:
-高通滤波器202,用于高通滤波输入图像,导致二维矩阵M3。二维矩阵M3具有其个数等于输入图像的像素数目的元素。二维矩阵M3中的、对应于那些具有比起相邻的输入像素来说相对较高亮度值的输入像素的元素,具有相对较高的数值。
-减法单元402,用于从输入图像的亮度值中减去偏移值;
-削波单元404,用于把减法单元402的输出中的所有负值削波到零。削波单元404的输出是中间图像,其中只有与具有相对较高的亮度值的输入图像的输入像素相对应的像素具有不同于零的亮度值;
-调制单元406,用于用高通滤波器202的输出去调制削波单元的输出。调制单元406的输出是具有输入图像的尺寸的二维矩阵。典型地,该二维矩阵的大多数元素基本上等于零,尤其是与具有相对较低亮度值的输入像素相对应的元素。仅仅那些与具有相对较高亮度值的输入像素相对应的二维矩阵的元素具有高于零的亮度值;以及
-组合单元104,用于把调制单元406的输出加到输入像素的各自输入亮度值,以计算要在输出连接器108处被提供的输出像素的输出亮度值。
高通滤波器202可被安排成对于亮度信号直接进行滤波。替换地,高通滤波器202被安排成分开地滤波不同的彩色分量(RGB),并组合不同的滤波操作的结果。
图5示意地显示按照本发明的图像处理设备500的实施例.图像处理设备500包括:
-接收装置,用于接收代表输入图像的信号;
-在图1A-C,2-4的任一个图中描述的图像转换单元,用于把输入图像转换成输出图像;以及
-任选的显示设备506。
该信号可以是经由天线或电缆接收的广播信号,但也可以是来自象VCR(盒式磁带录像机)或数字通用盘(DVD)那样的贮存装置的信号。信号在输入连接器508处提供。图像处理设备500例如可以是电视机。替换地,图像处理设备500不包括任选的显示设备506,但提供输出图像到包括显示设备506的设备。这样,图像处理设备500例如可以是机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。任选地,图像处理设备500包括贮存装置,如硬盘,或用于在可移动媒体例如光盘上进行贮存的装置。图像处理设备500还可以是由电影制作室或广播者应用的系统。
图6显示输入图像602和输出图像606,以举例说明按照本发明的方法。输入图像602的平均亮度值和输出图像606的平均亮度值是基本上彼此相等的。例如来自头灯、街灯和反射物的加亮区的输出亮度值高于代表同一个物体的输入像素的输入亮度值。图6还显示了结合图2描述的增益控制单元204的输出。
应当指出,上述的实施例是举例说明本发明,而不是限制本发明,以及本领域技术人员将能够设计出可替换的实施例,而不背离所附权利要求的范围。在权利要求中,在括号之间的任何参考标记不被看作为限制权利要求。单词‘包括’不排除在权利要求中没有列出的单元或步骤的存在。在单元前面的单词‘一’或‘一’个,不排除多个这样的单元的存在。本发明可以藉助于包括几个不同单元的硬件和藉助于适当编程的计算机来实现。在枚举几个装置的单元权利要求中,这些装置中的几个装置可以由同一个硬件项目所包含。单词第一、第二和第三等等的使用不表示任何排序。这些单词应该被解译为名称。