CN101473347B - 增加精度平滑分布的画面增强 - Google Patents

Abstract

用于增强具有输入像素值的输入画面(P_in)的至少一个区域从而允许首先减少量化条带伪像的设备(100)，包括：估计单元(102)，其设置为估计该输入画面的至少所述区域的量化精度(QP)；图案分析单元(104)，其设置为确定该输入画面中小于或等于量化精度(QP)的输入像素值变化的位置，并且输出表示这些位置的分析信息(INF_AN)；以及自适应滤波器(106)，其设置为计算对应于该输入画面的至少所述区域的输出画面(P_out)，所述输出画面包括根据输入像素的自适应组合确定的输出像素，并且其设置为根据该分析信息确定所述自适应组合。

Description

增加精度平滑分布的画面增强

本发明涉及用于增强画面(picture)质量、尤其是画面像素值和可用于自适应滤波画面的参数的数值精度的设备(apparatus)、方法和软件。

画面指的是目标形状的单个时间瞬间表示，但是当然本发明还适用于画面集合，例如电影。

在目前，需要改善画面和/或画面的显示器的质量。更高分辨率、大尺寸显示器的涌现，使得消费者对于高质量色彩的附加需求更显著，其例如对于小梯度亮度或色彩瞬时现象是关键的。

当向高动态范围显示器提供标准范围(例如3×8比特)的画面数据时，出现了所述问题的一个实例。需要将该画面数据映射到较大的范围，即必须计算中间值。而且，还有另一种趋势是减少在编码画面时花费的数据量，这可能意味着以低量化精度表示像素值。

在现有技术中，已经利用多种掩模技术(例如抖动)来缓解质量的降低。

这些技术的问题在于，它们没有提供良好质量的解决方案。例如，对于高动态范围显示器而言，未使用可能的像素值的全部标度(scala)。而且，这些经过掩模的图像(image)不是非常适合于进一步的处理、尤其是其他增强技术，这是因为抖动图案会被放大并且变得令人厌烦。

实现以下提出的技术实施例的目的是对于良好质量图像增强的需求。

这个目的是通过用于增强具有输入像素值的输入画面(P_in)的至少一个区域的设备(及相应方法)来实现的，其包括：估计单元(102)，其设置为估计该输入画面的至少所述区域的量化精度(QP)；

-图案分析装置(104)，其设置为确定该输入画面中小于或等于量化精度(QP)的输入像素值变化的位置，并且输出表示这些位置的分析信息(INF_AN)；以及

-自适应滤波器(106)，其设置为计算对应于该输入画面的至少所述区域的输出画面(P_out)，所述输出画面包括根据输入像素的自适应组合确定的输出像素，并且其设置为根据该分析信息确定所述自适应组合。

本发明的发明人已经认识到，画面的处理应当以智能方式实现，否则对于每次缓解会引入新的伪像。尤其是，当提供给显示器的原始输入画面的量化精度(还具有其他名称，例如位深度)小于显示器能够清晰显示以及观察者能够看到的精度时，该装置缓解的问题之一是一个非常容易察觉的问题。这在小的、缓慢变化的梯度中是特别令人厌烦的。例如，已知天空根据相对于太阳的角度具有不同的蓝色。在低量化精度表示中，这将表现为条带。这些条带可以相距任意距离，因此它们相对难以检测，并且更难以去除。希望输出的天空再现是连续变化的梯度。

然而，本发明的发明人已经认识到，这些不良量化的目标存在一个可预测的属性，即其沿着梯度的相邻子部分恰恰相差一个量化步长。利用适应性分割算法(例如区域生长，其中具有等于当前运行值(或针对运行平均值的类似策略)或者只相差一个量化步长的值的像素被分配给相同的段，并且差别较大的像素属于不同的段)能够检测该属性。利用适当调节的边缘检测器能够实现相同效果，这造成具有为1的像素值变化的边缘与更大变化的边缘之间的差别。如果应用预滤波，则能够在数学上证明，这些单步长变化对应于小于或等于1个量化步长的边缘强度，而更大的边缘(即具有真实的新目标的边缘，而不是假的目标内的量化边缘)通常仍然表示为大于1个量化步长的边缘强度。

因此，该设备首先确定量化精度。

可以针对整个画面确定该量化精度。在这种情况下，一种好方法是查看该画面的直方图。如果使用全局精度，则该画面将表现出具有尖峰的直方图(例如在该画面中仅4、8、12等像素值是可能的)。例如通过进行自相关，能够确定尖峰的存在及其相互距离，在这种情况下该距离等于量化精度。于是，第一峰的位置给出量化精度。

在其他方案中，使用其他算法。例如，在诸如天空相对叶丛的画面的不同区域中，可以存在不同的量化精度。在解压画面(例如MPEG-2或者MPEG-4标准)中，这可能是因为例如根据特定的位分配策略，不同的块得到不同的量化标量和/或矩阵而出现的，该策略通常将诸如图案(或者运动)复杂性和对于观察者而言的错误可见性之类的因素考虑在内。一种解决方案是，例如在预分割之后，仅分析该画面一部分的直方图，以获得该部分的量化精度。如果例如仅希望改善天空，则可以使用预分割中诸如天空位置及其浅蓝色之类的属性。

而且，即使在总直方图中表示了该画面中具有高精度像素值的下部分(例如包含草地或者建筑)，仍然可以检测对应于具有较低精度的区域的峰，例如当它们出现在直方图的选择性部分中时(绿草不包含任何浅蓝颜色，因此在蓝色范围对直方图没有贡献)，或者当存在足够的低精度像素时，其中所述峰可以突出到该子范围中的基线直方图水平之上。

随后，使得该量化精度可用，图案分析装置(104)查看哪里存在单步长变化，即哪里应该出现至少足够的滤波。通常，希望较大的边缘未被处理，这是因为它们会是真实边缘—至少它们不应当是由于差的量化精度而引起的，并且处理它们通常会导致进一步的退化。

在一个简单的实施例中，仅检测这些单步长边缘的存在性，而更高级的实施例还可以查看边缘中的图案(例如，可能不想滤掉建筑物内的特定单步长斑纹图案，这是因为褪色的建筑物可能看起来更差；然后，能够查看例如边缘密度或者图案复杂性，例如棋盘结构，而不是简单的条带；而且对于例如诸如叶丛背景中的非常低的量化精度而言，可能会考虑保留真正在下面的结构的原始不良量化的残余物)。

自适应滤波器(106)将使用有关在哪里增强画面以及优选地还有如何增强画面(根据带的距离应当使用足够大的平滑滤波器)的所述分析信息(INF_AN)，其将应用最佳的或者至少合理的充分提高质量的滤波，从而获得原始输入画面或者其至少一部分的有效更高量化、增强的输出画面。[滤波器配置单元140将分析信息转换为滤波器设置，例如滤波器系数集合]。

可以独立地输出转换为配置参数的该分析信息，使得其能够例如用于由不同位置的不同器件(device)滤波该输入图像，并且作为质量提高服务独立地销售。这样，通常除了提供增强层画面数据之外，还能够将其用于例如将低质量的预览(例如用于便携式显示器)转换为较高质量的可购买内容。

根据本发明的方法和设备的这些及其他方面根据下文中描述的实现方式和实施例以及参照附图将是清楚明白的，并且将参照这些实现方式和实施例以及参照附图来进行阐述，这些附图仅仅用作说明更一般概念的非限制性特定示例，并且其中虚线用于表示可选的部件，非虚线部件不一定是必不可少的。

在附图中：

图1示意性地说明了包含在示例性画面显示器件中的设备；

图2示意性地说明了图案分析单元104的一个可能的实施例；

图3示意性地示出了能够用于自动选择多少个滤波器尺度应当对自适应滤波起作用的曲线图；以及

图4示意性地示出了图案分析单元104的另一实施例的一些相关功能块。

图1中的画面增强设备100通过输入端122接收输入画面P_in(例如解压缩的每个像素8位的图像)。估计单元102设置为通过分析该输入画面确定量化精度QP。例如对于最小步长为1的不同值的像素而言，该量化精度可以等于1，每个像素具有例如0-255之间的灰度值。该估计单元优选地通过查看该图像的至少所述区域中的像素值直方图来获得该值。在QP＝1的示例性情况中，该直方图应当具有256箱(bin)表示中的包含像素计数的至少两个相邻箱。在另一个实例中，可以粗略量化新闻播音员后面的插入画面中的天空，这是因为其来自于另一个来源，并且对于像素而言仅具有8个不同的亮度值(或者相似的蓝色值)。在这种情况下，该256箱直方图将仅在其箱的8个中具有计数，每个箱间隔8个箱。例如通过直方图的自相关分析，能够检测这种周期性。

该估计单元102生成作为输出的量化精度QP，作为下一单元即图案分析单元104的输入。该单元的目的在于检测是否存在由于量化精度产生的假边缘，以及假边缘在哪。高级的实施例可以设置为更详细地评估这样的边缘的实际分布，使得例如能够检测对应于位于1量化精度任一侧上像素值变化的特定边缘空间配置，使得稍后能够不同地对它们进行滤波。

该图案分析单元可以包括例如分割算法，所述分割算法将一连串1量化精度差值/变化的边缘(优选地沿着连续路径，例如根据垂直于边缘的方向确定)映射到单一的段。该图案分析单元还可以设置为对这些边缘进行测量，例如测量其取向或者相邻边缘之间的距离，稍后可以将所述测量结果用于选择适当的滤波器支撑的尺寸或形状。

有利的是，图案分析单元104的简单实施例设置为仅根据边缘检测来工作，这是因为需要被滤波的是边缘。自适应滤波器106将图案分析单元输出的分析信息INF_AN考虑在内，以针对该图像的每个区域确定最佳的滤波策略(例如去除假边缘，但是例如通过仅复制来自输入画面的基础数据或者应用非常弱的滤波器来保护其他区域)，自适应滤波器106可以是至少部分去除假边缘的任意滤波器，即通常其生成合理(假设至少出于视觉质量的原因，输入画面的不良量化的区域下面存在简单的实际亮度(和/或色度)分布)的中间值，其在足够大动态范围的监视器上显示在比有条带输入画面更好看的图像区域中。另外，能够使用根据现有技术已知的不同滤波器，例如采取将局部统计等等考虑在内的一些模型分布。在以下的简单分析/滤波实施例中，使用线性滤波。

以下描述一些优选的、简单的多尺度自适应增强策略，其不仅具有过滤假边缘而不过滤真正目标边缘的优点，而且它们使滤波最佳地适于(通过组合一些中间画面按照计算上简单的方式)到具有真正边缘的目标的距离，这避免了由于在滤波区域(例如天空)中出现因线性像素值组合而引起的一些目标能量所造成的令人反感的晕轮。

利用多尺度下的边缘分析的多尺度滤波：

首先，通过将输入画面与尺寸增大的平滑滤波器卷积(生成作为输入画面的具有相同数量像素的画面，其易于后面的组合)生成多个缩放图像(图2中的滤波单元201、203、205)。高斯核可能是有利的，然而其他像素值组合滤波器也是可以的。

随后，输入画面P_in和每一个平滑画面相减(原始输入画面和平滑的版本为减法器207、209、211的输入；在本实例中使用3个尺度，然而本领域设计人员可以使用和仍然可预期与典型条带画面有关的一样多的尺度，或者甚至更多，这是因为该算法将自动选择恰当的贡献)，从而得到多个差值图像P_diff。这些差值图像包括具有较高频率的输入画面能量，所述频率根据滤波器支撑尺寸达到某个中间频率。由于频率相关基函数分解的通常属性在于较低的频率被分配更多的能量，因而能够近似地说，这种差值图像包含特定中间频率下的输入图像结构。这种差值图像的外观是边缘周围差分数据的集合，即模糊的边缘表示(例如对于阶跃边缘而言，该差值信号将显示出向下指向的峰，随后是陡峭的上升边缘，随后是向上指向的峰)。随后，边缘检测器213、215和217实施边缘检测(优选地是二阶边缘检测，其检测这些峰)，并且归一化(除法器221、223、225)被执行(由于线性的原因，这两个操作的顺序是不重要的)。归一化包括将例如每像素差值图像值除以量化精度QP。

这可以实现为边缘图(MAP)，其中0和1之间的值表示假边缘存在，0表示例如真正的边缘(该图还可以表示边缘活性)。

随后(优选的是)，计算边缘的活性度量(A_sc1、......)(活性确定单元227、229、231)。由于对假边缘进行插值的良好尺度是将例如3个相邻的1量化步长变化区域的区域像素组合起来的尺度(原则上可以使用更多的尺度，或者更小的滤波器支撑尺寸，只要其支撑尺寸充分包围这些步长使得振荡分布出现，所述振荡分布看上去条带更少)，因而特定的活性检测单元(其一般按照区域中存在多少个边缘，彼此多近以及在高级版本中甚至是它们是否形成针对特定滤波的特定的希望或不希望的空间图案来设置)应当找到落入特定尺度滤波器的支撑中的大约3个这样的边缘。这例如可以通过使活性确定单元将对应于(例如相应滤波单元201、203、205的滤波器核的)该尺度的特定支撑上的边缘能量来进行评估，这能够通过实施包括低通滤波器的活性确定单元来实现。按照这种方式，仅通过查看活性确定单元的低通滤波输出画面的局部像素值来检测至少一个真正的目标边缘进入滤波器支撑(或者不应当被模糊的几个边缘)，所述至少一个真正的目标边缘进入滤波器支撑是应当避免的以避免晕轮，即仅具有较小尺寸的滤波器应当对于自适应滤波器106生成的增强输出画面P_out有贡献。权值计算单元235根据对输入画面P_in的边缘图案结构的分析确定不同尺度的滤波器贡献的权值。在本实例中，该自适应滤波器将原始输入画面P_in与平滑画面的加权组合相结合：

$P\_\mathrm{out}=\frac{1}{N}(P\_\mathrm{in}+\underset{s}{\mathrm{\Σ}}{W\_\mathrm{sc}}_s{G}_s)---\left(1\right)$

(Gs是尺度为s的平滑画面的局部像素值，W_scs是该像素位置处的特定平滑画面所需的归一化贡献，N是归一化因子，因此滤波输出画面具有与输入图像基本上相似的能量)。

按照这种方式，简单地通过对来自适当尺度的组合进行结合实现了最佳的滤波器(这相当于根据其尺度分解构造特定的滤波器形状)。当然，这个特定的滤波器仅仅是一个实例。也可以只针对某些像素位置进行滤波(而不是与原始的画面结构相结合)，并且所述滤波器可以具有例如通过查看输入画面P_in内的像素值、边缘图案等等来动态地确定的适应目标的支撑。

此外，权值计算单元235典型地将设置成在活性度量中检测真正的边缘所在的第一尺度，并且将对应该尺度以及更粗的尺度的权值设置为0。对应更细尺度的权值例如仅仅通过围绕所述活性的那个值(或者特定设计中的任何其他边缘导出值)进行反褶(mirror)来确定，其考虑所有尺度时在0和1之间进行适当的归一化：

w_sci＝1-A_sci                         (1)

这些权值是可能的分析信息INF_AN的一个实例，然而根据人们希望如何控制所述滤波器，其他的结构是可能的(例如，图像具有保护区域，根据这些保护区域，可以针对要滤波的每个像素位置构造特定的支撑形状)。

可以采用用于确定权值的更为高级的策略，其例如考虑了依照喜好在若干典型输入画面上优化的私有因素。

利用单尺度边缘分析的多尺度滤波：

图案分析单元104的另一个简单实施例(仍然采取例如与原始画面相结合的加权多尺度滤波)确定了典型的特征尺度。在这种情况下，产生至少一些最粗的平滑画面的集合(例如通过图4中的粗滤波器407)并且产生与原始画面的差值画面(或者来自滤波器401的稍微平滑的版本)(以便拥有用于落入粗滤波器支撑中的、在滤波器输出位置(x，y)处检测的不希望结构的模糊能量的参考)，并且同样利用量化精度QP对它们进行归一化。该策略利用了平滑(假的、有条带的)梯度的特定几何特性，即当连续地将更大的滤波器应用到这种图像图案时，更多的能量连续地累积到进行了滤波的任何像素位置。于是，可以产生图3所示的曲线图，其决定所述尺度中有多少对总结果产生贡献，并且从中导出应当使用哪些尺度，这是由尺度评估单元415实现的，所述尺度评估单元415典型地设置成将利用非常粗的滤波器估计的局部像素能量E(x，y)作为输入并且计算图3的非线性函数，向滤波器输出最佳的尺度(或者两个相邻滤波器尺度的加权组合)。

这个曲线图在x轴上示出对应待滤波的特定输入画面像素的局部像素能量E(x，y)，该局部像素能量通过形成输入画面非常重度的模糊版本与输入画面本身的差值画面来得到。如果该能量为大，那么这意味着在该粗尺度下检测到真正的边缘并且它不是用于对输出画面形成贡献的良好尺度，因为它会引入晕轮。对于低于量化精度一半的能量而言，可以由滤波单元106将最粗的尺度用于获得对应该区域的输出画面。因此，所述曲线图最佳地确定了(Y轴)哪个所述平滑图像(N_S)将对加权滤波形成贡献。所述能量越高，那么应当由滤波单元106使用的滤波器支撑越小(尺度越细)。在这个实例中，使用了5个尺度，即如果输出数为1，那么只将原始输入画面像素值拷贝到输出像素。如果该值为例如3.5，那么就使用尺度3和4的组合，并且如果所述值约为3，那么就在用于滤波的那个区域中只使用尺度3以便获得最终的输出图像。

具有自适应支撑的滤波：

图案分析单元104的另一个实施例确定要包含在滤波单元106的滤波器支撑中的位置。首先，产生(典型地重度)平滑的图像，其形成对应每个像素位置的参考值，即局部平均。然后，对于每个位置，从该局部平均中减去所述位置处的输入画面像素值。得到的差值图像利用量化精度QP来归一化。

同样地，如果局部像素值与所述平均大不相同，那么应当从所述滤波中将它排除，因为它很可能是不同图像目标中的像素而不是相同图像目标中的量化伪像，其将导致晕轮。因此，用于在位置x处利用粗尺度进行最佳平滑的滤波器将丢弃这些像素的贡献，这自动地使得滤波器支撑形状适应潜在的图像/视频目标。这避免了选择可能太窄的最终滤波器(这是也可以使用的策略：如果滤波器太粗，那么选择更窄的最佳滤波器用于最终的滤波，但是在目标附近，这通常导致使用窄滤波器，在这种情况下自适应支撑滤波更佳)。

滤波器支撑可以是二相的(binary)，在滤波操作中包含或者排除单独的像素位置以便产生输出像素，或者可替换地根据确切的差值所述滤波器可以使用更复杂的(比例)策略。自适应滤波器支撑的优点在于，对于每个像素位置而言，计算最佳尺寸和形状的支撑，导致条带和假边缘的最佳的减少，同时避免来自真正边缘的能量结合到输出像素中，这避免了晕轮的产生。

应当指出的是，像素值的变化通用于查看在周边是否只存在单个量化精度或者更大的变化，但是这可以通过诸如经典的空间相邻值比较(例如边缘检测)之类的不同技术来实现，而且也可以利用比较两个或多个值(图像)的方法来实现，所述值(图像)之一包括周围边缘的贡献，例如图像的模糊版本。

应用：

所述设备可用于例如包含器件的便携式显示器，所述器件可以接收差的输入，但是仍然得到越来越好的显示。所述算法也可以作为用于图像改善的专业或者消费软件来销售，并且可以运行在网络中的中间站上。另一种典型的画面显示器件170例如为高精度LCD电视(在这种情况下实际的显示单元150是LCD面板)。所述分析可以借助于例如控制电视的观看的用户接口装置199处于人工控制之下(通过取消特定滤波位置处的特定贡献来细调滤波器支撑等等)，在专业应用中，情况尤其如此。

所述分析信息或者滤波器控制参数F_out也可以单独地传送和销售。

本文中公开的算法部件在实践中可以(全部或部分地)实现为硬件(例如专用IC的部件)或者实现为运行在专用数字信号处理器上或通用处理器上的软件，等等。

根据以上所给内容，本领域技术人员应当理解，哪些部件是可选的改进并且可以结合其他部件实现，(可选的)方法步骤如何与各设备装置对应以及相反的情况。本申请中的设备在字典中给出的最宽广的意义下使用，即一组允许实现特定目的的装置，并且所述设备因此可以例如是IC(的一小部分)，或者专用仪器，或者网络连接的系统的一部分，等等。

计算机程序产品的名称应当理解为包括在使命令集合进入通用或专用处理器中的一系列装载步骤(其可以包括中间转换步骤，比如翻译成中间语言以及最终的处理器语言)之后允许所述处理器执行发明的任何特有功能的所述命令集合的任何物理实现。特别地，计算机程序产品可以实现为诸如盘或带的载体上的数据、存在于存储器中的数据、沿着有线或无线网络连接传播的数据或者纸张上的程序代码。除了程序代码之外，程序所需的特有数据也可以实现为计算机程序产品。

本方法起作用所需的一些步骤可以已经存在于处理器的功能中，而不是在计算机程序产品中描述，例如数据输入和输出步骤。

应当指出的是，上述实施例说明而不是限制了本发明。在本领域技术人员能够容易地实现将所给出的实例映射到权利要求的其他区域的地方，我们出于简洁的原因没有深入叙述所有这些选项。除了像在权利要求中组合的本发明元件的组合之外，这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。

权利要求中置于括号之间的任何附图标记并非旨在限制该权利要求。措词“包括”并没有排除存在权利要求中未列出的元件或方面。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。

Claims (10)

1.一种用于增强具有输入像素值的输入画面(P_in)的至少一个区域的设备(100)，包括：

-估计单元(102)，其设置为估计该输入画面的至少所述区域的量化精度(QP)；

-图案分析单元(104)，其设置为根据多个借助于输入画面的多尺度分析而获得的缩放画面来确定该输入画面中小于或等于量化精度(QP)的输入像素值变化的位置，并且输出表示这些位置的分析信息(INF_AN)；以及

-自适应滤波器(106)，其设置为计算对应于该输入画面的至少所述区域的输出画面(P_out)，所述输出画面包括根据输入像素的自适应组合确定的输出像素，并且其设置为根据该分析信息确定所述自适应组合。

2.如权利要求1所述的设备(100)，其中图案分析单元(104)设置成将边缘检测应用到所述输入画面，产生表示在所述输入画面的所述像素的邻域中存在边缘的像素值图像(MAP)，所述像素值表示存在与小于或等于量化精度(QP)的输入像素值变化对应的边缘和/或所述像素值表示存在与大于量化精度(QP)的输入像素值变化对应的边缘。

3.如权利要求1所述的设备(100)，其中图案分析单元(104)设置成基于所述输入画面中小于或等于量化精度(QP)的输入像素值变化的位置执行对于所述画面的分割。

4.如上述权利要求之一所述的设备(100)，其中图案分析单元(104)设置成产生包括具有第一和第二常量之间的像素值的一个或多个图像的分析信息(INF_AN)，所述第一和第二常量优选地分别等于0和1，所述分析信息可用于由自适应滤波器(106)执行的对于特定像素位置处的滤波长度的控制。

5.如权利要求1-3之一所述的设备(100)，其中自适应滤波器(106)组合所述输入画面的不同缩放版本的像素。

6.如权利要求1-3之一所述的设备(100)，其中分析信息(INF_AN)确定滤波器系数值，和/或滤波器支撑尺寸，和/或滤波器支撑形状。

7.如权利要求1-3之一所述的设备(100)，其中估计单元(102)设置成根据所述输入画面的至少一个第二区域的直方图确定量化精度(QP)。

8.如权利要求7所述的设备(100)，其中估计单元(102)设置成根据对于所述直方图的至少一个子范围内的等间隔峰的分析确定量化精度(QP)。

9.一种画面显示器件(170)，包括如上述权利要求之一所述的设备(100)以及能够显示所述画面的器件(150)。

10.一种增强具有输入像素值的输入画面(P_in)的至少一个区域的方法，包括：

a.估计所述输入画面的至少所述区域的量化精度(QP)；

b.根据多个借助于输入画面的多尺度分析而获得的缩放画面来确定该输入画面中小于或等于量化精度(QP)的输入像素值变化的位置，并且产生表示这些位置的分析信息(INF_AN)；以及

c.计算对应于该输入画面的至少所述区域的输出画面(P_out)，包括根据输入像素的自适应组合确定输出像素，所述自适应组合取决于该分析信息。

Images