CN100484188C - 分辨率转换设备和方法 - Google Patents

Abstract

一种分辨率转换方法包括下述步骤：将边缘方向内插应用于输入图像并产生中间图像；关于中间图像转换采样率并产生具有预定分辨率的输出图像；和提高产生的输出图像的锐度。本发明防止在传统的分辨率转换方法中可能发生的图像质量降低因素，并获得具有希望大小的分辨率的输出图像。

Description

分辨率转换设备和方法

本申请要求于2004年8月12曰在韩国知识产权局提交的第2004-63605号韩国专利申请的利益，该申请的全部内容公开于此以资参考。

技术领域

本发明一般涉及一种分辨率转换设备和方法。更具体地讲，本发明涉及一种防止降低图像质量的因素的出现并将输入图像转换成具有希望的分辨率大小的输出图像的分辨率转换设备和方法。

背景技术

与比如阴极射线管(CRT)的模拟显示装置不同，比如液晶显示器(LCD)等的数字显示装置具有依赖于产品的固定屏幕分辨率，因此分辨率转换是必需的，以将不同的输入图像的分辨率转换成显示装置的屏幕分辨率。特别地，随着高清晰度电视(HDTV)的出现，分辨率转换变得更为重要，以将现有标准清晰级分辨率的图像显示在高清晰级TV系统上。

然而，用于这种分辨率转换的传统方法在图像边缘附近引入了图像瑕疵(artifact)，所述图像瑕疵极大地影响通过人眼的图像感知。典型的图像瑕疵为比如由分辨率转换导致的在图像边缘附近产生锯齿形图案的锯齿瑕疵、由分辨率转换导致的产生较差的锐度(sharpness)的模糊瑕疵、由较差的滤波特性导致的在图像边缘附近的环绕和混叠瑕疵等等。与分辨率转换相关的传统技术主要分为使用线性滤波技术的方法和使用非线性滤波技术的方法。也就是说，在第5,889,895号和第5,671,298号美国专利和第2002/0140854号美国专利申请中公开的方法执行使用比如双线性和三次内插的线性滤波方案的分辨率转换。然而，这些方法具有这样的问题，即，因为由于当增大分辨率时输入图像的高频分量的不充分再现而导致锐度变得非常差，所以输出图像的图像质量降低。为了补偿这种问题，第2002/0140854号美国专利申请公开了一种通过对低分辨率信号应用峰化来识别潜在的边缘像素、对峰化的图像信号应用上转换、并顺序地执行边缘像素检测、边缘链接、和亮度瞬时改善而输出高清晰图像信号的方法。然而，该方法通过在伸缩(scaling)期间使用现有线性滤波器并基于滤波之前和之后的预处理和后处理(post-processing)方法应用峰化和亮度瞬时改善功能来增强细节和锐度，因此该方法需要大量计算和复杂的硬件结构，从而限制了性能改善。

在第5,852,470号和第5,446,840号美国专利中公开的使用非线性滤波技术的方法可分为方向性内插方法和基于内容的内插方法。方向性内插方法使用图像的边缘信息仅在与边缘方向平行的方向执行内插以防止边缘分量产生模糊瑕疵。基于内容的内插方法预先通过学习过程获得优化的伸缩滤波器系数，根据输入图像的局部特性选择学习的滤波器系数，并执行分辨率转换。这样的方法在图像的边缘部分提供了相对较好的结果，但其缺点在于降低了精细纹理区域的图像质量。

发明内容

在下面的描述中将部分地阐明本发明另外的方面和/或优点，通过描述，其会变得更加清楚，或者通过实施本发明可以了解。

研究本发明是为了解决与传统配置关联的以上缺点和其他问题。本发明的一方面在于提供一种在消除图像质量降低因素的出现的同时将输入图像转换成具有希望大小的分辨率的输出图像的分辨率转换设备和方法。

通过提供一种分辨率转换方法基本实现上述和其他目的和优点，该分辨率转换方法包括：将边缘方向内插应用于输入图像并计算中间图像；关于中间图像转换采样率并计算具有预定分辨率的输出图像；和提高计算出的输出图像的锐度。

根据本发明的一方面，边缘方向内插操作包括下述操作：使用输入图像的像素的绝对差来估计边缘方向；基于与估计出的边缘方向对应的位置的像素值自适应地确定内插系数；使用该边缘方向和该内插系数并基于该边缘方向和该内插系数来计算边缘方向内插值；和自适应地混合该边缘方向内插值和预定线性内插方法的内插值，并计算最终内插值。

边缘方向关于两个对角线方向和四个非对角线方向而被估计，预定线性内插方法是双三次内插方法。

根据本发明的一方面，分辨率转换方法还包括：确定内插区域是否具有高空间频率，如果该区域具有高空间频率，则使用该预定线性内插方法的内插值来计算最终内插值，通过使用内插区域中的平均偏离局部方差确定该区域是否具有高空间频率。

计算输出图像的操作包括：将根据输入图像的分辨率和预定分辨率计算出的上采样和下采样之比与设置的旁瓣的数量相乘，并计算滤波器抽头(filtertab)的数量；将窗函数乘以sinc函数并通过滤波器抽头的数量计算一阶滤波器系数(first-order filter coefficient)；在一阶滤波器系数中使用通过将高斯函数和窗函数相乘而获得的值，并计算最终滤波器系数；和转换中间图像的采样率，根据最终滤波器系数在水平和垂直方向执行滤波，并计算预定分辨率的输出图像。

滤波器抽头的数量基于下面方程而被计算，即

L＝round(Max{D，U}×SmoothingAmount×nLobes-1)×2-1

其中，L指示滤波器长度，nLobes指示旁瓣的数量，U和D指示优化的上采样与下采样之比，SmoothingAmount指示改变滤波器截止频率的常量。

一阶滤波器系数基于下面方程而被计算，即

$h\left[i\right]=\left\{\frac{\sin \left(x\right)}{x}\right\}\×\mathrm{kaiser}(1,\mathrm{\β}),i=\mathrm{0,1},...,L-1,x=\frac{i-\frac{L-1}{2}}{\frac{L-1}{2}}\×\mathrm{\π}\×\mathrm{Lobes}$

其中，

表示理想低频带通函数，Kaiser(1，β)是Kaiser窗函数，Lobes指示旁瓣的数量。

根据本发明的一方面，提高锐度的操作包括：在预定大小的重叠的块中挑选两个代表性颜色；增加挑选的代表性颜色之间的对比度；将存在于边缘区域中的像素值转变为两个对比度增加的代表性颜色的接近的代表性颜色；和通过使用hanning窗将重叠的块的结果值相加并计算最终像素值，以去除块不连续性。

代表性颜色的对比度通过输入像素和两个代表性颜色之间的距离和点积而被自适应地增加，所述两个代表性颜色通过K-means算法而被挑选。

根据本发明的一方面，一种分辨率转换设备包括：边缘方向内插单元，用于将边缘方向内插应用于输入图像并计算中间图像；线性滤波单元，用于关于中间图像转换采样率并计算具有预定分辨率的输出图像；和锐度提高单元，用于提高计算出的输出图像的锐度。

根据本发明的一方面，边缘方向内插单元使用输入图像的像素的绝对差来估计边缘方向，基于与估计出的边缘方向对应的位置的像素值自适应地确定内插系数，使用该边缘方向和该内插系数，计算边缘方向内插值，自适应地混合该边缘方向内插值和预定线性内插方法的内插值，并计算最终内插值。

边缘方向关于两个对角线方向和四个非对角线方向而被估计，预定线性内插方法是双三次内插方法。

如果该区域具有高空间频率，则边缘方向内插单元使用该预定线性内插方法的内插值来计算最终内插值，该区域是否具有高空间频率是通过使用该内插区域中的平均偏离局部方差而被确定的。

根据本发明的一方面，锐度提高单元在预定大小的重叠的块中挑选两个代表性颜色，增加挑选的代表性颜色之间的对比度，将存在于边缘区域中的像素值转变为两个对比度增加的代表性颜色的接近的代表性颜色，通过使用hanning窗将该重叠的块的结果值相加，并计算最终像素值，以去除块不连续性。

代表性颜色的对比度最好通过输入像素和两个代表性颜色之间的距离和点积而被自适应地增加，所述两个代表性颜色通过K-means算法而被挑选。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：

图1是根据本发明实施例的分辨率转换设备的方框图；

图2表示通过图1的边缘方向内插单元的内插创建的内插的像素；

图3是图1的边缘方向内插单元的操作的流程图；

图4A和图4B表示在边缘方向内插中的方向估计；

图5A至图5F表示内插系数的决定方法；

图6表示块分布；

图7表示在第二内插中的内插系数的决定方法；

图8表示通常的采样转换；

图9是图1的线性滤波单元中的采样率转换电路的方框图；

图10是图1的锐度提高单元的操作的流程图；

图11表示实际边缘分量和估计边缘分量之间的误差；

图12表示代表性颜色之间的对比度的提高；

图13表示提高代表性颜色之间的对比度的方法；

图14表示在图1的锐度提高单元中处理的最终图像；和

图15表示块不连续性去除。

具体实施方式

现在对本发明实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明。

以下，将参照附图对本发明进行详细的描述。

图1是根据本发明实施例的分辨率转换设备的方框图。在图1中，该分辨率转换设备包括：边缘方向内插单元100、线性滤波单元200、和锐度提高单元300。

边缘方向内插单元100对输入图像应用边缘方向内插以水平和垂直地将分辨率增大至两倍，并产生没有锯齿瑕疵的中间图像，所述锯齿瑕疵可能在分辨率转换期间发生。线性滤波单元200在改变采样率的同时对从边缘方向内插单元100输出的中间图像应用线性FIR(有限脉冲响应)滤波，由此产生具有与希望的分辨率相同的分辨率的图像，也就是说，线性滤波单元200产生具有与希望的分辨率相同的分辨率的输出图像，以这种方式使环绕瑕疵和混叠瑕疵的出现最小化。由于边缘方向内插单元100和线性滤波单元200在分辨率转换期间降低了锐度，所以锐度提高单元300补偿锐度并产生最终图像。

如上所构造的分辨率转换设备可通过关于边缘方向内插单元100、线性滤波单元200、和锐度提高单元300的详细描述而被更清楚地理解。

图2表示由图1的分辨率转换设备的边缘方向内插单元100的内插产生的内插的像素。在图2中，边缘方向内插单元100的边缘方向内插通过第一和第二内插的两步处理而被执行。第一内插通过边缘方向内插在偶数行和列产生内插的像素，第二内插通过边缘方向内插产生剩余的内插的像素。第一和第二内插仅改变用于参考的原始像素的位置，并使用相同的边缘方向内插来产生内插的像素。

图3是用于解释图1的分辨率转换设备的边缘方向内插单元100的操作的流程图。在图3中，边缘方向内插单元100首先确定内插系数和边缘方向(S400)，并且根据确定的内插系数和边缘方向应用边缘方向内插并计算边缘方向内插值(S405)。在边缘方向内插单元100中应用的边缘方向内插估计总共六个边缘方向，所述六个边缘方向包括在图4A中显示的两个对角线方向和在图4B中显示的四个非对角线方向。

根据由将在稍后描述的过程所确定的边缘方向和内插系数，边缘方向内插单元100使用对角线方向内插Y_EDI-Diag和非对角线方向内插Y_{EDI，-NonDidg}之一来计算边缘方向内插值。

[方程1]

$Y_{\mathrm{EDI}\_\mathrm{Diag}}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_i\×X_i$

$\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\α}}_i=1$

[方程2]

$Y_{\mathrm{EDI}\_\mathrm{Non}\_\mathrm{Diag}}=\underset{i=4}{\overset{11}{\mathrm{\Σ}}}{\mathrm{\α}}_i\×X_i$

$\underset{i=4}{\overset{11}{\mathrm{\Σ}}}{\mathrm{\α}}_i=1$

边缘方向内插单元100使用方程1的对角线方向内插和方程2的非对角线方向内插之一。在方程1和2中，每一个方向内插系数α_i之和变为1。

关于输入图像的每一个像素的RGB信号的亮度信号通过方程3而被获得，用于边缘方向内插的内插系数基于该亮度信号而被确定，并且该确定的内插系数被相等地应用于在相同空间位置的R、G、和B像素。

[方程3]

Lightness＝0.3×R+0.59×G+0.11×B

对角线方向的内插系数通过使用位于对角线方向上的输入图像的原始像素之间的绝对差而被确定。用于确定对角线方向的内插系数的输入像素之间的绝对差值显示在图5A和图5B中，所示箭头指示两个像素之间的绝对差值。在内插系数的确定中，如下在方程4中确定存在于45°和-45°方向上的像素之间的绝对差值之和，通过计算出的Dir₀和Dir₁，最终在具有最小值的方向上估计出边缘方向。

[方程4]

Dir₀＝α+b+c+d+e

＝|P(i-1，j+1)-P(i-3，j-1)|+|P(i-1，j+1)-P(i+1，J+3)|

+|P(i-1，j-1)-P(i+1，j+1)|+|P(i-1，j-3)-P(i+1，j-1)|

+|P(i-1，j-1)-P(i+3，j+1)|

[方程5]

Dir₁＝a′+b′+c′+d′+e′

＝|P(i-3，j+1)-P(i-1，j-1)|+|P(i-1，j-1)-P(i+1，j-3)|

+|P(i-1，j+1)-P(i+1，j-1)|+|P(i-1，j+3)-P(i+1，j+1)|

+|P(i+1，j-1)-P(i+3，j-1)|

如下的方程6至方程8被用于通过Dir₀和Dir₁的大小比较来确定四个对角线方向的内插系数(α₀，α₁，α₂，α₃)。也就是说，如果两个对角线方向的绝对差值之和为0，则其被认为是不具有边缘的平坦像素(plain pixel)，并且如在方程6中所示，所有内插系数的值被确定为0.25。

[方程6]

if Dir₀+Dir₁＝0 α₀＝α₁＝α₂＝α₃＝0.25

如果两个对角线方向的绝对差值之和不是0并且-45°的绝对差值较小，则如在以下方程7中所示通过与45°方向的绝对差值的大小比较来确定内插系数。

[方程7]

if(Dir₀+Dir₁>0 and Dir₁≤Dir₀)

{

  if(2×Dir₀>Dir₁)α₀＝α₃＝0.3，α₁＝α₂＝0.2

  else α₀＝α₃＝0.5，α₁＝α₂＝0.0

}

如果45°方向的绝对差值较小，则如在以下方程8中所示以与-45°方向相同的方式确定内插系数。

[方程8]

if(Dir₀+Dir₁>0 and Dir₁≤Dir₀)

{

  if(2×Dir₁>Dir₀)α₀＝α₃＝0.2，α₁＝α₂＝0.3

  else α₀＝α₃＝0.0，α₁＝α₂＝0.5

}

非对角线方向的内插系数通过应用与对角线方向的内插系数的决定相同的方法使用不同的参考像素位置而被确定。图5C至图5F显示用于非对角线方向的边缘方向决定的像素组。首先，如果四个方向的绝对差值的平均值为0，则认为是平坦区域(plain region)，并且如在以下方程9中所示，八个像素的所有内插系数被确定为0.125。

[方程9]

Avg_Dir＝(Dir₂+Dir₃+Dir₄+Dir₅)/4

if Avg_Dir＝0 α₄＝α₅＝α₆＝α₇＝α₈＝α₉＝α₁₀＝α₁₁＝0.125

同时，为了确定内插系数，仅对于四个非对角线方向Dir2、Dir3、Dir4、和Dir5之中具有最小值的方向上的两个像素将内插系数设置为0.5，其余的都被设置为0。如下的方程10显示在方向Dir2具有最小值的情况下内插系数的决定。

[方程10]

if min{Dir₂，Dir₃，Dir₄，Dir₅}＝Dir₂

α₄＝α₈＝0.5，α₅＝α₆＝α₇＝α₉＝α₁₀＝α₁₁＝0

下面的方程被应用于通过使用用于每一个边缘方向的内插系数决定的绝对差值的最大值、最小值、和平均值来确定在当前内插像素位置即在将被内插的像素处的最终边缘方向内插值，因此，该边缘方向内插值通过使用方程1和方程2的任何一个而被计算。

[方程11]

if(Avg{Dir₂，...，Dir₅}×Min{Dir₀，Dir₁}<Max{Dir₀，Dir₁}×Min{Dir₂，...，Dir₅})

Y_EDI＝Y_EDI-Diag

[方程12]

if(Avg{Dir₂，...，Dir₅}×Min{Dir₀，Dir₁}≥Max{Dir₀，Dir₁}×Min{Dir₂，...，Dir₅})

Y_EDI＝Y_{EDI-Non_Diag}

然后，确定该位置是否位于高空间频率的区域中(S410)。如果不在高空间频率的区域中，则该边缘方向内插值和双三次内插(bi-cubic interplation)值被混合，从而计算最终内插值(S415)。也就是说，在边缘方向内插被使用并且边缘方向显著(dominant)的情况下，通常可获得从边缘去除了锯齿瑕疵的极好的内插结果。在存在比如纹理区域的非显著方向的情况下，对内插结果有不好的影响。因此，对于这样的区域，比如双三次内插的线性内插方法在图像质量方面确实提供了更好的结果。因此，如果一个区域不具有高空间频率，则通过混合最终方向内插值和双三次内插值防止了前述图像质量降低(S410和S415)，所述混合可由方程13表示如下。

[方程13]

R_out＝R_bicubic×(1-fBlend)+fBlend×R_EDI

G_out＝G_biCubic×(1-fBlend)+fBlend×G_EDI

B_out＝B_biCubic×(1-fBlend)+fBlend×B_EDI

在方程13中，fBlend指示确定混合程度的值，具有在0≤fBlend≥1之间的值。通过使用在边缘方向决定步骤中获得的Dir0至Dir5的绝对差值，如果最终边缘方向是对角线方向，则基于方程14来确定fBlend常量，如果最终边缘方向是非对角线方向，则基于方程15来确定fBlend常量。

[方程14]

if Min(Dir₀，Dir₁)×2>Max(Dir₀，Dir₁)     fBlend＝0.25

else if Min(Dir₀，Dir₁)×4>Max(Dir₀，Dir₁)fBlend＝0.5

else                                      fBlend＝1.0

[方程15]

if Min(Dir₂，...Dir₅)×2>Avg(Dir₂，...，Dir₅)       fBlend＝0.25

else if Min(Dir₂，...，Dir₅)×4>Avg(Dir₂，...，Dir₅)fBlend＝0.5

else                                                fBlend＝1.0

也就是说，如果确定最终边缘方向的最小绝对差值之和相对大于指示不同方向的绝对差值之和，则由于该区域具有清楚的边缘方向，所以fBlend值被增加以对于最终内插结果值更多地反映该边缘方向内插值，从而从边缘去除锯齿瑕疵。

这种混合方法对于大多数图像带来了极好的结果，但是，在具有非常高的空间频率的区域中，基于最小绝对差的大多数边缘方向内插在估计边缘方向时具有较高的错误的可能性，并且线性混合本身在防止由边缘方向内插引起的图像质量降低方面具有限制。

可以有一种为了防止这种降低而增加估计的边缘方向的数量的方法。然而，由于边缘间隔变得紧密，从而使用关于周围像素的最小绝对差值的边缘方向估计的精度降低，所以与计算量的增加相比，该影响可被认为是可忽略的。因此，边缘方向内插单元100检测具有高空间频率的区域并在被分类为高频区域的像素的情况下强制地应用4抽头双三次内插结果(fBlend＝0)(S410和S420)。

另外，方差被用于检测高空间频率，但是使用方差具有这样的缺点，即来自方差的信息本身不与人类视觉特性匹配以及方差没有给出关于精确的空间频率的信息。因此，方差的使用降低了检测具有高空间频率的区域的精度，所述具有高空间频率的区域由于边缘方向内插而导致图像质量降低。图6是显示四个块的示图，每一个块具有相同的方差值5625和不同的空间频率。如在图6中所示，这些块可具有相同的方差值和不同的空间频率。为了解决这种问题，边缘方向内插单元100不考虑块的每一个像素，而是基于如下方程16通过使用关于每一个像素的相邻像素的平均值的差来计算方差，并确定该块是否是具有高空间频率的区域。这种平均偏离局部方差的考虑具有精确地表示块中像素值变化的方差的优点。

[方程16]

$P_{\mathrm{mean}}(i,j)=\frac{1}{8}\&times;[P(i-1,j-1)+P(i-1,j)+P(i-1,j-1)+P(i,j-1)+P(i,j+1)+P(i+1,j-1)+P(i+1,j)]$

$V_{\mathrm{ar}}=\frac{1}{N\&times;N}\underset{i=1}{\overset{N-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{[P(i,j)-P_{\mathrm{mean}}(i,j)]}^2$

对于当由人眼感觉或观察时如图6所示具有不同空间分辨率的四个块，方程16分别导致平均偏离局部方差(a)395.5、(b)1186.5、(c)2768.5、和(d)12656.5，因此这些值随着空间分辨率变高而增加。因此，如果该值大于阈值，则认为该块为具有高空间频率的区域，边缘方向内插单元100使用平均偏离局部方差来迫使应用双三次内插，从而防止由具有非常高的空间频率的区域中的边缘方向内插导致的图像质量降低。

如果彻底地完成了第一内插，则边缘方向内插单元100执行第二内插(S425)。关于第二内插，边缘方向内插单元100应用边缘方向内插本身，但不同之处在于，如在图7中所示，参考像素沿顺时针方向旋转45°。

对于在边缘方向内插单元100执行边缘方向内插之后在边缘处使锯齿瑕疵最小化的中间图像，线性滤波单元200执行采样率转换处理以获得具有想要的分辨率的输出图像。图8表示通常的采样率转换处理。首先，通过上采样获得具有多于L次采样的中间转换的图像，然后，通过用于获得具有想要的分辨率的输出图像的下采样处理获得为输入图像采样率的L/M倍的输出采样。用于转换分辨率的采样率转换，即重新采样系统的功能通常由低通滤波器确定，即使存在不同的用于提高采样率转换器的性能的设计FIR滤波器的技术，线性滤波单元200仍使用方便滤波器特性的确定的加窗(windowing)技术，这可由如下方程17表示：

[方程17]

h(n)＝h_d(n)×w(n)

在方程17中，分别地，h(n)表示最终设计的滤波器的脉冲响应，h_d(n)表示理想滤波器的脉冲响应，w(n)表示窗函数。

由于理想滤波器的脉冲响应在时域具有直到±∞的值以致窗滤波器设计方法不能被实际执行，所以乘以有限长度的窗函数以获得理想脉冲响应被切断的有限长度的脉冲响应。由于时域中的乘法在频域中变为卷积，所以将被设计的滤波器的传递函数变为理想低通滤波器的频率响应和窗函数的傅立叶变换值的卷积。通过以上方法获得的最终设计的滤波器的转换带宽由窗函数的傅立叶变换频谱的主瓣宽度确定，通带和阻带的波纹由窗函数的旁瓣的大小确定。即使存在不同的窗函数作为用于加窗方法的窗函数，线性滤波单元200仍使用如下的Kaiser窗，所述Kaiser窗方便旁瓣大小控制。

[方程18]

w[n]＝0，其他

在方程18中，作为滤波器阶(filter order)的M确定参数 $d=\frac{M}{2},$ β指示窗形状，I₀指示修正的零阶Bessel函数。

用于分辨率转换的理想滤波器是具有通带中的平坦响应和高阻带衰减特性的滤波器，是以旁瓣的低幅度抑制图像中环绕瑕疵的出现的滤波器，并具有少量的使得能够实现滤波器的脉冲响应的旁瓣。由于难以设计这种理想滤波器，所以在分辨率转换中可能发生模糊、混叠、和环绕瑕疵作为降低图像质量的瑕疵，滤波器的功能可基于抑制这些图像质量瑕疵分量的程度而被确定。

通常，难以设计能够同时去除所有这些瑕疵分量的FIR滤波器，各瑕疵在它们之间以交替关系发生。例如，如果滤波器的截止频率增加以抑制模糊瑕疵的出现并充分表示图像的详细信息，则出现严重的图像高频分量的混叠瑕疵，导致抗混叠特性的降低。相反，如果滤波器的截止频率降低以提高抗混叠特性，则抗混叠特性提高，但图像的模糊瑕疵增加。因此，对于控制比如环绕、模糊、混叠瑕疵的图像质量降低因素的出现，线性滤波单元200使用自适应滤波器设计方法，所述自适应滤波器设计方法方便根据应用领域和用户喜好的输出图像质量的产生。

已知在设计基于加窗的FIR滤波器中最重要的因素是控制转换带宽和阻带衰减的程度，转换带宽通过调整滤波器长度而被控制，阻带衰减通过控制Kaiser窗的β参数而被调整。通常，滤波器的截止频率在设计LPF滤波器中被固定，滤波器长度随着空间域中的滤波器内核增加旁瓣的数量而增加，如果旁瓣的数量固定，则滤波器长度与截止频率成比例。也就是说，随着截止频率增加，设计的滤波器内核的主瓣带宽减小，随着截止频率降低，滤波器内核的主瓣宽度增加，线性滤波单元200通过控制用于控制低通滤波器的截止频率的max{D，U}×SmoothingAmount和指示滤波器内核中的旁瓣的数量的nLobes来控制转换带宽，从而如以下在方程19中所示转换采样率：

[方程19]

L＝round(Max{D，U}×SmoothingAmount×nLobes-1)×2-1

在方程19中，D和U表示通过将M和L除以抽取因子(decimation factr)M和内插因子L的最大公约数K而获得的值(即，D＝M/K，U＝L/K)，max{D，U}确定滤波器的截止频率。

空间域中的滤波器系数通过如下方程20而被确定，i是在滤波器长度(0-L-1)内使作为理想低通滤波器的sinc函数能够具有与nLobes相同数量的旁瓣的辐角伸缩常量(argument scaling constant)，其通过控制设计的滤波器内核的旁瓣的数量来控制比如环绕的瑕疵的出现。

[方程20]

$h\left[i\right]=\left\{\frac{\sin \left(x\right)}{x}\right\}\&times;\mathrm{kaiser}(1,\mathrm{\&beta;}),i=\mathrm{0,1},...,L-1,x=\frac{i-\frac{L-1}{2}}{\frac{L-1}{2}}\&times;\mathrm{\&pi;}\&times;\mathrm{nLobes}$

这种滤波器设计方法的滤波可通过通常的多相位滤波而被实现，并且该滤波在宽度和长度方向被分开地应用于2D图像和视频图像，以获得最终图像。

图9是显示用于2D图像和视频图像的采样率转换电路的方框图。考虑到计算和硬件复杂性，多相位滤波可被应用于这种滤波。

如上所述，边缘方向内插单元100和线性滤波单元200能够去除作为由于分辨率转换而导致的主要图像质量降低因素的锯齿瑕疵、环绕瑕疵、和混叠瑕疵，但是不能够防止由在分辨率转换之后出现的输入信号的高频带频谱的减少引起的锐度降低。为了解决对于普通观察者的图像质量观察最为重要的锐度降低的问题，亮度瞬时改善(LTI)、细节增强等被用于提高锐度，但混叠和环绕瑕疵等的分量也被提高，从而可能发生很多反而增加图像质量降低的情况。因此，不能将锐度提高到极限程度。为了解决这种问题，必须去除存在于通过分辨率转换技术获得的具有提高的分辨率的图像中的环绕瑕疵分量，由此，通过附加地去除这种环绕瑕疵的残余分量，锐度提高单元300使用能够使锐度提高程度最大化的锐度提高技术。

图10是图1的锐度提高单元300的操作的流程图。在图10中，锐度提高单元300基于重叠的块来驱动锐度提高方法，并在对每个块计算两个代表性颜色之后增加计算出的代表性颜色之间的对比度(S500和S505)。锐度提高单元300基于K-means算法挑选代表性颜色，首先，对于输入RGB信号使用方程3以获得亮度值，并挑选块中具有最大和最小亮度值的像素的RGB值作为初始代表性颜色。锐度提高单元300基于初始代表性颜色来使用块像素信息，应用K-means算法，并更新初始代表性颜色值。通常，最终代表性颜色在通过使用K-means算法更新初始代表性颜色值的处理中通过重复计算而被获得，但是为了实现硬件，重复计算的次数可被限制为一次。

图11显示由于更新代表性颜色的重复计算限制而导致的块中实际边缘分量和估计边缘分量之间的误差。由于初始代表性颜色由最大和最小亮度值确定，所以可以认为两个估计出的代表性颜色指示包括块中边缘分量的两个颜色分量。如在图11中所示，由于K-means算法的重复计算被限制为一次而导致在实际边缘分量和估计边缘分量之间出现误差，为了补偿该误差，通过增加两个代表性颜色之间的对比度来解决重复计算限制条件的问题。

在增加代表性颜色之间的对比度之后，对于块中所有输入像素基于两个最接近的代表性颜色来改变输入像素值，并且环绕分量被去除(S510)。在通过基于简单的非锐化掩模(unsharp masking)的高频分量提高块以对于从其去除了环绕分量的块数据提高锐度之后，获得最终图像(S515)。

图12表示在二维平面上的两个代表性颜色之间的对比度增加。图12中的两个点指示通过K-means算法估计出的两个代表性颜色，围住代表性颜色的大椭圆指示块数据的颜色分布。这两个代表性颜色的对比度增加方向以箭头指示，以逼近实际边缘分量的代表性颜色，圆指示为防止对比度的过分增加而建立的区域。在提高代表性颜色的对比度的处理中，对于一个代表性颜色通过使用与块的输入像素不同的其他代表性颜色之间的距离和点积(dotproduct)来更新代表性颜色。

图13描述代表性颜色之间的对比度增加方法。在图13中，Rep_Color0和Rep_Color1指示两个代表性颜色，Pixel_i和Pixel_k指示预定块中的颜色。关于Pixel_i，如下的方程21和22解释用于更新初始代表性颜色的输入颜色的选择。

[方程21]

Dist＝(R_rep0-R_i)²+(G_rep0-G_i)²+(B_rep0-B_i)²

[方程22]

$\mathrm{Dot\; Product}=\stackrel{\&RightArrow;}{A}\&CenterDot;\stackrel{\&RightArrow;}{B}$

$=(R_i-R_{\mathrm{rep}0})\&times;(R_{\mathrm{rep}1}-R_{\mathrm{rep}0})+(G_i-G_{\mathrm{rep}0})\&times;(G_{\mathrm{rep}1}-G_{\mathrm{rep}0})+(B_i-B_{\mathrm{rep}0})\&times;(B_{\mathrm{rep}1}-B_{\mathrm{rep}0})$

方程21指示输入颜色Pixel_i和代表性颜色Rep_Color0之间的距离，方程22指示由两个代表性颜色和该输入颜色形成的两个矢量

之间的点积。如果该输入颜色位于用于防止过分的对比度增加的区域中或者该点积为负数，则挑选用于更新代表性颜色的候选颜色，并且使用这些候选颜色来更新代表性颜色。

[方程23]

如果Dist<Limit_Dist & & Dot_Product<0则使用颜色更新

否则跳过

用于防止过分的对比度增加的Limit Dist值由如下方程24定义：

[方程24]

Limit-Dist＝|(R_rep0-R_rep1)²+(G_rep0-G_rep1)²+(B_rep0-B_rep1)²|>>4

在通过关于块中所有像素对两个代表性颜色应用以上计算来确定候选像素之后，应用K-means算法来获得更新的代表性颜色。在具有提高的对比度的最终代表性颜色的计算之后，块中像素的接近度通过邻近代表性颜色而被测量并被自适应地转变，从而环绕瑕疵被去除。如果输入颜色位于两个代表性颜色的中间，则该输入值本身在没有颜色转变的情况下被输出，随着该输入颜色更接近邻近的代表性颜色或者块中的边缘分量更强，颜色转变的程度增加。为了通过使用代表性颜色来转变颜色，必须测量边缘强度以及两个代表性颜色和当前输入颜色之间的接近度，确定边缘强度的方法如下：

[方程25]

$\mathrm{Rep}-\mathrm{Dist}=\sqrt{{(R_{\mathrm{rep}0}-R_{\mathrm{rep}1})}^2+{(G_{\mathrm{rep}0}-G_{\mathrm{rep}1})}^2+{(B_{\mathrm{rep}0}-B_{\mathrm{rep}1})}^2}$

[方程26]

Dist＝|R_i-R_rep-i|+|G_i-G_rep-i|+|B_i-B_rep-i|

方程25指示代表性颜色之间的距离，方程26指示包含输入像素和通过应用K-means算法确定的当前输入像素的代表性颜色之间的距离，当前输入块的最终边缘分量的强度通过使用伪码和方程27而被获得。

for i:i＝＝BlockHeight:i++

for j:j＝＝BlockWight:j++

Dist＝|R_i，j-R_rep-i，j|+|G_i，j-G_rep-i，j|+|B_i，j-B_rep-i，j|

if(Dist×4>Rep_Dist)TotalDiat+＝Dist

[方程27]

Edge-Measure＝TotalDist×k

为了获得两个代表性颜色中与当前输入颜色接近的颜色，如下计算每一个代表性颜色和当前输入颜色之间的距离。Dist0指示通过应用K-means算法确定的当前输入像素和代表性颜色之间的距离，Dist1指示其他代表性颜色之间的距离。

[方程28]

Dist0＝(R_i-R_rep0)²+(G_i-G_rep0)²+(B_i-B_rep0)²

[方程29]

Dist1＝(R_i-R_rep1)²+(G_i-G_rep1)²+(B_i-B_rep1)²

使用两个代表性颜色和当前输入颜色之间的距离的最终接近度如下表示在方程30中：

[方程30]

$\mathrm{Proximity}=\frac{\mathrm{Dist}0}{\mathrm{Dist}1}$

在方程30中，指示接近程度的接近度被限制为具有在0～1之间的值，该值随着更加接近当前输入像素的代表性颜色而降低。最终颜色转变的程度随着块中的边缘强度增加或者与邻近颜色的距离变小而增加，这可基于如下方程31而被获得：

[方程31]

R_i-mod+＝(1-Proximity)×Edge-Measure×(R_i-R_rep-1)

G_i-mod+＝(1-Proximity)×Edge-Meaure×(G_i-G_rep-1)

B_i-mod+＝(1-Proximity)×Edge-Meaure×(B_i-B_rep-1)

图14描述在锐度提高单元300中处理的最终图像。在图14中，分辨率转换的输入图像可能具有残余环绕瑕疵，如果对于该输入图像通过后处理方法应用细节增强，则环绕分量也被提高，从而图像质量可能降低。由于锐度提高单元300在块中获得两个代表性颜色并关于这些代表性颜色移动该块的像素值，所以锐度提高单元300在执行类似于LTI或CTI的功能的同时去除环绕分量。如上，简单的非锐化掩模技术被应用于关于代表性颜色的已去除环绕分量的块以提高锐度，从而可获得最终输出图像，所述最终输出图像具有提高的锐度和最小化的对环绕瑕疵等的强调。

同时，由于这种锐度提高方法是基于块的计算，所以在每一个被独立处理的块按原样输出的情况下，在比如JPEG和MPEG的基于块的压缩方法中出现的在块之间的边界处的不连续性问题可能发生。为了解决这种问题，锐度提高单元300基于重叠的块结构工作，并通过使用Hanning窗来去除可能在处理的块的边界发生的不连续性。也就是说，输入图像被重叠整个块大小的一半以构造块(例如，在输入块的大小为8×8的情况下，输入块被与邻近块重叠4个像素)，并且通过使用Hanning窗使得每一个被独立处理的块能够在邻近块之间的边界被平滑地转变，从而去除不连续性。

图15是在两个邻近块之间的边界处使用Harnning窗的平滑转变的概念示图。在图15中，二维Hanning窗与每一个被独立处理的块数据相乘，(图14是用于一维形式的描述)乘以窗系数的块数据彼此相加以获得最终块数据。与每一个块相乘的窗函数以这样的形式分布，即在一侧具有块边界方向并且在另一侧从该块边界方向渐现，在重叠的块边界部分的两个窗函数系数之和始终为1，从而可实现没有失真的平滑转变。

如前所述，本发明能够解决作为当使用传统的分辨率转换时可能发生的图像质量降低因素的锯齿瑕疵、环绕瑕疵、锐度降低等问题。另外，在线性滤波单元中使用的FIR滤波器设计技术具有这样的优点，即通过根据应用领域或用户喜好改变空间域中的滤波器设计参数来方便滤波器设计。边缘方向内插滤波器简化边缘方向估计，通过输入图像的分类自适应地混合存在于通常的非线性滤波器中的混叠特性降低的问题和4抽头双三次内插(4-tabbi-cubic interpolation)结果，从而提高抗混叠特性并使在边缘处的锯齿瑕疵最小化。特别地，锐度提高单元有效地去除分辨率转换的图像中的残余环绕瑕疵，从而通过应用简单的非锐化掩模来有效地提高分辨率转换的图像的锐度，并替代独立使用的传统细节增强方法。

虽然已表示和描述了本发明的一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (21)

1、一种分辨率转换方法，包括：

将边缘方向内插应用于输入图像并产生中间图像；和

关于中间图像转换采样率并产生具有预定分辨率的输出图像，

其中，所述边缘方向内插包括步骤：

使用输入图像的像素的绝对差来估计边缘方向；

基于与估计出的边缘方向对应的位置的像素值自适应地确定内插系数；

使用该边缘方向和该内插系数并计算边缘方向内插值；和

自适应地混合该边缘方向内插值和预定线性内插方法的内插值，并计算最终内插值。

2、如权利要求1所述的分辨率转换方法，其中，所述边缘方向关于两个对角线方向和四个非对角线方向而被估计。

3、如权利要求1所述的分辨率转换方法，其中，所述预定线性内插方法是双三次内插方法。

4、如权利要求1所述的分辨率转换方法，还包括：

确定内插区域是否具有高空间频率，如果该区域具有高空间频率，则使用所述预定线性内插方法的内插值来计算最终内插值。

5、如权利要求4所述的分辨率转换方法，其中，通过使用该内插区域中的平均偏离局部方差确定该区域是否具有高空间频率。

6、如权利要求1所述的分辨率转换方法，其中，计算输出图像的步骤包括：

将根据输入图像的分辨率和预定分辨率计算出的上采样和下采样之比与设置的旁瓣的数量相乘，并计算滤波器抽头的数量；

将窗函数乘以sinc函数并通过滤波器抽头的数量计算一阶滤波器系数；

在一阶滤波器系数中使用通过将高斯函数和窗函数相乘而获得的值，并计算最终滤波器系数；和

转换中间图像的采样率，根据该最终滤波器系数在水平和垂直方向执行滤波，并计算预定分辨率的输出图像。

7、如权利要求6所述的分辨率转换方法，其中，滤波器抽头的数量基于下面方程而被计算：

L＝round(Max{D，U}×SmoothingAmount×nLobes-1)×2-1

其中，L指示滤波器长度，nLobes指示旁瓣的数量，U和D指示优化的上采样与下采样之比，SmoothingAmount指示改变滤波器截止频率的常量。

8、如权利要求6所述的分辨率转换方法，其中，一阶滤波器系数基于下面方程而被计算：

$h\left[i\right]=\left\{\frac{\sin \left(x\right)}{x}\right\}\&times;\mathrm{kaiser}(1,\mathrm{\&beta;}),i=\mathrm{0,1},...,L-1,x=\frac{i-\frac{L-1}{2}}{\frac{L-1}{2}}\&times;\mathrm{\&pi;}\&times;\mathrm{Lobes}$

其中，表示理想低频带通函数，Kaiser(1，β)是Kaiser窗函数，Lobes指示旁瓣的数量。

9、如权利要求1所述的分辨率转换方法，还包括：

提高产生的输出图像的锐度。

10、如权利要求9所述的分辨率转换方法，其中，提高锐度的步骤包括：

在预定大小的重叠的块中挑选两个代表性颜色；

增加挑选的代表性颜色之间的对比度；

将存在于边缘区域中的像素值转变为两个对比度增加的代表性颜色的接近的代表性颜色；和

通过使用hanning窗将重叠的块的结果值相加并计算最终像素值，以去除块不连续性。

11、如权利要求10所述的分辨率转换方法，其中，所述代表性颜色的对比度通过输入像素和所述两个代表性颜色之间的距离和点积而被自适应地增加。

12、如权利要求10所述的分辨率转换方法，其中，所述两个代表性颜色通过K-means算法而被挑选。

13、一种分辨率转换设备，包括：

边缘方向内插单元，用于将边缘方向内插应用于输入图像并计算中间图像；和

线性滤波单元，用于关于中间图像转换采样率并计算具有预定分辨率的输出图像，

其中，所述边缘方向内插单元使用输入图像的像素的绝对差来估计边缘方向，基于与估计出的边缘方向对应的位置的像素值自适应地确定内插系数，使用该边缘方向和该内插系数，计算边缘方向内插值，自适应地混合该边缘方向内插值和预定线性内插方法的内插值，并计算最终内插值。

14、如权利要求13所述的分辨率转换设备，其中，所述边缘方向关于两个对角线方向和四个非对角线方向而被估计。

15、如权利要求13所述的分辨率转换设备，其中，所述预定线性内插方法是双三次内插方法。

16、如权利要求13所述的分辨率转换设备，其中，如果内插区域具有高空间频率，则所述边缘方向内插单元使用所述预定线性内插方法的内插值来计算最终内插值。

17、如权利要求16所述的分辨率转换设备，其中，通过使用该内插区域中的平均偏离局部方差来确定该区域是否具有高空间频率。

18、如权利要求13所述的分辨率转换设备，还包括：

锐度提高单元，用于提高计算出的输出图像的锐度。

19、如权利要求18所述的分辨率转换设备，其中，所述锐度提高单元在预定大小的重叠的块中挑选两个代表性颜色，增加挑选的代表性颜色之间的对比度，将存在于边缘区域中的像素值转变为两个对比度增加的代表性颜色的接近的代表性颜色，通过使用hanning窗将该重叠的块的结果值相加，并计算最终像素值，以去除块不连续性。

20、如权利要求19所述的分辨率转换设备，其中，所述代表性颜色的对比度通过输入像素和所述两个代表性颜色之间的距离和点积而被自适应地增加。

21、如权利要求19所述的分辨率转换设备，其中，所述两个代表性颜色通过K-means算法而被挑选。

Images