CN1689322A - 图像转换单元和方法 - Google Patents

Abstract

一种图像转换单元(200)，用于将具有第一分辨率的第一输入图像转换为具有第二分辨率的输出图像，所述图像转换单元包括系数确定装置(106)，用于根据所述第一输入图像的像素值确定第一滤波器系数。所述系数确定装置(106)被设置用于控制自适应滤波装置(104)，该自适应滤波装置(104)用于根据第一图像的输入像素值和第一滤波器系数计算输出图像的像素值。所述自适应滤波装置(104)设置成进行非线性操作。

Description

图像转换单元和方法

技术领域

本发明涉及一种图像转换单元，用于将具有第一分辨率的第一图像转换为具有第二分辨率的第二图像，所述图像转换单元包括：

-系数确定装置，用于根据所述第一图像的像素值确定第一滤波器系数；

-自适应滤波装置，用于根据第一图像的像素值中的第一像素值和第一滤波器系数计算所述第二图像的第二像素值。

本发明还涉及一种方法，用于将具有第一分辨率的第一图像转换为具有第二分辨率的第二图像，所述图像转换方法包括：

-根据所述第一图像的像素值确定第一滤波器系数的步骤；

-根据所述第一图像的像素值中的第一像素值和所述第一滤波器系数计算第二图像的第二像素值的步骤。

本发明还涉及一种图像处理设备，其中包括：

-用于接收与所述第一图像相对应的信号的接收装置；和

-前面提到的图像转换单元，用于将所述第一图像转换为第二图像。

背景技术

高清晰电视的出现突出了对于空间上变换技术的需要，该空间上变换技术使得标准清晰度(SD)影像素材能够在高清晰度(HD)电视(TV)中进行高清晰显示。传统的技术是诸如双线性内插法和使用低通内插滤波器的方法之类的线性内插方法。由于前一种方法质量低，所以在电视应用领域并不常用，但是后一种方法可以在商业上可得到的IC中实现。使用线性方法，帧中的像素数量增加了，但是频谱中的高频部分并没有得到扩展，即可觉察的图像清晰度并没有得到提高。换句话说，显示的能力并没有完全发掘出来。

除了所述传统的线性技术，已经提出了大量的非线性算法来完成这种上变换技术。有时这些技术被称为基于内容的或依赖边缘的空间上变换技术。其中的一些技术已经可以在消费者电子市场中得到了。

从Xin Li等人发表的文章“New Edge-directed Interpolation(新边缘引导内插法)”(IEEE图像处理会报(IEEE Transactions onImage Processing)，第10期，第10卷，2001年10月，第1521-1527页)中，可以了解到本文起始段落中所介绍的那种类型的图像转换单元的一种实施方式。在这种图像转换单元中，内插上变换滤波器的滤波器系数适应于本地图像内容。所述内插上变换滤波器孔径使用如等式1所规定的四阶内插算法：

$F_{\mathrm{HD}}(2(i+1),2(j+1))=\underset{k=1}{\overset{1}{\mathrm{\Σ}}}\underset{l=0}{\overset{1}{\mathrm{\Σ}}}{w}_{2k+l}{F}_{\mathrm{SD}}(2i+2k,2j+2l)---\left(1\right)$

其中，FHD(i，j)表示HD输出像素的亮度值，FSD(i，j)是输入像素的亮度值，而w1是滤波器系数。所述滤波器系数使用最小均方(LMS)优化过程由较大的孔径得到的。在所引用的文章中解释了所述滤波器系数是如何计算的。结合附图1A和附图1B，对现有技术的方法也进行了解释说明。所述方法的目的是沿着边缘而不是跨越边缘进行内插，以防止图像模糊。文章的作者提出了边缘方位不会随着比例的变化而变化的合理假设。所以，所述系数可以通过使用LMS方法在本地窗口中由SD输入图像逼近。

尽管按照所引用的现有技术的“新边缘引导内插法”在许多图像部分表现相对较好，但是在输出图像的一些部分中存在与它们直接相邻部分的像素值相比相对较高或相对较低的像素值，即这些像素值可以认为是非正常值。

发明内容

本发明的一个目的是提供一种本文起始段落中所提到的那种类型的图像转换单元，该图像转换单元相对较为强健。

本发明的这个目的之所以得以实现是在于，将所述自适应滤波构件设置为用于进行非线性操作。这意味着所述自适应滤波装置不能完全满足等式2和等式3所规定的线性滤波器G的要求。

αG(A)＝G(αA)                                  (2)

G(A)+G(B)＝G(A+B)                               (3)

其中A和B是输入值，α是常数。

非线性操作的优点是，在选择滤波器系数的过程中引入了更多的自由度，而不会有输出像素的结果像素值为非正常值的风险。换句话说，所述转换单元的强健度得到了提高。

一般来说，SD输入图像具有按照CCIR-601中所规定的像素矩阵，例如625×720像素或525×720像素。而HD输出图像所具有的像素矩阵在水平方向和垂直方向的像素数量都比SD的高出两倍或一倍半。

使用像素值表示亮度或颜色值。

依照按本发明的一种实施方式，所述非线性操作包括在所述像素值中的所述第一像素值基础上剪辑(clip)一个中间值。例如一个HD输出像素值是在紧临的SD像素中或者取决于其相邻部分内的像素值动态范围的一个更大范围的像素中的最暗的像素值(即最低亮度值)和最亮的像素值(即最高亮度值)之间剪辑的。剪辑的一个优点是它相对来说易于实施。

依照按本发明的另外一种实施方式，所述自适应滤波装置包括一个顺序统计滤波器。这一滤波器可以是一个差顺序统计滤波器。作为一个顺序统计滤波器的一个例子就是一个中值滤波器。

依照按本发明的另外一种实施方式，所述系数确定装置包括一个用于将由像素值中的所述第一像素值的一个相邻部分中的像素值而获得的数据转换为所述第一滤波器系数的转换装置，所述转换装置是在训练处理的基础上而设计的。这一实施方式的一个优点是滤波器系数的确定仅需要使用相对较低的计算资源。而所述转换装置更是包括了一个查询表(LUT)。在一个上变换单元的情况中，一种应用一个LUT来确定滤波器系数的途径在一篇名为“Towards an overview ofspatial up-conversion techniques(对空间上变换技术的一个概述)”的文章中进行了揭示，该篇文章是由Meng Zhao等人发表在2002年9月23日至26日于德国厄尔伏特市的SCE 2002会议汇编中。

在根据本发明所涉及的所述图像转换单元的一种实施方式中，所述系数计算装置被设置成用于通过一种优化算法来计算第一滤波器系数。而所述优化算法最好是最小均方(LMS)算法。LMS算法相对简单和强健。

本发明的另一个目的是提供一种在本文起始段落中所提到的那种类型的相对强健的方法。

本发明的这一个目的是通过在计算第二像素值的步骤中包括非线性操作来实现的。

本发明的另一个目的是提供一种本文起始段落中提到的图像处理设备，该设备的图像转换单元相对强健。

本发明的这一个目的之所以得到实现是在于，将所述图像处理设备中的自适应滤波装置设置为用于进行非线性操作。所述图像处理设备可选地包括用于显示所述第二图像的显示装置。所述图像处理设备可以是电视机、机顶盒、VCR(录像机)播放器或者DVD(数字通用盘)播放器。

图像转换单元的修改方案及其变形方案与所介绍的方法和图像处理设备的修改方案及其变形方案相对应。

附图说明

通过下文中介绍的实现方式和实施方式，并且参照附图，按照本发明的图像转换单元、方法和图像处理设备的这些和其它方面将会变得显而易见，并且将会针对下文中介绍的实现方式和实施方式，同时参照附图，对按照本发明的图像转换单元、方法和图像处理设备的这些和其它方面加以解释说明，其中：

附图1A示意性地表示按照现有技术的图像转换单元的一种实施方式；

附图1B示意性地表示多个像素，用以解释按照现有技术的方法；

附图1C示意性地表示按照现有技术的图像转换单元的另一种可选

实施方式；

附图2示意性地表示按照本发明的图像转换单元的一种实施方式；

附图3A示意性地表示SD输入图像；

附图3B示意性地表示为了增大分辨率而对附图3A所示的SD的输入图像添加像素；

附图3C示意性地表示将附图3B所示的图像旋转了45度之后的情况；

附图3D示意性地表示由附图3A的SD输入图像得出的HD输出图像；和

附图4示意性地表示按照本发明的图像处理设备的一种实施方式。

在全部附图中，相同的附图标记用来表示了相似的部分。

具体实施方式

附图1A示意性地表示按照现有技术的图像转换单元100的一种实施方式。在输入连接器108处为所述图像转换单元100提供标准清晰度(SD)图像，并且该图像转换单元100在输出连接器110处给出高清晰度(HD)图像。所述图像转换单元100包括：

-像素获取单元102，该获取单元设置成用于获取在与HD输出像素位置相对应的SD输入图像中的第一图像内的特定位置上的第一相邻部分中的像素1-4(见附图1B)的第一组像素值，并且设置成用于获取在SD输入图像的第一图像内的特定位置上的第二相邻部分中的像素1-16的第二组像素值；

-滤波器系数确定单元106，该系数确定单元设置成用于在所述第一组像素值和所述第二组像素值的基础上计算滤波器系数。换句话说，所述滤波器系数是由本地窗口内的SD输入图像逼近的。这一计算是通过使用最小均方(LMS)法完成的，这一方法将结合附图1B进行解释。

-自适应滤波单元104，用于根据所述第一组像素值以及等式1所确定的所述滤波器系数计算HD输出像素的像素值。所以所述滤波器系数确定单元106设置成对自适应滤波单元104进行控制。

附图1B示意性地表示SD输入图像的多个像素1-16和HD输出图像的一个HD像素，以解释说明按照现有技术的方法。将所述HD输出像素内插为像素1-4的4个像素值的加权平均值。这意味着所述HD输出像素FHD的亮度值的结果是它的4个SD相邻像素的亮度值的加权和：

FHD＝w₁F_SD(1)+w₂F_SD(2)+w₃F_SD(3)+w₄F_SD(4)，         (4)

其中F_SD(1)至F_SD(4)是所述4个SD输入像素1-4的像素值，w₁至w₄是要通过LMS方法计算的滤波器系数。介绍了现有方法的参考文章的作者做出了明智的假设：边缘取向不会随着比例的变化而变化。这种假设的结果是，对于标准分辨率点阵，最优滤波器系数与那些通过内插所得到的滤波器系数相同：

-像素1来自于5，7，11和4(这意味着像素1能够从其相邻的4个像素导出)

-像素2来自于6，8，3和12

-像素3来自于9，2，13和15

-像素4来自于1，10，14和16

这就提供了4个为一组的线性等式，通过这些等式，利用所述LMS优化算法，就得到了对HD输出像素进行内插的最佳的4个滤波器系数。

对于SD点阵，用M表示用于计算4个加权值的像素组，而优化算法中像素组M的均方差(MSE)可以写做原始SD像素F_SD与经内插的SD像素F_SI之间的差方和：

$\mathrm{MSE}=\underset{F_{\mathrm{SD}(i,j)\∈M}}{\mathrm{\Σ}}{(F_{\mathrm{SD}}(2i+\mathrm{2,2}j+2)-F_{\mathrm{SI}}(2i+\mathrm{2,2}j+2))}^2---\left(5\right)$

该式的矩阵表述为：

$\mathrm{MSE}={\left|\right|\stackrel{\→}{y}-\stackrel{\→}{w}C\left|\right|}^2---\left(6\right)$

这里的

包含M中的SD像素(像素F_SD(1，1)至F_SD(1，4)，F_SD(2，1)至F_SD(2，4)，F_SD(3，1)至F_SD(3，4)，F_SD(4，1)至F_SD(4，4))，并且C是一个4×M²矩阵，其第k行包含

中的第k个SD像素的4个对角相邻SD像素。每一行的加权和表示如等式5中所使用的像素F_SI。为了找出最小MSE，即LMS，计算MSE关于

的导数：

$\frac{\∂\left(\mathrm{MSE}\right)}{\∂\stackrel{\→}{w}}=0---\left(7\right)$

$-2\stackrel{\→}{y}C+2\stackrel{\→}{w}{C}^2=0---\left(8\right)$

$\stackrel{\→}{w}={\left(C^{T}C\right)}^{-1}\left(C^T\stackrel{\→}{y}\right)---\left(9\right)$

通过求解等式7就可以得到所述滤波器系数，并且通过使用等式4，能够计算出所述HD输出像素的像素值。

在这个例子中，使用了4×4像素的窗口来进行滤波器系数的计算。对更大的窗口(例如用8×8代替4×4)进行LMS优化会给出更好的结果。

附图1C示意性地表示按照现有技术的图像转换单元101的另外一种实施方式。所述滤波器系数确定单元106包括压缩单元107和含有在训练处理期间导出的数据的LUT 109。压缩方案基于检测在滑动窗口中哪些像素高于该窗口中的像素的平均亮度值和该窗口中的哪些像素低于该窗口中的像素的平均亮度值。该结果对于所述滑动窗口的每一个位置将导致出现一种零(像素值低于平均亮度值)和一(像素值高于平均亮度值)的图案。这一图案对应于于所述LUT 109的一个条目。对于所述给定的输入，在所述LUT 109的各输出端上，会提供适当的滤波器系数。在由Meng Zhao等人在2002年9月23日至26日于德国厄尔伏特市召开的ISCE 2002会议上发表的名为《纵览空间上变换技术(Towards an overview of spatial up-conversiontechniques)》的文章中，对现有技术的图像转换单元101的实施方式进行了进一步的解释说明。

附图2示意性地表示按照本发明的图像转换单元200的一种实施方式。这一图像转换单元200基本上包括了与分别结合附图1A以及附图1C所介绍的图像转换单元100和101相同类型的组成部分。区别在于，自适应滤波单元104设置成用于进行非线性操作。根据需要，所述系数确定单元106设置为用于在考虑到所述自适应滤波单元是设置成用于进行非线性操作的情况下而确定滤波器系数的。这意味着对于确定所述滤波器系数来说，有了额外的约束条件。

下面将借助几个实例来说明不同类型的非线性操作。在这些实例中F_SD(i)相当于SD输入像素的像素值，w₁相当于非标准化滤波器系数，F_HD是HD输出像素的像素值。

在线性内插的情况下，所述HD输出像素的像素值能够借助等式4计算出来。对于非标准化滤波器系数，这一等式能够改写成等式10：

$F_{\mathrm{HD}}=\frac{W_1{F}_{\mathrm{SD}}\left(1\right)+W_2{F}_{\mathrm{SD}}\left(2\right)+W_3{F}_{\mathrm{SD}}\left(3\right)+W_4{F}_{\mathrm{SD}}\left(4\right)}{W_1+W_2+W_3+W_4}---\left(10\right)$

在表1中，针对按照等式10的F_SD(i)、W₁和F_HD给出了一些实例。

表1：线性内插：

F_SD(1)  W₁   F_SD(2) W₂  F_SD(3)  W₃  F_SD(4)  W₄   F_HD

10       1     15      1    8         1    11       1     11

10       3     15      2    8         1    11       4     11.2

10       1     15      1    8         -1   11       -2    5

10       1     15      3    8         -2   11       1     16.667

按照本发明一种实施方式，所述自适应滤波单元104设置成用于根据对哪个HD进行内插，在所述SD输入像素值之间剪辑所述HD输出像素的像素值的。表2给出了从表1导出的一些实例。将表2中的第4行与表1中的第4行进行比较，可以看出将HD输出像素值剪辑为最低值，即SD输入像素值10，15，8，11中的8。将表2中的第5行与表1中的第5行进行比较，可以看出将HD输出像素值剪辑为所述SD输入像素值10，15，8，11中的最高值15。

表2：使用剪辑的线性内插

F_SD(1)  W₁   F_SD(2) W₂   F_SD(3) W₃   F_SD(4) W₄   F_HD

10       1     15      1     8        1     11      1     11

10       3     15      2     8        1     11      4     11.2

10       1     15      1     8        -1    11      -2    8

10       1     15      3     8        -2    11      1     15

按照本发明的另外一种实施方式，所述自适应滤波单元104设置成用于确定加权中间值作为输出像素值。在表3中列出了输入值和输出值。

表3：加权中间值

F_SD(1)  W₁  F_SD(2)  W₂  F_SD(3)  W₃  F_SD(4)  W₄  F_HD

10       4    15       3    8         5    11       1    10

在这种情况下，所述加权中间值是通过在所述像素值和相应的滤波器系数的基础上建立一组值S来确定的。例如，像素值等于10的第一像素的滤波器系数是4。于是这一像素值在所述组S中出现4次。像素值15在所述组S中出现3次。所述加权中间值是通过对组S中的元素进行排序，然后提取排序后的组中的中间元素来确定的。即

S＝{8，8，8，8，8，10，10，10，10，11，15，15，15}，而F_SD＝10

所述像素获取单元102，所述滤波器系数确定单元106以及所述自适应滤波单元104可以通过使用一个处理器来实现其功能。通常，这些功能是在软件程序产品的控制下执行的。在执行过程中，通常要将所述软件程序产品装载到一个存储器中，比如随机存储器RAM，并且从此处执行。该程序也可以从后台存储器中载入，如ROM设备、硬盘或者磁性和/或光学存储介质，或者可以通过像因特网这样的网络载入。可选地，专用集成电路也可以提供所公开的功能。

为了将SD输入图像转换成HD输出图像，需要多个处理步骤。借助附图3A至3D对这些处理步骤加以解释说明。附图3A示意性地表示SD输入图像；附图3D示意性地表示由附图3A的SD输入图像得出的HD输出图像，而附图3B和3C示意性地表示中间结果。

-附图3A示意性地表示SD输入图像。每个X标记相当于一个相应的像素。

-附图3B示意性地表示为了增大分辨率而对附图3A中的SD输入图像添加像素。所述加入的像素用+标记来表示。这些所加入的像素是借助对相应的对角相邻像素进行内插计算出来的。用于内插的滤波器系数是按照结合附图2B所介绍的方式确定的。

-附图3C示意性地表示附图3B中的图像在旋转了45度之后的情形。与用于在附图3A的基础上计算附图3B中示的图像的图像转换单元200相同的图像转换单元200也能够用于在附图3B中所示图像的基础上计算附图3D中所示的图像。也就是说，新的像素值是通过对相应的对角相邻像素进行内插计算出来的。可以注意到，这些对角相邻像素的第一部分(用X标记表示)与所述SD输入图像最初的像素值相对应，而这些对角相邻像素的第二部分(用+标记表示)则与已经通过内插从所述SD输入图像的原始像素值导出的像素值相对应。

-附图3D示意性地表示最后的HD输出图像。在最后的转换步骤中加入的像素用0标记来表示。

附图4示意性地表示按照本发明的图像处理设备400的一种实施方式，其中包括：

-接收装置402，用来接收代表SD图像的信号。该信号可以是通过天线或者电缆接收到的广播信号，不过也可以是来自诸如VCR(录像机)或数字通用盘(DVD)这样的存储装置的信号。该信号在输入连接器408处提供；

-结合附图2B中所介绍的图像转换单元404；和

-显示装置406，用于显示所述图像转换单元200的HD输出图像。所述显示装置406是选装的。

所述图像处理设备400可以是，例如，TV。另外，所述图像处理设备400可以不包括选装的显示装置，而是将HD图像提供给包括显示装置406的设备。于是所述图像处理设备400可以是机顶盒、卫星调谐器、VCR播放器或DVD播放机。但它也可以是由电影制片厂或广播台采用的系统。

应当注意的是，上述的实施方式是用于说明而非限定本发明，并且本领域的技术人员能够设计出很多可供选择的不同的实施方案，而不会超出所附权利要求书的范围。在权利要求书中，置于括号中的任何附图标记都不应理解为是对权利要求的限定。词“包括”并不排除存在权利要求中未列出的装置或步骤的情况。置于一个元件之前的词“一个”或“一”并不排除存在多个此种元件的情况。本发明能够通过包含有多种不同元件的硬件设备以及通过具有合适程序的计算机来实施和完成。在单元权利要求中所列举的多种构件中，其中所述构件的数个能够通过同一硬件单位来具体实现。

Claims (12)

1.一种图像转换单元，用于将具有第一分辨率的第一图像转换为具有第二分辨率的第二图像，所述图像转换单元包括：

-系数确定装置，用于根据所述第一图像的像素值确定第一滤波器系数；

-自适应滤波装置，用于根据第一图像的像素值中的第一像素值和第一滤波器系数计算第二图像的第二像素值，其特征在于所述自适应滤波装置设置成用于进行非线性操作。

2.按照权利要求1所述的图像转换单元，其特征在于所述非线性操作包括根据像素值中的所述第一像素值剪辑一个中间值。

3.按照权利要求1所述的图像转换单元，其特征在于所述自适应滤波装置包括一个顺序统计滤波器。

4.按照权利要求3所述的图像转换单元，其特征在于所述顺序统计滤波器是差顺序统计滤波器。

5.按照权利要求3所述的图像转换单元，其特征在于所述顺序统计滤波器是中值滤波器。

6.按照权利要求1所述的图像转换单元，其特征在于所述系数确定装置包括一个转化装置，用于将由像素值中的所述第一像素值的相邻部分中的像素值得出的数据转化为第一滤波器系数，所述转化装置被设计为以训练处理为基础。

7.按照权利要求6所述的图像转换单元，其特征在于所述转化装置包括查询表。

8.按照权利要求1所述的图像转换单元，其特征在于所述系数计算装置设置成借助优化算法来计算第一滤波器系数。

9.一种用于将第一图像序列转换为第二图像序列的方法，所述第一图像序列包括具有第一分辨率的第一图像和具有所述第一分辨率的第二图像，所述第二图像序列包括具有第二分辨率的第三图像，所述方法包括：

-根据所述第一图像的像素值确定第一滤波器系数的步骤；

-根据所述第一图像的像素值中的第一像素值和所述第一滤波器系数计算所述第二图像的第二像素值的步骤，其特征在于所述计算第二像素值的步骤包括非线性操作。

10.一种图像处理设备，包括：

-接收装置，用于接收与第一图像相对应的信号；和

-按照权利要求1所述图像转换单元，用于将所述第一图像转换为一个第二图像。

11.按照权利要求10所述的图像处理设备，其特征在于还包括用于显示所述第二图像的显示装置(406)。

12.按照权利要求11所述的图像处理设备，其特征在于所述图像处理设备是电视机。

Images