CN1806439A - 空间信号变换 - Google Patents

Abstract

公开了用于把包括输入样本的第一输入信号(U)变换成包括输出样本的输出信号的空间滤波器单元(200)。该空间滤波器单元(200)包括：用于确定第一滤波器系数的系数确定装置(106)；和用于根据第一个输入样本和第一滤波器系数计算第一个输出样本的自适应滤波装置(104)。系数确定装置(106)被安排来根据与第一输入信号(U)相关的第二输入信号(Y)而确定第一滤波系数。

Description

空间信号变换

本发明涉及用于把包括输入样本的输入信号变换成包括输出样本的输出信号的空间滤波器单元，该空间滤波器单元包括：

-用于确定第一滤波器系数的系数确定装置；以及

-自适应滤波装置，用于根据第一个输入样本和第一滤波器系数计算第一个输出样本。

本发明还涉及图像处理设备，包括：

-接收装置，用于接收输入信号和另一个输入信号；以及

-如上所述的空间滤波器单元，用于把输入信号变换成输出信号。

本发明还涉及把包括输入样本的输入信号变换成包括输出样本的输出信号的方法，该方法包括：

-确定第一滤波器系数；以及

-根据第一个输入样本和第一滤波器系数计算第一个输出样本。

本发明还涉及要由计算机装置装载的计算机程序产品，包括把包括输入样本的输入信号变换成包括输出样本的输出信号的指令，该计算机装置包括处理装置和存储器，计算机程序产品在被装载后给所述处理装置提供执行以下操作的能力：

-确定第一滤波器系数；以及

-根据第一个输入样本和第一滤波器系数计算第一个输出样本。

HDTV的出现突出了对于空间上变换技术的需要，所述技术使标准清晰度(SD)的视频材料得以在高清晰度(HD)电视机(TV)显示器上被观看。惯用的技术是诸如双线性内插那样的线性内插方法和使用多相位低通内插滤波器的方法。前者因为它的低质量在电视应用中不流行，而后者由于市场上有销售的IC而是可得到的。通过线性方法，帧中的象素数目增加，但所感知的图像清晰度没有提高。换句话说，显示器的能力未被充分利用。

除了惯用的线性技术，提出了多种非线性算法来实现这种上变换。有时这些技术被称为基于内容的，内容自适应的，或依赖于边缘的空间上变换。在Meng Zhao等，“Towards an overview of spatialup-conversion techniques(空间上变换技术综述)”，ISCE学报2002，德国爱尔福特，2002年9月23-26日的综述文章中描述了多种这样的上变换技术。在这些文件中描述的内容自适应图像向上定标(upscaling)被证明比起根据采样定理的线性上变换方法给出了大为改进的清晰度感觉。

一种基于内容的上变换是基于分类的上变换。基于分类的视频上变换的主要思想是根据SD图像内容来调整HD图像中的象素的计算。仅仅具有类似的特性的图像块将利用相同的空间滤波器特性(即滤波器系数)被向上定标。在内插期间的瞬时滤波器系数取决于本地内容，即代表输入SD图像的输入信号的样本的数值。在视频变换的情形下，这些样本可以是在图像块内的象素的数值。本地内容根据块的数值图案被分类为各种类别。为了得到滤波器系数，事先执行学习过程。学习过程利用HD视频和通过向下定标HD视频而被计算的SD视频作为训练材料，以及使用LMS(最小均方)算法来确定最佳滤波器系数。由于大量的类别而使训练过程成为一个计算密集型过程。幸运地，它只需要执行一次。优选地，象素块的分类通过使用ADRC(自适应动态范围编码)被实现，它对于每个象素编码1比特减小到：

$Q_Y=\left\{\begin{array}{c}0:F_{\mathrm{SD}}<F_{\mathrm{AV}}\\ 1:F_{\mathrm{SD}}\&GreaterEqual;F_{\mathrm{AV}}\end{array}\right.---\left(1\right)$

这里，F_SD是SD象素的亮度值以及F_AV是在滤波器系数确定装置的当前孔径(aperture)中的象素的平均亮度值。Q_r是ADRC的编码结果。使用ADRC的理由是它易于实施。通过使用公式1，如果有256个可能的亮度值的话，对于包含12个象素的孔径，类别的数目从8¹²减小到2¹²。连接孔径中的各个象素的Q值获得一个类别码，它可被用作为从中生成滤波器系数的查找表的一个条目。还可以想到其它分类方法。

虽然基于内容的变换方法相当好地执行，但仍旧有改进的机会。

本发明的目的是提供在文章开头段落中描述的、性能表现得更好的空间滤波器。

本发明的这个目的是通过以下措施实现的，系数确定装置被安排来根据与输入信号相关的另一个输入信号确定第一滤波器系数。所谓相关是指例如从同一个源发源的信号同时被获取，相应于同一个物体和情景，或其中的一个信号是从另一个信号得出的。优选地，系数确定装置被安排来根据另一个输入样本和输入信号确定第一滤波器系数。虽然现有技术的基于内容的空间滤波器单元执行得相当好，但从输入信号提取的、用来控制自适应滤波装置的信息的总量可能受限制，特别是在输入样本的数目比起需要的输出样本的数目相对较低的情形下。通过应用与输入信号相关的另一个输入信号的另一个输入样本，可以确定更好的滤波器系数。

有利地，应用按照本发明的空间滤波器单元作为插入滤波器。所以，在按照本发明的空间滤波器单元的实施例中，自适应滤波装置包括计算装置，用于根据第一个输入样本和第二个输入样本的内插来计算第一个输出样本。

优选地，第一输入信号代表第一量，以及另一个输入信号代表不同于第一量的第二量。第一量是亮度、色度、运动、位置、温度或声音的任一项，以及第二量是相应于亮度、色度、运动、位置、温度或声音的物理变量的列表的另一项。例如，对于4∶2∶2(YUV)格式的视频数据，使用按照本发明的水平向上定标滤波器单元是有意义的，因为亮度的水平分辨率高于色度的水平分辨率。例如，对于4∶2∶0(YUV)格式的视频数据，使用按照本发明的水平和垂直向上定标滤波器单元是有意义的，因为亮度的水平和垂直分辨率高于色度的水平和垂直分辨率。另外，为了减小在彩色中(即，色度信号中)的编码或传输人工产物，可以应用通常较优良的亮度信号。

另一个例子涉及到立体成像或3D成像。在立体成像中，典型地，通过两个照相机获取同一个情景的两个图像序列。相应于各个图像的信号是相关的，因为它们代表同一个情景，虽然来自稍微不同的角度。相应于第一个图像序列的亮度值的信号可被应用来控制相应于第二个图像序列的亮度值的信号的变换。

替换地，例如通过红外或超声，获得代表亮度和任选地色度值的可视图像的序列和获得相应的深度图像序列。典型地，代表物体在情景中的位置信息的后一类型的图像，比起前一类型的图像包括较少的样本。相应于可视图像的信号和相应于深度信息的信号是互相相关的，因为它们代表同一个情景。相应于亮度值的信号可被应用来控制从相应于深度值的信号到具有较高的分辨率的相应于深度值的另一个信号的变换。

另一个例子涉及到被成像的情景内的运动。有各种技术来计算所谓的运动向量场，即，包括用于亮度图像的各个象素组的运动向量的二维矩阵。例如参阅G.de Haan等，“True-Motion Estimation with3-D Recursive Search Block Matching(通过三维递归搜索块匹配的真实运动估值)”，IEEE Transactions on circuits and systems forvideo technology，vol.3，no.5，1993年10月，第368-379页的文章。在这篇文章中描述对于8*8象素的块估计运动向量。为了把代表8*8块的运动向量场的输入信号变换成代表例如2*2象素的输出信号，可以应用代表被使用来确定8*8块的运动向量场的亮度值的信号。注意，在情景中的许多物体具有的形状与8*8象素的粗的运动向量场的块结构不匹配。

运动常常用运动向量来描述。描述运动的另一个方法是基于所谓的运动检测信号，即，一个表示是否有运动的二进制信号指示。另外，对于或通过这些类型的信号，可以应用按照本发明的空间滤波器单元。

按照本发明的空间滤波器单元的实施例，系数确定装置包括用于把从另一个输入信号得到的数据变换成第一滤波器系数的预定的查找表，所述预定的查找表是通过训练过程得到的。应用查找表来确定滤波器系数在上面描述，并且例如在美国专利6,323,905中被揭示。用来从信号，即样本组，得出需要的数据的优选的技术在上面描述，并例如在美国专利5,444,487中被揭示。

按照本发明的空间滤波器单元的实施例包括一个查找表，其特征在于，系数确定装置被安排来根据属于另一个输入信号的多个亮度值确定第一滤波器系数，以及自适应滤波装置被安排来根据属于输入信号的色度值计算第一个输出样本。因此，通过使用从色度和亮度样本得到的类别来变换色度信号。这是有利的，因为色度变换可以从更详细的亮度数据获利。因此，自适应滤波装置的滤波器孔径和系数确定装置的内容自适应孔径仅仅在滤波器孔径对色度样本起作用的意义上是互相不同的，而内容孔径包含来自亮度和色度信号的数据。

在按照本发明的空间滤波器单元的另一个实施例中，系数确定装置被安排来通过一个最佳化算法计算第一滤波器系数。例如，该最佳化算法被应用来估计另一个输入样本相对于另一个输入信号的近似，该近似是基于在该另一个输入样本的邻居中另一个输入信号的其它输入样本。优选地，最佳化算法是最小均方(LMS)算法。LMS算法相对地较简单并且鲁棒。在上变换单元的情形下应用最佳化算法来确定滤波器系数的方法在Meng Zhao等，“Towards an Overview of spatialup-conversion techniques(空间上变换技术综述)”，the proceedingsof the ISCE 2002，德国爱尔福特，2002年9月23-26日的引述的文章中被揭示。

应用按照本发明的空间滤波器单元作为图像缩放单元是有利的。所以，按照本发明的空间滤波器单元的实施例是用于把由输入信号和另一个输入信号代表的输入图像缩放到由输出信号代表的输出图像的图像缩放单元。

应用按照本发明的空间滤波器单元作为噪声减小单元是有利的。所以，按照本发明的空间滤波器单元的实施例是用于把由输入信号和另一个输入信号代表的输入图像变换成由输出信号代表的输出图像的噪声减小单元。

本发明的另一个目的是提供包括执行得更好的空间滤波器的、在开头描述的那种图像处理设备。

本发明的这个目的是通过以下措施实现的，系数确定装置被安排来根据与输入信号相关的另一个输入信号确定第一滤波器系数。图像处理设备任选地包括用于显示由输出信号表示的输出图像的显示装置。图像处理设备例如可以是电视机、机顶盒、卫星调谐器、VCR(盒式磁带录像机)播放器或DVD(数字通用盘)播放器。

本发明的再一个目的是提供在开头段落中描述的、执行得更好的那种方法。

本发明的这个目的是通过以下措施实现的，根据与输入信号相关的另一个输入信号确定第一滤波器系数。

本发明的再一个目的是提供在开头段落中描述的、执行得更好的那种计算机程序产品。

本发明的这个目的是通过以下措施实现的，计算机程序产品在被装载后为处理装置提供了根据与输入信号相关的另一个输入信号确定第一滤波器系数的能力。空间滤波器单元的修正方案和它的变例可以相应于所述图像处理设备、方法和计算机程序产品的修正方案及其变例。

通过参考此后描述的实施方案和实施例和参考附图，将明白和将阐述按照本发明的空间滤波器单元、图像处理设备、方法、和计算机程序产品的这些和其它方面，其中：

图1A示意地显示按照现有技术、被应用作为图像上变换单元的空间滤波器单元；

图1B示意地显示用来说明按照现有技术的上变换方法的多个象素；

图1C示意地显示按照现有技术的空间滤波器单元的替换实施例；

图1D示意地显示在按照现有技术的基于内容的内插时使用的孔径；

图2示意地显示按照本发明的空间滤波器单元的实施例；

图3A示意地显示第一输入信号被应用来控制从第二输入信号到比起第二输入信号具有更高分辨率的输出信号的上变换；

图3B示意地显示用来说明第一输入信号被应用来控制从第二输入信号到比起第二输入信号具有更高分辨率的输出信号的上变换的替换例；

图4A示意地显示SD输入图像；

图4B示意地显示其上为了增加分辨率而添加象素的图4A的SD输入图像；

图4C示意地显示在旋转45度后图4B的图像；

图4D示意地显示从图4A的SD输入图像得到的HD输出图像；以及

图5示意地显示按照本发明的图像处理设备的实施例。

相同的标注数字在所有图中被用来表示类似的部件。

图1A示意地显示按照现有技术、被应用作为图像上变换单元的空间滤波器单元100。图像变换单元100在输入连接端子108处被提供以标准清晰度(SD)图像，以及在输出连接端子110处提供高清晰度(HD)图像。图像变换单元100包括：

-象素获取单元102，其被安排来获取在相应于HD输出象素的位置的、第一个SD输入图像内的特定位置的第一邻居中象素1-4(见图1B)的第一组亮度值和被安排来获取在第一个SD输入图像内的特定位置的第二邻居中象素1-16的第二组亮度值；

-滤波器系数确定单元106，被安排来根据第一组亮度值和第二组亮度值计算滤波器系数。换句话说，从本地窗口内的SD输入图像，更具体地根据亮度值来近似滤波器系数。这是通过使用最小均方(LMS)方法而完成的，将结合图1B来说明该方法。

-自适应滤波单元104，用于如公式2中规定的、根据第一组亮度值和滤波器系数来计算HD输出象素的亮度值。因此，滤波器系数确定单元106被安排来控制自适应滤波单元104。

自适应滤波单元104使用如公式2中规定的四阶内插算法：

$F_{\mathrm{HDI}}(2(i+1),2(j+1))=\underset{k=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{1}{\mathrm{\&Sigma;}}}{w}_e(2k+l)F_{\mathrm{SD}}(2i+2k,2j+2l)---\left(2\right)$

其中F_HDI(i，j)表示内插的HD输出象素的亮度值，F_SD(i，j)表示输入象素的亮度值，以及w_e(i)表示滤波器系数。

图1B示意地显示用来说明按照现有技术的上变换方法的SD输入图像的多个象素1-16和HD输出图像的一个HD象素。HD输出象素被内插为象素1-4的4个亮度值的加权平均值。这意味着，HD输出象素的亮度值F_HDI作为它的4个SD相邻象素的亮度值的加权和的结果：

F_HDI＝w_e(1)F_SD(1)+w_e(2)F_SD(2)+w_e(3)F_SD(3)+w_e(4)F_SD(4)，     (3)其中F_SD(1)到F_SD(4)是该4个SD输入象素1-4的象素值以及w_e(1)到w_e(4)是要藉助于LMS方法计算的滤波器系数。所引述的、其中描述了现有技术方法的文章“Towards an Overview of spatial up-conversion techniques(空间上变换技术综述)”的作者作出合理的假设，边缘取向不随缩放改变。这个假设的结果是最佳滤波器系数与在标准分辨率网格上内插的那些相同：

-来自5，7，11和4的象素1(这意味着象素1可以从它的4个邻居得出)

-来自6，8，3和12的象素2

-来自9，2，13和15的象素3

-来自1，10，14和16的象素4

这给出一组4个线性方程，从这组方程，通过LSM最佳化，可以找出用来内插HD输出象素的最佳的四个滤波器系数。

在SD网格上用M表示被使用来计算4个权因子的象素组，在最佳化时在组M上的均方误差(MSE)可被写为在原始的SD象素F_SD与内插的SD象素F_SI之间的差值的平方的和值：

$\mathrm{MSE}=\underset{F_{\mathrm{SD}(i,j)=\mathrm{kl}}}{\mathrm{\&Sigma;}}{(F_{\mathrm{SD}}(2i+\mathrm{2,2}j+2)-F_{\mathrm{SI}}(2i+\mathrm{2,2}j+2))}^2---\left(4\right)$

它用矩阵公式表示成为：

MSE＝‖ y- wC‖²                        (5)这里 y包含M中的SD象素(象素F_SD(1，1)到F_SD(1，4)，F_SD(2，1)到F_SD(2，4)，F_SD(3，1)到F_SD(3，4)，到F_SD(4，1)到F_SD(4，4)，以及C是4×M²矩阵，它的第k行包含在 y中第k个SD象素的四个对角线SD邻居。每行的加权和描述了一个象素F_SI，如在公式4中使用的。为了找出最小MSE，即，LMS，计算MSE对于 w的微分：

$\frac{\&PartialD;\left(\mathrm{MSE}\right)}{\&PartialD;\stackrel{\&RightArrow;}{w}}=0---\left(6\right)$

$-2\stackrel{\&RightArrow;}{y}C+2\stackrel{\&RightArrow;}{w}{C}^2=0---\left(7\right)$

$\stackrel{\&RightArrow;}{w}={\left(C^{T}C\right)}^{-1}\left(C^T\stackrel{\&RightArrow;}{y}\right)---\left(8\right)$

通过求解方程8找到滤波器系数，以及通过使用公式3可以计算HD输出象素的亮度值。

在本例中，4×4象素的窗口被用来计算滤波器系数。在更大的窗口上的LMS最佳化--例如使用8×8而不用4×4--给出更好的结果。

图1C示意地显示按照现有技术的图像变换单元101的替换实施例。滤波器系数确定单元106包括压缩单元107和LUT 109，具有在训练过程期间得到的数据。为了说明训练过程，也结合图1D参阅说明。压缩方案是基于检测在滑窗中哪些象素是在窗口中象素的平均亮度值以上以及在滑窗中哪些象素是在窗口中象素的平均亮度值以下。这样对于滑窗的每个位置获得了零(低于平均亮度值的象素值)和一(高于平均亮度值的象素值)的图案。这个图案相应于LUT 109的一个条目。在LUT 109的各个输出端，提供适当的滤波器系数用于给定的输入。在Meng Zhao等，“Towards an Overview of spatial up-conversion techniques(空间上变换技术综述)”，the proceedingsof the ISCE 2002，德国爱尔福特，2002年9月23-26日的综述文章中，进一步说明按照现有技术的图像变换单元101的这个实施例。

图1D示意地显示在按照现有技术在基于内容的内插时使用的孔径。白色象素是插入的HD象素F_HDI。黑色象素是SD象素F_SD，F₁₂是对于F_SD(1，2)的缩短的符号表示，等等。相应于F_HDI(2(i+3)，2(j+3))的HD象素A通过使用12个SD象素(F₀₀直到F₂₃)被内插。为了阐述在训练过程中LMS的使用，令F_HD是实际的(不是上变换的)HD象素的亮度值以及F_HDI是内插的HD象素的亮度值，它是在内插窗口中12个SD象素的加权的和值。被使用来在位置A上内插象素的公式是：

$F_{\mathrm{HDI}}(2(i+3),2(j+3))=\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{3}{\mathrm{\&Sigma;}}}{w}_{\mathrm{kl}}{F}_{\mathrm{SD}}(2(i+2k)+\mathrm{1,2}(j+2l)+1)---\left(9\right)$

其中w_k1是权因子。在大量图像上的一个类别的平方误差是：

$e^2=\underset{i,j}{\mathrm{\&Sigma;}}{(F_{\mathrm{HD}}(i,j)-F_{\mathrm{HDI}}(i,j))}^2---\left(10\right)$

假设在训练过程中对于一个类别有t个样本

$F_{\mathrm{HDI},p}(2(i+3),2(j+3))=\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{3}{\mathrm{\&Sigma;}}}{w}_{\mathrm{kl}}{F}_{\mathrm{SD},p}(2(i+2k)+\mathrm{1,2}(j+2l)+1)$

其中(p＝1，2，...，t)            (11)第p个插入样本的误差将是：

$e_p=F_{\mathrm{HD},p}-F_{\mathrm{HI},p}=F_{\mathrm{HD},p}-\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\underset{l=0}{\overset{3}{\mathrm{\&Sigma;}}}{w}_{\mathrm{kl}}{F}_{\mathrm{SD},p}(2(i+2k)+\mathrm{1,2}(j+2l)+1)$

其中(p＝1，2，...，t)            (12)这个类别的总的误差是：

$e^2=\underset{p=1}{\overset{t}{\mathrm{\&Sigma;}}}{e}_p^2---\left(13\right)$

对于每个w计算e²的一阶导数产生：

$\frac{{\&PartialD;e}^2}{{\&PartialD;w}_{\mathrm{kl}}}=\underset{p=1}{\overset{t}{\mathrm{\&Sigma;}}}2\left(\frac{{\&PartialD;e}_p}{{\&PartialD;w}_{\mathrm{kl}}}\right)e_p=\underset{p=1}{\overset{t}{\mathrm{\&Sigma;}}}2F_{\mathrm{SD},p}(2(i+2k)+\mathrm{1,2}(j+2l)+1)e_p$

其中(k＝0，1，2；l＝0，1，2，3)       (14)众所周知，当一阶导数是零时，出现极值。令：

$X_{\mathrm{kl},\mathrm{qr}}=\underset{p=1}{\overset{t}{\mathrm{\&Sigma;}}}{F}_{\mathrm{SD},p}(2(i+2k)+\mathrm{1,2}(j+2l)+1)\&CenterDot;F_{\mathrm{SD},p}(2(i+2q)+\mathrm{1,2}(j+2r)+1)---\left(15\right)$

和

$Y_{4k+1}=\underset{p=1}{\overset{t}{\mathrm{\&Sigma;}}}{F}_{\mathrm{SD},p}(2(i+2k)+\mathrm{1,2}(j+2l)+1)\&CenterDot;F_{\mathrm{HD},p}(2(i+3),2(j+3))$

(k，q＝0，1，2；l，r＝0，1，2，3)     (16)则

$\left[\begin{array}{cccc}{X}_{\mathrm{00,00}}& X_{\mathrm{00,01}}& \&CenterDot;\&CenterDot;\&CenterDot;& X_{\mathrm{00,23}}\\ X_{\mathrm{10,00}}& X_{\mathrm{10,01}}& \&CenterDot;\&CenterDot;\&CenterDot;& X_{\mathrm{20,23}}\\ X_{\mathrm{20,00}}& X_{\mathrm{20,01}}& \&CenterDot;\&CenterDot;\&CenterDot;& X_{\mathrm{20,23}}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ X_{\mathrm{23,00}}& X_{\mathrm{23,01}}& \&CenterDot;\&CenterDot;\&CenterDot;& X_{\mathrm{23,23}}\end{array}\right]\left[\begin{array}{c}{w}_{00}\\ w_{01}\\ w_{02}\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ w_{23}\end{array}\right]=\left[\begin{array}{c}{Y}_0\\ Y_1\\ Y_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ Y_{11}\end{array}\right]---\left(17\right)$

通过对于所有的类别求解公式17，得到系数w_k1。一旦知道所有的滤波器系数，内插就变为使用公式9的简单的计算。

图2示意地显示按照本发明的空间滤波器单元200的实施例。这个空间滤波器单元200基本上包括与结合图1C描述的图像变换单元101相同类型的部件。这些部件是：

-象素获取单元102，被安排来获取输入图像的象素值；

-滤波器系数确定单元106，被安排来根据所获取的象素值计算滤波器系数；以及

-自适应滤波单元104，用于根据所获取的象素值计算输出象素的象素值。

空间滤波器单元200在它的输入连接端子108处被提供以YUV(4∶2∶2)格式的视频数据并且在它的输出连接端子110处提供YUV(4∶4∶4)格式的视频数据。

下面将通过例子说明按照本发明的空间滤波器单元200的工作。假设象素获取单元102具有12个样本的孔径。这意味着，一起获取以下的样本：(Y₁，U₁，V₁)，(Y₂)，(Y₃，U₃，V₃)，(Y₄)，(Y₅，U₅，V₅)和(Y₆)。这6个Y样本被提供到第一压缩单元202，它把这6个Y样本变换成一个6比特字，如在公式18中规定的：

$Q_Y=\left\{\begin{array}{c}0:Y_i<Y_{\mathrm{AV}}\\ 1:Y_i\&GreaterEqual;Y_{\mathrm{AV}}\end{array}\right.---\left(18\right)$

其中Y_AV相应于在象素获取单元102的系数孔径中的平均亮度值。该3个U样本被提供到第二压缩单元204，它把这3个U样本变换成一个3比特字，如在公式19中规定的：

$Q_U=\left\{\begin{array}{c}0:U_i<U_{\mathrm{AV}}\\ 1:U_i\&GreaterEqual;U_{\mathrm{AV}}\end{array}\right.---\left(19\right)$

其中U_AV相应于在象素获取单元102的系数孔径中的第一平均色度值。该3个V样本被提供到第三压缩单元206，它把这3个V样本变换成一个3比特字，如在公式20中规定的：

$Q_V=\left\{\begin{array}{c}0:V_i<V_{\mathrm{AV}}\\ 1:V_i\&GreaterEqual;V_{\mathrm{AV}}\end{array}\right.---\left(20\right)$

其中V_AV相应于在象素获取单元102的系数孔径中的第二平均色度值。随后，三分量(YUV)的所有样本的各个Q值被级联，形成12比特的单个类别指数。

根据12比特字，从LUT 109得出滤波器系数，它包括在训练过程期间得到的变换信息。在本例中，LUT 109提供用于计算丢失的U样本的滤波器系数的三元组，例如，用于根据U₁，U₃，和U₅计算U₂的三个滤波器系数，以及用于根据U₁，U₃，和U₅计算U₄的另三个滤波器系数。在本例中，LUT 109还提供用于计算丢失的V样本的滤波器系数的三元组，例如，用于根据V₁，V₃，和V₅计算V₂的三个滤波器系数，以及用于根据V₁，V₃，和V₅计算V₄的另三个滤波器系数。最后，输出中包括以下样本：(Y₁，U₁，V₁)，(Y₂，U₂，V₂)，(Y₃，U₃，V₃)，(Y₄，U₄，V₄)，(Y₅，U₅，V₅)和(Y₆，U₆，V₆)。

建议的滤波器孔径取决于视频格式。对于YUV(4∶2∶2)格式，使用按照本发明的水平向上定标滤波器是有意义的，因为亮度的水平分辨率高于色度的水平分辨率。对于YUV(4∶2∶0)格式的视频数据，二维孔径似乎是适当的，因为垂直亮度分辨率也高于色度的垂直平分辨率。

在以上的例子中，YUV(4∶2∶2)格式的SD输入图像被变换成YUV(4∶4∶4)格式的SD输出图像。任选地，YUV(4∶4∶4)格式的SD输出图像随后被上变换成YUV(4∶4∶4)格式的HD输出图像。替换地，YUV(4∶2∶2)格式的SD输入图像被直接上变换成YUV(4∶4∶4)格式的HD输出图像。在这种情形下，亮度信号可被用来控制色度的上变换以及反之亦然。

象素获取单元102、滤波器系数确定单元106和自适应滤波单元104可以使用一个处理器来实施。通常，这些功能在软件程序产品的控制下被执行。在执行期间，通常软件程序产品被装载到如RAM的存储器中，并且在其中被执行。程序可以从如ROM、硬盘、或磁和/或光贮存装置的基础存储器被装载，或可以经由如互联网的网络被装载。任选地，专用集成电路也可以提供所公开的功能。

上面表明不同的Q值被分开地计算并且随后被级联。换句话说，Q值是针对亮度值和色度值单独进行计算的。这具有值得注意的附加效果。在美国专利US6019216中，表明对于亮度上变换，通过颠倒(invert)图像数据，LUT中的系数保持为相同的。可合理地假设，任何二进制类别与它的颠倒的版本产生相同的内插系数。因此，两个互补的类别可被组合，这以2为因子减小了LUT的尺寸，而不损害输出信号的质量。似乎合理的是，这对于色度数据U和V同样成立。通过独立地编码这三个分量(Y/U/V)，对于每个分量的Q的数目被减小2倍，即，节省3比特，或在LUT的地址空间中减小8倍。

典型地，用于上变换的训练处理过程包括以下步骤：下采样原始信号和找出最佳滤波器系数，以便把下采样的信号变换成与原始信号A匹配的信号。对于用于例如噪声减小的训练处理过程采取类似的方法：把噪声加到原始信号中和找出最佳滤波器系数，以便把有噪声的信号变换成与原始信号匹配的信号。将会看到，在训练处理过程中，需要相应于两种类型的输入信号(它们在将第一输入信号变换成输出信号期间被施加到按照本发明的空间滤波器单元200)的信号，例如亮度与色度数据。这与如结合图1C和1D描述的、按照现有技术的自适应滤波装置不同。在后者的情形下，在信号训练处理过程与信号变换期间只分析一种类型的信号。

图3A示意地显示第一输入信号302被应用来控制从第二输入信号306到比起第二输入信号306具有更高分辨率的输出信号316的上变换。虽然输入信号和输出信号都是二维信号，但从第一输入信号302只有二维中的一维被显示。这意味着，给出了一维表示。第一输入信号302包括具有相对较高的数值的第一部分330、陡的过渡332和具有相对较低的数值的第二部分334。从第二输入信号306只有4个样本308-314被显示，它们分别具有数值L1，L1，L2和L2。从输出信号316只有16个样本318-328被显示。这16个样本的4个样本318-324被分配以数值L1并且另外12个样本326-328被分配以数值L2。可以清楚地看到，被分配以数值L1的4个样本318-324相应于第一输入信号302的、具有相对较高的数值的第一部分330。输出信号316的样本318-328的数值根据第二输入信号306的数值308-314和在第一输入信号302的控制下被计算。这意味着，用于计算输出样本318-328的滤波器系数基于相关的第一输入信号302的样本的数值。例如，输出信号316的第一个输出样本318通过第二输入信号的两个输入样本308，310的加权平均被计算。在本例中，用于这两个输入样本的一个样本308的第一加权因子(即第一滤波器系数)相对较高，而用于这两个输入样本的另一个样本310的第二加权因子(即第二滤波器系数)相对较低。结果，输出样本318的第一个输出样本已被分配以数值L1，它是两个输入样本的一个输入样本308的数值。

图3B示意地显示用来说明第一输入信号304被应用来控制从第二输入信号306到比起该第二输入信号306具有更高分辨率的输出信号316的上变换的替换例。第一输入信号304包括具有相对较高数值的第一部分336、缓慢的过渡338和具有相对较低数值的第二部分340。从第二输入信号306只有4个样本308-314被显示，它们分别具有数值L1，L1，L2和L2。从输出信号316只有16个样本318-328被显示。这16个输出样本的4个样本318-324被分配以数值L1，另外4个输出样本被分配以数值L3，另外4个输出样本被分配以数值L4，以及另外4个输出样本326-328被分配以数值L2。可以清楚地看到，被分配以数值L1的4个输出样本318-324相应于第一输入信号304的、具有相对较高的数值的第一部分336，以及被分配以数值L2的4个输出样本326-328相应于第一输入信号304的、具有相对较低的数值的第二部分340。被分配以数值L3或L4的其它输出样本相应于过渡部分338。输出信号316的输出样本318-328的数值根据第二输入信号306的数值308-314和在第一输入信号304的控制下被计算。这意味着，用于计算输出样本318-328的滤波器系数基于相关的第一输入信号304的样本的数值。

为了把SD输入图像变换成HD输出图像，需要多个处理步骤。通过图4A-4D说明这些处理步骤。图4A示意地显示SD输入图像；图4D示意地显示从图4A的SD输入图像得到的HD输出图像，以及图4B和4C示意地显示中间结果。

-图4A示意地显示SD输入图像。每个X符号相应于各个象素。

-图4B示意地显示为了增加分辨率而在其上添加象素的图4A的SD输入图像。添加的象素用+符号表示。这些添加的象素是通过插入各个对角线邻居而被计算的。

-图4C示意地显示在旋转45度后图4B的图像。与被应用来根据图4A计算根据图4B所示的图像相同的图像变换单元200可被使用来根据图4B所示的图像计算如图4D所示的图像。这意味着，新的象素值是通过内插各个对角线邻居被计算的。注意到，这些对角线邻居的第一部分(用X符号表示)相应于SD输入图像的原始象素值，这些对角线邻居的第二部分(用+符号表示)相应于通过内插从SD输入图像的原始象素值得到的象素值。

-图4D示意地显示最后的HD输出图像。在最后的变换步骤中被添加的象素用o符号表示。

图5示意地显示按照本发明的图像处理设备500的实施例，包括：

-接收装置502，用于接收以YUV(4∶2∶2)格式表示视频数据的信号；

-空间滤波器单元200，如结合图2描述的；以及

-显示装置506，用于显示空间滤波器单元200的以YUV(4∶4∶4)格式的视频数据。这个显示装置506是任选的。

信号可以是经由天线或电缆接收的广播信号，但也可以是来自如VCR(视频盒式磁带录像机)或数字通用盘(DVD)那样的贮存装置的信号。信号在输入连接端子508处被提供。图像处理设备500例如可以是电视机。替换地，图像处理设备500不包括任选的显示装置，而把输出图像提供到确实包括显示装置506的设备上。然后，图像处理设备500例如可以是机顶盒、卫星调谐器、VCR播放器或DVD播放器。但它也可以是由电影制片厂或广播台所应用的系统。

应当指出，上述的实施例是显示而不是限制本发明，以及本领域技术人员能够在不背离所附权利要求的范围的条件下设计替换实施例。在权利要求中，被放置在括号中的任何标注符号将不应被看作限制权利要求。单字‘包括’不排除在权利要求中未列出的样本或步骤的存在。在样本前面的单字“一个”不排除多个这样的样本的存在。本发明可以藉助于包括几种不同样本的硬件和藉助于适当编程的计算机被实施。在枚举几个装置的单元权利要求中，几个这样的装置可以由同一个硬件项实施。

Claims (16)

1.一种空间滤波器单元(200)，用于把包括输入样本的输入信号(U)变换成包括输出样本的输出信号，该空间滤波器单元(200)包括：

-系数确定装置(106)，用于确定第一滤波器系数；以及

-自适应滤波装置(104)，用于根据第一个输入样本和第一滤波器系数计算第一个输出样本，其特征在于，系数确定装置(106)被安排来根据与输入信号(U)相关的另一个输入信号(Y)确定第一滤波器系数。

2.如权利要求1中要求的空间滤波器单元(200)，其特征在于，系数确定装置(106)被安排来根据输入信号确定第一滤波器系数。

3.如权利要求1中要求的空间滤波器单元(200)，其特征在于，自适应滤波装置(104)包括计算装置，用于根据第一个输入样本和第二个输入样本的内插计算第一个输出样本。

4.如权利要求1中要求的空间滤波器单元(200)，其特征在于，第一输入信号代表第一量，而另一个输入信号代表不同于第一量的第二量。

5.如权利要求4中要求的空间滤波器单元(200)，其特征在于，第一量是亮度、色度、运动、位置、温度或声音的任一项。

6.如权利要求5中要求的空间滤波器单元(200)，其特征在于，第二量是亮度、色度、运动、位置、温度或声音的任一项。

7.如权利要求1中要求的空间滤波器单元(200)，其特征在于，系数确定装置(106)包括预定的查找表，用于把从另一个输入信号得到的数据变换成第一滤波器系数，所述预定的查找表是通过训练处理过程得到的。

8.如权利要求7中要求的空间滤波器单元(200)，其特征在于，系数确定装置(106)被安排来根据属于另一个输入信号的多个亮度值确定第一滤波器系数，以及自适应滤波装置(104)被安排来根据属于输入信号的色度值计算第一个输出样本。

9.如权利要求1中要求的空间滤波器单元(200)，其特征在于，系数确定装置(106)被安排来通过最佳化算法计算第一滤波器系数。

10.如权利要求1中要求的空间滤波器单元(200)，其特征在于是图像缩放单元，用于把由输入信号和另一个输入信号表示的输入图像缩放成由输出信号表示的输出图像。

11.如权利要求1中要求的空间滤波器单元(200)，其特征在于是噪声减小单元，用于把由输入信号和另一个输入信号表示的输入图像变换成由输出信号表示的输出图像。

12.一种图像处理设备，包括：

-接收装置，用于接收输入信号和另一个输入信号；以及

-空间滤波器单元(200)，用于把输入信号变换成输出信号，该空间滤波器单元(200)是如权利要求1中要求的。

13.如权利要求12中要求的图像处理设备，其特征在于还包括显示装置，用于显示由输出信号代表的输出图像。

14.如权利要求13中要求的图像处理设备，其特征在于它是电视机。

15.一种把包括输入样本的输入信号变换成包括输出样本的输出信号的方法，该方法包括：

-确定第一滤波器系数；以及

-根据第一个输入样本和第一滤波器系数计算第一个输出样本，其特征在于，根据与输入信号相关的另一个输入信号确定第一滤波器系数。

16.一种要被计算机装置装载的计算机程序产品，包括用来把包括输入样本的输入信号变换成包括输出样本的输出信号的指令，所述计算机装置包括处理装置和存储器，计算机程序产品在被装载后给所述处理装置提供用来实行以下步骤的能力：

-确定第一滤波器系数；以及

-根据第一个输入样本和第一滤波器系数计算第一个输出样本，其特征在于，根据与输入信号相关的另一个输入信号确定第一滤波器系数。

Images