CN101443810A - 向上尺度变换 - Google Patents

Abstract

一种根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的方法，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括：根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

Description

向上尺度变换

本发明涉及一种将代表第一属性的第一样本结构向上尺度变换(up-scale)成代表该第一属性的第二样本结构的方法，所述第一结构具有源分辨率，所述第二结构具有目标分辨率。

本发明还涉及一种用于将代表第一属性的第一样本结构向上尺度变换成代表该第一属性的第二样本结构的向上尺度变换单元，所述第一结构具有源分辨率，所述第二结构具有目标分辨率。

本发明还涉及一种包括这种向上尺度变换单元的图像处理设备。

本发明还涉及通过计算机装置加载的计算机程序产品，其包括用于将代表第一属性的第一样本结构向上尺度变换成代表该第一属性的第二样本结构的指令，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述计算机装置包括处理装置和存储器。

诸如运动估计和/或深度估计之类的估计方法依赖于对连续图像的相似图像部分的确定。由于单个像素值不足以进行区别，因而通常使用一组像素来建立连续图像的图像部分之间的对应。结果，估计方法的输出，例如运动估计情况下的运动矢量场，具有比所述图像的分辨率更低的分辨率。一般而言，运动矢量是根据像素块(例如基于8x8像素网格)来计算的。

通常，对于图像的所有各个像素都需要运动矢量，即处于图像分辨率下。美国专利US 5148269公开了一种用于块腐蚀(block erosion)以提高运动矢量场的分辨率的方法。块腐蚀过程旨在将矢量场细化到图像的像素网格。这一般是递归过程：在第一腐蚀步骤中，将所述网格从8 x 8细化到4 x 4网格。在下一个步骤中，将其从4 x 4细化到2 x 2，等等。

图1A示出了一系列图像的图像之一100。图1B示出了为图1A的图像100计算的深度图102，由此深度图102的深度值与估计的运动矢量直接相关。靠近观察者的物体表现出高亮度(白色)，而远处的物体较暗。注意到块效应，显然可知深度图102的分辨率低于图像100的分辨率。

图2A示出了根据用于计算图1B的深度图102的相同的估计运动矢量为图像100计算的另一幅深度图204。如图2A所示的深度图204是借助于美国专利US 5148269中公开的腐蚀来计算的。由图可知，该深度图204的分辨率高于如图1B所示的深度图102的分辨率。然而，该深度图204的质量仍然不足以用于再现高质量立体图的目的。例如，区域204显示出伪像。通过比较图2A和图1A可知，边缘并不匹配。图2B示出了依照本发明的方法计算的深度图202。

本发明的一个目的是提供如开篇段落中所描述类型的方法，其提供了改进的向上尺度变换。

本发明的这个目的的实现在于，所述尺度变换基于代表第二属性的第三样本结构并且基于代表第二属性的第四样本结构，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括：

-根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及

-根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

依照本发明的向上尺度变换基于代表第二属性的数据样本的使用。依照本发明的尺度变换的另一个相关方面是多维方法。为了将具有源分辨率的第一样本结构尺度变换成具有目标分辨率的第二样本结构，应用具有源分辨率的第三样本结构以及具有目标分辨率的第四样本结构。

一般而言，样本结构对应于数据元素的矩阵。然而，样本结构可以对应于数据元素的可选构造。

本发明的其他目的是提供如开篇段落中所描述类型的向上尺度变换单元、图像处理设备以及计算机程序产品，其提供了改进的向上尺度变换。

本发明的这些目的是分别通过如权利要求15、16和17中所述的向上尺度变换单元、图像处理设备以及计算机程序产品来实现的。

向上尺度变换单元的修改及其变型可以对应于所描述的图像处理设备、所述方法以及计算机程序产品的修改及其变型。

依照本发明的向上尺度变换单元、图像处理设备、所述方法以及计算机程序产品的这些和其他方面根据以下描述的实现方式和实施例以及参照附图将变得显而易见，并且将参照这些实现方式和实施例以及附图来进行阐述，在附图中：

图1A示出了一幅图像；

图1B示出了为图1A的图像计算的深度图；

图2A示出了借助于腐蚀为图1A的图像计算的另一个深度图；

图2B示出了依照本发明的方法计算的深度图；

图3A示意性地示出了四种样本结构，由此尚未计算第二样本结构的值；

图3B示意性地示出了根据第一差值分配第一权重因子以便用于计算第一输出样本；

图3C示意性地示出了根据相应差值分配许多权重因子；

图3D示意性地示出了根据第一差值分配第一权重因子以便用于计算第二输出样本；

图3E示意性地示出了图3A的四种样本结构，由此计算了第二样本结构的值；

图4示意性地示出了六种样本结构；

图5A示意性地示出了第一滤波孔径；

图5B示意性地示出了第二滤波孔径；

图6示意性地示出了依照本发明的向上尺度变换单元；

图7示意性地示出了多视点(multi-view)图像生成单元；以及

图8示意性地示出了依照本发明的图像处理设备。

在全部附图中，相同的附图标记用来表示相似的部分。

下面将结合图3A-图3E描述依照本发明的方法的实施例。图3A-图3E示意性地示出了：

-代表第一属性的第一样本结构S1，该第一样本结构S1具有源分辨率；

-代表第一属性的第二样本结构S2，该第二样本结构S2具有目标分辨率；

-代表第二属性的第三样本结构S3，该第三样本结构S3具有源分辨率；

-代表第二属性的第四样本结构S4，该第四样本结构S4具有目标分辨率。

依照本发明的方法旨在：

基于

-第三样本结构S3和第四样本结构S4将第一样本结构S1向上尺度变换成第二样本结构S2。

该方法包括：

-根据第三样本结构S3的相应第三样本和第四样本结构S4的相应第四样本之间的差值将权重因子分配给第一样本结构S1的相应第一样本；以及

-根据第一样本结构S1的所述第一样本以及相应的分配的权重因子计算第二样本结构S2的第二样本。

图3A示意性地示出了四种样本结构S1-S4，由此尚未计算第二样本结构S2的值。这可以视为依照本发明的方法的初始情形。

一般而言，第三样本结构S3的第三样本是根据第四样本结构S4的第四样本来计算的。换言之，样本结构S3是通过对第四样本结构S4进行低通滤波(即向下尺度变换)来计算的。人们发现，最佳的滤波器不是理论上理想的sin(x)/x滤波器，而箱式平均滤波器对于这种特定的向下尺度变换的性能异常地好。此外，这种向下尺度变换滤波器可以仅应用到第四样本结构S4的第四样本的子集上。

第一属性可以对应于深度值或者运动矢量。相应地，第一样本结构S1可以对应于输入深度图或者运动矢量场。可选地，第一样本结构S1可以对应于输入深度图或者运动矢量场的一部分。

第二属性可以对应于亮度和/或颜色。第三样本结构S3可以对应于低分辨率亮度/颜色图像。可选地，第三样本结构S3对应于相对较低分辨率亮度/颜色图像的一部分。第四样本结构S4可以对应于相对较高分辨率亮度/颜色图像。这意味着比第三结构S3的低分辨率更高的分辨率。可选地，第四样本结构S4对应于相对较高分辨率亮度/颜色图像的一部分。

图3A-3E中的不同灰度值分别代表第一属性和第二属性(即亮度/颜色以及深度值/运动矢量)的不同值。

图3B示意性地示出了根据第一差值分配第一个第一样本306的第一个权重因子，所述第一个权重因子用于计算第一输出样本300。第一输出样本300对应于第二样本结构S2的其中一个第二样本。

第一个第一样本306的第一个权重因子的分配基于第一个第三样本304和第一个第四样本302之间的第一差值。优选地，不同样本之间适用下列关系：

-第一个第一样本306和第一个第三样本304的相应坐标相互相等。相应坐标之间的对应由第一个第一样本306和第一个第三样本304之间的附图标记为307的虚线表示；以及

-第一个第四样本302和第一个第二样本300的相应坐标相互相等。相应坐标之间的对应由第一个第四样本302和第一个第二样本300之间的附图标记为309的虚线表示。

由于第一个第三样本304和第一个第四样本302之间的第一差值相对较低，因而第一个权重因子相对较高。这在图3B中用对于第一个第一样本306的“正拇指符号”表示。

图3C中示意性地表示了另外的第一样本的另外的权重因子的分配。例如，第二个第一样本318的第二个权重因子的分配基于第二个第三样本308和第一个第四样本302之间的第二差值。第二个第一样本318和第二个第三样本308的相应坐标相互相等。所述相应坐标之间的对应由附图标记为311的虚线表示。由于第二个第三样本308和第一个第四样本302之间的第二差值相对较低，因而第二个权重因子相对较高。这在图3C中用对于第二个第一样本318的“正拇指符号”表示。

第三个第一样本316的第三个权重因子的分配基于第三个第三样本310和第一个第四样本302之间的第三差值。第三个第一样本316和第三个第三样本310的相应坐标相互相等。所述相应坐标之间的对应由附图标记为313的虚线表示。由于第三个第三样本310和第一个第四样本302之间的第三差值相对较高，因而第三个权重因子相对较低。这在图3C中用对于第三个第一样本316的“负拇指符号”表示。

分配了权重因子之后，第二样本结构S2的第二样本可以根据第一样本结构S1的第一样本以及相应的分配的权重因子来计算。

接下来，将从数学上描述第二结构S2的第二样本的计算。假定第一属性对应于深度并且第一样本用

表示，由此d代表深度，上标S表示源分辨率，下标j对应于第一样本结构中的索引。第二样本用表示，由此d代表深度，上标T表示目标分辨率，下标i对应于第二样本结构中的索引。为了计算估计的深度值

，使用周围深度值

优选地，使用加权平均滤波器：

${\hat{d}}_i^T=\frac{\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{d}_j^s}{\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}}---\left(1\right)$

这个等式用来计算深度值

即第二结构S2的第二样本的值。对于每个深度值

使用j个周围深度值

。根据与第二属性对应的值之间的差值来确定权重因子w_ij。例如，第二属性对应于亮度。这意味着第四结构S4的亮度值

与第三结构S3的亮度值

进行比较。优选地，使用以下指数函数来计算权重因子：

$w_{\mathrm{ij}}=2^{-\mathrm{\α}\left(|l_i^T-l_j^s|\right)}---\left(2\right)$

式中α通常具有比如1/8的值。

在RGB(红、绿、蓝)数据的情况(即第二属性对应于颜色)下，每个颜色分量都可以对权重因子产生贡献

$w_{\mathrm{ij}}=2^{-\mathrm{\α}\left(\right|r_i^T-r_j^s|+|g_i^T-g_j^s|+|b_i^T-b_j^s\left|\right)}---\left(3\right)$

在YUV数据的情况下，U和V数据的贡献不及对应于Y的亮度数据l的贡献重要：

$w_{\mathrm{ij}}=2^{-\mathrm{\α}\left(\right|l_i^T-l_j^s|+\frac{1}{2}|u_i^T-u_j^s|+\frac{1}{2}|v_i^T-v_j^s\left|\right)}---\left(4\right)$

除了颜色差值，其他图像属性也可以反映图像内容中的差异。本发明的发明人注意到，加入简单的纹理度量也会改善结果。纹理定义为一组样本中的最大和最小亮度值之间的绝对差值。于是，权重因子可以定义为：

$w_{\mathrm{ij}}=2^{-\mathrm{\α}(|l_i^T-l_j^s|+|t_i^T-t_j^s\left|\right)}---\left(5\right)$

显然，必须计算第二样本结构S2的所有样本。因此，在计算了第二结构S2的第一个第二样本300之后，将计算第二结构S2的第二个第二样本322。同样，这基于分配权重因子以及随后根据分配的权重因子进行滤波。

图3D示意性地示出了根据第四差值分配第四权重因子，其用于计算第二输出样本，即第二样本结构S2的第二个第二样本322。

第一个第一样本306的第四个权重因子的分配基于第一个第三样本304和第二个第四样本320之间的第四差值。优选地，不同样本之间适用以下关系：

-第一个第一样本306和第一个第三样本304的相应坐标相互相等。相应坐标之间的对应由第一个第一样本306和第一个第三样本304之间的附图标记为307的虚线表示；以及

-第二个第四样本320和第二个第二样本322的相应坐标相互相等。相应坐标之间的对应由第二个第四样本320和第二个第二样本322之间的附图标记为311的虚线表示。

由于第一个第三样本304和第二个第四样本320之间的第四差值相对较低，因此第一个权重因子相对较高。这在图3D中用对于第一个第一样本306的“正拇指符号”表示。

与上面结合图3C所公开的类似，下面将计算后续的用于计算第二结构S2的第二个第二样本322的权重因子。

图3E示意性地示出了图3A的四种样本结构，由此计算了第二样本结构的值。换言之，图3E示意性地示出了第二结构S2的第二样本的计算结果。图3E示意性地示出了第二样本的值基于第一样本的值(灰度值)。第二结构S2中的“物体”的“形状”对应于第四结构S4中的“物体”的“形状”。这意味着，在这个实例中，深度值适应于相应图像的亮度值。

任选地，应用额外的因子来加权各个权重因子wij，由此该额外的因子与第一样本的值的可靠性有关。

$w_{\mathrm{ij}}^r=r_j{w}_{\mathrm{ij}}---\left(6\right)$

然后，使用这些修改的权重因子而不是先前规定的权重因子(参见等式2-5)。这种可靠性因子例如可以从运动估计器/深度估计器获得。所述估计器能够确定去遮挡(de-occlusion)区域位于何处。这些区域中的值不那么可靠，因此应当用较低的权重计算。可选地，可靠性因子直接基于所述估计器的输入图像的亮度值：与均匀图像区域有关的运动矢量和深度值所受信任更少。可靠性因子也可以从深度信号导出：解码深度信号的解码器可以指示在编码期间何时应用了高量化，在这种情况下深度的可靠性也可能较低。

图4示意性地示出了六种样本结构S1-S6。如结合图3A-3E所解释的，依照本发明的方法旨在根据第三样本结构S3和第四样本结构S4将第一样本结构S1向上尺度变换U1成第二样本结构S2。一般而言，所述向上尺度变换是来自向上尺度变换步骤序列的第一步骤U1。在第一向上尺度变换步骤U1之后，可以跟随第二向上尺度变换步骤U2。更有甚者，可以执行多于两个的向上尺度变换步骤(未示出)。第二向上尺度变换步骤U2类似于第一向上尺度变换步骤U1。因此，第二向上尺度变换步骤U2是指根据第四样本结构S4和第六样本结构S6将第二样本结构S2向上尺度变换成第五样本结构S5。第一向上尺度变换步骤U1的输出即第二样本结构S2，被用作第二向上尺度变换步骤U2的输入。该向上尺度变换是递归过程。

一般而言，在总尺度变换过程开始时第二属性的样本在相对较高的分辨率下可用。例如，存在由样本结构S6表示的输入图像，其为1024*1024元素的矩阵。通过下采样或者任选地通过一连串下采样步骤D1和D2，计算许多附加的样本结构S3和S4，所述样本结构是依照本发明的方法的相应向上尺度变换步骤U1和U2所需的。例如，利用因子2将第六样本结构S6向下尺度变换D1成第四样本结构S4，该第四样本结构S4为512*512元素的矩阵。随后，利用因子2将第四样本结构S4向下尺度变换D2成第三样本结构S3，该第三样本结构S3为256*256元素的矩阵。可选地，利用因子4直接将第六样本结构S6向下尺度变换成第三样本结构S3。

显然，向下尺度变换步骤与向上尺度变换步骤有关，因为对于向上尺度变换而言，要求具有不同属性的、具有相应分辨率的可用样本结构。优选地，第三样本结构S3的分辨率和第一样本结构S1的分辨率相互相等。对于第二样本结构S2和第四样本结构S4以及对于第五样本结构S5和第六样本结构S6，情况也是如此。

尽管优选的是递归地执行向上尺度变换，例如从8*8到4*4到2*2到1*1，但是也可以在一个步骤中执行向上尺度变换，例如从8*8到1*1。在这里，x*x表示与高分辨率相比的低分辨率。

依照本发明的向上尺度变换基于对许多输入样本(即第一样本结构的第一样本S1)进行滤波以便计算输出样本(即第二样本结构S2的第二样本)。如以上所规定的，利用相应权重因子加权输入样本，所述权重因子基于与第二属性相关的样本之间的差值。考虑用于计算特定输出样本的输入样本的构造称为滤波孔径。滤波孔径确定哪些输入样本被用于计算该特定的输出样本。图5A示意性地示出了第一滤波孔径，图5B示意性地示出了第二滤波孔径。

由于第一向上尺度变换U1(例如从8x8到4x4)中的误差显然比之后的步骤中的误差更加明显且令人厌烦，因此似乎合乎逻辑的是，在该第一步骤中花费更多的努力来试图避免错误。此外，该第一步骤在粗网格上执行，因而要处理的样本量相对较少(在每个步骤中，如果在两个方向上所述向上尺度的变换因子为2，那么样本量增加到4倍)。因此，有利的是应用更先进的保护方法(使用多颜色分量和/或使用可靠性因子)。利用这些保护方法，可能使用宽的滤波孔径。例如，我们发现甚至可以在8个方向上使用6(8 x 8)样本的半径。这在图5A中用阴影框表示。图5B示出了更适用于后续步骤的简化的孔径。

图6示意性地示出了依照本发明的向上尺度变换单元600。向上尺度变换单元600被设置成根据代表第二属性的第三样本结构S3并且根据代表第二属性的第四样本结构S4将代表第一属性的第一样本结构S1尺度变换成代表第一属性的第二样本结构S2，所述第一结构S1具有源分辨率，所述第二结构S2具有目标分辨率，所述第三结构S3具有源分辨率，所述第四样本结构S4具有目标分辨率。

向上尺度变换单元600包括用于接收第一样本结构S1的第一样本的第一输入连接器614、用于接收第三样本结构S3的第三样本的第二输入连接器610、用于接收第四样本结构S4的第四样本的第三输入连接器612以及用于提供第二样本结构S2的第二样本的第一输出连接器616。

向上尺度变换单元600包括：

-权重因子分配单元602，用于根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及

-计算单元604，用于根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

权重因子分配单元602包括：

-减法单元608，用于计算相应的第三样本和第四样本之间的差值。优选地，减法单元被设置成计算绝对差值；以及

-映射单元606，用于将减法单元608计算的差值映射成相应的权重因子。优选地，映射单元606被设置成执行用于将输入值(即差值)映射成输出值(即权重因子)的非线性函数。优选地，该非线性函数是指数函数，其将相对较大的差值变换成相对较小的权重因子。优选地，映射单元606通过LUT(查找表)来实现。

任选地，向上尺度变换单元600包括用于接收如结合等式6所描述的可靠性值的第四输入连接器618。

权重因子分配单元602和计算单元604可以使用一个处理器来实现。通常，这些功能是在软件程序产品的控制下实现的。在执行期间，通常将该软件程序产品加载到比如RAM的存储器中并且在那里执行。所述程序可以从比如ROM、硬盘或磁和/或光存储器的后台存储器中加载，或者可以通过像因特网那样的网络加载。任选地，专用集成电路提供所公开的功能。

图7示意性地示出了多视点图像生成单元700，其包括：

-深度图生成单元702，用于基于各个输入图像产生这些图像的深度图。深度图包括对于所述图像各个像素块的、表示到观察者的距离的深度值。因此，深度图的分辨率低于输入图像的分辨率。

-如结合图6所描述的向上尺度变换单元600，用于根据输入图像将深度图向上尺度变换成更高分辨率的深度图。所述更高分辨率的深度图的分辨率对应于输入图像的分辨率；以及

-再现单元706，用于根据输入图像以及由向上尺度变换单元600提供的相应的更高分辨率的深度图再现多视点图像。

多视点图像生成单元700被设置成根据视频图像序列产生多视点图像序列。在输入连接器708处给多视点图像生成单元700提供视频图像流并且在输出连接器710和712处多视点图像生成单元700分别提供两个相关的视频图像流。这两个相关的视频图像流提供给多视点显示器件，所述多视点显示器件被设置成根据所述相关的视频图像流中的第一个可视化第一系列视图并且根据所述相关的视频图像流中的第二个可视化第二系列视图。如果用户(即观察者)用其左眼观察第一系列视图并且用其右眼观察第二系列视图，那么他将觉察到3D印象。可能的是，所述相关的视频图像流中的第一个对应于接收的视频图像序列，并且所述相关的视频图像流中的第二个是根据所接收的视频图像序列再现的。优选地，两个视频图像流都是根据所接收的视频图像序列再现的。所述再现例如像P.A.Redert，E.A.Hendriks和J.Biemond的文章“Synthesis of multi viewpoint images atnon-intermediate positions”，in Proceedings of InternationalConference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，pages 2749-2752，IEEE Computer Society，Los Alamitos，California，1997中所描述的。可选地，所述再现如R.P.Berretty和F.E.Ernst的“High-quality images from 2.5Dvideo”，in Proceedings Eurographics，Granada，2003，Short Note124中所描述的。

图8示意性地示出了依照本发明的图像处理设备800的实施例，该设备包括：

-接收装置802，用于接收代表输入图像的信号；

-如结合图7所描述的多视点图像生成单元700；以及

-显示器件806，用于显示多视点图像生成单元700的输出图像。

所述信号可以是经由天线或线缆接收的广播信号，但是也可以是来自像VCR(录像机)或数字多功能盘(DVD)那样的存储器件的信号。所述信号在输入连接器810处提供。图像处理设备800可以是例如TV。可选地，图像处理设备800不包括任选的显示器件，而是向确实包括显示器件806的设备提供输出图像。于是，图像处理设备800可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或刻录机。任选地，图像处理设备800包括像硬盘那样的存储装置或者用于存储到可移除介质(例如光盘)上的装置。图像处理设备800还可以是由摄影棚或广播公司所应用的系统。

上面已经在多视点图像应用中描述了本发明，但是本发明也可以应用于其他应用中，所述其他应用例如运动补偿扫描率转换，由此在8*8块的基础上计算运动矢量。依照本发明的向上尺度变换可以用来计算每像素的运动矢量，以便对中间图像进行插值。

应当注意的是，上述实施例说明而不是限制了本发明，并且本领域技术人员将能够在不脱离所附权利要求书的范围的情况下设计出可选实施例。在权利要求中，置于括号中的任何附图标记都不应当被视为对该权利要求的限制。措词“包括”并没有排除存在权利要求中未列出的元件或步骤。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的一些可以由同一硬件或软件项实施。措词“第一”、“第二”、“第三”等等的使用并不意味着任何排序。这些措词应当解释成命名。除非有明确的说明，否则并不期望要求特定的动作顺序。

Claims (17)

1.一种根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的方法，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括：

-根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及

-根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

2.如权利要求1所述的向上尺度变换方法，其中权重因子根据所述差值的非线性函数来确定。

3.如权利要求2所述的向上尺度变换方法，其中所述非线性函数是指数函数。

4.如权利要求2-3中任何一项所述的向上尺度变换方法，其中所述函数将相对较大的差值变换成相对较小的权重因子。

5.如权利要求1-4中任何一项所述的向上尺度变换方法，其中基于第一个第三样本和第一个第四样本之间的第一差值分配第一个第一样本的第一个权重因子，以用于计算第一个第二样本，所述第一个第一样本和所述第一个第三样本的相应坐标相互相等。

6.如权利要求1-5中任何一项所述的向上尺度变换方法，其中基于第一个第三样本和第一个第四样本之间的第一差值分配第一个第一样本的第一个权重因子，以用于计算第一个第二样本，所述第一个第四样本和所述第一个第二样本的相应坐标相互相等。

7.如权利要求1-8中任何一项所述的向上尺度变换方法，其中第一属性对应于深度。

8.如权利要求1-8中任何一项所述的向上尺度变换方法，其中第一属性对应于运动。

9.如权利要求1-10中任何一项所述的向上尺度变换方法，其中第二属性对应于颜色或亮度。

10.如权利要求1-10中任何一项所述的向上尺度变换方法，其中第二属性基于颜色纹理。

11.如权利要求1-12中任何一项所述的向上尺度变换方法，该方法包括将第四样本结构向下尺度变换成第三样本结构。

12.一种如权利要求13所述的向上尺度变换方法，其中箱式滤波器用于向下尺度变换。

13.如权利要求1-14中任何一项所述的向上尺度变换方法，其中基于第一样本结构的所述第一样本的相应可靠性值将权重因子分配给第一样本结构的相应第一样本。

14.如权利要求1-15中任何一项所述的向上尺度变换方法，所述向上尺度变换包括：

- 第一尺度变换步骤，用于获得代表第一属性的中间样本结构，所述中间结构具有高于源分辨率并且低于目标分辨率的中间分辨率；以及

- 第二尺度变换步骤，用于基于中间样本结构获得第二样本结构，其中在第一尺度变换步骤应用的第一滤波器构造和在第二尺度变换步骤应用的第二滤波器构造互不相同。

15.一种用于根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的向上尺度变换单元，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该向上尺度变换单元包括：

- 权重因子分配单元，用于根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及

- 计算单元，用于根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

16.一种图像处理设备，包括如权利要求15所述的向上尺度变换单元。

17.一种通过计算机装置加载的计算机程序产品，其包括用于根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的指令，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四结构具有目标分辨率，所述计算机装置包括处理装置和存储器，该计算机程序产品在加载之后向所述处理装置提供执行以下步骤的能力：

- 根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及

- 根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。

Images