CN101473346A - 鲁棒的超分辨率视频缩放的方法及装置 - Google Patents

Abstract

一种用于缩放视频图像的方法及装置，特别应用于对视频序列格式的转换以及解隔行扫描技术。本发明包括参数化插值(101)，用于在输出的每个新点上计算插值；不敏感区间估计(102)，用于计算一个区间，在该区间中输出图像值的概率分布被估计具有最大值；不敏感损失计算(103)，用于从一个区间不敏感概率分布为每个插值获得一个负对数似然测量；在空间调整(104)之后，本发明还包括最小化损失选择(105)，用于在每个新点处选择损失最小的插值，并将该插值作为输出图像值。本发明还包括总变化增量模块和方向匹配误差模块，用于校正该不敏感损失，再发送给最小化损失选择。

Description

鲁棒的超分辨率视频缩放的方法及装置

技术领域

本发明涉及视频图像的处理，特别涉及通过缩放对视频序列格式进行转换的方法及装置。

背景技术

视频格式的多样性要求将输入视频的格式适配成显示设备或者传输所要求的格式。在隔行扫描视频中，每个连续图像，也被称为场(field)，在时间上交替提供偶数行(even lines)和奇数行(odd lines)。标准清晰度电视(SDTV，Standard Definition Television)，如NTSC，PAL和SECAM电视格式，都是隔行扫描的。隔行扫描监视器，如阴极射线管(CRT，Cathode Ray Tube)被设计用于显示这些具有偶数行和奇数行隔行扫描的场。逐行扫描视频图像格式在每幅图像中包含了所有行(偶数行和奇数行)。LCD视频监视器就是被设计用来显示这些逐行扫描视频的。因此，对于隔行扫描的输入视频，有必要执行解隔行扫描操作，该操作分别计算隔行扫描视频序列的每个场中缺失的奇数行和偶数行，从而输出逐行扫描视频。一些被采用的高清晰度电视(HDTV，High Definition Television)格式，具有720行的720p逐行扫描格式，或者1080行的1080i隔行扫描格式。典型地，将SDTV视频格式转换到HDTV视频格式需要执行解隔行扫描和改变行数，比如从NTSC格式的486行变为720p HDTV格式的720行。

视频序列的解隔行扫描和改变行数是一种缩放操作，该缩放操作将定义在隔行扫描采样网格(grid)上的输入视频转换成定义在输出采样网格上的输出视频。解隔行扫描是一种输出采样网格同时包含偶数行和奇数行的缩放。对行数的进一步修正是对输出采样网格作进一步修正。缩放视频需要从定义在不同的输入采样网格上的输入视频的像素值，在指定的输出采样网格上计算像素值。

第一种方法是，根据时间点t上的输入视频图像，计算在时间点t上的每个输出视频图像，其方式是通过FIR滤波执行空间插值，从输入采样值计算得到输出网格上的采样。当输入图像是隔行扫描时，以远低于香农采样频率(Shannon sampling rate)的频率对该输入图像进行采样，则插值会产生在结果视频中明显可见的人为失真(artifacts)。方向插值(Directional interpolation)能部分减少这些人为失真，但不能完全杜绝，其原因是无法获取执行插值操作所必需的信息。如果输入图像是逐行扫描的，则增加采样密度也会产生模糊不清的图像。专利号为6,614,489的美国专利提供了该方法的一个例子。

第二种方法被称为“运动自适应”，当在图像中没有检测到运动时，该方法执行时间插值(time interpolation)，当在图像中检测到明显的运动时，该方法执行空间插值(spatial interpolation)。当出现明显的运动时，由于该方法使用了空间插值，因而会产生与使用空间插值技术时相同类型的人为失真。专利号为5,428,398的美国专利提供了该方法的一个例子。

第三种方法被称为“运动补偿”，该方法测量图像中的位移，并在时域执行插值操作，其中该插值操作考虑了所测量到的运动。通过合并时域上多个图像的信息，该技术能提高缩放后的图像的空间分辨率，并能恢复出更好的细节。因此这也被称为超分辨率处理。然而，已有的运动补偿技术并不稳定，并会引入可见的人为失真。事实上，精确计算图像像素的位移是非常困难的，特别是对于那些欠采样的隔行扫描图像。当在时间插值时使用这些运动向量时，被遮住而引起的运动不连续性(例如，一个原本在背景中可见的物体，由于在前景中的另一个物体的相对运动而被遮住)，或者诸如灰尘引起的细小运动、或者运动的透明度都会产生引起人为失真的运动估计误差。为了减少这些人为失真，当被测量的运动的可信度不够时，运动补偿的缩放过程执行空间插值。这样，就以引入空间缩放所产生的人为失真为代价，以减少运动补偿技术中引入的运动人为失真。专利号为6,940,557的美国专利提供了该方法的一个例子。

现有技术中，没有任何一种视频缩放方法完全利用了由输入视频序列提供的空-时信息，以执行高质量的超分辨率缩放。因此，本发明的一个目的就是，消除或部分减轻前文所述缺陷中的至少一部分，以通过缩放过程对视频序列进行转换。

发明内容

本发明的一个主要目的是提出了一种对输入视频进行鲁棒的超分辨率缩放的方法及其装置，该发明可以包括解隔行扫描功能。

根据本发明的方法，对定义在空-时输入网格上的输入图像的视频信号进行处理，并在预定义的空-时输出网格上输出视频。在新点的空-时新网格上执行计算，这些新点是输出网格中的不在输入网格上的点。

本发明应用了预定义的线性操作的参数化插值器族，对新网格的每个新点的空-时邻域中的输入图像值进行参数化的加权平均，以在每个新点上输出参数化的插值。与需要估计运动，并需要沿着所估计的运动方向上决定采用空间插值或时间插值以计算插值的运动自适应技术或运动补偿技术相反的是，在本发明中不需要运动估计，并且因此可以减轻通常因为运动估计而产生的误差。不同于通过运动估计来优化插值，本发明计算可能的插值器的一个完整的族，并用鲁棒的最大似然技术选出一个最佳插值器，该最佳插值器使得由负对数似然定义的损失最小化。

在每个新点，给定一个新点的空-时邻域上的输入图像的值，该方法估计出每个新点的值的条件概率分布。因为在这样一个邻域上可获得的数据的数量是有限的以及视频值的变换范围很大，因此利用区间不敏感概率分布以获得鲁棒的结果。对于每个新点，从该新点的一个空-时邻域中的输入图像值估计出一个区间，这样，该新点的输出图像值的概率密度被估计在该区间中具有最大值。

对于每个新点，本发明为每个参数化插值，基于一个第二概率分布，计算出一个不敏感损失值，该第二概率分布在与所述新点相关的值的区间内是常数且最大。第二概率在这里也被称为“区间不敏感”。不敏感损失可以表示为所述插值后的值相对于区间不敏感概率分布的一个负对数似然，该区间不敏感概率分布根据与所述新点相关的值的区间定义。

对于每个参数化的插值器，不敏感损失被空间滤波，以在每个新点的空间邻域上用加权求和进行调整，该调整后的损失输入至最小化损失选择过程。

对于所述新网格的每个新点，本发明选择一个最佳参数化插值，使其在该新点上在所有参数化插值中，调整后的损失最小化。然后输出一个视频，该视频在输出网格的每个输出点上的值，当该输出点也在输入网格中时，该输出点上的值等于输入图像值；或者当该输出点是一个新点时，该输出点上的值等于在该输出点的最佳参数化插值。

在本发明中，对于每个新点，可以通过一个鲁棒过程估计得到不敏感区间，该鲁棒过程将该新点的空-时邻域划分成一组子邻域。对于每个子邻域，通过在该子邻域中对输入图像值进行排序获得的两个指定排序的值，估计得到一个部分的不敏感区间，并且，整个不敏感区间可通过合并这组部分的不敏感区间获得。

在本发明中，区间不敏感概率分布可以是瓦普尼克(Vapnik)区间不敏感概率分布，该分布在不敏感区间的外部具有指数衰减特性。

根据本发明的方法，还包括通过总变化增量得到的一个不敏感损失的校正(penalize)。该校正对由所选择的最佳插值引入的振动进行控制。对每个参数化插值器以及每个新点，在该新点的一维邻域上，该方法包括计算一个总变化增量，从包括输入图像值以及通过参数化插值器计算得到的插值后的值的集合中计算获得该总变化增量。该一维邻域可以选为水平的或垂直的。对每个参数化插值器，在每个新点的空间邻域中通过加权求和对该总变化增量进行空间滤波，并且调整后的总变化增量提供给最小化损失选择过程作为输入。对于每个新点，调整后的不敏感损失可以用于对在所述新点上的调整后的总变化增量进行校正，这样被选择的最佳参数化方向插值使得，在该新点上所有参数化插值中，该被校正的调整后的不敏感损失最小。

在本发明中，参数化插值器可以是参数化方向插值器，用于沿着输入网格的参数化空-时方向计算线性插值。

根据本发明的方法，还可以包括通过方向匹配误差得到不敏感损失的校正。对于方向校正插值器，该校正确保输入图像值在所选择的最佳插值的空-时方向上几乎没有变化。对于每个沿参数化空-时方向的参数化方向插值器以及每个新点，从与该新点沿该空-时方向对齐的插值后的输入图像值的差值中，计算得到一个方向匹配误差。对于每个参数化方向插值器，在每个新点的一个空间邻域中用加权求和，以对该方向匹配误差进行滤波，并且调整的匹配误差被作为最小化损失选择过程的输入。对于每个新点，由调整后的匹配误差对调整后的不敏感损失进行校正，以选择一个最佳参数化方向插值，该插值使得在该新点处的所有参数化插值中，被校正的调整后的不敏感损失最小化。对于每个新点，也可以由该新点的调整后的总变化增量和调整后的匹配误差一起对调整后的不敏感损失进行校正，以选择一个最佳参数化方向插值。

特别地，本发明的方法可应用于将输入为隔行扫描的视频转换成输出为逐行扫描视频的情形。对于这样的解隔行扫描，根据本发明的方法还可以包括将输入图像分类为“电影电视胶片类型”或“隔行扫描电视类型”，该分类还可以细分输入图像与“前”一帧输入图像最相似或与“后”一帧输入图像最相似。然后，该方法根据该图像分类，修正在每个新点处最佳参数化方向插值的选择，使得在该新点处被校正的调整后的不敏感损失最小，或者是该新点的“前”或“后”一帧图像值的拷贝。

本发明的另一个方面涉及数字视频缩放方法，该方法用于处理在一个空-时输入网格的各个点上具有各自输入图像值的输入视频信号，以产生在包括所述输入网格的点以及新点的一个空-时输出网格的各个点上具有各自输出图像值的输出视频信号。对于每个这样的新点，该方法包括以下步骤。在该新点对应的一个空-时邻域上对输入图像值应用一个预定义的参数化线性插值器的族，以在该新点处为该族中的每个插值器提供一个插值后的值。对应于该族中的每个插值器，从输入图像值和在该新点的一个一维空间邻域中用该插值器计算得到的插值后的值的集合中，计算一个总变化增量。对应于该族中的每个插值器，在该新点的一个空间邻域中，对该总变化增量进行空间滤波。选择该族中的一个插值器，使其满足一个依赖于该滤波后的总变化增量的最小化标准，其中被选择的插值器的插值后的值作为在该新点处的输出图像值。典型地，这样的最小化标准将滤波后的总变化增量与其他代价或损失值相结合，有利地，该代价或损失值包括如前文所述的从区间不敏感概率分布获得的滤波后的损失值。当然，其它代价或损失函数也可以用于本发明的其它可选实施例中。

本发明还包括一种用于在电视显示器上显示图像的电视系统，包括用于接收输入视频信号的装置，根据前述方法对输入视频信号进行处理的处理装置，以及显示由该处理装置产生的输出视频信号的装置。

本发明还包括一种视频缩放装置，包括用于执行上述方法的计算机装置。

本发明还包括一种计算机程序产品，当在计算机处理单元运行计算机程序时，包括用于执行上述方法的指令。

附图说明

本发明的上述目的以及其它目的，本发明的多个特征，以及本发明本身，可以通过结合附图和下列描述得到更完整的理解，其中所涉及的附图包括：

图1示出了本发明的一个示例性的实施例的框图，其中接收一个输入视频，并通过最小化一个区间不敏感损失，计算获得一个预定义输出网格上的输出视频。

图2示出了本发明的一个示例性的配置的框图，其中接收一个输入视频，通过最小化一个用调整后的总变化增量进行校正的区间不敏感损失，计算获得一个预定义输出网格上的输出视频。

图3示出了本发明的一个示例性的配置的框图，其中接收一个输入视频，通过最小化一个用总变化增量以及方向匹配误差进行校正的区间不敏感损失，计算获得一个预定义输出网格上的输出视频。

图4示出了用于计算总变化增量的输入网格点和新点的配置的示意性框图。

图5示出了用于一个解隔行扫描系统计算总变化增量的输入网格点和新点的配置的示意性框图。

图6示出了在一个新点处的用于空间方向插值的输入网格点的示意性框图。

图7示出了在一个新点处的用于空-时方向插值的输入网格点的示意性框图。

具体实施方式

图1所示的装置是本发明的一个实施例。该装置对定义在空-时输入网格

上的二维(2D)图像的视频信号进行处理。对于每个时间下标t，其中t是一个整数参数，空-时输入网格是在R³中的坐标是x(n₁，n₂，t)＝n₁τ₁+αn₂τ₂+tτ₃+τ₄(t)的点的网格，，其中τ₁＝(1，0，0)和τ₂＝(0，1，0)是归一化的水平和垂直空间矢量，τ₃＝(0，0，1)是一个沿时间方向的矢量，τ₄(t)是空间位移，其取决于该视频是隔行扫描还是逐行扫描。如果输入视频是隔行扫描的，则输入视频是由在两个时间点t和t+1上的两个场组成的，其中当t是偶数时，则第一个场包含偶数行，并且第二个场包含奇数行。在这种情况下，输入网格在R³中通过如下形式定义：取α＝2，并且当t是偶数时τ₄(t)＝(0，0，0)，以及t是奇数时τ₄(t)＝(0，1，0)。如果输入视频是逐行扫描的，则取α＝1，且对于所有t取τ₄(t)＝(0，0，0)。对于每个输入网格点x(n₁，n₂，t)，输入视频给出一个图像值υ(n₁，n₂，t)。例如，对于PAL标准，整数n₁、n₂的取值范围分别是从1到720以及从1到288，α等于2并且t的一个单元对应的时间增量是20ms。

典型地，图像值是一个多分量值。例如，在YCbCr颜色空间中，每个网格点都有一个表示亮度的Y分量，和两个共同确定颜色的色度分量Cb和Cr。这里描述的处理过程仅仅针对单个分量，也就是说图像值υ(n₁，n₂，t)可以用来表示任何一个单个分量的值。当然，同时处理所有分量的替代处理方法也是可能的，并将在下文做进一步的描述。

图1所示的超分辨率系统输出定义在空-时输出网格

上的二维图像的视频流。在每个时间点t上，输出网格

是由点 $\hat{x}(n_1,n_2,t)={\mathrm{\α}}_1{n}_1{\mathrm{\τ}}_1+{\mathrm{\α}}_2\mathrm{\α}{n}_2{\mathrm{\τ}}_2+t{\mathrm{\τ}}_3+{\mathrm{\τ}}_5\left(t\right)$ 组成的统一的空间网格，其中n₁、n₂和t都是整数，(α₁，α₂)是和输入网格相关的空间缩放参数，它们可能大于或小于1，而τ₅(t)则是空间位移。如果输出网格是隔行扫描网格，则当t是偶数时，τ₅(t)＝(0，0，0)；当t是奇数时，τ₅(t)＝(0，1，0)。如果输出网格是逐行扫描网格，则对于所有t，τ₅(t)＝(0，0，0)。在下文中，我们标记n＝(n₁，n₂)。对于每个输出网格点

输出视频可以用值

表示。如果输入网格是隔行扫描而输出网格是逐行扫描的，则缩放系统是一个解隔行扫描系统。如果α₁＝α₂＝1，则该缩放系统是具有单位缩放的解隔行扫描系统。例如，对于720p HDTV标准，整数n₁，n₂的取值范围分别是从1到1280以及从1到720，如果输入视频是PAL标准，则参数α₁＝576/720，以及α₂＝720/1280。

在每个时间点t，超分辨率缩放系统接收输入图像υ(n，t+d)，并输出图像

其中典型地，延迟d介于1到5之间。新网格

被定义为输出网格

中所有不属于网格的点的集合。新点(new point)指的是新网格中的点。

用最大似然方法计算

一个预先定义的插值器的族在每个新点上提供了一个图像值的族。可以从每个新点的邻域中所观察到的输入图像值估计得到未知新点的值的条件概率分布。

该装置包括参数化的插值模块(101)，该模块接收输入视频，并应用一个线性插值器的族{E_γ}_γ∈Γ，其下标为多参数γ，γ属于一个预定义的参数集合Γ。在每个新网格点处，模块(101)输出一个插值后的值的族

在点

处，线性插值器E_γ通过对输入图像值υ(n′，t-s)(其中|s|≤d)的参数化加权平均，以计算出 ${\widehat{\mathrm{\υ}}}_{\mathrm{\γ}}(n,t):$

${\widehat{\mathrm{\υ}}}_{\mathrm{\γ}}(n,t)=E_{\mathrm{\γ}}(\hat{x}(n.t),\mathrm{\υ})$

       $={\mathrm{\Σ}}_{n\′}{\text{\Σ}}_{s=-d}^d{K}_{\mathrm{\γ}}(\hat{x}(n,t)-x(n\′,t-s))\mathrm{\υ}(n\′,t-s).---\left(1\right)$

二维插值核K_r(x)具有有限支撑，因此当x(n′，t-s)足够接近于

时，可以在有限项上计算求和公式(1)。本发明中可以使用任何现有技术中的插值器。下文中还将描述一个使用方向空-时插值器的示例性实施例。可通过沿不同方向的可分离的一维线性插值执行插值运算。可以通过一个FIR线性滤波计算获得值f(p)中的u处的一维线性插值：

$\hat{f}\left(u\right)=\underset{p=-\mathrm{\Δ}}{\overset{\mathrm{\Δ}}{\mathrm{\Σ}}}K(u-p)f\left(p\right)$

其中，插值核K具有包含在[-Δ，Δ]范围内的支撑，且对于所有u∈[0，1]满足 ${\mathrm{\Σ}}_{p=-\mathrm{\Δ}}^{\mathrm{\Δ}}K(u-p)=1.$ 典型地，Δ介于1到8之间。

不敏感对数似然

有利地，可以通过对从输入图像值邻域υ(p，t)计算得到的负对数似然进行最小化，以在每个新点

处选择最优插值。可以在一个不敏感区间上估计得到已知邻域输入图像值的新点图像值的条件概率分布，在该区间中，因为缺乏用于区分概率分布值的数据，该概率分布被估计为最大值且是常数。点x和区间I＝[a，b]之间的距离可以表示为：

$|x-I|=\left\{\begin{array}{cc}a-x& \mathrm{if\; x}<a\\ 0& \mathrm{if\; x}\&Element;I\\ x-b& \mathrm{if\; x}>b\end{array}\right.$

对于区间I＝[a，b]以及

，区间不敏感概率分布p_I(u)可以定义为：

其中，对于任何固定的，

，并且f(u，

)是u的单调递减函数，调整η使得∫p_I(u)dx＝1。

的任何选择都是可能的。瓦普尼克(Vapnik)鲁棒区间不敏感概率分布可以定义为：

其相当于

。也可以选择

。

该装置还包括不敏感区间估计模块(102)，为每个新点

计算不敏感区间I(n，t)＝[a(n，t)，b(n，t)]，其中，在

点处的输出图像值很可能就位于该区间内，但是在该区间内却没有用于区分不同值的概率的重要的信息。从输入图像值υ(n′，t′)计算得到区间I(n，t)，输入图像值υ(n′，t′)所在的点x(n′，t′)在

的一个指定的邻域N(n，t)中。令C(n，t)表示该邻域中的点的个数。在一个示例性实施例中，定义

的邻域N(n，t)为满足|t-t′|≤d的输入网格点x(n′，t′)的集合，而且，x(n′，t′)的空间坐标在以

的空间坐标为中心点的宽度为2Δ的空间正方形内，其中Δ是一个预定义参数。典型地，Δ介于1到5之间。

在一个示例性实施例中，可以从该邻域中所有点的均值m(n，t)以及标准差σ(n，t)计算得到不敏感区间：

$m(n,t)=\frac{1}{C(n,t)}\underset{(n\&prime;,t\&prime;)\&Element;N(n,t)}{\mathrm{\&Sigma;}}\mathrm{\&upsi;}(n\&prime;,t\&prime;),$

${\mathrm{\&sigma;}}^2(n,t)=\frac{1}{C(n,t)}\underset{(n\&prime;,t\&prime;)\&Element;N(n,t)}{\mathrm{\&Sigma;}}{(\mathrm{\&upsi;}(n\&prime;,t\&prime;)-m(n,t))}^2.$

模块(102)设置I(n，t)＝[m(n，t)-βσ(n，t)，m(n，t)+βσ(n，t)]，其中β是一个常数，典型地，β小于3。在另一个实施例中，模块(102)从N(n，t)中的点的排序统计中估计得到一个不敏感区间。我们将N(n，t)中的C(n，t)个排序的值标记为{υ_k}1≤k≤C(n，t)，其中υ_k≥υ_k+1。令p是正整数，且p<C(n，t)/2。当C(n，t)是偶数时，则k₁＝C(n，t)/2-p+1以及k₂＝C(n，t)/2+p；而当C(n，t)是奇数时，则k₁＝(C(n，t)+1)/2-p以及k₂＝(C(n，t)+1)/2+p。用 $a(n,t)={\mathrm{\&upsi;}}_{k_1}$ 以及 $b(n,t)={\mathrm{\&upsi;}}_{k_2}$ 定义一个排序的统计不敏感区间I(n，t)＝[a(n，t)，b(n，t)]。典型地，p介于1到3之间。

在另一个示例性实施例中，通过将邻域N(n，t)分割成一组互不相交的子集 $N(n,t)=U_{i=1}^k{N}_i(n,t)$ 以估计不敏感区间。可以通过任意计算过程，例如用平均值和标准差过程，或者排序统计过程从每个N_i(n，t)计算获得不敏感区间I_i(n，t)。这些不敏感区间然后被合并成一整个不敏感区间。在一个示例性实施例中，N(n，t)被分割成包括满足t′＝t的所有的点x(n′，t′)∈N(n，t)的集合N₁(n，t)以及包括满足当t′≠t的所有的点x(n′，t′)∈N(n，t)的集合N₂(n，t)。如果两个不敏感区间I₁(n，t)和I₂(n，t)存在非空交集，则可以将最终的不敏感区间I(n，t)定义为该交集，否则，区间I(n，t)是上述两个区间的并集。

该装置还包括不敏感损失计算模块(103)，对于每个插值器Eγ以及每个新点

该模块输出

相对于该区间不敏感概率分布的负对数似然，其中在区间I(n，t)＝[a(n，t)，b(n，t)]上计算得到该区间不敏感概率分布。其目标是使该损失最小化，因此可以从对数似然中删除加性常数。作为(2)的一个结果，对于，该损失可以表示为：

其它

对于瓦普尼克鲁棒区间不敏感概率分布(3)，该损失可表示为：

空间调整模块(104)接收在每个新点

为每个γ∈Γ计算得到的不敏感损失l_γ(n，t)作为输入，然后执行空间低通滤波，并在空间邻域

上，通过在该邻域上进行求加权和的方式，计算调整后的损失。在一个示例性实施例中，

是一个以

为中心点的矩形，其包括固定的C₁个数目的新网格点，并且所有权重都设为1。可通过计算这些C₁个点的和得到(空间调整模块(104)所作的)调整，典型地，C₁介于16到256之间，

${\hat{l}}_{\mathrm{\&gamma;}}(n,t)=\underset{\hat{x}(p,t)\&Element;{\stackrel{\&OverBar;}{N}}_1(n,t)}{\mathrm{\&Sigma;}}{l}_{\mathrm{\&gamma;}}(p,t).---\left(4\right)$

现有技术中任何快速算法都可以用来计算该和。在另一个示例性实施例中，该和被一个加权求和替代，其中在

中所有权重的和等于一个常数，该常数对所有新点

保持相同。

如图1所示的装置包括最小损失选择模块(105)，该模块接收针对每个新点

以及所有γ∈Γ的

作为输入，并找到最优插值器的参数φ(n，t)∈Γ，使得在所有插值器中，损失

最小：

${\hat{l}}_{\mathrm{\&phi;}(n,t)}(n,t)=\underset{\mathrm{\&gamma;}\&Element;\mathrm{\&Gamma;}}{\min }{\hat{l}}_{\mathrm{\&gamma;}}(n,t).$

损失选择模块(105)为每个新点输出损失最小化插值

输入/新网格整合模块(106)接收在每个新点的损失最小化插值

以及输入图像值υ(p，t)作为输入，该模块输出定义在输出网格

上的超分辨率视频。对于每个新点

整合模块(106)输出损失最小化插值 $\widehat{\mathrm{\&upsi;}}(n,t)={\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&phi;}(n,t)}(n,t).$ 对于每个在输入网格中的输出点

整合模块(106)输出对应的输入图像值 $\widehat{\mathrm{\&upsi;}}(n,t)=\mathrm{\&upsi;}(p,t).$

以上给出了根据图1所示的一个示例性实施例的详细描述，对于本领域技术人员来说，各种变型、修改或者等同的技术方案是显而易见的。例如，在本发明的基础上，在模块(101)、(102)、(103)、(104)、(105)和(106)中，对于计算的各种优化和顺序调整，将计算进行空间局限化，以减少内存的需求，在不脱离本发明的精神下执行各种相同的功能，对于本邻域技术人员都是显而易见的。

以上描述的装置对视频图像的单个分量进行了处理。对于多分量图像，可以独立地处理所有分量。本发明还可同时处理所有分量，并将不敏感损失模块(103)定义为从每个分量获得的不敏感损失的加权求和，这样对于在任何给定的新点上的所有分量，选择相同的最优插值器E_γ。

总变化增量的校正(penalization)

根据本发明的方法还可以包括通过总变化增量对不敏感损失进行校正。该校正对被选择的最佳插值所引入的振动进行了控制。

图2示出了根据本发明的另一个装置。在该实施例中，用总的变化增量对用于选择参数化插值的损失函数进行校正。图2中的模块(201)、(202)、(203)和(204)分别与图1中的模块(101)、(102)、(103)和(104)相同。图2中的模块(208)也与图1中的模块(106)相同。

图2所示的装置包括总变化增量模块(205)，用于在每个新点

的一个邻域中，为每个插值器E_γ，计算因为在输入图像值的网格中插入插值后的新点值的网格而产生的总变化增量。在一个优选实施例中，邻域被选成一维的，要么水平方向，要么垂直方向。

对于一个解隔行扫描系统来说，该邻域被选为垂直方向，以控制因为解隔行扫描而产生的垂直方向上总的图像变化增量。下面将描述一个选择垂直方向一维邻域的示例性实施例。通过交换图像的行和列的作用，相同的过程可以适用于选择水平方向的邻域的情形。

的垂直方向一维邻域，是一个以点

为中心、长度为L的垂直线段。典型地，L的值是介于1到15之间的参数。自上而下，我们将在

的该邻域中，

的新点的垂直坐标标记为

将Eγ计算获得的对应的插值后的值标记为

图4示出了输入点x(p，t)位于带叉的位置上，新点

用黑实心圆表示，其它新点

用空心圆表示，一维垂直邻域用垂直虚线段表示。对于和该垂直虚线段相交的输入图像中的每一行，在交叉位置上，沿着该图像行的方向通过一维插值操作计算得到一个输入图像值。从上而下，我们用{h_k}_k标记这些交叉位置的垂直坐标，用{υ_k}_k标记对应的输入图像值。在图4中，这些插值后的点的位置用三角形进行标记。如果输入网格是隔行扫描网格，输出网格是逐行扫描网格，且缩放因子α₁＝α₂＝1，则新点位于和输入点相同的列上，因此υ_k对应于输入图像值，如图5所示。

对于在垂直坐标为

的垂直邻域中的每个新点，要么存在两个连续的输入图像点，其坐标为h_k和h_k+1，使得h_k>h_l≥h_k+1，要么这个点对应于该垂直线段的最底部或最顶部。如果满足第一个条件，则因为在υ_k和υ_k+1之间插入

而引起的总变化增量就等于

和区间I_k＝[min(υ_k，υ_k+1)，max(υ_k，υ_k+1)]之间的距离，该距离可标记为对于在垂直邻域中的介于两个输入图像点值之间的每个新点，计算该距离。

相反地，对于在垂直坐标为h_k的垂直邻域中每个输入点，要么存在两个连续的新点，其坐标为

和

使得 ${\hat{h}}_{l\&prime;}>h_k\&GreaterEqual;{\hat{h}}_{l\&prime;+1},$ 要么这个点对应于该垂直线段的最底部或最顶部。因在

和之间插入υ_k而引起的总变化增量就等于υ_k和区间 ${\hat{I}}_{l\&prime;}=[\min ({\widehat{\mathrm{\&upsi;}}}_{l\&prime;},{\widehat{\mathrm{\&upsi;}}}_{l\&prime;-1}),\max ({\widehat{\mathrm{\&upsi;}}}_{l\&prime;},{\widehat{\mathrm{\&upsi;}}}_{l\&prime;-1})]$ 之间的距离，该距离可标记为

对于每个介于两个新点图像值

和之间的υ_k，计算该距离。

估计器E_γ在

的垂直邻域中的总变化增量测量的结果标记为ω_γ(n，t)。通过整合在该邻域中介于两个新点图像值和

之间的所有输入点υ_k，以及介于两个输入点图像值υ_k和υ_k+1之间的所有插值后的值

所获得的总变化增量，获得该ω_γ(n，t)。在一个示例性实施例中，ω_γ(n，t)是上述总变化增量的加权平均值。在另一个示例性实施例中，从所有这些总变化增量的一个排序统计中获得该ω_γ(n，t)。通过所有总变化增量的排序列表中的p值获得ω_γ(n，t)，其中p是一个固定的正整数。

图2中示出的空间调整模块(206)接收在每个新点

为每个参数化插值器E_γ计算得到的总变化ω_γ(n，t)作为输入，执行空间低通滤波，以在一个更大的空间邻域上通过加权求和，计算一个调整后的总变化增量。在一个示例性实施例中，模块(206)在的一个长方形空间邻域上求和，该邻域包括固定个数C₂个新网格点，典型地，C₂介于4到64之间：

${\hat{w}}_{\mathrm{\&gamma;}}(n,t)=\underset{\hat{x}(p,t)\&Element;{\stackrel{\&OverBar;}{N}}_2(n,t)}{\mathrm{\&Sigma;}}{w}_{\mathrm{\&gamma;}}(p,t).---\left(5\right)$

在另一个示例性实施例中，该求和用一个加权求和代替，其中，

中的所有权重之和等于一个常数，并且该常数对于所有新点都保持相同。

最小化损失选择模块(207)接收针对每个新点

以及针对每个插值器E_γ所计算得到的调整后的区间不敏感损失

以及调整后的总变化

作为输入，并计算一个校正损失：

${\stackrel{\&OverBar;}{l}}_{\mathrm{\&gamma;}}(n,t)={\hat{l}}_{\mathrm{\&gamma;}}(n,t)+\mathrm{\&lambda;}{\hat{w}}_{\mathrm{\&gamma;}}(n,t)$

其中，λ是一个预定义的校正常数，典型地，λ介于1到10之间。模块(207)找到最佳插值器的参数φ(n，t)∈Γ，使得在所有插值器中，上述该校正损失l_γ(n，t)最小：

${\stackrel{\&OverBar;}{l}}_{\mathrm{\&phi;}(n,t)}(n,t)=\underset{\mathrm{\&gamma;}\&Element;\mathrm{\&Gamma;}}{\min }{\stackrel{\&OverBar;}{l}}_{\mathrm{\&gamma;}}(n,t)$

并且，该模块还为每个新点输出一个最小损失估计

可以用总变化校正进行损失测量以改进最佳插值器的选择，该损失测量不同于参照图1所描述的区间不敏感损失。因此它也可以应用于与本发明不同的配置中。

如图1所示的装置，前文所描述的装置对视频图像的单个分量进行了处理。对于多分量图像，可以独立地处理所有分量。可选地，本发明也包括同时处理所有分量的方式，并定义模块(207)的校正损失为每个分量所获得的校正损失的加权求和，这样就在任何给定一个新网格点上为所有分量选择同一个最佳插值器E_γ。

参数化方向插值

图3示出了根据本发明的另一个实施例的装置。沿着参数化方向执行插值，并且一个方向匹配损失给出了沿着这些方向输入图像的变化的测量。图3中的模块(302)、(303)、(304)、(306)分别与图2中的模块(202)、(203)、(204)、(206)相同，并且图3中的模块(311)与图2中的模块(208)相同。

参数化方向插值器模块(301)接收输入视频作为输入，并在每个新网格点

通过应用一个以多参数γ为下标并包含一个方向参数的线性插值器{E_γ}_γ∈Γ的族，计算以获得一个插值 ${\left\{{\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&gamma;}}(n,t)\right\}}_{\mathrm{\&gamma;}\&Element;\mathrm{\&Gamma;}}$ 的族。在一个优选实施例中，通过沿着输入图像的行或列方向上的一维插值，以及沿着参数化空-时方向上的方向插值，计算出这些参数化方向插值器。现有技术中的过程可应用于上述一维插值。

方向匹配误差模块(307)接收输入图像，并在每个新网格点

计算出与参数化方向插值器{E_γ}_γ∈Γ相关联的一个方向匹配误差{e_γ(n，t)}_γ∈Γ的族。在一个优选实施例中，从沿着每个参数化方向上的输入图像值之间的差值中计算得到这些匹配误差。这些方向匹配误差量化了每个方向插值器在空-时方向上输入视频的变化。

在一个优选实施例中，用空-时方向对插值器进行参数化，该空-时方向由一个空间向量ω＝ω₁τ₁+ω₂τ₂＝(ω₁，ω₂，0)和一个时间增量s确定，该时间增量确定了输入图像值υ(p，t-s)和υ(p，t+s)，从这些值中可计算出在

处的插值后的值。这样，这些插值器就由多参数值γ＝(ω₁，ω₂，s)确定，该参数从一个预定义的空-时参数的族Γ中选择。

Γ中时间偏移s的最大值就是超分辨率系统的延迟d。为了估计新点值υ_γ(n，t)，需要直至s＝d的图像x(n，t+s)，并且为了执行这些估计，我们必须在内存中保留2d+1个图像x(n，t′)，其中t-d≤t′≤t+d

如果s＝0，则通过一个空间插值器从输入图像υ(n′，t)计算得到

空间插值通过可分离的插值进行，首先沿着一个优选方向进行插值，该优选方向可以是水平方向或是垂直方向，然后再沿着空间方向ω＝(ω₁，ω₂，0)进行插值。如果输入视频是隔行扫描的，则优选插值方向可以选为水平方向，其原因是行方向上的采样分布是列方向上的两倍。如果输入视频是逐行扫描的，则当(ω₁，ω₂)与水平方向的(1，0)之间的夹角小于π/4时，优选插值方向可以选为垂直方向，此时我们规一化ω₁＝1；当(ω₁，ω₂)与水平方向的(1，0)之间的夹角大于π/4时，优选插值方向可以选为水平方向，此时我们规一化ω₂＝1。

假设在

处的优选插值方向为水平方向，并且ω＝(ω₁，1)。如果

位于输入网格的某一行中，则在

处通过沿该行方向上的一个一维线性插值，计算出υ_γ(n，t)。如果

不在输入网格的某一行中，则它的位置可以表示为 $\hat{x}(n,t)=x_1{\mathrm{\&tau;}}_1+\mathrm{\&alpha;}{x}_2{\mathrm{\&tau;}}_2+{\mathrm{\&tau;}}_4\left(t\right)+{\mathrm{t\&tau;}}_3,$ 令n₂为满足n₂<x₂<n₂+1的唯一整数。令 $y=\hat{x}(n,t)+\mathrm{\&alpha;}(n_2+1-x_2)w$ 和 $z=\hat{x}(n,t)-\mathrm{\&alpha;}(x_2-n_2)w$ 是

在方向ω上在输入图像正好上方的行和正好下方的行的投影。在y处的图像值υ_y可以用一维插值对沿着该行的输入图像值υ(n′，t)进行插值得到，其中n′＝(p，n₂)，且p是变量。在z处的图像值υ_z可以用沿着该行的输入图像值υ(n′，t)的一维插值得到，其中n′＝(p，n₂+1)。在一个示例性实施例中，在

处的图像插值定义为υ_y和υ_z之间的一个一阶线性插值：

${\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&gamma;}}(n,t)=(n_2+1-x_2){\mathrm{\&upsi;}}_y+(x_2-n_2){\mathrm{\&upsi;}}_z.---\left(6\right)$

模块(307)为插值器E_γ在

处计算出的方向匹配误差，就是υ_y和υ_z之间的方向ω上的方向变化：

e_γ(n，t)＝|υ_y-υ_z|^η             (7)

其中，η>0是一个预先选择的固定指数，典型地，等于1或2。在以单位缩放的解隔行扫描的特殊情况下，x₂＝n₂+1/2，因此 ${\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&gamma;}}(n,t)=({\mathrm{\&upsi;}}_y+{\mathrm{\&upsi;}}_z)/2.$ 这种情况如图6所示。

当优选插值方向是垂直方向而不是水平方向时，即ω＝(1，ω₂)，通过交换水平坐标轴和垂直坐标轴，交换输入图像的行和列，以及用1取代α，相同的计算方法也适用于(垂直方向的)插值器。

如果s>0，则

在时刻t-s和时刻t+s的图像中的空-时投影位于 $y=\hat{x}(n,t)-w-s{\mathrm{\&tau;}}_3$ 和 $z=\hat{x}(n,t)+w+s{\mathrm{\&tau;}}_3$ 上。可以通过沿着在网格点x(n′，t-s)的输入图像值υ(n′，t-s)的行和列方向上进行可分离的插值计算得到在y处的图像值υ_y。类似地，可以通过沿着在网格点x(n′，t+s)的输入图像值υ(n′，t+s)的行和列方向上进行可分离的插值计算得到在z处的图像值υ_z。在

处估计的图像值是 ${\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&gamma;}}(n,t)=({\mathrm{\&upsi;}}_y+{\mathrm{\&upsi;}}_z)/2,$ 方向匹配误差是e_γ(n，t)＝|υ_y-υ_z|^η。

在一个优选实施例中，选取所有可能方向ω的集合，使得对于每个新点在时刻t-s和时刻t+s的投影部分y和z位于统一的网格中，通过采用固定因子沿着输入图像υ(n′，t-s)和υ(n′，t+s)的行和列对输入图像υ(n′，t-s)和υ(n′，t+s)进行过采样，以预先计算得到该网格。

对于一个解隔行扫描系统来说，优选的空间插值方向是水平方向。在一个采用单位缩放的示例性实施例中，若s＝0，则空间方向矢量ω的族是{(k/q，1，0)}-K≤k≤K，其中q是固定的整数。图6示出了执行这些空间插值所需要的过采样，其中典型的选择是q＝2和K＝4。十字表示输入图像点x(p，t)，空心圆表示中间插值点，黑实心圆表示新点，其中显示了9个不同的方向。空-时方向矢量的族依赖于时间偏移的奇偶。当s是奇数时，则空-时方向矢量的族是 ${\{w=(k/q,2l,0)\}}_{-K_l\&le;k\&le;K_l,-L\&le;l\&le;L,}$ 当s>0且s是偶数时，则空-时方向矢量的族是 ${\{w=(k/q,2l+1,0)\}}_{-K_l\&le;k\&le;K_l,-L\&le;l\&le;L;}$ 其中K_l依赖于l或者选为一个常数，典型地，该常数介于2到8之间。典型地，q的值介于1到8之间，L的值介于1到5之间。对于这样的方向矢量的族，所有投影位置y和z都在统一的网格上，且可利用因子q通过对输入图像行υ(n′，t-s)和υ(n′，t+s)进行过采样而获得该网格。图7示出了对应于过采样因子q＝2的空-时插值方向。十字表示输入图像点x(p，t)，空心圆表示中间插值点，黑实心圆表示一个新点

图3所示的空间调整模块(308)接收在每个新点

为每个参数化插值器E_γ计算得到的方向匹配误差e_γ(n，t)作为输入，执行空间低通滤波，通过在一个更大空间邻域上的加权求和，计算得到调整后的方向匹配误差。在一个示例性实施例中，模块(308)在的一个长方形空间邻域

上求和，该邻域包含固定数目C₃个新网格点，典型地，C₃介于16到256之间：

${\hat{e}}_{\mathrm{\&gamma;}}(n,t)=\underset{\hat{x}(p,t)\&Element;{\stackrel{\&OverBar;}{N}}_3(n,t)}{\mathrm{\&Sigma;}}{e}_{\mathrm{\&gamma;}}(p,t).---\left(8\right)$

在另一个示例性实施例中，上述求和被一个加权求和代替，其中

中的所有权重之和等于一个常数，该常数对于所有新点保持相同。

对于一个单位缩放的解隔行扫描系统来说，为了对电影电视胶片格式的输入视频进行解隔行扫描，需要包括用于执行对前一帧图像和后一帧图像拷贝的两个简单的插值器。我们将拷贝前一帧图像的插值器标记为E_γp，E_γp设置υ_γp(n，t)＝υ(n′，t-1)，其中x(n′，t-1)具有和

相同的空间位置。我们将拷贝后一帧图像的插值器标记为E_γn，E_γn设置υ_γn(n，t)＝υ(n′，t+1)，其中x(n′，t+1)具有和

相同的空间位置。

对于一个解隔行扫描系统来说，缩放系统可包括一个全局电视/电影分类器(309)，该模块为每帧输入图像υ(n，t)输出一个图像类型c(t)，用于确定图像是属于“隔行扫描电视类型(Interlaced Video Type)”序列还是属于“电影电视胶片类型(Telecined Film Type)”序列。“隔行扫描电视类型”类表明该图像是隔行扫描视频的一个场；“电影电视胶片类型”类表明该输入图像是一个电影电视胶片的场。上述类型的每一类又根据图像υ(n，t)是更接近于“前”一帧输入图像还是更接近于“后”一帧图像进一步细分。因此得到四种分类，分别是：“电影电视胶片类型，后”、“电影电视胶片类型、前”、“隔行扫描电视类型，后”、“隔行扫描电视类型，前”。

在第一实施例中，全局电视/电影分类器(309)拥有一个用户界面，允许用户确定该图像是“隔行扫描电视类型”图像还是“电影电视胶片类型”图像。在模块(309)的一个自动化实施例中，通过全局的总变化增量测量进行分类。对于每个新点

总变化增量模块(305)输出对应于每个插值器E_γ的总变化增量ω_γ(n，t)，特别地，当γ＝γ_p且γ＝γ_n时，对应于拷贝前一帧图像和后一帧图像。模块(309)接收这些总变化增量ω_γp(n，t)和ω_γn(n，t)作为输入，并在整个新网格上计算全局总变化增量：

以及

如果

其中η₁>1，典型地，其取值小于10；η₂>1，典型地，其取值小于10；则设置图像类型c(t)为“电影电视胶片类型”图像。否则，对于阈值T，典型地，预先设定的1字节图像的该阈值介于1到50之间，如果

则设置c(t)也为“电影电视胶片类型”图像。否则，设置c(t)为“隔行扫描电视类型”图像。在上述任意一种情况下，如果W_γn(t)<W_γp(t)，则图像的子类型是“后”，表示该图像更接近于后一帧图像；否则，图像的子类型是“前”。

最小损失选择模块(310)接收对每个新点

以及每个插值器E_γ的调整后的区间不敏感损失调整后的总变化增量

以及调整后的方向匹配误差

作为输入。该模块计算校正损失，并在给定图像类型c(t)下，执行条件性最小化操作，以找到最佳插值器的参数φ(n，t)。模块(310)为每个新点

输出最小损失估计 ${\widehat{\mathrm{\&upsi;}}}_{\mathrm{\&phi;}(n,t)}(n,t).$

如果缩放系统不是单位缩放的解隔行扫描系统，则对于每个新点

通过输入总变化增量和方向匹配误差对调整后的不敏感损失进行校正：

${\stackrel{\&OverBar;}{l}}_{\mathrm{\&gamma;}}(n,t)={\hat{l}}_{\mathrm{\&gamma;}}(n,t)+\mathrm{\&lambda;}{\hat{w}}_{\mathrm{\&gamma;}}(n,t)+\mathrm{\&mu;}{\hat{e}}_{\mathrm{\&gamma;}}(n,t),$

其中，λ和μ是两个校正常数，它们的典型选择是介于1到10之间的数。最小损失选择模块(310)找到参数ξ，使得不包括这两个拷贝插值器的校正损失最小：

${\stackrel{\&OverBar;}{l}}_{\mathrm{\&xi;}}(n,t)=\underset{\mathrm{\&gamma;}\&NotEqual;{\mathrm{\&gamma;}}_p,\mathrm{\&gamma;}\&NotEqual;{\mathrm{\&gamma;}}_n}{\underset{\mathrm{\&gamma;}\&Element;\mathrm{\&Gamma;}}{\min }}{\stackrel{\&OverBar;}{l}}_{\mathrm{\&gamma;}}(n,t)---\left(9\right)$

其中，设置φ(n，t)＝ξ。

如果缩放系统是单位缩放的解隔行扫描系统，则最佳插值器的选择依赖于全局电视/电影分类器(309)的输出。如果图像类型c(t)是“电影电视胶片类型，后”，则设置φ(n，t)＝γ_n，其对应于从后一帧图像的拷贝。如果图像类型c(t)是“电影电视胶片类型，前”，则设置φ(n，t)＝γ_p，其对应于从前一帧图像的拷贝。如果图像类型是“隔行扫描电视类型”，则根据公式(9)计算下标为ξ的插值器的最小损失。如果图像类型c(t)是“隔行扫描电视类型，后”，则最佳插值器与本地的电影电视胶片序列的从后一帧图像插值器的拷贝进行比较。如果

${\hat{l}}_{\mathrm{\&xi;}}(n,t)+\mathrm{\&lambda;}\&prime;{\hat{w}}_{\mathrm{\&xi;}}(n,t)<{\hat{l}}_{{\mathrm{\&gamma;}}_n}(n,t)+\mathrm{\&lambda;}\&prime;{\widehat{\mathrm{\&omega;}}}_{{\mathrm{\&gamma;}}_n}(n,t)$

其中，λ′是校正常数，则φ(n，t)＝ξ，否则φ(n，t)＝γ_n。典型地，选择λ′介于1到10之间。相似地，如果图像类型c(t)是“隔行扫描电视类型，前”，则当

${\hat{l}}_{\mathrm{\&xi;}}(n,t)+\mathrm{\&lambda;}\&prime;{\hat{w}}_{\mathrm{\&xi;}}(n,t)<{\hat{l}}_{{\mathrm{\&gamma;}}_p}(n,t)+\mathrm{\&lambda;}\&prime;{\widehat{\mathrm{\&omega;}}}_{{\mathrm{\&gamma;}}_p}(n,t)$

其中λ′是校正常数，则φ(n，t)＝ξ，否则φ(n，t)＝γ_p。

如图1和图2所示的装置一样，上述描述的这些装置对视频图像的单个分量进行了处理。

对于多分量图像，可以独立地处理所有分量。本发明中也包括了同时处理所有分量的处理方法，此时，将校正损失模块(310)定义为从每个分量获得的校正损失的加权求和，这样就可以在任何给定的新网格点为所有分量选择相同的最佳插值器E_γ。

本发明可以体现为运行在通用目的微处理器或数字信号处理器上的软件，此时，如图1～3中所描述的各个模块可以理解为是软件模块或程序，或形成软件模块或程序的一部分。本发明也可以用硬件加以实施，例如通过ASIC或FPGA，此时，前面提及的模块可以形成固体组件的一些区域。本发明的这些实施例可以体现在不同形式的装置中，如机顶盒或者高分辨率电视机，其输入隔行扫描的SDTV视频，并输出或显示HDTV视频。本发明也可以体现在上/交叉/下转换器中以修改输入视频的格式，并输出任何指定的视频格式。

以上给出了本发明的示例性实施例的详细描述，不同的变型、修改或者等同的实施方案对于本领域普通技术人员来说都是显而易见的。例如，以上所描述的本发明的参数化插值器模块或最小损失选择模块的不同组成部分用于执行某些指定的功能，本领域普通技术人员在不偏离本发明的精神下，很容易想到用服务模块的其他组成部分或电路执行其中的一些或全部功能。因此，上述对本发明的描述不能被认为是对本发明所要求保护的范围的限制，也即所附的权利要求限定的保护范围。

Claims (16)

1.一种用于处理输入视频信号以得到输出视频信号的数字视频缩放方法，所述输入视频信号在一个空-时输入网格的各个点上具有各自的输入图像值，所述输出视频信号在一个空-时输出网格的各个点上具有各自的输出图像值，该空-时输出网格的各个点包括所述输入网格的点和新点，对于每个所述新点，该方法包括如下步骤：

(a)对所述新点所对应的一个空-时邻域上的输入图像值应用一个预定义的参数化线性插值器的族，以在所述新点上为所述族的每个插值器提供一个插值后的值；

(b)从所述新点的空-时邻域上的输入图像值估计一个与所述新点相关联的值的区间，以使得所述新点上的输出图像值的概率分布被估计在所述值的区间内具有一个全局最大值；

(c)基于一个在与所述新点相关联的值的区间内是常数且最大值的第二概率分布，为所述新点上的每个插值后的值计算一个损失值；

(d)在所述新点的一个空间邻域中，对为所述族中的每个插值器计算得到的损失值进行空间滤波；以及

(e)选择所述族中的一个插值器，该插值器满足基于滤波后的损失值最小化标准，其中，将所选择的插值器的插值后的值作为在所述新点处的输出图像值。

2.根据权利要求1所述的缩放方法，其中在所述新点处为一个插值后的值计算得到的损失值，表示为所述插值后的值相对于所述第二概率分布的负对数似然。

3.根据权利要求1或2所述的缩放方法，其中估计所述新点的值的区间的步骤包括：

(a)将用于估计所述值的区间的所述空-时邻域分割成多个子邻域；

(b)对每个所述子邻域中的输入图像值进行排序；

(c)对每个所述子邻域，从被排序的输入图像值中的两个指定排序的值估计一个部分区间；以及

(d)合并所述多个部分区间，以形成与所述新点相关联的所述值的区间。

4.根据权利要求1至3中任一项所述的缩放方法，其中所述第二概率分布在所述值的区间之外具有指数衰减。

5.根据权利要求1至4中任一项所述的缩放方法，对于每个所述新点以及所述族中的每个插值器，还包括以下步骤：

(a)从所述输入图像值和所述插值后的值的集合中计算一个总变化增量，其中所述插值后的值是在所述新点的一个一维空间邻域上通过所述插值器计算获得；以及

(b)在所述新点的一个空间邻域内，对所述总变化增量进行空间滤波，

其中，为所述新点选择所述族中的一个插值器的所述最小化标准还依赖于滤波后的总变化增量。

6.根据权利要求5所述的缩放方法，其中所述一维空间邻域是一个垂直或水平的空间邻域。

7.根据权利要求5或6所述的缩放方法，其中为所述新点选择所述族中的一个插值器的最小化标准包括所述滤波后的损失值和所述滤波后的总变化增量的加权求和。

8.根据权利要求1至7中任一项所述的缩放方法，其中所述族中的插值器包括参数化方向插值器，用于沿着所述输入网格的各自的参数化空-时方向计算线性插值。

9.根据权利要求8所述的缩放方法，对每个所述新点以及所述族的每个方向插值器，还包括如下步骤：

(a)从沿着与所述插值器对应的空-时方向与所述新点对齐的插值后的输入图像值的差值中，计算得到一个方向匹配误差；以及

(b)在所述新点的一个空间邻域中，对所述方向匹配误差进行空间滤波，

其中，为所述新点选择所述族中的一个插值器的所述最小化标准还依赖于滤波后的方向匹配误差。

10.根据权利要求9所述的缩放方法，其中为所述新点选择所述族中的一个插值器的所述最小化标准包括对所述滤波后的损失值和所述滤波后的方向匹配误差的一个加权求和。

11.根据权利要求5和9所述的缩放方法，其中，为所述新点选择所述族中的一个插值器的所述最小化标准包括对所述滤波后的损失值、所述滤波后的总变化增量以及所述滤波后的方向匹配误差的一个加权求和。

12.根据权利要求1至11中任一项所述的缩放方法，其中所述输入视频信号是隔行扫描的，并且输出视频信号是逐行扫描的。

13.根据权利要求12所述的缩放方法，还包括步骤：

(a)将所述输入视频信号的每幅图像分类为“隔行扫描电视类型”或者“电影电视胶片类型”；

(b)确定所述图像是否更接近于所述输入视频信号的前一帧图像而不接近所述输入视频信号的后一帧图像；

其中，介于类型为“电影电视胶片类型”的连续图像之间的新点的值通过拷贝所述新点位置之前或之后的图像合成，而类型为“隔行扫描电视类型”的新点的值通过选择所述族中的插值器的方式合成。

14.一种用于在电视显示器上显示图像的电视系统，包括用于接收输入视频信号的装置，根据上述权利要求中任一项所述方法的用于处理输入视频信号的装置，以及用于显示由所述处理装置产生的输出视频信号的装置。

15.一种视频缩放设备，包括用于执行根据权利要求1-13中任一项所述的方法的计算机装置。

16.一种计算机程序产品，其特征在于，当在一个计算机处理单元运行所述计算机程序产品时，包括用于执行权利要求1-13中任一项所述的方法的指令。

Images