CN101433093B - 运动补偿的视频空间向上转换 - Google Patents

Abstract

一种用于对视频执行运动补偿的视频空间向上转换的方法。首先，使用空间内插技术，内插连续的场中的水平样本。在其之后，使用运动补偿的去隔行技术，内插相应的垂直样本。这种技术可包括自适应递归的运动补偿的视频空间向上转换，或者使用广义采样定理的自适应递归的运动补偿的视频空间向上转换。本发明可用于转换如移动电话等移动设备上捕获的视频，使得其可以随后适合于在电视上显示。

Description

运动补偿的视频空间向上转换

技术领域

本发明主要涉及视频处理。本发明尤其涉及视频处理中使用运动补偿的视频空间向上转换。

背景技术

视频空间向上转换(V-SUC，video spatial up-conversion)也称为视频分辨率增强。V-SUC用于通过水平和垂直空间内插二者增强任意视频序列的空间分辨率。视频空间向上转换是视频格式转换(VFC)的一个方面，在其中视频信号从一种格式转换为另一种格式。VFC的两个典型方面是视频去隔行(deinterlacing)，也称为视频扫描速率向上转换，和视频图片速率向上转换。去隔行包括通过垂直方向的内插增强视频信号的空间分辨率。视频图片速率向上转换通过时间内插来增强视频信号的图片速率(也称为帧速率)。

在移动电话捕获的视频的TV输出中，需要视频空间向上转换。典型的NTSC TV空间分辨率为640×480或者800×576。相反地，由传统的移动电话所捕获的视频典型具有的空间分辨率为SIF(320×240)、CIF(352×288)或QCIF(176×144)。因此，移动电话捕获的视频在常规TV设备中显示之前，需要增强空间分辨率。另一视频空间向上转换的例子包括标准清晰度TV(SDTV)信号在高清晰度TV(HDTV)设备中的显示。

视频空间向上转换在空间分辨率增强的处理中，主要需要完成两个任务：抗混叠和高空间频率发生，以克服过平滑(over-smoothness)伪像(artifact)。

通过原始连续视频信号的三维(3D)采样，获得数字视频信号。例如，Δx、Δy和T可分别表示水平方向、垂直方向和时间方向中的采样距离，限定了3D采样栅格。在这种情况中，数字视频信号的傅里叶谱是沿着3D采样栅格的连续视频信号的傅里叶谱的多个复制(replication)的集合，该3D采样栅格由采样频率

和

限定，其中

和 $f_s^t=1/T.$ 集中在坐标(0，0，0)处的复制称为基带谱。如果原始连续信号是带宽受限的，并且分别表示为

和

的各个方向上的最大频率满足下面的约束，即

和 $f_{\max }^t\≤f_s^t/2=1/\left(2T\right),$ 那么连续信号可由它的3D样本完全恢复。然后理想的内插过滤对应于全通基带谱，并且其他复制为零输出。如果违反了上述约束，那么邻近的谱复制将会彼此重叠，造成混叠。

当对连续视频信号进行采样时，首先应用抗混叠过滤，以便去除所有大于各个采样频率的一半的频率，避免混叠的问题。但是，对于由相机捕获的渐进扫描视频来说，情况却不是这样的。已经知道，在水平和时间两个方向的采样是与相机结合的扫描格式的部分。因此，在相机的光程中需要理想的抗混叠，这在实现起来特别困难，也特别昂贵。因此，如图1所示，混叠通常出现在f_y-f_t频率空间中。在f_y-f_t频率空间中，谱支持的程度由场景垂直细节确定，而谱定向由垂直运动确定。

当对数字视频信号进行向上采样(upsample)时，理想的内插滤波器将全通没有混叠的基带谱，同时尽可能地抑制混叠部分。如图1(b)中所示，如果存在垂直运动，则应当运动补偿用于内插的理想的低通滤波器，以有效地提取没有混叠的基带谱。

相反地，在图像采集处理之后才实现水平采样。由于这个原因，在水平方向上，混叠过滤可以在采样之前实施。对于视频空间向上转换来说，这意味着水平方向和垂直方向上的内插应当分别对待。由于向上采样处理中的混叠，高频成分在采样处理中被滤出，或者被抑制，因此空间向上转换后的视频信号缺乏高频成分，导致出现模糊或过平滑伪像。许多空间滤波器已设计为在空间内插期间增加高频成分。

用于视频空间向上转换的传统技术主要通过基于逐帧的空间内插来实现。由于这个原因，用于2D静态图像的空间内插技术已直接扩展到用于视频信号，其中完全忽略了数字视频不同帧之间的相互关联。

使用有限脉冲响应(FIR)过滤的空间内插是最常用的技术，其中在静态图像的水平方向和垂直方向二者上都应用图像独立的FIR滤波器。各种内插FIR滤波器设计的典型例子如双线性滤波器、双三次滤波器、双三次样条滤波器、高斯滤波器和Lanczos滤波器。这些FIR滤波器主要通过不同的通带和阻带频率以及滤波器内核的长度来彼此区分。这些FIR滤波器设计的主要目标是全通不含混叠的基带谱，抑制混叠谱成分，并增加高频成分，来保持如边缘等图像细节。如所提到的，通常在水平采样之前使用适当的抗混叠，但不在垂直采样中使用，因此建议对于水平内插和垂直内插使用不同的滤波器。

对于图像空间内插，也开发了基于图像内容的滤波器。一类这种滤波器称为维纳滤波器，该滤波器为线性滤波器，其目标在于最小均方误差(MSE)。这些种类滤波器的系数来自于局部图像内容，因此适用于局部图像特性。其他的图像空间内插技术也是现有技术中已知的。这些技术包括新边缘定向内插(NEDI，New Edge-DirectedInterpolation)，其利用了跨越图像内容不同分辨率的几何二元性；还有自适应二次(AQua)图像内插，其基于最佳恢复原理，并可用于允许通过任意因子的图像内插。已经看到，通常较长的FIR滤波器内核或者图像独立滤波器是优选的。

然而，对于在基于逐帧的视频空间向上转换中使用空间内插的技术，常常忽略了时间方向中沿着运动轨道的关联性。已经知道，对于视频空间向上转换的使用，已通过考虑运动补偿对NEDI进行扩展。但是，这种运动补偿的考虑限定为特定示意的结构。此外，对于“超分辨率”已考虑了运动补偿，超分辨率是最近出现的应用，其目标也在于增强任意视频信号的空间分辨率。但是，超分辨率在理念上与视频空间向上转换显著不同，超分辨率的目标在于从给出的视频序列中以增强的空间分辨率产生一个或有限数目图像集。相反地，视频空间向上转换的目标在于增强视频序列中每个图片的空间分辨率。仅允许有效的视频空间向上转换技术使用有限数量的相邻帧来增强当前帧的分辨率，并且计算的复杂性应该适当地维持较低。因此，运动补偿的视频空间向上转换的概念没有被广泛验证。

发明内容

本发明包括有效的运动补偿的视频向上转换技术的设计，采用了视频空间向上转换与视频去隔行之间联系的优点。特别是，本发明包括这样一种想法，对于视频空间向上转换的两个空间方向中的内插分别对待，并且在垂直方向的内插中使用运动补偿技术。

本发明解决视频空间向上转换的空间分辨率增强处理中涉及的两个主要任务。特别是，本发明涉及了抗混叠和高空间频率发生两者，其用于克服使用传统方法时将会存在的过平滑伪像。利用本发明，通过水平和垂直两方向中的缩放比例因数2，增强了视频分辨率。

结合附图，通过下面详细的说明，本发明的这些以及其他优点和特征将与其结构和操作方法一起变得更加清楚，其中在下面所述的几个附图中，相同的元件具有相同的附图标记。

附图说明

图1(a)是对于具有垂直运动的渐进扫描视频的f_y-f_t频率空间的表示，图1(b)是对于不具有垂直运动的渐进扫描视频的f_y-f_t频率空间的表示；

图2表示视频去隔行的三维采样栅格；

图3表示视频空间向上转换的三维采样栅格；

图4(a)示出了使用具有视频去隔行的运动补偿的样本的垂直内插例子，图4(b)示出了使用具有视频空间向上转换的运动补偿的样本的垂直内插例子；

图5表示视频空间向上转换的四种类型样本；

图6表示使用广义采样定理(GST)的运动补偿的内插；

图7是可结合本发明原理的电子设备的透视图；以及

图8示意性表示了图7的电子设备的电路。

具体实施方式

本发明中，涉及了视频空间向上转换与视频去隔行之间的紧密联系。这很重要，因为一旦视频格式转换(VFC)的这两个方面之间的相似处清楚了，则视频去隔行领域中的结果就可以直接转移到视频空间向上转换领域。特别是，通过扩展相应的运动补偿的视频去隔行算法，就可以容易地开发出运动补偿的视频向上转换技术。

视频信号独特并重要的特征就是运动。在视频空间分辨率增强的任务中，考虑沿着运动轨道的关联性是非常有益的。但是，在构建高质量的空间分辨率增强的视频中，比起不使用时间关联而对这种关联性的考虑，运动补偿的视频空间向上转换技术具有更大的优点。通过视频去隔行中运动补偿的优点和视频空间向上转换与视频去隔行之间的紧密联系，可以支持这一事实。

本发明包括这一概念，通过采用视频空间向上转换与视频去隔行之间联系的优点，来设计有效的运动补偿的视频向上转换技术。特别是，本发明包括这一想法，对于视频空间向上转换的两个空间方向中的内插不同地对待，并将运动补偿技术用于垂直方向中的内插。移动视觉内容的TV输出需要视频空间向上转换。随着移动视频内容服务和传统的TV业务的整合的迅速发展，在消费者电子市场，对有效的视频空间向上转换的要求变得更高了。

对于运动补偿的视频空间向上转换，需要精确的运动矢量。应当注意，视频预测编码的运动与视频格式转换(VFC)的运动是不同的。在视频预测编码中，一个块的运动矢量不需要与相邻块的运动矢量相关联。另一方面，对于视频格式转换来说，假设识别了真实的运动，其中属于一个目标的相邻块的运动矢量应当彼此相关联。对于视频空间向上转换来说，这种运动可以通过与视频去隔行或视频帧速率向上转换中实行的运动估算操作类似的方式获得。由于需要运动估算，因此运动补偿的视频空间向上转换技术比非运动补偿的技术需要更多的计算资源。但是，运动估算器是现有技术中已知的，并且可以用于视频去隔行。因此，对于视频空间向上转换中的运动估算来说，附加的成本是有限的。

根据本发明，如图2所示，视频去隔行用于增强视频垂直分辨率。相反，视频空间向上转换用来增强水平和垂直两方向的视频分辨率。这表示在图3中。

如图3所示，对于视频空间向上转换，如果用空间距离(

，

)采样原始视频信号，那么可以将3D采样栅格转换为具有相同时间采样距离，而空间采样距离分别为

和的栅格。如果首先增强水平分辨率，即，首先通过使用FIR内插过滤内插水平样本，那么内插的水平样本可以递归地使用于垂直分辨率的增强。与图2中用于隔行的视频的3D采样栅格相比，可以通过类似的方式实现图3中视频空间向上转换的垂直样本的内插，除了视频空间向上转换中相邻帧中的“原始”垂直采样线位于相同的位置，而视频去隔行情形中是隔行的。因此，由3D采样栅格的透视图中建立了视频空间向上转换与视频去隔行之间的紧密联系。

运动补偿去隔行技术将来自于前一帧(或者来自于前一帧和后一帧二者)的运动补偿的样本作为当前帧的内插样本的候选。应当注意，虽然在此讨论的例子特别称为帧，但是各种不同类型的场也可以与本发明结合使用，其可包括多帧、部分帧或者信息的其他集合。由于视频空间向上转换与视频去隔行之间的联系，本发明中运动补偿的视频去隔行技术应当能够修改并扩展，用于视频空间向上转换中。

下面是一个简单的例子，显示出本发明一个实施例的实施。对于如图4(a)所示的视频去隔行，如果视频信号仅包含具有均匀垂直速度的对象，

k∈Z，那么内插样本可以由前一帧的运动补偿的样本简单地取代。类似地，对于如图4(b)所示的视频空间向上转换，如果视频信号仅包含垂直速率，k∈Z，那么内插信号也可以简单地由前一帧的运动补偿的样本取代。由于运动补偿操作在视频去隔行中的作用，考虑到沿着视频序列运动轨道的时间关联性，在视频空间向上转换中使用运动补偿也是很有益的。

通常，根据本发明的运动补偿的视频空间向上转换方法可以通过两个步骤实现。第一步包括使用各种广泛的空间内插技术内插水平样本。第二步包括通过使用与运动补偿去隔行类似的技术内插垂直采样。对于水平方向和垂直方向中的空间内插允许使用不同的方法，因为水平采样是在图像采集过程之后实施的，而垂直采样是作为相机图像采集处理的一部分实现的。视频去隔行中运动补偿的成功，以及视频格式转换(VFC)这两方面之间的紧密联系，意味着视频空间向上转换中运动补偿的成功。

在实现本发明过程的不同实施例中，选择了两个视频去隔行方法。这些方法已显示出非常好的去隔行视频质量。这些方法用来开发两个运动补偿的视频空间向上转换技术。

算法I：自适应递归的运动补偿的视频空间向上转换

由自适应递归的视频去隔行技术扩展，可以实现下面自适应递归的运动补偿的(ARMC)视频空间向上转换技术：

$F_{\mathrm{SUC}}(\stackrel{\→}{x},n)=\left\{\begin{array}{c}{\mathrm{\α}}_A(\stackrel{\→}{x},n)F(\stackrel{\→}{x},n)+(1-{\mathrm{\α}}_A(\stackrel{\→}{x},n))F_{\mathrm{SUC}}(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n),n-1),(x\mathrm{mod}2,y\mathrm{mod}2)=\left(\mathrm{0,0}\right)\\ {\mathrm{\α}}_D(\stackrel{\→}{x},n)F_{\mathrm{init}}(\stackrel{\→}{x},n)+(1-{\mathrm{\α}}_B(\stackrel{\→}{x},n))F_{\mathrm{SUC}}(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n),n-1),(x\mathrm{mod}2,y\mathrm{mod}2)=(1,0)\\ {\mathrm{\α}}_C(\stackrel{\→}{x},n)F_{\mathrm{init}}(\stackrel{\→}{x},n)+(1-{\mathrm{\α}}_C(\stackrel{\→}{x},n))F_{\mathrm{SUC}}(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n),n-1),(x\mathrm{mod}2,y\mathrm{mod}2)=(0,1)\\ {\mathrm{\α}}_D(\stackrel{\→}{x},n)F_{\mathrm{init}}(\stackrel{\→}{x},n)+(1-{\mathrm{\α}}_D(\stackrel{\→}{x},n))F_{\mathrm{SUC}}(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n),n-1),(x\mathrm{mod}2,y\mathrm{mod}2)=\left(\mathrm{1,1}\right)\end{array}\right.---\left(1\right)$

F(

，n)、F_init(

，n)和FSUC(

，n)分别表示原始样本、初始内插样本和视频空间向上转换后的最终内插样本，它们均是在离散空间坐标x＝(x，y)^T和时间坐标n处。(·)^T表示矢量/矩阵的转置。如图5中所示的3D采样栅格中的四类坐标由“A”、“B”、“C”和“D”标记，“A”用于(xmod2，ymod2)＝(0，0)，“B”用于(xmod2，ymod2)＝(1，0)，“C”用于(xmod2，ymod2)＝(0，1)，“D”用于(xmod2，ymod2)＝(1，1)。 $\stackrel{\→}{d}(\stackrel{\→}{x},n)={(d_x(\stackrel{\→}{x},n),d_y(\stackrel{\→}{x},n))}^T$ 表示位于(

，n)中的样本的运动矢量。

任一空间内插技术可以用于产生B、C和D位置处的初始内插样本F_init(

，n)。对于水平样本(B)和垂直样本(C和D)的内插，可以选择不同的FIR滤波器。

对于原始样本A，通过运动矢量的可靠性来确定α_A(

，n)：

${\mathrm{\α}}_A(\stackrel{\→}{x},n)=\mathrm{CLIP}(0,c\sqrt{|F(\stackrel{\→}{x},n)-F_{\mathrm{SUC}}(\stackrel{\→}{x}-\stackrel{\→}{d}(\stackrel{\→}{x},n),n-1)|},1)---\left(2\right)$

其中

$\mathrm{CLIP}(m_1,a,m_2)=\left\{\begin{array}{cc}a& m_1\&le;a\&le;m_2\\ m_1& a<m_1\\ m_2& a>m_2\end{array}\right.$

c是标量。

这样选择α_B(

，n)：沿着样本B运动轨道的非静态像素与视频空间向上转换后它的水平邻近像素相同，

${\mathrm{\&alpha;}}_B(\stackrel{\&RightArrow;}{x},n)=\mathrm{CLIP}(0,\frac{|{\mathrm{\&beta;}}_{B1}+{\mathrm{\&beta;}}_{B2}|/2+\mathrm{\&delta;}}{|F_{\mathrm{init}}(\stackrel{\&RightArrow;}{x},n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|+\mathrm{\&delta;}},1)---\left(3\right)$

公式(3)中，δ是防止分母为零的较小常量，并且

${\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x={\left(\mathrm{1,0}\right)}^T,$

${\mathrm{\&beta;}}_{B1}=|F(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|,$

${\mathrm{\&beta;}}_{B2}=|F(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|.$

这样选择α_C(

，n)：沿着样本C运动轨道的非静态像素与视频空间向上转换后它的垂直邻近像素相同，

${\mathrm{\&alpha;}}_C(\stackrel{\&RightArrow;}{x},n)=\mathrm{CLIP}(0,\frac{|{\mathrm{\&beta;}}_{C1}+{\mathrm{\&beta;}}_{C2}|/2+\mathrm{\&delta;}}{|F_{\mathrm{init}}(\stackrel{\&RightArrow;}{x},n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|+\mathrm{\&delta;}},1)---\left(4\right)$

公式(4)中，δ是防止分母为零的较小常量，并且

${\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y={\left(\mathrm{0,1}\right)}^T,$

${\mathrm{\&beta;}}_{C1}=|F(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|,$

${\mathrm{\&beta;}}_{C2}=|F(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|.$

这样选择α_D(

，n)：沿着样本D运动轨道的非静态像素与视频空间向上转换后它的对角邻近像素相同，

${\mathrm{\&alpha;}}_D(\stackrel{\&RightArrow;}{x},n)=\mathrm{CLIP}(0,\frac{|{\mathrm{\&beta;}}_{D1}+{\mathrm{\&beta;}}_{D2}+{\mathrm{\&beta;}}_{D3}+{\mathrm{\&beta;}}_{D4}|/4+\mathrm{\&delta;}}{|F_{\mathrm{init}}(\stackrel{\&RightArrow;}{x},n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|+\mathrm{\&delta;}},1)---\left(5\right)$

公式(5)中，δ是防止分母为零的较小常量，并且

${\mathrm{\&beta;}}_{D1}=|F(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|,$

${\mathrm{\&beta;}}_{D2}=|F(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|,$

${\mathrm{\&beta;}}_{D3}=|F(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|,$

${\mathrm{\&beta;}}_{D4}=|F(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)-F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_x+{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n),n-1)|.$

算法II：使用广义采样定理(GST)的自适应递归的视频空间向 上转换

具有最大频率f_max的连续带宽受限信号可以用至少为f_s＝2f_max的采样频率由离散样本完全恢复。由Yen在1956年开发的广义采样定理(GST)已显示，具有最大频率f_max的任一带宽受限信号可以由它的离散样本的N个不相交集来完全恢复，获得每一集的采样频率至少为f_s＝2f_max/N。在这种情况下，“不相交”指的是时间/空间域中的平移，或者等同地，频率域中的相位差。

如图6中所示，其中仅考虑垂直方向上的内插，对于帧n中高分辨率样本的内插，可获得样本的两个不相交集，只要运动矢量的垂直分量不等于2k，k∈Z。一个集由帧n中的原始样本构成，另一集由帧(n-1)中的运动补偿的样本构成。如果最大垂直频率满足 $f_{\max }^y\&le;2f_s^y/2=f_s^y,$ 那么原始连续信号可以由这两个样本集准确地恢复，并且可以通过对重新构建的信号的重新采样，进一步获得内插样本。这是在内插中使用GST的基本想法。

GST已经在视频去隔行中成功地使用了。由已知的去隔行的自适应递归GST算法扩展，使用GST的如下自适应递归运动补偿方案(ARMC-GST)可以用于视频空间向上转换。ARMC-GST是两步算法。第一步包括水平内插。在水平方向的内插中设计了优化的FIR滤波器，这是通常理解的1D内插问题。经过水平内插，获得B位置的样本。第二步包括垂直内插。垂直内插如下实现，以获得C和D位置的样本：

$F_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x},n)=\left\{\begin{array}{c}{\mathrm{\&alpha;}}_C(\stackrel{\&RightArrow;}{x},n)F_{\mathrm{init}}(\stackrel{\&RightArrow;}{x},n)+(1-{\mathrm{\&alpha;}}_C(\stackrel{\&RightArrow;}{x},n))F_{\mathrm{GST}}(\stackrel{\&RightArrow;}{x},n),(x\mathrm{mod}2,y\mathrm{mod}2)=\left(\mathrm{0,1}\right)\\ {\mathrm{\&alpha;}}_D(\stackrel{\&RightArrow;}{x},n)F_{\mathrm{init}}(\stackrel{\&RightArrow;}{x},n)+(1-{\mathrm{\&alpha;}}_D(\stackrel{\&RightArrow;}{x},n))F_{\mathrm{GST}}(\stackrel{\&RightArrow;}{x},n),(x\mathrm{mod}2,y\mathrm{mod}2)=\left(\mathrm{1,1}\right)\end{array}\right.---\left(6\right)$

公式(6)中，α_C(

，n)由公式(4)获得，α_D(

，n)由公式(5)获得，F_init(

，n)由任一空间内插技术获得，并且

$F_{\mathrm{GST}}(\stackrel{\&RightArrow;}{x},n)=\underset{k}{\mathrm{\&Sigma;}}F(\stackrel{\&RightArrow;}{x}-(2k+1){\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n)h_1(k,d_y(\stackrel{\&RightArrow;}{x},n))+\underset{m}{\mathrm{\&Sigma;}}{F}_{\mathrm{SUC}}(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{d}(\stackrel{\&RightArrow;}{x},n)-(2m+1){\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_y,n-1)h_2(m,d_y(\stackrel{\&RightArrow;}{x},n))---\left(7\right)$

公式(7)中，h₁(k，d_y(

，n))和h₂(m，d_y(

，n))，k，m∈Z，是垂直方向的两个FIR滤波器，作为运动矢量垂直分量的函数。FIR滤波器的设计与使用GST的视频去隔行中它们的设计完全相同。如参考资料中所指出的，已知在由它的两个不相交采样集恢复连续信号时，如果满足条件 $f_{\max }^y\&le;2f_s^y/2=f_s^y,$ 将仅由两个相邻谱复制的干涉产生每个采样集的混叠。因此，原始连续信号的谱可以近似表示为带有复权重的两个采样集的谱的线性组合。然后，通过对重新构建的连续信号的重新采样来获得内插样本。

图7和图8显示了一个可以在其上实施本发明的代表性的电子设备12。图7和图8中所示的电子设备12包含移动电话。但是，应当非常注意，本发明不限于电子设备的任何类型，本发明能够结合到如个人数字助理、个人计算机、集成消息收发设备以及种类广泛的其他设备等设备中。应当理解，本发明能够结合在种类广泛的电子设备12中。

图7和图8的电子设备12包括壳体30、液晶显示器形式的显示器32、键盘34、麦克风36、耳机38、电池40和红外端口42、天线44、根据本发明一个实施例的通用集成电路卡(UICC)形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。应当注意，控制器56与相机处理器116可以是相同的单元，也可以是不同的单元。存储器58可以与本发明各种实施例中的主存储器单元114为相同组件，也可以是不同组件。单独的电路和部件均是现有技术中已知的类型，例如移动电话Nokia范围内的。

本发明可以作为移动终端的TV输出系统的一部分来实施。这种系统可以允许用户在独立TV设备中显示由手持装置所捕获的视频。

本发明以方法步骤的通用环境来描述，其可以在一个实施例中由程序产品来实施，该程序产品包括在网路环境中由计算机执行的如程序代码等计算机可执行的指令。

通常，程序模块包括例程、程序、对象、组件、数据结构等，执行特定的任务，或实施特定的抽象数据类型。计算机可执行的指令、关联数据结构和程序模块代表程序代码的实例，用于执行这里所披露的方法步骤。这种可执行的指令或关联数据结构的特定序列代表相应动作的实例，用于实施这些步骤所描述的功能。

本发明的软件和网络的实施可以用带有基于规则的逻辑和其他逻辑的标准编程技术来实现，从而完成各种数据库的搜索步骤、关联步骤、比较步骤和判断步骤。还应当注意，在此以及权利要求中所使用的词语“组件”和“模块”，意在包含使用一个或多个软件代码行的实施、和/或硬件实施、和/或用于接收手动输入的设备。

本发明的上述实施例是以示范和说明的目的呈现的。并不企图穷尽或将本发明限制在所披露的确切形式，按照上述教导可以进行修改和变化，或者可以由本发明的实践获得修改和变化。实施例的选择和描述是为了解释本发明的原理和实际应用，使得本领域技术人员能够以各种实施例和适于所预期的特殊使用的各种修改来利用本发明。

Claims (14)

1.一种用于对视频执行运动补偿的视频空间向上转换的方法，该视频包括第一和第二场，第一和第二场中的每个场都包括多个水平样本和多个垂直样本，该方法包括：

使用空间内插技术内插第一场和第二场中的多个水平样本；以及

使用运动补偿的去隔行技术内插第一场和第二场中的多个垂直样本，其中来自所述第一和第二场中的每个场的至少一个垂直样本定位在相同垂直位置。

2.根据权利要求1所述的方法，其中运动补偿的去隔行技术包括自适应递归的运动补偿的视频空间向上转换。

3.根据权利要求1所述的方法，其中运动补偿的去隔行技术包括使用广义采样定理的自适应递归的视频空间向上转换。

4.根据权利要求1所述的方法，其中在多个水平样本的内插中使用优化的有限脉冲响应滤波器。

5.根据权利要求1所述的方法，其中在多个垂直样本的内插中使用至少一个优化的有限脉冲响应滤波器。

6.根据权利要求1所述的方法，其中由移动设备捕获视频，该方法进一步包括在内插了多个水平样本和多个垂直样本之后，在电视上显示视频。

7.根据权利要求1所述的方法，其中视频旨在用于非高清晰度电视，以及该方法进一步包括在内插了多个水平样本和多个垂直样本之后，在高清晰度电视上显示视频。

8.一种用于对视频执行运动补偿的视频空间向上转换的设备，该视频包括第一和第二场，第一和第二场中的每个场都包括多个水平样本和多个垂直样本，该设备包括：

用于使用空间内插技术内插第一场和第二场中的多个水平样本的装置；以及

用于使用运动补偿的去隔行技术内插第一场和第二场中的多个垂直样本的装置，其中来自所述第一和第二场中的每个场的至少一个垂直样本定位在相同垂直位置。

9.根据权利要求8所述的设备，其中运动补偿的去隔行技术包括自适应递归的运动补偿的视频空间向上转换。

10.根据权利要求8所述的设备，其中运动补偿的去隔行技术包括使用广义采样定理的自适应递归的视频空间向上转换。

11.根据权利要求8所述的设备，其中在多个水平样本的内插中使用优化的有限脉冲响应滤波器。

12.根据权利要求8所述的设备，其中在多个垂直样本的内插中使用至少一个优化的有限脉冲响应滤波器。

13.根据权利要求8所述的设备，其中由移动设备捕获视频，以及该设备进一步包括用于在内插了多个水平样本和多个垂直样本之后在电视上显示视频的装置。

14.根据权利要求8所述的设备，其中视频旨在用于非高清晰度电视，以及该设备进一步包括用于在内插了多个水平样本和多个垂直样本之后在高清晰度电视上显示视频的装置。

Images