CN1846434A - 视频信号的鲁棒去隔行 - Google Patents

Abstract

本发明涉及一种用于去隔行视频信号的方法，其包括：从第一组像素和第二组像素内插(24)第一像素样本；从所述第一组像素和第三组像素内插(26)第二像素样本；从所述第一组像素的一个像素计算(28)第三像素样本；以及计算(30)所述第一像素样本和所述第二像素样本之间的关系。为了改进内插并且从而改进图像质量，提出基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

Description

视频信号的鲁棒去隔行

本发明涉及一种用于去隔行一个视频信号的方法，其中从第一组像素和第二组像素内插第一像素样本，并且从所述第一组像素和第三组像素内插第二像素样本。本发明还涉及一种显示设备和一种用于去隔行视频信号的计算机程序。

去隔行是高端视频显示系统的主要的分辨率确定方式，重要的新兴的非线性缩放技术仅仅可以向所述系统添加更精细的细节。随着新技术(比如LCD和PDP)的出现，在图像分辨率中的限制不再存在于显示设备本身中，而是存在于信源或传输系统中。同时，这些显示器需要逐行扫描的视频输入。因此，高质量的去隔行是在这样的显示设备中达到优越的图像质量的重要的先决条件。

去隔行的第一步从P.Delonge等人的文章“Improved Interpolation，Motion Estimation and Compensation for Interlaced Pictures(用于隔行图像的改进的内插、运动估计和补偿)”(IEEE Tr.on Im.Proc.，第三卷第五期，1994年9月，第482页至第491页)中可以得知。

该公开的方法也被称为一般采样原理(GST)去隔行方法。该方法在图1中示出。图1示出在时间连续的n-1到n中、在偶数垂直位置y+4到y-4上的垂直线中的像素2的场。为了去隔行，需要两个独立的像素样本组。通过将像素2从先前场n-1向当前时间事例n移动运动矢量4而到达运动补偿的像素样本6来建立第一组独立的像素样本。第二组像素8位于奇数垂直线y+3到y-3上。除非运动矢量6足够小，例如除非所谓的“临界速度”出现(也就是导致两个连续像素场之间的奇整数像素位移的速度)，像素样本6和像素8可以说是独立的。通过从当前场加权像素样本6和像素8，输出像素样本10作为样本的加权和(GST滤波器)而得到。

在数学上，输出样本像素10可以如下描述。将 用作图像号n中的位置 处的像素的亮度值，并且将F_i用作缺少的线(例如奇数线)处的内插的像素的亮度值，那么GST去隔行方法的输出是：

$F_i(\stackrel{\→}{x},n)={\mathrm{\Σ}}_{k}F(\stackrel{\→}{x}-(2k+1){\stackrel{\→}{u}}_y,n)h_1(k,{\mathrm{\δ}}_y)+$

${\mathrm{\Σ}}_{m}F(\stackrel{\→}{x}-\stackrel{\→}{e}(\stackrel{\→}{x},n)-2m{\stackrel{\→}{u}}_y,n-1)h_2(m,{\mathrm{\δ}}_y)$

其中用h₁和h₂定义GST滤波器系数。第一项表示当前场n，第二项表示先前场n-1。运动矢量

被定义为：

$\stackrel{\→}{e}(\stackrel{\→}{x},n)=\left(\begin{array}{c}{d}_x(\stackrel{\→}{x},n)\\ 2\mathrm{Round}\left(\frac{d_y(\stackrel{\→}{x},n)}{2}\right)\end{array}\right)$

其中用Round()来舍入到最接近的整数值，并且垂直运动部分δ_y被定义为：

${\mathrm{\δ}}_y(\stackrel{\→}{x},n)=|d_y(\stackrel{\→}{x},n)-2\mathrm{Round}\left(\frac{d_y(\stackrel{\→}{x},n)}{2}\right)|$

该GST滤波器由线性GST滤波器h₁和h₂构成，其取决于垂直运动部分

和子像素内插器类型。

Delonge提出，只使用垂直内插器，并且因此只在y方向中使用内插。如果逐行图像F^p是可获得的，则用于偶数线的F^e能从奇数线的亮度值F^o确定：

F^e(z，n)＝(F^p(z，n-1)H(z))_e＝

F^o(z，n-1)H^o(z)+F^e(z，n-1)H^e(z)

在z域中，F^e是偶数图像，而F^o是奇数图像。于是F^o可被重写为：

$F^o(z,n-1)=\frac{F^o(z,n)-F^o(z,n-1)H^o\left(z\right)}{H^e\left(z\right)}$

其导致：

F^e(z，n)＝H，(z)F^o(z，n)+H₂(z)F^e(z，n-1)

线性内插器可被写作：

$H_1\left(z\right)=\frac{H^o\left(z\right)}{H^e\left(z\right)}$

当使用Sinc波形内插器来导出滤波器系数时，所述线性内插器H₁(z)和H₂(z)在k域中可被写作：

$h_1\left(k\right)={(-1)}^k\sin c\left(\mathrm{\π}(k-\frac{1}{2})\right)\frac{\sin \left(\mathrm{\π}{\mathrm{\δ}}_y\right)}{\cos \left(\mathrm{\π}{\mathrm{\δ}}_y\right)}$

$h_2\left(k\right)={(-1)}^k\frac{\sin c\left(\mathrm{\π}(k+{\mathrm{\δ}}_y)\right)}{\cos \left(n{\mathrm{\δ}}_y\right)}$

当使用一阶线性内插器时，GST滤波器有三个抽头。该内插器使用帧栅格上的两个相邻像素。通过将样本从先前时间帧移动到当前时间帧来导出滤波器系数。这样，用于一阶线性内插器的线性区域在经运动补偿的样本的位置处开始。当将该线性区域居中到最近的原始和经运动补偿的样本的中心时，所得到的GST滤波器可以有四个抽头。因此，GST滤波器的鲁棒性增加了。这也可以从E.B.Belles和G.deHaan的文章“De-interlacing：a key technology for scan rate conversion(去隔行：用于扫描率转换的关键技术)”(Elsevier Science book series“Advances in Image Communications(图像通信中的进步)”，2000年第9卷)中得知。

在不正确的运动矢量的情况下，已经提出使用一种中值滤波器。该中值滤波器允许消除由GST隔行方法产生的输出信号中的轮廓(outliner)。

但是，当应用一个中值滤波器时，GST内插器在具有正确运动矢量的区域中性能降低了。为了减少这种性能降低，已经提出选择地施加保护(E.B.Belles和G.de Haan的文章“De-interlacing：a keytechnology for scan rate conversion(去隔行：用于扫描率转换的关键技术)”(Elsevier Science book series“Advances in ImageCommunications(图像通信中的进步)”，2000年第9卷))。具有接近临界速度的区域被中值滤波，而其它区域被GST内插。GST去隔行器在具有接近临界速度的运动矢量的区域中产生伪像。因此，所提出的中值保护器被应用于接近临界的速度，如下所述：

其中F_GST表示GST去隔行器的输出。

该方法的缺点在于，利用当前的GST去隔行器，仅仅将可获得信息的一部分用于内插缺少的像素。由于在视频信号中时空信息是可获得的，所以应该尽可能使用来自不同时间事例和视频信号的不同部分的信息来内插缺少的像素样本。

因此，本发明的一个目的是提供一种更鲁棒的去隔行。本发明的另一目的是使用在视频信号中提供的更多的可获得的信息以用于内插。本发明的另一目的是提供更好的去隔行的结果。

通过一种用于去隔行视频信号的方法来实现这些和其它目的，该方法包括：从第一组像素和第二组像素内插第一像素样本；从所述第一组像素和第三组像素内插第二像素样本；从所述第一组像素的一个像素计算第三像素样本；计算所述第一像素样本和所述第二像素样本之间的关系；以及基于所述第一像素样本、所述第二像素样本、所述第三像素样本和所述第一像素样本与所述第二像素样本之间的关系来计算一个输出像素样本。

一组像素可以是来自视频信号的不同时间或空间事例的像素。内插所述像素样本可以是计算一个加权和、平均和、均方和或像素值之间的任何其它关系。

通过使用不同像素组的像素值，计算内插的输出像素的误差可以被最小化。从而图像质量可以得到增强。

通过使用第一像素样本和第二像素样本之间的关系，这些像素样本之间的差异可以被估计。当计算输出像素样本时，所述差异可以被用于加权所述像素样本。所述差异可以是运动矢量的正确性的指标。

权利要求2的方法允许使用视频图像的不同时间事例。从先前和当前时间事例计算的输出样本与从当前和下一时间事例计算的输出样本之间的差异可以被比较。在所述样本不同的情况下，运动矢量可能至少是局部不可靠的。两个所计算的像素样本之间的差异提供针对每个内插的像素的质量指标。这允许在其中必须进行保护的区域和其中输出是正确的因而不需要保护的区域之间进行区分。

各像素组之间的时间关系可以根据权利要求3设置。在这种情况下，优选地使用三个连续的图像。

根据权利要求4的计算允许关于第一组像素和第二组像素中的像素的像素值之间的绝对差来计算输出像素样本。

权利要求5的求平均允许将第三像素样本计算为一个平均值。该平均值最小化由于所述像素组中的轮廓像素值而产生的误差。

使用根据权利要求6的垂直相邻像素允许基于与输出像素垂直相邻的像素值来计算输出像素。

根据权利要求7或8的运动矢量允许基于运动信息来内插第一像素样本。运动矢量允许内插的运动补偿。利用运动矢量，图像中的运动可以被估计，内插也可以使用该运动信息。内插结果同样可以基于运动信息。

通过计算运动矢量，根据权利要求9的方法是优选的。可以使用图像的不同空间或时间事例来估计运动矢量。取决于所使用的值，与图像中的实际运动或多或少地拟合的不同的运动矢量可以被计算。

通过根据权利要求10使用两个不同的、独立的运动矢量，预测误差可以被最小化。

权利要求11和12的求平均最小化内插误差。使用越多的值，内插的结果越好。当使用平均值和绝对差时，像素值中的轮廓可以被解决。

本发明的另一方面是一种用于显示去隔行的视频信号的显示设备，其包括：第一内插装置，用于从第一组像素和第二组像素内插第一像素样本；第二内插装置，用于从所述第一组像素和第三组像素内插第二像素样本；第一计算装置，用于从所述第一组像素的一个像素计算第三像素样本；第二计算装置，用于计算所述第一像素样本和所述第二像素样本之间的关系；以及第三计算装置，用于基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

本发明的另一方面是一种用于去隔行视频信号的计算机程序，其适于使处理器执行以下操作：从第一组像素和第二组像素内插第一像素样本；从所述第一组像素和第三组像素内插第二像素样本；从所述第一组像素的一个像素计算第三像素样本；计算所述第一像素样本和所述第二像素样本之间的关系；以及基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

参照下面描述的实施例，本发明的这些和其它方面将是明显的并且被说明，其中：

图1示出根据GST去隔行的内插；

图2示出一阶线性内插；

图3示出本发明方法的方框图。

图2示出一阶线性内插器的结果，其中与图1中相同的附图标记表示相同的元素。由于内插的样本像素10是相邻像素的加权和，所以每个像素的权重应该通过内插器来计算。在一阶线性内插器H(z)＝(1-δ_y)+δ_yz^-1(其中0≤δ_y≤1)的情况下，内插器H₁(z)和H₂(z)可以如下给出：

$H_1\left(z\right)=\frac{{\mathrm{\δ}}_y}{1-{\mathrm{\δ}}_y}{z}^{-1}$

$H_2\left(z\right)=(1-{\mathrm{\δ}}_y)-\frac{{\left({\mathrm{\δ}}_y\right)}^2}{1-{\mathrm{\δ}}_y}{z}^{-2}$

运动矢量对于每个像素的加权可能是相关的。在给出每场0.5像素的运动的情况下(也就是δ_y＝0.5)，偶数场F^e(z，n)的逆z变换产生F^e(y，n)的空间-时间表示：

$F^o(y,n)=F^o(y+1,n)+\frac{1}{2}{F}^e(y,n-1)-\frac{1}{2}{F}^e(y+2,n-1)$

如从图2中所示，先前场n-1的相邻像素2用0.5加权，当前场n的相邻像素8用1加权。如图2中示出的一阶线性内插器产生一个三抽头GST滤波器。以上计算假定帧栅格上的两个相邻像素之间的线性。在线性区域以最近的原始和经运动补偿的样本为中心而居中的情况下，所得到的GST滤波器可以具有四个抽头。在这些四抽头GST滤波器中的附加抽头增加了空间相邻的样本值的贡献。被移动过运动矢量的来自当前场和先前/下一时间场的两组独立样本可以用于根据现有技术的、只在垂直方向中的GST滤波。由于内插器只能用在所谓的线性区域上，所以其具有一个像素的尺寸，抽头的数量取决于线性区域的位置。这意味着在垂直方向中的高达四个相邻像素可以用于内插。

图3示出所提出的去隔行方法的实现方式的方框图。其中示出了一个输入信号48、第一场存储器20、第二场存储器22、第一GST滤波器24、第二GST滤波器26、平均装置28、加权装置30以及输出信号72。

输入信号48的至少一部分可以被理解为第二组像素。场存储器20的输出的至少一部分可以被理解为第一组像素，并且场存储器22的输出的至少一部分可以被理解为第三组像素。当新图像被馈送到场存储器20时，先前图像可以已经处于场存储器20的输出处。场存储器20处输出的图像的前一图像可在场存储器22处被输出。在这种情况下，三个时间连续的事例可以被用于计算GST滤波的内插的输出信号。

输入信号48被馈送到场存储器20。在场存储器20中，运动矢量被计算。该运动矢量取决于所述输入信号的一组像素中的像素运动。该运动矢量被馈送到GST滤波器24。同样输入信号48被馈送到GST滤波器24。

所述第一场存储器20的输出被馈送到所述第二场存储器22。在所述第二场存储器中，第二运动矢量被计算。用于该运动矢量的时间事例在时间上接在第一场存储器20的事例后面。因此，由场存储器22计算的运动矢量表示场存储器20中使用的图像后面接着的图像中的一组像素中的运动。该运动矢量被馈送到GST滤波器26。

GST滤波器24基于它的输入信号(即输入信号48)、来自场存储器20的运动矢量和场存储器20的输出来计算GST滤波的内插的图像。因此，该内插使用图像的两个时间事例，第一个直接来自输入信号48，第二个在输入信号48之前的某个时间，特别是在其之前一个图像的时间。另外，运动矢量被使用。GST滤波可以根据图1和2来执行。

GST滤波器26基于它的输入信号(即场存储器20的输出)和场存储器22的输出来计算GST滤波的内插的图像。另外，GST滤波器26使用在场存储器22中计算的运动矢量。GST滤波的内插的输出在时间上在GST滤波器24的输出之前。另外，运动矢量被使用。GST滤波可以根据图1和2来执行。

在线平均装置28中，可以对垂直线上的两个相邻像素值的求平均。这些像素值可以与将被内插的像素值相邻。线平均装置28的输出被馈送到加权装置30。

所述加权装置30的输入是线平均装置28、GST滤波器24和GST滤波器26的结果。在加权装置30中，各输入值被加权，并且各加权值被相加。结果作为输出信号72被输出，其表示去隔行的视频信号。

GST滤波器24的输出可以写作：

$F_{11}(\stackrel{\→}{x},n)={\mathrm{\Σ}}_{k}F(\stackrel{\→}{x}-(2k+1){\stackrel{\→}{u}}_y,n)h_1(k,{\mathrm{\δ}}_y)+$

${\mathrm{\Σ}}_{m}F(\stackrel{\→}{x}-\stackrel{\→}{e}(\stackrel{\→}{x},n)-2m{\stackrel{\→}{u}}_y,n-1)h_2(m,{\mathrm{\δ}}_y)$

GST滤波器26的输出可以写作：

$F_{12}(\stackrel{\→}{x},n)={\mathrm{\Σ}}_{k}F(\stackrel{\→}{x}-(2k+1){\stackrel{\→}{u}}_y,n)h_1(k,-{\mathrm{\δ}}_y)+$

${\mathrm{\Σ}}_{m}F(\stackrel{\→}{x}+\stackrel{\→}{e}(\stackrel{\→}{x},n)-2m{\stackrel{\→}{u}}_y,n+1)h_2(-m,-{\mathrm{\δ}}_y)$

线平均装置的输出可以是：

$\mathrm{QA}(\stackrel{\→}{x},n)=\frac{1}{|F(\stackrel{\→}{x}-\stackrel{\→}{u_y},n)+F(\stackrel{\→}{x}+\stackrel{\→}{u_y},n)|}$

GST滤波器24、26的输出之间的绝对差的倒数可以被理解为质量指标QI：

$\mathrm{QI}(\stackrel{\→}{x},n)=\frac{1}{|F_{11}(\stackrel{\→}{x},n)-F_{12}(\stackrel{\→}{x},n)|}$

其中应该避免被零除，例如通过给分母加上一个小的常数。

该质量指标可以用于GST滤波器24、26的输出的平均(在它们是可靠的情况下)和一个后退选项(例如线平均装置的输出)之间的衰落，亦即：

$F_1(\stackrel{\→}{x},n)=\frac{\mathrm{QI}(\stackrel{\→}{x},n)+\mathrm{QA}(\stackrel{\→}{x},n)+F(\stackrel{\→}{x}+u_y,n)}{\mathrm{QI}+\mathrm{QA}}$

通过使用该方法，内插的图像的误差被减少，并且图像质量得到增强。

利用本发明的方法、计算机程序和显示装置，图像质量可以得到增强，而无需增加传输带宽。当可以获得能够提供比传输带宽更高的分辨率的显示装置时，本发明是特别相关的。

Claims (14)

1、用于去隔行一个视频信号的方法，包括：

从第一组像素和第二组像素内插第一像素样本；

从所述第一组像素和第三组像素内插第二像素样本；

从所述第一组像素的一个像素计算第三像素样本；

计算所述第一像素样本和所述第二像素样本之间的关系；以及

基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

2、根据权利要求1的方法，其中从所述视频事例的连续时间事例导出所述第一组像素、所述第二组像素和所述第三组像素。

3、根据权利要求1的方法，其中所述第二组像素在第一组像素之前，并且/或者其中所述第三组像素在所述第一组像素之后。

4、根据权利要求1的方法，其中所述第一像素样本和所述第二像素样本之间的关系是这两个像素样本值之间的绝对差。

5、根据权利要求1的方法，其中所述第三像素样本被计算为所述第一组像素的两个像素值的平均值。

6、根据权利要求1的方法，其中所述第三像素样本是基于所述第一组像素的垂直相邻像素的像素值而被计算的。

7、根据权利要求1的方法，其中所述第一像素样本作为来自所述第一组像素和所述第二组像素的像素的加权和而被内插，其中所述像素当中的至少一些像素的权重取决于运动矢量的值。

8、根据权利要求1的方法，其中所述第二像素样本作为来自所述第一组像素和所述第三组像素的像素的加权和而被内插，其中所述像素当中的至少一些像素的权重取决于运动矢量的值。

9、根据权利要求7或8的其中一个的方法，其中在所述第一组像素和所述第二组像素之间、或在所述第一组像素和所述第三组像素之间、或在所述第二组像素和所述第三组像素之间、或在所述第一组像素和所述第二组像素以及所述第三组像素之间计算所述运动矢量。

10、根据权利要求7或8的其中一个的方法，其中所述像素的权重取决于在所述第一组像素和所述第二组像素之间计算的第一运动矢量以及在所述第一组像素和所述第三组像素之间计算的第二运动矢量的值。

11、根据权利要求1的方法，其中所述输出像素样本被计算为所述第一像素样本和所述第二像素样本的平均与在所述第一组像素中的所述输出像素样本的垂直相邻像素的平均的加权和。

12、根据权利要求11的方法，其中所述权重分别基本上与所述第一像素样本和所述第二像素样本之间的绝对差的倒数以及所述垂直相邻像素之间的绝对差的倒数有关。

13、用于显示去隔行的视频信号的显示装置，包括：

第一内插装置，用于从第一组像素和第二组像素内插第一像素样本；

第二内插装置，用于从所述第一组像素和第三组像素内插第二像素样本；

第一计算装置，用于从所述第一组像素的一个像素计算第三像素样本；

第二计算装置，用于计算所述第一像素样本和所述第二像素样本之间的关系；以及

第三计算装置，用于基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

14、用于去隔行一个视频信号的计算机程序，其适于使处理器执行下列步骤：

从第一组像素和第二组像素内插第一像素样本；

从所述第一组像素和第三组像素内插第二像素样本；

从所述第一组像素的一个像素计算第三像素样本；

计算所述第一像素样本和所述第二像素样本之间的关系；以及

基于所述第一像素样本、所述第二像素样本、所述第三像素样本以及所述第一像素样本和所述第二像素样本之间的关系来计算一个输出像素样本。

Images