CN1322749C

CN1322749C - 视频数据的面向边缘内插

Info

Publication number: CN1322749C
Application number: CNB028218493A
Authority: CN
Inventors: R·洛德; G·德哈安
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-01
Filing date: 2002-10-18
Publication date: 2007-06-20
Anticipated expiration: 2022-10-18
Also published as: ATE316739T1; EP1444824B1; CN1582572A; JP2005507618A; DE60208916T2; KR20040054757A; US20040252232A1; EP1444824A1; DE60208916D1; WO2003039147A1

Abstract

本发明涉及一种用于在视频图像中沿边缘进行内插像素期间降低误差的方法。通过结合两种内插方法(4，6)的输出和只用一种内插法的输出计算出的混合因数(K)，可以进一步改善内插结果。把边缘相关内插估计的误差应用在通过第二种内插方法获得的像素上，输出结果就得到改善。

Description

视频数据的面向边缘内插

技术领域

本发明涉及一种用于视频图像的面向边缘的空间内插的方法和设备。

背景技术

通过对面向边缘的空间内插和标准内插的结果进行比较，并利用面向边缘内插的可靠性对这些内插结果进行加权处理，使得内插的输出得到增强。这在空间缩放，去交织后生成逐行扫描视频图像，还有对于已去交织的图像的后期处理中都是可行的。

当在输入视频信号中一个视频行上像素个数或者视频行的数量与用于显示所需的数目不同时，就必须进行空间缩放。在隔行扫描的视频信号需要去交织从而提供逐行扫描信号时，或者在显示设备需要的长宽比与原始信号可以提供的宽高比不同而进行调整时都需要空间缩放。高质量的空间缩放可以使用内插低通滤波器进行的上调来实现。在此滤波器中，首先将输入的信号采样，采样频率两倍于需要的带宽。对样本进行内插然后通过填充零的办法来进行分样。虽然输入信号的带宽没有降低，但是也没有额外的频谱成分可以用来改善图像质量。

US5,661,525描述了对于一系列视频帧进行转换或去交织的一种方法和设备，这种方法和设备可以将使用隔行扫描格式表示的一系列视频帧转换成逐行扫描的格式。根据该公开，在输入的视频图像中执行了多次内插。需要精确内插的像素在那些不需要精确内插的像素之后进行内插。为了将预测出的像素值的误差降低到最小，内插就按照这个顺序进行。每次内插都根据其估计的可靠性进行加权。通过将被插值的数值加权，去交织帧的像素值只包含最小的误差。

这种方法的缺点是计算量非常之大。通过使用不同内插方法来进行像素内插，生成了大量数据。当每个像素值都被加权后，计算开销就会增加，这就使得用于视频图像去交织的设备相当昂贵。这种早期技术系统的另一个缺点是：对于有些内插方法，不容易估计出其可靠性。

发明内容

本发明的目的是提供一种便宜的方法和设备，以用于在视频图像的现有像素之间进行内插，被内插的视频图像不需要对于所有的内插方法估计/计算可靠性。

有利的是，提供了一种快速内插的手段，减少了需要的计算时间。

在面向边缘的去交织或空间缩放的情况中，当边缘定位被错误估计时就会有严重的假像出现。使用目前已知的方法无法避免这种边缘定位中的检测误差，尤其是在图像细节内容很少的局部，这就需要进行误差校正。对于面向边缘内插的图像，通过根据本发明混合不同内插方法进行的后期处理之后，就可以获得好的计算结果。越是可靠的边缘相关内插法，使用不同内插器的输出就越少，反之亦然。通过混合内插的结果，该输出值至少和进行后期处理之前一样好。

在文章“使用边缘信息进行逐行扫描转换”(Progressivescanconversion using edge information)T.Doyle和M.Looymans，HDTV信号处理(Signal Processing in HDTV)，II，L.Chiariglione(ed)，1990，pp.711-721中描述了一个适合在目前发明中应用的边缘相关内插法的实例。

在检测到长的且清晰的边缘时，边缘相关内插是一种可靠的方法。相对于那些图像中细节不清楚和没有边缘的情况，这种情况下的输出值就应该有更高的加权。

根据本发明的方法，第二组像素被优选地内插，因为这些内插法确保健壮的内插过程，从而得到良好结果。这些内插法存在的模糊现象和其他缺点都得以减少。

根据本发明的方法是进一步优选的。通过不受健壮性问题影响的一种健壮的内插法可以改善边缘相关内插法的结果。这两种内插法的缺点在一定程度上是相同的，所以总的结果可以得到改善。当将混合参数进行这样的设定，以便总体输出和边缘相关输出的绝对差是沿边缘的现有像素之间的恒定分数倍时，所得的输出就是健壮的。

根据本发明，进一步提出了混合因数。通过调整混合因数，就可以调整输出结果。该常量取决于现有像素之间的被内插像素的空间位置，这些现有像素就是内插的基础。该方法的本质是，输出和边缘相关内插像素之间的绝对差等于用于边缘相关内插处理的原始像素的绝对差的固定倍数，如果内插输出位于内插输入中间的位置，这个倍数优选为0.5。

根据本发明，混合因数取决于两个值，第一是角度差，角度差用于衡量已经被发现边缘的精确程度；第二是环境差，尤其是垂直或水平方向的差，用于衡量角度内插在这点的相关度。常数W可以用来强调角度或环境平均值之中的一个，强调哪个值取决于个人选择和特定应用的要求。这里优选的是混合因数固定在1。

根据本发明，混合因数用于混合角度平均值和第二个内插器的原始输出值，这个第二内插器可以是一个运动补偿去交织器。只有一种去交织的方法提供误差测量，而混合过程的完成则只能根据此测量而定。

本发明的另一个方面是在扫描率转换器、视频压缩器、或者去交织设备、显示系统或者电视中使用了所描述的一种装置或方法。

附图说明

参考下面描述的实施例，本发明的所述和其他方面将变得显而易见。

在图中：

图1显示了一个显示矩阵；

图2显示了输出像素的计算；和

图3显示了执行设备的框图。

具体实施方式

图1描述了具有垂直行L和水平列C的显示矩阵。每个行L和列C的交点都包含一个像素，像素的值是一个八位颜色，代表将被显示图像中的原始点。图示的像素有a，b，c，d和e。像素a和b沿着图像上的一条检测边缘。像素c，d在将被内插的像素e周围垂直排列。在隔行扫描的视频信号中，每两行中就有一行L不被传输，缺少的信息通过内插产生，令内插出的值接近于原始值是非常重要的。通过沿边缘的像素a，b的内插和垂直偏移于被内插像素e的像素c，d的内插，可以改善计算结果的正确性。

图2中，显示了计算输出值F₀(x，y，n)，该计算是通过将边缘相关内插的输出F_i(x，y，n)和运动补偿内插的输出F_i2(x，y，n)与混合因数k相加而计算出的。边缘相关内插法的输出是F_i(x，y，n)，它取决于初始像素值a，b。当检测到内插角度后，就可以从b预测出a，反之亦然。如果内插像素e正好处于a，b之间，那么预测到的误差就是直接使用a来预测b的误差的一半。这就意味着：正确的e值会偏离于通过内插角计算出的值，但是此偏离比a，b使之间绝对差小两倍。

当改进边缘相关内插法的健壮性时，就需要第二种不受健壮性问题影响的内插法。这种方法可以是沿着c，d的线性内插。使用按照图2所示的混合器混合第二个内插法的输出F_i2(x，y，n)和边缘相关内插法的输出F_i(x，y，n)，这里的K设定成使F₀(x，y，n)和F_i(x，y，n)之间的绝对差等于像素b，a之间的绝对差的一半，就可以改善内插的计算结果。

在形式上，混合因数通过下式计算：

|a-b|＝2*|F₀(x，y，n)-F_i(x，y，n)|

输出可以进一步定义为：

F₀(x，y，n)＝k F_i(x，y，n)+(1-k)F_i2(x，y，n)

这可以推导出：

(1 - k) = \frac{| a - b |}{2 | F_{i 2} (x, y, n) - F_{i} (x, y, n) | + δ}

б用来保证除数不为零。这里优选的是将k固定到1。分母中的因数2由a，b之间的距离关系决定。

图3显示的是一种改进的内插器的实现框图。输入信号1输入到行存储器2，行像素的值存储在此，以供行间内插使用。该输入信号1进一步供给边缘相关内插4和行内插6。前一行的存储的像素值从行存储器2被提供给边缘相关内插4和行内插6。混合因数k和1-k是通过混合因数计算设备7计算得出的。边缘相关内插4F_i(x，y，n)的输出(F₁)与混合因数k加权。行内插6的输出(F₂)与(1-k)加权。这些加权后的输出值加在一起得到了输出值F₀(x，y，n)，通过显示设备D显示。

根据本发明将输出值加权，就有可能按照当前图片的特性来提供内插结果。在边缘相关内插法比其他内插方法优越时，其输出就被加强，反之亦然。

值得注意的是，所述的实施例是为了举例阐述而不是限制本发明，本领域的技术人员可以在不脱离所附的权利要求书范围的情况下设计出很多种替换的实施例。在权利要求书中，任何在括号内的附图标记都不应被解释为对于权利要求的限制。“包括”一词并不排除那些未在权利要求当中列出的元件或步骤的存在。在某些元件前面的量词“一个”不排除多个这样元件的存在。本发明可以通过硬件手段实现，该硬件包括一些独立元件，也可以通过适合于编程的计算机实现。在设备的权利要求中列举了几种装置，其中的一些装置可以通过一个或相同的硬件来实现。某些方法在互不相同的从属权利要求中被叙述的事实并不意味着不能将这些方法结合后应用以实现本发明的优点。

Claims

1.一种用于在视频图像的面向边缘空间内插中降低误差的方法，所述方法包括以下步骤：

以第一方式内插第一内插像素(F₁)，

以不同于所述第一方式的第二方式内插第二内插像素(F₂)，

根据一个混合因数(k)，通过将所述第一内插像素(F₁)和所述第二内插像素(F₂)的像素值混合产生一个输出内插像素(F₀)，

其特征在于所述第一方式包括将所述第一内插像素(F₁)内插在沿着所述视频图像中的空间边缘的现有像素a、b之间，所述方法还包括以下步骤：

测量在沿着所述空间边缘的现有像素a、b的像素值之间的第一绝对差|a-b|，以及

根据所述第一绝对差计算所述混合因数(k)，

基于运动补偿或运动适应或线性内插来内插所述的第二内插像素(F₂)。

2.如权利要求1所述的方法，其特点在于：还包括测量在所述输出内插像素(F₀)和所述第一内插像素(F₁)的像素值之间的第二绝对差，计算所述混合因数(k)，使得所述第二绝对差是所述第一绝对差的常数倍。

3.如权利要求2所述的方法，其特点在于：所述常数取决于相对于沿所述空间边缘的所述现有像素的空间位置。

4.如权利要求3所述的方法，其特点在于：当所述输出内插像素的内插位置在空间上处于沿所述空间边缘的所述现有像素之间正中时，所述常数为0.5。

5.一种用于在视频图像的现有像素之间内插像素的设备，所述设备包括：

第一内插装置(4)，用于以第一方式内插第一内插像素(F₁)，

第二内插装置(6)，用于以不同于所述第一方式的第二方式内插第二内插像素(F₂)，

混合装置(+)，用于根据一个混合因数(k)，通过将所述第一内插像素(F₁)和所述第二内插像素(F₂)的像素值混合产生一个输出内插像素(F₀)，

其特征在于所述第一方式包括将所述第一内插像素(F₁)内插在沿着所述视频图像中的空间边缘的现有像素a、b之间，所述设备还包括计算装置(7)，用于：

根据所述第一绝对差计算所述混合因数(k)，

6.显示设备，包括：

一个如权利要求5所述的用于在视频图像的现有像素之间内插像素的设备；和

一个用于显示输出内插像素(F₀)的显示装置(D)。