CN103119931B - 用于去隔行视频数据的方法和设备 - Google Patents

Abstract

一种用于将隔行视频信号转换为非隔行视频信号的方法，对于隔行视频信号中的视频域的每个缺失的行中的每个像素，该方法包括：得到关联数据集，该关联数据集包括用于将在重构像素时使用的多个可能的插值方案中的每个插值方案的关联数据；将每个关联数据集划分为多个关联数据区域；从每个关联数据区域中选择插值方案；使用所选择的插值方案的融合来重构所述像素，其中继第一个像素之后的每个像素的所述融合基于所选择的插值方案之间的比较结果和基于用于空间上先前的像素的融合而被确定。

Description

用于去隔行视频数据的方法和设备

技术领域

本发明涉及用于将隔行（interlaced）视频信号去隔行（de-interlacing）成逐行扫描或去隔行的视频信号的方法和设备。

背景技术

广播电视信号通常以隔行的形式提供。例如，在欧洲使用的逐行倒相（phasealternateline）（PAL）系统由包括两个隔行域的视频帧构成。每个域包括帧的交替行。因而当信号被应用于显示时，第一个域将被应用于奇数行的显示，接着第二个域被应用于偶数行的显示。帧速率通常为50Hz（包括两个隔行域的帧以该速率被应用于显示），因此域速率为100Hz。因而，如果每个域被转换为视频数据的完整帧，即以某种方法生成每个域中的缺失行，则有效的帧速率将为100Hz。这还具有增加电视图片的分辨率的优点。

已经提出许多种方式来生成视频数据的域中的缺失行。通常，缺失行通过使用邻近（时间邻近或空间邻近，或二者兼有）像素生成每个确实像素的插值技术来生成。

图1示意性地示出了使用空间邻近像素生成缺失的像素的三种不同的可能的插值方案。所示的中间的方案包括来自即将重构的像素的上方和下方的像素的数据的关联性及来自直接邻近该像素的像素对的数据的关联性。图1的左手边的方案包括对角地向下倾斜至正在重构的像素的右方所通过的线上的像素之间的关联性。在图1的右手边的示例显示了与此相反的对角线的相同过程。

在图1所示的示例中，使用绝对误差和（SAD）技术获得数据和各像素对之间的关联性。

为了选择最佳的方案，在各插值方案（如图1示出的SAD0、SAD1、SAD2等）之间进行比较。这在图1的右手边以图形的方式示出。可能的插值方案的SAD结果的图形称为关联曲线。通常，在SAD中给出最小差值的插值方案被用作插值以重构缺失的像素。该过程针对每个像素被执行，以使不同的插值方案可以被用于邻近像素。

使用空间和时间二者的插值的此类插值方案在GB2422974中被更加详细地描述。此类插值方案一般产生了良好的结果。但是，当使用的插值方案从像素到像素的快速转移时，存在以下问题：这类方案可以在视频数据的重构的行内产生（yield）高频。在关联曲线的最小值从曲线的一边转移到另一边以用于邻近像素时，这个问题最明显。

因此，有必要改进现有技术的插值技术并尤其为了防止由于选择的插值方案中沿着重构的扫描行快速改变而产生高频。

发明内容

本发明在所附的可以作为参考的独立权利要求中被定义。优选的特征在从属权利要求中进行陈述。

根据本发明的实施方式，提供了一种用于将隔行视频信号转换为非隔行视频信号的方法，该方法包括以下步骤：

对于隔行视频信号中的视频域的每个缺失行中的每个像素：

获得关联数据集，该关联数据集包括将在重构所述像素时使用的多个可能的插值方案中的每个插值方案的关联数据；

将每个关联数据集划分为多个关联数据区域；

从每个关联数据区域中选择插值方案；

使用选择的插值方案的融合（blend）来重构所述像素，其中基于所选择的插值方案之间的比较结果和基于用于空间上先前的像素的融合而确定继第一个像素之后的每个像素的所述融合。

根据本发明的方法，用于邻近像素的插值方案没有快速改变，由于用于每个像素的插值方案是部分地基于用于空间上先前的像素的插值方案。随着重构的行的插值方案的改变因此为渐进式的（gradual）且减少了高频成分（component）。

优选地，该方法进一步包括在显示器上显示所重构的像素的步骤。

优选地，所述融合基于用于在视频域中的缺失行中的紧接的前一个像素的融合而确定。优选地，在视频域的每个缺失行的起始端或末端将所述融合重置为预定融合。

优选地，该方法进一步包括对用于所选择的插值方案的所述关联数据进行相互比较的步骤。

优选地，所选择的插值方案的融合包括每个所选择的插值方案的结果的加权求和，其中加权求和中的加权系数根据来自用于紧接的前一个像素的相同的关联数据区域的插值方案的加权系数而被增加或减少，增加或减少的量基于对用于所选择的插值方案的所述关联数据进行相互比较的步骤的结果。

优选地，比较确定插值方案的结果的步骤可能给出最佳结果。优选地，用于确定为最佳的选择的插值方案的所述加权系数根据来自用于紧接的空间上前一个像素的相同的关联数据区域的的所述插值方案的所述加权系数而增加。

优选地，将每个关联数据集划分为多个关联数据区域的步骤包括根据对应的插值方案的空间或时间属性将所述关联数据划分为多个区域。

优选地，用于每个插值方案的所述关联数据为使用该插值方案的像素对之间的关联度量。

优选地，从每个关联数据区域选择插值方案的步骤包括从每个关联数据区域中选择插值方案以使使用该插值方案的像素对之间具有最大关联程度。

可替换地，从每个关联数据区域选择插值方案的步骤包括为每个关联数据区域选择插值方案，其中该插值方案的关联数据是所述关联数据集合的图形表示中的该关联数据区域中的最低局部最小值，并且，如果关联数据区域不存在局部最小值，则选择一插值方案，其中该插值方案的关联数据是所述关联数据区域的绝对最小值，其中在所述图形表示中关联数据的较低值表明使用对应的插值方案的像素对之间较大程度的关联。

优选地，关联数据区域的数量为三个或者更多个。

可能的插值方案可以包括空间插值方案、时间插值方案或空间和时间插值方案的结合。用于计算每个关联基准（datum）的像素对的数量优选为7与30之间。

根据本发明的第二方面，提供了一种用于将隔行视频信号转换为非隔行视频信号的设备，该设备包括：

用于获得关联数据集的装置，该关联数据集包括将在重构所述视频信号中的视频域的缺失行中的像素时使用的多个可能的插值方案中的每个插值方案的关联数据；

用于将每个关联数据集划分为多个关联数据区域的装置；

用于从每个关联数据区域中选择插值方案的装置；

用于使用选择的插值方案的融合来重构所述像素的装置，其中继第一个像素之后的每个像素的所述融合基于选择的插值方案之间的比较结果和基于用于空间上先前的像素的融合而确定。

附图说明

本发明的实施方式将参照附图仅通过示例的方式进行详细描述。

图1是用于在视频域中插入缺失的像素的可能的插值方案的示意图；

图2是根据本发明划分为几个区域的关联曲线的图示；

图3是示出根据本发明选择插值方案的流程图；以及

图4是根据本发明的系统的框图。

具体实施方式

图1示出了可以被用于根据本发明的方法和系统中的一组插值方案的示例。图1示意性地显示了使用空间邻近的像素的三个不同的可能的插值方案以在视频数据行中生成缺失的像素。所示的中间的方案包括来自即将重构的像素的上方和下方的像素的数据关联性及来自直接邻近该像素的像素对的数据关联性。图1的左手边的方案包括对角地向下倾斜至正在重构的像素的右方而通过的线上的像素之间的关联性。在图1的右手边的示例显示了与此相反的对角线的相同过程。

在图1所示的示例中，使用绝对误差和（SAD）技术获得数据和各像素对之间的关联性。其他已知的统计技术可以同样地使用，诸如均方误差（MSE）。

至SAD算法的输入为在域中即将重构的像素的上方和下方的行中的像素的亮度。SAD关联值计算如下：

SAD＝|L1a-L1b|+|L2a-L2b|+|L3a-L3b|

其中Lna为在缺失行的上排的第n个像素的亮度值及Lnb为在缺失行的下排的第n个像素的亮度值。

在图1所示的该类型的不同插值方案中，在缺失的像素上方和下方的行中的第n个像素的位置相对于彼此移动不同的值。

图1的右手边的图片显示了使用每排的仅五个像素和对称放置的像素集的三个关联性而进行的基于SAD的计算的示例，其中每一个关联性由三个像素对组成。实际上，在计算中涉及更多的像素以确保更加精确。在优选的实施方式中，使用了每排中25个像素及13个像素对。

如果比较像素对的值的SAD方法被使用，那么在如图1示出的SAD0、SAD1、SAD2等各插值方案之间进行比较。这在图1的右手边以图形的方式示出。可能的插值方案的SAD结果的图形被称为关联曲线。

图2示出了在25种方式（tap）上计算（即，针对25种不同的可能插值方案计算）得到的关联曲线。关联曲线参照图1所描述的针对每个可能的插值方案使用SAD计算而得到。

并非简单地选择具有最低值（即，关联曲线的最小值）的插值方案，根据本发明的方法使用在插值曲线的不同区域中的插值方案的融合。在图2所示的示例中，关联曲线被划分为三个区域，区域1、区域2和区域3。但是，可以清楚地看出，在本发明的方法中关联曲线可以被划分为三个以上区域或三个以下区域。

对于每个区域，曲线的最小值被确定。在每个区域中的最小值22、24、26对应一个插值方案，并且对应于每个区域的最小值的三个插值方案的融合被用于构建缺失的像素。三个最小值22、24、26被用于建立三个不同的融合因子。融合因子被用于对应于最小值点的插值方案的加权求和中。每个最小值点对应一个比该区域中任何其他像素对更具关联性的像素对。该像素对被用于正在被重构的像素的计算中。

在另一实施方式中，不是选择每个区域的绝对最小值，而是应该考虑局部极小值中的较小者（曲线的局部最小值是其值小于紧接的前一个点的值也小于紧接的后一个点的值的一个点。在图2中点22和26既是绝对最小值也是局部最小值，而点24仅为绝对最小值而不是局部最小值）。如果在区域中多于一个的局部最小值，那么应该使用最小的一个，而如果在区域中（如图2的区域2中）没有局部极小值，那么应该使用绝对最小值。

图3是示出根据本发明基于如图1所示属于相同域的两排像素之间的插值的过程示例的流程图。被分配到三个候选的解决方案的对应于图2的三个极小值的像素对的三个融合值以加权平均的方式结合。加权系数或融合值基于三个候选的解决方案的哪一个可能是最佳的而被调整。

在该示例中，部分基于用于先前像素的融合因子，融合因子被更新以用于每个重构的像素。然而，优选地融合因子在缺失的视频数据的每行的末端或起始端被重置为预定值，如0、4和0。如图3所示，每个融合因子还被限定最大值，在该情况下为4，并且被限定最小值0。

图3中示出的过程可以概括如下。在第一个步骤302、304、306中，关联曲线的每个区域的最小值点被确定。在该示例中具有三个区域，如图2所示。整个关联曲线的最小值点也被确定。这在步骤308中显示。在步骤310、312和314中，每个区域的最小值与整个关联曲线的最小值进行比较以确定带状的最小值点中的哪个点对应于绝对最小值点。

对应于整个曲线的最小值点的用于插值方案的融合因子增加1。对应于另外两个区域的最小值点的用于插值方案的融合因子减少1。这在步骤316、318和320中示出。在步骤322中，使用步骤316、318和320中计算的融合因子按照从对应于选作三个区域的最小值点中的每一个的插值方案得出的值的加权求和来计算即将重构的像素的亮度值。

在图3的术语中，blend1、blend2和3是用于从关联曲线的区域1、2和3中得到的插值方案的三个融合值，nHalfNumOfSteps标识关联曲线的中间值点，Ytop为在即将重构的像素的上排像素的值，Ybot为在即将重构的像素的下排像素的亮度值。

很明显，如图3所示的方法易于适用于三个以上的区域或两个区域。在三个以上的区域的情况下，可以从每个区域发现的极小值之间进行比较以确定极小值的等级次序，以及根据该等级次序所更新的融合因子。可替换地，如图3所示，可以仅为对应于整个曲线的最小值的最小值，其具有增加的融合因子而所有剩余的融合因子被减少或保持不变。同样地，不是简单地增加或减少融合因子，基于融合因子之间的比较，它们可以与预定因子相乘。

图4是适于实施图3所示的方法的系统的框图。可以修改该系统以适应以上描述的方法的变化，例如由于使用多于三个区域的变化。

输入视频数据供馈送至域存储40。域存储包含具有接近即将重构的缺失行的多个行的域。数据从域存储40中读出到第一行存储42并然后到第二行存储44中。

所以，通过行存储42第一次读取一行，并然后该行被传到行存储44，接着第二行馈送至行存储42。则这两个行存储包含当前域中缺失行的两个直接相邻的域。

接下来，对于即将依次被重构的每个像素，关联单元46执行对于不同插值的一系列的关联，这些插值可以被用于生成缺失的像素。这可以通过类似于图1所示的方式进行，但是使用更多的插值方案，生成了图2所示的类型的关联数据。生成（resultant）的关联数据被馈送到关联选择器，该关联选择器将关联数据划分为多个区域并从每个区域选择最可能给出最佳插值方案的关联以生成缺失的像素。这对应于图2中每个区域的最小值点。关联选择器的输出然后被执行图3所示步骤的插值方案计算器50使用，以基于从关联数据的每个区域中选择的插值方案的融合来产生插值方案。插值方案计算器50包括存储器或缓冲器52以存储用于先前的像素的融合因子和即将在缺失的视频数据每个新行的起始端使用的融合因子的预定集合。插值器54执行图3的框322中所示的计算以产生像素的亮度值。插值器54执行计算后的结果然后馈送到帧存储56。帧存储56还接收来自行存储42的数据，该数据对应于当前域的已知视频数据邻近的行。当帧存储为满时，生成的视频信号就可以被发送至显示器58或可以被存储。

整个过程实时进行以使该过程可以在通过电视接收器接收的视频信号上被执行，该电视接收器将信号转换为非插值器形式以备显示。

优选地，图4的系统包括于电视接收器中以使包括该系统的新的接收器可以显示高分辨率版本的插值器信号而不具有高频成分。

在对图4的配置的改进中，可以提供两个或更多个相同硬件的集合，可以并行地在域存储40的不同行上进行操作以改进处理速度。

可替代地，图4的系统可以在专用处理器中实施。可以并行地提供两个或多个专用处理器以改进处理速度。

Claims (23)

1.一种用于将隔行视频信号转换为非隔行视频信号的方法，对于所述隔行视频信号中的视频域的多个缺失行的每个缺失行中的多个像素的每个像素，该方法包括：

获得关联数据集，该关联数据集包括将在重构所述像素时使用的多个可能的插值方案中的每个插值方案的关联数据；

将所述关联数据集划分为多个关联数据区域；

从所述多个关联数据区域的每个关联数据区域中选择插值方案；以及

使用所选择的插值方案的融合来重构所述像素，其中继第一个像素之后的所述多个像素的每个像素各自的融合基于所选择的插值方案之间的比较结果和基于用于重构空间上先前像素的融合而被确定。

2.根据权利要求1所述的方法，该方法进一步包括在显示器上显示所重构的像素的步骤。

3.根据权利要求1所述的方法，其中所述融合基于用于重构空间上先前像素的融合而被确定，用于重构空间上先前的像素的融合是包含该像素的所述视频域中缺失行中的紧接的先前像素的融合。

4.根据权利要求1所述的方法，该方法进一步包括在所述视频域中的每个缺失行的起始端或末端将所述融合重置为预定融合的步骤。

5.根据权利要求1所述的方法，该方法进一步包括对用于所选择的插值方案的所述关联数据进行相互比较的步骤。

6.根据权利要求5所述的方法，其中所选择的插值方案的融合包括每个所选择的插值方案的结果的加权求和，及其中加权求和中的加权系数根据来自用于紧接的先前像素的相同的关联数据区域的插值方案的加权系数而被增加或减少，增加或减少的量基于用于所选择的插值方案的所述关联数据进行相互比较的步骤的结果。

7.根据权利要求6所述的方法，其中用于所选择的插值方案的所述关联数据进行相互比较的步骤包括确定可能给出最佳结果的插值方案。

8.根据权利要求7所述的方法，其中用于被确定为可能给出最佳结果的所述插值方案的所述加权系数根据用于来自用于空间上紧接的先前像素的相同的关联数据区域的所述插值方案的所述加权系数而被增加。

9.根据权利要求1所述的方法，其中将每个关联数据集划分为多个关联数据区域的步骤包括根据对应的插值方案的空间或时间属性将所述关联数据划分为多个区域。

10.根据权利要求1所述的方法，其中用于每个插值方案的所述关联数据为使用该插值方案的像素对之间的关联度量。

11.根据权利要求10所述的方法，其中从每个关联数据区域中选择插值方案的步骤包括从每个关联数据区域中选择插值方案以使使用该插值方案的像素对之间具有最大关联程度。

12.根据权利要求10所述的方法，其中从每个关联数据区域中选择插值方案的步骤包括为每个关联数据区域选择插值方案，其中该插值方案的关联数据是所述关联数据集的图形表示中的该关联数据区域中的最低局部最小值，并且如果关联数据区域不存在局部最小值，则选择一插值方案，其中该插值方案的关联数据是所述关联数据区域的绝对最小值，其中在所述图形表示中用于关联数据的较低值表明使用对应的插值方案的像素对之间较大程度的关联。

13.一种用于将隔行视频信号转换为非隔行视频信号的设备，该设备包括：

用于获得关联数据集的关联单元，该关联数据集包括将在重构所述视频信号中的视频域的缺失行中的像素时使用的多个可能的插值方案中的每个插值方案的关联数据；

选择器，被配置成将每个关联数据集划分为多个关联数据区域，并且所述选择器被配置成用于从每个关联数据区域中选择插值方案；

插值器，被配置成使用选择的插值方案的融合来重构所述像素，其中所述插值器被配置成基于所选择的插值方案之间的比较结果和基于用于空间上先前像素的融合而确定继第一个像素之后的每个像素的融合。

14.根据权利要求13所述的设备，该设备进一步包括用于显示所重构的像素的显示器。

15.根据权利要求13所述的设备，其中所述插值器被配置成基于用于在所述视频域中的所述缺失行中的空间上紧接的先前像素的融合来确定所述融合。

16.根据权利要求13所述的设备，其中所述插值器被配置成对用于所选择的插值方案的所述关联数据进行相互比较。

17.根据权利要求16所述的设备，其中所述插值器被配置成使用每个所选择的插值方案的结果的加权求和来确定选择的插值方案的融合，以及根据来自用于紧接的先前像素的相同的关联数据区域的插值方案的加权系数来对所述加权求和中的加权系数进行增加或减少，增加或减少的量是基于用于所选择的插值方案的所述关联数据的相互比较的结果。

18.根据权利要求17所述的设备，其中所述插值器被配置成从所选择的插值方案中确定可能给出最佳结果的插值方案。

19.根据权利要求18所述的设备，其中所述插值器被配置成根据用于来自用于空间上紧接的先前像素的相同的关联数据区域的所述插值方案的所述加权系数来增加被确定为可能给出最佳结果的所述插值方案的所述加权系数。

20.根据权利要求13所述的设备，其中所述选择器还被配置成根据对应的插值方案的空间或时间属性将所述关联数据划分为多个区域。

21.根据权利要求13所述的设备，其中用于每个插值方案的所述关联数据为使用该插值方案的像素对之间的关联度量。

22.根据权利要求21所述的设备，其中所述选择器还被配置成从每个关联数据区域中选择插值方案以使使用该插值方案中的像素对之间具有最大关联程度。

23.根据权利要求21所述的设备，其中所述选择器还被配置成为每个关联数据区域选择插值方案，其中该插值方案的关联数据是所述关联数据集的图形表示中的该关联数据区域中的最低局部最小值，并且如果关联数据区域不存在局部最小值，则选择一插值方案，其中该插值方案的关联数据是所述关联数据区域的绝对最小值，其中在所述图形表示中用于关联数据的较低值表明使用对应的插值方案的像素对之间较大程度的关联。