CN1052840C

CN1052840C - 用于对数字视频信号进行插值的方法及装置

Info

Publication number: CN1052840C
Application number: CN94192328A
Authority: CN
Inventors: 埃里克·科利特; 米歇尔·克德兰瓦特
Original assignee: Thomson Consumer Electronics SA
Current assignee: Vantiva SA
Priority date: 1993-06-01
Filing date: 1994-05-28
Publication date: 2000-05-24
Anticipated expiration: 2014-05-28
Also published as: JPH08510880A; KR100318786B1; CN1125030A; EP0701760A1; US5844616A; EP0701760B1; KR960702712A; WO1994028677A1; DE69405740D1; DE69405740T2

Abstract

一种对数字视频信号进行运动补偿的插值的方法及装置，使用一简单的开关矩阵(SM)使进行亚象素MCI的存储数据量减少。还使用了一种特殊的延迟器(DH)的排列来存储处理所需的象素值，以扩展延迟器阵列(DHV)。因为使用了更多数量的有关象素，得到了改进的亚象素MCI。本发明可用在每一个使用MCI的系统中，尤其是基于空间-时间二次采样和运动补偿的编码系统的解码器中。以输入数据流的时钟频率同时得到运动补偿和插值。

Description

用于对数字视频信号进行插值的方法与装置

本发明涉及插值方法与插值装置，尤其涉及用于运动补偿的插值的方法与装置。

对于有亚象素精度的运动补偿插值(MCI)，丢失的象素需在运动补偿之前产生或插值。在巴塞罗那奥运会时，建成了汤姆逊(THOMSON)HDMAC(High Definition Multiplexed Analog Component，高分辩率多工模拟分量)接收器。这种接收器达到了对奥林匹克接收器项目(版本2.1，菲利普公司(philips))设置的BRD带宽恢复解码器)芯片组初步的HDMAC指标。

所要的象素值用行和象素延迟器来存储。用一个开关矩阵来选择当前处理所需的这种存储的象素。为避免亚象素MCI，要在运动补偿之前进行插值。因此，运动补偿电路的输入数据速率两倍于插值电路的速率，导致了高的硬件复杂性。

亚象素插值的意思是位于有效采样之间的象素的插值。

EP-A-0 424 269公开了一种给多路复用器提供相应的延迟象素值的设备，用于直接利用从该多路复用器输出的象素值进行插值处理。

WO-A-91/12691公开了一种在插值器之后包括延迟器和开关矩阵的解码器。但没有提出利用附加的延迟器来扩展插值窗。

本发明的一个目的是公开一种具有亚象素精度的结合运动补偿与插值的方法，但只使用由开关矩阵存取的有限数目的象素。

本发明的另一目的是公开一种实施上述方法的装置。

本发明只使用一简单开关矩阵，导致用于进行亚象素MCI的所存储数据量的减少。使用一种存储处理所需的象素值的延迟器的特殊排列，以扩展现有的延迟器阵列。由于使用了更多数量的有关象素，从而实现改进了的亚象素MCI。这可能是因为即使相邻的运动矢量不是与当前运动矢量精确地匹配，这种延迟的扩展也不明显地影响解码的图像质量。本发明可用在每一个利用MCI的系统中，尤其是用在基于空间-时间二次采样和运动补偿的编码系统的解码器中。运动补偿和插值二者以输入数据流的时钟频率来同时完成。因此，本发明中要处理的数据量和所导致的硬件复杂性要低于以上引用的现有技术。

开关矩阵连接到行与象素延迟器，在时刻t存储一帧(或场)的一个窗口，从行与象素延迟器通过依赖于运动矢量的随机存取来完成一个MCI，以在时刻(t+/-T)建成一帧(或场)。T为帧周期的倍数。在每一时钟周期，由开关矩阵提取出的象素的数目受硬件复杂的局限而受到限制。

本发明以两组相继开关矩阵的输出是并列或交叉的前提为基础。这样就可以存储几组相继开关矩阵的输出，以便使用所有可用象素进行插值。这个假设已经通过研究在最关键的源材料上的行为被证实。

本发明可用在每一个使用运动补偿的系统中，尤其适合于基于空间-时间二次采样和诸如HDMAC的运动补偿的编码/解码系统。

在HDMAC中，此技术可直接在二次采样域上使用。对要插值的每个当前象素对(用80_1和80_2表示)，从开关矩阵产生六个采样。实际上，只有4个采样贡献给这些象素之一的插值，而2^*4采样的两个采样是公用的。因此，只需要6个开关矩阵输出。由于在开关矩阵的输出端处有独特的延迟器扩展，插值滤波器可使用一个10个象素的输入窗，用来计算一个输出象素值(80_1或80_2)。插值滤波器的垂直大小由开关矩阵所存取的不同行的数目来给出。例如为3。其水平大小不受开关矩阵限制，而只依赖于被存储的开关矩阵输出端组的数目。

在现有技术中，插值滤波器的象素间距比由开关矩阵各输出给出的象素间距更大。这样就需要在开关矩阵之前进行插值，以达到所需的精确度。但这种方式的硬件实现使得在开关矩阵输入处的采样速率大了一倍，还需要一个数据解复用来保持插值器的输入频率。

而插值与运动补偿的结合，使得对处理保持了低的输入频率，并使极为耗费硬件的行延迟器的所需要数目达到最佳。这个数目只由运动补偿在垂直方向的范围来决定。

更为有利的是，本发明还可应用于每一个使用运动补偿的插值以进行显示速率向上变换的系统。

用MPEG(运动图像专家组)编码的系统以半象素精度来进行用运动矢量的运动补偿。作为结果，需要在一正交网格(HDMAC中的quincunx网格)上进行亚象素运动补偿的插值。由于得到运动补偿的插值的方式是MPEG标准的一部分，在块的边界不允许任何近似，因为一块的编码的预测误差被加到了运动补偿上。

本发明提供了一种用于对数字视频信号进行插值的方法，其中，输出象素值是通过在一插值滤波器中从属于所述数字视频信号的输入象素的空间窗的象素值中进行插值而得到的，所述窗的位置与要被插值的当前输出象素的空间位置有关，并且，由所述插值滤波器对所述窗需要的象素值是通过由延迟装置延迟所述输入象素来获得的，来自所述窗的这些象素值被开关矩阵提供给所述插值滤波器，这些象素值对所述插值是需要的，其中，所述插值提供亚象素空间分辨率；所述提供的象素值被进一步延时，从而所述提供的象素值和所述进一步延时的象素值构成一个扩大了的窗，用于对所述输出象素值进行插值。

本发明还提供了一种用于对数字视频信号进行插值的装置，用于实施上述的用于对数字视频信号进行插值的方法，其中，输出象素值是通过从属于该数字视频信号的输入象素的一空间窗的各象素值中进行插值而得到的，所述窗的位置与要插值的当前输出象素的空间位置相关，并且其中使用延迟装置来得到对所述窗需要的象素值，并且开关矩阵装置在其输出端提供对所述插值需要的来自所述窗的这些象素值，其中，所述插值提供空间亚象素分辨率；所述开关矩阵装置的每一个输出都至少再经过一个进一步的延迟单元，从而所述开关矩阵装置的输出和所述进一步的象素延迟单元的输出构成一个用于对所述输出象素值进行插值的扩大了的窗。

根据本发明的插值方法，输出象素值是通过对位于一个窗内的输入象素值进行插值而得的，此窗与当前输出象素的空间和/或时间位置相关，其中，对该窗所需的象素值借助延迟装置和开关矩阵装置来提供，所述开关矩阵装置的各输出响应于运动矢量而在当前连接到所述延迟装置上，而该延迟装置在当前正提供所述输入象素值，并且，该开关矩阵装置的每一个输出都至少要再经过一个进一步的延迟单元，并且开关矩阵装置的输出和所述延迟单元的输出被用来形成一增大了的窗，以对所述输出象素值进行插值。

根据本发明的插值装置适合于运动补偿的插值，其中，输出象素值是通过对位于一个窗内的输入象素值插值而得到的，此窗与当前输出象素的空间/或时间位置有关，该装置包括：延迟装置，提供对该窗口所需的象素值；开关矩阵装置，其输出响应于运动矢量，在当前连接到所述延迟装置上，而延迟装置在当前正提供所述输入象素值；在每一个开关矩阵输出端至少还有一个延迟单元，开关矩阵装置的每个输出都要经过该延迟单元，其中开关矩阵装置的输出和延迟单元的输出用来形成一个增大了的窗；插值装置，跟随在延迟单元之后，对输出象素值进行插值。

以下参照附图，描述按照本发明的优选实施例，其中：

图1示出了本发明的MCI的方框图；

图2示出了MCI中使用的象素；

图3示出了经运动矢量移位过的象素在一quincunx采样网格中的可能位置；

图4更详细地给出了水平和垂直延迟器；

图5示出了插值窗口；

图6示出了使用本发明的延迟器排列的插值示意图；

图7示出了插值电路；

图8示出了插值窗口在采样网格中的位置；

图9示出了开关矩阵输入端的窗；

图10为对场40A的垂直位置限制表；

图11为对场40C的垂直位置限制表；

图12为运动矢量移位的象素在正交采样网格中的可能的位置。

在HDMACHDTV系统中，亮度和色度象素按块来处理。依据在块的图像内容内的运动大小，不同的处理模式被分配给各个块类型：

模式运动速度

80mS 静止或接近静止

40mS 中速

20mS 快速

数据的压缩是通过空间与时间二次采样和运动补偿来进行的。对每一模式，分配一种特定的二次采样的图案(pattem)。在40mS模式中对每一第二场，使用运动补偿。由于从统计上看，40mS模式是在HDMAC编码算法中用得最多的，所以，在BRD(宽带恢复解码器)中进行适当的40mS模式的处理就很重要。不把兼容性改进电路考虑在内，40mS模式的处理在一个SSPC(二次采样图案转换)电路中开始，它将所有传输的图像(例如二次采样象素值)转换成40mS的二次采样图案。由于所占的场存储器的数目的相对减少，从5个减到3个，在40mS与80mS模式之间的一些时间转换未被合适地处理。这对运动补偿的场影响很大，因为运动补偿是对称的并可以查到未以40mS模式传输的块。然后，通过在奇数场中使用插值，在偶数场中使用运动补偿，实现40mS处理本身。

本发明的一种有益的简化与40mS支路的输出图案有关。在现有BRD技术中，除了各模式支路之间的补偿延迟器，不进行处理的电路均大大增加了硬件成本。这尤其是对继40mS支路之后引入的补偿延迟器在进行80mS处理时是这样的。为了压缩这些补偿延迟器，40mS支路输出相应于80mS图案，并允许40mS的块被80mS插值器所处理。

按照本发明的另一简化与运动补偿处理有关。在现有BRD技术中，运动补偿是在对周围两个奇场插值后进行的。输出为全清晰度的场。而在本发明中，运动补偿在40mS quincunx网格上进行，并且输出为两个80mS模式的图案80_1和80_2。

现有技术的40mS支路包括6个电路：两个插值器和4个运动补偿延迟器。在本发明中，只有两个运动补偿的插值器。这些电路的硬件复杂性主要源自于所需的开关矩阵。此开关矩阵包括行延迟器和象素延迟器，用于进行对运动矢量移位后的象素的随机存取。

在现有技术的开关矩阵中，为存取4个象素，使用9个行延迟器；在本发明的开关矩阵中，为存取6个象素只需要7个行延迟器。

在图1中两个运动补偿的插值器11和12接收每两个相继帧的第一和第三场的40mS块40_A和40_C。在一组水平与垂直延迟器DHV后为开关矩阵SM。每个开关矩阵SM的6个输出象元值P、Q、R、S、T和U经过又一个水平延迟器DH的阵列。为得到对80mS输出网格的所有象素值，这些延迟器后跟着插值器INT。

对于插值，需要单运动矢量移位的输出象素的4个最邻近的象素P、Q、R和S。相应的两组4个象素至少有两个公用的象素，这是因为输出80_1和80_2的空间位置所致。这意味着使用相同的窗，存取6个象素P、Q、R、S、T和U，对于输出80_1和80_2的运动补偿是足够的。

40mS支路的计算的输出值80_1和80_2在一个多路复用器MUX中结合在一起，该多路复用器MUX在每一27MHz时钟周期将奇场的最终输出值80_1送至80mS模式图案，和将偶场的值80_2送至80mS模式图案中。

在图3中示出了在80mS网格中的运动矢量移位的象素的4个可能的行(30)与列(31)位置IP1、IP2、IP3和IP4，以表示这6个所需的插值输入P、Q、R、S、T和U。圆圈○标出了输出值80_1的空间位置，三角△标出了输出值80_2的空间位置。

如上文中所解释的，当运动矢量移位的象素不在quincunx网格上时，在quincunx网格上的运动补偿需要一个插值。在这种情况中，当只使用4个最邻近的象素P、Q、R和S时，难于得到正确插值的象素。这个问题的克服采取在水平延迟器DH中存储3个相继的开关矩阵输出。如图2a中所示，对具有10个不同空间位置Q-1、Q0、Q1、P-1、R-1/P0、R0/P1、R1、S-1、S0与S1的十二个象素，如果是用相同的矢量来存取它们，则它们对于在插值器INT中进行输出象素值80_1和80_2的插值而言是可用的。

如图2b中所示，在块边界20，当相邻块的运动矢量不相同时，会出现一些问题。在这种情况中，在插值器INT中使用的10个象素中的7个象素Q0、Q1、P0、R0、R1、S0和S1给出正确的输入值。为了避免在块边界的复杂控制，要作两个假定。这些假定已经在提供很忙的运动图象区域的图象序列上进行了仔细研究。这些研究证明这些假定是允许的。第一种假定是，使用在如图5中所示的插值窗中包含的10个象素中的7个象素(尤其是4个最邻近的象素)的插值将不会给出明显的误差，而是可能在一些特殊的图象内容中只给出模糊的象素。

第二个假定涉及在每一个由基于块的运动矢量的运动估计器而得到的运动矢量场中存在的连续性，这种连续性会使得对当前块外的3个象素的使用可以进行。当在一运动矢量块中出现不连续时，HDMAC编码器通常选择20mS模式。如果运动补偿未给出好的结果，则所述第一个假定将起作用，因为0矢量被用到了20mS各块上。

图4b更详细地示出了水平和垂直延迟器DHV组。输入值40_A和40-B分别经过一串7行延迟器LD，使得在输出端PV1到PV8可以使当前场的8行的象素并行。这些输出相应于垂直矢量位置VY＝7、VY＝5、VY＝3、......VY＝-7。输出Pv1到Pv8馈至具有输出40(Ph1到Ph9)的水平延迟部分HDS的输入41，输出40在图4a中更详细地示出，每一块T是一个象素的延迟。

如图4b中所示，4个水平延迟部分(HDS1、HDS2、HDS3、HDS4)表示一个随后的开关矩阵SM对每个当前象素位置将这些输出40连接至相应的6个开关矩阵输出，其分别代表象素P、Q、R、S、T和U。

图5示出了对当前象素I1的80_1插值窗51和对当前象素I2的80-2插值窗52。

在图6中，6个输入象素P、Q、R、S、T和U中的每一个经过一串二象素延迟器PD，其输入和输出分别以这种方式连接到插值器INT，以便使用插值窗51和52的各象素。

图7表示插值器INT的一个可能的硬件实现。自插值窗51得到的输入象素值Q-1、Q1、S-1、T0、Q0、S0、P0、R0、P-1和R1通过使用加法器“t”，乘法器“-2”、“4”、“7”、延迟器T和一除法器或移位器“÷16”而结合在一起。

值得注意，当前40mS支路的输出端的6个开关矩阵输出总是用在80_1窗口51中，因为即使在块的右边界，它们也是正确的：

当前组＝(P0、Q0、R0、S0、T0、V0)但是为了简化硬件的缘故，在I1的插值中不使用T0，及在I2的插值中不使用P0。

图8精确地示出了在当前行为奇(图8a)或偶(图8b)情形的窗位置。PB为图象边界，81和83是80_1窗，而82和84为80_2窗。其中的标记有下述意义：

×传输的象素(40mS)

□窗的中心

○ 80_1采样

△80_2采样I1和I2可按下列公式计算：

I_{1} = \frac{[- 2 (Q_{- 1} + Q_{1} + S_{- 1} + S_{1}) + 4 (Q_{0} + S_{0}) + 7 (P_{0} + R_{0}) + (P_{- 1} + R_{1})]}{16}

I_{2} = \frac{[- 2 (R_{- 1} + R_{1} + U_{- 1} + U_{1}) + 4 (R_{0} + U_{0}) + 7 (S_{0} + T_{0}) + (S_{- 1} + T_{1})]}{16}

奇数场处理：

在奇数场上不加运动补偿，但开关矩阵SM用一个0矢量工作，以允许在HDMAC BRD中经过一运动补偿插值器(MCI)进行处理。只有以40_A输入的MCI是活动的。图8a和图8b中的窗口的空间位置依赖于该场内的输出行奇偶性。

奇数行：

80_1＝P₀

80_2 = \frac{I_{1} + S_{0}}{2}

偶数行：

80_1＝I₁

80_2 = \frac{I_{2} + R_{0}}{2}

偶数场处理：

指向点(Impact Point)IP是指在作为开关矩阵SM的输出的一组6个象素(见图3)内的运动矢量所移位到的象素。实际上指向点标志着一对点30_1和80_2的位置。运动矢量(Vx、Vy)和当前行奇偶性决定指向点的位置。当前行奇偶性指一奇数场，因为对一个80mS输出图案，隔行扫描(interlace)不再存在。

奇数行：

从下式可知指向点IP：

S = | Vx | + \frac{| Vy |}{2}

|Vx|表示Vx的绝对值，这些Vx和Vy为整数，S可为一整数，也可以不是：

I(S)表示S的整数部分偶数行：从下式可知指向点IP：

S = | Vx | + \frac{| Vy |}{2}

S的计算与对奇数行的一样，但给IP的赋值不同：

要进行的插值依赖于指向点：

IP 1 {_{80_2 = \frac{I_{1} + S_{0}}{2}}^{80_1 = P_{0}}

IP 2 {_{80_2 = R_{0}}^{80_1 = \frac{I_{0} + Q_{0}}{2}}

IP 3 {_{80_2 = \frac{I_{2} + R_{0}}{2}}^{80_1 = I_{1}}

IP 4 {_{80_2 = I_{2}}^{80_1 = \frac{I_{1} + S_{0}}{2}}

对一极端负的垂直矢量分量Vy＝-6和Vy＝-5，以及一极端正的垂直矢量分量Vy＝+6和Vy＝+5，象素U并不总是可用的。图10和图11给出了这些情况。因此，插值需要被简化：

当缺U时，则

I_{2} = \frac{({3 S}_{0} + {3 T}_{0} + {2 R}_{0})}{8}

当缺Q时，则

I_{1} = \frac{({3 P}_{0} + {3 R}_{0} + {2 S}_{0})}{8}

开关矩阵SM的输出依赖于运动矢量(对奇数场为0矢量)和行的奇偶性(总是和奇数场有关)。图9示出了对一奇数行(图9a，PV＝5)和一偶数行(图9b，PV＝5)的可访问的象素。标记@代表一个80_1位置，而标记○代表80_2位置。为了减少行延迟器的所需数目，对极端大的垂直矢量分量，不是所有的对插值所需的象素在任何情况下都是可用的。

图10和图11按图9的计数和场40_A(t-20mS)给出了开关矩阵各输出的坐标。对于从图象左边到右边的水平位移，水平矢量分量为正。对于从图象底部到顶部的位移，垂直矢量分量为正。为得到对场40_C(t+20mS)的表，这些垂直分量的符号需要反号。

图10a对奇数行相应于Vy和Vx奇偶标志VXP给出了垂直位置PV。

图10b对奇数行相应于Vx和S奇偶标志SP给出了水平位置PH。

对奇数行S奇偶标志为：

S = | Vx | + \frac{| Vy |}{2}

如S为偶数，则S奇偶标志为偶，

如S为非偶数，则S奇偶标志为奇。

图11a对偶数行相应于Vy和Vx奇偶标志VXP给出了垂直位置PV。

图11b对偶数行相应于Vx和S奇偶标志SP给出了水平位置PII。

对偶数行S奇偶标志为：

S = | Vx | + \frac{| Vy | + 2}{2}

如S为偶数，则S奇偶标志为偶，

如S不为偶数，则S奇偶标志为奇。

在一正交采样网格系统中，例如MPEG，通过使用在可能的运动矢量指向点周围的4个象素P0、Q0、P1、Q1，运动补偿的插值是双线性的(即在两个空间方向上是线性的)。如图12中所示，该指向点可在采样网格内有4个不同的位置O。因此，开关矩阵必须访问四个象素P0、Q0、P1、Q1。

按照本发明，对每个运动补偿的块的每个输出象素位置，要访问的象素数目可以减少为2(P和Q)。由于有延迟器PD(与图6中所示的类似)，对一正确插值所需的所有4个输入象素值都是可用的。

通过将运动补偿的处理对每个块行扩展一个象素，可以解决所述块边界问题。例如，如果要把一矢量用在一16×16块上，该开关矩阵SM就需要只在一个17×16块的每个象素位置上访问2个象素(P和Q)。这样在16×16块内到处用于运动补偿中的四个象素就用同一矢量来访问，并且即使在块边界，该运动补偿的块可被完美地重建。

本发明可在诸如电视机和数字录象机(VCR)中使用。

Claims

1.一种用于对数字视频信号进行插值的方法，其中，输出象素值(80_1、80_2)是通过在一插值滤波器中从属于所述数字视频信号的输入象素(51、52、81-84)的空间窗的象素值(P、Q、R、S)中进行插值(INT)而得到的，所述窗的位置与要被插值的当前输出象素(80_1、80_2、I1、I2)的空间位置(IP1-IP4)有关，并且

其中，由所述插值滤波器对所述窗需要的象素值是通过由延迟装置(DHV、LD、T)延迟所述输入象素来获得的，

其中，来自所述窗的这些象素值被开关矩阵(SM)提供给所述插值滤波器，这些象素值对所述插值是需要的，其特征在于，所述插值提供亚象素空间分辨率；所述的提供的象素值被进一步延时(PD)，从而所述被提供的象素值和所述进一步延时的象素值构成一个扩大了的窗，用于对所述输出象素值(80_1、80_2)进行插值(INT)。

2.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于所述输出象素(80_1、80_2)构成一个其输入象素为二次采样的的象素的采样网格。

3.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于两个或更多个所述输出象素值(80_1、80_2)被并行插值(INT)，其中对这些输出象素(80_1、80_2)的每一个，需要一组不同的输入象素值(P、Q、R、S；S、R、T、U)，并且其中所述输入象素值中的一些象素值(R、S)对不同组是公用的。

4.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于只对一种类型的场的输出象素(40_A、40_C)进行所述插值(INT)。

5.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于所述插值被用于显示速率向上变换。

6.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于所述插值在一HDMAC解码器中进行，其中所述开关矩阵(SM)在奇数场中用一零矢量(Vx＝0、Vy＝0)工作。

7.根据权利要求1所述的用于对数字视频信号进行插值的方法，其特征在于在大的垂直矢量分量(Vy)情况下，所述插值被修改。

8.一种用于对数字视频信号进行插值的装置，用于实施根据权利要求1至7之一所述的用于对数字视频信号进行插值的方法，其中，输出的象素值(80_1、80_2)是通过从属于该数字视频信号的输入象素(51、52、81-84)的一空间窗的各象素值(P、Q、R、S)中进行插值而得到的，所述窗的位置与要插值的当前输出象素(80_1、80_2、I1、I2)的空间位置(IP1-IP4)相关，并且

其中使用延迟装置(DHV、LD、T)来得到对所述窗需要的象素值，以及

其中开关矩阵装置(SM)在其输出端提供对所述插值需要的来自所述窗的这些象素值，其特征在于：

所述插值提供空间亚象素分辨率；

所述开关矩阵装置(SM)的每一个输出都至少再经过一个进一步的延迟单元(PD)，从而所述开关矩阵装置的输出和所述进一步的象素延迟单元(PD)的输出构成一个用于对所述输出象素值(80_1、80_2)进行插值的扩大了的窗。

9.根据权利要求8所述的用到于对数字视频信号进行插值的装置，其特征在于该装置是一电视接收器，尤其是一HDMAC或MPEG接收器的一部分，或是一HDMAC或MPEG解码器的一部分，或是一数字录像机的一部分。