CN1170438C

CN1170438C - 数字视频信号下变换系统的运动补偿处理器及上升抽样方法

Info

Publication number: CN1170438C
Application number: CNB988002787A
Authority: CN
Inventors: 迈克尔·亚昆托; ��޲��ء��Ү; 金熙龙; 埃德温·罗伯特·迈耶; 颖川廉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-03-12
Filing date: 1998-03-11
Publication date: 2004-10-06
Anticipated expiration: 2018-03-11
Also published as: EP1628479A2; WO1998041011A1; EP0901734A1; DE69822060D1; EP0908057A1; JP4346114B2; EP0901734B1; WO1998041029A1; WO1998041012A1; CN1219327A; MY119918A; EP0908057B1; EP1628479A3; MY129539A; DE69822060T2; US6184935B1; EP0901735A1; DE69821693D1; CN1220800A; JP2000511035A

Abstract

符合高级电视系统标准(ATSC)的视频下变换系统，包括解码主轮廓高级(MP＠HL)图象及采用下变换处理器来生成标准清晰度视频信号的解码器。该系统存储分抽样图象以便减少存储器要求并采用运动补偿处理器从存储的分抽样图象中生成对照图象数据。对照图象数据在窨上对应于视频解码器分抽样前生成的图象数据。运动补偿处理器根据存储的图象的分抽样相位及用来定位下降抽样的存储的分抽样图象中的对照图象数据的运动矢量中的半象素指示符采用不同的滤波器系数。

Description

数字视频信号下变换系统的运动补偿处理器及上升抽样方法

本专利申请要求1997年3月12日提交的美国临时申请No.60/040,517的利益。

将美国临时申请No.60/040,517的整个公开内容明确包含在此作为参考。

发明领域

本发明涉及用于接收、解码例如MPEG-2编码的视频信号等频域编码信号并将其转换成标准输出视频信号的解码器，更具体地涉及将编码的高分辨率视频信号转换成解码的低分辨率输出视频信号的解码器的上升抽样与半象素发生器。

背景技术

在美国，高级电视系统协会(ATSC)标准定义高清晰度电视(HDTV)信号的数字编码。这一标准的一部分基本上与国际标准化组织(ISO)的运动图象专家组(MPEG)提出的MPEG-2标准相同。这一标准在名为“信息技术—运动图象与相关声频的通用编码，推荐H.626”，ISO/IEC13818-2，IS，11/94的国际标准(IS)出版物中加以描述，这一出版物可从ISO获得并通过引用将其关于MPEG-2数字视频编码标准的主旨包含在此。

MPEG-2标准实际上是若干不同标准。在MPEG-2中定义了若干不同轮廓，各对应于编码图象的不同复杂度级。为各轮廓定义了不同的级，各级对应于不同的图象分辨率。称作主轮廓的MPEG-2标准之一，主级是旨在编码符合现有电视标准(即NTSC与PAL)的视频信号。称作主轮廓的另一标准，高级是旨在编码高清晰度电视图象的。按照主轮廓编码的图象，高级标准可具有每图象帧多达1,152有效线及每线1,920个象素。

另一方面，主轮廓主级标准定义每线720个象素及每帧567线的最大画面规模。在每秒30帧的帧频上，按照这一标准编码的信号具有每秒720*567*30即12,247,200个象素的数据速率。反之，按照主轮廓高级标准编码的图象具有每秒1,152*1,920*30即66,355,200个象素的最大数据速率。这一数据速率大于五倍按照主轮廓主级标准编码的图象数据的数据速率。在美国，HDTV编码标准为这一标准的子集，具有多达每帧1,080线，每线1,920个象素及对于这一帧规模每秒30帧的最大帧速率。这一标准的最大数据速率仍远大于主轮廓主级标准的最大数据速率。

MPEG-2标准定义包含数据与控制信息的混合体的复杂语法。这种控制信息中的一些用于启动具有要由该标准覆盖的若干不同格式的信号。这些格式定义具有每线不同数目的画面元素(象素)，每帧或场不同数目的线及每秒不同数目的帧或场的图象。此外，MPEG-2主轮廓的基本语法定义表示五层中的一序列图象的压缩的MPEG-2位流，这五层为序列层、画面组层、画面层、片层与宏块层。各层是用控制信息引导的。最后在整个编码位流中分布有称作附加信息的其它控制信息(如帧类型、宏块模式、图象运动矢量、系数锯齿形模式及去量化信息)。

为了a)提供单个解码器供在多种现有视频格式中使用，b)提供在主轮廓高级信号与个人计算机监视器或现有消费者电视接收机之间的接口，及c)降低HDTV的实现成本，从编码高分辨率主轮廓高级画面到较低分辨率主轮廓高级画面；主轮廓主级画面或其它较低分辨率画面格式的格式转换变得越来越重要。例如，转换允许用具有较低画面分辨率的低价的现有监视器取代主轮廓高级编码画面所使用的昂贵的高清晰度监视器来支持诸如NTSC或525逐行监视器等主轮廓主级编码画面。一方面，下变换将高清晰度输入画面转换成较低分辨率画面供在较低分辨率监视器上显示。

为了高效地接收数字图象，解码器应快速地处理视频信号信息。为了最佳效果，解码系统应相对地便宜并仍具有足够能力来实时解码这些数字信号。因此，支持转换成多种低分辨率格式的解码器必须使用最少的处理器存储器。

MPEG-2主轮廓标准定义五级的一序列图象：序列级、画面组级、画面级、片级及宏块级。这些级中的每一个可认为是数据流中的一记录，后面列出的级作为嵌套的次级出现在前面列出的级中。各级的记录包含首标部分，它包含用来解码其次级记录的数据。

编码HDTV信号的各宏块包含6块，各块包含表示HDTV图象中的64个画面元素(象素)的离散余弦变换(DCT)表述的64个相应系数值的数据。

在编码过程中，在离散余弦变换之前象素数据可经过运动补偿差分编码，并通过应用行程长度与可变长度编码技术进一步编码变换系数块。从数据流中恢复图象序列的解码器颠倒这一编码过程。这一解码器采用熵解码器(如可变长度解码器)、逆离散余弦变换处理器、运动补偿处理器及内插滤波器。

图1为处理MPEG-2编码图象的现有技术的典型视频解码系统的高层框图。MPEG-2标准规定了不带后续处理、下变换或格式变换的用来解码MPEG-2编码的图象的通用方法。视频解码系统包含熵解码器(ED)110，后者可包含可变长度解码器(VLD)210及行程长度解码器212。该系统还包含逆量化器214及逆离散余弦变换(IDCT)处理器218。控制器207响应于ED 110从输入位流中检索到的控制信息控制解码系统的各种部件。为了处理预测图像，系统进一步包括具有对照帧存储器222的存储器199、求和网230及可拥有运动矢量处理器221与半像素发生器228的运动补偿处理器206a。

ED 110接收编码视频图像信号，并颠倒编码过程来生成量化频域(DCT)系数值的宏块及控制信息，控制信息中包含描述前一编码图像中对应于当前正在解码的预测画面的一宏块的匹配宏块的相对位移的运动矢量。逆量化器214接收量化的DCT变换系数及重构特定宏块的量化DCT系数。供特定块使用的量化矩阵是从ED 110接收的。

IDCT处理器218将重构的DCT系数变换成空间域中的象素值(对于表示宏块的亮度或色度分量的各8×8矩阵值块，及对表示预测的宏块的差分亮度或差分色度分量的各8×8矩阵值块)。

如果当前宏块不是预测编码的，则IDCT处理器218提供的输出矩阵值为当前视频图像的对应宏块的象素值。如果宏块是帧间编码的，便将前一画面帧的对应宏块存储在存储器199中，供运动补偿处理器206使用。运动补偿处理器206根据运动矢量从存储器199中接收前面解码的宏块，然后在求和网络230中将前面的宏块加在当前IDCT宏块上(对应于当前预测编码帧的残留分量)以生成当前视频图像的对应象素宏块，然后将其存储在存储器199的对照帧存储器222中。

发明内容

本发明的一个方面，提供了一种用于数字视频信号下变换系统的运动补偿处理器，该系统解码表示视频图象的数字编码视频信号及分样解码的信号以生成并存储分抽样图象信号，该分抽样信号在解码以后接收的编码成相对于较早解码的图象的差分画面象素值的编码图象信号中用作对照图象数据，该运动补偿处理器包括：具有多个可编程系数值和多个滤波器系数组的多相滤波器，各系数组包括多个系数值以编程该多相滤波器，从而滤波相应的不同分抽样相位；连接到该多相滤波器的运动矢量变换器，接收来自编码图象信号的运动矢量，处理所接收的运动矢量以将一个所要求的段定位在所存储的图象中的一个坐标位置，从所存储的分抽样图象信号中检索所要求的段；以及从所要求段的坐标位置确定所要求的段的初始分抽样相位并用对应于该确定的初始分抽样相位的系数组编程该多相滤波器；其中该多相滤波器滤波检索到的所要求的段以提供图象象素位置对应于该解码差分图象数据的上升抽样对照图象数据。

本发明的另一方面，提供了一种用于上升抽样表示存储的分抽样数字图象的数据供在数字视频信号下变换系统中使用的方法，该系统解码表示视频图象的数字编码视频信号及分样解码的信号以生成该存储的分抽样图象，其中存储该分抽样图象，用于在编码随后接收的编码的图象信号时，作为对照图象数据，该随后接收的编码的图象信号是在分抽样该解码的图象之前作为相对于该较早解码的图像的差分画面象素值编码的，该上升抽样方法包括下述步骤：接收来自编码的图象信号的运动矢量；处理该接收的运动矢量将一个所要求的段定位在该存储的图象的一个坐标位置；从存储的分抽样图象信号中检索出该所要求的段；以及从该所要求的段的坐标位置确定该所要求的段的分抽样相位；根据所确定的该所要求的段的分抽样相位，从多个系数组中选择一组初始系数，该组初始系数是用来滤波该检索出的段的；及用所选择的初始系数组滤波该检索出的要求的段以生成图象象素位置对应于该解码的差分图象数据的对照图象数据。

附图说明

图1为现有技术的视频解码器的高层框图。

图2为本发明的示范性实施例所采用的下变换系统的高层框图。

图3A为示出采用3∶1分样的4∶2∶0视频信号的输入与分样输出象素的宏块图。

图3B为示出采用2∶1分样的4∶2∶0视频信号的输入与分样输出象素的象素块图。

图4A为示出本发明的3∶1与2∶1示范实施例的亚象素位置及对应的预测象素的象素图。

图4B为示出本发明的示范性实施例为输入宏块的各行执行的上升抽样进程的流程图。

图5为示出块镜象滤波器的示范性实施例的第一与第二输出象素值的乘法对的象素图。

图6为示出作为级联的一维IDCT实现的处理水平与垂直分量的二维系统的下变滤波器的示范性实现的框图。

具体实施方式

本发明的示范性实施例解码已按照MPEG-2标准，特别是按照主轮廓高级(MP@HL)及主轮廓主级(MP@ML)MPEG-2标准编码的传统HDTV信号，并作为具有比多种格式中选择的一种的接收的HDTV信号较低分辨率的视频信号提供解码的信号。

下变换解码器

图2为包含采用这一DCT滤波操作的本发明的一个示范性实施例的下变换系统的高层框图，该系统可被本发明的示范性实施例使用。如图2中所示，下变换系统包括可变长度解码器(VLD)210、行程长度(R/L)解码器212、逆量化器214及逆离散余弦变换(IDCT)处理器218。此外，下变换系统包含用于滤波编码画面的下变换滤波器216及下降抽样处理器232。虽然以下描述的是 MP@HL编码的输入的示范性实施例，本发明也能用任何类似地编码的高分辨率图象位流实施。

按照本发明的下变换系统所采用的上升抽样滤波器与半象素发生器包含上升抽样处理器226、半象素发生器228并采用对照帧存储器222。下变换系统还包括拥有运动矢量(MV)变换器220及运动块发生器224的运动补偿处理器206。

图2的系统还包括拥有垂直可编程滤波器(VPF)282及水平可编程滤波器(HZPF)284的显示变换块280。显示变换块280将下降抽样的图象变换成供在具有比原始图象低的分辨率的特定显示器上显示的图象。

下变换滤波器216执行频域中的高分辨率(如主轮廓高级DCT)系数的低通滤波。下降抽样处理器232通过分样经过滤波的主轮廓高级画面消除空间象素来生成能在具有比显示 MP@HL画面低的分辨率的监视器上显示的象素值组。示范性对照帧存储器222存储对应于至少一个具有对应于下降抽样画面的前面解码的对照帧的空间象素值。对于帧间编码，MV变换器220定标与分辨率降低符合的接收画面的各块的运动矢量，而高分辨率运动块发生器224接收对照帧存储器222提供的低分辨率运动块，上升抽样这些运动块并执行提供具有对应于解码的与滤波的差分象素块的象素位置的运动块所需的半象素内插。

注意在图2的下变换系统中所存储的是下降抽样的图象而不是高清晰度图象，导致用于存储对照图象所需的存储器的可观减少。

下面描述用于帧内编码的本发明的示范性下变换系统的操作。VLD210接收与解码 MP@HL位流。除了HDTV系统使用的首标信息以外，VLD210还提供各块与宏块的DCT系数与运动矢量信息。DCT系数是在R/L解码器212中用行程长度解码并由逆量化器214逆量化。

由于所接收的用DCT系数表示的视频图象为高分辨率画面，本发明的示范性实施例在分样高分辨率视频图象之前采用各块的DCT系数的低通滤波。逆量化器214将DCT系数提供给DCT滤波器216，后者在将其提供给IDCT处理器218之前通过以预定滤波器系数值加权DCT系数在频域中执行低通滤波。对于本发明的一个示范性实施例，这一滤波器操作是在逐块的基础上执行的。

IDCT处理器218通过执行经过滤波的DCT系数的逆离散余弦变换而提供空间象素样本值。下降抽样处理器232通过按照预定的分样比消除空间象素样本值来缩小画面样本大小；因此，与存储较高分辨率 MP@HL画面所需的相比，存储较低分辨率画面利用较小的帧存储器。

下面描述用于编码标准的预测的帧的本发明的下变换系统的示范性实施例的操作。在本例中，当前接收的图象DCT系数表示预测的图象宏块的残余分量的DCT系数。在描述的示范性实施例中，由于存储在存储器中的前面的帧的低分辨率对照画面没有与高分辨率预测的帧( MP@HL)相同数目的象素，而缩小了预测的帧的运动矢量的水平分量。

参见图2，将VLD210提供的 MP@HL位流的运动矢量提供给MV变换器220。MV变换器220缩小各运动矢量来参照存储在对照帧存储器222中的前面的图象的对照帧的适当预测块。检索到的块中的大小(象素值的数目)小于IDCT处理器218所提供的块；结果，在用求和网络230组合这些块之前上升抽样检索到的块以形成具有与IDCT处理器218所提供的残余块相同数目的象素的预测块。

上升抽样处理器226响应来自MV变换器220的控制信号上升抽样预测块以生成对应于原来的高分辨率象素块的块，如果半象素发生器228中的上升抽样预测块的运动矢量指示这样做，便生成半象素值以确保预测块的正确空间对准。在求和网络230中将上升抽样与对准的预测块加在当前滤波的块上，它是例如来自预测块的降低分辨率的残余分量。所有处理是在逐个宏块的基础上完成的。完成了当前高分辨率宏块的运动补偿过程之后，用下降抽样处理器232相应地分样重构的宏块。这一过程并不降低图象的分辨率，只是从低分辨率图象中去掉冗余象素。

低分辨格式的下降抽样

下降抽样是用图2中下降抽样处理器232完成以减少下变换的图象中的象素数目的。图3A示出3∶1分样的4∶2∶0信号格式的输入与分样输出象素。图3B示出2∶1分样的4∶2∶0色度类型的输入与分样输出象素。表1给出图3A与3B的亮度与色度象素的符号标识。在图3A与3B的下变换前后的象素位置分别是隔行(3∶1分样)与逐行(2∶1分样)的情况。

表1

符号	象素
符号	象素	+	分样前亮度
×	分样前色度	+	分样前亮度
×	分样前色度	●	分样后亮度
△	分样后色度	●	分样后亮度

对于隔行图象的下降抽样，可以是从1920×1080个象素的图象到640×1080个象素的水平压缩图象的变换，在水平轴上每三个象素中抽掉两个。对于示范性3∶1分样，下变换过程后有三种不同的宏块类型。图3A中，原始宏块是用MB0、MB1、MB2表示的。MB0中的下降抽样亮度象素起始在原始宏块的第一象素上，但在MB1与MB2中下降抽样象素起始在第三与第二象素上。各宏块中下降抽样的象素数目也不同。MB0中，水平上有6个下降抽样的象素，但在MB1与MB2中为5个象素。这三种MB类型是循环的，因此适用于模3计算。表2概述了下降抽样象素的数目及各输入宏块MB0、MB1、MB2的偏移。

表2

	MB0	MB1	MB2
	MB0	MB1	MB2	下降抽样亮度象素数目	6	5	5
下降抽样色度象素数目	3	3	2	下降抽样亮度象素数目	6	5	5
下降抽样色度象素数目	3	3	2	第一个下降抽样亮度象素的偏移	0	2	1
第一个下降抽样色度象素的偏移	0	1	1	第一个下降抽样亮度象素的偏移	0	2	1

对于顺序格式图象的下降抽样，水平方向上每两个样本分抽样亮度信号。对于色度信号，下降抽样的象素具有原始图象中的象素位置下方二分之一个象素的空间位置。

下变换的宏块预测

对于示范性下变换过程，由于前面的图象的对照帧是在水平方向上缩小尺寸的，指向这些帧的接收的运动矢量也要按照变换比变换。下面描述亮度块在水平方向上的运动变换。如果想这样做，熟悉本技术的人员能容易地将下面的讨论推广到垂直方向上的运动变换上。用x与y表示当前的宏块在原始图象帧中的地址，Dx为水平分样因子及mv_x为原始图象帧的半象素水平运动矢量，以半象素单位记作XH的原始图象帧中的运动块的左上象素的地址用(1)给出：

XH＝2x+mv_x (1)

对应于运动块的象素起始在下降抽样的图象中，并具有可用式(2)定义的记作x^*与y^*的地址。

x^{*} = \frac{XH}{2 \cdot Dx}; y^{*} = y - - - - - - - (2)

式(2)的除法为带截尾的整数除法。

因为示范性滤波器216与下降抽样处理器232只缩小图象的水平分量，不影响运动矢量的垂直分量。对于色度数据，运动矢量是原来画面中的亮度运动矢量的二分之一。因此，变换色度运动矢量的定义也可使用式(1)与(2)。

运动预测是用两步过程完成的：首先，可在图2A与2B的上升抽样处理器226中通过上升抽样经下降抽样的图象帧来完成原始图象帧中的象素精度运动估计，然后半象素发生器228通过平均最近的象素值执行半象素内插。

将对照图象数据加在IDCT处理器218提供的输出数据上。由于求和网络230的输出值对应于具有若干与高分辨率格式相符的象素的图象，可下降抽样这些值供显示在具有较低分辨率的显示器上。下降抽样处理器232中的下降抽样基本上等效于图象帧的分抽样，但可根据变换比作出调节。例如，在3∶1下降抽样的情况中，对于各输入宏块的水平下降抽样象素的数目为6或5，而第一下降抽样的象素不永远是输入宏块中的第一象素。

在从下降抽样的图象中得出正确的运动预测块之后，利用上升抽样来得出高分辨率画面中的对应预测块。结果，在下降抽样的画面中，运动块预测中的亚象素精度是理想的。例如，采用3∶1分抽样，希望下变换画面的运动预测中具有1/3(或1/6)亚象素精度。除了下降抽样的运动块之外，确定作为运动矢量所需的第一象素的亚象素。然后，用下面描述的模运算确定后面的亚象素位置。亚象素位置记作式(3)中给出的Xs：

X_{s} = (\frac{XH}{2}) % (Dx) - - - - - - (3)

其中“％”表示模除法。

例如，对于3∶1上升抽样Xs的范围为0、1、2，而对于2∶1上升抽样为0、1。图4A示出对于3∶1及2∶1样本的亚象素位置及对应的17个预测象素，而表3给出图4A的符号。

表3

符号	象素
符号	象素	●	下降抽样的象素
△	上升抽样的象素	●	下降抽样的象素
△	上升抽样的象素	○	预测象素
□	上升抽样的额外的右与左象素	○	预测象素

如上所述，上升抽样滤波器可以是上升抽样多相滤波器，表4给出这些上升抽样多相内插滤波器的特征。

表4

	3∶1上升抽样	2∶1上升抽样
	3∶1上升抽样	2∶1上升抽样	多相滤波器数	3	2
抽头数	3	5	多相滤波器数	3	2
抽头数	3	5	水平下降抽样象素的最大数目	9	13

下面的两个表，表5与表6，示出示范性3∶1与2∶1上升抽样多相滤波器的多相滤波器系数。

表5 3∶1上升抽样滤波器

	相位0	相位1	相位2
	相位0	相位1	相位2	双精度	-0.16382317355910.79005893595120.3737642376078	0.02210806910700.95578386178580.0221080691070	0.37376423760780.7900589359512-0.1638231735591
定点(9位)	-0.1640625(-42)0.7890625(202)0.3750000(96)	0.0234375(6)0.95703125(244)0.0234375(6)	0.3750000(96)0.7890625(202)-0.1640625(-42)	双精度	-0.16382317355910.79005893595120.3737642376078	0.02210806910700.95578386178580.0221080691070	0.37376423760780.7900589359512-0.1638231735591

表6 2∶1上升抽样滤波器

	相位0	相位1
	相位0	相位1	双精度	0.01103968392600.02838864029200.92114335156360.02838864029200.0110396839260	-0.14333638871130.64333638871130.6433363887113-0.14333638871130.00000000000000
定点(9位)	0.01718750(3)0.02734375(7)0.92187500(236)0.02734375(7)0.01718750(3)	-0.14453125(-37)0.64453125(165)0.64453125(165)-1.4453125(-37)0.00000000(0)	双精度

在定点表示中，表5与表6的括号中的数为9位中的2的补码表示，对应的双精度数在其左边。取决于下降抽样的对照图象帧中的运动预测块的亚象素位置，采用了多相内插滤波器的一种对应相位。同时，对于示范性实施例采用了左与右附加象素在原始图象帧中内插17个水平象素。例如，在3∶1分样的情况中，为各输入宏块最多生成6个水平下降抽样的象素。然而在上升抽样时，利用9个水平象素来生成对应的运动预测块值，因为上升抽样滤波器需要边界外的更靠左与右的象素供滤波器操作。由于示范性实施例采用半象素运动估计，需要17个象素来得出作为最接近的两个象素样本的平均值的16个半象素。半象素内插器执行提供带有半象素分辨率的象素块的内插操作。表7A示出亚象素位置与多相滤波器元件之间的示范性映射，并示出上升抽样过程除了上升抽样块之外所需要的若干左边的象素。

表7A

	亚象素位置	多相	外加左象素数	坐标改变
	亚象素位置	多相	外加左象素数	坐标改变	3∶1上升抽样	012	120	110	x^-＞x^-1x^-＞x^-1
2∶1上升抽样	01	01	22	x^-＞x^-2x^-＞x^-2	3∶1上升抽样	012	120	110	x^-＞x^-1x^-＞x^-1

图4B概括了为输入宏块的各行执行的上升抽样处理。首先在步骤310中，接收正在处理的输入图象帧的块的运动矢量。在步骤312上，将运动矢量变换成对应存储器中的下降抽样的对照帧。在步骤314上，利用缩小的运动矢量来计算存储在存储器130中的对照图象块的坐标。在步骤316上，确定该块的亚象素点，并在步骤318上确定用于上升抽样的初始多相滤波器值。然后在步骤320上从存储器130中检索出为存储的下降抽样的对照帧的对照块识别的象素。

在滤波步骤324上的第一遍之前，可在步骤322上初始化滤波器的寄存器，对于示范性实施例，这包括用3或5个初始象素值加载寄存器的步骤。然后在滤波步骤324之后，进程在步骤326上判定是否已处理过全部象素，这对于示范性实施例为17个象素。如果已处理过全部象素，便完成了上升抽样块。对于示范性实施例，为上或下运动块返回17×9的象素块。如果尚未处理全部象素，便在步骤328上更新相位，并检验相位是否为0值。如果相位为0，为下一组象素值更新寄存器。在步骤328上更新相位为示范性3∶1上升抽样的滤波器循环周期将相位值更新成0、1与2，而为2∶1上升抽样的滤波器循环周期更新成0与1。当最后象素越出图象画面的边界时，可以重复图象画面中的第一象素值。

对于示范性实施例，可以按照以下指导实现上升抽样滤波操作。首先，可采用若干因子：1)半象素运动预测操作平均两个整象素，并且还平均对应的滤波器系数以提供半象滤波器系数；2)不论是什么特定的下变换，都可采用固定数目的滤波器系数，例如5个，它们可等于滤波器抽头数；3)可以为各前与后、下与上块向上升抽样块提供5个并行输入端口，这些端口对于正在与对应的滤波器系数组合的各对照块的各时钟变迁以5个输入象素LWR(0)-LWR(4)来提供一个输出象素，以及4)与各自的象素LWR(0)-LWR(4)组合的滤波器系数之和提供抽样块的输出象素。

滤波器系数最好是颠倒的，因为乘法次序是与正常的滤波器系数次序相反的，并且将一些系数赋0是理想的。表7B给出3∶1上升抽样滤波器的示范性系数，而表7C给出2∶1上升抽样滤波器的示范性系数：

表7B

	亚象素0	亚象素1	亚象素2	亚象素3	亚象素4	亚象素5
	亚象素0	亚象素1	亚象素2	亚象素3	亚象素4	亚象素5	滤波器系数	6244600	-182235100	-422029600	-21149149-210	96202-4200	51223-1800
对照	x^*-1	x^*-1	x^*-1	x^*-1	x^*	x^*	滤波器系数	6244600	-182235100	-422029600	-21149149-210	96202-4200	51223-1800
对照	x^*-1	x^*-1	x^*-1	x^*-1	x^*	x^*	相位	01	00	10	01	00	10
半象素	0	1	0	1	0	1	相位	01	00	10	01	00	10

表7C

	亚象素0	亚象素1	亚象素2	亚象素3
	亚象素0	亚象素1	亚象素2	亚象素3	滤波器系数	3723673	2-1520086-17	-37165165-370	-1786200-152
对照	X^*-2	X^*-2	X^*-1	X^*-1	滤波器系数	3723673	2-1520086-17	-37165165-370	-1786200-152
对照	X^*-2	X^*-2	X^*-1	X^*-1	相位	00	00	01	01
半象素	0	1	0	1	相位	00	00	01	01

表7B与7C中，x^*为式(1)与(2)中所定义的下降抽样的象素位置，而亚象素位置x_s是从作为式(3’)从式(3)重定义的

x_s＝(XH)％(2Dx) (3’)

对于示范性实现的色度值；XH用2定标，并应用式(1)、(2)与(3’)。在一个实施例中，图2B的运动补偿处理器220与半象素发生器228使用相位与半象素信息(分别编码成2位与1位)。例如，对照块象素先作为U象素、再作为V象素及最后作为Y象素提供。U与V象素时钟脉冲输入40个周期而Y象素时钟脉冲输入144个周期。可通过提供前5个象素，重复两次，将数据移一位及重复到一行结束，来为3∶1分样提供对照块。同一方法可用于2∶1分样，但除外重复一次而不是两次。重复输入象素，因为分样在来自运动补偿的输出的加法与用残余值的半象素发生后面。结果对于3∶1分样，删除了三个象素中的两个，而这些象素值的哑象素无关紧要。

采用DCT系数加权的DCT域滤波

本发明的示范性实施例是与图2的DCT滤波器216一起使用的，后者处理频域中的DCT系数，取代空间域中低通滤波器操作。正如MPEG或JPEG标准所设想的，在DCT域中滤波而不在空间域中滤波DCT编码的画面有若干优点。最明显的是，DCT域滤波器比应用在空间象素样本值上的空间域滤波器在计算上更高效并需要较少的硬件。例如，具有N个抽头的空间滤波器对各空间象素样本值可使用多达N次额外的乘法与加法。而DCT域滤波器中只须一次额外的乘法。

现有技术的最简单DCT域滤波器为高频DCT系数的截短。然而，截短高频DCT系数得不出平滑的滤波并具有诸如在接近解码画面的边沿的瞬变等缺点，本发明的示范性实施例的DCT域低通滤波器是从空间域中的块镜象滤波器得出的。块镜象滤波器的滤波器系数值是例如用空间域中的数值分析优化的，然后将这些值转换成DCT域滤波器的系数。

虽然示范性实施例只在水平方向上示出DCT域滤波，通过组合水平与垂直滤波器也能在水平或垂直方向之一或两者上进行DCT域滤波。

DCT域滤波器系数的导出

用在本发明中的一种示范性DCT滤波器是从两种制约中得出的：第一，滤波器在逐块的基础上为图象的各块处理图象数据而不使用来自前面的画面的块的信息；及第二，滤波器减少在它处理边界象素值时出现的块边界的可见性。

按照第一制约，在MPEG图象序列的基于DCT的压缩中，例如，N×N个DCT系数产生N×N个空间象素值。结果，本发明的示范性实施例实现只处理所接收的画面的当前块的DCT域滤波器。

按照第二制约，如果简单地将滤波器应用在空间频率系数上，在块边界上会存在滤波操作的瞬变，这是由于边界以外没有足够数目的空间象素值来填充滤波器的剩余部分导致的。这便是，不能适当地滤波块边上的系数值，因为N抽头滤波器只有N/2个抽头的值，其余的值在块边界外面。存在着多种补充丢失的象素值的方法：1)在边界外面重复预定的常数象素值；2)重复与边界象素值相同的象素值；及3)镜象反射块的象素值来模拟邻接处理的块的前面与后面的象素值块。没有关于前面或后面的块的内容的先有信息，重复象素值的反射方法认为是较佳方法。因此，本发明的一个实施例采用这一滤波器反射方法并称作“块镜象滤波器”。

下面描述实现低通滤波器8输入一块的空间象素样本值的水平块镜象滤波器的示范性实施例。如果输入块的大小为象素样本值的8×8块矩阵，则可通过将块镜象滤波器应用在8个象素样本值的各行上来进行水平滤波。对于熟悉本技术的人员显而易见可通过列向应用滤波器系数在块矩阵上来实现滤波过程，或者通过滤波块矩阵的行然后滤波其列来完成多维滤波。

图5示出输入象素值x₀至x₇(组X0)与8个输入象素的示范性镜象滤波器的滤波器抽头之间的示范性对应，该滤波器采用以抽头值h₀至h₁₄表示的15个抽头空间滤波器。在组X0的左侧反射输入象素，示出为组X1，并在组X0的右侧反射，示出为组X2。滤波器的输出象素值便是滤波器抽头系数值与对应的象素样本值的15个乘积之和。图5示出第一与第二输出象素值的乘法对。

下面示出空间域中的块镜象滤波器等效于DCT域滤波器。镜象滤波是指2N个点(N＝8)的圆周卷积而言。

将矢量x’定义为如式(4)中所示。

x’＝x(n)+x(2N-1-n)；0＜＝n＜＝2N-1 (4)

在N＝8的情况中，

x’＝(x0，x1，x2，x3，x4，x5，x6，x7，x7，x6，x5，x4，x3，x2，x1，x0)

重新排列滤波器抽头值h0至h14，并用h’标记重新排列的值

h’＝(h7，h8，h9，h10，h11，h12，h13，h14，0，h0，h1，h2，h3，h4，h5，h6)

因此镜象滤波的输出y(n)为x’(n)与h’(n)的圆周卷积，这由式(5)给出。

y(n)＝x’(n)h’(n) (5)

它等价于式(6)。

y (n) = Σ_{K = 0}^{2 N - 1} x^{'} [n - k] h^{'} (n) - - - - - - - (6)

其中x’[n-k]为x’(n)的圆周模且

x’[n]＝x’(n) 对于n＞＝0

x’[n]＝x’(n+2N)对于n＜0

式(5)中所示的空间域中的圆周卷积对应于离散傅里叶变换(DFT)域中的纯量乘法。定义Y(k)为y(n)的DFT，则式(5)成为DFT域中的式(7)。

Y(k)＝X’(k)·H’(k) (7)

其中X’(k)与H’(k)分别为x’(n)与h’(n)的DFT。

式(4)至(7)对于带有小于2N个抽头的滤波器有效。此外，滤波器限制为带有奇数个抽头的对称滤波器，带有这些制约的H’(k)为实数。因此，作为x’(n)的DFT的X’(k)可以用DFT频域中的实数H’(k)加权而不是用空间域中的2N次乘法与2N次加法运算来实现滤波操作。X’(k)的值是与原来的N点x(n)的DCT系数非常紧密地相关的，因为x(n)的N点DCT是用x’(n)的2N点DFT得出的，后者为由x(n)与其镜像x(2N-1-n)组成的联合序列。

下面描述空间滤波器的DFT系数H’(k)的推导，首先假定具有奇数2N-1个抽头的对称滤波器，即h(n)＝h(2N-2-n)，及等价地h’(n)＝h’(2N-n)且h’(N)＝0。以式(8)定义H’(k)。

H^{'} (k) = Σ_{n = 0}^{2 N - 1} h^{'} (n) \cdot W_{2 N}^{kn} = h^{'} (0) + 2 Σ_{n = 1}^{N - 1} h^{'} (n) \cos \frac{πkn}{N} - - - - - - (8)

其中W_2N ^kn＝exp{-2πkn/(2N)}；且H’(k)＝H’(2N-k)。

本发明人已确定x’(n)的2N点DFT，X’(k)，可用其DCT系数表示，如式(9)中所示。

X^{'} (k) = Σ_{n = 0}^{2 N - 1} x^{'} (n) \cdot W_{2 N}^{kn} = W_{2 N}^{- k / 2} \cdot Σ_{n = 1}^{N - 1} 2 x (n) \cdot \cos \frac{πk (2 n + 1)}{2 N} - - - (9)

而x(n)的DCT系数C(k)则由式(10)给出。

C (k) = Σ_{n - 1}^{N - 1} 2 x (n) \cdot \cos \frac{πk (2 n + 1)}{2 N} = W_{2 N}^{k / 2} \cdot X^{,} (k)

对于0≤k≤N-1 (10)

及另处C(k)＝0。

x’(n)的DFT·系数X’(k)的值可用式(11)的矩阵的x’(n)的DCT系数C(k)表示。

原始空间象素样本值x(n)也能用式(12)中所示的IDCT(逆离散余弦变换)得出。

x (n) = \frac{1}{N} Σ_{k = 0}^{N - 1} α (k) \cdot C (k) \cdot \cos \frac{πk (n + 1 / 2)}{N} - - - - - - (12)

其中α(k)＝1/2对于k＝0，及否则α(k)＝1。

对于0＜＝n＜＝N-1，y(n)的值是用(13)中给出的X’(k)H’(k)的IDFT得出的：

y (n) = \frac{1}{2 N} \cdot {Σ_{k = 0}^{2 N - 1} X^{'} (k) \cdot H^{'} (k) \cdot W_{2 N}^{- kn}}

= \frac{1}{2 N} {Σ_{k = 0}^{N - 1} C (k) \cdot H^{'} (k) \cdot W_{2 N}^{- k (n + 1 / 2)} + Σ_{k = N + 1}^{2 N - 1} - C (2 N - k) \cdot H^{'} (2 N - k) \cdot W_{2 N}^{- k (n + 1 / 2)}}

= \frac{1}{N} Σ_{k = 0}^{N - 1} α (k) \cdot {C (k) \cdot H^{'} (k)} \cos \frac{πk (n + 1 / 2)}{N} - - - - - - (13)

式(13)的值y(n)为C(k)H’(k)的IDCT的空间值。因此，可用H’(k)表示的图象块的输入频域系数的DCT加权替代空间滤波，然后执行加权值的IDCT来重构空间域中的经过滤波的象素值。

本发明的示范性块镜象滤波的一个实施例是通过下述步骤得出的：1)选择带有少于2N个抽头的奇数抽头的一维低通对称滤波器；

2)通过用零来填充将滤波器系数增加到2N个值；3)重新排列滤波器系数以使用左循环移位将原来中间系数移入第0位置；4)确定重新排列的滤波器系数的DFT系数；5)将DCT系数乘以滤波器的实数DFT系数；及6)执行经过滤波的DCT系数的逆离散余弦变换(IDCT)以提供准备好分样的低通滤波的象素块。

用分样比确定低通滤波器的截止频率。对于一个示范性实施例，3∶1分样的截止频率为π/3而2∶1分样的为π/2，其中π对应于1/2抽样频率。

MPEG与JPEG解码器中的DCT域滤波器允许减少存储器需求，因为现有技术的解码器中已存在块的逆量化器及IDCT处理，而只需要DCT域滤波器的DCT系数的附加纯量乘法。因此，在特定的实现中实际上不需要独立的DCT域滤波器块乘法；本发明的另一实施例简单地组合DCT域滤波器系数与IDCT处理系数并将组合的系数应用在IDCT运算上。

对于本发明的示范性下变换系统，考虑了DCT系数的水平滤波与分样；下面是两种示范性实现：

1. 1920H×1080V隔行至640×1080隔行变换(水平3∶1分样)。

2. 1280H×720V逐行到640×720逐行变换(水平2∶1分样)。

表8示出DCT块镜象滤波器(加权)系数；表8中括号中的数字为10位2的补码表示。表8的“*”指示10位2的补码表示的越界值，因为值大于1；然而正如熟悉本技术的人员所知的，通过将系数值加在系数乘以滤波器值的小数值(余数)上，能容易地实现块的列系数乘以用*指示的值的乘法。

表8

	3∶1分样	2∶1分样
	3∶1分样	2∶1分样	H[0]	1.000000000000000(511)	1.000000000000000(511)
H[1]	0.986934590759779(505)	1.0169628157945179(*)	H[0]	1.000000000000000(511)	1.000000000000000(511)
H[1]	0.986934590759779(505)	1.0169628157945179(*)	H[2]	0.790833583171840(405)	1.0000000000000000(511)
H[3]	0.334720213357461(171)	0.82247656390475166(421)	H[2]	0.790833583171840(405)	1.0000000000000000(511)
H[3]	0.334720213357461(171)	0.82247656390475166(421)	H[4]	-0.0323463361027473(-17)	0.46728234862006007(239)

H[5]	-0.03774500369545234(-19)	0.10634261847436199(54)
H[5]	-0.03774500369545234(-19)	0.10634261847436199(54)	H[6]	-0.0726889747390758(37)	-0.052131780559049545(-27)
H[7]	0.00954287167337307(5)	-0.003489737967467715(-2)	H[6]	-0.0726889747390758(37)	-0.052131780559049545(-27)

这些水平DCT滤波器系数加权编码的视频图象的DCT系数的8×8块中的各列。例如，列0的DCT系数是用H[0]加权的，而第一列的DCT系数是用H[1]加权的，等等。

上面的描述示出用一维DCT的水平滤波器实现。如在数字信号处理技术中所知的，这种处理能扩展到二维系统。式(12)示出一维IDCT的情况，从而，式(12’)给出更广义的二维IDCT：

f (x, y) = \frac{2}{N} Σ_{u = 0}^{N - 1} Σ_{v = 0}^{n - 1} C (u) C (v) F (u, v) \cos \frac{(2 x + 1) uπ}{2 N} \cos \frac{(2 y + 1) vπ}{2 N} - - - - - - - (12^{'})

其中C(u)，C(v)为

其中f(x，y)为空间域表示，x与y为样本域中的空间坐标，而u、v则为变换域中的坐标。由于系数C(u)、C(v)与余弦项一样是已知的，只需要为处理算法提供变换域系数。

对于二维系统，输入序列表示为值的矩阵，各表示变换域中的相应坐标，并且矩阵可显示为具有在列序列中周期为M的周期性序列，而在行序列中周期为N的周期性序列，N与M为整数。二维DCT能实现为在输入序列的列上执行的一维DCT，然后在经过DCT处理的输入序列的行上执行的第二个一维DCT。并且，如本技术中已知的，二维IDCT能实现为单一过程。

图6示出用于作为级联的一维IDCT实现的处理水平与垂直分量的二维系统的下变换滤波器的示范性实现。如图6中所示，图2的DCT滤波器框罩216及IDCT 218可用垂直处理器510与水平处理器520实现，垂直处理器510包含垂直DCT滤波器530与垂直IDCT540，水平处理器520包含与实现垂直部件相同的水平DCT滤波器与水平IDCT。由于滤波与IDCT过程是线性的，实现这些过程的次序可以重新排列(例如，首先水平与垂直DCT滤波及随后水平与垂直IDCT，或者反过来，或者首先垂直处理器520及随后水平处理器510)。

在图6中所示的特定实现中，垂直处理器510后面跟随块转置运算器550，它交换垂直处理器所提供的经过垂直处理的值的块的行与列。这一运算通过准备好供水平处理器520处理的块而来提高计算效率。

垂直DCT滤波器530接收编码视频块，例如8×8的矩阵值块，它用对应于所要求的垂直分样的DCT滤波器值加权该块的各行项。接着垂直IDCT540为该块的垂直分量执行逆DCT。如上所述，由于两个过程都只执行矩阵乘法与加法，可将DCT LPF系数与垂直DCT系数组合用于矩阵乘法与加法运算。然后垂直处理器510将经过垂直处理的块提供给转置运算器550，后者将经过垂直处理的值的转置块提供给水平处理器520。除非IDCT运算只用行或只用列进行，转置运算器550是不必要的。水平处理器520用对应于所要求的水平滤波的DCT滤波器值来执行该块的各列项的加权，然后为该块的水平分量执行逆DCT。

如参照式(12’)所述，只将变换域中的系数提供给处理算法；并且运算是线性的而允许只在这些系数上的数学运算。如从式(12’)中显而易见的，IDCT的运算形成积之和。结果，硬件实现要求将已知的系数存储在诸如ROM(未示出)等存储器中，及一组乘法与加法电路(未示出)从ROM中以及从输入变换坐标的矩阵中选择的系数中接收这些系数。对于更先进的系数，如果按照分布式运算将数学运算的次序从积之和实现修改成位串行实现，则可采用ROM累加器方法。这些技术在诸如Stanley A.White的“分布式运算的数字信号处理上的应用”：导师评论，IEEE ASSP杂志，1989年7月，中所描述，它利用计算的对称性来减少积之和实现的总的门计数。

在本发明的替代实施例中，DCT滤波器运算可与逆DCT(IDCT)运算组合。对于这一实施例，由于滤波与逆变换运算是线性的，可将滤波器系数与IDCT的系数组合构成修正的IDCT。如本技术中已知的，可通过类似于简单IDCT运算的硬件实现来执行修正的IDCT并从而组合的IDCT与DCT下变换滤波。

虽然在这里已示出与描述了本发明的示范性实施例，应理解这些实施例只是以示例方式提供的。对于熟悉本技术的人员可以不脱离本发明的精神作出许多种变化、改变与替代。从而，旨在用所附权利要求书来覆盖落入本发明的范围内所有这些变化。

Claims

1、用于数字视频信号下变换系统的运动补偿处理器，该系统解码表示视频图象的数字编码视频信号及分样解码的信号以生成并存储分抽样图象信号，该分抽样信号在解码以后接收的编码成相对于较早解码的图象的差分画面象素值的编码图象信号中用作对照图象数据，该运动补偿处理器包括：

具有多个可编程系数值和多个滤波器系数组的多相滤波器，各系数组包括多个系数值以编程该多相滤波器，从而滤波相应的不同分抽样相位；

连接到该多相滤波器的运动矢量变换器，接收来自编码图象信号的运动矢量，处理所接收的运动矢量以将一个所要求的段定位在所存储的图象中的一个坐标位置，从所存储的分抽样图象信号中检索所要求的段；以及

从所要求段的坐标位置确定所要求的段的初始分抽样相位并用对应于该确定的初始分抽样相位的系数组编程该多相滤波器；

其中该多相滤波器滤波检索到的所要求的段以提供图象象素位置对应于该解码差分图象数据的上升抽样对照图象数据。

2、按照权利要求1的运动补偿处理器，其中：

该编码视频信号中的运动矢量以一个象素位置的二分之一的分辨率定义所要求的段的位置；

该多个系数组包含2N个系数组，其中N为作用在解码的图象上以生成分抽样图象的分样因子，各系数组对应于分抽样相位与半象素位置的不同组合；

运动矢量变换器从所要求段的坐标位置确定所要求的段的初始分抽样相位及从运动矢量确定半象素位置，并用对应于所确定的初始抽样相位及半象素位置的系数组编程该多相滤波器。

3、按照权利要求1的运动补偿处理器，其中：

该编码视频信号中的运动矢量以一个象素位置的二分之一的分辨率定义所要求的段的坐标位置；以及

该处理器还包括线性内插器，根据运动矢量有选择地平均经过滤波的该所要求的段中的相邻象素以生成从经过滤波的该所要求的段的象素值移位了二分之一象素位置的输出象素值。

4、按照权利要求1的运动补偿处理器，其中该视频信号下变换系统配置成用多个分样因子之一来分样解码的视频信号，及其中：

该下变换系统包括一个可编程为用多个分样因子之一来分样该解码的视频图象的滤波器；

一个系数存储器保存多个系数组的群，各群对应于多个分样因子之一；以及

该运动矢量变换器响应于该分样因子及该对照图象数据的坐标位置以对应于该分样因子及所确定的抽样相位的系数组编程该多相滤波器。

5、按照权利要求4的运动补偿处理器，其中该分样的视频信号是只在水平方向上分样的，以及该多相滤波器为一维有限冲激响应滤波器。

6、一种用于上升抽样表示存储的分抽样数字图象的数据供在数字视频信号下变换系统中使用的方法，该系统解码表示视频图象的数字编码视频信号及分样解码的信号以生成该存储的分抽样图象，其中存储该分抽样图象，用于在编码随后接收的编码的图象信号时，作为对照图象数据，该随后接收的编码的图象信号是在分抽样该解码的图象之前作为相对于该较早解码的图像的差分画面象素值编码的，该上升抽样方法包括下述步骤：

接收来自编码的图象信号的运动矢量；

处理该接收的运动矢量将一个所要求的段定位在该存储的图象的一个坐标位置；

从存储的分抽样图象信号中检索出该所要求的段；以及

从该所要求的段的坐标位置确定该所要求的段的分抽样相位；

根据所确定的该所要求的段的分抽样相位，从多个系数组中选择一组初始系数，该组初始系数是用来滤波该检索出的段的；及

用所选择的初始系数组滤波该检索出的要求的段以生成图象象素位置对应于该解码的差分图象数据的对照图象数据。

7、按照权利要求6的上升抽样方法，其中：

该运动矢量以二分之一象素的分辨率定义该所要求的图象段的位置；以及

该选择步骤根据该分抽样相位选择表示分抽样相位及移位二分之一象素位置的分抽样相位的一对系数组；以及

该方法还包括下述步骤：

根据该运动矢量识别该对系数组中供在所述滤波步骤中用来生成对照图象数据的一个系数组。