CN1197359C - 获得增强译码的降低分辨率的视频信号的设备和方法 - Google Patents

Abstract

一种改进的图像处理系统(204，205B，205E，206，207)涉及到译码包括频域系数的压缩图像数据，这些系数定义以第一分辨率表示一个图像的像素值块以便从选择的频域系数的子集提供以降低的第二分辨率显示的图像。该设备包括一个增强的运动补偿单元(MCU)(208)，对以低于第一分辨率但高于降低的第二分辨率的中间第三分辨率表示图像的像素值块进行控制。

Description

获得增强译码的降低分辨率的 视频信号的设备和方法

技术领域

本发明涉及编码的高清晰度(HD)视频信号的译码，以获得例如适合于记录或产生画中画(PIP)或其他降低分辨率显示的增强译码的视频信号。

背景技术

本领域公知的电视接收机在显示从一个基本电视频道中获得的相对大的图像时，也同时显示从辅助电视频道获得的较小的画中画(PIP)。在高清晰度电视(HDTV)接收机的情况下，接收机必须包括一个相对复杂而昂贵的译码器，该译码器符合在高清晰度显示中实时地译码接收的编码HD视频信号的MPEG ISO 13818-2标准。然而，因为PIP很小，所以不需要提供高清晰度的PIP显示，因为观众本来就不能分辨高清晰度PIP的较高清晰度部分。因此，为了提供PIP，HDTV接收机可以提供仍然符合ISO 13818-2标准的较低分辨率的第二较简单和较少花费的译码器。

本领域的一种公知的方法是提供一种较低分辨率的第二译码器，它比提供高清晰度显示的译码器简单一些而且花费较少，它在三个美国专利5,614,952、5,614,957和5,635,985中公开，这三个专利分别于1997年3月25日、1997年3月25日和1997年6月3日授予Boyce等人。

共同未决的美国专利中请系列号09/349,865于1999年7月8日申请，并且转让给如本申请相同的受让人，它的描述引导到适用于从接收的编码HD视频信号实时地获得PIP显示的较低分辨率的第二译码器的方法，与Boyce等人公开的第二译码器相比，它实现起来明显的简单并且较少花费，但仍然符合ISO 13818-2标准。

发明内容

本发明的系统涉及到译码包括频域系数的压缩的图像数据，这些系数定义以第一分辨率表示一个图像的像素值块以用降低的第二分辨率提供图像。该系统包括一个运动补偿单元(MCU)处理器，它响应于一个选择的频域系数的子集，用于获得降低的第二分辨率的图像。运动补偿单元(MCU)处理器以低于第一分辨率而高于降低的第二分辨率的中间的第三分辨率使用表示图像数据的像素值块。

根据本发明的一个方面，提供一种用于译码包括频域系数的压缩图像数据的设备，这些系数定义以第一分辨率表示一个图像的像素值块以提供以降低的第二分辨率显示的图像，包括：第一装置，响应选择的所述频域系数的子集，以获得所述降低的第二分辨率的所述图像用于显示，并且其中所述第一装置包括：第二装置，通过以中间第三分辨率来提供表示所述图像的像素值块，中间第三分辨率低于所述第一分辨率和高于所述降低的第二分辨率，和增强的运动补偿单元处理装置，用于处理以中间第三分辨率表示的所述图像的像素值块。

根据本发明的另一个方面，提供一种通过对以第一分辨率表示的图像的压缩图像数据进行译码以便提供降低的第二分辨率图像的方法，该方法包括下列步骤：从以第一分辨率表示的图像的压缩图像数据生成降低的第二分辨率图像数据；生成表示图像的中间第三分辨率图像数据，其中所述中间第三分辨率低于所述第一分辨率但高于所述降低的第二分辨率；以所述中间第三分辨率从所述中间第三分辨率图像数据补充的所述降低的第二分辨率图像数据产生运动补偿像素块数据；以及从所述中间第三分辨率的所述运动补偿像素块数据获得像素数据，以便以所述降低的第二分辨率显示所述图像。

根据本发明的另一个方面，提供在译码以表示第一分辨率图像的像素块的形式压缩的图像数据的系统中，一种方法的特征在于包括下列步骤：以中间第三分辨率产生表示图像像素块的数据，第三分辨率低于所述第一分辨率但高于所述降低的第二分辨率；以所述第三分辨率从所述中间第三分辨率数据补充的所述降低的第二分辨率的像素块数据产生运动补偿像素块数据；以及从所述第三分辨率的所述运动补偿像素块数据获得表示所述降低的第二分辨率的所述图像的像素数据。

附图说明

图1是一个示出可变长度译码器(VLD)的功能方框图，它响应于输入HDMPEG数据位流，提供第一选择的MPEG数据输出到PIP译码装置和第二选择的MPEG数据输出到HD译码装置；

图1a示出一个由图1的HD译码装置使用的包含64个DCT系数的8×8块，图1b示出一个由图1的PIP译码装置用于逐行扫描序列的，包含图1a所示64个DCT系数的特定的10个DCT系数的8×8块，图1c示出一个由图1的PIP译码装置用于隔行扫描序列的，包含图1a所示64个DCT系数的特定的10个DCT系数的8×8块；

图2是一个包括本发明特性的图1PIP译码装置实施例的简化功能方框图；

图3是一个详细示出图2增强的MCU处理装置的功能方框图；

图4是一个示出由图3基于DCT的上升采样装置实现的计算处理的概念图；以及

图5是一个示出由图3基于DCT的下降采样装置实现的计算处理的概念图。

具体实施方式

图1示出了VLD100、PIP译码装置(这里也称第一装置)102和HD译码装置104。根据公知的MPEG ISO 13818-2标准的说明，VLD100对于包括一个MPEGI、P和B帧序列的输入编码HD MPEG数据的响应是传送由量化离散余弦变换(DCT)系数的每个连续8×8块定义的编码图像信息作为到HD译码装置104的输入。另外，根据公知的MPEG ISO 13818-2标准的说明，在HD译码装置104完成的功能中首先是进行每个连续8×8DCT系数块的逆量化并且随后进行每个连续8×8块DCT系数的逆离散余弦变换(IDCT)。最后，在该P帧或B帧上已经完成IDCT之后，HD译码装置104必须对于每个P帧和双向预测B帧完成运动补偿。

图1a示出一个8×8的DCT系数块，其中(1)系数DCT_0，0(位于8×8块的左上角)的值表示在进行DCT之前由一个相应8×8像素块的64个值所定义图像的平均(DC)值(即水平频率和垂直频率是0)，(2)系数DCT_7，7(位于8×8块的右下角)的值表示在进行DCT之前由一个相应8×8像素块的64个值所定义图像的最高水平频率和最高垂直频率分量。对于HD图像的情况，所有或几乎所有包括图1a从DCT_0，0到DCT_7，7的64个DCT系数可以具有非零值。这导致需要相当大量的图像处理计算来实时地完成IDCT。另外，运动补偿还涉及大量的实时图像处理计算。因此，HD译码装置104需要大约96兆位的存储器以在显示之前临时存储MPEG译码图像帧。HD译码装置104需要这些帧的运动补偿以重构用于显示的精确图像。这样，HD译码装置104的物理实现是相当昂贵的。

返回到图1，VLD100对于输入编码HD MPEG数据的另一响应是仅仅传送由每个连续8×8块的较低频率定义的、量化DCT系数的相对小的给定数量定义的编码图像信息作为到PIP译码装置102的输入。应该注意PIP处理和图像以及术语PIP本身在这里用于包括任何形式的降低分辨率的图像和处理并且不仅仅是电视PIP图像的生成。尽管在前面所述专利申请S.N 09/349,865中描述的PIP译码装置的优选指导实例仅使用6个最低频率量化的DCT系数，但在下面详细描述的增强质量的PIP译码装置102的优选指导实例中使用10个DCT系数，包括图1b所示的逐行扫描使用的DCT_0，0、DCT_1，0、DCT_2，0、DCT_3，0、DCT_0，1、DCT_1，1、DCT_2，1、DCT_0，2、DCT_1，2和DCT_0，3，或者是另一种情况，包括图1c所示的隔行扫描使用的DCT_0，0、DCT_1，0、DCT_2，0、DCT_0，1、DCT_1，1、DCT_0，2、DCT_0，3、DCT_0，4、DCT_0，5和DCT_0，6，因此对于增强的PIP显示提供了较好的高频响应。更准确地说，由VLD100接收的PIP位流已经由VLD-PIP分析器(为了简化图1起见未示出)进行预分析去除PIP译码器不需要的位流DCT系数。

图2所示增强质量的PIP译码装置102实施例的简化功能方框图包括行程译码器(RLD)200、逆量化器(IQ)202、单位增强IDCT与滤波和像素抽取处理装置204、基本层加法器205B、增强层加法器205E、基本和增强层抽取像素存储器206、增强层编码器207、增强的运动补偿单元(MCU)处理装置208和采样速率转换器210。虽然图2的简化功能方框图没有示出控制这个增强质量的PIP译码装置102实施例的操作的装置，但应该理解符合ISO 13818-2标准要求的适当的控制装置包括在这个实施例的物理实现中。

为说明起见，下面对部件200、202、204、205B、205E、206、207、208和210的描述假定这些部件中每一个根据上面讨论的优选指导实例来操作(请注意这里部件204、205B、205E、206和207也称第二装置)。

在这个例子中，RLD 200使用在ISO 13818-2标准中定义的2个扫描模式对于每个8×8编码块输出10个DCT系数。如由逐行-序列标记状态确定的，在图1b中对于逐行扫描以及在图1c中对于隔行扫描说明了每个8×8块内10个DCT系数的定位。在图1b的逐行序列的情况下，如果对于当前图像来自图像编码扩展的交替-扫描标记是0，则10个DCT系数相应于按1维扫描顺序的系数0，1，2，3，4，5，6，7，8，9，而如果交替-扫描标记是1，则所关心的10个DCT系数是按扫描顺序的系数0，1，2，3，4，5，6，7，8，20。在图1c隔行序列的情况下，如果对于当前图像来自图像编码扩展的交替-扫描标记是0，则10个DCT系数相应于按1维扫描顺序的系数0，1，2，3，4，5，9，10，20，21，而如果交替-扫描标记是1，则所关心的10个DCT系数是按扫描顺序的系数0，1，2，3，4，5，6，10，11，12。根据交替-扫描和逐行-序列标记的值，存在有两种行程值，这两种值在RLD 200中的含意与在ISO 13818-2标准中的描述是不同的。对于逐行序列，如果交替-扫描标记是0，则一个为10的行程值表示PIP译码器102所需的系数全是0并且没有后续非零系数。类似地，如果交替-扫描标记是1，则一个为21的行程值表示译码器102所需的系数全是0并且没有后续非零的系数。对于隔行序列，如果交替-扫描标记是0，则一个为22的行程值表示PIP译码器102所需的系数全是0并且没有后续非零系数。类似地，如果交替-扫描标记是1，则一个为13的行程值表示译码器102所需的系数全是0并且之后没有非零的系数。表1对于逐行序列的两个可能的交替-扫描标记值，归纳了行程值10和21的含意，表2对于隔行序列的两个可能的交替-扫描标记值，归纳了行程值13和22的含意。所有其他被RLD200遇到的交替-扫描/行程值的组合如ISO 13818-2标准中描述的进行解释。

行程	交替-扫描	在PIP RLD中的解释
			10	0	所有DCT系数＝0
10	1	如同ISO 13818-2标准
			21	0	不允许
21	1	所有DCT系数＝0

表1-对于逐行序列由RLD 200对行程＝10和行程＝21的解释

行程	交替-扫描	在PIP RLD中的解释
			13	0	如同ISO 13818-2标准
13	1	所有DCT系数＝0
			22	0	所有DCT系数＝0

22

1

不允许

表2-对于隔行序列由RLD 200对行程＝13和行程＝22的解释

IQ 202根据图1b所示逐行序列和图1c所示隔行序列的10个DCT系数执行ISO 13818-2标准中描述的逆量化运算和饱和度。逆量化过程的失配控制部分是不需要的。通常，需要一个要求三个独立步骤的扩展计算过程将在IQ202输出的8×8块中的编码频域信息转换为空间域图像信息，该图像信息包含降低分辨率的PIP显示图像的较小抽取像素块的相应值。第一步是确定每个8×8图像信息块的64个(即最大像素密度)像素值的每一个的值作为逆量化的DCT系数值的IDCT函数。以后，第二步骤是低通滤波，紧随着是第三步骤像素抽取，可以在每个连续8×8块的像素上执行以提供所需的较小块的抽取像素。例如，对于逐行扫描情况的交替水平和垂直滤波的像素的抽取可能导致在像素密度上减少75％。类似地，对于隔行扫描情况的水平方向上4个连续滤波的像素中抽取3个也可能导致在像素密度上减少75％。这样，在任何一种情况下，对于亮度像素以及色度像素执行这样一种抽取可能导致对于它们中每一个在像素密度上从每个8×8块的64个减少到每个8×8块只有16个。然而，为了实现这种常规的三步计算过程所需的硬件量较大，因此也是较昂贵的。

根据前面所述专利申请S.N.09/349,865，这里公开的单位IDCT、滤波和像素抽取处理装置能够将IQ 202输出的、包含在一个8×8块中逆量化DCT系数的编码的相应值转换为单步计算过程中较小抽取像素块。这样，由装置204实现这个单步计算过程所需的硬件量是较小的，因此，与前面所述常规的三步计算过程相比是较便宜的。

特别地，根据专利申请S.N.09/349,865，它的抽取像素存储器(因为是像素抽取，所以它要求的存储容量的大小仅仅是相应的未抽取像素存储器容量大小的1/4)包括若干单独的缓冲器。这些缓冲器的每一个能够临时存储抽取的亮度和色度像素。符合ISO 13818-2标准，抽取像素存储器包括一个或多个用于存储抽取像素的缓冲器，这些抽取像素定义了重构的帧内编码(I)、预测编码(P)和/或双向预测编码(B)帧或场图像。另外，在加法器中把来自MCU处理装置的像素值的运动补偿预测宏块输出加到单位IDCT、滤波和像素抽取处理装置中获得的每个相应的宏块输出上。从加法器输出的累加的像素值存储到抽取像素存储器的第一缓冲器中。这第一缓冲器可以是一个先进先出(FIFO)缓冲器，其中存储的抽取像素可以根据下面两种情况中的一种重新排序，(1)写到第一缓冲器和(2)从第一缓冲器读出并且写到抽取像素存储器的另一个缓冲器中。在当前P或B帧或场的情况下，抽取像素存储器包括一个缓冲器，用于存储输入到MCU处理装置的宏块以提供运动补偿。

根据本发明原理，为了获得高质量运动补偿和改进PIP图像质量，将两层抽取的像素分别存储在基本和增强层抽取像素存储器206是有益的。这两层中的第一层是抽取像素的基本层，而这两层中的第二层是亮度宏块抽取像素的向量量化值的增强层，在P图像的译码期间它们用在增强的MCU处理装置208中。增强层用于提供比仅仅使用基本层的抽取像素获得的更高分辨率的降低分辨率的图像。用下面详细描述的方式，由增强的MCU处理装置208使用基本层和这个增强层。

现在详细地描述用于实现本发明的IDCT、滤波和像素抽取处理装置204、增强层编码器207和增强的MCU处理装置208的优选实施例。

对于每个逐行扫描和隔行扫描使用的每个基本和增强层，单位增强的IDCT、滤波和像素抽取处理装置204提供下面16组抽取的像素值(每组是一个包括10个DCT系数值的函数)。

逐行扫描，抽取像素值的基本层组

g₁(0，0)＝[8DCT_0，0+10DCT_1，0+7DCT_2，0+4DCT_3，0+10DCT_0，1+13DCT_1，1+9DCT_2，1+7DCT_0，2+9DCT_1，2+4DCT_0，3]/64

g₁(1，0)＝[8DCT_0，0+4DCT_1，0-7DCT_2，0-9DCT_3，0+10DCT_0，1+5DCT_1，1-9DCT_2，1+7DCT_0，2+4DCT_1，2+4DCT_0，3]/64

g₁(2，0)＝[8DCT_0，0-4DCT_1，0-7DCT_2，0+9DCT_3，0+10DCT_0，1-5DCT_1，1-9DCT_2，1+7DCT_0，2-4DCT_1，2+4DCT_0，3]/64

g₁(3，0)＝[8DCT_0，0-10DCT_1，0+7DCT_2，0-4DCT_3，0+10DCT_0，1-13DCT_1，1+9DCT_2，1+7DCT_0，2-9DCT_1，2+4DCT_0，3]/64

g₁(0，1)＝[8DCT_0，0+10DCT_1，0+7DCT_2，0+4DCT_3，0+4DCT_0，1+5DCT_1，1+4DCT_2，1-7DCT_0，2-9DCT_1，2-9DCT_0，3]/64

g₁(1，1)＝[8DCT_0，0+4DCT_1，0-7DCT_2，0-9DCT_3，0+4DCT_0，1+2DCT_1，1-4DCT_2，1-7DCT_0，2-4DCT_1，2-9DCT_0，3]/64

g₁(2，1)＝[8DCT_0，0-4DCT_1，0-7DCT_2，0+9DCT_3，0+4DCT_0，1-2DCT_1，1-4DCT_2，1-7DCT_0，2+4DCT_1，2-9DCT_0，3]/64

g₁(3，1)＝[8DCT_0，0-10DCT_1，0+7DCT_2，0-4DCT_3，0+4DCT_0，1-5DCT_1，1+4DCT_2，1-7DCT_0，2+9DCT_1，2-9DCT_0，3]/64

g₁(0，2)＝[8DCT_0，0+10DCT_1，0+7DCT_2，0+4DCT_3，0-4DCT_0，1-5DCT_1，1-4DCT_2，1-7DCT_0，2-9DCT_1，2+9DCT_0，3]/64

g₁(1，2)＝[8DCT_0，0+4DCT_1，0-7DCT_2，0-9DCT_3，0-4DCT_0，1-2DCT_1，1+4DCT_2，1-7DCT_0，2-4DCT_1，2+9DCT_0，3]/64

g₁(2，2)＝[8DCT_0，0-4DCT_1，0-7DCT_2，0+9DCT_3，0-4DCT_0，1+2DCT_1，1+4DCT_2，1-7DCT_0，2+4DCT_1，2+9DCT_0，3]/64

g₁(3，2)＝[8DCT_0，0-10DCT_1，0+7DCT_2，0-4DCT_3，0-4DCT_0，1+5DCT_1，1-4DCT_2，1-7DCT_0，2+9DCT_1，2+9DCT_0，3]/64

g₁(0，3)＝[8DCT_0，0+10DCT_1，0+7DCT_2，0+4DCT_3，0-10DCT_0，1-13DCT_1，1-9DCT_2，1+7DCT_0，2+9DCT_1，2-4DCT_0，3]/64

g₁(1，3)＝[8DCT_0，0+4DCT_1，0-7DCT_2，0-9DCT_3，0-10DCT_0，1-5DCT_1，1+9DCT_2，1+7DCT_0，2+4DCT_1，2-4DCT_0，3]/64

g₁(2，3)＝[8DCT_0，0-4DCT_1，0-7DCT_2，0+9DCT_3，0-10DCT_0，1+5DCT_1，1+9DCT_2，1+7DCT_0，2-4DCT_1，2-4DCT_0，3]/64

g₁(3，3)＝[8DCT_0，0-10DCT_1，0+7DCT_2，0-4DCT_3，0-10DCT_0，1+13DCT_1，1-9DCT_2，1+7DCT_0，2-9DCT_1，2-4DCT_0，3]/64

逐行扫描，抽取像素值的增强层组

g₀(0，0)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+1DCT_1，1+1DCT_2，1+3DCT_0，2+4DCT_1，2+6DCT_0，3]/64

g₀(1，0)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+0DCT_1，1-1DCT_2，1+3DCT_0，2+2DCT_1，2+6DCT_0，3]/64

g₀(2，0)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+0DCT_1，1-1DCT_2，1+3DCT_0，2-2DCT_1，2+6DCT_0，3]/64

g₀(3，0)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1-1DCT_1，1+1DCT_2，1+3DCT_0，2-4DCT_1，2+6DCT_0，3]/64

g₀(0，2)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1+3DCT_1，1+2DCT_2，1+3DCT_0，2+4DCT_1，2-2DCT_0，3]/64

g₀(1，2)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1+1DCT_1，1-2DCT_2，1+3DCT_0，2+2DCT_1，2-2DCT_0，3]/64

g₀(2，2)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1-1DCT_1，1-2DCT_2，1+3DCT_0，2-2DCT_1，2-2DCT_0，3]/64

g₀(3，2)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1-3DCT_1，1+2DCT_2，1+3DCT_0，2-4DCT_1，2-2DCT_0，3]/64

g₀(0，4)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1+3DCT_1，1+2DCT_2，1-3DCT_0，2-4DCT_1，2-2DCT_0，3]/64

g₀(1，4)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1+1DCT_1，1-2DCT_2，1-3DCT_0，2-2DCT_1，2-2DCT_0，3]/64

g₀(2，4)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1-1DCT_1，1-2DCT_2，1-3DCT_0，2+2DCT_1，2-2DCT_0，3]/64

g₀(3，4)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+2DCT_0，1-3DCT_1，1+2DCT_2，1-3DCT_0，2+4DCT_1，2-2DCT_0，3]/64

g₀(0，6)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+1DCT_1，1+1DCT_2，1-3DCT_0，2-49DCT_1，2+6DCT_0，3]/64

g₀(1，6)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+0DCT_1，1-1DCT_2，1-3DCT_0，2-2DCT_1，2+6DCT_0，3]/64

g₀(2，6)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1+0DCT_1，1-1DCT_2，1-3DCT_0，2+2DCT_1，2+6DCT_0，3]/64

g₀(3，6)＝[0DCT_0，0+0DCT_1，0+0DCT_2，0+0DCT_3，0+1DCT_0，1-1DCT_1，1+1DCT_2，1-3DCT_0，2+4DCT_1，2+6DCT_0，3]/64

隔行扫描，抽取像素值的基本层组

g₁(0，0)＝[8DCT_0，0+7DCT_1，0+11DCT_0，1+10DCT_1，1+10DCT_0，2+0DCT_2，0+9DCT_0，3+8DCT_0，4+6DCT_0，5+4DCT_0，6]/64

g₁(1，0)＝[8DCT_0，0-7DC_T1，0+11DCT_0，1-10DCT_1，1+10DCT_0，2+0DCT_2，0+9DCT_0，3+8DCT_0，4+6DCT_0，5+4DCT_0，6]/64

g₁(0，1)＝[8DCT_0，0+7DCT_1，0+9DCT_0，1+9DCT_1，1+4DCT_0，2+0DCT_2，0-2DCT_0，3-8DCT_0，4-11DCT_0，5-10DCT_0，6]/64

g₁(1，1)＝[8DCT_0，0-7DCT_1，0+9DCT_0，1-9DCT_1，1+4DCT_0，2+0DCT_2，0-2DCT_0，3-8DCT_0，4-11DCT_0，5-10DCT_0，6]/64

g₁(0，2)＝[8DCT_0，0+7DCT_1，0+6DCT_0，1+6DCT_1，1-4DCT_0，2+0DCT_2，0-11DCT_0，3-8DCT_0，4+2DCT_0，5+10DCT_0，6]/64

g₁(1，2)＝[8DCT_0，0-7DCT_1，0+6DCT_0，1-6DCT_1，1-4DCT_0，2+0DCT_2，0-11DCT_0，3-8DCT_0，4+2DCT_0，5+10DCT_0，6]/64

g₁(0，3)＝[8DCT_0，0+7DCT_1，0+2DCT_0，1+2DCT_1，1-10DCT_0，2+0DCT_2，0-6DCT_0，3+8DCT_0，4+9DCT_0，5-4DCT_0，6]/64

g₁(1，3)＝[8DCT_0，0-7DCT_1，0+2DCT_0，1-2DCT_1，1-10DCT_0，2+0DCT_2，0-6DCT_0，3+8DCT_0，4+9DCT_0，5-4DCT_0，6]/64

g₁(0，4)＝[8DCT_0，0+7DCT_1，0-2DCT_0，1-2DCT_1，1-10DCT_0，2+0DCT_2，0+6DCT_0，3+8DCT_0，4-9DCT_0，5-4DCT_0，6]/64

g₁(1，4)＝[8DCT_0，0-7DCT_1，0-2DCT_0，1+2DCT_1，1-10DCT_0，2+0DCT_2，0+6DCT_0，3+8DCT_0，4-9DCT_0，5-4DCT_0，6]/64

g₁(0，5)＝[8DCT_0，0+7DCT_1，0-6DCT_0，1-6DCT_1，1-4DCT_0，2+0DCT_2，0+11DCT_0，3-8DCT_0，4-2DCT_0，5+10DCT_0，6]/64

g₁(1，5)＝[8DCT_0，0-7DCT_1，0-6DCT_0，1+6DCT_1，1-4DCT_0，2+0DCT_2，0+11DCT_0，3-8DCT_0，4-2DCT_0，5+10DCT_0，6]/64

g₁(0，6)＝[8DCT_0，0+7DCT_1，0-9DCT_0，1-9DCT_1，1+4DCT_0，2+0DCT_2，0+2DCT_0，3-8DCT_0，4+11DCT_0，5-10DCT_0，6]/64

g₁(1，6)＝[8DCT_0，0-7DCT_1，0-9DCT_0，1+9DCT_1，1+4DCT_0，2+0DCT_2，0+2DCT_0，3-8DCT_0，4+11DCT_0，5-10DCT_0，6]/64

g₁(0，7)＝[8DCT_0，0+7DCT_1，0-11DCT_0，1-10DCT_1，1+10DCT_0，2+0DCT_2，0-9DCT_0，3+8DCT_0，4-6DCT_0，5+4DCT_0，6]/64

g₁(1，7)＝[8DCT_0，0-7DCT_1，0-11DCT_0，1+1 0DCT_1，1+1 0DCT_0，2+0DCT_2，0-9DCT_0，3+8DCT_0，4-6DCT_0，5+4DCT_0，6]/64

隔行扫描，抽取像素值的增强层组

g₀(0，0)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+4DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，0)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+4DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，1)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+4DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，1)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+4DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，2)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+2DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，2)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+2DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，3)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+1DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，3)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1+1DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，4)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-1DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，4)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-1DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，5)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-2DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，5)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-2DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，6)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-4DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，6)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-4DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(0，7)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-4DCT_1，1+0DCT_0，2+7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

g₀(2，7)＝[0DCT_0，0+3DCT_1，0+0DCT_0，1-4DCT_1，1+0DCT_0，2-7DCT_2，0+0DCT_0，3+0DCT_0，4+0DCT_0，5+0DCT_0，6]/64

用下面的方式导出上述“抽取像素值的逐行扫描组”和上述“抽取像素值的隔行扫描组”中的每一个：

1.如果DCT_u，v表示具有水平频率下标u和垂直频率下标v的DCT系数，则用于译码在最大分辨率(这里x＝0，...，N-1；y＝0，...，N-1)下表示f(x，y)的一个块的IDCT方程式由下式给出：

$f(x,y)=\frac{2}{N}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}C\left(u\right)C\left(v\right)\mathrm{DC}{T}_{u,v}\cos \frac{(2x+1)\mathrm{u\π}}{2N}\cos \frac{(2y+1)\mathrm{v\π}}{2N}---\left(1\right)$

2.仅仅使用图1b示出的10个DCT系数，给出用于逐行扫描序列的近似方程式(2)

$f(x,y)\≈\frac{2}{N}\left[\begin{array}{c}\frac{1}{2}{\mathrm{DCT}}_{\mathrm{0,0}}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{1,0}}\cos \frac{(2x+1)\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{2,0}}\cos \frac{(2x+1)2\mathrm{\π}}{2N}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{3,0}}\cos \frac{(2x+1)3\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{0,1}\cos \frac{(2y+1)\mathrm{\π}}{2N}+{\mathrm{DCT}}_{\mathrm{1,1}}\cos \frac{(2x+1)\mathrm{\π}}{2N}\cos \frac{(2y+1)\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,2}}\cos \frac{(2y+1)2\mathrm{\π}}{2N}+{\mathrm{DCT}}_{\mathrm{2,1}}\cos \frac{(2x+1)2\mathrm{\π}}{2N}\cos \frac{(2y+1)\mathrm{\π}}{2N}+\\ {\mathrm{DCT}}_{\mathrm{1,2}}\cos \frac{(2x+1)\mathrm{\π}}{2N}\cos \frac{(2y+1)2\mathrm{\π}}{2N}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,3}}\cos \frac{(2y+1)3\mathrm{\π}}{2N}\end{array}\right]---\left(2\right)$

3.仅仅使用图1c示出的10个DCT系数，给出用于隔行扫描序列的近似方程式(3)

$f(x,y)\≈\frac{2}{N}\left[\begin{array}{c}\frac{1}{2}{\mathrm{DCT}}_{\mathrm{0,0}}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{1,0}}\cos \frac{(2x+1)\mathrm{\π}}{2N}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{2,0}}\cos \frac{(2x+1)2\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,1}}\cos \frac{(2x+1)\mathrm{\π}}{2N}+{\mathrm{DCT}}_{\mathrm{1,1}}\cos \frac{(2x+1)\mathrm{\π}}{2N}\cos \frac{(2y+1)\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,2}}\cos \frac{(2y+1)2\mathrm{\π}}{2N}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,3}}\cos \frac{(2y+1)3\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,4}}\cos \frac{(2y+1)4\mathrm{\π}}{2N}+\frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,5}}\cos \frac{(2y+1)5\mathrm{\π}}{2N}+\\ \frac{1}{\sqrt{2}}{\mathrm{DCT}}_{\mathrm{0,6}}\cos \frac{(2y+1)6\mathrm{\π}}{2N}\end{array}\right]---\left(3\right)$

4.令方程式(2)和(3)的右边用f′(x，y)表示。在逐行扫描(即逐行-序列标记是1)的情况下，根据下面的方程式(4)计算基本层的值g₁′(x，y)并且根据下面方程式(5)计算增强层的值g₀′(x，y)。

$g_1^{\′}(x,y)=\frac{1}{4}[f^{\′}(2x,2y)+f^{\′}(2x+\mathrm{1,2}y)+f^{\′}(2x,2y+1)+f^{\′}(2x+\mathrm{1,2}y+1)]---\left(4\right)$

这里x＝0，...，3；y＝0，...，3。

$g_0^{\′}(x,y)=\frac{1}{4}[f^{\′}(2x,y)+f^{\′}(2x+1,y)-f^{\′}(2x,y+1)-f^{\′}(2x+1,y+1)]---\left(5\right)$

这里x＝0，...，3；y＝0，2，4，6。

更准确地说，方程式(4)的g₁′(x，y)定义了在最大分辨率8×8块的一个2×2块部分中安排的一组4个相邻像素(或预测误差)值的平均值。方程式(5)的值g₀′(x，y)定义了在最大分辨率8×8块的一个2×2块部分中安排的一条垂直线的第一组2个相邻水平像素(或预测误差)值的平均值和随后的垂直线的第二组2个相邻水平像素(或预测误差)值的平均值之间的差值。通过将方程式(2)代入方程式(4)，在g₁′(x，y)中用数字值代替x和y，代入N＝8，用有理值近似DCT系数的加权因子，获得上面的“逐行扫描，抽取像素值的基本层组”的16个方程式g₁(0，0)到g₁(3，3)。以类似的方式，通过将方程式(2)代入方程式(5)，在g₀′(x，y)中用数字值代替x和y，代入N＝8，用有理值近似DCT系数的加权因子，获得上面的“逐行扫描，抽取像素值的增强层组”的16个方程式g₀(0，0)到g₀(3，6)。虽然增强层的有效像素抽取仅仅是2个(而不是基本层的4个有效像素抽取)，但是等式g₀(x，y+1)＝-g₀(x，y)对于y＝0，2，4，6成立，使得不需要计算具有奇数垂直下标的增强层值。这样对于逐行扫描I或P图像的每个8×8亮度块仅需要计算16个独立的g₀(x，y)增强层值。另外，因为这16个g₀(x，y)增强层值是余值，所以它们倾向于具有小的动态范围。

在隔行扫描(即逐行-序列标记是0)的情况下，根据下面的方程式(6)计算基本层的值g₁′(x，y)并且根据下面方程式(7)计算增强层的值g₀′(x，y)。

$g_1^{\′}(x,y)=\frac{1}{4}[f^{\′}(4x,y)+f^{\′}(4x+1,y)+f^{\′}(4x+2,y)+f^{\′}(4x+3,y)]---\left(6\right)$

这里x＝0，1；y＝0，...，7。

$g_0^{\′}(x,y)=\frac{1}{4}[f^{\′}(2x,y)+f^{\′}(2x+1,y)-f^{\′}(2x+2,y)-f^{\′}(2x+3,y)]---\left(7\right)$

这里x＝0，2；y、0，...，7。

在一个8×8块的隔行扫描情况下，方程式(6)的g₁′(x，y)定义了在8×8块的一个4×1块部分中安排的一组4个相邻像素(或预测误差)值的平均值。方程式(7)的值g₀′(x，y)定义了在8×8块的一个4×1块部分中安排的一个垂直线的第一组2个相邻水平像素(或预测误差)值的平均值和相同垂直线的第二组下一个2个相邻水平像素(或预测误差)值的平均值之间的差值。通过将方程式(3)代入方程式(6)，在g₁′(x，y)中用数字值代替x和y，用8代替N，用有理值近似于DCT系数的加权因子，获得在“隔行扫描，抽取像素值的基本层组”上的16个方程式g₁(0，0)到g₁(1，7)。以类似的方式，通过将方程式(3)代入方程式(7)，在g₀′(x，y)中用数字值代替x和y，代入N＝8，用有理值近似DCT系数的加权因子，获得上面的“隔行扫描，抽取像素值的增强层组”的16个方程式g₀(0，0)到g₀(2，7)。虽然增强层的有效像素抽取仅仅是2个(而不是基本层的4个有效像素抽取)，但是等式g₀(x+1，y)＝-g₀(x，y)对于x＝0和x＝2成立，使得不需要计算具有奇数水平下标的增强层值。这样，对于隔行扫描I或P图像的每个8×8亮度块仅需要计算16个独立的g₀(x，y)增强层值。另外，因为这16个g₀(x，y)增强层值是余值，所以它们倾向于具有小的动态范围。

返回到图2，单元204将包含I、P以及B亮度和色度g₁(x，y)基本层抽取像素值的连续8×8块的输出以一个预定顺序作为第一输入传送到基本层加法器205B(对于非编码的块，所有这样的值为零)。这个预定顺序包括8×8像素亮度块的每一2×2阵列和两个色度块中每一个的抽取像素值，这些块形成由增强的MCU处理装置208使用的抽取宏块。另外，单元208将一个基本层抽取像素值的相应块p₁(x，y)以这个相同预定顺序作为第二输入施加到基本层加法器205B(对于内部编码宏块，所有这样的值为零)。作为从基本层加法器205B的和输出获得的基本层抽取像素值的块s₁(x，y)随后存储在存储器206中。

单元204将包含I和P亮度g₀(x，y)增强层抽取像素值的输出以先前提到的抽取像素宏块预定顺序作为第一输入传送到增强层加法器205E(对于非编码的块，所有这样的值为零)。另外，在P亮度像素的情况下，单元2_将64个p₀(x，y_强层抽取像素值的相应_以这个相同预定顺序作_二输入施加到加法器2_E(对于内部编码宏块_有这样的值为零)。在_P图像的译码期间，作_加法器205E的和输_得的64个s₀(x，_增强层抽取像素值的宏_为一个输入施加到增强层编码器207，并且随后来自编码器207的编码输出位字存储在存储器206中。

具有较高分辨率的增强层的宏块一般包括128个抽取的亮度像素值。然而，因为上述的对于逐行扫描序列和隔行扫描序列的对称等式，在块s₀(x，y)中独立抽取的增强层像素值的数量从128减少到64。因此，预定的顺序使得仅有一半增强层抽取的像素值需要由增强层编码器207考虑。这些增强层值被使用简单的向量量化器成对编码，每对值由一个8位码字表示。因为在一个宏块中有64个增强层值要被编码，所以每个宏块用于增强层的存储位数是32×8＝256位。在优选实施例中，32个码字被组合到来自编码器207的两个128位输出字中用于存储在存储器206。

对于逐行序列，在块s₀(x，y)中每对水平相邻值作为一个二维向量编码，而对于隔行序列，在s₀(x，y)中每对垂直相邻(在相同的场内)值作为一个二维向量编码。令v₀和v₁为一对被一起编码的值。在附录A中详细地描述了为了编码v₀和v₁对由编码器207使用的计算过程。在对于s₀(x，y)中每对值完成这个过程以后，码字被组合到两个128位字中，这两个128位字形成编码器207的输出，被存储在存储器206中。

再次返回到图2，存储器206提供(1)基本层输出d₁(x，y)到单元208(d₁(x，y)在内容上类似于提供到存储器206的基本层输入s₁(x，y))以及(2)增强层输出到单元208(在内容上类似于到存储器206的增强层输入)。

为了增强的MCU处理装置208形成一个预测块，从存储器206取出一个像素值块。从存储的参考图像读取的基本层像素值表示为d₁(x，y)。只有当形成的预测块是用于P图像中亮度分量时所需的增强层余值表示为d₀(x，y)。因为增强层样本以编码的形式存储在存储器206，所以从存储器206输入到单元208的输出的增强层数据由增强层译码器300译码(图3)以获得d₀(x，y)值。单元208分别形成单独的亮度或色度输出用于相应于顶部和底部场预测块的场预测操作。在双向预测宏块中，这些操作分别对于正向和反向预测实现并且如ISO 13818-2标准描述的组合其结果。在下面由单元208实现的计算过程操作的详细描述中，符号/表示将趋近于负的无穷大的结果截断的整数除法，而符号//表示将趋进于零的结果截断的整数除法，符号％表示模数运算符，它被定义为如果x是一个负数而M是一个正数，则x％M＝M-((x//M)*M-x)。

在可以从存储器206读取样本块之前，确定块的位置和大小。在参考图像中像素值块的位置由参考图像中块开始的水平和垂直坐标(即左上角)规定。对于基本层，这些坐标是图像的下标，该图像对于隔行序列是1/4的水平、最大的垂直分辨率，对于逐行序列是1/2的水平、1/2的垂直分辨率。对于增强层，这些坐标是图像的下标，该图像对于隔行和逐行序列都是1/2的水平、最大的垂直分辨率。

为了在参考图像中定位块d₁(x，y)和d₀(x，y)，需要被译码的宏块的运动向量。位流中运动向量数据的译码、运动向量预测器的更新、以及在不包含编码运动向量的非内部宏块(即跳过的宏块)运动向量的选择都如ISO13818-2标准中描述的由单元208实现。令x_b和y_b是译码的宏块的最大分辨率的水平和垂直位置，并且令mv＝(d_x，d_y)是译码的运动向量，使得如果该序列被以最大分辨率译码，则在最大分辨率的参考亮度图像位置(x_b+(dx/2))，(y_b+(dy/2))的像素值块可以从存储器读取并且用于形成亮度预测。类似地，需要在参考色度图像位置(x_b/2+(dx//2)，y_b/2+(dy//2))的色度值块来形成对于最大分辨率模式的2个色度分量中每一个的预测。

使用x_b、y_b、dx和dy来确定需用于单元208中运动补偿的块的参考图像中的位置。表3示出用于各种预测模式的块的位置。需用于单元208中运动补偿的块的大小在表4中规定。表4的基本层入口给出块d₁(x，y)的大小，而表4的增强层入口给出块d₀(x，y)的大小。

预测模式	水平坐标	垂直坐标
			逐行序列，亮度，基本层	((xb+(dx/2))/8)*4	(yb+(dy/2))/2
逐行序列，亮度，增强层	((xb+(dx/2))/8)*4	((yb+(dy/2))/2)*2
			逐行序列，色度	xb/4+((dx//2)/4)	yb/4+((dx//2)/4)
隔行序列，亮度，基本层	((xb+(dx/2))/8)*2	yb+(dy/2)
			隔行序列，亮度，增强层	((xb+(dx/2))/8)*4	yb+(dy/2)
隔行序列，色度	xb/8+((dx//2)/8)	yb/2+((dy/2)/2)

表3-增强的MCU处理装置208中运动补偿所需的块的位置

预测模式	水平大小	垂直大小
			逐行序列，亮度，基本层	12	9
逐行序列，亮度，增强层	12	18
			逐行序列，色度	5	5
隔行序列，亮度，16×16预测，基本层	6	17
			隔行序列，亮度，16×8预测，基本层	6	9
隔行序列，亮度，16×16预测，增强层	12	17
			隔行序列，亮度，16×8预测，增强层	12	9
隔行序列，色度，8×8预测	3	9
			隔行序列，色度，8×4预测	3	5

表4-增强的MCU处理装置208中运动补偿所需的块的大小

图3示出根据单元208从存储器206读取的亮度样本实现的处理。如图3所示，单元208的亮度处理部分包括增强层译码器装置300，增强层像素重构装置302、基于DCT的上升采样装置304、最大分辨率块选择装置306、基于DCT的下降采样装置308和两层输出形成装置310。这些增强的MCU处理装置208的部件使用存储在存储器206的I和P帧的降低分辨率的块以形成对于译码宏块的预测。

图3的上述结构完成从存储器206输入到单元208的亮度像素值的计算过程。这个计算过程在附录B到G中进行了详细的描述。然而，简单地说，译码器300没有将输入的128位字组合到16个构成的8位码字。使用附录B中描述的计算过程的译码器300获得d₀(x，y)作为输出。使用附录C中描述的计算过程的增强层像素重构装置302相应输入到单元208的d₁(x，y)和从译码器300输出的d₀(x，y)获得r₀(x，y)作为输出。使用附录D中描述的计算过程的基于DCT的上升采样装置304以最大分辨率水平上升采样r₀(x，y)输入，以获得r(x，y)。使用附录E中描述的计算过程的最大分辨率块选择装置306使用r(x，y)以获得预测p(x，y)的最大分辨率块作为输出。使用附录F中描述的计算过程的基于DCT的下降采样装置308以一半水平分辨率水平地下降采样p(x，y)输入以获得q(x，y)。使用附录G中描述的计算过程的块q(x，y)作为一个输入施加到两层输出形成装置310，以获得由单元208提供的到图2所示的加法器205B和205E的输出p₁(x，y)和p₀(x，y)。虽然色度预测所需的计算过程没有在图3中示出，但它们在附录H中被详细地描述。

再次返回到图2，包括定义每个连续图像场或帧的基本层像素的视频信号从存储器206输出并且输入到获得显示视频信号输出的采样速率转换器210。从单元210输出的显示视频信号表示PIP显示图像。举例来说，假定PIP显示的大小预定占据整个HD显示大小在水平方向的1/3和垂直方向的1/3。如果HD位流的初始分辨率是1920×1080隔行的，则PIP译码帧(其中在水平方向的像素数量已经按一个因子3/4抽取)是480×1080隔行的。假定一个1920×1080隔行的HD显示，显示的PIP帧应该是640×360隔行的。因此，在这个例子中，存储在存储器的译码帧必须通过采样速率转换器210在水平方向上按因子4/3以及在垂直方向上由因子1/3按比例伸缩。

在本发明实现的实施例中，用于以编码形式存储1/2分辨率的增强层的一个存储器中所需的额外容量是仅将1.98兆位加到存储1/4分辨率的基本层所需的17.8兆位。这样，包括编码的1/2分辨率的增强层增加了基本和增强层抽取像素存储器所需的存储容量与19.78兆位相比是一个较小量(即只比11％多一点)。

                               附录A

                           增强层编码器207

在下面的过程中，用于编码每对增强层值v₀、v₁，符号“DIV”表示将结果四舍五入取整为最接近的整数的整数除法。

首先，值v₀、v₁被限制在范围[-45，45]。然后8位码字C如下面伪码所示计算：

如果(v₀＞-4 AND v₀＜4 AND v₁＞-4 AND v₁＜4)

    C＝7*(v₁+3)+v₀+211

否则

    如果(v₁＜v₀-25)

         v₀＝(v₀+v₁+25)/2

         v₁＝v₀-25

         否则如果(v₁＞v₀+25)

                 v₀＝(v₀+v₁-25)/2

                 v₁＝v₀+25

           v₀＝5*(v₀ DIV 5)

           v₁＝5*(v₁ DIV 5)

           C＝104-2*v₁-v₀/5

码字C是存储在存储器中的表示v₀、v₁对的值。

                       附录B

                   增强层译码器300

在从基本和增强层存储器206读出的一个128位增强层字未组合到16个单独的8位码字之后，每个码字可以如下面描述的译码。令C为一个要被译码的码字并且令b₀和b₁为通过译码C获得的值。然后下面的伪码示出应该如何计算b₀和b₁：

如果(C＜204)

     b₀＝70-5*(C/11)-5*(C％11)

     b₁＝45-5*(C/11)

否则

b₀＝(C-208)％7-3

b₁＝(C-208)/7-3

每个译码的码字用于填在一部分d₀(x，y)中。对于逐行序列，来自参考图像中奇数下标行的d₀(x，y)的行通过对于适当译码的码字值求反而获得。类似地，对于隔行序列，来自参考图像中奇数下标列的d₀(x，y)的列通过对于适当译码的码字值求反而获得。

                            附录C

                      增强层像素重构装置302

使用从增强层译码器300输出的块d₀(x，y)以及从基本和增强层存储器206读出的块d₁(x，y)，以增强层分辨率(即1/2的水平、最大垂直的分辨率)的像素值可以重构P图像和B图像。对于P图像，如附录B描述的获得d₀(x，y)；对于B图像，假定对于所有的x和yd₀(x，y)为0。

对于逐行序列，用于组合2层的方程式如下给出：

r₀(x，2y)＝d₁(x，y)+d₀(x，2y)

r₀(x，2y+1)＝d₁(x，y)+d₀(x，2y+1)

这里x＝0，...，11；y＝0，...，8。

对于隔行序列，用于组合2层的方程式如下给出：

r₀(2x，y)＝d₁(x，y)+d₀(2x，y)

r₀(2x+1，y)＝d₁(x，y)+d₀(2x+1，y)

这里对于16×8的预测，x＝0，...，5；y＝0，...，8，而对于16×16的预测x＝0，...，5；y＝0，...，16。

使用上面的方程式获得的块r₀(x，y)包含在一半水平分辨率下的增强层像素，使得增强层像素仍然需要通过一个水平的因子2上升采样以达到最大分辨率。

                           附录D

                   基于DCT的上升采样装置304

基于DCT的上升采样装置304将r₀(x，y)每一行的12个输入像素值线性地转换为以最大分辨率表示r(x，y)每一行的24个输出像素值。如图4所示，在一行中的12个像素值在具有4个像素值的3个组中计算处理，这里12个输入像素值被分为3组W₁、W₂和W₃。对于3组中的每一个，DCT是一个4点的DCT，跟随着一个将4个零加到该4点DCT输出的尾部的零填充器，从该零填充器产生一个8点输出。对于3组中每一个的IDCT是一个8点IDCT，它产生包括3个组Z₁、Z₂和Z₃的最大分辨率表示r(x，y)每一行的24个输出像素值，其中对于3组中每一个的输出像素值包括8个像素值。

图4所示的线性变换可以通过方程式Z_j＝(1/64)AW_j，j＝1，2和3给出的3个矩阵向量乘法来计算实现，这里

$A=\left[\begin{array}{cccc}76& -18& 8& -2\\ 47& 23& -9& 3\\ 12& 60& -11& 3\\ -6& 56& 18& -4\\ -4& 18& 56& -6\\ 3& -11& 60& 12\\ 3& -9& 23& 47\\ -2& 8& -18& 76\end{array}\right]$

在r₀(x，y)的输入像素值的每一行上实现这种线性变换的结果是在最大分辨率的r(x，y)输出像素值的块。

                              附录E

                      最大分辨率块选择装置306

表示为p(x，y)的最后16×16或16×8最大分辨率预测块必须由r(x，y)获得，使用运动向量(dx，dy)来选择r(x，y)中像素的子集，如果需要则使用半个像素的插值。更准确地说，如果在r(x，y)中左上角像素具有坐标(0，0)，并且r(x，y)的坐标以半个像素的精度规定，则最后预测块的左上角对于逐行序列是r(dx％16，dy％4)，而对于隔行序列是r(dx％16，dy％2)。因为r(x，y)的坐标以半个像素的精度规定，所以dx％M或dy％M(M＝2，4，16)的奇数值表示必须实现如ISO 13818-2标准描述的半个像素插值。

                            附录F

                    基于DCT的下降采样装置308

基于DCT的下降采样装置308将p(x，y)的每一行从16个像素线性地转换为8个像素。如图5所示，16像素行首先分为具有8个像素的两个组，U1和U2。对于2组中每一个，DCT是一个8点的DCT，接下来是一个将DCT中最后4点丢弃的截断。用于2组中每一个的IDCT是一个4点IDCT，它产生包括2组V₁和V₂的一半分辨率表示q(x，y)每一行的8个输出像素值，其中对于2组中每一个的输出像素值包括4个像素值。图5示出的基于DCT的下降采样装置308的计算处理输出是一个8个像素的集合，由V₁和V₂的级联形成。

图5示出的线性变换可以如方程式Z_j＝BU_j，j＝1和2给出的2个矩阵向量乘法来计算完成，这里

$B=\left[\begin{array}{cccccccc}38& 23& 6& -3& -2& 2& 1& -1\\ -9& 12& 30& 28& 9& -6& -4& 4\\ 4& -4& -6& 9& 28& 30& 12& -9\\ -1& 1& 2& -2& -3& 6& 23& 38\end{array}\right]$

以最大分辨率在p(x，y)的输入像素值的每一行上实现这种线性变换的结果是在一半水平分辨率的q(x，y)输出像素值的块。

                             附录G

                       两层输出形成装置310

在下面的过程中，符号“DIV”表示将结果四舍五入取整为最接近的整数的整数除法。对于逐行序列，使用下面的方程式获得表示为p₁(x，y)的MCU的基本层输出。

     p₁(x，y)＝(q(x，2y)+q(x，2y+1))DIV 128

其中x＝0，...，7；y＝0，...，7。

对于隔行序列，使用下面的方程式获得表示为p₁(x，y)的MCU的基本层输出。

         p₁(x，y)＝(q(2x，y)+q(2x+1，y))DIV 128

这里对于16×8预测，x＝0，...，3；y＝0，...，7，而对于16×16预测，x＝0，...，3；y＝0，...，15。

对于逐行序列使用下面的方程式获得表示为p₀(x，y)并且仅仅对于P图像计算的MCU增强层输出。

         p₀(x，y)＝(q(x，y)-q(x，y+1))DIV 128

这里x＝0，...，7；y＝0，2，4，...，12，14。

对于隔行序列使用下面的方程式获得表示为p₀(x，y)并且仅仅对于P图像计算的MCU增强层输出。

        p₀(x，y)＝(q(x，y)-q(x+1，y))DIV 128

这里对于16×8预测，x＝0，2，4，6；y＝0，...，7，而对于16×16预测，x＝0，2，4，6；y＝0，...，15。

如图2所示，MCU基本层输出p₁(x，y)作为一个输入施加到加法器205B，而MCU增强层输出p₀(x，y)作为一个输入施加到加法器205E。

                             附录H

                     形成色度分量的预测块

在下面的过程中，符号“DIV”表示将结果四舍五入取整为最接近的整数的整数除法。如果形成的预测块用于色度分量，则使用像素的重复操作上升采样样本d₁(x，y)到最大的分辨率。然后如果需要，则使用具有半个像素插值的运动向量(dx，dy)选择最后的最大分辨率的8×8或8×4的预测块。最后，下降采样最大分辨率预测以提供要被存储在基本和增强层存储器206的基本层预测。

对于逐行序列，使用下面的方程式实现将基本层块d₁(x，y)变换为最大分辨率块r(x，y)的像素重复操作。

             r(x，y)＝d₁(x/2，y/2)

这里x＝0，...，9；y＝0，...，9。

对于隔行序列，使用下面的方程式实现将基本层块d₁(x，y)变换为最大分辨率块r(x，y)的像素重复操作。

                   r(x，y)＝d₁(x/4，y)

这里对于8×4的预测，x＝0，...，11；y＝0，...，4，而对于8×8的预测，x＝0，...，11；y＝0，...，8。

由r(x，y)获得最后的8×8或8×4最大分辨率块p(x，y)。这个最后块的左上角对于逐行序列是r((dx//2)％4，(dy//2)％4)，对于隔行序列是r((dx//2)％8，(dy//2)％2)。(dx//2)％M或(dy//2)％M(M＝2，4，8)的奇数值表示半个像素插值是需要的。

通过下降采样p(x，y)获得基本层预测块p₁(x，y)。对于逐行序列，用于执行这种下降采样的方程式是

p₁(x，y)＝(p(2x，2y)+p(2x+1，2y)+p(2x，2y+1)+p(2x+1，2y+1))DIV 4

这里x＝0，...，3；y＝0，...，3。对于隔行序列，用于实现这种下降采样的方程式是

p₁(x，y)＝(p(4x，y)+p(4x+1，y)+p(4x+2，y)+p(4x+3，y))DIV 4

这里对于8×4的预测，x＝0，1；y＝0，...，3，而对于8×8的预测，x＝0，1；y＝0，...，7。

如图2所示，MCU基本层输出p₁(x，y)作为一个输入施加到加法器205B。

Claims (11)

1.一种用于译码包括频域系数的压缩图像数据的设备，这些系数定义以第一分辨率表示一个图像的像素值块以提供以降低的第二分辨率显示的图像，所述设备的特征在于：

第一装置(102)，响应选择的所述频域系数的子集，以获得所述降低的第二分辨率的所述图像用于显示，并且其中所述第一装置包括

第二装置(204，205B，205E，206，207)，通过以中间第三分辨率来提供表示所述图像的像素值块，中间第三分辨率低于所述第一分辨率和高于所述降低的第二分辨率，和

增强的运动补偿单元处理装置(208)，用于处理以中间第三分辨率表示的所述图像的像素值块。

2.如权利要求1所述的设备，其特征在于所述降低的第二分辨率实际上是所述第一分辨率的1/4；以及

所述中间第三分辨率实际上是所述第一分辨率的1/2。

3.如权利要求1所述的设备，其特征在于以所述降低的第二分辨率来显示的所述图像是一个逐行扫描图像。

4.如权利要求1所述的设备，其特征在于以所述降低的第二分辨率来显示的所述图像是一个隔行扫描图像。

5.如权利要求1所述的设备，其特征在于：

所述增强的运动补偿单元处理装置响应以所述降低的第二分辨率表示的所述图像的基本层像素宏块输入值并且响应以所述中间第三分辨率表示的所述图像的像素值，来获得运动补偿基本层预测宏块输出像素值作为第一输出以及运动补偿增强层预测宏块输出像素余值作为第二输出。

6.如权利要求5所述的设备，其特征在于：

所述第二装置包括第三装置，该第三装置用于响应所述选择的所述频域系数的子集以及响应所述运动补偿基本层预测宏块输出像素值和所述运动补偿增强层预测宏块输出像素余值以便获得所述基本层像素宏块输入值和以所述中间第三分辨率表示的所述图像的像素值。

7.如权利要求1所述的设备，其特征在于所述第二装置包括：

基本层和增强层抽取像素存储器；

单位增强的逆离散余弦变换、滤波和像素抽取处理装置，响应所述选择的频域系数子集，用于获得以所述降低的第二分辨率表示所述图像的输出像素值的基本层块以及以所述中间第三分辨率表示所述图像的输出像素余值的增强层块；

第四装置，包括第一加法器，用于将来自所述增强的运动补偿单元处理装置的运动补偿基本层预测宏块输出像素值的相应像素值和输出像素值的所述基本层块相加，以提供基本层数据，该基本层数据存储在所述基本层和增强层抽取像素存储器中；

第五装置，包括第二加法器，用于将运动补偿增强层预测宏块输出像素余值加到输出像素余值的所述增强层块上，以得到和输出，所述第五装置还包括增强层编码器，用于对所述和输出进行编码以便提供编码增强层数据，该编码增强层数据存储在所述基本层和增强层抽取像素存储器中；和

其中所述增强的运动补偿单元处理装置响应所存储的基本层数据和所存储的编码增强层数据，以提供所述运动补偿基本层预测宏块输出像素值和所述运动补偿增强层预测宏块输出像素余值。

8.如权利要求1所述的设备，其特征在于：

所述频域系数定义在所述第一分辨率的图像信息，该图像信息包括表示内部编码的和预测编码的逐行扫描图像的像素值亮度块。

9.如权利要求7所述的设备，还包括：

采样率转换器，用于从输出像素值的基本层块获得正在进行显示的视频信号。

10.如权利要求1所述的设备，其特征还在于：

所述降低的第二分辨率实际上是所述第一分辨率的1/4。

11.一种通过对以第一分辨率表示的图像的压缩图像数据进行译码以便提供降低的第二分辨率图像的方法，该方法包括下列步骤：

从以第一分辨率表示的图像的压缩图像数据生成降低的第二分辨率图像数据；

生成表示图像的中间第三分辨率图像数据，其中所述中间第三分辨率低于所述第一分辨率但高于所述降低的第二分辨率；

以所述中间第三分辨率从所述中间第三分辨率图像数据补充的所述降低的第二分辨率图像数据产生运动补偿像素块数据；以及

从所述中间第三分辨率的所述运动补偿像素块数据获得像素数据，以便以所述降低的第二分辨率显示所述图像。

Images