CN1158058A - 数字视频信号编码的方法和设备 - Google Patents

Abstract

一个基于一组专用的IC设计的实时MPEG-2视频编码器，其处理功能在三个主IC或级中进行组织。预处理器包含所有输入和如进行数据压缩时所需要的图像格式转换的预处理功能；粗略和精确运动估算器包含所有运动估算和运动预测功能；位流编码器采用流水线处理并包括多功能位流汇编级，用于MPEG-2编码的所有位流发生，如DCT、量化器、逆量化器、逆DCT、之字形扫描以及RLC/VLC编码，但不包括运动预测。

Description

数字视频信号编码的方法和设备

本发明涉及视频数据压缩和位流编码的方法与设备。

ISO/IEC已经对代表用于标准分辨率以及高分辨率视频信号和图像的视频压缩方法的视频位流进行了标准化，称之为MPEG-2标准。

MPEG-2提供三种不同的图像编码类型：内部(I)、预测(P)和双向预测或内插(B)的帧或场。另外，在P和B帧或场中，如果运动预测没有给出好的结果，那么宏块可以分别是帧内或场内编码。必须在编码器中作出该判定，判据由设备来决定。此外，MPEG-2考虑了基于帧或场的DCT(离散余弦变换)，它们需要对行进行行分类以及由编码器作出另一个判定。

在数字视频广播应用中，通常需要大量的译码器，而只需要少量的编码器来提供服务。美国的DirecTv卫星服务给出了一种典型的配置，其中用于大约150个同步节目的MPEG-2编码器提供了全国范围的广播服务。这需要相对便宜的译码器，而编码器可以包括更完备的电路，并且可以更昂贵。MPEG-2视频编码和译码可以以不对称的方式来实现，其中，编码器包括一个高度复杂的电路，而译码器必须仅仅包括对有效位流进行译码时确实需要的功能范围。

为此，MPEG定义了位流的语法和语义以及一个所谓的“系统目标译码器”。编码器的实现不是由标准来管理的，因此，由于对图像质量要求较低，可以允许构造较简单的编码器用于应用，而对质量要求较高时，则可以构造很复杂的编码器。

对视频广播和娱乐节目而言，图像质量的应用基准水平是由现有的视频标准来设置的。当作实况报道时，编码器必须能够实时运行。为了处理所有不同的数字视频应用及其各自的要求，通称的MPEG委员会(ISO/IEC的第11工作组)已经定义了一套项表和层级。项表确定属于MPEG-2标准的编码工具的某个子集。对特定的编码方法和应用采用不同的工具。层级则将大范围的参数限定为在通用的如视频广播或通过网络的视频传送的应用中所采用的那些数目。

为了用于视频广播服务，标准分辨率视频与ITU-R建议601的规格或某些子集有关，并且可以由MPEG-2主层主项表(Main Profile at MainLevel)(MP@ML)来处理。高清晰度视频可以被MPEG-2的高层级(例如MP@HL)中定义的参数集所覆盖。

主项表包括对视频以所谓的4∶2∶0格式进行压缩的方法，并且定义了许多高压缩比所需要的运动补偿和编码模式。MP中的运动补偿是以基于帧和场的前向和后向预测为根据的，并且包括特别面向交错视频信号的细化，例如“双主元(Dual Prime)”技术。为了编码，MP允许基于帧和场的DCT、线性和非线性量化、标准和其它的之字型扫描等等。

数字视频广播服务的位速率为最低到1MBit/s和高到大约10MBit/s的范围内。根据ITU-R建议601进行数字化的视频信号的原始数据速率大约为166MBit/s，没有消隐信号间隔、时钟和同步。一个4MBit/s的典型位流速率应该提供与现有的NTSC和PAL视频标准相类似的图像质量，它所需要范围为40的压缩因子。

对于源于电影材料中的视频信号来说，由于它们的非交错特性和24Hz的低瞬态重复速率，因此达到这个压缩率范围相对容易。对于来源于摄像机的实际视频信号有更多的要求，特别是对有快速和随机运动的序列视频信号。为了以高压缩比率充分地再现这些图像，由MPEG-2MP提供的所有运动预测和编码选择方案都是强制性的。

根据数字视频信号的主项表MP对MPEG-2视频数据流进行编码的主要功能方框图示于图1。在本领域公知的这种基本编码器配置中，数字化的视频信号被输入图像组织块101，该块以为后继运动估算和编码所用的宏块和块顺序重新安排行和场方式的亮度和色度信号。在块101也对该视频数据的场或帧序列进行重新组织。运动估算级102以不同预测类型的运动矢量形式计算两个相继图像之间的对应的宏块一致性，这由ISO/IEC 13818-2标准的语法和语义所许可和支持，即帧预测、场预测和双主元预测。16×16个象素的宏块被传送到组合器103，运动矢量参数或数据MVD，和预测方式描述符PMD被传送到预测器109、用于运动矢量参数的第一VLC(可变长度编码)编码器115和用于预测方式的第二VLC编码器。对预测过的宏块(P和B图像)，组合器103从运动估算级102和预测器109取得宏块，并且对相应宏块的每个象素计算包括象素差的差值信号。这些差值信号被送到DCT级104，并且对每个8×8象素块变换为相应的8×8DCT系数的阵列。在未预测的宏块(I图像)的情况下，则不需产生差值信号，直接将级102的输出传送到DCT级104。

系数阵列被传送到量化级105，后者包括根据相应的表目和比例因子划分每个系数的表。量化器105的输出被送到之字形扫描单元110以及逆量化器106。逆量化器106执行量化器105的逆操作，即它将每个输入值乘以相应的表目和比例因子。逆量化器的输出信号被传到逆DCT块107，在其中DCT系数的8×8阵列被逆变换为象素值的8×8块。这些象素值块被传送到加法器108，在其中与预测器109的相应输出信号相加。预测器级109从加法器108收到它的输入信号，并将其存贮为宏块方式，并且根据运动检测器102先前计算的运动矢量和预测器值，在相应的图像阵列中执行宏块的移位转换，即运动补偿。这个预测过程的输出信号被传送到加法器108和组合器103。

具有被量化的DCT系数形式的量化器105的输出信号通过之字形扫描在单元110中被排列起来，然后被传送到一个RLC(行程长度编码)/VLC单元111，单元111由所有必要的包括ISO/IEC 13818-2的换码代码RLC/VLC表组成。RLC/VLC级111的输出信号表示在位序列数据流中被压缩的图像数据。

在VLC编码器115和116中，对运动矢量和预测方式作类似的MPEGVLC变换。这些变换过的信号被输入到MPEG标题产生单元117，该单元也插入来自诸如个人计算机之类的外部控制设备的控制参数CONPAR。完成的标题信号被送到封包器和多路复合器级112，该级也接收相应于RLC/VLC中的图像内容的RLC/VLC数据。在级112，所有数据都根据ISO/IEC13818-2或11172-2进行校准和排序。级112的输出信号被送到缓冲器113，如RAM，该缓冲器将所有送到的数据存贮起来，并且测量填充状态。根据实际填充状态，缓冲器113将一个信号送到比率控制单元114，后者又计算将要用于量化级105的相应的量化比例参数。缓冲器113的其它输出OUS是编码器的压缩数据流，它符合ISO/IEC13818-2或11172-2规格或类似的数据压缩标准，以及符合需要的恒定或可变位速率。

色度也被相应地编码，因此运动估算通常只对亮度来进行。

本发明的一个目的是公开一种对数字视频信号进行编码的方法，该方法采用具有最小芯片数和相应于特定芯片对所需要的编码功能作最佳划分的可量测MPEG-2编码芯片组，其中，预测步骤在运动估算芯片中执行，而在位流汇编步骤中，采用不包含象素数据的多用途存储器。这个目的由权利要求1公开的方法实现。

本发明的另一个目的是公开一种对数字视频信号进行编码的方法，该方法采用具有最小芯片数和相应于特定芯片对所需要的编码功能作最佳划分的可量测MPEG-2编码芯片组，其中，预测步骤在运动估算芯片中执行，而在位流汇编步骤中采用多用途存储器，它用作数据速率控制缓冲器，但不包括象素数据，并且其中缓冲器的填充级并不是直接由存储器容量得出的。这一目的由权利要求2所公开的方法实现。

本发明的另一个目的是公开一种利用本发明方法的装置。这个目的由权利要求6和7公开的装置来实现。

本发明涉及视频数据压缩和位流编码，它特别符合运动图像标准(ISO/IEC13818-2和11172-2)的MPEG-2和MPEG-1编码，并且是以VLST结构为根据，能与标准控制器电路结合使用。设计本发明的目的是提供高速计算以满足MPEG-2视频编码算法的实时执行需要。

实时的MPEG-2视频编码器是根据一组特定的IC设计来研制的。该编码器根据ITU-R601建议将视频图像根据MPEG-2视频标准规格压缩为从例如1MBit/s到15MBit/s的位流，该规格即主层主项表(MP@ML)。其它输入格式也可以进行处理，包括各种HDTV源格式，它们能转换为高层主项表的位流。

编码器的主要功能包括一个预处理级、一个运动估算级和一个位流编码级。这些功能由特定的IC支持，这些特定IC包括：预处理器电路、粗略和精确运动估算IC和位流编码器。每个IC控制能够用例如常规的DRAM部件实现的外存空间。芯片组由标准的外部微控制器控制，并且包括灵活重组的片内的RISC机。

编码器的实现不受MPEG-2视频标准(ISO/IEC13818-2)的约束。采用这种所发明的MPEG-2芯片组，可对复杂性和质量进行测定。因此，当对图像质量要求较低时，可以允许构造相对简单的编码器，而当质量要求高时，可以构造相当复杂的编码器。根据此发明的结构，几个相同类型的处理器可以并行使用，以增强处理能力，这提供了在MPEG-2主项表中指明的所有编码特征，以及不受标准化限制的其它额外功能。

输入信号格式是例如25帧/秒下的576行/帧，或29.97帧/秒下的480行/帧，亮度Y和色度C_b、C_r是4∶2∶2格式。

MPEG-2的MP编码器只要能提供有效的位流，那么就不需要提供所有压缩技术和MP功能的全部选择。这样允许某些简化。

MPEG-2编码所需要的处理功能在三个主IC或级中进行组织。预处理器包括所有输入和预处理功能，如进行数据压缩时需要的图像格式转换。运动估算器包括所有运动估算和运动预测功能。位流编码器包括为MPEG-2编码所需的所有位流的产生，如DCT、量化器、逆量化器、逆DCT、之字形扫描和RLC/VLC编码，但不包括运动预测。本发明特别相关于位流编码器芯片。

原理上说，本发明的方法适用于采用运动估算和编码循环来编码数字视频信号，编码循环包括变换步骤、量化步骤、逆量化步骤、逆变换步骤、重构步骤和象素宏块预测步骤，在该步骤中，从所述运动估算得到的运动信息被用于预测，其中，象素宏块数据和预测象素宏块数据的差值信号或/和象素宏块数据本身在所述变换步骤进行处理，而所述量化步骤的输出信号被作进一步处理，从而得出被编码的信号，该信号包括从所述运动信息中产生的信息，其中或者：

编码在采用流水线处理来进行所述变换、量化、逆量化、逆变换和重构步骤(但不包括所述预测步骤)的一个集成电路中实现，并且其中所述的进一步处理包括之字形扫描步骤、行程长度和可变长度编码步骤和位流汇编步骤，在后一步骤中采用存储装置作为数据速率控制缓冲器和作为大于宏块电平的位流数据的中间存贮器，所述宏块电平由控制装置提供给所述集成电路，从而在至少另一个集成电路中执行所述运动估算和所述预测步骤，该另一个集成电路与所述集成电路相连，并且被分配了用于所述运动估算和所述预测步骤的图像数据存储装置；

或者：

编码在进行所述变换、量化、逆量化、逆变换和重构步骤(但不包括所述预测步骤)的一个集成电路中来实现，并且其中所述进一步处理包括之字形扫描步骤、行程长度和可变长度编码步骤、和采用了至少作为数据速率控制缓冲器的存储器的位流汇编步骤，因此缓冲器填充级不是由存储在所述存储装置中的数据计算得出的，而是在所述位流汇编步骤中计算相应的位得出的，这样得出的缓冲填充级被用于控制所述量化步骤和所述逆量化步骤，而在至少另一个集成电路中执行所述运动估算和所述预测步骤，该另一个集成电路与所述集成电路相连，并且被分配了用于所述运动估算和所述预测步骤的图像数据存储装置。

本发明方法的其它优选实施例由相应的从属权利要求产生。

原理上说，本发明装置适用于采用运动估算装置和编码循环来编码数字视频信号，编循环包括变换装置、量化装置、逆量化装置、逆变换装置、重构装置和象素宏块预测装置，在后一装置中，从所述运动估算得到的运动信息被用于所述预测装置，其中，象素宏块数据和预测象素宏块数据之间的差值信号和/或象素宏块数据本身在所述变换装置中进行处理，而所述量化装置的输出信号被作进一步处理，从而得出编码过的视频信号，该信号包括从所述运动信息中产生的信息，其中，

或者：

编码在包括所述变换、量化、逆量化、逆变换和重建装置但不包括所述预测装置的集成电路中采用流水线处理来实现，并且其中所述进一步处理包括之字形扫描装置、行程长度和可变长度编码装置和位流汇编装置，在后一装置中采用存储装置作为数据速率控制缓冲和作为大于宏块电平的位流数据的中间存储器，所述宏块电平由控制装置提供给所述集成电路，从而在至少另一个集成电路中包括了所述运动估算和所述预测装置，该另一个集成电路与所述集成电路相连，并且被分配了用于所述运动估算和所述预测装置的图像数据存储装置；

或者：

编码在包括所述变换、量化、逆量化、逆变换和重构装置(但不包括所述预测装置)的一个集成电路中执行，并且其中所述进一步处理包括之字形扫描装置、行程长度和可变长度编码装置和采用了至少作为数据速率控制缓冲器的存储装置的位流汇编装置，从而缓冲器填充级不是由存储在所述存储装置中的数据计算得出，而是在所述位流汇编装置中计算相应的位得出的，这样得出的缓冲填充级被用于控制所述量化装置和所述逆量化装置，而在至少另一个集成电路中包括所述运动估算和所述预测装置，该另一个集成电路与所述集成电路相连，并且被分配了用于所述运动估算和所述预测装置的图像数据存储装置。

本发明装置的其它优选实施例由相应的从属权利要求得出。

下面参考附图对本发明优选实施例进行描述，其中：

图1是编码MPEG-2视频数据流的原理功能块；

图2是所发明的芯片组的方框图；

图3是所发明的芯片组的更详细实施例的一个例子；

图4是本发明的基本实施例；

图5是本发明的改进的实施例；

图6是第一和第二传递交错的时序图；

图7是核化(coring)函数。

根据图1所描述的功能可以由图2和其它附图所描述的结构获得。在该结构中，MPEG-2编码所需要的处理功能在三个主要IC或级中进行组织，其中对每一级分配一个存储器。

预处理级201包含进行数据压缩所需要的所有输入和预处理功能，即图1的块101。

运动估算级203包含所有运动估算和运动预测功能，即图1的电路102和109。因此，运动向量的产生和运动向量的应用是在同一芯片上，并且存储在附随的存储器204中的图像数据对这两个功能都适用。级203可以对亮度和/或色度数据进行操作。

位流编码级207包括用于MPEG-2编码的所有位流生成，即图1的电路103至108以及110至117，但不包括在该芯片上需要图像数据存储器(例如帧存储器)的运动预测电路(图1的电路109)。这些主处理级的每一个都有与外存储器202、204和208的接口，以及与控制器209的接口，该控制器为编码器提供所有的可编程选择。这意味着通过上面所述的将图1的块划分为级203和207，存储器204的内容(例如，在只存储一个参考图像的情况下，至少一个场的象素数据；在存储一个参考图像和一个预测图像的情况下，两个场的象素数据；在为了双向预测B图像存储一个参考图像和两个预测图像的情况下，三个场的象素数据)不必被复制到存储器208中。因此存储器208可以显著地减小，并且非常便宜。级201、203和207可以包含硬件实现功能以及可编程电路，例如微控制器或运行相应软件的微型计算机中央处理器。另一个优点是：运动估算级203导致n个图像的延迟(从I到下一个I，或P到下一个P，或I到下一个P，或P到下一个I图像)。由于级203的输出数据和总线A上的图像数据基本上在同一时间为级207所需要，因此，通常会需要存储器208来调节输入数据的不同时刻的情况。然而，由于为了某些操作级201需要一个大存储器，例如一个多图像存储器，因此这个存储器也被用来补偿上面所述的时间延迟。结果是级207的输入数据基本上在适当的时间到达，并且存储器208可以有较低的容量。因此总线A上的图像数据相对于总线B上的相应图像数据可以有几个图像的延迟。

由于这种功能划分(这是本发明的一方面)，每个级201、203和207都可以在一个VLSI芯片中实现，原因是所有级都正好包含那么多处理元件，可以用现有的VLSI技术，即0.8μ2层HCMOS4技术在单个集成电路上实现。存储器202、204和208可以包含标准存储装置，如4MBit DRAM、SDRAM或其它可行的存储器。

在预处理级201的输入端可以采用与ITU-R建议相关的YCbCr格式的标准数字视频信号DVS，以及包括例如13.5MHz时钟的标准视频同步信号SCLK，而级201和203之间的接口以及级203和207之间的接口的操作具有内在同步。例如，相关于行和场的输入同步信号被宏块和相关于MPEG层级的其它同步信号所代替。

级207的编码输出接口在其输出CVBS提供一个压缩的MPEG-2视频位流，例如在ISO 13818中定义的包化基本位流(PES)，以及适当的同步信号。这个位流可以采用数据请求输入DREQ读出。预处理级201经由第一总线A连接到运动估算级203，经由第二总线B连接到位流编码级207，用于编码复杂性的预分析。

通过调节相关的编码参数如中间/内部和场/帧决定，预分析允许在每个宏块内进行另外类型的速率控制，最好是总线A不传输亮度数据，而由总线B传输。级201、203和207与控制器209的接口经由一条双向第三总线C连接，并且可以采用标准数据、地址和与标准控制器设备相关的同步定义，诸如摩托罗拉或德克萨斯仪器公司的电路，如TMS320C30。控制器209又有一个经由总线SYSSV到系统总控制的接口，或一个用户接口计算机，它由此接收用于编码器设置、方式选择等等的参数。经由总线SYSSV，也可以传输错误码之类的编码器状态信息。

详细地说，级201包含所有预处理和数据重新排序功能，这些也是图1中块101的内容。这些功能可以包括从原始图像格式转换为编码格式的水平和垂直滤波和十进制转换，例如每个有效行从720个象素到544个象素的变换。作为一个例子，从所谓的4∶2∶2 YC_bC_r组织转换，对色度信号进行适当的滤波和十进制转换，以取得4∶2∶0编码格式，可以是级201的处理功能的一部份。级201中的电路的另一个重要任务是消除水平和垂直消隐信号间隔以及按从场和行的顺序扫描到适当宏块的相关扫描次序对视频数据重新排序，这对MPEG-2编码是很有用的。级201提供不同类型的宏块数据，如亮度和YC_bC_r数据，其适当的时序特性被用于总体编码器的后继处理块。其它处理选择方案，例如在运动序列的情况下降低噪声和检测冗余场，可以是级201的功能的一部分。在视频编码结构中，这个预处理级也被用于在其SCLK输入端检测同步信号以及为相应的宏块输出信号和编码器电路的其它部分产生同步信号。

运动估算级203包括MPEG-2编码所需的所有运动估算处理，参见图1中的块102，并包括根据图1中的预测器109所描述的运动预测功能。级207包含图1中列出的其它处理部件，特别是DCT及其逆DCT、量化和逆量化、行程长度和可变长度编码功能、标题汇编和封包。级207对亮度和色度数据进行编码。

这种特定的功能划分是合适并且有利的，因为例如运动估算和运动预测的高速处理以及运动向量的普通使用是在同一芯片上。

另一种特定的功能划分相关于图1的块111、112、113和114中包含的位流产生和速率控制功能。当相关于快速块、宏块和片层级处理时，这些功能可以在级207中用专门的硬件电路来实现。高于片层级(需要较低的运行速度)的所有MPEG视频位流操作和速率控制功能都可以象在级209中一样在一个标准控制器上实现。

图3以更详细的图示示出了本发明的另一个实施例。级301和307分别对应于级201和207。级203现在是以另一种方式来实现的，其功能又被划分为粗略运动估算级303和精确运动估算级305。这种分级运动估算涉及更细致的运动估算技术，此时需要更大的处理能力来完成运动向量检索过程。

级303和305最好只计算亮度，但也可以计算色度数据。也可以是级303只操作亮度信号而级305为亮度和色度信号计算精确运动向量。

如果级303包括一个芯片，那么对一帧检索可以取得水平为±64象素、垂直为±32个象素的帧向量检索区域。级305可以执行全象素检索。但也可以计算具有1/2象素精度的运动向量。在全象素检索的情况下，检索区域是例如在帧方式下水平±3个象素以及垂直±8个象素。

级303和305两者都通过传输粗略运动向量数据的总线D连接，并且有其自身的标准存储器接口304和306，如图2所描述的那样。控制器309与控制器209相对应，并且也经由双向总线C连接到级303和级305。

在这种结构中，粗略运动估算级303经由总线A从预处理级301接收它的输入信号。同一总线被连接到位流编码级307，用于编码复杂性预分析。预处理级301在总线B上直接向精确运动估算级305提供另一个信号。最好是总线A不传输亮度数据，而由总线B传输。

有利的是，在总线A和B上，视频图像数据是以特定的次序传送的，该次序涉及MPEG-2宏块组织，并且与特定的同步信号一起。与总线A上的相应数据相比，总线B上的YC_bC_r数据可以延迟一帧。

在总线D上，在粗略运动估算级303中计算的初始运动向量的数据被传送到精确运动估算级305，后者计算最终的运动向量。

总线C传送标准控制器接口信号。在总线E上将宏块数据(即组合器103的输入信号)从级305运送到级307。这与总线B上运送的数据相对应，但根据级305中的处理时间被延迟了。

总线F也将宏块数据(即预测器109的输出信号)从级305传送到级307，这一宏块数据涉及精确运动向量和预测方式(即块115和116的输入信号)，它们是在级305中计算的，并且在总线G上向前传送到级307。

总线H将来自级307的重构宏块(即加法器108的输出信号)—这是MPEG-2预测循环所需要的—输送回级305。在总线E、F和H上的所有宏块数据都伴随着特定的同步信号。

在MPEG-2视频编码中用于预测处理的数据接口和相关的存贮器问题在本发明中以有利的方式得以解决。采用图3中所示的总线结构，可以将所有运动估算和宏块预测任务限定在级303和305。因此，所有相关的存储要求都由与运动估算电路303和305相连的存储器304和306所实现。通过将包含在级307中的重构的图像数据(图1中加法器108的输出)返回到精确运动估算级305中的预测处理，可以闭合用于MPEG-2、MPEG-1和其它视频编码技术中的预测循环。级307的其余存储要求仅仅相关于位流编码处理。在运动估算和位流产生之间的这种接口的另一个优点是可以根据重构的数据计算运动向量，该重构数据可以在逆量化之后得到。这改进了编码质量，从而使得译码器中的译码错误已经可以在编码器中予以考虑。如同在图2中那样，粗略运动估算级303导致几个图像的延迟(从I到下一个I，或P到下一个P，或I到下一个P，或P到下一个I图像)。由于后继的精确运动估算级305的输出数据和总线A上的图像数据在级307中基本上在同时被需要，因此对于输入数据的不同时的情况，通常会需要对存储器308进行调节。然而，对某些操作，由于级301需要一个大存储器，例如一个多图像存储器，因此这个存储器也被用来补偿上面描述的时间延迟。其结果是级307的输入数据基本上在适当的时间到达，并且存储器308可以有较低的容量。因此，相对于总线B上的相应图像数据，总线A上的图像数据可以有几个图像的延迟。

虽然精确运动估算级305在相关于总线A上的数据的输出数据中内在地引入了一个短的延迟(级305以流水结构处理8个宏块，并且与运动信息一起传输)，但对级307采用相对较小的存储容量，而将第三总线从级301保存到级307则更为便利。由于编码器在高速下运行，因此需要一条并行总线，它将使用芯片上其余的管脚以及装有芯片的板的其余空间。

如上所述，MPEG视频压缩需要一个预测循环，该循环包括DCT及其逆函数以及一个量化级及其逆函数。在该循环中，需要作出许多决定，从而将编码过程调整为实际的图像内容。本发明特别相关于位流编码器功能性的实现，建议预测循环经由外部电路来闭合，它包括进行运动补偿和选择最佳预测的所有装置。

位流编码器的结构如图4所示。有利的是，将要编码的YC_bC_r象素数据在总线A_e上接收，同时还有属于最佳预测器(总线B_f)的相应的YC_bC_r象素数据，即分别是被预测的象素块和宏块。在总线A_e和B_f上输入给电路的两种数据可以按宏块扫描次序进行组织。因此，对总线D_h上的重构路径来说，YC_bC_r数据通过将来自B_f总线的输入数据(预测的宏块)与总线FF上的数据(重构的宏块)相结合而产生，后一数据来自逆DCT和量化级。有利的是，图4的结构允许流水线处理。

在图4的实施例中，块410包含用于以场和帧扫描方式(表示为“场/帧”判定，见ISO/IEC13818-2第6.1.3章)对宏块数据排序以及用于选择总线A_e上的原始数据或该原始数据与总线B_f上的预测象素块数据之差来进行编码的所有装置，这种选择被表示为“中间/内部”判定，见ISO/IEC13818-2的I或P图像。为了作出这种判定，通过对每个宏块计算例如行对差值信号的和来计算一个块难度值。块410也可能包含某个用于核化(coring)的装置，它可以用于在预测循环中降低噪声。在图7中示出了这种环内核化函数的三种不同例子：黑线、黑短划线和黑点线。IP是输入信号幅值而OP是输出信号幅值。块410的原始数据/差值数据输出经由总线EE输送到块420，而预测的象素块数据经由连线I被传送到块411。块420包含DCT功能(对照块104)。总线GG上的DCT数据被传送到量化级430，它实现MPEG-2的不同量化功能(比较块105)。在这个特定的结构中，线性或非线性量化因子可以由控制器电路409经由双向总线C来提供和经由另一个总线Q从级432提供。

量化级430的输出数据经由连线L进入扫描器412(参见块110)，逆量化级431亦同样(参见块106)，后者经由总线C接收与量化级430相同的控制功能。级431的输出经由总线HH传送到执行逆DCT的块421(参见块107)。块421的输出经总线FF输送到块411，块411执行相应的逆宏块排序并将连线I上的预测象素块数据与总线FF上的重构象素块数据组合起来。

扫描器412包含MPEG-2中指定的之字形和隔行扫描功能。它提供输出信号U，其流水线数据被传送到包含在单元422(参看块111、115、116)中的行程长度和可变长度编码级中。单元422也接收经由串行总线M-g从外部电路提供的运动向量数据MVD和PMD。

总线A_e、B_f、D_h、M_g和C分别对应于图3的总线E、F、H、G和C。

有利的功能特征包含在汇编级432中。该汇编级对压缩的视频位流进行汇编。级432由控制器409经由双向总线Z进行控制，并且以VLC码字形式接收压缩视频数据以及来自块422的运动向量数据。它还从本地控制器409接收完整的MPEG-2位流句法所需要的所有相关信息。控制器409自身经由总线C得到属于句法成份的低于来自处理块410、420和430的片层级所有位流信息，这主要与宏块编码判定有关，如“场/帧”、“中间/内部”以及其它。反过来，控制器409也同样能经由总线C影响块410、420、430、411、421、431、412和422中的这些编码判定，以及用于块410中的核化函数的参数。

有利的是，这些编码判定和用于核化的参数也可以经由总线K从外部电路直接提供给块410，总线K可以包括例如两条串行总线，一条用于核化控制，另一条用于中间/内部和场/帧排序判定。

高于片层的与句法成份有关的所有位流信息，例如图像大小信息、位速率信息、用户数据等等，可以外部产生，例如由系统管理程序产生，并且经由总线SYSSV被传输到控制器409。控制器将这一信息传送到汇编级432，自该处它或者正好被插入到位流之中，或者经由总线P暂时存储在外存储器308中。存储器308可以包括标准DRAM、SDRAM或其它适当的存储器装置，它用于位流数据的中间存储，并且也作为速率控制的位流缓冲器。

有利的是，位流汇编、缓冲和速率控制功能是在一个单一的处理单元(汇编级432)中进行组织的，该单元用作不同句法成份的多路复合器，并且同时跟踪为位流而产生的位数。该跟踪处理的结果是产生了量化值，该量化值经由总线Q反馈给量化级430和逆量化级431。

有利的是，不需要采用存储器308自身内容的直接缓冲器填充级判定来产生总线Q的量化因子信息，相反，在汇编级432中，位数是在内部累加器装置中计算的，不需采用存储器308和总线P、X和Y。可以统计例如每个图像或每个预定宏块的位数，该预定数可以经由总线Z装入。

汇编级432也产生存储器控制数据，该数据经由总线X传送到外部存储器308的一个地址控制器450。存储器地址数据在总线Y上输出。所有速率控制功能由汇编级432配合本地控制器409执行，后者管理总体编码过程，并且在需要时，可以将位流产生过程中的所有先前处理块调整为需要的操作模式。根据级432中的信息，控制器409也可以经由总线SYSSV将信息反馈给总体系统管理程序。例如在几个这种类型的视频编码器在一个可变位速率基础上共同使用时，那么可以采用这一特征。在这种情况下，本地位速率信息必须能够正常地提供给管理电路，以进行全面的速率调整。反过来，本地编码器经由总线SYSSV从管理程序接收其相应的速率调整。

汇编级432用先前从外部存储器308读出的压缩数据以及在本地产生并从控制器409接收的标题和其它较高层语法信息来产生完整的位流。它将准备用于编码器输出的完整的位流经由连线R传送到单元440，该单元用作压缩数据端口。单元440可以在总线CVBS上以连续的位流以串行或并行(字节方式)方式提供位流，或突发数据方式提供位流。如果它产生突发数据，那么它也可以产生一个数据有效信号。在具有后继处理级(没有示出)的一个请求方式下，单元440可以接收一个数据请求信号DREQ，并将其转变为对级432的一个内部请求信号J，然后，级432能够为来自外存储器的压缩数据确定适当的读出时间。

有利的是，运动估算和运动预测是在精确运动估算器305中执行的，因此，存储器308不需要存储重构或预测的图像数据。这类数据被存储和/或已经存在于存储器306中，该存储器必须为了运动估算存储这类数据。因此，存储器308可以有较小的容量，而总线P或者可以以较低的时钟速率运行，或者在构置时只需较少数量的并行线。在例如汇编级432和块410/411之间并不需要另外的总线。在对HDTV信号进行编码时，这种考虑更加重要。

在图5的改进结构中，位流编码器也可以用于预分析将要编码的图像。为此，块410作了改进，它包括一个在宏块输入数据A1_e和A2_e之间进行选择的多路复合器。输入A2_e可以代表要最后编码的YCbCr数据，而输入A1_e包括同一信号的Y或YC_bC_r数据，但来自先前的时间瞬间。在这种情况下，可以采用块410、420、430、412、422和432中的相同处理部件对来自输入端A1_e的数据进行编码，并且在相应的装置(如在级432中)中计算或计数由该编码过程所产生的位数。计数可以存储在控制器409中，并且可以随后用于为A2_e输入数据的实际编码传送调节编码判定和量化器设置。这种方法有时被称之为“第一传送和第二传送编码操作”。

本发明包括了这里所描述的结构中的特殊装置。在第二传送编码操作将要开始之前，在A1_e和A2_e数据之间必须有足够的时间延迟来完成第一传送编码操作。根据本申请，这个时间延迟可以包括一个或多个帧，并且必须在提供A1_e和A2-e数据的电路中实现。

本发明也相关于允许在为产生完整的位流而给定的时间帧中处理第一和第二传送编码步骤的一种设备。一种适当的多路复合用或交错方法是以宏块间隔为基础，如图6所示，其中TMB是宏块间隔，A1P是第一传送的处理周期，而A2P是相应宏块的第二传送的处理周期。然而，本发明并不局限于这些特定的参数。也可以是两个具有各自功能的芯片象图4一样以并行连接操作，一个用于第一传送编码操作，另一个用于第二传送编码操作，因此两者都由控制器409控制。

所有芯片内数据通讯可以是以系统时钟频率，如27MHz进行的同步数据传输。

就MPEG-1而言，如图1和图4中所示的基本功能可以用诸如SGS-Thomson的STi3230芯片上的电路来执行。运动估算和运动估算控制器电路本身可以由SGS-Thomson的STi3220和STi3223芯片得知。DCT和逆DCT可以采用公知的诸如SGS-Thomson的IMSA121、STV3208和STV3200芯片上的电路来实现。

在本申请人的另一份欧洲专利申请EP95119207中更详细地描述了总体系统。

预处理级201和301在本申请人的又另一份欧洲专利申请EP95119202中作了更详细的描述。

粗略运动估算级303在本申请人的另一篇专利申请(FR9110158)中作了更详细的描述。

精确运动估算级305在本申请人的又另一篇欧洲专利申请EP95402787中作了更为详细的描述。

本发明可以用于基于MPEG-2和MPEG-1标准例如数字视频广播、数字视频在CD上的记录和回放、交互性视频服务、以及节目合成(Progranmcontribution)、ENG/SNG、视频服务器、非线性编辑等等。

Claims (9)

1、采用运动估算(102；203；303，305)和编码循环对数字视频信号(INS，DVS)进行编码的方法，编码循环包括变换步骤(104；420)、量化步骤(105；430)、逆量化步骤(106；431)、逆变换步骤(107；421)、重构步骤(108；411)和采用从所述运动估算得到的运动信息(MVD，PMD)进行预测的象素宏块预测步骤(109)，其中象素宏块数据和预测象素宏块数据之间的差值信号(103)和/或象素宏块数据本身可以在所述变换步骤中进行处理，而所述量化步骤的输出被进一步处理(110-114；412，422，432，440，450，308)，从中得出编码过的视频信号(0US，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于，

编码在采用流水线处理来进行所述变换、量化、逆量化、逆变换和重构步骤但不包括所述预测步骤的一个集成电路(207；307)中实现，

并且其中所述进一步处理包括之字形扫描步骤(110；412)、行程长度和可变长度编码步骤(111，115，116；422)，以及位流汇编步骤(432)，在后一步骤中采用存储器装置(308)作为数据速率控制缓冲器(113)和作为大于宏块电平的位流数据(CVBS)的中间存储器，该宏块电平由控制装置(209；309；409)提供给所述集成电路(207；307)，从而，

在至少另一个集成电路(203；303，305)中执行所述运动估算(102；203；303，305)和所述预测步骤(109)，该电路与所述集成电路(207；307)相连，并且分配了用于所述运动估算和所述预测步骤的图像数据存储装置(204；304，306)。

2、采用运动估算(102；203；303，305)和编码循环对数字视频信号(INS，DVS)进行编码的方法，编码循环包括变换步骤(104；420)、量化步骤(105；430)、逆量化步骤(106；431)、逆变换步骤(107；421)、重构步骤(108；411)和采用从所述运动估算得到的运动信息(MVD，PMD)进行预测的象素宏块预测步骤(109)，其中象素宏块数据和预测象素宏块数据之间的差值信号(103)和/或象素宏块数据本身可以在所述变换步骤中进行处理，而所述量化步骤的输出被进一步处理(110-114；412，422，432，440，450，308)，从中得出编码的视频信号(OUS，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于编码在进行所述变换、量化、逆量化、逆变换和重构步骤但不包括所述预测步骤的一个集成电路(207；307)中实现，并且其中所述进一步处理包括之字形扫描步骤(110；412)、行程长度和可变长度编码步骤(111，115，116；422)，以及位流汇编步骤(432)，在后一步骤中采用存储器装置(308)至少作为数据速率控制缓冲器(113)，从而

缓冲器填充级不是由存储在所述存储装置(308)中的数据计算得到的，而是在所述位流汇编步骤(432)中计算相应的位得出的，这样得出的缓冲器填充级被用于控制所述的量化步骤(105；430)和所述的逆量化步骤(106；431)，以及

从而在至少另一个集成电路(203；303，305)中执行所述运动估算(102；203；303；305)和所述预测步骤(109)，该电路与所述集成电路(207；307)相连，并且分配了用于所述运动估算和所述预测步骤的图像数据存储装置(204；304，306)。

3、根据权利要求1或2所述的方法，其特征在于要编码的数字视频信号(INS，DVS)是MPEG-1或MPEG-2信号。

4、根据权利要求3所述的方法，其特征在于在所述的汇编步骤(432)中，分别采用一个或所述的与所述集成电路(207；307)相连的控制装置(209；309；409)来实现高于片层的视频位流操作和速率控制功能。

5、根据权利要求1至4的任意一个所述的方法，其特征在于为了确定编码选择方案，要执行额外的编码预分析步骤，其中先前时间瞬间的象素宏块数据(A1_e)首先经过所述变换步骤(104；420)、所述量化步骤(105；430)、所述逆量化步骤(107；421)、所述逆变换步骤(107；421)和所述重构步骤(108；411)，然后才是将要编码的当前象素宏块数据(A2_e)经过所述变换步骤、所述量化步骤、所述逆量化步骤、所述逆变换步骤和所述重构步骤。

6、采用运动估算装置(102；203；303，305)和编码循环对数字视频信号(INS，DVS)进行编码的设备，编码循环包括变换装置(104；420)、量化装置(105；430)、逆量化装置(106；431)、逆变换装置(107；421)、重构装置(108；411)和象素宏块预测装置(109)，在所述预测装置中采用从所述运动估算得到的运动信息(MVD，PMD)进行预测，其中象素宏块数据和预测象素宏块数据之间的差值信号(103)和/或象素宏块数据本身在所述变换装置中进行处理，而所述量化装置的输出被进一步处理(110-114；412，422，432，440，450，308)，从中得出编码的视频信号(OUS，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于

编码在集成电路(207；307)中采用流水线处理来执行，该集成电路包括所述变换、量化、逆量化、逆变换和重构装置，但不包括所述预测装置，

并且其中所述进一步处理包括之字形扫描装置(110；412)、行程长度和可变长度编码装置(111，115，116；422)，以及位流汇编装置(432)，在后一装置中采用存储器装置(308)作为数据速率控制缓冲器(113)和作为大于宏块电平的位流数据(CVBS)的中间存储器，该宏块电平由控制装置(209；309；409)提供给所述集成电路(207；307)，从而

在至少另一个集成电路(203；303，305)中包括所述运动估算(102；203；303，305)和所述预测装置(109)，该电路与所述集成电路(207；307)相连，并且分配了用于所述运动估算和所述预测装置的图像数据存储装置(204；304，306)。

7、采用运动估算(102；203；303，305)和编码循环对数字视频信号(INS，DVS)进行编码的设备，编码循环包括变换装置(104；420)、量化装置(105；430)；逆量化装置(106；431)、逆变换装置(107；421)、重构装置(108；411)和象素宏块预测装置(109)，在象素宏块预测装置中采用从所述运动估算得到的运动信息(MVD，PMD)，其中象素宏块数据和预测象素宏块数据之间的差值信号(103)和/或象素宏块数据本身可以在所述变换装置中进行处理，而所述量化装置的输出被进一步处理(110-114；412，422，432，440，450，308)，从中得出编码的视频信号(OUS，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于

在包括所述变换、量化、逆量化、逆变换和重构装置(不包括所述预测装置)的一个集成电路(207；307)中进行编码，并且其中所述进一步处理包括之字形扫描装置(110；412)、行程长度和可变长度编码装置(111，115，116；422)，以及位流汇编装置(432)，在后一装置中采用存储器装置(308)至少作为数据速率控制缓冲器(113)，从而

缓冲器填充级不是由存储在所述存储装置(308)中的数据计算得到的，而是在所述位流汇编装置(432)中计算相应的位得出的，这样得出的缓冲器填充级被用于控制所述的量化装置(105；430)和所述的逆量化装置(106；431)，以及

从而在至少另一个集成电路(203；303，305)中包括所述运动估算(102；203；303，305)和所述预测装置(109)，该电路与所述集成电路(207；307)相连，并且分配了用于所述运动估算和所述预测装置的图像数据存储装置(204；304，306)。

8、根据权利要求6或7所述的设备，其特征在于要编码的数字视频信号(INS，DVS)是MPEG-1或MPEG-2信号。

9、根据权利要求8所述的设备，其特征在于在所述的汇编装置(432)中，分别采用一个或所述的与所述集成电路(207；307)相连的控制装置(209；309；409)来实现高于片层的视频位流操作和速率控制功能。

Images