CN101394560B - 一种用于视频编码的混合流水线装置 - Google Patents

Abstract

本发明公开了一种用于视频编码的混合流水线装置，本发明包括预取数据器、模式选择器、重建环路器和熵编码器；重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器；同一个宏块的数据在不同时间片内依次经过预取数据器、模式选择器、重建环路器和熵编码器进行处理；在同一个时间片内，预取数据器、模式选择器、重建环路器和熵编码器处理四个不同的宏块的数据。本发明提高数据处理速率，减小存储器面积，达到高清晰度实时编码的目的。

Description

一种用于视频编码的混合流水线装置

技术领域

本发明涉及数字视频编解码技术领域，特别地，涉及一种可以满足硬件视频编码器等高清晰度实时应用的用于视频编码的混合流水线装置。

背景技术

数字图像、视频信号处理和编码技术的研究开始于20世纪50年代，最初采用的编码方法是空间域上差分脉冲编码调制(简称DPCM)。到20世纪70年代，变换编码技术和运动补偿预测技术开始出现。在1974年，Ahmed等引入基于块的二维离散余弦变换(简称DCT)，成为现代先进视频编码框架中的一项核心技术。这些技术逐渐成熟，在20世纪80年代发展为实用的编码技术，确立了基于块的混合编码框架，集预测编码、变换编码和熵编码于一体的传统混合编码框架，即Hybrid Coding框架。基于这个框架，在后面20多年中，出现了一系列的国际视频编码标准，如ITU制定的H.26 1，H.263，H.26L标准和ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4等。到了21世纪，随着技术的发展，人们对多媒体通信的进一步需求要求视频编码能够提供更高效的压缩技术和异质网络的适应技术，新一代视频编码标准H.264/MPEG-AVC(简称H.264)就是在这样的背景下开始制定，并在2003年颁布的。与此同时，中国自主知识产权的视频编码标准AVS第二部分也于2003年底制定完成，并于2006年2月获颁为正式的国家标准(GB/T 20090.2)。AVS、H.264的压缩效率大约是MPEG-2的两倍，同时复杂度也提高不少。同样，AVS和H.264都是基于传统混合编码框架的视频编码标准。

传统混合编码框架是综合考虑预测编码、变换编码以及熵编码方法的编码框架，编码方法如下：首先，将编码帧分成编码单元；对编码单元进行预测编码(可以是空域预测或时域预测或时空域结合的预测)，预测值和待编码值的差为残差数据，然后对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化；然后经过扫描将二维信号转换成一维信号；最后进行熵编码。

传统视频混合编码框架有以下主要特点：

1)利用预测编码降低时间冗余信息和空间冗余信息；

2)利用变换编码进一步降低空间冗余信息；

3)利用熵编码降低数据冗余信息；

传统视频混合编码框架中的预测编码包括帧内预测编码和帧间预测编码，见H.264/AVC标准和AVS标准。其中帧内预测编码又称空域预测，帧间预测编码又称时域预测；

使用帧内预测编码技术压缩的视频帧，称为帧内编码帧(I帧)。帧内预测支持不同块大小及不同模式。帧内预测中采用的是方向预测方法时，在H.264标准中表现为如在I4MB模式中，使用8方向的角度预测模式和DC预测模式；如在I16MB模式中，使用两方向的角度预测模式、DC预测模式和PLANE预测模式，在AVS-P2标准中表现为4方向的角度预测模式和DC预测模式；此时使用的参考点位置可以是当前待处理单元左方一列和上方一行的相邻位置，也可以是当前待处理单元周围的某几行或多行或某几列或多列位置；参考值可以是当前待处理单元左方一列和上方一行的相邻位置点的像素值或变换后的系数，也可以是当前待处理单元周围的某几行或多行或某几列或多列位置点的像素值或变换后的系数；预测值由参考值的计算或组合或拷贝生成。帧内预测也可以采用双方向预测方法。帧内预测也可以采用模板匹配的预测方法；此时使用的此可以是当前帧内由模板匹配矢量所指向位置，参考值是当前帧内由模板匹配矢量所指向位置点的像素值，预测值由参考值的拷贝生成。帧内预测单元的模式信息包括当前单元的预测分块大小、预测方向和预测模式等相关信息。

帧间预测(时域预测)编码技术压缩的视频帧，称为帧间编码帧，帧间编码包括前向、后向和双向的预测(P帧、B帧)，支持不同块大小。帧间编码帧的编码方法如下：首先，将编码帧分成编码单元；对编码单元采用运动搜索和运动预测的运动估计技术得到运动矢量和参考单元；然后采用运动补偿技术，得到帧间预测(时域预测)后的残差数据。帧间预测单元的模式信息包括当前元的预测分块大小、参考方向(前向、后向或双向的预测)及使用的参考个数、参考索引、运动矢量等。帧间预测模式信息如宏块级别的P16X16、P16X8、P8X16、P8X8、B16X16等，亚宏块级别的如P8X4、P4X8、P4X4等。运动估计的搜索算法有全搜索和快速搜索两种。全搜索遍历搜索窗内的每个点。快速搜索包括三步搜索法、菱形搜索法、分级搜索法和混合搜索算法等。模式判决从帧内预测模式和帧间预测模式中选择最佳的宏块模式，常用的判决准则均方差最小准则、平均绝对值误差最小准则等。

变换编码包括变换，量化，反量化和反变换。帧内预测使用变换编码后的重建数据进行预测。扫描将二维信号转换成一维信号，对一维信号进行游程编码，产生符号对。熵编码利用符号对的出现概率大小的统计规律，进行变长编码。

在AVS和H.264视频标准中，采用去块滤波的技术，对重建图象的宏块的垂直边界进行水平滤波，再对宏块的水平边界进行垂直边界滤波，从而去除方块效应。帧间预测使用去块滤波后的滤波数据作为参考数据进行运动估计。

现有的视频编码技术提高了编码效率，同时增大了编码复杂度。如何提高视频编码并行度，减少数据等待时间，提高数据处理速率是高清晰度实时编码必须解决的问题。现有的视频编码系统未能充分利用编码处理中的并行度，从而制约了整体编码速度。

发明内容

本发明的目的在于针对现有技术的不足，提供一种用于视频编码的混合流水线装置。

本发明的目的是通过以下技术方案来实现的：一种用于视频编码的混合流水线装置，包括预取数据器、模式选择器、重建环路器和熵编码器。预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据。模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息。重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据。熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流。重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器。帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据。帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据。差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据。去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

本发明具有的有益效果是：本发明采用混合流水线的技术，包括宏块级流水线和块级流水线，提高视频编码的并行度，减少数据等待时间，提高数据处理速率，减小存储器面积，达到高清晰度实时编码的目标。

附图说明

图1是本发明用于视频编码的混合流水线装置的结构框图；

图2是图1中预取数据器的结构框图；

图3是图1中模式选择器的结构框图；    

图4是图1中熵编码器的结构框图；

图5是图1中整体处理过程图；

图6是预取数据器处理过程图；

图7是模式选择器处理过程图；

图8是重建环路器处理过程图；

图9是重建环路器处理过程图；

图10是熵编码器处理过程图；

图11是整体处理过程图；

图12是重建环路器处理过程图；

图13是重建环路器处理过程图；

图14是熵编码器处理过程图。

具体实施方式

用于视频编码的混合流水线装置包括预取数据器、模式选择器、重建环路器和熵编码器。预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据。模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息。重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据。熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流。

预取数据器包括原始数据读取器，搜索窗地址产生器和搜索窗数据读取器。原始数据读取器接受待编码的视频数据，送出一个宏块的原始数据。搜索窗地址产生器送出运动搜索起始地址。搜索窗数据读取器接受熵编码器产生的参考数据，接受搜索窗地址产生器产生的运动搜索起始地址，送出搜索窗数据。  模式选择器包括帧内模式选择器，运动估计器，模式判决器和运动矢量残差计算器。帧内模式选择器接受预取数据器产生的原始数据，送出最佳的帧内预测模式。运动估计器接受预取数据器产生的原始数据和搜索窗数据，送出最佳的帧间预测模式。模式判决器接受帧内模式选择器产生的最佳的帧内预测模式，接受运动估计器产生的最佳的帧间预测模式，送出最佳的宏块模式。运动矢量残差计算器接受模式判决器产生的最佳的宏块模式，送出运动信息。

重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器。帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据。帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据。差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据。去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

熵编码流水器，包括扫描器，变长编码器，回写器。扫描器接受重建环路器产生的量化系数，送出一个宏块的符号对。变长编码器接受扫描器产生的符号对，送出码流。回写器接受重建环路器产生的滤波数据，送出参考数据。

下而根据附图和实施实例详细说明本发明，本发明的目的和效果将变得更明显。

实施例1：用于视频编码的混合流水线装置，具体如下所示：

如图1所示，用于视频编码的混合流水线装置包括预取数据器、模式选择器、重建环路器和熵编码器。预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据。模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息。重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据。熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流。

如图2所示，预取数据器包括原始数据读取器，搜索窗地址产生器和搜索窗数据读取器。原始数据读取器接受待编码的视频数据，送出一个宏块的原始数据。搜索窗地址产生器送出运动搜索起始地址。搜索窗数据读取器接受熵编码器产生的参考数据，接受搜索窗地址产生器产生的运动搜索起始地址，送出搜索窗数据。

如图3所示，模式选择器包括帧内模式选择器，运动估计器，模式判决器和运动矢量残差计算器。帧内模式选择器接受预取数据器产生的原始数据，送出最佳的帧内预测模式。运动估计器接受预取数据器产生的原始数据和搜索窗数据，送出最佳的帧间预测模式。模式判决器接受帧内模式选择器产生的最佳的帧内预测模式，接受运动估计器产生的最佳的帧间预测模式，送出最佳的宏块模式。运动矢量残差计算器接受模式判决器产生的最佳的宏块模式，送出运动信息。运动估计器、模式判决器和运动矢量残差计算器串行处理同一个宏块的数据。

如图1所示，重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器。帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据。帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据。差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据。去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

如图4所示，熵编码流水器，包括扫描器，变长编码器，回写器。扫描器接受重建环路器产生的量化系数，送出一个宏块的符号对。变长编码器接受扫描器产生的符号对，送出码流。回写器接受重建环路器产生的滤波数据，送出参考数据。

如图5所示，设置固定的宏块处理时间T。在第一个T时间片内启动预取数据器处理第N-1个宏块。其中N是一个常数。在第二个T时间片内启动预取数据器处理第N个宏块，启动模式选择器处理第N-1个宏块。在第三个T时间片内启动预取数据器处理第N+1个宏块，启动模式选择器处理第N个宏块，启动重建环路器处理第N-1个宏块。在第四个T时间片内启动预取数据器处理第N+2个宏块，启动模式选择器处理第N+1个宏块，启动重建环路器处理第N个宏块，启动熵编码器处理第N-1个宏块。如此依次类推。第N-1个宏块的数据在不同的T时间片内依次经过预取数据器、模式选择器、重建环路器和熵编码器进行处理。在第四个T时间片内，预取数据器、模式选择器、重建环路器和熵编码器处理四个不同的宏块的数据：预取数据器处理第N+2个宏块，模式选择器处理第N+1个宏块，重建环路器处理第N个宏块，熵编码器处理第N-1个宏块。

如图6所示，预取数据器处理第N+2个宏块，主要功能从片外存储器取出原始数据和参考数据写入片上存储器，供模式选择器选择宏块模式使用。原始数据读取器从片外存储器读取原始数据写入片上存储器；搜索窗地址产生器计算运动搜索起始地址；搜索窗数据读取器根据运动搜索起始地址从片外存储器读取参考数据写入片上存储器；其中原始数据读取器和搜索窗地址产生器同时工作，并行处理同一个宏块的数据。搜索窗数据读取器在搜索窗地址产生器和原始数据读取器处理完同一个宏块的数据后开始工作。

如图7所示，模式选择器处理第N+1个宏块，主要功能是选择最佳的宏块模式。帧内模式选择器产生多种帧内预测模式下对应的预测数据，计算原始数据和预测数据的误差，选择误差最小的帧内预测模式。运动估计器在预取数据器产生的搜索窗数据中进行全搜索，计算原始数据和预测数据的误差，得到误差最小的帧间预测模式和运动矢量；其中帧内模式选择器和运动估计器同时工作，处理同一个宏块的数据。当帧内模式选择器和运动估计器都处理完毕后，模式判决器从最佳的帧内预测模式和最佳的帧间预测模式中选择最佳的宏块模式。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，运动矢量残差计算器根据视频标准中定义的运动矢量推导方法，预测第N+1个宏块的运动矢量，把预测的运动矢量和运动估计得到的运动矢量做差，得到用于熵编码的运动矢量残差。

如图8所示，重建环路器处理第N个宏块，主要功能是产生量化系数和滤波数据。设置固定的块处理时间t。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，重建环路器按照如下方式工作。一个宏块6个块的数据在不同的t时间片内依次经过重建环路器内部的帧间预测器、差分重建器和去块滤波器进行处理。在第一个t时间片内，启动帧间预测器处理第1个块。在第二个t时间片内，启动帧间预测器处理第2个块，启动差分重建器处理第1块。在第三个t时间片内，启动帧间预测器处理第3个块，启动差分重建器处理第2块，启动去块滤波器处理第1个块，帧间预测器、差分重建器和去块滤波器处理不同的三个块的数据。在第四个t时间片内，启动帧间预测器处理第4个块，启动差分重建器处理第3块，启动去块滤波器处理第2个块。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，帧间预测器根据模式选择器产生的宏块模式和运动信息，得到插值位置、插值精度和插值滤波器类型，对预取数据器产生的搜索窗数据进行插值，产生帧间预测数据；差分重建器把帧间预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧间预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。

如图9所示，当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，重建环路器按照如下方式工作。一个宏块6个块的数据在不同的t时间片内依次经过重建环路器内部的差分重建器和去块滤波器进行处理。在第一个t时间片内，先启动帧内预测器处理第1个块。当帧内预测器工作完毕，启动差分重建器处理第1个块。在第二个t时间片内，启动帧内预测器处理第2个块，启动去块滤波器处理第1块。当帧内预测器工作完毕，启动差分重建器处理第2个块。在第三个t时间片内，启动帧内预测器处理第3个块，启动去块滤波器处理第2个块。当帧内预测器工作完毕，启动差分重建器处理第3块，差分重建器和去块滤波器处理不同的两个块的数据。在第四个t时间片内，启动帧内预测器处理第4个块，启动去块滤波器处理第3个块。当帧内预测器工作完毕，启动差分重建器处理第4块。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，帧内预测器根据模式选择器产生的宏块模式，根据视频标准定义的帧内预测算法，产生帧内预测数据；差分重建器把帧内预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧内预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。

如图10所示，熵编码器处理第N-1个宏块，主要功能是对差分环路器产生的量化系数进行扫描、变长编码，生成码流，把差分环路器产生的滤波数据写入片外存储器。扫描器对差分环路器产生的量化系数进行扫描和游程编码，产生符号对。变长编码器对扫描器产生的符号对进行熵编码，生成符合视频标准的码流。回写器把差分环路器产生的滤波数据写入片外存储器，产生参考数据，供预取数据器的搜索窗数据读取器使用。扫描器，变长编码器和回写器同时工作，处理同一个宏块的数据。

实施例2：用于视频编码的混合流水线装置，具体如下所示：

如图1所示，用于视频编码的混合流水线装置包括预取数据器、模式选择器、重建环路器和熵编码器。预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据。模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息。重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据。熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流。

如图2所示，预取数据器包括原始数据读取器，搜索窗地址产生器和搜索窗数据读取器。原始数据读取器接受待编码的视频数据，送出一个宏块的原始数据。搜索窗地址产生器送出运动搜索起始地址。搜索窗数据读取器接受熵编码器产生的参考数据，接受搜索窗地址产生器产生的运动搜索起始地址，送出搜索窗数据。

如图3所示，模式选择器包括帧内模式选择器，运动估计器，模式判决器和运动矢量残差计算器。帧内模式选择器接受预取数据器产生的原始数据，送出最佳的帧内预测模式。运动估计器接受预取数据器产生的原始数据和搜索窗数据，送出最佳的帧间预测模式。模式判决器接受帧内模式选择器产生的最佳的帧内预测模式，接受运动估计器产生的最佳的帧间预测模式，送出最佳的宏块模式。运动矢量残差计算器接受模式判决器产生的最佳的宏块模式，送出运动信息。运动估计器、模式判决器和运动矢量残差计算器串行处理同一个宏块的数据。

如图1所示，重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器。帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据。帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据。差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据。去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

如图4所示，熵编码流水器，包括扫描器，变长编码器，回写器。扫描器接受重建环路器产生的量化系数，送出一个宏块的符号对。变长编码器接受扫描器产生的符号对，送出码流。回写器接受重建环路器产生的滤波数据，送出参考数据。

如图11所示，用于视频编码的混合流水线装置启动预取数据器处理第N-1个宏块。其中N是一个常数。当预取数据器工作完毕后，启动预取数据器处理第N个宏块，启动模式选择器处理第N-1个宏块。当预取数据器和模式选择器都工作完毕后，启动预取数据器处理第N+1个宏块，启动模式选择器处理第N个宏块，启动重建环路器处理第N-1个宏块。当预取数据器、模式选择器和重建环路器都工作完毕后，启动预取数据器处理第N+2个宏块，启动模式选择器处理第N+1个宏块，启动重建环路器处理第N个宏块，启动熵编码器处理第N-1个宏块。当预取数据器、模式选择器、重建环路器和熵编码器都工作完毕后，启动预取数据器处理第N+3个宏块，启动模式选择器处理第N+2个宏块，启动重建环路器处理第N+1个宏块，启动熵编码器处理第N个宏块。如此依次类推。第N-1个宏块的数据在不同时间片T0、T1、T2和T3内依次经过预取数据器、模式选择器、重建环路器和熵编码器进行处理。在T3时间片内，预取数据器、模式选择器、重建环路器和熵编码器处理四个不同的宏块的数据：预取数据器处理第N+2个宏块，模式选择器处理第N+1个宏块，重建环路器处理第N个宏块，熵编码器处理第N-1个宏块。

如图6所示，预取数据器处理第N+2个宏块，主要功能从片外存储器取出原始数据和参考数据写入片上存储器，供模式选择器选择宏块模式使用。原始数据读取器从片外存储器读取原始数据写入片上存储器；搜索窗地址产生器计算运动搜索起始地址；搜索窗数据读取器根据运动搜索起始地址从片外存储器读取参考数据写入片上存储器；其中原始数据读取器和搜索窗地址产生器同时工作，并行处理同一个宏块的数据。搜索窗数据读取器在搜索窗地址产生器和原始数据读取器处理完同一个宏块的数据后开始工作。

如图7所示，模式选择器处理第N+1个宏块，主要功能是选择最佳的宏块模式。帧内模式选择器产生多种帧内预测模式下对应的预测数据，计算原始数据和预测数据的误差，选择误差最小的帧内预测模式。运动估计器在预取数据器产生的搜索窗数据中进行全搜索，计算原始数据和预测数据的误差，得到误差最小的帧间预测模式和运动矢量；其中帧内模式选择器和运动估计器同时工作，处理同一个宏块的数据。当帧内模式选择器和运动估计器都处理完毕后，模式判决器从最佳的帧内预测模式和最佳的帧间预测模式中选择最佳的宏块模式。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，运动矢量残差计算器根据视频标准中定义的运动矢量推导方法，预测第N+1个宏块的运动矢量，把预测的运动矢量和运动估计得到的运动矢量做差，得到用于熵编码的运动矢量残差。

如图12所示，重建环路器处理第N个宏块，主要功能是产生量化系数和滤波数据。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，重建环路器按照如下方式工作。启动帧间预测器处理第1个块。当帧间预测器处理完第1个块的时候，启动帧间预测器处理第2个块，启动差分重建器处理第1块。当预测器处理完第2个块和差分重建器处理完第1个块的时候，启动预测器处理第3个块，启动差分重建器处理第2个块，启动去块滤波器处理第1个块。当预测器处理完第3个块，差分重建器处理完第2个块并且去块滤波器处理完第1个块的时候，启动预测器处理第4个块，启动差分重建器处理第3块，启动去块滤波器处理第2个块，帧间预测器、差分重建器和去块滤波器处理不同的三个块的数据。一个宏块第1个块的数据在不同时间片t0，t1和t2内依次经过重建环路器内部的帧间预测器、差分重建器和去块滤波器进行处理。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，帧间预测器根据模式选择器产生的宏块模式和运动信息，得到插值位置、插值精度和插值滤波器类型，对预取数据器产生的搜索窗数据进行插值，产生帧间预测数据；差分重建器把帧间预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧间预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。

如图13所示，当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，重建环路器按照如下方式工作。一个宏块第1个块的数据在不同的时间片t0和t1内依次经过重建环路器内部的差分重建器和去块滤波器进行处理。在第一个t时间片内，启动帧内预测器处理第1个块。当帧内预测器工作完毕，启动差分重建器处理第1个块。当差分重建器工作完毕，启动帧内预测器处理第2个块，启动去块滤波器处理第1个块。当帧内预测器工作完毕，启动差分重建器处理第2个块。当差分重建器和去块滤波器都工作完毕，启动帧内预测器处理第3个块，启动去块滤波器处理第2块。当帧内预测器工作完毕，启动差分重建器处理第3个块，差分重建器和去块滤波器处理不同的两个块的数据。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，帧内预测器根据模式选择器产生的宏块模式，根据视频标准定义的帧内预测算法，产生帧内预测数据；差分重建器把帧内预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧内预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。

如图10所示，熵编码器处理第N-1个宏块，主要功能是对差分环路器产生的量化系数进行扫描、变长编码，生成码流，把差分环路器产生的滤波数据写入片外存储器。扫描器对差分环路器产生的量化系数进行扫描和游程编码，产生符号对。变长编码器对扫描器产生的符号对进行熵编码，生成符合视频标准的码流。回写器把差分环路器产生的滤波数据写入片外存储器，产生参考数据，供预取数据器的搜索窗数据读取器使用。扫描器，变长编码器和回写器同时工作，处理同一个宏块的数据。

实施例3：用于视频编码的混合流水线装置，具体如下所示：

如图1所示，用于视频编码的混合流水线装置包括预取数据器、模式选择器、重建环路器和熵编码器。预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据。模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息。重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据。熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流。

如图2所示，预取数据器包括原始数据读取器，搜索窗地址产生器和搜索窗数据读取器。原始数据读取器接受待编码的视频数据，送出一个宏块的原始数据。搜索窗地址产生器送出运动搜索起始地址。搜索窗数据读取器接受熵编码器产生的参考数据，接受搜索窗地址产生器产生的运动搜索起始地址，送出搜索窗数据。

如图3所示，模式选择器包括帧内模式选择器，运动估计器，模式判决器和运动矢量残差计算器。帧内模式选择器接受预取数据器产生的原始数据，送出最佳的帧内预测模式。运动估计器接受预取数据器产生的原始数据和搜索窗数据，送出最佳的帧间预测模式。模式判决器接受帧内模式选择器产生的最佳的帧内预测模式，接受运动估计器产生的最佳的帧间预测模式，送出最佳的宏块模式。运动矢量残差计算器接受模式判决器产生的最佳的宏块模式，送出运动信息。

如图1所示，重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器。帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据。帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据。差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据。去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

如图4所示，熵编码流水器，包括扫描器，变长编码器，回写器。扫描器接受重建环路器产生的量化系数，送出一个宏块的符号对。变长编码器接受扫描器产生的符号对，送出码流。回写器接受重建环路器产生的滤波数据，送出参考数据。

如图5所示，设置固定的宏块处理时间T。在第一个T时间片内启动预取数据器处理第N-1个宏块。其中N是一个常数。在第二个T时间片内启动预取数据器处理第N个宏块，启动模式选择器处理第N-1个宏块。在第三个T时间片内启动预取数据器处理第N+1个宏块，启动模式选择器处理第N个宏块，启动重建环路器处理第N-1个宏块。在第四个T时间片内启动预取数据器处理第N+2个宏块，启动模式选择器处理第N+1个宏块，启动重建环路器处理第N个宏块，启动熵编码器处理第N-1个宏块。如此依次类推。第N-1个宏块的数据在不同的T时间片内依次经过预取数据器、模式选择器、重建环路器和熵编码器进行处理。在第四个T时间片内，预取数据器、模式选择器、重建环路器和熵编码器处理四个不同的宏块的数据：预取数据器处理第N+2个宏块，模式选择器处理第N+1个宏块，重建环路器处理第N个宏块，熵编码器处理第N-1个宏块。

如图6所示，预取数据器处理第N+2个宏块，主要功能从片外存储器取出原始数据和参考数据写入片上存储器，供模式选择器选择宏块模式使用。原始数据读取器从片外存储器读取原始数据写入片上存储器；搜索窗地址产生器计算运动搜索起始地址；搜索窗数据读取器根据运动搜索起始地址从片外存储器读取参考数据写入片上存储器；其中原始数据读取器和搜索窗地址产生器同时工作，并行处理同一个宏块的数据。搜索窗数据读取器在搜索窗地址产生器和原始数据读取器处理完同一个宏块的数据后开始工作。

如图7所示，模式选择器处理第N+1个宏块，主要功能是选择最佳的宏块模式。帧内模式选择器产生多种帧内预测模式下对应的预测数据，计算原始数据和预测数据的误差，选择误差最小的帧内预测模式。运动估计器在预取数据器产生的搜索窗数据中进行全搜索，计算原始数据和预测数据的误差，得到误差最小的帧间预测模式和运动矢量；其中帧内模式选择器和运动估计器同时工作，处理同一个宏块的数据。当帧内模式选择器和运动估计器都处理完毕后，模式判决器从最佳的帧内预测模式和最佳的帧间预测模式中选择最佳的宏块模式。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，运动矢量残差计算器根据视频标准中定义的运动矢量推导方法，预测第N+1个宏块的运动矢量，把预测的运动矢量和运动估计得到的运动矢量做差，得到用于熵编码的运动矢量残差。运动估计器、模式判决器和运动矢量残差计算器串行处理同一个宏块的数据。

如图8所示，重建环路器处理第N个宏块，主要功能是产生量化系数和滤波数据。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，帧间预测器根据模式选择器产生的宏块模式和运动信息，得到插值位置、插值精度和插值滤波器类型，对预取数据器产生的搜索窗数据进行插值，产生帧间预测数据；差分重建器把帧间预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧间预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。设置固定的块处理时间t。当模式判决器选择的最佳的宏块模式是帧间预测模式的时候，重建环路器按照如下方式工作。一个宏块6个块的数据在不同的t时间片内依次经过重建环路器内部的帧间预测器、差分重建器和去块滤波器进行处理。在第一个t时间片内，启动帧间预测器处理第1个块。在第二个t时间片内，启动帧间预测器处理第2个块，启动差分重建器处理第1块。在第三个t时间片内，启动帧间预测器处理第3个块，启动差分重建器处理第2块，启动去块滤波器处理第1个块，帧间预测器、差分重建器和去块滤波器处理不同的三个块的数据。在第四个t时间片内，启动帧间预测器处理第4个块，启动差分重建器处理第3块，启动去块滤波器处理第2个块。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。

如图9所示，当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，重建环路器按照如下方式工作。一个宏块6个块的数据在不同的t时间片内依次经过重建环路器内部的差分重建器和去块滤波器进行处理。在第一个t时间片内，先启动帧内预测器处理第1个块。当帧内预测器工作完毕，启动差分重建器处理第1个块。在第二个t时间片内，启动帧内预测器处理第2个块，启动去块滤波器处理第1块。当帧内预测器工作完毕，启动差分重建器处理第2个块。在第三个t时间片内，启动帧内预测器处理第3个块，启动去块滤波器处理第2个块。当帧内预测器工作完毕，启动差分重建器处理第3块，差分重建器和去块滤波器处理不同的两个块的数据。在第四个t时间片内，启动帧内预测器处理第4个块，启动去块滤波器处理第3个块。当帧内预测器工作完毕，启动差分重建器处理第4块。如此依次类推，直到重建环路器把一个宏块所有亮度块和色度块处理完毕。当模式判决器选择的最佳的宏块模式是帧内预测模式的时候，帧内预测器根据模式选择器产生的宏块模式，根据视频标准定义的帧内预测算法，产生帧内预测数据；差分重建器把帧内预测数据和原始数据进行相减得到残差系数，对残差系数进行变换和量化产生量化系数。差分重建器把量化系数进行反量化和反变换后，与帧内预测数据相加得到重建数据。去块滤波器根据视频标准定义的去块滤波的算法，对重建数据进行去块滤波产生滤波数据。

熵编码器处理第N-1个宏块，主要功能是对差分环路器产生的量化系数进行扫描、变长编码，生成码流，把差分环路器产生的滤波数据写入片外存储器。扫描器对差分环路器产生的量化系数进行扫描和游程编码，产生符号对。变长编码器对扫描器产生的符号对进行熵编码，生成符合视频标准的码流。回写器把差分环路器产生的滤波数据写入片外存储器，产生参考数据，供预取数据器的搜索窗数据读取器使用。如图14所示，当编码B条带的时候，回写器不工作，扫描器和变长编码器同时工作，处理同一个宏块的数据。如图10所示，当编码I条带或者P条带的时候，扫描器，变长编码器和回写器同时工作，处理同一个宏块的数据。

Claims (9)

1.一种用于视频编码的混合流水线装置，其特征在于：包括预取数据器、模式选择器、重建环路器和熵编码器；预取数据器接受待编码的视频数据和熵编码器产生的参考数据，送出原始数据和搜索窗数据；模式选择器接受预取数据器产生的原始数据和搜索窗数据，送出宏块模式和运动信息；重建环路器接受预取数据器产生的原始数据和搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出量化系数和滤波数据；熵编码器接受模式选择器产生的宏块模式和运动信息，接受重建环路器产生的量化系数和滤波数据，送出参考数据和码流；重建环路器包括帧内预测器、帧间预测器、差分重建器和去块滤波器；帧内预测器接受模式选择器产生的宏块模式，送出帧内预测数据；帧间预测器接受预取数据器产生的搜索窗数据，接受模式选择器产生的宏块模式和运动信息，送出帧间预测数据；差分重建器接受预取数据器产生的原始数据，接受帧内预测器产生的帧内预测数据，接受帧间预测器产生的帧间预测数据，送出量化系数和重建数据；去块滤波器接受差分重建器产生的重建数据，送出滤波数据。

2.如权利要求1所述的用于视频编码的混合流水线装置，其特征在于，所述预取数据器包括原始数据读取器，搜索窗地址产生器和搜索窗数据读取器；原始数据读取器接受待编码的视频数据，送出一个宏块的原始数据；搜索窗地址产生器送出运动搜索起始地址；搜索窗数据读取器接受熵编码器产生的参考数据，接受搜索窗地址产生器产生的运动搜索起始地址，送出搜索窗数据；模式选择器包括帧内模式选择器，运动估计器，模式判决器和运动矢量残差计算器；帧内模式选择器接受预取数据器产生的原始数据，送出最佳的帧内预测模式；运动估计器接受预取数据器产生的原始数据和搜索窗数据，送出最佳的帧间预测模式；模式判决器接受帧内模式选择器产生的最佳的帧内预测模式，接受运动估计器产生的最佳的帧间预测模式，送出最佳的宏块模式；运动矢量残差计算器接受模式判决器产生的最佳的宏块模式，送出运动信息；熵编码器包括扫描器、变长编码器、回写器；扫描器接受重建环路器产生的量化系数，送出一个宏块的符号对；变长编码器接受扫描器产生的符号对，送出码流；回写器接受重建环路器产生的滤波数据，送出参考数据。

3.如权利要求2所述的用于视频编码的混合流水线装置，其特征在于，同一个宏块的数据在不同时间片内依次经过预取数据器、模式选择器、重建环路器和熵编码器进行处理；在同一个时间片内，预取数据器、模式选择器、重建环路器和熵编码器处理四个不同的宏块的数据。

4.如权利要求3所述的用于视频编码的混合流水线装置，其特征在于，同一个块的数据在不同时间片内依次经过帧间预测器、差分重建器和去块滤波器进行处理；在同一个时间片内，帧间预测器、差分重建器和去块滤波器处理不同的三个块的数据。

5.如权利要求3所述的用于视频编码的混合流水线装置，其特征是，同一个块的数据在不同时间片内依次经过差分重建器和去块滤波器进行处理；在同一个时间片内，差分重建器和去块滤波器处理不同的两个块的数据；帧内预测器和差分重建器串行处理同一个块的数据。

6.如权利要求4或者权利要求5所述的用于视频编码的混合流水线装置，其特征在于，它至少具有以下特征之一：

(1)当预取数据器、模式选择器、重建环路器、熵编码器都处理完各自对应的宏块后，则再次启动预取数据器、模式选择器、重建环路器、熵编码器处理各自对应的下一个宏块；

(2)设置固定的宏块处理时间；同时启动预取数据器、模式选择器、重建环路器、熵编码器，当宏块处理时间使用完毕，则再次启动预取数据器、模式选择器、重建环路器、熵编码器处理各自对应的下一个宏块；

(3)当帧间预测器、差分重建器、去块滤波器都处理完各自对应的块后，则再次启动帧间预测器、差分重建器、去块滤波器处理各自对应的下一个块；

(4)设置固定的块处理时间；同时启动帧间预测器、差分重建器、去块滤波器，当块处理时间使用完毕，则再次启动帧间预测器、差分重建器、去块滤波器处理各自对应的下一个块；

(5)当帧内预测器、差分重建器、去块滤波器都处理完各自对应的块后，则再次启动帧内预测器、差分重建器、去块滤波器处理各自对应的下一个块；

(6)设置固定的块处理时间；同时启动帧内预测器、差分重建器、去块滤波器，当块处理时间使用完毕，则再次启动帧内预测器、差分重建器、去块滤波器处理各自对应的下一个块。

7.如权利要求6所述的用于视频编码的混合流水线装置，其特征是，搜索窗地址产生器和搜索窗数据读取器串行处理同一个宏块的数据；原始数据读取器和搜索窗地址产生器并行处理同一个宏块的数据。

8.如权利要求6所述的用于视频编码的混合流水线装置，其特征是，帧内模式选择器和运动估计器并行处理同一个宏块的数据；运动估计器、模式判决器和运动矢量残差计算器串行处理同一个宏块的数据。

9.如权利要求6所述的用于视频编码的混合流水线装置，其特征是，扫描器，变长编码器，回写器并行处理同一个宏块的数据。

Images