CN1422075A

CN1422075A - 数字电视视频编码器并行图象序列码率控制方法

Info

Publication number: CN1422075A
Application number: CN 02157777
Authority: CN
Inventors: 张文军; 余松煜; 熊红凯; 王峰
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2002-12-26
Filing date: 2002-12-26
Publication date: 2003-06-04
Anticipated expiration: 2022-12-26
Also published as: CN1186933C

Abstract

一种数字电视视频编码器并行图象序列码率控制方法，输入为多路隶属于不同数据源的视频节目序列，或一路数据源在空间域或频域划分出的并行子图象序列，并行编码单元分别对相应的图象序列进行并行实时MPEG－2可变比特率编码，定义各图象序列位于同一时刻的图象帧为一超帧，定义一超图象组，其大小为各图象组大小的最小公倍数，由主控码率控制单元对图象帧、超帧、超图象组进行分层联合码率控制，后处理单元对输出的多路压缩数据流进行码流合成和码率变换，通过复用器进行数据打包，经过缓冲区进入信道传输。本发明使并行图象序列之间能保持接近一致的图象质量和良好的平滑度，避免因平分码率造成的各图象序列质量不均匀的现象。

Description

数字电视视频编码器并行图象序列码率控制方法

技术领域：

本发明涉及一种数字电视视频编码器并行图象序列码率控制方法，可以应用于在恒定速率(CBR)网络业务中进行多数据流编码复用的码率分配场合。属于视频编码技术领域。

技术背景：

当前，通用的数字电视编码技术是MPEG-2技术，它由ISO/IEC13818文件描述，该文件只规定了视频编码器编出的码流所必须遵守的语法规范，包含图象组、图象帧、宏块条、宏块、块等分层结构，其中图象帧按照时域分级的特性又分为帧内编码帧、前向预测编码帧、双向预测编码帧，但标准并未对码率控制的具体方法作出限制性规定。常用的码率控制方法是TM5算法，它由ISO/IEC/JTC1/SC29/WG11/N0400文件描述，包含对图象组内的图象帧作比特分配、根据虚拟缓冲区充溢度进行宏块码率控制、针对宏块复杂度进行自适应量化调整三个阶段。随着数字电视和接入网的发展，在恒定速率(CBR)网络业务中进行多节目并行编码和复用传输成为重要应用，同时实验证明，对它们进行联合码率控制下的可变比特率(VBR)编码，将比对它们进行独立恒定速率编码的平均码率分配方案更加有效，不仅提高信道利用率，而且契合未来多媒体发展的趋势。这意味着针对图象序列并行分布处理结构需提出一种通用有效的联合码率控制方法，能确保向用户提供一致的图象节目质量。而TM5方法是根据虚拟缓冲区的充溢度和图象帧内的宏块活动性来对量化参数进行调整，实现码率分配的，它无法应用于多个编码器并行协同码率控制的情形。授权公告号为CN 1058360C的专利申请了一个面向高清晰度电视视频编码器中并行子图象的码率分配方法，根据子图象的活动性按照对数关系分配码率。但它因照顾硬件上的实现而过于简化，不具备普遍性和推广性，在多数场景变化情况下会影响此类编码器的性能。

发明内容：

本发明的目的在于针对现有技术的不足，提供一种数字电视视频编码器并行图象序列码率控制方法，能实现多个编码器并行协同码率控制，硬件结构简单，并具有良好的扩展度，适用于相互独立的多路视频节目，以及高清晰度数字电视采用的并行处理方案中的高度相关度子图序列。

为实现这样的目的，本发明提出了一种在恒定速率网络业务中进行多数据流可变比特率编码复用的有效码率分配方案，具体而言是数字电视视频编码器通过固定信道并行编码传输多路图象节目的分层联合码率控制方法和实现结构。它采用一种主从结构，通过高速DSP实现的主控码率控制单元在各并行编码器分属DSP单元的协作下，将总码率在并行图象序列之间按照一致失真度进行合理分配，使并行的图象序列之间能保持接近一致的图象质量和良好的平滑度，避免因平分码率造成的各图象序列质量不均匀的现象。

本发明的数字电视视频编码器包括：多路图象序列输入单元，并行编码单元(包括m个并行编码器)，后处理单元，复用器，缓冲区和主控码率控制单元。多路图象序列输入单元可以指输入的多路隶属于不同数据源的视频节目序列，也可以指由一路数据源在空间域或频域划分出的并行子图象序列；并行编码单元分别对相应的图象序列进行并行实时MPEG-2编码，主控码率控制单元在MPEG-2标准定义的数据语法分层结构基础上，采用本发明的分层联合码率控制方法进行码率分配；后处理单元可以对并行编码单元输出的多路压缩数据流进行码流合成和码率变换，通过复用器进行数据打包，经过缓冲区进入信道传输。

主控码率控制单元采用按照并行图象结构设计的数字电视视频编码器分层联合码率控制方法。根据MPEG-2标准定义的数据语法结构，本发明定义各图象序列位于同一时刻的图象帧为一超帧，在其基础上，针对各并行图象序列不同结构、大小的图象组，定义一超图象组，其大小为各图象组大小的最小公倍数。图象帧、超帧、超图象组构成分层联合码率控制的单元，与之对应包括如下分层步骤：

1、首先，对输入的并行图象序列进行各种预处理，包括对各图象序列进行取样和场景检测。

当检测到某一路图象序列发生场景变换时，判断该序列的当前图象组是否是该图象序列位于当前超图象组的最后一个图象组：若是，则将该场景变换图象帧变为帧内编码帧作压缩；若否，则将该图象序列当前图象组中的剩余图象帧与它的下一个图象组合并为一个新图象组，该场景变换图象帧按帧内编码帧处理，而下一个图象组的帧内编码图象帧则变为前向预测编码帧进行处理。

2、而后，以超图象组作单元，按照信道码率分配目标码字：

每当一超帧编码完成，需更新超图象组的目标码字和各序列的特征参数，如平均量化参数等。

3、在超图象组内对合成图象超帧进行码率分配：

定义各序列中一图象帧的复杂度测度，为该序列前一相同帧类型(帧内编码帧、前向预测编码帧或者双向预测编码帧)图象帧的生成码字与其各宏块平均量化参数的乘积；对超帧按照其合成复杂度占当前超图象组的比率进行码率分配，其间假设未编码超帧内各图象帧的复杂度与相应序列前一相同帧类型图象帧相同；

4、然后，对超帧中各并行图象帧进行码率分配：

根据变换编码率失真统计模型，基于已编码图象帧的平均量化参数和生成码字，计算当前编码图象帧的平均象素比特数，对各图象帧按照其平均象素比特数与图象分辨率的乘积比重进行码率分配；

5、设置码率分配的上、下门限值，当按上述3)和4)步骤计算出的码率超出该上、下门限时，均按门限值计。

6、在宏块层，按照TM5方法中根据虚拟缓冲区充溢度进行宏块码率控制、针对宏块复杂度进行自适应量化调整。

本发明的数字电视视频编码器通过恒定速率网络信道并行编码传输多路图象节目的分层联合码率控制方法，采用将总码率在并行图象序列之间按照一致失真度进行合理分配的算法，使并行的图象序列之间能保持接近一致的图象质量和良好的平滑度，避免因平分码率造成的各图象序列质量不均匀的现象。本发明运算实现的硬件结构简单，并具有良好的扩展度。无论是相对于相互独立的多路视频节目，还是相对于高清晰度数字电视采用的并行处理方案中的高度相关度子图序列而言，本发明的方法均具有适用性。

附图说明：

图1为m路并行图象序列编码复用传输的数字电视视频编码器结构方框图。

其中，包括多路图象序列输入单元，由m个并行编码器构成的并行编码单元，后处理单元，复用器，缓冲区和主控码率控制单元。多路图象序列输入单元输入多路或者隶属于不同数据源的视频节目序列，或者为对一路数据源在空间域或频域划分出的并行子图象序列；并行编码单元(1-m)分别对相应的图象序列进行并行实时MPEG-2可变比特率(VBR)编码，主控码率控制单元在MPEG-2标准定义的数据语法分层结构基础上，为保证一致的图象质量，采用本发明的分层联合码率控制方法进行码率分配。后处理单元可以对并行编码单元输出的多路压缩数据流进行码流合成(对照一路数据源)和码率变换(对照信道状况)，通过复用器进行数据打包(按照节目流PS或者传输流TS进行相应处理)，经过缓冲区进入信道传输。

图2为按照本发明第一实施例的高清晰度电视编码器并行结构方框图。

图3为按照本发明第一实施例的子图划分示意图。

图4为按照本发明第一实施例的子编码器结构图。

图5为按照本发明第一实施例的主控码率控制单元示意图。

图6为按照本发明第二实施例的四路图象节目并行编码传输的视频编码器结构框图。

具体实施方式：

以下结合附图和具体的实施例对本发明的技术方案作进一步描述。

图2是本发明一个实施例的并行结构框图，应用在来源于一路高清晰度电视数据源(图象分辨率1920×1080)的多数据流并行编码。

由于高清晰度画面的高分辨率，所要求的计算量非常巨大，需要极高的处理能力和高速数据传输能力，这给硬件系统的设计带来了极大的困难。通常，为实现这种大数据量的复杂运算采用并行处理技术，即将一高清晰度电视画面划分成几个子块，用一个子编码器对一个子块进行实时编码，几个子编码器的并行协同工作即可完成对高清晰度视频序列的实时编码，划分的模式可由设计者选择，如：十字划分，垂直划分，水平划分等，子图划分模式不在本发明范畴内。

图2中：高清晰度视频输入信号在图象采集单元(A/D变换)进行采样，然后经子图分割成6个子图象(如图3)：中间4个子图象大小为1920×192，上、下子图象大小为1920×160(各补四行)。子图序列编码模块(1-6)对应于图1中的并行编码器(1-m)，它们分别对相应的子图序列进行实时MPEG-2编码(见图4)，输出的各子图MPEG-2压缩码流在子图序列编码码流合流单元进行码流合成，形成符合MPEG-2MP@HL规范的高清晰度视频流，其图象分辨率与输入的高清晰度视频图象一致。编码器的工作模式对解码端是“透明”的，从其输出码流并不反映其并行编码的特征。总控单元对所有工作模块起着初始化设置和监控的作用。主控码率控制单元对各子编码器进行联合码率控制。图3是实现联合码率控制核心码率分配的主控码率控制DSP单元结构图，它根据6个并行子图序列编码模块(1-6)中的分属DSP单元所发送的特征参数，经过联合控制算法的运算，为每个分属DSP分配相应码率。

为维持HDTV图象帧质量的一致性和平滑性，设图象组大小为N：

1)预处理对超图象组进行场景变换的码率自适应补偿；

2)超图象组大小也为N，根据信道码率进行目标码字分配，并在每编码完成一超帧后实时更新；

3)对HDTV子图象的合成超帧进行码率分配；

首先，对超帧中的HDTV子图象帧建立自递归图象复杂度测度模型：

C_{[j, n, t]} = {\overset{&OverBar;}{Q}}_{[n - 1, t]} \times S_{[j, n - 1, t]}, {\overset{&OverBar;}{Q}}_{[n - 1, t]} = \frac{1}{6} Σ_{j = 1}^{6} Q_{[j, n - 1, t]}, t &Element; {I, P, B}

其中C_[j，n，t]指第n个HDTV超帧中第j个子图帧的复杂度测度(帧类型为t)，Q_{[j，n-1，t]}和S_{[j，n-1，t]}分别指已编码的帧类型也为t的前一子图帧的平均量化步长和编码比特数。

对该HDTV超帧按下式进行码率分配；

T_{{\sup - frame}_{[n, t]}} = \frac{Σ_{j = 1}^{6} C_{[j, n, t]} / K_{t}}{Σ_{j = 1}^{6} [N_{i} \frac{C_{[j, i]}}{K_{i}} + N_{p} \frac{C_{[j, p]}}{K_{p}} + N_{b} \frac{C_{[j, b]}}{K_{b}}]} T_{\sup - G}

其中C_[j，i]、C_[j，p]和C_[j，b]是每个HDTV子图序列对应的的三种图象帧类型的最新复杂度测度，每编码完成一个子图帧后需实时更新；N_i、N_p和N_b是当前超图象组内三种帧类型各自剩余的帧数目；K_i，K_p，K_b为帧类型因子；T_sup-G为当前超图象组的目标码字。

4)对合成超帧中的HDTV子图象帧进行码率分配；

首先，对第n个HDTV超帧中的第j个子图帧(帧类型为t)，根据其前一已编码子图帧的特征参数建立平均象素比特率的自递归模型：

{\hat{b}}_{[j, n, t]} = \frac{1}{1.386} \ln \frac{P_{[j, n - 1]}}{{\hat{D}}_{n - 1}},

其中

信源分布参数

P_{[j, n - 1]} = \frac{{Q_{[j, n - 1]}}^{2}}{β \times L} e^{{a \overset{&OverBar;}{b}}_{[j, n - 1]}} Σ_{k = 0}^{L - 1} {W_{k}}^{2}, {\overset{&OverBar;}{b}}_{[j, n - 1]} = \frac{S_{[j, n - 1]}}{H_{j} \times V_{j}},

H_i×V_i是第i个子图的分辨率(象素数)，β为信号概率分布参数(高速数据业务中一般取12)；

平均失真度

{\hat{D}}_{n - 1} = \frac{1}{6} Σ_{j = 1}^{6} {\overset{&OverBar;}{D}}_{[j, n - 1]} = \frac{1}{6 \times β \times L} Σ_{j = 1}^{6} {Q_{[j, n - 1]}}^{2} Σ_{k = 0}^{L - 1} {W_{k}}^{2};

Wk是基于块变换编码(MPEG-2中的DCT变换)块变换矩阵的加权系数，L是变换矩阵尺寸。

对该子图帧按下式进行码率分配；

T_{sub {- frame}_{[j, n, t]}} = \frac{{\hat{b}}_{[j, n, t]} \times H_{j} \times V_{j}}{Σ_{i = 1}^{m} {\hat{b}}_{[i, n, t]} \times H_{i} \times V_{i}} T_{{\sup - frame}_{[n, t]}}

5)设置码率分配的上、下门限值，当按上述3)和4)步骤计算出的码率超出该上、下门限时，均按门限值计。

6)宏块层按照TM5方法中根据虚拟缓冲区充溢度进行宏块码率控制、针

对宏块复杂度进行自适应量化调整。

实验结果表明：若不采用本发明的码率控制方法，而仅是固定每个子编码器输出平均码率为1/6HDTV信道码率，则在原始图象尤其在某个子图象场景复杂时，会导致最终的重建图象在主观评价上有明显的失真。若采用了本发明的联合码率控制方法，在实验上采用18Mbits/s～60Mbits/s的HDTV信道码率，上述人眼干扰现象消失。

图3是本发明另一个实施例的编码器方框图，用于实现四路数字电视节目在恒定网络业务中并行编码传输。其中的编码器(1-4)分别对输入的四路节目序列分别进行MPEG-2实时编码，这里的编码器可以用专用芯片为主的芯片组构成，也可以由可编程逻辑器件、高速DSP单元和运动估算芯片构成。基于同样的理论和方法，主控码率控制单元对四路节目序列进行优化码率分配和复用，此时由于各路节目序列具有不同的图象组大小，超图象组的设定取最小公倍数。输出的码流通过复用器输出到信道，根据缓冲区的信道状况反馈和用户QoS要求，主控码率控制单元可以灵活地调整码率分配策略，在时域作平滑或者在空间域作统计复用。同样取得了很好的控制效果，最终四路图象节目在解码器的输出显示了接近一致的图象质量。

Claims

1、一种数字电视视频编码器并行图象序列码率控制方法，其特征在于由多路图象序列输入单元输入多路隶属于不同数据源的视频节目序列，或一路数据源在空间域或频域划分出的并行子图象序列，并行编码单元分别对相应的图象序列进行并行实时MPEG-2可变比特率编码，定义各图象序列位于同一时刻的图象帧为一超帧，针对各并行图象序列不同结构、大小的图象组，定义一超图象组，其大小为各图象组大小的最小公倍数，由主控码率控制单元对图象帧、超帧、超图象组进行分层联合码率控制，后处理单元对并行编码单元输出的多路压缩数据流进行码流合成和码率变换，通过复用器进行数据打包，经过缓冲区进入信道传输。

2、如权利要求1所说的数字电视视频编码器并行图象序列码率控制方法，其特征在于分层联合码率控制包括如下分层步骤：

1)对输入的并行图象序列进行各种预处理，包括对各图象序列进行取样和场景检测，当检测到某一路图象序列发生场景变换时，判断该序列的当前图象组是否是该图象序列位于当前超图象组的最后一个图象组，若是，则将该场景变换图象帧变为帧内编码帧作压缩，若否，则将该图象序列当前图象组中的剩余图象帧与它的下一个图象组合并为一个新图象组，该场景变换图象帧按帧内编码帧处理，而下一个图象组的帧内编码图象帧则变为前向预测编码帧进行处理；

2)以超图象组作单元，按照信道码率分配目标码字，每当一超帧编码完成，需更新超图象组的目标码字和各序列的特征参数；

3)在超图象组内对合成图象超帧进行码率分配：定义各序列中一图象帧的复杂度测度，为该序列前一相同帧类型图象帧的生成码字与其各宏块平均量化参数的乘积，对超帧按照其合成复杂度占当前超图象组的比率进行码率分配，其间假设未编码超帧内各图象帧的复杂度与相应序列前一相同帧类型图象帧相同；

4)对超帧中各并行图象帧进行码率分配：根据变换编码率失真统计模型，基于已编码图象帧的平均量化参数和生成码字，计算当前编码图象帧的平均象素比特数，对各图象帧按照其平均象素比特数与图象分辨率的乘积比重进行码率分配；

5)设置码率分配的上、下门限值，当计算出的码率超出该上、下门限时，均按门限值计；

6)在宏块层，按照TM5方法中根据虚拟缓冲区充溢度进行宏块码率控制、针对宏块复杂度进行自适应量化调整。