CN100387063C - 可伸缩视频编码中的三维码率控制方法 - Google Patents

Abstract

本发明公开了可伸缩视频编码中的高性能三维码率控制方法，该方法以三维码率控制技术为核心，提供能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端的多样性的高性能时域，空域，质量可伸缩(Scalability)的嵌入式视频码流。通过“三维码率控制”技术，生成嵌入式的视频码流，在时间，空间，质量上可伸缩，可根据用户视频接收终端的多样性和网络带宽进行截断，同时保证质量最好。本发明是一种高性能时间，空间，质量可伸缩视频流的三维码流控制设计方案，通过结合三维小波变换以及熵编码技术，实现高可伸缩性的视频编解码，能满足异构网络下，不同带宽不同终端用户的需求。

Description

可伸缩视频编码中的三维码率控制方法

技术领域

本发明属于信息技术领域，具体涉及到可伸缩视频编解码体系结构中的高性能三维(时间分辨率，空间分辨率，质量)码率控制方法。

背景技术

相对于传统分块DCT技术以及运动补偿DPCM闭环架构的数字视频编解码体系(H.26x和MPEG系列)，基于三维小波核的视频编码体系结构为自适应的空域、时域以及质量可伸缩性提供了可能。为了能够更好的适应视频传输网络的异构性(Heterogeneous)，网络带宽的波动性以及用户视频接收终端的多样性，就必须以嵌入式的方式来组织编码后的视频码流，并根据具体的视频传输网络结构，网络带宽，以及用户视频接收终端的需求来对嵌入式码流进行截取，同时保证提取后的编码文件经解码后得到的视频流质量最优。然而目前的大部分码流组织方式只是支持了帧内编码码流的嵌入式，而没有考虑帧间编码码流的嵌入式组织，故在对整个视频码流进行截取时只能保证帧内码率的局部最优分配，却无法保证对整个视频码流进行全局最优的码率分配。

发明内容

根据上述背景技术中存在的缺陷和不足，本发明的目的在于，提供能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端多样性的高性能三维(时域，空域，质量)码率控制方法。

为了实现上述任务，本发明采取如下的具体解决方案：

一种可伸缩视频编码中的高性能三维码率控制方法，包括对嵌入式视频码流的组织及相应的码率截取，其特征在于，具体包括下列步骤：

1)三维可伸缩(Scalability)嵌入式视频码流的组织

(1)对一个包含N帧图像的帧组，首先对每一帧做空域小波变换，然后对每两个相邻帧在最小空间分辨率上进行可变块大小运动估计，得到最小空间分辨率下的运动矢量树，较高空间分辨率下的运动矢量树由低空间分辨率下的运动矢量树预测和细化估计得到；

(2)在全空间分辨率下的运动矢量方向上对每两个相邻原始帧做时域小波变换，得到时域高频帧和时域低频帧；

(3)然后再将所有得到的时域低频帧作为一个新的帧组重复上述步骤(1)和步骤(2)操作，最终将整个帧组分成不同的时间分辨率；

(4)对运动矢量树进行广度优先编码，得到支持不同空间分辨率和质量层的帧间编码码流，随下面步骤(5)操作中相应的时域高频帧的帧内编码码流一起打包；

(5)各级时域高低频帧进行空域小波变换，采用EBCOT算法对空域小波变换后的系数进行编码和码流组织，生成支持不同空间分辨率和质量层的帧内编码码流；

(6)按照时间分辨率，空间分辨率，质量层从低到高的顺序对整个帧组码流(包括帧间编码码流和帧内编码码流)进行打包整理，得到三维嵌入式视频编码码流；

2)嵌入式视频码流的三维码率截取

(1)根据用户视频接收终端的需求来对视频码流，包括帧内编码码流和帧间编码码流进行空间分辨率的截取；

(2)根据当前的带宽计算出当前含N帧图像的一个帧组可传送的最大码流长度；

(3)在各个时间分辨率之间，根据其码流的原始长度按比例进行分配，在每一个时间分辨率内的各帧之间，平均分配码流；

(4)根据分配给每一帧的码流长度对帧间和帧内编码码流按质量层截取，但必须至少满足分配给每个帧内编码码流和帧间编码码流的长度足够传送其最低质量层，否则，将丢掉最高时间分辨率；

重复上述步骤2)中的步骤(3)、步骤(4)的过程，直到各个时间分辨率的下的帧均能保证至少传输最低质量层的码流为止。

本发明是一种具有高性能时域，空域，质量可伸缩性的视频流三维码率控制方法，通过结合三维小波变换和熵编码技术，实现高可伸缩性的视频编解码，能满足异构网络下，不同带宽不同终端用户的需求。

附图说明

图1是本发明实施例：三维小波滤波实现空间，时间分级的结构示意图。

图2是本发明实施例：帧内编码的过程及帧内编码码流组织方式示意图。

图3是本发明实施例：帧间编码的过程及帧间编码码流组织方式示意图。

图4是本发明一个实施例：层渐进的运动矢量树编码示意图。

图5是本实施例根据网络带宽及用户视频接收终端分辨率的要求对无损的视频压缩码流进行时间，空间，质量的截取的示意图。

下面结合附图和实施例对本发明进一步详细说明。

具体实施方式

按照本发明的技术方案，本发明通过“三维码率控制”技术，生成嵌入式的视频码流，在时间，空间，质量上可伸缩。从而可根据用户视频接收终端的多样性和网络带宽对编码码流进行截取，同时保证截取后的码流解码质量最优。

所述“三维码率控制”技术是，首先，通过运动估计和3级时域小波变换在时间轴上将一个GOP(帧组，含N帧图像)分解为4个时间分辨率级。由于更高级(4级以上)的时域小波变换的对象帧之间时域距离增大，相关性显著下降，效果欠佳，故不采用。分解后的结果LLL时间分辨率级含N/8帧，LLH时间分辨率级含N/8帧，LH时间分辨率级含N/4帧，H时间分辨率级含N/2帧。其次，对每个时间分辨率级包含的各帧图像进行帧内编码。帧内编码首先对帧图像做空域小波分解，图像经过小波变换之后可以划分为LL，HL，LH和HH四个子带，其中LL可以进一步分解。假设需要对图像进行n级空域小波变换，那么每做一次小波分解，都会得到一个新的图像分辨率，记为L_i(i＝0，1，2…)。最小的LL子带对应最低分辨率L₀，第k次小波变换生成的HL，LH和HH子带合在一起对应空间分辨率L_n-k+1。之后所有的压缩编码都将在子带内部进行，各个子带在处理过程中完全独立。子带可以被进一步划分为更小的矩形，称为码块(Code Block)。码块大小可取为8×8～64×64。各码块之间的编码操作完全独立。每个码块分为从高到低的二值图像，称之为位平面，每个位平面又分成3个通道。码块编码时以通道作为基本单元，进行上下文预测和算术编码。每个通道编码后记录其码流长度和失真减少量。将码块B_i的第n_i个通道编码后的码流长度记为R_i ⁿ，失真减少量记为ΔD_i ⁿ _i，该通道所对应的R-D斜率 $S_i^{n_i}=\mathrm{\Δ}{D}_i^{n_i}/\mathrm{\Δ}{R}_i^{n_i}$ ，根据各通道的R-D斜率可得到整个码流的R-D斜率曲线。每个码块在进行编码之后都将生成各自的嵌入式码流，最后组织在一起形成最终的图像帧压缩码流，它显然具有空间分辨率可伸缩性。整幅图像所对应的压缩数据长度和质量失真度应满足：

$R=\mathrm{\Σ}{R}_i^{n_i}$

$D=\mathrm{\Σ}{D}_i^{n_i}$

对于用户给定的期望压缩率R_max，需要解决的问题是如何选取码块各自的截断位置n_i，使得在R≤R_max的条件下，质量失真度D达到或接近最小。基于拉格朗日乘子(Lagrange Multiplier)法，该问题的求解等价于寻找一个参量λ，使得在满足约束条件R≤R_max的条件下，让下述和式达到极小值。

$M=\underset{i}{\mathrm{\Σ}}(R_i^{n_i}\left(\mathrm{\λ}\right)-\mathrm{\λ}{D}_i^{n_i}\left(\mathrm{\λ}\right))$

这个极值问题可转化为对每个码块B单独求解(R_i ⁿ _i(λ)-λD_i ⁿ _i(λ))。对每一特定λ寻找截断点n_i，使n_i成为满足 $\mathrm{\Δ}{D}_i^{n_i}/\mathrm{\Δ}{R}_i^{n_i}>{\mathrm{\λ}}^{-1}$ 的最大截断点。由此可见，λ代表图像质量，通过选取不同的参数λ可以获得不同的码块截断位置，事实上实现了质量分层。如果用户对分层没有要求，而只规定了数据长度上限R_max，那么经过搜索，总能找到合适的λ_opt，使得在R尽可能接近R_max的情况下，M达到最小。此时各码块B_i所对应的截断位置n_i为最佳截断位置。通过质量层概念的引入，码流也具有质量可伸缩性。再次，对运动估计得到的运动矢量进行编码，得到帧间编码码流。通过以下方法使帧间编码码流具有空间和质量可伸缩性：对输入的原始视频帧作空间小波分解后，对最小的分辨率作可变块大小运动估计，然后以低分辨率下每个块的运动矢量的二倍(运动矢量在x，y方向的分量值均乘以2)作为较高分辨率中对应块的运动矢量的初始值，在此基础上继续在周围区域遍历搜索以得到最优匹配的细化运动矢量。此过程反复执行直到原始空间分辨率为止，最终得到对应于不同空间分辨率的运动矢量树。编码时首先对最小空间分辨率运动矢量树按照块尺寸从大到小的顺序(即层渐进的方式)编码，然后再按空间分辨率从小到大的顺序依次对各个较高空间分辨率的细化运动矢量树按照块尺寸从大到小的顺序(即层渐进的方式)进行编码。这样形成的帧间编码码流就具备了空间和质量的可伸缩性。

根据用户需求和网络带宽对按上述方式组织得到的嵌入式码流进行码率截取的步骤如下：<1>根据用户视频接收终端的需求来对视频码流(包括帧内编码码流和帧间编码码流)进行空间分辨率的截取，<2>根据当前的带宽计算出当前GOP可传送的最大码流长度，<3>在各个时间分辨率之间，根据其码流的原始长度按比例进行分配，在每一个时间分辨率内的各帧之间，平均分配码流。<4>根据分配给每一帧的码流长度对帧间和帧内编码码流按质量层截取，但必须至少满足分配给每个帧内编码码流和帧间编码码流的长度足够传送其最低质量层，否则，将丢掉最高时间分辨率。重复上述<3><4>的过程，直到各个时间分辨率的下的帧均能保证至少传输最低质量层的码流为止。这样就保证了传输的码流均能正确解码并观看，同时保证尽可能地少丢帧，以避免观看时的停顿现象。

以下是发明人给出的实施例，但本发明不限于这个实施例。

参见附图，图1中给出了本实施例中对原视频中的一个GOP(含8帧)做三维小波变换(时域3级小波分解，空域2级小波分解)后的时间空间分级的结构示意图。经过三维滤波后得到4个时间分辨率级，为LLL，LLH，LH，H，分别含有1帧，1帧，2帧和4帧数据。每一帧数据又分为3个空间分辨率级。

图2中给出了帧内编码的过程及帧内编码码流的组织方式。其中图a为一帧图像做完两级空域小波分解之后的结果，共三个空间分辨率级，七个子带。子带又划分成码块，码块再划分成位平面，如图b所示。对每个位平面进行Z字形列扫描，如图c所示。扫描的结果将位平面分为三个通道，如图d所示。对每个通道分别进行上下文编码和算术编码。对每个通道n_i记录其码流长度为ΔR_i ⁿ _i，失真度减少量为ΔD_i ⁿ _i。码块编码完毕后就可以根据各个通道的码流长度和失真度减少量画出R-D曲线，如图e所示。设定不同的质量层，即不同的目标码率R_max，经过搜索，总能找到相应的λ值，使得在每个码块的R-D曲线上找到满足 $\mathrm{\&Delta;}{D}_i^{n_i}/\mathrm{\&Delta;}{R}_i^{n_i}>{\mathrm{\&lambda;}}^{-1}$ 的最大截断点(即通道结束点)，使得在尽可能接近R_max同时又不大于R_max的情况下，

达到最小。帧内编码码流的组织方式如图f所示，先按分辨率从小到大的顺序组织码流，在每个分辨率内部再按照质量层递增的顺序组织码流。

在图3中，给出了帧间编码的过程及帧间编码码流组织方式。图a为不同空间分辨率下运动矢量预测示意图。左图为低一级空间分辨率下对一个4×4码块做运动估计后得到的运动矢量(x，y)，如箭头方向所示。右图是根据该运动矢量值对高一级空间分辨率下的对应位置码块(8×8)做运动估计的示意图。首先将该8×8码块的运动矢量初值设定为(2x，2y)，找到其初始的匹配块，然后在这个匹配块的8邻域范围内搜索最佳匹配块。又由于采用了可变块大小的运动估计算法，故最终可以得到分别对应于三个空间分辨率的三棵运动矢量树，其中最低分辨率下的运动矢量树用原始的运动矢量值表示，较高分辨率下的运动矢量值用其与低分辨率下的运动矢量值的差来表示。在每棵运动矢量树内从上到下运动估计的块大小递减，精度递增，如图b所示。对每棵运动矢量树采取广度优先的方式进行编码，按照由第一层到第五层的顺序进行，每一层编码后的码流对应于一定的质量层。编码后的码流称之为帧间编码码流，其组织方式如图c所示。

在图4中，给出了整个视频码流的组织方式。整个视频流文件由一个视频头包(包括整个视频流文件的全局信息)和若干GOP包组成。每个GOP包又由GOP包头和四个时间分辨率包(LLL，LLH，LH，H)组成，每个时间分辨率又含有时间分辨率包头以及若干帧包，每个帧包又包含帧头，帧内编码码流和帧间编码码流(其中第一帧只含有帧内编码码流)，帧内编码码流和帧间编码码流分别又分为不同的空间分辨率包和质量层包。这样的码流组织方式使得我们可以根据用户的要求及网路带宽对码流进行实时的截取。

在图5中，给出了本实施例根据网络带宽及用户视频接收终端分辨率的要求对无损的视频压缩码流进行时间，空间，质量的截取的示意图。图a为一个GOP(含8帧)经过3级时域滤波，2级空域滤波，然后进行无损编码后得到的码流，共有4个时间分辨率包：LLL，LLH，LH，H，分别含有1帧，1帧，2帧和4帧。截取码流时首先根据用户视频接收终端的分辨率来对帧内编码码流和帧间编码码流进行空间截取，丢掉不需要的空间分辨率包，如图c，d所示。<1>然后根据当前的网络带宽，帧率，以及当前GOP的帧数计算出能够分配给当前GOP的带宽有多少字节，用这个字节数减去包头信息以及帧间编码码流的长度，剩余的字节需要在各个时间分辨率以及各帧之间进行分配。<2>在各时间分辨率包之间的分配是按照其原始的码流长度比进行的，即如果现在的带宽可以传输原始码流的60％，则截取每个时间分辨率包的60％的码流进行传输，如图a所示，截取后的码流如图b所示；<3>在每个时间分辨率包内的各帧之间的分配是采取平均的策略。分配之后判断分给每帧的码流长度是否足够传输其最低质量层的码流，如果够，则按此方法分配码率，否则丢掉一个时间分辨率包的数据。重复上述<1><2><3>过程，直至分给每帧的码流长度足够传输其最低质量层的码流。这样就保证了根据网络带宽对码流进行精确截取，截取后的码流能够正确解码并播放，且尽量少丢帧，避免观看时的停顿现象，使解码码流播放效果达到或接近最优。

Claims (1)

1.一种可伸缩视频编码中的三维码率控制方法，包括对嵌入式视频码流的组织及相应的码率截取，其特征在于，具体包括下列步骤：

1)三维可伸缩嵌入式视频码流的组织

(1)对一个包含N帧图像的帧组，首先对每一帧做空域小波变换，然后对每两个相邻帧在最小空间分辨率上进行可变块大小运动估计，得到最小空间分辨率下的运动矢量树，较高空间分辨率下的运动矢量树由低空间分辨率下的运动矢量树预测和细化估计得到；

(2)在全空间分辨率下的运动矢量方向上对每两个相邻原始帧做时域小波变换，得到时域高频帧和时域低频帧；

(3)然后再将所有得到的时域低频帧作为一个新的帧组重复上述步骤(1)和步骤(2)的操作，最终将整个帧组分成不同的时间分辨率；

(4)对运动矢量树进行广度优先编码，得到支持不同空间分辨率和质量层的帧间编码码流，该帧间编码码流随下面步骤(5)操作中相应的时域高频帧的帧内编码码流一起打包；

(5)各级时域高低频帧进行空域小波变换，采用EBCOT算法对空域小波变换后的系数进行编码和码流组织，生成支持不同空间分辨率和质量层的帧内编码码流；

(6)按照时间分辨率，空间分辨率，质量层从低到高的顺序对帧间编码码流和帧内编码码流进行打包整理，得到三维嵌入式视频编码码流；

2)嵌入式视频码流的三维码率截取

(1)根据用户视频接收终端的需求来对视频码流，包括帧内编码码流和帧间编码码流进行空间分辨率的截取；

(2)根据当前的带宽计算出当前含N帧图像的一个帧组可传送的最大码流长度；

(3)在各个时间分辨率之间，根据其码流的原始长度按比例进行分配，在每一个时间分辨率内的各帧之间，平均分配码流；

(4)根据分配给每一帧的码流长度对帧间和帧内编码码流按质量层截取，但必须至少满足分配给每个帧内编码码流和帧间编码码流的长度足够传送其最低质量层，否则，将丢掉最高时间分辨率；

重复上述步骤2)中的步骤(3)、步骤(4)的过程，直到各个时间分辨率的下的帧均能保证至少传输最低质量层的码流为止。

Images