CN102186084B - 一种可伸缩视频编码svc的空间增强层码率控制实现方法 - Google Patents

Abstract

本发明公开了一种可伸缩视频编码的空间增强层码率控制实现方法，包括以下步骤：自适应对第一个编码的I、P、B帧设定初始量化参数QP值；根据实际编码比特数计算各帧的编码复杂度以及各帧的MAD值；编码完一个图像组GOP之后，根据整个GOP的实际编码比特数和各帧的编码复杂度及各帧所处的时间等级和空间等级，计算该时空等级上图像帧所占的权重；对关键帧，利用分配的比特数和二次R-D模型，计算量化参数，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP。本发明可伸缩视频编码的空间增强层码率控制实现方法可以实现可伸缩视频编码的空域增强层的码率控制，弥补其只有基本层码率控制的缺陷。

Description

一种可伸缩视频编码SVC的空间增强层码率控制实现方法

技术领域

本发明涉及视频编码，具体涉及一种可伸缩视频编码SVC的空间增强层码率控制实现方法。

背景技术

可伸缩视频编码SVC(Scalable Video Coding)是联合视频组JVT组织开发的作为H.264/AVC标准的扩展标准。在SVC下，一段视频序列可以编码成一个基本层和多个增强层，基本层具有最低视频质量，增强层可以改善基本层质量。随着视频编码标准的发展，码率控制作为其中的重要技术也得到了广泛的发展，码率控制技术是视频通信系统应用中必不可少的部分，它能保证视频数据在信道内传输时充分利用带宽。码率控制的目的就是使码率满足信道和存储媒体要求并尽可能地提高视频质量。根据编码协议的不同经典码率控制算法有H.261中的RM8码率控制算法、MPEG-2中的TM5码率控制算法、MPEG-4中的VM8码率控制算法、H.263中的TMN8码率控制算法、基于ρ-domain模型的码率控制算法以及H.264中采用的码率控制算法。其中，TM5算法是早期的研究成果，TMN8、VM8、H.264中采用的码率控制算法均采用率失真模型，ρ-domain的码率控制算法则是采用通过比较分析图像压缩前后的信息最后得到的模型。目前上述的各个算法无法应用于可伸缩视频编码SVC技术中，使得现有的SVC编码器没有实现空域增强层码率控制的。

发明内容

本发明需解决的问题是提供一种编码效率高、空域增强层的码率可控的可伸缩视频编码SVC的空间增强层码率控制实现方法。

为了实现上述目的，本发明设计出一种可伸缩视频编码SVC的空间增强层码率控制实现方法，包括如下步骤：

S1，自适应对第一个编码的I、P、B帧设定初始量化参数QP值；

S2，编码图像帧，根据实际编码比特数计算各帧的编码复杂度以及各帧的MAD值；

S3，编码完一个图像组GOP之后，根据整个GOP的实际编码比特数和各帧的编码复杂度及各帧所处的时间等级和空间等级，计算该时空等级上图像帧所占的权重；

S4，判断是否编码完一个GOP，如果编完，跳到S3，否则跳到S2；

S5，根据已编码GOP的各时空等级上实际编码比特数计算该时空等级上的平均编码比特数，并预测下一GOP中相同时空等级上的权重值；

S6，对上一GOP的实际权重值和预测的下一GOP的预测权重值进行加权求和，得到下一GOP的各时空等级权重值；

S7，根据各时空等级权重值对相应时空等级上的编码帧进行比特分配，并用MAD比例值进行微调；

S8，对关键帧，利用分配的比特数和二次R-D模型，计算量化参数，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP，跳到S2。

上述步骤S2中，已编码帧的编码复杂度由公式(一)

XF_complexity(i，k，l)＝Q_step(i，k，l)·Bits(i，k，l)，i＝1，2，3，...，得到，已编码各帧的MAD比例由公式(二) $\mathrm{MADRatio}=\frac{\mathrm{MAD}\left(i\right)}{\underset{j}{\overset{i-1}{\mathrm{\Σ}}}\frac{\mathrm{MAD}\left(j\right)}{i-j}}$ 得到。

上述步骤S3中，某一特定时空等级上图像帧所占的权重可由公式(三)

$\widetilde{\mathrm{\λ}}(i,k,l)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\frac{\mathrm{GOPBits}(i-1)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到。

上述步骤S4中，已编码GOP的各时空等级上实际编码比特数计算该时空等级上的平均编码比特数，由公式(四) $\stackrel{-}{\mathrm{\λ}}(i,k,l)=\frac{\stackrel{-}{\mathrm{\λ}}(i-1,k,l)\·(i-2)+\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}}{i-1}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到；并根据公式(四)预测下一GOP中相同时空等级上的权重值，由公式(五) ${\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)=a\·\stackrel{-}{\mathrm{\λ}}(i,k,l)+(1-a)\·\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到；其中KLBits(i-1，k，l)表示当前GOP中时域等级为k，空域等级为l的时空等级上所有帧的实际编码比特数，a为固定权重值。

上述步骤S5中，对上一GOP的实际权重值和预测的下一GOP的预测权重值进行加权求和，得到下一GOP的各时空等级权重值，由公式(六) $\mathrm{\λ}(i,k,l)=b\·\widetilde{\mathrm{\λ}}(i,k,l)+(1-b)\·{\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)$ 得到，其中b也为固定权重值。

上述步骤S6中，根据公式(七)

其中S_i(j)为当前缓冲区充盈程度，V_i(j)为虚拟缓冲区，对各时空等级上的编码帧进行初次比特分配，考虑上一GOP的实际编码状态，再次为待编码帧分配比特，由公式(八) ${\hat{T}}_i\left(j\right)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\mathrm{GOPBits}(i-1)$ 得到，最终的比特分配为两者的加权和，由公式(九)得到，最后再根据MADRatio进行微调。

上述步骤S7中，对关键帧，利用分配的比特数和二次R-D模型，计算QP，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP，由公式(十)QP＝max(QP(i-1)，QP(i))+HL-TL得到，其中QP(i-1)，QP(i)分别为最近的两个关键帧的QP，HL为最大的时域等级，TL为当前帧所属的时域等级。

本发明可伸缩视频编码SVC的空间增强层码率控制实现方法宏观上采用按照等级权重的方式进行比特分配，微观上结合已编码帧的MAD(MeanAbsolute Difference)值对比特分配进行微调的方法，在当前的可伸缩视频编码SVC的编码器，仅实现了基本层的码率控制，对增强层都没有实现其码率控制，尽管其中的“FixedQPEncoder”工具能达到指定的码率，但是由于迭代地调用编码过程耗费了大量的时间，不适合实际应用，本发明的克服SVC编码器没有实现空域增强层码率控制的不足，提供一种编码效率高的空域增强层的码率控制方法。

附图说明：

图1是本发明可伸缩视频编码SVC的空间增强层码率控制实现方法的量化参数QP更新流程图；

图2是本发明可伸缩视频编码SVC的空间增强层码率控制实现方法的码率控制流程图。

具体实施方式

为了便于本领域技术人员的理解，下面将结合具体实施例及附图对本发明的结构原理作进一步的详细描述：

如图1、图2所示，设计一种可伸缩视频编码SVC的空间增强层码率控制实现方法，该方法包括如下步骤：S1：根据Bpp(Bit Per Pixel)值自适应对第一个编码的I、P、B帧设定初始量化参数QP值；

Bpp由目标码率R，图像帧率F，图像尺寸Weight、Height以及采样格式所决定。由Bpp值决定第一个I帧的量化参数QP，第一个P帧和第一个B帧的QP则为I帧的QP加1得到。

S2：编码图像帧，根据实际编码比特数计算各帧的编码复杂度以及已编码各帧的MAD比例；

已编码帧的编码复杂度由公式(一)得到，已编码各帧的MAD比例由公式(二)得到。

XF_complexity(i，k，l)＝Q_step(i，k，l)·Bits(i，k，l)，i＝1，2，3，...，(一)

$\mathrm{MADRatio}=\frac{\mathrm{MAD}\left(i\right)}{\underset{j}{\overset{i-1}{\mathrm{\Σ}}}\frac{\mathrm{MAD}\left(j\right)}{i-j}}$            (二)

其中Q_step(i，k)为编码该帧的量化步长，Bits(i，k)为编码该帧的实际编码比特数，MAD(i)表示第i帧的MAD值。

S3：在一个图像组(GOP)编码完之后，可以得到整个GOP的实际编码比特数GOPBits(i-1)，各帧的编码复杂度以及整个GOP内所有帧的编码复杂度之和，所以某一特定时空等级上图像帧所占的权重可由公式(三)得到。

$\widetilde{\mathrm{\λ}}(i,k,l)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\frac{\mathrm{GOPBits}(i-1)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$      (三)

其中SLMax，

分别表示空域和时域的最大等级，N(k，l)表示属于该时空等级的所有帧数。

S4：判断是否编码完一个GOP，如果编完，跳到S3，否则跳到S2

S5：根据已编码GOP的各时空等级上实际编码比特数计算该时空等级上的平均编码比特数，如公式(四)所示，并根据公式(四)预测下一GOP中相同时空等级上的权重值，如公式(五)；

$\stackrel{-}{\mathrm{\λ}}(i,k,l)=\frac{\stackrel{-}{\mathrm{\λ}}(i-1,k,l)\·(i-2)+\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}}{i-1}{\·\left(\frac{R}{F}\right)}^{-1}$     (四)

${\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)=a\·\stackrel{-}{\mathrm{\λ}}(i,k,l)+(1-a)\·\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$     (五)

其中KLBits(i-1，k，l)表示当前GOP中时域等级为k，空域等级为l的时空等级上所有帧的实际编码比特数，a为固定权重值。

S6：对上一GOP的实际权重值和预测的下一GOP的预测权重值进行加权求和，得到下一GOP的各时空等级权重值，如公式(六)

$\mathrm{\λ}(i,k,l)=b\·\widetilde{\mathrm{\λ}}(i,k,l)+(1-b)\·{\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)$     (六)

其中b也为固定权重值。

S7：根据公式(七)对各时空等级上的编码帧进行初次比特分配，考虑上一GOP的实际编码状态，再次为待编码帧分配比特，如公式(八)计算，最终的比特分配为两者的加权和，如公式(九)，最后再根据MADRatio进行微调。

${\tilde{T}}_i\left(j\right)=\mathrm{\λ}(i,k,l)\·\frac{R}{F}+\mathrm{\γ}\·(S_i\left(j\right)-V_i\left(j\right))$       (七)

其中S_i(j)为当前缓冲区充盈程度，V_i(j)为虚拟缓冲区。

${\hat{T}}_i\left(j\right)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\mathrm{GOPBits}(i-1)$      (八)

$T_i\left(j\right)=\mathrm{\β}\·{\hat{T}}_i\left(j\right)+(1-\mathrm{\β})\·{\tilde{T}}_i\left(j\right)$              (九)

S8：对关键帧，利用分配的比特数和二次R-D模型，计算QP，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP，如式(十)，跳到S2；

QP＝max(QP(i-1)，QP(i))+HL-TL              (十)

其中QP(i-1)，QP(i)分别为最近的两个关键帧的QP，HL为最大的时域等级，TL为当前帧所属的时域等级。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变，均被认为属于本发明的权力要求的保护范围。

Claims (7)

1.一种可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是，包括如下步骤：

S1，自适应对第一个编码的I、P、B帧设定初始量化参数QP值；

S2，编码图像帧，根据实际编码比特数计算各帧的编码复杂度以及各帧的MAD值；

S3，编码完一个图像组GOP之后，根据整个GOP的实际编码比特数和各帧的编码复杂度及各帧所处的时间等级和空间等级，计算该时空等级上图像帧所占的权重；

S4，判断是否编码完一个GOP，如果编完，跳到S3，否则跳到S2；

S5，根据已编码GOP的各时空等级上实际编码比特数计算该时空等级上的平均编码比特数，并预测下一GOP中相同时空等级上的权重值；

S6，对上一GOP的实际权重值和预测的下一GOP的预测权重值进行加权求和，得到下一GOP的各时空等级权重值；

S7，根据各时空等级权重值对相应时空等级上的编码帧进行比特分配，并用MAD比例值进行微调；

S8，对关键帧，利用分配的比特数和二次R-D模型，计算量化参数，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP，跳到S2。

2.根据权利要求1所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S2中，已编码帧的编码复杂度由公式(一)XF_complexity(i，k，l)＝Q_step(i，k，l)·Bits(i，k，l)，i＝1，2，3，...，k表示时域层级；1表示空域层级；i表示为当前编码的为第i个GOP得到，已编码各帧的MAD比例由公式(二)得到，中Q_step(i，k)为编码该帧的量化步长，Bits(i，k)为编码该帧的实际编码比特数，MAD(i)表示第i帧的MAD值。

3.根据权利要求2所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S3中，某一特定时空等级上图像帧所占的权重可由公式(三)

$\widetilde{\mathrm{\λ}}(i,k,l)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\frac{\mathrm{GOPBits}(i-1)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到，SLMax表示最大的空间层级；TLMax表示最大的时间层级；N(k，1)表示属于第k个时域层、第1个空域层的总帧数；GOPBits(i-1)表示前一个GOP编码的总比特数；R表示目标比特率；F表示帧率。

4.根据权利要求3所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S4中，已编码GOP的各时空等级上实际编码比特数计算该时空等级上的平均编码比特数，由公式(四) $\stackrel{-}{\mathrm{\λ}}(i,k,l)=\frac{\stackrel{-}{\mathrm{\λ}}(i-1,k,l)\·(i-2)+\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}}{i-1}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到；并根据公式(四)预测下一GOP中相同时空等级上的权重值，由公式(五) ${\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)=a\·\stackrel{-}{\mathrm{\λ}}(i,k,l)+(1-a)\·\frac{\mathrm{KLBits}(i-1,k,l)}{N(k,l)}\·{\left(\frac{R}{F}\right)}^{-1}$ 得到；

其中a为固定权重值；其中KLBits(i-1，k，l)表示当前GOP中时域等级为k，空域等级为l的时空等级上所有帧的实际编码比特数，a为固定权重值。

5.根据权利要求4所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S5中，对上一GOP的实际权重值和预测的下一GOP的预测权重值进行加权求和，得到下一GOP的各时空等级权重值，由公式(六) $\mathrm{\λ}(i,k,l)=b\·\widetilde{\mathrm{\λ}}(i,k,l)+(1-b)\·{\mathrm{\λ}}_{\mathrm{estimate}}(i,k,l)$ 得到，其中b也为固定权重值。

6.根据权利要求5所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S6中，根据公式(七) ${\tilde{T}}_i\left(j\right)=\mathrm{\λ}(i,k,l)\·\frac{R}{F}+\mathrm{\γ}\·(S_i\left(j\right)-V_i\left(j\right)),$ 其中S_i(j)为当前缓冲区充盈程度，V_i(j)为虚拟缓冲区，对各时空等级上的编码帧进行初次比特分配，考虑上一GOP的实际编码状态，再次为待编码帧分配比特，由公式(八) ${\hat{T}}_i\left(j\right)=\frac{{\mathrm{XF}}_{\mathrm{complexity}}(i-1,k,l)}{\underset{n=0}{\overset{\mathrm{SLMax}}{\mathrm{\Σ}}}\underset{m=0}{\overset{\mathrm{TLMax}}{\mathrm{\Σ}}}X{F}_{\mathrm{complexity}}(i-1,m,n)}\·\mathrm{GOPBits}(i-1)$ 得到，最终的比特分配为两者的加权和，由公式(九)

得到，最后再根据MADRatio进行微调。

7.根据权利要求6所述的可伸缩视频编码SVC的空间增强层码率控制实现方法，其特征是：上述步骤S7中，对关键帧，利用分配的比特数和二次R-D模型，计算QP，进行编码，对非关键帧，由离此非关键帧最近的两个关键帧的QP及其所属的时域等级决定其QP，由公式(十)QP＝max(QP(i-1)，QP(i))+HL-TL得到，其中QP(i-1)，QP(i)分别为最近的两个关键帧的QP，HL为最大的时域等级，TL为当前帧所属的时域等级。

Images