CN102595115B - 一种中粒度质量可伸缩视频编码优化方法、装置及信息终端 - Google Patents

Abstract

本发明适用于多媒体信息领域，提供了一种中粒度质量可伸缩视频编码优化方法、装置及信息终端，所述方法包括下述步骤：定义片层重要性权重矢量，计算各片层所占质量增强层的质量百分比；根据所述片层所占质量增强层的质量百分比与其编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型；根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率；根据估计的视频频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。本发明通过贪婪算法优化中粒度质量可伸缩视频编码方案，可有效解决有限带宽和视频质量的平衡问题，提高图像解码的质量。

Description

一种中粒度质量可伸缩视频编码优化方法、装置及信息终端

技术领域

本发明属于多媒体信息领域，尤其涉及一种中粒度质量可伸缩视频编码优化方法、装置及信息终端。

背景技术

可伸缩视频编码（Scalable Video Coding,SVC）着重于通过分层技术来改善流媒体传输的服务质量，提高系统的容错性能和对网络的自适应能力。视频编码的可伸缩性分为空间可伸缩、时间可伸缩和质量可伸缩。其中，质量可伸缩主要分为粗粒度质量可伸缩(Coarse Grain Scalability,CGS)、中粒度质量可伸缩(Medium Grain Scalability,MGS)以及细粒度(Fine Grain Scalability,FGS)质量可伸缩。相比CGS而言，MGS提供更高的灵活性。而且MGS编码能够在显著降低计算复杂度的情况下提供与FGS相似的率失真结果，因此成为目前主要使用的视频编码技术。

编码优化作为视频编码的关键环节，一直是视频编码技术研究的热点。视频编码优化问题常与码率控制紧密相关，目的在于在特定的带宽码率条件下寻找合适的量化参数和编码方式使得编码性能得到优化，而码率控制有效与否很大程度上取决于率失真模型(R-D Model)的准确性及码率控制算法的适应力。传统针对特定码率的编码优化无法解决实际区域网络带宽的浮动变化和多用户访问所具有不同带宽条件情况下的编码优化问题，而MGS现有的模式是随机分配片层方式，由于每个片层对视频质量的影响不同，片层所占用的带宽不同，不能有效解决有限带宽、视频质量和实时性直接访问的平衡问题，尤其是当流媒体资源数量达到海量级，而处理速度要求最大限度利用网络的时候。

发明内容

本发明实施例的目的在于提供一种中粒度质量可伸缩视频编码优化方法，旨在解决有限带宽、视频质量和实时性直接访问的平衡问题。

本发明实施例是这样实现的，一种中粒度质量可伸缩视频编码优化方法，所述方法包括下述步骤：

A：定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16，根据下列公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\Σ}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\Σ}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i重构像素，respixel表示重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR表示片层数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征；

B：通过计算得到的片层所占质量增强层的质量百分比与其编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型R_MGS=RT×R+b，其中R_MGS为质量增强层在MGS编码模式下的码率，R为质量增强层在CGS编码模式下的码率，RT为MGS片层率失真系数，b为常数；

C：根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型；

D：根据估计的视频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。

本发明实施例的另一目的在于提供一种中粒度质量可伸缩视频编码优化装置，所述装置包括：

重要性计算单元，用于定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16，根据下列公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\&Sigma;}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\&Sigma;}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i重构像素，respixel表示重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR表示片层数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征；

模型构造单元，用于通过计算得到的片层所占质量增强层的质量百分比与其编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型R_MGS=RT×R+b，其中R_MGS为质量增强层在MGS编码模式下的码率，R为质量增强层在CGS编码模式下的码率，RT为MGS片层率失真系数，b为常数；

视频流码率估计单元，用于根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型；

码率控制优化单元，用于根据估计的视频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。

本发明实施例的另一目的在于提供一种包含上述中粒度质量可伸缩视频编码优化装置的信息终端。

在本发明实施例中，通过计算中粒度质量可伸缩片层数据的重要性，根据不同帧类型和片层数据重要性建立不同的率失真模型，最后基于贪婪算法确定中粒度质量可伸缩的片层优化分配方案，以较低的计算复杂度实现了中粒度质量可伸缩编码的优化，可有效解决有限带宽、视频质量和实时性直接访问的平衡问题，并通过实验结果证明该方法在相同码率下能显著地提高解码图像的质量，平均峰值信噪比可提高0.5db。

附图说明

图1是本发明实施例一提供的中粒度质量可伸缩视频编码优化方法的实现流程图；

图2是本发明实施例一提供的估计视频流码率的具体流程图；

图3是本发明实施例一提供的IPPP编码模式视频流码率估计步骤示意图；

图4是本发明实施例一提供的IBBP/IBPB编码模式视频流码率估计步骤示意图；

图5是本发明实施例一提供的通过贪婪算法获取目标码率区间内码率控制优化解的具体流程图；

图6是本发明实施例二提供的中粒度质量可伸缩视频编码优化装置的结构框图；

图7是本发明实施例三提供的编码方案优化的实验研究平台示意图；

图8是本发明实施例三提供的编码方案优化前后Foreman视频码流质量比较实验图；

图9是本发明实施例三提供的编码方案优化前后Bus视频码流质量比较实验图；

图10是本发明实施例三提供的编码方案优化前后编码时间比较实验图；

图11是本发明实施例一提供的片层所占质量百分比与码率关系曲线示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过计算中粒度质量可伸缩片层数据的重要性，根据不同帧类型和片层数据重要性建立不同的率失真模型，最后基于贪婪算法确定中粒度质量可伸缩的片层优化分配方案，以较低的计算复杂度实现了中粒度质量可伸缩编码的优化，可有效解决有限带宽、视频质量和实时性直接访问的平衡问题，并通过实验结果表明该方法在相同码率下显著地提高解码图像的质量，平均峰值信噪比可提高0.5db。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的中粒度质量可伸缩视频编码优化方法的实现流程，该方法过程详述如下：

在步骤S101中，定义片层重要性权重矢量,计算各片层所占质量增强层的质量百分比。

作为本发明的一个实施例，在MGS编码中，每个子块数据单元中的16个系数是4×4子块数据通过整数变换后得到的，因此各系数的重要性不相同。根据片层所包括的系数个数，定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16。根据公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比（即各片层数据重要性）k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\&Sigma;}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\&Sigma;}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i的重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR_i表示片层i数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征。

在步骤S102中，通过计算得到的片层所占质量增强层的质量百分比与所述片层编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型。

在本实施例中，中粒度质量可伸缩(MGS)可以通过变换所包含的16个系数的不同分配方式分成1到16个片层，从而形成1到16个MGS片层。而不同的系数分配方式以及编码的MGS片层的个数会导致编码比特数的不同，因此，通过计算得到片层占质量增强层的质量百分比与预编码过程中获得所述片层编码实际所需要的比特数，建立码率—质量百分比(R-RT)关系曲线，构造MGS片层率失真模型。通过测试结果统计，I、P、B帧类型中质量增强层MGS片层所占质量百分比与编码所需要的码率符合线性方程（如图11所示），三者相关性都很高，与实际产生的码率十分匹配，表明可以用简单的线性曲线拟合。因此对I、P、B帧分别建立如（4）所示的线性的中粒度质量可伸缩片层率失真模型以进行码率估计：

R_MGS=RT×R+b       （4）

其中，R为质量增强层为CGS编码模式下的码率，RT为MGS片层率失真系数，b为常数。

在步骤S103中，根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型。

在本实施例中，视频流码率估计的具体流程如图2所示：

在步骤S201中，获取基本层的码率R_B及各I、P帧基本层的平均绝对误差(Mean Absolute Distortion，MAD)，初始化I、P、B帧率失真模型参数，所述平均绝对误差为当前质量增强层的重构图像与前一帧重构图像的平均绝对差；

在本实施例中，通过线性回归对各I、P帧基本层区域单元初始化预设的二次率失真模型（如下列公式（5）所示）参数c₁和c₂以及初始化B帧中各区域单元的基本层和增强层预设的线性率失真模型（如下列公式（5）所示）参数c_b、c_e。

$\left\{\begin{array}{c}{R}_{\mathrm{IP}}=(\frac{c_1}{\mathrm{QP}}+\frac{c_2}{{\mathrm{QP}}^2})\&times;\mathrm{MAD}\\ R_B=\frac{c}{\mathrm{QP}}\&times;\mathrm{MAD}\end{array}\right.---\left(5\right)$

在步骤S202中，根据初始化的I、P、B帧率失真模型参数，确定比例参数并构建平均绝对误差预测模型，通过线性回归方法初始化平均绝对误差预测模型参数；

在本实施例中，对I、P帧构造平均绝对误差空间域预测模型关系，对B帧构造平均绝对误差时间域预测模型关系。

在步骤S203中，初始化构造的中粒度质量可伸缩片层率失真模型参数，确定所述中粒度质量可伸缩片层率失真模型；

在步骤S204中，根据上述步骤，得到视频流码率估计表达式，估计视频流码率。

在可伸缩视频编码中，通常可以采用IPPP编码模式和IBBP/IBPB两类编码模式。因此，下面分别对IPPP编码模式（如图3）和IBBP/IBPB编码模式（如图4）下视频流码率估计的过程进行描述：

A.IPPP模式

步骤1：首先对视频帧的基本层进行编码，获取基本层的码率R_B及各I、P帧基本层的MAD（MAD为当前质量增强层的重构图像与前一帧重构图像的平均绝对差），通过线性回归对各I,P帧基本层区域单元初始化二次率失真模型参数c₁和c₂；

步骤2：根据获取的基本层编码的相关参数信息，对I,P帧进行预编码；

在本实施例中，预编码过程主要包括：

1.质量增强层采取CGS编码方式，初始化各区域单元基本层和增强层中率失真模型参数c₁、c₂、c₃和c₄并确定比例参数k、p使得k=c₃/c₁、_p=c₄/c₂。对I,P帧构造MAD空间域预测模型关系：MAD_ei=m×MAD_bi+n，MAD_ep=g×MAD_bp+h，初始化参数m,n和g,h。其中MAD_bi和MAD_bp为I,P帧基本层MAD，MAD_ei和MAD_ep为I,P帧增强层MAD。

2.I、P帧MGS预编码，初始化线性模型，确定MGS率失真模型参数RT和b。

3.根据编码参数获取I,P帧增强层编码数分别为u和v，视频流码率R_IP估计表达式如公式(6)所示：

$\begin{array}{c}{R}_{\mathrm{IP}}=R_B+R_E=R_B+\underset{u}{\mathrm{\&Sigma;}}[{\mathrm{RT}}_i\&times;\underset{d}{\mathrm{\&Sigma;}}(\frac{k_d^i{c}_{1d}^i}{{\mathrm{QP}}_e}+\frac{p_d^i{c}_{2d}^i}{{\mathrm{QP}}_e^2})\&times;{\mathrm{MAD}}_{\mathrm{eid}}]\\ +\underset{v}{\mathrm{\&Sigma;}}[{\mathrm{RT}}_p\&times;\underset{q}{\mathrm{\&Sigma;}}(\frac{k_q^p{c}_{1q}^p}{{\mathrm{QP}}_e}+\frac{p_q^p{c}_{2q}^p}{{\mathrm{QP}}_e^2})\&times;{\mathrm{MAD}}_{\mathrm{epq}}]+b\end{array}---\left(6\right)$

其中，R_B为基本层码率，QP_b和QPe分别为基本层和增强层的量化参数，RT_i和RT_p分别为I,P帧的MGS率失真模型系数，b为常系数，d、q分别为I、P帧所分的区域单元个数。

步骤3：根据估计得到的视频流码率R_IP，通过贪婪算法获取MGS编码优化方案，对视频流质量增强层部分进行编码。

B.IBBP/IBPB模式

IBBP/IBPB编码模式与IPPP编码模式关键区别在于需要对视频流层级B帧的码率进行估计，其中，对于I、P帧视频流码率估计和编码优化与IPPP编码模式的估计方法类似，层级B帧GOP预编码过程主要包括：

步骤1：进行GOP预编码过程中增强层首先同样采取CGS编码方式，初始化各级B帧中各区域单元的基本层和增强层率失真模型参数c_b、c_e。

步骤2：MAD_b≈(1/2ⁿ)×MAD_bp-last，MAD_e≈(1/2ⁿ)×MAD_ep-last，其中n为时间等级，MAD_bp-last为对应GOP中相邻P帧基本层MAD，MAD_ep-last为对应GOP中相邻P帧增强层MAD。

步骤3：B帧MGS预编码，初始化线性模型，确定B帧系数参数RT_b和b_b。

步骤4：根据编码参数获取I和P帧编码数分别为u和v，设存在时间等级为1的B帧质量等级为0编码数y，存在质量增强层的帧编码数为h。则IBBP/IBPB编码模式的视频流码率R_IPB估计表达式如公式(7)如下：

$\begin{array}{c}{R}_{\mathrm{IPB}}=R_{\mathrm{IP}}+R_{\mathrm{Bbase}}+R_{\mathrm{Benh}}=R_{\mathrm{IP}}+\\ \underset{y}{\mathrm{\&Sigma;}}[\underset{s}{\mathrm{\&Sigma;}}\frac{c_s^b}{{\mathrm{QP}}_b}\&times;{\mathrm{MAD}}_b]+\underset{h}{\mathrm{\&Sigma;}}[{\mathrm{RT}}_b\&times;\underset{s}{\mathrm{\&Sigma;}}\frac{c_s^e}{{\mathrm{QP}}_e}\&times;{\mathrm{MAD}}_e]+b\end{array}---\left(7\right)$

其中R_IP为视频流I,P帧码率大小，QP_b为基本层量化参数，b为常系数，s为B帧所分的区域单元个数。

在步骤S104中，根据估计的视频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。

在本实施中，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解的具体步骤如图5所示：

在步骤S501中，将MGS编码码率编码至最高码率，即：R_MGS=R_top，然后设置码流提取的优化目标，即：MAX(R_bit)，sb.R_bottom≤R_bit=bitextract(R_MGS)≤R_top其中，R_MGS为MGS编码码率，R_top为目标带宽码率上限，MAX(R_bit)为对R_MGS进行码流抽取使得R_bit处于目标带宽码率区间，并使得存在抽取码率个数最大。

在本实施例中，目标带宽码率上限R_top为700K，目标带宽码率区间为450K-700K。

在步骤S502中，根据预编码过程估计得到CGS编码方式的视频流码率，判断所述视频流码率是否小于最小目标带宽码率下限，如果判断结果为“是”，则执行步骤S503，如果判断结果为“否”，则执行步骤S504。

在步骤S503中，采用CGS分片方式编码。

在步骤S504中，在预编码估计过程中分别计算得到I,P帧的RT_i及RT_p，使得R(Q=0)加上R(I,P Q≠0)等于目标带宽码率下限，得到重要MGS片层数据编码方式。

在步骤S505中，将剩余的MGS片层合并，估计当前MGS片层数据编码方式的码率。

在步骤S506中，判断所述码率是否低于目标带宽码率上限，如果结果为“否”，则结束，如果结果为“是”，则执行步骤S507。

在步骤S507中，将剩余合并的MGS按片层数据重要性顺序分解，分解完后若码率仍未达到目标带宽码率上限，按片层数据重要性对MGS重要片层进行分解，直到所述码率达到目标带宽码率上限。

在本实施例中，目标带宽码率下限为450K，目标带宽码率上限为700K。本实施例根据各片层数据重要性，将初始的16片层划分为重要的MGS片层和剩余的MGS片层。对未达到目标码率上限的剩余的MGS片层按重要性顺序进行分解，若分解后的片层仍未达到目标带宽上限，则对重要的MGS片层按重要性顺序进行分解，直到满足达到目标带宽上限要求。

实施例二：

图6示出了本发明实施例二提供的中粒度质量可伸缩视频编码优化装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该中粒度质量可伸缩视频编码优化装置可以用于各种具备视频播放的信息终端，例如3G手机、口袋计算机（Pocket Personal Computer，PPC）、掌上电脑、高清DVD、笔记本电脑等，可以是运行于这些信息终端内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到这些信息终端中。

该中粒度质量可伸缩视频编码优化装置包括重要性计算单元61、模型构造单元62、视频流码率估计单元63和码率控制优化单元64。其中，各单元的具体功能如下：

重要性计算单元61，用于定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16，根据下列公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\&Sigma;}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\&Sigma;}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i的重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR表示片层数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征。

模型构造单元62，用于通过计算得到的片层所占质量增强层的质量百分比与其编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型。

视频流码率估计单元63，用于根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型。其中，视频流码率估计单元63还包括参数初始化模块631、预测模型构建模块632、率失真模型确定模块633和视频流码率估计模块634。各模块具体功能如下：

参数初始化模块631，用于获取基本层的码率R_B及各I、P帧基本层的平均绝对误差，初始化I、P、B帧率失真模型参数，所述平均绝对误差为当前质量增强层的重构图像与前一帧重构图像的平均绝对差；

预测模型构建模块632，用于根据初始化的I、P、B帧率失真模型参数，确定比例参数并构建平均绝对误差预测模型，通过线性回归方法初始化平均绝对误差预测模型参数；

率失真模型确定模块633，用于初始化所述构造的中粒度质量可伸缩片层率失真模型参数，确定所述中粒度质量可伸缩片层率失真模型；

流码率估计模块634，用于确定视频流码率估计表达式，根据所述视频流码率估计表达式估计视频流码率。

作为本发明的一个实施例，根据上述模块确定视频流码率估计表达式，根据所述视频流码率估计表达式估计视频流码率。在可伸缩视频编码中，通常可以采用IPPP编码模式和IBBP/IBPB两类编码模式。通过IPPP编码模式和IBBP/IBPB编码模式进行视频流码率估计的具体过程如上所述，在此不再赘述。

码率控制优化单元64，用于根据估计的视频频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。其中，码率控制优化单元64还包括优化目标设置模块641、第一判断模块642、编码模块643、编码方式获取模块644、码率估计模块645、第二判断模块646以及分解模块647。各模块具体功能如下：

优化目标设置模块641，用于将MGS编码码率编码至最高码率，即：R_MGS=R_top，然后设置码流提取的优化目标，即：MAX(R_bit)，sb.R_bottom≤R_bit=bitextract(R_MGS)≤R_top其中，R_MGS为MGS编码码率，R_top为目标带宽码率上限，MAX(R_bit)为对R_MGS进行码流抽取使得R_bit处于目标带宽码率区间，并使得存在抽取码率个数最大；

第一判断模块642，用于根据预编码过程估计得到CGS编码方式的视频流码率，判断所述视频流码率是否小于最小目标带宽码率下限。如果判断结果为“是”，则编码模块643采用CGS分片方式编码；如果判断结果为“否”，则编码方式获取模块644在预编码估计过程中分别计算得到I,P帧的RT_i及RT_p，使得R(Q=0)加上R(I,P Q≠0)等于目标带宽码率下限，得到重要MGS片层数据编码方式；

码率估计模块645，用于将剩余的MGS片层合并，估计当前MGS片层数据编码方式的码率；

第二判断模块646，用于判断所述码率是否低于目标带宽码率上限，如果结果为“否”，则结束，如果结果为“是”，则分解模块647，用于将剩余合并的MGS按片层数据重要性顺序分解，分解完后若码率仍未达到目标带宽码率上限，按片层数据重要性对MGS重要片层进行分解，直到所述码率达到目标带宽码率上限。

在本实施例中，目标带宽码率上限R_top为700K，目标带宽码率区间为450K-700K。

实施例三：

图7示出了本发明实施例三提供的编码方案优化的实验研究平台，本实验采用ITU的视频质量专家组（VQEG）提供的标准测试序列作为数据源，在ITU-T标准提案ITU-T VCEG P206d0中定义了通用的SVC（参考软件为JSVM9.18）测试环境，在模拟测试平台MobileIP上进行实验研究,实验平台及流程如图7所示。H.264码流的编码和结构分析采用Tektronix公司的压缩视频测试系统MTS4EA,可以实时对图像数据进行逐帧逐块分析,给出全面的语义跟踪文件,确定编码器的逐块判决,并生成统计分析数据。

视频质量评价可以归结为视频每帧图像质量的评价,将源视频图像作为参考来度量解码后视频图像与失真程度，利用解码视频与原视频每帧图像PSNR的期望值来评价视频质量。

实验1测试MGS编码方案优化前后Foreman序列的视频解码质量对比

实验条件：采用Foreman序列，序列采用QCIF视频格式，帧率为15f/s，GOPSize为8，目标码率范围为500K-650K。基本层量化参数为40，增强层量化参数为30。MGS片层的初始设置为[1314223]，优化后MGS的片层分配方案更新为[5344]。采用率失真优化码流抽取方式进行目标码率提取。编码方案优化前后Foreman视频码流质量比较结果如图8所示，通过图8可以看出，编码方案优化后的Foreman视频码流质量明显高于编码方案优化前的Foreman视频码流质量。

实验2测试MGS编码方案优化前后Bus序列的视频解码质量对比

实验条件：采用Bus序列，序列采用CIF视频格式,帧率为15f/s，GOPSize为8,目标码率范围为1650K-1900K。基本层量化参数为35，增强层量化参数为25。MGS片层的初始设置为[2 6 3 5]，优化后MGS的片层分配方案更新为[8 1 3 4]。采用率失真优化码流抽取方式进行目标码率提取。编码方案优化前后Bus视频码流质量比较结果如图9所示，通过图9可以看出，编码方案优化后的Bus视频码流质量明显高于编码方案优化前的Bus视频码流质量。

分析图8和图9的数据表明根据目标带宽范围所进行的编码优化，能够有效提高编码序列质量。根据不同的测试序列以及初始编码方案，由图所示可达约0.5dB增益提高。

实验3编码时间复杂度分析及测试

较传统编码方式，本实验增加了预编码过程，通过预编码过程来确定合理的编码方式。而预编码过程中主要包括了码率估计和贪婪算法在编码优化中的应用两个步骤。在预编码中，由于只需要对数个IP帧或一个GOP的图像帧进行预编码，因此在进行数十帧或更长的视频编码时，对编码时间影响很小。图10为对两者的时间测试比较：

实验条件：采用Bus序列，序列采用CIF视频格式,帧率为15f/s，GOPSize为8，Intra Period为16。目标码率范围为1650K-1900K。基本层量化参数为35，增强层量化参数为25。MGS片层的初始设置为[2 6 3 5]，优化后MGS的片层分配方案更新为[8 1 3 4]，编码帧数分别为64和128帧。

由图10可以看出，码率控制优化后的编码时间比传统编码方式时间增长不多，特别是在编码帧数多的情况下，两者编码时间差距较整体编码时间比例更小。

在本发明实施例中，通过计算中粒度质量可伸缩片层数据的重要性，根据不同帧类型和片层数据重要性建立不同的率失真模型，最后基于贪婪算法确定中粒度质量可伸缩的片层优化分配方案，以较低的计算复杂度实现了中粒度质量可伸缩编码的优化，可有效解决有限带宽、视频质量和实时性直接访问的平衡问题，并通过实验结果证明该方法在相同码率下能显著地提高解码图像的质量，平均峰值信噪比可提高0.5db。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种中粒度质量可伸缩视频编码优化方法，其特征在于，所述方法包括下述步骤：

A：定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16，根据下列公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\&Sigma;}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\&Sigma;}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i重构像素，respixel表示重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR表示片层数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征；

B：根据计算得到的片层所占质量增强层的质量百分比与所述片层编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型R_MGS=RT×R+b，其中R_MGS为质量增强层在MGS编码模式下的码率，R为质量增强层在CGS编码模式下的码率，RT为MGS片层率失真系数，b为常数；

C：根据构造的中粒度质量可伸缩片层率失真模型及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型；

D：根据估计的视频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。

2.如权利要求1所述的方法，其特征在于，所述步骤C具体为：

C1：获取基本层的码率及各I、P帧基本层的平均绝对误差，初始化I、P、B帧率失真模型参数，所述平均绝对误差为当前质量增强层的重构图像与前一帧重构图像的平均绝对差；

C2：根据初始化的I、P、B帧率失真模型参数，确定比例参数并构建平均绝对误差预测模型，通过线性回归方法初始化平均绝对误差预测模型参数；

C3：初始化所述构造的中粒度质量可伸缩片层率失真模型参数，确定所述中粒度质量可伸缩片层率失真模型；

C4：根据步骤C1、C2、C3，得到视频流码率估计表达式，估计视频流码率。

3.如权利要求1所述的方法，其特征在于，所述步骤D具体为：

D1：将中粒度质量可伸缩编码码率编码至最高码率,设置码流提取的优化目标；

D2：根据预编码过程估计得到粗粒度质量可伸缩编码方式的视频流码率，判断所述视频流码率是否小于最小目标带宽码率下限；

D3：在所述视频流码率小于最小目标带宽码率下限，采用粗粒度质量可伸缩分片方式编码；

D4：在所述视频流码率大于或者等于最小目标带宽码率下限，获取重要中粒度质量可伸缩片层数据编码方式；

D5：将剩余的中粒度质量可伸缩片层合并，估计当前中粒度质量可伸缩片层数据编码方式的码率；

D6：判断所述估计的当前中粒度质量可伸缩片层数据编码方式的码率是否低于目标带宽码率上限；

D7：在所述估计的当前中粒度质量可伸缩片层数据编码方式的码率低于目标带宽码率上限时，按片层数据重要性对中粒度质量可伸缩重要片层进行分解，直到所述码率达到目标带宽码率上限。

4.如权利要求3所述的方法，其特征在于，所述目标带宽码率下限为450K，目标带宽码率上限为700K。

5.一种中粒度质量可伸缩视频编码优化装置，其特征在于，所述装置包括：

重要性计算单元，用于定义片层重要性权重矢量K=[k1，k2，……ki],i=1,2,3……16，根据下列公式（1）、（2）和（3）计算各片层所占质量增强层的质量百分比k1，k2，……ki；

$\left\{\begin{array}{c}{\mathrm{PSNR}}_i=101g\left[\frac{{255}^2}{{\mathrm{MSE}}_i}\right]\\ {\mathrm{MSE}}_i=\frac{\mathrm{\&Sigma;}{({\mathrm{respixel}}_i-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}\mathrm{PSNR}=101g\left[\frac{{255}^2}{\mathrm{MSE}}\right]\\ \mathrm{MSE}=\frac{\mathrm{\&Sigma;}{(\mathrm{respixel}-\mathrm{orgpixel})}^2}{\mathrm{Imagesize}}\end{array}\right.---\left(2\right)$

$\begin{array}{cc}{k}_i=\frac{\mathrm{PSNR}-{\mathrm{PSNR}}_i}{\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{PSNR}-{\mathrm{PSNR}}_i)}& 0\&le;n<16---\left(3\right)\end{array}$

其中，respixel_i表示片层i重构像素，respixel表示重构像素，orgpixel表示原始像素，Imagesize表示图像大小，PSNR表示片层数据未丢失的重构图像质量表征，PSNR_i表示丢弃了片层i数据后重构图像质量表征；

模型构造单元，用于通过计算得到的片层所占质量增强层的质量百分比与所述片层编码实际所需要的比特数，建立码率与所述质量百分比关系曲线，构造中粒度质量可伸缩片层率失真模型R_MGS=RT×R+b，其中R_MGS为质量增强层在MGS编码模式下的码率，R为质量增强层在CGS编码模式下的码率，RT为MGS片层率失真系数，b为常数；

视频流码率估计单元，用于根据构造的中粒度质量可伸缩片层率失真模型，及预设的I、P、B帧率失真模型，估计视频流码率，所述I、P、B帧率失真模型包括I、P帧二次率失真模型和B帧线性的率失真模型；

码率控制优化单元，用于根据估计的视频流码率，通过贪婪算法获取中粒度质量可伸缩编码目标码率区间内码率控制的优化解。

6.如权利要求5所述的装置，其特征在于，所述流码率估计单元还包括：

参数初始化模块，用于获取基本层的码率及各I、P帧基本层的平均绝对误差，初始化I、P、B帧率失真模型参数，所述平均绝对误差为当前质量增强层的重构图像与前一帧重构图像的平均绝对差；

预测模型构建模块，用于根据初始化的I、P、B帧率失真模型参数，确定比例参数并构建平均绝对误差预测模型，通过线性回归方法初始化平均绝对误差预测模型参数；

率失真模型确定模块，用于初始化所述构造的中粒度质量可伸缩片层率失真模型参数，确定所述中粒度质量可伸缩片层率失真模型；

视频流码率估计模块，用于确定视频流码率估计表达式，根据所述视频流码率估计表达式估计视频流码率。

7.如权利要求5所述的装置，其特征在于，所述码率控制优化单元还包括：

优化目标设置模块，用于将中粒度质量可伸缩编码码率编码至最高码率,设置码流提取的优化目标；

第一判断模块，用于根据预编码过程估计得到粗粒度质量可伸缩编码方式的视频流码率，判断所述视频流码率是否小于最小目标带宽码率下限；

编码模块，用于在所述视频流码率小于最小目标带宽码率下限，采用粗粒度质量可伸缩分片方式编码；

编码方式获取模块，用于在所述视频流码率大于或者等于最小目标带宽码率下限，获取重要中粒度质量可伸缩片层数据编码方式；

码率估计模块，用于将剩余的中粒度质量可伸缩片层合并，估计当前中粒度质量可伸缩片层数据编码方式的码率；

第二判断模块，用于判断所述估计的当前中粒度质量可伸缩片层数据编码方式的码率是否低于目标带宽码率上限；

分解模块，用于在所述估计的当前中粒度质量可伸缩片层数据编码方式的码率低于目标带宽码率上限时，按片层数据重要性对中粒度质量可伸缩重要片层进行分解，直到所述码率达到目标带宽码率上限。

8.如权利要求7所述的装置，其特征在于，所述目标带宽码率下限为450K，目标带宽码率上限为700K。

9.一种包含权利要求5所述的中粒度质量可伸缩视频编码优化装置的信息终端。

Images