CN101547349A - 一种对视频信号的二次avs编码码率控制的方法 - Google Patents

Abstract

本发明公开了一种对视频信号的二次AVS编码码率控制的方法，优点在于结合分析AVS编码的重要特征，在初次编码中详细统计和记录视频信号的重要编码信息，更符合人眼系统的SSIM值；在数据处理过程中，根据前面的统计数据，分析每个场景、每个帧的复杂度等视频特性，在满足VBR码率和缓冲区下溢约束的前提下，将比特总数有效地重新调整和分配给每一帧；在第二次编码中，再根据R－D模型计算量化参数，并且对量化参数进行适当轻微的调整，本发明不仅能够保证总体比特数预算和缓冲区约束，而且能够获得SSIM和PSNR极小波动的恒定视频质量，是单次码率控制方法所不能及的，在视频存储应用领域，较好的解决了视频质量和总存储空间之间的矛盾。

Description

一种对视频信号的二次AVS编码码率控制的方法

技术领域

本发明涉及一种视频信号的码率控制方法，尤其是涉及一种对视频信号的二次AVS编码码率控制的方法。

背景技术

AVS(Audio Video coding Standard，数字音视频编解码技术标准)是中国第一个具有自主知识产权的第二代数字音视频编解码标准，全称是《信息技术先进音视频编码标准》，它的编码效率和竞争性与国际标准MPEG-4/H.264相当，代表了当前国际先进水平。

码率控制是视频编码的重要组成部分，特别是在视频传输、视频存储等应用领域中都起着极为突出的作用。码率控制直接影响着视频编码的性能，针对具体应用需求，开发适当的码率控制方法，是视频编码重要的研究方向。

码率控制根据输出码率特点，可以分为CBR(Constant Bit Rate，恒定码率)和VBR(Variable Bit Rate，可变码率)码率控制。在CBR码率控制方式下，不管视频复杂与否，码率总是保持不变，这样造成简单的场景图像质量较高，复杂的场景图像质量相对较低，整个视频质量波动较大。而在VBR码率控制方式下允许码率在一定范围内变化，简单的场景分配较少的比特数，节省下来的比特数分配给复杂度较高的场景，在一定程度上使视频前后质量波动较小。

码率控制根据编码次数，可以分为单次编码和多次编码码率控制。单次编码码率控制利用先前已编码图像的统计信息、预测当前编码图像的特性再结合缓冲器约束等因素来控制编码参数，单次编码码率控制主要用于实时编码系统，但由于未编码图像的复杂度特征具有不确定性，因此单次编码码率控制很难达到理想的效果。多次编码码率控制在无需实时的编码系统中有广泛应用，如DVD(Digital Video Disk，数字视频光盘)、VOD(Video On Demand，视频点播)存储等并不要求实时编码，只需在给定的最大存储空间内使视频质量达到最优。这样就允许首先对整个视频信号序列进行初次编码，然后对初次编码后的视频信号序列的各个图像的特征统计信息进行分析，再计算调整编码参数，使编码性能趋向最优，如果不考虑编码时间，可对一个视频信号序列进行多次编码，直到编码性能达到给定要求，只有进行多次编码码率控制，比特数分配才能更加合理，从而整个视频序列在编码后产生相对恒定的视频质量。以经典的二次编码码率控制方法为例：第一阶段，在第一次编码中，编码器采用CBR码率控制方式，在编码过程中保存采用CBR码率控制进行编码得到的图像特征数据；第二阶段，对第一次编码得到的图像特征数据进行分析处理，为第二次编码所用；第三阶段，编码器根据第二阶段分析得到的信息调整编码参数进行第二次编码，编码器采用VBR码率控制方式，基本原理如图1所示。但目前利用上述经典的二次编码码率控制方法，在AVS在视频存储中应用还没有记载。

发明内容

本发明所要解决的技术问题是提供一种不但能有效解决存储空间和视频质量之间的矛盾，而且能保证视频质量更加平缓的AVS二次编码码率控制方法。

本发明解决上述技术问题所采用的技术方案是：一种对视频信号的二次AVS编码码率控制的方法，整个处理过程包括第一次编码阶段、数据处理阶段和第二次编码阶段，在所述的第一次编码阶段中采用CBR码率控制AVS编码方式进行编码，在所述的第二次编码阶段采用VBR码率控制AVS编码方式进行编码，在所述的第一次编码阶段首先给每个图像组预分配目标比特数，然后计算每个图像组中各帧图像的量化参数，再根据各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值；在所述的数据处理阶段首先计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，根据前后两个P帧图像的实际消耗比特数与结构相似度值的比值判断是否发生场景切换，当发生场景切换时将后一个P帧图像所在的图像组的前部分图像并入前一个图像组中及将该P帧图像和该P帧图像所在的图像组的后部分图像并入下一个图像组中，然后计算重组图像组后视频信号中的各帧图像的复杂度、视频信号的总复杂度及各帧图像在第二次编码阶段中所需的目标比特数，再将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子，根据场景复杂度调整因子调整各帧图像在第二次编码阶段中所需的目标比特数，最后根据每个场景中的各帧图像移出之前的缓冲区状态和各帧图像在第二次编码阶段中所需的目标比特数，确定是否调整每个场景中的部分图像在第二次编码阶段中所需的目标比特数；在所述的第二次编码阶段判断进行第二次编码的当前图像是否为视频信号的第1帧图像或第2帧图像，如果是，则直接根据第一次编码后统计得到的当前图像的全局复杂度和当前图像在第二次编码阶段中所需的目标比特数，计算当前图像在第二次编码时所需的量化步长，将量化步长转换为量化参数，根据量化参数对当前图像进行第二次编码，否则，首先微调当前图像在第二次编码阶段中所需的目标比特数，然后根据第一次编码后统计得到的当前图像的全局复杂度和微调后的目标比特数，计算当前图像在第二次编码时所需的量化步长，再将量化步长转换为量化参数，并对量化参数进行修正，同时将量化参数限制在AVS量化参数极值范围内，最后根据量化参数对当前图像进行第二次编码。

具体包括以下步骤：

①-1、将输入的视频信号划分成多个图像组，每个图像组在AVS编码格式下包括I帧、P帧和B帧三种类型的图像，给每个图像组预分配目标比特数，记预分配给第i个图像组的目标比特数为T(i)， $T\left(i\right)=\frac{R}{F}\×N_{\mathrm{gop},i}+T_{\mathrm{remaning}}(i-1),$ 其中，R为目标码率，F为帧率，N_gop，i为第i个图像组所包含的图像的帧数，T_remaning(i-1)表示第i-1个图像组的剩余比特数，T_remaning(i-1)的值为第i-1个图像组的目标比特数T(i-1)与第i-1个图像组所包含的所有图像的实际消耗比特数和的差，T_remaning(0)＝0，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数；

①-2、计算每个图像组中各帧图像的量化参数，对于第i个图像组，定义第i个图像组为当前图像组，定义当前正在处理的第j帧图像为当前图像，当当前图像为I帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，该当前图像的量化参数值为当前图像组的前一个图像组所包含的所有图像的量化参数的平均值；当当前图像为P帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，首先计算该当前图像的目标比特数f(n_i，j)， $f\left(n_{i,j}\right)=\mathrm{\β}\×\hat{f}\left(n_{i,j}\right)+(1-\mathrm{\β})\×\tilde{f}\left(n_{i,j}\right),$ 其中，β＝0.5， $\tilde{f}\left(n_{i,j}\right)=\frac{R}{F},$ R为目标码率，F为帧率， $\hat{f}\left(n_{i,j}\right)=\frac{W_p\left(n_{i,j-1}\right)\×T_r\left(n_{i,j}\right)}{W_p\left(n_{i,j-1}\right)\×N_{p,r}(j-1)+W_b\left(n_{i,j-1}\right)\×N_{b,r}(j-1)},$ W_p(n_i，j-1)＝b(n_i，j-1)×QP(n_i，j-1)， $W_b\left(n_{i,j-1}\right)=\frac{b\left(n_{i,j-1}\right)\×\mathrm{QP}\left(n_{i,j-1}\right)}{1.3636},$ b(n_i，j-1)为当前图像组中的第j-1帧图像的实际消耗比特数，QP(n_i，j-1)为当前图像组中的第j-1帧图像的量化参数，T_r(n_i，j)为当前图像组的剩余可用比特数，N_p，r(j-1)为当前图像组中未编码的P帧图像的帧数，N_b，r(j-1)为当前图像组中未编码的B帧图像的帧数，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数，j∈[1，N_gop，i]，N_gop，i为当前图像组所包含的图像的帧数，然后计算当前图像的量化步长QPStep， $\mathrm{QPStep}=\frac{X}{f\left(n_{i,j}\right)},$ 其中，X为前一个P帧图像的全局复杂度，其值为前一个P帧图像的实际消耗比特数和前一个P帧图像的量化步长的乘积，再将计算得到的量化步长转换成量化参数；当当前图像为B帧图像时，利用线性插值方法计算当前图像的量化参数；

①-3、根据计算得到的每个图像组中各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，第一次编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值，对于视频信号中的第l帧图像，记第l帧图像的量化步长为Q_Step_l，记第l帧图像的实际消耗比特数为b_l，记第l帧图像的全局复杂度为X_l，记第l帧图像的结构相似度值为SSIM_l，根据各帧图像的结构相似度值计算所有图像的结构相似度值的平均值SSIM_ave， ${\mathrm{SSIM}}_{\mathrm{ave}}=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\Σ}}}{\mathrm{SSIM}}_l/\mathrm{Total}\_\mathrm{pic},$ 其中，l∈[1，Total_pic]，Total_pic表示视频信号所包含的图像的总帧数；

②-1、计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，对于第k个P帧图像，记该P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k，记该P帧图像的前一个P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k-1，判断ratio_k和ratio_k-1的商是否超出设定的阈值区间，如果是，则确定发生场景切换，并以该P帧图像为界将该P帧图像所在的图像组中的前部分图像并入该P帧图像所在的图像组的前一个图像组中，以及将该P帧图像和该P帧图像所在的图像组中的后部分图像并入该P帧图像所在的图像组的下一个图像组中，然后将该P帧图像的帧类型修改为I帧图像，再将下一个图像组中的I帧图像的帧类型修改为P帧图像；否则，确定未发生场景切换；

②-2、计算重组图像组后视频信号中的各帧图像的复杂度，对于视频信号中的第l帧图像，记该帧图像的复杂度为SSIM_X_l， $\mathrm{SSIM}\_X_l=K_l^T\×b_l\×Q\_{\mathrm{Step}}_l\×{\mathrm{SSIM}}_{\mathrm{ave}}/{\mathrm{SSIM}}_l,$ 其中，

为该帧图像的帧类型权重系数，b_l为第一次编码后统计的第l帧图像的实际消耗比特数，Q_Step_l是第一次编码后统计的第l帧图像的量化步长，SSIM_l为第一次编码后统计的第l帧图像的结构相似度值，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值；

②-3、计算视频信号的总复杂度TotalSSIM_X， $\mathrm{TotalSSIM}\_X=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\Σ}}}\mathrm{SSIM}\_X_l,$ 其中，Total_pic表示视频信号所包含图像的总帧数；然后计算各帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，记该帧图像在第二次编码阶段中所需的目标比特数为b_2，l， $b_{2,l}=b_{2,\mathrm{total}}\×\frac{\mathrm{SSIM}\_X_l}{\mathrm{TotalSSIM}\_X},$ 其中，b_2，total表示视频信号的总目标比特数；

②-4、将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子，对于第m个场景，记该场景的场景复杂度调整因子为μ_m， ${\mathrm{\&mu;}}_m=1-\frac{\mathrm{sign}({\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}})\sqrt{|{\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}}|}}{{\mathrm{SSIM}}_{\mathrm{ave}}},$ 其中，sign()为取正负号函数，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值，SSIM_ave，m为第m个场景中所有图像的结构相似度值的平均值；当μ_m<1时，将第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数乘以μ_m，对于视频信号中的第l帧图像，设该帧属于第m个场景，调整该帧图像在第二次编码阶段中所需的目标比特数，b_2，l＝b_2，l×μ_m，其中，式左边的b_2，l表示调整后的目标比特数，式右边的b_2，l表示调整前的目标比特数，然后将该帧图像节省的比特数b_2，l×(1-μ_m)累加到B_remaining，B_remaining＝B_remaining+b_2，l×(1-μ_m)，B_remaining的初始值为0；当μ_m>1时，计算SUM_μ，SUM_μ＝SUM_μ+μ_m×NUM_sence，m，其中，NUM_sence，m表示第m个场景所包含图像的帧数，SUM_μ的初始值为0；

②-5、在步骤②-4处理完成后再次遍历每个场景，判断μ_m是否大于1，如果μ_m>1，则修正第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，设该帧图像属于第m个场景，修正该帧图像在第二次编码阶段中所需的目标比特数， $b_{2,l}=b_{2,l}+\frac{{\mathrm{\&mu;}}_m\&times;B_{\mathrm{remaining}}}{{\mathrm{SUM}}_{\mathrm{\&mu;}}},$ 其中，式左边的b_2，l表示修正后的目标比特数，式右边的b_2，l表示修正前的目标比特数，μ_m为第m个场景的场景复杂度调整因子；

②-6、首先计算每个场景中的每帧图像的缓冲区溢出的比特数，对于第m个场景中的第q帧图像，判断B_m，q-B_guard-b_2，m，q是否小于0，如果B_m，q-B_guard-b_2，m，q小于0，则计算该帧图像缓冲区溢出的比特数OverB_m，q，OverB_m，q＝B_m，q-B_guard-b_2，m，q，并且更新p＝q以及对应的OverB_m，OverB_m＝OverB_m+OverB_m，q，其中，OverB_m的初始值为0，B_m，q表示第m个场景中的第q帧图像移出之前的缓冲区状态，

B_max为缓冲区的大小，

为第m-1个场景中的最后一帧图像移出之前的缓冲区状态，B_m，q-1表示第m个场景中的第q-1帧图像移出之前的缓冲区状态，R_max为传输带宽允许最大码率，F为帧率，B_guard为缓冲区保护值，B_guard＝0.2B_max，b_2，m，q为第m个场景中的第q帧图像在第二次编码阶段中所需的目标比特数；如果OverB_m小于零，然后修正第m-1个场景中所有图像和第m个场景中第1帧到第p帧图像在第二次编码阶段中所需的目标比特数，对于第m个场景中第1帧到第p帧图像中的第q帧图像，修正该图像在第二次编码阶段中所需的目标比特数，b_2，m，q＝b_2，m，q+OverB_m/(NUM_sence，m-1+p)，其中，式左边的b_2，m，q表示修正后的目标比特数，式右边的b_2，m，q表示修正前的目标比特数，OverB_m表示第m个场景中溢出的比特总数，OverB_m的初始值为0，NUM_sence，m-1表示第m-1个场景所包含图像的帧数，对于第m-1个场景中的NUM_sence，m-1帧图像，采用b_2，m-1，q＝b_2，m-1，q+OverB_m/(NUM_{sence，m-1+p})修正NUM_sence，m-1帧图像在第二次编码阶段中所需的目标比特数；如果第m个场景中的所有图像均没有发生缓冲区溢出，则在此步骤中对第m-1个场景中的所有图像和第m个场景中的所有图像在第二次编码阶段中所需的目标比特数不进行修正；

③-1、采用VBR码率控制AVS编码方式对经第一次编码后的视频信号的各帧图像进行第二次编码，对于需进行第二次编码的视频信号中的第l帧图像，定义第l帧图像为当前图像，判断当前图像是否为第1帧图像或第2帧图像，如果是，则根据第一次编码后统计得到的当前图像的全局复杂度Xl和当前图像在第二次编码阶段中所需的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}},$ 再将当前图像在第二次编码时所需的量化步长QStep_2，l转化成量化参数QP_2，l，其中，l∈[1，Total_pic′]，Total_pic′表示需进行第二次编码的视频信号所包含的图像的总帧数，Total_pic′＝Total_pic，然后转到步骤③-5并继续执行；否则，继续执行；

③-2、对当前图像在第二次编码阶段中所需的目标比特数b_2,l进行微调， $b_{2,l}=b_{2,l}/\sqrt[3]{({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})},$ 其中，式左边的b_2，l表示微调后的目标比特数，式右边的b_2，l表示微调前的目标比特数，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子，然后根据第一次编码后统计得到的当前图像的全局复杂度X_l和微调后的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}};$

③-3、判断

或者

是否成立，如果成立，通过 ${\mathrm{QStep}}_{2,l}=\frac{{\mathrm{QStep}}_{2,l}}{1-{\mathrm{\&eta;\&delta;}}_l}$ 调整当前图像在第二次编码时所需的量化步长，其中，式左边的QStep_2，l表示调整后的量化步长，式右边的QStep_2，l表示调整前的量化步长，η为一个乘法因子， $\mathrm{\&eta;}=\left\{\begin{array}{cc}1/2\&times;B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})<1\\ 4/B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})>1\end{array}\right.,$ B_max为缓冲区的大小，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子；

③-4、将当前图像在第二次编码时所需的量化步长QStep_2,l转化为量化参数QP_2，l，然后通过QP_2，l＝min{QP_2，l+3，max{QP_2，l-1-3，QP_2，l}}对当前图像在第二次编码时所需的量化参数进行修正，其中，式左边的QP_2，l表示修正后的量化参数，式右边的QP_2，l表示修正前的量化参数，QP_2，l-1为第l-1帧图像在第二次编码时所需的量化参数，再通过QP_2，l＝min{63，max{QP_2，l，1}}将修正后的量化参数限制在AVS量化参数极值范围内，其中，式左边的QP_2，l表示限制后的量化参数，式右边的QP_2，l表示限制前的量化参数；

③-5、利用当前图像的量化参数对当前图像进行第二次编码，然后计算当前图像的结构相似度值SSIM_2，l，再判断当前图像的帧类型是否为I帧图像，如果是，则当前图像的调整因为λ_l＝1，否则，当前图像的调整因子为λ_l＝sqrt(SSIM_2，l/SSIM_ave)，其中，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值；

③-6、计算δ_l＝δ_l-1+actual_bits_2，l-1-b_2，l-1，其中，δ₀＝0，actual_bits_2，l-1为第l-1帧图像第二次编码后的实际消耗比特数，b_2，l-1为第l-1帧图像在第二次编码阶段中所需的目标比特数。

所述的步骤①-2中的设定值为30。

所述的步骤①-2中利用线性插值方法计算当前图像的量化参数的具体过程为：a.记两个P帧图像之间的连续B帧图像的帧数为L，记前一个P帧图像的量化参数为QP₁，记后一个P帧图像的量化参数为QP₂；b.根据QP₁和QP₂，计算当前图像的量化参数，当L＝1时，当前图像的量化参数为 $Q{\tilde{B}}_j=\left\{\begin{array}{cc}\frac{{\mathrm{QP}}_1+{\mathrm{QP}}_2+2}{2}& {\mathrm{QP}}_1\&NotEqual;{\mathrm{QP}}_2\\ {\mathrm{QP}}_1+2& {\mathrm{QP}}_1={\mathrm{QP}}_2\end{array}\right.;$ 当L>1且当前图像为两个P帧图像之间的第s个B帧图像时，当前图像的量化参数为

$Q{\tilde{B}}_j={\mathrm{QP}}_1+\mathrm{\&alpha;}+\max \{\min \{\frac{({\mathrm{QP}}_2-{\mathrm{QP}}_1)}{L-1},2\&times;(s-1)\},-2\&times;(s-1)\},$ 其中，s∈[1，L]， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}-3& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&GreaterEqual;-2\&times;L-3\\ -2& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-2\\ -1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-1\\ 0& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L\\ 1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L+1\\ 2& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&le;-2\&times;L+2\end{array}\right..$

所述的步骤②-1中设定的阈值区间为[0.6，1.5]。

与现有技术相比，本发明的优点在于结合分析AVS编码的重要特征，在初次编码中详细统计和记录视频信号的重要编码信息如各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值，更符合人眼系统的SSIM值；在数据处理过程中，根据前面的统计数据，深入分析每个场景、每个帧的复杂度等视频特性，对整个视频信号序列有全体统筹的前提下，根据每一帧和每个场景的特性，在满足VBR码率和缓冲区下溢约束的前提下，将比特总数精确有效地重新调整和分配给每一帧；在第二次编码中，再根据已获知的R-D模型计算量化参数，然后精细效果，并且对量化参数进行适当轻微的调整，本发明不仅能够保证总体比特数预算和缓冲区约束，而且能够获得SSIM和PSNR极小波动的恒定视频质量，是单次码率控制方法所不能及的，在视频存储应用领域，较好的解决了视频质量和总存储空间之间的矛盾。

附图说明

图1为视频信号的二次编码码率控制的基本原理框图；

图2为本发明方法的初次CBR流程图；

图3为在初始目标码率为1Mbps时采用本发明方法与采用JVT-H017方法产生的PSNR统计曲线的统计比较图；

图4为在初始目标码率为1Mbps时采用本发明方法与采用JVT-H017方法产生的SSIM统计曲线的统计比较图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

图像质量评价方法可用来评价图像质量的好坏、码率控制方法的优劣，从而指导码率控制方法的发展，因此在图像处理领域，图像质量评价至关重要。

目前较常用的视频质量客观评价方法有均方误差(MSE，Mean Square Error)、峰值信噪比(PSNR，Peak Signal to Noise Ratio)或MSE的变形，这些方法计算简单，物理意义明确，但都没有充分考虑人眼视觉特性，以致造成客观评价结果与视觉效果不一致，因此研究基于人类视觉系统(HVS，Human Visual System)，且和主观评分相一致的视频质量客观评价方法，一直是研究追求的目标。

大量的事实证明，图像具有很强的结构特性，图像的结构携带了图像最主要的信息，人类视觉系统的主要功能是提取视觉区域的图像的结构性信息。在此理论基础上，ZhouWang等人在2004年提出了结构相似度(SSIM，Structural Similarity)图像质量评价方法，该方法将原始图像和失真的重构图像都分成重叠或不重叠的子块，计算重构图像中的子块和相应位置的原图图像中的子块的结构相似度，计算公式为：SSIM(x，y)＝[l(x，y)]^α·[c(x，y)]^β·[s(x，y)]^γ，其中，x和y表示参考图像和失真图像的子块；l(x，y)代表亮度比较，c(x，y)代表对比度比较，s(x，y)代表结构比较；其中 $l(x,y)=\frac{2{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y}{{\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2},$ $c(x,y)=\frac{2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2},$ $s(x,y)=\frac{{\mathrm{\&sigma;}}_{\mathrm{xy}}}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y},$ 其中 ${\mathrm{\&mu;}}_x=\stackrel{\&OverBar;}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i,$ ${\mathrm{\&mu;}}_y=\stackrel{\&OverBar;}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i,$ ${\mathrm{\&sigma;}}_x=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_i-\stackrel{\&OverBar;}{x})}^2,$ ${\mathrm{\&sigma;}}_y=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(y_i-\stackrel{\&OverBar;}{y})}^2,$ ${\mathrm{\&sigma;}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i-\stackrel{\&OverBar;}{y})(x_i-\stackrel{\&OverBar;}{x}),$ N为子块像素点的数目，参数α，β，γ均大于零，用来调整三个比较函数所占比重，在实际应用中参数α，β，γ的值可均取1。

整幅图像结构相似度定义为： $\mathrm{MSSIM}(X,Y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(x_j,y_j),$ 其中，X和Y表示参考图像和失真图像，M是图像分块的数目，x_j和y_j是对应的第j个子块图像。大量的实验证明SSIM优于PSNR，所以本发明方法采用了SSIM值来调整码率控制的相关参数。

本发明方法的整个处理过程包括第一次编码阶段、数据处理阶段和第二次编码阶段，在第一次编码阶段中采用CBR码率控制AVS编码方式进行编码，在第二次编码阶段采用VBR码率控制AVS编码方式进行编码。如图2所示，在第一次编码阶段首先给每个图像组预分配目标比特数，然后计算每个图像组中各帧图像的量化参数，再根据各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值，给预分配给各帧图像在第二次编码阶段中所需的目标比特数提供了可靠的依据。在数据处理阶段首先计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，根据前后两个P帧图像的实际消耗比特数与结构相似度值的比值可以精确的检测到视频信号中是否发生场景切换，当发生场景切换时将后一个P帧图像所在的图像组的前部分图像并入前一个图像组中及将该P帧图像和该P帧图像所在的图像组的后部分图像并入下一个图像组中，然后计算重组图像组后视频信号中的各帧图像的复杂度、视频信号的总复杂度及各帧图像在第二次编码阶段中所需的目标比特数，再将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子等视频特性，根据场景复杂度调整因子调整各帧图像在第二次编码阶段中所需的目标比特数，最后根据每个场景中的各帧图像移出之前的缓冲区状态和各帧图像在第二次编码阶段中所需的目标比特数，确定是否调整每个场景中的部分图像在第二次编码阶段中所需的目标比特数，即在满足VBR的码率和缓冲区下溢约束的前提下，将每帧图像在第二次编码阶段中所需的目标比特数精确有效地分配给每帧图像。在第二次编码阶段判断当前需进行第二次编码的当前图像是否为视频信号的第1帧图像或第2帧图像，如果是，则直接根据第一次编码后统计得到的当前图像的全局复杂度和当前图像在第二次编码阶段中所需的目标比特数，计算当前图像在第二次编码时所需的量化步长，将量化步长转换为量化参数，根据量化参数对当前图像进行第二次编码，否则，首先适当的微调当前图像在第二次编码阶段中所需的目标比特数，然后根据第一次编码后统计得到的当前图像的全局复杂度和微调后的目标比特数，计算当前图像在第二次编码时所需的量化步长，再将量化步长转换为量化参数，并对量化参数进行修正，同时将量化参数限制在AVS量化参数极值范围内，最后根据量化参数对当前图像进行第二次编码。

本发明方法包括以下具体步骤：

①-1、将输入的视频信号划分成多个图像组，每个图像组在AVS编码格式下包括I帧、P帧和B帧三种类型的图像，不管图像组的视频特性，给每个图像组预分配基本相同的目标比特数，记预分配给第i个图像组的目标比特数为T(i)， $T\left(i\right)=\frac{R}{F}\&times;N_{\mathrm{gop},i}+T_{\mathrm{remaning}}(i-1),$ 其中，R为目标码率，F为帧率，N_gop，i为第i个图像组所包含的图像的帧数，T_remaning(i-1)表示第i-1个图像组的剩余比特数，T_remaning(i-1)的值为第i-1个图像组的目标比特数T(i-1)与第i-1个图像组所包含的所有图像的实际消耗比特数和的差，T_remaning(0)＝0，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数。

①-2、计算每个图像组中各帧图像的量化参数，对于第i个图像组，定义第i个图像组为当前图像组，定义当前正在处理的第j帧图像为当前图像，当当前图像为I帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，该当前图像的量化参数值为当前图像组的前一个图像组所包含的所有图像的量化参数的平均值；当当前图像为P帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，首先计算该当前图像的目标比特数f(n_i，j)， $f\left(n_{i,j}\right)=\mathrm{\&beta;}\&times;\hat{f}\left(n_{i,j}\right)+(1-\mathrm{\&beta;})\&times;\tilde{f}\left(n_{i,j}\right),$ 其中，β＝0.5， $\tilde{f}\left(n_{i,j}\right)=\frac{R}{F},$ R为目标码率，F为帧率， $\hat{f}\left(n_{i,j}\right)=\frac{W_p\left(n_{i,j-1}\right)\&times;T_r\left(n_{i,j}\right)}{W_p\left(n_{i,j-1}\right)\&times;N_{p,r}(j-1)+W_b\left(n_{i,j-1}\right)\&times;N_{b,r}(j-1)},$ W_p(n_i，j-1)＝b(n_i，j-1)×QP(n_i，j-1)， $W_b\left(n_{i,j-1}\right)=\frac{b\left(n_{i,j-1}\right)\&times;\mathrm{QP}\left(n_{i,j-1}\right)}{1.3636},$ b(n_i，j-1)为当前图像组中的第j-1帧图像的实际消耗比特数，QP(n_i，j-1)为当前图像组中的第j-1帧图像的量化参数，T_r(n_i，j)为当前图像组的剩余可用比特数，N_p，r(j-1)为当前图像组中未编码的P帧图像的帧数，N_b，r(j-1)为当前图像组中未编码的B帧图像的帧数，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数，j∈[1，N_gop，i]，N_gop，i为当前图像组所包含的图像的帧数，然后计算当前图像的量化步长QPStep， $\mathrm{QPStep}=\frac{X}{f\left(n_{i,j}\right)},$ 其中，X为前一个P帧图像的全局复杂度，其值为前一个P帧图像的实际消耗比特数和前一个P帧图像的量化步长的乘积，再将计算得到的量化步长转换成量化参数；当当前图像为B帧图像时，利用线性插值方法计算当前图像的量化参数。

在此步骤中设定值的值取30，因为AVS标准中的量化参数的取值范围是1到63，在本实施例中取30，也可取其它值。

在此步骤中利用线性插值方法计算当前图像的量化参数的具体过程为：a.记两个P帧图像之间的连续B帧图像的帧数为L，记前一个P帧图像的量化参数为QP₁，记后一个P帧图像的量化参数为QP₂；b.根据QP₁和QP₂，计算当前图像的量化参数，当L＝1时，当前图像的量化参数为

$Q{\tilde{B}}_j=\left\{\begin{array}{cc}\frac{{\mathrm{QP}}_1+{\mathrm{QP}}_2+2}{2}& {\mathrm{QP}}_1\&NotEqual;{\mathrm{QP}}_2\\ {\mathrm{QP}}_1+2& {\mathrm{QP}}_1={\mathrm{QP}}_2\end{array}\right.;$ 当L>1且当前图像为两个P帧图像之间的第s个B帧图像时，当前图像的量化参数为

$Q{\tilde{B}}_j={\mathrm{QP}}_1+\mathrm{\&alpha;}+\max \{\min \{\frac{({\mathrm{QP}}_2-{\mathrm{QP}}_1)}{L-1},2\&times;(s-1)\},-2\&times;(s-1)\},$ 其中，s∈[1，L]， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}-3& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&GreaterEqual;-2\&times;L-3\\ -2& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-2\\ -1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-1\\ 0& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L\\ 1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L+1\\ 2& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&le;-2\&times;L+2\end{array}\right..$

①-3、根据计算得到的每个图像组中各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，第一次编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值，对于视频信号中的第l帧图像，记第l帧图像的量化步长为Q_Step_l，记第l帧图像的实际消耗比特数为b_l，记第l帧图像的全局复杂度为X_l，记第l帧图像的结构相似度值为SSIM_l，根据各帧图像的结构相似度值计算所有图像的结构相似度值的平均值SSIM_ave， ${\mathrm{SSIM}}_{\mathrm{ave}}=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\&Sigma;}}}{\mathrm{SSIM}}_l/\mathrm{Total}\_\mathrm{pic},$ 其中，l∈[1，Total_pic]，Total_pic表示视频信号所包含的图像总帧数。

②-1、计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，对于第k个P帧图像，记该P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k，记该P帧图像的前一个P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k-1，判断ratio_k和ratio_k-1的商是否超出设定的阈值区间，如果是，则确定发生场景切换，并以该P帧图像为界将该P帧图像所在的图像组中的前部分图像并入该P帧图像所在的图像组的前一个图像组中，以及将该P帧图像和该P帧图像所在的图像组中的后部分图像并入该P帧图像所在的图像组的下一个图像组中，然后将该P帧图像的帧类型修改为I帧图像，再将下一个图像组中的I帧图像的帧类型修改为P帧图像；否则，确定未发生场景切换。

在此步骤中设定的阈值区间为[0.6，1.5]。

②-2、计算重组图像组后视频信号中的各帧图像的复杂度，对于视频信号中的第l帧图像，记该帧图像的复杂度为SSIM_X_l， $\mathrm{SSIM}\_X_l=K_l^T\&times;b_l\&times;Q\_{\mathrm{Step}}_l\&times;{\mathrm{SSIM}}_{\mathrm{ave}}/{\mathrm{SSIM}}_l,$ 其中，

为该帧图像的帧类型权重系数，b_l为第一次编码后统计的第l帧图像的实际消耗比特数，Q_Step_l是第一次编码后统计的第l帧图像的量化步长，SSIM_l为第一次编码后统计的第l帧图像的结构相似度值，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值。

②-3、计算视频信号的总复杂度TotalSSIM_X， $\mathrm{TotalSSIM}\_X=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\&Sigma;}}}\mathrm{SSIM}\_X_l,$ 其中，Total_pic表示视频信号所包含的图像的总帧数；然后计算各帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，记该帧图像在第二次编码阶段中所需的目标比特数为b_2，l， $b_{2,l}=b_{2,\mathrm{total}}\&times;\frac{\mathrm{SSIM}\_X_l}{\mathrm{TotalSSIM}\_X},$ 其中，b_2，total表示视频信号的总目标比特数。

②-4、将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子，对于第m个场景，记该场景的场景复杂度调整因子为μ_m， ${\mathrm{\&mu;}}_m=1-\frac{\mathrm{sign}({\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}})\sqrt{|{\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}}|}}{{\mathrm{SSIM}}_{\mathrm{ave}}},$ 其中，sign()为取正负号函数，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值，SSIM_ave，m为第m个场景中所有图像的结构相似度值的平均值；当μ_m<1时，将第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数乘以μ_m，对于视频信号中的第l帧图像，设该帧图像属于第m个场景，调整该帧图像在第二次编码阶段中所需的目标比特数，b_2，l＝b_2，l×μ_m，其中，式左边的b_2，l表示调整后的目标比特数，式右边的b_2，l表示调整前的目标比特数，然后将该帧图像节省的比特数b_2，l×(1-μ_m)累加到B_remaining中，B_remaining+＝b_2，l×(1-μ_m)，B_remaining的初始值为0；当μ_m>1时，计算SUM_μ，SUM_μ+＝μ_m×NUM_sence，m，其中，NUM_sence，m表示第m个场景所包含图像的帧数，SUM_μ的初始值为0。

②-5、在步骤②-4处理完成后再次遍历每个场景，判断μ_m是否大于1，如果μ_m>1，则修正第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，设该图像属于第m个场景，修正该图像在第二次编码阶段中所需的目标比特数， $b_{2,l}=b_{2,l}+\frac{{\mathrm{\&mu;}}_m\&times;B_{\mathrm{remaining}}}{{\mathrm{SUM}}_{\mathrm{\&mu;}}},$ 其中，式左边的b_2，l表示修正后的目标比特数，式右边的b_2，l表示修正前的目标比特数，μ_m为第m个场景的场景复杂度调整因子。

②-6、缓冲区下溢保护，缓冲区下溢保护处理原理为，更新缓冲区状态，B₀＝B_max(缓冲区的初始状态为缓冲区的大小B_max)，B_t＝min(B_max，B_t-l-b_t-1，real+R_maxT_t-1)，其中B_t-1为第t-1帧图像的缓冲区状态，b_t-1，real为第t-1帧图像的实际消耗比特数，R_max为传输带宽允许最大码率，T_t-1为编码每一帧图像所需的时间，为防止缓冲区下溢，B_t必须满足条件：B_t>＝b_t，real，b_t，real为第t帧图像的实际消耗比特数。

在上述原理的基础上，本发明方法采用如下方法：首先计算每个场景中的每帧图像的缓冲区溢出的比特数，对于第m个场景中的第q帧图像，判断B_m，q-B_guard-b_2，m，q是否小于0，如果B_m，q-B_guard-b_2，m，q小于0，则计算该图像缓冲区溢出的比特数OverB_m，q，OverB_m，q＝B_m，q-B_guard-b_2，m，q，并且更新p＝q以及对应的OverB_m，OverB_m＝OverB_m+OverB_m，q，更新p的值目的是将q的最大值赋值给p，其中，OverB_m的初始值为0，B_m，q表示第m个场景中的第q帧图像移出之前的缓冲区状态，

B_max为缓冲区的大小，

为第m-1个场景中的最后一帧图像移出之前的缓冲区状态，B_m，q-1表示第m个场景中的第q-1帧图像移出之前的缓冲区状态，R_max为传输带宽允许最大码率，F为帧率，B_guard为缓冲区保护值，B_guard＝0.2B_max，b_2，m，q为第m个场景中的第q帧图像在第二次编码阶段中所需的目标比特数；如果OverB_m小于零，然后修正第m-1个场景中所有图像和第m个场景中第1帧到第p帧图像在第二次编码阶段中所需的目标比特数，对于第m个场景中第1帧到第p帧图像的第q帧图像，修正该图像在第二次编码阶段中所需的目标比特数，b_2，m，q＝b_2，m，q+OverB_m/(NUM_sence，m-1+p)，其中，OverB_m为负数，式左边的b_2，m，q表示修正后的目标比特数，式右边的b_2，m，q表示修正前的目标比特数，OverB_m表示第m个场景中溢出的比特总数，OverB_m的初始值为0，NUM_sence，m-1表示第m-1个场景所包含图像的帧数，对于第m-1个场景中的NUM_sence，m-1帧图像，采用b_2，m-1，q＝b_2，m-1，q+OverB_m/(NUM_sence，m-1+p)修正NUM_sence，m-1帧图像在第二次编码阶段中所需的目标比特数，其中OverB_m为负数；如果第m个场景中的所有图像均没有发生缓冲区溢出，则在此步骤中对第m-1个场景中的所有图像和第m个场景中的所有图像在第二次编码阶段中所需的目标比特数不进行修正。

缓冲区下溢是因为连续若干帧图像的目标比特数较大而引起缓冲区所存储的比特数不足于显示下一帧图像，本发明运用以二个图像组为保护缓冲区下溢的单位，有助于图像质量的连续性。

③-1、采用VBR码率控制AVS编码方式对经第一次编码后的视频信号的各帧图像进行第二次编码，对于需进行第二次编码的视频信号中的第l帧图像，定义第l帧图像为当前图像，判断当前图像是否为第1帧图像或第2帧图像，如果是，则根据第一次编码后统计得到的当前图像的全局复杂度X_l和当前图像在第二次编码阶段中所需的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}},$ 再将当前图像在第二次编码时所需的量化步长QStep_2，l转化成量化参数QP_2，l，其中，l∈[1，Total_pic′]，Total_pic′表示需进行第二次编码的视频信号所包含的图像的总帧数，Total_pic′＝Total_pic，然后转到步骤③-5并继续执行；否则，继续执行。

③-2、对当前图像在第二次编码阶段中所需的目标比特数b_2，l进行微调， $b_{2,l}=b_{2,l}/\sqrt[3]{({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})},$ 其中，式左边的b_2，l表示微调后的目标比特数，式右边的b_2，l表示微调前的目标比特数，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子，然后根据第一次编码后统计得到的当前图像的全局复杂度X_l和微调后的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}}.$

③-3、判断

或者

是否成立，如果成立，通过 ${\mathrm{QStep}}_{2,l}=\frac{{\mathrm{QStep}}_{2,l}}{1-{\mathrm{\&eta;\&delta;}}_l}$ 调整当前图像在第二次编码时所需的量化步长，其中，式左边的QStep_2，l表示调整后的量化步长，式右边的QStep_2，l表示调整前的量化步长，η为一个乘法因子，η的经验值可用式 $\mathrm{\&eta;}=\left\{\begin{array}{cc}1/2\&times;B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})<1\\ 4/B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})>1\end{array}\right.$ 表示，B_max为缓冲区的大小，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子。

③-4、将当前图像在第二次编码时所需的量化步长QStep_2，l转化为量化参数QP_2，l，为保证视频信号质量的连续性，通过QP_2，l＝min{QP_2，l+3，max{QP_2，l-1-3，QP_2，l}}对当前图像在第二次编码时所需的量化参数进行修正，其中，式左边的QP_2，l表示修正后的量化参数，式右边的QP_2，l表示修正前的量化参数，QP_2，l-1为第l-1帧图像在第二次编码时所需的量化参数，再通过QP_2，l＝min{63，max{QP_2，l，1}}将修正后的量化参数限制在AVS量化参数极值范围内，其中，式左边的QP_2，l表示限制后的量化参数，式右边的QP_2，l表示限制前的量化参数。

③-5、利用当前图像的量化参数对当前图像进行第二次编码，然后计算当前图像的结构相似度值SSIM_2，l，再判断当前图像的帧类型是否为I帧图像，如果是，则当前图像的调整因为λ_l＝1，否则，当前图像的调整因子为λ_l＝sqrt(SSIM_2，l/SSIM_ave)，其中，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值。

③-6、计算δ_l＝δ_l-1+actual_bits_2，l-1-b_2，l-1，其中，δ₀＝0，actual_bits_2，l-1为第l-1帧图像第二次编码后的实际消耗比特数，b_2，l-1为第l-1帧图像在第二次编码阶段中所需的目标比特数。

以下将对本发明方法与现有的方法进行比较，以客观的说明本发明方法是有效可行的。

在AVS编码器上实现本发明的码率控制方法，并与JVT提出的JVT-H017算法实验结果做比较。因为实际中的视频信号序列几乎都是由很多场景组成，复杂度波动性较大，为了使实验结果更具备说服力，与以往很多文献里的取单一场景复杂度波动小的测试序列不同，在此选取由coastguard、container、flower、hall、mobile、news、Sign_Irene、waterfall八个测试序列各300帧图像拼接组成CIF格式测试序列，取这样的测试序列2400帧图像在不同初始目标码率和帧率为30fps条件下进行测试，实验结果数据如表1所示。

表1 采用本发明方法与JVT-H017方法SSIM值和PSNR值比较表

为了更好的说明实验结果，本发明取更代表人眼视觉系统的SSIM和普遍使用的PSNR两个方法来说明，从表1中可以轻易的发现，本发明和JVT-H017提案相比，虽然PSNR平均值稍微降低，SSIM平均值基本相当，但是从PSNR和SSIM这两个均方差来看，JVT-H017只有本发明的20％左右，可以看出视频质量的恒定性得到了可观的改善。图3为在初始目标码率为1Mbps时采用本发明方法与采用JVT-H017方法产生的PSNR统计曲线的统计比较图，图4为在初始目标码率为1Mbps时采用本发明方法与采用JVT-H017方法产生的SSIM统计曲线的统计比较图，从两个图中更能直观的看出本发明的质量更平缓。根据HVS特性，在PSNR、SSIM平均值接近的条件下，波动性对主观质量影响更大，所以本发明的效果是突出和有效的。

Claims (5)

1、一种对视频信号的二次AVS编码码率控制的方法，整个处理过程包括第一次编码阶段、数据处理阶段和第二次编码阶段，在所述的第一次编码阶段中采用CBR码率控制AVS编码方式进行编码，在所述的第二次编码阶段采用VBR码率控制AVS编码方式进行编码，其特征在于在所述的第一次编码阶段首先给每个图像组预分配目标比特数，然后计算每个图像组中各帧图像的量化参数，再根据各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值；在所述的数据处理阶段首先计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，根据前后两个P帧图像的实际消耗比特数与结构相似度值的比值判断是否发生场景切换，当发生场景切换时将后一个P帧图像所在的图像组的前部分图像并入前一个图像组中及将该P帧图像和该P帧图像所在的图像组的后部分图像并入下一个图像组中，然后计算重组图像组后视频信号中的各帧图像的复杂度、视频信号的总复杂度及各帧图像在第二次编码阶段中所需的目标比特数，再将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子，根据场景复杂度调整因子调整各帧图像在第二次编码阶段中所需的目标比特数，最后根据每个场景中的各帧图像移出之前的缓冲区状态和各帧图像在第二次编码阶段中所需的目标比特数，确定是否调整每个场景中的部分图像在第二次编码阶段中所需的目标比特数；在所述的第二次编码阶段判断进行第二次编码的当前图像是否为视频信号的第1帧图像或第2帧图像，如果是，则直接根据第一次编码后统计得到的当前图像的全局复杂度和当前图像在第二次编码阶段中所需的目标比特数，计算当前图像在第二次编码时所需的量化步长，将量化步长转换为量化参数，根据量化参数对当前图像进行第二次编码，否则，首先微调当前图像在第二次编码阶段中所需的目标比特数，然后根据第一次编码后统计得到的当前图像的全局复杂度和微调后的目标比特数，计算当前图像在第二次编码时所需的量化步长，再将量化步长转换为量化参数，并对量化参数进行修正，同时将量化参数限制在AVS量化参数极值范围内，最后根据量化参数对当前图像进行第二次编码。

2、根据权利要求1所述的一种对视频信号的二次AVS编码码率控制的方法，其特征在于具体包括以下步骤：

①-1、将输入的视频信号划分成多个图像组，每个图像组在AVS编码格式下包括I帧、P帧和B帧三种类型的图像，给每个图像组预分配目标比特数，记预分配给第i个图像组的目标比特数为T(i)， $T\left(i\right)=\frac{R}{F}\&times;N_{\mathrm{gop},i}+T_{\mathrm{remaning}}(i-1),$ 其中，R为目标码率，F为帧率，N_gop，i为第i个图像组所包含的图像的帧数，T_remaning(i-1)表示第i-1个图像组的剩余比特数，T_remaning(i-1)的值为第i-1个图像组的目标比特数T(i-1)与第i-1个图像组所包含的所有图像的实际消耗比特数和的差，T_remaning(0)＝0，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数；

①-2、计算每个图像组中各帧图像的量化参数，对于第i个图像组，定义第i个图像组为当前图像组，定义当前正在处理的第j帧图像为当前图像，当当前图像为I帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，该当前图像的量化参数值为当前图像组的前一个图像组所包含的所有图像的量化参数的平均值；当当前图像为P帧图像时，判断当前图像组是否为第1个图像组，如果是，则该当前图像的量化参数为设定值，否则，首先计算该当前图像的目标比特数f(n_i，j)， $f\left(n_{i,j}\right)=\mathrm{\&beta;}\&times;\hat{f}\left(n_{i,j}\right)+(1-\mathrm{\&beta;})\&times;\tilde{f}\left(n_{i,j}\right),$ 其中，β＝0.5， $\tilde{f}\left(n_{i,j}\right)=\frac{R}{F},$ R为目标码率，F为帧率， $\hat{f}\left(n_{i,j}\right)=\frac{W_p\left(n_{i,j-1}\right)\&times;T_r\left(n_{i,j}\right)}{W_p\left(n_{i,j-1}\right)\&times;N_{p,r}(j-1)+W_b\left(n_{i,j-1}\right)\&times;N_{b,r}(j-1)},$ W_p(n_i，j-1)＝b(n_i，j-1)×QP(n_i，j-1)， $W_b\left(n_{i,j-1}\right)=\frac{b\left(n_{i,j-1}\right)\&times;\mathrm{QP}\left(n_{i,j-1}\right)}{1.3636},$ b(n_i，j-1)为当前图像组中的第j-1帧图像的实际消耗比特数，QP(n_i，j-1)为当前图像组中的第j-1帧图像的量化参数，T_r(n_i，j)为当前图像组的剩余可用比特数，N_p，r(j-1)为当前图像组中未编码的P帧图像的帧数，N_b，r(j-1)为当前图像组中未编码的B帧图像的帧数，i∈[1，n1]，n1为输入的视频信号所包含的图像组的个数，j∈[1，N_gop，i]，N_gop，i为当前图像组所包含的图像的帧数，然后计算当前图像的量化步长QPStep， $\mathrm{QPStep}=\frac{X}{f\left(n_{i,j}\right)},$ 其中，X为前一个P帧图像的全局复杂度，其值为前一个P帧图像的实际消耗比特数和前一个P帧图像的量化步长的乘积，再将计算得到的量化步长转换成量化参数；当当前图像为B帧图像时，利用线性插值方法计算当前图像的量化参数；

①-3、根据计算得到的每个图像组中各帧图像的量化参数，采用CBR码率控制AVS编码方式对各帧图像进行第一次编码，第一次编码后统计各帧图像的帧类型、各帧图像的量化步长、各帧图像的实际消耗比特数、各帧图像的全局复杂度及各帧图像的结构相似度值，对于视频信号中的第l帧图像，记第l帧图像的量化步长为Q_Step₁，记第l帧图像的实际消耗比特数为b_l，记第l帧图像的全局复杂度为X_l，记第l帧图像的结构相似度值为SSIM_l，根据各帧图像的结构相似度值计算所有图像的结构相似度值的平均值SSIM_ave， ${\mathrm{SSIM}}_{\mathrm{ave}}=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\&Sigma;}}}{\mathrm{SSIM}}_l/\mathrm{Total}\_\mathrm{pic},$ 其中，l∈[1，Total_pic]，Total_pic表示视频信号所包含的图像的总帧数；

②-1、计算视频信号中除第1个P帧图像以外的各个P帧图像的实际消耗比特数与结构相似度值的比值，对于第k个P帧图像，记该P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k，记该P帧图像的前一个P帧图像的实际消耗比特数与结构相似度值的比值为ratio_k-1，判断ratio_k和ratio_k-1的商是否超出设定的阈值区间，如果是，则确定发生场景切换，并以该P帧图像为界将该P帧图像所在的图像组中的前部分图像并入该P帧图像所在的图像组的前一个图像组中，以及将该P帧图像和该P帧图像所在的图像组中的后部分图像并入该P帧图像所在的图像组的下一个图像组中，然后将该P帧图像的帧类型修改为I帧图像，再将下一个图像组中的I帧图像的帧类型修改为P帧图像；否则，确定未发生场景切换；

②-2、计算重组图像组后视频信号中的各帧图像的复杂度，对于视频信号中的第l帧图像，记该帧图像的复杂度为SSIM_X_l， $\mathrm{SSIM}\_X_l=K_l^T\&times;b_l\&times;Q\_{\mathrm{Step}}_l\&times;{\mathrm{SSIM}}_{\mathrm{ave}}/{\mathrm{SSIM}}_l,$ 其中，

为该帧图像的帧类型权重系数，b_l为第一次编码后统计的第l帧图像的实际消耗比特数，Q_Step_l是第一次编码后统计的第l帧图像的量化步长，SSIM_l为第一次编码后统计的第l帧图像的结构相似度值，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值；

②-3、计算视频信号的总复杂度TotalSSIM_X， $\mathrm{TotalSSIM}\_X=\underset{l=1}{\overset{\mathrm{Total}\_\mathrm{pic}}{\mathrm{\&Sigma;}}}\mathrm{SSIM}\_X_l,$ 其中，Total_pic表示视频信号所包含图像的总帧数；然后计算各帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，记该帧图像在第二次编码阶段中所需的目标比特数为b_2，l， $b_{2,l}=b_{2,\mathrm{total}}\&times;\frac{\mathrm{SSIM}\_X_l}{\mathrm{TotalSSIM}\_X},$ 其中，b_2，total表示视频信号的总目标比特数；

②-4、将重组图像组后得到的每个图像组作为一个场景，计算所有场景的场景复杂度调整因子，对于第m个场景，记该场景的场景复杂度调整因子为μ_m， ${\mathrm{\&mu;}}_m=1-\frac{\mathrm{sign}({\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}})\sqrt{|{\mathrm{SSIM}}_{\mathrm{ave},m}-{\mathrm{SSIM}}_{\mathrm{ave}}|}}{{\mathrm{SSIM}}_{\mathrm{ave}}},$ 其中，sign()为取正负号函数，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值，SSIM_ave，m为第m个场景中所有图像的结构相似度值的平均值；当μ_m<1时，将第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数乘以μ_m，对于视频信号中的第l帧图像，设该帧图像属于第m个场景，调整该帧图像在第二次编码阶段中所需的目标比特数，b_2，l＝b_2，l×μ_m，其中，式左边的b_2，l表示调整后的目标比特数，式右边的b_2，l表示调整前的目标比特数，然后将该帧图像节省的比特数b_2，l×(1-μm)累加到B_remaining，B_remaining＝B_remaining+b_2，l×(1-μ_m)，B_remaining的初始值为0；当μ_m>1时，计算SUM_μ，SUM_μ＝SUM_μ+μ_m×NUM_sence，m，其中，NUM_sence，m表示第m个场景所包含图像的帧数，SUM_μ的初始值为0；

②-5、在步骤②-4处理完成后再次遍历每个场景，判断μ_m是否大于1，如果μ_m>1，则修正第m个场景中的每帧图像在第二次编码阶段中所需的目标比特数，对于视频信号中的第l帧图像，设该帧图像属于第m个场景，修正该帧图像在第二次编码阶段中所需的目标比特数， $b_{2,l}=b_{2,l}+\frac{{\mathrm{\&mu;}}_m\&times;B_{\mathrm{remaining}}}{{\mathrm{SUM}}_{\mathrm{\&mu;}}},$ 其中，式左边的b_2，l表示修正后的目标比特数，式右边的b_2，l表示修正前的目标比特数，μ_m为第m个场景的场景复杂度调整因子；

②-6、首先计算每个场景中的每帧图像的缓冲区溢出的比特数，对于第m个场景中的第q帧图像，判断B_m，q-B_guard-b_2，m，q是否小于0，如果B_m，q-B_guard-b_2，m，q小于0，则计算该帧图像缓冲区溢出的比特数OverB_m，q，OverB_m，q＝B_m，q-B_guard-b_2，m，q，并且更新p＝q以及对应的OverB_m，OverB_m＝OverB_m+OverB_m，q，其中，OverB_m的初始值为0，B_m，q表示第m个场景中的第q帧图像移出之前的缓冲区状态，B_max为缓冲区的大小，

为第m-1个场景中的最后一帧图像移出之前的缓冲区状态，B_m，q-1表示第m个场景中的第q-1帧图像移出之前的缓冲区状态，R_max为传输带宽允许最大码率，F为帧率，B_guard为缓冲区保护值，B_guard＝0.2B_max，b_2，m，q为第m个场景中的第q帧图像在第二次编码阶段中所需的目标比特数；如果OverB_m小于零，然后修正第m-1个场景中所有图像和第m个场景中第1帧到第p帧图像在第二次编码阶段中所需的目标比特数，对于第m个场景中第1帧到第p帧图像中的第q帧图像，修正该图像在第二次编码阶段中所需的目标比特数，b_2，m，q＝b_2，m，q+OverB_m/(NUM_sence，m-1+p)，其中，式左边的b_2，m，q表示修正后的目标比特数，式右边的b_2，m，q表示修正前的目标比特数，OverB_m表示第m个场景中溢出的比特总数，OverB_m的初始值为0，NUM_sence，m-1表示第m-1个场景所包含图像的帧数，对于第m-1个场景中的NUM_sence，m-1帧图像，采用b_2，m-1，q＝b_2，m-1，q+OverB_m/(NUM_sence，m-1+p)修正NUM_sence，m-1帧图像在第二次编码阶段中所需的目标比特数；如果第m个场景中的所有图像均没有发生缓冲区溢出，则在此步骤中对第m-1个场景中的所有图像和第m个场景中的所有图像在第二次编码阶段中所需的目标比特数不进行修正；

③-1、采用VBR码率控制AVS编码方式对经第一次编码后的视频信号的各帧图像进行第二次编码，对于需进行第二次编码的视频信号中的第l帧图像，定义第l帧图像为当前图像，判断当前图像是否为第1帧图像或第2帧图像，如果是，则根据第一次编码后统计得到的当前图像的全局复杂度X_l和当前图像在第二次编码阶段中所需的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}},$ 再将当前图像在第二次编码时所需的量化步长QStep_2，l转化成量化参数QP_2，l，其中，l∈[1，Total_pic′]，Total_pic′表示需进行第二次编码的视频信号所包含的图像的总帧数，Total_pic′＝Total_pic，然后转到步骤③-5并继续执行；否则，继续执行；

③-2、对当前图像在第二次编码阶段中所需的目标比特数b_2，l进行微调， $b_{2,l}=b_{2,l}/\sqrt[3]{({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})},$ 其中，式左边的b_2，l表示微调后的目标比特数，式右边的b_2，l表示微调前的目标比特数，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子，然后根据第一次编码后统计得到的当前图像的全局复杂度X_l和微调后的目标比特数b_2，l，计算当前图像在第二次编码时所需的量化步长QStep_2，l， ${\mathrm{QStep}}_{2,l}=\frac{X_l}{b_{2,l}};$

③-3、判断

或者是否成立，如果成立，通过 ${\mathrm{QStep}}_{2,l}=\frac{{\mathrm{QStep}}_{2,l}}{1-{\mathrm{\&eta;\&delta;}}_l}$ 调整当前图像在第二次编码时所需的量化步长，其中，式左边的QStep_2，l表示调整后的量化步长，式右边的QStep_2，l表示调整前的量化步长，η为一个乘法因子， $\mathrm{\&eta;}=\left\{\begin{array}{cc}1/2\&times;B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})<1\\ 4/B_{\max }& \mathrm{sqrt}({\mathrm{\&lambda;}}_{l-1}*{\mathrm{\&lambda;}}_{l-2})>1\end{array}\right.,$ B_max为缓冲区的大小，λ_l-1为第l-1帧图像的调整因子，λ_l-2为第l-2帧图像的调整因子；

③-4、将当前图像在第二次编码时所需的量化步长QStep_2，l转化为量化参数QP_2，l，然后通过QP_2，l＝min{QP_2，l+3，max{QP_2，l-1-3，QP_2，l}}对当前图像在第二次编码时所需的量化参数进行修正，其中，式左边的QP_2，l表示修正后的量化参数，式右边的QP_2，l表示修正前的量化参数，QP_2，l-1为第l-1帧图像在第二次编码时所需的量化参数，再通过QP_2，l＝min{63，max{QP_2，l，1}}将修正后的量化参数限制在AVS量化参数极值范围内，其中，式左边的QP_2，l表示限制后的量化参数，式右边的QP_2，l表示限制前的量化参数；

③-5、利用当前图像的量化参数对当前图像进行第二次编码，然后计算当前图像的结构相似度值SSIM_2，l，再判断当前图像的类型是否为I帧图像，如果是，则当前图像的调整因为λ_l＝1，否则，当前图像的调整因子为λ_l＝sqrt(SSIM_2，l/SSIM_ave)，其中，SSIM_ave为视频信号第一次编码后所有图像的结构相似度值的平均值；

③-6、计算δ_l＝δ_l-1+adud_bits_2，l-1-b_2，l-1，其中，δ₀＝0，actual_bits_2，l-1为第l-1帧图像第二次编码后的实际消耗比特数，b_2，l-1为第l-1帧图像在第二次编码阶段中所需的目标比特数。

3、根据权利要求2所述的一种对视频信号的二次AVS编码码率控制的方法，其特征在于所述的步骤①-2中的设定值为30。

4、根据权利要求2所述的一种对视频信号的二次AVS编码码率控制的方法，其特征在于所述的步骤①-2中利用线性插值方法计算当前图像的量化参数的具体过程为：a.记两个P帧图像之间的连续B帧图像的帧数为L，记前一个P帧图像的量化参数为QP₁，记后一个P帧图像的量化参数为QP₂；b.根据QP₁和QP₂，计算当前图像的量化参数，当L＝1时，当前图像的量化参数为

$Q{\tilde{B}}_j=\left\{\begin{array}{cc}\frac{{\mathrm{QP}}_1+{\mathrm{QP}}_2+2}{2}& {\mathrm{QP}}_1\&NotEqual;{\mathrm{QP}}_2\\ {\mathrm{QP}}_1+2& {\mathrm{QP}}_1={\mathrm{QP}}_2\end{array}\right.;$ 当L>1且当前图像为两个P帧图像之间的第s个B帧图像时，当前图像的量化参数为

， $Q{\tilde{B}}_j={\mathrm{QP}}_1+\mathrm{\&alpha;}+\max \{\min \{\frac{({\mathrm{QP}}_2-{\mathrm{QP}}_1)}{L-1},2\&times;(s-1)\},-2\&times;(s-1)\}$ ，其中，s∈[1，L]， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}-3& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&GreaterEqual;-2\&times;L-3\\ -2& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-2\\ -1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L-1\\ 0& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L\\ 1& {\mathrm{QP}}_2-{\mathrm{QP}}_1=-2\&times;L+1\\ 2& {\mathrm{QP}}_2-{\mathrm{QP}}_1\&le;-2\&times;L+2\end{array}\right..$

5、根据权利要求2所述的一种对视频信号的二次AVS编码码率控制的方法，其特征在于所述的步骤②-1中设定的阈值区间为[0.6，1.5]。

Images