CN103686176B - 一种用于视频编码的码率估计方法 - Google Patents

Abstract

本发明公开一种用于视频编码的码率估计方法，包括：S1.将变换单元划分成多个4x4的系数子块，提取系数子块的特征参数；S2.根据特征参数，对系数子块进行分组；S3.根据分组，计算系数子块产生的编码长度R_coeff；S4.根据采用哥伦布编码的系数个数，计算系数子块最优编码总长度R_opt；S5.根据采用哥伦布编码的最大系数，计算哥伦布编码补偿值R_c；S6.重复步骤S1～S5，计算所有系数子块的编码总长度R_total；S7.计算LastXY编码长度R_lastxy；S8.计算辅助信息编码总长度R_side；S9.根据R_total、R_lastxy和R_side，计算变换单元的码率估计值R。

Description

一种用于视频编码的码率估计方法

技术领域

本发明涉及视频处理技术领域，特别涉及一种用于视频编码的码率的估计方法。

背景技术

高效视频编码（High Efficiency Video Coding，HEVC）标准采用灵活的编码块划分方法，针对不同的目的，将待压缩图像划分成不同的像素单元，包括编码单元（Coding Unit，CU）、变换单元（TransformUnit，TU）和预测单元（Prediction Unit，PU）。在编码过程中，编码器必须尝试所有的CU/PU/TU组合，来寻找最佳的编码方式，即具有最小的率失真代价（Rate-Distortion Cost，RD Cost）的编码方式，此过程称为率失真优化（Rate-Distortion Optimization，RDO）。RD Cost是同时考虑编码的码率和失真这两个对立事物之后得出的用来评估编码效率的指标。在HEVC的参考软件HM中，码率R是通过对残差进行变换、量化之后的系数以及辅助信息进行熵编码后获得的，失真D是通过将原始图像块与通过反量化、反变换重建出来的图像块求差获得的，RD Cost通过公式

RD Cost=D+λR

求得。在HEVC标准中，为了提高编码效率，熵编码器采用自适应二元算数编码（CABAC）。CABAC虽然具有较高的压缩率，但编码过程较复杂，计算非常耗时。如果采用HEVC参考软件中的做法，直接使用CABAC熵编码器来计算码率R，由于RDO过程会搜索各种编码模式，反复进行复杂的CABAC熵编码过程使得编码速度非常慢。

发明内容

（一）解决的技术问题

本发明解决的技术问题是目前熵编码器采用自适应二元算数编码（CABAC），直接使用CABAC熵编码器来计算码率R，由于RDO过程会搜索各种编码模式，反复进行复杂的CABAC熵编码过程使得编码速度非常慢。

（二）技术方案

为了解决上述问题，本发明提出一种用于视频编码的码率估计方法，该方法包括：

S1.将变换单元TU划分成多个4x4的系数子块，提取系数子块的特征参数；

S2.根据特征参数，对系数子块进行分组；

S3.根据分组，计算系数子块产生的编码长度R_coeff；

S4.根据采用哥伦布编码的系数个数，计算系数子块最优编码总长度R_opt；

S5.根据采用哥伦布编码的最大系数，计算哥伦布编码补偿值R_c；

S6.重复步骤S1～S5，计算所有系数子块的编码总长度R_total；

S7.计算LastXY编码长度R_lastxy；

S8.计算辅助信息编码总长度R_side；

S9.将R_total、R_lastxy和R_side求和，计算整个变换单元熵编码产生的码率估计值R。

其中，在步骤S1中，所述特征参数包括：

η_nz：系数子块中非零系数的个数；

η_z：在第一个非零系数之后，零系数的个数；

η_lz：在第一个非零系数之前，零系数的个数；

η_zb：“零系数块”个数，所述零系数块为连续的若干个零系数；

η_o：在前8个非零系数中，非零系数为1的个数；

η_g1：在前8个非零系数中，非零系数大于1的个数。

其中，在步骤S2中，所述分组包括：

S21.设置参数CBF_b和CBF_r，判断系数子块下方子块是否包含非0系数，若包含，则CBF_b=1，否则CBF_b=0；判断系数子块右方子块是否包含非0系数，若包含，则CBF_r=1，否则，CBF_r=0；

S22.判断系数子块的属性，若系数子块为亮度子块，则执行步骤S23，若系数子块为色度子块，则执行步骤S24；

S23.按照图3所示流程进行分组；

S24.按照图4所示流程进行分组。

其中，在步骤S3中，所述R_coeff的计算包括：

设H_i,j,k为常数，其中0≤i≤1，1≤j≤13，0≤k≤5。

S31.判断系数子块的属性，若系数子块为亮度子块，则设i=0；若系数子块为色度子块，则设i=1；

S32.判断系数子块所在组的组号，若组号为1，则判断η_o=1是否成立，若成立，则R_coeff=H_i,1,0，否则R_coeff=H_i,1,1；

若组号为3：R_coeff=H_i,3,0×η_z+H_i,3,1；

若组号为j，其中j≠1且j≠3，则

R_coeff=[H_i,j,0， H_i,j,1， …H_i,j,5]×[η_nz， η_z， η_lz， η_zb， η_o， η_g1]^T。

其中，在步骤S4中，所述R_opt的计算包括：

设x为被编码系数，定义最优编码长度函数f(x)：

设当前系数子块中共有k个系数进行哥伦布编码，分别为x₁,x₂,…,x_k，则

$R_{\mathrm{opt}}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}f\left(x_i\right).$

其中，在步骤S5中，所述R_c的计算包括：

设系数子块中进行哥伦布编码的最大系数为x_max，F₁～F₄为常数，其中F₁<F₂<F₃<F₄，则

$R_c=\left\{\begin{array}{cc}{F}_1& 3\&le;x_{\max }<6\\ F_2& 6\&le;x_{\max }<12\\ F_3& 12\&le;x_{\max }<24\\ F_4& x_{\max }\&GreaterEqual;24\end{array}\right.$

其中，在步骤S6中，所述R_total的计算包括：

设当前变换单元TU中共有m个4x4子块，其中第i个系数子块的R_coeff、R_opt、R_c、η_nz值分别为R_{coeff_i}、R_{opt_i}、R_{c_i}、η_{nz_i}，则

$R_{\mathrm{total}}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(R_{\mathrm{coeff}\_i}+R_{\mathrm{opt}\_i}+R_{c\_i}+{\mathrm{\&eta;}}_{\mathrm{nz}\_i})$

其中，在步骤S7中，所述R_lastxy的计算包括：

定义函数h(x)：

设变换单元TU中最后一个非零系数的坐标为（X，Y），则

R_lastxy=h(X)+h(Y)

其中，在步骤S8中，所述R_side的计算包括：

设量化参数为QP，第i种辅助信息的第j位值为v(i,j)，M_i,j,0,0、M_i,j,0,1、M_i,j,1,0、M_i,j,1,1为常数，则

$R_{\mathrm{side}}(i,j)=\left\{\begin{array}{cc}{M}_{i,j,\mathrm{0,0}}\&times;\mathrm{QP}+M_{i,j,\mathrm{0,1}}& v(i,j)=0\\ M_{i,j,\mathrm{1,0}}\&times;\mathrm{QP}+M_{i,j,\mathrm{1,1}}& v(i,j)=1\end{array}\right.$

设一共有t种辅助信息，包含的位数分别为b₁,b₂,…,b_t，则

$R_{\mathrm{side}}=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{b_i}{\mathrm{\&Sigma;}}}{R}_{\mathrm{side}}(i,j).$

（三）有益效果

本发明提供的码率估计方法利用线性回归分析，在RDO过程中实现了码率的快速估计，避免了调用复杂的CABAC熵编码器来获得码率，从而可以减少编码时间，减少硬件复杂度和功耗。另外，该估计方法避免了CABAC熵编码器在二进制位级别的数据相关，有利于码率计算过程中的并行化实现。

附图说明

图1为HEVC标准中一个变换单元（TU）量化后，系数在进行熵编码时语义元素的格式；

图2为一种用于视频编码的码率估计方法流程图；

图3为亮度子块分类方法流程图；

图4为色度子块分类方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

为了进行估计，第一步首先应该对语义元素的组织格式进行分析。首先考虑系数块产生的码率。HEVC标准中一个变换单元（TU）中的量化后系数在进行熵编码时语义元素的格式如图1所示。对一个NxN的TU，所有系数首先被划分成4x4的子块。4x4的子块根据预先定义的扫描顺序依次进行处理，在每个子块内部，按照一定的顺序对16个系数进行扫描，扫描顺序可能为水平、竖直或者对角线顺序，由预测模式决定。在编码第一个子块之前，先对SkipFlag和LastXY进行编码。SkigFlag的含义为该NxN TU是否跳过了DCT变换。LastXY为该NxN TU中最后一个非零系数的坐标。

在一个4x4子块中，CBF（Coefficient Block Flag）标志表示该子块中是否有非零系数。如果所有的系数都为0，则下面所有的编码域都会被跳过。CBF之后为SCF（Significant Coefficient Flag）标志，共16位（除了最后一个4x4子块之外），表示对应系数是否非0。之后为GTR1（Greater than1，GTR1）标志，对于前8个非零系数，每个系数对应一个GTR1标志，表示对应系数绝对值是否大于1。之后，对于第一个绝对值大于1的系数，使用一个GTR2（Greater than2）标志来表示该系数绝对值是否大于2。之后，符号位（Sign Flags）给出每个非零系数的符号。通过以上标志位，一些绝对值较小的系数的值已经被确定地描述了。对于剩下的尚没有被确定描述的系数，依次对其“剩余值”进行哥伦布编码（Golomb Code）。剩余值指的是系数的绝对值与通过以上的标志可以描述的最大值之差。

经过上面对语义元素格式的分析，我们对不同的语义元素，分别采用不同的估计方法：

SCF和GTR1是一个4x4系数子块的主体部分，我们采用分组线性回归方法估计这两部分的整体编码长度；

符号位和哥伦布编码采用的是等概率编码方法，编码后的长度与编码前相等。对于符号位，其长度与系数子块中非零元素个数相等，无需估计。对于哥伦布编码，HEVC标准中采用了Rice编码和一元编码/k阶指数哥伦布编码（UEGk编码，Unary/kth order Exponential Golomb）混合的编码方法。我们采用最优编码长度加补偿值的方法对哥伦布编码长度进行估计；

对于LastXY，我们使用TU中最后一个非零系数的X、Y坐标转换成二进制后的位数作为估计长度；

对于CBF、GTR2等标志，我们发现其编码特性与辅助信息相同，将其归类到辅助信息。

除了系数块，还需要对辅助信息产生的码率进行估计。HEVC标准中，需要编码的辅助信息包括预测模式、运动向量差、分隔标志、参考帧序号等。每个语义元素包括一位或多位信息，相应地，使用一个或多个上下文模型进行CABAC编码。相比残差系数块来说，辅助信息的结构比较简单，长度估计也相对容易。我们发现，辅助信息的CABAC编码长度与QP有很大的相关性，因此我们使用QP作为参数，对辅助信息的编码长度进行线性回归估计，建立线性估计模型。

本发明实施例公开一种用于视频编码的码率估计方法，如图2所示，该方法包括：

S1.将变换单元TU划分成多个4x4的系数子块，提取系数子块的特征参数；

所述特征参数包括：

η_nz：系数子块中非零系数的个数；

η_z：在第一个非零系数之后，零系数的个数；

η_lz：在第一个非零系数之前，零系数的个数；

η_zb：“零系数块”个数，所述零系数块为连续的若干个零系数；

η_o：在前8个非零系数中，非零系数为1的个数；

η_g1：在前8个非零系数中，非零系数大于1的个数。

S2.根据特征参数，对系数子块进行分组；

所述分组包括：

S21.设置参数CBF_b和CBF_r，判断系数子块下方子块是否包含非0系数，若包含，则CBF_b=1，否则CBF_b=0；判断系数子块右方子块是否包含非0系数，若包含，则CBF_r=1，否则，CBF_r=0；

S22.判断系数子块的属性，若系数子块为亮度子块，则执行步骤S23，若系数子块为色度子块，则执行步骤S24；

S23.按照图3所示流程进行分组；

S24.按照图4所示流程进行分组。

S3.根据分组，计算系数子块产生的编码长度R_coeff；

所述R_coeff的计算包括：

设H_i,j,k为常数，其中0≤i≤1，1≤j≤13，0≤k≤5。

S31.判断系数子块的属性，若系数子块为亮度子块，则设i=0；若系数子块为色度子块，则设i=1；

S32.判断系数子块所在组的组号，若组号为1，则判断η_o=1是否成立，若成立，则R_coeff=H_i,1,0，否则R_coeff=H_i,1,1；

若组号为3：R_coeff=H_i,3,0×η_z+H_i,3,1；

若组号为j，其中j≠1且j≠3，则

R_coeff=[H_i,j,0， H_i,j,1， …H_i,j,5]×[η_nz， η_z， η_lz， η_zb， η_o， η_g1]^T。

S4.根据采用哥伦布编码的系数个数，计算系数子块最优编码总长度R_opt；

所述R_opt的计算包括：

设x为被编码系数，定义最优编码长度函数f(x)：

设当前系数子块中共有k个系数进行哥伦布编码，分别为x₁,x₂,…,x_k，则

$R_{\mathrm{opt}}=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}f\left(x_i\right).$

S5.根据采用哥伦布编码的最大系数，计算哥伦布编码补偿值R_c；

所述R_c的计算包括：

设系数子块中进行哥伦布编码的最大系数为x_max，F₁～F₄为常数，其中F₁<F₂<F₃<F₄，则

$R_c=\left\{\begin{array}{cc}{F}_1& 3\&le;x_{\max }<6\\ F_2& 6\&le;x_{\max }<12\\ F_3& 12\&le;x_{\max }<24\\ F_4& x_{\max }\&GreaterEqual;24\end{array}\right.$

S6.重复步骤S1～S5，计算所有系数子块的编码总长度R_total；

所述R_total的计算包括：

设当前变换单元TU中共有m个4x4子块，其中第i个系数子块的R_coeff、R_opt、R_c、η_nz值分别为R_{coeff_i}、R_{opt_i}、R_{c_i}、η_{nz_i}，则

$R_{\mathrm{total}}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(R_{\mathrm{coeff}\_i}+R_{\mathrm{opt}\_i}+R_{c\_i}+{\mathrm{\&eta;}}_{\mathrm{nz}\_i})$

S7.计算LastXY编码长度R_lastxy；

所述R_lastxy的计算包括：

定义函数h(x)：

设变换单元TU中最后一个非零系数的坐标为（X，Y），则

R_lastxy=h(X)+h(Y)

S8.计算辅助信息编码总长度R_side；

所述R_side的计算包括：

设量化参数为QP，第i种辅助信息的第j位值为v(i,j)，M_i,j,0,0、M_i,j,0,1、M_i,j,1,0、M_i,j,1,1为常数，则

$R_{\mathrm{side}}(i,j)=\left\{\begin{array}{cc}{M}_{i,j,\mathrm{0,0}}\&times;\mathrm{QP}+M_{i,j,\mathrm{0,1}}& v(i,j)=0\\ M_{i,j,\mathrm{1,0}}\&times;\mathrm{QP}+M_{i,j,\mathrm{1,1}}& v(i,j)=1\end{array}\right.$

设一共有t种辅助信息，包含的位数分别为b₁,b₂,…,b_t，则

$R_{\mathrm{side}}=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{b_i}{\mathrm{\&Sigma;}}}{R}_{\mathrm{side}}(i,j).$

S9.将R_total、R_lastxy和R_side求和，计算整个变换单元熵编码产生的码率估计值R。用该R值即可进行RD Cost计算，无需调用CABAC编码过程。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种用于视频编码的码率估计方法，其特征在于，该方法包括：

S1.将变换单元TU划分成多个4x4的系数子块，提取系数子块的特征参数；

S2.根据特征参数，对系数子块进行分组；

S3.根据分组，计算系数子块产生的编码长度R_coeff；

S4.根据采用哥伦布编码的系数个数，计算系数子块最优编码总长度R_opt；

S5.根据采用哥伦布编码的最大系数，计算哥伦布编码补偿值R_c；

S6.重复步骤S1～S5，计算所有系数子块的编码总长度R_total；

S7.计算LastXY编码长度R_lastxy；所述LastXY为TU中最后一个非零系数的坐标；

S8.计算辅助信息编码总长度R_side；

S9.将R_total、R_lastxy和R_side求和，计算整个变换单元熵编码产生的码率估计值R。

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，所述特征参数包括：

η_nz：系数子块中非零系数的个数；

η_z：在第一个非零系数之后，零系数的个数；

η_lz：在第一个非零系数之前，零系数的个数；

η_zb：“零系数块”个数，所述零系数块为连续的若干个零系数；

η_o：在前8个非零系数中，非零系数为1的个数；

η_g1：在前8个非零系数中，非零系数大于1的个数。

3.根据权利要求2所述的方法，其特征在于，在步骤S2中，所述分组包括：

S21.设置参数CBF_b和CBF_r，判断系数子块下方子块是否包含非0系数，若包含，则CBF_b＝1，否则CBF_b＝0；判断系数子块右方子块是否包含非0系数，若包含，则CBF_r＝1，否则，CBF_r＝0；

S22.判断系数子块的属性，若系数子块为亮度子块，则执行步骤S23，若系数子块为色度子块，则执行步骤S24；

S23.按照图3所示流程进行分组；

S24.按照图4所示流程进行分组。

4.根据权利要求1所述的方法，其特征在于，在步骤S3中，所述R_coeff的计算包括：

设H_i,j,k为常数，其中0≤i≤1，1≤j≤13，0≤k≤5；

S31.判断系数子块的属性，若系数子块为亮度子块，则设i＝0；若系数子块为色度子块，则设i＝1；

S32.判断系数子块所在组的组号，若组号为1，则判断η_o＝1是否成立，若成立，则R_coeff＝H_i,1,0，否则R_coeff＝H_i,1,1；

若组号为3：R_coeff＝H_i,3,0×η_z+H_i,3,1；

若组号为j，其中j≠1且j≠3，则

R_coeff＝[H_i,j,0，H_i,j,1，…H_i,j,5]×[η_nz，η_z，η_lz，η_zb，η_o，η_g1]^T。

5.根据权利要求1所述的方法，其特征在于，在步骤S4中，所述R_opt的计算包括：

设x为被编码系数，定义最优编码长度函数f(x)：

设当前系数子块中共有k个系数进行哥伦布编码，分别为x₁,x₂,…,x_k，则

$R_{opt}=\underset{i=1}{\overset{k}{\&Sigma;}}f\left(x_i\right).$

6.根据权利要求1所述的方法，其特征在于，在步骤S5中，所述R_c的计算包括：

设系数子块中进行哥伦布编码的最大系数为x_max，F₁～F₄为常数，其中F₁<F₂<F₃<F₄，则

$R_c=\left\{\begin{array}{cc}{F}_1& 3\&le;x_{max}<6\\ F_2& 6\&le;x_{max}<12\\ F_3& 12\&le;x_{max}<24\\ F_4& x_{max}\&GreaterEqual;24\end{array}\right.$

7.根据权利要求1所述的方法，其特征在于，在步骤S6中，所述R_total的计算包括：

设当前变换单元TU中共有m个4x4子块，其中第i个系数子块的R_coeff、R_opt、R_c、η_nz值分别为R_{coeff_i}、R_{opt_i}、R_{c_i}、η_{nz_i}，则

$R_{total}=\underset{i=1}{\overset{m}{\&Sigma;}}(R_{coeff\_i}+R_{opt\_i}+R_{c\_i}+{\mathrm{\&eta;}}_{nz\_i})$

8.根据权利要求1所述的方法，其特征在于，在步骤S7中，所述R_lastxy的计算包括：

定义函数h(x)：

设变换单元TU中最后一个非零系数的坐标为(X，Y)，则

R_lastxy＝h(X)+h(Y)

9.根据权利要求1所述的方法，其特征在于，在步骤S8中，所述R_side的计算包括：

设量化参数为QP，第i种辅助信息的第j位值为v(i,j)，M_i,j,0,0、M_i,j,0,1、M_i,j,1,0、M_i,j,1,1为常数，则

$R_{side}\left(i,j\right)=\left\{\begin{array}{cc}{M}_{i,j,0,0}\&times;QP+M_{i,j,0,1}& v\left(i,j\right)=0\\ M_{i,j,1,0}\&times;QP+M_{i,j,1,1}& v\left(i,j\right)=1\end{array}\right.$

设一共有t种辅助信息，包含的位数分别为b₁,b₂,…,b_t，则

$R_{side}=\underset{i=1}{\overset{t}{\&Sigma;}}\underset{j=1}{\overset{b_i}{\&Sigma;}}{R}_{side}(i,j).$