CN104038769A - 帧内编码的码率控制方法 - Google Patents

Abstract

本发明公开一种精确的“帧内编码的码率控制方法”。涉及数字图像和视频编码技术领域。本发明将一帧图像划分为块组，然后利用块组内邻近象素点间梯度的绝对值之和描述块组的复杂度，并用编码数据量和复杂度之比的指数模型来确定块组的量化步长，从而实现块组级别的码率控制，达到精确控制码率的目的。

Description

帧内编码的码率控制方法

技术领域

本发明涉及数字图像和视频编码技术领域，尤其涉及基于块编码技术的图像和视频编码系统。

背景技术

在科技飞速发展的今天，人们通过电子设备与网络获得资讯，加强彼此交流，越来越多的需要对图像和视频进行存储和传输。数字图像和数字视频数据量巨大，在存储和传输时需要采用合适的编码技术进行图像和视频的压缩以达到减少存储空间和降低传输带宽需求的目的。目前常用的数字图像和视频编码技术中，基于块的混合编码技术是主流技术，比如目前已得到广泛应用的图像编码标准JPEG和视频编码标准:MPEG-1,MPEG-2/H.262，MPEG-4,H.261,H.263,MPEG-4AVC/H.264和AVS等标准都是采用基于块的混合编码技术。

基于块的混合编码技术基本思想是先将一幅图像或视频序列(数字视频可以看做是一系列图像构成的序列)的每帧划分为块，然后以块为基本单位对图像或视频进行预测编码减少冗余度达到图像和视频压缩的目的。块通常为正方形或矩形，每个块包含水平和垂直方向的多个连续像素点。块大小在不同编码标准中有不同的取法，可以是4×4,8×8,16×16,8×16和16×8等像素点。在同一编码标准中也可以使用多种不同大小的块。在视频编码中预测编码通常分为帧内预测和帧间预测两大类。帧内预测是指对当前块进行编码时，只利用视频序列的当前编码帧中已编码的部分对当前块的值进行预测。帧间预测指对当前块进行编码时，利用视频序列中的前后帧对当前块的值进行预测。基于块的混合编码技术在利用帧内预测或帧间预测取得当前编码块的预测值之后，对当前块的值和预测值的残差进行变换、量化和熵编码，以达到压缩编码的目的。

高效视频编码(HEVC)是ISO/IEC MPEG组织和ITU-T VCEG组织继MPEG-4AVC/H.264视频编码标准后最新制定的视频编码标准，采用比MPEG-4AVC/H.264更复杂的算法，具有比MPEG-4AVC/H.264更高的编码效率。在HEVC中采用了复杂的分层块划分方式。在HEVC中使用编码树单元(CTU)代替了传统视频编码中采用的宏块(MB)做为分层块划分的顶层单元。和传统视频编码技术中采用固定大小的宏块为核心编码层不同，在HEVC中采用尺寸大小可变的CTU做为核心编码层，CTU的尺寸大小在编码时由编码算法具体决定。每个CTU包含一个亮度编码树块(CTB)和两个对应的色度CTB,亮度CTB可以是比亮度MB更大的正方形图像区域，如64×64和32×32，也可以采用和亮度MB一样大的正方形区域16×16。在HEVC中做为核心编码层的CTU被四叉树划分为编码单元(CU)，一个CU包含一个亮度编码块(CB)和两个对应的色度CB。每一个CU在编码的不同步骤中将被划分为多个预测单元(PU)或多个变换单元(TU)。每个PU包含相应的亮度预测块(PB)和色度PB。每个TU包含相应的亮度变换块(TB)和色度TB。

在进行图像和视频编码时图像、视频的质量和编码压缩后的数据量有相同变化的趋势，即图像、视频的质量越高，编码后的数据量越大。在实际应用中通常对视频的数据量有一定的限制，如网络传输时的带宽限制，存储时存储器的容量限制。因此在实际应用中通常需要对单位时间内编码的数据量即码率进行控制以便满足应用需求。码率控制是一种对编码数据量进行控制的方法。

现代视频编码中帧内预测编码帧即可以作为帧间预测编码帧的参考帧，也可以单独用于图像编码。帧内预测编码帧通常编码的数据量远大于帧间预测编码帧的数据量。因此对于帧内预测编码帧的码率控制是提高视频编码码率控制精确度的关键。但是对于最新的视频编码标准HEVC，目前帧内预测编码帧的码率控制研究主要集中于帧级控制，即同一帧采用相同的量化步长，码率控制精度不高，同时对于帧内预测编码帧的码率模型参数通常用已编码帧进行预测，不适合对视频序列中的初始帧和场景的初始帧进行码率控制。

发明内容

本发明的目的在于克服现有技术的不足，为此针对采用基于块的混合编码技术的图像或视频编码提供一种图像编码或视频帧内预测编码中用以确定量化步长的码率控制方法，以达到对图像编码或视频帧内预测编码的码率精确控制的目的，可以有效地降低编码器的缓存大小。

本发明技术方案概括为：

一种帧内编码的码率控制方法，其特征在于，将一帧图像划分为块组，然后利用块组内邻近象素点间梯度的绝对值之和描述块组的复杂度，并用编码数据量和复杂度之比的指数模型来确定块组的量化步长，从而实现块组级别的码率控制，达到精确控制码率的目的。

以上帧内编码的码率控制方法，具体步骤包括：

步骤1：开始当前视频帧或图像的编码；

步骤2：读取视频流的一帧图像；

步骤3：将编码图像或视频的当前编码帧划分的块进行分组，每一块组是由邻近的块组构成的矩形，每一个块组内的块编码时采用相同的量化步长；

步骤4：计算视频帧中所有块组的复杂度，求得SG_F和所有SG_m。SG_F通过将公式1中的M和N分别设为当前视频帧的水平像素点个数和垂直像素点个数，然后由公式1计算求得；

步骤5:为当前编码的块组分配编码后的目标数据量Rt_m，以比特数为单位。设当前编码块组为第m个块组，其目标比特数Rt_m可由公式6求得；

步骤6:判断当前编码块组是否为第1个编码块组；如果是第1个编码块组则跳转到步骤10，反之到步骤7；

步骤7：用公式3预测估计当前模型参数a_m，b_m取固定值；

步骤8：用公式2求得当前块组的量化步长Q_m；

步骤9：对当前块组帧内预测编码方法以量化步长Q_m对块组进行编码压缩。然后至步骤15；

步骤10：对模型参数进行固定值初始化，a₁取某个固定值，b₁取另一固定值；

步骤11：用公式2求得第一个块组的量化步长Q₁；

步骤12：对第一个块组相应帧内预测编码方法以量化步长Q₁对块组进行编码压缩；

步骤13：用公式4计算当第一个块组编码后的实际数据量和预先分配的数据量之相对差值Δr，然后判断Δr是否超出预先设定的阈值Th。如果Δr大于Th则跳转至步骤14，反之至步骤15；

步骤14：对第一个块组的模型参数a₁按照公式5进行修正，并跳转至步骤8重新确定量化步长；

步骤15：判断当前已编码块组是否为视频帧内的最后一个块组，如果是则跳转至步骤17，反之至步骤16；

步骤16：利用当前已编码后的块组的实际编码数据量Rr_m求得当前块组实际编码数据量和复杂度之比γ_m，并用Rr_m替换公式2中的Rt_m后用公式2求得实际a_m用于后续块组模型参数的预测估计。然后跳转至步骤5开始对下一个块组进行编码；

步骤17：转至下一视频帧的编码。

与现有技术相比，以上技术方案体现出的关键技术特点：

利用图像的复杂度分配块组目标编码数据量和确定块组的量化步长进行精确码率控制，且不利用图像序列中前后图像信息。

对编码图像中不同的块组可以使用不同的量化步长进行图像或视频编码。块组可以包含视频或图像编码中一个基本编码单元或多个相邻的基本编码单元，如在H.264编码标准中可以是1个或多个相邻的宏块，在HEVC编码标准中可以使1个或多个CTU。

采用公式2的模型确定编码块组的量化步长；对公式2中的模型参数a_m在m大于1时用当前块组的左侧，左上侧和上侧紧邻的已编码块组的真实a_m值和当图像或视频帧中第m个块组的实际编码数据量和复杂度之比γ_m进行预测估计。对公式2中的模型参数a_m在m大于1时用公式3进行计算；

第1个块组对应说明书中公式2模型参数a₁先采用固定值进行初始化；如果编码后的实际比特率和预先分配比特率之差大于预先设定的阈值，则对a₁用说明书中公式5进行修正，然后对第1个块组重新编码。

根据编码块组的复杂度对当前编码块组目标编码数据量用公式6进行分配。

附图说明

图1图像或视频帧内编码过程示意图

图2图像或视频帧的块组划分示意图

图3块组内像素点位置示意图

图4模型参数预测估计示意图

图5实施例中图像或视频帧内码率控制过程示意图

具体实施方式

本发明是在视频帧的块组级对码率进行精确控制，即不同块组可以采用不同的量化步长，因此可以实现精确码率控制，同时码率的模型参数不依赖于已编码帧，因此适合于对视频序列中的初始帧和场景的初始帧进行码率控制，不需要进行场景变换检测即可以实现精确的码率控制。

基于块的混合图像编码和视频帧内编码的基本编码过程如图1所示：

步骤1：读取图像或视频数据；

步骤2：将读入的图像或视频的一帧划分为块；

步骤3：利用当前图像中已编码重建的块或已编码块的原图像值对当前要编码的块值进行预测；

步骤4：计算当前块值和预测块值的残差；

步骤5：对残差进行变换，变换通常采用离散余弦变换或类似变换；

步骤6：对变换后数据进行量化；

步骤7：对量化后数据进行反变换；

步骤8：将反变换后的数据和预测块值相加；

步骤9：对相加后的值进行图像重建，此重建后的图像可用于步骤3的块值预测；

步骤10：对步骤6量化后的数据进行熵编码，进行无损压缩；

步骤11：对压缩后的数据进行存储或传输。

在上述基本编码过程中有大量的编码参数需要确定。其中和编码后数据量或单位时间内数据量即码率和图像或视频质量直接有关的是量化时采用的量化步长。量化步长通常通过用码率控制方法进行确定。

基于块的混合编码技术首先将编码图像或视频的当前编码帧划分的块进行分组，每一块组是由邻近的块组构成的矩形。在视频编码中这样的块组可以是一个或多个相邻的MB，或在HEVC中是一个或多个相邻的CTU。在本发明中每一个块组内的块编码时采用相同的量化步长。

在本发明中每一个块组的复杂度用邻近象素点间梯度的绝对值之和来描述。假设当前编码图像或视频帧中第m个块组为水平方向包含有M个像素点，垂直方向包含有N个像素点的矩形。m表示按照视频或图像中块组的编码次序第m个进行编码的块组，如图2所示。位于该块组内水平方向第i个位置，垂直方向第j个位置的像素点的取值记为：I_i,j，如图3所示。则第m个块组的复杂度用SG_m表示，为该块组相邻像素点间梯度的绝对值之和，由公式1求得

${\mathrm{SG}}_m=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|I_{i,j}-I_{i+1,j}|+|I_{i,j}-I_{i,j+1}|$ (公式1)

本发明的特点在于分配给当前编码块组的数据量和块组的复杂度之比和块组的量化步长之间的关系用公式2的模型进行描述。用Rt_m表示分配给第m个编码块组的数据量，则

$Q_m=\frac{\ln \frac{{\mathrm{Rt}}_m}{a_m{\mathrm{SG}}_m}}{b_m}$ (公式2)

公式2中Q_m为第m个块组量化时采用的量化步长，a_m和b_m为第m个块组的模型参数。在本发明的码率控制方法中，对m个块组编码时，先计算该块组的SG_m，然后用给定的Rt_m和确定的a_m和b_m利用公式2计算出第m个块组的量化步长Q_m，用该Q_m对第m个块组的残差变换值进行量化。

本发明的特点还在于公式2中的模型参数b_m采用固定值，而a_m从编码图像或当前视频编码帧中第2个块组开始用当前编码块组的左侧，左上侧和上侧紧邻的已编码块组的真实a_m值和当图像或视频帧中第m个块组的实际编码数据量和复杂度之比γ_m，即进行预测估计，如图4所示。Rr_m为第m个块组编码后的实际编码数据量。假设图像一行有W个块组，则预测估计采用公式3进行。

(公式3)假设当前编码块组为第m个块组。如果当前编码块组在第一行，则满足m＜W+1，只用编码块组左侧的紧邻已编码块组，即第m-1个块组进行预测估计；如果当前编码块组在图像最左侧，即第一列，则满足(m％W)＝＝0，只用编码块组上侧，即m-W个块组进行预测估计；对于其它位置的当前编码块组则用左侧，左上侧和上侧紧邻的已编码块组，即第m-1，m-W-1和m-W个块组，进行预测估计。完成对第m个块组编码后可以获得该块组实际编码数据量Rr_m，然后得到γ_m用于后续模型参数a_m的预测估计。

本发明中对于编码图像或视频当前编码帧中的第1个块组的公式2的模型参数a₁首先采用固定值进行初始化，当第1个块组编码后的实际数据量和预先分配的数据量之相对差值Δr大于某一阈值时，对初始化的模型参数a₁进行修正并对用修正模型参数后的模型重新确定量化步长，然后用新的量化步长对第1个块组重新进行编码。Δr的计算采用如下公式4进行，

$\mathrm{\Δr}=\frac{|{\mathrm{Rr}}_1-{\mathrm{Rt}}_1|}{{\mathrm{Rt}}_1}$ (公式4)

对a₁进行修正采用如下公式5进行，

$a_1=\frac{{\mathrm{\γ}}_1}{Q_1^{b_1}}$ (公式5)

公式5中γ₁为第1个块组采用固定值a₁进行实际编码后的实际编码数据量求得。

本发明的特点还在于根据编码块组的复杂度对当前编码块组目标编码数据量进行分配。假设当前图像或视频帧的目标编码数据量为T_F，则当前编码块组(第m个块组)的目标编码数据量为

${\mathrm{Rt}}_m=(T_F-{\mathrm{\Σ}}_{i=1}^{m-1}{\mathrm{Rr}}_i)\frac{{\mathrm{SG}}_m}{{\mathrm{SG}}_F-{\mathrm{\Σ}}_{i=1}^{m-1}{\mathrm{SG}}_i}$ (公式6)

公式6中SG_F是图像级复杂度，等于当前图像或视频帧中所有块组复杂度SG_m之和。

实施例1

本发明的方法可用于图像编码的码率控制或视频编码中帧内预测编码的码率控制。下面以HEVC作为实施例。

本发明的码率控制方法基本步骤如图5所示：

步骤1：开始当前视频帧或图像的编码；

步骤2：读取视频流的一帧图像；

步骤3：将当前视频帧进行块组划分。在HEVC编码中用一个CTU组成一个块组；

步骤4：计算视频帧中所有CTU的复杂度，求得SG_F和所有SG_m。SG_F通过将公式1中的M和N分别设为当前视频帧的水平像素点个数和垂直像素点个数，然后由公式1计算求得；；

步骤5:为当前编码的CTU分配编码后的目标数据量，以比特数为单位。设当前编码CTU为第m个块组，其目标比特数Rt_m可由公式6求得；

步骤6:判断当前编码CTU是否为第1个编码块组；如果是第1个编码块组则跳转到步骤10，反之到步骤7；

步骤7：用公式3预测估计当前模型参数a_m，b_m取固定值-0.9；

步骤8：用公式2求得当前CTU的量化步长Q_m。为了保证同一帧内图像质量的稳定对Q_m变化进行限幅，即Q_m相对Q_m-1变化不能大于两个QP值允许的范围；

步骤9：对当前CTU用HEVC帧内预测编码方法以量化步长Q_m对CTU进行编码压缩。然后至步骤15；

步骤10：对模型参数进行固定值初始化，a₁取固定值0.142，b₁取固定值-0.9；

步骤11：用公式2求得第一个CTU的量化步长Q₁；

步骤12：对第一个CTU用HEVC帧内预测编码方法以量化步长Q₁对CTU进行编码压缩；

步骤13：用公式4计算当第一个CTU编码后的实际数据量和预先分配的数据量之相对差值Δr，然后判断Δr是否超出预先设定的阈值Th。Th取0.3。如果Δr大于Th则跳转至步骤14，反之至步骤15；

步骤14：对第一个CTU的模型参数a₁按照公式5进行修正，并跳转至步骤8重新确定量化步长；

步骤15：判断当前已编码CTU是否为视频帧内的最后一个CTU，如果是则跳转至步骤17，反之至步骤16；

步骤16：利用当前已编码后的CTU的实际编码数据量Rr_m求得当前CTU实际编码数据量和复杂度之比γ_m，并用Rr_m替换公式2中的Rt_m后用公式2求得实际a_m用于后续CTU模型参数的预测估计。然后跳转至步骤5开始对下一个CTU进行编码；

步骤17：转至下一视频帧的编码。

采用本发明的码率控制方法可以对HEVC的帧内编码码率进行精确控制。和HEVC标准的参考软件相比本发明对帧内编码的码率控制更加精确，能有效地降低编码器缓存的占用率。

本发明的码率控制方法还可以用于MPEG-1，MPEG-2，MPEG-4，MPEG-4AVC/H.264和AVS等基于块的混合视频编码或图像编码中。

Claims (2)

1.一种帧内编码的码率控制方法，其特征在于，将一帧图像划分为块组，然后利用块组内邻近象素点间梯度的绝对值之和描述块组的复杂度，并用编码数据量和复杂度之比的指数模型来确定块组的量化步长，从而实现块组级别的码率控制以达到精确控制码率。

2.如权利要求1所述的帧内编码的码率控制方法，其特征在于，具体步骤包括：

步骤1：开始当前视频帧或图像的编码；

步骤2：读取视频流的一帧图像；

步骤3：将编码图像或视频的当前编码帧划分的块进行分组，每一块组是由邻近的块组构成的矩形，每一个块组内的块编码时采用相同的量化步长；

步骤4：计算视频帧中所有块组的复杂度，求得SG_F和所有SG_m。SG_F通过将公式1中的M和N分别设为当前视频帧的水平像素点个数和垂直像素点个数，然后由公式1计算求得；

步骤5:为当前编码的块组分配编码后的目标数据量Rt_m，以比特数为单位。设当前编码块组为第m个块组，其目标比特数Rt_m可由公式6求得；

步骤6:判断当前编码块组是否为第1个编码块组；如果是第1个编码块组则跳转到步骤10，反之到步骤7；

步骤7：用公式3预测估计当前模型参数a_m，b_m取固定值；

步骤8：用公式2求得当前块组的量化步长Q_m；

步骤9：对当前块组帧内预测编码方法以量化步长Q_m对块组进行编码压缩；然后至步骤15；

步骤10：对模型参数进行固定值初始化，a₁取某个固定值，b₁取另一固定值；

步骤11：用公式2求得第一个块组的量化步长Q₁；

步骤12：对第一个块组相应帧内预测编码方法以量化步长Q₁对块组进行编码压缩；

步骤13：用公式4计算当第一个块组编码后的实际数据量和预先分配的数据量之相对差值Δr，然后判断Δr是否超出预先设定的阈值Th；如果Δr大于Th则跳转至步骤14，反之至步骤15；

步骤14：对第一个块组的模型参数a₁按照公式5进行修正，并跳转至步骤8重新确定量化步长；

步骤15：判断当前已编码块组是否为视频帧内的最后一个块组，如果是则跳转至步骤17，反之至步骤16；

步骤16：利用当前已编码后的块组的实际编码数据量Rr_m求得当前块组实际编码数据量和复杂度之比γ_m，并用Rr_m替换公式2中的Rt_m后用公式2求得实际a_m用于后续块组模型参数的预测估计；然后跳转至步骤5开始对下一个块组进行编码；

步骤17：转至下一视频帧的编码。