CN107105240B - 一种hevc-scc复杂度控制方法及其系统 - Google Patents

Abstract

本发明提出了一种HEVC‑SCC复杂度控制方法及其系统，以解决现阶段没有针对HEVC‑SCC复杂度控制的研究的现状。本发明包括：设定目标视频序列编码所需总时长；计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否对下一帧编码时进行复杂度控制。

Description

一种HEVC-SCC复杂度控制方法及其系统

技术领域

本发明涉及视频编码解码领域，尤其涉及一种HEVC-SCC复杂度控制方法及其系统。

背景技术

在我们的生活中涌现了这样一些扩展应用，如无线显示、娱乐系统、远程桌面、远程游戏、桌面共享、远程教育、视频会议等应用。这些应用自然而然的产生更多的视频内容，这类视频与以往的摄像头捕捉的视频有些不同，它们包括由自然图像、计算机图形、无线显示、平板电脑和汽车显示、屏幕共享等混合显示内容。这些应用的视频内容的类型包括包含自然图像内容在内的大量静止或者运动的电脑图形图像和文本。鉴于这些应用的发展，HEVC也在进行不断地扩展与完善，加入了新的工具，JCT-VC视频编码标准组2014年4月在评估各种提案技术后，把HEVC扩展成了新的编码标准——HEVC的屏幕内容编码(Screencontent coding,SCC)标准，2014年7月HEVC屏幕内容编码草案1正式颁布。HEVC-SCC的性能与现存的HEVC版本相比，针对屏幕内容视频序列，在相同的失真下能节省更多的比特速率。HEVC-SCC在很大程度上提高了屏幕内容视频的压缩率，在另外一方面，加入的新的技术更加增加了编码器的复杂度。已有的快速算法可以加快编码效率，但是一般要求视频质量的损失在BDBR为3％以下，而在实际应用中，需要实时调控每一帧的编码复杂度，有时需要损失较大的图像视频质量，因此用传统的快速编码算法并不具备实时性，不能达到复杂度控制的目的。然而到目前为止并没有出现基于HEVC-SCC的复杂度控制的研究，为了更好的推进HEVC屏幕内容编码的发展与实际应用，研究其复杂度控制方法具有重大意义的，并且迫在眉睫。

目前，屏幕内容视频已经大量涌现，已有的基于HEVC屏幕内容快速算法，都只考虑3％以内的质量损失来加大压缩效率，但是在实际的应用中，HEVC-SCC的复杂度很大，需要损失较大的图像质量已达到实时性，因此无法达到实际应用的需求。目前还没有出现基于HEVC-SCC复杂度控制的研究。

发明内容

本发明目的在于提供一种HEVC-SCC复杂度控制方法及其系统，以解决现有HEVC-SCC复杂度控制研究空缺的现状。

为实现上述目的，本发明提供了一种HEVC-SCC复杂度控制方法，包括以下步骤：

设定目标视频序列编码所需总时长；

计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；

通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否对下一帧编码时进行复杂度控制。

进一步地，根据已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制的具体过程为：

若T_bef≥1.1T_aft，经过深度范围优化后通过模式选择算法加大复杂度的控制；

若T_bef>T_aft且T_bef≤1.1T_aft，通过模式选择算法加大复杂度的控制；

若T_bef<T_aft，不需要进行复杂度控制，其中T_bef为已编码帧每一帧所耗平均时间，T_aft为未编码帧每一帧所需平均时间。

进一步地，深度范围优化的步骤为：

统计前一帧CU的深度范围[D_min，D_max]及深度层次个数N_d；

若N_d＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使N_d＝2；

当N_d＞1时，若D_cur＜D_max，跳过当前CU层RDO的计算到下一层，直至D_cur＝D_max，完成复杂度控制。

进一步地，模式选择算法的具体过程为：

当D_cur＝1时，跳过IntraBC模式，当D_cur＝3时，跳过Normal Intra模式，当D_cur＝2时，同时跳过IntraBC模式和Normal Intra模式。

依托上述方法，一种HEVC-SCC复杂度控制系统，包括条件设置模块、编码时间计算模块和决策模块，其中：

条件设置模块用于设定目标视频序列编码所需总时长；

编码时间计算模块用于计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；

决策模块用于通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制。

进一步地，决策模块中包括第一任务执行单元、第二任务执行单元和第三任务执行单元，其中：

第一任务执行单元用于根据已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制：

若T_bef≥1.1T_aft，经过深度范围优化后通过模式选择算法加大复杂度的控制；

若T_bef>T_aft且T_bef≤1.1T_aft，通过模式选择算法加大复杂度的控制；

若T_bef<T_aft，不需要进行复杂度控制，其中T_bef为已编码帧每一帧所耗平均时间，T_aft为未编码帧每一帧所需平均时间。

第二任务执行单元用于对深度范围进行优化，对深度范围进行优化的步骤为：

统计前一帧CU的深度范围[D_min，D_max]及深度层次个数N_d；

若N_d＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使N_d＝2；

当N_d＞1时，若D_cur＜D_max，跳过当前CU层RDO的计算到下一层，直至D_cur＝D_max，完成复杂度控制。

第三任务执行单元用于执行模式选择算法，执行模式选择算法的具体过程为：

当D_cur＝1时，跳过IntraBC模式，当D_cur＝3时，跳过Normal Intra模式，当D_cur＝2时，同时跳过IntraBC模式和Normal Intra模式。

本发明具有以下有益效果：

对于HEVC-SCC编码标准，提出了帧内复杂度控制算法，通过提出的帧内复杂度算法有效的控制了编码时间复杂度，使目标时间复杂度和控制后的时间控制度基本吻合，在控制时间复杂度的同时，保证了视频的图像质量。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例执行于客户端的一种HEVC-SCC复杂度控制方法流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1：

如图1所示，一种HEVC-SCC复杂度控制方法，包括以下步骤：

步骤S1、设定目标视频序列编码所需总时长。首先给定目标视频序列的时间复杂度T_tar，即编码所需总时长。时间复杂度T_tar可以根据未进行复杂度控制时的时间复杂度T_org为参考，计算方法如公式4-1所示。

T_tar＝λT_org (公式4-1)

λ可以取90％、80％、70％、60％等以及根据所需时间复杂度T_tar进行取值。

步骤S2、计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间。计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间T_bef以及所有未编码帧里每一帧所需编码时间T_aft，计算方法如公式4-2和公司4-3所示，其中T₀为已编码总时间，N_bef为已编码帧数，N_all为需编码总帧数。

步骤S3、通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制。根据T_bef与T_aft来进行判断，决定是否下一帧编码时进行复杂度控制。

进一步地，根据已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否下一帧编码时进行复杂度控制的具体过程为：

若T_bef≥1.1T_aft，经过深度范围优化后通过模式选择算法加大复杂度的控制。此时已编码帧编码所耗的平均时间过大，需要减少的编码时间也比较大，因此需要加大复杂度控制，缩短编码时间。这就需要对深度范围进行优化再进行模式选择算法对复杂度进行控制。

若T_bef>T_aft且T_bef≤1.1T_aft，通过模式选择算法加大复杂度的控制。此时已编码帧编码所耗的平均时间相比较于未编码帧计算所得的预测平均编码时间稍大，但并不明显。因此可以直接运用模式选择算法对复杂度进行控制。

若T_bef<T_aft，不需要进行复杂度控制。因为已编码帧所耗的平均时间比计算所得的未编码帧所选平均编码时间短，因此判断为不需要进行复杂度控制，结束复杂度控制的过程。

由于视频文件每一帧在时间上的相关性，使得相邻帧当前CU和其同位置CU的深度有很强的相关性。因此在编码时，通过记录当前帧每个CTU的深度分布情况，可以推测出下一帧相对应位置的深度范围。而各个CU层所占时间复杂度各不相同，因此可以通过跳过不同CU深度的RDO计算，缩短编码时间。

进一步地，深度范围优化的步骤为：

步骤S4：统计前一帧CU的深度范围[D_min，D_max]及深度层次个数N_d。统计前一帧编码后每个CTU块中CU的深度范围[D_min，D_max]以及深度层次个数N_d。N_d的计算方法如公式4-4所示。

N_d＝D_max-D_min+1 (公式4-4)

步骤S5、若N_d＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使N_d＝2。当前CU只包括一层深度时，将该深度下一次层度添加进当前CU的深度范围里。

步骤S6、当N_d＞1时，若D_cur＜D_max，跳过当前CU层RDO的计算到下一层，直至D_cur＝D_max，完成深度范围优化。当前CU包括多层深度时，跳过深度层次较小的层的RDO计算，仅保留深度层次最深的层次。

表1和表2分别统计了当前帧内编码模式为IntraBC模式和Normal Intra模式时CU深度的分布情况，由表可知，深度较大的块选择IntraBC模式的概率较大，深度较小的块选择NormalIntra模式的概率较大。而帧内预测各个模式占用的复杂度也比较大，因此可以通过跳过IntraBC模式和/或Normal Intra模式达到控制编码时间的目的。

表1

表2

进一步地，模式选择算法的具体过程为：

当D_cur＝1时，跳过IntraBC模式，当D_cur＝3时，跳过Normal Intra模式，当D_cur＝2时，同时跳过IntraBC模式和Normal Intra模式。

综上，对于HEVC-SCC编码标准，提出了帧内复杂度控制算法，通过提出的帧内复杂度算法有效的控制了编码时间复杂度，使目标时间复杂度和控制后的时间控制度基本吻合，再控制时间复杂度的同时，保证了视频的图像质量。

依托上述方法，一种HEVC-SCC复杂度控制系统，包括条件设置模块、编码时间计算模块和决策模块，其中：

条件设置模块用于设定目标视频序列编码所需总时长；

编码时间计算模块用于计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；

决策模块用于通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制。

进一步地，决策模块中包括第一任务执行单元、第二任务执行单元和第三任务执行单元，其中：

第一任务执行单元用于根据已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制：

若T_bef≥1.1T_aft，经过深度范围优化后通过模式选择算法加大复杂度的控制；

若T_bef>T_aft且T_bef≤1.1T_aft，通过模式选择算法加大复杂度的控制；

若T_bef<T_aft，不需要进行复杂度控制，其中T_bef为已编码帧每一帧所耗平均时间，T_aft为未编码帧每一帧所需平均时间。

第二任务执行单元用于对深度范围进行优化，对深度范围进行优化的步骤为：

统计前一帧CU的深度范围[D_min，D_max]及深度层次个数N_d；

若N_d＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使N_d＝2；

当N_d＞1时，若D_cur＜D_max，跳过当前CU层RDO的计算到下一层，直至D_cur＝D_max，完成复杂度控制。

第三任务执行单元用于执行模式选择算法，执行模式选择算法的具体过程为：

当D_cur＝1时，跳过IntraBC模式，当D_cur＝3时，跳过Normal Intra模式，当D_cur＝2时，同时跳过IntraBC模式和Normal Intra模式。

综上，本实施例对于HEVC-SCC编码标准，提出了帧内复杂度控制算法，通过提出的帧内复杂度算法有效的控制了编码时间复杂度，使目标时间复杂度和控制后的时间控制度基本吻合，再控制时间复杂度的同时，保证了视频的图像质量。

实施例2：

本实施例选取了2组测试序列，测试序列分别为RGB和YUV格式，分辨率分别为1080p和720p，帧率有60，30，24，20四种。采用本发明的HEVC-SCC复杂度控制算法进行仿真，仿真结果如表3所示

表3

表中ΔBR和ΔPSNR是反映图像质量的性能指标，使用复杂度控制算法的编码器编码得到的视频相对于原编码器得到的视频在码率和PSNR上的变化情况，ΔBR为正即比特率上升代表图像质量下降，反之代表图像质量得到改善；ΔPSNR为正代表图像质量上升，反之图像质量下降。TS表示未使用复杂度控制算法的所节省的编码时间，该值越接近原始时间复杂度和目标时间复杂度的差值，该复杂度控制算法的效果越好。

从该表可以看出，本发明设计的算法对视频编码过程进行时间复杂度控制，在达到了事先设定的目标时间复杂度的前提下，视频的图像质量基本不变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种HEVC-SCC复杂度控制方法，其特征在于，包括以下步骤：

设定目标视频序列编码所需总时长；

计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；

通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否对下一帧编码进行复杂度控制，通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否对下一帧编码进行复杂度控制的具体过程为：

若Tbef≥1.1Taft，经过深度范围优化后通过模式选择算法加大复杂度的控制；

若Tbef>Taft且Tbef≤1.1Taft，直接通过模式选择算法加大复杂度的控制；

若Tbef<Taft，不需要进行复杂度控制，其中Tbef为已编码帧每一帧所耗平均时间，Taft为未编码帧每一帧所需平均时间；

所述模式选择算法的具体过程为：

当Dcur＝1时，跳过IntraBC模式，当Dcur＝3时，跳过Normal Intra模式，当Dcur＝2时，同时跳过IntraBC模式和Normal Intra模式。

2.根据权利要求1所述的一种HEVC-SCC复杂度控制方法，其特征在于，所述深度范围优化的步骤为：

统计前一帧CU的深度范围[Dmin，Dmax]及深度层次个数Nd；

若Nd＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使Nd＝2；

当Nd＞1时，若Dcur＜Dmax，跳过当前CU层RDO的计算到下一层，直至Dcur＝Dmax，完成复杂度控制。

3.一种HEVC-SCC复杂度控制系统，其特征在于，包括以下模块：

条件设置模块：用于设定目标视频序列编码所需总时长；

编码时间计算模块：用于计算当前帧编码完成后所有已编码帧里每一帧的平均编码时间以及所有未编码帧里每一帧所需编码时间；

决策模块：用于通过比较已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制；所述决策模块中包括第一任务执行单元，所述第一任务执行单元用于根据已编码帧每一帧的平均编码时间和未编码帧每一帧所需编码时间决定是否进行复杂度控制：

若Tbef≥1.1Taft，经过深度范围优化后通过模式选择算法加大复杂度的控制；

若Tbef>Taft且Tbef≤1.1Taft，通过模式选择算法加大复杂度的控制；

若Tbef<Taft，不需要进行复杂度控制，其中Tbef为已编码帧每一帧所耗平均时间，Taft为未编码帧每一帧所需平均时间；

所述决策模块中包括第三任务执行单元，所述第三任务执行单元用于执行模式选择算法，执行模式选择算法的具体过程为：

当Dcur＝1时，跳过IntraBC模式，当Dcur＝3时，跳过Normal Intra模式，当Dcur＝2时，时跳过IntraBC模式和Normal Intra模式。

4.根据权利要求3所述的一种HEVC-SCC复杂度控制系统，其特征在于，所述决策模块中包括第二任务执行单元，所述第二任务执行单元用于对深度范围进行优化，对深度范围进行优化的步骤为：

统计前一帧CU的深度范围[Dmin，Dmax]及深度层次个数Nd；

若Nd＝1时，将当前帧的CU深度的下一层深度加入CU的深度范围中，使Nd＝2；

当Nd＞1时，若Dcur＜Dmax，跳过当前CU层RDO的计算到下一层，直至Dcur＝Dmax，完成复杂度控制。

Images