CN109819249A

CN109819249A - 针对屏幕编码的低复杂度帧内模式预测方法

Info

Publication number: CN109819249A
Application number: CN201910049276.1A
Authority: CN
Inventors: 张秋闻; 赵进超; 马江涛; 魏帅超; 魏涛; 王晓; 常化文; 吴庆岗; 张伟伟; 黄立勋; 丁汉清; 蒋斌
Original assignee: Zhengzhou University of Light Industry
Current assignee: Zhengzhou University of Light Industry
Priority date: 2019-01-18
Filing date: 2019-01-18
Publication date: 2019-05-28

Abstract

本发明提供了一种针对屏幕编码的低复杂度帧内模式预测方法，包括：基于SC树状体亮度值的变化程度，对SC树块进行分类，其中，SC树块的分类包括均匀区域、中等纹理区域和复杂纹理区域；根据SC树块所属的类别，确定其对应的最佳深度范围；根据SC树块所属的类别，自适应确定出候选帧内模式；从所述候选帧内模式中筛选最佳帧内模式。通过本发明的技术方案，能够实现编码时间的进一步缩减。

Description

针对屏幕编码的低复杂度帧内模式预测方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种针对屏幕编码的低复杂度帧内模式预测方法。

背景技术

随着无线显示技术和移动技术的发展，屏幕内容(SC)视频近年来越来越受到关注，SC不同于传统的摄像捕捉图像，它混合了图像、文本和自然视频的内容，在同一幅图像中具有更高的分辨率，针对这些不同的特点，最近JCT-VC对SC标准进行了研究，自2014年3月以来形成了高效视频编码-屏幕内容编码(HEVC-SCC)。

在HEVC-SCC中，为了提高SC视频的编码效率，增加了额外的编码工具IBC即帧内块拷贝和PLT即调色板编码模式等。在这里，IBC是一种使用固定大小的块匹配方法，用于更好的SC视频压缩，类似于帧间预测估计。PLT是编码单元(CU)中的示例，它由代表颜色值的小集合表示。这些新加入的帧内模式工具可以实现良好的率失真(RD)性能，但也带来了很大的计算复杂度。因此，需要在不影响RD效率的情况下开发快速帧内模式决策算法。

为了降低视频编码的复杂度，大量的快速编码方法虽然实现了显著的时间节约，但是，这些方法只考虑了真实摄像机所捕获的自然视频，对屏幕内容编码所独有的信号特性没有深入研究。屏幕内容视频通常包括较少的尖锐边缘，鲜明的颜色，不规则的运动和复杂的局部纹理。传统的快速编码并不适用于HEVC-SCC，降低复杂度本质上与HEVC-SCC新的帧内预测结构有关。

为了加快基于CU活跃度和常规的模式成本的HEVC-SCC编码过程，D.Kwon和M.Budagavi研究了快速块拷贝搜索技术，提出了一种基于编码比特的快速内部划分方法，减少了预测模式的数量，并采用了一些规则来确定CU划分。采用基于哈希的块匹配方法，B.Li和J.Xu利用自适应运动精度方法减少HEVC-SCC编码器的计算负载，为了减少变换过程中的剩余编码复杂度，D.Lee，S.Yang,H.J.Shim和B.Jeon设计了一种快速模式决策算法，其提出了一种基于平滑区域的快速帧内编码方法，通过跳过IBC和PLT模式来加快编码速度，V.Sanchez使用一种快速的内部预测方法，将帧内模式的总数从35个减少到了3个，Z.Ma等人利用块搜索大小和时间相关性，为HEVC-SCC编码器提供了快速的内部匹配和块匹配。然而，这些方法大多只对特定的模式决策进行优化，而对HEVC-SCC中模式预测和分区特征之间的信息没有进行充分的研究。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的针对屏幕编码的低复杂度帧内模式预测方法，能够实现编码时间的进一步缩减。

有鉴于此，本发明提出了一种新的针对屏幕编码的低复杂度帧内模式预测方法，包括：基于SC树状体亮度值的变化程度，对SC树块进行分类，其中，SC树块的分类包括均匀区域、中等纹理区域和复杂纹理区域；根据SC树块所属的类别，确定其对应的最佳深度范围；根据SC树块所属的类别，自适应确定出候选帧内模式；从所述候选帧内模式中筛选最佳帧内模式。

在该技术方案中，通过利用SC树状体亮度值的变化程度来对SC进行分类，并根据分类结果进行最佳深度范围和候选帧内模式的确定，基于对HEVC-SCC中模式预测和分区特征之间的信息的充分研究，大大节省了编码时间。

在上述技术方案中，优选地，所述基于SC树状体亮度值的变化程度，对SC树块进行分类的步骤，具体包括：基于以下公式确定所述SC树状体亮度值的变化程度：其中，LV代表当前SC树块的不同亮度参数，(i,j)代表当前SC树块的坐标位置，L_r(i,j)代表当前SC树块位于(i,j)时的亮度值，L_a(x,y)代表当前预测单元的平均亮度值，当前预测单元的亮度值变化与LV的值呈正相关关系；基于LV与纹理权重因子S_h和S_c之间的关系，对SC树块进行分类：

在上述任一项技术方案中，优选地，所述根据SC树块所属的类别，确定其对应的最佳深度范围的步骤，具体包括：当SC树块属于均匀区域时，其对应的最佳深度范围为0到1；当SC树块属于中等纹理区域时，其对应的最佳深度范围为0到2；当SC树块属于复杂纹理区域时，其对应的最佳深度范围为2到3。

在上述任一项技术方案中，优选地，所述根据SC树块所属的类别，自适应确定出候选帧内模式的步骤，具体包括：当SC树块属于均匀区域时，其对应的候选帧内模式为Planar模式和DC模式；当SC树块属于中等纹理区域时，其对应的最佳候选帧内模式为IBC模式、Planar模式、DC模式、Horizontal模式和Vertical模式；当SC树块属于复杂纹理区域时，其对应的候选帧内模式为除Planar模式和DC模式外的其他模式。

通过以上技术方案，基于对HEVC-SCC中模式预测和分区特征之间的信息的充分研究，大大节省了编码时间。

附图说明

图1示出了根据本发明的实施例的针对屏幕编码的低复杂度帧内模式预测方法的示意流程图；

图2示出了HEVC-SCC帧内模式预测的运行时间分析图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

为实现编码时间的进一步缩减，考虑可基于对HEVC-SCC中模式预测和分区特征之间的信息的充分研究来实现，具体地，利用树块中亮度值的变化程度来指导当前CU的纹理复杂性特征，并调整HEVC-SCC编码器的模内预测策略。然后HEVC-SCC的所有深度和内部模式都被划分为三种类型，并使用不同类型的SC树块来分配不同的模式。

具体地，可分为两大步骤：早期预测单元深度决策和自适应帧内模式选择。

在早期预测单元深度决策这个过程中，为了减轻编码的负担，对于快速预测单元深度的范围进行了研究。HEVC-SCC使用最大树块大小为64，CU深度范围为0–3，在HEVC-SCC中，CU深度水平在整个编码过程有一个固定的范围。实际上，对于静态区域的树状块来说，小深度层比较合适，而对于运动区域比较复杂的树状块，大深度层比较合适。可以看到，静态区域中的CUs深度级别值“0”出现地非常频繁。另一方面，对于具有复杂运动区域的CUs，很少选择深度值“0”。结果表明，HEVC-SCC的深度范围应根据SC树块的复杂性特性自适应确定。

在自适应帧内模式选择这个过程中，对IBC和PLT模式的测试成为HEVC-SCC编码过程中计算最密集的部分。因此，在保持几乎相同的RD性能的同时，应该显著降低IBC和PLT模式的复杂性。在目前的HEVC-SCC中，两种新开发的模式：IBC和PLT模式主要用于SC视频的有效压缩，而对于均匀纹理区域这两种模式效率较低，反而传统的HEVC内部模式(Planar模式和DC模式)可以很好地工作。在同一帧中IBC模式将重构区域中的树块复制，这是一种类似于块间匹配的编码工具。用块向量从区域中复制出重复的模式，这主要适用于纹理复杂、边缘锋利的区域。类似地，对于PLT模式，创建两个表来在调色板预测器上存储主要色彩。这对于主要色彩的块是有效的。据此，如果当前的树块位于均匀的区域，HEVC-SCC中的大多数帧内模式都应该被跳过。在传统的HEVC帧内编码中，对于样本值变化缓慢的树状块，通常选择Planar模式和DC模式作为最佳模式。可以看出，当最佳模式为平面模式和DC模式时，树块很可能是简单或均匀的区域。同时，IBC和PLT模式都是为屏幕内容视频转换而设计的，对于均匀区域压缩效率较低。因此，大部分的IBC和PLT模式搜索在均匀区域中可以被跳过。

具体过程如图1所示，包括以下步骤：

步骤102，基于SC树状体亮度值的变化程度，对SC树块进行分类，其中，SC树块的分类包括均匀区域、中等纹理区域和复杂纹理区域。

在步骤102之前，启动对SC树块的帧内模式预测，步骤102具体包括：

(1)、由于SC树块具有相似的空间特征，并且其纹理复杂性与其亮度值密切相关，故对这种相关性进行描述。

(2)、为了描述这种相关性，本申请定义SC树状体亮度值的变化程度如下：

其中，LV代表当前SC树块的不同亮度参数，(i,j)代表当前SC树块的坐标位置，L_r(i,j)代表当前SC树块位于(i,j)时的亮度值，L_a(x,y)代表当前预测单元的平均亮度值，当前预测单元的亮度值变化与LV的值呈正相关关系，如当前预测单元的亮度值变化非常剧烈，相应地LV的值也会很大。

(3)、通常来说，SC树块越复杂，其值越大。根据LV，将每个SC树块划分为均匀、中间或复杂纹理区域，具体如下：

其中，S_h和S_c是纹理权重因子。

步骤104，根据SC树块所属的类别，确定其对应的最佳深度范围。

步骤104具体包括：

(1)、类似于HEVC的联合模型，HEVC-SCC编码使用所有可能的深度层次进行复杂的RD优化，以找到RD成本最低的深度层次，故HEVC-SCC对每个SC树块进行了“测试所有选出最佳”的方法，但是这种技术导致了非常高的计算复杂度，且详尽的SCC固定深度范围压缩效率很低，因此快速选择CU深度范围对于HEVC-SCC编码器是很有必要的。

(2)、HEVC-SCC使用最大树块大小为64，CU深度范围为0-3。在HEVC-SCC中，CU深度水平在整个编码过程使用固定的范围。在实际应用中，对于静态区域的树块来说，小的深度比较合适，而对于运动区域比较复杂的树块，大的深度比较合适。一方面，静态区域中的预测单元深度值“0”出现地非常频繁。另一方面，对于复杂运动区域的预测单元，很少选择“0”的深度值。所以HEVC-SCC的深度范围应根据SC树块的复杂特性自适应决定。

(3)、为三种类型的SC树块选择最佳的深度范围。根据表1可知三种类型的树块HEVC-SCC的深度水平分布，“Depth 0”，“Depth 1”，“Depth 2”和“Depth 3”为SC树块的深度值：

表1

以下分为(a)(b)(c)三种情况进行说明：

(a)、对于均匀区域的树块，约有61.2％选择最优深度为“0”(预测单元大小为64×64)，以及34.0％的SC树块选择最佳深度为“1”(预测单元大小为32×32)。据此，在此区域中将最大深度值设置为“1”，对于深度值为“2”和“3”(预测单元大小为16×16和8×8)的帧内模式预测由于数量不足5％故可以跳过。

(b)、对于中等纹理区域的树块，约有94.6％的树块选择深度值为“0”,“1”和“2”(预测单元大小为64×64,32×32,16×16)。据此，在此区域中将最小深度值设置为“0”，最大深度值设置为“2”，这样可以囊括94.6％的SC树块。

(c)、对于复杂纹理区域的树块，树块选择深度值为“2”和“3”(预测单元大小为16×16，8×8)的概率超过了91.6％，由此深度值为“0”和“1”可以被跳过。可将最佳深度范围设置为2到3。

(4)、表2给出了在HEVC-SCC中测试三种SC树块的最佳深度级别：

表2

在早期深度水平范围决策层算法中，HEVC-SCC预测中的大部分SC树块可以跳过一个或两个测试深度值。

步骤106，根据SC树块所属的类别，自适应确定出候选帧内模式。

步骤106具体包括：

(1)、在HEVC-SCC编码中，添加了两种新的内部模式，即IBC和PLT模式，这两种模式用于屏幕内容编码。与传统的HEVC帧内模式决策相比，在HEVC帧内模式预测中选出最好的一个之后，在HEVC-SCC编码中加入了所有的IBC和PLT模式。这种方法使得计算复杂度非常高。

(2)、图2为HEVC-SCC帧内模式预测的运行时间分析图。从图2中可以看出，传统的HEVC帧内模式和IBC模式产生了大量的计算复杂度。PLT模式在所有深度层次上的利用率都较低。深度水平为0的PLT模式计算是徒劳的，因为PLT模式在预测单元大小64×64的编码单元是无用的。此外，随着CU深度值的增加，IBC模式的利用率增加。故大深度值的预测单元有更高的可能性找到精确的匹配。此外，新开发的工具(IBC和PLT模式)占HEVC-SCC帧内模式编码时间的56％，而传统的HEVC仅占44％。据此，在HEVC-SCC编码中，对IBC和PLT模式的测试成为计算最密集的部分。因此，在保持几乎相同的RD性能的同时，应该显著降低IBC和PLT模式的复杂性。

(3)、在目前的HEVC-SCC中，两种新开发的模式：IBC和PLT模式主要用于屏幕视频的有效压缩，而对于均匀纹理区域可能效率较低，传统的HEVC帧内模式(平面模式和直流模式)可以起到不错的效果。IBC模式将重构区域中的树块复制到同一帧中，这是一种类似于块匹配的编码工具。用块向量从区域复制出重复模式。对于纹理复杂、边缘锋利的区域效果显著。类似地，对于PLT模式，创建两个表来在调色板预测器上存储主要颜色。对于主要颜色的块是有效的。

(4)、当前树块位于均匀区域时，HEVC-SCC中的大多数帧内模式都应该被跳过。在传统的HEVC帧内编码中，对于样本值变化缓慢的树块，通常选择Planar模式和DC模式作为最佳模式。可以看出，在HEVC-SCC全成本计算表中，当最佳模式为Planar模式和DC模式时，树块很可能是简单或均匀的区域。同时，IBC和PLT模式都是为屏幕内容视频转换而设计的，对于均匀区域压缩效率较低。因此，大部分的IBC和PLT模式搜索可以在均匀区域中跳过。

(5)、基于这些观察，在HEVC-SCC编码中，如果一个树块包含均匀区域，那么只选择Planar和DC模式作为候选的帧内模式。表3给出了均匀区域的树块跳过Horizontal模式、Vertical模式和Angular模式2-9、11-25、27-34、IBC模式和PLT模式的精度。所提出的选择方法精度较高，准确率在98.3％以上(从98.3％到99.72％)。虽然该算法在跳过IBC模式时遗漏了一些情况，但在HEVC-SCC中仍选择PLT模式作为最佳模式，漏报率可以忽略，小于1.7％：

序列	QP＝20(％)	QP＝25(％)	QP＝30(％)	QP＝35(％)
					sc_fllyingGraphics	98.5	98.9	99.2	99.5
sc_desktop	97.8	98.2	98.8	99.2
					sc_console	98.2	98.7	99.1	99.3
ChineseEditing	97.6	98.4	98.7	99.1
					MissionControlClip3	98.9	99.1	99.3	99.5
EBURainFruits	99.2	99.5	99.7	99.7
					Kimonol	97.8	98.4	98.7	98.9
sc_web_browsing	98.1	98.5	98.8	99.0
					sc_map	97.6	98.2	98.5	98.7
sc_programming	97.9	98.4	98.7	98.8
					sc_SlideShow	98.2	98.6	98.9	99.2
sc_robot	98.3	98.7	98.9	99.1
					Basketball_Screen	98.9	99.2	99.4	99.5
MissionControlClip2	98.6	99.1	99.3	99.4
					平均	98.3	98.7	99.0	99.2

表3

(6)、表4和表5分别显示了树块在中等纹理和复杂纹理区域的帧内模式分布：

表4

表5

从表4可以观察到：中间纹理区域的树块选择IBC模式、Planar模式、DC模式、Horizontal模式、以及Vertical模式的概率分别为13.9％、26.3％、14.0％、18.2％和20.4％，PLT模式的平均概率和其他帧内模式还不到4.9％。对于“eburainfruit”和“Kimono1”的序列，选择IBC模式的百分比非常低，为2.5％，因为它是摄像头捕获的内容，IBC模式是为计算机生成的内容编码而开发的。最佳的帧内模式(IBC、Planar、DC、Horizontal和Vertical模式)覆盖了92.6％的候选模式。因此，从表4可以得出，在HEVC-SCC编码中，处于中等纹理区域的树块会选择IBC模式,Planar模式、DC模式、Horizontal模式以及Vertical模式。对于复杂纹理区域的树块，在表5中，选择Planar模式和DC模式的概率不超过2.8％，IBC、PLT、Horizontal、Vertical等帧内模式的总概率为95.8％，因此在复杂纹理区域不需要进行Planar和DC模式的测试。

步骤108，从所述候选帧内模式中筛选最佳帧内模式。

下面对几个屏幕视频序列编码进行测试实验，在JVT提供的屏幕内容编码系统平台运行。实验数据表明，该方法可以显著降低HEVC-SCC作为原始编码器的编码时间，且屏幕视频质量损失极小，具体实验结果表6所示：

表6

以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种新的针对屏幕编码的低复杂度帧内模式预测方法，基于对HEVC-SCC中模式预测和分区特征之间的信息的充分研究，大大节省了编码时间。

上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种针对屏幕编码的低复杂度帧内模式预测方法，其特征在于，包括：

基于SC树状体亮度值的变化程度，对SC树块进行分类，其中，SC树块的分类包括均匀区域、中等纹理区域和复杂纹理区域；

根据SC树块所属的类别，确定其对应的最佳深度范围；

根据SC树块所属的类别，自适应确定出候选帧内模式；

从所述候选帧内模式中筛选最佳帧内模式。

2.根据权利要求1所述的针对屏幕编码的低复杂度帧内模式预测方法，其特征在于，所述基于SC树状体亮度值的变化程度，对SC树块进行分类的步骤，具体包括：

基于以下公式确定所述SC树状体亮度值的变化程度：

其中，LV代表当前SC树块的不同亮度参数，(i,j)代表当前SC树块的坐标位置，L_r(i,j)代表当前SC树块位于(i,j)时的亮度值，L_a(x,y)代表当前预测单元的平均亮度值，当前预测单元的亮度值变化与LV的值呈正相关关系；

基于LV与纹理权重因子S_h和S_c之间的关系，对SC树块进行分类：

3.根据权利要求1所述的针对屏幕编码的低复杂度帧内模式预测方法，其特征在于，所述根据SC树块所属的类别，确定其对应的最佳深度范围的步骤，具体包括：

当SC树块属于均匀区域时，其对应的最佳深度范围为0到1；

当SC树块属于中等纹理区域时，其对应的最佳深度范围为0到2；

当SC树块属于复杂纹理区域时，其对应的最佳深度范围为2到3。

4.根据权利要求1至3中任一项所述的针对屏幕编码的低复杂度帧内模式预测方法，其特征在于，所述根据SC树块所属的类别，自适应确定出候选帧内模式的步骤，具体包括：

当SC树块属于均匀区域时，其对应的候选帧内模式为Planar模式和DC模式；

当SC树块属于中等纹理区域时，其对应的最佳候选帧内模式为IBC模式、Planar模式、DC模式、Horizontal模式和Vertical模式；

当SC树块属于复杂纹理区域时，其对应的候选帧内模式为除Planar模式和DC模式外的其他模式。