CN111372079B

CN111372079B - 一种vvc帧间cu深度快速划分方法

Info

Publication number: CN111372079B
Application number: CN202010168565.6A
Authority: CN
Inventors: 李跃; 龚向坚; 刘杰; 陈灵娜; 聂明星; 丁平尖
Original assignee: Nanhua University
Current assignee: Nanhua University
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2021-01-22
Anticipated expiration: 2040-03-11
Also published as: CN111372079A

Abstract

本申请公开了一种VVC帧间CU深度快速划分方法，包括：顺序提取需要编码的目标编码CU，判断目标编码CU所在的编码帧是否为帧内编码帧；若否，获取目标编码CU的亮度像素差值；判断目标编码CU的高度和宽度是否均大于预设阈值；若是，获取目标编码CU的进一步划分模式；若目标编码CU的进一步划分模式为H_BT，且满足第一预设条件，或目标编码CU的进一步划分模式为V_BT，且满足第二预设条件，或目标编码CU的进一步划分模式为H_TT，且满足第三预设条件，或目标编码CU的进一步划分模式为V_TT，且满足第四预设条件，则停止对目标编码CU进行进一步划分。显然，该方法可以降低在对目标编码CU深度划分时的复杂度。

Description

一种VVC帧间CU深度快速划分方法

技术领域

本发明涉及视频编码技术领域，特别涉及一种VVC帧间CU深度快速划分方法。

背景技术

在现有技术当中，为了更有效的压缩视频数据，VCEG(Video Coding ExpertsGroup，视频编码专家组)和MPEG(Moving Picture Experts Group，动态图像专家组)正在共同制定新一代视频压缩标准VVC(Versatile Video Coding)。其中，VVC在对视频进行压缩编码的过程中，编码帧通常会被划分为多个CTU序列，而为了获得CTU的最佳划分，CTU首先会作为根节点进行QT(四叉树划分)，得到的叶节点可以进一步递归进行QT(四叉树划分)、H_BT(水平二叉树划分)、V_BT(垂直二叉树划分)、H_TT(水平三叉树划分)和V_TT(垂直三叉树划分)。为了简化CTU的划分过程，当CU被H_BT、V_BT、H_TT和V_TT划分得到时，CU将不再进行QT。显然，由于一个CU在编码过程中需要遍历所有QT、H_BT、V_BT、H_TT和V_TT的进一步划分，这样就会极大的增加VVC帧间编码复杂度以及编码时间。目前，针对这一问题，还没有较为有效的解决办法。

由此可见，如何降低在对CU深度进行划分过程中的编码复杂度以及编码时间，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种VVC帧间CU深度快速划分方法，以降低在对CU深度进行划分过程中的编码复杂度和编码时间。其具体方案如下：

一种VVC帧间CU深度快速划分方法，包括：

顺序提取需要编码的目标编码CU，并判断所述目标编码CU所在的编码帧是否为帧内编码帧；

若否，则获取所述目标编码CU的原始亮度像素值和重建亮度像素值，以计算所述目标编码CU的亮度像素差值；

其中，所述目标编码CU的亮度像素差值的表达式为：

Dif_w×h(i,j)＝Ori_w×h(i,j)-Rec_w×h(i,j)；

式中，Dif_w×h(i,j)为所述目标编码CU的亮度像素差值，Ori_w×h(i,j)为所述目标编码CU的原始亮度像素值，Rec_w×h(i,j)为所述目标编码CU的重建亮度像素值，w和h分别为所述目标编码CU的宽度和高度，i和j分别为所述目标编码CU的像素点横坐标和纵坐标；

判断所述目标编码CU的高度和宽度是否均大于预设阈值；

若是，则获取所述目标编码CU的进一步划分模式；

若所述目标编码CU的进一步划分模式为H_BT，则判断所述目标编码CU是否满足第一预设条件；

若是，则停止对所述目标编码CU进行进一步划分；

若所述目标编码CU的进一步划分模式为V_BT，则判断所述目标编码CU是否满足第二预设条件；

若是，则停止对所述目标编码CU进行进一步划分；

若所述目标编码CU的进一步划分模式为H_TT，则判断所述目标编码CU是否满足第三预设条件；

若是，则停止对所述目标编码CU进行进一步划分；

若所述目标编码CU的进一步划分模式为V_TT，则判断所述目标编码CU是否满足第四预设条件；

若是，则停止对所述目标编码CU进行进一步划分；

其中，所述第一预设条件的表达式为：

所述第二预设条件的表达式为：

式中，Th为自适应调节阈值，

和

分别为所述目标编码CU的亮度像素差值进行水平二均等划分和垂直二均等划分之后，得到相应划分子块所对应的方差值；

所述第三预设条件的表达式为：

所述第四预设条件的表达式为：

式中，

和

分别为所述目标编码CU的亮度像素差值进行水平四均等划分和垂直四均等划分之后，得到相应划分子块所对应的方差值，Th为自适应调节阈值。

优选的，所述预设阈值具体为8px。

优选的，所述判断目标编码CU所在的编码帧是否为帧内编码帧的步骤之后，还包括：

若是，则继续对所述目标编码CU进行进一步划分。

优选的，所述判断所述目标编码CU的高度和宽度是否均大于预设阈值的过程之后，还包括：

若否，则继续对所述目标编码CU进行进一步划分。

优选的，所述判断所述目标编码CU是否满足第一预设条件的过程之后，还包括：

若否，则继续对所述目标编码CU进行进一步的H_BT。

优选的，所述判断所述目标编码CU是否满足第二预设条件的过程之后，还包括：

若否，则继续对所述目标编码CU进行进一步的V_BT。

优选的，所述判断所述目标编码CU是否满足第三预设条件之后，还包括：

若否，则继续对所述目标编码CU进行进一步的H_TT。

优选的，所述判断所述目标编码CU是否满足第四预设条件的过程之后，还包括：

若否，则继续对所述目标编码CU进行进一步的V_TT。

可见，在发明中，首先是顺序提取需要编码的目标编码CU，并判断目标编码CU所在的编码帧是否为帧内编码帧，如果目标编码CU所在的编码帧不是帧内编码帧且目标编码CU的高度和宽度均大于预设阈值，则利用目标编码CU的原始亮度像素值和重建亮度像素值的亮度像素差值作为是否能够提前终止目标编码CU进行进一步划分的标准，然后，在对目标编码CU进行进一步划分的过程中，是分别通过第一预设条件、第二预设条件、第三预设条件和第四预设条件来判断目标编码CU是否能够提前结束H_BT、V_BT、H_TT和V_TT的进一步划分，并且，在对目标编码CU进行划分过程中，还可以通过自适应调节阈值Th来实现节约编码时间与增加编码码率之间的均衡。显然，相较于现有技术而言，因为通过本发明所提供的方法能够提前终止目标编码CU需要遍历所有QT、H_BT、V_BT、H_TT和V_TT进行进一步划分的步骤，所以，通过本发明所提供的VVC帧间CU深度快速划分方法就可以显著降低在对目标编码CU深度进行划分过程中的编码复杂度以及编码时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所公开的一种VVC帧间CU深度快速划分方法的流程图；

图2为一个CTU的最佳划分示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1为本发明实施例所提供的一种VVC帧间CU深度快速划分方法的流程图，该方法包括：

步骤S11：顺序提取需要编码的目标编码CU，并判断目标编码CU所在的编码帧是否为帧内编码帧；若否，则执行步骤S12；

步骤S12：获取目标编码CU的原始亮度像素值和重建亮度像素值，以计算目标编码CU的亮度像素差值；

其中，目标编码CU的亮度像素差值的表达式为：

Dif_w×h(i,j)＝Ori_w×h(i,j)-Rec_w×h(i,j)；

式中，Dif_w×h(i,j)为目标编码CU的亮度像素差值，Ori_w×h(i,j)为目标编码CU的原始亮度像素值，Rec_w×h(i,j)为目标编码CU的重建亮度像素值，w和h分别为目标编码CU的宽度和高度，i和j分别为目标编码CU的像素点横坐标和纵坐标；

步骤S13：判断目标编码CU的高度和宽度是否均大于预设阈值；若是，则执行步骤S14；

步骤S14：获取目标编码CU的进一步划分模式；

可以理解的是，在现有技术当中，由于一个CU在深度划分过程中，需要遍历所有QT、H_BT、V_BT、H_TT和V_TT的进一步划分，这样就极大的增加了VVC帧间编码复杂度。而在实际应用中，一个编码CU只会选择一种划分模式为最终模式。请参见图2，图2为一个CTU的最佳划分示例。该CTU的大小为128×128，在图2当中，每一个最优CU的划分都只属于一种划分模式，比如：在图2的左下角64×64的CU的最终划分模式为V_TT，如果再对该64×64的CU进行H_TT，只会增加编码的编码复杂度，而不会进一步提升编码的编码效率。因此，如果能够提前且准确地预测CTU中CU的最佳划分，并终止CU进行进一步的QT、H_BT、V_BT、H_TT和V_TT递归划分计算，就能够显著降低在对CU深度进行划分过程中的编码复杂度以及编码时间。

而在本实施例中，是提供了一种VVC帧间CU深度快速划分方法，通过该VVC帧间CU深度快速划分方法就能够提前准确地预测CTU中目标编码CU的最佳划分模式，这样就能够使得目标编码CU在进行编码的过程中，可以省去或者跳过需要逐个去遍历QT、H_BT、V_BT、H_TT和V_TT的繁琐步骤。

具体的，在本实施例中，首先是顺序提取需要编码的目标编码CU，并判断目标编码CU所在的编码帧是否为帧内编码帧，如果目标编码CU所在的编码帧不是帧内编码帧，则获取目标编码CU的原始亮度像素值Ori_w×h(i,j)和重建亮度像素值Rec_w×h(i,j)，并根据目标编码CU的原始亮度像素值Ori_w×h(i,j)和重建亮度像素值Rec_w×h(i,j)计算目标编码CU的亮度像素差值Dif_w×h(i,j)。

因为目标编码CU的原始亮度像素值Ori_w×h(i,j)和重建亮度像素值Rec_w×h(i,j)之间的亮度像素差值Dif_w×h(i,j)，能够在很大程度上反映目标编码CU的哪种划分模式是否为最佳划分，所以，在本实施例中，就可以利用目标编码CU的原始亮度像素值Ori_w×h(i,j)和重建亮度像素值Rec_w×h(i,j)之间的亮度像素差值Dif_w×h(i,j)作为目标编码CU是否能够提前终止划分的标准。

当获取得到目标编码CU的亮度像素差值Dif_w×h(i,j)以后，首先是判断目标编码CU的高度和宽度是否均大于预设阈值，如果目标编码CU的高度和宽度均大于预设阈值时，则对目标编码CU根据亮度像素差值Dif_w×h(i,j)进行提前终止划分模式判断。这是因为对越小的编码CU进行提前终止划分模式，可能造成更多的模式划分错误。

步骤S15：若目标编码CU的进一步划分模式为H_BT，则判断目标编码CU是否满足第一预设条件；

步骤S16：若是，则停止对目标编码CU进行进一步划分；

步骤S17：若目标编码CU的进一步划分模式为V_BT，则判断目标编码CU是否满足第二预设条件；

步骤S18：若是，则停止对目标编码CU进行进一步划分；

步骤S19：若目标编码CU的进一步划分模式为H_TT，则判断目标编码CU是否满足第三预设条件；

步骤S20：若是，则停止对目标编码CU进行进一步划分；

步骤S21：若目标编码CU的进一步划分模式为V_TT，则判断目标编码CU是否满足第四预设条件；

步骤S22：若是，则停止对目标编码CU进行进一步划分；

其中，第一预设条件的表达式为：

第二预设条件的表达式为：

式中，Th为自适应调节阈值，

和

分别为目标编码CU的亮度像素差值进行水平二均等划分和垂直二均等划分之后，得到相应划分子块所对应的方差值；

第三预设条件的表达式为：

第四预设条件的表达式为：

式中，

和

分别为目标编码CU的亮度像素差值进行水平四均等划分和垂直四均等划分之后，得到相应划分子块所对应的方差值，Th为自适应调节阈值。

在本实施例中，如果目标编码CU的进一步划分模式为H_BT，并且，目标编码CU还满足第一预设条件，则可以停止对目标编码CU进行进一步划分；如果目标编码CU的进一步划分模式为V_BT，并且，目标编码CU还满足第二预设条件，则可以停止对目标编码CU进行进一步划分；如果目标编码CU的进一步划分模式为H_TT，并且，目标编码CU还满足第三预设条件，则可以停止对目标编码CU进行进一步划分；如果目标编码CU的进一步划分模式为V_TT，并且，目标编码CU还满足第四预设条件，则可以停止对目标编码CU进行进一步划分。

也就是说，通过步骤S15至步骤S22可以提前预测得到目标编码CU的最佳划分模式到底是哪一种划分模式，所以，利用步骤S15至步骤S22就可以省去目标编码CU需要遍历所有QT、H_BT、V_BT、H_TT和V_TT的进一步划分才能完成视频压缩的繁琐步骤。因此，通过本实施例所提供的方法，不仅可以保证目标编码CU的编码质量，而且，也可以降低在对目标编码CU深度进行划分过程中的编码复杂度以及编码时间。

此外，由于本发明所提供的方法未参考目标编码CU的相邻信息，所以，在实际应用中，还可以将该方法集成到目标编码CU的并行计算中，以进一步降低目标编码CU在编码压缩过程中的编码复杂度。

可见，在实施例中，首先是顺序提取需要编码的目标编码CU，并判断目标编码CU所在的编码帧是否为帧内编码帧，如果目标编码CU所在的编码帧不是帧内编码帧且目标编码CU的高度和宽度均大于预设阈值，则利用目标编码CU的原始亮度像素值和重建亮度像素值的亮度像素差值作为是否能够提前终止目标编码CU进行进一步划分的标准，然后，在对目标编码CU进行进一步划分的过程中，是分别通过第一预设条件、第二预设条件、第三预设条件和第四预设条件来判断目标编码CU是否能够提前结束H_BT、V_BT、H_TT和V_TT的进一步划分，并且，在对目标编码CU进行划分过程中，还可以通过自适应调节阈值Th来实现节约编码时间与增加编码码率之间的均衡。显然，相较于现有技术而言，因为通过本实施例所提供的方法能够提前终止目标编码CU需要遍历所有QT、H_BT、V_BT、H_TT和V_TT进行进一步划分的步骤，所以，通过本实施例所提供的VVC帧间CU深度快速划分方法就可以显著降低在对目标编码CU深度进行划分过程中的编码复杂度以及编码时间。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，预设阈值具体为8px。

在本实施例中，是将预设阈值设置为8px，因为经过实验验证发现，当将预设阈值设置为8px时，可以提高在对目标编码CU进行提前终止划分模式判定过程中判断结果的准确性。或者，在实际应用过程中，还可以根据实际情况的不同对预设阈值进行适应性的调整，此处不作具体赘述。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU所在的编码帧是否为帧内编码帧的步骤之后，还包括：

若是，则继续对目标编码CU进行进一步划分。

在实际操作过程中，如果目标编码CU所在的编码帧为帧内编码帧，则继续对目标编码CU进行进一步划分，也即，不对目标编码CU进行提前终止划分模式的判断，换句话说，如果目标编码CU所在的编码帧为帧内编码帧时，则需要继续对目标编码CU进行进一步划分来确定目标编码CU的最佳划分模式。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU的高度和宽度是否均大于预设阈值的过程之后，还包括：

若否，则继续对目标编码CU进行进一步划分。

在实际操作过程中，如果目标编码CU的高度或宽度不大于预设阈值，则需要继续对目标编码CU进行进一步划分来确定目标编码CU的最佳划分模式，也即，如果目标编码CU的高度或宽度不大于预设阈值，则不对目标编码CU进行提前终止划分模式的判断。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU是否满足第一预设条件的过程之后，还包括：

若否，则继续对目标编码CU进行进一步的H_BT。

在实际操作过程中，如果目标编码CU的进一步划分模式为H_BT，但是，目标编码CU并不满足第一预设条件时，则说明H_BT可能是目标编码CU的最佳划分模式。此时，则需要对目标编码CU进行进一步的H_BT，并以此来查找目标编码CU的最佳划分模式。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU是否满足第二预设条件的过程之后，还包括：

若否，则继续对目标编码CU进行进一步的V_BT。

在实际应用中，如果目标编码CU的进一步划分模式为V_BT，但是，目标编码CU并不满足第二预设条件时，则说明V_BT可能是目标编码CU的最佳划分模式，在此情况下，则可以继续对目标编码CU进行进一步的V_BT，并以此来确定V_BT是否为目标编码CU的最佳划分模式。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU是否满足第三预设条件之后，还包括：

若否，则继续对目标编码CU进行进一步的H_TT。

在对目标编码CU深度划分的过程中，如果目标编码CU的进一步划分模式为H_TT，但是，目标编码CU并不满足第三预设条件时，则说明H_TT可能是目标编码CU的最佳划分模式，在此情况下，则可以继续对目标编码CU进行进一步的H_TT，并以此来确定目标编码CU的最佳划分模式。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：判断目标编码CU是否满足第四预设条件的过程之后，还包括：

若否，则继续对目标编码CU进行进一步的V_TT。

在实际操作过程中，如果目标编码CU的进一步划分模式为V_TT，但是，目标编码CU并不满足第四预设条件时，则说明V_TT可能是目标编码CU的最佳划分模式。在此情况下，则可以继续对目标编码CU进行进一步的V_TT，以使得目标编码CU能够完成后续的流程步骤。

可见，通过本实施例所提供的技术方案，可以使得本申请所提供的技术方案更加全面与完整。

在本实施例中，是以VTM5.0为测试平台，在Inter(R)Core(TM)i5-7700CPU，24GBRAM的PC上执行前述所公开的一种CU帧间深度划分方法，并以此来测试本申请所提供VVC帧间CU深度快速划分方法的可行性和有效性。

具体的，在本实施例中，在进行实验之前，是预先准备了5种分辨率的测试序列，也即，416×240(Blowing Bubbles、BQ Square，Race Horses)、832×480(Race Horses C，Party Scene，Basketball Drill)、1280×720(Four People，Kristen And Sara)、1920×1080(Cactus，Kimono，Park Scene)和2560×1600(People On Street，Steam LocomotiveTrain，Nebuta Festival)；然后，再将编码量化参数(QP)设置为(22，27，32，37)，编码配置为RA(Random Access)；最后，利用码率变化情况(BD-Rate)和编码时间(TS)来衡量本申请所提出VVC帧间深度快速划分方法的性能。

其中，TS被定义为：

式中，T₀为原始测试模型的编码时间，T_p为本发明应用于原始测试模型后的编码时间，i表示不同的QP值。

请参见表1，表1为本发明所提供方法在VTM5.0测试平台上的性能对比结果，其中，表1中的单位为％。

表1本发明所提供方法在VTM5.0测试平台上的性能对比结果

从表1中的编码时间以及编码码率的对比结果可以看出，在自适应调节阈值Th分别为Th＝1、Th＝1.5和Th＝2情况下，利用本发明所提出的VVC帧间深度快速划分方法分别可以节约编码时间50.9％、38.3％和28.7％，并且，码率变化情况平均增加2.40％、1.47％和1.03％。其中，对于不同分辨率的视频序列，在相同的自适应调节阈值Th下，能够节约的编码时间差异较小，随着自适应调节阈值Th的增加，节约编码时间减少，同时，增加编码码率也减少。

通过上述实验对比结果可以看出，利用本发明所提出的VVC帧间深度快速划分方法，可以通过调整自适应调节阈值Th的大小来实现编码时间节约和编码码率增加之间的平衡。当编码应用的场景需要更快的编码速度时，可以采用较小的自适应调节阈值Th来实现编码时间节约和编码码率增加之间的平衡；即，当编码应用的场景需要更快的编码速度时，可以采用较小的自适应调节阈值Th，当编码应用的场景对编码码率增加更敏感的时候，可以采用较大的自适应调节阈值Th。综上所述，通过本发明所提供的方法可以在人眼可接受编码质量下降范围的情况下，有效地实现编码时间节约与编码码率增加之间的平衡。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种VVC帧间CU深度快速划分方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。