CN115633171A - 基于shvc的快速cu决策算法 - Google Patents

基于shvc的快速cu决策算法 Download PDF

Info

Publication number
CN115633171A
CN115633171A CN202211224383.1A CN202211224383A CN115633171A CN 115633171 A CN115633171 A CN 115633171A CN 202211224383 A CN202211224383 A CN 202211224383A CN 115633171 A CN115633171 A CN 115633171A
Authority
CN
China
Prior art keywords
mode
ilr
possibility
intra
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211224383.1A
Other languages
English (en)
Other versions
CN115633171B (zh
Inventor
汪大勇
郑实山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202211224383.1A priority Critical patent/CN115633171B/zh
Publication of CN115633171A publication Critical patent/CN115633171A/zh
Application granted granted Critical
Publication of CN115633171B publication Critical patent/CN115633171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及编码处理技术领域，且公开了基于SHVC的快速CU决策算法，该算法首先通过划分决策树得到当前CU划分的可能性，若可能性低于阈值则划分终止，否则通过ILR模式决策树来得到当前CU模式为ILR的可能性PILR，有了PILR则可以得到Intra模式的可能性为1‑PILR，然后当前CU会继续进行ILR模式从而可以得到ILR模式的残差以及ILR模式率失真代价，通过上述三个值训练出的Intra模式决策树来得到Intra模式的最终可能性P_finnalIntra,然后使用划分的可能性与P_finnalIntra的乘积来得到P_union，若P_union值小于threshhold则跳过Intra模式，否则通过P_union的数值大小来进行Intra角度模式自适应选择，该基于SHVC的快速CU决策算法，仅在0.265％的BD‑rate的代价下减少了了增强层帧内编码时间约78.64％，有效的提升了编码效率。

Description

基于SHVC的快速CU决策算法
技术领域
本发明涉及编码处理技术领域，具体为基于SHVC的快速CU决策算法。
背景技术
可分级视频编码最早来源于H.264/AVC(Advanced Video Coding)的编码扩展，其目的是为了在当前复杂多样的网络条件下，针对不同的终端设备以及不同的用户质量需求，只需要服务器对增强层以及基本层完成一次编码就能满足。SVC技术可分为三类，分别是时域可分级(Temporal scalability)、空间可分级(Temporal scalability)、质量可分级(Quality scalability)。通过上述三种不同的分级策略，可以实现视频码流的帧率、分辨率以及图像质量的自适应多选择。H.265/HEVC(High Efficiency Video Coding)是一种新的视频压缩标准，它在H.264/AVC的基础上，提出了一些新的编码策略并应用了一些新型技术，从而提高了压缩效率一倍以上。而SHVC(SVC for HEVC)在2014年10月纳入了H.265标准附录H。在当前信息时代的大背景下，SHVC应用广泛，例如：视频监控、视频会议以及互联网视频应用等需要考虑不同终端设备以及网络环境的视频传输领域。
虽然SHVC解决了针对不同客户端需求而进行多次视频编码的问题，但SHVC同样存在着HECV、AVC这类传统编码方法编码时间冗余过多的问题，严重影响了编码效率。因此，本文提出了一种基于SHVC的快速CU决策算法，用于解决上述背景中提到的SHVC同样存在着HECV、AVC这类传统编码方法编码时间冗余过多的问题，严重影响了编码效率的问题。
发明内容
本发明的目的在于提供基于SHVC的快速CU决策算法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于SHVC的快速CU决策算法，包括如下具体步骤：
S1、首先通过划分决策树得到当前CU划分的可能性，若可能性低于阈值则划分终止，否则通过ILR模式决策树来得到当前CU模式为ILR的可能性PILR；
S2、有了PILR则可以得到Intra模式的可能性为1-PILR，然后当前CU会继续进行ILR模式从而可以得到ILR模式的残差以及ILR模式率失真代价；
S3、接下来通过上述三个值训练出的Intra(帧内)模式决策树来得到Intra模式的最终可能性P_finnalIntra；
S4、然后使用划分的可能性与P_finnalIntra的乘积来得到P_union，若P_union值小于threshhold(阈值)则跳过Intra模式，否则通过P_union的数值大小来进行Intra角度模式自适应选择。
优选的，所述步骤三种所指的三个值分别为Intra模式的可能性、ILR模式的残差、ILR模式率失真代价。
优选的，所述步骤三和步骤四两步骤的算法可以让当前CU在35种角度模式中跳过一些不太可能模式，从而减少了角度模式选择带来的时间冗余。
与现有技术相比，本发明所达到的有益效果是：
本发明仅在0.265％的BD-rate的代价下减少了了增强层帧内编码时间约78.64％，有效的提升了编码效率。
附图说明
图1为本发明不同区域的方差示意图结构示意图；
图2为本发明决策树模型的部分结构结构示意图；
图3为本发明深度预测算法流程图结构示意图；
图4为本发明基本层像素插值示意图结构示意图；
图5为本发明相邻CU信息示意图结构示意图；
图6为本发明模式选择算法流程图结构示意图；
图7为本发明角度模式选择算法流程图结构示意图；
图8为本发明Rd-cost随basicMode数量变化图结构示意图；
图9为本发明时间增益百分比随basicMode变化图结构示意图；
图10为本发明33种角度模式的Amp(Gi,j)的分布示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-10
实施例一
本实施例为基于SHVC的快速CU决策算法的具体实施方式
基于SHVC的快速CU决策算法，包括如下具体步骤：
S1、首先通过划分决策树得到当前CU划分的可能性，若可能性低于阈值则划分终止，否则通过ILR模式决策树来得到当前CU模式为ILR的可能性PILR；
S2、有了PILR则可以得到Intra模式的可能性为1-PILR，然后当前CU会继续进行ILR模式从而可以得到ILR模式的残差以及ILR模式率失真代价；
S3、接下来通过上述三个值训练出的Intra(帧内)模式决策树来得到Intra模式的最终可能性P_finnalIntra；
S4、然后使用划分的可能性与P_finnalIntra的乘积来得到P_union，若P_union值小于threshhold(阈值)则跳过Intra模式，否则通过P_union的数值大小来进行Intra角度模式自适应选择。
具体的，步骤三种所指的三个值分别为Intra模式的可能性、ILR模式的残差、ILR模式率失真代价。
具体的，步骤三和步骤四两步骤的算法可以让当前CU在35种角度模式中跳过一些不太可能模式，从而减少了角度模式选择带来的时间冗余。
实施例二
本实施例为基于可能性大小的划分与模式决策算法的具体实施方式基于可能性大小的划分与模式决策算法
为了提高编码速度，我们分别提出了基于可能性大小的深度决策终算法和基于可能性大小的模式决策算法。在基于可能性大小的深度决策终算法中，我们首先利用深度决策树模型来得到当前遍历的CU的划分可能性PDepth，然后通过得到的可能性来决定该CU是否继续向下划分。在基于可能性大小的模式决策算法中，我们首先利用ILR决策树模型得到当前CU模式为ILR的概率PILR，然后将PILR作为一个特征来训练Intra决策树模型，接着通过训练好的Intra决策树模型得到当前CU模式为Intra的概率PIntra，通过PDepth和PIntra的乘积PUnion来决定当前CU是否跳过Intra模式。最后针对PUnion在一定范围内的CU进行自适应角度模式选择。
为了得出上述算法的实际效果，我们需要结合实验来对其进行一系列的测试，我们分别在不同类别中选择不同的序列。在类A中选择PeopleOnStreet和Traffic，B类中选择BasketballDrive、BQTerrace、Cactus、Kimono1以及ParkScene。上述的视频序列是根据通用测试条件(CTC)里规定的序列来选择的，每个序列都有不同的运动、纹理复杂度，具有代表性。根据CTC，基本层的量化参数值采用(22,26,30,34)，增强层的量化参数采用(22,26,30,34)和(24,28,32,36)。并且基本层的序列分别选择分辨率为增强层序列的1/2以及2/3。由于CU的ILR模式选择很大程度上取决于基本层的信息，基本层信息越多，模型效果越明显。因此在训练阶段我们选择2x基本层来进行训练，在2x基本层的效果可观的情况下，包含更多信息的1.5x基本层的效果必然会更好。对应的基于可能性的划分决策算法如下：
1>基于可能性的划分决策算法
一般来说，传统的机器学习，无论是SVM还是决策树或者是其它集成算法，很大程度上都依赖于训练模型的特征，因此想要利用此类工具来做预测，首先要完成的便是特征选择的工作。
(1)特征选择
通常来说，CU的划分深度跟其内部纹理的复杂度有关，若当前CU内部纹理比较平滑，该CU的划分则会倾向于64x64或者32x32,若当前CU内部的纹理比较复杂，该CU的划分则大概率是16x16或者8x8。由上述分析可知，CU内部纹理复杂度很大程度上决定了CU的划分。因此，针对上述的情况，我们用来训练决策树模型的特征值分别为该CU左右区域方差、上下区域方差、四区域方差以及整体方差。
CU左右区域方差计算公式如下：
Figure BDA0003878037530000051
其中σ2 left为CU左半边区域的方差，σ2 right为CU右半边区域的方差。如图1-a所示。
CU上下区域方差计算公式如下：
Figure BDA0003878037530000052
其中σ2 up为CU左半边区域的方差，σ2 down为CU右半边区域的方差。如图1-b所示。
CU四区域方差计算公式如下：
Figure BDA0003878037530000053
其中σ2 left-up为CU左上区域的方差，σ2 right-up为CU右上区域的方差，σ2 left-down为CU左下区域的方差，σ2 right-down为CU右下区域的方差。如图1-c所示。
CU整体方差计算公式如下：
Figure BDA0003878037530000061
其中，w为CU的宽度，h为CU的高度。pij为CU内部的位于(i,j)处的像素值，p为CU内部所有像素值所求的平均值。如图1-d所示。
除了方差以外，QP(量化参数)在一定程度上也影响了CU的划分。因此我们将BL(基本层)和EL(增强层)的QP值也用来作为决策树训练的特征。因此深度预测决策树模型用到的特征值共六个：σ2 left-right、σ2 up-down、σ2 four、σ2 All、QPEL、QPBL。
(2)基于可能性的深度预测
在特征选取完毕后，我们需要进行模型训练，为了避免在训练过程中出现欠拟合以及过拟合的情况，我们在训练模型之前首先采用gridSearchCV(网格搜索)对决策树模型进行参数调整，包括max_leaf_nodes(最大叶子节点数)以及max_depth(树的最大深度)等。最终训练出的决策树模型的部分结构如图2。
其中，节点第一行的不等式为该节点用以划分的特征值以及阈值，gini系数用以确定对哪一特征进行分类，samples为划分到该节点的CU样本总数量，value的有两种取值分别是当前深度继续划分和不划分的CU样本数量。
由上述训练好的决策树模型可以得到每个CU不划分的可能性，计算公式如下：
Figure BDA0003878037530000062
其中samples的实际值如图三叶子节点中所示：value＝[samplesno-split,samplessplit]，相应的每个CU划分的可能性为Psplit＝1-Pno-split。
通过得到的可能性，我们设计的基于可能性的深度预测算法如图3所示，图中的P即我们通过决策树得到的当前CU不划分的概率即Pno-split，若当前CU的Pno-split小于threashold(阈值)，那么则说明当前CU的最终划分深度为当前深度的可能性很低，因此该CU可以直接跳过当前深度的模式选择，直接进行下一深度的模式遍历，若当前CU的Pno-split大于threshold的话，则对该CU继续进行当前深度的模式遍历。从上述可以看出threshold选择的好坏影响了实验的效果。在保证QS(quality SHVC)的情况下，我们通过大量的实验确定了最终的深度阈值。
为了验证我们算法的效果，我们将我们算法与标准编码器进行了比较(只对比了5帧)，效果如下表所示。
Figure BDA0003878037530000071
Figure BDA0003878037530000081
从上表可以看出我们的算法在码率下降0.02％，Y(psnr)上升了0.02％，Y(BD-rate)上升了0.11％的代价下，提升了37.4％的编码时间，说明我们的算法的效果还是很可观的。
2>基于可能性的模式选择算法
由1>中划分决策算法可知，当CU的划分可能性大于设定的threshold，该CU还是得进行遍历模式的一系列操作，即使当前CU并不是最终划分。因此，CU的模式选择也会耗费大量的时间。而在HEVC帧内模式编码条件下，CU会在遍历ILR(inter layer reference)模式以及35种帧内模式后选择其RDcost最小的模式作为当前CU的最优模式。通过我们的大量实验发现，帧内模式选择往往耗费更多的编码时间正如下表所示。
增强层Intra模式编码时间
Figure BDA0003878037530000091
Figure BDA0003878037530000101
与之前实验一样样我们使用了5帧来进行实验。从上表可以看出增强层Intra模式大约占总编码时间65％左右。针对以上的问题，我们提出了基于可能性的模式选择算法如下：
(1)特征选择
我们提出的基于可能性的模式选择算法同样使用决策树来得到模式的可能性。为了确保特征值的多样性，我们在这一环节中所用到的特征值与3.1描述的算法中所使用的特征值除整体方差外都是不同的。由于在基于可能性的模式选择算法中，为了更好的的提高决策树的预测性能，我们创新性的提出了双层决策树算法来得到intra模式的可能性。因此，我们需要进行两次特征值选择。
a.ILR模式决策树的特征
由于ILR的预测原理是通过基本层的插值来实现增强层的预测如图4所示。其中，红点表示的是像素，从图4可以看出增强层的像素一部分来自于基本层，还有一部分来自于基本层相邻像素的平均值。
因此我们猜想CU的行像素以及列像素的复杂度和差异性很大程度上决定了该CU是否采用ILR模式。为了验证此猜想。我们统计了各个序列不同深度采用Intra模式和ILR模式的CU的行方差与列方差的平均值，见下表不同深度采用Intra模式和ILR模式的CU的行方差、列方差的平均值
Figure BDA0003878037530000111
通过上表可以看出，除了深度3以外，其它深度采用ILR模式的CU的行列方差平均值明显小于采用Intra模式的CU的行列方差。需要说明的是，因为深度3的CU大小为8x8，行数和列数很少，因此采用ILR和Intra模式的行列方差相差并不大。
按照这个思路，我们选择的特征值有σ2 All、σ2 all-row、σ2 all-col。
其中σ2 All的计算公式如上文(4)式所示，这里不做过多重复。σ2 all-row和σ2 all-col的计算公式如下：
Figure BDA0003878037530000112
Figure BDA0003878037530000113
式(6)中的σ2 row代表的是CU某一行像素的方差，w代表的是CU的宽度。同理，式(7)中的σ2 col代表CU某一列像素的方差，h代表的是CU的高度。σ2 row和σ2 col的计算公式如下：
Figure BDA0003878037530000121
Figure BDA0003878037530000122
上式中的pij指的是当前CU的(i,j)点的像素值，
Figure BDA0003878037530000123
指的是当前CU第i行像素的平均值，
Figure BDA0003878037530000124
指的是当前CU第j列像素的平均值。
除了上述的3个特征值以外，我们考虑到因为相邻CU具有一些相同的纹理，因此大概率会使用相同的模式，因此我们还加入了相邻CU的模式信息作为特征值，如图5所示。
因为编码顺序的缘故，当遍历到cur对应的CU时，其左上、上、右上、左相邻的CU已经编码完毕，所以我们可以利用他们的模式信息来作为cur的特征。
b.Intra模式决策树的特征
在Intra模式决策树的特征选择中，我们创新性的将之前ILR模式决策树得出的概率值作为一个特征。因为之前ILR模式决策树得出的可能性为当前CU的最终选择是ILR模式的可能性，那么当前CU的最终选择是Intra模式的可能性为：
probabilityIntra＝1-probabilityILR
除此之外，因为在进行Intra模式之前先遍历了ILR模式，所以我们还选择了ILR模式的Residual(残差)以及率失真代价(Rd-cost)这两个特征。
(2)Intra模式选择算法
我们设计模式选择这一算法的目的是为了通过决策树得出的可能性来决定当前遍历到的CU是否要进行Intra模式。在算法的设计上，我们并没有直接用一棵决策树来预测Intra模式，而是使用两棵决策树来分别预测ILR模式和Intra模式。需要注意的是，我们并没有用预测ILR模式的决策树来进行模式跳过的操作，而是创新新的将ILR模式决策树得出的概率值来作为Intra模式决策树的一个特征值。这样做的目的有两个：1.提升Intra模式决策树的预测准确率。2.双层决策树结构相当于先对ILR模式进行了提前预测以及结果验证，使得Intra决策树的特征更加具有代表性。我们提出的模式选择算法流程图如图6所示。
从图6可以看出，在进行ILR模式之前，我们首先使用ILR决策树来预测ILR模式的概率P_ILR，然后通过1-P_ILR得到Intra模式的概率P_Intra，然后将这一步得到的P_Intra作为之后Intra决策树的一个特征来进行Intra模式的预测。在进行完Intra模式决策树预测之后会得到我们最终用来跳过Intra模式的P_finalIntra。虽然P_finalIntra可以直接作为跳过Intra模式的工具，但是由于当前CTU最终的深度与模式选择是密不可分的，二者相互影响。针对这一情况，我们提出了P_Union联合概率这一概念，计算公式如下：
P_Union＝P_finalIntra×Pno-split
其中Pno-split为1>中得到的当前CU不划分的概率，因为只有在当前CU不继续划分的情况下来讨论当前CU的模式才有意义。另外要说明的是，图中的threshold(阈值)是我们经过大量的实验得出的最优阈值，保证QS的同时降低编码时间。
(3)角度模式选择算法
a.第一阶段
通过(2)中的Intra模式选择算法，使得满足条件P_Union＜threshold的CU不再进行Intra模式。但是当CU的P_Union不满足上述条件时则会继续进行Intra模式。而Intra模式首先会进行模式粗选过程，在该步骤中当前CU会遍历33种角度模式、DC模式、Planar模式，显然遍历这35种模式是非常耗费时间的。因此我们提出了角度模式算法来加速Intra模式粗选这个过程。
我们首先通过实验得到了不同深度的CU选择的角度模式的比例，以8x8的CU为例，如下表：
8x8CU的角度模式占比情况
Figure BDA0003878037530000141
从上标可以看出大部分CU的最优角度模式是0(DC)、1(Planar)、10(水平模式)以及26(垂直模式)。其它的占比比较大的模式也是以10(水平模式)和26(垂直模式)为中心点向两边逐步扩散。简单来说就是，距离10、26模式越近的模式其占比就越高。通过上述的实验总结出的规律，我们设计了角度模式选择算法，算法流程图如图7所示。
需要说明的是P_Union是(2)步骤中得到的联合概率，threshold同样是(2)步骤中的阈值，P1、P2、P3、P4分别是四个四个概率值，通过threshold以及P1～P4这五个概率值，我们将CU的P_Union分为了4个区间。当CU的P_Union位于(P_union,P1]区间内，那么只用遍历10个基本模式；当CU的P_Union位于(P1,P2]区间内，那么在基本的10个模式的基础上增加4个模式，当然这四个模式并不是随意加的，而是分别增加2个10(水平)模式两侧还未遍历且最近的模式以及2个26(垂直)模式两侧还未遍历且最近的模式；同理，当CU的P_Union位于(P2,P3]区间内就继续增加4个模式。还有一点需要说明的是当CU的P_Union位于(P3,P4]区间内时我们只增加了2个模式，因为通过我们的实验发现，增加2个模式和4个模式的RD-cost基本没有差别。图7中还有一个自适应阶段，该阶段的算法将在b中介绍。
从上述的介绍可以看出，该阶段的工作主要是在P1、P2、P3、P4这几个概率值的选择上。threshold通过(2)步骤中的大量实验。最终确定为0.1。考虑到当P_Union的概率值大于0.5时，说明当前CU有很大的可能采用Intra模式，那么对这类CU理论上应该遍历所有的角度模式才会保证编码质量，因此我们这一阶段的算法没有涉及到这类大概率CU及P4＝0.5。由于之前决策树处理的每一个CU的特征都不相同，因此决策树为其得出的概率也都不相同。为了更好的适应决策树输出概率的不确定性，也就是P_Union的不确定性。我们将0.1～0.5之间的概率值均匀分到四个区间，分别是0.1～0.2，0.2～0.3，0.3～0.4，0.4～0.5。这样既然考虑到P_Union的不确定性，而且四区间的划分方式也降低了该算法的复杂度。确定好每个概率区间之后，我们下一步需要做的工作就是basicMode选择，通过表3所呈现的规律，我们分别选择了占比靠前的2、4、8、10、12个模式分别进行实验，实验结果如图9和图10所示，其中图8表示的是Rd-cost与basicMode数量的关系，而图10表示的是时间增益百分比与basicMode数量的关系。
从图8可以看出随着basicMode数量增加Rd-cost整体上是呈现下降的趋势,当模式数量从2增加到4时，平均Rd-cost有明显的下降。而从4模式增加到8模式，以及8模式增加到10模式Rd-cost下降速率开始变慢，最终在10模式到12模式时趋于稳定。
图9也清楚的展示了随着basicMode数量的提升，时间增益会逐步下降，但每一段下降的速率又不不同的。
为了确定最好的basicMode数量，我们不仅要考虑到Rd-cost，还要兼顾时间增益。我们使用gradSum梯度和来衡量，公式如下
Figure BDA0003878037530000161
其中i分别代表Rd-cost和t(时间),及图8和图9中的折线段，而
Figure BDA0003878037530000162
表示的是对每一段折线进行梯度计算。需要注意的是随着basicMode的增加，Rd-cost是逐步下降的(整体呈负相关的趋势)，而时间却t是逐步增加的(整体呈正相关的趋势)，因此在求Rd-cost的
Figure BDA0003878037530000163
时我们对其结果进行取反，保证整体gradSum整体与basicMode相关性的一致。用式(12)分别对不同模式个数进行梯度和的计算，结果如下表：
8x8CU的角度模式占比情况
Figure BDA0003878037530000164
Figure BDA0003878037530000171
从上表可以看出4模式的gradSum最大，8模式和10模式gradSum相同。根据表4的结果理论上应该选择4模式，但是综合图8，4模式的平均Rd-cost较大，因为后续的算法可能还会使得Rd-cost增加，为了在提升速率的时还能保证可接受的失真。因此舍弃掉4模式。而8模式和10模式gradSum相同，但图x显示的10模式的Rd-cost更小，因此舍弃8模式。12模式的gradSum很小，虽然Rd-cost比10模式更小，但它的gradSum很小(综合收益很小)，因此舍弃掉12模式。经过上述的实验，我们最终确定的basicMode为10模式。
b.自适应阶段
虽然第一阶段已经处理了位于(threshold,P4]的P_Union,但是还有一部分大于P4的P_Union并没有进行处理，因此我们又在之前的算法上增加了自适应阶段算法。该算法的一部分工作是我们之前的研究所做的。
为了更好的利用相邻像素的信息，我们首先使用3x3大小的水平和垂直方向的Sobel算子来对CU内的像素进行处理，如式13所示：
Figure BDA0003878037530000172
Figure BDA0003878037530000173
其中，pi,j是位于(i,j)处的像素值，
Figure BDA0003878037530000174
分别代表梯度在水平和垂直方向的两个分量。通过得到的
Figure BDA0003878037530000175
我们可以计算出梯度的幅度值，通过式14：
Figure BDA0003878037530000181
梯度的角度值也可以通过式15计算得出：
Figure BDA0003878037530000182
为了进一步简化计算，我们使用
Figure BDA0003878037530000183
来代替
Figure BDA0003878037530000184
我们通过实验得到33种角度模式的
Figure BDA0003878037530000185
的分布情况如下表所示：
33种角度模式的
Figure BDA0003878037530000186
分布情况
Figure BDA0003878037530000187
Figure BDA0003878037530000191
通过上表的统计结果，可以看出33种角度模式的
Figure BDA0003878037530000192
分布情况式不同的，因此我们可以利用这个特征来区别33种角度模式。若不同PU的
Figure BDA0003878037530000193
在上表的同一个区间内的。那么就将它们的Amp(Gi,j)进行相加。通过上述的操作，我们可以得到PU的Amp(Gi,j)分布直方图，以32x32的PU为例，如图10所示。
通过Amp(Gi,j)分布直方图我们可以很直观的看出不同的角度模式的占比情况。在此之前我们已经得到了当前CU的P_Union，从某种意义上来说P_Union的大小可以代表33种角度模式的占比情况。即当前CU的P_Union值越大，说明该CU需要遍历的角度模式的种类越多。因此自适应阶段算法流程是：
1.得到当前CU的Amp(Gi,j)分布情况，并从大到小进行排序。
2.将当前CU的Amp(Gi,j)分布占比依次进行累加，直至累加和大P_Union。
当前CU只去遍历累加和小于等于P_Union角度模式。
c.模式细选阶段
通过之前的模式粗选，会选择最有可能的模式构成最佳模式列表，然后模式细选的过程就是在最佳模式列表里选择RD-cost最小的模式作为最终的模式。不同尺寸的PU的候选列表的容量不同。[64,32,16,8,4]五种尺寸的PU对应的候选列表容量为[3,3,3,8,8]。由于之前模式粗选算法的存在，我们对候选列表的容量也进行了调整，计算公式如下：
Figure BDA0003878037530000194
模式细选阶段对候选列表的细微调整，使得我们的模式算法更具有整体性。
实施例三
本实施例为基于SHVC的快速CU决策算法的实验结果的具体实施方式
为了验证本文提出的基于可能性大小的划分与模式选择算法的有效性，我们采用SHM 11.0进行测试并根据通用测试条件配置实验参数进行测试。由于基本层量化参数QP为(22,24,30,34)，增强层量化参数QP分别为(22,24,30,34)和(24,28,32,36)。为了方便描述，将(22,24,30,34)和(24,28,32,36)分别标记为C1和C2。实验效果采用编码效率和编码速度进行评价。编码效率采用BDBR进行评价，BDBR表示当PSNR相同时带宽增加的比例。BDBR为正和负分别表示编码效率的损失和提升。编码速度采用ΔT进行评价，ΔT表示增强层编码时间节省的比例。
由于根据通用测试条件，需要对2x配置即基本层为增强层的1/2，以及1.5x配置即基本层为增强层的2/3分别进行测试，因此C1和C2会对这两部分分别进行测试。C1条件下2x配置以及1.5配置的实验结果如下表所示：
C1条件下1.5x和2x配置下的实验结果
Figure BDA0003878037530000201
Figure BDA0003878037530000211
从上表可以看出，同样是在C1条件下1.5x配置无论是在编码速度的提升上还是在BD-rate的增加上，其效果明显要好于2x配置。原因也很简单，因为1.5x配置下的基本层分辨率更大，ILR模式参考的像素值也更多，因此效果也会更好。同理，在C2配置下实验结果也是上述的规律，如表所示：
C2条件下1.5x和2x配置下的实验结果
Figure BDA0003878037530000221
Figure BDA0003878037530000231
从C1和C2的实验结果来看，我们提出的算法在平均0.265％的BD-rate的代价下，提升了增强层的平均编码时间78.64％。相比于我们之前的一些算法，本文提出的算法具有更高的编码性能。
为了提高SHVC质量可伸缩视频帧内编码速度，本文提出了一种基于可能性大小的划分与模式决策算法。(1)我们首先提出了划分决策算法，利用决策树得到的当前CU划分的可能性来决定当前CU是否继续划分。
(2.1)首先提出了基于可能性的模式选择算法，同样通过决策树来判断当前CU是否跳过Intra模式，我们在这个步骤中创新的的提出了双层决策树结构以及使用决策树得到的可能性作为特征值；
(2.2)然后提出了模式自适应算法，通过之前得到的CU的P_Union来自适应的从35种角度模式选择部分角度模式去遍历，从而加速了帧内角度模式粗选这个过程从最终的实验结果来看，本文提出的算法在编码带宽变化较小的情况下，明显地提高视频编码的速度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于SHVC的快速CU决策算法，其特征在于：包括如下具体步骤：
S1、首先通过划分决策树得到当前CU划分的可能性，若可能性低于阈值则划分终止，否则通过ILR模式决策树来得到当前CU模式为ILR的可能性PILR；
S2、有了PILR则可以得到Intra模式的可能性为1-PILR，然后当前CU会继续进行ILR模式从而可以得到ILR模式的残差以及ILR模式率失真代价；
S3、接下来通过上述三个值训练出的Intra(帧内)模式决策树来得到Intra模式的最终可能性P_finnalIntra；
S4、然后使用划分的可能性与P_finnalIntra的乘积来得到P_union，若P_union值小于threshhold(阈值)则跳过Intra模式，否则通过P_union的数值大小来进行Intra角度模式自适应选择。
2.根据权利要求1所述的基于SHVC的快速CU决策算法，其特征在于：所述步骤三种所指的三个值分别为Intra模式的可能性、ILR模式的残差、ILR模式率失真代价。
3.根据权利要求1所述的基于SHVC的快速CU决策算法，其特征在于：所述步骤三和步骤四两步骤的算法可以让当前CU在35种角度模式中跳过一些不太可能模式，从而减少了角度模式选择带来的时间冗余。
CN202211224383.1A 2022-10-08 2022-10-08 基于shvc的快速cu决策算法 Active CN115633171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211224383.1A CN115633171B (zh) 2022-10-08 2022-10-08 基于shvc的快速cu决策算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211224383.1A CN115633171B (zh) 2022-10-08 2022-10-08 基于shvc的快速cu决策算法

Publications (2)

Publication Number Publication Date
CN115633171A true CN115633171A (zh) 2023-01-20
CN115633171B CN115633171B (zh) 2024-01-02

Family

ID=84904369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211224383.1A Active CN115633171B (zh) 2022-10-08 2022-10-08 基于shvc的快速cu决策算法

Country Status (1)

Country Link
CN (1) CN115633171B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN109040764A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种基于决策树的hevc屏幕内容帧内快速编码算法
CN109743575A (zh) * 2018-12-05 2019-05-10 四川大学 一种基于朴素贝叶斯的dvc-hevc视频转码方法
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
WO2021062014A1 (en) * 2019-09-24 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of residual and coefficient coding
CN113709492A (zh) * 2021-08-25 2021-11-26 重庆邮电大学 一种基于分布特征的shvc空间可伸缩视频编码方法
CN114143536A (zh) * 2021-12-07 2022-03-04 重庆邮电大学 一种shvc空间可伸缩帧的视频编码方法
CN114222145A (zh) * 2021-12-24 2022-03-22 杭州电子科技大学 一种低复杂度的快速vvc帧内编码方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN109040764A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种基于决策树的hevc屏幕内容帧内快速编码算法
CN109743575A (zh) * 2018-12-05 2019-05-10 四川大学 一种基于朴素贝叶斯的dvc-hevc视频转码方法
CN109756719A (zh) * 2019-01-28 2019-05-14 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
WO2021062014A1 (en) * 2019-09-24 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of residual and coefficient coding
CN113709492A (zh) * 2021-08-25 2021-11-26 重庆邮电大学 一种基于分布特征的shvc空间可伸缩视频编码方法
CN114143536A (zh) * 2021-12-07 2022-03-04 重庆邮电大学 一种shvc空间可伸缩帧的视频编码方法
CN114222145A (zh) * 2021-12-24 2022-03-22 杭州电子科技大学 一种低复杂度的快速vvc帧内编码方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAYONG WANG ET AL: "Fast Inter Mode Predictions for SHVC", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
DAYONG WANG ET AL: "Fast Intra prediction algorithm for quality scalable video coding", 《 SIGNAL, IMAGE AND VIDEO PROCESSING》 *
刘妍君;赵志强;刘艳;崔盈;汪大勇: "基于质量可伸缩高性能视频编码的帧内快速算法", 《计算机应用》 *
赵志强;崔盈;刘妍君;汪大勇;龚五堂: "基于SHVC空间可伸缩的帧内快速编码算法", 《电视技术》 *
黄源源;汪大勇;李建平;: "一种适宜于H.264/AVC的帧间快速编码算法", 光电子.激光, no. 02 *

Also Published As

Publication number Publication date
CN115633171B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN106961606B (zh) 基于纹理划分特征的hevc帧内编码模式选择方法
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
Zeng et al. Fast mode decision for H. 264/AVC based on macroblock motion activity
CN109302610B (zh) 一种基于率失真代价的屏幕内容编码帧间快速编码方法
CN111429497B (zh) 基于深度学习和多特征融合的自适应cu拆分决策方法
CN112738511B (zh) 一种结合视频分析的快速模式决策方法及装置
CN111246219B (zh) 一种vvc帧内cu深度快速划分方法
CN114222145A (zh) 一种低复杂度的快速vvc帧内编码方法
CN111586405B (zh) 一种多功能视频编码中基于alf滤波的预测模式快速选择方法
CN111988628A (zh) 基于强化学习的vvc的快速帧内编码方法
CN116489386A (zh) 一种基于参考块的vvc帧间快速编码方法
Huang et al. Modeling acceleration properties for flexible intra hevc complexity control
CN115118977A (zh) 针对360度视频的帧内预测编码方法、系统及介质
Kim Fast coding unit (CU) determination algorithm for high-efficiency video coding (HEVC) in smart surveillance application
Lu et al. Hierarchical classification for complexity reduction in HEVC inter coding
CN115633171A (zh) 基于shvc的快速cu决策算法
CN109089115B (zh) 在hevc用于对360度视频进行编码的方法
Mallikarachchi et al. Effective coding unit size decision based on motion homogeneity classification for HEVC inter prediction
CN114827606A (zh) 一种编码单元划分的快速决策方法
Gao et al. A fast HEVC inter CU size decision algorithm based on multi-class learning
CN109982079B (zh) 一种结合纹理空间相关性的帧内预测模式选择方法
Li et al. Random forest accelerated CU partition for inter prediction in H. 266/VVC
Nair et al. On the analysis of HEVC Intra Prediction Mode Decision Variants
Liu et al. A fast multi-type tree decision algorithm for VVC based on pixel difference of sub-blocks
CN103402101A (zh) 基于边界平滑度的avs环路滤波快速算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant