CN116456088A - 一种基于可能性大小的vvc帧内快速编码方法 - Google Patents
一种基于可能性大小的vvc帧内快速编码方法 Download PDFInfo
- Publication number
- CN116456088A CN116456088A CN202310331439.1A CN202310331439A CN116456088A CN 116456088 A CN116456088 A CN 116456088A CN 202310331439 A CN202310331439 A CN 202310331439A CN 116456088 A CN116456088 A CN 116456088A
- Authority
- CN
- China
- Prior art keywords
- intra
- sub
- mode
- block
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005192 partition Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000000638 solvent extraction Methods 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 15
- 230000001174 ascending effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010187 selection method Methods 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 230000002028 premature Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频编码领域，具体涉及一种基于可能性大小的VVC帧内快速编码方法；包括判断编码单元CUi的尺寸是否为32×32；若是，则根据划分可能性方法得到划分列表；若不是，则采用现有编码器得到划分列表；根据划分列表中的划分模式对CUi进行划分，得到子块CUi，j；采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表；基于子块CUi，j的划分模式粗选表，采用子块提前终止预测方法提前终止CUi的划分；本发明在保证编码质量的同时降低了VVC编码复杂度。
Description
技术领域
本发明属于视频编码领域，具体涉及一种基于可能性大小的VVC帧内快速编码方法。
背景技术
VVC的帧内编码复杂度约为HEVC的20倍，模式选择复杂度约为其30倍，其中基于QTMT的CU划分过程就占总编码时间的97％。针对大部分视频设备来说，设备的计算能力是有限的，这会导致VVC很难在普通的视频设备中实现。所以在保持原有的编码性能的前提下，显著的降低编码复杂度成为了当前视频压缩领域研究的一大热点。这也对于推动VVC的广泛应用起着很大作用。
降低VVC编码复杂度的方法主要有两种，第一种是基于空间相关性和纹理特征的传统快速编码方法，但是该方法过于依赖统计的实验结果，对于纹理复杂的块预测效果不好。第二种是基于机器学习的快速编码方法，但是由于VVC编码标准的编码复杂度过高，导入大型的机器学习模型会增加计算复杂度。机器学习进行预测时以可能性最大的结果为预测结果，当出现几种类别可能性相差不大时，可能会出现预测出错。
发明内容
为解决上述问题，本发明提供了一种基于可能性大小的VVC帧内快速编码方法，包括以下步骤：
S1.判断当前编码单元CUi的尺寸是否为32×32；若是，则根据划分可能性方法得到CUi的划分列表；若不是，则采用现有编码器得到CUi的划分列表；
S2.根据划分列表中的划分模式对CUi进行划分，得到子块CUi，j，j＝1,2,…,J；
S3.采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表；
S4.基于子块CUi，j的划分模式粗选表，采用子块提前终止预测方法提前终止CUi的划分。
进一步的，若当前编码单元CUi的尺寸为32×32，则根据划分可能性方法得到CUi的划分列表的过程包括：
S11.采用Prewitt算子计算CUi分别在水平、垂直、45°和135°方向上的边缘纹理复杂度，其分别表示为G1、G2、G3和G4；
S12.计算CUi的整体水平梯度变化值G5和整体垂直梯度变化值G6；
S13.计算CUi进行BTH划分后两个子块均值差异G7，以及CUi进行BTV划分后两个子块均值差异G8；
S14.计算CUi的量化参数G9和整体方差G10；
S15.根据S11-S14计算的10个值分别计算no split、QT、BTH、BTV、TTH和TTV这6种划分模式的可能性大小，并剔除可能性为0的划分模式，得到CUi的划分列表。
进一步的，CUi在水平方向上的边缘纹理复杂度G1的计算公式为：
CUi在垂直方向上的边缘纹理复杂度G2的计算公式为：
CUi在45°方向上的边缘纹理复杂度G3的计算公式为：
CUi在135°方向上的边缘纹理复杂度G4的计算公式为：
CUi的整体水平梯度变化值G5的计算公式为：
CUi的整体垂直梯度变化值G6的计算公式为：
CUi进行BTH划分后两个子块均值差异G7的计算公式为：
CUi进行BTV划分后两个子块均值差异G8的计算公式为：
其中，m表示编码单元CUi的高度，n表示编码单元CUi的宽度，p(i,j)表示编码单元CUi中坐标为(i,j)的像素点，abs()表示绝对值，mean1表示进行BTH划分后一个子块的均值，mean2表示进行BTH划分后另一个子块的均值，mean3表示进行BTV划分后一个子块的均值，mean4表示进行BTV划分后另一个子块的均值。
进一步的，步骤S3采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表，包括：
S31.设置帧内预测模式阈值δ，并计算子块CUi，j使用MIP技术的可能性Promip和使用传统帧内模式预测的可能性ProIntra＝1-Promip；若满足Promip>δ，则执行步骤S32；若不满足Promip>δ，则执行步骤S33；
S32.采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表；
S33.分别采用Planar模式、DC模式和65种角度模式进行预测并计算相应的初选成本Hcost，然后计算使用ISP技术的可能性Proisp，若满足Proisp>δ，则执行步骤S34；若不满足Proisp>δ，则执行步骤S35；
S34.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式形成初始ISP列表，将初始ISP列表中N个预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表；
S35.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
进一步的，步骤S32采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表，包括：
S321.基于量化步长设计判断条件，表示为：
其中，表示模式号为m的权重矩阵第i列第j行的值，Size表示权重矩阵的最大列数，Inputi表示参考像素进行下采样之后的输入向量，Qstep表示量化步长；
S322.对每一种MIP模式进行判断；选择满足判断条件的MIP模式对子块CUi，j进行预测并计算相应的初选成本Hcost；
S323.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的MIP模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
进一步的，子块提前终止预测方法包括：
S41.判断子块CUi，j的尺寸是否为32×32；若是，执行步骤S42，若不是，则执行步骤S44；
S42.判断子块CUi，j是否为编码单元CUi的第一个子块，若是，则执行步骤S44，若不是，则执行步骤S43；
S43.根据编码单元CUi划分得到子块CUi，j的划分模式选择提前终止判断方式，根据所选择的提前终止判断方式判定是否提前终止，若是，则提前终止，若不是，则执行步骤S44；
S44.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，判断是否存在初始ISP列表，若存在，则执行步骤S45，若不存在，则执行步骤S46；
S45.对初始ISP列表进行重建，并计算重建ISP列表中每一种预测模式的RDOcost，选择最小RDO cost对应的预测模式进行编码；
S46.选择最小RDO cost对应的预测模式进行编码。
进一步的，步骤S45包括：
S451.构建Planar判断模型、DC判断模型、水平垂直判断模型和其他角度判断模型，并为4种判断模型分别设置判断阈值；
S452.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，选出最小RDO cost对应的预测模式，并将其记为BESTIntra模式；
S453.根据RDO cost对初始ISP列表进行重建得到重建ISP列表，BESTIntra模式也在重建ISP列表中；
S454.计算BESTIntra模式与重建ISP列表中BESTIntra模式的后一模式间的RDOcost比值；
S455.根据BESTIntra模式所属的预测模式类型选择对应的判断模型，将S454计算的RDOcost比值输入判断模型计算跳过可能性，若跳过可能性大于跳过阈值，则跳过重建ISP列表中BESTIntra模式后面的预测模式。
进一步的，提前终止判断方式包括QT提前终止判断方式、BT提前终止判断方式和MT提前终止判断方式。
本发明的有益效果：
针对VVC编码中的划分过程和帧内预测过程提出了优化方法，能够在保证编码质量的情况下平均减少42％的编码时间，降低了编码复杂度。
针对现有VVC编码技术的优化方向通常包括划分模式优化和帧内预测模式优化。在VVC的划分模式优化方面，现有算法通常是在编码划分前进行优化或者在编码划分过程中进行优化，很少将两个点合在一起提出优化方法。本发明提出划分可能性方法在编码划分前进行优化，减少需要遍历的划分模式个数。在编码过程中判断是否提前终止的方法，对于一些不正确的划分模式进行提前终止，减少递归的次数。实验结果表明本算法码率失真性能变化百分比(Bjontegaard-Deltarate，BD-rate)平均增加0.63％，编码时间平均减少41.5％。
在VVC的帧内预测模式优化方面，目前对于新增编码技术的优化方法很少。本发明通过对新增的编码技术MIP和ISP提出优化方法减少编码复杂度。首先构建决策树模型跳过一些新增编码技术的遍历。对于需要测试MIP和ISP的CU，再通过数学方法进行模式选择，减少需要尝试的模式个数。实验结果表明本算法BD-rate平均增加0.18％，编码时间减少13.6％。
附图说明
图1为本发明的方法流程图；
图2为本发明实施例的QTMT划分结构示意图；
图3为本发明实施例的CU划分特征权重关系图；
图4为本发明实施例的MIP特征权重图；
图5为本发明实施例的ISP技术尺寸分布图；
图6为本发明实施例的ISP局部方差计算示意图。
图7为本发明实施例的Planar判断模型、DC判断模型、水平垂直判断模型和其他角度判断模型中的模式关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于可能性大小的VVC帧内快速编码方法，如图1所示，包括以下步骤：
S1.判断当前编码单元CUi的尺寸是否为32×32；若是，则根据划分可能性方法得到CUi的划分列表；若不是，则采用现有编码器得到CUi的划分列表。
具体地，尺寸为32×32的编码单元CU存在如图2所示的几种划分结构：
A.若对尺寸为32×32的编码单元CU进行二叉树(BT)划分，二叉树划分的水平方向划分如图2的第3个划分结构的实线所示，得到上侧和下侧两个子块；二叉树划分的垂直方向划分如图2第4个划分结构的实线所示，得到左侧和右侧两个子块；不管何种方向所得的两个子块的内容均存在不同。
B.若对尺寸为32×32的编码单元CU进行三叉树(TT)划分，三叉树划分的水平方向划分如图2的第1个划分结构的实线所示，得到上、中、下三个子块；三叉树划分的垂直方向划分如图2第2个划分结构的实线所示，得到左、中、右三个子块；不管何种方向，所得的三个子块会出现纹理内容均有不同，或者其中一个子块与另两个子块的纹理内容存在差异的情况。
C.若对尺寸为32×32的编码单元CU进行四叉树(QT)划分，四叉树划分是在二叉树划分的基础上再进行二叉树划分，如图2的第3个整体划分结构和第4个整体划分结构所示。所以四叉树划分往往存在4个子块的纹理内容均不同，或者其中一个子块与另三个子块的纹理内容存在差异的情况。
当编码单元CU不进行划分时，该编码单元CU常常具有简单的纹理内容，针对以上规律，本发明通过编码单元CU的整体纹理复杂度和边缘纹理复杂度设计划分可能性方法。
具体地，基于上述分析，本实施例设计了划分可能性方法，在该方法中选取编码单元CU在水平、垂直、45°和135°方向上的边缘纹理复杂度、整体水平梯度变化值、整体垂直梯度变化值、进行BTH划分后两个子块均值差异、进行BTV划分后两个子块均值差异、量化参数和整体方差共10种特征构建划分决策树模型，并对其进行训练，得到如图3所示的特征权重关系图，然后计算每种划分模式的可能性得到划分列表。
优选地，若当前编码单元CUi的尺寸为32×32，则根据划分可能性方法得到CUi的划分列表的过程包括：
S11.采用Prewitt算子计算CUi分别在水平、垂直、45°和135°方向上的边缘纹理复杂度，其分别表示为G1、G2、G3和G4；
S12.计算CUi的整体水平梯度G5和整体垂直梯度G6；
S13.计算CUi进行BTH(水平二叉树)划分后两个子块间的均值差异G7，以及CUi进行BTV(垂直二叉树)划分后两个子块间的均值差异G8；
其中，m表示编码单元CUi的高度，n表示编码单元CUi的宽度，p(i,j)表示编码单元CUi中坐标为(i,j)的像素点，abs()表示绝对值，mean1表示进行BTH划分后一个子块的均值，mean2表示进行BTH划分后另一个子块的均值，mean3表示进行BTV划分后一个子块的均值，mean4表示进行BTV划分后另一个子块的均值；
S14.计算CUi的量化参数G9和整体方差G10；
S15.将S11-S14计算的10个特征值输入划分决策树模型，从而得到当前编码单元CUi分别采用no split(不划分)、QT、BTH、BTV、TTH(水平三叉树)和TTV(垂直三叉树)这6种划分模式的可能性大小，其分别表示为[prono_split,proqt,probth,probtv,protth,prottv]；剔除其中可能性为0的划分模式，得到CUi的划分列表。
S2.读取CUi的划分列表栈顶所对应的划分模式，然后读取到的该划分模式移出划分列表并用其划分CUi，得到子块CUi，j，j＝1,2,…,J。
S3.采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表。
具体地，在VVC视频编码技术中，为适应多样化的像素分布和不规则的图像纹理而采用了MIP技术。这提升了部分编码单元CU的预测效果，但也增加了编码复杂度。为了对MIP技术作进一步的优化，本发明分析MIP技术帧内编码时的特点，选取了以下几个标准视频序列进行测试。
表1CU尺寸与采用MIP的概率统计
表2 8x8CU纹理特征统计
其中W、H分别表示编码单元CU的宽、高。根据上述实验结果分析可知，是否采用MIP技术与CU的尺寸有关，并且MIP技术常常出现在一些纹理特征比较简单，并且水平梯度和垂直梯度缓慢变化的预测单元中。根据以上发现，本实施例选取特征构建传统帧内模式/MIP模式决策模型，并训练得到每个特征的权重，如图4所示，图中F1、F2分别表示CU的宽和高，F3、F4分别表示CU的均值和方差，F5、F6分别表示CU的整体水平梯度变化值和整体垂直梯度变化值。
具体地，本发明对MIP技术进一步分析，MIP技术中包括多种不同的MIP模式，每一种MIP模式对应一种权重矩阵，采用两种MIP模式(即两种不同的权重矩阵)预测同一位置像素时，两种预测结果间的差为：
其中Zj表示两种MIP模式号预测同一位置像素时的结果差值，表示模式号为m的MIP模式所对应权重矩阵第j行第i列的值，Inputi表示参考像素进行下采样之后的第i个输入向量，在对同一编码单元CU进行MIP预测时，输入向量始终相同。根据柯西不等式可以得到：
若两种不同的MIP模式间的预测像素差值满足下式：
满足式(11)等价于满足下式：
可以认为这两种MIP模式在相同位置的预测效果相同。其中，Qstep为量化步长。
当这两种MIP模式在CU的所有位置上的预测像素差值都满足式(12)时，则认为这两种MIP模式对同一CU的预测效果相同，所以只需要判断两种MIP模式在CU的所有位置上的预测像素差值的最大值是否满足以下条件：
由此，可以提前将当前权重矩阵与剩余未预测的权重矩阵间的最大差值计算好导入编码器中，从而节省计算复杂度。
具体地，假设有模式号为0-6的7种MIP模式，首先进行模式号为0的MIP模式的计算判断，若其与模式号为1、5的两个MIP模式满足式(13)，则说明模式号为1、5的两个MIP模式的预测效果与模式号为0的MIP模式的预测效果相同，则排除模式号为1、5的两个MIP模式，且直接跳过模式号为1的MIP模式的计算判断；接着进行模式号为2的MIP模式与模式号为3、4、6的MIP模式的计算判断，若其与模式号为3、6的两个MIP模式满足式(13)，则排除模式号为3、6的两个MIP模式；故最后选择模式号为0、2、4的MIP模式进行预测。
具体地，在VVC视频编码技术中，还采用ISP技术进行帧内预测。本发明对采用了传统帧内模式预测的基础上使用ISP技术的可能进行实验统计：
表3
ISP技术根据CU尺寸选择将其划分成两个或者四个子块，分析发现当CU尺寸为4x8或者8x4并将其划分为两个子块时会采用ISP的概率，与CU为其他尺寸并将其划分为四个子块时会采用ISP的概率相近。为此进一步对采用ISP的CU尺寸进行统计。为了直观可视化将宽和高交换相等的尺寸归为一类，比如将4x8和8x4分成一类进行统计，如图5。
ISP技术可以解决参与像素的能量集中在CU相对于参考像素的最远区域的问题，这种问题往往出现在最远区域和参考像素之间低相关性的CU中。为此本实施例研究了CU采用传统帧内模式预测与采用ISP预测间的差异。在图像处理中方差往往能反映图像数据的分散程度，如果方差小则表示与均值的偏移距离小，图像内部的相关性较高，如果方差较大则表示图像内部相关程度低，图像的内容比较丰富。分别对两种预测方法计算整体方差和局部方差，结果发现采用ISP预测的CU方差均小于帧内模式预测的CU。
具体地，ISP存在水平划分和垂直划分两种方式，故计算CU采用ISP预测时的局部方差要分两种情况。若CU采用ISP时最优的划分方式是水平划分，则如图6的左侧示意图进行划分后，计算所有子块的整体方差并进行平均得到CU的局部方差；若CU采用ISP时最优的划分方式是垂直划分，则如图6的右侧示意图进行划分后，计算所有子块的整体方差并进行平均得到CU的局部方差。
优选地，基于上述对MIP技术、ISP技术的实验分析，本实施例设计了帧内预测可能性方法，步骤S3采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表，包括：
S31.设置帧内预测模式阈值δ，并通过传统帧内模式/MIP模式决策模型计算子块CUi，j使用MIP技术的可能性Promip和使用传统帧内模式预测的可能性ProIntra＝1-Promip；若满足Promip>δ，则执行步骤S32；若不满足Promip>δ，则执行步骤S33；
S32.采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表；
具体地，步骤S32采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表，包括：
S321.基于量化步长设计判断条件，即式(13)所示；
S322.对每一种MIP模式进行判断；选择满足判断条件的MIP模式对子块CUi，j进行预测并计算相应的初选成本Hcost；
S323.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的MIP模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
S33.分别采用Planar模式、DC模式和65种角度模式进行预测并计算相应的初选成本Hcost，然后计算使用ISP技术的可能性Proisp，若满足Proisp>δ，则执行步骤S34；若不满足Proisp>δ，则执行步骤S35；
S34.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式形成初始ISP列表，将初始ISP列表中N个预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表；
S35.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
S4.基于子块CUi，j的划分模式粗选表，采用子块提前终止预测方法提前终止CUi的划分。
优选地，子块提前终止预测方法包括：
S41.判断子块CUi，j的尺寸是否为32×32；若是，执行步骤S42，若不是，则执行步骤S44；
S42.判断子块CUi，j是否为编码单元CUi的第一个子块，若是，则执行步骤S44，若不是，则执行步骤S43；
S43.根据编码单元CUi划分得到子块CUi，j的划分模式选择提前终止判断方式，根据所选择的提前终止判断方式判定是否提前终止，若是，则执行步骤S48，若不是，则执行步骤S44；
具体地，基于编码单元CUi采用的划分模式设计提前终止判断方式，其包括QT提前终止判断方式、BT提前终止判断方式和TT提前终止判断方式。
如果当前子块CUi，j是由CUi进行QT划分后得到，则选择QT提前终止判断方式，包括：判断当前子块CUi，j是由CUi进行QT划分得到的第几个子块，若为第2个子块，则根据QT提前终止模型1判断是否提前终止；若为第3个子块，则根据QT提前终止模型2判断是否提前终止；若为第4个子块，则根据QT提前终止模型3判断是否提前终止。
如果当前子块CUi，j是由CUi进行BT划分后得到，则选择BT提前终止判断方式，即选择BT提前终止模型预测是否提前终止。
如果当前子块CUi，j是由CUi进行TT划分后得到，则选择TT提前终止判断方式，包括：判断当前子块CUi，j是由CUi进行TT划分得到的第几个子块，若为第2个子块，则根据TT提前终止模型1判断是否提前终止；若为第3个子块，则根据TT提前终止模型2判断是否提前终止。
具体地，其中QT提前终止模型1、QT提前终止模型2、QT提前终止模型3、BT提前终止模型、TT提前终止模型1和TT提前终止模型2均设置有相应的终止可能性阈值，通过计算子块的终止可能性大小与终止可能性阈值进行比较，若大于，则提前终止。
S44.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，判断是否存在初始ISP列表，若存在，则执行步骤S45，若不存在，则执行步骤S46；
S45.对初始ISP列表进行重建，并计算重建ISP列表中每一种预测模式的RDOcost，选择最小RDO cost对应的预测模式进行编码；
优选地，步骤S45包括：
S451.构建Planar判断模型、DC判断模型、水平垂直判断模型和其他角度判断模型，并为4种判断模型分别设置判断阈值；
S452.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，并根据RDOcost值大小升序排列，表示为[RDOcost1,RDOcost2,…,RDOcostN]，其中N的范围为3-6；选出最小RDO cost对应的预测模式，并将其记为BESTIntra模式；
S453.对初始ISP列表进行重建得到重建ISP列表，重建ISP列表中按顺序依次排列各种预测模式，表示为[Planar，BESTIntra，65种角度，DC]；
具体地，将Planar模式排在重建ISP列表的第一位，此时先不管BESTIntra模式具体是属于哪一张预测模式，将其放在重建ISP列表的第二位，然后按照预测模式的RDO cost大小升序排列65种角度模式和DC模式。这一步的主要目的是判断是否能跳过BESTIntra模式后面的预测模式，且[Planar，BESTIntra，65种角度，DC]这个仅是一种表达形式；若BESTIntra模式是Planar模式，则重建ISP列表的真正内容应该表示为[Planar，65种角度，DC]；若BESTIntra模式是65种角度模式中的一种，则重建ISP列表的真正内容应该表示为[Planar，BESTIntra，64种角度，DC]；若BESTIntra模式是DC模式，则重建ISP列表的真正内容应该表示为[Planar，DC，64种角度]。
S454.若BESTIntra模式是Planar模式，则计算Planar模式与重建ISP列表中Planar模式的后一模式间的RDOcost比值；若BESTIntra模式不是Planar模式，则计算BESTIntra模式与重建ISP列表中BESTIntra模式的后一模式间的RDOcost比值；
具体地，RDOcost比值的计算公式为：
其中，RDcosti表示重建ISP列表中的第i个预测模式的RDO cost，若BESTIntra模式是Planar模式，i取值为1；BESTIntra模式不是Planar模式，i取值为2。
S455.根据BESTIntra模式所属的预测模式类型选择对应的判断模型，将S454计算的RDOcost比值输入判断模型计算跳过可能性，若跳过可能性大于跳过阈值，则跳过重建ISP列表中BESTIntra模式后面的预测模式。
具体地，S451构建的Planar判断模型、DC判断模型、水平垂直判断模型和其他角度判断模型中的模式关系分别如图7(a)、(b)、(c)、(d)所示，横坐标表示RDOcost比值，纵坐标表示跳过可能性，跳过可能性也可认为是在重建ISP列表中的BESTIntra模式及其前面的预测模式成为最优模式的概率，是基于统计数据得到的。以图7中的(a)进行说明，若设置跳过阈值为0.85，则图中的横坐标要大于15％，纵坐标才会大于0.85，故计算出的RDOcost比值大于15％的话，就不用进行后面的预测模式。
具体地，模式关系中的跳过可能性的计算公式为：
其中，Pro(i)表示重建ISP列表中前i种预测模式成为最优的可能性，Idx＝1表示BESTIntra模式是Planar模式，α表示数学模型的常数值，β表示数学模型的常数值。
S46.选择最小RDO cost对应的预测模式进行编码，并执行步骤S47；
S47.判断子块CUi，j是否为编码单元CUi划分出的最后一个子块，若是，则执行步骤S48，若不是，则采用下一子块CUi，j+1返回步骤S31；
S48.判断编码单元CUi的划分列表中是否还存在划分模式，若是，则返回S2，若不是，则完成当前深度CU预测。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于可能性大小的VVC帧内快速编码方法，其特征在于，包括以下步骤：
S1.判断当前编码单元CUi的尺寸是否为32×32；若是，则根据划分可能性方法得到CUi的划分列表；若不是，则采用现有编码器得到CUi的划分列表；
S2.根据划分列表中的划分模式对CUi进行划分，得到子块CUi，j，j＝1,2,…,J；
S3.采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表；
S4.基于子块CUi，j的划分模式粗选表，采用子块提前终止预测方法提前终止CUi的划分。
2.根据权利要求1所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，若当前编码单元CUi的尺寸为32×32，则根据划分可能性方法得到CUi的划分列表的过程包括：
S11.采用Prewitt算子计算CUi分别在水平、垂直、45°和135°方向上的边缘纹理复杂度，其分别表示为G1、G2、G3和G4；
S12.计算CUi的整体水平梯度变化值G5和整体垂直梯度变化值G6；
S13.计算CUi进行BTH划分后两个子块均值差异G7，以及CUi进行BTV划分后两个子块均值差异G8；
S14.计算CUi的量化参数G9和整体方差G10；
S15.根据S11-S14计算的10个值分别计算no split、QT、BTH、BTV、TTH和TTV这6种划分模式的可能性大小，并剔除可能性为0的划分模式，得到CUi的划分列表。
3.根据权利要求2所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，CUi在水平方向上的边缘纹理复杂度G1的计算公式为：
CUi在垂直方向上的边缘纹理复杂度G2的计算公式为：
CUi在45°方向上的边缘纹理复杂度G3的计算公式为：
CUi在135°方向上的边缘纹理复杂度G4的计算公式为：
CUi的整体水平梯度变化值G5的计算公式为：
CUi的整体垂直梯度变化值G6的计算公式为：
CUi进行BTH划分后两个子块均值差异G7的计算公式为：
CUi进行BTV划分后两个子块均值差异G8的计算公式为：
其中，m表示编码单元CUi的高度，n表示编码单元CUi的宽度，p(i,j)表示编码单元CUi中坐标为(i,j)的像素点，abs()表示绝对值，mean1表示进行BTH划分后一个子块的均值，mean2表示进行BTH划分后另一个子块的均值，mean3表示进行BTV划分后一个子块的均值，mean4表示进行BTV划分后另一个子块的均值。
4.根据权利要求1所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，步骤S3采用帧内预测可能性方法对子块CUi，j进行帧内预测，得到子块CUi，j的帧内预测模式粗选表，包括：
S31.设置帧内预测模式阈值δ，并计算子块CUi，j使用MIP技术的可能性Promip和使用传统帧内模式预测的可能性ProIntra＝1-Promip；若满足Promip>δ，则执行步骤S32；若不满足Promip>δ，则执行步骤S33；
S32.采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表；
S33.分别采用Planar模式、DC模式和65种角度模式进行预测并计算相应的初选成本Hcost，然后计算使用ISP技术的可能性Proisp，若满足Proisp>δ，则执行步骤S34；若不满足Proisp>δ，则执行步骤S35；
S34.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式形成初始ISP列表，将初始ISP列表中N个预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表；
S35.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的预测模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
5.根据权利要求4所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，步骤S32采用量化步长选择方法获取子块CUi，j的帧内预测模式粗选表，包括：
S321.基于量化步长设计判断条件，表示为：
其中，表示模式号为m的权重矩阵第i列第j行的值，，Size表示权重矩阵的最大列数，Inputi表示参考像素进行下采样之后的输入向量，Qstep表示量化步长；
S322.对每一种MIP模式进行判断；选择满足判断条件的MIP模式对子块CUi，j进行预测并计算相应的初选成本Hcost；
S323.将所有初选成本Hcost按照大小升序排列，选择前N个初选成本Hcost所对应的MIP模式加入MPM列表，得到子块CUi，j的帧内预测模式粗选表。
6.根据权利要求1所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，子块提前终止预测方法包括：
S41.判断子块CUi，j的尺寸是否为32×32；若是，执行步骤S42，若不是，则执行步骤S44；
S42.判断子块CUi，j是否为编码单元CUi的第一个子块，若是，则执行步骤S44，若不是，则执行步骤S43；
S43.根据编码单元CUi划分得到子块CUi，j的划分模式选择提前终止判断方式，根据所选择的提前终止判断方式判定是否提前终止，若是，则提前终止，若不是，则执行步骤S44；
S44.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，判断是否存在初始ISP列表，若存在，则执行步骤S45，若不存在，则执行步骤S46；
S45.对初始ISP列表进行重建，并计算重建ISP列表中每一种预测模式的RDO cost，选择最小RDO cost对应的预测模式进行编码；
S46.选择最小RDO cost对应的预测模式进行编码。
7.根据权利要求6所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，步骤S45包括：
S451.构建Planar判断模型、DC判断模型、水平垂直判断模型和其他角度判断模型，并为4种判断模型分别设置判断阈值；
S452.计算子块CUi，j的帧内预测模式粗选表中每一种预测模式的RDO cost，选出最小RDO cost对应的预测模式，并将其记为BESTIntra模式；S453.根据RDO cost对初始ISP列表进行重建得到重建ISP列表，BESTIntra模式也在重建ISP列表中；
S454.计算BESTIntra模式与重建ISP列表中BESTIntra模式的后一模式间的RDOcost比值；
S455.根据BESTIntra模式所属的预测模式类型选择对应的判断模型，将S454计算的RDOcost比值输入判断模型计算跳过可能性，若跳过可能性大于跳过阈值，则跳过重建ISP列表中BESTIntra模式后面的预测模式。
8.根据权利要求6所述的一种基于可能性大小的VVC帧内快速编码方法，其特征在于，提前终止判断方式包括QT提前终止判断方式、BT提前终止判断方式和MT提前终止判断方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310331439.1A CN116456088A (zh) | 2023-03-30 | 2023-03-30 | 一种基于可能性大小的vvc帧内快速编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310331439.1A CN116456088A (zh) | 2023-03-30 | 2023-03-30 | 一种基于可能性大小的vvc帧内快速编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116456088A true CN116456088A (zh) | 2023-07-18 |
Family
ID=87129519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310331439.1A Pending CN116456088A (zh) | 2023-03-30 | 2023-03-30 | 一种基于可能性大小的vvc帧内快速编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116456088A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105120292A (zh) * | 2015-09-09 | 2015-12-02 | 厦门大学 | 一种基于图像纹理特征的视频编码帧内预测方法 |
| KR20170027288A (ko) * | 2015-09-01 | 2017-03-09 | 한양대학교 산학협력단 | 시간 상관도에 기반한 고속 영상 부호화 방법 |
| US20180184122A1 (en) * | 2014-03-28 | 2018-06-28 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
| CN111462261A (zh) * | 2020-04-06 | 2020-07-28 | 郑州轻工业大学 | 针对h.266/vvc的快速cu分区和帧内决策方法 |
| CN111711815A (zh) * | 2020-06-30 | 2020-09-25 | 福州大学 | 基于集成学习和概率模型的快速vvc帧内预测方法 |
| CN114520914A (zh) * | 2022-02-25 | 2022-05-20 | 重庆邮电大学 | 一种基于shvc质量可伸缩帧间视频编码方法 |
| CN114885172A (zh) * | 2022-04-14 | 2022-08-09 | 华侨大学 | 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法 |
| CN115278260A (zh) * | 2022-07-15 | 2022-11-01 | 重庆邮电大学 | 基于空时域特性的vvc快速cu划分方法及存储介质 |
-
2023
- 2023-03-30 CN CN202310331439.1A patent/CN116456088A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180184122A1 (en) * | 2014-03-28 | 2018-06-28 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
| KR20170027288A (ko) * | 2015-09-01 | 2017-03-09 | 한양대학교 산학협력단 | 시간 상관도에 기반한 고속 영상 부호화 방법 |
| CN105120292A (zh) * | 2015-09-09 | 2015-12-02 | 厦门大学 | 一种基于图像纹理特征的视频编码帧内预测方法 |
| CN111462261A (zh) * | 2020-04-06 | 2020-07-28 | 郑州轻工业大学 | 针对h.266/vvc的快速cu分区和帧内决策方法 |
| CN111711815A (zh) * | 2020-06-30 | 2020-09-25 | 福州大学 | 基于集成学习和概率模型的快速vvc帧内预测方法 |
| CN114520914A (zh) * | 2022-02-25 | 2022-05-20 | 重庆邮电大学 | 一种基于shvc质量可伸缩帧间视频编码方法 |
| CN114885172A (zh) * | 2022-04-14 | 2022-08-09 | 华侨大学 | 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法 |
| CN115278260A (zh) * | 2022-07-15 | 2022-11-01 | 重庆邮电大学 | 基于空时域特性的vvc快速cu划分方法及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 何全: "VVC 帧内编码快速算法研究", 中国优秀硕士论文电子期刊数据库, 15 March 2022 (2022-03-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111147867B (zh) | 一种多功能视频编码cu划分快速决策方法及存储介质 | |
| CN101710993B (zh) | 基于块的自适应超分辨率视频处理方法及系统 | |
| CN105430415B (zh) | 一种3d‑hevc深度视频帧内快速编码方法 | |
| JP4885486B2 (ja) | 画像の符号化および復号化 | |
| KR101155767B1 (ko) | 비디오 데이터의 인코딩을 위한 인코딩 유형 및 예측 모드선택 | |
| CN102415097B (zh) | 失真加权 | |
| CN108712648B (zh) | 一种深度视频快速帧内编码方法 | |
| CN108174208B (zh) | 一种基于特征分类的高效视频编码方法 | |
| KR101761928B1 (ko) | 블록 기반 압축 이미지 내의 블러 측정 | |
| US9883200B2 (en) | Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video | |
| CN111988628B (zh) | 基于强化学习的vvc的快速帧内编码方法 | |
| CN106937116A (zh) | 基于随机训练集自适应学习的低复杂度视频编码方法 | |
| CN115118977B (zh) | 针对360度视频的帧内预测编码方法、系统及介质 | |
| CN112235570B (zh) | 基于预编码的深度预测方法、帧内方向预测方法 | |
| CN112291562A (zh) | 针对h.266/vvc的快速cu分区和帧内模式决策方法 | |
| CN110677644B (zh) | 一种视频编码、解码方法及视频编码帧内预测器 | |
| CN102917226A (zh) | 一种基于自适应下采样与插值的帧内帧视频编码方法 | |
| CN112468808B (zh) | 一种基于强化学习的i帧目标带宽分配方法及装置 | |
| CN110198442A (zh) | 一种用于视频编码的帧内预测方法、装置和存储介质 | |
| CN114143536B (zh) | 一种shvc空间可伸缩帧的视频编码方法 | |
| CN104918047A (zh) | 一种双向运动估计的排除方法和装置 | |
| CN116456088A (zh) | 一种基于可能性大小的vvc帧内快速编码方法 | |
| CN101783956A (zh) | 基于时空邻居信息的后向预测方法 | |
| CN101902642B (zh) | 一种h.264帧间skip模式快速判定方法 | |
| JP4957780B2 (ja) | 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |