CN112689145B - 一种vvc帧内编码的快速帧内模式选择方法 - Google Patents

Abstract

本发明公开了一种VVC帧内编码的快速帧内模式选择方法，方法包括：获取图像，对图像进行预处理，得到图像的平滑信息和/或高频信息；根据图像的平滑信息和/或高频信息计算图像在VVC编码中的每个CU对应的平滑度和/或平均高频能量；根据图像在VVC编码中的每个CU对应的平滑度和/或平均高频能量对当前CU的帧内编码进行预测并使当前CU执行预测操作，其中预测操作包括：使当前CU跳过往下划分，执行当前层的帧内编码；或者使当前CU跳过当前层的帧内编码，执行往下划分；或者使当前CU执行当前层的帧内编码并执行往下划分。本方法能够在不损失较多质量的前提下，大幅度降低VVC编码复杂度，减少VVC编码时间。

Description

一种VVC帧内编码的快速帧内模式选择方法

技术领域

本发明涉及VVC视频编码技术领域，特别涉及一种VVC帧内编码的快速帧内模式选择方法。

背景技术

2018年4月，JVET将新的视频编码标准命名为多功能视频编码(VVC)，同时提出了编码器测试模型VTM1.0。

典型的VVC视频编码的流程如附图1所示，VVC沿用了前面几代编码标准的编码框架，然而它的编码复杂性成倍的增加主要是由于CTU(树形编码单元)的编码结构和编码模式发生了改变。具体来说，与上一代编码标准H.265作比较，H.265/HEVC中，图像会被划分为一系列CTU，CTU大小为64*64，形状为正方形，然后利用四叉树划分将CTU划分为多个编码单元(CU)，对每个CU做35种帧内编码模式，计算出当前编码深度最优的编码模式和RDO代价，然后用四叉划分递归的划分CU，计算每层编码深度最优的编码模式和RDO代价，通过比较每层编码深度的RDO代价，寻找最优的编码深度和编码模式。这个过程极其复杂，也是H.265复杂度大的重要原因。然而VVC的CTU编码结构更加复杂也更加灵活，为了适应更加灵活的编码结构，VVC将CTU的尺寸扩大到了128*128，在原来单一的划分结构(四叉划分)的基础上引入了多类型树(multi-type tree,MTT)划分，包括了4种多类型树划分方式：水平二叉树划分(SPLIT_BT_HOR)，垂直二叉树划分(SPLIT_BT_VER)，水平三叉树划分(SPLIT_TT_HOR)和垂直三叉树划分(SPLIT_TT_VER)，并且对于每个CU，VVC将帧内预测模式从H.265的35个增加到了67个。基于以上的原因，VVC的编码复杂度成倍的增加。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种VVC帧内编码的快速帧内模式选择方法，能够减少VVC编码复杂度，减少VVC编码时间。

本发明的第一方法，提供了一种VVC帧内编码的快速帧内模式选择方法，包括以下步骤：

获取图像，对所述图像进行预处理，得到所述图像的平滑信息和/或高频信息；

根据所述图像的平滑信息和/或高频信息计算所述图像在VVC编码中的每个CU对应的平滑度和/或平均高频能量；

根据所述图像在VVC编码中的每个CU对应的平滑度和/或平均高频能量对所述当前CU的帧内编码进行预测并使所述当前CU执行预测操作，其中所述预测操作包括：

使所述当前CU跳过往下划分，执行当前层的帧内编码；或者使所述当前CU跳过当前层的帧内编码，执行往下划分；或者使所述当前CU执行当前层的帧内编码并执行往下划分。

根据本发明的实施例，至少具有如下技术效果：

本方法首先对图像进行预处理，得到图像的平滑信息和/或高频信息；然后根据图像的平滑信息和/或高频信息获取图像在VVC编码中的每个CU对应的平滑度和平均高频能量。通过平滑度和/或平均高频能量去判断当前CU是否平滑。若能够确定当前CU很不平滑，当前CU是纹理细节很多的区域，就可认为当前CU不需要做当前深度的编码，而是直接做往下划分，在更小的CU中寻找最优的编码模式，这样就可以跳过当前深度的寻找最优模式的过程，可以大幅度降低VVC编码的复杂度，减少VVC编码时间；若能够确定当前CU很平滑，当前CU是纹理细节很少的区域，就可认为当前CU的编码深度已经达到最优，只需要在当前编码深度上找出最优的编码模式，无需继续往下做划分和编码来寻找最优的编码尺寸和编码模式，可以大幅度降低VVC编码的复杂度，减少VVC编码时间。

本发明的第二方面，提供了一种VVC帧内编码的快速帧内模式选择设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如本发明第一方面所述的VVC帧内编码的快速帧内模式选择方法。

本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面所述的VVC帧内编码的快速帧内模式选择方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为现有技术的一种典型的VVC视频编码的流程图；

图2为本发明实施例提供的一种VVC帧内编码的快速帧内模式选择方法的流程示意图；

图3为本发明实施例提供的一张原始图像；

图4为图3滤波后获得的平滑信息图；

图5为本发明实施例提供的一张5x5的平滑信息图；

图6为图3滤波后获得的高频信息图；

图7为本发明实施例提供的一张5x5的原始图像计算CU的平均高频信息的示意图；

图8为本发明实施例提供的当前CU在执行往下划分时的一种预测划分方式的示意图；

图9为图8的中步骤S301的一种实施流程示意图；

图10为本发明实施例提供的根据图像在VVC编码中的每个CU对应的平滑度和平均高频能量对当前CU的帧内编码进行预测的流程图；

图11为本发明实施例提供的一种VVC帧内编码的快速帧内模式选择设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

第一实施例；

参照图2，本实施例提供一种VVC帧内编码的快速帧内模式选择方法，包括以下步骤：

S101、获取图像，对图像进行预处理，得到图像的平滑信息和高频信息。

S102、根据图像的平滑信息和高频信息计算图像在VVC编码中的每个CU对应的平滑度和平均高频能量。

S103、根据图像在VVC编码中的每个CU对应的平滑度和平均高频能量对当前CU的帧内编码进行预测并使当前CU执行预测操作，其中预测操作包括：

使当前CU跳过往下划分，执行当前层的帧内编码；或者使当前CU跳过当前层的帧内编码，执行往下划分；或者使当前CU执行当前层的帧内编码并执行往下划分。

由于VVC编码器对编码模式的选择都是基于率失真代价(RD-Cost)，而RD-Cost是质量与码率的权衡。对于图像中纹理细节较少的区域，采用小块的CU来编码其实对这个区域的质量提升不是很大，或者说对于图像中越平滑的区域，采用小块的CU来编码其实对这个区域的质量提升不是很大。但是由于编码需要对这些小块的CU全部编码(编码的模式，运动矢量等)，这增加了编码需要的比特数，用较多的码率来提升少量的图像质量，这是很不划算的，这表现在RD-Cost上，所以对于纹理细节较少的区域，或者说越平滑的区域，采用较大尺寸CU进行编码的RD-Cost会比较小，编码器会倾向于使用较大尺寸CU编码；相反的，对于纹理细节较多的区域，或者说越不平滑的区域，编码器倾向采用较小的CU进行编码。

而且，现有VVC编码器在做帧内编码时，会对每一层的CU都进行67种帧内模式选择，从而选出当前层最好的帧内模式，然后继续递归进行划分并在每一层中都选出最好的帧内模式。具体来说就是在划分的时候会尝试四叉划分、二叉水平划分、二叉垂直划分，三叉水平划分和三叉垂直划分，每种划分的情况下又会递归的尝试这几种划分并找出当前层最优的帧内模式，编码复杂度极大，过程非常耗时。

于是本实施例首先对图像进行预处理，得到图像的平滑信息和高频信息；然后根据图像的平滑信息和高频信息获取图像在VVC编码中的每个CU对应的平滑度和平均高频能量。通过平滑度和平均高频能量这两个参数去判断CU是否平滑。若当前CU的平滑度和当前CU的平均高频能量确定当前CU很不平滑，当前CU是纹理细节很多的区域，那么本方法就可认为当前CU不需要做当前深度的编码，而是直接做往下划分，在更小的CU中寻找最优的编码模式，这样就可以跳过当前深度的寻找最优模式的过程，可以大幅度降低复杂度；若平滑度和平均高频能量这两个参数能够确定当前CU很平滑，当前CU是纹理细节很少的区域，那么本方法就可认为当前CU的编码深度已经达到最优，只需要在当前编码深度上找出最优的编码模式，无需继续往下做划分和编码来寻找最优的编码尺寸和编码模式，可以大幅度降低复杂度。

作为一种可选的实施方式，在步骤S101中，本实施例是分别通过对图像进行双边滤波去噪以及USM锐化，分别得到图像的平滑信息和图像的高频信息。具体如下：

双边滤波(Bilateral filter)是由Tomasi和Manduchi于1998年提出的一种非线性滤波方式，双边滤波在空间邻近度和像素值相似度之间采取了权衡手段，并且以空域信息和灰度相似性为指标进行优化，从而达到保边去噪的目的，在保持边缘结构的同时平滑噪声；双边滤波使用加权平均的方法，先对每个像素点的周围像素值进行高斯加权平均；双边滤波将像素的欧氏距离纳入考虑范围，同时也考虑了像素范围域中的辐射差异，那么在计算中心像素的时候会考虑这两个权重。而常见的高斯低通滤波，只考虑了位置对中心像素的影响，卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等。

USM(Unsharpen Mask)锐化的基本原理就是把原始图像做高斯模糊或者高斯滤波，然后用原始图像减去高斯滤波后的图像，得到该图像的高频细节信息，然后再把这些细节信息叠加到原始图像上，让边缘及细节信息更加的清晰，以此达到锐化的效果。

作为一种可选的实施方式，在步骤S102中，CU的平滑度的获取过程如下：

使用的双边滤波采用了3*3大小的滤波窗口(即使用待滤波点周围的8个点)。理论上周围每个点的权重符合下式(1)：

其中，I(k,l)表示当前点(k,l)的灰度值，I(i,j)表示周围点(i,j)的灰度值；σ_d和σ_r两个参数分别固定为1和2。为了减少计算exp函数的耗时，将需要使用的权重值ω(i,j,k,l)提前计算并使用数组存储，当使用的时候，根据点的空间位置和灰度差值从数组里提取。由于这些权重ω(i,j,k,l)都是小于1的小数，为了减少计算耗时，对这些权重整数化，即把这些权重都乘2²⁰，所有的小数乘法都变成了整数乘法。如下表1(空间距离为1的点的权重)和表2(空间距离为2的点的权重)所示，整数的权重表如下：

表1

表2

空间距离为式(1)中(i-k)²+(j-l)²的值，从表1和表2看出来，当σ_d和σ_r这两个参数分别固定为1和2时，灰度值相差11及以上的周围点的权重会被赋予0，即当前点的滤波不会参考这个周围点，此时可认为这个周围点与当前点的灰度不相似。另外，相对于灰度差值为0的情况下，灰度差值大于6的权重显得微乎其微，不到灰度差值为0的权重的0.25％，所以进一步简化表1和表2，使灰度差值大于6的权重都为0，如下表3(简化后的空间距离为1的点的权重)和表4(简化后的空间距离为2的点的权重)：

表3

表4

双边滤波的过程中会利用周围8个点的灰度信息，对于灰度更相似的点，赋予更高的权重，对灰度不相似的点则赋予更低的权重，甚至权重为0，即不参考极其不相似的点。利用上述简化后的权重表做双边滤波，与当前待滤波的点的灰度差值大于6的周围点就认为是不相似的点，否则该周围点就是当前待滤波点的相似点。在做当前点的滤波的同时，需要统计当前点周围的相似点数，如果当前点周围的8个点都是它的相似点，则称当前待滤波的点是平滑点。做完所有点的滤波，就可以得到所有滤波点是否是平滑点的信息，然后把这些信息保存起来。此外，对于那些图像边缘点，即双边滤波过滤不到的那些点，也会统计其周围是否全是相似点，如果是，则该点也是平滑点，否则不是，然后将这些边缘点的平滑信息也一起保存起来。这样，整个图像所有点是否是平滑点的信息都进行了保存；最后可通过求取CU块中平滑点的占比，得到CU块的平滑度。如图3和图4分别展示了原始图像和平滑信息图，图4中白色的点表示平滑点，黑色的点表示非平滑点。为了便于理解，图5示例出一张5x5的平滑信息图，图中每个点取值为1或0，1表示对应位置的像素点是平滑点，0表示不是平滑点，则图中CU1的平滑度＝平滑点个数/CU1总共像素点个数＝2/4，同理，CU2平滑点＝2/4，CU3平滑度＝1，CU4平滑度＝4/6，CU5平滑度＝5/9。

作为一种可选的实施方式，在步骤S102中，CU的平均高频能量的获取过程如下：

在做USM锐化的时候，采用3*3的高斯滤波滤掉当前点的高频分量，然后用该点滤波前的灰度值减去滤波后的灰度值，就得到高频信息，称其为该点的高频能量，然后将高频能量叠加到原始的灰度值上，就得到该点锐化的灰度值，接着遍历所有的点，就可以得到锐化后的图像。在这个过程中，将每个点的高频能量保存。如图6表示原始图像(即图3)滤波后获得的高频信息。为了便于理解，例如图7(a)为一张5x5的未经过任何处理的原始图像(记作X)，为了计算每个点的高频能量，需要先对图像X做高斯滤波，这里为了计算简便，采用均值滤波做示范，用一个3x3的均值滤波窗口对图像X做均值滤波，得到去除高频分量后的滤波图像Y，如图7(b)，然后|X-Y|得到每个点的高频能量，如图7(c)，则CU1的平均高频能量＝(4.25+2+3.84+2.8)/4＝3.2225，同理其他CU的平均高频能量计算方法也是一样的。

参照图10，由于在上述步骤S103中，需要选取合适的平滑度的数值和平均高频能量数值对当前CU的帧内编码进行预测。于是，作为一种可选的实施方式，步骤S103中的根据图像在VVC编码中的每个CU对应的平滑度和平均高频能量对当前CU的帧内编码进行预测，并使当前CU执行预测操作，包括以下三种情况：

(1)若当前CU的平滑度大于跳过块划分平滑阈值且平均高频能量小于跳过块划分高频阈值，以及当前CU能够帧内编码时，则使当前CU跳过往下划分，执行当前层的帧内编码。

在本情况中，首先使用编码器自带的tryModeMaster()函数检查是否能够做当前层的帧内角度模式编码(即判断当前CU能不能够执行帧内编码)，执行这一步骤的原因是，因为如果当前CU属于图像边缘的CU，并且当前CU的右边界超出了图像的边界(属于个例的情况)，则编码器会强行对当前CU做划分，只有当前CU能够帧内编码，才能使当前CU跳过往下划分，执行当前层的帧内编码。若当前CU可以使用跳过往下划分，执行当前层的帧内编码，则统计当前CU的平滑点数和当前CU所有点的高频能量总和，并计算当前CU的平滑度(当前CU中平滑点的占比)和平均高频能量(当前CU中每个点平均高频能量)。如果当前CU的平滑度大于预设的跳过块划分的平滑阈值，并且CU的平均高频能量小于预设的跳过块划分高频阈值，认为当前CU足够平滑，高频纹理细节足够少，则当前CU跳过往下划分，仅执行当前层的帧内编码。

(2)若当前CU的平滑度小于跳过块帧内编码平滑阈值且平均高频能量大于跳过块帧内编码高频阈值，以及当前CU能够继续往下划分时，则使当前CU跳过当前层的帧内编码，执行往下划分。

与情况(1)同理，首先使用VVC自带的canSplit()函数检查当前CU是否允许跳过当前层的帧内编码，执行往下划分。若允许，则统计当前CU的平滑点数和当前CU所有点的高频能量总和，并计算当前CU的平滑度(当前CU中平滑点的占比)和平均高频能量(当前CU中每个点平均高频能量)。若当前CU的平滑度小于跳过块帧内编码平滑阈值，并且CU的平均高频能量大于跳过块帧内编码高频阈值，则说明当前CU很不平滑，高频细节信息很多，需要继续往下划分，所以就没必要做当前层的帧内编码，即跳过当前层的帧内编码，执行往下划分。

(3)若当前CU的平滑度小于或等于跳过块划分平滑阈值且大于或等于跳过块帧内编码平滑阈值，平均高频能量大于或等于跳过块划分高频阈值且小于或等于跳过块帧内编码高频阈值，以及当前CU能够帧内编码且能够继续往下划分时，使当前CU执行当前层的帧内编码并往下划分。

在本实施例中，设置情况(1)至(3)中的“跳过块划分平滑阈值”为0.9、“跳过块划分高频阈值”为2.0、“跳过块帧内编码平滑阈值”为0.35、“跳过块帧内编码高频阈值”为3.0。以上阈值通过选取17个HEVC标准测试视频序列(包括A-E五类)作为测试序列取平均效果最好时，得到阈值，测试序列的选取以及测试过程可参照后续仿真数据的实施例，此处不再细述。但需要说明的是，测试序列以及测试参数的不同会影响阈值的选取，但经过实验后发现，阈值的选取不会与本实施例列举的阈值产生较大的偏差，而且由于本实施例列举的17个HEVC标准测试视频序列在业内具有普遍通用性，因此优选本实施例列举的阈值，但这不能作为本发明范围的限制。

上述实施例是以CU的平滑度和平均高频能量这两个参数作为判断CU是否平滑的依据，进一步根据该依据对当前CU的编码做出相应的预判。根据上述实施例可以知道，仅使用CU的平滑度这一个参数作为也能作为判断CU是否平滑的依据。仅使用CU的平均高频能量这一个参数作为也能作为判断CU是否平滑的依据。但从理论和实验结果来看，使用两个参数联合起来判断当前CU的纹理细节或者判断当前CU是否平滑，会更加科学可靠。CU越平滑，那么平滑度越高，高频能量也会越少，反之亦然。虽然本实施例以两参数结合来实施，但仅用一种参数也能实施，这不能作为本发明保护范围的限制。作为一种可选的实施方式，还可以通过CU中所有像素点的方差作为判断当前CU是否平滑的依据，因为如果CU不平滑，或者纹理细节信息多，则其方差一定偏大；反之，则偏小。

参照图8，作为一种可选的实施方式，在上述步骤S103中，当前CU在根据平滑度和平均高频能量执行往下划分时，还包括步骤：

S301、根据当前CU对应划分方式的CU子块的平滑度预测当前CU不选取的往下划分方式，并使当前CU跳过不选取的往下划分方式。

因为当前CU在执行往下划分的时候，又有很多种划分方法，例如四叉划分和多叉树划分，如果按照现有编码器的往下划分方法，则还是有很高的复杂度。于是步骤S301做当前CU往下划分方式的预测，使当前CU排除一些可认为不被选取的划分方式，以实现减少编码复杂度。需要注意的是，本实施例仅使用CU的平滑度这一参数预测当前CU不选取的往下划分方式。

基于上述，参照图9，作为一种可选的实施方式，步骤S301的具体实施方式为：

S3011、选取出当前CU的所有候选划分方式。

S3012、若第一种候选划分方式下的每个CU子块的平滑度均小于或等于子块平滑阈值，则排除该种候选划分方式；按照同样的方法，对后续的候选划分方式下的每个CU子块的平滑度进行同样的判断，直至选取出被排除的所有候选划分方式。

S3013、若被排除的所有候选划分方式与当前CU的候选划分方式等同，则将当前CU的候选划分方式作为当前CU的实际划分方式；若被排除的所有候选划分方式与当前CU的候选划分方式不等同，则移去被排除的所有候选划分方式，将剩余的候选划分方式作为当前CU的实际划分方式。

首先使用VTM(VVC编码器)自带的canSplit()函数对二叉水平划分，二叉垂直划分，三叉水平划分，三叉垂直划分做检查，初步选出候选划分模式(一次选择)，然后将一次选择的结果放在RList1列表中。对每一种划分模式做如下处理：遍历当前划分模式的子块，并依次计算子块的平滑度，一旦发现存在一个子块的平滑度大于预设的子块平滑阈值，那么当前的划分模式直接被添加进二次候选划分模式列表RList2中，并不再检查当前划分模式剩下的子块，直接进入下一个划分模式的检查，直至每个划分模式都检查完。检查完后，如果RLi st2为空，这个时候直接使用一次选择的结果RList1，即把RList1的结果加进RList2中。最后返回最终的选择结果RList2后结束算法。需要说明的是，步骤S3011中一次划分模式的筛选，是编码器本身会执行的，它的目的是为了排除一些从结构上来说不可能的划分模式，例如当前CU的尺寸是16*4，那这个CU在结构上是不可能再进行水平划分(二叉水平划分和三叉水平划分)。在二次选择后，如果没有剩余的划分模式(RList2为空)，说明当前的CU纹理细节很多，很难用某个划分模式去匹配，所以选择使用一次选择的结果做划分，更能保证编码的质量。

本实施例中，子块平滑阈值为0.9，与上述实施例中列举的四个阈值同理，也通过选取17个HEVC标准测试视频序列(包括A-E五类)作为测试序列取平均效果最好时，得到阈值，测试序列的选取以及测试过程可参照后续仿真数据的。此处不再细述。但需要说明的是，测试序列以及测试参数的不同会影响阈值的选取，但经过实验后发现，阈值的选取不会与本实施例列举的阈值产生较大的偏差，而且由于本实施例列举的17个HEVC标准测试视频序列在业内具有普遍通用性，因此优选本实施例列举的阈值，但这不能作为本发明保护范围的限制。

第二实施例；

本发明的一个实施例，提供一组仿真数据，仿真实施过程和结果如下所示：

本实施例的平台是PC端，内存为8G，CPU的主频为3.4GHz。在参考软件VTM7.1中实现。编译环境是Microsoft Visual Studio 2015。主要的编码器参数配置于下表5中，因为本发明是针对于帧内编码，所以在JEVT的All-Intra测试条件下进行实验，量化参数QP的取值为：22，27，32，37，编码树单元CTU大小为128*128，亮度与色度分离划分值为1，最大的编码单元深度设置为4，测试的序列为17个HEVC标准测试视频序列(包括A-E五类)，分辨率包括416x240、832×480、1280×720、1920×1080、2560×1600。HEVC标准测试序列如下表6所示。

编码质量的评估主要参考BDBR(Bjotegaard Delta Bit rate)以及时间的缩减程度TS。其中BDBR可以综合反映视频的码率和质量，BDBR的值越大，则提出的算法比未加算法的码率更高，算法压缩性能就越差。TS是添加上述VVC帧内编码的快速帧内模式选择方法后相较于未加该方法在编码时间上的缩减程度，如公式2所示：

T_p表示添加该方法后的总编码时间，T_o是没有加该方法的总编码时间。

参数名称	值	描述
			VTM	7.1	VTM版本号
IntraPeriod	1	全I帧
			CTUSize	128	CTU大小
QP	22，27，32，37	量化参数
			DualITree	1	亮度与色度分离划分
MaxPartitionDepth	4	最大的编码单元深度

表5

表6

表7

表7展示了基于上述实施例方法的仿真结果。首先从平均意义上看，该方法相比于原编码器Y，U，V分量的质量损失分别为1.57％，0.79％，0.89％，表明该方法的质量损失很小，同时相比于原编码器，时间节省了23.44％，说明编码时间也有较大的降低。总体而言，该方法能有效地降低高分辨率视频序列的编码时间，同时质量的损失也相对大一些。对于A，E类序列，质量损失相对其他序列较大，原因是A，E序列属于包含较多纹理细节的高分辨率序列，对这些序列的编码和预测的准确性会有所下降，所以会造成相对较大的质量损失。对于低分辨率的C，D类序列，由于采用更多的小块编码，所以基本上该方法的不准确性不会导致较大的质量损失。对于某些具有大块较平滑区域的高分辨率视频序列，例如Kimono1，在保证低于平均的质量损失的情况下(Y,U,V分别损失1.46％，0.39％，0.62％)，编码时间能节省高达40.39％，提升巨大。

第三实施例；

参照图11，提供了一种VVC帧内编码的快速帧内模式选择设备，该设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。具体地，该设备包括：一个或多个控制处理器和存储器，这里以一个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，这里以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的VVC帧内编码的快速帧内模式选择设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而实现上述方法实施例的VVC帧内编码的快速帧内模式选择方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该VVC帧内编码的快速帧内模式选择设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的VVC帧内编码的快速帧内模式选择方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行如本发明第一实施例的一种VVC帧内编码的快速帧内模式选择方法。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种VVC帧内编码的快速帧内模式选择方法，其特征在于，包括以下步骤：

获取图像，对所述图像进行预处理，得到所述图像的平滑信息和高频信息；

根据所述图像的平滑信息和高频信息计算所述图像在VVC编码中的每个CU对应的平滑度和平均高频能量；

根据所述图像在VVC编码中的每个CU对应的平滑度和平均高频能量对当前CU的帧内编码进行预测并使所述当前CU执行预测操作，其中所述预测操作包括：

使所述当前CU跳过往下划分，执行当前层的帧内编码；或者使所述当前CU跳过当前层的帧内编码，执行往下划分；或者使所述当前CU执行当前层的帧内编码并执行往下划分；其中所述当前CU跳过往下划分，执行当前层的帧内编码；或者使所述当前CU跳过当前层的帧内编码，执行往下划分；或者使所述当前CU执行当前层的帧内编码并执行往下划分包括：

若当前CU的平滑度大于跳过块划分平滑阈值且平均高频能量小于跳过块划分高频阈值，以及当前CU能够帧内编码时，则使当前CU跳过往下划分，执行当前层的帧内编码；

若当前CU的平滑度小于跳过块帧内编码平滑阈值且平均高频能量大于跳过块帧内编码高频阈值，以及当前CU能够继续往下划分时，则使当前CU跳过当前层的帧内编码，执行往下划分；

若当前CU的平滑度小于或等于跳过块划分平滑阈值且大于或等于跳过块帧内编码平滑阈值，平均高频能量大于或等于跳过块划分高频阈值且小于或等于跳过块帧内编码高频阈值，以及当前CU能够帧内编码且能够继续往下划分时，使当前CU执行当前层的帧内编码并往下划分。

2.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，所述当前CU在根据每个CU对应的平滑度和平均高频能量执行往下划分时，还包括步骤：

根据所述当前CU对应划分方式的CU子块的平滑度预测所述当前CU不选取的往下划分方式，并使所述当前CU跳过所述不选取的往下划分方式。

3.根据权利要求2所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，所述根据所述当前CU对应划分方式的CU子块的平滑度预测所述当前CU不选取的往下划分方式，包括步骤：

选取所述当前CU的所有候选划分方式；

若第一种候选划分方式下的每个CU子块的平滑度均小于或等于0.9，排除该种候选划分方式；按照同样的方法，对后续的候选划分方式下的每个CU子块的平滑度进行同样的判断，直至选取出被排除的所有候选划分方式；

若被排除的所有候选划分方式与所述当前CU的候选划分方式等同，将所述当前CU的候选划分方式作为所述当前CU的实际划分方式；若被排除的所有候选划分方式与所述当前CU的候选划分方式不等同，移去被排除的所有候选划分方式，将剩余的候选划分方式作为所述当前CU的实际划分方式。

4.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，通过对所述图像进行双边滤波去噪得到所述图像的平滑信息。

5.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，通过对所述图像进行USM锐化得到所述图像的高频信息。

6.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，所述根据所述图像在VVC编码中的每个CU对应的平滑度和平均高频能量对所述当前CU的帧内编码进行预测并使所述当前CU执行预测操作，包括步骤：

若所述当前CU的平滑度大于0.9且平均高频能量小于2，以及所述当前CU能够执行当前层的帧内编码，使所述当前CU跳过往下划分，执行当前层的帧内编码。

7.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，所述根据所述图像在VVC编码中的每个CU对应的平滑度和平均高频能量对所述当前CU的帧内编码进行预测并使所述当前CU执行预测操作，包括步骤：

若所述当前CU的平滑度小于0.35且平均高频能量大于3，以及所述当前CU能够执行往下划分，使所述当前CU跳过当前层的帧内编码，执行往下划分。

8.根据权利要求1所述的VVC帧内编码的快速帧内模式选择方法，其特征在于，所述根据所述图像在VVC编码中的每个CU对应的平滑度和平均高频能量对所述当前CU的帧内编码进行预测并使所述当前CU执行预测操作，包括步骤：

若所述当前CU的平滑度小于或等于0.9且大于或等于0.35，平均高频能量大于或等于2且小于或等于3，以及所述当前CU能够执行当前层的帧内编码且能够执行往下划分，使所述当前CU执行当前层的帧内编码并执行往下划分。

9.一种VVC帧内编码的快速帧内模式选择设备，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至8任一项所述的VVC帧内编码的快速帧内模式选择方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的VVC帧内编码的快速帧内模式选择方法。