CN115834910A

CN115834910A - 一种视频编码和解码方法、装置、电子设备及存储介质

Info

Publication number: CN115834910A
Application number: CN202211487455.1A
Authority: CN
Inventors: 罗斌姬
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2022-11-24
Filing date: 2022-11-24
Publication date: 2023-03-21

Abstract

本发明实施例提供了一种视频编码和解码方法、装置、电子设备及存储介质，应用于视频处理领域，其中该方法包括：获取待编码视频的主变换系数；主变换系数是针对待编码视频进行离散余弦变换得到的；计算主变换系数的相对偏离度；相对偏离度表示主变换系数的分散程度；在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。应用本发明实施例提供的视频编码和解码方法、装置、电子设备及存储介质，能够降低视频编码的复杂度。

Description

一种视频编码和解码方法、装置、电子设备及存储介质

技术领域

本发明涉及视频处理领域，特别是涉及一种视频编码和解码方法、装置、电子设备及存储介质。

背景技术

视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于连续的帧之间相似性高，为便于储存传输，可以对视频图像进行压缩编码，但是由于视频图像数据具有很强的相关性，在视频编码时会产生大量的冗余信息。

变换是去除冗余的重要工具，利用离散余弦变换作为主变换，将空域信号变换到频域，可以使其相关性下降，冗余度减小。在主变换之后，空域冗余集中在低频变换系数区域，但是由于空域冗余特性与预测模式有关，使得在主变换之后一些低频系数仍是可预测的。为进一步处理这些低频系数，在主变换之后，又引入了低频不可分变换作为二次变换，进而对经过二次变换后的变换系数进行量化及后续编码过程实现视频编码，二次变换虽然可以进一步去除冗余，但会使整个视频编码过程更复杂。

发明内容

本发明实施例的目的在于提供一种视频编码和解码方法、装置、电子设备及存储介质，以降低视频编码的复杂度。具体技术方案如下：

第一方面，本发明实施例提供一种视频编码方法，包括：

获取待编码视频的主变换系数；所述主变换系数是针对所述待编码视频进行离散余弦变换得到的；

计算所述主变换系数的相对偏离度；所述相对偏离度表示所述主变换系数的分散程度；

在所述相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。

可选地，所述计算所述主变换系数的相对偏离度，包括：

计算所述主变换系数中前预设数量个变换系数的平均值；

针对所述前预设数量个变换系数中的各变换系数，计算各所述变换系数与所述平均值的差值的绝对值，并将各所述变换系数与所述平均值的差值的绝对值求和，得到绝对值和；

计算所述绝对值和与所述预设数量的比值，得到所述主变换系数的平均偏差；

计算所述平均偏差与所述平均值的比值，得到所述相对偏离度。

可选地，所述计算所述主变换系数的相对偏离度，包括：

确定所述主变换系数中最后一个非零系数的位置，并将所述主变换系数中最后一个非零系数的位置作为所述相对偏离度。

可选地，所述计算所述主变换系数的相对偏离度，包括：

确定所述主变换系数中非零系数的数量；

计算所述主变换系数中非零系数的数量在所述主变换系数中的占比，并将所述占比作为所述相对偏离度。

可选地，所述主变换系数包括变换块对应的系数；

在所述计算所述主变换系数中前预设数量个变换系数的平均值之前，所述方法还包括：

确定所述变换块的尺寸；

确定所述变换块的尺寸与预设尺寸的大小关系；

如果所述变换块的尺寸小于所述预设尺寸，则确定所述预设数量为第一数量；

如果所述变换块的尺寸不小于所述预设尺寸，则确定所述预设数量为第二数量；所述第二数量大于第一数量。

可选地，所述主变换系数包括变换块对应的系数，所述变换块对应的系数包括至少一个系数矩阵；

所述确定所述主变换系数中最后一个非零系数的位置，包括：

采用逆对角扫描方式，对所述至少一个系数矩阵进行扫描，得到扫描到的第一个非零系数；

将所述扫描到的第一个非零系数所在的位置作为所述主变换系数中最后一个非零系数的位置。

可选地，在所述计算所述主变换系数的相对偏离度之后，所述方法还包括：

判断所述相对偏离度是否小于预设阈值；

在所述相对偏离度小于预设阈值的情况下，对所述主变换系数进行低频不可分变换。

可选地，在所述相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后，所述方法还包括：

对所述主变换系数添加跳过二次变换标识信息，所述跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换。

第二方面，本发明实施例提供一种视频解码方法，包括：

获取标识信息；

若所述标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程；其中，所述跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；所述跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；所述相对偏离度是视频编码过程中获取待编码视频的主变换系数之后计算的所述主变换系数的相对偏离度；所述相对偏离度表示所述主变换系数的分散程度；所述主变换系数是针对所述待编码视频进行离散余弦变换得到的。

第三方面，本发明实施例提供一种视频编码装置，包括：

第一获取模块，用于获取待编码视频的主变换系数；所述主变换系数是针对所述待编码视频进行离散余弦变换得到的；

计算模块，用于计算所述主变换系数的相对偏离度；所述相对偏离度表示所述主变换系数的分散程度；

跳过模块，用于在所述相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。

可选地，所述计算模块，具体用于计算所述主变换系数中前预设数量个变换系数的平均值；针对所述前预设数量个变换系数中的各变换系数，计算各所述变换系数与所述平均值的差值的绝对值，并将各所述变换系数与所述平均值的差值的绝对值求和，得到绝对值和；计算所述绝对值和与所述预设数量的比值，得到所述主变换系数的平均偏差；计算所述平均偏差与所述平均值的比值，得到所述相对偏离度。

可选地，所述计算模块，具体用于确定所述主变换系数中最后一个非零系数的位置，并将所述主变换系数中最后一个非零系数的位置作为所述相对偏离度。

可选地，所述计算模块，具体用于确定所述主变换系数中非零系数的数量；计算所述主变换系数中非零系数的数量在所述主变换系数中的占比，并将所述占比作为所述相对偏离度。

可选地，所述主变换系数包括变换块对应的系数；所述装置还包括：

确定模块，用于确定所述变换块的尺寸；确定所述变换块的尺寸与预设尺寸的大小关系；如果所述变换块的尺寸小于所述预设尺寸，则确定所述预设数量为第一数量；如果所述变换块的尺寸不小于所述预设尺寸，则确定所述预设数量为第二数量；所述第二数量大于第一数量。

所述计算模块，具体用于采用逆对角扫描方式，对所述至少一个系数矩阵进行扫描，得到扫描到的第一个非零系数；将所述扫描到的第一个非零系数所在的位置作为所述主变换系数中最后一个非零系数的位置。

可选地，所述装置还包括：

判断模块，用于在所述计算所述主变换系数的相对偏离度之后，判断所述相对偏离度是否小于预设阈值；

二次变换模块，用于在所述相对偏离度小于预设阈值的情况下，对所述主变换系数进行低频不可分变换。

可选地，所述装置还包括：

标识模块，用于在所述相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后，对所述主变换系数添加跳过二次变换标识信息，所述跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换。

第四方面，本发明实施例提供一种视频解码装置，包括：

第二获取模块，用于获取标识信息；

解码模块，用于若所述标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程；其中，所述跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；所述跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；所述相对偏离度是视频编码过程中获取待编码视频的主变换系数之后计算的所述主变换系数的相对偏离度；所述相对偏离度表示所述主变换系数的分散程度；所述主变换系数是针对所述待编码视频进行离散余弦变换得到的。

第五方面，本发明实施例提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的视频编码方法或视频解码方法的方法步骤。

第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的视频编码方法或视频解码方法的方法步骤。

第七方面，本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的视频编码方法或视频解码方法。

本发明实施例提供的技术方案中，先获取待编码视频的主变换系数，主变换系数是针对待编码视频进行离散余弦变换得到的；再计算主变换系数的相对偏离度；并在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换。相对偏离度表示主变换系数的分散程度，在相对偏离度不小于预设阈值的情况下跳过低频不可分变换，如此能够降低视频编码的复杂度。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的视频编码方法的第一种流程图。

图2为本发明实施例中视频编码方法的第二种流程图。

图3为本发明实施例提供的视频编码方法的第三种流程图。

图4为本发明实施例中确定预设数量方法的流程图。

图5为本发明实施例中第一预设数量包括的变换系数的示例图。

图6为本发明实施例中第二预设数量包括的变换系数的示例图。

图7为本发明实施例提供的视频编码方法的第四种流程图。

图8为本发明实施例中采用逆对角方式扫描变换系数的示例图。

图9为本发明实施例中视频编码方法的第五种流程图。

图10为本发明实施例提供的视频编码方法的第六种流程图。

图11为本发明实施例提供的视频解码方法的流程图。

图12为本发明实施例中视频编码和解码方法的流程图。

图13为本发明实施例中变换量化和反变换反量化方法的流程图。

图14为本发明实施例提供的视频编码装置的结构示意图。

图15为本发明实施例提供的视频解码装置的结构示意图。

图16为本发明实施例提供的电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

为了进一步去除变换域的冗余，H.266/VVC(新一代国际视频编解码标准)引入了二次变换技术，二次变换采用低频不可分变换。二次变换只针对帧内模式，并且主变换为离散余弦变换(Discrete Cosine Transform，DCT)如二维DCT(DCT2)的情形，只对主变换系数的低频部分进行处理。多功能视频编码(Versatile Video Coding，VVC)相对于高效率视频编码(High Efficiency Video Coding，HEVC)能节省30％的码率，其中，HEVC是目前编码效率最高的编码标准之一。但是复杂度也是HEVC的10倍。为了降低视频编码过程的复杂度，本发明实施例提供了一种视频编码方法。

为降低视频编码的复杂度，本发明实施例提供了一种视频编码方法，如图1所示，本发明实施例提供的视频编码方法包括：

步骤S101，获取待编码视频的主变换系数；主变换系数是针对待编码视频进行离散余弦变换得到的。

步骤S102，计算主变换系数的相对偏离度；相对偏离度表示主变换系数的分散程度。

步骤S103，在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。

本发明实施例提供的技术方案中，先获取待编码视频的主变换系数，主变换系数是针对待编码视频进行离散余弦变换得到的；再计算主变换系数的相对偏离度；相对偏离度表示主变换系数的分散程度；并在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换。相对偏离度表示主变换系数的分散程度，相对偏离度不小于预设阈值可以理解为主变换系数较分散，在这种情况下进行二次变换效果不佳，故本发明实施例在这种情况下跳过低频不可分变换，如此能够降低视频编码的复杂度。

参照图1，对本发明实施例提供的视频编码方法进行详细说明。

待编码视频在帧内编码模式下，使用方向预测模式时，预测残差具有方向性，对预测残差进行离散余弦变换，可以消除预测残差的冗余。

主变换将待编码视频的信号转到频域，待编码视频的能量主要集中在主变换系数中的低频系数区，为进一步消除冗余，可以对低频系数作进一步处理。

主变换系数可以是对待编码视频中视频帧进行离散余弦变换得到的，简单理解，是针对对待编码视频中视频帧进行了主变换得到的。具体地，可以将视频帧划分为多个编码块，主变换系数可以包括每一编码块分别对应的变换系数。

分别针对每一编码块对应的变换系数进行后续步骤。

相对偏离度表示主变换系数的分散程度，具体可以表示主变换系数中各个系数的值的分散情况，可以反映各个值之间的差异，例如，主变换系数为

可以理解为是主变换系数较分散，主变换系数为

可以理解为是主变换系数分布较集中。

主变换系数中各个系数的值的分散情况可以反映待编码视频的能量分散情况，可以理解地，相对偏离度越大，主变换系数的分布越分散，主变换系数的能量越分散。

二次变换的一个主要目的是针对主变换系数去除冗余，而如果主变换系数的相对偏离度较大，具体地如果主变换系数中各个系数的值的分散情况较大，如各个值之间的差异比较大，则其本身并不存在过多的冗余信息，如此即使进行二次变换也不能产生好的变换效果，但是二次变换过程却会使得视频编码过程变得复杂。总的来讲：主变换系数的能量较分散，则对主变换系数进行低频不可分变换的效果不佳，基于此，本发明实施例中在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。

预设阈值可以根据实际需求或经验等确定。

计算主变换系数的相对偏离度之后，可以判断所述相对偏离度是否小于预设阈值。

若相对偏离度不小于预设阈值，则跳过低频不可分变换进行后续编码过程。

相对偏离度表示主变换系数的分散程度，在相对偏离度不小于预设阈值的情况下，说明主变换系数分布较分散，此时进行低频不可分变换效果不佳，因此跳过低频不可分变换进行后续编码过程，即对待编码视频的主变换系数不进行低频不可分变换，直接进行后续编码过程，其中，后续编码过程包括：量化、熵编码等。

一种可实现方式中，在相对偏离度小于预设阈值的情况下，对主变换系数进行低频不可分变换。

本发明实施例中在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程，而在相对偏离度小于预设阈值的情况下，对主变换系数进行低频不可分变换。相对偏离度不小于预设阈值表示主变换系数较分散，也可以理解为主变换系数的能量较分散，这种情况下进行低频不可分变换的效果不佳，则得到主变换系数后跳过低频不可分变换直接进行后续编码过程；相对偏离度小于预设阈值的情况表示主变换系数较集中，也可以理解为主变换系数的能量较集中，这种情况下则进行低频不可分变换的效果较好。如此，针对进行低频不可分变换的效果不佳的主变换系数直接跳过低频不可分变换能够降低视频编码的复杂度，且针对进行低频不可分变换的效果较好的主变换系数进行了低频不可分变换，降低了对视频编码效果的影响。

低频不可分变换的具体过程如下：

低频不可分变换只处理主变换系数中的低频部分，因此将剩余的主变换系数中的高频系数置0。在一种可以实现的方式中，对于4*4型低频不可分变换，保留主变换矩阵左上角4*4区域的数值，其余数值置0，输入16个主变换系数。

进行不可分变换时，4*4型低频不可分变换的系数矩阵为

将矩阵X展开成一维向量

得到

为得到变换后的变换系数向量

进行不可分变换

其中，T是大小为16*16的变换矩阵。在后续编码过程中，熵编码可以将

重新组织为4*4的块。为了降低计算复杂度、减少存储变换矩阵所需的空间，8*8型低频不可分变换采用简化不可分变换(RT，Reduced Non-Separable Transform)。简化不可分变换的核心思想是将一个N维向量映射到不同空间的R维向量上，其中R<N，R/N为简约因子，因此简化不可分变换采用大小为R*N的变换矩阵，形式如下。

例如，在8x8的RT中，N＝48，R＝16，变换矩阵^T _R×N中的值可以预先确定好，在进行低频不可分变换的过程中，直接获取该变换矩阵即可。

在H.266/VVC中，4*4型低频不可分变换，未使用简化不可分变换，因此变换矩阵的尺寸为16*16。而对于8*8型低频不可分变换，则采用约简因子为1/3的简化不可分变换技术，将变换矩阵尺寸由48*48缩减为16*48，对于8*8型低频不可分变换，输入48个主变换系数，在简化不可分变换之后得到16个二次变换系数。针对得到的二次变换系数，进行后续编码过程，以实现对待编码视频的编码。

在一种可以实现的方式中，如图2所示，视频编码方法可以包括：

步骤S201，预测。

通过帧内预测，得到待编码视频的预测残差。

步骤S202，主变换。

以DCT-2型离散余弦变换为主变换，预测残差进行主变换，得到主变换系数。

步骤S203，判断相对偏离度是否不小于预设阈值。

相对偏离度表示主变换系数的分散程度。在相对偏离度不小于预设阈值时，直接执行步骤S205；在相对偏离度小于预设阈值时，先执行步骤S204，执行步骤S204之后再执行步骤S205。

相对偏离度不小于预设阈值，说明主变换系数的分布较分散，此时进行二次变换效果不佳，因此跳过二次变换直接进行后续编码过程。

步骤S204，二次变换。

在主变换为DCT-2型离散余弦变换的前提下，采用低频不可分变换作为二次变换，进一步处理主变换系数，并得到二次变换系数。

步骤S205，后续编码过程。

在视频编码过程中，变换量化过程非常耗时，包含主变换、二次变换、量化三部分，跳过步骤S204可以缩减变换量化时间，进而降低视频编码的复杂度。后续编码过程包括量化、熵编码等。

如图3所示，本发明实施例提供的视频编码方法包括：

步骤S301，计算主变换系数中前预设数量个变换系数的平均值。

具体地，可以将变换系数记为x，计算前预设数量个变换系数的平均值，并将平均值记为

在一种可实现的方式中，预设数量是根据变换块的尺寸确定的，如图4所示，确定预设数量的方法包括：

步骤S401，确定变换块的尺寸。

主变换系数包括变换块对应的系数。

其中，较大的变换块(TB)可以被分割为多个子块，一个子块包含的系数称为系数组(CG)，一个系数组是一个大小为4*4的系数矩阵。可以理解地，变换块的尺寸M*N，其中，M、N为4的整数倍。

步骤S402，确定变换块的尺寸与预设尺寸的大小关系。

如果变换块的尺寸小于预设尺寸，则确定预设数量为第一数量；

如果变换块的尺寸不小于预设尺寸，则确定预设数量为第二数量；第二数量大于第一数量。

对于不同尺寸的变换单元(TU，Transform Unit)，即对于不同尺寸的变换块，在二次变换时支持两种类型的低频不可分变换：4*4型低频不可分变换和8*8型低频不可分变换。

参照图5和图6，图中的每个小方块都表示主变换系数矩阵中的一个子块可以理解地，一个变换块由一或多个子块组成。当输入的变换块大小为4*4、4*N或N*4时，采用4*4型低频不可分变换，如图5所示，保留主变换系数矩阵左上角16个变换系数，其余变换系数置0。当输入的变换块大小为8*8或大于8*8时，采用8*8型低频不可分变换，如图6所示，保留主变换系数矩阵左上角48个变换系数，其余变换系数置0。

由此可知，预设尺寸为8*8，第一数量为16；第二数量为48。即如果变换块的尺寸小于8*8，则确定预设数量为16；如果变换块的尺寸不小于预设尺寸，则确定预设数量为48。

步骤S302，针对前预设数量个变换系数中的各变换系数，计算各变换系数与平均值的差值的绝对值，并将各变换系数与平均值的差值的绝对值求和，得到绝对值和。

绝对值和可以表示为

其中x为变换系数值，

为前预设数量个变换系数的平均值。

基于图4所示的方法，在变换块的尺寸小于8*8时，计算前16项变换系数与平均值差值的绝对值并求和；在变换块的尺寸不小于8*8时，计算前48项变换系数与平均值差值的绝对值并求和；并将结果记为绝对值和。

步骤S303，计算绝对值和与预设数量的比值，得到主变换系数的平均偏差。

平均偏差是数列中各项数值与其算数平均数的差的算术平均数，平均偏差可以用来测定数列中各项数值逾期平均数的离势程度，反映各数值与算术平均数之间的平均差异。平均偏差越大，表明各数值与算术平均数的差异程度越大，平均偏差越小，表明各数值与算术平均数的差异程度越小。因此计算主变换系数的平均偏差可以反映出各主变换系数间的差异。

如果将预设数量记为n，则平均偏差可以表示为

其中，x为主变换系数的系数值，

为主变换系数的平均值；n为预设数量，基于图4所示的方法，在变换块的尺寸小于8*8时，预设数量n为16；在变换块的大小不小于8*8时，预设数量n为48。

步骤S304，计算平均偏差与平均值的比值，得到相对偏离度。

可以理解地，比值越小，相对偏离度越小，说明主变换系数的分布越集中；比值越大，相对偏离度越大，说明主变换系数的分布越分散。

预设阈值是根据实际场景和经验等确定的，本实施例提供的方案中，预设阈值的范围可以是，0.1≤预设阈值≤1。

本发明实施例提供的技术方案中，先获取待编码视频的主变换系数，再计算主变换系数中前预设数量个变换系数的平均值，针对前预设数量个变换系数中的各变换系数，计算各变换系数与平均值的差值的绝对值，并将各变换系数与平均值的差值的绝对值求和，得到绝对值和，计算绝对值和与预设数量的比值，得到主变换系数的平均偏差，计算平均偏差与平均值的比值，得到相对偏离度，最后在相对偏离度小于预设阈值的情况下，对主变换系数进行低频不可分变换。根据不同的变换块尺寸确定主变换系数相对偏离度，通过数值直观地反映主变换系数的分散程度，相对偏离度不小于预设阈值，说明变换系数的分布较分散，进行二次变换效果不佳，这种情况下跳过低频不可分变换，能够加速二次变换，降低视频编码的复杂度。

本发明实施例提供的一种视频编码方法，如图7所示，方法包括：

步骤S701，确定主变换系数中最后一个非零系数的位置，并将主变换系数中最后一个非零系数的位置作为相对偏离度。

主变换系数包括变换块对应的系数，变换块对应的系数包括至少一个系数矩阵。其中，较大的变换块(TB)可以被分割为多个子块，一个子块包含的系数称为系数组(CG)，一个系数组是一个大小为4*4的系数矩阵。可以理解地，变换块的尺寸M*N1，其中，M、N1为4的整数倍。

采用逆对角扫描方式，对至少一个系数矩阵进行扫描，得到扫描到的第一个非零系数；在扫描时，先以逆对角的扫描方式确定待扫描的子块，再以同样的方式扫描当前确定子块所包含的系数矩阵中的主变换系数，直到扫描到第一个非零系数。

将所述扫描到的第一个非零系数所在的位置作为所述主变换系数中最后一个非零系数的位置。可以理解地，扫描到的第一个非零系数即为该主变换系数中最后一个非零系数。这个非零系数的位置即为相对偏离度。

在一种可以实现的方式中，如图8所示，以8*8的变换块为例，扫描过程从右下角最后一个子块开始，以逆对角的扫描方式对子块内的变换系数进行扫描，从右下角最后一个变换系数开始，到左上角第一个变换系数结束；在右下角第一个子块完成扫描后，以相同的方式，确定下一个待扫描的子块，直到扫描到第一个非零系数。扫描到的第一个非零系数，即为最后一个非零系数。

以最后一个非零系数的位置作为相对偏离度，可以理解地，相对偏离度不小于预设阈值时，最后一个非零系数的位置在主变换系数中靠后，非零系数的分布较分散。非零系数的分布可以反映待编码视频的能量分布，在非零系数分布较分散时，说明待编码视频的能量分布较分散，这种情况下，进行二次变换效果不佳，因此跳过简化不可分变换。

在一种可以实现的方式中，在图2所示实施例的基础上，本发明实施例提供了一种视频编码方法，如图9所示，可以包括：

步骤S201，预测。

步骤S202，主变换。

步骤S901，判断最后一个非零系数的位置是否不小于预设阈值。

参照图7的方法，采用逆对角的方式扫描主变换系数矩阵，并判断扫描到的第一个非零系数，即主变换矩阵中最后一个非零系数的位置是否不小于预设阈值。在最后一个非零系数的位置不小于预设阈值时，直接执行步骤S205；在最后一个非零系数的位置小于预设阈值时，先执行步骤S204，在执行完步骤S204之后再执行步骤S205。

本实施例提供一个可供参考的预设阈值，例如50，在最后一个非零系数的位置不小于50的情况下，跳过低频不可分变换直接进行量化后续编码过程。预设阈值的取值可以根据实际情况做出调整。

步骤S204，二次变换。

步骤S205，后续编码过程。

在本发明提供的实施例的技术方案中，先获取待编码视频的主变换系数；主变换系数是针对待编码视频进行离散余弦变换得到的，再确定主变换系数中最后一个非零系数的位置，并将主变换系数中最后一个非零系数的位置作为相对偏离度，最后在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。以主变换系数中最后一个非零系数的位置作为相对偏离度，在最后一个非零系数的位置大于预设阈值时，说明主变换系数矩阵中，非零系数的分布分散，此时进行二次变换效果不佳，因此跳过低频不可分变换，加速二次变换过程，在这种情况下，能够降低视频编码的复杂度。

本发明实施例提供的一种视频编码方法，如图10所示，方法包括：

步骤S1001，确定主变换系数中非零系数的数量。

参照图7所示的方法，逆对角扫描方式，对主变换系数矩阵中的所有变换系数进行扫描，并统计扫描到的非零系数的数量。

步骤S1002，计算主变换系数中非零系数的数量在主变换系数中的占比，并将占比作为相对偏离度。

非零系数的分布情况可以反映待编码视频的能量分布情况，非零系数分布越分散，能量越分散，可以理解地，相对偏离度越大，非零系数的数量越多，每个非零系数所表示的能量越少，待编码视频的能量越分散。

主变换系数中非零系数的数量在主变换系数中的占比不小于预设阈值时，主变换系数中非零系数较多，待编码的能量分散，进行二次变换的效果不佳，故而跳过低频不可分变换。

在本发明实施例提供的技术方案中，先获取待编码视频的主变换系数；主变换系数是针对待编码视频进行离散余弦变换得到的，再确定主变换系数中非零系数的数量，计算主变换系数中非零系数的数量在主变换系数中的占比，并将占比作为相对偏离度，最后，在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。以主变换系数中非零变换系数的数量在主变换系数中的占比作为相对偏离度，非零系数的占比越大，非零系数越多，待编码视频的能量越分散，此时进行二次变换效果不佳，因此跳过低频不可分变换，这种情况下，能够降低视频编码的复杂度。

上述实施例提供的视频编码方法可以广泛的应用在编码器中，具体地，可以应用在VVC编码器中，VVC编码器可以大幅节省公司的带宽成本，但是由于复杂度太高还不太具有实用性。应用上述实施例提供的视频编码方法，能够降低视频编码的复杂度，进而能够使VVC编码器更快的上线，节省计算和带宽成本，为用户带来更加极致的观影体验。

视频的解码过程可以看作时视频编码的逆过程，当编码过程未进行二次变换时，对应的解码过程也不进行反二次变换，为了在实际的应用中便于区分编码过程是否进行过二次变换，可以在未进行二次变换时，对变换系数添加跳过二次变换标识，用于标识在视频编码过程中针对主变换系数未进行低频不可分变换。

在一种可实现的方式中，可以用0表示主变换系数未进行低频不可分变换；用1表示主变换系数进行过低频不可分变换，即跳过二次变换标识为0，二次变换标识为1。

本发明实施例提供了一种视频解码方法，如图11所示，方法包括：

步骤S1101，获取标识信息。

步骤S1102，若标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程。

其中，跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；相对偏离度是在视频编码过程中获取待编码视频的主变换系数之后，再针对主变换系数进行计算得到的；相对偏离度表示主变换系数的分散程度；主变换系数是针对待编码视频进行离散余弦变换得到的。

在本发明实施例提供的技术方案中，获取标识信息后，若标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程，其中，跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；相对偏离度是在视频编码过程中获取待编码视频的主变换系数之后，再针对主变换系数进行计算得到的；相对偏离度表示主变换系数的分散程度；主变换系数是针对待编码视频进行离散余弦变换得到的。相对偏离度表示主变换系数的分散程度，在相对偏离度不小于预设阈值的情况下，主变换系数较分散，进行二次变换效果不佳，这种情况下跳过低频不可分变换进行后续编码过程，通过标识信息，标识编码过程是否进行二次变换，以使在解码过程，基于标识信息，进行相应的反变换，进而对编码视频的解码，如此能够降低视频解码的复杂度。

参照图11，对本发明实施例提供的视频解码方法进行详细说明。

步骤S1101，获取标识信息。

视频解码可以看作视频编码的逆过程，在视频编码阶段，在相对偏离度不小于预设阈值时，会跳过低频不可分变换进行后续编码过程。为与正常二次变换流程，及不跳过低频不可分变换的流程作出区分，会在编码过程跳过低频不可分变换时，对变换系数添加跳过二次变换标识信息，用于标识在视频编码过程中针对主变换系数未进行低频不可分变换。

通过获取标识信息，可以判断在视频编码阶段，是否进行二次变换，以使在解码过程中，基于标识信息，进行对应的反变换。

其中，跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；相对偏离度是在视频编码过程中获取待编码视频的主变换系数之后，再针对主变换系数进行计算得到的；相对偏离度表示主变换系数中非零系数的分散程度；主变换系数是针对待编码视频进行离散余弦变换得到的。

在视频解码过程进行反量化之后，查询标识信息，若标识为跳过二次变换标识，则在编码阶段未进行低频不可分变换，在解码阶段相应的不进行反低频不可分变换，直接进行反主变换及其后续解码过程；若标识为二次变换标识，则在编码阶段进行过低频不可分变换，在解码阶段相应的先进行反低频不可分变换，再进行反主变换及其后续解码过程；以实现视频解码与视频编码的对应。

一种可实现的方式中，如图12所示，可以通过如下步骤实现对待处理视频编码和解码。

步骤S1201，输入视频(Input video)。

步骤S1202，帧内预测(Intra prediction)。

对输入视频进行预测编码，通过帧内预测可以去除空域冗余，得到预测残差。

步骤S1203，运动补偿、运动估计(Motion est./comp.)。

进行预测编码时，帧间预测通过可以去除时域冗余，通常帧间预测性编码包括运动补偿、运动估计(Motion est./comp.)。

步骤S1204，变换、量化(transform/quantization)。

在输入视频在帧内预测后，得到预测残差，对预测残差进行变换，得到变换系数，对变换系数进行量化，得到量化系数。

其中，变换包括主变换和二次变换，具体地，主变换可以是骊山雨线，二次变换可以是低频不可分变换，低频不可分变换又包括4*4型低频不可分变换和8*8型低频不可分变换。低频不可分变换的变换核是由离线训练(Off-Line Training)得到的，采用4个变换集，每个变换集包含两个变换核的方案。

其中，如图13所示，以8*8型低频不可分变换作为二次变换为例，变换量化的方法，可以包括：

S1301，正向主变换(Forward primary transform)。

可以采用DCT-2型离散余弦变换作为主变换，对预测残差进行正向主变换，得到主变换系数。

步骤S1302，正向低频不可分变换(Forward low-frequency non-separabletransform)。

具体地，采用简化不可分变换，输入48个主变换系数，得到16个二次变换系数。

步骤S1303，量化(Quantization)。

对得到的16个二次变换系数进行量化，得到量化系数。完成视频编码的变换量化过程。

步骤S1205，熵编码(Entropy coding)。

熵编码是将得到的所有数据包括运动矢量、残差的量化系数、还有预测性编码的一些参数进行压缩。熵编码的方法可以包括：可变长度编码，算术编码和霍夫曼编码。

步骤S1206，反量化、反变换(inv.quant/inv.transform)。

在视频解码时，根据熵编码的类型，将编码的数据展开，得到包括运动矢量、残差的量化系数、还有预测性编码参数的一些数据。

视频解码可以看作视频编码的逆过程，对应于变换、量化的类型，作反量化、反变换。其中，量化系数进行反量化后得到的变换系数，变换系数进行反变换后得到残差数据。

对应图13所示的变换量化方法，反量化、反变换的方法可以包括：

步骤S1304，反量化(De-quantization)。

对应变换量化的方法，在接收到比特流传输的数据后，对接收到的数据进行反量化，得到二次变换系数。

步骤S1305，反向低频不可分变换(Inverse low-frequency non-separabletransform)。

由于在进行正向低频不可分变换时，采用简化不可分变换，因此反向低频不可分变换时，采用反向简化不可分变换，输入16个二次变换系数，得到48个主变换系数，其中，反简化不可分变换的变换矩阵是正向简化不可分变换变换矩阵的转置。

步骤S1306，反向主变换(Inverse primary transform)。

对应变换方法，在反向主变换时采用反向离散余弦变换，对主变换系数进行反向变换，得到预测残差。完成视频解码的反量化反变换过程。

步骤S1207，环路滤波器(In loop filter)。

环路滤波器是线性的低通滤波器，通过环路滤波器，可以滤除高频分量和噪声。

步骤S1208，参考帧缓存(decoded picture buffer)。

根据帧间预测和帧内预测的预测模式，在参考帧缓存基础上，处理运动矢量，产生预测帧，在预测帧的基础上，叠加残差数据，得到当前帧，实现对编码视频的解码。

本发明实施例提供了一种视频编码装置，如图14所示，装置包括：

第一获取模块1401，用于获取待编码视频的主变换系数；主变换系数是针对待编码视频进行离散余弦变换得到的；

计算模块1402，用于计算主变换系数的相对偏离度；相对偏离度表示主变换系数的分散程度；

跳过模块1403，用于在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。

本发明实施例提供的技术方案中，先获取待编码视频的主变换系数，主变换系数是针对待编码视频进行离散余弦变换得到的；再计算主变换系数的相对偏离度；相对偏离度表示主变换系数中非零系数的分散程度；并在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换。由于相对偏离度表示主变换系数的分散程度，在相对偏离度不小于预设阈值的情况下，说明主变换系数较分散，这种情况下跳过低频不可分变换，能够降低视频编码的复杂度。

可选地，计算模块1402，具体用于，

计算主变换系数中前预设数量个变换系数的平均值；

针对前预设数量个变换系数中的各变换系数，计算各变换系数与平均值的差值的绝对值，并将各变换系数与平均值的差值的绝对值求和，得到绝对值和；

计算绝对值和与预设数量的比值，得到主变换系数的平均偏差；

计算平均偏差与平均值的比值，得到相对偏离度。

可选地，计算模块1402，具体用于，

确定主变换系数中最后一个非零系数的位置，并将主变换系数中最后一个非零系数的位置作为相对偏离度。

可选地，计算模块1402，具体用于，

确定主变换系数中非零系数的数量；

计算主变换系数中非零系数的数量在主变换系数中的占比，并将占比作为相对偏离度。

可选地，主变换系数包括变换块对应的系数；装置还包括：

确定模块，用于，

在计算主变换系数中前预设数量个变换系数的平均值之前，

确定变换块的尺寸；

确定变换块的尺寸与预设尺寸的大小关系；

可选地，主变换系数包括变换块对应的系数，变换块对应的系数包括至少一个系数矩阵；

确定主变换系数中最后一个非零系数的位置，包括：

采用逆对角扫描方式，对至少一个系数矩阵进行扫描，得到扫描到的第一个非零系数；

将扫描到的第一个非零系数所在的位置作为主变换系数中最后一个非零系数的位置。

可选地，装置还包括：

判断模块，用于在计算所述主变换系数的相对偏离度之后，判断相对偏离度是否小于预设阈值；

二次变换模块，用于在相对偏离度小于预设阈值的情况下，对主变换系数进行低频不可分变换。

可选地，装置还包括：

标识模块，用于在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后，对主变换系数添加跳过二次变换标识信息，跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换。

本发明实施例提供的技术方案中，先获取待编码视频的主变换系数；再计算主变换系数的相对偏离度，其中，相对偏离度可以是前预设数量个变换系数的平均偏差与平均值的比值；或者，可以是主变换系数中最后一个非零系数的位置；或者，可以是主变换系数中非零系数的数量在主变换系数中的占比。并在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程。相对偏离度表示主变换系数的分散程度，在相对偏离度不小于预设阈值的情况下，说明主变换系数较分散，此时进行二次变换效果不佳，跳过低频不可分变换，这种情况能够降低视频编码的复杂度。

本发明实施例提供了一种视频解码装置，如图15所示，装置包括：

第二获取模块1501，用于获取标识信息；

解码模块1502，用于若标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程；

本发明实施例还提供了一种电子设备，如图16所示，包括处理器1601、通信接口1602、存储器1603和通信总线1604，其中，处理器1601，通信接口1602，存储器1603通过通信总线1604完成相互间的通信，

存储器1603，用于存放计算机程序；

处理器1601，用于执行存储器1603上所存放的程序时，实现视频编码或视频解码的方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频编码方法或视频解码方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一视频编码或视频解码方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种视频编码方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述计算所述主变换系数的相对偏离度，包括：

计算所述主变换系数中前预设数量个变换系数的平均值；

3.根据权利要求1所述的方法，其特征在于，所述计算所述主变换系数的相对偏离度，包括：

4.根据权利要求1所述的方法，其特征在于，所述计算所述主变换系数的相对偏离度，包括：

确定所述主变换系数中非零系数的数量；

5.根据权利要求2所述的方法，其特征在于，所述主变换系数包括变换块对应的系数；

确定所述变换块的尺寸；

确定所述变换块的尺寸与预设尺寸的大小关系；

6.根据权利要求3所述的方法，其特征在于，所述主变换系数包括变换块对应的系数，所述变换块对应的系数包括至少一个系数矩阵；

7.根据权利要求1所述的方法，其特征在于，在所述计算所述主变换系数的相对偏离度之后，所述方法还包括：

判断所述相对偏离度是否小于预设阈值；

8.根据权利要求1至7任一项所述的方法，其特征在于，在所述相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后，所述方法还包括：

9.一种视频解码方法，其特征在于，包括：

获取标识信息；

10.一种视频编码装置，其特征在于，所述装置包括：

11.一种视频解码装置，其特征在于，包括：

第二获取模块，用于获取标识信息；

解码模块，用于若所述标识信息为跳过二次变换标识信息，则在针对主变换系数的编码结果进行反量化之后跳过反低频不可分变换而进行后续解码过程；其中，所述跳过二次变换标识信息用于标识在视频编码过程中针对主变换系数未进行低频不可分变换；所述跳过二次变换标识信息是在相对偏离度不小于预设阈值的情况下，跳过低频不可分变换进行后续编码过程之后添加的；所述相对偏离度是在视频编码过程中获取待编码视频的主变换系数之后，再针对主变换系数进行计算得到的；所述相对偏离度表示所述主变换系数的分散程度；所述主变换系数是针对所述待编码视频进行离散余弦变换得到的。

12.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。