CN107566846B - 视频编码跳过模式决策方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了视频编码跳过模式决策方法、装置、设备及存储介质，本发明的技术方案包括：针对视频的帧间编码单元，使用跳过SKIP模式的运动矢量进行运动补偿，获得残差图像块。将残差图像块划分为大小相等的正方形子块。针对子块，进行离散余弦变换DCT得到一系列变换系数。对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则子块被判定为满足提前终止条件。若所有子块均满足提前终止条件，则做出对帧间编码单元采用SKIP模式进行编码的决策。能够在不降低视频编码效率的前提下大幅降低运算复杂度。

Description

视频编码跳过模式决策方法、装置、设备及存储介质

技术领域

本发明涉及视频编码技术领域，具体涉及一种视频编码跳过模式决策方法、装置、设备及存储介质。

背景技术

网络视频是互联网最主要的应用之一，高清视频将是广电领域的必然走向，移动视频目前的发展态势也呈现出井喷之势。可以预见，视频应用在今后若干年都将是数字多媒体领域的最大热点。

由于网络带宽、延时等因素的限制，视频应用中面临的首要难点就是视频编解码问题。视频编解码系统是视频应用领域的核心，它决定着媒体服务的质量，它直接影响网络带宽需求、用户体验质量、解码设备需求、直播延迟等关键问题。因此高效的视频编解码系统一直是广电、互联网视频、视频协作厂商等竞相追逐的重点对象。H.265是国际标准化组织MPEG和ITU-T VCEG继H.264之后联合制定的新一代视频编码标准。H.265沿用了前一代视频编码标准所惯用的基于块的预测变换混合编码框架，并且在预测、变换、熵编码、环路滤波等核心模块进行了一系列重要的创新和改进，如更加灵活的四叉树编码结构，更加复杂和精确的帧内和帧间预测方法、更加先进的环路滤波技术，使得压缩性能相比H.264提升了一倍。

H.265视频编码标准有效地提高了视频压缩性能，但是同时也为视频编码过程带来了更多的计算负担。新的编码工具集为编码过程提供了更多的选择，要达到最优编码性能，需要在这个工具集中寻找最优组合，这个搜索过程的复杂度是相当高的。最显著地，H.265相比H.264编码和预测块的划分形式更加灵活，它首先把编码的基本单位抽象为编码单元CU、预测单元PU和变换单元TU三个层次。从64x64到4x4，每一层CU都可以支持2Nx2N,NxN,2NxN,Nx2N四种对称PU划分方式和2Nx0.5U,2Nx0.5D,0.5Lx2N,0.5Rx2N四种非对称PU划分方式。理论上，编码器要获得最优编码性能需要通过递归遍历的方式检查所有可能的CU和PU划分组合，这个过程的运算复杂度是极高的。根据测试结果，HM参考编码器(H.265标准的参考软件)的编码速度是视频序列时间长度的数百倍到数千倍之间。但是，在实时视频通信应用领域，例如视频会议、视频直播、视频电话等场合，需要对视频进行实时编码，对所有编码模式和工具做遍历择优的做法是极不现实的。

发明内容

本发明的目的在于一种提供视频编码跳过模式决策方法、装置、设备及存储介质，能够在不降低视频编码效率的前提下大幅降低运算复杂度。

为实现上述目的，本发明的技术方案包括如下四个方面：

第一方面，本发明实施例提供了一种视频编码跳过模式决策方法，该方法包括：

针对视频的帧间编码单元，使用跳过SKIP模式的运动矢量进行运动补偿，获得残差图像块。将残差图像块划分为大小相等的正方形子块。针对子块，进行离散余弦变换DCT得到一系列变换系数。对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则子块被判定为满足提前终止条件。若所有子块均满足提前终止条件，则做出对帧间编码单元采用跳过SKIP模式进行编码的决策。

在第一方面的一个或多个实施例中，做出对帧间编码单元采用跳过SKIP模式进行编码的决策之后，还包括：判断是否具有未进行运动补偿的候选运动矢量，若有，则重复执行视频编码跳过模式决策方法，否则结束视频编码跳过模式决策方法。

在第一方面的一个或多个实施例中，将残差图像块划分为大小相等的正方形子块，为：将残差图像块的亮度部分和色度部分均划分出4个大小相等的正方形子块。

在第一方面的一个或多个实施例中，进行离散余弦变换DCT得到一系列变换系数之前，还包括：对子块进行下采样。

在第一方面的一个或多个实施例中，进行离散余弦变换DCT为：使用H.265标准规定的DCT变换核进行离散余弦变换DCT。

在第一方面的一个或多个实施例中，设定阈值为β：β＝a×QStep+b；QStep为预设的量化步长，a和b为预设的线性模型参数。

第二方面，本发明实施例还提供了一种视频编码跳过模式决策装置，该装置包括：

运动补偿模块，配置用于针对视频的帧间编码单元，使用跳过SKIP模式的运动矢量进行运动补偿，获得残差图像块，并将残差图像块送入子块划分模块

子块划分模块，配置用于将残差图像块划分为大小相等的正方形子块，并将子块送入DCT变换模块

DCT变换模块，配置用于针对子块，进行离散余弦变换DCT得到一系列变换系数，并将每个子块的变换系数送入到子块判定模块

子块判定模块，配置用于对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则子块被判定为满足提前终止条件，并将判定结果送入决策模块

决策模块，配置用于当所有子块均满足提前终止条件时，做出对帧间编码单元采用SKIP模式进行编码的决策。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面任一实施例所提供的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一实施例所提供的方法。

本发明具有如下优点：

本发明提出视频编码跳过模式决策方法、装置、设备及存储介质，采用对编码单元进行是否可选择跳过(SKIP)编码模式判断以避免后续的模式选择过程，因此能够在不降低视频编码效率的前提下大幅降低运算复杂度。

附图说明

图1示出了本发明实施例提供的一种视频编码跳过模式决策方法的流程图；

图2示出了本发明实施例提供的一种视频编码跳过模式决策装置结构框图；

图3示出了针对H.265编码器进行视频编码跳过模式的决策方法。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

图1示出了本发明实施例提供的一种视频编码跳过模式决策方法的流程图，该方法包括如下步骤：

S101、针对视频的帧间编码单元，使用跳过(SKIP)模式的运动矢量进行运动补偿，获得残差图像块。

S102、大块变换复杂度较高，本发明实施例中将残差图像块划分为大小相等的正方形子块。

S103、针对子块，进行离散余弦变换DCT得到一系列变换系数。

S104、对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则子块被判定为满足提前终止条件。

S105、若所有子块均满足提前终止条件，则做出对帧间编码单元采用跳过(SKIP)模式进行编码的决策。

在第一方面的一个或多个实施例中，做出对帧间编码单元采用跳过(SKIP)模式进行编码的决策之后，还包括：判断是否具有未进行运动补偿的候选运动矢量，若有，则重复执行视频编码跳过(SKIP)模式决策方法，否则结束视频编码跳过模式决策方法。

在第一方面的一个或多个实施例中，将残差图像块划分为大小相等的正方形子块，为：将残差图像块的亮度部分和色度部分均划分出4个大小相等的正方形子块。

在第一方面的一个或多个实施例中，进行离散余弦变换DCT得到一系列变换系数之前，还包括：对子块进行下采样，得到更低分辨率的图像子块。从而能够降低运算复杂度。

在第一方面的一个或多个实施例中，进行离散余弦变换DCT为：使用H.265标准规定的DCT变换核进行离散余弦变换DCT。

在第一方面的一个或多个实施例中，设定阈值为β：β＝a×QStep+b；QStep为量化步长，根据视频的码率来确定，a和b为预设的线性模型参数。其中QStep、a和b的设定可以进行调节以在编码速度和编码效率之间进行权衡。本发明实施例中，对于尺寸为4x4，8x8，16x16，32x32的子块图像，a的典型取值为20，15，6，3；b的典型取值为0.5。。

实施例2

图2示出了本发明实施例提供的一种视频编码跳过模式决策装置结构框图，该装置包括：

运动补偿模块，配置用于针对视频的帧间编码单元，使用跳过SKIP模式的运动矢量进行运动补偿，获得残差图像块，并将残差图像块送入子块划分模块；

子块划分模块，配置用于将残差图像块划分为大小相等的正方形子块，并将子块送入DCT变换模块；

DCT变换模块，配置用于针对子块，进行离散余弦变换DCT得到一系列变换系数，并将每个子块的变换系数送入到子块判定模块；

子块判定模块，配置用于对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则子块被判定为满足提前终止条件，并将判定结果送入决策模块；

决策模块，配置用于当所有子块均满足提前终止条件时，做出对帧间编码单元采用SKIP模式进行编码的决策。

实施例3

本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如实施例1中任一可行实施方案提供的方法。

实施例4

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如实施例1中任一可行实施方案提供的方法。

实施例5

图3示出了针对H.265编码器进行视频编码跳过模式的决策方法。

H.265编码器通常采用四叉树递归的过程决策CU划分组合方式和CU编码模式。以H.265参考软件HM为例，从CU尺寸64x64向下，首先计算当前层CU的跳过(SKIP)模式的率失真代价；然后递归向下对各子CU进行模式决策；当递归结束返回至当前层后，再对当前层CU其它模式进行决策；最后，比较当前层CU最优模式的率失真代价和各子CU的率失真代价之和，以决定当前CU是否需要划分为4个子CU。在这个过程中，如果第一步就能“猜测”出该CU编码为跳过(SKIP)模式不仅优于其它PU模式，同时也优于子CU划分的模式，则可省去该节点之下的所有递归过程，从而极大减小编码复杂度。

本发明在当前层CU模式决策过程最开始便进行跳过(SKIP)模式提前终止判决，如果满足了终止条件，则结束该CU层级以下的子CU递归决策流程，以及该对CU其它预测模式的判决。

具体地，对当前CU的4个子CU区域，均进行DCT变换，如果每个子CU都满足绝大部分系数在量化后为0或接近于0，则当前CU判决为跳过(SKIP)模式，终止子CU递归和其它PU判决过程。

考虑到大块变换复杂度较高，我们首先将各子CU的亮度和色度分量均下采样至4x4大小，大量试验表面该做法对精度影响极小。由于8x8CU不可继续划分为子CU，因此直接将亮度分量下采样至4x4大小(色度分量已经是4x4)进行判决。对每个下采样后的4x4图像块，使用H.265的4x4DCT变换核进行变换，然后对所有变换系数进行阈值判断，如果所有变换系数均小于某一阈值，则认为残差信号满足上述2个条件，当前CU应判决为跳过(SKIP)模式。阈值根据量化间隔Qstep计算得到，根据对编码速度和RD性能的具体需求，可以乘以不同的系数进行调节：阈值越大，判决条件越宽松，命中率越高，编码速度越快，同时RD性能损失也越大。

即使最终判决条件不成立，以上过程中算出的最优跳过(SKIP)模式信息及重构图像也会保留，到后边再和子CU划分模式及其它PU模式进行率失真最优选择。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种视频编码跳过模式决策方法，其特征在于，该方法包括：

针对视频的帧间编码单元，使用跳过模式的运动矢量进行运动补偿，获得残差图像块；

将所述残差图像块划分为4个大小相等的正方形子块；

针对所述子块，进行离散余弦变换DCT得到变换系数；对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则所述子块被判定为满足提前终止条件；

若所有子块均满足提前终止条件，则做出对所述帧间编码单元采用跳过模式进行编码的决策；

其中，所述设定阈值为β：

β＝a×QStep+b

QStep为预设的量化步长，根据所述视频的码率确定，a和b为预设的线性模型参数，QStep、a和b的设定可以进行调节以在编码速度和编码效率之间进行权衡。

2.如权利要求1所述的方法，其特征在于，所述做出对所述帧间编码单元采用SKIP模式进行编码的决策之后，所述方法还包括：

判断是否具有未进行运动补偿的候选运动矢量，若有，则重复执行所述视频编码跳过模式决策方法，否则结束所述视频编码跳过模式决策方法。

3.如权利要求1所述的方法，其特征在于，所述将所述残差图像块划分为大小相等的正方形子块，为：

将所述残差图像块的亮度部分和色度部分均划分出4个大小相等的正方形子块。

4.如权利要求1所述的方法，其特征在于，所述进行离散余弦变换DCT得到一系列变换系数之前，还包括：对所述子块进行下采样。

5.如权利要求1所述的方法，其特征在于，所述进行离散余弦变换DCT为：

使用H.265标准规定的DCT变换核进行离散余弦变换DCT。

6.一种视频编码跳过模式决策装置，其特征在于，该装置包括：

运动补偿模块，配置用于针对视频的帧间编码单元，使用跳过模式的运动矢量进行运动补偿，获得残差图像块，并将所述残差图像块送入子块划分模块；

所述子块划分模块，配置用于将所述残差图像块划分为4个大小相等的正方形子块，并将所述子块送入DCT变换模块；

所述DCT变换模块，配置用于针对所述子块，进行离散余弦变换DCT得到变换系数，并将每个子块的变换系数送入到子块判定模块；

所述子块判定模块，配置用于对每个子块的变换系数进行阈值判断，如果子块的所有变换系数都小于设定阈值，则所述子块被判定为满足提前终止条件，并将判定结果送入所述决策模块；

决策模块，配置用于当所有子块均满足提前终止条件时，做出对所述帧间编码单元采用跳过SKIP模式进行编码的决策；

其中，所述设定阈值为β：

β＝a×QStep+b

QStep为预设的量化步长，根据所述视频的码率确定，a和b为预设的线性模型参数，QStep、a和b的设定可以进行调节以在编码速度和编码效率之间进行权衡。

7.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。

Images