CN115941943A

CN115941943A - 一种hevc视频编码方法

Info

Publication number: CN115941943A
Application number: CN202211535832.4A
Authority: CN
Inventors: 周志刚; 王世豪; 郭旭; 殷先英; 薛晓娜; 赵靖宇; 程知群
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2022-12-02
Filing date: 2022-12-02
Publication date: 2023-04-07

Abstract

本发明公开了一种HEVC视频编码方法，包括如下步骤：S1、压缩CTU划分深度参数矩阵；S2、构建快速CU划分网络；S3、训练快速CU划分网络：S4、将快速CU划分网络进行划分深度预测；S5、进行后续编码流程，最终输出视频编码码流。该方法引入神经网络进行特征分类，在保证视频编码质量基本不变的前提下，降低了HEVC的编码复杂度，减少视频编码所需的时间，缓解了编码时间与编码质量间的矛盾，在确保率失真性能的同时提高了编码效率。

Description

一种HEVC视频编码方法

技术领域

本发明一般涉及视频编解码，具体涉及通过参数简化方法和基于多尺度融合深度学习的HEVC帧内编码单元快速划分方法，具体指一种HEVC视频编码方法。

背景技术

H.265/HEVC是取代H.264/AVC的新一代视频编解码标准，其编码效率大大优于以前的标准。在H.265/HEVC中，实现高编码效率的一个重要方法是采用灵活的四叉树结构来组织编码单元(Coding Unit,CU)、预测单元和变换单元，但计算这3个单元的每一种组合的率失真代价给编码过程带来了极高的计算复杂度。HEVC官方参考算法软件的CU划分过程中，利用拉格朗日乘数法进行率失真代价计算，遍历所有可能的深度级别，得出成本最低的划分模式。深度遍历计算导致了极高编码复杂度，限制了HEVC编码器在一些软硬件平台上的实际应用。

针对CU划分的快速编码可以分为2类，分别是基于传统的算法优化方法和基于深度学习的方法。其中，基于传统的算法优化方法大多是根据统计特性、内容特性或周围空间相关性预测CU的划分情况，从而跳过或提前终止部分率失真计算，鲁棒性较差且编码效率提升较少。深度学习方法大多只预测结构划分标志位，仍然无法避免复杂的率失真计算。在对现有技术的研究中，发明人发现现有的HEVC编码方法中的CU划分过程仍具有运算复杂度过高，不必要率失真计算次数过多等缺陷，难以满足实时编码的需求。

发明内容

本发明根据现有技术的不足，提出一种HEVC视频编码方法，引入神经网络进行特征分类，在保证视频编码质量基本不变的前提下，降低了HEVC的编码复杂度，减少视频编码所需的时间，缓解了编码时间与编码质量间的矛盾，在确保率失真性能的同时提高了编码效率。

为了解决上述技术问题，本发明的技术方案为：

一种HEVC视频编码方法，包括如下步骤：

S1、压缩CTU划分深度参数矩阵；

S2、构建快速CU划分网络，所述快速CU划分网络包括

用于将64×64与32×32编码单元进行预处理得到相同维度的中间特征图的预处理模块；

用于将中间特征图进行特征聚合得到单通道特征图的特征聚合模块；

用于将单通道特征图进行编码单元快速划分得到1×16的标签向量的快速划分模块；

S3、训练快速CU划分网络：

S4、将快速CU划分网络进行划分深度预测

将待编码视频输入到训练后的快速CU划分网络中，快速CU划分网络的输出的矢量为该待编码视频的划分深度，即预测深度，将预测深度过与当前深度进行比较，得到该待编码视频最终的划分深度；

S5、待编码视频最终的划分深度进行后续编码流程，最终输出视频编码码流。

作为优选，所述步骤S1具体实现方法为：在HEVC编码器HM16.19的CTU划分模块中，将尺寸为64×64的编码单元CTU划分为0、1、2、3四种数值组成16×16矩阵，其中，0代表不划分，1代表1次划分得到的32×32的矩阵，2代表将32×32的矩阵再次划分得到16×16的矩阵，3代表将16×16的矩阵划分得到8×8的矩阵；其中，每次划分时当前CTU宽高均为原来的二分之一；矩阵中每一个元素标识一个4×4矩阵的划分深度。

通过上述技术方案，说明了一下对应数据集标签中的数字所代表的划分含义。

较小的深度值往往存在于图像信息同质化程度较高的区域，而较大的深度则应用在图像细节丰富的区域。如果当前64×64块在该帧中较为平坦区域，如划分深度为0，则该16×16的矩阵所以元素均为0，存在巨大的数据冗余。

结合原始算法与深度学习的特性，提出一种新的CU划分参数压缩方法，将16×16的矩阵简化为4×4的矩阵，进而排列成16×1的向量，减少了16倍的所需参数，方便进一步地应用于后面构建的快速CU划分网络的训练。

作为优选，所述预处理模块的预处理方法为：

将64×64编码单元通过5×5卷积和4×4最大池化处理，将32×32编码单元通过5×5卷积和2×2最大池化处理，通过双通道预处理得到维度相同的16×16×16的中间特征图。

快速CU划分网络结构分为两种尺度，分别对应CU尺寸为64×64和32×32。其中两种尺寸的预处理为第1卷积层分别实现。

可以理解的，为了提升网络的泛用性，在实际应用中不可能只有一种固定的输入，所以通过预处理成为相同维度的数据再聚合统一输入进入后续处理。如果不聚合不同尺度的数据，会造成网络的体积变大，训练的成本很大，总体的稳定性较差。因此，通过上述技术手段减小网络的体积，降低训练成本，并提高网络的稳定性。

作为优选，所述快速划分模块进行编码单元快速划分方法为：

将HM16.19中关于帧内编码单元划分得出的16×16矩阵简化为4×4矩阵，提高每一个参数所代表的区域，由原本的单个参数代表一个4×4的CU提高为8×8的CU，最后将4×4矩阵逐行排列变为1×16的标签向量。

随后对中间特征聚合后统一接入第2卷积层、第3卷积层进行进一步地划分深度特征提取，最后将提取完成后的特征图拉平接入最后3层全连接层。其中每个卷积层后均包含了批归一化层、非线性激活函数层与最大池化层。

进一步地，卷积层起到提取特征和降采样的作用，能够充分体现是针对编码单元划分深度所设计的特征提取网络。采用奇数边长的卷积核配合最大池化进行处理，这样可避免偶数边长的卷积核难以进行对称的填充操作，也使得降采样的特征图的尺寸与编码单元划分尺寸相对应，提升模型的适配性。

进一步地，将通过卷积层降采样提取后的特征拉平接入全连接层，用于最后深度划分情况的表达。

作为优选，所述每个卷积后面连接有批归一化层、非线性激活函数层，所述非线性激活函数层采用Leaky-ReLU激活函数。网络设计中使用Leaky-ReLU激活函数代替传统ReLU函数，解决了当输入为负值时，神经元不能更新参数的问题。

作为优选，所述步骤S3中，构建数据集并划分为训练集、验证集和测试集；设计相应损失函数；将训练集的数据用于的模型初始学习，并使用验证集来调整超参数，最后通过测试集检验模型效果，

数据集的构建方法为：通过截取大量视频序列帧，在HEVC标准程序HM16.19中按照QP为32对图片视频序列进行编码，记录帧内编码模式下CU的划分信息，将16×16矩阵缩小至4×4，对应CU序号保存为标签，构成数据集。

上述技术方案中，所设计的损失函数为交叉熵损失函数，用于多维度分类

其中，M表示标签总数，y_i，c表示第i个CU划分标签的预测值的真实类别等于c则为1，否则为0，p_i，c表示所要预测的CU输出的属于该划分情况c的预测概率。

作为优选，所述数据集按照7:1:2划分为训练集、验证集、测试集。

作为优选，所述快速CU划分网络在训练中使用Adam优化算法对参数进行优化，并设置初始学习率为0.0003、指数衰减率为0.9为默认超参数，采用学习率衰减和Dropout优化避免模型过拟合。

作为优选，预测深度与当前深度的比较方法为：当前深度大于等于预测深度时，进行进一步的深度搜索，当前深度小于预测深度，则直接输出当前预测深度作为待编码视频最终的划分深度。

上述技术方案中，进行进一步的深度搜索具体指的是进行下一个划分层级的计算。在官方的测试平台HM16.19中，对于深度的搜索是自下而上的，也就是首先会计算出从大块到小块所有的率失真数值，再自下而上进行比较，如即便确定了当前64*64块的最佳划分为4个32*32。原始算法中还会进行进一步地率失真计算，最终直到从底层4*4回到32*32才确定最佳划分。因此这里说深度搜索也是避免了原始算法中这样冗余的计算。

作为优选，所述步骤S5中，后续编码流程包括帧内预测、变换、量化、环路滤波、熵编码。

本发明具有以下的特点和有益效果：

采用上述技术方案，提出将深度学习的思想引入到视频编码的编码单元划分过程中，利用不同尺度图片进行特征融合，并进行CU快速预测划分，避免大量耗时的率失真优化计算。进而使得在保证视频编码质量基本不变的前提下，降低了视频编码的编码复杂度，对提升视频编码速度以及提高HEVC编码标准在目前多媒体设备上的应用有着重要意义，具体表现在:

1.本方法针对目前视频编码过程中的编码单元划分特性和流程，提出将深度学习的思想引入到帧内视频编码单元划分过程中，能够降低视频编码的编码复杂度。

2.本方法与现有的其他基于深度学习的方法不同，网络模型输出直接为CTU划分深度，可直接跳过非必要的率失真计算，进一步节省了编码时间。

3.本发明在模型构建基础上选择合适的激活函数和优化算法并设计目标损失函数，提高了网络模型对于深度特征的学习能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1本发明一种HEVC视频编码方法的流程示意图。

图2本发明实施例中HEVC编码四叉树划分结构示意图。

图3本发明实施例中HEVC原始算法中输出的CTU划分参数矩阵示意图。

图4本发明实施例中压缩后的CTU划分参数矩阵示意图。

图5本发明实施例中快速CU划分网络模型示意图。

图6本发明实施例中网络模型代替原始算法后的处理流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施方式对本发明进行详细说明。

为了降低HEVC视频编码过程中因四叉树递归计算带来的高复杂度，本实施例引入卷积神经网络模型直接预测视频编码单元CTU划分结构，公开了一种HEVC视频编码方法，如图1所示，包括以下步骤：step1：压缩CTU划分深度参数矩阵。Step2：构建快速CU划分网络模型。Step3：训练快速CU划分网络模型。Step4：将快速CU划分网络代替原始CTU划分函数模块。Step5：完成后续的编码流程，输出视频编码码流。

具体的：

对于Step1：压缩CTU划分深度参数矩阵。

在本实施例中，CU划分结构如图2所示，在HEVC标准程序HM16.19中，以单个64×64的CTU为例，经过CTU划分模块后输出的参数矩阵如图3所示。在64×64块中，每个参数代表1一个8×8的CU，在高分辨率视频中，对应的平坦区域中也存在更多CTU，原始的参数矩阵存在巨大的数据冗余，存在可优化的空间。本发明以16×1向量代替此种划分矩阵，将原始参数数量压缩至原来的1/16。由HEVC中CTU划分方式可知，CU划分最深深度为3时，得到8×8的CU块，仅使用1个元素去标记每个16×16块的划分情况，上述16×16矩阵可以简化为图4。

对于Step2：构建快速CU划分网络模型。

快速CU划分网络模型示意图如图5所示，网络输入分为两种尺度的输入，分别包括64×64和32×32。由于部分分辨率的视频在最下一行的CTU块可能为64×32，因此增加了32×32的输入通道。网络总体可分为三个模块：预处理模块，特征聚合模块和快速划分模块，其中快速划分模块由卷积层模块和全连接层模块组成。

预处理模块：将不同尺寸的输入通过卷积池化操作转化为尺度相同的中间特征图并聚合输入下一模块。64×64的输入通道采用的是5×5×16的卷积核，最大池化为4×4，填充大小为2。32×32的输入通道采用的是5×5×16的卷积核，最大池化为2×2，填充大小为2。双通道输出维度相同的中间特征图。

特征聚合模块，将中间特征图进行聚合，聚合后输入快速划分模块。

卷积层模块：设置两层卷积层。卷积层1：采用3×3大小的卷积核，最大池化核为2×2，填充大小为1，输出为64个通道，其目的是将输入数据在下采样的过程中保持一个较高的感受野。卷积层2：依然采用3×3大小的卷积核，最大池化为2×2，填充大小为1，输出为128个通道。卷积模块的目的是将CU划分结构的先验信息耦合进去。与此同时，多层的卷积学习将有利于深度特征的表达性能，但考虑到复杂的网络结构会加大编码负担，所以只有2层卷积层。

每个卷积后面连接有批归一化层、非线性激活函数层和最大池化层，本实施例中，非线性激活函数层采用Leaky-ReLU激活函数。

全连接层模块：将卷积模块最后得到的特征图拉平为1维后，接入全连接层模块。最终经过3层全连接处理后输出，由于CU划分深度的预测本质上可以看作一个多分类任务，使用softmax和交叉熵联合判决，输出1×16的标签。全连接层的主要作用就是将前部模块计算得到的特征空间映射样本标记空间。其优点在于减少特征位置对于分类结果的影响，提高了整个网络的鲁棒性。

对于Step3：训练快速CU划分网络。

训练快速CU划分网络模型的具体步骤为：通过大量图片视频序列构建训练集、验证集和测试集。在HEVC标准程序HM16.19中按照QP为32对图片视频序列进行编码，记录帧内编码模式下CU的划分信息，将16×16矩阵缩小至4×4，对应CU序号保存为标签，构成数据集，并以7：1：2的比例将数据集划分为训练集、验证集和测试集。为了保证训练完成后网络的有效性，分别选用不同分辨率不同视觉特征的多个视频进行数据集的制作。本文构建的数据集如表1所示。

对于Step4：将快速CU划分网络代替原始CTU划分模块进行划分深度预测。

图6为所提出的网络模型代替原始划分模块后的算法流程图。首先读取待编码图像帧，进行CU划分时调用提出的网络模型；其次，读取待编码CTU，利用快速CU划分网络预测CTU划分结构；最后，获得最优CTU划分结构。编码器在每个CU中递归地搜索最佳分区时，将当前深度与来自快速CU划分网络的预测深度进行比较。如果当前深度小于预测深度，那么它就跳过当前深度的计算，继续搜索下一个深度。如果当前深度等于预测深度，那么它只做当前深度的计算，并停止搜索进一步的深度。如果当前深度大于预测深度，那么它不仅跳过当前深度的计算，而且还停止搜索进一步的深度。这确保了只有在当前深度是快速CU划分网络预测的深度时才会进行计算，避免了不必要的RD成本计算，减少运算时间。

对于Step5：完成后续编码流程，输出编码码流。

依据帧内编码模式下后的编码流程，进行帧内CTU的划分之后，进行帧内编码，变换，量化，环路滤波、熵编码等流程，最终输出编码码流。

本发明基于卷积神经网络的多尺度融合视频编码单元快速划分算法预HEVC(HM16.19)四叉树划分方法进行比较，编码性能统计结果见表2。编码环境配置见表3。采用

比特率差值(

Delta BitRate,BD-BR)和

峰值信噪比(

Delta Peak Signal-to-Noise Rate,BD-PSNR)评估码流的率失真性能。

采用如下公式作为编码时间节省情况的度量：

其中，T_HM16.19为HM16.19的编码时间，T_proposed为本文所提出算法的编码时间。

表1统计结果表明，由于以较少的参数代替了原始算法中的高维度矩阵，相比于原始算法中的最佳划分，预测划分存在少量误差，造成所提算法PSNR有少量损失，且输出码率少量提升。随着编码视频分辨率的提升，单帧画面中的CTU数量成倍增加，所提算法节省的时间比例变高，体现了快速CU划分网络的有效性。

表1本文构建的数据集

注：样本数为提取帧数×每帧CTU总数。

表2所提算法与HM16.19的率失真性能和编码复杂度对比

注：编码时间为QP＝32时的编码耗时。

表3编码参数配置

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims

1.一种HEVC视频编码方法，其特征在于，包括如下步骤：

S1、压缩CTU划分深度参数矩阵；

S2、构建快速CU划分网络，所述快速CU划分网络包括

S3、训练快速CU划分网络；

S4、将快速CU划分网络进行划分深度预测

S5、进行后续编码流程，最终输出视频编码码流。

2.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述步骤S1具体实现方法为：在HEVC编码器HM16.19的CTU划分模块中，将尺寸为64×64的编码单元CTU划分为0、1、2、3四种数值组成16×16矩阵，其中，0代表不划分，1代表1次划分得到32×32的矩阵，2代表将32×32的矩阵再次划分得到16×16的矩阵，3代表将16×16的矩阵划分得到8×8的矩阵；其中，每次划分时当前CTU宽高均为原来的二分之一；矩阵中每一个元素标识一个4×4矩阵的划分深度。

3.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述预处理模块的预处理方法为：

4.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述快速划分模块进行编码单元快速划分方法为：

将HM16.19中关于帧内编码单元划分得出的16×16矩阵简化为4×4矩阵，最后将4×4矩阵逐行排列变为1×16的标签向量。

5.根据权利要求3或4所述的HEVC视频编码方法，其特征在于，所述每个卷积后面连接有批归一化层、非线性激活函数层，所述非线性激活函数层采用Leaky-ReLU激活函数。

6.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述步骤S3中，构建数据集并划分为训练集、验证集和测试集；设计相应损失函数；将训练集的数据用于的模型初始学习，并使用验证集来调整超参数，最后通过测试集检验模型效果，

7.根据权利要求6所述的HEVC视频编码方法，其特征在于，所述数据集按照7:1:2划分为训练集、验证集、测试集。

8.根据权利要求6所述的HEVC视频编码方法，其特征在于，所述快速CU划分网络在训练中使用Adam优化算法对参数进行优化，并设置初始学习率为0.0003、指数衰减率为0.9为默认超参数，采用学习率衰减和Dropout优化避免模型过拟合。

9.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述步骤S4中，预测深度与当前深度的比较方法为：当前深度大于等于预测深度时，进行进一步的深度搜索，当前深度小于预测深度，则直接输出当前预测深度作为待编码视频最终的划分深度。

10.根据权利要求1所述的HEVC视频编码方法，其特征在于，所述步骤S5中，后续编码流程包括帧内预测、变换、量化、环路滤波、熵编码。