CN111083498B - 用于视频编码帧间环路滤波的模型训练方法和使用方法 - Google Patents

Abstract

本发明公开了一种用于视频编码帧间环路滤波的模型训练方法和使用方法，属于视频数据处理技术领域，首先经过训练得到零次模型，然后基于零次模型进行迁移学习得到一次模型，重复N次之后可得到N次模型。其中N的值由编码参数决定。将该模型用于编码器的环路滤波时，根据编码参数决定选用零次模型还是N次模型。本发明所提出的模型训练和使用方法模拟了视频帧间编码时编码帧之间具有参考关系这一现象。相比于局部最优的初始模型，本发明能够得到一个近似全局最优的模型，当其用于环路滤波时，能够显著提高视频帧间编码的压缩效率。

Description

用于视频编码帧间环路滤波的模型训练方法和使用方法

技术领域

本发明涉及视频数据处理技术领域，具体地说，涉及一种用于视频编码帧间环路滤波的模型训练方法和使用方法。

背景技术

有损视频编码会给图像带来块效应、振铃效应等，大大降低了重建图像的质量。视频编码标准采用环路滤波来消除上述效应，在提高视频图像的主观质量的同时，也提高了客观质量。传统环路滤波是从信号处理的角度出发，人工设计了各种算法，如H.265/HEVC中的Deblocking、SAO。利用神经网络也可以设计环路滤波算法，甚至达到比传统算法更高的压缩效率。

在基于神经网络的环路滤波算法中，涉及两个关键问题，一是神经网络结构的设计，二是如何训练该神经网络模型。在训练神经网络时，以往工作一般采用直接训练的方式来训练网络模型，也就是使用未滤波的图像X作为样本，其对应的原始图像Y作为标签，形成训练集。使用该训练集对所设计的神经网络结构进行训练，最终得到一个神经网络模型。如公布号为CN110351568A的中国专利文献公开的一种基于深度卷积网络的视频环路滤波方法，将获得的两种训练数据集，分别训练用于帧内预测帧滤波和帧间预测帧滤波的两种不同特性的网络模型，这两种模型分别对视频中不同类型的帧进行滤波；以最小化损失函数为优化目标，对视频滤波网络模型进行训练，两种模型分别针对不同类型的视频帧滤波。

这种训练得到的神经网络模型在帧内编码时可以获得较好性能，但是在帧间编码时却带来了性能损失。其原因在于，这种直接训练方式并未充分考虑帧间编码时编码帧之间的复杂依赖关系，得到的模型并不精确，当这种模型用于帧间编码的环路滤波功能时，由于训练与测试条件不符，造成了编码性能下降，。

发明内容

本发明的目的为提供一种用于视频编码帧间环路滤波的模型训练方法和使用方法，考虑到了帧间编码时编码帧之间的依赖关系，在训练时模拟了编码帧之间有参考这一现象，显著提升了编码效率与重建图像的主观质量。

为了实现上述目的，第一方面，本发明提供了一种用于视频编码帧间环路滤波的模型训练方法，包括以下步骤：

步骤1)构建一个神经网络，使用未经滤波的图像X作为样本，其对应的原始图像Y作为标签，形成初始训练集；使用初始训练集对神经网络进行训练，得到一系列零次模型；

步骤2)选择若干未经滤波的图像组成验证集，使验证集与训练集中的图像不重合；根据模型选择方法从步骤1)中得到的一系列零次模型中选择一个零次模型NN₀；

步骤3)使用零次模型NN₀对训练集中未经滤波的图像X进行滤波，得到一次滤波图像X₁；

步骤4)将未经滤波的图像X、一次滤波图像X₁作为样本，对应的原始图像Y作为标签，形成一次训练集；使用一次训练集，在零次模型NN₀的基础上进行迁移学习，训练得到一系列一次模型；

步骤5)基于验证集，根据模型选择方法从一系列一次模型中选择一个一次模型NN₁；

步骤6)使用一次模型NN₁对初始训练集中的未经滤波的图像X进行两次滤波，得到新的一次滤波图像X₁’和二次滤波图像X₂；

步骤7)将未滤波图像X、新的一次滤波图像X₁’、二次滤波图像X₂作为样本，对应的原始图像Y作为标签，形成二次训练集；使用二次训练集，在一次模型NN₁的基础上进行迁移学习，训练得到一系列二次模型；

步骤8)基于验证集，根据模型选择方法从一系列二次模型中选择一个二次模型NN₂；

步骤9)重复步骤6)～步骤8)，直至得到一个N次模型NN_N，作为视频编码帧间环路滤波模型。

上述技术方案中，模拟了视频帧间编码时编码帧之间具有参考关系这一现象。相比于局部最优的初始模型，本技术方案能够得到一个近似全局最优的模型，当其用于环路滤波时，能够显著提高视频帧间编码的压缩效率。

作为优选，迁移学习是指在开始训练当前神经网络模型前，使用前一次得到的模型的权重系数初始化当前模型。

作为优选，步骤9)中，N的值由编码参数，即基础量化参数Base_QP和I帧间隔Intra_Period决定；根据编码器的量化参数范围将基础量化参数划分为高、中、低三个范围，对每个视频序列进行编码时，

(1)当Base_QP位于高范围且Intra_Period≥32时，N≥8；

(2)当Base_QP位于高范围且2＜Intra_Period＜32时，2≤N＜8；

(3)当Base_QP位于高范围且Intra_Period＝2时，N＝1；

(4)当Base_QP位于中范围且Intra_Period≥32时，N≥5；

(5)当Base_QP位于中范围且2＜Intra_Period＜32时，2≤N＜5；

(6)当Base_QP位于中范围且Intra_Period＝2时，N＝1；

(7)当Base_QP位于低范围且Intra_Period＞2时，N≥2；

(8)当Base_QP位于低范围且Intra_Period＝2时，N＝1。

作为优选，设编码器的量化参数范围为[0，M]，高范围的基础量化参数落在区间

中范围的基础量化参数落在区间

低范围的基础量化参数落在区间

作为优选，对于给定的验证集，具体的模型选择方法是：

对于所得到的一系列N次模型，N≥0，首先每个模型都作用于验证集N+1次，然后获得每个模型在验证集上作用N+1次的平均性能，性能高的模型被选为最终模型NN_N。

第二方面，本发明提供了一种用于视频编码帧间环路滤波的模型使用方法，用于上述第一方面的模型训练方法得到的视频编码帧间环路滤波模型，在使用时，与编码参数，即基础量化参数Base_QP与I帧间隔Intra_Period有关，具体的：

(1)当Base_QP位于高或者中范围且Intra_Period≥P时，每间隔N帧使用一次编码器的原环路滤波算法，其余使用N次模型NN_N进行环路滤波；

(2)当Base_QP位于高或者中范围且Intra_Period＜P时，使用N次模型NN_N对每一帧未滤波图像进行环路滤波；

(3)当Base_QP位于低范围，对于未滤波图像Z，设其对应的原始图像为

使用零次模型NN₀和N次模型NN_N，首先，分别作用于Z，得到滤波后的图像Z’与Z”；然后，分别计算Z’与

的失真D’，Z”与

之间的失真D”；最后，比较D’与D”，若D’更小，则选择Z’作为滤波结果，否则，选择

作为滤波结果。

作为优选，P的取值为32。

第三方面，本发明提供了一种用于视频编码帧间环路滤波的装置，包括：存储器和处理器，存储器存储有计算机可执行指令，处理器与存储器通信连接，并配置为执行存储器存储的计算机可执行指令，存储器中还存储有视频编码帧间环路滤波模型，视频编码帧间环路滤波模型通过上述第一方面所述的用于视频编码帧间环路滤波的模型训练方法得到。

与现有技术相比，本发明的有益效果为：

本发明充分考虑了视频编码帧间编码时，编码帧之间存在的复杂的依赖关系。采用一种迭代训练方法，将经过一个模型滤波的图像加入训练集来对该模型做进一步调整。相比于以往的训练方法，提高了视频编码效率，并且提高了重建图像的主观质量。

附图说明

图1为本发明训练方法实施例中所使用的神经网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

训练方法实施例

本实施例使用H.265/HEVC的参考编码器HM16.9对视频序列进行编码，其中，HM16.9的原环路滤波模块被替换为基于神经网络的视频编码帧间环路滤波模型。

首先，构建一个神经网络。设计一种卷积神经网络结构，如图1所示，包括25层卷积，每层的卷积核尺寸都是3×3。除第25层外，其余每层的输出通道数都是64。

针对上述神经网络，进行以下步骤的模型训练：

S100制作初始训练集并得到零次模型。选用1000张原始图像，使用H.265/HEVC帧内编码配置，将量化参数QP分别设置为22、27、32、37，关掉其原环路滤波，在各个QP下对该1000张原始图像进行编码，得到未经滤波的重建图像，作为训练样本。该1000张原始图像作为训练标签。将训练样本与标签一一对应，形成训练集。最终，每个QP对应一个训练集，共得到4个训练集。使用这些训练集对上述神经网络进行训练，每个QP都会得到一系列对应的零次模型。

S200选择20帧未滤波图像组成验证集，这些图像与训练集中图像完全不重合。将每个QP对应的一系列零次模型作用于验证集一次，获得每个模型在验证集上的平均性能，选择性能最佳的作为每个QP的零次模型NN₀；

S300使用零次模型NN₀对训练集中的1000张未滤波图像进行滤波，得到1000张一次滤波图像X₁。

S400为每个QP制作一次训练集并得到一次模型。将1000张未滤波图像X、1000张一次滤波图像X₁作为样本，对应的1000张原始图像Y作为标签，形成一次训练集。使用零次模型的权重系数初始化神经网络，然后使用一次训练集对神经网络进行训练，每个QP得到一系列一次模型；

S500基于验证集，将每个QP对应的一系列一次模型分别作用于验证集二次，获得每个模型在验证集上作用两次的平均性能，选择性能最佳的作为每个QP的一次模型NN₁。

S600使用一次模型NN₁对1000张未滤波图像X进行两次滤波，得到1000张新的一次滤波图像X₁’和1000张二次滤波图像X₂；

S700为每个QP制作二次训练集并得到二次模型。将1000张未滤波图像X、1000张新的一次滤波图像X₁’、1000张二次滤波图像X₂作为样本，对应的1000张原始图像Y作为标签，形成二次训练集。使用一次模型的权重系数初始化神经网络，然后使用二次训练集对神经网络进行训练，每个QP得到一系列二次模型。

S800基于验证集，将每个QP对应的系列二次模型分别作用于验证集三次，获得每个模型在验证集上作用三次的平均性能，选择性能最佳的作为每个QP的二次模型NN₂。

S900重复上述步骤S600～S800，直至得到一个N次模型NN_N，作为视频编码帧间环路滤波模型。

H.265/HEVC的量化参数范围是[0，53]，对应的量化参数高范围是(36，53]，中范围是[27，36]，低范围是[0，27)。

在H.265/HEVC帧间编码配置为随机访问模式或低延迟模式，I帧间隔设置为32时，不同基础量化参数QP_base下N的取值不同，具体地，

1)当QP_base＝37时，N＝8；

2)当QP_base＝32时，N＝5；

3)当QP_base＝27时，N＝5；

4)当QP_base＝22时，N＝2。

在H.265/HEVC帧间编码配置为随机访问模式或低延迟模式，I帧间隔设置为4时，不同基础量化参数QP_base下N的取值不同，具体地，

1)当QP_base＝37时，N＝4；

2)当QP_base＝32时，N＝4；

3)当QP_base＝27时，N＝4；

4)当QP_base＝22时，N＝2。

本实施例是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

使用方法实施例

在编码器中使用上述训练得到的视频编码帧间环路滤波模型完成环路滤波功能。

在H.265/HEVC帧间编码配置为随机访问模式或低延迟模式，I帧间隔设置为32时，不同基础量化参数QP_base下N的取值不同，具体地，

1)当Base_QP＝37时，对于所得到的神经网络模型NN₈，每间隔8帧使用一次编码器的原环路滤波算法，其余帧使用NN₈进行环路滤波；

2)当Base_QP＝32或27时，对于所得到的神经网络模型NN₅，每间隔5帧使用一次编码器的原环路滤波算法，其余帧使用NN₅进行环路滤波；

3)当Base_QP＝22时，对于每一帧未滤波图像Z，设其对应的原始图像为

使用所得到的神经网络模型NN₀和NN₂，首先，分别作用于Z，得到滤波后图像Z’与Z”；然后，分别计算Z’与

的失真D’，Z”与

之间的失真D”；最后，比较D’与D”，若D’更小，则选择Z’作为环路滤波结果，否则，选择

作为环路滤波结果。

在H.265/HEVC帧间编码配置为随机访问模式或低延迟模式，I帧间隔设置为4时，不同基础量化参数QP_base下N的取值不同，具体地，

1)当Base_QP＝37，32或27时，对于所得到的神经网络模型NN₄，使用NN₄对每一帧未滤波图像进行环路滤波；

2)当Base_QP＝22时，对于每一帧未滤波图像Z，设其对应的原始图像为

使用所得到的神经网络模型NN₀和NN₂，首先，分别作用于Z，得到滤波后图像Z’与Z”；然后，分别计算Z’与

的失真D’，Z”与

之间的失真D”；最后，比较D’与D”，若D’更小，则选择Z’作为环路滤波结果，否则，选择

作为环路滤波结果。

本发明是一种应用于视频编码环路滤波的神经网络模型的训练和使用方法。针对视频编码帧间预测中的环路滤波神经网络模型的训练和使用，我们要求将作为发明进行保护。以上所述仅为特定应用场合的具体实施方式，但本发明的真实精神和范围不局限于此，任何熟悉本领域的技术人员可以修改、等同替换、改进等，实现不同应用场合的神经网络模型训练和使用方法。

Claims (4)

1.一种用于视频编码帧间环路滤波的模型训练方法，其特征在于，包括以下步骤：

步骤1)构建一个神经网络，使用未经滤波的图像X作为样本，其对应的原始图像Y作为标签，形成初始训练集；使用初始训练集对神经网络进行训练，得到一系列零次模型；

步骤2)选择若干未经滤波的图像组成验证集，使验证集与训练集中的图像不重合；根据模型选择方法从步骤1)中得到的一系列零次模型中选择一个零次模型NN₀；

步骤3)使用零次模型NN₀对训练集中未经滤波的图像X进行滤波，得到一次滤波图像X₁；

步骤4)将未经滤波的图像X、一次滤波图像X₁作为样本，对应的原始图像Y作为标签，形成一次训练集；使用一次训练集，在零次模型NN₀的基础上进行迁移学习，训练得到一系列一次模型；

步骤5)基于验证集，根据模型选择方法从一系列一次模型中选择一个一次模型NN₁；

步骤6)使用一次模型NN₁对初始训练集中的未经滤波的图像X进行两次滤波，得到新的一次滤波图像X₁’和二次滤波图像X₂；

步骤7)将未滤波图像X、新的一次滤波图像X₁’、二次滤波图像X₂作为样本，对应的原始图像Y作为标签，形成二次训练集；使用二次训练集，在一次模型NN₁的基础上进行迁移学习，训练得到一系列二次模型；

步骤8)基于验证集，根据模型选择方法从一系列二次模型中选择一个二次模型NN₂；

步骤9)重复步骤6)～步骤8)，直至得到一个N次模型NN_N，作为视频编码帧间环路滤波模型；

所述的迁移学习是指在开始训练当前神经网络模型前，使用前一次得到的模型的权重系数初始化当前模型；

步骤9)中，N的值由编码参数，即基础量化参数Base_QP和I帧间隔Intra_Period决定；根据编码器的量化参数范围将基础量化参数划分为高、中、低三个范围，对每个视频序列进行编码时，

(1)当Base_QP位于高范围且Intra_Period≥32时，N≥8；

(2)当Base_QP位于高范围且2＜Intra_Period＜32时，2≤N＜8；

(3)当Base_QP位于高范围且Intra_Period＝2时，N＝1；

(4)当Base_QP位于中范围且Intra_Period≥32时，N≥5；

(5)当Base_QP位于中范围且2＜Intra_Period＜32时，2≤N＜5；

(6)当Base_QP位于中范围且Intra_Period＝2时，N＝1；

(7)当Base_QP位于低范围且Intra_Period＞2时，N≥2；

(8)当Base_QP位于低范围且Intra_Period＝2时，N＝1；

设编码器的量化参数范围为[0，M]，高范围的基础量化参数落在区间

中范围的基础量化参数落在区间

低范围的基础量化参数落在区间

对于给定的验证集，具体的模型选择方法是：

对于所得到的一系列N次模型，N≥0，首先每个模型都作用于验证集N+1次，然后获得每个模型在验证集上作用N+1次的平均性能，性能高的模型被选为最终模型NN_N。

2.一种用于视频编码帧间环路滤波的模型使用方法，用于权利要求1所述的模型训练方法得到的视频编码帧间环路滤波模型，其特征在于，在使用时，与编码参数，即基础量化参数Base_QP与I帧间隔Intra_Period有关，具体的：

(1)当Base_QP位于高或者中范围且Intra_Period≥P时，每间隔N帧使用一次编码器的原环路滤波算法，其余使用N次模型NN_N进行环路滤波；

(2)当Base_QP位于高或者中范围且Intra_Period＜P时，使用N次模型NN_N对每一帧未滤波图像进行环路滤波；

(3)当Base_QP位于低范围，对于未滤波图像Z，设其对应的原始图像为

使用零次模型NN₀和N次模型NN_N，首先，分别作用于Z，得到滤波后的图像Z’与Z”；然后，分别计算Z’与

的失真D’，Z”与

之间的失真D”；最后，比较D’与D”，若D’更小，则选择Z’作为滤波结果，否则，选择

作为滤波结果。

3.根据权利要求2所述的用于视频编码帧间环路滤波的模型使用方法，其特征在于，P的取值为32。

4.一种用于视频编码帧间环路滤波的装置，包括：存储器和处理器，所述存储器存储有计算机可执行指令，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于：

所述存储器中还存储有视频编码帧间环路滤波模型，所述视频编码帧间环路滤波模型通过权利要求1所述的用于视频编码帧间环路滤波的模型训练方法得到。

Images