CN110062239B - 一种用于视频编码的参考帧选择方法及装置 - Google Patents

Abstract

本发明公开了一种用于视频编码的参考帧选择方法及装置，属于视频编码技术研究领域，对编码图像的每个编码块，在为其选择参考块时，自适应地选择使用原生参考块还是使用经过图像增强模型得到的增强参考块。在视频的帧间编码过程中，使用神经网络增强图像会改变当前图像的像素值，进而引起以其作为参考帧的图像的改变。随着图像间参考关系的传递，这种改变会对编码性能产生影响，有可能提升编码效率，也有可能降低编码效率，本发明所提出的方法能够保证当前编码块能够选择到有利的参考块，从而提升编码效率。

Description

一种用于视频编码的参考帧选择方法及装置

技术领域

本发明涉及视频编码技术研究领域，具体地说，涉及一种用于视频编码的参考帧选择方法及装置。

背景技术

随着多媒体数字视频应用的不断发展，人们对视频的数量和质量的要求越来越高，传统的视频编码方式已经越来越难以满足这种需求。同时，由于人工智能技术和产业逐步成熟，结合深度神经网络的视频编码方式越来越成为视频压缩领域的一个发展方向。

现有的视频编码标准普遍采用基于块的混合编码框架(bIock-based hybridcoding framework)，使用基于运动补偿的帧间预测去除时域冗余，使用帧内预测和变换编码去除空域冗余，使用熵编码去除统计冗余。

H.265/HEVC是国际电信联盟(ITU)和国际标准化组织(ISO/IEC)共同提出的新一代的高效视频编码标准，相比于前代H.264/AVC，同样编码质量下H.265/HEVC可以节约50％的码率。H.265/HEVC的预测编码分为帧内预测和帧间预测两部分。帧内预测是利用当前图像内已编码的像素预测未编码部分，帧间预测是利用视频的时域相关性，使用邻近已编码图像像素预测当前图像像素。其中帧间预测采用基于块的运动估计与运动补偿技术，其原理是为当前图像的每个像素块在之前已编码的图像中寻找一个相似块，这个过程称为运动估计。用于预测的图像称为参考图像，参考块到当前像素块的位移称为运动矢量，当前像素块与参考块的差值称为预测残差。通过参考块和经过变换、量化后的残差得到预测像素的过程称为运动补偿。

由以上可知，编码顺序在前的图像会作为编码顺序在后的图像的参考图像，参考图像质量的高低会直接影响后续编码的图像的质量。所以提高参考图像的质量可以提高整个视频序列的编码质量。现在主流的做法是在原编码器中，直接对视频里的每一帧使用神经网络增强，但这样只能取得局部最优，当考虑整个视频序列中所有图像间的参考关系时，并不能达到全局最优，甚至当视频序列足够长时，相对于原编码器的增益很可能为负。

发明内容

为了解决上述问题，本发明提供了一种用于视频编码的参考帧选择方法及装置，对于每个编码块，从原生参考块和增强参考块中选择编码代价小的作为其最终参考块进行编码，避免局部最优，提高帧间编码效率。

第一方面，本发明提供一种用于视频编码的参考帧选择方法，视频编码过程包括将当前帧图像分割成若干像素相同的像素块，所述参考帧选择方法包括以下步骤：

1)使用原生参考图像作为参考图像对当前图像的一个像素块进行运动估计，将当前像素块划分为若干编码块，并获得每个编码块的编码参数；

2)根据编码参数从原生参考图像中获得当前编码块的原生参考块，使用原生参考块对当前编码块进行运动补偿，并计算编码代价；

3)根据当前帧图像选择对应的图像增强模型，并使用图像增强模型对当前帧图像进行增强，得到增强参考图像；

4)根据编码参数从增强参考图像中获得当前编码块的增强参考块，使用增强参考块对当前编码块进行运动补偿，并计算编码代价；

5)比较步骤2)和步骤4)中得到的编码代价，选择代价小的方式进行运动补偿，得到预测块，并标注当前编码块所选择的参考块来源；

6)使用所选择的参考块，对当前编码块继续编码，得到对应的编码码流，当当前图像的所有编码块编码结束后，得到当前图像的编码码流，以当前图像的重建图像作为后续待编码图像的原生参考图像，更新参考图像缓存；

7)对下一帧图像重复步骤1)～6)。

上述技术方案中，通过对编码图像的每个编码块，在选择参考块时，自适应地选择使用原生参考块还是使用经过图像增强模型增强后的增强参考块，保证当前编码块能够选择到有利的参考块，从而提升编码效率。

作为优选，步骤1)中，所述的编码参数包括运动矢量和参考帧索引。

作为优选，步骤3)中，所述的图像增强模型的构建方法为：

3-1)利用编码器生成待增强图像的重建图像；

3-2)以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

3-3)利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型。

使用H.265/HEVC原生编码器生成的重建图像，其中，可根据不同编码配置、不同编码参数以及不同视频内容，分别构造不同的训练集，使用不同的训练集训练神经网络，得到不同的图像增强模型。作为优选，所述的图像增强模型的构建方法中根据不同量化参数和不同图像类型，分别构造不同的训练集，并得到对应的图像增强模型。

作为优选，步骤6)中，所述的更新参考图像缓存时还包括释放不需要的参考图像。以控制内存的使用。

第二方面，本申请提供一种用于视频编码的参考帧选择装置，用于实现第一方面提供的参考帧选择方法，包括：

编码模块，包括编码器，用于编码当前图像的编码块；

存储模块，存储有原生参考图像缓存单元、增强参考图像缓存单元和用于对原生参考图像进行增强得到增强参考图像的图像增强模型；

逻辑控制模块，用于决策当前编码块的参考图像是选自原生图像缓存单元还是增强参考图像缓存单元。

编码器在编码当前编码块时，决策当前编码块的预测块的决策信息；逻辑控制模块根据编码器输出的决策信息，分别从原生参考图像缓存单元中获取到原生参考块，从增强参考图像缓存单元中获取到增强参考块，然后分别计算使用原生参考块或增强参考块的编码代价，选择代价小的作为当前编码块的参考块，对该选择进行标记，输出最终选择的参考块。

作为优选，该参考帧选择装置中图像增强模型的构建过程为：

利用编码器生成待增强图像的重建图像；

以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型。

第三方面，本申请还提供一种电子设备，该电子设备包括编码器、存储器和控制器，存储器内存储有计算机可执行指令，存储器内还存储有原生参考图像缓存单元、增强参考图像缓存单元和图像增强模型；控制器与存储器通信连接，并配置为执行存储器存储的计算机课执行指令；应用时，计算机可执行指令在被执行时，实现第一方面所述的参考帧选择方法。

第四方面，本申请还提供一种可读存储介质，所述可读存储介质包括计算机程序，该计算机程序运行时控制所述可读存储介质所在电子设备执行第一方面所述的参考帧选择方法。

与现有技术相比，本发明的有益效果为：

本发明用于视频编码的参考帧选择方法及装置将视频编码中对一帧图像的增强纳入整个视频序列的参考关系中，以获得对于整个视频序列的一个近似全局最优解。同时，对于编码中最耗时的决策部分，本发明与原编码器采用同样的决策方法，相对于原编码器不会显著提高算法复杂度。

附图说明

图1为本发明实施例用于视频编码的参考帧选择装置的结构示意图；

图2为本发明实施例1中用于视频编码的参考帧选择方法的流程图；

图3为本发明实施例用于增强重建图像的神经网络结构图；

图4为本发明实施例2中用于视频编码的参考帧选择方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例1

参见图1，本实施例用于视频编码的参考帧选择装置包括编码模块100、存储模块200和逻辑控制模块300。

其中，编码模块100包括编码器，用于编码当前图像的编码块；

存储模块200存储有原生参考图像缓存单元201、增强参考图像缓存单元202和用于对原生参考图像进行增强得到增强参考图像的图像增强模型203；

逻辑控制模块300用于决策当前编码块的参考图像是选自原生图像缓存单元201还是增强参考图像缓存单元202。

以上各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

参见图2，图2为本实施例提供的应用于图1中的参考帧选择装置的参考帧选择方法的流程图，视频编码过程包括将当前帧图像分割成若干像素相同的像素块，在本实施例中参考帧选择方法包括以下步骤：

步骤S110，训练神经网络，得到图像增强模型；

子步骤S111，利用编码器生成待增强图像的重建图像；

子步骤S112，以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

子步骤S113，利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型。

本实施例使用H.265/HEVC原生编码器生成待增强图像的重建图像，其中，可根据不同编码配置、不同编码参数以及不同视频内容，分别构造不同的训练集。本实施例中，根据量化参数和图像类型构造不同的训练集，使用训练集训练神经网络，得到对应的图像增强模型。在本实施例所使用的神经网络共20层，每层的卷积核尺寸都是3×3，其中第1层到第19层所输出的特征图数量为64，第20层输出增强结果，参见图3。

步骤S120，决策选择图像增强模型；

H.265/HEVC编码图像缓存实际上是一个重建图像队列，每一帧图像对应一个图像顺序编号POC(picture order count)，对应一个重建图像，按照编码顺序进队，后继帧从参考图像缓存中选取图像组成其参考图像队列，当不再会被参考时被丢弃。本实施例为每一个POC构建两个参考图像缓存单元，原生参考图像缓存单元为编码器原生重建图像，增强参考图像缓存单元为本实施例使用图像增强模型增强原生参考图像后得到的增强参考图像。由此，建立起一个POC和两个参考图像缓存单元之间的映射关系。

选择图像增强模型时，

a)如果当前帧的图像类型是I帧，就直接从原生参考图像缓存单元中取原生参考图像，整帧使用图像增强模型增强得到增强参考图像，并作为当前帧的重建图像输出，同时，该增强参考图像被保存到增强参考图像缓存单元。

b)如果当前帧的图像类型不是I帧，则使用I帧模型增强当前帧的intra部分，使用P帧模型增强当前帧的inter部分。得到的增强参考图像保存在增强参考图像缓存单元中。

步骤S130，组件当前帧的参考队列；

在帧间编码配置中，帧间预测需要在已编码的图像中获取各个块的运动信息，从而去除时间冗余。所以需要从由已编码的重建图像构建当前帧的参考帧队列。当前帧选择的参考帧由GOP结构表指定，以POC为标记。

步骤S140，帧间预测；

HEVC标准中的帧间预测分为两步：运动搜索和运动补偿。运动搜索是从参考帧队列中匹配相似块的过程，运动补偿是使用相似块预测生成预测块的过程。帧间预测时，当前编码模块首先进行运动搜索，即在参考帧队列中查找参考块，然后进行运动补偿，即根据参考块得到当前编码块的预测块。

子步骤S141，将参考队列中每个POC对应的重建图像缓存指向原生参考图像缓存单元，即使用编码器原生重建图像进行运动搜索，确定当前像素块的编码块划分，以及每个编码块的参考帧与运动矢量等参数；

子步骤S142，使用原生参考图像缓存单元，通过由子步骤S141确定的各个参数对当前编码块进行运动补偿，并计算预测块的重建值与当前编码块原始值之间的失真D₁，即编码代价；

子步骤S143，使用增强参考图像缓存单元，通过由子步骤S141确定的各个参数对当前编码块进行运动补偿，并计算预测块的重建值与当前编码块原始值之间的失真D₂，即编码代价；

上述失真D₁与D₂的计算方法为：

其中，M×N为当前编码块的尺寸，R_i为当前预测块的重建像素值，O_i为当前编码块的原始像素值。

子步骤S144，比较失真D₁和D₂，选取失真较小的预测块作为当前编码块的预测块，并对所选用的参考帧进行标记，在H.265/HEVC的预测单元的语法结构prediction_unit{}中添加语法元素ref_cnn_flag，其值为0时表示当前编码块参考了原生重建图像进行编码，其值为1时表示当前编码块参考了增强重建图像进行编码；

子步骤S145，继续对当前编码块进行编码，得到其重建值与对应的码流。

子步骤S146，重复子步骤S141～S145，直到一帧图像的所有编码块编码结束，得到该帧图像的编码码流与该帧图像的原生重建图像。

步骤S150，更新重建图像缓存；

当一帧图像编码完毕，更新参考图像缓存，释放原生参考图像缓存单元和增强参考图像缓存单元中不再需要的图像。

实施例2

本实施例用于视频编码的参考帧选择装置与实施例1相同，此处不再赘述，不同之处在于参考帧选择方法，参见图4，本实施例的参考帧选择方法包括以下步骤：

步骤S110，训练神经网络，得到图像增强模型；

子步骤S111，利用编码器生成待增强图像的重建图像；

子步骤S112，以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

子步骤S113，利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型。

本实施例使用H.265/HEVC原生编码器生成待增强图像的重建图像，其中，可根据不同编码配置、不同编码参数以及不同视频内容，分别构造不同的训练集。本实施例中，根据量化参数和图像类型构造不同的训练集，使用训练集训练神经网络，得到对应的图像增强模型。在本实施例所使用的神经网络共20层，每层的卷积核尺寸都是3×3，其中第1层到第19层所输出的特征图数量为64，第20层输出增强结果，参见图3。

步骤S140，帧间预测；

HEVC标准中的帧间预测分为两步：运动搜索和运动补偿。运动搜索是从参考帧队列中匹配相似块的过程，运动补偿是使用相似块预测生成预测块的过程。帧间预测时，当前编码模块首先进行运动搜索，即在参考帧队列中查找参考块，然后进行运动补偿，即根据参考块得到当前编码块的预测块。

子步骤S141，将参考队列中每个POC对应的重建图像缓存指向原生参考图像缓存单元，即使用编码器原生重建图像进行运动搜索，确定当前像素块的编码块划分，以及每个编码块的参考帧与运动矢量等参数；

子步骤S142，根据S141确定的各个参数，从原生参考图像缓存单元中取当前编码块的原生参考块，选择对应的图像增强模型，对当前原生参考块进行增强，得到当前编码块的增强参考块，存入增强参考图像缓存单元；

a)如果当前编码块是intra模式，使用I帧图像增强模型增强得到增强参考块；

b)如果当前编码块是inter单向模式，使用P帧图像增强模型增强得到增强参考块；

c)如果当前编码块是inter双向模式，使用B帧图像增强模型增强得到增强参考块。

子步骤S143，使用原生参考图像缓存单元，通过由子步骤S141确定的各个参数对当前编码块进行运动补偿，并计算预测块的重建值与当前编码块原始值之间的失真D₁，即编码代价；

子步骤S144，使用增强参考图像缓存单元，通过由子步骤S141确定的各个参数对当前编码块进行运动补偿，并计算预测块的重建值与当前编码块原始值之间的失真D₂，即编码代价；

上述失真D₁与D₂的计算方法为：

其中，M×N为当前编码块的尺寸，R_i为当前预测块的重建像素值，O_i为当前编码块的原始像素值。

子步骤S145，比较失真D₁和D₂，选取失真较小的预测块作为当前编码块的预测块，并对所选用的参考帧进行标记，在H.265/HEVC的预测单元的语法结构prediction_unit{}中添加语法元素ref_cnn_flag，其值为0时表示当前编码块参考了原生参考块进行编码，其值为1时表示当前编码块参考了增强参考块进行编码；

子步骤S146，继续对当前编码块进行编码，得到其重建值与对应的码流。

子步骤S147，重复子步骤S141～S145，直到一帧图像的所有编码块编码结束，得到该帧图像的编码码流与该帧图像的原生重建图像。

步骤S150，更新重建图像缓存；

当一帧图像编码完毕，更新参考图像缓存，释放原生参考图像缓存单元和增强参考图像缓存单元中不再需要的图像。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种用于视频编码的参考帧选择方法，视频编码过程包括将当前帧图像分割成若干像素相同的像素块，其特征在于，所述参考帧选择方法包括以下步骤：

1)使用原生参考图像作为参考图像对当前图像的一个像素块进行运动估计，将当前像素块划分为若干编码块，并获得每个编码块的编码参数；

2)根据编码参数从原生参考图像中获得当前编码块的原生参考块，使用原生参考块对当前编码块进行运动补偿，并计算编码代价；

3)根据当前帧图像选择对应的图像增强模型，并使用图像增强模型对当前帧图像进行增强，得到增强参考图像；所述图像增强模型的构建方法为：

3-1)利用编码器生成待增强图像的重建图像；

3-2)以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

3-3)利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型；

4)根据编码参数从增强参考图像中获得当前编码块的增强参考块，使用增强参考块对当前编码块进行运动补偿，并计算编码代价；

5)比较步骤2)和步骤4)中得到的编码代价，选择代价小的方式进行运动补偿，得到预测块，并标注当前编码块所选择的参考块来源；

6)使用所选择的参考块，对当前编码块继续编码，得到对应的编码码流，当当前图像的所有编码块编码结束后，得到当前图像的编码码流，以当前图像的重建图像作为后续待编码图像的原生参考图像，更新参考图像缓存；

7)对下一帧图像重复步骤1)～6)。

2.根据权利要求1所述的参考帧选择方法，其特征在于，步骤1)中，所述的编码参数包括运动矢量和参考帧索引。

3.根据权利要求1所述的参考帧选择方法，其特征在于，步骤6)中，所述的更新参考图像缓存时还包括释放不需要的参考图像。

4.一种用于视频编码的参考帧选择装置，用于实现如权利要求1～3中任一权利要求所述的参考帧选择方法，其特征在于，包括：

编码模块，包括编码器，用于编码当前图像的编码块；

存储模块，存储有原生参考图像缓存单元、增强参考图像缓存单元和用于对原生参考图像进行增强得到增强参考图像的图像增强模型；

逻辑控制模块，用于决策当前编码块的参考图像是选自原生图像缓存单元还是增强参考图像缓存单元。

5.根据权利要求4所述的参考帧选择装置，其特征在于，所述的图像增强模型的构建过程为：

利用编码器生成待增强图像的重建图像；

以重建图像作为样本，与其对应的原始图像作为标签，形成训练集；

利用重建图像和其对应的标签对神经网络进行训练，获得图像增强模型。

Images