CN105898328A - 包含自参考编码的参考帧集设置方法及装置 - Google Patents

Abstract

本发明实施例提供一种包含自参考编码的参考帧集设置方法及装置。判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。增加了编码参考帧的可选性，进一步提高了视频的编码效率。

Description

包含自参考编码的参考帧集设置方法及装置

技术领域

本发明实施例涉及视频技术领域，尤其涉及一种包含自参考编码的参考帧集设置方法及装置。

背景技术

在帧间预测编码中，由于活动图像邻近帧中的景物存在着一定的相关性。因此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计。

运动矢量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端按照运动矢量指明的位置，从已经解码的邻近参考帧图像中找到相应的块或宏块，和预测误差相加后就得到了块或宏块在当前编码帧中的位置。

通过运动估计可以去除帧间冗余度，使得视频传输的比特数大为减少，因此，运动估计是视频压缩处理系统中的一个重要组成部分。为了提高预测精度，H.264中可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像，这样一来，复杂度大为增加，但多次比较的结果，使匹配后的预测精度显著改进。H.264中最多可从15个参数图像中进行选择，选出最佳的匹配图像。HEVC同样继承了H.264的多参考帧方案。但是其参考帧选择上依然有很大的提升空间。

因此，一种新的参考帧选择方法亟待提出。

发明内容

本发明实施例提供一种包含自参考编码的参考帧集设置方法及装置，用以提升现有技术中HEVC编码时参考帧的选择空间。

本发明实施例提供一种包含自参考编码的参考帧集设置方法，包括：

判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

本发明实施例提供一种包含自参考编码的参考帧集设置装置，包括：

添加模块，用于判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

设置模块，用于根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

本发明实施例提供的一种包含自参考编码的参考帧集设置方法及装置，通过将当前编码帧加入编码的参考帧集，利用当前编码帧已经编码完成的编码宏块作为后续编码宏块的参考，增加了编码参考帧的可选性，进一步提高了视频的编码效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的技术流程图；

图2为本发明实施例一自参考编码示意图；

图3为本发明实施例二的技术流程图；

图4为本发明实施例三的装置结构示意图；

图5为本发明应用实例的编码顺序与帧号示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的核心在于，当前编码帧可以把自身当做编码的参考帧，若当前编码宏块并非当前参考帧的第一个编码宏块时，当前编码宏块可以参考本帧中已经编码完成的宏块进行编码。

实施例一

图1是本发明实施例一的技术流程图，结合图1，本发明实施例一种包含自参考编码的参考帧集设置方法，主要包括如下的步骤：

步骤110：判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

通常，位于编码最上层的视频帧，质量相对较差，不对其进行参考。本发明实施例中首先判断当前编码帧的位置，若是其不具有参考价值，则不需要将其加入参考帧集。

本发明实施例中的所述参考帧集，即reference picture se(RPS)，为了管理解码多参考帧，已解码好的帧被放在解码帧缓冲区(Decoding PictureBuffer，DPB)中并被详细标记以供码流中后续的帧参考。具体地，将所述可参考帧按照编码顺序，降序加入所述解码帧缓冲区并剔除位于编码最上层的所述可参考帧。

步骤120：根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

视频编码中，为了提高编码预测精度，从一组前向或后向已编码视频帧中选出一定数量的与当前最匹配的视频帧作为帧间编码间的参考帧。例如：H.264中最多可从15个参数图像中进行选择，选出最佳的匹配图像。

将参考帧分为两个部分，前向参考帧和后向参考帧，分别用两个列表集进行表示，前向参考帧集List0和后向参考帧集List1。

List0和List1中，参考帧排序的设置如下：

List0：从当前帧开始，将最近前向参考帧基于POC(帧号，Picture ofcount)标为index0，接着按照POC递减顺序陈列其余前向参考帧，接着从当前帧开始按照POC递增顺序陈列后向参考帧。

List1：从当前帧开始，将最近后向参考帧标为index0，接着按照POC递增顺序陈列其余后向参考帧，接着从当前帧开始按照POC递减顺序陈列其前向参考帧。

对于P帧(Predicated-Frame，前向预测编码帧)中帧间编码宏块和宏块分割的预测可从表“List0”中选择参考帧；对于B(Bidirectina-Frame，双向预测内插编码帧)帧中的帧间编码宏块和宏块分割的预测，可从表“List0”和“List1”中选择参考帧。

以下部分将通过一个例子对List0及List1进行说明：一个H.264解码器存储了6幅短期参考图像。其POC分别为：123，125，126，128，129和130。当前图像为127。所有6幅短期参考图像在list0和list1中都标为“用作参考”，如表1所示：

本发明实施例中，前向参考帧集List0中，除当前编码帧的前向已经完成的视频帧做参考帧之外，还包括所述当前编码帧自身。如图2所示，当前编码帧中，网格图案的编码宏块是已经编码完成的，斜线图案的编码宏块是当前正在编码的宏块，白色编码宏块是未编码的宏块。斜线图案的编码宏块可以参考已经编码完成的网格图案的编码宏块进行编码。

自参考编码的使用条件如下：只有当判定所述当前编码帧的当前编码宏块非当前编码帧的第一个编码宏块时，可选择所述自参考帧进行自参考编码。

对所述参考帧集进行设置之后，所述自参考帧在表1中的位置应当位于list0中的index5之后。

本实施例中，通过将当前编码帧加入编码的参考帧集，利用当前编码帧已经编码完成的编码宏块作为后续编码宏块的参考，增加了编码参考帧的可选性，进一步提高了视频的编码效率。

实施例二

图3是本发明实施例二的技术流程图，以下部分将结合图3，进一步阐述本发明实施例对所述参考帧集进行设置的具体实现过程。

步骤310：将所述参考帧集中的所述可参考帧添加至解码帧缓冲区；

同实施例一中所述，从当前编码帧的一组前向或后向已编码视频帧中选出一定数量的与当前最匹配的视频帧作为帧间编码间的参考帧，并将其放在解码帧缓冲区中进行标记以供码流中后续的帧参考。

步骤320：在所述解码帧缓冲区内对所述参考帧进行分类，将前向参考帧统计至前向参考帧集，将后向参考帧统计至后向参考帧集；

按照帧号，获取当前编码帧的最近前向编码帧，将其添加至向参考帧集list0；按照帧号，将当前编码帧的最近后向编码帧添加至后向参考帧集list1。

步骤330：将所述前向参考帧集中的所述参考帧按照帧号降序排列，将所述后向参考帧集中的所述参考帧按照帧号升序排列；

按照实施例一中所述的List0和List1中参考帧排序设置，List0中首先排列的是与当前编码帧位置最近的前向参考帧，接着按照POC递减顺序陈列其余前向参考帧；List0中首先排列的是与当前编码帧位置最近的后向参考帧，接着按照POC递增顺序陈列其余后向参考帧。

步骤340：将所述自参考帧添加至所述前向参考帧集进行所述降序排列后的末位处。

利用所述自参考帧进行编码时，利用的是当前编码帧已经编码完成的编码宏块，因此，将所述自参考帧添加至前向参考帧集，并将所述自参考帧添加至所述前向参考帧集的最末位置处。

需要说明的是，根据预设的参考帧数量对所述前向参考帧集和所述后向参考帧集进行截断处理，从而选取一定数量的所述前向参考帧和所述后向参考帧以满足所述编码配置需求。例如，参考实施例一的表1，List0和List1中分别有5个参考帧，但实际编码中，考虑到编码配置的需求，不需要这么多参考帧，因此，可以设置一个参考帧上限，从而对List0和List1的长度进行截断处理，进一步优化编码预测。若所述前向参考帧集根据配置需求进行截断处理，则应当理解，所述自参考帧添加的位置位于截断之后的所述前向参考帧集的最末位。

实施例三

图4是本发明实施例三的装置结构示意图，结合图4，本发明实施例一种包含自参考编码的参考帧集设置装置，主要包括如下的模块：添加模块410、设置模块420、截断模块430、参考帧选择模块440。

所述添加模块410，用于判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

所述设置模块420，用于根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

具体地，所述设置模块420具体用于：将所述参考帧集中的所述可参考帧添加至解码帧缓冲区；

在所述解码帧缓冲区内对所述参考帧进行分类，将前向参考帧统计至前向参考帧集，将后向参考帧统计至后向参考帧集；

将所述前向参考帧集中的所述参考帧按照帧号降序排列，将所述后向参考帧集中的所述参考帧按照帧号升序排列；

将所述自参考帧添加至所述前向参考帧集进行所述降序排列后的末位处。

所述设置模块420进一步用于：将所述可参考帧按照编码顺序，降序加入所述解码帧缓冲区并剔除位于编码最上层的所述可参考帧。

所述装置进一步包括截断模块430，所述截断模块430用于：

根据预设的参考帧数量对所述前向参考帧集和所述后向参考帧集进行截断处理，从而选取一定数量的所述前向参考帧和所述后向参考帧以满足所述编码配置需求。

所述装置进一步包括参考帧选择模块440，所述参考帧选择模块用于：

当判定所述当前编码帧的当前编码宏块非当前编码帧的第一个编码宏块时，可选择所述自参考帧进行自参考编码。

图4对应装置执行图1～图3所示实施例，实现原理和技术效果参考图1～图3所示实施例，不再赘述。

应用实例

以下部分通过一个场景实例进一步对本发明实施例进行阐述。

如图5所示，图5中，POC:0～12是视频的显示顺序，每个四边形代表一个视频帧，其上的标号是视频帧的编码顺序。编帧分为三层，上层编码帧参考下一层的编码帧，如B2参考I0、P1。I、B、P分别表示I帧(帧内预测编码帧)、B帧(双向预测内插编码帧)、P帧(前向预测编码帧)。

第一步：将相应可参考帧加入DPB(解码帧缓冲区)。

按照编码顺序，将视频帧倒序加入到DPB中，并且如果当前帧在最上一层的帧不加入DPB中。本实例中，假设当前编码到编码序号为11的帧(poc为9)。

编码顺序为:I0 P1 B2 B3 B4 P5 B6 B7 B8 P9 B10 B11(B11正在编码)，则加入DPB的顺序为:B10 P9 B6 P5 B2 P1 I0。有一部分视频帧被剔除，其原因在于剔除的视频帧在编码最上层，质量相对较差，不对其进行参考。

第二步：在DPB中统计前向参考帧个数和后向参考帧个数。

DPB的顺序为:B10 P9 B6 P5 B2 P1 I0，假设当前帧为B11，在前面的为前向参考帧:B6 P5 B2 P1 I0，后面的为后向参考帧：B10 P9。

第三步：定义前向参考帧集List0和后向参考帧集List1。

将前向参考帧赋值给List0：B6 P5 B2 P1 I0，将后向参考帧赋值给List1：B10 P9。

将List0的数据按照Poc从大到小排序：List0：P5 B6 P1 B2 I0

将List1的数据按照Poc从大到大排序：List1：B10 P9

第四步：截断。

由于配置原因，需要对List进行截断，因为可能不需要这么多参考帧。假如配置list的最大个数为max＝2，如果List中的数据小于等于max，list数据不变；如果List中的数据大于max，则将其后面的数据截断，如果最后一帧为B这，则将后面的P帧进行替换。

截断后的数据：List0：P5 P1 List1:B10 P9

第五步：List0的最末位加入自参考帧。

List0：P5 P1 B11 List1:B10 P9

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种包含自参考编码的参考帧集设置方法，其特征在于，包括如下的步骤：

判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

2.根据权利要求1所述的方法，其特征在于，对所述参考帧集进行设置，进一步包括：

将所述参考帧集中的所述可参考帧添加至解码帧缓冲区；

在所述解码帧缓冲区内对所述参考帧进行分类，将前向参考帧统计至前向参考帧集，将后向参考帧统计至后向参考帧集；

将所述前向参考帧集中的所述参考帧按照帧号降序排列，将所述后向参考帧集中的所述参考帧按照帧号升序排列；

将所述自参考帧添加至所述前向参考帧集进行所述降序排列后的末位处。

3.根据权利要求1或2所述的方法，其特征在于，所述方法进一步包括：

根据预设的参考帧数量对所述前向参考帧集和所述后向参考帧集进行截断处理，从而选取一定数量的所述前向参考帧和所述后向参考帧以满足所述编码配置需求。

4.根据权利要求2所述的方法，其特征在于，将可参考帧添加至解码帧缓冲区，进一步包括：

将所述可参考帧按照编码顺序，降序加入所述解码帧缓冲区并剔除位于编码最上层的所述可参考帧。

5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

当判定所述当前编码帧的当前编码宏块非当前编码帧的第一个编码宏块时，可选择所述自参考帧进行自参考编码。

6.一种包含自参考编码的参考帧集设置装置，其特征在于，包括如下的模块：

添加模块，用于判断当前编码帧是否位于编码最上层，若为否，则将所述当前编码帧加入参考帧集作为所述当前编码帧的自参考帧；

设置模块，用于根据编码配置以及所述参考帧集中参考帧的帧号对所述参考帧集进行设置。

7.根据权利要求6所述的装置，其特征在于，所述设置模块具体用于：

将所述参考帧集中的所述可参考帧添加至解码帧缓冲区；

在所述解码帧缓冲区内对所述参考帧进行分类，将前向参考帧统计至前向参考帧集，将后向参考帧统计至后向参考帧集；

将所述前向参考帧集中的所述参考帧按照帧号降序排列，将所述后向参考帧集中的所述参考帧按照帧号升序排列；

将所述自参考帧添加至所述前向参考帧集进行所述降序排列后的末位处。

8.根据权利要求6或7所述的装置，其特征在于，所述装置进一步包括截断模块，所述截断模块用于：

根据预设的参考帧数量对所述前向参考帧集和所述后向参考帧集进行截断处理，从而选取一定数量的所述前向参考帧和所述后向参考帧以满足所述编码配置需求。

9.根据权利要求7所述的装置，其特征在于，所述设置模块进一步用于：将所述可参考帧按照编码顺序，降序加入所述解码帧缓冲区并剔除位于编码最上层的所述可参考帧。

10.根据权利要求6所述的装置，其特征在于，所述装置进一步包括参考帧选择模块，所述参考帧选择模块用于：

当判定所述当前编码帧的当前编码宏块非当前编码帧的第一个编码宏块时，可选择所述自参考帧进行自参考编码。