CN110278434B

CN110278434B - 一种快速多复合帧视频编码的方法、装置及存储介质

Info

Publication number: CN110278434B
Application number: CN201910717624.8A
Authority: CN
Inventors: 徐国伟; 刘宇新; 金星; 彭斌; 范娟婷; 朱政
Original assignee: Hangzhou Microframe Information Technology Co ltd
Current assignee: Hangzhou Microframe Information Technology Co ltd
Priority date: 2019-08-06
Filing date: 2019-08-06
Publication date: 2021-12-31
Anticipated expiration: 2039-08-06
Also published as: CN110278434A

Abstract

本发明提供一种快速多复合帧视频编码的方法、装置和存储介质，以实现对于视频编码多个参考帧、多种运动矢量模式的率失真优化，通过复用单一参考帧的运动模式的率失真评测结果，获得复合参考帧率失真评估速度上的成倍提升，最终获得视频编码器速度上的整体提升，同时对视频编码效率性能的影响小到可以忽略。

Description

一种快速多复合帧视频编码的方法、装置及存储介质

技术领域

本发明涉及视频编码领域，尤其涉及一种快速多复合帧视频的编码。

背景技术

近来的视频编码标准，比如由开放媒体联盟(AOM)42家会员共同打造的最新视频编码标准AV1，引入了多个参考帧、多种运动矢量模式的评估，对每一个参考帧模式ref_frame、每一种运动矢量模式motion_mode，即每一个(参考帧模式，运动矢量模式)(ref_frame,motion_mode)组合，均需要做出率失真评测，从而选取率失真指标最优的模式，以达到最优的编码效率。

每一组(ref_frame,motion_mode)模式的率失真评估，均需要执行运动补偿，二维变换，量化，变换系数的熵编码等多步操作，计算复杂度高。视频编码标准，比如从H264到H265，再到AV1，每一代标准都比前一代增添了更多的编码工具以及(ref_frame,motion_mode)的组合模式。因此，多参考帧、多运动矢量模式的评估，带来编码效率性能上提升的同时，极大增加了编码器的复杂度。无论是对视频点播，还是对视频直播的应用，编码器的复杂度都是不允许无限增长的。如何保持视频编码新标准的编码性能优势，同时降低编码器的复杂度，使得视频编码新标准迅速在实际场景中落地，是视频编码器设计的首要任务也是最大挑战之一。视频编码的优化方法和系统也因此成为基本需求。

发明内容

本发明提供了一种快速多复合帧视频编码方法，

步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i,其中i为单一参考帧的四种运动矢量模式中的任一个，利用率失真准则获取相应的最优参考帧选择：

best_frame(i)＝argmin_{fromek，modei}(D_k+λR_k)

对于单一参考帧所有的四种运动矢量模式，best_frame(i)为率失真准则下相应的最优单一参考帧选择，其中i∈{NEAEST_MV,NEARMV,NEWMV,GLOBAL_MV}；k表示第k个参考帧frame(k)，D_k表示第k个参考帧对应的失真度大小，R_k表示第k个参考帧的编码码率，λλ表示拉格朗日乘子。

步骤2，如果对于四种运动模式，所有的best_frame(i)均取值相同，即任一运动矢量模式下所获取的最优参考帧均指向同一参考帧，则这一参考帧记录为best_frame_single。

步骤3，在评判复合参考帧时，检测复合参考帧中的两个参考帧是否包含所述最优单一参考帧best_frame_single，如果不包括，则跳过所述复合参考帧的评估；若包括所述最优单一参考帧best_frame_single，则对包含所述最优单一参考帧best_frame_single的复合参考帧做率失真评估。

本发明还提供了一种快速多复合帧视频编码的装置，所述装置包括处理器、存储器，存储器上存储有计算机程序，通过处理器执行所述计算机程序以实现快速多复合帧视频编码的方法。

针对视频编码多个参考帧、多种运动矢量模式的率失真优化目标，提出了一种有效的方法，通过采用复用单一参考帧的运动模式的率失真评测结果，获得复合参考帧率失真评估速度上的成倍提升，最终获得视频编码器速度上的整体提升，同时对视频编码效率性能的影响小到可以忽略。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的AV1单一参考帧编码的树形结构图；

图2是本说明书实施例提供的采用前向参考帧的AV1复合参考帧编码的树形结构图；

图3是本说明书实施例提供的采用后向参考帧的AV1复合参考帧编码的树形结构图；

图4本说明书实施例提供的一种快速多复合帧视频编码方法的流程图

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

视频编码分为帧内预测模式和帧间预测模式。帧内预测模式是指视频图像帧的预测只依赖当前图像帧信息，独立于其他图像帧。帧间预测模式是指图像帧的预测依赖于一幅或多幅已经完成编码的图像帧，即参考帧。帧间预测根据参考帧的数目，又分为单帧预测和复合帧预测。单帧预测中，仅有一帧参考帧，对于当然图像帧中的任意宏块，需要在单一参考帧中搜索到率失真评测下的最佳运动矢量。复合帧预测，则有两帧参考帧，对于当然图像帧中的任意宏块，需要在每一帧参考帧中搜索到一个运动矢量，同时，搜索到的两个运动矢量需满足复合帧预测的率失真评测最优。运动矢量的编码方式，又称为运动模式，不同运动模式代表着不同的运动矢量信息。在AOM/AV1标准中，每一个当前帧共有7个单一参考帧可用来做参考以及率失真评估，其中7个单一参考帧可以表示为：{LAST_FRAME,LAST2_FRAME,LAST3_FRAME,GOLDEN_FRAME,BWDREF_FRAME,ALTREF2_FRAME,ALTREF_FRAME}。AV1标准中指定的7个参考帧，可以由编码器任意指定。通常{LAST_FRAME,LAST2_FRAME,LAST3_FRAME}这4个参考帧表示前向参考帧，即：它们的显示顺序在当前帧之前；{BWDREF_FRAME,ALTREF2_FRAME,ALTREF_FRAME}这3个参考帧表示后向参考帧，即：它们的显示顺序在当前帧之后。后向参考帧的引入，可以有效的实现对当前帧的前向与后向的双向预测，当前帧的编码类型则为B帧，从而进一步提升编码压缩效率。B帧的两个参考帧由于在当前图像帧两侧，特称为异向复合参考帧。

B帧的采用，由于后向参考帧需要先行编码/解码，会带来视频图像帧显示上的延迟，更适用于视频点播的场景。在视频直播场景中，视频编码的时延要求比较严格，一般不采用B帧。AV1的标准比较灵活，允许所有的7个参考帧可均取为前向参考帧，并允许前向参考帧两两配对，特称为同向复合参考帧，辅助提升编码效率。

AV1标准中，当使用单一参考帧做运动矢量预测时，共包括4种运动预测模式：{NEARESTMV,NEARMV,NEWMV,GLOBALMV}。AV1标准中，对图像帧中的任一宏块，帧间模式预测首先会由当前块的空间邻域和时间邻域已编码过的图像块中的运动矢量，推导出对当前块运动矢量的预测列表，并且按照累积条件概率将运动矢量在列表中排序。上述4种运动模式，是对当前块运动矢量的不同获取方式，其中NEARESTMV表示指定运动矢量预测列表中排序首位的取值为当前块的运动矢量

的取值；NEARMV表示指定运动矢量预测列表中的某一取值为当前块的运动矢量

的取值，后续码流中包括的索引将用于指明预测列表中的具体位置；NEWMV表示指定运动矢量预测列表中排序首位的取值为当前块的运动矢量

的预测取值

后续码流中将包括运动矢量差值

最终运动矢量取值为

GLOBALMV表示指定当前宏块所选参考帧对应的帧级全局运动矢量取值，为当前块的运动矢量

取值。AV1中引入了全局运动矢量的工具，在每一个图像帧的帧首位置，码流中写入当前图像帧所有参考帧的各自全局运动矢量模型参数。全局运动模型主要反映像机的各种运动，包括平移、旋转、变焦等。全局运动补偿模型仅使用少数参数对全局运动进行描述，参数所占用的码率基本上可以忽略不计。

对于单一参考帧、单一运动矢量模式的率失真评估，是对上述提到的7个单一参考帧和4个运动预测模式的7x4＝28种(ref_frame,motion_mode)的组合，分别获取其率失真指标，之后选择最优取值。AV1标准中复合帧的选取共有17种选择：

(LAST_FRAME,LAST2_FRAME),

(LAST_FRAME,LAST3_FRAME),

(LAST_FRAME,GOLDEN_FRAME),

(LAST_FRAME,BWDREF_FRAME),

(LAST_FRAME,ALTREF2_FRAME),

(LAST_FRAME,ALTREF_FRAME),

(LAST2_FRAME,BWDREF_FRAME),

(LAST2_FRAME,ALTREF2_FRAME),

(LAST2_FRAME,ALTREF_FRAME),

(LAST3_FRAME,BWDREF_FRAME),

(LAST3_FRAME,ALTREF2_FRAME),

(LAST3_FRAME,ALTREF_FRAME),

(GOLDEN_FRAME,BWDREF_FRAME),

(GOLDEN_FRAME,ALTREF2_FRAME),

(GOLDEN_FRAME,ALTREF_FRAME),

(BWDREF_FRAME,ALTREF2_FRAME),

(BWDREF_FRAME,ALTREF_FRAME),

对于上述17对复合参考帧中的每一对复合参考帧，均需要采用8种复合运动矢量模式做出率失真评判，其中所述8种复合运动矢量模式包括(NEAREST_NEARESTMV,NEAR_NEARMV,NEAREST_NEWMV,NEW_NEARESTMV,NEAR_NEWMV,NEW_NEARMV,GLOBAL_GLOBALMV,NEW_NEWMV)。因此，对给定视频中的任一图像帧中的任一图像块，共有选择17x8＝136种运动矢量模式需要评判。

参见图4，本发明提供了一种快速多复合帧视频编码方法，是在单一参考帧率失真中寻求规律，最大程度上减少复合帧中率失真评判的复杂度，具体包括如下步骤：

步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i,其中i∈{NEAEST_MV,NEARMV,NEWMV,GLOBAL_MV}，利用率失真准则获取相应的最优参考帧选择：

best_frame(i)＝argmin_{fromek，modei}(D_k+λR_k)

这样的选取，可大大降低复合参考帧的率失真评估复杂度，与此同时，在编码性能上可保持很小的损失，从而获得编码复杂度与编码性能上的最优平衡。在标准JCT-VC测试集中测试，该方法可在典型码率下，提升编码速度8.1％以上。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种快速多复合帧视频编码的方法，其特征在于，包括如下步骤：步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i，其中i为单一参考帧的四种运动矢量模式中的任一个，利用率失真准则获取相应的最优参考帧选择：

best_frame(i)＝argmin_{fromek，modei}(D_k+λR_k)

best_frame(i)表示对于单一参考帧的四种运动矢量模式，基于率失真准则下相应的最优单一参考帧选择；k表示第k个参考帧frame(k)，D_k表示第k个参考帧对应的失真度大小，R_k表示第k个参考帧的编码码率，λ表示拉格朗日乘子；

步骤2，若对于所述四种运动模式，所有的best_frame(i)均取值相同，即任一运动矢量模式下所获取的最优单一参考帧均指向同一参考帧，则所述参考帧记录为最优单一参考帧best_frame_single；

步骤3，在评估复合参考帧时，检测复合参考帧中的两个参考帧是否包含所述最优单一参考帧best_frame_single，如果不包括，则跳过所述复合参考帧的评估；若包括所述最优单一参考帧best_frame_single，则对包含所述最优单一参考帧best_frame_single的复合参考帧做率失真评估。

2.一种快速多复合帧视频编码的装置，包括存储器、处理器，存储器上存储有计算机程序，其特征在于，处理器执行所述程序时实现如权利要求1的步骤。

3.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1的步骤。