CN114286089A - 参考帧的选择方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种参考帧的选择方法、装置、设备及存储介质，属于视频编码领域。该方法包括：获取目标编码单元的m个候选参考帧，目标编码单元是视频帧的多个编码单元中的一个；m为大于1的整数；基于m个候选参考帧的质量评分信息，对m个候选参考帧进行评分；质量评分信息用于指示目标编码单元通过m个候选参考帧进行帧间预测的编码质量；根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧，上述技术方案简化了最优参考帧的确定过程，大大加快了目标编码单元的编码速度。

Description

参考帧的选择方法、装置、设备及介质

技术领域

本申请涉及视频编码领域，特别涉及一种参考帧的选择方法、装置、设备及介质。

背景技术

视频编码是通过对视频进行压缩，以减少视频文件的数据量的技术，例如，帧间编码是利用视频图像帧之间的相关性，对当前视频帧进行压缩编码的技术。

AV1(开放媒体联盟开发的第一代视频编码标准)中的帧间编码包含4种单参考帧预测模式和8种组合参考帧预测模式，在每种单参考帧预测模式下对应有7个参考帧，在每种组合参考帧预测模式下对应有16个参考帧组合。对于帧间编码来说，共对应有28个候选参考帧和128个候选参考帧组合，在每个候选参考帧组合内再进行帧间择优，最终与28个候选参考帧一起进行最优参考帧的抉择。

AV1确定最优参考帧的计算过程十分复杂，导致视频的编码效率低下。

发明内容

本申请提供了一种参考帧的选择方法、装置、设备及介质，能够提高视频编码效率。所述技术方案如下：

根据本申请的一个方面，提供了一种参考帧的选择方法，所述方法包括：

获取目标编码单元的m个候选参考帧，目标编码单元是视频帧的多个编码单元中的一个；m为大于1的整数；

基于m个候选参考帧的质量评分信息，对m个候选参考帧进行评分；质量评分信息用于指示目标编码单元通过m个候选参考帧进行帧间预测的编码质量；

根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧。

根据本申请的另一方面，提供了一种参考帧的选择装置，所述装置包括：

获取模块，用于获取目标编码单元的m个候选参考帧，目标编码单元是视频帧的多个编码单元中的一个；m为大于1的整数；

评分模块，用于基于m个候选参考帧的质量评分信息，对m个候选参考帧进行评分；质量评分信息用于指示目标编码单元通过m个候选参考帧进行帧间预测的编码质量；

筛选模块，用于根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧。

根据本申请的一个方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的参考帧的选择方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上所述的参考帧的选择方法。

根据本申请的另一方面，提供了一种计算机程序产品，计算机程序产品存储有计算机指令，计算机指令存储在计算机可读存储介质中，处理器从计算机可读存储介质读取计算机指令，计算机指令由处理器加载并执行以实现如上所述的参考帧的选择方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过在帧间预测前对m个候选参考帧进行评分，根据评分结果筛选出帧间预测的最优参考帧，避免计算所有的m个候选参考帧进行帧间预测时的率失真代价，简化了最优参考帧的确定过程，大大加快了目标编码单元的编码速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的视频编码框架的示意图；

图2是本申请一个示例性实施例提供的编码单元的分割类型的示意图；

图3是本申请一个示例性实施例提供的方向预测模式的示意图；

图4是本申请一个示例性实施例提供的单参考帧的确定方法的示意图；

图5是本申请一个示例性实施例提供的基于预测运动矢量的帧间预测的流程图；

图6是本申请一个示例性实施例提供的参考帧的选择方法的流程图；

图7是本申请一个示例性实施例提供的计算n个候选参考帧的率失真代价的流程图；

图8是本申请一个示例性实施例提供的目标编码单元和相邻编码单元的位置示意图；

图9是本申请的一个示例性实施例提供的执行目标编码单元的分割类型的顺序示意图；

图10是本申请一个示例性实施例提供的帧群组内部的参考关系示意图；

图11是本申请一个示例性实施例提供的参考帧的选择方法的流程图；

图12是本申请一个示例性实施例提供的参考帧的选择装置的结构框图；

图13是本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为对本申请展开说明，下述先对与本申请有关的相关技术进行介绍。

AV1：开放媒体联盟(Alliance for Open Media，AOM)开发的第一代视频编码标准，AV1保持着传统的编码框架，示意性的，图1是一个正在进行帧间编码的编码框架的示意图。对帧间编码的过程进行下述说明：

首先，将当前帧101分割成若干个大小为128*128的编码树单元(Coding TreeUint,CTU)，每个编码树单元经过深度划分得到多个编码单元(Coding Uint， CU)，然后，对于每个CU进行预测，得到预测值。其中，对每个CU的预测包括帧间预测和帧内预测。在帧间预测中，首先得到当前帧101和参考帧102之间的运动估计(Motion Estimation，ME)，从而基于运动估计得到运动补偿(Motion Compensation，MC)，在MC的基础上得到预测值。预测值与输入数据相减得到残差，将残差进行变换和量化，得到残差系数。将残差系数送入熵编码模块输出码流，同时，残差系数经过逆量化和逆变换后，得到重构图像的残差值，与预测值相加后，得到重构图像，重构图像经过滤波后，得到重建帧103，将重建帧103 放入参考帧队列，作为下一帧的参考帧，从而依次向后编码。

目标编码单元：每个CU包含帧内编码和帧间编码两种预测编码类型。将每种分割类型下的CU在同一预测类型(帧内预测或帧间预测)内，不同预测模式 (见下述对帧内预测和帧间预测的详细说明)间进行比较，找到两种预测类型下分别对应的最优的预测模式，再在不同预测类型间进行比较，找到目标编码单元的最优预测模式；同时对CU做TU变换(Transform Unit，TU)，每个CU对应着多种变换类型，从中找到最优的变换类型。最后将一帧图像分成一个个CU。

在一个实施例中，由CTU深度划分得到目标编码单元存在十种分割类型，示意性的，图2示出了CU分割的类型，NONE类型201、SPLIT类型202、 HORZ类型203、VERT类型204、HORZ_4类型205、HORZ_A类型206、 HORZ_B类型207、VERT_A类型208、VERT_B类型209和VERT_4类型210。编码树单元CTU大小为128*128，CTU按照上述十种分割类型进一步划分为四等份或者二等份或一等份，四等份的子块可以进一步递归划分，将每个子块按照上述除NONE类型之外的九种分割类型进一步划分为更小的单元，直至最后划分得到目标编码单元。可选的，目标编码单元的大小存在以下情况：4*4、4*8、 8*4、8*8、8*16、16*8、16*16、16*32、32*16、32*32、32*64、64*32、64*128、 128*64、128*128、4*16、16*4、8*32、32*8、16*64、64*16。

帧内预测：包括方向预测模式(假设视频帧存在方向性的纹理，沿方向进行预测即可得到表现较好的匹配编码单元)，图3示出了方向预测模式的示意图，在AV1中存在8个主方向和基于8个主方向的偏移方向，8个主方向(203°、水平、157°、135°、113°、垂直、67°和45°)中每个主方向均存在6个偏移角度(±3°、±6°和±9°)，即，方向预测模式共包括56个预测方向。除此之外，帧内编码还包括调色板编码模式和拷贝编码单元编码模式，此处不再展开介绍。

帧间预测：包括NEARESTMV、NEARMV、GLOBALMV和NEWMV 4 种单参考帧预测模式，以及，NEAREST_NEARESTMV、NEAR_NEARMV、N EAREST_NEWMV、NEW_NEARESTMV、NEAR_NEWMV、NEW_NEARMV、 GLOBAL_GLOBALMV和NEW_NEWMV 8种组合参考帧预测模式。

其中，NEARESTMV模式和NEARMV模式是指目标编码单元的运动矢量 (MotionVector，MV)根据周围编码单元的运动矢量推导得到，帧间编码不需要传输运动矢量残差(Motion Vector Difference，MVD)；而NEWMV意味着需要传输MVD，GLOBALMV模式是指预测编码单元的MV信息根据全局运动推导得到。NEARESTMV模式、NEARMV模式和NEWMV模式与目标编码单元的预测运动矢量(Motion Vector Prediction，MVP)推导有关。

目标编码单元的MVP推导：对于给定的参考帧，AV1标准会按照规则计算出4个mvp(此处为AV1协议的内容)。按一定方式跳跃式扫描左边1/3/5列和上方1/3/5行的编码单元，优先选出使用相同参考帧的编码单元，对MV进行去重；在左边1/3/5列和上方1/3/5行的编码单元中不重复的MV数目不足8个的情况下，选出使用同方向参考帧的编码单元，并继续添加MV；在添加后的MV 仍不足8个的情况下，则用全局运动矢量来填充；选出8个MV后，按照重要性进行排序，选出最重要的4个MV。其中第0个MV就是NEARESTMV，第 1～3个对应的是NEARMV。NEWMV使用0～2中的一个MV作为MVP。示意性的，如图4所示，单参考帧内选出4个重要的MV，从上到下为第0个MV、第1个MV、第2个MV、第3个MV。在一个实施例中，在每个单参考帧预测模式下，可选择7个参考帧，如下表1所示。

表1

在4种单参考帧预测模式的每种单参考帧预测模式下均有7个参考帧：分别为LAST_FRAME、LAST2_FRAME、LAST3_FRAME、GOLDEN_FRAME、 BWDREF_FRAME、ALTREF2_FRAME和ALTREF_FRAME。

在8种组合参考帧预测模式下的每种组合参考帧预测模式下均有16个参考帧组合，分别是{LAST_FRAME，ALTREF_FRAME}，{LAST2_FRAME，ALT REF_FRAME}，{LAST3_FRAME，ALTREF_FRAME}，{GOLDEN_FRAME，ALTREF_FRAME}，{LAST_FRAME，BWDREF_FRAME}，{LAST2_FRAME， BWDREF_FRAME}，{LAST3_FRAME，BWDREF_FRAME}，{GOLDEN_FRA ME，BWDREF_FRAME}，{LAST_FRAME，ALTREF2_FRAME}，{LAST2_FR AME，ALTREF2_FRAME}，{LAST3_FRAME，ALTREF2_FRAME}，{GOLDE N_FRAME，ALTREF2_FRAME}，{LAST_FRAME，LAST2_FRAME}，{LAST _FRAME，LAST3_FRAME}，{LAST_FRAME，GOLDEN_FRAME}，{BWDR EF_FRAME，ALTREF_FRAME}。

即，帧间预测下共对应有28(7*4)个候选参考帧和128(16*8)种候选参考帧组合，每个参考帧组合对应最多3种MVP，然后对当前MVP做运动估计 (只有预测模式含有NEWMV，才会做运动估计)、帧间择优、插值方式择优即运动模式择优四个过程。示意性的，图5示出了基于MVP的帧间预测的过程。

步骤501，设置N＝0，获取MVP个数ref_set；

即，设置N的初始值为0，N表示第N个MVP，从而能够对每个MVP进行遍历。

步骤502，N小于ref_set？

当N不小于MVP个数ref_set时，执行步骤510；当N小于ref_set时，执行步骤503。

步骤503，获取MVP，N＝N+1；

获取当前MVP，并执行N＝N+1。

步骤504，预测模式包含NEWMV？

当预测模式包含NEWMV时，执行步骤505；当预测模式不包含NEWMV 时，执行步骤506。

步骤505，运动估计；

对MVP进行运动估计；

步骤506，组合参考帧预测模式？

当预测模式是组合参考帧预测模式时，执行步骤507；当预测模式不是组合参考帧预测模式时，执行步骤508。

步骤507，帧间抉择；

在当前MVP下抉择出表现更好的参考帧。

步骤508，插值方式择优；

在最优MVP下进行插值方式择优。

步骤509，运动模式择优；

在当前MVP下进行运动模式择优。

步骤510，结束。

结束帧间预测。

基于上述相关技术介绍可知，对目标编码单元进行编码的计算量十分庞大，尤其在NEWMV模式下还会做运动估计，使得目标编码单元的编码速度十分缓慢，本申请通过在进行帧间预测前淘汰部分候选参考帧、以及在帧间预测过程中不完全执行预测模式，以加快目标编码单元通过帧间预测进行编码。

接下来对本申请所处的实施环境展开介绍：

可选的，本申请一个示例性实施例提供的参考帧的选择方法应用于终端中，该终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。示意性的，当终端实现为车载终端时，本申请实施例提供的方法可以应用于车载场景中，也即在车载终端上进行参考帧的选择，作为智能交通系统(Intelligent Traffic System，ITS)中的一环。智能交通系统是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。

可选的，本申请一个示例性实施例提供的参考帧的选择方法应用于服务器中，即通过服务器进行参考帧的选择，并将编码后的码流发送至终端或者其他服务器。值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

为减少目标编码单元进行帧间预测编码的计算量，图6示出了本申请一个示例性实施例提供的参考帧的选择方法示意图，以该方法应用于终端举例展开说明，该方法包括：

步骤620，获取目标编码单元的m个候选参考帧；

其中，目标编码单元是视频帧的多个编码单元中的一个，m为大于1的整数。

视频帧基于128*128大小划分得到CTU，并进一步根据如图2所示的CU 分割的类型划分得到目标编码单元(CU)。每个目标编码单元对应有m个候选参考帧。可选的，在AV1协议中每个目标编码单元对应有7个候选参考帧，结合参考表1，7个候选参考帧为：LAST_FRAME(最接近当前帧的前向参考帧)、 LAST2_FRAME(第二接近当前帧的前向参考帧)、LAST3_FRAME(第三接近当前帧的前向参考帧)、GOLDEN_FRAME(长期参考帧)、BWDREF_FRAME (最接近当前帧的后向参考帧)、ALTREF2_FRAME(第二接近当前帧的后向参考帧)、ALTREF_FRAME(第三接近当前帧的后向参考帧)。

在一个实施例中，终端获取目标编码单元的7个候选参考帧。

步骤640，基于m个候选参考帧的质量评分信息，对m个候选参考帧进行评分；

其中，质量评分信息用于指示目标编码单元通过m个候选参考帧进行帧间预测的编码质量。

在上述相关技术介绍中，目标编码单元进行预测编码的过程可以总结如下：在每种分割类型的目标编码单元下，进行帧内预测和帧间预测的择优。在帧间预测下，进行预测模式的择优，帧间预测包括单参考帧预测模式和组合参考帧预测模式，在单参考帧预测模式下包括NEARESTMV、NEARMV、NEWMV和 GLOBALMV四种预测模式，每种预测模式又对应7种候选参考帧(见步骤620)，在组合参考帧预测模式下包括八种组合参考帧预测模式(详见相关技术)，结合 7种候选参考帧，共16种候选参考帧组合。在每种预测模式下，进行候选参考帧(或候选参考帧组合)的择优。

因此，基于上述在帧间预测下的择优，可根据m个候选参考帧的质量评分信息对m个候选参考帧进行评分。在本申请中，质量评分信息可简单总结为6 种质量评分信息：

·相邻编码单元的最优参考帧信息；

·不同分割类型的目标编码单元的最优参考帧信息；

·m个候选参考帧的失真程度信息；

·m个候选参考帧中属于预设参考帧集合的信息；

·先前预测模式下的最优参考帧信息；

·当前帧的候选编码单元信息。

关于上述6种质量评分信息将在下面实施例中一一展开论述。

基于上述6种质量评分信息，终端对m个候选参考帧进行评分。

可选的，终端设置6种质量评分信息的评分权重均相同，如对每个候选参考帧进行每种质量评分统一采用sorce＝sorce[0]+weight[0]的方式进行评分，so rce[0]为候选参考帧的初始评分，每种评分均采用相同的评分权重weight[0]对候选参考帧进行评分；可选的，终端设置6种质量评分信息的评分权重部分相同，如，设置数组weight[6]＝{10，10，15，30，20，5}分别代表6种质量评分信息的评分权重；可选的，终端对6种质量评分信息对应的评分权重完全不同。

可选的，终端设置7个候选参考帧的初始分数均相同，如设置数组sorce[0， 0，0，0，0，0，0]依次为每个候选参考帧评分之前的初始分数；可选的，终端设置7个候选参考帧的初始分数部分相同；可选的，终端设置7个候选参考帧的初始分数完全不同，如设置数组sorce[0，5，10，15，20，25，30]分别代表7 个候选参考帧的初始分数。

值得说明的一点是，m个候选参考帧的评分是基于6种质量评分信息中的部分或全部质量评分信息实现的。

步骤660，根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧。

根据上述对m个候选参考帧进行评分，可得到m个候选参考帧的评分结果，之后根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧。

在一个实施例中，步骤660可以包括以下步骤：

S1：在m个候选参考帧中淘汰评分结果低于评分阈值的候选参考帧，得到 n个候选参考帧；n为大于1的整数，且n小于m；

在一个实施例中，终端根据m个候选参考帧的评分结果，淘汰评分结果低于评分阈值的候选参考帧。可选的，评分阈值是m个候选参考帧的平均评分。

S2：计算n个候选参考帧中的全部或部分候选参考帧在帧间预测时的率失真代价；

终端计算n个候选参考帧在帧间预测时的率失真代价，可选的，终端计算n 个候选参考帧在每一预测模式下的率失真代价。

帧间预测包括k种预测模式。预测模式是基于目标编码单元的预测运动矢量MVP分类得到的；k为大于1的整数；具体关于预测模式的推导详见相关技术中关于目标编码单元的MVP推导。

示意性的，图7示出了本申请一个示例性实施例提供的计算n个候选参考帧的流程图。

步骤701，对n个候选参考帧的评分结果从高到低排序，得到排序结果；

终端对n个候选参考帧的评分结果从高到低排序，得到排序结果。

步骤702，针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测，并计算第j个候选参考帧的率失真代价；

其中，j为正整数，初始j的值为1。

针对第i种预测模式，终端按照n个候选参考帧的排序结果进行帧间预测，并计算候选参考帧对应的率失真代价。

示意性的，计算率失真代价的公式为：

rdcost＝dist+bit×λ；

其中，λ为常数，bit表示比特，dist表示失真，记录目标编码单元的像素值和目标编码单元的预测像素值的差，dist可以由SAD(Sum of Absolute Difference，绝对误差和)、SATD(Sum of Absolute Transformed Difference，绝对变换误差和) 和SSE(The Sumof Squares Dueto Error，由原始像素与重构像素误差的平方和)，中的任意一种计算得到。

步骤703，在第j个候选参考帧的率失真代价低于第i代价阈值的情况下，将j+1更新为j，重新执行步骤：针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测，并计算第j个候选参考帧的率失真代价；

终端按照排序结果进行帧间预测，在第j个候选参考帧的率失真代价低于第 i代价阈值的情况下，终端获取候选参考帧终端认为第j个候选参考帧为表现较好的候选参考帧，之后，终端重新将j+1更新为j，重新执行步骤702。

步骤704，在第j个候选参考帧的率失真代价不低于第i代价阈值的情况下，进行第i+1种预测模式的帧间预测，将j更新为1，将i+1更新为i，重新执行针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测以及计算第 j个候选参考帧的率失真代价的步骤。

终端按照排序结果进行帧间预测，在第j个候选参考帧的率失真代价不低于第i代价阈值的情况下，终端进行第i+1种预测模式的帧间预测，将j更新为1，将i+1更新为i，重新执行针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测以及计算第j个候选参考帧的率失真代价的步骤。

S3：将率失真代价最小的候选参考帧，确定为目标编码单元的最优参考帧。

在第i种预测模式下，终端计算得到率失真代价低于第i代价阈值的候选参考帧的率失真代价，终端将所有预测模式间率失真代价最小的候选参考帧确定为目标编码单元的最优参考帧。

值得说明的一点是，上述步骤S1、S2和S3实际上实现了k种预测模式下每种预测模式的最优参考帧抉择，将不同预测模式下的最优参考帧的率失真代价进行比较，将最小的率失真代价所对应的最优参考帧确定为目标编码单元最终的最优参考帧。

综上所述，上述方法通过在帧间预测前对m个候选参考帧进行评分，根据评分结果筛选出帧间预测的最优参考帧，避免计算所有的m个候选参考帧进行帧间预测时的率失真代价，简化了最优参考帧的确定过程，大大加快了目标编码单元的编码速度。

上述方法还在进行帧间预测时，根据每个预测模式下n个候选参考帧对应的率失真代价是否小于代价阈值，可进一步确定当前候选参考帧是否为最优参考帧。在当前候选参考帧小于代价阈值的情况下，当前候选参考帧进入最优候选参考帧的竞争序列中，在当前候选参考帧不小于代价阈值的情况下进行下一模式的预测，重复上述判断步骤。获取k种预测模式下所有预测模式的最优参考帧，根据所有预测模式的最优参考帧的率失真代价最终确定目标编码单元的最优参考帧。上述方法不需要计算每种预测模式下所有候选参考帧的率失真代价，进一步简化了最优参考帧的确定过程，再次加快目标编码单元的编码速度。

接下来将详细介绍上述基于m个候选参考帧的6种质量评分信息对m个候选编码单元进行评分。

第一种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：在m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将第一候选参考帧的评分确定为第一评分；

其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

示意性的，图8示出了相邻编码单元和目标编码单元的位置示意图，其中E 为目标编码单元，A、B、C、D为相邻编码单元。值得说明的一点是相关技术中提到目标编码单元的大小存在22种可能，且目标编码单元最小为4*4。当执行目标编码单元的编码时，相邻编码单元已拆分为4*4大小的编码单元进行存储，仅需获取如图8所示的A、B、C和D进行判断即可，图8示出的目标编码单元大小为16*16，同理可得其他大小的目标编码单元和相邻编码单元的关系。

在一个实施例中，终端依次判断四个相邻编码单元，如果相邻编码单元是通过帧间预测进行编码，终端获取相邻编码单元对应的最优参考帧。在m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，终端将第一候选参考帧的评分确定为第一评分。

在一个实施例中，四个相邻编码单元对应的最优参考帧完全不同，则将四个相邻编码单元对应的四个候选参考帧分别确定为第一评分；在一个实施例中，四个相邻编码单元中至少两个相邻编码单元对应的最优参考帧为同一候选参考帧，则将该候选参考帧确定为第一候选参考帧，并且将第一候选参考帧的评分确定为第一评分。在一个实施例中，不论四个相邻编码单元对应的最优参考帧是否存在重叠，将四个相邻编码单元对应的最优参考帧均确定为第一评分。

可选的，第一评分的评分权重weight[0]＝10。

示意性的，对四个相邻编码单元对应的最优参考帧进行评分如下：

sorce[ref_A]＝sorce[ref_A]+weight[0]；

sorce[ref_B]＝sorce[ref_B]+weight[0]；

sorce[ref_C]＝sorce[ref_C]+weight[0]；

sorce[ref_D]＝sorce[ref_D]+weight[0]；

ref_A、ref_B、ref_C和ref_D为四个相邻编码单元分别对应的第一候选参考帧，weight[0]为第一评分的评分权重。

第二种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：确定在第1种分割类型至第x-1种分割类型下目标编码单元的最优参考帧；统计m个候选参考帧分别当选为第1种分割类型至第x-1种分割类型下目标编码单元的最优参考帧的次数；基于统计结果，将m个候选参考帧中当选次数超过第一次数阈值的第二候选参考帧的评分确定为第二评分。

其中，目标编码单元可基于p种分割类型得到；当前执行基于第x种分割类型得到的目标编码单元的筛选。

在一个实施例中，每种分割类型对应的最优参考帧可能不同，也可能相同，终端统计相关技术中的十种分割类型分别对应的最优参考帧。

示意性的，图9示出了执行目标编码单元的分割类型的顺序。在一个实施例中，当前目标编码单元执行HORZ_B分割预测901。则在HORZ_B分割类型之前，目标编码单元还执行NONE分割预测、HORZ分割预测、VERT分割预测、SPLIT分割预测和HORZ_A分割预测。终端确定在HORZ_B分割前每种分割类型下目标编码单元的最优参考帧。

示意性的，表2示出了基于第1种分割类型至第x-1种分割类型下，候选参考帧当选为最优参考帧的次数。

表2

参考帧	选中次数
		LAST_FRAME	6
LAST2_FRAME	0
		LAST3_FRAME	1
GOLDEN_FRAME	3
		BWDREF_FRAME	5
ALTREF2_FRAME	2
		ALTREF_FRAME	2

结合参考图9和表2，终端确定在HORZ_B分割前每种分割类型下目标编码单元的最优参考帧；终端统计7个候选参考帧分别当选为HORZ_B分割前的分割类型下目标编码单元的最优参考帧的次数；基于统计结果，终端将7个候选参考帧中当选次数超过第一次数阈值的第二候选参考帧的评分确定为第二评分，可选的，第一次数阈值为4，则终端将LAST_FRAME和BWDREF_FRAM E参考帧的评分确定为第二评分。

可选的，第二评分的评分权重weight[1]＝10。

示意性的，对LAST_FRAME和BWDREF_FRAME评分如下：

sorce[LAST_FRAME]＝sorce[LAST_FRAME]+weight[1]；

sorce[BWDREF_FRAME]＝sorce[BWDREF_FRAME]+weight[1]；

其中，weight[1]为第二评分的评分权重。

第三种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：基于m个候选参考帧的失真程度，将m个候选参考帧中失真程度最小的第三候选参考帧的评分确定为第三评分。

结合参考表1，m个候选参考帧根据参考帧方向分成前向参考帧集群、后向参考帧集群和长期参考帧。即前向参考帧集群包括：LAST_FRAME、 LAST2_FRAME和LAST3_FRAME，后向参考帧集群包括BWDREF_FRAME、 ALTREF2_FRAME和ALTREF_FRAME和长期参考帧GOLDEN_FRAME。

在一个实施例中，第三评分的评分权重weight[2]＝15。

在一个实施例中，终端基于前向参考帧集群中第一前向参考帧的失真程度小于其他前向参考帧的失真程度，且第一前向参考帧的失真程度不大于预设失真程度，将第一前向参考帧的评分确定为第三评分。示意性的，终端对第一前向参考帧的评分方式为：

sorce[ref_list0]＝sorce[ref_list0]+weight[2]；

其中，weight[2]为第三评分的评分权重，ref_list0指示第一前向参考帧。

终端基于后向参考帧集群中第一后向参考帧的失真程度小于其他后向参考帧的失真程度，且第一后向参考帧的失真程度不大于预设失真程度，将第一后向参考帧的评分确定为第三评分。

示意性的，终端对第一后向参考帧的评分方式为：

sorce[ref_list1]＝sorce[ref_list1]+weight[2]；

其中，weight[2]为第三评分的评分权重，ref_list1指示第一后向参考帧。

在长期参考帧的失真程度不等于预设失真程度，且第一前向参考帧的失真程度和第一后向参考帧的失真程度均不大于预设失真程度，且长期参考帧的失真程度小于第一失真阈值的情况下，终端将长期参考帧的评分确定为第三评分；其中，第一失真阈值是第一前向参考帧的失真程度和第一后向参考帧的失真程度的和。

示意性的，终端对长期参考帧的评分方式为：

sorce[GOLDEN_FRAME]＝sorce[GOLDEN_FRAME]+weight[2]；

其中，weight[2]为第三评分的评分权重，GOLDEN_FRAME指示长期参考帧。

在一个实施例中，终端计算候选参考帧的失真程度的方式可以包括以下两种情况：

T1：在m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将相邻编码单元的运动矢量作为目标编码单元的运动矢量；基于目标编码单元的运动矢量，计算第一候选参考帧的失真程度；在第一候选参考帧对应至少两个相邻编码单元的最优参考帧的失真程度的情况下，将最小的失真程度作为第一候选参考帧的失真程度。

其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

结合参考图8，目标编码单元E存在四个相邻编码单元ABCD，且相邻编码单元对应的最优预测类型是帧间预测，则终端获取每个相邻编码单元的运动矢量。终端基于相邻编码单元的运动矢量计算第一候选参考帧的失真程度，示意性的，终端采用公式计算第一候选参考帧的失真程度：

其中，src表示目标编码单元的输入数据，dst表示第一候选参考帧对应运动矢量下的预测数据，sad仅反映残差时域差异，不能有效反映码流的大小。i、j、 m和n为用于定位第一候选参考帧的变量。

可选的，还可通过satd计算第一候选参考帧的失真程度，satd经过hadama rd变换后再绝对值求和，satd也是计算失真的一种方式，是将残差信号进行had amard变换后，再求各元素绝对值之和，相对sad，计算量更复杂但精度也更高。

T2：在m个候选参考帧中存在除第一候选参考帧之外的其他候选参考帧不是相邻编码单元的最优参考帧的情况下，将预设失真程度作为其他候选参考帧的失真程度。

其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

第四种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：基于m个候选参考帧中存在第四候选参考帧属于预设参考帧集合，将第四候选参考帧的评分确定为第四评分；预设参考帧集合包括m个候选参考帧中的至少一个。

在一个实施例中，第四评分的评分权重weight[3]＝30。

在一个实施例中，开发人员在m个候选参考帧中挑选出至少一个候选参考帧组成预设参考帧集合，在进行帧间预测时，将m个候选参考帧中属于预设参考帧集合的候选参考帧的评分确定为第四评分。开发人员可根据偏爱程度从m 个候选参考帧中挑选组成预设参考帧集合。本申请对预设参考帧集合的组成方式不加以限定。

示意性的，通过以下公式进行第四评分：

sorce＝sorce+weight[3]；

其中，weight[3]是第四评分的评分权重。

第五种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：确定在第1种预测模式至第i-1种预测模式下目标编码单元的最优参考帧；统计m个候选参考帧分别当选为第1种预测模式至第i-1种预测模式下目标编码单元的最优参考帧的次数；基于统计结果，将m个候选参考帧中当选次数超过第二次数阈值的第五候选参考帧的评分确定为第五评分。

帧间预测包括k种预测模式，当前执行第i种预测模式下的帧间预测。

在一个实施例中，当前执行的预测模式为NEWMV模式，且目标编码单元已执行NEARESTMV模式、NEARMV模式和GLOBALMV模式，则终端确定 NEARESTMV模式、NEARMV模式和GLOBALMV模式下目标编码单元的最优参考帧；终端进一步统计m个候选参考帧分别当选为NEARESTMV模式、N EARMV模式和GLOBALMV模式下目标编码单元的最优参考帧的次数；基于统计结果，终端将m个候选参考帧中当选次数超过第二次数阈值的第五候选参考帧的评分确定为第五评分。可选的，第二次数阈值为0或1或2。

在一个实施例中，第五评分的评分权重weight[4]＝20。

示意性的，终端对第五候选参考帧的评分方式如下：

sorce[nearestmv_best_ref]＝sorce[nearestmv_best_ref]+weight[4]；

sorce[nearmv_best_ref]＝sorce[nearmv_best_ref]+weight[4]；

sorce[globalmv_best_ref]＝sorce[globalmv_best_ref+weight[4]；

其中，nearestmv_best_ref是NEARESTMV模式的最优参考帧、nearmv_bes t_ref是NEARMV模式的最优参考帧、globalmv_best_ref是GLOBALMV模式的最优参考帧，weight[4]是第五评分的评分权重。

第六种可能的实现方式：基于图6所示的实施例中，步骤640可以替换为：基于目标编码单元所在的当前帧的候选编码单元的数量小于第一数量阈值，将 m个候选参考帧中最近前向参考帧、最远后向参考帧和长期参考帧的评分确定为第六评分；

其中，候选编码单元用于提供目标编码单元的运动矢量，第一数量阈值与目标编码单元所在的当前帧的帧类型相对应，帧类型是基于当前帧所在的帧群组内部的参考关系划分的。

候选编码单元用于提供目标编码单元的运动矢量，可选的，候选编码单元包括目标编码单元的相邻编码单元和采用其他分割类型得到的编码单元。

示意性的，图10示出了本申请一个示例性实施例提供的帧群组内部的参考关系示意图。由图10可得，poc16参考poc0；poc8参考poc0和poc16；poc4参考poc0和poc8；poc2参考poc0和poc4；而poc1、poc3、poc5、poc7、poc9、 poc11、poc13和poc15不被参考。

在一个实施例中，对上述帧群组内部的参考关系可将17帧划分为不同的帧类型，表3示出了帧群组内各个帧的帧类型。

表3

其中，表3所示的权重等级依次为0-5，针对不同的权重等级，可为每一权重等级内的视频帧设置第一数量阈值。示意性的，用thr表示第一数量阈值，thr ＝param[slice_level]；param表示视频帧内目标编码单元的候选编码单元个数，示意性的，param[6]＝{5，5，5，5，4，4}，本申请实施例对param的取值不加以限定。

当目标编码单元所在的当前帧的候选编码单元的数量小于第一数量阈值，将m个候选参考帧中最近前向参考帧(LAST_FRAME)、最近后向参考帧 (BWDREF_FRAME)和最远后向参考帧(ALTREF_FRAME)的评分确定为第六评分。

在一个实施例中，第六评分的评分权重weight[5]＝5。

示意性的，终端对最近前向参考帧、最近后向参考帧和最远后向参考帧进行评分的方式如下：

sorce[LAST_FRAME]＝sorce[LAST_FRAME]+weight[5]；

sorce[BWDREF_FRAME]＝sorce[BWDREF_FRAME]+weight[5]；

sorce[ALTREF_FRAME]＝sorce[ALTREF_FRAME]+weight[5]；

其中，weight[5]为第六评分的评分权重。

在一个实施例中，基于图6的实施例中，步骤640可以替换为：基于m个候选参考帧中进行评分的候选参考帧的q个质量评分信息，对进行评分的候选参考帧进行q次评分，得到q个评分结果；通过对q个评分结果的求和，得到进行评分的候选参考帧的最终评分，q为正整数。

示意性的，通过以下公式计算每个进行评分的候选参考帧的最终评分：

sorce＝sorce[0]+weight[0]+weight[1]+weight[2]+…+weight[q-1]；

其中，sorce[0]为进行评分的候选参考帧的初始分数，weight[0]至weight[q- 1]表示q个质量评分信息分别对应的的评分权重。

可以理解的是，上述进行评分的候选参考帧为m个候选参考帧的至少一个，相应地，m个候选参考帧中也可能存在候选参考帧不进行评分。

值得说明的一点是，在同一评分方式下，可能存在同一候选参考帧被多次选中的情况，则终端可根据同一候选参考帧在同一评分方式下被选中的次数，进行相应次数的评分。

例如，在第五种可能的实现方式下，目标编码单元在nearestmv_best_ref、nearmv_best_ref和globalmv_best_ref模式下可能存在同一候选参考帧被多次认定为最优参考帧，则可以根据同一候选参考帧被认定为最优参考帧的次数对该候选参考帧进行相应次数的第五评分。

值得说明的另一点是，上述第一种可能的实现方式至第六种可能的实现方式为不同的评分方式，本申请对具体运用六种评分方式的种类数、顺序和评分权重并不加以限定，即在具体实现时针对同一个候选参考帧可以采用六种评分方式中的部分或全部评分方式，可以采用任意顺序执行六种评分方式，可以设置六种评分方式的评分数值大小完全相同或部分相同或完全不同，本申请对六种评分方式的评分数值大小并不加以限定。

综上所述，根据上述第一个实施例至第六个实施例，质量评分信息可简单总结为6种质量评分信息：相邻编码单元的最优参考帧信息、不同分割类型的目标编码单元的最优参考帧信息、m个候选参考帧的失真程度信息、m个候选参考帧中属于预设参考帧集合的信息、先前预测模式下的最优参考帧信息、当前帧的候选编码单元信息，目标编码单元根据六种质量评分信息完成对m个候选参考帧的评分，上述方法提供了具体的打分的信息来源，实现了对最优参考帧的确定过程的简化，还加快了目标编码单元的编码速度。

在一个实施例中，基于图6所示的实施例中，步骤660可以替换为图11 所示的步骤，图11示出了本申请一个示例性实施例提供的参考帧的选择方法，该方法包括：

步骤1101，根据候选参考帧分值淘汰分值低的候选参考帧；

终端根据m个候选参考帧的分值从高到低进行排序，并计算m个候选参考帧分数的平均值，将得分低于平均值的参考帧淘汰，即被淘汰参考帧不做预测，将被淘汰的分值最高的一个候选参考帧记为第ref_num个候选参考帧。

步骤1102，初始i的值为0；

终端设置m个候选参考帧淘汰后的候选参考帧中第i个候选参考帧初始i 的值为0；

步骤1103，i小于ref_num？

终端判断i是否小于ref_num，若i小于ref_num，则执行步骤1104；若i 不小于ref_num，则执行步骤1109。

步骤1104，获取当前模式的候选参考帧；

终端获取当前模式的候选参考帧。

步骤1105，对当前候选参考帧进行帧间预测；

终端对当前候选参考帧进行帧间预测。

步骤1106，计算当前候选参考帧的率失真代价；

终端计算当前候选参考帧的率失真代价。

步骤1107，当前候选参考帧的率失真代价小于率失真代价阈值？

率失真代价阈值是开发人员设置的阈值，若当前候选参考帧的率失真代价小于率失真代价阈值，执行步骤1108；若当前候选参考帧的率失真代价不小于率失真代价阈值，则执行步骤1109。

步骤1108，i＝i+1；

终端将i+1更新为i，之后执行步骤1103。

步骤1109，在下一个预测模式进行预测；

终端进行下一个预测模式的预测。

图12示出了本申请一个示例性实施例提供的参考帧的选择装置的结构框图，该装置包括：

获取模块1201，用于获取目标编码单元的m个候选参考帧，目标编码单元是视频帧的多个编码单元中的一个；m为大于1的整数；

评分模块1202，用于基于m个候选参考帧的质量评分信息，对m个候选参考帧进行评分；质量评分信息用于指示目标编码单元通过m个候选参考帧进行帧间预测的编码质量；

筛选模块1203，用于根据m个候选参考帧的评分结果，筛选出目标编码单元的最优参考帧。

在一个实施例中，筛选模块1203还用于在m个候选参考帧中淘汰评分结果低于评分阈值的候选参考帧，得到n个候选参考帧；n为大于1的整数，且n小于m。

在一个实施例中，筛选模块1203还用于计算n个候选参考帧在帧间预测时的率失真代价；

在一个实施例中，筛选模块1203还用于将率失真代价最小的候选参考帧，确定为目标编码单元的最优参考帧。

在一个实施例中，帧间预测包括k种预测模式；预测模式是基于目标编码单元的预测运动矢量分类得到的；k为大于1的整数。

在一个实施例中，筛选模块1203还用于对n个候选参考帧的评分结果从高到低排序。

在一个实施例中，筛选模块1203还用于针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测，并计算第j个候选参考帧的率失真代价； j为正整数；初始j的值为1。

在一个实施例中，筛选模块1203还用于在第j个候选参考帧的率失真代价低于第i代价阈值的情况下，将j+1更新为j，重新执行针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测，并计算第j个候选参考帧的率失真代价的步骤。

在一个实施例中，筛选模块1203还用于在第j个候选参考帧的率失真代价不低于第i代价阈值的情况下，进行第i+1种预测模式的帧间预测，将j更新为 1，将i+1更新为i，重新执行针对第i种预测模式，基于排序结果对第j个候选参考帧进行帧间预测以及计算第j个候选参考帧的率失真代价的步骤。

在一个实施例中，评分模块1202还用于在m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将第一候选参考帧的评分确定为第一评分；其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

在一个实施例中，目标编码单元基于p种分割类型得到；装置当前用于对第x种分割类型得到的目标编码单元进行编码。

在一个实施例中，评分模块1202还用于确定在第1种分割类型至第x-1种分割类型下目标编码单元的最优参考帧。

在一个实施例中，评分模块1202还用于统计m个候选参考帧分别当选为第 1种分割类型至第x-1种分割类型下目标编码单元的最优参考帧的次数。

在一个实施例中，评分模块1202还用于基于统计结果，将m个候选参考帧中当选次数超过第一次数阈值的第二候选参考帧的评分确定为第二评分。

在一个实施例中，评分模块1202还用于基于m个候选参考帧的失真程度，将m个候选参考帧中失真程度最小的第三候选参考帧的评分确定为第三评分。

在一个实施例中，m个候选参考帧根据参考帧方向分为前向参考帧集群、后向参考帧集群和长期参考帧。

在一个实施例中，评分模块1202还用于基于前向参考帧集群中第一前向参考帧的失真程度小于其他前向参考帧的失真程度，且第一前向参考帧的失真程度不大于预设失真程度，将第一前向参考帧的评分确定为第三评分。

在一个实施例中，评分模块1202还用于基于后向参考帧集群中第一后向参考帧的失真程度小于其他后向参考帧的失真程度，且第一后向参考帧的失真程度不大于预设失真程度，将第一后向参考帧的评分确定为第三评分。

在一个实施例中，评分模块1202还用于在长期参考帧的失真程度不等于预设失真程度，且第一前向参考帧的失真程度和第一后向参考帧的失真程度均不大于预设失真程度，且长期参考帧的失真程度小于第一失真阈值的情况下，将长期参考帧的评分确定为第三评分；其中，第一失真阈值是第一前向参考帧的失真程度和第一后向参考帧的失真程度的和。

在一个实施例中，评分模块1202还用于在m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将相邻编码单元的运动矢量作为目标编码单元的运动矢量。

在一个实施例中，评分模块1202还用于基于目标编码单元的运动矢量，计算第一候选参考帧的失真程度。

在一个实施例中，评分模块1202还用于在第一候选参考帧对应至少两个相邻编码单元的最优参考帧的失真程度的情况下，将最小的失真程度作为第一候选参考帧的失真程度。其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

在一个实施例中，评分模块1202还用于在m个候选参考帧中存在除第一候选参考帧之外的其他候选参考帧不是相邻编码单元的最优参考帧的情况下，将预设失真程度作为其他候选参考帧的失真程度；其中，相邻编码单元是视频帧中采用帧间预测进行编码的编码单元，且相邻编码单元与目标编码单元相邻。

在一个实施例中，评分模块1202还用于基于m个候选参考帧中存在第四候选参考帧属于预设参考帧集合，将第四候选参考帧的评分确定为第四评分；预设参考帧集合包括m个候选参考帧中的至少一个。

在一个实施例中，帧间预测包括k种预测模式，当前装置用于在第i种预测模式下进行帧间预测。

在一个实施例中，评分模块1202还用于确定在第1种预测模式至第i-1种预测模式下目标编码单元的最优参考帧。

在一个实施例中，评分模块1202还用于统计m个候选参考帧分别当选为第 1种预测模式至第i-1种预测模式下目标编码单元的最优参考帧的次数。

在一个实施例中，评分模块1202还用于基于统计结果，将m个候选参考帧中当选次数超过第二次数阈值的第五候选参考帧的评分确定为第五评分。

在一个实施例中，评分模块1202还用于基于目标编码单元所在的当前帧的候选编码单元的数量小于第一数量阈值，将m个候选参考帧中最近前向参考帧、最近后向参考帧和最远后向参考帧的评分确定为第六评分。其中，候选编码单元用于提供目标编码单元的运动矢量，第一数量阈值与目标编码单元所在的当前帧的帧类型相对应，帧类型是基于当前帧所在的帧群组内部的参考关系划分的。

在一个实施例中，评分模块1202还用于基于m个候选参考帧中进行评分的候选参考帧的q个质量评分信息，对进行评分的候选参考帧进行q次评分，得到q个评分结果；通过对q个评分结果的求和，得到进行评分的候选参考帧的最终评分，q为正整数。

需要说明的是：上述实施例提供的参考帧的选择装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的参考帧的选择装置，与参考帧的选择方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

综上所述，本实施例提供的装置，通过在帧间预测前对m个候选参考帧进行评分，根据评分结果筛选出帧间预测的最优参考帧，避免计算所有的m个候选参考帧进行帧间预测时的率失真代价，简化了最优参考帧的确定过程，大大加快了目标编码单元的编码速度。

图13示出了本申请一个示例性实施例提供的计算机设备1300的结构框图。该计算机设备1300可以是便携式移动终端，比如：智能手机、平板电脑、MP3 播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、 FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的参考帧的选择方法。

在一些实施例中，计算机设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。

外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、 3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置在计算机设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在计算机设备1300的不同表面或呈折叠设计；在另一些实施例中，显示屏1305可以是柔性显示屏，设置在计算机设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR (Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路 1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307 还可以包括耳机插孔。

定位组件1308用于定位计算机设备1300的当前地理位置，以实现导航或 LBS(Location Based Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1309用于为计算机设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。

加速度传感器1311可以检测以计算机设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1312可以检测计算机设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对计算机设备1300的 3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1313以设置在计算机设备1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在计算机设备1300的侧边框时，可以检测用户对计算机设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时，由处理器1301根据用户对显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1314 采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置在计算机设备1300的正面、背面或侧面。当计算机设备1300上设置有物理按键或厂商Logo时，指纹传感器 1314可以与物理按键或厂商Logo集成在一起。

光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制显示屏1305的显示亮度。具体地，当环境光强度较高时，调高显示屏1305的显示亮度；当环境光强度较低时，调低显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。

接近传感器1316，也称距离传感器，通常设置在计算机设备1300的前面板。接近传感器1316用于采集用户与计算机设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变小时，由处理器1301控制显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变大时，由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图13中示出的结构并不构成对计算机设备1300 的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法实施例提供的参考帧的选择方法。

本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例提供的参考帧的选择方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种参考帧的选择方法，其特征在于，所述方法包括：

获取目标编码单元的m个候选参考帧，所述目标编码单元是视频帧的多个编码单元中的一个，m为大于1的整数；

基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分；所述质量评分信息用于指示所述目标编码单元通过所述候选参考帧进行帧间预测的编码质量；

根据所述m个候选参考帧的评分结果，筛选出所述目标编码单元的最优参考帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述m个候选参考帧的评分结果，筛选出所述目标编码单元的最优参考帧，包括：

在所述m个候选参考帧中淘汰所述评分结果低于评分阈值的候选参考帧，得到n个候选参考帧；n为大于1的整数，且n小于m；

计算所述n个候选参考帧中全部或部分候选参考帧在帧间预测时的率失真代价；

将所述率失真代价最小的候选参考帧，确定为所述目标编码单元的最优参考帧。

3.根据权利要求2所述的方法，其特征在于，所述帧间预测包括k种预测模式；所述预测模式是基于所述目标编码单元的预测运动矢量分类得到的；k为大于1的整数；

所述计算所述n个候选参考帧中全部或部分候选参考帧在帧间预测时的率失真代价，包括：

对所述n个候选参考帧的评分结果从高到低排序，得到排序结果；

针对第i种预测模式，基于所述排序结果对第j个候选参考帧进行帧间预测，以及计算所述第j个候选参考帧的率失真代价；j为正整数；初始j的值为1；

在所述第j个候选参考帧的率失真代价低于第i代价阈值的情况下，将j+1更新为j，重新执行所述针对第i种预测模式，基于所述排序结果对第j个候选参考帧进行帧间预测，以及计算所述第j个候选参考帧的率失真代价的步骤；

在所述第j个候选参考帧的率失真代价不低于第i代价阈值的情况下，进行第i+1种预测模式的帧间预测，将j更新为1，将i+1更新为i，重新执行所述针对第i种预测模式，基于所述排序结果对第j个候选参考帧进行帧间预测，以及计算所述第j个候选参考帧的率失真代价的步骤。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

在所述m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将所述第一候选参考帧的评分确定为第一评分；

其中，所述相邻编码单元是所述视频帧中采用帧间预测进行编码的编码单元，且所述相邻编码单元与所述目标编码单元相邻。

5.根据权利要求1至3任一所述的方法，其特征在于，所述目标编码单元基于p种分割类型得到；所述方法应用于第x种分割类型得到的目标编码单元进行编码；p为大于1的整数；x为正整数，x小于p；

所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

确定在第1种分割类型至第x-1种分割类型下，所述目标编码单元的最优参考帧；

统计所述m个候选参考帧分别当选为所述第1种分割类型至所述第x-1种分割类型下所述目标编码单元的最优参考帧的次数；

基于统计结果，将所述m个候选参考帧中当选次数超过第一次数阈值的第二候选参考帧的评分确定为第二评分。

6.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

基于所述m个候选参考帧的失真程度，将所述m个候选参考帧中所述失真程度最小的第三候选参考帧的评分确定为第三评分。

7.根据权利要求6所述的方法，其特征在于，所述m个候选参考帧根据参考帧方向分为前向参考帧集群、后向参考帧集群和长期参考帧；

所述基于所述m个候选参考帧的失真程度，将所述m个候选参考帧中所述失真程度最小的第三候选参考帧的评分确定为第三评分，包括如下至少一种：

基于所述前向参考帧集群中第一前向参考帧的失真程度小于其他前向参考帧的失真程度，且所述第一前向参考帧的失真程度不大于预设失真程度，将所述第一前向参考帧的评分确定为所述第三评分；

基于所述后向参考帧集群中第一后向参考帧的失真程度小于其他后向参考帧的失真程度，且所述第一后向参考帧的失真程度不大于所述预设失真程度，将所述第一后向参考帧的评分确定为所述第三评分；

在所述长期参考帧的失真程度不等于所述预设失真程度，且所述第一前向参考帧的失真程度和所述第一后向参考帧的失真程度均不大于所述预设失真程度，且所述长期参考帧的失真程度小于第一失真阈值的情况下，将所述长期参考帧的评分确定为所述第三评分；其中，所述第一失真阈值是所述第一前向参考帧的失真程度和所述第一后向参考帧的失真程度的和。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述m个候选参考帧中存在第一候选参考帧是相邻编码单元的最优参考帧的情况下，将所述相邻编码单元的运动矢量作为所述目标编码单元的运动矢量；

基于所述目标编码单元的运动矢量，计算所述第一候选参考帧的失真程度；

在所述第一候选参考帧对应至少两个所述相邻编码单元的最优参考帧的失真程度的情况下，将最小的失真程度作为所述第一候选参考帧的失真程度；

其中，所述相邻编码单元是所述视频帧中采用帧间预测进行编码的编码单元，且所述相邻编码单元与所述目标编码单元相邻。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述m个候选参考帧中存在除第一候选参考帧之外的其他候选参考帧不是相邻编码单元的最优参考帧的情况下，将预设失真程度作为所述其他候选参考帧的失真程度；

其中，所述相邻编码单元是所述视频帧中采用帧间预测进行编码的编码单元，且所述相邻编码单元与所述目标编码单元相邻。

10.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

基于所述m个候选参考帧中存在第四候选参考帧属于预设参考帧集合，将所述第四候选参考帧的评分确定为第四评分；所述预设参考帧集合包括所述m个候选参考帧中的至少一个。

11.根据权利要求1至3任一所述的方法，其特征在于，所述帧间预测包括k种预测模式，所述方法应用于在第i种预测模式下进行帧间预测；

所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

确定在第1种预测模式至第i-1种预测模式下所述目标编码单元的最优参考帧；

统计所述m个候选参考帧分别当选为所述第1种预测模式至第i-1种预测模式下所述目标编码单元的最优参考帧的次数；

基于统计结果，将所述m个候选参考帧中当选次数超过第二次数阈值的第五候选参考帧的评分确定为第五评分。

12.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

基于所述目标编码单元所在的当前帧的候选编码单元的数量小于第一数量阈值，将所述m个候选参考帧中最近前向参考帧、最近后向参考帧和最远后向参考帧的评分确定为第六评分；

其中，所述候选编码单元用于提供所述目标编码单元的运动矢量，所述第一数量阈值与所述目标编码单元所在的当前帧的帧类型相对应，所述帧类型是基于所述当前帧所在的帧群组内部的参考关系划分的。

13.根据权利要求1所述的方法，其特征在于，所述基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分，包括：

基于所述m个候选参考帧中进行评分的候选参考帧的q个质量评分信息，对所述进行评分的候选参考帧进行q次评分，得到q个评分结果；通过对所述q个评分结果的求和，得到所述进行评分的候选参考帧的最终评分，q为正整数。

14.一种参考帧的选择装置，其特征在于，所述装置包括：

获取模块，用于获取目标编码单元的m个候选参考帧，所述目标编码单元是视频帧的多个编码单元中的一个，m为大于1的整数；

评分模块，用于基于所述m个候选参考帧的质量评分信息，对所述m个候选参考帧进行评分；所述质量评分信息用于指示所述目标编码单元通过所述候选参考帧进行帧间预测的编码质量；

筛选模块，用于根据所述m个候选参考帧的评分结果，筛选出所述目标编码单元的最优参考帧。

15.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至13任一所述的参考帧的选择方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至13任一所述的参考帧的选择方法。

17.一种计算机程序产品，其特征在于，所述计算机程序产品存储有至少一条计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取所述计算机指令，所述计算机指令由所述处理器加载并执行以实现如权利要求1至13任一所述的参考帧的选择方法。

Images