CN109905702B

CN109905702B - 一种视频编码中参考信息确定的方法、装置及存储介质

Info

Publication number: CN109905702B
Application number: CN201711309492.2A
Authority: CN
Inventors: 张宏顺
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2021-12-21
Anticipated expiration: 2037-12-11
Also published as: CN109905702A

Abstract

本申请公开了一种视频编码中参考信息确定的方法，包括：获取待编码的图像块，图像块中包括图像子块，根据图像块的已编码相邻图像块以及图像块的图像子块，分别确定出各种分割模式下图像块中所包含的各个PU的参考帧的信息；根据各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到各分割模式下PU的最优率失真代价；根据各分割模式下PU的最优率失真代价，确定最小的率失真代价所对应的分割模式，及该模式下参考帧信息，及该参考帧下的运动估计信息。本申请实施例可以在预测过程中减少参考帧的计算量，提高了编码效率。

Description

一种视频编码中参考信息确定的方法、装置及存储介质

技术领域

本申请涉及编码技术领域，具体涉及一种视频编码中参考信息确定的方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着网络视频的发展，视频编码越来越趋向于高清晰度，高帧率，高压缩率，现在普及的H.264压缩方式，在原理上存在一定的局限性，不能适应未来的需求，因此高效视频编码(high efficiency video coding，HEVC)应运而生。

HEVC编码过程中会涉及到图像块，也可以称为编码单元(code unit，CU)，还会涉及到预测单元(predict unit，PU)，PU就是在CU上做不同方式的分割所形成的图像块，分割方式如可以包括2Nx2N、Nx2N和2NxN等。

编码过程中会涉及到三种类型的帧，分别为I帧、P帧和B帧，I帧是关键帧，I帧中包括编码图像的全部信息，解码时只需要本帧数据就可以完成图像重构。P帧表示这一帧跟参考帧的差别，解码时需要用参考帧的画面叠加上本帧定义的差别，才能实现图像重构。B帧是双向差别帧，也就是B帧记录的是本帧与前后参考帧的差别。因为P帧和B帧都需要参考帧，所以目前是通过参考帧管理列表来管理参考帧，list0用于记录前向的参考帧，list1用于记录后向的参考帧，如果是P帧，则使用list0，如果是B帧，则使用list0和list1。list0和list1都包括多个参考帧。

在编码过程中针对CU会进行预测，预测过程中会对每种类型的预测单元(predictunit，PU)做一次预测，预测时会根据帧的类型对list0和list1中的所有参考帧做一次计算，这样导致编码过程中的计算量非常大，降低了编码的速度。

发明内容

为解决现有技术中编码的预测过程中对所有参考帧都要计算一次，导致计算量过大，编码速度低下的问题，本申请实施例提供一种视频编码中参考信息确定的方法，可以通过已编码相邻图像块和CU中的图像子块确定需要参与计算的参考帧的信息，不需要对参考帧列表中的每个参考帧都做一次计算，从而减少了编码过程中的计算量，提高了编码效率。本申请实施例还提供了相应的装置、计算机设备及计算机可读存储介质。

本申请第一方面提供一种视频编码中参考信息确定的方法，包括：

获取待编码的图像块，所述图像块中包括图像子块，所述图像块为编码单元CU；

根据所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息；

根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息；

根据各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价；

根据所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息。

本申请第二方面提供一种视频编码中参考信息确定的装置，包括：

获取程序模块，用于获取待编码的图像块，所述图像块中包括图像子块，所述图像块为编码单元CU；

第一确定程序模块，用于根据所述获取程序模块获取的所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息；

第二确定程序模块，用于根据所述获取程序模块获取的图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息；

预测程序模块，用于根据所述第一确定程序模块和所述第二确定程序模块确定各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价；

第三确定程序模块，用于根据所述预测程序模块预测的所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息。

本申请第三方面提供一种计算机设备，所述计算机设备包括：输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；

所述处理器用于执行存储器中存储的程序指令，执行如第一方面所述的方法。

本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

与现有技术在做编码预测时参考帧列表中的所有参考帧都要计算一遍相比，本申请实施例中利用图像块的相邻已编码图像块和图像块的图像子块来确定不同分割方式的PU的参考帧的信息，根据该PU的参考帧的信息从参考帧列表中选择相应的参考帧进行预测，不需要逐个参考帧计算，从而提高了编码效率。

附图说明

图1是视频处理过程的一场景示例示意图；

图2是HEVC编码框架的组成结构示意图；

图3是本申请实施例中视频编码中参考信息确定的方法的一实施例示意图；

图4是本申请实施例中CU与SubCU的关系示例示意图；

图5是本申请实施例中CU与相邻CU的关系示意图；

图6是本申请实施例中CU的不同分割模式的示例示意图；

图7是本申请实施例中视频编码中参考信息确定的方法的另一实施例示意图；

图8是本申请实施例中视频编码中参考信息确定的方法的另一实施例示意图；

图9是本申请实施例中视频编码中参考信息确定的装置的一实施例示意图；

图10是本申请实施例中计算机设备的一实施例示意图。

具体实施方式

下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请实施例提供一种视频编码中参考信息确定的方法，可以通过已编码相邻图像块和CU中的图像子块确定需要参与计算的参考帧的信息，不需要对参考帧列表中的每个参考帧都做一次计算，从而减少了编码过程中的计算量，提高了编码效率。本申请实施例还提供了相应的装置、计算机设备及计算机可读存储介质。以下分别进行详细说明。

本申请实施例所提供的视频编码中参考信息确定的方法应用于编码器，该编码器可以包含于计算机设备，本申请实施例中的计算机设备可以包括台式计算机、移动计算装置、笔记本计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台和车载计算机等。

下面结合图1介绍与视频编码相关的一应用场景。

如图1所示的网络中包括终端设备10A、终端设备10B、网络20和服务器30，其中，终端设备10A和终端设备10B通过网络20与服务器30通信连接。

图1中，使用终端设备10A的用户要将正在观看的一段视频推送给终端设备10B。则该场景中，终端设备10A相当于编码端，终端设备10B相当于解码端。终端设备10A需要将该视频进行编码以得到编码后的视频流，终端设备10A将该视频流上传给服务器30，服务器30再将该视频流转发给终端设备10B，终端设备10B对该视频流进行解码，以实现该视频在终端上合并10B上的正常播放。

关于视频编码的过程下面结合图2所示的HEVC编码框架的组成结构示意图进行描述。

如图2所示，在HEVC的编码过程中，一帧图像从帧缓存中读取之后送入到编码器，先经过帧内或帧间预测之后得到预测值，其中，帧内预测是参考周围像素来插值出预测像素，参考的是空域上信息，帧间预测是从参考帧中找出与当前块最匹配的位置，参考的是时域上信息，帧间预测可包括:运动估计(Motion Estimation，ME)和运动补偿(MotionCompensation，MC)。在得到预测值之后，将预测值与输入数据相减，得到残差，然后进行离散余弦变换(Discrete Cosine Transform，DCT)变化和量化，得到残差系数，然后送入熵编码模块输出码流，同时，残差系数经反量化反变换之后，得到重构图像的残差值，再和帧内或者帧间的预测值相加，从而得到了重构图像，重构图像再经环内滤波之后，进入参考帧队列，作为下一帧的参考图像，从而一帧帧向后编码。其中，环内滤波可包括去块滤波(Deblocking Filter，DBF)和自适应像素补偿(Sample Adaptive Offset，SAO)。

在HEVC编码中，由于分割更细致，方向也更多，因此计算量非常大，其中，帧间预测和帧间部分的熵编码通常占了整个计算量的90％左右，帧内预测和帧内部分的熵编码占有8％，SAO和DB共占不到1％。而帧间预测中，PU预测过程中的参考帧循环计算部分就占了整个计算量的40％左右，而且比重随着参考帧个数增加而增加，这样无疑会导致编码效率降低。因此，本申请实施例提供了一种视频编码中参考信息确定的方法，解决了上述问题，提高了编码效率。

如图3所示，本申请实施例提供的视频编码中参考信息确定的方法的一实施例包括：

101、获取待编码的图像块，所述图像块中包括图像子块，所述图像块为编码单元CU。

一帧图像会包含多个CU，不同深度的CU尺寸也不同，通常，深度为0时，CU的大小为64×64；深度为1时，CU的大小为32×32；深度为2时，CU的大小为16×16；深度为3时，CU的大小为8×8；图像的单位为像素。

一个图像块中可以包括4个图像子块，图像子块可以用SubCU表示。CU与SubCU之间的关系可以参阅图4进行理解，若CU的大小为16×16，则可以包含4个8×8的SubCU。若CU的大小为8×8，则可以包含4个4×4的SubCU。4个SubCU可以按照图4中所示的方式进行编号，则四个SubCU分别为SubCU0、SubCU1、SubCU2和SubCU3。

102、根据所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息。

2N×2N分割模式可以参阅图4中没有包含SubCU的CU进行理解，对于一帧图像会包括多个CU，在同一帧内相邻的CU之间的差距非常小，相邻的CU可以参阅图5所示的位置关系进行理解。其中，当前CU为待编码的图像块，围绕在该当前CU周围的左上CU、左CU、左下CU、正上CU、正下CU、右上CU、右CU和右下CU都可以视为该当前CU的相邻CU，但不一定相邻CU都完成了编码，如果有至少两个完成了编码，可以该至少两个为相邻CU，如：若左上CU和左CU都完成了编码，则左上CU和左CU为相邻CU。

参考帧的信息可以包括参考帧的方向和索引。

参考帧的方向包括前向、后向和双向三个方向，可以用1表示前向、2表示后向，3表示双向，双向即前向和后向都有。

参考帧的索引用于在参考帧列表中查找参考帧。参考帧列表中会包括多个参考帧，参考帧列表中的参考帧可以按照进入时间顺序排列编号。该编号可以为参考帧的索引，当然，索引不限于编号这一种形式。

该步骤102所述根据所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息，可以包括：

使用所述已编码相邻图像块参考帧的信息，对所述CU进行merge模式预测，以得到merge模式预测的结果，所述merge模式预测的结果为所述已编码相邻图像块中率失真代价最小的参考帧的信息；

将所述merge模式预测的结果确定为所述2N×2N分割模式下所述PU的参考帧的信息。

本申请实施例中的参考帧的信息还可以称之为模板，因为在做2Nx2N帧间预测时，其4个子块还没做，因此没有4个子块的信息，该情况下，取相邻已编码的CU的参考帧的信息来构造模板。而在2Nx2N帧间预测之前，merge 2Nx2N已经预测，且merge模式预测的结果为所述已编码相邻图像块中率失真代价最小的参考帧的信息，因此，PU 2Nx2N模板通过merge2Nx2N预测的结果来构造。

PU 2Nx2N模板为：

mask_merge＝((interdir&1)<<refIdx[0])|(((interdir>>1)&1)<<(refIdx[1]+16))；

其中:interdir表示merge前的方向信息，1表示前向，2表示后向，3表示双向。

refIdx[0]和refIdx[1]分别对应merge 2Nx2N的前向和后向的参考帧，即refIdx[0]和refIdx[1]分别表示前向和后向的参考帧的索引。

模板可以用16位的方式来表示，如双向上的最近的两个参考帧用模板可以表示为：

mask＝(mask_merge|0x00030003)；

其中，第一个0003表示前向存在，其中3用二进制表示为11，则表示需要做最接近的两个参考帧，第二个0003表示后向存在，其中3用二进制表示为11，则表示需要做最接近的两个参考帧，则上述模板的整体含义是需要在双向上都做最接近的两个参考帧。

103、根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息。

2N×2N分割模式做过预测后，就可以获知CU的四个SubCU的参考帧的信息，则可以对包含4个SubCU的CU做不同模式的分割，分割模式可以参阅图6中的(a)至(f)进行理解。

该步骤103所述根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息，可以包括：

分别确定所述N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述各个PU所包含的图像子块；

根据所述各个PU所包含的图像子块的参考帧的信息确定所述各个PU的参考帧的信息。

其中，所述根据所述各个PU所包含的图像子块的参考帧的信息确定所述各个PU的参考帧的信息，可以包括：

将所述各个PU所包含的图像子块的参考帧的信息的并集确定为该PU的参考帧的信息。

其中(a)为N×2N的分割模式，此时分割线的上方可以用PU0表示，分割线的下方用PU1表示，PU0包括SubCU0和SubCU1，则PU0的参考信息，也就是PU0的模板可以表示为：

PU0_mask＝SubCU0_mask|SubCU1_mask；

同理，PU1包括SubCU2和SubCU3，所以PU1的模板可以表示为：

PU1_mask＝SubCU2_mask|SubCU3_mask。

以此类推，Nx2N的分割模式下，分割线的左侧为PU0，分割线的右侧为PU1，则此时PU0和PU1的2个PU的模板分别可表示为：

PU0_mask＝SubCU0_mask|SubCU2_mask；

PU1_mask＝SubCU1_mask|SubCU3_mask。

同理，2NxnU分割模式下的2个PU的模板分别可表示为：

PU0_mask＝SubCU0_mask|SubCU1_mask；

PU1_mask＝SubCU0_mask|SubCU1_mask|SubCU2_mask|SubCU3_mask。

同理，2NxnD分割模式下的2个PU的模板分别可表示为：

PU0_mask＝SubCU0_mask|SubCU1_mask|SubCU2_mask|SubCU3_mask；

PU1_mask＝SubCU2_mask|SubCU3_mask。

同理，nLx2N分割模式下的2个PU的模板分别可表示为：

PU0_mask＝SubCU0_mask|SubCU2_mask；

PU1_mask＝SubCU0_mask|SubCU1_mask|SubCU2_mask|SubCU3_mask；

同样，nRx2N的2个PU的模板分别可表示为：

PU0_mask＝SubCU0_mask|SubCU1_mask|SubCU2_mask|SubCU3_mask；

PU1_mask＝SubCU1_mask|SubCU3_mask。

104、根据各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价。

各分割模式下PU的参考帧可能不止一个，例如PU的参考帧有两个，则需要对两个参考帧都分别进行预测，然后将这两个参考帧预测的率失真代价进行比较，将率失真代价小的确定为该PU的最优率失真代价。

105、根据所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息。

该步骤中是将各分割模式下的PU的最优率失真代价进行比较，选出率失真代价最小的。

本申请实施例所确定的参考信息，也就是最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息用于运动补偿。

每种分割模式下可以计算出一个最优率失真代价(Rate Distortioncost，RDcost)，关于各种分割模式下的最优率失真代价的比对不限定具体方式，可以是一起比对，也可以是每完成一个分割模式比对一次，选出一个最小的进行缓存，然后在下一个分割模式预测完成后，再用这个缓存的最小的与该下一个分割模式的最优率失真代价进行比对。

如：将PU 2N×2N的最优率失真代价与meger的率失真代价比对一次，率失真代价小模式的为当前的最优模式(bestmode)，然后缓存该最优模式的相关参考信息，与下一次分割模式的最优率失真代价进行比较，比较后再次确定当前的最优模式，依次进行，直到所有的模式都完成率失真代价的比对，从而确定出最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息。

可选地，本申请实施例提供的视频编码中参考信息确定的方法的另一实施例中，所述方法还可以包括：

当所述最小的率失真代价不大于所述各图像子块的率失真代价之和时，将所述最优参考帧的信息确定为所述图像块的参考帧的信息。

本申请实施例中，当最小率失真代价小于或者等于，也就是不大于4个SubCU的率失真代价之和，则将对应的最优参考帧的信息确定为该CU的参考帧的信息，该CU的参考帧的信息用于递归到上一层级，例如：该SubCU为4×4的大小，则该CU为8×8的，而该8×8的CU又是16×16的SubCU。

当所述最小的率失真代价大于所述各图像子块的率失真代价之和时，则需要通过其他方式确定该CU的参考信息，另外一种，在根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息之前，也需要修正4个SubCU的参考帧的信息。例如：针对4×4的SubCU，最初可能不存在参考帧的信息，如果参考帧列表中的所有参考帧都预测一次，则会浪费计算资源，因此，可以采用如下方式进行修正。若其他大小的SubCU的参考帧的信息也指示参考帧列表中的所有参考帧都做一次预测，则也可以采用下述方式进行修正。

无论是哪种条件的修正，都可以采用如下方式进行：

将所述CU的merge 2N×2N的参考帧的信息和择优后的参考帧的信息的并集确定为所述图像块的参考帧的信息，其中，所述择优后的参考帧的信息为所述2N×2N分割模式预测后择优出的最优的参考帧的信息。

可选地，所述根据各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价，可以包括：

对于各个PU中的任一PU进行merge模式预测；

根据所述任一PU中所包含的图像子块的参考帧的信息遍历所述参考帧列表中的参考帧；

当遍历到与所述图像子块的参考帧的信息所指示的相一致的参考帧时，使用所述相一致的参考帧做运动估计。

根据所述运动估计的结果以及所述merge模式预测的结果，确定所述任一PU在对应分割模式下的最优率失真代价。

本申请实施例中，无论哪种分割模式下的各个PU都会执行上述处理过程，对于P型只要遍历参考帧列表list0，遍历到与SubCU的参考帧相一致的参考帧后，即使用该参考帧做运动估计，从而确定率失真代价。例如：针对N×2N分割模式的PU0，PU0_mask＝SubCU0_mask|SubCU1_mask；则对PU0所包含的SubCU0_mask和SubCU1_mask并集中的每个参考帧做一次预测，确定一个率失真代价，即为该PU0的率失真代价。

在上述对PU做过一次预测后，若该PU的类型为B帧，需要再对该PU做一次预测，因此，所述方法还可以包括：

当所述任一PU为B帧时，根据所述任一PU中的图像子块的参考帧的信息从所述参考帧列表中选择对应的参考帧做运动估计；

根据所述做运动估计的结果以及所述merge模式预测的结果，确定所述B帧的PU在对应分割模式下的最优率失真代价。

当PU的类型为B帧时，则不需要在参考帧列表中做参考帧遍历，只需要根据SubCU的参考信息直接选择对应的参考帧做运动估计即可。

可选地，所述图像块中包括第一PU和第二PU，本申请实施例提供的视频编码中参考信息确定的方法还包括：

当所述第二PU的参考帧的信息为初始值时，根据所述第一PU的参考帧的信息修正所述第二PU的参考帧的信息，所述初始值指示所述参考帧列表中的所有参考帧都需要做预测。

如果有两个PU，且第2个PU的模板是0xFFFFFFFF，则修正第一个PU的模板为第一个PU最优结果。

为了更清楚理解不同深度的CU的处理过程，下面结合图7对本申请介绍本申请实施例的视频编码中参考信息确定的过程：

200、开始当前深度(depth)下CU。

深度不同，CU尺寸也不同。通常，深度为0时，CU的大小为64×64；深度为1时，CU的大小为32×32；深度为2时，CU的大小为16×16；深度为3时，CU的大小为8×8；图像的单位为像素。通常CU从64×64大小开始，逐层递归。

用表格可以表示为：

表1：CU深度与尺寸的对应关系表

深度	CU尺寸(单位：像素)
		0	64×64
1	32×32
		2	16×16
3	8×8

201、对当前深度下的CU做PRED_merge预测。

PRED_merge可以包括和PRED_SKIP预测，PRED_merge是指先进行merge模式预测，merge模式预测是根据已编码的相邻CU来构造merge的候选运动列表，然后遍历每一个候选运动向量，找到最优代价对应的索引。整个过程不需要做多参考遍历和运动估计。

202、构造PU 2Nx2N模板。

构造模板的过程就是确定参考帧的信息的过程，可以参阅上述实施例中的步骤102进行理解。

203、指导PU 2Nx2N多参考帧自适应预测，并和当前bestmode择优。

该步骤可以参阅上述步骤104和105以及其相应的过程进行理解。

204、判断深度是否小于3，若深度小于3，则执行步骤205，若深度不小于3，则执行步骤207。

205、若深度小于3，则进行SubCU递归。

深度小于3，对应于表1可知，说明CU的尺寸较大，可以对CU进行子块划分，若原来的尺寸为32×32，则划分后就会有4个16×16的下一层级CU，然后这些下一层级的CU又成为当前深度下CU，执行步骤201至204。

若步骤204中判断出深度不小于3，则执行步骤207。

如CU的尺寸为8×8时，深度等于3，则会执行步骤207。

207、修正4个子块(SubCU)的模板。

8×8的CU可以包括4个4×4SubCU，这4个SubCU的模板修正方法可以是将该8×8CU的merge 2N×2N的参考帧的信息和PU 2N×2N预测择优的参考帧的信息的并集确定为该8×8的CU的参考帧的信息。

208、分别构造N×2N和2N×N模板。

该构造模板的过程可以参阅步骤103以及相应的步骤进行理解。

209、执行PU N×2N和PU 2N×N多参考帧自适应预测，并和当前bestmode择优。

该择优过程可以参阅前述实施例中的率失真代价的比对过程，本处不再重复介绍。

210、分别构造2N×nU、2N×nD、nL×2N和nR×2N模板。

211、执行2N×nU、2N×nD、nL×2N和nR×2N多参考帧自适应预测，并和当前bestmode择优。

该择优过程就是前述实施例中的率失真代价的比对过程，本处不再重复介绍。

212、做帧内预测。

前述200至211的过程都为帧间预测，做完帧间预测后再结合帧内预测的结果进行比对，从而确定bestmode。

213、判断当前层bestmode对应的cost<＝4个SubCUcost之和。

该处的cost为率失真代价。若是则执行步骤214，若否则执行步骤215。

214、构造当前深度下CU的模板。

该处为8×8CU，则构造该8×8CU的模板，则该模板为率失真代价最小时所对应的最优的参考帧的信息。

215、若不符合，则采用与207相同的方案修正该8×8CU的模板。

本申请实施例中207和215两处模板需要修正的原因不同，但修正方法相同。

207是没有4个子块的信息，215是存在4个子块，但在择优时，当前CU需要划成4个子块，这样根据4个子块来生产当前CU的模板不准确。如果不修正，该种情况下参考帧将全遍历，影响编码速度。

采用相邻CU的信息和自身CU的信息，即取做完2Nx2N预测后的最优模式bestmode_2Nx2N，和merge_2Nx2N的信息进行修正。

即：

mask_2Nx2N＝((interdir_2Nx2N&1)<<refIdx_2Nx2N[0])|(((interdir_2Nx2N>>1)&1)<<(refIdx_2Nx2N[1]+16))；

mask_MRG2Nx2N＝((interdir_MRG2Nx2N&1)<<refIdx_MRG2Nx2N[0])|(((interdir_MRG2Nx2N>>1)&1)<<(refIdx_MRG2Nx2N[1]+16))；

mask＝(mask_2Nx2N|mask_MRG2Nx2N)；

其中:

interdir_2Nx2N表示bestmode_2Nx2N方向信息，1表示前向，2表示后向，3表示双向。

refIdx_2Nx2N[0]和refIdx_2Nx2N[1]分别对应bestmode_2Nx2N的前向和后向的参考帧。

interdir_MRG2Nx2N表示bestmode_2Nx2N方向信息，1表示前向，2表示后向，3表示双向。

refIdx_MRG2Nx2N[0]和refIdx_MRG2Nx2N[1]分别对应merge_2Nx2N前向和后向参考帧。

因此，207和215修正后的模板均为mask。

另外，207和215模板的作用也不同，207是指导当前层CU下PU不同形状的预测，而215是返回给上一层CU，作为上一层CU的SubCU。

216、将当前CU的模板返回供上一层，即：depth-1层使用。

即将8×8的CU返回给上一层，作为16×16的SubCU再开始执行步骤207至215的过程，依次递归，直至完成最初的CU，若最初的CU为64×64的大小，则直到完成该64×64的CU的预测。

以上步骤中介绍了构造模板和修正模板的过程，构造模板后还需要使用该模板，下面结合图8，介绍本申请实施例中使用模板的过程。

如图8所示，本申请实施例所提供的视频编码中参考信息确定的方法的实施例包括：

300、从第一个PU块开始，第一个PU块的标识用iPartIdx＝0表示。

301、判断iPartIdx是否小于PU块的个数iNumPart，若是则执行步骤102，若否则结束。

302、加载当前PU块的模板，refMask＝mask[iPartIdx]。

303、构造当前PU的merge候选列表，选择最优运动矢量。

304、遍历参考帧列表0，即iRefList＝0。

305、判断是否iRefList＜2。

参考帧列表只有两个，分别是参考帧列表0和参考帧列表1，分别用iRefList＝0和iRefList＝1来表示。

306、从第一个参考帧iRef＝0开始遍历。

307、判断iRef是否小于参考帧个数，若是则执行步骤308，若否则进行移位。

308、if(refMask&(1<<iRef))表示若遍历到的参考帧与模板所指示的参考帧一致，则执行步骤309，若不一致，则跳过，开始遍历下一个参考帧。

309至311，通过向量预测AMVP和运动估计确定率失真代价，可以根据率失真代价进行择优。

312、若该PU块为B帧，则执行步骤313，若否则执行步骤314。

313、选择与模板对应的参考帧。

314、若不是B帧，则比较当前的方向和参考帧。

315、通过与merge的结果比较，选择最优的参考帧。

316、if(iNumPart＝＝2&&mask[1]＝＝0xFFFFFFFF)表示模板非法。

0xFFFFFFFF表示初始值，所述初始值指示所述参考帧列表中的所有参考帧都需要做预测。这样无疑会浪费很多计算资源，因此可以执行步骤317。

317、通过该CU块中另外一个PU中的最优结果进行修正。

以上是对视频编码中参考信息确定的方法的介绍，下面结合图9介绍本申请实施例中视频编码中参考信息确定的装置。

如图9所示，本申请实施例提供的视频编码中参考信息确定的装置40包括：

获取程序模块401，用于获取待编码的图像块，所述图像块中包括图像子块，所述图像块为编码单元CU；

第一确定程序模块402，用于根据所述获取程序模块401获取的所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息；

第二确定程序模块403，用于根据所述获取程序模块401获取的图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息；

预测程序模块404，用于根据所述第一确定程序模块402和所述第二确定程序模块403确定各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价；

第三确定程序模块405，用于根据所述预测程序模块404预测的所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息。

可选地，所述第一确定程序模块402用于：

可选地，所述第二确定程序模块403用于：

可选地，所述预测程序模块404用于：

对于各个PU中的任一PU进行merge模式预测；

可选地，所述预测程序模块404还用于：

根据所述运动估计的结果以及所述merge模式预测的结果，确定所述B帧的PU在对应分割模式下的最优率失真代价。

可选地，所述图像块中包括第一PU和第二PU时，所述预测程序模块404还用于：

所述第二确定程序模块403用于：

图10是本申请实施例提供的计算机设备50的结构示意图。所述计算机设备50包括处理器510、存储器550和输入输出(I/O)接口530，存储器550可以包括只读存储器和随机存取存储器，并向处理器510提供操作指令和数据。存储器550的一部分还可以包括非易失性随机存取存储器(NVRAM)。

在一些实施方式中，存储器550存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

在本申请实施例中，在摘要获取的过程中，通过调用存储器550存储的操作指令(该操作指令可存储在操作系统中)，

处理器510控制计算机设备50的操作，处理器510还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器550可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器550的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中计算机设备50的各个组件通过总线系统520耦合在一起，其中总线系统520除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统520。

上述本申请实施例揭示的方法可以应用于处理器510中，或者由处理器510实现。处理器510可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器510中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器510可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器550，处理器510读取存储器550中的信息，结合其硬件完成上述方法的步骤。

可选地，处理器510用于：

对于各个PU中的任一PU进行merge模式预测；

当遍历到与所述图像子块的参考帧的信息所指示的相一致的参考帧时，使用所述相一致的参考帧做运动估计；

可选地，处理器510还用于：

所述图像块中包括第一PU和第二PU时，当所述第二PU的参考帧的信息为初始值时，根据所述第一PU的参考帧的信息修正所述第二PU的参考帧的信息，所述初始值指示所述参考帧列表中的所有参考帧都需要做预测。

可选地，处理器510用于：

可选地，处理器510还用于：当所述最小的率失真代价不大于所述各图像子块的率失真代价之和时，将所述最优参考帧的信息确定为所述图像块的参考帧的信息。

可选地，处理器510还用于：

在根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息之前，或者，当所述最小的率失真代价大于所述各图像子块的率失真代价之和时，将所述CU的merge 2N×2N的参考帧的信息和择优后的参考帧的信息的并集确定为所述图像块的参考帧的信息，其中，所述择优后的参考帧的信息为所述2N×2N分割模式预测后择优出的最优的参考帧的信息。

上对计算机设备50的描述可以参阅图1至图8部分的描述进行理解，本处不再重复赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本申请实施例所提供的视频编码中参考信息确定的方法、装置、计算机设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种视频编码中参考信息确定的方法，其特征在于，包括：

根据所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息；

其中，所述根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息，包括：

根据所述各个PU所包含的图像子块的参考帧的信息确定所述各个PU的参考帧的信息；

其中，所述根据所述各个PU所包含的图像子块的参考帧的信息确定所述各个PU的参考帧的信息，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像块的已编码相邻图像块，确定2N×2N分割模式下所述图像块的预测单元PU的参考帧的信息，包括：

3.根据权利要求1-2任一所述的方法，其特征在于，所述根据各分割模式下的PU的参考帧的信息从参考帧列表中选择对应的参考帧进行预测，以得到所述各分割模式下所述PU的最优率失真代价，包括：

对于各个PU中的任一PU进行merge模式预测；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述运动估计的结果以及所述merge模式预测的结果，确定所述B帧的PU在对应分割模式下的率失真代价。

5.根据权利要求4所述的方法，其特征在于，所述图像块中包括第一PU和第二PU时，所述方法还包括：

6.根据权利要求1-2任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求2所述的方法，其特征在于，在根据所述图像块的图像子块，分别确定出N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述图像块中所包含的各个PU的参考帧的信息之前，或者，当所述最小的率失真代价大于所述各图像子块的率失真代价之和时，所述方法还包括：

8.一种视频编码中参考信息确定的装置，其特征在于，包括：

第三确定程序模块，用于根据所述预测程序模块预测的所述各分割模式下所述PU的最优率失真代价，确定率失真代价最小的参考信息，所述率失真代价最小的参考信息为帧间各PU择优后，率失真代价最小分割模式所对应的信息，所述参考信息包括最小的率失真代价、最优分割模式、最优参考帧的信息、及对应所述最优参考帧下的运动估计信息；

其中，所述第二确定程序模块，具体用于分别确定所述N×2N、2N×N、2N×nU、2N×nD、nL×2N和nR×2N分割模式下所述各个PU所包含的图像子块；将所述各个PU所包含的图像子块的参考帧的信息的并集确定为该PU的参考帧的信息。

9.根据权利要求8所述的装置，其特征在于，

所述第一确定程序模块用于：

10.根据权利要求8-9任一所述的装置，其特征在于，

所述预测程序模块用于：

对于各个PU中的任一PU进行merge模式预测；

11.根据权利要求10所述的装置，其特征在于，

所述预测程序模块还用于：

12.一种计算机设备，其特征在于，所述计算机设备包括：输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；

所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-7任一所述的方法。

13.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-7中任一项所述的方法。