CN113852811A - 基于cu相关性的帧间预测快速方法、系统及存储介质 - Google Patents

Abstract

本发明提供了基于CU相关性的帧间预测快速方法、系统及存储介质。本发明包括，在低延时B帧(LDB)、低延时P帧(LDP)或随机接入(RA)编码配置下读入编码帧，利用父子编码单元(CU)信息相关性，对于当前深度编码单元(CU)的父CU最佳模式为Skip模式时，则对当前深度CU直接选取父CU的最佳参考帧作为最佳参考帧，从而跳过不必要的运动估计过程，有效降低帧间预测编码时间。并且，对于父CU使用Skip模式编码时，根据当前CU在2N×2N模式完成后的最佳模式早期确定是否跳过剩余模式，由此在保持良好视频编码质量的同时能够较大幅度地降低HEVC帧间预测的计算复杂度。

Description

基于CU相关性的帧间预测快速方法、系统及存储介质

技术领域

本发明涉及高效视频编码领域，尤其涉及视频编码帧间预测快速算法领域。

背景技术

视频编码的目标是在码率的限制下获得最优的输出视频质量。高效视频编码(High Efficiency Video Coding,HEVC)即H.265是目前国际上最新的视频编码标准，通过采用灵活的四叉树划分结构及丰富的帧内与帧间预测模式，极大地提高了编码效率，相比上一代视频编码标准H.264/AVC而言，其编码效率提高了一倍，但是编码器的计算复杂度也急剧增加。

与H.264/AVC中采用固定宏块的划分方式不同，HEVC为了灵活高效地表示视频场景中不同纹理的视频内容，为块划分引入了三种结构概念：编码单元(Coding Unit,CU)、预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU)。这三个块的分离，使得变换、预测和熵编码处理更加灵活，也使得块的划分更加符合视频的纹理特征，保证编码性能的最优化。

目前HEVC传统帧间预测快速算法主要基于视频帧的时空域相关性以及率失真代价(RDC)等信息来预测当前编码树单元(Coding Tree Unit,CTU)的深度。但是，当前在HEVC标准帧间预测流程中在全部参考帧执行运动估计引入了时间消耗，导致了较为复杂的帧间预测复杂度。此外，在普通PC机上用HM8.0的编码器做测试，发现CTU的模式选择耗费时间是整体编码时间的2/3以上，因此在实际编码器中难以实现，尤其对于例如一些需要实时性传播的系统(例如，以HEVC为编码标准的视频会议传输系统，网络现场直播系统等)而言更不友好。

因此，需要一种方案来解决由于多参考帧执行运动估计以及执行丰富的帧间模式带来的时间消耗，在保持视频编码质量的同时有效降低帧间编码的计算复杂度。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

根据本发明的一个实施例，描述了一种在HEVC中对当前帧进行编码的方法，包括：(a)在低延时P帧LDP或低延时B帧LDB或随机接入RA编码配置下读入当前帧；(b)对当前帧进行编码树单元CTU划分；(c)如果当前帧不为I帧，则根据基于编码单元CU相关性的快速模式决策方案和基于编码单元CU相关性的快速参考帧选取方案对所划分的CTU进行编码；(d)如果当前被编码的CTU不为当前帧的最后一个CTU，则获取下一个CTU，并重复步骤(a)到(d)；其中基于编码单元CU相关性的快速模式决策方案指定：在执行帧间预测模式编码时，如果对于深度不为0的当前CU，其父CU的最佳模式为Skip模式，且当前CU在执行完Skip/Merge，Inter_2N×2N后，最佳模式为Skip模式，则确定当前CU的最佳模式为Skip模式，并终止剩余预测单元PU模式的执行；否则，针对当前CU执行全部PU模式；其中基于编码单元CU相关性的快速参考帧选取方案指定：如果深度不为0的当前CU的父CU以Skip模式为最佳模式进行帧间预测模式编码，则在当前CU的每个PU模式执行运动估计过程中，直接选取父CU的最佳参考帧来作为当前模式的最佳参考帧，从而只在该最佳参考帧进行运动估计选出最佳运动矢量。

根据本发明的又一个实施例，描述了一种基于CU相关性来进行帧间预测的方法，包括：(a)获取具有当前深度的当前CU；(b)判断当前CU的当前深度是否为0；(c)如果当前深度为0，则对当前CU执行全部的PU模式，并确定和暂存当前CU的最佳模式和最佳参考帧索引；(d)如果当前深度不为0，则判断当前CU的父CU最佳模式是否为Skip模式；(e)如果当前CU的父CU最佳模式不为Skip模式，则对当前CU执行全部的PU模式，确定当前CU的最佳模式和最佳参考帧索引，并在当前深度不为3的情况下，暂存当前CU的最佳模式和最佳参考帧索引；(f)如果当前CU的父CU最佳模式为Skip模式，则对当前CU执行Skip模式和Inter_2N×2N模式，并确定当前CU的最佳模式；(g)如果当前CU的最佳模式为Skip模式，并且当前深度不为3，则暂存当前CU的最佳模式和最佳参考帧索引；(h)如果当前CU的最佳模式不为Skip模式，则对当前CU执行剩余的PU模式，确定当前CU的最佳模式和最佳参考帧索引，并在深度不为3的情况下，暂存当前CU的最佳模式和最佳参考帧索引；(i)如果当前深度不为3，则针对下一深度重复上述步骤(a)-(h)。

根据本发明的还一个实施例，描述了一种计算机可读存储介质，计算机可读存储介质存储有处理器可执行的指令，处理器可执行的指令在由处理器执行时用于执行上述的方法。

根据本发明的另一个实施例，描述了一种用于基于CU相关性来进行帧间预测的系统，包括：处理器；存储器，存储器存储有指令，指令在被处理器执行时能执行上述的方法。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1示出了现有技术中CU与其对应的编码树CTU结构划分示意图100；

图2示出了根据本发明的一个实施例的在HEVC中对当前帧进行编码的方法200的流程图；

图3示出了根据本发明的一个实施例的在帧间预测中采用基于CU相关性的快速模式决策方案来进行模式选择的方法300的流程图；

图4示出了根据本发明的一个实施例的在帧间预测中采用快速参考帧选取方案来选取最佳参考帧的方法400的流程图；以及

图5示出了根据本发明的一个实施例的示例性计算设备的框图500。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

HEVC标准介绍：

编码单元CU是HEVC标准中的基本编码单元，编码过程中的预测、变换、量化和熵编码等操作都是基于CU完成的。HEVC应用四叉树的递归结构进行CU的划分。图1示出了现有技术中CU与其对应的编码树CTU结构划分示意图100。由图1可知，一个CTU根据编码树进行递归划分，其可以包含一个或多个CU。对于深度为0且尺寸为64×64的CU，通常被称为编码树单元CTU，其一般作为CU深度划分的根节点。即，最大编码单元尺寸为64×64像素，最小编码单元尺寸为8×8像素，大的编码单元按四叉树的方式递归细分至8×8像素大小，深度最多至3。

预测单元PU是进行预测过程的基本单元，其在CU的基础上，根据帧内预测或帧间预测进行模式判断，并规定了CU的所有预测模式，其最大单元与当前的CU大小相同。PU模式主要包括帧内预测模式(Intra Mode)、帧间预测模式(Inter Mode)。其中帧内预测模式包括2N×2N和N×N两种分割方式，而N×N也只有在当前CU深度值为最小深度时才可用。帧间预测模式包括合并(Merge)模式、跳过(Skip)模式和一般帧间(Inter)模式。Merge模式可用于PU的全部尺寸，而Skip是Merge的一种特殊情况，仅当PU尺寸为2N×2N，且采用Merge模式，残差编码信息为0时的情况，则表明当前编码模式为Skip模式。一般帧间模式Inter共有8种，主要分为两类：对称分割和非对称分割。其中，2N×2N，2N×N，N×2N和N×N为4种对称模式，2N×n U，2N×nD，nL×2N和n R×2N为4种非对称模式，U、D、L和R分别表示上下左右，且非对称划分形式只用于大小为32×32和16×16的CU中，对称划分形式的N×N只用于大小为8×8的CU中。例如，2N×nU和2N×nD分别以上下1:3和3:1划分，nL×2N和n R×2N分别以左右1:3和3:1划分。

帧内预测利用当前帧中相邻已编码块的像素值预测当前未编码块的像素值，并根据预测像素值与原始值的差值进行编码，以达到有效去除视频空域冗余的目的。帧间预测主要是利用连续图像间的相似性，并通过运动估计(Motion Estimation,ME)和运动补偿(Motion Compensation,MC)在已编码的图像中找到一个最佳匹配块，匹配块的像素值与原始块越接近，重建出的像素值就越准确。运动估计ME的任务是为当前编码块在已编码块中寻找最佳对应块，并计算相应块的偏移，即运动矢量(MV，Motion Vector)；而运动补偿MC是根据运动矢量和帧间预测方法，求得当前帧的估计值的过程。ME是一个动态过程，它涉及许多计算，如求差值、搜索算法、运动矢量预测(MVP，Motion Vector Predicting)等；MC是一个静态过程，它根据相关信息，如MV、帧间预测方法等估计相应块，相当于一个索引表。

编码器中的输入视频实际上是由一系列相关性较强的图像序列组成，HEVC标准中将这些视频序列划分为不同的图像组(Group Of Pictures,GOP)，每个GOP中图像的个数是由不同的配置文件所决定。在每个GOP内，HEVC定义了三种帧：不参考其他帧、完整编码的帧叫I帧；参考之前的I帧生成的只包含差异部分编码的帧叫P帧；参考前后的帧编码的帧叫B帧。HEVC参考模型(HEVC Model，HM)编码器根据编码数据类型的不同，定义了三种不同的配置：全I帧(All Intra,AI)、低时延(Low Delay,LD)和随机访问(Random Access,RA)。其中AI配置主要用于帧内预测编码，LD配置主要应用于实时场景，RA配置编码效率最高。

LD配置又分为LDP(Low-Delay P)和LDB(Low-Delay B)配置。LDP配置只有第一帧编码为I帧，之后所有帧编码为P帧，P帧只允许参考播放顺序较前的参考帧，而B帧参考两个方向的参考帧。因此，B帧在低时延的情况下有较高的编码效率。RA配置采用分级B帧结构，所有帧按编码顺序编号。因为采用双向B帧分级预测结构，RA配置比其他配置方式编码效率更高。RA配置中会周期性的插入I帧，减小传输错误带来的影响。

所遇到的问题：

如上所述的，在HEVC中，CT是基本编码单元，每一个CTU可以被划分为不同大小的CU，每个CU又可以使用不同分割模式的PU进行帧间预测。通常，HEVC标准将率失真RD值作为最佳模式判断准则。

HEVC帧间预测的块划分采用基于四叉树结构的递归遍历方法，每一个CU递归等分为4个子CU，在CU层进行PU模式预测，即分别遍历不同的预测模式，包括Merge、Skip和Inter模式。以尺寸为64×64，最大编码深度为3的CTU为例，不考虑Merge、Skip模式的复杂度，仅对Inter模式的复杂度进行分析。当编码深度为0时，需计算7次RD值；当编码深度为1时，则需计算28次RD值；当编码深度为2时，则需计算112次RD值；当编码深度为3时，则需计算256次RD值。综上分析，一个CTU需计算403次RD值，方可确定最佳预测模式。

此外，HEVC采用了参考帧集(RPS)的技术来管理已解码的帧，用作后续图像的参考。HEVC支持多参考帧技术，例如可以配置4或者2个活动参考帧，这使得每个PU的运动估计的复杂度成倍增加。

本发明在HEVC标准算法的基础上，通过利用CU间相关性，对PU模式的决策进行了优化，降低了模式选择个数，对参考帧的选取方案进行优化，自适应地降低了参考帧的数量，可以在保证视频压缩质量的同时，有效降低编码复杂度。

图2示出了根据本发明的一个实施例的在HEVC中对当前帧进行编码的方法200的流程图。根据本发明的一个实施例，当前帧可以是一系列编码帧中目前即将被编码的一个帧。在步骤201，在低延时P帧(LDP)或低延时B帧(LDB)或随机接入(RA)编码配置下读入当前帧。在步骤202，对当前帧进行CTU划分。在步骤203，判断该当前帧是否为I帧。如果是，则进入步骤204，对该当前帧执行HEVC标准I帧编码，即对所有CTU执行帧内预测编码，并且流程结束。如果否，则在步骤205，对所划分的CTU进行编码。根据本发明的一个实施例，对CTU进行编码可采用例如根据本发明的一个实施例的基于CU相关性的快速模式决策方案和快速参考帧选取方案的帧间预测技术，以下将在图3和图4中进行详细说明。在步骤206，判断当前被编码的CTU是否为当前帧的最后一个CTU。如果是，则结束流程，如果否，则在步骤207获取下一个CTU，并对该下一个CTU执行步骤205，直到所有CTU被编码完成。

图3示出了根据本发明的一个实施例的在帧间预测中采用基于CU相关性的快速模式决策方案来进行模式选择的方法300的流程图。该方法应用于图2中的步骤205。

在HEVC标准中，如先前所介绍的,引入了丰富的帧间预测模式。一般而言，HEVC标准帧间预测模式顺序为Skip/Merge，Inter_2N×2N，Inter_N×2N，Inter_2N×N和非对称划分模式，以便适应不同特性的图像块。

根据本发明的一个实施例，快速模式决策方案主要解决了HEVC帧间预测模式丰富引起的复杂度过高的缺点。具体而言，如果当前CU的父CU以Skip模式为最佳模式(通常表明当前图像块与周围图像块具有一致运动特性或简单背景)，则当前CU在执行完Skip/Merge和Inter_2N×2N模式后，如果最佳模式为Skip模式，则剩余模式(例如，剩余的Inter_N×2N，Inter_2N×N和非对称划分模式)被跳过，否则应该执行全部帧间预测模式，并最终根据率失真代价(RDC)选择最佳模式。

根据本发明的一个实施例，在快速模式决策方案中：在执行帧间预测模式编码时，如果当前CU同时满足条件1(即，对于深度不为0的CU，父CU的最佳模式为Skip模式)和条件2(即，当前CU在执行完Skip/Merge，Inter_2N×2N后，最佳模式为Skip模式)，则确定当前CU最佳模式为Skip模式，并终止剩余模式的执行。如果不能同时满足条件1和条件2，则继续执行当前深度剩余模式的执行，并最终确定当前深度CU的最佳模式。以下参考图3来具体描述该快速模式决策的流程。

在步骤301，获取CTU中的具有当前深度的当前CU。

在步骤302，判断当前CU的当前深度是否为0。如果为0，则进入步骤303。如果当前深度为不为0，则进入步骤304。

在步骤303，对当前CU执行全部的PU模式，并确定当前CU的最佳模式和最佳参考帧索引。根据本发明的一个实施例，针对当前深度小于3的当前CU，对当前CU执行全部的PU模式包括对当前CU依次执行Skip/Merge，Inter_2N×2N，Inter_N×2N，Inter_2N×N和非对称划分模式。针对当前深度为3的当前CU，对当前CU执行全部的PU模式包括对当前CU依次执行Skip/Merge，Inter_2N×2N，Inter_N×2N，Inter_2N×N。根据本发明的一个实施例，根据每个PU模式的率失真代价(RDC)来选择最佳模式。根据本发明的一个实施例，参考图4来描述如何确定当前CU的最佳参考帧索引。

在步骤308，判断当前深度是否为3。如果是，则结束流程。如果否，则进入步骤309。即,如果当前CU已经为深度为3的CU，由于后续不存在当前CU的子CU，则无需进入步骤309的暂存步骤。

在步骤309，暂存当前CU的最佳模式和最佳参考帧索引。根据本发明的另一个实施例，最佳参考帧索引被存储为RFa(前向列表)和RFb(后向列表)。

在步骤304，判断当前CU的父CU最佳模式是否为Skip模式。据本发明的一个实施例，针对深度为1的CU,其父CU为深度为0的CU。针对深度为2的CU，其父CU为深度为1的CU。针对深度为3的CU，其父CU为深度为2的CU。如果当前CU的父CU最佳模式为Skip模式，则进入步骤305，否则，则进入步骤303，即对当前CU执行全部的PU模式。

在步骤305，对当前CU执行Skip模式和Inter_2N×2N模式，并确定当前CU的最佳模式。

在步骤306，判断当前CU的最佳模式是否为Skip模式。如果是，则进入步骤308，从而不再针对当前CU执行剩余的PU模式，并在当前CU的深度不为3的情况下进入步骤309的暂存步骤。如果否，则进入步骤307。

在步骤307，对当前CU执行剩余的PU模式，并确定当前CU的最佳模式和最佳参考帧索引。根据本发明的一个实施例，针对当前深度小于3的当前CU，对当前CU执行剩余的PU模式包括为依次执行Inter_N×2N，Inter_2N×N和非对称划分模式。针对当前深度为3的当前CU，对当前CU执行剩余的PU模式包括对当前CU依次执行Inter_N×2N和Inter_2N×N。根据本发明的一个实施例，根据每个PU模式的率失真代价(RDC)来选择最佳模式。根据本发明的一个实施例，参考图4来描述如何确定当前CU的最佳参考帧索引。

在完成步骤307之后，进入步骤308，在当前CU的深度不为3的情况下，暂存当前CU的最佳模式和最佳参考帧索引。

在步骤310，判断当前CU的深度是否为3。如果否，则进入步骤311，如果是，则结束流程。

在步骤311，将当前CU的深度加1，并返回到步骤302，从而针对下一深度重复本流程。根据本发明的一个实施例，可采用计数器来对深度进行计数。

由此可见，通过使用本发明的快速模式决策，在对于父CU使用Skip模式编码时，根据当前CU在Inter_2N×2N模式完成后的最佳模式早期确定是否跳过剩余模式，该方法在保持良好视频编码质量的同时能够较大幅度地降低HEVC帧间预测的计算复杂度。

图4示出了根据本发明的一个实施例的在帧间预测中采用基于CU相关性的快速参考帧选取方案来选取最佳参考帧的方法400的流程图。该快速参考帧选取方案可用于图3的303(即对当前CU执行全部的PU模式),305(即，对当前CU执行Skip模式和Inter_2N×2N模式)和307(即，对当前CU执行剩余的PU模式)中。

HEVC标准中，低延时编码配置文件下每个视频帧的单个参考帧列表有四个参考帧，其中对于低延时P帧(LDP)而言，为单向预测(通常为前向预测)，即每个帧有一个参考帧列表；对低延时B帧(LDB)而言，为双向预测帧，每个参考帧有两个参考帧列表。在帧间预测中，对当前深度的CU的每一个预测单元(PU)将在参考帧列表中遍历每个参考帧，并在对应参考帧执行运动估计，以选出最佳的匹配块，获得运动矢量。由此可见，这将会使得每个PU的运动估计的复杂度增加。

在本发明的快速参考帧选取方案中，参考帧的选取主要对于深度不为0的CU。具体而言，如果深度不为0的当前CU的父CU以Skip模式为最佳模式进行预测编码，则在当前CU的每个PU模式执行运动估计过程中，直接选取父CU的最佳参考帧来作为当前模式的最佳参考帧，从而只在该帧进行运动估计选出最佳运动矢量，由此跳过不必要的运动估计过程，有效降低帧间预测编码时间。

根据本发明的一个实施例，对于P帧编码，当前CU在其单项参考帧列表存储的参考帧中执行运动估计，如果父CU为Skip模式，则当前CU在参考帧索引RFa所对应的参考帧执行运动估计，并获得运动矢量；如果父CU不为Skip模式，则在参考帧列表全部帧中执行运动估计，并最终选出运动矢量。

根据本发明的另一个实施例，对于B帧编码，当前CU在其双向参考帧列表存储的参考帧执行运动估计，如果父CU为Skip模式，则当前CU分别根据参考帧索引RFa和RFb所对应的参考帧执行运动估计，并分别获得前向参考和后向参考运动矢量；如果父CU不为Skip模式，在双向参考列表中执行运动估计，并获得运动矢量。

以下参考图4来具体描述快速参考帧选取方案的流程。

在步骤401，当前CU的深度是否为0。如果是，则结束流程。否则，则进入步骤402。

在步骤402，判断当前CU的父CU的最佳模式是否为Skip模式。如果是，则进入步骤403，否则，进入步骤404。

在步骤403，直接获取父CU的最佳参考帧索引作为当前模式的最佳参考帧索引，并根据最佳参考帧索引获取最佳参考帧，并在该最佳参考帧执行运动估计，最终获得最佳运动矢量。

在步骤404，依次遍历当前帧的参考帧列表中的全部参考帧，并在全部参考帧执行运动估计来选取每个参考帧的最佳运动矢量，并最终根据率失真代价(RDC)在当前帧的参考帧列表中选出最佳参考帧。一般而言，HEVC中采用率失真代价(RDC)进行预测的判定，RDC值越小代表当前预测越符合当前的预测标准。

在步骤405，暂存最佳参考帧索引和最佳运动矢量。

图5示出了根据本发明的一个实施例的示例性计算设备的框图500，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。

参考图5，现在将描述一种计算设备500，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。计算设备500可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。前述的各种方法/装置/服务器/客户端设备可全部或者至少部分地由计算设备500或者类似设备或系统来实现。

计算设备500可包括可经由一个或多个接口和总线502连接或通信的组件。例如，计算设备500可包括总线502、一个或多个处理器504、一个或多个输入设备506以及一个或多个输出设备508。该一个或多个处理器504可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备506可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备508可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备500也可以包括非瞬态存储设备510或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备510可从接口分离。非瞬态存储设备510可具有用于实施上述方法和步骤的数据/指令/代码。计算设备500也可包括通信设备512。通信设备512可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、IEEE 1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。

总线502可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。

计算设备500还可包括工作存储器514，该工作存储器514可以是任何类型的能够存储有利于处理器504的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。

软件组件可位于工作存储器514中，这些软件组件包括但不限于操作系统516、一个或多个应用程序518、驱动程序和/或其它数据和代码。用于实现本发明上述方法和步骤的指令可包含在所述一个或多个应用程序518中，并且可通过处理器504读取和执行所述一个或多个应用程序518的指令来实现本发明的上述方法200。

本发明的创新可以在计算机可读存储介质的一般上下文中描述。计算机可读存储介质是可在计算环境内访问的任何可用有形介质。作为示例而非局限，计算机可读存储介质包括非瞬态存储设备510、存储器514、和以上任意的组合。

本发明的创新可在计算机可执行指令(诸如包括在程序模块中的在目标现实或虚拟处理器上在计算系统中执行的那些计算机可执行指令)的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。如各实施例中所描述的，这些程序模块的功能可以被组合，或者在这些程序模块之间拆分。针对各程序模块的计算机可执行指令可以在本地或分布式计算系统中执行。

术语“系统”和“设备”在此被互换地使用。除非上下文明确指示，否则，术语并不暗示对计算系统或计算设备的类型的任何限制。一般说来，计算系统或计算设备可以是本地的或分布式的，并且可以包括具有实现本文中描述的功能的软件的专用硬件和/或通用硬件的任意组合。

为了呈现起见，本详细描述使用了如“判断”、“执行”、“获取”等术语来描述计算系统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，且不应与人类所执行的动作混淆。对应于这些术语的实际的计算机操作取决于实现而不同。如本文用于描述编码选择时所使用的，术语“最佳”(如在“最佳模式”“最佳参考帧”)指示：相较于其它选项，在失真成本、比特率成本或失真成本和比特率成本的某种组合方面优选的选项。任何可用的失真度量可被用于失真成本。任何可用的比特率度量可被用于比特率成本。其它因素(诸如算法编码复杂度、算法解码复杂度、资源使用和/或延迟)也可能影响关于哪些选项为“最佳”的决策。

也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，VERILOG、VHDL、C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。

尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。

Claims (10)

1.一种在HEVC中对当前帧进行编码的方法，包括：

(a)在低延时P帧LDP或低延时B帧LDB或随机接入RA编码配置下读入当前帧；

(b)对所述当前帧进行编码树单元CTU划分；

(c)如果所述当前帧不为I帧，则根据基于编码单元CU相关性的快速模式决策方案和基于编码单元CU相关性的快速参考帧选取方案对所划分的CTU进行编码；

(d)如果当前被编码的CTU不为所述当前帧的最后一个CTU，则获取下一个CTU，并重复步骤(a)到(d)；

其中所述基于编码单元CU相关性的快速模式决策方案指定：在执行帧间预测模式编码时，如果对于深度不为0的当前CU，其父CU的最佳模式为Skip模式，且当前CU在执行完Skip/Merge，Inter_2N×2N后，最佳模式为Skip模式，则确定当前CU的最佳模式为Skip模式，并终止剩余预测单元PU模式的执行；否则，针对当前CU执行全部PU模式；

其中所述基于编码单元CU相关性的快速参考帧选取方案指定：如果深度不为0的当前CU的父CU以Skip模式为最佳模式进行帧间预测模式编码，则在当前CU的每个PU模式执行运动估计过程中，直接选取父CU的最佳参考帧来作为当前模式的最佳参考帧，从而只在该最佳参考帧进行运动估计选出最佳运动矢量。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

如果所述当前帧为I帧，则对所述当前帧执行HEVC标准I帧编码，以对所划分的CTU执行帧内预测编码。

3.一种基于CU相关性来进行帧间预测的方法，包括：

(a)获取具有当前深度的当前CU；

(b)判断当前CU的当前深度是否为0；

(c)如果所述当前深度为0，则对当前CU执行全部的PU模式，并确定和暂存当前CU的最佳模式和最佳参考帧索引；

(d)如果所述当前深度不为0，则判断当前CU的父CU最佳模式是否为Skip模式；

(e)如果当前CU的父CU最佳模式不为Skip模式，则对当前CU执行全部的PU模式，确定当前CU的最佳模式和最佳参考帧索引，并在所述当前深度不为3的情况下，暂存当前CU的最佳模式和最佳参考帧索引；

(f)如果当前CU的父CU最佳模式为Skip模式，则对当前CU执行Skip模式和Inter_2N×2N模式，并确定当前CU的最佳模式；

(g)如果当前CU的最佳模式为Skip模式，并且所述当前深度不为3，则暂存当前CU的最佳模式和最佳参考帧索引；

(h)如果当前CU的最佳模式不为Skip模式，则对当前CU执行剩余的PU模式，确定当前CU的最佳模式和最佳参考帧索引，并在所述深度不为3的情况下，暂存当前CU的最佳模式和最佳参考帧索引；

(i)如果所述当前深度不为3，则针对下一深度重复上述步骤(a)-(h)。

4.如权利要求3所述的方法，其特征在于，对当前CU执行全部的PU模式进一步包括：

针对当前深度小于3的当前CU，对当前CU依次执行Skip/Merge，Inter_2N×2N，Inter_N×2N，Inter_2N×N和非对称划分模式；

针对当前深度为3的当前CU，对当前CU依次执行Skip/Merge，Inter_2N×2N，Inter_N×2N，Inter_2N×N。

5.如权利要求3所述的方法，其特征在于，对当前CU执行剩余的PU模式进一步包括：

针对当前深度小于3的当前CU，对当前CU依次执行Inter_N×2N，Inter_2N×N和非对称划分模式；

针对当前深度为3的当前CU，对当前CU依次执行Inter_N×2N和Inter_2N×N。

6.如权利要求3所述的方法，其特征在于，确定当前CU的最佳模式进一步包括基于每个PU模式的率失真代价(RDC)来选择最佳模式。

7.如权利要求3所述的方法，其特征在于，所述最佳参考帧索引被存储为前向列表和后向列表。

8.如权利要求3所述的方法，其特征在于，对当前CU执行全部的PU模式或对当前CU执行剩余的PU模式进一步包括：

如果所述当前CU的所述当前深度不为0，并且所述当前CU的父CU的最佳模式为Skip模式，则在当前CU的每个PU模式执行运动估计过程中，直接选取父CU的最佳参考帧来作为当前模式的最佳参考帧。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8所述的方法。

10.一种用于基于CU相关性来进行帧间预测的系统，包括：

处理器；

存储器，所述存储器存储有指令，所述指令在被所述处理器执行时能执行如权利要求1-8所述的方法。

Images