CN110049339A - 图像编码中的预测方向选取方法、装置和存储介质 - Google Patents

Abstract

本发明揭示了一种图像编码中的预测方向选取方法、装置和计算机可读存储介质。所述方法包括：根据预测单元相对所在上层编码单元的纹理一致性，构建预测单元对应的参考方向；为构建参考方向的编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量；通过参考方向和初选方向向量，构建精选候选方向向量。由于是根据纹理一致性得到参考方向的，将保证了编码预测最优方向的准确性以及编码预测的效率，进而与初选预测结果结合，有效降低运算复杂性，在所进行的初选方向向量数量修正和由此而存在的精选候选方向向量的调整，避免发生运算过程的浪费，所获得精选候选方向向量在前述参考方向的辅助下包含最优方向的概率最高，增强图像编码性能。

Description

图像编码中的预测方向选取方法、装置和存储介质

技术领域

本发明涉及视频编码技术领域，特别涉及一种图像编码中的预测方向选取方法、装置和计算机可读存储介质。

背景技术

日常工作与生活中，视频中图像编码的需求正在急剧增加，对更高清晰图像画面享受的追求从未停止。通过图像编码的进行实现图像压缩，能够在相同网络带宽条件下提供更高分辨率的显示画面。

随着时间的推移，图像编码的实现也在不停地演变，目前所普及的H.264(高度压缩数字视频编解码器标准)，却在原理上存在着一定的局限性，并无法适应于未来的需求，因此，新的标准，即HEVC编码协议应运而生。

但是，在实际所进行的图像编码实现中，由于HEVC编码协议太复杂，且对机器性能要求比较高，普通机器还不能达到实时编码的能力，进而使得HEVC编码协议在图像编码中的应用受到极大限制。

具体而言，通过HEVC编码协议所实现的图像编码包括编码预测和编码压缩两部分。在所进行的编码预测中，需要逐层进行编码单元的四叉树划分。在每一层上，编码单元都对预测单元遍历HEVC编码协议指定的35个预测方向，从中选取预测方向为所预测的最优方向，以此来获得相应的预测模式，在此编码单元采用所获得的预测模式对预测单元执行编码预测。

所进行预测方向选取分两步实现，即：第一步作为初选，率失真函数采用SATD，通过率失真函数先对35个预测方向进行遍历，获得每一预测方向的率失真代价，按照率失真代价按照从小到大的顺序排序，然后取前几名率失真代价所对应的预测方向与MPM(MostProbableModes，最可能)候选方向组合成新的候选方向；第二步作为精选，率失真函数采用SSD，通过率失真函数对第一步所组合形成的候选方向进行遍历计算，再找出率失真代价最小的方向作为预测的最优方向。预测方向选取的实现需要执行重构，复杂度高且执行速度缓慢。

HEVC编码协议仅仅是一个标准，而落实到代码上则是HM这一官方实现以及x265这一民间实现。在所进行的最优方向预测中，以HM为例，在组合新的候选方向时，取了初选结果中的前N个方向，N的取值与编码单元进行预测的预测单元大小有关。例如，预测单元的大小为64×64像素块、32×32像素块以及16×16像素块时，N的取值为3；预测单元的大小为8×8像素块以及4×4时，N的取值为8。x265与此类似。

由此，在预测单元的大小为8×8像素块或者4×4像素块时，外加上MPM候选方向中包含的左边相邻预测单元所预测而获得的最优方向以及上边相邻预测单元所预测而获得的最优方向，编码单元对预测单元进行编码预测所得到的最优方向至少有10个，对于后续所进行的编码压缩而言，数量还是很大且并无法保证准确性，进而所对应编码速度缓慢且效果不佳。

也就是说，HEVC编码协议下，为实现预测方向的择优选取，为此择优选取的进行预选所预测方向的选取，即预测方向选取的实现中存在着所预测得到的最优方向并不准确的局限性，导致图像编码存在着严重的性能缺陷。

发明内容

为了解决相关技术中编码单元进行单元预测时预测方向的选取难以保证其准确性，使得图像编码存在着严重性能缺陷的技术问题，本发明提供了一种图像编码中的预测向选取方法、装置和计算机可读存储介质。

一种图像编码中的预测方向选取方法，其特征在于，所述方法包括：

在编码单元对预测单元发起的编码预测中，根据所述预测单元相对于所在上层编码单元的纹理一致性，构建所述预测单元对应的参考方向；

为构建所述参考方向的所述编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量；

通过所述参考方向和初选方向向量，构建精选候选方向向量；

其中，所述精选候选方向向量用于在所述编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

一种图像编码中的预测方向选取装置，所述装置包括：

参考方向构建模块，用于在编码单元对预测单元发起的编码预测中，根据所述预测单元相对于所在上层编码单元的纹理一致性，构建所述预测单元对应的参考方向；

初选获得模块，用于为构建所述参考方向的所述编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量；

精选处理模块，用于通过所述参考方向和初选方向向量，构建精选候选方向向量；

其中，所述精选候选方向向量用于在所述编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

在一个示例性实施例中，所述参考方向构建模块，包括：

深度获取单元，用于获取编码单元的深度信息；

上层单元定位单元，用于根据所述深度信息为所述编码单元定位上层编码单元；

预测单元，用于在所述上层编码单元提取所存在预测单元已完成预测而获得的预测方向；

参考构建单元，用于以所述预测方向构建编码单元对所述预测单元进行编码预测所使用的参考方向。

在一个示例性实施例中，所述预测单元进一步用于提取所述上层编码单元对自身预测单元完成编码预测而获得的预测方向。

在一个示例性实施例中，所述预测单元包括：

相邻单元定位子单元，用于确定与编码单元处于相同深度且对应于相同上层编码单元的相邻编码单元；

提取子单元，用于根据已完成预测的相邻编码单元，提取所获得的预测方向。

在一个示例性实施例中，所述初选获得模块进一步用于根据各帧内预选方向下的率失真代价获得所对应率失真代价从小到大排列且符合指定数量的帧内预选方向，获得的所述帧内预选方向为所述预测单元对应的初选方向向量，所述指定数量与所述预测单元对应的尺寸相关。

在一个示例性实施例中，所述图像编码中的预测方向选取装置还包括MPM候选方向获取模块，所述MPM候选方向获取模块用于获取所述预测单元的MPM候选方向，所述MPM候选方向用于与所述参考方向和初选方向向量构建所述预测单元的精选候选方向向量。

在一个示例性实施例中，所述精选调整模块包括：

修正调整控制单元，用于所述精选候选方向向量中根据所述初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息；

初选修正单元，用于所述精选候选方向向量中保留符合修正的初选方向向量数量且率失真代价最小的初选方向向量；

调整执行单元，用于根据所述精选调整控制信息控制所述精选候选方向向量中其它类方向保留或者剔除，获得精选调整后的所述精选候选方向向量。

在一个示例性实施例中，所述其它类方向包括参考方向和MPM候选方向，所述修正调整控制单元包括：

相同方向确定单元，用于确定所述精选候选方向向量中同时属于所述参考方向和/或MPM候选方向的初选方向向量；

修正数量获得单元，用于根据确定的所述初选方向向量减小所述精选候选方向向量中的初选方向向量数量，获得修正的所述初选方向向量数量，修正的所述初选方向向量数量对应于所确定初选方向向量对应率失真代价由小到大的排名；

控制信息生成单元，用于如果所确定初选方向向量同时属于所述参考方向和MPM候选方向，生成仅由修正数量后的初选方向向量构造向量的精选调整控制信息；

所述控制信息生成单元进一步用于如果所确定初选方向向量属于所述参考方向或MPM候选方向，生成由所述参考方向、MPM候选方向和修正数量后的初选方向向量构造向量的精选调整控制信息。

在一个示例性实施例中，所述其它类方向包括参考方向和MPM候选方向，所述精选候选方向向量中根据所述初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息，还包括：

如果所确定初选方向向量均不属于所述参考方向和MPM候选方向，则生成由所述参考方向、MPM候选方向和未修正数量的初选方向向量构造向量的精选调整控制信息。

在一个示例性实施例中，所述调整执行单元进一步用于根据所述精选调整控制信息将所述精选候选方向向量中的所述参考方向和MPM候选方向给予保留或者剔除，形成调整得到的所述精选候选方向向量。

一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据如前所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据如前所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

编码单元对预测单元所发起的编码预测中，首先根据预测单元相对于所在上层编码单元的纹理一致性，构建预测单元对应的参考方向，然后为构建参考方向的编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量，最后通过参考方向和初选方向向量，构建精选候选方向向量帧内预选方向，精选候选方向向量便用于在编码单元进行单元预测时，应用最优代价对应的方向为预测方向，至此，由于预测单元是根据上层编码单元的纹理一致性得到参考方向的，预测单元作为一图像区域，与上层编码单元以及相邻预测单元所对应图像区域存在着大致相同的纹理方向，因此，参数方向的引入将能够为预测方向的择优选取有效缩小预测方向的择优选取范围，将保证了后续可供进行择优选取的精选候选方向向量的准确性以及编码预测的效率，除此之外，以根据率失真代价而由帧内预选方向所形成初选方向向量为初选预测结果，有效降低了运算复杂性，所获得精选候选方向在前述参考方向的辅助下包含最优方向的概率最高，编码单元进行单元预测时预测方向的选取得以保证准确性，将有效增强图像编码性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的本发明所涉及的实施环境的示意简图；

图2是根据一示例性实施例示出的一种装置的框图；

图3是根据一示例性实施例示出的一种图像编码中的预测方向选取方法的流程图；

图4是根据图3对应实施例示出的对步骤310的细节进行描述的流程图；

图5是根据图4对应实施例示出的对步骤315的细节进行描述的流程图；

图6是根据图3对应实施例示出的对根据所述参考方向和帧内初选方向向量进行所述精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向向量调整步骤的细节进行描述的流程图；

图7是根据图6对应实施例示出的对步骤401的细节进行描述的流程图；

图8是根据一示例性实施例示出的编码单元还未进行四个子编码单元划分时的示意简图；

图9是根据图8对应实施例示出的属于同一个上层编码单元的四个子编码单元相对位置索引的示意图；

图10是一示例性实施例示出的一种图像编码中的预测方向选取装置的框图；

图11是根据图10对应实施例示出的对参考方向构建模块的细节进行描述的框图；

图12是根据图11对应实施例示出的对预测单元的细节进行描述的框图；

图13是根据图10对应实施例示出的对精选调整模块的细节进行描述的框图；

图14是根据图10对应实施例示出的对修正调整控制单元的细节进行描述的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的本发明所涉及实施环境的示意简图。在一个示例性实施例中，如图1所示的，本发明所涉及的实施环境是视频服务器110以及用户终端设备130。

视频服务器110用于提供视频应用服务，以使用进行视频服务器110访问的用户终端设备130得以运行此视频应用服务。

此时，视频服务器110将通过本发明所实现的预测方向选取，执行编码预测和编码压缩，获得视频序列所对应的码流，并向用户终端设备130进行视频传输，进而通过高清晰度和高压缩率的视频编码数据进行解码之后，在用户终端设备130所运行视频应用服务中显示高清晰度的图像画面。

本发明所涉及的实施环境，除了包括执行图像编码的视频服务器110之外，还包括向此用户终端设备130进行视频传输的机器，例如，其它用户终端设备等，在此不一一进行列举。

图2是根据一示例性实施例示出的一种装置的框图。例如，装置200可以是图1所示的视频服务器。

参照图2，该装置200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)222(例如，一个或一个以上处理器)和存储器232，一个或一个以上存储应用程序242或数据244的存储介质230(例如一个或一个以上海量存储设备)。其中，存储器232和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器222可以设置为与存储介质230通信，在装置200上执行存储介质230中的一系列指令操作。装置200还可以包括一个或一个以上电源226，一个或一个以上有线或无线网络接口250，一个或一个以上输入输出接口258，和/或，一个或一个以上操作系统241，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。下述图3、图4、图5、图6和图7所示实施例中所述的由视频服务器所执行的步骤可以基于该图2所示的装置结构。

图3是根据一示例性实施例示出的一种图像编码中的预测方向选取方法的流程图。该图像编码中的预测方向选取方法，适用于前述所示实施环境中的视频服务器110，或者其它用户终端设备，视频服务器110在一个示例性实施例中可以是图2所示的装置。

如图3所示，该图像编码中的预测方向选取方法，至少包括以下步骤。

在步骤310中，在编码单元对预则单元发起的编码预测中，根据预测单元相对于所在上层编码单元的纹理一致性，构建预测单元对应的参考方向。

其中，首先应当说明的是，进行预测方向选取进而完成编码的图像，是视频序列中的I帧(I-frame)，亦称之为帧内编码帧，也可以是图片编码，还可以是任一需要进行帧内编码的图像，在此不进行限定。

I帧，或者图像编码所进行的帧内编码，是在不需要参考图像基础上进行的独立编码。应当理解，视频序列中的第一帧图像通常是一帧I帧。在视频传输中，如果所传输的码流受到损坏，I帧往往被用作视频的起点。具体的，I帧将用于通过视频传输而实现的视频应用服务中快进、回放以及所视频视频场景变化监测等。但由此当然会造成更多的带宽消耗，因此需要通过本发明所进行的图像编码而尽可能的降低带宽消耗，从而得以获得最优的图像效果，即，由于I帧代表着整帧图像，并不会产生伪影，故能够得到最优画质。

HEVC编码协议下，编码器在执行帧内或者帧间预测之前，先将图像切割成相互独立的编码单元(Code Unit，简称CU)。具体而言，帧内预测时，对64×64像素块的最大编码单元进行四叉树划分，划分深度与设定的深度信息相符，进而形成若干层编码单元。

随着进行四叉树划分的划分深度不断递增，划分深度所对应层级上的编码单元在尺寸上不断减小，直至划分到深度信息所指的最大划分深度，获得所对应层级上的最小编码单元。

编码单元有着所关联的预测单元，编码单元的编码预测是针对于所关联预测单元进行的，而完成编码预测之后所进行的编码压缩则是对此编码单元所关联的变换单元执行的。

无论何种层级所对应的编码单元，在所进行的编码预测中都需要对关联预测单元发起编码预测。

综上所述的，编码单元包括最大编码单元以及其它大小的编码单元，为了提高编码单元大小的灵活性，进行编码单元的不同尺寸设置，以适应于不同深度。图像编码的进行，是以编码单元为单位的，编码单元将对自身所划分的预测单元执行编码预测，也将对自身所划分的变换单元执行编码压缩。

图像中通过四叉树划分而逐层获得的编码单元，对于最大编码单元而言，其内部纹理往往十分复杂，直接进行预测会产生较大残差，因此，需要继续进行四叉树划分，随着划分的逐层进行，划分后得到的编码单元尺寸更小，纹理更简单，适用于下一步的预测。

图像中分布着若干编码单元，这些编码单元将独立同步的进行图像编码，由此，也将使得编码速度能够得到保证甚至于加快。

由于编码单元是在最大编码单元内逐层划分而获得的，例如，一编码单元被执行四叉树划分而获得对应于下一层的四个编码单元，因此，下一层的四个编码单元与上层编码单元存在着纹理特性的一致性，根据所具备的纹理一致性来为编码单元所进行的编码预测构建预测单元对应的参考方向。

根据纹理一致性而准确获得的参考方向，作为图像编码中存在的预测方向，将为后续预测最优方向的进行提供辅助以及参考，至此为后续预测方向的选取中，真正选取到最优方向奠定基础。

在步骤330中，为构建参考方向的编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量。

其中，初选方向向量是对HEVC编码协议下的35个帧内预选方向根据率失真代价初步选取得到的方向，其数量的多少将取决于预测单元的尺寸大小。在一个示例性实施例中，所采用的率失真代价为STAD(Sum of Absolute Transformed Difference)率失真代价函数所计算得到的。应当理解，对于一帧内预选方向而言，其所对应率失真代价越小，则此帧内预选方向成为所预测最优方向的可能性越高。

在编码单元进行的编码预测中，根据HEVC编码协议下35个帧内预选方向在预测单元所分别对应的率失真代价，形成包含率失真代价最小的若干个帧内预选方向的初选方向向量。

通过此示例性实施例，实现了图像中编码单元对预测单元执行编码预测所需要预测方向的初步选取。

在步骤350中，通过参考方向和根据率失真代价由帧内预选方向而形成的初选方向向量，构建精选候选方向向量，精选候选方向向量用于在编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

其中，在预测单元的编码预测中，此预测单元经由步骤310而构建的参考方向与初选方向向量，进行自身所对应精选候选方向向量的构建，获得包含有参考方向和初选方向向量的精选候选方向向量。

精选候选方向向量由若干个方向构成，将作为预测单元编码预测中最优结果所包含方向的方向候选集合，编码预测所需要的最优方向存在于精选候选方向向量中。

当然，应当说明的是，对于精选候选方向向量，除了包含有参考方向以及初选方向向量之外，还可包含了此预测单元所对应的MPM候选方向。

与之相对应的，在另一个示例性实施例中，步骤330之前，该图像编码中的预测方向选取方法还包括：

获取预测单元的MPM候选方向，MPM候选方向用于与参考方向和初选方向向量构建预测单元的精选候选方向向量。

至此，便在构建精选候选方向向量时，使得预测单元的MPM候选方向与前述所指的参考方向、初选方向向量一并形成精选候选方向向量。

具体的，MPM候选方向，亦称之为最可能候选方向，将为预测单元中编码预测的进行提供了三种最可能的帧内预选方向，即，上方、左方和左上方。将精选候选方向向量的构造延伸到MPM候选方向，进一步扩展了编码预测所应当考虑的每一方面因素，避免精选候选方向向量存在着方向的遗漏。

在另一个示例性实施例中，在步骤350之后，该图像编码中的预测方向选取方法，还包括：

根据参考方向和帧内预选方向进行精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量修正的精选候选方向调整。

其中，如前所述的，通过步骤310至步骤350而构造了精选候选方向向量，在此之后，需对精选候选方向向量中包含的初选方向向量在数量上进行修正，并基于所包含的初选方向向量进行其它类方向的调整，以保证最优方向能够包含于其中，并且数量得到减少，以同时保证编码速度。

应当理解，精选候选方向向量是根据不同维度，诸如基于纹理一致性的参考方向，初选方向向量甚至于MPM候选方向，来构建得到。所构造的精选候选方向向量中，虽然各类方向对应着不同的维度，但是有必要在参考方向和MPM候选方向的辅助下进行初选方向向量的修正，并且相应使用修正的初选方向向量而进行精选候选方向向量中参考方向和MPM候选方向的调整，进而进一步缩小后续所进行编码预测最优方向选取的范围，提高预测方向选取效率和准确性。

例如，初选方向向量中，率失真代价最小的top1所对应帧内预选方向，在此精选候选方向向量的参考方向和/或MPM候选方向中存在着top1所对应帧内预选方向的相同方向，此时，将以此为依据而进行着精选候选方向向量中所包含初选方向向量的修正，并且top1所对应帧内预选方向在参考方向和/或MPM候选方向中的存在情况，例如，在参考方向和MPM候选方向都存在着相同方向，则说明无论参考方向、MPM候选方向，还是初选方向向量，都指向着top1所对应帧内预选方向为最优方向。换而言之，top1所对应帧内预选方向为最优方向的可能性非常高，进而调整精选候选方向向量仅保留top1所对应帧内预选方向即可。

又例如，仅在参考方向或者MPM候选方向存在相同方向，则进行初选方向向量修正的同时，对于修正后存在于精选候选方向向量中的初选方向向量，则与参考方向、MPM候选方向构成调整后的精选候选方向向量。

根据所存在重复方向在精选候选方向向量中的方向处理，包括：所选用初选方向向量的数量修正，以在数量上精选候选方向向量中初选方向向量的控制，除此之外，还包括指定是否对精选候选方向向量中的其它类方向调整以及如何调整的精选调整控制信息生成。

在完成修正和调整之后，即可为预测方向的择优选取缩小方向选取范围，并且也使得精选候选方向向量所包含方向数量以及最优方向预测的准确性、可靠性都是可控的，并且得以兼顾编码速度和图像画面效果，避免出现顾此失彼的情况。

图像中各层级编码单元都进行着预测单元的预测方向选取，进而完成整个编码预测过程，以此类推，便完成了整个图像的编码预测。

在实际所进行的图像编码实现中，往往由于HEVC编码协议太复杂，且对机器性能要求高，普通机器还不能达到实时编码的能力，由便使得HEVC编码协议在图像编码中的应用受到非常大的限制。

而通过如上所述的示例性实施例，在更为精准的预测最优方向的同时，也使得编码预测所获得最优结果包含方向数量大大减少，进而使得编码速度得到加速，既保证了预测精确性又大幅提高编码速度，从而可在普通机器中实现实时编码，并且消除了HEVC编码协议在图像编码中的应用受限的原因。

至此，通过如上所述的示例性实施例，便得以为用户实现实时编码且高清晰度的视频应用服务，显示减少了存储和分发成本，为更高清晰度的内容进行消费层铺平道路。

图4是根据图3对应实施例示出的对步骤310的细节进行描述的流程图。该步骤310，如图4所示，至少包括以下步骤。

在步骤311中，获取编码单元的深度信息。

其中，如前所述的，编码单元是通过图像中进行的四叉树划分所得到的。对于图像而言，每一深度都有相应的编码单元，因此，在以编码单元为单位而进行的图像编码中，为实现预测方向的选取，首先进行所对应深度信息的获取。

所获取编码单元的深度信息，指示了此编码单元所在的深度。

在步骤313中，根据深度信息为编码单元定位上层编码单元。

其中，深度信息指示了具体的数值，例如，0～3之间的数值，并且每一编码单元都有唯一对应的深度信息。对于发起预测单元中编码预测的编码单元而言，根据自身所对应的深度信息，其它编码单元所对的深度信息，以及各自在图像中的位置映射，确定此编码单元的上层编码单元。

在步骤315中，在上层编码单元提取所存在预测单元已完成预测而获得的预测方向。

其中，应当理解，发起预测单元中编码预测的编码单元，是在上层编码单元划分得到的，上层编码单元所进行的四叉树划分，除了当前所指的编码单元之个，还由这一上层编码单元划分得到其它编码单元。

因此，将根据上层编码单元和其它编码单元获得编码单元进行预测单元中编码预测所对应的预测方向。

此过程的执行将在纹理一致性这一维度上为编码单元进行预测单元中的编码预测的执行提供可选且具备参考性的预测方向。

对于发起编码预测的预测单元而言，其与上层编码单元存在着纹理一致的特性，此预测单元所在的编码单元是归属于上层编码单元的，预测单元是由上层编码单元进行四叉树划分所得到一编码单元的一部分，此编码单元由于出自于上层编码单元，因此也与上层编码单元具备纹理一致性。

上层编码单元所进行的四叉树划分除了得到当前所指编码单元之外，还得到了其它编码单元。当前所指编码单元由于与其它编码单元都是出自于上层编码单元的，因此，也具备着纹理一致性。

基于此，将利用上层编码单元所相关预测单元和/或其它编码单元所相关预测单元完成编码预测而确定的方向作为当前预测单元预测的最优方向，并以此为参考，准确进行其它维度所存在预测方向的选取，进而形成预测单元完成编码预测的最优结果。

在一个示例性实施例，步骤315，至少包括：提取上层编码单元对自身预测单元完成预测而获得的预测方向。

其中，无论哪一层编码单元，都有其所相关的预测单元。编码单元是通过深度不断递增的四叉树划分在上层编码单元基础上获得的，编码单元所相关的预测单元，将以上层编码单元所相关预测单元为参考，利用上层编码单元做此编码单元所相关预测单元的最优方向预测。

也就是说，将上层编码单元所相关预测单元完成最优方向预测的方向，作为编码单元所相关预测单元可选为最优方向的预测方向。

在另一个示例性实施例中，步骤315也将根据预测单元的相邻预测单元进行此预测单元自身最优方向的预测。具体的，图5是根据图4对应实施例示出的对步骤315的细节进行描述的流程图。该步骤315，如图5所示，至少包括以下步骤。

在步骤3151中，确定与编码单元处于相同深度且对应于相同上层编码单元的相邻编码单元。

在步骤3153中，根据已完成预测的相邻编码单元，提取所获得的预测方向。

其中，如前所述的，编码单元与其相邻编码单元由于对应着相同上层编码单元，所以具备着纹理一致性，除此之外，二者相互邻接，具备非常高的相似性，所以可以利用属于同一上层编码单元的相邻，且已完成编码预测的编码单元做当前所指编码单元相关预测单元预测的最优方向。

由此而获得的预测方向，也成为当前编码单元进行预测单元中编码预测的可选方向，也是预测的最优方向。

在步骤317中，以预测方向构建编码单元对预测单元进行编码预测所使用的参考方向。

其中，通过上层编码单元和/或相邻编码单元而获得的预测方向，即为当前编码单元进行预测单元中编码预测而预测的最优方向，同时也将作为确定由其它维度而获得预测方向是否预测为最优方向的依据，进一步提高其它最优方向预测的准确性。

具体的，在HEVC编码协议下，当前编码单元所对应的相邻编码单元包括，位于上方的编码单元、位于左方的编码单元以及位于左上方的编码单元。所有HEVC预测模式都是使用相邻编码单元进行预测的，与之相对应的，所对应的最优方向预测也将根据相邻编码单元进行。

通过如上所述的示例性实施例，为图像编码中最优方向的预测提供参考，使得所进行的最优方向预测不再简单粗暴的由初选方向向量等直接获得，得以有效准确的减少后续方向的择优选取所需要面向的方向，使得所进行的编码预测具备非常强的针对性，能够直接缓解图像编码中编码速度缓慢的限制。

在另一个示例性实施例中，该图像编码中的预测方向选取方法，在执行步骤330之前，还包括以下步骤。

根据各帧内预选方向下的率失真代价获得所对应率失真代价从小到大排列且符合指定数量的帧内预选方向，获得的帧内预选方向为预测单元所对应的初选方向向量，指定数量与预测单元对应的尺寸相关。

其中，如前所述的，HEVC编码协议下，指定了35个帧内预选方向，对于编码单元进行预测单元的编码预测而方，将在这35个帧内预选方向中进行所预测最优方向的初选。

在此应当理解的，该图像编码中的预测方向选取，包括两大部分的预测方向选取实现。一部分是进行上层编码单元以及相邻编码单元所相关的预测方向选取，此时所获得的预测方向往往视为最优方向的择优选取方向；另一部分则是帧内预选方向的初步选取。

根据率失真代价而进行的帧内预选方向选取，是通过引入率失真函数而构建的评价函数，对35个帧内预选方向，即0至34共35个预测方向，做初选预测计算，获得每一帧内预选方向对应的率失真代价。

将初选预测所得到的率失真代价按照从小到大的顺序排列，根据所获得率失真代价的排列序列，获得对应帧内预选方向在率失真代价上从小到大的排序，在根据所对应率失真代价从小到大排列的帧内预选方向中，提取指定数量的帧内预选方向，以此来获得指定数量个率失真代价最小的帧内预选方向，随之形成预测单元所对应的初选方向向量。

所形成初选方向向量的帧内预选方向数量，即指定数量，按照预测单元对应的尺寸大小分别对应于具体数值。随着预测单元所对应尺寸的减小，所对应的帧内预选方向数量逐步递增，直至最大数值。这是由于对帧内预选方向的择优选取中，选中大尺寸预测单元所对应帧内预选方向的概率较低，所以大尺寸预测单元所对应初选方向向量中帧内预选方向的数量最小，进而避免不必要的编码过程；而随着预测单元尺寸的减小，其帧内预选方向成为最优方向的概率得到提升，因此，随之提高初选方向向量中帧内预选方向数量。

在一个示例性实施例的具体实现中，如果预测单元的尺寸为64×64像素块、32×32像素块，则指定数量对应的数值为1；如果预测单元的尺寸为16×16像素块，则指定数量对应的数值为2，其余更小尺寸的预测单元，指定数量对应的数值为3。

至此，便随着初选预测计算的进行，实现预测单元对帧内预选方向的初步选取，将存在着最优方向可能性的帧内预选方向都选取出来，以避免遗漏，便于在后续的精选过程能够在包含了最优方向的所有可能性的初选方向向量中进行，保证选取的准确性和可靠性。

图6是根据图3对应实施例示出的对根据所述参考方向和帧内初选方向向量进行所述精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向向量调整步骤的细节进行描述的流程图。该步骤，如图6所示，至少包括以下步骤。

在步骤401中，精选候选方向向量中根据初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息。

其中，在通过步骤310至步骤350的执行，经由所获得的参考方向、初选方向向量，甚至于MPM候选方向构建得到精选候选方向向量之后，即可进行所构造精选候选方向向量在初选方向向量上的修正以及针对于其它类方向的调整。

在一个示例性实施例中，初选方向向量在数量上的修正，与所存在初选方向向量同时属于参考方向和/或MPM候选方向，及此初选方向向量相对于其它初选方向向量在率失真代价上的大小相对应关系相关。

在步骤403中，精选候选方向向量中保留符合修正的初选方向向量数量且率失真代价最小的初选方向向量。

其中，在获得精选候选方向向量所对应的修正的初选方向向量数量之后，即可在精选候选方向向量中按照率失真代价从小到大的顺序，保留与修正的初选方向向量数量相符合的初选方向向量，即修正的初选方向向量数量个率失真代价最小的初选方向向量，其它初选方向向量则予以剔除。

在步骤405中，根据精选调整控制信息控制精选候选方向向量中其它类方向保留或者剔除，获得精选调整后的精选候选方向向量。

其中，在完成了精选候选方向向量中初选方向向量数量的修正之后，便在精选调整控制信息的控制下对精选候选方向向量所存在的其它类方向进行保留或者剔除处理，以保留最优方向可能性最高的预测方向的同时，尽可能减少包含的方向数量。

由此而获得的精选候选方向向量便包含了预测单元所进行编码预测的最优方向，并且兼顾了预测单元所关联编码单元在变换单元的编码压缩，提高编码数度并且也保证了非常高的压缩率以及清晰度。

图7是根据图6对应实施例示出的对步骤401的细节进行描述的流程图。在一个示例性实施例中，其它类方向包括参考方向和候选方向，如图7所示的，步骤401包括：

在步骤4011中，确定精选候选方向向量中同时属于参考方向和/或MPM候选方向的初选方向向量。

在步骤4013中，根据确定的初选方向向量减小精选候选方向向量中的初选方向向量数量，获得修正的初选方向向量数量，修正的初选方向向量数量对应于所确定初选方向向量对应率失真代价由小到大的排名。

在步骤4015中，如果所确定初选方向向量同时属于参考方向和MPM候选方向，生成仅由修正数量后的初选方向向量构造向量的精选调整控制信息。

在步骤4017中，如果所确定初选方向向量属于参考方向或MPM候选方向，生成由参考方向、MPM候选方向和修正数量后的初选方向向量构造向量的精选调整控制信息。

其中，通过步骤330的执行，至少为预测单元初步选取得到一个或者几个帧内预选方向作为初选方向向量，针对于每一初选方向向量，都进一步判断其在参考方向和/或MPM候选方向是否存在着相同方向。

如果参考方向和MPM候选方向都存在着这一初选方向向量，则根据这一初选方向向量所对应率失真代价的大小情况，例如，这一初选方向向量所对应的率失真代价最小，或者这一初选方向向量所对应率失真代价次小之，修正所输出精选候选方向向量中包含初选方向向量的数量，即获得修正的初选方向向量数量。

初选方向向量数量的修正，是使得初选方向向量数量减少的操作，例如，所进行的初选方向向量数量修正，将使得初选方向向量数量减少一个，这将使得率失真代价最大的初选方向向量被去除。

具体的，所有帧内预选方向分别进行初选预测计算而获得率失真代价，并按从小到大顺序排列，则对应排列位置1，2，……，35分别用top1，top2，……，top35来表示，其对应帧内预选方向分别用mode_top1，mode_top2，……，mode_top35表示。

此时，如果top1对应的方向mode_top1，同时也存在于参考方向和MPM候选方向中，则将修正的初选方向向量数量配置为1，并且指定mode_top1为精选候选方向向量中唯一包含的预测方向，即修正和调整所得到的精选候选方向向量mode_candidate＝{mode_top1}。

如果top2对应的方向mode_top2，同时存在于参考方向和MPM候选方向，则配置修正的初选方向向量数量为2，并且指定mode_top2以及相对于mode_top2拥有更小率失真代价的方向mode_top1为调整后精选候选方向向量中的两个预测方向，即修正和调整所得到的精选候选方向向量mode_candidate＝{mode_top1，mode_top2}。

至此，为精选候选方向向量的最终获得而生成可控且准确提供了最为有效的修正的初选方向向量数量和精选调整控制信息，使得编码单元做预测单元预测的最优结果具有最高概率。

进一步的，步骤401还包括：如果所确定初选方向向量均不属于参考方向和MPM候选方向，则生成由参考方向，MPM候选方向和未修正数量的初选方向向量构建向量的精选调整控制信息。

其中，在对所构造精选候选方向向量进行精选调整中，也可能存在着初选方向向量都不属于参考方向和MPM候选方向的情况，至此，对于初选方向向量数量的修正而言，将不再存在其数量修正的依据，所相应进行的其它类方向调整，也不再存在依据，因此，将不再进行精选调整，直接应用由参考方向、MPM候选方向以及未进行数量修正的初选方向向量来构造的精选候选方向向量。

与之相对应的，步骤405进一步包括：根据精选调整控制信息将精选候选方向向量中的参考方向和MPM候选方向给予保留或者剔除，形成调整得到的精选候选方向向量。

如前所述的，在对35个帧内预选方向执行初步预测计算获得每一帧内预选方向所对应率失真代价之后所进行的帧内预选方向初步选取，是根据与预测单元所对应尺寸相关的指定数量进行的。例如，如前所述的，预测单元的尺寸为64×64像素块、32×32像素块时，精选候选方向向量中初选方向向量数量为1；预测单元的尺寸为16×16像素块时，精选候选方向向量中初选方向向量数量为2，其余更小尺寸的预测单元，精选候选方向向量中初选方向向量数量为3。

至此，进行初选方向向量数量削减的修正，将是在此基础上进行的。在此初选方向向量数量修正的实现中，必然要考虑修正的精准性，即所剔除的初选方向向量必然是预测为最优方向的概率最低的，并且修正的初选方向向量数量也应当是基于预测单元尺寸以及原有的初选方向向量数量。

因此，所进行的初选方向向量修正将适应于预测单元的尺寸而控制精选候选方向向量中存在的初选方向向量最少化，细化精选修正初选方向向量数量，保证初选方向向量数量修正的准确性。

例如，将第一指定尺寸限值配置为数值32，第二指定尺寸限值配置为数值16。

根据在参考方向或者MPM候选方向上存在相同方向的初选方向向量，来确定是否进行修正的初选方向向量数量的具体数值，此数值是与预测单元所对应尺寸相适应的。

而一旦进行了初选方向向量数量的修正，则必然会根据所获得的修正的初选方向向量数量，在精选候选方向向量中保留与修正的初选方向向量数量相符的最小率失真代价所对应初选方向向量。

进一步详细阐述的，对于较大尺寸预测单元，例如，尺寸小于32×32像素块且大于16×16像素块的预测单元，最终择优选择所对应初选方向向量为最优方向的可能性随着率失真代价的增大急剧减小，进而将其初选方向向量数量修正为与最大尺寸预测单元，例如64×64像素块，即修正的初选方向向量数量为1，避免对计算资源以及编码速度的耗费。

而对于小尺寸预测单元，例如，尺寸小于16×16像素块的预测单元，其在精选候选方向向量中存在的初选方向向量仍然太多，故需要尽可能的削减数量，以控制编码速度的提升。

与之相对应的，至此，对于尺寸小于32×32像素块且大于16×16像素块的预测单元，所获得的修正的初选方向向量数量为1；对于尺寸小于16×16像素块的预测单元，所获得的修正的初选方向向量数量为2。

获得了获得的修正的初选方向向量数量之后，将在精选候选方向向量中保留与获得的修正的初选方向向量数量相符的最小率失真代价所对应初选方向向量。

例如，对于一预测单元而方，如果mode_top1在参考方向和/或MPM候选方向存在相同方向，则获得的修正的初选方向向量数量为1，此时在精选候选方向向量保留最小率失真代价对应的初选方向向量，即前述所列举的mode_top1被保留。

对于另一预测单元而言，其mode_top2在参考方向和/或MPM候选方向存在相同方向，则获得的修正的初选方向向量数量为2，此时，在精选候选方向向量保留两个最小率失真代价对应的初选方向向量，即前述所列举的mode_top1和mode_top2。

至此，如果初选方向向量仅在参考方向或者MPM候选方向这两类方向中的任一类方向存在相同方向，所保留的初选方向向量便与参考方向、MPM候选方向形成调整后的精选候选方向向量。

如果初选方向向量在参考方向和MPM候选方向这两类方向中都存在着相同方向，则仅在精选候选方向向量保留初选方向向量，剔除参考方向和MPM候选方向。

通过此示例性实施例，将大幅降低所需要进行的计算次数，进而大幅提高编码速度。

通过如上所述示例性实施例，实现了图像编码中的预测方向选取，即根据预测单元的参考方向，相邻块推导所得到的候选方向，即MPM候选方向，以及初选方向向量，来构造当前预测单元参与精选的候选方向向量，使得所获得精选候选方向向量个数变少，且更为合理。

通过如上所述的示例性实施例，达到了压缩率少许下降，就可使得编码速度显示提升。

以I帧所对应图像编码为例，结合I帧来描述上述图像编码中的预测方向选取实现过程。在此，I帧的图像编码将在HM编码器中进行，对于其中所涉及的编码预测，将是通过本发明的实现完成的。

对于编码预测，是图像中编码单元对预测单元执行的。在此预测单元首先进行预测方向的选取，所选取预测方向对应的预测模式便用于执行此预测单元的编码预测，以此类推，方能够完成整个图像的编码预测。

具体而言，通过HEVC编码协议所进行的图像编码过程包括：将一帧图像送入到编码器，编码器获得此帧图像对应输入数据，先经过预测而得到预测值，取输入数据与预测值之间的差值获得残差，然后进行变换和量化得到残差系数，最后进行熵编码输出码流，至此，便实现了图像的编码，进而即可将输出的码流传输至用户侧，为用户提供相应的图像应用服务。

与此同时，对残差系数经过反量化反变换之后得到重构图像的残差值，再与预测值相加，就得到了重构图像，将重构图像进行环内滤波之后，进行参考帧队列，以作为下一帧的参考图像，从而一帧帧向后编码。

I帧是全帧压缩编码帧，将对全帧图像信息进行编码压缩后传输，因此，所进行的预测是通过帧内预测而实现的。

对I帧而进行的预测方向选取，包括三大部分的进行，一是参考方向的构造；二是精选候选方向向量的构造，三是精选候选方向向量的修正和调整。

(一)参考方向的构造；

根据当前编码单元的深度信息，自适应选择上层编码单元或者对应于此上层编码单元的相邻编码单元，记录下其预测方向，以用于构造当前编码单元做预测单元预测时的参考方向。

当前预测单元的参考方向记作mode_ref。

进一步阐述的，图8是根据一示例性实施例示出的编码单元还未进行四个子编码单元划分时的示意简图，如图8所示的，首先记录编码单元还未做四个子块，即四叉树划分时相关预测的最终预测方向，记作mode_up。

对于64×64像素块的编码单元，因为是顶层，并没有上层编码单元，且最终端择优选中所相关预测单元，即64×64像素块的预测单元概率较低，因此在后续所构造精选候选方向向量中，只有MPM候选方向和初选方向向量组成。

而从32×32像素块的编码单元开始，均可以拿到上层编码单元和同属于这一上层编码单元的相信子编码单元所相关的信息，因此，在构造参考方向时，第一步将是获取上层编码单元做预测单元预测的最终预测方向，即mode_up。

图9是根据图8对应实施例示出的属于同一个上层编码单元的四个子编码单元相对位置索引的示意图。而当前编码单元，则是这四个子编码单元中的一个，图9中标注的数值用于指示子编码单元的位置坐标，亦称之为子编码单元的索引。

在由第一步获得上层编码单元的mode_up之后，根据图8所示的位置坐标，获得相邻子编码单元已做预测单元预测的最终预测方向，这四个子编码单元完成预测单元预测而获得的最终预测方向记作mode_0、mode_1、mode_2和mode_3。

具体的，如果当前子编码单元的索引为0，则参考方向只有上层编码单元做预测单元预测的最终预测方向，即，mode_ref＝{mode_up}。

如果当前子编码单元的索引为1，则参考方向为上层编码单元已做预测单元预测的最终预测方向，即，mode_ref＝{mode_up，mode_0}。

如果当前子编码单元的索引为2，则参考方向为上层编码单元已做预测单元预测的最终预测方向，索引为0的子编码单元作为相邻子编码单元而做预测单元预测的最终预测方向，以及索引为1的子编码单元做预测单元聚在测的最终方向，即，mode_ref＝{mode_up，mode_0，mode_1}。

如果当前子编码单元的索引为3，则参考方向为上层编码单元已做预测单元预测的最终预测方向、索引为0的子编码单元已做预测单元预测的最终预测方向、索引为1的子编码单元已做预测单元预测的最终预测方向，以及索引为2的子编码单元已做预测单元预测的最终预测方向，即，mode_ref＝{mode_up，mode_0，mode_1，mode_2}。

(二)精选候选方向向量的构造；

如前所述的，I帧的图像是通过不同深度的四叉树划分而获得编码单元，每一编码单元都有着相关的预测单元(PU，Predict Unit)和变换单元(TU，Transform Unit)。

而应当进一步说明的，对于编码单元进行递归分割，HM编码器提取预测单元分割模式及所对应的深度信息，以执行自身的划分过程。

编码单元将被分割为一个或者4个预测单元，以及多个变换单元。对于编码单元的递归分割，即所四叉树划分的执行，所默认的编码单元深度为0～3，尺寸分别为64×64像素块、32×32像素块、16×16像素块以及8×8像素块，通过四叉树结构使得大尺寸编码单元被分割为小尺寸编码单元。精选候选方向向量的构造，大致分为以下三步：

Step1：以SATD为率失真函数，通过评价函数对0至34，共35个帧内预选方向做初选预测计算。

评价函数为：RDcost＝SATD+λ*bit

其中，RDcost为率失真代价；SATD指示了所采用的率失真代价函数，所对应的数值是对残差进行哈德曼变换后的系数绝对求和；λ是拉格朗日乘子，相当于权值；bit是编码的实际码流，用于指示编码比特率，对于所进行的帧内预测而言，包括对模式、残差等的比特总和。Step2：将RDcost按从小到大排序，所获得的初选方向向量记作mode_first。

RDcost按从小到大排序后，对应位置1，2，……，35，分别用top1，top2，……，top35来表示，其对应方向分别用mode_top1，mode_top2，……，mode_top35表示。

按照设定的初选方向向量个数，即指定数量，获得mode_top1为起始，提取初选方向向量。

Step3：按照参考方向、MPM候选方向和初选方向向量，构造精选候选方向向量，精选候选方向向量记作mode_candidate。

MPM候选方向是属于HEVC编码协议规定，按照当前预测单元的索引获取左边和上边预测单元的最终预测方向。如果左边和上边均不可用或者不存在，则MPM候选方向的个数为0，如果有一个可用，则个数为1，如果均可用，则个数为2，MPM候选方向记作mode_mpm。

预测单元的尺寸为64×64像素块、32×32像素块，则指定数量对应的数值为1；预测单元的尺寸为16×16像素块，则指定数量对应的数值为2，其余更小尺寸的预测单元，指定数量对应的数值为3。

此时，对于64×64像素块的预测单元，获得mode_candidate＝{mode_mpm,mode_top1}；对于32×32像素块的预测单元，获得mode_candidate＝{mode_ref,mode_mpm,mode_top1}；

对于16×16像素块的预测单元，获得mode_candidate＝{mode_ref,mode_mpm,mode_top1,mode_top2}；

对于8×8像素块的预测单元，获得mode_candidate＝{mode_ref,mode_mpm,mode_top1,mode_top2,mode_top3}；

对于4×4像素块的预测单元，获得mode_candidate＝{mode_ref,mode_mpm,mode_top1,mode_top2,mode_top3}。

(三)精选候选方向向量的修正和调整。

具体的，如果top1对应的方向(mode_top1)，同时属于参考方向和MPM候选方向，则精选只做一个方向，即mode_candidate＝{mode_top1}；

其他，如果top2对应的方向，同时属于参考方向和MPM候选方向，则精选只做两个方向，即mode_candidate＝{mode_top1，mode_top2}；

其他，如果当前预测单元对应的尺寸小于32像素块，且top1对应的方向，仅属于参考方向或MPM候选方向其中之一，则初选方向向量个数修正为1，即精选做参考方向、MPM候选方向和top1对应的方向；

其他，如果当前预测单元对应的尺寸小于16像素块，且top2对应的方向，仅属于参考方向或MPM候选方向其中之一，则初选方向向量个数修正为2，即精选做参考方向、MPM候选方向，top1及top2对应的方向；

由此，将使得当前编码单元做预测单元预测的精选候选方向向量具有高概率，即包含最优方向的概率更高，也更为合理。

在由此而对多个视频序列进行的测试中，在编码I帧时，相对优化前，编码速度可以提速45％，压缩比损失为0.4％。提速主要体现在最优结果所包含方向的数量减少，例如，从10多个方向减少为1个或2个，由此也将相应带来计算次数的减少。

下述为本发明装置实施例，可以用于执行本发明上述图像编码中的预测方向选取方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明图像编码中的预测方向选取方法实施例。

图10是一示例性实施例示出的一种图像编码中的预测方向选取装置的框图。该图像编码中的预测方向选取装置，如图10所示，包括但不限于：参考方向构建模块510、初选获得模块530和精选处理模块550。

参考方向构建模块510，用于在编码单元对预测单元发起的编码预测中，根据预测单元相对于所在上层编码单元的纹理一致性，构建预测单元对应的参考方向。

初选获得模块530，用于为构建参考方向的编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量。

精选处理模块550，用于通过参考方向和初选方向向量，构建精选候选方向向量。

其中，精选候选方向向量用于在编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

在另一个示例性实施例中，该图像编码中的预测方向选取装置还包括精选调整模块。

此精选调整模块用于根据参考方向和帧内预选方向进行精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向调整。

图11是根据图10对应实施例示出的对参考方向构建模块的细节进行描述的框图。该参考方向构建模块510，如图11所示，包含但不限于：深度获取单元511、上层单元定位单元513、预测单元515和参考构建单元517。

深度获取单元511，用于获取编码单元的深度信息。

上层单元定位单元513，用于根据深度信息为编码单元定位上层编码单元。

预测单元515，用于在上层编码单元提取所存在预测单元已完成预测而获得的预测方向。

参考构建单元517，用于以预测方向构建编码单元对预测单元进行编码预测所使用的参考方向。

在另一个示例性实施例中，预测单元515进一步用于提取上层编码单元对自身预测单元完成编码预测而获得的预测方向。

图12是根据图11对应实施例示出的对预测单元510的细节进行描述的框图。该预测单元515，如图12所示的，包括但不限于：相邻单元定位子单元5151和提取子单元5153。

相邻单元定位子单元5151，用于确定与编码单元处于相同深度且对应于相同上层编码单元的相邻编码单元。

提取子单元5153，用于根据已完成预测的相邻编码单元，提取所获得的预测方向。

在另一个示例性实施例中，初选获得模块进一步用于根据各帧内预选方向下的率失真代价获得所对应率失真代价从小到大排列且符合指定数量的帧内预选方向，获得的所述帧内预选方向为预测单元对应的初选方向向量，指定数量与预测单元对应的尺寸相关。

在另一个示例性实施例中，该图像编码中的预测方向选取装置还包括MPM候选方向获取模块。

MPM候选方向获取模块，用于获取预测单元的MPM候选方向，MPM候选方向用于与参考方向和初选方向向量构建预测单元的精选候选方向向量。

图13是根据图10对应实施例示出的对精选调整模块的细节进行描述的框图。该修正调整模块600，如图13所示，包括但不限于：修正调整控制单元601、初选修正单元603和调整执行单元605。

修正调整控制单元601，用于精选候选方向向量中根据初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息。

初选修正单元603，用于所述精选候选方向向量中保留符合修正的初选方向向量数量且率失真代价最小的初选方向向量；

调整执行单元605，用于根据精选调整控制信息控制精选候选方向向量中其它类方向保留或者剔除，获得精选调整后的精选候选方向向量。

图14是根据图10对应实施例示出的对修正调整控制单元的细节进行描述的框图。在一个示例性实施例中，其它类方向包括参考方向和MPM候选方向，该修正调整控制单元551，如图14所示，至少包括：相同方向确定单元5511、修正数量获得单元5513和控制信息生成单元5515。

相同方向确定单元5511，用于确定所述精选候选方向向量中同时属于所述参考方向和/或MPM候选方向的初选方向向量；

修正数量获得单元5513，用于根据确定的初选方向向量减小精选候选方向向量中的初选方向向量数量，获得修正的初选方向向量数量，修正的初选方向向量数量对应于所确定初选方向向量对应率失真代价由小到大的排名。

控制信息生成单元5515，用于如果所确定初选方向向量同时属于参考方向和MPM候选方向，生成仅由修正数量后的初选方向向量构造向量的精选调整控制信息。

控制信息生成单元5515进一步用于如果所确定初选方向向量属于所述参考方向或MPM候选方向，生成由参考方向、MPM候选方向和修正数量后的初选方向向量构造向量的精选调整控制信息。

在另一个示例性实施例中，控制信息生成单元5515进一步用于如果所确定初选方向向量均不属于参考方向和MPM候选方向，则生成由参考方向、MPM候选方向和未修正数量的初选方向向量构造向量的精选调整控制信息。

在另一个示例性实施例中，调整执行单元605进一步用于根据精选调整控制信息将精选候选方向向量中的参考方向和MPM候选方向给予保留或者剔除，形成调整得到的精选候选方向向量。

可选的，本发明还提供一种电子设备，该电子设备可以用于前述所示实施环境中，执行图3、图4、图5、图6和图7任一所示的方法的全部或者部分步骤。所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

所述计算机可读指令被所述处理器执行时实现前述方法。

该实施例中的装置的处理器执行操作的具体方式已经在前述方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像编码中的预测方向选取方法，其特征在于，所述方法包括：

在编码单元对预测单元发起的编码预测中，根据所述预测单元相对于所在上层编码单元的纹理一致性，构建所述预测单元对应的参考方向；

为构建所述参考方向的所述编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量；

通过所述参考方向和初选方向向量，构建精选候选方向向量；

其中，所述精选候选方向向量用于在所述编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

2.根据权利要求1所述的方法，其特征在于，所述通过所述参考方向和初选方向向量，构建精选候选方向向量之后，所述方法还包括：

根据所述参考方向和帧内预选方向进行所述精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向调整。

3.根据权利要求2所述的方法，其特征在于，所述在编码单元对预测单元发起的编码预测中，根据所述预测单元相对于所在上层编码单元的纹理一致性，构建所述预测单元对应的参考方向，包括：

获取编码单元的深度信息；

根据所述深度信息为所述编码单元定位上层编码单元；

在所述上层编码单元提取所存在预测单元已完成预测而获得的预测方向；

以所述预测方向构建编码单元对所述预测单元进行编码预测所使用的参考方向。

4.根据权利要求3所述的方法，其特征在于，所述在所述上层编码单元提取所存在预测单元完成编码预测而获得的预测方向，包括：

提取所述上层编码单元对自身预测单元完成编码预测而获得的预测方向。

5.根据权利要求3或4所述的方法，其特征在于，所述在所述上层编码单元提取所存在预测单元已完成预测而获得的预测方向，包括：

确定与编码单元处于相同深度且对应于相同上层编码单元的相邻编码单元；

根据已完成预测的相邻编码单元，提取所获得的预测方向。

6.根据权利要求1所述的方法，其特征在于，所述为构建所述参考方向的所述编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量，包括：

根据各帧内预选方向下的率失真代价获得所对应率失真代价从小到大排列且符合指定数量的帧内预选方向，获得的所述帧内预选方向为所述预测单元对应的初选方向向量，所述指定数量与所述预测单元对应的尺寸相关。

7.根据权利要求1所述的方法，其特征在于，所述通过所述参考方向和根据率失真代价由帧内预选方向而形成的初选方向向量，构建精选候选方向向量之前，所述方法还包括：

获取所述预测单元的MPM候选方向，所述MPM候选方向用于与所述参考方向和初选方向向量构建所述预测单元的精选候选方向向量。

8.根据权利要求1或7所述的方法，其特征在于的，所述根据所述参考方向和帧内初选方向向量进行所述精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向向量调整，包括：

所述精选候选方向向量中根据所述初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息；

所述精选候选方向向量中保留符合修正的初选方向向量数量且率失真代价最小的初选方向向量；

根据所述精选调整控制信息控制所述精选候选方向向量中其它类方向保留或者剔除，获得精选调整后的所述精选候选方向向量。

9.根据权利要求8所述的方法，其特征在于，所述其它类方向包括参考方向和MPM候选方向，所述精选候选方向向量中根据所述初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息，包括：

确定所述精选候选方向向量中同时属于所述参考方向和/或MPM候选方向的初选方向向量；

根据确定的所述初选方向向量减小所述精选候选方向向量中的初选方向向量数量，获得修正的所述初选方向向量数量，修正的所述初选方向向量数量对应于所确定初选方向向量对应率失真代价由小到大的排名；

如果所确定初选方向向量同时属于所述参考方向和MPM候选方向，生成仅由修正数量后的初选方向向量构造向量的精选调整控制信息；

如果所确定初选方向向量属于所述参考方向或MPM候选方向，生成由所述参考方向、MPM候选方向和修正数量后的初选方向向量构造向量的精选调整控制信息。

10.根据权利要求9所述的方法，其特征在于，所述其它类方向包括参考方向和MPM候选方向，所述精选候选方向向量中根据所述初选方向向量在其它类方向中存在的相同方向获得精选调整后方向对应修正的初选方向向量数量和精选调整控制信息，还包括：

如果所确定初选方向向量均不属于所述参考方向和MPM候选方向，则生成由所述参考方向、MPM候选方向和未修正数量的初选方向向量构造向量的精选调整控制信息。

11.根据权利要求9所述的方法，其特征在于，所述根据所述精选调整控制信息控制所述精选候选方向向量中其它类方向保留或者剔除，获得调整得到的所述精选候选方向向量，包括：

根据所述精选调整控制信息将所述精选候选方向向量中的所述参考方向和MPM候选方向给予保留或者剔除，形成调整得到的所述精选候选方向向量。

12.一种图像编码中的预测方向选取装置，其特征在于，所述装置包括：

参考方向构建模块，用于在编码单元对预测单元发起的编码预测中，根据所述预测单元相对于所在上层编码单元的纹理一致性，构建所述预测单元对应的参考方向；

初选获得模块，用于为构建所述参考方向的所述编码单元，获取根据率失真代价由帧内预选方向而形成的初选方向向量；

精选处理模块，用于通过所述参考方向和初选方向向量，构建精选候选方向向量；

其中，所述精选候选方向向量用于在所述编码单元进行单元预测时，应用最优代价对应的方向为预测方向。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

精选调整模块，用于根据所述参考方向和帧内预选方向进行所述精选候选方向向量中的初选方向向量数量修正和包含修正初选方向向量数量后的精选候选方向调整。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至11中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至11中任一项所述的方法。