CN103281541A - 基于深度图像的帧内预测楔形分块方法 - Google Patents

Abstract

本发明提出了基于深度图像的帧内预测楔形分块方法。在一个实施例中，一种在高效视频编码(HEVC)中确定最优帧内预测模式的方法，包括：在四种深度模型模式的直接楔形分割中，在每种预测单元大小的楔形分块形式集合中确定与先前确定的SATD最优模式相对应的一个楔形分块形式子集，对于所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为用于确定最终的最优帧内预测模式的候选模式。

Description

基于深度图像的帧内预测楔形分块方法

联合研究 

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。 

技术领域

本发明涉及图像处理领域，更具体而言，涉及基于3D视频深度图像的快速帧内预测楔形分块方法。 

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(High efficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。 

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。 

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。 

HEVC标准于2013年正式成为国际标准。几个基于HEVC的扩展正在 JCT-VC中讨论，比如3D视频编码。3DV-HTM3.0是HEVC技术的最新的测试模型，该模型中包含了改善了的多视角视频编码算法。差异补偿预测作为运动补偿预测的可选部分，已经加入到测试模型中。为提高纹理编码的视觉质量，QP自适应方法也包含在内。再有就是直接采用用纹理合成失真的改变作为失真的测量方法，进而克服了计算的复杂度。 

在扩展部分，3D视频采用多视角视频和2-3个深度信息表示，这包含了纹理信息以及深度映射。通过采用基于深度图像的合成技术，通过将深度图像和解码视频合成适应于自动立体显示3D内容的图像。尽管深度映射并没有被最终的使用者看到，但是其直接影响着图像的解码。所以，采用一种能够在图像合成减小失真的方法来压缩深度映射是十分重要的。 

在HTM-3.0中，同样采用帧内预测、运动补偿预测、差异补偿预测以及变换编码来压缩深度映射。但是，对于深度映射，一些压缩工具进行了相应的修改。在像素格式下不进行色度编码，并且在包含去块滤波、自适应环形滤波以及像素自适应环形滤波的内部环形滤波在节省深度映射编解码复杂度方面作用很小。对于帧间深度编码，为了克服深度映射参考帧的选择，采用最近-最远的补偿加权预测方法。与HEVC中帧内预测编码不同，深度模型模式(DMM)是用于边缘的帧内预测，用来区分深度映射。为了避免在深度映射中的边缘模糊以及减小编解码的复杂度，运动补偿预测和差异补偿预测均不采用插值。也就是说，对于深度映射，图像间的预测通常采用全部的像素。鉴于来之同一视点的视频信号和其深度是相似的，采用运动参数继承模式处理运动信息以及相应的层间分割预测。 

然而，尽管3D视频编码采用HEVC的帧内预测和深度模型模式(DMM)技术，但是深度模型模式中的直接楔形分块模式在压缩深度映射的时候带来了不必要的复杂度。在深度映射帧内预测中寻找DMM参数，引入了不能接受的时间，其大约是HEVC中编码相应纹理图像所需时间的30倍。 

因此，本申请基于从粗略的模式中，通过带有哈达玛变换(Hadamard Transform)绝对变换误差(SATD，Sum of Absolute Transform Difference)和来获得纹理图片的方法，提出了一种在帧内预测模式中快速进行楔形分块的方案。此方案可以在最低限度的图像质量损失前提下，显著的节省计 算复杂度。 

本申请参考了以下各个文献，这些文献由此引入本文，以作为本文公开内容的一部分。 

_[1]B.Bross，W.J.Han，G.J.Sullivan，J.R.Ohm，T.Wiegand，“High Efficiency Video Coding(HEVC)text specification draft8，”JCTVC-J1003，July，2012. 

_[2]P.Merkle，A.Smolic，K.Müller，and T.Wiegand，“Efficient Prediction Structures for Multiview Video Coding，”IEEE Transactions on Circuits and Systems for Video Technology，vol.17，no.11，pp.1461-1473，November2007. 

_[3]“https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/” 

_[4]G.Tech，H.Schwarz，K.Müller，and T.Wiegand，“3D Video Codingusing the Synthesized View Distortion Change，”PCS，May，2012. 

_[5]K.Müller，P.Merkle，and T.Wiegand，“3-D Video Representation Using Depth Maps”Proceedings of the IEEE，vol99，pp.643-656，2011. 

_[6]P.Merkle，C.Bartnik，K.Müller，and D.Marpe，and T.Wiegand，“3D Video：Depth coding based on inter-component prediction of block partitions”PCS，May，2012. 

_[7]H.Schwarz，K.Wegner，“Test Model under Consideration for HEVC based3D video coding”ISO/IEC JTC1/SC29/WG11MPEG2011/N12559，February，2012. 

_[8]M.Winken，H.Schwarz，and T.Wiegand，“Motion Vector Inheritancefor High Efficiency3D Video plus Depth Coding，”PCS，May，2012. 

_[9]I.K.KIM，K.McCann，K.Sugimoto，B.Bross，W.J.Han，“High Efficiency Video Coding(HEVC)Test Model7(HM7)Encoder Description，”JCTVC-I1002，May，2012. 

_[10]M.M.Zhang，C.Zhao，and J.Z.Xu，“An adaptive fast intra mode decision in HEVC，”ICIP，September，2012. 

_[11]D.Rusanovskyy，K.Müller，A.Vetro，“Common Test Conditions of3DV Core Experiments，”JCT3V-A1100，July，2012 

_[12]ISO/IEC JTC1/SC29/WG11MPEG2011/N12559：Test Model under consideration for HEVC based3D video coding. 

发明内容

本发明提出了一种用于改进帧内预测模式中直接楔形分割(Explicit Wedgelet signaling)的方法、装置和计算机程序产品。 

在一个方面中，一种在高效视频编码(HEVC)中确定最优帧内预测模式的方法，包括： 

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中得到SATD最优模式，并且在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集； 

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的帧内预测模式添加到所述最优帧内预测模式候选子集中； 

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及 

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式， 

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括： 

在所述四种深度模型模式的直接楔形分割中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集； 

针对所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式。 

在另一个方面中，本发明提出了一种装置，处理器，其被配置为： 

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中得到SATD最优模式，并且在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集； 

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的帧内预测模式添加到所述最优帧内预测模式候选子集中； 

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及 

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真 (RDO)计算，以找到最优帧内预测模式， 

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括： 

在所述四种深度模型模式的直接楔形分割中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集； 

针对所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式； 

耦合至所述处理器的存储器，其存储了：所述楔形分块形式集合，以及预先确定的楔形分块形式子集和相关联的HEVC规定的帧内预测模式之间的关联。 

在再另一方面中，本发明提出了一种装置，包括： 

用于针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中得到SATD最优模式，并且在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集的模块，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集； 

用于基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的帧内预测模式添加到所述最优帧内预测模式候选子集中的模块； 

用于针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中的模块；以及 

用于针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式的模块， 

其中，所述用于针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中的模块进一步包括： 

用于在所述四种深度模型模式的直接楔形分割中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集的模块； 

用于针对所确定的针对各个预测单元大小的楔形分块形式子集中 的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式的模块。 

在其他方面中，本发明提出了应用上述技术的计算机程序产品和基于视频编码器。 

附图说明

图1示出了HEVC的编码器框图的一个实施例。 

图2示出了HEVC中关于楔形分块的原理图。 

图3示出了根据本发明的一个实施例的帧内预测楔形分块的原理图。 

图4示出了HEVC中的35种预测方向。 

图5示出了根据本发明的一个实施例的深度图像楔形分块方法的图示。 

图6示出了根据本发明的一个实施例的4×4预测单元楔形分割形式查找表。 

图7A和7B分别示出了根据本发明的一个实施例的帧内预测方向18(135°)，26(90°)和10(180°)对应楔形分割子集。 

图8A示出了根据本发明的一个实施例的用于确定最优帧内预测模式的方法的流程图。 

图8B示出了根据本发明的一个实施例的用于确定最优帧内预测模式的装置的流程图。 

图9示出了根据本发明的一个实施例的硬件装置结构图。 

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。 

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以 是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。 

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。 

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC标准的最优帧内预测模式选择(或称帧内预测选择)。 

I.深度模型模式中的楔形分块 

深度图像通过边界和几乎连续或者是缓慢像素的大范围区域表示。除了HEVC中的35个帧内预测模式，HEVC中的3D视频编码还采用了四种附加的深度模型模式，即Explicit Wedgelet signaling(直接楔形分割)，Intra-predicted Wedgelet partitioning(帧内预测楔形分割)；Inter-component-predicted Wedgelet partitioning(帧间分量预测楔形分割)；Inter-component-predicted Contour partitioning(帧间分量预测轮廓分割)，这四种分割模式的具体描述在以上文献[12]中给出，因此不再赘述。通过在四个模式中选取具有最小失真的最优模式，一幅深度映射采用这种模式来近似表示。此模式将一块区域分割成两个非矩形区域，并采用各自的原始深度信号的平均值作为连续分割值(CPV)。 

A.楔形分块 

楔形分块的目的是采用一条直线将一个预测单元(CU)分成两个非矩形块。图2中(1)所示，这两个区域分别采用P1和P2表示。在不同的预测单元边界上的，由起始点S到终点E构成的直线决定了分割区域。为了 在深度块中采用边界块分割，分割信息存储在分割类型中，它包含了矩阵V_S*V_B的二进制值，如图2中(2)和(3)所示。为了最小失真的计算，这两个区域P1和P2采用两个连续分割值分别表示。 

在图4中示出了根据HEVC-3.0的标准代码定义的4×4预测单元楔形分割形式查找表，其他8×8、16×16和32×32预测单元楔形分割形式也在HEVC-3.0的标准代码中给出，因此在此为了简略起见，不再示出。 

B.直接楔形分割(Explicit Wedgelet signaling) 

直接楔形分割是在编码端进行最优匹配楔形分块的第一次搜索，该搜索通过使用当前块的原始深度信号作为参考，在楔形分块集合中进行，得到原始深度映射和楔形分块估计中最小失真。边界类型表中包含了某一块(32*32，16*16，8*8，4*4)的所有可能的楔形分块类型，并用于全搜索得到最优的分割直线。确切的说，通过表格全搜索，根据楔形分块的均方误差和(SSE)将能够找到最优分割线，但是这个过程成了编码帧内深度映射的负担。 

C.帧内预测楔形分块 

帧内预测楔形分块模式是从适应于相同帧内早先编码块的信息得到的。图3中的起始点是通过上边或者是左边预测单元(PU)的帧内预测得到的，因此，对线和位置的补偿被传送到码流中。所以，主要的复杂度是对终点的搜索。 

为了能够自适应地得到最优分割线，得到起始点的方法与已编码的上块和左块的帧内类型是不同。如果上块或者左块是楔形分块，那么起始点S_P和终点E_P是通过计算块边界延长线的交点预测的，如图3中(1)所示。如果上块或者左块是传统的帧内预测类型，那么终点位置是通过选择对于起始点S_P具有最大坡度和帧内预测方向梯度的像素位置得到的，如图3中(2)所示。 

帧内预测楔形分块的过程比直接楔形分块全搜索简单的多。相反，在剩下的两个DMM中，没有大量的像楔形分块这样的模式，并且容易采用部分间的预测来计算深度块数据和文理图像中相应位置的亮度值的失真。因此，通过采用高效的方法代替不能容忍的直接边界全搜索来降低复杂度是必不可少的。 

II.本发明所提出的快速楔形分块方法 

A.复杂度分析 

基于HEVC的三维(3D)视频编码中，深度图像帧内预测提供35种模式，这些模式需要利用左和上临近预测单元像素预测当前编码单元，而且在进行率失真优化运算步骤时要考虑左边和上边预测单元的最优预测模式。35种预测模式在图3中显示。 

计算最优深度图像帧内预测模式包括以下四个步骤： 

首先，针对当前块，通过进行哈达玛变换对残差处理，在所有35种帧内预测模式中选择多个模式作为帧内预测模式的候选子集。当计算4×4，8×8预测单元时，帧内预测模式子集中保留8种模式，而16×16和32×32预测单元仅保留3种。 

第二步，从当前块的左边和上边的邻近块中提取0-2种最有可能的模式添加到帧内预测模式的候选子集中，其中所述最有可能的模式可以采用任何方式确定，例如，在一个实施例中，可以直接将当前块紧邻的左边和上边的邻近块的预测模式加入候选子集中；在另一个实施例中，对当前块的左边和上边的多个邻近块的预测模式的好坏程度进行排序(例如基于残差)并选择预测模式最优的0-2种预测模式； 

第三步，进行包括直接楔形分割的四种DMM模式运算选出最优模式； 

最后，通过比较以上模式通过率失真优化计算结果得到最优深度图像阵内预测模式。 

直接楔形分割运算的复杂度根据不同预测单元的大小而不同，如以下表1描述。测试所有楔形分割形式可以得到最优的直接楔形分割模式。测试出最优直接楔形分割模式明显需要测试对列表中每一种模式进行计算，甚至在处理32×32时，需要进行1503次计算，这是编码深度图像时不可忍受的。 

表1直接楔形分割运算次数优化前和优化后的对比 

B.深度图像楔形分块改进方法 

由于楔形分块的分割直线和纹理方向在一定程度上具有相关性，我们可以利用SATD最优模式的方向对直接楔形分割各个模式进行简化，消除没有必要的计算，从而减少复杂度。 

本发明的改进的深度图像楔形分块改进方法设计框架如下所示。 

首先，在楔形分割中，将分割预测单元(UC)的楔形分割线设置为从方向上与HEVC帧内预测的一种或两种模式相同。由于该分割线是由楔形分块形式决定，所以将楔形分块形式根据帧内预测方向分成许多楔形分块形式子集，其最大和最小个数在表1中列出。本领域技术人员应该理解的是，将特定尺寸的预测单元的楔形分块集合划分为多个楔形分块子集是依据各个楔形分块子集的楔形分割线(例如，如图2-3中所示的由起始点S到终点E构成的直线)的直线方向与特定帧内预测模式方向(例如图4中所示的35种预测方向)之间的相似度的进行的。其中，本领域技术人员容易理解，图4中所示的35种预测方向中并非每一种预测方向都具有与之相关联的楔形分块子集，例如模式0。 

作为一个更具体的实例，以4×4预测单元为例，参考图4的HEVC预测模式的方向和图6中4×4预测单元楔形分割形式查找表可知：与垂直方向的帧内预测模式对应的楔形分块子集为3、40和77，与帧内预测模式2对应的楔形分块子集为0、5、12、22、51、47，与帧内预测模式24对应的楔形分块子集为0、1、2、3、7、9、79、77、80、55、53、40、49、48、47。 

因此可知，各个帧内预测模式与楔形分块形式直接的关联关系并非是排他性的。而且，这种关联关系是可配置的，而非固定不变的。本领域技术人员显然可以理解，可以根据对计算复杂度以及编码质量的折中来设置该关联关系。 

然后，在计算深度模型模式(DMM)前，得到的哈达玛变换绝对误差(SATD)最优模式用来选择与之对应的楔形分块子集，并对楔形分块子集中的各个楔形分块计算预测残差的均方误差并选择最优分块形式。该过程 是本领域所熟知的，因此不再赘述。简单来说，在楔形分割直线划块后，编码单元分成2个小块(例如图2-3所示)，分别求两个小块像素点的均值作为预测值进行残差计算。再对其进行SSE运算，并筛选最小值SSE的楔形分块模式。 

在该步骤中，由于仅针对与SATD最优模式对应的楔形分块子集进行计算，从而显著地减少了计算量。 

例如，在一个使用4×4预测单元的具体实施例中，如果对4×4预测单元进行楔形分块形式的选择，共有86种楔形分块形式需要进行绝对误差和的计算(如图6所示)。所提出的算法将楔形分割线与帧内预测模式相似角度联系到一起，从而将86次全计算减少到3-15次计算。例如，当SATD最优模式为18(135°)时，如Fig.7A箭头表示，其对应楔形分块形式子集中仅包含24，28，35，45，66，62六种。如Fig.7B所示，楔形分块形式子集最少只含3种。处理8×8、16×16、32×32预测单元时与处理4×4思路上相同，不过32×32的预测单元需要对1503种分块形式进行简化。因此，如表I所示，本发明所提出的改进方法所进行的计算量大约减少原来复杂度的90％。 

最后，对DMM模式的另三种模式进行筛选并与SATD模式计算一起进行RDO计算，得出最优帧内预测模式。由于对DMM模式的另三种模式所进行的筛选不在本发明的范围内，因此在此不再赘述。简单来说，针对另外三种DMM模式，确定每一种模式的最优分块模式，并将针对这四种DMM模式所确定的各自的最优分块模式加入率失真(RDO)候选集合中进行RDO计算。 

以上所提出的算法流程图在图5中所示。 

注意，在图5中所示出的4种DMM与以上给出的4种DMM是一一对应的，仅是表述的不同。即：Wedgelet_ModeIntra表示直接楔形分割Explicit Wedgelet Sigmaling模式；Wedgelet_PredIntra表示帧内预测楔形分割Intra-predicted Wedgelet Partitioning模式；Wedgelet_PredTexture表示帧间分量预测楔形分割Inter-component-predicted Wedgelet partitioning模式；Contour_PredTexture表示帧间分量预测非楔形分割Inter-component-predicted Contour partitioning。 

图8A示出了根据本发明的一个实施例的在高效视频编码(HEVC)中确定最优帧内预测模式的方法。 

在步骤800中，根据本发明的基于HEVC的视频编码方法进入帧内预测模式选择过程。 

在步骤801中，针对当前块，通过进行哈达玛变换对残差(即本领域公知的原始图像值-预测图像值)进行处理以得到绝对变换误差(SATD)，在HEVC规定的(35种)帧内预测模式中得到一个SATD最优模式，并且还在HEVC规定的帧内预测模式中选择多个帧内预测模式加入一个最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入该最优帧内预测模式候选子集。 

在此，基于SATD结果选择多个帧内预测模式的原因是不能确保使用SATD计算得到的SATD最优模式必然是最终的最优模式，因此，要根据该SATD结果对各个帧内预测模式进行排序，从而找到SATD结果较佳的多个帧内预测模式构成该最优帧内预测模式候选子集。 

在此，本领域技术人员可以理解，在该步骤801之前，最优帧内预测模式候选子集可以是空集，也可以是已经采用其他技术(与本文无关)创建了的一个子集，其中可能包含由所述其他技术所已经加入的一些帧内预测模式候选。 

虽然仅在该步骤中使用了表述“针对当前块”，但是本领域技术人员应该理解，在HEVC的视频编码过程中的该帧内预测模式选择通常是针对逐个块进行的，因此以下各个步骤也是针对当前块进行的。 

在一个具体实施例中，预测单元的大小包括：4×4、8×8、16×16和32×32。 

在一个优选实施例中，针对4×4，8×8大小的预测单元，所述规定数量为8，而针对16×16和32×32大小的预测单元，所述规定数量为3。本领域技术人员可以理解，可以根据实际情况，针对每种预测单元大小选择其他数量。 

在步骤803中，基于当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中。容易理解，该步骤的目的是在针对当前块进行处理时，能够充分考 虑已经编码的邻近块的帧内预测信息。在实际情况中，这种邻近块的预测信息通常包含了很多重要信息。例如，当前块的最佳预测模式经常与邻近块的预测模式是相同的，在内容简单的帧中特别如此。 

在步骤805中，针对HEVC的四种深度模型模式分别确定相关的最优模式(即每个DMM有一个最优模式)并添加到所述最优帧内预测模式候选子集中。 

在步骤807中，针对最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式，从而完成帧内预测模式选择。 

进一步，如图8A所示，步骤805包含两个子步骤809和811。 

在子步骤809中，在四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的楔形分块形式子集。 

在子步骤811中，对于所确定的针对各个预测单元大小的(全部)楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式，与其他三种深度模型模式的最佳形式一起加入到候选子集中。 

在一个具体实施例中，预先确定所述楔形分块形式集合中与HEVC规定的帧内预测模式相关联的楔形分块形式子集，并以预测模式与子集之间的关联的形式存储在存储器中。例如，在存储器中存储了预先确定的楔形分块形式子集和相关联的HEVC规定的帧内预测模式之间的关联。 

当确定了SATD最优模式时，可以基于该SATD最优模式取回与之关联的预先确定的一个楔形分块形式子集。 

如上所述地，在预先确定所述楔形分块形式集合中与HEVC规定的帧内预测模式相关联的楔形分块形式子集时，基于在各个帧内预测模式与每一种预测单元大小的楔形分块形式集合中每一个楔形分块形式的分割直线之间的方向相似性，来确定所述关联。例如，当SATD最优模式为18(135°)时，如Fig.7A箭头表示，其对应楔形分块形式子集中仅包含24，28，35，45，66，62六种。 

图8B示出了根据本发明的一个实施例的在高效视频编码(HEVC)中 确定最优帧内预测模式的方法。其各个模块所实现的功能与图8A中的方法步骤一致，因此在此不再赘述。 

图9示出了根据本发明的一个实施例的装置900。该装置包括处理器901和存储器902。 

处理器901可以被配置为执行与以上图8A中的各个步骤相对应的操作。 

存储器902耦合到处理器901，并且存储了楔形分块形式集合，以及预先确定的楔形分块形式子集和相关联的HEVC规定的帧内预测模式之间的关联。 

本发明的上述实施例皆可实现为基于HEVC的编码器，特别是其中的帧内预测编码器。该基于HEVC的编码器的内部结构可以如图1所示，并且其中的帧内预测选择框和帧内预测框构成了所述帧内预测编码器。本领域技术人员应该理解，该解码器可以实现为软件、硬件和/或固件。 

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。 

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。 

在本申请中，术语“分块”和“分割”是可互换的使用的。 

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或 实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。 

Claims (10)

1.一种在高效视频编码(HEVC)中确定最优帧内预测模式的方法，包括：

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中确定SATD最优模式，并在HEVC规定的帧内预测模式中选择多个帧内预测模式加入一最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集；

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中；

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式用于帧内预测，

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括：

在所述四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的楔形分块形式子集；

对于所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式。

2.如权利要求1所述的方法，其中，所述预测单元的大小包括：4×4、8×8、16×16和32×32。

3.如权利要求1所述的方法，其中，预先确定所述楔形分块形式集合中与HEVC规定的多个帧内预测模式相关联的楔形分块形式子集，并且

其中，所述确定与所述SATD最优模式相对应的楔形分块形式子集包括：基于所述SATD最优模式取回所述预先确定的楔形分块形式子集之一。

4.如权利要求1所述的方法，其中，所述预先确定楔形分块形式子集是基于在HEVC规定的帧内预测模式和所述楔形分块形式集合中每一个楔形分块形式的分割直线的方向相似性的。

5.如权利要求1所述的方法，其中，所述针对不同大小的预测单元选择规定数量的帧内预测模式进一步包括：

针对4×4，8×8大小的预测单元，所述规定数量为8，而针对16×16和32×32大小的预测单元，所述规定数量为3。

6.一种装置，包括：

处理器，其被配置为：

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中确定SATD最优模式，并在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集；

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中；

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式用于帧内预测，

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括：

在所述四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集；

对于所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式；

耦合至所述处理器的存储器，其存储了：所述楔形分块形式集合，以及预先确定的楔形分块形式子集和相关联的HEVC规定的帧内预测模式之间的关联。

7.一种装置，包括：

用于针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中确定SATD最优模式，并在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集的模块，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集；

用于基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中的模块；

用于针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中的模块；以及

用于针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式用于帧内预测的模块，

其中，所述用于针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中的模块进一步包括：

用于在所述四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集的模块；

用于对于所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式的模块。

8.如权利要求7所述的装置，其中，预先确定所述楔形分块形式集合中与HEVC规定的帧内预测模式相关联的楔形分块形式子集，并且

其中，所述确定与所述SATD最优模式相对应的、楔形分块形式子集包括基于所述SATD最优模式取回所述预先确定的楔形分块形式子集之一。

9.一种计算机程序产品，包括其上存储有指令的机器存储介质，所述指令使得处理器执行以下操作：

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中确定SATD最优模式，并在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集；

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中；

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式用于帧内预测，

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括：

在所述四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集；

针对所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式。

10.一种基于高效视频编码(HEVC)的视频编码器，其包括：

帧内编码器，其被配置为：

针对当前块，通过进行哈达玛变换对残差进行处理以得到绝对变换误差(SATD)，来在HEVC规定的帧内预测模式中确定SATD最优模式，并在HEVC规定的帧内预测模式中选择多个帧内预测模式加入最优帧内预测模式候选子集，其中，针对不同大小的预测单元选择规定数量的帧内预测模式加入所述最优帧内预测模式候选子集；

基于所述当前块的左边和上边的邻近块的帧内预测模式，提取第一数量的邻近块帧内预测模式添加到所述最优帧内预测模式候选子集中；

针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中；以及

针对所述最优帧内预测模式候选子集中所有候选模式进行率失真(RDO)计算，以找到最优帧内预测模式用于帧内预测，

其中，所述针对HEVC的四种深度模型模式分别确定相关的最优模式并添加到所述最优帧内预测模式候选子集中进一步包括：

在所述四种深度模型模式的直接楔形分割模式中，在每种预测单元大小的楔形分块形式集合中确定与所述SATD最优模式相对应的、楔形分块形式子集；

对于所确定的针对各个预测单元大小的楔形分块形式子集中的每一个楔形分块形式，确定最优楔形分块形式作为所述直接楔形分割的所述的最优形式。

Images