CN105409215B - 深度预测模式选择方法及装置 - Google Patents

深度预测模式选择方法及装置 Download PDF

Info

Publication number
CN105409215B
CN105409215B CN201480003996.XA CN201480003996A CN105409215B CN 105409215 B CN105409215 B CN 105409215B CN 201480003996 A CN201480003996 A CN 201480003996A CN 105409215 B CN105409215 B CN 105409215B
Authority
CN
China
Prior art keywords
coding mode
coding
dmm
pattern
ordered list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480003996.XA
Other languages
English (en)
Other versions
CN105409215A (zh
Inventor
顾舟叶
郑建铧
林楠
张臣雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Santa Clara University
Original Assignee
Huawei Technologies Co Ltd
Santa Clara University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Santa Clara University filed Critical Huawei Technologies Co Ltd
Publication of CN105409215A publication Critical patent/CN105409215A/zh
Application granted granted Critical
Publication of CN105409215B publication Critical patent/CN105409215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种用于对深度图的块进行编码的预测模式选择方式、装置及计算机程序产品。获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于所述块的编码。获取多个深度建模模式(DMM)，其中每个深度建模模式都能用于所述块的编码。然后根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。

Description

深度预测模式选择方法及装置
相关申请
本申请要求于2013年1月11日由顾舟叶等提交的、申请号为61/751,589、发明名称为“低复杂度帧内编码方法”的美国临时专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请一般来说涉及一种视频编解码的装置、方法及计算机程序。
背景技术
本节旨在提供权利要求中所引用的本发明的背景。本节的描述可包括可推行但不一定已形成或推行的概念。因此，除非本文另有说明，本节所描述的并不是本申请的说明和权利要求的现有技术，也不因包括在本节中而承认为现有技术。
即使在较短的影片中，需要预测的数据量也是庞大的，这使得数据难以在有限的带宽上在通信网络上通过流或其他方式进行传送。因此，在通过现代通信网络传送之前，视频数据通常会先经过压缩。数据传输前，视频压缩设备通常在源端使用软件和/或硬件对视频数据进行压缩，从而减少呈现数字视频图像所需的数据量。经过压缩的数据在目的端被视频解压缩设备接收，该视频解压缩设备对所述视频数据进行解压缩。由于网络资源有限，而对视频质量的要求又不断提高，需要有改进的压缩和解压缩技术来提高压缩率，而不影响图像质量或对图像质量影响很少。
视频编码系统可包括编码器和解码器，所述编码器将输入视频变换成适于存储/传输的压缩呈现，所述解码器可将所述压缩的视频呈现解压缩还原成可视形式。为使视频呈现更为紧凑，例如，为使视频信息以低于其他情况可能需要的比特率进行存储/传输，所述编码器可丢弃原始视频序列中的部分信息。
当前正在调研和开发各类提供三维(3D)视频内容的技术。研究尤其集中在各种多视应用，其中观察者从特定视点只能看到一个立体视频对，从不同视点又能看到另一立体视频对。这类多视应用的最可行方案之一是只将限量的单一或立体视频及补充数据等输入视图提供给解码器侧，由解码器在本地对全部所需视图进行渲染(例如，合成)，然后显示在显示器上。
3D视频内容编码可使用各种视频压缩系统，如高级视频编码标准H.264/AVC或H.264/AVC的多视视频编码扩展MVC、高效视频编码标准HEVC或HEVC的多视扩展加深度或HEVC的3D扩展。
发明内容
根据第一实施例，提供了一种用于对深度图的块进行编码的预测模式选择方法，所述方法包括：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，所述编码模式能用于所述块的编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式DMM，所述深度建模模式能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
根据第二实施例，提供了一种装置，包括至少一个处理器和至少一个包括计算机程序代码的内存，其中所述至少一个内存及所述计算机程序代码用于，与所述至少一个处理器一起，使所述装置执行以下操作：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于对深度图的块进行编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式DMM，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
根据第三实施例，提供了一种装置，包括：
获取编码模式的有序列表的单元，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于对深度图的块进行编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式(DMM)的单元，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表的单元。
附图说明
为了更完整地理解本发明，请结合附图及具体实施例参考以下附图说明，其中相似的附图标号表示相似的部件。
图1为较佳视频编码器的一部分；
图2为模式选择方法的一个实施例；
图3为模式选择方法的另一个实施例；
图4为模式选择方法的另一个实施例；
图5为模式选择方法的另一个实施例；
图6为各模式选择实施例中适用的决策条件的其他实施例；
图7为模式选择方法的另一实施例的实验结果；
图8为电子设备的一个实施例的示意图。
具体实施方式
首先，应理解，尽管以下对一个或多个实施例的实现方式进行了举例说明，但所公开的系统和/或方法可通过任意多的已知或现有技术实现。本发明绝不限于以下所阐述的实现方式、附图和技术，包括本发明阐述和说明的典型设计及实现方式，而是可以在所附权利要求及其所有同等替代的范围内进行修改。
以下以一个视频编码设备为例对本发明的几个实施例进行描述。但是，要注意的是本发明并不局限于该特定设备。事实上，所述不同实施例在任何需要对参考图片处理进行改进的情况都有广泛应用。例如，本发明可应用于以下视频编码系统：流媒体系统、DVD播放器、数字电视接收机、个人视频录像机、个人电脑上的系统和计算机程序、手持电脑和通讯设备，以及处理视频数据的网元，如变码器和云计算设备。
H.264/AVC标准由国际电信联盟电信标准部(ITU-T)的视频编码专家组(VCEG)的联合视频组(JVT)及国际标准化组织(ISO)/国际电工委员会(IEC)的运动图像专家组(MPEG)开发。H.264/AVC标准由上述两大标准化组织发布，分别称为ITU-T建议H.264和ISO/IEC国际标准14496-10，也称为MPEG-4第10部分：高级视频编码(AVC).H.264/AVC标准已有很多版本，每个版本都为标准纳入了新的扩展或特性。这些扩展包括可伸缩视频编码(SVC)及多视视频编码(MVC)。
目前，MPEG和VCEG的视频编码联合协作组(JCT-VC)正在进行(高效视频编码(HEVC)的标准化项目。HEVC标准的具体信息，可参考电气电子工程师学会(IEEE)的文件《高效视频编码(HEVC)标准概述》，该文件可在IEEE网站(http：//ieeexplore.ieee.org/ Xplore/home.jsp)用数字对象标识“10.1109/TCSVT.2012.2221191”进行访问。该IEEE文件的全部内容都通过引用结合在本申请中。
本节用H.264/AVC和HEVC的一些关键定义、比特流和编码结构以及概念，对实现各实施例的视频编码器、解码器、编码方法、解码方法及比特流结构进行举例说明。H.264/AVC的某些关键定义、比特流和编码结构以及概念与HEVC标准草案相同，因此将在下文统一说明。但本发明并不限于H.264/AVC或HEVC，且所述说明旨在阐明本发明可部分或全部实现的一个可能的基础。
与很多早期的视频编码标准类似，H.264/AVC和HEVC中规定了实现无差错比特流的比特流语法和语义以及解码过程。编码过程虽然没有规定，但编码器必须产生符合要求的比特流。比特流和解码器是否符合要求可通过假想参考解码器(HRD)进行验证。标准包含有助于处理传输误差和损失的编码工具，但工具在编码中的使用是可选的，且没有对有差错比特流的解码过程进行规定。
H.264/AVC或HEVC编码器输入及H.264/AVC或HEVC解码器输出的基本单位分别是图片。在H.264/AVC和HEVC中，图片可以为帧或域。帧包括亮度样本及对应色度样本组成的矩阵。域是帧中样本行的隔行集合，在源信号经过交织处理时，可作为编码器的输入。与亮度图片比对时，色度图片可进行二次采样。例如，在4:2:0采样模式中，色度图片的空间分辨率在两个坐标轴上都是亮度图片的空间分辨率的一半。
在H.264/AVC中，宏块由16×16的亮度样本块及对应的色度样本块组成。例如，在4:2:0采样模式中，宏块的每个色度组件包含8x8的色度样本块。在H.264/AVC中，图片被分割为一个或多个切片组，一个切片组包含一个或多个切片。在H.264/AVC中，切片由特定切片组内进行的光栅扫描中连续排列的整数个宏块组成。
在HEVC标准的一个草案中，视频图片被划分为覆盖图片区域的编码单元(CU)。CU由一个或多个预测单元(PU)及一个或多个变化单元(TU)组成，所述PU定义CU中样本的预测过程，所述TU定义CU中样本的预测误差编码过程。通常，CU由方块组成，所述方块的尺寸可从预定义的CU可能尺寸集中进行选择。最大尺寸的CU通常称为LCU(最大编码单元)，视频图片被划分为不重叠的LCU。LCU可进一步拆分为更小CU的组合，例如，通过对LCU及所得CU进行递归拆分。每个拆分所得的CU通常有至少一个PU及至少一个与该PU相关联的TU。每个PU和TU可进一步拆分为更小的PU和TU，以分别增加预测的粒度及预测误差编码过程。PU拆分可通过把CU拆分为四个等大的正方形PU或把CU拆分为竖直或水平的对称或不对称的两个矩形PU。图片到CU的划分以及CU到PU和TU的划分，通常在比特流中进行指示，使解码器能重现各单元的结构。
在HEVC标准的一个草案中，图片可分割为矩形的图块，所述图块包含整数个LCU。在HEVC标准的一个草案中，图块的分割构成规则的网格，其中图块间的高度和宽带相差最多一个LCU。在HEVC标准的一个草案中，切片由整数个CU组成。CU以图块中或，如果没有使用图块，图片中LCU的光栅扫描顺序进行扫描。在LCU内，CU具有一定的扫描顺序。
在HEVC的工作草案(WD)5中，图片分割的关键定义及概念如下：分割指的是将一个集合划分为多个子集，使该集合中每个元素都正好是一个所述子集。
HEVC WD5中的基本编码单元叫做树块。树块为具有三个样本阵列的图片的一个NxN亮度样本块及两个对应的色度样本块；或者树块为单色图片或用三种单独的颜色平面进行编码的图片的一个NxN样本块。树块可针对不同编码和解码过程进行分割。对具有三个样本阵列的图片进行树块分割时得到的树块分区为一个NxN亮度样本块及两个对应的色度样本块；对单色图片或用三种单独的颜色平面进行编码的图片进行树块分割时得到的树块分区为一个亮度样本块。每个树块都分配了一个分区信令，用来标识用于帧内或帧间预测及用于变换编码的块大小。所述分割为递归的四分树分割。所述四分树的根节点与树块相关联。四分树被不断拆分，直至到达叶节点，叶节点被称为编码节点。编码节点为两个树的根节点，所述两个树为预测树和变换树。预测树指定预测块的位置和大小。预测树和相关预测数据称为预测单元。变换树指定变化块的位置和大小。变换树和相关变化数据称为变化单元。亮度和色度的拆分信息对于预测树是相同的，但对变换树可以相同也可以不同。编码节点及相关预测和变化单元共同组成编码单元。
在HEVC WD5中，图片被划分为切片或图块。切片可以是树块序列，但(指所谓的细粒度切片时)也可将树块内变化单元和预测单元重合的位置作为其边界。切片内树块以光栅扫描顺序进行编码和解码。对基础编码图片，将每个图片划分为切片的过程即分割过程。
在HEVC WD5中，图块指的是同时出现在一列和一行的整数个树块，该树块在图块内以光栅扫描顺序连续排列。对基础编码图片，将每个图片划分为图块的过程即分割过程。图块在图片内以光栅扫描顺序连续排列。尽管切片包含图块内以光栅扫描顺序连续排列的树块，但是这些树块却不一定在图片内以光栅扫描顺序连续排列。切片和图块不需包含相同的树块序列。图块可包括多个切片中包含的树块。同样，切片可包括多个图块中包含的树块。
在H.264/AVC和HEVC中，可跨切片边界禁用图内预测。由此，切片可看作将编码图片拆分为独立的可解码片段的方式，因此切片经常被当作传输的基本单位。很多情况下，编码器可在比特流中指示跨切片边界禁用的图内预测类型，解码器在确定可用预测源等操作时考虑该信息。例如，如果相邻宏块或CU位于不同的切片，则可认为来自该相邻宏块或CU的样本对帧内预测不可用。
语法元素可定义为比特流中呈现的数据元素。语法结构可定义为在比特流中一同以一定的顺序呈现的零个或更多的语法元素。
在一个HEVC草案中，还有第三种参数集类型，此处称为自适应参数集(APS)，其包括在多个编码切片中可能不会改变但在每个图片或每几个图片等中可能改变的参数。在一个HEVC草案中，APS语法结构包括与量化矩阵(QM)、自适应样本偏移(SAO)、自适应环路滤波(ALF)及去块滤波相关联的参数或语法元素。在一个HEVC草案中，APS为NAL单元，其编码不以其他NAL单元为参考或预测。在APS NAL单元中包括标识，即语法元素aps_id，切片头部也包括该标识，用于指示特定的APS。
H.264/AVC和HEVC语法容许大量的参数集实例，每个实例由唯一的标识符进行标识。为了限制参数集所需内存用量，限制了参数集标识的取值范围。在H.264/AVC及一个HEVC标准草案中，每个切片头部都包括用于对包含该切片的图片进行解码的图片参数集的标识，并且每个图片参数集都包含当前活动的序列参数集的标识。在HEVC标准中，切片头部还包含APS标识。因此，图片和序列参数集的传输无需与切片的传输完全同步。相反，当前活动的序列和图片参数可在其被参考前的任意时刻接收，这使得参数集能用比用于切片数据的协议更可靠的机制进行“带外”传输。例如，参数集可为实时传输协议(RTP)会话的会话描述中的参数。如果参数集在带内传输，可以进行重传，以提高误差稳定性。
SEI NAL单元可包含一个或多个SEI报文，输出图片的解码不需要该报文，但该报文可在相关过程，如图片输出定时、渲染、误差检测、误差隐藏及资源预约中起辅助作用。H.264/AVC和HEVC中指定了多个SEI报文，而且用户数据SEI报文使组织和公司能定制其SEI报文。H.264/AVC和HEVC包含针对所指定SEI报文的语法和语义，但未定义接收端的报文处理过程。因此，要求编码器根据H.264/AVC标准或HEVC标准创建SEI报文，而不要求符合H.264/AVC标准或HEVC标准的解码器处理SEI报文的输出顺序符合该标准。将SEI报文语法和语义纳入H.264/AVC和HEVC的一个原因在于使不同系统规范对补充信息做相同解读，从而实现互通。这意味着系统规范可以要求编码端和解码端同时使用特定的SEI报文，此外也可以规定接收端对所述特定SEI报文的处理过程。
编码图片是图片的编码呈现。H.264/AVC编码图片包括图片解码所需的VCL NAL单元。在H.264/AVC中，编码图片可以是基础编码图片或冗余编码图片。基础编码图片用于有效比特流的解码过程中，而冗余编码图片是一种冗余呈现，其仅在基础编码图片无法成功解码时进行解码。HEVC草案中没有对冗余编码图片进行规范。
在H.264/AVC中，接入单元还可以包括辅助编码图片，所述辅助编码图片对基础编码图片进行补充，可用于显示等过程中。辅助编码图片可作为阿尔法通道或阿尔法平面等指定解码图片样本的透明度。阿尔法通道或平面可用于层级构造或渲染系统，通过将至少部分透明的图片进行叠加形成输出图片。辅助编码图片具有与单色冗余编码图片相同的语法和语义。在H.264/AVC中，辅助编码图片具有与基础编码图片相同数量的宏块。
编码视频序列指的是按解码顺序从IDR接入单元(包括该IDR单元)到下一IDR接入单元(不包括该IDR单元)或比特流末端中出现较早的一个的连续接入单元序列。
图片组(GOP)及其特点可定义如下。不管之前的图片是否解码，GOP都能解码。开放GOP是指，当从开放GOP的组内初始图片进行解码时，在输出顺序中先于组内初始图片的图片可能不能正确解码的一组图片。也就是说，开放GOP的图片(在帧间预测时)可能指属于前一GOP的图片。H.264/AVC解码器能从H.264/AVC比特流中的恢复点CEI报文中识别开放GOP的组内初始图片。由于其编码切片中使用特定的NAL单元类型，即CRA NAL单元，HEVC解码器能识别开放GOP的组内初始图片。闭合GOP是指，当从闭合GOP的组内初始图片进行解码时，所有图片都能正确解码的一组图片。也就是说，闭合GOP的任何图片都不属于之前的GOP。在H.264/AVC和HEVC中，闭合GOP从IDR接入单元开始。因此，闭合GOP结构具有比开放GOP结构更好的误差弹性，但也可能会降低压缩效率。由于参考图片的选择更为灵活，开放GOP结构的压缩效率可能更高。
H.264/AVC和HEVC的比特流语法指示某一图片是否作为其他图片的帧间预测的参考图片。在H.264/AVC和HEVC中，任一编码类型(I,P,B)的图片都能作为参考图片或非参考图片。NAL单元头部指示NAL单元的类型以及NAL单元中包含的编码切片是否为参考图片或非参考图片的一部分。
很多混合型视频编解码器，包括H.264/AVC和HEVC，分两个阶段对视频信息进行编码。第一阶段对某一图片区域或“块”的像素或样本值进行预测。这些像素或样本值能通过运动补偿等机制等进行预测，这涉及找到并指示之前已编码的一个与正被编码的块紧密对应的视频帧的区域。同时，像素或样本值还能通过找到并指示空间区域关系的空间机制进行预测。
利用已编码图像的图像信息的预测方式也可称为帧间预测，还可称为时间预测和运动补偿。利用本图像以内的图像信息的预测方式也可称为帧内预测。
第二阶段对所预测的像素或样本块和原始像素或样本块的误差进行编码。这可通过使用指定的变换方式对像素或样本块的差值进行变换来实现。这种变换可以是离散余弦变换(DCT)或其变体。对差值进行变换后，对经过变换的差值进行量化和熵编码。
通过改变量化过程的保真度，编码器能控制像素或样本呈现精度(即图片的视觉质量)和得到的编码视频呈现的大小(即文件大小或传输比特率)之间的平衡。
解码器通过与编码器使用的用来形成像素或样本块的预测呈现预测机制相似的预测机制(使用编码器生成的存储在压缩图像中的运动或空间信息)及预测误差解码(预测误差编码的逆操作，目的是恢复空域的量化预测误差信号)来预构建输出视频。
经过像素或样本预测和误差解码过程后，解码器将预测及预测误差信号(像素或样本值)组合形成输出视频帧。
在将输出视频传递给显示和/或存储作为视频序列中后续图片的预测参考之前，解码器(及编码器)还可以使用其他滤波过程来提高输出视频的质量。
视频编码器的较佳范例
在对图片或视频帧中的块或像素进行编码时，可通过帧间预测或帧内预测基于一个或多个已编码参考块生成预测块。预测块可为原始块的预估版本。通过从预测块中减去原始块或相反的操作，可生成驻留块，驻留块表示预测残留或误差。由于表示预测残留所需的数据量通常小于表示原始块所需的数据量，可对驻留块进行编码来实现更高压缩率。
然后，空域驻留块的驻留值可转换为频域的变换系数。这种转换可通过二维变换实现，如与离散余弦变换(DCT)高度类似的变换方式。在变换矩阵中，低索引变换系数(如位于左上方区域)可与大空间特征值对应，具有较大的幅值，而高索引变换系数(如位于右下方区域)可与小空间特征值对应，具有较小的幅值。进一步地，可在变换举矩阵采用包括量化系数的量化矩阵(QM)，从而将所有变换系数转化为量化的变换系数。通过量化，可降低变换系数的幅度或幅值。某些高索引变换系数可降低至零，然后就可在后续的扫描和编码过程中直接跳过。
较佳的视频编码器10的一部分如图1所示，包括变换单元或模块12、量化模块14及熵编码器或编码模块16。尽管图1没有示出，但应理解视频编码器10还可包括预测模块、解量化模块、重建模块等其他模块。运行时，视频编码器10可获取源图片或视频帧，所述源图片或视频帧可包含多个视频块。为描述清晰，以一个源视频块为例进行说明。要编码该视频块，可先生成预测块，作为对该视频块的预估。如前所述，预测块可由预测模块通过帧间或帧内预测生成。然后，可计算源视频块和预测块之间的差值生成驻留块。变换模块12可将驻留块转变为变换系数。在变换过程中，将包括大特征值和小特征值的空域驻留像素值转换为频域的变换系数，包括高频频段和低频频段。然后，量化模块可采用量化矩阵QM对变换系数进行量化，生成量化的变换系数。进而，量化的变换系数可由熵编码模块进行编码，最后作为比特流的一部分从视频编码器10传送出去。
解码器可以类似的方式运行，但至少部分是方向相反的。
帧内预测模式编码
HEVC的帧内预测模式编码在IEEE文件《HEVC标准的帧内编码》中有详细描述，该文可使用数字对象标识“10.1109/TCSVT.2012.2221525”在IEEE网站进行访问。该IEEE文件的全部内容都通过引用结合在本申请中。
HEVC帧内编码所采用的编码结构严格遵从编解码的整体架构。图像被拆分为编码单元(CU)、预测单元(PU)及变换单元(TU)。CU表示用于区分帧内和帧间编码块的四分树拆分区域。CU内部可定义多个不重叠的PU，每个PU指定一个具有独立预测参数的区域。CU又进一步拆分为变换单元的四分树，每个变换单元TU有可能通过变换TU的大小进行驻留编码。
在平面模式(模式0)和DC模式(模式1)的帧内预测模式基础上，HEVC的一个草案中引入了33种角度预测模式(分别为模式2-34)。通过基于列表的方式，模式数量(35)的增加实现了帧内预测模式的高效编码。针对每个预测单元，确定最可能的3种模式，用这些模式构建最可能模式(MPM)列表。最可能模式从相邻PU，更具体地，左方和上方的相邻PU，的帧内预测模式中进行选择。为避免列表项的重复，将左方和上方的相邻PU的预测模式进行对比。如果两者模式相同并等于平面或DC模式，则列表按平面、DC及角度(模式26-垂直)的顺序进行构建。如果两者模式相同并等于某角度模式，则列表按该角度模式及与其最接近的两种角度模式进行构建。如果左方和上方的相邻PU的帧内预测模式不同，则在列表中插入这两种模式，并将第三种模式按上述顺序设为平面、DC或角度(模式26-垂直)。
确定当前PU的预测模式后，编码器判断MPM列表中是否存在该预测模式。如果存在，仅指示列表中的索引号。否则，在进行固定长度的二值化及旁路编码处理后，再对当前预测模式进行指示。MPM列表以外还有32种模式，这32种模式能用5个比特来适当表示。亮度帧内预测模式的编码由三种语法元素组成，分别是prev.intra.luma.pred.flag、mpm.idx和rem.intra.luma.pred.mode。其中，语法元素prev.intra.luma.pred.flag表示当前预测模式是否在MPM列表中。当该标志符等于0时，对语法元素rem.intra.luma.pred.mode进行编码，指示预测模式。当该标志符等于1时，对语法元素mpm.idx进行编码，由此解码器能通过构建MPM列表得到当前帧内预测模式。
尽管帧内预测模式的增加能显著改善性能，它同时也增加了率失真(RD)优化过程的复杂性。以下描述官方HEVC测试模式(HM)6.0参考软件所使用的编码算法。
HM软件的编码算法包括两个阶段。第一阶段，由模式粗判决过程选择N个最可能候选模式。在此过程中，所有候选模式(35种模式)都通过以下开销函数进行评估：
C＝DHad+λ·Rmodde
其中，DHad表示PU经哈达玛Hadamard变换的驻留信号的绝对总量，Rmode表示预测模式的比特数量。
第二阶段，在所述N个最佳后续模式中比较整体RD开销，其中整体RD开销包含用于实际编码过程的重建驻留信号。选择RD开销最低的预测模式作为最终的预测模式。其中，N随PU大小不同而不同。对4×4、8×8、16×16、32×32及64×64的PU，N分别设为{8,8,3,3,3}，以对预测和驻留数据优化最重要的小块尺寸进行更彻底的搜索。注意，在本阶段可假定TU的大小等于可能的最大值，而不是允许进行TU拆分，以降低复杂性。第二阶段后，采用所述最佳预测模式确定经RD优化的TU结构。
基于HEVC的三维(3D)视频编码
以下MPEG文件(MPEG编号m27310)的全部内容都通过引用结合在本申请中。JCT3V-B1005中由G.Tech、K.Wegner、Y.Chen和S.Yea合作的《3D-HEVC测试模式2》，出版于2012年12月23日中国上海。该文件可通过以下URL地址进行访问：http://phenix.it-sudparis.eu/ jct3v/doc_end_user/current_document.php？id＝460。
当前，联合协作组的3D视频扩展开发团队(JCT-3V)正在开发几个3D视频编码标准，该团队是ISO/IEC MPEG和ITU-T VCEG的联合工作组。其目的在于视频纹理和深度数据的高效压缩，以支持更大范围的具有连续视觉适应性的高级应用和显示。
3D视频要支持3D视频应用，其中3D显示系统提供对可视画面的3D深度感知。3D显示系统种类很多，包括需要专用眼镜的传统立体显示系统，到更精良的不需要眼镜的多视自动立体影像显示系统，再到提供多视角连续影像的全息显示系统。在更高级的显示系统中，最好甚至必需采用自动的方式或通过与最终用户的互动对深度感知进行调整。因此，由于3D效果的实现主要通过产生多个完整的视频样本阵列来形成视点依赖型图片，相对传统立体显示系统，数据吞吐量要大得多。这就给呈现格式和压缩带来了新的挑战，而呈现格式和压缩应通过尽可能少的比特来提供高质量数据。实现这一目的的一种重要方法是在视频纹理中使用深度或不等性数据，然后就可以通过称为基于图像的渲染的合成方法用其生成更多的视图。在高级方法中，还能进一步利用深度图及其与视频纹理的连贯性，对整体3D视频进行更精简的呈现。
JCT-3V团队正进行采用HEVC编码技术的两个3D视频方案的开发研究。首先是HEVC的多视扩展，称为MV-HEVC，另一个是深度增强的基于HEVC的全3D视频编解码，称为3D-HEVC。
随着超清(UHD)显示技术及立体视像呈现能力的发展，又会出现对更高压缩能力的需求，以及对深度图支撑的高级显示特性的需求。因此，视频纹理和深度图的联合压缩越来越受青睐，而JCT-3V目前正以称为3D-HEVC的扩展编解码概念对其进行探索研究。
所述3D-HEVC设计利用纹理和深度的组件间相关性，引入了纹理和深度数据的联合编码。不过该概念有个微小的差别：对相关视图的纹理进行编码时，不能使用该相关视图的深度图，即对所有视图而言，编码顺序都是从纹理开始。或者，可以在相关视图中使用基础视图的深度图进行视图合成预测，但由于所述两个视图的对应区域位置不同，这需要新增技术手段。
同时，3D-HEVC的开发团队也在研究核心编解码的分编码树块(CTB)级深度图编码，这种深度图编码更精良且可能更简单(更低的复杂度)。这是研究源于深度图结构大大偏离视频纹理，即在对象边缘，深度图通常会表现出更高的稳定性(扁平区域或渐变)和显著的不连续性。因此，定义了具体的编码工具(称为深度建模模式，DMM)，支持用边缘(其位置也可以从纹理获得)及两边的深度取值来表征块内深度。此外，在给定深度图片中可不呈现整个深度范围，这可通过用深度查找表(DLT)进行深度编码来实现。
基于深度确定帧内预测模式
编码器和/或解码器可利用深度信息确定帧内预测模式。
可将当前编码或解码的纹理块的深度和相邻纹理块的深度或与相邻纹理块共址或对应的深度块的边界样本的深度对比，在此对比的基础上可确定当前纹理块的帧内预测模式。
例如，如果当前纹理块的深度与边界样本的深度非常相似，可推断出DC预测模式。又如，在当前深度块检测到深度边界，则推断出当前纹理块使用双向的帧内预测模式。
由于帧内预测模式可在编码器和解码器进行推断，可不对任何语法元素进行编码，且可降低比特率。是否基于深度确定帧内预测模式可在切片头部等进行指示，编码器可将基于深度的预测模式确定与传统的帧内预测模式确定加语法元素编码进行对比，使用经比例失真优化的决策手段来打开基于深度的帧内预测模式。
深度块的帧内预测模式可(既在编码器也在解码器)用于其相应或共址的纹理块的帧内预测。
与块分割过程类似，帧内预测模式的熵编码有多种实现，包括以下方式：块内具有深度边界时，可推断出双向帧内预测模式，否则，可对该块使用传统帧内预测模式，其中帧内预测模式由编码器确定并在比特流中进行指示。由于在编码器和解码器中都推导帧内预测模式，所以没有对语法元素进行编码。
另一种方式可将帧内预测模式编码在比特流中，但可在编码器和解码器中都采用帧内预测模式的基于深度的预测来修改CABAC的上下文状态，或基于上下文的可变长度编码，或任何此类使基于深度的算法选择的帧内预测模式可使用更少量的编码数据比特的熵编码。实际上，这可增加熵编码和解码中使用基于深度的算法推断出的帧内预测模式的几率。
还一种方式可将帧内预测模式编码在比特流中，但帧内预测模式码字使用的码表或二值化表可依赖于基于深度的算法的运算结果。
是否基于深度确定帧内预测模式可在切片头部、宏块语法或块语法等进行指示，编码器可将基于深度的预测模式确定与传统的帧内预测模式确定进行对比，使用经比例失真优化的决策手段来打开基于深度的帧内预测模式。
例如，编码器可使用率失真优化等进行传统帧内预测模式选择。如果传统帧内预测的率失真开销小于基于深度的帧内预测模式选择，编码器可选择使用传统帧内预测，并在比特流中，如在切片头部、宏块语法或块语法中，指示使用传统帧内预测。
解码器可对于帧内预测模式相关的语法元素进行解码，并使用所指示的帧内预测模式和相关语法元素对比特流进行解码。
很多视频编码器使用拉格朗日开销函数来找出率失真最优的编码模式，如期望宏块模式及相关运动向量。这种开销函数使用权重因子λ将有损编码模式导致的精确或估计图像失真量与呈现图像区域的像素或样本值所需的精确或估计信息量进行关联。拉格朗日开销函数可由如下公式表示：C＝D+λR，其中C为要最小化的拉格朗日开销，D为考虑了当前预测模式及运动向量的图像失真量(如，原始图像块和编码图像块间的像素或样本值均方误差)，λ为拉格朗日系数，R为呈现在解码器重建该图像块所需的数据所需的比特数(包括呈现候选运动向量的数据量)。
复杂度的降低
在基于HEVC的三维(3D)视频编码机制中，采用DMM结合HEVC的帧内编码模式进行深度图的帧内编码。在模式选择过程中，创建全RD搜索列表，并从36种帧内预测模式中选择几种最可能模式(MPM)(4x4和8x8大小的CU，选择模式8，16x16、32x32及64x64大小的CU，选择模式3)用于全RD开销的计算。选择几个，如3个或8个，MPM后，将所有可用DMM都添加到全RD搜索列表用于全RD开销的计算。注意每个MPM都关联被选为用于深度块编码的最终预测模式的几率。因而全RD搜索列表的优先级也与这种几率相关。
在较佳的基于HEVC的深度帧内编码机制中，所有可用深度建模模式(DMM)都可添加到全率失真(RD)搜索列表用于全RD开销的计算。因此，对于待编码的CU，可创建包括几种MPM及DMM的RD搜索列表，其中每种模式都可与一种RD开销计算相关联。可选择具有最小RD开销的预测模式作为用于对CU进行编码的最终预测模式。我们发现所述深度帧内编码机制中的模式确定过程可以简化。如各实施例所示，很多情况下，由于深度图的大多数编码单元(CU)都非常扁平或平滑，而DMM是针对具有边缘或清晰迁变的CU设计的，因此可以跳过DMM的全RD搜索(如可以跳过DMM的RD开销计算)。本发明公开的各实施例的基本原理可用于在深度帧内编码场景中加快模式确定的过程。报告显示，应用这种原理时，在全帧内测试情况下，可节省15％的编码时间，且几乎没发现差值(-Delta，BD)速率上有什么变化。
深度图的主要特点是具有锐利的边缘(表示对象边界)和大面积的基本恒定或缓慢变化的样本值(表示对象区域)。虽然HEVC草案的帧内预测和变换编码可很好地适用基本恒定区域，但是也可能在锐边造成大量编码残留，这些残留可见于合成的中间视图中。为更好地呈现深度图中的边缘，可新增四种帧内预测模式(IPM)用于深度编码。在这四种模式中，用模式或模型将该块的区域分割为两个非矩形区，以此估计出深度块，其中每个区都由恒值表示。注意深度块包括但绝不限于CU或像素/样本块。所述模式或模型所需的信息包括两种，即分区信息和区值信息，其中分区信息指示每个样本所属的区，取值信息指示对应区中样本的恒定取值。该区值在下文中称为恒定分区值(CPV)。可采用Wedgelet和Contour两种不同的分区类型，这两种类型的区别在于深度块划分方式的不同。可将深度建模模式作为HEVC草案中规定的传统帧内预测模式的替代。同样，对于帧内预测模式，表示估计和原始深度信号间差值的残留信息也可通过变换编码进行传输。以下将详细描述使用所述四种新增深度建模模式(DMM)进行的深度块估计。
这四种DMM分别为：
模式1：显式Wedgelet信令
模式2：帧内预测Wedgelet分割
模式3：组件间预测Wedgelet分割
模式4：组件间预测Contour分割
在一个实施例的编码过程中，对于块，如帧内编码CU，可选用上述DMM或传统IPM中的一种模式。如果选用DMM，除在语法元素中指示使用DMM外，还可在比特流中指示所选DMM及其相关预测数据。上述四种DMM如表1所述。
表1
在一个较佳实施例中，所述四种方式中每种都可与或不与差值CPV一同使用，这就产生了用于向解码器指示的八种不同的模式ID。解码器可按照编码器传递的信息确定可使用哪种类型的处理来进行编码块的预测和重建。
我们发现，很多情况下，在全RD搜索完成后，DMM被选为最佳模式的几率将低于10％。这是因为深度图中的大部分CU都是扁平或平滑的，而DMM是针对具有边缘或清晰迁变的CU设计的，其用于平滑CU的压缩时效率较低。基于这一发现，本发明中公开的各实施例的基本原理可应用于使用预选过程较早地终止DMM的全RD开销计算。
本发明一个实施例中使用一种基于全RD开销计算列表中的第一种模式(uiRdModeList[0])的预选方式。
当所述全RD开销计算列表中的第一种模式为平面模式(uiRdModeList[0]＝0)时，待编码CU很可能是扁平或平滑的。因此，在这种情况下，会跳过所有DMM的全RD开销计算，即任何DMM都不会纳入RD搜索列表中进行开销计算。
本发明另一实施例中，对不带差值CPV的DMM模式1(DMM_WEDGE_FULL_IDX)和带差值CPV的DMM模式3(DMM_WEDGE_PREDTEX_D_IDX)进行了改良。
在上述实施例的预选方式下，可跳过大多数不必要的DMM全RD开销计算。不过，我们发现，在这种情况下，当DMM应被选为最佳模式时，有些DMM模式还是会被错过。对这些错过的DMM而言，不带差值CPV的DMM模式1(DMM_WEDGE_FULL_IDX)和带差值CPV的DMM模式3(DMM_WEDGE_PREDTEX_D_IDX)可能就是其中最可能错过的两种DMM。对于这两种DMM，当其被错过时，我们发现全RD开销计算列表中的第二种模式很可能就是DC(uiRdModeList[1]＝＝1)。因此，在全RD开销计算列表中的第一种模式是平面模式且全RD开销计算列表中的第二种模式是DC模式的情况下，可将不带差值CPV的DMM模式1(DMM_WEDGE_FULL_IDX)和带差值CPV的DMM模式3(DMM_WEDGE_PREDTEX_D_IDX)添加到全RD开销计算列表。
注意，在本发明中，全RD搜索列表和全RD开销计算列表可以指相同的概念。
图2示出了模式选择方法200的一个实施例，所述方法可在包括视频编码器(如视频编码器10)的编码侧实现。本方法可用于深度帧内编码。
步骤210，在可将DMM添加到全RD搜索列表前，获取全RD搜索列表。所述全RD搜索列表可包括MPM等编码模式的有序列表。
步骤220，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件。
可选地，在步骤230，可根据确定结果更新所述全RD搜索列表。在需添加至少一种DMM模式的情况下，可将所述至少一种DMM模式添加到所述全RD搜索列表，即可更新所述全RD搜索列表。在不需添加DMM模式的情况下，不需要更新全RD搜索列表。注意，添加的DMM模式的数量可小于所有可用DMM的数量。还应注意，不管是否有DMM加入，所述全RD搜索列表都可用于深度帧内编码的全RD开销计算。
图3示出了模式选择方法300的一个实施例，所述方法可在包括视频编码器(如视频编码器10)的编码侧实现。本方法可用于深度帧内编码。
步骤310，在可将DMM添加到全RD搜索列表前，获取全RD搜索列表。
步骤320，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件。
在一个较佳实施例中，决策条件可基于全RD搜索列表中的第一种模式是否为扁平的编码模式(如，平面模式或DC模式)。扁平编码模式是一种可被选用于对纹理不丰富的块进行编码的预测模式。例如，对扁平区域的块进行编码，通常选用平面模式。对纹理不足的区域的块进行编码，通常选用DC模式。在全RD搜索列表中的第一种模式是扁平编码模式的情况下，可不选择任何DMM模式，即可不将任何DMM模式添加到全RD搜索列表中。
可选地，在步骤330，可根据确定结果更新所述全RD搜索列表。在需添加至少一种DMM模式的情况下，可将所述至少一种DMM模式添加到所述全RD搜索列表，即可更新所述全RD搜索列表。在不选择或不添加添加任何DMM模式的情况下，可不更新所述全RD搜索列表。
注意，不管是否有DMM加入，所述全RD搜索列表都可用于深度帧内编码的全RD开销计算。
图4示出了模式选择方法400的一个实施例，所述方法可在包括视频编码器(如视频编码器10)的编码侧实现。本方法可用于深度帧内编码。
步骤410，在可将DMM添加到全RD搜索列表前，获取全RD搜索列表。
步骤420，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件。
在一个较佳实施例中，决策条件可基于全RD搜索列表中的第一种模式是否为平面模式，如图中步骤422。在全RD搜索列表中的第一种模式是平面模式的情况下，可不选择任何DMM模式，即可不将任何DMM模式添加到所述全RD搜索列表中。且不需进一步确定。在全RD搜索列表中的第一种模式不是扁平编码模式的情况下，可能需要进一步确定，如进一步确定全RD搜索列表中的另一模式是否为某种DMM模式。在全RD搜索列表中的第一种模式不是平面模式的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。
在一个较佳实施例中，在全RD搜索列表中的第一种模式不是平面模式的情况下，进一步确定所述全RD搜索列表中的第二种模式是否为DC模式，即图中步骤424。在所述全RD搜索列表中的第二种模式是DC模式的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。在所述全RD搜索列表中的第二种模式不是DC模式的情况下，可将至少其他一种DMM模式添加到所述全RD搜索列表中。注意，在全RD搜索列表中的第一种模式不是平面模式的情况下添加到所述全RD搜索列表的DMM模式可不同于在全RD搜索列表中的第一种模式不是平面模式且全RD搜索列表中的第二种模式是DC模式的情况下添加到所述全RD搜索列表的DMM模式。注意，在全RD搜索列表中的第二种模式是DC模式的情况下添加到所述全RD搜索列表的DMM模式可不同于在全RD搜索列表中的第二种模式不是DC模式的情况下添加到所述全RD搜索列表的DMM模式。
注意，步骤422和步骤424表示不同的决策条件。这些决策条件的实现可按这些单独的决条件的任意顺序或将其进行组合，如从先执行步骤422再执行步骤424，或与此相反。
可选地，在步骤440，可根据确定结果更新所述全RD搜索列表。在需添加至少一种DMM模式的情况下，可将所述至少一种DMM模式添加到所述全RD搜索列表，即可更新所述全RD搜索列表。在不选择或不添加添加任何DMM模式的情况下，可不更新所述全RD搜索列表。
注意，不管是否有DMM加入，所述全RD搜索列表都可用于深度帧内编码的全RD开销计算。
图5示出了模式选择方法500的一个实施例，所述方法可在包括视频编码器(如视频编码器10)的编码侧实现。本方法可用于深度帧内编码。
步骤510，在可将DMM添加到全RD搜索列表前，获取全RD搜索列表。
步骤520，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件。
在一个较佳实施例中，决策条件可基于全RD搜索列表中的第一种模式是否为平面模式，如图中522所示。在全RD搜索列表中的第一种模式是平面模式的情况下，可不选择任何DMM模式，即可不将任何DMM模式添加到所述全RD搜索列表中。且不需进一步确定。在全RD搜索列表中的第一种模式不是平面模式的情况下，需进一步确定，如进一步确定CU的大小。在全RD搜索列表中的第一种模式不是平面模式的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。
在一个较佳实施例中，在全RD搜索列表中的第一种模式不是平面模式的情况下，进一步确定CU的大小是否大于4x4，即图中步骤524。在CU的大小大于4x4的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。在CU的大小不大于4x4的情况下，可将至少其他一种DMM模式添加到所述全RD搜索列表中。注意在全RD搜索列表中的第一种模式不是平面模式的情况下添加到所述全RD搜索列表的DMM模式可不同于在全RD搜索列表中的第一种模式不是平面模式且CU的大小是否大于4x4的情况下添加到所述全RD搜索列表的DMM模式。注意，在CU的大小大于4x4的情况下添加到所述全RD搜索列表的DMM模式可不同于在CU的大小不大于4x4的情况下添加到所述全RD搜索列表的DMM模式。
注意，步骤522和步骤524表示不同的决策条件。这些决策条件的实现可按这些单独的决策条件的任意顺序或将其进行组合，如从先执行步骤522再执行步骤524，或与此相反。
可选地，在步骤540，可根据确定结果更新所述全RD搜索列表。在需添加至少一种DMM模式的情况下，可将所述至少一种DMM模式添加到所述全RD搜索列表，即可更新所述全RD搜索列表。在不选择或不添加添加任何DMM模式的情况下，可不更新所述全RD搜索列表。
注意，不管是否有DMM加入，所述全RD搜索列表都可用于深度帧内编码的全RD开销计算。
在模式选择的另一实施例中，确定是否将DMM模式添加到所述全RD搜索列表中。注意，所述确定可基于决策条件，如是否启用了深度建模模式选项，CU的宽度是否在[4,32]的范围内，或者CU的宽度是否等于CU的高度。所述深度建模模式选项可与表示深度建模模式机制是否打开或关闭、启用或禁用、被选或未选的语法相关联。该选项可用标志符表示。启用所述深度建模模式选项可表示允许使用能用于深度块编码的深度建模模式。在满足以下条件之一或其任意组合的情况下，可不将任何DMM模式添加到所述全RD搜索列表：
深度建模模式选项未启用；
CU的宽度不在[4,32]的范围内；
CU的宽度不等于CU的高度。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，且CU的宽度等于CU的高度，可进一步确定是否可将DMM模式添加到所述全RD搜索列表中。
在一个较佳实施例中，在不满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，且CU的宽度等于CU的高度，可不添加任何DMM模式到所述全RD搜索列表中。
可选地，可根据确定结果更新所述全RD搜索列表。
在模式选择的另一实施例中，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件，如全RD搜索列表中的第一种模式是否为平面模式和/或全RD搜索列表中的第二种模式是否为DC模式。所述决策条件还可包括是否启用了深度建模模式选项，CU的宽度是否在[4,32]的范围内，或者CU的宽度是否等于CU的高度。在所述全RD搜索列表中的第一种模式是平面模式和/或所述全RD搜索列表中的第二种模式是DC模式的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是带差值CPV的DMM模式1和/或不带差值CPV的DMM模式3。可选地，可根据确定结果更新所述全RD搜索列表。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，CU的宽度等于CU的高度，所述全RD搜索列表中的第一种模式不是平面模式，且所述全RD搜索列表中的第二种模式是DC模式，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是带差值CPV的DMM模式1和/或不带差值CPV的DMM模式3。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，CU的宽度等于CU的高度，且所述全RD搜索列表中的第一种模式不是平面模式，或所述全RD搜索列表中的第二种模式是DC模式，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是带差值CPV的DMM模式1和/或不带差值CPV的DMM模式3。
在模式选择的另一实施例中，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件，如全RD搜索列表中的第一种模式是否为平面模式。所述决策条件还可包括是否启用了深度建模模式选项，CU的宽度是否在[4,32]的范围内，或者CU的宽度是否等于CU的高度。在所述全RD搜索列表中的第一种模式不是平面模式的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是带差值CPV的DMM模式1和/或不带差值CPV的DMM模式3。可选地，可根据确定结果更新所述全RD搜索列表。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，CU的宽度等于CU的高度，且所述全RD搜索列表中的第一种模式不是平面模式，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是带差值CPV的DMM模式1和/或不带差值CPV的DMM模式3。
在模式选择的另一实施例中，确定是否将DMM模式添加到所述全RD搜索列表中。注意，所述确定可基于决策条件，如是否全RD搜索列表中的第一种模式为平面模式且CU的宽度大于4。所述决策条件还可包括是否启用了深度建模模式选项，CU的宽度是否在[4,32]的范围内，或CU的宽度是否等于CU的高度。在全RD搜索列表中的第一种模式不是平面模式且CU的宽度大于4的情况下，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以为DMM模式2和/或DMM模式4。可选地，可根据确定结果更新所述全RD搜索列表。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，CU的宽度等于CU的高度，所述全RD搜索列表中的第一种模式不是平面模式，且CU的宽度大于4，可将至少一种DMM模式添加到所述全RD搜索列表中。所述添加到所述全RD搜索列表中的至少一种DMM模式可以是DMM模式2和/或DMM模式4。
在模式选择的另一实施例中，确定是否将DMM模式添加到所述全RD搜索列表中。注意所述确定可基于决策条件，如默认不添加任何DMM模式到全RD搜索列表中。
在一个较佳实施例中，在满足下述条件的情况下，即深度建模模式选项被启用，CU的宽度在[4,32]的范围内，且CU的宽度等于CU的高度，默认不添加任何DMM模式到所述全RD搜索列表中。
图6所示的表中概述了是否可将DMM模式添加到全RD搜索列表中的决策条件的其他实施例。
图7为应用上述模式选择方法的原理的实验结果。
注意，与传统帧内预测模式相比，用于深度帧间编码的DMM模式可节省比特数，从而大大提高编码效率。尽管如此，与传统帧内预测模式相比，新增的DMM模式也明显增加了计算量和编码时间。减少DMM模式带来的计算量而不影响其带来的性能提升是一种期望也是一种挑战。在本发明中，如图7所示，本发明所描述的实施例可成功缩减约15％的编码时间，而带来的性能损失可以忽略，只有0.1％到0.2％。
注意本发明的各实施例都具有下述新特性：
1.不是将全部可用DMM模式都添加到全RD开销计算列表中用于最佳模式选择，而是引入一个或几个预选条件，仅在满足一个或几个所述条件时，将DMM模式添加到全RD开销计算列表中。这样，可减少编码时间，且带来的性能损失可忽略。
2.这些条件可任意组合使用，以实现节省的编码时间和性能损失间的平衡。这样的灵活设计可使DMM的选择适应复杂性限制，相对于传统设计，这是一个相当重要的新特性。
至少一部分特性、方法或编解码方案，如上述实施例所述的方法，可在通用电子设备上实现，如有足够的处理能力、内存资源及网络吞吐能力来处理其承担的必要工作的计算机系统或组件电子装置。所述电子设备可以是无线通信系统的移动终端或用户设备等设备。但是，应理解本发明的实施例可在需要对视频图像进行编码、解码、或编码和解码的电子设备或装置内部实现。
图8所示为典型的通用电子设备800，所述通用电子设备800适用于实现本发明所述的各组件的一个或多个实施例。所述通用电子设备800包括处理器802(可称为中央处理单元或CPU)，所述处理器802与存储设备通信，所述存储设备包括二级存储器804、只读内存(ROM)806、随机接入内存(RAM)808、输入/输出(I/O)设备810，及可选的网络连通设备812。所述处理器802可通过一个或多个CPU芯片、核(如多核处理器)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或数字信号处理器(DSP)实现，和/或可为一个或多个ASIC的一部分。所述处理器802可用于实现上述模式选择的任一实施例。所述处理器802可通过硬件或硬件和软件的组合来实现。
所述二级存储器804通常包括一个或多个硬盘或磁带机，用于数据的非易失性存储，在RAM 808容量不够容纳所有工作数据时，作为溢出数据存储设备。所述二级存储器804可用于储存被选择执行时加载到RAM 808上的程序。所述ROM 806用于储存程序执行过程中读取的指令，还可能储存所述过程中读取的数据。所述ROM 806为非易失性存储设备，其存储容量通常比二级存储器804的存储容量要小。所述RAM 808用于储存易失性数据，还可能用于储存指令。对ROM 806和RAM 808的访问速度通常比二级存储器804要快。
所述网络连通设备812可作为电子设备800的输出和/或输入设备。所述网络连通设备812可以为调制解调器、调制解调器库、以太网卡、通用串行总线(USB)接口卡、串行接口、令牌环卡、光纤分布式数据接口(FDDI)卡、无线局域网(WLAN)卡、无线接收机卡及其他众所周知的网络设备，其中无线接收机卡包括码分多址(CDMA)、全球移动通信系统(GSM)、长期演进(LTE)、全球微波接入互操作性(WiMAX)和/或其他空口协议的无线接收机卡。这些网络连通设备812可使所述处理器802能够与互联网，和/或一个或多个内网，和/或一个或多个客户端设备进行通信。所述I/O设备810可包括视频监控、液晶显示器(LCD)、触屏显示器、或其他类型的用于显示视频的视频显示器，和/或可包括用于捕捉视频的视频录制设备。所述I/O设备810还可包括一个或多个键盘、鼠标、或轨迹球、或其他众所周知的输入设备。
应理解，通过将可执行指令编码和/或加载到所述电子设备800上，所述处理器802、ROM 806、RAM 808中的至少一个会发生变化，从而将所述计算机系统800转变为具有本发明所述的新颖功能的特殊机器或装置，如HEVC编解码器。对电气工程和软件工程技术而言，能通过加载可执行软件到计算机实现的功能可以根据众所周知的设计原则转变为硬件实现是基本常识。采用软件还是硬件来实现概念的决策通常取决于设计的稳定性和待生产的单元数量，而不是软件域到硬件域的转换涉及的其他问题。一般来说，仍在频繁修改的设计可首选软件实现，这是因为硬件实现改动的成本要高于软件实现的改动。一般来说，将投入量产的稳定的设计可首选硬件实现，例如通过ASIC实现，这是因为对于大型生产活动，硬件实现的成本可能要低于软件实现。设计通常可以软件形式进行开发和测试，然后再根据众所周知的设计原则转变为等效的硬件实现，通过专用集成电路对软件指令进行固化。机器由新的ASIC控制后就成为具有特殊用途的机器或装置，同样，经过编程和/或已加载可执行指令的计算机也可视为具有特殊用途的机器或装置。
以上对至少一个实施例进行了说明，但本领域普通技术人员对所述实施例的变化、组合、和/或修改，和/或针对所述实施例提出的特性都属于本发明的范围。通过整合、集成、和/或省略所述实施例的特性而产生的替代实施例也属于本发明的范围。本发明中明确说明的数值范围或限制应理解为包括此明确说明的范围或限制范围内的类似数值的迭代范围或限制(如，从约1到约10包括2、3、4等；大于0.10包括0.11、0.12、0.13等等)。例如，每公开具有下限Rl和上限Ru的数值范围时，具体也公开了此范围内的任何数值。具体来说，公开了此范围内的以下数值：R＝Rl+k*(Ru-Rl)，其中，k为取值范围从1％到100％的递进步长为1％的变量，即k为1％、2％、3％、4％、5％、……、50％、51％、52％、……、95％、96％、97％、98％、99％或100％。而且，具体还公开如上所述的两个数值R所定义的任意数值范围。其中，除非另有说明，“约”表示其后数值的±10％。权利要求中某个元素“可选”表示需要或不需要该元素，这两种情况都属于权利要求的范围。包括、包含及具有等广义词汇的使用应理解为由……组成、主要由……组成、大体上由……组成等狭义词汇也成立。相应地，保护范围不限于上述说明，而应由其后所附的权利要求书定义，所述范围包括权利要求所述内容的所有同等替代。每个权利要求都结合在本说明书中，作为对本发明的进一步说明，且权利要求是本发明的实施例。在本发明中提到某个参考技术并不表示承认该技术为现有技术，尤其是出版日期在本申请的优先权日期之后的任何参考技术。本发明所援引的所有专利、专利申请及出版物所公开的信息，其对本发明提供补充的示例性、程序性或其他细节都通过引用结合在本发明中。
尽管本发明提供了若干实施例，应理解所公开的系统和方法可能在不脱离本发明精神与范围的前提下存在许多其他具体形式。所述示例应理解为示例性而非限制性的，其初衷并不是将本发明限于所给出的细节。例如，各种元素或组件可能整合或集成在其他系统中，或某些特征可以被省略或不实现。
此外，各实施例中以离散或单独方式描述及阐明的技术、系统、子系统及方法，可与其他系统、模块、技术或方法在不脱离本发明范围的前提下进行整合或集成。以耦合、直接耦合或彼此通信的方式示出或讨论的其他项目，可以以电气、机械或其他方式通过一些接口、设备或中间组件进行间接耦合或通信。本领域技术人员可以理解确定本发明的其他变化、替换或变更，并可在不脱离本发明精神与范围的前提下做出其他变化、替换或变更。
以下将提供一些示例。
根据第一示例，提供了一种用于对深度图的块进行编码的预测模式选择方法，所述方法包括：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于所述块的编码；
获取多个深度建模模式(DMM)，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
在一些实施例中，在确定要将DMM添加到所述编码模式的有序列表的情况下，将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，在所述确定步骤之后，所述编码模式的有序列表用于所述块的编码。
在一些实施例中，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的优先级进行判断。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的第一种和/或第二种模式进行判断。
在一些实施例中，所述决策条件基于判断所述编码模式的有序列表的第一种和/或第二种模式是否为扁平的编码模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种和/或第二种模式为扁平的编码模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述扁平的编码模式为以下任意一种：平面模式和DC模式。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第一种模式是否为平面模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种模式为平面模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第二种模式是否为DC模式。
在一些实施例中，在确定所述编码模式的有序列表的第二种模式为DC模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于深度建模模式选项是否被启用。
在一些实施例中，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围及所述块的宽度和/或高度。
在一些实施例中，所述块的大小的范围为[4,32]。
在一些实施例中，所述块的宽度等于所述块的高度。
在一些实施例中，在将DMM添加到所述编码模式的有序列表的情况下，更新所述编码模式的有序列表。
在一些实施例中，在不将DMM添加到所述编码模式的有序列表的情况下，不更新所述编码模式的有序列表，不将深度建模模式用于所述块的编码。
在一些实施例中，所述方法还包括：
在所述确定步骤之后，计算所述编码模式的有序列表中的每个列表项的率失真开销。
在一些实施例中，所述方法还包括：
从所述编码模式的有序列表中选择计算的率失真开销最低的编码模式，其中所述选择的计算的率失真开销最低的编码模式用于所述块的编码。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式(MPM)。
在一些实施例中，每个所述MPM都选自多个帧内预测模式(IPM)，所述多个IPM能用于所述块的编码。
在一些实施例中，所述MPM包括以下至少一种模式：平面模式、DC模式及定向帧内预测模式。
在一些实施例中，在将DMM添加到所述所述编码模式的有序列表的情况下，所述DMM通过以下任一方式进行添加：
将所述DMM添加在所述编码模式的有序列表的多个MPM之后；
将所述DMM添加在所述编码模式的有序列表的最后一项之后；
将所述DMM插入所述编码模式的有序列表的多个MPM中的两项之间。
在一些实施例中，所述多个DMM包括至少以下一种模式：Wedgelet帧内建模模式(Wedgelet_ModelIntra)、Wedgelet帧内预测模式(Wedgelet_PredIntra)、Wedgelet纹理预测模式(Wedgelet_PredTexture)及Contour纹理预测模式(Contour_PredTexture)
在一些实施例中，所述DMM与恒定分区值(CPV)相关。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括3种或8种MPM。
根据第二示例，提供了一种装置，包括至少一个处理器和至少一个包括计算机程序代码的内存，其中所述至少一个内存及所述计算机程序代码用于，与所述至少一个处理器一起，使所述装置执行以下操作：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每个编码模式都能用于对深度图的块进行编码；
获取多个深度建模模式(DMM)，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
在一些实施例中，在确定要将DMM添加到所述编码模式的有序列表的情况下，将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，在所述确定是否将DMM添加到所述编码模式的有序列表之后，将所述编码模式的有序列表用于所述块的编码。
在一些实施例中，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的优先级进行判断。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的第一种和/或第二种模式进行判断。
在一些实施例中，所述决策条件基于判断所述编码模式的有序列表的第一种和/或第二种模式是否为扁平的编码模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种和/或第二种模式为扁平的编码模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述扁平的编码模式为以下任意一种：平面模式和DC模式。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第一种模式是否为平面模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种模式为平面模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第二种模式是否为DC模式。
在一些实施例中，在确定所述编码模式的有序列表的第二种模式为DC模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于深度建模模式选项是否被启用。
在一些实施例中，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围及所述块的宽度和/或高度。
在一些实施例中，所述块的大小的范围为[4,32]。
在一些实施例中，所述块的宽度等于所述块的高度。
在一些实施例中，在将所述DMM添加到所述编码模式的有序列表的情况下，更新所述编码模式的有序列表。
在一些实施例中，在不将DMM添加到所述编码模式的有序列表的情况下，不更新所述编码模式的有序列表，不将深度建模模式用于所述块的编码。
在一些实施例中，所述装置还执行以下操作：
在所述确定步骤之后，计算所述编码模式的有序列表中的每个列表项的率失真开销。
在一些实施例中，所述装置还执行以下操作：
从所述编码模式的有序列表中选择计算的率失真开销最低的编码模式，其中所述选择的计算的率失真开销最低的编码模式用于所述块的编码。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式(MPM)。
在一些实施例中，每个所述MPM都选自多个帧内预测模式(IPM)，所述多个IPM能用于所述块的编码。
在一些实施例中，所述MPM包括以下至少一种模式：平面模式、DC模式及定向帧内预测模式。
在一些实施例中，在将DMM添加到所述所述编码模式的有序列表的情况下，所述DMM通过以下任一方式进行添加：
将所述DMM添加在所述编码模式的有序列表的多个MPM之后；
将所述DMM添加在所述编码模式的有序列表的最后一项之后；
将所述DMM插入所述编码模式的有序列表的多个MPM中的两项之间。
在一些实施例中，所述多个DMM包括以下至少一种模式：Wedgelet帧内建模模式(Wedgelet_ModelIntra)、Wedgelet帧内预测模式(Wedgelet_PredIntra)、Wedgelet纹理预测模式(Wedgelet_PredTexture)及Contour纹理预测模式(Contour_PredTexture)。
在一些实施例中，所述DMM与恒定分区值(CPV)相关。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括3种或8种MPM。
根据第二示例，提供了一种装置，包括：
获取编码模式的有序列表的单元，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于对深度图的块进行编码；
获取多个深度建模模式(DMM)的单元，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表的单元。
在一些实施例中，在确定要将DMM添加到所述编码模式的有序列表的情况下，将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，在所述确定是否将DMM添加到所述编码模式的有序列表之后，将所述编码模式的有序列表用于所述块的编码。
在一些实施例中，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的优先级进行判断。
在一些实施例中，所述决策条件基于对所述编码模式的有序列表的第一种和/或第二种模式进行判断。
在一些实施例中，所述决策条件基于判断所述编码模式的有序列表的第一种和/或第二种模式是否为扁平的编码模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种和/或第二种模式为扁平的编码模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述扁平的编码模式为以下任意一种：平面模式和DC模式。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第一种模式是否为平面模式。
在一些实施例中，在确定所述编码模式的有序列表的第一种模式为平面模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于所述编码模式的有序列表的第二种模式是否为DC模式。
在一些实施例中，在确定所述编码模式的有序列表的第二种模式为DC模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
在一些实施例中，所述决策条件基于深度建模模式选项是否被启用。
在一些实施例中，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围及所述块的宽度和/或高度。
在一些实施例中，所述块的大小的范围为[4,32]。
在一些实施例中，所述块的宽度等于所述块的高度。
在一些实施例中，在将所述DMM添加到所述编码模式的有序列表的情况下，更新所述编码模式的有序列表。
在一些实施例中，在不将DMM添加到所述编码模式的有序列表的情况下，不更新所述编码模式的有序列表，不将深度建模模式用于所述块的编码。
在一些实施例中，所述装置还包括：
在所述确定步骤之后，计算所述编码模式的有序列表中的每个列表项的率失真开销的单元。
在一些实施例中，所述装置还包括：
从所述编码模式的有序列表中选择计算的率失真开销最低的编码模式的单元，其中所述选择的计算的率失真开销最低的编码模式用于所述块的编码。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式(MPM)。
在一些实施例中，每个所述MPM都选自多个帧内预测模式(IPM)，所述多个IPM能用于所述块的编码。
在一些实施例中，所述MPM包括以下至少一种模式：平面模式、DC模式及定向帧内预测模式。
在一些实施例中，在将DMM添加到所述编码模式的有序列表的情况下，所述DMM通过以下任一方式进行添加：
将所述DMM添加在所述编码模式的有序列表的多个MPM之后；
将所述DMM添加在所述编码模式的有序列表的最后一项之后；
将所述DMM插入所述编码模式的有序列表的多个MPM中的两项之间。
在一些实施例中，所述多个DMM包括以下至少一种模式：Wedgelet帧内建模模式(Wedgelet_ModelIntra)、Wedgelet帧内预测模式(Wedgelet_PredIntra)、Wedgelet纹理预测模式(Wedgelet_PredTexture)及Contour纹理预测模式(Contour_PredTexture)。
在一些实施例中，所述DMM与恒定分区值(CPV)相关。
在一些实施例中，所述编码模式的有序列表中的所述多种编码模式包括3种或8种MPM。
上述一些实施例可与具有组件间相关性的编/解码方法或工具相关，如基于深度的纹理编/解码或预测工具。需理解实施例可不局限于所描述的编/解码方法，而是能通过相似的编/解码方法或工具实现。
上述示例实施例可结合比特流语法进行说明。但需理解，对应的结构和/或计算机程序可以位于编码器上用于生成比特流，和/或位于解码器上用于比特流的解码。同样，所述示例实施例可从编码器角度进行说明，但需理解所得到的的比特流和解码器都具有对应的元素。同样，所述示例实施例可从解码器角度进行说明，但需理解编码器具有用于生成供解码器进行解码的比特流的结构和/或计算机程序。

Claims (27)

1.一种用于对深度图的块进行编码的预测模式选择方法，其特征在于，所述方法包括：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于所述块的编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式DMM，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
2.根据权利要求1所述的方法，其特征在于，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
3.根据权利要求1所述的方法，其特征在于，所述决策条件基于对所述编码模式的有序列表的优先级进行判断。
4.根据权利要求1所述的方法，其特征在于，所述决策条件基于对所述编码模式的有序列表的第一种和/或第二种模式进行判断。
5.根据权利要求1所述的方法，其特征在于，所述决策条件基于判断所述编码模式的有序列表的第一种和/或第二种模式是否是扁平的编码模式。
6.根据权利要求5所述的方法，其特征在于，在确定所述编码模式的有序列表的第一种和/或第二种模式为扁平的编码模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
7.根据权利要求5所述的方法，其特征在于，所述扁平的编码模式为以下任意一种：平面模式和DC模式。
8.根据权利要求1所述的方法，其特征在于，所述决策条件基于所述编码模式的有序列表的第一种模式是否为平面模式。
9.根据权利要求8所述的方法，其特征在于，在确定所述编码模式的有序列表的第一种模式为平面模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
10.根据权利要求1所述的方法，其特征在于，所述决策条件基于深度建模模式选项是否被启用。
11.根据权利要求2所述的方法，其特征在于，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围及所述块的宽度和/或高度。
12.根据权利要求2所述的方法，其特征在于，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围为[4,32]和所述块的宽度等于所述块的高度。
13.根据权利要求1所述的方法，其特征在于，在将DMM添加到所述编码模式的有序列表的情况下，更新所述编码模式的有序列表。
14.根据权利要求1所述的方法，其特征在于，在不将DMM添加到所述编码模式的有序列表的情况下，不更新所述编码模式的有序列表，不将深度建模模式用于所述块的编码。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述确定步骤之后，计算所述编码模式的有序列表中的每个列表项的率失真开销；
从所述编码模式的有序列表中选择计算的率失真开销最低的编码模式，其中所述选择的计算的率失真开销最低的编码模式用于所述块的编码。
16.根据权利要求1所述的方法，其特征在于，所述MPM包括至少以下一种：平面模式、DC模式及定向帧内预测模式。
17.根据权利要求1所述的方法，其特征在于，在将DMM添加到所述编码模式的有序列表的情况下，所述DMM通过以下任一方式进行添加：
将所述DMM添加在所述编码模式的有序列表的多个MPM之后；
将所述DMM添加在所述编码模式的有序列表的最后一项之后；
将所述DMM插入所述编码模式的有序列表的多个MPM中的两项之间。
18.一种用于对深度图的块进行编码的预测模式选择的装置，其特征在于，包括至少一个处理器和至少一个包括计算机程序代码的内存，其中所述至少一个内存及所述计算机程序代码用于，与所述至少一个处理器一起，使所述装置执行以下操作：
获取编码模式的有序列表，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于对深度图的块进行编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式DMM，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表。
19.根据权利要求18所述的装置，其特征在于，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
20.根据权利要求18所述的装置，其特征在于，所述决策条件基于对所述编码模式的有序列表的优先级进行判断。
21.根据权利要求18所述的装置，其特征在于，所述决策条件基于对所述编码模式的有序列表的第一种和/或第二种模式进行判断。
22.根据权利要求19所述的装置，其特征在于，所述决策条件基于判断所述编码模式的有序列表的第一种和/或第二种模式是否是扁平的编码模式。
23.根据权利要求22所述的装置，其特征在于，在确定所述编码模式的有序列表的第一种和/或第二种模式为扁平的编码模式的情况下，不将所述DMM添加到所述编码模式的有序列表。
24.根据权利要求22所述的装置，其特征在于，所述扁平的编码模式为以下任意一种：平面模式和DC模式。
25.根据权利要求19所述的装置，其特征在于，所述块的大小信息包括以下任一项或其任一组合：所述块的大小的范围及所述块的宽度和/或高度。
26.一种用于对深度图的块进行编码的预测模式选择的装置，其特征在于，包括：
获取编码模式的有序列表的单元，其中所述编码模式的有序列表包括多种编码模式，其中每种编码模式都能用于对深度图的块进行编码，所述编码模式的有序列表中的所述多种编码模式包括多个最可能模式MPM；
获取多个深度建模模式DMM的单元，其中每个深度建模模式都能用于所述块的编码；
根据决策条件确定是否将所述多个DMM中的DMM添加到所述编码模式的有序列表的单元。
27.根据权利要求26所述的装置，其特征在于，所述决策条件基于下列任一项或其任一组合：
所述编码模式的有序列表中的至少一种编码模式；
能用于深度块编码的模式；
所述块的大小信息；
所述编码模式的有序列表的排列顺序；
深度建模模式启用/禁用选项。
CN201480003996.XA 2013-01-11 2014-01-10 深度预测模式选择方法及装置 Active CN105409215B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361751589P 2013-01-11 2013-01-11
US61/751,589 2013-01-11
PCT/US2014/011157 WO2014110452A1 (en) 2013-01-11 2014-01-10 Method and apparatus of depth prediction mode selection
US14/152,904 2014-01-10
US14/152,904 US9503723B2 (en) 2013-01-11 2014-01-10 Method and apparatus of depth prediction mode selection

Publications (2)

Publication Number Publication Date
CN105409215A CN105409215A (zh) 2016-03-16
CN105409215B true CN105409215B (zh) 2018-10-09

Family

ID=51164823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480003996.XA Active CN105409215B (zh) 2013-01-11 2014-01-10 深度预测模式选择方法及装置

Country Status (4)

Country Link
US (2) US9503723B2 (zh)
EP (1) EP2944082B1 (zh)
CN (1) CN105409215B (zh)
WO (1) WO2014110452A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129822A1 (ko) * 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
CN105409215B (zh) * 2013-01-11 2018-10-09 华为技术有限公司 深度预测模式选择方法及装置
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
US9497485B2 (en) * 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
WO2015200822A1 (en) * 2014-06-26 2015-12-30 Huawei Technologies Co., Ltd Method and device for reducing a computational load in high efficiency video coding
CN105578181B (zh) * 2016-01-19 2019-01-01 南京大学 一种hevc中屏幕内容压缩的快速帧内模式决策和块匹配方法
US20180146191A1 (en) * 2016-11-22 2018-05-24 Futurewei Technologies, Inc. System and Method for Coding Intra Prediction Mode using a Second Set of Most Probable Modes
CN107864380B (zh) * 2017-12-14 2020-08-11 杭州电子科技大学 基于dct的3d-hevc快速帧内预测决策方法
US11032551B2 (en) * 2018-12-04 2021-06-08 Tencent America LLC Simplified most probable mode list generation scheme
CN110198442B (zh) * 2018-12-27 2023-02-28 腾讯科技（深圳）有限公司 一种用于视频编码的帧内预测方法、装置和存储介质
CN113812155B (zh) * 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
US20220201295A1 (en) * 2020-12-21 2022-06-23 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using prediction
KR20230165249A (ko) * 2021-04-08 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 확장성 차원 정보 추가 향상 정보 메시지

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301252A (en) 1995-05-23 1996-11-27 Ibm Run length data compression
AU2189297A (en) * 1996-02-08 1997-09-10 Synthonics Incorporated 3d stereo browser for the internet
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US20060031779A1 (en) 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
JP4268605B2 (ja) * 2005-09-07 2009-05-27 パナソニック株式会社 無線通信装置および通信制御方法
US8446954B2 (en) * 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
KR100750145B1 (ko) 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CA2884702C (en) * 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US7933955B2 (en) 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
US20090074058A1 (en) * 2007-09-14 2009-03-19 Sony Corporation Coding tool selection in video coding based on human visual tolerance
US20090234983A1 (en) 2008-03-17 2009-09-17 Golden Signals, Inc. Methods and apparatus for sharing a computer display screen
WO2010022002A1 (en) 2008-08-19 2010-02-25 Marvell World Trade Ltd Systems and methods for perceptually lossless video compression
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
US8891939B2 (en) 2009-12-22 2014-11-18 Citrix Systems, Inc. Systems and methods for video-aware screen capture and compression
US20110202854A1 (en) 2010-02-17 2011-08-18 International Business Machines Corporation Metadata Capture for Screen Sharing
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8885704B2 (en) 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CA2722460A1 (en) 2010-11-26 2012-05-26 Centre De Recherche Informatique De Montreal Screen sharing and video conferencing system and method
WO2012090181A1 (en) 2010-12-29 2012-07-05 Nokia Corporation Depth map coding
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
GB2491391B (en) 2011-06-02 2014-09-03 Canon Kk Encoding mode values representing prediction modes
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
HUE038712T2 (hu) * 2011-06-28 2018-11-28 Samsung Electronics Co Ltd Eljárás video dekódolására intra predikcióval
JP6005157B2 (ja) 2011-08-25 2016-10-12 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 深度マップ符号化および復号化
CA2846425A1 (en) 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
PL3139596T3 (pl) * 2011-09-13 2020-03-31 Hfi Innovation Inc. Sposób i urządzenie do kodowania wewnątrzklatkowego w HEVC
EP2777283B1 (en) 2011-11-11 2018-01-10 GE Video Compression, LLC Effective prediction using partition coding
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
KR101663394B1 (ko) * 2011-11-11 2016-10-06 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP2777284B1 (en) * 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
US20130188719A1 (en) 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
WO2013113134A1 (en) 2012-02-02 2013-08-08 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US10085024B2 (en) 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
CN104396244B (zh) 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
WO2013159330A1 (en) 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9344727B2 (en) * 2012-05-14 2016-05-17 Ati Technologies Ulc Method of using a reduced number of macroblock coding modes in a first view based on total coding mode complexity values of macroblocks in second view
JP6046246B2 (ja) * 2012-07-02 2016-12-14 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングのための深度マップのイントラコーディング
CN104429062B (zh) * 2012-07-13 2017-02-01 华为技术有限公司 用于对表示三维视频的比特流进行编码的设备
US20150229957A1 (en) * 2012-09-24 2015-08-13 Qualcomm Incorporated Depth map coding
CN103716607B (zh) * 2012-09-28 2017-02-08 中兴通讯股份有限公司 一种应用于HEVC‑based 3DVC的编码方法和装置
CN105409215B (zh) * 2013-01-11 2018-10-09 华为技术有限公司 深度预测模式选择方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"3D Video Coding with depth modeling modes and view synthesis optimization";Muller K;《Signal & Information Processing Association Annual Summit and Conference (APSIPA ASC)》;20121203;1-4 *
"3D-HEVC TEST Model 2";Tech G;《JCT-3V Meeting》;20121223;26-31 *
"Model-based intra coding for depth maps in 3D video using a depth lookup table";Fabian Jager;《3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON)》;20121015;1-4 *

Also Published As

Publication number Publication date
EP2944082A1 (en) 2015-11-18
US9503723B2 (en) 2016-11-22
EP2944082A4 (en) 2016-03-02
WO2014110452A1 (en) 2014-07-17
EP2944082B1 (en) 2019-08-21
US20140198179A1 (en) 2014-07-17
US10306266B2 (en) 2019-05-28
US20170127087A1 (en) 2017-05-04
CN105409215A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105409215B (zh) 深度预测模式选择方法及装置
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN106464919B (zh) 用于编码和解码具有视频数据的多层位流的方法和装置
CN106797466B (zh) 一种处理视频数据的方法及装置
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
US9641853B2 (en) Method and apparatus of depth prediction mode selection
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN105493507B (zh) 用于帧内块复制的残余预测
CN104584549B (zh) 用于视频编码的方法和装置
CN104270645B (zh) 用于并行视频编码和解码的方法、设备和系统
CN105103559B (zh) 三维(3d)视频译码方法及装置
CN105934948B (zh) 解码和编码视频数据的方法和装置及计算机可读存储介质
CN105308956B (zh) 用于深度图帧内译码的预测子
CN105122814B (zh) 可包含未对准irap图片的多层位流的跨层poc对准
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN110100439A (zh) 用于视频译码的帧内预测技术
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN106664425A (zh) 视频译码中的跨分量预测
CN106063262A (zh) 3d视频译码中的增量dc残差译码的简化
CN105052147A (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN108028934A (zh) 改进的视频流切换和随机存取的方法和系统
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN104380749A (zh) 用于视频编码的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant