CN104396250B - 用于3d视频译码的深度图的帧内译码的方法和装置 - Google Patents

用于3d视频译码的深度图的帧内译码的方法和装置 Download PDF

Info

Publication number
CN104396250B
CN104396250B CN201280074388.9A CN201280074388A CN104396250B CN 104396250 B CN104396250 B CN 104396250B CN 201280074388 A CN201280074388 A CN 201280074388A CN 104396250 B CN104396250 B CN 104396250B
Authority
CN
China
Prior art keywords
block
depth
pattern
decoding
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280074388.9A
Other languages
English (en)
Other versions
CN104396250A (zh
Inventor
赵欣
陈颖
张莉
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104396250A publication Critical patent/CN104396250A/zh
Application granted granted Critical
Publication of CN104396250B publication Critical patent/CN104396250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一个实例中，一种用于对视频数据进行译码的装置包含视频译码器，所述视频译码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：停用用于所述深度块的分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及使用所述选定帧内预测译码模式对所述深度块进行译码。

Description

用于3D视频译码的深度图的帧内译码的方法和装置
本申请案主张2012年7月2日申请的第61/667,400号美国临时申请案的权益，所述申请案以全文引用的方式并入本文。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置，及其类似物。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、当前在开发的高效视频译码(HEVC)标准所定义的标准和这些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。
称为“HEVC工作草案7”或“WD7”的即将到来的HEVC标准的新近草案在布罗斯(Bross)等人的文献HCTVC-I1003“高效视频译码(HEVC)文字规范草案7”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作组(JCT-VC)，瑞士日内瓦第9次会议，2012年4月27日到2012年5月7日)中描述，其从2012年7月5日起可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9'_Geneva/wg11/JCTVC-I1003-v5.zip下载。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。针对基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割为若干视频块，所述视频块也可被称为树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是相对于同一图片中的相邻块中的参考样本使用空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测针对待译码的块产生预测性块。残余数据表示在待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量及指示在经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可被量化的残余变换系数。最初以二维阵列布置的经量化变换系数可经扫描，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
发明内容
大体上，本发明描述用于对三维(3D)视频数据的深度图进行译码的技术。特定来说，本发明描述用于对3D视频数据的深度图进行帧内预测译码的技术。这些技术可用以相对于例如3D高效视频译码(3D-HEVC)技术减少3D视频译码的复杂性。本发明的技术大体上涉及用于对深度图的块进行帧内译码的深度建模模式(DMM)。举例来说，这些技术可用以用信号表示深度图的块将如何经分割以用于帧内预测译码。
在一个实例中，一种对视频数据进行译码的方法包含：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：停用用于所述深度块的分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及使用所述选定帧内预测译码模式对所述深度块进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含视频译码器，所述视频译码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：停用用于所述深度块的分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及使用所述选定帧内预测译码模式对所述深度块进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含：用于针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块的装置；用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时停用用于所述深度块的分量间楔波深度建模模式的装置；用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式的装置；以及用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时使用所述选定帧内预测译码模式对所述深度块进行译码的装置。
在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时致使处理器进行以下操作：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：停用用于所述深度块的分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及使用所述选定帧内预测译码模式对所述深度块进行译码。
在另一实例中，一种对视频数据进行译码的方法包含：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；确定用以对所述纹理块的至少一部分进行译码的帧内预测模式；通过搜索与所述纹理块的所述帧内预测模式相关联的楔波图案集合来确定用于对所述深度块进行译码的深度建模模式的楔波图案；以及使用所述经确定楔波图案和所述深度建模模式对所述深度块进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含视频译码器，所述视频译码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；确定用以对所述纹理块的至少一部分进行译码的帧内预测模式；通过搜索与所述纹理块的所述帧内预测模式相关联的楔波图案集合来确定用于对所述深度块进行译码的深度建模模式的楔波图案；以及使用所述经确定楔波图案和所述深度建模模式对所述深度块进行译码。
在另一实例中，一种用于对视频数据进行译码的装置包含：用于针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块的装置；用于确定用以对所述纹理块的至少一部分进行译码的帧内预测模式的装置；用于通过搜索与所述纹理块的所述帧内预测模式相关联的楔波图案集合来确定用于对所述深度块进行译码的深度建模模式的楔波图案的装置；以及用于使用所述经确定楔波图案和所述深度建模模式对所述深度块进行译码的装置。
在另一实例中，一种具有存储于其上的指令的计算机可读存储媒体，所述指令在执行时致使处理器：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；确定用以对所述纹理块的至少一部分进行译码的帧内预测模式；通过搜索与所述纹理块的所述帧内预测模式相关联的楔波图案集合来确定用于对所述深度块进行译码的深度建模模式的楔波图案；以及使用所述经确定楔波图案和所述深度建模模式对所述深度块进行译码。
在附图和以下描述中陈述一或多个实例的细节。从描述和附图以及从权利要求书将明了其它特征、目标和优点。
附图说明
图1是说明可利用用于用信号表示用于深度图译码的深度建模模式的技术的实例性编码和解码系统的框图。
图2是说明可实施用于用信号表示用于深度图译码的深度建模模式的技术的视频编码器的实例的框图。
图3是说明可实施用于用信号表示用于深度图译码的深度建模模式的技术的视频解码器的实例的框图。
图4是说明用于视频数据块的各种潜在方向性帧内预测模式的概念图。
图5A和5B是说明深度建模模式的实例的概念图。
图6A和6B说明深度分量中的深度块和对应纹理分量中的位于同一地点的纹理块的实例。
图7是说明用于对当前深度块进行编码的实例性方法的流程图。
图8是说明用于对位流进行解码的实例性方法的流程图。
图9是说明根据本发明技术的用于对深度块进行解码的实例性方法的流程图。
具体实施方式
大体上，本发明的技术涉及三维(3D)视频译码。也就是说，使用这些技术译码的视频数据可经再现和显示以产生三维效果。举例来说，不同视图的两个图像(即，对应于具有稍微不同水平位置的两个相机视角)可大体上同时显示，使得一个图像由观看者的左眼看见，且另一图像由观看者的右眼看见。
此3D效果可使用例如立体显示器或自动立体显示器来实现。立体显示器可结合相应地对所述两个图像进行滤光的眼用佩戴品来使用。举例来说，无源眼镜可使用经极化镜片或不同颜色镜片对图像进行滤光以确保正确的眼睛观看正确的图像。作为另一实例，有源眼镜可与立体显示器协作快速地关上交替镜片，这可在显示左眼图像与右眼图像之间交替。自动立体显示器以不需要眼镜的方式显示所述两个图像。举例来说，自动立体显示器可包含经配置以致使每一图像投射到观看者的适当眼睛中的镜或棱镜。
本发明的技术涉及通过对纹理和深度数据进行译码来对3D视频数据进行译码。大体上，术语“纹理”用以描述图像的亮度(即，明度或“亮度”)值和图像的色度(即，颜色或“色度”)值。在一些实例中，纹理图像可包含用于蓝色调(Cb)和红色调(Cr)的一组亮度数据和两组色度数据。在某些色度格式中，例如4:2:2或4:2:0，色度数据相对于亮度数据经向下取样。也就是说，色度像素的空间分辨率可低于对应亮度像素的空间分辨率，例如亮度分辨率的二分之一或四分之一。
深度数据大体上描述对应纹理数据的深度值。举例来说，深度图像可包含一组深度像素，其各自描述对应纹理数据的深度。深度数据可用以确定对应纹理数据的水平视差。因此，接收到纹理和深度数据的装置可显示用于一个视图(例如，左眼视图)的第一纹理图像，且通过使第一图像的像素值偏移基于深度值确定的水平视差值，使用深度数据修改第一纹理图像以产生用于另一视图的第二纹理图像(例如，右眼视图)。大体上，水平视差(或简称为“视差”)描述第一视图中的像素到右视图中的对应像素的水平空间偏移，其中所述两个像素对应于所述两个视图中表示的同一对象的同一部分。
在再其它实例中，可针对垂直于图像平面的z维度中的像素界定深度数据，使得与给定像素相关联的深度是相对于针对图像界定的零视差平面来界定。此深度可用以产生用于显示像素的水平视差，使得取决于像素相对于零视差平面的z维度深度值针对左眼和右眼不同地显示所述像素。零视差平面可针对视频序列的不同部分而改变，且相对于零视差平面的深度量也可改变。位于零视差平面上的像素可针对左眼和右眼类似地界定。位于零视差平面前方的像素可针对左眼和右眼在不同位置中显示(例如，具有水平视差)，以便产生像素似乎在垂直于图像平面的z方向上从图像出来的感知。位于零视差平面后方的像素可以稍微的模糊显示，以稍微的深度感知显示，或可针对左眼和右眼在不同位置中显示(例如，具有与位于零视差平面前方的像素的水平视差相反的水平视差)。也可使用许多其它技术来传达或界定图像的深度数据。
二维视频数据一般经译码为离散图片序列，所述离散图片各自对应于特定时间实例。也就是说，每一图片相对于序列中的其它图像的重放时间具有相关联重放时间。这些图片可视为纹理图片或纹理图像。在基于深度的3D视频译码中，序列中的每一纹理图片也可对应于深度图。也就是说，对应于纹理图片的深度图描述对应纹理图片的深度数据。多视图视频数据可包含各种不同视图的数据，其中每一视图可包含相应纹理图片序列和对应深度图片。
如上所述，图像可对应于特定时间实例。视频数据可使用存取单元序列来表示，其中每一存取单元包含对应于特定时间实例的所有数据。因此举例来说，对于多视图视频数据加来自共同时间实例的每一视图的深度、纹理图像加纹理图像中的每一者的深度图可全部包含在特定存取单元内。存取单元可包含对应于纹理图像的纹理分量和对应于深度图的深度分量的数据。以此方式，3D视频数据可使用多视图视频加深度格式来表示，其中所俘获或产生视图(纹理)与对应深度图相关联。而且，在3D视频译码中，纹理和深度图可经译码且多路复用到3D视频位流中。深度图可经译码为灰度级图像，其中深度图的“亮度”样本(即，像素)表示深度值。常规帧内和帧间译码方法可应用于深度图译码。
深度图通常包含尖锐边缘和恒定区域，且深度图中的边缘通常存在与对应纹理数据的强相关。由于纹理与对应深度之间的不同统计数据和相关，基于2D视频编解码器针对深度图已设计且持续设计不同的译码方案。如下文更详细论述的对深度图译码特定的一些译码方案涉及将深度图的块分割为各种预测区。举例来说，深度图的块可使用楔波(Wedgelet)图案或轮廓(Contour)图案来分割，如下文更详细描述。大体上，楔波图案由穿过深度图数据块绘制的任意线界定，而在轮廓分割中，可将深度块分割为两个不规则形状的区。
本发明的技术可基于高级编解码器(编码器/解码器)结合3D视频译码来使用，包含多视图视频加深度译码技术。在各种实例中，本发明提出的深度译码技术可包含基于纹理视图分量的对应纹理信息的经译码信息来搜索用于深度信息的最佳分割图案。也就是说，深度信息块可基于对应于(例如，空间上位于同一地点)所述深度信息块的纹理信息块的译码来分割和译码。
已建议使即将到来的HEVC标准扩展以支持3D视频译码，称为3D-HEVC。3D-HEVC是基于在舒瓦茨(Schwarz)等人的“夫琅和费HHI的3D视频译码技术建议的说明(HEVC兼容配置A)”(MPEG会议ISO/IEC JTC1/SC29/WG11文献MPEG11/M22570，瑞士日内瓦，2011年11月/12月)和舒瓦茨(Schwarz)等人的“夫琅和费HHI的3D视频技术建议的说明(HEVC兼容配置B)”(MPEG会议ISO/IEC JTC1/SC29/WG11文献MPEG11/M22571，瑞士日内瓦，2011年11月/12月)中提出的解决方案。
HEVC的开发包含HEVC测试模型(HTM)的开发。用于3D-HEVC的HTM版本3.1从2012年7月5日起可从https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-3.1/下载。HTM软件的描述从2012年7月5日起可从http://wg11.sc29.org/doc_end_user/documents/100_Geneva/wg11/w12744-v2-w12744.zip得到。
在3D-HEVC中，每一存取单元含有多个视图分量，且视图分量中的每一者含有唯一视图id，或视图次序索引，或层id。视图分量含有纹理视图分量以及3D-HEVC中的深度视图分量。在3D-HEVC中，纹理视图分量经译码为一或多个纹理切片，而深度视图分量经译码为一或多个深度切片。而且，在3D-HEVC中，利用与常规HEVC相同的帧内预测模式的定义。另外，方向性帧内预测模式的角度可进一步指示为(H,V)，具有大致等于H/V的值。帧内模式的可能(H,V)组合在表1中列出，其中标引为2到34的每一预测模式对应于一种(H,V)组合。
表1
帧内模式索引 2 3 4 5 6 7 8 9 10 11 12
H 32 32 32 32 32 32 32 32 32 32 32
V 32 26 21 17 13 9 5 2 0 -2 -5
帧内模式索引 13 14 15 16 17 18 19 20 21 22 23
H 32 32 32 32 32 32 26 21 17 13 9
V -9 -13 -17 -21 -26 -32 -32 -32 -32 -32 -32
帧内模式索引 24 25 26 27 28 29 30 31 32 33 34
H 5 2 0 2 5 9 13 17 21 26 32
V -32 -32 32 32 32 32 32 32 32 32 32
3D-HEVC包含深度建模模式(DMM)，其可用以对深度切片的帧内预测单元进行译码。3D-HEVC的DMM在下文相对于图5A和5B更详细描述。大体上，3D-HEVC的DMM包含例如使用楔波分割图案或轮廓分割图案将深度视频数据块分割为两个区。3D-HEVC当前包含四个DMM：模式1(显式楔波信令)，模式2(帧内预测楔波分割)，模式3(分量间楔波分割)，和模式4(分量间轮廓分割)。
本发明认识到从3D-HEVC的DMM图案导出的当前设计可能出现某些问题。举例来说，当前3D-HEVC设计的DMM模式3需要显著的解码器复杂性增加，因为位于同一地点的纹理区上的所有可能的楔波图案(数目可达约1500)被穷尽地检查以确定由深度切片的当前预测单元使用的楔波图案，无论所述位于同一地点的纹理预测单元的预测模式如何。本发明描述涉及例如用于3D-HEVC的DMM的改进信令的各种技术，但应了解，这些技术也可相对于其它视频译码标准来实施。这些技术仅为了阐释目的而相对于3D-HEVC的实例来描述，且不限于3D-HEVC。
图1是说明可利用用于用信号表示用于深度图译码的深度建模模式的技术的实例性编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其提供经编码视频数据以在较晚时间由目的地装置14解码。特定来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广范围装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似物。在一些情况下，源装置12和目的地装置14可经配备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括用以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准来调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成例如局域网、广域网或全球网(例如，因特网)的基于包的网络的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或局部存取的数据存储媒体中的任一者，例如硬驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数据存储媒体。在又一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任一类型的服务器。实例性文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过包含因特网连接的任一标准数据连接来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术不一定限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、电缆电视发射、卫星电视发射、因特网流式传输视频发射(例如经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于用信号表示用于深度图译码的深度建模模式的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成显示装置。
图1的所说明系统10仅为一个实例。用于用信号表示用于深度图译码的深度建模模式的技术可由任何数字视频编码和/或解码装置执行。虽然通常本发明的技术由视频编码装置执行，但所述技术也可由通常称为“CODEC(编解码器)”的视频编码器/解码器执行。而且，也可通过视频预处理器来执行本发明的技术。源装置12和目的地装置14仅为这些译码装置的实例，其中源装置12产生经译码视频数据以供发射到目的地装置14。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如，以用于视频流式传输、视频重放、视频广播，或视频电话。
源装置12的视频源18可包含例如摄像机的视频俘获装置、含有先前俘获的视频的视频存档，和/或用以从视频内容提供者接收视频的视频馈送接口。作为又一替代，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、经存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的像机电话或视频电话。然而，如上文所提及，本发明中所述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可通过视频编码器20编码所俘获、预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含：暂时性媒体，例如无线广播或有线网络发射；或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20所定义的语法信息(其也由视频解码器30使用)，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频译码标准操作，例如当前在开发的高效视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据其它专门或行业标准来操作，例如ITU-T H.264标准，替代地称为MPEG4第10部分高级视频译码(AVC)，或此些标准的扩展。然而本发明的技术不限于任一特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。虽然图1中未图示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起制定为被称为联合视频小组(JVT)的集体合作的产品。在一些方面中，本发明中所述的技术可应用于大体符合H.264标准的装置。H.264标准通过ITU-T研究组且在日期2005年3月描述于ITU-T推荐H.264“用于一般视听服务的高级视频译码(AdvancedVideo Coding for generic audiovisual services)”中，其在本文中可被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
可将视频编码器20和视频解码器30各自实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件，或其任何组合。当所述技术部分地以软件实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，且使用一或多个处理器以硬件执行所述指令以执行本发明的技术。可将视频编码器20和视频解码器30中的每一者包含于一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
JCT-VC正在致力于HEVC标准的开发。HEVC标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置相对于根据例如ITU-T H.264/AVC的现有装置的若干额外能力。举例来说，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。
大体上，HM的工作模型描述了可将视频帧或图片划分为包含亮度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可界定LCU的大小，其为在像素数目方面的最大译码单元。切片包含若干在译码次序上连续的树块。视频帧或图片可经分割为一或多个切片。每一树块可根据四叉树而分裂为若干译码单元(CU)。大体上，四叉树数据结构包含每CU一个节点，其中根节点对应于树块。如果CU经分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述叶节点中的每一者对应于子CU中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU是否经分裂为若干子CU。用于CU的语法元素可以递归方式界定，且可取决于CU是否经分裂为若干子CU。如果CU并不进一步分裂，那么其被称为叶CU。在本发明中，叶CU的四个子CU也将被称为叶CU，即使不存在原始叶CU的明显分裂也是如此。举例来说，如果16x16大小的CU并不进一步分裂，那么四个8x8子CU也将被称为叶CU，但16x16CU从不分裂。
CU具有与H.264标准的宏块类似的目的，不同的是CU不具有大小区别。举例来说，树块可经分裂为四个子代节点(也被称为子CU)，且每一子代节点可又为父代节点且经分裂为另外四个子代节点。被称为四叉树的叶节点的最终的未分裂子代节点包括译码节点，所述译码节点也被称为叶CU。与经译码位流相关联的语法数据可界定可分裂树块的最大次数(其被称为最大CU深度)，且也可界定译码节点的最小大小。因此，位流也可界定最小译码单元(SCU)。本发明使用术语“块”指代在HEVC的上下文中的CU、PU或TU中的任一者，或在其它标准的上下文中的类似数据结构(例如，在H.264/AVC中的宏块及其子块)。
CU包含译码节点以及与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8x8像素直到具有最大64x64像素更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可在CU是经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间不同。PU的形状可分割为非正方形。与CU相关联的语法数据也可描述(例如)CU根据四叉树到一或多个TU的分割。TU的形状可为正方形或非正方形(例如，矩形)。
HEVC标准允许根据TU的变换，所述变换针对不同的CU可为不同的。通常基于针对经分割LCU所界定的给定CU内的PU的大小而对TU定大小，但可能并非始终如此。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分为若干较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可量化的变换系数。
叶CU可包含一或多个预测单元(PU)。大体上，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。而且，PU包含与预测相关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含于残余四叉树(RQT)中，残余四叉树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定所述PU的一或多个运动向量的数据。界定用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或用于运动向量的参考图片列表(例如，列表0、列表1，或列表C)。
具有一或多个PU的叶CU也可包含一或多个变换单元(TU)。可使用RQT(也被称为TU四叉树结构)指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂为四个变换单元。接着，每一变换单元可进一步分裂为另外的子TU。当TU并不进一步分裂时，其可被称为叶TU。一般来说，针对帧内译码，属于一叶CU的所有叶TU共享相同帧内预测模式。也就是说，相同帧内预测模式大体应用于计算叶CU的所有TU的预测值。针对帧内译码，视频编码器可使用帧内预测模式计算用于每一叶TU的残余值，作为在对应于TU的CU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。针对帧内译码，PU可与用于同一CU的对应叶TU位于同一地点。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
而且，叶CU的TU也可与被称为残余四叉树(RQT)的相应四叉树数据结构相关联。也就是说，叶CU可包含指示叶CU分割为若干TU的方式的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。RQT的不分裂的TU被称为叶TU。一般来说，本发明分别使用术语CU及TU来指代叶CU及叶TU，除非另外注释。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可在GOP的标头、图片中的一或多者的标头或别处包含描述GOP中包含的图片的数目的语法数据。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为实例，HM支持以各种PU大小进行预测。假设特定CU的大小为2Nx2N，则HM支持以2Nx2N或NxN的PU大小进行帧内预测，及以2Nx2N、2NxN、Nx2N或NxN的对称PU大小进行帧间预测。HM也支持以2NxnU、2NxnD、nLx2N和nRx2N的PU大小进行帧间预测的非对称分割。在一种实例性非对称分割中，CU的一个方向未分割，而另一方向分割为25％及75％。CU的对应于25％分割的部分是通过“n”跟随有“上”、“下”、“左”或“右”的指示来指示。因此，举例来说，“2NxnU”指代以顶部2Nx0.5N PU及底部2Nx1.5N PU水平分割的2Nx2N CU。
在本发明中，“NxN”和“N乘N”可以可互换地使用以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16x16像素或16乘16像素。大体上，16x16块将在垂直方向上具有16个像素(y＝16)且在水平方向上具有16个像素(x＝16)。同样，NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可以布置成行和列。而且，块不需要一定在水平方向上与在垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M不一定等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(也被称为像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换之后在变换域中的系数，所述变换例如离散余弦变换(DCT)、整数变换、小波变换，或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换所述TU以产生用于CU的变换系数。
在应用任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指代其中对变换系数进行量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间舍入到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)系数置于阵列的前部，且将较低能量(且因此较高频率)系数置于阵列的后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对所述一维向量进行熵编码。视频编码器20也可对与经编码视频数据相关联的语法元素进行熵编码，以供视频解码器30用于对视频数据进行解码。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可与(例如)符号的相邻值是否为非零相关。为了执行CAVLC，视频编码器20可针对待发射的符号选择可变长度码。可将VLC中的码字建构成使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，与(例如)针对待发射的每一符号使用相等长度码字相比较，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
根据本发明的技术，视频译码器(例如视频编码器20或视频解码器30)可用信号表示用于深度图译码的深度建模模式。当前在3D-HEVC中，存在四种一般深度建模模式(DMM)。在3D-HEVC的实例中，如下描述这些模式：
1.模式1：显式楔波信令
在此模式中应用楔波分割，且基于某一失真准则在编码器处选择最佳或合意的一者。选定楔波图案的索引在位流中用信号表示。
2.模式2：帧间预测楔波分割
在此模式中应用楔波分割，且使用相邻帧内预测模式的信息和楔波图案信息来预测选定楔波图案。在此情况下，避免楔波图案索引的直接信令，且用信号表示所预测楔波图案的精炼。
3.模式3：分量间楔波分割
在同一存取单元的位于同一地点的亮度纹理块区上穷尽地尝试所有可用的楔波图案，且选择最佳匹配于纹理块的一者作为用于深度切片中的PU的楔波分割。不需要楔波分割图案的信令，但在解码器处可能需要对最佳图案的穷尽搜索(在本发明的技术之外)。
4.模式4：分量间轮廓分割
在此模式中，在解码过程期间通过将位于同一地点的纹理块分离为两个部分来产生轮廓分割图案：第一部分含有具有大于平均值的亮度样本值的像素，且第二部分含有具有小于或等于平均值的亮度样本值的像素。
用于DMM的不同分割图案的数目可取决于将使用DMM译码的块的大小。举例来说，在3D-HEVC中，存在针对4x4块的86个楔波图案、针对8x8块的782个楔波图案、针对16x16块的1394个楔波图案，以及针对32x32块的1503个楔波图案。这些图案是在编码和解码两者期间产生和存储。也就是说，视频编码器20和视频解码器30可产生和存储各种楔波图案。3D-HEVC的四个DMM可基于导出的类型(例如，楔波或轮廓分割)和方法(例如，显式信令、帧内预测或分量间)来界定。而且，哪些DMM可用于对块进行译码可取决于块的大小。表2概括了在3D-HEVC的实例中哪些DMM可用于各种块大小：
表2
PU大小 可用DMM模式
4x4 模式1，模式3
8x8 模式1，模式2，模式3，模式4
16x16 模式1，模式2，模式3，模式4
32x32 模式1，模式2，模式3，模式4
64x64 无
如表2中所示，在3D-HEVC中，对于小于或等于4x4的块(例如，PU)大小，仅启用模式1和3，对于大于4x4但小于64x64(即，8x8、16x16和32x32)的PU大小，启用全部四个模式。对于大于或等于64x64的PU大小，在3D-HEVC中停用全部四个模式。
如表2中可见，模式3(即，分量间楔波分割)在3D-HEVC中可用于高达(但不包含)64x64的所有块大小。然而如上所述，本发明认识到关于模式3的某些问题，例如实施模式3需要视频解码器(例如视频解码器30)处显著的复杂性增加。因此，本发明描述可用以减少此复杂性的各种技术。
本发明的技术大体上涉及基于位于同一地点的纹理块的译码特性来确定针对深度块是否启用或停用模式3。在下文的论述中，深度块可表示深度分量中的译码单元的预测单元。与深度块位于同一地点的纹理块大体上对应于纹理图像中的像素块，其中深度图和纹理图像对应于同一视图和同一时间实例。举例来说，存取单元的单个视图分量可包含表示纹理图像的纹理视图分量和表示深度图的深度视图分量两者的数据。在图6A和6B中展示纹理块和位于同一地点的深度块的实例，如下文更详细论述。
大体上，与深度块位于同一地点的纹理块是在纹理图像内位于与深度图中的深度块相同的相对位置中的纹理块。举例来说，假定纹理图像和深度图具有相同空间分辨率(即，水平和垂直上相同数目的像素)，与深度块位于同一地点的纹理块可为具有与深度块相对于深度图的左边缘的水平偏移相同的相对于纹理图片的左边缘的水平偏移以及与深度块相对于深度图的顶部边缘的垂直偏移相同的相对于纹理图片的顶部边缘的垂直偏移的纹理块。如果纹理图像和深度图具有不同的空间分辨率，那么上述水平和垂直偏移可与水平和垂直偏移的空间分辨率之间的经缩放差成比例地缩放。
在一些实例中，视频编码器20和视频解码器30可经配置以基于位于同一地点的纹理块的至少一部分是否是(或不是)经帧内预测译码来确定分量间楔波模式(DMM模式3)是否针对深度块启用或停用。在一些实例中，视频编码器20和视频解码器30可经配置以在位于同一地点的纹理块不完全属于经帧内预测模式译码的纹理图像的PU时针对深度块停用分量间楔波模式。在一些实例中，视频编码器20和视频解码器30可经配置以在位于同一地点的纹理块不完全属于使用除了DC和平面模式之外的模式(例如，方向性帧内预测模式)经帧内预测模式译码的纹理图像的PU时针对深度块停用分量间楔波模式。
在一些实例中，视频编码器20和视频解码器30可经配置以在位于同一地点的纹理块的左上4x4子块未经帧内预测模式译码时针对深度块停用分量间楔波模式。在一些实例中，视频编码器20和视频解码器30可经配置以在位于同一地点的纹理块的左上4x4子块使用DC或平面模式经帧内预测模式译码时针对深度块停用分量间楔波模式。
在一些实例中，视频编码器20和视频解码器30可经配置以在位于同一地点的纹理块属于除了帧内切片(I切片)之外的切片时，即当纹理块包含于帧间切片(例如，P切片或B切片)内时针对深度块停用分量间楔波模式。在一些实例中，视频编码器20和视频解码器30可经配置以在深度切片具有位于同一地点的纹理块(其部分经译码为非帧内)时针对深度块停用分量间楔波模式。在一些实例中，视频编码器20和视频解码器30可经配置以在纹理块对应于纹理图像中的若干PU且纹理块所对应的PU中无任一者经帧内预测模式译码时针对深度块停用分量间楔波模式。
视频编码器20和视频解码器30可经配置以在上述情形中的任一者或全部(以任一组合)中停用分量间楔波模式。在启用分量间楔波模式且纹理块对应于经帧内译码的单个PU的情况下，视频编码器20和视频解码器30可经配置以使用纹理块的帧内预测模式来预测深度块的楔波图案。举例来说，可对每一楔波图案指派3D-HEVC的33个方向性帧内预测模式中的一者。视频编码器20和视频解码器30可以将楔波图案指派于帧内预测模式的数据来配置。
在一些实例中，视频编码器20和视频解码器30可以基于某一准则将帧内预测模式指派于一组楔波图案的数据来配置。在一些实例中，可对3D-HEVC的33个帧内预测模式中的每一者指派相同数目的楔波图案。对于给定纹理帧内预测模式，视频编码器20和视频解码器30可经配置以仅搜索与所述纹理帧内预测模式相关联的楔波图案的集合。换句话说，当导出最终楔波图案时可检查仅与位于同一地点的纹理块的帧内预测模式相关联的楔波图案。在一些实例中，与特定有角度帧内预测模式相关联的楔波图案的集合可为具有接近地匹配于帧内预测模式的角度的分割线的楔波图案。举例来说，所述楔波图案集合可包含与有角度帧内预测模式的角度平行、大体上平行和/或在与所述角度某一程度的平行内的楔波图案。以此方式，视频译码器(例如视频编码器20或视频解码器30)在确定将用于DMM模式3的楔波图案时可简单地搜索具有与用以对位于同一地点的纹理块进行译码的有角度帧内预测模式的角度类似的角度的楔波图案。
在一些实例中，仅当位于同一地点的纹理块完全属于经帧内译码的PU且帧内预测模式不是DC或平面时，视频编码器20和视频解码器30可使用位于同一地点的纹理块的帧内预测模式来预测当前深度PU的楔波图案。在一些实例中，仅当位于同一地点的纹理块的左上4x4子块经帧内译码且帧内预测模式不是DC或平面时，视频编码器20和视频解码器30可使用位于同一地点的纹理块的帧内预测模式来预测当前深度PU的楔波图案。在一些实例中，仅当位于同一地点的纹理块的左上4x4子块经帧内译码时，视频编码器20和视频解码器30可使用位于同一地点的纹理块的帧内预测模式来预测当前深度PU的楔波图案。
视频编码器20和视频解码器30可经配置以单独或以任一组合执行用于从纹理块的帧内预测模式预测楔波图案的技术中的任一者或全部。而且，视频编码器20和视频解码器30可经配置以与用于停用上述情形的分量间楔波模式的技术中的任一者或全部的任一组合来执行用于从纹理块的帧内预测模式预测楔波图案的技术中的任一者或全部。
此外，当例如使用上述技术中的任一者或全部停用DMM分量间楔波模式时，可如下修改DMM模式的信令。对于大于4x4但小于64x64(例如，8x8、16x16和32x32)的深度块大小，可用DMM模式的数目可从4改变为3。替代地，分量间楔波模式可用信号表示为模式4，且分量间轮廓可用信号表示为模式3。也就是说，当停用分量间楔波模式时，用以用信号表示3D-HEVC的分量间楔波模式和分量间轮廓模式的值可交换。
替代地，DMM模式1、2和4中的一个模式的索引可经二进制化为一个位，且另外两者的索引可经二进制化为两个位。举例来说，模式1可经二进制化为一个位(例如，“0”)，且模式2和4可使用两个位二进制化(例如，分别为“10”和“11”)。替代地，用于DMM模式1、2和4的索引值可经一元二进制化。举例来说，模式1可经二进制化为“1”，模式2可经二进制化为“11”，且模式3可经二进制化为“111”。对于小于或等于4x4的PU大小，DMM模式的数目可从2改变为1。而且，当DMM模式的数目从2改变为1时不需要译码(例如，发送或接收)用于DMM模式的索引值来指示DMM模式。而是，根据如以上表2中概括的3D-HEVC的实例，DMM模式可导出为等于显式楔波(即，模式1)。
在适用时可将视频编码器20和视频解码器30各自实施为多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件，或其任何组合。可将视频编码器20和视频解码器30中的每一者包含于一或多个编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
图2是说明可实施用于用信号表示用于深度图译码的深度建模模式的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可涉及若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可涉及若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54，和熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。针对视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60以及求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波以从经重构视频移除成块假象。如果需要，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外还可使用额外滤波器(环路内或环路后)。为了简明而未图示此些滤波器，但如果需要，则可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分为多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行对所接收视频块的帧间预测性译码，以提供时间预测。帧内预测单元46或者可相对于与待译码的块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于每一视频数据块的适当译码模式。
而且，分割单元48可基于先前译码遍次中的先前分割方案的评估而将视频数据块分割为若干子块。举例来说，分割单元48可最初将帧或切片分割为若干LCU，且基于速率-失真分析(例如，速率-失真优化)将所述LCU中的每一者分割为若干子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可(例如)基于错误结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内或帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵译码单元56。
运动估计单元42与运动补偿单元44可为高度集成的，但为了概念性目的而单独说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧内的预测性块(或其它译码单元)相对于在当前帧内正译码的当前块(或其它译码单元)的位移。预测性块为就像素差来说被发现紧密匹配待译码的块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置和分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。
运动估计单元42通过将经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置进行比较来计算所述PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其各自识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而取得或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位运动向量指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值，来形成残余视频块，如下文论述。大体上，运动估计单元42执行相对于亮度分量的运动估计，且运动补偿单元44使用基于亮度分量计算的运动向量用于色度分量和亮度分量两者。模式选择单元40还可产生与视频块和视频切片相关联的语法元素以由视频解码器30用于对视频切片的视频块进行解码。
作为对上述由运动估计单元42和运动补偿单元44执行的帧间预测的替代，帧内预测单元46可帧内预测当前块。特定来说，帧内预测单元46可确定使用帧内预测模式来编码当前块。在一些实例中，帧内预测单元46可(例如)在单独的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择待使用的适当的帧内预测模式。
举例来说，帧内预测单元46可使用针对各种经测试的帧内预测模式的速率-失真分析计算速率-失真值，且在经测试模式当中选择具有最好的速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或错误)的量以及用以产生经编码块的位率(即，位的数目)。帧内预测单元46可从失真和速率计算各种经编码块的比率，以确定哪一帧内预测模式展现块的最好的速率-失真值。
另外，帧内预测单元46可经配置以根据本发明的技术，使用深度建模模式(DMM)对深度图的深度块进行译码。模式选择单元40可例如基于上文相对于图1描述的准则中的任一者或全部而初始确定是否应停用DMM模式中的任一者(例如DMM模式3)。模式选择单元40可例如使用速率-失真优化(RDO)来确定可用DMM模式是否产生比帧内预测模式和其它DMM模式好的译码结果。如果DMM模式被选定(或当前在测试)，且所述DMM模式不是其中显式地用信号表示图案的模式(例如DMM模式3)，那么帧内预测单元46可例如基于位于同一地点的纹理块的帧内预测模式来执行本发明的技术用于选择图案。对应于深度图的纹理图像的数据可存储在参考帧存储器64中。运动估计单元42和运动补偿单元44也可经配置以帧间预测深度图的深度块。
在为块选择帧内预测模式(例如，常规帧内预测模式或DMM模式中的一者)之后，帧内预测单元46可将指示块的所选择帧内预测模式的信息提供到熵译码单元56。熵译码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射位流中包含配置数据，其可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称为码字映射表)、各种块的编码上下文的定义，以及将用于所述上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示。
视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。
在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数的块。变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵译码单元56对经量化变换系数进行熵译码。举例来说，熵译码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码，或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在通过熵译码单元56熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。
根据本发明的技术，熵译码单元56可经配置以对指示用以对深度块进行译码的DMM模式的语法数据进行熵译码。特定来说，熵译码单元56可经配置以基于可用的DMM模式的数目对指示DMM模式的语法数据进行译码。举例来说，对于大于4x4但小于64x64的深度块的PU大小，当DMM模式3不可用时，可用的DMM模式的数目可从四改变为三。熵译码单元56可选择二进制化表以基于DMM模式3是否可用而对深度块的DMM模式的模式索引进行二进制化。
举例来说，当DMM模式3可用时，熵译码单元56可使用具有四个条目的二进制化表来二进制化DMM模式索引，而当DMM模式3不可用时，熵译码单元56可使用具有仅三个索引的二进制化表来二进制化DMM模式索引。替代地，熵译码单元56可在DMM模式3不可用时交换二进制化表中用于DMM模式4和DMM模式3的二进制化值。替代地，用于DMM模式的二进制化表可将用于DMM模式1、2和4的DMM模式索引中的一者二进制化为一位值，且将用于另外两个DMM模式的DMM模式索引二进制化为相应两位值。替代地，熵译码单元56可在DMM模式3不可用时对模式1、2和4的模式索引进行一元译码。
当深度块具有4x4或更小的大小时(或当深度块另外基于深度块的大小而仅具有两个模式可用时)，熵译码单元56可在DMM模式3停用时确定仅一个DMM模式可用。因此，如果针对仅一个DMM模式可用的深度块选择DMM模式，那么熵译码单元56可在选择DMM时跳过指示DMM模式的语法元素的译码。替代地，熵译码单元56可简单地对指示DMM已针对所述块选择的一位旗标进行译码，且解码器(例如视频解码器30)可推断选定DMM模式是可用的所述一个DMM模式(例如，显式楔波，或DMM模式1)。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换，以在像素域中重构残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储器64的帧中的一者的预测性块而计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于经重构的残余块，以计算用于运动估计中的子整数像素值。求和器62将经重构的残余块加到由运动补偿单元44产生的经运动补偿预测块，以产生经重构的视频块以用于存储在参考帧存储器64中。经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块，以对后续视频帧中的块进行帧间译码。
以此方式，图2的视频编码器20表示视频编码器的实例，所述视频编码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块，当所述纹理块的至少一部分对应于未经帧内预测译码的纹理分量的预测单元时，停用所述深度块的分量间楔波深度建模模式，选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式，且使用选定帧内预测译码模式对所述深度块进行译码。
图3是说明可实施用于用信号表示用于深度图译码的深度建模模式的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储器82以及求和器80。在一些实例中，视频解码器30可执行与相对于视频编码器20(图2)所述的编码遍次大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符以及其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级处接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号发送的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于运动向量和从熵解码单元70接收的其它语法元素而产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考帧存储器92中的参考图片使用默认构造技术来构造参考帧列表，列表0和列表1。
根据本发明的技术，熵解码单元70可经配置以对指示用以对深度块进行译码的DMM模式的语法数据进行熵解码。特定来说，熵解码单元70可经配置以基于可用的DMM模式的数目对指示DMM模式的语法数据进行解码。举例来说，对于大于4x4但小于64x64的深度块的PU大小，当DMM模式3不可用时，可用的DMM模式的数目可从四改变为三。熵解码单元70可选择二进制化表以根据经解码二进制化值基于DMM模式3是否可用而确定深度块的DMM模式的模式索引。也就是说，熵解码单元70可对语法元素进行解码以产生经二进制化值，随后使用所述经二进制化值在选定二进制化表中查找DMM模式索引，即所述经二进制化值在二进制化表中映射到的DMM模式索引。
举例来说，当DMM模式3可用时，熵解码单元70可使用具有四个条目的二进制化表，而当DMM模式3不可用时，熵解码单元70可使用具有仅三个条目的二进制化表。替代地，熵解码单元70可在DMM模式3不可用时交换二进制化表中用于DMM模式4和DMM模式3的二进制化值。替代地，用于DMM模式的二进制化表可将用于DMM模式1、2和4的DMM模式索引中的一者映射到一位经二进制化值，且将用于另外两个DMM模式的DMM模式索引映射到相应两位经二进制化值。替代地，熵解码单元70可在DMM模式3不可用时使用一元解码来确定模式1、2和4的模式索引。
当深度块具有4x4或更小的大小时(或当深度块另外基于深度块的大小而仅具有两个模式可用时)，且当DMM模式3停用时，熵解码单元70可确定仅一个DMM模式可用。因此，如果针对仅一个DMM模式可用的深度块选择DMM模式，例如由一位语法元素的值指示，那么熵解码单元70可推断选定DMM模式为可用的所述一个DMM模式(例如，显式楔波，或DMM模式1)。因此，熵解码单元70不需要接收或解码显式地指示哪一DMM模式被使用的语法元素，因为熵解码单元70可例如基于深度块的大小而确定仅一个DMM模式可用，DMM模式3被停用，以及指示使用了DMM(而非单独的帧内预测)的经解码值。
运动补偿单元72通过剖析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息产生正解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72也可执行基于内插滤波器的内插。运动补偿单元72可使用在视频块的编码期间由视频编码器20使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元72可根据所接收语法元素确定由视频编码器20使用的内插滤波器且使用内插滤波器来产生预测性块。
根据本发明的技术，帧内预测单元74可经配置以使用深度建模模式(DMM)对深度图的深度块进行译码。帧内预测单元74可例如基于上文相对于图1描述的准则中的任一者或全部而初始确定是否应停用DMM模式中的任一者(例如DMM模式3)。如果DMM模式被选定(例如，由从熵解码单元70接收的语法元素指示)，且所述DMM模式不是其中显式地用信号表示图案的模式(例如DMM模式3)，那么帧内预测单元74可例如基于位于同一地点的纹理块的帧内预测模式来执行本发明的技术用于选择图案。对应于深度图的纹理图像的数据可存储在参考帧存储器82中。运动补偿单元72也可经配置以帧间预测深度图的深度块。
逆量化单元76逆量化(即，解量化)在位流中提供且由熵解码单元80解码的经量化变换系数。逆量化过程可包含针对视频切片中的每一视频块使用由视频解码器30计算出的量化参数QPY来确定量化程度和(同样)应应用的逆量化的程度。
逆变换单元78将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中产生残余块。
在运动补偿单元82或帧内预测单元74基于运动向量或其它语法元素而产生当前视频块(例如，纹理块或深度块)的预测性块之后，视频解码器30通过将来自逆变换单元78的残余块与由运动补偿单元82或帧内预测单元74产生的对应预测性块进行求和而形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。如果需要，那么还可应用解块滤波器以对经解码块进行滤波以便移除成块假象。也可使用其它环路滤波器(译码环路中或在译码环路之后)来平滑像素转变或另外改善视频质量。随后将给定帧或图片中的经解码视频块存储在参考图片存储器92中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后呈现在显示装置(例如图1的显示装置32)上。
以此方式，图3的视频解码器30表示视频解码器的实例，所述视频解码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块，当所述纹理块的至少一部分对应于未经帧内预测译码的纹理分量的预测单元时：停用所述深度块的分量间楔波深度建模模式，选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式，且使用选定帧内预测译码模式对所述深度块进行译码。
图4是说明用于视频数据块的各种潜在方向性帧内预测模式的概念图。特定来说，块106表示视频数据的像素(也称为“样本”)的8x8块的实例。帧内预测大体上涉及使用相邻像素的值预测块106的值，所述相邻像素例如相邻像素100A到100AG(相邻像素100)中的一或多者。方向性帧内预测模式，也称为有角度帧内预测模式，由箭头102A到102AG(箭头102)表示。大体上，在图4的实例中，在有角度预测模式中，相邻像素100中的一或多者的值用以预测块106的像素的值。
在WD7中，有角度帧内预测模式从2到34标引。在WD7的实例中，有角度帧内预测模式的索引在2开始(映射到由箭头102A表示的有角度帧内预测方向)，且与箭头102的递增列举对应地递增前进到34。举例来说，箭头102B对应于模式3，箭头102C对应于模式4，等等。WD7还提供三种非有角度帧内预测模式，包含平面模式(模式索引0)、DC模式(模式索引1)和来自亮度(from-Luma)(模式索引3)。
大体上，箭头102的尾端表示相邻像素100中从其检索值的相对一者，而箭头102的头部表示经检索值传播以形成块106的预测性块的方向。箭头102的线穿过的像素表示所述值传播到的像素位置。应了解，箭头102大体上表示有角度帧内预测模式相对于块106的右下像素的方向，且平行方向可用于块106的其它像素。
如上文阐释，在一些实例中，图4中所示的有角度帧内预测模式中的每一者可与一组楔波图案相关联。举例来说，箭头102A可表示对应于具有与箭头102A的角度类似或相等的角度的一组楔波图案的帧内预测模式。与有角度帧内预测模式相关联的所述组楔波图案可具有与所述有角度帧内预测模式的角度平行或近似平行(例如，在某一程度内)的角度。
图5A和5B是说明深度建模模式的实例的概念图。图5A例如说明使用楔波分割分割的深度块110，且图5B作为另一实例说明使用轮廓分割分割的深度块130。3D-HEVC包含用于分割块的深度建模模式(DMM)以及用以对深度切片的帧内预测单元进行译码的帧内预测模式的技术。HTM版本3.1应用DMM方法用于深度图的帧内译码，其在一些情况下可较好地表示深度图中的较尖锐边缘。
如上文例如相对于表2所述，3D-HEVC提供四个DMM模式：模式1(显式楔波信令)，模式2(帧内预测楔波分割)，模式3(分量间楔波分割)，和模式4(分量间轮廓分割)。在全部四种模式中，视频译码器(例如视频编码器20或视频解码器30)可将深度块分割为由DMM图案指定的两个区，其中每一区由恒定值表示。DMM模式可显式地用信号表示(模式1)，通过空间相邻块来预测(模式2)，或使用位于同一地点的纹理块来预测(模式3和模式4)。
存在DMM中定义的两种分割模型，包含楔波分割和轮廓分割。又，图5A说明楔波分割的实例，且图5B说明轮廓分割的实例。深度块110和130内的每一个别正方形分别表示深度块110和130的相应个别像素。正方形内的数字值表示对应像素是否属于区112(图5A的实例中的值“0”)或区114(图5A的实例中的值“1”)。图5A中还使用阴影来指示像素是否属于区112(白色正方形)或区114(灰色阴影正方形)。
每一图案(即，楔波和轮廓两者)可由标记对应样本(即，像素)是否属于区P1或P2的大小uB X vB的二进制数字阵列来界定(其中P1对应于图5A中的区112和图5B中的区132，且P2对应于图5A中的区114和图5B中的区134A、134B)，其中uB和vB分别表示当前PU的水平和垂直大小。在图5A和图5B的实例中，PU分别对应于块110和130。视频译码器(例如视频编码器20和视频解码器30)可在译码的开始(例如，编码的开始或解码的开始)时初始化楔波图案。
如图5A的实例中所示，对于楔波分割，通过直线116将深度块110分割为两个区，区112和区114，其中开始点118位于(Xs,Ys)且结束点120位于(Xe,Ye)。在图5A的实例中，开始点118可界定为点(8,0)，且结束点120可界定为点(0,8)。
如图5B的实例中所示，对于轮廓分割，例如深度块130等深度块可经分割为两个不规则形状的区。在图5B的实例中，深度块130经分割为区132和区134A、134B。虽然区134A中的像素不紧邻于区134B中的像素，但区134A和134B经界定以形成一个单个区，用于预测深度块130的PU的目的。轮廓分割比楔波分割更灵活，但难以用信号表示。在DMM模式4中，在3D-HEVC的情况下，使用位于同一地点的纹理块的经重构亮度样本隐式地导出轮廓分割图案。
以此方式，视频译码器(例如视频编码器20和视频解码器30)可使用由开始点118和结束点120界定的线116来确定深度块110的像素是否属于区112(也可称为区“P1”)或区114(也可称为区“P2”)。同样，视频译码器可使用图5B的线136、138来确定深度块130的像素是否属于区132(也可称为区“P1”)或区134(也可称为区“P2”)。区“P1”和“P2”是根据DMM分割的不同区的默认命名惯例，且因此深度块110的区P1不应视为与深度块130的区P1相同的区。
如上所述，DMM中的每一者可通过DMM是否使用楔波或轮廓分割以及图案是否显式用信号表示或隐式确定来界定。根据本发明的技术，在某些情况下可停用模式3(分量间楔波分割)。而且，当启用且使用时，楔波图案可基于对应帧内预测模式来确定。
图6A和6B说明深度分量中的深度块和对应纹理分量中的位于同一地点的纹理块的实例。举例来说，图6A说明纹理分量150和深度分量154。深度分量154包含深度块156。深度块156可表示深度分量154的单个预测单元(PU)。纹理分量150可对应于深度分量154，因为纹理分量150和深度分量154可属于同一视图且对应于同一时间实例。也就是说，纹理分量150和深度分量154可包含在同一存取单元内。
在图6A的实例中，与深度块156位于同一地点的纹理块152对应于纹理分量150的单个PU。如上所述，在某些实例中，针对深度块停用DMM模式3(分量间楔波分割)，除非位于同一地点的纹理块完全属于经帧内译码的PU。在此些实例中，如果纹理块152经帧内译码，那么可针对深度块156启用DMM模式3。在一些实例中，当针对深度块156启用DMM模式3时，且当纹理块152经帧内译码时，用于纹理块152的帧内预测模式可用以预测深度块156的楔波图案。
图6B说明其中纹理分量160对应于深度分量166的实例。深度分量166包含深度块168，所述深度块表示深度分量166的PU。纹理块162与深度块168位于同一地点。然而，纹理块162对应于两个PU 164A、164B。也就是说，PU 164A和164B形成纹理块162的单独不重叠部分。因此，纹理块162表示与深度分量中的深度块位于同一地点的纹理块的实例，其不完全对应于单个PU而是对应于多个PU。
在一些实例中，如上文论述，当例如深度块168等深度块与不对应于单个PU的例如纹理块162等纹理块位于同一地点时可停用DMM模式3。替代地，当纹理块对应于多个PU且所述PU中无任一者经帧内译码时或当所述PU中的至少一者未经帧内译码时可停用DMM模式3。因此，当在一个实例中PU 164A、164B中的至少一者经帧内译码时或在另一实例中当PU164A、164B中的每一者经帧内译码时可针对深度块168启用DMM模式3。
图7是说明用于对当前深度块进行编码的实例性方法的流程图。所述当前深度块可包括当前CU或当前CU的一部分，例如对应于PU的部分。图7的方法可由视频译码装置(例如视频编码器20或视频解码器30)执行。为了实例的目的，相对于视频解码器30描述图7的方法。可对将由视频编码器(例如视频编码器20)执行的方法做出某些改变。下文说明改变的实例。
在此实例中，视频解码器30首先对纹理分量进行译码(200)。也就是说，视频解码器30基于针对纹理分量的块用信号表示的语法信息来对纹理分量的每一块进行解码。当所述方法由视频编码器20执行时，视频编码器20可确定针对纹理分量的每一块使用哪些译码模式且针对所述块用信号表示指示用于所述块的选定译码模式的语法信息。
视频解码器30可随后获得深度分量的当前深度块(202)。在此实例中，当前深度块可为深度分量的任一深度块。深度分量对应于深度分量，例如对应于同一时间位置和同一视图。视频解码器30可随后确定与当前深度块位于同一地点的纹理分量的纹理块(204)。
视频解码器30可随后确定是否针对当前深度块启用DMM模式3(DMM分量间楔波模式)(206)。视频解码器30可使用本发明的技术中的任一者例如基于位于同一地点的纹理块是否经帧内译码、使用除了DC和平面模式之外的模式经帧内译码、属于单个PU还是多个PU、用于位于同一地点的纹理块的左上4x4块的译码模式或类似者，来确定是否针对当前深度块启用DMM模式3。
视频解码器30可随后基于DMM模式3是否经启用的确定来选择用于当前深度块的译码模式(208)。当DMM模式3经停用时，视频解码器30经配置以不选择DMM模式3。视频解码器30可基于隐式和/或显式准则来选择译码模式。举例来说，视频解码器30可将可用DMM模式的数目例如从四减少到三或从二减少到一(基于当前深度块的大小)，或修改指派于各种DMM模式的二进制化码字的二进制化表。
视频解码器30可随后确定DMM模式是否针对当前深度块选定(210)。如果DMM模式未选定(210的“否”分支)，那么视频解码器30可前进以使用选定模式对当前深度块进行译码(214)。替代地，如果DMM模式经选定(210的“是”分支)，那么视频解码器30可进一步确定用于选定DMM模式的DMM分割图案(212)。举例来说，选定模式可指示DMM分割是否为楔波分割或轮廓分割，且分割是否经隐式或显式用信号表示。
此外，在DMM模式3经启用且选定的情况下，视频解码器30可基于位于同一地点的纹理块的帧内预测模式来确定分割图案。也就是说，视频解码器30可基于用以对对应纹理分量中的位于同一地点的纹理块进行译码的帧内预测模式来预测用于当前深度块的楔波图案。举例来说，每一帧内预测模式可映射到确切一个楔波图案。替代地，每一帧内预测模式可映射到一组楔波图案，且视频解码器30可经配置以分析位于同一地点的纹理块的帧内预测模式映射到的所述组中的楔波图案中的每一者以确定所述组楔波图案中的适当一者。在确定DMM分割图案之后，视频解码器30可前进以使用选定模式和经确定分割图案对当前深度块进行译码(214)。
如上所述，当由视频解码器30执行时，对当前深度块进行译码包括对当前深度块进行解码。也就是说，视频解码器30可基于选定译码模式形成当前深度块的预测块，且随后对用于当前深度块的一或多个变换单元的变换系数进行解码。视频解码器30可随后逆变换所述变换系数以产生残余块，视频解码器30可将残余块与预测块组合以再生当前深度块的原始值。替代地，当由视频编码器20执行时，对当前深度块进行译码可包括对当前深度块进行编码，其可包含从当前深度块自身的值减去当前深度块的预测块的值以形成残余块，随后变换残余块的值以产生变换系数，随后量化且熵编码所述变换系数。
以此方式，图7的方法表示方法的实例，所述方法包含：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块，当所述纹理块的至少一部分对应于未经帧内预测译码的纹理分量的预测单元时，停用所述深度块的分量间楔波深度建模模式，选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式，且使用选定帧内预测译码模式对所述深度块进行译码。
图8是说明用于例如由视频解码器30对位流进行解码的实例性方法的流程图。互逆的方法可由视频编码器20执行。在此实例中视频解码器30可经受约束：当深度块以分量间楔波模式译码时，位于同一地点的纹理PU是使用有角度帧内预测模式来译码。也就是说，DMM模式3(分量间楔波模式)可仅当位于同一地点的纹理块对应于使用有角度帧内预测模式译码的单个PU时可用，如上文针对图8的实例论述。
在图8的实例中，视频解码器30可在对一个位流的解码过程的开始时产生楔波图案(230)。之后，视频解码器30可产生用于每一帧内预测模式的楔波图案的列表(232)。在一个实例中，对于每一有角度帧内预测模式TexIntraMode，视频解码器30可构造列表WdgIdxLst[TexIntraMode]。举例来说，使用TexIntraMode的值和预定义阈值参数tr，视频解码器30可针对每一楔波图案(由值idxW标引)确定作为对帧内预测模式的索引的索引值idxM。tr的值可为例如1、0.5、4或另一值。在一些实例中，视频编码器20可选择tr的值且用信号表示tr的值以供视频解码器30使用。视频解码器30可根据以下分析确定是否将由idxW表示的楔波图案添加到由idxM标引的帧内预测模式的楔波图案的列表：如果((|IdxM–TexIntraMode|<＝tr)AND(idxW>1)AND(idxW不是WdgIdxLst[TexIntraMode]的成员))，那么将idxW添加到列表WdgIdxLst[TexIntraMode]。
在一个实例中，对于每一视频解码器30可反复通过所产生楔波图案且对于楔波图案中的每一者确定用于当前楔波图案的索引值。视频解码器30可随后检索当前楔波图案的开始点(Xs,Ys)和结束点(Xe,Ye)的坐标。随后，对于从2到34的每一帧内预测模式i(在3D-HEVC的实例中)，视频解码器30可从表示表1的存储在存储器中的数据结构获得(Hi,Vi)。而且，视频解码器30可例如根据以下公式(1)针对每一帧内预测模式计算值D[i]：
D[i]＝|Vi*(Xs–Xe)–Hi*(Ye–Ys)| (1)
视频解码器30可随后将值idxOpt设定为等于-1且将值MinValue设定为等于16384(或针对任一i和任一楔波图案总是大于D[i]的任一可能值的另一大整数值)。对于从2到34的每一i，如果D[i]小于MinValue，那么视频解码器30可将MinValue设定为等于D[i]且将idxOpt设定为i。视频解码器30可继续反复通过帧内预测模式以产生idxOpt的最终值，视频解码器30可使用所述最终值来确定是否将楔波图案idxW添加到由idxOpt表示的用于帧内预测模式的楔波图案集合，如上文论述。
在产生用于每一帧内预测模式的楔波图案的列表之后，视频解码器30可对位流的每一存取单元逐个地进行解码，直到所有存取单元已经解码为止。特定来说，视频解码器30可剖析位流(234)以检索当前存取单元。视频解码器30可随后对当前存取单元的纹理和深度分量两者进行解码(236)。视频解码器30可随后确定位流中是否存在更多存取单元(238)。如果位流中存在更多存取单元(238的“是”分支)，那么视频解码器30可继续剖析位流(234)且对下一存取单元进行解码(236)。否则，如果位流中不存在更多存取单元(238的“否”分支)，那么解码过程可结束。
图9是说明根据本发明技术的用于对深度块进行解码的实例性方法的流程图。图9的方法可由视频解码器30执行。类似的互逆的方法可由视频编码器20执行。在此实例中，视频解码器30可首先对表示深度块是否使用深度建模模式(DMM)或帧内预测模式来译码的深度块的值进行译码(250)。举例来说，视频解码器30可剖析一位旗标以检查当前深度PU是否将使用常规帧内预测模式或DMM模式来解码。如果所述值指示当前深度块不是使用DMM模式来译码(252的“否”分支)，那么视频解码器30可使用用信号表示的帧内预测模式来对深度块进行译码(254)。
另一方面，如果所述值指示当前深度块是使用DMM模式来译码(252的“是”分支)，那么视频解码器30可剖析指示选定DMM模式索引的DMM模式索引值(MIDX)(256)。如果MIDX值不对应于DMM模式3(分量间楔波模式)(258的“否”分支)，那么视频解码器30可使用由MIDX指示的DMM模式对当前深度块进行译码(260)。针对除了DMM模式3之外的模式使用用信号表示的DMM模式的此译码过程可大体上保持与3D-HEVC的技术中相同。
然而，如果MIDX值确实对应于DMM模式3(258的“是”分支)，那么视频解码器30根据本发明的技术可导出楔波图案索引(WPIDX)值以用于对当前深度块进行译码(262)。举例来说，视频解码器30可执行以下过程以导出WPIDX的值：首先，视频解码器30可设定值TexIntraMode以对应于当前深度块的位于同一地点的亮度纹理块的帧内预测模式。接着，视频解码器30可基于位于同一地点的亮度纹理块的帧内预测模式来确定对楔波图案的索引的列表。也就是说，视频解码器30可确定WdgIdxLst[TexIntraMode]。视频解码器30可随后执行搜索过程以从由WdgIdxLst[TexIntraMode]界定的列表当中确定楔波图案。
搜索过程可如下进行。视频解码器30可从列表获得楔波图案，且计算位于同一地点的亮度纹理块中对应于由“0”标记的楔波图案中的分量的分量的平均值作为P1的平均值。视频解码器30还可计算位于同一地点的纹理块中对应于由“1”标记的楔波图案中的分量的分量的平均值作为P2的平均值。视频解码器30可随后产生与位于同一地点的亮度纹理块具有相同大小的预测块P，其中对于P的每一分量，如果楔波图案中的对应分量由“0”标记，那么将所述分量赋值为“P1”，否则将所述分量赋值为“P2”。视频解码器30可随后将亮度纹理块的每一分量与预测块P之间的平方差的和计算为D。如果D小于MinValueWedgelet，那么视频解码器30可将MinValue设定为等于D且将idxOpt设定为WdgIdx。视频解码器30可针对WdgIdxLst[TexIntraMode]中的每一楔波图案反复地执行此搜索过程。最终，视频解码器30在搜索过程结束时可确定楔波图案是对应于idxOpt的楔波图案。
替代地，在另一实例中，可跳过如上文论述的楔波列表的初始产生，且可执行以下搜索过程。视频解码器30可改为初始将值idxW设定为等于零，将idxOpt设定为等于-1，且将MinValue设定为等于16384(或另一适当高值整数)。视频解码器30可随后将位于同一地点的亮度纹理块的帧内预测模式确定为idxT，且获得预定义阈值tr。
对于由idxW标引的每一楔波图案，视频解码器30可执行上述映射过程，其中索引idxM作为到帧内预测模式的返回索引。如果|idxM–idxT|<tr且idxM>1，那么以下情况可适用：视频解码器30可将位于同一地点的亮度纹理块中的分量与由“0”标记的楔波图案中的对应分量的平均值计算为P1，且将位于同一地点的亮度纹理块中的分量与由“1”标记的楔波图案中的对应分量的平均值计算为P2。视频解码器30可随后产生与位于同一地点的亮度纹理块具有相同大小的预测块P，其中对于P的每一分量，如果楔波图案中的对应分量由“0”标记，那么将所述分量赋值为“P1”，否则将所述分量赋值为“P2”。视频解码器30可随后将亮度纹理块的每一分量与预测块P之间的平方差的和计算为D。如果D小于MinValue，那么视频解码器30可将MinValue设定为D且将idxOpt设定为idxW。视频解码器30可针对WdgIdxLst[TexIntraMode]中的每一楔波图案反复地执行此搜索过程。最终，视频解码器30在搜索过程结束时可确定楔波图案是对应于idxOpt的楔波图案。
视频解码器30可随后使用DMM模式3和基于从步骤262确定的WPIDX的楔波图案(WP)对当前深度块进行译码(264)。也就是说，视频解码器30可使用由idxOpt识别的楔波图案以分量间楔波模式对当前深度块进行解码。此解码过程可大体上符合当前3D-HEVC的解码过程。然而应注意，确定DMM模式的过程以及当DMM模式3选定时确定楔波图案的过程可符合本发明的技术。
上文相对于图8和9论述的实例经描述为使用位于同一地点的亮度纹理块的帧内预测模式。然而应了解，在其它实例中，可确定用以对位于同一地点的亮度纹理块的左上4x4块进行译码的帧内预测模式，而不是完整的位于同一地点的纹理块的帧内预测模式。这可允许即使当位于同一地点的纹理块对应于多个PU时，即使当位于同一地点的纹理块的PU中的至少一者未经帧内预测译码时也使用DMM模式3来对深度块进行译码。当位于同一地点的亮度纹理块的左上4x4块未经帧内预测译码时可停用DMM模式3。
应认识到，取决于实例，本文描述的技术中的任一者的某些动作或事件可以不同顺序执行，可相加、合并或完全省去(例如，并非所有描述的动作或事件对于所述技术的实践都是必要的)。而且，在某些实例中，动作或事件可例如通过多线程处理、中断处理或多个处理器同时执行，而不是循序地执行。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任一组合实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，所述通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或者一或多个处理器存取以检索指令、代码和/或数据结构以用于实施本发明中描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于媒体的定义中。然而应了解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而替代地针对非暂时性有形存储媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文使用的术语“处理器”可指代前述结构或适于实施本文所述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元来实现。而是如上文所述，各种单元可组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所述的一或多个处理器)的集合结合合适的软件和/或固件来提供。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (101)

1.一种对视频数据进行译码的方法，所述方法包括：
针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及
当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：
停用用于所述深度块的分量间楔波深度建模模式；
选择除了经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及
使用选定帧内预测译码模式对所述深度块进行译码。
2.根据权利要求1所述的方法，其中所述纹理块的对应于未经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
3.根据权利要求1所述的方法，其进一步包括当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时：
停用用于所述深度块的所述分量间楔波深度建模模式；
选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及
使用所述第二帧内预测译码模式对所述深度块进行译码。
4.根据权利要求3所述的方法，其中所述纹理块的对应于经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
5.根据权利要求1所述的方法，其进一步包括当包括所述纹理块的切片不是帧内切片时：
停用用于所述深度块的所述分量间楔波深度建模模式；
选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及
使用所述第二帧内预测译码模式对所述深度块进行译码。
6.根据权利要求1所述的方法，其进一步包括仅当所述纹理块对应于经帧内预测译码的单个预测单元时使用所述分量间楔波深度建模模式对所述深度块进行译码。
7.根据权利要求1所述的方法，其进一步包括仅当所述纹理块对应于多个预测单元且所述多个预测单元中的至少一者经帧内预测译码时使用所述分量间楔波深度建模模式对所述深度块进行译码。
8.根据权利要求1所述的方法，其进一步包括：
选择用于所述深度块的所述分量间楔波深度建模模式；
当所述纹理块的至少一部分对应于经帧内预测译码的预测单元时，基于用于所述纹理块的帧内预测模式预测用于所述深度块的楔波图案；以及
使用所预测楔波图案对所述深度块进行译码。
9.根据权利要求8所述的方法，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案，其中所述帧内预测模式包括所述多个方向性帧内预测模式中的一者，且其中预测所述楔波图案包括选择所述帧内预测模式映射到的所述楔波图案。
10.根据权利要求8所述的方法，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案集合，且其中预测所述楔波图案包括测试所述帧内预测模式映射到的所述楔波图案集合中的所述楔波图案中的每一者。
11.根据权利要求8所述的方法，其中预测所述楔波图案包括仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案。
12.根据权利要求8所述的方法，其中所述纹理块的所述至少部分包括所述纹理块的全部。
13.根据权利要求8所述的方法，其中所述纹理块的所述至少部分包括所述纹理块的左上4x4块。
14.根据权利要求13所述的方法，其中预测所述楔波图案包括仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案。
15.根据权利要求1所述的方法，其中当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括大于4x4像素且小于64x64像素的块时，所述方法进一步包括：
基于用于所述深度块的可用深度建模模式的数目对表示用于所述深度块的所述选定帧内预测模式的值进行译码。
16.根据权利要求15所述的方法，其中至少部分地基于所述分量间楔波深度建模模式经停用，用于所述深度块的可用深度建模模式的所述数目相对于可用深度建模模式的完整数目减少。
17.根据权利要求16所述的方法，其中可用深度建模模式的所述完整数目包括四个深度建模模式，且其中用于所述深度块的可用深度建模模式的所述数目包括三个深度建模模式。
18.根据权利要求15所述的方法，其中所述可用深度建模模式包括分量间轮廓模式，其中第一信令值对应于所述分量间轮廓模式，其中第二信令值对应于所述分量间楔波模式，其中所述选定帧内预测模式包括所述分量间轮廓模式，且其中对表示所述选定帧内预测模式的所述值进行译码包括基于所述分量间楔波深度建模模式经停用而对所述第二信令值进行译码。
19.根据权利要求15所述的方法，其中对表示所述选定帧内预测模式的所述值进行译码包括对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码，其中所述经二进制化值包括单个位。
20.根据权利要求15所述的方法，其中对表示所述选定帧内预测模式的所述值进行译码包括对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码，其中所述经二进制化值包括一元经二进制化值。
21.根据权利要求1所述的方法，其中当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括小于或等于4x4像素的块时，所述方法进一步包括：
确定仅单个深度建模模式可用于所述深度块；以及
使用所述单个深度建模模式对所述深度块进行译码。
22.根据权利要求21所述的方法，其中所述单个深度建模模式包括显式楔波模式。
23.根据权利要求21所述的方法，其进一步包括基于仅所述单个深度建模模式可用于所述深度块的所述确定而跳过对表示所述单个深度建模模式的值进行译码。
24.根据权利要求1所述的方法，其中对所述深度块进行译码包括对所述深度块进行解码，其中对所述深度块进行解码包括：
计算所述深度块的至少一个预测性块；
计算所述深度块的至少一个残余块；以及
将所述预测性块的值加到所述残余块的值以产生所述深度块的经解码版本。
25.根据权利要求1所述的方法，其中对所述深度块进行译码包括对所述深度块进行编码，其中对所述深度块进行编码包括：
计算所述深度块的至少一个预测性块；
计算所述深度块的值与所述预测性块的值之间的差以产生所述深度块的残余块；以及
对所述残余块的值进行编码。
26.一种用于对视频数据进行译码的装置，所述装置包括视频译码器，所述视频译码器经配置以：针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：停用用于所述深度块的分量间楔波深度建模模式；选择除了经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及使用选定帧内预测译码模式对所述深度块进行译码。
27.根据权利要求26所述的装置，其中所述纹理块的对应于未经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
28.根据权利要求26所述的装置，其中当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时，所述视频译码器经配置以：停用用于所述深度块的所述分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及使用所述第二帧内预测译码模式对所述深度块进行译码。
29.根据权利要求28所述的装置，其中所述纹理块的对应于经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
30.根据权利要求26所述的装置，其中当包括所述纹理块的切片不是帧内切片时，所述视频译码器经配置以：停用用于所述深度块的所述分量间楔波深度建模模式；选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及使用所述第二帧内预测译码模式对所述深度块进行译码。
31.根据权利要求26所述的装置，其中所述视频译码器经配置以仅当所述纹理块对应于经帧内预测译码的单个预测单元时使用所述分量间楔波深度建模模式对所述深度块进行译码。
32.根据权利要求26所述的装置，其中所述视频译码器经配置以仅当所述纹理块对应于多个预测单元且所述多个预测单元中的至少一者经帧内预测译码时使用所述分量间楔波深度建模模式对所述深度块进行译码。
33.根据权利要求26所述的装置，其中所述视频译码器进一步经配置以：选择用于所述深度块的所述分量间楔波深度建模模式；当所述纹理块的至少一部分对应于经帧内预测译码的预测单元时，基于用于所述纹理块的帧内预测模式预测用于所述深度块的楔波图案；以及使用所预测楔波图案对所述深度块进行译码。
34.根据权利要求33所述的装置，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案，其中所述帧内预测模式包括所述多个方向性帧内预测模式中的一者，且其中为了预测所述楔波图案，所述视频译码器经配置以选择所述帧内预测模式映射到的所述楔波图案。
35.根据权利要求33所述的装置，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案集合，且其中为了预测所述楔波图案，所述视频译码器经配置以测试所述帧内预测模式映射到的所述楔波图案集合中的所述楔波图案中的每一者。
36.根据权利要求33所述的装置，其中为了预测所述楔波图案，所述视频译码器经配置以仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案。
37.根据权利要求33所述的装置，其中所述纹理块的所述至少部分包括所述纹理块的全部。
38.根据权利要求33所述的装置，其中所述纹理块的所述至少部分包括所述纹理块的左上4x4块。
39.根据权利要求38所述的装置，其中为了预测所述楔波图案，所述视频译码器经配置以仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案。
40.根据权利要求26所述的装置，其中当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括大于4x4像素且小于64x64像素的块时，所述视频译码器经配置以基于用于所述深度块的可用深度建模模式的数目对表示用于所述深度块的所述选定帧内预测模式的值进行译码。
41.根据权利要求40所述的装置，其中至少部分地基于所述分量间楔波深度建模模式经停用，用于所述深度块的可用深度建模模式的所述数目相对于可用深度建模模式的完整数目减少。
42.根据权利要求41所述的装置，其中可用深度建模模式的所述完整数目包括四个深度建模模式，且其中用于所述深度块的可用深度建模模式的所述数目包括三个深度建模模式。
43.根据权利要求40所述的装置，其中所述可用深度建模模式包括分量间轮廓模式，其中第一信令值对应于所述分量间轮廓模式，其中第二信令值对应于所述分量间楔波模式，其中所述选定帧内预测模式包括所述分量间轮廓模式，且其中对表示所述选定帧内预测模式的所述值进行译码包括基于所述分量间楔波深度建模模式经停用而对所述第二信令值进行译码。
44.根据权利要求40所述的装置，其中为了对表示所述选定帧内预测模式的所述值进行译码，所述视频译码器经配置以对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码，其中所述经二进制化值包括单个位。
45.根据权利要求40所述的装置，其中为了对表示所述选定帧内预测模式的所述值进行译码，所述视频译码器经配置以对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码，其中所述经二进制化值包括一元经二进制化值。
46.根据权利要求26所述的装置，其中当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括小于或等于4x4像素的块时，所述视频译码器进一步经配置以：确定仅单个深度建模模式可用于所述深度块；以及使用所述单个深度建模模式对所述深度块进行译码。
47.根据权利要求46所述的装置，其中所述单个深度建模模式包括显式楔波模式。
48.根据权利要求46所述的装置，其中所述视频译码器进一步经配置以基于仅所述单个深度建模模式可用于所述深度块的所述确定而跳过对表示所述单个深度建模模式的值进行译码。
49.根据权利要求26所述的装置，其中所述视频译码器包括视频解码器，且其中为了对所述深度块进行译码，所述视频解码器经配置以：计算所述深度块的至少一个预测性块；计算所述深度块的至少一个残余块；以及将所述预测性块的值加到所述残余块的值以产生所述深度块的经解码版本。
50.根据权利要求26所述的装置，其中所述视频译码器包括视频编码器，且其中为了对所述深度块进行译码，所述视频编码器经配置以：计算所述深度块的至少一个预测性块；计算所述深度块的值与所述预测性块的值之间的差以产生所述深度块的残余块；以及对所述残余块的值进行编码。
51.根据权利要求26所述的装置，其中所述装置包括以下各项中的至少一者：
集成电路；
微处理器；以及
无线通信装置，其包含所述视频译码器。
52.一种用于对视频数据进行译码的装置，所述装置包括：
用于针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块的装置；
用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时停用用于所述深度块的分量间楔波深度建模模式的装置；
用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时选择除了经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式的装置；以及
用于当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时使用选定帧内预测译码模式对所述深度块进行译码的装置。
53.根据权利要求52所述的装置，其中所述纹理块的对应于未经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
54.根据权利要求52所述的装置，其进一步包括：
用于当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时停用用于所述深度块的所述分量间楔波深度建模模式的装置；
用于当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式的装置；以及
用于当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时使用所述第二帧内预测译码模式对所述深度块进行译码的装置。
55.根据权利要求54所述的装置，其中所述纹理块的对应于经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
56.根据权利要求52所述的装置，其进一步包括：
用于当包括所述纹理块的切片不是帧内切片时停用用于所述深度块的所述分量间楔波深度建模模式的装置；
用于当包括所述纹理块的切片不是帧内切片时选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式的装置；以及
用于当包括所述纹理块的切片不是帧内切片时使用所述第二帧内预测译码模式对所述深度块进行译码的装置。
57.根据权利要求52所述的装置，其进一步包括用于仅当所述纹理块对应于经帧内预测译码的单个预测单元时使用所述分量间楔波深度建模模式对所述深度块进行译码的装置。
58.根据权利要求52所述的装置，其进一步包括用于仅当所述纹理块对应于多个预测单元且所述多个预测单元中的至少一者经帧内预测译码时使用所述分量间楔波深度建模模式对所述深度块进行译码的装置。
59.根据权利要求52所述的装置，其进一步包括：
用于选择用于所述深度块的所述分量间楔波深度建模模式的装置；
用于当所述纹理块的至少一部分对应于经帧内预测译码的预测单元时基于用于所述纹理块的帧内预测模式预测用于所述深度块的楔波图案的装置；以及
用于使用所预测楔波图案对所述深度块进行译码的装置。
60.根据权利要求59所述的装置，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案，其中所述帧内预测模式包括所述多个方向性帧内预测模式中的一者，且其中所述用于预测所述楔波图案的装置包括用于选择所述帧内预测模式映射到的所述楔波图案的装置。
61.根据权利要求59所述的装置，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案集合，且其中所述用于预测所述楔波图案的装置包括用于测试所述帧内预测模式映射到的所述楔波图案集合中的所述楔波图案中的每一者的装置。
62.根据权利要求59所述的装置，其中所述用于预测所述楔波图案的装置包括用于仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案的装置。
63.根据权利要求59所述的装置，其中所述纹理块的所述至少部分包括所述纹理块的全部。
64.根据权利要求59所述的装置，其中所述纹理块的所述至少部分包括所述纹理块的左上4x4块。
65.根据权利要求64所述的装置，其中预测所述楔波图案包括仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案。
66.根据权利要求52所述的装置，其进一步包括用于当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括大于4x4像素且小于64x64像素的块时基于用于所述深度块的可用深度建模模式的数目对表示用于所述深度块的所述选定帧内预测模式的值进行译码的装置。
67.根据权利要求66所述的装置，其中至少部分地基于所述分量间楔波深度建模模式经停用，用于所述深度块的可用深度建模模式的所述数目相对于可用深度建模模式的完整数目减少。
68.根据权利要求67所述的装置，其中可用深度建模模式的所述完整数目包括四个深度建模模式，且其中用于所述深度块的可用深度建模模式的所述数目包括三个深度建模模式。
69.根据权利要求66所述的装置，其中所述可用深度建模模式包括分量间轮廓模式，其中第一信令值对应于所述分量间轮廓模式，其中第二信令值对应于所述分量间楔波模式，其中所述选定帧内预测模式包括所述分量间轮廓模式，且其中所述用于对表示所述选定帧内预测模式的所述值进行译码的装置包括用于基于所述分量间楔波深度建模模式经停用而对所述第二信令值进行译码的装置。
70.根据权利要求66所述的装置，其中所述用于对表示所述选定帧内预测模式的所述值进行译码的装置包括用于对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码的装置，其中所述经二进制化值包括单个位。
71.根据权利要求66所述的装置，其中所述用于对表示所述选定帧内预测模式的所述值进行译码的装置包括用于对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码的装置，其中所述经二进制化值包括一元经二进制化值。
72.根据权利要求52所述的装置，其进一步包括：
用于当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括小于或等于4x4像素的块时确定仅单个深度建模模式可用于所述深度块的装置；以及
用于当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括小于或等于4x4像素的块时使用所述单个深度建模模式对所述深度块进行译码的装置。
73.根据权利要求72所述的装置，其中所述单个深度建模模式包括显式楔波模式。
74.根据权利要求72所述的装置，其进一步包括用于基于仅所述单个深度建模模式可用于所述深度块的所述确定而跳过对表示所述单个深度建模模式的值进行译码的装置。
75.根据权利要求52所述的装置，其中所述用于对所述深度块进行译码的装置包括用于对所述深度块进行解码的装置，其中所述用于对所述深度块进行解码的装置包括：
用于计算所述深度块的至少一个预测性块的装置；
用于计算所述深度块的至少一个残余块的装置；以及
用于将所述预测性块的值加到所述残余块的值以产生所述深度块的经解码版本的装置。
76.根据权利要求52所述的装置，其中所述用于对所述深度块进行译码的装置包括用于对所述深度块进行编码的装置，其中所述用于对所述深度块进行编码的装置包括：
用于计算所述深度块的至少一个预测性块的装置；
用于计算所述深度块的值与所述预测性块的值之间的差以产生所述深度块的残余块的装置；以及
用于对所述残余块的值进行编码的装置。
77.一种其上存储有指令的计算机可读存储媒体，所述指令在执行时致使用于对视频数据进行译码的装置的处理器进行以下操作：
针对视频数据的深度分量的深度块确定对应纹理分量的位于同一地点的纹理块；以及
当所述纹理块的至少一部分对应于所述纹理分量的未经帧内预测译码的预测单元时：
停用用于所述深度块的分量间楔波深度建模模式；
选择除了经停用分量间楔波深度建模模式之外的用于所述深度块的帧内预测译码模式；以及
使用选定帧内预测译码模式对所述深度块进行译码。
78.根据权利要求77所述的计算机可读存储媒体，其中所述纹理块的对应于未经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
79.根据权利要求77所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：当所述纹理块的至少一部分对应于所述纹理分量的使用包括DC和平面模式中的一者的帧内预测模式经帧内预测译码的预测单元时：
停用用于所述深度块的所述分量间楔波深度建模模式；
选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及
使用所述第二帧内预测译码模式对所述深度块进行译码。
80.根据权利要求79所述的计算机可读存储媒体，其中所述纹理块的对应于经帧内预测译码的所述预测单元的所述至少部分包括左上4x4像素块。
81.根据权利要求77所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：当包括所述纹理块的切片不是帧内切片时：
停用用于所述深度块的所述分量间楔波深度建模模式；
选择除了所述经停用分量间楔波深度建模模式之外的用于所述深度块的第二帧内预测译码模式；以及
使用所述第二帧内预测译码模式对所述深度块进行译码。
82.根据权利要求77所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：仅当所述纹理块对应于经帧内预测译码的单个预测单元时使用所述分量间楔波深度建模模式对所述深度块进行译码。
83.根据权利要求77所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：仅当所述纹理块对应于多个预测单元且所述多个预测单元中的至少一者经帧内预测译码时使用所述分量间楔波深度建模模式对所述深度块进行译码。
84.根据权利要求77所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：
选择用于所述深度块的所述分量间楔波深度建模模式；
当所述纹理块的至少一部分对应于经帧内预测译码的预测单元时，基于用于所述纹理块的帧内预测模式预测用于所述深度块的楔波图案；以及
使用所预测楔波图案对所述深度块进行译码。
85.根据权利要求84所述的计算机可读存储媒体，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案，其中所述帧内预测模式包括所述多个方向性帧内预测模式中的一者，且其中所述致使所述处理器预测所述楔波图案的指令包括致使所述处理器选择所述帧内预测模式映射到的所述楔波图案的指令。
86.根据权利要求84所述的计算机可读存储媒体，其中多个方向性帧内预测模式中的每一者映射到相应楔波图案集合，且其中所述致使所述处理器预测所述楔波图案的指令包括致使所述处理器测试所述帧内预测模式映射到的所述楔波图案集合中的所述楔波图案中的每一者的指令。
87.根据权利要求84所述的计算机可读存储媒体，其中所述致使所述处理器预测所述楔波图案的指令包括致使所述处理器仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案的指令。
88.根据权利要求84所述的计算机可读存储媒体，其中所述纹理块的所述至少部分包括所述纹理块的全部。
89.根据权利要求84所述的计算机可读存储媒体，其中所述纹理块的所述至少部分包括所述纹理块的左上4x4块。
90.根据权利要求89所述的计算机可读存储媒体，其中所述致使所述处理器预测所述楔波图案的指令包括致使所述处理器仅当所述帧内预测模式包括除了DC模式和平面模式之外的帧内预测模式时基于用于所述纹理块的所述帧内预测模式预测用于所述深度块的所述楔波图案的指令。
91.根据权利要求77所述的计算机可读存储媒体，其中所述计算机可读存储媒体进一步包括当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括大于4x4像素且小于64x64像素的块时致使所述处理器进行以下操作的指令：
基于用于所述深度块的可用深度建模模式的数目对表示用于所述深度块的所述选定帧内预测模式的值进行译码。
92.根据权利要求91所述的计算机可读存储媒体，其中至少部分地基于所述分量间楔波深度建模模式经停用，用于所述深度块的可用深度建模模式的所述数目相对于可用深度建模模式的完整数目减少。
93.根据权利要求92所述的计算机可读存储媒体，其中可用深度建模模式的所述完整数目包括四个深度建模模式，且其中用于所述深度块的可用深度建模模式的所述数目包括三个深度建模模式。
94.根据权利要求91所述的计算机可读存储媒体，其中所述可用深度建模模式包括分量间轮廓模式，其中第一信令值对应于所述分量间轮廓模式，其中第二信令值对应于所述分量间楔波模式，其中所述选定帧内预测模式包括所述分量间轮廓模式，且其中所述致使所述处理器对表示所述选定帧内预测模式的所述值进行译码的指令包括致使所述处理器基于所述分量间楔波深度建模模式经停用而对所述第二信令值进行译码的指令。
95.根据权利要求91所述的计算机可读存储媒体，其中所述致使所述处理器对表示所述选定帧内预测模式的所述值进行译码的指令包括致使所述处理器对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码的指令，其中所述经二进制化值包括单个位。
96.根据权利要求91所述的计算机可读存储媒体，其中所述致使所述处理器对表示所述选定帧内预测模式的所述值进行译码的指令包括致使所述处理器对所述选定帧内预测模式的经二进制化值进行上下文自适应二进制算术译码的指令，其中所述经二进制化值包括一元经二进制化值。
97.根据权利要求77所述的计算机可读存储媒体，其进一步包括当用于所述深度块的所述分量间楔波深度建模模式经停用时且当所述深度块包括小于或等于4x4像素的块时致使所述处理器进行以下操作的指令：
确定仅单个深度建模模式可用于所述深度块；以及
使用所述单个深度建模模式对所述深度块进行译码。
98.根据权利要求97所述的计算机可读存储媒体，其中所述单个深度建模模式包括显式楔波模式。
99.根据权利要求97所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：基于仅所述单个深度建模模式可用于所述深度块的所述确定而跳过对表示所述单个深度建模模式的值进行译码。
100.根据权利要求77所述的计算机可读存储媒体，其中所述致使所述处理器对所述深度块进行译码的指令包括致使所述处理器对所述深度块进行解码的指令，其中所述致使所述处理器对所述深度块进行解码的指令包括致使所述处理器进行以下操作的指令：
计算所述深度块的至少一个预测性块；
计算所述深度块的至少一个残余块；以及
将所述预测性块的值加到所述残余块的值以产生所述深度块的经解码版本。
101.根据权利要求77所述的计算机可读存储媒体，其中所述致使所述处理器对所述深度块进行译码的指令包括致使所述处理器对所述深度块进行编码的指令，其中所述致使所述处理器对所述深度块进行编码的指令包括致使所述处理器进行以下操作的指令：
计算所述深度块的至少一个预测性块；
计算所述深度块的值与所述预测性块的值之间的差以产生所述深度块的残余块；以及
对所述残余块的值进行编码。
CN201280074388.9A 2012-07-02 2012-07-09 用于3d视频译码的深度图的帧内译码的方法和装置 Expired - Fee Related CN104396250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261667400P 2012-07-02 2012-07-02
US61/667,400 2012-07-02
PCT/CN2012/000942 WO2014005248A1 (en) 2012-07-02 2012-07-09 Intra-coding of depth maps for 3d video coding

Publications (2)

Publication Number Publication Date
CN104396250A CN104396250A (zh) 2015-03-04
CN104396250B true CN104396250B (zh) 2018-04-03

Family

ID=49881209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074388.9A Expired - Fee Related CN104396250B (zh) 2012-07-02 2012-07-09 用于3d视频译码的深度图的帧内译码的方法和装置

Country Status (4)

Country Link
US (1) US9900619B2 (zh)
JP (1) JP6046246B2 (zh)
CN (1) CN104396250B (zh)
WO (1) WO2014005248A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150036261A (ko) * 2012-07-13 2015-04-07 후아웨이 테크놀러지 컴퍼니 리미티드 3차원 비디오를 표현하는 비트 스트림을 코딩하는 장치
JP6069923B2 (ja) * 2012-07-20 2017-02-01 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
KR102216585B1 (ko) * 2013-01-04 2021-02-17 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
CN105409215B (zh) * 2013-01-11 2018-10-09 华为技术有限公司 深度预测模式选择方法及装置
US20140198855A1 (en) * 2013-01-14 2014-07-17 Qualcomm Incorporated Square block prediction
JP6154643B2 (ja) * 2013-03-29 2017-06-28 Kddi株式会社 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム
US9641853B2 (en) * 2013-04-15 2017-05-02 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
EP3024240A4 (en) * 2013-07-18 2017-03-22 Samsung Electronics Co., Ltd. Intra scene prediction method of depth image for interlayer video decoding and encoding apparatus and method
WO2015057947A1 (en) * 2013-10-17 2015-04-23 Huawei Technologies Co., Ltd. Improved reference pixel selection and filtering for intra coding of depth map
CN106105192B (zh) * 2014-01-03 2021-05-18 英特尔公司 通过深度相机的实时3d重建
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
KR20150105231A (ko) * 2014-03-07 2015-09-16 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US20170078697A1 (en) * 2014-03-11 2017-03-16 Samsung Electronics Co., Ltd. Depth image prediction mode transmission method and apparatus for encoding and decoding inter-layer video
KR101864979B1 (ko) * 2014-03-11 2018-06-05 에이치에프아이 이노베이션 인크. 비디오 코딩에 대한 단일 샘플 모드의 방법 및 장치
EP3117606B1 (en) * 2014-03-13 2018-12-26 Qualcomm Incorporated Simplified advanced residual prediction for 3d-hevc
KR20160132891A (ko) 2014-03-13 2016-11-21 퀄컴 인코포레이티드 3d 비디오 코딩에 대한 제약된 깊이 인트라 모드 코딩
WO2015196424A1 (en) * 2014-06-26 2015-12-30 Mediatek Inc. Methods for the transmission of flags related to dbbp
CN103826115B (zh) * 2014-03-21 2016-03-02 华为技术有限公司 图像分割方式的编解码处理方法和装置
CN106416256B (zh) * 2014-03-31 2019-08-23 三星电子株式会社 用于对深度图像进行编码或解码的方法和设备
WO2015182927A1 (ko) * 2014-05-26 2015-12-03 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
JPWO2015199040A1 (ja) * 2014-06-24 2017-04-20 シャープ株式会社 Ｄｍｍ予測部、画像復号装置、および画像符号化装置
JP6308449B2 (ja) * 2014-06-26 2018-04-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 高効率ビデオ符号化における演算負荷を低減するための方法および装置
CN104079943B (zh) 2014-06-26 2017-11-28 华为技术有限公司 一种帧内深度图像块编码、解码的方法及装置
WO2016049913A1 (en) * 2014-09-30 2016-04-07 Mediatek Singapore Pte. Ltd. A simplified method for the depth modeling modes
WO2016049891A1 (en) * 2014-09-30 2016-04-07 Mediatek Singapore Pte. Ltd. Methods on segmentation coding in intra prediction
US9772405B2 (en) * 2014-10-06 2017-09-26 The Boeing Company Backfilling clouds of 3D coordinates
WO2016056550A1 (ja) * 2014-10-08 2016-04-14 シャープ株式会社 画像復号装置
WO2016123782A1 (zh) * 2015-02-05 2016-08-11 华为技术有限公司 模板处理方法和相关设备
WO2016123783A1 (zh) * 2015-02-05 2016-08-11 华为技术有限公司 图像预测处理方法和相关设备
CN105791863B (zh) * 2016-03-24 2018-11-30 西安电子科技大学 基于层的3d-hevc深度图帧内预测编码方法
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
CN106791768B (zh) * 2016-12-16 2019-01-04 浙江大学 一种基于图割优化的深度图帧率提升方法
US11153550B2 (en) * 2018-04-06 2021-10-19 Disney Enterprises, Inc. Depth codec for real-time, high-quality light field reconstruction
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US11528509B2 (en) 2018-09-07 2022-12-13 Lg Electronics Inc. Video transmission method, video transmission device, video receiving method and video receiving device
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
JP7390395B2 (ja) * 2019-03-12 2023-12-01 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
CN110446040A (zh) * 2019-07-30 2019-11-12 暨南大学 一种适用于hevc标准的帧间编码方法与系统
EP4011077A4 (en) 2019-09-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING
CN110933441B (zh) * 2019-12-12 2023-05-30 西安邮电大学 一种深度图轮廓预测的并行实现方法
CN111327909B (zh) * 2020-03-06 2022-10-18 郑州轻工业大学 一种针对3d-hevc的快速深度编码方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209243A (zh) * 2011-05-27 2011-10-05 山东大学 基于线性模型的深度图帧内预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598855B1 (ko) * 2010-05-11 2016-03-14 삼성전자주식회사 입체영상 부호화 장치 및 방법
KR101781254B1 (ko) * 2010-08-11 2017-09-26 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
US10327008B2 (en) * 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209243A (zh) * 2011-05-27 2011-10-05 山东大学 基于线性模型的深度图帧内预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Video:Depth Coding Based on Inter-component Prediction of Block Partitions;Philipp Merkle 等;《2012 Picture Coding Symposium》;20120509;全文 *
Test Model under Consideration for HEVC based 3D video coding;Heiko Schwarz 等;《INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO》;20120229;正文2.3 *

Also Published As

Publication number Publication date
CN104396250A (zh) 2015-03-04
WO2014005248A1 (en) 2014-01-09
JP6046246B2 (ja) 2016-12-14
JP2015525988A (ja) 2015-09-07
US20150245061A1 (en) 2015-08-27
US9900619B2 (en) 2018-02-20

Similar Documents

Publication Publication Date Title
CN104396250B (zh) 用于3d视频译码的深度图的帧内译码的方法和装置
CN105874797B (zh) 视频数据的编解码方法、装置、设备和存储媒体
CN104662909B (zh) 用于3d视频的视图间运动预测
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN104685883B (zh) 用于3d视频的经视图间预测运动向量
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN103503460B (zh) 译码视频数据的方法和设备
CN105027571B (zh) 三维视频译码中导出的视差向量
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105308956B (zh) 用于深度图帧内译码的预测子
CN104335589B (zh) 用于视频译码的视图间预测的视差向量产生
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN103563389B (zh) 具有方向性分区的帧内预测模式译码
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN104704843B (zh) 视频性质的指示
CN104471946B (zh) 视频译码中用信号发送无损译码模式和脉码调制(pcm)模式的统一
CN105612747B (zh) 用于深度帧内译码的楔波样式扩展
CN103797802B (zh) 用于视频译码中的短距离帧内预测的线缓冲器减少
CN103975595B (zh) 用于视频译码的分段参数集
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN109076230A (zh) 二值化二次变换指数

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180403

Termination date: 20190709

CF01 Termination of patent right due to non-payment of annual fee