CN105794209B - 用于译码深度块的方法和装置 - Google Patents

用于译码深度块的方法和装置 Download PDF

Info

Publication number
CN105794209B
CN105794209B CN201480066563.9A CN201480066563A CN105794209B CN 105794209 B CN105794209 B CN 105794209B CN 201480066563 A CN201480066563 A CN 201480066563A CN 105794209 B CN105794209 B CN 105794209B
Authority
CN
China
Prior art keywords
depth
sub
block
mpi
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480066563.9A
Other languages
English (en)
Other versions
CN105794209A (zh
Inventor
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105794209A publication Critical patent/CN105794209A/zh
Application granted granted Critical
Publication of CN105794209B publication Critical patent/CN105794209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一般来说，本发明描述用于译码视频数据中的深度块的技术。视频译码装置可确定深度预测单元(深度PU)中用于运动参数继承MPI的子预测单元(子PU)的大小。所述深度PU可包括一或多个子PU，每一子PU具有相等大小。可从与每一子PU处于相同位置的纹理块为所述子PU继承不同的运动信息。所述装置可基于对应于与每一子PU处于相同位置的纹理块的MPI来编码所述子PU，且产生指示用于MPI的每一子PU的所述大小的语法元素。所述装置可进一步接收所述语法元素，且在接收到指示子PU MPI模式的索引值后，基于所述对应纹理块为每一子PU继承MPI。

Description

用于译码深度块的方法和装置
本申请案主张2013年12月13日申请的第61/916,068号美国临时申请案的权益，所述申请案的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码和压缩，且更具体地说，涉及可用于译码三维(3D)视频的译码技术。
背景技术
数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似装置。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)、最近开发的高效视频译码(HEVC)标准以及此类标准的扩展部分定义的标准中描述的技术，以便更高效地发射、接收和存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片分割成视频块，视频块还可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
可通过(例如)从多个视角编码视图来产生多视图译码位流。多视图译码可允许解码器在不同视图之间选择，或可能再现多个视图。此外，已经开发或正在开发的一些三维(3D)视频技术和标准利用多视图译码方面。三维视频也被称作“3DV”。
举例来说，不同视图可传输左眼和右眼视图来支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量，而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量和一个深度视图分量。
关于VCEG和MPEG的3D视频译码的联合协作小组(JCT-3C)已基于开发了被称作“高效视频译码(HEVC)”的3D视频标准，其中标准化成果的一部分包含基于HEVC的多视图视频编解码器(MV-HEVC)的标准化以及基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC，可包含且支持用于纹理和深度视图两者的多种译码工具，包含在译码单元/预测单元层级中的那些工具。
发明内容
一般来说，本发明描述用于编码和解码视频数据中的深度块的技术。视频译码装置可确定用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU可包括一或多个子PU，其中每一子PU具有相等大小。可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。所述装置可基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码深度块的每一子PU，且产生指示MPI的每一子PU的大小的语法元素。所述装置可进一步接收语法元素，且在接收到指示子PU MPI模式的索引值后，即刻基于与所述子PU中的每一者处于相同位置的对应纹理块来继承深度块的每一子PU的MPI。
在一个实例中，本发明是针对一种解码深度块的方法，其中视频译码装置接收指示深度预测单元(深度PU)中用于运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素。深度PU包括一或多个子PU。每一子PU的大小等于所述语法元素所指示的大小。可从与每一子PU处于相同位置的纹理块为相应的子PU继承不同的运动信息。在接收到指示子PU MPI模式的索引值后，视频译码装置即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，进一步继承深度块的所述子PU中的每一者的MPI。
在另一实例中，本发明是针对一种用于译码深度块的装置，所述装置包括存储器，其经配置以存储与深度块和一或多个处理器相关联的数据。所述一或多个处理器经配置以接收指示深度预测单元(深度PU)中用于运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素。深度PU包括一或多个子PU。每一子PU的大小等于所述语法元素所指示的大小。可从与每一子PU处于相同位置的纹理块为相应的子PU继承不同的运动信息。在接收到指示子PU模式的索引值后，所述一或多个处理器即刻进一步经配置以至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块来继承深度块的所述子PU中的每一者的MPI。
在另一实例中，本发明是针对一种编码深度块的方法，其中视频译码装置确定深度预测单元(深度PU)中用于运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU包括一或多个子PU。每一子PU具有相等大小。可从与每一子PU处于相同位置的纹理块为相应的子PU继承不同的运动信息。视频译码装置至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码深度块的每一子PU。视频译码装置进一步产生指示用于深度PU中的MPI的每一子PU的大小的语法元素。
在另一实例中，本发明是针对一种用于译码深度块的装置，所述装置包括存储器，其经配置以存储与深度块和一或多个处理器相关联的数据。所述一或多个处理器经配置以确定深度预测单元(深度PU)中用于运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU包括一或多个子PU。每一子PU具有相等大小。可从与每一子PU处于相同位置的纹理块为相应的子PU继承不同的运动信息。所述一或多个处理器经配置以至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码深度块的每一子PU。所述一或多个处理器进一步经配置以产生指示用于深度PU中的MPI的每一子PU的大小的语法元素。
在附图和下文描述中陈述本发明的一或多个实例的细节。本发明的其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1是显示HEVC中的帧内预测模式的概念说明。
图2是显示NBDV中的时间相邻块的概念说明。
图3是显示从参考视图进行深度块导出以执行BVSP预测的概念说明。
图4是显示用于合并/跳过模式的经视图间预测的运动向量候选者的导出的概念说明。
图5是显示用于深度译码的MVI候选者的导出的概念说明。
图6是显示子PU层级视图间运动预测(SPIVMP)方法的概念说明。
图7是说明可实施本发明的技术的实例系统的框图。
图8是说明可实施本发明的技术的实例视频编码器的框图。
图9是说明可实施本发明的技术的实例视频解码器的框图。
图10是说明根据本发明的实例编码技术的流程图。
图11是说明根据本发明的实例解码技术的流程图。
具体实施方式
本发明涉及基于高级编解码器的三维3D视频译码，包含深度译码技术。所提出的译码技术涉及3D-HEVC中的运动预测的控制，更具体地说对深度译码的控制。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码(Advanced video coding forgeneric audiovisual services)”(ITU-T建议H.264)中。另外，存在一种视频译码标准，即高效视频译码(HEVC)(版本JCTVC-L1003_v11)，其由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。
在当前HEVC(版本JCTVC-L1003_v11)中，对于每一预测单元(PU)的亮度分量，利用帧内预测方法，其具有33种角度预测模式(从2编索引到34)、DC模式(用1编索引1)以及平面模式(用0编索引)，如图1中所展示。明确地说，图1说明HEVC中的帧内预测模式。
通常，B图片的第一或第二参考图片列表的参考图片列表构造包含两个步骤：参考图片列表初始化和参考图片列表重新排序(即，参考图片列表的修改)。参考图片列表初始化是显式机制或过程，其基于POC(图片次序计数，与图片的显示次序对准)值的次序，将参考图片放置(即，存储)在参考图片存储器(也被称作经解码图片缓冲器)中作为列表。参考图片列表重新排序机制可在对参考图片列表内的任何新位置的参考图片列表初始化期间，修改放置在参考图片列表中的图片的位置。参考图片列表重新排序机制还可将参考图片存储器中的任何参考图片放入参考图片存储器中的任何其它位置中，即使所述图片不属于经初始化的参考图片列表也是如此。在参考图片列表重新排序(即，参考图片列表的修改)之后，可将一些图片放入在列表中循序在后的位置中。然而，如果图片的位置超过列表的有效参考图片的数目，那么不将所述图片视为最终参考图片列表的条目。可在每一列表的切片标头中发信号通知有效参考图片的数目。在建构参考图片列表(即RefPicList0和RefPicList1，如果可用)之后，可使用到参考图片列表的参考索引来识别参考图片列表中包含的任何参考图片。
为了获得(即，确定)时间运动向量预测符(TMVP)，首先将识别处于相同位置的图片。如果当前图片是B切片，那么在切片标头中发信号通知collocated_from_l0_flag，以指示处于相同位置的图片是来自RefPicList0还是RefPicList1。在识别参考图片列表之后，使用作为在切片标头中发信号通知的语法元素的collocated_ref_idx来识别参考图片列表中的图片。接着，通过检查处于相同位置的图片来识别处于相同位置的预测单元(PU)。将含有此PU的译码单元(CU)的右下PU的运动或含有此PU的CU的中心PU内的右下PU的运动用作参考图片列表中的图片。
当使用以上过程所识别的运动向量来产生用于AMVP或合并模式的运动候选者时，它们可基于时间位置(由POC反映)来按比例缩放。注意，可将从TMVP导出的时间合并候选者的所有可能参考图片列表的目标参考索引设定成0，而对于AMVP，将目标参考索引设定成等于经解码的参考索引。
在HEVC中，SPS包含旗标sps_temporal_mvp_enable_flag，且当sps_temporal_mvp_enable_flag等于1时，切片标头包含旗标pic_temporal_mvp_enable_flag。当针对特定图片pic_temporal_mvp_enable_flag和temporal_id两者等于0时，来自在解码次序中在所述特定图片之前的图片的任何运动向量都将不用作在所述特定图片或在解码次序中在所述特定图片之后的图片的解码中的时间运动向量预测符。
当前，VCEG和MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3DV标准，其标准化努力的部分包含基于HEVC的多视图视频编码解码器(MV-HEVC)的标准化以及用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于MV-HEVC，应保证在其中仅存在高级语法(HLS)改变，以使得HEVC中的CU/PU层级中没有模块需要重新设计且可完全再用于MV-HEVC。对于3D-HEVC，可包含并支持用于纹理和深度视图两者的包含译码单元/预测单元层级中的工具的新译码工具。3D-HEVC的最新参考软件描述以及工作草案将可用，如下：格哈德科技公司(Gerhard Tech)，克日什托夫·韦格纳(Krzysztof Wegner)、陈英(YingChen)、姚世勋(Sehoon Yea)，“3D-HEVC测试模型4(3D-HEVC Test Model 4)”，JCT3V-F1001，ITU-T SG 16 WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发的联合合作小组，第6次会议。
为了进一步提高译码效率，在最新参考软件中已经采用了两种新技术(即“视图间运动预测”和“视图间残差预测”)。为了启用这两个译码工具，第一步是导出视差向量。视差向量用以定位另一视图中的对应块以用于视图间运动/残差预测，或转换成用于视图间运动预测的视差运动向量。
当PU使用视图间运动向量预测时，产生隐式视差向量(IDV)，即，借助于视差向量从另一视图中的对应块导出用于AMVP或合并模式的候选者。此类视差向量被称为IDV。出于视差向量导出的目的，将IDV存储到PU。
为了导出视差向量，在当前3D-HTM中使用被称作基于相邻块的视差向量(NBDV)的方法。NBDV利用来自空间和时间相邻块的视差运动向量。在NBDV中，按固定检查次序来检查空间或时间相邻块的运动向量。一旦识别视差运动向量或IDV，就终止检查过程，且返回所识别的视差运动向量，并将其转换为将在视图间运动预测和视图间残差预测中使用的视差向量。如果在检查所有的预定义相邻块之后未找到此类视差向量，那么零视差向量将用于视图间运动预测，而将对对应的预测单元(PU)停用视图间残差预测。
五个空间相邻块用于视差向量导出。它们是：当前预测单元(PU)的左下、左、右上、上和左上块，由A0、A1、B0、B1或B2表示，如在HEVC规范的图8到33中定义。
考虑来自当前视图的至多两个参考图片、处于相同位置的图片以及具有最小POC差和最小时间ID的随机存取图片或参考图片，来进行时间块检查。首先检查随机存取，接着是处于相同位置的图片。对于每一候选图片，检查两个候选块。检查的第一候选块是中心块(CR)，或当前PU的处于相同位置的区的中心4×4像素块(见图2中的‘Pos.A’)。检查的第二候选块是右下块(BR)：当前PU的处于相同位置的区的右下4×4像素块(见图2中的‘Pos.B’)，其显示NBDV中的时间相邻块。
首先针对所有空间/时间相邻块检查是否使用DMV，接着是IDV。首先检查空间相邻块，接着是时间相邻块。以A1、B1、B0、A0和B2的次序来检查五个空间相邻块。如果相邻块中的一者使用DMV，那么终止检查过程，且对应的DMV将用作最终视差向量。对于每一候选图像，按顺序检查两个块，对于第一非基础视图为CR和BR，或对于第二非基础视图为BR、CR。如果相邻块中的一者使用DMV，那么终止检查过程，且对应的DMV将用作最终视差向量。以A0、A1、B0、B1和B2的次序检查五个空间相邻块。如果相邻块中的一者使用IDV，且译码为跳过/合并模式，那么终止检查过程，且将对应的IDV用作最终视差向量。
可使用经译码深度图中的信息来进一步细化从NBDV方案产生的视差向量。就是说，可通过利用信息经译码的基础视图深度图来增强视差向量的准确性。如下描述细化步骤。首先，视频译码装置借助于先前经译码的参考深度视图(例如基础视图)中的所导出的视差向量来定位对应的深度块。对应深度块的大小与当前PU的深度块相同。接下来，从处于相同位置的深度块、从四个拐点深度值的最大值计算视差向量。这设定成等于视差向量的水平分量，同时将视差向量的垂直分量设定成0。
此新视差向量称为深度定向的基于相邻块的视差向量(DoNBDV)。来自NBDV方案的视差向量接着被来自DoNBDV方案的此新导出的视差向量代替，以用于针对AMVP和合并模式的视图间候选者导出。注意，未细化的视差向量用于视图间残差预测。另外，如果用后向VSP模式来译码经细化的视差向量，那么存储所述经细化的视差向量作为一个PU的运动向量。
如JCT3V-C0152中提出的向后扭曲VSP方法在第3次JCT-3V会议中采用。此向后扭曲VSP的基本想法与3D-AVC中的基于块的VSP相同(或类似)。这两个技术均使用向后扭曲和基于块的VSP来避免发射运动向量差，且使用更精确的运动向量。实施方案细节由于不同平台而不同。在本发明中，BVSP是指3D-HEVC中的向后扭曲VSP方法。
在3D-HTM中，在常见测试条件下应用纹理优先译码。因此，当对一个非基础纹理视图进行解码时，对应非基础深度视图不可用。因此，估计深度信息，并将其用于执行BVSP。
为了估计块的深度信息，提出首先从相邻块导出视差向量，且随后使用所导出的视差向量从参考视图获得深度块。
在HTM 5.1测试模型中，存在导出视差向量预测符的过程，称为相邻块视差向量(NBDV)。令(dvx,dvy)表示从NBDV功能识别的视差向量，且当前块位置是(blockx,blocky)。提出获取参考视图的深度图像中的(blockx+dvx,blocky+dvy)处的深度块。所获取的深度块将具有当前预测单元(PU)的相同大小，且接着将使用所获取的深度块来对当前PU进行向后扭曲。图3显示三步过程，其表明如何定位来自参考视图的深度块，并接着将其用于BVSP预测。明确地说，图3显示从参考视图进行的深度块导出以执行BVSP预测。
如果在序列中启用BVSP，那么用于视图间运动预测的NBDV过程改变。对于时间相邻块中的每一者，如果时间相邻块使用视差运动向量，那么返回所述视差运动向量作为视差向量，且用上文关于使用经译码深度图中的信息的经细化NBDV方案描述的方法来进一步细化所述视差运动向量。对于空间相邻块中的每一者，且对于每一参考图片列表0或参考图片列表1，以下适用。如果空间相邻块使用视差运动向量，那么返回所述视差运动向量作为视差向量，且用上文关于使用经译码深度图中的信息的经细化NBDV方案所述的方法来进一步细化所述视差运动向量。或者，如果空间相邻块使用BVSP模式，那么返回相关联的运动向量作为视差向量。以如上文关于使用经译码深度图中的信息的经细化NBDV方案而描述的类似方式来进一步细化所述视差运动向量。然而，最大深度值是选自对应深度块的全部像素而不是四个拐角像素。对于空间相邻块中的每一者，如果空间相邻块使用IDV，那么返回IDV作为视差向量，且用上文关于使用经译码深度图中的信息的经细化NBDV方案而描述的方法来进一步细化空间相邻块。
将引入的BVSP模式视为特殊经帧间译码模式，且针对每一PU应维持指示BVSP模式的使用的旗标。并非在位流中发信号通知旗标，而是将新的合并候选者(BVSP合并候选者)添加到所述合并候选者列表，且所述旗标取决于经解码的合并候选者索引是否对应于BVSP合并候选者。BVSP合并候选者如下定义。每一参考图片列表的参考图片索引等于-1。另外，每一参考图片列表的运动向量是经细化的视差向量。
BVSP合并候选者的插入位置取决于空间相邻块。如果所述五个空间相邻块(A0、A1、B0、B1或B2)中的任一者是以BVSP模式译码的，即相邻块的所维持旗标等于1，那么将BVSP合并候选者处理为对应的空间合并候选者，并插入到合并候选者列表中。注意，BVSP合并候选者将仅插入到合并候选者列表一次。否则(五个空间相邻块都未使用BVSP模式译码)，那么将BVSP合并候选者插入到合并候选者列表中，恰在时间合并候选者之前。
对于其大小由NxM表示的每一经BVSP译码的PU，将所述经译码的PU进一步分割成具有等于KxK(其中K可为4或2)个像素的大小的若干子区。对于每一子区，导出单独的视差运动向量，且从通过视图间参考图片中的导出的视差运动向量定位的一个块预测每一子区。换句话说，将用于经BVSP译码PU的运动补偿单元的大小设定成KxK个像素。在常见测试条件中，将K设定成4。
对于以BVSP模式译码的一个PU内的每一子区(4x4像素块)，首先以上文前述的经细化视差向量在参考深度视图中定位对应的4x4像素深度块。选择对应深度块中的十六个深度像素的最大值。将最大值转换为视差运动向量的水平分量。将视差运动向量的垂直分量设定为0。
基于从DoNBDV方案导出的视差向量，可将新运动向量候选者(即，经视图间预测的运动向量候选者(IPMVC))(如果可用)添加到AMVP和跳过/合并模式。经视图间预测的运动向量(如果可用)为时间运动向量。
跳过模式具有与合并模式相同的运动向量导出过程。因此，本发明中描述的所有技术可适用于合并模式和跳过模式两者。
对于合并/跳过模式，通过以下过程导出经视图间预测的运动向量。相同存取单元的参考视图中的当前PU/CU的对应块由视差向量定位。如果对应块并未经帧内译码且未经视图间预测，且其参考图片具有等于当前PU/CU的相同参考图片列表中的一个条目的值的POC值，那么其在基于POC转换参考索引之后的运动信息(预测方向、参考图片和运动向量)经导出为经视图间预测的运动向量。
如下定义对应块。首先表示当前预测单元的左上亮度样本相对于当前图片的左上亮度样本的亮度位置(xP,yP)。nPSW和nPSH分别表示当前预测单元的宽度和高度。将参考视图次序索引表示为refViewIdx。将视差向量表示为mvDisp。通过以下操作导出参考层亮度位置(xRef,yRef)：
xRef＝Clip3(0,PicWidthInSamplesL-1,xP+((nPSW-1)>>1)+
((mvDisp[0]+2)>>2))(H-124)
yRef＝Clip3(0,PicHeightInSamplesL-1,yP+((nPSH-1)>>1)+
((mvDisp[1]+2)>>2))(H-125)
将对应块设定成覆盖具有等于refViewIdx的ViewIdx的视图分量中的亮度位置(xRef，yRef)的预测单元。
图4显示经视图间预测的运动向量候选者的导出过程的实例。明确地说，图4显示用于合并/跳过模式的经视图间预测的运动向量候选者的导出。
另外，将视差向量转换为视图间视差运动向量，将其从IPMVC添加到合并候选者列表中的不同位置，或在视差向量可用时，添加到AMVP候选者列表中与IPMVC相同的位置。IPMVC或视图间视差运动向量候选者(IDMVC)在此上下文中称为‘视图间候选者’。
在合并/跳过模式中，如果可用，那么始终在所有空间和时间合并候选者之前，将IPMVC插入到所述合并候选者列表。将IDMVC插入在从A0导出的空间合并候选者之前。
首先使用DoNBDV方法导出视差向量。对于所述视差向量，3D-HEVC中的合并候选者列表构建过程可如下定义。首先，通过上文所描述的程序来导出IPMVC。如果视差向量可用，那么将视差插入到合并列表。接下来，以以下次序：A1、B1、B0、A0或B2来检查空间相邻PU的运动信息。接着执行受约束的精简。举例来说，如果A1和IPMVC具有相同的运动向量和相同的参考索引，那么并不将A1插入到候选者列表中。否则，将A1插入到所述列表中。如果B1和A1/IPMVC具有相同的运动向量和相同的参考索引，那么并不将B1插入到候选者列表中。否则，将B1插入到所述列表中。如果B0可用，那么将B0添加到候选者列表。通过上文所描述的程序导出IDMVC。如果B0可用且B0不同于从A1和B1导出的候选者，那么将B0插入到候选者列表。如果BVSP针对整个图片或针对当前切片启用，那么将BVSP合并候选者插入到合并候选者列表。如果A0可用，那么将A0添加到候选者列表。如果B2可用，那么将B2添加到候选者列表。
接下来，视频译码装置可对时间合并候选者执行导出过程。类似于HEVC中利用处于相同位置的PU的运动信息的时间合并候选者导出过程，可改变时间合并候选者的目标参考图片索引而不是固定为0。当等于0的目标参考索引对应于时间参考图片(同一视图中)时，在处于相同位置的预测单元(PU)的运动向量指向视图间参考图片时，将目标参考索引改变为对应于参考图片列表中的视图间参考图片的第一条目的另一索引。相反，当等于0的目标参考索引对应于视图间参考图片时，在处于相同位置的预测单元(PU)的运动向量指向时间参考图片时，将目标参考索引改变为对应于参考图片列表中的时间参考图片的第一条目的另一索引。
如果从以上两个步骤导出的候选者的总数小于候选者的最大数目，那么执行如HEVC中定义的相同过程，l0CandIdx和l1CandIdx的指定除外。下表(标记为表2)中定义combIdx、l0CandIdx和l1CandIdx之间的关系：
表2-3D-HEVC中的l0CandIdx和l1CandIdx的规范
combIdx 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
I0CandIdx 0 1 0 2 1 2 0 3 1 3 2 3 0 4 1 4 2 4 3 4
I1CandIdx 1 0 2 0 2 1 3 0 3 1 3 2 4 0 4 1 4 2 4 3
最后，执行与HEVC中所定义相同的程序来导出零运动向量合并候选者。在最新软件中，MRG列表中的候选者的总数多达6个，且发信号通知five_minus_max_num_merge_cand以在切片标头中指定从6减去MRG候选者的最大数目。应注意，five_minus_max_num_merge_cand在0到5(包含0和5)的范围内。
运动向量继承(MVI)后面的主要理念是利用纹理图像与其相关联的深度图像之间的运动特性的相似性。对于深度图像中的给定PU，如果对应纹理块可用，那么MVI候选者重新使用已经译码的对应纹理块的运动向量和参考索引。图5显示MVI候选者的导出过程的实例，其中将对应纹理块选择为位于当前PU的中心的右下方的4x4块。以此方式，图5说明用于深度译码的MVI候选者的导出。
应注意，在深度译码中使用具有整数精度的运动向量，而利用具有四分之一精度的运动向量用于纹理译码。因此，对应纹理块的运动向量将在用作MVI候选者之前经按比例缩放。在MVI候选者产生的情况下，如下构造用于深度视图的合并候选者列表。对于MVI插入，通过上述程序导出MVI。如果视差向量可用，那么将视差向量插入到合并列表。
为了导出空间合并候选者，且为了3D-HEVC中的IDMVC插入，视频译码装置以以下次序：A1、B1、B0、A0或B2检查空间相邻PU的运动信息。视频译码装置接着执行受约束的精简程序。如果A1和MVI具有相同的运动向量和相同的参考索引，那么不将A1插入到候选者列表中。如果B1和A1/MVI具有相同的运动向量和相同的参考索引，那么不将B1插入到候选者列表中。如果B0可用，那么将B0添加到候选者列表。如果A0可用，那么将A0添加到候选者列表。如果B2可用，那么将B2添加到候选者列表。
为了导出时间合并候选者，视频译码装置执行类似于HEVC中的时间合并候选者导出过程的过程，其中利用处于相同位置的PU的运动信息。然而，时间合并候选者的目标参考索引可以是变化的而不是固定为0。当等于0的目标参考索引对应于时间参考图片(同一视图中)时，在处于相同位置的预测单元(PU)的运动向量指向视图间参考图片时，将目标参考索引改变为对应于参考图片列表中的视图间参考图片的第一条目的另一索引。相反，当等于0的目标参考索引对应于视图间参考图片时，在处于相同位置的预测单元(PU)的运动向量指向时间参考图片时，将目标参考索引改变为对应于参考图片列表中的时间参考图片的第一条目的另一索引。
为了在3D-HEVC中导出组合式双向预测合并候选者，视频译码装置执行取决于所导出的候选者的总数的过程。如果从以上两个步骤导出的候选者的总数小于候选者的最大数目，那么执行如HEVC中定义的相同过程，对l0CandIdx和l1CandIdx的指定除外。在表2(上文再现)中定义combIdx、l0CandIdx和l1CandIdx间的关系。为了导出零运动向量合并候选者，视频译码装置可执行如HEVC中定义的相同程序。
在JCT3V-E0184中，提出将子PU层级视图间运动预测方法用于时间视图间合并候选者，即从参考视图中的参考块导出的候选者。上文描述视图间运动预测的基本概念，其中仅参考块的运动信息用于相依视图中的当前PU。然而，当前PU可对应于参考视图中的参考区域(具有与视差向量所识别的当前PU相同的大小)，且参考可具有丰富的运动信息。因此，如图6中所示，提出子PU层级视图间运动预测(SPIVMP)方法。如下导出时间视图间合并候选者。
所指派的子PU具有N×N像素的大小。首先，视频译码装置将当前PU分为多个子PU，其各自具有小于当前PU的大小。视频译码装置通过nPSW x nPSH来表示当前PU的大小，且通过nPSWsub x nPSHSub来表示子PU的大小。在此实例中，
nPSWsub＝(min(N,nPSW))/2
nPSHSub＝(min(N,nPSH))/2
接下来，对于每一参考图片列表，视频译码装置将默认运动向量tmvLX设定为(0,0)，且将参考索引refLX设定为-1。对于光栅扫描次序中的每一子PU，视频译码装置将DV添加到当前子PU的中间位置，以通过以下公式获得参考样本位置(xRefSub,yRefSub)：
xRefSub＝Clip3(0,PicWidthInSamplesL-1,xPSub+nPSWsub/2+((mvDisp[0]+2)>>2))
yRefSub＝Clip3(0,PicHeightInSamplesL-1,yPSub+nPSHSub/2+((mvDisp[1]+2)>>2))
视频译码装置可将覆盖(xRefSub,yRefSub)的参考视图中的块用作当前子PU的参考块。
对于所述所识别的参考块，如果使用时间运动向量来译码所述所识别的参考块，那么以下适用。如果refL0和refL1两者等于-1，且当前子PU不是光栅扫描次序中的第一者，那么参考块的运动信息由所有先前子PU继承。相关联运动参数可用作当前子PU的候选运动参数。另外，将tmvLX和refLX更新为当前子PU的运动信息。否则(参考块经帧内译码)，将当前子PU的运动信息设定成tmvLX和refLX。
语法元素存在于为每一层指示子PU大小的VPS中。如果子PU大小足够大，例如大于当前PU，那么整个PU不在使用子PU视图间预测。如果子PU大小足够大，例如大于最大译码单元(LCU)，那么层中无PU利用子PU视图间预测。可应用不同的子PU块大小，例如4×4、8×8和16×16。
此语法元素的具体语义如下。log2_sub_pb_size_minus2[layerId]指定在使用视图间合并候选者来解码预测单元中使用的变量SubPbSize[layerId]的值。log2_sub_pb_size_minus2的值可在0到4(包含0和4)的范围内。用ue(v)来译码此语法元素。因此，此语法元素的位深度可为变量。
在HEVC中，在译码图片之后，且在将所述图片放入经解码图片缓冲器(DPB)中之前，可压缩运动向量以存储在16×16块层级中。然而，在3D-HEVC中，由于跨层启用运动预测，因此以两步方式进行运动压缩。首先，在解码一个视图的图片之后，且在将所述图片放入DPB中之前，将所述图片压缩到8×8块层级。当解码整个存取单元时，意味着解码所述存取单元的每一层的每一图片，进行到16×16块层级的运动压缩。在HEVC中，对于每一8×8块，维持至多两个运动向量。所述至多两个运动向量可为分别对应于RefPicList0和RefPicList1的两个运动向量，或属于两PU(两个4×8，两个8×4)的两个运动向量，两者均对应于RefPicList0。
如JCT3V-F0128中所提出，可发信号通知索引值，以指示基于子PU层级运动预测(即，子PU MPI模式)的运动参数继承(MPI)合并候选者可用于运动预测。使用所提出的子PU层级MPI模式合并候选者，对于当前深度PU内的每一8×8像素块，继承覆盖当前8×8像素块的中间位置的处于相同位置的纹理块的运动参数。使用所提出的子PU MPI模式，可为一个深度PU内的8×8像素子PU继承不同运动向量。
尤其当考虑子PU MPI模式时，当前3D-HEVC标准具有以下问题。如果视图间运动预测的子PU大小等于4×4像素，那么需要4×4像素块的运动补偿过程，这不与HEVC基础设计对准。另外，当子PU MPI模式适用时，无法控制运动向量准确性，且始终使用8×8像素子PUMPI模式。换句话说，当子PU MPI模式适用时，无法处理4×4像素和16×16像素子PU，从而迫使译码裝置使用8×8像素子PU，这可能不是最佳的。
本文中描述了与子PU视图间运动预测、子PU MPI模式和运动压缩有关的技术。就是说，描述指示子PU MPI大小的语法元素。在一些实例中，所述语法元素可被命名为log2_sub_pb_mpi_size_minus3。此语法元素的值范围是从0到3且包含0和3。通过在视频译码方案中包含此语法元素，视频译码装置可使用特定针对4×4像素块的运动补偿的过程，即使在视频译码装置实施HEVC基础设计时也是如此。另外，通过包含此语法元素，子PU MPI可结合不同于8×8像素的大小一起使用。举例来说，可使用4×4像素和16×16像素子PU MPI，从而增加各种译码技术中可利用子PU MPI的准确性和精度。当索引值指示子PU MPI适用时，此增加的灵活性将进一步增加译码效率，从而增加视频译码期间的处理速度。
此语法元素(例如指示子PU MPI大小的语法元素，例如log2_sub_pb_mpi_size_minus3)与所有深度视图(即，深度块的每一层)相关联，因此在视频参数集(VPS)、图片参数集(PPS)或序列参数集(SPS)中出现一次。当PPS和SPS中存在所述语法元素(即，语法elementlog2_sub_pb_mpi_size_minus3的两个有效例子)，那么这两个语法元素的值可相同。或者，此语法元素可在VPS、SPS或PPS中针对每一深度视图存在一次。
用于子PU MPI的子PU的大小从8×8开始。在当前深度PU具有大于或等于(1<<(log2_sub_pb_mpi_size_minus3+3))x(1<<(log2_sub_pb_mpi_size_minus3+3))的大小时，子PU MPI不适用于当前PU，且原始MPI适用。
当log2_sub_pb_mpi_size_minus3等于1或大于1时，在此情况下，一旦同一存取单元内的纹理视图的所有图片被解码，就可进行到16×16的运动压缩。在此情况下，当独立于深度视图译码纹理视图时，可在译码深度视图的任何图片之前较早解码任何存取单元中的纹理视图的所有图片，且在纹理图片被解码之后，可对纹理图片进行运动压缩。
当log2_sub_pb_mpi_size_minus3等于0时，意味着子PU MPI大小为8×8，且当处于相同位置的纹理块含有两个PU(4×8或8×4)时，当前子PU可进一步分割成两个较小块，具有4×8或8×4的大小，对这两个较小块的运动补偿(单向)在子PU MPI模式下应用。为深度PU中的当前子PU继承对应于RefPicList0的两个运动向量。代替于仅在子PU MPI适用时启用8×8或较大大小的运动补偿，如在JCT3V-F0128中，可用等于4×8或8×4的块大小来对此子PU进行运动补偿。或者，可通过VPS、SPS或PPS中的语法元素(例如旗标)来发信号通知此分割的启用。
在一些实例中，视频译码装置可使3D-HEVC设计在最小运动补偿大小方面与HEVC对准。因此，在这些实例中，可停用等于4×4的子PU大小。在此情况下，可将log2_sub_pb_size_minus2改变为log2_sub_pb_size_minus3，且log2_sub_pb_size_minus3的范围是0到3，包含0和3。
图7是说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所描述，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。
如图7中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码的视频数据。因此，源装置12可被称为视频编码装置或视频编码设备。目的地装置14可对源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可被称为视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括各种各样的装置，包含桌上型计算机、移动计算装置、笔记本型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。
目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于包的网络的一部分，基于包的网络例如局域网、广域网或全球网络(例如，因特网)。信道16可包含各种类型的装置，例如路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络连接存储(NAS)装置和本地磁盘驱动器。
目的地装置14可通过标准数据连接(例如因特网连接)来存取经编码的视频数据。实例类型的数据连接可包含无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图7的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频捕获装置(例如，摄像机)、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口和/或用于产生视频数据的计算机图形系统，或视频数据的此些来源的组合。
视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接发射到目的地装置14。在其它实例中，经编码的视频数据也可存储到存储媒体或文件服务器上，以供稍后由目的地装置14存取以用于解码和/或重放。
视频编码器20可进一步执行根据本发明的技术。举例来说，视频编码器20可确定用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU可为一或多个子PU。每一子PU可具有相等大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。视频编码器20可至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码深度块的每一子PU。视频编码器20可进一步产生指示深度PU中的MPI的每一子PU的大小的语法元素。
在图7的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码的视频数据。显示装置32可与目的地装置14集成在一起或可在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在一些实例中，视频编码器20和视频解码器30根据例如ISO/IEC MPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)等视频压缩标准操作，所述视频压缩标准包含其可缩放视频译码(SVC)以及多视图视频译码(MVC)扩展。在其它实例中，视频编码器20和视频解码器30可根据其它视频压缩标准操作，所述其它视频压缩标准包含目前正在开发的高效视频译码(HEVC)标准。布洛斯(Bross)等人的“高效视频译码(HEVC)文本规范草案9(HighEfficiency Video Coding(HEVC)text specification draft 9)”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11视频译码联合合作小组(JCT-VC)，第11届会议，中国，上海，2012年10月)中描述了HEVC标准的当前正在开发的草案，被称作“HEVC工作草案9”。然而，本发明的技术不限于任何特定译码标准或技术。布洛斯等人的文献JCTVC-L1003v34“高效视频译码(HEVC)文本规范草案10(针对FDIS和最后呼叫)(High efficiency video coding(HEVC)text specification draft 10(for FDIS&Last Call)”(ITU-T SG16 WP3和ISO/IECJTC1/SC29/WG11视频译码联合合作小组(JCT-VC)，第12届会议，瑞士日内瓦，2013年1月14日到23日)中描述了HEVC标准的另一最近的草案，被称作“HEVC工作草案10”或“WD10”。HEVC标准的另一草案在本文中被称作布洛斯等人在“编辑对HEVC版本1提出的校正(Editors'proposed corrections to HEVC version 1)”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第13次会议，韩国仁川，2013年4月)中描述的“WD10修订本”。
视频解码器30还可经配置以执行根据本发明的技术。举例来说，视频解码器30可接收指示用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素。深度PU可为一或多个子PU。每一子PU的大小可等于所述语法元素所指示的大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。在接收到指示子PU MPI模式的索引值后，视频解码器30可即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，为深度块的子PU中的每一者进一步继承MPI。
图7仅为实例，并且本发明的技术可适用于未必包含视频编码装置与视频解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，可从本地存储器检索数据、在网络上流式传输数据，等等。视频编码装置可对数据进行编码，并将数据存储到存储器，和/或视频解码装置可从存储器检索数据并对数据进行解码。在许多实例中，通过并不彼此通信而是简单地将数据编码到存储器和/或从存储器检索数据且解码数据的装置来执行编码和解码。
视频编码器20和视频解码器30各自可实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实施所述技术，那么装置可将软件的指令存储在合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器以硬件执行指令从而实施本发明的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可被视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
本发明大体上可涉及视频编码器20“发信号通知”某些信息。术语“发信号通知”可大体上指用以对经压缩的视频数据进行解码的语法元素和/或其它数据的传送。此传送可实时或几乎实时发生。替代地，此传送可经过一段时间后发生，例如可在编码之时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，视频解码装置接着可在将其存储到此媒体之后的任何时间检索所述语法元素。在一些实例中，从编码器的视角，发信号通知可包含产生经编码位流，并且从解码器的视角，发信号通知可包含接收和剖析经译码位流。
如上文简要提到，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译码表示。相关联数据可包含序列参数集(SPS)、图片参数集(PPS)、视频参数集(VPS)、自适应参数集(APS)、切片标头、块标头和其它语法结构。
图片可包含三个样本阵列，表示为SL、SCb以及SCr。SL是亮度样本的二维阵列(即，块)。亮度样本在本文中还可被称为“Y”样本。SCb是Cb彩度样本的二维阵列。SCr是Cr彩度样本的二维阵列。彩度样本在本文中还可被称为“色度”样本。Cb彩度样本在本文中可被称为“U样本”。Cr彩度样本在本文中可以被称为“V样本”。
在一些实例中，视频编码器20可对图片的色度阵列(即，SCb以及SCr)进行下取样。举例来说，视频编码器20可使用YUV 4:2:0视频格式、YUV 4:2:2视频格式或4:4:4视频格式。在YUV 4:2:0视频格式中，视频编码器20可对色度阵列进行下取样，使得色度阵列的高度是亮度阵列高度的1/2，并且宽度是亮度阵列宽度的1/2。在YUV 4:2:2视频格式中，视频编码器20可对色度阵列进行下取样，使得色度阵列的宽度是亮度阵列宽度的1/2，并且高度与亮度阵列高度相同。在YUV 4:4:4视频格式中，视频编码器20并不对色度阵列进行下取样。
为了产生图片的经编码表示，视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可为亮度样本的译码树块、色度样本的两个对应译码树块以及用于对译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可包含一或多个译码单元(CU)。
作为对图片进行编码的部分，视频编码器20可产生图片的每一切片的经编码表示(即，经译码切片)。为了产生经译码切片，视频编码器20可编码一系列CTU。本发明可将CTU的经编码表示称为经译码的CTU。在一些实例中，切片中的每一者包含整数数目的经译码CTU。
为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是样本的NxN块。CU可为具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的亮度样本的预测块，图片的色度样本的两个对应预测块，以及用以对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每个PU的亮度预测块、Cb预测块以及Cr预测块的预测性亮度块、Cb块以及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的预测性块。
如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来为PU产生预测性块时，PU可具有单个MV。当视频编码器20使用单向预测来为PU产生预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性亮度、Cb和Cr块之后，视频编码器20可产生CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中对应的样本之间的差异。另外，视频编码器20可产生CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的亮度、Cb以及Cr残差块分解成一或多个亮度、Cb以及Cr变换块。变换块可为对其应用相同变换的样本的矩形块。CU的变换单元(TU)可为亮度样本的变换块、色度样本的两个对应的变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每个TU可与亮度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。对于3D译码，深度块中的深度值可同样地表示为样本值，其各自指示与给定像素位置相关联的深度层级。本发明的技术适用于深度块的译码，确切地说在例如跳过模式或合并模式等模式下，其中在对深度块进行译码的过程中，产生候选者列表以用于继承或使用选定候选者的运动信息。
视频编码器20可将一或多个变换应用于TU的亮度变换块，以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指对变换系数进行量化以尽可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码语法元素。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析所述位流以对来自所述位流的语法元素进行解码。视频解码器30可至少部分地基于从位流解码的语法元素来重构视频数据的图片。重构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的MV来为当前CU的PU确定预测性样本块。另外，视频解码器30可对与当前CU的TU相关联的变换系数块进行逆量化。视频解码器30可对变换系数块执行逆变换，以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构图片。
在一些情况下，视频编码器20可发信号通知使用合并模式或跳过模式或可能高级MV预测(AMVP)模式的PU的运动信息。PU的运动信息可包含PU的运动向量以及PU的参考索引。当视频编码器20使用合并模式发信号通知当前PU的运动信息时，视频编码器20产生合并候选者列表。合并候选者列表包含一组候选者。候选者可指示在空间上或在时间上邻近当前PU的PU的运动信息。视频编码器20可接着从候选者列表中选择候选者，并且可将由选定候选者指示的运动信息用作当前PU的运动信息。此外，在合并模式下，视频编码器20可发信号通知选定候选者在候选者列表中的位置。视频解码器30可产生相同的候选者列表，且可基于选定候选者的位置的指示来确定选定候选者。视频解码器30接着可使用所述选定候选者的运动信息来产生当前PU的预测性样本，且可产生残差信号作为当前PU与在合并模式下识别的预测性PU的预测性样本之间的差异。
跳过模式类似于合并模式，类似之处在于视频编码器20产生候选者列表，并且从候选者列表中选择候选者。然而，在视频编码器20使用跳过模式发信号通知当前PU(例如深度块)的运动信息时，视频编码器20可避免产生任何残差信号。
AMVP模式类似于合并模式，类似之处在于视频编码器20产生候选者列表，且从候选者列表选择候选者。然而，当视频编码器20使用AMVP模式发信号通知当前PU(例如，深度块)的运动信息时，视频编码器20可除了发信号通知候选者列表中的所选定候选者的位置之外，还发信号通知当前PU的运动向量差(MVD)和参考索引。用于当前PU的MVD可指示当前PU的MV与所选MV候选者的MV之间的差异。在单向预测中，视频编码器20可发信号通知用于当前PU的一个MVD以及一个参考标引。在双向预测中，视频编码器20可发信号通知当前PU的两个MVD和两个参考索引。对于符合本发明的深度块预测，视频编码器20将通常发信号通知当前PU的一个MVD和一个参考索引，但深度块预测还可使用类似于双向预测的技术，其中发信号通知两个MVD和两个参考索引。
此外，当使用AMVP模式发信号通知当前PU的运动信息时，视频解码器30可产生相同的候选者列表，且可基于选定候选者的位置的指示来确定选定候选者。视频解码器30可通过将MVD增加到选定候选者的MV来恢复当前PU的MV。接着，视频解码器30可使用当前PU的经恢复的一个MV或多个MV来产生用于当前PU的预测性样本块。
根据本发明，视频编码器20和视频解码器30可执行本文中描述为视频译码过程(例如，视频编码或视频解码)的一部分的一或多种技术。举例来说，视频编码器20可确定用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU可为一或多个子PU。每一子PU可具有相等大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。视频编码器20可至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码深度块的每一子PU。视频编码器20可进一步产生和发射指示用于深度PU中的MPI的每一子PU的大小的语法元素(例如语法元素log2_sub_pb_mpi_size_minus3，上文所论述)。
另外，视频解码器30可接收指示用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素(例如视频编码器20所产生和发射的语法元素)。深度PU可为一或多个子PU。每一子PU的大小可等于所述语法元素所指示的大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。在接收到指示子PU MPI模式的索引值后，视频解码器30可即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，为深度块的子PU中的每一者进一步继承MPI。
图8是说明可实施本发明的技术的实例视频编码器20的框图。图8是出于解释的目的而提供，且不应被视为将技术限制为本发明中所大致例示和描述。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图8的实例中，视频编码器20包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
视频编码器20可接收视频数据。视频编码器20可对视频数据的图片的切片中的每一CTU进行编码。CTU中的每一者可与图片的大小相等的亮度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块，依此类推。
视频编码器20可对CTU的CU进行编码，以产生CU的经编码表示(即，经译码的CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与亮度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，并且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小是2Nx2N，那么视频编码器20和视频解码器30可支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20和视频解码器30还可支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每个PU执行帧间预测来产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性样本块以及PU的运动信息。取决于PU是在I切片中、P切片中还是B切片中，帧间预测单元121可对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，那么帧间预测单元121并不对PU执行帧间预测。因此，对于在I模式下编码的块，使用来自同一帧内经先前编码的相邻块的空间预测来形成经预测的块。
如果PU是在P切片中，那么运动估计单元122可在用于PU的参考区域的参考图片列表(例如，“RefPicList0”)中搜索参考图片。用于PU的参考区可为在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元122可产生指示含有PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元122可产生指示PU的译码块与和参考区域相关联的参考位置之间的空间移位的MV。举例来说，MV可为提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元122可输出参考索引和MV作为PU的运动信息。基于由PU的运动向量指示的参考位置处的实际样本或经内插样本，运动补偿单元124可产生PU的预测性样本块。
如果PU是在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元122可搜索RefPicList0的参考图片，或用于PU的参考区域的第二参考图片列表(“RefPicList1”)。运动估计单元122可输出指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置的参考索引、指示PU的样本块与和参考区相关联的参考位置之间的空间移位的MV、以及指示参考图片是在RefPicList0中还是在RefPicList1中的一或多个预测方向指示符，作为PU的运动信息。运动补偿单元124可至少部分基于由PU的运动向量指示的参考区处的实际样本或经内插样本，来产生PU的预测性样本块。
为了对PU执行双向帧间预测，运动估计单元122可搜索RefPicList0中的参考图片，以寻找用于PU的参考区，并且还可搜索RefPicList1中的参考图片，以寻找用于PU的另一参考区。运动估计单元122可产生指示含有参考区的参考图片在RefPicList0和RefPicList1中的位置的参考图片索引。另外，运动估计单元122可产生指示与参考区相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可包含PU的参考索引和MV。运动补偿单元124可至少部分地基于由PU的运动向量指示的参考区处的实际样本或经内插样本，来产生PU的预测性样本块。
根据本发明的一或多种技术，视频编码器20内的一或多个单元可执行本文中描述的一或多种技术作为视频编码过程的部分。额外3D组件也可包含在视频编码器20内，例如深度处理单元125。在一些实例中，深度处理单元125可执行本发明的一或多种技术。
举例来说，视频编码器20的深度处理单元125可确定用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小。深度PU可为一或多个子PU。每一子PU可具有相等大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。视频编码器20的深度处理单元125可至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI，来编码深度块的每一子PU。视频编码器20的深度处理单元125可进一步产生指示用于深度PU中的MPI的每一子PU的大小的语法元素。
在不同实例中，视频编码器的预测处理单元100、帧间预测处理单元120、运动估计单元122、运动补偿单元124、帧内预测处理单元126、深度处理单元125和/或另一单元可执行与本文所述的技术一致的编码与3D视频相关联的数据的方法。这些单元中的一者(或其任何组合)(例如)可经配置以执行本文所述的MPI技术，作为视频编码过程的一部分。
现在继续参考图8的实例。帧内预测处理单元126可通过对PU执行帧内预测产生用于PU的预测性数据。用于PU的预测性数据可包含用于PU的预测性样本块以及各种语法元素。帧内预测处理单元126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生PU的多组预测性数据。为了使用帧内预测模式来产生用于PU的一组预测性数据，帧内预测处理单元126可使样本在与帧内预测模式相关联的方向上从相邻PU的样本块延伸跨越PU的样本块。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真量度来选择用于CU的PU的预测性数据。选定预测性数据的预测性样本块在本文中可被称为选定预测性样本块。
残差产生单元102可基于CU的亮度、Cb和Cr译码块以及CU的PU的选定预测性亮度、Cb和Cr块产生CU的亮度、Cb和Cr残差块。举例来说，残差产生单元102可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此，TU可以与亮度变换块以及两个色度变换块相关联。CU的TU的亮度和色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与所述区中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块，来产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，可将变换块处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间向下舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可能引入信息丢失，因此经量化的变换系数可能具有比原始变换系数低的精度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从系数块重构残差块。重构单元112可将经重构的残差块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。
滤波器单元114可执行一或多个去块操作以减小与CU相关联的译码块中的成块假影。经解码的图片缓冲器116可在滤波器单元114对经重构的译码块执行一或多个去块操作之后，存储经重构的译码块。帧间预测单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构的译码块，来对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，并且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元118可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码的数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
图9是说明经配置以实施本发明的技术的实例视频解码器30的框图。图9是出于解释的目的而提供，且并不限于如本发明中大致例示和描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图9的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160以及经解码的图片缓冲器162。预测处理单元152包含运动补偿单元164以及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频解码器30可接收位流。熵解码单元150可剖析位流，以对来自位流的语法元素进行解码。熵解码单元150可对位流中的经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流可包括一系列NAL单元。位流的NAL单元可包含经译码切片NAL单元。作为对位流进行解码的部分，熵解码单元150可从经译码切片的NAL单元提取语法元素且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了对来自位流的语法元素进行解码之外，视频解码器30可对未分割CU执行重构操作。为了对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残差块。
作为对CU的TU执行重构操作的一部分，逆量化单元154可逆量化(即，去量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，且同样地逆量化单元154将应用的逆量化的程度。也就是说，可通过调整当量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可取决于所采用的熵译码方法。
在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于系数块，以便产生与TU相关联的残差块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。
如果使用帧内预测对PU进行编码，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式，以基于空间上相邻的PU的预测块，产生用于PU的预测性亮度、Cb和Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，那么熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息来确定用于PU的一个或一个以上参考区。运动补偿单元164可基于在PU的一或多个参考块处的样本块产生PU的预测性亮度、Cb和Cr块。
如上文所指示，视频编码器20可使用合并模式、跳过模式或AMVP模式发信号通知PU的运动信息。当视频编码器20使用AMVP模式发信号通知当前PU的运动信息时，熵解码单元150可从位流解码参考索引、用于当前PU的MVD以及候选者索引。此外，运动补偿单元164可产生用于当前PU的AMVP候选者列表。AMVP候选者列表包含一个或一个以上MV预测符候选者。MV预测符候选者中的每一者指定在空间上或在时间上邻近当前PU的PU的MV。运动补偿单元164可至少部分地基于候选者索引确定AMVP候选者列表中的选定MV预测符候选者。运动补偿单元164接着可通过将MVD与选定MV预测符候选者所指定的MV相加，来确定当前PU的MV。换句话说，对于AMVP，将MV计算为MV＝MVP+MVD，其中发信号通知运动向量预测符(MVP)的索引，且MVP是来自AMVP列表的MV候选者(例如，空间或时间)中的一者，并且向解码器侧发信号通知MVD。
如果当前PU经双向预测，那么熵解码单元150可解码来自位流的额外的参考索引、MVD以及候选者索引。运动补偿单元162可使用额外的参考索引、MD以及候选者索引重复上文所描述的过程，从而导出用于当前PU的第二MV。以此方式，运动补偿单元162可导出RefPicList0的MV(即，RefPicList0 MV)和RefPicList1的MV(即，RefPicList1 MV)。
根据本发明的一或多种技术，视频解码器30内的一或多个单元可执行本文中描述的一或多种技术作为视频解码过程的部分。额外3D组件也可包含在视频解码器30内，例如深度处理单元165。在一些实例中，深度处理单元165可执行所述技术。
举例来说，视频解码器30的深度处理单元165可接收指示用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素。深度PU可为一或多个子PU。每一子PU的大小可等于所述语法元素所指示的大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。在接收到指示子PUMPI模式的索引值后，视频解码器30的深度处理单元165可即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，进一步为深度块的所述子PU中的每一者继承MPI。
在一些实例中，视频解码器30的预测处理单元152、运动补偿单元164、帧内预测处理单元166、深度处理单元165和/或另一单元可执行与本文所述的技术一致的解码与3D视频相关联的数据的方法。这些单元中的一者(或其任何组合)(例如)可经配置以执行本文所述的MPI技术作为视频解码过程的一部分。
现在继续参考图9。重构单元158可在适当时使用与CU的TU相关联的亮度、Cb和Cr变换块以及CU的PU的预测性亮度、Cb和Cr块(即，帧内预测数据或帧间预测数据)来重构CU的亮度、Cb和Cr译码块。举例来说，重构单元158可将亮度、Cb和Cr变换块的样本添加到预测性亮度、Cb和Cr块的对应样本以重构CU的亮度、Cb和Cr译码块。
滤波器单元160可执行去块操作以减少与CU的亮度、Cb和Cr译码块相关联的成块假影。视频解码器30可将CU的亮度、Cb和Cr译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测以及在例如图7的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的亮度、Cb和Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取大量亮度系数块的变换系数层级，逆量化变换系数层级，对变换系数层级应用变换以产生变换块，至少部分地基于变换块产生译码块，并且输出译码块用于显示。
图10是说明根据本发明的实例编码技术的流程图。举例来说，视频编码器20的深度处理单元125可确定用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小(170)。深度PU可为一或多个子PU。每一子PU可具有相等大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。视频编码器20的深度处理单元125可至少部分地基于至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI，来编码深度块的每一子PU(172)。视频编码器20的深度处理单元125可进一步产生指示用于深度PU中的MPI的每一子PU的大小的语法元素(174)。在一些实例中，所述语法元素具有0到3且包含0和3的范围。
如果所述语法元素的值大于或等于1，那么视频编码器20的深度处理单元125可编码存取单元中的每一纹理块，且相对于每一纹理块上的16×16块执行运动压缩。存取单元包含深度块。在一些实例中，可相对于存取单元中的对应的处于相同位置的深度块，独立地译码存取单元中的每一纹理块。可在编码存取单元中的深度块中的任一者之前编码每一纹理块，且在编码存取单元中的深度块中的每一者之前，视频解码器20的深度处理单元125可执行运动压缩。
如果所述语法元素的值等于0，那么视频编码器20的深度处理单元125可确定MPI大小为8×8。在此等实例中，视频编码器20的深度处理单元125可确定处于相同位置的纹理块是否包含两个PU。响应于确定处于相同位置的纹理块包含两个PU，视频编码器20的深度处理单元125可确定处于相同位置的纹理块中的每一PU的大小是4×8还是8×4，将子PU分割成两个较小单元，使得每一分区的大小等于处于相同位置的纹理块中的每一PU的大小，且对两个较小单元中的每一者进行单向运动补偿。另外，编码子PU可包含视频编码器20的深度处理单元125继承对应于RefPicList0的两个运动向量。
虽然以上实例描述具有特定值的语法元素的结果，但所述语法元素的其它值也可实现这些结果。举例来说，如果所述语法元素的值等于0，那么视频编码器20的深度处理单元125可编码存取单元中的每一纹理块，且相对于每一纹理块上的16×16块执行运动压缩。另外，如果所述语法元素的值大于或等于1，那么视频编码器20的深度处理单元125可确定MPI大小为8×8。并且，虽然相对于特定大小的块(即，16×16或8×8块)来描述这些技术，但在其它实例中，所述块可具有不同大小，例如4×4、32×32或4×8，以及其它可能大小。
在一些实例中，可在序列参数集(SPS)中产生所述语法元素。在这些实例中，深度块可包含多个深度PU，且可为存取单元中的多个深度块中的一者。所述语法元素可进一步指示存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小。在此情况下，编码子PU可包含视频编码器20的深度处理单元125确定所述深度PU在第一组深度PU中，其中所述第一组深度PU中的每一深度PU具有小于3与在1的按位左移位以及至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI编码深度PU中的每一子PU之后所述语法元素的值的总和的平方的大小。在一些实例中，深度PU可为第一深度PU。在这些实例中，视频编码器20的深度处理单元125可进一步确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与在1的按位左移位且使用不基于MPI大小的MPI来编码第二深度PU的每一子PU之后所述语法元素的值的总和的平方的大小。
图11是说明根据本发明的实例解码技术的流程图。举例来说，视频解码器30的深度处理单元165可接收指示用于深度预测单元(深度PU)中的运动参数继承(MPI)的子预测单元(子PU)的大小的语法元素(180)。深度PU可为一或多个子PU。每一子PU的大小可等于所述语法元素所指示的大小。另外，可从与相应的子PU处于相同位置的纹理块为每一子PU继承不同的运动信息。在接收到指示子PU MPI模式的索引值后，视频解码器30的深度处理单元165可即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，进一步继承深度块的所述子PU中的每一者的MPI(182)。在一些实例中，所述语法元素具有0到3且包含0和3的范围。
如果所述语法元素的值大于或等于1，那么视频解码器30的深度处理单元165可解码存取单元中的每一纹理块，且相对于每一纹理块上的16×16块执行运动压缩。存取单元包含深度块。在一些实例中，可相对于存取单元中的对应的处于相同位置的深度块，独立地译码存取单元中的每一纹理块。可在解码存取单元中的深度块中的任一者之前解码每一纹理块，且在解码存取单元中的深度块中的每一者之后，视频解码器30的深度处理单元165可执行运动压缩。
如果所述语法元素的值等于0，那么视频解码器30的深度处理单元165可确定MPI大小为8×8。在此类实例中，视频解码器30的深度处理单元165可确定处于相同位置的纹理块是否包含两个PU。响应于确定处于相同位置的纹理块包含两个PU，视频解码器30的深度处理单元165可确定处于相同位置的纹理块中的每一PU的大小是4×8还是8×4，将子PU分割成两个较小单元，使得每一分区的大小等于处于相同位置的纹理块中的每一PU的大小，且对两个较小单元中的每一者进行单向运动补偿。另外，解码子PU可包含视频解码器30的深度处理单元165继承对应于RefPicList0的两个运动向量。
虽然以上实例描述具有特定值的语法元素的结果，但所述语法元素的其它值也可实现这些结果。举例来说，如果所述语法元素的值等于0，那么视频解码器30的深度处理单元165可解码存取单元中的每一纹理块，并相对于每一纹理块上的16×16块执行运动压缩。另外，如果所述语法元素的值大于或等于1，那么视频解码器30的深度处理单元165可确定MPI大小为8×8。并且，虽然相对于特定大小的块(即，16×16或8×8块)来描述这些技术，但在其它实例中，所述块可具有不同大小，例如4×4、32×32或4×8，以及其它可能大小。
在一些实例中，语法元素可在序列参数集(SPS)中接收。在这些实例中，深度块可包含多个深度PU，且可为存取单元中的多个深度块中的一者。所述语法元素可进一步指示存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小。在此情况下，为每一子PU继承MPI可包含视频解码器30的深度处理单元165确定所述深度PU在第一组深度PU中，其中第一组深度PU中的每一深度PU具有小于3与1的按位左移位且至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块来为深度PU中的每一子PU继承MPI之后所述语法元素的值的总和的平方的大小。在一些实例中，深度PU可为第一深度PU。在这些实例中，视频解码器30的深度处理单元165可进一步确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与在1的按位左移位且不基于MPI大小来为第二深度PU的每一子PU继承MPI之后所述语法元素的值的总和的平方的大小。
在一或多个实例中，本文所述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如，数据存储媒体，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述本发明的各种实例。涵盖所描述的系统、操作或功能的任何组合。这些和其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种解码深度块的方法，所述方法包括：
接收指示深度预测单元，即深度PU，中用于运动参数继承MPI的子预测单元，即子PU，的大小的语法元素，其中所述深度PU包括一或多个子PU，其中每一子PU具有等于所述语法元素所指示的所述大小的大小，且其中可从与每一子PU处于相同位置的纹理块为相应子PU继承不同的运动信息；以及
在接收到指示子PU MPI模式的索引值后，即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，为所述深度块的所述子PU中的每一者继承MPI。
2.根据权利要求1所述的方法，其中在序列参数集SPS中接收所述语法元素。
3.根据权利要求2所述的方法，其中所述深度块包含多个深度PU，其中所述深度块是存取单元中的多个深度块中的一者，且其中所述语法元素进一步指示存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小。
4.根据权利要求3所述的方法，其中至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块为每一子PU继承MPI包括：
确定所述深度PU在第一组深度PU中，其中所述第一组深度PU中的每一深度PU具有小于3与按位左移1之后的所述语法元素的值的总和的平方的大小；以及
至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，为所述深度PU中的每一子PU继承MPI。
5.根据权利要求4所述的方法，其中所述深度PU是第一深度PU，所述方法进一步包括：
确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与1的按位左移位之后所述语法元素的所述值的总和的平方的大小；以及
不基于所述MPI大小为所述第二深度PU的每一子PU继承MPI。
6.根据权利要求1所述的方法，其中所述语法元素的值大于或等于1，所述方法进一步包括：
解码存取单元中的每一纹理块，其中所述存取单元包含所述深度块；以及
相对于每一纹理块上的16×16块执行运动压缩。
7.根据权利要求6所述的方法，其中相对于所述存取单元中对应的处于相同位置的深度块，独立地译码所述存取单元中的每一纹理块，其中在解码所述存取单元中的所述深度块中的任一者之前，解码每一纹理块，且其中在解码所述存取单元中的所述深度块中的每一者之后，执行运动压缩。
8.根据权利要求1所述的方法，其中所述语法元素的值为0，所述方法进一步包括：
确定所述MPI大小为8×8。
9.根据权利要求8所述的方法，其进一步包括∶
确定所述处于相同位置的纹理块是否包含两个PU；以及
响应于确定所述处于相同位置的纹理块包含两个PU：
确定所述处于相同位置的纹理块中的每一PU的大小是4×8还是8×4；
将所述子PU分割成两个较小单元，使得每一分区的大小等于所述处于相同位置的纹理块中的每一PU的所述大小；以及
对所述两个较小单元中的每一者应用单向运动补偿。
10.根据权利要求9所述的方法，其中解码所述子PU包括继承对应于第一参考图片列表RefPicList0的两个运动向量。
11.根据权利要求1所述的方法，其中所述语法元素具有0到3的范围且包含0和3本身。
12.一种用于解码深度块的装置，所述装置包括：
存储器，其经配置以存储与所述深度块相关联的数据；以及
一或多个处理器，其经配置以：
接收指示深度预测单元，即深度PU，中用于运动参数继承MPI的子预测单元，即子PU，的大小的语法元素，其中所述深度PU包括一或多个子PU，其中每一子PU具有等于所述语法元素所指示的所述大小的大小，且其中可从与每一子PU处于相同位置的纹理块为相应子PU继承不同的运动信息；以及
在接收到指示子PU MPI模式的索引值后，即刻至少部分地基于与所述子PU中的每一者处于相同位置的对应纹理块，为所述深度块的所述子PU中的每一者继承MPI。
13.根据权利要求12所述的装置，
其中在序列参数集SPS中接收所述语法元素，
其中所述深度块包含多个深度PU，
其中所述深度块是存取单元中的多个深度块中的一者，
其中所述语法元素可进一步指示所述存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小，
其中所述深度PU是第一深度PU，
其中所述一或多个处理器经配置以至少部分地基于所述MPI大小来解码所述子PU包括所述一或多个处理器经配置以：
确定所述第一深度PU在第一组深度PU中，其中所述第一组深度PU中的每一深度PU具有小于3与1的按位左移位之后所述语法元素的值的总和的平方的大小；以及
至少部分地基于所述MPI大小来解码所述第一深度PU中的每一子PU，且其中所述一或多个处理器进一步经配置以：
确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与1的按位左移位之后所述语法元素的所述值的总和的平方的大小；以及
不基于所述MPI大小使用MPI来解码所述第二深度PU的每一子PU。
14.根据权利要求12所述的装置，其中所述语法元素的值大于或等于1，其中所述一或多个处理器进一步经配置以：
解码存取单元中的每一纹理块，其中所述存取单元包含所述深度块；以及
相对于每一纹理块上的16×16块执行运动压缩。
15.根据权利要求14所述的装置，其中相对于所述存取单元中对应的处于相同位置的深度块，独立地译码所述存取单元中的每一纹理块，其中在解码所述存取单元中的所述深度块中的任一者之前，解码每一纹理块，且其中在解码所述存取单元中的所述深度块中的每一者之后，执行运动压缩。
16.一种编码深度块的方法，所述方法包括：
确定深度预测单元，即深度PU，中用于运动参数继承MPI的子预测单元，即子PU，的大小，其中所述深度PU包括一或多个子PU，其中每一子PU具有相等大小，且其中可从与相应子PU处于相同位置的纹理块为每一子PU继承不同的运动信息；
至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI，编码所述深度块的每一子PU；以及
产生指示用于所述深度PU中的MPI的每一子PU的所述大小的语法元素。
17.根据权利要求16所述的方法，其中在序列参数集SPS中产生所述语法元素。
18.根据权利要求17所述的方法，其中所述深度块包含多个深度PU，其中所述深度块是存取单元中的多个深度块中的一者，且其中所述语法元素进一步指示存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小。
19.根据权利要求18所述的方法，其中至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI来编码所述子PU包括：
确定所述深度PU在第一组深度PU中，其中所述第一组深度PU中的每一深度PU具有小于3与1的按位左移位之后所述语法元素的值的总和的平方的大小；以及
至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI，编码所述深度PU中的每一子PU。
20.根据权利要求19所述的方法，其中所述深度PU是第一深度PU，所述方法进一步包括：
确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与1的按位左移位之后所述语法元素的所述值的总和的平方的大小；以及
不基于所述MPI大小使用MPI来编码所述第二深度PU的每一子PU。
21.根据权利要求16所述的方法，其中所述语法元素的值大于或等于1，所述方法进一步包括：
编码存取单元中的每一纹理块，其中所述存取单元包含所述深度块；以及
相对于每一纹理块上的16×16块执行运动压缩。
22.根据权利要求21所述的方法，其中相对于所述存取单元中对应的处于相同位置的深度块，独立地译码所述存取单元中的每一纹理块，其中在编码所述存取单元中的所述深度块中的任一者之前，编码每一纹理块，且其中在编码所述存取单元中的所述深度块中的每一者之前，执行运动压缩。
23.根据权利要求16所述的方法，其中所述语法元素的值为0，所述方法进一步包括：
确定所述MPI大小为8×8。
24.根据权利要求23所述的方法，其进一步包括：
确定所述处于相同位置的纹理块是否包含两个PU；以及
响应于确定所述处于相同位置的纹理块包含两个PU：
确定所述处于相同位置的纹理块中的每一PU的大小是4×8还是8×4；
将所述子PU分割成两个较小单元，使得每一分区的大小等于所述处于相同位置的纹理块中的每一PU的所述大小；以及
对所述两个较小单元中的每一者应用单向运动补偿。
25.根据权利要求24所述的方法，其中编码所述子PU包括继承对应于第一参考图片列表RefPicList0的两个运动向量。
26.根据权利要求16所述的方法，其中所述语法元素具有0到3且包含0和3的范围。
27.一种用于编码深度块的装置，所述装置包括：
存储器，其经配置以存储与所述深度块相关联的数据；以及
一或多个处理器，其经配置以：
确定深度预测单元，即深度PU，中用于运动参数继承MPI的子预测单元，即子PU，的大小，其中所述深度PU包括一或多个子PU，其中每一子PU具有相等大小，且其中可从与相应子PU处于相同位置的纹理块为每一子PU继承不同的运动信息；
至少部分地基于对应于与所述子PU中的每一者处于相同位置的纹理块的MPI，编码所述深度块的每一子PU；以及
产生指示用于所述深度PU中的MPI的每一子PU的所述大小的语法元素。
28.根据权利要求27所述的装置，
其中在序列参数集SPS中产生所述语法元素，
其中所述深度块包含多个深度PU，
其中所述深度块是存取单元中的多个深度块中的一者，
其中所述语法元素可进一步指示所述存取单元中的每一相应深度块中的每一深度PU的每一子PU的MPI大小，
其中所述深度PU是第一深度PU，
其中所述一或多个处理器经配置以至少部分地基于所述MPI大小来编码所述子PU包括所述一或多个处理器经配置以：
确定所述第一深度PU在第一组深度PU中，其中所述第一组深度PU中的每一深度PU具有小于3与1的按位左移位之后所述语法元素的值的总和的平方的大小；以及
至少部分地基于所述MPI大小来编码所述第一深度PU中的每一子PU，且其中所述一或多个处理器进一步经配置以：
确定第二深度PU在第二组深度PU中，其中所述第二组深度PU中的每一深度PU具有大于或等于3与1的按位左移位之后所述语法元素的所述值的总和的平方的大小；以及
不基于所述MPI大小使用MPI来编码所述第二深度PU的每一子PU。
29.根据权利要求27所述的装置，其中所述语法元素的值大于或等于1，其中所述一或多个处理器进一步经配置以：
编码存取单元中的每一纹理块，其中所述存取单元包含所述深度块；以及
相对于每一纹理块上的16×16块执行运动压缩。
30.根据权利要求29所述的装置，其中相对于所述存取单元中对应的处于相同位置的深度块，独立地译码所述存取单元中的每一纹理块，其中在编码所述存取单元中的所述深度块中的任一者之前，编码每一纹理块，且其中在编码所述存取单元中的所述深度块中的每一者之前，执行运动压缩。
CN201480066563.9A 2013-12-13 2014-12-12 用于译码深度块的方法和装置 Active CN105794209B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361916068P 2013-12-13 2013-12-13
US61/916,068 2013-12-13
US14/567,564 US9693077B2 (en) 2013-12-13 2014-12-11 Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding
US14/567,564 2014-12-11
PCT/US2014/070041 WO2015089407A1 (en) 2013-12-13 2014-12-12 Controlling sub prediction unit (sub-pu) motion parameter inheritance (mpi) in three dimensional (3d) hevc or other 3d coding

Publications (2)

Publication Number Publication Date
CN105794209A CN105794209A (zh) 2016-07-20
CN105794209B true CN105794209B (zh) 2019-01-01

Family

ID=53370081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480066563.9A Active CN105794209B (zh) 2013-12-13 2014-12-12 用于译码深度块的方法和装置

Country Status (10)

Country Link
US (1) US9693077B2 (zh)
EP (1) EP3080989B1 (zh)
JP (1) JP6559675B2 (zh)
KR (1) KR102294260B1 (zh)
CN (1) CN105794209B (zh)
BR (1) BR112016013464B1 (zh)
ES (1) ES2700281T3 (zh)
HK (1) HK1222276A1 (zh)
HU (1) HUE040325T2 (zh)
WO (1) WO2015089407A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893346B2 (ja) * 2011-11-07 2016-03-23 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
EP3016392A4 (en) * 2013-07-24 2017-04-26 Samsung Electronics Co., Ltd. Method for determining motion vector and apparatus therefor
EP3033886B1 (en) 2013-11-27 2021-01-06 HFI Innovation Inc. Method of video coding using prediction based on intra picture block copy
JP2017520994A (ja) * 2014-06-20 2017-07-27 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ３ｄおよびマルチビュービデオコーディングのサブｐｕ構文シグナリングおよび照明補償方法
WO2017008263A1 (en) 2015-07-15 2017-01-19 Mediatek Singapore Pte. Ltd. Conditional binary tree block partitioning structure
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
US20180109814A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method And Apparatus Of Coding Unit Information Inheritance
CN106878753B (zh) * 2017-02-16 2020-04-28 南京理工大学 一种使用纹理平滑信息的3d视频残差编码模式选择方法
EP3843391A4 (en) 2018-08-24 2022-06-01 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO CODING METHOD AND APPARATUS
US11272201B2 (en) * 2019-01-03 2022-03-08 Qualcomm Incorporated Block size restriction for illumination compensation
CN109756719B (zh) * 2019-01-28 2020-06-26 华侨大学 基于cu划分贝叶斯决策的3d-hevc帧间快速方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123723A (zh) * 2006-08-11 2008-02-13 北京大学 基于图形处理器的数字视频解码方法
CN101923542A (zh) * 2009-06-12 2010-12-22 如临其境创意(上海)有限公司 一种用于网络多维空间数据表达的MDDRQ-Tree索引结构
CN101953166A (zh) * 2008-02-21 2011-01-19 法国电信公司 被划分为像素块的图像或图像序列的编码和解码
CN102186070A (zh) * 2011-04-20 2011-09-14 北京工业大学 分层结构预判的快速视频编码方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
CA2366325A1 (en) * 2001-12-27 2003-06-27 Todd Howley Method of forming turbine blade root
US8488678B2 (en) 2008-04-01 2013-07-16 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method
EP2392142B1 (fr) 2009-01-28 2018-10-24 Orange Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants
ES2739475T3 (es) 2009-05-11 2020-01-31 Ntt Docomo Inc Dispositivo, método y programa de codificación de imágenes en movimiento, y dispositivo, método y programa de decodificación de imágenes en movimiento
US9137544B2 (en) 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
KR102028123B1 (ko) * 2012-04-23 2019-10-04 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9948915B2 (en) 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123723A (zh) * 2006-08-11 2008-02-13 北京大学 基于图形处理器的数字视频解码方法
CN101953166A (zh) * 2008-02-21 2011-01-19 法国电信公司 被划分为像素块的图像或图像序列的编码和解码
CN101923542A (zh) * 2009-06-12 2010-12-22 如临其境创意(上海)有限公司 一种用于网络多维空间数据表达的MDDRQ-Tree索引结构
CN102186070A (zh) * 2011-04-20 2011-09-14 北京工业大学 分层结构预判的快速视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"CE3 related: Sub-PU based MPI";Xin Zhao;《Joint Collaborative Team on 3D Video Coding Extensions》;20131101;正文摘要部分，第1-2小节，第3小节第6段

Also Published As

Publication number Publication date
US9693077B2 (en) 2017-06-27
EP3080989A1 (en) 2016-10-19
HK1222276A1 (zh) 2017-06-23
US20150172716A1 (en) 2015-06-18
ES2700281T3 (es) 2019-02-14
KR20160096649A (ko) 2016-08-16
JP6559675B2 (ja) 2019-08-14
JP2017503403A (ja) 2017-01-26
CN105794209A (zh) 2016-07-20
WO2015089407A1 (en) 2015-06-18
KR102294260B1 (ko) 2021-08-25
EP3080989B1 (en) 2018-09-05
BR112016013464A2 (pt) 2017-08-08
HUE040325T2 (hu) 2019-02-28
BR112016013464B1 (pt) 2023-05-16

Similar Documents

Publication Publication Date Title
CN105794209B (zh) 用于译码深度块的方法和装置
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
CN104904218B (zh) 视差矢量推导
CN105637870B (zh) 使用不对称运动分割的视频译码技术
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN105379288B (zh) 处理对视频译码的照明补偿
CN104685883B (zh) 用于3d视频的经视图间预测运动向量
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN105393538B (zh) 用于视频编解码的方法、装置及计算机可读存储介质
CN105009586B (zh) 多视图或3维视频译码中的视图间残余预测
CN105027571B (zh) 三维视频译码中导出的视差向量
CN109891890A (zh) 视频译码中基于子pu的双向运动补偿
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN105850135B (zh) 用于视频译码的视差向量和/或高级残差预测
CN105230022A (zh) 使用基于相邻者的视差向量导出的用于3d视频译码的并行经导出视差向量
CN106105212A (zh) 简化的子预测单元(sub‑pu)运动参数继承(mpi)
CN104769949A (zh) 用于视差向量导出的图片的选择
CN104969551A (zh) 可缩放及多视角视频译码中的高级残差预测
CN104170380A (zh) 视频译码中的视差矢量预测
CN104350749A (zh) 深度图估计的推导
CN104322070A (zh) 用于高效率视频译码的高级别语法扩展
CN104838656A (zh) 视频译码扩展中的时间运动向量预测
CN104025602A (zh) 三维视频译码中用信号通知视图合成预测支持
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1222276

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant