CN105103557B - 用于视频译码的方法、装置和存储媒体 - Google Patents

用于视频译码的方法、装置和存储媒体 Download PDF

Info

Publication number
CN105103557B
CN105103557B CN201480016808.7A CN201480016808A CN105103557B CN 105103557 B CN105103557 B CN 105103557B CN 201480016808 A CN201480016808 A CN 201480016808A CN 105103557 B CN105103557 B CN 105103557B
Authority
CN
China
Prior art keywords
disparity vector
current block
view
block
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480016808.7A
Other languages
English (en)
Other versions
CN105103557A (zh
Inventor
康杰元
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105103557A publication Critical patent/CN105103557A/zh
Application granted granted Critical
Publication of CN105103557B publication Critical patent/CN105103557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频译码装置执行多视图视频数据的当前块的视差向量导出过程。所述当前块在当前视图中。可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时所述当前块的所述视差向量不可用。当所述可用性值指示所述视差向量导出过程尚未导出所述当前块的所述视差向量时，所述视频译码装置以另一方式产生所述当前块的视差向量。

Description

用于视频译码的方法、装置和存储媒体
本申请案主张2013年3月22日申请的第61/804,583号美国临时专利申请案的权利，所述申请案的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、便携或台式计算机、平板型计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话、所谓的“智能型手机”、视频电话会议装置、视频流式传输装置，及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))界定的标准、目前在开发中的高效视频译码(HEVC)标准，及这些标准的扩展中描述的那些技术。视频装置可通过实施这些视频压缩技术而效率较高地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可经分割成视频块。图片的帧内译码(I)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间预测或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及残余数据指示经译码块与预测性块之间的差来编码帧间译码块。根据帧内译码模式及残余数据来编码帧内译码块。为进行进一步压缩，可将残余数据自像素域变换至变换域，从而导致残余系数，可接着量化残余系数。可扫描最初布置成二维阵列的经量化的系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多压缩。
多视图译码位流可通过例如自多个透视图编码视图来产生。已开发出利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左及右眼视图以支持3D视频。替代地，一些3D视频译码过程可应用所谓多视图加深度译码。在多视图加深度译码中，3D视频位流可含有不仅纹理视图分量，而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
发明内容
一般来说，本发明涉及多视图视频译码。更具体来说，一种视频译码器可执行多视图视频数据的当前块的视差向量导出过程。当视差向量导出过程并不产生可用视差向量时，视频译码器可执行视差向量改进过程以产生当前块的经改进的视差向量。在支持回溯视图合成预测时，本发明的技术可适用于视差向量导出。
在一个实例中，本发明描述一种用于解码多视图视频数据的方法，所述方法包括：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；当所述可用性值指示所述当前块的所述视差向量不可用时，通过执行存取参考视图的深度视图分量的视差向量改进过程来产生所述当前块的经改进的视差向量；及基于所述当前块的所述经改进的视差向量解码所述当前块。
在另一实例中，本发明描述一种用于编码多视图视频数据的方法，所述方法包括：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；当所述可用性值指示所述当前块的所述视差向量不可用时，通过执行存取参考视图的深度视图分量的视差向量改进过程来产生所述当前块的经改进的视差向量；及基于所述当前块的所述经改进的视差向量编码所述当前块。
在另一实例中，本发明描述一种包括存储多视图视频数据的存储器及一或多个处理器的视频译码装置，所述一或多个处理器经配置以：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；及当所述可用性值指示所述当前块的所述视差向量不可用时，执行视差向量改进过程以产生所述当前块的经改进的视差向量。
在另一实例中，本发明描述一种视频译码装置，其包括：用于执行多视图视频数据的当前块的视差向量导出过程的装置，所述当前块为在当前视图中；用于设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用的装置；及用于在所述可用性值指示所述当前块的所述视差向量不可用时，通过执行存取参考视图的深度视图分量的视差向量改进过程来产生所述当前块的经改进的视差向量的装置。
在另一实例中，本发明描述一种上面存储有指令的非暂时性计算机可读数据存储媒体，所述指令在执行时配置一或多个处理器以：执行多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；及当所述可用性值指示所述视差向量导出过程尚未导出所述当前块的所述视差向量时，通过执行存取参考视图的深度视图分量的视差向量改进过程来产生所述当前块的经改进的视差向量。
在另一实例中，本发明描述一种用于解码多视图视频数据的方法，所述方法包括：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及基于所述当前块的所述视差向量解码所述当前块。
在另一实例中，本发明描述一种用于编码多视图视频数据的方法，所述方法包括：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及基于所述当前块的所述视差向量编码所述当前块。
在另一实例中，本发明描述一种用于译码多视图视频数据的装置，所述装置包括存储多视图视频数据的存储器及或多个处理器，所述一或多个处理器经配置以：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及基于所述当前块的所述视差向量译码所述当前块。
在另一实例中，本发明描述一种用于译码多视图视频数据的装置，所述装置包括：用于执行所述多视图视频数据的当前块的视差向量导出过程的装置，所述当前块为在当前视图中；用于当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量的装置；及用于基于所述当前块的所述视差向量译码所述当前块的装置。
在另一实例中，本发明描述一种上面存储有指令的非暂时性计算机可读数据存储媒体，所述指令在由用于译码多视图视频数据的装置的一或多个处理器执行时使得所述装置以：执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块为在当前视图中；当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及基于所述当前块的所述视差向量译码所述当前块。
在随附图式及以下描述中阐述本发明的一或多个实例的细节。其它特征、目标及优点自描述、图式及申请专利范围将为显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明实例空间相邻预测单元(PU)相对于当前PU的概念图。
图3为说明实度例多视图解码次序的概念图。
图4为说明多视图译码的实例预测结构的概念图。
图5为说明从参考视图的深度块导出以执行回溯视图合成预测(BVSP)的概念图。
图6为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图7为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图8为根据本发明的一或多项技术的说明视频解码器解码多视图视频数据的实例操作的流程图。
图9为根据本发明的一或多项技术的说明视频编码器编码多视图视频数据的实例操作的流程图。
图10为根据本发明的一或多项额外技术的说明视频解码器解码多视图视频数据的实例操作的流程图。
图11为根据本发明的一或多项额外技术的说明视频编码器编码多视图视频数据的实例操作的流程图。
具体实施方式
高效率视频译码(HEVC)为新开发的视频译码标准。3D-HEVC为HEVC的用于三维视频数据的扩展版本。3D-HEVC提供同一场景的来自不同视点的多个视图。3D-HEVC的标准化努力包含多视图视频译码解码器基于HEVC的标准化。在3D-HEVC中，启用基于来自不同视图的经重建视图分量的视图间预测。为了进一步改善译码效率，两个新译码工具(即视图间运动预测及视图间残余预测)已在3D-HEVC的参考软件的一些版本中被采用。
在3D-HEVC中，视图间运动预测类似于用于标准HEVC中的运动补偿，且可利用相同或类似语法元素。合并模式、跳过模式及增强型运动向量预测(AMVP)模式为实例类型的运动预测。当视频译码器执行对预测单元(PU)的视图间运动预测时，视频译码器可使用图片作为运动信息的源，所述图片为在与PU相同的存取单元中但在不同视图中。相反，习知运动补偿仅使用不同存取单元中的图片作为参考图片。因此，在3D-HEVC中，相依视图中的块的运动参数可基于同一存取单元的其它视图中的已经译码运动参数进行预测或推断。
当视频译码器执行运动预测时，视频译码器可在当前PU的运动信息使用合并模式、跳过模式或AMVP模式发信时产生候选者列表(例如，合并候选者列表或AMVP候选者列表)。为了实施3D-HEVC中的视图间运动预测，候选者列表可包含视图间预测运动向量候选者。视频译码器可以与候选者列表中的其它候选者相同的方式来使用视图间预测运动向量候选者。视图间预测运动向量候选者可指定视差参考图片的PU(即，参考PU)的运动信息。视差参考图片可在与当前PU相同的存取单元中，但在与当前PU不同的视图中。为了确定视差参考图片中的参考PU，视频译码器可执行视差向量建构过程以确定当前PU的视差向量。当前PU的视差向量可指示当前PU的预测块与视差参考图片内位置之间的空间位移。参考PU可为涵盖通过视差向量指示的位置的视差参考图片的PU。
一般来说，视图合成预测(VSP)为一种将来自相邻视点的图片变形至当前视点用于预测用途的技术。深度信息用以执行变形。回溯变形VSP(BVSP)使用相邻块来导出深度块以执行回溯变形操作。在回溯变形中，用于变形的深度是来自当前图片的同一视点，其通常需要相依视图中的深度优先译码。为了在BVSP中估计块的深度信息，视频译码器可自相邻块导出视差向量。视频译码器可接着使用导出的视差向量来自参考视图获得深度块。
视频译码器可执行称作基于相邻块的视差向量(NBDV)的方法来导出视差向量。当视频译码器使用NBDV导出来导出当前PU的视差向量时，视频译码器可使用来自空间及时间相邻块的视差运动向量以导出视差向量。在本发明中，PU的视差运动向量是指指示视差参考图片(例如，为在与PU不同的视图中的参考图片)中的位置的运动向量。此外，为易于解释，本发明可指作为相邻块的空间相邻块或时间相邻块。
视频译码器可使用参考视图的深度视图分量来改进视差向量。视频译码器可使用同一改进过程来改进视差运动向量用于回溯视图合成预测中。详言之，视频译码器可使用NBDV过程来确定当前PU的视差向量。当视频译码器使用NBDV导出确定可用视差向量时(例如，当视频译码器从相邻块找寻视差运动向量时)，视频译码器可通过从参考视图的深度图检索深度数据来进一步改进视差向量。改进过程包含两个步骤。首先，视频译码器通过先前译码参考深度视图(例如，基本视图)中所导出的视差向量来定位对应深度块。对应深度块的大小与当前PU的大小相同。第二，视频译码器自对应深度块的四个角落像素选择一个深度值，且将所选择深度值转换到经改进视差向量的水平分量。不改变视差向量的垂直分量。
以上过程也被称作NBDV改进(NBDV-R)或深度定向式NBDV(Do-NBDV)。视频译码器可将经改进的视差向量用于视图间运动预测，而视频译码器可将未经改进的视差向量用于视图间残余预测。此外，如果PU通过回溯VSP模式来译码，则视频译码器可存储经改进的视差向量作为PU的运动向量。当NBDV过程并不提供可用视差向量时，跳过以上NBDV-R过程，且直接传回零视差向量。
3D-HEVC中的当前视差向量导出方法具有若干问题。举例来说，当NBDV过程提供不可用视差向量时，视频译码器可跳过NBDV-R过程以改进视差向量。此情形可导致译码性能下降。
本发明的技术可解决先前提及的问题或缺点。即，本发明可在视差向量导出方法(例如，3D-HEVC中的NBDV)不可产生可用视差向量时通过存取参考视图的深度视图分量来提供经更好改进的视差向量。
在一些实例中，一种视频解码器可执行多视图视频数据的当前块的视差向量导出过程。当视差向量导出过程并不产生可用视差向量时，视频解码器可仍然执行视差向量改进过程以产生当前块的经改进的视差向量。在一些这些实例中，视差向量改进过程使用零视差向量。换句话说，视差向量改进过程不限于视差向量导出过程产生可用视差向量的状况。即使视差向量导出过程并不产生可用视差向量，本发明的技术仍允许关于某默认视差向量(例如，具有等于零的水平及垂直分量的默认视差向量)的视差向量改进。
在一些实例中，维持变量以识别视差向量导出过程(例如，NBDV导出)原先是否传回可用视差向量。此变量在某些条件下可用于其它译码工具。举例来说，等于0的此旗标可导致当前块的视图间残余预测的停用。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指视频编码或视频解码。
如图1中所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码的视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，所述装置包含台式计算机、移动计算装置、笔记型(例如，便携)计算机、平板型计算机、机顶盒、例如所谓“智能型”电话的电话手机、电视、摄像机、显示装置、数字媒体播放器、视频游戏主机、车载计算机或其类似者。
目的地装置14可经由信道16自源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据自源装置12移动至目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括能够使源装置12将经编码视频数据实时直接地发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据例如无线通信协议的通信标准调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。一或多个通信媒体可形成例如局域网、广域网或全球网络(例如，因特网)的基于包的网络的部分。一或多个通信媒体可包含路由器、交换机、基站或促进自源装置12到目的地装置14的通信的其它装备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可例如经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适数字存储媒体。
在其它实例中，信道16可包含文件服务器，或存储由源装置12产生的经编码视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式发射或下载存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的一类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本机磁盘机。
目的地装置14可经由标准数据连接(例如，因特网连接)而存取经编码视频数据。实例类型的数据连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、缆线调制解调器等)，或两者的适合于存取存储于文件服务器上的经编码视频数据的组合。经编码视频数据自文件服务器的发射可为流式发射、下载发射，或两者的组合。
本发明的技术不限于无线应用或设定。技术可应用到支持多种多媒体应用的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式发射、视频播放、视频广播及/或视频电话的应用。
图1仅为实例，且本发明的技术可应用到不必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据检索自本地存储器，经由网络进行流式发射，或其类似者。视频编码装置可编码数据并将数据存储到存储器，及/或视频解码装置可自存储器检索数据并解码所述数据。在许多实例中，编码及解码由并不彼此通信，而是仅编码到存储器的数据及/或自存储器检索数据并解码所述数据的装置执行。数据可包含视频数据，例如多视图视频数据。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。视频源18可包含例如视频摄像机的视频捕获装置、含有先前捕获的视频数据的视频存档、自视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统，或这些视频数据的来源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将经编码视频数据直接发射到目的地装置14。在其它实例中，经编码视频数据也可存储于存储媒体上或文件服务器上以由目的地装置14稍后存取从而用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收经编码视频数据。视频解码器30可解码经编码视频数据。显示装置32可显示经解码视频数据。显示装置32可与目的地装置14集成，或可在目的地装置14外部。显示装置32可包括多种显示装置，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可各自实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分地以软件实施，则装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。前述各项(包含硬件、软件、软件与硬件的组合等)中的任一者可被视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为各别装置中的组合编码器/解码器(编码解码器(CODEC))的部分。
本发明可大体指将某信息“发信”至另一装置(例如，视频解码器30)的视频编码器20。术语“发信”可大体指用以解码经压缩视频数据的语法元素及/或其它数据的通信。此通信可实时或几乎实时地发生。替代地，此通信可在一段时间上发生，例如可能当于编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，所述语法元素可接着由解码装置在存储到此媒体之后的任何时间进行检索。
在一些实例中，视频编码器20及视频解码器30根据例如ISO/IEC MPEG-4视觉及ITU-T H.264(也称作ISO/IEC MPEG-4AVC)的视频压缩标准操作，ISO/IEC MPEG-4视觉及ITU-T H.264包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的3DV扩展。在一些个例中，遵照H.264/AVC的基于MVC的3DV扩展的任何位流总是含有与H.264/AVC的MVC扩展相容的子位流。此外，进行持续努力以产生到H.264/AVC的三维视频(3DV)译码扩展(即，基于AVC的3DV)。在其它实例中，视频编码器20及视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual及TU-TH.264、ISO/IEC Visual操作。
在其它实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家团体(VCEG)与ISO/IEC动画专家团体(MPEG)的关于视频译码的联合协作团队(JCT-VC)开发的高效视频译码(HEVC)标准来操作。称作“HEVC工作草案8”的HEVC标准的草案描述于布罗斯(Bross)等人的“High Efficiency Video Coding(HEVC)text specification draft8(高效率视频译码(HEVC)文字规范草案8)”(ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合协作团队(JCT-VC)，2012年7月瑞典斯德哥尔摩第10次会议)中。称作“HEVC工作草案9”的HEVC标准的另一草案描述于布罗斯等人的“High Efficiency Video Coding(HEVC)text specification draft 9(高效率视频译码(HEVC)文字规范草案9)”(ITU-TSG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合协作团队(JCT-VC)，2012年11月中国上海第11次会议)中。此外，正在努力以产生可缩放视频译码、多视图译码及HEVC的3DV扩展。HEVC的可缩放视频译码扩展可被称作SHEVC。
当前，关于VCEG及MPEG的3D视频译码的联合协作团队(JCT-3C)正在开发基于HEVC的3DV标准，针对3DV标准的标准化努力的部分包含基于HEVC的多视图视频译码器(MV-HEVC)的标准化，且另一部分包含基于HEVC的3D视频译码(3D-HEVC)的标准化。对于3D-HEVC，可包含并支持针对纹理及/或深度视图的包含译码单元/预测单元层级的那些的新译码工具。可自以下链结下载3D-HEVC的软件3D-HTM：[3D-HTM version 6.0]：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-6.0/
3D-HEVC的参考软件描述以及工作草案可得如下：格哈德泰克(Gerhard Tech)，克日什托夫韦格纳(Krzysztof Wegner)，英陈(Ying Chen),塞霍恩叶(Sehoon Yea)，“3D-HEVC测试模型描述草案2”(JCT3V-B1005，ITU-T SG 16WP 3与ISO/IEC JTC 1/SC29/WG 11的关于3D视频译码扩展开发的联合协作团队，第二次会议：2012年10月中国上海)，所述文件自2013年12月24日起可自以下链结下载：http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip。3D-HEVC的参考软件描述的另一版本可自http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝706获得。3D-HEVC的称作“3D-HEVC测试模型描述草案3”的另一草案描述于泰克等人的“3D-HEVC测试模型3”(ITU-T SG 16WP 3与ISO/IEC JTC1/SC 29/WG 11的关于3D视频译码扩展开发的联合协作团队第三次会议：2013年1月17日至23日瑞士日内瓦，文件号码JCT3V-C1005_spec_d1)中。视频编码器20及视频解码器30可根据SHEVC、MV-HEVC及/或3D-HEVC操作。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含表示为SL、SCb及SCr的三个样本阵列。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本本文中也可被称作“色度(chroma)”样本。在其它个例中，图片可为单色的，且可仅包含亮度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树状结构单元(CTU)的集合。CTU中的每一者可包括亮度样本的译码树块、色度样本的两个对应译码树块，及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个分离彩色平面的图片中，CTU可包括单一译码树块及用以对译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU不必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含以光栅扫描次序连续地排定次序的整数数目个CTU。
经译码切片可包括切片标头及切片数据。切片的切片标头可为包含语法元素的语法结构，所述语法元素提供关于切片的信息。切片数据可包含切片的经译码CTU。
本发明可使用术语“视频单元”或“视频块”或“块”来提及一或多个样本块及用以对一或多个样本块的样本进行译码的语法结构。实例类型的视频单元可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分割，等等。一般来说，块的大小可指与块相关联的样本块的大小。
为了产生经译码CTU，视频编码器20可对CTU的译码树块递归地执行四分树分割以将译码树块划分成译码块(因此名称“译码树状结构单元”)。译码块为样本的N×N块。CU可包括亮度样本的译码块，及具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的色度样本的两个对应译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个分离彩色平面的图片中，CU可包括单一译码块及用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块为相同预测应用到的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括亮度样本的预测块、色度样本的两个对应预测块，及用以预测所述预测块的语法结构。在单色图片或具有三个分离彩色平面的图片中，PU可包括单一预测块及用以对预测块进行预测的语法结构。视频编码器20可产生用于CU的每一PU的亮度、Cb及Cr预测块的预测性亮度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的样本产生PU的预测性块。在本发明中，片语“基于”可指示“至少部分基于”。
如果视频编码器20使用帧间预测来产生PU的预测性块，则视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本来产生PU的预测性块。帧间预测可为单向的(即，单向预测)或双向的(即，双向预测)。为了执行帧间预测，视频编码器20可产生当前图片的第一参考图片列表(RefPicList0)，且也可产生当前图片的第二参考图片列表(RefPicList1)。参考图片列表中的每一者可包含一或多个参考图片。在建构出参考图片列表(即RefPicList0及RefPicList1(如果可用))之后，对参考图片列表的参考索引可用以识别包含于参考图片列表中的任何参考图片。
当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本来产生PU的预测性块。此外，当使用单向预测时，视频编码器20可产生单一运动向量，所述单一运动向量指示PU的预测块与参考位置之间的空间位移。运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量，且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
当使用双向预测来编码PU时，视频编码器20可确定RefPicList0中参考图片的第一参考位置及RefPicList1中参考图片的第二参考位置。视频编码器20可至少部分基于对应于第一及第二参考位置的样本来产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的预测块与第一参考位置之间的空间位移的第一运动向量，及指示PU的预测块与第二参考位置之间的空间位移的第二运动向量。
在视频编码器20产生CU的一或多个PU的一或多个预测性块(例如，亮度、Cb及Cr预测性块)之后，视频编码器20可产生CU的一或多个残余块。举例来说，视频编码器20可产生CU的亮度残余块。CU的亮度残余块的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。此外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四分树分割以将CU的残余块(例如，CU的亮度、Cb及Cr残余块)分解成一或多个变换块(例如，亮度、Cb及Cr变换块)。变换块为同一变换应用到的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个分离彩色平面的图片中，TU可包括单一变换块及用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用到TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用到TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用到TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化一般指如下过程：将变换系数量化以可能地减少用以表示所述变换系数的数据的量，从而提供进一步压缩。在视频编码器20量化系数块之后，视频编码器20可熵编码语法元素，从而指示经量化的变换系数。举例来说，视频编码器20可对语法元素执行内容自适应性二进位算术译码(CABAC)，从而指示经量化的变换系数。
视频编码器20可输出包含位序列的位流，所述位序列形成经译码图片及关联数据的表示。位流可包括网络抽象层(NAL)单元的序列。NAL单元是含有NAL单元中数据类型的指示及在必要时穿插在仿真防止位中的含有呈原始位组序列有效负载(RBSP)的形式的所述数据的位组的语法结构。NAL单元中的每一者包含NAL单元标头，且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个位组的语法结构。在一些个例中，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，不同类型的NAL单元可封装以下各者的不同RBSP：视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、经译码切片、补充增强信息(SEI)等等。封装视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称作视频译码层(VCL)NAL单元。
在HEVC中，SPS可含有应用到经译码视频序列(CVS)的所有切片的信息。在HEVC中，CVS可从为位流中的第一图片的瞬时解码刷新(IDR)图片或断链存取(BLA)图片或清洁随机存取(CRA)图片开始，包含并非IDR或BLA图片的所有后续图片。即，在HEVC中，CVS可包括存取单元的序列，所述存取单元的序列以解码次序由以下各者组成：为位流中的第一存取单元的CRA存取单元、IDR存取单元或BLA存取单元，继之以零或多个非IDR及非BLA存取单元(包含直至所有后续存取单元，但不包含任何后续IDR或BLA存取单元)。
VPS为包括应用到零或零个以上整个CVS的语法元素的语法结构。SPS可包含在SPS为在作用中时识别为在作用中的VPS的语法元素。因此，VPS的语法元素相较于SPS的语法元素可大体更适用。PPS为包括应用到零或零个以上经译码图片的语法元素的语法结构。PPS可包含在PPS为在作用中时识别为在作用中的SPS的语法元素。切片的切片标头可包含语法元素，所述语法元素指示在切片正在译码时为在作用中的PPS。
视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可剖析位流以获得来自位流的语法元素。视频解码器30可至少部分基于自位流获得的语法元素来重建视频数据的图片。重建视频数据的过程可与由视频编码器20执行的过程大体互反。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。此外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
如上文所指示，可将CU分割成一或多个PU。项“part_mode”可表示当前CU的分割模式。换句话说，part_mode可表示将CU分割成PU的方式。在HEVC中，part_mode的值可受约束如下：
●如果一个CU的译码模式等于MODE_INTRA，则part_mode应等于0或1。CU的译码模式可指示，CU使用帧内预测(即，MODE_INTRA)抑或帧间预测(即，MODE_INTER)来译码。
●否则(一个CU的译码模式等于MODE_INTER)，则以下内容可应用：
●如果当前CU的大小大于最小可容许CU的大小且启用了不对称运动分割，则part_mode应在0至2(包含)的范围内且在4至7(包含)的范围内。当启用了非对称运动分割时，可将当前CU分割成并不各自具有同一大小的数个PU。
●否则，如果当前CU的大小大于最小CU的大小且停用了非对称运动分割，则part_mode应在0至2(包含)的范围内。CU的大小可指CU的译码块(例如，亮度译码块)的大小。
●否则，如果当前CU的大小等于8，则part_mode的值应为在0至2(包含)的范围内。
●否则(当前CU的大小大于8)，part_mode的值应为在0至3(包含)的范围内。
part_mode与变量PartMode的关联值之间的关系在以下表1中界定。变量PartMode提供分割模式的人类可读名称。项part_mode可界定经译码位流中的与表1一致的索引值，索引值映射至通过表1中的变量PartMode界定的定义。在一些实例中，当part_mode不存在时，当前CU的分割模式被推断为等于PART_2N×2N。
表1-到预测模式及分割类型的名称关联
在H.264/AVC中，视频序列通常包含一系列视频帧。此外，在H.264/AVC中，图片群组(GOP)通常包括一或多个视频帧的系列。GOP可在GOP的标头、GOP的一或多者个帧的标头中或在别处包含描述包含于GOP中的数个帧的语法数据。每一帧可包含描述各别帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的块进行操作，以便编码视频数据。在H.264/AVC中，块可对应于宏块(MB)或宏块的分割。MB为具有三个样本阵列的图片的亮度样本的16×16块及色度样本的两个对应块，或者单色图片或使用三个分离彩色平面译码的图片的样本的16×16块。MB分割为具有三个样本阵列的图片的自宏块的用于帧间预测的分割得出的亮度样本块及色度样本的两个对应块，或单色图片或使用三个分离彩色平面译码的图片的自宏块的用于帧间预测的分割得出的亮度样本块。在HEVC中，块可对应于PU。与块(例如，视频单元)相关联的样本块可具有固定或变化的大小，且可根据指定的译码标准而在大小上不同。
在H.264/AVC中，视频编码器20基于一或多个参考图片而产生帧间MB的预测性块。每一帧间MB可以四种不同方式来分割：
●一个16×16MB分割
●两个16×8MB分割
●两个8×16MB分割
●四个8×8MB分割
一个MB中的不同MB分割针对每一方向可具有不同参考索引值(即，RefPicList0或RefPicList1)。因此，视频译码器可基于不同参考图片而产生一个帧间MB的不同MB分割的预测性块。当帧间MB并未分割成四个8×8MB分割时，帧间MB在每一方向上针对整个MB分割可具有仅一个运动向量。换句话说，当帧间MB并未分割成四个8×8MB分割时，可存在针对帧间MB的单一RefPicList0运动向量及针对帧间MB的单一RefPicList1运动向量。
当将MB分割成四个8×8MB分割时，可将每一8×8MB进一步分割成子块。存在8×8MB分割被分割成子块的四种不同方式：
●一个8×8子块
●两个8×4子块
●两个4×8子块
●四个4×4子块
每一子块在每一方向上可具有不同运动向量。换句话说，B切片中的每一子块可具有RefPicList0运动向量及RefPicList1运动向量。“子块分割”用以指示8×8MB分割被分割成子块的方式的术语。
在HEVC中，视频编码器20可使用合并模式或高级运动向量预测(AMVP)模式来发信PU的运动信息。换句话说，在HEVC中，存在针对模式参数(即，运动信息)的预测的两种模式，一个模式为合并模式且另一模式为AMVP模式。运动预测可包括基于一或多个其它块的运动信息确定一块(例如，PU)的运动信息。PU的运动信息可包含PU的运动向量、PU的参考索引及一或多个预测方向指示符。
当视频编码器20使用合并模式发信当前PU的运动信息时，视频编码器20产生合并候选者列表。换句话说，视频编码器20可执行运动向量预测子列表建构过程。合并候选者列表包含合并候选者集合，所述合并候选者指示空间或时间相邻于当前PU的PU的运动信息。即，在合并模式中，运动参数(例如，参考索引、运动向量等)的候选者列表经建构，其中候选者可来自空间及时间相邻块。
此外，在合并模式中，视频编码器20可自合并候选者列表选择合并候选者，且可使用通过所选择合并候选者指示的运动信息作为当前PU的运动信息。视频编码器20可发信所选择合并候选者的合并候选者列表中的位置。举例来说，视频编码器20可通过将索引发射到候选者列表中来发信所选择运动向量参数。视频解码器30可自位流获得到候选者列表中的索引(即，候选者列表索引)。此外，视频解码器30可产生相同合并候选者列表，且可基于所选择合并候选者的位置的指示而确定所选择合并候选者。视频解码器30可接着使用所选择合并候选者的运动信息来产生当前PU的预测性块。即，视频解码器30可至少部分基于候选者列表索引来确定候选者列表中的所选择候选者，其中所选择候选者指定当前PU的运动向量。以此方式，在解码器侧，一旦解码了索引，索引指向的对应块的所有运动参数便可通过当前PU继承。
跳过模式类似于合并模式。在跳过模式中，视频编码器20及视频解码器30以视频编码器20及视频解码器30在合并模式中使用候选者列表的方式相同的方式产生并使用合并候选者列表。然而，当视频编码器20使用跳过模式发信当前PU的运动信息时，视频编码器20并不发信当前PU的任何残余数据。因此，视频解码器30可在不使用残余数据情况下基于通过合并候选者列表中的所选择候选者的运动信息指示的参考块来确定PU的预测性块。
AMVP模式类似于合并模式在于，视频编码器20可产生候选者列表，且可自候选者列表选择候选者。然而，当视频编码器20使用AMVP模式发信当前PU的RefPicListX(其中X为0或1)运动信息时，除发信当前PU的RefPicListX运动向量预测子(MVP)旗标外，视频编码器20也可发信当前PU的RefPicListX运动向量差(MVD)及当前PU的RefPicListX参考索引。当前PU的RefPicListX MVP旗标可指示所选择AMVP候选者在AMVP候选者列表中的位置。当前PU的RefPicListX MVD可指示当前PU的RefPicListX运动向量与所选择AMVP候选者的运动向量之间的差。以此方式，视频编码器20可通过发信RefPicListX MVP旗标、RefPicListX参考索引值及RefPicListX MVD而发信当前PU的RefPicListX运动信息。换句话说，表示当前PU的运动向量的位流中的数据可包含表示参考索引、对候选者列表的索引及MVD的数据。
此外，当当前PU的运动信息使用AMVP模式发信时，视频解码器30可自位流获得当前PU的MVD及MVP旗标。视频解码器30可产生同一AMVP候选者列表，且可基于MVP旗标确定所选择AMVP候选者。视频解码器30可通过将MVD添加到通过所选择AMVP候选者指示的运动向量来恢复当前PU的运动向量。即，视频解码器30可基于通过所选择AMVP候选者指示的运动向量及MVD来确定当前PU的运动向量。视频解码器30可接着使用当前PU的一或多个所恢复运动向量来产生当前PU的预测性块。
当视频解码器30产生当前PU的AMVP候选者列表时，视频解码器30可基于涵盖空间相邻于当前PU的位置的PU(即，空间相邻PU)的运动信息而导出一或多个AMVP候选者。图2为说明实例空间相邻PU相对于当前PU 40的概念图。在图2的实例中，空间相邻PU可为涵盖指示为A0、A1、B0、B1及B2的位置的PU。在PU的预测块包含位置时，PU可涵盖所述位置。
合并候选者列表或AMVP候选者列表中是基于PU的运动信息的候选者可被称作时间运动向量预测子(TMVP)，所述PU时间上相邻于当前PU(即，处于不同于当前PU的时刻的PU)。TMVP可用以改善HEVC的译码效率，且不同于其它译码工具，TMVP可需要存取经解码图片缓冲器中更具体来说参考图片列表中帧的运动向量。
TMVP的使用可在逐CVS基础、逐切片基础或在另一基础上经启用或停用。SPS中的语法元素(例如，sps_temporal_mvp_enable_flag)可指示TMVP的使用是否针对CVS经启用。此外，当TMVP的使用针对CVS经启用时，TMVP的使用可针对CVS内的特定切片经启用或停用。举例来说，切片标头中的语法元素(例如，slice_temporal_mvp_enable_flag)可指示TMVP的使用是否针对切片经启用。因此，在帧间预测切片中，当TMVP针对整个CVS经启用(例如，SPS中sps_temporal_mvp_enable_flag设定为1)时，slice_temporal_mvp_enable_flag在切片标头中发信以指示TMVP的使用是否针对当前切片被启用。
为了确定TMVP，视频译码器可首先识别参考图片，所述参考图片包含与当前PU并置的PU。换句话说，视频译码器可识别所谓并置图片。如果当前图片的当前切片为B切片(即，经允许以包含双向帧间预测的PU的切片)，则视频编码器20可在切片标头中发信语法元素(例如，collocated_from_l0_flag)，所述语法元素指示并置像素为来自RefPicList0抑或RefPicList1。换句话说，当TMVP的使用针对当前切片经启用且当前切片为B切片(例如，经允许以包含双向帧间预测PU的切片)时，视频编码器20可在切片标头中发信语法元素(例如，collocated_from_l0_flag)以指示并置图片为在RefPicList0抑或RefPicList1中。在视频解码器30识别包含并置图片的参考图片列表之后，视频解码器30可使用可在切片标头中发信的另一语法元素(例如，collocated_ref_idx)以识别所识别参考图片列表中的图片(即，并置图片)。即，在识别出参考图片列表之后，在切片标头中发信的collocated_ref_idx可用以识别参考图片列表中的图片。
视频译码器可通过检查并置图片来识别并置PU。当视频译码器检查并置PU时，视频译码器可检查并置图片的右下PU及并置图片的中心PU。右下PU可涵盖与就在当前PU的预测块的右下角的右下方的位置并置的位置。中心PU可涵盖与当前PU的预测块的中心并置的位置。TMVP可指示右下PU或中心PU的运动信息。
当通过以上过程识别的运动向量(即，TMVP的运动向量)用以产生针对合并模式或AMVP模式的运动候选者时，视频译码器可基于时间位置缩放运动向量(通过POC值反映)。举例来说，与在当前图片及参考图片的POC值之间的差较小时相比较，在当前图片及参考图片的POC值之间的差较大时，视频译码器可使运动向量的量值增加较大量。
自TMVP导出的时间合并候选者的所有可能参考图片列表的目标参考索引可总是设定为0。然而，对于AMVP，所有可能参考图片的目标参考索引设定为等于经解码的参考索引。在HEVC中，SPS可包含旗标(例如，sps_temporal_mvp_enable_flag)，且切片标头在sps_temporal_mvp_enable_flag等于1时可包含旗标(例如，pic_temporal_mvp_enable_flag)。当pic_temporal_mvp_enable_flag及temporal_id两者对于特定图片皆等于0时，解码次序上在所述特定图片之前的图片的运动向量皆不用作解码特定图片或在解码次序上在特定图片之后的图片中的TMVP。
在多视图译码中，可存在同一场景的来自不同视点的多个视图。术语“存取单元”用以指对应于同一时刻的图片的集合。因此，视频数据可概念化为随时间出现的一系列存取单元。“视图分量”可为单一存取单元中视图的经译码表示。视图分量可含有纹理视图分量及深度视图分量。在本发明中，“视图”可指与同一视图识别符相关联的视图分量的序列。
纹理视图分量(即，纹理图片)可为单一存取单元中视图的纹理的经译码表示。纹理视图可为与视图次序索引的相同值相关联的纹理视图分量的序列。视图的视图次序索引可指示视图相对于其它视图的摄像机位置。深度视图分量(即，深度图片)可为单一存取单元中视图的深度的经译码表示。深度视图可为与视图次序索引的相同值相关联的深度视图分量的序列。
多视图译码支持视图间预测。视图间预测类似于用于HEVC中的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前块(例如，PU)执行视图间预测时，视频编码器20可使用为在与当前块相同的存取单元中但在不同视图中的图片作为参考图片。相反，习知帧间预测仅使用不同存取单元中的图片作为参考图片。
纹理视图分量包含经显示的实际图像内容。举例来说，纹理视图分量可包含亮度(例如，Y)及色度(例如，Cb及Cr)分量。深度视图分量可指示像素在其对应纹理视图分量中的相对深度。作为一个实例，深度视图分量是包含仅亮度值的灰度图像。换句话说，深度视图分量可不传送任何图像内容，而是提供像素在纹理视图分量中的相对深度的测量。
在多视图译码中，位流可具有多个层。层中的每一者可对应于不同视图。在多视图译码中，如果视频解码器(例如，视频解码器30)可解码视图中的图片而不参看任何其它视图中的图片，则视图可被称作“基本视图”。如果视图的解码依赖于一或多个其它视图中图片的解码，则视图可被称作非基本视图。
举例来说，NAL单元可包含标头(即，NAL单元标头)及有效负载(例如，RBSP)。NAL单元标头可包含nuh_reserved_zero_6bits语法元素。具有指定不同值的nuh_reserved_zero_6bit语法元素的NAL单元属于位流的不同“层”。因此，在多视图译码、3DV或SVC中，NAL单元的nuh_reserved_zero_6bits语法元素指定NAL单元的层识别符(即，层ID)。在一些实例中，如果NAL单元涉及多视图译码、3DV译码或SVC中的基底层，则NAL单元的nuh_reserved_zero_6bits语法元素等于0。位流的基底层中的数据可在不参看位流的任何其它层中的数据的情况下经解码。如果NAL单元并非涉及多视图译码、3DV或SVC中的基底层，则nuh_reserved_zero_6bits语法元素可具有非零值。如上文所指示，在多视图译码及3DV译码中，位流的不同层可对应于不同视图。在SVC中，除基底层外的层可被称作“增强层”，且可提供增强自位流解码的视频数据的视觉质量的信息。
此外，层内的一些图片可在不参看同一层内的其它图片情况下经解码。因此，封装层的某些图片的数据的NAL单元可自位流移除而不影响层中其它图片的可解码性。移除封装这些图片的数据的NAL单元可减少位流的帧速率。层内的图片的可在不参考层内的其它图片情况下经解码的子集本文中可被称作“子层”或“时间子层”。
当译码非基本视图中的一者中的图片时，如果图片为在不同视图中但为在与视频译码器当前正译码的图片相同的时刻(即，存取单元)内，则视频译码器(例如，视频编码器20或视频解码器30)可将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入视图间预测参考图片。
图3为说明实例多视图解码次序的概念图。多视图解码次序可为位流次序。在图3的实例中，每一正方形对应于视图分量。正方形列对应于存取单元。每一存取单元可经界定以含有一时刻的所有视图的经译码图片。正方形行对应于视图。在图3的实例中，存取单元标注为T0…T8，且视图标注为S0…S7。因为存取单元的每一视图分量在下一存取单元的任何视图分量之前经解码，所以图3的解码次序可被称作时间优先译码。存取单元的解码次序可能不等同于视图的输出或显示次序。
多视图译码可支持视图间预测。视图间预测类似于用于H.264/AVC、HEVC或其它视频译码规范中的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前块(例如，宏块或PU)执行视图间预测时，视频译码器可使用为在与当前块相同的存取单元中但在不同视图中的图片作为参考图片。与本文中所描述的视图间预测相反，习知帧间预测仅使用不同存取单元中的图片作为参考图片。
图4为说明多视图译码的实例预测结构的概念图。图4的多视图预测结构包含时间及视图间预测。在图4的实例中，每一正方形对应于一个视图分量。在图4的实例中，存取单元标注为T0…T11，且视图标注为S0…S7。标注为“I”的正方形为经帧内预测的视图分量。标注为“P”的正方形为经单向帧间预测的视图分量。标注为“B”及“b”的正方形为经双向帧间预测的视图分量。标注为“b”的正方形可使用标注为“B”的正方形作为参考图片。自第一正方形指向第二正方形的箭头指示，第一正方形在帧间预测中作为第二正方形的参考图片可用。如通过图4中的垂直箭头所指示，相同存取单元的不同视图中的视图分量可作为参考图片可用。存取单元的一个视图分量用作同一存取单元的另一视图分量的参考图片可被称作视图间预测。
在H.264/AVC的MVC扩展中，视图间预测通过使用H.264/AVC运动补偿的语法的视差运动补偿来支持，但允许不同视图中的图片用作参考图片。两个视图的译码也可通过H.264/AVC的MVC扩展来支持。H.264/AVC的MVC扩展的优点中的一者为，MVC编码器可采用两个以上视图作为3D视频输入，且MVC解码器可解码此多视图表示。因此，具有MVC解码器的任何显现器可预期具有两个以上视图的3D视频内容。
在多视图译码中，视图间预测可在同一存取单元(即，在同一时刻情况下)的不同视图中的图片间执行，以移除视图间的相关。当译码非基本视图中的一者中的图片时，如果图片为在不同视图中但具有同一时刻，则可将图片添加到参考图片列表中。正如任何帧间预测参考图片一样，视图间预测参考图片可置放于参考图片列表的任何位置中。
在多视图视频译码的内容脉络中，存在两个种类的运动向量。一个种类的运动向量为指向时间参考图片的正常运动向量。对应于正常时间运动向量的所述类型的帧间预测可被称作“运动补偿的预测”或“MCP”。当视图间预测参考图片用于运动补偿时，对应运动向量被称作“视差运动向量”。换句话说，视差运动向量指向不同视图中的图片(即，视图间参考图片)。对应于视差运动向量的所述类型的帧间预测可被称作“视差补偿的预测”或“DCP”。
如上文所提及，HEVC的3DV扩展(即，3D-HEVC)为在开发中。3D-HEVC可使用视图间运动预测及视图间残余预测来改善译码效率。在视图间运动预测中，视频译码器可基于不同于当前PU的视图中的PU的运动信息来确定(即，预测)当前PU的运动信息。在视图间残余预测中，视频译码器可基于不同于当前CU的视图中的残余数据来确定当前CU的残余块。
为了启用视图间运动预测及视图间残余预测，视频译码器可确定块(例如，PU、CU等)的视差向量。一般来说，视差向量用作两个视图之间的位移的估计器。视频译码器可使用块的视差向量来定位另一视图中的参考块用于视图间运动或残余预测，或视频译码器可将视差向量转换到视差运动向量用于视图间运动预测。举例来说，当块通过视图间运动预测译码时，视差向量可需要经导出从而用于选择不同视图中的对应块。
此外，视图译码器可导出当前块的视差向量。在一些实例中，视频译码器可使用基于相邻块的视差向量(NBDV)的方法来导出当前块的视差向量。即，为了导出当前块的视差向量，称作NBDV的过程可用于3D-HEVC(即，3D-HTM)的测试模型中。3D-HEVC首先采用NBDV过程，所述NBDV过程提议于张(Zhang)等人的“3D-CE5.h:Disparity vector generationresults(视差向量产生结果)”(ITU-T SG 16WP 3与ISO/IEC JTC 1/SC29/WG 11的关于3D视频译码扩展开发的联合协作团队，2012年7月16日到20日瑞典斯德哥尔摩第1次会议)文件JCT3V-A0097中。
NBDV过程使用来自空间且时间相邻块的视差运动向量以导出当前块的视差向量。因为相邻块(例如，空间或时间相邻于当前块的块)在视频译码中很可能共享几乎相同的运动及视差信息，所以当前块可使用相邻块中的运动向量信息作为当前块的视差向量的预测子。因此，NBDV过程将相邻视差信息用于估计不同视图中的视差向量。
当视频译码器执行NBDV过程时，视频译码器可以固定的检查次序检查空间相邻且时间相邻PU的运动向量。即，首先界定若干空间及时间相邻块，所述块中的每一者接着以预定次序来检查，所述预定次序可通过当前块与候选者块(即，空间或时间相邻块)之间的相关的优先权来确定。因此，利用相邻块的两个集合。一个集合是来自空间相邻块，且另一集合是来自时间相邻块。
当视频译码器检查空间相邻或时间相邻PU的运动向量时，视频译码器可确定运动向量是否为视差运动向量。图片的PU的视差运动向量指向图片的视图间参考图片内的位置的运动向量。图片的视图间参考图片可为在与所述图片相同的存取单元中但在不同视图中的图片。一旦视差运动向量(即，运动向量指向视图间参考图片)在候选者中找到，视频译码器便可将视差运动向量转换到视差向量。举例来说，视频译码器可设定当前块的视差向量的水平分量等于视差运动向量的水平分量，且可设定视差向量的垂直分量为0。
在3D-HEVC的一些设计(例如，3D-HTM 6.0)中，当视频译码器执行NBDV过程时，视频译码器按次序检查时间相邻块中的视差运动向量、空间相邻块中的视差运动向量且接着隐含视差向量(IDV)。IDV可为使用视图间预测译码的空间或时间相邻PU的视差向量。IDV也可被称作导出的视差向量。当PU使用视图间运动向量预测时，即，当AMVP或合并模式的候选者借助于视差向量自其它视图中的参考块导出时，可产生IDV。此视差向量被称作IDV。IDV出于视差向量导出的目的可被存储到PU。举例来说，尽管块通过运动预测译码，但块的所导出的视差向量出于译码随后块的目的而不被舍弃。因此，当视频译码器识别视差运动向量或IDV时，视频译码器可传回所识别的视差运动向量或IDV。IDV以宋(Sung)等人的“3D-CE5.h:Simplification of disparity vector derivation for HEVC-based 3D videocoding,document JCTV3-A0126(基于HEVC的3D视频译码的视差向量导出的简化，文献JCTV3-A0126)”中NBDV的简化版本包含。在NBDV过程中使用IDV通过用随机存取点(RAP)图片选择移除存储于经解码图片缓冲器中的IDV且又改善的译码增益在康(Kang)等人的“3D-CE5.h related:improvements for disparity vector derivation(3D-CE5.h相关：视差向量导出的改善)”文件JCT3V-B0047中被进一步简化。视频译码器可将经传回的视差运动向量或IDV转换到视差向量，且可将视差向量用于视图间运动预测及视图间残余预测。随机存取指位流的自并非位流中的第一经译码图片的经译码图片开始的解码。随机存取图片或随机存取点以规则间隔至位流中的插入可启用随机存取。实例类型的随机存取图片包含瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片，及断链存取(BLA)图片。因此，IDR图片、CRA图片及BLA图片被统称为RAP图片。在一些实例中，RAP图片可具有等于BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP、RSV_IRAP_VCL22、RSV_IRAP_VCL23或CRA_NUT的NAL单元类型。
当视频译码器识别视差运动向量或IDV时，视频译码器可终止检查过程。因此，一旦视频译码器找到当前块的视差向量，视频译码器便可终止NBDV过程。当视频译码器未能通过执行NBDV过程确定当前块的视差向量时(即，当在NBDV过程期间未找到视差运动向量或IDV时)，NBDV被标识为不可用的。换句话说，可考虑NBDV过程传回不可用视差向量。
如果视频译码器未能通过执行NBDV过程导出当前块的视差向量(即，如果未找到视差向量)，则视频译码器可使用零视差向量作为当前PU的视差向量。零视差向量为具有等于0的水平分量及垂直分量两者的视差向量。因此，即使在NBDV过程传回不可用结果时，需要视差向量的视频译码器的其它译码过程可将零视差向量用于当前块。在一些实例中，如果视频译码器未能通过执行NBDV过程导出当前块的视差向量，则视差译码器可停用当前块的视图间残余预测。然而，无关于视频译码器是否能够通过执行NBDV过程导出当前块的视差向量，视差译码器可使用当前块的视图间运动预测。即，如果在检查所有预定相邻块之后未找到视差向量，则零视差向量可用于视图间运动预测，而视图间残余预测针对对应CU可经停用。
如上文所提及，作为确定当前CU的视差向量的过程的部分，视频译码器可检查空间相邻PU。在一些实例中，视频译码器检查以下空间相邻块：左下空间相邻块、左侧空间相邻块、右上空间相邻块、上方空间相邻块，及左上空间相邻块。举例来说，在NBDV过程的一些版本中，五个空间相邻块用于视差向量导出。如图2中所指示，五个空间相邻块可分别涵盖位置A0、A1、B0、B1及B2。视频译码器可以次序A1、B1、B0、A0及B2检查五个空间相邻块。相同的五个空间相邻块以合并模式可用于HEVC。因此，在一些实例中，不需要额外存储器存取。如果空间相邻块中的一者具有视差运动向量，则视频译码器可终止检查过程，且视频译码器可使用视差运动向量作为当前块的最终视差向量。
此外，如上文所提及，作为确定当前块的视差向量的过程的部分，视频译码器可检查空间相邻PU。为了检查时间相邻块(例如，PU)，可首先执行候选者图片列表的建构过程。在一些实例中，视频译码器可检查来自当前视图的至多两个参考图片用于视差运动向量。第一参考图片可为并置图片。因此，并置图片(即，并置参考图片)可首先插入到候选者图片列表中，以参考索引的升序继之以其它候选者图片。当两个参考图片列表中具有相同参考索引的参考图片可用时，作为并置图片的相同参考图片列表中的参考图片在候选者列表中先于并非相同参考图片列表中的作为并置图片的参考图片。
对于候选者图片列表中的每一候选者图片(即，随机存取图片及并置图片)，视频译码器可检查三个候选者区。三个候选者区可界定如下：
●CPU：当前PU或当前CU的并置区。
●CLCU：涵盖当前块的并置区的最大译码单元(LCU)。
●BR：CPU的右下4×4块。
如果涵盖候选者区的PU指定视差运动向量，则视频译码器可基于PU的视差运动向量来确定当前视频单元的视差向量。
当视频译码器检查相邻PU(即，空间或时间相邻PU)时，视频译码器可首先检查相邻PU是否具有视差运动向量。如果相邻PU皆不具有视差运动向量，则视频译码器可确定空间相邻PU中的任一者是否具有IDV。视频译码器可以次序A0、A1、B0、B1及B2检查空间相邻PU。如果空间相邻PU中的一者具有IDV，且IDV作为合并/跳过模式经译码，则视频译码器可终止检查过程，且可使用IDV作为当前PU的最终视差向量。
如上文所指示，视频译码器可应用NBDV过程以导出当前块(例如，CU、PU等)的视差向量。当前块的视差向量可指示参考视图中参考图片(即，参考分量)的位置。在一些3D-HEVC设计中，视频译码器经允许以存取参考视图的深度信息。在一些这些3D-HEVC设计中，当视频译码器使用NBDV过程来导出当前块的视差向量时，视频译码器可应用改进过程以进一步改进当前块的视差向量。视频译码器可基于参考图片的深度图来改进当前块的视差向量。视频译码器可使用类似改进过程来改进视差运动向量用于回溯视图合成预测中。以此方式，深度可用以改进视差向量或视差运动向量用于回溯视差合成预测。此改进过程本文中可被称作NBDV改进(“NBDV-R”)、NBDV改进过程或深度定向式NBDV(Do-NBDV)。
当NBDV过程传回可用视差向量时(例如，当NBDV过程传回变量时，所述变量指示NBDV过程未能基于相邻块的视差运动向量或IDV导出当前块的视差向量)，视频译码器可通过自参考视图的深度图检索深度数据来进一步改进视差向量。在一些实例中，改进过程包含以下两个步骤：
1.使用当前块的视差向量来定位参考视图的深度图中的块。换句话说，通过先前译码参考深度视图(例如，基本视图)中的所导出的视差向量来定位对应深度块。在此实例中，对应块的深度的大小可与当前块的大小相同。
2.自对应深度块的四个角落像素选择一个深度值，且将深度值转换到经改进视差向量的水平分量。在此实例中，视频译码器并不改变视差向量的垂直分量。
当NBDV过程并不传回可用视差向量时(例如，当NBDV过程传回变量时，所述变量指示NBDV过程未能基于相邻块的视差运动向量或IDV导出当前块的视差向量)，视频译码器并不执行NBDV改进过程，且视频译码器使用零视差向量作为当前块的视差向量。换句话说，当NBDV并不提供可用视差向量且因此NBDV的结果不可用时，以上NBDV-R过程被跳过且直接传回零视差向量。
在一些3D-HEVC设计中，视频译码器将当前块的经改进的视差向量用于视图间运动预测，而视频译码器将当前块的未经改进的视差向量用于视图间残余预测。举例来说，视频译码器可使用NBDV过程来导出当前块的未经改进视差向量。视频译码器可接着应用NBDV改进过程以导出当前块的经改进的视差向量。视频译码器可出于确定当前块的运动信息的目的来使用当前块的经改进的视差向量。此外，视频译码器可出于确定当前块的残余块的目的来使用当前块的未经改进的视差向量。在一些实例中，如果PU通过BVSP模式来译码，则视频译码器可存储经改进的视差向量作为一个PU的运动向量。
回溯视图合成预测(BVSP)方法提议于田(Tian)等人的“CE1.h:Backward ViewSynthesis Prediction Using Neighboring Blocks(使用相邻块的回溯视图合成预测),”文件JCT3V-C0152(下文“JCT3V-C0152”)中，且在第三JCT-3V会议中采用。视频译码器可执行BVSP以合成视图分量。因为可合成视图分量，所以对于位流来说包含视图分量的经译码表示可为不必要的。由于至少此原因，BVSP的使用可减少位流的大小。
BVSP概念上类似于3D-AVC中基于块的VSP。换句话说，回溯变形VSP的基本理念与3D-AVC中基于块的VSP相同。BVSP及3D-AVC中基于块的VSP两者使用回溯变形及基于块的VSP来避免发射运动向量差及使用更精准运动向量。然而，实施细节归因于不同平台而不同。
一般来说，当视频译码器执行BVSP以合成参考纹理图片时，视频译码器处理相依纹理图片中的块(例如，视频单元)。相依纹理图片及经合成的纹理图片为在同一存取单元中但在不同视图中。当视频译码器处理相依纹理图片的块(即，当前块)时，视频译码器可执行NBDV过程来识别当前块的视差向量。即，为了估计块的深度信息，视频译码器可首先自相邻块导出视差向量。
此外，当视频译码器执行BVSP来合成参考纹理图片时，视频译码器可使用当前块的视差向量来识别参考深度图片中的参考块。换句话说，视频译码器可接着使用导出的视差向量来自参考视图获得深度块。举例来说，通过NBDV过程识别的视差向量可表示为(dvx,dvy)，且当前块位置可表示为(blockx,blocky)。此外，在此实例中，视频译码器可在参考视图的深度图像中提取(blockx+dvx,blocky+dvy)处的深度块。在此实例中，所提取的深度块大小与当前PU的大小相同。相依纹理图片及参考深度图片为在同一存取单元中但在不同视图中。视频译码器可接着执行回溯变形过程以基于当前块的样本值及参考图片的所识别参考块的样本值来确定经合成图片的样本值。换句话说，视频译码器在此实例中可使用所提取的深度块来执行当前PU的回溯变形。
如上文所指示，当视频译码器执行BVSP时，视频译码器可执行NBDV过程来识别当前块的视差向量。此外，当视频译码器执行BVSP时，视频译码器可使用类似于本发明中在其它处描述的过程的改进过程来改进使用NBDV过程导出的视差运动向量。当视频译码器执行视差向量改进过程时，视频译码器可基于参考视图中深度图中的深度值来改进视差向量。换句话说，深度可用以改进视差向量或视差运动向量以用于BVSP。如果经改进的视差向量通过BVSP模式译码，则改进的视差向量可经存储作为一个PU的运动向量。
在3D-HEVC的一些版本中，应用纹理优先译码。在纹理优先译码中，视频译码器在译码对应深度视图分量(即，具有与纹理视图分量相同的POC值及视图识别符的深度视图分量)之前译码(例如，编码或解码)纹理视图分量。因此，非基本视图深度视图分量不可用于译码对应非基本视图纹理视图分量。换句话说，当视频译码器译码非基本纹理视图分量时，对应非基本深度视图分量为不可用的。因此，深度信息可经估计并用以执行BVSP。
图5为说明自参考视图的深度块导出以执行BVSP预测的概念图。在图5的实例中，视频译码器正对当前纹理图片60进行译码。当前纹理图片60标注为“相依纹理图片”，此是因为当前纹理图片60取决于合成的参考纹理图片62。换句话说，视频译码器可需要合成参考纹理图片62以便解码当前纹理图片60。参考纹理图片62及当前纹理图片60在同一存取单元中但在不同视图中。
为了合成参考图片纹理62，视频译码器可处理当前纹理图片60的块(即，视频单元)。在图5的实例中，视频译码器正在处理当前块64。当视频译码器处理当前块64时，视频译码器可执行NBDV过程以导出当前块64的视差向量。举例来说，在图5的实例中，视频译码器识别相邻于当前块64的块68的视差向量66。视差向量66的识别展示为图5的步骤1。此外，在图5的实例中，视频译码器基于视差向量66确定当前块64的视差向量68。举例来说，视差向量68可为视差向量66的复本。复制视差向量66展示为图5的步骤2。
视频译码器可基于当前块64的视差向量68来识别参考深度图片72中的参考块70。参考深度图片72、当前纹理图片60及参考纹理图片62可各自在同一存取单元中。参考深度图片72及参考纹理图片62可在同一视图中。视频译码器可基于当前块64的纹理样本值及参考块70的深度样本值来确定参考纹理图片62的纹理样本值。确定纹理样本值的过程可被称作回溯变形。3D-HEVC测试模型3的章节H.8.5.2.2.7描述回溯变形的过程。回溯变形展示为图5的步骤3。以此方式，图5说明来自参考视图的深度块经定位且接着用于BVSP预测的方式的三个步骤。
在一些实例中，BVSP针对一些CVS经启用，但不针对其它CVS启用。在BVSP经启用的CVS中，视频译码器可执行不同于针对视图间运动预测的NBDV过程的NBDV过程。即，如果BVSP经在CVS中启用，则可改变用于视图间运动预测的NBDV过程。当视频译码器关于BVSP经启用的CVS中的当前块执行NBDV过程时，视频译码器可确定时间相邻块是否具有视差运动向量。如果时间相邻块具有视差运动向量，则视频译码器可基于时间相邻块的视差运动向量来确定当前块的视差向量。视频译码器可接着改进视差向量。换句话说，对于时间相邻块中的每一者，如果其使用视差运动向量，则视差运动向量经作为视差向量传回，且其进一步通过本发明中于其它处描述的方法来改进。
此外，在视频译码器关于当前块执行NBDV过程时，视频译码器可评估空间相邻块。对于空间相邻块中的每一者，应用以下情形。按次序针对RefPicList0及RefPicList1，如果空间相邻块使用视差运动向量，则视频译码器将视差运动向量作为当前块的视差向量传回，且视频译码器可如本发明中于其它处所描述进一步改进视差向量。否则，如果空间相邻块使用BVSP模式，则视频译码器将关联运动向量作为当前块的视差向量传回，且可以类似于本发明中于其它处所描述的方式改进视差向量。然而，如果空间相邻块使用BVSP模式，则视频译码器可自对应深度块的所有像素而非四个角落像素选择最大像素值，且视频译码器可将经改进的视差向量的垂直分量设定为0。如果空间相邻块使用IDV，则视频译码器可将IDV作为视差向量传回，且视频译码器可进一步通过本发明中于其它处所描述的方法来改进视差向量。如果视差运动向量皆不可用，则视频译码器并不应用改进过程，且视频译码器可将视差向量作为零向量导出。
在视频译码器确定当前块的视差向量且改进当前块的视差向量之后，视频译码器可导出当前块的视差运动向量。对于当前块内的每一子区域(4×4块)(即，以BVSP模式译码的一个PU)，视频译码器可基于经改进的视差向量来定位参考深度视图中的对应4×4深度块。第二，视频译码器可选择对应深度块中的十六个深度像素的最大值。第三，视频译码器可将最大值转换到视差运动向量的水平分量。视频译码器可将视差运动向量的垂直分量设定为0。
视频译码器不大可能能够使用NBDV来导出用于某些类型的块(例如，PU、CU等)的视差向量。举例来说，不可用视差向量有可能针对沿着切片、瓦片或图片边界的块自NBDV出现。在另一实例中，如果相邻块皆通过帧内预测译码，则不可用视差向量有可能自NBDV出现。
一般来说，瓦片是以一列及一行同时出现的整数数目个译码树块，所述块在瓦片的译码树块光栅扫描中经连续地排序。行可为整数数目个译码树块。列通过自图片的顶部边界延伸到底部边界的垂直边界自另一列进行描绘，且在图片中从左到右连续排序。列通过自图片的左侧边界延伸到右侧边界的水平边界自另一列进行描绘，且在图片中从顶部到底部连续排序。列可为整数数目个译码树块。
3D-HEVC中的当前视差向量导出方法具有若干问题。举例来说，当NBDV过程提供不可用视差向量时，视频译码器可跳过NBDV-R过程以改进视差向量。此可导致译码性能下降。
本发明的技术可具有优于先前视频译码技术的数个优点。举例来说，本发明的技术可在视差向量导出方法(例如，3D-HEVC中的NBDV)不可产生可用视差向量时通过存取参考视图的深度视图分量来提供经更好改进的视差向量。
在一些实例中，一种视频译码器可执行多视图视频数据的当前块的视差向量导出过程。当视频译码器执行视差向量导出过程时，视频译码器可能或可能不能成功地导出当前块的视差向量。举例来说，当相邻块皆不具有视差运动向量或IDV时，视频译码器可能不能通过执行视差向量导出过程来成功地导出当前块的视差向量。因此，当视频译码器执行视差向量导出过程时，视频译码器可产生当前块的视差向量及可用值(例如，可用DV)。可用性值指示，视频译码器是否能够通过执行视差向量导出过程导出当前块的视差向量。
在本发明中，如果可用性值指示视频译码器能够通过执行视差向量导出过程导出当前块的视差向量，则当前块的视差向量为“可用的”。同样，如果可用性值指示视频译码器未能通过执行视差向量导出过程导出当前块的视差向量，则当前块的视差向量为“不可用的”。因此，可用性值指示，在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用。此外，在本发明中，视差向量导出过程据称为取决于视频译码器是否能够通过执行视差向量导出过程导出当前块的视差向量而传回可用或不可用的视差向量。
根据本发明的一或多项技术，当可用性值指示视差向量导出过程尚未导出当前块的视差向量时，视频译码器可仍然执行视差向量改进过程以产生当前块的经改进的视差向量。因此，视差向量改进过程不限于视差向量导出过程产生可用视差向量的状况。因此，即使视差向量导出过程并不产生可用视差向量，本发明的技术可仍允许关于默认视差向量(例如，具有等于零的水平及垂直分量的默认视差向量)的视差向量改进。
举例来说，视频解码器30可执行多视图视频数据的当前块的视差向量导出过程(例如，NBDV过程)。当前块可在当前视图中。此外，可用性值可指示，在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用。在此实例中，当可用性值指示视差向量导出过程尚未导出当前块的视差向量时，视频解码器30可通过执行存取参考视图的深度视图分量的视差向量改进过程(例如，NBDV-R过程)来产生当前块的经改进的视差向量。视频解码器30可基于所述当前块的经改进的视差向量解码当前块。举例来说，视频解码器30可使用经改进的视差向量来执行当前块的视图间运动预测、视图间残余预测及/或回溯变形视图合成预测。
类似地，视频编码器20可执行多视图视频数据的当前块的视差向量导出过程(例如，NBDV过程)。当前块可在当前视图中。此外，可用性值可指示，在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用。在此实例中，当可用性值指示视差向量导出过程尚未导出当前块的视差向量时，视频编码器20可通过执行存取参考视图的深度视图分量的视差向量改进过程(例如，NBDV-R过程)来产生当前块的经改进的视差向量。视频编码器20可基于所述当前块的经改进的视差向量编码当前块。举例来说，视频编码器20可使用经改进的视差向量来执行当前块的视图间运动预测、视图间残余预测及/或回溯变形视图合成预测。
在一些实例中，当NBDV过程在检查相邻块中的视差运动向量及IDV之后传回不可用结果时(即，在可用性值指示当前块的视差向量不可用时)，替代直接使用零视差向量并跳过NBDV-R的改进过程，视频译码器可在NBDV-R过程中使用零视差运动向量。因此，NBDV-R中的改进过程可用以通过存取深度视图分量来改进视差向量。
替代地，在一些实施中，当NBDV过程传回不可用视差向量时(即，在可用性值指示当前块的视差向量不可用时)，视频译码器可设定当前块的可用性为可用的，且可设定当前块的视差向量为零。换句话说，视频译码器可修改可用性值以指示，当前块的视差向量为可用的。视频译码器可接着将视差向量改进过程应用到当前块的视差向量。
如上文所指示，NBDV过程可传回可用性值(例如，availableDV)。在一个实例中，等于0的availableDV可指示，NBDV过程传回不可用视差向量。换句话说，等于0的availableDV可指示，NBDV过程未能导出当前块的视差向量。等于1的availableDV可指示，NBDV过程传回可用视差向量。换句话说，等于1的availableDV可指示，NBDV过程能够导出当前块的视差向量。此外，在此实例中，mvDisp表示当前块的视差向量，mvDisp[0]表示当前块的视差向量的水平分量，且mvDisp[1]表示当前块的视差向量的垂直分量。因此，在此实例中，当availableDV等于0时，视频译码器可设定mvDisp[0]为0，设定mvDisp[1]为0，且设定availableDV为1。视频译码器可接着将视差向量改进过程应用到mvDisp。
以此方式，可用性值(例如，availableDV)可指示视差向量导出过程(例如，NBDV过程)是否能够导出当前块的视差向量。在此实例中，当可用性值指示视差向量导出过程未能导出当前块的视差向量时，视频译码器可设定可用性值以指示当前块的视差向量可用，且可设定当前块的视差向量为零视差向量。
此外，于在NBDV过程传回不可用视差向量时视频译码器设定可用性值以指示当前块的视差向量为可用的且设定当前块的视差向量等于零的一些实例中，视频译码器可维持变量(例如，availableDVRes)以识别NBDV过程原先传回可用视差向量。视频译码器在某些条件下可将变量用于其它译码工具。举例来说，等于0的此变量可导致视频译码器停用当前块的视图间残余预测。因此，在此实例中，视频译码器可维持变量以指示视差向量导出过程原先是否导出当前块的视差向量。视频译码器可通过一或多个译码工具提供所述变量以供使用。此外，视频译码器可基于变量的所述值启用译码工具中的一或多者。
于在NBDV过程传回不可用视差向量时视频译码器设定当前块的视差向量的可用性值为可用的且设定当前块的视差向量等于零的一些实例中，视频译码器可将偏移添加到当前块的视差向量(即，零视差向量)。在此实例中，视频译码器不将视差向量改进过程应用到当前块的视差向量。换句话说，在此实例中，不存在使用深度信息的改进过程。因此，在此实例中，当视差向量导出过程传回不可用视差向量时，视频译码器可将偏移添加到零视差向量以产生经修改的视差向量。
在先前段落的实例中，视频译码器可以各种方式来设定偏移。举例来说，视频译码器可将偏移仅添加到当前块的视差向量的水平分量。此外，在一些实例中，视频译码器(或另一装置)可通过摄像机参数及默认深度像素值(例如，128)来计算偏移。因此，在此实例中，视频译码器可基于摄像机参数及默认深度像素值中的一或多者来确定偏移。在一些实例中，视频编码器20在含有当前块的切片的切片标头中发信偏移。因此，在这些实例中，视频译码器可基于在经译码视频位流中接收到的发信值而确定偏移。在这些实例中，值可在切片标头中予以发信。
根据本发明的一些技术，可组合本发明中提供的实例中的一或多者。
图6为说明可实施本发明的技术的实例视频编码器20的框图。图6为了解释的目的而提供，且不应视为限制如在本发明中广泛例证且描述的技术。为了解释，本发明在HEVC译码的内容脉络中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图6的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122及运动补偿单元124。在其它实例中，视频编码器20可包含较多、较少或不同功能组件。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与大小经相等设定的亮度译码树块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四分树分割以将CTU的CTB划分成渐进较小的块。较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小经相等设定的子块，将子块中的一或多者分割成四个大小经相等设定的子块的子块，等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可在CU的一或多个PU当间分割与CU相关联的译码块。因此，每一PU可与亮度预测块及对应色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，则视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20及视频解码器30也可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及PU的运动信息。帧间预测处理单元120可视PU为在I切片、P切片抑或B切片中而对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU为在I切片中，则帧间预测处理单元120并不对PU执行帧间预测。
如果PU为在P切片中，则运动估计单元122可为了PU的参考区而搜索参考图片的列表(例如，“RefPicList0”)中的参考图片。PU的参考区可为参考图片内的一区，所述区含有最紧密地对应于PU的预测块的样本。运动估计单元122可产生参考索引，所述参考索引指示含有用于PU的参考区的参考图片在RefPicList0中的位置。此外，运动估计单元122可产生运动向量，所述运动向量指示PU的预测块与是与参考区相关联的参考位置之间的空间位移。举例来说，运动向量可为二维向量，其提供自当前图片中的坐标到参考图片中的坐标的偏移。运动估计单元122可输出参考索引及运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动向量指示的参考位置处的实际或内插样本来产生PU的预测性块。
如果PU为在B切片中，则运动估计单元122可执行PU的单向预测或双向预测。为了执行PU的单向预测，运动估计单元122可为了PU的参考区而搜索RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片。运动估计单元122可输出以下各者作为PU的运动信息：参考索引，其指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置；运动向量，其指示PU的预测块与是与参考区相关联的参考位置之间的空间位移；及一或多个预测方向指示符，其指示参考图片为在RefPicList0抑或RefPicList1中。运动补偿单元124可至少部分基于由PU的运动向量指示的参考位置处的实际或内插样本来产生PU的预测性块。
为了执行PU的双向帧间预测，运动估计单元122可为了PU的参考区而搜索RefPicList0中的参考图片，且也可为了PU的另一参考区而搜索RefPicList1中的参考图片。运动估计单元122可产生参考索引，所述参考索引指示参考图片的RefPicList0及RefPicList1中含有参考区的位置。此外，运动估计单元122可产生运动向量，其指示与参考区相关联的参考位置与PU的预测块之间的空间位移。PU的运动信息可包含PU的参考索引及运动向量。运动补偿单元124可至少部分基于由PU的运动向量指示的参考位置处的实际或内插样本来产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生PU的预测性块的多个集合。当使用特定帧内预测模式执行帧内预测时，帧内预测处理单元126可使用来自相邻块的样本的特定集合来产生PU的预测性块。假定针对PU、CU及CTU的左至右、顶部至底部的编码次序，相邻块可在PU的预测块的上方、右上方、左上方或左侧。帧内预测处理单元126可使用各种数目个帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的预测块的大小。
在一些实例中，帧内预测处理单元120可导出当前块(例如，CU、PU等)的视差向量。视差向量可支持视图间运动预测、视图间残余预测、回溯变形视图合成预测等等。根据本发明的一或多项技术，帧间预测处理单元120可执行多视图视频数据的当前块的视差向量导出过程。可用性值指示，在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用。当可用性值指示视差向量导出过程尚未导出当前块的视差向量时，帧间预测处理单元120可通过执行存取参考视图的深度视图分量的视差向量改进过程来产生当前块的经改进的视差向量。
预测处理单元100可自PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据选择针对CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度来选择针对CU的PU的预测性数据。所选择的预测性数据的预测性块本文中可被称作所选择预测性块。
残余产生单元102可基于CU的亮度、Cb及Cr译码块以及CU的PU的所选择的预测性亮度、Cb及Cr块而产生CU的亮度、Cb及Cr残余块。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本具有一值，所述值等于CU的译码块中的样本与CU的PU的对应所选择预测性块中的对应样本之间的差。
变换处理单元104可执行四分树分割以将CU的残余块分割成与CU的TU相关联的变换块。因此，TU可与亮度变换块及两个对应色度变换块相关联。CU的TU的亮度及色度变换块的大小及位置可能或可能并非基于CU的PU的预测块的大小及位置。
变换处理单元104可通过将一或多个变换应用到TU的变换块而产生针对CU的每一TU的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用到变换块。在一些实例中，变换处理单元104并不将变换应用到变换块。在这些实例中，变换块可作为变换系数块进行处置。
量化单元106可使系数块中的变换系数量化。所述量化过程可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数在量化期间可经降值舍位至m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值而调整应用到与CU相关联的系数块的量化程度。量化可引入信息的损失，因此经量化的变换系数相较于原始变换系数可具有较低精度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用到系数块以自系数块重建残余块。重建单元112可将经重建的残余块添加到由预测处理单元100产生的来自一或多个预测性块的对应样本以产生与TU相关联的经重建变换块。重建单元112也可被称作求和器。通过以此方式重建针对CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的方块效应伪影。经解码图片缓冲器116在滤波器单元114对经重建的译码块执行一或多个解块操作之后可存储经重建的译码块。帧间预测处理单元120可使用含有经重建的译码块的参考图片以执行其它图片的PU的帧间预测。此外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建译码块以对与CU相同的图片中的其它PU执行帧内预测。经解码图片缓冲器116也可被称作参考图片存储器。因此，经解码图片缓冲器116可包括存储例如多视图视频数据的视频数据的存储器。
熵编码单元118可自视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可自量化单元106接收系数块，且可自预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元118可对数据执行内容自适应性可变长度译码(CAVLC)操作、CABAC操作、变量至变量(V2V)长度译码操作、基于语法的内容自适应性二进位算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的熵编码数据的位流。
图7为说明经配置以实施本发明的技术的实例视频解码器30的框图。图7为了解释的目的而提供，且不限制如在本发明中广泛例证且描述的技术。为了解释，本发明在HEVC译码的内容脉络中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图7的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重建单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同功能组件。
经译码图片缓冲器(CPB)151可接收并存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可自CPB 151接收NAL单元且剖析NAL单元以自位流获得语法元素。熵解码单元150可熵解码NAL单元中的经熵编码的语法元素。预测处理单元152、反量化单元154、反变换处理单元156、重建单元158及滤波器单元160可基于提取自位流的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可自经译码切片NAL单元提取语法元素并熵解码所述语法元素。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。
除获得来自位流的语法元素外，视频解码器30可对CU执行解码操作。通过对CU执行解码操作，视频解码器30可重建CU的译码块。
作为对CU执行解码操作的部分，反量化单元154可反量化(即，解量化)与CU的TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值来确定量化程度，且同样应用的反量化单元154的反量化程度。即，压缩比(即，用以表示初始序列的位数目与经压缩序列的位数目的比率)可通过调整在量化变换系数时使用的QP的值来控制。压缩比也可取决于所使用的熵译码的方法。
在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用到系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维变换(Karhunen-Loeve transform，KLT)、反旋转变换、反方向变换或另一反变换应用到系数块。
如果PU使用帧内预测来编码，则帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间相邻PU的预测块产生PU的预测性亮度、Cb及Cr块。帧内预测处理单元166可基于自位流解码的一或多个语法元素而确定PU的帧内预测模式。
预测处理单元152可基于提取自位流的语法元素而建构第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果PU使用帧间预测来编码，则熵解码单元150可获得PU的运动信息。运动补偿单元164可基于PU的运动信息确定PU的一或多个参考区。运动补偿单元164可基于PU的一或多个参考块处的样本产生PU的预测性亮度、Cb及Cr块。
在一些实例中，预测处理单元152可导出当前块的视差向量(例如，CU、PU等)。视差向量可支持视图间运动预测、视图间残余预测、回溯变形视图合成预测等等。根据本发明的一或多项技术，预测处理单元152可执行多视图视频数据的当前块的视差向量导出过程。可用性值指示，在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用。当可用性值指示视差向量导出过程尚未导出当前块的视差向量时，预测处理单元152可通过执行存取参考视图的深度视图分量的视差向量改进过程来产生当前块的经改进的视差向量。
重建单元158可使用来自与CU的TU相关联的亮度、Cb及Cr变换块的残余值以及CU的PU的预测性亮度、Cb及Cr块(即，帧内预测数据或帧间预测数据)(在适用时)来重建CU的亮度、Cb及Cr译码块。举例来说，重建单元158可将亮度、Cb及Cr变换块的样本添加到预测性亮度、Cb及Cr块的对应样本以重建CU的亮度、Cb及Cr译码块。重建单元158也可被称作求和器。
滤波器单元160可执行解块操作以减少与CU的亮度、Cb及Cr译码块相关联的块效应伪影。视频解码器30可将CU的亮度、Cb及Cr译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162也可被称作参考图片存储器。因此，经解码图片缓冲器162可包括存储例如多视图视频数据的视频数据的存储器。经解码图片缓冲器162可提供参考图片以用于随后运动补偿、帧内预测及显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的亮度、Cb及Cr块执行其它CU的PU的帧内预测或帧间预测操作。以此方式，视频解码器30可自位流提取显著亮度系数块的变换系数层级，反量化变换系数层级，将变换应用到变换系数层级以产生变换块，至少部分基于变换块产生译码块，且输出译码块以供显示。
如上文所描述，视频译码器(例如，视频编码器20或视频解码器30)可使用NBDV过程来确定视差向量。此外，视频译码器可对视差向量执行改进过程。根据本发明的一些技术，当NDBV过程确定视差向量不可用时，视频译码器可对零视差向量执行改进过程。零视差向量的水平及垂直分量等于零。根据这些技术，修改3D HEVC测试模型描述草案3的子条款H.8.5.4如下。在以下文字中，对所添加标的物加下划线。
视差向量的H.8.5.4导出过程
当availableDV等于1且deriveFromDepthFlag等于1时，应用以下经排序的步骤：
1.如子条款H.8.5.4.3中指定的视差样本阵列的导出过程通过亮度位置xP、yP，视差向量mvDisp，视图识别符refViewIdx，变量nPSW、nPSH，等于nPSW的变量nSubBlkW，等于nPSH的变量nSubBlkH及等于1的旗标restMaxSearchFlag作为输入来调用；且输出为具有大小(nPSWDs)×(nPSHDs)的阵列disparitySamples。
视差向量mvDisp[0]的水平分量设定为等于disparitySamples[0][0]。
否则，当availableDV等于0且deriveFromDepthFlag等于1时，应用以下经排序的 步骤：
1.如子条款H.8.5.4.3中指定的视差样本阵列的导出过程通过亮度位置xP、yP，设 定为等于0的视差向量mvDisp，视图识别符refViewIdx，变量nPSW、nPSH，等于nPSW的变量 nSubBlkW，等于nPSH的变量nSubBlkH及等于1的旗标restMaxSearchFlag作为输入来调用； 且输出为具有大小(nPSWDs)×(nPSHDs)的阵列disparitySamples。
2.视差向量mvDisp[0]的水平分量设定为等于disparitySamples[0][0]。
如上文所指示，当在子条款H.8.5.4“Derivation process for a disparityvector(视差向量的导出过程)”中未找到可用视差运动向量时，子条款H.8.5.4.3“Derivation process for a disparity sample array(视差样本阵列的导出过程)”经调用以使用关联深度信息改进零视差向量。3D HEVC测试模型描述草案3的子条款H.8.5.4.3再现如下。
视差样本的H.8.5.4.3导出过程
至此过程的输入为：
-当前预测单元的左上亮度样本相对于当前图片的左上亮度样本的亮度位置(xP,yP)，
-视差向量mvDisp，
-指定参考视图的视图识别符refViewIdx，
-分别指定当前预测单元的宽度及高度的变量nPSW及nPSH。
-指定对应深度样本的转换精度的变量nSubBlkW及nSubBlkW，
-指定对最大视差的搜索是否受到约束的旗标restMaxSearchFlag。
此过程的输出为：
-视差值的(nPSW)×(nPSH)阵列disparitySamples。
使refDepPels为深度视图分量的经重建深度样本的阵列，其中ViewIdx等于refViewIdx。refDepPels的左上亮度样本的亮度位置(xTL,yTL)通过下式导出
xTL＝Clip3(0,pic_width_in_luma_samples-nPSW-1,xP+(mvDisp[0]>>2))
(H-291)
yTL＝Clip3(0,pic_height_in_luma_samples-nPSH-1,yP+(mvDisp[1]>>2))
(H-292)
具有大小(nPSW)×(nPSH)的阵列disparitySamples如以下内容中所指定而导出：
-对于在0至((nPSH/nSubBlkH)-1)(包含)范围内的sBy，应用以下内容：
-对于在0至((nPSW/nSubBlkW)-1)(包含)范围内的sBx，应用以下内容：
-变量maxDep设定为等于-1，且如以下内容中所指定经修改。
-如果restMaxSearchFlag等于0，则应用以下内容：
对于(yOff＝0；yOff<nSubBlkH；yOff++)
对于(xOff＝0；xOff<nSubBlkW；xOff++){
x＝xTL+sBx*nSubBlkW+xOff
y＝yTL+sBy*nSubBlkH+yOff
maxDep＝Max(maxDep,refDepPels[x][y])
}
-否则(restMaxSearchFlag等于1)，应用以下内容：
x＝xTL+sBx*nSubBlkW
y＝yTL+sBy*nSubBlkH
maxDep＝Max(maxDep,refDepPels[x][y])
maxDep＝Max(maxDep,refDepPels[x][y+nSubBlkH-1])
maxDep＝Max(maxDep,refDepPels[x+nSubBlkW-1][y])
maxDep＝Max(maxDep,refDepPels[x+nSubBlkW-1][y+nSubBlkH-1])
maxDep＝Max(maxDep,refDepPels[x+nSubBlkW/2][y+nSubBlkH/2])
-阵列depthSamples的值如以下内容中所指定而导出：
在本发明的其它技术中，视频译码器可总是将NBDV结果的可用性值设定为1，即使在NBDV过程并未在任何相邻块中找到可用视差运动向量或IDV时。根据一些这些技术，3DHEVC测试模型描述草案3的子条款H.8.5.4可经修改如下。在以下文字中，对所添加标的物加下划线。下文并未展示的3D HEVC测试模型描述草案3的子条款H.8.5.4的数个部分可与3D HEVC测试模型描述草案3中的数个部分相同。
视差向量的H.8.5.4导出过程
当availableDV等于0，mvDisp[0]设定为0，mvDisp[1]设定为0，且availableDV设 定为1时。
当availableDV等于1且deriveFromDepthFlag等于1时，应用以下经排序的步骤：
1.如子条款H.8.5.4.3中指定的视差样本阵列的导出过程通过亮度位置xP、yP，视差向量mvDisp，视图识别符refViewIdx，变量nPSW、nPSH，等于nPSW的变量nSubBlkW，等于nPSH的变量nSubBlkH及等于1的旗标restMaxSearchFlag作为输入来调用；且输出为具有大小(nPSWDs)×(nPSHDs)的阵列disparitySamples。
视差向量mvDisp[0]的水平分量设定为等于disparitySamples[0][0]。
在替代性实例中，变量availableDVRes可经引入以停用将不可用NBDV结果用于视图间残余预测。在此实例中，变量availableDVRes可进一步用以控制是否执行视图间残余预测。在此实例中，替代传回availableDV作为3D HEVC测试模型描述草案3的子条款H.8.5.4的输出，availableDVRes被输出且进一步用于视图间残余预测。根据此实例，3DHEVC测试模型描述草案3的子条款H.8.5.4及H.8.5.2.2.6可经修改如下。在以下文字中，所添加标的物经加下划线，且经删除标的物经斜体书写且封入双方括号中。下文并未展示的3D HEVC测试模型描述草案3的H.8.5.4及H.8.5.2.2.6的数个部分可与3D HEVC测试模型描述草案3中的数个部分相同。
视差向量的H.8.5.4导出过程
当availableDV等于0，mvDisp[0]设定为0，mvDisp[1]设定为0时。
availableDVRes设定为availableDV。
当[[availableDV等于1且]]deriveFromDepthFlag等于1时，应用以下经排序的步骤：
2.如子条款H.8.5.4.3中指定的视差样本阵列的导出过程通过亮度位置xP、yP，视差向量mvDisp，视图识别符refViewIdx，变量nPSW、nPSH，等于nPSW的变量nSubBlkW，等于nPSH的变量nSubBlkH及等于1的旗标restMaxSearchFlag作为输入来调用；且输出为具有大小(nPSWDs)×(nPSHDs)的阵列disparitySamples。
视差向量mvDisp[0]的水平分量设定为等于disparitySamples[0][0]。
H.8.5.2.2.6视图间残余预测过程
过程仅在res_pred_flag等于1情况下被调用。
到此过程的输入为：
-指定当前亮度译码块的左上样本相对于当前图片的左上亮度样本的亮度位置(xC,yC)，
-当前预测单元的左上亮度样本相对于当前图片的左上亮度样本的亮度位置(xP,yP)，
-指定当前亮度译码块的大小的变量nCS，
-分别指定当前预测单元的宽度及高度的变量nPSW及nPSH，预测列表利用旗标predFlagL0及predFlagL1，
-亮度预测样本的(nPSW)×(nPSH)阵列predSamplesL。
-色度预测样本的两个(nPSW/2)×(nPSH/2)阵列predSamplesCb及predSamplesCr。
此过程的输出为：
-(nPSW)×(nPSH)阵列predSamplesL的经修改版本，
-(nPSW/2)×(nPSH/2)阵列predSamplesCb及predSamplesCr的经修改版本。
如子条款H.8.5.4中指定的视差向量的导出过程通过亮度位置(xC,yC)及(xP,yP)、译码块大小nCS、变量nPSW及nPSH、分割索引partIdx及等于0的变量deriveFromDepthFlag作为输入来调用，且输出为视图次序索引refViewIdx、旗标[[availableDV]]availableDVRes及视差向量mvDisp。
使refResSamplesL为亮度残余样本ResSamplesL的(PicWidthInSamplesL)×(PicHeightInSamplesL)阵列：具有等于refViewIdx的ViewIdx的视图分量的。使refResSamplesCb及refResSamplesCr分别为具有等于refViewIdx的ViewIdx的视图分量的经帧间译码的译码单元的Cb残余样本ResSamplesCb及Cr残余样本ResSamplesCr的(PicWidthInSamplesL/2)×(PicHeightInSamplesL/2)阵列。
当旗标[[availableDV]]availableDVRes等于0时，此子条款的整个解码过程终止。
对于先于值0..(nPSH-1)的y及先于值0..(nPSW-1)的x，应用以下经排序步骤。
…
图8为根据本发明的一或多项技术的说明视频解码器30解码多视图视频数据的实例操作200的流程图。多视图视频数据可为3D-HEVC视频数据。在图8的实例中，视频解码器30可执行多视图视频数据的当前块的视差向量导出过程(202)。所述当前块为在当前视图中。视频解码器30可设定可用性值，使得在视差向量导出过程未能导出当前块的视差向量时，可用性值指示当前块的视差向量不可用(204)。举例来说，可用性值可指示，当视差向量导出过程能够自视差运动向量或相邻所述当前块的块的隐含视差向量导出当前块的视差向量时，当前块的视差向量为可用的。在一些实例中，作为执行视差向量导出过程的部分，视频解码器30可设定可用性值。
无关于可用性值是否指示当前块的视差向量为可用的(例如，在可用性值指示视差向量导出过程尚未导出当前块的视差向量时，或当可用性值指示视差向量导出过程已导出当前块的视差向量时)，视频解码器30可通过执行存取参考视图的深度视图分量的视差向量改进过程来产生当前块的经改进的视差向量(206)。在一些实例中，视频编码器20可通过将视差向量改进过程应用到零视差向量来产生当前块的经改进的视差向量。
在图8的实例中，视频解码器30基于当前块的经改进的视差向量来解码当前块(208)。作为基于所述当前块的经改进的视差向量解码当前块的部分，视频解码器30可将经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。通过使用视图间运动预测，视图间残余预测及/或回溯视图合成预测，视频解码器30可能能够重建对应于当前块的样本块。
图9为根据本发明的一或多项技术的说明视频编码器20编码多视图视频数据的实例操作250的流程图。多视图视频数据可为3D-HEVC视频数据。在图9的实例中，视频编码器20可执行多视图视频数据的当前块的视差向量导出过程(252)。当前块为在当前视图中。视频编码器20可设定可用性值，使得可用性值指示在视差向量导出过程未能导出当前块的视差向量时，当前块的视差向量不可用(254)。举例来说，可用性值可指示，当视差向量导出过程能够自视差运动向量或相邻所述当前块的块的隐含视差向量导出当前块的视差向量时，当前块的视差向量为可用的。在一些实例中，作为执行视差向量导出过程的部分，视频编码器20可设定可用性值。
无关于可用性值是否指示当前块的视差向量为可用的(例如，在可用性值指示视差向量导出过程尚未导出当前块的视差向量时，或当可用性值指示视差向量导出过程已导出当前块的视差向量时)，视频编码器20可通过执行存取参考视图的深度视图分量的视差向量改进过程来产生当前块的经改进的视差向量(256)。在一些实例中，视频编码器20可通过将视差向量改进过程应用到零视差向量来产生当前块的经改进的视差向量。参考视图不同于当前视图。
在图9的实例中，视频编码器20基于当前块的经改进的视差向量来编码当前块(258)。换句话说，视频编码器20可使用当前块的经改进的视差向量来产生当前块的经编码表示。作为基于所述当前块的经改进的视差向量编码当前块的部分，视频编码器20可将经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
图10为根据本发明的一或多项额外技术的说明视频解码器30解码多视图视频数据的实例操作300的流程图。在图10的实例中，视频解码器30可执行视差向量导出过程以导出当前块的视差向量(302)。举例来说，视频解码器30可执行NBDV过程以导出当前块的视差向量。随后，视频解码器30可确定视差向量导出过程是否导出当前块的可用视差向量(304)。
回应于确定视差向量导出过程未导出当前块的可用视差向量(304的“否”)，视频解码器30可确定当前块的视差向量为使得当前块的视差向量等于偏移与零视差向量的和(306)。在一些实例中，视频解码器30可将偏移仅添加到当前块的视差向量的水平分量。此外，在一些实例中，视频解码器30可通过摄像机参数及默认深度像素值(例如，128)计算偏移。在一些实例中，视频编码器20在含有当前块的切片的切片标头中发信偏移。
于在(306)中确定当前块的视差向量之后或回应于视差向量导出过程导出当前块的可用向量(304的“是”)，视频解码器30可基于当前块的视差向量解码当前块(308)。作为基于所述当前块的经改进的视差向量解码当前块的部分，视频解码器30可将经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。通过使用视图间运动预测，视图间残余预测及/或回溯视图合成预测，视频解码器30可能能够重建对应于当前块的样本块。
图11为根据本发明的一或多项额外技术的说明视频编码器20编码多视图视频数据的实例操作350的流程图。在图11的实例中，视频编码器20可执行视差向量导出过程以导出当前块的视差向量(352)。举例来说，视频编码器20可执行NBDV过程以导出当前块的视差向量。随后，视频编码器20可确定视差向量导出过程是否导出当前块的可用视差向量(354)。
回应于确定视差向量导出过程未导出当前块的可用视差向量(354的“否”)，视频编码器20可确定当前块的视差向量为使得当前块的视差向量等于偏移与零视差向量的和(356)。在一些实例中，视频编码器20可将偏移仅添加到当前块的视差向量的水平分量。此外，在一些实例中，视频编码器20可通过摄像机参数及默认深度像素值(例如，128)计算偏移。在一些实例中，视频编码器20在含有当前块的切片的切片标头中发信偏移。
于在(356)中确定当前块的视差向量之后或回应于视差向量导出过程导出当前块的可用向量(354的“是”)，视频编码器20可基于当前块的视差向量解码当前块(358)。
以下内容是根据本发明的技术的额外实例。
实例1。一种用于解码多视图视频数据的方法，所述方法包括：执行多视图视频数据的当前块的视差向量导出过程；及在视差向量导出过程并未产生可用视差向量时，执行视差向量改进过程以产生当前块的经改进的视差向量。
实例2。实例1的方法，其中执行视差向量改进过程包括使用零视差向量执行视差向量改进过程。
实例3。实例2的方法，其进一步包括在视差向量导出并未产生可用视差向量时，产生视差向量改进过程的零视差向量。
实例4。实例2的方法，进一步包括在视差向量导出过程并未产生可用视差向量时，设定状态以指示视差向量可用，且设定视差向量的值为零，及使用具有零值的视差向量执行视差向量改进过程。
实例5。实例1至4中任一项的方法或其组合，进一步包括维持变量，以指示视差向量导出过程是否产生可用视差向量。
实例6。实例5的方法，进一步包括提供变量以供一或多个译码工具使用。
实例7。实例6的方法，进一步包括基于变量的值来启用译码工具中的一或多者。
实例8。实例1的方法，进一步包括在视差向量导出过程并未产生可用视差向量时，将偏移添加到零视差向量以产生经修改的视差向量。
实例9。实例8的方法，进一步包括基于摄像机参数及默认深度像素值中的一或多者来确定偏移。
实例10。实例8的方法，进一步包括基于在经译码视频位流中接收到的发信值确定偏移。
实例11。实例10的方法，其中值在切片标头中发信。
实例12。实例1至11中任一项的方法或其组合，其中视差向量导出过程为相邻块视差向量(NBDV)导出过程。
实例13。实例1至12中任一项的方法或其组合，其中视差向量改进过程为相邻块视差向量改进(NBDV-R)过程。
实例14。实例1至13中任一项的方法或其组合，进一步包括将经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
实例15。实例1至14中任一项的方法或其组合，其中多视图视频数据为3D-HEVC视频数据。
实例16。实例1至15中任一项的方法或其组合，进一步包括基于经改进的视差向量解码视频数据。
实例17。一种用于编码多视图视频数据的方法，所述方法包括：执行多视图视频数据的当前块的视差向量导出过程；及在视差向量导出过程并未产生可用视差向量时，执行视差向量改进过程以产生当前块的经改进的视差向量。
实例18。实例17的方法，其中执行视差向量改进过程包括使用零视差向量执行视差向量改进过程。
实例19。实例18的方法，其进一步包括在视差向量导出并未产生可用视差向量时，产生视差向量改进过程的零视差向量。
实例20。实例18的方法，进一步包括在视差向量导出过程并未产生可用视差向量时，设定状态以指示视差向量可用，且设定视差向量的值为零，及使用具有零值的视差向量执行视差向量改进过程。
实例21。实例17至20中任一项的方法或其组合，进一步包括维持变量，以指示视差向量导出过程是否产生可用视差向量。
实例22。实例21的方法，进一步包括提供变量以供一或多个译码工具使用。
实例23。实例22的方法，进一步包括基于变量的值来启用译码工具中的一或多者。
实例24。实例17的方法，进一步包括在视差向量导出过程并未产生可用视差向量时，将偏移添加到零视差向量以产生经修改的视差向量。
实例25。实例24的方法，进一步包括基于摄像机参数及默认深度像素值中的一或多者来确定偏移。
实例26。实例24的方法，进一步包括基于在经译码视频位流中接收到的发信值确定偏移。
实例27。实例26的方法，其中值在切片标头中发信。
实例28。实例17至27中任一项的方法或其组合，其中视差向量导出过程为相邻块视差向量(NBDV)导出过程。
实例29。实例17至28中任一项的方法或其组合，其中视差向量改进过程为相邻块视差向量改进(NBDV-R)过程。
实例30。实例17至29中任一项的方法或其组合，进一步包括将经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
实例31。实例17至30中任一项的方法或其组合，其中多视图视频数据为3D-HEVC视频数据。
实例32。一种经配置以执行实例1至16中任一项或其组合的方法的视频解码设备。
实例33。一种经配置以执行实例17至31中任一项或其组合的方法的视频编码设备。
实例34。一种包括用于执行实例1至16中任一项或其组合的方法的装置的视频解码设备。
实例35。一种包括用于执行实例17至31中任一项或其组合的方法的装置的视频编码设备。
实例36。一种包括指令的计算机可读媒体，所述指令使得一或多个处理器执行实例1至31中任一项或其组合的方法。
实例37。一种根据本文中所揭示的技术中的任一者的编码视频数据的方法。
实例38。一种根据本文中所揭示的技术中的任一者解码视频数据的方法。
实例39。一种经配置以执行本文中所揭示的技术中的任一者的装置。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体而发射，且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，通信媒体包含例如根据通信协议促进计算机程序自一处传送至另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电及微波)而自网站、服务器或其它远端源发射指令，则同轴电缆、光缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是替代地是针对非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各物的组合亦应包含于计算机可读媒体的范畴内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，本文中所使用的术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。又，所述技术可完全以一或多个电路或逻辑元件来实施。
本发明的技术可以多种装置或设备予以实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过结合合适软件及/或固件的互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合来提供所述单元。
已描述各种实例。这些及其它实例属于以下申请专利范围的范畴内。

Claims (39)

1.一种用于解码多视图视频数据的方法，所述方法包括：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；
基于指示所述当前块的所述视差向量不可用的所述可用性值，通过将视差向量改进过程应用到零视差向量来产生所述当前块的所述视差向量，其中所述视差向量改进过程存取参考视图的深度视图分量，其中所述参考视图不同于所述当前视图；及基于所述当前块的经改进的视差向量解码所述当前块。
2.根据权利要求1所述的方法，其进一步包括
设定所述可用性值以指示所述当前块的所述视差向量可用。
3.根据权利要求2所述的方法，其进一步包括：
维持变量以指示所述视差向量导出过程原先是否导出所述当前块的所述视差向量；及
提供所述变量以供一或多个译码工具使用。
4.根据权利要求3所述的方法，其进一步包括基于所述变量的值来启用所述译码工具中的一或多者。
5.根据权利要求1所述的方法，其中：
所述视差向量导出过程为相邻块视差向量NBDV导出过程；及
所述视差向量改进过程为相邻块视差向量改进NBDV-R过程。
6.根据权利要求1所述的方法，其中基于所述当前块的所述视差向量解码所述当前块包括将所述视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
7.根据权利要求1所述的方法，其中所述多视图视频数据为3D-HEVC视频数据。
8.一种用于编码多视图视频数据的方法，所述方法包括：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；
基于指示所述当前块的所述视差向量不可用的所述可用性值，通过将视差向量改进过程应用到零视差向量来产生所述当前块的所述视差向量，其中所述视差向量改进过程存取参考视图的深度视图分量，其中所述参考视图不同于所述当前视图；及基于所述当前块的经改进的视差向量编码所述当前块。
9.根据权利要求8所述的方法，其进一步包括
设定所述可用性值以指示所述当前块的所述视差向量可用。
10.根据权利要求9所述的方法，其进一步包括：
维持变量以指示所述视差向量导出过程原先是否导出所述当前块的所述视差向量；及
提供所述变量以供一或多个译码工具使用。
11.根据权利要求10所述的方法，其进一步包括基于所述变量的值来启用所述译码工具中的一或多者。
12.根据权利要求8所述的方法，其中：
所述视差向量导出过程为相邻块视差向量NBDV导出过程；及
所述视差向量改进过程为相邻块视差向量改进NBDV-R过程。
13.根据权利要求8所述的方法，其中基于所述当前块的所述视差向量编码所述当前块包括将所述视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
14.根据权利要求8所述的方法，其中所述多视图视频数据为3D-HEVC视频数据。
15.一种视频译码装置，其包括：
存储器，其经配置以存储多视图视频数据；以及
一或多个处理器，所述一或多个处理器经配置以：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；
基于指示所述当前块的所述视差向量不可用的所述可用性值，执行视差向量改进过程到零视差向量，其中所述视差向量改进过程存取参考视图的深度视图分量以产生所述当前块的所述视差向量，其中所述参考视图不同于所述当前视图；以及
基于所述当前块的经改进视差向量译码所述当前块。
16.根据权利要求15所述的视频译码装置，其中所述一或多个处理器经配置以设定所述可用性值以指示所述当前块的所述视差向量可用。
17.根据权利要求16所述的视频译码装置，其中所述一或多个处理器经配置以：
维持变量以指示所述视差向量导出过程原先是否导出所述当前块的所述视差向量；及
提供所述变量以供一或多个译码工具使用。
18.根据权利要求17所述的视频译码装置，其中所述一或多个处理器经配置以基于所述变量的值启用所述译码工具中的一或多者。
19.根据权利要求15所述的视频译码装置，其中：
所述视差向量导出过程为相邻块视差向量NBDV导出过程；及
所述视差向量改进过程为相邻块视差向量改进NBDV-R过程。
20.根据权利要求15所述的视频译码装置，其中所述一或多个处理器经配置以将所述经改进的视差向量用于视图间运动预测、视图间残余预测或回溯视图合成预测中的至少一者。
21.根据权利要求15所述的视频译码装置，其中所述多视图视频数据为3D-HEVC视频数据。
22.根据权利要求15所述的视频译码装置，其中所述一或多个处理器经配置，使得作为基于所述当前块的所述经改进视差向量译码所述当前块的部分，所述一或多个处理器基于所述当前块的所述经改进的视差向量来解码所述当前块。
23.根据权利要求15所述的视频译码装置，其中所述一或多个处理器经配置，使得作为基于所述当前块的所述经改进视差向量译码所述当前块的部分，所述一或多个处理器基于所述当前块的所述经改进的视差向量来编码所述当前块。
24.一种视频译码装置，其包括：
用于执行多视图视频数据的当前块的视差向量导出过程的装置，所述当前块在当前视图中；
用于设定可用性值使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时所述当前块的所述视差向量不可用的装置；
用于基于指示所述当前块的所述视差向量不可用的所述可用性值通过将视差向量改进过程应用到零视差向量来产生所述当前块的所述视差向量的装置，其中所述视差向量改进过程存取参考视图的深度视图分量，其中所述参考视图不同于所述当前视图；以及
用于基于所述当前块的经改进视差向量译码所述当前块的装置。
25.一种上面存储有指令的非暂时性计算机可读数据存储媒体，所述指令在执行时配置一或多个处理器以：
执行多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
设定可用性值，使得所述可用性值指示在所述视差向量导出过程未能导出所述当前块的视差向量时，所述当前块的所述视差向量不可用；
基于指示所述视差向量导出过程尚未导出所述当前块的所述视差向量的所述可用性值，通过将视差向量改进过程应用到零视差向量来产生所述当前块的所述视差向量，其中所述视差向量改进过程存取参考视图的深度视图分量，其中所述参考视图不同于所述当前视图；以及
基于所述当前块的经改进视差向量来译码所述当前块。
26.一种用于解码多视图视频数据的方法，所述方法包括：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及
基于所述当前块的所述视差向量解码所述当前块。
27.根据权利要求26所述的方法，其进一步包括基于摄像机参数及默认深度像素值来确定所述偏移。
28.根据权利要求26所述的方法，其中所述偏移在所述多视图视频数据的切片标头中经发信。
29.根据权利要求26所述的方法，其中确定所述当前块的所述视差向量包括将所述偏移仅添加到所述零视差向量的水平分量。
30.一种用于编码多视图视频数据的方法，所述方法包括：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及
基于所述当前块的所述视差向量编码所述当前块。
31.根据权利要求30所述的方法，其进一步包括基于摄像机参数及默认深度像素值来确定所述偏移。
32.根据权利要求30所述的方法，其中所述偏移在所述多视图视频数据的切片标头中经发信。
33.根据权利要求30所述的方法，其中确定所述当前块的所述视差向量包括将所述偏移仅添加到所述零视差向量的水平分量。
34.一种用于译码多视图视频数据的装置，所述装置包括存储多视图视频数据的存储器及一或多个处理器，所述一或多个处理器经配置以：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及
基于所述当前块的所述视差向量译码所述当前块。
35.根据权利要求34所述的装置，其中所述一或多个处理器经配置以基于摄像机参数及默认深度像素值来确定所述偏移。
36.根据权利要求34所述的装置，其中所述偏移在所述多视图视频数据的切片标头中经发信。
37.根据权利要求34所述的装置，其中为了确定所述当前块的所述视差向量，所述一或多个处理器仅将所述偏移添加到所述零视差向量的水平分量。
38.一种用于译码多视图视频数据的装置，所述装置包括：
用于执行所述多视图视频数据的当前块的视差向量导出过程的装置，所述当前块在当前视图中；
用于当所述视差向量导出过程确定所述当前块的视差向量不可用时通过将偏移添加到零视差向量来确定所述当前块的所述视差向量的装置；及
用于基于所述当前块的所述视差向量译码所述当前块的装置。
39.一种上面存储有指令的非暂时性计算机可读数据存储媒体，所述指令在由用于译码多视图视频数据的装置的一或多个处理器执行时使所述装置：
执行所述多视图视频数据的当前块的视差向量导出过程，所述当前块在当前视图中；
当所述视差向量导出过程确定所述当前块的视差向量不可用时，通过将偏移添加到零视差向量来确定所述当前块的所述视差向量；及
基于所述当前块的所述视差向量译码所述当前块。
CN201480016808.7A 2013-03-22 2014-02-05 用于视频译码的方法、装置和存储媒体 Active CN105103557B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361804583P 2013-03-22 2013-03-22
US61/804,583 2013-03-22
US14/172,410 US9762905B2 (en) 2013-03-22 2014-02-04 Disparity vector refinement in video coding
US14/172,410 2014-02-04
PCT/US2014/014835 WO2014149212A1 (en) 2013-03-22 2014-02-05 Disparity vector refinement in video coding

Publications (2)

Publication Number Publication Date
CN105103557A CN105103557A (zh) 2015-11-25
CN105103557B true CN105103557B (zh) 2018-04-17

Family

ID=51569133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480016808.7A Active CN105103557B (zh) 2013-03-22 2014-02-05 用于视频译码的方法、装置和存储媒体

Country Status (7)

Country Link
US (1) US9762905B2 (zh)
EP (1) EP2976883B1 (zh)
JP (1) JP6407961B2 (zh)
KR (1) KR101958055B1 (zh)
CN (1) CN105103557B (zh)
TW (1) TWI551121B (zh)
WO (1) WO2014149212A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2864002A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
CN111108750A (zh) 2017-09-19 2020-05-05 三星电子株式会社 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
WO2019135558A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
KR20230169474A (ko) 2018-08-29 2023-12-15 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 서브블록 기반 시간적 모션 벡터 예측을 사용한 비디오 코딩의 방법 및 장치
CN109842811B (zh) * 2019-04-03 2021-01-19 腾讯科技（深圳）有限公司 一种在视频中植入推送信息的方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366286A (zh) * 2006-01-09 2009-02-11 汤姆逊许可证公司 用于多视角视频编码的方法和装置
CN101990103A (zh) * 2010-11-10 2011-03-23 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
CN102577376A (zh) * 2009-07-17 2012-07-11 三星电子株式会社 用于多视点视频编码和解码的方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
WO2009050658A2 (en) * 2007-10-15 2009-04-23 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth
EP2338281A4 (en) 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
EP2594077B1 (en) * 2010-07-15 2015-11-04 GE Video Compression, LLC Hybrid video coding supporting intermediate view synthesis
US9049423B2 (en) 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
WO2012177166A1 (en) 2011-06-24 2012-12-27 Intel Corporation An efficient approach to estimate disparity map
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
US20140241434A1 (en) 2011-10-11 2014-08-28 Mediatek Inc Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
WO2013109252A1 (en) 2012-01-17 2013-07-25 Thomson Licensing Generating an image for another view
EP2878125A4 (en) * 2012-07-27 2016-10-12 Hfi Innovation Inc CONSTRAINED DISPARITY VECTOR DERIVATION METHOD IN 3D VIDEO CODING

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366286A (zh) * 2006-01-09 2009-02-11 汤姆逊许可证公司 用于多视角视频编码的方法和装置
CN102577376A (zh) * 2009-07-17 2012-07-11 三星电子株式会社 用于多视点视频编码和解码的方法和设备
CN101990103A (zh) * 2010-11-10 2011-03-23 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置

Also Published As

Publication number Publication date
KR101958055B1 (ko) 2019-03-13
EP2976883A1 (en) 2016-01-27
JP2016512939A (ja) 2016-05-09
WO2014149212A1 (en) 2014-09-25
KR20150132536A (ko) 2015-11-25
US20140286421A1 (en) 2014-09-25
TWI551121B (zh) 2016-09-21
TW201448576A (zh) 2014-12-16
EP2976883B1 (en) 2019-11-27
US9762905B2 (en) 2017-09-12
CN105103557A (zh) 2015-11-25
JP6407961B2 (ja) 2018-10-17

Similar Documents

Publication Publication Date Title
CN105103557B (zh) 用于视频译码的方法、装置和存储媒体
CN104871543B (zh) 视差矢量推导
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN105379288B (zh) 处理对视频译码的照明补偿
CN105075272B (zh) 在基于调色板的视频译码中确定调色板索引的方法及设备
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN104471943B (zh) 视频译码中的参数集
CN105556974B (zh) 基于调色板的视频译码中的调色板预测
CN105637878B (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN104170380B (zh) 视频译码中的视差矢量预测
CN105009586B (zh) 多视图或3维视频译码中的视图间残余预测
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN105393538B (zh) 用于视频编解码的方法、装置及计算机可读存储介质
CN105934948B (zh) 解码和编码视频数据的方法和装置及计算机可读存储介质
CN104584549B (zh) 用于视频编码的方法和装置
CN109792533A (zh) 在视频译码中用于仿射运动模型的运动向量预测
CN103999467B (zh) 用于多视图和三维视频译码的参考图片列表建构
CN105027571B (zh) 三维视频译码中导出的视差向量
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN110100436A (zh) 使用导出色度模式译码视频数据
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN107690810A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN105052145A (zh) 剖析三维视频译码中的语法元素

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant