CN103975597B - 纹理及深度视图分量当中的内部视图运动预测 - Google Patents

纹理及深度视图分量当中的内部视图运动预测 Download PDF

Info

Publication number
CN103975597B
CN103975597B CN201280056433.8A CN201280056433A CN103975597B CN 103975597 B CN103975597 B CN 103975597B CN 201280056433 A CN201280056433 A CN 201280056433A CN 103975597 B CN103975597 B CN 103975597B
Authority
CN
China
Prior art keywords
block
texture view
depth views
subregion
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280056433.8A
Other languages
English (en)
Other versions
CN103975597A (zh
Inventor
张莉
陈盈
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103975597A publication Critical patent/CN103975597A/zh
Application granted granted Critical
Publication of CN103975597B publication Critical patent/CN103975597B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

本发明的技术大体上可涉及使用来自与深度视图分量中的块对应的纹理视图分量的对应块的运动信息来译码所述深度视图分量中的所述块。在一些实例中,出于译码目的,当所述纹理视图分量的空间分辨率不同于所述深度视图分量的空间分辨率时,所述技术可使用运动信息。

Description

纹理及深度视图分量当中的内部视图运动预测
本申请案主张以下各者的权益:
2011年11月18日申请的第61/561,800号美国临时专利申请案;
2011年11月26日申请的第61/563,771号美国临时专利申请案;以及
2012年1月10日申请的第61/585,169号美国临时申请案,所述临时申请案中的每一者的全部内容以全文引用的方式并入。
技术领域
本发明涉及视频译码,且更明确地说,涉及用于译码视频数据的技术。
背景技术
数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似物。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施此些视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说,视频切片(即,视频帧或视频帧的一部分)可分割成视频块,视频块也可称为树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧,且参考图片可称为参考帧。
空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码以实现甚至更多压缩。
发明内容
大体来说,本发明描述与多视图视频译码及3D视频译码有关的技术。举例来说,本发明中描述的技术可提供视频译码器(例如,编码器或解码器)可借以基于一或多个对应纹理视图块的运动信息确定深度视图块的运动信息的机制。这些技术可适用于其中深度视图分量的空间分辨率不同于纹理视图分量的空间分辨率的情况。举例来说,本发明的技术可描述在其中包含深度视图块的深度视图分量的空间分辨率不同于包含一或多个对应纹理视图块的对应纹理视图分量的空间分辨率的情况下确定深度视图块的运动信息。
在一个实例中,本发明描述一种用于译码视频数据的方法。所述方法包含译码纹理视图分量的多个纹理视图块。在此实例中,所述多个纹理视图块对应于深度视图分量的单个深度视图块。所述方法还包含依据所述多个对应纹理视图块中的一纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者,及基于所述所确定的参考索引、分区信息及运动向量信息中的至少一者译码所述单个深度视图块。在此实例中,所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。
在一个实例中,本发明描述一种用于译码视频数据的装置。所述装置包括视频译码器,所述视频译码器经配置以译码纹理视图分量的多个纹理视图块。在此实例中,所述多个纹理视图块对应于深度视图分量的单个深度视图块。所述视频译码器还经配置以依据所述多个对应纹理视图块中的一纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者,且基于所述所确定的参考索引、分区信息及运动向量信息中的至少一者译码所述单个深度视图块。在此实例中,所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。
在一个实例中,本发明描述一种其上存储有指令的计算机可读存储媒体,所述指令在被执行时致使用于译码视频数据的装置的处理器译码纹理视图分量的多个纹理视图块。在此实例中,所述多个纹理视图块对应于深度视图分量的单个深度视图块。所述指令在被执行时还致使所述处理器依据所述多个对应纹理视图块中的一纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者,且基于所述所确定的参考索引、分区信息及运动向量信息中的至少一者译码所述单个深度视图块。在此实例中,所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。
在一个实例中,本发明描述一种用于译码视频数据的装置。所述装置包含用于译码纹理视图分量的多个纹理视图块的装置。在此实例中,所述多个纹理视图块对应于深度视图分量的单个深度视图块。所述装置还包含用于依据所述多个对应纹理视图块中的一纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者的装置,及用于基于所述所确定的参考索引、分区信息及运动向量信息中的至少一者译码所述单个深度视图块的装置。在此实例中,所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从所述描述及附图且从权利要求书而显而易见。
附图说明
图1是根据本发明中所描述的一或多个实例的实例多视图视频译码(MVC)编码或解码次序的符号图。
图2是说明实例MVC预测模式的概念图。
图3是形成视频序列的图片序列的概念说明,其中深度视图分量的第4图片中的所识别宏块及纹理视图的第4图片中的对应宏块的运动向量再用于深度视图分量中。
图4A及4B是纹理视图块及深度视图块的概念图,其中纹理视图分量与深度视图分量的空间分辨率不同。
图5是说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。
图6是用于确定深度视图分区的参考索引及运动向量信息的纹理视图块及深度视图块的概念图。
图7是说明可实施技术的视频编码器的实例的框图,其中纹理视图分量与深度视图分量的空间分辨率不同。
图8是说明可实施技术的视频解码器的实例的框图,其中纹理视图分量与深度视图分量的空间分辨率不同。
图9是说明视频解码器根据技术的实例操作的流程图,其中纹理视图分量与深度视图分量的空间分辨率不同。
图10是说明视频编码器根据技术的实例操作的流程图,其中纹理视图分量与深度视图分量的空间分辨率不同。
具体实施方式
如下文更详细描述的,本发明中描述的技术允许“内部视图运动预测”(IVMP),其中纹理视图与其对应深度视图的空间分辨率不同。在其中纹理视图分量与其对应深度视图分量的空间分辨率不同的实例中,深度视图分量内的深度视图块可对应于纹理视图分量内的多个纹理视图块。因为深度视图块对应于多个纹理视图块,所以在使用纹理视图块的运动信息用于预测深度视图块的运动信息时存在潜在问题。本发明中描述的技术解决这些问题,从而允许从纹理视图块预测深度视图块的运动信息,甚至在其中纹理视图分量与其对应深度视图分量的空间分辨率不同的实例中也是这样。
本发明中描述的技术大体上适用于多视图视频译码(MVC)及3D视频译码。多视图视频译码(MVC)是指译码从不同视点(即,视图)展示场景的视频图片。举例来说,可存在多个视图,且每一视图认为是包含多个视频图片。当显示来自视图中的至少两者的视频图片时,所得视频呈现为3D视频,其从用以渲染视图的显示器出现或推送到所述显示器。
本发明中描述的技术可适用于各种视频译码标准。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也称为ISO/IEC MPEG-4 AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外,存在一种新的视频译码标准,即高效率视频译码(HEVC),其正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。
仅出于说明的目的,在H.264/AVC标准(包含其MVC扩展及3D视频扩展)的上下文中描述所述技术。H.264/AVC标准(包含其MVC扩展)还可称为“H.264/AVC标准”或简称为“H.264”标准。尽管在H.264/AVC标准(包含其MVC扩展)的上下文中描述所述技术,但本发明中描述的技术可同样可延伸到其它标准,例如当前在开发中的HEVC标准。
MVC的新近公开可用的联合草案描述于“用于通用视听服务的高级视频译码(Advanced video coding for generic audiovisual services)”(ITU-T推荐H.264(ITU-T Recommendation H.264),2010年3月)中。MVC的更近的公开可用的联合草案描述于“用于通用视听服务的高级视频译码”(ITU-T推荐H.264,2011年6月)中。MVC的当前联合草案已从2012年1月起获得审批。
用于每一视图的多个视频图片可称为纹理视图分量。每一纹理视图分量具有对应深度视图分量。纹理视图分量包含视频内容,且深度视图分量可指示所述纹理视图分量内的像素的相对深度。
本发明的技术涉及通过译码纹理及深度数据而译码3D视频数据。大体来说,术语“纹理”用以描述图像的明度(luminance)(即,亮度或“明度(luma)”)值及图像的色度(chrominance)(即,色彩或“色度(chroma)”)值。在一些实例中,纹理可包含用于蓝色调(Cb)及红色调(Cr)的一组明度数据及两组色度数据。在例如4:2:2或4:2:0等某些色度格式中,色度数据相对于明度数据向下取样。即,色度像素的空间分辨率低于对应明度像素的空间分辨率,例如为明度分辨率的二分之一或四分之一。
深度数据大体上描述对应纹理数据的深度值。举例来说,深度图像可包含各自描述对应纹理数据的深度的一组深度像素。深度数据可用以确定对应纹理数据的水平视差。因而,接收纹理及深度数据的装置可显示一个视图(例如,左眼视图)的第一纹理图像,且通过使第一图像的像素值偏移基于深度值确定的水平视差值而使用深度数据修改所述第一纹理图像以产生另一视图(例如,右眼视图)的第二纹理图像。大体来说,水平视差(或简称“视差”)描述第一视图中的像素与第二视图中的对应像素的水平空间偏移,其中所述两个像素对应于如于所述两个视图中表示的相同对象的相同部分。
在又其它实例中,可针对垂直于图像平面的z维度(z-dimension)中的像素定义深度数据,使得与给定像素相关联的深度是相对于针对所述图像定义的零视差平面而定义。此深度可用以产生水平视差用于显示像素,使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可对于视频序列的不同部分改变,且相对于零视差平面的深度量也可改变。可对于左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如,具有水平视差),以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以轻微地感觉到深度,或可对于左眼与右眼显示于不同位置中(例如,具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用以传达或定义图像的深度数据。
对于深度视图分量中的每一像素,可在纹理视图分量中存在一或多个对应像素。举例来说,如果深度视图分量与纹理视图分量的空间分辨率相同,则深度视图分量中的每一像素对应于纹理视图分量中的一个像素。如果深度视图分量的空间分辨率小于纹理视图分量的空间分辨率,则深度视图分量中的每一像素对应于纹理视图分量中的多个像素。深度视图分量中的像素的值可指示纹理视图中的对应一或多个像素的相对深度。
在一些实例中,视频编码器用信号通知纹理视图分量的视频数据及用于视图中的每一者的对应深度视图分量。视频解码器利用纹理视图分量及深度视图分量两者的视频数据来解码视图的视频内容以供显示。显示器接着显示多视图视频以产生3D视频。
纹理视图分量可在视频数据块(其称为“视频块”且在H.264上下文中通常称为“宏块”)中译码。类似地,深度视图分量也译码为“视频块”(在H.264标准中中通常称为“宏块”)。每一深度视图块可具有一或多个对应纹理视图块。举例来说,如果深度视图分量与纹理视图分量的空间分辨率相同,则每一深度视图块对应于一个纹理视图块。如果纹理视图分量的空间分辨率小于纹理视图分量的空间分辨率,则每一深度视图块对应于两个或两个以上纹理视图块。
然而,不同视频块(纹理及深度)通常单独地译码。其它视频译码标准可将视频块称为树块或译码单元(CU)。
可使用帧内预测(例如,相对于相同纹理视图分量中的其它部分预测)或帧间预测(例如,相对于一或多个其它纹理视图分量(包含来自不同视图的纹理视图分量)中的部分预测)来译码纹理视图分量的视频块。举例来说,为对当前纹理视图块进行帧间预测,视频译码器(例如,视频编码器或视频解码器)识别另一纹理视图分量(称为参考纹理视图分量)中的块,且译码(例如,编码或解码)当前纹理视图块与所述参考纹理视图分量的所述块之间的残差。参考纹理视图分量的所述块可称为参考纹理视图块。
此外,对于帧间预测,视频译码器译码指示参考纹理视图分量中的参考纹理视图块的位置的运动向量及识别参考纹理视图分量的参考索引。在一些实例中,视频译码器利用两个参考纹理视图分量及两个运动向量来对当前纹理视图分量的块进行帧间预测。
大体来说,用以预测当前纹理视图块的信息可称为用于所述块的运动信息。对于帧间预测,运动信息可为分割模式、运动向量及参考索引,或其任何组合。
已提议利用用以预测纹理视图块的运动信息也预测对应于纹理视图块的深度视图块。再次,当深度视图块指示纹理视图块内的像素的相对深度时,所述深度视图块对应于所述纹理视图块。类似地,当深度视图分量指示纹理视图分量内的像素的相对深度时,所述深度视图分量对应于所述纹理视图分量。在一些实例中,纹理视图分量与对应深度视图分量可译码成相同视频网络抽象层(NAL)单元。
利用用以预测纹理视图块的运动信息用于预测对应于所述纹理视图块的深度视图块称为“内部视图运动预测”(IVMP)。此预测称为IVMP,因为用于纹理视图块的运动信息(即,用以预测纹理视图块的信息)用以预测对应深度视图块(例如,经采用而无任何进一步修改)。深度视图块所属于的深度视图分量及纹理视图块所属于的其对应纹理视图分量可认为是属于相同视图,因此得出短语“内部视图运动预测”。
如果深度视图分量与纹理视图分量的空间分辨率相同,则对于纹理视图分量中的块,在对应深度视图分量中存在一个对应块。对于此情况,已提议使用当前纹理视图分量中的块的运动信息但相对于其它深度视图分量对对应深度视图分量中的块进行帧间预测。
举例来说,如上文所描述,纹理视图块相对于参考纹理视图分量中的块(例如,参考纹理视图块)进行帧间预测。在MVC及3D视频译码中,存在对应于参考纹理视图分量的深度视图分量(称为参考深度视图分量)。为预测当前深度视图分量中的深度视图块,视频译码器可使用对应纹理视图分量中的对应纹理视图块的运动信息来识别用以译码所述纹理视图块的参考纹理视图分量。
从参考纹理视图分量,视频译码器可识别对应于所述参考纹理视图分量的深度视图分量(即,识别参考深度视图分量)。视频译码器还可识别对应于参考纹理视图块的参考深度视图分量中的深度视图块,其中参考纹理视图块用以译码所述纹理视图块。
视频译码器接着使用参考深度视图分量中的所识别深度视图块译码深度视图块。以此方式,出于重建深度视图块的目的,视频编码器可能不需要用信号通知深度视图块的运动信息,且视频解码器可能不需要接收深度视图块的运动信息。
在使用运动信息用于预测深度视图块的先前实例中,假设纹理视图分量的空间分辨率与深度视图分量的空间分辨率相同。然而,可能并非在每一情况下都是如此。出于带宽效率目的,深度视图分量的空间分辨率可小于对应纹理视图分量的空间分辨率,以使得如与空间分辨率相同的情况相比,需要用信号通知或接收较少数据量。
举例来说,作为一个实例,视频译码器向下取样深度视图分量以减小空间分辨率。然而,本发明的技术并不需要用于减小深度视图分量的空间分辨率的向下取样。大体来说,本发明中描述的实例可利用导致深度视图分量的空间分辨率不同于纹理视图分量的空间分辨率的任何技术,包含指派深度视图分量的一个像素以对应于纹理视图分量的多个像素。
作为两个实例,深度视图分量的空间分辨率可为纹理视图分量的空间分辨率的四分之一或二分之一。对于四分之一分辨率,视频译码器可在x及y维度中的每一者中向下取样达二分之一以获得总共达四分之一的向下取样。对于二分之一分辨率,视频译码器可在x或y维度中向下取样二分之一以获得总共达二分之一的向下取样。
有可能深度视图分量的空间分辨率为纹理视图分量的空间分辨率的某一其它分数,包含大于二分之一且小于一或小于四分之一的比率。仅出于说明的目的,描述实例中的许多者,其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。然而,所述技术可同样延伸到其它比率,例如二分之一、八分之一、十六分之一等,包含非双值比率(non-dyadic ratio)。
在其中空间分辨率不同的情况下,可能难以确定如何使用纹理视图块的运动信息用于预测对应深度视图块。举例来说,当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一时,深度视图分量中的一个视频块对应于纹理视图分量中的四个视频块。
在此情况下,有可能以不同方式预测纹理视图分量中的四个视频块中的一或多者。举例来说,纹理视图分量中的四个视频块中的一些可经帧内预测,且其它者可经帧间预测。作为另一实例,纹理视图分量中的视频块的运动向量可不同。作为又一实例,纹理视图分量中的视频块的分割可使得分区的运动信息可能不可用于对应深度视图块。当纹理视图分量与深度视图分量的空间分辨率不同时,可存在其它此些问题。
本发明中描述的技术确定视频译码器是否应在具有不对称空间分辨率(例如,其中空间分辨率不同)的纹理视图分量与深度视图分量当中利用内部视图运动预测(IVMP)。当视频译码器确定不能利用IVMP时,视频译码器可仍从对应纹理视图分量中的一或多个对应纹理视图块的分区预测深度视图分量中的深度视图块的分区。
而且,当视频译码器确实利用IVMP时,本发明中描述的技术在深度视图分量与纹理视图分量的空间分辨率不同时从对应纹理视图块确定深度视图块的运动信息。举例来说,所述技术确定基于对应纹理视图块的运动信息所预测的深度视图块的运动向量、参考索引及分割模式中的至少一者。
图1是根据本发明中所描述的一或多个实例的实例多视图视频译码(MVC)编码或解码次序的符号图。举例来说,图1中所说明的解码次序布置称为时间优先译码(time-first coding)。在图1中,S0到S7各自是指多视图视频的不同视图。T0到T8各自表示一个输出时间例子。存取单元可包含针对一个输出时间例子的所有视图的经译码图片。举例来说,第一存取单元可包含针对时间例子T0的所有视图S0到S7,第二存取单元可包含针对时间例子T1的所有视图S0到S7,等。
出于简洁目的,本发明可使用以下定义:
视图分量:单个存取单元中的视图的经译码表示。当视图包含经译码纹理及深度表示两者时,视图分量由纹理视图分量及深度视图分量构成。
纹理视图分量:单个存取单元中的视图的纹理的经译码表示。
深度视图分量:单个存取单元中的视图的深度的经译码表示。
在图1中,所述视图中的每一者包含若干图片组。举例来说,视图S0包含图片组0、8、16、24、32、40、48、56及64,视图S1包含图片组1、9、17、25、33、41、49、57及65,等。每一组包含两个图片:一个图片称为纹理视图分量,且另一图片称为深度视图分量。视图的图片组内的纹理视图分量及深度视图分量可认为是对应于彼此。举例来说,视图的图片组内的纹理视图分量认为是对应于视图的所述图片组内的深度视图分量,且反之亦然(即,深度视图分量对应于所述组中的其纹理视图分量,且反之亦然)。如本发明中所使用,对应于深度视图分量的纹理视图分量可认为是为单个存取单元的相同视图的部分的纹理视图分量及深度视图分量。
纹理视图分量包含所显示的实际图像内容。举例来说,纹理视图分量可包含明度(Y)及色度(Cb及Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例,深度视图分量为仅包含明度值的灰阶图像。换句话说,深度视图分量可不传达任何图像内容,而是提供纹理视图分量中的像素的相对深度的量度。
举例来说,深度视图分量中的纯白色像素指示其在对应纹理视图分量中的对应像素较接近于观看者的视角,且深度视图分量中的纯黑色像素指示其在对应纹理视图分量中的对应像素距观看者的视角较远。黑色与白色之间的各种灰度梯度指示不同深度等级。举例来说,深度视图分量中的深灰色像素指示其在纹理视图分量中的对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度,所以深度视图分量不需要包含色度分量,因为深度视图分量的色彩值可能不服务于任何目的。
深度视图分量仅使用明度值(例如,强度值)来识别深度是出于说明的目的而提供,且不应被视为限制性的。在其它实例中,可利用任何技术来指示纹理视图分量中的像素的相对深度。
根据MVC,纹理视图分量是从相同视图中的纹理视图分量或从在一或多个不同视图中但在相同存取单元中的纹理视图分量经帧间预测。类似地,深度视图分量是从相同视图中的深度视图分量或从一或多个不同视图中的深度视图分量经帧间预测。纹理视图分量与深度视图分量可同样地经帧内预测(例如,从相同纹理或深度视图分量内的另一块预测纹理或深度视图分量内的块)。
纹理视图分量可在视频数据块(其称为“视频块”且在H.264上下文中通常称为“宏块”)中译码。类似地,深度视图分量也译码为“视频块”(在H.264标准中中通常称为“宏块”)。然而,不同视频块(纹理及深度)通常单独地译码。其它视频译码标准可将视频块称为树块或译码单元(CU)。
对于帧间译码,运动向量用以定义预测性块,所述预测性块接着用以预测经译码视频块的值。在此情况下,所谓的“残余值”或“差值”连同识别对应预测性块的运动向量一起包含在经编码位流中。解码器接收运动向量及残余值,且使用所述运动向量来从先前解码的视频数据识别预测性块。为重建经编码视频块,解码器组合所述残余值与由运动向量识别的对应预测性块。
本发明中描述的技术是针对使用用于预测纹理视图分量中的块(即,纹理视图块)的信息用于预测对应深度视图分量中的对应块(即,对应深度视图分量中的对应深度视图块)。用于预测当前纹理视图块的信息称为运动信息。运动信息的实例包含分割模式(例如,进一步分割当前纹理视图块的方式)、运动向量信息(例如所述用以预测当前纹理视图分量的纹理视图块的运动向量),及参考索引信息(例如,指示用以帧间预测当前纹理视图块的一或多个其它纹理视图分量的一或多个参考图片列表中的一或多个索引)。
换句话说,从参考索引信息,有可能确定用以帧间预测当前纹理视图块的参考纹理视图分量。从运动向量,有可能确定用以帧间预测当前纹理视图块的参考纹理视图分量内的块的位置。
分割模式可指示分割当前纹理视图块的方式。举例来说,H.264/AVC标准定义宏块(MB)为16x16像素。16x16 MB可以四个不同方式分割成较小部分:一个16x16 MB分区(即,无进一步划分,例如P_Skip、B_Skip、B_Direct_16xl6、P_L0_16xl6、B_L0_16xl6、B_Ll_16xl6或B_Bi_16xl6)、两个16x8 MB分区、两个8x16 MB分区或四个8x8 MB分区。可从不同参考纹理视图块中的分区预测一个MB中的每一MB分区。换句话说,一个MB中的不同MB分区可具有不同参考索引值。
举例来说,一分区可从参考纹理视图分量的一个其它分区预测,其中所述参考纹理视图分量是在两个参考图片列表(称为RefPicList0及RefPicList1)中的一者中识别。在一些其它实例中,一分区可从两个不同参考纹理视图分量的两个其它分区预测,其中所述参考纹理视图分量中的一者是在RefPicList0中识别且另一参考纹理视图分量是在RefPicList1中识别。当一分区从一个其它分区预测时,所述分区称为经单向预测,且当一分区从两个分区预测时,所述分区称为经双向预测。
当MB不分割成四个8x8 MB分区时,所述MB可对于每一方向上的每一MB分区具有一个运动向量,其中术语方向用以指示所述分区是相对于RefPicList0、RefPicList1还是RefPicList0及RefPicList1两者中的图片经帧间预测。举例来说,如果一个MB经译码为两个16x8 MB分区,则两个16x8分区中的每一者在单向预测的情况下是从参考纹理视图块中的相应16x8分区预测,且对于每一16x8分区指派一个运动向量(例如,在一个方向上预测)。每一者在双向预测的情况下是从两个参考纹理视图块中的相应16x8分区预测,且对于用于每一参考图片列表的每一16x8分区指派两个运动向量(例如,在两个方向上预测)。在一些实例中,一个参考纹理视图块可包含用以帧间预测所述16x8分区中的每一者的16x8分区两者;然而,本发明的方面不限于此。相同情况将适用于两个8x16分区。
在一些实例中,当MB分割成四个8x8 MB分区时,每一8x8 MB分区进一步分割成子块。这些子块中的每一者可从不同参考纹理视图分量中的不同子块经单向预测或双向预测。可存在四个不同方式来将8x8 MB分区进一步分割成子块。所述四个方式包含一个8x8子块(即,无进一步划分)、两个8x4子块、两个4x8子块,及四个4x4子块。
如上文所描述,本发明中描述的技术涉及使用纹理视图块的运动信息用于预测(例如,译码)对应深度视图块。明确地说,本发明中描述的技术涉及其中纹理视图分量与其对应深度视图分量的空间分辨率不同的情境。
举例来说,因为深度视图分量可用灰阶表示,所以深度视图分量可看似其为对应纹理视图分量的黑色及白色版本。在此情况下,深度视图分量与对应纹理视图分量可具有类似的对象轮廓。因为纹理视图分量与其对应深度视图分量具有类似的对象轮廓,所以其可具有类似的对象边界及移动,因而在其运动字段(即,运动信息)中可能存在冗余。
对于其中深度视图分量与其对应空间视图分量的空间分辨率相同的情境,已提议其中来自纹理视图分量的运动信息再用于对应深度视图分量的技术。例如来自纹理视图分量的运动预测等运动信息到对应深度视图分量的再用可作为新模式而启用。在这些实例中,对于仅在深度视图分量中的经帧间译码MB(即,经帧间预测MB)启用内部视图运动预测(IVMP)模式。在IVMP模式中,包含纹理视图分量中的对应MB的由mb_type、sub_mb_type表示的分割模式、参考索引及运动向量的运动信息由相同视图的深度视图分量再用。可在深度视图分量的每一MB中用信号通知一旗标以指示其是否使用IVMP模式。
mb_type指示分割宏块的方式(即,16x16 MB是分割成一个16x16 MB分区、两个16x8 MB分区、两个8x16 MB分区还是四个8x8 MB分区)。sub_mb_type指示进一步分割8x8分区的方式(即,8x8分区是分割成一个8x8子块、两个8x4子块、两个4x8子块还是四个4x4子块)。
当启用时,IVMP模式允许深度视图分量以类似于所谓的“合并”的方式完全采用对应纹理视图分量的运动信息。在此情况下,深度视图分量可不包含相对于其运动信息的任何额外差量值,而改为采用纹理视图分量的运动信息作为其运动信息。通过定义完全采用纹理视图的运动信息作为深度视图的运动信息的模式而无相对于此运动信息的差量值的任何信令,可实现改善的压缩。
尽管IVMP模式对于其中深度视图分量与纹理视图分量的空间分辨率相同的情况可良好地起作用,但可能存在当深度视图分量与纹理视图分量的空间分辨率不同时存在的某些问题。举例来说,在图1中,视图S0的图片组0包含纹理视图分量及对应深度视图分量。在本发明中描述的实例中,纹理视图分量与对应深度视图分量的空间分辨率可不同。举例来说,深度视图分量的空间分辨率为对应纹理视图分量的空间分辨率的二分之一或四分之一,但空间分辨率的其它比率是可能的。
当深度视图分量的空间分辨率小于纹理视图分量的空间分辨率时,深度视图分量中的一个MB对应于对应纹理视图分量中的多个MB。举例来说,如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一,则深度视图分量中的一个16x16MB对应于纹理视图分量中的四个16x16 MB。因为深度视图分量中的一个MB对应于对应纹理视图分量中的多个MB,所以可能不清楚来自纹理视图MB的运动信息是否可用于预测深度视图MB的运动信息。而且,如果此运动信息可用于预测深度视图MB的运动信息,则可能不清楚应使用纹理视图分量的哪一MB的哪一运动信息。
举例来说,假设纹理视图分量中的MB中的一或多者是经帧内译码(即,经帧内预测),且其它者是经帧间译码(即,经帧间预测)。在此实例中,可能不清楚对应于纹理视图分量的这些MB的深度视图分量的MB应进行帧内译码还是帧间译码。
作为另一实例,假设纹理视图分量中的MB中的一者经分割而具有对于每一分区具有不同参考索引值的一个以上MB分区。参考索引值识别称为RefPicList0及RefPicList1的一个或两个参考图片列表中的参考纹理视图分量。举例来说,假设纹理视图分量中的MB中的一者分割成四个8x8分区、两个16x8分区,或两个8x16分区。在此情况下,这些分区中的每一者对应于小于8x8的深度视图分量中的MB的子块。
举例来说,如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一,则纹理视图分量中的MB的8x8分区中的每一者对应于与纹理视图分量的MB对应的深度视图分量中的MB的4x4子块。类似地,纹理视图分量中的MB的16x8分区或8x16分区中的每一者分别对应于与纹理视图分量的MB对应的深度视图分量中的MB的8x4子块或4x8子块。
在此实例中,深度视图分量中的4x4子块、8x4子块及4x8子块中的每一者在大小上小于8x8。H.264/AVC标准可能不允许相对于不同参考项预测在相同分区内的小于8x8的块。举例来说,假设纹理视图块分割成四个8x8 MB分区,且从不同参考纹理视图分量预测所述四个8x8分区的第一8x8分区及第二8x8分区。在此实例中,纹理视图块中的第一8x8分区对应于深度视图块的8x8分区中的第一4x4子块,且纹理视图块中的第二8x8分区对应于深度视图块的相同8x8分区中的第二4x4子块。
因此,在此实例中,将需要从不同参考深度视图分量预测深度视图块中的第一4x4子块及深度视图块中的第二4x4子块,因为纹理视图块中的第一8x8分区与第二8x8分区是从不同参考纹理视图分量预测的。然而,H.264/AVC标准可能不允许此预测。举例来说,在H.264/AVC中,可能不允许从不同参考分量预测属于相同分区的两个子块(即,可能需要所述子块中的每一者的参考索引值相同以符合H.264/AVC)。
在其中纹理视图块分割成一个以上分区且所述分区中的两者或两者以上是相对于不同参考纹理视图分量预测的上述方案中,此可导致需要违反H.264/AVC标准而加以预测的深度视图块。此为当纹理视图分量与深度视图分量的空间分辨率不同时存在的问题的另一实例。
作为空间分辨率不同时可能存在的问题的又一实例,有可能纹理视图块分割成一个以上MB分区,且所述MB分区中的每一者的参考索引值相同。举例来说,16x16纹理视图块可分割成四个8x8分区,且从相同参考纹理视图分量预测纹理视图块中的所述8x8分区中的每一者。
在此实例中,将遵照H.264/AVC标准从相同参考深度视图分量预测深度视图块的所述8x8分区中的对应子块。然而,如果纹理视图块中的8x8分区中的一者进一步分割成子块,则可能存在映射到深度视图块的所述8x8分区中的一个4x4子块的多个运动向量。
举例来说,假设纹理视图块中的四个8x8分区中的第一分区进一步分割成识别为纹理视图块的第一到第四子块的四个4x4子块。在此实例中,纹理视图块中的四个8x8分区中的第一分区对应于对应深度视图块中的一个4x4子块。而且,在此实例中,纹理视图块中的第一8x8分区的第一到第四子块是利用不同运动向量预测,但所述运动向量指向相同参考纹理视图分量。因此,在此实例中,不清楚纹理视图块的第一到第四子块的运动向量当中的哪一运动向量应用作对应深度视图块中的4x4子块的运动向量。
如更详细描述的,本发明的技术解决在纹理视图分量与深度视图分量的空间分辨率不同时存在的这些或其它问题。举例来说,本发明中描述的技术支持具有不对称分辨率(例如,当深度视图分量的空间分辨率小于纹理视图分量的空间分辨率时)的内部视图运动预测(IVMP)。
举例来说,甚至当空间分辨率不同时,本发明中描述的技术仍从对应纹理视图块的运动信息确定深度视图块的运动信息。在一些实例中,本发明的技术针对深度视图块所确定的运动信息可包含分割模式信息、参考索引信息,及运动向量信息。
明确地说,本发明中描述的技术可允许例如视频编码器或视频解码器等视频译码器执行分割模式预测、参考索引预测及运动向量预测以用于基于对应于深度视图分量中的宏块的纹理视图分量中的一或多个宏块的分割模式信息、参考索引信息及运动向量信息译码(例如,编码或解码)深度视图分量中的宏块。出于说明的目的,通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一或二分之一的实例描述所述技术。然而,本发明的方面不限于纹理视图分量与深度视图分量之间的这些特定空间分辨率比率。
在描述视频译码器执行深度视图块的运动信息预测的实例方式之前,图2到4B提供一些额外上下文。举例来说,图2进一步说明多视图视频译码。图3、4A及4B进一步说明当纹理视图分量与深度视图分量的空间分辨率不同时可能出现的潜在问题。
图2是说明实例MVC预测模式的概念图。在图2的实例中,说明八个视图(具有视图ID“S0”到“S7”),且对于每一视图说明十二个时间位置(“T0”到“T11”)。即,图2中的每一行对应于一视图,而每一列指示一时间位置。
尽管MVC具有可通过H.264/AVC解码器解码的所谓的基础视图且立体视图对也可由MVC支持,但MVC的优点是其可支持使用两个以上视图作为3D视频输入且解码由所述多个视图表示的此3D视频的实例。具有MVC解码器的客户端的渲染器(renderer)可预期具有多个视图的3D视频内容。
图2中的图片指示为处于图2中的每一行与每一列的交叉点处。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。
图2中的图片是使用包含字母的阴影块说明,所述字母指明对应图片是经帧内译码(即,I图片)还是在一个方向上(即,P图片)还是在多个方向上(即,B图片)经帧间译码。大体来说,预测由箭头指示,其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说,时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测。
如同单视图视频编码,多视图视频译码视频序列的图片可相对于不同时间位置处的图片预测性地编码。举例来说,时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头,从而指示所述b图片是从所述I图片预测。然而,此外,在多视图视频编码的上下文中,图片可经视图间预测。即,视图分量可使用其它视图中的视图分量用于参考。举例来说,在MVC中,如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考项在序列参数集(SPS)MVC扩展中用信号通知且可通过参考图片列表建构过程加以修改,所述参考图片列表建构过程实现帧间预测或视图间预测参考项的灵活排序。
图2提供视图间预测的各种实例。在图2的实例中,视图S1的图片说明为是从视图S1的不同时间位置处的图片预测,且是从相同时间位置处的视图S0及S2的图片经视图间预测。举例来说,时间位置Tl处的视图S1的b图片是从时间位置T0及T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0及S2的b图片预测。
在图2的实例中,大写的“B”及小写的“b”指示图片之间的不同阶层式关系,而非不同译码方法。大体来说,大写的“B”图片在预测阶层上比小写的“b”帧相对高。图2还说明使用不同阴影等级的预测阶层的变化,其中较大阴影量(即,相对较暗)的帧在预测阶层上高于具有较少阴影(即,相对较浅)的那些帧。举例来说,图2中的所有I图片说明为具有完全阴影,而P图片具有稍浅的阴影,且B图片(及小写的b图片)具有相对于彼此的各种阴影等级,但始终比P图片及I图片的阴影浅。
大体来说,预测阶层与视图次序索引有关,其关系在于在预测阶层上相对较高的图片应在解码阶层相对较低的图片之前解码,使得阶层相对较高的那些帧在解码阶层相对较低的图片期间可用作参考图片。视图次序索引为指示存取单元中的视图分量的解码次序的索引。视图次序索引暗含于SPS MVC扩展中,如在H.264/AVC的附件H(MVC修改)中所指定。在SPS中,对于每一索引ⅰ,用信号通知对应view_id。视图分量的解码将遵循视图次序索引的升序。如果呈现所有视图,则视图次序索引为从0到num_views_minus_l的连续次序。
以此方式,用作参考图片的图片在解码参考所述参考图片编码的图片之前进行解码。视图次序索引为指示存取单元中的视图分量的解码次序的索引。对于每一视图次序索引ⅰ,用信号通知对应view_id。视图分量的解码遵循视图次序索引的升序如果呈现所有视图,则视图次序索引组可包括从零到比视图的全部数目少1的连续排序组。
对于处于阶层的相等等级处的某些图片,相对于彼此的解码次序可能无关紧要。举例来说,时间位置T0处的视图S0的I图片用作时间位置T0处的视图S2的P图片的参考图片,所述P图片又用作时间位置T0处的视图S4的P图片的参考图片。因此,时间位置T0处的视图S0的I图片应在时间位置T0处的视图S2的P图片之前解码,所述P图片应在时间位置T0处的视图S4的P图片之前解码。然而,在视图S1与S3之间,解码次序无关紧要,因为视图S1与S3并不依赖于彼此用于预测,而是仅从在预测阶层中较高的视图预测。此外,视图S1可在视图S4之前解码,只要视图S1在视图S0及S2之后解码即可。
以此方式,阶层式排序可用以描述视图S0到S7。令标号SA>SB意味着视图SA应在视图SB之前解码。在图2的实例中,使用此标号S0>S2>S4>S6>S7。而且,相对于图2的实例,S0>S1、S2>S1、S2>S3、S4>S3、S4>S5,且S6>S5。用于视图的不违反这些要求的任何解码次序是可能的。因此,许多不同解码次序是可能的,只是具有某些限制。
在一些实例中,图2可看作说明纹理视图分量。举例来说,图2中所说明的I、P、B及b图片可认为是视图中的每一者的纹理视图分量。根据本发明中描述的技术,对于图2中所说明的纹理视图分量中的每一者,存在具有不同空间分辨率的对应深度视图分量。在一些实例中,可以类似于图2中针对对应纹理视图分量所说明的方式的方式预测深度视图分量。
然而,在一些实例中,视频编码器编码位流信号或视频解码器接收及解码指示预测深度视图分量内的一或多个宏块的方式的信息可能并无必要。举例来说,有可能深度视图分量中的宏块采用来自纹理视图分量中的对应宏块中的一者的运动信息。以此方式,可能不需要差量值或任何额外此信息用于译码深度视图分量中的宏块。
深度视图分量中的宏块、宏块的分区或分区的子块是否可采用参考索引信息及运动向量信息可基于内部视图运动预测(IVMP)旗标。举例来说,如果视频编码器用信号通知IVMP旗标对于深度视图分量中的宏块(例如,深度视图块)为真,则视频解码器采用参考索引信息及运动向量信息,且基于纹理视图分量中的对应宏块中的一者(例如,对应纹理视图块)确定所利用的深度视图块的分割模式。
在一些实例中,甚至当IVMP旗标对于深度视图块为假时,视频解码器也有可能确定深度视图块的分割模式。在此些实例中,视频编码器可能需要在经译码位流中用信号通知且视频解码器可能需要从所述经译码位流接收关于预测深度视图块的方式的信息。否则,当IVMP旗标对于深度视图块为真时,视频编码器可能不需要在经译码位流中用信号通知且视频解码器可能不需要从所述经译码位流接收关于预测深度视图块的方式的信息。确切地说,视频解码器可再用对应纹理视图块中的一者的运动信息来确定预测深度视图块的方式。
图3是形成视频序列的图片序列的概念说明,其中深度视图分量的第4图片中的所识别宏块及纹理视图的第4图片中的对应宏块的运动向量被再用于深度视图分量中。在图3中,深度视图分量与纹理视图分量的空间分辨率可相同,如所说明。这是为了进一步说明IVMP模式。
在一些实例中,可仅针对具有深度视图分量的经帧间译码(即,经帧间预测)MB启用内部视图运动预测(IVMP)模式。在IVMP模式中,包含纹理视图分量中的对应MB的mb_type、sub_mb_type、参考索引及运动向量的运动信息由相同视图的深度视图分量再用。可在每一MB中用信号通知一旗标以指示其是否使用IVMP模式。如图3中所示,所述旗标对于深度视图的第4图片中所识别的MB可为真,且纹理视图的第4图片(识别为第4图片)中的对应MB的运动向量被再用于深度视图分量中突出显示的MB。注意,在一些实例中,IVMP模式仅适用于非锚定图片。
再次,相对于基于另一视图的运动预测一个视图的运动向量的常规技术,与IVMP相关联的技术可实现进一步压缩。举例来说,一些常规可缩放技术允许基于基础视图的运动信息对增强视图进行运动预测,且在一些情况下,所述基础视图可为纹理视图,且所述增强视图可为深度视图。然而,在此等情况下,除指示使用基础视图预测增强视图的预测信息(或旗标)之外,还始终译码残余数据(例如,差量)。相比之下,本发明的技术可利用IVMP模式,其中不译码或不允许差量信息。实际上,对于IVMP模式,纹理视图的运动信息被采用为深度视图的运动信息。
当纹理视图块与深度视图块的空间分辨率相同时,使用纹理视图块的运动信息来预测深度视图块可良好地起作用。然而,如上文所描述,当空间分辨率不同时可存在某些问题。这在图4A及4B中更详细地说明。
图4A及4B是纹理视图块及深度视图块的概念图,其中纹理视图分量与深度视图分量的空间分辨率不同。为易于描述,在图4A及4B中,深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。因此,在图4A及4B中,深度视图分量中的一个MB对应于纹理视图分量中的四个MB。
而且,在图4A及4B中,深度视图分量对应于纹理视图分量。举例来说,纹理视图分量及深度视图分量为单个存取单元的相同视图的部分。举例来说,图1中的图片组33包含单个存取单元的相同视图(即,视图S1)的纹理视图分量及深度视图分量(即,在时间例子T4处)。图片组33是随机选择以辅助理解。
图4A说明纹理视图宏块2A到2D及深度视图宏块4。纹理视图宏块2A到2D为纹理视图块的一个实例,且深度视图宏块4为深度视图块的一个实例。纹理视图宏块2A到2D各自为纹理视图分量中的宏块的实例。举例来说,纹理视图块2A到2D中的每一个别者为16像素(长度上)乘16像素(宽度上)(即,16x16)。深度视图宏块4为深度视图分量中的宏块的实例。举例来说,深度视图宏块4为16x16像素块。在图4A中,纹理视图宏块2A到2D与深度视图宏块4相对应,因为包含深度视图块4的深度视图分量的空间分辨率为包含纹理视图宏块2A到2D的纹理视图分量的空间分辨率的四分之一。
在此实例中,可能需要使用来自纹理视图宏块2A到2D中的一者的运动信息来预测深度视图宏块4的一个8x8块的运动信息。然而,如果纹理视图宏块2A到2D中的一或多者是经帧内预测,且其它者是经帧间预测,则深度视图宏块4的预测模式可为未知的(即,可能不知道应对深度视图块4进行帧内预测还是帧间预测)。这是因为所有四个纹理视图宏块2A到2D对应于深度视图宏块4。如更详细描述的,本发明中描述的实例提供视频编码器及视频解码器在确定对应深度视图宏块的运动信息时处置如下此些情况的方式:纹理视图宏块中的对应宏块中的一些是经帧内预测,且其它者是经帧间预测。
图4B说明纹理视图宏块6及深度视图宏块10,两者皆为16x16像素块。深度视图宏块10分割成深度视图分区12A到12D。深度视图分区12A到12D中的每一者为8x8像素块。深度视图分区12A到12D为深度视图块的另一实例。
由于深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一,所以8x8深度视图分区12A到12D中的每一者对应于整个16x16纹理视图宏块。举例来说,8x8深度视图分区12A对应于整个16x16纹理视图宏块6。深度视图分区12B到12D对应于与纹理视图宏块6相邻的整个16x16纹理视图宏块。
如所说明,纹理视图宏块6分割成四个8x8纹理视图分区8A到8D。有可能将纹理视图宏块6分割成两个8x16分区或两个16x8分区。纹理视图分区8A到8D为纹理视图块的另一实例。
在图4B中,因为纹理视图宏块6对应于深度视图分区12A,所以纹理视图分区8A到8D对应于深度视图子块14A到14D。深度视图子块14A到14D为深度视图块的另一实例。举例来说,深度视图分区12A可进一步分割成四个4x4深度视图子块14A到14D。这些4x4深度视图子块14A到14D中的每一者对应于纹理视图分区8A到8D中的相应者。举例来说,8x8纹理视图分区8A对应于4x4深度视图子块14A,8x8纹理视图分区8B对应于4x4深度视图子块14B,等。
在一些实例中,纹理分区8A到8D中的每一者可利用不同参考纹理视图分量经帧间预测。举例来说,如上文所描述,用作参考纹理视图分量的一或多个纹理视图分量是在称为RefPicList0及RefPicList1的参考图片列表中识别。参考索引为这些列表中的用以识别参考纹理视图分量的一者中的索引。如果纹理视图分区8A到8D中的一者是相对于一个参考纹理视图分量(例如,在一个方向上)经帧间预测,则对于纹理视图分区8A到8D中的所述一者存在对RefPicList0或RefPicList1的一个参考索引。如果纹理视图分区8A到8D中的一者是相对于两个参考纹理视图分量(例如,在两个方向上)经帧间预测,则对于纹理视图分区8A到8D中的所述一者存在两个参考索引,一个用于RefPicList0且一个用于RefPicList1。
如果纹理视图分区8A到8D是利用不同参考纹理视图分量经帧间预测,则有可能纹理视图分区8A到8D的参考索引不同。这将需要从不同参考深度视图分量对深度视图子块14A到14D中的一或多者进行帧间预测。
然而,例如具有MVC扩展的H.264/AVC等一些标准可能不允许此类结果。举例来说,H.264标准可能要求对于在子块内的在大小上小于8x8的块,必须从相同参考项对此些块进行帧间预测。举例来说,深度视图子块14A到14D为4x4,且因此在大小上小于8x8。因此,H.264标准可能要求必须从相同参考深度视图分量对所有深度视图子块14A到14D进行帧间预测。然而,如果相对于不同参考纹理视图分量对纹理视图分区8A到8D中的一或多者进行帧间预测,则此将导致相对于不同参考深度视图分量预测深度视图子块14A到14D,这在H.264标准中可能不被允许。如更详细描述的,本发明中描述的实例提供用以解决此类情境的技术。
在一些替代实例中,有可能相对于相同参考纹理视图分量对纹理视图分区8A到8D中的每一者进行帧间预测(例如,基于所述分区是经单向预测还是双向预测,RefPicList0及/或RefPicList1中的参考索引相同)。在此情况下,将从相同参考深度视图分量预测深度视图子块14A到14D中的每一者,这将符合H.264标准的要求。
然而,甚至在此情况下,纹理视图分区8A到8D中的一或多者的运动向量仍可能不同。举例来说,用于纹理视图分区8A的运动向量与用于纹理视图分区8B的运动向量可能不同,但两个运动向量是从相同参考纹理视图分量引出。在此情况下,可能不清楚使用哪一运动向量用于对深度视图分区12A进行帧间预测。本发明中描述的实例提供用以解决此类情境的技术。
明确地说,本发明中描述的实例是在视频编码器及视频解码器的上下文中描述。与本发明一致的视频编码器可大体上符合联合多视图视频译码(JMVC)编码器方案。在此情况下,视图经逐一编码。在每一视图内部,首先编码纹理序列,且接着编码深度序列。
当启用IVMP模式时,在纹理视图分量编码期间,将每一纹理视图分量的运动字段写入到运动文件中,其名称可在配置文件中指定。在编码相同视图的对应深度分量时,可读取所述运动文件以供参考。
所述视频解码器可类似于JMVC解码器,其修改是还解码及输出每一视图的深度序列。其它视频译码编码器可指3D-ATM及3D-HTM,其用于基于AVC/基于HEVC的多视图/3D视频译码标准。当启用IVMP模式时,每一纹理视图分量的运动经存储且采用为每一对应深度视图的运动。对于其中停用IVMP模式的任何块,深度视图可包含其自身的运动信息,或可包含一些其它语法元素以识别在哪里获得、预测或采用其相应运动信息。
图5、6及7的以下论述描述其中可使用本发明的技术的一些示范性情形。举例来说,图5说明视频编码器及视频解码器的实例。图6及7分别更详细地说明视频编码器及视频解码器的实例。视频编码器及视频解码器的所说明实例可经配置以实施本发明中描述的实例技术。
举例来说,当纹理视图分量与深度视图分量的空间分辨率不同时,在一些实例中,视频编码器可用信号通知IVMP旗标对于深度视图分量中的特定宏块为真(例如,IVMP旗标的为1的位值可指示IVMP旗标为真);然而,视频编码器用信号通知IVMP旗标并非在每一实例中都是必要的。当IVMP旗标为真时,视频编码器可经配置以不用信号通知深度视图分量中的宏块的运动信息。视频解码器可经配置以确定宏块的运动信息而不接收运动信息。举例来说,视频解码器确定深度视图分量的宏块的分割模式信息、参考索引信息及运动向量信息中的至少一者而不从视频编码器接收所述运动信息。
在一些实例中,甚至当视频编码器用信号通知IVMP旗标为假(例如,为零的位值)时,视频解码器也可经配置以确定深度视图分量中的宏块的分割模式信息。在这些实例中,视频编码器可用信号通知指示视频解码器应借以确定深度视图分量中宏块的运动信息的方式的额外信息。举例来说,在一些实例中,当IVMP旗标为假时,视频解码器能够确定宏块的分割模式信息,但可能需要额外信息来确定参考索引及运动向量信息。视频编码器在IVMP为假时作为语法元素用信号通知的此额外信息可为参考索引及运动向量信息或指示在哪里获得、预测或采用参考索引及运动向量信息的信息的明确信令。
图5是说明可利用本发明中描述的技术的实例视频编码及解码系统16的框图。如图5中所示,系统16包含源装置18,其产生稍后将由目的地装置20解码的经编码视频数据。源装置18及目的地装置20包括广泛范围的装置中的任一者,例如包含所谓的“智能”电话、所谓的“智能”平板计算机等无线手持机,或经装备以用于无线通信的其它此类无线装置。源装置18及目的地装置20的额外实例包含(但不限于)数字电视、数字直播系统中的装置、无线广播系统中的装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式无线电电话、卫星无线电电话、视频电话会议装置及视频流式传输装置等等。
目的地装置20可经由链路22接收待解码的经编码视频数据。链路22可包括能够将经编码视频数据从源装置18移动到目的地装置20的任何类型的媒体或装置。在一个实例中,链路22可包括使得源装置18能够实时地将经编码视频数据直接发射到目的地装置20的通信媒体。经编码的视频数据可根据通信标准(例如无线通信协议)得到调制,且被发射到目的地装置20。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成分组网络(例如局域网、广域网或全球网络,例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置18到目的地装置20的通信的任何其它设备。
或者,可将经编码数据从输出接口28输出到存储装置39。类似地,可通过输入接口从存储装置39存取经编码数据。存储装置39可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它适当数字存储媒体。在另一实例中,存储装置39可对应于文件服务器或可保持源装置18产生的经编码视频的另一中间存储装置。目的地装置20可经由流式传输或下载从存储装置39存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置20的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置20可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置39的传输可为流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用,例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如,经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据,或其它应用。在一些实例中,系统16可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图5的实例中,源装置18包含视频源24、视频编码器26及输出接口28。在一些情况下,输出接口28可包含调制器/解调器(调制解调器)及/或发射器。在源装置18中,视频源24可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统,或此类源的组合等源。作为一个实例,如果视频源24是摄像机,那么源装置18及目的地装置20可形成所谓的相机电话或视频电话。然而,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线及/或有线应用。
可由视频编码器26对所俘获、预先俘获或计算机产生的视频进行编码。经编码视频数据可经由源装置18的输出接口28直接发射到目的地装置20。经编码视频数据还可(或替代地)存储到存储装置39上以供稍后由目的地装置20或其它装置存取以用于解码及/或回放。
目的地装置20包含输入接口34、视频解码器36及显示装置38。在一些情况下,输入接口34可包含接收器及/或调制解调器。目的地装置20的输入接口34经由链路22接收经编码视频数据。经由链路22传达或在存储装置39上提供的经编码视频数据可包含由视频编码器26产生的多种语法元素以供由例如视频解码器36等视频解码器用于解码视频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置38可与目的地装置20集成或在目的地装置20外部。在一些实例中,目的地装置20可包含集成显示装置,且还经配置以与外部显示装置介接。在其它实例中,目的地装置20可为显示装置。大体来说,显示装置28将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器26及视频解码器36可根据视频压缩标准操作,所述视频压缩标准例如包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(还称为ISO/IEC MPEG-4 AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的新近公开可用的联合草案描述于“用于通用视听服务的高级视频译码(Advanced video coding for generic audiovisualservices)”(ITU-T推荐H.264(ITU-T Recommendation H.264),2010年3月)中。MVC的更近的公开可用的联合草案描述于“用于通用视听服务的高级视频译码”(ITU-T推荐H.264,2011年6月)中。MVC的当前联合草案已从2012年1月起获得审批。此外,存在一种新的视频译码标准,即高效率视频译码(HEVC)标准,其目前正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC的新近工作草案(WD)(在下文中称为HEVC WD8)从2012年7月20日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wgl1/JCTVC-J1003-v8.zip获得。出于描述的目的,在HEVC或H.264标准及此些标准的扩展的上下文中描述视频编码器26及视频解码器36。然而,本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。例如称为On2VP6/VP7/VP8的那些译码技术的专属译码技术也可实施本文所述的技术中的一或多者。
尽管图5中未展示,但在一些方面中,视频编码器26及视频解码器36可各自与音频编码器及解码器集成,且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中,如果适用,多路复用器-多路分用器单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器26及视频解码器36各自可实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器26及视频解码器36中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频序列通常包含一系列视频帧。图片群组(GOP)大体上包括一系列一或多个视频帧。GOP可包含GOP的标头、GOP的一或多个帧的标头或其它地方中的语法数据,其描述GOP中包括的帧的数目。每一帧可包含描述相应帧的编码模式的帧语法数据。视频编码器26通常对个别视频帧内的译码单位进行操作以便编码视频数据。视频块可对应于宏块、宏块的分区,且可能对应于分区的子块。视频块可具有固定或变化的大小,且可根据指定译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块,所述多个宏块可布置成若干分区,所述分区还被称为子块。
作为一实例,ITU-T H.264标准支持各种块大小的帧内预测(例如用于明度分量的16乘16、8乘8或4乘4及用于色度分量的8x8),以及各种块大小的帧间预测,例如用于明度分量的16x16、16x8、8x16、8x8、8x4、4x8及4x4及用于色度分量的对应缩放大小。在本发明中,“NxN”和“N乘N”可互换使用来指代在垂直及水平尺寸方面的块的像素尺寸,例如,16x16像素或16乘16像素。大体来说,16x16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,NxN块大体上在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可布置成若干行及若干列。此外,块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说,块可包括NxM像素,其中M未必等于N。
小于16乘16的块大小可被称为16乘16宏块的分区。视频块可包括像素域中的像素数据块或变换域中的变换系数块(例如在将例如离散余弦变换(DCT)、整数变换、小波变换或在概念上类似的变换等变换应用到表示经译码视频块与预测性视频块之间的像素差的残余视频块数据之后)。在一些情况下,视频块可包括变换域中的经量化的变换系数的块。
较小视频块可提供较佳分辨率,且可用于包括较高细节水平的视频帧的定位。大体来说,宏块及各种分区(包含分区的进一步分区,有时称为子块)可认为是视频块。另外,可将切片视为多个视频块,例如宏块及/或子块。每一切片可为视频帧的可独立解码单元。或者,帧本身可为可解码单元,或帧的其它部分可被定义为可解码单元。术语“可解码单元”可指视频帧的任何可独立解码的单元,例如整个帧、帧的切片、图片群组(GOP)(还称为序列),或根据适用译码技术定义的另一可独立解码的单元。
当宏块经帧内模式编码(例如,经帧内预测)时,所述宏块可包含描述宏块的帧内预测模式的数据。作为另一实例,当宏块经帧间模式编码(例如,经帧间预测)时,所述宏块可包含定义宏块的运动向量的信息。定义宏块的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)。此外,当经帧间预测时,宏块可包含参考索引信息,例如运动向量指向的参考帧,及/或所述运动向量的参考图片列表(例如,RefPicList0或RefPicList1)。
JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现存装置的几个额外能力。举例来说,虽然H.264提供九种帧内预测编码模式,但HM可提供多达三十三种方向/角度帧内预测编码模式加DC及平面模式。
HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含译码次序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。举例来说,作为四叉树的根节点的树块可分裂成四个子节点,且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未分裂子节点(为四叉树的叶节点)包括译码节点,即经译码视频块。与经译码位流相关联的语法数据可界定树块可分裂的最大次数,且还可界定译码节点的最小大小。在一些实例中,树块可称为LCU。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。举例来说,与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树划分成一或多个TU。TU可为正方形或非正方形形状。
HEVC标准允许根据TU变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。
一般来说,PU包含与预测过程有关的数据。举例来说,当PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的运动向量的数据。举例来说,定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如,列表0或列表1)。
大体来说,TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后,视频编码器26可计算对应于PU的残余值。残余值包括像素差值,所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下,本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块,即LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)大体上包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据,其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据,其描述用于相应切片的编码模式。视频编码器26通常对各个视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小,且可根据指定译码标准而大小不同。
作为一实例,HM支持各种PU大小的预测。假定特定CU的大小是2Nx2N,那么HM支持2Nx2N或NxN的PU大小的帧内预测,及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,而另一方向分割成25%及75%。CU的对应于25%分区的部分由“n”继之以“上方(U)”、“下方(D)”、“左侧(L)”或“右侧(R)”指示来指示。因而,举例来说,“2NxnU”是指水平地分割的2Nx2N CU,其中上方有2Nx0.5N PU,而下方有2Nx1.5N PU。
在H.264标准或HEVC标准中,在帧内预测性或帧间预测性译码之后,视频编码器26可在HEVC中计算CU的TU的残余数据或在H.264中计算宏块的残余数据。PU可包括空间域(还称为像素域)中的像素数据,且TU在将变换应用到残余视频数据之后可包括变换域中的系数,所述变换例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于PU的预测值(在HEVC中)或宏块的预测值(在H.264中)之间的像素差。
在用于产生变换系数的任何变换之后,视频编码器26可以执行变换系数的量化。量化大体上是指量化变换系数以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间被舍去到m位值,其中n大于m。
在一些实例中,视频编码器26可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器26可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器26可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器26还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器36在解码视频数据时使用。
为了执行CABAC,视频编码器26可向待发射的符号指派上下文模型内的上下文。举例来说,所述上下文可与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器26可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对短的代码对应于更有可能的符号,而较长的代码对应于不太可能的符号。以此方式,使用VLC可以举例来说实现优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。
在本发明中描述的实例中,视频编码器26可以上文所描述的方式对纹理视图分量的宏块及深度视图分量的宏块进行帧内或帧间预测。视频解码器36可执行由视频编码器26执行的功能的反转或互逆以解码经编码宏块。举例来说,当纹理视图分量中宏块是经帧间译码(例如,经帧间预测)时,视频编码器26用信号通知定义所述宏块用于运动信息的语法元素,例如分割模式信息、参考索引信息,及运动向量信息。视频解码器36接收宏块的运动信息语法元素,且基于所接收的运动信息解码所述宏块以重建原始纹理视图分量。视频编码器26及视频解码器36同样对于深度视图分量的宏块执行类似的功能。
然而,对于一些情境,视频编码器26可能不需要用信号通知定义深度视图分量的宏块的运动信息的语法元素。确切地说,对于深度视图分量的一些宏块,视频编码器26可用信号通知IVMP旗标,如上文所描述;然而,并非在每一实例中都需要用信号通知IVMP旗标。当不用信号通知IVMP旗标时,视频解码器36基于先前经解码块的状态确定IVMP旗标的状态,而无需接收IVMP旗标。
当IVMP旗标对于深度视图分量中的宏块为真时,视频解码器36使用来自纹理视图分量的对应宏块中的一者的运动信息解码深度视图分量中的宏块。再次,在本发明中描述的实例中,纹理视图分量与深度视图分量的空间分辨率可能不同,使得纹理视图分量中的多个宏块对应于深度视图分量中的一个宏块。
在用于本发明中时,术语“对应”可与术语“相关联”或“共置”可互换地使用。举例来说,如上文所描述,深度视图分量指示其对应纹理视图分量中的像素的相对深度。以此方式,深度视图分量及其对应纹理视图分量认为是与彼此相关联。因此,纹理视图分量中的多个宏块(即,纹理视图宏块)可认为与深度视图宏块相关联。而且,纹理视图宏块及其对应深度视图宏块中的一者可位于相应分量中的相同位置。举例来说,位于纹理视图分量的左上拐角中的纹理视图宏块对应于位于深度视图分量的左上拐角中的深度视图宏块。以此方式,纹理视图宏块及其对应深度视图宏块认为是共置的。
根据本发明中描述的技术,当视频解码器36确定启用IVMP时(例如,通过接收IVMP旗标或在不接收IVMP旗标的状态的情况下确定IVMP旗标的状态),视频解码器36确定如何使用来自对应于深度视图宏块的纹理视图宏块中的一者的运动信息。而且,即使视频解码器36确定对于深度视图宏块停用IVMP,视频解码器36仍可能能够确定所述深度视图宏块的一些运动信息。
仅出于说明的目的,首先通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一的实例描述所述技术。对于这些情况,存在各自依次描述的各种可能技术。接下来,通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例描述所述技术。类似地,对于这些情况,存在各自依次描述的各种可能技术。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一的实例中,深度视图分量的宽度为纹理视图分量的宽度的二分之一,且深度视图分量的高度为纹理视图分量的高度的二分之一。视频解码器36针对深度视图宏块所确定的运动信息的实例包含分割模式信息、参考索引信息,及运动向量信息。
作为一个实例,如果纹理视图分量中的对应宏块中的任一者是经帧内预测,则可停用IVMP。举例来说,返回参考图4A,纹理视图宏块2A到2D对应于深度视图宏块4。在此实例中,如果纹理视图宏块2A到2D中的任一者是经帧内预测,则视频编码器26可用信号通知IVMP旗标为假(例如,为零)以指示对于深度视图宏块4停用IVMP。或者,视频解码器36可能先前已解码纹理视图宏块2A到2D,且可确定对于深度视图宏块4停用IVMP而不需要从视频编码器26接收IVMP旗标。在任一情况下,视频解码器36可能不能够使用纹理视图宏块2A到2B中的任一者的运动信息用于解码深度视图宏块4。确切地说,视频编码器26可向视频解码器36用信号通知向视频解码器36指示解码深度视图宏块4所需的信息的额外信息。
作为另一实例,如果纹理视图分量中的对应宏块中的任一者具有等于“四个8x8MB分区”的宏块分割模式,则可停用IVMP。举例来说,返回参考图4B,纹理视图宏块6分割成四个8x8纹理视图分区8A到8D。在此情况下,视频编码器26可用信号通知IVMP旗标为假以指示对于深度视图宏块10停用IVMP。或者,因为视频解码器36可能在解码深度视图宏块10之前已经解码纹理视图宏块6,所以视频解码器36可确定对于深度视图宏块10停用IVMP而不需要接收IVMP旗标。
而且,在图4A中,如果纹理视图宏块2A到2D中的任一者分割成四个8x8 MB分区,则视频编码器26可用信号通知IVMP旗标为假以指示对于深度视图宏块4停用IVMP。再次,有可能使视频解码器36确定对于深度视图宏块4停用IVMP而不明确地从视频编码器26接收IVMP旗标。在此实例中,对于深度视图宏块4及深度视图宏块10两者,视频编码器26可用信号通知视频解码器36接收以确定解码经编码深度视图宏块4及深度视图宏块10的方式的额外信息。
如上文所描述,在一些实例中,当停用IVMP时,视频编码器26没有必要明确地用信号通知IVMP对于深度视图宏块为假。举例来说,当视频解码器36正解码纹理视图宏块2A到2D时,在一些情况下,视频解码器36确定纹理视图宏块2A到2D中的至少一者是经帧内预测。在此情况下,视频解码器36确定对于深度视图宏块4停用IVMP而不需要从视频编码器26接收IVMP旗标。类似地,当解码纹理视图宏块6时,视频解码器36确定所述纹理视图宏块分割成四个8x8纹理视图分区8A到8D。在此情况下,视频解码器36确定对于深度视图宏块10停用IVMP(例如,IVMP旗标为假)而不需要从视频编码器26接收IVMP旗标。以此方式,视频编码器26不需要在每一实例中都用信号通知IVMP旗标,由此进一步提高带宽效率。
当纹理视图宏块的宏块分区为“四个8x8 MB分区”时或当纹理视图分量中的对应宏块中的至少一者是经帧内预测时,即使停用IVMP,视频解码器36仍有可能确定对应深度视图宏块的分割模式。举例来说,当纹理视图宏块的宏块分区为“四个8x8 MB分区”时,视频解码器36经配置以将对应深度视图宏块的宏块分区设定为“四个8x8 MB分区”。类似地,如果纹理视图分量中的对应宏块中的任一者是经帧内预测,则视频解码器36经配置以将对应深度视图宏块的宏块分区设定为“四个8x8 MB分区”。举例来说,返回参考图4B,视频解码器36将深度视图宏块10的宏块分区设定为“四个8x8 MB分区”(例如,深度视图分区12A到12D)。
此外,因为视频解码器36将深度视图宏块10的宏块分区设定为“四个8x8 MB分区”,所以在编码期间,视频编码器26也可将深度视图宏块10的宏块分区设定为“四个8x8MB分区”。以此方式,视频编码器26可经配置以将深度视图宏块10的宏块分区设定为“四个8x8 MB分区”,且对于此实例,可经配置以用信号通知视频解码器36用以确定用于解码深度视图宏块10的运动信息的额外信息。
当深度视图分量为其对应纹理视图分量的分辨率的四分之一时,深度视图分量中的一个8x8宏块分区对应于纹理视图分量中的一个16x16宏块、纹理视图分量中的宏块的两个16x8宏块分区,或纹理视图分量中的宏块的两个8x16宏块分区。因此,针对深度视图分量中的8x8宏块分区描述以下实例。
再次,如上文所描述,如果对应16x16深度视图宏块的16x16纹理视图宏块中的任一者分割成四个8x8宏块分区或译码为帧内预测模式,则停用IMVP。如果所有对应16x16纹理视图宏块分割为一个16x16宏块分区、两个16x8宏块分区或两个8x16宏块分区,则在一些情况下启用IVMP,但可在一些其它情况下停用IVMP,如下文所描述。
此外,如果与用于纹理视图分量中的对应宏块的参考图片具有相同图片次序计数(POC)的图片不包含在用于深度视图分量的参考图片列表中,则可停用IVMP。举例来说,视频编码器26及视频解码器36可各自建构用于纹理视图分量及深度视图分量的参考图片列表(例如,ReflPicList0及/或RefPicList1)。如果对应于参考纹理视图分量的参考深度视图分量不在用于深度视图分量的所建构参考图片列表中,则可停用IVMP。在此实例中,参考纹理视图分量用以对对应纹理视图分量的对应块进行帧间预测。
举例来说,当8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区例如mb_type等于P_Skip、B_Skip、B_Direct_16xl6、P_L0_16xl6、B_L0_16xl6、B_Ll_16xl6或B_Bi_16x16)时,可启用IVMP。在此情况下,视频解码器36可将用于8x8深度视图宏块分区的参考索引设定为一个16xl6纹理视图宏块分区的参考索引。而且,在此情况下,视频解码器36可将用于8x8深度视图宏块分区的分区设定为“一个8x8子块”。
举例来说,视频编码器26可能已利用一个参考纹理视图分量(即,单向预测)或利用两个参考纹理视图分量(即,双向预测)帧间预测一个16xl6纹理视图宏块分区。视频解码器36可经配置以建构识别参考纹理视图分量的参考图片列表(即,RefPicList0及RefPicList1),所述参考纹理视图分量用以帧间预测所述一个16x16纹理视图宏块分区。参考纹理视图分量可用指示纹理视图分量的显示或输出次序的其相应图片次序计数(POC)值来加以识别。在此实例中,如果是单向预测,则视频编码器26可能已用信号通知RefPicList0或RefPicList1中的一者中的参考索引,RefPicList0或RefPicList1中的所述一者识别视频编码器26用以帧间预测所述一个16x16纹理视图宏块的参考纹理视图分量(例如,通过其POC值)。如果是双向预测,则视频编码器26可能已用信号通知RefPicList0及RefPicList1中的每一者中的参考索引,RefPicList0及RefPicList1中的每一者识别视频编码器26用以帧间预测所述一个16x16纹理视图宏块的参考纹理视图分量(例如,通过其POC值)。
类似于纹理视图分量,对于8x8深度视图宏块分区,视频解码器36可经配置以建构识别用以帧间预测8x8深度视图宏块分区的参考纹理视图分量的参考图片列表。为避免混淆,识别参考纹理视图分量的参考图片列表称为纹理视图RefPicList0及纹理视图RefPicList1,且识别参考深度视图分量的参考图片列表称为深度视图RefPicList0及深度视图RefPicList1。
在此实例中,其中8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区,纹理视图RefPicList0及纹理视图RefPicList1中识别的纹理视图分量对应于深度视图RefPicList0及深度视图RefPicList1中识别的深度视图分量。举例来说,纹理视图RefPicList0中识别的第一参考纹理视图分量对应于深度视图RefPicList0中识别的第一参考深度视图分量,以此类推。
深度视图分量还可通过其相应POC值加以识别。在一些实例中,纹理视图分量的POC值可为与对应于纹理视图分量的深度视图分量的POC值相同的POC值。举例来说,如果纹理视图分量的POC值为5,则其对应深度视图分量的POC值也将为5。然而,本发明的方面不限于此。
在一些情况下,纹理视图RefPicList0及纹理视图RefPicList1与深度视图RefPicList0及深度视图RefPicList1中的参考图片的次序可能不同。在此情况下,用于深度视图分量的参考图片可具有与纹理视图分量的参考图片的POC值相同的POC值,但深度视图RefPicList0及深度视图RefPicList1中的参考图片索引可能分别不同于纹理视图RefPicList0及纹理视图RefPicList1中的纹理视图分量的参考图片索引。
在此实例中,视频解码器36确定纹理视图RefPicList0及/或纹理视图RefPicList1中的参考纹理视图分量的POC值。如果纹理视图RefPicList0及纹理视图RefPicList1与深度视图RefPicList0及深度视图RefPicList1中的参考图片的排序不同,则视频解码器36确定深度视图RefPicList0及/或深度视图RefPicList1中的识别与参考纹理视图分量具有相同POC值的参考深度视图分量的参考索引。视频解码器36接着利用深度视图RefPicList0及RefPicList1中所确定的参考索引用于识别用以帧间预测8x8深度视图宏块分区的参考深度视图分量。
在以下描述中,假定用于深度视图分量的参考图片列表中的每一参考图片的POC等于用于纹理视图分量的参考图片列表中的每一参考图片的POC(例如,纹理视图RefPicList0及/或RefPicList1中的POC值的排序与深度视图RefPicList0及/或RefPicList1中的POC值的排序相同)。应理解,在以下实例中,有可能纹理视图RefPicList0及/或RefPicList1中的POC值的排序不同于深度视图RefPicList0及/或RefPicList1中的POC值的排序。在此些情况下,视频解码器36以上文所描述的方式确定深度视图RefPicList0及/或RefPicList1中的参考索引。而且,如上文所指出,如果纹理视图RefPicList0及/或RefPicList1中存在不包含在深度视图RefPicList0及/或RefPicList1中的POC值(无关于排序),则可对于那一深度视图宏块停用IVMP。
在一些实例中,如果视频编码器26从纹理视图RefPicList0中所识别的“第n”参考纹理视图分量帧间预测一个16xl6纹理视图宏块分区,接着解码8x8深度视图宏块分区,则视频解码器36可利用在深度视图RefPicList0中所识别的“第n”参考深度视图分量(假设排序相同)。相同情形将适用于视频编码器26从纹理视图RefPicList0及纹理视图RefPicList1中的每一者中所识别的两个参考纹理视图分量帧间预测一个16x16纹理视图宏块分区的情况。
然而,如果图片的排序不相同,则视频解码器36基于纹理视图图片列表的参考索引确定深度视图图片列表的参考索引。举例来说,如果图片的排序在深度视图参考图片列表与纹理视图参考图片列表中不相同,则如果视频编码器26从纹理视图RefPicList0中所识别的“第n”参考纹理视图分量帧间预测一个16x16纹理视图宏块分区,则视频解码器36确定纹理视图RefPicList0中的“第n”参考纹理视图分量的POC值。视频解码器36接着确定深度视图RefPicList0中的识别POC值与“第n”参考纹理视图分量的POC值相同的深度视图参考分量的参考索引。在此实例中,为解码8x8深度视图宏块分区,视频解码器36利用深度视图RefPicList0中所确定的参考索引。相同情形将适用于纹理视图RefPicList1及深度视图RefPicList1。
举例来说,视频解码器36可确定在纹理视图参考图片列表(例如,纹理视图RefPicList0及/或纹理视图RefPicList1)中列出POC值的次序不同于在深度视图参考图片列表(例如,深度视图RefPicList0及/或RefPicList1)中列出POC值的次序。在此情况下,为确定8x8深度视图宏块分区的参考索引信息,视频解码器36基于用于16x16纹理视图宏块的参考索引确定纹理视图参考图片列表中所识别的参考纹理视图分量的POC值。视频解码器36确定深度视图参考图片列表的参考索引,其中深度视图参考图片列表的所述参考索引识别深度视图参考图片列表中的等于参考纹理视图分量的POC值的POC值。
以此方式,视频解码器36可使用用于所述一个16x16纹理视图宏块分区的参考索引信息用于确定用于8x8深度视图宏块分区的参考索引信息。举例来说,当纹理视图分量与深度视图分量中的POC值的排序相同时,视频解码器36可将用于所述8x8深度视图宏块分区的参考索引信息设定为等于用于所述一个16x16纹理视图宏块分区的参考索引信息。在此情况下所述用于所述一个16x16纹理视图宏块分区的参考索引信息参考纹理视图RefPicList0及纹理视图RefPicList1中的一者或两者。视频解码器36可使用用于所述一个16x16纹理视图宏块分区的参考索引作为深度视图RefPicList0及深度视图RefPicList1中的一者或两者中的参考索引以解码所述8x8深度视图宏块分区。在此实例中,视频编码器26可使用用于在视频编码器26侧建构的纹理视图RefPicList0、纹理视图RefPicList1、深度视图RefPicList0及深度视图RefPicList1的相同参考索引来编码所述一个16x16纹理视图宏块分区及所述8x8深度视图宏块分区。
在其中POC值的排序在纹理视图RefPicList0及/或RefPicList1与深度视图RefPicList0及/或RefPicList1中不相同的实例中,视频解码器36可以上文所描述的方式确定深度视图RefPicList0及/或RefPicList1中的参考索引。视频解码器36可使用对于深度视图RefPicList0及深度视图RefPicList1中的一者或两者所确定的参考索引来解码所述8x8深度视图宏块分区。
而且,视频编码器26及视频解码器36可在8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区时确定所述8x8深度视图宏块分区的子块分区。举例来说,视频编码器26及视频解码器36可将8x8深度视图宏块分区的子块分区设定为“一个8x8子块”,其意味着不应进一步分割所述8x8深度视图宏块分区。
上方实例描述其中8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区的情境。下文描述由视频编码器26及视频解码器36实施的技术,其中8x8深度视图宏块分区对应于两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区。
在其中纹理视图宏块分割成两个16x8纹理宏块分区或两个8x16纹理视图宏块分区的以下实例中,通过其中两个16x8纹理宏块分区或两个8x16纹理视图宏块分区中的每一者在一个方向上经帧间预测(例如,相对于RefPicList0中所识别的图片或RefPicList1中所识别的图片进行帧间预测的P图片或P切片)的实例描述所述技术。在其中所述两个16x8纹理宏块分区或两个8x16纹理视图宏块分区在两个方向上经帧间预测(例如,相对于在RefPicList0中所识别的图片及在RefPicList1中所识别的图片进行帧间预测的B图片或B切片)的实例中,视频编码器26及视频解码器36可实施与下文相对于其中两个16x8纹理宏块分区或两个8x16纹理视图宏块分区相对于RefPicList0或RefPicList1中的图片进行帧间预测(即,在一个方向上进行帧间预测)的实例描述的那些技术实质上类似的技术。
在这些实例中的一些中,视频编码器26及视频解码器36经配置以确定所述8x8深度视图宏块分区的分割模式为“一个8x8子块”(例如,没有8x8深度视图宏块分区的进一步分割)。然而,本发明的方面不限于此,且在一些情况下,视频编码器26及视频解码器36确定用于8x8深度视图宏块的分割模式不同于“一个8x8子块”。以此方式,当启用IVMP时,视频解码器36经配置以确定8x8深度视图宏块分区的分割模式,而不需要接收指示8x8深度视图宏块分区的分割模式的信息。而且,以此方式,当启用IVMP时,视频编码器26不需要用信号通知指示8x8深度视图宏块分区的分割模式的信息。
此外,在以下实例中,用于两个纹理视图宏块分区的参考索引不同且其两者皆不等于-1。举例来说,识别两个16x8纹理视图宏块分区中的每一者或两个8x16纹理视图宏块分区中的每一者的参考纹理视图分量的参考索引不同。换句话说,如果纹理视图宏块分割成两个16x8或8x16纹理视图宏块分区,则当所述两个16x8或两个8x16纹理视图宏块分区中的每一者的参考索引不同时,纹理视图宏块分区中的每一者相对于不同参考纹理视图分量进行帧间预测。在以下实例之后更详细地描述其中用于两个16x8或两个8x16纹理视图宏块分区的参考索引相同的情境。
作为一个实例,当8x8深度视图宏块分区对应于两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区时,可仅从两个纹理视图宏块分区中的一者(即,两个16x8纹理视图宏块分区中的一者或两个8x16中的一者)预测参考索引及运动向量。举例来说,在此情况下,存在至少两个可能的参考索引及运动向量信息:一个来自16x8或8x16纹理视图宏块分区中的第一者,且一个来自16x8或8x16纹理视图宏块分区中的第二者。视频解码器36经配置以选择用于两个16x8或8x16纹理视图宏块分区中的至少一者的参考索引及运动向量信息作为用于所述8x8深度视图宏块分区的参考索引及运动向量信息。
在一些实例中,视频解码器36基于8x8深度视图宏块分区在16x16深度视图宏块内的位置及两个16x8或8x16纹理视图宏块分区在16x16纹理视图宏块内的位置选择所述16x8或8x16纹理视图宏块分区中的一者。举例来说,视频解码器36选择在纹理视图宏块内涵盖与8x8深度视图宏块分区在深度视图宏块内涵盖的区域相同的区域的纹理视图宏块分区。视频解码器36使用16x8或8x16纹理视图宏块分区中的所选一者的参考索引及运动向量信息来确定对应于包含所述两个16x8或8x16纹理视图宏块分区的16x16纹理视图宏块的8x8深度视图宏块分区的参考索引及运动向量信息。进一步在图6中说明此技术。
图6是用于确定深度视图分区的参考索引及运动向量信息的纹理视图块及深度视图块的概念图。图6说明分割成两个8x16纹理视图宏块分区(即,纹理视图分区40A及纹理视图分区40B)的纹理视图宏块39。应理解,相对于图6描述的技术同样适用于其中纹理视图宏块39分割成两个16x8纹理视图宏块分区的实例。图6还说明分割成四个8x8深度视图宏块分区(即,深度视图分区42A到42D)的深度视图宏块41。
纹理视图分区40A及40B中的每一者可具有其自身的独立运动信息。举例来说,用于纹理视图分区40A的参考索引不同于用于纹理视图分区40B的参考索引。而且,纹理视图分区40A的运动向量不同于用于纹理视图分区40B的运动向量。
在图6的实例中,如果对于深度视图宏块41启用IVMP,则视频解码器36能够确定用于深度视图分区42A到42D中的每一者的参考索引及运动向量信息。如上所述,假设深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。在此实例中,8x8深度视图分区42A到42D中的每一者对应于一个16x16纹理视图宏块。
举例来说,假设8x8深度视图宏块分区42A对应于16x16纹理视图宏块39。在此实例中,视频解码器36确定8x8深度视图宏块分区42A涵盖16x16深度视图宏块41的左上拐角。视频解码器36还确定8x16纹理视图宏块分区40A涵盖16x16纹理视图宏块39的左上拐角。因此,在此实例中,为确定用于8x8深度视图宏块分区42A的参考索引及运动向量信息,视频解码器36选择8x16纹理视图宏块分区40A,因为8x16纹理视图宏块分区40A在纹理视图宏块39内涵盖与8x8深度视图宏块分区42A在深度视图宏块41内涵盖的区域相同的区域。
换句话说,视频解码器36确定两个纹理视图块分区中的哪一者(例如,8x16纹理视图宏块分区40A或8x16纹理视图宏块分区40B)在深度视图块(例如,深度视图宏块41)的至少一个分区(例如,8x8深度视图宏块分区42A)相对于所述深度视图块所位于的位置处相对于纹理视图块(例如,纹理视图宏块39)涵盖至少相同区域。在本发明中描述的技术中,在深度视图块的至少一个分区相对于所述深度视图块所位于的位置处相对于纹理视图块涵盖至少相同区域的纹理视图块分区可认为是较接近于纹理视图块的中心的纹理视图块分区。
举例来说,8x16纹理视图宏块40A在8x8深度视图分区42A相对于16x16深度视图宏块41所位于的位置处相对于纹理视图宏块39涵盖至少相同区域。在此情况下,视频解码器36选择8x16纹理视图宏块分区40A作为其运动信息用以确定用于8x8深度视图宏块分区42A的运动信息的分区。
在此实例中,视频解码器36可确定用于8x8深度视图宏块分区42A的深度视图RefPicList0及/或深度视图RefPicList1中的参考索引与用于8x16纹理视图宏块分区40A的纹理视图RefPicList0及/或纹理视图RefPicList1中的参考索引相同。视频解码器36可如下文所描述对8x16纹理视图宏块分区40A的运动向量执行缩放以确定8x8深度视图宏块分区42A的运动向量。以此方式,视频解码器36可能够确定用于8x8深度视图宏块分区42A的参考索引及运动向量信息而不需要在由视频编码器26用信号通知的经译码位流中接收用于8x8深度视图宏块分区42A的参考索引及运动向量信息。
作为另一实例,假设8x8深度视图宏块分区42B对应于16x16纹理视图宏块39。在此实例中,视频解码器36确定8x8深度视图宏块分区42B涵盖16x16深度视图宏块41的右上拐角。视频解码器36还确定8x16纹理视图宏块分区40B涵盖16x16纹理视图宏块39的右上拐角。举例来说,8x16纹理视图宏块分区42B在8x8深度视图宏块分区42B相对于16x16深度视图宏块41所位于的位置处相对于纹理视图宏块39涵盖相同区域。
因此,在此实例中,为确定用于8x8深度视图宏块分区42B的参考索引及运动向量信息,视频解码器36选择8x16纹理视图宏块分区40B,因为8x16纹理视图宏块分区40B在纹理视图宏块39内涵盖与8x8深度视图宏块分区42B在深度视图宏块41内涵盖的区域相同的区域。在此实例中,视频解码器36类似地确定用于8x8深度视图宏块分区42B的参考索引及运动向量信息,如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
作为另一实例,假设8x8深度视图宏块分区42C对应于16x16纹理视图宏块39。在此实例中,视频解码器36确定8x8深度视图宏块分区42C涵盖16x16深度视图宏块41的左下拐角。视频解码器36还确定8x16纹理视图宏块分区40A涵盖16x16纹理视图宏块39的左下拐角。因此,在此实例中,为确定用于8x8深度视图宏块分区42C的参考索引及运动向量信息,视频解码器36选择8x16纹理视图宏块分区40A,因为8x16纹理视图宏块分区40A在纹理视图宏块39内涵盖与8x8深度视图宏块分区42C在深度视图宏块41内涵盖的区域相同的区域。在此实例中,视频解码器36类似地确定用于8x8深度视图宏块分区42C的参考索引及运动向量信息,如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
作为另一实例,假设8x8深度视图宏块分区42D对应于16x16纹理视图宏块39。在此实例中,视频解码器36确定8x8深度视图宏块分区42D涵盖16x16深度视图宏块41的右下拐角。视频解码器36还确定8x16纹理视图宏块分区40B涵盖16x16纹理视图宏块39的右下拐角。因此,在此实例中,为确定用于8x8深度视图宏块分区42D的参考索引及运动向量信息,视频解码器36选择8x16纹理视图宏块分区40B,因为8x16纹理视图宏块分区40B在纹理视图宏块39内涵盖与8x8深度视图宏块分区42D在深度视图宏块41内涵盖的区域相同的区域。在此实例中,视频解码器36类似地确定用于8x8深度视图宏块分区42D的参考索引及运动向量信息,如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
在上文的实例中,视频解码器36选择在纹理视图宏块中涵盖与深度视图宏块分区在深度视图宏块中涵盖的区域相同的区域的纹理视图宏块分区。然而,本发明的方面不限于此。在一些实例中,视频解码器36选择16x8或8x16纹理视图宏块分区中较接近于纹理视图分量的中心的一者作为从其确定8x8深度视图宏块分区的纹理视图宏块分区。或者,选择16x8或8x16纹理视图宏块分区中具有较小参考索引的一者作为从其确定8x8深度视图宏块的运动信息的纹理视图宏块分区。或者,对于此深度宏块将IVMP设定为假(即,停用)。
在视频解码器36确定深度视图宏块分区(当其对应纹理视图宏块分割为两个16x8或8x16纹理视图宏块分区时)的运动信息的以上实例中,假设用于所述两个16x8或8x16纹理视图宏块分区的参考索引不同且不等于-1。在此实例中,如上文所描述,视频解码器36选择所述两个16x8或8x16纹理视图宏块分区中的一者且使用所述运动信息来确定对应于分割成所述两个16x8或8x16纹理视图宏块分区的纹理视图宏块的8x8深度视图宏块分区的运动信息。
作为一实例,假设视频解码器36选择纹理视图宏块内的两个8x16纹理视图宏块分区中的第一8x16纹理视图宏块分区。在此实例中,视频解码器36使用用以识别第一8x16纹理视图宏块的参考纹理视图分量的参考索引作为用以识别用以解码8x8深度视图宏块分区的参考深度视图分量的参考索引。类似地,在此实例中,视频编码器26使用用以识别第一8x16纹理视图宏块的参考纹理视图分量的参考索引作为用以识别用以编码8x8深度视图宏块分区的参考深度视图分量的参考索引。
在这些实例中,视频解码器36及视频编码器26还使用第一8x16纹理视图宏块分区的运动向量信息用于分别解码或编码8x8深度视图宏块分区。举例来说,除识别用以帧间预测两个8x16或两个16x8纹理视图宏块分区的参考纹理视图分量之外,视频编码器26还识别用于所述两个8x16或两个16x8纹理视图宏块分区中的每一者的运动向量。在此实例中,视频解码器36确定用于第一8x16纹理视图宏块分区的运动向量,且基于所述所确定的用于第一8x16纹理视图宏块分区的运动向量确定用于8x8深度视图宏块分区的运动向量。
举例来说,视频解码器36可能需要对用于第一8x16纹理视图宏块分区的所述所确定的运动向量的运动向量执行额外缩放,因为纹理视图分量与深度视图分量中存在空间差。以下更详细地描述此缩放。
在一些替代实例中,并非使用用于与8x8深度视图宏块分区涵盖相同区域的8x16或16x8纹理视图宏块分区的参考索引及运动向量,视频解码器36使用用于具有较小参考索引的纹理视图宏块分区的参考索引及运动向量。举例来说,如果用于第一8x16纹理视图宏块分区的参考索引小于用于第二8x16纹理视图宏块分区的参考索引,则视频解码器36使用用于第一8x16纹理视图宏块分区的参考索引及运动向量用于对8x8深度视图宏块分区进行帧间预测。如果用于第二8x16纹理视图宏块分区的参考索引小于用于第一8x16纹理视图宏块分区的参考索引,则将出现相反情形。相同技术将适用于其中纹理视图宏块分割成两个16x8纹理视图宏块分区的情况。
前述实例描述用于在两个8x16及16x8纹理视图宏块分区的参考索引不同时确定对8x8深度视图宏块分区进行帧间预测的方式的一些实例实施方案。然而,可能存在用于两个8x16及16x8纹理视图宏块分区的参考索引不同时的其它实施方案。举例来说,并非使用参考索引信息中的任一者或使用运动向量信息中的任一者,视频编码器26可用信号通知IVMP旗标为假(即,停用IVMP)。如上文所描述,当停用IVMP时,视频解码器36可不使用运动信息,且可改为接收定义将由视频解码器36用于帧间预测(例如,解码)8x8深度视图宏块分区的运动信息的语法元素。
作为另一实例,视频编码器26及视频解码器36可确定用于两个8x16或两个16x8纹理视图宏块分区的运动向量的映射因数。所述映射因数可基于用于帧间预测的参考纹理视图分量的图片次序计数(POC)值。POC值为指示纹理视图分量的显示或输出次序的数值。举例来说,具有较低POC值的纹理视图分量先于具有较高POC值的纹理视图分量显示或输出。
举例来说,假设两个8x16或两个16x8纹理视图宏块分区中的一者利用称为RefA的参考纹理视图分量进行帧间预测,且所述两个8x16或两个16x8纹理视图宏块分区中的另一者利用称为RefB的参考纹理视图分量进行帧间预测。RefPicList0或RefPicList1中用于RefA的参考索引可为ref_idxA,且RefPicList0或RefPicList1中的RefB的参考索引可为ref_idxB。在此实例中,视频编码器26可用信号通知ref_idxA及ref_idxB的值,且指示ref_idxA及ref_idxB是否参考RefPicList0或RefPicList1。视频解码器30可接着通过基于ref_idxA及ref_idxB索引值编索引到RefPicList0或RefPicList1而确定RefA及RefB的POC值。
视频编码器26及视频解码器36可实施以下方程式以确定映射因数:
映射因数=(POC(RefB)-POC(CurrP))/(POC(RefA)-(POC(CurrP))。
在上方方程式中,CurrP是指当前纹理视图分量,POC(CurrP)是指当前纹理视图分量的POC值,POC(RefB)是指RefB的POC值,且POC(RefA)是指RefA的POC值。
在此实例实施方案中,ref_idxA的值大于ref_idxB的值。换句话说,RefA可为用于两个8x16或两个16x8纹理视图宏块分区中具有较大参考索引值的一者的参考纹理视图分量,且RefB可为用于所述两个8x16或两个16x8纹理视图宏块分区中具有较小参考索引值的另一者的参考纹理视图分量。
通过映射因数,视频编码器26及视频解码器36可将具有较大参考索引的一个运动向量映射到具有较小参考索引的运动向量。举例来说,视频编码器26及视频解码器36可将映射因数与用于两个8x16或两个16x8纹理视图宏块分区中具有较大参考索引值的一者的运动向量的x及y分量相乘。视频编码器26及视频解码器36可接着使用所得映射运动向量值用于确定用于8x8深度视图宏块分区的运动向量。举例来说,在一些实例中,视频编码器26及视频解码器36可能需要进一步缩放经映射运动向量值,因为纹理视图分量与深度视图分量的空间分辨率不同,如下文更详细描述的。
以此方式,在此实例实施方案中,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的运动向量。视频编码器26及视频解码器36可通过将映射因数与较大参考索引值相乘而确定用于8x8深度视图宏块分区的参考索引。以此方式,在此实例实施方案中,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引。在此实例实施方案中,视频编码器26及视频解码器36可基于纹理视图宏块分区是否分别为16x8或8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。
在一些情况下,如果用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考纹理视图分量为视图间纹理视图分量(例如,不在与当前纹理视图分量相同的视图中的纹理视图分量),则视频编码器26及视频解码器36可不实施上文所描述的映射技术。确切地说,视频编码器26及视频解码器36可实施在视频解码器36使用用于8x16或16x8纹理视图宏块分区(其在纹理视图宏块中涵盖与8x8深度视图宏块分区在深度视图宏块中涵盖的区域相同的区域)的运动信息作为用于8x8深度视图宏块分区的运动信息的情况下描述的技术。
在以上实例中的一些中,纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区,且所述两个8x16或两个16x8纹理视图宏块分区中的每一者是利用不同参考纹理视图分量经帧间预测(即,用于每一分区的参考索引不同)。在一些实例中,有可能某一参考图片列表的两个参考索引都是-1(例如,对于参考图片列表X(X等于0或1),用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考索引及用于所述两个8x16或两个16x8纹理视图宏块分区中的另一者的参考索引是-1)。当两个参考索引都是-1时,视频编码器26及视频解码器36可确定不从RefPicListX而是从一些其它参考纹理视图分量(例如,RefPicList(1-X))预测8x8深度视图宏块分区。换句话说,视频编码器26及视频解码器36可确定从索引值不等于-1的参考图片列表预测8x8深度视图宏块。
在此情况下,视频编码器26及视频解码器36可导出用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考图片列表(1-X)中的运动向量信息及参考图片索引以确定用于所述8x8深度视图宏块分区的运动向量信息。举例来说,假设16x16纹理视图宏块分割成第一16x8纹理视图宏块分区及第二16x8纹理视图宏块分区。
如果纹理视图参考图片列表X(X为0或1)中的两个参考索引都是-1(意味着不从对应于参考图片列表X的方向预测第一及第二16x8纹理视图宏块分区),则视频编码器26及视频解码器36可将深度视图参考图片列表X中的对应8x8深度视图宏块分区的参考索引设定为等于-1。举例来说,如果用于第一及第二16x8纹理视图宏块分区两者的纹理视图RefPicList0的参考索引为-1,则视频编码器26及视频解码器36可将用于深度视图RefPicList0的参考索引设定为等于-1。对于用于深度视图RefPicList1的参考索引,视频编码器26及视频解码器36可确定第一及第二16x8纹理视图宏块中的哪一者与8x8深度视图宏块分区(假设用于第一及第二16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引不同)涵盖相同区域。视频编码器26及视频解码器36可将用于深度视图RefPicList1的参考索引设定为等于与8x8深度视图宏块分区涵盖相同区域的16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引。
在此实例中,视频编码器26及视频解码器36可将8x8深度视图宏块分区的分割模式设定为“一个8x8子块”。而且,在此实例中,视频编码器26及视频解码器36可基于用于在纹理视图宏块中涵盖与8x8深度视图宏块分区涵盖16x16深度视图宏块的区域相同的区域的16x8纹理视图宏块分区的运动向量信息确定用于8x8深度视图宏块分区的运动向量信息。
尽管先前实例描述其中16x16纹理视图宏块分割成两个16x8纹理视图宏块分区的条件,但视频编码器26及视频解码器36可实施与其中16x16纹理视图宏块分割成两个8x16纹理视图宏块分区的实例中类似的技术。而且,尽管先前实例描述其中用于RefPicList0的参考索引为-1的条件,但视频编码器26及视频解码器36可实施与其中用于RefPicList1的参考索引为-1的条件类似的技术。
在一些实例中,如果一个参考索引为-1且相同参考图片列表中的另一参考索引不为-1,则视频编码器26及视频解码器36可将对应8x8深度视图宏块分区的参考索引设定为等于不等于-1的纹理视图宏块分区的参考索引。举例来说,继续先前实例,假设用于第一16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“A”,其中A不等于-1,且用于第一16x8纹理视图宏块分区的纹理视图RefPicList1为-1。而且,假设用于第二16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“B”,其中B不等于-1,且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1为“C”,其中C不等于-1。
在此实例中,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList1的参考索引为“C”,因为用于第一16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引为-1,且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引为C。换句话说,对于深度视图RefPicList1,视频编码器26及视频解码器36可将用于深度视图宏块分区的参考索引设定为不等于-1的纹理视图宏块分区的参考索引。
作为另一实例,假设用于第一16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“D”,其中D不等于-1,且用于第一16x8纹理视图宏块分区的纹理视图RefPicList1为-1。而且,假设用于第二16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为-1,且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1为“E”,其中E不等于-1。
在此实例中,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList0的参考索引为D,因为D为用于不等于-1的16x8纹理视图宏块分区的RefPicList0的参考索引。而且,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList1的参考索引为E,因为E为用于不等于-1的16x8纹理视图宏块分区的RefPicList1的参考索引。
在其中用于参考图片列表中的每一者的参考索引中的一者为-1且其它者不为-1的以上实例中,视频编码器26及视频解码器36可基于其参考索引用作用于8x8深度视图宏块分区的参考索引的纹理视图宏块的运动向量信息确定8x8深度视图宏块分区的运动向量信息。举例来说,视频编码器26及视频解码器36可利用其参考索引不等于-1的16x8纹理视图宏块分区的运动向量信息(例如,其在RefPicList1中的参考索引为C的第二16x8纹理视图宏块分区、其在RefPicList0中的参考索引为D的第一16x8纹理视图宏块分区,及其在RefPicList1中的参考索引为E的第二16x8纹理视图宏块分区)。
在其中视频编码器26及视频解码器36确定深度视图RefPicList1中的参考索引为C的实例中,视频编码器26及视频解码器36可能仍需要确定对深度视图RefPicList0的参考索引。在此情况下,如果在用于第一16x8纹理视图宏块分区的纹理视图RefPicList0中的参考索引不等于在用于第二16x8纹理视图宏块分区的纹理视图RefPicList1中的参考索引(例如,在以上实例中A不等于B),则视频编码器26及视频解码器36可确定8x8深度视图宏块分区与第一16x8纹理视图宏块分区还是第二16x8纹理视图宏块分区涵盖相同区域。如果第一16x8纹理视图宏块与8x8深度视图宏块分区涵盖相同区域,则视频编码器26及视频解码器36可确定用于深度视图RefPicList0的参考索引为A。如果第二16x8纹理视图宏块与8x8深度视图宏块分区涵盖相同区域,则视频编码器26及视频解码器36可确定用于深度视图RefPicList0的参考索引为B。
在此实例中,视频编码器26及视频解码器36可利用与8x8深度视图宏块分区涵盖相同区域的16x8纹理视图宏块的运动向量信息来确定用于RefPicList0中所识别的参考图片的8x8深度视图宏块分区的运动向量信息。而且,在此实例中,视频编码器26及视频解码器36可将8x8深度视图宏块分区的分割模式设定为“一个8x8子块”。
在前述实例中的一些中,纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区,其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引不同且不等于-1、两者皆为-1,或一者为-1且另一者不为-1。这些前述实例描述使用例如参考索引、运动向量及分割模式信息等运动信息用于确定对应8x8深度视图宏块分区的运动信息的实例实施方案。
以下实例描述其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同且所述参考索引中的至少一者不为-1的实例实施方案。举例来说,在以上实例中,假设用于第一16x8纹理视图宏块分区的参考索引值A不等于用于第二16x8纹理视图宏块分区的参考索引值B。然而,在一些情况下,A与B可相等。
应理解,即使在其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同的实例中,视频编码器26及视频解码器36也可实施类似于上文所描述的那些技术的技术。用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同且所述参考索引中的至少一者不为-1的以下技术是作为一个实例而提供,且不应被视为限制性的。
在此情况下,视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引与用于两个8x16或两个16x8纹理视图宏块分区中的任一者的参考索引相同,因为两个参考索引相同。而且,视频编码器26及视频解码器36可基于对应纹理视图宏块分别分割成两个16x8纹理视图宏块分区还是两个8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。
对于运动向量,视频编码器26及视频解码器36可利用用于纹理视图宏块分区的对应运动向量中的每一者的运动向量。举例来说,如果8x8深度视图宏块分区进一步分割成“两个8x4子块”(因为纹理视图宏块分割成两个16x8纹理视图宏块分区),则视频编码器26及视频解码器36可基于用于顶部16x8纹理视图宏块分区的运动向量确定用于8x8深度视图宏块的顶部8x4子块的运动向量,且可基于用于底部16x8纹理视图宏块分区的运动向量确定用于8x8深度视图宏块分区的底部8x4子块的运动向量。视频编码器26及视频解码器36可类似地确定用于8x8深度视图宏块分区的4x8子块的运动向量,但是基于对应16x16纹理视图宏块的左方及右方8x16纹理视图宏块分区。
在前述实例中的一些中,纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区,其中用于两个8x16或两个16x8纹理视图宏块分区的参考图片列表中的至少一者中的参考索引相同且不等于-1。以此方式,视频编码器26及视频解码器36可基于对应纹理视图宏块分别分割成两个16x8纹理视图宏块分区还是两个8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。否则,(对于每一参考图片列表,如果用于两个16x8或两个8x16纹理视图分区的参考索引不同且不等于-1,或两者皆为-1,或一者为-1且另一者不为-1),用于8x8深度视图宏块分区的子块分区设定为“一个8x8子块”(例如,不对8x8深度视图宏块分区进行进一步分割)。
如上文所描述,当启用IVMP时(即,上文所描述的其中视频编码器26及视频解码器36使用来自两个16x8或两个8x16纹理视图宏块分区中的一者的运动信息用于确定8x8深度视图宏块分区的运动信息的实例),视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引。当视频编码器26及视频解码器36确定参考索引时,具有相同参考索引或具有其参考索引的相关纹理视图宏块分区(即,两个16x8或两个8x16纹理视图宏块分区中的一者)的运动向量可指派给对应8x8深度视图宏块分区。
此外,为获得用于8x8深度视图宏块分区的所确定的纹理视图宏块分区的运动向量,视频编码器26及视频解码器36可基于深度视图分量及纹理视图分量的空间分辨率执行缩放。举例来说,在以上实例中,深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。因此,视频编码器26及视频解码器36可缩放所确定的纹理视图宏块分区的运动向量以补偿空间分辨率的差。在如上文所描述的其中应用映射因数的实例中,视频编码器26及视频解码器36也可执行此缩放。
举例来说,假设视频编码器26及视频解码器36确定用于两个16x8纹理视图宏块分区中的第一者的运动向量将用于确定8x8深度视图宏块分区的运动向量。而且,假设用于此16x8纹理视图宏块分区的运动向量表示为(MVx,MVy),其中MVx为x分量,且MVy为运动向量的y分量。在此实例中,视频编码器26及视频解码器36可将MVx值除以2且将MVy值除以2以确定用于8x8深度视图宏块分区的运动向量。视频编码器26及视频解码器36可将x及y分量中的每一者除以2,因为深度视图分量的宽度为纹理视图分量的宽度的二分之一,且深度视图分量的高度为纹理视图分量的高度的二分之一。因此,由MV表示的用于8x8深度视图宏块分区的运动向量等于(MVx/2,MVy/2)。
在上文所描述的实例中,如果对应于深度视图宏块的16x16纹理视图宏块分区中的任一者分割成四个8x8纹理视图宏块分区,则对于深度视图宏块停用IVMP。然而,并非在每一实例中都是如此。在一些情况下,即使16x16纹理视图宏块分割成四个8x8深度视图宏块分区,也可对于深度视图宏块启用IVMP。
在此实例中,视频解码器36可确定用于8x8深度视图宏块分区的运动信息(例如,参考索引信息、分割模式信息及运动向量信息中的至少一者。举例来说,返回参考图4B,假设纹理视图宏块6对应于深度视图宏块10的深度视图分区12B。在此实例中,即使纹理视图宏块6分割成四个8x8纹理视图分区8A到8D,也可不停用IVMP。
实际上,在此实例中,视频解码器36确定8x8纹理视图分区8A到8D中的哪一者在深度视图分区12B相对于深度视图宏块10所位于的位置处相对于纹理视图宏块6涵盖相同区域。举例来说,纹理视图分区8B在深度视图分区12B相对于深度视图宏块10所位于的位置处相对于纹理视图宏块6涵盖相同区域。在此实例中,视频解码器36可利用纹理视图分区8B的参考索引来确定深度视图分区12B的参考索引。
在前述实例中,深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。然而,本发明中描述的技术不限于此。在其它实例中,深度视图分量与纹理视图分量的空间分辨率之间的比率可不同于四分之一。出于说明的目的,下文描述当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时视频编码器26及视频解码器36的实例实施方案。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例中,深度视图分量的宽度可为纹理视图分量的宽度的二分之一且高度可相同,或深度视图分量的高度可为纹理视图分量的高度的二分之一且宽度可相同。而且,当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时,一个深度视图宏块可对应于两个纹理视图宏块。
举例来说,在这些情况下,16x16深度视图宏块可对应于两个16x16纹理视图宏块。所述两个对应16x16纹理视图宏块可并排布置,或叠加布置。如果纹理视图宏块并排布置,则两个16x8深度视图宏块分区中的一者对应于两个16x16纹理视图宏块中的一者,且两个16x8深度视图宏块分区中的另一者对应于另一16x16纹理视图宏块。如果纹理视图宏块叠加地布置,则两个8x16深度视图宏块分区中的每一者分别对应于两个16x16纹理视图宏块中的每一者。
而且,如果纹理视图宏块并排布置,则两个8x8深度视图宏块子块中的一者对应于两个16x8纹理视图宏块分区中的一者,且两个8x8深度视图宏块子块中的另一者对应于另一16x8纹理视图宏块分区。如果纹理视图宏块叠加地布置,则两个8x8深度视图宏块子块中的每一者分别对应于两个8x16纹理视图宏块分区中的每一者。
当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时,如果纹理视图分量中的两个对应宏块中的任一者是经帧内预测,则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。而且,如果纹理视图分量中的两个对应宏块中的任一者具有等于“四个8x8 MB分区”的宏块分区模式,则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。
在一些实例中,如果深度视图分量的宽度为纹理视图分量的宽度的二分之一,且纹理视图分量中的两个对应宏块中的任一者的宏块分区等于“两个8x16分区”,则视频编码器26及视频解码器36可确定对于深度视图宏块停用IVMP。类似地,如果深度视图分量的高度为纹理视图分量的高度的二分之一,且纹理视图分量中的两个对应宏块中的任一者的宏块分区等于“两个16x8分区”,则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。
如果纹理视图分量中的两个对应宏块皆具有等于“一个16x16MB分区”的分割模式,则视频编码器26及视频解码器36可确定(例如,设定)所述深度视图宏块的分区等于“两个8x16分区”(如果深度视图分量具有纹理视图分量的宽度的二分之一)或“两个16x8分区”(如果深度视图分量具有纹理视图分量的高度的二分之一)。否则,视频编码器26及视频解码器36可确定(例如,设定)深度视图宏块的分区为“四个8x8 MB分区”。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例中,如果两个对应纹理视图宏块皆具有等于“一个16x16MB分区”的分割模式,则视频编码器26及视频解码器36可确定深度视图宏块的分区等于“两个8x16MB分区”(如果深度视图分量具有纹理视图分量的宽度的二分之一)或“两个16x8MB分区”(如果深度视图分量具有纹理视图分量的高度的二分之一)。在这些实例中,视频编码器26及视频解码器36可确定用于深度视图宏块分区中的每一者的参考索引等于其对应的纹理视图宏块的参考索引。在一些其它实例中,视频编码器26及视频解码器36可确定用于8x8深度视图宏块子块中的每一者的参考索引等于其对应的16x8或8x16纹理视图宏块分区的参考索引。
为确定运动向量,在其中深度视图分量的空间分辨率为纹理视图分量的四分之一的实例中,因为深度视图宏块的每一深度视图宏块分区的分割模式是从所述两个对应纹理视图宏块的一个纹理视图宏块确定,因此视频编码器26及视频解码器36可仅缩放一个运动向量。举例来说,类似于深度视图分量的空间分辨率为纹理视图分量的四分之一的实例,视频编码器26及视频解码器36可能需要缩放对应纹理视图宏块的运动向量以补偿空间分辨率的差。
举例来说,如果纹理视图分量的宏块或分区的运动向量为(MVx,MVy),且如果深度视图分量的宽度为纹理视图分量的宽度的二分之一,则视频编码器26及视频解码器36可确定深度视图分量的宏块分区或子块的运动向量(表示为MV')为MV'=(MVx/2,MVy)。如果深度视图分量的高度为纹理视图分量的高度的二分之一,则视频编码器26及视频解码器36可确定深度视图分量的宏块分区或子块的运动向量(表示为MV')为MV'=(MVx,MVy/2)。
因此,根据本发明中描述的技术,视频译码器(例如,视频编码器26或视频解码器36)可编码或解码(例如,译码)纹理视图分量的多个纹理视图块。所述多个纹理视图块可对应于深度视图分量的单个深度视图块。作为说明,图4A中的纹理视图宏块2A到2D对应于单个深度视图宏块4。
此外,深度视图分量与纹理视图分量可属于存取单元内的相同视图。在上文所描述的实例中,深度视图块(例如,单个深度视图宏块4)可指示对应多个纹理视图块(例如,纹理视图宏块2A到2D)内的所有像素的相对深度。如上文所描述,纹理视图分量与深度视图分量的空间分辨率可不同。举例来说,深度视图分量的空间分辨率可为纹理视图分量的四分之一(其为二分之一宽度及二分之一高度),其它比率也是可能的,例如二分之一。
视频译码器可从所述多个对应纹理视图块中的纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。在一些实例中,视频译码器可仅从所述多个对应纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。视频译码器可基于所确定的参考索引信息、分区信息及运动向量信息译码所述单个深度视图块。
举例来说,所述单个深度视图块的至少一个分区对应于对应纹理视图块中的纹理视图块。根据本发明中描述的技术,为从所述多个对应纹理视图块中的纹理视图块确定单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者,视频译码器可确定所述单个深度视图块的至少一个分区的参考索引信息、分区信息及运动向量信息中的至少一者。在此实例中所述所述多个对应纹理视图块中的纹理视图块对应于深度视图块的至少一个分区。
举例来说,当对于所述单个深度视图块启用内部视图运动预测(IVMP)时,视频译码器可经配置以确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者而不用信号通知或接收关于如何确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息的信息。确切地说,视频译码器可使用所述多个纹理视图块的运动信息来确定所述单个深度视图块的运动信息(例如,参考索引信息、分区信息,及运动向量信息)。
作为一个实例,视频译码器可基于纹理视图宏块2A到2D(图4A)中的一者确定深度视图宏块4(图4A)的单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。举例来说,如上文所描述,为确定单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者,视频译码器可针对所述单个深度视图块的分区确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。举例来说,参考图6,如果16x16深度视图宏块41的8x8深度视图宏块分区42A对应于16x16纹理宏块39,且对于深度视图宏块41启用IVMP,则视频解码器36可利用纹理视图分区40A或纹理视图分区40B的参考索引信息及运动向量信息来确定深度视图宏块分区42A的参考索引信息及运动向量信息。
相同情形将适用于深度视图分区42B到42D中的任一者对应于纹理视图宏块39的情况。以此方式,当视频译码器从对应于深度视图块的分区的纹理视图块确定深度视图块的分区的参考索引信息、分区信息及运动向量信息中的至少一者时,视频译码器可认为是从所述多个对应纹理视图块中的纹理视图块确定所述深度视图块的分区的参考索引信息、分区信息及运动向量信息中的至少一者。
可存在其中视频译码器可确定启用或停用IVMP的不同实例方式。举例来说,视频编码器26可在经译码位流中向视频解码器36用信号通知IVMP旗标为真还是假。在其它实例中,视频解码器36可确定是否启用IVMP而不需要接收IVMP旗标。举例来说,视频解码器36可确定在单个深度视图块对应的纹理视图块中的任一者是经帧内预测或分割成四个8x8纹理视图宏块块的情况下停用IVMP。
此外,如上文所描述,当纹理视图块分割成两个16x8或8x16纹理视图块分区时,视频译码器可确定所述两个16x8或8x16纹理视图块分区中的哪一者在深度视图块的分区(例如,8x8深度视图块分区)相对于深度视图块所位于的位置处相对于纹理视图块涵盖相同区域。视频译码器可选择两个16x8或8x16纹理视图块分区中的所确定一者,且可基于所述两个16x8或8x16纹理视图块分区中的所选一者的参考索引确定用于深度视图块的所述分区的参考索引。在其中对应于深度视图块的分区(例如,深度视图块分区)的纹理视图块分割成多个纹理视图块分区(例如四个8x8纹理视图块分区)的实例中,视频译码器可类似地确定参考索引。
在其中对应于深度视图块分区的纹理视图块分割为一个16x16纹理视图块分区的实例中,视频译码器可基于16x16纹理视图块分区的参考索引确定用于深度视图块的所述分区的参考索引。在此情况下,8x8深度视图分区中的每一者设定为一个8x8深度视图子块。
图7是说明可实施技术的视频编码器26的实例的框图,其中纹理视图分量与深度视图分量的空间分辨率不同。视频编码器26可执行视频帧内的块(包含宏块,或宏块的分区或子块(其为分区的子分区))的帧内及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者,且帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
术语帧与图片可互换地使用。举例来说,H.264标准利用术语帧,且HEVC标准利用术语图片。帧与图片是指视频数据的相同部分,且因此同义。
如图7中所示,视频编码器26接收待编码视频帧内的当前视频块。在图7的实例中,视频编码器26包含运动补偿单元44、运动估计单元45、参考帧存储器64、求和器50、变换处理单元52、量化单元54,及熵译码单元56。为了视频块重构,视频编码器26还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图7中未展示)以将块边界滤波,以从经重建的视频移除成块假影。在需要时,解块滤波器通常对求和器62的输出进行滤波。还可使用其它类型的滤波器,例如环路滤波器或样本自适应偏移(SAO)滤波器。
在编码过程期间,视频编码器26接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元45及运动补偿单元44相对于一或多个参考帧中的一或多个块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间压缩。
模式选择单元43可基于错误结果选择译码模式中的一者(帧内或帧间),且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据,且提供到求和器62以便重建经编码块用作参考帧。在一些实例中,模式选择单元43还可选择视图间预测以例如用于完整分辨率图片。
根据本发明,模式选择单元43可为执行上文所描述的实例功能的一个实例单元。举例来说,模式选择单元43可仅从多个对应纹理视图块的运动信息确定单个深度视图块的参考索引信息、分区信息及运动向量信息。然而,本发明的方面不限于此。在其它实例中,不同于模式选择单元43的单元可实施上文相对于图5所描述的实例。在一些其它实例中,模式选择单元43结合视频编码器26的一或多个其它单元可实施上文相对于图5所描述的实例。在又一些其它实例,处理器或视频编码器26的单元(图7中未展示)可单独地或结合视频编码器26的其它单元实施上文相对于图5所描述的实例。
运动估计单元45与运动补偿单元44可高度集成,但出于概念目的分开加以说明。运动估计是产生估计视频块的运动的运动向量的过程。举例来说,运动向量可指示预测性帧(或其它经译码单元)内的预测性块相对于在当前帧(或其它经译码单元)内经译码的当前块的位移。预测块是被发现在像素差异方面密切地匹配待译码的块的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。运动向量还可指示宏块的分区的位移。运动补偿可涉及基于运动估计所确定的运动向量来获取或产生预测块。再次,在一些实例中,运动估计单元45与运动补偿单元44可在功能上集成。
运动估计单元45通过将视频块与存储器64中的参考帧的视频块比较来计算经帧间译码帧的视频块的运动向量。运动补偿单元44还可内插参考帧(例如,I帧或P帧)的子整数像素。作为一实例,ITU H.264标准描述两个列举:列表0,其包含具有比正被编码的当前帧早的显示次序的参考帧,及列表1,其包含具有比正被编码的当前帧晚的显示次序的参考帧。因此,可根据这些列表来组织存储在参考帧存储器64中的数据。列表0及列表1可认为是等效于上文相对于图5所描述的RefPicList0及RefPicList1。
运动估计单元45将来自存储器64的一或多个参考帧的块与当前帧(例如P帧或B帧)的待编码块比较。当参考帧存储器64中的参考帧包含用于子整数像素的值时,由运动估计单元45计算的运动向量可参考参考帧的子整数像素位置。如果子整数像素位置的值都未存储在参考帧存储器64中,则运动估计单元45及/或运动补偿单元44还可经配置以计算存储在参考帧存储器64中的参考帧的子整数像素位置的值。运动估计单元45将所计算的运动向量发送到熵译码单元56及运动补偿单元44。由运动向量识别的参考帧块可称为预测块。
运动补偿单元44可基于由运动向量识别的预测性块计算预测数据。视频编码器26通过从正经译码的原始视频块减去来自运动补偿单元44的预测数据而形成残余视频块。所述残余块包含预测性块与正译码的原始块之间的逐个像素的差。求和器50表示执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可执行其它变换,例如通过H.264标准或HEVC标准定义的变换,其概念上类似于DCT。还可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换处理单元52向残余块应用所述变换,从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域,例如频域。量化单元54量化残余变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后,熵译码单元56对经量化的变换系数进行熵译码。举例来说,熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC),或另一熵译码技术。在熵译码单元56进行的熵译码之后,可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码的情况下,上下文可基于相邻宏块。
在一些情况下,熵译码单元56或视频编码器26的另一单元可经配置以除了熵译码之外还执行其它译码功能。举例来说,熵译码单元56可经配置以确定用于宏块及分区的CBP值。而且,在一些情况下,熵译码单元56可对宏块或其分区中的系数执行延行长度译码。具体来说,熵译码单元56可应用Z形扫描或其它扫描模式以扫描宏块或分区中的变换系数,且编码零的游程以用于进一步压缩。熵译码单元56还可用适当的语法元素建构标头信息以用于在经编码视频位流中进行发射。
逆量化单元58及逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块相加到参考帧存储器64的帧中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重构的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建的视频块可由运动估计单元45及运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。
图8是说明可实施技术的视频解码器36的实例的框图,其中纹理视图分量与深度视图分量的空间分辨率不同。在图8的实例中,视频解码器36包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储器82及求和器80。视频解码器36在一些实例中可执行大体与关于视频编码器26(图7)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据。
根据本发明,运动补偿单元72可为执行上文所描述的实例功能的一个实例单元。举例来说,运动补偿单元72可仅从多个对应纹理视图块的运动信息确定单个深度视图块的参考索引信息、分区信息及运动向量信息。然而,本发明的方面不限于此。在其它实例中,不同于运动补偿单元72的单元可实施上文相对于图5所描述的实例。在一些其它实例中,运动补偿单元72结合视频解码器36的一或多个其它单元可实施上文相对于图5所描述的实例。在又一些其它实例,处理器或视频解码器36的单元(图8中未展示)可单独地或结合视频解码器36的其它单元实施上文相对于图5所描述的实例。
运动补偿单元72可使用在位流中接收的运动向量来识别参考帧存储器82中的参考帧中的预测块。帧内预测单元74可使用在位流中所接收的帧内预测模式以从空间上邻近的块形成预测块。逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的块系数逆量化(即,解量化)。逆量化过程可包含常规过程,例如由H.264解码标准或由HEVC解码标准定义的过程。所述逆量化过程还可包含使用由视频编码器26针对每一宏块所计算的量化参数QPY来确定量化的程度,且同样确定应应用的逆量化程度。
逆变换单元58对变换系数应用逆变换(例如,逆DCT、逆整数变换,或概念上类似的逆变换过程),以便产生像素域中的残余块。运动补偿单元72产生经运动补偿的块,可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包括在语法元素中。运动补偿单元72可使用如由视频编码器26在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器26使用的内插滤波器且使用所述内插滤波器来产生预测块。
求和器80将残余块与由运动补偿单元72或帧内预测单元产生的对应预测性块求和以形成经解码块。如果需要,还可应用解块滤波器以对经解码块进行滤波,以便移除成块假象。接着将经解码视频块存储在参考帧存储器82中,参考帧存储器82提供用于后续运动补偿的参考块且还产生经解码视频用于呈现在显示装置(例如图5的显示装置38)上。
图9是说明视频解码器根据技术的实例操作的流程图,其中纹理视图分量与深度视图分量的空间分辨率不同。出于说明的目的,参考图5及8。举例来说,图9中所说明的技术可由视频装置的视频译码器实施。视频装置的实例包含目的地装置20(图5)。视频译码器的实例包含视频解码器36(图5及8)。在其中视频译码器为视频解码器36的一些实例中,本发明中描述的实例技术中的一或多者可由预测模块81(图8)执行。此外,尽管从视频解码器的角度描述所述技术,但在一些实例中,例如视频编码器26等视频编码器可执行图9中所描述的技术中的一或多者。
视频解码器可解码纹理视图分量的多个纹理视图块,其中纹理视图块对应于深度视图分量中的单个深度视图块(94)。视频解码器可确定对于所述深度视图块是启用还是停用内部视图运动预测(IVMP)(96)。可存在视频解码器可借以确定是启用还是停用IVMP的各种方式。作为一个实例,视频解码器可解码指示对于深度视图块是启用还是停用IVMP的IVMP旗标。作为另一实例,视频解码器可能能够确定对于深度视图块停用IVMP而不接收IVMP旗标。举例来说,视频解码器可确定多个纹理视图块中的一者是经帧内预测或分割成8x8分区。在这些情况中的任一者中,视频解码器可能能够确定对于深度视图块停用IVMP而不需要接收IVMP旗标。
当启用IVMP时,视频解码器可基于对应纹理视图块确定深度视图块的运动信息(98)。视频解码器可基于所述所确定的运动信息解码所述深度视图块(100)。
当启用IVMP时,可存在视频解码器可借以确定深度视图块的运动信息的不同方式。举例来说,视频解码器可确定用于深度视图块的分区中的每一者的参考索引信息、分割模式信息及运动向量信息中的至少一者。举例来说,如果深度视图块分割成四个8x8分区,则视频解码器可确定用于所述四个8x8分区中的每一者的参考索引信息、分割模式信息及运动向量信息。
作为一个实例,深度视图块的四个8x8分区中的每一者可对应于多个纹理视图块的一个纹理视图块。在此实例中,视频解码器可基于对应纹理视图块的运动信息确定四个8x8分区中的每一者的运动信息。举例来说,如果对应纹理视图块分割为一个16x16纹理视图宏块,则视频解码器可将16x16纹理视图宏块的参考索引设定为用于对应于此16x16纹理视图宏块的8x8深度视图块分区的参考索引。
作为另一实例,如果对应纹理视图块分割成两个纹理视图分区(例如,两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区),且用于在相同参考图片列表(例如,纹理视图RefPicListX,其中X为0或1)中的两个纹理视图分区两者的参考索引不同且不等于-1,则视频解码器可选择这两个纹理视图分区中的一者。视频解码器可将所选纹理视图分区的参考索引设定为对应于分割成所述两个纹理视图分区的纹理视图块的8x8深度视图块分区的参考索引。在一些实例中,视频解码器可从所述两个纹理视图分区选择在纹理视图块中涵盖与8x8深度视图块分区在深度视图块中涵盖的区域相同的区域的纹理视图分区。
作为另一实例,如果对应纹理视图块分割成两个纹理视图分区(例如,两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区),且用于相同参考图片列表(例如,纹理视图RefPicListX,其中X为0或1)中的一者的参考索引等于-1且另一者不等于-1,则视频解码器可选择其参考索引不等于-1的纹理视图分区。视频解码器可将不等于-1的纹理视图块分区的参考索引设定为对应于分割成所述两个纹理视图块分区的纹理视图块的8x8深度视图块分区的参考索引。
作为又一实例,如果对应纹理视图块分割成两个纹理视图分区(例如,两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区),且用于相同参考图片列表X中的两者的参考索引等于-1,则视频解码器可停用从相同参考图片列表X预测8x8深度视图块分区。换句话说,如果纹理视图RefPicList0中用于两个16x8或8x16纹理视图宏块分区两者的参考索引为-1,则视频解码器可不从深度视图RefPicList0中的参考深度视图分量帧间预测8x8深度视图宏块分区。举例来说,视频解码器可将深度视图RefPicList0中的参考索引设定为等于-1。
视频解码器还可确定8x8深度视图块分区的运动向量及分割模式。举例来说,视频解码器可缩放用于对应于8x8深度视图块分区的纹理视图块的运动向量中的一者。视频解码器可基于纹理视图分量及深度视图分量的空间分辨率缩放所述运动向量。举例来说,如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一(其为二分之一高度及二分之一宽度),则视频解码器可将纹理视图块的运动向量x分量除以二且将纹理视图块的运动向量的分量除以二以确定用于8x8深度视图块分区的经缩放运动向量。
对于所述分割模式,当启用IVMP时,视频解码器可大体上将用于8x8深度视图块分区的分割模式设定为一个8x8子块。然而,如果8x8深度视图块分区对应于分割成两个纹理视图块分区的纹理视图块,且用于所述两个纹理视图块分区中的每一者的参考索引相同且不等于-1,则视频解码器可基于分割纹理视图块的方式而将8x8深度视图块的分区设定为等于两个8x4子块或两个4x8子块。大体来说,如果用于深度视图块分区的分割模式不为两个8x4子块或两个4x8子块,则视频解码器可将所述深度视图块的分割模式设定为一个8x8子块。
图10是说明视频编码器根据技术的实例操作的流程图,其中纹理视图分量与深度视图分量的空间分辨率不同。出于说明的目的,参考图5及7。举例来说,图10中所说明的技术可由视频装置的视频译码器实施。视频装置的实例包含源装置18(图5)。视频译码器的实例包含视频编码器26(图5及7)。在其中视频译码器为视频编码器26的一些实例中,本发明中描述的实例技术中的一或多者可由模式选择单元43(图7)执行。
视频编码器可编码纹理视图分量的多个纹理视图块(102)。视频译码器还可确定是否对于对应于所述多个纹理视图块的深度视图块启用内部视图运动预测(IVMP)(104)。举例来说,如果所述多个纹理视图块都不是经帧内预测且如果所述多个纹理视图块都没有分割成8x8分区,则视频编码器可确定对于对应于所述多个纹理视图块的单个深度视图块启用IVMP。
当视频编码器确定启用IVMP时,视频编码器可用信号通知IVMP旗标对于所述深度视图块为真(106)。在接收到为真的IVMP旗标之后,视频解码器可接着即刻利用所述多个纹理视图块的运动信息用于解码所述深度视图块。举例来说,视频编码器可能不需要用信号通知用于所述深度视图块的运动信息(108)。确切地说,视频解码器可经配置以仅基于所述纹理视图块确定用于所述深度视图块的运动信息,例如参考索引信息、分割模式信息及运动向量信息。
在一或多个实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施,则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包含任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体,其是非暂时形的,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同样,可恰当地将任何连接称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而,应理解,所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常磁性地再现数据,而光盘使用激光光学地再现数据。上文各者的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行,所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供,或并入在组合式编解码器中。而且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调其经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。实际上,如上文所描述,各种单元可以配合合适的软件及/或固件组合在编解码器硬件单元中,或通过互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (32)

1.一种用于译码视频数据的方法,所述方法包括:
译码纹理视图分量的多个纹理视图块,其中所述多个纹理视图块对应于深度视图分量的单个深度视图块;
如果对应于所述单个深度视图块的至少一个分区的所述多个纹理视图块中的一个纹理视图块分割成多个纹理视图块分区,则:
确定所述多个纹理视图块分区中的哪一者在所述单个深度视图块的所述至少一个分区相对于所述单个深度视图块的位置相对于所述纹理视图块涵盖至少相同的区域;
选择所述多个纹理视图块分区中的所述确定的一者;以及
基于所述所选纹理视图块分区的参考索引确定所述单个深度视图块的所述至少一个分区的参考索引;以及
基于所述确定的参考索引译码所述单个深度视图块,
其中所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,
其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且
其中所述深度视图分量的空间分辨率为所述纹理视图分量的空间分辨率的四分之一,其为所述纹理视图分量的二分之一宽度及二分之一高度。
2.根据权利要求1所述的方法,其进一步包括:
确定对于所述单个深度视图块是启用还是停用内部视图运动预测IVMP,
其中确定所述参考索引包括在启用IVMP的情况下确定所述参考索引。
3.根据权利要求2所述的方法,其中确定是启用还是停用IVMP包括译码IVMP旗标以指示启用IVMP。
4.根据权利要求2所述的方法,其中确定是启用还是停用IVMP包括基于所述多个纹理视图块中的任一者的预测模式及所述多个纹理视图块中的任一者的分割模式中的至少一者确定停用IVMP。
5.根据权利要求4所述的方法,其中确定停用IVMP包括在所述多个纹理视图块中的任一者经帧内预测时在所述多个纹理视图块中的任一者分割成四个8x8纹理视图宏块分区时确定停用IVMP。
6.根据权利要求1所述的方法,其进一步包括:
确定用于所述单个深度视图块的所述至少一个分区的运动向量,且其中确定用于所述单个深度视图块的所述至少一个分区的所述运动向量包括:
缩放所述多个纹理视图块中的对应于所述至少一个分区的所述纹理视图块的运动向量;以及
将所述经缩放运动向量设定为用于所述单个深度视图块的所述至少一个分区的所述运动向量。
7.根据权利要求1所述的方法,其中对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为一个16x16纹理视图块分区。
8.根据权利要求1所述的方法,其中确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定所述参考索引包括在对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块不分割为两个纹理视图块分区且用于一个参考图片列表中的所述两个纹理视图块分区两者的参考索引皆不等于-1的情况下确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定所述参考索引,所述方法进一步包含:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为两个纹理视图块分区且所述两个纹理视图块分区两者在一个参考图片列表中的参考索引皆等于-1,则将用于所述单个深度视图块的所述至少一个分区的所述参考索引设定为等于-1。
9.根据权利要求1所述的方法,其中确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定所述参考索引包括在对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块不分割为两个纹理视图块分区且用于一个参考图片列表中的所述两个纹理视图块分区两者的参考索引皆不等于-1的情况下确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定所述参考索引,所述方法进一步包含:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为两个纹理视图块分区且用于所述两个纹理视图块分区的第一分区的参考图片列表的参考索引不等于-1且用于所述两个纹理视图块分区的第二分区的所述参考图片列表的参考索引等于-1,则将所述两个纹理视图块分区的所述第一分区的所述参考索引设定为用于所述单个深度视图块的所述至少一个分区的所述参考索引。
10.根据权利要求1所述的方法,其进一步包括:
确定用于所述单个深度视图块的所述至少一个分区的分割模式,且其中确定用于所述单个深度视图块的所述至少一个分区的所述分割模式包括:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个纹理视图块分区且所述纹理视图块分区两者的参考索引不同,则将所述单个深度视图块的所述至少一个分区的所述分割模式设定为一个8x8子块。
11.根据权利要求1所述的方法,其进一步包括:
确定用于所述单个深度视图块的所述至少一个分区的分割模式,其中确定用于所述单个深度视图块的所述至少一个分区的所述分割模式包括:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个纹理视图块分区且所述纹理视图块分区两者的参考索引相同,则将所述单个深度视图块的所述至少一个分区的所述分割模式设定为一个8x4子块或一个4x8子块。
12.根据权利要求1所述的方法,其进一步包括:
确定在所述多个对应纹理视图块中的所述纹理视图块的纹理视图参考图片列表中列出图片次序计数POC值的次序不同于在深度视图参考图片列表中列出POC值的次序,
其中确定所述参考索引包括:
基于用于所述多个纹理视图块中的所述纹理视图块的参考索引确定在所述纹理视图参考图片列表中识别的参考纹理视图分量的POC值;以及
确定所述深度视图参考图片列表的参考索引,其中所述深度视图参考图片列表的所述参考索引识别等于所述参考纹理视图分量的所述POC值的所述深度视图参考图片列表中的POC值。
13.根据权利要求1所述的方法,其中对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个16x8纹理视图块分区或两个8x16纹理视图块分区。
14.根据权利要求1所述的方法,
其中译码所述多个纹理视图块包括解码所述纹理视图分量的所述多个纹理视图块,其中所述多个纹理视图块对应于所述深度视图分量的所述单个深度视图块,且
其中译码所述单个深度视图块包括基于所述确定的参考索引解码所述单个深度视图块。
15.根据权利要求1所述的方法,
其中译码所述多个纹理视图块包括编码所述纹理视图分量的所述多个纹理视图块,其中所述多个纹理视图块对应于所述深度视图分量的所述单个深度视图块,且
其中译码所述单个深度视图块包括基于所述确定的参考索引编码所述单个深度视图块。
16.一种用于译码视频数据的装置,所述装置包括经配置以进行以下操作的视频译码器:
译码纹理视图分量的多个纹理视图块,其中所述多个纹理视图块对应于深度视图分量的单个深度视图块;
如果所述多个纹理视图块中对应于所述单个深度视图块的至少一个分区的一个纹理视图块分割成多个纹理视图块分区,则:
确定所述多个纹理视图块分区中的哪一者在所述单个深度视图块的所述至少一个分区相对于所述单个深度视图块的位置相对于所述纹理视图块涵盖至少相同的区域;
选择所述多个纹理视图块分区中的所述确定的一者;以及
基于所述所选纹理视图块分区的参考索引确定所述单个深度视图块的所述至少一个分区的参考索引;以及
基于所述确定的参考索引译码所述单个深度视图块,
其中所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,
其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且
其中所述深度视图分量的空间分辨率为所述纹理视图分量的空间分辨率的四分之一,其为所述纹理视图分量的二分之一宽度及二分之一高度。
17.根据权利要求16所述的装置,其中所述视频译码器经配置以:
确定对于所述单个深度视图块是启用还是停用内部视图运动预测IVMP,
其中所述视频译码器经配置以在启用IVMP的情况下确定所述参考索引。
18.根据权利要求17所述的装置,其中所述视频译码器经配置以译码IVMP旗标以指示启用IVMP。
19.根据权利要求17所述的装置,其中所述视频译码器经配置以基于所述多个纹理视图块中的任一者的预测模式及所述多个纹理视图块中的任一者的分割模式中的至少一者确定停用IVMP。
20.根据权利要求19所述的装置,其中所述视频译码器经配置以在所述多个纹理视图块中的任一者经帧内预测时或在所述多个纹理视图块中的任一者分割成四个8x8纹理视图宏块分区时确定停用IVMP。
21.根据权利要求16所述的装置,其中所述视频译码器经配置以确定用于所述单个深度视图块的至少一个分区的运动向量,且其中为确定用于所述单个深度视图块的所述至少一个分区的所述运动向量,所述视频译码器经配置以:
缩放所述多个纹理视图块中的对应于所述至少一个分区的所述纹理视图块的运动向量;以及
将所述经缩放运动向量设定为用于所述单个深度视图块的所述至少一个分区的所述运动向量。
22.根据权利要求16所述的装置,其中对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为一个16x16纹理视图块分区。
23.根据权利要求16所述的装置,其中所述视频译码器经配置以在对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块不分割为两个纹理视图块分区且用于一个参考图片列表中的所述两个纹理视图块分区两者的参考索引皆不等于-1的情况下确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定用于所述单个深度视图块的所述至少一个分区的所述参考索引,
其中如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为两个纹理视图块分区且用于一个参考图片列表中的所述两个纹理视图块分区两者的参考索引皆等于-1,则所述视频译码器经配置以将用于所述单个深度视图块的所述至少一个分区的所述参考索引设定为等于-1。
24.根据权利要求16所述的装置,其中所述视频译码器经配置以在对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块不分割为两个纹理视图块分区且用于一个参考图片列表中的所述两个纹理视图块分区两者的参考索引皆不等于-1的情况下确定所述多个纹理视图块分区中的哪一者涵盖至少相同的区域、选择所述多个纹理视图块分区中的所述确定的一者及确定用于所述单个深度视图块的所述至少一个分区的所述参考索引,
其中如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割为两个纹理视图块分区且用于所述两个纹理视图块分区的第一分区的参考图片列表的参考索引不等于-1且用于所述两个纹理视图块分区的第二分区的所述参考图片列表的参考索引等于-1,则所述视频译码器经配置以将所述两个纹理视图块分区的所述第一分区的所述参考索引设定为用于所述单个深度视图块的所述至少一个分区的所述参考索引。
25.根据权利要求16所述的装置,其中所述视频译码器经配置以确定用于所述单个深度视图块的至少一个分区的分割模式,且其中为确定用于所述单个深度视图块的所述至少一个分区的所述分割模式,所述视频译码器经配置以:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个纹理视图块分区且所述纹理视图块分区两者的参考索引不同,则将所述单个深度视图块的所述至少一个分区的所述分割模式设定为一个8x8子块。
26.根据权利要求16所述的装置,其中所述视频译码器经配置以确定用于所述单个深度视图块的至少一个分区的分割模式,且其中为确定用于所述单个深度视图块的所述至少一个分区的所述分割模式,所述视频译码器经配置以:
如果对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个纹理视图块分区且所述纹理视图块分区两者的参考索引相同,则将所述单个深度视图块的所述至少一个分区的所述分割模式设定为一个8x4子块或一个4x8子块。
27.根据权利要求16所述的装置,其中为确定所述参考索引,所述视频译码器经配置以:
确定在所述多个对应纹理视图块中的所述纹理视图块的纹理视图参考图片列表中列出图片次序计数POC值的次序不同于在深度视图参考图片列表中列出POC值的次序;
基于用于所述多个纹理视图块中的所述纹理视图块的参考索引确定在所述纹理视图参考图片列表中识别的参考纹理视图分量的POC值;以及
确定所述深度视图参考图片列表的参考索引,其中所述深度视图参考图片列表的所述参考索引识别等于所述参考纹理视图分量的所述POC值的所述深度视图参考图片列表中的POC值。
28.根据权利要求16所述的装置,其中对应于所述单个深度视图块的所述至少一个分区的所述纹理视图块分割成两个16x8纹理视图块分区或两个8x16纹理视图块分区。
29.根据权利要求16所述的装置,
其中所述视频译码器包括视频解码器,且
其中所述视频解码器经配置以:
解码所述纹理视图分量的所述多个纹理视图块,其中所述多个纹理视图块对应于所述深度视图分量的所述单个深度视图块;以及
基于所述确定的参考索引解码所述单个深度视图块。
30.根据权利要求16所述的装置,
其中所述视频译码器包括视频编码器,且
其中所述视频编码器经配置以:
编码所述纹理视图分量的所述多个纹理视图块,其中所述多个纹理视图块对应于所述深度视图分量的所述单个深度视图块;以及
基于所述确定的参考索引编码所述单个深度视图块。
31.根据权利要求16所述的装置,其中所述装置包括以下各项之一:
无线通信装置;
微处理器;
集成电路。
32.一种用于译码视频数据的装置,所述装置包括:
用于译码纹理视图分量的多个纹理视图块的装置,其中所述多个纹理视图块对应于深度视图分量的单个深度视图块;
如果所述多个纹理视图块中对应于所述单个深度视图块的至少一个分区的一个纹理视图块分割成多个纹理视图块分区,则:
用于确定所述多个纹理视图块分区中的哪一者在所述单个深度视图块的所述至少一个分区相对于所述单个深度视图块的位置相对于所述纹理视图块涵盖至少相同的区域的装置;
用于选择所述多个纹理视图块分区中的所述确定的一者的装置;以及
用于基于所述所选纹理视图块分区的参考索引确定所述单个深度视图块的所述至少一个分区的参考索引的装置;以及
用于基于所述确定的参考索引译码所述单个深度视图块的装置,
其中所述深度视图分量与所述纹理视图分量属于存取单元内的相同视图,
其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度,且
其中所述深度视图分量的空间分辨率为所述纹理视图分量的空间分辨率的四分之一,其为所述纹理视图分量的二分之一宽度及二分之一高度。
CN201280056433.8A 2011-11-18 2012-11-16 纹理及深度视图分量当中的内部视图运动预测 Expired - Fee Related CN103975597B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161561800P 2011-11-18 2011-11-18
US61/561,800 2011-11-18
US201161563771P 2011-11-26 2011-11-26
US61/563,771 2011-11-26
US201261585169P 2012-01-10 2012-01-10
US61/585,169 2012-01-10
US13/678,374 US9485503B2 (en) 2011-11-18 2012-11-15 Inside view motion prediction among texture and depth view components
US13/678,374 2012-11-15
PCT/US2012/065675 WO2013075024A1 (en) 2011-11-18 2012-11-16 Inside view motion prediction among texture and depth view components

Publications (2)

Publication Number Publication Date
CN103975597A CN103975597A (zh) 2014-08-06
CN103975597B true CN103975597B (zh) 2017-06-06

Family

ID=48426920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280056433.8A Expired - Fee Related CN103975597B (zh) 2011-11-18 2012-11-16 纹理及深度视图分量当中的内部视图运动预测

Country Status (7)

Country Link
US (1) US9485503B2 (zh)
EP (1) EP2781096B1 (zh)
JP (1) JP5866454B2 (zh)
KR (1) KR101632812B1 (zh)
CN (1) CN103975597B (zh)
IN (1) IN2014CN03590A (zh)
WO (1) WO2013075024A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
JP5976658B2 (ja) * 2011-09-29 2016-08-24 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
US10110891B2 (en) 2011-09-29 2018-10-23 Sharp Kabushiki Kaisha Image decoding device, image decoding method, and image encoding device
US20130136180A1 (en) * 2011-11-29 2013-05-30 Futurewei Technologies, Inc. Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
KR102028123B1 (ko) * 2012-04-23 2019-10-04 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2013176485A1 (ko) * 2012-05-22 2013-11-28 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN109413424B (zh) 2012-09-03 2022-11-15 索尼公司 图像处理设备和方法
BR112015006178B1 (pt) 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
CN104838658B (zh) * 2012-12-14 2018-07-20 高通股份有限公司 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
KR101756301B1 (ko) * 2013-07-19 2017-07-10 후아웨이 테크놀러지 컴퍼니 리미티드 깊이 기반 블록 파티셔닝을 사용하여 텍스처 블록을 인코딩 및 디코딩하는 방법 및 장치
KR102343817B1 (ko) * 2013-10-18 2021-12-27 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
CN104581159B (zh) * 2013-10-18 2019-04-05 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置
JP6545672B2 (ja) 2013-10-18 2019-07-17 エルジー エレクトロニクス インコーポレイティド マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
WO2015123806A1 (en) * 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning
WO2015135175A1 (en) * 2014-03-13 2015-09-17 Mediatek Singapore Pte. Ltd. Simplified depth based block partitioning method
US20170180755A1 (en) * 2014-03-20 2017-06-22 Lg Electronics Inc. 3d video encoding/decoding method and device
CN105519120B (zh) * 2014-06-20 2019-03-22 寰发股份有限公司 用于视频数据的三维或多视图视频编码的分区模式编码方法
DE112015000184T5 (de) * 2014-06-20 2016-07-07 Mediatek Inc. Verfahren der Codierung für eine tiefenbasierte Blockpartitionierungsart in dreidimensionaler oder Multiview-Videocodierung
US9704213B2 (en) 2014-08-13 2017-07-11 Qualcomm Incorporated Texture element streaming
CN105957137B (zh) * 2016-04-20 2018-09-21 上海交通大学 基于纹理映射的三维彩色模型图像处理方法
CN106973292B (zh) * 2017-02-27 2019-07-09 华侨大学 基于纹理特性的3d-hevc帧间预测快速模式选择方法
US20190327655A1 (en) * 2018-04-23 2019-10-24 Mediatek Inc. Methods And Apparatus For Selecting Large-Bandwidth Cell In Mobile Communications
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
KR20240005240A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
WO2020003280A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Which lut to be updated or no updating
KR102660666B1 (ko) 2018-06-29 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
EP4307679A2 (en) 2018-07-02 2024-01-17 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
MX2021001743A (es) * 2018-08-17 2021-06-23 Huawei Tech Co Ltd Gestión de imágenes de referencia en codificación de video.
US10951885B2 (en) * 2018-08-30 2021-03-16 Google Llc Adaptive temporal filtering for alternate frame reference rendering
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
EP3888355A4 (en) 2019-01-10 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. LOOKUP TABLE UPDATE INVOCATION
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023672A (zh) * 2004-07-12 2007-08-22 诺基亚公司 在可调整视频编码中用于运动预测的系统和方法
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107705A (en) 1990-03-30 1992-04-28 Schlumberger Technology Corporation Video system and method for determining and monitoring the depth of a bottomhole assembly within a wellbore
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6125147A (en) 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6665344B1 (en) 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US6452969B1 (en) 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
CA2357921C (en) 2000-09-29 2007-02-06 Baker Hughes Incorporated Method and apparatus for prediction control in drilling dynamics using neural networks
CA2413058C (en) 2001-11-27 2012-01-17 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7001065B2 (en) 2003-05-05 2006-02-21 Ray Dishaw Oilfield thread makeup and breakout verification system and method
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US7079156B1 (en) 2004-05-14 2006-07-18 Nvidia Corporation Method and system for implementing multiple high precision and low precision interpolators for a graphics pipeline
US7006700B2 (en) 2004-06-25 2006-02-28 Avocent Corporation Digital video compression command priority
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7616824B2 (en) 2004-12-08 2009-11-10 Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens Method for spatially scalable video coding
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
CN101176348B (zh) 2005-04-01 2011-01-19 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US20060233258A1 (en) 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
CN101053249B (zh) 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US8239766B2 (en) 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
KR100825737B1 (ko) 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
WO2007081135A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
KR100943912B1 (ko) 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
WO2007136378A1 (en) 2006-05-23 2007-11-29 Halliburton Energy Services, Inc. Remote logging operations environment
JP4915992B2 (ja) 2006-09-12 2012-04-11 オリンパスイメージング株式会社 ズームレンズ
TWI332799B (en) 2006-09-13 2010-11-01 Realtek Semiconductor Corp A video data source system and an analog back end device
JP5184539B2 (ja) 2006-10-13 2013-04-17 トムソン ライセンシング 多視点ビデオ符号化のための参照ピクチャ・リスト管理方法
JP5170786B2 (ja) 2006-10-25 2013-03-27 韓國電子通信研究院 マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
US7606666B2 (en) 2007-01-29 2009-10-20 Schlumberger Technology Corporation System and method for performing oilfield drilling operations using visualization techniques
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
WO2008117963A1 (en) 2007-03-23 2008-10-02 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
US20100118933A1 (en) 2007-04-04 2010-05-13 Thomson Licensing Reference picture list management
PT3758381T (pt) 2007-04-12 2021-04-13 Dolby Int Ab Disposição em mosaico na codificação e descodificação de vídeo
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
WO2008147125A1 (en) 2007-05-29 2008-12-04 Lg Electronics Inc. A method and an apparatus for processing a video signal
JP5646994B2 (ja) 2007-08-15 2014-12-24 トムソン ライセンシングThomson Licensing 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
DE102007049351A1 (de) 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US7878268B2 (en) 2007-12-17 2011-02-01 Schlumberger Technology Corporation Oilfield well planning and operation
US8577660B2 (en) 2008-01-23 2013-11-05 Schlumberger Technology Corporation Three-dimensional mechanical earth modeling
US8995525B2 (en) 2008-04-16 2015-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bit-depth scalability
US8527248B2 (en) 2008-04-18 2013-09-03 Westerngeco L.L.C. System and method for performing an adaptive drilling operation
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
TW200945909A (en) 2008-04-22 2009-11-01 Novatek Microelectronics Corp Synchronization signal extraction device and related method
EP2338281A4 (en) 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
WO2010053332A2 (ko) 2008-11-10 2010-05-14 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
EP2365694B1 (en) 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
US8750632B2 (en) 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
US8326538B2 (en) 2008-12-30 2012-12-04 Occidental Permian Ltd. Mobile wellsite monitoring
US8514942B2 (en) 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
EP2387243A4 (en) 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
KR101405019B1 (ko) 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들,예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010120804A1 (en) 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video
EP2422520A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
US8773505B2 (en) 2009-04-27 2014-07-08 Lg Electronics Inc. Broadcast receiver and 3D video data processing method thereof
WO2010126613A2 (en) 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
KR101353115B1 (ko) 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101636539B1 (ko) 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
CN102714741B (zh) 2009-10-14 2016-01-20 汤姆森特许公司 深度图处理的方法和设备
KR101631451B1 (ko) 2009-11-16 2016-06-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101703327B1 (ko) 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
EP2529551B1 (en) 2010-01-27 2022-03-16 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
BR112012020471B1 (pt) 2010-02-15 2021-09-21 Interdigital Madison Patent Holdings Aparelho e método para processar conteúdo de vídeo, e aparelho e método para processar um sinal
KR101752418B1 (ko) * 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
WO2012006299A1 (en) 2010-07-08 2012-01-12 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
US20120079583A1 (en) 2010-09-23 2012-03-29 Microsoft Corporation Offload reads and writes
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
WO2012042893A1 (ja) 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012106347A1 (en) 2011-02-01 2012-08-09 Halliburton Energy Services, Inc. Drilling optimization
KR20220070072A (ko) * 2011-02-09 2022-05-27 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US20120274664A1 (en) 2011-04-29 2012-11-01 Marc Fagnou Mobile Device Application for Oilfield Data Visualization
WO2012171477A1 (en) 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
JP5749595B2 (ja) 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US20130127987A1 (en) 2011-11-18 2013-05-23 Qualcomm Incorporated Signaling depth ranges for three-dimensional video coding
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
JP5947405B2 (ja) 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
US9584711B2 (en) 2012-04-04 2017-02-28 Schlumberger Technology Corporation Imaging methods and systems for controlling equipment in remote environments
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023672A (zh) * 2004-07-12 2007-08-22 诺基亚公司 在可调整视频编码中用于运动预测的系统和方法
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.264-Based depth map sequence coding using motion information of corresponding texture video;Han oh, et al.;《Advances in image and video technology lecture notes in computer science》;20060101;全文 *

Also Published As

Publication number Publication date
KR101632812B1 (ko) 2016-06-22
JP5866454B2 (ja) 2016-02-17
US9485503B2 (en) 2016-11-01
KR20140096129A (ko) 2014-08-04
US20130128965A1 (en) 2013-05-23
EP2781096B1 (en) 2016-01-06
IN2014CN03590A (zh) 2015-10-16
JP2015502095A (ja) 2015-01-19
CN103975597A (zh) 2014-08-06
EP2781096A1 (en) 2014-09-24
WO2013075024A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103975597B (zh) 纹理及深度视图分量当中的内部视图运动预测
CN104838658B (zh) 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN105075265B (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN104170380B (zh) 视频译码中的视差矢量预测
CN104904218B (zh) 视差矢量推导
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN104365105B (zh) 视频译码中的外部图片
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN105637882B (zh) 用于视频信息的可缩放译码的装置和方法
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN105637878B (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN104170381B (zh) 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN103503460B (zh) 译码视频数据的方法和设备
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN109716765A (zh) 用于视频译码中的帧内预测的经改进内插滤波器
CN105027571B (zh) 三维视频译码中导出的视差向量
CN105122811B (zh) 3d视频译码中的相邻块视差向量导出
CN105103560A (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN104969551A (zh) 可缩放及多视角视频译码中的高级残差预测
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN106664426A (zh) 视频译码中的语法元素的值范围
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170606

Termination date: 20181116