CN104170380B - 视频译码中的视差矢量预测 - Google Patents
视频译码中的视差矢量预测 Download PDFInfo
- Publication number
- CN104170380B CN104170380B CN201380013810.4A CN201380013810A CN104170380B CN 104170380 B CN104170380 B CN 104170380B CN 201380013810 A CN201380013810 A CN 201380013810A CN 104170380 B CN104170380 B CN 104170380B
- Authority
- CN
- China
- Prior art keywords
- vector
- motion
- area
- current block
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明描述用于基于空间上及时间上相邻于待预测的当前块的一或多个区的视差运动矢量来确定用于当前块的视差矢量的技术。所述空间上及时间上相邻区包括一个或多个块,且所述视差运动矢量表示用于所述空间上或时间上相邻区内的所述多个块的一个参考图片列表中的单一矢量。所述经确定视差矢量可用于利用不同视图之间的信息的译码工具,诸如,合并模式、高级运动矢量预测AMVP模式、视图间运动预测及视图间残差预测。
Description
本申请案主张以下各者的权利:
2012年3月14日申请的美国临时申请案61/610,961;
2012年4月9日申请的美国临时申请案61/621,929;
2012年4月11日申请的美国临时申请案61/623,041;
2012年6月12日申请的美国临时申请案61/658,754;
2012年8月11日申请的美国临时申请案61/682,221;及
2012年8月11日申请的美国临时申请案61/682,224,所述临时申请案中的每一者的全部内容是特此以引用方式并入。
技术领域
本发明是关于视频译码,且更特定言之,是关于用于译码多视图及三维(3D)视频数据的技术。
背景技术
可将数字视频能力并入到广泛范围的装置中,所述装置包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、便携式计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话、所谓“智能手机”、视频电话会议装置、视频流式处理装置,及其类似者。数字视频装置实施视频压缩技术,诸如,由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分的高级视频译码(AVC)定义的标准、目前在开发中的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频压缩技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测,以缩减或移除视频序列中所固有的冗余。对于基于块的视频译码,可将视频切片(例如,视频帧或视频帧的部分)分割为多个视频块,所述视频块也可被称为树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是相对于同一图片中的相邻块中的参考样本使用空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测,或相对于其它参考图片中的参考样本使用时间预测。图片可被称为帧,且参考图片可被称为参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示在待译码的原始块与预测性块之间的像素差。根据运动矢量及残余数据来编码经帧间译码块,所述运动矢量指向形成预测性块的参考样本的块,所述残余数据指示在经译码块与预测性块之间的差。根据帧内译码模式及残余数据来编码帧内译码块。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生接着可量化的残余变换系数。可扫描最初以二维阵列排列的经量化变换系数,以便产生变换系数的一维矢量,且可应用熵译码以达成甚至更大程度的压缩。
发明内容
本发明所描述的技术通常是关于基于空间及/或时间相邻块的运动信息来确定用于视图的图片的当前块的视差矢量。所述技术考虑相邻块的所述运动信息被存储的方式以确定用于所述当前块的所述视差矢量。举例来说,本发明所描述的技术可评估空间上及/或时间上相邻于所述当前块的相邻区的运动信息,其中区包括所述相邻块中的一者或多者。所述技术可基于用于所述区的所述经存储运动信息来确定用于所述当前块的所述视差矢量。所述技术可进一步允许随机访问点(RAP)图片的视图间运动预测,又利用经确定视差矢量作为运动矢量预测值候选者。
在一个实例中,本发明描述一种用于解码视频数据的方法。所述方法包括确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示用于一个参考图片列表的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。所述方法也包括:响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及帧间预测解码所述当前块,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述解码使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种用于编码视频数据的方法。所述方法包括确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。所述方法也包括:响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及帧间预测编码所述当前块,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述编码使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种用于解码视频数据的装置。所述装置包括视频解码器,所述视频解码器经配置以确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,所述视频解码器经配置以确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量。所述视频解码器也经配置以帧间预测解码所述当前块,其中为了解码所述当前块,如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述视频解码器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种用于编码视频数据的装置。所述装置包括视频编码器,所述视频编码器经配置以确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,所述视频编码器经配置以确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量。所述视频编码器也经配置以帧间预测编码所述当前块,其中为了编码所述当前块,如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述视频编码器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种用于解码视频数据的装置。所述装置包括用于确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量的装置。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。所述装置也包括:响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,用于确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量的装置;及用于帧间预测解码所述当前块的装置,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么用于帧间预测解码的所述装置使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种用于编码视频数据的装置。所述装置包括用于确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量的装置。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。所述装置也包括:响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,用于确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量的装置;及用于帧间预测编码所述当前块的装置,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么用于帧间预测编码的所述装置使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
在一个实例中,本发明描述一种存储有指令的计算机可读存储媒体,所述指令在执行时使一或多个处理器确定用于多个视图中的第一视图中的图片的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,所述指令使所述一或多个处理器确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量。所述指令也使所述一或多个处理器帧间预测解码所述当前块,其中使所述一或多个处理器进行解码的所述指令包含在确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量时使所述一或多个处理器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量的指令。
在一个实例中,本发明描述一种存储有指令的计算机可读存储媒体,所述指令在执行时使一或多个处理器确定用于多个视图中的第一视图中的图片的区的运动矢量是否为视差运动矢量。在这个实例中,所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且所述视差运动矢量是指第二不同视图中的图片。响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量,所述指令使所述一或多个处理器确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量。所述指令也使所述一或多个处理器帧间预测编码所述当前块,其中使所述一或多个处理器进行编码的所述指令包含在确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量时使所述一或多个处理器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量的指令。
在随附图式及以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式且从权利要求书变得显而易见。
附图说明
图1为根据本发明所描述的一或多个实例的说明实例视频编码及解码系统的框图。
图2为根据本发明所描述的一或多个实例的说明实例多视图视频译码(MVC)编码或解码顺序的图形图。
图3为说明实例MVC预测样式的图形图。
图4为说明运动矢量可为候选运动矢量预测值的空间上相邻块的概念图。
图5为说明供基于视差矢量来确定候选运动矢量预测值的方式的概念图。
图6为说明清洁随机访问(CRA)图片的实例的概念图。
图7为说明确定候选视差矢量的一个实例的概念图。
图8为根据本发明所描述的一或多个实例的说明运动矢量信息被存储的方式的概念图。
图9为说明确定候选视差矢量的一个实例的概念图。
图10为说明与待预测的当前块同置的同置块的实例的概念图。
图11为说明确定候选视差矢量的一个实例的概念图。
图12为说明可实施本发明所描述的技术的视频编码器的实例的框图。
图13为说明可实施本发明所描述的技术的视频解码器的实例的框图。
图14为根据本发明所描述的一或多种技术的说明视频解码器的实例操作的流程图。
图15为根据本发明所描述的一或多种技术的说明视频编码器的实例操作的流程图。
图16为根据本发明所描述的一或多种技术的说明视频译码器的实例操作的流程图。
具体实施方式
本发明所描述的技术通常是有关于多视图纹理(或纹理及深度)译码(MVC),且更特定言之,是有关于视频译码器(例如,视频编码器或视频解码器)确定用于MVC的当前视图的当前图片内的当前块的视差矢量的方式。MVC是指多个视图被译码的方式,其中每一视图包括多个图片。MVC可用以支持三维(3D)视频。在3D应用中,当显示器呈现来自视图中的两者或两者以上的图片时,查看者感知包围3D体积的图像,而非约束于显示器的二维(2D)区域的图像。包围3D体积的图像的查看者感知是归因于不同视图的图片中的对象之间的水平视差。
视差矢量为是指对应图片内的块的矢量,所述对应图片是在不同于当前图片的当前视图的视图中。对应图片内的块及当前图片中的当前块可包括相似视频内容;然而,块在对应图片内的位置与当前块在当前图片内的位置之间存在水平视差。当前块的视差矢量提供对应图片中的块与当前图片中的当前块之间的此水平视差的度量。在另一实例中,块在对应图片内的位置与当前块在当前图片内的位置之间也可存在垂直视差。当前块的视差矢量可提供对应图片中的块与当前图片中的当前块之间的此垂直视差的度量。当前视图的当前图片及不同视图的对应图片被显示的时间可相同(即,使得当前视图及不同视图为针对同一时间例项的视图)。
如下文更详细地所描述,视频译码器基于用于时间上及空间上相邻于当前块的一或多个块的运动信息来确定视差矢量。然而,由于用于这些空间上及时间上相邻块的运动信息被存储的方式,在一些实例中,视频译码器可无需逐块地针对所述空间上及时间上相邻块确定所述运动信息。更确切地,视频译码器可经配置以逐区地确定运动信息,其中一个区包括一或多个相邻块且可大于当前块的大小。在这个实例中,视频译码器考虑用于空间上及时间上相邻块的运动信息被存储的方式,使得视频译码器逐区地确定运动信息,这种情形相比于逐块地确定运动信息可引起运动信息的较少确定。
在一些实例中,视频译码器确定视差矢量而未必需要导出用于图片的深度图,其中所述深度图指示所述图片中的像素的相对深度,或而未必译码全局视差矢量(GDV)。从所导出的深度图确定的视差矢量被称作平滑时间视图预测(STV)视差矢量。GDV为将相同视差矢量指派给每一像素的矢量。在一些其它实例中,STV视差矢量可应用于每一预测单元/译码单元/宏块/宏块分区,因此,其中的每一者具有其自己的STV。
导出用于图片的深度图可为处理密集型及时间密集型。因此,确定用于块的视差矢量而未必需要导出用于图片的深度图会增进有效视频译码。此外,即使可得到深度图,仍可利用本发明所描述的技术。所述技术也可用于深度图译码工具。此外,GDV不提供不同视图中的对应块之间的视差的准确描述。举例来说,一个视图中的图片中的两个块可在另一视图中的图片中被位移达不同量。因为GDV将相同视差矢量指派给所有像素,所以GDV不准确地定义两个块的不同量的视差。
视差矢量可用于若干译码工具中,诸如,视图间运动预测、视图间残差预测。举例来说,视图间运动预测为可以两种方式使用视差矢量的实例。在第一方式中,对于视图间运动预测,用于当前块的视差矢量所指的块的运动矢量可为用于当前块的运动矢量的多个潜在运动矢量预测值中的运动矢量预测值。当视频译码器选择这个运动矢量预测值(例如,由当前块的视差矢量所指的块的运动矢量)时,视频译码器可在合并模式或跳过模式下利用这个运动矢量预测值作为当前块的运动矢量(出于简单起见,在以下描述中,合并模式用以指示合并模式及跳过模式两者),且可在高级运动矢量预测(AMVP)模式下利用这个运动矢量预测值以确定当前块的运动矢量。在这种状况下,使用从视差矢量转换的运动矢量作为用于AMVP或合并模式的额外候选者。在第二方式中,对于视图间运动预测,使用视差矢量以将一个对应块定位在参考视图中,且可将所述对应块的运动信息转换到用于AMVP或合并模式的候选者。
举例来说,在合并模式的实例中,视频译码器可将运动矢量预测值设置为当前块的运动矢量,且利用由运动矢量预测值所指的参考图片以帧间预测当前块。在AMVP模式下,视频译码器可译码运动矢量预测值与当前块的实际运动矢量之间的残差。在这个实例中,视频译码器将残差加到运动矢量预测值或从运动矢量预测值减去残差以确定当前块的运动矢量。此外,在AMVP模式下,视频译码器将参考索引译码到第一参考图片列表及第二参考图片列表中的至少一者中以识别用以帧间预测当前块的参考图片。
通过确定视差矢量而未必需要导出深度图,视频译码器可经配置以确定用于视差矢量所指的块的运动矢量,其确定方式相比于视频译码器首先导出深度图以确定视差矢量的实例更有效。此外,通过不依赖于GDV,视频译码器可经配置以提供具有经确定视差矢量的更准确量的视差,其中经确定视差矢量更准确地定义运动矢量待在合并模式或AMVP模式下使用的块。因为在合并模式及AMVP模式下用于视差所指的块的运动矢量为用于当前块的潜在运动矢量预测值,所以在本发明所描述的技术中,视频译码器可经配置以实施合并模式及AMVP模式,其实施方式相比于一些其它技术更有效。
在一些实例中,视频译码器经配置以基于候选视差矢量列表来确定用于块的视差矢量。举例来说,不是导出深度图及从深度图导出视差矢量,而是在一些实例中,视频译码器构造候选视差矢量列表、选择所述候选视差矢量中的一者,且基于所述选定候选视差矢量来确定用于当前块的视差矢量。可存在视频译码器选择候选视差矢量中的一者的各种方式,且本发明所描述的技术不限于供选择所述候选视差矢量的任何特定方式。
确定视差矢量而未必导出深度图可允许若干译码工具,诸如,针对某些类型的图片的视图间运动预测/视图间残差预测。举例来说,视图间运动预测可应用于利用本发明所描述的技术的随机访问点(RAP)图片,诸如,瞬时解码器刷新(IDR)图片及清洁随机访问(CRA)图片。在一些其它技术(例如,未根据本发明所描述的技术的技术)中,视图间运动预测可不应用于某些非基础视图(例如,相依视图)中的RAP图片,这是因为所述RAP图片必须经完全地解码以导出RAP图片的经估计深度图且视差矢量依赖于所述经估计深度图。通过导出视差矢量而无需深度图,本发明所描述的技术可允许针对非基础视图的RAP图片的视图间运动预测。
在一些实例中,视频译码器基于空间及时间相邻块来构造候选视差矢量列表。举例来说,如果空间上或时间上相邻于当前块的块使用视图间预测,那么可潜在地包括用于这些块的视差运动矢量作为候选视差矢量。视图间预测是指帧间预测,其中包括用以帧间预测当前块的参考块的参考图片定位在不同于定位有包括当前块的当前图片的视图的视图中。视差运动矢量为用于第一视图中的图片中的块的矢量,所述矢量是指第二不同视图中的图片中的块。
如上文所描述,根据本发明所描述的技术,在构造候选视差矢量列表时,视频译码器可考虑用于空间上及时间上相邻块的运动矢量信息被存储的方式。举例来说,对于包括时间上相邻块的参考图片,视频译码器可不在每一实例中存储用于参考图片中的每一4×4块的运动矢量,但可在一些实例中存储用于参考图片中的每一4×4块的运动矢量。在一些实例中,视频解码器可经配置以针对16×16区存储一个参考图片列表中的一个运动矢量(其中16×16区包括16个4×4块)。用于16×16区的这一个运动矢量可被视为用于参考图片列表中的区内的16个4×4块中的每一者的单一运动矢量。
出于简单起见,在以下描述中,用于区的运动矢量表示一个参考图片列表的运动矢量。此外,无论来自参考图片还是来自当前图片内的区皆可包括一或多个块。出于说明简易起见,用实例来描述技术,在所述实例中,区包括一个以上块,但应理解,区可包括一或多个块。
在以上实例中,尽管参考图片中的16×16区中的每一4×4块可由不同运动矢量译码,但当视频译码器存储运动矢量信息时,用于16×16区中的每一4×4块的单独运动矢量信息丢失,且用针对每一4×4块相同的一个运动矢量进行替换。将运动矢量存储在16×16区中的另一益处为:存储器要求显著地缩减(即,无需将用于每一4×4块的运动矢量存储在16×16区内)。可存在视频译码器确定用于16×16区的单一运动矢量的不同方式,且本发明所描述的技术不限于视频译码器确定用于16×16区的单一运动矢量的任何特定方式。
在视频译码器存储用于区的运动矢量的实例中,不是逐块地,而是可没有必要使视频译码器确定时间上相邻于当前块的每一4×4块的运动矢量信息。举例来说,为了确定候选视差矢量,视频译码器可检查参考图片内的以下位置:与当前块同置的区、覆盖同置区的最大译码单元(LCU)区内的块,及右底部块。然而,可有可能的是,用于所有这些经检查区域的运动矢量信息是归因于视频译码器存储所述运动矢量信息的方式而相同。因此,视频译码器可无需出于确定用于当前块的候选视差矢量的目的而确定用于所有这些块的运动矢量信息。
代替地,视频译码器可确定用于16×16区的运动矢量信息。如果用于这个16×16区的运动矢量为视差运动矢量,那么这个视差运动矢量可为用以确定用于当前块的视差矢量的候选视差矢量。在这个实例中,16×16区在大小方面大于4×4时间上相邻块中的每一者。此外,16×16区在大小方面可大于当前块的大小。应理解,视频译码器可逐块地检查4×4时间上相邻块。
在以上实例中,视频译码器基于时间上相邻于当前块的区来确定候选视差矢量。如上文所描述,在一些实例中,视频译码器也评估是否视图间预测任何空间上相邻块,且利用用于这些空间上相邻块的视差运动矢量作为用于当前块的视差矢量的候选者。相似于具有时间上相邻块的状况,在一些实例中,视频译码器不存储用于空间上相邻块的所有运动矢量信息。
举例来说,在用于帧间预测在包括当前块的行上方的行中的块时,视频译码器将用于这个行(即,在包括当前块的行上方的行)中的块的运动矢量信息存储在行缓冲器中。在行缓冲器中,视频译码器可不存储用于每一4×4块的所有运动矢量信息。更确切地,两个块可共享相同运动矢量信息。然而,在所有实例中无需共享相同运动矢量信息的两个块,且视频译码器可存储用于每一4×4块的所有运动矢量信息。
举例来说,假定存在以行而排列的四个4×4块。可存在用于以所述行而排列的这四个4×4块中的每一者的运动矢量,且用于这四个4×4块的运动矢量可不同。
在这个实例中,尽管用于第一4×4块及第二4×4块的运动矢量可不同,但当存储时,第一4×4块及第二4×4块共享相同运动矢量信息,且视频译码器将用于这些块两者的一个运动矢量存储在行缓冲器中。这一个运动矢量表示用于第一4×4块及第二4×4块的单一运动矢量。
在一些实例中,视频译码器存储用于第一块的运动矢量信息作为用于第一块及第二块两者的运动矢量,使得用于第二4×4块的运动矢量信息丢失,且用于第一4×4块的运动矢量信息保留。此外,在这个实例中,尽管用于第三4×4块及第四4×4块的运动矢量可不同,但当存储时,第三4×4块及第四4×4块共享相同运动矢量信息,且视频译码器可将用于这些块两者的一个运动矢量存储在行缓冲器中。这一个运动矢量表示用于第三4×4块及第四4×4块的单一运动矢量。在一些实例中,视频译码器存储用于第四块的运动矢量信息作为用于第三块及第四块两者的运动矢量,使得用于第二4×4块的运动矢量信息丢失,且用于第四4×4块的运动矢量信息保留。
在一些实例中,所存储的运动矢量信息可从第一4×4块及第二4×4块或第三4×4块及第四4×4块导出,且所导出的运动矢量信息可不相同于所述两个块中的任一者。一般而言,视频译码器可利用任何技术以缩减需要存储在行缓冲器中的运动矢量信息,且上文所描述的技术(例如,存储用于一个块的运动矢量信息作为用于两个块的运动矢量信息,或导出用于两个块的运动矢量信息)是出于说明的目的而被提供且不应被视为限制性的。
在以上实例中,视频译码器存储用于在包括当前块的行上方的行内的8×4区的运动矢量信息,其中每一8×4区包括两个4×4块。在这种状况下,可没有必要使视频译码器确定用于空间上相邻于当前块的块当中的每一4×4块的运动矢量信息。举例来说,有可能的是,用于空间上相邻块中的一些的运动矢量信息相同。在这个实例中,确定用于块中仅一者的运动矢量信息可足够确定哪些候选者可包括在候选视差矢量列表中。
换言之,视频译码器可不确定用于空间上相邻块当中的4×4块的运动矢量信息。更确切地,视频译码器可确定用于8×4区的运动矢量信息(在这个实例中),其中8×4区包括各自空间上相邻于当前块的两个4×4块(例如,表示两个4×4块的单一运动矢量)。如果用于这个8×4区的运动矢量为视差运动矢量,那么这个视差运动矢量可为用以确定用于当前块的视差矢量的候选视差矢量。在这个实例中,8×4区在大小方面大于4×4空间上相邻块中的每一者。此外,8×4区在大小方面可大于当前块的大小。
此外,本发明所描述的技术可克服存在于一些视频译码技术中的其它问题。举例来说,用于空间及时间相邻块的视差运动矢量可包括水平分量及垂直分量两者(例如,x坐标及y坐标两者)。然而,视差矢量的一些实例仅包括水平分量。因此,在一些实例中,当使用空间或时间相邻块的视差运动矢量时,视频译码器可将y坐标值设置到0,使得候选视差矢量仅包括x坐标。再次,并非所有视差矢量皆需要必要地仅包括水平分量,且可包括水平分量及垂直分量两者。
相反地,如下文更详细地所描述,当使用视差矢量作为视差运动矢量时,视差运动矢量可不包括y分量。然而,在一些实例中,可有益的是从位置不在与正被预测的块确切地相同的y坐标处的块来视图间预测当前块。换言之,从正被视图间预测的块仅水平地位移的在参考视图中的参考图片中的块可未必为用于预测的最佳块。在这种状况下,可需要使视差运动矢量包括y坐标以识别在参考视图中的参考图片中的经水平位移块上方或下方的块。在一些实例中,当从视差矢量导出视差运动矢量时,本发明所描述的技术允许视差运动矢量包括y坐标。
图1为根据本发明所描述的一或多个实例的说明实例视频编码及解码系统的框图。举例来说,系统10包括源装置12及目的地装置14。源装置12及目的地装置14经配置以实施多视图译码(MVC),其中源装置12及目的地装置14各自译码不同视图的图片。当一起查看不同视图的图片时,查看者感知包围3D体积的图像,而非约束于显示器的2D区域的图像。
系统10可根据不同视频译码标准、专有标准或任何其它多视图译码方式而操作。下文描述视频译码标准的几个实例且不应被视为限制性的。视频译码标准包括ITU-TH.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC),包括其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的最新联合草稿被描述在2010年3月ITU-TRecommendation H.264的“Advanced video coding for generic audiovisualservices”中。MVC的较新近的公开可得到联合草稿被描述在2012年6月ITU-TRecommendation H.264的“Advanced video coding for generic audiovisualservices”中。到2012年1月为止已审核MVC的当前联合草稿。
另外,存在由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准,即,高效率视频译码(HEVC)。到2013年3月6日为止,被称作HEVC WD9的HEVC的新近工作草稿可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip。
仅出于说明的目的,用根据H.264及HEVC标准的实例来描述本发明所描述的技术。在一些实例中,本发明所描述的技术可适用于H.2643D-AVC标准、H.264MVC+Depth(H.246MVC+D)标准及3D-HEVC标准。然而,本发明所描述的技术不应被视为限于这些实例标准,且可扩展到用于多视图译码或3D视频译码的其它视频译码标准,或可扩展到未必基于特定视频译码标准的与多视图译码或3D视频译码有关的技术。举例来说,本发明所描述的技术是由用于多视图译码的视频编码器/解码器(编码解码器)实施,其中多视图译码包括两个或两个以上视图的译码。
如图1所示,系统10包括源装置12,源装置12产生待在稍后时间由目的地装置14解码的经编码视频数据。源装置12及目的地装置14包含广泛范围的装置中的任一者,包括诸如所谓“智能”手机的无线手机、所谓“智能”垫,或经配备用于无线通信的其它此类无线装置。源装置12及目的地装置14的额外实例包括但不限于数字电视、数字直播系统中的装置、无线广播系统中的装置、个人数字助理(PDA)、便携式计算机、台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝无线电话、卫星无线电话、视频电传会议装置及视频流式处理装置,或其类似者。
目的地装置14可经由链路16而接收待解码的经编码视频数据。链路16包含能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一个实例中,链路16包含通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。经编码视频数据可根据诸如无线通信协议的通信标准予以调制,且传输到目的地装置14。通信媒体可包含任何无线或有线通信媒体,诸如,射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络的部分,诸如,局域网、广域网,或诸如因特网的全局网络。通信媒体可包括路由器、交换机、基站,或可有用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中,将经编码数据从输出接口22输出到存储装置33。相似地,由输入接口28从存储装置33访问经编码数据。存储装置33的实例包括多种分布式或本地访问式数据存储媒体中的任一者,诸如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储媒体。在另外实例中,存储装置33对应于保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。在这些实例中,目的地装置14经由流式处理或下载而从存储装置33访问经存储视频数据。文件服务器为能够存储经编码视频数据且将那个经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包括web服务器(例如,用于网站)、FTP服务器、网络连接存储(NAS)装置,或本地磁盘驱动器。目的地装置14经由包括因特网连接的任何标准数据连接而访问经编码视频数据。这种连接可包括适合于访问存储在文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器,等等)或这两者的组合。经编码视频数据从存储装置33的传输可为流式处理传输、下载传输或这两者的组合。
本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一者,诸如,空中电视广播、有线电视传输、卫星电视传输、流式处理视频传输(例如,经由因特网)、供存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10经配置以支持单向或双向视频传输以支持诸如视频流式处理、视频播放、视频广播及/或视频电话的应用。
在图1的实例中,源装置12包括视频源18、视频编码器20及输出接口22。在一些状况下,输出接口22包括调制器/解调器(调制解调器)及/或传输器。在源装置12中,视频源18包括诸如以下各者的源中的一或多者:视频捕获装置(例如,摄像机)、含有经先前捕获视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口,及/或用于产生计算机图形数据作为源视频的计算机图形系统、这些源的组合,或任何其它源。作为一个实例,如果视频源18为摄像机,那么源装置12及目的装置14可形成所谓相机电话或视频电话。然而,本发明所描述的技术大体上适用于视频译码,且可应用于无线及/或有线应用。
视频编码器20编码经捕获、经预捕获或经计算机产生视频。源装置12的输出接口22经配置以将经编码视频数据传输到目的地装置14。经编码视频数据也(或替代地)可存储到存储装置33上以供稍后由目的地装置14或其它装置访问以用于解码及/或播放。
目的地装置14包括输入接口28、视频解码器30及显示装置32。在一些状况下,输入接口28包括接收器及/或调制解调器。目的地装置14的输入接口28经由链路16或从存储装置33接收经编码视频数据。经由链路16而传达或提供在存储装置33上的经编码视频数据包括由视频编码器20产生以供诸如视频解码器30的视频解码器使用以解码所述视频数据的多种语法元素。这些语法元素可与传输于通信媒体上、存储在存储媒体上或存储在文件服务器上的经编码视频数据一起被包括。
显示装置32可与目的地装置14整合或在目的地装置14外部。在一些实例中,目的地装置14包括整合式显示装置且也经配置以与外部显示装置界接。在其它实例中,目的地装置14为显示装置。一般而言,显示装置32向用户显示经解码视频数据,且包含多种显示装置中的任一者,诸如,液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器,或另一类型的显示装置。
视频编码器20及视频解码器30可根据诸如上文所列出的实例的各种视频译码标准而操作。然而,本发明所描述的技术不应被视为因而受到限制。出于描述的目的,视频编码器20及视频解码器30是在HEVC或H.264标准及这些标准的扩展的上下文中得以描述,且可适用于诸如H.2643D-AVC标准、H.264MVC+D标准及3D-HEVC标准的标准。然而,本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包括MPEG-2及ITU-T H.263。诸如被称作On2VP6/VP7/VP8的技术的专有译码技术也可实施本文所描述的技术中的一或多者。
尽管图1中未图示,但在一些方面,视频编码器20及视频解码器30各自是与音频编码器及解码器整合,且包括适当MUX-DEMUX单元或其它硬件及软件以处置通用数据流或独立数据流中的音频及视频两者的编码。适用时,在一些实例中,MUX-DEMUX单元符合ITUH.223多路复用器协议或诸如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可被实施为多种合适编码器电路中的任一者,诸如,一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术是部分地以软件予以实施时,装置可将用于所述软件的指令存储在合适非暂时性计算机可读媒体中且使用一或多个处理器而以硬件来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包括在一或多个编码器或解码器中,所述一或多个编码器或解码器中的任一者可作为组合式编码器/解码器(CODEC)的部分而整合于相应装置中。根据本发明所描述的技术,视频编码器20经配置以编码视频数据且视频解码器30经配置以解码视频数据。
图2为根据本发明所描述的一或多个实例的说明实例多视图视频译码(MVC)编码或解码顺序的图形图。举例来说,图2所说明的解码顺序排列被称作时间优先译码。在图2中,S0到S7各自是指多视图视频的不同视图。T0到T8各自表示一个输出时间例项。访问单元可包括针对一个输出时间例项的所有视图的经译码图片。举例来说,第一访问单元包括针对时间例项T0的所有视图S0到S7(即,图片0到7),第二访问单元包括针对时间例项T1的所有视图S0到S7(即,图片8到15),等等。在这个实例中,图片0到7处于相同时间例项(即,时间例项T0),图片8到15处于相同时间例项(即,时间例项T1)。具有相同时间例项的图片通常被同时显示,且正是相同时间例项的图片内的对象之间的水平视差及可能某一垂直视差使查看者感知包围3D体积的图像。
在图2中,视图中的每一者包括图片集合。举例来说,视图S0包括图片0、8、16、24、32、40、48、56及64集合,视图S1包括图片1、9、17、25、33、41、49、57及65集合,等等。每一集合包括两个图片:一个图片被称作纹理视图分量,且另一图片被称作深度视图分量。视图的图片集合内的纹理视图分量及深度视图分量可被视为彼此对应。举例来说,视图的图片集合内的纹理视图分量被视为对应于视图的图片集合内的深度视图分量,且反之亦然(即,深度视图分量对应于其在所述集合中的纹理视图分量,且反之亦然)。如本发明所使用,对应于深度视图分量的纹理视图分量可被视为作为单一访问单元的同一视图的部分的纹理视图分量及深度视图分量。
纹理视图分量包括所显示的实际图像内容。举例来说,纹理视图分量可包括亮度(Y)及色度(Cb及Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例,深度视图分量可被视为仅包括亮度值的灰度图像。换言之,深度视图分量可不输送任何图像内容,而是提供纹理视图分量中的像素的相对深度的度量。
举例来说,深度视图分量中的纯白色像素指示其在对应纹理视图分量中的对应像素根据查看者的观点而言较近,且深度视图分量中的纯黑色像素指示其在对应纹理视图分量中的对应像素根据查看者的观点而言较远。介于黑色与白色之间的各种灰色阴影指示不同深度级别。举例来说,深度视图分量中的极灰色像素指示其在纹理视图分量中的对应像素相比于深度视图分量中的浅灰色像素较远。因为仅需要灰度来识别像素的深度,所以深度视图分量无需包括色度分量,这是因为深度视图分量的色彩值可不提供任何目的。
仅使用亮度值(例如,强度值)以识别深度的深度视图分量是出于说明的目的而被提供且不应被视为限制性的。一般而言,可利用任何技术以指示纹理视图分量中的像素的相对深度。
根据MVC,纹理视图分量是从在同一视图中但在不同访问单元中的纹理视图分量予以帧间预测,或从在一或多个不同视图中但在同一访问单元中的纹理视图分量予以帧间预测。纹理视图分量可以视频数据块予以译码,所述块被称作“视频块”且在H.264上下文中通常被称作“宏块”。诸如HEVC标准的其它视频译码标准可将视频块称作树块或译码单元(CU)。
相同时间例项中的图片中的视频内容可相似。然而,视频内容可在水平方向上稍微位移,且也可能地在垂直方向上稍微位移。举例来说,如果块在视图S0的图片0中定位在(x,y)处,那么在视图S1的图片1中定位在(x+x′,y)处的块包括与在视图S0的图片0中定位在(x,y)处的块相似的视频内容。在这个实例中,在视图S0的图片0中定位在(x,y)处的块及在视图S1的图片1中定位在(x+x′,y)处的块被视为对应块。在一些实例中,用于在视图S1的图片1中定位在(x+x′,y)处的块的视差矢量是指其对应块的位置。举例来说,用于定位在(x+x′,y)处的块的视差矢量为(-x′,0)。
在一些实例中,视频编码器20或视频解码器30利用第一视图的图片中的块的视差矢量以识别第二视图的图片中的对应块。视频编码器20或视频解码器30可利用用于第二视图的图片中的经识别对应块的运动信息作为第一视图中的图片中的块的候选运动预测值列表中的候选运动矢量预测值。在一些实例中,视频编码器20或视频解码器30选择这个候选运动预测值(例如,用于第二视图的图片中的块的运动信息)作为用于第一视图中的图片中的块的运动矢量预测值。在这个实例中,视频编码器20或视频解码器30根据所谓合并模式或高级运动矢量预测(AMVP)模式而基于运动矢量预测值来确定用于第一视图中的图片中的块的运动矢量,所述模式两者在下文中得以更详细地描述。在一些实例中,视差矢量可用以将残余块定位在第二视图中以预测第一视图的当前残余信息。
视频编码器20或视频解码器30经配置以确定块的视差矢量。在一些其它技术(即,除了根据本发明所描述的技术的技术以外的技术)中,视频编码器20或视频解码器30首先导出用于纹理视图分量的深度视图分量,且接着基于所导出的深度视图分量来确定用于纹理视图分量中的块的视差矢量。所得视差矢量被称作平滑时间视图预测(STV)视差矢量。此外在一些其它技术中,视频编码器20及视频解码器30译码向每一像素指派相同视差矢量的全局视差矢量(GDV)。
然而,导出深度视图分量可复杂(即,处理密集型及时间密集型)。本发明所描述的技术允许视频编码器20及视频解码器30确定用于纹理视图分量中的块的视差矢量,而未必首先确定深度视图分量。然而,即使视频编码器20及视频解码器30将首先导出深度视图分量,视频编码器20及视频解码器30仍可利用本发明所描述的技术。在一些状况下,本发明所描述的技术可用作深度图译码工具。
此外,GDV可不为实际视差矢量的准确度量,且因此可不准确地指运动矢量被用作运动矢量预测值的块。换言之,GDV所指的块的运动矢量相比于实际视差矢量所指的块的运动矢量为较不准确的运动矢量预测值。
图3为说明实例MVC预测样式的图形图。在图3的实例中,说明八个视图(具有视图ID“S0”到“S7”),且针对每一视图说明十二个时间位置(“T0”到“T11”)。即,图3中的每一行对应于视图,而每一列指示时间位置。
尽管MVC具有可由H.264/AVC解码器或HEVC解码器解码的所谓基础视图且立体视图对也可受到MVC支持,但MVC的优势为:其可支持使用两个以上视图作为3D视频输入且解码由所述多个视图表示的这个3D视频的实例。具有MVC解码器(例如,H.264/MVC解码器或HEVC解码器)的客户端的转译器可期望具有多个视图的3D视频内容。
在图3中,视图S0被视为基础视图,且视图S1到S7被视为相依视图。基础视图包括未被视图间预测的图片。基础视图中的图片可相对于同一视图中的其它图片予以帧间预测。举例来说,视图S0中无任一图片中是相对于视图S1到S7中的任一者中的图片予以帧间预测,但视图S0中的一些图片是相对于视图S0中的其它图片予以帧间预测。
相依视图包括被视图间预测的图片。举例来说,视图S1到S7中的每一者包括相对于另一视图中的图片予以帧间预测的至少一个图片。相依视图中的图片可相对于基础视图中的图片予以帧间预测,或可相对于其它相依视图中的图片予以帧间预测。
包括基础视图及相依视图两者会确保不同类型的视频解码器可解码图片。举例来说,一种类型的视频解码器未经配置成处理多视图译码。所述类型的视频解码器仍可解码基础视图,而经配置成处理多视图译码的视频解码器可解码视图S0到S7中的每一者。
文档m22570及m22571定义用于基于HEVC的3D译码(3D-HEVC)的一些技术,且到2013年3月6日为止可用密码而得自http://wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22570-v2-m22570-v2.zip;http://wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22571-v2-m22571-v2.zip。这些文档所描述的工具中的一者为视图间运动预测,其中基于同一访问单元的其它视图中的已经译码的运动参数来预测或推断(例如,在AMVP模式或合并模式下)相依视图中的块的运动参数(即,运动矢量及参考索引)。如更详细地所描述,在m22570及m22571文档所描述的技术中可存在某些限制及问题。本发明所描述的技术潜在地克服m22570及m22571文档所描述的技术中的一些限制及问题。针对3D-HEVC的最新参考软件描述可得自:Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea的“3D-HEVC Test Model 1”,http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1005-v1.zip,2012年4月,瑞典斯德哥尔摩。针对3D-HEVC的最新参考软件(即,HTM)可得自:https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/trunk。
图3中的图片在图3中被指示于每一行与每一列的相交处。具有MVC扩展的H.264/AVC标准可使用术语帧以表示视频的部分,而HEVC标准可使用术语图片以表示视频的部分。本发明互换式地使用术语图片及帧。
图3中的图片是使用包括字母的阴影块予以说明,所述字母指定对应图片被帧内译码(即,为I图片),还是在一个方向上被帧间译码(即,作为P图片)或在多个方向上被帧间译码(即,作为B图片)。一般而言,预测是由箭头指示,其中箭头指向的图片使用箭头出发的图片以供预测参考。举例来说,从时间位置T0处的视图S0的I图片来预测时间位置T0处的视图S2的P图片。
如同单视图视频编码一样,可相对于不同时间位置处的图片来预测性地编码多视图视频译码视频序列的图片。举例来说,视图S0在时间位置T1处的b图片具有从视图S0在时间位置T0处的I图片指向所述b图片的箭头,从而指示从所述I图片来预测所述b图片。然而,另外,在多视图视频编码的上下文中,图片可被视图间预测。即,视图分量(例如,纹理视图分量)可使用其它视图中的视图分量以供参考。举例来说,在MVC中,实现视图间预测,就好像另一视图中的视图分量为帧间预测参考一样。潜在视图间参考是在序列参数集(SPS)MVC扩展中被发信且可通过参考图片列表构造进程而修改,所述进程使能够对帧间预测参考或视图间预测参考进行灵活排序。
图3提供视图间预测的各种实例。在图3的实例中,视图S1的图片被说明为从视图S1在不同时间位置处的图片予以预测,又从视图S0及S2在相同时间位置处的图片予以视图间预测。举例来说,从视图S1在时间位置T0及T2处的B图片以及视图S0及S2在时间位置T1处的b图片中的每一者来预测视图S1在时间位置T1处的b图片。
在图3的实例中,大写字母“B”及小写字母“b”用以指示图片之间的不同层次关系,而非指示不同译码方法。一般而言,大写字母“B”图片在预测层次中相对高于小写字母“b”帧。图3也使用不同阴影级别来说明预测层次的变化,其中较大量的阴影(即,相对较暗)帧在预测层次中高于具有较少阴影(即,相对较亮)的那些帧。举例来说,图3中的所有I图片是用完全阴影予以说明,而P图片具有稍微较亮阴影,且B图片(及小写字母b图片)相对于彼此具有各种阴影级别,但始终亮于P图片及I图片的阴影。
一般而言,预测层次是与视图顺序索引有关,这在于:在预测层次中相对较高的图片应在解码在所述层次中相对较低的图片之前被解码,使得在所述层次中相对较高的那些图片可在解码在所述层次中相对较低的图片期间用作参考图片。视图顺序索引为指示访问单元中的视图分量的解码顺序的索引。如H.264/AVC的Annex H(MVC修正)中所指定,在序列参数集(SPS)MVC扩展中隐含视图顺序索引。在SPS中,对于每一索引i,对对应view_id进行发信。视图分量的解码应遵循视图顺序索引的递增顺序。如果所有视图皆被呈现,那么视图顺序索引是按从0到num_views_minus_1的连续顺序。
如此,用作参考图片的图片是在解码参考所述参考图片予以编码的图片之前被解码。视图顺序索引为指示访问单元中的视图分量的解码顺序的索引。对于每一视图顺序索引i,对对应view_id进行发信。视图分量的解码遵循视图顺序索引的递增顺序。如果所有视图皆被呈现,那么视图顺序索引集合可包含从0到视图的完全数目减1的连续排序集合。
对于层次的相等级别处的某些图片,相对于彼此的解码顺序可无关紧要。举例来说,视图S0在时间位置T0处的I图片用作视图S2在时间位置T0处的P图片的参考图片,视图S2在时间位置T0处的P图片又用作视图S4在时间位置T0处的P图片的参考图片。因此,视图S0在时间位置T0处的I图片应在视图S2在时间位置T0处的P图片之前被解码,视图S2在时间位置T0处的P图片应在视图S4在时间位置T0处的P图片之前被解码。然而,在视图S1与视图S3之间,解码顺序无关紧要,这是因为视图S1及视图S3对于预测而言并不依赖于彼此,而是仅从在预测层次中较高的视图予以预测。此外,视图S1可在视图S4之前被解码,只要视图S1在视图S0及S2之后被解码即可。
如此,可使用层次排序以描述视图S0到S7。假设表示法SA>SB意谓视图SA应在视图SB之前被解码。在图2的实例中,在使用这种表示法的情况下,S0>S2>S4>S6>S7。此外,关于图2的实例,S0>S1,S2>S1,S2>S3,S4>S3,S4>S5且S6>S5。不违反这些要求的用于视图的任何解码顺序是可能的。因此,许多不同解码顺序是可能的,其中仅具有某些限制。
在一些实例中,图3可被视为说明纹理视图分量。在用以在所谓合并模式或AMVP模式下实施视图间运动预测的这些实例中,在一些状况下,视频编码器20或视频解码器30利用用于由待帧间预测的当前块的视差矢量所指的块的运动矢量作为运动矢量预测值。本发明所描述的技术确定当前块的视差矢量而未必需要导出深度视图分量,且未必依赖于全局视差矢量。
视频序列通常包括来自视图(例如,图2及3所说明的视图)的一系列视频图片。图片组(GOP)通常包含一系列一或多个视频图片。GOP可在GOP的标头中、在GOP的一或多图片的标头中或在别处包括语法数据,所述语法数据描述包括在GOP中的图片的数目。每一图片可包括描述用于相应图片的编码模式的图片语法数据。视频编码器20通常对单独视频图片内的视频块进行操作,以便编码视频数据。视频块可对应于宏块、对应于宏块的分区且可能地对应于分区的子块,如H.264标准中所定义,或对应于最大译码单元(LCU)、译码单元(CU)、预测单元(PU)或变换单元(TU),如HEVC标准中所定义。视频块可具有固定或变化大小,且在大小方面可根据所指定译码标准而不同。每一视频图片可包括多个切片。每一切片可包括多个块。
作为实例,ITU-T H.264标准支持以各种块大小的帧内预测,诸如,针对亮度分量的16乘16、8乘8或4乘4,以及针对色度分量的8×8,又支持以各种块大小的帧间预测,诸如,针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8及4×4,以及针对色度分量的对应缩放大小。在本发明中,“N×N”与“N乘N”可互换式地用以指块在垂直维度及水平维度方面的像素尺寸(例如,16×16像素或16乘16像素)。一般而言,16×16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样地,N×N块通常在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可以行及列而排列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说,块可包含N×M像素,其中M未必等于N。
当块被帧内模式编码(例如,帧内预测)时,块可包括描述用于块的帧内预测模式的数据。作为另一实例,当块被帧间模式编码(例如,帧间预测)时,块可包括定义用于块的运动矢量的信息。这个运动矢量是指同一视图中的参考图片,或是指另一视图中的参考图片。举例来说,定义用于块的运动矢量的数据描述运动矢量的水平分量、运动矢量的垂直分量、用于运动矢量的分辨率(例如,四分之一像素精度或八分之一像素精度)。另外,当块被帧间预测时,块可包括诸如运动矢量所指向的参考图片的参考索引信息,及/或用于运动矢量的参考图片列表(例如,RefPicList0或RefPicList1)。
JCT-VC正致力于开发HEVC标准。HEVC标准化努力是基于视频译码装置的演进模型,其被称作HEVC测试模型(HM)。HM推测视频译码装置相对于根据(例如,ITU-T H.264/AVC)的现有装置的若干额外能力。举例来说,H.264提供9个帧内预测编码模式,而HM可提供多达33个方向性/角度帧内预测编码模式加上DC及平面模式。
HM的工作模型描述出可将视频图片划分成包括亮度样本及色度样本两者的树块或最大译码单元(LCU)序列。树块具有与H.264标准的宏块的目的相似的目的。切片包括按译码顺序的数个连续树块。视频图片可分割成一或多个切片。每一树块可根据四叉树而分裂成若干译码单元(CU)。举例来说,作为四叉树的根节点的树块可分裂成四个子节点,且每一子节点又可为父节点且分裂成另外四个子节点。作为四叉树的叶节点的最后未分裂子节点包含译码节点(即,经译码视频块)。与经译码位流相关联的语法数据可定义树块可被分裂的最大次数,且也可定义译码节点的最小大小。在一些实例中,树块被称作LCU。
CU包括译码节点以及与译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且可为正方形形状。在一些实例中,CU的大小是在从8×8像素直到最大值为64×64像素或更大的树块的大小的范围内。在一些实例中,每一CU含有一或多个PU及一或多个TU。举例来说,与CU相关联的语法数据描述CU成为一或多个PU的分割。分割模式在CU被跳过或直接模式编码、帧内预测模式编码还是帧间预测模式编码之间不同。在一些实例中,PU可经分割为非正方形形状。举例来说,与CU相关联的语法数据也描述根据四叉树而进行的CU成为一或多个TU的分割。TU可为正方形或非正方形形状。
HEVC标准允许根据TU的变换,所述变换对于不同CU可不同。TU通常是基于针对经分割LCU而定义的给定CU内的PU的大小被设定大小,但并非始终为这种状况。TU的大小通常是与PU的大小相同或小于PU的大小。在一些实例中,使用被称作“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元(TU)。在一些实例中,变换与TU相关联的像素差值以产生变换系数,其被量化。
一般而言,PU包括与预测进程有关的数据。举例来说,当PU被帧内模式编码时,PU包括描述用于PU的帧内预测模式的数据。作为另一实例,当PU被帧间模式编码时,PU包括定义用于PU的运动矢量的数据。举例来说,定义用于PU的运动矢量的数据描述运动矢量的水平分量、运动矢量的垂直分量、用于运动矢量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动矢量所指向的参考图片,及/或用于运动矢量的参考图片列表(例如,RefList0或RefPicList1)。
一般而言,TU用于变换进程及量化进程。具有一或多个PU的给定CU也可包括一或多个变换单元(TU)。在预测之后,视频编码器20可计算对应于PU的残余值。所述残余值包含可变换成变换系数、被量化且使用TU予以扫描以产生串行化变换系数以供熵译码的像素差值。本发明通常使用术语“视频块”以指CU的译码节点。在一些特定状况下,本发明也可使用术语“视频块”以指可包括译码节点以及PU及TU的树块,即,LCU或CU。
作为实例,HM支持以各种PU大小的预测。假定特定CU的大小为2N×2N,那么HM支持以2N×2N或N×N的PU大小的帧内预测,及以2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM也支持针对以2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的非对称分割。在非对称分割中,CU的一个方向未被分割,而另一方向分割成25%及75%。对应于25%分区的CU的部分是由“n”后跟着“上”、“下”、“左”或“右”的指示进行指示。因此,举例来说,“2N×nU”是指被水平地分割的2N×2NCU,其中2N×0.5N PU是在顶部且2N×1.5N PU是在底部。
在H.264标准或HEVC标准中,在帧内预测性或帧间预测性译码之后,视频编码器20在HEVC中或在H.264中针对宏块来计算用于CU的TU的残余数据。PU包含在空间域(也被称作像素域)中的像素数据,且在将变换(例如,离散余弦变换(DCT))、整数变换、小波变换或概念上相似变换应用于残余视频数据之后,TU包含在变换域中的系数。残余数据可对应于未经编码图片的像素与在HEVC中对应于PU的预测值或在H.264中针对宏块的预测值之间的像素差。
在进行任何变换以产生变换系数之后,在一些实例中,视频编码器20执行变换系数的量化。量化通常是指如下进程:在所述进程中,量化变换系数以可能地缩减用以表示所述系数的数据的量,从而提供进一步压缩。所述量化进程缩减与所述系数中的一些或全部相关联的位深度。举例来说,在量化期间将n位值降值舍位至m位值,其中n大于m。
在一些实例中,视频编码器20利用预定义扫描顺序以扫描经量化变换系数以产生可被熵编码的串行化矢量。在其它实例中,视频编码器20执行自适应扫描。在扫描经量化变换系数以形成一维矢量之后,在一些实例中,视频编码器20根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法(作为几个实例)来熵编码一维矢量。视频编码器20也熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码所述视频数据。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待传输符号。所述上下文可与(例如)所述符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择用于待传输符号的可变长度码。VLC中的码字可经构造成使得相对较短代码对应于较可能的符号,而较长代码对应于较不可能的符号。如此,VLC的使用相比于(例如)针对每一待传输符号使用相等长度码字可达成位节省。概率确定可基于指派给所述符号的上下文。
如上文所描述,在MVC中,视频编码器20及视频解码器30参考第二视图的参考图片内的参考块来帧间预测第一视图的当前图片内的当前块。此帧间预测被称作视图间预测。当前图片及参考图片的时间例项在相应视图中可相同。在这个实例中,视频编码器20或视频解码器30执行跨越同一访问单元中的图片的视图间预测,其中所述同一访问单元中的图片处于相同时间例项。
为了对当前块执行视图间预测,视频编码器20或视频解码器30构造识别可用于帧间预测的参考图片(包括可用于视图间预测的图片)的参考图片列表。帧间预测是指相对于参考图片中的参考块来预测当前图片中的当前块。视图间预测为帧间预测子集,这在于:在视图间预测中,参考图片是在不同于当前图片的视图的视图中。因此,对于视图间预测,视频编码器20及视频解码器30在经构造参考图片列表中的一者或两者中添加另一视图中的参考图片。可在经构造参考图片列表内的任何位置处识别另一视图中的参考图片。如本发明所使用,当视频编码器20正对块执行帧间预测(例如,帧间预测块)时,视频编码器20可被视为帧间预测编码块。当视频解码器30正对块执行帧间预测(例如,帧间预测块)时,视频解码器30可被视为帧间预测解码块。
在帧间预测中,用于当前块的运动矢量识别待用作用于帧间预测当前块的参考块的块的位置,且通向经构造参考图片列表中的一者或两者的参考索引识别包括用作用于帧间预测当前块的参考块的块的参考图片。在MVC中,存在至少两种类型的运动矢量。时间运动矢量是指时间参考图片,其中时间参考图片为与包括待预测块的图片相同的视图内的图片,且其中时间参考图片是早于或迟于包括待预测块的图片被显示。视差运动矢量是指不同于包括待预测块的图片的视图的视图中的参考图片。在本发明中,术语“运动矢量”可指时间运动矢量或视差运动矢量,或仅是指时间运动矢量或视差运动矢量,这在所述描述的上下文中将清楚可见。
当视频编码器20或视频解码器30利用时间运动矢量时,视频编码器20及视频解码器30被视为实施运动补偿预测(MCP)。当视频编码器20或视频解码器30利用视差运动矢量时,视频编码器20及视频解码器30被视为实施视差补偿预测(DCP)或视图间预测。
为了缩减需要被发信的视频数据的量,没有必要使视频编码器20在每一实例中对用于待预测的当前块的运动矢量进行发信。更确切地,视频解码器30基于运动矢量预测值来确定用于当前块的运动矢量。运动矢量预测值为用于不同于当前块的块的运动矢量。不同于当前块的块可为空间上相邻于当前块的块、时间上相邻于当前块的块,或不同于当前块的视图的视图中的对应块。
视频解码器30利用运动矢量预测值以根据合并模式或高级运动矢量预测(AMVP)模式来确定当前块的运动矢量。在合并模式及AMVP模式两者下,在一些实例中,视频解码器30实施隐式技术以构造候选运动矢量预测值列表。隐式技术意谓视频解码器30未必需要从视频编码器20接收以供构造候选运动矢量预测值列表的方式指示视频解码器30的指令。在其它实例中,有可能使视频编码器20以供构造候选运动矢量预测值列表的方式指示视频解码器30。出于说明的目的,用实例来描述技术,在所述实例中,视频解码器30实施隐式技术以构造候选运动矢量预测值列表。
举例来说,视频解码器30确定空间上相邻于当前块的一或多个块的运动矢量,且将这些运动矢量作为候选运动矢量预测值包括在候选运动矢量预测值列表中。在一些实例中,视频解码器30确定时间上相邻于当前块的一或多个块的运动矢量,且将这些运动矢量作为候选运动矢量预测值包括在候选运动矢量预测值列表中。时间上相邻块是指与包括当前块的图片相同的视图中的图片中的块,所述块在所述图片中包围与当前块在其图片中所包围的区域大致相同的区域。时间上相邻块可被称作同置块。
在一些实例中,视频解码器30基于时间上相邻块的图片顺序计数(POC)值及当前块的POC值来缩放用于时间上相邻块的运动矢量。POC值指示图片的显示或输出顺序。
此外,在一些实例中,视频解码器30确定由当前块的视差矢量所指的块的运动矢量。由当前块的视差矢量所指的块是在不同于当前块的视图的视图中。由视差矢量所指的块被称作对应于当前块的块,这是因为对应块及当前块包括相似视频内容,但根据不同视图的观点而言。在这些实例中,视频解码器30将用于对应块的运动矢量作为候选运动矢量预测值包括在候选运动矢量预测值列表中。
在一些实例中,视频编码器20将索引值发信至候选运动矢量预测值列表中,且视频解码器30基于通向候选运动矢量预测值列表的索引值来选择候选运动矢量预测值列表中识别的运动矢量预测值。在合并模式下,视频解码器30将选定运动矢量预测值设置为用于当前块的运动矢量。此外,在合并模式下,视频解码器30继承选定运动矢量预测值所指的参考图片。举例来说,运动矢量预测值为用于不同于当前块的块的运动矢量。用于不同于当前块的块的运动矢量是指由通向第一参考图片列表(RefPicList0)或第二参考图片列表(RefPicList1)中的一者的索引值识别的参考图片。在合并模式下,视频解码器30继承通向参考图片列表的参考索引作为通向用于当前块的参考图片列表的参考索引。在一些实例中,参考索引可需要在其可被继承之前基于图片顺序计数(POC)值予以转换。如此,视频解码器30确定用于当前块的运动矢量,及用以在合并模式下帧间预测当前块的参考图片。
在AMVP模式下,除了对通向候选运动矢量预测值列表的索引值进行发信以外,视频编码器20也对由所述索引值识别的运动矢量预测值与当前块的实际运动矢量之间的残差进行发信。视频解码器30基于通向候选运动矢量预测值列表的索引值来选择运动矢量预测值,且加上或减去由所述索引值识别的运动矢量预测值与当前块的实际运动矢量之间的经发信残差以确定用于当前块的运动矢量。
在一些实例中,在AMVP模式下,视频编码器20也对通向RefPicList0或RefPicList1的参考索引进行发信,所述参考索引识别将由视频解码器30用于帧间预测当前块的参考图片。换言之,不同于合并模式,在AMVP模式下,视频解码器30不继承参考索引,而是接收参考索引。
图4为说明运动矢量可为候选运动矢量预测值的空间上相邻块的概念图。在图4中,待帧间预测的当前块为预测单元(PU)34。图4说明空间上相邻于PU 34的块A0、A1、B0、B1及B2(即,与PU 34相同的图片内的块)。在一些实例中,视频解码器30确定用于A0、A1、B0、B1及B2的运动矢量,且在可能缩放之后包括这些运动矢量中的一或多者(如果可得到)作为用于PU 34的候选运动矢量预测值列表中的候选运动矢量预测值。
块A0、A1、B0、B1及B2为空间上相邻于PU 34的块的实例且不应被视为空间上相邻于PU 34的块的仅有实例。举例来说,空间上相邻于PU 34的块可定位在不同于块A0、A1、B0、B1及B2的位置处。块A0、A1、B0、B1及B2的位置被定义如下。
在图4中,亮度位置(xP,yP)指定相对于包括PU 34的当前图片的左顶部样本的PU34的左顶部亮度样本。因此,相对于当前图片的左顶部样本的当前PU“N”的左顶部亮度样本为(xN,yN)。变量nPSW及nPSH表示针对亮度的PU 34的宽度及高度。在这个实例中,(xN,yN)(其中N是由A0、A1、B0、B1或B2替换)分别被定义为(xP-1,yP+nPSH)、(xP-1,yP+nPSH-1)、(xP+nPSW,yP-1)、(xP+nPSW-1,yP-1)或(xP-1,yP-1)。如此,视频解码器30确定空间上相邻块的位置。视频解码器30将在这些块中的一或多者的可能缩放之后的运动矢量包括在用于确定PU 34的运动矢量的候选运动矢量预测值列表中。
下文描述视频解码器30确定用于时间上相邻块的运动矢量的方式。如下文所描述,在一些实例中,时间上相邻块驻留于与包括待帧间预测的当前块的图片相同的视图中的图片中。然而,时间上相邻块未必需要驻留于与包括待帧间预测的当前块的图片相同的视图中的图片中。在一些实例中,时间上相邻块可驻留于不同于包括待帧间预测的当前块的图片的视图的视图中的图片中。举例来说,包括时间上相邻块的图片可由到用于包括待帧间预测的当前块的图片的参考图片列表中的一者中的collocated_ref_idx索引值识别。collocated_ref_idx索引值可识别与包括待帧间预测的块的图片相同的视图中的图片,或与包括待帧间预测的块的图片不同的视图中的图片。在这些实例中的任一者中,由collocated_ref_idx索引值识别的图片可包括“时间上相邻块”,如所述短语在本发明中所使用。用于为候选运动矢量预测值的时间上相邻块的运动矢量被称作时间运动矢量预测值(TMVP)。
为了确定用于时间上相邻块的运动矢量,视频解码器30可确定哪一图片包括时间上相邻块。包括时间上相邻块的图片被称作同置图片。如果待帧间预测的块(例如,当前块)是在当前图片的切片内,其中所述切片为B切片(例如,相对于RefPicList0中的参考图片予以预测、相对于RefPicList1中的参考图片予以预测,或相对于两个参考图片予以预测,其中在RefPicList0中识别一个参考图片且在RefPicList1中识别另一参考图片),那么视频编码器20对指示在RefPicList0中还是在RefPicList1中识别同置图片的标志(例如,collocated_from_10_flag)进行发信。举例来说,如果标志值为1,那么视频解码器30确定在RefPicList0中识别同置图片,且如果标志值为0,那么视频解码器30确定在RefPicList1中识别同置图片。
在一些实例中,对于B切片,视频解码器30从经构造RefPicList0及RefPicList1构造组合式参考图片列表(RefPicListC)。如果视频译码器对参考图片列表修改语法进行发信,那么视频解码器30修改RefPicListC。在视频解码器30构造RefPicListC的实例中,视频编码器20可不对collocated_from_10_flag进行发信。在这些实例中,视频解码器30确定在RefPicListC中识别同置图片。
如果待帧间预测的块是在当前图片的切片内,其中所述切片为P切片(例如,相对于RefPicList0中的参考图片予以预测),那么视频编码器20可不对标志进行发信。在这种状况下,视频解码器30确定同置图片定位在RefPicList0中,这是因为当前块(即,待帧间预测的块)是在P切片内。
视频解码器30也可接收通向经确定参考图片列表的索引。举例来说,视频编码器20在包括待帧间预测的当前块的切片的切片标头中对collocated_ref_idx语法进行发信。如上文所描述,collocated_ref_idx语法提供通向经确定参考图片列表的索引值。视频解码器30基于通向参考图片列表的索引值来确定包括时间上相邻块的同置图片。
视频解码器30接着识别经确定同置图片中的同置块。举例来说,视频解码器30基于当前块在其图片中的位置来识别同置块在同置图片中的位置。举例来说,假定当前块为预测单元(PU)。在这种状况下,视频解码器30基于PU在其图片中的位置来确定译码单元(CU)在同置图片中的位置。同置图片中的此CU被称作同置块。
在一些实例中,视频解码器30确定用于同置块内的右底部PU的运动矢量。在一些实例中,视频解码器30确定用于覆盖同置块的经修改中间位置的PU的运动矢量。同置块的经修改中间位置可指从同置块的中心点朝向同置块的右底部拐角延伸的块。换言之,定位在同置块的经修改中间位置处的块的左顶部拐角可为同置块的中心,且定位在同置块的经修改中间位置处的块的右底部拐角可相对于同置块的中心在向下且向右的方向上延伸。在一些实例中,视频解码器30基于同置图片及包括当前块的图片的POC值来缩放这些经识别运动矢量。
HEVC标准进一步定义哪些图片可为同置图片。换言之,HEVC标准进一步定义视频解码器30可利用哪些图片以从时间上相邻块确定候选运动矢量预测值。举例来说,视频编码器20对图片参数集(PPS)中的enable_temporal_mvp_flag进行发信。当包括当前块的图片的时间识别值(temporal_id)为0且用于所述图片的语法元素是指PPS(其中enable_temporal_mvp_flag为0)时,视频解码器30可将存储在视频解码器30的经解码图片缓冲器(DPB)中的所有参考图片设置为“未用于时间运动矢量预测”。在这种状况下,视频解码器30可不利用按解码顺序早于包括当前块的图片的任何图片作为用于包括当前块的图片及用于按解码顺序在包括当前块的图片之后的图片的同置图片。
图5为说明供基于视差矢量来确定候选运动矢量预测值的方式的概念图。图5所描述的实例未必根据本发明所描述的技术,其中在本发明所描述的技术中,视频解码器30可无需导出深度图以确定视差矢量。图5说明当前视图的当前图片36。当前图片36包括当前块38,当前块38为待帧间预测的块。为了确定用于当前块38的候选运动矢量预测值,在图5的实例中,视频解码器30确定用于当前块38的视差矢量。
为了确定用于块38的视差矢量,视频解码器30确定当前块38在当前图片36中的位置40A。视频解码器30确定深度图42中的深度值41。举例来说,视频解码器30可能已必须导出当前图片36的深度图42,且深度值41指示定位在当前块38的位置40A处的像素的相对深度。
在图5的实例中,视频解码器30确定视差矢量46。举例来说,视频解码器30可确定当前块38应被水平地位移的量,使得查看者在由深度值41定义的深度处感知块38的视频内容。视差矢量46可指示水平位移的经确定量,且因此可基于深度值41予以确定。视差矢量46为平滑时间视图预测(STV)视差矢量的实例。
如所说明,视差矢量46是指参考视图中的当前图片44的参考样本块48。参考样本块48可包括与当前块38的视频内容相似的视频内容,参考样本块48的位置在参考视图中的当前图片44中相对于当前块38在当前视图中的当前图片36中的位置水平地位移。参考块48的运动矢量50是指参考视图的参考图片54的参考块52。
运动矢量50为用于当前块38的运动矢量的运动矢量预测值的实例。举例来说,视频解码器30将运动矢量50包括在用于当前块38的候选运动矢量预测值列表中。
在一些实例中,视频解码器30也包括视差矢量46作为用于当前块38的候选运动矢量预测值。举例来说,图5说明参考块48被帧间预测。然而,出于说明的目的,假定参考块48被帧内预测,而未被帧间预测。在这种状况下,不存在可由视频解码器30用作运动矢量预测值的用于参考块48的运动矢量。因此,在这个实例中,视频解码器30包括视差矢量46作为候选运动矢量预测值列表中的运动矢量预测值。
可存在运动矢量50需要满足以包括为候选运动矢量预测值的某些要求。作为一个实例,视频解码器30确定仅在运动矢量50所指的图片(即,参考视图中的图片54)的时间例项与当前块38的一个参考图片(诸如,图片60)的时间例项相同(即,图片54及图片60属于同一访问单元)时才将运动矢量50包括在候选运动矢量预测值列表中。
在图5所说明的实例中,视频解码器30实施合并模式。举例来说,视频编码器20对通向视频解码器30所构造的候选运动矢量预测值列表的索引进行发信。在图5中,假定通向候选运动矢量预测值列表的索引识别运动矢量50。在这种状况下,对于合并模式,视频解码器30选择运动矢量50,且将运动矢量50设置为用于块38的运动矢量(即,运动矢量56)。
此外,在这个实例中,视频解码器30可能已继承识别参考视图中的参考图片54的通向参考图片列表的参考索引。在这个实例中,通向视频解码器30针对当前视图的图片36所构造的参考图片列表的经继承参考索引可识别当前视图中的参考图片60。当前视图中的参考图片60包括参考块58。视频解码器30利用参考块58以帧间预测当前块38。
关于图5所描述的AMVP模式技术及合并模式技术可被概述如下。举例来说,AMVP模式及合并模式两者皆允许视图间运动矢量预测值包括在候选运动矢量预测值列表中。视频解码器30确定当前块的中间样本的深度估计,且基于经确定深度估计来确定视差矢量及参考视图中的参考块。
在AMVP模式下,如果通向用于当前块的RefPicList0及RefPicList1中的一者或两者的参考索引是指视图间参考图片,那么视频解码器30将视图间运动矢量预测值设置为等于经确定视差矢量。此外,如果通向用于由视差矢量所指的块的RefPicList0及RefPicList1中的一者或两者的参考索引是指时间参考图片(即,与包括由视差矢量所指的块的图片相同的视图中的图片),且如果时间参考图片的时间例项与将由视频解码器30用于帧间预测的参考图片的时间例项相同,那么视频解码器30利用用于参考块的运动矢量作为运动矢量预测值。在所有其它状况下,视频解码器30可不利用来自不同视图的运动矢量。
在合并模式(或跳过模式)下,视频解码器30利用针对图片36而构造的参考图片列表中的前两个索引。对于参考索引0,视频解码器30确定候选运动矢量预测值,其确定方式是与上文关于AMVP模式所描述的方式相同(即,参考索引0中识别的图片为参考图片54)。如果视频解码器30确定用于参考索引0中识别的图片的候选运动矢量预测值,那么视频解码器30包括运动矢量50作为候选运动矢量且继承运动矢量50的参考索引(即,识别图片54的参考索引)。
如果视频解码器30未在用参考索引0来识别图片的情况下确定候选运动矢量预测值,那么视频解码器30在合并模式下针对用参考索引1识别的图片重复以上步骤。如果视频解码器30未在用参考索引1来识别图片的情况下确定候选运动矢量预测值,那么视频解码器30不包括用于来自候选运动矢量预测值列表中的参考视图的块的运动矢量。
在一些实例中,视频解码器30以由参考索引1识别的图片开始,且接着继续进行到由参考索引0识别的图片。这种情形可引起视频解码器30实施的时间预测多于视图间运动预测。
在图5所描述的实例中,视频解码器30首先需要导出深度图42以确定视差矢量46。存在视频解码器30导出深度图42的各种方式。作为一个实例,视频解码器30使用基础视图中的图片的时间运动矢量,及对应于基础视图中的图片的基础视图中的深度图,以确定/更新用于相依视图中的图片的深度图。作为另一实例,视频解码器30使用用于相依视图中及基础视图中的图片的时间运动矢量,以及用于相依视图中的图片的视差运动矢量,以确定/更新用于相依视图中的图片的深度图。可存在供导出深度图的其它方式。
作为一个实例,在译码进程开始时,视频解码器30可解码基础视图中的第一图片。基础视图可包括并未从另一视图中的图片予以预测的图片。举例来说,参看图3,基础视图可为视图S0,这是因为视图S0中的图片并未用视图S1到S7中的任一者中的图片予以帧间预测。视图S0中的第一图片为经帧内预测图片(即,在时间T0用视图S0中的I表示的I图片)。此外,非基础视图(例如,相依视图)中的一者中的第一图片可被视图间运动预测或帧内预测。非基础视图(被称作相依视图)可包括相对于另一视图中的图片(例如,用视差运动矢量)予以帧间预测的图片。在译码进程的这个阶段,不能得到深度图。
在解码非基础视图中的第一图片之后,可得到视差运动矢量(即,用以帧间预测非基础视图的第一图片中的块的视差运动矢量)。这些视差运动矢量可转换到深度值以产生深度图。深度图可用以映射到基础视图,或用以更新非基础视图中的后继图片的深度图。从深度图,视频解码器30可能够确定用于块的视差矢量。
一般而言,用于导出深度图的此技术可复杂且需要视频解码器30消耗处理电力及时间以导出深度图。在本发明所描述的实例中,视频解码器30可不首先导出深度图以确定用于当前块的视差矢量。代替地,视频解码器30可从空间上及/或时间上相邻块的视差运动矢量确定视差矢量,这种情形相比于从所导出的深度图确定视差矢量可为较不复杂的任务。
在一些其它技术中,视频编码器20及视频解码器30可编码或解码GDV,而非从深度图确定视差矢量。因为GDV提供用于所有像素的相同视差矢量,所以GDV不提供针对实际视差矢量的准确度量,且因此,从GDV确定的运动矢量预测值不与从块的实际视差矢量确定的运动矢量预测值一样良好。因此,在从深度图确定视差矢量时,及根据使用GDV作为用于实际视差矢量的替代产品,可存在缺陷。
在一些实例中,根据本发明所描述的技术,经确定视差矢量可不相同于当前块的实际视差矢量。作为一个实例,当前块的实际视差矢量可包括x分量,而不包括y分量,或针对y分量包括0,这是因为实际视差矢量是指相对于当前块仅水平地位移的对应块。在一些实例中,经确定视差矢量包括x分量及y分量两者,这是因为用以确定所述视差矢量的视差运动矢量可包括x分量及y分量两者。用于块的经确定视差矢量可被称作用于视图间运动预测的视差矢量(DVIVMP),这是因为其为用于视图间运动预测的经构造视差矢量。
为了确定用于当前块的视差矢量,视频解码器30构造候选视差矢量列表。这个候选视差矢量列表不应与候选运动矢量预测值列表相混淆。候选视差矢量列表识别可潜在地用以确定当前块的视差矢量的矢量。候选运动矢量预测值列表识别可潜在地用以确定当前块的运动矢量的矢量。
此外,视差矢量及视差运动矢量不应相混淆。第一视图中的块的视差运动矢量为是指第二视图中的块的运动矢量,其中第二视图中的块为用以帧间预测第一视图中的块的参考块。视差矢量为是指不同于正被预测的块的视图中的块的矢量,且指示正被预测的块相对于包括由视差矢量所指的块的图片的位移。由视差矢量所指的块未必需要用以帧间预测当前块,但可用以确定用于当前块的运动矢量预测值。在一些实例中,由经修改视差矢量(通过将经确定视差矢量的y分量设置到0)所指的块用以帧间预测当前块。在这些实例中,经修改视差矢量被视为视差运动矢量的实例。
换言之,并非所有视差矢量皆为视差运动矢量,且当由视差矢量所指的块用以帧间预测当前块时,那些视差矢量可转换到视差运动矢量。视差运动矢量是指用作用于帧间预测的参考块的块,且未必指示当前块的位移。
举例来说,视频编码器20在不同于当前块的视图的视图中的图片中执行搜索,且找到最佳地匹配于当前块的在不同视图的图片中的块。视频编码器20及视频解码器30接着利用这个“最佳匹配”块以用于帧间预测当前块,所述帧间预测是通过用视差运动矢量来识别“最佳匹配”块的位置而进行。
视差矢量未必是指“最佳匹配”块。更确切地,视差矢量是指运动矢量可用作运动矢量预测值的块。然而,如果视差矢量所指的块未被帧间预测(例如,不存在用于视差矢量所指的块的运动矢量),那么视差矢量可为候选运动矢量预测值。在一些实例中,即使视差矢量所指的块被帧间预测,在修改之后的视差矢量仍可为额外候选运动矢量预测值。
应理解,如何使用视差矢量(例如,用于确定运动矢量预测值)的以上实例是仅出于说明的目的而被提供且不应被视为限制性的。换言之,以上实例描述经确定视差矢量可被使用的一些方式,但本发明所描述的技术不应被视为如此限制性的。一般而言,本发明所描述的技术提供确定视差矢量的实例方式,诸如,用于确定视差矢量而未必需要导出深度图的技术(作为一个实例)。
为了构造候选视差矢量列表,视频解码器30确定是否已用视差运动矢量来视图间运动预测空间上相邻块及/或时间上相邻块。视频解码器30可包括用于已在候选视差矢量列表或已使用隐式视差矢量的矢量中被视图间运动预测的相邻块的视差运动矢量中的一或多者。下文更详细地描述隐式视差矢量。此外,在一些实例中,STV或GDV也可用以构造候选视差矢量列表。视频解码器30可利用多种不同技术中的任一者以从候选视差矢量列表选择一个候选视差矢量,且将选定候选视差矢量设置为用于当前块的视差矢量。
在以上实例中,视频解码器30逐块地评估空间上相邻块及时间上相邻块的运动矢量信息以构造候选视差矢量列表。然而,在给出视频解码器30存储空间上及时间上相邻块的运动矢量信息的方式的情况下,逐块地评估空间上相邻块及时间上相邻块的运动矢量信息可低效。如更详细地所描述,在一些实例中,视频解码器30考虑空间上相邻块及时间上相邻块的运动矢量信息被存储的方式,使得视频解码器30逐区地评估运动矢量信息,其中区包括多个相邻块且在大小方面可大于当前块。然而,如果视频解码器30逐块地存储空间上或时间上相邻块的运动矢量信息,那么所述区可包括一个块。换言之,在本发明中,所述区可包括一或多个块。
基于视差运动矢量的逐区评估,视频解码器30构造候选视差矢量列表、选择所述候选视差矢量中的一者,且基于所述选定候选视差矢量来确定用于当前块的视差矢量。视频解码器30利用由经确定视差矢量所指的块来实施合并模式或AMVP模式。在一些实例中,视频解码器30也可使用由经确定视差矢量所指的块来实施视图间残差预测。在一些实例中,视频解码器30可利用由经确定视差矢量所指的块来实施其它译码工具。作为一个实例,视频解码器30可通过使用相邻区(例如,包括一或多个空间上或时间上相邻块的区)的视差运动矢量作为用于块的视差矢量来帧间预测解码所述块。举例来说,视频解码器30可使用相邻区的视差运动矢量作为块的视差矢量来实施合并模式或AMVP模式。
在本发明所描述的技术中,用于区的视差运动矢量包括x分量及y分量两者。因此,在一些实例中,经确定视差矢量包括x分量及y分量两者。在一些实例中,视频解码器30也包括经确定视差矢量作为用于候选运动矢量预测值列表中的当前块的候选运动矢量预测值。
视频解码器30可在将经确定视差矢量包括在候选运动矢量预测值列表中之前修改经确定视差矢量。举例来说,视频解码器30将经确定视差矢量的y分量设置为等于0以用于修改经确定视差矢量,且将经修改视差矢量包括在候选运动矢量预测值列表中。在一些情况下,经修改视差矢量相比于经确定视差矢量为用于当前块的运动矢量的较佳预测值。在一些实例中,可不等于0的经确定视差矢量的y分量保持不变,且用于视图间运动预测及/或视图间残差预测。
此外,在本发明所描述的一些技术中,通过从空间上及时间上相邻块确定视差矢量,可用视图间运动预测及/或视图间残差预测或使用视差矢量的其它译码工具来译码某些类型的图片。举例来说,在一些其它技术(即,未根据本发明所描述的技术的技术)中,相依视图包括随机访问点(RAP)图片,诸如,瞬时解码器刷新(IDR)图片及清洁随机访问(CRA)图片。在这些其它技术中,在完全地解码RAP图片以前不能得到用于RAP图片的深度图。因此,在这些其它技术中,无法使用合并模式或AMVP模式来视图间预测RAP图片,这是因为深度图不可用以确定视差矢量。
然而,在本发明所描述的技术中,视频解码器30可经配置以确定视差矢量而无需导出深度图。因此,在一些实例中,视频解码器30能够经配置以针对RAP图片实施合并模式及AMVP模式,其中候选运动矢量预测值列表包括来自不同于RAP图片的视图的视图中的块的运动矢量。
下文描述实例图片类型。在HEVC中存在可由网络抽象层(NAL)单元类型识别的四个图片类型。图片类型的实例包括但不限于瞬时解码器刷新(IDR)图片、清洁随机访问(CRA)图片、时间层访问(TLA)图片,及不为IDR、CRA或TLA图片的经译码图片。
H.264/AVC规范已定义IDR图片,且HEVC标准已从H.264/AVC规范继承IDR图片的定义。HEVC标准也已定义清洁随机访问(CRA)图片、断链访问(BLA)图片及时间层访问(TLA)图片。这些图片类型在HEVC中为新式的且不可用于H.264/AVC规范中。
CRA图片为促进从视频序列的中间的任何随机访问点开始的解码的图片类型,且相比于使用IDR图片以供随机访问可更有效。在HEVC中,从这些CRA图片开始的位流也为符合型位流。TLA图片为可用以指示有效时间层交换点的图片类型。下文更详细地描述CRA及TLA图片。
在诸如广播及流式处理的视频应用中,查看者可需要在不同信道之间进行切换,或需要以最小延迟跳跃到视频内的特定部分。为了允许此切换或跳跃,视频编码器20可在视频位流中以规则区间包括随机访问图片。随机访问图片为可供开始解码的图片。举例来说,当用户切换信道或跳跃到视频内的特定部分时,视频在随机访问图片处切换或跳跃到随机访问图片。
H.264/AVC及HEVC两者中指定的IDR图片可用于随机访问。然而,因为IDR图片开始经译码视频序列且始终清洁视频解码器30的经解码图片缓冲器(DPB),所以按解码顺序在IDR之后的图片无法使用在IDR图片之前解码的图片作为参考。举例来说,DPB存储由视频解码器30出于帧间预测(例如,帧间预测解码)的目的而用作参考图片的经解码图片。如果视频解码器30清除DPB(如当视频解码器30在IDR图片处开始解码时所发生),那么在DPB中可不存在可由按解码顺序在IDR图片之后的图片(被称作前导图片)用作参考图片的任何图片。
因此,依赖于用于随机访问的IDR图片的位流可具有显著较低译码效率(例如,6%)。为了改善译码效率,HEVC中的CRA图片允许按解码顺序在CRA之后但按输出顺序在CRA图片之前的图片使用在CRA图片之前解码的图片作为参考。
图6为说明清洁随机访问(CRA)图片的实例的概念图。举例来说,图6说明由自己的显示顺序识别的图片。所述显示顺序是由图片顺序计数(POC)值识别。举例来说,在图6中,具有POC值24的图片为CRA图片,且属于图片组(GOP)。GOP也包括具有POC值17到23的图片。具有POC值17到23的图片按解码顺序在CRA图片(即,具有POC值24的图片)之后(即,具有POC值17到23的图片是由具有POC值24的CRA图片予以帧间预测,或由已被帧间预测的图片予以帧间预测,已被帧间预测的所述图片是已由具有POC值24的CRA图片予以帧间预测)。然而,具有POC值17到23的图片按输出顺序在具有POC值24的CRA图片之前(即,具有POC值17到23的图片是早于具有POC值24的CRA图片被显示)。
在这个实例中,具有POC值17到23的图片被称作具有POC值24的CRA的前导图片,且可在视频解码器30从当前CRA图片(即,具有POC值24的图片)之前的IDR或CRA图片开始解码时被正确地解码。然而,如果视频解码器30从具有POC值24的CRA图片开始解码,那么视频解码器30可不能够适当地解码具有POC值17到23的图片。在这些状况下,视频解码器30在随机访问解码期间放弃前导图片(即,具有POC值17到23的图片)。
此外,为了防止从取决于视频解码器30在何处开始解码而可能不可用的参考图片的误差传播,按解码顺序及输出顺序两者在具有POC值24的CRA图片之后的下一GOP中的所有图片不使用按解码顺序或输出顺序在具有POC值24的CRA图片之前的任何图片作为参考。举例来说,如上文所描述,如果视频解码器30从具有POC值24的CRA图片开始解码,那么视频解码器30放弃具有POC值17到23的图片。在这种状况下,因为具有POC值17到23的图片不可用,所以按解码顺序及输出顺序两者在具有POC值24的CRA图片之后的图片不使用具有POC值17到23的图片中的任一者作为参考图片。
在H.264/AVC中用恢复点补充增强信息(SEI)消息来支持相似随机访问功能性。并非所有符合H.264/AVC标准的视频解码器皆支持恢复点SEI消息。
在HEVC中,以CRA图片开始的位流被视为符合型位流。如上文所描述,当位流以CRA图片开始时,CRA图片的前导图片可指不可用参考图片且因此无法被正确地解码。然而,也如上文所描述,HEVC指定开始的CRA图片的前导图片未被输出,因此,名称为“清洁随机访问”。
为了建立位流符合性要求,HEVC指定解码进程以产生不可用参考图片以用于解码非输出前导图片。然而,视频解码器30未必必须遵循彼解码进程,只要视频解码器30可产生相比于当从位流的开始执行所述解码进程时相同的输出即可。此外,在HEVC中,符合型位流可根本不含有IDR图片,且因此可含有经译码视频序列的子集或不完整的经译码视频序列。
如上文所描述,在一些实例中,视频解码器30评估空间上及时间上相邻块的运动矢量以确定用于当前块的视差矢量。以下实例说明视频解码器30从空间上及时间上相邻块的运动矢量确定用于当前块的视差矢量的实例方式。以下实例不应被视为限制性的,且所述技术可扩展到用于确定用于当前块的视差矢量的其它可能技术。
在给出目标参考视图的情况下,为了启用从目标参考视图的视图间运动预测,视频解码器30可利用空间视差矢量、时间视差矢量及/或隐式视差矢量以产生用于视图间运动预测的视差矢量(DVIVMP)及/或用于视图间残差预测的视差矢量。空间视差矢量、时间视差矢量及隐式视差矢量皆在下文得以更详细地描述。在一些实例中,视差矢量未由给定目标参考视图限定,这意谓视差矢量对应于被视为可用的任何相依视图中的图片且可直接用作经确定视差矢量。在一些实例中,这个视差矢量用以基于同一访问单元的目标参考视图中的已经译码的运动参数来预测或推断当前视图中的块的运动参数(即,运动矢量预测值)。根据本发明的技术,视频解码器30可基于经确定隐式视差矢量(IDV)、空间视差矢量(SDV)及时间视差矢量(TDV)来构造候选视差矢量列表。举例来说,所述经确定候选视差矢量中的一或多者可包括在用于合并或AMVP的候选列表。
图7为说明确定候选视差矢量的一个实例的概念图。在图7中,图片62是在第一视图中,且包括待使用合并模式或AMVP模式予以帧间预测的块64。为了确定用于块64的视差矢量,视频解码器30确定用于空间上相邻块的运动矢量。视频解码器30可按任何顺序评估空间上相邻块。对于每一空间上相邻块,视频解码器30确定用识别RefPicList0中的参考图片的前向预测矢量还是用识别RefPicList1中的参考图片的后向预测矢量来预测空间上相邻块。如果使用组合式参考图片列表(即,RefPicListC),那么视频解码器30确定用于空间上相邻块的运动矢量是否识别RefPicListC中的图片。如果这些空间上相邻块中的任一者是用视差运动矢量予以帧间预测,那么视频解码器30将视差运动矢量包括在用于块64的候选视差矢量列表中。
举例来说,图7说明各自空间上相邻于块64的空间上相邻块66及时间上相邻块68(例如,相邻块66/68属于与块64相同的图片,所述图片为图片62)。在这个实例中,块66及块68各自为4×4块。在图7中,块66是用图片70的块72予以帧间预测,如由是指图片70的块72的时间运动矢量78所说明。图片70是在与图片62相同的视图中,但处于不同时间例项。
块68是相对于图片74的块76予以视图间预测。举例来说,用于块68的运动矢量80为指图片74的块76的视差运动矢量。图片62及74在相同时间例项中位于不同视图中。运动矢量80为视差运动矢量,这是因为图片74定位在不同于定位有图片62的第一视图的第二视图中。此外,图片62及图片74的时间例项相同。因此,图片62及图片74属于同一访问单元。
在这个实例中,视频解码器30评估块66的运动矢量78及块68的运动矢量80,且确定运动矢量80为视差运动矢量。视频解码器30接着将视差运动矢量80包括在候选视差矢量列表中。视差运动矢量80可被称作空间视差矢量(SDV)。
然而,由于视频解码器30存储块66及块68的运动矢量信息的方式,可没有必要使视频解码器30评估块66及块68两者的运动矢量信息。举例来说,在视频解码器30帧间预测块66及块68之后,视频解码器30将用于块66及块68的运动矢量信息存储在视频解码器30的行缓冲器中。在一些实例中,在将运动矢量信息存储在行缓冲器中之前,视频解码器30压缩用于块66及块68的运动矢量信息,使得视频解码器30存储用于块66及块68中的一者的运动矢量信息,或从用于块66及68的运动矢量信息导出用于块66及68两者的运动矢量信息。图8中进一步说明运动矢量信息的压缩。并非在每一实例中皆需要运动矢量信息的压缩。
图8为根据本发明所描述的一或多个实例的说明运动矢量信息被存储的方式的概念图。图8说明行缓冲器82。行缓冲器82存储用于空间上定位在待预测的当前块上方的块的运动矢量。图8中的块0到15各自为4×4块。
运动矢量信息包括帧间预测方向、参考图片索引,及运动矢量(MV)。在一些实例中,视频解码器30不将用于块0到15中的每一者的运动矢量信息存储在行缓冲器82中。更确切地,视频解码器30将用于每四个块中的两个块的运动矢量信息存储在行缓冲器82内。这种情形引起针对一个行的2:1运动矢量信息压缩,且引起需要存储在行缓冲器82中的较少信息。
举例来说,用于块0至3中的每一者的运动矢量信息可不同。在这个实例中,尽管用于块0及块1的运动矢量信息不同,但当存储时,块0及块1共享相同运动矢量信息,且视频解码器30将用于块0及块1两者的一个运动矢量信息集合存储在行缓冲器82中。在图8中,视频解码器30存储用于块0的运动矢量信息作为用于块0及块1两者的运动矢量信息。在这种状况下,用于块1的运动矢量信息可丢失,且用于块0的运动矢量信息保留。
相似地,在这个实例中,尽管用于块2及块3的运动矢量不同,但当存储时,块2及块3共享相同运动矢量信息,且视频解码器30可将用于块2及块3两者的一个运动矢量信息集合存储在行缓冲器中。在一些实例中,视频解码器30存储用于块3的运动矢量信息作为用于块2及块3两者的运动矢量。在这种状况下,用于块2的运动矢量信息丢失,且用于块3的运动矢量信息保留。
换言之,对于用于行缓冲器缩减的运动矢量信息压缩,视频解码器30不将用于块0及块1两者的运动矢量信息存储在行缓冲器82中。更确切地,视频解码器30将块1的运动矢量信息存储在行缓冲器82中,且块0的运动矢量信息可丢失。相似地,视频解码器30将块3的运动矢量信息存储在行缓冲器82中,且块2的运动矢量信息可丢失。
在图8中,变暗块指示运动矢量信息被存储的块。箭头指示运动矢量信息现在是由经存储运动矢量信息表示的块。如所说明,因为用于块的一半的运动矢量信息丢失且是由用于块的另一半的运动矢量信息表示,所以相比于用于块的全部的运动矢量信息被存储的状况,在行缓冲器82中需要存储器的仅一半。
关于图8所描述的技术为一种用于实施运动矢量信息压缩的方式。可存在用于实施用于行缓冲器缩减的运动矢量信息压缩的其它方式,且本发明所描述的技术不限于用于实施用于行缓冲器缩减的运动矢量信息压缩的任何特定方式。
根据本发明所描述的技术,视频解码器30可无需确定用于块0到15中的每一者的运动矢量信息,这是因为行缓冲器82存储用于块的区而非用于所述区内的所有块的运动信息。举例来说,区84A到84H各自表示8×4像素区。举例来说,区84A表示第一8×4区,其中第一8×4区包括块0及1。在这个实例中,块0的运动矢量信息被视为区84A的运动矢量信息。区84B表示第二8×4区,其中第二8×4区包括块2及3,等等。在这个实例中,块3的运动矢量信息被视为区84B的运动矢量信息,等等。
此外,尽管图8说明8×4区,但本发明的方面并不受到如此限制。在其它实例中,区可为4×8区,其中行缓冲器82存储用于驻留于垂直线而非水平线中的块的运动矢量信息。相似地,空间上相邻块的4×4块大小也是出于说明的目的而被提供且不应被视为限制性的。
在图8的实例中,视频解码器30可确定区84A到84H中的哪一者包括空间上相邻于当前块的块。接着,视频解码器30确定用于包括空间上相邻于当前块的块的区的运动矢量信息,而非确定用于所述区内的空间上相邻块中的每一者的运动矢量信息。如果用于所述区的运动矢量为视差运动矢量,那么视频解码器30可将视差运动矢量包括在用于当前块的候选视差矢量列表中。在这个实例中,用于所述区的运动矢量表示用于所述区内的多个块的单一运动矢量。
在一些实例中,可存在用于包括空间上相邻块的区的两个运动矢量,一个运动矢量是指RefPicList0且另一运动矢量是指RefPicList1。在这些实例中,存在用于包括空间上相邻块的区内的所有块的是指RefPicList0的一个单一运动矢量,及用于包括空间上相邻块的区内的所有块的是指RefPicList1的一个单一运动矢量。
举例来说,返回参看图7,假定图7的块66对应于图8的块2,且块68对应于图8的块3。在这个实例中,行缓冲器82存储用于视差运动矢量80的运动矢量信息及识别图片74的参考索引,而不存储用于时间运动矢量78的运动矢量信息及识别图片70的参考索引。
在这个实例中,视频解码器30无需确定用于块66的运动矢量信息及用于块68的运动矢量信息。代替地,视频解码器30可确定用于区84B的运动矢量信息,其中区84B包括块66及块68。这种情形允许视频解码器30执行运动矢量信息的较少确定,藉此增进有效视频译码。在这种状况下,区84B的运动矢量信息指示运动矢量为视差运动矢量80。因为用于区84的运动矢量为视差运动矢量,所以视频解码器30将视差运动矢量80作为用于块64的候选视差矢量包括在用于块64的候选视差矢量列表中。视差运动矢量80可被称作空间视差矢量(SDV),这是因为视差运动矢量80为用于空间上相邻区84的视差矢量。此外,如果用于空间上相邻块(例如,空间上相邻区)的视差运动矢量80被确定为用于块64的视差矢量(例如,因为视差运动矢量80是选自候选视差矢量列表),那么视频解码器30可使用视差运动矢量80作为用于块64的视差矢量以用于帧间预测块64。举例来说,视频解码器30可使用视差运动矢量80作为块64的视差矢量来对块64实施AMVP或合并模式。
在图7及8的实例中,视频解码器30利用空间上相邻块以确定用于当前块的候选视差矢量。在一些实例中,代替利用空间上相邻块或除了利用空间上相邻块以外,视频解码器30也利用时间上相邻块以确定用于当前块的另一候选视差矢量。
图9为说明确定候选视差矢量的一个实例的概念图。图9说明包括待帧间预测的块88的视图1中的图片86。存在用于图片86的三个可能参考图片:图片96及图片106,这是因为这些图片属于与图片86相同的视图;以及图片90,这是因为图片90是在不同视图(视图0)中,但在与图片86相同的访问单元中(例如,图片86及图片90的时间例项相同)。
在这个实例中,视频解码器30确定用于参考图片90、96及106中的三个同置块(即,块92、块98及块108)的运动矢量信息。举例来说,视频解码器30确定用于同置块92、98及108中的任一者的运动矢量是否为视差运动矢量。
在图9中,块108被帧内预测,且因此未用视差运动矢量予以预测。块92是用运动矢量94予以帧间预测。然而,运动矢量94为时间运动矢量,这是因为运动矢量94是指图片110中的块112,且图片110是在与图片90相同的视图(即,视图0)中。
图片96的块98是相对于图片102的块104予以帧间预测,如由运动矢量100所说明。在这个实例中,图片96是在视图1中,且图片102是在不同视图(即,视图0)中。因此,运动矢量100为视差运动矢量。在这个实例中,视频解码器30将视差运动矢量100作为候选视差矢量包括在候选视差矢量列表中。视差运动矢量100被称作时间视差矢量(TDV),这是因为视差运动矢量100为用于同置块的运动矢量。
图9说明与块88同置的同置块的一些实例。可存在同置块的其它实例。举例来说,与当前块同置的块的一个实例为定位在与当前块在其当前图片中所处的区相同的区中的同置图片中的块。此区被称作同置区(CR)。换言之,同置块的一个实例为同置图片的CR中的块。
同置块的另一实例为覆盖同置区的最大译码单元(LCU)。举例来说,LCU在大小方面可大于当前块,且因此可在同置图片中包围相比于由当前图片中的当前块包围的区域较多的区域。此LCU所覆盖的区被称作同置LCU(CLCU)。
作为同置块的又一实例,视频解码器30识别定位在同置图片中的同置区的右底部处的块。同置块的这个实例被称作BR,BR为右底部块的缩写。图10中进一步说明同置块的实例。作为同置块的又一实例,定位在同置图片中的任何块可用以导出候选视差矢量。
图10为说明与待预测的当前块同置的同置块的实例的概念图。图10说明图片114及图片118。在一些实例中,图片114及图片118属于同一视图及不同访问单元。在一些实例中,图片114及图片118属于不同视图及同一访问单元。在任一实例中,图片118被视为与图片114同置。替代地,仅对于第一实例,图片118被视为与图片114同置(即,属于同一视图及不同访问单元)。
图片114包括待使用(例如)合并模式或AMVP模式或残差预测予以帧间预测的块116。为了实施合并模式或AMVP模式,视频解码器30确定用于块116的候选视差矢量,其中所述候选视差矢量中的一或多者为来自被视图间预测的同置块的视差运动矢量。
在图10中,块120为与块116同置的同置块的一个实例。举例来说,块120在图片118中覆盖块116在图片114中所覆盖的相同区。块120被称作同置区(CR)块(例如,覆盖同置图片中的同置区的块)。
块122为与块116同置的同置块的另一实例。举例来说,块122为大小大于或等于块116的大小的最大译码单元(LCU)。在图10的实例中,块122在图片118中覆盖多于块116在图片114中所覆盖的区域的区域。然而,块122在图片118中覆盖块116在图片114中所覆盖的至少相同区域。在这种状况下,块122为覆盖块116的同置区的LCU,且被称作CLCU块。
块124为与块116同置的同置块的又一实例。举例来说,块124定位在图片118中的同置区的右底部,所述同置区是与驻留有块116的图片114中的区同置。块124被称作BR块。
在一些实例中,为了确定用于块116的候选视差矢量,视频解码器30确定用于CR块120、CLCU块122及BR块124中的一或多者的运动矢量信息。举例来说,视频解码器30确定CR块120、CLCU块122及BR块124内的4×4块中的每一者是否被视图间预测。视频解码器30可将用于CR块120、CLCU块122及BR块124内的经视图间预测4×4块的视差运动矢量包括在用于块116的候选视差矢量列表中。
然而,确定用于CR块120、CLCU块122及BR块124内的每一4×4块的运动矢量信息可需要视频解码器30不必要地确定用于多于所需要块的同置块的运动矢量信息。举例来说,相似于具有空间上相邻块的实例,视频解码器30可不存储用于同置图片内的每一4×4块的运动矢量信息。然而,可有可能的是,在一些实例中,视频解码器30存储用于同置图片内的4×4块的运动矢量信息。
举例来说,在视频解码器30帧间预测或帧内预测同置图片内的块之后,视频解码器30可对同置图片中的经帧间预测4×4块的运动矢量应用16倍压缩。作为一个实例,为了应用16倍压缩,视频解码器30基于16个4×4块(在水平方向上的4个4×4块及在垂直方向上的4个4×4块)来产生一个运动矢量信息以引起用于16×16区的运动矢量。举例来说,视频解码器30可选择一个16×16区的左顶部4×4块的运动信息以表示所有16个4×4块。视频解码器30将用于16×16区的运动矢量存储在视频解码器30的缓冲器中。这个缓冲器可与行缓冲器82相同,或为视频解码器30的不同缓冲器。
换言之,同置图片中的16×16区包括16个4×4块。用于这些16个4×4块的运动矢量信息可不同。然而,对于用于存储器频宽缩减的运动矢量压缩,用于这些16个4×4块中的每一者的单独运动矢量信息可丢失,且用用于包围16个4×4块的16×16区的一个运动矢量进行替换。用于16×16区的这个运动矢量表示用于16×16区内的多个4×4块的单一运动矢量。这个单一运动矢量可指两个参考图片列表(RefPicList0或RefPicList1)中的一者。在一些实例中,可存在用于16×16区的两个运动矢量,一个运动矢量是指RefPicList0且另一运动矢量是指RefPicList1。在这些实例中,存在用于16×16区内的所有块的指RefPicList0的一个单一运动矢量,及用于16×16区内的所有块的指RefPicList1的一个单一运动矢量。在未使用压缩的实例中,所述区可包括一个4×4块。
此外,为包括16个4×4块的16×16区的区是出于说明的目的而被提供且不应被视为限制性的。所述区可具有不同于16×16的大小,且视频解码器30可出于16倍压缩而在水平方向及垂直方向两者上将运动矢量现场缩小采样达因数4。相似地,时间上相邻块的4×4块大小也是出于说明的目的而被提供且不应被视为限制性的。
根据本发明所描述的技术,视频解码器30可无需确定用于同置块内的每一4×4块的运动矢量信息。更确切地,视频解码器30可确定用于包括同置块内的4×4块的16×16区的运动矢量信息。举例来说,返回参看图10,视频解码器30可无需确定用于CR块120、CLCU块122或BR块124内的每一4×4块的运动矢量信息以确定所述4×4块中的任一者是否已用视差运动矢量予以视图间预测。
在这个实例中,视频解码器30确定用于覆盖CR块120、CLCU块122及BR块124的所述一或多个16×16区的运动矢量是否为视差运动矢量。如果用于覆盖CR块120、CLCU块122及BR块124的所述一或多个16×16区的运动矢量为视差运动矢量,那么视频解码器30将视差运动矢量作为候选视差矢量包括在块116的候选视差矢量列表中。此外,如果用于覆盖CR块120、CLCU块122及BR块124的所述一或多个区(例如,时间上相邻区)的视差运动矢量被确定为用于块88的视差矢量(例如,因为所述视差运动矢量是选自候选视差矢量列表),那么视频解码器30可使用这个视差运动矢量作为用于块88的视差矢量以用于帧间预测块88。举例来说,视频解码器30可使用视差运动矢量作为块88的视差矢量来对块88实施AMVP或合并模式。
图7至10所说明的实例描述视频解码器30确定添加到候选视差矢量列表的候选视差矢量的技术。举例来说,图7及8描述将空间视差矢量(SDV)包括到候选视差矢量列表中。图9及10描述将时间视差矢量(TDV)包括到候选视差矢量列表中。如果视频解码器30选择SDV或TDV作为用于当前块的视差矢量,那么视频解码器30使用选定SDV或TDV视差矢量来对当前块实施合并模式或AMVP模式以识别运动矢量信息用以确定用于当前块的运动矢量信息的块。
然而,本发明所描述的技术并不受到如此限制。在一些实例中,视频解码器30也确定隐式视差矢量(IDV),且将IDV包括在候选列表矢量列表中。IDV为相邻块的视差矢量,所述相邻块的相邻块是用视图间运动预测予以译码。举例来说,假定待预测的当前块被称作第一块,相邻于第一块的块被称作第二块,且相邻于第二块的块被称作第三块。
在这个实例中,第二块是相对于与第二块相同的视图中的图片予以帧间预测。然而,用于第二块的运动矢量是从第三块予以确定。举例来说,为了确定用于第二块的运动矢量,视频解码器30使用上文所描述的相似技术来确定用于第二块的视差矢量。视频解码器30使用用于第二块的视差矢量所指的第三块的运动矢量作为用于第二块的运动矢量。在这种状况下,第二块的视差矢量被称作隐式视差矢量(IDV),且视频解码器30包括此IDV作为用于第一块的候选视差矢量。
换言之,视频解码器30基于空间上及时间上相邻于当前块的块来确定上文关于图7至10所描述的SDV及TDV。IDV与SDV及TDV不同之处在于:视频解码器30基于空间上及/或时间上相邻于块的空间上及/或时间上相邻块来确定IDV,且这个块空间上及/或时间上相邻于当前块。举例来说,如果视频解码器30基于由第二块的视差矢量定位的第三块的运动矢量来确定用于空间上及/或时间上相邻块(被称作第二块)的运动矢量,那么视频解码器30将所述视差矢量(被称作IDV)包括在用于当前块(被称作第一块)的候选视差矢量列表中。图11中进一步说明IDV矢量。
图11为说明确定候选视差矢量的一个实例的概念图。图11说明包括块128的当前图片126,其中块128为待预测块。在图11中,块130相邻于块128,且是用图片134的块136予以帧间预测,如由运动矢量138所说明。在这个实例中,视频解码器30使用AMVP模式或合并模式来确定运动矢量138,其中视频解码器30构造用于块130的候选运动矢量预测值列表。在图11中,视频解码器30包括用于块130的候选运动矢量预测值,其中视频解码器30基于空间上相邻于块130的空间上相邻块的视差矢量来确定用于块130的候选运动矢量预测值。换言之,在一些实例中,视频解码器30实施本发明所描述的技术以确定用于块130的候选运动矢量预测值。
举例来说,视频解码器30可能已确定空间上相邻于块130的块是相对于在与包括块130的图片相同的访问单元中指不同视图中的块的视差运动矢量予以视图间预测。视频解码器30接着可能已确定用于不同视图中的块的运动矢量。如果用于不同视图中的块的运动矢量是指在与待用以帧间预测块130的参考图片相同的访问单元(例如,相同时间例项)中的图片,那么视频解码器30可能已使用用于不同视图中的块的运动矢量信息以帧间预测块130。
举例来说,在图11中,块132空间上相邻于块130。此外,在图11中,块132是由图片140的块142予以视图间预测,如由视差运动矢量144所指示。在这个实例中,图片140及图片126是在同一访问单元(例如,相同时间例项)中,但在不同视图中;因此,运动矢量144为视差运动矢量。在这个实例中,视频解码器30确定视差运动矢量144为用于块130的候选视差矢量。
为了确定用于块130的运动矢量,视频解码器30确定块142(即,由用于块130的经确定视差矢量所指的块,其中用于块130的经确定视差矢量为视差运动矢量144)的运动矢量。如所说明,块142是相对于图片146的块148予以帧间预测,如由运动矢量150所指示。在这个实例中,视频解码器30包括运动矢量150作为用于块130的候选运动矢量预测值。举例来说,视频编码器20可能已确定块130应该用图片134予以帧间预测。在这个实例中,图片146是在与图片134相同的时间例项(例如,同一访问单元)中。因此,运动矢量150可为用于块130的有效运动矢量预测值。
在图11中,视频解码器30确定运动矢量150为用于块130的运动矢量预测值,且将块130的运动矢量设置为等于运动矢量150。举例来说,图11说明运动矢量138,其为块130的运动矢量。在这个实例中,视频解码器30基于运动矢量150来确定运动矢量138,如由从运动矢量150延伸到运动矢量138的虚线所说明。举例来说,运动矢量138继承运动矢量150的运动矢量信息。
在这个实例中,因为视频解码器30基于经确定视差矢量144(即,块132的视差运动矢量,其为块130的经确定视差矢量)来确定用于块130的运动矢量,且块130空间上相邻于块128,所以视频解码器30包括视差运动矢量144作为用于块128的候选视差矢量。在这个实例中,视差运动矢量144被称作隐式视差矢量(IDV)。此外,在这个实例中,因为视频解码器30基于隐式视差矢量(即,视差运动矢量144)来确定用于块130的运动矢量,所以块130被称作隐式视差预测(IDP)块。
应注意,尽管图11说明基于空间上相邻块的IDV的实例,但本发明所描述的技术并不受到如此限制。在一些实例中,块130可为时间上相邻块,且块132可为相邻于块130的空间上或时间上相邻块,而非块130及块132两者皆为图11所说明的空间上相邻块。因此,IDV的一个实例为基于空间上相邻块而确定的IDV。IDV的另一实例为基于时间上相邻块而确定的IDV。
此外,根据本发明所描述的技术,视频解码器30可考虑在确定用于当前块的IDV时存储用于块的运动信息的方式。举例来说,当IDV是基于空间上相邻块时,视频解码器30可确定用于块的区(例如,块的8×4区)的运动矢量是否为视差运动矢量,其中所述区包括与包括待帧间预测的块的图片相同的图片中的多个块,且用于所述块中的至少一者的运动矢量不同于用于其它块的运动矢量。此外,当IDV是基于时间上相邻块时,视频解码器30可确定用于块的区(例如,块的16×16区)的运动矢量是否为视差运动矢量,其中所述区包括不同于包括待帧间预测的块的图片的图片中的多个块。
因此,视频解码器30可确定当从相邻于块的区(即,相邻于当前块的区)的块的视差运动矢量导出用于所述区的运动矢量时所述区为隐式视差预测区(即,图11的块132相邻于包括图11的块130的块的区)。响应于确定所述区为隐式视差预测区,视频解码器30可确定相邻于所述区的块的视差运动矢量是否为用于当前块(例如,图11的块128)的视差矢量。举例来说,视频解码器30可将相邻于所述区的块的视差运动矢量包括在候选视差矢量列表中,且选择所述视差运动矢量。在这个实例中,如果确定视差运动矢量(即,视差运动矢量144)为用于块128的视差矢量,那么视频解码器30可使用视差运动矢量144作为用于块128的视差矢量来帧间预测解码块128。在一些实例中,如果用于相邻区的视差运动矢量未被确定为用于块128的视差矢量(例如,用于空间或时间相邻区的视差运动矢量未被确定为用于块128的视差矢量,或者空间或时间相邻区未用视差运动矢量予以帧间预测),那么视频解码器30可使用视差运动矢量144作为用于块128的视差矢量来帧间预测解码块128。
如此,视频解码器30可基于视频解码器30存储用于空间上及/或时间上相邻于当前块的块的运动矢量信息的方式来构造用于待预测的当前块的候选视差矢量列表。这个候选视差矢量列表可包括一或多个空间视差矢量(SDV)、一或多个时间视差矢量(TDV),及/或一或多个隐式视差矢量(IDV)。
视频解码器30可从候选视差矢量列表选择候选视差矢量中的一者。如本发明所描述,确定用于当前的候选视差矢量列表及从所述列表选择候选视差矢量可克服上文关于STV及GDV所描述的问题,使得视频解码器30能够以时间有效方式在最小复杂性的情况下确定用于当前块的视差矢量。
可存在由视频解码器30利用以确定选择哪一候选视差矢量的各种可能准则。作为一个实例,视频解码器30选择最频繁出现的候选视差矢量。作为另一实例,视频解码器30选择第一候选视差矢量(例如,一旦找到候选视差矢量,视频解码器30就停止查找候选视差矢量)。在这个实例中,视频解码器30可首先查找SDV,接着查找TDV,随后查找IDV;然而,SDV、TDV及IDV的顺序是出于说明的目的而被提供且不应被视为限制性的。举例来说,如果视频解码器30查找SDV,那么SDV可为视差矢量。然而,如果不存在SDV,但视频解码器30查找TDV,那么TDV可为视差矢量,等等。
作为另一实例,视频解码器30选择最短候选视差矢量,如由视频解码器30取得候选视差矢量的x分量及y分量的平方的总和及所述总和的结果的平方根所确定。一般而言,视频解码器30可利用任何技术以从候选视差矢量列表选择候选视差矢量,包括从视频编码器20接收候选视差矢量中的索引值。
视频解码器30可基于选定候选视差矢量来确定当前块的视差矢量。举例来说,视频解码器30将选定候选视差矢量设置为当前块的视差矢量。在这个实例中,如果选定候选视差矢量也包括x分量及y分量两者,那么当前块的经确定视差矢量可包括x分量及y分量两者。在一些实例中,视频解码器30可将选定候选视差矢量的y分量设置为等于0,使得在当前块的经确定视差矢量中不存在垂直分量。
在一些实例中,视频解码器30利用经确定视差矢量以识别在不同于当前块的视图的视图中的图片中的块。视频解码器30确定用于在不同于当前块的视图的视图中的图片中的块的运动矢量。在这个实例中,视频解码器30将经确定运动矢量作为候选运动矢量预测值包括在用于当前块的候选运动矢量预测值列表中。在一些实例中,如果经确定运动矢量是指与用以帧间预测当前图片的图片相同的时间例项中的图片,那么视频解码器30将经确定运动矢量作为候选运动矢量预测值包括在用于当前图片的候选运动矢量预测值列表中。
视频解码器30可基于用于当前块的候选运动矢量预测值列表来对当前块实施合并模式或AMVP模式。举例来说,视频解码器30可选择运动矢量预测值中的一者,诸如(作为一个实例),通过从视频编码器20接收运动矢量预测值列表中的索引值。视频解码器30接着以上文所描述的方式利用用于选定候选运动矢量预测值的运动矢量信息。
此外,在一些实例中,视频解码器30也包括经确定视差矢量作为候选运动矢量预测值。举例来说,如上文所描述,候选运动矢量预测值列表提供使视频解码器30确定用于当前块的运动矢量而未必接收定义所述运动矢量的语法元素的方式。在一些状况下,经确定视差矢量(例如,来自候选视差矢量列表的选定视差矢量)也可为用于当前块的合适候选运动矢量预测值,且可为候选运动矢量预测值。
在经确定视差矢量为候选运动矢量的实例中,经确定视差矢量被视为视差运动矢量。这是因为:在这些实例中,直接地使用视差矢量所指的块以帧间预测当前块(例如,视频编码器20对视差矢量所指的块与当前块之间的残差进行发信)。
在一些实例中,视频解码器30修改经确定视差矢量。举例来说,如上文所描述,用于当前块的经确定视差矢量可包括x分量及y分量两者。在一些实例中,视频解码器30将经确定视差矢量的y分量设置为等于0。视频解码器30包括经修改视差矢量作为用于当前块的候选运动矢量预测值。
在一些实例中,视频解码器30实施合并模式或AMVP模式的平行处理。举例来说,在HEVC中,视频解码器30可将最大译码单元(LCU)划分成平行运动估计区(MER),且可仅允许属于不同MER的相邻于当前块的那些块包括在用于运动矢量预测值列表的构造进程中。
视频编码器20可在图片参数集(PPS)中定义MER的大小。举例来说,PPS中的log2_parallel_merge_level_minus2语法元素定义MER的大小。此外,当MER大小大于N×N以使得2N×2N为译码单元(CU)的最小大小时,HEVC规范可定义出MER以空间上相邻块(如果其在与当前块相同的MER内部)被视为不可用的方式起作用。
此外,以上技术是关于视图间运动预测予以描述;然而,这些技术可扩展到视图间残差预测。举例来说,在基于HEVC的3DV中启用视图间残差预测。在基于HEVC的3DV中,使用从深度图确定的视差矢量以将残余参考块定位在残余参考视图中。当针对残余块启用残差预测时,除了运动补偿预测值及用于这个块的经发信残差以外,也加上残余块。
在一些实例中,对于视图间残差预测,视频解码器30可以上文所描述的方式(例如,基于SDV、TDV及/或IDV)来确定视差矢量。视频解码器30可确定视差矢量所指的块。在这个实例中,对于视图间残差预测,视频解码器30可使用经确定块(即,视差矢量所指的块)的残余信息以帧间预测当前块的残余信息。视频编码器20可实施相似技术。
如上文所描述,依赖于从深度图确定的视差矢量计算上复杂且耗时。因此,视频解码器30可利用上文所描述的用于确定视差矢量的技术,且接着实施相似于上文所描述的技术的针对残余块的视图间残差预测。
以上实例已描述视频解码器30基于空间上相邻块及时间上相邻块来确定用于当前块的视差矢量的方式。以下实例描述视频解码器30确定将评估哪些空间上相邻块及时间上相邻块以确定哪些相邻块是用视差矢量予以视图间预测的方式。
举例来说,对于给定当前视图及参考视图(例如,目标参考视图或任何其它相依视图),视频解码器30可包括候选视差矢量,而无论何时从空间上相邻块、从时间上相邻块或从相邻块的相邻块(诸如,对于隐式视差矢量)找到候选视差矢量。在一些实例中,视频解码器30首先包括从空间上相邻块确定的视差矢量,且接着将从时间上相邻块确定的视差矢量包括在候选视差矢量列表中,随后包括从相邻块的相邻块确定的视差矢量。在一些实例中,视频解码器30首先包括从时间上相邻块确定的视差矢量,且接着将从空间上相邻块确定的视差矢量包括在候选视差矢量列表中,随后包括从相邻块的相邻块确定的视差矢量。
在一些实例中,视频解码器30可首先确定空间上相邻块中的任一者是否用视差运动矢量予以视图间预测,且如果找到视差运动矢量,那么视频解码器30可将那个视差运动矢量包括在视差矢量候选者列表中,且可不继续进行确定是否用视差运动矢量来视图间预测时间上相邻块中的任一者。在一些实例中,视频解码器30可首先确定时间上相邻块中的任一者是否用视差运动矢量予以视图间预测,且如果找到视差运动矢量,那么视频解码器30可将那个视差运动矢量包括在视差矢量候选者列表中,且可不继续进行确定是否用视差运动矢量来视图间预测空间上相邻块中的任一者。空间/时间相邻块及相邻块的相邻块的检查顺序可呈任何排列。
对于空间上相邻块或时间上相邻块,视频解码器30可确定用于空间上相邻块或时间上相邻块的运动矢量是否是指RefPicList0中的图片,且如果所述运动矢量为视差运动矢量,那么视频解码器30可将这个视差运动矢量包括在候选视差矢量列表中。否则,如果用于空间上相邻块或时间上相邻块的运动矢量是指RefPicList1/RefPicListC中的图片,那么视频解码器30可将这个视差运动矢量包括在候选视差矢量列表中。在先前实例中,视频解码器30首先检查RefPicList0,且接着检查RefPicList1/RefPicListC。在一些实例中,视频解码器30首先检查RefPicList1/RefPicListC,且接着检查RefPicList0。在一些实例中,可检查仅一个参考图片列表,例如,RefPicList0或RefPicList1。
对于空间上相邻块,视频解码器30可按任何顺序(例如,从左顶部开始且延伸到右顶部,或从右顶部开始且延伸到左顶部)确定用于相邻区的运动矢量是否为视差运动矢量。在一些实例中,在视频解码器30未必确定区中的运动矢量的情况下,视频解码器30可按任何顺序确定空间上相邻4×4块中的任一者的运动矢量是否为用于AMVP模式或合并模式下的视差运动矢量。举例来说,视频解码器30检查4×4空间上相邻块的顺序可按由HEVC标准针对不使用视图间运动预测的实例而定义的顺序。举例来说,对于合并模式,针对不使用视图间运动预测的实例,HEVC定义出视频解码器30按如图4所说明的A1、B1、B0、A0及B2的顺序来检查运动矢量。在这个实例中,视频解码器30可确定用于A1、B1、B0、A0及B2(按那个顺序)中的任一者的运动矢量是否为视差运动矢量。
替代地,视频解码器30可利用按以上5个块(即,A1、B1、B0、A0及B2)的顺序的任何排列或空间上相邻区的任何排列。在一些实例中,视频解码器30可确定用于相邻块或相邻区的子集的运动矢量是否为视差运动矢量,且在一些实例中,按任何排列进行确定。
此外,如果空间上相邻块是在与待预测的当前块相同的MER内部,那么视频解码器30不确定彼空间上相邻块是否用视差运动矢量予以视图间预测。然而,本发明所描述的技术并不受到如此限制。在一些其它实例中,如果空间上相邻块是在与待预测的当前块相同的MER内,那么视频解码器30确定那个块是否用视差运动矢量予以视图间预测。
如上文所描述,在一些实例中,可没有必要使视频解码器30确定是否逐块地视图间预测空间上相邻块,但可确定是否逐区地视图间预测空间上相邻块。举例来说,区可包括多个块。作为一个实例,块可为4×4,且所述区可为包围8×4区的两个块。块及区的其它大小可为可能的,且本发明所描述的技术不应被视为限于4×4块及8×4区的实例。
对于时间上相邻块,视频解码器30可确定评估哪些同置图片及评估所述同置图片内哪些块以确定是否用视差运动矢量来视图间预测时间上相邻块。举例来说,在一些实例中,为了选择同置图片,视频解码器30评估包括当前块的当前图片的参考图片列表中识别的图片。在这些实例中,视频解码器30按递增顺序(例如,从第一图片开始,且在列表中的最后图片上结束)评估参考图片列表中识别的图片。在一些实例中,视频解码器30按递减顺序(例如,从列表中的最后图片开始,且在列表中的第一图片上结束)评估参考图片列表中识别的图片。
作为一个实例,由视频编码器20发信的num_ref_idx_10_active_minus1语法元素识别RefPicList0中的条目的数目,且由视频编码器20发信的num_ref_idx_11_active_minus1语法元素或num_ref_idx_1C_active_minus1分别识别RefPicList1或RefPicListC中的条目的数目。num_ref_idx_1C_active_minus1语法元素可不为当前HEVC标准的部分,但此处被包括作为额外实例。出于说明的目的,用为RefPicList0及RefPicList1的参考图片列表来描述技术。在这个实例中,假设N等于定义参考图片列表中的条目的数目的这两个发信值中的较大者。此外,假设ref_idx是指RefPicList0或RefPicList1中的参考索引。
在一个实例中,视频解码器30基于上文所描述的collocated_from_10flag的值来检查RefPicList0及RefPicList1中识别的图片。举例来说,如果collocated_from_10_flag为0,那么视频解码器30首先确定RefPicList0[ref_idx]中识别的图片(其中ref_idx在0到N的范围内)是否包括相对于视差运动矢量予以视图间预测的同置块。如果RefPicList0中无任何图片中的无任何同置块是用视差运动矢量予以视图间预测,那么视频解码器30确定RefPicList1[ref_idx]中识别的图片(其中ref_idx在0到N的范围内)是否包括相对于视差运动矢量予以视图间预测的同置块。
如果collocated_from_10_flag为1,那么视频解码器30首先确定RefPicList1[ref_idx]中识别的图片(其中ref_idx在0到N的范围内)是否包括相对于视差运动矢量予以视图间预测的同置块。如果RefPicList1中无任何图片中的无任何同置块是用视差运动矢量予以视图间预测,那么视频解码器30确定RefPicList0[ref_idx]中识别的图片(其中ref_idx在0到N的范围内)是否包括相对于视差运动矢量予以视图间预测的同置块。
在一些实例中,视频解码器30首先检查如由RefPicList0[ref_idx]识别的RefPicList0中的任何图片是否包括相对于视差矢量予以视图间预测的同置块而不管collocated_from_10_flag的值,且接着检查如由RefPicList1[ref_idx]识别的RefPicList1中的任何图片是否包括用视差矢量予以视图间预测的同置块而不管collocated_from_10_flag的值。在一些实例中,视频解码器30首先检查如由RefPicList1[ref_idx]识别的RefPicList1中的任何图片是否包括相对于视差矢量予以视图间预测的同置块而不管collocated_from_10_flag的值,且接着检查如由RefPicList0[ref_idx]识别的RefPicList0中的任何图片是否包括用视差矢量予以视图间预测的同置块而不管collocated_from_10_flag的值。
当检查RefPicList0或RefPicList1中的图片时,如果所述图片中的一者是针对不同于当前块的视图的视图中的图片,那么视频解码器30可不确定在这个图片中是否存在用视差矢量予以视图间预测的任何同置块(例如,可跳过参考图片列表中来自不同视图的图片)。替代地,视频解码器30可确定不同于当前图片的视图的视图中的图片是否包括用视差运动矢量予以视图间预测的同置块。举例来说,不同于当前块的视图的视图中的图片可为与包括当前视图的图片相同的访问单元中的经先前解码图片。
在一些实例中,视频解码器30可确定不同于当前图片的视图的视图中的图片是否包括用视差运动矢量予以视图间预测的同置块,即使那个图片未包括在RefPicList0或RefPicList1中仍如此。在这些实例中,在一些情况下,可有可能的是,存在具有在与包括当前块的图片相同的访问单元中的图片的多个视图。对于这些状况,视频解码器30可按视图顺序索引的递减顺序检查图片。举例来说,视频解码器30可确定具有最高视图顺序索引的视图中的图片是否包括用视差运动矢量予以视图间预测的同置块,随后确定具有第二最高视图顺序索引的视图中的图片是否包括用视差运动矢量予以视图间预测的同置块,等等。
在另一实例中,视频解码器30确定用于在不同视图中的图片中的每一者的视图标识符与用于当前块的视图标识符之间的差。视频解码器30基于所述差而按递增顺序检查图片。举例来说,假定存在各自在与包括当前块的当前图片相同的访问单元中的第一视图中的图片及第二视图中的图片,且用于第一视图的视图标识符与用于当前视图的视图标识符之间的差小于用于第二视图的视图标识符与用于当前视图的视图标识符之间的差。在这种状况下,视频解码器30可首先确定第一视图中的图片中的同置块中的任一者是否用视差矢量予以视图间预测,且如果否,那么确定第二视图中的图片中的同置块中的任一者是否用视差矢量予以视图间预测。
在一些实例中,视频解码器30仅检查参考图片列表中识别的图片子集以确定所述图片中的任一者是否包括用视差运动矢量予以视图间预测的同置块。在一些实例中,这个图片子集可包括用相对较小参考索引予以识别的图片(例如,RefPicList0及RefPicList1中用参考索引0及参考索引1予以识别的图片)。换言之,视频解码器30可检查RefPicList0及RefPicList1的截断版本中识别的图片。
上文描述供视频解码器30检查同置图片以识别用视差运动矢量予以视图间预测的同置块的顺序的一些实例方式。下文描述由视频解码器30在每一图片中检查以识别用视差运动矢量予以视图间预测的同置块的同置块。
如上文所描述,可存在同置块的三个实例(例如,CR块、CLCU块及BR块,如上文关于图10所描述)。在一些实例中,视频解码器30可检查CR块、CLCU块及BR块中的每一者以确定哪些同置块是用视差运动矢量予以视图间预测。在一些实例中,视频解码器30可检查CR块、CLCU块及BR块中的一或多者,但不检查所有三个块。举例来说,视频解码器30在一种情况下可不检查BR块、在一种情况下可不检查CR块,且在一种情况下可不检查CLCU块。
在一些实例中,视频解码器30检查同置块的三个实例的顺序对于不同视图中的图片不同。举例来说,对于第一视图中的图片,视频解码器30首先检查CR块,随后检查CLCU块,且接着检查BR块,以确定这些块中的任一者是否用视差运动矢量予以视图间预测。对于第二视图中的图片,视频解码器30首先检查BR块,随后检查CR块,且接着检查CLCU块,以确定这些块中的任一者是否用视差运动矢量予以视图间预测。
对于每一CR块或CLCU块,视频解码器30可光栅扫描CR块或CLCU块中的每一4×4块以确定所述4×4块中的任一者是否用视差运动矢量予以视图间预测。在视频解码器30光栅扫描CLCU块的实例中,视频解码器30可跳过CR块的4×4块,且不确定CR块的4×4块中的任一者是否用视差运动矢量予以视图间预测。
然而,检查每一4×4时间上相邻块可并非必要的。举例来说,如上文所描述,视频解码器30可归因于运动矢量压缩而存储用于包括16个4×4块的一个16×16区的运动矢量信息,而非用于所述4×4块中的每一者的运动矢量信息。在这些实例中,视频解码器30可按光栅扫描顺序检查16×16区以确定用于16×16区的运动矢量是否为视差运动矢量。在同置图片位于不同访问单元中但位于同一视图中的实例中,及在同置图片位于同一访问单元中但位于不同视图中的实例中,视频解码器30可在16×16区中进行检查。
16×16区是作为一个实例被描述且不应被视为限制性的。在一些实例中,所述区可大于或小于16×16,且可基于视频解码器30压缩用于时间上相邻块(例如,在同一视图但不同时间例项中的图片中的块,或在不同视图但相同时间例项中的图片中的块)的运动矢量信息的方式。
在一些实例中,视频解码器30可在N×N块上的同置块上进行光栅扫描,其中2N×2N为最小译码单元(CU)的大小。在一些实例中,视频解码器30可在预测单元(PU)上进行光栅扫描。
根据本发明所描述的技术,在识别至少一个视差运动矢量(例如,基于空间上相邻块及时间上相邻块的扫描)之后,视频解码器30可出于不同目的而利用所述视差运动矢量。作为一个实例,视频解码器30可将视差运动矢量包括在用于当前块的候选视差矢量列表中,且对于AMVP模式及合并模式,用于由选定候选视差矢量所指的块的运动矢量信息包括在候选运动矢量预测值列表中。作为另一实例,视频解码器30可将视差运动矢量包括在候选运动矢量预测值列表中。在这个实例中,在一些情况下,视频解码器30可通过将视差运动矢量的y分量设置为等于零来修改视差运动矢量。
尽管以上实例技术是根据视频解码器30的观点予以描述,但本发明所描述的技术并不受到如此限制。一般而言,视频编码器20可经配置以实施相似于上文关于视频解码器30而描述的技术的技术。此外,在一些实例中,视频解码器30经配置以实施本发明所描述的技术,且视频编码器20并非如此。在一些实例中,视频编码器20经配置以实施本发明所描述的技术,且视频解码器30并非如此。在一些实例中,视频编码器20及视频解码器30两者经配置以实施本发明所描述的技术。
因此,本发明描述经配置以确定用于第一视图中的图片中的区的运动矢量是否为视差运动矢量的视频译码器(例如,视频编码器20及/或视频解码器30)。在这个实例中,所述区时间上或空间上相邻于待预测的当前块。举例来说,所述区包括一或多个时间上或空间上相邻块,且用于此区的运动矢量表示针对一个参考图片列表的用于多个时间上或空间上相邻块的单一运动矢量。举例来说,如果从两个参考图片列表予以帧间预测,那么用于所述区的一个运动矢量表示针对一个参考图片列表(例如,RefPicList0或RefPicList1中的一者)的用于一或多个块的单一运动矢量,且用于所述区的另一运动矢量表示针对另一参考图片列表(例如,RefPicList0或RefPicList1中的另一者)的用于一或多个块的单一运动矢量。视频译码器经进一步配置以将视差运动矢量包括在用于当前块的候选视差矢量列表中。此外,在一些实例中,当前块为瞬时解码器刷新(IDR)或清洁随机访问(CRA)图片的块。
在区为空间上相邻区的实例中,所述区可为包括两个4×4块的8×4区。在这个实例中,包括空间上相邻区的图片也包括待预测的当前块。在区为时间上相邻区的实例中,所述区可为包括16个4×4块的16×16区。在这个实例中,包括时间上相邻区的图片不包括当前块。如上文所描述,如果压缩未用于存储用于时间上及/或空间上相邻块的运动矢量信息,那么空间上相邻区及/或时间上相邻区可包括一个块而非多个块。
根据本发明所描述的技术,视频译码器可经配置以确定参考图片列表(例如,RefPicList0及RefPicList1中的一者或两者)中识别的图片中的时间上相邻区是否用视差运动矢量予以视图间预测。举例来说,在视频译码器确定第一图片的区是否被视图间预测之后,视频译码器确定第二图片的区是否被视图间预测。如果第二图片的区被视图间预测,那么视频译码器将用于第二图片的区的视差运动矢量包括在用于当前块的候选视差矢量列表中。
在这个实例中,第一图片及第二图片两者属于参考图片列表。此外,在一些实例中,所述参考图片列表按递增顺序识别第一图片及第二图片。举例来说,识别参考图片列表中的第一图片的参考索引小于识别参考图片列表中的第二图片的参考索引。换言之,在参考图片列表中,第一图片是早于第二图片被识别。
此外,视频译码器可出于视图间预测目的(诸如,对于合并模式及AMVP模式)而利用视差运动矢量。举例来说,视频译码器将视差运动矢量设置为用于当前块的视差矢量。视频译码器确定视差矢量所指的块。视频译码器也确定用于视差矢量所指的块的运动矢量,且将经确定运动矢量包括在候选运动矢量预测值列表中。视频译码器接着可基于所述候选运动矢量预测值中的一者来帧间预测当前块。
在一些实例中,视频译码器将视差运动矢量包括在候选运动矢量预测值列表中。举例来说,视频译码器通过将视差运动矢量的y分量设置为等于零来修改视差运动矢量,且将经修改视差运动矢量包括在候选运动矢量预测值列表中。
在一些实例中,视频译码器可实施用于视图间残差预测的本发明所描述的技术。举例来说,视频译码器可确定视差矢量所指的块,且可使用视差矢量所指的块(即,经确定块)的残余信息以帧间预测当前块的残余信息。
图12为说明可实施本发明所描述的技术的视频编码器的实例的框图。举例来说,图12说明可执行视频切片内的视频块的帧内译码及帧间译码的视频编码器20。举例来说,视频编码器20可执行帧间预测编码或帧内预测编码。帧内译码依赖于空间预测以缩减或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以缩减或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。诸如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的压缩模式中的任一者。
在图12的实例中,视频编码器20包括分割单元152、预测处理单元154、参考图片存储器176、求和器162、变换处理单元164、量化处理单元166及熵编码单元168。预测处理单元154包括运动估计单元156、运动补偿单元158及帧内预测单元160。对于视频块重建,视频编码器20也包括反量化处理单元170、反变换处理单元172及求和器174。也可包括去块滤波器(图12中未图示)以对块边界进行滤波以从经重建视频移除块假象。视需要,去块滤波器通常将对求和器174的输出进行滤波。除了去块滤波器以外,也可使用额外环路滤波器(环路内或环路后)。参考图片存储器176为经解码图片缓冲器(DPB)的一个实例。
如图12所示,视频编码器20接收视频数据,且分割单元152将所述数据分割成视频块。这种分割也可包括分割成切片、图像块或其它较大单元,以及视频块分割(例如,根据LCU及CU的四叉树结构)。视频编码器20通常说明编码待编码的视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能地划分成被称作图像块的视频块集合)。预测处理单元154可基于误差结果(例如,译码速率及失真程度)来选择用于当前视频块的多个可能译码模式中的一者,诸如,多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元154可将所得经帧内译码或经帧间译码块提供到求和器162以产生残余块数据,且将所得经帧内译码或经帧间译码块提供到求和器174以重建经编码块以用作参考图片。
预测处理单元154内的帧内预测单元160可执行当前视频块相对于在与待译码的当前块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。预测处理单元154内的运动估计单元156及运动补偿单元158执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码以提供时间压缩。
运动估计单元156可经配置以根据用于视频序列的预定样式来确定用于视频切片的帧间预测模式。所述预定样式可将所述序列中的视频切片指定为P切片或B切片。运动估计单元156及运动补偿单元158可高度地整合,但出于概念目的而被独立地说明。由运动估计单元156执行的运动估计为产生估计用于视频块的运动的运动矢量的进程。举例来说,运动矢量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块为被发现在像素差方面接近地匹配于待译码的视频块的PU的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差指标确定。在一些实例中,视频编码器20可计算存储在参考图片存储器176中的参考图片的次整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它小数像素位置的值。因此,运动估计单元156可执行相对于全像素位置及小数像素位置的运动搜索且输出具有小数像素精度的运动矢量。
运动估计单元156通过比较PU的位置与参考图片的预测性块的位置而计算用于经帧间译码切片中的视频块的PU的运动矢量。参考图片可选自第一参考图片列表(RefPicList0)或第二参考图片列表(RefPicList1),所述列表中的每一者识别存储在参考图片存储器176中的一或多个参考图片。运动估计单元156将经计算运动矢量发送到熵编码单元168及运动补偿单元158。
由运动补偿单元158执行的运动补偿可涉及基于由运动估计确定的运动矢量来提取或产生预测性块,从而可能地执行到子像素精度的内插。在接收到用于当前视频块的PU的运动矢量后,运动补偿单元158即可在参考图片列表中的一者中定位运动矢量所指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从而形成像素差值。像素差值形成用于块的残余数据,且可包括亮度差分量及色度差分量两者。求和器162表示执行这种减去运算的组件。运动补偿单元158也可产生与视频块及视频切片相关联的语法元素以供视频解码器30用来解码视频切片的视频块。运动估计单元156及运动补偿单元158也可一起实施帧间预测,其中块是相对于另一视图中的块予以帧间预测。
作为由运动估计单元156及运动补偿单元158执行的帧间预测(如上文所描述)的替代例,帧内预测单元160可帧内预测当前块。详言之,帧内预测单元160可确定用以编码当前块的帧内预测模式。在一些实例中,帧内预测单元160可(例如)在独立编码遍次期间使用各种帧内预测模式来编码当前块,且帧内预测单元160(或在一些实例中,模式选择单元)可从经测试模式选择待使用的适当帧内预测模式。举例来说,帧内预测单元160可使用针对各种经测试帧内预测模式的速率-失真分析来计算速率-失真值,且在经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量,以及用以产生经编码块的位速率(即,位的数目)。帧内预测单元160可计算来自针对各种经编码块的失真及速率的比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在任何状况下,在选择用于块的帧内预测模式之后,帧内预测单元160可将指示用于块的选定帧内预测模式的信息提供到熵编码单元168。熵编码单元168可根据本发明的技术来编码指示选定帧内预测模式的信息。视频编码器20可在可包括多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)的经传输位流配置数据中包括用于各种块的编码上下文的定义,及用于所述上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
在预测处理单元154经由帧间预测或帧内预测而产生用于当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包括在一或多个TU中且应用于变换处理单元164。变换处理单元164使用诸如离散余弦变换(DCT)或概念上相似变换的变换将残余视频数据变换成残余变换系数。变换处理单元164可将残余视频数据从像素域转换到变换域,诸如,频域。
变换处理单元164可将所得变换系数发送到量化处理单元166。量化处理单元166量化变换系数以进一步缩减位速率。所述量化进程可缩减与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化处理单元166接着可执行包括经量化变换系数的矩阵的扫描。替代地,熵编码单元168可执行所述扫描。
在量化之后,熵编码单元168熵编码经量化变换系数。举例来说,熵编码单元168可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元168进行的熵编码之后,可将经编码位流传输到视频解码器30或加以存档以供稍后由视频解码器30传输或检索。熵编码单元168也可熵编码用于正被译码的当前视频切片的运动矢量及其它语法元素。
反量化处理单元170及反变换处理单元172分别应用反量化及反变换,以在像素域中重建残余块以供稍后用作参考图片的参考块。运动补偿单元158可通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元158也可将一或多个内插滤波器应用于经重建残余块以计算次整数像素值以供运动估计中使用。求和器174将经重建残余块加到由运动补偿单元158产生的经运动补偿预测块以产生参考块以供存储在参考图片存储器176中。参考块可由运动估计单元156及运动补偿单元158用作参考块以帧间预测后续视频帧或图片中的块。
如此,视频编码器20为经配置以实施本发明所描述的一或多种实例技术的视频编码器的实例。举例来说,预测处理单元154可经配置以基于空间上及时间上相邻区的视差运动矢量来确定用于当前块的视差矢量。预测处理单元154也可经配置以利用经确定视差矢量来确定用于候选运动矢量预测值列表的候选运动矢量预测值。在一些实例中,预测处理单元154可修改经确定视差矢量,且将经修改的经确定视差矢量包括在候选运动矢量预测值列表中。预测处理单元154也可经配置用于视图间运动预测及视图间残差预测。
在一些实例中,除了预测处理单元154以外的单元可实施上文所描述的实例。在一些其它实例中,预测处理单元154结合视频编码器20的一或多个其它单元可实施上文所描述的实例。在一些实例中,视频编码器20的处理器或单元(图12中未图示)可单独地或结合视频编码器20的其它单元实施上文所描述的实例。
图13为说明可实施本发明所描述的技术的视频解码器的实例的框图。举例来说,视频解码器30可执行帧间预测解码或帧内预测解码。图13说明视频解码器30。在图13的实例中,视频解码器30包括熵解码单元180、预测处理单元181、反量化处理单元186、反变换处理单元188、求和器190及参考图片存储器192。预测处理单元181包括运动补偿单元182及帧内预测单元184。在一些实例中,视频解码器30可执行与关于来自图12的视频编码器20而描述的编码遍次大体上互逆的解码遍次。参考图片存储器192为经解码图片缓冲器(DPB)的一个实例。
在解码进程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及关联语法元素的经编码视频位流。视频解码器30的熵解码单元180熵解码所述位流以产生经量化系数、运动矢量及其它语法元素。熵解码单元180将所述运动矢量及其它语法元素转发到预测处理单元181。视频解码器30可在视频切片级别及/或视频块级别处接收语法元素。
当视频切片经译码为经帧内译码(I)切片时,预测处理单元181的帧内预测单元184可基于经发信的帧内预测模式及来自当前帧或图片的经先前解码块的数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即,B或P)切片时,预测处理单元181的运动补偿单元182基于从熵解码单元180接收的运动矢量及其它语法元素来产生用于当前视频切片的视频块的预测性块。所述预测性块可从参考图片列表中的一者内的参考图片中的一者予以产生。视频解码器30可基于存储在参考图片存储器192中的参考图片而使用默认构造技术来构造参考图片列表(RefPicList0及RefPicList1)。
运动补偿单元182通过分析运动矢量及其它语法元素来确定用于当前视频切片的视频块的预测信息,且使用所述预测信息以产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元182使用经接收语法元素中的一些以确定用以译码视频切片的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片或P切片)、用于所述切片的参考图片列表中的一或多者的构造信息、用于所述切片的每一经帧间编码视频块的运动矢量、用于所述切片的每一经帧间译码视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元182也可基于内插滤波器来执行内插。运动补偿单元182可使用如由视频编码器20在视频块的编码期间使用的内插滤波器以计算参考块的次整数像素的内插值。在这种状况下,运动补偿单元182可从经接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器以产生预测性块。
反量化处理单元186反量化(即,去量化)位流中提供且由熵解码单元180解码的经量化变换系数。所述反量化进程可包括使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定量化程度,且同样地确定应该应用的反量化程度。反变换处理单元188将反变换(例如,反DCT、反整数变换或概念上相似反变换进程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元182基于运动矢量及其它语法元素来产生用于当前视频块的预测性块之后,视频解码器30通过对来自反变换处理单元188的残余块与由运动补偿单元182产生的对应预测性块进行求和来形成经解码视频块。求和器190表示执行此求和运算的组件。视需要,也可应用去块滤波器以对经解码块进行滤波以便移除块假象。也可使用其它环路滤波器(在译码环路中或在译码环路之后)以使像素转变平滑,或以其它方式改善视频质量。接着将给定图片中的经解码视频块存储在参考图片存储器192中,参考图片存储器192存储用于后续运动补偿的参考图片。参考图片存储器192也存储供稍后呈现于诸如图1的显示装置32的显示装置上的经解码视频。
如此,视频解码器30为经配置以实施本发明所描述的一或多种实例技术的视频解码器的实例。举例来说,预测处理单元181可经配置以基于空间上及时间上相邻区的视差运动矢量来确定用于当前块的视差矢量。预测处理单元181也可经配置以利用经确定视差矢量来确定用于候选运动矢量预测值列表的候选运动矢量预测值。在一些实例中,预测处理单元181可修改经确定视差矢量,且将经修改的经确定视差矢量包括在候选运动矢量预测值列表中。预测处理单元181也可经配置以执行视图间运动预测及视图间残差预测。
在一些实例中,除了预测处理单元181以外的单元可实施上文所描述的实例。在一些实例中,预测处理单元181结合视频解码器30的一或多个其它单元可实施上文所描述的实例。在又一些其它实例中,视频解码器30的处理器或单元(图13中未图示)可单独地或结合视频解码器30的其它单元实施上文所描述的实例。
图14为根据本发明所描述的一或多种技术的说明视频解码器的实例操作的流程图。视频解码器的一个实例为视频解码器30。如图14所说明,视频解码器30可确定用于区的运动矢量是否为视差运动矢量(194)。举例来说,所述区可包括一或多个块,且可在多个视图中的第一视图中的图片内。用于区的运动矢量可表示针对一个参考图片列表(即,RefPicList0或RefPicList1)的用于区内的一或多个块的单一运动矢量。出于简单起见,在用于区的运动矢量是针对参考图片列表中的一者的情况下描述技术。在一些状况下,可存在用于区的两个运动矢量。在这些实例中,可存在用于一个参考图片列表的区内的所有块的单一运动矢量,及用于另一参考图片列表的区内的所有块的单一运动矢量。
所述区可相邻于(例如,空间上相邻于、时间上相邻于)当前块。所述区也可空间上或时间上相邻于块,所述块空间上或时间上相邻于当前块。此外,如果运动矢量是指第二不同视图中(例如,不同于包括具有所述区的图片的视图的视图中)的图片,那么运动矢量可为视差运动矢量。
响应于确定用于图片中的区的运动矢量为视差运动矢量,视频解码器30可确定用于所述区的视差运动矢量是否为用于当前块的视差矢量(196)。可存在视频解码器30可确定用于所述区的视差运动矢量是否为用于当前块的视差矢量的各种方式。作为一个实例,视频解码器30可检查空间上相邻块以确定空间视差矢量(SDV)、检查时间上相邻区以确定时间视差矢量(TDV)、检查空间上/时间上相邻块的空间上/时间上相邻区以确定隐式视差矢量(IDV)。视频解码器30可构造包括SDV、TDV及IDV的候选视差矢量列表,且可选择所述候选视差矢量中的一者作为用于当前块的视差矢量。作为另一实例,视频解码器30可选择第一视差运动矢量作为用于当前块的视差矢量。可存在视频解码器30确定用于所述区的视差运动矢量是否为用于当前块的视差矢量的其它实例方式。
视频解码器30帧间预测解码当前块(198)。举例来说,如果确定用于区的视差运动矢量为用于当前块的视差矢量,那么视频解码器30使用视差运动矢量作为用于当前块的视差矢量来帧间预测解码当前块。帧间预测解码是指由视频解码器30执行的帧间预测。举例来说,视频解码器30可确定视差矢量所指的块。视频解码器30可确定用于视差矢量所指的块的运动矢量,且将用于视差矢量所指的块的运动矢量包括在候选运动矢量预测值列表中。在这个实例中,作为合并模式或高级运动矢量预测(AMVP)模式的部分,当用于视差矢量所指的块的运动矢量是选自候选运动矢量预测值列表时,视频解码器30可基于用于视差矢量所指的块的运动矢量来帧间预测解码当前块。
图15为根据本发明所描述的一或多种技术的说明视频编码器的实例操作的流程图。视频编码器的一个实例为视频编码器20。一般而言,关于确定用于当前块的视差矢量,视频编码器20可执行与上文在图14中针对视频解码器30所描述的技术相似的技术。
举例来说,视频编码器20可确定用于区的运动矢量是否为视差运动矢量(200)。视频编码器20可确定用于区的运动矢量是否为视差运动矢量,其确定方式相似于上文在图14中关于视频解码器30所描述的方式。响应于确定用于图片中的区的运动矢量为视差运动矢量,视频编码器20确定用于所述区的视差运动矢量是否为用于当前块的视差矢量(202)。可存在视频编码器20可确定用于所述区的视差运动矢量是否为用于当前块的视差矢量的各种方式,且所述方式可相似于视频解码器30确定用于所述区的视差运动矢量是否为用于当前块的视差矢量的方式。视频编码器20帧间预测编码当前块(204)。举例来说,如果确定用于区的视差运动矢量为用于当前块的视差矢量,那么视频编码器20使用视差运动矢量作为用于当前块的视差矢量进行帧间预测编码(204)。帧间预测编码是指由视频编码器20执行的帧间预测,且视频编码器20可以相似于视频解码器30的方式但出于编码视频数据的目的而帧间预测编码当前块。如上文所描述,视频解码器30可出于解码视频数据的目的而执行帧间预测解码。
图16为根据本发明所描述的一或多种技术的说明视频译码器的实例操作的流程图。视频编码器20及/或视频解码器30可经配置以实施图16所说明的实例技术。
举例来说,视频译码器确定用于空间上或时间上相邻区的运动矢量是否为视差运动矢量(206)。空间上相邻区(例如,包括两个4×4块的8×4区)是在与待预测块相同的图片中。时间上相邻区(例如,包括16个4×4块的16×16区)是在不同于包括待预测块的图片的图片中。在一些实例中,视频译码器可确定用于空间上或时间上相邻于空间上或时间上相邻块的区的运动矢量是否为视差运动矢量。用于所述区的运动矢量表示用于所述区内的多个块的单一运动矢量。
此外,对于时间上相邻区,视频译码器可评估用于当前块的一个或两个参考图片列表(即,用于包括当前块的图片的经构造参考图片列表)中的每一图片。对于每一图片,视频译码器可确定所述图片是否包括用视差运动矢量予以帧间预测的时间上相邻区。在一些实例中,视频译码器按递增顺序评估参考图片列表中的每一图片。此外,视频译码器基于collocated_from_10_flag的值来首先评估RefPicList0中的图片或首先评估RefPicList1中的图片。在其它实例中,视频译码器首先评估RefPicList0中的图片,且接着评估RefPicList1中的图片,或反之亦然,而不管collocated_from_10_flag的值。
在图16的实例中,视频译码器将视差运动矢量包括在候选视差矢量列表中(208)。如果视频译码器从候选视差矢量列表选择这个视差运动矢量,那么视频译码器确定由所述视差运动矢量所指的块的运动矢量(210)。在这个实例中,视频译码器将经确定运动矢量包括在用于当前块的候选运动矢量预测值列表中(212)。在一些实例中,视频译码器也将视差运动矢量的经修改版本包括在候选运动矢量预测值列表中(例如,y分量被设置为等于零的视差运动矢量)(214)。
在一些状况下,视频译码器基于指示通向候选运动矢量预测值列表的索引的经译码语法元素来选择候选运动矢量预测值(216)。视频译码器接着使用高级运动矢量预测(AMVP)模式或合并模式来帧间预测当前块(218)。
在一或多个实例中,所描述功能可以硬件、软件、固件或其任何组合予以实施。如果以软件予以实施,那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体而传输,且由基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体(其对应于诸如数据存储媒体的有形媒体)或通信媒体,通信媒体包括(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。如此,计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)诸如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器访问以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包括计算机可读媒体。
作为实例而非限制,这些计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,闪速存储器,或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机访问的任何其它媒体。此外,将任何连接适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外线、无线电及微波的无线技术而从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤电缆、双绞线、DSL或诸如红外线、无线电及微波的无线技术包括在媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包括连接、载波、信号或其它暂时性媒体,而替代地有关于非暂时性有形存储媒体。如本文所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式重现数据,而光盘通过激光以光学方式重现数据。以上各者的组合也应包括在计算机可读媒体的范围内。
指令可由诸如以下各者的一或多个处理器执行:一或多个数字信号处理器(DSP)、一般用途微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效集成或离散逻辑电路。因此,如本文所使用,术语“处理器”可指前述结构或适合于实施本文所描述的技术的任何其它结构中的任一者。另外,在一些方面,本文所描述的功能性可提供在经配置以用于编码及解码的专用硬件及/或软件模块内,或并入在组合式编码解码器中。此外,可将所述技术完全实施在一或多个电路或逻辑元件中。
本发明的技术可实施在各种各样的装置或仪器中,所述装置或仪器包括无线手机、集成电路(IC)或IC集合(例如,芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但未必需要通过不同硬件单元而实现。更确切地,如上文所描述,各种单元可组合在编码解码器硬件单元中,或由包括如上文所描述的一或多个处理器的互操作性硬件单元集合结合合适软件及/或固件而提供。
在一些实例中,用包含视频解码器的装置或包含视频编码器的装置来描述所述技术。所述装置可为诸如无线通信装置的独立装置。在一些实例中,所述装置可为微处理器或集成电路。在这些实例中,所述微处理器或集成电路可在适当时包括视频解码器或视频编码器。在一些实例中,所述视频解码器及视频编码器可为独立微处理器或集成电路。
已描述各种实例。这些及其它实例是在所附权利要求书的范围内。
Claims (55)
1.一种用于解码视频数据的方法,所述方法包含:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测解码所述当前块,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述解码使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
2.根据权利要求1所述的方法,其中确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量包含确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述空间上相邻区且包括所述当前块。
3.根据权利要求2所述的方法,其中所述空间上相邻区包含包括两个4×4块的8×4区。
4.根据权利要求1所述的方法,其中确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量包含确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
5.根据权利要求4所述的方法,其中所述时间上相邻区包含包括16个4×4块的16×16区。
6.根据权利要求1所述的方法,其进一步包含:
当用于所述区的所述运动矢量是从相邻于所述区的块的视差运动矢量导出时,确定所述区为隐式视差预测区;及
响应于确定所述区为所述隐式视差预测区,确定相邻于所述区的所述块的所述视差运动矢量是否为用于所述当前块的所述视差矢量,
其中,如果用于所述区的所述视差运动矢量不为用于所述当前块的所述视差矢量,那么在确定相邻于所述区的所述块的所述视差运动矢量为用于所述当前块的所述视差矢量时,所述解码使用用于相邻于所述区的所述块的所述视差运动矢量作为用于所述当前块的所述视差矢量。
7.根据权利要求1所述的方法,其进一步包含:
确定所述视差矢量所指的块;
确定用于所述视差矢量所指的所述块的运动矢量;及
将用于所述视差矢量所指的所述块的所述运动矢量包括于候选运动矢量预测值列表中,
其中帧间预测解码所述当前块包含:作为合并模式或高级运动矢量预测AMVP模式的部分,当用于所述视差矢量所指的所述块的所述运动矢量是选自所述候选运动矢量预测值列表时,基于用于所述视差矢量所指的所述块的所述运动矢量来帧间预测解码所述当前块。
8.根据权利要求1所述的方法,其进一步包含:
确定所述视差矢量所指的块,
其中帧间预测解码所述当前块包含使用所述经确定块的残余信息以帧间预测所述当前块的残余信息。
9.根据权利要求1所述的方法,其进一步包含:
修改所述视差运动矢量;及
将所述经修改视差运动矢量包括于用于所述当前块的候选运动矢量预测值列表中。
10.根据权利要求9所述的方法,其中修改所述视差运动矢量包含将所述视差运动矢量的y分量设置为等于零。
11.根据权利要求1所述的方法,其中所述当前块可为瞬时解码器刷新IDR或清洁随机访问CRA图片的块。
12.一种用于编码视频数据的方法,所述方法包含:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测编码所述当前块,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述编码使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
13.根据权利要求12所述的方法,其中确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量包含确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述空间上相邻区且包括所述当前块。
14.根据权利要求13所述的方法,其中所述空间上相邻区包含包括两个4×4块的8×4区。
15.根据权利要求12所述的方法,其中确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量包含确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
16.根据权利要求15所述的方法,其中所述时间上相邻区包含包括16个4×4块的16×16区。
17.根据权利要求12所述的方法,其进一步包含:
当用于所述区的所述运动矢量是从相邻于所述区的块的视差运动矢量导出时,确定所述区为隐式视差预测区;及
响应于确定所述区为所述隐式视差预测区,确定相邻于所述区的所述块的所述视差运动矢量是否为用于所述当前块的所述视差矢量,
其中,如果用于所述区的所述视差运动矢量不为用于所述当前块的所述视差矢量,那么在确定相邻于所述区的所述块的所述视差运动矢量为用于所述当前块的所述视差矢量时,所述编码使用用于相邻于所述区的所述块的所述视差运动矢量作为用于所述当前块的所述视差矢量。
18.根据权利要求12所述的方法,其进一步包含:
确定所述视差矢量所指的块,
其中帧间预测编码所述当前块包含使用所述经确定块的残余信息以帧间预测所述当前块的残余信息。
19.根据权利要求12所述的方法,其进一步包含:
修改所述视差运动矢量;及
将所述经修改视差运动矢量包括于用于所述当前块的候选运动矢量预测值列表中。
20.根据权利要求19所述的方法,其中修改所述视差运动矢量包含将所述视差运动矢量的y分量设置为等于零。
21.根据权利要求12所述的方法,其中所述当前块为瞬时解码器刷新IDR或清洁随机访问CRA图片的所述当前块。
22.一种用于解码视频数据的装置,所述装置包含视频解码器,所述视频解码器经配置以:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测解码所述当前块,其中为了解码所述当前块,如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述视频解码器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
23.根据权利要求22所述的装置,其中为了确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量,所述视频解码器经配置以确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述空间上相邻区且包括所述当前块。
24.根据权利要求23所述的装置,其中所述空间上相邻区包含包括两个4×4块的8×4区。
25.根据权利要求22所述的装置,其中为了确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量,所述视频解码器经配置以确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
26.根据权利要求25所述的装置,其中所述时间上相邻区包含包括16个4×4块的16×16区。
27.根据权利要求22所述的装置,其中所述视频解码器经配置以:
当用于所述区的所述运动矢量是从相邻于所述区的块的视差运动矢量导出时,确定所述区为隐式视差预测区;及
响应于确定所述区为所述隐式视差预测区,确定相邻于所述区的所述块的所述视差运动矢量是否为用于所述当前块的所述视差矢量,
其中,如果用于所述区的所述视差运动矢量不为用于所述当前块的所述视差矢量,那么为了解码所述当前块,在确定相邻于所述区的所述块的所述视差运动矢量为用于所述当前块的所述视差矢量时,所述视频解码器使用用于相邻于所述区的所述块的所述视差运动矢量作为用于所述当前块的所述视差矢量。
28.根据权利要求22所述的装置,其中所述视频解码器经配置以:
确定所述视差矢量所指的块;
确定用于所述视差矢量所指的所述块的运动矢量;及
将用于所述视差矢量所指的所述块的所述运动矢量包括于候选运动矢量预测值列表中,
其中,为了帧间预测解码所述当前块,所述视频解码器经配置以:作为合并模式或高级运动矢量预测AMVP模式的部分,当用于所述视差矢量所指的所述块的所述运动矢量是选自所述候选运动矢量预测值列表时,基于用于所述视差矢量所指的所述块的所述运动矢量来帧间预测解码所述当前块。
29.根据权利要求22所述的装置,其中所述视频解码器经配置以:
确定所述视差矢量所指的块,
其中,为了帧间预测解码所述当前块,所述视频解码器经配置以使用所述经确定块的残余信息以帧间预测所述当前块的残余信息。
30.根据权利要求22所述的装置,其中所述视频解码器经配置以:
修改所述视差运动矢量;及
将所述经修改视差运动矢量包括于用于所述当前块的候选运动矢量预测值列表中。
31.根据权利要求30所述的装置,其中,为了修改所述视差运动矢量,所述视频解码器经配置以将所述视差运动矢量的y分量设置为等于零。
32.根据权利要求22所述的装置,其中所述当前块为瞬时解码器刷新IDR或清洁随机访问CRA图片的所述当前块。
33.根据权利要求22所述的装置,其中所述装置包含以下各者中的一者:
无线通信装置;
微处理器;及
集成电路。
34.一种用于编码视频数据的装置,所述装置包含视频编码器,所述视频编码器经配置以:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测编码所述当前块,其中为了编码所述当前块,如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述视频编码器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
35.根据权利要求34所述的装置,其中,为了确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量,所述视频编码器经配置以确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述空间上相邻区且包括所述当前块。
36.根据权利要求35所述的装置,其中所述空间上相邻区包含包括两个4×4块的8×4区。
37.根据权利要求34所述的装置,其中,为了确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量,所述视频编码器经配置以确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
38.根据权利要求37所述的装置,其中所述时间上相邻区包含包括16个4×4块的16×16区。
39.根据权利要求34所述的装置,其中所述视频编码器经配置以:
当用于所述区的所述运动矢量是从相邻于所述区的块的视差运动矢量导出时,确定所述区为隐式视差预测区;及
响应于确定所述区为所述隐式视差预测区,确定相邻于所述区的所述块的所述视差运动矢量是否为用于所述当前块的所述视差矢量,
其中,如果用于所述区的所述视差运动矢量不为用于所述当前块的所述视差矢量,那么为了编码所述当前块,在确定相邻于所述区的所述块的所述视差运动矢量为用于所述当前块的所述视差矢量时,所述视频编码器使用用于相邻于所述区的所述块的所述视差运动矢量作为用于所述当前块的所述视差矢量。
40.根据权利要求34所述的装置,其中所述视频编码器经配置以:
确定所述视差矢量所指的块,
其中,为了帧间预测编码所述当前块,所述视频编码器经配置以使用所述经确定块的残余信息以帧间预测所述当前块的残余信息。
41.根据权利要求34所述的装置,其中所述视频编码器经配置以:
修改所述视差运动矢量;及
将所述经修改视差运动矢量包括于用于所述当前块的候选运动矢量预测值列表中。
42.根据权利要求41所述的装置,其中,为了修改所述视差运动矢量,所述视频编码器经配置以将所述视差运动矢量的y分量设置为等于零。
43.根据权利要求34所述的装置,其中所述当前块为瞬时解码器刷新IDR或清洁随机访问CRA图片的所述当前块。
44.一种用于解码视频数据的装置,所述装置包含:
用于确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量的装置,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
用于响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量的装置;及
用于帧间预测解码所述当前块的装置,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述用于帧间预测解码的装置使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
45.根据权利要求44所述的装置,其中所述用于确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量的装置包含用于确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量的装置,且其中所述图片包括所述空间上相邻区且包括所述当前块。
46.根据权利要求45所述的装置,其中所述空间上相邻区包含包括两个4×4块的8×4区。
47.根据权利要求44所述的装置,其中所述用于确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量的装置包含用于确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量的装置,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
48.根据权利要求47所述的装置,其中所述时间上相邻区包含包括16个4×4块的16×16区。
49.一种用于编码视频数据的装置,所述装置包含:
用于确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量的装置,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
用于响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量的装置;及
用于帧间预测编码所述当前块的装置,其中如果确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量,那么所述用于帧间预测编码的装置使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量。
50.根据权利要求49所述的装置,其中所述用于确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量的装置包含用于确定用于空间上相邻于所述当前块的空间上相邻区的所述运动矢量是否为所述视差运动矢量的装置,且其中所述图片包括所述空间上相邻区且包括所述当前块。
51.根据权利要求50所述的装置,其中所述空间上相邻区包含包括两个4×4块的8×4区。
52.根据权利要求49所述的装置,其中确定用于所述第一视图中的所述图片中的所述区的所述运动矢量是否为视差运动矢量包含确定用于时间上相邻于所述当前块的时间上相邻区的所述运动矢量是否为所述视差运动矢量,且其中所述图片包括所述时间上相邻区且不包括所述当前块。
53.根据权利要求52所述的装置,其中所述时间上相邻区包含包括16个4×4块的16×16区。
54.一种存储有指令的计算机可读存储媒体,所述指令在执行时使一或多个处理器:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测解码所述当前块,其中所述使所述一或多个处理器进行解码的指令包含在确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量时使所述一或多个处理器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量的指令。
55.一种存储有指令的计算机可读存储媒体,所述指令在执行时使一或多个处理器:
确定用于多个视图中的第一视图中的图片中的区的运动矢量是否为视差运动矢量,其中所述区相邻于待预测的当前块,所述区包括一或多个块,用于所述区的所述运动矢量表示针对一个参考图片列表的用于所述一或多个块的单一运动矢量,且如果用于所述区的所述运动矢量指向第二不同视图中的图片,那么所述运动矢量为所述视差运动矢量;
响应于确定用于所述图片中的所述区的所述运动矢量为所述视差运动矢量而确定用于所述区的所述视差运动矢量是否为用于所述当前块的视差矢量;及
帧间预测编码所述当前块,其中所述使所述一或多个处理器进行编码的指令包含在确定用于所述区的所述视差运动矢量为用于所述当前块的所述视差矢量时使所述一或多个处理器使用用于所述区的所述视差运动矢量作为用于所述当前块的所述视差矢量的指令。
Applications Claiming Priority (15)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261610961P | 2012-03-14 | 2012-03-14 | |
US61/610,961 | 2012-03-14 | ||
US201261621929P | 2012-04-09 | 2012-04-09 | |
US61/621,929 | 2012-04-09 | ||
US201261623041P | 2012-04-11 | 2012-04-11 | |
US61/623,041 | 2012-04-11 | ||
US201261658754P | 2012-06-12 | 2012-06-12 | |
US61/658,754 | 2012-06-12 | ||
US201261682224P | 2012-08-11 | 2012-08-11 | |
US201261682221P | 2012-08-11 | 2012-08-11 | |
US61/682,221 | 2012-08-11 | ||
US61/682,224 | 2012-08-11 | ||
US13/798,997 US9525861B2 (en) | 2012-03-14 | 2013-03-13 | Disparity vector prediction in video coding |
US13/798,997 | 2013-03-13 | ||
PCT/US2013/031339 WO2013138593A1 (en) | 2012-03-14 | 2013-03-14 | Disparity vector prediction in video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104170380A CN104170380A (zh) | 2014-11-26 |
CN104170380B true CN104170380B (zh) | 2018-01-12 |
Family
ID=49157227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380013810.4A Active CN104170380B (zh) | 2012-03-14 | 2013-03-14 | 视频译码中的视差矢量预测 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9525861B2 (zh) |
EP (1) | EP2826244A1 (zh) |
JP (2) | JP6608275B2 (zh) |
KR (1) | KR101834611B1 (zh) |
CN (1) | CN104170380B (zh) |
TW (1) | TW201340724A (zh) |
WO (1) | WO2013138593A1 (zh) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8385404B2 (en) | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
US20120082228A1 (en) * | 2010-10-01 | 2012-04-05 | Yeping Su | Nested entropy encoding |
US8638854B1 (en) | 2011-04-07 | 2014-01-28 | Google Inc. | Apparatus and method for creating an alternate reference frame for video compression using maximal differences |
CN103765902B (zh) * | 2011-08-30 | 2017-09-29 | 英特尔公司 | 多视角视频编码方案 |
CN107404651B (zh) | 2011-09-09 | 2020-03-06 | 株式会社Kt | 用于解码视频信号的方法 |
CN103959791B (zh) | 2011-11-18 | 2017-07-04 | 谷歌技术控股有限责任公司 | 针对高效率视频代码化(hevc)用信号发送并置图片的显式方式 |
US10218999B2 (en) * | 2012-01-19 | 2019-02-26 | Electronics And Telecommunications Research Institute | Method and apparatus for image coding/decoding |
US9445076B2 (en) | 2012-03-14 | 2016-09-13 | Qualcomm Incorporated | Disparity vector construction method for 3D-HEVC |
US9549180B2 (en) | 2012-04-20 | 2017-01-17 | Qualcomm Incorporated | Disparity vector generation for inter-view prediction for video coding |
US9609341B1 (en) * | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
JP6042536B2 (ja) * | 2012-07-02 | 2016-12-14 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | 3dビデオ符号化におけるビュー間候補導出の方法と装置 |
WO2014005280A1 (en) * | 2012-07-03 | 2014-01-09 | Mediatek Singapore Pte. Ltd. | Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction |
CN104471941B (zh) * | 2012-07-09 | 2017-09-19 | 联发科技股份有限公司 | 3d视频编码中的视图间子分割预测的方法和装置 |
CN104429078A (zh) * | 2012-07-10 | 2015-03-18 | Lg电子株式会社 | 用于处理视频信号的方法和设备 |
EP2878125A4 (en) * | 2012-07-27 | 2016-10-12 | Hfi Innovation Inc | CONSTRAINED DISPARITY VECTOR DERIVATION METHOD IN 3D VIDEO CODING |
US9247271B2 (en) * | 2012-10-08 | 2016-01-26 | Inria Institut National De Recherche En Informatique Et En Automatique | Method and device for motion information prediction in multi-view video coding |
CN102946535B (zh) * | 2012-10-09 | 2015-05-13 | 华为技术有限公司 | 预测块的视差矢量预测值获取的方法和装置 |
KR20150095679A (ko) * | 2012-11-13 | 2015-08-21 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
EP2920967A4 (en) * | 2012-11-16 | 2016-05-25 | Mediatek Inc | METHOD AND DEVICE FOR RESTRICTED DISPARITY VECTOR REMOVAL IN 3D VIDEO CODING |
CN105308966B (zh) * | 2013-04-05 | 2019-01-04 | 三星电子株式会社 | 视频编码方法及其设备以及视频解码方法及其设备 |
EP2932716A4 (en) * | 2013-04-10 | 2016-07-06 | Mediatek Inc | METHOD AND DEVICE FOR SELECTION OF INTERCONNECTION CANDIDATES FOR THREE-DIMENSIONAL VIDEO-CORDING |
WO2015003383A1 (en) * | 2013-07-12 | 2015-01-15 | Mediatek Singapore Pte. Ltd. | Methods for inter-view motion prediction |
WO2015006922A1 (en) * | 2013-07-16 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Methods for residual prediction |
EP3024242A4 (en) * | 2013-07-18 | 2017-01-11 | LG Electronics Inc. | Method and apparatus for processing video signal |
CN110225349B (zh) * | 2013-10-14 | 2023-06-02 | 韩国电子通信研究院 | 用于支持多层的视频编码/解码方法和计算机可读记录介质 |
US20160255368A1 (en) * | 2013-10-18 | 2016-09-01 | Lg Electronics Inc. | Method and apparatus for coding/decoding video comprising multi-view |
US9693077B2 (en) * | 2013-12-13 | 2017-06-27 | Qualcomm Incorporated | Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding |
EP3117606B1 (en) * | 2014-03-13 | 2018-12-26 | Qualcomm Incorporated | Simplified advanced residual prediction for 3d-hevc |
WO2016056842A1 (ko) * | 2014-10-07 | 2016-04-14 | 삼성전자 주식회사 | 뷰 병합 예측을 이용하여 영상을 부호화 또는 복호화 하는 방법 및 그 장치 |
CN104902256B (zh) * | 2015-05-21 | 2018-01-09 | 南京大学 | 一种基于运动补偿的双目立体图像编解码方法 |
US10148977B2 (en) * | 2015-06-16 | 2018-12-04 | Futurewei Technologies, Inc. | Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions |
EP3834422A4 (en) | 2018-08-10 | 2021-09-15 | Huawei Technologies Co., Ltd. | CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE |
EP3837841A4 (en) | 2018-09-03 | 2021-10-20 | Huawei Technologies Co., Ltd. | CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE |
WO2020075053A1 (en) | 2018-10-08 | 2020-04-16 | Beijing Bytedance Network Technology Co., Ltd. | Generation and usage of combined affine merge candidate |
CN109068140B (zh) * | 2018-10-18 | 2021-06-22 | 北京奇艺世纪科技有限公司 | 视频编码中运动向量的确定方法、装置及视频编解码设备 |
EP3903495A4 (en) * | 2018-12-28 | 2022-03-16 | Telefonaktiebolaget Lm Ericsson (Publ) | GENERATION OF A LIST OF MOTION VECTOR PREDICTORS |
KR20220006055A (ko) | 2019-05-11 | 2022-01-14 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 다중 인트라 코딩 방법 사이의 상호 작용 |
BR112021022174A2 (pt) | 2019-05-11 | 2021-12-21 | Beijing Bytedance Network Tech Co Ltd | Método para processar dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação |
CN117714682A (zh) | 2019-05-21 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 子块Merge模式中的语法信令 |
KR102113071B1 (ko) | 2019-06-28 | 2020-05-21 | 한국타이어앤테크놀로지 주식회사 | 일체형 전자장치의 제조방법 |
CN117560490A (zh) | 2019-07-27 | 2024-02-13 | 北京字节跳动网络技术有限公司 | 根据参考图片类型使用工具的限制 |
CN114342408A (zh) | 2019-08-26 | 2022-04-12 | 北京字节跳动网络技术有限公司 | 视频编码中帧内编码模式的扩展 |
CN117676167A (zh) | 2019-08-30 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 帧内编解码中的子分割 |
WO2021068954A1 (en) | 2019-10-12 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | High level syntax for video coding tools |
CN117676135A (zh) | 2019-10-18 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 子图片与环路滤波之间的相互影响 |
CN110798676A (zh) * | 2019-11-29 | 2020-02-14 | 苏州新光维医疗科技有限公司 | 一种利用内镜镜头动态图像形成3d视觉的方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101491096A (zh) * | 2006-07-12 | 2009-07-22 | Lg电子株式会社 | 信号处理方法及其装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0787598B2 (ja) * | 1991-06-06 | 1995-09-20 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視差補正装置 |
JP3693407B2 (ja) * | 1996-04-04 | 2005-09-07 | シャープ株式会社 | 多視点画像符号化装置および復号装置 |
US6970206B1 (en) * | 2000-04-20 | 2005-11-29 | Ati International Srl | Method for deinterlacing interlaced video by a graphics processor |
JP2002245451A (ja) * | 2001-02-19 | 2002-08-30 | Nippon Hoso Kyokai <Nhk> | 立体画像評価装置 |
JP4262014B2 (ja) * | 2003-07-31 | 2009-05-13 | キヤノン株式会社 | 画像撮影装置および画像処理方法 |
KR100888962B1 (ko) | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
US8854486B2 (en) * | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
US8644386B2 (en) | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
KR101276720B1 (ko) * | 2005-09-29 | 2013-06-19 | 삼성전자주식회사 | 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
GB2445008B (en) * | 2006-12-20 | 2008-12-31 | Sony Comp Entertainment Europe | Image compression and/or decompression |
US20080159407A1 (en) * | 2006-12-28 | 2008-07-03 | Yang Nick Y | Mechanism for a parallel processing in-loop deblock filter |
EP2123042A4 (en) * | 2007-01-24 | 2010-03-10 | Lg Electronics Inc | METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL |
US8953684B2 (en) | 2007-05-16 | 2015-02-10 | Microsoft Corporation | Multiview coding with geometry-based disparity prediction |
US10298952B2 (en) | 2007-08-06 | 2019-05-21 | Interdigital Madison Patent Holdings | Methods and apparatus for motion skip move with multiple inter-view reference pictures |
BRPI0911672A2 (pt) | 2008-04-25 | 2018-03-13 | Thomson Licensing | modos de pulo intervisualizações com profundidade |
CN102257818B (zh) | 2008-10-17 | 2014-10-29 | 诺基亚公司 | 3d视频编码中运动向量的共享 |
US8982183B2 (en) | 2009-04-17 | 2015-03-17 | Lg Electronics Inc. | Method and apparatus for processing a multiview video signal |
WO2012007038A1 (en) | 2010-07-15 | 2012-01-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hybrid video coding supporting intermediate view synthesis |
US9300943B2 (en) | 2011-01-12 | 2016-03-29 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
US20120189060A1 (en) | 2011-01-20 | 2012-07-26 | Industry-Academic Cooperation Foundation, Yonsei University | Apparatus and method for encoding and decoding motion information and disparity information |
US9247249B2 (en) | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
JP6112418B2 (ja) | 2011-06-29 | 2017-04-12 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置 |
EP3739886A1 (en) | 2011-11-18 | 2020-11-18 | GE Video Compression, LLC | Multi-view coding with efficient residual handling |
CA2866121C (en) | 2012-03-06 | 2018-04-24 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
US9445076B2 (en) | 2012-03-14 | 2016-09-13 | Qualcomm Incorporated | Disparity vector construction method for 3D-HEVC |
US10341677B2 (en) | 2012-05-10 | 2019-07-02 | Lg Electronics Inc. | Method and apparatus for processing video signals using inter-view inter-prediction |
US20130336405A1 (en) | 2012-06-15 | 2013-12-19 | Qualcomm Incorporated | Disparity vector selection in video coding |
-
2013
- 2013-03-13 US US13/798,997 patent/US9525861B2/en active Active
- 2013-03-14 TW TW102109103A patent/TW201340724A/zh unknown
- 2013-03-14 KR KR1020147028427A patent/KR101834611B1/ko active IP Right Grant
- 2013-03-14 CN CN201380013810.4A patent/CN104170380B/zh active Active
- 2013-03-14 JP JP2015500611A patent/JP6608275B2/ja active Active
- 2013-03-14 WO PCT/US2013/031339 patent/WO2013138593A1/en active Application Filing
- 2013-03-14 EP EP13711279.3A patent/EP2826244A1/en not_active Ceased
-
2018
- 2018-01-24 JP JP2018009556A patent/JP6585200B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101491096A (zh) * | 2006-07-12 | 2009-07-22 | Lg电子株式会社 | 信号处理方法及其装置 |
Non-Patent Citations (2)
Title |
---|
ANONYMOUS.Test Model under Consideration for HEVC based 3D video coding.《99. MPEG MEETING;SAN JOSACR;no.N12559》.2012, * |
YOSHITOMO TAKAHASHI ET AL..Descriptions of 30 Video Coding Proposal (HEVC-Compatible Category) by Sony.《98. MPEG MEETING;GENEVA;MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11;no.m22566》.2011, * |
Also Published As
Publication number | Publication date |
---|---|
KR101834611B1 (ko) | 2018-03-05 |
US20130242046A1 (en) | 2013-09-19 |
EP2826244A1 (en) | 2015-01-21 |
JP6585200B2 (ja) | 2019-10-02 |
KR20140144210A (ko) | 2014-12-18 |
JP6608275B2 (ja) | 2019-11-20 |
JP2018110407A (ja) | 2018-07-12 |
CN104170380A (zh) | 2014-11-26 |
US9525861B2 (en) | 2016-12-20 |
JP2015514340A (ja) | 2015-05-18 |
WO2013138593A1 (en) | 2013-09-19 |
TW201340724A (zh) | 2013-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104170380B (zh) | 视频译码中的视差矢量预测 | |
CN104769949B (zh) | 用于视差向量导出的图片的选择的方法和装置 | |
CN104838651B (zh) | 可缩放及多视角视频译码中的高级残差预测 | |
CN104303502B (zh) | 对多视图视频数据进行编码、解码和译码的方法、装置及计算机可读存储介质 | |
CN105379282B (zh) | 用于纹理译码的先进残余预测(arp)的方法和设备 | |
CN104904218B (zh) | 视差矢量推导 | |
CN105027571B (zh) | 三维视频译码中导出的视差向量 | |
CN103503460B (zh) | 译码视频数据的方法和设备 | |
CN105379288B (zh) | 处理对视频译码的照明补偿 | |
CN107211156B (zh) | 一种译码视频数据的方法、装置及计算机可读存储媒体 | |
CN105359530B (zh) | 面向深度的视图间运动向量预测 | |
CN104335589B (zh) | 用于视频译码的视图间预测的视差向量产生 | |
CN104170381B (zh) | 在高效率视频译码及其扩展中的运动矢量译码及双向预测 | |
CN105580372B (zh) | 用于3d视频译码的组合式双向预测合并候选者 | |
CN105556969B (zh) | 视频译码中使用视差向量的块识别 | |
CN105075265B (zh) | 3d视频译码中针对跳过和直接模式的视差向量导出 | |
CN104704833B (zh) | 多视图或3维视频译码中的高级视图间残差预测 | |
CN104956678B (zh) | 用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式 | |
CN103975597B (zh) | 纹理及深度视图分量当中的内部视图运动预测 | |
CN104025602B (zh) | 三维视频译码中用信号通知视图合成预测支持 | |
CN109792533A (zh) | 在视频译码中用于仿射运动模型的运动向量预测 | |
CN105009592B (zh) | 用于3d-avc中的基于相邻块的视差向量导出的方法和装置 | |
CN105122811B (zh) | 3d视频译码中的相邻块视差向量导出 | |
CN109891890A (zh) | 视频译码中基于子pu的双向运动补偿 | |
CN104885459B (zh) | 用于多层译码的多分辨率经解码图片缓冲器管理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |