CN104904217B - 用于视频译码扩展的时间运动向量预测 - Google Patents

用于视频译码扩展的时间运动向量预测 Download PDF

Info

Publication number
CN104904217B
CN104904217B CN201380069438.9A CN201380069438A CN104904217B CN 104904217 B CN104904217 B CN 104904217B CN 201380069438 A CN201380069438 A CN 201380069438A CN 104904217 B CN104904217 B CN 104904217B
Authority
CN
China
Prior art keywords
motion vector
reference picture
video
decoding
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380069438.9A
Other languages
English (en)
Other versions
CN104904217A (zh
Inventor
陈颖
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104904217A publication Critical patent/CN104904217A/zh
Application granted granted Critical
Publication of CN104904217B publication Critical patent/CN104904217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一实例中,一种用于译码视频数据的装置包含视频译码器,其经配置以进行以下操作:确定第一目标参考索引,所述第一目标参考索引表示当前运动向量的候选运动向量预测子所指代的参考图片;针对所述候选运动向量预测子并在所述当前运动向量的时间运动向量预测TMVP期间,确定等于预定值的额外目标参考索引的值;及至少部分地基于所述额外参考索引的所述值对所述当前运动向量进行译码。

Description

用于视频译码扩展的时间运动向量预测
本申请案主张2013年1月2日申请的美国临时申请案第61/748,424号的权利,所述申请案的全部内容在此以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频写码技术,例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码,视频切片(即,视频帧或视频帧的一部分)可分割成视频块,所述视频块还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称为帧,且参考图片可被称为参考帧。
空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可以将残余变换系量化。可扫描最初布置成二维阵列的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码以实现更多压缩。
发明内容
一般来说,本发明描述用于在视频译码中使用运动向量预测对运动向量进行译码的技术。视频译码包含对图片的个别区块进行译码(例如,编码或逻辑)。可对此类块进行空间预测和译码、时间预测和译码,或层间或视图间预测和译码。时间和层间及/视图间预测技术可利用运动向量。另外,视频译码器可经配置以译码运动向量。根据本发明的技术,视频译码器可经配置以在执行时间运动向量预测时确定用于合并模式的候选运动向量预测子的参考索引(其中候选运动向量预测子可指代视图间参考图片),且也经组态以确定额外参考索引的值。例如,在针对块执行运动向量的合并模式译码时,可将额外参考索引替代为候选运动向量预测子的实际参考索引。此外,可将额外参考索引值设定为预定值,例如0或-1。一般来说,额外参考索引可指代长期参考图片,例如用于包含块的当前图片的视图间参考图片。
在一个实例中,译码视频数据的方法包含:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定等于预定值的额外目标参考索引值;及至少部分地基于额外参考索引值对当前运动向量进行译码。
在另一实例中,用于译码视频数据的装置包含视频译码器,其经配置以进行以下操作:确定第一目标参考索引,所述第一目标参考索引表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定额外目标参考索引值,其等于预定值;及至少部分地基于额外参考索引值对当前运动向量进行译码。
在另一个实例中,用于译码视频数据的装置包含:用于确定第一目标参考索引的装置,所述第一目标参考索引表示当前运动向量的候选运动向量预测子所指代的参考图片;用于针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间确定等于预定值的额外目标参考索引值的装置;及用于至少部分地基于额外参考索引值对当前运动向量进行译码的装置。
在另一个实例,计算机可读存储媒体在其上存储有在执行时使处理器进行以下操作的指令:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定额外目标参考索引值,其等于预定值;及至少部分地基于额外参考索引值对当前运动向量进行译码。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1是说明可利用用于译码运动向量的技术的实例视频编码及解码系统的框图。
图2是说明可实施用于译码运动向量的技术的视频编码器的实例的框图。
图3是说明可实施用于译码波前的技术的视频解码器的实例的框图。
图4为说明实例多视图视频译码(MVC)预测模式的概念图。
图5为说明用于译码图片块的实例图片集合和运动向量的概念图。
图6为说明用于译码图片块的实例图片集合和运动向量的概念图。
图7是说明根据本发明的技术的对视频数据块进行编码的实例方法的流程图。
图8是说明根据本发明的技术的对视频数据块进行解码的实例方法的流程图。
具体实施方式
一般来说,本发明描述可改进用于视频编码器/解码器(编解码器)扩展(例如,多视图或可分级扩展)的时间运动向量预测同时使二维(2D)基层/视图解码性能保持不变的技术。基本视频译码标准可包含(例如)高效视频译码(HEVC),且对HEVC的扩展可包含对HEVC的多视图视频译码扩展(例如,MV-HEVC)及对HEVC的可分级视频译码扩展(例如,SHVC)。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IECMPEG-4 AVC),包含其可分级视频译码(SVC)及多视图视频译码(MVC)扩展。另外,存在一种新的视频译码标准,即高效率视频译码(HEVC),其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。后文中被称为“HEVC WD9”或仅被称为“WD9”的HEVC的工作草案(WD)描述于2012年10月10-19日中国上海的第11次会议(JCTVC-K1003_v13)的Bross等人的“High Efficiency Video Coding(HEVC)Text Specification Draft 9”中,自2013年1月2日起,该工作草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip获得。
本发明描述如下文中参考图5及6在JCTVC-K0239中更详细描述的某些技术。已确定JCTVC-K0239的提议还有更大的改进余地。举例来说,用于JCTVC-K0239的时间运动预测的额外参考索引的导出过程可导致对于2D视频编码不必要的某种额外逻辑。为支持如同在HEVC及MV-HEVC的变化最小的JCTVC-K0239中一样的解决方案,本发明描述各种技术。
举例来说,用于时间运动向量预测(TMVP)的额外参考索引值(即refIdxL0A及refIdxL1A)可以HEVC基本规范定义并始终设定为0。或者,refIdxL0A及/或refIdxL1A可设定为-1。refIdxL0A表示索引到参考图片列表0(例如,具有先于当前图片的显示顺序的参考图片列表)的实例,而refIdxL1A表示索引到参考图片列表1(例如,具有迟于当前图片的显示顺序的参考图片列表)的实例。
另外或在替代方案中,用于TMVP(refIdxL0A/refIdxL1A)的额外目标参考索引值的导出过程可仅定义于MV-HEVC或其它HEVC扩展中。或者,额外目标参考索引值(refIdxL0A/refIdxL1A)可仅在MV-HEVC或其它HEVC扩展的切片标头中发信,例如在layer_id(或viewIdx)不等于0的条件下或作为切片标头扩展的部分。或者,额外目标参考索引值(refIdxL0A/refIdxL1A)可在HVEC规范或HEVC扩展的图片参数集、序列参数集或视频参数集中发信。或者,额外目标参考索引值(refIdxL0A/refIdxL1A)可在HEVC基本规范的切片标头中发信。
另外或在替代方案中,当将额外目标参考索引值发信为不等于0的值时,其可对应于具有与由参考索引0所识别的参考图片的类型不同的类型的参考图片。举例来说,refPicListX[0]及refPicListX[refIdxLXA]可不受限制以便所述两者不为短期图片且所述两者不为长期图片。
图1是说明可利用用于译码运动向量的技术的实例视频编码及解码系统10的框图。如图1中所展示,系统10包含源装置12,其提供待在稍后时间由目的地装置14解码的经编码视频数据。具体地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型(亦即,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下,可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如,无线通信协定)调制经编码的视频数据,并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个实体发射线。通信媒体可形成分组网络(例如,局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,经编码数据可以从输出接口22输出到存储装置。类似地,可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。
本发明的技术不一定限于无线应用或设定。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码,所述多媒体应用例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如,动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频重放、视频广播及/或视频电话的应用。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用用于译码运动向量的技术。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可以从外部视频源18(例如外部相机)接收视频数据。同样地,目的地装置14可以与外部显示装置介接,而不是包含集成显示装置。
图1的所说明系统10只是一个实例。可以由任何数字视频编码和/或解码装置来执行用于译码运动向量的技术。尽管本发明的技术一般通过视频编码装置来执行,但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外,本发明的技术还可通过视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据用于发射至目的地装置14的所述译码装置的实例。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码及解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置,例如相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为视频摄像机,那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,俘获、预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出介面22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(也就是说,非暂时存储媒体),例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可以从源装置12接收经编码视频数据,并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产容纳经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义之语法信息,其亦由视频解码器30使用,其包含描述区块及其它经译码单元(例如,GOP)之特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可以根据视频译码标准(例如,目前正在开发的高效率视频译码(HEVC)标准)操作,并且可以符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可以根据其它专有或业界标准操作,所述标准例如ITU-T H.264标准,或者被称作MPEG-4第10部分高级视频译码(AVC),或此类标准的扩展。然而,本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH.263。尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当MUX-DEMUX单元或其它硬件及软件,以处置共同数据流或单独数据流中的音频及视频两者的编码。若适用,则MUX-DEMUX单元可符合ITU H.223复用器协议或其它协议(例如,用户数据报协议(UDP))。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC运动图片专家组(MPEG)制定。在一些方面中,本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(Advanced Video Coding forgeneric audiovisual services)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)持续致力于扩展H.264/MPEG-4AVC。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现存装置的几个额外能力。举例来说,虽然H.264提供了九种帧内预测编码模式,但HM可提供多达三十三种帧内预测编码模式。
一般来说,HM的工作模型描述视频帧或图片可以划分成包含明度及色度样本两者的序列树块或最大译码单元(LCU)(还被称作“译码树单元”)。位流内的语法数据可以界定最大译码单位(LCU,其是就像素数目来说的最大译码单位)的大小。切片包含译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树而分裂成译码单元(CU)。一般来说,四叉树数据结构包含每个CU一个节点,其中一个根节点对应于所述树块。如果CU分裂成4个子CU,那么对应于CU的节点包含四个叶节点,所述叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供用于相对应的CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,其表明对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归式定义,且可以取决于CU是否分裂成子CU。如果CU不进一步分裂,那么将其称为叶CU。在本发明中,叶CU的子CU也将被称作叶CU,即使不存在原始叶CU的明确分裂时也是如此。举例来说,如果16×16大小的CU不进一步分裂,那么这四个8×8子CU将也被称作叶CU,虽然16×16CU从未分裂。
CU具有类似于H.264标准的宏块的用途,但是CU并不具有大小区别。举例来说,树块可以分裂成四个子节点(还称为子CU),并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点,还被称作叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数(被称作最大CU深度),并且还可定义译码节点的最小大小。所以,比特留还可定义最小译码单元(SCU)。本发明使用术语“块”指代CU、PU或TU中的任一者(在HEVC的情况下)或类似数据结构(在其它标准的情况下)(例如,在H.264/AVC中的宏块及其子块)。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可以在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说,与CU相关联的语法数据可描述CU到一或多个PU的分割。划分模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如,矩形)形状。
HEVC标准允许根据TU变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定,但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。
叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于对应CU的全部或一部分的空间区域,并且可包含用于检索PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可以包含在残余四叉树(RQT)中,残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的一或多个运动向量的数据。举例来说,定义PU的运动向量的数据可以描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还被称作TU四叉树结构)来指定,如上文所论述。举例来说,分裂旗标可以指示叶CU是否分裂成四个变换单元。接着,每一变换单元可以进一步分裂成其它子TU。当TU未经进一步分裂时,其可被称作叶TU。通常,对于帧内译码,所有属于叶CU的叶TU共享相同的帧内预测模式。也就是说,一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可以使用帧内预测模式针对每一叶TU计算残余值,作为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可以与相同CU的对应叶TU并置。在一些实例中,叶TU的最大大小可以对应于对应的叶CU的大小。
此外,叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点总体上对应于叶CU,而CU四叉树的根节点总体上对应于树块(或LCU)。未分裂的RQT的TU被称作叶TU。一般来说,除非另有陈述,否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、一或多个图片的标头或其它地方中的语法数据,其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。所述视频块可具有固定的或变化的大小,且可根据指定的译码标准而大小不同。
作为实例,HM支持各种PU大小的预测。假设特定CU的大小为2Nx2N,那么HM支持2Nx2N或NxN的PU大小的帧内预测,及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称划分。在不对称分割中,不分割CU的一个方向,而将另一方向分割成25%及75%。CU的对应于25%分割区的部分通过“n”后接续“上”、“下”、“左”或“右”指示来指示。因而,举例来说,“2NxnU”是指水平地分割的2Nx2N CU,其中顶部为2Nx0.5N PU,而底部为2Nx1.5N PU。
在本发明中,“N×N”与“N乘N”可互换地使用以依据垂直及水平尺寸来指代视频块的像素尺寸,例如,16×16像素或16乘16像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16),并且在水平方向上具有16个像素(x=16)。同样,NxN块大体上在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。一块中的像素可按行和列布置。此外,块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后,视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据,并且TU可包括在对残余视频数据应用变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。所述残余数据可以对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU,且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后,视频编码器20可执行变换系数的量化。量化通常是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间被舍入到m位值,其中n大于m。
在量化之后,视频编码器可以扫描变换系数,从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面,并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可以向待发射的符号指派上下文模型内的上下文。所述上下文可(例如)与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能符号,而较长码对应于不太可能符号。以此方式,使用VLC可以实现(例如)优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。
根据本发明的技术,视频编码器20及视频解码器30可实质上经配置以利用以下修改执行JCTVC-K0239的技术。与JCTVC-K0239中所提议的相比,可进行以下变化。
首先,可去除如在JCTVC-K0239的整个部分2.1(包含所含子条款8.3.5)中的额外目标参考索引导出,并可如下改变用于参考图片列表建构的解码过程(其中斜体文本表示附加物且“去除”之前的括号内文本表示去除物)。
8.3.4用于参考图片列表建构的解码过程
在用于每一P或B切片的解码过程的开始处调用此过程。
通过子条款8.5.3.2.1中所指定的参考索引定址参考图片。参考索引为到参考图片列表中的索引。在解码P切片时,存在单一参考图片列表RefPicList0。在解码B切片时,存在除了RefPicList0之外的第二独立参考图片列表RefPicList1。
在用于每一切片的解码过程的开始处,将变量RefIdxL0A及针对B切片将RefIdxL1A设置为等于0,且如下推导出参考图片列表RefPicList0及针对B切片推导出RefPicList1。
其次,可用“RefIdxLXA”替换JCTVC-K0239的整个部分2.2(包含所有所含子条款)中的“refIdxLXA”的所有实例。
再次,可将约束条件插入到HEVC扩展中,阐述当RefIdxLXA不等于0时,RefPicListX[RefIdxLXA]及RefPicListX[0]应具有不同类型。举例来说,RefPicListX[RefIdxLXA]可为长期图片且RefPicListX[0]可为短期图片,或RefPicListX[RefIdxLXA]可为短期的且RefPicListX[0]可为长期的。
为达成这些变化,可根据以下关于HEVC WD9描述的高级语法变化来实施视频编码器20及视频解码器30。使用斜体化来表示相对于HEVC WD9的添加的文本。
8.3.4.用于参考图片列表建构的解码过程
在用于每一P或B切片的解码过程的开始处调用此过程。
通过子条款8.5.3.2.1中所指定的参考索引定址参考图片。参考索引为到参考图片列表中的索引。在解码P切片时,存在单一参考图片列表RefPicList0。在解码B切片时,存在除了RefPicList0之外的第二独立参考图片列表RefPicList1。
在用于每一切片的解码过程的开始处,将变量RefIdxL0A及针对B切片将RefIdxL1A设置为等于0,且如下推导出参考图片列表RefPicList0及针对B切片推导出RefPicList1。
可使用关于HEVC WD9所描述的以下技术实现时间运动向量预测。下文中,通过斜体文本表示添加物,而通过“去除”之前的括号内文本来表示去除物。
对于用于合并模式的TMVP调用的变化
8.5.2.1.1用于合并模式的明度运动向量的导出过程
此过程仅在PredMode[xC][yC]等于MODE_SKIP或PredMode[xC][yC]等于MODE_INTER及merge_flag[xP][yP]等于1时被调用,其中(xP,yP)指定相对于当前图片的左上方明度样本的当前明度预测块的左上方样本。
这个过程的输入是
-当前明度译码块的左上方样本相对于当前图片的左上方明度样本的明度位置(xC,yC),
-当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定当前明度译码块的大小的变量nCS,
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-指定在当前译码单元内的当前预测单元的索引的变量partIdx。
这个过程的输出是
-明度运动向量mvL0及mvL1,
-参考索引refIdxL0及refIdxL1,
-预测列表利用旗标predFlagL0及predFlagL1。
如下导出变量singleMCLFlag。
-如果log2_parallel_merge_level_minus2大于0,且nCS等于8,那么将singleMCLFlag设定成1。
-否则,将singleMCLFlag设定成0。
在singleMCLFlag等于1时,将xP设定成等于xC,将yP设定成等于yC,且将nPbW及nPbH两者设定成等于nCS。
注意-在singleMCLFlag等于1时,当前译码单元的所有预测单元共享单个合并候选者列表,所述单个合并候选者列表等同于2Nx2N预测单元的合并候选者列表。
导出运动向量mvL0及mvL1、参考索引refIdxL0及refIdxL1以及预测利用旗标predFlagL0及predFlagL1,如由以下顺序的步骤指定:
1.从子条款中的相邻预测单元分割区的针对合并候选者的导出过程……。
2.将时间合并候选者的参考索引refIdxLX(其中X为0或1)设定为等于0。
3.使用明度位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、[去除:“及”]refIdxLX以及等于1的mergeTMVP作为输入来调用子条款8.5.3.1.7中的时间明度运动向量预测的导出过程,且其中输出为可用性旗标availableFlagLXCol及时间运动向量mvLXCol。如下文所指定导出变量availableFlagCol及predFlagLXCol(其中X分别为0或1)。
4.…
对于用于AMVP模式的TMVP调用的变化
8.5.3.1.5用于明度运动向量预测的导出过程
到这个过程的输入是
-当前明度译码块的左上方样本相对于当前图片的左上方明度样本的明度位置(xC,yC),
-指定当前明度译码块的大小的变量nCS,
-指定当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-当前预测单元分割区的参考索引refIdxLX(其中X为0或1),
-指定在当前译码单元内的当前预测单元的索引的变量partIdx。
这个过程的输出是
-运动向量mvLX的预测mvpLX(其中X为0或1)。
在以下顺序的步骤中导出运动向量预测子mvpLX。
1.使用明度译码块位置(xC,yC)、译码块大小nCS、明度预测块位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、refIdxLX(其中X分别为0或1)及分割区索引partIdx作为输入来调用子条款8.5.3.1.6中的从相邻预测单元分割区的针对运动向量预测子候选者的导出过程,且其中使用可用性旗标availableFlagLXN及运动向量mvLXN作为输出,其中N由A、B替换。
2.如果availableFlagLXA及availableFlagLXB两者皆等于1,且mvLXA不等于mvLXB,那么将availableFlagLXCol设定为等于0,否则,使用明度位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、[去除:“及”]refIdxLX(其中X分别为0或1)以及等于0的mergeTMVP作为输入来调用子条款8.5.3.1.7中的时间明度运动向量预测的导出过程,且其中输出为可用性旗标availableFlagLXCol及时间运动向量预测子mvLXCol。
针对TMVP导出的变化
8.5.3.1.7用于时间明度运动向量预测的导出过程
到这个过程的输入是
-指定当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-变量mergeTMVP,
-参考索引refIdxLX(其中X为0或1)。
这个过程的输出是
-运动向量预测mvLXCol,
-可用性旗标availableFlagLXCol。
变量currPb指定在明度位置(xP,yP)处的当前明度预测块。
如下导出变量mvLXCol及availableFlagLXCol。
-如果slice_temporal_mvp_enable_flag等于0,那么将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-否则,以下顺序的步骤适用。
1.取决于slice_type、collocated_from_l0_flag及collocated_ref_idx的值,如下导出指定含有同位分割区的图片的变量colPic。
-如果slice_type等于B,且collocated_from_l0_flag等于0,那么变量colPic指定含有同位分割区的图片,如由RefPicList1[collocated_ref_idx]所指定。
-否则(slice_type等于B,且collocated_from_l0_flag等于1或slice_type等于P),变量colPic指定含有同位分割区的图片,如由RefPicList0[collocated_ref_idx]所指定。
2.如下导出右下方同位运动向量
xPRb=xP+nPbW (8-162)
yPRb=yP+nPbH (8-163)
-如果(yP>>Log2CtbSizeY)等于(yPRb>>Log2CtbSizeY),且xPRb小于pic_width_in_luma_samples,那么以下情形适用。
-变量colPb指定覆盖在由colPic指定的同位图片内部的由((xPRb>>4)<<4,(yPRb>>4)<<4)给定的经修改的位置的明度预测块。
-将明度位置(xPCol,yPCol)设定为等于相对于由colPic指定的同位图片的左上方明度样本的由colPb指定的同位明度预测块的左上方样本。
-使用currPb、colPic、colPb、(xPCol,yPCol)、mergeTMVP及refIdxLX作为输入来调用如子条款8.5.3.1.8中所指定的同位运动向量的导出过程,且将输出指派给mvLXCol及availableFlagLXCol。
-否则,将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
3.在availableFlagLXCol等于0时,如下导出中心同位运动向量。
xPCtr=xP+(nPbW>>1) (8-164)
yPCtr=yP+(nPbH>>1) (8-165)
-变量colPb指定覆盖colPic内部的由((xPCtr>>4)<<4,(yPCtr>>4)<<4)给定的经修改的位置的明度预测块。
-将明度位置(xPCol,yPCol)设定为等于相对于由colPic指定的同位图片的左上方明度样本的由colPb指定的同位明度预测块的左上方样本。
-使用currPb、colPic、colPb、(xPCol,yPCol)、mergeTMVP及refIdxLX作为输入来调用如子条款8.5.3.1.8中所指定的同位运动向量的导出过程,且将输出指派给mvLXCol及availableFlagLXCol。
8.5.3.1.8用于同位运动向量的导出过程
到这个过程的输入是
-指定当前预测块的currPb,
-指定同位图片的colPic,
-指定由colPic指定的同位图片内部的同位预测块的colPb,
-指定由colPb指定的同位明度预测块的左上方样本相对于由colPic指定的同位图片的左上方明度样本的明度位置(xPCol,yPCol),
-变量mergeTMVP,
-参考索引refIdxLX(其中X为0或1)。
这个过程的输出是
-运动向量预测mvLXCol,
-可用性旗标availableFlagLXCol。
变量currPic指定当前图片。
分别将阵列predFlagLXCol[x][y]、mvLXCol[x][y]及refIdxLXCol[x][y]设定为等于由colPic指定的同位图片的对应阵列PredFlagLX[x][y]、MvLX[x][y]及RefIdxLX[x][y],其中X为这个过程所调用的X的值。
如下导出变量mvLXCol及availableFlagLXCol。
-如果在帧内预测模式中译码colPb,那么将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-否则,如下导出运动向量mvCol、参考索引refIdxCol及参考列表识别符listCol。
-如果predFlagL0Col[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvL1Col[xPCol][yPCol]、refIdxL1Col[xPCol][yPCol]及L1。
-否则如果predFlagL0Col[xPCol][yPCol]等于1,且predFlagL1Col[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvL0Col[xPCol][yPCol]、refIdxL0Col[xPCol][yPCol]及L0。
-否则(predFlagL0Col[xPCol][yPCol]等于1,且predFlagL1Col[xPCol][yPCol]等于1),进行以下指派。
-如果对于当前切片的每一参考图片列表中的每一图片pic,DiffPicOrderCnt(currPic,pic)小于或等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvLXCol[xPCol][yPCol]、refIdxLXCol[xPCol][yPCol]及LX,其中X为这个过程所调用的X的值。
-否则,分别将mvCol、refIdxCol及listCol设定为等于mvLNCol[xPCol][yPCol]、refIdxLNCol[xPCol][yPCol]及LN,其中N为collocated_from_l0_flag的值。
且如下导出mvLXCol及availableFlagLXCol。
-在[去除:“如果”]LongTermRefPic(currPic,currPb,refIdxLX,LX)不等于LongTermRefPic(colPic,colPb,refIdxCol,listCol)时,以下情形适用
-如果refIdxLXA大于0且mergeTMVP等于1,那么将refIdxLX设定为refIdxLXA,且将availableFlagLXCol设定为1。
-否则,将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-[[去除:“否则”]在将变量availableFlagLXCol设定为等于1时,将refPicListCol[refIdxCol]设定成具有含有图片colPic中的预测块currPb的切片的参考图片列表listCol中的参考索引refIdxCol的图片,且以下情形适用。
colPocDiff=DiffPicOrderCnt(colPic,refPicListCol[refIdxCol]) (8-166)
currPocDiff=DiffPicOrderCnt(currPic,RefPicListX[refIdxLX]) (8-167)
-如果RefPicListX[refIdxLX]为长期参考图片,或colPocDiff等于currPocDiff,那么mvLXCol经导出为:
mvLXCol=mvCol (8-168)
-否则,mvLXCol经导出为运动向量mvCol的经按比例缩放版本,如下文所指定。
tx=(16384+(Abs(td)>>1))/td (8-169)
distScaleFactor=Clip3(-4096,4095,(tb*tx+32)>>6)(8-170)
mvLXCol=Clip3(-32768,32767,Sign(distScaleFactor*mvCol)*
((Abs(distScaleFactor*mvCol)+127)>>8)) (8-171)
其中td及tb经导出为
td=Clip3(-128,127,colPocDiff) (8-172)
tb=Clip3(-128,127,currPocDiff) (8-173)
视频编码器20和视频解码器30各自可以经实施为可适用的多种合适的编码器或解码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包括在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(编解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置,例如蜂窝式电话。
图2是说明可实施用于译码运动向量的技术的视频编码器20的实例的框图。视频编码器20可对视频切片内的视频块执行帧内及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可以指若干基于时间的译码模式中的任一者。
如图2中所示,视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中,视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波,从而从经重构视频移除成块假象。在需要时,解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外,还可使用额外滤波器(回路中或回路后)。为简洁起见未展示此类滤波器,但在需要时,这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42及运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次,例如,以针对每一视频数据块选择适当的译码模式。
此外,分割单元48可以基于前述译码遍次中的前述划分方案的评估将视频数据块分割成子块。举例来说,分割单元48最初可以将帧或切片分割成LCU,并且基于速率失真分析(例如,速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以(例如)基于误差结果选择译码模式中的一者(帧内或帧间),并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据,并且提供到求和器62以便重新构造经编码块以用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分割信息和其它这些语法信息)提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成,但出于概念目的而分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中,视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可以相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一个识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来撷取或产生预测性区块。再次,在一些实例中,运动估计单元42与运动补偿单元44可在功能上整合。在接收到当前视频块的PU的运动向量后,运动补偿单元44可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块,如下文所论述。一般来说,运动估计单元42相对于明度分量执行运动估计,并且运动补偿单元44针对色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可对当前块进行帧内预测。明确地说,帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中,帧内预测单元46可以例如在单独编码遍次期间使用各种帧内预测模式对当前块进行编码,并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。
举例来说,帧内预测单元46可以使用速率失真分析计算用于各种所测试帧内预测模式的速率失真值,并且从所述所测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(也就是说,位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率,以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式后,帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据,其可包含多个帧内预测模式索引表和多个修改的帧内预测模式索引表(也称为码字映射表),对用于各种块的上下文进行编码的定义,和对最可能帧内预测模式、帧内预测模式索引表和修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。
在任何情况下,变换处理单元52将变换应用于残余块,从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如,频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可减少与变换系数中的一些或全部相关联的位深度。量化过程也可被称作“缩放”过程,且因此经量化的变换系数也可被称作“经缩放的变换系数”。量化程度(或缩放)可通过调整量化参数来修改。在一些实例中,熵编码单元56可以接着执行对包含经量化的变换系数的矩阵的扫描。
在量化之后,熵编码单元56熵译码经扫描的经量化的变换系数。举例来说,熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下,上下文可以基于相邻块。在熵编码单元56的熵译码之后,可以将经编码位流发射到另一装置(例如视频解码器30),或者将所述经编码位流存档用于以后发射或检索。
逆量化单元58及逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块添加到参考图片存储器64的一个帧的预测性区块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建构的残余块来计算用于在运动估计中使用的次整数像素值。求和器62将经重建构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块,以产生经重建构的视频块以用于存储于参考图片存储器64中。经重建构的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
模式选择单元40可执行各种编码遍次,如上文所论述。在一些所述遍次中,模式选择单元40可确定当前视频数据块的特定编码模式。举例来说,模式选择单元40可确定应基于来自所述遍次的所得速率失真度量使用帧间预测来预测当前块。同样,模式选择单元40可确定是否应使用高级运动向量预测(AMVP)或合并模式编码当前块的运动向量。一般来说,在AMVP中,相对于AMVP候选者的运动向量编码运动向量,其中在当前运动向量与AMVP候选者的运动向量之间计算运动向量差。另外,还针对当前运动向量编码参考图片列表识别符及参考索引。
另一方面,在合并模式中,从运动向量预测子承袭几乎所有运动参数,且仅编码运动向量预测子索引,以指示将候选运动向量预测子集合中的哪一运动向量预测子用于编码运动向量。然而,根据本发明的技术,视频编码器20可在执行合并模式时使用额外参考索引。
模式选择单元40可确定应对当前块进行视图间预测。此外,模式选择单元40可确定同位块的运动向量足以用于定义识别当前块的视图间参考图片的参考块的运动向量。因此,模式选择单元40可选择使用合并模式(即使用时间运动向量预测子(TMVP)的合并模式)来编码当前块的运动向量。然而,在常规合并模式中,当前块的运动向量将承袭同位块(即TMVP)的参考索引,其将指代图片次序计数(POC)值与包含当前块的当前图片不同的参考图片。因此,为确保视图间参考图片具有与当前图片相同的POC,所以视频编码器20可使用与TMVP的参考索引分离的额外参考索引从参考图片列表中选择视图间参考图片。
明确地说,视频编码器20可确定额外参考索引的预定值。预定值可为0、-1或另一值。在一些实例中,视频编码器20可在包含当前块的切片的切片标头、包含当前块的图片的图片参数集(PPS)、包含图片的序列的序列参数(SPS)及/或视频参数集(VPS)中对表示预定值的数据进行编码。熵编码单元56可熵编码此数据。在任何情况下,通过使用额外参考索引,视频编码器20可确保当前图片的当前块的视图间参考图片具有与当前图片的POC值相同的POC值。
因此,当运动补偿单元44建构当前块的经预测块时,运动补偿单元44可使用来自不同图片中的同位块的水平运动分量、垂直运动分量及参考图片列表,而且使用额外参考索引的预定值来确定参考图片中的参考块的位置,接着根据参考块计算经预测块。参考图片可对应于由应用于参考图片列表的额外参考索引所识别的参考图片,而参考块可在由当前块的位置所定义的参考图片中的位置所识别,所述当前块偏移TMVP的水平运动分量和垂直运动分量。
以此方式,视频编码器20表示视频编码器的实例,所述视频编码器经配置以进行以下操作:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定等于预定值的额外目标参考索引值;及至少部分地基于额外参考索引值对当前运动向量进行译码(即在此实例中进行编码)。
图2的视频编码器20还表示视频编码器的实例,所述视频编码器可经配置以在当前运动向量的时间运动向量预测(TMVP)期间将额外参考索引值设定为预定值,并至少部分地基于额外参考索引值译码当前运动向量。另外或替代性地,视频编码器20可经配置以确定待译码的视频数据是否符合基础视频译码标准或基础视频译码标准的扩展;在视频数据符合基础视频译码标准时,根据基础视频译码标准对视频数据进行译码;及在视频数据符合基础视频译码标准的扩展时,在对视频数据的图片块的运动向量进行译码时,针对运动向量的时间运动向量预测(TMVP)导出额外目标参考索引值的值,并至少部分地基于额外目标参考索引值的值对运动向量进行译码。
图3是说明可实施用于译码运动向量的技术的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。在一些实例中,视频解码器30可执行总体上与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据,而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频块的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时,帧内预测单元74可以基于经发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码(即,B、P或GPB)切片时,运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解码器30可以基于存储在参考图片存储器82中的参考图片使用默认建构技术建构参考帧列表,即列表0及列表1。
运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息,并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的次整数像素的内插值。在此情况下,运动补偿单元72可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。
逆量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数逆量化,即解量化。逆量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数QPY
逆变换单元78对变换系数应用逆变换(例如,逆DCT、逆整数变换,或概念上类似的逆变换过程),以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后,视频解码器30通过对来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。必要时,还可应用解块滤波器以对经解码块进行滤波以便去除成块效应假象。其它环路滤波器(在译码环路中或在译码环路之后)也可用于使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中,所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示装置(例如,图1的显示装置32)上。
根据本发明的技术,视频解码器30可接收指示当前块待使用帧间预测解码的数据。此外,所述数据可指示当前块的运动向量待使用合并模式解码,且时间运动向量预测子(TMVP)可供在合并模式期间使用。此外,视频解码器30可确定待用于额外参考索引的预定值。举例来说,可在包含当前块的切片的切片标头、包含当前块的图片的图片参数集(PPS)、包含图片的序列的序列参数集(SPS)和/或视频参数集(VPS)中定义预定值。
在一些实例中,视频解码器30可对运动向量预测子(MVP)索引进行解码,所述运动向量预测子(MVP)索引指示当前块的合并候选者为同位块(即TMVP)的运动向量。视频解码器30可因此确定TMVP(例如,参考索引、参考图片列表、水平运动分量及垂直运动分量)的运动参数。然而,视频解码器30还可确定额外参考索引,其具有如上文所论述的预定值。
视频解码器30的熵解码单元70或另一单元(例如运动补偿单元72)可使用合并模式及TMVP建构当前块的运动向量。明确地说,视频解码器30可建构当前块的运动向量以具有TMVP的水平运动分量、垂直运动分量和参考图片列表识别符。然而,当前块的运动向量可使用额外参考索引而不是TMVP的参考索引。因此,运动补偿单元72可使用由TMVP的参考图片列表及额外参考索引所识别的参考图片计算当前块的经预测块,并基于水平运动分量和垂直运动分量计算参考图片中的参考块的位置。
以此方式,视频解码器30表示视频解码器的实例,所述视频解码器经配置以进行以下操作:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定等于预定值的额外目标参考索引值;及至少部分地基于额外参考索引值对当前运动向量进行译码(即在此实例中进行解码)。
图3的视频解码器30还表示视频解码器的实例,所述视频解码器可经配置以在当前运动向量的时间运动向量预测(TMVP)期间将额外参考索引值设定为预定值,并至少部分地基于额外参考索引值译码当前运动向量。另外或替代性地,视频解码器30可经配置以确定待译码的视频数据是否符合基础视频译码标准或基础视频译码标准的扩展;在视频数据符合基础视频译码标准时,根据基础视频译码标准对视频数据进行译码;及在视频数据符合基础视频译码标准的扩展时,在对视频数据的图片块的运动向量进行译码时,针对运动向量的时间运动向量预测(TMVP)导出额外目标参考索引值的值,并至少部分地基于额外目标参考索引值的值对运动向量进行译码。
图4为说明实例MVC预测模式的概念图。多视图视频译码(MVC)为ITU-TH.264/AVC的扩展。可将类似技术应用于HEVC。在图4的实例中,说明八个视图(具有视图ID“S0”到“S7”),且对于每一视图说明十二个时间位置(“T0”到“T11”)。也就是说,图4中的每一行对应于一视图,而每一列指示一时间位置。图4说明用于多视图视频译码的典型MVC预测结构(包含每一视图内的帧间图片预测和视图之间的视图间预测)。
尽管MVC具有可通过H.264/AVC解码器解码的所谓的基础视图且MVC还可支持立体声视图对,但MVC的一个优点是:其可支持使用两个以上视图作为3D视频输入且解码通过多个视图表示的此3D视频的实例。具有MVC解码器的客户端的渲染器(renderer)可预期具有多个视图的3D视频内容。
典型MVC解码次序布置被称作时间优先译码。存取单元可包含针对一个输出时间例子的所有视图的经译码图片。举例来说,时间T0的图片中的每一者可包含在共同存取单元中,时间T1的图片中的每一者可包含在第二共同存取单元中,等等。解码次序未必与输出或显示次序相同。在MVC中,允许在相同存取单元(即,具有相同时间例子)中的图片当中进行视图间预测。当译码非基础视图中的一者中的图片时,如果图片处于不同视图中但具有相同时间例子,那么可将所述图片添加到参考图片列表中。视图间预测参考图片可放置在参考图像列表的任何位置中,正如任何帧间预测参考图片一般。
在图4中的每一行及每一列的交叉点处使用包含字母的阴影块指示图4中的帧,所述字母指定对应帧是经帧内译码(即,I帧),还是在一个方向上经帧间译码(即,作为P帧)还是在多个方向上经帧间译码(即,作为B帧)。一般来说,预测由箭头指示,其中箭头指向的帧使用箭头出发的对象用于预测参考。举例来说,时间位置T0处的视图S2的P帧是从时间位置T0处的视图S0的I帧预测。
如同单个视图视频编码,多视图视频译码视频序列的帧可相对于不同时间位置处的帧来预测性地编码。举例来说,时间位置T1处的视图S0的b帧具有从时间位置T0处的视图S0的I帧指向其的箭头,从而指示b帧是从I帧预测的。然而,另外,在多视图视频编码的上下文中,帧可经视图间预测。即,视图分量可使用其它视图中的视图分量用于参考。举例来说,在MVC中,如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考物在序列参数集(SPS)MVC扩展中用信号通知且可通过参考图片列表建构过程加以修改,所述参考图片列表建构过程实现帧间预测或视图间预测参考物的灵活排序。
在H.264/AVC的MVC扩展中,作为实例,视差运动补偿支持视图间预测,所述视差运动补偿使用H.264/AVC运动补偿的语法,但允许将不同视图中的图片用作参考图片。MVC可支持对两个视图的译码,所述视图一般被称作立体视图。MVC的优点中的一个优点是:MVC编码器可将两个以上视图视为3D视频输入且MVC解码器可解码此类多视图表示。因此,具有MVC解码器的任何渲染装置可预期具有两个以上视图的3D视频内容。
通常,B图片的第一或第二参考图片列表的参考图片列表建构包含两个步骤:参考图片列表初始化及参考图片列表重排(修改)。参考图片列表初始化是基于图片次序计数(POC)值的次序(其可与图片的显示次序对准)将参考图片存储器(也被称作经解码图片缓冲器)中的参考图片放到列表中的显式机构。
视频译码器可使用参考图片列表重排机构来将在参考图片列表初始化期间放置在列表中的图片的位置修改为任何新位置,或即使在图片不属于初始化列表的情况下将参考图片存储器中的任何参考图片放置在任何位置。可将参考图片列表重排(修改)后的一些图片放置在列表中的另一位置。然而,如果图片的位置超过列表的有效参考图片的数目,则不将所述图片视为最终参考图片列表的条目。可在每一列表的切片标头中传信有效参考图片的数目。在建构参考图片列表(即RefPicList0和RefPicList1,如果可用)之后,可使用到参考图片列表的参考索引来识别参考图片列表中包含的任何参考图片。
为得到时间运动向量预测子(TMVP),首先将识别同位的图片。如果当前图片为B切片,那么在切片标头中传信collocated_from_l0_flag以指示同位的图片是来自RefPicList0还是来自RefPicList1。在识别参考图片列表后,使用在切片标头中传信的collocated_ref_idx以在列表中的图片中识别图片。接着通过检查同位的图片来识别同位的PU。使用含有此PU的CU的右下方PU的运动或含有此PU的CU的中心PU内的右下方PU的运动。当通过以上程序识别的运动向量用于产生AMVP或合并模式的运动候选者时,其需要基于时间位置(由POC反映)来加以缩放。
在HEVC中,序列参数集(SPS)包含旗标sps_temporal_mvp_enable_flag,且在sps_temporal_mvp_enable_flag等于1时,切片标头包含旗标pic_temporal_mvp_enable_flag。在对于特定图片,pic_temporal_mvp_enable_flag及temporal_id两者等于0时,来自按解码次序在特定图片之前的图片的运动向量将不在对特定图片或按解码次序在特定图片之后的图片进行解码时被用作时间运动向量预测子。
当前,运动图片专家组(MPEG)正基于HEVC开发3DV标准,其中标准化努力的部分还包含基于HEVC对多视图视频编解码器进行标准化。应注意,类似地,在基于HEVC的3DV中,启用基于来自不同视图的经重构视图分量的视图间预测。
AVC是通过多视图扩展以所述扩展实际上满足“HLS-only”(仅高层次语法)要求的方式进行扩展的。“仅HLS”要求保证在多视图视频译码(MVC)中仅存在高级语法(HLS)变更,以使得不需要重新设计AVC中的宏模块层级的模块且可完全再用于MVC。有可能的是,如果多回路解码被认为是可接受的,那么可针对HEVC的MVC/3DV扩展并还针对HEVC的可缩放视频译码(SVC)扩展来满足“仅HLS”要求。
为了启用视图间预测,可出于以下目的作出HLS改变:图片识别——参考图片列表建构及标记需要能够识别特定视图中的图片。
在进行其它约束、假设以使得低层级译码模块从未遇到例如处理零运动相关按比例缩放的情形时,HLS改变不足以满足H.264/MVC中的“仅HLS”要求。所述约束、修改及假设为:
●如果同位图片为视图间(仅)参考图片,那么停用时间直接模式。
●将视图间(仅)参考图片视为非短期的:与空间直接相关。
●停用隐式加权预测
为满足“仅HLS”要求,扩展的此类修改必须仅在高层级语法中。因此,应不存在对于切片标头下的语法元素的修改,且没有针对扩展规范的CU层级解码过程改变;例如,HEVC扩展规范的运动向量预测应与HEV基础规范中的运动向量预测完全相同。HLS改变是扩展规范的规范性解码器改变;然而,从基础规范观点来看,此类改变不必为已知的且可为信息性的。
为了启用例如高效视图间预测的功能性,可实施HEVC扩展及基础规范中的两类修改。将不影响基础HEVC解码器的典型解码过程或译码效率而影响扩展规范中的目标启用功能性的基础规范改变称为挂钩。在大多数情况下,利用基础规范中的两个挂钩和扩展规范中的HLS改变实现“仅HLS”要求。如果基础规范中的挂钩未经明确定义,那么某些所要功能性可能不在扩展规范中启用或需要扩展规范中的大量修改。
在仅HLS SVC中,可能在上取样和/或过滤之后,可将基层表示放置在当前层的当前图片的参考图片列表中。此类图片被称为层间参考图片。
在JCT-3V及JCT-VC中,HEVC扩展处于开发中。在JCT-3V中,正开发两个HEVC扩展:多视图扩展(MV-HEVC)和3D视频扩展(3D-HEVC)。另外,正开发两个AVC扩展:MVC+D和3D-AVC。进行中的标准的实例描述包含:JCT3V-B1001,“Study Text of ISO/IEC 14496-10:2012/DAM2MVC extension for inclusion of depth maps”(M.Hannuksela(诺基亚)、Y.Chen(高通)、G.Sullivan(微软)、T.Suzuki、S.Hattori(索尼)),其可在http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1001-v1.zip处获得;JCT3V-B1002,“3D-AVC draft text 4”(M.M.Hannuksela、Y.Chen、T.Suzuki、J.-R.Ohm、G.J.Sullivan),其可在http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1002-v1.zip处获得;JCT3V-B1004,“MV-HEVC Draft Text 2”(G.Tech,K.Wegner、Y.Chen、M.Hannuksela),其可在http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1004-v1.zip处获得;及JCT3V-B1005,“3D-HEVC Test Model 2”(G.Tech,K.Wegner、Y.Chen、S.Yea)(http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip)。同时,HEVC之可缩放扩展正由JCT-VC开发。
在各种版本的译码扩展标准中,可存在多个视图或层。此外,不同层、纹理或深度视图可具有不同空间分辨率。一般来说,当此文档指代“层”时,术语层可同样适用于SVC层或MVC视图。也就是说,可将不同视图视为位流的不同“层”。MV HEV规范经设计为仅使用HLS改变达成。
图5为说明用于译码图片块的实例图片集合和运动向量的概念图。图5的实例说明当前图片100、同位图片106、短期(ST)参考图片122及参考图片124,在放置于当前图片100的参考图片列表中时具有参考索引0。图片100、106、122及124中的每一者出现在同一视图中,即此实例中的非基础视图。图5还描绘视图间参考图片120,其出现在不同于非基础视图的基础视图内。
在此实例中,当前图片100包含块102、104。使用时间运动向量114相对于图片124预测块102。在此实例中,同位图片106包含块108、110。同样,在此实例中,使用时间运动向量112相对于短期参考图片122对块108进行时间预测,而使用视差运动向量116相对于视图间参考图片120对块110进行视图间预测。
视频译码器(例如视频编码器20或视频解码器30)可使用运动向量预测译码运动向量114。运动向量预测模式包含合并模式及高级运动向量预测(AMVP)。WD9指定,当运动向量预测模式为合并模式时,将目标参考索引设定成0。因此,按比例调整同位PU中的运动向量(如果参考短期参考图片)以形成当前PU的合并候选者。在图5的实例中,为对时间运动向量114进行译码,视频译码器将按比例调整时间运动向量112以形成时间运动向量114的合并候选者,其中块102表示当前PU。
然而,WD9又指定,如果同位PU具有参考长期参考图片(对应于视图间参考图片)的运动向量,那么参考视图间参考图片的运动向量将不用于预测当前运动向量。举例来说,在图5中,WD9将指定块110的视差运动向量116将不用于对块104的运动向量进行译码(图5不展示此运动向量)。
在MV-HEVC中,由于没有引入译码单元或更低层级的修改,所以时间运动向量预测过程与在HEVC中一样。然而,可存在大量同位PU(在同位图片中),其含有参考视图间参考图片的运动向量,而目标参考索引(等于0)指示短期参考图片。因此,停用根据如WD9所指定的所述运动向量的预测使得合并模式效率较低。
图6为说明用于译码图片块的实例图片集合和运动向量的概念图。明确地说,图6说明来自Chen等人的“Temporal Motion Vector Prediction Hook for MV-HEVC”的提议(JCTVC-K0239,中国上海,2012年10月10至19日),其可在http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K0239-v2.zip处获得。此文档还作为本发明的附件A而部分随附。在JCTVC-K0239中,提出启用额外目标参考索引。对于图5的实例,参考短期参考图片的运动向量仍可朝向具有等于0的参考索引的参考图片缩放,如在HEVC WD9中一样。
然而,对于长期参考图片,视频译码器(例如,视频编码器20及视频解码器30)可导出新的额外参考索引(ref_idx Add.),使得参考长期参考图片的运动向量可用于形成合并候选者并不被认为是不可供使用的。如图6中所示,当前图片的同位块110到块104的视差运动向量116可用于形成视差运动向量候选者,以用于预测视差运动向量118。根据本发明的技术,可例如通过可适用的视频译码标准(例如HEVC)、对此类标准的扩展(例如,多视图视频译码或可缩放视频译码)或通过例如视频编码器20的视频编码器(图1及2)来预定额外参考索引值。在一些实例中,视频编码器可编码(例如)切片标头、PPS、SPS和/或VPS中的预定值。
一般来说,当等于0的参考索引表示短期参考图片时,新添加的目标参考索引可用于表示长期参考图片。当等于0的参考索引表示长期参考图片时,新添加的目标参考索引可用于表示短期参考图片。因此,视频译码器(例如,视频编码器20及视频解码器30)可经配置以确定,当等于0的参考索引表示短期参考图片时,新添加的目标参考索引表示长期参考图片,且反之亦然。
类似于HEVC WD 9,如果目标参考索引对应于长期参考图片,那么在被认为是可用的时,同位块中的运动向量可不需要缩放。
随着高层级语法变化,已针对HEVC基本规范提出以下语法及语义作为用于导出额外目标参考索引的技术。在切片层级中,在可供使用时,可针对RefPicList0及RefPicList1中的每一者导出额外目标参考索引(refIdxLXA)的值。
8.3.5用于TMVP的额外目标参考索引的导出过程
在当前切片为P或B切片时调用这个过程。导出额外目标参考索引refIdxL0A及refIdxL1A。
将变量refIdxL0A及refIdxL1A皆设定为-1。
以下情形适用于导出refIdxL0A。
在切片为B切片时,以下情形适用于导出refIdxL1A。
出于比较的目的呈现如由JCTVC-K0239所提出及上文所论述的HEVC的章节8.3.5。根据本发明的技术,可使用JCTVC-K0239的某些大体技术(例如,合并模式的额外参考索引的使用),但可省略章节8.3.5。代替章节8.3.5,根据本发明的技术,可将额外参考索引设定成预定值,例如0、-1或另一预定值。因此,本发明的技术可实现超过JCTVC-K0239的可观益处,因为可减少复杂度使得处理效率可得以改善。因此,代替使用如JCTVC-K0239所提出的章节8.3.5来确定额外参考索引(例如RefIdxL0A)(及针对B切片为RefIdxL1A)的值,本发明提出将变量RefIdxL0a及RefIdxL1A设定为等于预定值(例如,0或-1)。通常可例如根据HEVC、MV-HEVC、JCTVC-K0239或其它来导出参考图片列表(RefPicListX,其中X可等于0或1)。
下文中,描述用于执行时间运动向量预测的技术。在时间运动向量预测期间,当当前模式为合并时,可将目标参考索引0变为refIdxLXA(其中X等于0或1)。不改变AMVP模式。所提出的规范文本变化如下:其中新添加/修改的文本斜体化且删除的文本加上括号并在前面加上“去除”。
对于合并模式的TMVP调用的变化
8.5.2.1.1用于合并模式的明度运动向量的导出过程
此过程仅在PredMode[xC][yC]等于MODE_SKIP或PredMode[xC][yC]等于MODE_INTER及merge_flag[xP][yP]等于1时被调用,其中(xP,yP)指定相对于当前图片的左上方明度样本的当前明度预测块的左上方样本。
这个过程的输入是
-当前明度译码块的左上方样本相对于当前图片的左上方明度样本的明度位置(xC,yC),
-当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定当前明度译码块的大小的变量nCS,
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-指定在当前译码单元内的当前预测单元的索引的变量partIdx。
这个过程的输出是
-明度运动向量mvL0及mvL1,
-参考索引refIdxL0及refIdxL1,
-预测列表利用旗标predFlagL0及predFlagL1。
如下导出变量singleMCLFlag。
-如果log2_parallel_merge_level_minus2大于0,且nCS等于8,那么将singleMCLFlag设定成1。
-否则,将singleMCLFlag设定成0。
在singleMCLFlag等于1时,将xP设定成等于xC,将yP设定成等于yC,且将nPbW及nPbH两者设定成等于nCS。
注意-在singleMCLFlag等于1时,当前译码单元的所有预测单元共享单个合并候选者列表,所述单个合并候选者列表等同于2Nx2N预测单元的合并候选者列表。
导出运动向量mvL0及mvL1、参考索引refIdxL0及refIdxL1以及预测利用旗标predFlagL0及predFlagL1,如由以下顺序的步骤指定:
1.从子条款中的相邻预测单元分割区的针对合并候选者的导出过程……。
2.将时间合并候选者的参考索引refIdxLX(其中X为0或1)设定为等于0。
3.使用明度位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、[去除:“及”]refIdxLX以及等于1的mergeTMVP作为输入来调用子条款8.5.3.1.7中的时间明度运动向量预测的导出过程,且其中输出为可用性旗标availableFlagLXCol及时间运动向量mvLXCol。如下文所指定导出变量availableFlagCol及predFlagLXCol(其中X分别为0或1)。
4.…
对于AMVP模式的TMVP调用的变化
8.5.3.1.5用于明度运动向量预测的导出过程
到这个过程的输入是
-当前明度译码块的左上方样本相对于当前图片的左上方明度样本的明度位置(xC,yC),
-指定当前明度译码块的大小的变量nCS,
-指定当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-当前预测单元分割区的参考索引refIdxLX(其中X为0或1),
-指定在当前译码单元内的当前预测单元的索引的变量partIdx。
这个过程的输出是
-运动向量mvLX的预测mvpLX(其中X为0或1)。
在以下顺序的步骤中导出运动向量预测子mvpLX。
3.使用明度译码块位置(xC,yC)、译码块大小nCS、明度预测块位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、refIdxLX(其中X分别为0或1)及分割区索引partIdx作为输入来调用子条款8.5.3.1.6中的从相邻预测单元分割区的针对运动向量预测子候选者的导出过程,且其中使用可用性旗标availableFlagLXN及运动向量mvLXN作为输出,其中N由A、B替换。
4.如果availableFlagLXA及availableFlagLXB两者皆等于1,且mvLXA不等于mvLXB,那么将availableFlagLXCol设定为等于0,否则,使用明度位置(xP,yP)、明度预测块的宽度及高度nPbW及nPbH、[去除:“及”]refIdxLX(其中X分别为0或1)以及等于0的mergeTMVP作为输入来调用子条款8.5.3.1.7中的时间明度运动向量预测的导出过程,且其中输出为可用性旗标availableFlagLXCol及时间运动向量预测子mvLXCol。
TMVP的变化
8.5.3.1.7用于时间明度运动向量预测的导出过程
到这个过程的输入是
-指定当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-参考索引refIdxLX(其中X为0或1)[去除:“。”],
-变量mergeTMVP。
这个过程的输出是
-运动向量预测mvLXCol,
-可用性旗标availableFlagLXCol。
函数RefPicOrderCnt(picX,refIdx,LX)传回来自图片picX的参考图片列表LX的具有索引refIdx的参考图片的图片次序计数PicOrderCntVal,且如下指定。
RefPicOrderCnt(picX,refIdx,LX)=PicOrderCnt(图片picX的RefPicListX[refIdx]) (8 141)
取决于slice_type、collocated_from_l0_flag及collocated_ref_idx的值,如下导出指定含有同位分割区的图片的变量colPic。
-如果slice_type等于B,且collocated_from_l0_flag等于0,那么变量colPic指定含有同位分割区的图片,如由RefPicList1[collocated_ref_idx]所指定。
-否则(slice_type等于B,且collocated_from_l0_flag等于1或slice_type等于P),变量colPic指定含有同位分割区的图片,如由RefPicList0[collocated_ref_idx]所指定。
在以下顺序的步骤中导出变量colPb及其位置(xPCol,yPCol):
1.如下导出变量colPb
yPRb=yP+nPbH (2-1)
-如果(yP>>Log2CtbSizeY)等于(yPRb>>Log2CtbSizeY),那么当前明度预测块的右下方明度位置的水平分量由下式定义
xPRb=xP+nPbW (2-2)
且将变量colPb设定为覆盖colPic内部的由((xPRb>>4)<<4,(yPRb>>4)<<4)给定的经修改的位置的明度预测块。
-否则((yP>>Log2CtbSizeY)不等于(yPRb>>Log2CtbSizeY)),将colPb标记为“不可用”。
2.在帧内预测模式中译码colPb或将colPb标记为“不可用”时,以下情形适用。
-当前预测块的中心明度位置由下式定义
xPCtr=(xP+(nPbW>>1) (2-3)
yPCtr=(yP+(nPbH>>1) (2-4)
-将变量colPb设定为覆盖colPic内部的由((xPCtr>>4)<<4,(yPCtr>>4)<<4)给定的经修改的位置的明度预测块。
3.将(xPCol,yPCol)设定为等于相对于colPic的左上方明度样本的colPb的左上方样本。
如果所有以下条件为真,那么将refIdxLX设定成refIdxLXA。
-mergeTMVP等于1。
-LongTermRefPic(currPic,refIdxLX,ListX)不等于LongTermRefPic(colPic,refIdxCol,listCol)。
-refIdxLXA大于0。
如下导出变量mvLXCol及availableFlagLXCol。
-如果以下条件中的一或多者为真,那么将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-在帧内预测模式中译码colPb。
-将colPb标记为“不可用”。
-slice_temporal_mvp_enable_flag等于0。
-LongTermRefPic(currPic,refIdxLX,ListX)不等于LongTermRefPic(colPic,refIdxCol,listCol)。
-否则,如下导出运动向量mvCol、参考索引refIdxCol及参考列表识别符listCol。
-如果PredFlagL0[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于MvL1[xPCol][yPCol]、RefIdxL1[xPCol][yPCol]及L1。
-否则(PredFlagL0[xPCol][yPCol]等于1),以下情形适用。
-如果PredFlagL1[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于MvL0[xPCol][yPCol]、RefIdxL0[xPCol][yPCol]及L0。
-否则(PredFlagL1[xPCol][yPCol]等于1),进行以下指派。
-如果每一参考图片列表中的每一图片pic的PicOrderCnt(pic)小于或等于PicOrderCntVal,那么分别将mvCol、refIdxCol及listCol设定为等于MvLX[xPCol][yPCol]、RefIdxLX[xPCol][yPCol]及LX,其中X为这个过程所调用的X的值。
-否则(至少一个参考图片列表中的至少一个图片pic的PicOrderCnt(pic)大于PicOrderCntVal,且分别将mvCol、refIdxCol及listCol设定为等于MvLN[xPCol][yPCol]、RefIdxLN[xPCol][yPCol]及LN,其中N为collocated_from_l0_flag的值。
且将变量availableFlagLXCol设定为等于1,且以下情形适用。
-如果RefPicListX[refIdxLX]为长期参考图片,或PicOrderCnt(colPic)
-RefPicOrderCnt(colPic,refIdxCol,listCol)等于PicOrderCntVal-PicOrderCnt(RefPicListX[refIdxLX]),
mvLXCol=mvCol (2-5)
-否则,mvLXCol经导出为运动向量mvCol的经缩放版本,如下文所指定
tx=(16384+(Abs(td)>>1))/td (2-6)
distScaleFactor=Clip3(-4096,4095,(tb*tx+32)>>6)
(2-7)mvLXCol=Clip3(-32768,32767,Sign2(distScaleFactor*mvCol)*((Abs(distScaleFactor*mvCol)+127)>>8)) (2-8)
其中td及tb经导出为
td=Clip3(-128,127,PicOrderCnt(colPic)–RefPicOrderCnt(colPic,refIdxCol,listCol)) (2-9)
tb=Clip3(-128,127,PicOrderCntVal–PicOrderCnt(RefPicListX[refIdxLX])) (2-10)
1.1.1以HEVC WD9进行应用的替代实施
可如以上实例中所描述导出或以其它方式传信/设定refIdxLXA(其中X等于0或1)。对于添加物,修改为斜体化,或对于去除物,修改加有括号并在前面加有“去除的”。以下实例类似于上文所描述的实例,其中一些更新的文本用于时间运动向量预测。
8.5.3.1.7用于时间明度运动向量预测的导出过程
到这个过程的输入是
-指定当前明度预测块的左上方样本相对于当前图片的左上方明度样本的明度位置(xP,yP),
-指定明度预测块的宽度及高度的变量nPbW及nPbH,
-变量mergeTMVP,
-参考索引refIdxLX(其中X为0或1)。
这个过程的输出是
-运动向量预测mvLXCol,
-可用性旗标availableFlagLXCol。
变量currPb指定在明度位置(xP,yP)处的当前明度预测块。
如下导出变量mvLXCol及availableFlagLXCol。
-如果slice_temporal_mvp_enable_flag等于0,那么将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-否则,以下顺序的步骤适用。
1.取决于slice_type、collocated_from_l0_flag及collocated_ref_idx的值,如下导出指定含有同位分割区的图片的变量colPic。
-如果slice_type等于B,且collocated_from_l0_flag等于0,那么变量colPic指定含有同位分割区的图片,如由RefPicList1[collocated_ref_idx]所指定。
-否则(slice_type等于B,且collocated_from_l0_flag等于1或slice_type等于P),变量colPic指定含有同位分割区的图片,如由RefPicList0[collocated_ref_idx]所指定。
2.如下导出右下方同位运动向量
xPRb=xP+nPbW (8-162)
yPRb=yP+nPbH (8-163)
-如果(yP>>Log2CtbSizeY)等于(yPRb>>Log2CtbSizeY),且xPRb小于pic_width_in_luma_samples,那么以下情形适用。
-变量colPb指定覆盖在由colPic指定的同位图片内部的由((xPRb>>4)<<4,(yPRb>>4)<<4)给定的经修改的位置的明度预测块。
-将明度位置(xPCol,yPCol)设定为等于相对于由colPic指定的同位图片的左上方明度样本的由colPb指定的同位明度预测块的左上方样本。
-使用currPb、colPic、colPb、(xPCol,yPCol)、mergeTMVP及refIdxLX作为输入来调用如子条款8.5.3.1.8中所指定的同位运动向量的导出过程,且将输出指派给mvLXCol及availableFlagLXCol。
-否则,将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
3.在availableFlagLXCol等于0时,如下导出中心同位运动向量。
xPCtr=xP+(nPbW>>1) (8-164)
yPCtr=yP+(nPbH>>1) (8-165)
-变量colPb指定覆盖colPic内部的由((xPCtr>>4)<<4,(yPCtr>>4)<<4)给定的经修改的位置的明度预测块。
-将明度位置(xPCol,yPCol)设定为等于相对于由colPic指定的同位图片的左上方明度样本的由colPb指定的同位明度预测块的左上方样本。
-使用currPb、colPic、colPb、(xPCol,yPCol)、mergeTMVP及refIdxLX作为输入来调用如子条款8.5.3.1.8中所指定的同位运动向量的导出过程,且将输出指派给mvLXCol及availableFlagLXCol。
8.5.3.1.8用于同位运动向量的导出过程
到这个过程的输入是
-指定当前预测块的currPb,
-指定同位图片的colPic,
-指定由colPic指定的同位图片内部的同位预测块的colPb,
-指定相对于由colPic指定的同位图片的左上方明度样本的由colPb指定的同位明度预测块的左上方样本的明度位置(xPCol,yPCol),
-变量mergeTMVP,
-参考索引refIdxLX(其中X为0或1)。
这个过程的输出是
-运动向量预测mvLXCol,
-可用性旗标availableFlagLXCol。
变量currPic指定当前图片。
分别将阵列predFlagLXCol[x][y]、mvLXCol[x][y]及refIdxLXCol[x][y]设定为等于由colPic指定的同位图片的对应阵列PredFlagLX[x][y]、MvLX[x][y]及RefIdxLX[x][y],其中X为这个过程所调用的X的值。
如下导出变量mvLXCol及availableFlagLXCol。
-如果在帧内预测模式中译码colPb,那么将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-否则,如下导出运动向量mvCol、参考索引refIdxCol及参考列表识别符listCol。
-如果predFlagL0Col[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvL1Col[xPCol][yPCol]、refIdxL1Col[xPCol][yPCol]及L1。
-否则如果predFlagL0Col[xPCol][yPCol]等于1,且predFlagL1Col[xPCol][yPCol]等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvL0Col[xPCol][yPCol]、refIdxL0Col[xPCol][yPCol]及L0。
-否则(predFlagL0Col[xPCol][yPCol]等于1,且predFlagL1Col[xPCol][yPCol]等于1),进行以下指派。
-如果对于当前切片的每一参考图片列表中的每一图片pic,DiffPicOrderCnt(currPic,pic)小于或等于0,那么分别将mvCol、refIdxCol及listCol设定为等于mvLXCol[xPCol][yPCol]、refIdxLXCol[xPCol][yPCol]及LX,其中X为这个过程所调用的X的值。
-否则,分别将mvCol、refIdxCol及listCol设定为等于mvLNCol[xPCol][yPCol]、refIdxLNCol[xPCol][yPCol]及LN,其中N为collocated_from_l0_flag的值。
且如下导出mvLXCol及availableFlagLXCol。
-在[去除:“如果”]LongTermRefPic(currPic,currPb,refIdxLX,LX)不等于LongTermRefPic(colPic,colPb,refIdxCol,listCol)时,以下情形适用
-如果refIdxLXA大于0且mergeTMVP等于1,那么将refIdxLX设定为refIdxLXA,且将availableFlagLXCol设定为1。
-否则,将mvLXCol的两个分量设定为等于0,且将availableFlagLXCol设定为等于0。
-[去除:“否则”]在将变量availableFlagLXCol设定为等于1时,将refPicListCol[refIdxCol]设定成具有含有图片colPic中的预测块currPb的切片的参考图片列表listCol中的参考索引refIdxCol的图片,且以下情形适用。
colPocDiff=DiffPicOrderCnt(colPic,refPicListCol[refIdxCol])(8-166)
currPocDiff=DiffPicOrderCnt(currPic,RefPicListX[refIdxLX])(8-167)
-如果RefPicListX[refIdxLX]为长期参考图片,或colPocDiff等于currPocDiff,那么mvLXCol经导出为:
mvLXCol=mvCol (8-168)
-否则,mvLXCol经导出为运动向量mvCol的经缩放版本,如下文所指定。
tx=(16384+(Abs(td)>>1))/td (8-169)
distScaleFactor=Clip3(-4096,4095,(tb*tx+32)>>6)
(8-170)mvLXCol=Clip3(-32768,32767,Sign(distScaleFactor*mvCol)*((Abs(distScaleFactor*mvCol)+127)>>8)) (8-171)
其中td及tb经导出为
td=Clip3(-128,127,colPocDiff) (8-172)
tb=Clip3(-128,127,currPocDiff) (8-173)
下文描述所提出的方法与用于3视图清理中的纹理视图译码的锚相比的译码增益。表1展示所提出方法关于HTM4.0锚的平均译码增益。由“仅视频”指示的列列出所有三个纹理视图的译码增益,其中位率表示含有三个纹理视图的位流的总位率且PSNR值为三个所表示纹理视图的平均PSNR值。也在此表中列出对于“视频1”和“视频2”的位率节省。应注意,“视频0”对应于基础视图,而“视频1”及“视频2”指示非基础视图(仅纹理)。
如表1中所示,对于所有纹理视图,总平均位率节省大约为0.94%,且非基础视图的节省约2.5%。
表1—关于HTM4.0锚的译码增益
图7是说明根据本发明的技术的对视频数据块进行编码的实例方法的流程图。出于解释的目的,关于图1及2的视频编码器20描述图7。然而,应理解,图7的方法可通过用于编码视频数据的其它装置执行。同样,图7的方法的某些步骤可以不同次序或并行地执行。
虽然图7的实例中未展示,但视频编码器20最初可确定当前块的运动向量待使用合并模式编码。视频编码器20可建构候选运动向量预测子集合,其表示空间上相邻块到当前块以及另一图片中同位块到当前块的运动向量。同位块的运动向量表示时间运动向量预测子(TMVP)的实例。举例来说,如图6中所示,当前块可对应于块104,同位块可对应于块110,且运动向量116可表示块104的TMVP的实例。假定在图7的实例中,在使用合并模式对当前块的运动向量进行编码时,视频编码器20选择TMVP以用于当前块。
因此,视频编码器20可确定当前块的同位块(150)。视频编码器20可进一步确定同位块的运动向量的参考索引(152)。同位块的运动向量的参考索引对应于同位块的运动向量所指向的参考图片。在此实例中,假定同位块的运动向量为视差运动向量(即,视图间运动向量),使得运动向量所指向的参考图片为视图间参考图片,其可表征为长期参考图片。因此,同位块的运动向量的参考索引可对应于具有与包含同位块的图片相同的图片次序计数(POC)值的参考图片。
由于在具有相同POC值的图片之间启用视图间预测,所以在缺少本发明的技术的情况下,同位块的运动向量将总体上被视为不可用于合并模式运动向量译码。也就是说,如果同位块的运动向量用于严格合并模式中作为当前块的运动向量,那么当前块的运动向量将指代参考图片的参考块,所述参考图片具有与包含当前块的当前图片不同的POC值。
然而,使用本发明的技术,视频编码器20可获得额外参考索引的预定值(154)。举例来说,视频编码器20可基于视频译码标准或对视频译码标准的扩展确定预定值,指派所述值,从用户接收所述值,或以其它方式确定预定值。视频编码器20可随后确定额外参考索引值(156),即等于预定值。举例来说,预定值可等于0(零)或-1(负一)。在一些实例中,视频编码器20可在例如包含当前块的切片的切片标头、包含当前块的图片的图片参数集(PPS)、包含图片的序列的序列参数集(SPS)及/或视频参数集(VPS)中对表示预定值的数据进行编码。
视频编码器20可随后使用额外参考索引建构当前块的运动向量(MV)(158)。在一个实例中,视频编码器20可是当前块的运动向量承袭TMVP(例如,参考图片列表、水平运动分量和垂直运动分量)的运动参数。一般来说,可通过水平运动分量和垂直运动分量来定义运动向量,其中水平运动分量定义参考块相对于当前块的位置的水平位置,且垂直运动分量定义参考块相对于当前块的位置的垂直位置。
同样,参考图片列表为潜在参考图片的列表。参考索引标识待用于参考图片列表中的实际参考图片。在常规合并模式中,参考索引及参考图片列表将承袭自运动向量预测子。然而,根据本发明的技术,参考图片列表可承袭自运动向量预测子,但具有等于预定值的值的额外参考索引可用于建构当前块的运动向量。因此,当前块的经建构运动向量可具有等于TMVP的参考图片列表识别符的参考图片列表识别符、等于TMVP的水平运动分量的水平运动分量、等于TMVP的垂直运动分量的垂直运动分量,及等于预定值的参考索引((即,额外参考索引)。
视频编码器20可使用经建构的运动向量计算当前块的经预测块(160)。举例来说,视频编码器20可使用经建构运动向量的参考图片列表和经建构运动向量的参考索引识别参考图片,所述参考索引可等于预定值及额外参考索引。视频编码器20可随后将参考图片中的参考块识别为处于当前块的位置处、水平地移位经建构运动向量的水平运动分量并垂直地移位经建构运动向量的垂直运动分量。计算经预测块可进一步包含在运动向量具有分数像素精确度时进行内插。
视频编码器20可随后使用经预测块编码当前块(162)。举例来说,视频编码器20可使用当前块的原始块与经预测块之间的逐像素差来计算残余块。视频编码器20可进一步变换及量化残余块,随后对所得经量化变换系数进行熵编码。视频编码器20可进一步对当前块的运动向量预测子(MVP)进行编码(164)。在此实例中,MVP索引对应于运动向量预测子候选者集合中的TMVP候选者。同样,视频编码器20可对数据进行编码,所述数据指示合并模式待用于译码当前块的运动向量且针对合并模式启用TMVP。
以此方式,图7的方法表示一方法的实例,所述方法包含:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定等于预定值的额外目标参考索引值;及至少部分地基于额外参考索引值对当前运动向量进行译码(即在此实例中进行编码)。明确地说,第一目标参考索引可对应于TMVP的参考索引,所述TMVP对应于同位块的运动向量。候选运动向量预测子可对应于TMVP。当前运动向量可对应于当前块的运动向量。
图8是说明根据本发明的技术的对视频数据块进行解码的实例方法的流程图。出于解释的目的,关于图1及3的视频解码器30描述图8。然而,应理解,图8的方法可通过用于解码视频数据的其它装置执行。同样,图8的方法的某些步骤可以不同次序或并行地执行。
最初,视频解码器30可对当前块的运动向量预测子(MVP)索引进行解码(180)。另外,视频解码器30可对数据进行解码,所述数据指示合当前块的运动向量待使用合并模式解码且针对合并模式启用时间运动向量预测。视频解码器30可随后确定经解码MVP索引对应于同位块到当前块(182),所述同位块即具有与当前块相同或实质上相同的位置但处于不同图片中的块。换句话说,MVP索引可对应于时间运动向量预测子(TMVP)。
视频解码器30可随后确定同位块的运动向量的参考索引(184)。视频解码器30还可获得额外参考索引的预定值(186)。举例来说,视频解码器30可根据包含当前块的切片的切片标头、PPS、SPS、VPS或其它此类传信数据确定预定值。视频解码器30可随后确定额外参考索引值等于预定值(188)。
视频解码器30可随后使用额外参考索引建构当前块的运动向量(MV)(190)。如关于图7所解释,视频解码器30可使当前块的运动向量从TMVP承袭参考图片列表识别符、水平运动分量及垂直运动分量,但使用额外参考索引作为到由参考图片列表识别符所识别的参考图片列表中,以确定其中发现当前块的参考块的参考图片。
因此,视频解码器30可使用经建构运动向量以使用经建构运动向量计算当前块的经预测块(192)。举例来说,又如上文所解释,水平及垂直运动分量可定义参考图片中的参考块相对于当前块位置的位置。此外,视频解码器30可在运动向量具有亚像素精确度时执行像素内插。
视频解码器30可随后使用经预测块解码当前块(194)。举例来说,视频解码器30可对来自位流的经量化变换系数进行解码。视频解码器30可随后对系数进行逆量化及逆变换以再现当前块的残余块。接下来,视频解码器30可在逐像素基础上组合经预测块与残余块来重构当前块。
以此方式,图8的方法表示一方法的实例,所述方法包含:确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的参考图片;针对候选运动向量预测子并在当前运动向量的时间运动向量预测(TMVP)期间,确定等于预定值的额外目标参考索引值;及至少部分地基于额外参考索引值对当前运动向量进行译码(即在此实例中进行解码)。
应认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可用不同序列执行,可添加、合并或全部省略(例如,实践所述技术并不需要所有的所描述动作或事件)。此外,在某些实施例中,可同时(例如,通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。
在一或多个实例中,所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施,那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输,并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包含任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体一般可以对应于(1)有形计算机可读存储媒体,其为非暂时性的,或(2)通信媒体,例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。
以实例说明而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时性媒体,而是实际上针对于非暂时性有形存储媒体。如本文所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可由一个或多个处理器执行,所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所描述的功能性可以在经配置用于编码及解码的专用硬件及/或软件模块内提供,或者并入于组合编码解码器中。而且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。实际上,如上文所描述,各种单元可以配合合适的软件和/或固件组合在一个编解码器硬件单元中,或者通过互操作硬件单元的集合来提供,所述硬件单元包括如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (30)

1.一种对视频数据进行译码的方法,所述方法包括:
确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的第一参考图片;
译码包含额外目标参考索引的预定值的数据的切片标头或图片参数集PPS中的至少一者,所述额外目标参考索引表示不同于所述第一参考图片的第二参考图片;
确定所述第一参考图片包含长期参考图片;及
响应于确定所述第一参考图片包含所述长期参考图片,使用所述候选运动向量预测子在所述当前运动向量的时间运动向量预测TMVP期间译码所述当前运动向量,使得所述当前运动向量的参考索引具有所述额外目标参考索引的所述预定值,而不是所述候选运动向量预测子的所述第一目标参考索引。
2.根据权利要求1所述的方法,其中确定所述额外目标参考索引的所述值进一步包括至少部分地基于所述预定值确定所述额外目标参考索引是否为可用的。
3.根据权利要求1所述的方法,其中所述额外目标参考索引包括到参考图片列表0的参考索引值refIdxL0A或到参考图片列表1的参考索引值refIdxL1A中的一者。
4.根据权利要求1所述的方法,
其中译码包括使用合并模式译码所述当前运动向量,其包括:
从所述候选运动向量预测子承袭所述当前运动向量的运动参数,其中所述承袭的运动参数包含参考图片列表识别符、水平运动分量及垂直运动分量;及
使用所述额外目标参考索引的所述值来识别所述当前运动向量在所述参考图片列表中所指代的所述第二参考图片,
所述方法进一步包括使用所述水平运动分量、所述垂直运动分量及所述额外目标参考索引在所述参考图片列表中所识别的所述第二参考图片来译码当前块。
5.根据权利要求1所述的方法,其中确定所述额外目标参考索引的所述值包括仅在包含所述当前运动向量的视频数据符合基础视频译码标准的扩展时确定所述额外目标参考索引的所述值。
6.根据权利要求5所述的方法,其中所述基础视频译码标准包括高效视频译码HEVC,并且其中所述扩展包括HEVC的多视图视频译码MV-HEVC或HEVC的可缩放视频译码扩展SHVC中的一者。
7.根据权利要求1所述的方法,其进一步包括:译码表示所述预定值的数据,其中所述数据包括切片的数据,所述切片包含对应于所述当前运动向量的块。
8.根据权利要求7所述的方法,其中译码表示所述预定值的所述数据包含以下步骤中的至少一者:
译码符合基础视频译码标准的扩展的所述切片的切片标头的一部分中的所述数据;或
译码符合所述基础视频译码标准的所述切片的所述切片标头的一部分中的所述数据。
9.根据权利要求1所述的方法,其进一步包括:在包含图片的序列的序列参数集SPS或视频参数集VPS中的至少一者中译码表示所述预定值的数据,所述图片包含对应于所述当前运动向量的块。
10.根据权利要求1所述的方法,其进一步包括:当所述预定值为非零值时,确定所述第二参考图片的类型不同于由参考索引0所识别的参考图片的类型。
11.根据权利要求1所述的方法,其中译码所述运动向量包括解码所述运动向量,所述方法进一步包括使用所述运动向量解码当前块。
12.根据权利要求1所述的方法,其中译码所述运动向量包括编码所述运动向量,所述方法进一步包括使用所述运动向量编码当前块。
13.一种用于译码视频数据的装置,所述装置包括:
存储器,其经配置以存储视频数据;及
视频译码器,其经配置以进行以下操作:确定第一目标参考索引,所述第一目标参考索引表示当前运动向量的候选运动向量预测子所指代的所述视频数据的第一参考图片;译码包含表示额外目标参考索引的预定值的数据的切片标头或图片参数集PPS中的至少一者,所述额外目标参考索引表示不同于所述第一参考图片的第二参考图片;确定所述第一参考图片包含长期参考图片;及响应于确定所述第一参考图片包含所述长期参考图片,使用所述候选运动向量预测子在所述当前运动向量的时间运动向量预测TMVP期间译码所述当前运动向量,使得所述当前运动向量的参考索引具有所述额外目标参考索引的所述预定值,而不是所述候选运动向量预测子的所述第一目标参考索引。
14.根据权利要求13所述的装置,其中所述视频译码器经配置以使用其中所述当前运动向量从所述候选运动向量预测子承袭运动参数的合并模式来译码所述当前运动向量,其中所述承袭的运动参数包含参考图片列表识别符、水平运动分量及垂直运动分量,且其中所述视频译码器经配置以使用所述额外目标参考索引的所述值来识别所述当前运动向量在所述参考图片列表中所指代的所述第二参考图片并使用所述水平运动分量、所述垂直运动分量及由所述额外目标参考索引在所述参考图片列表中识别的所述第二参考图片来译码当前运动块。
15.根据权利要求13所述的装置,其中所述视频译码器经配置以仅在包含所述当前运动向量的视频数据符合基础视频译码标准的扩展时确定所述额外目标参考索引的所述值。
16.根据权利要求13所述的装置,其中所述视频译码器经配置以在包含图片的序列的序列参数集SPS或视频参数集VPS中的至少一者中对表示所述预定值的数据进行译码,所述图片包含对应于所述当前运动向量的块。
17.根据权利要求13所述的装置,其中所述视频译码器经配置以在所述预定值为非零值时确定所述第二参考图片的类型不同于由参考索引0所识别的参考图片的类型。
18.根据权利要求13所述的装置,其中所述视频译码器包括视频解码器或视频编码器中的至少一者。
19.一种用于对视频数据进行译码的装置,所述装置包括:
用于确定第一目标参考索引的装置,所述第一目标参考索引表示当前运动向量的候选运动向量预测子所指代的第一参考图片;
用于译码包含表示额外目标参考索引的预定值的数据的切片标头或图片参数集PPS中的至少一者的装置,所述额外目标参考索引表示不同于所述第一参考图片的第二参考图片;
用于确定所述第一参考图片包含长期参考图片的装置;及
用于响应于确定所述第一参考图片包含所述长期参考图片,使用所述候选运动向量预测子在所述当前运动向量的时间运动向量预测TMVP期间译码所述当前运动向量使得所述当前运动向量的参考索引具有所述额外目标参考索引的所述预定值而不是所述候选运动向量预测子的所述第一目标参考索引的装置。
20.根据权利要求19所述的装置,其中所述用于译码的装置包括用于使用合并模式译码所述当前运动向量的装置,其包括:
用于从所述候选运动向量预测子承袭所述当前运动向量的运动参数的装置,其中所述承袭的运动参数包含参考图片列表识别符、水平运动分量及垂直运动分量;及
用于使用所述额外目标参考索引的所述值来识别所述当前运动向量在所述参考图片列表中所指代的所述第二参考图片的装置,
所述装置进一步包括用于使用所述水平运动分量、所述垂直运动分量及由所述额外目标参考索引在所述参考图片列表中所识别的所述第二参考图片来译码当前块的装置。
21.根据权利要求19所述的装置,其中用于确定所述额外目标参考索引的所述值的所述装置包括用于仅在包含所述当前运动向量的视频数据符合基础视频译码标准的扩展时确定所述额外目标参考索引的所述值的装置。
22.根据权利要求19所述的装置,其进一步包括用于在包含图片的序列的序列参数集SPS或视频参数集VPS中的至少一者中对表示所述预定值的数据进行译码的装置,所述图片包含对应于所述当前运动向量的块。
23.根据权利要求19所述的装置,其进一步包括用于在所述预定值为非零值时确定所述第二参考图片的类型不同于由参考索引0所识别的参考图片的类型。
24.根据权利要求19所述的装置,其中所述用于译码的装置包括用于解码所述当前运动向量的装置或用于编码所述当前运动向量的装置中的至少一者。
25.一种其上存储有指令的非暂时性计算机可读存储媒体,所述指令在执行时致使处理器执行以下操作:
确定第一目标参考索引,其表示当前运动向量的候选运动向量预测子所指代的第一参考图片;
译码包含表示额外目标参考索引的预定值的数据的切片标头或图片参数集PPS中的至少一者,所述额外目标参考索引表示不同于所述第一参考图片的第二参考图片;
确定所述第一参考图片包含长期参考图片;及
响应于确定所述第一参考图片包含所述长期参考图片,使用所述候选运动向量预测子在所述当前运动向量的时间运动向量预测TMVP期间译码所述当前运动向量,使得所述当前运动向量的参考索引具有所述额外目标参考索引的所述预定值,而不是所述候选运动向量预测子的所述第一目标参考索引。
26.根据权利要求25所述的非暂时性计算机可读存储媒体,其中使所述处理器进行译码的所述指令包括使所述处理器使用合并模式译码所述当前运动向量的指令,其包括使所述处理器进行以下操作的指令:
从所述候选运动向量预测子承袭所述当前运动向量的运动参数,其中所述承袭的运动参数包含参考图片列表识别符、水平运动分量及垂直运动分量;及
使用所述额外目标参考索引的所述值来识别所述当前运动向量在所述参考图片列表中所指代的所述第二参考图片,
所述指令进一步包括使所述处理器进行以下操作的指令:使用所述水平运动分量、所述垂直运动分量及由所述额外目标参考索引在所述参考图片列表中所识别的所述第二参考图片来译码当前块。
27.根据权利要求25所述的非暂时性计算机可读存储媒体,其中使所述处理器确定所述额外目标参考索引的所述值的所述指令包括使所述处理器仅在包含所述当前运动向量的视频数据符合基础视频译码标准的扩展时确定所述额外目标参考索引的所述值的指令。
28.根据权利要求25所述的非暂时性计算机可读存储媒体,其进一步包括使所述处理器在包含图片的序列的序列参数集SPS或视频参数集VPS中的至少一者中对表示所述预定值的数据进行译码的指令,所述图片包含对应于所述当前运动向量的块。
29.根据权利要求25所述的非暂时性计算机可读存储媒体,其进一步包含使处理器在所述预定值为非零值时确定所述第二参考图片的类型不同于由参考索引0所识别的参考图片的类型。
30.根据权利要求25所述的非暂时性计算机可读存储媒体,其中使所述处理器译码所述运动向量的所述指令包括使所述处理器解码所述运动向量的指令或使所述处理器编码所述运动向量的指令中的至少一者。
CN201380069438.9A 2013-01-02 2013-12-31 用于视频译码扩展的时间运动向量预测 Expired - Fee Related CN104904217B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361748424P 2013-01-02 2013-01-02
US61/748,424 2013-01-02
US14/144,058 US9674542B2 (en) 2013-01-02 2013-12-30 Motion vector prediction for video coding
US14/144,058 2013-12-30
PCT/US2013/078501 WO2014107454A1 (en) 2013-01-02 2013-12-31 Temporal motion vector prediction for video coding extensions

Publications (2)

Publication Number Publication Date
CN104904217A CN104904217A (zh) 2015-09-09
CN104904217B true CN104904217B (zh) 2018-09-21

Family

ID=51017173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069438.9A Expired - Fee Related CN104904217B (zh) 2013-01-02 2013-12-31 用于视频译码扩展的时间运动向量预测

Country Status (6)

Country Link
US (1) US9674542B2 (zh)
EP (1) EP2941881A1 (zh)
JP (1) JP2016506185A (zh)
KR (1) KR20150103122A (zh)
CN (1) CN104904217B (zh)
WO (1) WO2014107454A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10904570B2 (en) * 2016-09-08 2021-01-26 Kaonmedia Co., Ltd. Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
CN108737841B (zh) * 2017-04-21 2020-11-24 腾讯科技(深圳)有限公司 编码单元深度确定方法及装置
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ibcとatmvpとの間でのインタラクション
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
CN110662037B (zh) 2018-06-29 2022-06-28 北京字节跳动网络技术有限公司 运动信息共享的限制
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11663441B2 (en) * 2018-09-27 2023-05-30 Deepmind Technologies Limited Action selection neural network training using imitation learning in latent space
KR102637604B1 (ko) 2018-10-08 2024-02-16 엘지전자 주식회사 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2020084553A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on multiple information in sub-block motion vector prediction
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
WO2020192726A1 (en) 2019-03-27 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. History-based motion vector prediction
EP3932070A4 (en) 2019-04-28 2022-06-15 Beijing Bytedance Network Technology Co., Ltd. SYMMETRICAL MOTION VECTOR DIFFERENCE CODING
CN117714682A (zh) * 2019-05-21 2024-03-15 北京字节跳动网络技术有限公司 子块Merge模式中的语法信令
US11601666B2 (en) * 2019-06-25 2023-03-07 Qualcomm Incorporated Derivation of temporal motion vector prediction candidates in video coding
CN117560490A (zh) * 2019-07-27 2024-02-13 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
JP2022541687A (ja) * 2019-10-10 2022-09-26 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 三角分割を用いたビデオ符号化の方法および装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562745A (zh) * 2008-04-18 2009-10-21 华为技术有限公司 一种多视点视频图像编码和解码的方法及装置
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008133A2 (en) * 2006-07-11 2008-01-17 Thomson Licensing Methods and apparatus for use in multi-view video coding
US20100027615A1 (en) * 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
ES2898887T3 (es) * 2011-11-08 2022-03-09 Nokia Technologies Oy Manejo de imágenes de referencia
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
CN101562745A (zh) * 2008-04-18 2009-10-21 华为技术有限公司 一种多视点视频图像编码和解码的方法及装置
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Temporal motion vector prediction hook for MV-HEVC;Ying Chen;《Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCTVC-K0239》;20121019;正文第1-8页 *

Also Published As

Publication number Publication date
KR20150103122A (ko) 2015-09-09
WO2014107454A1 (en) 2014-07-10
JP2016506185A (ja) 2016-02-25
US9674542B2 (en) 2017-06-06
EP2941881A1 (en) 2015-11-11
CN104904217A (zh) 2015-09-09
US20140185682A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN104904217B (zh) 用于视频译码扩展的时间运动向量预测
EP3596925B1 (en) Affine motion information derivation
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN105379288B (zh) 处理对视频译码的照明补偿
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN104335589B (zh) 用于视频译码的视图间预测的视差向量产生
CN104322070B (zh) 用于高效率视频译码的高级别语法扩展
CN104756499B (zh) 用于视频译码的方法、设备及计算机可读存储媒体
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN104685883B (zh) 用于3d视频的经视图间预测运动向量
CN104170381B (zh) 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN105637870B (zh) 使用不对称运动分割的视频译码技术
KR102112900B1 (ko) 심도 지향 인터-뷰 모션 벡터 예측
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
JP6434012B2 (ja) 3d−hevcのための簡素化された高度動き予測
KR102329912B1 (ko) 디스패리티 벡터 유도
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN105144715B (zh) 后向视图合成预测
KR101722890B1 (ko) 텍스처 코딩을 위한 더욱 정확한 어드밴스드 잔차 예측 (arp)
CN105850135B (zh) 用于视频译码的视差向量和/或高级残差预测
KR20170108010A (ko) 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN104956676B (zh) 层间语法预测控制
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180921

Termination date: 20191231