CN104025596A - 对识别长期参考图片的图片次序计数值的最低有效位进行译码 - Google Patents

对识别长期参考图片的图片次序计数值的最低有效位进行译码 Download PDF

Info

Publication number
CN104025596A
CN104025596A CN201280059327.5A CN201280059327A CN104025596A CN 104025596 A CN104025596 A CN 104025596A CN 201280059327 A CN201280059327 A CN 201280059327A CN 104025596 A CN104025596 A CN 104025596A
Authority
CN
China
Prior art keywords
picture
count value
order count
long term
term reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280059327.5A
Other languages
English (en)
Inventor
王益魁
阿达许·克里许纳·瑞玛苏布雷蒙尼安
陈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104025596A publication Critical patent/CN104025596A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

一般来说,本发明描述用于对识别长期参考图片的图片次序计数值进行译码的技术。包括处理器的视频解码装置可执行所述技术。所述处理器可经配置以确定用于表示识别将在对当前图片的至少一部分进行解码时使用的长期参考图片的所述图片次序计数值的最低有效位的位数目,且从表示所述经编码视频数据的位流解析所述所确定的位数目。所述所解析的位表示所述图片次序计数值的所述最低有效位。所述处理器基于所述最低有效位从经解码图片缓冲器检索所述长期参考图片,且使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。

Description

对识别长期参考图片的图片次序计数值的最低有效位进行译码
本申请案主张2011年12月2日申请的第61/566,359号美国临时申请案、2012年1月20日申请的第61/589,295号美国临时申请案以及2012年4月16日申请的第61/624,933号美国临时申请案的权益,所述申请案中的每一者的全部内容以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉以及ITU-T H.264(还被称为ISO/IEC MPEG-4 AVC),包含其可缩放视频译码(SVC)以及多视图视频译码(MVC)扩展。MVC的最近联合草案描述于“通用视听服务的高级视频译码(Advanced video codingfor generic audiovisual services)”ITU-T推荐H.264,2010年3月中。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码,可将一视频帧或切片分割成若干块。可进一步分割每一块。使用关于相邻块的空间预测来编码经帧内译码的(I)帧或切片中的块。经帧间译码的(P或B)帧或切片中的块可使用关于同一帧或切片中的相邻块的空间预测或关于其它参考帧的时间预测。
已经作出努力来开发基于H.264/AVC的新视频译码标准。一种此类标准是可缩放视频译码(SVC)标准,其为对H.264/AVC的可缩放扩展。另一标准是多视图视频译码(MVC)标准,其已变为对H.264/AVC的多视图扩展。在2008年7月德国的汉诺威的第28届JVT会议的JVT-AB204“多视图视频译码联合草案8.0(Joint Draft 8.0on Multiview VideoCoding)”中描述了MVC的联合草案,这在http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip处可以获得。在2009年2月瑞士的日内瓦的第30届JVT会议的JVT-AD007“对ITU-T Rec.H.264|ISO/IEC14496-10高级视频译码的编辑者的草案修订-为ITU-T SG16AAP达成一致做准备(以整合形式)(Editors′draft revision to ITU-T Rec.H.264|ISO/IEC14496-10Advanced Video Coding-in preparation for ITU-T SG16AAPConsent(in integrated form))”中描述了AVC标准的版本,这在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip处可以获得。此文献将SVC和MVC整合于AVC规格中。
发明内容
一般来说,本发明描述用于导出参考图片组(RPS)以及用信号通知将包含于经译码图片的RPS中以在执行视频译码的帧间预测方面时使用的长期参考图片(LTRP)的各种方法的技术。
在一个实例中,一种对视频数据进行编码的方法包括:针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;以及在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目。所述方法进一步包括使用用于表示识别所述长期参考图片的所述图片次序计数值的一或多个最低有效位的所述所确定的位数目来指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位,且使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
在另一实例中,一种经配置以对视频数据进行编码的视频编码装置包括一或多个处理器,所述一或多个处理器经配置以:针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目;使用用于表示识别所述长期参考图片的所述图片次序计数值的一或多个最低有效位的所述所确定的位数目来指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
在另一实例中,一种对视频数据进行编码的视频编码装置包括:用于针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片的装置;以及用于在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目的装置。所述视频编码装置进一步包括用于使用用于表示识别所述长期参考图片的所述图片次序计数值的一或多个最低有效位的所述所确定的位数目来指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的装置,以及用于使用所述长期参考图片对所述当前图片的至少所述部分进行编码的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使视频编码装置的一或多个处理器:针对视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目;使用用于表示识别所述长期参考图片的所述图片次序计数值的一或多个最低有效位的所述所确定的位数目来指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码
在另一实例中,一种对经编码视频数据进行解码的方法包括:针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;以及从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位。所述方法进一步包括基于识别所述长期参考图片的所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片,以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
在另一实例中,一种用于对经编码视频数据进行解码的视频解码装置包括一或多个处理器,所述一或多个处理器经配置以:针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;基于识别所述长期参考图片的所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
在另一实例中,一种用于对经编码视频数据进行解码的方法包括:用于针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目的装置;以及用于从表示所述经编码视频数据的位流解析所述所确定的位数目的装置,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位。所述视频解码装置还包括用于基于识别所述长期参考图片的所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片的装置,以及用于使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使视频解码装置的一或多个处理器:针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;基于识别所述长期参考图片的所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
在另一实例中,一种对视频数据进行编码的方法包括:针对所述视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位;以及当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位。所述一或多个最低有效位的所述数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数。所述方法还包括:在表示所述视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位和所述所确定的一或多个最高有效位两者;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
在另一实例中,一种用于对视频数据进行编码的视频编码装置,所述视频编码装置包括一或多个处理器,所述一或多个处理器经配置以:针对所述视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位;以及当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;在表示所述视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位和所述所确定的一或多个最高有效位两者;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
在另一实例中,一种用于对视频数据进行编码的视频编码装置包括:用于针对所述视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的装置;以及当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,用于确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位的装置,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数。所述视频编码装置还包括:用于在表示所述视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位和所述所确定的一或多个最高有效位两者的装置;以及用于使用所述长期参考图片对所述当前图片的至少所述部分进行编码的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使视频编码装置的一或多个处理器:针对所述视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位;当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;在表示所述视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位和所述所确定的一或多个最高有效位两者;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
在另一实例中,一种对经编码视频数据进行解码的方法包括针对所述经编码视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位。所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值。而且,所述一或多个最低有效位的所述数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数。所述方法进一步包括确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开。另外,所述方法包括:基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
在另一实例中,一种用于对经编码视频数据进行解码的视频解码装置包括一或多个处理器,所述一或多个处理器经配置以:针对所述经编码视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位;其中所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值,且其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开;基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
在另一实例中,一种对经编码视频数据进行解码的视频解码装置包括:用于针对所述经编码视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位,其中所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值,且其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数。所述视频解码装置还包括:用于确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位的装置,其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开。另外,所述视频解码装置包括:用于基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片的装置;以及用于使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使视频解码装置的一或多个处理器:针对所述经编码视频数据的当前图片确定识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位,其中所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值,且其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开;基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
本发明的一或多个方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
附图说明
图1为说明可利用用于对视频数据进行译码的技术的实例性视频编码及解码系统的框图。
图2是说明可实施用于对视频数据进行译码的技术的视频编码器的实例的框图。
图3是说明对经编码视频序列进行解码的视频解码器的实例的框图。
图4是说明在执行本发明中所描述的技术的第一方面中的视频编码器的示范性操作的流程图。
图5是说明在执行本发明中所描述的技术的第一方面中的视频解码器的示范性操作的流程图。
图6是说明在执行本发明中所描述的技术的第二方面中的视频编码器的示范性操作的流程图。
图7是说明在执行本发明中所描述的技术的第二方面中的视频解码器的示范性操作的流程图。
具体实施方式
一般来说,本发明描述用于导出参考图片组(RPS)以及用信号通知将包含于经译码图片的RPS中以在执行视频译码的帧间预测方面时使用的长期参考图片(LTRP)的各种方法的技术。举例来说,视频译码器(其为可涉及视频编码器和视频解码器中的一者或两者的术语)包含经解码图片缓冲器(DPB)。DPB存储参考图片,所述参考图片是可用于对图片进行帧间预测的图片。换句话说,视频译码器可基于存储于DPB中的一或多个参考图片来预测图片。
视频解码器还可具有构造参考图片列表的任务,所述参考图片列表指示哪些参考图片用于帧间预测目的。这些参考图片列表中的两者分别被称作列表0和列表1。视频解码器首先使用默认构造技术来构造列表0和列表1(例如,用于构造列表0和列表1的预配置构造方案)。任选地,在初始列表0和列表1被构造之后,解码器可对指令视频解码器修改初始列表0和列表1的语法元素(在存在时)进行解码。
视频编码器可用信号通知指示DPB中的参考图片的识别符的语法元素,且视频编码器也可用信号通知指示包含列表0、列表1或列表0和列表1两者内的索引的语法元素,所述语法元素指示将使用哪一或哪些参考图片对当前图片的经译码块进行解码。视频解码器随后使用所接收的识别符来识别列表0、列表1或列表0和列表1两者中列举的参考图片的索引值。通过参考图片的索引值以及识别符,视频译码器从DPB检索参考图片,且对当前图片的经译码块进行解码。
在与当前图片的切片标头相关联的图片参数集(PPS)或序列参数集(SPS)中,视频编码器可用信号通知RPS。当前图片的RPS包含可用于预测当前图片的参考图片以及可用于预测在解码次序中在当前图片之后的图片的图片的识别信息。仅RPS中的参考图片可包含于列表0或列表1中。
所述参考图片的识别信息可包含一或多个图片次序计数(POC)值。POC值指示输出或显示经译码视频序列内的图片的次序(即,图片的显示次序)。举例来说,在相同经译码视频序列中,具有较低POC值的图片比具有较高POC值的图片更早显示。
本发明中所描述的技术的第一方面针对于用于直接用信号通知当前图片的长期参考图片的技术。举例来说,可将参考图片分类为短期参考图片和长期参考图片。短期参考图片是通常在输出次序中在时间上接近当前图片的图片。
根据本发明中所描述的技术的第一方面,不使用指数哥伦布译码对识别存在于经解码图片缓冲器中但未在相关联的SPS中指定的长期参考图片的增量POC LSB进行编码,视频编码器可使用可变固定一元码直接指定(用信号通知)此类长期参考图片的POCLSB。也就是说,视频编码器可指定用于用信号通知这些POC LSB的位数目,其在与当前图片相关联的切片标头中用信号通知。所指定的位数目向视频解码器用信号通知将从位流解析且表示识别存在于经解码图片缓冲器中但未在相关联的SPS中指定的长期参考图片的位的数目。给定在此POC LSB值的上下文中的较宽的值分布,所述技术可通过将这些POC LSB编码为一致长度(且在可针对每一切片用信号通知或导出所述一致长度的意义上是可变的)的无正负号二进制数目(在各种视频译码标准中表示为“u(v)”)来提高位节省。
以此方式,视频解码器可确定用于表示识别将在对当前图片进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目。经常,视频解码器可从切片标头、图片参数集或序列参数集中的一或多者中指定的语法元素来确定位数目。或者,视频解码器可基于其它语法元素来导出位数目,而不显式地接收指定位数目的语法元素。视频解码器可随后从位流解析所确定的位数目,其中这些所解析的位数目表示识别长期参考图片的POC值的有效位。视频解码器可随后基于识别所述长期参考图片的POC值的最低有效位从经解码图片缓冲器检索所述长期参考图片,且使用所述所检索的长期参考图片对当前图片的至少所述部分进行解码。
根据本发明中所描述的技术的第二方面,视频编码器可进一步或替代地经配置以当确定是否需要用信号通知额外信息(例如,一些或所有最高有效位(MSB))来用于消除POC LSB的歧义时分析存在于整个经解码图片缓冲器中的每一图片。换句话说,视频编码器计算识别DPB中的图片的每一POC值的一组一或多个POC LSB。当执行所述分析时,视频编码器确定针对在切片标头中用信号通知的长期参考图片中的每一者所计算的所述组POC LSB相对于针对识别DPB中的所有其它图片的POC值所计算的所有其它组POC LSB是否为唯一的。如果这些其它组POC LSB中的一者等于分析下的当前长期参考图片的所述组POC LSB,那么确定所述组POC LSB不是唯一的,且视频编码器可随后充分用信号通知最高有效位(MSB),以便使得视频解码器能够正确地导出长期参考图片的POC值。
以此方式,视频解码器可从视频编码器接收表示经编码视频数据的位流,所述位流已根据本发明中所描述的技术的各种方面进行编码。视频解码器可随后确定识别将在对当前图片进行解码时使用的长期参考图片的POC值的最低有效位。如上文所述,这些最低有效位可能相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它POC值的所述最低有效位不唯一地识别所述长期参考图片的图片次序计数值。因此,视频解码器可随后确定识别长期参考图片的POC值的一或多个最高有效位。视频编码器选择所述最高有效位以使得所述最高有效位与所述最低有效位的组合足以将识别所述长期参考图片的POC值与识别经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开。视频解码器可随后基于所述最低有效位与所述最高有效位的明确组合从经解码图片缓冲器检索所述长期参考图片,且使用所述所检索的长期参考图片对当前图片进行解码。
图1为说明可利用本发明中所描述的用于导出RPS且用信号通知LTRP的技术的实例性视频编码及解码系统10的框图。如图1中所示,系统10包含源装置12,所述源装置经由通信信道16将经编码视频发射到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者。在一些情况下,源装置12和目的地装置14可包含无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话,或可在通信信道16上(在此情况下,通信信道16为无线的)传送视频信息的任何无线装置。本发明的技术不一定受限于无线应用或环境。举例来说,这些技术可适用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码的数字视频,或其它情况。因此,通信信道16可包括适合于发射或存储经编码的视频数据的无线、有线或存储媒体的任何组合。
在图1的实例中,源装置12包含视频源18、视频编码器20、调制器/解调器(调制解调器)22和发射器24。目的地装置14包含接收器26、调制解调器28、视频解码器30,和显示装置32。视频编码器20可经配置以应用本发明的技术。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源(例如,外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而不是包含集成式显示装置。
图1的系统10仅为一个实例。可通过各种数字视频编码和/或解码装置来执行用于对视频数据进行译码的技术。本发明的技术可由视频编码器/解码器(通常被称作“CODEC”)来执行。另外,本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为此类译码装置的实例。在一些实例中,装置12、14可以大体上对称的方式操作以使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持源装置12与目的地装置14之间的单向或双向视频发射,例如用于视频流式传输、视频回放、视频广播或视频电话。
视频源18可包含例如视频相机等视频俘获装置、含有先前俘获到的视频的视频档案,和/或来自视频内容提供者的视频馈送。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或直播视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为视频相机,那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。在每一情况下,可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码的视频信息可接着由调制解调器22根据通信标准来调制,且经由发射器24而发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路,包括放大器、滤波器及一或多个天线。
目的地装置14的接收器26经由通信信道16接收信息,且调制解调器28解调所述信息。经由通信信道16传送的信息可包含由视频编码器20定义的语法信息,所述语法信息包含描述块和其它经译码单元(例如,图片群组(GOP))的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者,例如,阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中,通信信道16可包括任一无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道16可表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包含有线或无线媒体的合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。在其它实例中,源装置12可将经编码数据存储到存储媒体上,而不是发射所述数据。同样,目的地装置14可经配置以从存储媒体检索经编码数据。
视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分,高级视频译码(AVC))或即将到来的高效率视频译码标准(其还可通常被称为H.265)的视频压缩标准而操作。虽然本发明中一般相对于HEVC来描述技术,但所述技术还可针对替代性视频译码标准来实施或另外用于替代性视频译码标准,例如H.264/高级视频译码(AVC)标准。正由ITU-T视频译码专家组(VCEG)以及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发HEVC。下文称为且称作HEVC WD6的HEVC的最近工作草案(WD)描述于布洛斯(Bross)等人的标题为“高效率视频译码(HEVC)文本规范草案6(High efficiency video coding(HEVC)text specification draft6)”中,ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第8次会议:美国加州圣何塞,2012年2月1日到10日,其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-V22.zip处得到。另外,还已经批准了HEVC的其它WD,其中最新的被称作HEVC WD9,布洛斯(Bross)等人的标题为“高效率视频译码(HEVC)文本规范草案9(High efficiencyvideo coding(HEVC)text specification draft9)”,ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第11次会议:中国上海,2012年10月10日至19日,JCTVC-K1003_v9,其可在http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v9.zip处得到。
ITU-TH.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)与ISO/IEC运动图片专家组(MPEG)一起制定,作为被称为联合视频小组(JVT)的共同伙伴关系的产物。在一些方面中,本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用视听服务的高级视频译码(AdvancedVideo Coding for generic audiovisual services)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
视频译码标准包含ITU-TH.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉以及ITU-T H.264(还被称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)以及多视图视频译码(MVC)扩展。MVC的最近联合草案描述于“通用视听服务的高级视频译码(Advanced video coding for genericaudiovisual services)”ITU-T推荐H.264,2010年3月中。
然而,本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-TH.263。尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当的MUX-DEMUX单元或其它硬件及软件,以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可在可适用时经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合等多种合适编码器和解码器电路中的任一者。术语“处理器”可一般用于指代前述内容的任何组合,且可包含其上存储有指令的非暂时性计算机可读媒体,所述指令在被执行时致使此处理器执行本发明中所描述的各种技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中,所述视频编码器和视频解码器中的任一者可被集成为组合式视频编码器/解码器(CODEC)的一部分。包含视频编码器20和/或视频解码器30的设备可包括集成电路、微处理器和/或无线通信装置,例如蜂窝式电话、相机、计算机、移动装置、订户装置、广播装置、机顶盒、游戏装置、服务器等。
视频序列通常包含一连串视频帧(或者被称作图片)。图片群组(GOP)一般包括一系列一或多个视频帧(其为指代图片的另一种通常已知的方式)。GOP可在GOP的标头、GOP的一或多个帧的标头或其它地方中包含语法数据,所述语法数据描述包含于GOP中的帧的数目。每一帧可包含帧语法数据,所述帧语法数据描述相应帧的编码模式。频编码器20通常对个别视频帧内的视频块进行操作以便编码视频数据。视频块可对应于H.264中的宏块或宏块的分区,或HEVC的CU(其可包含一或多个预测单元(PU)和/或变换单元(TU))。所述视频块可具有固定的或变化的大小,且可根据指定的译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块(或LCU),所述多个宏块可被分割为子块(或CU)。
作为一实例,ITU-T H.264标准支持各种块大小(例如,针对亮度分量的16乘16、8乘8或4乘4,和针对色度分量的8×8)的帧内预测,以及各种块大小(例如,针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4,和针对色度分量的对应缩放的大小)的帧间预测。在本发明中,“N×N”与“N乘N”可以可互换地使用,以在垂直和水平尺寸方面指代块的像素尺寸,例如16×16像素或16乘16像素。一般来说,16×16块将具有在垂直方向上的16个像素(y=16)和在水平方向上的16个像素(x=16)。同样地,N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素,其中N表示非负整数值。一块中的像素可布置在若干行和若干列中。此外,块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说,块可包括N×M个像素,其中M不一定等于N。
可将小于16×16的块大小称作16×16块的分区。视频块可包括像素域中的像素数据块,或变换域中的变换系数块。在一些情况下,视频块可包括变换域中的经量化变换系数块。
较小视频块可提供较好分辨率,且可用于包含高等级的细节的视频帧的位置。一般来说,可将块和有时被称作子块的各种分区视为视频块。另外,可将切片视为多个视频块,例如若干块和/或若干子块。每一切片可为视频帧的可独立解码单元。或者,帧自身可为可解码单元,或可将帧的其它部分定义为可解码单元。术语“经译码单元”或“译码单元”可指代视频帧的任何可独立解码的单元,例如完整的帧、帧的切片、GOP(还称作序列),或根据可适用的译码技术界定的另一可独立解码的单元。例如,在H.264/AVC和HEVC中,GOP还可被称作经译码视频序列。
视频编码器20可产生网络抽象层(NAL)单元。NAL单元可为含有NAL单元中的数据的类型的指示的语法结构和含有数据的字节。举例来说,NAL单元可含有表示序列参数集(SPS)、图片参数集(PPS)、经译码切片、补充性增强信息(SEI)、存储单元定界符、填充符数据或另一类型的数据的数据。NAL单元的数据可呈与仿真预防位散置在一起的原始字节序列有效负载(RBSP)的形式。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。
可将NAL单元归类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可包含块、宏块和/或切片层级数据。非VCL NAL单元可包含参数集NAL单元和SEINAL单元,以及其它。参数集可含有序列层级标头信息(例如,在SPS中)以及不频繁变化的图片层级标头信息(例如,在PPS中)。通过参数集(例如,SPS和PPS),不需要始终针对每一序列或图片来重复此不频繁变化的信息,因此译码效率可得到提高。此外,参数集的使用可实现对重要标头信息的带外发射,从而避免需要冗余发射来用于错误弹性。在带外发射实例中,可在与其它NAL单元(例如,SEI NAL单元)不同的信道上发射参数集NAL单元。
SEI消息可含有对从VCL NAL单元解码经译码图片样本来说不是必要但可辅助与解码、显示、错误弹性和其它目的相关的过程的信息。SEI消息可包含在非VCL NAL单元中。SEI消息是一些标准规格的规范部分,且因此对于标准相容的解码器实施方案并不总是强制性的。SEI消息可为序列层级SEI消息或图片层级SEI消息。一些序列层级信息可包含在SEI消息中,例如,SVC的实例中的可缩放性信息SEI消息以及MVC中的视图可缩放性信息SEI消息。这些实例性SEI消息可传达关于(例如)操作点的提取以及操作点的特征的信息。
如上文所述,视频译码器(其为可涉及视频编码器20和视频解码器30中的一者或两者的术语)包含经解码图片缓冲器(DPB),所述经解码图片缓冲器出于易于说明的目的而未在图1的实例中展示。DPB存储参考图片,所述参考图片是可用于对图片进行帧间预测的图片。换句话说,视频译码器可基于存储于DPB中的一或多个参考图片来预测图片。
视频解码器还可经配置以构造参考图片列表,所述参考图片列表指示哪些参考图片用于帧间预测目的。这些参考图片列表中的两者分别被称作列表0和列表1。视频解码器30可首先使用默认构造技术来构造列表0和列表1(例如,用于构造列表0和列表1的预配置构造方案,例如HEVC WD 6中所陈述的预配置方案(作为一个实例))。任选地,视频编码器20可经配置以用信号通知指定将在构造列表0和列表1时使用存储到DPB的哪些图片的语法元素。因此,在初始列表0和列表1被构造之后,视频解码器30可对指令视频解码器30修改初始列表0和列表1的语法元素(在存在时)进行解码。
视频编码器30可用信号通知指示DPB中的参考图片的识别符的语法元素。视频编码器30还可用信号通知包含列表0、列表1或列表0和列表1两者内的索引的语法元素,所述语法元素指示将使用存储到DPB的哪一或哪些参考图片对当前图片的经译码块进行解码。视频解码器30随后使用所接收的识别符来识别列表0、列表1或列表0和列表1两者中列举的参考图片的索引值。通过参考图片的索引值以及识别符,视频解码器30从DPB检索参考图片、形成列表0和列表1,且对当前图片的经译码块进行解码。
在与当前图片的切片标头相关联的图片参数集(PPS)或序列参数集(SPS)中,视频编码器20可用信号通知参考图片组(其再次可被称作“RPS”)。当前图片的RPS包含可用于预测当前图片的参考图片以及可用于预测在解码次序中在当前图片之后的图片的图片的识别信息。仅RPS中的参考图片可包含于列表0或列表1中。
所述参考图片的识别信息可包含一或多个图片次序计数(POC)值。POC值指示输出或显示图片的次序(即,图片的显示次序)。举例来说,在相同经译码视频序列中,具有较低POC值的图片比具有较高POC值的图片更早显示。
HEVC WD6以及稍后的工作草案,例如HEVC WD9,通常提供用于被称作短期参考图片(STRP)和长期参考图片(LTRP)的两种不同类型的参考图片。短期参考图片是通常在输出次序中在时间上接近当前图片的图片。
长期参考图片是通常在时间上进一步远离当前图片但仍可用于预测目的的图片。举例来说,在视频会议中,初始的一些所俘获的图片可包含背景图像内容,所述背景图像内容在预测稍后在视频会议中俘获的图片中可为有用的。作为另一实例,可与经加权预测中的运动向量缩放或样本值缩放中的短期参考图片不同地对待长期参考图片。
短期参考图片还可比长期参考图片在输出次序中进一步远离当前图片。在此意义上,长期参考图片可指代可多次用作参考图片的图片,而短期参考图片可相对于长期参考图片较少次地用作参考图片。仅依赖于短期参考图片来进行预测可导致视频解码器30不能使用此类长期参考图片,所述长期参考图片对于译码效率或错误弹性可为有用的或需要的。
为了指定这些长期参考图片,视频编码器20可提供可与SPS中的一或多个图片相关联且用于对所述一或多个图片进行解码的长期参考图片的列表。在相关联的一或多个图片的切片的标头(其还可被称作“切片标头”)中,在一些例子中,视频编码器20可指定在对特定图片进行解码时将使用SPS中所指定的这些长期参考图片中的哪一者。视频编码器20常常指定识别SPS中所指定的长期参考图片中的将在对特定图片进行解码时使用的每一长期参考图片。通常,需要图片的所有切片标头应涉及相同的参考图片组信令。
在一些例子中,视频编码器20可确定存在于经解码图片缓冲器中但未在SPS中指定的长期参考图片列表中指定的将在对特定图片进行解码时使用的一或多个长期参考图片。在此例子中,视频编码器20可指定(或在视频译码的上下文中,“用信号通知”)被指派给存在于DPB中但未在SPS中指定的长期参考图片列表中指定的一或多个长期参考图片的POC值。
为了减小用信号通知这些POC值所需的位数目,视频编码器20可将POC值确定为指派给图片中的待解码的切片(其可被称作“当前切片”以用于类似原因)所对应的一个图片(在此图片是当前正被解码的图片的意义上,其可被称作“当前图片”)的POC值的函数。为了说明,视频编码器20可从当前切片所对应的当前图片的POC值减去长期参考图片的POC值以导出增量POC值。具体来说,所述增量POC值可由增量POC值的选定数目个最低有效位(LSB)表示。通过仅在切片标头中用信号通知增量POC LSB,视频编码器20可减小识别存在于经解码图片缓冲器中但未在与当前切片相关联的SPS中指定的长期参考图片所需的位数目;这些长期参考图片还被称作在切片标头中直接用信号通知。
先前,用于指定长期参考图片的POC值的增量POC LSB被熵编码以改善对错误的弹性且减小在位流中指定POC值所需的位数目。具体来说,在包含HEVC的各种视频译码标准中,这些先前的视频编码器使用表示为“ue(v)”的编码形式对直接在切片标头中用信号通知的长期参考图片的增量POC LSB进行编码。术语“ue(v)”指代被称作指数哥伦布译码的编码形式。
当待指定的值无正负号(当“e”指代指数哥伦布码中的指数时,所述值形成“ue(v)”的“u”)时,指数哥伦布译码涉及通过将等于比用以编码给定值的位数目少一的数目的零且随后指定所述给定值加一来用信号通知用于编码所述给定值的位数目。举例来说,如果增量POC LSB值是0001,那么视频编码器将此值编码为0(指示可使用一个位来用信号通知所述值,即,在此实例中是1),随后编码为10(给定一加一的值的二,其在二进制中被指定为10),从而输出指数哥伦布码010。
因为指数哥伦布码是可变长度译码的形式(其可涉及这些码是不固定的或具有一致长度,且替代地基于何值被译码而变化),所以指数哥伦布译码一般仅适合于对具有值的一定统计分布的信息进行编码。更具体来说,指数哥伦布译码适合于对统计上有可能被指定为小数目的信息进行译码。计算用于指定当前图片POC值的增量POC LSB一般涉及计算值一(给定在用信号通知当前图片的POC值的上下文中从先前图片POC值减去当前POC值以导出增量POC LSB)。因此,选择指数哥伦布译码来对用于指定当前图片的POC值的这些增量POC LSB值进行编码。然而,用于指定长期参考图片的增量POC LSB值表示具有不良好地适合于指数哥伦布译码的极大不同的分布的信息。
根据本发明中所描述的技术的第一方面,不使用指数哥伦布译码对识别存在于经解码图片缓冲器中但未在相关联的SPS中指定的长期参考图片的增量POC LSB进行编码,视频编码器20可使用可变固定一元码直接指定(或者,换句话说,用信号通知)此类长期参考图片的POC LSB。也就是说,视频编码器20可指定用于用信号通知与当前图片相关联的切片标头中的这些POC LSB的位数目。所指定的位数目向视频解码器用信号通知将从位流解析且表示识别存在于经解码图片缓冲器中但未在相关联的SPS中指定的长期参考图片的位的数目。给定在此POC LSB值的上下文中的较宽的值分布,所述技术可通过将这些POC LSB编码为一致长度(且在可针对每一切片用信号通知或导出所述一致长度的意义上是可变的)的无正负号二进制数目(在各种视频译码标准中表示为“u(v)”)来提高位节省。
在操作中,视频编码器20可以上文所描述的方式针对视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片。视频编码器20可随后在表示所述视频数据的经编码版本的位流中确定将用于表示识别长期参考图片的POC值的一组一或多个LSB的位数目。换句话说,视频编码器20可用再次表示无正负号二进制编码的“u”来确定表示为“u(v)”的无正负号二进制编码中的“v”。
常常基于消除LTRP与存储于DPB中的其它LTRP或任何其它参考图片的歧义所需的LSB的数目来界定LSB的此数目。换句话说,此数目可基于切片、图片或GOP而变化。在一些例子中,可针对整个位流或其部分来界定LSB的数目。在一些例子中,用于识别POC值的LSB的数目被预先界定,使得不需要用信号通知LSB的数目。在一些例子中,可针对每一图片例如在切片标头中用信号通知LSB的数目。在一些例子中,可针对若干图片例如在SPS或PPS中用信号通知LSB的数目。在一些例子中,可基于针对视频数据的当前图片和/或先前经编码图片而确定的语法元素来导出用于识别POC值的LSB的数目,其中给定视频解码器30可执行类似的导出过程来导出用于表示POC LSB的位数目“v”的情况下,视频编码器20可随后不需要用信号通知用于表示此POC LSB的位数目。
在任何情况下,视频编码器20可随后使用用于表示识别长期参考图片的POC值的一组一或多个LSB的数目的所确定的位数目来在位流中指定识别LTRP的POC值的一组一或多个LSB。换句话说,视频编码器20可使用位数目“v”在位流中将上文所述的POC LSB指定为无正负号二进制数目。视频编码器20还可使用LTRP对当前图片的至少所述部分进行编码。视频编码器20可在位流中将POC LSB指定为长度上为“v”个位的无正负号二进制值之前、之后或同时地对当前图片的至少所述部分进行编码。视频编码器20可随后将此位流发射到视频解码器30或存储此位流以供视频解码器30稍后检索。
视频解码器30可接收表示已根据本发明中所描述的技术进行编码的经编码视频数据的位流。视频解码器30的熵解码模块150可首先针对经编码视频数据的当前图片的切片确定用于指定识别在解码当前图片中使用的LTRP的POC值的一组一或多个LSB的位数目。在一些实例中,可在位流中,例如在如上文描述的切片标头、SPS或PPS中将所述位数目显式地用信号通知为语法元素。在其它实例中,可将所述位数目导出为在SPS、PPS和切片标头中的任何一或多者中指定的其它语法元素的函数。
视频解码器30可随后从位流解析所确定的位数目,其中所解析的所确定的位数目表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的POC值的所述组一或多个LSB。所确定的位数目可指定什么已被称作以上POC LSB。视频解码器30可随后基于POC LSB从经解码图片缓冲器检索将在对所述当前图片的至少所述部分进行解码时使用的LTRP。
为了从经解码图片缓冲器检索此LTRP,视频解码器30可将识别LTRP的POC值的最低有效位与和存储于经解码图片缓冲器中的至少一个图片相关联的POC值的相同数目的最低有效位进行比较。视频解码器30检索存储于所述经解码图片缓冲器中的至少一个图片中的一者以用作在对当前图片进行解码中的长期参考图片,所述长期参考图片具有与存储于所述经解码图片缓冲器中的所述至少一个图片中的所述一者相关联的POC值的与将用于对当前图片进行解码的LTRP的所确定的最低有效位相同的LSB。换句话说,视频解码器30可使POC LSB与存储于经解码图片缓冲器中的图片的POC值的最低有效位匹配,且识别具有匹配的POC LSB的图片以作为存在于经解码图片缓冲器中但未在与当前图片相关联的SPS中指定的长期参考图片
视频解码器30可随后使用由所导出的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。换句话说,针对当前图片的当前切片的译码单元所指定的一或多个运动向量可参考由POC LSB识别的LTRP。视频解码器30可在执行运动补偿时将这些各种块用作参考块来检索由这些运动向量识别的LTRP的各种块。视频解码器30可将针对当前图片的当前切片的块所译码的残余数据添加到这些参考块以产生视频数据的经解码块,且进而构造原始视频数据。视频解码器30可将视频数据的经解码块存储到经解码图片缓冲器以供稍后用于解码后续的图片和/或用于显示。视频解码器可随后与上文所描述类似地对当前图片的其它切片(如果有)进行解码。
如上文所述,视频编码器20可在当前图片的切片标头中指定(或“用信号通知”)增量图片次序计数最低有效位(“增量POC LSB”)或直接POC LSB,以识别存在于经解码图片缓冲器中但未在与当前图片相关联的序列参数集(SPS)中指定的长期参考图片。当指定这些(增量)POC LSB时,视频编码器20通常分析这些所指定的(增量)POC LSB中的每一者,以确保这些(增量)POC LSB中的一或多者不是冗余的或相同的。
为了说明,假设视频编码器20将在切片的切片标头或待编码的当前图片的其它部分中指定五个长期参考图片。另外,假设这些五个长期参考图片中的两者已在与当前图片相关联的SPS中指定,从而使五个长期参考图片中的剩余三者被用信号通知为当前图片的直接POC LSB。视频编码器20可用信号通知所述五个长期参考图片中的前两者中的每一者的索引,其中每一索引识别在与当前图片相关联的SPS中指定的长期参考图片中的一者。
在这些假设下,视频编码器20可在切片标头中指定以下内容来用信号通知在对当前图片进行解码时使用的长期参考图片(其中通常需要图片的所有切片标头应具有相同的参考图片组信令):
以下描述是基于POC LSB。然而,相同的描述也适用于增量POC LSB。
如上文所述,以上项目1到5中的每一者实际上识别不同的POC值。然而,在各种例子中,当仅用信号通知直接POC LSB时,可能存在若干问题(归因于模糊性),所述问题可能让视频解码器30无法有效地确定哪些长期参考图片既定用于对当前切片进行解码。假设仅三个最低有效位用于用信号通知POCLSBA,那么POCLSBA等于0012。但是,indexA也识别POC值400110,这意味着POC值400110也存在于经解码图片缓冲器中。给定在经解码图片缓冲器中存在具有为0012的POC LSB的两个图片,视频解码器30可能无法检索用于当前图片的任何LTRP,因为不清楚视频解码器30在对当前图片进行解码时既定使用哪些LTRP。
因此,常规的视频编码器分析在切片标头中用信号通知的每一长期参考图片的POCLSB(包含被用信号通知为索引的长期参考图片),以确保不存在用于在切片标头中用信号通知的每一长期参考图片的冗余或模糊地用信号通知的POC LSB。当识别出模糊的增量POC LSB时,这些常规的视频编码器还对模糊的POC LSB中的每一者或至少一者的最高有效位进行编码,进而潜在地确保在切片标头中用信号通知的每一增量POC LSB唯一地识别所述切片标头的上下文内的POC值。也就是说,这些视频编码器可确保增量POC LSB中的每一者唯一地用信号通知在切片标头中指定的所述组POC值内的POC值。
但是,确保在切片标头中用信号通知的POC值相对于彼此是被唯一地用信号通知不足以充分地使视频解码器能够从经解码图片缓冲器检索这些长期参考图片。为了说明,考虑以上实例,但还假设在经解码图片缓冲器中存在由POC值400510识别的另一长期参考图片。当进行检查以确保不存在与切片标头中所指定的任何其它POC值的冲突时,视频编码器确定:在切片标头中用信号通知的任何其它POC值的上下文中,此值不会模糊地用信号通知POC值500510,且将POCLSBc指定为1012(其简单地为510),而不指定最高有效位中的任一者。
在这些假设下,视频解码器30将从当前切片的位流解析POCLSBc,且尝试检索由POCLSBc(1012或510)识别的长期参考图片。但是,给定在经解码图片缓冲器中存在具有为1012的POC LSB的两个图片,视频解码器30可能无法检索用于当前图片的任何LTRP,因为不清楚视频解码器30在对当前图片进行解码时既定使用哪一LTRP。
根据本发明中所描述的技术,视频编码器20经配置以当确定是否需要用信号通知额外最高有效位(MSB)信息来用于消除增量POC LSB的歧义时分析存在于整个经解码图片缓冲器中的每一图片。换句话说,视频编码器20确定识别经解码图片缓冲器中的图片的每一POC值的POC LSB(或增量POC LSB,其取决于实施方案)。当执行对切片标头中用信号通知的POC LSB的分析时,视频编码器20确定针对在切片标头中用信号通知的长期参考图片中的每一者而确定的POC LSB相对于针对识别经解码图片缓冲器中的图片的每一POC值而确定的POC LSB中的每一者是否为唯一的。如果确定在切片标头中用信号通知的这些POC LSB中的一者不是唯一的,那么视频编码器20可随后用信号通知POC值的充分的最高有效位(MSB),以便使得视频编码器30能够正确地识别长期参考图片的POC值。在一些例子中,一或多个最低有效位的所述数目在加上一或多个最高有效位的数目时产生小于用以指定图片次序计数值的位的总数目的总数。
在操作中,视频编码器20针对视频数据的当前图片确定识别将在对当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位。视频编码器20可随后确定这些最低有效位是否足以从存储到长期参考图片也存储到(或将依据存储长期参考图片的次序而存储,与作出此确定时形成对比)的经解码图片缓冲器的任何其它参考图片明确地识别长期参考图片。
当识别被存储到长期参考图片也存储到的此经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,视频编码器20可确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位。视频编码器20可随后在表示视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的长期参考图片的图片次序计数值的所确定的一或多个最低有效位和所确定的一或多个最高有效位两者。视频编码器20可随后使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
换句话说,不再仅仅确定识别长期参考图片的POC LSB足以从在SPS、PPS和/或切片标头中指定的任何其它长期参考图片唯一地识别长期参考图片,视频编码器20可确定识别长期参考图片的POC LSB足以从存储到整个DPB的任何其它长期参考图片唯一地识别长期参考图片。而且,一或多个最低有效位的所述数目在加上一或多个最高有效位的数目时产生小于用以指定图片次序计数值的位的总数目的总数。在此方面中,视频编码器20可避免出现上文所述的问题的那些例子,其中当具有相同的POC LSB的两个或更多长期参考图片被存储到DPB但这些长期参考图片中的仅一者在SPS、PPS和/或切片标头中指定时,视频解码器无法通过用信号通知的POC LSB来正确地识别长期参考图片。因此,通过实施这些技术,视频编码器20可更稳健地对视频数据进行编码,这与常规的视频编码器形成对比,所述常规的视频编码器仅相对于在SPS、PPS和/或切片标头中用信号通知的那些长期参考图片来识别何时更稳健地对用信号通知的长期参考图片进行编码。
视频解码器30可接收表示视频数据的经编码版本(其还可被称作“经编码视频数据”)的此位流。视频编码器30可随后针对此经编码视频数据的当前图片确定识别将在对当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数的一或多个最低有效位。这些一或多个最低有效位相对于识别存在于长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位可能不唯一地识别所述长期参考图片的图片次序计数值。如上文所述,图片次序计数值的最低有效位可相对于任何其它图片次序计数值的最低有效位来唯一地识别长期参考图片的图片次序计数值,所述任何其它图片次序计数值是相对于识别将用作用于对当前图片的切片进行解码的候选者的任何其它长期参考图片的图片次序计数值而计算出的。
换句话说,给定在切片标头中用信号通知的任何其它长期参考图片的POC LSB全部唯一地识别其相应的长期参考图片的情况下,由不实施本发明中所描述的技术的常规的视频编码器执行的先前分析不会将POC LSB识别为模糊的。但是,这不意味着所述POC LSB相对于整个经解码图片缓冲器来唯一地识别所述长期参考图片。因为根据本发明的实例,视频编码器20已被修改以实施本发明中所描述的技术,所以视频编码器20扩展此分析以考虑存储到经解码图片缓冲器的每一及每个图片。因此,如上文所描述,视频编码器20可额外地用信号通知POC MSB,即使POC LSB对于存储到经解码图片缓冲器的给定图片子组(例如,在切片标头中用信号通知的子组)是唯一的也如此。
在此方面中,甚至当POC LSB对于存储到经解码图片缓冲器的给定图片子组是唯一的时,视频解码器30也确定识别长期参考图片的图片次序计数值的一或多个最高有效位。所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的图片次序计数(POC)值与识别经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开。视频解码器30随后可基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片。
视频解码器30可随后使用由所导出的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。换句话说,针对当前图片的当前切片的译码单元所指定的一或多个运动向量可参考由所导出的图片次序计数值识别的长期参考图片。视频解码器可在执行运动补偿时将这些各种块用作参考块来检索由这些运动向量识别的长期参考图片的各种块。视频解码器可将针对当前图片的当前切片的块所译码的残余数据添加到这些参考块以产生视频数据的经解码块。视频解码器可将视频数据的经解码块存储到经解码图片缓冲器以供稍后用于解码后续的图片和/或用于显示。视频解码器可随后与上文所描述类似地对当前图片的其它部分(如果有)进行解码。
图2是说明经配置以实施本发明的技术的视频编码器20的实例性配置的框图。图2是为了阐释的目的而提供,且不应被视为对本发明中广义上示范和描述的技术的限制。为了阐释的目的,本发明在HEVC译码的上下文中描述视频编码器20。然而,如上文所述,本发明的技术可适用于其它译码标准或方法。
在图2的实例中,视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理模块100、残差产生模块102、变换模块104、量化模块106、反量化模块108、反变换模块110、重构模块112,以及经解码图片缓冲器114和熵编码模块116。预测模块100包含运动估计模块122、运动补偿模块124和帧内预测模块126。
在其它实例中,视频编码器20可包含更多、更少或不同的功能组件。举例来说,视频编码器20可包含解块滤波器以对重构模块112的输出进行滤波以从经重构的视频移除成块性假影。此外,运动估计模块122与运动补偿模块124可高度集成,但出于阐释的目的而在图4的实例中分开地表示。
视频编码器20可接收视频数据。在各种实例中,视频编码器20可从各种源接收视频数据。举例来说,视频编码器20可从视频源18(图1)或另一源接收视频数据。所述视频数据可表示图片序列。所述图片可包含纹理视图和深度信息。为了对视频数据进行编码,视频编码器20可对每一图片序列执行编码操作。作为对图片序列执行编码操作的部分,视频编码器20可对图片序列内的每一图片执行编码操作。作为对图片执行编码操作的部分,视频编码器20可对图片中的每一切片执行编码操作。当视频编码器20对切片执行编码操作时,视频编码器20产生经译码切片。所述经译码切片是呈其经编码形式的切片。所述经译码切片可包含切片标头和切片数据。所述切片标头可含有与切片相关联的语法元素。
作为对切片执行编码操作的部分,视频编码器20可对切片中的树块执行编码操作。当视频编码器20对树块执行编码操作时,视频编码器20可产生经译码树块。所述经译码树块可包括表示树块的经编码版本的数据。换句话说,所述经译码树块可为呈其经编码形式的树块。所述技术在上文相对于H.264/AVC描述时可如下文所描述也相对于HEVC适用。在此方面中,所述技术不应受限于H.264或HEVC中的任一者,而是可适用于H.264/AVC和HEVC的上下文两者中。
作为对树块执行编码操作的部分,预测模块100可对树块执行四叉树分割以将树块划分为渐进更小的CU。举例来说,预测模块100可将树块分割为四个相等大小的子CU,将子CU中的一或多者分割为四个相等大小的子子CU,以此类推。
CU的大小的范围可从8×8像素直到具有最大64×64像素或更大的树块的大小。在本发明中,“N×N”与“N乘N”可以可互换地使用,以在垂直和水平尺寸方面指代视频块的像素尺寸,例如16×16像素或16乘16像素。一般来说,16×16块将具有在垂直方向上的16个像素(y=16)和在水平方向上的16个像素(x=16)。同样地,N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素,其中N表示非负整数值。
作为针对树块执行编码操作的部分,预测模块100可产生用于树块的分层四叉树数据结构。举例来说,树块可对应于四叉树数据结构的根节点。如果预测模块100将树块分割为四个子CU,那么所述根节点在所述四叉树数据结构中具有四个子节点。子节点中的每一者对应于子CU中的一者。如果预测模块100将子CU中的一者分割为四个子子CU,那么对应于CU的节点可具有四个叶节点,所述四个叶节点中的每一者对应于子子CU中的一者。
所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,从而指示对应于所述节点的CU是否被分割(即,分裂)为四个子CU。可递归地界定CU的语法元素,且所述语法元素可取决于CU是否被分裂为子CU。未被分割的CU可对应于四叉树数据结构中的叶节点。四叉树数据结构中的叶节点可被称作“译码节点”。经译码树块可包含基于对应树块的四叉树数据结构的数据。经译码树块是呈其经编码形式的树块。经译码树块对应于在经译码树块是呈其经编码形式的树块时的树块。
视频编码器20可对树块的每一未分割的CU执行编码操作。当视频编码器20对未分割的CU执行编码操作时,视频编码器20产生表示未分割的CU的经编码版本的数据。
作为对CU执行编码操作的部分,运动估计模块122和运动补偿模块124可对CU执行帧间预测。换句话说,运动估计模块122和运动补偿模块124可基于参考图片的经解码样本而不是含有CU的图片而产生CU的预测数据。帧间预测可提供时间压缩。
为了对CU执行帧间预测,运动估计模块122可将CU分割为一或多个预测单元(PU)。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N,视频编码器20和视频解码器30可支持2N×2N或N×N的PU大小,以及按2N×2N、2N×N、N×2N、N×N、2N×nN、nL×2N、nR×2N或类似者的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。在一些实例中,运动估计模块122可沿着不遇到CU的处于直角的边的边界将CU分割为PU。
运动估计模块122可关于CU的每一PU执行运动估计操作。当运动估计模块122关于PU执行运动估计操作时,运动估计模块122可产生用于PU的一或多个运动向量。举例来说,切片可为I切片、P切片或B切片。运动估计模块122和运动补偿模块124可依据CU在I切片、P切片还是B切片中而对CU的PU执行不同的操作。在I切片中,所有CU都被帧内预测。因此,如果CU在I切片中,那么运动估计模块122和运动补偿模块124不对CU执行帧间预测。
如果CU在P切片中,那么含有CU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于对解码次序中的后续图片进行帧间预测的样本。当运动估计模块122关于P切片中的PU执行运动估计操作时,运动估计模块122搜索列表0中的参考图片以寻找用于PU的参考样本。PU的参考样本可为最紧密地对应于PU的像素值的一组像素值。运动估计模块122可使用多种度量来确定参考图片中的一组像素值有多紧密地对应于PU的像素值。举例来说,运动估计模块122可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确定参考图片中的一组像素值有多紧密地对应于PU的像素值。
在识别P切片中的CU的PU的参考样本之后,运动估计模块122可产生指示列表0中的含有所述参考样本的参考图片的参考索引以及指示PU与参考样本之间的空间移位的运动向量。在各种实例中,运动估计模块122可根据不同的精确程度产生运动向量。举例来说,运动估计模块122可以四分之一像素精度、八分之一像素精度或其它分数像素精度产生运动向量。运动估计模块122可将PU的运动信息输出到熵编码模块56和运动补偿模块124。PU的运动信息可包含PU的参考索引和运动向量。运动补偿模块124可使用CU的PU的运动信息来识别和检索PU的参考样本。运动补偿模块124可随后使用PU的参考样本的像素值来产生CU的预测数据。
如果CU在B切片中,那么含有CU的图片可与被称作“列表0”和“列表1”的两个参考图片列表相关联。列表0中的参考图片中的每一者含有可用于对解码次序中的后续图片进行帧间预测的样本。列表1中的参考图片出现在解码次序中的图片之前但在呈现次序中的图片之后。在一些实例中,含有B切片的图片可与作为列表0和列表1的组合的列表组合相关联。
此外,如果CU在B切片中,那么运动估计模块122可对CU的PU执行单向预测或双向预测。当运动估计模块122对PU执行单向预测时,运动估计模块122可搜索列表1的参考图片以寻找PU的参考样本。运动估计模块122可随后产生指示列表1中的含有参考样本的参考图片的参考索引以及指示PU与参考样本之间的空间移位的运动向量。运动估计模块122可将CU的PU的运动信息输出到熵编码模块56和运动补偿模块124。PU的运动信息可包含PU的参考索引、预测方向指示符和运动向量。所述预测方向指示符可指示参考索引是否指示列表0或列表1中的参考图片。运动补偿模块124可使用CU的PU的运动信息来识别和检索PU的参考样本。运动补偿模块124可随后使用PU的参考样本的像素值来产生CU的预测数据。
当运动估计模块122对PU执行双向预测时,运动估计模块122可搜索列表0中的参考图片以寻找PU的参考样本,且还可搜索列表1中的参考图片以寻找PU的另一参考样本。运动估计模块122可随后产生指示参考样本的参考索引和指示参考样本与PU之间的空间移位的运动向量。运动估计模块122可将PU的运动信息输出到熵编码模块116和运动补偿模块124。PU的运动信息可包含PU的参考索引和运动向量。运动补偿模块124可使用所述运动信息来识别和检索PU的参考样本。运动补偿模块124可随后从CU的PU的参考样本中的像素值来内插CU的预测数据的像素值。
一般来说,预测模块100可实施本发明中所描述的技术来形成上述RPS,且产生识别RPS中的参考图片的SPS和/或切片层级语法元素。预测模块100可表示实施在上文更详细地描述的技术的硬件或组合硬件与软件单元(其可包含在更大的硬件或组合硬件与软件单元内)。
作为对CU执行编码操作的部分,帧内预测模块126可对CU执行帧内预测。换句话说,帧内预测模块126可基于其它CU的经解码像素值而产生CU的预测数据。帧内预测可提供空间压缩
为了对CU执行帧内预测,帧内预测模块126可使用多个帧内预测模式来产生CU的多组预测数据。当帧内预测模块126使用帧内预测模式来产生CU的一组预测数据时,帧内预测模块126可将CU分割为一或多个PU。帧内预测模块126可随后针对PU中的每一者在与帧内预测模式相关联的方向和/或梯度上将来自相邻PU的像素值扩展越过PU。假设用于PU、CU和树块的从左到右、从上到下编码次序,所述相邻PU可在PU的上方、右上方、左上方,或左边。帧内预测模块46可使用各种数目的帧内预测模式,例如33种方向性帧内预测模式,其取决于CU的大小。
帧内预测模块126可选择CU的多组预测数据中的一者。在各种实例中,帧内预测模块126可以各种方式选择CU的所述组预测数据。举例来说,帧内预测模块126可通过计算所述多组预测数据的失真速率且选择具有最低失真速率的所述组预测数据来选择CU的所述组预测数据。
预测模块100可从由运动补偿模块124针对CU产生的预测数据或者由帧内预测模块126针对CU产生的预测数据中选择CU的预测数据。在一些实例中,预测模块100基于多组预测性数据中的误差(即,失真)来选择CU的预测数据。
在预测模块100选择了CU的预测数据之后,残差产生模块102可通过从CU的像素值减去CU的选定预测数据来产生CU的残余数据。CU的残余数据可包含对应于CU中的像素的不同像素分量的2D残余块。举例来说,残余数据可包含对应于CU的预测数据中的像素的亮度分量与CU的原始像素中的像素的亮度分量之间的差的残余块。另外,CU的残余数据可包含对应于CU的预测数据中的像素的色度分量与CU的原始像素的色度分量之间的差的残余块。
CU可包含一或多个变换单元(TU)。CU的每一TU可对应于CU的残余数据的不同部分。CU的TU的大小可基于或可不基于CU的PU的大小。在一些实例中,可使用被称为“参与四叉树”(RQT)的四叉树结构将CU细分为更小的单元。TU可对应于RQT的叶节点。
变换模块104可通过将变换应用于对应于TU的残余数据而产生CU的每一TU的一或多个系数块。系数块中的每一者可为系数的2D矩阵。在各种实例中,变换模块104可将各种变换应用于对应于TU的残余数据。举例来说,变换模块可应用离散余弦变换(DCT)、方向性变换或概念上类似的变换。
在变换模块104产生TU的系数块之后,量化模块106可量化系数块中的系数。量化一般指代其中将系数块中的系数量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间下舍入到m位值,其中n大于m。
反量化模块108及反变换模块110可分别向系数块应用反量化及反变换,以从系数块重构残余数据。重构模块112可将经重构的残余数据添加到由运动补偿模块124或帧内预测模块126产生的预测数据,以产生用于存储在经解码图片缓冲器114中的经重构视频块。运动估计模块122和运动补偿模块124可使用含有经重构视频块的参考图片来对后续图片的CU执行帧间预测。另外,帧内预测模块126可使用当前图片的CU的经重构像素值来执行帧内预测。
熵编码模块116可从视频编码器20的其它功能组件接收数据。举例来说,熵编码模块116可从量化模块106接收系数块,且可从预测模块100接收语法元素。当熵编码模块116接收数据时,熵编码模块116可执行一或多个熵编码操作以产生经熵编码数据。举例来说,视频编码器20可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作,或另一类型的熵编码操作。
熵编码模块116输出包含一连串NAL单元的位流。如上文所论述,NAL单元中的每一者可为含有NAL单元中的数据的类型的指示的语法结构和含有数据的字节。位流中的每一经译码切片NAL单元含有经译码切片。经译码切片包含经译码切片标头和切片数据。所述切片数据可包含经译码树块。所述经译码树块可包含一或多个经译码CU。每一经译码CU可包含一或多个经熵编码系数块。熵编码模块116可输出位流以用于实时的或准实时的解码或用于存储且稍后由解码器30解码。
如上文所描述,视频编码器20可根据本发明的技术的第一方面对视频数据进行编码。为了根据所述技术的第一方面对视频数据进行编码,视频编码器20的运动估计模块122可以上文所描述的方式针对视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片。在一些例子中,此长期参考图片是存在于经解码图片缓冲器114中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片。
运动估计模块122可随后在表示所述视频数据的经编码版本的位流中确定将用于表示识别长期参考图片的POC值的一或多个LSB的位数目。换句话说,运动估计模块122可用再次表示无正负号二进制编码的“u”来确定表示为“u(v)”的无正负号二进制编码中的“v。”常常基于消除LTRP与存储到DPB的其它LTRP或任何其它参考图片的歧义所需的LSB的数目来界定LSB的此数目。换句话说,此数目可基于切片、图片或GOP而变化。在一些例子中,可针对整个位流或其部分来界定LSB的数目。在一些例子中,用于识别此差的LSB的数目在统计上或被预先界定,例如在HEVC标准中。在一些例子中,可基于针对视频数据的当前图片和/或先前经编码图片而确定的语法元素来导出用于识别LTRP的LSB的数目,其中给定运动估计模块122可执行类似的导出过程来导出用于表示POC LSB的位数目“v”的情况下,运动估计模块122可随后不需要用信号通知用于表示此POC LSB的位数目。
在任何情况下,运动估计模块122可随后将POC值的这些一或多个LSB传递到熵编码模块116,所述熵编码模块可使用用于表示识别长期参考图片的图片次序计数值的一或多个最低有效位的数目的所确定的位数目来在位流中指定识别LTRP的POC值的一或多个LSB。换句话说,熵编码模块116可使用位数目“v”在位流中将上文所述的POCLSB指定为无正负号二进制数目。通常,熵编码模块116指定识别在与所述当前图片的至少所述部分相关联的切片标头中的长期参考图片的图片次序计数值的一或多个最低有效位。
在一些例子中,运动估计模块122基于先前针对视频数据的当前图片和先前经编码图片中的一或多者而确定的语法元素来在所述位流中确定用于表示识别长期参考图片的图片次序计数值的一或多个最低有效位的位数目,以便避免在所述位流中指定用于表示识别长期参考图片的图片次序计数值的一或多个最低有效位的所确定的位数目。在一些实例中,例如,当从其它语法元素未导出位数目“v”时(常常作为实施选择),熵编码模块116还在所述位流中指定用于表示识别长期参考图片的图片次序计数值的一或多个最低有效位的所确定的位数目。视频编码器20的各种模块(包含运动估计模块122、运动补偿单元124、求和器102、变换模块104、量化模块106和熵编码模块116)可随后使用LTRP对当前图片的至少所述部分进行编码。
视频编码器20还可实施潜在地与本发明中所描述的技术的第一方面结合的本发明中所描述的技术的第二方面。根据所述技术的第二方面,运动估计模块122针对视频数据的当前图片确定识别将在对当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的一或多个最低有效位。运动估计模块122可随后确定这些最低有效位是否足以从存储到长期参考图片也存储到(或将依据存储长期参考图片的次序而存储,与作出此确定时形成对比)的经解码图片缓冲器114的任何其它参考图片明确地识别所述长期参考图片。
运动估计模块122可通过至少部分地确定识别存储到经解码图片缓冲器114的其它图片中的相应一者的至少一个图片次序计数值的最低有效位来确定这些最低有效位是否足以从存储到经解码图片缓冲器114的任何其它参考图片明确地识别所述长期参考图片。运动估计模块122可随后确定此图片次序计数值的最低有效位是否与识别长期参考图片的图片次序计数值的所确定的最低有效位相同。如果这些两个图片次序计数值最低有效位是相同的,那么运动估计模块122可随后确定将在对当前图片的至少所述部分进行编码和解码时使用的长期参考图片的图片次序计数值的最低有效位不足以唯一地识别适当的长期参考图片。然而,如果这些两个图片次序计数值最低有效位是不相同的,那么运动估计模块122可继续确定识别存储到经解码图片缓冲器114的另一长期参考图片的图片次序计数值的最低有效位,将所述两个图片次序计数最低有效位进行比较,直到找到匹配或者识别存储到经解码图片缓冲器114的图片的所有图片次序计数值已经历此比较为止。
当识别被存储到长期参考图片也存储到的经解码图片缓冲器114的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,运动估计模块122可确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位。为了确定所述图片次序计数值的所述一或多个最高有效位,运动估计模块122可确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的最高有效位,使得所述最高有效位与所述所确定的最低有效位的组合足以从识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值唯一地识别识别所述长期参考图片的所述图片次序计数值。
运动估计模块122可随后将这些最低有效位和最高有效位转发到熵编码模块116。熵编码模块116可在表示视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的长期参考图片的图片次序计数值的所确定的一或多个最低有效位和所确定的一或多个最高有效位两者。视频编码器20的各种模块(包含运动估计模块122、运动补偿单元124、求和器102、变换模块104、量化模块106和熵编码模块116)可随后使用LTRP对当前图片的至少所述部分进行编码。
换句话说,不再仅仅确定识别长期参考图片的POC LSB足以从在SPS、PPS和/或切片标头中指定的任何其它长期参考图片唯一地识别长期参考图片,运动补偿模块122可确定识别长期参考图片的POC LSB足以从存储到经解码图片缓冲器114的任何其它长期参考图片唯一地识别所述长期参考图片。在此方面中,视频编码器20可避免出现上文所述的问题的那些例子,其中当具有相同的POC LSB的两个或更多长期参考图片被存储到DPB但这些长期参考图片中的仅一者在SPS、PPS和/或切片标头中指定时,视频解码器无法通过用信号通知的POC LSB来正确地识别长期参考图片。因此,通过实施这些技术,视频编码器20可更稳健地对视频数据进行编码,这与常规的视频编码器形成对比,所述常规的视频编码器仅相对于在SPS、PPS和/或切片标头中用信号通知的那些长期参考图片来识别何时更稳健地对用信号通知的长期参考图片进行编码。
图3为说明视频解码器30的实例性配置的框图。图3是为了阐释的目的而提供,且不对本发明中广义上示范和描述的技术进行限制。为了阐释的目的,本发明在HEVC译码的上下文中描述视频解码器30。然而,本发明的技术可适用于其它译码标准或方法。
在图3的实例中,视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码模块150、预测模块152、反量化模块154、反变换模块156、重构模块158以及经解码图片缓冲器160。预测模块152包含运动补偿模块162和帧内预测模块164。在一些实例中,视频解码器30可执行一般与关于图2的视频编码器20所描述的编码回合互逆的解码回合。在其它实例中,视频解码器30可包含更多、更少或不同的功能组件。举例来说,视频解码器30可包含解块滤波器以对重构模块158的输出进行滤波以从经重构的视频移除成块性假影。
视频解码器30可接收包括经编码视频数据的位流。当视频解码器30接收位流时,熵解码模块150对所述位流执行解析操作。作为对位流执行解析操作的结果,熵解码模块150可产生经熵解码语法元素。所述经熵解码语法元素可包含经熵解码系数块。预测模块152、反量化模块154、反变换模块156和重构模块158可执行使用语法元素来产生经解码视频数据的解码操作。
在一些实例中,熵解码模块150可根据在上文更详细地描述的技术的各种方面来解析与用于识别参考图片和形成参考图片的图片次序计数的位相关的语法元素。熵解码模块150可将这些语法元素提供给预测模块152,所述预测模块可实施本发明中所描述的技术来从所述位确定图片次序计数、形成包含与图片次序计数相关联或由图片次序计数识别的参考图片的参考图片组,且使用所述参考图片组对视频数据的一或多个经编码图片进行解码。
如上文所论述,所述位流可包括一连串NAL单元。位流的NAL单元可包含序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元,等等。作为对位流执行解析操作的部分,熵解码模块150可执行解析操作,所述解析操作从序列参数集NAL单元提取序列参数集并对其进行解码、从图片参数集NAL单元提取图片参数集并对其进行解码、从SEI NAL单元提取SEI数据并对其进行解码等等。序列参数集是含有适用于零个或更多的整个经译码视频序列的语法元素的语法结构。图片参数集是含有适用于零个或更多的整个经译码图片的语法元素的语法结构。与给定图片相关联的图片参数集可包含识别与给定图片相关联的序列参数集的语法元素。
另外,位流的NAL单元可包含经译码切片NAL单元。作为对所述位流执行解析操作的部分,熵解码单元150可执行从经译码切片NAL单元提取经译码切片并对其进行熵解码的解析操作。所述经译码切片中的每一者可包含切片标头和切片数据。所述切片标头可含有与切片相关的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码模块150可对经译码切片标头执行熵解码操作,例如CAVLC解码操作,以恢复切片标头。
在从经译码切片NAL单元提取切片数据之后,熵解码模块150可从切片数据提取经译码树块。熵解码模块150可随后从经译码树块提取经译码CU。熵解码模块150可执行从经译码CU提取语法元素的解析操作。所述所提取的语法元素可包含经熵编码系数块。熵解码模块150可随后对所述语法元素执行熵解码操作。举例来说,熵解码模块150可对系数块执行CABAC操作。
当熵解码模块150对一组数据执行熵解码操作时,熵解码模块150可选择上下文模型。在其中熵解码模块150使用CABAC的实例中,上下文模型可指示特定二进位的概率。在其中熵解码模块150使用CAVLC的实例中,上下文模型可指示码字与对应数据之间的映射。熵解码模块150可随后使用选定上下文模型对所述组数据执行熵解码操作。在熵解码模块150对未分割的CU执行解析操作之后,视频解码器30可对未分割的CU执行解码操作。为了对未分割的CU执行解码操作,视频解码器30可在CU的残余四叉树的每一层级处对CU的每一TU执行解码操作。通过对CU的每一TU执行解码操作,视频解码器30可重构CU的残余数据。
作为对未分割的TU执行解码操作的部分,反量化模块154可将与TU相关联的系数块反量化,即,解量化。反量化模块154可以类似于针对HEVC而提出或由H.264解码标准界定的反量化过程的方式将系数块反量化。反量化模块154可使用由视频编码器20针对系数块的CU所计算的量化参数QPY来确定量化程度,以及同样反量化模块154要应用的反量化的程度。
在反量化模块154对系数块进行反量化之后,反变换模块156可产生与系数块相关联的TU的残余数据。反变换模块156可至少部分地通过将反变换应用于系数块来产生TU的残余数据。举例来说,反变换模块156可向系数块应用反DCT、反整数变换、反卡胡嫩-罗孚(Karhunen-Loeve)变换(KLT)、反旋转变换、反方向性变换,或另一反变换。在一些实例中,反变换模块156可基于来自视频编码器20的信令来确定要应用于系数块的反变换。在此些实例中,反变换模块156可基于在与系数块相关联的树块的四叉树的根节点处的用信号通知的变换来确定反变换。在其它实例中,反变换模块156可从一个或一个以上译码特性(例如,块大小、译码模式等)来推断反变换。在一些实例中,反变换模块156可应用级联反变换。
如果使用帧间预测对CU进行编码,那么运动补偿模块162可执行运动补偿以产生CU的预测数据。运动补偿模块162可使用CU的PU的运动信息来识别PU的参考样本。PU的运动信息可包含运动向量、参考图片索引和预测方向。运动补偿模块162可随后使用PU的参考样本来产生CU的预测数据。
在一些实例中,运动补偿模块162可通过基于内插滤波器执行内插来细化CU的预测数据。待用于具有子像素精度的运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿模块162可使用由视频编码器20在CU的预测数据的产生期间所使用的相同内插滤波器来计算参考块的子整数像素的内插值。运动补偿模块162可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测数据。
如果使用帧内预测对CU进行编码,那么帧内预测模块164可执行帧内预测以产生CU的预测数据。举例来说,帧内预测模块164可基于位流中的语法元素来确定PU的帧内预测模式。帧内预测模块164可随后使用帧内预测模式以基于相邻CU的像素值来产生CU的预测数据(例如,所预测的像素值)。
重构模块158可使用CU的残余数据和CU的预测数据来重构CU的像素值。在一些实例中,视频解码器30可应用解块滤波器以从切片或图片的经重构像素值滤波器移除成块性假影。经解码图片缓冲器160可存储视频数据的图片的经解码像素值。经解码图片缓冲器160可提供参考图片以用于后续的运动补偿、帧内预测以及在显示装置(例如,图1的显示装置32)上的呈现。
如上所述,视频解码器30可实施或经配置以执行上文所描述的技术的第一方面。视频解码器30的熵解码模块150可接收表示已根据本发明中所描述的技术的第一方面进行编码的经编码视频数据的位流。熵解码模块150可首先针对经编码视频数据的当前图片的一部分确定用于指定识别在解码当前图片中使用的LTRP的POC值的一或多个LSB的位数目。在一些实例中,可在位流中,例如在如上文描述的切片标头中将所述位数目显式地用信号通知为语法元素。在其它实例中,熵解码模块150可将所述位数目导出为在SPS、图片参数集(PPS)和切片标头中的任何一或多者中指定的其它语法元素的函数。
熵解码模块150可随后从位流解析所确定的位数目,其中所解析的所确定的位数目表示识别LTRP的POC的一或多个LSB。识别所述长期参考图片的所述图片次序计数值常常是识别存在于经解码图片缓冲器160中但未被指定为与当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。所确定的位数目可指定什么已被称作以上POC LSB。熵解码模块150可将POC值LSB传递到运动补偿模块162。运动补偿模块162可随后基于POC LSB从经解码图片缓冲器160检索将在对所述当前图片的至少所述部分进行解码时使用的LTRP。
为了从经解码图片缓冲器检索此LTRP,运动补偿模块162可将识别LTRP的POC值的最低有效位与和存储到经解码图片缓冲器160的至少一个图片相关联的POC值的相同数目的最低有效位进行比较。运动补偿模块162检索存储到经解码图片缓冲器160的至少一个图片中的一者以用作在对当前图片进行解码中的长期参考图片,所述长期参考图片具有与存储到经解码图片缓冲器160的所述至少一个图片中的所述一者相关联的POC值的与将用于对当前图片进行解码的LTRP的所确定的最低有效位相同的LSB。换句话说,运动补偿模块162可使POC LSB与存储于经解码图片缓冲器160中的图片的POC值的最低有效位匹配,且识别具有匹配的POC LSB的图片以作为存在于经解码图片缓冲器160中但未在与当前图片相关联的SPS中指定的长期参考图片。
运动补偿模块162可随后使用由所导出的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。换句话说,针对当前图片的当前切片的译码单元所指定的一或多个运动向量可参考由POC LSB识别的LTRP。运动补偿模块162可在执行运动补偿时将这些各种块用作参考块来检索由这些运动向量识别的LTRP的各种块。视频解码器30可将针对当前图片的当前切片的块所译码的残余数据添加到这些参考块以产生视频数据的经解码块,且进而构造原始视频数据,如上文所描述。视频解码器30可将视频数据的经解码块存储到经解码图片缓冲器160以供稍后用于解码后续的图片。视频解码器可随后与上文所描述类似地对当前图片的其它切片(如果有)进行解码。
视频解码器30还可实施潜在地与本发明中所描述的技术的第一方面结合的本发明中所描述的技术的第二方面。根据所述技术的第二方面,熵解码模块150可针对此经编码视频数据的当前图片确定识别将在对当前图片的至少一部分进行编码时使用的长期参考图片的图片次序计数值的最低有效位。这些一或多个最低有效位相对于识别存在于长期参考图片也存储到的经解码图片缓冲器160中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位可能不唯一地识别所述长期参考图片的图片次序计数值。如上文所述,图片次序计数值的最低有效位可相对于任何其它图片次序计数值的最低有效位来唯一地识别长期参考图片的图片次序计数值,所述任何其它图片次序计数值是相对于识别将用作用于对当前图片的切片进行解码的候选者的任何其它长期参考图片的图片次序计数值而确定的。
在此方面中,甚至当增量POC LSB对于存储到经解码图片缓冲器160的给定图片子组是唯一的时,熵解码模块150也可确定识别长期参考图片的图片次序计数值的最高有效位。所述最高有效位与所确定的最低有效位的组合潜在地足以将识别所述长期参考图片的图片次序计数值与识别经解码图片缓冲器160中的任何其它图片的任何其它图片次序计数值区分开。熵解码模块150可将所述最低有效位和最高有效位传递到运动补偿模块162。运动补偿模块162随后可基于所述图片次序计数值的所述所确定的最低有效位和所述图片次序计数值的所述所确定的最高有效位从经解码图片缓冲器160检索所述长期参考图片。运动补偿模块162(结合模块154、156和158中的一或多者)可随后使用由所确定的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。
图4是说明在执行本发明中所描述的技术的第一方面中的视频编码器的示范性操作的流程图。作为一个实例,图2的实例中所示的视频编码器20可根据本发明的技术的第一方面对视频数据进行编码。为了根据所述技术的第一方面对视频数据进行编码,视频编码器20的运动估计模块122可以上文所描述的方式针对视频数据的当前图片确定将在对所述视频数据的当前图片执行帧间预测时使用的长期参考图片(170)。在一些例子中,此长期参考图片是存在于经解码图片缓冲器114中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片。
运动估计模块122可通过上文所描述的图片次序计数值来识别此选定的长期参考图片。运动估计模块122可存取序列参数集以确定识别选定的长期参考图片的图片次序计数值是否存在于所述序列参数集中,所述序列参数集可如上所述表示为“SPS”(172)。换句话说,运动估计模块122可通过确定SPS是否包含(作为一个实例)识别此选定的长期参考图片的图片次序计数值来确定此SPS是否已经用信号通知此长期参考图片。当SPS包含所述图片次序计数值(“是”172)时,运动估计模块122确定在用于对当前图片进行译码的SPS中用信号通知的图片次序计数值列表(作为一个实例)中的图片次序计数值所识别的此长期参考图片的索引(174)。运动估计模块122可随后将此索引传递到熵编码模块116。熵编码模块116可随后在表示视频数据的经编码版本的位流中指定所述长期参考图片的索引(176)。
然而,如果识别所述选定的长期参考图片的图片次序计数值未在SPS中指定(“否”172)时,运动估计模块122可随后确定将用于表示识别所述长期参考图片的POC值的一或多个LSB的位数目,如上文所描述(178)。运动估计模块122可随后将这些POC值的这些一或多个LSB传递到熵编码模块116。熵编码模块116可使用用于表示识别长期参考图片的图片次序计数值的一或多个最低有效位的所确定的位数目来在位流中指定识别LTRP的POC值的一或多个LSB(180)。
视频编码器20可随后使用由所述图片次序计数值识别的长期参考图片来对当前图片的所述部分进行编码。换句话说,运动补偿模块124还可经配置以通过以上文所描述的方式使用长期参考图片执行帧间预测来确定预测块(182)。运动补偿模块124随后基于所述预测块来确定残余视频块(184)。也就是说,运动补偿模块124随后通过从正经译码的当前视频块的像素值减去预测块的像素值从而形成作为像素差值的残余数据,而确定残余视频块。求和器50表示执行此减法运算的组件。
变换模块104可随后使用变换(例如,离散余弦变换(DCT)或概念上类似的变换)来变换残余块以确定变换系数(186)。变换模块104可将残余视频数据从像素(空间)域转换到变换域(例如,频域)。变换模块104可将所得的变换系数发送到量化单元54。量化模块106量化变换系数以进一步减小位速率(188)。量化过程可减少与系数中的一些或全部相关联的位深度。在量化之后,熵编码模块116对经量化变换系数进行熵编码(190)、将经熵量化变换系数插入到与图片次序计数值(其通常在与视频数据的经编码块相关联的切片标头中指定)的索引和/或最低有效位相关联的位流中。
图5是说明在执行本发明中所描述的技术的第一方面中的视频解码器的示范性操作的流程图。作为一个实例,视频解码器30实施或经配置以执行上文所描述的技术的第一方面。熵解码模块150可对表示经编码视频数据的位流进行解码以确定对应于所述经编码视频数据的块(其可表示一部分)的经量化变换系数(200)。熵解码模块150可随后将经量化变换系数传递到反量化模块154。反量化模块154可相对于经量化变换系数执行反量化以确定变换系数(202)。反变换模块156可随后相对于变换系数执行反变换以产生当前图片的残余数据(204)。
熵解码模块150还可解析位流以针对当前图片的块确定在对当前图片的所述块执行帧间预测时使用的长期参考图片(206)。熵解码模块150可确定所述长期参考图片是否已在与当前图片相关联的SPS中用信号通知(208)。如果此长期参考图片已在SPS中用信号通知(“是”208),那么熵解码模块150可确定如在SPS中的长期参考图片列表中指定的此长期参考图片的索引(210)。熵解码模块150可随后基于所述索引从SPS确定识别长期参考图片的图片次序计数(POC)值(212)。
然而,如果长期参考图片未在SPS中指定(“否”208)时,那么熵解码模块150确定用于用信号通知识别用于解码当前图片的所述长期参考图片的POC值的一或多个LSB的位数目(214)。在一些实例中,可在位流中,例如在如上文描述的切片标头中将所述位数目显式地用信号通知为语法元素。在其它实例中,熵解码模块150可将所述位数目导出为在SPS、图片参数集(PPS)和切片标头中的任何一或多者中指定的其它语法元素的函数。
熵解码模块150可随后从位流解析所确定的位数目,其中所解析的所确定的位数目将识别LTRP的POC的一或多个LSB表示为无正负号二进制数目(216)。识别所述长期参考图片的所述图片次序计数值常常是识别存在于经解码图片缓冲器160中但未被指定为与当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。而且,所确定的位数目可指定什么已被称作以上POC LSB。熵解码模块150可将POC值LSB传递到运动补偿模块162。运动补偿模块162可随后以上文所描述的方式基于POC LSB从经解码图片缓冲器160检索将在对所述当前图片的至少所述部分进行解码时使用的LTRP(218)。
运动补偿模块162检索存储到经解码图片缓冲器160的至少一个图片中的一者以用作在对当前图片进行解码中的长期参考图片,所述长期参考图片具有与存储到经解码图片缓冲器160的所述至少一个图片中的所述一者相关联的POC值的与将用于对当前图片进行解码的LTRP的所确定的最低有效位相同的LSB。换句话说,运动补偿模块162可使POC LSB与存储于经解码图片缓冲器160中的图片的POC值的最低有效位匹配,且识别具有匹配的POC LSB的图片以作为存在于经解码图片缓冲器160中但未在与当前图片相关联的SPS中指定的长期参考图片。
运动补偿模块162可随后使用由所导出的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。换句话说,针对当前图片的当前切片的译码单元所指定的一或多个运动向量可参考由POC LSB识别的LTRP。运动补偿模块162可在执行运动补偿时将这些各种块用作参考块来检索由这些运动向量识别的LTRP的各种块。视频解码器30可将针对当前图片的当前切片的块所译码的残余数据添加到这些参考块以产生视频数据的经解码块,且进而构造原始视频数据,如上文所描述。在此意义上,视频解码器30可基于长期参考图片和残余数据来重构当前图片的块(220)。视频解码器30可将视频数据的经解码块存储到经解码图片缓冲器160以供稍后用于解码后续的图片。视频解码器可随后与上文所描述类似地对当前图片的其它切片(如果有)进行解码。
图6是说明在执行本发明中所描述的技术的第二方面中的视频编码器的示范性操作的流程图。作为一个实例,视频编码器20经配置以实施潜在地与所述技术的第一方面结合的本发明中所描述的技术的第二方面。根据所述技术的第二方面,视频编码器20的运动估计模块122可针对视频数据的当前图片确定在对当前图片执行帧间预测时使用的长期参考图片(230)。运动补偿模块122可确定识别长期参考图片的图片次序计数值的一或多个最低有效位(232)。运动估计模块122可随后以上文所描述的方式确定这些最低有效位是否足以从存储到长期参考图片也存储到(或将依据存储长期参考图片的次序而存储,与作出此确定时形成对比)的经解码图片缓冲器114的任何其它参考图片明确地识别所述长期参考图片。
运动估计模块122可通过至少部分地确定识别存储到经解码图片缓冲器114的其它图片中的相应一者的至少一个图片次序计数值的最低有效位来确定这些最低有效位是否足以从存储到经解码图片缓冲器114的任何其它参考图片明确地识别所述长期参考图片。运动估计模块122可随后确定此图片次序计数值的最低有效位是否与识别长期参考图片的图片次序计数值的所确定的最低有效位相同。如果这些两个图片次序计数值最低有效位是相同的,那么运动估计模块122可随后确定将在对当前图片的至少所述部分进行编码和解码时使用的长期参考图片的图片次序计数值的最低有效位不足以唯一地识别适当的长期参考图片。然而,如果这些两个图片次序计数值最低有效位是不相同的,那么运动估计模块122可继续确定识别存储到经解码图片缓冲器114的另一长期参考图片的图片次序计数值的最低有效位,将所述两个图片次序计数最低有效位进行比较,直到找到匹配或者识别存储到经解码图片缓冲器114的图片的所有图片次序计数值已经历此比较为止。
换句话说,运动估计单元122可将所确定的最低有效位与识别存储到经解码图片缓冲器114的每个其它图片的每一图片次序计数值的最低有效位进行比较(234)。当识别被存储到长期参考图片也存储到的经解码图片缓冲器114的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时(“是”236),运动估计模块122可以上文所描述的方式确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所确定的图片次序计数值的一或多个最高有效位(238)。
运动估计模块122可随后将这些最低有效位和最高有效位转发到熵编码模块116。熵编码模块116可在表示视频数据的经编码版本的位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的最高有效位(240)。熵编码模块116还可在位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位(242)。
然而,当识别被存储到长期参考图片也存储到的经解码图片缓冲器114的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位不相同时(“否”236),运动估计单元122可仅转发识别所述长期参考图片的所述图片次序计数值的所述所确定的最低有效位,而不另外确定最高有效位,因为所述最低有效位相对于存储到经解码图片缓冲器114的那些图片唯一地识别所述长期参考图片。熵编码模块122可随后在位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位,而不指定最高有效位,因为所述最低有效位相对于存储到经解码图片缓冲器114的那些图片唯一地识别所述长期参考图片(242)。
视频编码器20可随后使用由所述图片次序计数值识别的长期参考图片来对当前图片的所述部分进行编码。换句话说,运动补偿模块124还可经配置以通过以上文所描述的方式使用长期参考图片执行帧间预测来确定预测块(244)。运动补偿模块124随后基于所述预测块来确定残余视频块(246)。也就是说,运动补偿模块124随后通过从正经译码的当前视频块的像素值减去预测块的像素值从而形成作为像素差值的残余数据,而确定残余视频块。求和器50表示执行此减法运算的组件。
变换模块104可随后使用变换(例如,离散余弦变换(DCT)或概念上类似的变换)来变换残余块以确定变换系数(248)。变换模块104可将残余视频数据从像素(空间)域转换到变换域(例如,频域)。变换模块104可将所得的变换系数发送到量化单元54。量化模块106量化变换系数以进一步减小位速率(250)。量化过程可减少与系数中的一些或全部相关联的位深度。在量化之后,熵编码模块116对经量化变换系数进行熵编码(252)、将经熵量化变换系数插入到与图片次序计数值(其通常在与视频数据的经编码块相关联的切片标头中指定)的索引和/或最低有效位相关联的位流中。
图7是说明在执行本发明中所描述的技术的第二方面中的视频解码器的示范性操作的流程图。作为一个实例,视频解码器30可实施潜在地与本发明中所描述的技术的第一方面结合的本发明中所描述的技术的第二方面。熵解码模块150可对表示经编码视频数据的位流进行解码以确定对应于所述经编码视频数据的块(其可表示一部分)的经量化变换系数(260)。熵解码模块150可随后将经量化变换系数传递到反量化模块154。反量化模块154可相对于经量化变换系数执行反量化以确定变换系数(262)。反变换模块156可随后相对于变换系数执行反变换以产生当前图片的残余数据(264)。
熵解码模块150还可解析位流以针对当前图片的块确定在对当前图片的所述块执行帧间预测时使用的长期参考图片。根据所述技术的第二方面,熵解码模块150可对识别将在对当前图片的至少一部分进行解码(即,通过帧间预测)时使用的长期参考图片的图片次序计数的位流最低有效位进行熵解码(266)。熵解码模块150可确定识别所述长期参考图片的图片次序计数值的最高有效位(MSB)是否存在于位流中(常常通过从位流解析指示是否存在最高有效位的呈旗标形式的语法元素)(268)。
如果存在这些最高有效位(“是”268),那么熵解码模块150可对所述位流进行熵解码以确定识别将在对当前图片执行帧间预测时使用的长期参考图片的图片次序计数值的最高有效位(270)。熵解码模块150可将所述最低有效位和最高有效位传递到运动补偿模块162。运动补偿模块162随后可基于所述图片次序计数值的所述所确定的最低有效位和所述图片次序计数值的所述所确定的最高有效位从经解码图片缓冲器160检索所述长期参考图片(272)。如果不存在这些最高有效位(“否”268),那么熵解码模块150可将所述最低有效位传递到运动补偿模块162。运动补偿模块162可随后基于所述图片次序计数值的所述所确定的最低有效位从经解码图片缓冲器160检索所述长期参考图片(274)。
在检索此长期参考图片之后,运动补偿模块162(结合模块154、156和158中的一或多者)可随后以类似于上文所描述的方式使用由所确定的图片次序计数值识别的长期参考图片来对当前图片的所述部分进行解码。换句话说,针对当前图片的当前切片的译码单元所指定的一或多个运动向量可参考由POC LSB识别的LTRP。运动补偿模块162可在执行运动补偿时将这些各种块用作参考块来检索由这些运动向量识别的LTRP的各种块。视频解码器30可将针对当前图片的当前切片的块所译码的残余数据添加到这些参考块以产生视频数据的经解码块,且进而构造原始视频数据,如上文所描述。在此意义上,视频解码器30可基于长期参考图片和残余数据来重构当前图片的块(276)。视频解码器30可将视频数据的经解码块存储到经解码图片缓冲器160以供稍后用于解码后续的图片。视频解码器可随后与上文所描述类似地对当前图片的其它切片(如果有)进行解码。
虽然上文相对于全图片次序计数值进行描述,但所述技术还可相对于增量图片次序计数值来实施,所述增量图片次序计数值被计算为识别当前图片的图片次序计数值与识别将在对视频数据的当前图片进行译码(其为可用于指代编码和解码两者的术语)时使用的长期参考图片的图片次序计数值之间的差。在此方面中,对图片次序计数值的参考可指代全图片次序计数值和增量图片次序计数值两者。因此,所述技术在此方面不受限制。
另外,描述涉及所述技术的第一方面和第二方面的各种其它技术且以一些方式在下文描述。如上所述,HEVC WD6的最新版本使用基于参考图片组(RPS)的机制来管理参考图片。RPS涉及与图片相关联的一组参考图片、由在解码次序中在相关联的图片之前的所有参考图片组成,其可用于对所述相关联的图片或在解码次序中在所述相关联的图片之后的任何图片进行帧间预测。解码次序可涉及其中解码过程处理语法元素的次序。
在HEVC中,可直接用信号通知每一经译码图片的RPS。RPS的信令的语法元素包含于与每一经译码图片相关联的序列参数集(SPS)和切片标头中。对于特定经译码图片,RPS可为包含于SPS中的那些替代集合中的如由切片标头中的旗标指示或直接在切片标头中用信号通知的一个集合。
每一图片的RPS是由五个不同参考图片列表组成,其还可被称作五个RPS子集。第一RPS子集可指代RefPicSetStCurrBefore,其包含在解码次序和输出次序两者中在当前图片之前且可用于当前图片的帧间预测的所有短期参考图片(STRP)第二RPS子集可指代RefPicSetStCurrAfter,其包含在解码次序中在当前图片之前在输出次序中在当前图片之后且可用于当前图片的帧间预测的所有短期参考图片。第三RPS子集可指代RefPicSetStFoll,其包含可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测且不用于当前图片的帧间预测的所有短期参考图片。第四RPS子集可指代RefPicSetLtCurr,其包含可用于当前图片的帧间预测的所有长期参考图片(LTRP)。第五RPS子集可指代RefPicSetLtFoll,其包含可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测且不用于当前图片的帧间预测的所有短期参考图片。输出次序可指代在将从DPB输出经解码图片的情况下从经解码图片缓冲器(DPB)输出经解码图片的次序。图片的输出次序可由图片次序计数(POC)值指定,常常与是否将输出图片无关。
在任何情况下,存在关于HEVC WD6如何指示可导出且用信号通知这些RPS子集的若干潜在问题。第一个问题涉及HEVC WD6子条款8.3.2,等式(Eqn.)8-6,其中根据此等式8-6的RPS子集的导出可取决于DPB中的作为先前图片的参考图片的状态(归因于“在DPB中存在长期参考图片picX”或类似的用语)。然而,子条款8.3.2中的用语可与RPS的基本原理相反,因为DPB中的参考图片的状态被“帧内译码”,这可意味着其不取决于较早的状态。换句话说,确定当前图片的当前RPS可取决于DPB中的LTRP(“picX”)的先前存储,尽管RPS的基本原理是DPB中的参考图片状态被帧内译码且不被帧间译码且因此应用于时间帧间译码决策作出。
第二个问题涉及RPS中的LTRP的导出。从HEVC WD6的子条款8.3.2中的等式8-6看出,如果delta_poc_msb_present_flag[i]等于0,或另外等于其全POC值(由“PicOrderCntVal”标示),LTRP是由其POC最低有效位(LSB)(其标示为“pic_order_cnt_lsb”)识别。然而,在后一种情况下,用于导出LTRP的全POC值的HEVCWD6的等式8-5中的部分“((PicOrderCntVal-DeltaPocLt[i]+MaxPicOrderCntLsb)%MaxPicOrderCntLsb)-(DeltaPocMSBCycleLt[i])*MaxPicOrderCntLsb”可为正确的。
举例来说,如果MaxPicOrderCntLsb=256,且当前图片具有等于256*10+100(LSB等于100)的全POC值,那么具有全POC值256*8+100和256*6+100的图片产生具有为100的相同POC LSB值的两个LTRP。给定以上情况,两个LTRP的DeltaPocMSBCycleLt[i]将分别等于2和4。根据等式8-5,两个LTRP的全POC值将分别为-256*2和-256*4,其为不正确的。
与HEVC WD6中的RPS导出相关联的第三个问题可为,一旦将图片用信号通知为LTRP,所述图片便不再可被用信号通知为短期参考图片(STRP)。
与HEVC WD6中的RPS导出相关联的第四个问题可为,在切片标头中将图片的RPS中将包含的LTRP的POC LSB用信号通知为使用ue(v)译码的增量POC值的LSB的增量。这可为低效的,因为增量POC值的LSB的增量通常对于LTRP来说较大,因此需要许多位来表示。查出在切片标头中用信号通知何值对于编码器来说也不简单。
与HEVC WD6中的RPS导出相关联的第五个问题可为,当存在具有POC LSB的相同值的两个或更多LTRP时,必须用信号通知所有这些LTRP的全POC值,其中使用ue(v)将POC MSB值用信号通知为具有相同POC LSB的两个连续LTRP的增量。对于具有相同POC LSB的一组连续地用信号通知的LTRP中的第一者,使用ue(v)直接用信号通知POC MSB。此处可能存在两个低效率方面。第一方面是一组中的第一LTRP的POC MSB值的增量以及直接用信号通知的POC MSB值可较大,且因此可能需要许多位来表示所述值。第二方面是,在大多数情况下,添加多一些的LSB(或等效地,使MSB的长度略微更大)可实现对所有LTRP的唯一识别。因此,可能不需要用信号通知具有相同LSB值的LTRP的所有MSB值。
为了潜在地解决以上识别的问题,以下描述用于导出参考图片组(RPS)以及用信号通知将包含于经译码图片的RPS中的长期参考图片(LTRP)的各种技术,包含上文相对于图1到7所描述的技术的上述第一方面和第二方面。再者,虽然下文相对于HEVC WD6进行描述,但所述技术可相对于任何视频译码标准或涉及相对于参考数据的帧间预测的其它译码技术来实施。另外,下文使用灰色突出显示来表示对HEVC WD6的改变。
在一个方面中,如HEVC WD6所指定的切片标头语法和语义可经修改,其中切片标头语法如下修改:添加语法元素poc_lsb_len_delta[i]和poc_lsb_lt[i],且移除语法元素delta_poc_lsb_lt[i]、delta_poc_msb_present_flag[i]和delta_poc_msb_cycle_lt_minus1[i],其它语法元素保持不变。切片标头语法可因此类似于下表1中所示,其中下文展示的加粗且斜体的部分反映对HEVC的添加或修改来支持本发明中所描述的技术中的一或多个方面。
表1
还可如下改变切片标头语义:添加语法元素poc_lsb_len_delta[i]和poc_lsb_lt[i]的语义,且移除语法元素delta_poc_lsb_lt[i]、delta_poc_msb_present_flag[i]和delta_poc_msb_cycle_lt_minus1[i]的语义,其它语法元素的语义保持不变。
语法元素poc_lsb_len_delta[i]可指定用以表示poc_lsb_lt[i]的位数目。
可能如下导出变量PocLsbLtLen[i]:
语法元素poc_lsb_lt[i]可指定包含于当前图片的长期参考图片组中的第i个长期参考图片的图片次序计数值的最低有效位。此语法元素poc_lsb_lt[i]可在0到(1<<PocLsbLtLen[i])-1的范围内(包含0和(1<<PocLsbLtLen[i])-1)。poc_lsb_lt[i]的长度可为PocLsbLtLen[i]。或者,可如下导出变量PocLsbLtLen[i]:
PocLsbLtLen[i]=
log2_max_pic_order_cnt_lsb_minus4+4+poc_lsb_len_delta[i]
在HEVC WD6的节8.3.3中所指定的参考图片组的解码过程可如下改变,其中灰色突出显示或加阴影指示对当前指定的HEVC WD6的节8.3.2的添加和/或改变。以下内容重现HEVC WD6的节8.3.2的大部分内容。
在切片标头的解码之后但在任何译码单元的解码之前且在如HEVC WD6的子条款8.3.3中所指定的对切片的参考图片列表构造的解码过程之前,此过程在每个图片调用一次。所述过程可导致将一或多个参考图片标记为“不用于参考”。
注释1-参考图片组是用于当前和未来的经译码图片的解码过程的参考图片的绝对描述。参考图片组信令在以下意义上是显式的:参考图片中所包含的所有参考图片被显式地列举,且在解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片组构造过程。
短期参考图片是由其PicOrderCntVal值来识别。长期参考图片是由其PicOrderCntVal值的最低有效位来识别。
构造图片次序计数值或图片次序计数的最低有效位的五个列表以导出参考图片组;分别为PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr以及具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocLtFoll。
-如果当前图片是IDR图片,那么将PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空值,且将NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll全部设定为0。
-否则,以下内容适用于导出图片次序计数值和条目的数目的五个列表。
其中PicOrderCntVal是如HEVC WD6的子条款8.2.1中指定的当前图片的图片次序计数。
注释2-在从0到num_short_term_ref_pic_sets-1(包含0和num_short_term_ref_pic_sets-1)的范围内的StRpsIdx的值指示正使用来自有效序列参数集的短期参考图片组,其中StRpsIdx是所述短期参考图片组以它们在序列参数集中用信号通知的次序到短期参考图片组的列表的索引。StRpsIdx等于num_short_term_ref_pic_sets指示正使用在切片标头中显式地用信号通知的短期参考图片组。
所述参考图片组是由五个参考图片列表组成;RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr和RefPicSetLtFoll。变量NumPocTotalCurr被设定成等于NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr。当对P或B切片进行解码时,位流一致的要求是NumPocTotalCurr的值应不等于0。
注释3-RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr含有可用于当前图片的帧间预测且可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测的所有参考图片。RefPicSetStFoll和RefPicSetLtFoll是由不可用于当前图片的帧间预测但可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测的所有参考图片。
参考图片的标记可为“不用于参考”、“用于短期参考”或“用于长期参考”,但仅为这三者中的一者。当参考图片被称作被标记为“用于参考”时,这共同是指所述图片被标记为“用于短期参考”或“用于长期参考”(但不是两者)。被标记为“用于短期参考”的参考图片被称作短期参考图片。被标记为“用于长期参考”的参考图片被称作长期参考图片。
根据以下有序步骤来执行参考图片组和图片标记的导出过程,其中DPB指代如在HEVC WD6的附录C中所描述的经解码图片缓冲器:
1.以下内容适用于:
2.RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中所包含的所有参考图片被标记为“用于短期参考”。
3.以下内容适用于:
4.RefPicSetLtCurr和RefPicSetLtFoll中所包含的所有参考图片被标记为“用于长期参考”
5.经解码图片缓冲器中的未包含于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的所有参考图片被标记为“不用于参考”。
注释4-可能存在包含于参考图片组中但不不存在于经解码图片缓冲器中的一或多个参考图片。当位流中的第一经译码图片是IDR图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,应忽视RefPicSetStFoll或RefPicSetLtFoll中等于“没有参考图片”的条目。当位流中的第一经译码图片不是CRA图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,应针对RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中等于“没有参考图片”的每一条目推断出无意的图片损失。
或者,在以上步骤中,语句“存在参考图片picX”改为“存在图片picX”。
位流一致的要求是参考图片组如下被约束:
-应不存在具有比RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中所包含的当前图片的temporal_id大的temporal_id的参考图片。
-对于0到NumPocLtCurr-1的范围内的每一值(包含0和NumPocLtCurr-1),应在DPB中存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有Abs(PicOrderCntVal)%(2PocLsbLenCurr[i]等于PocLtCurr[i]的PicOrderCntVal的不超过一个参考图片。对于0到NumPocLtFoll-1的范围内的每一值(包含0和NumPocLtFoll-1),不应在DPB中存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有Abs(PicOrderCntVal)%(2PocLsbLenFoll[i]等于PocLtFoll[i]的PicOrderCntVal的一个以上参考图片。
-在参考图片组中不应包含在输出次序中在于解码次序和输出次序两者中在当前图片前面的任何CRA图片前面的参考图片。
-当位流中的第一经译码图片是IDR图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,在RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中不应存在等于“没有参考图片”的条目。
注释5-参考图片无法包含于五个参考图片组列表中的一者以上中。
在另一方面中,所述技术可修改切片标头语法和语义以添加语法元素poc_lsb_lt[i]、add_poc_lsb_len[i]和add_poc_lsb[i],且移除语法元素delta_poc_lsb_lt[i]、delta_poc_msb_present_flag[i]和delta_poc_msb_cycle_lt_minus1[i],其它语法元素保持不变。下表2说明这些改变,其中使用灰色突出显示或加阴影来标示添加和/或改变:
表2
slice_header(){ 描述符
if(long_term_ref_pics_present_flag){
num_long_term_pics ue(v)
for(i=0;i<num_long_term_pics;i++){
poc_lsb_lt[i] u(v)
add_poc_lsb_len[i] ue(v)
if(add_poc_lsb_len[i]!=0)
add_poc_lsb[i] u(v)
used_by_curr_pic_lt_flag[i] u(l)
}
}
}
可改变切片标头语义以添加语法元素poc_lsb_lt[i]、add_poc_lsb_len[i]和add_poc_lsb[i]的语义,且移除语法元素delta_poc_lsb_lt[i]、delta_poc_msb_present_flag[i]和delta_poc_msb_cycle_lt_minus1[i]的语义,其它语法元素的语义保持不变。
语法元素poc_lsb_lt[i]可指定包含于当前图片的长期参考图片组中的第i个长期参考图片的图片次序计数值的最低有效位。poc_lsb_lt[i]的长度可为log2_max_pic_order_cnt_lsb_minus4+4位。
语法元素add_poc_lsb_len[i]可指定包含于当前图片的长期参考图片组中的第i个长期参考图片的图片次序计数值的额外最低有效位的数目。add_poc_lsb_len[i]应在0到32-log2_max_pic_order_cnt_lsb_minus4-4的范围内(包含0和32-log2_max_pic_order_cnt_lsb_minus4-4)。
语法元素add_poc_lsb[i]可指定包含于当前图片的长期参考图片组中的第i个长期参考图片的图片次序计数值的额外最低有效位的值。poc_lsb_lt[i]应在1到(1<<add_poc_lsb_len[i])-1的范围内(包含1和(1<<add_poc_lsb_len[i])-1)。add_poc_lsb[i]的长度是add_poc_lsb_len[i]位。
在HEVC WD6的节8.3.3中所指定的参考图片组的解码过程可如下改变,其中再次地,灰色突出显示或加阴影指示对当前指定的HEVC WD6的节8.3.2的添加和/或改变。以下内容重现HEVC WD6的节8.3.2的大部分内容。
在切片标头的解码之后但在任何译码单元的解码之前且在如子条款8.3.3中所指定的对切片的参考图片列表构造的解码过程之前,此过程在每个图片调用一次。所述过程可导致将一或多个参考图片标记为“不用于参考”。
注释1-参考图片集是用于当前和未来的经译码图片的解码过程的参考图片的绝对描述。参考图片组信令在以下意义上是显式的:参考图片中所包含的所有参考图片被显式地列举,且在解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片组构造过程。
短期参考图片是由其PicOrderCntVal值来识别。长期参考图片是由其PicOrderCntVal值的最低有效位来识别。
构造图片次序计数值或图片次序计数的最低有效位的五个列表以导出参考图片组;分别为PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr以及具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocLtFoll。
-如果当前图片是IDR图片,那么将PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空值,且将NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll全部设定为0。
-否则,以下内容适用于导出图片次序计数值和条目的数目的五个列表。
其中PicOrderCntVal是如子条款8.2.1中指定的当前图片的图片次序计数。
注释2-在从0到num_short_term_ref_pic_sets-1(包含0和num_short_term_ref_pic_sets-1)的范围内的StRpsIdx的值指示正使用来自有效序列参数集的短期参考图片组,其中StRpsIdx是所述短期参考图片组以它们在序列参数集中用信号通知的次序到短期参考图片组的列表的索引。StRpsIdx等于num_short_term_ref_pic_sets指示正使用在切片标头中显式地用信号通知的短期参考图片组。
所述参考图片组是由五个参考图片列表组成;RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr和RefPicSetLtFoll。变量NumPocTotalCurr被设定成等于NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr。当对P或B切片进行解码时,位流一致的要求是NumPocTotalCurr的值应不等于0。
注释3-RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr含有可用于当前图片的帧间预测且可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测的所有参考图片。RefPicSetStFoll和RefPicSetLtFoll是由不可用于当前图片的帧间预测但可用于在解码次序中在当前图片之后的图片中的一或多者的帧间预测的所有参考图片。
参考图片的标记可为“不用于参考”、“用于短期参考”或“用于长期参考”,但仅为这三者中的一者。当参考图片被称作被标记为“用于参考”时,这共同是指所述图片被标记为“用于短期参考”或“用于长期参考”(但不是两者)。被标记为“用于短期参考”的参考图片被称作短期参考图片。被标记为“用于长期参考”的参考图片被称作长期参考图片。
根据以下有序步骤来执行参考图片组和图片标记的导出过程,其中DPB指代如在HEVC WD6的附录C中所描述的经解码图片缓冲器:
1.以下内容适用于:
2.RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中所包含的所有参考图片被标记为“用于短期参考”。
3.以下内容适用于:
4.RefPicSetLtCurr和RefPicSetLtFoll中所包含的所有参考图片被标记为“用于长期参考”
5.经解码图片缓冲器中的未包含于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的所有参考图片被标记为“不用于参考”。
注释4-可能存在包含于参考图片组中但不不存在于经解码图片缓冲器中的一或多个参考图片。当位流中的第一经译码图片是IDR图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,应忽视RefPicSetStFoll或RefPicSetLtFoll中等于“没有参考图片”的条目。当位流中的第一经译码图片不是CRA图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,应针对RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中等于“没有参考图片”的每一条目推断出无意的图片损失。
或者,在以上步骤中,语句“存在参考图片picX”改为“存在图片picX”。
位流一致的要求是参考图片组如下被约束:
-应不存在具有比RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中所包含的当前图片的temporal_id大的temporal_id的参考图片。
-对于0到NumPocLtCurr-1的范围内的每一值(包含0和NumPocLtCurr-1),应在DPB中存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有Abs(PicOrderCntVal)%(2ExtPocLsbLenCurr[i])等于PocLtCurr[i]的PicOrderCntVal的不超过一个参考图片。对于0到NumPocLtFoll-1的范围内的每一值(包含0和NumPocLtFoll-1),不应在DPB中存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有Abs(PicOrderCntVal)%(2ExtPocLsbLenFoll[i])等于PocLtFoll[i]的PicOrderCntVal的一个以上参考图片。
-在参考图片组中不应包含在输出次序中在于解码次序和输出次序两者中在当前图片前面的任何CRA图片前面的参考图片。
-当位流中的第一经译码图片是IDR图片或者当前经译码图片不是位流中的第一经译码图片的第一位图片时,在RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中应不存在等于“没有参考图片”的条目。
注释5-参考图片无法包含于五个参考图片组列表中的一者以上中。
所述技术的第三方面可基于上文所描述的技术的第一方面。在此第三方面中,在切片标头语法中,可为将包含于RPS中的每一LTRP添加又一个语法元素以用信号通知LTRP的POC的开始位,其中,作为一个实例,值0指示从最低有效位(位0)开始,值1指示从第二最低有效位(位1)开始,且以此类推。随后可以与上文所描述的技术的第一方面中相同的方式来导出PocLsbLtLen[i],其中PocLsBLtLen[i]是基于poc_lsb_len_delta[i]而导出。然而,在所述技术的此第三方面中,PocLsbLtLen[i]可表示从如以上由额外语法元素识别的开始位开始的LTRP的POC的位数目,其中poc_lsb_lt[i]指定从如以上由额外语法元素识别的开始位开始的LTRP的POC的PocLsbLtLen[i]位的值。
随后可要求在DPB中仅存在具有等于针对LTRP所指示的POC值的POC值的相同组位的一个参考图片(或者,替代地,仅一个图片),包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的参考图片除外。因此,所述LTRP可随后由所述组位唯一地识别,且在HEVC WD6的Eqn.8-7中,此条件(作为POC值的所述组最低有效位等于针对LTRP所指示的POC值的条件的替代)可用于识别将包含到RefPicSetLtCurr[i]或RefPicSetLtFoll[i]中的参考图片(或者,替代地,图片)。所述技术的第三方面的其它部分可类似于上文相对于所述技术的第一方面所描述的部分。
本发明中所描述的技术的第四方面可表示上文所描述的技术的第二方面的变化。在此第四方面中,切片标头语法可包含add_poc_lsb_len[i],其表示由add_poc_lsb[i]用信号通知的额外LSB的长度的增量。如果i等于0,那么add_poc_lsb_len[i]可指定由add_poc_lsb[i]用信号通知的额外LSB的长度;否则add_poc_lsb_len[i]可指定add_poc_lsb[i]的长度与add_poc_lsb[i-1]的长度之间的差。所述技术的第四方面的其它部分可类似于上文相对于所述技术的第二方面所描述的部分。
所述技术的第五方面可基于上文所描述的技术的第一方面。在此第五方面中,为了用信号通知LTRP,作为用信号通知从极低有效位开始的POC LSB的替代,可用信号通知截断的POC LSB。
可改变切片标头语法以添加语法元素poc_lsb_len_delta[i]和poc_lsb_lt[i],且移除语法元素delta_poc_lsb_lt[i]、delta_poc_msb_present_flag[i]和delta_poc_msb_cycle_lt_minus1[i]移除,其它语法元素保持不变。下表3说明这些改变可如何影响切片标头,其中灰色突出显示或加阴影标示改变和/或添加。
表3
slice_header(){ 描述符
if(ong_term_ref_pics_present_flag){
num_long_term_pics ue(v)
for(i=0;i<num_long_term_pics;i++){
poc_lsb_len_truncated_delta[i] ue(v)
poc_lsb_lt_truncated[i] u(v)
used_by_curr_pic_lt_flag[i] u(1)
}
}
}
poc_lsb_len_truncated_delta[i]可用于指定用以表示poc_lsb_truncated_lt[i]的位数目。可能如下导出变量PocLsbLtTrunLen[i]:
可将NumTruncatedBits设定为等于log2_max_pic_order_cnt_lsb_minus4+4,且在此PocLsbLtTrunLen[0]等于poc_lsb_len_truncated_delta[0]。此值还可在PPS或SPS中用信号通知。
poc_lsb_truncated_lt[i]可指定包含于当前图片的长期参考图片中的第i个长期参考图片的图片次序计数值的在截断NumTruncatedBits个位之后的最低有效位,换句话说,位NumTruncatedBits到bit NumTruncatedBits+PocLsbLtTrunLen[i]-1,包含当前图片的长期参考图片中所包含的第i个长期参考图片的图片次序计数值。这些位被称作包含于当前图片的长期参考图片组中的第i个LTRP的经截断位组。语法元素poc_lsb_truncted_lt[i]可在0到(1<<PocLsbLtTrunLen[i])-1的范围内(包含0和(1<<PocLsbLtTrunLen[i])-1)。作为一个实例,poc_lsb_lt[i]的长度可为PocLsbLtTrunLen[i]。
长期参考图片通常由其PicOrderCntVal值的经截断位组来识别。对于其PicOrderCntVal值的同一组位,DPB中没有两个参考图片(或者,替代地,没有两个图片)(包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的参考图片除外)可具有相同的值。因此,所述LTRP可由经截断位组唯一地识别,且在HEVC WD6的Eqn.8-7中,此条件(作为POC值的所述组最低有效位等于针对LTRP所指示的POC值的条件的替代)用于识别将包含到RefPicSetLtCurr[i]或RefPicSetLtFoll[i]中的参考图片(或者,替代地,图片)。
作为一替代方案,当用信号通知LTRP图片时,可在每一切片中用信号通知NumTruncatedBits。表4说明此替代方案,其中灰色突出显示或加阴影标示改变和/或添加:
表4
slice_header(){ 描述符
if(long_term_ref_pics_present_flag){
num_long_term_pics ue(v)
num_truncated_bits u(v)
for(i=0;i<num_long_term_pics;i++){
poc_lsb_len_truncated_delta[i] ue(v)
poc_lsb_lt_truncated[i] u(v)
used_by_curr_pic_lt_flag[i] u(1)
}
}
}
在表4中,num_truncated_bits可指定将在从POC LSB识别LTRP时被截断的POC值的最低有效位。此语法元素可在0到log2_max_pic_order_cnt_lsb_minus4+4的范围内(包含0和log2_max_pic_order_cnt_lsb_minus4+4),且长度可为ceil(log2(log2_max_pic_order_cnt_lsb_minus4+4+1))。作为又另一替代方案,num_truncated_bits可在ue(v)中用信号通知,且可大于log2_max_pic_order_cnt_lsb_minus4+4。
将认识到,取决于实例,可以不同次序执行、可添加、合并或完全省去本文中所描述的技术中的任一者的某些动作或事件(例如,不是所有的所描述的动作或事件对于技术的实践来说都是必要的)。此外,在某些实施例中,可同时(例如,通过多线程处理、中断处理或多个处理器)而非循序地执行动作或事件。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体,通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式,计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制,所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,快闪存储器,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样,可适当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括于媒体的定义中。然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是针对于非暂时的有形存储媒体。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常磁性地重现数据,而光盘使用激光光学地重现数据。以上各者的组合也应包括在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内,或并入组合式编解码器中。并且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中,包含无线手持机、集成电路(IC)或IC组(例如,芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面,但不一定需要通过不同的硬件单元来实现。而是,如上文所描述,各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (79)

1.一种对视频数据进行编码的方法,所述方法包括:
针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;
确定将用于表示图片次序计数值的一或多个最低有效位的位数目,所述图片次序计数值表示所述视频数据的经编码版本;
使用用于表示所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目来指定所述图片次序计数值的所述一或多个最低有效位;以及
使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
2.根据权利要求1所述的方法,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
3.根据权利要求1所述的方法,其中在位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位包括指定具有等于用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的位数目的无正负号二进制数目。
4.根据权利要求1所述的方法,其进一步包括在所述位流中指定用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
5.根据权利要求1所述的方法,其中确定所述位数目包括基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来在所述位流中确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,以便避免在所述位流中指定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
6.根据权利要求1所述的方法,其中在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位包括在与所述当前图片的至少所述部分相关联的切片标头中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位。
7.根据权利要求1所述的方法,其进一步包括:
当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;以及
在位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最高有效位。
8.根据权利要求7所述的方法,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
9.根据权利要求7所述的方法,其进一步包括:
确定识别存储到所述经解码图片缓冲器的所述其它图片中的相应一者的至少一个图片次序计数值的所述一或多个最低有效位;以及
确定识别存储到所述经解码图片缓冲器的所述其它图片中的所述相应一者的所述至少一个图片次序计数值的所述一或多个最低有效位是否与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同。
10.根据权利要求7所述的方法,其中确定所述图片次序计数值的所述一或多个最高有效位包括确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位,使得所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以从识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值唯一地识别识别所述长期参考图片的所述图片次序计数值。
11.根据权利要求7所述的方法,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
12.一种经配置以对视频数据进行编码的视频编码装置,所述视频编码装置包括:
一或多个处理器,其经配置以:针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目;使用用于表示所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目来指定所述图片次序计数值的所述一或多个最低有效位;以及使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
13.根据权利要求12所述的视频编码装置,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
14.根据权利要求12所述的视频编码装置,其中所述一或多个处理器进一步经配置以:当在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位时,指定具有等于用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的位数目的无正负号二进制数目。
15.根据权利要求12所述的视频编码装置,其中所述一或多个处理器进一步经配置以在所述位流中指定用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
16.根据权利要求12所述的视频编码装置,其中所述一或多个处理器进一步经配置以:当确定所述位数目时,基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来在所述位流中确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,以便避免在所述位流中指定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
17.根据权利要求12所述的视频编码装置,其中所述一或多个处理器进一步经配置以:当在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位时,在与所述当前图片的至少所述部分相关联的切片标头中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位。
18.根据权利要求12所述的视频编码装置,其中所述一或多个处理器进一步经配置以:当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数,且在位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最高有效位。
19.根据权利要求18所述的视频编码装置,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
20.根据权利要求18所述的视频编码装置,其中所述一或多个处理器进一步经配置以:确定识别存储到所述经解码图片缓冲器的所述其它图片中的相应一者的至少一个图片次序计数值的所述一或多个最低有效位;以及确定识别存储到所述经解码图片缓冲器的所述其它图片中的所述相应一者的所述至少一个图片次序计数值的所述一或多个最低有效位是否与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同。
21.根据权利要求18所述的视频编码装置,其中所述一或多个处理器进一步经配置以:当确定所述图片次序计数值的所述一或多个最高有效位时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位,使得所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以从识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值唯一地识别识别所述长期参考图片的所述图片次序计数值。
22.根据权利要求18所述的视频编码装置,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
23.一种用于对视频数据进行编码的视频编码装置,所述视频编码装置包括:
用于针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片的装置;
用于在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目的装置,
用于使用用于表示所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目来指定所述图片次序计数值的所述一或多个最低有效位的装置,以及
用于使用所述长期参考图片对所述当前图片的至少所述部分进行编码的装置。
24.根据权利要求23所述的视频编码装置,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
25.根据权利要求23所述的视频编码装置,其中所述用于在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的装置包括用于指定具有等于用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的位数目的无正负号二进制数目的装置。
26.根据权利要求23所述的视频编码装置,其进一步包括用于在所述位流中指定用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的装置。
27.根据权利要求23所述的视频编码装置,其中用于确定所述位数目的装置包括用于进行以下操作的装置:基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来在所述位流中确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,以便避免在所述位流中指定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
28.根据权利要求23所述的视频编码装置,其中所述用于在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的装置包括用于在与所述当前图片的至少所述部分相关联的切片标头中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的装置。
29.一种其上存储有指令的非暂时性计算机可读存储媒体,所述指令在被执行时致使视频编码装置的一或多个处理器:
针对所述视频数据的当前图片确定将在对所述视频数据的当前图片的至少一部分进行编码时使用的长期参考图片;
在表示所述视频数据的经编码版本的位流中确定将用于表示识别所述长期参考图片的图片次序计数值的一或多个最低有效位的位数目;
使用用于表示识别所述长期参考图片的所述图片次序计数值的一或多个最低有效位的所述所确定的位数目来指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;以及
使用所述长期参考图片对所述当前图片的至少所述部分进行编码。
30.根据权利要求29所述的非暂时性计算机可读存储媒体,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
31.根据权利要求29所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述指令包括在被执行时致使所述一或多个处理器指定具有等于用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的位数目的无正负号二进制数目的指令。
32.根据权利要求29所述的非暂时性计算机可读存储媒体,其进一步具有存储于其上的在被执行时致使所述一或多个处理器在所述位流中指定用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目的指令。
33.根据权利要求29所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器确定所述位数目的所述指令包括在被执行时致使所述一或多个处理器进行以下操作的指令:基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来在所述位流中确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,以便避免在所述位流中指定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
34.根据权利要求29所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器在所述位流中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述指令包括在被执行时致使所述一或多个处理器在与所述当前图片的至少所述部分相关联的切片标头中指定识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的指令。
35.根据权利要求29所述的非暂时性计算机可读存储媒体,其进一步具有存储于其上的在被执行时致使所述一或多个处理器进行以下操作的指令:
当识别被存储到所述长期参考图片也存储到的经解码图片缓冲器的任何其它图片的任何其它图片次序计数值的一或多个最低有效位与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同时,确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的一或多个最高有效位,其中所述一或多个最低有效位的数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数;以及
在位流中指定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最高有效位。
36.根据权利要求35所述的非暂时性计算机可读存储媒体,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
37.根据权利要求35所述的非暂时性计算机可读存储媒体,其进一步具有存储于其上的在被执行时致使所述一或多个处理器进行以下操作的指令:
确定识别存储到所述经解码图片缓冲器的所述其它图片中的相应一者的至少一个图片次序计数值的所述一或多个最低有效位;以及
确定识别存储到所述经解码图片缓冲器的所述其它图片中的所述相应一者的所述至少一个图片次序计数值的所述一或多个最低有效位是否与识别所述长期参考图片的所述图片次序计数值的所述所确定的一或多个最低有效位相同。
38.根据权利要求35所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器确定所述图片次序计数值的所述一或多个最高有效位的所述指令包括在被执行时致使所述一或多个处理器进行以下操作的指令:确定识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位,使得所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以从识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值唯一地识别识别所述长期参考图片的所述图片次序计数值。
39.根据权利要求35所述的非暂时性计算机可读存储媒体,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
40.一种对经编码视频数据进行解码的方法,所述方法包括:
针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;
从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;
基于所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片;以及
使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
41.根据权利要求40所述的方法,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于所述经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
42.根据权利要求40所述的方法,其中所述所解析的所确定的位数目将识别所述长期参考图片的所述图片次序计数值的所述最低有效位表示为无正负号二进制数目。
43.根据权利要求40所述的方法,其中从所述经解码图片缓冲器检索所述长期参考图片包括基于识别所述长期参考图片的所述图片次序计数值和与存储于所述经解码图片缓冲器中的至少一个图片相关联的所述图片次序计数值的所述最低有效位从所述经解码图片缓冲器检索所述长期参考图片。
44.根据权利要求43所述的方法,其中从所述经解码图片缓冲器检索所述长期参考图片包括:
将识别所述长期参考图片的所述图片次序计数值的所述最低有效位与和存储到所述经解码图片缓冲器的所述至少一个图片相关联的图片次序计数值的相同数目的最低有效位进行比较;以及
检索存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者以用作在对所述当前图片进行解码的过程中的所述长期参考图片,所述长期参考图片具有与存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者相关联的所述图片次序计数值的与将用于对所述当前图片进行解码的所述长期参考图片的所述所确定的最低有效位相同的最低有效位。
45.根据权利要求40所述的方法,其中确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目包括:从所述位流解析用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目。
46.根据权利要求40所述的方法,其中确定所述位数目包括基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,而不必从所述位流解析用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
47.根据权利要求40所述的方法,其进一步包括,当所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值时,确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,
其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开,
其中所述一或多个最低有效位的所述数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数,且
其中从所述经解码图片缓冲器检索所述长期参考图片包括:基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片。
48.根据权利要求47所述的方法,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
49.根据权利要求47所述的方法,其中确定识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位包括:从表示所述经编码视频数据的位流解析识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位。
50.根据权利要求47所述的方法,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
51.一种用于对经编码视频数据进行解码的视频解码装置,所述视频解码装置包括:
一或多个处理器,其经配置以:针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;基于所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片;以及使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
52.根据权利要求51所述的视频解码装置,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于所述经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
53.根据权利要求51所述的视频解码装置,其中所述所解析的所确定的位数目将识别所述长期参考图片的所述图片次序计数值的所述最低有效位表示为无正负号二进制数目。
54.根据权利要求51所述的视频解码装置,其中所述一或多个处理器进一步经配置以:当从所述经解码图片缓冲器检索所述长期参考图片时,基于识别所述长期参考图片的所述图片次序计数值和与存储于所述经解码图片缓冲器中的至少一个图片相关联的所述图片次序计数值的所述最低有效位从所述经解码图片缓冲器检索所述长期参考图片。
55.根据权利要求54所述的视频解码装置,其中所述一或多个处理器进一步经配置以:当从所述经解码图片缓冲器检索所述长期参考图片时,将识别所述长期参考图片的所述图片次序计数值的所述最低有效位与和存储到所述经解码图片缓冲器的所述至少一个图片相关联的图片次序计数值的相同数目的最低有效位进行比较;以及检索存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者以用作在对所述当前图片进行解码的过程中的所述长期参考图片,所述长期参考图片具有与存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者相关联的所述图片次序计数值的与将用于对所述当前图片进行解码的所述长期参考图片的所述所确定的最低有效位相同的最低有效位。
56.根据权利要求51所述的视频解码装置,其中所述一或多个处理器进一步经配置以:当确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目时,从所述位流解析用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目。
57.根据权利要求51所述的视频解码装置,其中所述一或多个处理器进一步经配置以:当确定所述位数目时,基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,而不必从所述位流解析用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
58.根据权利要求51所述的视频解码装置,
其中所述一或多个处理器进一步经配置以:当所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值时,确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,
其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开,
其中所述一或多个最低有效位的所述数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数,且
其中所述一或多个处理器进一步经配置以:当从所述经解码图片缓冲器检索所述长期参考图片时,基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片。
59.根据权利要求58所述的视频解码装置,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
60.根据权利要求58所述的视频解码装置,其中所述一或多个处理器进一步经配置以:当确定识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位时,从表示所述经编码视频数据的位流解析识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位。
61.根据权利要求58所述的视频解码装置,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
62.一种用于对经编码视频数据进行解码的视频解码装置,所述视频解码装置包括:
用于针对所述经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目的装置;
用于从表示所述经编码视频数据的位流解析所述所确定的位数目的装置,其中所述所解析的所确定的位数目表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位;
用于基于所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片的装置;以及
用于使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码的装置。
63.根据权利要求62所述的视频解码装置,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于所述经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
64.根据权利要求62所述的视频解码装置,其中所述所解析的所确定的位数目将识别所述长期参考图片的所述图片次序计数值的所述最低有效位表示为无正负号二进制数目。
65.根据权利要求62所述的视频解码装置,其中所述用于从所述经解码图片缓冲器检索所述长期参考图片的装置包括用于基于识别所述长期参考图片的所述图片次序计数值和与存储于所述经解码图片缓冲器中的至少一个图片相关联的所述图片次序计数值的所述最低有效位从所述经解码图片缓冲器检索所述长期参考图片的装置。
66.根据权利要求65所述的视频解码装置,其中所述用于从所述经解码图片缓冲器检索所述长期参考图片的装置包括:
用于将识别所述长期参考图片的所述图片次序计数值的所述最低有效位与和存储到所述经解码图片缓冲器的所述至少一个图片相关联的图片次序计数值的相同数目的最低有效位进行比较的装置;以及
用于检索存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者以用作在对所述当前图片进行解码的过程中的所述长期参考图片的装置,所述长期参考图片具有与存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者相关联的所述图片次序计数值的与将用于对所述当前图片进行解码的所述长期参考图片的所述所确定的最低有效位相同的最低有效位。
67.根据权利要求62所述的视频解码装置,其中所述用于确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目的装置包括用于从所述位流解析用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目的装置。
68.根据权利要求62所述的视频解码装置,其中所述用于确定所述位数目的装置包括用于以下操作的装置:基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,而不必从所述位流解析用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
69.一种其上存储有指令的非暂时性计算机可读存储媒体,所述指令在被执行时致使视频解码装置的一或多个处理器:
针对经编码视频数据的当前图片确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的长期参考图片的图片次序计数值的一或多个最低有效位的位数目;
从表示所述经编码视频数据的位流解析所述所确定的位数目,其中所述所解析的所确定的位数目表示所述图片次序计数值的所述一或多个最低有效位;
基于所述图片次序计数值的所述最低有效位从经解码图片缓冲器检索所述长期参考图片;以及
使用所述所检索的长期参考图片对所述当前图片的至少所述部分进行解码。
70.根据权利要求69所述的非暂时性计算机可读存储媒体,其中识别所述长期参考图片的所述图片次序计数值包括识别存在于所述经解码图片缓冲器中但未被指定为与所述当前图片相关联的序列参数集中的一或多个长期参考图片的长期参考图片的图片次序计数值。
71.根据权利要求69所述的非暂时性计算机可读存储媒体,其中所述所解析的所确定的位数目将识别所述长期参考图片的所述图片次序计数值的所述最低有效位表示为无正负号二进制数目。
72.根据权利要求69所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器从所述经解码图片缓冲器检索所述长期参考图片的所述指令包括在被执行时致使所述一或多个处理器基于识别所述长期参考图片的所述图片次序计数值和与存储于所述经解码图片缓冲器中的至少一个图片相关联的所述图片次序计数值的所述最低有效位从所述经解码图片缓冲器检索所述长期参考图片的指令。
73.根据权利要求72所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器从所述经解码图片缓冲器检索所述长期参考图片的所述指令包括在被执行时致使所述一或多个处理器进行以下操作的指令:
将识别所述长期参考图片的所述图片次序计数值的所述最低有效位与和存储到所述经解码图片缓冲器的所述至少一个图片相关联的图片次序计数值的相同数目的最低有效位进行比较;以及
检索存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者以用作在对所述当前图片进行解码的过程中的所述长期参考图片,所述长期参考图片具有与存储到所述经解码图片缓冲器的所述至少一个图片中的所述一者相关联的所述图片次序计数值的与将用于对所述当前图片进行解码的所述长期参考图片的所述所确定的最低有效位相同的最低有效位。
74.根据权利要求69所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器确定用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目的所述指令包括在被执行时致使所述一或多个处理器从所述位流解析用于表示识别将在对所述当前图片的至少一部分进行解码时使用的所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目的指令。
75.根据权利要求69所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器确定所述位数目的所述指令包括在被执行时致使所述一或多个处理器进行以下操作的指令:基于先前针对所述视频数据的所述当前图片和先前经编码图片中的一或多者而确定的语法元素来确定将用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述位数目,而不必从所述位流解析用于表示识别所述长期参考图片的所述图片次序计数值的所述一或多个最低有效位的所述所确定的位数目。
76.根据权利要求69所述的非暂时性计算机可读存储媒体,其具有进一步存储于其上的在被执行时致使所述一或多个处理器进行以下操作的指令:当所述一或多个最低有效位相对于识别存在于所述长期参考图片也存储到的经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值的所述一或多个最低有效位不唯一地识别所述长期参考图片的所述图片次序计数值时,确定识别所述长期参考图片的所述图片次序计数值的一或多个最高有效位,
其中所述一或多个最高有效位与所述所确定的一或多个最低有效位的组合足以将识别所述长期参考图片的所述图片次序计数值与识别所述经解码图片缓冲器中的任何其它图片的任何其它图片次序计数值区分开,
其中所述一或多个最低有效位的所述数目在加上所述一或多个最高有效位的数目时产生小于用以指定所述图片次序计数值的位的总数目的总数,且
其中在被执行时致使所述一或多个处理器从所述经解码图片缓冲器检索所述长期参考图片的所述指令包括在被执行时致使所述一或多个处理器基于所述图片次序计数值的所述所确定的一或多个最低有效位和所述图片次序计数值的所述所确定的一或多个最高有效位从所述经解码图片缓冲器检索所述长期参考图片的指令。
77.根据权利要求76所述的非暂时性计算机可读存储媒体,其中识别将在对所述当前图片的至少所述部分进行解码时使用的所述长期参考图片的所述图片次序计数的所述所确定的一或多个最低有效位从与所述当前图片的至少一部分相关联的切片标头、与所述当前图片相关联的图片参数集以及与所述图片相关联的序列参数集中的一或多者中指定的任何其它图片次序计数值唯一地识别所述图片次序计数值。
78.根据权利要求76所述的非暂时性计算机可读存储媒体,其中在被执行时致使所述一或多个处理器确定识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位的所述指令包括在被执行时致使所述一或多个处理器从表示所述经编码视频数据的位流解析识别所述长期参考图片的所述图片次序计数值的所述一或多个最高有效位的指令。
79.根据权利要求76所述的非暂时性计算机可读存储媒体,其中所述图片次序计数值包括增量图片次序计数值,所述增量图片次序计数值被计算为识别所述当前图片的图片次序计数值与识别将在对所述当前图片的至少所述部分进行编码时使用的所述长期参考图片的所述图片次序计数值之间的差。
CN201280059327.5A 2011-12-02 2012-11-30 对识别长期参考图片的图片次序计数值的最低有效位进行译码 Pending CN104025596A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161566359P 2011-12-02 2011-12-02
US61/566,359 2011-12-02
US201261589295P 2012-01-20 2012-01-20
US61/589,295 2012-01-20
US201261624933P 2012-04-16 2012-04-16
US61/624,933 2012-04-16
US13/689,547 2012-11-29
US13/689,547 US9432665B2 (en) 2011-12-02 2012-11-29 Coding least significant bits of picture order count values identifying long-term reference pictures
PCT/US2012/067355 WO2013082464A1 (en) 2011-12-02 2012-11-30 Coding least signficant bits of picture order count values identifying long-term reference pictures

Publications (1)

Publication Number Publication Date
CN104025596A true CN104025596A (zh) 2014-09-03

Family

ID=48523989

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280059327.5A Pending CN104025596A (zh) 2011-12-02 2012-11-30 对识别长期参考图片的图片次序计数值的最低有效位进行译码
CN201280059053.XA Active CN103999463B (zh) 2011-12-02 2012-11-30 对识别长期参考帧的图片次序计数值进行译码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280059053.XA Active CN103999463B (zh) 2011-12-02 2012-11-30 对识别长期参考帧的图片次序计数值进行译码

Country Status (21)

Country Link
US (2) US9648321B2 (zh)
EP (2) EP2786569B1 (zh)
JP (4) JP5866458B2 (zh)
KR (2) KR101632816B1 (zh)
CN (2) CN104025596A (zh)
AU (2) AU2012345727B2 (zh)
BR (2) BR112014013373B1 (zh)
CA (2) CA2856548C (zh)
DK (1) DK2786569T3 (zh)
ES (1) ES2715980T3 (zh)
HK (1) HK1197125A1 (zh)
HU (1) HUE042033T2 (zh)
IL (2) IL232591B (zh)
IN (2) IN2014CN03837A (zh)
MY (1) MY170982A (zh)
PH (1) PH12014501170B1 (zh)
RU (2) RU2573204C1 (zh)
SG (2) SG11201402109PA (zh)
SI (1) SI2786569T1 (zh)
WO (2) WO2013082464A1 (zh)
ZA (1) ZA201404863B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112970265A (zh) * 2018-07-01 2021-06-15 夏普株式会社 用于发送信号通知编码视频中包括的图片的图片次序计数值的系统和方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2749027T3 (pl) 2011-08-25 2020-10-19 Sun Patent Trust Sposoby i urządzenia do kodowania i dekodowania wideo z użyciem zaktualizowanego opisu bufora
ES2685431T3 (es) 2011-09-07 2018-10-09 Sun Patent Trust Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
CN104025598B (zh) 2011-10-19 2017-11-14 太阳专利托管公司 图像编码方法、图像编码装置
US9648321B2 (en) * 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames
US20130272398A1 (en) * 2012-01-25 2013-10-17 Sharp Laboratories Of America, Inc. Long term picture signaling
US20130188709A1 (en) 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
CN107835428B (zh) * 2012-03-02 2021-09-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
WO2013158024A1 (en) * 2012-04-16 2013-10-24 Telefonaktiebolaget L M Ericsson (Publ) Encoder, decoder and methods thereof for video encoding and decoding
US9332309B2 (en) 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9332255B2 (en) * 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
US20140079138A1 (en) * 2012-09-14 2014-03-20 Sony Corporation Simplifiication of pic_order_cnt_lsb calculation in hm8
US9491487B2 (en) 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
JP6209772B2 (ja) * 2013-01-15 2017-10-11 華為技術有限公司Huawei Technologies Co.,Ltd. シグナリングを用いたビデオデコーダ
ES2687768T3 (es) * 2013-01-16 2018-10-29 Telefonaktiebolaget Lm Ericsson (Publ) Descodificador y codificador para codificar una secuencia de vídeo
US9590952B2 (en) 2014-09-05 2017-03-07 Microsoft Technology Licensing, Llc Lossy data stream decoder
KR101610725B1 (ko) * 2014-09-23 2016-04-08 삼성전자주식회사 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치
US10457706B2 (en) * 2014-11-21 2019-10-29 Stephen Micheal Henry Multivalent ligand-lipid constructs
KR102302674B1 (ko) * 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
BR112020026646A2 (pt) * 2018-06-26 2021-03-23 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
EP3818700A4 (en) * 2018-07-17 2021-05-12 Huawei Technologies Co., Ltd. PREDICTION TYPE SIGNALING AND TEMPORAL SIGNALING IN POINT CLOUD CODING (PCC)
WO2020112488A1 (en) * 2018-11-30 2020-06-04 Futurewei Technologies, Inc. Signaling of reference picture lists in video coding
WO2020122062A1 (en) * 2018-12-10 2020-06-18 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
KR102669450B1 (ko) * 2018-12-11 2024-05-28 에스케이하이닉스 주식회사 저장 장치 및 그 동작 방법
RU2769347C1 (ru) 2019-01-02 2022-03-30 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки видеосигнала посредством использования внешнего прогнозирования
US11184607B2 (en) * 2019-06-13 2021-11-23 Qualcomm Incorporated Same picture order count (POC) numbering for scalability support
WO2021029987A1 (en) * 2019-08-09 2021-02-18 Futurewei Technologies, Inc. External decoding refresh (edr) in video coding
WO2021033749A1 (en) * 2019-08-22 2021-02-25 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in video coding
CA3152933A1 (en) 2019-09-24 2021-04-29 Ye-Kui Wang Support of mixed irap and non-irap pictures within an access unit in multi-layer video bitstreams
WO2021061025A1 (en) 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. An encoder, a decoder with picture order counter derivation
US20230076537A1 (en) * 2019-12-19 2023-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Picture header prediction
KR20230017819A (ko) * 2020-05-22 2023-02-06 엘지전자 주식회사 영상 코딩 방법 및 그 장치
US20220108488A1 (en) * 2020-10-07 2022-04-07 Qualcomm Incorporated Angular mode and in-tree quantization in geometry point cloud compression
US20230156218A1 (en) * 2021-11-18 2023-05-18 Tencent America LLC Derived motion vector with single reference signaling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2399706A (en) * 2002-05-03 2004-09-22 Lg Electronics Inc Method for coding a moving picture
CN101065780A (zh) * 2004-10-14 2007-10-31 诺基亚公司 视频编码中的参考图像管理
CN101637028A (zh) * 2007-02-28 2010-01-27 索尼株式会社 图像信息编码设备和编码方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2603001A1 (en) 2002-10-01 2013-06-12 Thomson Licensing Implicit weighting of reference pictures in a video encoder
CN101924945B (zh) 2004-03-08 2012-07-18 三叉微系统(远东)有限公司 具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
US7873107B2 (en) 2004-07-30 2011-01-18 Broadcom Corporation Tertiary content addressable memory based motion estimator
FR2874292B1 (fr) 2004-08-10 2007-01-26 Thales Sa Procede de mise en forme de trames d'une sequence video
KR100714696B1 (ko) * 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
BRPI0621340A2 (pt) * 2006-02-13 2011-12-06 Toshiba Kk Toshiba Corp método e aparelho e programa de codificação/decodificação de vìdeo
MX357910B (es) * 2006-07-06 2018-07-30 Thomson Licensing Método y aparato para desacoplar el número de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
US20080165860A1 (en) 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
WO2008048515A2 (en) 2006-10-13 2008-04-24 Thomson Licensing Method for reference picture management involving multiview video coding
RU2426227C2 (ru) * 2006-11-14 2011-08-10 Квэлкомм Инкорпорейтед Кодирование кодов переменной длины с эффективным использованием памяти
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
US8629893B2 (en) 2008-04-02 2014-01-14 Cisco Technology, Inc. Video switching without instantaneous decoder refresh-frames
JP5131101B2 (ja) * 2008-09-09 2013-01-30 富士通株式会社 動画像編集装置および動画像編集プログラム
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
EP2630799A4 (en) 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US9648321B2 (en) * 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2399706A (en) * 2002-05-03 2004-09-22 Lg Electronics Inc Method for coding a moving picture
CN101065780A (zh) * 2004-10-14 2007-10-31 诺基亚公司 视频编码中的参考图像管理
CN101637028A (zh) * 2007-02-28 2010-01-27 索尼株式会社 图像信息编码设备和编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SACHIN DESHPANDE,ANDREW SEGALL: "《JCTVC-H053》", 10 February 2012 *
VIKTOR WAHADANIAH: "《JCTVC-G548》", 30 November 2011 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112970265A (zh) * 2018-07-01 2021-06-15 夏普株式会社 用于发送信号通知编码视频中包括的图片的图片次序计数值的系统和方法

Also Published As

Publication number Publication date
EP2786571B1 (en) 2019-05-01
SG11201402109PA (en) 2014-09-26
AU2012345727B2 (en) 2016-05-12
WO2013082471A1 (en) 2013-06-06
RU2014126865A (ru) 2016-02-10
CA2856726C (en) 2021-05-11
JP5866458B2 (ja) 2016-02-17
HUE042033T2 (hu) 2019-06-28
US20130142256A1 (en) 2013-06-06
IL232591A0 (en) 2014-06-30
JP6661419B2 (ja) 2020-03-11
US9648321B2 (en) 2017-05-09
KR101632815B1 (ko) 2016-06-22
PH12014501170A1 (en) 2014-09-08
BR112014013365B1 (pt) 2022-06-14
EP2786569A1 (en) 2014-10-08
AU2012345720B2 (en) 2016-05-12
AU2012345727A1 (en) 2014-06-12
CN103999463B (zh) 2017-10-31
ES2715980T3 (es) 2019-06-07
EP2786571A1 (en) 2014-10-08
RU2573204C1 (ru) 2016-01-20
IL232590A0 (en) 2014-06-30
JP2015503287A (ja) 2015-01-29
PH12014501170B1 (en) 2014-09-08
BR112014013373A2 (pt) 2017-06-13
JP2015500590A (ja) 2015-01-05
BR112014013373B1 (pt) 2022-06-07
AU2012345720C1 (en) 2016-11-24
HK1197125A1 (zh) 2015-01-02
IN2014CN03797A (zh) 2015-10-16
US20130142257A1 (en) 2013-06-06
IN2014CN03837A (zh) 2015-07-03
IL232591B (en) 2018-02-28
CA2856548C (en) 2018-08-28
WO2013082464A1 (en) 2013-06-06
IL232590B (en) 2018-02-28
BR112014013365A8 (pt) 2021-02-23
JP2016158251A (ja) 2016-09-01
KR101632816B1 (ko) 2016-07-01
JP2018129837A (ja) 2018-08-16
SI2786569T1 (sl) 2019-04-30
ZA201404863B (en) 2017-01-25
RU2594760C2 (ru) 2016-08-20
KR20140100555A (ko) 2014-08-14
MY170982A (en) 2019-09-23
US9432665B2 (en) 2016-08-30
DK2786569T3 (en) 2019-04-01
CN103999463A (zh) 2014-08-20
EP2786569B1 (en) 2018-12-19
BR112014013365A2 (pt) 2017-06-13
BR112014013373A8 (pt) 2021-02-23
CA2856726A1 (en) 2013-06-06
JP6556894B2 (ja) 2019-08-07
CA2856548A1 (en) 2013-06-06
AU2012345720A1 (en) 2014-06-12
SG11201402107WA (en) 2014-09-26
KR20140100557A (ko) 2014-08-14

Similar Documents

Publication Publication Date Title
CN104025596A (zh) 对识别长期参考图片的图片次序计数值的最低有效位进行译码
CN104054345B (zh) 对用于视频译码的参数集和nal单元标头进行译码
CN104904222B (zh) 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN104969555B (zh) 一种编码或解码视频数据的方法及装置
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN104272745B (zh) 具有对流调适及拼接的增强支持的视频译码
CN104396253B (zh) 解码和编码视频数据的方法和装置及计算机可读存储媒体
CN105052156B (zh) Irap存取单元与位流切换及拼接
CN103733620A (zh) 具有不对称空间分辨率的三维视频
CN104396257A (zh) 在视频译码中长期参考图片的随机存取和发信
CN104365106A (zh) 发信用于视频译码的长期参考图片的数据
CN104471942A (zh) 重新使用参数集用于视频译码
CN103959793A (zh) 参考图像集的有效率发信号
CN104221387A (zh) 在视频译码中的低延迟视频缓冲
CN103718561A (zh) 多视图视频译码
CN103748882A (zh) 支持内侧视图运动预测模式的以多重视图译码为基础的三维视频译码编解码器
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104126305A (zh) 用于多视图视频译码mvc兼容三维视频译码3dvc的序列等级信息
CN103460698A (zh) 组合参考图片列表建构和映射
CN103299627A (zh) 视频译码中的帧分裂
CN104272741A (zh) 多视图译码和3d译码中的视图相依性
CN104054347A (zh) 在视频译码中波前平行处理的使用的指示
CN103828368A (zh) 已解码图像缓冲器管理
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1198091

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140903

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1198091

Country of ref document: HK