CN104662906A - 参考图片列表修改信息的有条件信号通知 - Google Patents

参考图片列表修改信息的有条件信号通知 Download PDF

Info

Publication number
CN104662906A
CN104662906A CN201380051068.6A CN201380051068A CN104662906A CN 104662906 A CN104662906 A CN 104662906A CN 201380051068 A CN201380051068 A CN 201380051068A CN 104662906 A CN104662906 A CN 104662906A
Authority
CN
China
Prior art keywords
rpl
reference picture
frame
condition
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380051068.6A
Other languages
English (en)
Other versions
CN104662906B (zh
Inventor
G.J.萨利文
S.卡努穆里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104662906A publication Critical patent/CN104662906A/zh
Application granted granted Critical
Publication of CN104662906B publication Critical patent/CN104662906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在用信号通知参考图片列表(“RPL”)修改信息中的创新。例如,视频编码器评估一个条件,所述条件至少部分取决于指示全部参考图片的数目的变量。取决于评估的结果,编码器在比特流中用信号通知指示RPL是否按照在比特流中明确地用信号通知的语法元素来修改的标志。视频解码器评估该条件,以及取决于评估的结果,从比特流中解析指示RPL是否按照在比特流中明确地用信号通知的语法元素来修改的标志。所述条件可作为用于包括标志的RPL修改结构的处理的一部分被评估,或作为用于条带头的处理的一部分被评估。编码器和解码器还可以评估影响用于RPL修改信息的列表项的语法元素的其它条件。

Description

参考图片列表修改信息的有条件信号通知
背景技术
工程师使用压缩(也称为源编码)来降低数字视频的比特率。压缩是通过把视频信息转换为较低比特率形式来减小存储和传输该信息的花费。解压缩(也称为解码)从压缩的形式重建原始信息的版本。“编解码器(codec)”是编码器/解码器系统。
过去二十年来,已采用了各种视频编解码器标准,包括H.261、H.262(MPEG-2或ISO/IEC 13818-2)、H.263和H.264(AVC或ISO/IEC 14496-10)标准以及MPEG-1 (ISO/IEC 11172-2)、MPEG-4 Visual(ISO/IEC 14496-2)和SMPTE 421M标准。最近,HEVC标准正处在开发中。视频编解码器标准典型地规定用于编码的视频比特流的语法的任选项,详细阐述了当在编码与解码中使用具体的特征时在比特流中的参数。在许多情形下,视频编解码器标准也提供关于解码器在解码中为得到正确结果而应当执行的解码操作的细节。除了编解码器标准以外,各种私有的编解码器格式还规定了用于编码的视频比特流的语法和对应的解码操作的其它任选项。
比特流中某些类型的参数指示关于在视频编码与解码期间所使用的参考图片(reference picture)的信息。参考图片通常是包含可以在其它图片的解码过程中被使用于图片间预测的样本的图片。典型地,其它图片在解码次序上跟随在参考图片之后,且将参考图片用于运动补偿的预测。在某些视频编解码器标准和格式中,在给定的时间可得到多个参考图片来用于运动补偿的预测。这样的视频编解码器标准/格式规定如何管理多个参考图片。
通常,参考图片列表(“RPL”)是被使用于运动补偿的预测的参考图片的列表。在某些视频编解码器标准和格式中,参考图片集(“RPS”)是在给定的时间可得到以供在运动补偿的预测中使用的参考图片的集合,而RPL是在RPS中的参考图片的某些。在RPL中的参考图片通过参考索引被寻址。参考索引标识RPL中的参考图片。在编码和解码期间,RPS可被更新成计及新解码的图片和不再用作为参考图片的较老的图片。另外,在RPL内的参考图片可被记录,这样使得更通常使用的参考图片通过用信号通知(signal)是更有效的参考索引来标识。在某些新近的编解码器标准中,RPL在编码与解码期间基于可得到的关于RPS的信息、按照规则的修改和/或在比特流中用信号通知的修改来被构建。用信号通知用于RPL的修改可能会消耗相当大的比特量。
发明内容
简要地说,本详细说明给出在用信号通知参考图片列表(“RPL”)修改信息时的创新。更一般地,创新涉及不同的方式来在RPL修改信息会无用时或在这样的信息的值可以被推断时避免RPL修改信息的信号通知。
按照这里描述的创新的一个方面,视频编码器评估一条件。取决于评估的结果,编码器在比特流中有条件地用信号通知一标志,该标志指示RPL是否按照比特流中明确地用信号通知的语法元素来修改。对应的视频解码器评估一条件。取决于评估的结果,解码器从比特流中有条件地解析一标志,该标志指示RPL是否按照比特流中明确地用信号通知的语法元素来修改。在某些示例性实现中,RPL可以是用于预测的(“P”)条带(slice)或双向预测的(“B”)条带的。替换地,更高级别的语法结构基于对条件的评估而被有条件地用信号通知/解析。
在某些示例性实现中,如果RPL没有被修改,则从RPS基于关于RPL构建的规则来构建缺省的RPL。如果RPL被修改,则基于用信号通知的RPL修改信息来构建替换RPL,该RPL修改信息指示对来自RPS的参考图片的选择。替换地,以更细粒度(fine-grained)的方式用信号通知关于对缺省的RPL进行重新排序、把参考图片添加到缺省的RPL或从缺省的RPL中去除参考图片的修改,以便调整缺省的RPL。
例如,被评估的条件至少部分取决于指示全部参考图片的数目的变量。在某些示例性实现中,该条件是变量的值是否大于1。
条件可以作为用于包括标志的RPL修改结构的处理的一部分被评估。或者,条件可以作为用于条带头的处理的一部分被评估,在这种情形下,RPL修改结构(包括标志)取决于评估的结果而被有条件地用信号通知或解析。
按照这里描述的创新的另一个方面,视频编码器评估另一条件。取决于评估的结果,编码器在比特流中有条件地用信号通知用于列表项的一个或多个语法元素,其指示如何修改RPL(例如,替换RPL、调整RPL)。对应的视频解码器评估该条件。取决于评估的结果,解码器从比特流中有条件地解析用于列表项的一个或多个语法元素,其指示如何修改RPL(例如,替换RPL、调整RPL)。在某些示例性实现中,RPL可以用于P条带或B条带(使条件评估和有条件的信号通知/解析对用于B条带的多个RPL的每个RPL重复进行)。例如,其它条件至少部分取决于某个变量,其指示全部参考图片的数目、用于RPL的现用(active)参考图片的数目和/或是否禁用加权的预测。可使用不同的逻辑来检验是否取决于当前条带是P条带还是B条带和/或取决于哪个RPL正被用信号通知/解析而禁用加权的预测。在某些示例性实现中,如果(a)全部参考图片的数目等于2和(b)用于RPL的现用参考图片的数目等于1,则用于列表项的一个或多个语法元素不在比特流中,且为列表项中的一项推断值。而且,在某些示例性实现中,如果(c)全部参考图片的数目等于2,(d)用于RPL的现用参考图片的数目等于2以及(e)加权的预测被禁用,则用于列表项的一个或多个语法元素不在比特流中,且为列表项中的两项推断值。
按照这里描述的创新的另一个方面,视频编码器评估另一条件。取决于评估的结果,编码器调整在比特流中用于列表项的一个或多个语法元素的信号通知,所述语法元素指示如何修改RPL(例如,替换RPL、调整RPL)。具体地,调整一个或多个语法元素的至少一个语法元素的长度(以比特计)。对应的视频解码器评估该条件。取决于评估的结果,解码器调整从比特流中对用于列表项的一个或多个语法元素的解析,所述语法元素指示如何修改RPL(再次地,其中一个或多个语法元素的至少一个语法元素的长度(以比特计)被调整)。例如,条件至少部分取决于是否禁用加权的预测。可使用不同的逻辑来检验是否取决于当前条带是P条带还是B条带和/或取决于哪个RPL正被用信号通知/解析而禁用加权的预测。在某些示例性实现中,对用于列表项的索引i,如果加权的预测被禁用,则语法元素中的至少一个的长度(以比特计)随i增加而减小。例如,在某些示例性实现中,如果加权的预测被禁用,则对于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr - i))比特。另一方面,如果加权的预测被启用,则对于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr))比特。
编码或解码可以被实施为方法的一部分、被实施为适于执行所述方法的计算设备的一部分或被实施为存储用于使得计算设备执行所述方法的计算机可执行指令的有形计算机可读介质的一部分。
通过以下的参照附图进行的详细说明,本发明的上述的和其它的目的、特征和优点将变得更为明显。
附图说明
图1是其中可以实施某些描述的实施例的示例性计算系统的图。
图2a和2b是其中可以实施某些描述的实施例的示例性网络环境的图。
图3是可以结合其来实施某些描述的实施例的示例性编码器系统的图。
图4是可以结合其来实施某些描述的实施例的示例性解码器系统的图。
图5是图示出可以结合其来实施某些描述的实施例的示例性视频编码器的图。
图6是图示出可以结合其来实施某些描述的实施例的示例性视频解码器的图。
图7a是图示出按照某些示例性实现的、指示是否修改RPL的标志的有条件信号通知(conditional signaling)的表格。
图7b和7c是图示出按照其它的示例性实现的、指示是否修改RPL的一个或多个标志的有条件信号通知的表格。
图8和9是图示出按照某些示例性实现的、用于列表项的指示如何修改RPL的语法元素的有条件信号通知的表格。
图10和11是分别图示出对于指示是否修改RPL的标志的有条件信号通知和解析的一般化技术的流程图。
图12和13是分别图示出对用于列表项的指示如何修改RPL的语法元素的有条件信号通知和解析的一般化技术的流程图。
图14和15是分别图示出用以调整用于列表项的指示如何修改RPL的语法元素的有条件信号通知和解析的一般化技术的流程图。
具体实施方式
本详细说明给出在用信号通知参考图片列表(“RPL”)修改信息时的创新。这些创新可以有助于在RPL修改信息会是无用的时或在这样的信息的值可以被推断时避免用信号通知RPL修改信息。
在某些新近的编解码器标准中,参考图片集(“RPS”)是可得到以供在运动补偿的预测中使用的参考图片的集合,而RPL是从RPS构建的。对于预测的(“P”)条带的解码过程,有一个RPL,其被称为RPL 0。对于双向预测的(“B”)条带的解码过程,有两个RPL,其被称为RPL 0和RPL 1。在对于P条带的解码过程的开始,从可得到的关于RPL 0的信息(诸如,在解码器处可得到来用于解码当前图片的参考图片集)、按照规则的修改和/或在比特流中用信号通知的修改来推导出RPL 0。同样地,在对于B条带的解码过程的开始,从可得到的关于RPL 0的信息和可得到的关于RPL 1的信息(诸如,在解码器处可得到来用于解码当前图片的参考图片集)、按照规则的修改和/或在比特流中用信号通知的修改来推导出RPL 0和RPL 1。更一般地,在编码和解码期间,基于可得到的关于RPL的信息、按照规则的修改和/或在比特流中用信号通知的修改来构建RPL。用信号通知对于RPL的修改可以消耗相当大的比特量。对于某些新近的编解码器标准,在如何用信号通知RPL修改信息方面存在低效性。
本详细说明给出在RPL修改信息的信号通知方面内的各种创新。在某些情形下,这些创新导致更有效地用信号通知用于RPL修改信息的语法元素。例如,本详细说明描述对用于列表项的、指示如何修改RPL语法元素的有条件信号通知。本详细说明还描述使用较少的比特来用信号通知这样的语法元素的方式。作为另一个例子,本详细说明描述指示是否修改RPL的标记的有条件信号通知。
在某些示例性实现中,如果RPL没有被修改,则从RPS通过使用关于构建RPL的规则、按照“隐含的”方法来构建缺省的RPL。如果RPL被修改,则通过使用指示对来自RPS的参考图片的选择的、用信号通知的RPL修改信息,按照“明确的”用信号通知的方法来构建替换RPL。替换地,可以以更细粒度的方式将关于重新排序、添加参考图片或从缺省的RPL中去除参考图片的修改用信号通知为相对于缺省RPL的特定的改变。
这里描述的创新中的某些创新是参照特定于HEVC标准的语法元素和操作来举例说明的。例如,参照HEVC标准的草稿版本JCTVC-I1003——“High efficiency video coding (HEVC) text specification draft 7”, JCTVC-I1003_d5, 9th meeting of the Joint Collaborative Team on Video Coding (“JCT-VC”),日内瓦, 2012年4月。也参阅标题为“High Efficiency Video Coding (HEVC) text specification draft 9”的草稿版本, JCTVC-K1003_d11, 11th meeting of the JCT-VC, 上海,2012年10月。这里描述的创新还可以被实施用于其它标准或格式。
更一般地,对这里描述的例子的各种替换例是可能的。例如,这里描述的某些方法可以通过改变所描述的方法行为的次序、通过拆分、重复或省略某些方法行为等等而被改变。公开的技术的各种方面可以组合地或分开地被使用。不同的实施例使用所描述的创新中的一个或多个。这里描述的创新中的某些创新解决在背景技术中提到的一个或多个问题。典型地,给出的技术/工具并不解决所有的这样的问题。
I. 示例性计算系统
图1图示出其中可以实施所描述创新中的几个创新的适当计算系统(100)的一般化的例子。计算系统(100)不打算建议对于使用或功能性的范围的任何限制,因为创新可以在多种多样的通用或专用计算系统中被实施。
参照图1,计算系统(100)包括一个或多个处理单元(110,115)和存储器(120,125)。在图1上,这个最基本的配置(130)被包括在虚线内。处理单元(110,115)执行计算机可执行指令。处理单元可以是通用的中央处理单元(“CPU”)、在专用集成电路(“ASIC”)中的处理器或任何其它类型的处理器。在多处理系统中,多个处理单元执行计算机可执行指令来提高处理能力。例如,图1显示中央处理单元(110)以及图形处理单元或协处理单元(115)。有形存储器(120,125)可以是可由(一个或多个)处理单元访问的易失性存储器(例如,寄存器、高速缓存、RAM)、非易失性存储器(例如,ROM、EEPROM、快闪存储器等等)或者是二者的某种组合。存储器(120,125)存储实施用于RPL修改信息的信号通知的一个或多个创新的、具有适合于由(一个或多个)处理单元执行的计算机可执行指令的形式的软件(180)。
计算系统可以具有附加的特征。例如,计算系统(100)包括存储装置(140)、一个或多个输入装置(150)、一个或多个输出装置(160)和一个或多个通信连接(170)。诸如总线、控制器或网络的互连机制(未示出)互连计算系统(100)的部件。典型地,操作系统软件(未示出)提供用于在计算系统(100)中执行的其它软件的操作环境,以及协调计算系统(100)的部件的活动。
有形存储装置(140)可以是可拆卸的或非可拆卸的,且包括磁盘、磁带或盒式磁带、CD-ROM、DVD或可被使用来存储信息和可在计算系统(100)内被访问的任何其它介质。存储装置(140)为实施用于RPL修改信息的信号通知的一个或多个创新的软件(180)存储指令。
(一个或多个)输入装置(150)可以是触摸输入装置,诸如键盘、鼠标、笔或者跟踪球、话音输入装置、扫描装置或向计算系统(100)提供输入的另一个装置。对于视频编码,(一个或多个)输入装置(150)可以是相机、视频卡、TV调谐器卡或接受以模拟或数字形式的视频输入的类似的装置,或把视频样本读入到计算系统(100)的CD-ROM或CD-RW。(一个或多个)输出装置(160)可以是显示器、打印机、扬声器、CD-刻录机或从计算系统(100)提供输出的另一个装置。
(一个或多个)通信连接(170)使得能通过通信介质进行与另一个计算实体的通信。通信介质在已调制的数据信号中输送信息,诸如,计算机可执行指令、音频或视频输入或输出或者其它数据。已调制数据信号是使其特性中的一个或多个以如此方式被设定或者改变的信号,即:将信息编码在信号中。作为例子,但不是限制,通信介质可以使用电、光、RF或其它载体。
创新可以在计算机可读介质的一般上下文中被描述。计算机可读介质是可以在计算环境下被访问的任何可得到的有形介质。作为例子,但不是限制,对于计算系统(100),计算机可读介质包括存储器(120,125)、存储装置(140)和任何的以上项的组合。
可以在执行于计算系统中目标真实或虚拟处理器上的计算机可执行指令的一般上下文中描述创新,计算机可执行指令是诸如在程序模块中所包括的那些指令。通常,程序模块包括执行特定的任务或实施特定的抽象数据类型的例行程序、程序、库、对象、类、构件、数据结构等等。程序模块的功能性可以按各种实施例中所期望的那样被组合或在程序模块之间拆分。用于程序模块的计算机可执行指令可以在本地或分布式计算系统内执行。
术语“系统”和“设备”在这里可互换地使用。除非上下文清楚地指示,否则这两个术语都不暗示对于计算系统或计算设备的类型的任何限制。通常,计算系统或计算设备可以是本地的或分布式的,且可以包括专用硬件和/或带有实施这里描述的功能性的软件的通用硬件的任何组合。
本公开的方法也可以通过使用被配置成执行任何的所公开方法的专门化的计算硬件来实施。例如,本公开的方法可以通过被专门设计或配置成实施任何所公开方法的集成电路(例如,专用集成电路(“ASIC”)(诸如ASIC数字信号处理单元(“DSP”)、图形处理单元(“GPU”)或可编程逻辑器件(“PLD”),诸如现场可编程门阵列(“FPGA”))来实施。
为了介绍起见,本详细说明使用类似“确定”和“使用”那样的术语来描述计算系统中的计算机操作。这些术语是对于由计算机执行的操作的高级别抽象,而不应当与人类执行的动作混淆。对应于这些术语的实际的计算机操作取决于实现而变化。
II. 示例性网络环境
图2a和2b显示包括视频编码器(220)和视频解码器(270)的示例性网络环境(201,202)。视频编码器(220)和视频解码器(270)通过使用适当的通信协议在网络(250)上连接。网络(250)可包括互联网或另外的计算机网络。
在图2a上显示的网络环境(201)中,每个实时通信(“RTC”)工具(210)包括用于双向通信的编码器(220)和解码器(270)。给定的编码器(220)可以产生依从SMPTE 421M标准、ISO-IEC 14496-10标准(也称为H.264或AVC)、HEVC标准、另外的标准或私有格式的输出,有对应的解码器(270)接受来自编码器(220)的编码的数据。双向通信可以是视频会议、视频电话呼叫或其它双方通信情景的一部分。虽然图2a上的网络环境(201)包括两个实时通信工具(210),但网络环境(201)也可以改而包括参加多方通信的三个或更多个实时通信工具(210)。
实时通信工具(210)管理由编码器(220)进行的编码。图3显示可被包括在实时通信工具(210)内的示例性编码器系统(300)。替换地,实时通信工具(210)使用另一个编码器系统。实时通信工具(210)也管理由解码器(270)进行的解码。图4显示可被包括在实时通信工具(210)内的示例性解码器系统(400)。替换地,实时通信工具(210)使用另一个解码器系统。
在图2b上显示的网络环境(202)中,编码工具(212)包括编码器(220),它对视频进行编码以便传递到包括解码器(270)的多个回放工具(214)。可提供单向通信用于视频监控系统、web相机监视系统、远程桌面会议演示或其中视频被编码且从一个位置发送到一个或多个其它位置的其它情景。虽然在图2b上的网络环境(202)包括两个回放工具(214),但网络环境(202)可包括更多或更少的回放工具(214)。通常,回放工具(214)与编码工具(212)通信,以确定供回放工具(214)接收的视频的流。回放工具(214)接收流,缓冲所接收的编码的数据达一适当的时段,并开始解码和回放。
图3显示可被包括在编码工具(212)内的示例性编码器系统(300)。替换地,编码工具(212)使用另一个编码器系统。编码工具(212)也可以包括服务器侧控制器逻辑,用于管理与一个或多个回放工具(214)的连接。图4显示可被包括在回放工具(214)内的示例性解码器系统(400)。替换地,回放工具(214)使用另一个解码器系统。回放工具(214)也可以包括客户机侧控制器逻辑,用于管理与编码工具(212)的连接。
III. 示例性编码器系统
图3是可以结合其来实施某些描述的实施例的示例性编码器系统(300)的框图。编码器系统(300)可以是能够在多种编码模式的任何编码模式下运行的通用编码工具,编码模式是诸如用于实时通信的低等待时间编码模式、转码模式和用于从文件或流进行媒体回放的常规的编码模式,或编码器系统可以是适用于一种这样的编码模式的专用编码工具。编码器系统(300)可被实施为操作系统模块、实施为应用库的一部分或实施为独立的应用。总之,编码器系统(300)从视频源(310)接收一系列源视频帧(311)且产生编码的数据作为到信道(390)的输出。输出到信道的编码的数据可包括指示RPL修改信息的语法元素。
视频源(310)可以是相机、调谐器卡、存储介质或其它数字视频源。视频源(310)以例如每秒30帧的帧速率产生一系列视频帧。正如这里使用的,术语“帧”通常是指源、被编码的或重建的图像数据。对于逐行视频,帧是逐行视频帧。对于隔行视频,在示例性实施例中,隔行的视频帧在编码之前先被解除隔行(de-interlace)。替换地,两个互补的隔行的视频场被编码为隔行的视频帧或分开的场。除了指示逐行视频帧以外,术语“帧”或“图片”可以指示单个未配对的视频场、互补的配对的视频场、代表在给定时间的视频对象的视频对象平面或在较大的图像中的感兴趣区域。视频对象平面或区域可以是包括某个情景的多个对象或区域的较大图像的一部分。
到达的源帧(311)被存储在源帧临时存储器存储区(320),其包括多个帧缓冲器存储区(321,322,…,32n)。帧缓冲器(321,322,等)持有源帧存储区(320)中的一个源帧。在源帧(311)中的一个或多个源帧已被存储在帧缓冲器(321,322等)后,帧选择器(330)从源帧存储区(320)中周期地选择单个源帧。由帧选择器(330)选择用于输入到编码器(340)的帧的次序可以不同于由视频源(310)产生这些帧的次序,例如,某个帧可以在次序上提前,以便于时间上的后向预测。在编码器(340)之前,编码器系统(300)可包括预处理器(未示出),它执行编码之前的帧的预处理(例如,滤波)。预处理也可以包括彩色空间转换成主要和次要分量以用于编码。
编码器(340)对所选择的帧(331)进行编码,以产生编码的帧(341),并且也产生存储器管理控制操作(“MMCO”)信号(342)或参考图片集(“RPS”)信息。如果当前的帧不是已被编码的第一帧,则当执行它的编码过程时,编码器(340)可以使用已被存储在解码帧临时存储器存储区(360)中的一个或多个以前编码的/解码的帧(369)。这样存储的解码的帧(369)被用作为对当前源帧(331)的内容的帧间预测的参考图片。通常,编码器(340)包括多个编码模块,它们执行诸如运动估计和补偿、频率变换、量化和熵编码那样的编码任务。由编码器(340)执行的确切操作取决于压缩格式而变化。输出的编码数据的格式可以是视窗媒体视频(Windows Media Video)格式、VC-1格式、MPEG-x格式(例如,MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如,H.261、H.262、H.263、H.264)、HEVC格式或其它格式。
例如,在编码器(340)内,帧间编码的预测的帧依据来自参考帧的预测而表示,参考帧是参考图片的例子。运动估计器估计源帧(341)的块或其它样本集相对于一个或多个参考帧(369)的运动。当使用多个参考帧时,多个参考帧可以是来自不同的时间方向或来自相同的时间方向。参考帧(参考图片)可以是一个或多个RPL的一部分,其具有寻址(一个或多个)RPL中的参考图片的参考索引。(一个或多个)RPL在编码期间被构建,这样使得新的参考图片在适当时被添加,不再被使用于运动补偿的较老的参考图片在适当时被去除,以及参考图片在适当时被重新排序。在某些实现中,例如,当编码当前的图片时,编码器(340)确定包括解码帧存储区(360)中的参考图片的RPS,然后,创建用于对当前图片的给定条带进行编码的一个或多个RPL。RPL可以通过施加关于从RPS可得到的参考图片的选择的规则(隐含方法)而被创建,在这种情形下RPL修改信息在比特流中不被明确地用信号通知。或者,RPL可以通过选择从RPS可得到的特定的参考图片而被创建,其中被选择的参考图片将在RPL修改信息中被指示,RPL修改信息在比特流中被用信号通知。与通过隐含方法的规则而被构建的RPL相比较, RPL修改信息可以规定替换RPL作为RPS中的参考图片的列表。替换地,RPL修改信息可以以更细粒度的方式来规定在通过隐含方法的规则而被构建的RPL中一个或多个参考图片的去除、一个或多个参考图片的添加和/或参考图片的重新排序。
当编码某个帧间编码的帧时,编码器(340)可以评估对于其RPL没有按照在比特流中明确地用信号通知的语法元素来修改的运动补偿的结果,也评估对于其RPL按照在比特流中明确地用信号通知的语法元素来修改的运动补偿的结果(或修改RPL的多种不同方式的结果)。编码器(340)可以决定使用缺省的RPL(没有在比特流中用信号通知的RPL修改信息)或修改的RPL(有在比特流中被用信号通知的RPL修改信息)。当RPL被修改(例如,被替换、被调整)时,与缺省的RPL相比较,编码器(340)可以执行以下的一项或多项:(a)对参考图片重新排序以便用参考索引更有效地寻址,(b)至少部分根据在编码期间的使用频率来去除参考图片,以及(c) 至少部分根据在编码期间的使用频率来添加参考图片。例如,编码器(340)可以在用于运动补偿的参考图片的利用率跌落到低于阈值量后和/或按照其它准则,决定从RPL中去除给定的参考图片。作为另一个例子,如果用于运动补偿的参考图片的利用率高于阈值量和/或按照其它准则,编码器(340)可以决定把给定的参考图片添加到RPL中。作为另一个例子,编码器(340)可以基于相应的参考图片的利用频率和/或按照其它准则来决定如何对RPL中的参考图片重新排序。
运动估计器输出运动信息,诸如被熵编码的运动向量信息。运动补偿器把运动向量施加到参考图片,以确定运动补偿的预测值。编码器确定在块的运动补偿的预测值与对应的原始值之间的差(如果有的话)。这些预测残差值还通过使用频率变换、量化和熵编码而被编码。类似地,对于帧内预测,编码器(340)可以确定对于块的帧内预测值、确定预测残差值和对预测残差值编码(通过频率变换、量化和熵编码)。具体地,编码器(340)的熵编码器压缩量化的变换系数值以及某些辅助信息(side information)(例如,运动向量信息、QP值、模式判决、参数选取、参考索引、RPL修改信息)。典型的熵编码技术包括Exp-Golomb编码、算术编码、差分编码、霍夫曼编码、游程长度编码、可变长度到可变长度(“V2V”)编码、可变长度到固定长度(“V2F”)编码、LZ编码、词典编码、概率间隔划分熵编码(“PIPE”)和上述编码的组合。熵编码器可以对不同种类的信息使用不同的编码技术,并可在特定的编码技术内从多个代码表中间进行选取。
编码的帧(341)和MMCO/RPS信息(342)由解码过程仿真器(350)处理。解码过程仿真器(350)实施解码器的功能性的某些功能性,例如,重建由编码器(340)在运动补偿时使用的参考图片的解码任务。解码过程仿真器(350)使用MMCO/RPS信息(342)来确定是否需要重建和存储给定的编码的帧(341),以便在要被编码的以后的帧的帧间预测中用作参考图片。如果MMCO/RPS信息(342)指示编码的帧(341)需要被存储,则解码过程仿真器(350)对将由解码器进行的解码过程建模,该解码器接收编码的帧(341)且产生对应的解码的帧(351)。在这样做以后,当编码器(340)已使用被存储在解码帧存储区(360)中的(一个或多个)解码的帧(369)时,解码过程仿真器(350)也使用来自存储区(360)的(一个或多个)解码的帧(369)作为解码过程的一部分。
解码帧临时存储器存储区(360)包括多个帧缓冲器存储区(361,362,…, 36n)。解码过程仿真器(350)使用MMCO/RPS信息(342)来管理存储区(360)的内容,以便识别带有不再被编码器(340)需要来用作参考图片的帧的任何帧缓冲器(361,362等)。在对解码过程建模后,解码过程仿真器(350)把以这种方式识别的新解码的帧(351)存储在帧缓冲器(361,362等)中。
编码的帧(341)和MMCO/RPS信息(342)也在临时编码数据区(370)中被缓冲。被聚集在编码数据区(370)中的编码的数据可以包含作为基本编码视频比特流的语法的一部分的、指示RPL修改信息的语法元素。被聚集在编码数据区(370)中的编码的数据还可以包括与编码的视频数据有关的媒体元数据(例如,作为在一个或多个补充增强信息(“SEI”)消息或视频可用性信息(“VUI”)消息中的一个或多个参数)。
来自临时编码数据区(370)的聚集的数据(371)由信道编码器(380)处理。信道编码器(380)可以把聚集的数据打包以作为媒体流传输(例如,按照诸如ISO/IEC 14496-12那样的媒体容器格式),在这种情形下,信道编码器(380)可以加上语法元素作为媒体传输流的语法的一部分。或者,信道编码器(380)可以组织聚集的数据以作为文件来存储(例如,按照诸如ISO/IEC 14496-12那样的媒体容器格式),在这种情形下,信道编码器(380)可以加上语法元素作为媒体存储文件的语法的一部分。或者,更一般地,信道编码器(380)可以实施一种或多种媒体系统复用协议或输送协议,在这种情形下,信道编码器(380)可以加上语法元素作为(一种或多种)协议的语法的一部分。信道编码器(380)向信道(390)提供输出,信道代表存储装置、通信连接或用于输出的另一信道。
IV. 示例性解码器系统
图4是可以结合其来实施某些描述的实施例的示例性解码器系统(400)的框图。解码器系统(400)可以是能够在多种解码模式中的任何解码模式下运行的通用解码工具,解码模式是诸如用于实时通信的低等待时间解码模式和用于从文件或流进行媒体回放的常规的解码模式,或者解码器系统可以是适用于一种这样的解码模式的专用解码工具。解码器系统(400)可被实施为操作系统模块、实施为应用库的一部分或实施为独立的应用。总之,解码器系统(400)从信道(410)接收编码的数据且产生重建的帧作为针对输出目的地(490)的输出。编码的数据可包括指示RPL修改信息的语法元素。
解码器系统(400)包括信道(410),它可代表存储装置、通信连接或为编码的数据作为输出的另一信道。信道(410)产生已被信道编码的编码的数据。信道解码器(420)可以处理编码的数据。例如,信道解码器(420)对被聚集来作为媒体流传输(例如,按照诸如ISO/IEC 14496-12那样的媒体容器格式)的数据拆包(de-packetize),在这种情形下,信道解码器(420)可以解析作为媒体传输流的语法的一部分被加上的语法元素。或者,信道解码器(420)把被聚集来作为文件存储(例如,按照诸如ISO/IEC 14496-12那样的媒体容器格式)的编码的数据分离开,在这种情形下,信道解码器(420)可以解析作为媒体存储文件的语法的一部分被加上的语法元素。或者,更一般地,信道解码器(420)可以实施一种或多种媒体系统解复用协议或输送协议,在这种情形下,信道解码器(420)可以解析作为(一种或多种)协议的语法的一部分被加上的语法元素。
从信道解码器(420)输出的编码的数据(421)被存储在临时编码数据区(430),直至接收到足够数量的这样的数据为止。编码的数据(421)包括编码的帧(431)和MMCO/RPS 信息(432)。在编码数据区(430)中的编码的数据(421)可以包含作为基本编码视频比特流的语法的一部分的、指示RPL修改信息的语法元素。在编码数据区(430)中的编码的数据(421)还可以包括与编码的视频数据有关的媒体元数据(例如,作为在一个或多个SEI消息或VUI消息中的一个或多个参数)。通常,编码数据区(430)临时存储编码的数据,直至这样的编码的数据(421)被解码器(450)使用为止。在那一点上,用于编码的帧(431)和MMCO/RPS信息(432)的编码的数据从编码数据区(430)被传送到解码器(450)。在解码继续进行时,新的编码的数据被加到编码数据区(430),而保留在编码数据区(430)中的最老的编码的数据被传送到解码器(450)。
解码器(450)周期地解码编码的帧(431)以产生对应的解码的帧(451)。视情况而定,当执行它的解码过程时,解码器(450)可以使用一个或多个以前解码的帧(469)作为参考帧(参考图片)来进行帧间预测。解码器(450)从解码帧临时存储器存储区(460)读取这样的以前解码的帧(469)。通常,解码器(450)包括多个解码模块,其执行解码任务,诸如熵解码、逆量化、逆频率变换和运动补偿(其可以通过使用RPL修改信息来创建(一个或多个)RPL)。由解码器(450)执行的确切操作可以取决于压缩格式而变化。
例如,解码器(450)接收用于压缩的帧或帧序列的编码的数据,并且产生包括解码的帧(451)的输出。在解码器(450)中,缓冲器接收用于压缩的帧的编码的数据,并使得熵解码器可得到所接收的编码的数据。熵解码器对熵编码的量化的数据以及熵编码的辅助信息(包括参考索引、RPL修改信息等等)进行熵解码,典型地施加在编码器中执行的熵编码的逆过程。解码器构建对于参考图片的一个或多个RPL,带有对(一个或多个)RPL中的参考图片寻址的参考索引。(一个或多个)RPL被构建成使得在适当时加上新的参考图片,在适当时去除不再被使用于运动补偿的较老的参考图片,以及在适当时对参考图片重新排序。在某些实现中,例如,在对当前的图片进行解码时,解码器(450)确定包括解码帧存储区(460)中的参考图片的RPS,然后创建一个或多个RPL,用于对当前的图片的给定条带进行解码。RPL可以通过施加关于从RPS可得到的参考图片的选择的规则而被创建,在这种情形下,不从比特流来解析RPL修改信息。或者,RPL可以通过选择从RPS可得到的特定的参考图片而被创建,其中被选择的参考图片是在从比特流解析的RPL修改信息中指示的。与通过隐含方法的规则而被构建的RPL相比较,RPL修改信息可以规定替换RPL作为RPS中的参考图片的列表。替换地,RPL修改信息可以以更细粒度的方式规定通过隐含方法的规则而被构建的RPL中的一个或多个参考图片的去除、一个或多个参考图片的添加和/或参考图片的重新排序。
运动补偿器把运动信息施加到一个或多个参考图片,以形成被重建的帧的子块和/或块(通常是块)的运动补偿的预测。帧内预测模块可以从相邻的、以前重建的样本值来在空间上预测当前块的样本值。解码器(450)也重建预测残差。逆量化器对熵解码的数据进行逆量化。逆频率变换器将重建的频域数据转换成空间域信息。对于预测的帧,解码器(450)组合重建的预测残差与运动补偿的预测,以形成重建的帧。解码器(450)可以同样地组合预测残差与来自帧内预测的空间预测。在视频解码器(450)中的运动补偿回路包括自适应去块(de-block)滤波器,用来平滑在解码的帧(451)中跨块边界行和/或列的不连续性。
解码帧临时存储器存储区(460)包括多个帧缓冲器存储区(461,462,…,46n)。解码帧存储区(460)是DPB的一个例子。解码器(450)使用MMCO/RPS 信息(432)来识别在其中它可存储解码的帧(451)的帧缓冲器(461,462等)。解码器(450)把解码的帧(451)存储在该帧缓冲器中。
输出定序器(sequencer)(480)使用MMCO/RPS 信息(432)来识别按输出次序要产生的下一个帧何时在解码帧存储区(460)中可得到。当按输出次序要产生的下一个帧(481)在解码帧存储区(460)中可得到时,它被输出定序器(480)读取,并被输出到输出目的地(490)(例如,显示器)。通常,帧被输出定序器(480)从解码帧存储区(460)输出的次序可以与帧被解码器(450)解码的次序不同。
V. 示例性视频编码器
图5是可以结合其来实施某些描述的实施例的通用视频编码器(500)的框图。编码器(500)接收包括当前帧(505)的视频帧序列,并产生编码的数据(595)作为输出。
编码器(500)是基于块的,且使用取决于实现的块格式。块在不同的阶段,例如在频率变换与熵编码阶段,还可以被再划分。例如,帧可被划分成64x64块、32x32块或16x16块,它们进而又被划分成像素值的更小块和子块以用于编码和解码。
编码器系统(500)压缩预测的帧和帧内编码的帧。为了介绍起见,图5显示用于帧内编码的通过编码器(500)的“帧内路径”和用于帧间编码的“帧间路径”。编码器(500)的许多部件被既使用于帧内编码又使用于帧间编码。由那些部件执行的确切操作可以取决于被压缩的信息的类型而变化。
如果当前帧(505)是预测的帧,则运动估计器(510)估计当前帧(505)的块、子块或其它的像素值组相对于一个或多个参考帧(参考图片)的运动。帧存储(520)缓冲一个或多个重建的以前的帧(525)来用作为参考帧(参考图片)。当使用多个参考图片时,多个参考图片可以是来自不同的时间方向或相同的时间方向。多个参考图片可以在一个或多个RPL中被表示,其通过参考索引来寻址。运动估计器(510)输出诸如差分运动向量信息、参考索引和RPL修改信息那样的运动信息(515)作为辅助信息。在编码期间,编码器(500)构建(一个或多个)RPL,以使得在适当时加上新的参考图片、在适当时去除不再被使用于运动补偿的较老的参考图片和在适当时在(一个或多个)RPL中对参考图片重新排序 。
在某些实现中,当编码当前帧时,编码器(500)确定包括帧存储(520)中的参考帧的RPS。编码器(500)典型地确定对于帧的第一条带的RPS。基于逐个条带,编码器(500)创建一个或多个RPL用于编码当前帧的给定条带。为了创建RPL,编码器(500)可以施加关于从RPS可得到的参考帧的选择的规则,在这种情形下,RPL修改信息不在编码的数据(595)中被明确地用信号通知。或者,为了创建RPL,编码器(500)可以选择从RPS可得到的特定的参考帧,其中被选择的参考帧将在编码的数据(595)中用信号通知的RPL修改信息中指示。与通过隐含方法的规则被重建的RPL相比较,RPL修改信息可以规定替换RPL作为RPS中的参考图片的列表。替换地,RPL修改信息可以以更细粒度的方式规定在通过规则被隐含地构建的RPL中一个或多个参考帧的去除、一个或多个参考帧的添加和/或参考帧的重新排序。
运动补偿器(530)在形成运动补偿的当前帧(535)时把重建的运动向量施加到(一个或多个)重建的参考帧(525)。在运动补偿的当前帧(535)的子块、块等等与原始当前帧(505)的对应部分之间的差(如果有的话)是对于子块、块等等的预测残差(545)。在以后重建当前帧期间,重建的预测残差被加到运动补偿的当前帧(535)以得到更接近于原始当前帧(505)的重建的帧。然而,在有损压缩中,某些信息仍旧从原始的当前帧(505)中丢失。帧内路径可包括帧内预测模块(未示出),它可以从相邻的、以前重建的像素值来在空间上预测当前块或子块的像素值。
频率变换器(560)把空间域视频信息转换成频域(例如,频谱、变换)数据。对于基于块的视频帧,频率变换器(560)向像素值数据或预测残差数据的块或子块施加离散余弦变换、其整数近似或另一种类型的前向块变换,从而产生频率变换系数的块/子块。然后量化器(570)量化变换系数。例如,量化器(570)以基于逐帧、逐条带、逐块或在其它的基础上变化的步长对频域数据施加非均匀的标量量化。
当对于随后的运动估计/补偿需要当前帧的重建的版本时,逆量化器(576)对量化的频率系数数据执行逆量化。逆频率变换器(566)执行逆频率变换,从而产生重建的预测残差或像素值的块/子块。对于预测的帧,编码器(500)组合重建的预测残差(545)与运动补偿的预测(535),以形成可被用作为参考图片的重建的帧。(虽然图5上未示出,但是在帧内路径上,编码器(500)可以组合预测残差与来自帧内预测的空间预测,以重建被用作为参考图片的帧。)帧存储(520)缓冲重建的当前帧,以便在随后的运动补偿的预测中用作为参考图片。
在编码器(500)中的运动补偿回路包括在帧存储(520)之前或之后的自适应回路中去块滤波器(adaptive in-loop deblock filter)(510)。解码器(500)对重建的帧施加回路中滤波,以自适应地平滑在帧中跨边界的不连续性。
熵编码器(580)压缩量化器(570)的输出以及运动信息(515)和某些辅助信息(例如,QP值、参考索引、RPL修改信息)。熵编码器(580)把编码的数据(595)提供给缓冲器(590),缓冲器把编码的数据复用成输出比特流。编码的数据(595)可包括指示RPL修改信息的语法元素。第VII节描述这样的语法元素的例子。
控制器(未示出)接收来自编码器的各种模块的输入。控制器评估在编码期间(例如,在设置QP值和执行速率失真分析期间)的中间结果。控制器结合其它模块工作,以在编码期间设置和改变编码参数。具体地,当决定是否和如何修改(例如,替换、调整)(一个或多个)RPL时,控制器可以控制把哪些参考图片加到(一个或多个)RPL、控制从(一个或多个)RPL中去除哪些图片、以及对(一个或多个)RPL中的参考图片重新排序以便用参考索引更有效地寻址。控制器可以决定例如通过以下方式从RPS(因此是从多个RPL)中去除参考图片,即:在情景改变后去除所有的参考图片、在编码特殊种类的图片(诸如IDR图片)后去除所有的参考图片、在参考图片用于运动补偿的利用率跌落到低于阈值量后去除给定的参考图片,和/或按照其它准则去除参考图片。控制器可以决定例如通过按照图片类型/图片中的条带类型、用于图片的时间层和/或其它准则来把参考图片添加到RPS中。对于RPL,控制器可以评估对于其RPL没有按照比特流中明确地用信号通知的语法元素来修改的运动补偿的结果,也可以评估对于其RPL按照比特流中明确地用信号通知的语法元素来修改的运动补偿的结果(或修改RPL的多种不同的方式的结果)。控制器可以在比特率和/或质量方面来评估结果。控制器可以选择通过规则而隐含构建的RPL(无RPL修改信息),或选择已被修改的RPL(如用RPL修改信息规定的)。为了修改(例如,替换,调整)RPL,与隐含地构建的RPL相比较,控制器可以(a)对参考图片重新排序,以便更有效地通过参考索引进行寻址,(b)至少部分基于在编码期间的使用频率,去除参考图片,和/或(c) 至少部分基于在编码期间的使用频率,添加参考图片。例如,控制器可以决定在参考图片用于运动补偿的利用率跌落到低于阈值量后和/或按照其它准则从RPL中去除给定的参考图片。或者,如果参考图片用于运动补偿的利用率高于阈值量和/或按照其它准则,控制器可以决定把给定的参考图片加到RPL中。或者,控制器可以基于相应的参考图片的利用频率和/或按照其它准则来决定如何在RPL中对参考图片重新排序。控制器可以基于逐个图片、逐个条带或在某些其它的基础上构建(一个或多个)RPL。
取决于实现和想要的压缩的类型,编码器的模块可被添加、省略、拆分成多个模块、与其它模块组合,和/或用同样的模块替换。在替换实施例中,带有不同的模块和/或其它的模块配置的编码器执行所描述的技术中的一种或多种。编码器的具体实施例典型地使用编码器(500)的变例或补充版本。在编码器(500)内的模块之间显示的关系指示编码器中信息的一般流程;为了简化起见,没有显示其它关系。
VI. 示例性视频解码器
图6是可结合其来实施几个描述的实施例的通用解码器(600)的框图。解码器(600)接收用于压缩的帧或帧序列的编码的数据(695),并产生包括可被用作为参考图片的重建的帧(605)的输出。为了介绍起见,图6显示用于帧内解码的通过解码器(600)的“帧内路径”和用于帧间解码的“帧间路径”。解码器(600)的许多部件被既使用于帧内解码又使用于帧间解码。由那些部件执行的确切操作可以取决于被压缩的信息的类型而变化。
缓冲器(690)接收用于压缩的帧的编码的数据(695),并使得解析器/熵解码器(680)可得到接收的编码的数据。编码的数据(695)可包括指示RPL修改信息的语法元素。第VII节描述这样的语法元素的例子。解析器/熵解码器(680)通过典型地施加在编码器中执行的熵编码的逆过程来对熵编码的量化的数据以及熵编码的辅助信息(包括参考索引、RPL修改信息等等)进行熵解码。
在解码期间,解码器(600)构建(一个或多个)RPL,以使得在适当时加上新的参考图片、在适当时去除不再被使用于运动补偿的较老的参考图片以及在适当时对参考图片重新排序。解码器(600)可以基于关于(一个或多个)RPL的可得到的信息(例如,在RPS中可得到的参考图片)、按照规则的修改和/或按照作为编码的数据(695)的一部分被用信号通知的修改来构建(一个或多个)RPL。在某些实现中,例如,当解码当前帧时,解码器(600)确定包括帧存储(620)中的参考帧的RPS。解码器(600)典型地确定用于帧的第一条带的RPS。解码器(600)在逐条带的基础上创建一个或多个RPL,用于解码当前帧的给定条带。为了创建RPL,在某些情形下(如在编码的数据(695)中指示的),解码器(600)施加关于从RPS可得到的参考帧的选择的规则,在这种情形下,不从编码的数据(695)解析RPL修改信息。在其它情形下,为了创建RPL,解码器(600)选择从RPS可得到的特定的参考帧,其中被选择的参考帧在从编码的数据(695)解析的RPL修改信息中指示。RPL修改信息可以规定替换RPL作为RPS中的参考图片的列表。替换地,RPL修改信息可以以更细粒度的方式规定在通过规则而隐含地构建的RPL 中的一个或多个参考帧的去除、一个或多个参考帧的添加和/或参考帧的重新排序。
运动补偿器(630)把运动信息(615)施加到一个或多个参考图片(625),以形成正被重建的帧(605)的子块和/或块的运动补偿的预测(635)。帧存储(620)存储一个或多个以前重建的帧来用作为参考图片。
帧内路径可包括帧内预测模块(未示出),它可以根据相邻的、以前重建的像素值在空间上预测当前块或子块的像素值。在帧间路径中,解码器(600)重建预测残差。逆量化器(670)对熵解码的数据进行逆量化。逆频率变换器(660)将重建的频域数据变换成空间域信息。例如,逆频率变换器(660)把逆块变换施加到频率变换系数,从而产生像素值数据或预测残差数据。逆频率变换可以是逆离散余弦变换、它的整数近似或另一种类型的逆频率变换。
对于预测的帧,解码器(600)组合重建的预测残差(645)与运动补偿的预测(635),以形成重建的帧(605),它可被用作为参考图片。(虽然图6上未示出,但在帧内路径中,解码器(600)可以组合预测残差与来自帧内预测的空间预测,以重建可被用作为参考图片的帧。)在解码器(600)中的运动补偿回路包括在帧存储(620)之前或之后的自适应回路中去块滤波器(610)。解码器(600)对重建的帧施加回路中滤波,以自适应地平滑在帧中跨边界的不连续性。
在图6上,解码器(600)还包括后处理去块滤波器(608)。后处理去块滤波器(608)任选地平滑在重建的帧中的不连续性。也可以施加其它滤波(诸如,去环(de-ring)滤波),作为后处理滤波的一部分。
取决于实现和想要的解压缩的类型,解码器的模块可被添加、省略、拆分成多个模块、与其它模块组合和/或用同样的模块替换。在替换实施例中,带有不同的模块和/或其它的模块配置的解码器执行所描述的技术中的一种或多种。解码器的具体实施例典型地使用解码器(600)的变例或补充版本。在解码器(600)内的模块之间显示的关系指示解码器中信息的一般流程;为了简化起见,没有显示其它关系。
VII. 参考图片列表修改信息的信号通知
本节给出在RPL修改信息的信号通知的领域中的各种创新。在某些情形下,这些创新导致用于RPL修改信息的语法元素的更有效的信号通知。
A. 参考图片与RPL
参考图片通常是包含可以在其它图片的解码过程中被使用于图片间预测的样本的图片,其它图片典型地在解码次序上跟随在参考图片之后。可以在给定的时间可得到多个参考图片来用于运动补偿的预测。
通常,参考图片列表(“RPL”)是被使用于运动补偿的预测的参考图片的列表。在RPL中的参考图片用参考索引进行寻址。参考索引标识RPL中的参考图片。在编码和解码期间,当RPL被构建时,RPL中的参考图片可以不时地改变以添加新解码的图片、丢弃不再被用作为参考图片的较老的图片和/或对RPL内的参考图片重新排序以使得更通常使用的参考索引的信号通知更有效。编码器和解码器可以遵循相同的规则来对它们的(一个或多个)RPL进行构建、修改等等。除了这样的规则以外(或代替这样的规则),编码器可以把信息用信号通知到解码器,信息指示解码器应当如何对它的(一个或多个)RPL进行构建、修改等等以匹配于由编码器使用的(一个或多个)RPL。典型地,在编码和解码期间基于关于RPL的可得到的信息(例如,在RPS中的可得到的图片)、按照规则的修改和/或在比特流中用信号通知的修改来构建RPL。
在某些实现中,对于当前的图片,编码器或解码器确定包括在诸如解码图片缓冲器(“DPB”)那样的解码帧存储区中的参考图片的参考图片集(“RPS”)。RPS是在当前和将来的编码的图片的解码过程中使用的参考图片的描述。被包括在RPS中的参考图片在比特流中被明确地列出。
编码器或解码器每个图片确定一次RPS。例如,解码器在解码用于图片的某条带的条带头后通过使用在条带头中用信号通知的语法元素来确定RPS。参考图片用图片顺序计数(“POC”)值、其的一些部分和/或在比特流中用信号通知的其它信息进行标识。编码器或解码器确定可以在当前图片的图片间预测中使用的(和可以在解码次序上跟随在当前图片之后的图片中的一个或多个的图片间预测中使用的)短期参考图片和长期参考图片的群组。(编码器或解码器也确定可以在解码次序上跟随在当前图片之后的图片中的一个或多个的图片间预测中使用的、但不被使用于当前图片的参考图片的群组。)这些参考图片的群组共同地是用于当前图片的RPS。
对于当前图片的给定条带,编码器或解码器创建一个或多个RPL。编码器或解码器通过组合可以在当前图片的图片间预测中使用的短期参考图片和长期参考图片的群组而创建RPL的临时版本(例如,RPL 0或RPL 1)。为了按照“隐含的”方法的规则来构建RPL,编码器或解码器可以使用在RPL的临时版本中的参考图片,或仅仅使用在RPL的临时版本中的参考图片的某些(例如,在RPL的临时版本中的头x个图片)。对于“隐含的”方法,RPL修改信息将不在比特流中被用信号通知,也不从比特流进行解析。在“明确的”方法中,为了构建RPL,编码器或解码器使用在比特流中用信号通知的/从比特流解析的RPL修改信息来从RPL的临时版本中选择特定的参考图片。与将通过“隐含的”方法的规则而被构建的RPL相比较,RPL修改信息可以规定RPL中的一个或多个参考图片的去除、一个或多个参考图片的添加和/或参考图片的重新排序。
替换地,编码器或解码器使用另外的方法来从参考图片创建RPL。
B. RPL修改标志的有条件信号通知
按照这里描述的创新的一个方面,编码器有条件地用信号通知一标志,其指示RPL是否按照在比特流中被明确地用信号通知的语法元素来修改。对应的解码器有条件地解析这样的标记。
在某些示例性实现中,标志是ref_pic_list_modification_flag_10或ref_pic_list_modification_flag_11(通常,标志是ref_pic_list_modification_flag_1X,其中X可以是0或1)。如果标志ref_pic_list_modification_flag_1X的值等于1,则RPL X被明确地规定为list_entry_1X[i]值(再次地,X是0或1)的列表。如果标志ref_pic_list_modification_flag_1X的值等于0,则RPL X被隐含地确定。当ref_pic_list_modification_flag_1X不存在时,它被推断为等于0。
图7a显示在示例性实现中用于ref_pic_lists_modification() 语法结构的示例性语法(700)。所述结构可以作为条带头的一部分被用信号通知。在示例性语法(700)中,ref_pic_list_modification_flag_1X仅仅当NumPocTotalCurr大于1时才被发送。NumPocTotalCurr是指示可应用于当前的编码或解码的参考图片的总数的变量。在编码或解码的示例性实现中,当为当前图片的条带推导变量NumPocTotalCurr时,该变量指示被用作为用于编码或解码当前图片的参考图片的短期参考图片和长期参考图片的计数。
如图7a所示,ref_pic_list_modification_flag_1X的有条件信号通知取决于变量NumPocTotalCurr的值。当NumPocTotalCurr小于或等于1时,没有修改RPL的可能性,因此不需要发送标志ref_pic_list_modification_flag_1X。当满足条件时,这个有条件信号通知可以为每个条带节省一个或两个标志。图7a上的修改包括针对标志ref_pic_list_modification_flag_1X是否被用信号通知的条件“if(NumPocTotalCurr>1) ”。所述条件可以对列表0(对于P条带或B条带)和/或对列表1(对于B条带)进行检验。
替换地,对包括一个或多个RPL修改标志的RPL修改结构(例如,ref_pic_lists_modification()结构)的信号通知和解析可以通过评估作为条带头处理的一部分的条件或者以别的方式来控制。图7b图示出基于这个条件进行标志ref_pic_list_modification_flag_10和ref_pic_list_modification_flag_11的有条件信号通知和解析的方法。具体地,图7b显示用于可包括ref_pic_lists_modification() 语法结构的条带头语法结构的示例性语法(750), ref_pic_lists_modification() 语法结构在图7c的语法(760)中描绘。对于条带头的示例性语法(750),在对于条带施加的图片参数集中用信号通知标志lists_modification_present_flag。当lists_modification_present_flag等于0时,结构ref_pic_lists_modification()在条带头中不存在。当lists_modification_present_flag等于1时,取决于变量NumPocTotalCurr的值,结构ref_pic_lists_modification() 可以在条带头中存在。如果变量NumPocTotalCurr大于1,则用信号通知ref_pic_lists_modification()结构,如图7c的语法(760)所示。否则(变量NumPocTotalCurr不大于1),不用信号通知ref_pic_lists_modification()结构,且推断列表项的值。
在图7a-7c、8和9上,项目“u(n)”代表使用n比特的无符号整数。当n是“v”时(如在“u(v)”中),比特的数目以依赖于其它语法元素的值的方式而变化。用于u(n)的解析过程可以由读取n比特作为无符号整数的二进制表示的函数的返回值规定,使最高有效位最先写。
C. 用于列表项的语法元素的信号通知
按照这里描述的创新的另一个方面,编码器有条件地用信号通知用于列表项的、指示如何修改RPL的语法元素。对应的解码器有条件地解析这样的语法元素。
在某些示例性实现中,语法元素是用于RPL 0的list_entry_l0[i] 语法元素或用于RPL 1的list_entry_l1[i] 语法元素(一般地,语法元素是list_entry_lX, 其中X可以是0或1)。图8显示用于ref_pic_lists_modification()语法结构的示例性语法(800),它可以作为条带头的一部分被用信号通知。在示例性语法(800)中,语法元素list_entry_lX[0] 在比特流中被有条件地用信号通知。具体地,当NumPocTotalCurr等于2和num_ref_idx_1X_active_minusl等于0时,在比特流中不用信号通知语法元素list_entry_lX[0]。变量num_ref_idx_1X_active_minusl指示可被使用来对条带进行解码的RPL X的最大参考索引。num_ref_idx_1X_active_minusl变量可以具有缺省的值(例如,从0,…,15的值,如在可应用的图片参数集中规定的),或num_ref_idx_1X_active_minusl可以具有在用于当前条带的条带头中被用信号通知的值。
如图8所示,即使当ref_pic_list_modification_flag_1X指示了RPL修改信息在比特流中被用信号通知时,list_entry_lX[0] 的信号通知仍旧取决于NumPocTotalCurr 和 num_ref_idx_1X_active_minusl 。当NumPocTotalCurr等于2和num_ref_idx_1X_active_minusl等于1时, list_entry_lX[0]的值可以基于ref_pic_list_modification_flag_1X进行推断,因为只有两个可能的选择(缺省值0或非缺省值1)。
因此,图8包括对于是否用信号通知用于列表项的语法元素的条件。对于RPL 0,条件是“if(ref_pic_list_modification_flag_10 & & !(NumPocTotalCurr = =2 & & num_ref_idx_10_active_minusl = =0))”。对于RPL 1,条件是“if((ref_pic_list_modification_flag_11 & & !(NumPocTotalCurr = =2 & & num_ref_idx_11_active_minusl = =0))”。
在图8的例子中,list_entry_l0[i] 规定在要被放置在RPL 0的当前位置处的RefPicListTemp0(RPL的临时版本)中的参考图片的索引。 list_entry_l0[i]语法元素的长度是Ceil(Log2(NumPocTotalCurr))比特。list_entry_l0[i]的值是在0到NumPocTotalCurr-1的范围中,端点包含在内。如果NumPocTotalCurr等于2和num_ref_idx_10_active_minusl等于0,则语法元素list_entry_l0[0] 被推断为等于ref_pic_list_modification_flag_10 。否则,当语法元素list_entry_l0[i]不存在时,它被推断为等于0。
在图8的例子中,list_entry_l1[i] 规定在要被放置在RPL 1的当前位置处的RefPicListTemp1(RPL的临时版本)中的参考图片的索引。list_entry_l1[i]语法元素的长度是Ceil(Log2(NumPocTotalCurr))比特。list_entry_l1[i]的值是在0到NumPocTotalCurr -1的范围中,端点包含在内。如果NumPocTotalCurr等于2和num_ref_idx_11_active_minusl等于0,则语法元素list_entry_l1[0]被推断为等于ref_pic_list_modification_flag_11。否则,当语法元素list_entry_l1[i]不存在时,它被推断为等于0。
图9显示用于ref_pic_lists_modification()语法结构的另一个示例性语法(900),它可以作为条带头的一部分被用信号通知。在示例性语法(900)中,语法元素list_entry_lX[0] 在比特流中被有条件地用信号通知。然而,与图8的示例性语法相比较,被检验的条件是不同的。此外,用于list_entry_lX[]的语法元素的信号通知可以取决于是否使用了加权的预测而被调整。
按照图9,是启用还是禁用加权的预测影响如何在比特流中用信号通知用于列表项的语法元素。对具有等于0的weighted_pred_flag的P条带或对具有等于0的weighted_bipred_flag的B条带,禁用加权的预测。按照图9的示例性语法(900),当加权的预测被禁用时,在NumPocTotalCurr等于2和num_ref_idx_1X_active_minusl等于1时, 不发送list_entry_lX[0]和list_entry_lX[1]。在这种情形下,list_entry_lX[0]和list_entry_lX[1]分别被推断为1和0,因为对于仅有的另外一种可能性(也就是,list_entry_lX[0] 和 list_entry_lX[1]分别等于0和1)将不需要RPL修改。
因此,图9包括对于是否用信号通知用于列表项的语法元素的条件。对于RPL 0,条件是“if(ref_pic_list_modification_flag_10 & & ! (NumPocTotalCurr = =2 & & num_ref_idx_10_active_minusl = =0)&& !(NumPocTotalCurr = =2 & & num_ref_idx_10_active_minusl = =1 && ((weighted_pred_flag!=1 && slice_type= =P) | | (weighted_bipred_flag!=1 &&  slice_type= =B))))”。对于RPL 1,条件是“if(ref_pic_list_modification_flag_11 & & ! (NumPocTotalCurr = =2 & & num_ref_idx_11_active_minusl = =0)&& ! (NumPocTotalCurr = =2 & & num_ref_idx_11_active_minusl = =1 && weighted_bipred_flag!=1))”。
而且,即使在NumPocTotalCurr 不等于2或num_ref_idx_1X_active_minusl 不等于1的情形下,当加权的预测被禁用时(对于P条带,weighted_pred_flag等于0;对于B条带,weighted_bipred_flag等于0),list_entry_lX[i]语法元素的长度也被限制在Ceil(Log2(NumPocTotalCurr - i))比特。在这种情形下,只有在列表中放置每个参考图片一次才是有用的,因此有用的可能性的数目随索引i增加而减小。
在图9的例子中,list_entry_l0[i] 规定在要被放置在RPL 0的当前位置处的RefPicListTemp0(RPL的临时版本)中的参考图片的索引。当加权的预测被禁用时(对于P条带,weighted_pred_flag等于0;对于B条带,weighted_bipred_flag等于0),list_entry_l0[i] 语法元素的长度是Ceil(Log2(NumPocTotalCurr – i))比特。否则,list_entry_l0[i] 语法元素的长度是Ceil(Log2(NumPocTotalCurr))比特。如果NumPocTotalCurr等于2和num_ref_idx_10_active_minusl等于0,则语法元素list_entry_l0[0] 被推断为等于ref_pic_list_modification_flag_10 (如在图8的例子中那样)。否则,如果NumPocTotalCurr等于2,num_ref_idx_10_active_minusl等于1,且加权的预测被禁用(当weighted_pred_flag等于0和当前条带是P条带,或weighted_bipred_flag等于0和当前条带是B条带时),则语法元素list_entry_l0[0]和list_entry_l0[1]分别被推断为等于1和0。否则,当语法元素list_entry_l0[i]不存在时,它被推断为等于0。
如果加权的预测被禁用(当weighted_pred_flag等于0和当前条带是P条带,或weighted_bipred_flag等于0和当前条带是B条带时),则list_entry_l0[i]的值是在0到NumPocTotalCurr –(i+1)的范围中,端点包含在内,以及列表RefPicListTemp0通过在项目值被解析后从列表RefPicListTemp0中去除每个项目list_entry_l0[i]而被缩短。否则,list_entry_l0[i]的值是在0到NumPocTotalCurr –1的范围中,端点包含在内。
在图9的例子中,list_entry_l1[i] 规定在要被放置在RPL 1的当前位置处的RefPicListTemp1(RPL的临时版本)中的参考图片的索引。如果加权的预测被禁用(weighted_bipred_flag等于0,因为只有B条带使用列表1),则list_entry_l1[i] 语法元素的长度是Ceil(Log2(NumPocTotalCurr – i))比特。否则,list_entry_l1[i] 语法元素的长度是Ceil(Log2(NumPocTotalCurr))比特。如果NumPocTotalCurr等于2和num_ref_idx_11_active_minusl等于0,则语法元素list_entry_l1[0] 被推断为等于ref_pic_list_modification_flag_11 (如在图8的例子中那样)。否则,如果NumPocTotalCurr等于2,num_ref_idx_11_active_minusl等于1,和加权的预测被禁用(weighted_bipred_flag等于0——当前条带是B条带),则语法元素list_entry_l1[0]和list_entry_l1[1]分别被推断为等于1和0。否则,当语法元素list_entry_l1[i]不存在时,它被推断为等于0。
如果加权的预测被禁用(weighted_bipred_flag等于0 ——当前条带是B条带),则list_entry_l1[i]的值是在0到NumPocTotalCurr –(i+1)的范围中,端点包含在内,以及列表RefPicListTemp1通过在项目值被解析后从列表 RefPicListTemp1中去除每个项目list_entry_l1[i]而被缩短。否则,list_entry_l0[i]的值是在0到NumPocTotalCurr –1的范围中,端点包含在内。
D. 用于RPL修改标志的有条件信号通知和解析的一般化技术
图10显示用于RPL修改标志的有条件信号通知的一般化技术(1000)。实施视频编码器(例如,正如参照图3描述的)的计算设备可以执行技术(1000)。
所述设备评估(1010)条件。例如,条件至少部分取决于指示全部参考图片的数目的变量。在某些示例性实现中,变量是NumPocTotalCurr,并且编码器检验变量是否大于1。替换地,编码器评估其它的和/或附加的条件。被评估(1010)的条件可包括单个因子(例如,指示全部参考图片的数目的变量的值),或被评估(1010)的条件可包括多个因子(例如,指示全部参考图片的数目的变量的值以及一个或多个其它因子)。条件可作为对于RPL修改结构的处理的一部分来被评估(1010)。或者,条件可作为对于条带头的处理的一部分来被评估(1010)。
取决于评估的结果,设备在比特流中有条件地用信号通知(1020)指示RPL是否按照在比特流中明确地用信号通知的语法元素来修改(例如,替换、调整)的标志。例如,标志是ref_pic_list_modification_flag_10 或ref_pic_list_modification_flag_11之一,且它可以作为条带头的RPL修改结构的一部分被有条件地用信号通知。或者,在评估条件(1010)后,取决于评估的结果,RPL修改结构(包括指示RPL是否按照在比特流中明确地用信号通知的语法元素而被修改的一个或多个标志)在比特流中被有条件地用信号通知。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1000)。
图11显示用于RPL修改标志的有条件解析的一般化技术(1100)。实施视频解码器(例如,正如参照图4描述的)的计算设备可以执行技术(1100)。
解码器评估(1110)条件。例如,条件至少部分取决于指示全部参考图片的数目的变量。在某些示例性实现中,变量是NumPocTotalCurr,并且解码器检验变量是否大于1。替换地,解码器评估其它的和/或附加的条件。被评估(1110)的条件可包括单个因子(例如,指示全部参考图片的数目的变量的值),或被评估(1110)的条件可包括多个因子(例如,指示全部参考图片的数目的变量的值以及一个或多个其它因子)。条件可作为对于RPL修改结构的处理的一部分来被评估(1110)。或者,条件可作为对于条带头的处理的一部分来被评估(1110)。
取决于评估的结果,设备从比特流中有条件地解析指示RPL是否按照在比特流中被明确地用信号通知的语法元素来修改(例如,替换、调整)的标志。例如,标志是ref_pic_list_modification_flag_10 或ref_pic_list_modification_flag_11之一,且它可以作为条带头的RPL修改结构的一部分被有条件地用信号通知。或者,在评估条件(1110)后,取决于评估的结果,RPL修改结构(包括指示RPL是否按照在比特流中被明确地用信号通知的语法元素来被修改的一个或多个标志)从比特流中被有条件地解析。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1100)。
E. 用于列表项的有条件信号通知和解析的一般化技术
图12显示用于RPL修改的列表项的有条件信号通知的一般化技术(1200)。实施视频编码器(例如,正如参照图3描述的)的计算设备可以执行技术(1200)。
所述设备评估(1210)条件。例如,条件至少部分取决于指示全部参考图片的数目的变量(例如,在某些实现中的NumPocTotalCurr)。或者,条件至少部分取决于对于RPL的现用参考图片的数目。或者,条件至少部分取决于加权的预测是否被禁用。可使用不同的逻辑来取决当前条带是P条带还是B条带,和/或取决于哪个RPL正被用信号通知/解析而检验加权的预测是否被禁用。例如,用于检验针对第一RPL的条件的逻辑(它可被P条带或B条带使用)不同于用于检验针对第二RPL的条件的逻辑(其只可被B条带使用)。替换地,编码器评估其它的和/或附加的条件。
取决于评估的结果,设备在比特流中有条件地用信号通知(1220)用于列表项的、指示如何修改(例如,替换、调整)RPL的一个或多个语法元素。例如, 用于列表项的(一个或多个)语法元素作为条带头的RPL修改结构的一部分被有条件地用信号通知。
在某些示例性实现中,如果 (a)全部参考图片的数目等于2和(b)对于RPL的现用参考图片的数目等于1,则用于列表项的(一个或多个)语法元素不在比特流中,以及为列表项中的一项推断值。在其它的示例性实现中,除了这个条件以外,如果(c) 全部参考图片的数目等于2,(d)对于RPL的现用参考图片的数目等于2,和(e)加权的预测被禁用,则用于列表项的所述一个或多个语法元素不在比特流中,以及为列表项中的两项推断值。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1200)。
图13显示用于RPL修改的列表项的有条件解析的一般化技术(1300)。实施视频解码器(例如,正如参照图4描述的)的计算设备可以执行技术(1300)。
解码器评估(1310)条件。例如,条件至少部分取决于指示全部参考图片的数目的变量(例如,在某些示例性实现中的NumPocTotalCurr)。或者,条件至少部分取决于对于RPL的现用参考图片的数目。或者,条件至少部分取决于加权的预测是否被禁用。可使用不同的逻辑来取决于当前条带是P条带还是B条带,和/或取决于哪个RPL正被用信号通知/解析而检验加权的预测是否被禁用。替换地,解码器评估其它的和/或附加的条件。
取决于评估的结果,设备从比特流中有条件地解析(1320)用于列表项的、指示如何修改(例如,替换、调整)RPL的一个或多个语法元素。例如, 用于列表项的(一个或多个)语法元素被从条带头的RPL修改结构有条件地解析。
在某些示例性实现中,如果 (a)全部参考图片的数目等于2和(b)对于RPL的现用参考图片的数目等于1,则用于列表项的(一个或多个)语法元素不在比特流中,以及为列表项中的一项推断值。在其它的示例性实现中,除了这个条件以外,如果(c) 全部参考图片的数目等于2,(d)对于RPL的现用参考图片的数目等于2,和(e)加权的预测被禁用,则用于列表项的所述一个或多个语法元素不在比特流中,以及为列表项中的两项推断值。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1300)。
F. 用于调节列表项的信号通知和解析的一般化技术
图14显示用于调节针对RPL修改的列表项的信号通知的一般化技术(1400)。实施视频编码器(例如,正如参照图3描述的)的计算设备可以执行技术(1400)。
该设备评估(1410)条件。例如,条件至少部分取决于加权的预测是否被禁用。可使用不同的逻辑来取决于当前条带是P条带还是B条带,和/或取决于哪个RPL正被用信号通知/解析而检验加权的预测是否被禁用。例如,用于检验针对第一RPL的条件的逻辑(它可被P条带或B条带使用)不同于用于检验针对第二RPL的条件的逻辑(它只可被B条带使用)。替换地,编码器评估其它的和/或附加的条件。
取决于评估的结果,设备调整(1420)在比特流中用于列表项的、指示如何修改(例如,替换、调整)RPL的一个或多个语法元素的信号通知。具体地,调整(一个或多个)语法元素中的至少一个语法元素的长度(以比特计)。例如,对用于列表项的索引i,如果加权的预测被禁用,则语法元素中的至少一个的长度(以比特计)随i增加而减小。在某些示例性实现中,如果加权的预测被禁用,则用于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr - i))。否则(加权的预测被启用),用于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr ))比特。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1400)。
图15显示用于调整对于RPL修改的列表项的解析的一般化技术(1500)。实施视频解码器(例如,正如参照图4描述的)的计算设备可以执行技术(1500)。
解码器评估(1510)条件。例如,条件至少部分取决于加权的预测是否被禁用。可使用不同的逻辑来根据当前条带是P条带还是B条带,和/或根据哪个RPL正被用信号通知/解析而检验加权的预测是否被禁用。替换地,解码器评估其它的和/或附加的条件。
取决于评估的结果,设备调整(1520)从比特流中对用于列表项的、指示如何修改(例如,替换、调整)RPL的一个或多个语法元素的解析。具体地,调整(一个或多个)语法元素中的至少一个语法元素的长度(以比特计)。例如,对用于列表项的索引i,如果加权的预测被禁用,则所述语法元素中的至少一个的长度(以比特计)随i增加而减小。在某些示例性实现中,如果加权的预测被禁用,则用于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr - i))。否则(加权的预测被启用),用于列表项[i]的给定语法元素的长度是Ceil(Log2(NumPocTotalCurr ))比特。
设备可以当RPL修改结构被用信号通知时基于逐个条带地,或在某些其它的基础上,重复执行技术(1500)。
G. 替换例
图7a, 7b, 10和11图示出基于某个条件的对于标志(诸如
ref_pic_list_modification_flag_10或ref_pic_list_modification_flag_11)的有条件信号通知和解析。以这种方式,附加的RPL修改信息(诸如用于列表项的语法元素)的信号通知被控制。正如参照图7a解释的,RPL修改标志的信号通知和解析可以通过评估作为ref_pic_lists_modification()结构的一部分的条件而被控制。替换地,正如参照图7b解释的,RPL修改结构(例如,ref_pic_lists_modification()结构)的信号通知和解析可以通过评估作为条带头处理的一部分的相同条件或者以别的方式而被控制。例如,如果变量NumPocTotalCurr大于1,则ref_pic_lists_modification()结构被用信号通知。否则(变量NumPocTotalCurr不大于1),则ref_pic_lists_modification()结构不被用信号通知以及列表项的值如以上参照图7a描述的那样被推断。扩展到图10,在评估条件后,取决于评估的结果, RPL修改语法结构被有条件地用信号通知。扩展到图11,在评估条件后,取决于评估的结果, RPL修改语法结构被有条件地解析。
为了举例说明起见,本详细说明包括具有用于某些参数和变量的特定名称的各种例子。这里描述的创新不限于利用具有这样的名称的参数或变量的实现。而是,这里描述的创新可以用各种类型的参数和变量来实施。
H. 附加的创新的特征
除了权利要求以外,这里描述的创新的特征包括,但不限于,在以下的表格中显示的特征。
鉴于本公开发明的原理可被应用到的许多可能的实施例,应当认识到,所举例说明的实施例仅仅是本发明的优选的例子,而不应当被看作为限制本发明的范围。相反,本发明的范围由以下的权利要求限定。因此,我们要求将出现在这些权利要求的范围和精神内的所有一切都作为我们的发明来保护。

Claims (10)

1.一种实施视频编码器的计算设备,其中所述计算设备适于执行包括以下步骤的方法:
评估条件,其中所述条件至少部分取决于指示全部参考图片的数目的变量;以及
取决于评估的结果,在比特流中有条件地用信号通知指示参考图片列表(“RPL”)是否按照比特流中明确地用信号通知的语法元素来修改的标志。
2.权利要求1的计算设备,其中所述条件取决于所述变量的值是否大于1。
3.权利要求1的计算设备,其中所述标志被作为条带头的RPL修改结构的一部分来有条件地用信号通知,以及其中所述条件被作为对于包括所述标志的RPL修改结构的处理的一部分来评估。
4.权利要求1的计算设备,其中所述条件被作为对于条带头的处理的一部分来评估,以及其中包括所述标志的RPL修改结构取决于评估的结果被有条件地用信号通知。
5.权利要求1的计算设备,其中在编码期间,视频编码器评估(a) 对于其RPL按照在比特流中明确地用信号通知的语法元素来修改的运动补偿的结果和(b) 对于其RPL没有按照在比特流中明确地用信号通知的语法元素来修改的运动补偿的结果,以及修改RPL,使得(1)对一个或多个参考图片重新排序,以便用参考索引更有效地寻址,(2) 至少部分基于在编码期间使用的频率,去除一个或多个参考图片,和/或(3) 至少部分基于在编码期间使用的频率,添加一个或多个参考图片。
6.一种由视频解码器执行的方法,包括:
评估条件,其中所述条件至少部分取决于指示全部参考图片的数目的变量;以及
取决于评估的结果,从比特流中有条件地解析指示参考图片列表(“RPL”)是否按照比特流中明确地用信号通知的语法元素来修改的标志。
7.权利要求6的方法,其中所述条件取决于所述变量的值是否大于1。
8.权利要求6的方法,其中所述标志被从条带头的RPL修改结构中有条件地解析,以及其中所述条件被作为对于包括所述标志的RPL修改结构的处理的一部分来评估。
9.权利要求6的方法,其中所述条件被作为对于条带头的处理的一部分来评估,以及其中包括所述标志的RPL修改结构取决于评估的结果被有条件地解析。
10.一种或多种其上存储计算机可执行指令的计算机可读介质,所述计算机可执行指令用于使得由此被编程的处理单元执行一种方法,所述方法包括:
评估作为用于条带头的处理的一部分的条件,其中所述条件至少部分取决于指示全部参考图片的数目的变量;以及
取决于评估的结果,在比特流中有条件地用信号通知或从比特流中有条件地解析条带头的参考图片列表(“RPL”)修改结构,其中RPL修改结构包括指示RPL是否按照比特流中明确地用信号通知的语法元素来修改的标志。
CN201380051068.6A 2012-09-30 2013-09-23 参考图片列表修改信息的有条件信号通知 Active CN104662906B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261708042P 2012-09-30 2012-09-30
US61/708042 2012-09-30
US13/781,710 US9313500B2 (en) 2012-09-30 2013-02-28 Conditional signalling of reference picture list modification information
US13/781710 2013-02-28
PCT/US2013/061241 WO2014052249A1 (en) 2012-09-30 2013-09-23 Conditional signalling of reference picture list modification information

Publications (2)

Publication Number Publication Date
CN104662906A true CN104662906A (zh) 2015-05-27
CN104662906B CN104662906B (zh) 2018-01-02

Family

ID=50385186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380051068.6A Active CN104662906B (zh) 2012-09-30 2013-09-23 参考图片列表修改信息的有条件信号通知

Country Status (9)

Country Link
US (10) US9313500B2 (zh)
EP (2) EP3840383A1 (zh)
JP (1) JP6318158B2 (zh)
KR (6) KR102463986B1 (zh)
CN (1) CN104662906B (zh)
AR (1) AR097227A1 (zh)
ES (1) ES2860448T3 (zh)
TW (1) TWI612803B (zh)
WO (1) WO2014052249A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667528A (zh) * 2015-06-30 2018-02-06 英特尔公司 用于视频编解码的自适应参考帧缓存的方法和系统
CN107787583A (zh) * 2015-06-23 2018-03-09 高通股份有限公司 在块内复制模式中的参考图片列表构建
CN110602500A (zh) * 2019-10-11 2019-12-20 西安万像电子科技有限公司 数据更新方法及系统
CN110620933A (zh) * 2018-06-19 2019-12-27 北京字节跳动网络技术有限公司 不同参考列表的不同精度
CN111095932A (zh) * 2017-08-29 2020-05-01 交互数字Vc控股公司 使用帧速率上转换工具用于改进的压缩/解压缩的方法和装置
WO2020253828A1 (zh) * 2019-06-21 2020-12-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及存储介质
US11265573B2 (en) 2018-09-19 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11330289B2 (en) 2019-01-31 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Context for coding affine mode adaptive motion vector resolution
US12022087B2 (en) 2018-06-19 2024-06-25 Beijing Bytedance Network Technology Co., Ltd Mode dependent motion vector difference precision set

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
US9590952B2 (en) 2014-09-05 2017-03-07 Microsoft Technology Licensing, Llc Lossy data stream decoder
GB201421095D0 (en) * 2014-11-27 2015-01-14 British Broadcasting Corp HEVC Optimization techniques
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
EP4262213A1 (en) * 2015-02-27 2023-10-18 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
US10554968B2 (en) * 2015-06-10 2020-02-04 Lg Electronics Inc. Method and apparatus for inter prediction on basis of virtual reference picture in video coding system
WO2019083120A1 (ko) * 2017-10-23 2019-05-02 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 회전된 360도 비디오를 프로젝션하여 도출된 참조 픽처를 사용한 영상 디코딩 방법 및 장치
US10904577B2 (en) * 2018-02-07 2021-01-26 Mediatek Inc. Video compression system with post-processing of bitstream generated by hardware video encoding and associated video compression method
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
JP7483693B2 (ja) * 2018-09-12 2024-05-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオエンコーダ、ビデオデコーダ、および対応物
CN112740705A (zh) * 2018-09-21 2021-04-30 夏普株式会社 用于在视频编码中发送信号通知参考图片的系统和方法
WO2020112488A1 (en) * 2018-11-30 2020-06-04 Futurewei Technologies, Inc. Signaling of reference picture lists in video coding
CN113170203A (zh) * 2018-12-10 2021-07-23 夏普株式会社 用于在视频编码中发送信号通知参考图片的系统和方法
CN117579824A (zh) * 2019-09-24 2024-02-20 华为技术有限公司 图像级非图像级语法元素的指示
CN115136606A (zh) * 2020-02-19 2022-09-30 字节跳动有限公司 参考图片列表的权重的信令通知
JP7475908B2 (ja) * 2020-03-17 2024-04-30 シャープ株式会社 予測画像生成装置、動画像復号装置及び動画像符号化装置
WO2021204135A1 (en) 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling and inference of subpicture related syntax element
EP4118825A4 (en) 2020-04-09 2023-08-09 Beijing Bytedance Network Technology Co., Ltd. UNLOCKING SIGNALING IN VIDEO CODING
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222036A1 (en) * 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
US20120069903A1 (en) * 2009-04-22 2012-03-22 Lg Electronics Inc. Reference picture list changing method of multi-view video
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956545B2 (en) 2001-10-08 2005-10-18 Imagearray, Ltd. Digital playback device
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
CN101228794B (zh) 2005-07-21 2011-05-11 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
BRPI0710048A2 (pt) 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
EP2039170B1 (en) 2006-07-06 2019-09-04 InterDigital VC Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
WO2008023967A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
BRPI0717321A2 (pt) 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
KR20110123291A (ko) 2006-10-16 2011-11-14 노키아 코포레이션 멀티뷰 비디오 코딩에서 효율적인 디코딩된 버퍼 관리를 구현하기 위한 시스템 및 방법
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
CN101904170B (zh) 2007-10-16 2014-01-08 思科技术公司 用于传达视频流中的串接属性和图片顺序的方法和系统
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
CN103561273B (zh) 2009-03-26 2016-10-05 松下电器(美国)知识产权公司 编码装置及方法、错误检测装置及方法、解码装置及方法
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
KR101621907B1 (ko) 2010-02-02 2016-05-17 삼성전자주식회사 디스플레이 장치, 3d 영상 제공 방법 및 3d 영상 제공 시스템
US20110222837A1 (en) 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US8806050B2 (en) * 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
HUE039299T2 (hu) * 2010-09-09 2018-12-28 Fraunhofer Ges Forschung Entrópia kódolási és dekódolási séma
US20120269275A1 (en) 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US20120195364A1 (en) 2011-01-31 2012-08-02 Apple Inc. Dynamic mode search order control for a video encoder
US20120294366A1 (en) 2011-05-17 2012-11-22 Avi Eliyahu Video pre-encoding analyzing method for multiple bit rate encoding system
EP3902258A1 (en) 2011-06-30 2021-10-27 Telefonaktiebolaget LM Ericsson (publ) Reference picture signaling
US9247262B2 (en) 2011-06-30 2016-01-26 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
US20130003823A1 (en) 2011-07-01 2013-01-03 Kiran Misra System for initializing an arithmetic coder
PL3474551T3 (pl) 2011-09-22 2022-07-04 Lg Electronics Inc. Sposób predykcji międzyobrazowej wykonywany przez urządzenie dekodujące, sposób kodowania wideo wykonywany przez urządzenie kodujące i odczytywalny przez dekoder nośnik zapisu przechowujący zakodowaną informację wideo.
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8855433B2 (en) 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
EP2772052A1 (en) 2011-10-24 2014-09-03 Telefonaktiebolaget LM Ericsson (PUBL) Reference picture marking
CN107231560B (zh) 2011-10-28 2020-03-13 三星电子株式会社 帧间预测的方法及其装置和运动补偿的方法及其装置
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
ES2571863T3 (es) * 2012-01-17 2016-05-27 ERICSSON TELEFON AB L M (publ) Gestión de listas de imágenes de referencia
CN108322744B (zh) * 2012-01-31 2022-08-30 Vid拓展公司 用于可缩放的高效视频译码(hevc)的参考图片集(rps)信令
US9369710B2 (en) * 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding
KR101456501B1 (ko) 2012-04-15 2014-11-03 삼성전자주식회사 참조픽처리스트 변경이 가능한 인터 예측 방법과 그 장치
US20130343465A1 (en) * 2012-06-26 2013-12-26 Qualcomm Incorporated Header parameter sets for video coding
US9167248B2 (en) * 2012-07-13 2015-10-20 Qualcomm Incorporated Reference picture list modification for video coding
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US9438898B2 (en) * 2012-09-07 2016-09-06 Vid Scale, Inc. Reference picture lists modification
CN104604233B (zh) * 2012-09-28 2018-04-27 杜比国际公司 图像解码装置
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
US20120069903A1 (en) * 2009-04-22 2012-03-22 Lg Electronics Inc. Reference picture list changing method of multi-view video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "《High efficiency video coding (HEVC) text specification draft 8》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 10TH MEETING: STOCKHOLM, SE, 11–20 JULY 2012》 *
TOSHIYASU SUGIO: "《AHG15: Modification on picture marking process》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 9TH MEETING: GENEVA, CH, 27 APRIL – 7 MAY 2012》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107787583A (zh) * 2015-06-23 2018-03-09 高通股份有限公司 在块内复制模式中的参考图片列表构建
CN107667528A (zh) * 2015-06-30 2018-02-06 英特尔公司 用于视频编解码的自适应参考帧缓存的方法和系统
CN111095932A (zh) * 2017-08-29 2020-05-01 交互数字Vc控股公司 使用帧速率上转换工具用于改进的压缩/解压缩的方法和装置
CN111095932B (zh) * 2017-08-29 2022-06-07 交互数字麦迪逊专利控股公司 使用帧速率上转换工具用于改进的压缩/解压缩的方法和装置
CN110620933B (zh) * 2018-06-19 2022-05-31 北京字节跳动网络技术有限公司 不同参考列表的不同精度
CN110620933A (zh) * 2018-06-19 2019-12-27 北京字节跳动网络技术有限公司 不同参考列表的不同精度
US11477458B2 (en) 2018-06-19 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Mode dependent motion vector difference precision set
US12022087B2 (en) 2018-06-19 2024-06-25 Beijing Bytedance Network Technology Co., Ltd Mode dependent motion vector difference precision set
US11265573B2 (en) 2018-09-19 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11653020B2 (en) 2018-09-19 2023-05-16 Beijing Bytedance Network Technology Co., Ltd Fast algorithms for adaptive motion vector resolution in affine mode
US11330289B2 (en) 2019-01-31 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Context for coding affine mode adaptive motion vector resolution
WO2020253828A1 (zh) * 2019-06-21 2020-12-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及存储介质
WO2020253823A1 (zh) * 2019-06-21 2020-12-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及存储介质
CN110602500A (zh) * 2019-10-11 2019-12-20 西安万像电子科技有限公司 数据更新方法及系统

Also Published As

Publication number Publication date
US20220329851A1 (en) 2022-10-13
US11778229B2 (en) 2023-10-03
TW201431354A (zh) 2014-08-01
US20190116379A1 (en) 2019-04-18
KR102168743B1 (ko) 2020-10-22
US11770553B2 (en) 2023-09-26
JP2015534776A (ja) 2015-12-03
KR20210158423A (ko) 2021-12-30
ES2860448T3 (es) 2021-10-05
EP3840383A1 (en) 2021-06-23
KR102257187B1 (ko) 2021-05-27
KR102463986B1 (ko) 2022-11-07
US11770554B2 (en) 2023-09-26
KR20200122403A (ko) 2020-10-27
US20230412836A1 (en) 2023-12-21
US9313500B2 (en) 2016-04-12
EP2901699A1 (en) 2015-08-05
TWI612803B (zh) 2018-01-21
US20170318309A1 (en) 2017-11-02
US20210235116A1 (en) 2021-07-29
US20160191949A1 (en) 2016-06-30
KR102545525B1 (ko) 2023-06-20
US20200204825A1 (en) 2020-06-25
KR20150067157A (ko) 2015-06-17
US9762928B2 (en) 2017-09-12
US20220321908A1 (en) 2022-10-06
US20140092991A1 (en) 2014-04-03
CN104662906B (zh) 2018-01-02
KR20230092029A (ko) 2023-06-23
WO2014052249A1 (en) 2014-04-03
AR097227A1 (es) 2016-03-02
US11012709B2 (en) 2021-05-18
US20220329850A1 (en) 2022-10-13
US10165302B2 (en) 2018-12-25
EP2901699B1 (en) 2021-03-03
US10560720B2 (en) 2020-02-11
US11405636B2 (en) 2022-08-02
KR20210062101A (ko) 2021-05-28
KR102344167B1 (ko) 2021-12-27
JP6318158B2 (ja) 2018-04-25
KR20220153104A (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
US11770553B2 (en) Conditional signalling of reference picture list modification information
CN105684441B (zh) 视频和图像编码中的基于散列的块匹配
CN105765974B (zh) 用于视频和图像编码和解码的帧内块复制预测模式的特征
KR102231417B1 (ko) 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
CN104584560A (zh) 在去块时使用色度量化参数偏移
KR20160070771A (ko) 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
CN105230021B (zh) 屏幕内容的词典编码和解码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150710

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150710

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant