CN103765900B - 绝对或显式的参考画面信号通知 - Google Patents

绝对或显式的参考画面信号通知 Download PDF

Info

Publication number
CN103765900B
CN103765900B CN201280042053.9A CN201280042053A CN103765900B CN 103765900 B CN103765900 B CN 103765900B CN 201280042053 A CN201280042053 A CN 201280042053A CN 103765900 B CN103765900 B CN 103765900B
Authority
CN
China
Prior art keywords
picture
identifier
reference picture
poc
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280042053.9A
Other languages
English (en)
Other versions
CN103765900A (zh
Inventor
乔纳坦·萨缪尔森
理卡尔德·肖伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46197674&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103765900(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103765900A publication Critical patent/CN103765900A/zh
Application granted granted Critical
Publication of CN103765900B publication Critical patent/CN103765900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过以下方式对视频流(1)中的画面(10)的编码表示(60)进行解码:从编码表示(60)中获取对定义视频流(1)中的多个参考画面(40、42)的缓冲器描述进行标识的缓冲器描述信息。基于画面标识符信息确定参考画面(42)的画面标识符,画面标识符信息是针对参考画面(42)和缓冲器描述中根据列表顺序在该参考画面之前的参考画面从缓冲器描述中获取的。使用所确定的画面标识符来更新解码画面缓冲器(230、350),解码画面缓冲器(230、350)存储要被用作该画面(10)和/或视频流(1)的任何后续画面(50)的解码参考的参考画面(40、42)。

Description

绝对或显式的参考画面信号通知
技术领域
实施例大体上涉及与视频编码和解码相关的参考画面管理,具体地,涉及参考画面的信号通知和缓冲器管理。
背景技术
H.264,也称为移动画面专家组4(MPEG-4)高级视频编码(AVC),是最新的视频编码标准。其包括利用了时间和空间预测的、基于块的混合视频编码方案。
高效率视频编码(HEVC)是联合协作团队-视频编码(JCT-VC)当前正在开发的新的视频编码标准。JCT-VC是在MPEG与国际电联电信标准部门(ITU-T)之间的联合计划。当前,工作草案(WD)被定义为包括大的宏块(最大编码单元,缩写为LCU)和众多其他新工具,并且比H.264/AVC明显更加高效。
在接收机处,解码器接收表示画面的比特流,即压缩数据的视频数据分组。压缩数据包括有效载荷和控制信息。控制信息例如包括关于在解码画面缓冲器(DPB)(也被称为参考画面缓冲器)中应该存储哪些参考画面的信息。该信息是关于先前接收的画面的相对参考。此外,解码器解码接收的比特流,并且显示解码出的画面。另外,根据控制信息,将解码出的画面存储在解码画面缓冲器中。解码器在解码后续画面时使用这些存储的参考画面。
在HEVC的工作草案中针对解码画面缓冲器操作的过程的工作假设是它们将在很大程度上是从H.264/AVC继承的。图1中示出了该方案如H.264/AVC中设计的简化流程图。
在对画面进行实际解码之前,如果序列参数集合(SPS)语法元素gaps_in_frame_num_value_allowed_flag为1,则对图像条(slice)报头中的frame_num进行解析,以检测可能存在的frame_num中的间 隙。frame_num指示解码顺序。如果检测到frame_num中的间隙,则创建“不存在的”帧,并将其插入解码画面缓冲器中。
无论是否存在frame_num中的间隙,下一步骤是对当前画面的实际解码。如果画面的图像条报头包含存储器管理控制操作(MMCO)命令,则在对画面进行解码之后应用自适应存储器控制处理,以获得关于要在解码画面缓冲器中存储的画面的相对参考,否则应用滑动窗处理以获得关于要在解码画面缓冲器中存储的画面的相对参考。作为最后一步,应用“颠簸”处理,以按正确顺序传送画面。
H.264/AVC的问题是其对包含下面的表格1中所描述的类型2、3、4、5或6的MMCO的画面丢失的脆弱性。
表格1——针对H.264/AVC的存储器管理控制操作值
丢失不包含MMCO的画面或者包含类型0或1的MMCO的画面当然对于解码处理是严重的。丢失画面的像素值将不可用,并且可能由于错误的帧间预测而在很长一段时间影响将来的画面。还存在这样的风险,即,例如如果丢失画面包含将一个短期参考画面标记为“不用于参考”的MMCO(否则,该短期参考画面将包含在后续画面的参考画面列表中),则针对丢失画面之后的几个画面的参考画面列表将是错误的。然而,解码处理通常可以通过使用受约束的帧内块、帧内图像条或者通过其他方式恢复这种丢失。
但是如果包含类型2、3、4、5或6的MMCO的画面丢失,则存在这样的风险,即,DPB中的长期画面的数量与接收到画面的情况下的数量不同,这导致针对所有后续画面的“不正确的”滑动窗处理。也即是说,编码器和解码器将包含不同数量的短期画面,这导致滑动窗处理的不同步行为。该丢失不能通过使用受约束的帧内块、帧内图像条或类似技术来恢复(即使使用开放画面组(GOP)帧内画面也不能恢复该丢失)。确保从这种丢失恢复的唯一方式是通过即时解码器刷新(IDR)画面或者通过消除丢失的MMCO的影响的MMCO。使得该情形甚至更差的是解码器将不一定知道滑动窗处理是不同步的,因此甚至在反馈信道可用的应用中也不能向编码器报告问题或者请求IDR画面。
减小丢失重要的MMCO信息的风险的一种方式是使用dec_ref_pic_marking_repetition补充增强信息(SEI)消息。然而,编码器将不知道解码器是否能够利用dec_ref_pic_marking_repetition SEI消息。此外,存在dec_ref_pic_marking_repetition SEI消息也丢失的风险。
因此,需要不具有现有解决方案的缺点和限制的有效的参考画面信号通知和缓冲器管理。
发明内容
总体目的是提供与视频编码和解码相关的有效的参考画面信号通知和缓冲器管理。
该目的和其他目的通过本文所公开的实施例来满足。
实施例的一个方案涉及对多个画面构成的视频流中的画面的编码表示进行解码的方法。该方法包括从画面的编码表示中获取对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。基于针对多个参考画面中的参考画面从缓冲器描述中获取的画面标识符信息和针对缓冲器描述中根据列表顺序在所述参考画面之前的参考画面从缓冲器描述中获取的画面标识符信息,确定标识该参考画面的画面标识符。因此基于所确定的画面标识符来更新解码画面缓冲器。
实施例的一个相关方案定义了一种解码器,该解码器被配置为对多个画面构成的视频流中的画面的编码表示进行解码。解码器包括数据获取器,数据获取器被配置为从画面的编码表示中获取对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。画面标识符确定器被配置为:基于数据获取器针对多个参考画面中的参考画面从缓冲器描述中获取的画面标识符信息和数据获取器针对缓冲器描述中根据列表顺序在所述参考画面之前的参考画面从缓冲器描述中获取的画面标识符信息,确定标识该参考画面的画面标识符。解码器还包括缓冲器管理器,缓冲器管理器被配置为基于画面标识符更新解码画面缓冲器。
实施例的另一相关方案定义了一种解码器,该解码器包括被配置为接收视频流中的多个画面的编码表示的输入部分。解码器还包括处理器,处理器被配置为处理存储在存储器中的计算机程序的代码装置。当代码装置在处理器上运行时,代码装置使处理器从画面的编码表示中获取对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。处理器还使得:基于针对多个参考画面中的参考画面从缓冲器描述中获取的画面标识符信息和针对缓冲器描述中根据列表顺序在所述参考画面之前的参考画面从缓冲器描述中获取的画面标识符信息,确定标识该参考画面的画面标识符。处理器还使得基于画面标识符更新解码画面缓冲器。解码器的输出部分被配置为输出视频流的解码画面。
实施例的另一方案涉及对多个画面构成的视频流中的画面进行编码的方法。该方法包括:针对该画面,将多个画面的多个参考画面 确定为该画面和/或视频流中的后续画面的编码参考。该方法还包括:针对每个参考画面,提供标识参考画面的画面标识符。针对多个参考画面中的至少一部分参考画面中除了根据列表顺序的第一参考画面之外的每个参考画面,确定画面标识符信息。基于标识参考画面的画面标识符并基于标识根据列表顺序的先前参考画面的画面标识符来确定画面标识符信息。生成对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。将该缓冲器描述信息插入到画面的编码表示中。
实施例的另一相关方案定义了一种编码器,该编码器被配置为多个画面构成的视频流的画面进行编码。该编码器包括参考画面确定器,参考画面确定器被配置为:针对该画面,将视频流的多个参考画面确定为该画面和/或视频流的任何后续画面的编码参考。该编码器还包括画面标识符提供器,画面标识符提供器被配置为:针对每个参考画面提供标识参考画面的画面标识符。信息确定器被配置为:针对多个参考画面中的至少一部分参考画面中除了根据列表顺序的第一参考画面之外的每个参考画面,生成画面标识符信息。基于标识参考画面的画面标识符并基于标识根据列表顺序的先前参考画面的画面标识符来确定画面标识符信息。该编码器还包括缓冲器描述信息生成器,缓冲器描述信息生成器被配置为:基于画面标识符信息生成对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。该编码器中的数据插入器被配置为将缓冲器描述插入到画面的编码表示中。
实施例的另一相关方案定义了一种编码器,该编码器包括被配置为接收视频流中的多个画面的输入部分和被配置为处理存储器中存储的计算机程序的代码装置的处理器。当代码装置在处理器上运行时,代码装置使处理器针对视频流中的画面将视频流的多个参考画面确定为该画面和/或视频流中的任何后续画面的编码参考。该处理器还使得:针对每个参考画面,提供标识参考画面的画面标识符,并基于至少一个画面标识符生成缓冲器描述信息。代码装置还使该处理器:针对多个参考画面中的至少一部分参考画面中除了根据列表顺序的第一参考画面之外的每个参考画面,确定画面标识符信息。基于标识参考画面的画面标识符并基于标识根据列表顺序的先前参考画面的画面标 识符来确定画面标识符信息。代码装置还使处理器:基于画面标识符信息生成对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。代码装置还使处理器将缓冲器描述插入到画面的编码表示中。该编码器还包括被配置为输出画面的编码表示的输出部分。
与正确的参考画面管理取决于先前编码的画面已经被正确地接收和解码的现有技术解决方案明显不同,这些实施例以绝对和显式的方式(而不是相对或隐式的方式)提供了用于参考画面的缓冲器描述信息。因此,画面的编码表示包含与在解码期间哪些参考画面要用于参考有关的信息,而与视频流中的先前画面的编码表示无关。
因此,这些实施例使参考画面管理和信号通知对于错误不那么脆弱,这是因为解码器将只需根据包含在当前画面中的信息来对当前画面进行参考画面管理,而不是依赖于先前画面中正确传送和解释的缓冲器操作。
此外,相对于缓冲器描述中的先前参考画面来编码和解码画面标识符导致对画面标识符的高比特效率的表示,这将降低信号通知缓冲器描述的一些开销。实施例因此降低了在绝对参考画面信号通知中对标识值进行信号通知所需的比特速率。
附图说明
通过参照结合附图给出的以下描述,将最佳地理解本发明及其其他目的和优点,在附图中:
图1是H.264/AVC参考缓冲器方案的简化流程图;
图2是根据实施例对画面的编码表示进行解码的方法的流程图;
图3是根据实施例的多个画面构成的视频流;
图4是根据实施例的画面的编码表示;
图5是根据实施例的图2中的确定第一画面标识符的步骤的流程图;
图6是根据实施例的图5中的计算步骤和图2中确定画面标识符的步骤的流程图;
图7是根据实施例的图2中确定第一画面标识符的步骤和确定画 面标识符的步骤的流程图;
图8是图2中的方法的附加的可选步骤的流程图;
图9是根据实施例的参考缓冲器方案的简化流程图;
图10是根据实施例对画面进行编码的方法的流程图;
图11是根据实施例的图10中确定第一画面标识符信息的步骤和确定画面标识符信息的步骤的流程图;
图12是根据实施例的图10中的步骤S50至S53的流程图;
图13是图10中的方法的附加的可选步骤的流程图;
图14是根据实施例的接收机的示意性框图;
图15是根据实施例的解码器的示意性框图;
图16是根据实施例的图16中的画面标识符确定器的示意性框图;
图17是根据另一实施例的解码器的示意性框图;
图18是根据实施例的发射机的示意性框图;
图19是根据实施例的编码器的示意性框图。
图20是根据实施例的图19中的信息确定器的示意性框图;以及
图21是根据另一实施例的编码器的示意性框图。
具体实施方式
在附图中,相同的附图标记用于类似或相应的元素。
本实施例大体上涉及对视频流中的画面(在本领域中,也称作帧)进行编码和解码。具体地说,本实施例涉及与视频编码和解码相关的参考画面管理以及从编码器向解码器信号通知这些参考画面。
例如由H.264/MPEG-4AVC和HEVC表示的视频编码将参考画面用作用于对当前画面的像素数据进行编码和解码的预测或参考。在本领域中,这通常被称作帧间编码,其中,相对于这些参考画面对画面进行编码和解码。为了能够对编码画面进行解码,解码器因此必须知道哪些参考画面用于当前的编码画面并且必须能够访问这些参考画面。通常,解码器使用解码画面缓冲器(DPB)(也表示为参考画面缓冲器)来存储参考画面。然后,重要的是,当对编码画面进行解码时,存储在解码画面缓冲器中的参考画面确实是正确的参考画面,否则, 解码器将在解码处理期间使用错误的参考画面,这使得所呈现的视频的质量下降。
现有技术可能遇到与当携带MMCO信息的画面意外丢失时使用不正确的参考画面有关的问题,这一点在背景部分中进行了讨论。通过下面H.264执行的示例来说明现有技术的该问题。假设解码画面缓冲器存储具有画面标识符300、302和303的三个短期画面以及具有画面标识符0和3的两个长期画面。然后,编码器可能生成具有MMCO类型2命令的新的编码画面,该MMCO类型2命令规定长期画面0应当被标记为“不用于参考”。如果已经在解码器处正确地接收到该编码画面,则将长期画面0标记为不用于参考,并且参考画面列表将为{300,302,303,3}。然而,如果具有MMCO类型2命令的编码画面丢失,则未向解码器通知应当将长期画面0标记为不用于参考,因此参考画面列表取而代之地是{300,302,303,0,3}。如果在解码器处接收到的下一个编码画面包括关于参考画面列表中的位置3处的参考画面要被用作针对画面中的宏块的预测的信息,则如果MMCO类型2命令丢失,那么将存在问题。如果在解码器处正确地接收到MMCO类型2命令,则参考画面列表中的位置3处的参考画面将与长期画面3相对应,这是因为该参考画面占据参考画面列表中的位置3(如果以0开始的话)。然而,在丢失MMCO类型2命令的情况下,参考画面列表中的位置3取而代之地被长期画面0占据。这意味着,将使用来自长期画面0的像素数据代替来自长期画面标识符3的正确像素数据作为预测基础。
因此,现有解决方案具有以下问题:正确的参考画面管理取决于已经正确地接收和解码先前解码的画面。
本实施例通过使用与现有技术根本不同的方法来信号通知参考画面而不具有现有技术的这些问题。本实施例取而代之地以绝对或显式的方式(而不是相对或隐式的方式)指定哪些解码画面要用于参考画面。换言之,针对当前画面的编码表示(即,比特流)包含与要用于参考的画面(即,参考画面)有关的信息,而与先前画面的编码表示无关。因此,可以认为,维持正确的解码画面缓冲器的逻辑责任从 解码器移交给比特流。看待它的一种方式是认为与要用于画面的帧间预测和运动向量预测的参考画面有关的信息包含在画面的控制信息中。因此,针对相对于其他画面而被编码和解码的每个画面,信号通知解码画面缓冲器的状态。
根据实施例,将画面与定义了参考画面的缓冲器描述相关联,该参考画面是编码和解码当前画面所需的,和/或是根据解码器处画面的输出顺序来编码和解码视频流中的后续画面所需的。从而,定义该缓冲器描述的缓冲器描述信息由编码器包括在画面的编码表示中,并因此与当前画面的编码数据一起可被解码器获得。
实施例涉及使用缓冲器描述来定义比特高效的参考画面的有效方式。
在缓冲器描述中直接信号通知画面标识符通常并不高效,特别是在使用可变长度编码时。原因在于,画面标识符可能是要求很多比特来编码的相对较大的数。此外,被用作当前画面和/或视频流中的后续画面的预测基础的参考画面通常是视频流中邻近的画面或至少靠近当前画面出现。因此,更高比特效率的方案是在缓冲器描述中将画面标识符定义为相对于当前画面的画面标识符的增量画面标识符。
在这种方案中,使用相对于当前画面的增量画面标识符deltaPOC来在缓冲器描述中信号通知参考画面。然后,将参考画面的画面标识符POC(ref)计算为POC(ref)=POC(currPic)+deltaPOC,其中,POC(currPic)表示当前画面的画面标识符。
在特定的实施例中,可以指定限制,使得相同画面(即,相同的deltaPOC)在同一缓冲器描述中不会出现一次以上。这使得缓冲器描述可以明确地和显式地定义要针对当前画面所信号通知的每个参考画面。然而,这可导致在缓冲器描述中低效地信号通知画面标识符。
例如,假设在缓冲器描述中,所有的参考画面都具有负的增量画面标识符。还假设缓冲器描述中针对当前画面的第一参考画面具有增量画面标识符deltaPOC=-1,使用可变长度编码(例如,无符号可变长度编码(UVLC))来利用一个比特对该增量画面标识符进行编码。从而,对于下一参考画面,等于-1的增量画面标识符将是最短的码字。 然而,如果要将上述限制应用于缓冲器描述,这种由一个比特来表示的等于-1的值被禁止用于下一参考画面,因为在缓冲器描述中已经存在具有该码字的参考画面。因此,缓冲器描述中的第二参考画面于是必须使用至少3个比特来利用UVLC表示其增量画面标识符。
实施例解决了信号通知参考画面的该限制。
实施例的一个方案使用已经解码的(使用缓冲器描述中的参考画面的绝对信号通知来信号通知的)参考画面的标识值来解码(使用参考画面的绝对信号通知来信号通知的)参考画面的标识值。
因此,实施例使用了参考画面在缓冲器描述中出现的顺序。因此,当对在缓冲器描述中索引为i的参考画面的画面标识符进行解码时,使用来自缓冲器描述中已经解码的参考画面的画面标识符。这使得可以降低对索引为i的参考画面的画面标识符进行信号通知的比特流比特代价。
图2是说明对具有画面或帧构成的视频流中的画面的编码表示进行解码的方法的流程图。该方法一般在步骤S1中开始,在步骤S1中,从画面的编码表示中获取标识缓冲器描述的缓冲器描述信息。
缓冲器描述信息可以在画面的编码表示的任何已定义部分中提供,但通常在画面的编码表示中的控制信息字段中提供。缓冲器描述信息的获取因此可以结合对画面的编码表示的控制信息的解码来执行,并因此优选地在对编码表示的实际有效载荷数据进行解码之前执行。
图4示意性地示出了画面的编码表示60的示例。编码表示60包括表示图像条中的像素块的编码像素数据的视频有效载荷数据66。编码表示60还包括携带控制信息的图像条报头65。图像条报头65与视频有效载荷和网络抽象层(NAL)报头64一起形成作为从编码器输出的实体的NAL单元。可以将附加报头(例如,实时传输协议(RTP)报头63、用户数据报协议(UDP)报头62和互联网协议(IP)报头61)添加至该NAL单元,以形成可以从编码器发送到向解码器的数据分组。对NAL单元进行的这种形式的分组化仅构成与视频传输有关的示例。处理NAL单元(例如,文件格式、MPEG-2传输流、MPEG-2 程序流等)的其他方法是可能的。
然后,可以将缓冲器描述信息包括在图像条报头65、另一画面报头或由编码器和解码器符合的标准所规定的另一数据结构中。
在步骤S1中获取的缓冲器描述信息标识了定义多个参考画面的缓冲器描述(也被称为参考画面集合(RPS))。因此,缓冲器描述定义了参考画面,参考画面被用作针对要解码的当前画面的解码参考。这意味着,参考一个或多个参考画面来解码当前画面的像素数据。备选地或附加地,可以将由缓冲器描述定义的至少一个参考画面用作视频流中的后续画面(即,要在当前画面之后解码的画面)的解码参考。因此,缓冲器描述定义了按照解码顺序在当前画面之前的、并且可被用于当前画面或根据解码顺序在当前画面之后的任何画面(本文中称为后续画面)的帧间预测的所有参考画面。
因此,可以将缓冲器描述信息认为是标识缓冲器描述的信息,该缓冲器描述是与当前画面相关联的参考画面的集合。缓冲器描述由以下参考画面组成:按照解码顺序在当前画面之前的、并且可被用于当前画面或按照解码顺序在当前画面之后的任伺画面的帧间预测的所有参考画面。
图3通过示出具有画面10、40、42、50构成的视频流1示意性地说明了该构思。当前画面10可以包括包含要解码的像素块30(例如,宏块,也称作树块或编码单元)的一个或多个图像条20、22。画面10、40、42、50下面的箭头指示解码关系。将当前画面10与先前参考画面40和后续参考画面42相关地解码。根据输出顺序,先前参考画面40在当前画面10之前,根据输出顺序,后续参考画面42在当前画面10之后,但是根据解码顺序,先前参考画面40和后续参考画面42均在当前画面10之前。此外,该后续参考画面42被用作视频流1中的后续(根据解码顺序)画面50的参考画面。
下面还将描述图2的以下可选但优选的步骤S2。
下一步骤S3使用缓冲器描述来确定对由缓冲器描述定义的参考画面进行标识的画面标识符,该缓冲器描述是使用在步骤S1中获取的缓冲器描述信息来获得的。根据实施例,基于针对参考画面从缓冲器 描述中获取的画面标识符信息和针对缓冲器描述中根据列表顺序在该参考画面之前的参考画面从缓冲器描述中获取的画面标识符信息,在步骤S3中确定参考画面的画面标识符。
因此,相对于由缓冲器描述所定义的至少一个先前参考画面的画面标识符信息,确定由缓冲器描述所定义的给定参考画面的画面标识符。根据缓冲器描述中定义的列表顺序,该先前参考画面在给定参考画面之前,或这些先前参考画面在给定参考画面之前。因此,缓冲器描述按列表顺序列出或标识了参考画面。因此,实施例不仅使用从缓冲器描述中获取的给定参考画面的画面标识符信息,还使用任何先前参考画面的画面标识符信息。
在特定实施例中,缓冲器描述定义至少一个参考画面列表。在这种情况下,优选地针对该至少一个列表中除了该相应的至少一个列表中的第一(根据列表顺序)参考画面之外的各个参考画面来执行步骤S3。这由图2中线L1来示意性地说明。根据列表顺序的第一参考画面的画面标识符在下面进一步描述的步骤S2中确定。因此,如果缓冲器描述在列表中定义了N个参考画面的列表,步骤S3优选地执行N-1次。
一旦在步骤S3(以及步骤S2)中已经确定了由当前画面的缓冲器描述所定义的参考画面的画面标识符,则该方法继续到步骤S4,在步骤S4中,在解码器处基于所确定的画面标识符来更新解码画面缓冲器。
因此,将使用当前画面的缓冲器描述所确定的画面标识符用来更新解码画面缓冲器,以存储和包括解码当前画面和/或视频流中的后续(根据解码顺序)画面所需的正确参考画面。该解码在本领域中是众所周知的,并通常使用帧间预测和运动向量解码。
一旦已经将解码画面缓冲器更新为包括解码当前画面所需的正确参考画面,基于画面的编码表示和包含在、存在于或存储在解码画面缓冲器中的、且基于画面的编码表示中携带的缓冲器描述信息所标识的参考画面中的至少一个来对画面进行解码。
在步骤S4中更新解码画面缓冲器优选地暗指:将由确定的画面标识符所标识的参考画面标记为“用于参考”或者标记为“用于预测” 以指示这些参考画面要用作针对当前画面和/或任何后续画面的解码参考或预测。在特定实施例中,可以将参考画面标记为用于短期参考或者用于长期参考。
解码画面缓冲器可以包括未由当前画面的缓冲器描述定义的参考画面,并因此具有与步骤S2和S3中确定的画面标识符不同的画面标识符。在实施例中,将解码画面缓冲器中可获得但未包括在缓冲器描述中的画面标记为“不用于参考”或“不用于预测”,或者由解码器从解码画面缓冲器中移除。因此,在本实施例中,由解码器执行将画面标记为“不用于参考”或者将参考画面从解码画面缓冲器中移除,作为更新解码画面缓冲器的一部分,并因此在解码当前画面的视频有效载荷之前执行。
在另一实施例中,输出画面中的由解码器根据缓冲器描述标记为不用于参考的零个或更多个画面,以由解码器进行显示。针对输出的一个这种示例性过程是来自H.264/MPEG-4AVC的颠簸处理。输出在本文中是指输出以进行显示。在H.264和HEVC中,哪些画面用作参考画面以及哪些画面要输出(即,显示)是分离的。这意味着,可以在将画面作为参考画面(即,被标记为不用于参考的参考画面)进行移除之前输出画面,或者可以在输出画面之前通过将画面标记为不用于参考来将该画面作为参考帧进行移除。
如之前结合步骤S3所讨论的,基于针对相关参考画面从缓冲器描述中获取的画面标识符信息和针对缓冲器描述中根据列表顺序在该相关参考画面之前的任何参考画面的画面标识符信息,确定参考画面的画面标识符。
由缓冲器描述定义的第一(根据列表顺序)参考画面当然不包括缓冲器描述中根据列表顺序在第一参考画面之前的任何参考画面,该缓冲器描述是根据步骤S1中从画面的编码表示所获取的缓冲器描述识别出的。
图2的步骤S2定义了如何基于缓冲器描述信息来确定该第一参考画面的画面标识符的实施例。步骤S2基于针对第一参考画面从缓冲器描述中获取的画面标识符信息并基于要解码的当前画面的画面标识符 来确定第一参考画面的画面标识符。因此,将从缓冲器描述中获得的画面标识符信息与当前画面的实际画面标识符组合,以得到根据列表顺序的第一参考画面的画面标识符。
在特定实施例中,缓冲器描述可以定义多个(即,至少两个)参考画面列表,在本文中对此进行了进一步讨论。在这种情况下,每个这样的列表具有根据相应的列表顺序的第一参考画面。从而步骤S2优选地确定每个列表中的第一参考画面的画面标识符。因此可以将下面关于对第一画面标识符的画面标识符进行确定的特定实施例提供的讨论应用于每个列表中相应的第一参考画面。
图5是说明确定第一画面标识符的特定实施例的流程图。该方法从图2的步骤S1继续,并继续到步骤S10。该步骤S10从缓冲器描述中获取第一参考画面的增量画面标识符和符号标识符。在本文中,absolute_delta_poc(0)表示增量画面标识符,以及sign表示符号标识符。符号标识符指示参考画面在视频流中相对于当前画面、并关于画面的输出顺序是升序还是降序。因此,如果符号标识符指示“+”,根据输出顺序,参考画面在当前画面之后,但在解码顺序中位于当前画面之前,而指示“-”的符号标识符指示根据输出顺序和根据解码顺序参考画面在当前画面之前。
下一步骤S11基于增量标识符、符号标识符和当前画面的画面标识符(在本文中表示为POC(currPic))来计算第一参考画面的画面标识符。然后,方法继续到图2的步骤S3,在步骤S3中,可以确定由缓冲器描述所定义的剩余参考画面的画面标识符。
图6是说明图5中的步骤S11的特定实施例和图2中的步骤S3的特定实施例的流程图。该方法从图5中的步骤S10继续。下一步骤S20将参数deltaPOC(0)计算为deltaPOC(0)=sign×absolute_delta_poc(0)。然后在步骤S21中将第一参考画面的画面标识符POC(0)计算为POC(0)=POC(currPic)+deltaPOC(0)。
下面的步骤S22至S24说明了对由缓冲器描述定义的任何剩余参考画面(即,非第一参考画面)的画面标识符进行确定的实施例。这些步骤S22至S24是针对缓冲器描述中的每个参考画面列表执行的。
步骤S22针对由缓冲器描述定义的除当前列表中的第一参考画面之外的每个参考画面编号i,从缓冲器描述中获取相应的增量画面标识符absolute_delta_poc(i)。如果列表按升序定义参考画面,下一步骤S23将参数deltaPOC(i)计算为deltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i),或者如果列表按降序定义参考画面,将参数deltaPOC(i)计算为deltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i)。在特定实施例中,优选地将编码器和解码器都预配置为使用升序或降序。
最后,步骤S24将参考画面编号i的画面标识符POC(i)计算为POC(i)=POC(currPic)+deltaPOC(i)。因此,基于针对参考画面从缓冲器描述中获取的画面标识符信息(在本实施例中,由增量画面标识符absolute_delta_poc(i)来表示),以及基于针对根据列表顺序的先前的参考画面从缓冲器描述中获取的画面标识符信息,确定在缓冲器描述中定义的参考画面的画面标识符。在特定的实施例中,还基于要解码的当前画面的画面标识符(即,POC(currPic))来确定画面标识符。因此,计算画面标识符POC(i)的一般性公式是
POC ( i ) = POC ( currPic ) + sign × absolute _ delta _ poc ( 0 ) ± Σ j = 1 i absolute _ delta _ poc ( j ) ,
其中,“+”和“-”之间的选择取决于sign的值。
针对列表中除了第一参考画面之外的每个参考画面执行步骤S22至S24,这由线L2来说明性地指示。然后,方法继续到图2的步骤S4。
步骤S20至S24的顺序可以不同于图6中示出的顺序。在实施例中,方法首先执行步骤S20,其后是由步骤S22、S23形成的循环。最后,在组合了步骤S21和S24的处理的步骤中针对第一参考画面和所有后续的参考画面计算画面标识符。
在上述实施例中,按上升或下降的deltaPOC顺序来对缓冲器描述中的参考画面进行排序。优选地,仅针对第一参考画面来信号通知deltaPOC的符号,以及相对于缓冲器描述中先前的参考画面来信号通知增量画面标识符absolute_delta_poc。对于缓冲器描述中的第一参考画面,相对于当前画面来信号通知absolute_delta_poc。
在本实施例中,解码器基于符号标识符来解码缓冲器描述中的第一参考画面的符号。然后,解码器解码第一参考画面相对于当前画面的absolute_delta_poc。然后,计算第一参考画面的deltaPOC。解码器通过解码缓冲器描述中索引为i(范围从1(如果第一参考画面索引为0)到缓冲器描述的最后,即到NrOfPicturesInBufferDescription-1)的所有剩余画面的absolute_delta_poc来继续,并如上所述地计算相对于当前画面的deltaPOC。
在特定的实施例中,在图2的步骤S1中从编码画面的编码表示中获取的缓冲器描述信息标识了对第一参考画面列表和第二参考画面列表进行定义的缓冲器描述。
因此,在本实施例中,缓冲器描述由两个参考画面列表的级联组成。一个列表包含具有正的deltaPOC的参考画面,以及另一列表包含具有负的deltaPOC的参考画面。优选地,两个列表都通过增量画面标识符absolute_delta_poc按升序来排序,以及相对于对应列表中的先前参考画面来信号通知增量画面标识符的值。
在本实施例中,解码器解码可各自包含零个或更多个画面增量标识符absolute_delta_poc的两个列表,下面表示为列表A和列表B。对于两个列表中的每个索引,解析absolute_delta_poc值。
图7是根据本实施例说明图2中的步骤S2和S3的实现的流程图。该方法从图7的步骤S1开始继续。步骤S30基于要被解码的当前画面的画面标识符与针对第一列表中的第一参考画面从缓冲器描述中获取的增量画面标识符之间的差值来计算标识第一列表中的第一参考画面的画面标识符。对应地,步骤S31基于当前画面的画面标识符与针对第二列表中的第一参考画面从缓冲器描述中获取的增量画面标识符的和值来计算标识第二列表中的第一参考画面的画面标识符。
在特定的实施例中,步骤S30计算POCA(0)=POC(currPic)-absolute_delta_pocA(0),以及步骤S31计算POCB(0)=POC(currPic)+absolute_delta_pocB(0)。在本实施例中,增量画面标识符absolute_delta_pocA(0)和absolute_delta_pocB(0)是无符号值,即,非负值。在备选实施例中,增量画面标识符可以是有符号值。在这种情况 下,第一列表中的第一参考画面的增量画面标识符优选地是非正值,而第二列表中的第一参考画面的增量画面标识符优选地是非负值。因此步骤S30计算POCA(0)=POC(currPic)+absolute_delta_pocA(0),以及步骤S31计算POCB(0)=POC(currPic)+absolute_delta_pocB(0)。
步骤S30和S31可以通过任何顺序来串行执行,即,首先步骤S30然后步骤S31,或者首先步骤S31然后步骤S30。备选地,两个步骤S30和S31可以至少部分地并行执行。
下面的步骤S32和S33计算两个列表中的剩余参考画面的画面标识符。
在实施例中,步骤S32基于第一列表中的先前参考画面的画面标识符与针对参考画面从缓冲器描述中获取的无符号增量画面标识符之间的差值,计算第一列表中除了第一列表中根据第一列表顺序的第一参考画面之外的每个参考画面的画面标识符。对应地,步骤S33基于第二列表中的先前参考画面的画面标识符与针对参考画面从缓冲器描述中获取的无符号增量画面标识符的和值,计算第二列表中除了第二列表中根据第二列表顺序的第一参考画面之外的每个参考画面的画面标识符。第一列表顺序优选地是减小的画面标识符值的形式,而第二列表顺序优选地是增大的画面标识符值的形式。例如,如果画面标识符指示输出顺序,第一列表中的参考画面在当前画面之前输出以显示,而第二列表中的参考画面在当前画面之后输出以显示。从而,第一列表中的参考画面关于画面标识符值按下降的列表顺序排序,以及第二列表中的参考画面关于画面标识符值按上升的列表顺序排序。
步骤S32的特定实施例将第一列表中画面编号i的画面标识符POCA(i)计算为POCA(i)=POCA(i-1)-absolute_delta_pocA(i)。步骤S33相应地将第二列表中画面编号i的画面标识符POCB(i)计算为POCB(i)=POCB(i-1)+absolute_delta_pocB(i)。
在备选实施例中,从缓冲器描述中获取的增量画面标识符是有符号增量画面标识符。在特定的实现中,第一集合中的参考画面的增量画面标识符优选地具有非正值,以及第二集合中的参考画面的增量画面标识符优选地具有非零值。
根据本实施例的步骤S32的实现基于第一列表中的先前参考画面的画面标识符与针对参考画面从缓冲器描述中获取的有符号增量标识符的和值,计算第一列表中除了第一列表中的第一参考画面之外的每个参考画面的画面标识符。优选地,在步骤S32中将画面标识符计算为POCA(i)=POCA(i-1)+absolute_delta_pocA(i)。对应地,步骤S33基于第二列表中的先前参考画面的画面标识符与针对参考画面从缓冲器描述中获取的有符号增量标识符的和值,计算第二列表中除了第二列表中的第一参考画面之外的每个参考画面的画面标识符。优选地,在步骤S33中将画面标识符计算为POCB(i)=POCB(i-1)+absolute_delta_pocB(i)。
上述第一列表或第二列表中的先前参考画面的画面标识符优选地是最接近的先前参考画面(即,如果给定的参考画面具有编号i,参考画面编号为i-1)的画面标识符。
如上所述,步骤S32和S33优选地针对第一列表和第二列表中除了第一列表和第二列表中的第一画面之外的每个参考画面来执行,在图7中通过线L3和L4对此进行了说明性指示。因此,优选地针对从1到NrOfValuesInListA-1(如果索引0指示第一列表中的第一参考画面)的范围中的每个索引i来执行步骤S32,以及优选地针对从1到NrOfValuesListB-1(如果索引0指示第二列表中的第一参考画面)的范围中的每个索引i来执行步骤S33。
步骤S32和S33可以通过任何的串行顺序,或甚至至少部分并行地执行。然后,方法继续到图2的步骤S4,在步骤S4处,基于在步骤S30至S33中计算的画面标识符来更新解码画面缓冲器。
在实施例中,关于第一列表的步骤S30和S32构成一个子过程,以及关于第二列表的步骤S31和S33构成一个子过程。然后,这两个子过程可以通过任何顺序串行地,或至少部分并行地执行。
上述实施例特别适于与可变长度编码相结合,该实施例通过相对于缓冲器描述中根据列表顺序的先前参考画面对画面标识符进行编码和解码,而在缓冲器描述中信号通知参考画面。在这种方案中,与画面标识符信息的较高值相比,通常由(在符号或比特数目方面)较短 的码字来表示画面标识符信息的低值,例如增量画面标识符。
例如,假设当前画面具有等于48的画面标识符,以及参考具有画面标识符46、47、49和51的四个参考画面来编码当前画面。还假设画面标识符的最大可能值是255。如果已经应用固定长度编码并且没有将画面标识符相对于彼此进行编码,则可能已经要求了4×8=32个比特来信号通知这四个画面标识符。如果相反已经使用可变长度编码来表示46、47、49和51,甚至可能已需要比总共32比特更长的码字。如果将以上结合图7公开的实施例与无符号增量画面标识符一起使用,第一列表将包含增量画面标识符1、1,以及第二列表将包含增量画面标识符1、2。可以使用少于32比特的较少比特来通过可变长度编码高效地编码这些值1、1、1、2,例如,总共1+1+1+3=6个比特。该显著的比特减少仅针对于一个缓冲器描述。在通常的视频流中,可存在从编码器发送到解码器的成百上千个缓冲器描述。
可以利用以绝对的方式(例如,使用固定长度编码)定义至少一个画面标识符的列表来对上述的在缓冲器描述中信号通知画面标识符进行补充。例如,缓冲器描述可包含上述的4个参考画面46、47、49和51,以及可选地可包含其画面标识符值(例如2)显著不同于这4个参考画面的画面标识符值的另一参考画面。在这种情况下,从编码的角度来看,将缓冲器描述定义为包括至少一个参考画面列表可以是更高效的,其中,基于针对当前参考画面和列表中在当前参考画面之前的任何参考画面从缓冲器描述中获取的画面标识符信息对画面标识符进行解码。在上述示例中,第一列表将定义参考画面46和47,以及第二列表将定义参考画面49和51。然后,利用包括相应参考画面(即,在示例中是参考画面2)的至少一个画面标识符在内的列表来对该至少一个列表(在本示例中,两个列表)进行补充。然后,优选地通过固定长度编码来提供该画面标识符,并且不相对于缓冲器描述中定义的任何其他参考画面来编码该画面标识符。
备选地,该附加列表定义至少一个参考画面,并且包括该至少一个参考画面的相应增量画面标识符。然后,通过计算当前画面的画面标识符与参考画面的画面标识符之间的差值来获得该增量画面标识 符。然后,该至少一个增量画面标识符在缓冲器描述中的至少一个附加列表中提供,并且优选地可以通过固定长度编码来提供或与上述列表相类似地进行编码,即,相对于先前的增量画面标识符进行编码。在这种情况下,可以使用可变长度编码,但利用了可应用来节省比特的选择性取模(modulo)操作。
图8是说明在缓冲器描述包括这种附加列表的情况下的图2中的方法的附加步骤的流程图。该方法从图2的步骤S3继续。下一步骤S40提供包括相应参考画面的至少一个画面标识符的列表。可以通过从画面的编码表示中包括的缓冲器描述信息中获取该列表来实现该步骤S40。备选地,可以从画面的编码表示的已定义控制信息字段中获取该列表。
下一步骤S41使用步骤S40中提供的列表来修改缓冲器描述。这暗示了将在所提供的列表中定义的至少一个画面标识符添加到根据缓冲器描述所确定的画面标识符,以形成已修改或已更新的缓冲器描述。
然后,方法继续到步骤S4,在步骤S4中,基于已修改的缓冲器描述来更新解码画面缓冲器。
如果缓冲器描述包含具有增量画面标识符的高值的参考画面,该使用对以绝对方式(优选地,使用固定长度编码)编码的参考画面进行描述的另一列表来修改缓冲器描述的实施例可以降低缓冲器描述的比特率。
在一实施例中,从画面的编码表示中获取的缓冲器描述信息可以自己构成缓冲器描述。因此,画面的编码表示由此包括由缓冲器描述所定义的参考画面的画面标识符信息,例如增量画面标识符。
然后可以将该缓冲器描述包括在图像条报头中、另一画面报头中或者编码器或解码器所符合的标准规定的另一数据结构中。总体上,可以将图3中示出的画面10分解为一个或多个图像条20、22,其中,每个图像条相对于画面10中的其他图像条是可独立编码和解码的。在一实施例中,给定画面的每个图像条报头包括相同的缓冲器描述信息。这意味着即使携带了画面的一个图像条的视频有效载荷和控制信息的数据分组在从编码器到解码器的传输中丢失,画面剩余的图像条也是 解码器可解码的,因为每个这种剩余的图像条都包括了缓冲器描述信息的相应拷贝。
在另一实施例中,画面的编码表示中存在的缓冲器描述信息不一定必须与当前画面的缓冲器描述相同,而是使得能够识别和获取该缓冲器描述。因此,在本实施例中,画面的编码表示中存在的缓冲器描述信息通过指向携带画面标识符信息(例如,增量画面标识符)的缓冲器描述来对参考画面进行间接定义,使得可如本文中所公开的计算参考画面的画面标识符。
在这种情况下,可以由与画面的编码表示60相关联的数据结构来携带缓冲器描述,参见图4。这种数据结构的示例包括画面参数集合(PPS)67和序列参数集合(SPS)68。PPS67和/或SPS68可直接包括在编码表示60中,但通常通过在编码表示60中包括PPS标识符和/或SPS标识符来与编码表是60相关联。例如,每个图像条报头65可以包括通知将哪个PPS67应用于当前画面的PPS标识符。继而,相关PPS67可以包括通知将哪个SPS68应用于PPS67并因此应用于当前画面的SPS标识符。
然后,可以将缓冲器描述插入到分配给当前画面的PPS67或SPS68中。在这种情况下,存在于编码表示60中的PPS标识符或SPS标识符构成了编码表示60中存在的缓冲器描述信息。该PPS标识符或SPS标识符因此使得能够获取对参考画面进行定义的缓冲器描述,以及PPS标识符或SPS标识符因此间接地定义了参考画面。
PPS67和SPS68仅构成了与画面的编码表示相关联的数据结构的示例,并且根据实施例,其可被用来携带缓冲器描述信息。
通常在视频流中的多个画面之间共享PPS和SPS。因此,优选地通过提供包括各自定义了相应参考画面的多个预定义缓冲器描述在内的数据结构(例如,表格)来执行在PPS和SPS中信号通知画面的缓冲器描述。
所生成的数据结构的每个缓冲器描述从而在画面标识符信息方面定义了本文中公开的参考画面,根据该画面标识符信息,可以基于当前画面的画面标识符并基于缓冲器描述中的先前参考画面的画面标 识符信息来计算画面标识符。因此可以将每个缓冲器描述作为数据结构或表格中的条目来提供。
从编码器向解码器信号通知该数据结构。可以根据各种实施例来执行该信号通知。可以在PPS、SPS、新颖的参数集合或者编码器和解码器符合的标准所规定的另一数据结构中携带该数据结构。在这种情况下,画面的编码表示在例如图像条报头中包括PPS标识符或SPS标识符。形成缓冲器描述信息的一部分的该PPS标识符或SPS标识符使得能够识别在解码当前画面时可用的数据结构。
为了指定要将数据结构的哪个缓冲器描述用于当前画面,针对当前画面信号通知形成缓冲器描述信息的一部分的标识符,并将该标识符包括在画面的编码表示中。这种标识符的示例是在当前画面的图像条报头中信号通知的非负整数,表示按照缓冲器描述在数据结构中出现的顺序,该缓冲器描述的编号。
在例如SPS中引入缓冲器描述条目降低了在图像条报头中显式地信号通知缓冲器描述的比特开销。可以将这些缓冲器描述用于相同序列(即,视频流)中的多个图像条/画面,并因此减小了每个画面所需的比特的数目。
根据另一实施例,可以组合缓冲器描述的显式信号通知与针对具有多个预定义缓冲器描述的通用数据结构中的条目(例如,上述表格中的条目)的参考信号通知。在这种情况下,可以由解码器组合这些信号通知以形成针对当前画面的最终缓冲器描述。组合显式信号通知和参考信号通知的一种方式是将由显式信号通知描述的参考画面集合与由参考信号通知描述的参考画面集合进行联合以形成联合参考画面集合。
在特定实施例中,画面的编码表示优选地包括用于指示是否已经为当前画面选择了缓冲器描述信息的显式信号通知和/或缓冲器描述信息的隐式信号通知的标记。例如,该标记可以包括在画面的编码表示的图像条报头中或者包括在某一其他控制信息字段中。
在本文中公开的实施例中,缓冲器描述可以包括针对由缓冲器描述定义的参考画面的相应增量画面标识符。这种增量画面标识符的一 实施例是之前讨论的参数absolute_delta_poc。在备选实施例中,基于参考画面的增量画面标识符来获得参数absolute_delta_poc。例如,针对参考画面,缓冲器描述中包括的增量画面标识符可以是参数absolute_delta_poc_minusl。然后,可以如下获得参数absolute_delta_poc:absolute_delta_poc_minusl+1。因此,本实施例还包含了在所公开的等式中将参数absolute_delta_poc替换为参数absolute_delta_poc_minusl+1或类似变型的情况。例如,因此将等式POCA(i)=POCA(i-1)-abslute_delta_pocA(i)替换为POCA(i)=POCA(i-1)-(abslute_delta_poc_minuslA(i)+1)。
图9是根据一实施例的参考缓冲器方案的简化流程图。在该方案中,如图9中所示,在对画面的第一图像条报头进行解析之后但是在画面解码之前,使用解码画面缓冲器的描述来应用所有解码画面缓冲器操作。例如,缓冲器描述是在图像条报头中显式地或者通过参考在PPS或SPS中信号通知的预定义数据结构来信号通知的。
因此,本实施例对解码处理提供了较大构思改变。在传统的H.264/MPEG-4AVC和HEVC的先前设计中,向解码器隐式地提供相对操作,即,滑动窗,或者显式地提供相对操作,即,MMCO,并且解码器负责应用这些相对操作并且跟踪参考画面,即,哪些画面可以用于参考。在所提出的方案中,在当前画面内(例如,在图像条报头中)信号通知参考画面,即,哪些画面可以用于参考,从而消除对隐式地和显式地信号通知的相对操作的需要。
这意味着,每个画面将具有参考画面的绝对描述,而不是如在H.264/MEPG-4AVC中一样的相对描述,在H.264/MEPG-4AVC中,根据MMCO或者通过使用滑动窗处理来获取增量信息。
根据特定实施例,缓冲器描述包含解码画面缓冲器中所需的所有参考画面的画面标识符信息,以提供对要被用作参考画面的画面的绝对参考。如本文中之前公开的,使用画面标识符信息来计算参考画面的画面标识符。
优选地,将解码画面缓冲器中不是缓冲器描述的一部分的所有画面都标记为不用于参考。
在H.264/MPEG-4AVC中,传送画面以进行输出的过程(在图1中也称作“颠簸”处理)有时是在解码之前执行的,即,如果在frame_num中存在间隙的话。“颠簸”处理也在解码和画面标记之后执行。
在图9的所提出的方案中,“颠簸”处理是在解码之前应用的。可以认为在传送画面以进行输出之前,这对解码处理施加了额外延迟。然而,应当注意的是,一旦解码画面缓冲器中的非显示画面的数量大于或等于num_reorder_frames,就已经唯一地定义了在解码处理步骤之后要显示的第一画面。因此,解码器可以在解码处理步骤之后直接传送该画面以进行显示。因此,所提出的方案的延迟等于当前HEVC方案的延迟。
在可选方案中,解码器可以确定由缓冲器描述所定义但因为丢失而不存在于参考画面中的参考画面。可选地,然后可以基于缓冲器描述生成隐藏的或不存在的画面,并因此向该隐藏或不存在的画面分配针对丢失的画面所确定的画面标识符。
优选地,在图9中指示的对当前画面的视频有效载荷数据的实际解码之前执行上述画面标记处理、颠簸(bumping)处理和可选的生成不存在的画面。
根据实施例,存在可被用作画面标识符的各种备选。例如,画面标识符可以是解码顺序编号、显示顺序编号、输出顺序编号、或者显示顺序编号和附加的标识符的组合或者可以用于无歧义地标识画面的甚至任何其他信息。
这种画面标识符的示例包括画面顺序计数(POC)、帧号(frame_num)、或者POC和附加的标识符(additional_picture_id)。
在特定实施例中,将画面标识符的实际值与附加的信息或其他数据(例如,参考画面在缓冲器描述中的位置(列表顺序位置))一起用于无歧义地标识相关的参考画面。因此,通过缓冲器描述信息所识别或获得的缓冲器描述使得能够无歧义地识别相关参考画面。在一实施例中,可以使用画面标识符自身(例如,POC或POC加上附加标识符)来无歧义地标识参考画面。
在本文中使用无歧义地标识参考画面,以指示画面标识符本身或者画面标识符与缓冲器描述信息中的其他信息(例如,缓冲器描述定义参考画面的顺序)一起用于显式地标识参考画面。因此,给定画面标识符或者画面标识符和其他信息使得能够标识视频流的画面中的相关参考画面。
图10是说明对多个画面构成的视频流的画面进行编码的方法的流程图。该方法总体上在步骤S50中开始,在步骤S50中,将视频流的参考画面确定为编码参考。在一实施例中,步骤S50确定被用作要编码的当前画面的编码参考的一个或多个参考画面。因此,参考一个或多个参考画面来编码当前画面的像素数据。备选地或附加地,可以将在步骤S50中确定的至少一个参考画面用作视频流中的后续画面(即,当前画面之后要编码和解码的画面)的编码参考。在特定实施例中,S50针对当前画面将视频流的任何参考画面确定为当前画面的编码参考,以及将视频流的任何参考画面确定为后续画面的编码参考。因此,在特定实施例中,步骤S50确定按照解码顺序在当前画面之前的、并且可被用于当前画面或按照解码顺序在当前画面之后的任伺画面的帧间预测的所有参考画面。
下一步骤S51为步骤S50中确定的参考画面中的每个参考画面提供相应的画面标识符。该画面标识符(可能与其他数据一起)被用于无歧义地标识参考画面。因此,可以将画面标识符视为对要被用作参考画面的画面的绝对参考。这意味着,在给定其画面标识符以及可选地其他数据的情况下,可以正确地识别相关参考画面。
优选地针对步骤S50中确定的每个参考画面来执行步骤S51,这由线L5示意性说明。
在步骤S51中提供的画面标识符可以从在步骤S50中确定的参考画面的报头部分中读取或者以其他方式从表示来自步骤S50的参考画面的数据中获取。
下面将进一步描述与确定缓冲器描述的每个列表中的第一参考画面的画面标识符信息有关的步骤S52。
针对步骤S50中确定的参考画面中的至少一部分参考画面中除了 根据参考画面的列表顺序的第一参考画面之外的每个参考画面执行步骤S53。如果如上所述在单个列表中组织参考画面,优选地针对除了第一参考画面之外的每个参考画面执行步骤S53,这由线L6示意性说明。然而,如果在多个列表中组织参考画面,优选地针对每个列表中除了相应的第一参考画面之外的每个参考画面来执行步骤S53。
步骤S53基于标识参考画面的画面标识符并基于标识当前列表中根据列表顺序的先前参考画面的画面标识符来确定针对“非第一”参考画面的画面标识符信息。
下一步骤S54生成缓冲器描述的信息,也称为参考画面集合(RPS)。在本文中将该信息表示为缓冲器描述信息。基于在步骤S53(以及步骤S52)中确定的画面标识符信息来生成缓冲器描述信息。该缓冲器描述信息定义(优选地,无歧义地定义)在步骤S50中确定的参考画面以及因此的在步骤S51中提供的画面标识符。因此,可以根据缓冲器描述信息导出至少一个画面标识符。
在步骤S55中,将所生成的缓冲器描述信息插入到当前画面的编码表示中。因此,编码画面携带了缓冲器描述信息,该缓冲器描述信息可以在解码器处使用以定义和识别对当前画面和/或视频流中的任何后续画面进行解码所需的参考画面。
优选地针对视频流中除了任何IDR画面之外的每个画面执行图10中具有步骤S50至S55的方法,该IDR画面导致解码画面缓冲器刷新并因此不需要任何的缓冲器描述信息。
图10的步骤S52针对第一参考画面或针对缓冲器描述中的每个列表的每个第一参考画面确定画面标识符信息。画面标识符信息是基于标识第一参考画面并在步骤S51中提供的画面标识符以及要解码的当前画面的画面标识符来确定的。
图11是说明图10中的该步骤S52和后续步骤S53的特定实施例的流程图。该方法从图10中的步骤S51继续。下一步骤S60基于第一参考画面的画面标识符与当前画面的画面标识符之间的差值来计算增量值。下面的步骤S61基于增量值的绝对值确定增量画面标识符,以及步骤S62基于增量值的符号来确定符号标识符。第一参考画面的画面 标识符信息因此包括增量画面标识符和符号标识符。因此,在一实施例中,deltaPOC(0)=POC(0))-POC(currPic)和absolute_delta_poc=|deltaPOC(0)|,以及sign表示sign(deltaPOC(0))。
步骤S63计算(每个列表中)除了第一参考画面之外的每个参考画面的增量值。该增量值是基于参考画面的画面标识符与标识(列表中)根据列表顺序的先前参考画面的画面标识符之间的差值来确定的。在特定的实施例中,针对参考画面编号i,将该增量值计算为deltaPOC(i)=POC(i)-POC(i-1)。
下面的步骤S64确定参考画面的增量画面标识符。该增量画面标识符是基于步骤S63中计算的增量值与针对根据列表顺序的先前参考画面确定的增量画面标识符之间的差值来确定的,或者是基于增量值与针对根据列表顺序的先前参考画面确定的增量画面标识符的和值来确定的。在一实施例中,选择使用差值还是和值取决于编码器和解码器是被配置为按升序组织参考画面还是按降序组织参考画面。因此,在一实施例中,absolute_delta_poc(i)=deltaPOC(i)±absolute_delta_poc(i-1)。
因此针对每个列表中除了相应的第一参考画面之外的每个参考画面执行步骤S63至S64,这由线L7示意性说明。
然后,方法继续到图10的步骤S54。
图12是说明图10中的步骤S51-S53的特定实施例的流程图。该方法从图10中的步骤S50继续。下一步骤S70提供标识图10中的步骤S50中确定的任何参考画面的画面标识符的第一列表,该任何参考画面根据所定义的顺序(例如,输出顺序)在当前画面之前。步骤S71相应地提供标识图10中的步骤S50中确定的任何参考画面的画面标识符的第二列表,该任何参考画面根据所定义的顺序在当前画面之后。因此,步骤S70在第一列表中提供多个元素(即,画面标识符),以及步骤S71在第二列表中对应地提供多个元素。
步骤S70和S71可以通过任何顺序串行地执行,或至少部分并行地执行。
下一步骤S72基于当前画面的画面标识符与第一列表中的第一参 考画面的画面标识符之间的差值来确定第一列表中的第一参考画面的增量画面标识符。在特定实施例中,步骤S72确定absolute_delta_pocA(0)=POC(currPic)-POCA(0)。步骤S73对应地基于第二列表中的第一参考画面的画面标识符与当前画面的画面标识符之间的差值来确定第二列表中的第一参考画面标识符的增量画面标识符。在特定实施例中,步骤S73确定absolute_delta_pocB(0)=POCB(0)-POC(currPic)。
步骤S72和S73可以通过任何顺序串行地执行,或至少部分并行地执行。
针对第一列表中除了第一列表中的第一参考画面之外的每个剩余参考画面来执行步骤S74,这由线L8示意性说明。步骤S74基于第一列表中根据第一列表顺序的先前参考画面的画面标识符与参考画面的画面标识符之间的差值来确定增量画面标识符。在特定实施例中,步骤S74确定absolute_delta_pocA(i)=POCA(i-1)-POCA(i)。对应地针对第二列表中除了第二列表中的第一参考画面之外的每个剩余参考画面来执行步骤S75,这由线L9示意性说明。步骤S75基于标识当前画面的画面标识符与第二列表中根据第二列表顺序的先前参考画面的画面标识符之间的差值来确定增量画面标识符。在特定实施例中,步骤S75确定absolute_delta_pocB(i)=POCB(i)-POCB(i-1)。针对参考画面确定的画面标识符信息因此包括增量画面标识符。
在一实施例中,步骤S70、S72、S74形成与第一列表有关的子过程,以及步骤S71、S73、S75形成与第二列表有关的另一子过程。然后,这两个子过程可以通过任何顺序串行地,或至少部分并行地执行。
如上结合图8所述,可以使用包括至少一个参考画面的显式画面标识符的列表,或者可以使用使得能够使用当前画面的画面标识符而不参考缓冲器描述中的先前参考画面来计算这种画面标识符的信息。图13结合编码器说明该方案。该方法从图10中的步骤S54继续。下一步骤S80提供包括相应参考画面的至少一个画面标识符在内的列表。该列表被配置为用于通过将该至少一个画面标识符添加到根据缓冲器描述确定的画面标识符来形成相关参考画面的最终画面标识符,来修改缓冲器描述。可以将该列表插入到画面的编码表示的图像条报头中, 插入到编码表示的另一控制信息字段中,或者插入到与画面的编码表示相关联的PPS或SPS中。
图15是根据实施例的解码器100的示意性框图。解码器100被配置为对多个画面构成的视频流中的画面的编码表示进行解码。解码器100包括数据获取器110,被配置为从画面的编码表示中获取对定义画面标识符的缓冲器描述进行标识的缓冲器描述信息。画面标识符确定器120被配置为:基于数据获取器110针对缓冲器描述中定义的参考画面和缓冲器描述中根据列表顺序在该参考画面之前的参考画面从缓冲器描述中获取的画面标识符信息,确定标识该参考画面的画面标识符。解码器100还包括缓冲器管理器130,缓冲器管理器130被配置为基于画面标识符确定器120确定的画面标识符,更新解码器100的解码画面缓冲器或与解码器100相关联的解码画面缓冲器。
在特定实施例中,画面标识符确定器110被配置为针对缓冲器描述中的列表中除了该列表中根据列表顺序的第一参考画面之外的每个参考画面确定画面标识符。如上所述,基于数据获取器110针对该参考画面和该列表中根据列表顺序在该参考画面之前的任伺参考画面从缓冲器描述中获取的画面标识符信息来确定画面标识符。
画面标识符确定器120优选地还被配置为确定对根据列表顺序的第一参考画面进行标识的画面标识符。画面标识符确定器120基于数据获取器110针对第一参考画面从缓冲器描述中获取的画面标识符信息并基于要由解码器100解码的当前画面的画面标识符来确定该画面标识符。
在特定实施例中,数据获取器110被配置为从缓冲器描述中获取第一参考画面的增量画面标识符和符号标识符。在这种情况下,画面标识符确定器120被配置为基于增量画面标识符、符号标识符和当前画面的画面标识符计算第一参考画面的画面标识符。
图16是图15中的画面标识符确定器120的实现的示意性框图。画面标识符确定器120包括增量计数器122,增量计数器122被配置为基于图15中的数据获取器110获取的符号标识符和增量画面标识符来计算第一参考画面的增量值deltaPOC(0)=sign×absolute_delta_poc(0)标 识符计算器124然后将画面标识符计算为POC(0)=POC(currPic)+deltaPOC(0)
数据获取器110在本实施例中被配置为针对缓冲器描述中定义的至少一个列表中的每个参考画面编号i(除了该至少一个列表中的(对应)第一参考画面之外),从缓冲器描述中获取相应的增量画面标识符。因此,图16的增量计算器122被配置为:如果缓冲器描述按升序在该至少一个列表中定义参考画面,则将增量值计算为deltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i),或者如果缓冲器描述按降序在该至少一个列表中定义参考画面,则将增量值计算为deltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i)。优选地在解码器100中预配置该特定顺序。
标识符计算器124被配置为将参考画面编号i的画面标识符计算为POC(i)=POC(currPic)+deltaPOC(i)。
在特定实施例中,缓冲器描述定义第一参考画面列表和第二参考画面列表。画面标识符确定器120优选地包括第一标识符计算器126,第一标识符计算器126被配置为基于当前画面的画面标识符和数据获取器110针对第一列表中的第一参考画面从缓冲器描述中获取的增量画面标识符来计算第一列表中的第一参考画面的画面标识符。优选地将该画面标识符计算为POCA(0)=POC(currPic)-absolute_delta_pocA(0)。对应地,第二标识符计算器128被配置为基于当前画面的画面标识符和数据获取器针对第二列表中的第一参考画面从缓冲器描述中获取的增量画面标识符来计算对第二列表中的第一参考画面进行标识的画面标识符。优选地将该画面标识符计算为POCB(0)=POC(currPic)+absolute_delta_pocB(0)。在上述实施例中已经假设了无符号增量画面标识符。如果增量画面标识符是有符号的值,则将画面标识符计算为当前画面的画面标识符与第一列表或第二列表中的第一参考画面的有符号增量画面标识符的对应和。
第一标识符计算器126还被配置为计算第一列表中除了第一列表中的第一参考画面之外的每个参考画面编号i的画面标识符。基于第一列表中根据第一列表顺序的先前参考画面的画面标识符和数据获取器 110针对参考画面编号i从缓冲器描述中获取的增量画面标识符来计算该画面标识符。在特定实施例中,第一标识符计算器126如下计算画面标识符:如果增量画面标识符是无符号值,则将画面标识符计算为POCA(i)=POCA(i-1)-absolute_delta_pocA(i),或者如果增量画面标识符是有符号值,则将画面标识符计算为POCA(i)=POCA(i-1)+absolute_delta_pocA(i)。
第二标识符计算器128被对应地配置为计算第二列表中除了第二列表中的第一参考画面之外的每个参考画面编号i的画面标识符。基于第二列表中根据第二列表顺序的先前参考画面的画面标识符和数据获取器110针对参考画面编号i从缓冲器描述中获取的增量画面标识符来计算画面标识符。在特定实施例中,第二标识符计算器128将画面标识符计算为POCB(i)=POCB(i-1)+absolute_delta_pocB(i)。增量画面标识符是无符号值或有符号值。
画面的编码表示携带的缓冲器描述信息被用于标识需要存在于解码画面缓冲器中的用于解码当前画面和用于解码视频流的任伺后续画面的参考画面。缓冲器描述信息因此向解码器100提供更新解码画面缓冲器所需的信息,以存储正确的参考画面。
在优选的方案中,缓冲器管理器130被配置为将存储在解码画面缓冲器中但是不与来自缓冲器描述的任何画面标识符相关联的所有参考画面都标记为不用于参考。相反,优选地将存在于解码画面缓冲器中并与来自缓冲器描述的任何画面标识符相关联的参考画面标记为用于参考。
解码器100的缓冲器管理器130优选地被配置为在解码器100解码当前画面之前标记任何参考画面。
在具体实施例中,解码器100被配置为在解码器100解码当前画面之前,从解码画面缓冲器输出零个或更多个画面以用于显示。在特定实施例中,解码器100输出被缓冲器管理器130标记为不用于参考的任何参考画面。
一旦缓冲器管理器130已经更新了解码画面缓冲器,解码器100可以基于画面的编码表示和已更新的解码画面缓冲器中存储的至少一个 参考画面来解码画面,即,解码视频有效载荷数据。
优选地在画面的编码表示的控制信息中提供缓冲器描述信息。例如,数据获取器100可被配置为从画面的编码表示的图像条报头中获取缓冲器描述信息。在这种情况下,优选地从针对当前画面接收到的第一图像条报头中获取缓冲器描述信息,因为画面的任何剩余图像条报头都将优选地携带相同的缓冲器描述信息。
在特定实施例中,缓冲器描述信息与上述的画面标识符信息一起构成了缓冲器描述。因此,由数据获取器110从画面的编码表示中直接获取该数据。
在备选实施例中,缓冲器描述信息是缓冲器描述的标识符。数据获取器110因此从画面的编码表示中获取该标识符,并使用该标识符来识别要针对画面的编码表示使用的正确缓冲器描述。标识符因此可以是针对包括多个预定义缓冲器描述在内的数据结构或表格中的条目的标识符。可以由与视频流相关联的控制数据来携带该数据结构,例如在PPS或SPS中携带。在这种情况下,缓冲器描述信息优选地包括数据结构中的条目的标识符以及允许识别携带该数据结构的特定PPS或SPS的PPS和/或SPS标识符。
在具体实施例中,解码器100包括列表提供器140,列表提供器140被配置为提供包括相应参考画面的至少一个画面标识符在内的列表。优选地以固定长度编码来编码该画面标识符,而不参考缓冲器描述中的任何先前参考画面。该列表因此可以包括任何奇异的(odd)参考画面的画面标识符,该奇异的参考画面具有与缓冲器描述的至少一个列表中关于先前参考画面标识符编码和解码的参考画面显著不同的画面标识符。
缓冲器描述修改器150使用列表提供器提供的该至少一个画面标识符(例如,从图像条报头或甚至从缓冲器描述中的分离列表中获取)来修改缓冲器描述。因此,将该至少一个画面标识符添加到缓冲器描述所定义的画面标识符。
可以至少部分地通过软件来实现解码器。在图17中示出的这种实施例中,解码器300包括输入部分310,输入部分310被配置为接收视频 流中的多个画面的编码表示。解码器300还包括处理器330,处理器330被配置为处理存储在存储器340中的计算机程序的代码装置。当代码装置在处理器330上运行时,代码装置使处理器330从画面的编码表示中获取对定义多个参考画面的缓冲器描述进行标识的缓冲器描述信息。代码装置还使处理器330基于针对参考画面和缓冲器描述中根据列表顺序在该参考画面之前的先前参考画面从缓冲器描述信息中获取的画面标识符信息来确定标识参考画面的画面标识符。参考画面要被用作该画面和/或视频流中的后续画面的解码参考。处理器330还使得基于画面标识符来更新解码画面缓冲器350。解码器300还包括输出部分320,输出部分320被配置为输出视频流的解码画面。
处理器330可以是通用或专门适配的计算机、处理器或微处理器,例如,中央处理单元(CPU)。软件包括执行图15的至少数据获取器110、画面标识符确定器120和缓冲器管理器130的操作的计算机程序代码单元或软件代码部分。
程序可以完全或部分地存储在一个或多个适合的易失性计算机可读介质或数据存储装置(例如,RAM)或者一个或多个非易失性计算机可读介质或数据存储装置(例如,磁盘、CD-ROM、DVD磁盘、硬盘、ROM或闪存)之上或之中。数据存储装置可以是本地数据存储装置,或者在远端被提供在例如数据服务器中。软件因此可以被装载到计算机或等同处理系统的操作存储器中以由处理器执行。计算机/处理器不必专用于仅执行上述功能,而且还可以执行其他软件任务。用于定义解码器300的程序代码的非限制性示例包括单指令多数据(SIMD)代码。
备选地,可以用硬件实现解码器。存在多种电路元件的变形,其可以被使用和组合以实现图15中的解码器100的单元110-150的功能。这些变形由实施例涵盖。解码器100的硬件实现的特定示例是数字信号处理器(DSP)硬件和集成电路技术中的实现,包括通用电子电路和专用电路二者。
根据实施例的一个方案,提供了如图14中所示的接收机200。接收机200包括输入部分210,输入部分210被配置为接收视频流中的多个 画面的编码表示。编码表示携带根据实施例的缓冲器描述信息。将编码表示转发给如图15或图17所示的解码器100,其中,该解码器100被配置为对多个画面的编码表示进行解码。接收机200的输出部分220被配置为输出视频流的解码画面。接收机200还包括解码画面缓冲器230,解码画面缓冲器230存储解码器100在对画面进行解码时要使用的参考画面。
图19是根据一实施例的编码器400的示意性框图。编码器400被配置为将多个画面构成的视频流中的画面编码为画面的编码表示。编码器400包括参考画面确定器410,参考画面确定器410被配置为将视频流的多个参考画面确定为该画面和/或视频流中的任何后续画面的编码参考。编码器400的画面标识符提供器420被配置为提供参考画面确定器410确定的每个参考画面的相应画面标识符。画面标识符提供器420提供的画面标识符标识其相关联的参考画面。
编码器400还包括信息确定器430,信息确定器430被配置为确定由参考画面确定器410确定的参考画面中的至少一部分参考画面中除了根据列表顺序的第一参考画面之外的每个参考画面的画面标识符信息。基于参考画面的画面标识符并基于根据列表顺序的先前参考画面的画面标识符来确定画面标识符信息。缓冲器描述信息生成器440被配置为基于所确定的画面标识符信息生成缓冲器描述信息。缓冲器描述信息生成器440生成的缓冲器描述信息标识了对参考画面确定器410确定的多个参考画面进行定义的缓冲器描述。
数据插入器450被实现在编码器400中,以将由缓冲器描述信息生成器440生成的缓冲器描述信息插入到当前画面的编码表示中。因此,视频流的与当前画面有关的编码比特流携带缓冲器描述信息。这意味着,画面的编码表示将携带定义相关信息(即,画面标识符)的缓冲器描述信息,解码器需要该相关信息来更新针对当前画面的解码画面缓冲器,从而实现对画面的编码表示的解码。
信息确定器430还被优选地配置为确定根据列表顺序的第一参考画面的画面标识符信息。因此,基于第一参考画面的画面标识符和当前画面的画面标识符来确定该画面标识符信息。
图20说明了图19中的信息确定器430的特定实现。信息确定器430优选地包括增量计算器432,增量计算器432被配置为基于第一参考画面的画面标识符与当前画面的画面标识符之间的差值来计算增量值,例如,deltaPOC(0)=POC(0)-POC(currPic)。然后,增量标识符确定器434被配置为基于增量值的绝对值确定增量画面标识符,例如,absolute_delta_poc(0)=|deltaPOC(0)|。符号标识符确定器436被配置为基于增量值的符号确定符号标识符,例如,sign表示sign(deltaPOC(0))。第一参考画面的画面标识符信息因此包括增量画面标识符和符号标识符。
缓冲器描述优选地包括至少一个参考画面列表,每个参考画面列表具有相应的第一参考画面。在这种情况下,可以针对每个第一参考画面确定增量画面标识符和符号标识符。备选地,针对第一列表的第一参考画面确定增量画面标识符和符号标识符,而第二列表的第一参考画面仅包括增量画面标识符作为其画面标识符信息,并且然后该第一参考画面在然后使用与第一列表的第一参考画面的符号相反的符号。
然后,增量计算器432被优选地配置为针对该至少一个列表中除了相应的第一参考画面之外的每个参考画面编号i计算增量值。基于参考画面的画面标识符和对列表中根据列表顺序的先前参考画面进行标识的画面标识符计算增量值,优选地,基于这些画面标识符之间的差值来计算,例如,deltaPOC(i)POC(i)-POC(i-1)。增量标识符确定器434然后被配置为基于增量值和针对先前参考画面确定的增量画面标识符来确定针对参考画面编号i的增量画面标识符。在特定实施例中,增量标识符确定器434被配置为基于增量值与先前增量画面标识符之间的差值确定增量画面标识符,例如,absolute_delta_poc(i)=deltaPOC(i)-absolute_delta_poc(i-1)。备选地,增量标识符确定器434基于增量值与先前增量画面标识符的和值来确定增量画面标识符,例如absolute_delta_poc(i)=deltaPOC(i)+absolute_delta_poc(i-1)。使用这些备选中的哪一个取决于列表是按升序还是按降序排序参考画面,并且优选在编码器400中预配置。
在特定实施例中,画面标识符提供器420被配置为提供根据已定义的顺序(例如,输出顺序)在当前画面之前的参考画面的画面标识符的第一列表。画面标识符提供器420还被配置为提供根据已定义的顺序(例如,输出顺序)在当前画面之后的参考画面的画面标识符的第二列表。
然后,增量标识符确定器434优选被配置为针对第一列表中除了第一列表中根据第一列表顺序的第一参考画面之外的每个参考画面编号i确定增量画面标识符。优选地,基于第一列表中根据第一列表顺序的先前参考画面的画面标识符与标识参考画面的画面标识符之间的差值来确定增量画面标识符,例如,absolute_delta_pocA(i)=POCA(i-1)-POCA(i)。增量标识符确定器434还针对第二列表中除了第二列表中根据第二列表顺序的第一参考画面之外的每个参考画面编号i确定增量画面标识符。优选地,基于所述参考画面的标识符与对所述第二列表中根据第二列表顺序的先前参考画面进行标识的画面标识符之间的差值来确定增量画面标识符,例如,absolute_delta_pocB(i)=POCB(i)-POCB(i-1)。在备选方案中,由增量标识符确定器434如本文中之前所述地确定有符号的增量画面标识符。
优选地,增量标识符确定器434还被配置为基于当前画面的画面标识符与第一列表中的第一参考画面的画面标识符之间的差值来确定第一列表中的第一参考画面的增量画面标识符,例如,absolute_delta_pocA(0)=POC(currPic)-POCA(0)。增量标识符确定器434还基于第二列表中的第一参考画面的画面标识符与当前画面的画面标识符之间的差值来确定第二列表中的第一参考画面的增量画面标识符,例如,absolute_delta_pocB(0)=POCB(0)-POC(currPic)。
图19的编码器400可选地包括列表提供器460,列表提供器140被配置为提供包括相应参考画面的至少一个画面标识符在内的列表。该列表要被解码器使用来修改由针对当前画面所生成的缓冲器描述信息标识的缓冲器描述,如本文中之前所述。
在优选的实施例中,数据插入器450被配置为将缓冲器描述信息插入到画面的编码表示的相应图像条报头中。在该情况下,当前画面 的每个图像条报头优选地携带相同的缓冲器描述信息。这使得即使画面的另一图像条意外丢失,也能够对给定图像条进行解码。
此外,如本文先前所讨论的,画面的编码表示中的控制信息中的其他位置可以用于携带缓冲器描述信息。
画面的编码表示可以将由信息确定器430确定的画面标识符信息作为缓冲器描述信息携带在例如图像条报头中。这在画面的编码表示中提供了缓冲器描述的显式信号通知。
在备选实施例中,编码器400被配置为生成包括多个预定义缓冲器描述的数据结构。每个这种预定义缓冲器描述因此定义参考画面。数据结构因此可以用于视频流中的多个画面以提供在针对这些画面进行解码时要使用的缓冲器描述。缓冲器描述信息生成器440因此被配置为基于由画面标识符提供器420针对当前画面提供的画面标识符来选择数据结构的缓冲器描述。与画面标识符正确匹配的缓冲器描述因此被选择,并且由缓冲器描述信息生成器430生成的缓冲器描述信息包括所选择的缓冲器描述的标识符。
然后,数据结构可以被插入到与视频流的编码表示相关联的控制信息字段中(例如,插入到PPS或SPS中)。相关控制信息的标识符(即,PPS标识符或SPS标识符)(可以具有针对PPS的PPS标识符的形式,PPS进而包括针对相关SPS的SPS标识符)优选地被包含在当前画面的编码表示的控制信息中(例如,包含在图像条报头中)。在一个实施例中,图像条报头或其他控制信息字段由此携带控制信息标识符和所选择的缓冲器描述的标识符作为缓冲器描述信息。
可以至少部分地通过软件来实现编码器。在图21中示出的这种实施例中,编码器600包括输入部分610,输入部分610被配置为接收视频流中的多个画面。编码器600还包括处理器630,处理器630被配置为处理存储在存储器640中的计算机程序的代码装置。当代码装置在处理器630上运行时,代码装置使处理器630针对视频流中的画面将视频流的参考画面确定为该画面和/或视频流中的后续画面的编码参考。处理器630还使得针对每个参考画面提供标识参考画面的画面标识符,并针对所确定的参考画面中的至少一部分参考画面中除了根据列表顺序的第 一参考画面之外的每个参考画面,基于参考画面的画面标识符并基于根据列表顺序的先前参考画面的画面标识符来确定画面标识符信息。处理器630还使得基于画面标识符信息来生成对定义参考画面的缓冲器描述进行标识的缓冲器描述信息。处理器630还使得将缓冲器描述信息插入到画面的编码表示中。编码器600还包括输出部分620,输出部分620被配置为输出画面的编码表示。
处理器630可以是通用或专门适配的计算机、处理器或微处理器,例如,中央处理单元(CPU)。软件包括执行图19的至少参考画面确定器410、画面标识符提供器420、信息确定器430、缓冲器描述信息生成器44和数据插入器450的操作的计算机程序代码单元或软件代码部分。
程序可以完全或部分地存储在一个或多个适合的易失性计算机可读介质或数据存储装置(例如,RAM)或者一个或多个非易失性计算机可读介质或数据存储装置(例如,磁盘、CD-ROM、DVD磁盘、硬盘、ROM或闪存)之上或之中。数据存储装置可以是本地数据存储装置,或者在远端被提供在例如数据服务器中。软件因此可以被装载到计算机或等同处理系统的操作存储器中以由处理器执行。计算机/处理器不必专用于仅执行上述功能,而且还可以执行其他软件任务。用于定义编码器600的程序代码的非限制性示例包括单指令多数据(SIMD)代码。
备选地,可以用硬件实现编码器。存在多种电路元件的变形,其可以被使用和组合以实现图19中的编码器400的单元410-460的功能。这些变形由实施例涵盖。解码器400的硬件实现的特定示例是数字信号处理器(DSP)硬件和集成电路技术中的实现,包括通用电子电路和专用电路二者。
根据实施例的一个方案,提供了如图18中所示的发射机500。发射机500包括输入部分510,输入部分510被配置为接收视频流的多个画面10。画面10被转发给如图19或图21所示的编码器400,其中,该编码器400被配置为对多个画面10进行编码,以生成多个画面的相应编码表示。发射机500的输出部分520被配置为输出多个画面的相应编 码表示,作为携带实施例的缓冲器描述信息的编码比特流。
附录
本附录给出了所提出的两个实施例的语法。
实施例1
实施例2
上述实施例应被理解为本发明的几个示意性示例。本领域技术人员将理解的是,可以在不偏离本发明的范围的情况下对实施例进行多种修改、组合和改变。具体地,如果技术上可行的话,可以在其他配置中组合不同实施例中的不同部分解决方案。然而,本发明的范围由所附权利要求来限定。

Claims (10)

1.一种对多个画面(10、40、42、50)构成的视频流(1)中的当前画面(10)的编码表示(60)进行解码的方法,所述方法包括:
与先前画面的编码表示无关地从所述当前画面(10)的所述编码表示(60)中获取(S1)定义具有多个参考画面(40、42)的至少一个列表的缓冲器描述;
针对所述至少一个列表中除了所述至少一个列表中根据所述至少一个列表的列表顺序的第一参考画面(40)之外的每个参考画面(42)编号i,通过以下操作来确定标识所述参考画面的画面标识符:
针对所述参考画面,从所述缓冲器描述中获取(S22)相应的增量画面标识符absolute_delta_poc(i),所述增量画面标识符是相对于所述至少一个列表中根据所述列表顺序的先前参考画面来信号通知的;
如果所述至少一个列表按升序定义所述多个参考画面(40、42),计算(S23)deltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i),或者如果所述至少一个列表按降序定义所述多个参考画面(40、42),计算deltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i);以及
将标识所述参考画面的所述画面标识符计算(S24)为POC(i)=POC(currPic)+deltaPOC(i),其中,POC(currPic)表示所述当前画面(10)的画面标识符;
基于针对所述第一参考画面(40)从所述缓冲器描述中获取的画面标识符信息并基于所述当前画面(10)的画面标识符,确定(S2)标识所述第一参考画面(40)的画面标识符;以及
基于所确定的画面标识符更新(S4)解码画面缓冲器(230、350)。
2.根据权利要求1所述的方法,其中,确定(S2)标识所述第一参考画面(40)的画面标识符包括:
从所述缓冲器描述中获取(S10)所述第一参考画面(40)的增量画面标识符和符号标识符,所述增量画面标识符是相对于所述当前画面信号通知的;以及
基于所述增量画面标识符、所述符号标识符和所述当前画面的所述画面标识符计算(S11)标识所述第一参考画面的所述画面标识符。
3.根据权利要求2所述的方法,其中,计算(S11)标识所述第一参考画面(40)的所述画面标识符包括:
计算(S20)deltaPOC(0)=sign×absolute_delta_poc(0),其中,sign指示由所述符号标识符表示的符号,以及absolute_delta_poc(0)表示所述增量画面标识符;以及
计算(S21)POC(0)=POC(currPic)+deltaPOC(0),其中,POC(0)表示标识所述第一参考画面(40)的所述画面标识符,以及POC(currPic)表示所述当前画面(10)的所述画面标识符。
4.一种对多个画面(10、40、42、50)构成的视频流(1)的当前画面(10)的编码表示进行解码的方法,所述方法包括:
与先前画面的编码表示无关地从所述当前画面的所述编码表示(60)中获取(S1)定义具有多个参考画面(40)的第一列表和具有多个参考画面(42)的第二列表的缓冲器描述;
针对所述第一列表中除了所述第一列表中根据第一列表顺序的第一参考画面之外的每个参考画面编号i,将标识所述参考画面的画面标识符POCA(i)计算(S32)为POCA(i)=POCA(i-1)-abslute_delta_pocA(i),其中,POCA(i-1)表示所述第一列表中根据所述第一列表顺序的最接近的先前参考画面的画面标识符,以及absolute_delta_pocA(i)表示针对所述参考画面从所述缓冲器描述中获取的第一无符号增量画面标识符,所述第一无符号增量画面标识符是相对于所述第一列表中根据所述第一列表顺序的先前参考画面来信号通知的;
针对所述第二列表中除了所述第二列表中根据第二列表顺序的第一参考画面之外的每个参考画面编号i,将标识所述参考画面的画面标识符POCB(i)计算(S33)为POCB(i)=POCB(i-1)+abslute_delta_pocB(i),其中,POCB(i-1)表示所述第二列表中根据所述第二列表顺序的最接近的先前参考画面的画面标识符,以及absolute_delta_pocB(i)表示针对所述参考画面从所述缓冲器描述中获取的第二无符号增量画面标识符,所述第二无符号增量画面标识符是相对于所述第二列表中根据所述第二列表顺序的先前参考画面来信号通知的;以及
基于所计算的画面标识符更新(S4)解码画面缓冲器(230、350)。
5.根据权利要求4所述的方法,还包括:
基于所述当前画面(10)的画面标识符与针对所述第一列表中的所述第一参考画面从所述缓冲器描述中获取的第一增量画面标识符之间的差值,计算(S30)标识所述第一列表中的所述第一参考画面的画面标识符,所述第一增量画面标识符是相对于所述当前画面信号通知的;以及
基于所述当前画面(10)的画面标识符与针对所述第二列表中的所述第一参考画面从所述缓冲器描述中获取的第二增量画面标识符的和值,计算(S31)标识所述第二列表中的所述第一参考画面的画面标识符,所述第二增量画面标识符是相对于所述当前画面信号通知的。
6.一种解码器(300),包括:
输入部分(310),所述输入部分(310)被配置为接收视频流(1)中的多个画面(10、40、42、50)的编码表示(60);
处理器(330),所述处理器(330)被配置为处理存储器(340)中存储的计算机程序的代码装置,当所述代码装置在所述处理器(330)上运行时,所述代码装置使所述处理器(330):
与先前画面的编码表示无关地从当前画面(10)的编码表示(60)中获取定义具有多个参考画面(40、42)的至少一个列表的缓冲器描述;
针对所述至少一个列表中除了所述至少一个列表中根据所述至少一个列表的列表顺序的第一参考画面(40)之外的每个参考画面(42)编号i,通过以下操作来确定标识所述参考画面的画面标识符:
针对所述参考画面,从所述缓冲器描述中获取(S22)相应的增量画面标识符absolute_delta_poc(i),所述增量画面标识符是相对于所述至少一个列表中根据所述列表顺序的先前参考画面来信号通知的;
如果所述至少一个列表按升序定义所述多个参考画面(40、42),计算(S23)deltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i),或者如果所述至少一个列表按降序定义所述多个参考画面(40、42),计算deltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i);以及
将标识所述参考画面的所述画面标识符计算(S24)为POC(i)=POC(currPic)+deltaPOC(i),其中,POC(currPic)表示所述当前画面(10)的画面标识符;
基于针对所述第一参考画面(40)从所述缓冲器描述中获取的画面标识符信息并基于所述当前画面(10)的画面标识符,确定(S2)标识所述第一参考画面(40)的画面标识符;以及
基于所确定的画面标识符更新(S4)解码画面缓冲器(230、350);以及
输出部分(320),所述输出部分(220)被配置为输出所述视频流(1)的解码画面。
7.根据权利要求6所述的解码器,其中,所述代码装置还使所述处理器(330):
从所述缓冲器描述中获取(S10)所述第一参考画面(40)的增量画面标识符和符号标识符;以及
基于所述增量画面标识符、所述符号标识符和所述当前画面的所述画面标识符计算(S11)标识所述第一参考画面的所述画面标识符。
8.根据权利要求7所述的解码器,其中,所述代码装置还使所述处理器(330):
计算(S20)deltaPOC(0)=sign×absolute_delta_poc(0),其中,sign指示由所述符号标识符表示的符号,以及absolute_delta_poc(0)表示所述增量画面标识符;以及
计算(S21)POC(0)=POC(currPic)+deltaPOC(0),其中,POC(0)表示标识所述第一参考画面(40)的所述画面标识符,以及POC(currPic)表示所述当前画面(10)的所述画面标识符。
9.一种解码器(300),包括:
输入部分(310),所述输入部分(310)被配置为接收视频流(1)中的多个画面(10、40、42、50)的编码表示(60);
处理器(330),所述处理器(330)被配置为处理存储器(340)中存储的计算机程序的代码装置,当所述代码装置在所述处理器(330)上运行时,所述代码装置使所述处理器(330):
与先前画面的编码表示无关地从当前画面(10)的编码表示(60)中获取(S1)定义具有多个参考画面(40)的第一列表和具有多个参考画面(42)的第二列表的缓冲器描述;
针对所述第一列表中除了所述第一列表中根据第一列表顺序的第一参考画面之外的每个参考画面编号i,将标识所述参考画面的画面标识符POCA例计算(S32)为POCA(i)=POCA(i-1)-abslute_delta_pocA(i),其中,POCA(i-1)表示所述第一列表中根据所述第一列表顺序的最接近的先前参考画面的画面标识符,以及absolute_delta_pocA(i)表示针对所述参考画面从所述缓冲器描述中获取的第一无符号增量画面标识符,所述第一无符号增量画面标识符是相对于所述第一列表中根据所述第一列表顺序的先前参考画面来信号通知的;以及
针对所述第二列表中除了所述第二列表中根据第二列表顺序的第一参考画面之外的每个参考画面编号i,将标识所述参考画面的画面标识符POCB(i)计算(S33)为POCB(i)=POCB(i-1)+abslute_delta_pocB(i),其中,POCB(i-1)表示所述第二列表中根据所述第二列表顺序的最接近的先前参考画面的画面标识符,以及absolute_delta_pocB(i)表示针对所述参考画面从所述缓冲器描述中获取的第二无符号增量画面标识符,所述第二无符号增量画面标识符是相对于所述第二列表中根据所述第二列表顺序的先前参考画面来信号通知的;以及
基于所计算的画面标识符更新(S4)解码画面缓冲器(230、350);以及
输出部分(320),所述输出部分(220)被配置为输出所述视频流(1)的解码画面。
10.根据权利要求9所述的解码器,其中,所述代码装置还使所述处理器(330):
基于所述当前画面(10)的画面标识符与针对所述第一列表中的所述第一参考画面从所述缓冲器描述中获取的第一增量画面标识符之间的差值,计算(S30)标识所述第一列表中的所述第一参考画面的画面标识符,所述第一增量画面标识符是相对于所述当前画面信号通知的;以及
基于所述当前画面(10)的画面标识符与针对所述第二列表中的所述第一参考画面从所述缓冲器描述中获取的第二增量画面标识符的和值,计算(S31)标识所述第二列表中的所述第一参考画面的画面标识符,所述第二增量画面标识符是相对于所述当前画面信号通知的。
CN201280042053.9A 2011-06-30 2012-04-27 绝对或显式的参考画面信号通知 Active CN103765900B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161503019P 2011-06-30 2011-06-30
US61/503,019 2011-06-30
US201161509690P 2011-07-20 2011-07-20
US61/509,690 2011-07-20
PCT/SE2012/050444 WO2013002701A1 (en) 2011-06-30 2012-04-27 Absolute or explicit reference picture signaling

Publications (2)

Publication Number Publication Date
CN103765900A CN103765900A (zh) 2014-04-30
CN103765900B true CN103765900B (zh) 2016-12-21

Family

ID=46197674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042053.9A Active CN103765900B (zh) 2011-06-30 2012-04-27 绝对或显式的参考画面信号通知

Country Status (11)

Country Link
US (2) US9247262B2 (zh)
EP (1) EP2687012A1 (zh)
JP (2) JP5624693B2 (zh)
KR (1) KR101631774B1 (zh)
CN (1) CN103765900B (zh)
AU (1) AU2012276349A1 (zh)
BR (1) BR112013033934B1 (zh)
MX (1) MX2013015397A (zh)
MY (1) MY166191A (zh)
RU (1) RU2581566C2 (zh)
WO (1) WO2013002701A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2749027T3 (pl) 2011-08-25 2020-10-19 Sun Patent Trust Sposoby i urządzenia do kodowania i dekodowania wideo z użyciem zaktualizowanego opisu bufora
BR112013020486B1 (pt) 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
WO2013042329A1 (ja) 2011-09-19 2013-03-28 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
EP4017006B1 (en) * 2011-09-22 2023-09-20 LG Electronics, Inc. Method and apparatus for signaling image information, and decoding method and apparatus using same
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
PL3742735T3 (pl) 2011-10-19 2022-11-14 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów
GB2497914B (en) * 2011-10-20 2015-03-18 Skype Transmission of video data
MX346477B (es) 2011-10-28 2017-03-22 Samsung Electronics Co Ltd Método para inter-predicción y dispositivo para el mismo, y método para compensación de movimiento y dispositivo para el mismo.
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
CN108833926B (zh) 2012-04-16 2021-12-21 三星电子株式会社 用于确定图像的参考画面集的方法和设备
US9532046B2 (en) 2012-04-16 2016-12-27 Qualcomm Incorporated Reference picture set prediction for video coding
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
KR101865014B1 (ko) * 2012-06-25 2018-06-05 닛본 덴끼 가부시끼가이샤 비디오 디코딩 장치, 방법 및 프로그램
US9332255B2 (en) 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
US9479776B2 (en) * 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
US11284080B2 (en) * 2016-12-30 2022-03-22 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
EP3815380A4 (en) 2018-07-01 2022-03-30 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING PICTURE ORDER COUNT VALUES FOR PICTURES CONTAINED IN ENCODED VIDEO
US10904545B2 (en) * 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
CN110012295B (zh) * 2019-05-07 2021-05-25 杭州当虹科技股份有限公司 一种avs2解码器参考图像管理的容错方法
EP4062635A4 (en) 2019-12-26 2022-12-28 ByteDance Inc. CONSTRAINTS ON SIGNALING VIDEO LAYERS IN ENCODED BITSTREAMS
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
KR20220113404A (ko) 2019-12-27 2022-08-12 바이트댄스 아이엔씨 비디오 서브픽처들을 시그널링하기 위한 신택스
WO2021142369A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Signalling of the wavefront parallel processing
EP4329308A1 (en) * 2021-04-23 2024-02-28 LG Electronics Inc. Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101578866A (zh) * 2006-10-20 2009-11-11 诺基亚公司 虚拟解码参考画面标记和参考画面列表

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
RU2426227C2 (ru) * 2006-11-14 2011-08-10 Квэлкомм Инкорпорейтед Кодирование кодов переменной длины с эффективным использованием памяти
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2009260736A (ja) * 2008-03-24 2009-11-05 Fujitsu Ltd エンコーディング装置、デコーディング装置、動画像処理方法、動画像処理システム、エンコーディングプログラムおよびデコーディングプログラム
TWI387347B (zh) 2009-02-18 2013-02-21 Novatek Microelectronics Corp 圖像解碼器,參考圖資訊溝通介面以及參考圖控制方法
US8743970B2 (en) * 2009-04-13 2014-06-03 Freescale Semiconductor, Inc. Video decoding with error detection and concealment
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101491095A (zh) * 2006-03-30 2009-07-22 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101578866A (zh) * 2006-10-20 2009-11-11 诺基亚公司 虚拟解码参考画面标记和参考画面列表

Also Published As

Publication number Publication date
KR20140051906A (ko) 2014-05-02
BR112013033934A2 (pt) 2017-02-14
RU2014102955A (ru) 2015-08-10
US9247262B2 (en) 2016-01-26
KR101631774B1 (ko) 2016-06-24
WO2013002701A1 (en) 2013-01-03
CN103765900A (zh) 2014-04-30
JP2014523691A (ja) 2014-09-11
EP2687012A1 (en) 2014-01-22
MY166191A (en) 2018-06-07
BR112013033934B1 (pt) 2022-05-10
JP2015029338A (ja) 2015-02-12
US20140126640A1 (en) 2014-05-08
MX2013015397A (es) 2014-03-31
JP5848810B2 (ja) 2016-01-27
JP5624693B2 (ja) 2014-11-12
AU2012276349A1 (en) 2014-01-16
US20150078458A1 (en) 2015-03-19
RU2581566C2 (ru) 2016-04-20

Similar Documents

Publication Publication Date Title
CN103765900B (zh) 绝对或显式的参考画面信号通知
US11425369B2 (en) Reference picture list handling
US20240223795A1 (en) Encoder and decoder and methods thereof for encoding/decoding a picture of a video sequence
CN103797797B (zh) 参考画面信号通知
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
US20220217352A1 (en) Extension data handling
US20200413042A1 (en) Multi-Layer Video Stream Encoding and Decoding
CN103843341B (zh) 用于管理视频解码过程中的画面的解码器及其方法
US11818392B2 (en) Decoder and encoder and methods for coding of a video sequence
JP2017535167A (ja) 符号化領域の完了を示すシンタックス構造
CN107439008A (zh) 减轻数字视频的互操作性情景中的损失
CN113273217A (zh) 非对称四叉树分割
CN103650502A (zh) 用于参考画面管理的编码器、解码器及其方法
CN116634172A (zh) 候选mv列表构建方法和装置
CN112425176B (zh) 基于运动模型指示的解码方法、装置和可读存储介质
EP2936809B1 (en) Multi-layer video stream decoding
US20140233653A1 (en) Decoder and encoder for picture outputting and methods thereof
WO2021010887A1 (en) Extension of header values in video and image coding units

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant