CN104185992A - 用于使用假设参考解码器的超低延迟模式的方法和装置 - Google Patents

用于使用假设参考解码器的超低延迟模式的方法和装置 Download PDF

Info

Publication number
CN104185992A
CN104185992A CN201280069014.8A CN201280069014A CN104185992A CN 104185992 A CN104185992 A CN 104185992A CN 201280069014 A CN201280069014 A CN 201280069014A CN 104185992 A CN104185992 A CN 104185992A
Authority
CN
China
Prior art keywords
hypothetical reference
reference decoder
bit stream
hrd
timing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280069014.8A
Other languages
English (en)
Inventor
朱立华
理查德·埃德温·格德肯
加勒特·詹姆斯·博伦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104185992A publication Critical patent/CN104185992A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于使用假设参考解码器的超低延迟模式的方法和装置。在视频解码器中提供了该方法，该方法包括：定义(320)假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。该方法还包括：基于假设参考解码器定时模型，针对与假设参考解码器缓冲区的要求的符合，来评估(325)视频比特流。

Description

用于使用假设参考解码器的超低延迟模式的方法和装置
相关申请的交叉引用
本申请要求于2012年2月8日提交的美国临时申请No.61/596,519的优先权，其以全文引用的方式并入本文。
技术领域
本原理总体上涉及视频编码和解码，更具体地，涉及用于使用假设(hypothetical)参考解码器的超低延迟模式的方法和装置。
背景技术
假设参考解码器(HRD)符合是大多数视频压缩标准的规范部分。HRD给出了对比特流的一组要求。HRD验证器是用于通过检查比特流、检测是否存在任何HRD错误、并且如果存在则报告这些错误，来验证比特流符合这组要求的软件和/或硬件。
在以下视频编码标准和推荐中，如果比特流遵循在标准和/或推荐中具体实现的语法和语义规则，则确定比特流是符合的：国际标准化组织/国际电工技术委员会(ISO/IEC)运动画面专家组-1(MPEG-1)标准、ISO/IEC MPEG-2标准、ISO/IEC MPEG-4标准、国际电信联盟电信标准局(ITU-T)H.263推荐、ISO/IEC MPEG-4第10部分的高级视频编码(AVC)标准/ITU-T H.264推荐(下文中的“MPEG-4 AVC标准”)、以及ISO/IEC MPEG-高效视频编码(HVEC)标准/(下文中的“HEVC标准”或简称为“HEVC”)。一种此类规则集合通过解码器的数学或假设模型采用比特流的成功流(successful flow)的形式，该解码器在概念上连接到编码器的输出并且从编码器接收比特流。这种模型解码器在一些标准中被称作假设参考解码器(HRD)或者在其他标准中被称作视频缓冲验证器(VBV)。换言之，HRD规定了由视频编码器产生的比特流必须遵循的规则，该规则是针对被视为符合给定标准的这种编码器的。HRD是大多数视频编码标准的规范部分，因此给定标准下的任何比特流必须遵循HRD规则和约束，并且真实的解码器可以假设已经符合此类规则并且已经满足此类约束。
在国际标准化组织/国际电工技术委员会(ISO/IEC)运动画面专家组-高效视频编码(HVEC)标准(下文中的“HEVC标准”)中已经针对假设参考模型提出了超低延迟应用。在与超低延迟应用有关的现有技术方案中，针对HRD操作引入了树块(tree block)以替代画面使用。画面在概念上被划分为一些组。每一个组包括相同数量的树块。在视频效用信息(VUI)消息的缓冲时段内信号通知该组。在现有技术方案中，画面n中的第i个组的移除时间被如下重新定义：
tr(n，i)＝tr(n-1)+(tr(n)-tr(n-1))*i/M
其中，tr(n，i)是第n个画面的第i个子画面的移除时间，并且M是画面中的子画面的数量。
先前的现有技术方案使得难以实现在HEVC标准中规定的当前HRD。例如，现有技术方案未考虑针对到达时间和提早到达时间的定时模型。此外，先前的现有技术方案未保证约束到达时间模型。此外，先前的现有技术方案还添加了针对上下文自适应二元算术编码(CABAC)中的结束段(bin)的约束，这将导致性能损失。
发明内容
通过本原理解决了现有技术的这些和其他缺陷和缺点，本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。
根据本原理的一个方面，提供了一种视频解码器中的方法。所述方法包括：定义假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。所述方法还包括：基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估所述视频比特流。
根据本原理的另一方面，提供了一种视频解码器。所述视频解码器包括：假设参考解码器定时模型，被定义为基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。所述视频解码器还包括：假设参考解码器要求符合评估器，用于基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估所述视频比特流。
通过以下将结合附图来阅读的示例实施例的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。
附图说明
可以根据以下示例附图更好地理解本原理，在附图中：
图1示出了根据本原理实施例的可以应用本原理的示例视频编码器100；
图2示出了根据本原理实施例的可以应用本原理的示例视频解码器200；
图3示出了根据本原理实施例的用于使用假设参考解码器的超低延迟模式的示例方法300；以及
图4示出了根据本原理实施例的可以应用本原理的示例缓冲装置400。
具体实施方式
本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。
本描述说明了本原理。因此，将清楚的是，尽管本文没有明确地描述或示出，但是本领域技术人员能够设想具体实现本原理以及包括在其精神和范围内的各种布置。
本文记载的所有示例和条件语言旨在用于说明的目的，以帮助读者理解发明人为了改进现有技术而贡献的本原理和构思，并且本文记载的所有示例和条件语言应被解释为不限于这些具体记载的示例和条件。
此外，本文记载本原理的原理、方案、实施例及其具体示例的所有陈述旨在涵盖其结构等同物和功能等同物二者。此外，这些等同物旨在包括当前已知的等同物及未来开发的等同物，即所开发的执行相同功能的任何要素，而不论结构如何。
因此，例如，本领域技术人员将清楚的是，本文所示的框图表示具体实现本原理的说明性电路的概念图。类似地，应当清楚的是，任何流程表、流程图、状态转换图、伪代码等表示可以实质上在计算机可读介质中表示的、且由计算机或处理器如此执行的各种进程，而不论是否明确示出了该计算机或处理器。
可以通过使用专用硬件以及结合适当软件的能够执行软件的硬件来提供附图所示各要素的功能。当由处理器提供时，可以由单个专用处理器、单个共享处理器、或者多个单独处理器(其中的一部分可以共享)来提供功能。此外，术语“处理器”或“控制器”的显式使用不应当被解释为排他性地指代能够执行软件的硬件，而是可以隐式地包括(但不限于)：数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和非易失性存储器。
还可以包括其他常规硬件和/或其他定制硬件。类似地，附图所示的任何开关只是概念性的。可以通过程序逻辑的操作、专用逻辑、程序控制与专用逻辑的交互、或者甚至手动地来执行其功能，如根据上下文更具体理解的，具体技术可以由实施者来选择。
在本文的权利要求中，表达为用于执行指定功能的装置的任何要素旨在涵盖执行该功能的任何方式，包括例如，a)执行该功能的电路元件的组合、或者b)任何形式的软件，因此包括诸如固件、微代码等，与用于执行该软件以执行该功能的适当电路相结合。由这些权利要求限定的本原理在于以下事实：按照权利要求所要求的方式将由各种所述装置提供的功能结合且放在一起。因此，应认为，能够提供这些功能的任何装置与本文所示的这些装置是等同的。
在说明书中对本原理的“一个实施例”或“实施例”及其其他变形的引用是指：结合该实施例所述的特定特征、结构、特性等被包含在本原理的至少一个实施例中。因此，在说明书的各个位置中出现的短语“在一个实施例中”或“在实施例中”以及任何其他变形的出现不一定均是指相同的实施例。
将清楚的是，后文中对“/”、“和/或”、和“……中的至少一个”(例如，在“A/B”、“A和/或B”、和“A和B中的至少一个”的情况下)中的任意一个的使用旨在涵盖仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者选择两个选项(A和B)。举另一个例子，在“A、B和/或C”以及“A、B和C中的至少一个”的情况下，此类短语旨在涵盖仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个列出的选项和第二个列出的选项(A和B)、或者仅选择第一个列出的选项和第三个列出的选项(A和C)、或者仅选择第二个列出的选项和第三个列出的选项(B和C)、或者选择所有三个选项(A、B和C)。如本领域和相关领域普通技术人员容易清楚的是，这可以扩展至与所列出的选项一样多。
此外，如本文所使用的，词“画面”和“图像”被互换使用并且指代来自视频序列的静态图像或画面。众所周知，画面可以是帧或字段。
如上所述，本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。
为了说明和描述的目的，本文在对国际标准化组织/国际电工技术委员会(ISO/IEC)运动画面专家组-高效视频编码(HEVC)标准(下文的“HEVC标准”)的改进的上下文中使用HEVC标准作为用于本描述和解释对HEVC标准的改进和扩展的基础来描述了示例。然而，将清楚的是，本原理不局限于HEVC标准和/或其扩展(例如，MPEG-HEVC可扩缩视频编码(SVC)和多视角视频编码(MVC))。考虑到本文提供的本原理的教导，本领域和相关领域普通技术人员将容易理解的是，当应用于其他标准的扩展时或者当应用于和/或并入到还未开发的标准中时，本原理同样适用并且将至少提供类似的益处。也即是说，本领域技术人员将容易清楚的是，其他标准可以用作描述本原理以及作为对该标准或任何其他标准的改变和改进的其新颖要素的起点。还将清楚的是，本原理也适用于不符合标准而符合专有定义的视频编码器和视频解码器。
关于本文使用的术语“遵照”和“符合”，应当注意的是，遵照是旨在表示编码的比特流满足给定编码标准(或者推荐、专有方案等)的规范的非正式术语，而“符合”是旨在表示编码系统确实产生可以满足给定编码标准(或者推荐、专有方案等)的规范的比特流的正式术语。
将清楚的是，本领域普通技术人员可以在各种配置下实现本原理。例如，可以在视频编码器中以单独的方式实现本原理。例如，这种视频编码器可以仅包括视频编码器，或者可以可选择地在其中包括视频解码器。此外，可以实现本原理，使得与编码器分离的相应解码器可以向编码器提供反馈，以实现本原理。考虑到本文提供的本原理的教导，本领域普通技术人员容易确定这些和其他配置。
转向图1，通过附图标记100总体指示可以应用本原理的示例视频编码器。视频编码器100包括画面划分设备102，该画面划分设备102的输出连接到四叉树判定设备104的第一输入。四叉树判定设备104的输出被选择性地连接到PU内处理器108的输入或者PU间处理器110的第一输入。PU内处理器108和PU间处理器110的相应输出以信号通信的方式与TU变换和量化器112的输入相连。TU变换和量化器的第一输出以信号通信的方式与熵编码器116的第一输入相连。熵编码器116的第一输出以信号通信的方式与HRD片级调度器114的输入相连。HRD片级调度器114的输出以信号通信的方式与画面划分设备102的第二输入相连。TU变换和量化器112的第二输出以信号通信的方式与TU反变换和反量化器118的输入相连。TU反变换和反量化器118的输出以信号通信的方式与PU预测器120的第一输入相连。PU预测器120的输出以信号通信的方式与速率失真判定设备122的输入相连。速率失真判定设备122的第一输出以信号通信的方式与四叉树判定设备104的第二输入相连。速率失真判定设备122的第二输出以信号通信的方式与熵编码器116的第二输入和环路内(in-loop)解块滤波器124的输入相连。环路内解块滤波器124的输出以信号通信的方式与自适应环路滤波器126的输入相连。自适应环路滤波器126的输出以信号通信的方式与采样自适应偏移(SAO)设备128的输入相连。采样自适应偏移(SAO)设备128的输出以信号通信的方式与画面参考缓存130的输入相连。画面参考缓存130的第一输出以信号通信的方式与PU间处理器110的第二输入相连。画面参考缓存130的第二输出以信号通信的方式与PU预测器120的第二输入相连。熵编码器116的第二输出可用作视频编码器100的输出。画面划分设备102的第一输入可用作视频编码器100的输入。
转向图2，通过附图标记200总体指示可以应用本原理的示例视频解码器。视频解码器200包括编码画面缓冲区(CPB)202，该CPB202的第一输出以信号通信的方式与HRD片符合检查器204的第一输入相连并且该CPB 202的第二输出以信号通信的方式与比特流解析器206的输入相连。HRD片符合检查器204的输出以信号通信的方式与HRD错误报告器288的输入相连。HRD定时模型277的输出以信号通信的方式与HRD片符合检查器204的第二输入相连。比特流解析器206的输出以信号通信的方式与TU反量化和反变换器208的输入相连。TU反量化和反变换器208的输出以信号通信的方式与PU预测器210的第一输入相连。PU预测器210的输出以信号通信的方式与环路内解块滤波器212的输入相连。环路内解块滤波器212的输出以信号通信的方式与自适应环路滤波器214的输入相连。自适应环路滤波器214的输出以信号通信的方式与采样自适应偏移(SAO)设备216的输入相连。采样自适应偏移(SAO)设备216的输出以信号通信的方式与画面参考缓存218的输入相连。画面参考缓存218的输出以信号通信的方式与PU预测器210的第二输入相连。编码画面缓冲区(CPB)202的输入可用作视频解码器200的输入。PU预测器210的输出可用作视频解码器200的输出。
关于HRD定时模型277，虽然将HRD定时模型277示出为与HRD片符合检查器204相分离的元件，但是在一个实施例中，HRD定时模型277可以与HRD片符合检查器204合并在一起。考虑到本文提供的本原理的教导，本领域普通技术人员容易设想图2的元件(以及图1的元件)的这些和其他变形。
转向图3，通过附图标记300总体指示使用假设参考解码器的超低延迟模式的示例方法。方法300包括起始框301，起始框301将控制传递到功能框303。功能框303接收要检查HRD符合的输入比特流(例如，视频、音频和元数据)，并且将控制传递到判定框305。判定框305确定当前模式是否是超低延迟模式。如果是，则将控制传递到功能框310。否则，将控制传递到功能框345。
功能框310将用于HRD符合确定的访问单元设置为片单元(HRD单元)，并且将控制传递到功能框315。功能框315对片单元执行HRD操作(以确定例如比特率、大小和结构)，并且将控制传递到功能框320。功能框320定义/配置要应用于由功能框310和345设置的访问单元的定时模型，并且(根据判定框305的哪一个分支是活动的)将控制传递到功能框325和功能框355之一。功能框325检查片单元中的HRD违例，并且将控制传递到功能框330。功能框330对片单元进行解码，并且将控制传递到功能框335。功能框335执行片缓冲以构造一个或多个画面，并且将控制传递到功能框340。功能框340显示/输出画面，并且将控制传递到结束框399。
功能框345将用于HRD符合确定的访问单元设置为画面单元(HRD单元)，并且将控制传递到功能框350。功能框350对画面单元执行HRD操作(以确定例如比特率、大小和结构)，并且将控制传递到功能框320。功能框355检查画面单元中的HRD违例，并且将控制传递到功能框360。功能框360对画面单元进行解码，并且将控制传递到功能框340。
参照判定框305，确定输入的一个或多个比特流中包含的HRD语法中是否存在特定标记。因此，HRD符合检查器可以基于该标记来获知当前模式是否是超低延迟模式。根据本原理的实施例，按照如下方式修改(MPEG-4 AVC标准的)语法E.1.1：
if(nal_hrd_parameters_present_flag||vcl_hrd_parameters_present_flag)
low_delay_hrd_flag
其中，low_delay_hrd_flag按照MPEG-4 AVC标准的附录C中规定的来规定HRD操作模式。当fixed_pic_rate_flag等于1时，low_delay_hrd_flag应当等于0。当low_delay_hrd_flag不存在时，其值被推断为等于1-fixed_pic_rate_flag。当low_delay_hrd_flag等于2时，这指示当前比特流可以支持超低延迟解码，并且HRD操作应当基于片而不是画面。
在该实施例中，基于MPEG-4 AVC/264标准添加超低延迟模式以用于HEVC标准，例如用于支持超低延迟模式的low_delay_hrd_flag。如果判定框305检测到标记，则与使用基于画面的访问单元(即，按照功能框345)相反，将使用基于片的访问单元(即，按照功能框310)作为检查单元来执行HRD符合确定。应当注意的是，判定框305包括两个分支，基于对前述标记的检测来选择分支之一。关于功能框315和350，功能框315和350根据活动分支来确定所选的访问单元(即，片单元或画面单元)的统计数据。该统计数据可以包括但不限于：比特率、大小(其可以是访问单元的大小)、NAL单元、片单元、和结构(例如，画面组(GOP)、主画面等)。
关于功能框320，在一个实施例中，可以使用与(例如，在MPEG-4/H.264标准中)用于基于画面的访问单元的定时模型相同的定时模型，但是当片分支是活动的时，定时模型的定时单元(访问单元)基于片。
此外，关于功能框320，在一个实施例中，可以动态地定义/配置定时模型以应用于所选的访问单元(片访问单元或画面访问单元)。在另一实施例中，已经针对每一种类型的访问单元定义了相应的定时模型，并且根据哪一个分支是活动的来选择相关的定时模型用于检查HRD违例(按照功能框325和355)。
此外，关于功能框320和325，可以将定时模型选择性地配置为采用可变比特率或恒定比特率来确定比特流是否符合HRD的要求。也即是说，假设参考解码器定时模型在可变比特率测试情况和/或恒定比特率测试情况下确定比特流是否符合假设参考解码器缓冲区的要求。测试情况与用于对评估的比特流进行编码的编码类型有关。此外，在一个实施例中，可以使用漏桶(leaky bucket)技术来确定比特流是否符合HRD的要求。在例如分组交换计算机网络中使用这种漏桶技术来检查具有分组形式的数据传输符合对带宽和突发性定义的限制。
与按照功能框355基于画面相反，HRD违例检查器然后可以按照功能框325基于片。在一个实施例中，与用于MPEG 4 AVC/H.264标准中的画面的公式相同的公式可以用于HRD违例检查，但是当片分支是活动的时，考虑片单元。因此，功能框325和355基于将定时模型应用于所选的访问单元来提供HRD违例确定。
参见功能框330，因为解码基于片而不是画面，因此片缓冲区/存储器将按照功能框335存储临时片以构造画面，然后可以按照功能框340输出画面或者显示画面。
此外，关于修改的语法E.1.1，HEVC的当前工作草案中的low_delay_hrd_flag仅指示无延迟模式和延迟模式，并且我们将low_delay_hrd_flag扩展为支持超低延迟模式。因此，low_delay_hrd_flag具有三个意思，并且当low_delay_hrd_flag为0或1时，它将保持与ITU H.264相同的功能。当low_delay_hrd_flag为2时，这意味着当前比特流支持超低延迟模式。然后，所有HRD操作应当基于片单元而不是画面单元。定时模型和HRD违例检查器也基于片单元。
转向图4，通过附图标记400总体指示可以应用本原理的示例缓冲装置。在一个实施例中，缓冲装置400在概念上被连接到编码器的输出。备选地，可以关于解码器侧(例如，在解码器的HRD符合检查器中)实现缓冲装置400。当然，可以在维持本原理的精神的同时使用其他装置。缓冲装置400包括传输缓冲区410，传输缓冲区410的输出以信号通信的方式与复用缓冲区420的输入相连。复用缓冲区420的输出以信号通信的方式与假设参考解码器(基本)缓冲区430的输入相连。传输缓冲区410的输入可用作缓冲装置400的输入。假设参考解码器(基本)缓冲区430的输出可用作缓冲装置400的输出。在图4中，Rt表示进入传输缓冲区的比特率，Rm表示进入复用缓冲区的比特率，并且Re表示进入HRD缓冲区(也称作基本缓冲区)的比特率。注意，HRD基本缓冲区430在本文中被简称为“基本缓冲区”。
提出了用于在第五届JCT-VC会议中由广播业请求的超低延迟模式的超低延迟机制。与交互视频编辑或浏览有关的服务提供商非常支持这种超低延迟。超低延迟指示对解码画面的总延迟操作应当小于30ms～100ms，其中该总延迟操作包括经由一个或多个信道的传输时间和进入缓冲区并且从缓冲区取回以进行解码所需的时间。也即是说，超低延迟指示画面的解码时间小于一个帧周期(1/帧每秒)。考虑到MPEG-4 AVC标准或HEVC标准中的HRD的约束到达模型，针对解码时间的最小约束应当是一个帧周期，因此MPEG-4 AVC标准中的HRD无法在小于一个帧周期的情况下对帧进行解码。国际标准化组织/国际电工技术委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信标准局(ITU-T)H.264推荐(下文中的“MPEG-4 AVC标准”)中的假设参考解码器模型不支持这种情况。因此，在广播中用于编辑目的的具有超低延迟的假设参考解码器模型应当被创建并且集成到HEVC标准中。
根据本原理的实施例，提出了用于设计HRD的新方案。在HEVC标准的当前版本中，访问单元用作定时模型的基本操作单元。因为访问单元基于画面级，因此访问单元将引起HRD的显著延迟。因此，根据本原理的实施例，将访问单元的基本操作单元改变为HRD单元。例如，HRD单元可以是片或网络抽象层(NAL)单元，并且可以足够灵活以便以最短的延迟从缓冲区中被移除。
HRD是由信道比特率、缓冲区大小、初始解码器移除延迟以及HRD单元移除延迟来表征的。HEVC标准还描述了HRD的片的初始到达时间的定义和操作。按如下方式得到HRD单元的初始到达时间tai：
可以在缓冲时段SEI消息中的任意一个时初始化HRD。在初始化之前，CPB为空。
变量tc是按如下方式得到的并且被称作时钟计时单位：
tc＝num_units_in_tick÷time_scale    (C-1)
应当注意的是，在初始化之后，不会通过任何后续缓冲时段SEI消息再次初始化HRD。
每一个HRD单元被称作HRD单元n，其中数字n标识特定的HRD单元。与初始化CPB的缓冲时段SEI消息相关联的HRD单元被称作HRD单元0。按解码顺序针对每一个后续HRD单元将值n递增1。
HRD单元n的第一比特开始进入编码画面缓冲区(CPB)的时间被称作初始到达时间tai(n)。
按照如下方式得到HRD单元的初始到达时间：
-如果HRD单元是HRD单元0，则tai(0)＝0，
-否则(HRD单元是HRD单元n(n＞0))，并且以下情况适用：
-如果cbr_flag[SchedSelIdx]等于1，则HRD单元n的初始到达时间等于HRD单元n-1的最终到达时间(按如下方式得到)，即：
tai(n)＝taf(n-1)    (C-2)
-否则(cbr_flag[SchedSelIdx]等于0)，并且按如下方式得到HRD单元n的初始到达时间：
tai(n)＝Max(taf(n-1)，tai，earliest(n))    (C-3)
其中，tai，earliest(n)是按如下方式得到的：
-如果HRD单元n不是后续缓冲时段的第一HRD单元，则按如下方式得到tai，earliest(n)：
tai，earliest(n)＝tr，n(n)-(initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx])÷90000    (C-4)
其中tr，n(n)是在HEVC标准的子条款C.1.2中规定的HRD单元n从CPB的额定移除时间，initial_cpb_removal_delay[SchedSelIdx]和initial_cpb_removal_delay_offset[SchedSelIdx]是在先前的缓冲时段SEI消息中规定的。
-否则(HRD单元n是后续缓冲时段的第一HRD单元)，
tai，earliest(n)是按如下方式得到的：
tai，earliest(n)＝tr，n(n)-(initial_cpb_removal_delay[SchedSelIdx]÷90000)
                                                  (C-5)
其中，initial_cpb_removal_delay[SchedSelIdx]是在与HRD单元n相关联的缓冲时段SEI消息中规定的。
按如下方式得到HRD单元n的最终到达时间：
taf(n)＝tai(n)+b(n)÷BitRate[SchedSelIdx]    (C-6)
其中，b(n)是HRD单元n的以比特为单位的大小，其对类型I符合点的VCL NAL单元和填充数据(filler data)NAL单元的比特或者类型II符合点的类型II比特流的所有比特进行计数，其中在HEVC标准的图C-1中示出了类型I和类型II符合点。
按如下方式约束SchedSelIdx、BitRate[SchedSelIdx]和CpbSize[SchedSelIdx]的值。
-如果HRD单元n和HRD单元n-1是不同编码视频序列的一部分并且两个编码视频序列的活动序列参数集的内容不同，则HSS从为包括HRD单元n的编码视频序列提供的SchedSelIdx的值中选择SchedSelIdx的值SchedSelIdx1，从而得到两个编码视频序列中的第二个(包括HRD单元n)的BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]的值可以与用于包含HRD单元n-1的编码视频序列的SchedSelIdx的值SchedSelIdx0的BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]值不同。
-否则，HSS继续使用SchedSelIdx、BitRate[SchedSelIdx]和CpbSize[SchedSelIdx]的先前值操作。
当HSS选择与先前的HRD单元的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]值不同的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]值时，以下情况适用：
-变量BitRate[SchedSelIdx]在时间tai(n)开始生效，
-变量CpbSize[SchedSelIdx]按如下方式开始生效。
-如果CpbSize[SchedSelIdx]的新值超过旧CPB大小，则它在时间tai(n)开始生效，
-否则，CpbSize[SchedSelIdx]的新值在时间tr(n)开始生效。
编码画面移除的定时
针对HRD单元0，按如下方式规定HRD单元从CPB的额定移除时间：
tr，n(0)＝initial_cpb_removal_delay[SchedSelIdx]÷90000    (C-7)
针对未初始化HRD的缓冲时段的第一HRD单元，按如下方式规定HRD单元从CPB的额定移除时间：
tr，n(n)＝tr，n(nb)+tc*cpb_removal_delay(n)    (C-8)
其中，tr，n(nb)是先前缓冲时段的第一HRD单元的额定移除时间，cpb_removal_delay(n)是在与HRD单元n相关联的画面定时SEI消息中规定的cpb_removal_delay的值。
当HRD单元n是缓冲时段的第一HRD单元时，在HRD单元n的移除时间将nb设置为等于n。
按如下方式给出不是缓冲时段的第一HRD单元的HRD单元n的额定移除时间tr，n(n)：
tr，n(n)＝tr，n(nb)+tc*cpb_removal_delay(n)    (C-9)
其中，tr，n(nb)是当前缓冲时段的第一HRD单元的额定移除时间，cpb_removal_delay(n)是在与HRD单元n相关联的画面定时SEI消息中规定的cpb_removal_delay的值。
按如下方式规定HRD单元n的移除时间。
-如果low_delay_hrd_flag等于0或者tr，n(n)＞＝taf(n)，则按如下方式规定HRD单元n的移除时间：
tr(n)＝tr，n(n)    (C-10)
-否则(low_delay_hrd_flag等于1或者tr，n(n)＜taf(n))，按如下方式规定HRD单元n的移除时间：
tr(n)＝tr，n(n)+tc*Ceil((taf(n)-tr，n(n))÷tc)    (C-11)
将清楚的是，后一种情况指示HRD单元n的大小(b(n))很大使得它防止在额定移除时间进行移除。
现在将给出本发明的很多伴随的优点/特征中的一些的描述，已经在上文中提到了其中一些优点/特征。例如，一个优点/特征是视频解码器中的方法。该方法包括：定义假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。该方法还包括：基于假设参考解码器定时模型，针对与假设参考解码器缓冲区的要求的符合，来评估视频比特流。
另一优点/特征是上文所述的方法，其中假设参考解码器定时模型在可变比特率测试情况下确定视频比特流是否符合假设参考解码器缓冲区的要求。
另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型在恒定比特率测试情况下确定视频比特流是否符合假设参考解码器缓冲区的要求。
另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型使用漏桶技术来确定视频比特流是否符合假设参考解码器缓冲区的要求。
此外，另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型被配置为确认视频比特流是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。
此外，另一个优点/特征是上文所述的方法，其中关于视频比特流的超低延迟模式的激活基于标记。
此外，另一个优点/特征是上文所述的方法，其中基于对所选的假设参考解码器访问单元应用的假设参考解码器定时模型来评估视频比特流。
此外，另一个优点/特征是上文所述的方法，其中如上所述基于对所选的假设参考解码器访问单元应用的假设参考解码器定时模型来评估视频比特流，其中基于对所选的假设参考解码器访问单元的统计数据应用的假设参考解码器定时模型来评估视频比特流。
此外，另一个优点/特征是上文所述的方法，其中统计数据包括所选的假设参考解码器访问单元的比特率、大小和结构。
基于本文的教导，相关领域的普通技术人员可以容易确定本原理的这些和其他特征和优点。将理解的是，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。
更优选地，本原理的教导被实现为硬件和软件的组合。此外，软件可以实现为有形地具体实现在程序存储单元上的应用程序。应用程序可以上传到包括任何适合的架构的机器并且由该机器来执行。优选地，机器被实现在计算机平台上，该计算机平台具有硬件，例如，一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口。计算机平台还可以包括操作系统和微指令代码。本文所述的各种进程和功能可以是可以由CPU执行的微指令代码的一部分或者应用程序的一部分或者其任意组合。此外，各种其他外围单元可以连接到计算机平台，例如额外数据存储单元和打印单元等。
还将理解的是，因为附图中描绘的组成系统组件和方法中的一些优选地以软件方式实现，因此系统组件或处理功能块之间的实际连接可以根据对本原理进行编程的方式而改变。考虑到本文的教导，相关领域的普通技术人员将能够设想本原理的这些和类似实现或配置。
尽管本文已经参照附图详细描述了示例实施例，但是应当理解的是，本原理不限于这些具体实施例，并且相关领域的普通技术人员在不脱离本原理的范围或精神的前提下可以实现各种改变和修改。所有这些改变和修改旨在包含在所附权利要求中阐述的原理的范围内。

Claims (14)

1.一种视频解码器中的方法，包括：
定义(320)假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束，所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的；以及
基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估(325)所述视频比特流。
2.根据权利要求1所述的方法，其中，所述假设参考解码器定时模型在可变比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
3.根据权利要求1所述的方法，其中，所述假设参考解码器定时模型在恒定比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
4.根据权利要求1所述的方法，其中，所述假设参考解码器定时模型使用漏桶技术来确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
5.根据权利要求1所述的方法，其中，所述假设参考解码器定时模型被配置为确认所述视频比特流是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。
6.根据权利要求1所述的方法，其中，关于所述视频比特流的所述超低延迟模式的激活基于标记。
7.根据权利要求1所述的方法，其中，基于对所选的假设参考解码器访问单元应用的所述假设参考解码器定时模型来评估所述视频比特流。
8.根据权利要求7所述的方法，其中，基于对所选的假设参考解码器访问单元的统计数据应用的所述假设参考解码器定时模型来评估所述视频比特流。
9.根据权利要求8所述的方法，其中，所述统计数据包括所选的假设参考解码器访问单元的比特率、大小和结构。
10.一种视频解码器，包括：
假设参考解码器定时模型(277)，被定义为基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束，所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的；以及
假设参考解码器要求符合评估器(204)，用于基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估所述视频比特流。
11.根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型(277)在可变比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
12.根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型(277)在恒定比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
13.根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型(277)使用漏桶技术来确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。
14.根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型(277)被配置为确认所述视频比特流是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。
CN201280069014.8A 2012-02-08 2012-12-20 用于使用假设参考解码器的超低延迟模式的方法和装置 Pending CN104185992A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261596519P 2012-02-08 2012-02-08
US61/596,519 2012-02-08
PCT/US2012/070943 WO2013119325A1 (en) 2012-02-08 2012-12-20 Method and apparatus for using an ultra-low delay mode of a hypothetical reference decoder

Publications (1)

Publication Number Publication Date
CN104185992A true CN104185992A (zh) 2014-12-03

Family

ID=47522947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280069014.8A Pending CN104185992A (zh) 2012-02-08 2012-12-20 用于使用假设参考解码器的超低延迟模式的方法和装置

Country Status (6)

Country Link
US (1) US20150003536A1 (zh)
EP (1) EP2813075A1 (zh)
JP (1) JP2015510354A (zh)
KR (1) KR20140130433A (zh)
CN (1) CN104185992A (zh)
WO (1) WO2013119325A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294309A (zh) * 2015-03-19 2020-06-16 高通股份有限公司 用于缓解超低等待时间(ull)与旧式传输之间的资源冲突的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
WO2015136945A1 (en) * 2014-03-14 2015-09-17 Sharp Kabushiki Kaisha Systems and methods for constraining a bitstream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246662A1 (en) * 2009-03-25 2010-09-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
CN102065319A (zh) * 2009-11-18 2011-05-18 特克特朗尼克国际销售有限责任公司 用于多路复用h.264基本流的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9237352B2 (en) * 2011-10-05 2016-01-12 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US9426462B2 (en) * 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US10021394B2 (en) * 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US9654802B2 (en) * 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9374581B2 (en) * 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246662A1 (en) * 2009-03-25 2010-09-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
CN102065319A (zh) * 2009-11-18 2011-05-18 特克特朗尼克国际销售有限责任公司 用于多路复用h.264基本流的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
INTERNATIONAL TELECOMMUNICATION UNION: "Advanced video coding for generic audiovisual services", 《ITU-T STANDARD, INTERNATIONAL TELECOMMUNICATION UNION, GENEVA; CH》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294309A (zh) * 2015-03-19 2020-06-16 高通股份有限公司 用于缓解超低等待时间(ull)与旧式传输之间的资源冲突的方法和装置
CN111294309B (zh) * 2015-03-19 2022-08-30 高通股份有限公司 缓解超低等待时间与旧式传输之间资源冲突的方法和装置

Also Published As

Publication number Publication date
JP2015510354A (ja) 2015-04-02
KR20140130433A (ko) 2014-11-10
EP2813075A1 (en) 2014-12-17
US20150003536A1 (en) 2015-01-01
WO2013119325A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
CN101606389B (zh) 用于视频流拼接的方法及装置
CN101518086B (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
MXPA05004627A (es) Almacenamiento de imagenes en memoria intermedia para referencias de prediccion y para visualizacion.
CN101889448A (zh) 将视频可用性信息(vui)并入多视图视频(mvc)编码系统的方法和装置
TWI801883B (zh) 視訊編碼器、視訊解碼器、用於編碼與解碼之方法及用以實現進階視訊寫碼概念之視訊資料串流
CA2910488C (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
KR101773009B1 (ko) 코딩되지 않은 구문에 대한 적응 확률 갱신을 위한 방법 및 장치
US8724710B2 (en) Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
KR20090099547A (ko) 멀티뷰 코딩 비디오에서 비디오 에러 정정을 위한 방법 및 장치
US20110216827A1 (en) Method and apparatus for efficient encoding of multi-view coded video data
US20240056586A1 (en) Arrangements and methods of encoding picture belonging to a temporal level
CN104185992A (zh) 用于使用假设参考解码器的超低延迟模式的方法和装置
CN115134629A (zh) 视频传输方法、系统、设备及存储介质
CN101578873B (zh) 一种解码多视图视频内容的装置和方法
CN107005704B (zh) 处理编码视频数据的方法和装置及生成编码视频数据的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141203

WD01 Invention patent application deemed withdrawn after publication