CN113785584A - 假想参考解码器 - Google Patents

假想参考解码器 Download PDF

Info

Publication number
CN113785584A
CN113785584A CN202080032895.0A CN202080032895A CN113785584A CN 113785584 A CN113785584 A CN 113785584A CN 202080032895 A CN202080032895 A CN 202080032895A CN 113785584 A CN113785584 A CN 113785584A
Authority
CN
China
Prior art keywords
data stream
video data
image portion
cpb
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080032895.0A
Other languages
English (en)
Inventor
罗伯特·斯库平
亚格·桑切斯·德·拉·富恩特
科尼利厄斯·海勒格
托马斯·斯基尔勒
卡斯滕·苏灵
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113785584A publication Critical patent/CN113785584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

描述了一种其中编码有视频的视频数据流。其包括关于在对所述视频数据流的完整版本进行缓冲的情况下要应用于解码器侧处的第一编码图像缓冲器CPB移除时间的第一时序信息，以及关于要应用于解码器侧处以对所述视频数据流的减少版本进行缓冲的第二CPB移除时间的第二时序信息，所述视频数据流的所述减少版本通过从所述视频数据流的所述完整版本移除所述视频数据流的一部分而不同于所述视频数据流。还关于对应的视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置、以及用于将视频数据流剪接在一起的装置。

Description

假想参考解码器
技术领域
假想参考解码器(hypothetical reference decoder)HRD及其用于检查位流和解码器一致性的用途通常在视频编码标准中规定，诸如在AVC(高级视频编解码器)以及HEVC(高效视频编码)中。
根据本发明的实施例关于视频流、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置、以及用于将视频数据流剪接在一起的装置。
背景技术
在下文中，将提供对背景技术的介绍。
为此，规定HRD缓冲器模型，所述模型由假想流调度器(HSS)、编码图像缓冲器(CPB)、解码过程(其被视为瞬时的)、解码图像缓冲器(DPB)以及输出裁剪过程组成，如图2中所示。
所述模型限定用于将位流馈送至编码图像缓冲器中的时序以及位速率、其解码单元(在低延迟操作模式的情况下为存取单元AU或者VCL NAL(VCL：视频编码层，NAL：网络抽象层))被从CPB移除以及被瞬时解码的时间，以及从DPB输出图像的输出时间。
通过这样做，还可以限定CPB大小，所述CPB大小是解码器所需要的以避免缓冲器溢位(发送至解码器的数据多于可以保存在CPB中的数据)，或者避免较少数据被发送至解码器(以比所需低的位速率)、以及所需解码单元未在正确的时间处于解码器处以进行解码的欠载运行(underrun)。
目前先进技术解码标准指定不同的参数以描述位流以及HRD要求以及缓冲器模型。
例如，在HEVC中每子层限定的hrd_parameter由一或多对Bitrate(i)以及CPBsize(i)组成，其指示如果流调度器以Bitrate(i)的位速率向具有大小CPBsize(i)的CPB进行馈送，则将不会发生溢位或者下溢。
结合hrd_parameter语法元素，在位流中存在指定从CPB移除图像的移除时间的额外时序信息，所述移除时间指示何时发送属于彼图像的VCL NAL单元以进行解码。
为易于理解，省略子图像处理的描述。
相关信息存在于具有InitialCPBRemovalDelay(i)、InitialCPBRemovalOffset(i)以及AuCPBRemovalDelay的缓冲周期SEI(辅助增强信息)消息中，以及具有AuCPBRemovalDelay的图像时序SEI消息中。
对于最基本的操作，仅使用InitialCPBRemovalDelay(i)以及AuCPBRemovalDelay。
在该情形中，被解码的第一存取单元是具有其对应缓冲周期SEI消息的随机访问点RAP，并且时间0被限定为随机访问点的第一位进入CPB的时间。接着在时间InitialCPBRemovalDelay(i)处，从CPB移除对应于随机访问点的图像及其他非RAP图像，CPB的移除在InitialCPBRevovalDelay(i)+AuCPBRemovalDelay处发生(HEVC限定一些参数以将延迟转换成时间，亦即ClockTick，但为简单起见此处忽略此内容)。
当下一RAP到来时，如之前针对非RAP图像那样计算移除时间，亦即InitialCPBRevovalDelay(i)+AuCPBRemovalDelay，并且此新值被用作直至另外的RAP的进一步增量的锚，亦即
anchorTime＝InitialCPBRemovalDelay(i)+AuCPBRemovalDelay
且随后，图像的移除成为anchorTime+AuCPBRemovalDelay，并且在具有缓冲SEI消息的下一RAP处更新anchorTime，
anchorTime＝anchorTime+AuCPBRemovalDelay，等等。
所描述操作模式是最简单的操作模式。存在需要考虑的其他情况。
在目前情况下，本发明克服了若干缺点。详情如下。
发明内容
根据本发明的实施例涉及一种其中编码有视频的视频数据流，并且包括关于在对视频数据流的完整版本进行缓冲的情况下要应用于解码器侧处的第一编码图像缓冲器CPB移除时间的第一时序信息，以及关于要应用于解码器侧处以对视频数据流的减少版本进行缓冲的第二CPB移除时间的第二时序信息，所述减少版本通过从视频数据流的完整版本移除视频数据流的一部分而不同于视频数据流。
根据本发明的进一步实施例涉及一种其中编码有视频的视频数据流，包括与最小CPB馈送位速率相关的第一HRD时序信息数据、与最大CPB馈送位速率相关的第二HRD时序信息数据，其中第一HRD时序信息数据和第二HRD时序信息数据允许通过在第一与第二HRD时序信息数据之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息。
根据本发明的进一步实施例涉及一种视频数据流，包括：图像部分的序列，每一图像部分中编码有视频的图像，图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分；每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间；以及预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码视频数据流的情况下相应预定第一类型图像部分的第二CPB移除时间，第二CPB移除时间测量从相应预定第一类型图像部分的第一位的CPB到达起的经过时间；剪接点指示，其指示其最终CPB到达与其CPB移除之间的时间差超出预定阈值的图像部分，使得所述图像部分可以用作与另外的视频数据流的剪接点之前的最后图像部分。
根据本发明的进一步实施例涉及一种视频编码器，其将视频编码为视频数据流，以及向视频数据流提供第一时序信息以及第二时序信息，所述第一时序信息关于在对视频数据流的完整版本进行缓冲的情况下要应用于解码器侧处的第一CPB移除时间，所述第二时序信息关于要应用于解码器侧处以对视频数据流的减少版本进行缓冲的第二CPB移除时间，所述减少版本通过从视频数据流的完整版本移除视频数据流的一部分而不同于视频数据流。
根据本发明的进一步实施例涉及一种视频编码器，其将视频编码为视频数据流，向视频数据流提供与最小CPB馈送位速率相关的第一HRD时序信息、与最大CPB馈送位速率相关的第二HRD时序信息，其中第一HRD时序信息以及第二HRD时序信息允许通过在第一与第二HRD时序信息之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息。
根据本发明的进一步实施例参考一种视频编码器，其用于将视频编码为视频数据流以使得视频数据流包括图像部分的序列，每一图像部分中编码有视频的图像，其中视频编码器将图像部分分类为用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分；向视频数据流提供每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码视频数据流的情况下相应预定第一类型图像部分的第二CPB移除时间，第二CPB移除时间测量从相应预定第一类型图像部分的第一位的CPB到达起的经过时间；针对预定图像部分中的每一个，检查其最终CPB到达与其CPB移除之间的时间差是否超出预定阈值，使得预定图像部分可以用作与另外的视频数据流的剪接点之前的最后图像部分；以及向视频数据流提供剪接点指示，其用于指示其最终CPB到达与其CPB移除之间的时间差超出预定阈值的这些预定图像部分。
根据本发明的进一步实施例涉及一种用于转发视频数据流的网络节点，其用于从视频数据流移除视频数据流的部分。
根据本发明的进一步实施例涉及一种用于管理视频解码器的CPB的装置，所述视频解码器以通过CPB缓冲的方式对视频数据流进行解码，所述装置在视频数据流包括所述部分的情况下根据第一时序信息管理CPB，以及在所述部分已经被移除的情况下根据第二时序信息管理CPB。
根据本发明的进一步实施例涉及一种用于管理视频解码器的CPB的装置，所述视频解码器对其中编码有视频的视频数据流进行解码，所述装置从视频数据流导出与最小CPB馈送位速率相关的第一HRD时序信息，导出与最大CPB馈送位速率相关的第二HRD时序信息，通过在第一与第二HRD时序信息之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息，以及使用第三HRD时序信息管理CPB。
根据本发明的进一步实施例涉及一种用于管理视频解码器的CPB的装置，所述视频解码器以通过CPB缓冲的方式对视频数据流进行解码，所述装置检查第一预定第一类型图像部分中的级联标志是否指示在第一预定第一类型图像部分处曾发生剪接入，确定从CPB移除第一预定第一类型图像部分的时间。其中如果第一预定第一类型图像部分中的级联标志指示在第一预定第一类型图像部分处未曾发生剪接入，则基于第一预定第一类型图像部分的第一时序信息进行确定，以及如果第一预定第一类型图像部分中的级联标志指示在第一预定第一类型图像部分处曾发生剪接入，则基于第一预定第一类型图像部分的第二和第三时序信息进行确定。
根据本发明的进一步实施例涉及一种用于将第一视频数据流与第二视频数据流剪接在一起的装置，所述数据流之中的每一个包括：图像部分的序列，每一图像部分中编码有视频的图像，图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分；每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间；以及预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码视频数据流的情况下相应预定第一类型图像部分的第二CPB移除时间，第二CPB移除时间测量从相应预定第一类型图像部分的第一位的CPB到达起的经过时间，其中第二视频数据流包括在第一预定第一类型图像部分中的级联标志以及第三时序信息，级联标志被设置为向第二视频数据流指示第一预定第一类型图像部分继续第二视频数据流的第二状态，以及第三时序信息指示第一预定第一类型图像部分的第三CPB移除时间，用于在第一预定第一类型图像部分处对第二视频数据流进行剪接入时确定CPB移除时间，第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间。本发明装置检查第一视频数据流中的剪接点指示是否针对预定图像部分指示其CPB到达与其CPB移除之间的时间差超出预定阈值，使得预定图像部分可以用作在要与第二视频数据流剪接的第一视频数据流之前的最后图像部分，如果是，则将第二视频数据流的第一预定第一类型图像部分中的级联标志设置为第一状态，所述第一状态指示第二视频数据流已在第一预定第一类型图像部分处被剪接入，以及分别在预定图像部分以及第一预定第一类型图像部分处级联第一数据流与第二数据流，以便获得经剪接的视频数据流。
上文所描述概念可以由根据本发明的实施例的方法实施。这些方法是基于与上文所描述的解码器、编码器、装置以及数据流相同的考虑因素。然而，应注意，方法可以由本文中也关于解码器、编码器、装置以及数据流所描述的特征、功能性以及细节中的任一个补充。此外，方法可以由解码器、编码器、装置以及数据流的特征、功能性以及细节个别地以及组合地补充。
最后，概念也可用于产生根据本发明的实施例的编码数据流。数据流也可以由解码器、编码器、装置以及方法的特征、功能性以及细节个别地以及组合地补充。
附图说明
随后将参考附图描述根据本发明的实施例，在所述图中：
图1示出根据本申请的一个实施例的编码数据流，
图2示出根据本申请的一个实施例的用于假想参考解码器的流程图，
图3至图7以及图9示出根据本申请的一个实施例的包括移除时间的编码图像缓冲器的状态，
图8、图10、图11、图20至图24以及图26至图34示出根据本申请的实施例的示例性信号通知语法，
图12至图14、图16以及图18示出根据本申请的实施例的用于不同帧速率的数据流结构，
图15、图17以及图19示出根据本申请的实施例的当在相同位流情况下提供不同帧速率时的示例性移除时间值，
图25示出根据本申请的一个实施例的拼接在一起的编码数据流，
图35、图36以及图37示出根据本申请的实施例的CPB大小的计算的值的表格，以及
图38示出根据本申请的实施例的示例性CPB填充级别的曲线图。
在附图中，类似附图标记表示类似元素以及特征。
具体实施方式
在下文中，将论述本发明所基于的一些考虑且将描述若干解决方案。特定而言，将公开数个细节，所述细节可以可选地引入至本文中公开的实施例中的任一个中。特定而言，以下描述以在各种传输条件下进行剪接、流提取、剥离可缩放位流以及位流馈送中发生以及处理所述情况时面对的问题的简单呈现开始。接着，通过利用对应修正的随后所呈现实施例来呈现问题的某些修正。
检查并解决以下问题。
剪接(Splicing)：具有缓冲SEI的先前RAP的移除时间被用作添加AuCPBRemovalDelay的锚，使得使用图像的CPB的移除时间。
然而，当发生剪接时，无法在剪接点处容易地获知anchorTime的先前值。因此，在此情况下，不同地执行经剪接的具有缓冲SEI的RAP的CPB移除时间的导出。
为了解决该问题，HEVC包括两个额外参数：concatenation_flag，其指示在包括缓冲周期SEI消息的RAP处是否已发生剪接；以及AuCPBRemovalDelta时间，并非指具有缓冲周期SEI消息的先前RAP，其是指至先前不可舍弃图像的时间增量。因此，其防止必须计算任何值并在剪接点处重写缓冲周期SEI消息的情况。从发生剪接的RAP的CPB移除时间接着将为
Removal(previousNonDiscardable)+AuCPBRemovalDelta。
这假设了无缝剪接场景。然而，无法确保CPB状态在原始位流的剪接点处(当具有缓冲周期SEI消息的RAP剪接结果未曾被剪接，但在其原始位流内时)以及剪接时相同。较具体地，图3示出所描述问题，其中帧#3的顶部处的位流与从帧#2向前的底部处的位流进行剪接。
因此，取代具有如上文所论述的移除时间(其原本早于当帧已经到达taf3时)
Removal(previousNonDiscardable)+AuCPBRemovalDelta，
而替代地使用移除时间
Removal(previousNonDiscardable)+InitialCPBRevovalDelay(i)+taf2-trm2。
亦即，经剪接的RAP的移除时间为：
Removal(previousNonDiscardable)+SplicingDelta
其中SplicingDelta被设置为AuCPBRemovalDeta以及InitialCPBRevovalDelay(i)+taf2-trm2的最大值。
在第二值恰好大于第一值的情况下，例如如图3中所示，将发生非无缝剪接。
此剪接操作仅在第一位流在对应NonDiscardable图像处结束时起作用，这是由于AuFinalArrivalTime以及NonDiscardable图像后的另外的图像的移除时间是未知的，并且因此如果两值tafX和trmX之中的差与NonDiscardable图像不同，则导出的移除时间可能是错误的(InitialCPBRemovalDelay(i)+tafX-trmX)。
CPB充满度和延迟：HRD模型发生的另外的问题是为了利用CPB缓冲器，需要用于第一存取单元的移除的时间延迟。
在剪接之后第一RAP的进入CPB中时，该AU的移除被延迟至InitialCPBRemovalDelay(i)时间后，如已论述的。通过在InitialCPBRemovalDelay(i)期间以Bitrate(i)对CPB进行馈送，实现给定CPB充满度，例如CPBA。之后，无法在具有缓冲周期SEI消息的其他RAP处实现比CPBA大的CPBB。该原因可以在数学上看到，检查AU可以进入CPB的最早时间。
initArrivalTime[n]＝Max(AuFinalArrivalTime[n-1],initArrivalEarliestTime[n])，其中initArrivalEarliestTime[n]＝RemovalTime[n]-InitCpbRemovalDelay(i)
这意谓着如果具有缓冲周期SEI消息的AU无法在其移除时间InitialCPBRemovalDelay(i)之前进入CPB，则无法实现大于CPBA的CPBB，这是由于在InitialCPBRemovalDelay(i)期间以Bitrate(i)对CPB进行馈送仅实现了CPBA的CPB充满度。
为解决此问题，构思是假想发送器(或者附图中的HSS)通过给定时间偏移InitialCPBRemovalOffset(i)延迟具有缓冲SEI消息的第一RAP的调度，如图4中所示。
需要提及的是，这仅适用于VBR而不适用于CBR，因为在CBR中，
initArrivalTime[n]＝AuFinalArrivalTime[n-1]。
在此情况下，调度改变为以下
initArrivalEarliestTime[n]＝RemovalTime[n]-InitCpbRemovalDelay(i)-InitialCPBRemovalOffset(i)
这意味着CPBB的CPB大小可以对应于通过针对InitCpbRemovalDelay(i)+InitialCPBRemovalOffset(i)以Bitrate(i)对CPB进行馈送实现的大小
AU的丢弃：HEVC中的HRD模型也支持一些NAL单元的丢弃。较具体地，可以丢弃与RAP图像相关联的“可舍弃”图像。“可舍弃”图像是指RASL(随机访问跳过前置)图像，即在开放GOP(图像组)结构中在呈现次序上位于RAP图像之前但在解码次序上位于RAP图像后、并且还参考在解码次序上位于RAP之前的图像的图像。因此，当在对应RAP图像处进行随机访问时，无法解码RASL图像。因此，当剪接此位流与另外的位流或者当在RAP位置处起始会话时，发送RASL图像是资源浪费，并且在一些情况下这些图像在发送前被丢弃。
明显地，时序信息，即图像的初始到达时间以及移除时间，在位流被修改时发生改变。
因此，缓冲周期SEI消息包含针对与具有缓冲周期SEI消息的RAP相关联的RASL图像被丢弃的情形的替代时序：
οAltInitCpbRemovalDelay(i)
οAltInitialCPBRemovalOffset(i)
时间可缩放性：当丢弃子层时，时序信息也发生改变。例如，如果原始位流具有60Hz，则将预期在解码次序上的两个连续图像之间的标称移除时间(nominal removaltime)中的距离将为1/60秒。且当每隔一个图像进行丢弃时，距离将为1/30秒。这意味着将需要替代图像时序SEI消息。此外，也将需要改变InitCpbRemovalDelay(i)以及InitialCPBRemovalOffset(i)。因此，将需要替代缓冲周期SEI消息。对于此操作，通常在所谓的嵌套SEI消息中包括额外图像时序SEI消息以及缓冲周期SEI消息。当中间软件进行子层位流提取(例如，每隔一个帧进行丢弃以从60Hz位流得到30Hz位流)时，通过来自嵌套SEI消息的对应图像时序SEI消息以及缓冲周期SEI消息替代原始图像时序SEI消息以及缓冲周期SEI消息。
位速率变体：通常针对若干值提供HRD参数，诸如initial_removal_delay以及initial_removal_delay_offset，以及Bitrate和CPB_siz。构思是给定位流馈送至CPB中的位速率可以发生变化，以及因此提供产生有效HRD模型的若干值。
然而，存在尚未被适当考虑的一些方面：
ο可能仅存在产生CBR的位速率
ο如果未先验地已知适当Bitrate，则位流无法提供有效HRD模型(其参数)。
如上文所概述，nonDiscardable点处的剪接是到目前为止难以实现的任务，并且因此，以下描述中的实施例旨在准确地实现甚至在nonDiscardable点处实现剪接的可能性。第一简单修正是要将公式校正为不总是使用不可舍弃图像作为锚，而是使用在剪接点之后接收到的最后图像。亦即，从下式：
Removal(previousNonDiscardable)+SplicingDelta
其中SplicingDelta被设置为AuCPBRemovalDelta和InitialCPBRevovalDelay(i)+taf2-trm2的最大值
改变至以下之中的最大值：
-Removal(previousNonDiscardable)+AuCPBRemovalDelta
-Removal(lastPictureBeforeSplicing)+InitialCPBRevovalDelay(i)+taf2-trm2，其中Removal(lastPictureBeforeSplicing)实际上为trm2。(在上文示例中)
同样，如在该公式中可看出的，如果剪接器决定将先前图像视为在剪接之前的最后图像，例如trm1，则两种情况之中的最大值将始终为Removal(previousNonDiscardable)+AuCPBRemovalDelta。除非剪接器相应地改变AuCPBRemovalDelta的值，并确定(taf2-trm2)的差使得无缝切换可行，否则该情况将阻止在任何AU处进行无缝剪接。
在缓冲周期SEI中改变AuCPBRemovalDelta的值将是可行的。然而，剪接器保持追踪(tafX和trmX)的值并不简单，因为保持追踪(tafX和trmX)并不如此简单。
由于在不同点处进行无缝剪接是合乎需要的，因此向剪接器指示给定图像是否允许无缝剪接的一些信号通知将是合乎需要的。这可以通过在编码器侧处检查(tafX和trmX)值，并确保差(trmX-tafX)不会变得小于给定值来实现。该信号通知可以例如出现在与可用作剪接点之前的最后图像的图像相关联的图像时序SEI中。示例可在图26中看到。
或者，甚至在nonDiscardable图像处，也保证后续可舍弃图像满足要求。示例可在图27中看到。
由于对(trmX-tafX)必须满足的最小值的要求是关于经剪接位流的initial_removal_delay。在缓冲周期SEI处应存在关于图像可以使用何值以进行无缝剪接的一些指示。示例可在图28中看到。
因此，作为刚刚已概述的对于可能修正的想法的结果，评估了以下实施例。
在图25和图26、图27和图28的信号通知示例中，可看出，视频数据流可以包括图像部分的序列23a，诸如访问单元，每一图像部分中编码有视频12a的图像10a。图25描绘两个数据流14a和14b，并且示出在剪接点92处剪接流14a与14b，使得流14a的在剪接点92之前(亦即向左)的部分的尾端邻接流14b的在剪接点92后(亦即向右)的部分的前端。由诸如服务器、视频会议系统或者主从式流系统的剪接装置执行的剪接的结果在14c处示出，亦即经剪接数据流。
图像部分可以包括第一类型图像部分，其以交叉影线或者在一些附图中简单地以影线示出，以及在上文被称为经标记图像。其对应示例为具有或者包括缓冲周期SEI的AU。这些第一类型图像部分用作CPB移除时间参考，亦即其CPB移除用作给定为诸如AuCPBRemovalDelay的时间偏移的其他时序的参考anchorTime。
图像部分进一步可以包括第二类型图像部分，其在一些附图中以非影线示出，诸如不包括任何缓冲周期SEI的图像。
数据流14a和14b额外包括第一时序信息95，在每一图像部分中比较通知关于相应图像部分的第一CPB移除时间的AuCPBRemovalDelay或者au_cpb_removal_delay_minus1。第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，即在图25中所示的编码或者位流次序上位于之前的图像部分，特别是最接近的前一图像部分。
数据流14a和14b进一步包括第二时序信息，在预定第一类型图像部分中的每一个中比较initial_removal_delay，所述initial_removal_delay可能存在于缓冲周期SEI的图像时序语法中，比如举例而言在下文论述的剪接点指示之前。这些预定第一类型图像部分在图25中以交叉影线指示，以便与简单地以影线示出且为特定第一类型图像部分的其他第一类型图像部分进行区分，所述特定第一类型图像部分诸如举例而言为指示为RAP的具有缓冲周期SEI的AU，或者换句话说，包括缓冲周期SEI且指示为RAP的AU。第二时序信息在从相应预定第一类型图像部分向前恢复解码视频数据流的情况下，通知关于相应预定第一类型图像部分的第二CPB移除时间。第二CPB移除时间测量从相应预定第一类型图像部分的第一位的CPB到达起的经过时间，亦即到达解码器的CPB处。
数据流中的至少一个(在图25中为14a，即应进行划分或者剪接，以便获得附加至其剪接点92的另外的流(此处为14b))可以进一步包括剪接点指示94、94'，例如spliceable_flag或者following_pic_spliceable_flag，其指示图像部分(例如无RAP)，图像部分的最终CPB到达与CPB移除之间的时间差(诸如上文指示的trm#-taf#)超出预定阈值，使得其可以用作与另外的视频数据流14b的剪接点92之前的最后图像部分，即适于允许剪接。
应注意，可以例如如下计算阈值：
假设移除时间相等且等于1/帧速率。接着，新剪接的AU(诸如图25中的AU 23b')的期望移除时间应为trm#+1/帧速率，其中trm#为23'a指向的紧接在前的AU或者图像部分的移除时间。
trm#+1/帧速率应等于或者大于taf#+initial_removal_delay，其中taf#是相应AU23b'的CPB最终到达时间。因此，“预定阈值”是initial_removal_delay-1/帧速率。
并且，在max_val_initial_removal_delay_for_seamless_splicing的变型，亦即此阈值被显式地指示于最后一个数据流(诸如其他流14b待附加至的数据流14a)中的变型的情况下，trm#+1/帧速率等于或者大于taf#+max_val_initial_removal_delay_for__seamless_splicing。随后，则“预定阈值”是max_val_initial_removal_delay_for_seamless_splicing-1/帧速率。
亦即，视频数据流14a也可以包括最大第二CPB移除时间值的指示99，其指示只要所述另外的视频数据流14b在剪接点92处与视频数据流14a级联的另外的视频数据流14b的起始第一类型图像部分23b'的第二CPB移除时间低于最大第二CPB移除时间值，则将另外的视频数据流14b级联至其最终CPB到达与其CPB移除之间的时间差trm#-taf#由剪接点指示指示为超出预定阈值的图像部分中的任一个会导致无缝剪接。
应注意，上文给出的缓冲周期SEI示例包括指示99、级联标志95以及第三CPB移除时间98。这表示流14a和14b两者都承载相同种类的信息数据的示例。在另外的示例中，此数据可以是不同的。
剪接点指示94、94'可以进一步包括标志94，其存在于图像部分中的每一个或者图像部分的集合(例如无RAP)中的每一个处，指示对于相应图像部分，其最终CPB到达与其CPB移除之间的时间差trm#-taf#是否超出预定阈值。
替代地或者额外地，剪接点指示94、94'可以进一步包括标志94'，其存在于图像部分中的每一个或者图像部分的集合中的每一个处(例如在无RAP的这些图像部分中)，所述标志指示对于从相应图像部分向前直至下一第一类型图像部分的每一图像部分，其最终CPB到达与其CPB移除之间的时间差trm#-taf#是否超出预定阈值。
图像部分的序列中可以进一步具有使用诸如运动补偿预测的时间间预测(temporal inter prediction)90以某种方式编码的视频12a的图像，使得图像部分包括在一些附图(诸如图25)中以非下划线示出的不可舍弃图像部分，以及在图中以下划线示出的可舍弃图像部分。
这些不可舍弃图像部分是以独立方式可解码的，而可舍弃图像部分对于解码不可舍弃图像部分而言是不需要的，但可能需要不可舍弃图像部分而使其自身是可解码的。应注意，在不对可舍弃图像部分进行解码的情况下，将来可以没有任何问题地对视频进行解码。
亦即，可舍弃图像部分并不例如用作用于时间间预测的参考图像，而不可舍弃图像可以用作用于时间间预测的参考图像。使用分层式时间缩放性编码的数据流表示这些图像部分的示例：用于最低(基础)时间层的图像部分可以是不可舍弃的，而其他部分可能是可舍弃的。另外的示例为开放GOP编码数据流，其中RASL图像可以是可舍弃的。
视频数据流14c在剪接点92处被剪接，使得剪接点指示94；94'指示其最终CPB到达与其CPB移除之间的时间差trm#-taf#超出预定阈值的预定图像部分23a'之后是且邻接源于剪接入的视频数据流14b的第一预定第一类型图像部分23b'。
视频数据流14c在第一预定第一类型图像部分中包括级联标志96以及第三时序信息98，比较AuCPBRemovalDelta或者au_cp_removal_delay_delta_minus1。级联标志96以及第三时序信息98可能已在剪接之前就已存在于剪接入的数据流14b中，但剪接装置可能已将标志96从指示未剪接的状态重设为指示剪接的状态，和/或可能已设置第三时序信息98。亦即，级联标志96被设置为指示视频数据流已在第一预定第一类型图像部分处被剪接的第一状态，以及第三时序信息指示第一预定第一类型图像部分23b'的第三CPB移除时间，其用于在第一预定第一类型图像部分23b'处的剪接的情况下确定CPB移除时间。第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间。例如，从移除已编码在经剪接数据流14c中的视频数据流的最近不可舍弃图像部分起。
可选地，在一些附图中以交叉影线示出的预定第一类型图像部分中的每一个可以包括级联标志96以及第三时序信息98，级联标志可以设置为第一状态和第二状态，第二状态指示尚未在相应预定第一类型图像部分处剪接视频数据流。
根据此实施例的视频编码器可以下文方式将视频编码为视频数据流。例如，设想此编码器将编码数据流14a。其也可以被配置为编码数据流14b，如上文所论述，所述数据流可以被视为相同的。编码器将执行编码，使得视频数据流14a包括图像部分的序列23a，每一图像部分中编码有视频12a的图像10a。视频编码器接着可以将图像部分分类为用作CPB移除时间参考的第一类型图像部分，以及第二类型图像部分，如上文所论述。编码器可以提供具有第一时序信息和第二时序信息的视频数据流，并针对预定图像部分中的每一个(这些可以例如包括可舍弃图像部分)，检查其最终CPB到达与其CPB移除之间的时间差是否超出预定阈值。如果如此，则相应预定图像部分可以用作与另外的视频数据流14b的剪接点92之前的最后图像部分。
视频编码器可以进一步提供具有剪接点指示94、94'的视频数据流14a。
对于每一预定图像部分，视频编码器可以进一步将基于相应预定图像部分之前的最近第一类型预定图像的第二CPB移除时间确定的值用作预定阈值，例如一些附图中简单地以影线示出的在23a'之前的图像。
对于每一预定图像部分，视频编码器也可以将基于最大第二CPB移除时间值确定的值用作预定阈值，并将最大第二CPB移除时间值的指示99写入相应预定图像部分之前的最近第一类型预定图像中，例如附图中简单地以影线示出的在23a'之前的图像。
以下内容是关于检查如上文所论述的经剪接数据流可以如何在解码器内部进行处置，诸如由解码器内部的HRD 46或者换句话讲由用于管理视频解码器44的CPB 48的装置46进行处置，视频解码器继而以通过CPB缓冲的方式对视频数据流14c进行解码，亦即以在移除时间处经由CPB接收图像部分的方式，其中图像部分在前述最终到达时间处完全到达CPB。此装置可以检查第一预定第一类型图像部分23b'中的级联标志96是否指示在第一预定第一类型图像部分处曾发生剪接入。装置接着可以确定从CPB移除第一预定第一类型图像部分23b'的时间。
如果第一预定第一类型图像部分中的级联标志指示在第一预定第一类型图像部分处未曾发生剪接入，则移除时间可以基于第一预定第一类型图像部分23b'的第一时序信息95而确定。
并且，如果第一预定第一类型图像部分中的级联标志96指示在第一预定第一类型图像部分处曾发生剪接入，则移除时间可以基于第一预定第一类型图像部分23b'的第二时序信息，例如initial_removal_delay以及第一预定第一类型图像部分的第三时序信息98而确定。
可选地，装置可以通过确定以下两者之间的最大值来进行此确定：不可舍弃图像部分的最近CPB移除加上第一预定第一类型图像部分的第三CPB移除时间，之后是且邻接第一预定第一类型图像部分的预定图像部分23a'的CPB移除加上第二CPB时间减去预定图像部分23a'的最终CPB到达与CPB移除之间的时间差trm#-taf#。此时间接着用于从CPB移除第一预定第一类型图像部分23b'。
而且，根据此实施例，描述一装置，亦即图25中描绘的装置，其用于将两个视频数据流(此处为14a和14b)剪接在一起以得到14c。每一数据流如上文所描述，使得每一数据流包括图像部分的序列23a、23b，每一图像部分中编码有视频12a、12b的图像12a、12b。
图像部分也如上文所描述，包括第一和第二类型图像部分，第一和第二时序信息。
第二视频数据流接着将在第一预定第一类型图像部分中包括级联标志96以及第三时序信息98。级联标志96被设置为向第二视频数据流指示第一预定第一类型图像部分继续第二视频数据流的第二状态，以及第三时序信息指示第一预定第一类型图像部分的第三CPB移除时间，其用于第一预定第一类型图像部分处对第二视频数据流进行剪接入时确定CPB移除时间，第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间。
装置接着可以针对预定图像部分(例如无RAP)，检查第一视频数据流中的剪接点指示94；94'是否指示其CPB到达与其CPB移除之间的时间差超出预定阈值，使得预定图像部分可以用作第一视频数据流待与第二视频数据流剪接之前的最后图像部分。
例如，在一个变型中，预定阈值已基于第一流14a的缓冲SEI的intial_removal_delay或者基于max_val_initial_removal_delay_for_seamless_splicing]而确定。
如果此检查的结果为肯定的，亦即“是”，则装置可以将第二视频数据流的第一预定第一类型图像部分中的级联标志96设置为指示第二视频数据流已在第一预定第一类型图像部分处剪接入的第一状态，并分别在预定图像部分26a'以及第一预定第一类型图像部分26b'处级联第一与第二数据流，以便获得经剪接的视频数据流。
而且，如果是，则装置可以重写第三时序信息98，以便测量从经剪接的视频数据流内的第一视频数据流内的不可舍弃图像部分的最近CPB移除起的经过时间，而非第二视频数据流内的。
此外，如果是，则装置可以进一步在相比于第二视频数据流考虑经剪接的视频数据流时检查从第一预定第一类型图像部分之前的不可舍弃图像部分的最近CPB移除起的经过时间是否改变，以及如果如此，则重写第三时序信息98，以便测量从经剪接的视频数据流内的第一视频数据流的不可舍弃图像部分的最近CPB移除起的经过时间。
通常，装置也可以检查以下检查，以及如果两检查都呈现是，则执行设置和级联。
首先，等于在相应预定图像部分之前的第一视频数据流14a的最近第一类型预定图像部分的第二CPB移除时间或者从所述第二CPB移除时间确定的上限是否大于第二视频数据流的第一预定第一类型图像部分23b'的第二CPB移除时间。
第一流14a的最近第一类型预定图像部分在一些附图中简单地以影线示出。
最近第一类型预定图像部分的第二CPB移除时间也可以具有用于最近第一类型预定图像部分的添加的CPB馈送延迟时间。这测量要对最近第一类型预定图像部分的第一位的CPB到达进行延迟的经过时间。
相应预定图像部分例如在一些附图中简单地以影线示出，其在23a'之前。
第二检查是最近第一类型预定图像部分中指示的最大第二CPB移除时间值99是否大于第二视频数据流的第一预定第一类型图像部分23b'的第二CPB移除时间。
例如，在一个变型中，预定阈值可能仅仅是第一流的缓冲SEI的intial_removal_delay。替代地，阈值是initial_removal_delay+initial_removal_delay_offset，亦即CPB馈送延迟时间。进一步替代地，如第二选择中所描述，可以发送最大值max_val_initial_removal_delay_for_seamless_splicing。
例如，仅当作为与原始第二位流14b中的不可舍弃图像的距离的原始值不同于经剪接位流14c处的距离时才需要重写AuCPBRemovalDelta。
例如，可以假设两位流都具有相同帧速率，以及以解码次序示出的以下位流被级联，亦即被剪接：
第2位流：RAP1，B0，B1(不可舍弃的)，B2，RAP2(splicing_point)
第1位流：rap1，b0(不可舍弃的)，b1，b2，b3，b4
剪接在一起：
rap1，b0(不可舍弃的)，b1，b2，b3，RAP2(splicing_point)
原始地，RAP2的缓冲周期SEI将包括设置为0的concatenation_flag以及等于2/帧速率的AuCPBRemovalDelta。
在经剪接位流中，concatenation_flag将设置为1且AuCPBRemovalDelta将等于4/帧速率。
然而，如果经剪接位流为rap1，b0(不可舍弃的)，b1，RAP2(splicing_point)，则concatenation_flag被设置为1且AuCPBRemovalDelta等于2/帧速率。
因此，第一情况需要重写AuCPBRemovalDelta但第二情况并不需要。
对于包括小于max_val_initial_removal_delay_for_seamless_splicing的初始移除延迟的经剪接的流，如果图像时序SEI处的标志如此表示，则可以实现无缝剪接。如果经剪接流的初始移除延迟较高，则明显无法知道流是否可以剪接。
上文实施例关于在不可舍弃点处实现剪接的问题，而以下描述关于如何实现呈现也可用于诸如DRAP的可移除图像部分的可用移除时间的问题。特定而言，后续实施例关于在执行丢弃一些AU的情况下，诸如在执行随机访问或者执行剪接操作时的开放GOP结构的RASL图像的情况下提供时序信息(移除时间)。换句话讲，移除时间是否也适用于依赖性随机访问点DRAP图像。
此处的构思是修改RAP的缓冲周期SEI的initial_removal时间。在下文中论述不同情况，以及给出AU的移除时间的示例。
图1示出根据本申请的本发明概念。其中描绘视频数据流，所述流中编码有视频12，以及包括在缓冲视频数据流14的完整版本15的情况下要应用于解码器侧处的关于第一CPB移除时间trm (1)的第一时序信息16，以及关于要应用于解码器侧处以对视频数据流14的减少版本20进行缓冲的第二CPB移除时间trm (2)的第二时序信息18，所述减少版本通过从视频数据流的完整版本移除22视频数据流的部分24而不同于视频数据流。
可选地，第二时序信息18借助于关于如何修改第一CPB移除时间trm (1)以得到第二CPB移除时间trm (2)的时序修改信息限定第二CPB移除时间trm (2)。此时序修改信息的示例例如是init_removal_delay_correction_offset。
此外，第一时序信息16可以逐个图像地且借助于相对于在解码次序26上的前置经标记图像的增量来用信号通知第一CPB移除时间trm (1)。
增量可以示例性地由AuCPBRemovalDelay或者au_cpb_removal_delay_minus1来用信号通知。经标记图像可以例如在洁净随机访问点CRA处，并且是包含缓冲周期SEI的图像。其通常是RAP图像但可以是其他基本图像，例如时间层0图像。
换句话讲，视频数据流的每一图像部分23包括测量其从CPB 48的移除相对于RAP图像的延迟的增量，所述RAP图像的图像部分23沿着编码次序26位于该图像部分之前。图像部分23也称为访问单元AU，诸如在HEVC的情况下。
可选地，借助于视频数据流中的与经标记图像相关的图像部分内的缓冲周期消息，来标记经标记图像。
此外，用于管理解码视频数据流的视频解码器44的CPB 48的装置46可以在视频数据流包括所述部分的情况下根据第一时序信息16管理CPB，以及可以在部分24已移除的情况下根据第二时序信息18管理CPB。
图5示出完整位流。洁净随机访问点CRA的初始移除时间为8。
在图7中，RASL图像被移除。CRA的初始移除时间为7。相比于先前情况，后续图像的移除时间具有4的增量偏移。
图6示出经移除的RASL图像以及直至(但排除)TRAIL4(其为DRAP)的TRAIL(普通后置)图像。此时CRA的初始移除为11，使得CPB级别与位流开始时相同。
一个选项将是添加用于丢弃帧的不同可能性的替代性时序。亦即，一个时序用于移除RASL图像，一个时序用于移除直至第一DRAP，一个时序用于移除直至第二DRAP等等。
然而，这将增大缓冲周期SEI的大小，以及将需要向接收器指示其应用于何情况，亦即移除了RASL、直至第一DRAP的所有AU、直至第二DRAP的所有AU等。此情况可以通过SEI进行。
然而，其也将需要进行所有DRAP的编码，使得缓冲SEI可以被适当地写入，这将导致编码器/发送器侧处的额外延迟。
替代地，在缓冲SEI消息处指示单个值，以及此值可以由后续SEI，例如下一未移除AU的图像时序SEI消息修改。接着当进行AU的移除时，将仅需要设置标志aus_since_rap_removed_flag。其对应示例可以在图8中看到。
其中结合上文所提及附图，可以看出，第二时序信息18可以借助于第一时序修改信息19或者借助于第一时序替代信息限定第二CPB移除时间trm (2)，所述第一时序修改信息关于如何相对于视频数据流的与第一预定图像CRA相关且在视频数据流中的部分24'之前的第一图像部分28'修改由第一时序信息指示的第一CPB移除时间trm (1)，以相对于第一图像部分28'得到第二CPB移除时间trm (2)，所述第一时序替代信息用于相对于第一图像部分替代所述第一CPB移除时间以得到第二CPB移除时间。
第一时序修改信息19可以例如由init_removal_delay_correction_offset用信号通知。
此外，第一时序修改信息19或者第一时序替代信息是在视频数据流中，在视频数据流中的部分24'之后且与第二预定图像TRAIL1相关的视频数据流的第二图像部分30'内用信号通知的。
应注意，SEI消息可以被处置为也在CPB中进行缓冲，以及因此，可以在确定第一和第二时序信息时考虑所述消息。第一和第二时序信息可以针对传递所包括的第一和第二时序信息的SEI消息被计算并传递一次，并且针对丢弃的SEI消息被计算并传递一次。
而且，可选地，第二图像部分可以包括指示部分是否已经被移除的信号通知32。
并且，可以在视频数据流中用信号通知第一时序修改信息19或者第一时序替代信息，而无论信号通知32指示部分已经被移除还是用信号通知32指示所述部分尚未被移除。
第一预定图像可以是经标记图像，例如帧内随机访问点IRAP或者依赖性随机访问点DRAP图像，亦即用作时序参考的图像，如上文所详述。
而且，第二预定图像可以是TRAIL或者DRAP图像。
此外，第二时序信息18可以另外借助于第二时序修改信息21限定第二CPB移除时间trm (2)，第二时序修改信息关于如何相对于视频数据流的一个或多个第三图像部分31'的集合修改由第一时序信息指示的第一CPB移除时间trm (1)，以相对于一个或多个第三图像部分30'的集合得到第二CPB移除时间trm (2)，所述第三图像部分与第三预定图像相关，在视频数据流中的部分24'之后且包括第二图像部分28'，以及第二时序修改信息21可以在视频数据流中在第二图像部分30'内用信号通知。
第二时序修改信息21可以例如由cpb_removal_delay_offset用信号通知。
第二图像部分也可以包括指示所述部分是否已经被移除的信号通知32，以及可以在视频数据流中用信号通知第二时序修改信息21，而无论信号通知32指示所述部分已经被移除还是用信号通知32指示所述部分尚未被移除。
一种选项是视频数据流的一个或多个第三图像部分31'的集合延伸直至与经标记图像相关的第四图像部分。其中经标记图像可以用作时序参考的起点。
最后，可以借助于视频数据流中的与经标记图像相关的图像部分内的缓冲周期消息，来标记经标记图像。
应注意，在针对DRAP所示出的情况下，CRA的初始移除为11而非8，因为考虑了全位流且因此CPB填充级别高于原始情况。这可能带来潜在问题以及缓冲器溢位。
另一选项将是允许(在DRAP的情况下)从CPB的移除时间对于所有帧并不相等。较具体地，对于RAP以及DRAP，可以具有不相等的距离，而对于所有其他AU，距离相等。
在该情况下，RAP的缓冲周期SEI消息可以具有两个时序。一个时序用于整个位流或者当RASL经移除时，以及一个时序用于DRAP情况。由于在第二情况中未输出RAP，因此RAP的移除时间可以使得RAP的最终到达时间等于其移除时间。接着，DRAP AU将具有第二移除时间，这将把缓冲器构建至期望级别。在此情况下，RAP的最终到达时间为CBR以及VBR两情况中的DRAP的最早到达时间。所描述解决方案示出于图9中。
示例性信号通知语法示出于图10以及图11中。
在一实施例中，第二时序信息18可以借助于关于如何修改的第三33和/或第四35时序修改信息或者借助于第三33或者第四35时序替代信息来限定第二CPB移除时间trm (2)。
第三时序修改/替代信息33关于如何相对于与第一预定图像CRA相关且在视频数据流中在部分24”之前的视频数据流的第一图像部分28'修改或者替代由第一时序信息指示的第一CPB移除时间trm (1)，以相对于第一图像部分28'得到第二CPB移除时间trm (2)。
第三时序修改/替代信息33可以例如由drap_operation_initial_removal_delay用信号通知。也应注意，cpb_drap_operation_removal_offset关于到达时间，亦即某一图像部分，亦即借助于缓冲SEI消息标记的经标记图像进入或者馈送至CPB中的时间。馈送可以属于不同于如此申请中所描述的用于管理CPB的装置的装置的职责。遵守到达时间可能取决于传输中间网络节点。
第四时序修改/替代信息35关于如何相对于与第三预定图像相关，以及在视频数据流中在部分24”之后的视频数据流的一个或多个第三图像部分31”的集合修改或者替代由第一时序信息指示的第一CPB移除时间trm (1)，以相对于一个或多个第三图像部分30”的集合得到第二CPB移除时间trm (2)。
第四时序修改/替代信息35可以例如由cpb_drap_operation_removal_delay_offset用信号通知。
通常，用于管理视频解码器的CPB 48的装置46也可以执行上文详述的修改或者替代。
可选地，第三时序修改/替代信息33可以在视频数据流中在视频数据流的第一图像部分28'内用信号通知，以及第四时序修改/替代信息35可以在视频数据流中在视频数据流的第二图像部分30”内用信号通知，所述第二图像部分在一个或多个第三图像部分的集合之中就编码次序26而言前置。
此外，第一图像部分28'可以包括指示是否允许第一与第二图像部分的第二CPB移除时间之间的距离偏离连续对第二与第三图像部分的第二CPB移除时间之间的距离的信号通知36，其中条件性地在信号通知36指示允许第一与第二图像部分的第二CPB移除时间之间的距离偏离连续对第二与第三图像部分的第二CPB移除时间之间的距离时，在视频数据流中在视频数据流的第一图像部分28'内用信号通知第三时序修改信息33或者第三时序替代信息33。
视频编码器可以检查第二预定图像是否为参考第一预定图像(其为RAP)的DRAP，设置信号通知36以便指示第二预定图像是否为参考第一预定图像(其为RAP)的DRAP，以及如果第二预定图像为参考第一预定图像(其为RAP)的DRAP，则在视频数据流中在视频数据流的第一图像部分28'内编码第三时序修改/替代信息33。
应注意，pic_timing SEI消息中的au_cpb_removal_delay_minus1通常在连续图像部分之间不断增大，亦即以相同距离不断增大。但在放弃或者不呈现或者输出编码至第一图像部分28'中的图像的情况下，如果规则的时间距离被中断直至DRAP，以及接着从那开始有效，则是可以接受的，因为这些图像是实际上输出的图像。换句话讲，在所述示例中，pic_timing SEI消息中的au_cpb_removal_delay_minus1以相同距离不断增大。情况通常如此，但并不禁止非此情况。示例示出未移除任何内容时的最初全位流情况。然而，当移除RAP与DRAP之间的所有内容时，情况不再如此，但仍是可以的，这是由于在使用DRAP功能性的情况下，根本不输出或者示出RAP。
此外，第二图像部分30”可以包括指示部分24'是否已经被移除的信号通知38。
根据本发明的用于管理视频解码器44的CPB 48的装置46可以在检查信号通知32；38之后，推迟视频数据流的第一图像部分的移除。
替代地，根据本发明的用于转发视频数据流的网络节点42可以设置信号通知32；36，以便指示已从视频数据流移除所述部分。
网络节点42也可以从视频数据流移除，亦即丢弃视频数据流的部分24。
如图5中可以看出，可选地，第二时序信息可以限定第二CPB移除时间，使得在根据第一CPB移除时间执行第二图像部分的缓冲移除时，在缓冲视频数据流中的所述部分之前的视频数据流的第一图像部分之后，在解码器侧处显示自身的解码器侧处的第一CPB填充级别39a'；39a”等于解码器侧处的第二CPB填充级别39b'；39b”，视频数据流的所述第一部分以及第二图像部分在视频数据流中的所述部分之后，所述第二CPB填充级别是在尚未缓冲所述部分的情况下在根据第二CPB缓冲器时间执行第二图像部分的缓冲移除时，在缓冲视频数据流的第一和第二图像部分之后在解码器侧处显示自身的。
视频编码器可以设置第一和第二时序信息，使得视频数据流符合上文内容。
更一般而言，第二时序信息可以针对与一个或多个RASL图像序列相关的部分限定第二CPB移除时间，或者针对与某一DRAP之前的图像序列相关的部分限定第二CPB移除时间。
而且，视频数据流可以包括指示所述部分是否已经被移除的信号通知32、35。
用于随机访问的DRAP偏移将用于计算之后AU的移除时间。明显地，替代于在图像时序SEI消息中指示偏移，可以指定DRAP包括缓冲周期SEI消息且将这些偏移指示于缓冲周期SEI消息中。
随后描述的实施例关于时间缩放性问题，以及如何在此编码环境中指示关于图像时序SEI中的图像缓冲器时序以及缓冲周期SEI消息的信息的问题。因此，描述针对图像时序SEI消息以及缓冲周期SEI消息中的时间缩放性参考图像中的替代性信息的实施例。首先呈现针对图像时序SEI消息以及缓冲周期SEI消息中的时间缩放性参考图像中的替代性信息的实施例，亦即利用图像时序SEI消息中的时序偏移的实施例。
图12至图14示出当在相同位流情况下提供不同帧速率时的移除时间值的一些示例(亦即，时间缩放性)。
图17中的表格示出“蓝色”帧的deltaTime为0、1/60、3/120、2/60以及6/120。“红色帧”为3/120以及6/120。蓝色帧通过表格中的这些行指示，包括30、60以及120fps的值。红色帧由表格中的这些行指示，其仅包括60以及120fps的值，但不包括30fps的值。
对于图16中示出最高帧速率的开放GOP情况，以下内容适用，也在图15中示出。在图15的表格中，可以看出，“蓝色”帧的deltaTime为0、1/60以及3/120。“红色帧”为1/120以及2/120。同样，蓝色帧由表格中的这些行指示，包括30、60以及120fps的值。红色帧由表格中的这些行参考，其仅包括60以及120fps的值，但不包括30fps的值。
总体而言，由于编码位流的GOP结构，在不同帧速率的移除时间的deltaTime中存在一些重复图案。
需要考虑的另一方面为场景切割，这是由于所描述图案被中断。场景切割的不同位置将产生不同值。为简单起见，图18中仅示出一个位置。
如从图19中的表格可以看出的，明显地，受场景切割影响的GOP并不遵循所述图案。
图20示出参考包括不同帧速率的不同值的图像时序SEI消息的示例性信号通知结构(亦即，目标TemporalId)。
在图14中所示的实施例中，使用时间间预测以时间可缩放方式以图像组50的单位对视频数据流进行编码，使得视频的图像12分组成不同分层级别50i的图像，其中对于每一分层级别，相应分层级别的所有图像仅仅取决于相应层级或者下方分层级别的图像。在附图中，仅示出一个GOP的开始部分。
而且，部分24由属于最高分层级别503，或者属于最高分层级别503以及在分层次序52上紧接在最高分层级别503下方的除最低分层级别501之外的一个或多个分层级别502的图像构成。
接着，第一时序信息16逐个图像地且借助于相对于当前图像组在解码次序上的前置经标记图像53的增量来用信号通知第一CPB移除时间trm (1)。此次序由用于标记图像的分数值的依序次序指示。
同样，增量可以示例性地由AuCPBRemovalDelay或者au_cpb_removal_delay_minus1来用信号通知。当前GOP为相对于各个图像所属的GOP的前置图像的图像。
此外，可以借助于视频数据流中的与经标记图像相关的图像部分内的缓冲周期消息，来标记经标记图像。
在一个实施例中，第二时序信息18可以借助于第五时序修改信息19或者用于替代的第五时序替代信息19来限定第二CPB移除时间trm (2)，所述信息是在视频数据流中在视频数据流的第五图像部分23中的每一个内用信号通知的，所述第五图像部分23与第五图像54相关，所述第五图像54与除了最高分层级别外的一个或多个分层级别相关联。
第五时序修改信息19可以例如由au_cpb_removal_pattern_offset用信号通知，以及第五时序替代信息19可以例如由au_cpb_removal_delay_minus1[i]用信号通知，其中i不等于发送pic_timing的图像所属于的当前分层级别。
第五时序修改/替代信息19关于如何相对于相应第五图像部分23修改或者替代由第一时序信息指示的第一CPB移除时间trm (1)，以相对于第五图像部分23得到第二CPB移除时间trm (2)。
第一时序信息可以例如由au_cpb_removal_delay_minus1[i]用信号通知，其中i等于发送pic_timing的图像所属于的当前分层级别，或者au_cpb_removal_delay_minus1。
在部分24包括最高分层级别向下至相应分层级别的情况下，在相应分层级别上方，在最高与最低分层级别之间的每分层级别(亦即在所示示例中为501以及502)用信号通知第五时序修改/替代信息19，以及针对最高与最低分层级别之间在相应分层级别上方的每一分层级别(亦即在所示示例中对于502为503，以及对于501为503和502)进行信号通知。作为示例，所述数目在buffering_period_pattern_flag为一的情况下由num_sub_layer_cpb_removal_delays_minus1指示，以及在buffering_period_pattern_flag为零的情况下由num_sub_layer_cpb_removal_delays_minus1+1指示。
图21以及图22示出示例性信号通知结构，其中替代地，可以在每一缓冲周期SEI内限定图案且这些图案可以在图像时序SEI消息中指示。当如上文所描述时，例如作为场景切割的原因，可以不应用图案，该值可以显式地用信号通知(或者以某种偏移的形式)。
根据此实施例，第二时序信息18借助于例如au_cpb_removal_pattern_offset的第五时序修改信息19限定第二CPB移除时间trm (2)。第五时序修改信息19指示如何借助于偏移值修改第一CPB移除时间，以及视频数据流包括数据60，其指示由用于修改一个或多个图像组中的第一CPB移除时间的第五修改信息指示的偏移值所取的代表性偏移值的列表。接着，第五时序修改信息19借助于指向代表性偏移值列表中的指针用信号通知偏移值。
更大体而言，在上文实施例中，视频数据流减少了部分24，亦即结果为减少版本20，以及视频数据流包括第一和第二时序信息18。换句话讲，在某一中间网络设备处丢弃某些分层级别的情况下，第二时序信息未被嵌套以便未被嵌套并替代对应第一时序信息。实际上，第一和第二时序信息保持不变且在解码器侧，取决于视频数据流中发送的信号通知选择正确时序信息以用于CPB处置，以及已被设置为向中间网络设备解释哪一部分已移除，或者较精确地，已移除/丢弃以前的哪一最高分层级别。
针对图像时序SEI消息以及缓冲周期SEI消息中的时间缩放性参考图像中的替代性信息的实施例的另外的示例为缓冲周期SEI消息处的增量。
如图23中可以看出，vcl_initial_cpb_removal_delay[i]以及vcl_initial_cpb_removal_offset[i]的不同值也应显式地在缓冲周期SEI消息中指示，因为单个值可能不足以用于所有可能帧速率。
另一实施例涉及多个位速率考虑因素。如上文所论述，支持不同传输速率或者CPB馈送速率的当前方式为指示位速率、CPBsize以及相应初始移除时间与偏移的若干值。
此当前解决方案的问题是需要预先已知所有潜在CPB馈送位速率，并且编码器处的速率控制需要考虑所有位速率以确保所提供信息是有效的。
尽管这在一定程度上允许高灵活性，其中可以以许多方式改变所提及的参数，但在一些实际情形中，考虑来自发送侧的许多潜在CPB馈送速率可能是合乎需要的，但这将难以在编码器侧处实施。在这些情形下，将进行HRD模型的一些参数化的“非常”限制性的速率控制可能有用，由此意味着将考虑2个极值——最大位速率(maxBitrate)与最小位速率(minBitrate)，以及可以对其间的任何内容进行线性内插。此解决方案就HRD模型化而言与灵活性解决方案相比将更具限制性，但将允许在发送侧处使用最大位速率与最小位速率间的任何速率，以及仍确保将不存在CPBsize以及可以基于最大以及最小值的信号通知值计算的初始移除时间的任何下溢或者溢位。
hrd_parameters被分成3个部分。
·cbr_parameters_present_flag
·vbr_min_parameter_present_flag
·vbr_max_parameter_present_flag
可以计算针对vbr_min_parameter_present_flag与vbr_max_parameter_present_flag提供的两者间的任何其他位速率。示例性信号通知示出于图24a、图29以及图30中。
类似地，如果CBR、最小以及最大值也存在于hrd_parameters中，则缓冲周期SEI消息将包括所述值，如图24b以及图31中所示。
根据这一点，HRD时序信息数据，例如第一HRD时序信息数据、第二HRD时序信息数据或者多个HRD时序信息数据中的任一个，以及每一HRD时序信息数据包括以下中的一个或多个：
-相应HRD时序信息相关的CPB馈送位速率的指示104，
-相应HRD时序信息相关的相应CPB馈送位速率所需的CPB大小的指示106，
-视频数据流的经标记图像部分中的每一个的CPB移除时间的指示108，其测量从相应经标记图像部分的第一位针对相应HRD时序信息相关的相应CPB馈送位速率的CPB到达起的经过时间——此处的经标记图像部分分别为具有诸如RAP的缓冲周期SEI的图像部分，其在其他相关附图中以交叉影线示出，但是也有其他图像，诸如其他相关附图中简单地以影线示出的图像部分，
-视频数据流的经标记图像部分中的每一个的CPB馈送延迟时间的指示110，其测量将针对各个HRD时序信息相关的各个CPB馈送位速率对相应经标记图像部分的第一位的CPB到达进行延迟的经过时间。
如果存在最小以及最大值，则其间的任何值将导致例如该最小和最大值的线性内插。
而且，由于在一些情况下需要进一步的灵活性，不将HRD模型限于线性内插模型可能是合乎需要的(例如，非线性地减少initial_removal_delay和增大位速率)。因此，取决于场景，编码器可以选择使用何模式：具有线性内插的模式或者具有多个值的模式。示例性信号通知示出于图32、图33以及图34中。
如图24、图29、图31、图32以及图34中所示，视频流可以包括与最小CPB馈送位速率相关的第一HRD时序信息数据70a、70b，以及与最大CPB馈送位速率相关的第二HRD时序信息数据72a、72b。第一HRD时序信息数据70a、70b以及第二HRD时序信息数据72a、72b接着允许通过在第一与第二HRD时序信息数据之间进行线性内插而针对实际CPB馈送位速率确定第三HRD时序信息。实际CPB馈送位速率例如为视频数据流实际上馈送至CPB中的位速率。
视频数据流可以进一步包括例如hrd_interpolation-mode_flag的标志74，其指示是否存在第一HRD时序信息数据70a、70b以及第二HRD时序信息数据72a、72b，或者与所想要CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据76。
视频编码器可随后决定向视频数据流提供第一HRD时序信息70以及第二HRD时序信息72，或者向视频数据流提供与所想要的CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据76。
对于最小与最大CPB馈送位速率之间的所有CPB馈送位速率，视频编码器可以可选地基于第一与第二HRD时序信息之间的线性内插是否导致无CPB溢位以及下溢情况的可行性检查来执行所述决定。
用于管理视频解码器44的CPB 48的装置46随后可以使用第三HRD时序信息管理CPB。
类似地，装置可以检查视频数据流中的标志74，例如hrd_interpolation-mode_flag，以及取决于标志，执行从视频数据流导出第一HRD时序信息数据70a、70b以及第二HRD时序信息数据72a、72b，或者从视频数据流导出与所想要的CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据76。
图38示出三个操作点的示例。
内插情形使用以下线性内插公式：
-BRinterpolated＝BRmin+(BRmax-BRmin)*alpha
-INDinterpolated＝INDmin+(INDmax-INDmin)*alpha(其中IND＝InitialRemovalDelay)
应注意，INDmin(对于最小位速率)大于INDmax(对于最高位速率)
图37涉及INDmin，其中使用以下缩写：
RmD＝移除延迟
Afinal＝最终到达时间
ArrivalEar＝图像的第一位由于帧速率的可能最早到达时间
ArrivalInit＝图像的第一位的实际到达时间
可以看出，最大CPB大小为15。
图36涉及INDmax。并且，此第二情形所需的CPB大小为12,1125。
对于所计算的初始移除延迟以及线性地具有0.3的α的位速率，图35示出此情况所需的CPB大小为13,87912。如果将进行线性内插，则计算出的CPB大小将对应于12,97875。可以看出，该值是不同的。
因此，如果编码器希望遵从在最大与最小值内以完全的灵活性线性地导出所涉及的HRD参数的约束条件，则编码器处的速率控制在确定图像的大小时应考虑该约束条件，使得满足内插时的CPB大小限制。
由于可能并不始终如此，因此一个选项将是仅在编码器注意到内插是可能的情况下才进行信号通知，以及如果不是，则用信号通知已在离散数目的操作点中使用的任何实际值。
如之前所述，上文所描述概念可以由视频流、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置，以及用于将视频数据流剪接在一起的装置采用。
同样，所述概念可以由根据本发明的实施例的对应方法实施。这些方法是基于相同于上文所描述的视频流、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置，和/或用于将视频数据流剪接在一起的装置的考虑因素。然而，应注意，方法可以由本文中所描述的也相对于视频流、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置、和/或用于将视频数据流剪接在一起的装置的特征、功能性以及细节中的任一个来补充。此外，所述方法可以由视频流、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置、和/或用于将视频数据流剪接在一起的装置的特征、功能性以及细节个别地以及以组合方式进行补充。
最后，该概念也可用于产生根据本发明的实施例的编码数据流。数据流也可以由所述方法、视频编码器、视频解码器、网络节点、用于管理视频解码器的编码图像缓冲器CPB的装置、和/或用于将视频数据流剪接在一起的装置的特征、功能性以及细节个别地以及以组合方式进行补充。
最后，本文中所描述的实施例可以可选地由此处所描述的重要点或者方面中的任一个来补充。然而，应注意，此处所描述的重要点以及方面可以个别地或者组合地使用，以及可以个别地以及组合地引入至本文中所描述的实施例中的任一个中。
尽管已在装置的上下文中描述一些方面，但显而易见，这些方面也表示对应方法的描述，其中设备或者其部分对应于方法步骤或者方法步骤的特征。类似地，方法步骤的上下文中所描述的方面也表示对应装置或者装置部分或者对应装置的对象或者特征的描述。可以由(或者使用)硬件设备(如(例如)微处理器、可编程计算机或者电子电路)执行方法步骤中的一些或者所有。在一些实施例中，可以由此装置执行最重要的方法步骤中的一个或多个。
取决于某些实施要求，本发明的实施例可以硬件或者软件实施。实施可以使用数字存储介质来执行，所述数字存储介质例如软性磁盘、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或者闪存，所述数字存储介质上存储有电子可读控制信号，所述电子可读控制信号与可编程计算机系统协作(或者能够协作)使得各个方法被执行。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，使得执行本文中所描述方法中的一个。
通常，本发明的实施例可以实施为具有程序代码的计算机程序产品，当计算机程序产品运行于计算机上时，程序代码操作性地用于执行所述方法中的一个。程序代码可以(例如)存储于机器可读载体上。
其他实施例包括存储于机器可读载体上，用于执行本文中所描述的方法中的一个的计算机程序。
换句话讲，因此，发明方法的实施例为具有当计算机程序运行于计算机上时，用于执行本文中所描述的方法中的一个的程序代码的计算机程序。
因此，本发明方法的进一步实施例为包括记录于其上的，用于执行本文中所描述的方法中的一个的计算机程序的数据载体(或者数字存储介质，或者计算机可读媒体)。数据载体、数字存储介质或者记录介质通常是有形的和/或非瞬变的。
因此，本发明方法的进一步实施例为表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或者信号序列。数据流或者信号序列可以(例如)被配置为经由数据通信连接(例如，经由因特网)而传送。
进一步实施例包括处理构件，例如，被配置为或者经适配以执行本文中所描述的方法中的一个的计算机或者可编程逻辑器件。
进一步实施例包括其上安装有用于执行本文中所描述的方法中的一个的计算机程序的计算机。
根据本发明的进一步实施例包括被配置为将用于执行本文中所描述的方法中的一个的计算机程序传送(例如，用电子方式或者光学方式)至接收器的装置或者系统。接收器可以(例如)为计算机、移动设备、内存设备等。装置或者系统可以(例如)包括用于将计算机程序传送至接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文中所描述的方法的功能性中的一些或者所有。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文中所描述的方法中的一个。通常，较佳地由任何硬件设备执行所述方法。
本文中所描述的装置可以使用硬件设备或者使用计算机或者使用硬件设备与计算机的组合来实施。
本文中所描述的装置或者本文中所描述的装置的任何元件可以至少部分地以硬件和/或以软件予以实施。
本文中所描述的方法可以使用硬件设备或者使用计算机或者使用硬件设备与计算机的组合来执行。
本文中所描述的方法或者本文中所描述的方法的任何部分可以至少部分地由硬件和/或由软件执行。
上文所描述的实施例仅仅示出本发明的原理。应理解，本领域技术人员将显而易见对本文中所描述的配置以及细节的修改以及变化。因此，其仅意欲由接下来的权利要求的范畴限制，而非由借助于本文中实施例的描述以及解释所呈现的特定细节限制。

Claims (73)

1.一种其中编码有视频(12)的视频数据流，并且包括：
第一时序信息(16)，其关于在对所述视频数据流(14)的完整版本(15)进行缓冲的情况下要应用于解码器侧处的第一编码图像缓冲器CPB移除时间(trm (1))，
第二时序信息(18)，其关于要应用于解码器侧处以对所述视频数据流(14)的减少版本(20)进行缓冲的第二CPB移除时间(trm (2))，所述减少版本(20)通过从所述视频数据流的所述完整版本移除(22)所述视频数据流的一部分(24)而不同于所述视频数据流。
2.根据任一先前权利要求所述的视频数据流，其中
所述第二时序信息(18)借助于关于如何修改所述第一CPB移除时间(trm (1))以得到所述第二CPB移除时间(trm (2))的时序修改信息来限定所述第二CPB移除时间(trm (2))。
3.根据任一先前权利要求所述的视频数据流，其中
所述第一时序信息(16)逐个图像地且借助于相对于在解码次序(26)上位于前面的经标记图像的增量，用信号通知所述第一CPB移除时间(trm (1))。
4.根据权利要求3所述的视频数据流，其中
其中借助于所述视频数据流中的在与所述经标记图像相关的图像部分内的缓冲周期消息，来标记所述经标记图像。
5.根据任一先前权利要求所述的视频数据流，其中
所述第二时序信息(18)借助于第一时序修改信息(19)或者借助于第一时序替代信息来限定所述第二CPB移除时间(trm (2))，所述第一时序修改信息(19)是关于如何相对于所述视频数据流的与第一预定图像(CRA)相关的、且位于所述视频数据流中的所述部分(24’)之前的第一图像部分(28’)来修改由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以相对于所述第一图像部分(28’)得到所述第二CPB移除时间(trm (2))，所述第一时序替代信息是用于相对于所述第一图像部分(28’)来替代所述第一CPB移除时间(trm (1))以得到所述第二CPB移除时间(trm (2))。
6.根据权利要求5所述的视频数据流，其中
所述第一时序修改信息(19)或者所述第一时序替代信息是在所述视频数据流中在所述视频数据流的位于所述视频数据流中的所述部分(24’)之后且与第二预定图像(TRAIL1)相关的第二图像部分(30’)内用信号通知的。
7.根据权利要求6所述的视频数据流，其中
所述第二图像部分包括指示所述部分是否已经被移除的信号通知(32)。
8.根据权利要求7所述的视频数据流，其中
在所述视频数据流中用信号通知第一时序修改信息(19)或者第一时序替代信息，而无论所述信号通知(32)指示所述部分已经被移除还是所述信号通知(32)指示所述部分尚未被移除。
9.根据权利要求6、7或者8所述的视频数据流，其中
所述第一预定图像是经标记图像。
10.根据权利要求6、7、8或者9所述的视频数据流，其中
所述第二预定图像是普通后置图像TRAIL或者依赖性随机访问点DRAP图像。
11.根据权利要求6至10中任一项所述的视频数据流，其中
所述第二时序信息(18)额外地借助于第二时序修改信息(21)来限定所述第二CPB移除时间(trm (2))，所述第二时序修改信息(21)是关于如何相对于所述视频数据流的与第三预定图像相关的、位于所述视频数据流中的所述部分(24’)之后且包括所述第二图像部分(28’)的一个或多个第三图像部分(31’)的集合来修改由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以相对于所述一个或多个第三图像部分(30’)的集合得到所述第二CPB移除时间(trm (2))，以及
所述第二时序修改信息(21)是在所述视频数据流中在所述第二图像部分(30’)内用信号通知的。
12.根据权利要求11所述的视频数据流，其中
所述第二图像部分包括指示所述部分是否已经被移除的信号通知(32)，以及
在所述视频数据流中用信号通知所述第二时序修改信息(21)，而无论所述信号通知(32)指示所述部分已经被移除还是所述信号通知(32)指示所述部分尚未被移除。
13.根据权利要求11或者12中任一项所述的视频数据流，其中
所述视频数据流的所述一个或多个第三图像部分(31’)的集合延伸直至与经标记图像相关的第四图像部分。
14.根据权利要求13所述的视频数据流，其中
其中借助于所述视频数据流中的在与所述经标记图像相关的图像部分内的缓冲周期消息，来标记所述经标记图像。
15.根据任一先前权利要求所述的视频数据流，其中
所述第二时序信息(18)借助于以下来限定所述第二CPB移除时间(trm (2))
借助于第三时序修改信息(33)或者借助于第三时序替代信息(33)，所述第三时序修改信息(33)是关于如何相对于所述视频数据流的与第一预定图像(CRA)相关的、且位于所述视频数据流中的所述部分(24”)之前的第一图像部分(28’)来修改由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以相对于所述第一图像部分(28’)
得到所述第二CPB移除时间(trm (2))，所述第三时序替代信息(33)是用于相对于所述第一图像部分(28’)替代所述第一CPB移除时间(trm (1))以得到所述第二CPB移除时间(trm (2))，以及
借助于第四时序修改信息(35)或者借助于第四时序替代信息(35)，所述第四时序修改信息(35)是关于如何相对于所述视频数据流的与第三预定图像相关、且位于所述视频数据流中的所述部分(24”)之后的一个或多个第三图像部分(31”)的集合来修改由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以相对于所述一个或多个第三图像部分(30”)的集合得到所述第二CPB移除时间(trm (2))，所述第四时序替代信息(35)是用于相对于一个或多个第三图像部分(31”)的集合来替代所述第一CPB移除时间(trm (1))以得到所述第二CPB移除时间(trm (2))。
16.根据权利要求15所述的视频数据流，其中
所述第三时序修改信息(33)或者所述第三时序替代信息(33)是在所述视频数据流中在所述视频数据流的所述第一图像部分(28’)内用信号通知的，以及
所述第四时序修改信息(35)或者所述第四时序替代信息(35)是在所述视频数据流中在所述视频数据流的第二图像部分(30”)内用信号通知的，所述第二图像部分(30”)在所述一个或多个第三图像部分的集合之中就编码次序(26)而言前置。
17.根据权利要求15或者16所述的视频数据流，其中
所述第一图像部分(28’)包括信号通知(36)，所述信号通知(36)指示是否允许所述第一图像部分和所述第二图像部分的第二CPB移除时间之间的距离偏离连续对的所述第二图像部分和所述第三图像部分的第二CPB移除时间之间的距离，其中条件性地在所述信号通知(36)指示允许所述第一图像部分和所述第二图像部分的第二CPB移除时间之间的距离偏离连续对的所述第二图像部分和所述第三图像部分的第二CPB移除时间之间的距离时，在所述视频数据流中在所述视频数据流的所述第一图像部分(28’)内用信号通知所述第三时序修改信息(33)或者所述第三时序替代信息(33)。
18.根据权利要求15至17中任一项所述的视频数据流，其中
所述第二图像部分(30”)包括指示所述部分(24’)是否已经被移除的信号通知(38)。
19.根据任一先前权利要求所述的视频数据流，其中
所述第二时序信息限定所述第二CPB移除时间，使得所述解码器侧处的第一CPB填充级别(39a’；39a”)等于所述解码器侧处的第二CPB填充级别(39b’；39b”)，所述第一CPB填充级别(39a’；39a”)是当根据所述第一CPB移除时间执行所述第二图像部分的缓冲移除时，在对所述视频数据流的位于所述视频数据流中的所述部分之前的第一图像部分、所述部分、以及所述视频数据流的位于所述视频数据流中的所述部分之后的第二图像部分进行缓冲之后，在所述解码器侧处显现自身的，所述第二CPB填充级别(39b’；39b”)是在所述部分尚未被缓冲的情况下当根据所述第二CPB缓冲器时间执行所述第二图像部分的缓冲移除时，在对所述视频数据流的所述第一图像部分和所述第二图像部分进行缓冲之后，在所述解码器侧处显现自身的。
20.根据任一先前权利要求所述的视频数据流，其中
所述第二时序信息针对以下来限定所述第二CPB移除时间
与一个或多个RASL图像的序列相关的部分，或者
与位于特定DRAP之前的图像的序列相关的部分。
21.根据任一先前权利要求所述的视频数据流，其中
所述视频数据流包括指示所述部分是否已经被移除的信号通知(32，35)。
22.根据任一先前权利要求所述的视频数据流，其中
以时间可缩放方式使用时间间预测以图像组(50)为单位对所述视频数据流进行编码，使得所述视频的图像(12)被分组为不同分层级别(50i)的图像，其中对于每一分层级别，相应分层级别的所有图像仅仅取决于所述相应分层级别或者下方分层级别的图像，
所述部分(24)由属于最高分层级别(503)、或者属于所述最高分层级别(503)以及在分层次序(52)上紧接在所述最高分层级别(503)下方的除了最低分层级别(501)之外的一个或多个分层级别(502)的图像构成。
23.根据权利要求22所述的视频数据流，其中
所述第一时序信息(16)逐个图像地且借助于相对于当前图像组的在解码次序上的前置经标记图像(53)的增量，用信号通知所述第一CPB移除时间(trm (1))。
24.根据权利要求23所述的视频数据流，其中
其中借助于所述视频数据流中的在与所述经标记图像相关的图像部分内的缓冲周期消息，来标记所述经标记图像。
25.根据权利要求22、23或者24所述的视频数据流，其中
所述第二时序信息(18)借助于以下来限定所述第二CPB移除时间(trm (2))
第五时序修改信息(19)或者用于替代的第五时序替代信息，
所述第五时序修改信息(19)或者所述用于替代的第五时序替代信息是在所述视频数据流中在所述视频数据流的第五图像部分(23)中的每一个内用信号通知的，所述第五图像部分(23)与第五图像(54)相关，所述第五图像(54)与除了所述最高分层级别外的一个或多个分层级别相关联，
所述第五时序修改信息(19)或者所述用于替代的第五时序替代信息是关于相对于相应的第五图像部分(23)如何修改或者用于替代由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以相对于所述第五图像部分(23)得到所述第二CPB移除时间(trm (2))。
26.根据权利要求22、23或者24所述的视频数据流，其中
所述第二时序信息(18)借助于以下来限定所述第二CPB移除时间(trm (2))
第五时序修改信息(19)或者用于替代的第五时序替代信息
所述第五时序修改信息(19)或者用于替代的第五时序替代信息是在所述视频数据流中在所述视频数据流的第五图像部分(23)中的每一个内用信号通知的，所述第五图像部分(23)与第五图像相关，所述第五图像与除了所述最高分层级别外的一个或多个分层级别相关联，
针对在所述最高分层级别与所述最低分层级别之间的每个分层级别，
对于在所述最高分层级别与所述最低分层级别之间的高于所述相应分层级别的每个分层级别，
所述第五时序修改信息(19)或者用于替代的第五时序替代信息是关于相对于所述相应的第五图像部分(23)如何修改或者用于替代由所述第一时序信息指示的所述第一CPB移除时间(trm (1))，以针对所述部分(24)包括下至所述相应分层级别且高于所述相应分层级别的最高分层级别的情形，相对于所述第五图像部分(23)得到所述第二CPB移除时间(trm (2))。
27.根据权利要求25或者26所述的视频数据流，其中
所述第二时序信息(18)借助于所述第五时序修改信息在(19)来限定所述第二CPB移除时间(trm (2))，
所述第五时序修改信息(19)借助于偏移值来指示如何修改所述第一CPB移除时间，
所述视频数据流包括指示代表性偏移值的列表的数据(60)，所述代表性偏移值是由通过所述第五修改信息指示的偏移值所取的值，用于修改一个或多个图像组中的第一CPB移除时间，
所述第五时序修改信息(19)借助于指向所述代表性偏移值的列表中的指针用信号通知所述偏移值。
28.根据权利要求22至27中任一项所述的视频数据流，其中
所述视频数据流被减少了所述部分(24)，以及
所述视频数据流包括所述第一时序信息和所述第二时序信息(18)。
29.一种视频编码器(40)，被配置为
将视频编码为视频数据流；
向所述视频数据流提供
第一时序信息(16)，其关于在对所述视频数据流(14)的完整版本(15)进行缓冲的情况下要应用于解码器侧处的第一CPB移除时间(trm (1))，
第二时序信息(18)，其关于要应用于解码器侧处以对所述视频数据流(14)的减少版本(20)进行缓冲的第二CPB移除时间(trm (2))，所述减少版本(20)通过从所述视频数据流的所述完整版本移除(22)所述视频数据流的一部分(24)而不同于所述视频数据流。
30.根据权利要求29所述的视频编码器，被配置为向所述视频数据流提供所述第一时序信息和所述第二时序信息，使得所述视频数据流根据权利要求1至28中的任一项所述。
31.根据权利要求29或者30所述的视频编码器，所述视频数据流根据权利要求17所述，其中所述视频编码器被配置为检查所述第二预定图像是否是参考作为随机访问点RAP的所述第一预定图像的DRAP，设置所述信号通知(36)以便指示所述第二预定图像是否是参考作为RAP的所述第一预定图像的DRAP，以及如果所述第二预定图像是参考作为RAP的所述第一预定图像的DRAP，则在所述视频数据流中在所述视频数据流的所述第一图像部分(28’)内对所述第三时序修改信息(33)或者所述第三时序替代信息(33)进行编码。
32.根据权利要求29至31中任一项所述的视频编码器，其中所述视频编码器被配置为设置所述第一时序信息和所述第二时序信息，使得所述视频数据流根据权利要求19所述。
33.一种用于转发根据权利要求1至28中任一项所述的视频数据流的网络节点(42)，被配置为
从所述视频数据流移除所述视频数据流的所述部分(24)。
34.根据权利要求33所述的网络节点，所述视频数据流根据权利要求7或者18所述，其中所述网络节点被配置为设置所述信号通知(32；36)，以便指示从所述视频数据流移除所述部分。
35.一种用于管理视频解码器(44)的CPB(48)的装置(46)，所述视频解码器(44)以通过所述CPB缓冲的方式对根据权利要求1至28中任一项所述的视频数据流进行解码，所述装置被配置为根据以下来管理所述CPB
在所述视频数据流包括所述部分的情况下，所述第一时序信息(16)，
在所述部分(24)已经被移除的情况下，所述第二时序信息(18)。
36.根据权利要求35所述的装置，其中所述视频数据流根据权利要求7或者18所述，以及所述装置被配置为在检查所述信号通知(32；38)之后推迟所述视频数据流的所述第一图像部分的移除。
37.根据权利要求35或者36所述的装置，其中所述视频数据流根据权利要求2、5或者15所述，以及所述装置被配置为执行所述修改或者替代。
38.一种其中编码有视频(12)的视频数据流，包括
第一HRD时序信息数据(70a，b)，其与最小CPB馈送位速率相关，
第二HRD时序信息数据(72a，b)，其与最大CPB馈送位速率相关，
所述第一HRD时序信息数据(70a，b)和所述第二HRD时序信息数据(72a，b)允许通过在所述第一HRD时序信息数据与所述第二HRD时序信息数据之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息。
39.根据权利要求38所述的视频数据流，包括
指示是否存在所述第一HRD时序信息数据(70a，b)和所述第二HRD时序信息数据(72a，b)、或者与想要的CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据(76)的标志(74)。
40.根据权利要求38或者39所述的视频数据流，其中每一HRD时序信息数据包括
相应HRD时序信息相关的所述CPB馈送位速率的指示(104)，
相应HRD时序信息相关的相应CPB馈送位速率所需的CPB大小的指示(106)，
用于所述视频数据流的经标记图像部分中的每一个的CPB移除时间的指示(108)，其测量针对相应HRD时序信息相关的相应CPB馈送位速率从相应经标记图像部分的第一位的CPB到达起的经过时间，
用于所述视频数据流的所述经标记图像部分中的每一个的CPB馈送延迟时间的指示(110)，其测量针对相应HRD时序信息相关的相应CPB馈送位速率而要对相应经标记图像部分的第一位的CPB到达进行延迟时的经过时间。
41.一种视频编码器(40)，被配置为将视频编码为视频数据流；
向所述视频数据流提供
第一HRD时序信息(70)，其与最小CPB馈送位速率相关，
第二HRD时序信息(72)，其与最大CPB馈送位速率相关，
所述第一HRD时序信息(70)和所述第二HRD时序信息(72)允许通过在所述第一HRD时序信息与所述第二HRD时序信息之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息。
42.根据权利要求41所述的视频编码器，被配置为
决定向所述视频数据流提供所述第一HRD时序信息(70)和所述第二HRD时序信息(72)，或者向所述视频数据流提供与想要的CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据(76)。
43.根据权利要求42所述的视频编码器，被配置为针对所述最小CPB馈送位速率与所述最大CPB馈送位速率之间的所有CPB馈送位速率，基于所述第一HRD时序信息与所述第二HRD时序信息之间的线性内插是否导致无CPB溢位和下溢情况的可行性检查，来执行所述决定。
44.根据权利要求42或者43所述的视频编码器，被配置为
向所述视频数据流提供指示所述视频数据流是否设有所述第一HRD时序信息数据(70a，b)和所述第二HRD时序信息数据(72a，b)、或者与所想要的CPB馈送位速率的集合中的每一个相关的所述多个HRD时序信息数据(76)的标志(74)。
45.一种用于管理视频解码器(44)的CPB(48)的装置(46)，所述视频解码器(44)对其中编码有视频(12)的视频数据流进行解码，所述装置被配置为从所述视频数据流导出
与最小CPB馈送位速率相关的第一HRD时序信息(70)，
与最大CPB馈送位速率相关的第二HRD时序信息(72)，
通过在所述第一HRD时序信息与所述第二HRD时序信息之间进行线性内插而确定用于实际CPB馈送位速率的第三HRD时序信息，
使用所述第三HRD时序信息管理所述CPB。
46.根据权利要求45所述的装置，被配置为检查所述视频数据流中的标志(74)，以及取决于所述标志，执行从所述视频数据流导出所述第一HRD时序信息数据(70a，b)和所述第二HRD时序信息数据(72a，b)，或者从所述视频数据流导出与所想要的CPB馈送位速率的集合中的每一个相关的多个HRD时序信息数据(76)。
47.根据权利要求45或者46所述的装置，其中每一HRD时序信息数据包括
相应HRD时序信息相关的CPB馈送位速率的指示(104)，
相应HRD时序信息相关的相应CPB馈送位速率所需的CPB大小的指示(106)，
用于所述视频数据流的经标记图像部分中的每一个的CPB移除时间的指示(108)，其测量针对相应HRD时序信息相关的相应CPB馈送位速率从相应经标记图像部分的第一位的CPB到达起的经过时间，
用于所述视频数据流的所述经标记图像部分中的每一个的CPB馈送延迟时间的指示(110)，其测量针对相应HRD时序信息相关的相应CPB馈送位速率要对相应经标记图像部分的第一位的CPB到达进行延迟时的经过时间。
48.一种视频数据流(14a；14c)，包括
图像部分的序列(23a)，每一图像部分中编码有视频(12a)的图像(10a)，所述图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
每一图像部分中的第一时序信息(95)，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码所述视频数据流的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
剪接点指示(94,94’)，其指示其最终CPB到达与其CPB移除之间的时间差(trm#-taf#)超出预定阈值的图像部分，使得所述图像部分可以用作与另外的视频数据流(14b)的剪接点(92)之前的最后图像部分。
49.根据权利要求48所述的视频数据流，包括：
最大第二CPB移除时间值的指示(99)，其指示只要所述另外的视频数据流在所述剪接点(92)处与所述视频数据流级联处的所述另外的视频数据流(14b)的起始第一类型图像部分的第二CPB移除时间低于所述最大第二CPB移除时间值，则将所述另外的视频数据流级联至其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)被所述剪接点指示指示为超出所述预定阈值的图像部分中的任一个会导致无缝剪接。
50.根据权利要求48或者49所述的视频数据流，其中所述剪接点指示(94,94’)包括
存在于所述图像部分中的每一个或者图像部分的集合中的每一个处的标志(94)，其指示对于相应图像部分，其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)是否超出所述预定阈值，或者
存在于所述图像部分中的每一个或者图像部分的集合中的每一个处的标志(94’)，其指示对于从所述相应图像部分向前直至下一第一类型图像部分的每一图像部分，其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)是否超出所述预定阈值。
51.根据权利要求48、49或者50中任一项所述的视频数据流，其中
所述图像部分的序列中具有使用时间间预测(90)以使得所述图像部分包括以独立方式可解码的不可舍弃图像部分以及对于解码所述不可舍弃图像部分不需要的可舍弃图像部分的方式编码于其中的所述视频(12a)的图像，
其中所述视频数据流(14c)在剪接点(92)处被剪接，使得所述剪接点指示(94；94’)指示其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)超出所述预定阈值的预定图像部分(23a’)的后面是且邻接源于剪接入的视频数据流(14b)的第一预定第一类型图像部分(23b’)，
其中所述视频数据流(14c)在所述第一预定第一类型图像部分中包括，
级联标志(96)以及第三时序信息(98)，所述级联标志(96)被设置为指示所述视频数据流已在所述第一预定第一类型图像部分处被剪接的第一状态，以及所述第三时序信息指示所述第一预定第一类型图像部分的第三CPB移除时间，其用于在所述第一预定第一类型图像部分处进行剪接的情况下确定CPB移除时间，所述第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间。
52.根据权利要求51所述的视频数据流，其中每一预定第一类型图像部分包括级联标志(96)以及第三时序信息(98)，所述级联标志可设置为所述第一状态以及第二状态，所述第二状态指示所述视频数据流尚未在相应预定第一类型图像部分处被剪接。
53.一种视频编码器，用于将视频编码为视频数据流以使得所述视频数据流包括图像部分的序列(23a)，每一图像部分中编码有视频(12a)的图像(10a)，其中所述视频编码器被配置为
将所述图像部分分类为用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
向所述视频数据流提供
每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码所述视频数据流的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
针对预定图像部分中的每一个，检查其最终CPB到达与其CPB移除之间的时间差(trm#-taf#)是否超出预定阈值，使得所述预定图像部分可以用作与另外的视频数据流(14b)的剪接点(92)之前的最后图像部分，以及
向所述视频数据流(14a)提供剪接点指示，以指示其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)超出所述预定阈值的这些预定图像部分。
54.根据权利要求53所述的视频编码器，被配置为在向所述视频数据流(14a)提供剪接点指示时，提供以下
向所述图像部分中的每一个或者图像部分的集合中的每一个提供标志(94)，其指示对于相应图像部分，其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)是否超出所述预定阈值，或者
向所述图像部分中的每一个或者图像部分的集合中的每一个提供标志(94’)，其指示对于从所述相应图像部分向前直至下一第一类型图像部分的每一图像部分，其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)是否超出所述预定阈值。
55.根据权利要求53或者54所述的视频编码器，被配置为
使用时间间预测(90)以使得所述图像部分包括不用作用于所述时间间预测的参考图像的可舍弃图像部分以及用作用于所述时间间预测的参考图像的不可舍弃图像的方式将所述视频(12a)的图像编码为所述图像部分的序列，
向所述预定第一类型图像部分中的每一个提供级联标志(96)以及第三时序信息(98)，所述级联标志可设置为指示所述视频数据流尚未在相应预定第一类型图像部分处被剪接的第二状态，所述第三时序信息指示相应第一预定第一类型图像部分的第三CPB移除时间，其用于在所述相应第一预定第一类型图像部分处进行剪接的情况下确定CPB移除时间，所述第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间。
56.根据权利要求53至55中任一项所述的视频编码器，被配置为针对每一预定图像部分，
将基于相应预定图像部分之前的最近第一类型预定图像的第二CPB移除时间确定的值用作所述预定阈值，
将基于最大第二CPB移除时间值确定的值用作所述预定阈值，并将所述最大第二CPB移除时间值的指示(99)写入所述相应预定图像部分之前的最近第一类型预定图像中。
57.一种用于管理视频解码器(44)的CPB(48)的装置(46)，所述视频解码器(44)以通过所述CPB缓冲的方式对根据权利要求51或者52所述的视频数据流(14c)进行解码，所述装置被配置为检查第一预定第一类型图像部分中的级联标志是否指示在所述第一预定第一类型图像部分处曾发生剪接入，
以如下方式确定从所述CPB移除第一预定第一类型图像部分(23b’)的时间
如果所述第一预定第一类型图像部分中的所述级联标志指示在所述第一预定第一类型图像部分处未曾发生剪接入，
则基于所述第一预定第一类型图像部分的第一时序信息进行确定，以及
如果所述第一预定第一类型图像部分中的所述级联标志指示在所述第一预定第一类型图像部分处曾发生剪接入，
则基于所述第一预定第一类型图像部分的第二时序信息和第三时序信息进行确定。
58.根据权利要求57所述的装置(46)，被配置为
以如下方式确定从所述CPB移除所述第一预定第一类型图像部分(23b’)的所述时间如果所述第一预定第一类型图像部分中的所述级联标志指示在所述第一预定第一类型图像部分处曾发生剪接入，
则基于所述第一预定第一类型图像部分的所述第二时序信息和第三时序信息通过以下来进行确定
确定以下两者之间的最大值
不可舍弃图像部分的最近CPB移除加上所述第一预定第一类型图像部分的所述第三CPB移除时间，以及
后面是且邻接所述第一预定第一类型图像部分的预定图像部分(23a’)的CPB移除加上所述第二CPB时间减去所述预定图像部分(23a’)的最终CPB到达与CPB移除之间的所述时间差(trm#-taf#)。
59.一种用于将第一视频数据流(14a)与第二视频数据流(14b)剪接在一起的装置，所述第一视频数据流(14a)和第二视频数据流(14b)之中的每一个包括
图像部分的序列(23a，b)，每一图像部分中编码有视频(12a，b)的图像(12a，b)，所述图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复视频数据流解码的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
其中所述第二视频数据流包括在第一预定第一类型图像部分中的级联标志(96)以及第三时序信息(98)，所述级联标志(96)被设置为向所述第二视频数据流指示所述第一预定第一类型图像部分继续所述第二视频数据流的第二状态，以及所述第三时序信息指示所述第一预定第一类型图像部分的第三CPB移除时间，用于在所述第一预定第一类型图像部分处对所述第二视频数据流进行剪接入时确定CPB移除时间，所述第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间，
所述装置被配置为检查所述第一视频数据流中的剪接点指示(94；94’)是否针对预定图像部分指示其CPB到达与其CPB移除之间的时间差超出预定阈值，使得所述预定图像部分可以用作在要与所述第二视频数据流剪接的所述第一视频数据流之前的最后图像部分，
如果是，则将所述第二视频数据流的所述第一预定第一类型图像部分中的所述级联标志(96)设置为第一状态，所述第一状态指示所述第二视频数据流已在所述第一预定第一类型图像部分处被剪接入，以及
分别在所述预定图像部分(26a’)以及所述第一预定第一类型图像部分(26b’)处级联所述第一数据流与所述第二数据流，以便获得经剪接的视频数据流。
60.根据权利要求59所述的装置，其进一步被配置为
如果是，则重写所述第三时序信息(98)，以便测量从所述经剪接的视频数据流内的所述第一视频数据流的不可舍弃图像部分的最近CPB移除起的经过时间。
61.根据权利要求59所述的装置，其进一步被配置为
如果是，则检查当相比于所述第二视频数据流考虑所述经剪接的视频数据流时从所述第一预定第一类型图像部分之前的不可舍弃图像部分的最近CPB移除起的经过时间是否改变，以及如果如此，则重写所述第三时序信息(98)，以便测量从所述经剪接的视频数据流内的所述第一视频数据流的不可舍弃图像部分的最近CPB移除起的经过时间。
62.根据权利要求59至61中任一项所述的装置，被配置为
检查等于所述第一视频数据流(14a)的在所述相应预定图像部分之前的最近第一类型预定图像部分的所述第二CPB移除时间的、或者从所述第二CPB移除时间确定的上限是否大于所述第二视频数据流的所述第一预定第一类型图像部分(23b’)的所述第二CPB移除时间，或者在所述第一视频数据流(14a)的在所述相应预定图像部分之前的最近第一类型预定图像部分中指示的最大第二CPB移除时间值(99)是否大于所述第二视频数据流的所述第一预定第一类型图像部分(23b’)的所述第二CPB移除时间，以及
如果两种检查都呈现为是，则执行所述设置和级联。
63.一种将视频(12)编码为视频数据流的方法，包括向所述视频数据流提供
第一时序信息(16)，其关于在对所述视频数据流(14)的完整版本(15)进行缓冲的情况下要应用于解码器侧处的第一编码图像缓冲器CPB移除时间(trm (1))，
第二时序信息(18)，其关于要应用于解码器侧处以对所述视频数据流(14)的减少版本(20)进行缓冲的第二CPB移除时间(trm (2))，所述减少版本(20)通过从所述视频数据流的所述完整版本移除(22)所述视频数据流的一部分(24)而不同于所述视频数据流。
64.一种将视频(12)编码为视频数据流的方法，包括向所述视频数据流提供
第一时序信息(16)，其关于在对所述视频数据流(14)的完整版本(15)进行缓冲的情况下要应用于解码器侧处的第一CPB移除时间(trm (1))，
第二时序信息(18)，其关于要应用于解码器侧处以对所述视频数据流(14)的减少版本(20)进行缓冲的第二CPB移除时间(trm (2))，所述减少版本(20)通过从所述视频数据流的所述完整版本移除(22)所述视频数据流的一部分(24)而不同于所述视频数据流。
65.一种转发根据权利要求1至28中任一项所述的视频数据流的方法，包括
从所述视频数据流移除所述视频数据流的所述部分(24)。
66.一种管理视频解码器(44)的CPB(48)的方法，所述视频解码器(44)以通过所述CPB缓冲的方式对根据权利要求1至28中任一项所述的视频数据流进行解码，包括根据以下来管理所述CPB
在所述视频数据流包括所述部分的情况下，所述第一时序信息(16)，
在所述部分(24)已经被移除的情况下，所述第二时序信息(18)。
67.一种将视频(12)编码为视频数据流的方法，包括向所述视频数据流提供
第一HRD时序信息数据(70a，b)，其与最小CPB馈送位速率相关，
第二HRD时序信息数据，其与最大CPB馈送位速率相关，
所述第一HRD时序信息数据和所述第二HRD时序信息数据允许通过在所述第一HRD时序信息数据与所述第二HRD时序信息数据之间进行线性内插，针对实际CPB馈送位速率进行第三HRD时序信息数据的确定。
68.一种将视频(12)编码为视频数据流的方法，包括向所述视频数据流提供
第一HRD时序信息(70)，其与最小CPB馈送位速率相关，
第二HRD时序信息(72)，其与最大CPB馈送位速率相关，
所述第一HRD时序信息(70)和所述第二HRD时序信息(72)允许通过在所述第一HRD时序信息与所述第二HRD时序信息之间进行线性内插，针对实际CPB馈送位速率进行第三HRD时序信息数据的确定。
69.一种管理视频解码器(44)的CPB(48)的方法，所述视频解码器(44)对其中编码有视频(12)的视频数据流进行解码，包括
从所述视频数据流导出
第一HRD时序信息(70)，其与最小CPB馈送位速率相关，
第二HRD时序信息(72)，其与最大CPB馈送位速率相关，
通过在所述第一HRD时序信息与所述第二HRD时序信息之间进行线性内插，针对实际CPB馈送位速率确定第三HRD时序信息，
使用所述第三HRD时序信息管理所述CPB。
70.一种将视频(12a)编码为视频数据流(14a；14c)的方法，包括向所述视频数据流提供
图像部分的序列(23a)，每一图像部分中编码有所述视频(12a)的图像(10a)，所述图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
每一图像部分中的第一时序信息(95)，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码所述视频数据流的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
剪接点指示(94，94’)，所述剪接点指示(94，94’)指示其最终CPB到达与其CPB移除之间的时间差(trm#-taf#)超出预定阈值的图像部分，使得所述图像部分可以用作在与另外的视频数据流(14b)的剪接点(92)之前的最后图像部分。
71.一种方法，其将视频(12a)编码为视频数据流使得所述视频数据流包括图像部分的序列(23a)，每一图像部分中编码有所述视频(12a)的图像(10a)，所述方法包括
将所述图像部分分类为用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
向所述视频数据流提供
每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分中的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复解码所述视频数据流的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
针对预定图像部分中的每一个，检查其最终CPB到达与其CPB移除之间的时间差(trm#-taf#)是否超出预定阈值，使得所述预定图像部分可以用作在与另外的视频数据流(14b)的剪接点(92)之前的最后图像部分，以及
向所述视频数据流(14a)提供剪接点指示，以指示其最终CPB到达与其CPB移除之间的所述时间差(trm#-taf#)超出所述预定阈值的这些预定图像部分。
72.一种管理视频解码器(44)的CPB(48)的方法，所述视频解码器(44)以通过所述CPB缓冲的方式对根据权利要求51或者52所述的视频数据流(14c)进行解码，所述方法包括
检查第一预定第一类型图像部分中的级联标志是否指示在所述第一预定第一类型图像部分处曾发生剪接入，
以如下方式确定从所述CPB移除所述第一预定第一类型图像部分的时间
如果所述第一预定第一类型图像部分中的所述级联标志指示在所述第一预定第一类型图像部分处未曾发生剪接入，
则基于所述第一预定第一类型图像部分的第一时序信息进行确定，以及
如果所述第一预定第一类型图像部分中的所述级联标志指示在所述第一预定第一类型图像部分处曾发生剪接入，
则基于所述第一预定第一类型图像部分的第二和第三时序信息进行确定。
73.一种将第一视频数据流(14a)与第二视频数据流(14b)剪接在一起的方法，所述第一视频数据流(14a)和第二视频数据流(14b)之中的每一个包括
图像部分的序列(23a，b)，每一图像部分中编码有视频(12a，b)的图像(12a，b)，所述图像部分包括用作CPB移除时间参考的第一类型图像部分以及第二类型图像部分，
每一图像部分中的第一时序信息，其关于相应图像部分的第一CPB移除时间，所述第一CPB移除时间测量从之前的第一类型图像部分的移除起的经过时间，以及
预定第一类型图像部分的每一个中的第二时序信息，其关于在从相应预定第一类型图像部分向前恢复视频数据流解码的情况下所述相应预定第一类型图像部分的第二CPB移除时间，所述第二CPB移除时间测量从所述相应预定第一类型图像部分的第一位的CPB到达起的经过时间，
其中所述第二视频数据流包括在第一预定第一类型图像部分中的级联标志(96)和第三时序信息(98)，所述级联标志(96)被设置为向所述第二视频数据流指示所述第一预定第一类型图像部分继续所述第二视频数据流的第二状态，以及所述第三时序信息指示所述第一预定第一类型图像部分的第三CPB移除时间，用于在所述第一预定第一类型图像部分处对所述第二视频数据流进行剪接入时确定CPB移除时间，所述第三CPB移除时间测量从不可舍弃图像部分的最近CPB移除起的经过时间，
所述方法包括
检查所述第一视频数据流中的剪接点指示(94；94’)是否针对预定图像部分指示其CPB到达与其CPB移除之间的时间差超出预定阈值，使得所述预定图像部分可以用作在要与所述第二视频数据流剪接的第一视频数据流之前的最后图像部分，
如果是，则将所述第二视频数据流的所述第一预定第一类型图像部分中的所述级联标志(96)设置为第一状态，所述第一状态指示所述第二视频数据流已在所述第一预定第一类型图像部分处剪接入，以及
分别在所述预定图像部分(26a’)以及所述第一预定第一类型图像部分(26b’)处级联所述第一数据流和所述第二数据流，以便获得经剪接的视频数据流。
CN202080032895.0A 2019-03-01 2020-02-27 假想参考解码器 Pending CN113785584A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19160423.0 2019-03-01
EP19160423 2019-03-01
PCT/EP2020/055122 WO2020178126A1 (en) 2019-03-01 2020-02-27 Hypothetical reference decoder

Publications (1)

Publication Number Publication Date
CN113785584A true CN113785584A (zh) 2021-12-10

Family

ID=65729088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032895.0A Pending CN113785584A (zh) 2019-03-01 2020-02-27 假想参考解码器

Country Status (9)

Country Link
US (1) US11936889B2 (zh)
EP (1) EP3932069A1 (zh)
JP (2) JP7346585B2 (zh)
KR (1) KR20220008254A (zh)
CN (1) CN113785584A (zh)
BR (1) BR112021017426A2 (zh)
MX (1) MX2021010393A (zh)
TW (1) TWI759695B (zh)
WO (1) WO2020178126A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847073A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220408098A1 (en) * 2021-06-18 2022-12-22 Tencent America LLC Block-wise entropy coding method in neural image compression
EP4391539A1 (en) * 2021-08-18 2024-06-26 Nippon Telegraph And Telephone Corporation Video transmission device, video reception device, video transmission method, video reception method, video transmission program, and video reception program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279280A1 (en) * 2007-05-07 2008-11-13 Masayasu Iguchi Moving picture decoding integrated circuit
US20090180545A1 (en) * 2008-01-11 2009-07-16 Apple Inc. Hypothetical reference decoder
US20140079140A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US20140086344A1 (en) * 2012-09-24 2014-03-27 Qualcomm Incorporated Coded picture buffer arrival and nominal removal times in video coding
US20140355692A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
CN104221387A (zh) * 2012-04-04 2014-12-17 高通股份有限公司 在视频译码中的低延迟视频缓冲
US20160134896A1 (en) * 2013-07-15 2016-05-12 Ge Video Compression, Llc Layer id signaling using extension mechanism
US20190014337A1 (en) * 2016-02-09 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for picture/video data streams allowing efficient reducibility or efficient random access

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257162B2 (en) * 2002-07-02 2007-08-14 Conexant Systems, Inc. Hypothetical reference decoder for compressed image and video
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
WO2015037373A1 (ja) * 2013-09-12 2015-03-19 ソニー株式会社 符号化装置、送信装置および受信装置
WO2015138979A2 (en) * 2014-03-14 2015-09-17 Sharp Laboratories Of America, Inc. Dpb capacity limits
CN115967801A (zh) * 2018-01-25 2023-04-14 弗劳恩霍夫应用研究促进协会 有效子图片提取

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279280A1 (en) * 2007-05-07 2008-11-13 Masayasu Iguchi Moving picture decoding integrated circuit
US20090180545A1 (en) * 2008-01-11 2009-07-16 Apple Inc. Hypothetical reference decoder
CN104221387A (zh) * 2012-04-04 2014-12-17 高通股份有限公司 在视频译码中的低延迟视频缓冲
US20140079140A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Video coding with improved random access point picture behaviors
CN104641637A (zh) * 2012-09-20 2015-05-20 高通股份有限公司 具有改善随机存取点图片行为的视频译码
JP2015533048A (ja) * 2012-09-20 2015-11-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング
US20140086344A1 (en) * 2012-09-24 2014-03-27 Qualcomm Incorporated Coded picture buffer arrival and nominal removal times in video coding
CN104662915A (zh) * 2012-09-24 2015-05-27 高通股份有限公司 扩展解码单元定义
US20140355692A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US20160134896A1 (en) * 2013-07-15 2016-05-12 Ge Video Compression, Llc Layer id signaling using extension mechanism
US20190014337A1 (en) * 2016-02-09 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for picture/video data streams allowing efficient reducibility or efficient random access

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847073A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847075A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847076A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847071A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847079A (zh) * 2022-10-13 2023-10-03 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847071B (zh) * 2022-10-13 2024-04-02 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频解码装置
CN116847076B (zh) * 2022-10-13 2024-04-05 弗劳恩霍夫应用研究促进协会 使用编码图片缓存器的视频编码
CN116847079B (zh) * 2022-10-13 2024-04-05 弗劳恩霍夫应用研究促进协会 一种用于视频解码的装置
US11962812B1 (en) 2022-10-13 2024-04-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer
US11962813B1 (en) 2022-10-13 2024-04-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer
CN116847073B (zh) * 2022-10-13 2024-05-28 弗劳恩霍夫应用研究促进协会 使用编解码图片缓存器的视频编解码方法
US11997320B2 (en) 2022-10-13 2024-05-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer
US12022131B2 (en) 2022-10-13 2024-06-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Also Published As

Publication number Publication date
WO2020178126A1 (en) 2020-09-10
EP3932069A1 (en) 2022-01-05
MX2021010393A (es) 2021-11-12
JP2022522767A (ja) 2022-04-20
TW202038616A (zh) 2020-10-16
JP7346585B2 (ja) 2023-09-19
KR20220008254A (ko) 2022-01-20
TWI759695B (zh) 2022-04-01
US20210392353A1 (en) 2021-12-16
JP2023164964A (ja) 2023-11-14
US11936889B2 (en) 2024-03-19
BR112021017426A2 (pt) 2022-01-18

Similar Documents

Publication Publication Date Title
KR102659283B1 (ko) 비디오 데이터 스트림 개념
JP6058736B2 (ja) 映像シーケンスのピクチャの復号化及び符号化
US11936889B2 (en) Hypothetical reference decoder
US12022131B2 (en) Video coding using a coded picture buffer
US20240244240A1 (en) Hypothetical reference decoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065735

Country of ref document: HK