CN115442621B

CN115442621B - 编码视频内容的装置、重构视频内容的装置和方法

Info

Publication number: CN115442621B
Application number: CN202210892431.8A
Authority: CN
Inventors: 托马斯·席尔; 瓦莱里·乔治; 阿纳斯塔西娅·亨凯; 德特勒夫·马佩; 卡斯滕·格吕内贝格; 罗伯特·斯库平
Original assignee: GE Video Compression LLC
Current assignee: GE Video Compression LLC
Priority date: 2012-06-29
Filing date: 2013-07-01
Publication date: 2024-05-31
Anticipated expiration: 2033-07-01
Also published as: JP2020065292A; IL305350B1; CN115442624A; TWI769904B; TW202201961A; WO2014001573A1; US20150208095A1; CN115442626A; EP3905697A1; US11025958B2; TWI584637B; IL299951A; IL277485A; RU2720534C2; KR101858200B1; MX2014016063A; JP2017118564A; JP7021167B2; CN115442623A; TW202007152A

Abstract

本发明涉及编码视频内容的装置、重构视频内容的装置和方法。视频数据流，具有以视频内容的图像的子部分为单位编码至其中的视频内容，分别将每一子部分编码至视频数据流的封包序列的一或多个有效负载封包中，封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容的各图像有关的有效负载封包，其中，封包序列具有穿插在其中的时序控制封包，因此时序控制封包将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，其中，每一时序控制封包用信号发出解码单元的解码器缓冲器撷取时间，解码单元的有效负载封包在封包序列中接在各时序控制封包后面。

Description

编码视频内容的装置、重构视频内容的装置和方法

本申请是国际申请日2013年7月1日、国际申请号为PCT/EP2013/063853的国际申请于2014年12月29日进入国家阶段的申请号为201380034944.4、发明名称为“视频数据流概念技术”的发明申请的分案申请201910661351.X的分案申请，其全部内容结合于此作为参考。

技术领域

本申请案关于视频数据流概念技术，特定言之，该等概念技术在低延迟应用方面是有利的。

背景技术

HEVC[2]允许向应用层进行高阶语法发信号的不同手段。此等手段系NAL单元标头、参数集及补充增强信息(SEI)讯息。在解码过程中不使用SEI讯息。高阶语法发信号的其他手段源自于个别传输协议规定，诸如MPEG2传输协议[3]或实时传输协议[4]，及其有效负载特殊规定，例如对于H.264/AVC[5]、可缩放视频编码(SVC)[6]或HEVC[7]的建议。此等传输协议可介绍高阶发信号，其所使用的结构及机构与个别应用层编码解码器规定(例如HEVC[2])之高阶发信号类似。此发信号的一实例为如[6]中所描述的有效负载内容可缩放性信息(PACSI)NAL单元，其为传输层提供补充信息。

就参数集而言，HEVC包括视频参数集(VPS)，该参数集在单个及中央位置编译将由应用层使用之最重要的流信息。在较早的方法中，需要自多个参数集及NAL单元标头收集此信息。

在本申请案之前，关于假想参考解码器(HRD)的已编码图像缓冲器(CPB)操作之标准的状态，以及在序列参数集(SPS)/视频可用性信息(VUI)、图像时序SEI、缓冲周期SEI以及解码单元之定义(其描述子图像及如片段标头以及图像参数集(PPS)中所呈现的相依性片段的语法)中提供的所有相关语法如下。

为了允许子图像层级上的低延迟CPB操作，已提议子图像CPB操作并且将其并入HEVC标准草案7JCTVC-I1003[2]中。尤其在此处，在[2]的第3章节中已将解码单元定义为：

解码单元:存取单元或存取单元的子集。若SubPicCpbFlag等于0，则解码单元系存取单元。否则，解码单元由存取单元中的一或多个VCL NAL单元及相关非VCL NAL单元组成。就存取单元中的第一个VCL NAL单元而言，相关非VCL NAL单元系紧接在第一个VCL NAL单元之后的填充符数据NAL单元(若存在)以及在该存取单元中位于第一个VCL NAL单元之前的所有非VCL NAL单元。就并非存取单元中的第一个VCL NAL单元之VCL NAL单元而言，相关非VCL NAL单元系紧接在该VCL NAL单元之后的填充符数据NAL单元(若存在)。

到那时为止已定义的标准中，已描述「解码单元移除时序及解码单元解码」。为了用信号发出子图像时序，已扩展缓冲周期SEI讯息及图像时序SEI讯息以及VUI中的HRD参数来支持解码单元，如子图像单元。

[2]的缓冲周期SEI讯息语法展示于图1中。

当NalHrdBpPresentFlag或VclHrdBpPresentFlag等于1时，缓冲周期SEI讯息可与位流中的任何存取单元相关，且缓冲周期SEI讯息将与每一RAP存取单元及关联于恢复点SEI讯息的每一存取单元相关。

对于一些应用，缓冲周期SEI讯息的频繁出现可能是理想的。

缓冲周期规定为按解码次序在缓冲周期SEI讯息的两个例所述的间的存取单元的集合。

语义如下：

seq_parameter_set_id规定含有序列HRD属性的序列参数集。seq_parameter_set_id的值将等于与缓冲周期SEI讯息相关的主要已编码图像所参考的图像参数集中的seq_parameter_set_id的值。seq_parameter_set_id的值将在0至31的范围内(包括0及31)。

rap_cpb_params_present_flag等于1规定initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]语法元素的存在。当不存在时，推断rap_cpb_params_present_flag的值等于0。当相关图像既非CRA图像亦非BLA图像时，rap_cpb_params_present_flag的值将等于0。

initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]规定第SchedSelIdx个CPB的初始CPB移除延迟。该等语法元素具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度，且以90kHz的时钟为单位。该等语法元素的值将不等于0且将不超过90000*(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，其是以90kHz的时钟为单位的CPB大小的时间等效物。

initial_cpb_removal_delay_offset[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]用于第SchedSelIdx个CPB，来规定已编码数据单元至该CPB的初始递送时间。该等语法元素具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度，且以90kHz的时钟为单位。此等语法元素并不被解码器所使用且仅为递送排程器(HSS)所需要。

在整个已编码视频序列上，initial_cpb_removal_delay[SchedSelIdx]与initial_cpb_removal_delay_offset[SchedSelIdx]的总和对于SchedSelIdx的每值将为恒定的，且initial_alt_cpb_removal_delay[SchedSelIdx]与initial_alt_cpb_removal_delay_offset[SchedSelIdx]的总和对于SchedSelIdx的每值将为恒定的。

[2]的图像时序SEI讯息语法展示于图2中。

图像时序SEI讯息的语法取决于对与图像时序SEI讯息相关的已编码图像有效的序列参数集的内容。然而，除非IDR或BLA存取单元的图像时序SEI讯息之前有位于同一存取单元内的缓冲周期SEI讯息，否则相关序列参数集的启动(以及，就并非位流中的第一个图像的IDR或BLA图像而言，对已编码图像系IDR图像或BLA图像的判定)在已编码图像的第一个已编码片段NAL单元的解码以前不会发生。因为已编码图像的已编码片段NAL单元按NAL单元次序接在图像时序SEI讯息之后，所以可能存在如下情况：解码器有必要在判定将对已编码图像有效的序列参数之参数以前储存含有图像时序SEI讯息的RBSP，且接着执行图像时序SEI讯息的剖析。

位流中图像时序SEI讯息的存在规定如下。

-若CpbDpbDelaysPresentFlag等于1，则已编码视频序列之每个存取单元中将存在一个图像时序SEI讯息。

-否则(CpbDpbDelaysPresentFlag等于0)，已编码视频序列的任何存取单元中将不存在图像时序SEI讯息。

语义定义如下：

cpb_removal_delay规定在自与先前存取单元中的最近缓冲周期SEI讯息相关的存取单元的cpb进行移除之后，在自缓冲器移除与图像时序SEI讯息相关的存取单元数据之前，要等待多少个时钟刻度。此值亦用来为HSS计算存取单元数据到达CPB之最早可能时间。该语法元素系固定长度码，其以位为单位的长度由cpb_removal_delay_length_minus1+1给出。cpb_removal_delay系模2^{(cpb_removal_delay_length_minus1+1)}计数器的余数。

判定语法元素cpb_removal_delay的长度(以位为单位)的cpb_removal_delay_length_minus1的值为编码于对与图像时序SEI讯息相关的主要已编码图像有效的序列参数集中的cpb_removal_delay_length_minus1的值，但cpb_removal_delay规定与含有缓冲周期SEI讯息的先前存取单元的移除时间有关的时钟刻度数。

dpb_output_delay用来计算图像的dpb输出时间。其规定在自CPB移除存取单元中之最后一个解码单元之后，在自DPB输出已解码图像之前，要等待多少个时钟刻度。

图像在其输出时间自DPB移除，此时其仍标记为「用于短期参考」或「用于长期参考」。

对于已解码图像，规定仅一个dpb_output_delay。

语法元素dpb_output_delay的长度由dpb_output_delay_length_minus1+1以位为单位给出。当sps_max_dec_pic_buffering[max_temporal_layers_minus1]等于0时，dpb_output_delay将等于0。

由自符合输出时间的解码器输出的任何图像的dpb_output_delay导出的输出时间按解码次序将在由任何后续已编码视频序列中的所有图像的dpb_output_delay导出的输出时间之前。

此语法元素的值所确定的图像输出次序将与PicOrderCntVal的值所确定的次序相同。

对于并非由「冲撞(bumping)」过程输出的图像(因为该等图像按解码次序在no_output_of_prior_pics_flag等于1或经推断系等于1的IDR或BLA图像之前)，由dpb_output_delay导出的输出时间关于同一已编码视频序列内的所有图像将随着PicOrderCntVal值增加而增加。

num_decoding_units_minus1加1规定图像时序SEI讯息所关联的存取单元中之解码单元数。num_decoding_units_minus1的值将在0至PicWidthInCtbs*PicHeightInCtbs-1的范围内(包括0及PicWidthInCtbs*PicHeightInCtbs-1)。

num_nalus_in_du_minus1[i]加1规定图像时序SEI讯息所关联的存取单元的第i个解码单元中的NAL单元数。num_nalus_in_du_minus1[i]的值将在0至PicWidthInCtbs*PicHeightInCtbs-1的范围内(包括0及PicWidthInCtbs*PicHeightInCtbs-1)。

存取单元的第一个解码单元由存取单元中按解码次序的第一num_nalus_in_du_minus[0]+1个连续NAL单元组成。存取单元的第i个(其中i大于0)解码单元由按解码次序紧接在存取单元的前解码单元中之最后一个NAL单元之后的num_nalus_in_du_minus[i]+1个连续NAL单元组成。每解码单元中将存在至少一VCL NAL单元。与VCL NAL单元相关的所有非VCL NAL单元将包括于同解码单元中。

du_cpb_removal_delay[i]规定在自与先前存取单元中的最近缓冲周期SEI讯息相关的存取单元的第一个解码单元的cpb进行移除之后，在自CPB移除与图像时序SEI讯息相关的存取单元中的第i个解码单元之前，要等待多少个子图像时钟刻度。此值亦用来为HSS计算解码单元数据到达CPB之最早可能时间。该语法元素系固定长度码，其以位为单位的长度由cpb_removal_delay_length_minus1+1给出。du_cpb_removal_delay[i]系模2^(cpb ^{_removal_delay_length_minus1+1)}计数器的余数。

判定语法元素du_cpb_removal_delay[i]的长度(以位为单位)的cpb_removal_delay_length_minus1的值为编码于对与图像时序SEI讯息相关的已编码图像有效的序列参数集中的cpb_removal_delay_length_minus1的值，但du_cpb_removal_delay[i]规定与含有缓冲周期SEI讯息的先前存取单元中的第一个解码单元的移除时间有关的子图像时钟刻度数。

[2]之VUI语法中含有某种信息。[2]之VUI参数语法展示于图3A和图3B中。[2]的HRD参数语法展示于图4中。语义定义如下：

sub_pic_cpb_params_present_flag等于1规定子图像层级CPB移除延迟参数存在且CPB可在存取单元层级或子图像层级上操作。sub_pic_cpb_params_present_flag等于0规定子图像层级CPB移除延迟参数不存在且CPB在存取单元层级上操作。当sub_pic_cpb_params_present_flag不存在时，推断其值等于0。

num_units_in_sub_tick在频率time_scale Hz操作的时钟的时间单位数，其对应于子图像时钟刻度计数器之一个增量(称为子图像时钟刻度)。num_units_in_sub_tick将大于0。子图像时钟刻度系当sub_pic_cpb_params_present_flag等于1时可在已编码数据中表示的最小时间间隔。

tiles_fixed_structure_flag等于1指示已编码视频序列中每一有效的图像参数集具有以下语法元素之相同值：num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width[i]、row_height[i]及loop_filter_across_tiles_enabled_flag(当存在时)。tiles_fixed_structure_flag等于0指示不同图像参数集中之片段语法元素可能或可能不具有相同值。当tiles_fixed_structure_flag语法元素不存在时，推断其等于0。

用信号发出tiles_fixed_structure_flag等于1系对解码器的如下保证：已编码视频序列中的每一图像具有以相同方式分布的相同数目个图块，其可能对多线程解码情况下的工作量分配有用。

使用图5中展示之填充符数据RBSP语法用信号发出[2]的填充符数据。

用来检查位流及解码器符合性的[2]的假想参考解码器定义如下：

两种类型的位流经受针对此建议|国际标准的HRD符合性核对。第一种此类型的位流(称为类型I位流)系仅含有针对位流中的所有存取单元之VCL NAL单元及填充符数据NAL单元的NAL单元流。第二种此类型的位流(称为类型II位流)除了针对位流中的所有存取单元之VCL NAL单元及填充符数据NAL单元之外，还含有以下各者中之至少一者：

-除了填充符数据NAL单元之外的额外非VCL NAL单元，

-所有leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes及trailing_zero_8bits语法元素，上述各者形成来自NAL单元流的比特流。

图6展示由[2]的HRD检查的位流符合性点的类型。

使用两种类型的HRD参数集(NAL HRD参数及VCL HRD参数)。经由视频可用性信息用信号发出该等HRD参数集，该视频可用性信息系序列参数集语法结构的部分。

将以及时方式在位流中或藉由其他手段将VCL NAL单元中所参考的所有序列参数集及图像参数集以及对应的缓冲周期及图像时序SEI讯息传达至HRD。

当藉由此建议|国际标准未规定的其他手段将彼等NAL单元(或仅其中一些)传达至解码器(或传达至HRD)时，亦满足针对非VCL NAL单元之「存在」的规定。出于对位计数之目的，仅对位流中实际存在的适当位计数。

作为一实例，藉由除了位流中的存在之外的手段所传达的非VCL NAL单元与存在于位流中的NAL单元的同步可藉由指示位流中的两个点来达成，在该两个点之间，非VCLNAL单元将已经存在于位流中(若编码器决定在位流中传达该单元)。

当非VCL NAL单元的内容为藉由除了位流内的存在之外的某种手段来传达以便应用时，不要求非VCL NAL单元的内容的表示使用相同语法。

请注意，当位流内含有HRD信息时，可能仅基于位流内所含的信息来验证位流对此子条款的要求的符合性。当位流中不存在HRD信息时(如同所有「独立的」类型I位流的情况)，仅当藉由此建议|国际标准中未规定的某种其他手段供应了HRD数据时才可验证符合性。

HRD含有已编码图像缓冲器(CPB)、瞬时解码过程、已解码图像缓冲器(DPB)及输出修剪，如图7中所展示。

CPB大小(位数)为CpbSize[SchedSelIdx]。针对0至sps_max_temporal_layers_minus1之范围内(包括0及sps_max_temporal_layers_minus1)的每一X，时间层X的DPB大小(图像储存缓冲器数)系sps_max_dec_pic_buffering[X]。

变量SubPicCpbPreferredFlag由外部手段规定，或当未由外部手段规定时设定为0。

变量SubPicCpbFlag系导出如下：

SubPicCpbFlag＝SubPicCpbPreferredFlag&&sub_pic_cpb_params_present_flag

若SubPicCpbFlag等于0，则CPB在存取单元层级上操作且每解码单元系存取单元。否则，CPB在子图像层级上操作且每解码单元系存取单元的子集。

HRD如下操作。藉由HSS递送与根据规定的到达排程流入CPB中之解码单元相关的数据。在CPB移除时间藉由瞬时解码过程瞬时移除并解码与每解码单元相关的数据。将每一已解码图像置于DPB中。在稍后的DPB输出时间或已经不再需要框间预测参考的时间，自DPB移除已解码图像。

如缓冲周期SEI所规定来初始化HRD。在图像时序SEI讯息中规定自CPB移除解码单元的移除时序及自DPB输出已解码图像的输出时序。与特定解码单元相关的所有时序信息将在解码单元的cpb移除时间之前到达。

使用HRD来检查位流及解码器之符合性。

虽然在假设用来产生位流的所有帧速率及时钟完全匹配在位流中用信号发出的值的情况下保证了符合性，但在实际系统中，此等帧速率及时钟中的每一者可能不同于用信号发出的或规定的值。

用实际值完成所有算术，因此舍位误差不会传播。例如，紧接在解码单元的移除之前或之后，CPB中的位数不一定为整数。

变量t_c系导出如下且被称为时钟刻度：

t_c＝num_units_in_tick÷time_scale

变量t_{c_sub}系导出如下且被称为子图像时钟刻度：

t_{c_sub}＝num_units_in_sub_tick÷time_scale

规定以下内容来表达限制条件：

-使存取单元n为按解码次序的第n个存取单元，其中第一个存取单元系存取单元0。

-使图像n为存取单元n的已编码图像或已解码图像。

-使解码单元m为按解码次序的第m个存取单元，其中第一个解码单元系解码单元0。

在[2]中，片段标头语法允许所谓的相依性片段。

图8展示出[2]的片段标头语法。

片段标头语义定义如下：

dependent_slice_flag等于1规定推断每一不存在的片段标头语法元素的值等于含有编码树区块的先前片对中的对应的片段标头语法元素的值，针对该编码树区块，编码树区块地址系SliceCtbAddrRS-1。当不存在时，推断dependent_slice_flag的值等于0。当SliceCtbAddrRS等于0时，dependent_slice_flag的值将等于0。

slice_address规定片段细微度解析中的地址，片段在该地址开始。slice_address语法元素的长度为(Ceil(Log2(PicWidthInCtbs*PicHeightInCtbs))+SliceGranularity)个位。

规定编码树区块(其中片段按编码树区块光栅扫描次序开始)的变量SliceCtbAddrRS系导出如下。

SliceCtbAddrRS＝(slice_address>>SliceGranularity)

规定片段中按最小编码区块细微度、按z扫描次序的第一个编码区块之地址的变量SliceCbAddrZS系导出如下。

SliceCbAddrZS＝slice_address

<<((log2_diff_max_min_coding_block_size-SliceGranularity)<<1)

片段解码从片段开始坐标处可能的最大编码单元开始。

first_slice_in_pic_flag指示片段是否为图像的第一个片段。若first_slice_in_pic_flag等于1，则变量SliceCbAddrZS及SliceCtbAddrRS皆被设定为0且解码从图像中的第一个编码树区块开始。

pic_parameter_set_id规定使用中的图像参数集。pic_parameter_set_id的值将在0至255的范围内(包括0及255)。

num_entry_point_offsets规定片段标头中entry_point_offset[i]语法元素的数目。当tiles_or_entropy_coding_sync_idc等于1时，num_entry_point_offsets的值将在0至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1的范围内(包括0及(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1)。当tiles_or_entropy_coding_sync_idc等于2时，num_entry_point_offsets的值将在0至PicHeightInCtbs-1的范围内(包括0及PicHeightInCtbs-1)。当不存在时，推断num_entry_point_offsets的值等于0。

offset_len_minus1加1规定entry_point_offset[i]语法元素之以位为单位的长度。

entry_point_offset[i]规定以字节为单位的第i个入口点偏移且将由offset_len_minus1加1个位来表示。在片段标头后的已编码片段数据由num_entry_point_offsets+1个子集组成，其中子集索引值在0至num_entry_point_offsets之范围内(包括0及num_entry_point_offsets)。子集0由已编码片段数据的字节0至entry_point_offset[0]-1组成(包括0及entry_point_offset[0]-1)，子集k(其中k在1至num_entry_point_offsets-1的范围内(包括1及num_entry_point_offsets-1))由已编码片段数据的字节entry_point_offset[k-1]至entry_point_offset[k]+entry_point_offset[k-1]-1组成(包括entry_point_offset[k-1]及entry_point_offset[k]+entry_point_offset[k-1]-1)，且最后一个子集(其中子集索引等于num_entry_point_offsets)由已编码片段数据之剩余字节组成。

当tiles_or_entropy_coding_sync_idc等于1且num_entry_point_offsets大于0时，每一子集将含有正好一个图块的所有已编码位，且子集数(即，num_entry_point_offsets+1的值)将等于或小于片段中的图块的数目。

当tiles_or_entropy_coding_sync_idc等于1时，每一片段必须包括一个图块的子集(在该情况下，用信号发出入口点并非必要的)或整数个完整图块。

当tiles_or_entropy_coding_sync_idc等于2且num_entry_point_offsets大于0时，每一子集k(其中k在0至num_entry_point_offsets-1的范围内(包括0及num_entry_point_offsets-1))将含有正好一列编码树区块的所有已编码位，最后一个子集(其中子集索引等于num_entry_point_offsets)将含有片段中所包括的剩余编码区块的所有已编码位，其中剩余编码区块由正好一列编码树区块或一列编码树区块的子集组成，且子集数(即，num_entry_point_offsets+1的值)将等于片段中的编码树区块的列数，其中亦对片段中一列编码树区块的子集计数。

当tiles_or_entropy_coding_sync_idc等于2时，片段可包括若干列编码树区块及一列编码树区块的子集。例如，若片段包括2.5列编码树区块，且子集数(即，num_entry_point_offsets+1的值)将等于3。

图9展示出[2]的图像参数集RBSP语法，[2]的图像参数集RBSP语义定义如下：

dependent_slice_enabled_flag等于1规定语法元素dependent_slice_flag在参考该图像参数集的已编码图像的片段标头中的存在。dependent_slice_enabled_flag等于0规定语法元素dependent_slice_flag在参考该图像参数集的已编码图像的片段标头中的不存在。当tiles_or_entropy_coding_sync_idc等于3时，dependent_slice_enabled_flag的值将等于1。

tiles_or_entropy_coding_sync_idc等于0规定：参考该图像参数集的每一图像中将存在仅一个图块，在解码参考该图像参数集的每一图像中的一列编码树区块的第一个编码树区块之前将不调用针对情境变量的特定同步过程，且参考该图像参数集的已编码图像的cabac_independent_flag及dependent_slice_flag的值将不会皆等于1。

当cabac_independent_flag及dependent_slice_flag针对一片段皆等于1时，该片段为熵片段。

tiles_or_entropy_coding_sync_idc等于1规定：参考该图像参数集的每一图像中将存在一个以上的图块，在解码参考该图像参数集的每一图像中的一列编码树区块的第一个编码树区块之前将不调用针对情境变量的特定同步过程，且参考该图像参数集的已编码图像的cabac_independent_flag及dependent_slice_flag的值将不会皆等于1。

tiles_or_entropy_coding_sync_idc等于2规定：参考该图像参数集的每一图像中将存在仅一个图块，在解码参考该图像参数集的每一图像中的一列编码树区块的第一个编码树区块之前将调用针对情境变量的特定同步过程，且在解码参考该图像参数集的每一图像中的一列编码树区块的两个编码树区块之后将调用针对情境变量的特定记忆过程，且参考该图像参数集的已编码图像的cabac_independent_flag及dependent_slice_flag的值将不会皆等于1。

tiles_or_entropy_coding_sync_idc等于3规定：参考该图像参数集的每一图像中将存在仅一个图块，在解码参考该图像参数集的每一图像中的一列编码树区块的第一个编码树区块之前将不调用针对情境变量的特定同步过程，且参考该图像参数集的已编码图像的cabac_independent_flag及dependent_slice_flag的值可皆等于1。

当dependent_slice_enabled_flag将不等于0时，tiles_or_entropy_coding_sync_idc将不等于3。

位流符合性的要求为，针对在已编码视频序列内所启动的所有图像参数集，tiles_or_entropy_coding_sync_idc的值将相同。

就参考该图像参数集的每一片段而言，当tiles_or_entropy_coding_sync_idc等于2且该片段中的第一个编码区块并非一列编码树区块的第一个编码树区块中的第一个编码区块时，该片段中的最后一个编码区块将与该片段中的第一个编码区块属于同一列编码树区块。

num_tile_columns_minus1加1规定分割该图像的图块行的数目。

num_tile_rows_minus1加1规定分割该图像的图块列的数目。当num_tile_columns_minus1等于0时，num_tile_rows_minus1将不会等于0。

uniform_spacing_flag等于1规定行边界以及列边界跨越该图像均匀地分布。uniform_spacing_flag等于0规定行边界以及列边界并非跨越该图像均匀地分布，而是使用语法元素column_width[i]及row_height[i]来明确地用信号发出行边界以及列边界。

column_width[i]规定以编码树区块为单位的第i个图块行之宽度。

row_height[i]规定以编码树区块为单位的第i个图块列之高度。

向量colWidth[i]规定以CTB为单位的第i个图块行之宽度，其中行i在0至num_tile_columns_minus1的范围内(包括0及num_tile_columns_minus1)。

向量CtbAddrRStoTS[ctbAddrRS]规定自按光栅扫描次序的CTB地址至按图块扫描次序的CTB地址之转换，其中索引ctbAddrRS在0至(picHeightInCtbs*picWidthInCtbs)-1的范围内(包括0及(picHeightInCtbs*picWidthInCtbs)-1)。

向量CtbAddrTStoRS[ctbAddrTS]规定自按图块扫描次序的CTB地址至按光栅扫描次序的CTB地址之转换，其中索引ctbAddrTS在0至(picHeightInCtbs*picWidthInCtbs)-1的范围内(包括0及(picHeightInCtbs*picWidthInCtbs)-1)。

向量TileId[ctbAddrTS]规定自按图块扫描次序的CTB地址至图块id之转换，其中ctbAddrTS在0至(picHeightInCtbs*picWidthInCtbs)-1的范围内(包括0及(picHeightInCtbs*picWidthInCtbs)-1)。

colWidth、CtbAddrRStoTS、CtbAddrTStoRS及TileId的值为藉由调用如子条款6.5.1中所规定的CTB光栅及图块扫描转换过程而导出，其以PicHeightInCtbs及PicWidthInCtbs作为输入，且将输出指派给colWidth、CtbAddrRStoTS、CtbAddrTStoRS及TileId。

ColumnWidthInLumaSamples[i](其规定以明度样本为单位的第i个图块行的宽度)的值被设定为等于colWidth[i]<<Log2CtbSize。

数组MinCbAddrZS[x][y](其规定自以最小CB为单位的位置(x,y)至按z扫描次序的最小CB地址之转换，其中x在0至picWidthInMinCbs-1的范围内(包括0及picWidthInMinCbs-1)，且y在0至picHeightInMinCbs-1的范围内(包括0及picHeightInMinCbs-1))藉由调用如子条款6.5.2中所规定的Z扫描次序数组初始化过程而导出，其以Log2MinCbSize、Log2CtbSize、PicHeightInCtbs、PicWidthInCtbs及向量CtbAddrRStoTS作为输入，且将输出指派给MinCbAddrZS。

loop_filter_across_tiles_enabled_flag等于1规定跨越图块执行循环内滤波操作。loop_filter_across_tiles_enabled_flag等于0规定不跨越图块执行循环内滤波操作。循环内滤波操作包括解区块(deblocking)滤波、样本适应性偏移及适应性循环滤波操作。当不存在时，推断loop_filter_across_tiles_enabled_flag的值等于1。

cabac_independent_flag等于1规定片段中的编码区块的CABAC解码与先前已解码的片段的任何状态无关。cabac_independent_flag等于0规定片段中的编码区块的CABAC解码取决于先前已解码的片段的状态。当不存在时，推断cabac_independent_flag的值等于0。

具有最小编码区块地址的编码区块的可用性的导出过程系描述如下：

对此过程的输入为

-按z扫描次序的最小编码区块地址minCbAddrZS

-按z扫描次序的当前最小编码区块地址currMinCBAddrZS

此过程的输出为具有按z扫描次序的最小编码区块地址的编码区块的可用性cbAvailable。

请注意，在调用此过程时，判定可用性之含义。

请注意，任何编码区块，无论其大小如何，均与最小编码区块地址相关，最小编码区块地址按z扫描次序的具有最小编码区块大小的编码区块的地址。

-若以下条件中之一或多者为真，则将cbAvailable设定为假。

-minCbAddrZS小于0

-minCbAddrZS大于currMinCBAddrZS

-具有最小编码区块地址minCbAddrZS的编码区块属于与具有当前最小编码区块地址currMinCBAddrZS的编码区块不同的片段，且含有具有当前最小编码区块地址currMinCBAddrZS的编码区块的片段的dependent_slice_flag等于0

-具有最小编码区块地址minCbAddrZS的编码区块系包含于与具有当前最小编码区块地址currMinCBAddrZS的编码区块不同的图块中。

-否则，将cbAvailable设定为真。

[2]之针对片段数据的CABAC剖析过程如下：

在剖析具有描述符ae(v)的语法元素时，调用此过程。

对此过程的输入为，对语法元素的值的请求及先前已剖析的语法元素的值。

此过程的输出系语法元素的值。

当开始对片段的片段数据的剖析时，调用CABAC剖析过程的初始化过程。

使用当前编码树区块之左上角明度样本的位置(x0,y0)，将含有空间相邻区块T(图10A)的编码树区块之最小编码区块地址导出如下。

x＝x0+2<<Log2CtbSize-1

y＝y0-1

ctbMinCbAddrT＝MinCbAddrZS[x>>Log2MinCbSize][y>>Log2MinCbSize]

藉由调用以ctbMinCbAddrT作为输入的编码区块可用性导出过程来获得变量availableFlagT。

当开始对编码树的剖析时，以下有序步骤适用。

1.如下初始化算术解码引擎。

-若CtbAddrRS等于Slice_address，dependent_slice_flag等于1且entropy_coding_reset_flag等于0，则以下适用。

-调用CABAC剖析过程的同步过程，其以TableStateIdxDS及TableMPSValDS作为输入。

-调用用于在终止前的二元决策的解碼过程，后续接着用于算术解碼的初始化过程。

-否则，若tiles_or_entropy_coding_sync_idc等于2且CtbAddrRS％PicWidthInCtbs等于0，则以下适用。

-当availableFlagT等于1时，调用CABAC剖析过程的同步过程，其以TableStateIdxWPP及TableMPSValWPP作为输入。

-调用用于在终止前的二元决策的解碼过程，后续接着用于算术解码引擎的初始化过程。

2.当cabac_independent_flag等于0且dependent_slice_flag等于1时，或当tiles_or_entropy_coding_sync_idc等于2时，如下应用记忆过程。

-当tiles_or_entropy_coding_sync_idc等于2且CtbAddrRS％PicWidthInCtbs等于2时，调用CABAC剖析过程之记忆过程，其以TableStateIdxWPP及TableMPSValWPP作为输入。

-当cabac_independent_flag等于0，dependent_slice_flag等于1，且end_of_slice_flag等于1时，调用CABAC剖析过程之记忆过程，其以TableStateIdxDS及TableMPSValDS作为输出。

对语法元素的剖析如下进行：

针对语法元素的每一所请求值，导出二进制化。

该语法元素之二进制化及已剖析之二进制数判定解码过程流程。

针对语法元素之二进制化的每一二进制数(由变量binIdx编索引)，导出情境索引ctxIdx。

针对ctxIdx，调用算术解碼过程。

在解码每一二进制数之后，比较已剖析之二进制数之所得序列(b_0..b_binIdx)与由二进制化过程给出的二进制数串的集合。当该序列匹配给定集合中之二进制数串时，将对应的值指派给该语法元素。

在针对语法元素pcm-flag处理对语法元素的值之请求且pcm_flag的已解碼值等于1时，在解碼任何pcm_alignment_zero_bit、num_subsequent_pcm一级所有pcm_sample_luma及pcm_sample_chroma数据之后初始化解码引擎。

在目前为止所描述的设计框架中，出现以下问题。

在低延迟状况下编码并发送数据之前，需要知道解码单元的时序，其中NAL单元将已经由编码器发出，同时编码器仍在编码图像的部分，即，其他子图像解码单元。即，因为存取单元中的NAL单元次序仅允许SEI讯息在存取单元中的VCL(视频编码NAL单元)之前，但在此低延迟状况下，若编码器开始编码解码单元，则非VCL NAL单元需要已经在在线，即，发出。图10B例示出如[2]中所定义的存取单元的结构。[2]并未规定序列或流的结束，因此其在存取单元中的存在系假设性的。

此外，在低延迟状况下亦需要预先知道与子图像相关的NAL单元的数目，因为图像时序SEI讯息含有此信息且在编码器开始编码实际图像之前必须编译并发出图像时序SEI讯息。不愿插入填充符数据NAL单元的应用程序设计者(可能没有填充符数据要符合NAL单元数，如在图像时序SEI中每个解码单元用信号发出)需要用来在子图像层级上用信号发出此信息的手段。此同样适用于子图像时序，子图像时序当前由在时序SEI讯息中给出的参数固定在存取单元的开头。

规格草案[2]之另外的缺点包括子图像层级之大量发信号，其系特定应用所要求的，诸如ROI发信号或片段尺寸发信号。

以上所概述的问题并非HEVC标准所特有的。相反，关于其他视频编码解码器，同样亦会出现此问题。图11更一般地展示出视频传输情形，其中一对编码器10及解码器12经由网络14连接起来，以便以短的端对端延迟将视频16自编码器10传输至解码器12。上文已概述的文图如下。编码器10根据大体上但不一定遵循帧18之再现次序20的特定解码次序来编码视频16之帧18的序列，且在每一帧18内以某种已定义方式行进穿过帧18之帧区域，诸如以光栅扫描方式在有或没有帧18的图块分区的情况下。解码次序控制针对编码器10所使用的编码技术(诸如预测及/或熵编码)的信息的可用性，即，与视频16之空间及/或时间相邻部分有关的信息之可用性，该信息可用来充当预测或情境选择之基础。即使编码器10可能能够使用平行处理来编码视频16之帧18，但编码器10一定需要一些时间来编码特定帧18，诸如当前帧。例如，图11例示出编码器10已经完成对当前帧18的部分18a的编码，而当前帧18的另一部分18b尚未被编码的时刻。因为编码器10尚未编码部分18b，所以编码器10可能无法预测用于编码当前帧18之可用比特率应如何在当前帧18上空间分布来达成例如就速率/失真意义而言的优化。因此，编码器10仅有两个选择：编码器10预先估计当前帧18之可用比特率至片段(当前帧18被空间细分成该等片段)上的近乎最佳分布，相应地接受该估计可能有误；或者编码器10在将含有该等片段的封包自编码器10传输至解码器12之前完成编码当前帧18。在任何情况下，为了能够利用在完成当前已编码帧18的编码之前对当前已编码帧18的片段封包的任何传输，应以已编码图像缓冲器撷取时间的形式向片段14通知与每一此片段封包相关的比特率。然而，如上文所指示，尽管编码器10根据HEVC的当前版本能够藉由使用针对子图像区域分别定义解码器缓冲器撷取时间来改变分布在帧18上的比特率，但编码器10需要在收集与当前帧18有关的所有数据的每一存取单元的开头经由网络14传输或发出此信息，进而迫使编码器10在刚才概述的两个替选方案之间选择，一个导致更低的延迟但更差的速率/失真，另一个导致最佳的速率/失真但端对端延迟有所增加。

因此，目前为止并无视频编码解码器允许达成此低延迟，以致于编码器将被允许在编码当前帧之剩余部分18b之前开始传输与当前帧的部分18a有关的封包，解码器能够利用经由网络16对与初步部分18a有关的封包之此中间传输，其遵守在自编码器12发送至解码器14的视频数据流内所传达的解碼缓冲器撷取时序。例如将利用此低延迟的应用示范性地包含工业应用，诸如用于自动化或检验目的或其类似者的工件或制造监视。到现在为止，亦没有令人满意的解决方案来向解碼侧通知封包与构成当前帧的图块的关联及当前帧之有趣区(关注区)，因此允许网络16内的中间网络实体自数据流收集此信息而无须深入检验封包的内部，即，片段语法。

因此，本发明之目标系提供一种视频数据流编码概念技术，其更有效率地允许低的端对端延迟及/或使数据流之各部分至关注区或至特定图块的识别更容易。

藉由所附独立请求所述的标的物达成此目标。

发明内容

本申请涉及视频数据流，具有以视频内容的图像的子部分为单位编码至其中的视频内容，分别将每一子部分编码至视频数据流的封包序列的一或多个有效负载封包中，封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容的各图像有关的有效负载封包，其中，封包序列具有穿插在其中的时序控制封包，因此时序控制封包将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，其中，每一时序控制封包用信号发出解码单元的解码器缓冲器撷取时间，解码单元的有效负载封包在封包序列中接在各时序控制封包后面。

本申请案所基于的一个想法为：应在允许诸如MANE或解码器的网络实体容易存取的层级上在视频数据流内传达解码器撷取时序信息、ROI信息及图块识别信息；以及为了达到此层级，应藉由穿插在视频数据流的存取单元的封包中的封包在视频数据流内传达此等类型的信息。根据一实施例，穿插式封包为能移除式封包类型，即，此等穿插式封包的移除维持解码器完全复原经由视频数据流所传达的视频内容的能力。

根据本申请案之一态样，藉由使用穿插式封包来传达关于当前存取单元内的解码单元(解码单元由有效负载封包形成，该等有效负载封包在视频数据流之个别时序控制封包之后)的解码器缓冲器撷取时间的信息，使低的端对端延迟之达成更有效率。藉由此措施，允许编码器在编码当前帧的过程中实时(on the fly)判定解码器缓冲器撷取时间，编码器进而能够，在编码当前帧的同时，一方面继续判定实际用于当前帧之已经被编码至有效负载封包中并且传输或发出的部分(其前缀为时序控制封包)之比特率，且相应地调适可用于当前帧之剩余比特率在当前帧之尚未被编码的剩余部分上的分布。藉由此措施，有效率地利用可用比特率，且仍然保持延迟系较短的，因为编码器不需要等待对当前帧的编码完全完成。

根据本申请案的另一态样，利用穿插在存取单元的有效负载封包中的封包来传达关于关注区的信息，进而如上文所概述允许网络实体对此信息之容易存取，因为该等网络实体无须检验中间有效负载封包。此外，编码器仍可以在编码当前帧的过程中实时判定属于ROI的封包，而无须预先判定当前帧细分成子部分及个别有效负载封包。此外，根据实施例(根据该实施例，穿插式封包为能移除式封包类型)，对ROI信息不关注或不能够处理ROI信息的视频数据流接收者可能忽略ROI信息。

根据另一态样，在本申请案中利用类似的想法，根据该态样，穿插式封包传达关于存取单元内的特定封包属于哪个图块的信息。

附图说明

本发明的有利实行方案为附属请求所述的标的。下文关于诸图更详细地描述本申请案的较佳实施例，其中：

图1至图10B展示出HEVC的当前状态，其中图1展示出缓冲周期SEI讯息语法，图2展示出图像时序SEI讯息语法，图3A和图3B展示出VUI参数语法，图4展示出HRD参数语法，图5展示出填充符数据RBSP语法，图6展示出用于HRD符合性检查的比特流及NAL单元流的结构，图7展示出HRD缓冲器模型，图8展示出片段标头语法，图9展示出图像参数集RBSP语法，图10A展示出说明空间相邻编码树区块T(其可能用来调用与当前编码树区块有关的编码树区块可用性导出过程)的示意图，且图10B展示出存取单元的结构的定义；

图11示意性地展示出经由网络连接起来的一对编码器及解码器，以便说明在视频数据流传输中出现的问题；

图12展示出根据使用时序控制封包的一实施例的编码器的示意性方块图；

图13展示出说明根据一实施例的图12的编码器的操作模式的流程图；

图14展示出解码器之一实施例的方块图，以便关于由根据图12的编码器产生的视频数据流来解释该解码器之功能性；

图15展示出说明根据使用ROI的另一实施例的编码器、网络实体及视频数据流的示意性方块图；

图16展示出说明根据使用图块识别封包的另一实施例的编码器、网络实体及视频数据流的示意性方块图；

图17展示出根据一实施例的存取单元的结构。虚线反映非强制性片段前缀NAL单元的情况；

图18展示出图块在关注区发信号中的使用；

图19展示出第一简单语法/版本1；

图20展示出扩展语法/版本2，其包括除SEI讯息概念技术之外的tile_id发信号、解码单元开始识别符、片段前缀ID及片段标头数据；

图21展示出NAL单元类型码及NAL单元类型类别；

图22展示出片段标头的可能语法，其中根据当前版本存在于片段标头中的特定语法元素被变换成称为slice_header_data()的较低阶层语法元素；

图23A、图23B和图23C展示出经由语法元素片段标头数据用信号发出自片段标头移除掉的所有语法元素的表；

图24展示出补充增强信息讯息语法；

图25A和图25B展示出已调适的SEI有效负载语法，以便介绍新的图块或子图像SEI讯息类型；

图26展示出子图像缓冲SEI讯息的实例；

图27展示出子图像时序SEI讯息的实例；

图28展示出子图像片段信息SEI讯息可能看起来为什么样；

图29展示出子图像图块信息SEI讯息的实例；

图30展示出子图像片段尺寸信息SEI讯息的语法实例；

图31展示出关注区SEI讯息的语法实例的第一变体，其中在个别SEI讯息中用信号发出每一ROI；

图32展示出关注区SEI讯息的语法实例的第二变体，其中在单个SEI讯息中用信号发出所有ROI；

图33展示出根据另一实施例的时序控制封包的可能语法；

图34展示出根据一实施例的图块识别封包的可能语法；

图35至图38展示出根据一实施例的根据不同细分设定对图像的可能细分；以及

图39展示出根据使用时序控制封包的一实施例的视频数据流的一部分的实例，该等时序控制封包穿插在存取单元的有效负载封包之间。

具体实施方式

关于图12，描述根据本申请案之一实施例的编码器10及其操作模式。编码器10被配置为将视频内容16编码至视频数据流22中。编码器被配置为以视频内容16之帧/图像18的子部分为单位进行此编码，其中该等子部分可为例如图像18所分割成的片段24，或一些其他空间区段，诸如图块26或WPP子流28，上述全部在图12中予以说明，其仅出于说明性目的而不是暗示编码器10需要能够支持例如图块或WPP平行处理或暗示子部分需要为片段。

在以子部分24为单位来编码视频内容16时，编码器10可遵守在子部分24之间定义的解码次序(或编码次序)，其例如根据图像解码次序(该次序例如不一定符合在图像18之间定义的再现次序20)遍历视频16的图像18，且根据光栅扫描次序在每一图像18内遍历图像18所分割成的区块，其中子部分24表示此等区块沿着解码次序的连续运行。详言之，编码器10可被配置为：在判定当前将要编码的部分之空间及/或时间相邻部分的可用性以便在诸如预测编码及/或熵编码中使用描述此等相邻部分之属性来判定预测及/或熵情境时，遵守此解碼次序。仅视频的先前已造访(编码/解码)部分系可用的。否则，将刚才所提及之属性设定为默认值，或采取一些其他替代措施。

另一方面，编码器10不需要串行地编码沿着该解码次序的子部分24。相反，编码器10可使用平行处理来加速编码过程，或者能够实时执行更复杂的编码。同样地，编码器10可能或可能不被配置为传输或发出编码沿着该解码次序的子部分之数据。例如，编码器10可按某一其他次序，诸如根据编码器10完成对子部分的编码的次序(由于例如平行处理，该次序可偏离刚才所提及之解码次序)，来输出/传输已编码数据。

为了使子部分24的已编码版本适合于经由网络传输，编码器10将每一子部分24编码至视频数据流22的封包序列之一或多个有效负载封包中。在子部分24为片段的情况下，编码器10可例如被配置为将每一片段数据(即，每一已编码片段)放入一个有效负载封包(诸如NAL单元)中。此封包化(packetization)可用以使视频数据流22适合于经由网络传输。因此，封包可表示视频数据流22可能出现的最小单元，即，可各自由编码器10发出以便经由网络传输至接收者的最小单元。

除了有效负载封包及穿插在其间且在下文中论述的时序控制封包，其他封包(即，其他类型的封包)同样可能存在，诸如填充数据封包、用于传达不常改变的语法元素的图像或序列参数集封包或EOF(档案结束)或AUE(存取单元结束)封包或其类似者。

编码器执行编码至有效负载封包中，以使得封包序列被分成存取单元30的序列，且每一存取单元收集与视频内容16之一个图像18有关的有效负载封包32。即，形成视频数据流22的封包序列34被细分成称为存取单元30的非重迭部分，每一非重迭部分与该等图像18中之个别图像相关。存取单元30的序列可遵循存取单元30所关于的图像18之解码次序。图12例如例示出排列在数据流22之所例示部分的中间的存取单元30包含每个子部分24一个有效负载封包32，图像18系细分成子部分24。即，每一有效负载封包32携载一对应的子部分24。编码器10被配置为将时序控制封包36穿插在封包序列34中，因此时序控制封包将存取单元30细分成解码单元38，因此至少一些存取单元30(诸如图12中所展示的中间存取单元)被细分成两个或更多解码单元38，每一时序控制封包用信号发出解码单元38的解码器缓冲器撷取时间，其有效负载封包32在封包序列34中的个别时序控制封包之后。换言之，编码器10用个别时序控制封包36加前缀于一个存取单元30内的有效负载封包32的序列的子序列(subsequence)，该时序控制封包36针对以个别时序控制封包36为前缀且形成编码单元38的有效负载封包之个别子序列用信号发出解码器缓冲器撷取时间。图12例如例示出每隔一个封包32表示存取单元30之解码单元38的第一个有效负载封包的情况。如图12中所例示，用于每解码单元38的数据量或比特率会改变，且解码器缓冲器撷取时间可与解码单元38之间的此比特率变化相关，因为解码单元38的解码器缓冲器撷取时间可遵循由紧接在前面的解码单元38的时序控制封包36用信号发出的解码器缓冲器撷取时间加上一时间间隔，该时间间隔对应于用于此紧接在前面的解码单元38的比特率。

即，编码器10可如图13中所展示而操作。详言之，如上文所提及，编码器10可在步骤40中使当前图像18的当前子部分24经受编码。如已经提及，编码器10可按上述解码次序循序循环通过子部分24，如箭头42所例示，或编码器10可使用某种平行处理，诸如WPP及/或图块处理，以便同时编码若干「当前子部分」24。无论是否使用平行处理，编码器10均由刚才在步骤40中编码的子部分中的一者或若干者形成解码单元，且继续进行步骤44，其中编码器10设定此解码单元的解码器缓冲器撷取时间且传输以时间控制封包为前缀的此解码单元，该时间控制封包用信号发出此解码单元之刚才设定的解码器缓冲器撷取时间。例如，编码器10可在步骤44中基于用于编码已经编码至形成当前解码单元的有效负载封包(其包括例如此解码单元内的所有其他中间封包(若存在)，即，「前缀式封包」)中的子部分之比特率来判定解码器缓冲器撷取时间。

然后，在步骤46中，编码器10可基于已经用于刚才在步骤44中已传输的解码单元之比特率来调适可用比特率。例如，若刚才在步骤44中传输的解码单元内的图像内容就压缩率而言非常复杂，则编码器10可减少下解码单元之可用比特率以便遵守某一外部设定之目标比特率，该目标比特率已经基于例如关于传输视频数据流22的网络所面临的当前带宽情形来判定。然后重复步骤40至46。藉由此措施，以解码单元为单位来编码并传输(即，发出)图像18，每解码单元以独对应的时序控制封包为前缀。

换言之，编码器10在编码视频内容16的当前图像18的过程中将当前图像18的当前子部分24编码40至当前解码单元38的当前有效负载封包32中，在数据流内在第一时刻藉由设定由当前时序控制封包(36)用信号发出的解码器缓冲器撷取时间来传输44以当前时序控制封包36为前缀的当前解码单元38，且在第二时刻(第二次造访步骤40)藉由自步骤46循环回至40来编码44当前图像18的另一子部分24，该第二时刻比第一时刻(第一次造访步骤44)晚。

因为编码器能够在编码解码单元所属于的当前图像之剩余部分之前发出此解码单元，所以编码器10能够降低端对端延迟。另一方面，编码器10不需要浪费可用比特率，因为编码器10能够对当前图像的内容之特定性质及其复杂性之空间分布作出反应。

另一方面，负责将视频数据流22进一步自编码器传输至解码器的中间网络实体能够使用时序控制封包36来保证接收视频数据流22的任何解码器及时接收解码单元，以便能够利用藉由编码器10进行的逐个解码单元的编码及传输。例如，参见图14，其展示出用于解码视频数据流22的解码器的一实例。解码器12藉由网络在已编码图像缓冲器CPB 48处接收视频数据流22，其中编码器10经由该网络将视频数据流22传输至解码器12。详言之，因为假设网络14能够支持低延迟应用，所以网络10检验解码器缓冲器撷取时间以便将视频数据流22的封包序列34进送至解码器12的已编码图像缓冲器48，因此在由加前缀于个别解码单元的时序控制封包用信号发出的解码器缓冲器撷取时间之前，每解码单元存在于已编码图像缓冲器48内。藉由此措施，解码器能够在不失速的情况下，即，在不用完已编码图像缓冲器48内的可用有效负载封包的情况下，使用时序控制封包中的解码器缓冲器撷取时间来以解码单元而不是完整的存取单元为单位清空解码器的已编码图像缓冲器48。例如，图14出于说明性目的展示出处理单元50系连接至已编码图像缓冲器48之输出，已编码图像缓冲器48之输入接收视频数据流22。类似于编码器10，解码器12可能能够诸如使用图块平行处理/解码及/或WPP平行处理/解码来执行平行处理。

如下文将更详细地概述，目前为止所提及的解码器缓冲器撷取时间不一定与关于解码器12的已编码图像缓冲器48之撷取时间有关。相反，时序控制封包可另外或其他操控解码器12的对应的已解码图像缓冲器之已解码图像数据的撷取。例如，图14展示出解码器12包含解码器图像缓冲器，在此缓冲器中以解码单元之已解码版本为单位来缓冲(即，储存并输出)视频内容之已解码版本，如处理单元50藉由解码视频数据流22所获得的已解碼版本。解码器之已解码图像缓冲器22因此可连接在解码器12之输出及处理单元50之输出之间。藉由有能力设定用来自已解码图像缓冲器52输出解码单元之已解码版本的撷取时间，编码器10有机会实时(即，在编码当前图像的过程中)控制在解码侧对视频内容的再现或该再现之端对端延迟，即使细微度小于图像率或帧率。显然，在编码侧将每一图像18过度分段成大量子部分24将不利地影响用于传输视频数据流22的比特率，但另一方面，端对端延迟可得以最小化，因为编码并传输并解码并输出此解码单元所需的时间将得以最小化。另一方面，增加子部分24之大小会增加端对端延迟。因此，必须找到折衷。使用刚才所提及的解码器缓冲器撷取时间来操控以解码单元为单位的子部分24之已解码版本之输出时序允许编码器10或在编码侧的某一其他单元在当前图像的内容上空间调适此折衷。藉由此措施，将有可能以端对端延迟跨越当前图像内容而空间变化的方式控制端对端延迟。

在实施上文所概述的实施例时，有可能使用能移除式封包类型的封包作为时序控制封包。能移除式封包类型的封包并非在解码侧复原视频内容所必需的。在下文中，此等封包被称为SEI封包。能移除式封包类型之其他封包同样可存在，即，另一类型之能移除式封包，诸如(若在流内传输)冗余封包。作为另一替选方案，时序控制封包可为特定能移除式封包类型的封包，然而其另外携载特定SEI封包类型字段。例如，时序控制封包可为SEI封包，其中每SEI封包携载一个或若干个SEI讯息，且唯有包含特定类型的SEI讯息的彼等SEI封包形成上述时序控制封包。

因此，根据另一实施例将目前为止关于图12至图14所描述的实施例应用于HEVC标准，进而形成用于使HEVC在达成更低的端对端延迟方面更有效率的可能概念技术。如此一来，上文所提及的封包由NAL单元形成，且上述有效负载封包系NAL单元之VCL NAL单元，其中片段形成上文所提及的子部分。

然而，在对更详细实施例之此描述之前，描述其他实施例，该等其他实施例符合上文所概述的实施例之处在于，使用穿插式封包来以有效方式传达描述视频数据流的信息，但信息的分类不同于以上实施例，在以上实施例中，时序控制封包传达解码器缓冲器撷取时序信息。在下文进一步描述的实施例中，经由穿插在属于存取单元的有效负载封包中的穿插式封包所传递的信息的种类与关注区(ROI)信息及/或图块识别信息有关。下文进一步描述的实施例可能或可能不与关于图12至图14所描述的实施例相组合。

图15展示出编码器10，除时序控制封包之穿插及上文关于图13所描述之功能性(其对于图15的编码器10系任择的)之外，该编码器10类似于上文关于图12所解释的编码器而操作。然而，图15的编码器10被配置为以视频内容16的图像18的子部分24为单位将视频内容16编码至视频数据流22中，正如上文关于图11所解释的。在编码视频内容16时，编码器10对连同视频数据流22一起传达关于关注区ROI 60的信息传递至解码侧感兴趣。ROI 60系解码器应例如特别注意的当前图像18之空间子区域。ROI 60之空间位置可诸如藉由用户输入而自外部输入(如虚线62所例示)，或可由编码器10或由某一其他实体在编码当前图像18的过程中实时自动判定。在任一种情况下，编码器10均面临以下问题：ROI 60的位置的指示原则上对编码器10而言不成问题。为此，编码器10可容易在数据流22内指示ROI 60的位置。然而，为了使此信息容易存取，图15的编码器10使用ROI封包在存取单元的有效负载封包之间的穿插，因此编码器10可以在在线基础上选择将当前图像18分段成子部分24及/或有效负载封包的数目，空间上在ROI 60外及空间上在ROI 60内的子部分24系封包化成该等有效负载封包。使用穿插式ROI封包，任何网络实体均可容易识别属于ROI的有效负载封包。另一方面，在针对此等ROI封包使用能移除式封包类型的情况下，其可能容易被任何网络实体忽略。

图15展示出在存取单元30的有效负载封包32之间穿插ROI封包64的实例。ROI封包64指示视频数据流22的封包序列34内何处含有与ROI 60有关(即，编码该ROI 60)的已编码数据。ROI封包64如何指示ROI 60的位置可以多种方式来实施。例如，ROI封包64之纯粹存在/出现可指示在后续有效负载封包32中之一或多者内并入与ROI 60有关的已编码数据，该等后续有效负载封包32按序列34之循序次序接在后面，即，属于前缀有效负载封包。或者，ROI封包64内的语法元素可指示一或多个后续有效负载封包32是否与ROI 60有关，即，至少部分地编码ROI 60。大量变化亦来源于关于个别ROI封包64之「范畴」(即，以一个ROI封包64为前缀的前缀有效负载封包的数目)的可能变化。例如，对在一个ROI封包内并入或未并入与ROI 60有关的任何已编码数据之指示可与直至下一个ROI封包64出现为止按序列34之循序次序接在后面的所有有效负载封包32有关，或可仅与紧接在后面的有效负载封包32(即，按序列34之循序次序紧接在个别ROI封包64后面的有效负载封包32)有关。在图15中，图表66示范性地例示出一种情况，其中ROI封包64关于直至下一个ROI封包64或当前存取单元30的结束(无论哪个沿着封包序列34更早出现)出现为止在个别ROI封包64的下游出现的所有有效负载封包32来指示ROI相关性(即，与ROI 60有关的任何已编码数据之并入)或ROI不相关性(即，与ROI 60有关的任何已编码数据的不存在)。详言之，图15例示出ROI封包64在内部具有一语法元素的区块，该语法元素指示按序列34之循序次序接在后面的有效负载封包32是否具有与ROI 60有关的任何已编码数据。下文中亦描述此实施例。然而，如刚才所提及，另一种可能性为，每一ROI封包64仅藉由其在封包序列34中的存在来指示属于个别ROI封包64之「范畴」的有效负载封包32在内部是否具有ROI 60相关数据，即，与ROI 60有关的数据。根据下文中更详细地描述的实施例，ROI封包64甚至指示编码至属于其「范畴」的有效负载封包32中的ROI 60的部分的位置。

接收视频数据流22的任何网络实体68可利用ROI相关性之指示(如藉由使用ROI封包64所实现)来以比例如封包序列34之其他部分高的优先级处理例如封包序列34的ROI相关部分。或者，网络实体68可使用ROI相关性信息来执行与例如视频数据流22之传输有关的其他任务。网络实体68可为例如MANE或解码器，其用于解码并播放如经由视频数据流22所传达的视频内容60。换言之，网络实体68可使用ROI封包之识别结果来对与视频数据流有关的传输任务作出决策。传输任务可包含关于缺陷封包的重新传输请求。网络实体68可被配置为以增加的优先级处理关注区70，且与用信号发出与不覆盖ROI的ROI封包及其相关有效负载封包相比，将较高优先级指派给与用信号发出为覆盖关注区的ROI封包72及其相关有效负载封包(即，以该ROI封包72为前缀的有效负载封包)。网络实体68可在请求被指派有较低优先级的有效负载封包的任何重新传输之前，首先请求被指派有较高优先级的有效负载封包的重新传输。

图15的实施例可容易与先前关于图12至图14所描述的实施例相组合。例如，上文所提及的ROI封包64亦可为其中含有特定类型的SEI讯息的SEI封包，即，ROI SEI封包。即，SEI封包可例如为时序控制封包且同时为ROI封包，即，在个别SEI封包包含时序控制信息以及ROI指示信息两者的情况下。或者，SEI封包可为时序控制封包及ROI封包中的一者而不是另一者，或可既非ROI封包亦非时序控制封包。

根据图16中所展示的实施例，在存取单元的有效负载封包之间穿插封包系用来以容易由处理视频数据流22的网络实体68存取的方式指示当前存取单元30所关于的当前图像18之哪个或哪些图块由编码至有效负载封包32(个别封包充当其前缀)中的任一个中的任何子部分所覆盖。在图16中，例如，展示出当前图像18被细分成四个图块70，该等图块在此处示范性地由当前图像18之四个四分部形成。可例如在视频数据流内在包含图像序列的单元中(诸如，在亦穿插在封包序列34中的VPS或SPS封包中)用信号发出将当前图像18细分成图块70。如下文将更详细地描述，当前图像18的图块细分可为按图块的行及列对图像18的常规细分。图块行数及列数以及行宽度及列高度可改变。详言之，图块的行/列的宽度及高度分别针对不同列及不同行可能不同。图16另外展示出子部分24为图像18的片段的实例。片段24细分图像18。如下文将更详细地概述，图像18细分成片段24可遭受限制条件，感觉该等限制条件，每一片段24可完全包含于一个单独图块70内，或完全覆盖两个或更多图块70。图16例示出图像18细分成五个片段24的情况。按前述解码次序的此等片段24中之前四个覆盖前两个图块70，而第五个片段完全覆盖第三个及第三个图块70。此外，图16示范性地例示出每一片段24分别编码至个别有效负载封包32中的情况。每一图块识别封包72又针对其紧接在后面的有效负载封包32指示编码至此有效负载封包32中的子部分24覆盖该等图块70中之哪一者。因此，在与当前图像18有关的存取单元30内的前两个图块识别封包72指示第一个图块的同时，第三个及第四个图块识别封包72指示图像18的第二个图块70，且第五个图块识别封包72指示第三个及第四个图块70。关于图16的实施例，与例如上文关于图15所描述相同的变化系可行的。即，图块识别封包72之「范畴」可例如仅包含第一个紧接在后面的有效负载封包32或直至下一个图块识别封包出现为止的紧接在后面的有效负载封包32。

关于图块，编码器10可被配置为编码每一图块70，以使得跨越图块边界不会发生空间预测或情境选择。编码器10可例如平行地编码图块70。同样地，诸如网络实体68的任何解码器可平行地解码图块70。

网络实体68可为MANE或解码器或在编码器10与解码器之间的某一其他装置，且可被配置为使用图块识别封包72所传达的信息来对特定传输任务作出决策。例如，网络实体68可以较高优先级来处理视频16的当前图像18之特定图块，即，可较早地或使用较安全的FEC保护或其类似者来进送经指示为与此图块有关的个别有效负载封包。换言之，网络实体68可使用识别结果来对与视频数据流有关的传输任务作出决策。传输任务可包含关于在缺陷状态下(即，在对视频数据流的任何FEC保护过度(若存在)的情况下)接收到的封包的重新传输请求。网络实体可例如以不同优先级来处理例如不同图块70。为此，与关于较低优先级图块的图块识别封包72及其有效负载封包相比较，网络实体可将较高优先级指派给与较高优先级图块有关的图块识别封包72及其有效负载封包(即，以图块识别封包72为前缀的有效负载封包)。网络实体68可例如在请求被指派有较低优先级的有效负载封包的任何重新传输之前，首先请求被指派有较高优先级的有效负载封包的重新传输。

目前为止所描述的实施例可建构至如本申请案之说明书的介绍性部分中所描述之HEVC框架中，如下文所描述。

详言之，在子图像CPB/HRD情况下可将SEI讯息指派给解码单元的片段。即，可将缓冲周期及时序SEI讯息指派给含有解码单元的片段的NAL单元。此可藉由新的NAL单元类型来达成，该新的NAL单元类型系被允许紧接在解码单元之一或多个片段/VCL NAL单元前面的非VCL NAL单元。此新的NAL单元可被称为片段前缀NAL单元。图17例示出存取单元的结构，其省略了针对序列及流的结束的任何假设性NAL单元。

根据图17，如下理解存取单元30：按封包序列34的封包的循序次序，存取单元可从特殊类型的封包(即，存取单元定界符80)的出现开始。然后，在存取单元30内，与整个存取单元有关的SEI封包类型之一或多个SEI封包82可接在后面。封包类型80及82皆为任择的。即，此类型的封包可能不出现在存取单元30内。然后，解码单元38的序列接在后面。每解码单元38任择地从片段前缀NAL单元84开始，片段前缀NAL单元84中包括例如时序控制信息，或根据图15或16的实施例包括ROI信息或图块信息，或甚至更一般地包括个别子图像SEI讯息86。然后，个别有效负载封包或VCL NAL单元中的实际片段数据88接在后面，如88中所指示。因此，每解码单元38包含片段前缀NAL单元84的序列，后续接着个别片段数据NAL单元88。图17中略过片段前缀NAL单元之略过箭头90将指示，在没有对当前存取单元30之解码单元细分的情况下，可能不存在片段前缀NAL单元84。

如上文已指出，在片段前缀中用信号发出且与子图像SEI讯息相关的所有信息可针对在存取单元中的或直至第二个前缀NAL单元出现为止的所有VCL NAL单元有效，或针对按解码次序的后续VCL-NAL单元有效，其取决于在片段前缀NAL单元中给出的旗标。

在片段前缀中用信号发出的信息针对其有效的片段VCL NAL单元在下文中被称为前缀片段。与前缀之单个片段相关的前缀片段不一定构成完整的解码单元，而是可为解码单元的一部分。然而，单个片段前缀不能针对多个解码单元(子图像)有效，且在片段前缀中用信号发出解码单元的开始。若用于发信号的手段并非经由片段前缀语法给出(如在下文所指示之「简单语法」/版本1中)，则片段前缀NAL单元的出现用信号发出解码单元的开始。仅特定SEI讯息(经由以下语法描述中的payloadType来识别)可唯一地在子图像层级上在片段前缀NAL单元内发送，而一些SEI讯息可在子图像层级上在片段前缀NAL单元中发送或作为常规SEI讯息在存取单元层级上发送。

如上文关于图16所论述，另外或其他，在高阶语法中可实现图块ID SEI讯息/图块ID发信号。在HEVC之较早设计中，片段标头/片段数据含有针对个别片段中所含的图块的识别符。例如，片段数据语义表明：

tile_idx_minus_1规定按光栅扫描次序的TileID。图像中的第一个图块将具有为0的TileID。tile_idx_minus_1的值将在0至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1的范围内。

然而并不认为此参数有用，因为若tiles_or_entropy_coding_sync_idc等于1，则可容易自片段地址及片段尺寸(如在图像参数集中用信号发出)导出此ID。

尽管可在解码过程中隐含地导出图块ID，但在应用层上知道此参数对不同使用情况亦很重要，诸如在视频会议状况下，其中不同图块可具有不同的播放优先级(彼等图块通常形成关注区，其在交谈使用情况下含有演讲者)可具有比其他图块高的优先级。在多个图块的传输中丢失了网络封包的情况下，可以较高优先级重新传输含有表示关注区的图块的彼等网络封包，以便保持在接收器终端处的体验之质量比在不按任何优先级次序来重新传输的情况下高。另一使用情况可为将图块(若已知尺寸及其位置)指派给不同屏幕，例如在视频会议状况下。

为了允许此应用层在传输状况下以特定优先级来处理图块，可将tile_id提供为子图像或片段特定SEI讯息，或在图块之一或多个NAL单元前面的特殊NAL单元中或在属于图块的NAL单元的特殊标头区段中提供tile_id。

如上文关于图15所描述，另外或其他，亦可提供关注区SEI讯息。此SEI讯息可允许关注区(ROI)之发信号，详言之，特定tile_id/图块所属于的ROI之发信号。该讯息可允许给出关注区ID加关注区优先级。

图18例示出图块在关注区发信号中的使用。

除了上文所描述的内容外，还可实施片段标头发信号。片段前缀NAL单元亦可含有后续相依性片段(即，以个别片段前缀为前缀的片段的片段标头。若仅在片段前缀NAL单元中提供片段标头，则需要藉由含有个别相依性片段的NAL单元的NAL单元类型或藉由片段前缀中的旗标来导出实际片段类型，该旗标用信号发出后续片段数据是否属于充当随机存取点的片段类型。

此外，片段前缀NAL单元可携载片段或子图像特定SEI讯息来传达非强制性信息，诸如子图像时序或图块识别符。在本申请案之说明书之介绍性部分中所描述之HEVC规定中不支持非强制性子图像特定讯息传递，但其对某些应用而言至关重要。

下文描述用于实施上文所概述的图块加前缀概念技术。详言之，描述了当使用如本申请案之说明书之介绍性部分中所概述之HEVC状态作为基础时，哪些改变在图块层级上可为足够。

详言之，下文呈现可能的片段前缀语法的两个版本，一个版本仅具有SEI讯息传递功能性，且一个版本具有用信号发出后续片段的片段标头的一部分的扩展功能性。图19中展示出第一简单语法/版本1。

作为初步注释，图19因此展示出用于实施上文关于图11至图16所描述的实施例中的任一个的可能实行方案。其中所展示的穿插式封包可如图19中所展示来理解，且下文中使用特定实行方案实例更详细地描述上述情况。

在图20的表中给出扩展语法/版本2，其包括除SEI讯息概念技术之外的tile_id发信号、解码单元开始识别符、片段前缀ID及片段标头数据。

语义可定义如下：

值为1的rap_flag指示含有片段前缀的存取单元系RAP图像。值为0的rap_flag指示含有片段前缀的存取单元并非RAP图像。

decoding_unit_start_flag指示存取单元内的解码单元的开始，因此指示直至存取单元结束或另解码单元开始为止的后续片段属于同解码单元。

值为0的single_slice_flag指示在前缀片段NAL单元及相关子图像SEI讯息内提供的信息针对直至下一存取单元开始、另一片段前缀或另一完整片段标头出现为止的所有后续VCL-NAL单元有效。值为1的single_slice_flag指示在片段前缀NAL单元及相关子图像SEI讯息中提供的信息仅针对按解码次序的下一VCL-NAL单元有效。

tile_idc指示后续片段中将会存在的图块的量。tile_idc等于0指示后续片段中不使用图块。tile_idc等于1指示后续片段中使用单个图块，且相应地用信号发出其图块识别符。值为2的tile_idc指示后续片段中使用多个图块，且相应地用信号发出图块数及第一个图块识别符。

prefix_slice_header_data_present_flag指示在给定的片段前缀中用信号发出对应于按解碼次序接在后面的片段的片段标头之数据。

稍后在文中定义slice_header_data()。其含有相关片段标头信息，若dependent_slice_flag设定为等于1，则片段标头不涵盖该信息。

请注意，将片段标头与实际片段数据解耦允许标头及片段数据的更灵活的传输方案。

num_tiles_in_prefixed_slices_minus1指示后续解码单元中所使用的图块数减1。

first_tile_id_in_prefixed_slices指示后续解码单元中的第一个图块的图块识别符。

对于片段前缀的简单语法/版本1，以下语法元素可设定为如下默认值(若不存在)：

decoding_unit_start等于1，即，片段前缀总是指示解码单元的开始。

single_slice_flag等于0，即，片段前缀针对解码单元中的所有图块有效。

提议片段前缀NAL单元具有NAL单元类型24且NAL单元类型总览表将根据图21来扩展。

即，简要概括图19至图21，其中所展示的语法细节表明：可认为特定封包类型属于上文所识别之穿插式封包，此处示范性地为NAL单元类型24。此外，尤其是图20的语法实例表明：关于穿插式封包之「范畴」的上述替选方案，受此等穿插式封包本身内的个别语法元素(此处示范性地为single_slice_flag)控制之切换机制，可用来控制此范畴，即，用来分别在针对此范畴之定义的不同替选方案之间切换。此外，已表明可扩展图1至图16之上述实施例，因为穿插式封包亦包含属于个别穿插式封包之「范畴」的封包内所含的片段24的共同片段标头数据。即，可存在一种受此等穿插式封包内的个别旗标控制的机制，其指示个别穿插式封包内是否含有共同片段标头数据。

当然，刚才呈现的概念技术(根据该概念技术，将片段标头数据的部分变换成片段标头前缀)要求改变如HEVC的当前版本中所规定的片段标头。图22中的表展示出此片段标头的可能语法，其中根据当前版本存在于片段标头中的特定语法元素被变换成称为slice_header_data()的较低阶层语法元素。片段标头之此语法及片段标头数据仅适用于以下选项，根据该选项使用扩展的片段标头前缀NAL单元概念技术。

图22中，slice_header_data_present_flag指示将自存取单元中的最后一个片段前缀NAL单元(即，最近出现的片段前缀NAL单元)中用信号发出的值来预测目前片段的片段标头数据。

经由如图23A、图23B和图23C的表中所给出的语法元素片段标头数据用信号发出自片段标头移除掉的所有语法元素。

即，将图22及图23A、图23B和图23C之概念技术转移至图12至图16的实施例上，其中所描述之穿插式封包可藉由概念技术来扩展，该概念技术系将编码至有效负载封包(即VCL NAL单元)中的片段(子部分)24的片段标头语法的一部分并入至此等穿插式封包中。该并入可为任择的。即，穿插式封包中的个别语法元素可指示个别穿插式封包中是否含有此片段标头语法。若并入，则并入至个别穿插式封包中的个别片段标头数据可适用于属于个别穿插式封包的「范畴」的封包中所含的所有片段。可藉由个别旗标(诸如图22的slice_header_data_present_flag用信号发出编码至属于穿插式封包的范畴的有效负载封包中的任一个中的片段是否采用此穿插式封包中所含的片段标头数据。藉由此措施，可使用片段片段标头中的刚才所提及的旗标来相应地缩小编码至属于个别穿插式封包的「范畴」的封包中的片段的片段标头，且接收视频数据流的任何解码器(诸如上文在图12至图16中展示出的网络实体)将对片段片段标头中的刚才所提及的旗标作出响应，以便在该片段内的个别旗标用信号发出片段标头数据至片段前缀(即，个别穿插式封包)的移动的情况下，将并入至穿插式封包中的片段标头数据复制至编码至属于此穿插式封包的范畴的有效负载封包中的片段的片段标头中。

进一步继续用于实施图12至图16的实施例的语法实例，SEI讯息语法可如图24中所展示。为了介绍片段或子图像SEI讯息类型，可如图25A和图25B的表中所呈现来调适SEI有效负载语法。唯有payloadType在180至184的范围内的SEI讯息可唯一地在子图像层级上在片段前缀NAL单元中发送。另外，payloadType等于140的关注区SEI讯息可在子图像层级上在片段前缀NAL单元中发送，或在存取单元层级上的常规SEI讯息。

即，在将图25A和图25B及图24中所展示之细节转移至上文关于图12至图16所描述的实施例上时，可藉由使用具有特定NAL单元类型(例如24)的片段前缀NAL单元来实现图12至图16之此等实施例中所展示的穿插式封包，包括例如在片段前缀NAL单元内的每SEI讯息之开头藉由payloadType用信号发出的特定类型的SEI讯息。在现在描述之特定语法实施例中，payloadType＝180及payloadType＝181导致根据图11至图14的实施例的时序控制封包，而payloadType＝140导致根据图15的实施例的ROI封包，且payloadType＝182导致根据图16的实施例的图块识别封包。本文中在以下描述之特定语法实例可仅包含刚才所提及之payloadType选项中的一者或其子集。此外，图25A和图25B表明：图11至图16之上述实施例中的任一个可彼此组合。更进一步，图25A和图25B表明：图12至图16之上述实施例中的任一个或其任何组合可藉由另一穿插式封包(随后藉由payloadType＝184来解释)来扩展。如上文已描述，下文关于payloadType＝183所描述之扩展最终得出以下可能性，即：任何穿插式封包可能已在其中并入编码至属于其范畴的任何有效负载封包中的片段的片段标头的共同片段标头数据。

后续诸图中的表定义可在片段或子图像层级上使用的SEI讯息。亦呈现可在子图像及存取单元层级上使用的关注区SEI讯息。

例如，图26展示出只要NAL单元类型24的片段前缀NAL单元具有包含于其中的SEI讯息类型180就会出现(因此形成时序控制封包)的子图像缓冲SEI讯息的实例。

语义可定义如下：

initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]规定解码单元(子图像)的第SchedSelIdx个CPB的初始CPB移除延迟。该等语法元素具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度，且以90kHz的时钟为单位。该等语法元素的值将不等于0且将不超过90000*(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，其是以90kHz的时钟为单位的CPB大小的时间等效物。

在整个已编码视频序列上，每个解码单元(子图像)的initial_cpb_removal_delay[SchedSelIdx]与initial_cpb_removal_delay_offset[SchedSelIdx]之总和以及initial_alt_cpb_removal_delay[SchedSelIdx]与initial_alt_cpb_removal_delay_offset[SchedSelIdx]之总和对于SchedSelIdx的每值将为恒定的。

图27同样展示出子图像时序SEI讯息的实例，其中语义可描述如下：

du_cpb_removal_delay规定在自与同解码单元(子图像)中的先前存取单元中之最近子图像缓冲周期SEI讯息(若存在)相关，否则与先前存取单元中之最近缓冲周期SEI讯息相关的解码单元(子图像)的cpb进行移除之后，在自缓冲器移除与子图像时序SEI讯息相关的解码单元(子图像)数据之前，要等待多少个时钟刻度。此值亦用来为HSS(假想流排程器[2]0)计算解码单元(子图像)数据到达CPB之最早可能时间。该语法元素系固定长度码，其以位为单位的长度由cpb_removal_delay_length_minus1+1给出。cpb_removal_delay为模2^{(cpb_removal_delay_length_minus1+1)}计数器的余数。

du_dpb_output_delay用来计算解码单元(子图像)的dpb输出时间。其规定在自CPB移除已解码的解码单元(子图像)之后，在自DPB输出图像之解码单元(子图像)之前，要等待多少个时钟刻度。

请注意，此允许子图像更新。在此状况下，未更新的解码单元可保持未改变最后已解码的图像，即，其保持可见。

概括图26及图27且将其中所含的特定细节转移至图12至图14的实施例上，可以说解码单元的解码器缓冲器撷取时间可相对于另解码器缓冲器撷取时间以差动式编码的方式(即，以增量方式)在相关时序控制封包中用信号发出。即，为了获得特定解码单元的解码器缓冲器撷取时间，接收视频数据流的解码器将自加前缀于该特定解码单元的时序控制封包获得的解码器撷取时间添加至紧接在前面的解码单元(即，在该特定解码单元前面的解码单元)的解码器撷取时间，且对于后续解码单元以此方式继续进行。在若干图像(各自或其部分)的已编码视频序列的开头，时序控制封包可另外或其他包含经独立地编码而不是相对于任何先前解码单元的解码器缓冲器撷取时间来差动式地编码的解码器缓冲器撷取时间值。

图28展示出子图像片段信息SEI讯息可能看起来为什么样。语义可定义如下：

值为1的slice_header_data_flag指示片段标头数据存在于SEI讯息中。在SEI中提供的片段标头数据针对直至存取单元结束、另SEI讯息、片段NAL单元或片段前缀NAL单元中出现片段数据为止按解码次序接在后面的所有片段有效。

图29展示出子图像图块信息SEI讯息的实例，其中语义可定义如下：

tile_priority指示按解码次序接在后面的前缀片段中的所有图块的优先级。tile_priority的值将在0至7的范围内(包括0及7)，其中7指示最高优先级。

值为1的multiple_tiles_in_prefixed_slices_flag指示按解碼次序接在后面的前缀片段中有1个以上的图块。值为0的multiple_tiles_in_prefixed_slices_flag指示后续前缀片段含有仅一个图块。

num_tiles_in_prefixed_slices_minus1指示按解码次序接在后面的前缀片段中的图块的数目。

first_tile_id_in_prefixed_slices指示按解码次序接在后面的前缀片段中的第一个图块的tile_id。

即，使用图29的语法来实现图16中所提及的图块识别封包，可实施图16的实施例。如图29中所展示，特定旗标(此处为multiple_tiles_in_prefixed_slices_flag)可用来在穿插式图块识别封包内用信号发出：编码至属于个别穿插式图块识别封包的范畴的有效负载封包中的任一个中的当前图像18的任何子部分覆盖仅一个图块还是一个以上的图块。若该旗标用信号发出对一个以上的图块之覆盖，则个别穿插式封包中含有另一语法元素，此处示范性地为num_tiles_in_prefixed_slices_minus1，其指示属于个别穿插式图块识别封包的范畴的任何有效负载封包的任何子部分所覆盖的图块的数目。最后，另一语法元素(此处示范性地为first_tile_id_in_prefixed_slices)指示在当前穿插式图块识别封包所指示的若干图块中，根据解码次序为第一个的图块的ID。将图29的语法转移至图16的实施例上，加前缀于第五个有效负载封包32的图块识别封包72可例如具有所有三个刚才所论述的语法元素，其中multiple_tiles_in_prefixed_slices_flag设定为1，num_tiles_in_prefixed_slices_minus1设定为1，进而指示两个图块属于当前范畴，且first_tile_id_in_prefixed_slices设定为3，其指示属于当前图块识别封包72的范畴的按解码次序的图块之运行在第三个图块(具有tile_id＝2)开始。

图29亦表明：图块识别封包72可能亦有可能指示tile_priority，即，属于其范畴的图块之优先级。类似于ROI态样，网络实体68可使用此优先级信息来控制传输任务，诸如对重新传输特定有效负载封包之请求。

图30展示出子图像图块尺寸信息SEI讯息的语法实例，其中语义可定义如下：

tile_horz_start[i]指示在图像内的像素中第i个图块在水平方向中的开始。

tile_width[i]指示在图像内的像素中第i个图块之宽度。

tile_vert_start[i]指示在图像内的像素中第i个图块在水平方向中的开始。

tile_height[i]指示在图像内的像素中第i个图块之高度。

请注意，在显示操作中可使用尺寸SEI讯息，例如在多屏幕显示状况下用来将图块指派给屏幕。

图30因此表明可改变关于图16的图块识别封包的图29之实行方案语法实例，因为属于个别图块识别封包的范畴的图块由其在当前图像18内的位置而不是其图块ID来指示。即，代替用信号发出个别子部分(该等子部分为编码至属于个别穿插式图块识别封包的范畴的有效负载封包中的任一个中)所覆盖的按解码次序的第一个图块的图块ID，针对属于当前图块识别封包的每一图块，可藉由用信号发出例如以下各者来用信号发出该图块的位置：每一图块i之左上角位置(此处示范性地藉由tile_horz_start及tile_vert_start)，以及图块i之宽度及高度(此处示范性地藉由tile_width及tile_height)。

关注区SEI讯息的语法实例展示于图31中。为了甚至更精确，图32展示出第一变体。详言之，可例如在存取单元层级上或在子图像层级上使用关注区SEI讯息来用信号发出一或多个关注区。根据图32的第一变体，每个ROI SEI讯息用信号发出一次个别ROI，而不是在一个ROI SEI讯息内用信号发出个别ROI封包的范畴的所有ROI(若多个ROI在当前范畴内)。

根据图31，关注区SEI讯息分别用信号发出每一ROI。语义可定义如下：

roi_id指示关注区的识别符。

roi_priority指示在按解碼次序接在后面的前缀片段或所有片段中属于关注区的所有图块的优先级，其取决于SEI讯息是在子图像层级上还是存取单元层级上发送。roi_priority的值将在0至7的范围内(包括0及7)，其中7指示最高优先级。若给出roi信息SEI讯息中的ROI_priority及子图像图块信息SEI讯息中之tile_priority两者，则上述两者的最高值针对个别图块之优先级有效。

num_tiles_in_roi_minus1指示在按解碼次序接在后面的前缀片段中属于关注区的图块的数目。

roi_tile_id[i]指示在按解碼次序接在后面的前缀片段中属于关注区的第i个图块的tile_id。

即，图31展示出如图15中所展示的ROI封包可在其中用信号发出关注区的ID，个别ROI封包及属于其范畴的有效负载封包关于该关注区。任择地，可连同ROI ID一起用信号发出ROI优先级索引。然而，两个语法元素皆为任择的。然后，语法元素num_tiles_in_roi_minus1可指示在个别ROI封包的范畴内属于个别ROI 60的图块的数目。然后，roi_tile_id指示属于ROI 60的第i个图块之tile-ID。例如，想象图像18将以图16中所展示的方式细分成图块70，且图15的ROI 60将对应于图像18之左半部分，将由按解码次序的第一个及第三个图块形成。然后，ROI封包在图16中可置于存取单元30的第一个有效负载封包32前面，后续接着另一ROI封包，该另一ROI封包在此存取单元30的第四个与第五个有效负载封包32之间。然后，第一个ROI封包将具有设定为0的num_tile_in_roi_minus1且roi_tile_id[0]为0(进而关于按解码次序的第一个图块)，其中在第五个有效负载封包32前面的第二ROI封包将具有设定为0的num_tile_in_roi_minus1且roi_tile_id[0]设定为2(进而表示按解码次序的第三个图块，其位于图像18之左下四分之一)。

根据第二变体，关注区SEI讯息的语法可如图32中所展示。此处，用信号发出单个SEI讯息中的所有ROI。详言之，将使用与上文关于图31所论述相同的语法，但将针对若干ROI(个别ROI SEI讯息或ROI封包关于该等ROI)中的每一者的语法元素乘以藉由语法元素(此处示范性地为num_rois_minus1)用信号发出的一个数。任择地，另一语法元素(此处示范性地为roi_presentation_on_separate_screen)可针对每一ROI用信号发出个别ROI是否适合于呈现在单独的屏幕上。

语义可为如下：

num_rois_minus1指示按解碼次序接在后面的前缀片段或常规片段中ROI的数目。

roi_id[i]指示第i个关注区的识别符。

roi_priority[i]指示在按解碼次序接在后面的前缀片段或所有片段中属于第i个关注区的所有图块的优先级，其取决于SEI讯息是在子图像层级上还是存取单元层级上发送。roi_priority的值将在0至7的范围内(包括0及7)，其中7指示最高优先级。若给出roi_info SEI讯息中的ROI_priority及子图像图块信息SEI讯息中之tile_priority两者，则上述两者的最高值针对个别图块之优先级有效。

num_tiles_in_roi_minus1[i]指示在按解碼次序接在后面的前缀片段中属于第i个关注区的图块的数目。

roi_tile_id[i][n]指示在按解碼次序接在后面的前缀片段中属于第i个关注区的第n个图块的tile_id。

roi_presentation_on_seperate_screen[i]指示与第i个roi_id相关的关注区适合于呈现在单独的屏幕上。

因此，简要概括目前为止所描述的各种实施例，已提议额外的高阶语法发信号策略，其允许应用SEI讯息以及额外的高阶语法项目(超过在每片段层级上包括于NAL单元标头中的项目)。因此，描述了片段前缀NAL单元。连同针对低延迟/子图像CPB操作、图块发信号及ROI发信号之使用情况一起，已描述片段前缀及片段层级/子图像SEI讯息的语法及语义。已呈现扩展语法来另外用信号发出片段前缀中之后续片段的片段标头的部分。

为了完整起见，图33展示出语法的另一实例，其可用于根据图12至图14的实施例的时序控制封包。语义可为：

du_spt_cpb_removal_delay_increment规定在当前存取单元中按解码次序的最后一个解码单元之标称CPB时间与关联于解码单元信息SEI讯息的解码单元之标称CPB时间的持续时间，以时钟子刻度为单位。此值亦用来为HSS计算解码单元数据到达CPB之最早可能时间。该语法元素由固定长度码来表示，其以位为单位的长度由du_cpb_removal_delay_increment_length_minus1+1给出。当关联于解码单元信息SEI讯息的解码单元在当前存取单元中之最后一个解码单元时，du_spt_cpb_removal_delay_increment的值将等于0。

dpb_output_du_delay_present_flag等于1规定pic_spt_dpb_output_du_delay语法元素在解码单元信息SEI讯息中的存在。dpb_output_du_delay_present_flag等于0规定pic_spt_dpb_output_du_delay语法元素在解码单元信息SEI讯息中的不存在。

pic_spt_dpb_output_du_delay用来计算当SubPicHrdFlag等于1时，图像的dpb输出时间。其规定在自CPB移除存取单元中之最后一个解码单元之后，在自DPB输出已解码图像之前，要等待多少个子时钟刻度。当不存在时，推断pic_spt_dpb_output_du_delay的值等于pic_dpb_output_du_delay。语法元素pic_spt_dpb_output_du_delay的长度由dpb_output_delay_du_length_minus1+1以位为单位给出。

位流符合性的要求为，与同一存取单元相关、适用于同一操作点且具有dpb_output_du_delay_present_flag等于1的所有解码单元信息SEI讯息将具有pic_spt_dpb_output_du_delay的同值。自任何自符合输出时序的解码器输出的图像的pic_spt_dpb_output_du_delay导出的输出时间将在自按解碼次序的任何后续CVS中的所有图像的pic_spt_dpb_output_du_delay导出的输出时间之前。

对于并非由「冲撞」过程输出的图像(因为该等图像按解码次序在no_output_of_prior_pics_flag等于1或经推断系等于1且NoRaslOutputFlag等于1的IRAP图像之前)，由pic_spt_dpb_output_du_delay导出的输出时间关于同一CVS内的所有图像将随着PicOrderCntVal值增加而增加。对于CVS中的任何两个图像，当SubPicHrdFlag等于1时在两个图像之输出时间之间的差将等同于当SubPicHrdFlag等于0时的同一差。

此外，图34展示出使用ROI封包用信号发出ROI区域的另一实例。根据图34，ROI封包的语法包含仅一个旗标，其指示编码至属于其范畴的任何有效负载封包32中的图像18的所有子部分是否属于ROI。「范畴」延伸至ROI封包或region_refresh_info SEI讯息出现为止。若该旗标为1，则指示该区被编码至个别后续有效负载封包中，且若为0，则情况相反，即，图像18之个别子部分不属于ROI 60。

在再次论述以上实施例中的一些(换言之，另外解释上文使用的一些用词，诸如图块、片段及WPP子流细分)之前，应注意，以上实施例之高阶发信号可替代地定义于诸如[3-7]之传输规定中。换言之，上文所提及且形成序列34的封包可为传输封包，其中一些具有并入(诸如，完全封包化或分裂)至其中的应用层的子部分(诸如片段)，一些是以上文所论述之方式及目的被穿插在后者之间。换言之，上文所提及之穿插式封包不限于被定义为应用层的视频编码解码器中所定义的其他类型的NAL单元的SEI讯息，而是可替代地为传输协议中所定义的额外传输封包。

换言之，根据本说明书之一态样，以上实施例揭露一种视频数据流，具有以视频内容的图像的子部分(参见编码树区块或片段)为单位编码于其中的视频内容，每一子部分系分别编码于视频数据流的封包(NAL单元)序列的一或多个有效负载封包(参见VCL NAL单元)中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，其中该封包序列具有穿插在其中的时序控制封包(片段前缀)，因此该等时序控制封包将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，其中每一时序控制封包用信号发出解码单元的解码器缓冲器撷取时间，其有效负载封包在封包序列中在个别时序控制封包后面。

如上所述，以图像的子部分为单位将视频内容编码至数据流中所关于的领域可涵盖与预测编码有关的语法元素，诸如编码模式(诸如框内模式、框间模式、细分信息及其类似者)、预测参数(诸如运动向量、外推方向或其类似者)及/或残余数据(诸如转换系数层级)，其中此等语法元素分别与图像之局部部分(诸如编码树区块、预测区块及残余(诸如转换)区块)相关。

如上所述，有效负载封包可各自包含一或多个片段(分别系完整的)片段可为能独立解码的或可展示会阻碍其独立解码的相互关系。例如，熵片段可为能独立熵解码的，但可阻止超出片段边界的预测。相依性片段可允许WPP处理，即，使用超出片段边界的熵及预测编码的编码/解码，具有以时间重迭方式平行地编码/解码相依性片段的能力，但交错地开始个别相依性片段及相依性片段所参考的该片段/该等片段的编码/解码程序。

解码器可预先知道在个别存取单元内排列存取单元的有效负载封包的循序次序。例如，编码/解码次序可定义于图像的子部分之间，诸如以上实例中在编码树区块之间的扫描次序。

例如，参见下图。当前被编码/解码的图像100可被分成图块，该等图块例如在图35及图36中示范性地对应于图像110之四个四分部且由参考符号112a-112d来指示。即，整个图像110可形成一个图块，如在图37的情况下，或可分段成一个以上的图块。图块分段可限于常规分段，其中图块仅按行及列来排列。下文呈现不同实例。

如可看出，图像110进一步细分成编码(树)区块(图中的小方框，且在上文被称为CTB)114，编码次序116定义于该等区块之间(此处为光栅扫描次序，但亦可不同)。将图像细分成图块112a-d可受到限制，以使得图块系区块114的不相交集合。另外，区块114及图块112a-d皆可限于按行及列的常规排列。

若图块(即，一个以上)存在，则编码(解码)次序116首先对第一个完整图块进行光栅扫描，然后，亦按光栅扫描图块次序过渡至按图块次序的下一个图块。

因为图块由于图块边界不相交而可彼此独立地编码/解码，此编码/解码为藉由自空间邻域推断出的空间预测及情境选择，所以，除例如循环内或后置滤波(可能允许其与图块边界相交)之外，编码器10及解码器12可彼此独立地平行地编码/解码细分成图块112(之前由70指示)的图像。

图像110可进一步细分成片段118a-d、180(之前使用参考符号24来指示)。片段可含有图块的仅一部分、一个完整图块或一个以上的完整图块。因此，分成片段亦可为细分图块，如在图35的情况下。每一片段包含至少一个完整编码区块114，且由按编码次序116的连续编码区块114组成，因此在片段118a-d之间定义一次序，其中遵循该次序来指派图中的索引。仅出于说明目的而选择图35至图37中的片段分割。可在数据流中用信号发出图块边界。图像110可形成单个图块，如图37中所描绘。

编码器10及解码器12可被配置为遵守图块边界，因为跨越图块边界并不应用空间预测。各种熵(算术)情境之情境调适(即，机率调适)可在整个图块上继续。然而，只要片段沿着编码次序116与图块边界(若存在于片段内部)相交，诸如在图36中关于片段118a、118b，则片段又被细分成子区段(子流或图块)，其中片段包含指向每一子区段之开头的指标(即entry_point_offset)。在解码器循环中，可允许滤波器与图块边界相交。此等滤波器可涉及解区块滤波器、样本适应性偏移(SAO)滤波器及适应性循环滤波器(ALF)中之一或多者。后者可应用于图块/片段边界上(若已启动)。

每一任择的第二个及后续子区段可使其开头以字节对准方式定位于片段内，其中指标指示自一个子区段之开头至下一个子区段之开头的偏移。该等子区段按扫描次序116排列在片段内。图38展示出图37的片段180c被细分成子区段119_i的实例。

关于诸图，请注意，形成片段的子部分的图块无须以图块112a中的列结束。例如，参见图37及图38中的片段118a。

下图展示出数据流的示范性部分，其关于与上图38的图像110相关的存取单元。此处，每一有效负载封包122a-d(之前由参考符号32来指示)示范性地适用于仅一个片段118a。出于说明目的展示出两个时序控制封包124a、124b(之前由参考符号36来指示)被穿插在存取单元120中：124a按封包次序126(对应于解码/编码时间轴)在封包122a之前，且124b在封包122c之前。因此，将存取单元120分成两个解码单元128a、128b(之前由参考符号38来指示)，其中第一个解码单元包含封包122a、122b(以及任择的填充符数据封包(分别在第一个封包122a及第二个封包122b之后)及任择的存取单元引导SEI封包(在第一个封包122a之前))，且第二个解码单元包含封包118c、118d(以及任择的填充符数据(分别在封包122c、122d之后))。

如上所述，封包序列的每封包可指派有多个封包类型中的仅一个封包类型(nal_unit_type)。有效负载封包及时序控制封包(及任择的填充符数据及SEI封包)例如为不同封包类型。封包序列中特定封包类型的封包的实例化可受到特定限制。此等限制可在封包类型之间定义一次序(参见图17)，每一存取单元内的封包将遵守此次序，以使得存取单元边界130a、130b可侦测到，且即使自视频数据流移除了任何能移除式封包类型的封包，其仍在封包序列内保持在相同位置。例如，有效负载封包系不能移除式封包类型。然而，时序控制封包、填充符数据封包及SEI封包如上文所论述可为能移除式封包类型，即，该等封包可为非VCL NAL单元。

在以上实例中，上文已藉由slice_prefix_rbsp()的语法明确地举例说明时序控制封包。

使用时序控制封包的此穿插，使编码器能够在编码视频内容之个别图像的过程中调整在解码器侧的缓冲排程。例如，使编码器能够优化缓冲排程来使端对端延迟减至最低。就此而言，使编码器能够考虑到编码复杂性针对视频内容之个别图像跨越视频内容的图像区域的个别分布。详言之，编码器可在封包接封包的基础上连续输出封包122、122a-d、122a-d_1-3的序列(即，一结束当前封包就将其输出)。藉由使用时序控制封包，编码器能够在当前图像的子部分中的一些已经编码至个别有效负载封包中，但剩余的子部分还未编码的时刻调整解码侧的缓冲排程。

因此，用于将视频内容以视频内容的图像的子部分(参见编码树区块、图块或片段)为单位编码至视频数据流中(其中分别将每一子部分编码至视频数据流的封包(NAL单元)序列的一或多个有效负载封包(参见VCL NAL单元)中，因此封包序列被分成存取单元的序列且每一存取单元收集与视频内容之个别图像有关的有效负载封包)的编码器可被配置为将时序控制封包(片段前缀)穿插在封包序列中，因此时序控制封包将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，其中每一时序控制封包用信号发出解码单元的解码器缓冲器撷取时间，其有效负载封包在封包序列中在个别时序控制封包后面。

接收刚才所概述的视频数据流的任何解码器可以利用或不利用时序控制封包中所含的排程信息。然而，虽然解码器可以利用该信息，但符合编码解码器层级的解码器必须能够解码遵循所指示时序的数据。若发生利用，则解码器以解码单元为单位向其解码器缓冲器进行馈送并清空其解码器缓冲器。如上所述，「解码器缓冲器」可涉及已解码图像缓冲器及/或已编码图像缓冲器。

因此，用于解码视频数据流(具有以视频内容的图像的子部分(参见编码树区块、图块或片段)为单位编码至其中的视频内容，其中分别将每一子部分编码至视频数据流的封包(NAL单元)序列的一或多个有效负载封包(参见VCL NAL单元)中，因此封包序列被分成存取单元的序列且每一存取单元收集与视频内容之个别图像有关的有效负载封包)的解码器可被配置为寻找穿插在封包序列中的时序控制封包，在时序控制封包处将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，自每一时序控制封包导出解码单元的解码器缓冲器撷取时间，其有效负载封包在封包序列中在个别时序控制封包后面，且自解码器的缓冲器撷取解码单元，此系排程在由解码单元的解码器缓冲器撷取时间所定义的时间。

寻找时序控制封包可涉及解码器检验NAL单元标头及其所含的语法元素，即，nal_unit_type。若后一旗标的值等于某值，即，根据以上实例为124，则当前所检验的封包系时序控制封包。即，时序控制封包可包含或传达上文关于伪码subpic_buffering以及subpic_timing所解释的信息。即，时序控制封包可传达或规定解码器的初始CPB移除延迟，或规定在自CPB移除个别解码单元之后要等待多少个时钟刻度。

为了允许重复传输时序控制封包，而不会无意中将存取单元进一步分成其他解码单元，时序控制封包内的旗标可明确地用信号发出当前时序控制封包是否参与将存取单元细分成编码单元(比较指示解码单元开始的decoding_unit_start_flag＝1及用信号发出相反情况的decoding_unit_start_flag＝0)。

使用与穿插式解码单元有关的图块识别信息的态样与使用与穿插式解码单元有关的时序控制封包的态样不同之处在于，图块识别信息穿插在数据流中。可另外将上文所提及的时序控制封包穿插在数据流中，或可连同下文解释的图块识别信息一起共同在相同封包内传达解码器缓冲器撷取时间。因此，以上章节中提出的细节可用来在以下描述中阐明问题。

可自上述实施例导出的本说明书的另一态样揭露一种视频数据流，具有使用预测及熵编码，以视频内容的图像被空间细分成的片段为单位，使用该等片段之间的编码次序编码于其中的视频内容，其中将预测编码及/或熵编码的预测限于视频内容的图像被空间细分成的图块内部，其中按编码次序的片段序列按编码次序被封包化至视频数据流的封包(NAL单元)序列的有效负载封包中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，该等有效负载封包具有封包化至其中的片段，其中封包序列具有穿插在其中的图块识别封包，该等图块识别封包识别由片段(可能仅一个)所覆盖的图块(可能仅一个)，该等片段被封包化至在封包序列中紧接在该个别图块识别封包后面的一或多个有效负载封包中。

例如，参见紧接在前面的展示出数据流的图。封包124a及124b现在将表示图块识别封包。藉由明确发信号(比较single_slice_flag＝1)或按照惯例，图块识别封包可仅识别由封包化至紧接在后面的有效负载封包122a中的片段所覆盖的图块。或者，藉由明确发信号或按照惯例，图块识别封包124a可识别由片段所覆盖的图块，该等片段被封包化至直至当前存取单元120的结束130b及分别地下一个解码单元128b的开始中的较早者为止在封包序列中紧接在该个别图块识别封包124a后面的一或多个有效负载封包中。例如，参见图35，若每一片段118a-d_1-3系单独封包化至个别封包122a-d_1-3中，其中细分成解码单元使得该等封包根据{122a_1-3},{122b_1-3}及{122c_1-3,122d_1-3}被分组至三个解码单元中，则封包化至第三个解码单元的封包{122c_1-3,122d_1-3}中的片段{118c_1-3,118d_1-3}将例如覆盖图块112c及112d，且对应的片段前缀将(例如当参考完整解码单元时)指示「c」及「d」，即，此等图块112c及112d。

因此，下文进一步提及的网络实体可使用此明确发信号或惯例来正确地使每一图块识别封包与在封包序列中紧接在该图块识别封包后面的一或多个有效负载封包相关。上文已藉由伪码subpic_tile_info示范性地描述可用信号发出该识别的方式。上文将相关有效负载封包称为「前缀片段」。本质上可修改该实例。例如，可省略语法元素「tile_priority」。此外，可切换语法元素之间的次序，且关于语法元素的可能的位长度及编码原理之描述符仅为说明性的。

接收视频数据流(即，一种视频数据流，具有使用预测及熵编码，以视频内容的图像被空间细分成的片段为单位，使用该等片段之间的编码次序编码于其中的视频内容，其中将预测编码及/或熵编码的预测限于视频内容的图像被空间细分成的图块内部，其中按编码次序的片段序列按编码次序被封包化至视频数据流的封包(NAL单元)序列的有效负载封包中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，该等有效负载封包具有封包化至其中的图块，其中封包序列具有穿插在其中的图块识别封包)的网络实体可被配置为：基于图块识别封包，识别由片段所覆盖的图块，该等图块被封包化至在封包序列中紧接在该个别图块识别封包后面的一或多个有效负载封包中。网络实体可使用识别结果来对传输任务作出决策。例如，网络实体可以不同的播放优先级来处理不同图块。例如，在封包丢失的情况下，相比与具有较低优先级的图块有关的有效负载封包，可能更愿意重新传输与具有较高优先级的图块有关的彼等有效负载封包。即，网络实体可首先请求重新传输与具有较高优先级的图块有关的已丢失有效负载封包。仅在剩下足够时间的情况下(取决于传输速率)，网络实体才继续请求重新传输与具有较低优先级的图块有关的已丢失有效负载封包。然而，网络实体亦可为能够将图块或与特定图块有关的有效负载封包指派给不同屏幕之播放单元。

关于使用穿插式关注区信息之态样，应注意，下文提及的ROI封包可与上文提及的时序控制封包及/或图块识别封包共存，其实现方式为：如上文关于片段前缀所描述在共同封包内组合该等封包的信息内容，或以单独封包的形式。

换言之，使用如上所述之使用穿插式关注区信息的态样揭露一种视频数据流，具有使用预测及熵编码，以视频内容的图像被空间细分成的片段为单位，使用该等片段之间的编码次序编码于其中的视频内容，其中将预测编码的预测及/或熵编码限于视频内容的图像被分成的图块内部，其中按编码次序的片段序列按编码次序被封包化至视频数据流的封包(NAL单元)序列的有效负载封包中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，该等有效负载封包具有封包化至其中的片段，其中封包序列具有穿插在其中的ROI封包，该等ROI封包识别图像的图块，该等图块分别属于图像的ROI。

关于ROI封包，与先前关于图块识别封包所提供的注释类似的注释系有效的：ROI封包可仅在由一或多个有效负载封包中所含的片段所覆盖的彼等图块当中识别图像的图块，该等图块属于图像的ROI，该个别ROI封包关于该等一或多个有效负载封包(藉由其紧接在一或多个有效负载封包前面)，如上文关于「前缀片段」所描述。

ROI封包可允许每个前缀片段识别一个以上的ROI，其中针对此等ROI(即num_rois_minus1)中的每一者识别相关图块。然后，针对每一ROI，可传输优先级，从而允许根据优先级(即roi_priority[i])来排序该等ROI。为了允许在视频的图像序列过程中随时间流逝「追踪」ROI，可用ROI索引来加索引于每一ROI，因此在ROI封包中所指示的ROI超出/跨越图像边界(即，随时间流逝)可彼此相关(即roi_id[i])。

接收视频数据流(即，一种视频数据流，具有使用预测及熵编码，以视频内容的图像被空间细分成的片段为单位，使用该等片段之间的编码次序编码于其中的视频内容，其中将预测编码及/或熵编码的预测限于视频内容的图像被分成的图块内部，同时在整个片段上继续熵编码之机率调适，其中按编码次序的片段序列按编码次序被封包化至视频数据流的封包(NAL单元)序列的有效负载封包中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，该等有效负载封包具有封包化至其中的片段)的网络实体可被配置为：基于图块识别封包，识别对片段继续封包化的封包，该等片段覆盖属于图像的ROI的图块。

网络实体可利用ROI封包所传达的信息，其方式与上文在此先前章节中关于图块识别封包所解释的方式类似。

关于当前章节以及先前章节，应注意，诸如MANE或解码器的任何网络实体能够仅藉由以下操作来确定当前所检验的有效负载封包的片段所覆盖的图块：调查图像的片段的片段次序，及调查此等片段所覆盖的当前图像部分的进度(关于图像中的图块的位置)，其可能已在如上文所解释的数据流中明确地用信号发出，或可能根据惯例为编码器及解码器已知的。或者，每一片段(除了图像之按扫描次序的第一个片段)可具备第一个编码区块(例如CTB)相同参考(相同码)之指示/索引(以编码树区块为单位来量测的slice_address)，因此解码器可将每一片段(其重新建构)置于图像中，此系自该第一个编码区块开始，进入片段次序之方向。因此，上述图块信息封包仅包含紧接在个别片段识别封包后面的一或多个相关有效负载封包的任何片段所覆盖的第一个图块的索引(first_tile_id_in_prefixed_slices)就够了，因为网络实体在循序遇到下一个图块识别封包时很清楚：若后一图块识别封包所传达的索引与前一图块识别封包相差超过一，则必定两个图块识别封包之间的有效负载封包覆盖具有介于二者之间的图块索引的图块。此在以下情况下成立：如所提及，图块细分及编码树细分皆例如系基于具有定义于其间的光栅扫描次序之逐列/行细分(对于图块及编码区块两者，其例如系逐列的)，即，图块索引按此光栅扫描次序增加，并且片段根据片段次序沿着编码区块之间的此光栅扫描次序接在彼此后面。

自以上实施例导出的封包化且穿插式的片段标头发信号之所描述态样亦可与上述态样中的任一个或其任何组合相组合。先前明确地描述的片段前缀(例如，根据版本2)联合所有此等态样。本态样之优点为，使网络实体更容易存取片段标头数据的可能性，因为其在位于前缀片段/有效负载封包外部的独立封包中传达，且允许重复传输片段标头数据。

因此，本说明书的另一态样系封包化且穿插式的片段标头发信号之态样，且换言之可被视为揭露一种视频数据流，具有以视频内容的图像的子部分(参见编码树区块或片段为单位编码于其中的视频内容，每一子部分系分别编码于视频数据流的封包(NAL单元)序列的一或多个有效负载封包(参见VCL NAL单元)中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，其中该封包序列具有穿插在其中的片段标头封包(片段前缀)，该等片段标头封包传达针对在封包序列中接在个别片段标头封包后面的一或多个有效负载封包之(且其中所遗失之)片段标头数据。

接收视频数据流(即，一种视频数据流，具有以视频内容的图像的子部分(参见编码树区块或片段)为单位编码于其中的视频内容，每一子部分系分别编码于视频数据流的封包(NAL单元)序列的一或多个有效负载封包(参见VCL NAL单元)中，该封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容之个别图像有关的有效负载封包，其中该封包序列具有穿插在其中的片段标头封包)的网络实体可被配置为：自封包读取片段的片段标头以及有效负载数据，然而其中自片段标头封包导出片段标头数据，且跳过读取针对在封包序列中接在个别片段标头封包后面的一或多个有效负载封包的片段标头，而是改为采用自后续接着一或多个有效负载封包的片段标头封包导出的片段标头。

如对上文提及之态样系成立的，有可能封包(此处为片段标头封包)亦可具有以下功能性：向诸如MANE或解码器的任何网络实体指示解码单元之开头或以个别封包为前缀的一或多个有效负载封包之运行的开头。因此，根据本态样的网络实体可基于此封包中之上述语法元素(即，single_slice_flag结合例如decoding_unit_start_flag，其中后一旗标允许如上文所论述重新传输在解码单元内的特定片段标头封包之拷贝)来识别有效负载封包，针对该等有效负载封包必须跳过读取片段标头。此系有用的，例如，因为一个解码单元内的片段的片段标头可沿着片段序列改变，且因此，虽然在解码单元之开头的片段标头封包可使decoding_unit_start_flag被设定(等于1)，但定位于其间的片段标头封包可使此旗标不被设定，以防止任何网络实体将此片段标头封包之出现错误地理解为新的解码单元之开头。

尽管在设备之上下文中已描述了一些态样，但清楚的是，此等态样亦表示对应方法之描述，其中一区块或装置对应于一方法步骤或一方法步骤之一特征。类似地，方法步骤之上下文中所描述之态样亦表示对应设备的对应区块或项目或特征的描述。一些或所有方法步骤可由(或使用)硬设备来执行，例如微处理器、可规划计算机或电子电路。在一些实施例中，最重要方法步骤中之一或多者可由此设备执行。

本发明的经编码数据流可储存于数字储存媒体上，或可于诸如无线传输媒体或有线传输媒体(诸如网际网络)之传输媒体上进行传输。

取决于某些实施要求，本发明的实施例可在硬件中或软件中实施。可使用上面储存有电子可读控制信号之数字储存媒体(例如，软磁盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行该实施方案，该数字储存媒体与可规划计算机系统协作(或能够与之协作)，使得执行个别地方法。因此，数字储存媒体可为计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可规划计算机系统协作，使得执行本文所述方法中的一者。

通常，本发明的实施例可实施为具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码操作以用于执行该等方法中的一者。该程序代码可例如储存于机器可读载体上。

其他实施例包括储存于机器可读载体上之用于执行本文所述方法中的一者的计算机程序。

换言之，本发明的方法的实施例因此为具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文所述的方法中的一者。

本发明的方法的另一实施例因此为数据载体(或数字储存媒体，或计算机可读媒体)，其上面记录有用于执行本文所述方法中的一者的计算机程序。该数据载体、该数字储存媒体或该所记录媒体通常为有形且/或非暂时的。

本发明的方法的另一实施例因此为表示用于执行本文所述方法中的一者的计算机程序的数据流或信号序列。该数据流或信号序列可例如被配置为经由数据通信连接(例如经由因特网)传送。

另一实施例包括一种处理构件，例如计算机或可规划逻辑设备，被配置为或适于执行本文所述方法中的一者。

另一实施例包括一种计算机，其上面安装有用于执行本文所述方法中的一者的计算机程序。

根据本发明的另一实施例包括一种设备或一种系统，被配置为传送(例如，以电子方式或光学方式)用于执行本文所述方法中的一者的计算机程序至接收器。该接收可例如为计算机、行动装置、内存装置等。该设备或系统可例如包括用于将计算机程序传送至接收器的文件服务器。

在一些实施例中，一种可规划逻辑设备(例如，现场可规划门数组)可用以执行本文所述方法之功能性中的一些或全部。在一些实施例中，现场可规划门数组可与微处理器协作，以便执行本文所述方法中的一者。通常，该等方法较佳由任何硬设备执行。

在本发明的一些实施例中，本发明也可以以如下方式配置：

1.一种视频数据流，具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，其中，所述封包序列(34)具有穿插在其中的时序控制封包(36)，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，其中，每一时序控制封包(38)用信号发出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(38)后面。

2.根据项1所述的视频数据流，其中，所述子部分(24)为图块，且每一有效负载封包(32)包含一或多个图块。

3.根据项2所述的视频数据流，其中，所述图块包含能独立解码的图块及相依性片段，所述相依性片段针对WPP处理允许使用超出图块边界的熵及预测解码的解码。

4.根据项1至3中任意项所述的视频数据流，其中，所述封包序列(34)的每个封包可被指派有多个封包类型中的仅一个封包类型，其中，有效负载封包(32)及时序控制封包(36)为不同封包类型，其中，所述多个封包类型的封包在所述封包序列(34)中的出现受到特定限制，所述限制在所述封包类型之间定义一次序，每一存取单元(30)内的封包将遵守所述次序，因此可藉由侦测违反所述限制的情况来使用此等限制侦测到存取单元边界，且即使自所述视频数据流移除了任何能移除式封包类型的封包，存取单元边界仍在所述封包序列内保持在相同位置，其中，有效负载封包(32)为不能移除式封包类型，且时序控制封包(36)为所述能移除式封包类型。

5.根据项1至4中任意项所述的视频数据流，其中，每个封包包含指示语法元素部分的封包类型。

6.根据项5所述的视频数据流，其中，指示语法元素部分的所述封包类型包含在各所述封包的包头中的封包类型字段，各所述封包的内容在有效负载封包与时序控制封包之间有所不同，且对于时序控制封包，SEI封包类型字段一方面在所述时序控制封包之间且另一方面在不同类型的SEI封包之间进行区分。

7.一种用于将视频内容(16)以所述视频内容(16)的图像(18)的子部分(24)为单位编码至视频数据流(22)中的编码器，其中，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，因此所述封包序列(34)被分成存取单元(30)的序列，且每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述编码器被配置为将时序控制封包(36)穿插在所述封包序列(34)中，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，其中，每一时序控制封包(36)用信号发出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(36)后面。

8.根据项7所述的编码器，其中，在此处所述编码器被配置为在编码所述视频内容的当前图像的过程中，

将当前图像(18)的当前子部分(24)编码至当前解码单元(38)的当前有效负载封包(32)中，

在第一时刻，在所述数据流内，藉由设定由当前时序控制封包(36)用信号发出的解码器缓冲器撷取时间来传输以所述当前时序控制封包(36)为前缀的所述当前解码单元(38)；且

在第二时刻，编码所述当前图像的另一子部分，所述第二时刻比所述第一时刻晚。

9.一种用于将视频内容(16)以所述视频内容(16)的图像(18)的子部分(24)为单位编码至视频数据流(22)中的方法，其中，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，因此所述封包序列(34)被分成存取单元(30)的序列，且每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述方法包含将时序控制封包(36)穿插在所述封包序列(34)中，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，其中，每一时序控制封包(36)用信号发出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(36)后面。

10.一种用于解码视频数据流(22)的解码器，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述解码器包含缓冲器，用来缓冲所述视频数据流或藉由解码所述视频数据流而自其获得的所述视频内容的重新建构，且所述解码器被配置为寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元被细分成两个或更多解码单元，且以所述解码单元为单位清空所述缓冲器。

11.根据项10所述的解码器，其中所述解码器被配置为：在寻找所述时序控制封包(36)时，在每个封包中检验指示语法元素部分的封包类型，若指示语法元素部分的所述封包类型的值等于预定值，则将所述个别封包辨识为时序控制封包(36)。

12.一种用于解码视频数据流(22)的方法，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述方法使用缓冲器来缓冲所述视频数据流或藉由解码所述视频数据流而自其获得的所述视频内容的重新建构，且所述方法包含：寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元被细分成两个或更多解码单元，以及以所述解码单元为单位清空所述缓冲器。

13.一种用于传输视频数据流(22)的网络实体，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述解码器被配置为：寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元细分成解码单元，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，自每一时序控制封包(36)导出解码单元(38)的解码缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(36)后面，且依据所述解码单元(38)的所述解码器缓冲器撷取时间来执行所述视频数据流的所述传输。

14.一种用于传输视频数据流(22)的方法，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述方法包含：寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元细分成解码单元，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，自每一时序控制封包(36)导出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在所述个别时序控制封包(36)后面，以及依据所述解码单元(38)的所述解码器缓冲器撷取时间来执行所述视频数据流的所述传输。

15.一种视频数据流，具有使用预测及熵编码以片段(24)为单位编码于其中的视频内容(16)，视频内容(16)的图像(18)被使用所述片段(24)之间的编码次序，其中，将所述预测编码及/或熵编码的预测限于图块(70)内部而被空间细分成所述片段(24)，所述视频内容的所述图像被空间细分成图块(70)，其中，所述片段(24)的序列被按所述编码次序封包化至所述视频数据流的封包序列的有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元收集所述有效负载封包(32)，所述有效负载封包(32)具有封包化至其中的与所述视频内容(16)的各图像(18)有关的片段(24)，其中所述封包序列(34)在一个存取单元的有效负载封包之间具有穿插在其中的图块识别封包(72)，所述图块识别封包识别由被封包化至在所述封包序列(34)中紧接在所述个别图块识别封包(72)后面的一或多个有效负载封包(32)中的任何片段(24)所覆盖的一或多个图块(70)。

16.根据项15所述的视频数据流，其中，所述图块识别封包(72)识别由被封包化至仅所述紧接在后面的有效负载封包(32)中的任何片段(24)所覆盖的所述一或多个图块(70)。

17.根据项15所述的视频数据流，其中，所述图块识别封包(72)识别由被封包化至直至当前存取单元(30)的结束以及分别地所述封包序列中的下一个图块识别封包(72)的较早者为止，在所述封包序列(34)中紧接在所述个别图块识别封包(72)后面的一或多个有效负载封包(32)中的任何片段(24)所覆盖的一或多个图块(70)。

18.一种网络实体，被配置为接收根据项15至16中任意项所述的视频数据流，且基于所述图块识别封包(72)来识别由片段(24)所覆盖的图块(70)，所述片段(24)被封包化至在所述封包序列中紧接在所述个别图块识别封包(72)后面的一或多个有效负载封包(72)中。

19.根据项18所述的网络实体，其中，所述网络实体被配置为使用所述识别的结果来对与所述视频数据流有关的传输任务作出决策。

20.根据项18或19所述的网络实体，其中，所述传输任务包括关于缺陷封包的重新传输请求。

21.根据项18或19所述的网络实体，其中，所述网络实体被配置为以不同优先级处理不同图块(70)，其实现方式为：将较高优先级指派给如下图块识别封包(72)及紧接在各所述图块识别封包(72)后面的所述有效负载封包，所述有效负载封包(72)具有封包化至其中的片段，所述片段覆盖由各所述图块识别封包(72)所识别的优先级较高的图块，较之如下图块识别封包(72)及紧接在各所述图块识别封包(72)后面的所述有效负载封包，所述有效负载封包(72)具有封包化至其中的片段，所述片段覆盖由各所述图块识别封包所识别的优先级较低的图块。

22.根据项21所述的网络实体，其中，所述网络实体被配置为：在请求被指派有较低优先级的有效负载封包的任何重新传输之前，首先请求被指派有较高优先级的有效负载封包的重新传输。

23.一种方法，包括：接收根据项15至16中任意项所述的视频数据流，以及基于所述图块识别封包(72)来识别由片段(24)所覆盖的图块(70)，所述片段(24)被封包化为在所述封包序列中紧接在各所述图块识别封包(72)后面的一或多个有效负载封包(72)中。

24.一种视频数据流，具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，其中至少一些存取单元(30)具有所述封包序列(34)，所述封包序列具有穿插在其中的ROI封包(64)，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)具有穿插在与所述个别存取单元的所述图像有关的有效负载封包(32)之间的ROI封包，其中，每一ROI封包与在所述封包序列(34)中接在各所述ROI封包后面的一或多个后续有效负载封包有关，且识别编码至各所述ROI封包所关于的所述一或多个有效负载封包中的任意有效负载封包中的所述子部分(24)是否覆盖所述视频内容的关注区。

25.根据项24所述的视频数据流，其中，所述子部分为片段，且所述视频内容使用预测及熵编码被编码至所述视频数据流中，其中，将所述预测及/或熵编码限于所述视频内容的所述图像被分成的图块内部，其中每一ROI封包还识别图块，在所述图块内，编码至各所述ROI封包所关于的所述一或多个有效负载封包中的任意有效负载封包中的所述子部分(24)覆盖所述关注区。

26.根据项24或25所述的视频数据流，其中，每一ROI封包唯一地与紧接在后面的所述有效负载封包有关。

27.根据项24或25所述的视频数据流，其中，每一ROI封包与直至所述存取单元的结束及分别地下一个ROI封包中的较早者为止在所述封包序列中紧接在各所述ROI封包后面的所有有效负载封包有关，各所述ROI封包排列在所述存取单元内。

28.一种网络实体，被配置为接收根据项24至27中任意项所述的视频数据流，且基于所述ROI封包来识别所述视频内容的所述ROI。

29.根据项27所述的网络实体，其中，所述网络实体被配置为使用所述识别的结果来对与所述视频数据流有关的传输任务作出决策。

30.根据项28或29所述的网络实体，其中，所述传输任务包括关于缺陷封包的重新传输请求。

31.根据项28或29所述的网络实体，其中，所述网络实体被配置为以增加的优先级处理所述关注区，其实现方式为：将较高优先级指派给如下ROI封包(72)及各所述ROI封包所关于的紧接在各所述ROI封包(72)后面的所述一或多个有效负载封包，所述ROI封包用信号发出编码至各所述ROI封包所关于的所述一或多个有效负载封包中的任意有效负载封包中的所述子部分(24)对所述关注区的覆盖，较之如下ROI封包及各所述ROI封包所关于的紧接在各所述ROI封包(72)后面的所述一或多个有效负载封包，所述ROI封包用信号发出不覆盖。

32.根据项31所述的网络实体，其中，所述网络实体被配置为：在请求被指派有较低优先级的有效负载封包的任何重新传输之前，首先请求被指派有较高优先级的有效负载封包的重新传输。

33.一种方法，包括接收根据项23至26中任意项所述的视频数据流，以及基于所述ROI封包来识别由所述视频内容的所述ROI。

34.一种计算机程序，具有程序代码，用于在一计算机上运行时执行根据项9、12、14、23或33所述的方法。

上文所述的实施例仅例示本发明的原理。应理解，熟习此项技术者将明白对本文所述布置及细节的修改及变化。因此，本发明的意图仅由随附之申请专利范围的范畴限制，且不受藉助于描述及阐释本文的实施例而呈现的具体细节限制。

参考文献

[1]Thomas Wiegand,Gary J.Sullivan,Gisle Bjontegaard,Ajay Luthra,「Overview of the H.264/AVC Video Coding Standard」,IEEE Trans.CircuitsSyst.Video Technol.,vol.13,N7,July 2003.

[2]JCT-VC,「High-Efficiency Video Coding(HEVC)text specificationWorking Draft 7」,JCTVC-I1003,May 2012.

[3]ISO/IEC 13818-1:MPEG-2Systems specification.

[4]IETF RFC 3550-Real-time Transport Protocol.

[5]Y.-K.Wang et al.,「RTP Payload Format for H.264Video」,IETF RFC6184,http://tools.ietf.org/html/

[6]S.Wenger et al.,「RTP Payload Format for Scalable Video Coding」,IETF RFC 6190,http://tools.ietf.org/html/rfc6190

[6]T.Schierl et al.,「RTP Payload Format for High Efficiency VideoCoding」,IETF internet draft,http://datatracker.ietf.org/doc/draft-schierl- payload-rtp-h265/。

Claims

1.一种用于将视频内容编码成数据流的装置，包括微处理器，所述微处理器被配置为基于所述视频内容，

将所述视频内容的子部分编码成封包序列，其中，所述封包序列的封包被组织成多个存取单元，其中所述多个存取单元中的每一个与所述视频内容的图像相关并且包括一个或多个解码单元，并且所述解码单元中的每一个包括至少一个有效载荷封包，并且所述子部分中的每一个对应于片段，所述编码包括根据波前并行处理技术跨片段边界对片段进行熵编码，所述片段包括所述视频内容的独立片段和相依性片段；以及

在所述多个存取单元的每个存取单元中，穿插与一个或多个解码单元对应的一个或多个时序控制封包，其中，每个时序控制封包指示解码器缓冲器撷取时间，通过所述解码器缓冲器撷取时间，从缓冲器撷取对应解码单元的内容，

其中，所述封包序列的每个封包包括相应封包的包头中的封包类型字段，所述至少一个有效载荷封包的所述封包类型字段与一个或多个时序控制封包的所述封包类型字段不同，

其中，所述封包序列包括不同类型的补充增强信息(SEI)封包，每个所述SEI封包包括SEI封包类型字段，其中，时序控制封包的SEI封包类型字段的内容不同于与所述时序控制封包不同的不同类型的SEI封包的SEI封包类型字段的内容，

其中，与所述时序控制封包不同的所述不同类型的SEI封包包括感兴趣区域(ROI)封包。

2.根据权利要求1所述的装置，其中，所述至少一个有效载荷封包是不可移除的封包类型，并且所述一个或多个时序控制封包中的每一个是可移除的封包类型。

3.根据权利要求1所述的装置，其中，所述至少一个有效载荷封包包括所述视频内容的图像的子部分的编码信息。

4.根据权利要求1所述的装置，其中，所述微处理器被配置为在所述多个存取单元的每个中穿插分别对应于所述一个或多个解码单元的所述一个或多个时序控制封包，使得所述一个或多个时序控制封包指示将每个存取单元细分成所述一个或多个解码单元。

5.根据权利要求1所述的装置，其中，根据预定组织布置所述封包序列中的不同类型的封包，并且当从所述封包序列中移除一个或多个可移除封包时，能够根据所述预定组织确定所述封包序列中的所述封包的与所述预定组织不同的另外组织。

6.一种用于解码数据流以重构视频内容的装置，包括微处理器，所述微处理器被配置为从所述数据流中提取表示所述视频内容的子部分的封包序列，其中，所述封包序列的封包被组织成多个存取单元，其中，所述多个存取单元中的每个存取单元与所述视频内容的图像相关并且包括一个或多个解码单元，并且所述解码单元中的每个解码单元包括至少一个有效载荷封包，以及所述子部分中的每一个对应于片段，所述提取包括根据波前并行处理技术跨片段边界对片段进行熵解码，所述片段包含所述视频内容的独立片段和相依性片段；

在所述多个存取单元中的每个存取单元中，识别分别对应于所述一个或多个解码单元且穿插在所述存取单元中的一个或多个时序控制封包，其中，所述时序控制封包中的每个时序控制封包指示解码器缓冲器撷取时间，通过解码器缓冲器撷取时间，从解码器缓冲器中撷取对应解码单元的内容；

根据与所述解码单元相关联的解码器缓冲器撷取时间，从所述解码器缓冲器中撷取每个解码单元的内容，其中，所述封包序列的每个封包包括相应封包的包头中的封包类型字段，所述至少一个有效载荷封包的所述封包类型字段与所述一个或多个时序控制封包的所述封包类型字段不同；以及

使用预测解码对所述一个或多个解码单元进行解码以重构所述视频内容，

7.根据权利要求6所述的装置，其中，所述至少一个有效载荷封包是不可移除的封包类型，并且所述一个或多个时序控制封包中的每一个是可移除的封包类型。

8.根据权利要求6所述的装置，其中，所述至少一个有效载荷封包包括所述视频内容的图像的子部分的编码信息。

9.根据权利要求6所述的装置，其中，所述微处理器被配置为在所述多个存取单元中的每个存取单元中分别识别所述一个或多个时序控制封包与所述一个或多个解码单元的对应关系，以使得所述一个或多个时序控制封包将每个存取单元细分为所述一个或多个解码单元。

10.根据权利要求6所述的装置，其中，根据预定组织布置所述封包序列中的不同类型的封包，并且当从所述封包序列中移除一个或多个可移除封包时，能够根据所述预定组织确定所述封包序列中的所述封包的与所述预定组织不同的组织。

11.一种用于解码数据流以重构视频内容的方法，包括：

从所述数据流中提取表示所述视频内容的子部分的封包序列，其中，所述封包序列的封包被组织成多个存取单元，其中，所述多个存取单元中的每个存取单元与所述视频内容的图像相关并且包括一个或多个解码单元，并且所述解码单元中的每个解码单元包括至少一个有效载荷封包，以及所述子部分中的每一个对应于片段，所述提取包括根据波前并行处理技术跨片段边界对片段进行熵解码，所述片段包含所述视频内容的独立片段和相依性片段；

在所述多个存取单元中的每个存取单元中，识别分别对应于所述一个或多个解码单元且穿插于所述存取单元中的一个或多个时序控制封包，其中，所述时序控制封包中的每一个时序控制封包指示解码器缓冲器撷取时间，通过解码器缓冲器撷取时间，将从解码器缓冲器撷取对应解码单元的内容；

根据与所述解码单元相关联的解码器缓冲器撷取时间，从所述解码器缓冲器中撷取每个解码单元的内容，其中，所述封包序列的每个封包包括相应封包的包头中的封包类型字段，所述至少一个有效载荷封包的所述封包类型字段与一个或多个时序控制封包的所述封包类型字段不同；以及

12.根据权利要求11所述的方法，其中，所述至少一个有效载荷封包是不可移除的封包类型，并且所述一个或多个时序控制封包中的每一个是可移除的封包类型。

13.根据权利要求11所述的方法，其中，所述至少一个有效载荷封包包括所述视频内容的图像的子部分的编码信息。

14.根据权利要求11所述的方法，其中，所述方法包括在所述多个存取单元中的每个存取单元中分别识别所述一个或多个时序控制封包与所述一个或多个解码单元的对应关系，以使得所述一个或多个时序控制封包将每个存取单元细分为所述一个或多个解码单元。

15.根据权利要求11所述的方法，其中，根据预定组织布置所述封包序列中的不同类型的封包，并且当从所述封包序列中移除一个或多个可移除封包时，能够根据所述预定组织确定所述封包序列中的所述封包的与所述预定组织不同的另外组织。