CN104885456A - 使用图块和图块组的感兴趣区域视频编码 - Google Patents

Abstract

公开了关于使用图块和图块组的对感兴趣区域(ROI)的视频进行编码的系统、方法和工具。可接收包括多个图块的编码后的视频序列。该多个图块可被分成一个或多个图块组。可接收用于指示该一个或多个图块组的参数的信令。可对该一个或多个图块组中的图块组进行解码并可显示与解码后的图块组相关联的图像。解码后的图块组可以与ROI重叠。ROI可对应于被显示的图像，而该被显示的图像可以是该编码后的视频流的一部分。可不对不与该ROI重叠的图块组进行解码。

Description

使用图块和图块组的感兴趣区域视频编码

相关申请的交叉引用

本申请要求2012年09月18日提交的美国临时专利申请No.61/702,676的权益，所述申请的内容以引用的方式结合于此。

背景技术

在主观质量与H.264/AVC相同的情况下，高效视频编码(HEVC)可以达到两倍的压缩率。随着智能手机和平板电脑的迅速增长，例如但不限于视频流、视频聊天、视频分享和游戏的移动视频应用已经变成人们日常生活的一部分。即使有了4G移动网络的实施，移动设备上迅速增长的视频流量仍对无线网络基础设施提出了巨大的需求。可在移动空间中使用HEVC以减缓部分带宽问题。超级HDTV(U-HDVC)的使用可能是使市场接受HEVC的驱动力。

HEVC可以包括若干编码工具以改善编码效率，例如但不限于扩展的视频块大小(例如，高达64x64)、大转换尺寸(例如，高达32x32)、先进的运动矢量预测(AMVP)和采样自适应偏移(SAQ)。HEVC可提供对并行化的支持，包括但不限于如下工具：除切片结构外，还有波前(Wavefront)并行处理(WPP)和图块(tile)。当使用WPP和/或图块时，对应于图像的视频流可以被分组成独立可解码的比特流子集，而不会招致切片头部的额外开销。WPP和图块可以把一个图像分割成区域以使这些区域能够同时并行解码。

发明内容

公开了关于使用图块及图块组的感兴趣区域视频编码的系统、方法和手 段。可以包括时间系列图像的编码后的视频序列，图像被分割为多个图块。多个图块可被分成至少一个或多个图块组，条件是表示该图像的所有图块不都是该图块组的成员。可以接收用于指示该至少一个或多个图块组的参数的信令。可以对图块组进行解码并且可以显示与该解码后的图块组相关联的图像的ROI。可以仅解码该ROI中的图块组。该至少一个图块组或多个图块组的参数可包括图块组的数量、每一个图块组中的图块的数量和每一个图块的索引。可以在图像参数组(PPS)、视频可用性信息(VUI)或补充增强信息(SEI)消息中用信号发送该至少一个或多个图块组的参数。可以约束图块组以使根据其参考图像中的同一图块组的像素对该图块组中的所有像素进行时间预测。

视频解码器可以接收用于指示感兴趣区域(ROI)的信令，或所确定的感兴趣区域(ROI)。由发送者或接收者或者二者协商来确定ROI。如果发送者确定或协商确定ROI，比特流中的信令是有必要的。例如，内容提供者可识别一个或多个感兴趣区域并且可将这些ROI的表示(跨时间的空间定义)编码为比特流(例如，可通过相对于该图像左上角的顶点的像素坐标来指示ROI)。在解码器一侧，可以在用户接口中将可用的ROI呈现给终端用户，并且该终端用户可以选择ROI以仅观察那一区域。也可以在比特流之外传输ROI信息。在另一个示例中，可提供允许终端用户在被显示的视频内容中识别感兴趣区域的用户接口，设备可缩放以显示ROI，并且所述缩放可导致从该显示中排除该视频内容的其他区域。ROI可以对应于被显示的图像并且被显示的图像可以是编码后的视频序列中的一部分。可能不对全部的编码后的视频序列进行解码，而仅解码被显示的图像，或者与被显示的图像重叠的图块或图块组。

附图说明

图1是示出在水平维度和垂直维度将图像均匀分割成图块的示例的图。

图2a是示出被包含在4个图块中的2个图块内的ROI的示例的图。

图2b是示出在时间实例(T+1)在ROI中而在时间实例(T)在ROI外的块的示例的图。

图3是示出将图像中的图块分组为多于一个图块组的示例的图。

图4是示出将图像中的多个图块的一部分分组到一个图块组的示例的图，其中该多个图块中的另一部分不属于该图块组。

图5是示出图块组中的块的运动预测的约束的示例的图。

图6是示出即使正当图块组(和图块)剧烈变化时图块组中的块的运动预测的约束的示例的图。

图7是示出即使正当图块组剧烈变化并且新增了图块组时图块组中的块的运动预测的约束的示例的图。

图8A是可以实施一个或多个公开的实施方式的示例通信系统的系统图。

图8B是可以在图8A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。

图8C是可以在图8A所示的通信系统中使用的示例无线电接入网和示例核心网的系统图。

图8D是可以在图8A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。

图8E是可以在图8A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。

具体实施方式

如上所述，感兴趣区域(ROI)指的是视频序列中的图像的一部分而非 全部的图像。移动视频应用可使用ROI编码。例如，因为移动设备具有有限的屏幕尺寸，人们在观看时可以缩放特定的区域，例如，通过使用触摸屏触摸感兴趣区域，使用指示器设备在感兴趣区域周围画一条线或一个方框，或者通过其他手段。可以为不同于移动使用的目的(例如，TV广播)产生视频内容。该内容可被重新定位用于手机应用，例如但不限于视频流(例如， 等)。可使用自动的视频调整和重定向。这里所描述的实施可使用图块以提供能提供缩减的解码复杂度的ROI视频编码。

HEVC可支持图块。图块可以将图像分割为一定大小的矩形区域。图1是示出在水平维度和垂直维度将图像100均匀分割为图块102a、102b、102c、102d、102e、102f、102g、102h和102i的示例的图。表格1示出了在图像参数组(PPS)中用于图块的语法结构的示例(例如，在HEVC中)。如果图块_使能_标志(tiles_enabled_flag)被打开，则可以用信号发送每个维度中的图块的数目。如果图块的大小一致(例如，如果一致_间隔_标志(uniform_spacing_flag)是1)，则可以不用信号发送额外的信息。可以用信号发送图块的宽度和高度。例如，如图1中所示，数量_图块_行_减1(num_tile_columns_minus1)和数量_图块_行_减1(num_tile_rows_minus1)可设为2而uniform_spacing_flag可设为1。附加标志环路_滤波器_跨_块_使能_标志(loop_filter_across_tiles_enabled_flag)可用于指示是否横跨图块边界应用去块滤波器(例如，可使用去块滤波器以减轻沿着边界的可见的不连续性)。

表格1—PPS中图块的信令的示例

pic_parameter_set_rbsp(){	Descriptor
		…
tiles_enabled_flag	u(1)
		entropy_coding_sync_enabled_flag	u(1)
entropy_slice_enabled_flag	u(1)
		if(tiles_enabled_flag){

 

num_tile_columns_minus1	ue(v)
		num_tile_rows_minus1	ue(v)
uniform_spacing_flag	u(1)
		if(！uniform_spacing_flag){
for(i＝0；i<num_tile_columns_minus1；i++)
		column_width_minus1[i]	ue(v)
for(i＝0；i<num_tile_rows_minus1；i++)
		row_height_minus1[i]	ue(v)
}
		loop_filter_across_tiles_enabled_flag	u(1)
}
		…
}

编码器可以通过由编码器用信令发送含新的图块分割参数的新PPS(表1)来从一个图像到另一个图像如何改变分割图块。在一个示例中，图块互相之间不需要保持相等的尺寸或与更早的实例中同一图块相同的尺寸；使得如果ROI在两个时间实例间在图像内移动，编码器可以在第二个时间实例用信号发送含新的分割参数的新PPS，新的分割参数将允许ROI留在其当前的一个图块或多个图块内。如果该图块组的成员关系保持静态，编码器可以不用信号发送任何新的图块组参数。

图2a是示出视频序列中的被分割成(并被编码为)图块202a、202b、202c和202d的图像200的示例的图。ROI 204被包含在两个图块202a和202c内。与ROI 204重叠的图块202a和202c被称为覆盖ROI。图块202a、202b、202c和202d可被独立解码。当对图像200解码时，为了将图像的ROI显示在屏幕上，解码与ROI 204重叠的图块(例如，202a和202c这两个图块)就足够了。

尽管可能需要解码图块中的部分(例如，仅部分)(例如，图块202a和202c)以显示ROI，但也可解码图像200中的所有图块202a、202b、202c和202d(例如，如果图像200是参考图像)。HEVC可使用时间预测来减小视频信号中固有的时间冗余。可解码图像中的所有图块(图块202a、202b、202c和202d)使得图像200可以用作参考图像来以解码顺序解码后来的图 像。

图2b是示出视频序列中在时间实例(T)被分割为(并被编码为)图块202a、202b、202c和202d的图像200的示例的图。ROI 204被包含在两个图块202a和202c内。在时间实例(T)视频块206(例如，一组像素)的部分在ROI 204以外。在时间实例(T)块206跨接图块202a和202b。

对时间实例(T+1)的块206进行预测是期望的，并且这样做，可将在时间实例(T)的图像200用作参考图像以预测在时间实例(T+1)的图像200。ROI可保持静态。因为在HEVC中可能没有约束，该约束将运动估计限制在将被解码图像(例如，在时间实例(T+1)的图像200)和其一个或多个参考图像(例如，在时间实例(T)的图像200)之间的图块中的每一个图块内，所以如果在时间实例(T)的参考图像中的全部图块202a、202b、202c和202d都被解码，则可根据在时间实例(T)的视频块206对在时间实例(T+1)的视频块206进行预测。编码顺序可以和显示顺序相同，或者视频序列中的图像的编码顺序不同于视频序列中的图像的显示顺序(例如，B级预测结构)。

这里描述的实施用于编码器在运动估计期间施加约束以保证可以在覆盖ROI的图块(例如，在图2b的示例中的图块202a和202c)的子集中执行运行补偿预测。这里描述的实施可以便于复杂度缩减的ROI的解码。这里描述的实施可缩减解码复杂度和功率消耗，例如，通过允许解码器对以时间方向排列的系列图像中的覆盖ROI的图块的子集进行解码(例如，仅解码)。如将要阐明的，只要覆盖ROI的图块的子集保持不变，则可执形缩减的解码。可在比特流中用信号发送该约束来通知解码器可执行缩减的解码(例如，解码图块的子集)而非完全的解码(例如，解码所有图块)。

可使用图块组。图块可以指那些坐标在图块的边界边界_左、边界_右、边界 _上、和边界_下内的像素pel的集合。例如，T＝{pel|坐标_x(pel)∈[边界_左,边界 _右]}并且坐标_x(pel)∈[边界_上,边界_下]。

图块组(TG)可以指n个图块的组合，TG＝{T₀,T₁,…T_n-1}，其中T_i是图像中的图块，i＝0…n-1。如果像素采样pel属于图块组TG中的图块，则它可以属于该图块组。图块组可以满足运动补偿预测不超出它自己的边界的约束(本文所讨论的)。例如，如果对图像中的图块组TG中的像素pel进行块间预测，则可根据在参考图像中的一者或多者中的相同的图块组TG内的参考像素对其进行预测(例如，仅预测)。在图块组中的像素满足下列约束：如果参考图像中的参考像素pel_ref不属于图块组TG，则其可以不用于对属于图块组TG的(当前)图像中的像素采样pel_cur进行运动补偿预测。

图3是示出在视频序列中被分割为(并且被编码为)图块302a、302b、302c、302d、302e、302f、302g、302h和302i并把这些图块分组到图块组303和305中的图像300的示例的图。第一图块组303可包括图块302a、302b、302d和302e。第二图块组305可包括剩余的图块302c、302f、302g、302h和302i。

图4是示出在视频序列中被分割为(并且被编码为)图块402a、402b、402c、402d、402e、402f、402g、402h和402i其中仅一些图块属于图块组403的图像400的示例的图。例如，图块402a、402b、402d和402e可属于图块组403而剩余的图块402c、402f、402g、402h和402i可能不属于任何图块组。对于如何对被剩余的图块402c、402f、402g、402h和402i覆盖的区域中的像素进行预测可能没有约束。

虽然在图3和图4中未示出，图块可属于多于一个图块组。例如，如果图3中的302a属于303和305两者，换言之，303＝{302a,302b,302d,302e}和305＝{302a,302c,302f,302g,302h,302i}，则可以根据303和305所覆盖的公共区域303∩305，即302a自身，对302a中的像素进行运动补偿预测。

图5是示出在视频序列中在时间实例(T)被分割为(并被编码为)图 块(为简单起见未描绘出)并且该图块被分组到图块组503和505的图像500的示例的图。为简单起见，未描绘出ROI。可用图块组503或图块组505来表示ROI，虽然在实际中，使ROI稍小于与其重叠的图块组更有益。例如，图块组503可能额外地包含ROI以外的很小的边缘，使得如果表格1中的loop_filter_across_tiles_enabled_flag设置为1，则可以沿着图块的边界执行环路滤波(例如，去块滤波，采样自适应偏移等)而不影响在ROI内的像素值。在时间实例(T)视频块506在图块组503内。在时间实例(T)视频块508在图块组505内。

在时间实例(T+1)，将在时间实例(T)的图像500用作参考图像来预测在时间示例(T+1)的图像500中的块506和508是期望的。约束被强加于图块组503和505。可根据全部位于图块组503的边界内的参考块对在时间实例(T+1)在图块组503中的视频块506进行预测(例如，仅预测)。可根据全部位于图块组505的边界内的参考块对在时间实例(T+1)在图块组505中的视频块508进行预测(例如，仅预测)。“全部位于……内”指的是其中包括归因于分数像素运动矢量的运动插值的参与运动补偿预测的像素不位于任何其他图块组的边界内的状况。该约束可允许不同的图块组在时间域是独立可解的。如果想得到缩减的ROI解码，可以定义第一图块组以覆盖ROI，并且可以定义第二图块组或不定义图块组用来覆盖图像的剩余部分。该配置可允许解码器对时间系列图像中的第一图块组进行解码并能显示ROI。定义使ROI全部位于该图块组内的图块组可允许解码器解码(例如，仅解码)该图块组中的一系列时间图像以显示ROI。可以根据应用的需要将图像中的图块分割为多于两个图块组，例如，如果有多于一个ROI。具有更多的图块组提供了支持不同的ROI的更大可能性。可以修改约束以允许根据作为两个图块组的成员的图块对来自该图块的像素进行预测(如上所示)。

如表格1所示，可以在HEVC中在PPS中用信号发送与图块有关的参 数。在视频序列中，可允许不同的图像使用不同PPS。在同一视频序列中，从一个图像到另一个图像参数可以改变。虽然在大多数视频应用中，在视频序列(例如，一系列图像)中图块的数量和图块的位置很可能保持相同，但可能出现如下状况：在同一视频序列中不仅允许从一个图像到另一个图像对图块的配置做改变，还允许从一个图像到另一个图像对图块的分组做改变。

图6是示出在视频序列中在时间实例(T)被分割为图块(为了简单起见未描绘出)并且该图块被分组到图块组603和605中的图像600的示例的图。为了简单起见未描绘出ROI。在时间实例(T)视频块606在图块组603内。在时间实例(T)视频块608在图块组605内。

在时间实例(T+1)，通过将时间实例(T)的图像600用作参考图像来对图像600中的块606和608进行预测是期望的。

在时间实例(T+2)，图块组603和605以与在时间实例(T)和时间实例(T+1)不同的方式被从图像600中分割，例如，从上下改为左右，然而，视频块606继续全部位于图块组603中，并且视频块608继续全部位于图块组605中。但是这一同一序列中含不同形状的图块和图块组的图像的示例仍满足以上讨论的运动预测约束，也就是，可以将时间实例(T+1)的图像600用作参考图像对在时间实例(T+2)的图像600中的块606和608进行预测。可在定义图块和图块组的时间实例(T)前发送PPS信号。可在定义图块和图块组的时间实例(T+1)和时间实例(T+2)之间发送另一PPS信号。

图7是示出在视频序列中被分割为(并被编码为)图块(为了简单的目的未描绘出)并且这些图块在时间实例(T)被分组到图块组703中的图像700的示例的图。为了简单的目的未描绘出ROI。在时间实例(T)视频块706在图块组703内。在时间实例(T)视频块708也在图块组703内。

在时间实例(T+1)，将在时间实例(T)的图像700用作参考图像对图像700中的块706和708进行预测是期望的。

在时间实例(T+2)，图块组703以与在时间实例(T)和时间实例(T+1)不同的方式被从图像700中分割，并且产生了新的图块组705。视频块706继续全部位于图块组703内。视频块708现在则位于新的图块组705中。这是一个示出图块和图块组的不同形状并且在不同的时间实例图块组的数量不同的示例。此处所描述的图块组约束可以表述为：可以根据在时间实例(T)和(T+1)的图块组703对时间实例(T+2)和(T+3)的视频块706进行预测。因为在时间实例(T)和(T+1)图块组703可以覆盖整个图像，则对运动补偿预测的限制更少(例如，除了一些边界条件以外)。因为在时间实例(T)和(T+1)图块组705不存在，对于时间实例(T+2)，视频块708可以不受约束并且可以根据图像中的任意部位对其进行预测。对于时间实例(T+3)，可以根据在时间实例(T)和(T+1)的图像中的任意部位(例如，没有任何约束)对视频块708进行预测，或者根据时间实例(T+2)的图块组705内部对其进行预测。

虽然在图4至图7中没有示出，但图块组可以包括空间连续或空间不连续的图块。

可以使用表格2中的语法用信号发送图块组。可以先用信号发送图像中的图块组的数量。对于每一个图块组，可以用信号发送被包含在图像内的图块的数量。可以用信号发送组中的图块的每一个索引。可用光栅(raster)扫描顺序来将图像中的图块编入索引。图块组中的图块可具有互斥的索引和/或可以空间互斥。可应用各种各样的编码实施以对语法元素的值进行编码(例如，如在表格2中所示)。例如，可以使用ue(v)(指数哥伦布码)和/或u(v)(定长编码)。语法元素的值(例如，如在表格2中所示)可能受到图像中的图块数量的限制。如果使用u(v)，则可相应地确定比特数。

表格2—图块组的示例

tile_group(){	描述符号
		num_tile_groups_minus1	u(v)或ue(v)

 

for(i＝0；i<＝num_tile_groups_minus1；i++){
		num_tiles_in_group_minus1[i]	u(v)或ue(v)
for(j＝0；j<＝num_tiles_in_group_minus1[i]；i++)
		tile_index[i][j]	u(v)或ue(v)
}
		}
}

可利用不同的实施将图块组语法元素结合到视频流中。可以在PPS中用信号发送与图块有关的参数(例如，如表格1所示)。可以在PPS中用信号发送图块组参数(例如，如表格2所示)(例如，在发送图块参数后)。

可以在视频可用性信息(VUI)中用信号发送图块组。VUI可以作为序列参数组(SPS)的一部分出现。VUI可用于向接收机传达信息的范围，例如但不限于比特流的一致性、色彩空间信息和比特流约束。VUI可包括用于对比特流中的图块的使用施加限制的语法元素。例如，在VUI中可以使用图块_固定_结构_标志(tiles_fixed_structure_flag)。tiles_fixed_structure_flag可指示在同一视频序列中从一个图像到另一个图像图块的构成是否可改变。tiles_fixed_structure_flag可指示在同一序列中的一个或多个活动PPS是否可以具有不同的图块参数。如果tiles_fixed_structure_flag设置为0，则图6和图7中所提供的示例可以存在。图块组参数可作为VUI的一部分被用信号发送，例如，如表格3中所示。

表格3—在VUI中用信号发送图块组的示例

tile_group(){	描述符号
		…
bitstream_restriction_flag	u(1)
		if(bitstream_restriction_flag){
tiles_fixed_structure_flag	u(1)
		num_tile_groups_minus1	u(v)或ue(v)
for(i＝0；i<＝num_tile_groups_minus1；i++){
		num_tiles_in_group_minus1[i]	u(v)或ue(v)
for(j＝0；j<＝num_tiles_in_group_minus1[i]；i++)
		tile_index[i][j]	u(v)或ue(v)
}
		motion_vectors_over_pic_boundaries_flag	u(1)

 

…
		}	u(v)或ue(v)
…
		}

可经由SEI消息提供图块组信令。HEVC可以定义一组补充增强信息(SEI)消息以传达用于各种目的的补充信息。SEI消息可以提供关于视频的有用信息以便于在接收机侧的某些操作，虽然该消息可能对于解码过程本身是非必要的。例如，可使用显示方向SEI消息(例如，SEI净负载类型47)用来将视频序列中的一个或多个图像的方向通知给解码器(例如，在HEVC中)。客户端设备可使用方向SEI消息根据需要旋转图像以保证用户可以以正确的方向观看视频。如果不使用定向SEI消息，仍可正确地解码比特流，但序列中的图像中的一者或多者可能被不正确地显示(例如，一个或多个图像可能上下颠倒，被顺时针或逆时针旋转了90度等)。如果将一个图块组或多个图块组作为SEI消息用信号发送，则SEI有效载荷类型可被分配给一个或多个图块组，例如，随后是语法元素(例如，如在表格2中所示)。

此处描述了使用图块组和ROI编码以缩减编码复杂度的实施。实施可使用图块组和ROI编码以跳过对与该ROI不重叠的一个或多个图块组的解码。使用图块组还可以更细的粒度加速并行解码。例如，当使用图块执行多线程解码时，如果没有图块组，可能在图像级同步不同图块间的参考图像解码。这是因为对后来的图像中的图块进行解码可能需要参考整个的参考图像。如果启用图块组，则可以在图块组级(例如，其相当于子图像级)同步参考图像解码。这可以允许解码器更好地协调线程间的解码负载。

图8A是在其中可以实施一个或更多个实施方式的示例通信系统的系统图。通信系统800可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统800可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统800可以使用一 种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。

如图8A所示，通信系统800可以包括无线发射/接收单元(WTRU)802a、802b、802c和802d，无线电接入网(RAN)803/804/805，核心网806/807/809，公共交换电话网(PSTN)808、因特网810和其他网络812。不过将被理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 802a、802b、802c、802d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU 802a、802b、802c、802d配置为发送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品，或者其他任何有能力接收和处理被压缩的视频通信的终端。

通信系统800还可以包括基站814a和基站814b。基站814a、814b的每一个都可以是配置为与WTRU 802a、802b、802c、802d中的至少一个无线具有接口以便于接入一个或者更多个通信网络，例如核心网806/807/809、因特网810和/或网络812的任何设备类型。作为示例，基站814a、814b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站814a、8114b的每一个被描述为单独的元件，但是将被理解的是，基站814a、814b可以包括任何数量互连的基站和/或网络元件。

基站814a可以是RAN 803/804/805的一部分，RAN 803/804/805还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站814a和/或基站814b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站814a关联的小区可以划 分为三个扇区。因此，在一种实施方式中，基站814a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站814a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。

基站814a、814b可以通过空中接口815/816/817与WTRU 802a、802b、802c、802d中的一个或者更多个通信，该空中接口815/816/817可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口815/816/817。

更具体地，如上所述，通信系统800可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 803/804/805中的基站814a和WTRU 1802a、802b、802c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口815/816/817。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在另一种实施方式中，基站814a和WTRU 802a、802b、802c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口815/816/817。

在其他实施方式中，基站814a和WTRU 802a、802b、802c可以使用例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。

图8A中的基站814b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站814b和WTRU 802c、802d可以实施例如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站814b和WTRU 802c、802d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站814b和WTRU 802c、802d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图8A所示，基站814b可以具有到因特网810的直接连接。因此，基站814b可以不需要经由核心网而接入到因特网810。

RAN 803/804/805可以与核心网806通信，所述核心网806可以是被配置为向WTRU 802a、802b、802c和802d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网806/807/809可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图8A中未示出，将被理解的是，RAN 803/804/805和/或核心网806/807/809可以与使用和RAN 803/804/805相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 803/804/805之外，核心网806/807/809还可以与使用GSM无线电技术的另一个RAN(未示出)通信。

核心网806/807/809还可以充当WTRU 802a、802b、802c、802d接入到PSTN 808、因特网810和/或其他网络812的网关。PSTN 808可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网810可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和 网际协议(IP)。网络812可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络812可以包括连接到一个或更多个RAN的另一个核心网，该RAN可以使用和RAN 803/804/805相同的RAT或不同的RAT。

通信系统800中的WTRU 802a、802b、802c、802d的某些或全部可以包括多模式能力，即WTRU 802a、802b、802c、802d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图8A中示出的WTRU 802c可被配置为与基站814a通信，所述基站814a可以使用基于蜂窝的无线电技术，以及与基站814b通信，所述基站814b可以使用IEEE 802无线电技术。

图8B是WTRU 802示例的系统图。如图8B所示，WTRU 802可以包括处理器818、收发信机820、发射/接收元件822、扬声器/麦克风824、键盘826、显示器/触摸板828、不可移动存储器830、可移动存储器832、电源834、全球定位系统(GPS)芯片组836和其他外围设备838。应该理解的是，WTRU 802可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站814a和814b和/或基站814a和814b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关和代理节点等)可以包括图8B所描绘和这里描述的一些或所有元件。

处理器818可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、图像处理单元(GPU)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器818可执行信号编码、数据处理、功率控制、输入/输出处理和/或使 WTRU 802运行于无线环境中的任何其他功能。处理器818可以耦合到收发信机820，所述收发信机820可耦合到发射/接收元件822。虽然图8B描述了处理器818和收发信机820是单独的部件，但是应该理解的是，处理器818和收发信机820可以一起集成在电子封装或芯片中。

发射/接收元件822可以被配置为通过空中接口815/816/817将信号发送到基站(例如，基站814a)，或从基站(例如，基站814a)接收信号。例如，在一种实施方式中，发射/接收元件822可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件822可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件822可以被配置为发送和接收RF和光信号两者。应当理解，发射/接收元件822可以被配置为发送和/或接收无线信号的任何组合。

另外，虽然发射/接收元件822在图8B中描述为单独的元件，但是WTRU802可以包括任意数量的发射/接收元件822。更具体的，WTRU 802可以使用例如MIMO技术。因此，在一种实施方式中，WTRU 802可以包括用于通过空中接口815/816/817发送和接收无线信号的两个或更多个发射/接收元件822(例如，多个天线)。

收发信机820可以被配置为调制要由发射/接收元件822发送的信号和/或解调由发射/接收元件822接收的信号。如上面提到的，WTRU 802可以具有多模式能力。因此收发信机820可以包括使WTRU 802经由多个例如UTRA和IEEE 802.11的RAT通信的多个收发信机。

WTRU 802的处理器818可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风824、键盘826和/或显示器/触摸板828(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器818还可以输出用户数据到扬声器/麦克风824、键盘826和/或显示/触摸板828。另外，处理器818可以从任何类型的适当的存储器访问信 息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储器830和/或可移动存储器832。不可移动存储器830可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移动存储器832可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器818可以从在物理位置上没有位于WTRU 802上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。

处理器818可以从电源834接收电能，并且可以被配置为分配和/或控制到WTRU 802中的其他部件的电能。电源834可以是给WTRU 802供电的任何适当的设备。例如，电源834可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。

处理器818还可以耦合到GPS芯片组836，所述GPS芯片组836可以被配置为提供关于WTRU 802当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组836的信息或作为其替代，WTRU 802可以通过空中接口815/816/817从基站(例如，基站814a、814b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 802在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。

处理器818可以耦合到其他外围设备838，所述外围设备838可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备838可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙()模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图8C是根据实施方式的RAN 803和核心网806的系统图。如上面提到的，RAN 803可使用UTRA无线电技术通过空中接口815与WTRU 802a、802b和802c通信。RAN 804还可以与核心网806通信。如图8C所示，RAN803可以包括节点B 840a、840b、840c，节点B 840a、840b、840c的每一个包括一个或更多个用于通过空中接口815与WTRU 802a、802b、802c、802d通信的收发信机。节点B 840a、840b、840c的每一个可以与RAN 803内的特定小区(未显示)关联。RAN 803还可以包括RNC 842a、842b。应当理解的是，RAN 803在保持实施方式的一致性时，可以包括任意数量的节点B和RNC。

如图8C所示，节点B 840a、840b、840c可以与RNC 842a通信。此外，节点B 840c可以与RNC 842b通信。节点B 840a、840b、840c可以通过Iub接口分别与RNC 842a、842b通信。RNC 842a、842b可以通过Iur接口相互通信——RNC 842a、842b的每一个可以被配置以控制其连接的各个节点B840a、840b、840c。另外，RNC 842a、842b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图8C中所示的核心网806可以包括媒体网关(MGW)844、移动交换中心(MSC)846、服务GPRS支持节点(SGSN)848、和/或网关GPRS支持节点(GGSN)。尽管前述元件的每一个被描述为核心网806的部分，应当理解的是，这些元件中的任何一个可以被不是核心网运营商的实体拥有或运营。

RAN 803中的RNC 842a可以通过IuCS接口连接至核心网806中的MSC 846。MSC 846可以连接至MGW 844。MSC 846和MGW 844可以向WTRU 802a、802b、802c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 802a、802b、802c和传统陆地线路通信设备之间的通信。

RAN 803中RNC 842a还可以通过IuPS接口连接至核心网806中的SGSN 848。SGSN 848可以连接至GGSN 850。SGSN 848和GGSN 850可以向WTRU 802a、802b、802c提供到分组交换网络(例如因特网810)的接入，以便于WTRU 802a、802b、802c和IP使能设备之间的通信。

如上所述，核心网806还可以连接至网络812，网络812可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

图8D是根据另一实施方式的RAN 804和核心网807的系统图。如上面提到的，RAN 804可使用E-UTRA无线电技术通过空中接口816与WTRU802a、802b、802c通信。RAN 104还可以与核心网807通信。

RAN 804可包括e节点B 860a、860b、860c，但可以理解的是，RAN 804可以包括任意数量的e节点B而保持与各种实施方式的一致性。eNB 860a、860b、860c的每一个可包括一个或更多个用于通过空中接口816与WTRU802a、802b、802c通信的收发信机。在一种实施方式中，e节点B 860a、860b、860c可以使用MIMO技术。因此，e节点B 860a例如可以使用多个天线来向WTRU 802a发送无线信号和/或从其接收无线信号。

e节点B 860a、860b、860c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图8D所示，e节点B 860a、860b、860c可以通过X2接口相互通信。

图8D中所示的核心网807可以包括移动性管理实体(MME)862、服务网关864和/或分组数据网络(PDN)网关866。虽然前述单元的每一个被描述为核心网807的一部分，应当理解的是，这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。

MME 862可以经由S1接口连接到RAN 804中的e节点B 860a、860b、860c的每一个，并可以作为控制节点。例如，MME 862可以负责WTRU 802a、 802b、802c的用户认证、承载激活/去激活、在WTRU 802a、802b、802c的初始附着期间选择特定服务网关等等。MME 862还可以提供控制平面功能，用于在RAN 804和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。

服务网关864可以经由S1接口连接到RAN 804中的eNB 860a、860b、860c的每一个。服务网关864通常可以向/从WTRU 802a、802b、802c路由和转发用户数据分组。服务网关864还可以执行其他功能，例如在eNB间切换期间锚定用户平面、当下行链路数据对于WTRU 802a、802b、802c可用时触发寻呼、管理和存储WTRU 802a、802b、802c的上下文(context)等等。

服务网关864还可以连接到PDN网关866，PDN网关866可以向WTRU802a、802b、802c提供到分组交换网络(例如因特网810)的接入，以便于WTRU 802a、802b、802c与IP使能设备之间的通信。

核心网807可以便于与其他网络的通信。例如，核心网807可以向WTRU802a、802b、802c提供到电路交换网络(例如PSTN 808)的接入，以便于WTRU 802a、802b、802c与传统陆地线路通信设备之间的通信。例如，核心网807可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网807与PSTN 108之间的接口。另外，核心网807可以向WTRU 802a、802b、802c提供到网络812的接入，该网络812可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图8E是根据另一实施方式的RAN 805和核心网809的系统图。RAN 805可以是使用IEEE 802.16无线电技术通过空中接口817与WTRU 802a、802b、802c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 8102a、802b、802c，RAN 805和核心网809的不同功能实体之间的链路可以被定义为参考点。

如图8E所示，RAN 805可以包括基站880a、880b、880c和ASN网关882，但应当理解的是，RAN 805可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站880a、880b、880c的每一个可以与RAN 805中特定小区(未示出)关联并可以包括一个或更多个通过空中接口817与WTRU802a、802b、802c通信的收发信机。在一个示例中，基站880a、880b、880c可以使用MIMO技术。因此，基站880a例如使用多个天线来向WTRU 802a发送无线信号，或从其接收无线信号。基站880a、880b、880c也可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关882可以充当业务聚集点，并且负责寻呼、缓存用户资料(profile)、路由到核心网809等等。

WTRU 802a、802b、802c和RAN 805之间的空中接口817可以被定义为使用802.16规范的R1参考点。另外，WTRU 802a、802b、802c的每一个可以与核心网809建立逻辑接口(未显示)。WTRU 802a、802b、802c和核心网809之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。

基站880a、880b、880c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站880a、880b、880c和ASN网关882之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 802a、802b、802c的每一个关联的移动性事件的移动性管理的协议。

如图8E所示，RAN 805可以连接至核心网809。RAN 805和核心网809之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网809可以包括移动IP本地代理(MIP-HA)884，认证、授权、计费(AAA)服务器886和网关888。尽管前述的每个元件被描述为核心网809的部分，应当理解的是，这些元件中的任意一个可以由不是 核心网运营商的实体拥有或运营。

MIP-HA 884可以负责IP地址管理，并可以使WTRU 802a、802b、802c在不同ASN和/或不同核心网之间漫游。MIP-HA 884可以向WTRU 802a、802b、802c提供分组交换网络(例如因特网810)的接入，以促进WTRU 802a、802b、802c和IP使能设备之间的通信。AAA服务器886可以负责用户认证和支持用户服务。网关888可促进与其他网络互通。例如，网关可以向WTRU802a、802b、802c提供电路交换网络(例如PSTN 808)的接入，以促进WTRU802a、802b、802c和传统陆地线路通信设备之间的通信。此外，网关888可以向WTRU 802a、802b、802c提供网络812，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

尽管未在图8E中显示，将被理解的是，RAN 805可以连接至其他ASN，并且核心网809可以连接至其他核心网。RAN 805和其他ASN之间的通信链路可以定义为R4参考点，其可以包括协调RAN 805和其他ASN之间的WTRU 802a、802b、802c的移动性的协议。核心网809和其他核心网之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网和被访问核心网之间的互通的协议。

以上描述的处理可以用计算机程序、软件或固件实现，其可包含到由计算机和/或处理器执行的计算机可读介质中。计算机可读介质的示例包括但不限于电子信号(通过有线或无线连接传送)和/或计算机可读存储介质。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如但不限于内部硬盘和可移动磁盘)，磁光介质和/或光介质，例如光盘(CD)和/或数字通用盘(DVD)。与软件关联的处理器用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机中的射频收发信机。

Claims (20)

1.一种用于对视频序列进行编码的编码器，该编码器包括：

处理器，其中所述处理器对所述视频序列进行编码，使得所述处理器：

将包含在所述视频序列中的图像分割为图块；

将至少一个图块分组到至少一个图块组，条件是并非用于表示所述图像的所有图块都是所述至少一个图块组的成员；以及

约束所述至少一个图块组的每一个图块组中的运动补偿预测，使得在所述图块组中的像素的运动补偿预测不允许使用空间上位于所述图块组以外的参考像素。

2.根据权利要求1所述的编码器，其中至少两个图块在所述至少一个图块组中，并且所述图块在空间上不连续。

3.根据权利要求1所述的编码器，其中所述图块属于至少两个图块组。

4.根据权利要求1所述的编码器，其中所述编码器发送指示所述至少一个图块组的参数的信令。

5.根据权利要求4所述的编码器，其中所述参数包括图块组的数量、每一个图块组中的图块的数量和每一个图块组中的每一个图块的索引。

6.根据权利要求5所述的编码器，其中所述图块的索引以光栅扫描的顺序指示所述图块在所述图像中的所有图块中的位置。

7.根据权利要求5所述的编码器，其中所述编码器在图像参数组(PPS)、视频可用性信息(VUI)或补充增强信息(SEI)消息中用信号发送所述参数。

8.根据权利要求4所述的编码器，其中所述编码器在补充增强信息(SEI)消息中用信号发送所述参数。

9.一种用于接收编码后的视频序列的接收机，该接收机包括：

确定在所述编码后的视频序列中的感兴趣区域(ROI)；

接收视频序列，所述视频序列定义与所述ROI重叠的至少一个图块组；

基于信令选择并解码所述至少一个图块组；以及

显示与解码后的至少一个图块组相关联的图像。

10.根据权利要求9所述的接收机，该接收机还包括根据约束进行解码，所述约束是在覆盖所述ROI的所述至少一个图块组中的运动补偿预测不允许使用空间上位于所述至少一个图块组以外的参考像素。

11.根据权利要求9所述的接收机，其中仅解码与所述ROI重叠的所述至少一个图块组。

12.根据权利要求9所述的接收机，其中不解码位于所述被解码的至少一个图块组以外的图块。

13.一种方法，该方法包括：

接收编码后的视频序列，

在所述视频序列内选择感兴趣区域(ROI)；以及

解码所述ROI而不解码全部的视频序列。

14.根据权利要求13所述的方法，其中所述编码后的视频序列包括多个图块，所述多个图块分成一个或多个图块组，所述图块组中的至少一者与所述ROI重叠，其中所述ROI小于与所述ROI重叠的一个或多个图块组的集合。

15.根据权利要求14所述的方法，其中仅解码与所述ROI重叠的所述一个或多个图块组。

16.根据权利要求15所述的方法，该方法还包括根据约束进行解码，所述约束是在当前时间实例属于与所述ROI重叠的所述一个或多个图块组的图块组中的运动补偿预测不允许使用空间上位于所述图块组以外的参考像素。

17.根据权利要求14所述的方法，其中所述图块中的至少一者的配置随着时间在空间上变化。

18.根据权利要求14所述的方法，其中所述图块组中的至少一者的配置随着时间在空间上变化。

19.根据权利要求14所述的方法，其中图块组的数量随着时间变化。

20.一种方法，该方法包括：

将编码后的视频序列中的图像分割成图块；以及

使用在补充增强信息(SEI)消息中的用于指示参数的信令发送编码后的视频序列，所述参数用于定义至少一个图块组、所述图块组中的图块的数量和所述图块组中的每一个图块的索引，使得用户能够在所述视频序列内选择感兴趣区域(ROI)并且显示所述ROI，条件是解码和显示与所述ROI重叠的图块的组而不解码不与ROI重叠的图块。