CN113273195A - 图块组划分 - Google Patents

图块组划分 Download PDF

Info

Publication number
CN113273195A
CN113273195A CN201980088764.1A CN201980088764A CN113273195A CN 113273195 A CN113273195 A CN 113273195A CN 201980088764 A CN201980088764 A CN 201980088764A CN 113273195 A CN113273195 A CN 113273195A
Authority
CN
China
Prior art keywords
picture
tile
sub
rectangular region
defined rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980088764.1A
Other languages
English (en)
Inventor
贺勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113273195A publication Critical patent/CN113273195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

系统可以识别一所定义矩形图片区域并且渲染与所述所定义矩形图片区域相对应的视频。该系统可以接收包括具有标头的图片的视频比特流，并且可以接收指定所述图片的结构的数据。该系统可以针对与第一图片中的所定义矩形区域相对应的标识符以及针对所述所定义矩形区域中的左上图块的图块索引，解析指定所述图片的所述结构的所述数据。所述系统可以基于与所述所定义矩形区域相对应的所述标识符和所述左上图块的所述图块索引，所述确定所定义矩形区域中所包括的一个或多个图块。所述系统可以基于与所述所定义矩形区域相对应的标识符，重构包括子图片的所述图片，该子图片包括所述所定义矩形区域。所述计算系统可以渲染所述所定义矩形区域中的所述子图片。

Description

图块组划分
相关申请的交叉引用
本申请要求2018年12月19日递交的题为“图块组划分(Tile Group Partition)”的美国临时申请No.62/781,749以及2018年12月4日递交的题为“图块组划分(Tile GroupPartition)”的美国临时申请No.62/775,130的益处，这两者的内容通过引用整体结合于此。
背景技术
在视频数据压缩中，可定义一便于参考和处理图片的各部分的结构。举例来说，可将覆盖图片的一部分的图片像素分组为被称作译码树单元(CTU)的单元。所述图片的较大部分可被称作图块，其可基于CTU而被定义。多个图块可被称为图块组且一起作为图块组而被引用。所定义的结构允许为了存储和传送视频的目的而特别引用视频流中的图片的部分。
发明内容
本文描述了用于定义视频数据流中的矩形图片区域并渲染对应图片的系统和实现。一种计算系统，其可以是例如无线发射和接收单元(WTRU)，该计算系统可以被编程为接收包括具有图片标头的图片的视频比特流。所接收的视频比特流可以是例如通用视频译码(VVC)格式化数据。所述计算系统可基于所述图片标头中的图片参数集标识符来识别包括指定所述图片的结构的数据的图片参数集(PPS)。
所述计算系统可以基于指定所述图片的所述结构的数据，确定与所述图片中的所定义矩形区域相对应的标识符以及所述所定义矩形区域中的左上图块的图块索引。例如，所述计算系统可以针对与所述所定义矩形区域相对应的所述标识符以及针对所述左上图块的所述图块索引，解析指定所述图片的所述结构的所述数据。所述计算系统可以基于与所定义矩形区域相对应的所述标识符和所述所定义矩形区域中的所述左上图块的所述图块索引，确定所述所定义矩形区域中所包括的一个或多个图块。
所述计算系统可以基于与所定义矩形区域相对应的标识符，重构包括子图片的图片，该子图片包括所述所定义矩形区域。所述计算系统可以渲染所述所定义矩形区域中的所述子图片。
所述计算系统可以解析所述图片标头以识别与所述子图片相关联的标识符。所述计算系统然后可以基于对应于所述所定义矩形区域的所述标识符匹配与所述子图片相关联的所述标识符，识别与所述子图片相关联的子比特流。所述计算系统然后可以基于所述子比特流来重构所述子图片。
运动约束图块集(MCTS)可允许从所述图块集中排除的其它图块解码(例如，独立解码)图块集。所述计算系统可以基于所接收的数据和对应于所述所定义矩形区域的所述标识符，识别所述所定义矩形区域与运动约束图块集相关联的指示。
提供本发明内容以便以简化形式介绍将在此在详细描述中进一步描述的一些概念。本发明内容不旨在限制所要求保护的主题的范围。本文描述了其它特征。
附图说明
从以下结合附图以示例方式给出的描述中，可以获得更详细的理解，其中：
图1示出了图片划分的示例。
图2示出了运动约束图块集(MCTS)的示例。
图3示出了合并基于MCTS的区域轨道的示例。
图4示出了从不同分辨率的比特流组合MCTS的提取器轨道的示例。
图5示出了示例立方体贴图(cube mapping)帧。
图6示出了示例图块组划分。
图7示出了示例图块组网格及图块网格划分。
图8示出了用于中间盒和/或客户端的示例解析过程。
图9示出了图块组扫描次序的示例。
图10A、10B和10C示出了CTB扫描实现的示例。
图11A、11B和11C示出示例图块光栅扫描和图块组扫描实现。
图12A、12B和12C示出CTB光栅和图块组扫描的示例。
图13示出了基于MCTS的子图片图块组的合并的示例。
图14示出了基于MCTS的子图片图块组的示例性提取和重新定位。
图15A是示出了其中可以实施一个或多个公开的实施例的示例通信系统的系统图。
图15B是示出了根据实施例的可在图15A中所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图15C是示出了根据实施例的可在图15A中所示的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图15D是示出了根据实施例的可在图15A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。
具体实施方式
描述了用于识别视频流中的所定义矩形图片区域并渲染与所定义矩形图片区域相对应的视频的技术。一种系统，可以被编程为接收包括具有标头的图片的视频比特流。该系统还可以接收指定所述图片的结构的数据。所述系统可以针对与第一图片中的所定义矩形区域相对应的标识符以及针对所述所定义矩形区域中的左上图块的图块索引，解析指定所述图片的所述结构的所述数据。所述系统可以基于与所定义矩形区域相对应的所述标识符和所定义矩形区域中的所述左上图块的所述图块索引，确定所定义矩形区域中所包括的一个或多个图块。所述系统可以基于与所定义矩形区域相对应的所述标识符来重构包括子图片的图片，该子图片包括所述所定义矩形区域。所述计算系统可以在所定义矩形区域中渲染所述子图片。
图片可被划分成一个或一个以上图块列和行。图块语法和/或解码处理可消除跨越同一图片内的图块边界的一个或一个以上图片预测依赖性和/或熵解码依赖性。所述图块语法和/或解码过程可允许所述图块相对于用于图片间预测的参考图片内的其它图块具有独立关系。如果切片中包含一个以上图块，那么可在切片标头中用信号发送除切片中的第一图块外的(例如，每一)图块的入口点(entry point)字节偏移。
图块组可为或可包含切片。图块组可为或可包含图块串，例如，以光栅次序开始。图块组标头可指示所述图块组中的图块的数目和/或指向(例如，每一)图块的开始的入口点。图1示出了图片划分的示例。如图1中所示，可将具有18×12译码树单元(CTU)(例如，亮度CTU)的图片划分成12个图块和3个图块组。
用于图片图块网格的示例语法可如表1中所示。表1示出了示例图片参数集语法。表1中所示的图片图块网格可以由图块列和图块行来指定。
表1-示例性图片参数集语法
Figure BDA0003158280960000051
表2示出了示例图块组标头语法。如果所述图片中存在一个以上图块，那么语法元素tile_group_address可指定所述图块组中的第一图块的索引。语法元素num_tiles_in_tile_group_minus1 plus 1可指定所述图块组中的图块的数目。语法元素entry_point_offset_minus1[i]plus 1可指定以字节为单位的第i图块入口点偏移。
可通过使用等式(1)和/或等式(2)导出图块组数据内的在图块组标头之后的第k个图块的第一字节和最后字节：
Figure BDA0003158280960000052
lastByte[k]＝firstByte[k]+entry_point_offset_minus1[k] (2)
表2-示例性图块组标头语法
Figure BDA0003158280960000061
覆盖图片区域的图块集合可被译码为运动约束图块集合(MCTS)。对于MCTS，运动矢量可能受到限制。例如，可以限制MCTS的运动矢量，并且例如，代替和/或除了解码整个图片的一个或多个(例如，所有)比特，解码器可以解码包括MCTS的比特流的子集。一个或多个(例如，三个)MCTS相关补充增强信息(SEI)消息可以包括时间(temporal)MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。所述SEI消息可指示MCTS位置和/或性质，且可实现从比特流提取运动约束图块(MCTS)的子集。所述SEI消息可指示所述MCT的所述子集到另一比特流的再定位。
表3示出了示例性的时间MCTS SEI消息。例如，语法元素mcts_id[i]可以指定第i个MCTS的标识号。来自表3的语法元素top_left_tile_idx[i][j]和语法元素bottom_right_tile_idx[i][j]可分别指定第i个MCTS中的图块的第j个矩形区域的左上图块的图块位置和右下图块的图块位置。MCTS可具有非矩形形状。图2示出了示例MCTS。如图2所示，MCTS可以包括多个矩形图块区，例如，图块区1和图块区2，它们一起给MCTS一个非矩形的形状。
表3-示例时间运动约束图块集合SEI消息
Figure BDA0003158280960000071
MCTS提取信息集SEI消息可提供用于MCTS子比特流提取的信息(例如，补充信息)。例如，所述MCTS提取信息集SEI消息可以生成用于MCTS的符合比特流。该信息可以包括例如在MCTS子比特流提取过程期间要使用的提取信息集的数量(例如，，num_info_sets_minus1)、MCTS集合的数量(例如，num_mcts_sets_minus1[i])和/或替换视频参数集(VPS)、序列参数集(SPS)以及图片参数集(PPS)。语法元素output_slice_segment_address可以指定第j个切片片段的输出切片片段地址。output_slice_segment_address语法元素的值可以在0到PicSizeInCtbsY-1的范围内，包括端点。MCTS可以用于感兴趣区域和/或视口(viewport)相关全向视频处理。
全向视频处理可以是视口相关的。全向媒体格式(OMAF)可以所定义媒体格式，并且可以实现全向媒体，例如360度视频、图像、音频和/或相关联的定时文本。
基于相等分辨率MCTS的视口相关方案可将相同全向视频内容译码成处于不同图片质量和/或比特速率的一或多个比特流(例如，HEVC比特流)。可以在区域轨道中包括(例如，每个)MCTS，并且可以创建提取器轨道。OMAF播放器可例如基于观看朝向来选择接收(例如，每个)子图片轨道的质量。图3示出了合并相同分辨率的基于MCTS的区域轨道(例如，HEVC基于MCTS的区域轨道)的示例。举例来说，如图3中所示，OMAF播放器可接收特定质量(例如，质量1)的MCTS轨道1、2、5和6，且可接收另一质量(例如，质量2)的区域轨道3、4、7和8。提取器轨道可用于重构可用解码器(例如，HEVC解码器)解码的比特流。处于不同质量的具有MCTS的经重构比特流(例如，HEVC比特流)的图块可通过图块语法(例如，HEVC图块语法)用信号发送。
基于MCTS的视口相关的视频处理可将相同的全向视频源内容译码成一个或多个(例如，多个)空间分辨率。基于所述观看朝向，提取器可选择匹配所述观看朝向的图块。例如，提取器可以选择高分辨率的与观看朝向匹配的图块和低分辨率的其他图块。从提取器轨道解析的比特流可以由(例如，单个)解码器解码。
图4示出了从不同分辨率的比特流组合MCTS的提取器轨道的示例。例如，图4示出了用于利用视口相关视频简档来实现5K的有效矩形投影(ERP)分辨率的方案。内容可以以两个空间分辨率译码，例如5120×2560和2560×1280，以及分别具有4×2和2×2图块网格。可以针对(例如，每个)图块位置对MCTS进行译码。两个不同集合的低分辨率内容可被译码，并且可以由旋转角度的90度偏航差来区分。可以选择高分辨率比特流的四个MCTS和低分辨率比特流的两个MCTS来形成一视口自适应提取器轨道。
可以提供一种图片划分结构。例如，所述图片划分结构可以解决一个或多个新兴的视频应用，诸如360度视频。本文所述的图块组可替换一切片结构和/或可实现代码转换操作(例如，简单代码转换操作)。举例来说，可对所关注区(ROI)进行解码(例如，独立地解码)，或可从具有大图片大小的经译码视频序列提取子图片，且将结果转换成经译码视频序列。例如，通过修改高级语法和/或完全解码和重新译码低级数据(例如，CTU级和以下的数据)，可以将所述结果转换为用于较小图片大小的译码视频序列。图块组可形成可为灵活的但可不支持基于子图片的划分的任意形状的区域。矩形图块组可支持基于区域的视频应用程序。例如，矩形图块组可应用于全向视频中的特定区域和/或面，该全向视频是等矩形和/或立方体贴图投影格式等。图5示出了示例立方体贴图帧。如图5所示，示例立方体贴图帧可以是3×2立方体贴图图片。矩形图块组可应用于面或子图片以用于独立解码和渲染和/或子比特流提取以形成提取器轨道。
本文描述了用于定义视频数据流中的矩形图片区域并渲染对应图片的系统和实现。一种计算系统，其可以是例如无线发射和接收单元(WTRU)，该计算系统可以被编程为接收包括具有图片标头的图片的视频比特流。所接收的视频比特流可以是例如通用视频译码(VVC)格式化数据。所述计算系统可基于所述图片标头中的图片参数集标识符来识别包括指定所述图片的结构的数据的图片参数集PPS。
所述计算系统可以基于指定所述图片的所述结构的数据来确定与所述图片中的所定义矩形区域相对应的标识符以及所定义矩形区域中的左上图块的图块索引。例如，所述计算系统可以针对与所定义矩形区域相对应的所述标识符以及针对所述左上图块的所述图块索引来解析指定所述图片的所述结构的所述数据。所述计算系统可以基于与所定义矩形区域相对应的所述标识符和所定义矩形区域中的左上图块的所述图块索引来确定所定义矩形区域中所包括的一个或多个图块。
所述计算系统可以基于与所定义矩形区域相对应的标识符来重构包括子图片的图片，该子图片包括所定义矩形区域。所述计算系统可以在所定义矩形区域中渲染所述子图片。
矩形图块组结构可用于启用基于感兴趣区域和/或子图片的视频应用。可以使用从底部到顶部图块组划分和从顶部到底部图块组划分。可以针对图块组启用MCTS以支持ROI和/或子图片提取和重新定位。
从底部到顶部图块组划分可将图片划分成图块且可将一个或一个以上(例如，多个)图块分组成一图块组。从顶部到底部图块组划分可将图片划分为一个或一个以上图块组，且将所述一个或一个以上图块组划分为一个或一个以上图块。可使用所述图块组的一或多个语法元素来建立矩形图块组语法结构。所述图块组的语法元素可包含tile_group_id、tile_group_start_address、tile_group_end_address、num_tiles_in_tile_group_minus1和/或其类似者。语法元素可以在各种级别上被用信号发送。举例来说，可在参数集(例如，诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)和/或类似者)中或在图片标头中用信号发送所述图块组的所述语法元素。本领域技术人员将认识到，在本文描述的参数集中携带的一个或多个参数可以包括但不限于PPS、SPS、VPS和/或类似的参数集。
可以采用从底部到顶部图块组划分来提供矩形图块组结构。图块组可为图片的图块光栅扫描中的图块序列。图块可为覆盖图片的区域(例如，图片的矩形区域)的CTU序列。图块组可为覆盖图片区域(例如，矩形图片区域)的图块集合。在示例中，图块组的边界可跨越所述图片。在示例中，图块组的边界可在图片内(例如，不跨越图片)。所述从底部到顶部图块组划分可将图片划分成图块且可将一个或一个以上(例如，多个)图块分组成一图块组。
可提供用于矩形图块组的语法和语义。表4示出了可用于矩形图块组的示例图块组标头语法。
表4-示例性图块组标头语法
Figure BDA0003158280960000111
语法元素tile_group_id可指定相关联图块组的识别编号。tile_group_id语法元素的值可以在0到232-2的范围内，包括端值。所述简档和/或级别可指定图块组的最大数目。
语法元素tile_group_start_address和语法元素tile_group_end_address可指定相关联图块组的矩形区域中的第一图块(例如，或左上图块)的位置和最后图块(例如，或右下图块)的位置。地址值可以是例如图片的图块光栅扫描中相关联的图块的地址。
如果图片包含图块(例如，单个图块)或图片包含图块组(例如，单个图块组)，那么可跳过关于图块组开始地址的信令。如果图块组包含单个图块，那么可跳过关于图块组结束地址的信令。如果不存在图块组开始地址和/或图块组结束地址，那么可推断tile_group_start_address语法元素的值(例如，等于0)，且可推断tile_group_end_address语法元素的值(例如，等于tile_group_start_address语法元素的值)。
图6示出了图块组划分的示例。如图6所示，可以将图片划分为6×4CTB和3×2个图块，其中一图块可以覆盖2×2个CTB。一图块组可覆盖整数数目个图块。可以指定图块组的位置和/或形状。举例来说，图块组的位置和/或形状可由图片的图块光栅扫描中的第一和/或最后图块的地址指定。举例来说，图6(a)中所示的右上图块组的位置和形状可由图块#3作为开始地址用信号发送。图6(b)中所示的右图块组的位置和形状可由图块#3作为开始地址且由图块#6作为结束地址来用信号发送。
可用信号发送(例如，明确地用信号发送)一(例如，每一)图块组的一个或一个以上语法元素，例如tile_group_id、tile_group_start_address、tile_group_end_address、num_tiles_in_tile_group_minus1和/或类似物。举例来说，所述图块组的语法元素可在参数集(例如，PPS、SPS、VPS和/或类似者)或图片标头中用信号发送，例如以指示用于子图片提取的图块组网格。可以将子图片译码为图块组子比特流。中间盒、提取器和/或客户端可通过解析所述参数集(例如，PPS)或图片标头(例如，直接)来确所述定图块组网格。在示例中，所述中间盒、提取器和/或客户端可通过从图块组标头搜索相关联的语法元素tile_group_id来提取对应子图片比特流。在示例中，所述中间盒、提取器和/或客户端可通过子比特流字节偏移指示，提取(例如，直接提取)子比特流。发信号发送图块组地址(例如，在图块组标头中)可配置所述中间盒和/或客户端以解析所述图块组标头。可进行对图块组标头的解析，以理解图片中的图块组分布和/或可确定可提取哪个图块组数据。
图7示出了示例图块组划分网格和图块划分网格。图7示出了图块组划分示例。图片可被划分成4×4图块网格。第一图块列可分组为图块组#1；第二和第三图块列可以被分组为图块组#2；且最后图块列可分组为图块组#3。图块组#1可包含1×4图块网格；图块组#2可包含2×4图块网格；且图块组#3可包含1×4图块网格。比特流可被建构成图块组子比特流的序列。图块组子比特流可包含图块子比特流的序列。可用信号发送(例如，独立地用信号发送)图块组内的图块网格(例如，局部图块网格)。该局部图块网格在提取之前和之后可以是一致的，并且整个图块网格的图片水平在提取之前和之后可以改变。所述局部图块网格的一致性可帮助子图片提取和再定位过程。
如果中间盒或客户端计划提取位于图7中圈出的图块#8和/或图块#12处的ROI，则中间盒和/或客户端可解析参数集(例如，解析参数集，诸如PPS优先)以算出图块划分结构，并且可确定所述ROI是否在图块#8处和/或在图块#12处。中间盒和/或客户端可解析所述图块组的一个或多个(例如，所有三个)标头，例如以确定图块#8和/或图块#12是否被包括在图块组#3中。可用信号发送图块组网格(例如，使用参数集(例如，PPS)或图片标头)。基于图块组网格(例如，在参数集处(例如，PPS)或图片标头处)，中间盒和/或客户端可在解析所述参数集(例如，PPS)和/或图片标头之后(例如，直接在之后)，识别ROI由图块组#3覆盖。基于图块组网格(例如，在参数集(例如，PPS)或所述图片标头处)，中间盒和/或客户端可提取具有图块组入口点指示符的图块组#3子比特流且可例如基于图块入口点指示符，提取(例如，进一步提取)图块#8和/或图块#12。
表5-PPS或图片标头中的示例图块组结构
Figure BDA0003158280960000131
表5示出了如本文所描述的PPS和/或图片标头中的示例图块组划分结构。提取器可从PPS和/或图片标头中的结构，识别图块组网格。提取器可提取相关联的子图片或图块组子比特流。举例来说，如果将(例如，每一)子图片译码到图块组中，那么提取器可基于语法元素tile_group_id或图块组入口点，提取相关联的子图片或图块组子比特流。如果形成了提取器轨道(例如，新的提取器轨道)，那么中间盒和/或提取器可在参数集(例如，PPS)或图片标头层级处更新图块组网格结构(例如，而不直接修改图块组子比特流)。通过在参数集(例如，PPS)或图片标头处参考图块组网格结构，客户端可一起构成和/或可渲染子图片。
在示例中，参数集(例如，PPS)或图片标头中指示的图块组的数目可指定图片内的感兴趣区域(例如，矩形感兴趣区域)和/或子图片。所述图片的区域可不被用信号发送的图块组(例如，如本文所描述的明确用信号发送的图块组)覆盖。未被用信号发送的图块组(例如，用信号明确发送的图块组)覆盖的区域可形成图块组，且所述图块组可呈非矩形形状。
语法元素tile_group_offset_len_minus1 plus 1可指定tile_group_entry_point_offset_minus1[i]语法元素的长度(例如，以比特为单位)。offset_len_minus1语法元素的值可在0到31的范围内，包含端值。
语法元素tile_group_entry_point_offset_minus1[i]plus 1可指定第i个图块组入口点偏移量(例如，以字节为单位)，且可由语法元素tile_group_offset_len_minus1plus 1比特来表示。可以将图块组标头的第一字节视为字节0。如果存在第一字节，则可以对出现在译码图块组网络抽象层(NAL)单元的图块组标头和图块组数据部分中的模拟防止字节进行计数。例如，可将模拟防止字节计数为图块组标头和/或图块组数据的一部分(例如，用于子集识别)。子集0可包含到语法元素tile_group_entry_point_offset_minus1[0]的字节0，包含经译码图块组标头。诸如子集k(例如，k在1至num_tile_group_minus1-1的范围内，包括端值)等的图块组数据可包括译码图块组标头和相关联的图块组数据(具有firstByte[k]和lastByte[k])中的firstByte[k]至lastByte[k]的字节，包括端值。firstByte[k]和lastByte[k]可为一个或一个以上(例如，全部)字节偏移。firstByte[k]and lastByte[k]可分别如等式(3)和(4)中所示。
Figure BDA0003158280960000152
lastByte[k]＝firstByte[k]+tile_group_entry_point_offset_minus1[k] (4)
可用信号发送语法元素tile_group_offset_len_minus1和/或语法元素tile_group_entry_point_offset_minus1。举例来说，语法元素tile_group_offset_len_minus1和/或语法元素tile_group_entry_point_offset_minus1可在图片标头中用信号发送，因为值可在图片之间变化。
表6-示例性图块组标头语法
Figure BDA0003158280960000151
在示例中，用于图块组的局部图块网格可从图片图块网格(例如，在例如PPS或图片标头等参数集中用信号发送)导出。可在图块组标头中携载所导出的局部图块网格结构，例如以形成用于子图片提取和再定位的自含式图块组子比特流。如图7所示，可以从图片图块网格(例如，4x4)和/或图块组网格(例如，3x1)中导出(例如，每个)图块组(例如，1x4和/或2x4)的局部图块网格。表6示出了示例图块组标头语法。语法元素tile_partitioning结构可指示图块组内的局部图块网格。语法元素tile_partitioning结构可以包括诸如图块宽度和高度、图块组宽度和高度和/或图块网格的参数。中间盒和/或客户端可例如基于在诸如PPS的参数集或图片标头中用信号发送的图块组网格来请求和/或提取子图片。中间盒和/或客户端可例如基于在图块组标头中用信号发送的局部图块网格和入口点偏移来解码和/或渲染特定图块。图8示出了如本文所述的中间盒和/或客户端的示例解析过程。
在示例中，如果图块组的边界被约束为跨越整个图片，那么图块划分语法结构(例如，HEVC中描述的类似图块划分语法结构)可用于在参数集(例如，PPS)和/或图片标头中指示所述图块组划分结构。该图块组划分结构可由图块组列和行指定。图片可被划分(例如，均匀划分)成图块组列和行，或者可用信号发送(例如，明确地用信号发送)(例如，每一)图块组列的宽度和(例如，每一)图块组行的高度。
表7示出了示例图块组网格语法(例如，用于PPS或图片标头)。语法元素num_tile_group_columns_minus1 plus 1可指定图片中的图块组列的数目。语法元素num_tile_group_rows_minus1 plus 1可指定图片中的图块组行的数目。如果图块组并非均匀地分布于图片中，那么(例如，每一)图块组列和行的宽度和高度可由语法元素tile_group_column_width_minus1和/或语法元素tile_group_row_height_minus1指定(例如，明确指定)。
语法元素motion_constrain_enabled_flag等于1可指示运动约束可或可不应用于图块组。语法元素tile_group_motion_constrain_enabled_flag等于1可指示相关联的图块组是运动约束的。
表7-用于PPS或图片标头的示例性图块组网格语法
Figure BDA0003158280960000171
可指定图块组id和/或索引。举例来说，可按图片的图块组的左上方图块光栅扫描地址的次序来指定所述图块组id和/或索引。图9示出了例如基于图块光栅扫描地址的示例性图块组扫描顺序。图9示出了可按图片的光栅扫描次序按图块组的第一图块(例如，标记为X)的地址的次序设置图块组索引的示例。
从底部到顶部图块组划分可包含译码树块CTB光栅和图块扫描处理。图块组可为或可包含图片的图块光栅扫描中的图块序列。可以应用CTB光栅和图块扫描转换。图块可不被分组(例如，不被顺序地分组)到图块组中。CTB光栅和图块扫描转换可以支持矩形图块组。图10A、10B和10C示出了示例性光栅和图块扫描过程。图10A示出了图片的示例CTB光栅扫描。图10B示出了在图片的图块光栅扫描中对图块序列的图块组的示例CTB图块扫描。图10C示出了使用这里描述的矩形块组的示例CTB图块扫描。
诸如PicSizeInCtbsY、PicWidthInCtbsY、ctbAddrRs、colWidth、rowHeight、colBd和/或rowBd的语法元素可以用在这里描述的转换处理中。
对于i的列表tileGroupWidthInCTBs[i]和列表tileGroupHeightInCTBs[i]的范围可以是0到num_tile_groups_minus1，包括端值在内。用于i的列表tileGroupWidthInCTBs[i]和列表tileGroupHeightInCTBs[i]可以以CTB为单位指定第i个图块组的宽度和高度，并且可以被如下导出：
Figure BDA0003158280960000181
对于i的列表tgLeft[i]的范围可以从0到num_tile_groups_minus1，包括端点。语法元素图块组可以是或可以包含tile_group或tileGroup。用于i的列表tgLeft[i]可以CTB为单位指定第i个图块组左边界的位置，且可被如下导出：
Figure BDA0003158280960000182
对于i的列表tgRight[i]的范围可以从0到num_tile_groups_minus1，包括端点。用于i的列表tgRight[i]可以CTB为单位指定第i个图块组右边界的位置，且可被如下导出：
Figure BDA0003158280960000191
对于i的列表tgTop[i]的范围可以从0到num_tile_groups_minus1，包括端点。i的列表tgTop[i]可以CTB为单位指定第i个图块组顶部边界的位置，且可被如下导出：
Figure BDA0003158280960000192
对于i的列表tgBot[i]的的范围可以从0到num_tile_groups_minus1，包括端点。用于i的列表tgBot[i]可以CTB为单位指定第i个图块组右边界的位置，且可被如下导出：
Figure BDA0003158280960000193
对于ctbAddrRs的列表CtbAddrRsToTs[ctbAddrRs]可以在0到PicSizeInCtbsY-1的范围内，包括端值。对于ctbAddrRs的列表CtbAddrRsToTs[ctbAddrRs]可以指定从图片的CTB光栅扫描中的CTB地址到图块扫描中的CTB地址的转换，并且可以被如下导出。语法元素tgIdx可以是或者可以包括tileGroupIdx。
Figure BDA0003158280960000201
从底部到顶部图块组划分可涉及图块光栅和图块组扫描转换处理。图块组扫描可为划分图片的图块的排序(例如，图块的顺序排序)，其中图块在图块组中的图块光栅扫描中是有序的(例如，连续排序)。图片的图块光栅和图块组转换的图块扫描可支持矩形图块组。图11A、11B和11C示出示例性图块扫描处理。图11A示出了图片的示例性图块光栅扫描。图11B示出了在图片的光栅扫描中对顺序图块的示例性图块组扫描。图11C示出了如这里所述的矩形图块组的示例图块组扫描。
对于tileAddrRs的列表TileAddrRsToTGs[tileAddrRs]的范围可以从0到NumTilesInPic–1，包括端值。对于tileAddrRs的列表TileAddrRsToTGs[tileAddrRs]可指定从图片的图块光栅扫描中的图块地址到图块组扫描中的图块地址的转换，且可被如下导出。语法元素NumTilesInPic可以是图片的图块的总数。
Figure BDA0003158280960000211
对于tileAddrTGs的列表TileAddrTGsToRs[tileAddrTGs]的范围可以是0到NumTilesInPic-1，包括端值。对于tileAddrTGs的列表TileAddrTGsToRs[tileAddrTGs]可指定从图块组扫描中的图块地址到图片的光栅扫描中的图块地址的转换，且可被如下导出：
Figure BDA0003158280960000221
从底部到顶部图块组划分可采用导出图块ID。用于ctbAddrTs的列表TileId[ctbAddrTs]可以在0到PicSizeInCtbsY-1的范围内，包括端值。用于ctbAddrTs的列表TileId[ctbAddrTs]可以指定从图块扫描中的CTB地址到图块ID的转换，并且可以被如下导出：
Figure BDA0003158280960000222
图块组划分可采用如本文所述的图块组数据结构。例如，基于从CTB光栅扫描到图块扫描的转换以及从图块扫描中的CTB地址的转换，图块组地址可以不被包括在图块组标头和/或图块组数据结构中，如表8所示。
表8-示例图块组数据结构
Figure BDA0003158280960000231
可以采用从顶部到底部图块组划分来提供矩形图块组结构。顶部到底部组图块划分可将图片划分为一个或一个以上图块组。所述图块组可包含整数数目的CTB(例如，以覆盖矩形区域)。所述图块组可被划分成一个或一个以上(例如，多个)图块。可在参数集(例如，PPS)和/或图片标头中用信号发送图块组网格。可在参数集(例如，PPS)、图片标头、图块组标头和/或类似者中用信号发送(例如，每一)图块组内的局部图块网格(例如，默认图块网格)。可在图块组标头中用信号发送不同的局部图块网格以超驰(override)在参数集(例如，PPS)或图片标头中用信号发送的默认图块网格。
在此描述的从上到下方法中的(例如，每个)图块组可以是自包含实体。举例来说，本文中描述的从顶部到底部方法中的图块组可为具有局部图块划分网格的独立实体，且所述网格(例如，局部图块划分网格)可独立于其它图块组的图块网格。对于一些视频应用，中间盒和/或客户端可从不同比特流拼接一个或多个图块组，并且可组合来自不同比特流的一个或多个图块组以形成比特流(例如，新比特流)。该比特流(例如，新比特流)的图片图块网格可使用不同图块列和图块行结构和/或可使用不同图块列和图块行结构发信号，且不同图块组的组合的类型可受到限制。所述顶部到底部图块组方法可跳过图片图块网格信令且可简化比特流拼接过程。本文所描述的顶部到底部图块组方法可允许更多类型的基于图块组的子比特流提取、再定位和/或组合。
可用信号发送图块组网格结构(例如，在参数集(例如，PPS)中和/或在图片标头中)。表9提供了示例性图块组结构。图块组位置可用语法元素tile_group_start_address和/或语法元素tile_group_end_address来指定。语法元素tile_group_start_address和/或语法元素tile_group_end_address可以分别指定图片的CTB光栅扫描中的第一个CTB(例如，或左上CTB)的地址和图片的CTB光栅扫描中的最后一个CTB(例如，或右下CTB)的地址。可在语法元素tile_partitioning结构中用信号发送图块划分结构(例如，在HEVC中指定)或灵活图块划分结构，以指示可适用于(例如，每一)图块组的默认图块划分。
表9-示例图块组结构
Figure BDA0003158280960000241
在示例中，可在参数集(例如，PPS)或图片标头中用信号发送图块划分结构列表。可将索引指派给(例如，每一)图块划分网格(例如，默认图块划分网格)。图块组可指代特定列表索引以指示所述图块划分结构。可在图块组标头中用信号发送图块划分超驰指示(例如，超驰标志)。如果图块划分超驰指示(例如，超驰标志)等于1，那么图块组可指定可能已从图块划分列表排除的图块划分结构(例如，新的图块划分结构)。
表10示出了示例图块划分列表语法结构。语法元素tile_grid_override_enabled_flag等于1可指示图块组可使用或可不使用新图块网格(例如，其不包含于图块划分列表中)。
表10-示例性图块划分列表
Figure BDA0003158280960000251
表11示出了图块组标头中的示例图块划分参考字段。表11示出了图块组可参考在划分列表中用信号发出的划分结构或可使用新的图块划分网格。
如果语法元素tile_partitioning_override_enabled_flag未设定或语法元素tile_grid_is_overrided等于0，那么图块组可参考在PPS或图片标头中用信号发出的图块划分。如果语法元素tile_grid_is_overrided等于1，那么可在图块组标头处用信号发送新的图块划分结构。如果不存在tile_grid_is_overrided语法元素，那么可推断tile_grid_is_overrided语法元素的值为0。
表11-图块组标头处的示例图块划分参考字段
Figure BDA0003158280960000261
可约束图块组的边界以跨越整个图片。用于灵活图块的基于区域的信令可用于PPS或图片标头中。(例如，每个)网格区域可以是图块组。
可在(例如，每一)图块组内划分图块。当在(例如，每一)图块组内划分一个或一个以上图块时，可如下指定CTB光栅和图块组扫描过程。
顶部到底部图块组划分可采用CTB光栅和图块扫描转换处理。对于i的列表TileGroupWidthInCtbsY[i]和列表TileGroupHeightInCtbsY[i]的范围可以是从0到num_tile_groups_minus1，包括端值在内。用于i的列表TileGroupWidthInCtbsY[i]和列表TileGroupHeightInCtbsY[i]可指定CTB的第i个图块组单元的宽度和高度，并且可被如下导出：
Figure BDA0003158280960000262
对于i的列表tgLeft[i]的范围可以从0到num_tile_groups_minus1，包括端点。用于i的列表tgLeft[i]可以CTB为单位指定第i个图块组左边界的位置，且可被如下导出：
Figure BDA0003158280960000271
对于i的列表tgRight[i]的范围可以从0到num_tile_groups_minus1，包括端点。对于i的列表tgRight[i]可以CTB为单位指定第i个图块组右边界的位置，且可被如下导出：
Figure BDA0003158280960000272
对于i的列表tgTop[i]的范围从0到num_tile_groups_minus1，包括端点。对于i的列表tgTop[i]可以CTB为单位指定第i个图块组顶部边界的位置，且可被如下导出：
Figure BDA0003158280960000273
对于i的列表tgBot[i]的范围可以从0到num_tile_groups_minus1，包括端点。用于i的列表tgBot[i]可以CTB为单位指定第i个图块组右边界的位置，且可被如下导出：
Figure BDA0003158280960000274
对于j的列表colwidth[i][j]的范围可从0到num_tile_columns_minus1[i]，包括端值。对于j的列表colWidth[i][j]可指定以CTB为单位的第i个图块组的第j个图块列的宽度，且可被如下导出：
Figure BDA0003158280960000281
对于j的列表rowHeight[j]的范围可以从0到num_tile_rows_minus1，包括端点。对于j的列表rowHeight[j]可以CTB为单位指定第j个图块行的高度，并且可以如下导出：
Figure BDA0003158280960000282
对于i的列表colBd[i][j]的范围可从0到num_tile_columns_minus1[i]+1，包括端点。用于i的列表colBd[i][j]可指定以CTB为单位的第i个图块组的第j个图块列边界的位置，且可被如下导出：
Figure BDA0003158280960000291
对于j的列表rowBd[i][j]的范围可从0到num_tile_rows_minus1[i]+1，包括端点。对于j的列表rowBd[i][j]可指定以CTB为单位的第i个图块组的第j个图块行边界的位置，且可被如下导出：
Figure BDA0003158280960000292
用于ctbAddrRs的列表CtbAddrRsToTs[ctbAddrRs]可以在0到PicSizeInCtbsY-1的范围内，包括端值。用于ctbAddrRs的列表CtbAddrRsToTs[ctbAddrRs]可以指定从图片的CTB光栅扫描中的CTB地址到图块扫描中的CTB地址的转换，并且可以被如下导出：
Figure BDA0003158280960000301
用于ctbAddrTs的列表CtbAddrTsToRs[ctbAddrTs]的范围可以从0到PicSizeInCtbsY-1，包括端值。用于ctbAddrTs的列表CtbAddrTsToRs[ctbAddrTs]可指定从图片的图块扫描中的CTB地址到CTB光栅扫描中的CTB地址的转换，且可被如下导出：
Figure BDA0003158280960000311
图12A、12B和12C示出CTB光栅和图块组扫描的示例。举例来说，可将图片划分成8×4个CTB和3个图块组(例如，如图12A-C中所示)。第一和第三图块组可包含图块。第二图块组可包含3×1图块。图片的CTB光栅扫描可如图12A中所示。图块组划分可如图12B中所示。CTB图块扫描可以如图12C中所示。
可以导出图块ID。用于ctbAddrTs的列表TileId[ctbAddrTs]可以在0到PicSizeInCtbsY-1的范围内，包括端值。用于ctbAddrTs的列表TileId[ctbAddrTs]可以指定从图片扫描中的CTB地址到图块ID的转换，并且可以被如下导出：
Figure BDA0003158280960000312
MCTS可以在图块组中(例如，或者在图块组级别)得到支持。MCTS可允许从图块集合中排除的其它图块解码(例如，独立地解码)该图块集合。MCTS子比特流可以被提取和/或可以被重新定位。在示例中，可提取MCTS子比特流和/或可与其它MCTS子比特流一起重新定位所述MCTS子比特流以形成待解码和渲染的符合性比特流。在示例中，可在没有其它MCTS子比特流的情况下，提取和/或重新定位MCTS子比特流以形成待解码和渲染的符合性比特流。可针对(例如，每一)图块组用信号发送指示符以指定整个图块组可为运动约束图块集合，或该图块组内的(例如，每一)图块可为运动约束图块集合。语法结构(例如，类似于时间MCTS SEI消息)可在参数集(例如，PPS)、图片标头或图块组标头处被用信号发送以指示图块组内的一个或一个以上(例如，多个)MCTS。
表12示出了图块组的示例运动约束图块组(MCTG)信令。所述信令可携载于参数集(例如，PPS)、图片标头和/或图块组标头中。举例来说，所述信令可携载于参数集(例如，PPS)、图片标头和/或图块组标头中以指定图块组是否受运动约束。
语法元素tile_group_one_tile_set_flag[i]可指示第i个图块组或ID等于i的图块组为MCTS。
可以在图块组循环之外用信号发送一个或更多个指示(例如，附加标志)，以指定图片内的(例如，每个)图块组是否是MCTS、以及图片内的(例如，每个)图块是否是MCTS。如果图片内的(例如，每个)图块是MCTS或者(例如，每个)图块组是运动约束的，则可以跳过MCTG信令。
表12-时间运动约束图块组(MCTG)信令
Figure BDA0003158280960000331
图块组信令可支持基于相等分辨率MCTS的视口相关方案(例如，如图3中所示)。如果在图块组标头中呈现图块组id，那么所述id(例如，图块组id)可将唯一id指派(例如，经更新以指派)到(例如，每一)图块组。
图13示出了合并相同分辨率的基于MCTS的子图片图块组的示例。例如，图13示出了可以提取高质量和低质量图块组，并且可以将这些图块组合并在一起以形成视口相关的比特流，例如，在不重写低级比特流的情况下进行。如图13所示，可以从具有质量2的比特流中提取与高质量子图片#2、#3、#6和#7相关联的图块组子比特流，并且可以从具有质量1的比特流中提取与低质量子图片#1、#5、#4和#8相关联的图块组子比特流。可以合并所提取的子图片以形成视口相关的比特流(例如，在不重写低级比特流的情况下进行)。(例如，每个)子图片可以包括一个或多个(例如，多个)图块。在示例中，一(例如，每一)图块组内的局部图块网格可为相同的。在示例中，不同图块组之间的局部图块网格可不相同。质量1的比特流和质量2的比特流之间的图片级图块网格可以不同。
可在参数集(例如，PPS)和/或图片标头中用信号发送所述图块组网格。当在参数集(例如，PPS)或图片标头中用信号发送图块组网格时，中间盒和/或客户端可在解析参数集(例如，PPS)和/或图片标头之后识别对应的高质量和/或低质量图块组，且可跳过解析(例如，个别)图块组标头。在基于图块组入口点而提取(例如，每一)子比特流之后，中间盒和/或客户端可将所述子比特流合并在一起，例如，而不修改图块组标头或图块组数据，因为(例如，每一)图块组子比特流与图块组标头中用信号发送的局部图块网格被自包含。中间盒和/或客户端可例如通过从源比特流的参数集(例如，PPS)或图片标头复制类似图块组网格来产生新的参数集或图片标头。
图14示出了不同分辨率的基于MCTS的子图片图块组的示例提取和重新定位。对于基于多分辨率MCTS的视口依赖型方案(例如，如图14所示)，这里描述的图块组可以简化所述子比特流提取和重新定位。例如，可以更新PPS处的图块组网格和图片标头处的图块组入口，并且可以将对应的基于MCTS的子图片图块组合并在一起，例如，在不重写低级比特流的情况下进行。图14可示出了一示例，其中可在经合并比特流(例如，新的经合并比特流)中改变图块组网格，而低级图块组标头和数据在提取和合并期间可以是原封不动的。在解析所述参数集(例如，PPS)之后，中间盒和/或客户端可从第一流识别图块组子比特流#2、#3、#6和#7，且从第三比特流识别图块组子比特流#14和#16。中间盒和/或客户端可例如基于图块组入口点而提取对应图块组子比特流，且可将该图块组子比特流重新定位到新流中。中间盒和/或客户端可产生具有经更新的图块组划分结构的新VPS、SPS和/或PPS，如图14中所示。由于在提取和重新定位之前和之后，局部图块网格对于(例如，每一)图块组保持相同，且由于在(例如，每一)图块组子比特流内用信号发送局部图块网格，因此所述提取和重新定位过程可跳过重写所述图块组子比特流。
图15A是示出了可以实施一个或多个所公开的实施例的示例通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图15A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如，CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如，使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图15A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如，供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图15A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图15A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如，TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图15A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图15B是示出了例示WTRU 102的系统图示。如图15B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图15B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图15B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如，多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如，NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如，基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003158280960000411
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如，与用于UL(例如，对传输而言)和下行链路(例如，对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如，扼流线圈)或是凭借处理器(例如，单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如，与用于UL(例如，对传输而言)或下行链路(例如，对接收而言)的特定子帧相关联)的半双工无线电设备。
图15C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图15C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图15C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B162a、162b、162c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如，GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如，因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如，PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如，IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图15A-15D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如，临时或永久性)有线通信接口。
在典型实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如源STA可以向AP发送业务并且AP可以将业务递送至目的地STA。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如，在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如，所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如，主信道)上传送信标。所述主信道可以具有固定宽度(例如，20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如，在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如，每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如，只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如，借助于将宽度为20MHz的主信道与宽度为20MHz的邻近或不邻近信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理和时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例，802.11ah可以支持仪表类型控制/机器类型通信，例如宏覆盖区域中的MTC设备。MTC可以具有某种能力，例如包含了支持(例如，只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如，用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如，只支持)1MHz模式的STA(例如，MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，因为STA(其仅支持1MHz工作模式)正在对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图15D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置(numerology)相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如，包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如，e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如，e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图15D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图15D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如，处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU/UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如，因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到本地DN 185a、185b。
有鉴于图15A-15D以及关于图15A-15D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如，测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
因此，本文描述了用于在视频数据流中定义矩形图片区域并渲染对应图片的系统和实现。一种计算系统，其可以是例如无线发射和接收单元(WTRU)，该计算系统可以被编程为接收包括具有图片标头的图片的视频比特流。所接收的视频比特流可以是例如通用视频译码(VVC)格式化数据。所述计算系统可基于所述图片标头中的图片参数集标识符来识别包括指定所述图片的结构的数据的图片参数集PPS。
所述计算系统可以基于指定所述图片的所述结构的数据，确定与所述图片中的所定义矩形区域相对应的标识符以及所定义矩形区域中的左上图块的图块索引。例如，所述计算系统可以针对与所定义矩形区域相对应的所述标识符以及针对所述左上图块的所述图块索引，解析指定所述图片的所述结构的所述数据。所述计算系统可以基于与所定义矩形区域相对应的所述标识符和所定义矩形区域中的所述左上图块的所述图块索引，确定所定义矩形区域中所包括的一个或多个图块。
所述计算系统可以基于与所定义矩形区域相对应的所述标识符来重构包括子图片的所述图片，该子图片包括所述所定义矩形区域。所述计算系统可以在所述所定义矩形区域中渲染所述子图片。
应当理解，尽管已经公开了说明性的实现，但是潜在实现的范围不限于明确阐述的那些。例如，虽然已经参考诸如CTU、图块、图块组等特定术语描述了系统，但是所设想的实施例扩展到使用本文描述的特定术语的实现之外。尽管在此以特定的组合描述了特征和元素，但是每个特征或元素可以单独使用，而没有其他特征和元素，和/或以具有或不具有其他特征和元素的各种组合使用。
应当理解，执行本文所述过程的实体可以是可以以存储在移动设备、网络节点或计算机系统的存储器中并在其处理器上执行的软件(即，计算机可执行指令)的形式实现的逻辑实体。即，该方法(一个或多个)可以以存储在移动设备和/或网络节点(诸如节点或计算机系统)的存储器中的软件(即，计算机可执行指令)的形式来实现，该计算机可执行指令在由节点的处理器执行时执行所讨论的过程。还应当理解，图中所示的任何发送和接收过程可以由节点的通信电路在该节点的处理器和其执行的计算机可执行指令(例如，软件)的控制下执行。
本文描述的各种技术可以结合硬件或软件或在适当的情况下结合两者的组合来实现。因此，此处所描述的主题的方法和装置或其某些方面或部分可采取包含在诸如闪存驱动器、CD-ROM、硬盘驱动器或任何其它机器可读存储介质等有形介质中的程序代码(即，指令)的形式，其中当程序代码被加载到诸如计算机等机器中并由其执行时，该机器成为用于实现此处所描述的主题的装置。在程序代码存储在媒体上的情况下，可能是所讨论的程序代码存储在共同执行所讨论的动作的一个或多个媒体上的情况，也就是说，一起采用的一个或多个媒体包含用于执行所述动作的代码，但是在存在多于一个单个媒体的情况下，不要求代码的任何特定部分存储在任何特定媒体上。在程序代码在可编程设备上执行的情况下，计算设备通常包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。一个或多个程序，其可以例如通过使用API、或可重用控件等来实现或利用结合本文所述主题描述的过程。这样的程序可以用高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，如果需要，所述程序(一个或多个)可以用汇编语言或机器语言来实现。在任何情况下，所述语言可以是编译或解释语言，并且与硬件实现相结合。
尽管示例实施例可以涉及在一个或多个独立计算系统的上下文中利用本文描述的主题的各方面，但是本文描述的主题不限于此，而是可以结合诸如网络或分布式计算环境之类的任何计算环境来实现。此外，本文描述的主题的各方面可以在多个处理芯片或设备中或跨多个处理芯片或设备实现，并且存储可以类似地跨多个设备来实现。这样的设备可以包括个人计算机、网络服务器、手持设备、超级计算机、或集成到诸如汽车和飞机的其他系统中的计算机。
在描述本公开的主题的说明性实现中，如附图中所示，为了清楚起见，采用了特定术语。然而，所要求保护的主题不旨在限于如此选择的特定术语，并且应当理解，每个特定元素包括以类似方式操作以实现类似目的所有技术等效物。这里描述的细节是示例性的，而不是限制本申请的范围。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的过程可以在结合在计算机可读介质中的计算机程序、软件和/或固件中实现，以由计算机或处理器执行。计算机可读媒体的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如，CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (20)

1.一种视频译码的方法，其包括：
接收包括具有图片标头的图片的视频比特流；
基于所述图片标头中的图片参数集标识符，识别包括关于所述图片的结构的数据的图片参数集；
基于关于所述图片的结构的数据，确定与一所定义矩形区域对应的标识符和所述所定义矩形区域中的左上图块的图块索引；
基于与所述所定义矩形区域相对应的所述标识符和所述所定义矩形区域中的所述左上图块的所述图块索引，确定与所述标识符相关联的所述所定义矩形区域中所包括的一个或多个图块；以及
基于与所述所定义矩形区域相对应的所述标识符，重构具有包括所述所定义矩形区域的子图片的所述图片。
2.根据权利要求1所述的方法，还包括：
渲染所述所定义矩形区域中的所述子图片。
3.根据权利要求1所述的方法，还包括：
基于与所述所定义矩形区域相对应的所述标识符，从所述视频比特流中提取与所述子图片相关联的子比特流；以及
基于所述子比特流，重构所述子图片。
4.根据权利要求1所述的方法，还包括：
解析所述图片标头以识别与所述子图片相关联的标识符；
基于与所述所定义矩形区域相对应的所述标识符和与子图片相关联的所述标识符相匹配，识别与所述子图片相关联的子比特流；以及
基于所述子比特流，重构所述子图片。
5.根据权利要求1所述的方法，其中，
其中所述图片包括多个子图片，所述子图片为第一子图片，且所述方法进一步包括：
在所述图片参数集中的关于所述图片的结构的所述数据中，确定对应于第二所定义矩形区域的第二标识符；
基于对应于所述第二所定义矩形区域的所述第二标识符，识别与第二子图片相关联的第二子比特流；以及
基于所述第二子比特流，重构所述第二子图片，其中所述图片被重构为具有包括所述第一所定义矩形区域的所述第一子图片和包括所述第二所定义矩形区域的所述第二子图片。
6.根据权利要求1所述的方法，其中，
其中在关于所述图片的结构的所述数据中，确定对应于一所定义矩形区域的标识符及所述所定义矩形区域中的左上图块的图块索引包括：针对与对应于所述所定义矩形区域的所述标识符有关的数据，解析所述图片参数集中关于所述图片的结构的所述数据。
7.根据权利要求1所述的方法，其中所述比特流包括通用视频译码(VVC)格式化数据。
8.根据权利要求1所述的方法，其中所述矩形区域是感兴趣区。
9.根据权利要求1所述的方法，其中，
其中所述比特流包括全向视频数据。
10.一种计算系统，包括：
计算处理器；以及
计算存储器，与所述计算处理器通信地耦合，所述计算存储器包括使所述计算系统执行操作的可执行指令，所述操作包括：
接收包括具有图片标头的图片的视频比特流；
基于所述图片标头中的图片参数集标识符，识别包括关于所述图片的结构的数据的图片参数集；
基于关于所述图片的结构的数据，确定与一所定义矩形区域对应的标识符和所述所定义矩形区域中的左上图块的图块索引；
基于与所述所定义矩形区域相对应的所述标识符和所述所定义矩形区域中的所述左上图块的所述图块索引，确定与所述标识符相关联的所述所定义矩形区域中所包括的一个或多个图块；以及
基于与所述所定义矩形区域相对应的所述标识符，重构具有包括所述所定义矩形区域的子图片的所述图片。
11.根据权利要求10所述的计算系统，其中，
所述计算存储器包括使所述计算系统执行操作的可执行指令，所述操作还包括：
渲染所述所定义矩形区域中的所述子图片。
12.根据权利要求10所述的计算系统，其中，
所述计算存储器包括使所述计算系统执行操作的可执行指令，所述操作还包括：
基于与所述所定义矩形区域相对应的所述标识符，从所述视频比特流中提取与所述子图片相关联的子比特流；以及
基于所述子比特流，重构所述子图片。
13.根据权利要求10所述的计算系统，其中，
所述计算存储器包括使所述计算系统执行操作的可执行指令，所述操作还包括：
解析所述图片标头以识别与所述子图片相关联的标识符；
基于与所述所定义矩形区域相对应的所述标识符和与子图片相关联的标识符相匹配，识别与所述子图片相关联的子比特流；以及
基于所述子比特流，重构所述子图片。
14.根据权利要求10所述的计算系统，其中，
其中所述图片包括多个子图片，所述子图片是第一子图片，以及
所述计算存储器包括可执行指令，所述可执行指令使所述计算系统执行操作，所述操作还包括：
在所述图片参数集中的关于所述图片的结构的所述数据中，确定对应于第二所定义矩形区域的第二标识符；
基于对应于所述第二所定义矩形区域的所述第二标识符，识别与所述第二子图片相关联的第二子比特流；以及
基于所述第二子比特流，重构所述第二子图片，其中所述图片被重构为具有包括所述第一所定义矩形区域的所述第一子图片和包括所述第二所定义矩形区域的所述第二子图片。
15.根据权利要求10所述的计算系统，其中，
其中在关于所述图片的结构的所述数据中确定对应于一所定义矩形区域的标识符及所述所定义矩形区域中的左上图块的图块索引包括：针对与对应于所述所定义矩形区域的所述标识符有关的数据，解析所述图片参数集中关于所述图片的结构的所述数据。
16.根据权利要求10所述的计算系统，其中，
所述计算存储器包括使所述计算系统执行操作的可执行指令，所述操作还包括：
基于与所定义矩形区域相对应的所述标识符，提取所述子图片。
17.根据权利要求10所述的计算系统，其中所述比特流包括通用视频译码(VVC)格式化数据。
18.根据权利要求10所述的计算系统，其中所述矩形区域是感兴趣区。
19.根据权利要求10所述的计算系统，其中所述比特流包括全向视频数据。
20.根据权利要求10所述的计算系统，其中所述计算系统是无线发射和接收单元(WTRU)。
CN201980088764.1A 2018-12-04 2019-12-04 图块组划分 Pending CN113273195A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862775130P 2018-12-04 2018-12-04
US62/775,130 2018-12-04
US201862781749P 2018-12-19 2018-12-19
US62/781,749 2018-12-19
PCT/US2019/064438 WO2020117919A1 (en) 2018-12-04 2019-12-04 Tile group partitioning

Publications (1)

Publication Number Publication Date
CN113273195A true CN113273195A (zh) 2021-08-17

Family

ID=69006017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980088764.1A Pending CN113273195A (zh) 2018-12-04 2019-12-04 图块组划分

Country Status (8)

Country Link
US (1) US20220007019A1 (zh)
EP (1) EP3891983A1 (zh)
JP (1) JP2022511489A (zh)
KR (1) KR20210106996A (zh)
CN (1) CN113273195A (zh)
AU (1) AU2019392557A1 (zh)
MX (1) MX2021006627A (zh)
WO (1) WO2020117919A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703742B (zh) 2018-09-14 2023-03-31 华为技术有限公司 视频译码中的分块指示
PT3847818T (pt) * 2018-09-18 2024-03-05 Huawei Tech Co Ltd Codificador de vídeo, um descodificador de vídeo e métodos correspondentes
AU2020206246B2 (en) * 2019-01-09 2024-01-04 Huawei Technologies Co., Ltd. Sub-picture layout signaling in video coding
EP3939278A4 (en) * 2019-03-11 2023-03-22 Tencent America LLC TILE AND SUB-DIVISION
EP4210339A4 (en) * 2020-09-04 2024-03-20 Panasonic Ip Corp America REPRODUCTION DEVICE, TRANSMISSION DEVICE, REPRODUCTION METHOD AND TRANSMISSION METHOD
US11895170B2 (en) * 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101035A1 (en) * 2011-10-24 2013-04-25 Qualcomm Incorporated Grouping of tiles for video coding
US20140301464A1 (en) * 2013-04-08 2014-10-09 Microsoft Corporation Control data for motion-constrained tile set
CN105580373A (zh) * 2013-07-23 2016-05-11 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
WO2018128060A1 (en) * 2017-01-05 2018-07-12 Sharp Kabushiki Kaisha Systems and methods for signaling of motion-constrained tile sets for virtual reality applications
US10057570B2 (en) * 2012-09-18 2018-08-21 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002229090A1 (en) * 2000-12-14 2002-06-24 Rtimage Inc. Three-dimensional image streaming system and method for medical images
US7130467B1 (en) * 2003-03-19 2006-10-31 Microsoft Corporation Real time data matching
US9183664B2 (en) * 2012-05-03 2015-11-10 Apple Inc. Tiled forward shading with improved depth filtering
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US10432970B1 (en) * 2018-06-14 2019-10-01 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10567780B2 (en) * 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10440416B1 (en) * 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101035A1 (en) * 2011-10-24 2013-04-25 Qualcomm Incorporated Grouping of tiles for video coding
US10057570B2 (en) * 2012-09-18 2018-08-21 Vid Scale, Inc. Method and apparatus for region of interest video coding using tiles and tile groups
US20140301464A1 (en) * 2013-04-08 2014-10-09 Microsoft Corporation Control data for motion-constrained tile set
CN105580373A (zh) * 2013-07-23 2016-05-11 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
WO2018128060A1 (en) * 2017-01-05 2018-07-12 Sharp Kabushiki Kaisha Systems and methods for signaling of motion-constrained tile sets for virtual reality applications

Also Published As

Publication number Publication date
AU2019392557A1 (en) 2021-06-24
WO2020117919A1 (en) 2020-06-11
AU2019392557A8 (en) 2021-07-08
JP2022511489A (ja) 2022-01-31
KR20210106996A (ko) 2021-08-31
EP3891983A1 (en) 2021-10-13
US20220007019A1 (en) 2022-01-06
MX2021006627A (es) 2021-08-16

Similar Documents

Publication Publication Date Title
CN112740282B (zh) 用于点云压缩比特流格式的方法和装置
US20220191543A1 (en) Methods and apparatus for sub-picture adaptive resolution change
CN113273195A (zh) 图块组划分
TWI830777B (zh) 可撓柵區方法及裝置
US20200304788A1 (en) Multi-type tree coding
JP2021529462A (ja) アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択
US20220377344A1 (en) Systems and methods for versatile video coding
US20220353520A1 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
US20220239947A1 (en) Video-based point cloud streams
CN115486076A (zh) Isobmff容器中对基于视频的点云流的部分访问支持
US20220150486A1 (en) Intra sub-partitions in video coding
CN114631325A (zh) 基于视频的点云流
CN114556928A (zh) 帧内子分区相关的帧内编码
WO2023194568A1 (en) Template based most probable mode list reordering
WO2023057488A1 (en) Motion vector coding with input motion vector data
WO2023118259A1 (en) Video block partitioning based on depth or motion information
WO2024079187A1 (en) Video coding combining intra-sub partition and template-based intra-mode derivation techniques
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023057487A2 (en) Transform unit partitioning for cloud gaming video coding
WO2024002947A1 (en) Intra template matching with flipping
WO2023118048A1 (en) Most probable mode list generation with template-based intra mode derivation and decoder-side intra mode derivation
WO2023118280A1 (en) Gdr interaction with template based tools in intra slice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination