CN110169074A - 用于对虚拟现实应用的运动受约束的瓦块集进行信令通知的系统和方法 - Google Patents

用于对虚拟现实应用的运动受约束的瓦块集进行信令通知的系统和方法 Download PDF

Info

Publication number
CN110169074A
CN110169074A CN201780082187.6A CN201780082187A CN110169074A CN 110169074 A CN110169074 A CN 110169074A CN 201780082187 A CN201780082187 A CN 201780082187A CN 110169074 A CN110169074 A CN 110169074A
Authority
CN
China
Prior art keywords
data
pps
video
extraction
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780082187.6A
Other languages
English (en)
Other versions
CN110169074B (zh
Inventor
萨钦·G·德什潘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110169074A publication Critical patent/CN110169074A/zh
Application granted granted Critical
Publication of CN110169074B publication Critical patent/CN110169074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了一种对运动受约束的瓦块集进行信令通知的方法。根据本发明的一方面，在SEI消息中包括指定与替换图片参数集相关联的时间标识符的值。

Description

用于对虚拟现实应用的运动受约束的瓦块集进行信令通知的 系统和方法
技术领域
本公开涉及视频编码，更具体地，涉及用于对运动受约束的瓦块 (tile)集进行信令通知的技术。
背景技术
可以将数字视频能力包含到各种设备中，这些设备包括数字电视、膝上型计算机或台式计算机、平板计算机、数字录制设备、数字媒体播放器、视频游戏设备、蜂窝电话，包括所谓的智能电话、医疗成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准可以包含视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4 Visual和ITU-TH.264(也称为ISO/IEC MPEG-4AVC)和高效视频编码(High-Efficiency Video Coding，HEVC)。HEVC在2015年4月的 High Efficiency Video Coding(HEVC)，Rec.ITU-T H.265中描述，其内容通过引用合并于此，并且在本文中称为ITU-T H.265。视频压缩技术使得用于存储和传输视频数据的数据需求能够被减少。
视频压缩技术可以通过利用视频序列中的固有冗余来减少数据需求。视频压缩技术可以将视频序列细分成连续的较小部分(即，视频序列内的帧组、帧组内的帧、帧内的片(slice)、片内的编码树单元 (例如，宏块)、编码树单元内的编码块等)。可以使用帧内预测编码技术(例如，图片内(空间))和帧间预测技术(即，图片间(时间)) 生成要编码的视频数据单元与参考视频数据单元之间的差值。该差值可以被称为残差数据。可以将残差数据编码为量化的变换系数。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引、运动矢量和块矢量)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在兼容比特流中。可以根据数据结构来对兼容比特流和相关联的元数据进行格式化。子比特流提取可以指接收兼容比特流的设备修改所接收的比特流中的数据的过程。用于视频数据的子比特流提取的当前技术可能不太理想。
发明内容
本发明的一方面是一种对运动受约束的瓦块集进行信令通知的方法，该方法包括：生成消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及通过通信介质发送所生成的消息。
本发明的一方面是一种执行运动受约束的瓦块集的子比特流提取的方法，该方法包括：接收消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及基于与所述替换图片参数集相关联的时间标识符执行子比特流提取。
附图说明
图1是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码和解码的系统示例的框图。
图2A是示出根据本公开的一种或多种技术的编码的视频数据和对应的数据结构的概念图。
图2B是示出根据本公开的一种或多种技术的编码的视频数据和对应的数据结构的概念图。
图3是示出根据本公开的一种或多种技术的对编码的视频数据和对应的元数据进行封装的数据结构的概念图。
图4是示出根据本公开的一种或多种技术的可以包括在可以被配置为对视频数据进行编码和解码的系统的实现方式中的组件示例的概念图。
图5是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码的视频编码器示例的框图。
图6是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行解码的视频解码器示例的框图。
具体实施方式
一般地，本公开描述了用于编码视频数据的各种技术。特别地，本公开描述了用于对运动受约束的瓦块集(MCTS)进行信令通知的技术。根据本文所述技术对运动受约束的瓦块集进行的信令通知对于实现从一致性比特流中提取MCTS特别有用。应当注意，尽管针对ITU-T H.264和ITU-T H.265描述了本公开的技术，但是本公开的技术普遍适用于视频编码。例如，可以将本文描述的编码技术包含到视频编码系统(包括基于未来视频编码标准的视频编码系统)中，这些视频编码系统包括除ITU-T H.265中包括的编码技术以外的块结构、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或熵编码技术。因此，对ITU-TH.264和ITU-T H.265的引用是出于描述的目的，不应被解释为限制本文所描述的技术的范围。此外，应当注意，通过引用并入本文中的文献不应被解释为限制本文所使用的术语或使其产生歧义。例如，在并入的参考文献提供了术语的不同于另一个并入的参考文献和/或如本文中所使用的术语的不同定义的情况下，该术语应该以广泛包括每个相应的定义和/或以包括替代方案中的每个特定定义的方式进行解释。
视频内容通常包括由一系列帧组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括一个或多个片 (slice)，其中片包括多个视频块。视频块可以被定义为可以被预测编码的最大像素值(也称为样本)阵列。可以根据扫描模式(例如，光栅扫描)对视频块进行排序。视频编码器对视频块及其子分区执行预测编码。ITU-TH.264规定了包括16×16个亮度样本的宏块。ITU-T H.265规定了类似的编码树单元(CTU)结构，其中图片可以被分成相同大小的CTU，每个CTU可以包括具有16×16、32×32或64×64个亮度样本的编码树块(CTB)。如本文所使用的，术语视频块一般可以指图片的区域，或者可以更具体地指可以被预测编码的最大像素值阵列、其子分区和/或对应的结构。此外，根据ITU-T H.265，每个视频帧或图片可以被分割为包括一个或多个瓦块，其中瓦块是与图片的矩形区域相对应的编码树单元序列。
在ITU-T H.265中，可以根据对应的四叉树块结构将CTU的CTB 分割为编码块(CB)。根据ITU-T H.265，将一个亮度CB与两个对应的色度CB和相关联的语法元素一起称为编码单元(CU)。CU与定义 CU的一个或多个预测单元(PU)的预测单元(PU)结构相关联，其中PU与对应的参考样本相关联。也就是说，在ITU-T H.265中，使用帧内预测或帧间预测来对图片区域进行编码的决定在CU级做出，并且对于CU，可以使用与帧内预测或帧间预测相对应的一个或多个预测来生成CU的CB的参考样本。在ITU-T H.265中，PU可以包括亮度和色度预测块(PB)，其中，对于帧内预测，支持正方形PB，对于帧间预测，支持矩形PB。帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)可以将PU与对应的参考样本相关联。残差数据可以包括与视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))相对应的相应差值阵列。残差数据可以在像素域中。可以将诸如离散余弦变换(DCT)、离散正弦变换 (DST)、整数变换、小波变换或概念上类似的变换之类的变换应用于像素差值以生成变换系数。应当注意，在ITU-T H.265中，可以将CU 进一步细分为变换单元(TU)。也就是说，出于生成变换系数的目的，可以对像素差值阵列进行细分(例如，可以将四个8×8变换应用于与 16×16亮度CB相对应的16×16残差值阵列)，这种子分区可以被称为变换块(TB)。可以根据量化参数(QP)对变换系数进行量化。可以根据熵编码技术(例如，内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间分割熵编码(PIPE) 等)对量化的变换系数(可以被称为级别值)进行熵编码。此外，还可以对语法元素(例如，指示预测模式的语法元素)进行熵编码。熵编码的量化变换系数和对应的熵编码的语法元素可以形成可以用于再现视频数据的兼容比特流。可以对语法元素执行二值化处理，作为熵编码处理的一部分。二值化指将语法值转换为一系列一个或多个比特的处理。这些比特可以被称为“仓(bin)”。
如上所述，根据ITU-T H.265，每个视频帧或图片可以被分割为包括一个或多个片，并进一步分割为包括一个或多个瓦块。图2A至图2B是示出包括片和进一步将图片分割为瓦块的一组图片示例的概念图。在图2A所示的示例中，图片4被示出为包括两个片(即，片1和片2)，其中每个片包括CTU序列(例如，按光栅扫描顺序的序列)。在图2B所示的示例中，图片4被示出为包括六个瓦块(即，瓦块1至瓦块6)，其中每个瓦块是矩形的并且包括CTU序列。应当注意，在 ITU-T H.265中，瓦块可以由包含在多于一个的片中的编码树单元构成，片可以由包含在多于一个的瓦块中的编码树单元构成。然而， ITU-T H.265规定应满足以下一个或两个条件：(1)片中的所有编码树单元属于相同的瓦块；以及(2)瓦块中的所有编码树单元属于相同的片。因此，对于图2B，每个瓦块可以属于相应的片(例如，瓦块1至瓦块6可以分别属于片1至片6)，或者多个瓦块可以属于一个片(例如，瓦块1至瓦块3可以属于片1，瓦块4至瓦块6可以属于片2)。
此外，如图2B所示，瓦块可以形成瓦块集(即，瓦块2和瓦块5形成瓦块集)。可以使用瓦块集来定义编码依赖性的边界(例如，帧内预测依赖性、熵编码依赖性等)，因此，可以实现编码中的并行性和兴趣区域编码。例如，如果图2B中所示的示例中的视频序列对应于夜间新闻节目，则由瓦块2和瓦块5形成的瓦块集可以对应于包括读出新闻的新闻主播在内的视觉兴趣区域。ITU-T H.265定义了能够实现运动受约束的瓦块集(MCTS)的信令。运动受约束的瓦块集可以包括如下瓦块集，即，该瓦块集的图片间预测依赖性限于参考图片中的与其位于相同位置处的瓦块集。因此，可以独立于对MCTS外部的其他瓦块集的解码来执行对给定MCTS的运动补偿。例如，参考图2B，如果由瓦块2和瓦块5形成的瓦块集是MCTS，并且图片1至图片3中的每个图片包括与该瓦块集位于相同位置的瓦块集，则可以独立于对图片4中的瓦块1、瓦块3、瓦块4和瓦块6、以及图片1至图片3中的每个图片中的与瓦块1、瓦块3、瓦块4和瓦块6位于相同位置处的瓦块的解码，对瓦块2和瓦块5执行运动补偿。根据MCTS对视频数据进行的编码对于包括多向和全向视频呈现(例如，在虚拟现实应用中使用的180到360度视频呈现)的视频应用可能是有用的。
在ITU-T H.265中，编码视频序列(CVS)可以被封装(或构造) 为访问单元的序列，其中每个访问单元包括被构造为网络抽象层 (NAL)单元的视频数据。在ITU-T H.265中，比特流被描述为包括了形成一个或多个CVS的NAL单元序列。在ITU-T H.265中，访问单元和NAL单元被定义为：
访问单元：NAL单元的集合，这些NAL单元根据指定的分类规则彼此相关联，在解码顺序上是连续的，并且恰好包含nuh_layer_id 等于0...的一个编码图片。除了包含nuh_layer_id等于0的编码图片的视频编码层(VCL)NAL单元之外，访问单元还可以包含非VCLNAL 单元。
网络抽象层(NAL)单元：一种语法结构，包含对后续数据的类型的指示和包含该数据的字节，所述数据的形式是根据需要散布有仿真防止字节的原始字节序列载荷(RBSP)。
应当注意，对于nuh_layer_id，ITU-T H.265支持多层扩展，包括格式范围扩展(RExt)、可伸缩性(SHVC)、多视图(MV-HEVC)和 3-D(3D-HEVC)。多层扩展使视频呈现能够包括基础层和一个或多个附加的增强层。例如，基础层可以使视频呈现能够具有要呈现的基本的质量水平(例如，高清呈现)，增强层可以使视频呈现能够具有要呈现的增强的质量水平(例如，超高清呈现)。在ITU-T H.265中，可以参考基础层来对增强层进行编码。也就是说，例如，可以通过参考基础层中的一个或多个图片(包括其伸缩版本)来对增强层中的图片进行编码(例如，使用帧间预测技术)。在ITU-T H.265中，每个NAL 单元可以包括指示与该NAL单元相关联的视频数据层的标识符(即， nuh_layer_id)，其中nuh_layer_id等于0的编码图片包括在基础层中。 ITU-T H.265定义了nuh_layer_id语法元素，如下所示：nuh_layer_id 指定VCL(视频编码层)NAL单元所属的层的标识符或非VCL NAL 单元所应用的层的标识符。
此外，ITU-T H.265支持视频数据层的时间子层。例如，在ITU-T H.265中，视频数据层可以包括30Hz子层和60Hz子层。ITU-T H.265 规定：子层如下定义，并且时间标识符(也称为TemporalId)使用nuh_temporal_id_plus1语法元素来标识。
子层：时间可伸缩比特流的时间可伸缩层，由TemporalId变量具有特定值的VCLNAL单元和相关联的非VCL NAL单元构成。
nuh_temporal_id_plus1减1指定NAL单元的时间标识符。 nuh_temporal_id_plus1的值不应等于0。
参考图2A中所示的示例，包括在图片4中的视频数据的每个片 (即，片1和片2)被示出为封装在NAL单元中。此外，在ITU-T H.265 中，视频序列、GOP、图片、片和CTU中的每一个可以与描述视频编码属性的元数据相关联。ITU-T H.265定义了可以用于描述视频数据和/或视频编码属性的参数集。在ITU-T H.265中，参数集可以被封装为特殊类型的NAL单元，或者可以作为消息进行信令通知。包括编码视频数据(例如，片)的NAL单元可以被称为VCL(视频编码层) NAL单元，包括元数据(例如，参数集)的NAL单元可以被称为非 VCL NAL单元。ITU-T H.265提供了以下类型的定义参数集：
视频参数集(VPS)：一种语法结构，其包含应用于零个或多个整个编码视频序列(CVS)的语法元素，并由在SPS中找到的语法元素的内容确定，所述SPS由在PPS中找到的语法元素引用，所述PPS 由在每个片段头中找到的语法元素引用。
序列参数集(SPS)：一种语法结构，其包含应用于零个或多个整个CVS的语法元素，并由在PPS中找到的语法元素的内容确定，所述PPS由在每个片段头中找到的语法元素引用。
图片参数集(PPS)：一种语法结构，其包含应用于零个或多个整个编码图片的语法元素，并由在每个片段头中找到的语法元素确定。
参考图3，图3示出了包括多个CVS的比特流的示例，其中CVS 由包括在相应访问单元中的NAL单元表示。在该示例中，如图3所示，非VCL NAL单元包括相应的参数集单元(即，VPS、SPS和PPS 单元)和访问单元定界符NAL单元。应当注意，ITU-T H.265定义了 NAL单元头语义，其指定了包括在NAL单元中的原始字节序列载荷 (RBSP)数据结构的类型。表1示出了ITU-T H.265中提供的NAL 单元头的语法。应当注意，在表1和本文所包括的其他表中，描述符指定根据ITU-T H.265的语法元素的解析过程。为简洁起见，本文中不再复制对ITU-TH.265中定义的描述符的完整讨论，完整讨论请参见ITU-T H.265的第7.2节。
表1
以上提供了ITU-T H.265中的语法元素nuh_layer_id和 nuh_temporal_id_plus1的定义。ITU-T H.265规定：forbidden_zero_bit 应该等于零，并且nal_unit_type指定包括在NAL单元中的数据结构的类型。参考表1，应当注意，ITU-T H.265允许访问单元包括多个 NAL单元，多个NAL单元包括相应的PPS载荷，其中每个NAL包括唯一的nuh_temporal_id_plus1。例如，可以使用来自具有第一 nuh_temporal_id_plus1的第一PPS的参数来对包括在访问单元中的图片(例如，其能够进行30Hz呈现)进行编码，并且可以使用来自具有第二nuh_temporal_id_plus1的第二PPS的参数来对另一图片(例如，其能够进行60Hz呈现)进行编码。
此外，ITU-T H.265使得能够对补充增强信息(SEI)消息进行信令通知。在ITU-TH.265中，SEI消息协助与解码、显示或其他目的有关的过程，然而，可能不需要SEI消息通过解码过程构造亮度或色度样本。在ITU-T H.265中，可以使用非VCL NAL单元在比特流中对SEI消息进行信令通知。此外，SEI消息可以通过与存在于比特流中不同的其他方式来传送(即，在带外进行信令通知)。SEI消息可以实现子比特流提取。子比特流提取可以指以下过程：接收与ITU-T H.265兼容的比特流的设备通过丢弃和/或修改所接收的比特流中的数据，形成新的与ITU-T H.265兼容的比特流。例如，设备可以接收包括多层视频数据的比特流。在设备上运行的应用可能希望仅解码视频数据的基础层，因此，设备可以丢弃与除基础层之外的层相对应的 VCL NAL单元。
如上所述，编码视频序列可以包括运动受约束的瓦块集。通过引用将“Skupin，‘Motion-Constrained Tile Sets Extraction Information SEI Messages Draft 1’，JCTVC-Y1008，2016年10月，成都，中国”并入本文，并且在本文中将其称为Skupin，其描述了对ITU-T H265规范的可能修改，以使得能够将运动受约束的瓦块集(MCTS)提取为单独的符合ITU-T H.265的比特流。特别地，Skupin指定(1)MCTS提取信息集SEI消息，其提供用于承载MCTS特定替换参数集的语法，并定义语义中的提取过程(称为mcts_extraction_info_set)；以及(2) MCTS提取信息嵌套SEI消息，提供针对MCTS特定嵌套SEI消息的语法(mcts_extraction_info_nesting)。表2示出了Skupin中针对 mcts_extraction_info_set SEI提供的语法。
表2
Skupin针对表2中的语法元素提供了以下定义：
num_extraction_info_sets_minus1加1指示要在mcts提取过程中应用的MCTS提取信息集SEI消息中包含的提取信息集的数目。 num_extraction_info_sets_minus1的值应在0到232-2的范围内，包括 0和232-2。
num_associated_tile_set_identifiers_minus1[i]加1指示第i个提取信息集中的瓦块集的mcts_id的值的数目。 num_extraction_info_sets_minus1[i]的值应在0到232-2的范围内，包括0和232-2。
mcts_identifier[i][j]标识mcts_id等于mcts_identifier[i][k]的与第i 个提取信息集相关联的第j个瓦块集。mcts_identifier[i][j]的值应在0 到232-2的范围内，包括0和232-2。
num_vps_in_extraction_info_set_minus1[i]加1指示第i个提取信息集中的替换视频参数集的数目。 num_vps_in_extraction_info_set_minus1[i]的值应在0到15的范围内，包括0和15。
vps_rbsp_data_length[i][j]指示后面的第i个提取信息集中的第j 个替换视频参数集的字节vps_rbsp_data_bytes[i][j][k]的数目。
num_sps_in_extraction_info_set_minus1[i]加1指示第i个提取信息集中的替换序列参数集的数目。 num_sps_in_extraction_info_set_minus1[i]的值应在0到15的范围内，包括0和15。
sps_rbsp_data_length[i][j]指示后面的第i个提取信息集中的第j 个替换序列参数集的字节sps_rbsp_data_bytes[i][j][k]的数目。
num_pps_in_extraction_info_set_minus1[i]加1指示第i个提取信息集中的替换图片参数集的数目。 num_pps_in_extraction_info_set_minus1[i]的值应在0到63的范围内，包括0和15。
pps_rbsp_data_length[i][j]指示后面的第i个提取信息集中的第j 个替换图片参数集的字节pps_rbsp_data_bytes[i][j][k]的数目。
Mcts_alignment_bit_equal_to_zero应等于0。
vps_rbsp_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换视频参数集的RBSP的第k个字节。
sps_rbsp_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换序列参数集的RBSP的第k个字节。
pps_rbsp_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换图片参数集的RBSP的第k个字节。
此外，Skupin提供了关于如何应用子比特流MCTS提取过程的以下描述：
令比特流inBitstream、目标MCTS标识符mctsIdTarget和目标 MCTS提取信息集标识符mctsEISIdTarget是子比特流MCTS提取过程的输入。
子比特流MCTS提取过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是，作为本节中关于比特流指定的过程的输出的、任何输出子比特流应是一致的比特流。
输出子比特流按照如下方式导出：
-将比特流outBitstream设置为与比特流inBitstream相同。
-将列表ausWithVPS、ausWithSPS和ausWithPPS设置为包括 outBitstream内的包含类型为VPS_NUT、SPS_NUT和PPS_NUT的 VCL NAL单元的所有访问单元。
-移除nuh_layer_id等于0且包含非嵌套SEI消息的所有SEI NAL单元。
注2-“智能”比特流提取器可以在提取的子比特流中包括适当的非嵌套SEI消息，条件是适用于子比特流的SEI消息在原始比特流中作为mcts_extraction_info_nesting()中的嵌套SEI消息存在。
-从outBitstream中移除具有如下类型的所有NAL单元：
-包含不属于mcts_id[i]等于mctsIdTarget的瓦块集的瓦块的 VCL NAL单元，
-类型为VPS_NUT、SPS_NUT或PPS_NUT的非VCL NAL 单元。
-在outBitstream中的、列表ausWithVPS内的所有访问单元中，插入num_vps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为VPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的VPS RBSP数据，即 vps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_vps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_vps_in_extraction_info_minus1[mctsEISIdTarget]。
-在outBitstream中的、列表ausWithSPS内的所有访问单元中，插入num_sps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为SPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget 个MCTS提取信息集中的SPS RBSP数据，即sps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_sps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_sps_in_extraction_info_minus1[mctsEISIdTarget]。
-在outBitstream中的、列表ausWithPPS内的所有访问单元中，插入num_vps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为PPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget 个MCTS提取信息集中的PPS RBSP数据，即 pps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]。
-对于outBitstream中的每个剩余VCL NAL单元，按照如下方式调整片段头：
-对于每个访问单元内的第一个VCL NAL单元，将 first_slice_segment_in_pic_flag的值设置为1，否则设置为0。
-根据pps_pic_parameter_set_id等于 slice_pic_parameter_set_id的PPS中定义的瓦块设置来设置 slice_segment_address的值。
如上所述，Skupin中的MCTS提取信息集SEI消息提供了由多个提取信息集组成的信息，每个提取信息集包含了要应用该提取信息集的运动受约束的瓦块集的标识符，其中每个提取信息集包含了要在子比特流MCTS提取过程期间使用的替换视频参数集、序列参数集和图片参数集的RBSP字节。然而，应当注意，在Skupin中，在根据信令通知(在MCTS提取信息集SEI消息中信令通知)的PPS RBSP数据创建PPS_NUT期间，需要附加信息来填充PPS_NUTNAL单元头的适当字段。此外，在Skupin中，没有描述关于应如何为这些替换参数集NUT创建NAL单元头字段的描述。此外，Skupin中的子比特流 MCTS提取过程不允许基于目标时间子层的比特流提取。
如上所述，ITU-T H.265允许访问单元包括多个NAL单元，NAL 单元包括相应的PPS载荷，其中每个NAL包括唯一的 nuh_temporal_id_plus1。根据Skupin中描述的技术，将不加选择地移除包括相应PPS载荷的多个NAL单元中的每个单元，此外，Skupin 未能描述应当如何指定所生成的PPS_NUT中的 nuh_temporal_id_plus1的值。因此，在Skupin中，所生成的PPS_NUT 可能不具有与移除的PPS_NUT的nuh_temporal_id_plus1值相对应的 nuh_temporal_id_plus1值。因此，Skupin中描述的技术可能不太理想。
图1是示出根据本发明的一或多种技术的可以被配置为对视频数据进行编码(即，编码和/或解码)的系统的示例的框图。系统100表示根据本公开的一种或多种技术的可以封装视频数据的系统的示例。如图1所示，系统100包括源设备102、通信介质110和目的地设备 120。在图1所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据发送给通信介质110的任何设备。目的地设备120可以包括被配置为经由通信介质110接收编码的视频数据并对编码的视频数据进行解码的任何设备。源设备102和/或目的地设备120可以包括配备用于有线和/或无线通信的计算设备，并且可以包括例如机顶盒、数字视频刻录机、电视、台式、膝上型或平板计算机、游戏机、医学成像设备和移动设备，包括例如智能电话、蜂窝电话、个人游戏设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任何组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发送器和接收器、路由器、交换机、中继器、基站或可以用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为实现对万维网(例如，因特网)的访问的网络。网络可以根据一个或多个电信协议的组合来操作。电信协议可以包括私有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合业务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球系统移动通信(GSM) 标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气和电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂时性计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，在其他示例中，存储器设备的一些部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存，或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。可以根据定义的文件格式将数据存储在存储设备上。
图4是示出可以包括在系统100的实现方式中的组件的示例的概念图。在图4中所示的示例实现方式中，系统100包括一个或多个计算设备402A至402N、电视服务网络404、电视服务提供商站点406、广域网408、局域网410和一个或多个内容提供商站点412A至412N。图4中所示的实现方式表示可以被配置为实现以下功能的系统的示例：允许数字媒体内容(例如，电影、现场体育赛事等)以及与其相关联的数据和应用以及媒体呈现被分发到多个计算设备(例如，计算设备 402A至402N)并由多个计算设备访问。在图4所示的示例中，计算设备402A至402N可以包括被配置为从电视服务网络404、广域网408 和/或局域网410中的一个或多个接收数据的任何设备。例如，计算设备402A至402N可以被配备用于有线和/或无线通信，并且可以被配置为通过一个或多个数据信道接收服务，可以包括电视(包括所谓的智能电视)、机顶盒和数字视频刻录机。此外，计算设备402A至402N 可以包括台式、膝上型或平板计算机、游戏机、移动设备，包括例如“智能”电话、蜂窝电话和个人游戏设备。
电视服务网络404是被配置为实现对数字媒体内容(其可以包括电视服务)的分发的网络的示例。例如，电视服务网络404可以包括公共空中电视网络、公共或基于订阅的卫星电视服务提供商网络、以及公共或基于订阅的有线电视提供商网络和/或通过顶级或互联网服务提供商。应当注意，尽管在一些示例中，电视服务网络404可以主要用于实现电视服务的提供，但是电视服务网络404还可以根据本文所描述的电信协议的任何组合来实现其他类型的数据和服务的提供。此外，应当注意，在一些示例中，电视服务网络404可以实现电视服务提供商站点406与计算设备402A至402N中的一个或多个计算设备之间的双向通信。电视服务网络404可以包括无线和/或有线通信介质的任何组合。电视服务网络404可以包括同轴电缆、光纤电缆、双绞线电缆、无线发送器和接收器、路由器、交换机、中继器、基站，或可以用于促进各种设备和站点之间的通信的任何其他设备。电视服务网络404可以根据一个或多个电信协议的组合进行操作。电信协议可以包括私有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括DVB标准、ATSC标准、ISDB标准、DTMB标准、DMB标准、有线数据服务接口规范(DOCSIS)标准、HbbTV标准、W3C标准和 UPnP标准。
再次参考图4，电视服务提供商站点406可以被配置为经由电视服务网络404分发电视服务。例如，电视服务提供商站点406可以包括一个或多个广播站、有线电视提供商(或卫星电视提供商，或基于互联网的电视提供商)。例如，电视服务提供商站点406可以被配置为通过卫星上行链路/下行链路接收包括电视节目的传输。此外，如图4 所示，电视服务提供商站点406可以与广域网408通信，并且可以被配置为从内容提供商站点412A至412N接收数据。应当注意，在一些示例中，电视服务提供商站点406可以包括电视演播室，内容可以源自电视演播室。
广域网408可以包括基于分组的网络，并且根据一个或多个电信协议的组合进行操作。电信协议可以包括私有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括全球系统移动通信(GSM) 标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、欧洲标准(EN)、IP标准、无线应用协议(WAP)标准和电气和电子工程师协会(IEEE)标准，例如，一个或多个IEEE 802标准(例如，Wi-Fi)。广域网408可以包括无线和/或有线通信介质的任何组合。广域网480可以包括同轴电缆、光纤电缆、双绞线电缆、以太网电缆、无线发送器和接收器、路由器、交换机、中继器、基站或可以用于促进各种设备和站点之间的通信的任何其他设备。在一个示例中，广域网408可以包括互联网。局域网410 可以包括基于分组的网络，并且根据一个或多个电信协议的组合进行操作。可以基于访问级别和/或物理基础设施将局域网410与广域网 408区分开。例如，局域网410可以包括安全家庭网络。
再次参考图4，内容提供商站点412A至412N表示可以向电视服务提供商站点406和/或计算设备402A至402N提供多媒体内容的站点的示例。例如，内容提供者站点可以包括具有一个或多个工作室内容服务器的工作室，该工作室内容服务器被配置为向电视服务提供商站点406提供多媒体文件和/或多媒体流。在一个示例中，内容提供商站点412A至412N可以被配置为使用IP套件提供多媒体内容。例如，内容提供商站点可以被配置为根据实时流协议(RTSP)、HTTP等向接收器设备提供多媒体内容。此外，内容提供商站点412A至412N可以被配置为通过广域网408向接收器设备(计算设备402A至402N和 /或电视服务提供商站点406)中的一个或多个提供包括基于超文本的内容等的数据。内容提供商站点412A至412N可以包括一个或多个 web服务器。可以根据数据格式来定义由数据提供商站点412A至412N提供的数据。
再次参考图1，源设备102包括视频源104、视频编码器106、数据封装器107和接口108。视频源104可以包括被配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括视频相机和可操作地耦接到其上的存储设备。视频编码器106可以包括被配置为接收视频数据并生成表示视频数据的兼容比特流的任何设备。兼容比特流可以指视频解码器可以从其接收和从其再现视频数据的比特流。可以根据视频编码标准来定义兼容比特流的各方面。当生成兼容比特流时，视频编码器106可以压缩视频数据。压缩可以是有损的(对观众来说是可辨认的或不可辨认的)或无损的。图5是示出可以实现用于编码本文中所描述的视频数据的技术的视频编码器500的实例的框图。应当注意，尽管示例视频编码器500被示出为具有不同的功能块，但是这样的例示是出于描述的目的，并且不将视频编码器500和/或其子组件限制为特定的硬件或软件架构。可以使用硬件、固件和/或软件实现方式的任何组合来实现视频编码器500的功能。
视频编码器500可以执行对图片区域的帧内预测编码和帧间预测译码，因此可以被称为混合视频编码器。在图5所示的示例中，视频编码器500接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可以包括宏块、CTU、 CB、其子分区和/或其他等效编码单元。在一些实例中，视频编码器 500可以被配置为执行对源视频块的附加的细分。应当注意，本文所描述的技术一般适用于视频编码，而不管在编码之前和/或编码期间如何分割源视频数据。在图5所示的示例中，视频编码器500包括求和器502、变换系数生成器504、系数量化单元506、逆量化和变换系数处理单元508、求和器510、帧内预测处理单元512、帧间预测处理单元514和熵编码单元516。如图5所示，视频编码器500接收源视频块并输出比特流。
在图5所示的示例中，视频编码器500可以通过从源视频块减去预测视频块来生成残差数据。后面详细描述预测视频块的选择。求和器502表示被配置为执行该减法操作的组件。在一个示例中，视频块的减法发生在像素域中。变换系数生成器504将变换应用于残差块或其子分区(例如，可以将四个8×8变换应用于16×16的残差值阵列)，以产生残差变换系数的集合，上述变换例如是离散余弦变换(DCT)、离散正弦变换(DST)或概念上类似的变换。变换系数生成器504可以被配置为执行包括在离散三角变换族中的变换(包括其近似变换) 的任何和所有组合。变换系数生成器504可以将变换系数输出给系数量化单元506。系数量化单元506可以被配置为执行变换系数的量化。量化过程可以减少与一些或所有系数相关联的比特深度。量化程度可以改变编码视频数据的速率-失真(即，比特率对视频质量)。可以通过调节量化参数(QP)来修改量化程度。可以基于片级别值和/或CU 级别值(例如，CU增量QP值)来确定量化参数。QP数据可以包括用于确定QP的任何数据，该QP用于对特定的变换系数集进行量化。如图5所示，量化的变换系数(可以称为级别值)被输出给逆量化和变换系数处理单元508。逆量化和变换系数处理单元508可以被配置为应用逆量化和逆变换来生成重构的残差数据。如图5所示，在求和器510处，可以将重构的残差数据加到预测视频块。以此方式，可以对编码视频块进行重构，并且可以使用所得到的重构的视频块来评估给定预测、变换和/或量化的编码质量。视频编码器500可以被配置为执行多个编码阶段(例如，改变预测、变换参数和量化参数中的一个或多个并执行编码)。可以基于对重构的视频块的评估，来优化比特流的速率-失真或其他系统参数。此外，可以存储重构的视频块并将其用作用于预测后续块的参考。
再次参考图5，帧内预测处理单元512可以被配置为针对要编码的视频块选择帧内预测模式。帧内预测处理单元512可以被配置为评估帧和确定用来对当前块进行编码的帧内预测模式。如上所述，可能的帧内预测模式可以包括平面预测模式、DC预测模式和角度预测模式。此外，应当注意，在一些示例中，可以从用于亮度预测模式的预测模式推断出用于色度分量的预测模式。帧内预测处理单元512可以在执行一个或多个编码阶段之后选择帧内预测模式。此外，在一个示例中，帧内预测处理单元512可以基于速率-失真分析来选择预测模式。如图5所示，帧内预测处理单元512将帧内预测数据(例如，语法元素)输出给熵编码单元516和变换系数生成器504。如上所述，对残差数据执行的变换可以是模式相关的(例如，可以基于预测模式来确定二次变换矩阵)。
再次参考图5，帧间预测处理单元514可以被配置为对当前视频块执行帧间预测编码。帧间预测处理单元514可以被配置为接收源视频块并计算视频块的PU的运动矢量。运动矢量可以指示当前视频帧内的视频块的PU相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外，运动预测可以是单预测(使用一个运动矢量)或双预测(使用两个运动矢量)。帧间预测处理单元514 可以被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD) 或其他差值度量确定的像素差来选择预测块。如上所述，可以根据运动矢量预测来确定和指定运动矢量。如上所述，帧间预测处理单元514 可以被配置为执行运动矢量预测。帧间预测处理单元514可以被配置为使用运动预测数据来生成预测块。例如，帧间预测处理单元514可以在帧缓冲器(图5中未示出)内定位预测视频块。应当注意，帧间预测处理单元514还可以被配置为将一个或多个插值滤波器应用于重构的残差块，以计算用于运动估计的子整数像素值。帧间预测处理单元514可以将针对所计算的运动矢量的运动预测数据输出给熵编码单元516。
再次参考图5，熵编码单元516接收量化的变换系数和预测语法数据(即，帧内预测数据和运动预测数据)。应当注意，在一些示例中，系数量化单元506可以在将系数输出给熵编码单元516之前对包括了量化变换系数的矩阵执行扫描。在其他示例中，熵编码单元516可以执行扫描。熵编码单元516可以被配置为根据本文中所描述的一种或多种技术来执行熵编码。以此方式，视频编码器500表示被配置为根据本公开的一种或多种技术生成编码视频数据的设备的示例。在一个示例中，视频编码器500可以生成包括运动受约束的瓦块集的编码视频数据。
再次参考图1，数据封装器107可以接收编码视频数据并根据定义的数据结构生成兼容比特流，例如NAL序列。接收兼容比特流的设备可以从其再现视频数据。此外，如上所述，子比特流提取可以指以下过程：接收与ITU-T H.265兼容的比特流的设备通过丢弃和/或修改所接收的比特流中的数据，形成新的与ITU-T H.265兼容的比特流。应当注意，可以使用术语一致比特流来代替术语兼容比特流。在一个示例中，数据封装器107可以被配置为对用于实现子比特流提取的信息进行信令通知。在一个示例中，数据封装器107可以被配置为根据本文所描述的技术生成实现子比特流提取的SEI消息。应当注意，数据封装器107不必位于与视频编码器106相同的物理设备中。例如，被描述为由视频编码器106和数据封装器107执行的功能可以分布在图4所示的多个设备中。
在一个示例中，数据封装器107可以被配置为通过根据表3中示出的语法生成mcts_extraction_info_set()SEI，来对用于实现子比特流提取的信息进行信令通知。
表3
在表3中，语法元素num_associated_tile_set_identifiers_minus1[i]、 mcts_identifier[i][j]、num_vps_in_extraction_info_set_minus1[i]、 vps_rbsp_data_length[i][j]、num_sps_in_extraction_info_set_minus1[i]、 sps_rbsp_data_length[i][j]、num_pps_in_extraction_info_set_minus1[i]、 pps_rbsp_data_length[i][j]、mcts_alignment_bit_equal_to_zero、 vps_rbsp_data_bytes[i][j][k]、sps_rbsp_data_bytes[i][j][k]和pps_rbsp_data_bytes[i][j][k]中的每一个可以具有基于以上关于表2所提供的定义的定义。语法元素num_extraction_info_sets_minus1和 pps_nuh_temporal_id_plus1[i][j]可以基于以下定义：
num_extraction_info_sets_minus1加1指示要在mcts提取过程中应用的MCTS提取信息集SEI消息中包含的提取信息集的数目。 num_extraction_info_sets_minus1的值应在0到232-2的范围内，包括 0和232-2。
第i个提取信息集应具有等于i的MCTS提取信息集标识符值。
在另一个示例中，该条件可以描述如下：
第i个提取信息集应具有如下的MCTS提取信息集标识符值 MCTSExtractionSetId[i]。
for(i＝0；i<＝num_extraction_information_sets_minus1；i++){
MCTSExtractionSetId[i]＝i；
}
pps_nuh_temporal_id_plus1[i][j]指定用于生成与PPS RBSP中指定的PPS数据相关联的PPS NAL单元的时间标识符，该PPS RBSP 中指定的PPS数据由第i个提取信息集的第j个替换图片参数集的 pps_rbsp_data_bytes[i][j][]指定。
以此方式，接收包括具有表3中所示语法的 mcts_extraction_info_set()的SEI消息的设备(例如，目的地设备120) 可以被配置为根据以下过程执行MCTS子比特流提取：
令比特流inBitstream、目标MCTS标识符mctsIdTarget、目标 MCTS提取信息集标识符mctsEISIdTarget以及目标最高TemporalId 值mctsTIdTarget是子比特流MCTS提取过程的输入。
子比特流MCTS提取过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是，作为本节中关于比特流指定的过程的输出的、任何输出子比特流应是一致的比特流。
输出子比特流按照如下方式导出：
-将比特流outBitstream设置为与比特流inBitstream相同。
-将列表ausWithVPS、ausWithSPS和ausWithPPS设置为包括outBitstream内的包含类型为VPS_NUT、SPS_NUT和PPS_NUT的 VCL NAL单元的所有访问单元。
-移除nuh_layer_id等于0且包含非嵌套SEI消息的所有SEI NAL 单元。
注2-“智能”比特流提取器可以在提取的子比特流中包括适当的非嵌套SEI消息，条件是适用于子比特流的SEI消息在原始比特流中作为mcts_extraction_info_nesting()中的嵌套SEI消息存在。
-从outBitstream中移除具有如下类型的所有NAL单元：
-包含不属于mcts_id[i]等于mctsIdTarget的瓦块集的瓦块的 VCL NAL单元，
-类型为VPS_NUT、SPS_NUT或PPS_NUT的非VCL_NAL单元。
-在outBitstream中的、列表ausWithVPS内的所有访问单元中，插入num_vps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为VPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的VPS RBSP数据，即 vps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_vps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_vps_in_extraction_info_minus1[mctsEISIdTarget]。对于生成的每个VPS_NUT，nuh_layer_id应设置为等于0，并且 nuh_temporal_id_plus1应设置为等于1。
-在outBitstream中的、列表ausWithSPS内的所有访问单元中，插入num_sps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为SPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的SPS RBSP数据，即 sps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_sps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_sps_in_extraction_info_minus1[mctsEISIdTarget]。对于生成的每个SPS_NUT，nuh_layer_id应设置为等于0，并且 nuh_temporal_id_plus1应设置为等于1。
-在outBitstream中的、列表ausWithPPS内的所有访问单元中，插入类型为PPS_NUT的NAL单元，该NAL单元生成自第 mctsEISIdTarget个MCTS提取信息集中的PPS RBSP数据，即 pps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]，并且 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]小于或等于 mctsTIdTarget。对于生成的每个PPS_NUT，nuh_layer_id应设置为等于0，并且nuh_temporal_id_plus1应设置为等于 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]，j为0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]，并且 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]小于或等于 mctsTIdTarget。
-从outBitstream中移除TemporalId大于mctsTIdTarget的所有 NAL单元。
-对于outBitstream中的每个剩余VCL NAL单元，按照如下方式调整片段头：
-对于每个访问单元内的第一个VCL NAL单元，将 first_slice_segment_in_pic_flag的值设置为1，否则设置为0。
-根据pps_pic_parameter_set_id等于slice_pic_parameter_set_id 的PPS中定义的瓦块设置来设置slice_segment_address的值。
以此方式，根据本文所描述的技术，实现了对替换图片参数集的图片参数集(PPS)时间ID信息的信令通知，指定了用于参数集的 NAL单元头的创建，并且除了目标MCTS标识符和目标MCTS提取信息集标识符之外，子比特流MCTS提取过程还允许针对目标最高TemporalID值来提取比特流。此外，提供了指定MCTS提取信息集标识符值的分配的规则。
在一个示例中，MCTS子比特流提取过程可以接收目标层标识符列表mctsLayerIdListTarget作为输入，并且可以从outBitstream移除nuh_layer_id不在mctsLayerIdListTarget所包括的值当中的所有NAL 单元。
在一个示例中，MCTS子比特流提取过程可以接收目标最高 TemporalId值mctsTIdTarget和目标层标识符列表 mctsLayerIdListTarget作为输入，并且可以从outBitstream移除 TemporalId大于mctsTIdTarget或nuh_layer_id不在mctsLayerIdListTarget所包括的值当中的所有NAL单元。
在一个示例中，代替对 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]进行信令通知，可以应用以下规则来创建PPS_NUT：
对于生成的每个PPS_NUT，nuh_layer_id应设置为等于0，并且 nuh_temporal_id_plus1应设置为等于1。
在一个示例中，代替对 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]进行信令通知，可以应用以下规则来创建PPS_NUT：
-在outBitstream中的、列表ausWithPPS内的所有访问单元中，插入num_pps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为PPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的PPS RBSP数据，即 pps_rbsp_data_bytes[mctsEISIdTarget][j][]，j是0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]。对于生成的每个PPS_NUT，nuh_layer_id应设置为等于0，并且 nuh_temporal_id_plus1应设置为等于outbitstream内当前访问单元中的 PPS_NUT的nuh_temporal_id_plus1的值。
在一个示例中，可以施加以下约束：
进行信令通知的pps_nuh_temporal_id_plus1[mctsEISIdTarget][j] 应小于或等于替换PPS所替换的PPS_NUT的nuh_temporal_id_plus1 的值。
在一个示例中，可以应用以下规则来创建VPS_NUT、SPS_NUT 和PPS_NUT：
对于生成的每个VPS_NUT，nuh_layer_id应设置为等于包含替换 VPS RBSP数据的MCTS提取信息集SEI消息(mcts_extraction_info_set ())的nuh_layer_id值。
对于生成的每个SPS_NUT，nuh_layer_id应设置为等于包含替换SPS RBSP数据的MCTS提取信息集SEI消息(mcts_extraction_info_set ())的nuh_layer_id值。
对于生成的每个PPS_NUT，nuh_layer_id应设置为等于包含替换 PPS RBSP数据的MCTS提取信息集SEI消息(mcts_extraction_info_set ())的nuh_layer_id值。
在一个示例中，可以经由标志来控制 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]的存在，并且当不存在时，应该将所创建的PPS_NUT的nuh_temporal_id_plus1的值推断为等于1。表4示出了mcts_extraction_info_set()的示例语法，其中可以经由标志来控制pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]的存在。
表4
在表4中，语法元素num_extraction_info_sets_minus1、 num_associated_tile_set_identifiers_minus1[i]、mcts_identifier[i][j]、 num_vps_in_extraction_info_set_minus1[i]、vps_rbsp_data_length[i][j]、 num_sps_in_extraction_info_set_minus1[i]、sps_rbsp_data_length[i][j]、 num_pps_in_extraction_info_set_minus1[i]、pps_rbsp_data_length[i][j]、 mcts_alignment_bit_equal_to_zero、vps_rbsp_data_bytes[i][j][k]、 sps_rbsp_data_bytes[i][j][k]和pps_rbsp_data_bytes[i][j][k]中的每一个可以具有基于以上关于表2和表3所提供的定义的定义。语法元素 num_extraction_info_sets_minus1和pps_nuh_temporal_id_plus1[i][j]可以基于以下定义：
pps_nuh_temporal_id_plus1_present_flag等于1指定语法元素 pps_nuh_temporal_id_plus1[i][j]存在。 pps_nuh_temporal_id_plus1_present_flag等于0指定语法元素 pps_nuh_temporal_id_plus1[i][j]不存在。
pps_nuh_temporal_id_plus1[i][j]指定用于生成与PPS RBSP中指定的PPS数据相关联的PPS NAL单元的时间标识符，该PPS RBSP 中指定的PPS数据由第i个提取信息集的第j个替换图片参数集的 pps_rbsp_data_bytes[i][j][]指定。当不存在时，推断 pps_nuh_temporal_id_plus1[i][j]等于1。
然后，可以使用pps_nuh_temporal_id_plus1[i][j]的信令通知的或推断的值来进行上述MCTS子比特流提取。
在一个示例中，代替对各种参数集RBSP(即，VPS RBSP、SPS RBSP、PPS RBSP)进行信令通知，可以在MCTS提取信息集SEI消息中直接对参数集NAL单元类型数据(即VPS_NUT、SPS_NUT和 PPS_NUT)进行信令通知。在这种情况下，vps_rbsp_data_length[i][j]、 sps_rbsp_data_length[i][j]、pps_rbsp_data_length[i][j]、 vps_rbsp_data_bytes[i][j][k]、sps_rbsp_data_bytes[i][j][k]和pps_rbsp_data_bytes[i][j][k]中的每一个可以用以下相应的语法元素替换：
vps_nut_data_length[i][j]指示后面的第i个提取信息集中的第j个替换VPS_NUT的字节vps_nut_data_bytes[i][j][k]的数目。
sps_nut_data_length[i][j]指示后面的第i个提取信息集中的第j个替换SPS_NUT的字节sps_nut_data_bytes[i][j][k]的数目。
pps_nut_data_length[i][j]指示后面的第i个提取信息集中的第j个替换PPS_NUT的字节pps_nut_data_bytes[i][j][k]的数目。
vps_nut_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换VPS_NUT的第k个字节。
sps_nut_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换SPS_NUT的第k个字节。
pps_nut_data_bytes[i][j][k]包含后面的第i个提取信息集中的第j 个替换PPS_NUT的第k个字节。
在该示例中，提取过程可以如下所示插入数据：
-在outBitstream的、列表ausWithVPS内的所有访问单元中，插入num_vps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为VPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的VPS_NUT数据，即 vps_nut_data_bytes[mctsEISIdTarget][j][]，j是0到 num_vps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_vps_in_extraction_info_minus1[mctsEISIdTarget]。
-在outBitstream的、列表ausWithSPS内的所有访问单元中，插入num_sps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为SPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的SPS_NUT数据，即 sps_nut_data_bytes[mctsEISIdTarget][j][]，j是0到 num_sps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_sps_in_extraction_info_minus1[mctsEISIdTarget]。
-在outBitstream的、列表ausWithPPS内的所有访问单元中，插入类型为PPS_NUT的NAL单元，该NAL单元生成自第 mctsEISIdTarget个MCTS提取信息集中的PPS_NUT数据，即pps_nut_data_bytes[mctsEISIdTarget][j][]，j是0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]，并且 PPS_NUT_data_bytes[mctsEISIdTarget][j]的nuh_temporal_id_plus1值小于或等于mctsTIdTarget。
在一个示例中，除了PPS时间Id信息，即 pps_nuh_temporal_id_plus1[i][j]之外，可以针对每个VPS、SPS、PPS 对层Id信息进行信令通知。也就是说，可以对以下语法元素进行信令通知：
vps_nuh_layer_id[i][j]指定用于生成VPS NAL单元类型的层的标识符，该VPSNAL单元类型与在由第i个提取信息集的第j个替换视频参数集的vps_rbsp_data_bytes[i][j][]指定的VPS RBSP中指定的VPS 数据相关联。
当不存在时，推断vps_nuh_layer_id[i][j]等于0。
sps_nuh_layer_id[i][j]指定用于生成SPS NAL单元类型的层的标识符，该SPSNAL单元类型与在由第i个提取信息集的第j个替换序列参数集的sps_rbsp_data_bytes[i][j][]指定的SPS RBSP中指定的SPS 数据相关联。
当不存在时，推断sps_nuh_layer_id[i][j]等于0。
pps_nuh_layer_id[i][j]指定用于生成PPS NAL单元的层的标识符，该PPS NAL单元与在由第i个提取信息集的第j个替换序列参数集的 pps_rbsp_data_bytes[i][j][]指定的PPS RBSP中指定的PPS数据相关联。
当不存在时，推断pps_nuh_layer_id[i][j]等于0。
在该示例中，提取过程可以如下所示移除和插入数据：
-从outBitstream中移除TemporalId大于mctsTIdTarget或 nuh_layer_id不在mctsLayerIdListTarget所包括的值当中的所有NAL 单元。
-在outBitstream中的、列表ausWithVPS内的所有访问单元中，插入num_vps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为VPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的VPS RBSP数据，即 vps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_vps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_vps_in_extraction_info_minus1[mctsEISIdTarget]。
-对于所生成的每个VPS_NUT，nuh_layer_id应设置为等于 vps_nuh_layer_id[mctsEISIdTarget][j]，j是0到 num_vps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_vps_in_extraction_info_minus1[mctsEISIdTarget]，并且 nuh_temporal_id_plus1应设置为等于1。
-在outBitstream中的、列表ausWithSPS内的所有访问单元中，插入num_sps_in_extraction_info_minus1[mctsEISIdTarget]加1个类型为SPS_NUT的NAL单元，该NAL单元生成自第mctsEISIdTarget个 MCTS提取信息集中的SPS RBSP数据，即 sps_rbsp_data_bytes[mctsEISIdTarget][j][]，j为0到 num_sps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_sps_in_extraction_info_minus1[mctsEISIdTarget]。对于所生成的每个SPS_NUT，nuh_layer_id应设置为等于 sps_nuh_layer_id[mctsEISIdTarget][j]，j是0到 num_sps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_sps_in_extraction_info_minus1[mctsEISIdTarget]，并且 nuh_temporal_id_plus1应设置为等于1。
-在outBitstream中的、列表ausWithPPS内的所有访问单元中，插入类型为PPS_NUT的NAL单元，该NAL单元生成自第 mctsEISIdTarget个MCTS提取信息集中的PPS RBSP数据，即 pps_rbsp_data_bytes[mctsEISIdTarget][j][]，j是0到 num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]，并且 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]小于或等于 mctsTIdTarget。对于所生成的每个PPS_NUT，nuh_layer_id应设置为等于pps_nuh_layer_id[mctsEISIdTarget][j]，并且nuh_temporal_id_plus1 应设置为等于pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]，j是0 到num_pps_in_extraction_info_minus1[mctsEISIdTarget]范围中的所有值，包括0和num_pps_in_extraction_info_minus1[mctsEISIdTarget]，并且pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]小于或等于 mctsTIdTarget。
再次参考图1，接口108可以包括被配置为接收由数据封装器107 生成的数据并将数据发送和/或存储到通信介质的任何设备。接口108 可以包括网络接口卡，例如以太网卡，并且可以包括光学收发器、射频收发器或可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，该计算机系统接口可以实现在存储设备上存储文件。例如，接口108可以包括支持外围组件互连(PCI) 和外围组件互连快速(PCIe)总线协议、私有总线协议、通用串行总线(USB)协议、I2C的芯片组，或可以用于互连对等设备的任何其他逻辑和物理结构。
再次参考图1，目的地设备120包括接口122、数据解封装器123、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收数据的任何设备。接口122可以包括网络接口卡，例如以太网卡，并且可以包括光学收发器、射频收发器或可以接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括能够实现从存储设备取回兼容的视频比特流的计算机系统接口。例如，接口122可以包括支持PCI和PCIe总线协议、私有总线协议、USB协议、I2C的芯片组，或可以用于互连对等设备的任何其他逻辑和物理结构。数据解封装器123可以被配置为接收由数据封装器107生成的比特流，并根据本文所描述的一种或多种技术执行子比特流提取。例如，数据解封装器123可以被配置为从比特流中移除TemporalId大于目标最高 TemporalId值mctsTIdTarget的所有NAL单元。
视频解码器124可以包括被配置为接收比特流(例如，MCTS子比特流提取)和/或其可接受的变型并从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126 可以包括各种显示设备中的一种，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示器。显示器126可以包括高清显示器或超高清显示器。应当注意，尽管在图1 所示的示例中，视频解码器124被描述为将数据输出给显示器126，但视频解码器124可以被配置为将视频数据输出给各种类型的设备和/或其子组件。例如，如本文中所述，视频解码器124可以被配置为将视频数据输出给任何通信介质。
图6是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行解码的系统示例的框图。在一个示例中，视频解码器600可以被配置为对变换数据进行解码，并基于解码的变换数据从变换系数重构残差数据。视频解码器600可以被配置为执行帧内预测解码和帧间预测解码，因此可以被称为混合解码器。在图6所示的示例中，视频解码器600包括熵解码单元602、逆量化单元和变换系数处理单元 604、帧内预测处理单元608、帧间预测处理单元610、求和器612、后置滤波器单元614和参考缓冲器616。视频解码器600可以被配置为以与视频编码系统一致的方式对视频数据进行解码。应当注意，尽管示例视频解码器600被示出为具有不同的功能块，但是这样的例示是出于描述的目的，并且不将视频解码器600和/或其子组件限制为特定的硬件或软件架构。可以使用硬件、固件和/或软件实现方式的任何组合来实现视频解码器600的功能。
如图6所示，熵解码单元602接收熵编码的比特流。熵解码单元 602可以被配置为根据与熵编码过程互逆的过程对来自比特流的语法元素和量化系数进行解码。熵解码单元602可以被配置为根据以上所描述的任何熵编码技术来执行熵解码。熵解码单元602可以以与视频编码标准一致的方式确定编码的比特流中的语法元素的值。如图6所示，熵解码单元602可以从比特流中确定量化参数、量化的系数值、变换数据和预测数据。在图6所示的示例中，逆量化单元和变换系数处理单元604从熵解码单元602接收量化参数、量化的系数值、变换数据和预测数据，并输出重构的残差数据。
再次参考图6，可以将重构的残差数据提供给求和器610，求和器610可以将重构的残差数据加到预测视频块并生成重构的视频数据。可以根据预测视频技术(即，帧内预测和帧间预测)来确定预测视频块。帧内预测处理单元608可以被配置为接收帧内预测语法元素，并从参考缓冲器616取回预测视频块。参考缓冲器616可以包括被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可以识别帧内预测模式，例如上文所描述的帧内预测模式。帧间预测处理单元610可以接收帧间预测语法元素并生成运动矢量，以识别存储在参考缓冲器616中的一个或多个参考帧中的预测块。帧间预测处理单元608可产生运动补偿块，可能基于插值滤波器执行插值。用于具有子像素精度的运动估计的插值滤波器的标识符可以包括在语法元素中。帧间预测处理单元610可以使用插值滤波器来计算参考块的子整数像素的插值的值。后置滤波器单元614可以被配置为对重构的视频数据执行滤波。例如，后置滤波器单元614可以被配置为例如基于比特流中指定的参数，执行去块和/或样本自适应偏移(SAO)滤波。此外，应当注意，在一些示例中，后置滤波器单元614可以被配置为执行私有的自由选择滤波(例如，诸如降低蚊式噪声之类的视觉增强)。如图 6所示，重构的视频块可以通过视频解码器600输出。以此方式，视频解码器600可以被配置为根据本文中所描述的一种或多种技术生成重构的视频数据。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果以软件实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质发送且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或包括有助于将计算机程序(例如根据通信协议)从一处传送到另一处的任何介质在内的通信介质。以此方式，计算机可读介质一般可以对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波之类的通信介质。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以取回用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
借助示例而非限制的方式，这种计算机可读介质可以包括RAM、 ROM、EEPROM、CD-ROM，或其它光盘存储、磁盘存储，或其它磁存储设备、闪存，或可以用于以指令或数据结构形式存储期望的程序代码并可由计算机访问的任何其它介质。此外，可以将任何连接适当地命名为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电和微波) 从网站、服务器或其他远程源发送指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是针对非暂时性的、有形的存储介质。如本文中所使用的，磁盘和光盘包括紧凑盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中，磁盘通常以磁的方式再现数据，而光盘用激光以光的方式再现数据。以上项的组合也应当包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，本文所使用的术语“处理器”可以指代任何前述结构或适合于实现本文所述技术的任何其他结构。另外，在一些方面，可以在配置用于编码和解码的专用硬件和/或软件模块内提供本文所描述的功能，或者将其并入组合的编解码器中。此外，可以在一个或多个电路或逻辑元件中完全实现这些技术。
本公开的技术可在各种设备或装置中实现，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元实现。相反，如上所述，各种单元可以组合在编解码器硬件单元中，或者由一组互操作硬件单元提供，包括如上所述的一个或多个处理器，以及合适的软件和/或固件。
此外，在每个上述实施例中使用的基站设备和终端设备的每个功能块或各种特征可以由电路来实现或执行，该电路通常是一个集成电路或多个集成电路。设计为执行本说明书中描述的功能的电路可以包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑或分立硬件组件或其组合。通用处理器可以是微处理器，或者备选地，处理器可以是常规处理器、控制器、微控制器或状态机。上述通用处理器或每个电路可以由数字电路配置或者可以由模拟电路配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，还能够使用通过该技术制成的集成电路。
已经描述了各种示例。这些示例和其它示例在所附权利要求的范围内。
<概要>
在一个示例中，一种对运动受约束的瓦块集进行信令通知的方法包括：生成消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及通过通信介质发送所生成的消息。
在一个示例中，一种设备包括一个或多个处理器，该一个或多个处理器被配置为：生成消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及通过通信介质发送所生成的消息。
在一个示例中，一种非暂时性计算机可读存储介质包括存储在其上的指令，该指令在被执行时使设备的一个或多个处理器：生成消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及通过通信介质发送所生成的消息。
在一个示例中，一种装置包括：用于生成消息的部件，所述消息包括替换图片参数集和指定与替换图片参数集相关联的时间标识符的值；以及用于通过通信介质发送所生成的消息的部件。
在一个示例中，一种执行运动受约束的瓦块集的子比特流提取的方法包括：接收消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及基于与所述替换图片参数集相关联的时间标识符执行子比特流提取。
在一个示例中，一种设备包括一个或多个处理器，该一个或多个处理器被配置为：接收消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及基于与所述替换图片参数集相关联的时间标识符执行子比特流提取。
在一个示例中，一种非暂时性计算机可读存储介质包括存储在其上的指令，该指令在被执行时使设备的一个或多个处理器：接收消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及基于与所述替换图片参数集相关联的时间标识符执行子比特流提取。
在一个示例中，一种装置包括：用于接收消息的部件，所述消息包括替换图片参数集和指定与替换图片参数集相关联的时间标识符的值；以及用于基于与替换图片参数集相关联的时间标识符执行子比特流提取的部件。
在附图和以下描述中阐述了一个或多个示例的细节。其他特征、目的和优点将通过描述和附图以及权利要求而显而易见。
本申请要求于2017年1月5日递交的美国临时申请No.62/442,918 的优先权，其全部内容通过引用并入本文。

Claims (8)

1.一种对运动受约束的瓦块集进行信令通知的方法，所述方法包括：
生成消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及
通过通信介质发送所生成的消息。
2.一种执行运动受约束的瓦块集的子比特流提取的方法，所述方法包括：
接收消息，所述消息包括替换图片参数集和指定与所述替换图片参数集相关联的时间标识符的值；以及
基于与所述替换图片参数集相关联的时间标识符执行子比特流提取。
3.一种设备，包括一个或多个处理器，所述处理器被配置为执行权利要求1至2的步骤的任何组合和所有组合。
4.根据权利要求3所述的设备，其中，所述设备包括视频编码器。
5.根据权利要求3所述的设备，其中，所述设备包括视频解码器。
6.一种系统，包括：
根据权利要求4所述的设备；以及
根据权利要求5所述的设备。
7.一种装置，包括用于执行权利要求1至2的步骤的任何组合和所有组合的部件。
8.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在被执行时使设备的一个或多个处理器执行权利要求1至2的步骤的任何组合和所有组合。
CN201780082187.6A 2017-01-05 2017-12-13 用于对虚拟现实应用的mcts进行信令通知的系统和方法 Active CN110169074B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762442918P 2017-01-05 2017-01-05
US62/442,918 2017-01-05
PCT/JP2017/044730 WO2018128060A1 (en) 2017-01-05 2017-12-13 Systems and methods for signaling of motion-constrained tile sets for virtual reality applications

Publications (2)

Publication Number Publication Date
CN110169074A true CN110169074A (zh) 2019-08-23
CN110169074B CN110169074B (zh) 2021-09-28

Family

ID=62789435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082187.6A Active CN110169074B (zh) 2017-01-05 2017-12-13 用于对虚拟现实应用的mcts进行信令通知的系统和方法

Country Status (5)

Country Link
US (1) US11070845B2 (zh)
EP (1) EP3566452A4 (zh)
JP (1) JP7018447B2 (zh)
CN (1) CN110169074B (zh)
WO (1) WO2018128060A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10764575B2 (en) * 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
AU2019392557A1 (en) * 2018-12-04 2021-06-24 Vid Scale, Inc. Tile group partitioning
US11606574B2 (en) * 2019-05-31 2023-03-14 Apple Inc. Efficient coding of source video sequences partitioned into tiles
EP3991412A4 (en) * 2019-06-25 2023-06-28 INTEL Corporation Sub-pictures and sub-picture sets with level derivation
WO2021118191A1 (ko) * 2019-12-10 2021-06-17 엘지전자 주식회사 Tmvp에 기반한 영상 코딩 방법 및 그 장치
GB2623907A (en) * 2020-05-12 2024-05-01 V Nova Int Ltd Low latency communication system and method of operation
WO2021257529A1 (en) * 2020-06-17 2021-12-23 Bytedance Inc. Decoded picture buffer management and subpictures in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902627A (zh) * 2009-05-29 2010-12-01 汤姆森许可贸易公司 在比特流中插入水印辅助数据的方法和包括水印辅助数据的比特流
CN103947210A (zh) * 2011-10-31 2014-07-23 高通股份有限公司 视频译码中借助高级经解码图片缓冲器(dpb)管理的随机存取
WO2015004323A1 (en) * 2013-07-11 2015-01-15 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20150016504A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
CN109076247A (zh) * 2016-02-09 2018-12-21 弗劳恩霍夫应用研究促进协会 允许图片/视频数据流的高效的可缩减性或高效的随机访问的技术

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
JP6202912B2 (ja) * 2013-07-12 2017-09-27 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902627A (zh) * 2009-05-29 2010-12-01 汤姆森许可贸易公司 在比特流中插入水印辅助数据的方法和包括水印辅助数据的比特流
CN103947210A (zh) * 2011-10-31 2014-07-23 高通股份有限公司 视频译码中借助高级经解码图片缓冲器(dpb)管理的随机存取
WO2015004323A1 (en) * 2013-07-11 2015-01-15 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20150016504A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
CN105359512A (zh) * 2013-07-15 2016-02-24 索尼公司 用于交互性的运动约束贴片集合sei消息的扩展
CN109076247A (zh) * 2016-02-09 2018-12-21 弗劳恩霍夫应用研究促进协会 允许图片/视频数据流的高效的可缩减性或高效的随机访问的技术

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARSTEN SUEHRING; ROBERT SKUPIN; YAGO SANCHEZ; THOMAS SCHIERL: "Extension of (temporal) motion constrained tile sets SEI message", 《JCT-VC 14TH MEETING: VIENNA ,AT, 25 JULY-2 AUG. 2013 JCTVC-N0088》 *
R. SKUPIN, Y. SÁNCHEZ, K. GRÜNEBERG, C. HELLGE, T. SCHIERL: "On MCTS extraction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 25TH MEETING: CHENGDU, CN, 14–21 OCTOBER 2016 JCTVC-Y0031》 *
R. SKUPIN: "Motion-Constrained Tile Sets Extraction Information SEI Messages Draft 1", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 25TH MEETING: CHENGDU, CN, 14–21 OCTOBER 2016 JCTVC-Y1008》 *

Also Published As

Publication number Publication date
JP7018447B2 (ja) 2022-02-10
CN110169074B (zh) 2021-09-28
EP3566452A1 (en) 2019-11-13
EP3566452A4 (en) 2020-06-10
US20190342581A1 (en) 2019-11-07
JP2020505806A (ja) 2020-02-20
US11070845B2 (en) 2021-07-20
WO2018128060A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN110169074A (zh) 用于对虚拟现实应用的运动受约束的瓦块集进行信令通知的系统和方法
US11589069B2 (en) Systems and methods for signaling parameters in video coding
CN110506421B (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的系统和方法
CN113170201B (zh) 用于对视频数据进行解码的方法和设备
CN106464911B (zh) 多层视频编解码器中的恢复点sei消息
CN105052150A (zh) 改进的有效负载格式设计
AU2019297829B2 (en) Systems and methods for signaling picture order count values for pictures included in coded video
CN105230016A (zh) 用于视频译码的具有解码次序编号的单个网络抽象层单元包
US20200322406A1 (en) Systems and methods for signaling scalable video in a media application format
US20230023370A1 (en) Systems and methods for signaling picture types of pictures included in coded video
WO2018128071A1 (en) Systems and methods for signaling of tiles in most-interested regions for virtual reality applications
WO2019189890A1 (en) Systems and methods for signaling tile structures for pictures of coded video
CN110063055A (zh) 用于减少时间可伸缩视频层中的伪像的系统和方法
WO2020009124A1 (en) Systems and methods for high-level syntax signaling in video coding
KR20240032616A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 특성 정보를 시그널링하기 위한 시스템들 및 방법들
CN117651132A (zh) 发送信号通知神经网络环路后滤波器信息的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant