CN117528004A - 多层视频比特流的子比特流提取 - Google Patents

多层视频比特流的子比特流提取 Download PDF

Info

Publication number
CN117528004A
CN117528004A CN202311719476.6A CN202311719476A CN117528004A CN 117528004 A CN117528004 A CN 117528004A CN 202311719476 A CN202311719476 A CN 202311719476A CN 117528004 A CN117528004 A CN 117528004A
Authority
CN
China
Prior art keywords
bitstream
video
nal
nal unit
sei
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311719476.6A
Other languages
English (en)
Inventor
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of CN117528004A publication Critical patent/CN117528004A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了多层视频比特流的子比特流提取。描述了视频编码方法和装置以及视频解码方法和装置的示例。视频处理的一种示例方法包括：根据规则，执行视频和视频的比特流之间的转换，其中，根据规则，比特流包括对于多个视频层的网络抽象层(NAL)单元；其中，该规则定义了生成包括输出层集(OLS)的输出比特流的子比特流提取过程包括响应于以下条件而选择性地执行的一个或多个操作：(1)OLS中的NAL单元标头层标识符值的列表不包括比特流中所有视频编解码层(VCL)NAL单元中的NAL单元标头层标识符的所有值，以及(2)该输出比特流包含补充增强信息(SEI)NAL单元，该单元包含可缩放嵌套SEI消息。

Description

多层视频比特流的子比特流提取
相关申请的交叉引用
本申请是于2022年12月9日提交的中国发明专利申请No.202180041836.4的分案申请，该中国发明专利申请是于2021年6月8日提交的国际专利申请号PCT/US2021/036473进入中国国家阶段的申请，其要求于2020年6月9日提交的美国临时专利申请No.63/036,865的优先权。以上申请的全部公开内容通过引用而并入，作为本申请的公开内容的一部分。
技术领域
本专利文档涉及图像和视频编码和解码。
背景技术
数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可由视频编码器和解码器用于执行视频编码或解码的技术。
在一个示例方面，公开了一种视频处理方法。该方法包括：执行视频和视频的比特流之间的转换，其中，根据规则，比特流包括对于多个视频层的网络抽象层(NAL)单元；其中，规则定义了子比特流提取过程，通过子比特流提取过程从比特流中移除NAL单元以生成输出比特流，并且其中，规则规定响应于具有目标输出层集(OLS)索引的OLS中的NAL单元标头层标识符值的列表，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息(SEI)NAL单元，目标OLS索引不包括输入到子比特流提取过程的比特流中的所有视频编解码层(VCL)NAL单元中的NAL单元标头层标识符的所有值。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：执行视频和视频的比特流之间的转换，其中，根据规定子比特流提取过程以生成输出比特流的规则，比特流可分成一个或多个子比特流，并且其中，规则规定基于视频编解码层(VCL)网络抽象层(NAL)单元的类型和与VCL NAL单元相关联的视频编解码层的时域标识符，是否或如何移除包含应用于在子比特流提取过程期间移除VCL NAL单元的图片或子图片的SEI消息的所有补充增强信息(SEI)网络抽象层(NAL)单元。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：根据规则执行视频和视频的比特流之间的转换，其中，根据规则，比特流包括对于多个视频层的网络抽象层(NAL)单元；其中，规则定义了生成包括输出层集(OLS)的输出比特流的子比特流提取过程包括响应于以下条件而选择性地执行的一个或多个操作：(1)OLS中的NAL单元标头层标识符值的列表不包括比特流中所有视频编解码层(VCL)NAL单元中的NAL单元标头层标识符的所有值，以及(2)输出比特流包含补充增强信息(SEI)NAL单元，该SEI NAL单元包含可缩放嵌套SEI消息。
在又一示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实现上述方法的处理器。
在又一示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实现上述方法的处理器。
在又一示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现了本文描述的方法之一。
本文档中描述了这些和其他特征。
附图说明
图1是示出根据所公开技术的一些实现方式的视频编解码系统的框图。
图2是用于视频处理的示例硬件平台的框图。
图3是视频处理的示例方法的流程图。
图4是示出示例视频编解码系统的框图。
图5是示出根据所公开技术的一些实现方式的编码器的框图。
图6是示出根据所公开技术的一些实现方式的解码器的框图。
图7A和7B是基于所公开技术的一些实现方式的视频处理的示例方法的流程图。
图8是基于所公开技术的一些实现方式的视频处理的示例方法的流程图。
具体实施方式
本文档中使用章节标题是为了易于理解并且不将各章节中公开的技术和实施例的适用性仅限制于该章节。此外，在一些描述中使用H.266术语仅仅是为了易于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。
1.介绍
本文档与视频编解码技术有关。具体来说，它是关于对通用子比特流提取过程、图片级别HRD参数的信令通知以及在SEI NAL单元中包含SEI消息的一些改进。这些想法可以单独或以各种组合应用于支持多层视频编解码(例如，正在开发的多功能视频编解码(VVC))的任何视频编解码标准或非标准视频编解码器。
2.缩写
APS 自适应参数集
AU 访问单元
AUD 访问单元分隔符
AVC 高级视频编解码
CLVS 编解码层视频序列
CPB 编解码图片缓冲区
CRA 清洁随机访问
CTU 编解码树单元
CVS 编解码视频序列
DCI 解码能力信息
DPB 解码图片缓冲区
EOB 比特流结束
EOS 序列结束
GDR 逐步解码刷新
HEVC 高效视频编解码
HRD 假设参考解码器
IDR 即时解码刷新
ILP 层间预测
ILRP 层间参考图片
JEM 联合探索模型
LTRP 长期参考图片
MCTS 运动约束片集
NAL 网络抽象层
OLS 输出层集
PH 图片标头
PPS 图片参数集
PTL 档次、层次、级别
PU 图片单元
RAP 随机访问点
RBSP 原始字节序列有效负载
SEI 补充增强信息
SPS 序列参数集
STRP 短期参考图片
SVC 可缩放视频编解码
VCL 视频编解码层
VPS 视频参数集
VTM VVC测试模型
VUI 视频可用性信息
VVC 多功能视频编解码
3.初步讨论
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263标准，ISO/IEC制作了MPEG-1和MPEG-4Visual标准，并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起，JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。JVET会议每季度同时举行一次，新编解码标准的目标是与HEVC相比降低50％比特率。新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编码(VVC)，并且第一版VVC测试模型(VTM)也在当时发布。随着VVC标准化的不断努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术完成(FDIS)。
3.1.序列内的图片精度变化
在AVC和HEVC中，图片的空域精度不能改变，除非使用新SPS的新序列以IRAP图片开始。VVC允许在不编码IRAP图片的位置改变序列内的图片精度，IRAP图片总是被帧内编解码。此特征有时称为参考图片重采样(RPR)，因为当参考图片具有与正在解码的当前图片不同的精度时，该特征需要对用于帧间预测的参考图片进行重采样。
缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，并且小于或等于8(8倍上采样)。规定了具有不同频率截止的三组重采样滤波器来处理参考图片和当前图片之间的各种缩放比率。三组重采样滤波器分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。每组重采样滤波器具有对于亮度的16个相位和对于色度的32个相位，这与运动补偿插值滤波器的情况相同。实际上正常的MC插值过程是重采样过程的一种特殊情况，其中缩放比率范围从1/1.25到8。水平和垂直缩放比率是基于图片宽度和高度以及为参考图片和当前图片规定的左、右、顶部和底部缩放偏移而推导出的。
与HEVC不同的支持此特征的VVC设计的其他方面包括：i)在PPS中而不是在SPS中信令通知的图片精度和对应的一致性窗口，而在SPS中信令通知最大图片精度；ii)对于单层比特流，每个图片存储(DPB中用于存储一个解码图片的槽)占用存储具有最大图片精度的解码图片所需的缓冲区尺寸。
3.2.一般和VVC中的可缩放视频编解码(SVC)
可缩放视频编解码(SVC，有时也称为视频编解码中的可缩放性)是指使用基础层(BL)(有时称为参考层(RL))和一个或多个可缩放增强层(EL)的视频编解码。在SVC中，基础层可以携带具有基础质量级别的视频数据。一个或多个增强层可以携带额外的视频数据以支持例如更高的空域、时域和/或信噪比(SNR)级别。可以相对于先前编码的层来定义增强层。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作EL或RL，或两者兼而有之。例如，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(例如基础层或任何居间的增强层)的EL，并且同时用作中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的Multiview或3D扩展中，可能存在多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。
在SVC中，编码器或解码器使用的参数基于它们可以在其中使用的编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)被分组成参数集。例如，可以由比特流中不同层的一个或多个编解码视频序列使用的参数可以包括在视频参数集(VPS)中，并且可以由编解码视频序列中的一个或多个图片使用的参数包含在序列参数集(SPS)中。类似地，由图片中的一个或多个条带使用的参数可以包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。
由于VVC中对参考图片重采样(RPR)的支持，可以在不需要任何额外的信令通知处理级别编解码工具的情况下设计对包含多层的比特流的支持，例如，在VVC中具有SD和HD分辨率的两个层，因为空域可缩放性支持所需的上采样可仅使用RPR上采样滤波器。然而，为了支持可缩放性，需要高级别的语法变化(与不支持可缩放性相比)。VVC版本1中规定了可缩放性支持。与任何早期视频编解码标准中的可缩放性支持不同，包括AVC和HEVC的扩展，VVC可缩放性的设计已尽可能地对单层解码器设计友好。多层比特流的解码能力是以好像比特流中只有单层的方式来规定的。例如，以独立于要解码的比特流中的层的数量的方式规定诸如DPB尺寸的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够解码多层比特流。与AVC和HEVC的多层扩展的设计相比，HLS方面在牺牲一些灵活性的情况下得到了显著简化。例如，IRAP AU需要包含CVS中存在的每个层的图片。
3.3.参数集
AVC、HEVC和VVC规定参数集。参数集的类型包括SPS、PPS、APS和VPS。所有AVC、HEVC和VVC都支持SPS和PPS。VPS是从HEVC开始引入的，并且包含在HEVC和VVC两者中。APS未包含在AVC或HEVC中，但包含在最新的VVC草案文本中。
SPS被设计为携带序列级别标头信息，并且PPS被设计为携带不经常变化的图片级别标头信息。使用SPS和PPS，不需要为每个序列或图片重复不经常变化的信息，因此可以避免该信息的冗余信令通知。此外，使用SPS和PPS实现了重要标头信息的带外传输，从而不仅避免了冗余传输的需要，而且还提高了错误恢复能力。
引入VPS是为了携带多层比特流中所有层共同的序列级别标头信息。
引入APS是为了携带这样的图片级别或条带级别信息，这些信息需要相当多的位进行编解码，可以由多个图片共享，并且在序列中可以有很多不同的变化。
3.4.通用子比特流提取过程
最新的VVC文本的条款C.6规定了通用子比特流提取过程，如下所示：C.6子比特流提取过程
该过程的输入为比特流inBitstream、目标OLS索引targetOlsIdx和目标最高TemporalId值tIdTarget。
该过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是满足以下所有条件的任何输出子比特流都应是符合的比特流：
–输出子比特流是本条款中规定的过程的输出，其中作为输入，比特流targetOlsIdx等于VPS规定的OLS的列表的索引，并且tIdTarget等于0到6(包括端值)的范围内的任何值。
–输出子比特流包含至少一个VCL NAL单元，其nuh_layer_id等于LayerIdInOls[targetOlsIdx]中的每个nuh_layer_id值。
–输出子比特流包含TemporalId等于tIdTarget的至少一个VCL NAL单元。
注—符合的比特流包含TemporalId等于0的一个或多个编解码的条带NAL单元，但是不必包含nuh_layer_id等于0的编解码的条带NAL单元。
输出子比特流OutBitstream推导如下：
1.比特流outBitstream设置为与比特流inBitstream相同。
2.从outBitstream中移除TemporalId大于tIdTarget的所有NAL单元。
3.从outBitstream中移除nal_unit_type不等于VPS_NUT、DCI_NUT和EOB_NUT中任何一个且nuh_layer_id不包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。
4.从outBitstream中移除以下所有条件为真的所有VCL NAL单元以及它们关联的nal_unit_type等于PH_NUT、FD_NUT、SUFFIX_SEI_NUT和PREFIX_SEI_NUT的非VCL NAL单元，其中，PayloadType不等于0、1或130：
–nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或nal_unit_type等于GDR_NUT且关联的ph_recovery_poc_cnt不等于0。
–对于0至NumLayersInOls[targetOlsIdx]–1(包括端值)的范围内的j的值，nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer
_id]]。
5.从outBitstream中移除包含可缩放嵌套SEI消息的所有SEI NAL单元，该可缩放嵌套SEI消息的sn_ols_flag等于1，并且在0到sn_num_olss_minus1(包括端值)的范围内没有i值，使得NestingOlsIdx[i]等于targetOlsIdx。
6.当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时，以下适用：
a.从outBitstream中移除包含payloadType等于0(BP)或130(DUI)的不可缩放嵌套SEI消息的所有SEI NAL单元。
b.当general_same_pic_timing_in_all_ols_flag等于0时，从outBitstream中移除包含payloadType等于1的不可缩放嵌套SEI消息(PT)的所有SEI NAL单元。
c.当outBitstream包含SEI NAL单元并且适用于
outBitstream(NestingOlsIdx[i]等于targetOlsIdx)，这些单元包含sn_ols_flag等于1的可缩放嵌套SEI消息时，以下适用：
–如果general_same_pic_timing_in_all_ols_flag等于0，则从可缩放嵌套SEI消息中提取payloadType等于0(BP)、1(PT)或130(DUI)的适当的不可缩放嵌套SEI消息，并将这些SEI消息包括在outBitstream中。
–否则(general_same_pic_timing_in_all_ols_flag等于1)，从可缩放嵌套SEI消息中提取payloadType等于0(BP)或130(DUI)的适当的不可缩放嵌套SEI消息，并将这些SEI消息包括在outBitstream中。
4.公开的技术方案所解决的技术问题
最新VVC文本(JVET-R2001-vA/v10)中的通用子比特流提取过程和相关其他部分的现有设计存在以下问题：
1)在要求输出子比特流是符合的比特流的条件下，tIdTarget的值据说在0到6的范围(包括端值)内。然而，在许多比特流中，最高的TemporalId
值小于6，并且该值由语法元素vps_max_sublayers_minus1规定。
2)当存在时，访问单元分隔符(AUD)NAL单元可以具有任何nuh_layer_id
值。然而，子比特流提取过程的步骤3将移除AUD NAL单元，其nuh_layer_id值不包括在列表LayerIdInOls[targetOlsIdx]中。
3)一些SEI NAL单元包含sn_ols_flag等于0的可缩放嵌套SEI消息，而可缩放嵌套SEI消息中指示的适用层不包括目标OLS中的任何层，即，没有一个适用层的nuh_layer_id值不包括在列表layeridols[targetOlsIdx]
中。这些SEI NAL单元也应该被移除。
4)步骤6的条件，即“当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值”具有以下两个问题。
a.该条件不适用于DCI、VPS、AUD或EOB NAL单元存在且
nuh_layer_id不等于VCL NAL单元的任何nuh_layer_id值的情况。
b.短语“比特流”不清楚，因为在上下文中涉及两个比特流，
inBitstream和outBitstream。
5)步骤6.c将从sn_ols_flag等于1且sn_subpic_flag等于1的可缩放嵌套SEI消息中提取可缩放嵌套的SEI消息，以生成不可缩放嵌套的SEI消息，而这种可缩放嵌套的SEI消息仅应用于特定子图片，因此不应被提取。
6)在步骤6.c中，当从一个SEI NAL单元seiNalUnitA中提取多个可缩放嵌套的SEI消息为不可缩放嵌套的SEI消息时，它们仍应包含在一个SEI NAL单元seiNalUnitB中，并且SEI NAL单元seiNalUnitB应包含在包含SEI NAL单元seiNalUnitA的相同PU中。然而，这没有被规定。
7)步骤6.c应该从outBitstream中移除所有从中提取了一些SEI消息并将其包括为不可缩放嵌套的SEI消息的SEI NAL单元。然而，这没有被规定。
8)缺少约束，因此当SEI NAL单元包含payloadType等于0、1或130的SEI消息时，SEI NAL单元不应包含payloadType不等于0(BP)、1(PT)、130(DUI)或133(可缩放嵌套)的SEI消息。这导致在步骤4中移除SEI消息涉及的不仅仅是移除SEI NAL单元。
9)标志general_same_pic_timing_in_all_ols_flag仅规定不可缩放嵌套的PTSEI消息是否适用于所有OLS。然而，DUI SEI消息中携带的信息与PT SEI消息中的目的相似。
10)当从输出比特流中移除以下两个条件均为真的VCL NAL单元时：a)nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT且关联的ph_recovery_poc_cnt大于0,和b)TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]，该步骤还移除包含除BP、PT或DUI SEI消息之外的SEI消息的关联SEI NAL单元。然而，那些被移除的SEI消息中的一些可能适用于包含输出比特流中剩余的图片的OLS或层。
11)子图片级别信息SEI消息(当存在时)适用于OLS，就像其他与HRD相关的SEI消息(即BP、PT、DUI SEI消息)一样。然而，当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时，包含payloadType等于203的不可缩放嵌套的SEI消息(即，子图片级别信息SEI消息)的SEI NAL单元在提取过程中未被寻址。
12)使可缩放嵌套的SEI消息成为不可缩放嵌套的SEI消息的最后一步存在以下问题：
a.不包括sn_ols_flag等于0且sn_subpic_flag等于0的情况下的SEI消息。
b.未规定所得到的不可缩放嵌套的SEI消息应该被放置在输出比特流中的何处(在哪个SEI NAL单元中，SEI NAL单元应该在哪里)。
5.技术解决方案及实施例的列表
为了解决上述问题和其他问题，公开了总结如下的方法。这些项目应被视为解释一般概念的示例，而不应以狭义的方式进行解释。此外，这些项目可以单独应用或以任何方式组合应用。
1)为了解决问题1，规定要求输出子比特流是符合的比特流的条件，使得tIdTarget的值被规定在0到vps_max_sublayers_minus1的范围(包括端值)内。
a.或者，规定要求输出子比特流是符合的比特流的条件，使得当输入比特流中有多于一层时，tIdTarget的值被规定在0到vps_max_sublayers_minus1的范围(包括端值)内，并且当输入比特流中只有一层时，tIdTarget的值被规定在0到sps_max_sublayers_minus1(包括端值)的范围内。
2)为了解决问题2，规定了通用子比特流提取过程，以便以与nal_unit_type等于VPS_NUT、DCI_NUT或EOB_NUT的NAL单元相同的方式处理AUD NAL单元。换句话说，根据nuh_layer_id值，没有AUD NAL单元被从输出比特流outBitstream中移除。
3)为了解决问题3，规定通用子比特流提取过程，使得它将移除输出比特流outBitstream，包含sn_ols_flag等于0的可缩放嵌套SEI消息的SEI NAL单元，而可缩放嵌套SEI消息中指示的适用层不包括目标OLS中的任何层。
a.在一个示例中，规定从outBitstream中移除所有包含可缩放嵌套SEI消息的SEINAL单元，该可缩放嵌套SEI消息的sn_ols_flag等于0，并且对于在0到nestingNumLayers–1的范围(包括端值)内的i，列表nestingLayerId[i]中没有列表LayerIdInOls[targetOlsIdx]中的值。
4)为了解决问题4，条件“当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时”更改为“当列表LayerIdInOls[targetOlsIdx]不包括比特流inBitstream中的所有VCL NAL单元中的nuh_layer_id的所有值时”。
5)为了解决问题5，规定通用子比特流提取过程，使得它仅从sn_ols_flag等于1且sn_subpic_flag等于0的可缩放嵌套SEI消息中提取可缩放嵌套的SEI消息，以生成不可缩放嵌套的SEI消息。
6)为了解决问题6，规定了通用子比特流提取过程，使得当从一个SEI NAL单元seiNalUnitA中提取多个可缩放嵌套的SEI消息为不可缩放嵌套的SEI消息时，它们仍然被包括在输出比特流outBitstream中的一个SEI NAL单元seiNalUnitB中，并且SEI NAL单元seiNalUnitB包括在包含SEI NAL单元seiNalUnitA的PU中。
7)为了解决问题7，规定通用子比特流提取过程，使得它从输出比特流outBitstream中移除所有从中提取了一些SEI消息并将其作为不可缩放嵌套的SEI消息包括在内的SEI NAL单元。
a.或者，当这种SEI NAL单元中的可缩放嵌套的SEI消息仅适用于目标OLS(即，VPS规定的第targetOlsIdx个OLS)时，从outBitstream中移除SEI NAL单元。
b.或者，当除了这种SEI NAL单元中的可缩放嵌套的SEI消息所应用的OLS中的目标OLS之外，不存在包含所有包括在列表LayerIdInOls[targetOlsIdx]中的层的OLS时，从outBitstream中移除SEI NAL单元。
8)为了解决问题8，添加约束，使得当SEI NAL单元包含payloadType等于0、1或130的SEI消息时，SEI NAL单元不应包含payloadType不等于0(BP)、1(PT)、130(DUI)或133(可缩放嵌套)的SEI消息。
9)为了解决问题9，标志general_same_pic_timing_in_all_ols_flag规定不可缩放嵌套的PT和DUI SEI消息是否应用于所有OLS。
a.或者，标志general_same_pic_timing_in_all_ols_flag规定不可缩放嵌套的BP、PT和DUI SEI消息是否应用于所有OLS。
i.在一个示例中，标志general_same_pic_timing_in_all_ols_flag被重命名为标志general_same_pic_level_hrd_info_in_all_ols_flag，其规定不可缩放嵌套的BP、PT和DUI SEI消息是否应用于所有OLS。
b.或者，添加新标志，例如，命名为general_same_dui_in_all_ols_flag，以规定不可缩放嵌套的DUI SEI消息是否应用于所有OLS。
c.或者，添加新标志，例如，命名为general_same_bp_in_all_ols_flag，以规定不可缩放嵌套的BP SEI消息是否应用于所有OLS。
10)为了解决问题10，在一个示例中，在通用子比特流提取过程中，当从输出比特流中移除以下两个条件均为真的VCL NAL单元时：a)nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT且关联的ph_recovery_poc_cnt大于0,和b)TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]，不是移除包含除BP、PT或DUI SEI消息之外的SEI消息的相关联SEI NAL单元，而是移除包含SEI消息的所有SEI NAL单元，该SEI消息仅应用于所有VCL NAL单元正在被移除的一个或多个图片或子图片。
a.在一个示例中，或者，在移除此类VCL NAL单元时，将相关联的SEI NAL单元保留在输出比特流中。
11)为了解决问题11，在一个示例中，在通用子比特流提取过程中，当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时，另外移除包含payloadType等于203的不可缩放嵌套的SEI消息(即，子图片级别信息SEI消息)的所有SEI NAL单元。
12)为了解决问题12，在一个示例中，在通用子比特流提取过程中，当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值，并且outBitstream包含SEI NAL单元seiNalUnitA，该单元包含sn_subpic_flag等于0的可缩放嵌套SEI消息，该消息应用于OLS(当sn_ols_flag等于1时)或与outBitstream中具有相同层集的层(当sn_ols_flag等于0时)，执行以下一项或多项操作：
a.生成新的SEI NAL单元seiNalUnitB。
b.在包含seiNalUnitA的PU中包括seiNalUnitB。
c.将seiNalUnitB包括在包含seiNalUnitA的PU中，紧跟在seiNalUnitA之后。
d.从可缩放嵌套SEI消息中提取可缩放嵌套的SEI消息，并将它们直接包括在seiNalUnitB中(作为不可缩放嵌套的SEI消息)。
e.从outBitstream中移除seiNalUnitA。
13)在一个示例中，在通用子比特流提取过程中，当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时，并且outBitstream包含SEINAL单元seiNalUnitA，该单元包含可缩放嵌套SEI消息，将seiNalUnitA保留在输出比特流中。
6.实施例
6.1.第一实施例
此实施例针对项目1、2、3、3.a、4、5、6、7.b和8。
C.6通用子比特流提取过程
该过程的输入为比特流inBitstream、目标OLS索引targetOlsIdx和目标最高TemporalId值tIdTarget。
该过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是满足以下所有条件的任何输出子比特流都应是符合的比特流：
–输出子比特流是本条款中规定的过程的输出，其中作为输入，比特流中targetOlsIdx等于VPS规定的OLS的列表的索引，并且tIdTarget等于0到
(包括端值)的范围内的任何值。
–输出子比特流包含至少一个VCL NAL单元，其nuh_layer_id等于LayerIdInOls[targetOlsIdx]中的每个nuh_layer_id值。
–输出子比特流包含TemporalId等于tIdTarget的至少一个VCL NAL单元。
注–符合的比特流包含TemporalId等于0的一个或多个编解码的条带NAL单元，但是不必包含nuh_layer_id等于0的编解码的条带NAL单元。输出子比特流OutBitstream是推导：
1.比特流outBitstream设置为与比特流inBitstream相同。
2.从outBitstream中移除TemporalId大于tIdTarget的所有NAL单元。
3.从outBitstream中移除nal_unit_type不等于DCI_NUT、VPS_NUT、
和EOB_NUT中任何一个且nuh_layer_id不包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。
4.从outBitstream中移除以下所有条件为真的所有VCL NAL单元，以及
关联的非VCL NAL单元，/>
nal_unit_type等于PH_NUT/>FD_NUT，/>
SUFFIX_SEI_NUTPREFIX_SEI_NUT/>不等于0(BP)、1(PT)、130(DUI)/>
–nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或nal_unit_type等于GDR_NUT且关联的ph_recovery_poc_cnt不等于0。
–[[对于0至NumLayersInOls[targetOlsIdx]–1(包括端值)的范围内的j的值，nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]]]
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_lay
er_id]]。
5.从outBitstream中移除包含可缩放嵌套SEI消息的所有SEI NAL单元，该可缩放嵌套SEI消息的sn_ols_flag等于1，并且在0到sn_num_olss_minus1
(包括端值)的范围内没有i值，使得NestingOlsIdx[i]等于targetOlsIdx。
7.当LayerIdInOls[targetOlsIdx]不包括比特流中所有VCL NAL单元中的nuh_layer_id的所有值时，以下/>应用：
a.从outBitstream中移除包含payloadType等于0(BP)或130(DUI)的不可缩放嵌套的SEI消息的所有SEI NAL单元。
b.当general_same_pic_timing_in_all_ols_flag等于0时，从outBitstream中移除包含payloadType等于1(PT)的不可缩放嵌套的SEI消息的所有SEI NAL单元。
c.当outBitstream包含SEI NAL单元时，该SEI NAL单元包含sn_ols_flag等于1的可缩放嵌套SEI消息，该可缩放嵌套SEI消息应用于第targetOlsIdx个OLS(即，在0到sn_num_olss_minus1的范围(包括端值)内至少有一个i值，使得NestingOlsIdx[i]等于targetOlsIdx)，以下/>应用：
i.对于此类SEI NAL单元seiNalUnitA中的每个可缩放嵌套的BP或DUI SEI消息， 在outBitstream中/>
ii.当general_same_pic_timing_in_all_ols_flag等于0时，对于此类SEI NAL单元seiNalUnitA中的每个可缩放嵌套的PT SEI消息， 在outBitstream中/>/>
D.2.2通用SEI有效负载语义
...
比特流一致性的要求是以下限制适用于在SEI NAL单元中包含SEI消息：
–当SEI NAL单元包含不可缩放嵌套的BP SEI消息、不可缩放嵌套的PT SEI消息或不可缩放嵌套的DUI SEI消息时，SEI NAL单元不得包含任何其他payloadType不等于0(BP)、1(PT)或130(DUI)的SEI消息。
–当SEI NAL单元包含可缩放嵌套的BP SEI消息，可缩放嵌套的PT SEI消息，或可缩放嵌套的DUI SEI消息时，SEI NAL单元不得包含任何其他payloadType不等于0(BP)、1(PT)、130(DUI)或133(可缩放嵌套)的SEI消息。
...
6.2.第二实施例
本实施例针对项目10至12(包括端值)，相对于上面实施例1文本的变化用高亮标出。
C.6通用子比特流提取过程
该过程的输入为比特流inBitstream、目标OLS索引targetOlsIdx和目标最高TemporalId值tIdTarget。
该过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是满足以下所有条件的任何输出子比特流都应是符合的比特流：
–输出子比特流是本条款中规定的过程的输出，其中作为输入，比特流中targetOlsIdx等于VPS规定的OLS的列表的索引，并且tIdTarget等于0到vps_max_sublayers_minus1(包括端值)的范围内的任何值。
–输出子比特流包含至少一个VCL NAL单元，其nuh_layer_id等于LayerIdInOls[targetOlsIdx]中的每个nuh_layer_id值。
–输出子比特流包含TemporalId等于tIdTarget的至少一个VCL NAL单元。注–符合的比特流包含TemporalId等于0的一个或多个编解码的条带NAL单元，但是不必包含nuh_layer_id等于0的编解码的条带NAL单元。输出子比特流OutBitstream是通过应用以下有序步骤推导：
1.比特流outBitstream设置为与比特流inBitstream相同。
2.从outBitstream中移除TemporalId大于tIdTarget的所有NAL单元。
3.从outBitstream中移除[[nal_unit_type不等于DCI_NUT、VPS_NUT、AUD_NUT和EOB_NUT中的任何一个并且]]具有不包括在列表LayerIdInOls[targetOlsIdx]中的nuh_layer_id 所有NAL单元。
4.从outBitstream中移除以下所有条件为真的所有VCL NAL单元，[[以及还从outBitstream中移除这些VCL NAL单元的]]以及它们的关联的非VCL NAL单元，这些单元的nal_unit_type等于PH_NUT或FD_NUT[[，或者nal_unit_type等于SUFFIX_SEI_NUT或PREFIX_SEI_NUT并包含payloadType不等于0(BP)、1(PT)、130(DUI)或133(可缩放嵌套)的SEI消息]]：
–nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且关联的ph_recovery_poc_cnt[[不等于]]0。
–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_lay er_id]]。
–从outBitstream中移除包含可缩放嵌套SEI消息的所有SEI NAL单元，该可缩放嵌套SEI消息的sn_ols_flag等于1，并且在0到sn_num_olss_minus1(包括端值)的范围内没有i值，使得NestingOlsIdx[i]等于targetOlsIdx。
–从outBitstream中移除所有包含可缩放嵌套SEI消息的SEI NAL单元，该可缩放嵌套SEI消息的sn_ols_flag等于0，并且对于在0到nestingNumLayers–1的范围(包括端值)内的i，列表nestingLayerId[i]中没有列表LayerIdInOls[targetOlsIdx]中的值。
6.当LayerIdInOls[targetOlsIdx]不包括比特流inBitstream中所有VCL NAL单元中的nuh_layer_id的所有值时，以下按所列顺序适用：a.从outBitstream中移除所有包含payloadType等于0(BP)、
[[或130(DUI)]]的不可缩放嵌套的SEI消息的SEI NAL单元。b.当general_same_pic_timing_in_all_ols_flag等于0时，从outBitstream中移除包含payloadType等于1的不可缩放嵌套SEI消息(PT)的所有SEI NAL单元。
[[当outBitstream包含SEI NAL单元时，该SEI NAL单元包含sn_ols_flag等于1且sn_subpic_flag等于0的可缩放嵌套SEI消息，该可缩放嵌套SEI消息应用于第targetOlsIdx个OLS(即，在0到sn_num_olss_minus1的范围(包括端值)内至少有一个i值，使得NestingOlsIdx[i]等于targetOlsIdx)，以下按所列顺序应用：
i.对于此类SEI NAL单元seiNalUnitA中的每个可缩放嵌套的BP或DUI SEI消息，生成具有相同payloadType和SEI有效负载的不可缩放嵌套的SEI消息，并将其包含在outBitstream中包含seiNalUnitA的PU中的SEI NAL单元中。
ii.当general_same_pic_timing_in_all_ols_flag等于0时，对于此类SEI NAL单元seiNalUnitA中的每个可缩放嵌套的PT SEI消息，生成具有相同SEI有效负载的不可缩放嵌套的SEI消息，并将其包含在outBitstream中包含seiNalUnitA的PU中的SEI NAL单元中。
iii.当包含在特定此类SEI NAL单元seiNalUnitA中的多个SEI消息被制成不可缩放嵌套的SEI消息时，由此不可缩放嵌套的SEI消息包括在一个SEI NAL单元中。
iv.当除了这种SEI NAL单元seiNalUnitA中的可缩放嵌套的SEI消息所应用的OLS中的目标OLS之外，不存在包含所有包括在列表LayerIdInOls[targetOlsIdx]中的层的OLS时，从outBitstream中移除SEI NAL单元seiNalUnitA。]]
图1是可实现本文中所公开的各种技术的示例视频处理系统1900的框图。各种实现方式可以包括系统1900中的一些或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收，或者可以以压缩或编码的格式接收。输入1902可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统1900可以包括可以实现本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以减少从输入1902到编解码组件1904的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储或经由所连接的通信来发送，如组件1906所表示的。在输入1902处接收的视频的存储或通信的比特流(或编解码)表示可以由组件1908使用，以生成被发送到显示接口1910的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编解码工具或操作，并且将由解码器进行反演编解码的结果的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中，诸如移动电话、膝上型计算机、智能电话或其它能够进行数字数据处理和/或视频显示的装设备。
图2是视频处理装置3600的框图。装置3600可以用于实现本文中所述的方法中的一个或多个。装置3600可以实施在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以配置为实现本文档中所述的一个或多个方法。(多个)存储器3604可以用于存储数据和代码，该代码用于实现本文所描述的方法和技术。视频处理硬件3606可以用于在硬件电路中实现本文档中所描述的一些技术。
图4是示出可利用本公开的技术的示例视频编解码系统100的框图。
如图4所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码的视频数据，其可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码的视频数据，该目标设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或生成视频数据的计算机图形系统，或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法元素。I/O接口116包括调制器/解调器(调制解调器)和/或发送器。可以将编码的视频数据经由I/O接口116通过网络130a直接发送到目标设备120。还可以将编码的视频数据存储到存储介质/服务器130b上，供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成，或可以在配置为与外置显示设备相接的目标设备120外部。
视频编码器114和视频解码器124可以根据视频压缩标准(诸如，高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或其他标准)进行操作。
图5是示出视频编码器200的示例的框图，该视频编码器200可以是图4中示出的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或全部技术。在图5的示例中，视频编码器200包括多个功能组件。本公开所描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以配置为进行本公开中描述的任何或全部技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以以IBC模式进行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成，但是出于解释的目的在图5的示例中分开表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于错误结果选择帧内或帧间的编解码模式中的一个，并且将得到的帧内或帧间编解码块提供到残差生成单元207来生成残差块数据而且提供到重构单元212来重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测的组合(CIIP)模式，其中预测是基于帧间预测信号和帧内预测信号。模式选择单元203还可以为帧间预测情况下的块选择运动矢量的分辨率(例如子像素或整像素精度)。
为了对当前视频块进行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较，生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲区213的图片(而不是与当前视频块相关联的图片)的运动信息和解码样点来为当前视频块确定预测的视频块。
运动估计单元204和运动补偿单元205可以为当前视频块进行不同操作，例如执行不同操作取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中，运动估计单元204可以进行当前视频块的单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符、和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元204可以进行当前视频块的双向预测，运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块并且还可以在列表1的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出运动信息的全部集合，用于解码器的解码处理。
在一些示例中，运动估计单元204可以不输出当前视频的运动信息的全部集合。而是，运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示：向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性的信令通知技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令通知。
帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时，帧内预测单元206可以基于相同图片中其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中，例如在跳过模式下，对于当前视频块可能不存在当前视频块的残差数据，并且残差生成单元207可以不进行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以将逆量化和逆变换分别应用于变换系数视频块，来从变换系数视频块重建残差视频块。重构单元212可以将重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重建视频块用于存储在缓冲区213中。
在重构单元212重构视频块之后，可以进行环路滤波操作以降低视频块中视频块化伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以进行一个或多个熵编码操作以生成熵编码数据并且输出包括熵编码数据的比特流。
图6是示出视频解码器300的示例的框图，该视频解码器300可以是图4中示出的系统100中的视频解码器114。
视频解码器300可以被配置为进行本公开的任何或全部技术。在图6的示例中，视频解码器300包括多个功能组件。本公开所描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以配置为进行本公开中描述的任何或全部技术。
在图6的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重构单元306和缓冲区307。在一些示例中，视频解码器300可以进行与关于视频编码器200(图5)所描述的编码过程总体反演的解码过程。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码视频数据(例如，视频数据的编解码块)。熵解码单元301可以对熵编解码视频进行解码，并且根据熵解码视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302例如可以通过进行AMVP和merge模式确定此类信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器进行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在编码视频块的期间所使用的插值滤波器，来计算出参考块的子整数个像素的插值的值。运动补偿单元302可以根据接收的语法信息确定由视频编码器200所使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定：用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸，描述编码视频序列的图片的每个宏块如何被分割的分割信息，指示如何编码每个分割的模式，每个帧间编码块的一个或多个参考帧(和参考帧列表)，以及对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303逆量化(即，去量化)在比特流中提供的且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。
重构单元306可以用由运动补偿单元202或帧内预测单元303生成的对应预测块求和残差块，以形成解码块。如所期望的，去块滤波器还可以应用于滤波解码块以便移除块效应伪影。解码视频块然后存储在缓冲区307中，该缓冲区307提供用于随后的运动补偿/帧内预测的参考块，并且还产生用于在显示设备上呈现的解码视频。
接下来提供了一些实施例优选的解决方案的列表。
接下来提供第一组解决方案。以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目1-9)。
1.一种视频处理方法(例如，图3中的方法600)，包括：执行(602)包括一个或多个视频层的视频与视频的编解码表示之间的转换，该一个或多个视频层包括一个或多个视频图片，其中编解码表示符合与从编解码表示中提取子比特流相关的格式规则。
2.根据解决方案1所述的方法，还包括：根据格式规则从编解码表示中提取子比特流。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目1)。
3.根据解决方案1-2中任一项所述的方法，其中，在提取子比特流期间，允许对于提取的目标id在范围0到在对于编解码表示的视频参数集中指示的语法字段的值之间。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目2)。
4.根据解决方案1-3中任一项所述的方法，其中，在不根据层id从输出比特流移除访问单元分隔符网络抽象层(AUD NAL)的情况下提取子比特流。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目3)。
5.根据解决方案1-4中任一项所述的方法，其中，通过选择性地移除网络抽象层单元来提取子比特流，这些网络抽象层单元包括不适用于被提取的输出层的可缩放嵌套补充增强信息消息。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目5)。
6.根据解决方案1-5中任一项所述的方法，其中，通过使用设置输出层集的标志和禁用子图片的标志来约束提取以从可缩放嵌套补充增强信息(SEI)消息中生成不可缩放嵌套的SEI，来提取子比特流。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目6)。
7.根据解决方案1-6中任一项所述的方法，其中，根据规定从单个SEI网络抽象层单元提取多个可缩放嵌套的补充增强信息(SEI)消息的规则来提取子比特流。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目7)。
8.根据解决方案1-7中任一项所述的方法，其中，根据从编解码表示中移除所有补充增强信息网络抽象层SEI NAL单元的规则来提取子比特流，已经从这些补充增强信息网络抽象层SEI NAL单元中提取了一些SEI消息并将其包括为不可缩放嵌套的SEI消息。
以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目8-13)。
10.一种视频处理方法，包括：执行视频和视频的编解码表示之间的转换，其中，编解码表示包括一个或多个子比特流；其中，根据规定子比特流提取过程与编解码表示的一个或多个语法元素之间的关系的规则来执行转换。
11.根据解决方案10所述的方法，其中，该规则规定在以下两个条件中的一个或多个条件为真的情况下移除包含应用于移除视频编解码层的图片或子图片的SEI消息的所有补充增强信息(SEI)网络抽象层单元(NAL)：(1)NAL单元的类型是特定类型，或者(2)视频编解码层的时域标识符满足特定条件。
12.根据解决方案10-11中任一项所述的方法，其中，该规则规定如果目标输出层中的层标识符不包括编解码表示中层标识符的所有值，则该过程还会移除包含payloadType等于203的不可缩放嵌套的SEI消息的所有SEI NAL单元。
13.根据解决方案1-12中任一项所述的方法，其中，执行转换包括将视频编码成编解码表示。
14.根据解决方案1-12中任一项所述的方法，其中，执行转换包括解析和解码编解码表示以生成视频。
15.一种视频解码装置，包括被配置为实现解决方案1至14中的一项或多项所述的方法的处理器。
16.一种视频编码装置，包括被配置为实现解决方案1至14中的一项或多项所述的方法的处理器。
17.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使处理器执行解决方案1至14中的任一项所述的方法。
18.本文档中描述的方法、装置或系统。
第二组解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目10和11)。
1.一种视频数据处理方法(例如，如图7A所示的方法700)，包括：执行(702)视频和视频的比特流之间的转换，其中根据规则，比特流包括对于多个视频层的网络抽象层(NAL)单元；其中，规则定义了子比特流提取过程，通过子比特流提取过程从比特流中移除NAL单元以生成输出比特流，并且其中规则规定响应于具有目标OLS索引的输出层集(OLS)中的NAL单元标头层标识符值的列表，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息(SEI)NAL单元，目标OLS索引不包括输入到子比特流提取过程的比特流中的所有视频编解码层(VCL)NAL单元中的NAL单元标头层标识符的所有值。
2.根据解决方案1所述的方法，其中，具有特定有效负载类型的不可缩放嵌套的SEI消息对应于子图片级别信息SEI消息。
3.根据解决方案1所述的方法，其中，特定有效负载类型等于203。
4.根据解决方案1所述的方法，其中，具有特定有效负载类型的不可缩放嵌套的SEI消息对应于解码单元信息消息。
5.根据解决方案1所述的方法，其中，特定有效负载类型等于130。
6.一种视频数据处理方法(例如，图7B所示的方法710)，包括：执行视频和视频的比特流之间的转换，其中，根据规定子比特流提取过程以生成输出比特流的规则，比特流可分成一个或多个子比特流，并且其中，规则规定基于视频编解码层(VCL)网络抽象层(NAL)单元的类型和与VCL NAL单元相关联的视频编解码层的时域标识符，是否或如何移除包含应用于在子比特流提取过程期间移除VCL NAL单元的图片或子图片的SEI消息的所有补充增强信息SEI网络抽象层NAL单元。
7.根据解决方案6所述的方法，其中，规则规定移除所有SEI NAL单元以响应：(1)等于TRAIL_NUT、STSA_NUT、RADL_NUT、RASL_NUT或GDR_NUT的VCL NAL单元的类型，以及(2)视频编解码层的时域标识符大于或等于输出层集中的视频编解码层中的子层的数量。
8.根据解决方案7所述的方法，其中，对于等于GDR_NUT的VCL NAL单元的类型，指示输出顺序中的解码图片的恢复点的语法字段具有大于0的值。
9.根据解决方案6所述的方法，其中，规则规定在输出比特流中保留SEI NAL单元。
10.根据解决方案1至9中任一项所述的方法，其中，转换包括将视频编码成比特流。
11.根据解决方案1至9中任一项所述的方法，其中，转换包括从比特流解码视频。
12.根据解决方案1至9中任一项所述的方法，其中，转换包括从视频生成比特流，并且方法还包括：将比特流存储在非暂时性计算机可读记录介质中。
13.一种视频处理装置，包括被配置为实现解决方案1至12中的任一项或多项所述的方法的处理器。
14.一种存储视频的比特流的方法，包括根据解决方案1至12中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。
15.一种存储程序代码的计算机可读介质，程序代码在被执行时使处理器实现根据解决方案1至12中的任一项或多项所述的方法。
16.一种计算机可读介质，存储根据上述任一项方法生成的编解码表示或比特流。
17.一种存储比特流的视频处理装置，其中，视频处理装置被配置为实现根据解决方案1至12中的任一项或多项所述的方法。
第三组解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目12和13)。
1.一种视频数据处理方法(例如，图8所示的方法800)，包括：根据规则执行(802)视频和视频的比特流之间的转换，其中，根据规则，比特流包括对于多个视频层的网络抽象层(NAL)单元；其中，规则定义了生成包括输出层集(OLS)的输出比特流的子比特流提取过程包括响应于以下条件而选择性地执行的一个或多个操作：(1)OLS中的NAL单元标头层标识符值的列表不包括比特流中所有视频编解码层(VCL)NAL单元中的NAL单元标头层标识符的所有值，以及(2)输出比特流包含补充增强信息(SEI)NAL单元，该SEI NAL单元包含可缩放嵌套SEI消息。
2.根据解决方案1所述的方法，其中，可缩放嵌套SEI消息与等于特定值的第一标志相关联，特定值应用于具有与输出比特流中相同的层集的特定OLS或特定层。
3.根据解决方案2所述的方法，其中，第一标志等于0规定应用于特定OLS或特定层的可缩放嵌套的SEI消息应用于特定OLS或特定层的所有子图片。
4.根据解决方案1所述的方法，其中，可缩放嵌套SEI消息与指示可缩放嵌套SEI消息是否应用于特定OLS或特定层的第二标志相关联。
5.根据解决方案1-4中任一项所述的方法，其中，一个或多个操作包括生成附加SEI NAL单元。
6.根据解决方案5所述的方法，其中，一个或多个操作包括在包含SEI NAL单元的图片单元中包括附加SEI NAL单元。
7.根据解决方案6所述的方法，其中，附加SEI NAL单元紧接在SEI NAL单元之后。
8.根据解决方案6中任一项所述的方法，其中，一个或多个操作还包括从可缩放嵌套SEI消息中提取可缩放嵌套的SEI消息并将可缩放嵌套的SEI消息包括在附加SEI NAL单元中。
9.根据解决方案1所述的方法，其中，一个或多个操作包括从输出比特流中移除SEI NAL单元。
10.根据解决方案1所述的方法，其中，一个或多个操作包括将SEI NAL单元保持在输出比特流中。
11.根据解决方案1至10中任一项所述的方法，其中，转换包括将视频编码成比特流。
12.根据解决方案1至10中任一项所述的方法，其中，转换包括从比特流解码视频。
13.根据解决方案1至10中任一项所述的方法，其中，转换包括从视频生成比特流，并且方法还包括：将比特流存储在非暂时性计算机可读记录介质中。
14.一种视频处理装置，包括被配置为实现解决方案1至13中的任一项或多项所述的方法的处理器。
15.一种存储视频的比特流的方法，包括根据解决方案1至13中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。
16.一种存储程序代码的计算机可读介质，程序代码在被执行时使处理器实现解决方案1至13中的任一项或多项所述的方法。
17.一种计算机可读介质，存储根据上述任一项方法生成的比特流。
18.一种存储比特流的视频处理装置，其中，视频处理装置被配置为实现解决方案1至13中的任一项或多项所述的方法。
本文档中所述的公开和其他方案、示例、实施例、模块和功能操作可以被实现在数字电子电路中或者在计算机软件、固件或硬件中，含有本文档中所公开的结构以及其结构的等同物，或者它们中的一个或多个的组合。所公开的和其他实施例可以被实现为计算机可读介质上所编码的一个或多个计算机程序产品，即一个或多个计算机程序指令模块，用于由数据处理装置执行或者控制数据处理装置的操作。该计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读可传播信号的复合物，或其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如，在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行，该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本文档中所描述的过程和逻辑流，以通过在输入数据上操作并且生成输出来进行功能。也可以由专用逻辑电路(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))进行过程和逻辑流，并且装置可以实现为专用逻辑电路(例如FPGA或ASIC)。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备(例如磁、磁光盘或光盘)，或者可操作地耦合以从海量存储设备(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储设备(例如磁、磁光盘或光盘)，或者以上两者。但是，计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质含有所有形式的非易失性存储器、介质和存储器设备，含有例如半导体存储器设备(例如EPROM、EEPROM和闪速存储器设备)；磁盘(例如内部硬盘或可移动磁盘)；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充，或者合并在专用逻辑电路中。
虽然本专利文档含有许多细节，但这些细节不应被解释为对任何主题或可要求保护的范围的限制，而是作为规定于特定技术的特定实施例的特征的描述。在本专利文档中，在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外，尽管特征可以如上文描述为以某些组合起作用并且甚至最初同样地要求，但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，尽管在附图中以特定顺序描绘了操作，但这不应当理解为要求按所示的特定次序或顺序次序进行此类操作或者进行所有示出的操作，以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容来作出其它实现方式、增强和变型。

Claims (42)

1.一种视频数据处理方法，包括：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，并且
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，并且当所述输出子比特流包含包含特定可缩放嵌套补充增强信息SEI消息的第一SEI NAL单元时，生成新的SEI NAL单元，并且从所述特定可缩放嵌入SEI消息中提取可缩放嵌套的SEI消息并将所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中。
2.根据权利要求1所述的方法，其中，所述特定可缩放嵌套SEI消息是应用于具有所述目标OLS索引的OLS的具有等于第一值的第一标志和等于第二值的第二标志的可缩放嵌套SEI消息，
其中，等于所述第一值的所述第一标志指示所述可缩放嵌套SEI消息应用于特定输出层集OLS，并且
其中，等于所述第二值的所述第二标志指示所述可缩放嵌套SEI消息应用于所有子图片。
3.根据权利要求1所述的方法，其中，所述可缩放嵌套的SEI消息包括在所述新的SEINAL单元中作为不可缩放嵌套的SEI消息。
4.根据权利要求1所述的方法，其中，所述新的SEINAL单元包括在包含所述第一SEINAL单元的图片单元PU中。
5.根据权利要求4所述的方法，其中，所述新的SEINAL单元紧接地包括在所述第一SEINAL单元之后。
6.根据权利要求1所述的方法，其中，在所述可缩放嵌套的SEI消息包括在所述新的SEINAL单元中后，从所述输出子比特流中移除所述第一SEI NAL单元。
7.根据权利要求1-6中任一项所述的方法，其中，所述转换包括将所述视频编码成所述比特流。
8.根据权利要求1-6中任一项所述的方法，其中，所述转换包括从所述比特流解码所述视频。
9.一种视频数据处理装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，并且
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，并且当所述输出子比特流包含包含特定可缩放嵌套补充增强信息SEI消息的第一SEI NAL单元时，生成新的SEI NAL单元，并且从所述特定可缩放嵌入SEI消息中提取可缩放嵌套的SEI消息并将所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中。
10.根据权利要求9所述的装置，其中，所述特定可缩放嵌套SEI消息是应用于具有所述目标OLS索引的OLS的具有等于第一值的第一标志和等于第二值的第二标志的可缩放嵌套SEI消息，
其中，等于所述第一值的所述第一标志指示所述可缩放嵌套SEI消息应用于特定输出层集OLS，并且
其中，等于所述第二值的所述第二标志指示所述可缩放嵌套SEI消息应用于所有子图片。
11.根据权利要求9所述的装置，其中，所述可缩放嵌套的SEI消息包括在所述新的SEINAL单元中作为不可缩放嵌套的SEI消息。
12.根据权利要求9所述的装置，其中，所述新的SEI NAL单元包括在包含所述第一SEINAL单元的图片单元PU中，其中，所述新的SEI NAL单元紧接地包括在所述第一SEINAL单元之后，并且其中，在所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中后，从所述输出子比特流中移除所述第一SEI NAL单元。
13.一种非暂时性计算机可读存储介质，其中存储有指令，所述指令使处理器：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，并且
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，并且当所述输出子比特流包含包含特定可缩放嵌套补充增强信息SEI消息的第一SEI NAL单元时，生成新的SEI NAL单元，并且从所述特定可缩放嵌入SEI消息中提取可缩放嵌套的SEI消息并将所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述特定可缩放嵌套SEI消息是应用于具有所述目标OLS索引的OLS的具有等于第一值的第一标志和等于第二值的第二标志的可缩放嵌套SEI消息，
其中，等于所述第一值的所述第一标志指示所述可缩放嵌套SEI消息应用于特定输出层集OLS，并且
其中，等于所述第二值的所述第二标志指示所述可缩放嵌套SEI消息应用于所有子图片。
15.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述可缩放嵌套的SEI消息包括在所述新的SEINAL单元中作为不可缩放嵌套的SEI消息。
16.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述新的SEI NAL单元包括在包含所述第一SEI NAL单元的图片单元PU中，其中，所述新的SEI NAL单元紧接地包括在所述第一SEI NAL单元之后，并且其中，在所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中后，从所述输出子比特流中移除所述第一SEINAL单元。
17.一种非暂时性计算机可读记录介质，其中存储由视频处理装置执行的方法生成的视频的比特流，其中，所述方法包括：
根据规则生成包括一个或多个层的所述视频的比特流，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，并且
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，并且当所述输出子比特流包含包含特定可缩放嵌套补充增强信息SEI消息的第一SEI NAL单元时，生成新的SEI NAL单元，并且从所述特定可缩放嵌入SEI消息中提取可缩放嵌套的SEI消息并将所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中。
18.根据权利要求17所述的非暂时性计算机可读记录介质，其中，所述特定可缩放嵌套SEI消息是应用于具有所述目标OLS索引的OLS的具有等于第一值的第一标志和等于第二值的第二标志的可缩放嵌套SEI消息，
其中，等于所述第一值的所述第一标志指示所述可缩放嵌套SEI消息应用于特定输出层集OLS，并且
其中，等于所述第二值的所述第二标志指示所述可缩放嵌套SEI消息应用于所有子图片。
19.根据权利要求17所述的非暂时性计算机可读记录介质，其中，所述可缩放嵌套的SEI消息包括在所述新的SEINAL单元中作为不可缩放嵌套的SEI消息。
20.根据权利要求17所述的非暂时性计算机可读记录介质，其中，所述新的SEI NAL单元包括在包含所述第一SEI NAL单元的图片单元PU中，其中，所述新的SEI NAL单元紧接地包括在所述第一SEI NAL单元之后，并且其中，在所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中后，从所述输出子比特流中移除所述第一SEINAL单元。
21.一种存储视频的比特流的方法，包括：
根据规则生成包括一个或多个层的所述视频的比特流，以及
将所述比特流存储在非暂时性计算机可读记录介质中，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，并且
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，并且当所述输出子比特流包含包含特定可缩放嵌套补充增强信息SEI消息的第一SEI NAL单元时，生成新的SEI NAL单元，并且从所述特定可缩放嵌入SEI消息中提取可缩放嵌套的SEI消息并将所述可缩放嵌套的SEI消息包括在所述新的SEI NAL单元中。
22.一种视频数据处理方法，包括：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息SEI NAL单元，并且
其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息包括具有对应于子图片级别信息SEI消息的第一特定有效负载类型的不可缩放嵌套的SEI消息。
23.根据权利要求22所述的方法，其中，所述第一特定有效负载类型等于203。
24.根据权利要求22所述的方法，其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息还包括具有与解码单元信息消息对应的第二特定有效负载类型的不可缩放嵌套的SEI消息。
25.根据权利要求24所述的方法，其中，所述第二特定有效负载类型等于130。
26.根据权利要求22所述的方法，其中，所述规则还规定移除满足第一组条件的NAL单元，其中，所述第一组条件包括：1)NAL单元具有不包括在具有所述目标OLS索引的OLS中的NAL单元标头层标识符值的列表中的nuh_layer_id；2)NAL单元不是解码能力信息DCI NAL单元、视频参数集VPS NAL单元、访问单元分隔符AUD NAL单元、或比特流结束EOB NAL单元；以及3)NAL单元不是包含特定不可缩放嵌套的SEI消息的NAL单元。
27.根据权利要求22所述的方法，其中，所述规则还规定移除满足第二组条件的所有VCL NAL单元，其中，所述第二组条件包括：nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且相关联的ph_recovery_poc_cnt大于0。
28.根据权利要求22-27中任一项所述的方法，其中，所述转换包括将所述视频编码成所述比特流。
29.根据权利要求22-27中任一项所述的方法，其中，所述转换包括从所述比特流解码所述视频。
30.一种视频数据处理装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息SEI NAL单元，并且
其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息包括具有对应于子图片级别信息SEI消息的第一特定有效负载类型的不可缩放嵌套的SEI消息。
31.根据权利要求30所述的装置，其中，所述第一特定有效负载类型等于203，其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息还包括具有与解码单元信息消息对应的第二特定有效负载类型的不可缩放嵌套的SEI消息，并且其中，所述第二特定有效负载类型等于130。
32.根据权利要求30所述的装置，其中，所述规则还规定移除满足第一组条件的NAL单元，其中，所述第一组条件包括：1)NAL单元具有不包括在具有所述目标OLS索引的OLS中的NAL单元标头层标识符值的列表中的nuh_layer_id；2)NAL单元不是解码能力信息DCI NAL单元、视频参数集VPS NAL单元、访问单元分隔符AUD NAL单元、或比特流结束EOB NAL单元；以及3)NAL单元不是包含特定不可缩放嵌套的SEI消息的NAL单元。
33.根据权利要求30所述的装置，其中，所述规则还规定移除满足第二组条件的所有VCL NAL单元，其中，所述第二组条件包括：nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且相关联的ph_recovery_poc_cnt大于0。
34.一种非暂时性计算机可读存储介质，其中存储有指令，所述指令使处理器：
根据规则，执行包括一个或多个层的视频和所述视频的比特流之间的转换，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息SEI NAL单元，并且
其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息包括具有对应于子图片级别信息SEI消息的第一特定有效负载类型的不可缩放嵌套的SEI消息。
35.根据权利要求34所述的非暂时性计算机可读存储介质，其中，所述第一特定有效负载类型等于203，其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息还包括具有与解码单元信息消息对应的第二特定有效负载类型的不可缩放嵌套的SEI消息，并且其中，所述第二特定有效负载类型等于130。
36.根据权利要求34所述的非暂时性计算机可读存储介质，其中，所述规则还规定移除满足第一组条件的NAL单元，其中，所述第一组条件包括：1)NAL单元具有不包括在具有所述目标OLS索引的OLS中的NAL单元标头层标识符值的列表中的nuh_layer_id；2)NAL单元不是解码能力信息DCI NAL单元、视频参数集VPS NAL单元、访问单元分隔符AUD NAL单元、或比特流结束EOB NAL单元；以及3)NAL单元不是包含特定不可缩放嵌套的SEI消息的NAL单元。
37.根据权利要求34所述的非暂时性计算机可读存储介质，其中，所述规则还规定移除满足第二组条件的所有VCL NAL单元，其中，所述第二组条件包括：nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且相关联的ph_recovery_poc_cnt大于0。
38.一种非暂时性计算机可读记录介质，其中存储由视频处理装置执行的方法生成的视频的比特流，其中，所述方法包括：
根据规则生成包括一个或多个层的所述视频的比特流，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息SEI NAL单元，并且
其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息包括具有对应于子图片级别信息SEI消息的第一特定有效负载类型的不可缩放嵌套的SEI消息。
39.根据权利要求38所述的非暂时性计算机可读记录介质，其中，所述第一特定有效负载类型等于203，其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息还包括具有与解码单元信息消息对应的第二特定有效负载类型的不可缩放嵌套的SEI消息，并且其中，所述第二特定有效负载类型等于130。
40.根据权利要求38所述的非暂时性计算机可读记录介质，其中，所述规则还规定移除满足第一组条件的NAL单元，其中，所述第一组条件包括：1)NAL单元具有不包括在具有所述目标OLS索引的OLS中的NAL单元标头层标识符值的列表中的nuh_layer_id；2)NAL单元不是解码能力信息DCI NAL单元、视频参数集VPS NAL单元、访问单元分隔符AUD NAL单元、或比特流结束EOB NAL单元；以及3)NAL单元不是包含特定不可缩放嵌套的SEI消息的NAL单元。
41.根据权利要求38所述的非暂时性计算机可读记录介质，其中，所述规则还规定移除满足第二组条件的所有VCL NAL单元，其中，所述第二组条件包括：nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且相关联的ph_recovery_poc_cnt大于0。
42.一种存储视频的比特流的方法，包括：
根据规则生成包括一个或多个层的所述视频的比特流，以及
将所述比特流存储在非暂时性计算机可读记录介质中，
其中，所述规则规定子比特流提取过程，通过所述子比特流提取过程将网络抽象层NAL单元从所述子比特流提取过程的输入比特流中移除以生成输出子比特流，
其中，所述规则还规定，当具有目标输出层集OLS索引的OLS中的NAL单元标头层标识符值的列表不包括所述输入比特流中的所有视频编解码层VCL NAL单元中的NAL单元标头层标识符的所有值时，移除包含具有特定有效负载类型的不可缩放嵌套的SEI消息的所有补充增强信息SEI NAL单元，并且
其中，具有所述特定有效负载类型的所述不可缩放嵌套的SEI消息包括具有对应于子图片级别信息SEI消息的第一特定有效负载类型的不可缩放嵌套的SEI消息。
CN202311719476.6A 2020-06-09 2021-06-08 多层视频比特流的子比特流提取 Pending CN117528004A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063036865P 2020-06-09 2020-06-09
US63/036,865 2020-06-09
CN202180041836.4A CN115769570A (zh) 2020-06-09 2021-06-08 多层视频比特流的子比特流提取
PCT/US2021/036473 WO2021252533A1 (en) 2020-06-09 2021-06-08 Sub-bitstream extraction of multi-layer video bitstreams

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180041836.4A Division CN115769570A (zh) 2020-06-09 2021-06-08 多层视频比特流的子比特流提取

Publications (1)

Publication Number Publication Date
CN117528004A true CN117528004A (zh) 2024-02-06

Family

ID=78845849

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311719476.6A Pending CN117528004A (zh) 2020-06-09 2021-06-08 多层视频比特流的子比特流提取
CN202180041822.2A Pending CN115769580A (zh) 2020-06-09 2021-06-08 在视频子比特流提取中处理不同nal类型
CN202180041836.4A Pending CN115769570A (zh) 2020-06-09 2021-06-08 多层视频比特流的子比特流提取

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202180041822.2A Pending CN115769580A (zh) 2020-06-09 2021-06-08 在视频子比特流提取中处理不同nal类型
CN202180041836.4A Pending CN115769570A (zh) 2020-06-09 2021-06-08 多层视频比特流的子比特流提取

Country Status (8)

Country Link
US (4) US20230104597A1 (zh)
EP (1) EP4150900A4 (zh)
JP (1) JP2023529823A (zh)
KR (1) KR20230020980A (zh)
CN (3) CN117528004A (zh)
BR (1) BR112022025149A2 (zh)
MX (1) MX2022015676A (zh)
WO (2) WO2021252533A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4150900A4 (en) * 2020-06-09 2023-11-08 ByteDance Inc. SUB-BITSTREAM EXTRACTION OF MULTI-LAYER VIDEO BITSTREAMS

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136298A1 (en) * 2001-01-18 2002-09-26 Chandrashekhara Anantharamu System and method for adaptive streaming of predictive coded video data
JP2009531940A (ja) 2006-03-24 2009-09-03 韓國電子通信研究院 Ｆｇｓレイヤーの動きデータを利用してインターレイヤーリダンダンシを除去するコーディング方法及びその装置
CN101573883B (zh) * 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
US8542492B2 (en) * 2009-12-10 2013-09-24 Richard Anthony Dunn, JR. Scalable up and down nesting integrated electronic enclosures with form factors including asteroids and/or dumbbells and/or approximated tessellation(s)/tiling(s) or combinations thereof with thermal management, wiring, sliding fit, manual and/or automated full range vertical to horizontal positioning, access and structural systems for individual modules and intra-and inter-planar stacks, columns, rows, arrays and associated infrastructures
EP2596633B1 (en) 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
EP2805520A1 (en) 2012-01-20 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Sub-bitstream extraction
CN104604236B (zh) * 2012-07-02 2017-12-15 诺基亚技术有限公司 用于视频编码的方法和装置
EP2871567A4 (en) 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
US9584804B2 (en) * 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
WO2015056158A1 (en) 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
CN105981387B (zh) 2013-10-15 2019-09-27 诺基亚技术有限公司 用于处理视频的方法、装置和计算机可读存储介质
WO2015102959A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Sub-bitstream extraction process for hevc extensions
WO2015137432A1 (ja) 2014-03-14 2015-09-17 シャープ株式会社 画像復号装置、及び画像復号方法
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9769492B2 (en) * 2014-06-06 2017-09-19 Qualcomm Incorporated Conformance parameters for bitstream partitions
US10432951B2 (en) 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
US10687055B2 (en) 2017-03-03 2020-06-16 Qualcomm Incorporated Coding MCTS-EIS SEI messages of an access unit
CN113170116A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 为帧内模式视频处理使用参考行
WO2021061428A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Scalable nesting sei messages for ols
WO2021061496A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Sei message dependency simplification in video coding
AU2020320295A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for specified layers
US11356681B2 (en) * 2019-12-27 2022-06-07 Tencent America LLC Coded video sub-bitstream extraction
US11470357B2 (en) 2020-04-03 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for signaling decoding capability information in video coding
CN115699761A (zh) 2020-04-19 2023-02-03 抖音视界有限公司 变换跳过残差编解码
WO2021234132A1 (en) 2020-05-22 2021-11-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video encoder, video decoder, methods for encoding and decoding and video data stream for realizing advanced video coding concepts
JP2023526661A (ja) * 2020-05-22 2023-06-22 バイトダンス インコーポレイテッド 適合出力サブビットストリームの生成技術
EP4150900A4 (en) * 2020-06-09 2023-11-08 ByteDance Inc. SUB-BITSTREAM EXTRACTION OF MULTI-LAYER VIDEO BITSTREAMS
WO2021252541A1 (en) * 2020-06-09 2021-12-16 Bytedance Inc. Signaling non-scalable-bested hypothetical reference video decoder information
KR20230074521A (ko) * 2020-09-25 2023-05-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브비트스트림 추출

Also Published As

Publication number Publication date
CN115769570A (zh) 2023-03-07
CN115769580A (zh) 2023-03-07
BR112022025149A2 (pt) 2022-12-27
WO2021252533A1 (en) 2021-12-16
US20240121417A1 (en) 2024-04-11
US20240107048A1 (en) 2024-03-28
US11856215B2 (en) 2023-12-26
MX2022015676A (es) 2023-01-16
KR20230020980A (ko) 2023-02-13
US20230106638A1 (en) 2023-04-06
US20230104597A1 (en) 2023-04-06
WO2021252531A1 (en) 2021-12-16
EP4150900A1 (en) 2023-03-22
EP4150900A4 (en) 2023-11-08
JP2023529823A (ja) 2023-07-12

Similar Documents

Publication Publication Date Title
US20240121417A1 (en) Handling different nal types in video sub-bitstream extraction
US20240048736A1 (en) Techniques For Generation Of A Conformant Output Sub-Bitstream
CN116671101A (zh) 编解码视频中量化信息的信令通知
CN115668945A (zh) 视频比特流中显示信息的信令通知
CN115699731A (zh) 参考图片重采样
US11973967B2 (en) Ordering of NAL units in coded video
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination