CN114902672A - 视频编解码中的档次-层-级别参数集 - Google Patents
视频编解码中的档次-层-级别参数集 Download PDFInfo
- Publication number
- CN114902672A CN114902672A CN202080090763.3A CN202080090763A CN114902672A CN 114902672 A CN114902672 A CN 114902672A CN 202080090763 A CN202080090763 A CN 202080090763A CN 114902672 A CN114902672 A CN 114902672A
- Authority
- CN
- China
- Prior art keywords
- video
- bitstream
- level
- decoding
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 238000003672 processing method Methods 0.000 claims description 14
- 230000000153 supplemental effect Effects 0.000 claims description 7
- 239000010410 layer Substances 0.000 description 82
- 239000013598 vector Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 9
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000013488 ordinary least square regression Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了规定解码参数集(DPS)的语法和语义的设备、系统和方法。视频处理的一个示例方法包括:对于视频和视频的比特流之间的转换,确定比特流中的编解码视频序列(CVS)中的每个输出层集(OLS)符合至少一个档次‑层‑级别(PTL)语法结构,该语法结构包括在与比特流中的解码参数语义相关联的数据结构中;以及基于确定执行转换,其中,PTL语法结构指示比特流的档次、层和级别。
Description
相关申请的交叉引用
根据适用的《专利法》和/或依据《巴黎公约》的规定,本申请旨在及时要求于2019年12月26日提交的美国临时专利申请No.US 62/953,862的优先权和利益。出于根据法律的全部目的,上述申请的全部公开内容作为本申请公开内容的一部分通过引用并入。
技术领域
本专利文档涉及视频编解码技术、系统和设备。
背景技术
数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量增加,预计对于数字视频使用的带宽需求将继续增长。
发明内容
描述了与数字视频编解码相关的设备、系统和方法,其包括规定解码参数集(Decoding Parameter Set,DPS)的语法和语义。所描述的方法可以应用于现有的视频编解码标准(例如,高效视频编解码(High Efficiency Video Coding,HEVC)和/或多功能视频编解码(Versatile Video Coding,VVC))和未来的视频编解码标准或视频编解码器。
在一个代表性方面中,所公开的技术可用于提供一种视频处理方法。该方法包括:执行视频和所述视频的比特流之间的转换,其中,所述比特流符合格式规则,其中,所述格式规则规定从包括在所述比特流的解码参数集中的多个档次-层-级别(PTL)语法结构中排除子层级别信息,其中,所述多个PTL语法结构中的每一个指示所述比特流的档次、层和级别,并且其中,所述解码参数集包括解码能力信息。
在另一个代表性方面中,所公开的技术可用于提供一种视频处理方法。该方法包括:对于视频和所述视频的比特流之间的转换,确定所述比特流中的编解码视频序列(CVS)中的每个输出层集(OLS)符合至少一个档次-层-级别(PTL)语法结构,所述语法结构包括在与所述比特流中的解码参数语义相关联的数据结构中;以及基于所述确定执行所述转换,其中,所述PTL语法结构指示所述比特流的档次、层和级别。
在又一个代表性方面中,上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。
在又一个代表性方面中,公开了一种设备,该设备配置为或可操作以执行上述方法。该设备可以包括被编程以实施该方法的处理器。
在又一个代表性方面中,视频解码器装置可以实施如本公开所描述的方法。
附图、说明书和权利要求中更详细地描述了本公开技术的以上和其他方面及特征。
附图说明
图1为示出可以实施本公开的各种技术的示例视频处理系统的框图。
图2为用于视频处理的示例硬件平台的框图。
图3为说明可以实施本公开的一些实施例的示例视频编解码系统的框图。
图4为说明可以实施本公开的一些实施例的编码器的示例的框图。
图5为说明可以实施本公开的一些实施例的解码器的示例的框图。
图6示出视频处理的示例方法的流程图。
图7示出视频处理的示例方法的流程图。
具体实施方式
由于对更高精度视频的需求增加,视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换成压缩格式,反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、易于编辑、随机访问和端到端延迟(延时)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范,例如高效视频编解码(High Efficiency Video Coding,HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的多功能视频编解码标准或其他当前和/或未来的视频编解码标准。
所公开技术的实施例可应用于现有视频编解码标准(例如,HEVC、H.265)和未来标准以提高运行时间性能。它与视频编解码中的Merge模式特别相关。本文档中使用章节标题是为了提高说明的可读性,并且不以任何方式将论述或实施例(和/或实施方式)仅限于相应的章节。
1、示例实施例概述
所公开技术的实施例针对规定解码参数集(DPS)的语法和语义。其可以应用于任何支持单层视频编解码和多层视频编解码的视频编解码标准或非标准视频编解码器,例如正在开发的多功能视频编解码(Versatile Video Coding,VVC)。其可以应用于支持将图片分割为条带和子图片的任何视频编解码标准,例如正在开发的多功能视频编解码(VVC),或任何其他视频编解码标准或视频编解码器。
2、本文档中使用的缩略语列表
APS(Adaptation Parameter Set)自适应参数集
AU(Access Unit)访问单元
AUD(Access Unit Delimiter)访问单元分隔符
AVC(Advanced Video Coding)高级视频编解码
CLVS(Coded Layer Video Sequence)编解码层视频序列
CPB(Coded Picture Buffer)编解码图片缓冲区
CRA(Clean Random Access)清洁随机访问
CTU(Coding Tree Unit)编解码树单元
CVS(Coded Video Sequence)编解码视频序列
DPB(Decoded Picture Buffer)解码图片缓冲区
DPS(Decoding Parameter Set)解码参数集
EOB(End Of Bitstream)比特流结束
EOS(End Of Sequence)序列结束
GDR(Gradual Decoding Refresh)逐步解码刷新
HEVC(High Efficiency Video Coding)高效视频编解码
IDR(Instantaneous Decoding Refresh)瞬时解码刷新
JEM(Joint Exploration Model)联合探索模型
MCTS(Motion-Constrained Tile Sets)运动约束片集
NAL(Network Abstraction Layer)网络抽象层
OLS(Output Layer Set)输出层集
PH(Picture Header)图片标头
PPS(Picture Parameter Set)图片参数集
PTL(Profile,Tier and Level)档次、层和级别
PU(Picture Unit)图片单元
RBSP(Raw Byte Sequence Payload)原始字节序列有效负载
SEI(Supplemental Enhancement Information)补充增强信息
SPS(Sequence Parameter Set)序列参数集
VCL(Video Coding Layer)视频编解码层
VPS(Video Parameter Set)视频参数集
VTM(VVC Test Model)VVC测试模型
VUI(Video Usability Information)视频可用性信息
VVC(Versatile Video Coding)多功能视频编解码
3、初步讨论
视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准发展而来。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4视觉,并且这两个组织联合制定了H.262/MPEG-2视频标准、H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中使用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team,JVET)。此后,JVET采用了许多新的方法,并将其放入名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时召开一次,新编解码标准的目标是相比HEVC降低50%的比特率。新的视频编解码标准在2018年4月的JVET会议上正式命名为多功能视频编解码(VVC),并且当时发布了第一版VVC测试模型(VTM)。
3.1参数集
AVC、HEVC和VVC规定参数集。参数集的类型包括SPS、PPS、APS、VPS和DPS。所有AVC、HEVC和VVC中都支持SPS和PPS。VPS是自HEVC以来引入的,并且包含在HEVC和VVC两者中。APS和DPS未包含在AVC或HEVC中,但包含在最新的VVC草案文本中。
SPS被设计为携带序列级别标头信息,PPS被设计为携带不经常变化的图片级别标头信息。使用SPS和PPS,不需要为每个序列或图片重复不经常变化的信息,因此可以避免这些信息的冗余信令通知。此外,使用SPS和PPS可以实现重要标头信息的带外(out-of-band)传输,从而不仅避免了冗余传输的需要,而且还提高了错误恢复能力。
引入VPS是为了携带多层比特流中所有层共同的序列级别标头信息。
引入APS是为了携带这样的图片级别或条带级别信息,这些信息需要相当多的位进行编解码,可以由多个图片共享,并且在序列中可以有很多不同的变化。
引入DPS是为了携带比特流级别信息,该信息指示对于解码整个比特流所需的最高能力。
3.2档次、层和级别
视频编解码标准通常规定档次和级别。一些视频编解码标准还规定了层(Tier),例如HEVC和正在开发的VVC。
档次、层和级别规定了对比特流的限制,因此限制了解码比特流所需的能力。档次、层和级别也可用于指示各个解码器实施方式之间的互操作性点。
每个档次规定了算法特征和限制的子集,所有符合该档次的解码器都应支持这些特征和限制。请注意,编码器不需要使用档次中支持的所有编解码工具或特征,而符合档次的解码器要求支持所有编解码工具或特征。
层的每个级别规定一组对比特流语法元素可采用的值的限制。同一组层和级别的定义通常用于所有档次,但对于每个支持的档次,单独的实施方式可以支持不同的层和在层内的不同的级别。对于任何给定的档次,层的级别通常对应于特定的解码器处理负载和存储器能力。
根据解码视频流的能力符合视频编解码器规范中规定的档次、层和级别的约束,规定了符合视频编解码器规范的视频解码器的能力。在对规定的档次表达解码器的能力时,还应表达该档次支持的层和级别。
3.3VVC中的解码参数集(DPS)的语法和语义
在JVET-P2001-v14中的最新VVC草案文本中,其可在此处公开获取:http://phenix.int-evry.fr/jvet/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zip,DPS规定如下。
7.3.2.1解码参数集语法
7.4.3.1解码参数集RBSP语义
DPS RBSP在被引用之前应可用于解码过程,其包括在至少一个TemporalId等于0的AU中或通过外部方式提供。
注1–DPS NAL单元在被引用之前需要可用于解码过程(在比特流中或通过外部方式)。但是,DPS RBSP包含的信息对于本规范的条款2到9中规定的解码过程的操作来说是不必要的。
dps_decoding_parameter_set_id标识DPS以供其他语法元素引用。dps_decoding_parameter_set_id的值不应等于0。
dps_max_sublayers_minus1加1规定在每个涉及DPS的CVS中可存在的时域子层的最大数量。dps_max_sublayers_minus1的值应在0到6的范围内,包括0和6。
dps_reserved_zero_5bits在符合本规范的此版本的比特流中应等于0。保留dps_reserved_zero_5bits的其他值以供ITU-T|ISO/IEC未来使用。
dps_num_ptls_minus1加1规定DPS中profile_tier_level()语法结构的数量。
当DPS中存在多个profile_tier_level()语法结构时,比特流一致性要求比特流中的每个CVS符合profile_tier_level()语法结构中的至少一个。
dps_extension_flag等于0规定DPS RBSP语法结构中不存在dps_extension_data_flag语法元素。dps_extension_flag等于1规定DPS RBSP语法结构中存在dps_extension_data_flag语法元素。
dps_extension_data_flag可以有任何值。它的存在和值不影响解码器对附件A中规定的档次的一致性。符合本规范的此版本的解码器应忽略所有dps_extension_data_flag语法元素。
3.4VVC中的档次、层和级别(PTL)的语法和语义
在JVET-P2001-v14中的最新VVC草案文本中,profile_tier_level()语法结构的语法和语义(其中一个或多个实例可包括在DPS中)规定如下。
7.3.3.1通用档次、层和级别语法
7.4.4.1通用档次、层和级别语义
profile_tier_level()语法结构提供级别信息以及可选地,档次、层、子档次和通用约束信息。
当profile_tier_level()语法结构包含在DPS中时,OlsInScope为包括引用DPS的整个比特流中的所有层的OLS。当VPS中包含profile_tier_level()语法结构时,OlsInScope为VPS规定的一个或多个OLS。当SPS中包含profile_tier_level()语法结构时,OlsInScope为仅包含引用SPS的层中的最低层的OLS,并且该最低层为独立层。
general_profile_idc指示OlsInScope符合附件A中规定的档次。比特流不应包含除附件A中规定之外的general_profile_idc的值。保留general_profile_idc的其他值供ITU-T|ISO/IEC将来使用。
general_tier_flag规定附件A中规定的general_level_idc的解释的层上下文。
general_level_idc指示OlsInScope符合附件A中规定的级别。比特流不应包含除附件A中规定之外的general_level_idc的值。保留general_level_idc的其他值供ITU-T|ISO/IEC将来使用。
注1–general_level_idc的值越大指示级别越高。在DPS中对OlsInScope信令通知的最大级别可以高于在SPS中对包含在OlsInScope中的CVS信令通知的级别。
注2–当OlsInScope符合多个档次时,general_profile_idc应指示提供优先解码结果或优先比特流标识的档次,正如由编码器所确定的(以本规范中未规定的方式)。
注3–当profile_tier_level()语法结构包含在符合不同档次的OlsInScope的DPS和CVS中时,general_profile_idc和level_idc应指示能够解码OlsInScope的解码器的档次和级别。
num_sub_profiles规定general_sub_profile_idc[i]语法元素的数量。
general_sub_profile_idc[i]指示第i个按照Rec.ITU-T T.35规定注册的第i个互操作性元数据,Rec.ITU-T T.35的内容未在本规范中规定。
sublayer_level_present_flag[i]等于1规定级别信息存在于TemporalId等于i的子层表示的profile_tier_level()语法结构中。sublayer_level_present_flag[i]等于0规定级别信息不存在于TemporalId等于i的子层表示的profile_tier_level()语法结构中。
ptl_alignment_zero_bits应等于0。
语法元素sublayer_level_idc[i]的语义除了不存在值的推断的规范外,与语法元素general_level_idc相同,但适用于TemporalId等于i的子层表示。
当不存在时,sublayer_level_idc[i]的值推断如下:
–推断sublayer_level_idc[maxNumSubLayersMinus1]为等于同一profile_tier_level()结构的general_level_idc,
–对于从maxNumSubLayersMinus1–1到0的i,(按i值的递减顺序,包括端点)推断sublayer_level_idc[i]等于sublayer_level_idc[i+1]。
4、现有实施方式的缺点
VVC中现有的DPS设计存在以下问题:
(1)DPS应用于整个比特流,并且比特流中的编解码图片所引用的所有SPS都应引用相同的DPS。然而,缺乏要求比特流中的所有DPS NAL单元应具有相同内容的约束。
(2)由于整个比特流都引用相同的DPS,所以SPS引用的DPS ID实际上是没有用的。
(3)在最新的VVC草案文本中,DPS可以出现在任何AU中。然而,虽然在比特流的开头或在任何可用作随机访问点的AU都有一个DPS是有用的,例如,包含IRAP图片和GDR图片的AU,但在不包含随机可访问图片或条带的AU中存在的DPS NAL单元是无用的。随机可访问条带为具有IRAP NAL单元类型或具有GDR NAL单元类型之一的条带。
(4)由于DPS指示解码整个比特流所需的最高能力,因此DPS中包括的profile_tier_level()语法结构不需要包含子层级别信息,该信息由sublayer_level_idc[i]语法元素的实例携带。
(5)当profile_tier_level()语法结构包括在DPS中时,规定OlsInScope(即,DPS应用到的OLS)为OLS,该OLS包括引用DPS的整个比特流中的所有层。但是,可能不存在包含整个比特流中所有层的OLS。
5、所公开技术的示例实施例
以下详细的实施例应被视为解释一般概念的示例。不应狭隘地解释这些实施例。此外,这些实施例可以以任何方式组合。
1)为了解决第一个问题,要求比特流中具有特定值dps_decoding_parameter_set_id的所有DPS NAL单元应具有相同的内容。
a.或者,额外要求比特流中的所有DPS NAL单元应具有相同的dps_decoding_parameter_set_id值。
b.或者,要求(不是额外要求)比特流中的所有DPS NAL单元应具有相同的dps_decoding_parameter_set_id值。
c.或者,要求比特流中的所有DPS NAL单元应具有相同的内容。
2)为了解决第二个问题,从DPS语法中删除了DPS ID(即dps_decoding_parameter_set_id语法元素),因此从SPS语法中删除了SPS语法中对DPS ID的引用(sps_decoding_parameter_set_id)。实际上,DPS然后成为独立的NAL单元,而不是参数集。因此,可以将DPS的名称改为“解码参数NAL单元”。并且要求比特流中的所有解码参数NAL单元必须具有相同的内容。
a.或者,在新的SEI消息中信令通知DPS信息,例如,命名为“解码参数SEI消息”,并且要求当SEI NAL单元包含解码参数SEI消息时,其不应包含任何其他SEI消息。并且要求比特流中的所有解码参数SEI消息必须具有相同的内容。
3)为解决第三个问题,规定了如下约束:
当存在于比特流中时,DPS NAL单元应存在于比特流的第一个AU中,并且可以存在于具有至少一个编解码条带NAL单元的任何AU中,该编解码条带NAL单元的nal_unit_type在从IDR_W_RADL到GDR_NUT的范围内(该NAL单元是IRAP或GDR VCL NAL单元),包括IDR_W_RADL和GDR_NUT,并且不应出现在任何其他AU中。
或者,将上述“具有至少一个编解码条带NAL单元的任何AU中,该编解码条带NAL单元的nal_unit_type在从IDR_W_RADL到GDR_NUT的范围内(该NAL单元是IRAP或GDR VCL NAL单元),包括IDR_W_RADL和GDR_NUT”替换为“在具有至少一个IRAP或GDR图片的任何AU中”。
或者,在上述两个备选方案中的任一个中,将上述“从IDR_W_RADL到GDR_NUT,包括IDR_W_RADL和GDR_NUT”替换为“从IDR_W_RADL到RSV_IRAP_12,包括IDR_W_RADL和RSV_IRAP_12”,即进一步包括保留的IRAP NAL单元类型。
或者,通过用“解码参数NAL单元”替换上述“DPS NAL单元”,对于解码参数NAL单元规定相同的约束(上述备选方案中的任一个)。
或者,通过将上述“DPS NAL单元”替换为“包含解码参数SEI消息的SEI NAL单元”,对于包含解码参数SEI消息的SEI NAL单元规定相同的约束(上述备选方案中的任一个)。
4)为了解决第四个问题,确保DPS中包含的每个profile_tier_level()语法结构不包含子层级别信息。
a.该目的可以通过为PTL语法结构增加一个输入参数来控制是否有子层级别信息被信令通知来实现。对于DPS,此参数为0(即没有子层级别信息),对于VPS和SPS,此参数为1。
b.或者,该目的通过对于DPS(或解码参数NAL单元,或包含解码参数SEI消息的SEINAL单元)中的每个PTL语法结构中的每个i,要求sublayer_level_present_flag[i]等于0来实现。
5)为了解决第五个问题,规定了如下约束:
比特流中的CVS中的每个OLS应符合DPS中的至少一个PTL语法结构(作为DPS语义的一部分)。
并且相应地,对有关OlsInScope的PTL语法结构的语义进行了更改:“当DPS中包含profile_tier_level()语法结构时,OlsInScope为比特流中一个或多个未识别CVS中的一个或多个未识别OLS。”
请注意,DPS不需要包含所有OLS的最优PTL信息。例如,当存在级别3、4、5的OLS时,假设OLS的其他PTL信息相同,则在DPS中只包含一个指示级别5的PTL语法结构就足够了,因为可以正确地符合特定级别的OLS也符合任何更高级别。
相同的约束也适用于用解码参数NAL单元或解码参数SEI消息替换DPS的替代方案。
6、附加示例实施例
下面是一些示例实施例,其可以应用于VVC规范。更改的文本基于JVET-P2001-v14中最新的VVC文本。新添加、修改以及最相关的部分带有双下划线。还有一些其他的变化本质上是编辑性的,因此没有示出或标记为不同。
6.1第一实施例
6.1.1DPS语法和语义
7.3.2.1解码参数集语法
7.4.3.1解码参数集RBSP语义
DPS RBSP在被引用之前应可用于解码过程,其包括在至少一个TemporalId等于0的AU中或通过外部方式提供。
注1–DPS NAL单元在被引用之前需要可用于解码过程(在比特流中或通过外部方式)。但是,DPS RBSP包含的信息对于本规范的条款2到9中规定的解码过程的操作来说是不必要的。
dps_decoding_parameter_set_id标识DPS以供其他语法元素引用。dps_decoding_parameter_set_id的值应大于0。
dps_max_sublayers_minus1加1规定比特流中的一层中可存在的时域子层的最大数量。dps_max_sublayers_minus1的值应在0到6的范围内,包括0和6。
dps_reserved_zero_5bits在符合本规范的此版本的比特流中应等于0。保留dps_reserved_zero_5bits的其他值以供ITU-T|ISO/IEC未来使用。
dps_num_ptls_minus1加1规定DPS中profile_tier_level()语法结构的数量。
dps_extension_flag等于0规定DPS RBSP语法结构中不存在dps_extension_data_flag语法元素。dps_extension_flag等于1规定DPS RBSP语法结构中存在dps_extension_data_flag语法元素。
dps_extension_data_flag可以有任何值。它的存在和值不影响解码器对附件A中规定的档次的一致性。符合本规范的此版本的解码器应忽略所有dps_extension_data_flag语法元素。
6.1.2PTL语法和语义
7.3.3.1通用档次、层和级别语法
7.4.4.1通用档次、层和级别语义
profile_tier_level()语法结构提供级别信息以及可选地,档次、层、子档次和通用约束信息。
当VPS中包含profile_tier_level()语法结构时,OlsInScope为VPS规定的一个或多个OLS。当SPS中包含profile_tier_level()语法结构时,OlsInScope为仅包含引用SPS的层中的最低层的OLS,并且该最低层为独立层。
...
7、所公开技术的示例实施方式
图1为示出示例视频处理系统1000的框图,其可以实施本公开的各种技术。各种实施方式可以包括系统1000的一些或所有组件。系统1000可以包括用于接收视频内容的输入1002。视频内容可以以原始或未压缩格式(例如,8或10位多分量像素值)接收,或者可以以压缩或编码格式接收。输入1002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括例如以太网、无源光网络(PON)等的有线接口和例如Wi-Fi或蜂窝接口的无线接口。
系统1000可以包括编解码组件1004,其可以实现本文档中描述的各种编解码或编码方法。编解码组件1004可以降低从输入1002到编解码组件1004的输出的视频平均比特率以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件1004的输出可以被存储或通过连接的通信进行传输,如组件1006所示。在输入1002处接收的视频的存储或传送的比特流(或编解码)表示可以被组件1008用于产生发送到显示接口1010的像素值或可显示视频。从比特流产生用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,还应认识到,编解码工具或操作用于编码器,且相应的将编解码结果反转的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,例如移动电话、笔记本电脑、智能电话或能够执行数字数据处理和/或视频显示的其他设备。
图2为视频处理装置2000的框图。装置2000可用于实施本文档所描述的一种或多种方法。装置2000可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置2000可以包括一个或多个处理器2002、一个或多个存储器2004和视频处理硬件2006。处理器2002可以被配置为实施本文档中描述的一种或多种方法(例如,如图6-图7)。存储器(Memory)2004可用于存储用于实施在此描述的方法和技术的数据和代码。在硬件电路中,视频处理硬件2006可用于实现本文档中描述的一些技术。
图3为示出可以利用本公开的技术的示例视频编解码系统100的框图。如图3所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110生成可以被称为视频编码设备的编码视频数据。目标设备120可以解码由源设备110生成的编码视频数据,其可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统之类的源,或这些源的组合。视频数据可以包括一幅或多幅图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的位序列。比特流可以包括编解码图片和相关联数据。编解码图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成,或者可以在目标设备120外部,目标设备120配置为与外部显示设备进行接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,例如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或未来的标准。
图4为示出视频编码器200的示例的框图,视频编码器200可以是如图3所示的系统100中的视频编码器114。
视频编码器200可配置为执行本公开的任何或所有技术。在图4的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。
在其他示例中,视频编码器200可包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成,但是为了解释的目的而在图4的示例中单独表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以选择编解码模式之一(帧内或帧间,例如基于错误结果),并且将得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据,并提供给重构单元212以重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测组合(CIIP)模式,其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量(例如,子像素或整数像素精度)的精度。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲区213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以为当前视频块执行单向预测,且运动估计单元204可搜索列表0或列表1的参考图片以寻找当前视频块的参考视频块。然后运动估计单元204可以生成指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可为当前视频块执行双向预测,运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。然后运动估计单元204可以生成指示列表0和列表1中的参考图片的参考索引,其包含参考视频块和指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。相反,运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元204可在与当前视频块相关联的语法结构中指示一个值,该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中,运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差值(motion vector difference,MVD)。运动矢量差值表示当前视频块的运动矢量与指示的视频块的运动矢量之间的差值。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差值来确定当前视频块的运动矢量。
如上所述,视频编码器200可预测性地信令通知运动矢量。可由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motion vectorpredication,AMVP)和merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可通过从当前视频块减去(例如,由减号表示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括残差视频块,该残差视频块对应于当前视频块中样点的不同样点分量。
在其他示例中,对于当前视频块可以不存在当前视频块的残差数据,例如在跳过模式中,并且残差生成单元207可以不执行减法运算。
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点中,以产生与当前块相关联的重构视频块以存储在缓冲区213中。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图5为描述视频解码器300的示例的框图,视频解码器300可以是图3中所示的系统100中的视频解码器114。
视频解码器300可以配置为执行本公开任何或所有技术。在图5的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可在视频解码器300的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中描述的任何或所有技术。
在图5的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲区307。在一些示例中,视频解码器300可以执行通常与关于视频编码器200(例如,图4)描述的编码通道(pass)相应的解码通道。
熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如,编码的视频数据块)。熵解码单元301可以解码熵编解码的视频数据,并且根据熵解码的视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和merge模式来确定该信息。
运动补偿单元302可以产生运动补偿块,其可能基于插值滤波器执行插值。以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可使用由视频编码器20在对视频块进行编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可根据接收的语法信息来确定由视频编码器200使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的帧和/或条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何分割的分割信息、指示每个分割如何编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及其他对编码的视频序列进行解码的信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化,也即,去量化。逆变换单元303应用逆变换。
重构单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码块。如果需要,还可以应用去方块滤波器来滤波解码的块,以便去除块状伪影。然后将解码的视频块存储在缓冲区307中,缓冲区307为随后的运动补偿/帧内预测提供参考块,并且还产生用于在显示设备上呈现的解码视频。
图6至图7示出了可以实施上述技术方案的示例方法,例如,实施例在图1至图5中示出。
图6示出了视频处理的示例方法600的流程图。方法600包括:在操作610,执行视频和视频的比特流之间的转换,比特流符合格式规则,该格式规则规定,从包括在比特流的解码参数集中的多个档次-层-级别(PTL)语法结构中排除子层级别信息。
图7示出了视频处理的示例方法700的流程图。方法700包括:在操作710,对于视频和视频的比特流之间的转换,确定比特流中的编解码视频序列(CVS)中的每个输出层集(OLS)符合至少一个档次-层-级别(PTL)语法结构,该语法结构包括在与比特流中的解码参数语义相关联的数据结构中。
方法700包括:在操作720,基于该确定执行转换。
以下提供一些实施例优选的解决方案列表。
1、一种视频处理方法,包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则规定从包括在比特流的解码参数集中的多个档次-层-级别(PTL)语法结构中排除子层级别信息,其中,多个PTL语法结构中的每一个指示比特流的档次、层和级别,并且其中,解码参数集包括解码能力信息。
2、如解决方案1所述的方法,其中,PTL语法结构包括控制包括子层级别信息的单个位输入参数。
3、如解决方案2所述的方法,其中,对于解码参数集,单个位为0。
4、如解决方案2所述的方法,其中,对于比特流的视频参数集(VPS)或序列参数集(SPS),单个位为1。
5、如解决方案1所述的方法,其中,PTL语法结构包括指示包括子层级别信息的标志。
6、如解决方案5所述的方法,其中,标志为sublayer_level_present_flag。
7、如解决方案5或6所述的方法,其中,对于DPS中的PTL语法结构、解码参数网络抽象层(NAL)单元、或包括解码参数补充增强信息(SEI)消息的SEI NAL单元,标志为0。
8、一种视频处理方法,包括:对于视频和视频的比特流之间的转换,确定比特流中的编解码视频序列(CVS)中的每个输出层集(OLS)符合至少一个档次-层-级别(PTL)语法结构,该语法结构包括在与比特流中的解码参数语义相关联的数据结构中;以及基于确定执行转换,其中,PTL语法结构指示比特流的档次、层和级别。
9、如解决方案8所述的方法,其中,数据结构为解码参数集、解码参数网络抽象层(NAL)单元、或包括解码参数补充增强信息(SEI)消息的SEI NAL单元,并且其中,解码参数集包括解码能力信息。
10、如解决方案1至9中任一项所述的方法,其中,转换包括从比特流解码视频。
11、如解决方案1至9中任一项所述的方法,其中,转换包括将视频编码成比特流。
12、一种将表示视频的比特流存储到计算机可读记录介质的方法,包括:根据解决方案1至9中任一项或多项所述的方法,从视频生成比特流;以及将比特流写入计算机可读记录介质。
13、一种视频处理装置,包括处理器,处理器配置为实施如解决方案1至12中任一项或多项所述的方法。
14、一种其上存储有指令的计算机可读介质,指令在被执行时使处理器实施如解决方案1至12中任一项或多项所述的方法。
15、一种计算机可读介质,存储根据解决方案1至12中的任一项或多项生成的比特流。
16、一种存储比特流的视频处理装置,其中,视频处理装置配置为实施如解决方案1至12中任一项或多项所述的方法。
接下来提供一些实施例优选的解决方案的另一个列表。
P1、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,确定包括具有第一值的语法元素的多个解码参数集(DPS)网络抽象层(NAL)单元中的每一个具有共同的内容;以及基于该确定执行转换。
P2、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,确定多个解码参数集(DPS)网络抽象层(NAL)单元中的每一个的语法元素包括共同的值;以及基于该确定执行转换。
P3、如解决方案P1或P2所述的方法,其中,比特流表示中的语法元素是dps_decoding_parameter_set_id。
P4、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,确定多个解码参数集(DPS)网络抽象层(NAL)单元中的每一个包括共同的内容;以及基于该确定执行转换。
P5、如解决方案P1至P4中任一项所述的方法,其中,解码参数集(DPS)应用于整个比特流表示。
P6、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,做出关于从比特流表示中的解码参数集(DPS)中排除第一语法元素,并因此从比特流表示中的序列参数集(SPS)中排除第二语法元素的决定;以及基于该决定执行转换。
P7、如解决方案P6所述的方法,其中,第一语法元素和第二语法元素分别是dps_decoding_parameter_set_id和sps_decoding_parameter_set_id。
P8、如解决方案P6或P7所述的方法,其中,DPS被称为解码参数网络抽象层(NAL)单元。
P9、如解决方案P8所述的方法,其中,比特流表示中的每个解码参数NAL单元包括共同的内容。
P10、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,将比特流表示配置为包括补充增强信息(SEI)消息,该SEI消息包括与解码参数相关联的信息;确定包括该SEI消息的SEI网络抽象层(NAL)单元不包括其他SEI消息;以及使用SEI NAL单元执行转换。
P11、如解决方案P10所述的方法,其中,包括与解码参数相关联的信息的多个SEI消息中的每一个都包括共同的内容。
P12、一种视频处理方法,包括:对于包括解码参数集(DPS)网络抽象层(NAL)单元的视频的比特流表示,确定DPS NAL单元在比特流表示的第一访问单元(AU)中,其中,第一AU位于比特流表示的开头;以及基于该确定,执行视频的当前视频片段与比特流表示之间的转换。
P13、如解决方案P12所述的方法,其中,DPS NAL单元在第二AU中,该第二AU包括至少一个具有预定范围内的nal_unit_type的编解码条带NAL。
P14、如解决方案P13所述的方法,其中,预定范围是从IDR_W_RADL到GDR_NUT。
P15、如解决方案P13所述的方法,其中,预定范围是从IDR_W_RADL到RSV_IRAP_12。
P16、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,确定比特流表示中的解码参数集(DPS)中包括的档次层(profile tier layer,PTL)语法结构不包括子层级别信息;以及基于该确定执行转换。
P17、如解决方案P16所述的方法,其中,该确定是基于PTL语法结构中的单个位输入参数。
P18、如解决方案P17所述的方法,其中,对于DPS,单个位为0。
P19、如解决方案P17所述的方法,其中,对于比特流表示中的视频参数集(VPS)和序列参数集(SPS),单个位为1。
P20、一种视频处理方法,包括:对于视频的当前视频片段和视频的比特流表示之间的转换,确定比特流表示中的编解码视频序列(CVS)中的每个输出层集(OLS)符合比特流表示中的解码参数集(DPS)中包括的至少一个档次层(PTL)语法结构;以及基于该确定执行转换。
P21、如解决方案P1至P20中任一项所述的方法,其中,转换从比特流表示生成当前视频片段。
P22、如解决方案P1至P20中任一项所述的方法,其中,转换从当前视频片段生成比特流表示。
P23、如解决方案P1至P22中任一项所述的方法,其中,当前视频片段为当前条带、当前块、当前片或当前子图片。
P24、一种视频处理装置,包括处理器,处理器配置为实施如解决方案P1至P23中任一项或多项所述的方法。
P25、一种计算机可读记录介质,其上记录有包括代码的程序,该程序用于处理器执行如解决方案P1至P23中任一项所述的方法。
P26、一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行如解决方案P1至P23中任一项所述的方法的程序代码。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示转换为对应的比特流期间应用,反之亦然。当前视频块的比特流可以例如对应于在比特流内共位或分布在不同位置的比特,如语法所定义。例如,宏块可以根据变换和编解码的误差残差值进行编码,并且还可以使用标头中的比特和比特流中的其他字段。
本文档中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现,包括本文档中公开的结构及其结构等效物,或其中的一种或多种的组合。所公开的和其他实施例可以实施为一个或多个计算机程序产品,即,在计算机可读介质上编码的一个或多个计算机程序指令模块,由数据处理装置执行或控制操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物,或者其中的一个或多个的组合。术语“数据处理装置”涵盖处理数据的所有装置、设备和机器,例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合代码。传播的信号是人工产生的信号,例如机器产生的电、光或电磁信号,其被产生是为了对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且可以以任何形式进行部署,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本),存储在专用于所讨论程序的单个文件中或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序,以在一台计算机或位于一个位置上或分布在多个位置上并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行,以执行一个或多个计算机程序,从而通过对输入数据进行操作并产生输出来执行功能。处理和逻辑流程也可以由专用逻辑电路执行,并且也可以实现为专用逻辑电路,例如FPGA(fieldprogrammable gate array,现场可编程门阵列)或ASIC(application specificintegrated circuit,专用集成电路)。
适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。通常,计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,以从中接收数据,或将数据传输到一个或多个大容量存储设备,或两者。但是,计算机不必具有这样的装置。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置,包括例如半导体存储设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内置硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
尽管本专利文档包含许多细节,但是这些细节不应解释为对任何发明或可要求保护的范围的限制,而应解释为对特定发明的特定实施例可能特定的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实施。此外,尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护,但是在某些情况下,可以从组合中剔除所要求保护的组合中的一个或多个特征,并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作,或者执行所有示出的操作以实现期望的效果。此外,在该专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。
Claims (16)
1.一种视频处理方法,包括:
执行视频和所述视频的比特流之间的转换,
其中,所述比特流符合格式规则,
其中,所述格式规则规定从包括在所述比特流的解码参数集中的多个档次-层-级别PTL语法结构中排除子层级别信息,其中,所述多个PTL语法结构中的每一个指示所述比特流的档次、层和级别,并且其中,所述解码参数集包括解码能力信息。
2.根据权利要求1所述的方法,其中,所述PTL语法结构包括控制包括所述子层级别信息的单个位输入参数。
3.根据权利要求2所述的方法,其中,对于所述解码参数集DPS,所述单个位为0。
4.根据权利要求2所述的方法,其中,对于所述比特流的视频参数集VPS或序列参数集SPS,所述单个位为1。
5.根据权利要求1所述的方法,其中,所述PTL语法结构包括指示包括所述子层级别信息的标志。
6.根据权利要求5所述的方法,其中,所述标志为sublayer_level_present_flag。
7.根据权利要求5或6所述的方法,其中,对于所述DPS中的所述PTL语法结构、解码参数网络抽象层NAL单元、或包括解码参数补充增强信息SEI消息的SEI NAL单元,所述标志为0。
8.一种视频处理方法,包括:
对于视频和所述视频的比特流之间的转换,确定所述比特流中的编解码视频序列CVS中的每个输出层集OLS符合至少一个档次-层-级别PTL语法结构,所述语法结构包括在与所述比特流中的解码参数语义相关联的数据结构中;以及
基于所述确定执行所述转换,
其中,所述PTL语法结构指示所述比特流的档次、层和级别。
9.根据权利要求8所述的方法,其中,所述数据结构为解码参数集、解码参数网络抽象层NAL单元、或包括解码参数补充增强信息SEI消息的SEINAL单元,并且其中,所述解码参数集包括解码能力信息。
10.根据权利要求1至9中任一项所述的方法,其中,所述转换包括从所述比特流解码所述视频。
11.根据权利要求1至9中任一项所述的方法,其中,所述转换包括将所述视频编码成所述比特流。
12.一种将表示视频的比特流存储到计算机可读记录介质的方法,包括:
根据权利要求1至9中任一项或多项所述的方法从所述视频生成所述比特流;以及
将所述比特流写入所述计算机可读记录介质。
13.一种视频处理装置,包括处理器,所述处理器配置为实施权利要求1至12中任一项或多项所述的方法。
14.一种其上存储有指令的计算机可读介质,所述指令在被执行时使处理器实施根据权利要求1至12中任一项或多项所述的方法。
15.一种计算机可读介质,存储根据权利要求1至12中的任一项或多项生成的所述比特流。
16.一种存储比特流的视频处理装置,其中,所述视频处理装置配置为实施根据权利要求1至12中任一项或多项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311722464.9A CN117528093A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的档次-层-级别参数集 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962953862P | 2019-12-26 | 2019-12-26 | |
US62/953,862 | 2019-12-26 | ||
PCT/US2020/067078 WO2021134047A1 (en) | 2019-12-26 | 2020-12-26 | Profile tier level parameter set in video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311722464.9A Division CN117528093A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的档次-层-级别参数集 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114902672A true CN114902672A (zh) | 2022-08-12 |
Family
ID=76573159
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090763.3A Pending CN114902672A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的档次-层-级别参数集 |
CN202080090814.2A Pending CN114946186A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的解码参数集 |
CN202311722464.9A Pending CN117528093A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的档次-层-级别参数集 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090814.2A Pending CN114946186A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的解码参数集 |
CN202311722464.9A Pending CN117528093A (zh) | 2019-12-26 | 2020-12-26 | 视频编解码中的档次-层-级别参数集 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11902586B2 (zh) |
EP (2) | EP4066495A4 (zh) |
JP (3) | JP7432735B2 (zh) |
KR (2) | KR20220115957A (zh) |
CN (3) | CN114902672A (zh) |
WO (2) | WO2021134046A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7432735B2 (ja) | 2019-12-26 | 2024-02-16 | バイトダンス インコーポレイテッド | ビデオコーディングにおけるプロファイルティアレベルパラメータセット |
US11611778B2 (en) * | 2020-05-20 | 2023-03-21 | Sharp Kabushiki Kaisha | Systems and methods for signaling general constraint information in video coding |
KR20230023709A (ko) * | 2020-06-03 | 2023-02-17 | 엘지전자 주식회사 | 영상/비디오 코딩 시스템에서 일반 제한 정보를 처리하는 방법 및 장치 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447121B2 (en) * | 2005-09-14 | 2013-05-21 | Microsoft Corporation | Efficient integrated digital video transcoding |
US8320450B2 (en) * | 2006-03-29 | 2012-11-27 | Vidyo, Inc. | System and method for transcoding between scalable and non-scalable video codecs |
CN101276724B (zh) | 2007-03-30 | 2011-06-22 | 北京富纳特创新科技有限公司 | 透射电镜微栅及其制备方法 |
US9387279B2 (en) | 2010-05-05 | 2016-07-12 | The Governing Council Of The University Of Toronto | Implantable-glucose responsive insulin delivery device |
US8863728B2 (en) | 2010-08-17 | 2014-10-21 | GM Global Technology Operations LLC | Model-based transient fuel injection timing control methodology |
US8766858B2 (en) | 2010-08-27 | 2014-07-01 | Apple Inc. | Antennas mounted under dielectric plates |
US8163193B2 (en) | 2010-08-27 | 2012-04-24 | Tsinghua University | Modifier of lithium ion battery and method for making the same |
US20120230431A1 (en) * | 2011-03-10 | 2012-09-13 | Jill Boyce | Dependency parameter set for scalable video coding |
US9451252B2 (en) * | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
US9924166B2 (en) | 2012-08-06 | 2018-03-20 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
BR112015006178B1 (pt) * | 2012-09-21 | 2022-11-16 | Nokia Technologies Oy | Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo |
US9479782B2 (en) * | 2012-09-28 | 2016-10-25 | Qualcomm Incorporated | Supplemental enhancement information message coding |
US10098002B2 (en) | 2012-12-31 | 2018-10-09 | Zte Corporation | Integrated wireless local area network for spectrum sharing |
ES2885424T3 (es) | 2013-03-15 | 2021-12-13 | Knopp Biosciences Llc | Imidazo(4,5-B)piridin-2-il amidas como activadores del canal Kv7 |
US9667959B2 (en) | 2013-03-29 | 2017-05-30 | Qualcomm Incorporated | RTP payload format designs |
CN105594209B (zh) * | 2013-10-08 | 2019-08-06 | 夏普株式会社 | 图像解码装置、图像解码方法以及图像编码装置 |
US9712871B2 (en) * | 2014-05-01 | 2017-07-18 | Qualcomm Incorporated | Determination bitstream decoding capability in video coding |
US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
US10798422B2 (en) * | 2015-10-20 | 2020-10-06 | Intel Corporation | Method and system of video coding with post-processing indication |
JP7379655B2 (ja) * | 2019-07-19 | 2023-11-14 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2021061284A1 (en) * | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Signaling of picture header in video coding |
GB2590632B (en) | 2019-12-20 | 2023-07-26 | Canon Kk | Video coding and decoding |
JP7432735B2 (ja) | 2019-12-26 | 2024-02-16 | バイトダンス インコーポレイテッド | ビデオコーディングにおけるプロファイルティアレベルパラメータセット |
US11729427B2 (en) * | 2020-09-17 | 2023-08-15 | Lemon Inc. | Chroma format and bit depth indication in coded video |
US20220086497A1 (en) * | 2020-09-17 | 2022-03-17 | Lemon Inc. | Subpicture entity group signaling in coded video |
US20220201308A1 (en) * | 2020-12-18 | 2022-06-23 | Lg Electronics Inc. | Media file processing method and device therefor |
-
2020
- 2020-12-26 JP JP2022539111A patent/JP7432735B2/ja active Active
- 2020-12-26 CN CN202080090763.3A patent/CN114902672A/zh active Pending
- 2020-12-26 WO PCT/US2020/067077 patent/WO2021134046A1/en unknown
- 2020-12-26 EP EP20906536.6A patent/EP4066495A4/en active Pending
- 2020-12-26 KR KR1020227020351A patent/KR20220115957A/ko unknown
- 2020-12-26 KR KR1020227020366A patent/KR20220113395A/ko active Search and Examination
- 2020-12-26 WO PCT/US2020/067078 patent/WO2021134047A1/en unknown
- 2020-12-26 EP EP20905928.6A patent/EP4066500A4/en active Pending
- 2020-12-26 JP JP2022539110A patent/JP2023508665A/ja active Pending
- 2020-12-26 CN CN202080090814.2A patent/CN114946186A/zh active Pending
- 2020-12-26 CN CN202311722464.9A patent/CN117528093A/zh active Pending
-
2022
- 2022-06-24 US US17/849,232 patent/US11902586B2/en active Active
- 2022-06-24 US US17/848,507 patent/US20220329870A1/en active Pending
-
2023
- 2023-11-15 US US18/510,269 patent/US20240080493A1/en active Pending
- 2023-11-27 JP JP2023199529A patent/JP2024015052A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024015052A (ja) | 2024-02-01 |
US20220360821A1 (en) | 2022-11-10 |
KR20220115957A (ko) | 2022-08-19 |
WO2021134046A1 (en) | 2021-07-01 |
JP2023508665A (ja) | 2023-03-03 |
EP4066500A1 (en) | 2022-10-05 |
JP2023508666A (ja) | 2023-03-03 |
US20240080493A1 (en) | 2024-03-07 |
JP7432735B2 (ja) | 2024-02-16 |
US20220329870A1 (en) | 2022-10-13 |
CN114946186A (zh) | 2022-08-26 |
WO2021134047A1 (en) | 2021-07-01 |
EP4066500A4 (en) | 2023-01-18 |
KR20220113395A (ko) | 2022-08-12 |
CN117528093A (zh) | 2024-02-06 |
US11902586B2 (en) | 2024-02-13 |
EP4066495A4 (en) | 2023-02-01 |
EP4066495A1 (en) | 2022-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240107069A1 (en) | Signaling of decoded picture buffer parameters in layered video | |
US11700390B2 (en) | Profile, tier and layer indication in video coding | |
US11800153B2 (en) | Random access point access unit in scalable video coding | |
US11902586B2 (en) | Profile tier level parameter set in video coding | |
US20230112461A1 (en) | Signaling Of Gradual Decoding Refresh And Reference Picture Lists | |
CN116671101A (zh) | 编解码视频中量化信息的信令通知 | |
CN115668949A (zh) | 编解码视频中的帧间层参考图片的标识 | |
US11997318B2 (en) | Filter parameter signaling in video picture headers | |
WO2024039681A1 (en) | Enhanced handling of neural-network post-filter ids | |
WO2024039680A1 (en) | Neural-network post-filter purposes with downsampling capabilities | |
WO2024039723A1 (en) | Presence and relative decoding order of neural-network post-filter sei messages | |
WO2024026032A1 (en) | Enhanced signalling of sei processing order in video bitstreams | |
CN115668933A (zh) | 编解码视频中nal单元的排序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |