CN114556961A - 提供片段存在信息 - Google Patents
提供片段存在信息 Download PDFInfo
- Publication number
- CN114556961A CN114556961A CN202080066376.6A CN202080066376A CN114556961A CN 114556961 A CN114556961 A CN 114556961A CN 202080066376 A CN202080066376 A CN 202080066376A CN 114556961 A CN114556961 A CN 114556961A
- Authority
- CN
- China
- Prior art keywords
- bitstream
- segment
- value
- fragment
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012634 fragment Substances 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000002123 temporal effect Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 66
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 101100510671 Rattus norvegicus Lnpep gene Proteins 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 108091008143 L ribosomal proteins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了由解码器执行的机制。该方法包括接收比特流。该方法包括处理接收到的比特流,其中:比特流包括比特流的第一部分,并且比特流的第一部分提供片段存在信息,并且进一步其中i)片段存在信息指示至少第一片段类型的片段不应存在于比特流的至少一部分中,或ii)片段存在信息指示至少第一片段类型的片段可以存在于比特流的至少一部分中。
Description
技术领域
本公开涉及视频编码和解码。
背景技术
1.HEVC和VVC
高效视频编码(HEVC)是由ITU-T和MPEG标准化的基于块的视频编解码器,采用时间和空间预测两者。空间预测是使用当前画面内的帧内(I)预测来实现的。时间预测是使用来自先前解码的参考画面的块级上的单向(P)或双向帧间(B)预测来实现的。在编码器中,原始像素数据和预测像素数据之间的差异称为残差,被变换到频域、量化然后熵编码,然后与同样被熵编码的诸如预测模式和运动向量等必要预测参数一起传输。解码器执行熵解码、逆量化和逆变换以获得残差,然后将残差添加到帧内或帧间预测中以重构画面。
MPEG和ITU-T正在联合视频探索团队(JVET)内开发HEVC的后续版本。正在开发的这种视频编解码器的名称是通用视频编码(VVC)。在撰写时,当前版本的VVC草案规范是“通用视频编码(草案6)”,JVET-O2001-vE。当本文档中参考VVC时,参考的是VVC规范的草案6。
2.分量
视频序列由一系列画面组成,其中每个画面由一个或多个分量组成。每个分量都能够描述为采样值的二维矩形阵列。视频序列中的画面通常由三个分量组成:一个亮度分量(Y),其中采样值为亮度值,以及两个色度分量(Cb)和(Cr),其中采样值为色度值。色度分量的尺寸通常比亮度分量在每个维度上小两倍。例如,HD画面的亮度分量的大小为1920x1080,色度分量的大小均为960x540。分量有时被称为颜色分量。在本文档中,描述了对视频序列的编码和解码有用的方法。然而,应该理解,所描述的技术也可以用于静止图像的编码和解码。
3.块和单元
块是二维采样阵列。在视频编码中,每个分量被拆分成一个或多个块,并且编码的视频比特流是一系列块。
在视频编码中通常将画面拆分成覆盖特定区域的单元。每个单元由构成该特定区域的所有块组成,每个块完全属于一个单元。HEVC和VVC中的编码单元(CU)是这种单元的示例。编码树单元(CTU)是能够被拆分成若干CU的逻辑单元。
在HEVC中,CU是正方形,即它们的大小为N×N亮度采样,其中N的值可以是64、32、16或8。在当前的H.266测试模型中,通用视频编码(VVC),CU也可以是矩形的,即大小为N×M亮度采样,其中N与M不同。
4.NAL单元
HEVC和VVC都定义了网络抽象层(NAL)。所有数据,即HEVC和VVC中的视频编码层(VCL)或非VCL数据都封装在NAL单元中。VCL NAL单元包含表示画面采样值的数据。非VCLNAL单元包含附加的关联数据,例如参数集和补充增强信息(SEI)消息。HEVC和当前版本的VVC中的NAL单元以称为NAL单元首部的首部开始。HEVC的NAL单元首部的语法如表1所示,并以forbidden_zero_bit开始,forbidden_zero_bit应始终等于0,以防止开始码模拟。没有forbidden_zero_bit,一些MPEG系统可能会将HEVC视频比特流与其他数据混淆,但是NAL单元首部中的0比特使得所有可能的HEVC比特流都可以独有地标识为HEVC比特流。nal_unit_type、nuh_layer_id和nuh_temporal_id_plus1码字分别指定NAL单元的NAL单元类型,标识NAL单元中承载什么类型的数据、层ID和NAL单元所属的时间ID。NAL单元类型指示并指定应如何解析和解码NAL单元。当前版本的VVC中的NAL单元首部与HEVC中NAL单元首部的非常相似,但对于nal_unit_type少使用1比特,取而代之保留该比特以供将来使用。
NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流由一系列拼接的NAL单元组成。
表1–HEVC NAL单元首部语法
表1–当前版本VVC的NAL单元首部语法
解码器或比特流解析器在查看NAL单元首部后可以推断应该如何处理(例如解析和解码)NAL单元。NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流由一系列拼接的NAL单元组成。
NAL单元类型指示并定义应该如何解析和解码NAL单元。VCL NAL单元提供与当前画面的画面类型有关的信息。当前版本的VVC草案的NAL单元类型如表3所示。
解码顺序是NAL单元应该被解码的顺序,这与比特流内的NAL单元的顺序相同。解码顺序可以与输出顺序不同,输出顺序是解码器要输出(例如用于显示)解码画面的顺序。
表3–当前版本VVC草案中的NAL单元类型
时间层
在HEVC和当前版本的VVC中,所有画面都与指定画面所属的时间层的TemporalId值相关联。TemporalId值从NAL单元首部中的nuh_temporal_id_plus1语法元素解码。在HEVC中,编码器需要设置TemporalId值,使得在丢弃较高时间层时,属于较低层的画面可以被完美解码。例如,假设编码器已使用时间层0、1和2输出比特流。然后移除所有层2NAL单元或移除所有1层和层2NAL单元会导致获得毫无问题地解码的比特流。这是通过编码器必须符合的HEVC/VVC规范中的限制来确保的。例如,不允许时间层的画面参考更高时间层的画面。
6.层、相关层和独立层
在VCC中将层定义为VCL NAL单元的集合,VCL NAL单元都具有特定的nuh_layer_id值和关联的非VCL NAL单元。
将VVC中的层访问单元定义为NAL单元的集合,对于该集合,VCL NAL单元都具有特定的值nuh_layer_id,VCL NAL单元根据指定的分类规则相互关联,在解码顺序上是连续的,并且正好包含一个编码画面。
将当前版本的VVC中的编码层视频序列(CLVS)定义为层访问单元(LAU)的序列,其按解码顺序由CLVS层访问单元组成,之后为不是CLVS层访问单元的零个或多个层访问单元,包括所有后续层访问单元,直到(但不包括)CLVS层访问单元的任何后续层访问单元。
在图5中示出了层访问单元和编码层视频序列之间的关系。
在当前版本的VVC中,层可以独立地或彼此相关地编码。当层独立地编码时,具有例如nuh_layer_id 0的层可能无法预测来自具有例如nuh_layer_id 1的另一层的视频数据。在当前版本的VCC中,可以使用层之间的相关编码,使得能够支持具有SNR、空间和视图可缩放性的可缩放编码。
7.访问单元和访问单元分隔符
对于HEVC和当前VCC草案中的单层编码,访问单元(AU)是单个画面的编码表示。AU可以由若干视频编码层(VCL)NAL单元以及非VCL NAL单元组成。在当前版本的VCC中,访问单元必须以访问单元分隔符(AUD)NAL单元开始,该访问单元分隔符(AUD)NAL单元指示访问单元的开始以及画面中允许的分片类型,即I、I-P或I-P-B。在HEVC中,AU以AUD开始是可选的。当前版本的VCC草案中的访问单元分隔符NAL单元的语法和语义如下所示。
表2当前版本VCC草案中的访问单元分隔符原始字节序列有效有效载荷(RBSP)语法
7.1访问单元分隔符RBSP语义
访问单元分隔符用于指示访问单元的开始以及存在于包含访问单元分隔符NAL单元的访问单元中的编码画面中的分片类型。不存在与访问单元分隔符相关联的规范解码过程。
pic_type指示包含访问单元分隔符NAL单元的访问单元中的编码画面的所有分片的slice_type值是表5中针对pic_type的给定值所列出的集合的成员。在符合此版本的本规范的比特流中,pic_type的值应等于0、1或2。pic_type的其他值保留供ITU-T|ISO/IEC未来使用。符合此版本的本规范的解码器应忽略pic_type的保留值。
表5–pic_type的解释
pic_type | 可以存在于编码画面中的slice_type值 |
0 | I |
1 | P,I |
2 | B,P,I |
8.帧内随机访问点(IRAP)画面和编码视频序列(CVS)
HEVC中的帧内随机访问点(IRAP)画面是在其解码过程中不参考除自身以外的任何画面用于预测的画面。在HEVC中,按照解码顺序,比特流中的第一画面必须是IRAP画面,但IRAP画面附加地也可以出现在比特流的后面。HEVC规定了三种类型的IRAP画面,断开链接访问(BLA)画面、瞬时解码器刷新(IDR)画面和干净随机访问(CRA)画面。
HEVC中的编码视频序列(CVS)是一系列访问单元,从IRAP访问单元开始,直到(但不包括)按照解码顺序的下一IRAP访问单元。
IDR画面始终开始新的CVS。IDR画面可以具有关联的随机访问可解码前导(RADL)画面。IDR画面不具有关联的随机访问跳过前导(RASL)画面。
HEVC中的BLA画面也开始新的CVS并且对解码过程具有与IDR画面相同的效果。然而,HEVC中的BLA画面可以包含指定参考画面的非空集合的语法元素。BLA画面可以具有关联的RASL画面,这些画面不是由解码器输出并且可能不可解码,因为它们可能包含对比特流中可能不存在的画面的参考。BLA画面也可以具有关联的RADL画面,这些RADL画面已被解码。当前版本的VCC中没有定义BLA画面。
CRA画面可以具有关联的RADL或RASL画面。与BLA画面一样,CRA画面可以包含指定参考画面的非空集合的语法元素。对于CRA画面,能够设置标志来指定关联的RASL画面不由解码器输出,因为它们可能是不可解码的,原因在于它们可能包含对比特流中不存在的画面的参考。CRA可以开始一CVS。
在当前版本的VCC草案中,CVS以CVS开始(CVSS)访问单元开始,该访问单元可以包含IRAP画面,即IDR或CRA画面,或渐进解码刷新(GDR)画面。
GDR画面基本上用于在为低延迟编码而编码的比特流中的随机访问,其中完整的IRAP画面将引起太多延迟。GDR画面可以使用渐进帧内刷新逐画面地更新视频,其中每个画面是仅部分帧内编码的。在比特流在GDR画面处已调谐入情况下,视频在被完全刷新并准备好输出时会与GDR画面一起被发信号通知。GDR可以开始一CVS。
9.STSA画面
在HEVC中(以及在当前VVC草案中),存在称为逐步时间子层访问(STSA)画面的画面类型。HEVC中存在两种STSA画面,STSA_R,作为也是参考画面的STSA画面,STSA_N,作为是非参考画面的STSA画面。在当前VVC草案中,仅指定了一种类型的STSA画面,并且不区分STSA画面是参考画面还是非参考画面。
STSA画面旨在指示比特流中可以从较低时间层切换到较高时间层的位置。例如,解码器可以对时间层N进行解码,这意味着具有等于或低于N的TemporalId的所有NAL单元都被解码,并且具有高于N的TemporalId的所有NAL单元都被忽略。如果存在具有N+1的TemporalId的STSA画面,则确保解码器能够解码该STSA画面以及按照解码顺序在具有等于或低于N+1的TemporalId的STSA画面之后的所有NAL单元。
10.补充增强信息(SEI)消息
SEI消息提供可以对解码器有用但对解码过程不必要的信息。当前版本的VCC指定以下SEI消息:
表6–当前版本VVC中的SEI消息
10.1相关RAP指示SEI消息
相关RAP指示SEI消息用于将画面标记为比特流中的相关随机访问点(DRAP)画面。DRAP指示SEI消息的存在指示适用于本子条款中规定的画面顺序和画面参考的约束。这些约束可以使解码器能够正确地解码DRAP画面以及按照解码顺序和输出顺序在该DRAP画面之后的画面,而无需解码除关联的IRAP画面之外的任何其他画面。
DRAP指示SEI消息的存在所指示的约束如下:
a)DRAP画面应为尾随画面(trailing picture)。
b)DRAP画面应具有等于0的时间子层标识符。
c)DRAP画面在其参考画面列表的活动条目中不应包括任何画面,但按照解码顺序在前的IRAP画面除外。
d)按照解码顺序和输出顺序两者都在DRAP画面之后的任何画面在其参考画面列表的活动条目中不应包括按照解码顺序或输出顺序在DRAP画面之前的任何画面,按照解码顺序在前的IRAP画面除外。
在VVC中,针对当前画面发信号通知参考画面列表(RPL)以指示解码器应该保留哪些先前解码的画面以供参考,从而用于解码当前和未来画面。每个画面存在两个RPL。对于仅来自一个画面的帧间预测(P-预测),仅使用第一RPL,而对于来自两个画面的帧间预测(B-预测),使用第一RPL和第二RPL两者。RPL中活动的条目意味着条目中的参考画面用于解码当前画面。如果条目中的参考画面不用于预测当前画面而是用于预测后面的画面,则该条目应保留在RPL中,但在当前画面的RP中是不活动的。
11.参数集
HEVC和VVC规定了三种类型的参数集,画面参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)。PPS包含整个画面共有的数据,SPS包含编码视频序列(CVS)共有的数据,而VPS包含多个CVS共有的数据,例如比特流中多层的数据。
当前版本的VVC还指定了两个附加参数集,适应参数集(APS)和解码器参数集(DPS)。
11.1适应参数集(APS)
与其他参数集相比,APS包括相当大量的数据。APS的想法是,对于在分片和画面之间可能不会经常变化、但仍然频繁到不能很好地适应SPS或PPS的数据,不必重复分片首部中的某些数据组。在当前版本的VCC中,存在三种类型的APS。一种APS类型承载自适应环路滤波器(ALF)编码工具所需的参数,第二种APS类型承载亮度映射和色度缩放(LMCS)编码工具所需的参数,第三种APS类型用于承载缩放列表参数。缩放列表是将每个频率索引与缩放过程的缩放因子相关联的列表。
11.2解码参数集(DPS)
DPS指定在解码会话期间可以不改变并且可以有利于解码器知道的信息,例如,允许的子层的最大数量。DPS中的信息对于解码过程的操作是不必要的。
解码器参数集还包含用于比特流的一般约束集合,其给出解码器关于从比特流中期望什么的信息。在当前版本的VCC中,也可以在VPS中发信号通知一般约束信息:
发明内容
存在某些挑战。例如,在当前版本的VCC中,不能够预先指示具有特定NAL单元类型的NAL单元是否可以存在于比特流中。此外,不能够预先指示某些SEI消息是否可以存在于比特流中。然后解码器必须准备好处理任何类型的NAL单元类型和SEI消息。对于NAL单元类型和SEI消息中的一些,如果这些NAL单元类型和SEI消息出现在比特流中,则解码器可以需要消耗一些资源,例如预先分配存储器,存储特定数据,解析比特流的特定部分。如果这些NAL单元类型或SEI消息未出现在比特流中,则这些资源已被不必要地消耗。
本公开提供了一种解决方案。例如,在一个特定实施例中,提出将参数(例如标志)包括在参数集(例如,DPS、VPS、SPS或PPS)中,并且该参数指定类型A的片段(例如,NAL单元或SEI消息)可能存在或不存在于比特流中。因此,标志是片段存在信息的一个示例。
根据本公开的第一方面,提供了一种由解码器执行的方法。所述方法包括:接收比特流。所述方法包括:处理接收到的比特流,其中:比特流包括比特流的第一部分,并且比特流的第一部分提供片段存在信息,并且进一步地,其中i)片段存在信息指示至少第一片段类型的片段不应存在于比特流的至少一部分中,或者ii)片段存在信息指示至少第一片段类型的片段可以存在于比特流的至少一部分中。
根据本公开的第二方面,提供了一种由编码器执行的方法。所述方法包括:生成比特流,其中比特流包括比特流的第一部分,并且比特流的第一部分提供片段存在信息,并且进一步地,其中i)片段存在信息指示至少第一片段类型的片段不应存在于比特流的至少一部分中,或者ii)片段存在信息指示至少第一片段类型的片段可以存在于比特流的至少一部分中。
根据本公开的第三方面,提供了一种计算机程序,包括指令,所述指令在由处理电路执行时使处理电路执行第一方面或第二方面中的任一方面的方法。
根据本公开的第四方面,提供了一种载体,包含根据第三方面的计算机程序,其中所述载体是电子信号、光信号、无线电信号和计算机可读存储介质中的一种。
根据本公开的第五方面,提供了一种解码装置,适于执行根据第一方面的方法。
根据本公开的第六方面,提供了一种编码装置,适于执行根据第二方面的方法。
优点
关于类型A的片段(例如,NAL单元、SEI消息等)是否可能存在于比特流中的信息(片段存在信息)对于解码器知道以下内容是有用的:例如不必分配无论如何都不会使用的存储器,或者不必解析比特流的某些部分。因此,优点是解码器不会为可能不会出现在比特流中的NAL单元类型、画面类型和SEI消息分配资源。
例如,如果解码器知道在比特流中没有预期的STSA画面,则不需要存储PPS,甚至不需要扫描STSA画面的时间层。可以简单地忽略未被解码的较高层。另一示例是DRAP SEI消息。如果解码器知道它不会在比特流中遇到任何DRAP SEI消息,则不需要为稍后可以想要使用DRAP画面调谐到的频道存储IRAP画面。
附图说明
图1示出了根据实施例的系统。
图2是根据一个实施例的视频编码器的示意框图。
图3是根据一个实施例的视频解码器的示意框图。
图4示出了根据实施例的编码视频比特流。
图5示出了层访问单元和编码层视频序列之间的关系。
图6是示出了根据实施例的视频解码过程的流程图。
图7是示出了根据实施例的视频编码过程的流程图。
图8是根据实施例的装置的框图。
具体实施方式
图1示出了根据示例实施例的系统100。系统200包括经由网络110(例如,互联网或其他网络)与解码器204通信的编码器202。去块可以在编码器202和解码器204两者中执行。这里描述的实施例可以在视频编码器102或视频解码器104中使用。
图2是根据一个实施例的视频编码器102的示出框图。通过使用运动估计器250从同一帧或先前帧中已经提供的像素块执行运动估计来预测当前像素块。在帧间预测的情况下,运动估计的结果是与参考块相关联的运动或位移矢量。运动补偿器250可以使用运动矢量来输出像素块的帧间预测。帧内预测器249计算当前像素块的帧内预测。将运动估计器/补偿器250和帧内预测器249的输出输入到选择器251中,选择器251为当前像素块选择帧内预测或帧间预测。将选择器251的输出输入到加法器241形式的误差计算器,该加法器241也接收当前像素块的像素值。加法器241计算并输出残余误差作为像素块与其预测之间的像素值差。该误差在变换器242中被变换(例如通过离散余弦变换),并且被量化器243量化,随后在编码器244中编码(例如通过熵编码器)。在帧间编码中,还将估计的运动矢量带到编码器244以生成当前像素块的编码表示。还将当前像素块的变换和量化的残余误差提供给逆量化器245和逆变换器246以获得原始残余误差。加法器247将该误差加到运动补偿器250或帧内预测器249的块预测输出中,以创建能够用于下一像素块的预测和编码的参考像素块。该新参考块首先由去块滤波器200处理。处理后的新参考块然后临时存储在帧缓冲器248中,帧缓冲器248可用于帧内预测器249和运动估计器/补偿器250。
图3是根据一些实施例的视频解码器104的框图。解码器104包括解码器361(例如熵解码器),以解码像素块的编码表示,从而获得量化和变换残余误差的集合。这些残余误差由逆量化器362去量化并由逆变换器363逆变换以提供残余误差的集合。加法器364将这些残余误差与参考像素块的像素值相加。运动估计器/补偿器367或帧内预测器366依赖于执行帧间还是帧内预测来确定参考块。从而选择器368互连到加法器364和运动估计器/补偿器367和帧内预测器366。将从加法器364输出的得到的解码像素块输入到去块滤波器300。经滤波的像素块从解码器104输出并且还可以是临时提供给帧缓冲器365以用作要解码的后续像素块的参考像素块。从而帧缓冲器365连接到运动估计器/补偿器367以使存储的像素块可用于运动估计器/补偿器367。还可以将加法器364的输出输入到帧内预测器366以用作未经滤波的参考像素块。
图4示出了视频比特流400的一部分的示例。示例比特流部分400包括CVS 401,其包括包含参数集(PS)的非VCL NAL单元和多个VCL NAL单元。示出了VCL NAL单元412a和412b。
本公开中的术语“片段”被泛地用于不仅涵盖NAL单元而且涵盖消息(例如,SEI消息)。本领域技术人员应理解,以下实施例可以组合以形成未明确定义但仍被本公开覆盖的解决方案。
1.NAL单元类型和/或SEI消息类型在参数集中的信号存在
在该实施例中,参数集包括参数(也称为码字)(即,一个或多个比特的集合),其指定片段类型A的片段是否可以存在于比特流中。因此,该参数是片段存在信息的示例。
在该实施例的一个版本中,参数是标志(即,一个比特值)并且如果参数具有第一值,例如0,则比特流中不应存在片段类型A的片段。如果参数具有第二值,例如1,则片段类型A的片段可以存在于比特流中。这通过下面的语法和语义来示出(其中参数是标志):
表7
在该实施例的另一版本中,如果参数具有第一值,例如0,则片段类型A的片段可以存在于比特流中。如果标志具有第二值,例如1,片段类型A的片段不应存在于比特流中。这通过下面的语法和语义来示出(其中参数是标志):
表8
在一个版本中,解码器基于参数值和解码类型的片段类型来确定比特流是有效还是无效。例如,在一个实施例中,如果类型A的片段存在于比特流中,但是参数集中的参数指定不应存在片段类型的片段,则解码器将声明比特流无效。如果确定比特流无效,则解码器可以将其解释为比特错误或数据丢失,或者比特流和/或编码器不符合并报告错误,执行错误隐藏或基于比特流不符合的认识执行错误隐藏或采取其他动作。
对于该实施例,解码器可以执行以下步骤的子集或全部以从比特流中解码一个或多个画面,其中比特流包括至少一个参数集和按照解码顺序在参数集之后的一个或多个片段,其中每个段具有片段类型:
1)从比特流中的参数集中的码字中解码出值(该值被称为“指示符值”),然后基于指示符值,确定片段类型集合S中的片段类型A的片段是否可以存在于比特流中,或者片段类型集合S中的片段类型A的片段是否不应存在于比特流中。因此,指示符值是片段存在信息的示例。
2)检测比特流中片段类型T的片段的存在(例如,检测比特流中的码字指示片段类型T的片段存在于比特流中)。
3)基于指示符值和解码的片段类型T,确定比特流是有效还是无效。
4)通过确定片段类型T等于片段类型A并且指示符值指定片段类型集合S中的片段类型A的片段不应存在于比特流中,来确定比特流是无效的。
5)如果确定比特流无效,则解释为比特错误、数据丢失或比特流和/或编码器不符合并报告错误、执行错误隐藏或基于比特流不符合的认识执行错误隐藏或采取其他动作。
对于该实施例,编码器可以执行以下步骤的子集或全部以将一个或多个画面编码到比特流中,其中比特流将包括至少一个参数集和按照解码顺序在参数集之后的一个或多个片段,其中每个段具有片段类型:
1)在比特流中的参数集中的码字中编码指示符值,该指示符值指定片段类型A的任何片段是否可以或不应存在于比特流中。
2)如果指示符值指定片段类型A的片段不应存在于比特流中,则在比特流中不包括片段类型A的任何片段,否则片段类型A的片段可以包括在比特流中。
备选地,编码器可以执行该实施例的以下步骤的子集或全部,以将一个或多个画面编码到比特流中:
1)获取包括至少一个元素的片段类型列表,该元素将至少一个片段类型标识为未在比特流中使用。
2)对于列表中标识为未使用的至少一个片段类型,将指示符值编码在比特流中的参数集中的码字中,指示符值指定未使用的片段类型的片段不应存在于比特流中。
3)在列表包含将至少一个片段类型标识为可能在比特流中使用的元素的情况下,将指示符值编码到比特流中的参数集中的码字,指示符值指定可能使用的片段类型的片段可以存在于比特流中。
备选地,编码器可以循环遍历片段类型列表,并且对于每个片段类型,将该类型与可以使用或将不使用的片段类型集合进行比较。对于列表中可以使用的片段类型,编码器使用指定可以使用片段类型的值对参数集中的对应码字进行编码。对于列表中将不使用的片段类型,编码器使用指定不应使用片段类型的值对参数集中的对应码字进行编码。
2.类型的分组
在另一实施例中,参数集中的参数指定一组片段类型可以存在或不应存在于比特流中,其中该组包括至少一个类型。在该实施例的一个版本中,如果参数具有第一值,例如0,则片段类型A、B、......或N的片段不应存在于比特流中。如果标志具有第二值,例如1,则片段类型A、B、……或N的片段可以存在于比特流中。
以下是该实施例的示例句法和语义。
表9
在该实施例的另一版本中,如果参数具有第一值,例如0,则片段类型A、B、……和N的片段可以存在于比特流中。如果标志具有第二值,例如1,则片段类型A、B、……和N的片段不应存在于比特流中。下面是在实施例1的第二示例上扩展的实施例2的示例语法和语义。
表10
3.NAL单元类型的细节
在该实施例中,片段是NAL单元,并且对于NAL单元进一步描述了根据任何先前实施例可以在参数集中发信号通知哪些NAL单元类型的存在。
潜在地能够在参数集中发信号通知表11中列出的任何NAL单元类型的存在。此外,也能够在参数集中发信号通知任何未来的NAL单元类型的存在。
下面是在当前版本的VCC中使用的NAL单元类型的示例语法和语义,对于这些NAL单元类型来说,最有意义的是在参数集中发信号通知其在比特流中的存在。
表11
解码器知道上述NAL单元类型的NAL单元的潜在存在或某些不存在可能是有用的,原因如下表12中所列:
表12
在备选版本中,将上述NAL单元类型中的一些分组。下面的语法和语义进一步示例了这一点。
表13
4.SEI消息类型的细节
在该实施例中,片段是SEI消息,并且针对SEI消息进一步描述了根据任何先前实施例可以在参数集中发信号通知哪些SEI消息类型的存在。
潜在地能够在参数集中发信号通知表14中列出的任何SEI消息类型或HEVC中定义的任何SEI消息的存在。此外,可能在参数集中发信号通知任何未来的SEI消息类型(其中一些可以从HEVC拷贝)的存在。
以下是当前版本的VCC中的SEI消息类型中的两个的示例语法和语义:
表14
解码器知道比特流中不存在DRAP SEI消息可能是有用的。例如,如果解码器希望能够调谐到当前未解码的单独频道,如果存在DRAP画面,则解码器可以这样做,存储最新的IRAP画面以便能够在DRAP画面处更快地调谐入。但是,如果解码器知道DRAP画面不存在于比特流中,则解码器不需要存储单独频道的最新IRAP画面,而能够在想要调谐入时等待下一IRAP画面。
在备选版本中,参数集可以包括具有以下语义的no_rap_constraint_flag参数:
no_rap_constraint_flag等于1,指定比特流符合性的要求是除了当前访问单元之外,NAL单元类型IDR_W_RADL、IDR_N_LP、CRA_NUT或GRA_NUT的NAL单元不应存在于比特流中。比特流符合性的进一步要求是相关随机访问点指示SEI消息不应存在于比特流中。no_rap_constraint_flag等于0,不施加约束。
5.参数集的细节
在该实施例中,进一步定义了参数集可以是什么,其中发信号通知比特流中片段类型的存在。
在一个版本中,参数集是DPS。在另一版本中,参数集是VPS。在一个版本中,在general_constraint_info()结构(struct)中发信号通知片段类型的存在,在当前版本的VCC中,该结构可以存在于DPS和VPS二者中。在另外两个版本中,参数集分别是SPS或PPS。在另一版本中,参数集是在系统层发信号通知的实体、箱或字段,例如在DVB、ATSC、ISOBMFF、DASH或MMT中指定的。
6.发信号通知哪些时间子层可以具有NAL单元类型
在一个实施例中,参数集标识一个或多个时间子层,其中可以存在或不应存在具有片段类型A的片段。例如,在一个示例中,参数集指示具有NAL单元类型A(例如,STSA_NUT)的NAL单元可以仅存在于比特流中的时间子层1中,并且不应存在于高于1的时间子层中。
7.发信号通知哪些层(例如,可缩放层)可以具有NAL单元类型
在一个实施例中,参数集标识一个或多个层,其中可以存在或不应存在具有片段类型A的片段。例如,在一个示例中,参数集指示具有NAL单元类型A(例如,STSA_NUT)的NAL单元可以仅存在于比特流中的层0、4和34,而不应存在于比特流中的层5、7和23。
8.第三方规范强制参数应该或应具有指定值。
在另一实施例中,第三方规范(例如DVB或ATSC)强制指示片段类型的存在并且在参数集中发信号通知的参数应该或应具有指定值。例如,DVB或ATSC可以指定no_gdr_constraint_flag的值应为1。这可以意味着NAL单元类型GDR_NUT的NAL单元不应存在于比特流中。
9.比特流和参数范围。
在一个实施例中,术语比特流指代整个比特流的一部分,其中片段参考包含参数的参数集。在HEVC和VCC中,整个比特流可以是一个或多个CVS的连续序列,之后是比特流结束NAL单元。例如,如果参数存在于DPS或VPS中,则比特流可以仅包括分别参考包含该参数的DPS或VPS的那些CVS。
在另一实施例中,参数存在于SPS中并且比特流仅包括参考该SPS的单个CVS。备选地,在这种情况下,比特流由参考SPS所参考的DPS或VPS的那些CVS组成。
在其他实施例中,参数存在于PPS中并且比特流由以下之一组成:1)参考该PPS的那些片段(或NAL单元);2)存在或激活PPS的CVS;3)参考PPS所参考的DPS的那些CVS;4)参考PPS所参考的VPS的那些CVS。
本公开中的术语“比特流”可以具有以上实施例中解释的任何含义。
10.覆写
在另一实施例中,指示符值可以在整个比特流的未来部分中改变,使得例如指示符指示特定NAL单元类型可以存在于比特流的一部分中并且特定NAL单元类型可以不存在于比特流的后面部分中。在该实施例中,指示符值应用于比特流的一部分,直到指示符被覆写或设置为新值,并且从比特流中的该点开始应用指示符的新值。
在该实施例的变体中,指示符值可以在子比特流提取或合并过程中被覆写,使得得到的比特流可以具有或不具有一个或一组特定NAL单元类型,并且可以基于一个或多个原始比特流中的一个或多个指示符值来定义得到的比特流中的指示符值。
11.多值指示符
在另一实施例中,可以根据两个或更多个比特的集合(即,具有多于两个值,例如三个值)来确定指示符值。例如,在通过解码参数集中包括的两个或更多比特来确定指示符值的情况下,指示符值可以具有以下值中的任何一个:0、1、2和3。一个这样的指示符值(例如,0)可以指示特定NAL单元类型可以存在于比特流中,另一个这样的值(例如,1)可以指示该特定NAL单元类型不可以存在于比特流中,以及第三个这样的值(例如,2)可以指示特定NAL单元类型应存在于比特流中。
12.条件指示符
在另一实施例中,在参数集中发信号通知第一一个或多个比特集合(例如,一个比特标志),并且该第一比特集合的值与比特流中同一参数集或其他参数集中的一个或多个其他参数的一个或多个值一起指定片段类型A的片段是否可以存在于比特流中。在一个示例中,该指示符指定仅当SPS中的参数P的值等于1时,片段类型A的片段是否可以存在于比特流中。
图8是根据一些实施例的用于实现视频编码器102或视频解码器104的装置800的框图。即,装置800可操作为执行过程600和/或过程700。在装置800实现视频编码器102的实施例中,装置800可以被称为“编码装置800”,并且在装置800实现视频解码器104的实施例中,装置800可以被称为“解码装置800”。如图8所示,装置800可以包括:处理电路(PC)802,可以包括一个或多个处理器(P)855(例如,通用微处理器和/或一个或多个其他处理器,例如专用集成电路(ASIC))、现场可编程门阵列(FPGA)等),这些处理器可以共同位于单个外壳或单个数据中心中,或者可以在地理上分布(即,装置800可以是分布式计算装置);网络接口848,包括发射器(Tx)845和接收器(Rx)847,用于使得装置800能够向连接到网络110(例如,互联网协议(IP)网络)的其他节点发送数据和从其他节点接收数据,网络接口848(直接或间接)连接到网络110(例如,网络接口848可以无线连接到网络110,在这种情况下网络接口848连接到天线装置);以及本地存储单元(又称“数据存储系统”)808,可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在PC 802包括可编程处理器的实施例中,可以提供计算机程序产品(CPP)841。CPP 841包括存储计算机程序(CP)843的计算机可读介质(CRM)842,该计算机程序(CP)843包括计算机可读指令(CRI)844。CRM842可以是非暂时计算机可读介质,例如磁介质(例如,硬磁盘)、光学介质、存储设备(例如,随机存取存储器、闪存)等。在一些实施例中,计算机程序843的CRI 844被配置为使得当由PC 802执行时,CRI使装置800执行这里描述的步骤(例如,这里参照流程图描述的步骤)。在其他实施例中,装置800可以被配置为执行这里描述的步骤而不需要代码。即,例如,PC 802可以仅由一个或多个ASIC组成。因此,这里描述的实施例的特征可以在硬件和/或软件中实现。
虽然这里描述了各种实施例(包括附录),但应理解它们仅以示例的方式而非限制的方式呈现。因此,本公开的广度和范围不应受到任何上述示例性实施例的限制。此外,除非这里另有说明或与上下文明显矛盾,否则上述要素在其所有可能的变化形式中的任何组合都涵盖在本公开中。
此外,虽然上述过程和附图中所示的过程示出为步骤序列,但是这只是为了说明。因此,设想可以增加一些步骤,可以省略一些步骤,可以重新安排这些步骤的顺序,并且可以并行执行一些步骤。
缩写说明
ATSC 高级电视系统委员会
AU 访问单元
AUD 访问单元分隔符
ALF 自适应环路滤波器
APS 自适应参数集
BLA 断开的链路访问
CLVS 编码层视频序列
CRA 完全随机访问
CVS 编码视频流
CVSS CVS启动
CU 编码单元
DASH HTTP上的动态自适应流传输
DPS 解码参数集
DVB 数字视频广播
DRAP 相关随机访问点
GDR 渐进解码刷新
HEVC 高效视频编码
IDR 瞬时解码刷新
IRAP 帧内随机访问点
ISO 国际标准化组织
ISOBMFF ISO基础媒体文件格式
LMCS 亮度映射和色度缩放
MPEG 运动画面专家组
MMT MPEG媒体传输
NAL 网络抽象层
NALU NAL单元
NUT NAL单元类型
PPS 画面参数集
RADL 随机访问可解码前导
RAP 随机访问点
RASL 随机访问跳过前导
RBSP 原始字节序列有效载荷
RPL 参考画面列表
SEI 补充增强层
SPS 序列参数集
STSA 逐步时间层访问
VCL 视频编码层
VPS 视频参数集
VVC 通用视频编码
附录
以下文本来自提出对当前版本的VCC进行改变的贡献。
开始文本
摘要
该贡献提出在DPS和VPS中的general_constraint_info()结构中发信号通知NAL单元类型中的一些潜在存在于比特流中。此外,还提出在general_constraint_info()结构中发信号通知DRAP画面潜在存在于比特流中。在第一选项中,提出了以下约束标志:
-no_trail_constraint_flag
-no_stsa_constraint_flag
-no_rasl_constraint_flag
-no_radl_constraint_flag
-no_idr_constraint_flag
-no_cra_constraint_flag
-no_gdr_constraint_flag
-no_aps_constraint_flag
-no_dependent_rap_indication_sei_constraint_flag
在第二更精简的选项中,仅针对提议者宣称最有用的NAL单元和画面类型提出了约束标志。与第一选项相比的另一区别是将no_idr_constraint_flag和no_cra_constraint_flag分组为no_irap_constraint_flag。在第二选项中提出了以下约束标志:
-no_stsa_constraint_flag
-no_irap_constraint_flag
-no_gdr_constraint_flag
-no_aps_constraint_flag
-no_dependent_rap_indication_sei_constraint_flag
提出将选项1或选项2之一添加到VCC规范,或两者的混合。
1简介
当前版本的VCC提供了在DPS和/或VPS的general_constraint_info()结构中发信号通知约束集合。约束通知解码器对比特流的期望,包括是否在比特流中支持某些编码工具、比特流的最大比特深度和色度格式等。鉴于这些限制,解码器然后可以适配资源的分配和使用。然而,这些约束不包括与比特流中可以预期的NAL单元类型有关的任何信息。下面是解码器知道某些NAL单元类型不会存在于比特流中时可能有用的一些示例,:
-如果已知STSA画面不会存在于比特流中,则解码器不需要扫描比它当前正在解码的内容高的时间子层,并且不需要在较高的子层中存储任何PPS或APS,另外可能会在STSA画面处向上切换时需要。
-如果已知除了第一访问单元之外,CRA或IDR画面不会存在于比特流中,则解码器可以断定可能没有来自IRAP画面的任何比特率尖峰,并且可以相应地适配其输出时序。
-如果已知GDR画面不会存在于比特流中,则解码器不需要生成任何不可用画面来解码流(众所周知,可以在不生成不可用画面的情况下进行CRA随机访问,这是因为丢弃了任何RASL画面)。
-如果已知比特流中不存在APS,则解码器不需要分配存储器来存储任何潜在的APS。
-解码器知道比特流中不存在DRAP SEI消息可能是有用的。例如,如果解码器希望能够从一个广播频道切换到当前未解码的另一频道,则在存在DRAP画面的情况下,解码器可以存储另一频道的最新IRAP画面,以便能够在之后的DRAP画面处更快地调谐。切换时,解码器会首先对存储的IRAP画面进行解码,接着是DRAP画面,然后是之后的画面。但是,如果解码器知道DRAP画面不应存在于比特流中,则解码器将不需要存储单独频道的最新IRAP画面,但在想要切换到另一IRAP画面时必须等待下一IRAP画面。
2提案
提出在DPS和VPS中的general_constraint_info()结构中发信号通知比特流中某些NAL单元类型的潜在存在。此外,还提出在general_constraint_info()结构中发信号通知比特流中DRAP画面的潜在存在。在第一选项中,提出了以下约束标志:
-no_trail_constraint_flag
-no_stsa_constraint_flag
-no_rasl_constraint_flag
-no_radl_constraint_flag
-no_idr_constraint_flag
-no_cra_constraint_flag
-no_gdr_constraint_flag
-no_aps_constraint_flag
-no_dependent_rap_indication_sei_constraint_flag
在第二更精简的选项中,仅针对提议者宣称最有用的NAL单元和画面类型提出了约束标志。与第一选项相比的另一区别是将no_idr_constraint_flag和no_cra_constraint_flag分组为no_irap_constraint_flag。在第二选项中提出了以下约束标志:
-no_stsa_constraint_flag
-no_irap_constraint_flag
-no_gdr_constraint_flag
-no_aps_constraint_flag
-no_dependent_rap_indication_sei_constraint_flag
提出将选项1或选项2之一添加到VCC规范,或两者的混合。
2.1对VCC规范的提出的改变
针对选项1和选项2在当前VCC草案(JVET-O2001vE)之上的提出的改变如下所示。
2.1.1选项1
no_trail_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型TRAIL_NUT的NAL单元不应存在于比特流中。no_trail_constraint_flag等于0,不施加约束。
no_stsa_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型STSA_NUT的NAL单元不应存在于比特流中。no_stsa_constraint_flag等于0,不施加约束。
no_rasl_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型RASL_NUT的NAL单元不应存在于比特流中。no_rasl_constraint_flag等于0,不施加约束。
no_radl_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型RADL_NUT的NAL单元不应存在于比特流中。no_radl_constraint_flag等于0,不施加约束。
no_idr_constraint_flag等于1,指定比特流符合性的要求是除了当前访问单元之外,NAL单元类型IDR_W_RADL或IDR_N_LP的NAL单元不应存在于比特流中。no_idr_constraint_flag等于0,不施加约束。
no_cra_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型CRA_NUT的NAL单元不应存在于比特流中。no_cra_constraint_flag等于0,不施加约束。
no_gdr_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型GDR_NUT的NAL单元不应存在于比特流中。no_gdr_constraint_flag等于0,不施加约束。
no_aps_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型APS_NUT的NAL单元不应存在于比特流中。no_aps_constraint_flag等于0,不施加约束。
no_dependent_rap_indication_sei_constraint_flag等于1,指定比特流符合性的要求是相关随机访问点指示SEI消息不应存在于比特流中。no_dependent_rap_indication_sei_constraint_flag等于0,不施加约束。
2.1.2选项2–精简版
no_stsa_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型STSA_NUT的NAL单元不应存在于比特流中。no_stsa_constraint_flag等于0,不施加约束。
no_irap_constraint_flag等于1,指定比特流符合性的要求是除了当前访问单元之外,NAL单元类型IDR_W_RADL、IDR_N_LP或CRA_NUT的NAL单元不应存在于比特流中。no_irap_constraint_flag等于0,不施加约束。
no_gdr_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型GDR_NUT的NAL单元不应存在于比特流中。no_gdr_constraint_flag等于0,不施加约束。
no_aps_constraint_flag等于1,指定比特流符合性的要求是NAL单元类型APS_NUT的NAL单元不应存在于比特流中。no_aps_constraint_flag等于0,不施加约束。
no_dependent_rap_indication_sei_constraint_flag等于1,指定比特流符合性的要求是相关随机访问点指示SEI消息不应存在于比特流中。no_dependent_rap_indication_sei_constraint_flag等于0,不施加约束。
结束文本。
Claims (40)
1.一种由解码器(104)执行的方法(600),所述方法包括:
接收(s602)比特流;以及
处理(s604)接收到的比特流,其中:
所述比特流包括所述比特流的第一部分,并且
所述比特流的所述第一部分提供片段存在信息,并且进一步地,其中
i)所述片段存在信息指示至少第一片段类型的片段不应存在于所述比特流的至少一部分中,或者
ii)所述片段存在信息指示至少第一片段类型的片段能够存在于所述比特流的至少所述一部分中。
2.根据权利要求1所述的方法,其中,所述比特流的所述第一部分包括一般约束信息语法元素。
3.根据权利要求1-2中任一项所述的方法,其中,所述比特流的所述第一部分包括一个或多个参数集。
4.根据权利要求1-3中任一项所述的方法,还包括:
确定所述片段存在信息指示所述第一片段类型的片段不应存在于所述比特流的至少所述一部分中;
检测所述比特流的所述一部分包含所述第一片段类型的片段;以及
作为所述确定和所述检测的结果,声明所述比特流的至少所述一部分是无效的。
5.根据权利要求1-4中任一项所述的方法,其中,所述片段存在信息指示以下之一:
i)所述比特流的所述一部分不应包含所述第一片段类型的任何片段的时间子层值或值范围,或者
ii)所述比特流的所述一部分能够包含所述第一片段类型的片段的时间子层值或值范围,并且进一步地,其中所述方法还包括:
确定所述片段存在信息指示所述比特流的所述一部分不应包含所述第一片段类型的任何片段的时间子层值或值范围;
检测由所述时间子层值或值范围标识的时间子层包含所述第一片段类型的片段;以及
作为所述确定和所述检测的结果,声明所述比特流的所述一部分无效。
6.根据权利要求1-5中任一项所述的方法,其中,所述片段存在信息指示以下之一:
i)所述比特流的所述一部分不应包含所述第一片段类型的任何片段的层值或值范围,或者
ii)所述比特流的所述一部分能够包含所述第一片段类型的片段的层值或值范围。
7.根据权利要求6所述的方法,其中所述方法还包括:
确定所述片段存在信息指示所述比特流的所述一部分不应包含所述第一片段类型的任何片段的层值或值范围;
检测由所述层值或值范围标识的层包含所述第一片段类型的片段;以及
作为所述确定和所述检测的结果,声明所述比特流的所述一部分无效。
8.根据权利要求1-7中任一项所述的方法,其中
所述比特流的所述第一部分包括第一参数集和第二参数集,
所述方法还包括:基于所述第一参数集中包括的信息确定第一值,并且基于所述第二参数集中包括的信息确定第二值,以及
所述片段存在信息包括所述第一值和所述第二值。
9.根据权利要求1-8中任一项所述的方法,其中
所述比特流的所述第一部分包括第一参数集,
所述方法还包括:基于所述第一参数集中包括的信息确定第一值,并且基于所述第一参数集中包括的信息确定第二值,以及
所述片段存在信息包括所述第一值和所述第二值。
10.根据权利要求4、5或7中任一项所述的方法,其中声明所述比特流的至少所述一部分无效包括:声明已经发生比特错误,声明已经发生数据丢失,声明所述比特流的至少所述一部分不符合,声明生成了所述比特流的编码器不符合,报告错误,执行错误隐藏,和/或基于对所述比特流的至少所述一部分不符合的认识采取其他动作。
11.一种由编码器(102)执行的方法(700),所述方法包括:
生成(s702)比特流,其中
所述比特流包括所述比特流的第一部分,并且
所述比特流的所述第一部分提供片段存在信息,并且进一步地,其中
i)所述片段存在信息指示至少第一片段类型的片段不应存在于所述比特流的至少一部分中,或者
ii)所述片段存在信息指示至少第一片段类型的片段能够存在于所述比特流的至少所述一部分中。
12.根据权利要求11所述的方法,还包括:输出(s704)所述比特流。
13.根据权利要求1-12中任一项所述的方法,其中
所述比特流的所述第一部分由第一参数集组成,并且
所述第一参数集包括比特集合,以及
所述第一参数集中包括的比特集合提供所述片段存在信息。
14.根据权利要求13所述的方法,其中,所述比特集合由所述第一参数集中的顺序比特集合组成。
15.根据权利要求13所述的方法,其中,所述比特集合由所述第一参数集中的单个比特组成。
16.根据前述权利要求中任一项所述的方法,其中,所述至少第一片段类型的片段包括以下之一:TRAIL片段、STSA片段、RASL片段、RADL片段、IDR片段、CRA片段、GDR片段、APS片段、AUD片段或SEI片段。
17.根据前述权利要求中任一项所述的方法,其中,第一片段类型是NAL单元类型。
18.根据权利要求17所述的方法,其中所述NAL单元类型是以下之一:TRAIL_NUT、STSA_NUT、RASL_NUT、RADL_NUT、IDR_W_RADL、IDR_N_LP、CRA_NUT、GDR_NUT、APS_NUT、AUD_NUT、PREFIX_SEI_NUT或SUFFIX_SEI_NUT。
19.根据权利要求1-18中任一项所述的方法,其中,所述第一片段类型是SEI消息类型。
20.根据权利要求19所述的方法,其中,所述SEI消息类型是缓冲周期、画面定时、解码单元信息、相关RAP指示、帧字段信息或解码画面散列。
21.根据权利要求13-20中任一项所述的方法,其中,所述第一参数集是DPS、VPS、SPS或PPS。
22.根据权利要求13-20中任一项所述的方法,其中,所述第一参数集是在系统层发信号通知的实体。
23.根据权利要求1-22中任一项所述的方法,其中,所述片段存在信息指示以下之一:
i)所述比特流的所述一部分不应包含所述第一片段类型的任何片段的时间子层值或值范围,或者
ii)所述比特流的所述一部分能够包含所述第一片段类型的片段的时间子层值或值范围。
24.根据权利要求1-23中任一项所述的方法,其中,所述片段存在信息指示以下之一:
i)所述比特流的所述一部分不应包含所述第一片段类型的任何片段的层值或值范围,或者
ii)所述比特流的所述一部分能够包含所述第一片段类型的片段的层值或值范围。
25.根据权利要求1-24中任一项所述的方法,其中规范强制所述比特流的所述第一部分中的所述片段存在信息应当或应具有特定值。
26.根据权利要求13-25中任一项所述的方法,其中,所述比特流的所述一部分由参考所述第一参数集的片段组成。
27.根据权利要求26所述的方法,其中,所述比特流是一个或多个CVS的连续序列。
28.根据权利要求27所述的方法,其中
所述第一参数集是DPS或VPS,并且
所述比特流的所述一部分仅包括参考所述第一参数集的那些CVS。
29.根据权利要求27所述的方法,其中
所述第一参数集是SPS,以及
所述比特流的所述一部分仅包括参考SPS的单个CVS。
30.根据权利要求27所述的方法,其中
所述第一参数集是参考第二参数集的SPS,以及
所述比特流的所述一部分仅包括参考SPS所参考的第二参数集的那些CVS。
31.根据权利要求27所述的方法,其中
所述第一参数集是参考第二参数的PPS,所述比特流的所述一部分包括:
1)参考PPS的那些片段;
2)存在或激活PPS的CVS;或者
3)参考所述第二参数集的那些CVS。
32.根据权利要求1-31中任一项所述的方法,其中所述片段存在信息能够从所述比特流的某一部分起或在子比特流提取或合并过程中被覆写。
33.根据前述权利要求中任一项所述的方法,其中
所述比特流的所述第一部分包括编码第一值的第一参数集和编码第二值的第二参数集,以及
所述片段存在信息包括所述第一值和所述第二值。
34.根据前述权利要求中任一项所述的方法,其中
所述比特流的所述第一部分包括编码第一值和第二值的第一参数集,以及
所述片段存在信息包括所述第一值和所述第二值。
35.根据前述权利要求中任一项所述的方法,其中处理所述比特流包括:从所述比特流的所述第一部分中解码所述片段存在信息。
36.根据权利要求35所述的方法,其中从所述比特流的所述第一部分中解码所述片段存在信息包括:
-从所述比特流的所述第一部分中的语法元素中解码指示符值;
-响应于所述指示符值等于第一值,所述片段存在信息指示至少第一片段类型的片段不应存在于所述比特流的至少一部分中;
-响应于所述指示符值等于第二值,所述片段存在信息指示至少所述第一片段类型的片段能够存在于所述比特流的至少所述一部分中。
37.一种计算机程序(843),包括指令(844),所述指令(844)当由处理电路(802)执行时,使所述处理电路(802)执行根据以上权利要求中任一项所述的方法。
38.一种载体,包含根据权利要求37所述的计算机程序,其中,所述载体是电子信号、光信号、无线电信号和计算机可读存储介质(842)中的一种。
39.一种解码装置(800),适于执行根据权利要求1-10或13-36中任一项所述的方法。
40.一种编码装置(800),适于执行根据实施例11-34中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962904093P | 2019-09-23 | 2019-09-23 | |
US62/904,093 | 2019-09-23 | ||
PCT/SE2020/050800 WO2021061035A1 (en) | 2019-09-23 | 2020-08-19 | Providing segment presence information |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114556961A true CN114556961A (zh) | 2022-05-27 |
Family
ID=75167033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080066376.6A Pending CN114556961A (zh) | 2019-09-23 | 2020-08-19 | 提供片段存在信息 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220368922A1 (zh) |
EP (1) | EP4035413A4 (zh) |
JP (1) | JP7411787B2 (zh) |
KR (1) | KR20220065804A (zh) |
CN (1) | CN114556961A (zh) |
MA (1) | MA56081B1 (zh) |
WO (1) | WO2021061035A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556975A (zh) * | 2013-10-11 | 2016-05-04 | 夏普株式会社 | 信令告知用于编码的信息 |
WO2016098056A1 (en) * | 2014-12-18 | 2016-06-23 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
CN107743236A (zh) * | 2012-04-12 | 2018-02-27 | 瑞典爱立信有限公司 | 扩展数据处理 |
WO2018146376A1 (en) * | 2017-02-13 | 2018-08-16 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9516308B2 (en) * | 2012-04-27 | 2016-12-06 | Qualcomm Incorporated | Parameter set updates in video coding |
KR20230080500A (ko) * | 2013-01-04 | 2023-06-07 | 지이 비디오 컴프레션, 엘엘씨 | 효율적인 확장가능한 코딩 개념 |
MX2017008774A (es) * | 2014-12-31 | 2018-02-13 | Nokia Technologies Oy | Prediccion inter-capa para codificacion y decodificacion de video escalable. |
FI20165114A (fi) * | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
EP3349467B1 (en) * | 2017-01-10 | 2019-09-04 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US10701400B2 (en) * | 2017-03-21 | 2020-06-30 | Qualcomm Incorporated | Signalling of summarizing video supplemental information |
US11356667B2 (en) * | 2018-12-20 | 2022-06-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods providing encoding and/or decoding of video using a syntax indicator and picture header |
EP4072139A3 (en) * | 2019-01-02 | 2022-11-09 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
WO2020183053A1 (en) * | 2019-03-14 | 2020-09-17 | Nokia Technologies Oy | Method and apparatus for late binding in media content |
US11166033B2 (en) * | 2019-06-06 | 2021-11-02 | Qualcomm Incorporated | Adaptation parameter set in access unit in video coding |
US11758193B2 (en) * | 2019-11-04 | 2023-09-12 | Hfi Innovation Inc. | Signaling high-level information in video and image coding |
-
2020
- 2020-08-19 JP JP2022517856A patent/JP7411787B2/ja active Active
- 2020-08-19 CN CN202080066376.6A patent/CN114556961A/zh active Pending
- 2020-08-19 EP EP20869140.2A patent/EP4035413A4/en active Pending
- 2020-08-19 US US17/762,011 patent/US20220368922A1/en active Pending
- 2020-08-19 WO PCT/SE2020/050800 patent/WO2021061035A1/en unknown
- 2020-08-19 MA MA56081A patent/MA56081B1/fr unknown
- 2020-08-19 KR KR1020227012480A patent/KR20220065804A/ko active Search and Examination
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107743236A (zh) * | 2012-04-12 | 2018-02-27 | 瑞典爱立信有限公司 | 扩展数据处理 |
CN105556975A (zh) * | 2013-10-11 | 2016-05-04 | 夏普株式会社 | 信令告知用于编码的信息 |
US20160261878A1 (en) * | 2013-10-11 | 2016-09-08 | Sharp Kabushiki Kaisha | Signaling information for coding |
WO2016098056A1 (en) * | 2014-12-18 | 2016-06-23 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
WO2018146376A1 (en) * | 2017-02-13 | 2018-08-16 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Non-Patent Citations (2)
Title |
---|
PETTERSSON(ERICSSON) M ET AL: "AHG17: Dependent random access point pictures in VVC", AHG17: DEPENDENT RANDOM ACCESS POINT PICTURES IN VVC, vol. 030205014, 26 March 2019 (2019-03-26), pages 3 * |
SUZUKI(SONY) T: "AHG 5 AND 18: Profiles for Range Extensions", 15. JCT-VC MEETING; 23-10-2013-1-11-2013; GENEVA; JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16, 15 October 2013 (2013-10-15), pages 7 * |
Also Published As
Publication number | Publication date |
---|---|
US20220368922A1 (en) | 2022-11-17 |
WO2021061035A1 (en) | 2021-04-01 |
EP4035413A1 (en) | 2022-08-03 |
MA56081A1 (fr) | 2022-09-30 |
KR20220065804A (ko) | 2022-05-20 |
JP7411787B2 (ja) | 2024-01-11 |
EP4035413A4 (en) | 2022-12-14 |
MA56081B1 (fr) | 2023-05-31 |
JP2022549799A (ja) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11800130B2 (en) | SEI message dependency simplification in video coding | |
KR101626522B1 (ko) | 영상 디코딩 방법 및 이를 이용하는 장치 | |
CN107079176B (zh) | 用于hevc延伸承载的数据流的hrd描述符及缓冲器模型的设计 | |
CA3156988A1 (en) | Avoidance of redundant signaling in multi-layer video bitstreams | |
KR102540022B1 (ko) | 인코딩된 비디오 비트스트림에 포함된 데이터의 양을 줄이기 위한 파라미터 세트의 시그널링 파라미터 값 정보 | |
US20210392361A1 (en) | On Intra Random Access Point Pictures and Leading Pictures in Video Coding | |
US20220303558A1 (en) | Compact network abstraction layer (nal) unit header | |
CN116830573A (zh) | 交叉随机访问点信令增强 | |
KR20140043240A (ko) | 영상 부호화/복호화 방법 및 장치 | |
JP7411787B2 (ja) | セグメント存在情報を提供すること | |
CN116018808A (zh) | 确定对视频比特流中的第一图片进行解码的能力 | |
US12022084B2 (en) | Video coding layer up-switching indication | |
RU2821429C1 (ru) | Предотвращение избыточной сигнализации в многослойных битовых видеопотоках | |
RU2827899C1 (ru) | Предотвращение избыточной сигнализации в многослойных битовых видеопотоках | |
US20230247211A1 (en) | Scalability using temporal sublayers | |
WO2024177552A1 (en) | Refresh indicator for coded video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |