CN116018808A - 确定对视频比特流中的第一图片进行解码的能力 - Google Patents

确定对视频比特流中的第一图片进行解码的能力 Download PDF

Info

Publication number
CN116018808A
CN116018808A CN202180041065.9A CN202180041065A CN116018808A CN 116018808 A CN116018808 A CN 116018808A CN 202180041065 A CN202180041065 A CN 202180041065A CN 116018808 A CN116018808 A CN 116018808A
Authority
CN
China
Prior art keywords
picture
profile
decoder
bitstream
indicator value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041065.9A
Other languages
English (en)
Inventor
马丁·彼得松
理卡尔德·肖伯格
米特拉·达姆汉尼安
余若洋
雅各布·斯特罗姆
杰克·恩霍恩
刘度
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN116018808A publication Critical patent/CN116018808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了一种用于确定符合第一配置文件的解码器能够对符合第二配置文件的视频比特流的第一图片进行解码的方法和解码器。该方法包括获得(601)指示符值,该指示符值指示符合配置文件。该方法包括确定(603)视频比特流中的第一图片是否是静态图片。该方法包括:响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片(705),确定符合第一配置文件的解码器能够对视频比特流的第一图片进行解码。

Description

确定对视频比特流中的第一图片进行解码的能力
技术领域
本申请涉及用于视频编码和解码的方法和装置。
背景技术
HEVC和VVC
高效视频编码(HEVC)是由ITU-T(国际电信联盟的电信标准化部门)和MPEG(运动图像专家组)标准化的基于块的视频编解码器,该视频编解码器利用时间预测和空间预测两者。使用来自当前图片内的帧内(I)预测来实现空间预测。根据先前解码的参考图片,使用块级别上的单向(P)帧间预测或双向(B)帧间预测来实现时间预测。在编码器中,原始像素数据与预测像素数据之间的差值(被称为残差)变换到频域、被量化,然后被熵编码(在与诸如预测模式和运动向量之类也被熵编码的必要预测参数一起被发送之前)。解码器执行熵解码、逆量化和逆变换以获得残差,然后将残差添加到帧内预测或帧间预测以重构图片。
MPEG和ITU-T正在联合视频探索小组(JVET)内研究HEVC的后继者。这个正在开发的视频编解码器的名称是多功能视频编码(VVC)。VVC规范的当前版本是JVET-S0152-v5。
分量
视频序列包括一系列图像,其中每个图像包括一个或多个分量。每个分量可以描述为样本值的二维矩形阵列。通常,视频序列中的图像通常包括三个分量;一个是亮度分量Y,其中样本值是亮度值;以及两个色度分量Cb和Cr,其中样本值是色度值。通常,色度分量的尺寸在每个维度上是亮度分量的一半。例如,高清(HD)图像的亮度分量的尺寸将是1920x1080,而色度分量的尺寸将各自具有960x540的尺寸。色度分量有时被称为颜色分量。
块和单元
块是样本的二维阵列。在视频编码中,将每个分量分割成块,并且编码的视频比特流包括一系列块。通常,在视频编码中,图像被分割成覆盖图像的特定区域的单元。每个单元包括来自构成该特定区域的所有分量的所有块,并且每个块属于一个单元。H.264中的宏块和高效视频编码(HEVC)中的编码单元(CU)以及当前版本的VVC是单元的示例。CU可以递归地分割成更小的CU。顶层处的CU被称为编码树单元(CTU)。
块可以备选地被定义为应用了用于编码的变换的二维阵列。这些块被称为“变换块”。备选地,块可以被定义为应用了单个预测模式的二维阵列。这些块可以被称为“预测块”。在本申请中,术语“块”不与这些定义中的任一特定定义相关联,因为本文的描述可以适用于任一定义。
NAL单元
HEVC和VVC都定义了网络抽象层(NAL)。所有数据(即,HEVC和VVC中的视频编码层(VCL)或非VCL数据两者)被封装在NAL单元中。VCL NAL单元包含表示图片样本值的数据。非VCL NAL单元包含附加的相关数据,例如,参数集和补充增强信息(SEI)消息。HEVC和当前版本的VVC中的NAL单元以被称为NAL单元头的头部开始。用于HEVC和当前版本的VVC的NAL单元头的语法以forbidden_zero_bit开始,该forbidden_zero_bit应该始终等于0,以防止开始代码仿真。如果没有该forbidden_zero_bit,则一些MPEG系统可能将HEVC视频比特流和VVC视频比特流与其他数据混淆,但NAL单元头中的0比特使得所有可能的HEVC比特流和VVC比特流唯一地可识别为HEVC比特流或VVC比特流。nal_unit_type、nuh_layer_id和nuh_temporal_id_plus1码字指定NAL单元的NAL单元类型,该NAL单元类型标识出NAL单元中携带什么类型的数据、以及NAL单元所属的层ID、时间ID。NAL单元类型指示并指定应如何解析和解码NAL单元。当前版本的VVC中的NAL单元头(如表1所示)与HEVC中的NAL单元头非常相似,但nal_unit_type少使用1个比特,而保留该比特以供将来使用。
NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流包括一系列级联的NAL单元。
Figure BDA0003985835520000031
表1–VVC NAL单元头部语法
在查看NAL单元头之后,解码器或比特流解析器可以得出应如何处理NAL单元(例如,进行解析和解码)的结论。NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流包括一系列级联的NAL单元。
解码顺序是NAL单元应该被解码的顺序,该顺序与比特流内的NAL单元的顺序相同。解码顺序可以与输出顺序不同,输出顺序是要由解码器输出例如用于显示的解码图片的顺序。
NAL单元类型指示并定义应如何解析和解码NAL单元。VCL NAL单元提供关于当前图片的图片类型的信息。当前版本的VVC草案的NAL单元类型如表2所示。
Figure BDA0003985835520000032
Figure BDA0003985835520000041
Figure BDA0003985835520000051
表2–当前版本的VVC草案中的NAL单元类型
时间层
在HEVC和当前版本的VVC草案中,所有图片都与TemporalId值相关联,该TemporalId值指定图片所属的时间层。TemporalId值是从NAL单元头中的nuh_temporal_id_plus1语法元素解码的。在HEVC中,编码器需要设置TemporalId值,使得当丢弃较高时间层时,属于较低层的图片可被完美解码。例如,假设编码器已经使用时间层0、1和2输出比特流。然后移除所有第2层NAL单元或移除所有第1层NAL单元和第2层NAL单元将导致比特流可以毫无问题地被解码。这是通过编码器必须遵守的HEVC规范和VVC规范中的限制来确保的。例如,不允许时间层的图片参考更高时间层的图片。
图片单元、访问单元和访问单元定界符
当前版本的VVC中的图片单元(PU)被定义为NAL单元的集合,其VCL NAL单元都属于同一层,这些NAL单元根据所指定的分类规则彼此相关联、在解码顺序上是连续的、以及正好包含一个编码图片。在先前版本的VVC中,PU被称为层访问单元。在HEVC中,PU被称为访问单元(AU)。
在VVC中,访问单元是PU的集合,这些PU属于不同的层并包含与用于从解码图片缓冲区(DPB)输出的同一时间相关联(即,具有相同的POC值)的编码图片。
在当前版本的VVC中,访问单元可以以访问单元定界符(AUD)NAL单元开始,该访问单元定界符(AUD)NAL单元指示访问单元的开始和编码图片中允许的切片类型(即,I、I-P或I-P-B)以及访问单元是IRAP还是GDR访问单元。在HEVC中,访问单元以AUD开头是可选的。当前版本的VVC草案中的访问单元定界符NAL单元的语法和语义如下表3所示。
Figure BDA0003985835520000061
表3–当前版本的VVC草案中的访问单元定界符RBSP语法
aud_irap_or_gdr_au_flag等于1指定包含AU定界符的AU是IRAP或GDR AU。aud_irap_or_gdr_au_flag等于0指定包含AU定界符的AU不是IRAP或GDRAU。
aud_pic_type指示包含AU定界符NAL单元的AU中的编码图片的所有切片的sh_slice_type值是表4中针对aud_pic_type的给定值列出的集合的成员。aud_pic_type的值在比特流中应该等于0、1或2。aud_pic_type的其他值被保留以供ITU-T|ISO/IEC将来使用。符合该规范的该版本的解码器应忽略aud_pic_type的保留值。
Figure BDA0003985835520000062
表4–aud_pic_type的解释
层——相关层和独立层
层在VVC中被定义为VCL NAL单元(这些VCL NAL单元都具有特定的nuh_layer_id值)和关联的非VCL NAL单元的集合。
当前版本的VVC中的编码层视频序列(CLVS)被定义为PU的序列,这些PU按照解码顺序由CLVS开始(CLVSS)PU组成,后跟零个或多个不是CLVSS PU的PU,包括所有后续PU直到(但不包括)是CLVSS PU的任何后续PU。
PU、AU和CLVS之间的关系如图1所示。
在当前版本的VVC中,层可以彼此独立编码,即,例如nuh_layer_id为0的层可能无法预测来自例如nuh_layer_id为1的另一层的视频数据。在当前版本的VVC中,也可以使用层之间的相关编码,该相关编码能够支持具有SNR、空间和视图可伸缩性的可伸缩编码。
图片顺序计数(POC)
HEVC中的图片由其图片顺序计数(POC)值(也被称为完整POC值)标识。每个切片包含码字pic_order_cnt_lsb,其对于图片中的所有切片应相同。pic_order_cnt_lsb也被称为完整POC的最低有效位(lsb),因为它是一个固定长度的码字,并且仅通知完整POC的最低有效位。编码器和解码器都跟踪POC并将POC值分配给被编码/解码的每个图片。pic_order_cnt_lsb可以通过4至16个比特通知。在HEVC中使用了变量MaxPicOrderCntLsb,其设置为最大pic_order_cnt_lsb值加1。这意味着:如果使用8比特通知pic_order_cnt_lsb,则最大值为255,并且MaxPicOrderCntLsb设置为2^8=256。图片的图片顺序计数值在HEVC中被称为PicOrderCntVal。通常,当前图片的PicOrderCntVal被简称为PicOrderCntVal。期望POC在最终版本的VVC中以类似的方式工作。
帧内随机访问点(IRAP)图片和编码视频序列(CVS)
HEVC中的帧内随机访问点(IRAP)图片是在其解码过程中不参考除了自身之外的任何图片进行预测的图片。比特流中按照HEVC的解码顺序的第一图片必须是IRAP图片,但IRAP图片也可以稍后附加地出现在比特流中。HEVC指定了三种类型的IRAP图片,即断链访问(BLA)图片、瞬时解码器刷新(IDR)图片、以及干净随机访问(CRA)图片。
HEVC中的编码视频序列(CVS)是访问单元的序列,该访问单元的序列从IRAP访问单元开始,后跟零个或多个AU,直到(但不包括)按照解码顺序的下一个IRAP访问单元。
IDR图片总是启用新的CVS。IDR图片可以具有关联的随机访问可解码前导(RADL)图片。IDR图片没有关联的随机访问跳过前导(RASL)图片。
HEVC中的BLA图片也启用新的CVS,并且对解码过程的影响与IDR图片相同。然而,HEVC中的BLA图片可以包含指定参考图片的非空集合的语法元素。BLA图片可以具有关联的RASL图片,这些图片不是由解码器输出的并且可能不可解码,因为它们可以包含对比特流中可能不存在的图片的参考。BLA图片也可以具有关联的RADL图片,这些图片已被解码。BLA图片在当前版本的VVC中未定义。
CRA图片可以具有关联的RADL或RASL图片。与BLA图片一样,CRA图片可以包含指定参考图片的非空集合的语法元素。对于CRA图片,可以设置标志来指定相关联的RASL图片不是由解码器输出的,因为它们可能不可解码(由于它们可能包含对比特流中不存在的图片的参考)。CRA可以启用CVS。
在当前版本的VVC草案中,CVS是访问单元的序列,该访问单元序列从CVS开始(CVSS)访问单元开始,后跟零个或多个AU,直到(但不包括)解码顺序中的下一个CVSS访问单元。CVSS访问单元可以包含IRAP图片(即,IDR或CRA图片)或渐进解码刷新(GDR)图片。CVS可以包含一个或多个CLVS。
GDR图片本质上用于针对低延迟编码而编码的比特流中的随机访问,在低延迟编码中,完整的IRAP图片会导致过多延迟。GDR图片可以使用渐进帧内刷新,渐进帧内刷新逐个图片地更新视频,其中每个图片仅部分地帧内编码。给定比特流是在GDR图片处被调入,恢复POC计数利用GDR图片进行通知,指定视频何时被完全刷新并准备好输出。VVC中的GDR图片可以启用CVS或CLVS。GDR图片被包括在当前的VVC草案中,但不是HEVC标准的规范部分,而在HEVC标准的规范部分中,GDR图片可以用SEI消息来指示。
切片
HEVC中的切片的构思将图片划分为独立编码的切片,其中对图片中的一个切片的解码独立于同一图片的其他切片。在先前版本的VVC草案规范中,切片被称为拼块组。
切片的一个目的是在数据丢失的情况下启用重新同步。在HEVC中,切片是CTU集合。当前版本的VVC也支持切片,并且可以将VVC图片划分为光栅扫描切片或矩形切片。光栅扫描切片包括多个按光栅扫描顺序的完整拼块。矩形切片包括一起占据图片中的矩形区域的一组拼块或一个拼块内的连续数量的CTU行。每个切片具有包括语法元素的切片头。当解码切片时,使用从这些语法元素解码的切片头值。每个切片被携带在一个VCL NAL单元中。
每个切片具有定义由切片使用的编码类型(即,预测的类型)的切片类型,即切片是帧内预测编码的I切片、单向预测编码的P切片还是双向预测编码的B切片。切片类型用切片头中的slice_type语法元素进行通知,该slice_type语法元素可以具有表5中的以下值之一:
Figure BDA0003985835520000091
表5–与slice_type的名称关联
图片可以由不同切片类型的切片组成。然而,具有特定pic_type值或NAL单元类型的图片可能被限制为仅支持I切片或仅支持I切片和P切片。例如,AUD中具有IRAP NAL单元类型的图片或pic_type等于0的图片应仅包含I切片,并且AUD中pic_type等于1的图片可以仅包含I切片和P切片,而pic_type等于2的图片可以包含任何切片类型的切片(即,I切片、P切片或B切片)。
表6中是示出了在当前版本的VVC中与理解本文所述的发明构思相关的切片头语法部分。
Figure BDA0003985835520000092
Figure BDA0003985835520000101
表6–切片头语法
参数集
HEVC和VVC指定了三种类型的参数集,图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)。PPS包含对于整个图片通用的数据,SPS包含对于编码视频序列(CVS)通用的数据,以及VPS包含对于多个CVS通用的数据(例如,比特流中多层的数据)。
当前版本的VVC还指定了一个附加参数集,即自适应参数集(APS)。APS携带自适应环路滤波器(ALF)工具、亮度映射和色度缩放(LMCS)工具以及缩放列表工具所需的参数。
解码能力信息(DCI)
DCI指定在解码会话期间可能不会改变并且可能有用于解码器了解的信息(例如,允许子层的最大数量)。DCI中的信息对于解码过程的操作不是必需的。在VVC规范的先前草案中,DCI被称为解码参数集(DPS)。在本文的描述中,DCI被定义为参数集。
解码能力信息还包括比特流的一般约束的集合,这些约束在编码工具、NAL单元类型等方面为解码器提供了所期望的比特流信息。在当前版本的VVC中,一般约束信息也可以在VPS或SPS中通知。
图片头
在当前版本的VVC中,编码图片包含图片头。图片头包含对相关图片的所有切片通用的语法元素。在编码图片中仅存在一个切片的情况下,图片头可以在其自己的NAL单元中用NAL单元类型PH_NUT通知或者被包括在切片头中。这由切片头语法元素picture_header_in_slice_header_flag指示,其中等于1的值指定图片头被包含在切片头中,并且等于0的值指定图片头被携带在其自己的NAL单元中。对于不是所有图片都是单切片图片的CVS,每个编码图片之前必须有图片头,该图片头在其自己的NAL单元中通知。HEVC不支持图片头。
表7中示出了在当前版本的VVC中与理解本文所述的发明构思相关的图片头语法和语义的部分。
Figure BDA0003985835520000111
表7–图片头语法
ph_gdr_or_irap_pic_flag等于1指定当前图片是GDR或者IRAP图片。ph_gdr_or_irap_pic_flag等于0指定当前图片不是GDR图片,并且可能是或可能不是IRAP图片。
ph_gdr_pic_flag等于1指定与PH相关联的图片是GDR图片。ph_gdr_pic_flag等于0指定与PH相关联的图片不是GDR图片。当不存在时,ph_gdr_pic_flag的值被推断为等于0。当sps_gdr_enabled_flag等于0时,ph_gdr_pic_flag的值应该等于0。
注释1–当ph_gdr_or_irap_pic_flag等于1并且ph_gdr_pic_flag等于0时,与PH相关联的图片是IRAP图片。
配置文件、层级(tier)和级别
HEVC和VVC中的配置文件被定义为规范的语法的指定子集。
当前的VVC规范包括Main 10配置文件、Main 10静态图片(Still Picture)配置文件、Main 4:4:4 10配置文件和Main 4:4:4 10静态图片(Still Picture)配置文件,其中,10指示支持每像素10位的位深度,并且4:4:4指示支持4:4:4色度采样的像素。Main 10和Main 4:4:4 10是视频配置文件,而Main 10静态图片(Still Picture)和Main 4:4:4 10静态图片(Still Picture)配置文件是静态图片配置文件。HEVC还包含这四个配置文件以及另外一些范围扩展配置文件和可扩展配置文件。
HEVC和VVC将级别定义为对规范的语法元素和变量可能采用的值的约束的已定义集合。针对所有配置文件定义了级别的相同集合,其中,每个级别的定义的大部分方面在不同配置文件之间是通用的。在所指定的约束内,各个实现可以针对每个所支持的配置文件支持不同的级别。
HEVC和VVC将层级定义为施加在比特流中的语法元素的值上的级别约束的特定类别。级别约束嵌套在层级中,并且符合特定层级和级别的解码器能够对符合该级别或低于该级别的任何级别的相同层级或较低层级的所有比特流进行解码。
Main 10和Main 10静态图片(Still Picture)配置文件在当前版本的VVC中被定义如下:
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
-在符合Main 10静态图片(Still Picture)配置文件的比特流中,该比特流应该仅包含一个图片。
-所参考的SPS的sps_chroma_format_idc应该等于0或1。
-所参考的SPS的sps_bitdepth_minus8应该在0至2的范围内,包括0和2。
-在符合Main 10静态图片(Still Picture)配置文件的比特流中,所参考的SPS的max_dec_pic_buffering_minus1[sps_max_sublayers_minus1]应该等于0。
-所参考的SPS的sps_palette_enabled_flag应该等于0。
-在符合Main 10配置文件但不符合Main 10静态图片(Still Picture)配置文件的比特流中,对于所参考的VPS(当可用时)和所参考的SPS中的i的所有值,general_level_idc和sublayer_level_idc[i]不应该等于255(其指示级别15.5)。
-针对第A.4节中的Main 10或Main 10静态图片(Still Picture)配置文件指定的层级和级别约束(当适用时)应该被满足。
比特流符合Main 10配置文件由general_profile_idc等于1来指示。
比特流符合Main 10静态图片(Still Picture)配置文件由general_profile_idc等于3来指示。
注释–当比特流符合Main 10静态图片(Still Picture)配置文件如上文所指定,并且所指示的级别不是15.5级时,比特流符合Main 10配置文件的指示条件也被满足。
在特定层级的特定级别符合Main 10配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合MAIN 10或MAIN 10静态图片(STILL PICTURE)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定的级别的级别。
除了sps_chroma_format_idc可以在0至3的范围内之外,VVC中的Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件以与Main 10和Main 10静态图片(Still Picture)配置文件类似的方式被指定。
发明内容
当前版本的VVC规范的一个问题是:符合Main 10静态图片(Still Picture)配置文件但不符合Main 10配置文件的解码器将无法解码从Main 10视频比特流中提取的IRAP图片,除非所提取的比特流的SPS中的general_profile_idc首先被重写。必须重写比特流以支持该功能是不期望的。
当前版本的VVC规范的另一问题是:即使general_profile_idc被重写到包括多于一个图片的视频比特流的Main 10静态图片(Still Picture)配置文件,该比特流也将不是合法的比特流,因为Main 10静态图片(Still Picture)配置文件要求比特流中仅存在一个图片。为了解码比特流中的第一图片,将需要从比特流中丢弃所有其余图片以使该比特流在解码比特流之前成为一个图片比特流。
根据发明构思的一些实施例,一种用于确定符合第一配置文件的解码器能够对符合第二配置文件的视频比特流的第一图片进行解码的方法包括:获得指示符值,该指示符值指示符合配置文件。该方法包括确定视频比特流中的第一图片是否是静态图片。该方法包括:响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片,确定符合第一配置文件的解码器能够对视频比特流的第一图片进行解码。
可以实现的优点是:不需要重写Main 10比特流以使Main 10静态图片(StillPicture)解码器能够从Main 10比特流解码一个图片。
一些版本的发明构思的另一优点是:想要解码视频比特流的第一图片的程序不必在向兼容的静态图片解码器发送比特流之前首先剥离其余图片。
根据本发明构思的其他实施例,提供了包括本发明构思的上述实施例的类似操作的解码器、计算机程序和计算机程序产品。
附图说明
附图示出了本发明构思的某些非限制性实施例,该附图被包括以提供对本公开的进一步理解,且被并入并构成本申请的一部分。在附图中:
图1是示出了图片单元(PU)、访问单元(AU)和编码层序列(CLVS)之间的关系的图;
图2是示出了用于描述本发明构思的各种实施例的比特流和术语的框图;
图3是示出了根据本发明构思的一些实施例的可以在其中实现编码器和解码器的系统环境的示例框图;
图4是示出了根据一些实施例的解码器框图;
图5是示出了根据一些实施例的编码器框图;以及
图6至图13是示出了根据本发明构思的一些实施例的解码器操作的流程图。
具体实施方式
在下文中,将参考附图更全面地描述本发明构思,在附图中示出了本发明构思的实施例的示例。然而,本发明构思可以用多种不同形式来体现,并且不应当被解释为限于本文中所阐述的实施例。相反,提供这些实施例使得本公开将全面和完整,并且将本发明构思的范围充分传达给本领域技术人员。还应注意,这些实施例并不互相排斥。来自一个实施例的组成部分可以被默认假设为存在于/用于另一实施例中。
以下描述呈现了所公开主题的各种实施例。这些实施例被呈现为教导示例,并且不被解释为限制所公开主题的范围。例如,在不脱离所述主题的范围的情况下,可以修改、省略或扩展所述实施例的某些细节。
本发明构思的各种实施例提供了一种方法,该方法用于:如果(例如,从比特流中的参数集中的语法元素解码的)指示符值指示比特流符合配置文件B(例如,视频配置文件),并且确定比特流的第一图片是静态图片(例如,IRAP图片),则确定视频比特流符合配置文件A(例如,静态图片配置文件)。
在本发明构思的一个实施例中,通过确定第一图片中所有VCL NAL单元的NAL单元类型是IRAP NAL单元类型来确定第一图片是IRAP图片。
在本发明构思的另一实施例中,根据从图片头或访问单元定界符中的语法元素解码的值来确定第一图片是IRAP图片。
图2中还示出了用于描述本发明构思的术语。图2中的虚线指示该框在VVC中是可选的。比特流1携带一个或多个编码图片。与编码图片相关联的NAL单元的集合在当前版本的VVC中,并且被称为图片单元(PU)2。在每个编码视频序列(CVS)的开始,VVC比特流可以以解码能力信息(DCI)12开始,后跟视频参数集(VPS)13、序列参数集(SPS)14和图片参数集(PPS)15。PPS 14也可以在任何编码图片之前通知。PU2必须包括至少一个编码切片22,该编码切片22包括切片头(SH)31和切片数据32。PU2必须包括一个图片头(PH)21。在当前版本的VVC中,PH21可以在其自己的NAL单元中或在与切片22相同的NAL单元中(更具体地,在SH31中)通知。访问单元定界符(AUD)11可以作为访问单元中的第一NAL单元通知。
尽管本发明构思应主要通过VVC中所使用的术语来描述,但本领域的技术人员应当理解,本发明构思也可以适用于其他当前和未来的视频编解码器。
“静态图片”被定义为单个静态图片。编码的静态图片总是帧内编码的,即,不从除了自身之外的任何其他图片进行预测。这意味着图片中的所有块都是帧内编码块,并且编码的静态图片中不存在使用来自任何其他图片的预测的数据。静态图片可以从运动图片的集合中提取,即,从视频中提取。
预测图片被定义为从除了自身之外的另一图片进行预测的编码图片。
术语“外部方式”被定义为不是在比特流中提供而是通过一些其他方式(例如,经由可能在不同数据通道中提供的元数据,作为解码器中的常数等)提供的信息。HEVC和VVC两者允许通过外部方式提供某些信息(例如,参数集)。
在更详细地描述实施例之前,图3示出了如本文所述的分别可以用于编码和解码比特流的编码器300和解码器306的操作环境的示例。编码器300从网络302和/或存储设备304接收视频并将视频编码为比特流(如下所述),并且经由网络308向解码器306发送编码的视频。存储设备304可以是多声道音频信号的存储库(例如,商店或流式视频服务的存储库、单独的存储组件、移动设备的组件等)的一部分。解码器306可以是具有媒体播放器312的设备310的部分。设备310可以是移动设备、机顶设备、台式计算机等。
图4是示出了根据本发明构思的一些实施例的被配置为对视频帧进行解码的解码器306的元件的框图。如图所示,解码器306可以包括被配置为提供与其他设备/实体/功能/等的通信的网络接口电路405(也被称为网络接口)。解码器306还可以包括耦接到网络接口电路405的处理器电路401(也被称为处理器)以及耦接到处理器电路的存储器电路403(也被称为存储器)。存储器电路403可以包括计算机可读程序代码,该计算机可读程序代码当由处理器电路401执行时使处理器电路执行根据本文公开的实施例的操作。
根据其他实施例,处理器电路401可以被定义为包括存储器,使得不需要单独的存储器电路。如本文所讨论的,解码器306的操作可以由处理器401和/或网络接口405执行。例如,处理器401可以控制网络接口405从编码器300接收通信。此外,模块可以存储在存储器403中,并且这些模块可以提供指令,使得当处理器401执行模块的指令时,处理器401执行相应操作和/或使解码器306或其他节点/功能执行相应操作。根据一些实施例,解码器306和/或其一个或多个元件/功能可以体现为一个或多个虚拟节点和/或一个或多个虚拟机。
图5是示出了根据本发明构思的一些实施例的被配置为对视频帧进行编码的编码器300的元件的框图。如图所示,编码器300可以包括被配置为提供与其他设备/实体/功能/等的通信的网络接口电路505(也被称为网络接口)。编码器300还可以包括耦接到网络接口电路505的处理器电路501(也被称为处理器)以及耦接到处理器电路的存储器电路503(也被称为存储器)。存储器电路503可以包括计算机可读程序代码,该计算机可读程序代码当由处理器电路501执行时使处理器电路执行根据本文公开的实施例的操作。
根据其他实施例,处理器电路501可以被定义为包括存储器,使得不需要单独的存储器电路。如本文所讨论的,编码器300的操作可以由处理器501和/或网络接口505执行。例如,处理器501可以控制网络接口505向解码器306发送通信和/或通过网络接口505从一个或多个其他网络节点/实体/服务器(例如,其他编码器节点、库服务器等)接收通信。此外,模块可以存储在存储器503中,并且这些模块可以提供指令,使得当模块的指令由处理器501执行时,处理器501执行相应的操作。根据一些实施例,编码器300和/或其一个或多个元件/功能可以体现为一个或多个虚拟节点和/或一个或多个虚拟机。
如先前所指示的,当前VVC规范的一个问题是:符合Main 10静态图片(StillPicture)配置文件但不符合Main 10配置文件的解码器将无法解码从Main 10视频比特流中提取的IRAP图片,除非所提取的比特流的SPS中的general_profile_idc首先被重写。必须重写比特流以支持该功能是不期望的。
当前VVC规范的另一问题是:即使general_profile_idc被重写到包括多于一个图片的视频比特流的Main 10静态图片(Still Picture)配置文件,该比特流也将不是合法的比特流,因为Main 10静态图片(Still Picture)配置文件要求比特流中仅存在一个图片。为了解码比特流中的第一图片,将需要从比特流中丢弃所有其余图片以使该比特流在解码比特流之前成为一个图片比特流。
在下面的描述中,术语配置文件A、配置文件B和配置文件C将用于区分存在于比特流(例如,视频比特流)中的各种配置文件。
在本发明构思的第一实施例中,如果(例如,在比特流中的参数集中的语法元素编码的或通过外部方式提供的)指示符值指示比特流符合配置文件B(例如,视频配置文件),并且确定比特流的第一图片是静态图片(例如,IRAP图片),则该视频比特流被确定为符合配置文件A(例如,静态图片配置文件)。
编码器可以执行以下步骤的子集或所有步骤以指示视频比特流符合配置文件A(其中,配置文件A可以是静态图片配置文件):
1.对比特流中的语法元素中(例如,参数集中)的指示符值进行编码,其中,指示符值指示符合配置文件A或配置文件B(例如,视频配置文件)。语法元素例如可以是general_profile_idc。
2.将静态图片编码为比特流,并在静态图片中通知它是静态图片(例如,通过将静态图片的所有VCL NAL单元的NAL单元类型设置为IRAP NAL单元类型,或通过在图片头或AUD中通知一个或多个值,其指示该图片是IRAP图片)
提取器可以执行以下步骤的子集或所有步骤以从符合配置文件B的视频比特流中提取图片以符合配置文件A:
1.从比特流中提取参数集。
2.从比特流中的语法元素(例如,从参数集中)解码指示符值,其中,指示符值指示符合特定配置文件。语法元素例如可以是general_profile_idc。
3.确定指示符值指示比特流符合配置文件A或配置文件B。
4.从比特流中提取与参数集(如果参数集是从比特流中提取的)相关联的静态图片(例如,IRAP图片)。
5.将所提取的参数集和所提取的静态图片进行组合以形成静态图片比特流
解码器可以执行以下步骤的子集或所有步骤以确定视频比特流是否符合配置文件A(其中,配置文件A可以是静态图片配置文件):
1.获得指示符值,其中,该指示符值指示符合特定配置文件。该指示符值可以从比特流中的语法元素(例如,从参数集)解码或通过外部方式提供。语法元素例如可以是general_profile_idc。
2.根据比特流中的第一图片来确定第一图片是否是静态图片
3.响应于指示符值指示配置文件B(其中配置文件B可以是视频配置文件)并且第一图片被确定为是静态图片:
a.确定比特流符合配置文件A
b.使用符合配置文件A的解码器来解码比特流
4、响应于指示符值指示配置文件C(其中配置文件C是与配置文件A和配置文件B不同的配置文件)或第一图片不是静态图片(即,它是预测图片):
a.确定比特流不符合配置文件A。
在解码器可以执行的上述步骤中,“静态图片”是指不依赖于(例如,预测自)任何其他图片的图像或图片,例如IRAP图片。
以上步骤不必按顺序,并且部分步骤可以被省略。例如,解码器可以选择首先检查指示符值是否指示符合配置文件B。如果比特流符合配置文件B,则解码器在确定比特流是否符合配置文件A之前,还检查第一图片是否是静态图片。否则(如果比特流不符合配置文件B),解码器跳过检查第一图片是否是静态图片的步骤,并且直接确定比特流不符合配置文件A。
在第一实施例的一个版本中,静态图片是IRAP图片,即,根据比特流中的第一图片确定第一图片是否是静态图片包括:确定第一图片是否是IRAP图片。
在该实施例的另一版本中,静态图片可以是不从其他图片预测的任何类型的图片。这种图片的示例是即时刷新(即,恢复POC计数等于0)的GDR图片。这种图片的更一般的示例是图片类型指示它是预测图片的图片,但该图片是完全帧内编码的。
在该第一实施例的另一版本中,确定比特流符合配置文件A附加地包括:验证第一图片是比特流的唯一图片。解码器可以通过以下方式检查图片是否是比特流中的唯一图片:
-从比特流(例如,从参数集、图片头或切片头)获得指示该图片是否是比特流中的唯一图片的指示符值。
-通过外部方式获得该图片是比特流中唯一图片的信息。
-解析比特流以检测比特流是否包括多于一个图片(例如,通过识别POC不同于第一图片的NAL单元或识别属于第二图片的AUD)或者第一图片是否是比特流中的唯一的图片(例如,通过在第一图片之后直接获得具有NAL单元类型EOB_NUT的NAL单元,或者解析到比特流的末尾而不识别除了第一图片之外的另一图片)
在该第一实施例的另一版本中,符合静态图片配置文件A而不是配置文件B的解码器将能够对包括多于一个图片的配置文件B视频比特流的第一图片(而不是其余图片)进行解码。
在该第一实施例的又另一变型中,执行以下步骤以确定视频比特流符合静态图片配置文件A:
1.获得指示符值,其中,该指示符值指示符合不是静态图片配置文件A的视频配置文件B。
2.确定视频比特流中的第一图片是静态图片。在一个版本中,这包括确定第一图片是IRAP图片。
3.响应于指示符值指示符合不是静态图片配置文件的视频配置文件B并且视频比特流中的第一图片被确定为是静态图片,确定比特流符合静态图片配置文件A。
在根据第一实施例的第二实施例中,通过检查第一图片中的每个VCL NAL单元的NAL单元类型来确定第一图片是否是IRAP图片。这可以通过针对NAL单元头扫描比特流的第一图片并确定每个NAL单元类型具有对应于IRAP类型的值来进行。在VVC中,IRAP NAL单元类型是IDR_W_RADL、IDR_N_LP和CRA_NUT。
下面示出了当前VVC规范中的Main 10和Main 10静态图片(Still Picture)配置文件的定义可以如何根据该实施例进行更改的示例,其中,添加的文本为斜体和粗体:
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件或者比特流被指示符合Main 10配置文件并且比特流仅包含一个图片以及所有VCL NAL单元的nal_unit_type在IDR_W_RADL至CRA_NUT的范围内,包括DR_W_RADL和CRA_NUT。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
下面示出了当前VVC规范中的Main 10和Main 10静态图片(Still Picture)配置文件的定义可以如何根据该实施例进行更改的另一示例,其中,添加的文本为斜体和粗体:除了前面的示例之外,在此示例中,Main 10静态图片(Still Picture)配置文件支持对包括多于一个图片的视频比特流的第一IRAP图片进行解码:
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流的第一图片:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件或者比特流被指示符合Main 10配置文件并且比特流的第一图片的所有VCL NAL单元的nal_unit_type在IDR_W_RADL至CRA_NUT的范围内,包括IDR_W_RADL和CRA_NUT。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
当前VVC规范中的Main 10、Main 10静态图片(Still Picture)、Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件的定义可以如何更改的其他示例在提供给ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11-第19次会议:电话会议,2020年6月22日至7月1日的联合视频专家组(JVET)的提案中。
根据该提案,包含单个IRAP图片并符合Main 10配置文件的比特流也符合Main 10静态图片(Still Picture)配置文件。同样,包含单个IRAP图片并符合Main 4:4:4 10配置文件的比特流也符合Main 4:4:4 10静态图片(Still Picture)配置文件。关于该提案的更多详细信息在以下段落中进行了描述。
在本发明构思的第三实施例中,确定第一图片是否是静态图片是根据从比特流中的第一图片的图片头(或切片头)中的一个或多个语法元素解码的一个或多个值来确定的。
Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件的定义可以如何更改的示例如下所示,其中,添加的文本为斜体和粗体:
符合Main 4:4:4 10或Main 4:4:4 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
在特定层级的特定级别符合Main 4:4:4 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示为
■符合Main 4:4:4 10静态图片(Still Picture)或Main 10静态图片(StillPicture)配置文件;或
■符合Main 10配置文件并且比特流仅包含一个图片以及所有VCL NAL单元的nal_unit_type在IDR_W_RADL至CRA_NUT的范围内,包括DR_W_RADL和CRA_NUT;或
■符合Main 4:4:4 10配置文件并且比特流仅包含一个图片以及所有VCL NAL单元的nal_unit_type在IDR_W_RADL至CRA_NUT的范围内,包括DR_W_RADL和CRA_NUT。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
下面示出了当前VVC规范中的Main 10和Main 10静态图片(Still Picture)配置文件的定义可以如何根据该实施例进行更改的示例,其中,添加的文本为斜体和粗体:
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件或比特流被指示符合Main 10配置文件并且比特流仅包含一个图片以及ph_gdr_or_irap_pic_flag等于1且ph_gdr_pic_flag等于0。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
当前VVC规范中的Main 10、Main 10静态图片(Still Picture)、Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件的定义可以如何更改的其他示例在提供给ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11-第19次会议:电话会议,2020年6月22日至7月1日的联合视频专家组(JVET)的提案中,该提案的详情如下。
在另一示例中,图片头包括仅指示图片是否是IRAP图片的新标志。该标志例如可以被称为ph_irap_pic_flag并且当前VVC规范中的Main10和Main 10静态图片(StillPicture)配置文件的定义可以被更改(如下所示),其中,添加的文本为斜体和粗体:
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
-在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件或比特流被指示符合Main 10配置文件并且比特流仅包含一个图片以及ph_irap_pic_flag等于1。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件
符合Main 4:4:4 10或Main 4:4:4 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
……
-在特定层级的特定级别符合Main 4:4:4 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示为
■符合Main 4:4:4 10静态图片(Still Picture)或Main 10静态图片(StillPicture)配置文件;或
■符合Main 10配置文件并且比特流仅包含一个图片以及ph_gdr_or_irap_pic_flag等于1且ph_gdr_pic_flag等于0;或
■符合Main 4:4:4 10配置文件并且比特流仅包含一个图片以及ph_gdr_or_irap_pic_flag等于1且ph_gdr_pic_flag等于0。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
VVC中的当前配置文件定义
VVC中的配置文件在JVET-S0152-v5中被定义如下。
Main 10和Main 10静态图片(Still Picture)配置文件
符合Main 10或Main 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
-在符合Main 10静态图片(Still Picture)配置文件的比特流中,该比特流应该仅包含一个图片。
-所参考的SPS的sps_chroma_format_idc应该等于0或1。
-所参考的SPS的sps_bitdepth_minus8应该在0至2的范围内,包括0和2。
-在符合Main 10静态图片(Still Picture)配置文件的比特流中,所参考的SPS的max_dec_pic_buffering_minus1[sps_max_sublayers_minus1]应该等于0。[Ed.(YK):也许最好不要对Main 10静态图片(Still Picture)配置文件有此约束,使得当从Main 10比特流中提取帧内图片以形成Main 10静态图片(Still Picture)比特流时,提取器/“编码器”不必更改SPS中的max_dec_pic_buffering_minus1[]的值。]
-所参考的SPS的sps_palette_enabled_flag应该等于0。
-在符合Main 10配置文件但不符合Main 10静态图片(Still Picture)配置文件的比特流中,对于所参考的VPS(当可用时)和所参考的SPS中的i的所有值,general_level_idc和sublayer_level_idc[i]不应该等于255(其指示级别15.5)。
-针对第A.4节中的Main 10或Main 10静态图片(Still Picture)配置文件指定的层级和级别约束(当适用时)应该被满足。
比特流符合Main 10配置文件由general_profile_idc等于1来指示。
比特流符合Main 10静态图片(Still Picture)配置文件由general_profile_idc等于3来指示。
注释–当如上文所指定比特流符合Main 10静态图片(Still Picture)配置文件,并且所指示的级别不是15.5级时,比特流符合Main 10配置文件的指示条件也被满足。
在特定层级的特定级别符合Main 10配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10或Main 10静态图片(Still Pictur e)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
在特定层级的特定级别符合Main 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 10静态图片(Still Picture)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
Main 4:4:4 10和Main 4:4:4 10静态图片(Still Picture)配置文件
符合Main 4:4:4 10或Main 4:4:4 10静态图片(Still Picture)配置文件的比特流应该遵守以下约束:
-在符合Main 10静态图片(Still Picture)配置文件的比特流中,该比特流应该仅包含一个图片。
-所参考的SPS的sps_chroma_format_idc应该在0至3的范围内,包括0和3。
-所参考的SPS的sps_bitdepth_minus8应该在0至2的范围内,包括0和2。
-在符合Main 4:4:4 10静态图片(Still Picture)配置文件的比特流中,所参考的SPS的max_dec_pic_buffering_minus1[sps_max_sublayers_minus1]应该等于0。[Ed.(YK):也许最好不要对Main 4:4:4 10静态图片(Still Picture)配置文件有此约束,使得当从Main 4:4:4 10比特流中提取帧内图片以形成Main 4:4:4 10静态图片(StillPicture)比特流时,提取器/“编码器”不必更改SPS中的max_dec_pic_buffering_minus1[]的值。]
-在符合Main 4:4:4 10配置文件但不符合Main 4:4:4 10静态图片(StillPicture)配置文件的比特流中,对于所参考的VPS(当可用时)和所参考的SPS中的i的所有值,general_level_idc和sublayer_level_idc[i]不应该等于255(其指示级别15.5)。
-针对第A.4节中的Main 4:4:4 10或Main 4:4:4 10静态图片(Still Picture)配置文件指定的层级和级别约束(当适用时)应该被满足。
比特流符合Main 4:4:4 10配置文件由general_profile_idc等于2来指示。
比特流符合Main 4:4:4 10静态图片(Still Picture)配置文件由general_profile_idc等于4来指示。
注释–当如上文所指定比特流符合Main 4:4:4 10静态图片(Still Picture)配置文件,并且所指示的级别不是15.5级时,比特流符合Main 4:4:4 10配置文件的指示条件也被满足。
在特定层级的特定级别符合Main 4:4:4 10配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 4:4:4 10,Main 10,Main 4:4:4 10静态图片(StillPicture),Main 10静态图片(Still Picture)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
在特定层级的特定级别符合Main 4:4:4 10静态图片(Still Picture)配置文件的解码器应能够解码适用所有以下条件的所有比特流:
-比特流被指示符合Main 4:4:4 10静态图片(Still Picture)或Main 10静态图片(Still Picture)配置文件。
-比特流被指示符合低于或等于所指定层级的层级。
-比特流被指示符合不是级别15.5且低于或等于所指定级别的级别。
在本发明构思的可选实施例中,确定第一图片是否是静态图片是根据从第一图片的访问单元的访问单元定界符(AUD)中的语法元素解码的值来确定的。语法元素例如可以是指定访问单元是否包括静态图片(例如,IRAP或GDR访问单元)的标志(例如,aud_irap_or_gdr_au_flag)。在另一版本中,AUD中的语法元素仅指定图片是否是IRAP图片。
现在将参考根据本发明构思的一些实施例的图6至图13的流程图来讨论解码器306(使用图4的框图的结构来实现)的操作。例如,模块可以存储在图4的存储器403中,并且这些模块可以提供指令,使得当模块的指令由相应的通信设备处理电路401执行时,处理电路401执行流程图的相应操作。
转向图6,在框601中,框601中的处理电路401获得指示符值,该指示符值指示符合配置文件。例如,该指示符值可以指示视频比特流符合第一配置文件、第二配置文件或第三配置文件。
转向图8,在本发明构思的一个实施例中,在块801中,处理电路401可以从比特流中的语法元素获得指示符值。
在本发明构思的另一实施例中,在框803中,处理电路401可以从解码能力信息(DCI)中或参数集中的语法元素中获得指示符值。参数集可以是视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)等之一。
在本发明构思的又另一实施例中,在框805中,处理电路401可以通过外部方式获得指示符值。外部方式可以是在与视频比特流不同的数据通道中提供的元数据,作为解码器中的常数等。
返回到图6,在框603中,处理电路401确定视频比特流中的第一图片是否是静态图片。在本发明构思的一个实施例中,处理电路401可以通过确定视频比特流中的第一图片是否是帧内随机访问点(IRAP)图片来确定第一图片是否是静态图片。备选地,处理电路401可以通过从语法元素获得一个或多个值来确定视频比特流中的第一图片是否是静态图片,其中,来自语法元素的值指定视频比特流中的第一图片是否是静态图片。语法元素可以存在于视频比特流中。在另一示例中,语法元素不存在于视频比特流中,而是通过外部方式获得的,例如从与视频比特流不同的数据通道获得的。
转向图9,在本发明构思的另一实施例中,处理电路401可以通过以下方式确定第一图片是否是静态图片来确定第一图片是否是静态图片:在框901中,获得第一图片的每个视频编码层网络抽象层NAL单元的NAL单元类型,并且在框903中,确定第一图片的所有视频编码层NAL单元具有表示帧内随机接入点IRAP图片的NAL单元类型。
转向图10,在本发明构思的另一实施例中,处理电路401可以通过以下方式确定第一图片是否是静态图片来确定第一图片是否是静态图片:在框1001中,从来自第一图片的图片头、来自第一图片的切片头、或来自与第一图片相关联的访问单元定界符(AUD)的一个或多个语法元素解码一个或多个值,并且在框1003中,根据该一个或多个值来确定该图片是否是静态图片。这些值可以仅从图片头解码,或仅从切片头解码,或从来自图片头和切片头两者的语法元素的组合解码。
在本发明构思的又另一实施例中,处理电路401可以通过确定第一图片是否是恢复图片顺序计数(POC)计数等于0的渐进解码刷新(GDR)图片来确定第一图片是否是静态图片。
在本发明构思的又另一实施例中,处理电路401可以确定第一图片是否是静态图片包括从语法元素获得一个或多个值,其中,来自语法元素的值指定视频比特流中的第一图片是否是静态图片。
返回到图6,在框605中,响应于指示符值指示符合第二配置文件并且第一图片是静态图片,处理电路401确定比特流符合第一配置文件。在图7所示的其他实施例中,在框705中,响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片,处理电路401确定符合第一配置文件的解码器能够对视频比特流的第一图片进行解码。换言之,解码器将能够对视频比特流的第一图片进行解码。第一配置文件可以是静态图片配置文件。第二配置文件可以是视频配置文件和/或不同于第一配置文件。
在框607中,处理电路401可以:响应于指示符值指示符合第二配置文件并且第一图片是静态图片,使用符合第一配置文件的解码器对比特流进行解码。如上所述,在如图7所示的一些实施例中,在框707中,处理电路401可以:响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片,使用符合第一配置文件的解码器对比特流的第一图片进行解码。在这些实施例中,处理电路401可能能够或可能不能解码比特流的其他部分。
在框609中,处理电路401响应于指示符值指示符合第三配置文件或第一图片不是静态图片,不使用符合第一配置文件的解码器对比特流进行解码。换言之,如上所述,在图7所示的一些实施例中,在框709中,处理电路401响应于指示符值指示符合第三配置文件或第一图片被确定为不是静态图片而不使用符合第一配置文件的解码器对比特流的第一图片进行解码。第三配置文件不同于第一配置文件和第二配置文件。
返回到图11,在框1101中,响应于指示符值指示符合第三配置文件或第一图片被确定为不是静态图片,处理电路401确定该视频比特流不符合第一配置文件。这是因为第一图片不符合第一配置文件。在一些实施例中,如图11所示,在框1103中,响应于指示符值指示符合第三配置文件或第一图片被确定为不是静态图片,处理电路401确定解码器可能不能解码视频比特流的第一图片,如上所述。
来自图6的流程图的各种操作对于通信设备和相关方法的一些实施例可以是可选的。例如,关于示例实施例1的方法(如下所述),图6的框607和609的操作可以是可选的。
来自图7的流程图的各种操作对于通信设备和相关方法的一些实施例可以是可选的。例如,在一些实施例中,框707和709的操作可以是可选的。
转向图12,示出了本发明构思的另一实施例以确定视频比特流是否符合第一配置文件。在框1201中,处理电路401确定第一图片是否是比特流中的唯一图片。在框1203中,响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片以及第一图片被确定为是比特流中的唯一图片,处理电路401确定解码器能够对视频比特流的第一图片进行解码。
静态图片可以是不依赖于(例如,不预测自)任何其他图片的图像或图片、IRAP图片、或恢复POC计数等于0的GDR图片中的至少一种。换言之,静态图片可以是不依赖于任何其他图片的图像或图片、不从任何其他图片预测的图像、IRAP图片、或恢复POC计数相等0的GDR图片中的至少一种。
解码器306可以执行作为本发明构思的其他动作,例如形成静态图片比特流。转向图13,在框1301中,处理电路401可以从比特流中提取参数集。在框1303中,处理电路401可以通过从比特流中的语法元素解码指示符值来获得指示符值。在框1305中,响应于指示符值指示比特流符合第一配置文件或第二配置文件,在框1307中,处理电路401可以从比特流中提取与参数集相关联的静态图片,并且在框1309中,组合从比特流中提取的参数集和从比特流中提取的静态图片以形成静态图片比特流,而不将指示符值重写到语法元素。
下面讨论示例实施例。
实施例1.一种用于确定视频比特流符合第一配置文件的方法,该方法包括:
获得(601)指示符值,该指示符值指示符合配置文件;
确定(603)视频比特流中的第一图片是否是静态图片;以及
响应(605)于指示符值指示符合第二配置文件并且第一图片是静态图片,确定比特流符合第一配置文件。
实施例2.根据实施例1所述的方法,还包括:
响应于指示符值指示符合第三配置文件或第一图片被确定为不是静态图片,确定(1101)视频比特流不符合第一配置文件。
实施例3.根据实施例1至2中任一实施例所述的方法,其中,获得指示符值包括:从比特流中的语法元素解码(801)指示符值。
实施例4.根据实施例1至2中任一实施例所述的方法,其中,获得指示符值包括:从解码能力信息DCI或参数集中的语法元素解码(803)指示符值。
实施例5.根据实施例4所述的方法,其中,参数集包括视频参数集VPS、序列参数集SPS或图片参数集PPS之一。
实施例6.根据实施例1至2中任一实施例所述的方法,其中,获得指示符值包括:通过外部方式获得(805)指示符值。
实施例7.根据实施例1至6中任一实施例所述的方法,其中,第一配置文件是静态图片配置文件。
实施例8.根据实施例1至7中任一实施例所述的方法,其中,第二配置文件是视频配置文件。
实施例9.根据实施例1至8中任一实施例所述的方法,其中,第二配置文件不同于第一配置文件。
实施例10.根据实施例2至9中任一实施例所述的方法,其中,第三配置文件不同于第一配置文件和第二配置文件。
实施例11.根据实施例1至10中任一实施例所述的方法,还包括:响应于指示符值指示符合第二配置文件并且第一图片是静态图片,使用符合第一配置文件的解码器对比特流进行解码(607)。
实施例12.根据实施例2至11中任一实施例所述的方法还包括:响应于指示符值指示符合第三配置文件或第一图片不是静态图片,不使用符合第一配置文件的解码器对比特流进行解码(609)。
实施例13.根据实施例1至12中任一实施例所述的方法,其中,确定视频比特流中的第一图片是否是静态图片包括:确定第一图片是否是帧内随机访问点IRAP图片。
实施例14.根据实施例1至12中任一实施例所述的方法,其中,确定视频比特流中的第一图片是否是静态图片包括:从语法元素获得一个或多个值,其中,来自语法元素的值指定视频比特流中的第一图片是否是静态图像。
实施例15.根据实施例1至12中任一实施例所述的方法,其中,确定第一图片是否是静态图片包括:通过以下方式确定第一图片是静态图片:
获得(901)第一图片的每个视频编码层网络抽象层NAL单元的NAL单元类型;以及
确定(903)第一图片的所有视频编码层NAL单元具有表示帧内随机访问点IRAP图片的NAL单元类型。
实施例16.根据实施例1至12中任一实施例所述的方法,其中,确定第一图片是否是静态图片包括:通过以下方式确定第一图片是静态图片:
从来自第一图片的图片头或第一图片的切片头的一个或多个语法元素解码(1001)一个或多个值;以及
根据该一个或多个值来确定(1003)该图片是静态图片。
实施例17.根据实施例1至16中任一实施例所述的方法,还包括:
确定(1201)第一图片是否是比特流中的唯一图片;以及
响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片以及第一图片被确定为是比特流中的唯一图片,确定(1203)比特流符合第一配置文件。
实施例18.根据实施例1至17中任一实施例所述的方法,还包括:
从比特流中提取(1301)参数集;
通过从比特流中的语法元素解码指示符值来获得(1303)指示符值;以及
响应于指示符值指示(1305)比特流符合第一配置文件或第二配置文件:
从比特流中提取(1307)与参数集相关联的静态图片;以及
将从比特流中提取的参数集与从比特流中提取的静态图片进行组合(1309)以形成静态图片比特流,而不将指示符值重写到语法元素。
实施例19.一种用于确定视频比特流符合第一配置文件的解码器(306),该解码器适于执行操作,该操作包括:
获得(601)指示符值,该指示符值指示符合配置文件;
确定(603)视频比特流中的第一图片是否是静态图片;以及
响应于指示符值指示符合第二配置文件并且第一图片是静态图片,确定(605)比特流符合第一配置文件。
实施例20.根据实施例19所述的解码器(306),其中,解码器还适于执行根据实施例2至18中任一实施例所述的操作。
实施例21.一种用于确定视频比特流符合第一配置文件的解码器(306),该解码器包括:
处理电路(401);以及
存储器(403),与处理电路耦接,其中,存储器包括指令,该指令当由处理电路执行时使解码器执行操作,该操作包括:
获得(601)指示符值,该指示符值指示符合配置文件;
确定(603)视频比特流中的第一图片是否是静态图片;以及
响应于指示符值指示符合第二配置文件并且第一图片是静态图片,确定(605)比特流符合第一配置文件。
实施例22.根据实施例21所述的解码器,其中,存储器包括其他指令,该其他指令当由处理电路执行时使解码器执行其他操作,该其他操作包括:
响应于指示符值指示符合第三配置文件或第一图片被确定为不是静态图片,确定(1101)视频比特流不符合第一配置文件。
实施例23.根据实施例21至22中任一实施例所述的解码器,其中,在获得指示符值时,存储器包括其他指令,该其他指令当由处理电路执行时,使解码器执行其他操作,该其他操作包括:从比特流中的语法元素解码指示符值。
实施例24.根据实施例21至22中任一实施例所述的解码器,其中,在获得指示符值时,存储器包括其他指令,该其他指令当由所述处理电路执行时,使解码器执行其他操作,该其他操作包括:从解码能力信息DCI或参数集中的语法元素解码(803)指示符值。
实施例25.根据实施例24所述的解码器,其中,参数集包括视频参数集VPS、序列参数集SPS或图片参数集PPS之一。
实施例26.根据实施例22至25中任一实施例所述的解码器,其中,在获得指示符值时,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括:通过外部方式获得(805)指示符值。
实施例27.根据实施例21至26中任一实施例所述的解码器,其中,第一配置文件是静态图片配置文件。
实施例28.根据实施例21至27中任一实施例所述的解码器,其中,第二配置文件是视频配置文件。
实施例29.根据实施例21至28中任一实施例所述的方法,其中,第二配置文件不同于第一配置文件。
实施例30.根据实施例22至29中任一实施例所述的解码器,其中,第三配置文件不同于第一配置文件和第二配置文件。
实施例31.根据实施例21至30中任一项所述的解码器,其中,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括:响应于指示符值指示符合第二配置文件并且第一图片是静态图片,使用符合第一配置文件的解码器对比特流进行解码(607)。
实施例32.根据实施例21至31中任一实施例所述的解码器,其中,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括:响应于指示符值指示符合第三配置文件或第一图片不是静态图片,不使用符合第一配置文件的解码器对比特流进行解码(609)。
实施例33.根据实施例21至32中任一实施例所述的解码器,其中,在确定视频比特流中的第一图片是否是静态图片时,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括:确定第一图片是否是帧内随机访问点IRAP图片。
实施例34.根据实施例21至32中任一实施例所述的方法,其中,确定视频比特流中的第一图片是否是静态图片包括:从语法元素获得一个或多个值,其中,来自语法元素的值指定视频比特流中的第一图片是否是静态图像。
实施例35.根据实施例21至32中任一实施例所述的解码器,其中,在确定第一图片是否是静态图片时,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括通过以下方式确定第一图片是静态图片:
获得(901)第一图片的每个视频编码层网络抽象层NAL单元的NAL单元类型;以及
确定(903)第一图片的所有视频编码层NAL单元具有表示IRAP图片的NAL单元类型。
实施例36.根据实施例21至32中任一实施例所述的解码器,其中,在确定第一图片是否是静态图片时,存储器包括其他指令,该其他指令当由所述处理电路执行时,使所述解码器执行其他操作,该其他操作包括通过以下方式确定第一图片是静态图片:
从来自第一图片的图片头或第一图片的切片头的一个或多个语法元素解码(1001)一个或多个值;以及
根据该一个或多个值来确定(1003)该图片是静态图片。
实施例37.根据实施例21至36中任一实施例所述的解码器,其中,存储器包括其他指令,该其他指令当由处理电路执行时使解码器执行其他操作,该其他操作包括:
确定(1201)第一图片是否是比特流中的唯一图片;以及
响应于指示符值指示符合第二配置文件并且第一图片被确定为是静态图片以及第一图片被确定为是比特流中的唯一图片,确定(1203)比特流符合第一配置文件。实施例38.根据实施例21至37中任一实施例所述的解码器,其中,存储器包括其他指令,该其他指令当由处理电路执行时使解码器执行其他操作,该其他操作包括:
从比特流中提取(1301)参数集;
通过从比特流中的语法元素解码指示符值来获得(1303)指示符值;以及
响应于指示符值指示(1305)比特流符合第一配置文件或第二配置文件:
从比特流中提取(1307)与参数集相关联的静态图片;以及
将从比特流中提取的参数集与从比特流中提取的静态图片进行组合(1309)以形成静态图片比特流,而不将指示符值重写到语法元素。
实施例39.一种计算机程序,包括要由解码器(306)的处理电路(401)执行的程序代码,由此该程序代码的执行使解码器(306)执行操作,该操作包括:
获得(601)指示符值,该指示符值指示符合配置文件;
确定(603)视频比特流中的第一图片是否是静态图片;以及
响应于指示符值指示符合第二配置文件并且第一图片是静态图片,确定(605)比特流符合第一配置文件。
实施例40.根据实施例39所述的计算机程序,其中,计算机程序包括要由解码器(306)的处理电路(401)执行的其他程序代码,由此该程序代码的执行使解码器(306)执行根据实施例2至18中任一实施例所述的操作。
实施例41.一种包括非暂时性存储介质的计算机程序产品,该非暂时性存储介质包括要由解码器(306)的处理电路(401)执行的程序代码,由此该程序代码的执行使解码器(306)执行操作,该操作包括:
获得(601)指示符值,该指示符值指示符合配置文件;
确定(603)视频比特流中的第一图片是否是静态图片;以及
响应于指示符值指示符合第二配置文件并且第一图片是静态图片,确定(605)比特流符合第一配置文件。
实施例42.根据实施例41所述的计算机程序产品,其中,非暂时性存储介质包括要由解码器(306)的处理电路(401)执行的另一程序代码,由此该程序代码的执行使解码器(306)执行根据实施例2至18中任一实施例所述的操作。
下面提供了对本公开中使用的各种缩写/首字母缩略词的解释。
缩略语 解释
AU 访问单元
AUD 访问单元定界符
ALF 自适应环路滤波器
APS 自适应参数集
BDOF 双向光流
BLA 断链访问
CLVS 编码层视频序列
CRA 干净随机访问
CVS 编码视频流
CVSS CVS开始
CU 编码单元
DCI 解码能力信息
DMVR 解码器运动矢量细化
DPS 解码参数集
DRAP 相关随机访问点
GDR 渐进解码刷新
HEVC 高效视频编码
IDR 瞬时解码刷新
IRAP 帧内随机接入点
LMCS 亮度映射和色度缩放
MPEG 运动图像专家组
MVD 运动矢量差异
NAL 网络抽象层
NALU NAL单元
NUT NAL单元类型
PPS 图片参数集
RADL 随机访问可解码前导
RAP 随机接入点
RASL 随机访问跳过前导
RBSP 原始字节序列载荷
RPL 参考图片列表
SEI 补充增强层
SPS 序列参数集
STSA 逐步时间层访问
VCL 视频编码层
VPS 视频参数集
VVC 多功能视频编码
参考文献如下:
1.JVET-S0152-v5,Versatile Video Coding,Joint Video Experts Team(多功能视频编码,联合视频专家组)
通常,除非明确给出和/或从上下文中暗示不同的含义,否则本文中使用的所有术语将根据其在相关技术领域中的普通含义来解释。除非另有明确说明,否则对“一/一个/元件、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、步骤等中的至少一个实例。除非必须明确地将一个步骤描述为在另一步骤之后或之前和/或隐含地一个步骤必须在另一步骤之后或之前,否则本文所公开的任何方法的步骤不必以所公开的确切顺序执行。在适当的情况下,本文公开的任何实施例的任何特征可以应用于任何其他实施例。同样地,任何实施例的任何优点可以适用于任何其他实施例,反之亦然。通过下文的描述,所附实施例的其他目的、特征和优点将显而易见。
术语单元在电子、电气设备和/或电子设备领域可以具有常规含义,并且可以包括例如电气和/或电子电路、设备、模块、处理器、存储器、逻辑固态和/或分立设备、用于执行各个任务、过程、计算、输出和/或显示功能等的计算机程序或指令,如例如本文所描述的那些。
在对发明构思的各种实施例的以上描述中,要理解的是,本文使用的术语仅用于描述具体的实施例的目的,而不意图限制发明构思。除非另外定义,否则本文使用的所有术语(包括技术和科学术语)具有发明构思所属领域的普通技术人员通常所理解的相同意义。还应当理解,诸如在通用词典中定义的那些术语之类的术语应被解释为具有与它们在本说明书的上下文和相关技术中的意义相一致的意义,而不被解释为理想或过于表面的意义,除非本文如此明确地定义。
当元件被称为相对于另一元件进行“连接”、“耦接”、“响应”或其变化时,它可以直接连接、耦接到或者响应于其它元件,或者可以存在中间元件。相反,当元件被称作相对于另一元件进行“直接连接”、“直接耦接”、“直接响应”或其变化时,不存在中间元件。贯穿全文,类似附图标记表示类似的元件。此外,本文使用的“耦接”、“连接”、“响应”或其变型可以包括无线耦接、连接或响应。如本文使用的,单数形式“一”,“一个”和“所述”意在还包括复数形式,除非上下文明确地给出相反的指示。为了简洁和/或清楚,可能没对公知的功能或结构进行详细描述。术语“和/或”(缩写为“/”)包括一个或多个相关所列项目的任何和所有组合。
将理解的是,虽然本文中可以使用术语第一、第二、第三等来描述各个元件/操作,但这些元件/操作不应被这些术语限制。这些术语仅用于将一个元素/操作与另一元素/操作相区分。因此,在一些实施例中的第一元件/操作可以在其他实施例中被称作第二元件/操作,而不会脱离本发明构思的教导。贯穿说明书,相同的附图标记或相同的参考符号表示相同或类似的元素。
如本文使用的术语“包括(comprise、comprising、comprises、include、including、includes)”、“具有(have、has、having)”或其变形是开放式的,并且包括一个或多个所陈述的特征、要件、元件、步骤、组件、或功能,但不排除存在或添加一个或多个其它特征、要件、元件、步骤、组件、功能或其组合。此外,如本文的使用,常用缩写“e.g.(例如,)”源于拉丁短语“exempli gratia”,其可以用于介绍或指定之前提到的项目的一般示例,而不意图作为该项目的限制。常用缩写“即(i.e.)”源于拉丁短语“id est”,可以用于指定更广义的引述的具体项目。
本文参考计算机实现的方法、装置(系统和/或设备)和/或计算机程序产品的框图和/或流程图图示描述了示例实施例。应当理解,可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程示出出的框以及框图和/或流程示出出中的框的组合。可以将这些计算机程序指令提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路来产生机器,使得经由计算机和/或其它可编程数据处理装置的处理器执行的指令转换和控制晶体管、存储器位置中存储的值、以及这种电路内的其它硬件组件,以实现框图和/或流程图框中指定的功能/动作,并由此创建用于实现框图和/或流程图框中指定的功能/动作的装置(功能体)和/或结构。
这些计算机程序指令也可以存储在有形计算机可读介质中,该有形计算机可读介质能够指导计算机或其它可编程数据处理装置按照具体的方式作用,使得在计算机可读介质中存储的指令产生制品,该制品包括实现在框图和/或流程图的框中指定的功能/动作的指令。因此,发明构思的实施例可以在硬件和/或在诸如数字信号处理器之类的处理器上运行的软件(包括固件、贮存软件、微代码等)上实现,所述处理器可以统被称为"电路"、"模块"或其变体。
还应注意,在一些备选实现中,在框中标记的功能/动作可以不以流程图中标记的顺序发生。例如,依赖于所涉及的功能/动作,连续示出的两个框实际上可以实质上同时执行,或者框有时候可以按照相反的顺序执行。此外,可以将流程图和/或框图的给定框的功能分成多个框和/或流程图和/或框图的两个或更多个框的功能可以至少部分地被集成。最后,在不脱离发明构思的范围的情况下,可以在所示出的框之间添加/插入其他框,和/或可以省略框/操作。此外,尽管一些框包括用于指示通信的主要方向的关于通信路径的箭头,但应当理解,通信可以以与所表示的箭头相反的方向发生。
在基本上不脱离本发明构思原理的前提下,可以对实施例做出许多改变和修改。所有这些改变和修改旨在在本文中被包括在发明构思的范围内。因此,上述主题应理解为示例性的而非限制性的,并且实施例的示例旨在覆盖落入本发明构思的精神和范围之内的所有这些修改、改进和其他实施例。因此,在法律允许的最大范围内,本发明构思的范围应由包括实施例的示例及其等同物的本公开的最宽允许解释来确定,并且不应受限于或限制于之前的具体实施方式。

Claims (49)

1.一种用于确定符合第一配置文件的解码器能够对符合第二配置文件的视频比特流的第一图片进行解码的方法,所述方法包括:
获得(601)指示符值,所述指示符值指示符合配置文件;
确定(603)所述视频比特流中的所述第一图片是否是静态图片;以及
响应(705)于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,确定符合所述第一配置文件的解码器能够对所述视频比特流的所述第一图片进行解码。
2.根据权利要求1所述的方法,其中,所述指示符值指示比特流符合配置文件。
3.根据权利要求1至2中任一项所述的方法,还包括:
响应于所述指示符值指示符合第三配置文件或所述第一图片被确定为不是静态图片,确定(1101)所述视频比特流不符合所述第一配置文件。
4.根据权利要求1至3中任一项所述的方法,还包括:
响应于所述指示符值指示符合第三配置文件或所述第一图片被确定为不是静态图片,确定(1103)所述解码器可能无法对所述视频比特流的所述第一图片进行解码,其中,所述第三配置文件不同于所述第一配置文件和所述第二配置文件。
5.根据权利要求1至4中任一项所述的方法,其中,获得所述指示符值包括:从所述比特流中的语法元素解码(801)所述指示符值。
6.根据权利要求1至4中任一项所述的方法,其中,获得所述指示符值包括:通过外部方式获得(805)所述指示符值。
7.根据权利要求5至6中任一项所述的方法,其中,获得所述指示符值包括:从解码能力信息DCI或参数集中的语法元素解码(803)所述指示符值。
8.根据权利要求7所述的方法,其中,所述参数集包括视频参数集VPS、序列参数集SPS或图片参数集PPS之一。
9.根据权利要求1至8中任一项所述的方法,其中,所述第二配置文件不同于所述第一配置文件。
10.根据权利要求1至9中任一项所述的方法,其中,所述第一配置文件是静态图片配置文件,并且所述第二配置文件是视频配置文件。
11.根据权利要求1至2或5至10中任一项所述的方法,还包括:响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,使用符合所述第一配置文件的解码器对比特流的所述第一图片进行解码(707)。
12.根据权利要求2至11中任一项所述的方法,还包括:响应于所述指示符值指示符合所述第三配置文件或所述第一图片被确定为不是静态图片,不使用符合所述第一配置文件的解码器对所述比特流的所述第一图片进行解码(709)。
13.根据权利要求1至12中任一项所述的方法,其中,确定视频比特流中的所述第一图片是否是静态图片包括:确定所述第一图片是否是帧内随机访问点IRAP图片。
14.根据权利要求1至12中任一项所述的方法,其中,确定所述视频比特流中的所述第一图片是否是静态图片还包括:确定所述第一图片是否是恢复图片顺序计数POC计数等于0的渐进解码刷新GDR图片。
15.根据权利要求1至14中任一项所述的方法,其中,确定所述视频比特流中的所述第一图片是否是静态图片包括:从语法元素获得一个或多个值,其中,来自语法元素的所述值指定所述视频比特流中的所述第一图片是否是静态图像。
16.根据权利要求1至14中任一项所述的方法,其中,确定所述第一图片是否是静态图片包括:通过以下方式确定所述第一图片是静态图片:
从来自所述第一图片的图片头、来自所述第一图片的切片头、或来自与所述第一图片相关联的访问单元定界符AUD的一个或多个语法元素解码(1001)一个或多个值;以及
根据所述一个或多个值来确定(1003)所述图片是静态图片。
17.根据权利要求1至12中任一项所述的方法,其中,确定所述第一图片是否是静态图片包括:通过以下方式确定所述第一图片是静态图片:
获得(901)所述第一图片的每个视频编码层网络抽象层NAL单元的NAL单元类型;以及
确定(903)所述第一图片的所有视频编码层NAL单元具有表示帧内随机访问点IRAP图片的NAL单元类型。
18.根据权利要求1至17中任一项所述的方法,还包括:
确定(1201)所述第一图片是否是所述比特流中的唯一图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片以及所述第一图片被确定为是所述比特流中的唯一图片,确定(1203)所述解码器能够对所述比特流的所述第一图片进行解码。
19.根据权利要求1至18中任一项所述的方法,还包括:
从所述比特流中提取(1301)参数集;
从所述比特流中的语法元素解码所述指示符值从而获得(1303)所述指示符值;以及
响应于所述指示符值指示(1305)比特流符合所述第一配置文件或所述第二配置文件:
从所述比特流中提取(1307)与所述参数集相关联的静态图片;以及
将从所述比特流中提取的所述参数集与从所述比特流中提取的所述静态图片进行组合(1309)以形成静态图片比特流,而不将所述指示符值重写到所述语法元素。
20.根据权利要求1至19中任一项所述的方法,其中,所述静态图片至少是以下各项之一:
-不依赖于任何其他图片的图像或图片;
-无法从任何其他图片预测的图像或图片;
-IRAP图片;以及
-恢复POC计数等于0的GDR图片。
21.根据权利要求1至20中任一项所述的方法,其中,符合所述第一配置文件的所述解码器(306)是具有媒体播放器(312)的设备(310)的一部分。
22.一种用于确定符合第一配置文件的解码器能够对符合第二配置文件的视频比特流的第一图片进行解码的解码器(306),所述解码器适于执行操作,所述操作包括:
获得(601)指示符值,所述指示符值指示符合配置文件;
确定(603)所述视频比特流中的所述第一图片是否是静态图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片是静态图片,确定(705)符合所述第一配置文件的解码器能够对所述比特流的所述第一图片进行解码。
23.根据权利要求22所述的解码器(306),其中,所述解码器还适于执行根据权利要求2至21中任一项所述的操作。
24.根据权利要求22至23中任一项所述的解码器(306),其中,所述解码器(306)是具有媒体播放器(312)的设备(310)的一部分。
25.一种用于确定符合第一配置文件的解码器能够对符合第二配置文件的视频比特流的第一图片进行解码的解码器(306),所述解码器包括:
处理电路(401);以及
存储器(403),与所述处理电路耦接,其中,所述存储器包括指令,所述指令当由所述处理电路执行时使所述解码器执行操作,所述操作包括:
获得(601)指示符值,所述指示符值指示符合配置文件;
确定(603)所述视频比特流中的所述第一图片是否是静态图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,确定(705)符合所述第一配置文件的解码器能够对比特流的所述第一图片进行解码。
26.根据权利要求25所述的解码器(306),其中,所述指示符值指示比特流符合配置文件。
27.根据权利要求25至26中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:
响应于所述指示符值指示符合第三配置文件或所述第一图片被确定为不是静态图片,确定(1101)所述视频比特流不符合所述第一配置文件。
28.根据权利要求25至26中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:
响应于所述指示符值指示符合第三配置文件或所述第一图片被确定为不是静态图片,确定(1103)所述解码器可能无法对所述视频比特流的所述第一图片进行解码。
29.根据权利要求25至28中任一项所述的解码器(306),其中,在获得所述指示符值时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:从所述比特流中的语法元素解码(801)所述指示符值。
30.根据权利要求25至28中任一项所述的解码器(306),其中,在获得所述指示符值时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:通过外部方式获得(805)所述指示符值。
31.根据权利要求29至30中任一项所述的解码器(306),其中,在获得所述指示符值时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:从解码能力信息DCI或参数集中的语法元素解码(803)所述指示符值。
32.根据权利要求31所述的解码器(306),其中,所述参数集包括视频参数集VPS、序列参数集SPS或图片参数集PPS之一。
33.根据权利要求25至32中任一项所述的解码器(306),其中,所述第三配置文件不同于所述第一配置文件和所述第二配置文件。
34.根据权利要求25至33中任一项所述的解码器(306),其中,所述第一配置文件是静态图片配置文件,并且所述第二配置文件是视频配置文件。
35.根据权利要求25至34中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,使用符合所述第一配置文件的解码器对所述比特流的所述第一图片进行解码(707)。
36.根据权利要求25至35中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:响应于所述指示符值指示符合所述第三配置文件或所述第一图片被确定为不是静态图片,不使用符合所述第一配置文件的解码器对所述比特流的所述第一图片进行解码(709)。
37.根据权利要求25至36中任一项所述的解码器(306),其中,在确定所述视频比特流中的所述第一图片是否是静态图片时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:确定所述第一图片是否是帧内随机访问点IRAP图片。
38.根据权利要求25至36中任一项所述的解码器(306),其中,在确定所述第一图片是否是静态图片时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括通过以下方式确定所述第一图片是静态图片:
获得(901)所述第一图片的每个视频编码层网络抽象层NAL单元的NAL单元类型;以及
确定(903)所述第一图片的所有视频编码层NAL单元具有表示IRAP图片的NAL单元类型。
39.根据权利要求25至36中任一项所述的解码器(306),其中,在确定所述视频比特流中的所述第一图片是否是静态图片时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:确定所述第一图片是否是恢复POC计数等于0的GDR图片。
40.根据权利要求25至39中任一项所述的解码器(306),其中,在确定所述视频比特流中的所述第一图片是否是静态图片时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:从语法元素获得一个或多个值,其中,来自语法元素的所述值指定所述视频比特流中的所述第一图片是否是静态图片。
41.根据权利要求25至39中任一项所述的解码器(306),其中,在确定所述第一图片是否是静态图片时,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括通过以下方式确定所述第一图片是静态图片:
从来自所述第一图片的图片头、来自所述第一图片的切片头、或来自与所述第一图片相关联的访问单元定界符AUD的一个或多个语法元素解码(1001)一个或多个值;以及
根据所述一个或多个值来确定(1003)所述图片是静态图片。
42.根据权利要求24至39中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:
确定(1201)所述第一图片是否是所述比特流中的唯一图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片以及所述第一图片被确定为是所述比特流中的唯一图片,确定(1203)所述解码器能够对所述比特流的所述第一图片进行解码。
43.根据权利要求25至42中任一项所述的解码器(306),其中,所述存储器包括其他指令,所述其他指令当由所述处理电路执行时,使所述解码器执行其他操作,所述其他操作包括:
从所述比特流中提取(1301)参数集;
从所述比特流中的语法元素解码所述指示符值从而获得(1303)所述指示符值;以及
响应于所述指示符值指示(1305)比特流符合所述第一配置文件或所述第二配置文件:
从所述比特流中提取(1307)与所述参数集相关联的静态图片;以及
将从所述比特流中提取的所述参数集与从所述比特流中提取的所述静态图片进行组合(1309)以形成静态图片比特流,而不将所述指示符值重写到所述语法元素。
44.根据权利要求25至43中任一项所述的解码器(306),其中,静态图片是以下各项中的至少一项:
-不依赖于任何其他图片的图像或图片;
-无法从任何其他图片预测的图像或图片;
-IRAP图片;以及
-恢复POC计数等于0的GDR图片。
45.根据权利要求25至44中任一项所述的解码器(306),其中,所述解码器(306)是具有媒体播放器(312)的设备(310)的部分。
46.一种计算机程序,包括要由符合第一配置文件的解码器(306)的处理电路(401)执行的程序代码,由此所述程序代码的执行使所述解码器(306)执行操作,所述操作包括:
获得(601)指示符值,所述指示符值指示符合配置文件;
确定(603)所述视频比特流中的所述第一图片是否是静态图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,确定(705)符合所述第一配置文件的解码器(306)能够对所述视频比特流的所述第一图片进行解码。
47.根据权利要求46所述的计算机程序,其中,所述计算机程序包括要由解码器(306)的处理电路(401)执行的其他程序代码,由此所述其他程序代码的执行使解码器(306)执行根据权利要求2至21中任一项所述的操作。
48.一种包括非暂时性存储介质的计算机程序产品,所述非暂时性存储介质包括要由符合第一配置文件的解码器(306)的处理电路(401)执行的程序代码,由此所述程序代码的执行使所述解码器(306)执行操作,所述操作包括:
获得(601)指示符值,所述指示符值指示符合配置文件;
确定(603)所述视频比特流中的所述第一图片是否是静态图片;以及
响应于所述指示符值指示符合所述第二配置文件并且所述第一图片被确定为是静态图片,确定(705)符合所述第一配置文件的解码器(306)能够对所述视频比特流的所述第一图片进行解码。
49.根据权利要求48所述的计算机程序产品,其中,所述非暂时性存储介质包括要由解码器(306)的处理电路(401)执行的另一程序代码,由此所述另一程序代码的执行使解码器(306)执行根据权利要求2至21中任一项所述的操作。
CN202180041065.9A 2020-06-08 2021-06-07 确定对视频比特流中的第一图片进行解码的能力 Pending CN116018808A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063036080P 2020-06-08 2020-06-08
US63/036,080 2020-06-08
PCT/SE2021/050541 WO2021251878A1 (en) 2020-06-08 2021-06-07 Determining capability to decode a first picture in a video bitstream

Publications (1)

Publication Number Publication Date
CN116018808A true CN116018808A (zh) 2023-04-25

Family

ID=78846316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041065.9A Pending CN116018808A (zh) 2020-06-08 2021-06-07 确定对视频比特流中的第一图片进行解码的能力

Country Status (6)

Country Link
US (1) US20230308668A1 (zh)
EP (1) EP4162694A4 (zh)
JP (1) JP7535134B2 (zh)
CN (1) CN116018808A (zh)
TW (1) TWI777601B (zh)
WO (1) WO2021251878A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12069310B2 (en) * 2021-09-29 2024-08-20 Tencent America LLC Techniques for constraint flag signaling for range extension

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591355B2 (en) * 2012-10-19 2017-03-07 Broadcom Corporation Decoding video streams using decoders supporting a different encoding profile
RU2651201C2 (ru) * 2012-11-30 2018-04-18 Сони Корпорейшн Устройство обработки изображения и способ
AU2013206815A1 (en) * 2013-07-11 2015-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US20160295211A1 (en) * 2013-12-27 2016-10-06 Sony Corporation Decoding device and decoding method, and encoding device and encoding method
WO2020122574A1 (ko) * 2018-12-13 2020-06-18 에스케이텔레콤 주식회사 코딩 툴 설정 방법 및 영상 복호화 장치

Also Published As

Publication number Publication date
EP4162694A1 (en) 2023-04-12
US20230308668A1 (en) 2023-09-28
TWI777601B (zh) 2022-09-11
JP2023529191A (ja) 2023-07-07
EP4162694A4 (en) 2024-01-10
JP7535134B2 (ja) 2024-08-15
TW202203652A (zh) 2022-01-16
WO2021251878A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
EP4032293B1 (en) Error avoidance in sub-bitstream extraction
US20090279612A1 (en) Methods and apparatus for multi-view video encoding and decoding
US12022064B2 (en) Recovery point signaling in video coding
KR102540022B1 (ko) 인코딩된 비디오 비트스트림에 포함된 데이터의 양을 줄이기 위한 파라미터 세트의 시그널링 파라미터 값 정보
CN114503575A (zh) 对静止图像配置文件的语法元素的约束
US11729384B2 (en) Explicit address signaling in video coding
JP2022553128A (ja) マルチレイヤビデオビットストリームにおけるアクセスユニット内の混在したirapおよび非irapピクチャのサポート
US11778221B2 (en) Picture header presence
CN115668924A (zh) 参考图片信息的约束
EP3997880A1 (en) Signaling of access unit delimiter
CN116018808A (zh) 确定对视频比特流中的第一图片进行解码的能力
KR20220160104A (ko) 양방향 픽처 조건에 기초한 디코딩
CN116711314A (zh) 视频编解码中的跨随机接入点信令通知
US12022084B2 (en) Video coding layer up-switching indication
US20230247211A1 (en) Scalability using temporal sublayers
JP7411787B2 (ja) セグメント存在情報を提供すること
WO2024177552A1 (en) Refresh indicator for coded video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination