CN115715467A - 用于视频编解码中的高级语法的方法和设备 - Google Patents

用于视频编解码中的高级语法的方法和设备 Download PDF

Info

Publication number
CN115715467A
CN115715467A CN202180039854.9A CN202180039854A CN115715467A CN 115715467 A CN115715467 A CN 115715467A CN 202180039854 A CN202180039854 A CN 202180039854A CN 115715467 A CN115715467 A CN 115715467A
Authority
CN
China
Prior art keywords
flag
sps
inter
syntax
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180039854.9A
Other languages
English (en)
Inventor
陈漪纹
修晓宇
马宗全
陈伟
王祥林
于冰
朱弘正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202311191514.5A priority Critical patent/CN117221604A/zh
Publication of CN115715467A publication Critical patent/CN115715467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于对视频信号进行解码的方法、设备和存储介质。解码器接收至少一个通用视频编解码(VVC)语法标志。所述解码器响应于指示允许帧间预测的语法元素而接收帧间相关语法元素。所述解码器获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。所述解码器从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j)。所述解码器从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j)。所述解码器基于所述至少一个VVC语法标志、所述帧间相关语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(0)(i,j)来获得双向预测样点。

Description

用于视频编解码中的高级语法的方法和设备
相关申请的交叉引用
本申请基于2020年4月3日提交的临时申请号63/005,203和2020年4月4日提交的临时申请号63/005,309并要求其优先权,这些临时申请的全部内容出于所有目的通过引用以其全文并入本文。
技术领域
本公开涉及视频编解码和压缩。更具体地,本申请涉及适用于一个或多个视频编解码标准的视频比特流中的高级语法。
背景技术
可以使用各种视频编解码技术来压缩视频数据。视频编解码是根据一个或多个视频编解码标准来执行的。例如,视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、运动图片专家组(MPEG)编解码等。视频编解码通常使用预测方法(例如,帧间预测、帧内预测等)进行,这些方法利用存在于视频图像或序列中的冗余。视频编解码技术的一个重要目标在于将视频数据压缩成在避免或最小化视频质量降级的同时使用较低比特率的形式。
发明内容
本公开的示例提供了用于视频编解码中的无损编解码的方法和装置。
根据本公开的第一方面,提供了一种用于对视频信号进行解码的方法。所述方法可以包括解码器接收至少一个通用视频编解码(VVC)语法标志。所述至少一个VVC语法标志可以包括可以指示在对应的编解码级中是否允许帧间预测的第一VVC语法标志。所述解码器还可以响应于指示允许帧间预测的语法元素而接收帧间相关语法元素。所述解码器还可以获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,所述第一参考图片I(0)可以在当前图片之前并且所述第二参考图片I(1)可以在所述当前图片之后。所述解码器还可以从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j)。i和j可以表示当前图片的一个样点的坐标。所述解码器还可以从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j)。所述解码器还可以基于所述至少一个VVC语法标志、所述帧间相关语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
根据本公开的第二方面,提供了一种用于对视频信号进行解码的方法。所述方法可以包括解码器接收序列参数集(SPS)级的排列分区约束语法元素。所述排列分区约束语法元素被排列为使得帧间预测相关语法元素在编解码级按照VVC语法来分组。所述解码器还可以获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,所述第一参考图片I(0)可以在当前图片之前并且所述第二参考图片I(1)可以在所述当前图片之后。所述解码器还可以从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j)。i和j可以表示当前图片的一个样点的坐标。所述解码器还可以从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j)。所述解码器还可以基于所述排列分区约束语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
根据本公开的第三方面,提供了一种计算设备。所述计算设备可以包括一个或多个处理器、存储可由所述一个或多个处理器执行的指令的非暂态计算机可读存储器。所述一个或多个处理器可以被配置为接收至少一个VVC语法标志。所述至少一个VVC语法标志包括指示在对应的编解码级中是否允许帧间预测的第一VVC语法标志。所述一个或多个处理器可以进一步被配置为响应于指示允许帧间预测的语法元素而接收帧间相关语法元素。所述一个或多个处理器可以进一步被配置为获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,所述第一参考图片I(0)可以在当前图片之前并且所述第二参考图片I(1)可以在所述当前图片之后。所述一个或多个处理器可以进一步被配置为从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j)。i和j可以表示当前图片的一个样点的坐标。所述一个或多个处理器可以进一步被配置为从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j)。所述一个或多个处理器可以进一步被配置为基于所述至少一个VVC语法标志、所述帧间相关语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
根据本公开的第四方面,提供了一种其中存储有指令的非暂态计算机可读存储介质。当所述指令由所述装置的一个或多个处理器执行时,所述指令可以使所述装置接收SPS级的排列分区约束语法元素。所述排列分区约束语法元素被排列为使得帧间预测相关语法元素在编解码级按照VVC语法来分组。所述指令还可以使所述装置获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,所述第一参考图片I(0)可以在当前图片之前并且所述第二参考图片I(1)可以在所述当前图片之后。所述指令还可以使所述装置从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j)。i和j可以表示当前图片的一个样点的坐标。所述指令还可以使所述装置从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j)。所述指令还可以使所述装置基于所述排列分区约束语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
应理解,上面的大体描述和下面的详细描述仅是示例性的和解释性的,而不旨在限制本公开。
附图说明
结合在说明书中并构成本说明书的一部分的附图图示了与本公开一致的示例,并与所述描述一起用于解释本公开的原理。
图1是根据本公开的示例的编码器的框图。
图2是根据本公开的示例的解码器的框图。
图3A是图示根据本公开的示例的多类型树结构中的块分区的图。
图3B是图示根据本公开的示例的多类型树结构中的块分区的图。
图3C是图示根据本公开的示例的多类型树结构中的块分区的图。
图3D是图示根据本公开的示例的多类型树结构中的块分区的图。
图3E是图示根据本公开的示例的多类型树结构中的块分区的图。
图4是根据本公开的示例的用于对视频信号进行解码的方法。
图5是根据本公开的示例的用于对视频信号进行解码的方法。
图6是根据本公开的示例的用于对视频信号进行解码的方法。
图7是图示根据本公开的示例的与用户界面耦接的计算环境的图。
具体实施方式
现在将详细参考实施例,附图中图示了这些实施例的示例。以下描述均参考附图,在附图中,除非另有说明,否则不同附图中的相同参考标记表示相同或相似的要素。以下实施例描述中阐述的实施方式并不表示与本公开一致的所有实施方式。而是,它们仅仅是与所附权利要求中叙述的与本公开相关的方面一致的装置和方法的示例。
本公开中使用的术语仅出于描述特定实施例的目的,而不旨在限制本公开。如在本公开和所附权利要求中使用的,单数形式“一个(a)”、“一种(an)”和“所述(the)”旨在也包括复数形式,除非上下文另有明确指示。还应当理解,本文使用的术语“和/或”旨在表示并包括相关联列举项目中的一个或多个项目的任何或所有可能组合。
应当理解,尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息,但是这些信息不应受这些术语的限制。这些术语仅仅是用来将一类信息与另一类信息进行区分。例如,在不脱离本公开的范围的情况下,第一信息可以被称为第二信息;并且类似地,第二信息也可以被称为第一信息。如本文所使用的,根据上下文,术语“如果”可以被理解为意指“当......时”或“在......时”或“响应于判断”。
HEVC标准的第一版本于2013年10月完成,其与上一代视频编解码标准H.264/MPEGAVC相比,提供了大约50%的比特率节省或同等的感知质量。尽管HEVC标准提供了优于其前身的显著编解码改进,但有证据表明,可以使用附加的编解码工具实现优于HEVC的编解码效率。在此基础上,VCEG和MPEG都开始了新编解码技术的探索工作,以实现未来的视频编解码标准化。ITU-T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索小组(JVET),开始对能够大幅提高编解码效率的先进技术进行重大研究。JVET通过在HEVC测试模型(HM)的基础上整合多个附加编解码工具来维护一种称为联合探索模型(JEM)的参考软件。
2017年10月,ITU-T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合提案号召(CfP)。2018年4月,第10届JVET会议上接收并评估了23份CfP回复,论证了压缩效率比HEVC提高约40%。基于这样的评估结果,JVET启动了开发名为通用视频编解码(VVC)的新一代视频编解码标准的新项目。同月,建立了一个称为VVC测试模型(VTM)的参考软件代码库,用于演示VVC标准的参考实施。与HEVC一样,VVC在基于块的混合视频编解码框架上构建。
图1示出了用于VVC的基于块的视频编码器的总图。具体地,图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138以及比特流144。
在编码器100中,视频帧被分区成多个视频块以进行处理。对于每个给定的视频块,基于帧间预测方法或帧内预测方法来形成预测。
从加法器128将表示当前视频块(视频输入110的一部分)与其预测值(块预测值140的一部分)之间的差的预测残差发送到变换130。然后,将变换系数从变换130发送到量化132,以进行熵减小。然后,将量化系数馈送到熵编码138,以生成压缩视频比特流。如图1所示,来自帧内/帧间模式决策116的预测相关信息142(比如视频块分区信息、运动矢量(MV)、参考图片索引和帧内预测模式)也通过熵编码138被馈送并且被保存到压缩比特流144中。压缩比特流144包括视频比特流。
在编码器100中,还需要解码器相关电路,以重建像素用于预测目的。首先,通过反量化134和逆变换136来重建预测残差。将该重建预测残差与块预测值140组合,以生成当前视频块的未滤波的重建像素。
空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。
时间预测(也被称为“帧间预测”)使用来自己经编解码的视频图片的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定编码单元(CU)或编码块的时间预测信号通常由指示当前CU与其时间参考之间的运动量和运动方向的一个或多个MV用信号发送。进一步地,如果支持多个参考图片,则另外发送一个参考图片索引,该参考图片索引用于标识时间预测信号来自参考图片存储中的哪个参考图片。
运动估计114获取视频输入110和来自图片缓冲器120的信号,并且将运动估计信号输出到运动补偿112。运动补偿112获取视频输入110、来自图片缓冲器120的信号以及来自运动估计114的运动估计信号,并且将运动补偿信号输出到帧内/帧间模式决策116。
在执行空间预测和/或时间预测之后,编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后,从当前视频块减去块预测值140,并且使用变换130和量化132对所产生的预测残差进行解相关。通过反量化134对所产生的量化残差系数进行反量化,并通过逆变换136对该量化残差系数进行逆变换以形成重建残差,然后将该重建残差加回到预测块以形成CU的重建信号。在将重建的CU置于图片缓冲器120的参考图片存储中并用于对未来的视频块编解码之前,可以对重建的CU应用比如去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF)等进一步的环路滤波122。为了形成输出视频比特流144,将编解码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元138,以进行进一步压缩和打包来形成比特流。
图1给出了通用的基于块的混合视频编码系统的框图。输入视频信号被逐块(被称为编码单元(CU))处理。在VTM-1.0中,CU可以高达128×128像素。然而,不同于仅仅基于四叉树来将块分区的HEVC,在VVC中,一个编码树单元(CTU)被分割成多个CU,以适应基于四/二/三叉树而不同的局部特性。另外,去除了HEVC中的多分区单元类型的构思,即,CU、预测单元(PU)和变换单元(TU)的拆分不再存在于VVC中;相反,每个CU始终用作预测和变换两者的基本单元,而不进行进一步分区。在多类型树结构中,一个CTU首先被四叉树结构分区。然后,每个四叉树叶节点可以进一步被二叉树结构和三叉树结构分区。
如图3A、图3B、图3C、图3D和图3E所示,有五种分割类型,四元分区、水平二元分区、垂直二元分区、水平三元分区以及垂直三元分区。
图3A示出了图示根据本公开的多类型树结构中的块四元分区的图。
图3B示出了图示根据本公开的多类型树结构中的块垂直二元分区的图。
图3C示出了图示根据本公开的多类型树结构中的块水平二元分区的图。
图3D示出了图示根据本公开的多类型树结构中的块垂直三元分区的图。
图3E示出了图示根据本公开的多类型树结构中的块水平三元分区的图。
在图1中,可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已经编解码的视频图像的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定CU的时间预测信号通常由指示当前CU与其时间参考之间的运动量和运动方向的一个或多个运动矢量(MV)用信号发送。同样,如果支持多个参考图片,则另外发送一个参考图片索引,该参考图片索引用于标识时间预测信号来自参考图片存储中的哪个参考图片。在执行空间和/或时间预测之后,编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后,从当前视频块减去预测块;并且使用变换对预测残差进行解相关并进行量化。对经量化的残差系数进行反量化和逆变换以形成重建残差,然后将该重建残差加回到预测块以形成CU的重建信号。进一步地,在将重建的CU置于参考图片存储中并用于对未来的视频块进行编解码之前,可以对重建的CU应用比如去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF)等环路滤波。为了形成输出视频比特流,将编解码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元,以进行进一步压缩和打包来形成比特流。
图2示出了用于VVC的视频解码器的总框图。具体地,图2示出了典型的解码器200的框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234以及视频输出232。
解码器200类似于存在于图1的编码器100中的重建相关部分。在解码器200中,首先通过熵解码212对传入的视频比特流210进行解码,以得到量化系数级别和预测相关信息。然后,通过反量化214和逆变换216来处理量化系数级别,以获得重建预测残差。在帧内/帧间模式选择器220中实施的块预测值机制被配置为基于已解码预测信息来执行帧内预测222或运动补偿224。通过使用求和器218对来自逆变换216的重建预测残差与由块预测值机制生成的预测输出进行求和来获得一组未滤波的重建像素。
重建块可以进一步通过环路滤波器228,然后被存储在用作参考图片存储的图片缓冲器226中。可以发送图片缓冲器226中的重建视频以驱动显示设备,并用于预测未来的视频块。在环路滤波器228被开启的情况下,对这些重建像素执行滤波操作,从而得到最终的重建视频输出232。
图2给出了基于块的视频解码器的总框图。首先在熵解码单元处对视频比特流进行熵解码。将编解码模式和预测信息发送到空间预测单元(在帧内编解码的情况下)或时间预测单元(在帧间编解码的情况下)以形成预测块。将残差变换系数发送到反量化单元和逆变换单元以重建残差块。然后,将预测块和残差块相加。重建块可以进一步通过环路滤波,然后被存储在参考图片存储中。然后,将参考图片存储中的重建视频发送出去以驱动显示设备,并用于预测未来的视频块。
通常,VVC中应用的基本帧内预测方案与HEVC的基本帧内预测方案保持相同,不同之处在于进一步扩展和/或改进了几个模块,例如,矩阵加权帧内预测(MIP)编解码模式、帧内子分区(ISP)编解码模式、利用广角帧内方向的扩展帧内预测、依赖位置的帧内预测组合(PDPC)以及4抽头帧内插值。本公开的主要焦点是改进VVC标准中的现有高级语法设计。相关背景知识在以下章节中详细阐述。
与HEVC一样,VVC使用基于网络抽象层(NAL)单元的比特流结构。已编码比特流被分区成多个NAL单元,当通过有损分组网络传送时,这些NAL单元应小于最大传输单元尺寸。每个NAL单元由NAL单元标头和后面的NAL单元有效负载构成。存在两个概念类别的NAL单元。包含已编码样点数据的视频编解码层(VCL)NAL单元,例如,已编码条带NAL单元,反之是包含通常属于一个以上已编码图片的元数据的非VCL NAL单元,或在与单个已编码图片的关联性将无意义的情况下比如是参数集NAL单元,或在解码过程不需要信息的情况下比如是SEI NAL单元。
在VVC中,介绍了两字节NAL单元标头,预期这种设计足以支持未来的扩展。当前VVC草案规范中NAL单元标头的语法和相关联语义分别在表1和表2中图示。如何阅读表1在本发明的附录部分中进行了图示,该附录部分还可以在VVC规范中找到。
表1.NAL单元标头语法
Figure BDA0003972401440000081
表2.NAL单元标头语义
Figure BDA0003972401440000091
表3.NAL单元类型代码和NAL单元类型类别
Figure BDA0003972401440000101
Figure BDA0003972401440000111
VVC继承了HEVC的参数集概念并进行了一些修改和添加。参数集可以是视频比特流的一部分或可以由解码器通过其他手段(包括使用可靠信道的带外传输、编码器和解码器中的硬编解码等)来接收。参数集包含直接或间接从条带标头引用的标识,如稍后更详细地讨论的。引用过程被称为“激活”。取决于参数集类型,每图片或每序列地发生激活。除其他原因外,还介绍了通过引用激活的概念,因为在带外传输的情况下无法凭借比特流中的信息(如对于视频编解码器的其他语法元素是共有的)的位置进行隐式激活。
介绍视频参数集(VPS)以传达适用于多个层以及子层的信息。介绍VPS以解决这些缺点并且实现多层编解码器的洁净且可扩展的高级设计。不管给定视频序列的每个层具有相同还是不同的序列参数集(SPS),它们都引用相同的VPS。当前VVC草案规范中视频参数集的语法和相关联语义分别在表4和表5中图示。如何阅读表4在本发明的附录部分中进行了图示,该附录部分还可以在VVC规范中找到。
表4视频参数集RBSP语法
Figure BDA0003972401440000112
Figure BDA0003972401440000121
Figure BDA0003972401440000131
Figure BDA0003972401440000141
表5.视频参数集RBSP语义
Figure BDA0003972401440000142
Figure BDA0003972401440000151
Figure BDA0003972401440000161
Figure BDA0003972401440000171
Figure BDA0003972401440000181
Figure BDA0003972401440000191
Figure BDA0003972401440000201
Figure BDA0003972401440000211
Figure BDA0003972401440000221
在VVC中,SPS包含适用于已编码视频序列的所有条带的信息。已编码视频序列从瞬时解码刷新(IDR)图片或BLA图片或是比特流中的第一图片的CRA图片开始,并且包括不是IDR或BLA图片的所有后续图片。比特流由一个或多个已编码视频序列构成。SPS的内容可以大致细分为六个类别:1)自引用(它自己的ID);2)解码器操作点相关信息(配置文件、级别、图片尺寸、子层数等);3)配置文件内的某些工具的启用标志,以及在启用工具的情况下相关联的编解码工具参数;4)限定结构和变换系数编解码的灵活性的信息;5)时间可扩展性控制;以及6)包括HRD信息的视觉可用性信息(VUI)。当前VVC草案规范中序列参数集的语法和相关联语义分别在表6和表7中图示。如何阅读表6在本发明的附录部分中进行了图示,该附录部分还可以在VVC规范中找到。
表6.序列参数集RBSP语法
Figure BDA0003972401440000231
Figure BDA0003972401440000241
Figure BDA0003972401440000251
Figure BDA0003972401440000261
Figure BDA0003972401440000271
Figure BDA0003972401440000281
Figure BDA0003972401440000291
表7.序列参数集RBSP语义
Figure BDA0003972401440000292
Figure BDA0003972401440000301
Figure BDA0003972401440000311
Figure BDA0003972401440000321
Figure BDA0003972401440000331
Figure BDA0003972401440000341
Figure BDA0003972401440000351
Figure BDA0003972401440000361
Figure BDA0003972401440000371
Figure BDA0003972401440000381
Figure BDA0003972401440000391
Figure BDA0003972401440000401
Figure BDA0003972401440000411
Figure BDA0003972401440000421
Figure BDA0003972401440000431
Figure BDA0003972401440000441
Figure BDA0003972401440000451
Figure BDA0003972401440000461
Figure BDA0003972401440000471
VVC的图片参数集(PPS)包含可以在图片之间改变的这样的信息。PPS包括与HEVC中的PPS的一部分内容大致相当的信息,包括:1)自参考;2)初始图片控制信息,比如初始量化参数(QP)、指示某些工具的使用或存在的标志数量、或者条带标头中的控制信息;以及3)瓦片信息。当前VVC草案规范中序列参数集的语法和相关联语义分别在表8和表9中图示。如何阅读表8在本发明的附录部分中进行了图示,该附录部分还可以在VVC规范中找到。
表8.图片参数集RBSP语法
Figure BDA0003972401440000472
Figure BDA0003972401440000481
Figure BDA0003972401440000491
Figure BDA0003972401440000501
Figure BDA0003972401440000511
表9.图片参数集RBSP语义
Figure BDA0003972401440000512
Figure BDA0003972401440000521
Figure BDA0003972401440000531
Figure BDA0003972401440000541
Figure BDA0003972401440000551
Figure BDA0003972401440000561
Figure BDA0003972401440000571
Figure BDA0003972401440000581
Figure BDA0003972401440000591
Figure BDA0003972401440000601
条带标头包含可以在条带之间改变的信息以及相对较小或仅针对特定条带或图片类型相关的这种图片相关信息。条带标头的尺寸可能明显大于PPS,特别是在条带标头和RPS中存在瓦片或波前入口点偏移时,显式地用信号发送预测权重或参考图片列表修改。当前VVC草案规范中序列参数集的语法和相关联语义分别在表10和表11中图示。如何阅读表10在本发明的附录部分中进行了图示,该附录部分还可以在VVC规范中找到。
表10.图片标头结构语法
Figure BDA0003972401440000611
Figure BDA0003972401440000621
Figure BDA0003972401440000631
Figure BDA0003972401440000641
Figure BDA0003972401440000651
表11.图片标头结构语义
Figure BDA0003972401440000652
Figure BDA0003972401440000661
Figure BDA0003972401440000671
Figure BDA0003972401440000681
Figure BDA0003972401440000691
Figure BDA0003972401440000701
Figure BDA0003972401440000711
Figure BDA0003972401440000721
Figure BDA0003972401440000731
Figure BDA0003972401440000741
Figure BDA0003972401440000751
语法元素的改进
在当前VVC中,当分别针对帧内预测和帧间预测存在类似语法元素时,在一些地方在与帧内预测相关的语法元素之前定义与帧间预测相关的语法元素。考虑到在所有图片/条带类型中允许帧内预测而不允许帧间预测的事实,这样的顺序可能不是优选的。从标准化角度来看,始终在用于帧间预测的语法之前定义帧内预测相关语法将是有益的。
还观察到,在当前VVC中,在不同地方以蔓延方式定义彼此高度相关的一些语法元素。从标准化角度来看,将一些语法分组在一起也将是有益的。
提出的方法
提供简化和/或进一步改进高级语法的现有设计的方法。应注意,可以独立地或联合地应用所发明的方法。
按预测类型来将分区约束语法元素分组
在本公开中,提出了重新排列语法元素,使得在与帧间预测相关的语法元素之前定义帧内预测相关语法元素。根据本公开,按预测类型来将分区约束语法元素分组,其中,首先是帧内预测相关的,后面是帧间预测相关的。在一个实施例中,SPS中的分区约束语法元素的顺序与图片标头中的分区约束语法元素的顺序一致。在下面的表12中图示了关于VVC草案的解码过程的示例。使用粗体和斜体字体示出了对VVC草案的改变。
表12.提出的序列参数集RBSP语法
Figure BDA0003972401440000761
Figure BDA0003972401440000771
将双树色度语法元素分组
在本公开中,提出了将与双树色度类型相关的语法元素分组。在一个实施例中,应在双树色度情况下一起用信号发送SPS中的双树色度的分区约束语法元素。在下面的表13中图示了关于VVC草案的解码过程的示例。使用粗体和斜体字体示出了对VVC草案的改变。
表13.提出的序列参数集RBSP语法
Figure BDA0003972401440000772
Figure BDA0003972401440000781
如果还考虑在与帧间预测相关的语法之前定义帧内预测相关语法,则根据本公开的方法,在下面的表14中图示了关于VVC草案的解码过程的另一示例。使用粗体和斜体字体示出了对VVC草案的改变。
表14.提出的序列参数集RBSP语法
Figure BDA0003972401440000782
Figure BDA0003972401440000791
有条件地用信号发送帧间预测相关语法元素
如较早的描述中所提到的,根据当前VVC,在所有图片/条带类型中允许帧内预测而不允许帧间预测。根据本公开,提出了在特定编解码级在VVC语法中添加标志以指示在序列、图片和/或条带中是否允许帧间预测。在不允许帧间预测的情况下,不在对应的编解码级(例如,序列、图片和/或条带级)用信号发送帧间预测相关语法。
还提出了在特定编解码级在VVC语法中添加标志以指示在序列、图片和/或条带中是否允许比如P条带和B条带的帧间条带。在不允许帧间条带的情况下,不在对应的编解码级(例如,序列、图片和/或条带级)用信号发送帧间条带相关语法。
在下面章节中基于提出的允许帧间条带的标志来给出一些示例。并且,可以以类似方式使用提出的允许帧间预测的标志。
当在不同级别添加提出的允许帧间条带的标志时。可以以分层方式来用信号发送这些标志。当用信号发送的在更高级的标志指示不允许帧间条带时,在更低级的标志不需要用信号发送并且可以被推断为0(这意味着不允许帧间条带)。
在一个或多个示例中,在SPS中添加标志以指示在对当前视频序列进行编解码中是否允许帧间条带。在不被允许的情况下,不在SPS中用信号发送帧间条带相关语法元素。在下面的表15中图示了关于VVC草案的解码过程的示例。使用粗体和斜体字体示出了对VVC草案的改变。应注意,存在除该示例中介绍的语法元素以外的语法元素。例如,存在许多帧间条带(或帧间预测工具)相关语法元素,比如sps_weighted_pred_flag、sps_temporal_mvp_enabled_flag、sps_amvr_enabled_flag、sps_bdof_enabled_flag等;还存在与参考图片列表相关的语法元素,比如long_term_ref_pics_flag、inter_layer_ref_pics_present_flag、sps_idr_rpl_present_flag等。与帧间预测相关的所有这些语法元素可以由提出的标志选择性地控制。
表15提出的序列参数集RBSP语法
Figure BDA0003972401440000801
Figure BDA0003972401440000811
Figure BDA0003972401440000821
Figure BDA0003972401440000831
Figure BDA0003972401440000841
Figure BDA0003972401440000851
Figure BDA0003972401440000861
Figure BDA0003972401440000871
7.4.3.3序列参数集RBSP语义
sps_inter_slice_allowed_flag等于0指定视频序列的所有已编码条带具有等于2(这指示已编码条带是I条带)的slice_type。sps_inter_slice_allowed_flag等于1指定视频序列中可以存在或可以不存在具有等于0(这指示已编码条带是P条带)或1(这指示已编码条带是B条带)的slice_type的一个或多个已编码条带。
在另一示例中,根据本公开的方法,在图片参数集PPS中添加标志以指示在对与这个PPS相关联的图片进行编解码中是否允许帧间条带。在不被允许的情况下,不在PPS中用信号发送选定的帧间预测相关语法元素。
在再一示例中,根据本公开的方法,可以以分层方式用信号发送允许帧间条带的标志。在SPS中添加标志以指示在对与这个SPS相关联的图片进行编解码中是否允许帧间条带,例如sps_inter_slice_allowed_flag。当sps_inter_slice_allowed_flag等于0(这意味着不允许帧间条带)时,图片标头中的帧间条带允许的标志可以在发信号时省略并且被推断为0。在下面的表16中图示了关于VVC草案的解码过程的示例。使用粗体和斜体字体示出了对VVC草案的改变。
表16.提出的序列参数集RBSP语法
Figure BDA0003972401440000872
7.4.3.7图片标头结构语义
ph_inter_slice_allowed_flag等于0指定图片的所有已编码条带具有等于2的slice_type。ph_inter_slice_allowed_flag等于1指定图片中可以存在或可以不存在具有等于0或1的slice_type的一个或多个已编码条带。当不存在时,推断ph_inter_slice_allowed_flag的值等于0。
图4示出了根据本公开的用于对视频信号进行解码的方法。例如,该方法可以应用于解码器。
在步骤410中,解码器可以接收至少一个VVC语法标志。该至少一个VVC语法标志可以包括指示在对应的编解码级中是否允许帧间预测的第一VVC语法标志。
在步骤412中,解码器可以响应于指示允许帧间预测的语法元素而接收帧间相关语法元素。
在步骤414中,解码器可以获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,第一参考图片I(0)在当前图片之前并且第二参考图片I(1)在当前图片之后。
在步骤416中,解码器可以从第一参考图片I(0)中的参考块获得视频块的第一预测样点I(0)(i,j)。i和i表示当前图片的一个样点的坐标。
在步骤418中,解码器可以从第二参考图片I(1)中的参考块获得视频块的第二预测样点I(1)(i,j)。
在步骤420中,解码器可以基于该至少一个VVC语法标志、帧间相关语法元素、第一预测样点I(0)(i,j)和第二预测样点I(1)(i,j)来获得双向预测样点。
将帧间相关语法元素分组
在本公开中,提出了重新排列语法元素,使得帧间预测相关语法元素在某个编解码级(例如,序列、图片和/或条带级)按照VVC语法来分组。根据本公开,提出了重新排列与序列参数集(SPS)中的帧间条带相关的语法元素。在下面的表17中图示了关于VVC草案的解码过程的示例。在下面示出了对VVC草案的改变。添加的部分使用粗体和斜体字体来示出,而删除的部分以删除线字体来示出。
表17.提出的序列参数集RBSP语法
Figure BDA0003972401440000891
Figure BDA0003972401440000901
Figure BDA0003972401440000911
Figure BDA0003972401440000921
Figure BDA0003972401440000931
Figure BDA0003972401440000941
Figure BDA0003972401440000951
Figure BDA0003972401440000961
图5示出了根据本公开的用于对视频信号进行解码的方法。例如,该方法可以应用于解码器。
在步骤510中,解码器可以接收SPS级的排列分区约束语法元素。所述排列分区约束语法元素被排列为使得帧间预测相关语法元素在编解码级按照VVC语法来分组。
在步骤512中,解码器可以获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序,第一参考图片I(0)在当前图片之前并且第二参考图片I(1)在当前图片之后。
在步骤514中,解码器可以从第一参考图片I(0)中的参考块获得视频块的第一预测样点I(0)(i,j)。i和j表示当前图片的一个样点的坐标。
在步骤516中,解码器可以从第二参考图片I(1)中的参考块获得视频块的第二预测样点I(1)(i,j)。
在步骤518中,解码器可以基于排列分区约束语法元素、第一预测样点I(0)(i,j)和第二预测样点I(1)(i,j)来获得双向预测样点。
在下面的表18中图示了关于VVC草案的解码过程的另一示例。在下面示出了对VVC草案的改变。添加的部分使用粗体和斜体字体来示出,而删除的部分以删除线字体来示出。
表18.提出的序列参数集RBSP语法
Figure BDA0003972401440000971
Figure BDA0003972401440000981
Figure BDA0003972401440000991
Figure BDA0003972401440001001
Figure BDA0003972401440001011
Figure BDA0003972401440001021
Figure BDA0003972401440001031
Figure BDA0003972401440001041
根据本公开,还提出了在特定编解码级在VVC语法中添加标志以指示在序列、图片和/或条带中是否允许比如P条带和B条带等帧间条带。在不允许帧间条带的情况下,不在对应的编解码级(例如,序列、图片和/或条带级)用信号发送帧间条带相关语法。在一个示例中,根据本公开的方法,在SPS中添加标志sps_inter_slice_allowed_flag以指示在对当前视频序列进行编解码中是否允许帧间条带。在不被允许的情况下,不在SPS中用信号发送帧间条带相关语法元素。在下面的表19中图示了关于VVC草案的解码过程的示例。添加的部分使用粗体和斜体字体来示出,而删除的部分以删除线字体来示出。
表19.提出的序列参数集RBSP语法
Figure BDA0003972401440001051
Figure BDA0003972401440001061
Figure BDA0003972401440001071
Figure BDA0003972401440001081
Figure BDA0003972401440001091
Figure BDA0003972401440001101
Figure BDA0003972401440001111
Figure BDA0003972401440001121
在下面的表20中图示了关于VVC草案的解码过程的另一示例。在下面示出了对VVC草案的改变。添加的部分使用粗体和斜体字体来示出,而删除的部分以删除线字体来示出。
表20.提出的序列参数集RBSP请法
Figure BDA0003972401440001122
Figure BDA0003972401440001131
Figure BDA0003972401440001141
Figure BDA0003972401440001151
Figure BDA0003972401440001161
Figure BDA0003972401440001171
Figure BDA0003972401440001181
Figure BDA0003972401440001191
图6示出了根据本公开的用于对视频信号进行解码的方法。例如,该方法可以应用于解码器。
在步骤610中,解码器可以接收包括用于已编码视频数据的VPS、SPS、PPS、图片标头和条带标头的比特流。
在步骤612中,解码器可以对VPS进行解码。
在步骤614中,解码器可以对SPS进行解码并且获得SPS级的排列分区约束语法元素。
在步骤616中,解码器可以对PPS进行解码。
在步骤618中,解码器可以对图片标头进行解码。
在步骤620中,解码器可以对条带标头进行解码。
在步骤622中,解码器可以基于VPS、SPS、PPS、图片标头和条带标头来对视频数据进行解码。
可以使用包括一个或多个电路的装置来实施上述方法,该一个或多个电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子部件。该装置可以将这些电路与用于执行上述方法的其他硬件或软件部件结合使用。上文公开的每个模块、子模块、单元或子单元都可以使用该一个或多个电路来至少部分地实施。
图7示出了与用户界面760耦接的计算环境710。计算环境710可以是数据处理服务器的一部分。计算环境710包括处理器720、存储器740以及I/O接口750。
处理器720通常控制计算环境710的整体操作,比如与显示、数据获取、数据通信以及图像处理相关联的操作。处理器720可以包括一个或多个处理器以执行指令以执行上述方法中的所有或一些步骤。而且,处理器720可以包括促进处理器720与其他部件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。
存储器740被配置为存储各种类型的数据以支持计算环境710的操作。存储器740可以包括预定软件742。这种数据的示例包括用于在计算环境710上操作的任何应用程序或方法的指令、视频数据集、图像数据等。存储器740可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实施,比如静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪速存储器、磁盘或光盘。
I/O接口750提供处理器720与外围接口模块(比如键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。I/O接口750可以与编码器和解码器耦接。
在一些实施例中,还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质包括多个程序,这些程序比如包括在存储器740中,可由计算环境710中的处理器720执行,用于执行上述方法。例如,该非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。
该非暂态计算机可读存储介质中存储有用于由具有一个或多个处理器的计算设备执行的多个程序,其中,该多个程序在由该一个或多个处理器执行时使该计算设备执行上述运动预测方法。
在一些实施例中,计算环境710可以用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器、或其他电子部件来实施,用于执行上述方法。
考虑在此公开的公开内容的说明书和实践,本公开的其他示例对于本领域技术人员而言将是显而易见的。本申请旨在涵盖遵循其一般原则对公开内容进行的任何改变、使用或改编,包括在本领域中已知或惯用实践内与本公开的偏离。旨在将说明书和示例仅视为示例性的。
应理解的是,本公开不限于上文描述和附图中所示的确切示例,并且可以在不脱离其范围的情况下进行各种修改和变化。

Claims (32)

1.一种用于对视频信号进行解码的方法,包括:
由解码器接收至少一个通用视频编解码(VVC)语法标志,其中,所述至少一个VVC语法标志包括指示在对应的编解码级中是否允许帧间预测的第一VVC语法标志;
由所述解码器并且响应于指示允许帧间预测的语法元素,接收帧间相关语法元素;
在所述解码器处获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1),其中,按照显示顺序,所述第一参考图片I(0)在当前图片之前并且所述第二参考图片I(1)在所述当前图片之后;
在所述解码器处从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j),其中,i和j表示所述当前图片的一个样点的坐标;
在所述解码器处从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j);以及
在所述解码器处基于所述至少一个VVC语法标志、所述帧间相关语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
2.如权利要求1所述的方法,其中,当所述第一VVC语法标志指示不允许帧间预测时,不在对应的编解码级用信号发送帧间预测相关语法。
3.如权利要求1所述的方法,其中,以分层方式用信号发送所述至少一个VVC语法标志以推断何时不允许帧间条带。
4.如权利要求3所述的方法,其中,所述至少一个VVC语法标志包括指示在对应的编解码级中是否允许帧间条带的第二VVC语法标志,其中,帧间条带包括P条带和B条带,并且其中,所述第二VVC语法标志包括sps_inter_slice_allowed_flag标志。
5.如权利要求4所述的方法,其中,当所述第二VVC语法标志指示不允许帧间条带时,不在对应的编解码级用信号发送帧间条带相关语法。
6.如权利要求4所述的方法,其中,所述第二VVC语法标志是在序列参数集(SPS)级中用信号发送的并且指示在对当前视频序列解码中是否允许帧间条带。
7.如权利要求6所述的方法,进一步包括:
当所述第二VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,在所述解码器处接收sps_weighted_pred_flag标志、sps_weighted_bipred_flag标志、sps_log2_diff_min_qt_min_cb_inter_slice值、sps_max_mtt_hierarchy_depth_inter_slice值、sps_ref_wraparound_enabled_flag标志、sps_temporal_mvp_enabled_flag标志、sps_explicit_mts_inter_enabled_flag标志、six_minus_max_num_merge_cand值、sps_sbt_enabled_flag标志、sps_bcw_enabled_flag标志、sps_ciip_enabled_flag标志和log2_parallel_merge_level_minus2值。
8.如权利要求4所述的方法,其中,所述第二VVC语法标志是在图片参数集(PPS)级中用信号发送的并且指示在对当前视频序列解码中是否允许帧间条带。
9.如权利要求8所述的方法,其中,当所述第二VVC语法标志指示不允许帧间条带时,不会接收到ph_inter_slice_allowed_flag标志。
10.一种用于对视频信号进行解码的方法,包括:
由解码器接收序列参数集(SPS)级的排列分区约束语法元素,其中,所述排列分区约束语法元素被排列为使得帧间预测相关语法元素在编解码级按照通用视频编解码(VVC)语法来分组;
在所述解码器处获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1),其中,按照显示顺序,所述第一参考图片I(0)在当前图片之前并且所述第二参考图片I(1)在所述当前图片之后;
在所述解码器处从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j),其中,i和j表示所述当前图片的一个样点的坐标;
在所述解码器处从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j);以及
在所述解码器处基于所述排列分区约束语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
11.如权利要求10所述的方法,其中,由所述解码器接收所述SPS级的所述排列分区约束语法元素包括:
由所述解码器接收所述SPS级的所述排列分区约束语法元素,其中,所述排列分区约束语法元素通过以下方式来排列:
用信号发送long_term_ref_pics_flag标志;
用信号发送inter_layer_ref_pics_present_flag标志;
设置num_ref_pic_lists_in_sps值;
设置ref_pic_list_struct值;
用信号发送sps_weighted_pred_flag标志;
设置six_minus_max_num_merge_cand值;
用信号发送sps_sbt_enabled_flag标志;以及
设置log2_parallel_merge_level_minus2值。
12.如权利要求10所述的方法,其中,由所述解码器接收所述SPS级的所述排列分区约束语法元素包括:
由所述解码器接收所述SPS级的所述排列分区约束语法元素,其中,所述排列分区约束语法元素通过以下方式来排列:
用信号发送sps_mts_enabled_flag标志;
确定设置了sps_mts_enabled_flag;
用信号发送sps_explicit_mts_intra_enabled_flag;
确定设置了sps_inter_slice_allowed_flag;
确定设置了sps_mts_enabled_flag;
用信号发送sps_explicit_mts_inter_enabled_flag标志;
设置sps_log2_diff_min_qt_min_cb_inter_slice值;
确定sps_max_mtt_hierarchy_depth_inter_slice不为0;
设置sps_log2_diff_max_bt_min_qt_inter_slice值;
用信号发送sps_weighted_pred_flag标志;
设置six_minus_max_num_merge_cand值;
确定设置了sps_affine_enabled_flag标志;
设置five_minus_max_num_subblock_merge_cand值;以及
设置log2_parallel_merge_level_minus2值。
13.如权利要求10所述的方法,进一步包括:
由所述解码器接收编解码级的VVC语法标志,其中,所述VVC语法标志包括指示在对应的编解码级中是否允许帧间条带的sps_inter_slice_allowed_flag标志,并且其中,所述帧间条带包括P条带和B条带。
14.如权利要求13所述的方法,其中,当所述VVC语法标志指示不允许帧间预测时,不在对应的编解码级用信号发送帧间条带相关语法。
15.如权利要求13所述的方法,进一步包括:
当所述VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,在所述解码器处接收sps_log2_diff_min_qt_min_cb_inter_slice值、long_term_ref_pics_flag标志、sps_weighted_pred_flag标志、six_minus_max_num_merge_cand值、sps_bcw_enabled_flag标志和sps_explicit_mts_inter_enabled_flag标志。
16.如权利要求13所述的方法,进一步包括:
在所述解码器处确定ChromaArrayType值是否不为0;以及
当所述VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,接收sps_mts_enabled_flag标志、sps_log2_diff_min_qt_min_cb_inter_slice值、sps_weighted_pred_flag标志、six_minus_max_num_merge_cand值和sps_bcw_enabled_flag标志。
17.一种计算设备,包括:
一个或多个处理器;以及
非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有可由所述一个或多个处理器执行的指令,其中,所述一个或多个处理器被配置为:
接收至少一个通用视频编解码(WC)语法标志,其中,所述至少一个WC语法标志包括指示在对应的编解码级中是否允许帧间预测的第一VVC语法标志;
响应于指示允许帧间预测的语法元素,接收帧间相关语法元素;
获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1),其中,按照显示顺序,所述第一参考图片I(0)在当前图片之前并且所述第二参考图片I(1)在所述当前图片之后;
从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j),其中,i和j表示所述当前图片的一个样点的坐标;
从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j);以及
基于所述至少一个VVC语法标志、所述帧间相关语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
18.如权利要求17所述的计算设备,其中,当所述第一VVC语法标志指示不允许帧间预测时,不在对应的编解码级用信号发送帧间预测相关语法。
19.如权利要求17所述的计算设备,其中,以分层方式用信号发送所述至少一个VVC语法标志以推断何时不允许帧间条带。
20.如权利要求19所述的计算设备,其中,所述至少一个VVC语法标志包括指示在对应的编解码级中是否允许帧间条带的第二WC语法标志,其中,帧间条带包括P条带和B条带,并且其中,所述第二VVC语法标志包括sps_inter_slice_allowed_flag标志。
21.如权利要求20所述的计算设备,其中,当所述第二VVC语法标志指示不允许帧间条带时,不在对应的编解码级用信号发送帧间条带相关语法。
22.如权利要求20所述的计算设备,其中,所述第二VVC语法标志是在序列参数集(SPS)级中用信号发送的并且指示在对当前视频序列解码中是否允许帧间条带。
23.如权利要求22所述的计算设备,其中,所述一个或多个处理器进一步被配置为:
当所述第二VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,接收sps_weighted_pred_flag标志、sps_weighted_bipred_flag标志、sps_log2_diff_min_qt_min_cb_inter_slice值、sps_max_mtt_hierarchy_depth_inter_slice值、sps_ref_wraparound_enabled_flag标志、sps_temporal_mvp_enabled_flag标志、sps_explicit_mts_inter_enabled_flag标志、six_minus_max_num_merge_cand值、sps_sbt_enabled_flag标志、sps_bcw_enabled_flag标志、sps_ciip_enabled_flag标志和log2_parallel_merge_level_minus2值。
24.如权利要求20所述的计算设备,其中,所述第二VVC语法标志是在图片参数集(PPS)级中用信号发送的并且指示在对当前视频序列解码中是否允许帧间条带。
25.如权利要求24所述的计算设备,其中,当所述第二WC语法标志指示不允许帧间条带时,不会接收到ph_inter_slice_allowed_flag标志。
26.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序,其中,所述多个程序在由所述一个或多个处理器执行时使所述计算设备执行包括以下各项的动作:
由解码器接收序列参数集(SPS)级的排列分区约束语法元素,其中,所述排列分区约束语法元素被排列为使得帧间预测相关语法元素在编解码级按照通用视频编解码(VVC)语法来分组;
在所述解码器处获得与比特流中的视频块相关联的第一参考图片I(0)和第二参考图片I(1),其中,按照显示顺序,所述第一参考图片I(0)在当前图片之前并且所述第二参考图片I(1)在所述当前图片之后;
在所述解码器处从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i,j),其中,i和j表示所述当前图片的一个样点的坐标;
在所述解码器处从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i,j);以及
在所述解码器处基于所述排列分区约束语法元素、所述第一预测样点I(0)(i,j)和所述第二预测样点I(1)(i,j)来获得双向预测样点。
27.如权利要求26所述的非暂态计算机可读存储介质,其中,所述多个程序进一步使所述计算设备执行以下操作:
由所述解码器接收所述SPS级的所述排列分区约束语法元素,其中,所述排列分区约束语法元素通过以下方式来排列:
用信号发送long_term_ref_pics_flag标志;
用信号发送inter_layer_ref_pics_present_flag标志;
设置num_ref_pic_lists_in_sps值;
设置ref_pic_list_struct值;
用信号发送sps_weighted_pred_flag标志;
设置six_minus_max_num_merge_cand值;
用信号发送sps_sbt_enabled_flag标志;以及
设置log2_parallel_merge_level_minus2值。
28.如权利要求26所述的非暂态计算机可读存储介质,其中,所述多个程序进一步使所述计算设备执行以下操作:
由所述解码器接收所述SPS级的所述排列分区约束语法元素,其中,所述排列分区约束语法元素通过以下方式来排列:
用信号发送sps_mts_enabled_flag标志;
确定设置了sps_mts_enabled_flag;
用信号发送sps_explicit_mts_intra_enabled_flag;
确定设置了sps_inter_slice_allowed_flag;
确定设置了sps_mts_enabled_flag;
用信号发送sps_explicit_mts_inter_enabled_flag标志;
设置sps_log2_diff_min_qt_min_cb_inter_slice值;
确定sps_max_mtt_hierarchy_depth_inter_slice不为0;
设置sps_log2_diff_max_bt_min_qt_inter_slice值;
用信号发送sps_weighted_pred_flag标志;
设置six_minus_max_num_merge_cand值;
确定设置了sps_affine_enabled_flag标志;
设置five_minus_max_num_subblock_merge_cand值;以及
设置log2_parallel_merge_level_minus2值。
29.如权利要求26所述的非暂态计算机可读存储介质,其中,所述多个程序进一步使所述计算设备执行以下操作:
由所述解码器接收编解码级的VVC语法标志,其中,所述VVC语法标志包括指示在对应的编解码级中是否允许帧间条带的sps_inter_slice_allowed_flag标志,并且其中,所述帧间条带包括P条带和B条带。
30.如权利要求29所述的非暂态计算机可读存储介质,其中,当所述VVC语法标志指示不允许帧间预测时,不在对应的编解码级用信号发送帧间条带相关语法。
31.如权利要求29所述的非暂态计算机可读存储介质,其中,所述多个程序进一步使所述计算设备执行以下操作:
当所述VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,在所述解码器处接收sps_log2_diff_min_qt_min_cb_inter_slice值、long_term_ref_pics_flag标志、sps_weighted_pred_flag标志、six_minus_max_num_merge_cand值、sps_bcw_enabled_flag标志和sps_explicit_mts_inter_enabled_flag标志。
32.如权利要求29所述的非暂态计算机可读存储介质,其中,所述多个程序进一步使所述计算设备执行以下操作:
在所述解码器处确定ChromaArrayType值是否不为0;以及
当所述VVC语法标志是在所述SPS级中用信号发送的并且指示在对所述当前视频解码中允许所述帧间条带时,接收sps_mts_enabled_flag标志、sps_log2_diff_min_qt_min_cb_inter_slice值、sps_weighted_pred_flag标志、six_minus_max_num_merge_cand值和sps_bcw_enabled_flag标志。
CN202180039854.9A 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备 Pending CN115715467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311191514.5A CN117221604A (zh) 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063005203P 2020-04-03 2020-04-03
US63/005,203 2020-04-03
US202063005309P 2020-04-04 2020-04-04
US63/005,309 2020-04-04
PCT/US2021/025635 WO2021203039A1 (en) 2020-04-03 2021-04-02 Methods and devices for high-level syntax in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311191514.5A Division CN117221604A (zh) 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备

Publications (1)

Publication Number Publication Date
CN115715467A true CN115715467A (zh) 2023-02-24

Family

ID=77929680

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311191514.5A Pending CN117221604A (zh) 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备
CN202180039854.9A Pending CN115715467A (zh) 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311191514.5A Pending CN117221604A (zh) 2020-04-03 2021-04-02 用于视频编解码中的高级语法的方法和设备

Country Status (4)

Country Link
US (1) US20230103542A1 (zh)
EP (1) EP4128792A4 (zh)
CN (2) CN117221604A (zh)
WO (1) WO2021203039A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556915B (zh) * 2019-10-10 2023-11-10 北京字节跳动网络技术有限公司 几何分割模式中被编解码的块的去块

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5358746B2 (ja) * 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US20170134732A1 (en) * 2015-11-05 2017-05-11 Broadcom Corporation Systems and methods for digital media communication using syntax planes in hierarchical trees
WO2019001741A1 (en) * 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
EP3854106B1 (en) * 2018-09-18 2023-10-04 Nokia Technologies Oy Method and apparatus for non-binary profile constraint signaling for video coding
WO2020060843A1 (en) * 2018-09-19 2020-03-26 Interdigital Vc Holdings, Inc. Generalized bi-prediction index coding

Also Published As

Publication number Publication date
US20230103542A1 (en) 2023-04-06
EP4128792A1 (en) 2023-02-08
EP4128792A4 (en) 2023-05-24
CN117221604A (zh) 2023-12-12
WO2021203039A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
AU2023202413B2 (en) Signaling of inter layer prediction in video bitstream
CA3134537A1 (en) Signaling of inter layer prediction in video bitstream
WO2021252338A1 (en) Techniques for bitstream extraction for subpicture in coded video stream
EP4014499A1 (en) Constraint on syntax elements for still picture profiles
US20230025260A1 (en) Picture Output Flag Indication In Video Coding
CA3136556A1 (en) Techniques for bitstream extraction for subpicture in coded video stream
US11683514B2 (en) Method and apparatus for video coding for machine
CN115336280A (zh) 用于视频编解码中的高级语法的方法和设备
CN115715467A (zh) 用于视频编解码中的高级语法的方法和设备
CN115606185A (zh) 用于视频编解码的高级语法
WO2021236888A1 (en) General constraint information and signaling of syntax elements in video coding
AU2021246917B2 (en) Method for signaling rectangular slice partitioning in coded video stream
US11843782B2 (en) Signaling output picture size for reference picture resampling
AU2021249201B2 (en) Method for output layer set mode
CN115606180A (zh) 视频编码的通用约束信息
CA3136422A1 (en) Techniques for random access point indication and picture output in coded video stream
CN115380525A (zh) 图片标头中的高级别语法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination