CN115606185A - 用于视频编解码的高级语法 - Google Patents

用于视频编解码的高级语法 Download PDF

Info

Publication number
CN115606185A
CN115606185A CN202180032251.6A CN202180032251A CN115606185A CN 115606185 A CN115606185 A CN 115606185A CN 202180032251 A CN202180032251 A CN 202180032251A CN 115606185 A CN115606185 A CN 115606185A
Authority
CN
China
Prior art keywords
sps
flag
receiving
enabled
syntax elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180032251.6A
Other languages
English (en)
Inventor
朱弘正
陈漪纹
修晓宇
马宗全
陈伟
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310842121.XA priority Critical patent/CN117041602A/zh
Publication of CN115606185A publication Critical patent/CN115606185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于对视频信号进行解码的方法、装置和非暂态计算机可读存储介质。解码器可通过比特流接收序列参数集(SPS)级中的被排列的语法元素。SPS级中的被排列的语法元素被排列使得相关语法元素的功能在编码级的通用视频编解码VVC语法中被分组。解码器可通过比特流并且响应于多个语法元素满足预定义条件，接收紧接在多个语法元素之后的第二语法元素。解码器可通过比特流，根据多个语法元素和第二语法元素对来自比特流的视频数据执行相关语法元素功能。

Description

用于视频编解码的高级语法
相关申请的交叉引用
本申请基于并要求于2020年05月01日提交的申请号为63/019,250的临时申请的优先权，其全部内容通过引用以其整体并入本文用于所有目的。
技术领域
本公开涉及视频编解码和压缩。更具体地，本申请涉及适用于一个或多个视频编解码标准的视频比特流中的高级语法。
背景技术
各种视频编解码技术可以用于压缩视频数据。视频编解码是根据一个或多个视频编解码标准来执行的。例如，视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、运动图片专家组(MPEG)编解码等。视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)，预测方法利用了视频图像或序列中存在的冗余。视频编解码技术的重要目标在于将视频数据压缩为使用更低比特率的形式，同时避免或最小化视频质量的下降。
发明内容
本公开的示例提供了用于视频编解码中的高级语法的方法和装置。
根据本公开的第一方面，提供一种用于对视频信号进行解码的方法。所述方法可包括：解码器接收序列参数集SPS级中的被排列的语法元素，其中所述SPS级中的所述被排列的语法元素被排列使得相关语法元素的功能在编码级的通用视频编解码VVC语法中被分组。解码器还可响应于多个语法元素满足预定义条件，接收紧接在所述多个语法元素之后的第二语法元素。解码器还可根据所述多个语法元素和所述第二语法元素对来自比特流的视频数据执行相关语法元素功能。
根据本公开的第二方面，提供一种用于对视频信号进行解码的方法。所述方法可包括：解码器接收序列参数集SPS级中的被排列的语法元素，其中SPS级中的被排列的语法元素被排列使得帧间预测相关语法元素在编码级的通用视频编解码VVC语法中被分组。解码器还可获得比特流中的与视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按显示顺序，所述第一参考图片I(0)在当前图片之前，并且所述第二参考图片I(1)在所述当前图片之后。解码器还可从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i，j)。i和j可表示所述当前图片中的一个样点的坐标。解码器还可从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i，j)。解码器还可基于所述SPS级中的所述被排列的语法元素、以及所述第一预测样点I(0)(i，j)和所述第二预测样点I(1)(i，j)获得双向预测样点。
根据本公开的第三方面，提供一种计算设备。所述计算设备可包括：一个或多个处理器；非暂态计算机可读存储介质，存储可由所述一个或多个处理器执行的指令。所述一个或多个处理器可被配置为接收序列参数集SPS级中的被排列的语法元素。所述SPS级中的所述被排列的语法元素被排列使得相关语法元素的功能在编码级的通用视频编解码VVC语法中被分组。所述一个或多个处理器还可被配置为响应于多个语法元素满足预定义条件，接收紧接在所述多个语法元素之后的第二语法元素。所述一个或多个处理器还可被配置为根据所述多个语法元素和所述第二语法元素对来自比特流的视频数据执行相关语法元素功能。
根据本公开的第四方面，提供一种非暂态计算机可读存储介质，其上存储有指令。当所述指令被设备的一个或多个处理器执行时，所述指令可使所述设备接收序列参数集SPS级中的被排列的语法元素，其中SPS级中的被排列的语法元素被排列使得帧间预测相关语法元素在编码级的通用视频编解码VVC语法中被分组。所述指令可使所述设备获得比特流中的与视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按显示顺序，所述第一参考图片I(0)在当前图片之前，并且所述第二参考图片I(1)在所述当前图片之后。所述指令可使所述设备从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i，j)。i和j表示所述当前图片中的一个样点的坐标。所述指令可使所述设备从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i，j)。所述指令可使所述设备基于所述SPS级中的所述被排列的语法元素、以及所述第一预测样点I(0)(i，j)和所述第二预测样点I(1)(i，j)获得双向预测样点。
应当理解，上面的一般描述和下面的详细描述仅是示例性和说明性的，并不旨在限制本公开。
附图说明
附图被并入本说明书中且构成本说明书的一部分，附图示出了与本公开一致的示例并且与说明书一起用于解释本公开的原理。
图1是根据本公开的示例的编码器的框图。
图2是根据本公开的示例的解码器的框图。
图3A是说明根据本公开的示例的多类型树结构中的块分割的示图。
图3B是说明根据本公开的示例的多类型树结构中的块分割的示图。
图3C是说明根据本公开的示例的多类型树结构中的块分割的示图。
图3D是说明根据本公开的示例的多类型树结构中的块分割的示图。
图3E为说明根据本公开的示例的多类型树结构中的块分割的示图。
图4是根据本公开的示例的用于对视频信号进行解码的方法。
图5是根据本公开的示例的用于对视频信号进行解码的方法。
图6是根据本公开的示例的用于对视频信号进行解码的方法。
图7是示出根据本公开的示例的与用户接口耦接的计算环境的示图。
具体实施方式
现在将详细参照实施例，其示例在附图中示出。以下描述参考附图，其中不同附图中的相同标号表示相同或相似的元件，除非另有表示。在实施例的以下描述中阐述的实现方式不表示与本公开一致的所有实现方式。相反，它们仅是与如所附权利要求中所记载的与本公开相关的方面一致的装置和方法的示例。
本公开中使用的术语仅用于描述特定实施例的目的，并且不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一种”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。还应当理解，本文使用的术语“和/或”旨在表示和包括一个或多个相关联的所列项目的任何或所有可能的组合。
应当理解，尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是信息不应受这些术语的限制。这些术语仅用于将一类信息与另一类信息区分开。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，根据上下文，术语“如果”可以被理解为意指“当......时”或“一经......”或“响应于判断”。
HEVC标准的第一版本在2013年10月完成，与前一代视频编解码标准H.264/MPEGAVC相比，HEVC标准的第一版本提供大约50％的比特率节省或同等的感知质量。尽管HEVC标准提供了与其前身相比显著的编解码改进，但有证据表明可以利用额外编解码工具实现优于HEVC的编解码效率。基于此，VCEG和MPEG都开始了用于未来视频编解码标准化的新编解码技术的探索工作。ITU-T VECG和ISO/IEC MPEG在2015年10月形成了一个联合视频探索小组(JVET)，以开始对可以实现显著提高编解码效率的先进技术的重要研究。JVET通过在HEVC测试模型(HM)之上集成若干额外编解码工具，来维护一个被称为联合探索模型(JEM)的参考软件。
在2017年10月，ITU-T和ISO/IEC发布了关于具有超出HEVC的能力的视频压缩的联合提案召集(CfP)。在2018年4月，在第10次JVET会议上接收并评估了23个CfP回应，其展示了超过HEVC约40％的压缩效率增益。基于这样的评估结果，JVET发起了新项目以开发被命名为通用视频编解码(VVC)的新一代视频编解码标准。在同月，建立了一个被称为VVC测试模型(VTM)的参考软件代码库，用于展示VVC标准的参考实现。
与HEVC类似，VVC建立在基于块的混合视频编解码框架上。
图1示出了用于VVC的基于块的视频编码器的一般示图。具体地，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编码138和比特流144。
在编码器100中，视频帧被分割为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。
预测残差，表示当前视频块(视频输入110的一部分)与其预测值(块预测值140的一部分)之间的差，从加法器128被发送到变换130。变换系数然后从变换130被发送到量化132以用于熵减少。量化的系数然后被馈送到熵编码138以生成压缩的视频比特流。如图1所示，来自帧内/帧间模式决策116的预测相关信息142(诸如视频块分割信息、运动矢量(MV)、参考图片索引和帧内预测模式)也通过熵编码138被馈送并保存到压缩的比特流144中。压缩的比特流144包括视频比特流。
在编码器100中，还需要解码器相关电路以重建用于预测目的的像素。首先，通过反量化134和逆变换136重建预测残差。该重建的预测残差与块预测值140组合，以生成用于当前视频块的未经滤波的重建像素。
空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已编码的相邻块的样点(其被称为参考样点)的像素，来预测当前视频块。
时间预测(也被称为“帧间预测”)使用来自已编码的视频图片的重建像素，来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定编码单元(CU)或编码块的时间预测信号通常由一个或多个MV用信号表示，该一个或多个MV指示当前CU与其时间参考之间的运动量和运动方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储装置中的哪个参考图片。
运动估计114接收视频输入110和来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112接收视频输入110、来自图片缓冲器120的信号、以及来自运动估计114的运动估计信号，并且将运动补偿信号输出到帧内/帧间模式决策116。
在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中减去块预测值140，并且使用变换130和量化132对得到的预测残差进行去相关。得到的量化的残差系数由反量化134进行反量化并且由逆变换136进行逆变换以形成重建的残差，然后将该重建的残差加回到预测块以形成CU的重建信号。在重建的CU被放入图片缓冲器120的参考图片存储装置中并用于对未来的视频块进行编解码之前，可以对重建的CU进一步应用环路滤波122，诸如去块滤波器、样点自适应偏移(SAO)、和/或自适应环路滤波器(ALF)。为了形成输出视频比特流144，编码模式(帧间或帧内)、预测模式信息、运动信息、以及量化的残差系数全部被发送到熵编码单元138，以进一步被压缩和打包以形成比特流。
图1给出了通用的基于块的混合视频编码系统的框图。输入视频信号被逐块(称为CU)处理。在VTM-1.0中，CU可以多达128×128个像素。然而，与仅基于四叉树来分割块的HEVC不同，在VVC中，一个编码树单元(CTU)基于四叉树/二叉树/三叉树被拆分为多个CU以适应变化的局部特性。另外，HEVC中的多分割单元类型的概念被去除，也即，在VVC中不再存在CU、预测单元(PU)和变换单元(TU)的区分；相反，每个CU总是被用作用于预测和变换两者的基本单元，而无需进一步的分割。
在多类型树结构中，一个CTU首先通过四叉树结构被分割。然后，每个四叉树叶节点可以通过二叉和三叉树结构被进一步分割。
如图3A、图3B、图3C、图3D和图3E所示，存在五种拆分类型，四元分割、水平二元分割、垂直二元分割、水平三元分割和垂直三元分割。
图3A示出了图示出根据本公开的多类型树结构中的块四元分割的示图。
图3B示出了图示出根据本公开的多类型树结构中的块垂直二元分割的示图。
图3C示出了图示出根据本公开的多类型树结构中的块水平二元分割的示图。
图3D示出了图示出根据本公开的多类型树结构中的块垂直三元分割的示图。
图3E示出了图示出根据本公开的多类型树结构中的块水平三元分割的示图。
在图1中，空间预测和/或时间预测可以被执行。空间预测(或“帧内预测”)使用来自相同视频图片/条带中的已编码的相邻块的样点(其被称为参考样点)的像素，来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“经运动补偿的预测”)使用来自已编码视频图片的重建像素，来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。
用于给定CU的时间预测信号通常由一个或多个运动矢量(MV)用信号表示，该一个或多个运动矢量指示当前CU与其时间参考之间的运动的量和方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储库中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块中被减去预测块，并且使用变换去相关预测残差并进行量化。
对量化后的残差系数进行反量化和逆变换以形成重建的残差，然后该重建的残差被加回到预测块以形成CU的重建信号。此外，在重建的CU被放入参考图片存储库中并用于对未来的视频块进行编解码之前，可以对重建的CU应用环路滤波，诸如去块滤波器、样点自适应偏移(SAO)、以及自适应环路滤波器(ALF)。为了形成输出视频比特流，编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数全部被发送到熵编码单元，以进一步被压缩和打包以形成比特流。
图2示出了用于VVC的视频解码器的一般框图。具体地，图2示出了典型的解码器200框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234和视频输出232。
解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先通过熵解码212对输入的视频比特流210进行解码，以导出量化的系数等级和预测相关信息。然后通过反量化214和逆变换216处理量化系数等级，以获得重建的预测残差。在帧内/帧间模式选择器220中实现的块预测值机制被配置为：基于经解码的预测信息来执行帧内预测222或运动补偿224。通过使用加法器218，对来自逆变换216的重建预测残差和由块预测值机制生成的预测输出进行求和，来获得一组未经滤波的重建像素。
在重建的块存储在用作参考图片存储库的图片缓冲器226中之前，重建的块可以进一步通过环路滤波器228。图片缓冲器226中的重建视频可以被发送以驱动显示设备，以及用于预测未来的视频块。在打开环路滤波器228的情况下，对这些重建的像素执行滤波操作以导出最终的重建视频输出232。
图2给出了基于块的视频解码器的一般框图。视频比特流首先在熵解码单元处被熵解码。编码模式和预测信息被发送到空间预测单元(如果被帧内编码)或时间预测单元(如果被帧间编码)以形成预测块。残差变换系数被发送到反量化单元和逆变换单元以重建残差块。然后将预测块和残差块相加在一起。重建的块在其被存储在参考图片存储库中之前可以进一步通过环路滤波。然后参考图片存储库中的重建视频被发送出去以驱动显示设备，以及用于预测未来的视频块。
通常，在VVC中应用的基本帧内预测方案与HEVC的基本帧内预测方案保持相同，除外的是在VVC中应用的基本帧内预测方案对若干模块进一步扩展和/或改进。例如，矩阵加权帧内预测(MIP)编码模式、帧内子分区(ISP)编码模式、具有广角帧内方向的扩展帧内预测、位置相关帧内预测组合(PDPC)和4抽头帧插值。本公开的主要焦点在于改进VVC标准中的现有高级语法设计。相关的背景知识在以下部分中详细描述。
与HEVC一样，VVC使用基于NAL单元的比特流结构。编解码的比特流被划分为NAL单元，当在有损分组网络上传送时，NAL单元应该小于最大传输单元尺寸。每个NAL单元由NAL单元头及其后面的NAL单元有效载荷组成。存在两个概念类别的NAL单元，含有已编码样点数据的视频编码层(VCL)NAL单元，诸如已编码条带NAL单元，以及通常属于多于一个已编码图片的含有元数据的非VCL NAL单元，或与单个已编码图片的关联将是无意义的非VCL NAL单元，诸如参数集NAL单元，或解码过程不需要信息的非VCL NAL单元，诸如SEI NAL单元。
在VVC中，引入了两字节NAL单元头，预期该设计足以支持未来的扩展。当前VVC草案规范中的NAL单元头的语法和相关联的语义分别在表1和表2中示出。在本公开的附录部分中示出了如何阅读表1，这也可以在VVC规范中找到。
表1.NAL单元头语法
Figure BDA0003917965780000091
表2.NAL单元头语义
Figure BDA0003917965780000092
表3.NAL单元类型码和NAL单元类型类别
Figure BDA0003917965780000093
Figure BDA0003917965780000101
Figure BDA0003917965780000111
VVC继承了HEVC的参数集概念并进行了一些修改和添加。参数集可以是视频比特流的一部分，或者可以由解码器通过其他手段(包括使用可靠信道的带外传输、编码器和解码器中的硬编解码等)接收。参数集包含从条带头部直接或间接地参考的标识，如稍后更详细地讨论的。参考过程被称为“激活”。根据参数集类型，按图片或按序列发生激活。除其他原因之外，还因为借助于比特流中的信息的位置的隐式激活(对于视频编解码器的其他语法元素是常见的)在带外传输的情况下不可用，所以引入了通过参考进行激活的概念。
引入视频参数集(VPS)以传递适用于多个层以及子层的信息。引入VPS是为了解决这些缺点以及实现多层编解码器的简洁且可扩展的高级设计。给定视频序列的每一层(不管其是否具有相同或不同序列参数集(SPS))参考相同VPS。表4中示出当前VVC草案规范中的视频参数集的语法。在本公开的附录部分中示出了如何阅读表4，这也可以在VVC规范中找到。
表4.视频参数集RBSP语法
Figure BDA0003917965780000112
Figure BDA0003917965780000121
Figure BDA0003917965780000131
Figure BDA0003917965780000141
在VVC中，SPS含有应用于已编码视频序列的所有条带的信息。已编码视频序列从作为比特流中的第一图片的瞬时解码刷新(IDR)图片或BLA图片或CRA图片开始，并且包括不是IDR图片或BLA图片的所有后续图片。比特流由一个或多个已编码视频序列组成。SPS的内容可以粗略地细分为六个类别：1)自参考(其自己的ID)；2)解码器操作点相关信息(简档、级、图片尺寸、子层数量等)；3)用于简档内的某些工具的启用标志，以及在启用工具的情况下的相关联的编解码工具参数；4)限制结构系数和变换系数编解码的灵活性的信息；5)时间可伸缩性控制；以及6)视觉可用性信息(VUI)，其包括HRD信息。在当前VVC草案规范中设置的序列参数的语法和相关联的语义分别在表5和表6中示出。如何读取表5在本公开的附录部分中示出，其也可以在VVC规范中找到。
表5.序列参数集RBSP语法
Figure BDA0003917965780000142
Figure BDA0003917965780000151
Figure BDA0003917965780000161
Figure BDA0003917965780000171
Figure BDA0003917965780000181
Figure BDA0003917965780000191
Figure BDA0003917965780000201
Figure BDA0003917965780000211
表6.序列参数集RBSP语义
Figure BDA0003917965780000212
Figure BDA0003917965780000221
Figure BDA0003917965780000231
Figure BDA0003917965780000241
Figure BDA0003917965780000251
Figure BDA0003917965780000261
Figure BDA0003917965780000271
Figure BDA0003917965780000281
Figure BDA0003917965780000291
Figure BDA0003917965780000301
Figure BDA0003917965780000311
Figure BDA0003917965780000321
Figure BDA0003917965780000331
Figure BDA0003917965780000341
Figure BDA0003917965780000351
Figure BDA0003917965780000361
Figure BDA0003917965780000371
Figure BDA0003917965780000381
Figure BDA0003917965780000391
Figure BDA0003917965780000401
Figure BDA0003917965780000411
Figure BDA0003917965780000421
Figure BDA0003917965780000431
Figure BDA0003917965780000441
VVC的图片参数集(PPS)包含可在图片之间改变的这种信息。PPS包括与HEVC中PPS的一部分大致相当的信息，包括：1)自参考；2)初始图片控制信息，诸如初始量化参数(QP)、指示某些工具或条带头部中的控制信息的使用或存在的多个标志；以及3)瓦片信息。在当前VVC草案规范中的图片参数集的语法和相关语义分别在表7和表8中示出。如何读取表7在本公开的附录部分中示出，这也可以在VVC规范中找到。
表7.图片参数集RBSP语法
Figure BDA0003917965780000451
Figure BDA0003917965780000461
Figure BDA0003917965780000471
Figure BDA0003917965780000481
表8.图片参数集RBSP语义
Figure BDA0003917965780000482
Figure BDA0003917965780000491
Figure BDA0003917965780000501
Figure BDA0003917965780000511
Figure BDA0003917965780000521
Figure BDA0003917965780000531
Figure BDA0003917965780000541
Figure BDA0003917965780000551
Figure BDA0003917965780000561
Figure BDA0003917965780000571
Figure BDA0003917965780000581
Figure BDA0003917965780000591
Figure BDA0003917965780000601
Figure BDA0003917965780000611
条带头部含有可逐条带改变的信息以及相对较小或仅对于特定条带或图片类型相关的此类图片相关信息。条带头部的大小可明显大于PPS，尤其是当条带头部中存在瓦片或波前入口点偏移且RPS、预测权重或参考图片列表修改被显式地通过信号发送时。表10中示出了当前VVC草案规范中的图片头部的语法。在本公开的附录部分中示出了如何阅读表10，这也可以在VVC规范中找到。
表10.图片头部结构语法
Figure BDA0003917965780000612
Figure BDA0003917965780000621
Figure BDA0003917965780000631
Figure BDA0003917965780000641
Figure BDA0003917965780000651
Figure BDA0003917965780000661
对语法元素的改进
在当前VVC中，当存在分别用于帧内预测和帧间预测的类似语法元素时，在一些地方，在与帧内预测相关的语法元素之前定义与帧间预测相关的语法元素。考虑到在所有图片/条带类型中允许帧内预测而不是在所有图片/条带类型中都允许帧间预测的事实，这种顺序可能不是优选的。从标准化的角度来看，总是在用于帧间预测的语法之前定义帧内预测相关语法将是有益的。
还观察到，在当前VVC中，彼此高度相关的一些语法元素以扩展方式在不同位置处被定义。从标准化的角度来看，将一些语法分组在一起也是有益的。
提出的方法
在本公开中，为了解决如“问题陈述”部分中所指出的问题，提供用于简化和/或进一步改进高级语法的现有设计的方法。注意，本公开的方法可以独立地或联合地应用。
按预测类型对分割约束语法元素进行分组
在本公开中，提出重新排列语法元素，使得在与帧间预测相关的语法元素之前定义与帧内预测相关的语法元素。根据本公开，分割约束语法元素按预测类型被分组，其中首先是帧内预测相关的语法元素，接着是帧间预测相关的语法元素。在一个实施例中，SPS中的分割约束语法元素的顺序与图片头部中的分割约束语法元素的顺序一致。在下表11中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表11提出的序列参数集RBSP语法
Figure BDA0003917965780000662
Figure BDA0003917965780000671
对双树色度语法元素进行分组
在本公开中，提出对与双树色度类型相关的语法元素进行分组。在一个实施例中，用于SPS中的双树色度的分割约束语法元素应在双树色度情况下一起被通过信号发送。在下表12中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表12.提出的序列参数集RBSP语法
Figure BDA0003917965780000681
如果还考虑在与帧间预测相关的语法之前定义帧内预测相关语法，则根据本公开的方法，下表13中示出VVC草案上的解码过程的另一示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表13.提出的序列参数集RBSP语法
Figure BDA0003917965780000682
Figure BDA0003917965780000691
有条件地通过信号发送帧间预测相关语法元素
如先前描述中所提及，根据当前VVC，在所有图片/条带类型中允许帧内预测，而不是在所有图片/条带类型中都允许帧间预测。根据本公开，提出了在特定编码级的VVC语法中添加标志，以指示在序列、图片和/或条带中是否允许帧间预测。在不允许帧间预测的情况下，不在对应的编码级(例如，序列、图片和/或条带级)通过信号发送帧间预测相关语法。
根据本公开，还提出在特定编码级的VVC语法中添加标志以指示在序列、图片和/或条带中是否允许诸如P条带和B条带的帧间条带。在不允许帧间条带的情况下，不在对应的编码级(例如，序列、图片和/或条带级)通过信号发送帧间条带相关语法。
在以下部分中基于所提出的帧间条带允许标志给出一些示例。并且，可以以类似的方式使用所提出的帧间预测允许标志。
当提出的帧间条带允许标志在不同级被添加时，可以以分层方式通过信号发送这些标志。当在较高级处通过信号发送的标志指示不允许帧间条带时，不需要通过信号发送较低级处的标志且可推断其为0(这意味着不允许帧间条带)。
在一个示例中，根据本公开的方法，在SPS中添加标志以指示在对当前视频序列进行编码时是否允许帧间条带。在不允许帧间条带的情况下，不在SPS中通过信号发送条带间相关语法元素。在下表14中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。应注意，存在除示例中引入的语法元素以外的语法元素。例如，存在许多帧间条带(或帧间预测工具)相关语法元素，诸如
Figure BDA0003917965780000701
Figure BDA0003917965780000702
等；还存在与参考图片列表相关的语法元素，诸如
Figure BDA0003917965780000703
Figure BDA0003917965780000704
等。与帧间预测相关的所有这些语法元素可以选择性地由所提出的标志控制。
表14.提出的序列参数集RBSP语法
Figure BDA0003917965780000705
Figure BDA0003917965780000711
Figure BDA0003917965780000721
Figure BDA0003917965780000731
Figure BDA0003917965780000741
Figure BDA0003917965780000751
Figure BDA0003917965780000761
Figure BDA0003917965780000771
7.4.3.3序列参数集RBSP语义
Figure BDA0003917965780000772
等于0指定视频序列的所有已编码条带具有等于2的slice_type(其指示已编码条带为I条带)。sps_inter_slice_allowed_flag等于1指定视频序列中可能存在或可能不存在slice_type等于0(其指示已编码条带为P条带)或1(其指示已编码条带为B条带)的一个或多个已编码条带。
在另一示例中，根据本公开的方法，在图片参数集PPS中添加标志以指示在对与该PPS相关联的图片进行编码时是否允许帧间条带。在不允许帧间条带的情况下，不在PPS中通过信号发送所选择的帧间预测相关语法元素。
在又一示例中，根据本公开的方法，可以以分层方式通过信号发送帧间条带允许标志。在SPS中添加标志(例如sps_inter_slice_allowed_flag)以指示在对与该SPS相关联的图片进行编码时是否允许帧间条带。当sps_inter_slice_allowed_flag等于0(这意味着不允许帧间条带)时，可以省略通过信号发送图片头部中的帧间条带允许标志并将其推断为0。在下表15中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表15.提出的序列参数集RBSP语法
Figure BDA0003917965780000773
7.4.3.7图片头部结构语义
Figure BDA0003917965780000774
等于0指定图片的所有已编码条带具有等于2的slice_type。ph_inter_slice_allowed_flag等于1指定图片中可能存在或可能不存在slice_type等于0或1的一个或多个已编码条带。当ph_inter_slice_allowed_flag不存在时，推断ph_inter_slice_allowed_flag的值等于0。
对帧间相关语法元素进行分组
在本公开中，提出重新排列语法元素使得帧间预测相关语法元素在特定编码级(例如，序列、图片和/或条带级)的VVC语法中被分组。根据本公开，提出重新排列与序列参数集(SPS)中的帧间条带相关的语法元素。在下表16中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表16.提出的序列参数集RBSP语法
Figure BDA0003917965780000781
Figure BDA0003917965780000791
Figure BDA0003917965780000801
Figure BDA0003917965780000811
Figure BDA0003917965780000821
Figure BDA0003917965780000831
Figure BDA0003917965780000841
Figure BDA0003917965780000851
下表17中示出了VVC草案上的解码过程的另一示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表17.提出的序列参数集RBSP语法
Figure BDA0003917965780000852
Figure BDA0003917965780000861
Figure BDA0003917965780000871
Figure BDA0003917965780000881
Figure BDA0003917965780000891
Figure BDA0003917965780000901
Figure BDA0003917965780000911
Figure BDA0003917965780000921
在又一示例中，VVC草案上的解码过程在下表18中示出。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表18.提出的序列参数集RBSP语法
Figure BDA0003917965780000922
Figure BDA0003917965780000931
Figure BDA0003917965780000941
Figure BDA0003917965780000951
Figure BDA0003917965780000961
Figure BDA0003917965780000971
Figure BDA0003917965780000981
Figure BDA0003917965780000991
在又一示例中，VVC草案上的解码过程在下表19中示出。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表19.提出的序列参数集RBSP语法
Figure BDA0003917965780000992
Figure BDA0003917965780001001
Figure BDA0003917965780001011
Figure BDA0003917965780001021
Figure BDA0003917965780001031
Figure BDA0003917965780001041
Figure BDA0003917965780001051
Figure BDA0003917965780001061
图4示出了根据本公开的用于对视频信号进行解码的方法。例如，所述方法可被应用于解码器。
在步骤410中，解码器可以通过比特流接收序列参数集(SPS)级中的被排列的语法元素。SPS级中被排列的语法元素可以被排列为使得相关语法元素的功能在编码级的通用视频编码(VVC)语法中被分组。
在步骤412中，解码器可以通过比特流并且响应于多个语法元素满足预定义条件来接收紧接在多个语法元素之后的第二语法元素。例如，多个语法元素可以包括sps_mmvd_enabled_flag标志和sps_fpel_mmvd_enabled_flag标志。例如，预定义条件可以包括sps_mmvd_enabled_flag标志等于1。
在步骤414中，解码器可以通过比特流根据多个语法元素和第二语法元素，对来自比特流的视频数据执行相关语法元素功能。
根据本公开，还提出在在特定编码级的VVC语法中添加标志以指示在序列、图片和/或条带中是否允许诸如P条带和B条带的帧间条带。在不允许帧间条带的情况下，帧间条带间相关语法不在对应的编码级(例如序列、图片和/或条带级)被通过信号发送。在一个示例中，根据本公开的方法，在SPS中添加标志sps_inter_slice_allowed_flag以指示在对当前视频序列进行编码时是否允许帧间条带。如果不允许，则不在SPS中通过信号发送帧间条带相关语法元素。VVC草案上的解码过程示例如下表20所示。添加的部分使用粗体和斜体字体显示，而删除的部分使用删除线字体显示。
表20.提出的序列参数集RBSP语法
Figure BDA0003917965780001062
Figure BDA0003917965780001071
Figure BDA0003917965780001081
Figure BDA0003917965780001091
Figure BDA0003917965780001101
Figure BDA0003917965780001111
Figure BDA0003917965780001121
Figure BDA0003917965780001131
下表21中示出了VVC草案上的解码过程的另一示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表21.提出的序列参数集RBSP语法
Figure BDA0003917965780001132
Figure BDA0003917965780001141
Figure BDA0003917965780001151
Figure BDA0003917965780001161
Figure BDA0003917965780001171
Figure BDA0003917965780001181
Figure BDA0003917965780001191
Figure BDA0003917965780001201
对相似功能语法元素进行分组
在本公开中，提出重新排列语法元素，使得类似功能(例如，帧内工具、帧间工具、屏幕内容工具、变换工具、量化工具、环路滤波器工具和/或分割工具)、相关语法元素在特定编码级(例如，序列、图片和/或条带级)的VVC语法中被分组。根据本公开，提出重新排列序列参数集(SPS)中的语法元素，使得类似功能相关语法元素进行分组。在下表23中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表23.提出的序列参数集RBSP语法
Figure BDA0003917965780001211
Figure BDA0003917965780001221
Figure BDA0003917965780001231
Figure BDA0003917965780001241
Figure BDA0003917965780001251
Figure BDA0003917965780001261
Figure BDA0003917965780001271
Figure BDA0003917965780001281
下表24中示出了VVC草案上的解码过程的另一示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表24.提出的序列参数集RBSP语法
Figure BDA0003917965780001282
Figure BDA0003917965780001291
Figure BDA0003917965780001301
Figure BDA0003917965780001311
Figure BDA0003917965780001321
Figure BDA0003917965780001331
Figure BDA0003917965780001341
Figure BDA0003917965780001351
根据本公开，提出重新排列图片参数集(PPS)中的语法元素，使得类似功能相关语法元素被分组。在下表25中示出了VVC草案上的解码过程的示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表25.提出的序列参数集RBSP语法
Figure BDA0003917965780001352
Figure BDA0003917965780001361
Figure BDA0003917965780001371
Figure BDA0003917965780001381
Figure BDA0003917965780001391
下表26中示出了VVC草案上的解码过程的另一示例。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表26.提出的序列参数集RBSP语法
Figure BDA0003917965780001392
Figure BDA0003917965780001401
Figure BDA0003917965780001411
Figure BDA0003917965780001421
在又一示例中，VVC草案上的解码过程在下表27中示出。对VVC草案的改变使用粗体和斜体字体示出，而删除的部分以删除线字体示出。
表27.提出的序列参数集RBSP语法
Figure BDA0003917965780001422
Figure BDA0003917965780001431
Figure BDA0003917965780001441
Figure BDA0003917965780001451
Figure BDA0003917965780001461
图5示出了根据本公开的用于对视频信号进行解码的方法。所述方法可例如被应用于解码器。
在步骤510中，解码器可接收SPS级中的被排列的语法元素，使得帧间预测相关语法元素在编码级的VVC语法中被分组。
在步骤512中，解码器可获得比特流中的与视频块相关联的第一参考图片I(0)和第二参考图片I(1)。按照显示顺序，第一参考图片I(0)在当前图片之前，第二参考图片I(1)在当前图片之后。
在步骤514中，解码器可从第一参考图片I(0)中的参考块获得视频块的第一预测样点I(0)(i，j)。i和j表示当前图片中的一个样点的坐标。
在步骤516中，解码器可从第二参考图片I(1)中的参考块获得视频块的第二预测样点I(1)(i，j)。
在步骤518中，解码器可基于SPS级中的被排列的语法元素、第一预测样点I(0)(i，j)和第二预测样点I(1)(i，j)获得双向预测样点。
图6示出了根据本公开的用于对视频信号进行解码的方法。所述方法可例如被应用于解码器。
在步骤610中，解码器可接收包括用于已编码的视频数据的VPS、SPS、PPS、图片头部和条带头部的比特流。
在步骤612中，解码器可对VPS进行解码。
在步骤614中，解码器可对SPS进行解码并且获得SPS级中的被排列的分割约束语法元素。
在步骤616中，解码器可对PPS进行解码。
在步骤618中，解码器可对图片头部进行解码。
在步骤620中，解码器可对条带头部进行解码。
在步骤622中，解码器可基于VPS、SPS、PPS、图片头部和条带头部对视频数据进行解码。
可以使用包括一个或多个电路的装置来实现上述方法，一个或多个电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件。该装置可以与其他硬件或软件组件组合地使用所述电路来执行上述方法。上面公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路来实现。
图7示出了与用户接口760耦接的计算环境710。计算环境710可以是数据处理服务器的一部分。计算环境710包括处理器720、存储器740和I/O接口750。
处理器720通常控制计算环境710的整体操作，诸如与显示、数据采集、数据通信和图像处理相关联的操作。处理器720可以包括一个或多个处理器来执行指令以执行上文描述的方法中的全部或一些步骤。此外，处理器720可以包括促进处理器720与其他组件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。
存储器740被配置为存储各种类型的数据，以支持计算环境710的操作。存储器740可以包括预定软件742。这种数据的示例包括用于在计算环境710上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器740可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实现，诸如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
I/O接口750提供处理器720与外围接口模块(诸如键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。I/O接口750可以与编码器和解码器耦接。
在一些实施例中，还提供了一种非暂态计算机可读存储介质，其包括多个程序，诸如被包括在存储器740中，由计算环境710中的处理器720可执行，用于执行上文描述的方法。例如，非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。
非暂态计算机可读存储介质中存储有多个程序，多个程序由具有一个或多个处理器的计算设备执行，其中多个程序在由一个或多个处理器执行时使计算设备执行上文描述的用于运动预测的方法。
在一些实施例中，计算环境710可以利用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器或其他电子组件来实现，以用于执行上述方法。
考虑到本文公开的本公开的说明书和实践，本公开的其他示例对于本领域技术人员而言将是显而易见的。本申请旨在涵盖遵循本公开的一般原理的本公开的任何变化、用途或改编，并且包括在本领域已知或惯常实践内的与本公开的这种偏离。说明书和示例旨在仅被认为是示例性的。
应当理解，本公开不限于上述和附图中示出的确切示例，并且可以在不脱离其范围的情况下进行各种修改和改变。

Claims (24)

1.一种用于对视频信号进行解码的方法，包括：
由解码器通过比特流接收序列参数集SPS级中的被排列的语法元素，其中所述SPS级中的所述被排列的语法元素被排列使得相关语法元素的功能在编码级的通用视频编解码VVC语法中被分组；
由所述解码器通过所述比特流并且响应于多个语法元素满足预定义条件，接收紧接在所述多个语法元素之后的第二语法元素；以及
由所述解码器通过所述比特流，根据所述多个语法元素和所述第二语法元素对来自所述比特流的视频数据执行相关语法元素功能。
2.根据权利要求1所述的方法，其中所述相关语法元素的功能包括帧内工具、帧间工具、屏幕内容工具、变换工具、量化工具、环路滤波器工具和分割工具。
3.根据权利要求1所述的方法，其中由所述解码器接收所述SPS级中的所述被排列的语法元素包括：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
接收sps_mmvd_enabled_flag值；
确定sps_mmvd_enabled_flag标志等于1；
接收sps_fpel_mmvd_enabled_flag值；
确定sps_mmvd_enabled_flag标志不等于1；以及
设置sps_fpel_mmvd_enabled_flag值。
4.根据权利要求1所述的方法，其中由所述解码器接收所述SPS级中的所述被排列的语法元素包括：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
接收sps_transform_skip_enabled_flag标志；
确定sps_transform_skip_enabled_flag标志等于1；
接收log2_transform_skip_max_size_minus2值；
接收sps_bdpcm_enabled_flag标志；
确定sps_transform_skip_enabled_flag标志不等于1；
设置log2_transform_skip_max_size_minus2值；
设置sps_bdpcm_enabled_flag值；
接收sps_weighted_pred_flag标志；
接收sps_weighted_bipred_flag标志；
接收long_term_ref_pics_flag标志；
确定sps_video_parameter_set_id值大于1；
接收sps_inter_layer_ref_pics_present_flag标志；
确定sps_video_parameter_set_id值不大于1；
设置sps_inter_layer_ref_pics_present_flag标志；
接收sps_idr_rpl_present_flag标志；
接收rpl1_same_as_rpl0_flag标志；
接收一个或多个num_ref_pic_lists_in_sps值；以及
接收sps_ref_wraparound_enabled_flag标志。
5.根据权利要求1所述的方法，其中由所述解码器接收所述SPS级中的所述被排列的语法元素包括：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
接收sps_mmvd_enabled_flag值；
确定sps_mmvd_enabled_flag标志等于1；
接收sps_fpel_mmvd_enabled_flag值；
接收six_minus_max_num_merge_cand值；
接收sps_sbt_enabled_flag值；
接收sps_affine_enabled_flag值；
确定sps_affine_enabled_flag标志等于1；
接收five_minus_max_num_subblock_merge_cand值；
接收sps_affine_type_flag值；
确定sps_amvr_enabled_flag标志等于1；
接收sps_affine_amvr_enabled_flag值；
接收sps_affine_prof_enabled_flag值；
确定sps_affine_prof_enabled_flag标志等于1；
接收sps_prof_control_present_in_ph_flag值；
接收sps_bcw_enabled_flag值；
接收sps_ciip_Enabled_Flag值；
确定MaxNumMergeCand值大于或等于2；
接收sps_gpm_enabled_flag值；
确定sps_gpm_enabled_flag标志等于1且MaxNumMergeCand值大于或等于3；
接收max_num_merge_cand_minus_max_num_gpm_cand值；
接收log2_parallel_merge_level_minus2值；
6.根据权利要求1所述的方法，还包括：
由所述解码器接收图片参数集PPS级中的被排列的语法元素，使得相关语法元素的功能在编码级的VVC语法中被分组。
7.根据权利要求6所述的方法，其中由所述解码器接收所述PPS级中的所述被排列的语法元素包括：
由所述解码器接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
确定pps_cu_chroma_qp_offset_list_enabled_flag标志被设置；
设置num_ref_idx_default_active_minus1值；
接收pps_weighted_pred_flag标志；
接收rpl_info_in_ph_flag标志；
确定pps_ref_wraparound_enabled_flag标志被设置；以及
接收deblocking_filter_control_present_flag标志。
8.根据权利要求6所述的方法，其中由所述解码器接收所述PPS级中的所述被排列的语法元素包括：
由所述解码器接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
接收rpl1_idx_present_flag标志；
接收pps_weighted_pred_flag标志；
确定pps_ref_wraparound_enabled_flag被设置；以及
接收init_qp_minus26值。
9.根据权利要求6所述的方法，其中由所述解码器接收所述PPS级中的所述被排列的语法元素包括：
由所述解码器接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
接收rpl1_idx_present_flag标志；
接收pps_weighted_pred_flag标志；
接收pps_weighted_bipred_flag标志；
接收pps_ref_wraparound_enabled_flag标志；
确定pps_ref_wraparound_enabled_flag标志等于1；
接收pps_pic_width_minus_wraparound_offset值；
确定pps_ref_wraparound_enabled_flag不等于1；以及
设置pps_pic_width_minus_wraparound_offset值；以及
接收init_qp_minus26值。
10.一种用于对视频信号进行解码的方法，包括：
由所述解码器接收序列参数集SPS级中的被排列的语法元素，其中所述SPS级中的所述被排列的语法元素被排列使得帧间预测相关语法元素在编码级的通用视频编解码VVC语法中被分组；
在所述解码器处，获得比特流中的与视频块相关联的第一参考图片I(0)和第二参考图片I(1)，其中按显示顺序，所述第一参考图片I(0)在当前图片之前，并且所述第二参考图片I(1)在所述当前图片之后；
在所述解码器处，从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i，j)，其中i和j表示所述当前图片中的一个样点的坐标；
在所述解码器处，从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i，j)；以及
在所述解码器处，基于所述SPS级中的所述被排列的语法元素、以及所述第一预测样点I(0)(i，j)和所述第二预测样点I(1)(i，j)获得双向预测样点。
11.根据权利要求10所述的方法，其中由所述解码器接收所述SPS级中的所述被排列的语法元素包括：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag标志被设置；
接收sps_weighted_pred_flag标志；
设置num_ref_pic_lists_in_sps值；
设置sps_log2_diff_min_qt_min_cb_inter_slice值；
确定sps_max_mtt_hierarchy_depth_inter_slice值不等于0；
接收sps_ref_wraparound_enabled_flag标志；
接收sps_mmvd_enabled_flag标志；
确定sps_affine_enabled_flag标志被设置；
接收sps_bcw_enabled_flag标志；
确定MaxNumMergeCand值大于2；
设置log2_parallel_merge_level_minus2值；以及
接收sps_isp_enabled_flag标志。
12.根据权利要求10所述的方法，其中由所述解码器接收所述SPS级中的所述被排列的语法元素包括：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag标志被设置；
接收sps_weighted_pred_flag标志；
确定sps_video_parameter_set_id标志大于0；
设置num_ref_pic_lists_in_sps值；
接收sps_ref_wraparound_enabled_flag标志；
接收sps_mmvd_enabled_flag标志；
确定sps_mmvd_enabled_flag标志被设置；
接收sps_affine_enabled_flag标志；
确定所述sps_affine_enabled_flag标志被设置；
接收sps_bcw_enabled_flag标志；
确定maxNummergeCand值大于等于2；
设置log2_parallel_merge_level_minus2值；以及
接收sps_isp_enabled_flag标志。
13.一种计算设备，包括：
一个或多个处理器；以及
非暂态计算机可读存储介质，存储可由所述一个或多个处理器执行的指令，其中所述一个或多个处理器被配置为：
接收序列参数集SPS级中的被排列的语法元素，其中所述SPS级中的所述被排列的语法元素被排列使得相关语法元素的功能在编码级的通用视频编解码VVC语法中被分组；
响应于多个语法元素满足预定义条件，接收紧接在所述多个语法元素之后的第二语法元素；以及
根据所述多个语法元素和所述第二语法元素对来自比特流的视频数据执行相关语法元素功能。
14.根据权利要求13所述的计算设备，其中所述相关语法元素的功能包括帧内工具、帧间工具、屏幕内容工具、变换工具、量化工具、环路滤波器工具和分割工具。
15.根据权利要求13所述的计算设备，其中被配置为接收所述SPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
接收sps_mmvd_enabled_flag值；
确定sps_mmvd_enabled_flag标志等于1；
接收sps_fpel_mmvd_enabled_flag值；
确定sps_mmvd_enabled_flag标志不等于1；以及
设置sps_fpel_mmvd_enabled_flag值。
16.根据权利要求13所述的计算设备，其中被配置为接收所述SPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag被设置；
接收sps_mip_enabled_flag标志；
确定ChromaArrayType值不等于0；
接收sps_cclm_enabled_flag标志；
确定chroma_format_idc值等于1；
接收sps_chroma_horizontal_collocated_flag标志；
接收sps_chroma_vertical_collocated_flag标志；
接收sps_weighted_pred_flag标志；
设置num_ref_pic_lists_in_sps值；
设置sps_log2_diff_min_qt_min_cb_inter_slice值；
确定sps_max_mtt_hierarchy_depth_inter_slice值不等于0；
设置sps_log2_diff_max_bt_min_qt_inter_slice值；
接收sps_ref_wraparound_enabled_flag标志；
设置six_minus_max_num_merge_cand值；
确定sps_affine_enabled_flag标志被设置；
确定sps_mmvd_enabled_flag标志被设置；
设置log2_parallel_merge_level_minus2值；以及
确定sps_mts_enabled_flag标志被设置。
17.根据权利要求13所述的计算设备，其中被配置为接收所述SPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag被设置；
接收sps_mip_enabled_flag标志；
确定ChromaArrayType值不等于0；
确定chroma_format_idc值等于1；
接收sps_palette_enabled_flag标志；
确定sps_max_mtt_hierarchy_depth_inter_slice值不等于0；
接收sps_ref_wraparound_enabled_flag标志
设置six_minus_max_num_merge_cand值；
确定sps_affine_enabled_flag标志被设置；
设置log2_parallel_merge_level_minus2值；以及
接收sps_mts_enabled_flag标志。
18.根据权利要求13所述的计算设备，其中所述一个或多个处理器还被配置为：
接收图片参数集PPS级中的被排列的语法元素，其中，所述PPS级中的所述被排列的语法元素被排列使得相关语法元素的功能在编码级的VVC语法中被分组。
19.根据权利要求18所述的计算设备，其中被配置为接收所述SPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
确定pps_cu_chroma_qp_offset_list_enabled_flag标志被设置；
设置num_ref_idx_default_active_minus1值；
接收pps_weighted_pred_flag标志；
接收rpl_info_in_ph_flag标志；
接收wp_info_in_ph_flag标志；
确定pps_ref_wraparound_enabled_flag标志被设置；以及
接收deblocking_filter_control_present_flag标志。
20.根据权利要求18所述的计算设备，其中被配置为接收所述PPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
接收rpl1_idx_present_flag标志；
接收pps_weighted_pred_flag标志；
接收wp_info_in_ph_flag标志；
确定pps_ref_wraparound_enabled_flag被设置；以及
接收init_qp_minus26值。
21.根据权利要求18所述的计算设备，其中被配置为接收所述PPS级中的所述被排列的语法元素的所述一个或多个处理器还被配置为：
接收所述PPS级中的所述被排列的语法元素，其中所述PPS级中的所述被排列的语法元素通过以下方式被排列：
接收rpl1_idx_present_flag标志；
接收pps_weighted_pred_flag标志；
接收pps_ref_wraparound_enabled_flag标志；
确定pps_ref_wraparound_enabled_flag标志被设置；
设置pps_pic_width_minus_wraparound_offset值；以及
接收init_qp_minus26值。
22.一种非暂态计算机可读存储介质，存储用于由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述计算设备执行动作，所述动作包括：
由所述解码器接收序列参数集SPS级中的被排列的语法元素，其中所述SPS级中的所述被排列的语法元素被排列使得帧间预测相关语法元素在编码级的通用视频编解码VVC语法中被分组；
在所述解码器处，获得比特流中的与视频块相关联的第一参考图片I(0)和第二参考图片I(1)，其中按显示顺序，所述第一参考图片I(0)在当前图片之前，并且所述第二参考图片I(1)在所述当前图片之后；
在所述解码器处，从所述第一参考图片I(0)中的参考块获得所述视频块的第一预测样点I(0)(i，j)，其中i和j表示所述当前图片中的一个样点的坐标；
在所述解码器处，从所述第二参考图片I(1)中的参考块获得所述视频块的第二预测样点I(1)(i，j)；以及
在所述解码器处，基于所述SPS级中的所述被排列的语法元素、以及所述第一预测样点I(0)(i，j)和所述第二预测样点I(1)(i，j)获得双向预测样点。
23.根据权利要求22所述的非暂态计算机可读存储介质，其中所述多个程序还使所述计算设备执行：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag标志被设置；
接收sps_weighted_bipred_flag标志；
设置num_ref_pic_lists_in_sps值；
设置sps_log2_diff_min_qt_min_cb_inter_slice值；
确定sps_max_mtt_hierarchy_depth_inter_slice值不等于0；
接收sps_ref_wraparound_enabled_flag标志；
接收sps_mmvd_enabled_flag标志；
确定sps_affine_enabled_flag标志被设置；
接收sps_bcw_enabled_flag标志；
确定MaxNumMergeCand值大于2；
设置log2_parallel_merge_level_minus2值；以及
接收sps_isp_enabled_flag标志。
24.根据权利要求22所述的非暂态计算机可读存储介质，其中所述多个程序还使所述计算设备执行：
由所述解码器接收所述SPS级中的所述被排列的语法元素，其中所述SPS级中的所述被排列的语法元素通过以下方式被排列：
确定sps_transform_skip_enabled_flag标志被设置；
接收long_term_ref_pics_flag标志；
确定sps_video_parameter_set_id标志大于0；
设置num_ref_pic_lists_in_sps值；
接收sps_ref_wraparound_enabled_flag标志；
接收sps_mmvd_enabled_flag标志；
确定sps_mmvd_enabled_flag标志被设置；
接收sps_affine_enabled_flag标志；
确定sps_affine_enabled_flag标志被设置；
接收sps_bcw_enabled_flag标志；
确定MaxNumMergeCand值大于等于2；
设置log2_parallel_merge_level_minus2值；以及
接收sps_isp_enabled_flag标志。
CN202180032251.6A 2020-05-01 2021-04-30 用于视频编解码的高级语法 Pending CN115606185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310842121.XA CN117041602A (zh) 2020-05-01 2021-04-30 用于对视频信号进行编码的方法、计算设备和存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063019250P 2020-05-01 2020-05-01
US63/019,250 2020-05-01
PCT/US2021/030275 WO2021222813A1 (en) 2020-05-01 2021-04-30 High-level syntax for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310842121.XA Division CN117041602A (zh) 2020-05-01 2021-04-30 用于对视频信号进行编码的方法、计算设备和存储介质

Publications (1)

Publication Number Publication Date
CN115606185A true CN115606185A (zh) 2023-01-13

Family

ID=78374041

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310842121.XA Pending CN117041602A (zh) 2020-05-01 2021-04-30 用于对视频信号进行编码的方法、计算设备和存储介质
CN202180032251.6A Pending CN115606185A (zh) 2020-05-01 2021-04-30 用于视频编解码的高级语法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310842121.XA Pending CN117041602A (zh) 2020-05-01 2021-04-30 用于对视频信号进行编码的方法、计算设备和存储介质

Country Status (4)

Country Link
US (1) US20230199223A1 (zh)
EP (1) EP4144092A4 (zh)
CN (2) CN117041602A (zh)
WO (1) WO2021222813A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022015618A2 (pt) * 2020-02-25 2022-09-27 Panasonic Ip Corp America Codificador, decodificador, método de codificação e método de decodificação
US20230217017A1 (en) * 2022-01-05 2023-07-06 Nokia Technologies Oy Method, An Apparatus and a Computer Program Product for Implementing Gradual Decoding Refresh

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442891B2 (ja) * 2004-11-30 2010-03-31 キヤノン株式会社 可変長符号化装置及び可変長符号化方法
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
KR101712098B1 (ko) * 2009-09-04 2017-03-03 삼성전자 주식회사 구문 요소에 기초한 비트스트림 생성 방법 및 장치
CN102088603B (zh) * 2010-12-31 2013-12-04 北京大学深圳研究生院 用于视频编码器的熵编码器及其实现方法
EP4002848A4 (en) * 2019-07-19 2022-08-31 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND DEVICE
JP2023515626A (ja) * 2020-02-28 2023-04-13 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス
US11412256B2 (en) * 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
EP4144092A1 (en) 2023-03-08
WO2021222813A1 (en) 2021-11-04
EP4144092A4 (en) 2024-05-29
US20230199223A1 (en) 2023-06-22
CN117041602A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11758193B2 (en) Signaling high-level information in video and image coding
KR101558627B1 (ko) 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치
US11297320B2 (en) Signaling quantization related parameters
US11405649B2 (en) Specifying slice chunks of a slice within a tile
US20210176475A1 (en) Specifying Layout In Video Pictures
US11838555B2 (en) Picture output flag indication in video coding
US20230199223A1 (en) High-level syntax for video coding
US20230031964A1 (en) Methods and devices for high-level syntax in video coding
KR20220063262A (ko) 서브픽처 기반 비디오 코딩에서 서브픽처당 하나의 슬라이스의 지시
US11785214B2 (en) Specifying video picture information
CN115066898A (zh) 跨层参考限制条件
WO2021203039A1 (en) Methods and devices for high-level syntax in video coding
WO2021236888A1 (en) General constraint information and signaling of syntax elements in video coding
CN115606180A (zh) 视频编码的通用约束信息
US11849150B2 (en) High level control of filtering in video coding
CN115486067A (zh) 视频图片标头中的滤波器参数信令通知
JP2023515126A (ja) ビデオコーディングでのピクチャレベルスライスインデックスの使用
JP2024084810A (ja) サブピクチャベースのビデオコーディングにおけるサブピクチャごとの１つのスライスの指示
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約
CN115380525A (zh) 图片标头中的高级别语法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination