CN114026863A - 使用高级语法元素发信号通知解码数据的方法和装置 - Google Patents

使用高级语法元素发信号通知解码数据的方法和装置 Download PDF

Info

Publication number
CN114026863A
CN114026863A CN202080046695.0A CN202080046695A CN114026863A CN 114026863 A CN114026863 A CN 114026863A CN 202080046695 A CN202080046695 A CN 202080046695A CN 114026863 A CN114026863 A CN 114026863A
Authority
CN
China
Prior art keywords
data
video bitstream
decoded data
video
inferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080046695.0A
Other languages
English (en)
Inventor
P.博德斯
M.克德兰瓦特
E.弗朗索瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN114026863A publication Critical patent/CN114026863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于在视频比特流中用信号通知解码数据的方法(800、900、1600、1700)和装置(2100)，其中使用指示信令数据是被显式地编解码在视频比特流中的还是从视频比特流的先前数据推断的语法元素。还描述了比特流、计算机可读存储介质和计算机程序产品。

Description

使用高级语法元素发信号通知解码数据的方法和装置
技术领域
本实施例一般而言涉及使用高级语法元素发信号通知解码数据。
背景技术
本节旨在向读者介绍本领域的各个方面，这些方面可以与下面描述和/或要求保护的本实施例中的至少一个的各个方面相关。相信该讨论有助于向读者提供背景信息以促进对至少一个实施例的各方面的更好理解。因而，应当理解这些陈述要在此情况下阅读。
为了实现高压缩效率，视频编解码方案通常采用预测和变换来充分利用视频内容中的空间和时域冗余。一般而言，帧内或帧间预测被用于利用帧内或帧间相关性。然后，视频的原始图片与预测图片之间的差异(常常表示为预测误差或预测残差)被变换、量化和熵编解码。为了重建图片，压缩的数据通过与预测、变换、量化和熵编解码对应的逆过程进行解码。
发明内容
本节提供本实施例中的至少一个的简化概要，以便提供对本公开的一些方面的基本理解。本概要不是对实施例的广泛概述。不旨在识别实施例的关键或至关重要的元素。以下概要仅仅以简化形式呈现本实施例中的至少一个的一些方面，作为文档中其它地方提供的更详细描述的序言。
根据本实施例中的至少一个的一般方面，提供了一种用于在视频比特流中用信号通知解码数据的方法，其中该方法包括使用指示解码数据是被显式地编解码在视频比特流中、还是从视频比特流的先前数据推断的语法元素的步骤。
根据本实施例中的至少一个的另一个一般方面，提供了一种用于在视频比特流中用信号通知解码数据的装置，其中该装置包括用于使用指示解码数据是被显式地编解码在视频比特流中、还是从视频比特流的先前数据推断的语法元素的部件。
在一个实施例中，解码数据的集合被拆分成解码数据的子集，以及用于使用指示解码数据是被显式地编解码在视频比特流中、还是从视频比特流的先前数据推断的每个子集的语法元素的步骤或部件。
在一个实施例中，解码数据是控制编解码工具的激活的约束标志，并且其中语法元素指示约束标志是被显式地编码在视频比特流中还是从视频比特流的先前数据推断。
在一个实施例中，解码数据是一组图片部分的头部的解码数据，并且其中语法元素指示该组图片部分的头部的解码数据是被显式地编码在视频比特流中还是从视频比特流的一组图片部分的另一个头部的解码数据推断。
在一个实施例中，一组图片部分的头部的解码数据是参考图片的列表并且先前数据是GOP结构和多个参考帧。
在一个实施例中，解码数据是条带参数并且先前数据是GOP结构和解码的图片顺序。
在一个实施例中，解码数据是片组的解码数据并且先前数据是另一个片组的解码数据。
在一个实施例中，解码数据是GOP结构并且先前数据是该GOP中的一些第一解码的图片和预定义GOP结构的集合。
根据至少一个实施例的另一个一般方面，提供了一种用于编码或解码视频的方法和设备，包括根据上述方法之一在视频比特流中发信号通知解码数据。
根据至少一个实施例的其它一般方面，提供了一种非暂时性计算机可读存储介质、计算机程序产品以及比特流。
通过以下结合附图对示例的描述，本实施例中的至少一个的具体性质以及本实施例中的所述至少一个的其它目的、优点、特征和用途将变得显而易见。
附图说明
在附图中，图示了几个实施例的示例。附图示出：
图1图示了根据实施例的示例性编码器的简化框图；
图2图示了根据至少一个实施例的示例性解码器的简化框图；
图3图示了根据现有技术的HLS元素信令约束标志的示例；
图4图示了根据现有技术的片条带条带组、片和砖块的示例；
图5图示了根据现有技术的用于片的语法元素的示例；
图6-7图示了根据现有技术的片-组的示例；
图7a图示了根据至少一个实施例的片、条带和砖块的示例；
图8图示了根据至少一个实施例的用于用信号通知解码数据的集合的方法800的流程图；
图9图示了根据至少一个实施例的图8或9的方法的变体的流程图；
图10图示了根据至少一个实施例的将集合拆分成子集的示例；
图11图示了16个解码数据的集合的两个分层级别拆分的示例；
图12图示了根据至少一个实施例的HLS元素信令约束标志的示例；
图13图示了根据至少一个实施例的HLS元素的示例；
图14-15图示了根据现有技术的条带片段的示例；
图16图示了当解码数据的集合包括一组图片部分的头部的解码数据时方法800或900的实施例的流程图1600；
图17图示了根据至少一个实施例的与GOP相关联的语法元素的时域组织的示例；
图18图示了根据至少一个实施例的条带的语法的示例；
图19图示了当解码数据的集合包括图片组的结构时方法800或900的实施例的流程图1900；
图20图示了图19的方法的变体；以及
图21图示了可以在其中实现和执行本公开的方面的计算环境的框图。
具体实施方式
本详细描述说明了本实施例的原理。因此将认识到的是，本领域技术人员将能够设计出各种布置，虽然在本文中没有明确描述或示出，但是实施本实施例的原理并且被包括在其范围内。
本文叙述的所有示例和条件语言旨在用于教育目的，以帮助读者理解本实施例的原理和发明人为促进本领域所贡献的概念，并且应被解释为不限于这些具体叙述的示例和条件。
而且，本文中叙述本公开的原理、方面和实施例及其具体示例的所有陈述旨在涵盖其结构和功能等同物。此外，此类等同物旨在包括当前已知的等同物以及未来开发的等同物，即，所开发的执行相同功能的任何元素，无论结构如何。
因此，例如，本领域技术人员将认识到的是，本文呈现的框图表示实施本实施例的原理的说明性电路的概念图。类似地，将认识到的是，任何流程图、流图、状态过渡图、伪代码等都表示可以在计算机可读介质中基本上表示并因此由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否被显式示出。
下文将参考附图更全面地描述本实施例，其中示出了所述本实施例的示例。但是，实施例可以以许多替代形式来实施并且不应当被解释为限于本文阐述的示例。因而，应当理解的是，无意将实施例限于所公开的特定形式。相反，本实施例旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代方案。
当附图被呈现为流程图时，应当理解的是，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解的是，它还提供对应方法/过程的流程图。
可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个单独处理器提供，其中一些处理器可以被共享。而且，术语“处理器”或“控制器”的显式使用不应当被解释为专门指能够执行软件的硬件，并且可以隐式地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
也可以包括其它常规和/或自定义的硬件。类似地，图中所示的任何开关都仅仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来执行，或者甚至可以手动执行，具体技术可由实施者选择，如从上下文中更具体地理解的。
附图中相似或相同的元素用相同的附图标记引用。
一些图表示广泛用在视频压缩标准的规范中的语法表，用于定义符合所述视频压缩标准的比特流的结构。在那些语法表中，术语“……”表示相对于视频压缩标准的规范中给定并在图中删除以方便阅读的众所周知的定义的语法的未改变部分。语法表中的粗体项指示用于这个项的值是通过解析比特流获得的。语法表的右列指示用于对语法元素的数据进行编码的位数。例如，u(4)指示使用4位对数据进行编码，u(8)指示8位，ae(v)指示上下文自适应算术熵编解码的语法元素。
在其权利要求中，被表达为执行指定功能的部件的任何元素旨在涵盖执行该功能的任何方式，包括例如a)执行那个功能的电路元件的组合或b)任何形式的软件，因此，包括固件、微代码等，与用于执行那个软件的适当电路组合以执行该功能。由此类权利要求定义的本实施例在于如下事实：由各种叙述的部件提供的功能以权利要求要求的方式组合和汇集在一起。因此认为可以提供那些功能的任何部件等同于本文所示的那些。
应理解的是，附图和描述已经被简化为图示与本实施例的清楚理解相关的元素，同时为了清楚的目的而消除在典型编码和/或解码设备中发现的许多其它元素。
将理解的是，虽然术语第一和第二在本文中可以被用于描述各种元素，但这些元素不应当受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开来。上面描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作要求步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
在以下各节中，词语“重构的”和“解码的”可以互换使用。通常但不一定在编码器端使用“重构的”，而在解码器侧使用“解码的”。而且，词语“编解码的”和“编码的”可以互换使用。而且，词语“图像”、“图片”和“帧”可以互换使用。此外，词语“编解码”、“源编解码”和“压缩”可以互换使用。
应理解的是，对本公开的“一个实施例”或“实施例”或“一个实施方式”或“实施方式”，以及其其它变体，是指结合实施例描述的特定特征、结构、特点等包括在本公开的至少一个实施例中。因此，在整个说明书不同地方短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变体的出现不一定都是指相同的实施例。
此外，本实施例或其权利要求可以指“确定”各种信息。确定、导出信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一种或多种。
而且，本申请或其权利要求可以指“提供”各种信息。提供信息可以包括例如输出信息、存储信息、传输信息、发送信息、显示信息、示出信息或移动信息中的一种或多种。
而且，本申请或其权利要求或其权利要求可以指“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、处理信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一种或多种。
另外，本申请或其权利要求可以指“接收”各种信息。与“访问”一样，接收旨在是广义术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一种或多种。另外，“接收”通常以一种或另一种方式在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息之类的操作期间涉及。
另外，本申请或其权利要求可以指从视频比特流的先前数据“推断”各种数据。术语“先前数据”应理解为在要推断的当前数据之前已经被构建、重构、解析的数据。注意的是，可以从先前推断出的数据中推断出数据(递归推断)。推断的一种特殊情况是默认推断，它使用默认数据作为推断的数据，即，“先前”数据是默认数据。从视频比特流的先前数据推断、导出可以包括以下当中的一个或多个，例如，复制先前数据或组合多个先前数据以获得推断的数据，或访问来自先前数据的信息，该信息提供用于导出推断的数据的部件的指示。
另外，本申请或其权利要求可以指“视频比特流中解码数据的显式编解码”和“来自视频比特流的解码数据的显式解码”。解码数据的显式编解码(解码)是指在(从)视频比特流中添加(获得)专用语法元素。显式编码数据可以指向熵编码引擎(例如，CABAC)录入/输入至少一个表示这个数据的二进制位(bin)/信息，而推断数据是指不向熵编解码引擎录入任何表示该数据的二进制位/信息。类似地，显式解码数据是指从熵解码引擎(即，CABAC)输出至少一个表示这个数据的二进制位/信息，而推断数据是指不向熵解码引擎输出任何表示这个数据的二进制位/信息。注意的是，数据是被显式地编解码还是推断的信息可以是也可以被显式地编解码或推断的另一个语法元素。
例如，解码数据可以是条带参数或预定义GOP结构的表的索引。然后，显式编码条带参数是指在解码过程期间每次使用这个解码数据时为这个条带参数或为视频比特流中预定义GOP结构的表的索引添加语法元素。
应认识到的是，所示和描述的各种特征是可互换的。除非另有说明，否则一个实施例中所示的特征可以结合到另一个实施例中。另外，在各种实施例中描述的特征可以组合或分离，除非另外指示为不可分离或不可组合。
如前所述，图中所示的各种元素的功能可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供。而且，当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个单独处理器提供，其中一些处理器可以被共享。
还应理解的是，因为附图中描绘的组成系统组件和方法中的一些优选地以软件实现，系统组件或过程功能块之间的实际连接可以因本公开的过程被编程的方式而不同。鉴于本文的教导，相关领域的普通技术人员将能够想到本公开的这些和类似的实施方式或配置。
虽然本文已经参考附图描述了说明性实施例，但是应理解的是，本公开不限于那些精确的实施例，并且在不脱离本公开的范围的情况下，可以由相关领域的普通技术人员在其中实现各种改变和修改。此外，在不脱离本公开的范围的情况下，可以组合各个实施例。所有这些改变和修改都旨在包括在如所附权利要求中阐述的本公开的范围内。
应认识到的是，使用以下“/”、“和/或”和“至少其中之一”中的任何一个，例如，在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞旨在涵盖仅选择列出的第一个选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一和第二个列出的选项(A和B)，或仅选择列出第一和第三个选项(A和C)，或仅选择第二和第三个列出的选项(B和C)，或选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员容易明白的那样，这可以针对列出的许多项目进行扩展。
如对本领域技术人员来说显而易见的是，实施方式可以产生被格式化为携带例如可以被存储或传输的信息的各种信号。该信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路被传输。信号可以存储在处理器可读介质上。
应理解的是，图片(也表示图像或帧)可以是单色格式的亮度样本的阵列，或者是4:2:0、4:2:2或4:4:4颜色格式的亮度样本的阵列和色度样本的两个对应阵列或三个颜色分量(例如，RGB)的三个阵列。
在视频压缩标准中，图片被分割成块，可能具有不同尺寸和/或不同形状。
应理解的是，块是二维阵列或矩阵。水平或x方向(或轴)表示宽度，并且垂直或y方向(或轴)表示高度。索引从0开始。x方向表示列，并且y方向表示行。最大x索引是宽度1。最大y索引是高度1。
编码
图1图示了根据至少一个实施例的示例性编码器100的简化框图。
编码器100可以被包括在通信系统中的发送器或头端中。
为了用一个或多个图片对视频序列进行编码，图片被分割成可能不同尺寸和/或不同形状的块(模块110)。例如，在HEVC(“ITU-T H.265TELECOMMUNICATIONSTANDARDIZATION SSECTOR OF ITU(10/2014)，SERIES H:AUDIOVISUAL AND MULTIMEDIASYSTEMS，Infrastructure of audiovisual services Coding of moving Video，HighEffective Video coding，Recommendation ITU-T H.265”)(“ITU-T H.265ITU电信标准化部门(10/2014)，H系列：视听和多媒体系统、视听服务基础设施——运动视频编解码、高效视频编解码、ITU-T H.265建议书”)，图片可以被分割为具有可配置尺寸的方形的CTU(编解码树单元)。可以将CTU的连续集合分组到条带中。CTU是四叉树的根，四叉树被分割成以下用编解码单元(CU)表示的块。
在示例性编码器100中，图片由如下所述的基于块的编码模块编码。
每个块都使用或者帧内预测模式或者帧间预测模式进行编码。
当以帧内预测模式对块进行编码时(模块160)，编码器100基于同一图片中一个块的至少一个样本(或基于图片或条带的第一个块的预定义值)执行帧内预测(也表示空间预测)。作为示例，通过从重建的相邻样本对块进行帧内预测来获得预测块。
当以帧间预测模式对块进行编码时，编码器100基于至少一个参考图片或条带的至少一个参考块(存储在参考图片缓冲器中)执行帧间预测(也称为时域预测)。
通过对存储在参考图片缓冲器180中的参考块执行运动估计(模块175)和运动补偿(模块170)来执行帧间预测编解码。
在单帧间预测(也称为单向预测)模式下，预测块一般(但不一定)可以基于较早的参考图片。
在双帧间预测(也称为双预测)模式中，预测块通常(但不一定)基于更早和更晚的图片。
编码器100决定(模块105)使用帧内预测模式或帧间预测模式中的哪一个来对块进行编码并且通过预测模式语法元素指示帧内/帧间决策。
通过从块中减去(模块120)预测块(也称为预测器)来计算预测残差块。
预测残差块被变换(模块125)和量化(模块130)。变换模块125可以将预测残差块从像素(空间)域变换到变换(频率)域。该变换可以是例如余弦变换、正弦变换、小波变换等。可以根据例如速率失真标准来执行量化(模块130)。
量化的变换系数以及运动矢量和其它语法元素被熵编解码(模块145)以输出比特流。熵编解码可以是例如上下文自适应二进制算术编解码(CABAC)、上下文自适应可变长度编解码(CAVLC)、霍夫曼、算术、指数哥伦布(exp-Golomb)等。
编码器还可以跳过变换并将量化直接应用于未变换的预测残差块。编码器也可以绕过变换和量化两者，即，预测残差块被直接编解码而不应用变换或量化过程。
在直接PCM编解码中，不应用预测并且块样本被直接编解码到比特流中。
编码器100包括解码回路并因此解码编码的块以提供用于进一步预测的参考。量化的变换系数被去量化(也称为逆量化)(模块140)和逆变换(模块150)以解码预测残差块。然后通过组合(模块155)解码的预测残差块和预测块来重构块。一个或多个环内滤波器(165)可以应用于重构的图片，例如，执行去块/样本自适应偏移量(SAO)滤波以减少编解码伪影。经滤波的图片存储在参考图片缓冲器180中。
编码器100的模块可以用软件实现并由处理器执行，或者可以使用压缩领域技术人员众所周知的电路组件来实现。特别地，视频编码器100可以被实现为集成电路(IC)。
解码
图2图示了根据至少一个实施例的示例性解码器200的简化框图。
解码器200可以被包括在通信系统中的接收器中。
解码器200一般执行与由图1中描述的编码器100执行的编码遍历相反的解码遍历，但是并非解码器中的所有操作都是编码过程的逆操作(例如，帧内和帧间预测)。
特别地，解码器200的输入包括可以由编码器100生成的视频比特流。
首先对视频比特流进行熵解码(模块230)以获得例如变换系数、运动矢量MV、图片分割信息、可能的预测模式标志、语法元素和其它解码数据。
例如，在HEVC中，图片分割信息指示CTU的尺寸，以及CTU被拆分成CU的方式。因此，解码器可以根据图片分割信息将图片划分(235)成CTU，并且将每个CTU划分成CU。
变换系数被去量化(模块240)和逆变换(模块250)以解码预测残差块。然后将解码的预测残差块与预测块(也称为预测器)组合(模块255)以获得解码的/重构的块。
可能取决于预测模式标志，可以从帧内预测(模块260)或运动补偿的预测(即，帧间预测)(模块270)获得预测块(模块205)。环内滤波器(模块265)可以应用于重构的图片。环内滤波器可以包括去块滤波器和/或SAO滤波器。经滤波的图片存储在参考图片缓冲器280中。
解码器200的模块可以用软件实现并由处理器执行，或者可以使用压缩领域技术人员众所周知的电路组件来实现。特别地，解码器200可以被实现为集成电路(IC)，单独或与作为编解码器的编码器100组合。
本实施例针对提供一种机制以通过使用比传统的基于块的视频压缩标准中使用的当前语法更少的位来改进用于基于块的视频编码的高级语法(HLS)。
HLS是一种信令机构，它启用由除MPEG或ITU以外的其它方定义的比特流互操作点，诸如例如DVB、ATSC、3GPP。例如，在VVC标准草案中(B.Bross、J.Chen、S.Liu，“VersatileVideo Coding(Draft 4)(多功能视频编解码(草案4))”，JVET文档JVET-N1001，第14次会议：日内瓦，2019年3月19-27日)，HLS约束标志允许控制VVC解码器中编解码工具的激活。HLS约束标志被分组为包括在SPS(序列参数集)和/或简档和级别、VPS(视频参数集)和(解码参数集)DPS比特流部分中的语法元素“general_constraint_info()”中，如图3中所描绘的。约束标志指示在整个视频比特流中不能违反的特性。当在SPS(或类似)语法结构中设置约束标志时，解码器可以安全地假设该工具将不会在视频比特流中使用。
用于编解码约束标志的当前语法使用可能危及视频比特流编解码效率的大量的位。实际上，这个信息可以在视频比特流中的几个位置重复，因为它通常存在于在每个随机接入点(RAP)处发送的SPS中，并且可以在其它位置重复，诸如也存在于解码器参数集(DPS)中。
HLS的另一个示例是高级语法，它对诸如序列、图片、条带或片头部、补充增强信息(SEI)、视频可用性信息(VUI)之类的非编解码图片部分进行分组，并排除编解码的宏块、CTU或CU。在下文中，我们将“HLS分割”称为HLS，它允许将与宏块、CTU或CU的子集相关的信息分组为图片、条带、片、条带或砖块头部的组。
在AVC和HEVC视频编解码标准中，使用条带(光栅扫描中的连续CTU)或片(均匀或非均匀片网格)执行高级分割。在VVC草案标准中，高级分割是使用片和可能的砖块来执行的，这些砖块将片垂直划分为矩形子区域(图4)。在不均匀的片间距的情况下，片根据不均匀的网格(右上)分布。在这种情况下，在HLS中，可以用信号通知“tile-column-width”和“tile-column-height”值(图5)。
几个片可以分组成一个“片-组”。为了定义片-组，片以光栅扫描顺序隐式标记，如图6中所描绘的，左上角片索引(top_left_tile_idx[i])和右下角片索引(bottom_right_tile_idx[i])在每个片-组“i”的HLS中用信号通知。例如，8个片(图4中的右上角)已被分组为4个“片-组”(图6)。例如，第一个片-组0由片0、1和2组成，其中top_left_tile_idx[0]＝0、bottom_right_tile_idx[0]＝2并且bottom_right_tile_idx_delta[0]＝2(bottom_right_tile_idx_delta[i]＝bottom_right_tile_idx[i]-top_left_tile_idx[i])(图7)。
在变体中，片可以被划分成一个或多个砖块。每个砖块由片内的多个CTU行组成。条带可以包含或者多个片或者多个砖块。可以支持两种条带模式，即，光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下，在图片的条带光栅扫描中，条带可以包含片的序列。在矩形条带模式下，条带可以包含图片的多个砖块，它们共同形成图片的矩形区域。矩形条带内的砖块可以按照条带的砖块光栅扫描的顺序。可以按光栅扫描顺序隐式标记砖块，左上角砖块索引(top_left_brick_idx[i])和右下角砖块索引(bottom_right_brick_idx[i])可以在用于每个条带“i”的HLS中用信号通知。例如，第一个条带0(图7a中的左侧)包含2个片和3个砖块。它由“brick_idx”0、1和2组成，top_left_brick_idx[0]＝0，bottom_right_brick_idx[0]＝2并且bottom_right_brick_idx_delta[0]＝2(bottom_right_brick_idx_delta[i]＝bottom_right_brick_idx[i]-top_left_brick_idx_brick)。第二个条带1(图7a中的右上角)包含2个砖块。它由“brick_idx”3和4组成，top_left_brick_idx[0]＝3，bottom_right_brick_idx[0]＝4且bottom_right_brick_idx_delta[0]＝1。第三个条带2(图7a中的右中)包含3个砖块。它由“brick_idx”5、6和7组成，top_left_brick_idx[0]＝5，bottom_right_brick_idx[0]＝7且bottom_right_brick_idx_delta[0]＝2。第四个条带3(图7a中的右下角)包含3个砖块。它由“brick_idx”8、9和10组成，top_left_brick_idx[0]＝8、bottom_right_brick_idx[0]＝10且bottom_right_brick_idx_delta[0]＝2
注意的是，这些片、砖块和片的组的命名可以改变，但基本原理仍然存在。
在视频比特流中，条带头部、片头部等对于每个编解码的图片至少重复一次，即使它们大部分时域共享相同的值。
本实施例通过使用指示解码数据是在视频比特流中编解码还是从视频比特流的先前数据推断的语法元素来在视频比特流中用信号通知解码数据。
图8图示了根据至少一个实施例的用于用信号通知解码数据的集合的方法800的流程图。
在步骤810中，该方法可以检查该集合的解码的数据是被显式地编解码在视频比特流中还是从视频比特流的先前数据PD推断。可以在视频比特流中添加语法元素F。如果该集合的解码的数据是从先前数据PD推断的(步骤830)，那么语法元素F指示该集合的解码数据是从先前数据PD推断的。如果该集合的解码数据是被显式地编解码在视频比特流中的，那么(步骤820)语法元素F指示该集合的解码数据是被显式地编解码在视频比特流中。
在步骤840中，该方法可以从视频比特流访问语法元素F。
在步骤850中，该方法可以检查语法元素F是否指示解码数据的集合的解码数据是从视频比特流的先前数据PD推断的。在那种情况下(步骤870)，该集合的解码数据是从先前数据PD推断的。如果语法元素F指示该集合的解码数据是被显式地编解码在视频比特流中，那么(步骤860)，从视频比特流显式地解码该集合的解码数据。
图9图示了当语法元素指示该集合的解码数据是被显式地编解码在视频比特流中时图8的方法的变体的流程图。
在步骤910中，如图10中所示，解码数据的集合被拆分成子集，其中解码数据的集合被拆分成4个子集i。
步骤910之后是方法800(图8)的步骤810-830的迭代。在每次迭代中，解码数据的当前子集i被视为(步骤920)步骤810的输入，在此过程中，该方法可以检查当前子集i的解码的数据是被显式地编解码在视频比特流中的还是从视频比特流的先前数据PDi推断的。可以在视频比特流中添加语法元素Fi。如果当前子集i的解码的数据是从先前数据PDi推断的(步骤830)，那么语法元素Fi指示当前子集i的解码数据是从先前数据PDi推断的。如果当前子集i的解码数据被显式地编解码在视频比特流中，那么(步骤820)语法元素Fi指示子集i的解码数据被显式地编解码在视频比特流中。
当考虑所有子集i时，方法800(图8)的步骤840-870迭代。在每次迭代中，解码数据的当前子集i被视为(步骤930)步骤840的输入，在此过程中，该方法可以从视频比特流访问当前子集i的语法元素Fi。
在步骤850中，该方法可检查语法元素Fi是否指示解码数据的子集i的解码数据是从视频比特流的先前数据PDi推断的。在那种情况下(步骤870)，子集i的解码数据是从视频比特流的先前数据PDi推断的。如果语法元素Fi指示子集i的解码数据被显式地编解码在视频比特流中，那么(步骤860)从视频比特流中显式地解码子集i的解码数据。
索引i(Fi、FDi)指示语法元素和先前数据专用于子集i的解码数据。某个Fi和/或FDi可以相同。
图10图示了当解码数据的集合被拆分成子集时方法800的使用。
在变体中，当解码数据的集合被如下递归拆分以创建多个分层级别时，可以使用方法800。当语法元素指示分层级别L处的子集的解码数据被显式地编解码在视频比特流中时，分层级别L处的子集被拆分成分层级别(L+1)处的子集(步骤830)。当满足诸如例如最大数量的分层级别或子集的最小基数的条件时，递归拆分停止。
当已经考虑了分层级别L的解码数据的所有子集时，方法900迭代地应用于新分层级别(L+1)(如果存在)的子集。
图11图示了16个解码数据的集合的两个分层级别拆分的示例。
在第一分层级别0，该集合首先被拆分成8个解码数据的两个子集(i＝0和i＝1)(810)。在步骤820处，将语法元素添加到比特流以指示解码数据的子集(i＝0)被拆分成例如2个子子集(i＝00和i＝01)。另一个语法元素也被添加到视频比特流以指示第二子集(i＝1)的解码数据是从视频比特流的先前数据推断的(步骤830)并且第二子集(i＝1)不被拆分。
在第二分层级别1，另一个语法元素也被添加到视频比特流以指示子子集(i＝00)的解码数据是从视频比特流的先前数据推断的(步骤830)并且子子集(i＝00)不被拆分。另一个语法元素也被添加到视频比特流以指示子子集(i＝01)的解码数据是从视频比特流的先前数据推断的(步骤830)，并且子子集(i＝01)不被拆分。
在一个实施例中，解码数据的集合可以包括控制编解码工具的激活的约束标志。语法元素F(或Fi)然后可以指示该集合(或该集合的子集)的约束标志是被显式地编解码在视频比特流中还是从视频比特流的先前数据PD推断。
图12图示了根据至少一个实施例的HLS元素“general_constraint_info”的示例。
语法元素“general_constraint_info”包括在语法元素“use_default_constraint_flag”(语法元素F或Fi)下分组在一起的约束标志。这个语法元素“use_default_constraint_flag”可以是当这些约束标志被显示编解码在视频比特流中时(步骤820)或从视频比特流中明确解码时(步骤860)为假，或当这些约束标志全都从视频比特流的先前数据PD推断时(步骤830、870)为真的标志。
注意的是，当推断出约束标志时，可以显式地编解码/解码其它约束标志(此处未显示)。
在变体中，先前数据PD是单个二进制值(假或真)并且所有推断出的约束标志值都等于这单个二进制值FD。
在变体中，先前数据PD取决于视频比特流的解码简档、级别和/或至少一个解码参数。例如，对于“高简档”，所有推断出的约束标志值都等于假(所有工具可能都启用)，对于“低简档”，一些预先确定的约束标志值子集被推断为真(工具被禁用)并且其它约束标志值被推断为假(工具可能被启用)。
在变体中，语法元素F(或Fi)的状态确定解码参数是否存在于视频比特流中。
例如，图13的语法元素“profile_tier_level()”的集合包括语法元素“use_default_constraint-flag”(语法元素F或Fi)下的约束标志“general_constraint_info()”。在图13中，如果语法元素“use_default_constraint_flag”为真，那么语法元素“general_constraint_info()”的集合被显式地编解码在视频比特流中。如果“use_default_constraint_flag”为假，那么不存在这个组语法元素集合并且语法元素被推断。
在图12中所示的变体中，语法元素“use_default_constraint_flag”被编解码在“general_constraint_info()”中而不是“profile_tier_level()”中。如果语法元素“use_default_constraint_flag”为假，那么在视频比特流中存在(显式编解码)指示在比特流中是否可能启用或禁用一些工具的语法元素的集合，否则这个语法元素集合不存在并且语法元素被推断。
在基于块的视频编解码器规范中，视频比特流被分割为编解码的视频序列(CVS)，其包含按解码顺序的一个或多个访问单元(AU)。一个AU正好包含一个编解码的图片。
例如，在HEVC中，AU被分割为条带。不同条带头部(或片头部，或片组头部)中的一些解码数据对于几个条带是相同的。出于那个原因，在HEVC中，图片中的第一个条带必需是独立的，而后续条带可以是从属的，如图14中所描绘的。从属的条带头部与同一图片中的第一个独立条带共享公共解码数据(图15)。
图16图示了当解码数据的集合包括一组图片部分的头部(诸如例如图片的条带头部和/或片头部和/或片-组头部)的解码数据时方法800或900的实施例的流程图1600。在HEVC中，条带具有头部并且可以包含片，但片没有头部。在其它编解码器中，条带被片替换并且片有头部。
在HEVC中，这种解码的示例可以包括以下解码数据(条带头部)中的至少一种：
-张贴滤波器标志，诸如(slice_sao_luma_flag、slice_sao_chroma_flag、slice_alf_luma_flag、slice_alf_chroma_flag)。
-参考图片列表，
-weighted_pred/bipred_flag：在条带中启用或不启用WP(加权预测)，
-分割为条带、片或片-组、砖块(例如，num_bricks_in_slice_minus1)
-Slice_type：I(仅限帧内)、P(单向)或B(双向预测)，
-pic_output_flag：当前图片是否将被输出，
-colour_plane_flag：颜色通道是否被单独编解码，
-POC：图片顺序计数，
-long-term-ref info：长期参考图片索引和POC
-slice_temporal_mvp_enabled_flag：时域运动矢量预测工具是否被启用，
-long-term-refinfo(POC)
-slice_qp_delta：QP(量化参数)与PPS中指定的init_QP有差异地开始，
-去块滤波器参数(beta、tc)。
在其它编解码器中，这些数据可以包括在片头部中。在下文中，我们考虑将图片分割为多个区域(或图片部分)，一个区域由几个块(例如，CTU或宏块)组成。根据编解码器的分割拓扑，该区域可以是例如条带、片、片-组或砖块。它们中的一些可以与包含与组成该区域的块相关的信息的头部相关联。
在步骤1610(图8的步骤810的实施例)中，该方法可以检查一组图片部分(或区域)的头部的解码数据是被显式地编解码在视频比特流中还是从视频比特流的先前数据IPH(“inter_picture-header”)推断的。表示为“infer_from_inter_picture_header_flag”的语法元素F(或Fi)可以被添加在视频比特流中。如果图片部分组的头部的解码数据是从先前数据IPH推断的，那么，在步骤1630(图8的步骤830的实施例)中，语法元素F(或Fi)指示图片部分组的头部是从一组图片部分的另一个头部的解码数据(先前数据IPH)推断的。如果图片部分组的头部的解码数据被显式地编解码在视频比特流中，那么在步骤1520(图8的步骤820的实施例)中，语法元素F(或Fi)可以指示图片部分组的头部的解码数据被显式地编解码在视频比特流中。
先前数据IPH对例如相同图片的多个条带头部和/或多个公共的片头部和/或多个片-组头部的解码数据进行分组。
推断在典型AU、CTU/CU、片或片组的头部中定义的公共解码数据减小用于传输视频的带宽。
例如，在每个AU中，并且可能在这个AU中的每个条带中，语法元素“infer_from_inter_picture_header_flag”可以指示这些解码数据是否在AU中(在这个AU中的每个条带中)被显式定义，例如在条带头部、片或片-组头部中，或者它们是否是从先前数据IPH推断的，因此可以由可能是几个图片的几个图片部分组共享。
在步骤1640(图8的步骤840的实施例)中，该方法可以从视频比特流访问语法元素F(或Fi)。
在步骤1650(图8的步骤850的实施例)中，该方法可以检查语法元素F(或Fi)是否指示一组图片部分的头部的解码数据是从视频比特流中的先前数据IPH推断的。然后，在步骤1670(图8的步骤870的实施例)中，从先前数据IPH推断图片部分组的头部的解码数据。如果语法元素F(或Fi)指示该图片部分组的头部的解码数据被编解码在视频比特流中，那么在步骤1660(图8的步骤860的实施例)中，该图片部分组的头部的解码数据是从视频比特流中显式解码的。
有利地，先前数据IPH位于与RAP语法元素之后和相对于RAP的AU语法元素之前的与GOP(图片组)相关联的比特流中。然后可以从先前数据IPH推断AU语法元素的解码数据，如图17中所示。
在方法1600的一个实施例中，可以从GOP结构和多个参考帧(先前数据IPH)推断参考图片的列表(一组图片部分的头部的解码数据)。
在方法1600的一个实施例中，可以从GOP结构和解码的图片顺序(先前数据IPH)推断条带参数(一组图片部分的头部的解码数据)(例如，条带类型)。
在一个实施例中，控制片组的编解码/解码的片组的解码数据可以从视频比特流的另一个片组(先前数据IPH)的解码数据中推断。
从视频比特流中的先前数据推断片-组信息减小用于传输图片的带宽。
在变体中，片组包括图片或条带的多个片(表示为“num-tiles”的解码数据)。语法元素(F，Fi，...)然后可以指示该多个片i是被编解码在视频比特流中的还是从代表每列多个片(表示为“num_tile_columns_minus1”)和每行多个片的先前数据IPH中推断的(表示为“num_tile_rows_minus1”)。
例如，从“num_tile_columns_minus1”和“num_tile_rows_minus1”推断“num-tiles”如下：
num_tiles＝(num_tile_columns_minus1+1)×(num_tile_rows_minus1+1)。
在实施例中，片组还包括图片的最后一个片-组的“bottom-right-tile-idx”值或“bottom-right-tile-idx-delta”值。
可以从片的数量(视频比特流的先前数据)推断最后片-组(解码数据)的bottom-right-tile-idx值或bottom-right-tile-idx-delta值(解码数据)如下：
bottom_right_tile_idx[num_tile_groups_in_pic_minus1]＝num_tile 1
bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]＝num_tile-1-top_left_tile_idx[num_tile_groups_in_pic_minus1]。
如图18中所示，这个实施例的优点之一是在语法元素“pic_parameter_set_rbsp”中保存用于编解码“bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]”的位。
类似地，可以从先前数据IPH推断图片中的砖块的数量(NumBricksInPic)。在矩形条带模式的情况下，条带还可以包括图片的条带的“bottom-right-brick-idx”值或“bottom-right-brick-idx-delta”值。
最后一个条带(解码数据)的bottom-right-brick-idx值或bottom-right-brick-idx-delta值(解码数据)可以从砖块的数量(视频比特流的先前数据)推断如下：
bottom_right_brick_idx[num_slices_in_pic_minus1]＝NumBricksInPic 1
bottom_right_brick_idx_delta[num_slices_in_pic_minus1]＝NumBricksInPic-1-top_left_brick_idx[num_slices_in_pic_minus1]
这个实施例的优点之一是在语法元素“pic_parameter_set_rbsp”中保存用于编解码“bottom_right_brick_idx_delta[num_slices_in_pic_minus1]”的位。
图19图示了当解码数据的集合包括图片组(GOP)的结构时方法800或900的实施例的流程图1900。
在步骤1910(图8的步骤810的实施例)中，该方法可以检查GOP结构是被显式地编解码在视频比特流中的还是从视频比特流中的先前数据PD推断的。表示为“GOP_structure_indicator”的语法元素F(或Fi)可以被添加在视频比特流中。如果GOP结构是从先前数据PD推断的，那么在步骤1930(图8的步骤830的实施例)中，语法元素F(或Fi)指示GOP结构是从先前数据PD推断的。如果GOP结构被显式地编解码在视频比特流中，那么在步骤1920(图8的步骤820的实施例)中，语法元素F(或Fi)可以指示GOP结构被显式地编解码在视频比特流中。
在变体中，当从视频比特流中的先前数据PD推断出GOP结构时，不在视频比特流中添加语法元素F。
推断GOP结构减小用于传输视频的带宽。
在步骤1940(图8的步骤830的实施例)中，该方法可以从视频比特流访问语法元素F(或Fi)。
在变体中，该方法检查语法元素F(或Fi)是否存在于视频比特流中。
在步骤1950(图8的步骤850的实施例)中，该方法可以检查语法元素F(或Fi)是否指示GOP结构是从视频比特流的先前数据PD推断的，或者根据变体，语法元素F(或Fi)不存在于视频比特流中。然后，在步骤1970(图8的步骤870的实施例)中，从先前数据PD推断GOP结构。如果语法元素F(或Fi)指示GOP结构是被显式地编解码在视频比特流中的，或者根据变体，语法元素F(或Fi)是否存在于视频比特流中，然后在步骤1960(图8的步骤860的实施例)中，从视频比特流中显式地解码GOP结构。
在一个实施例中，语法元素F(或Fi)可以用信号通知预定义GOP结构的集合的预定义GOP结构索引。
预定义GOP结构的示例可以是随机存取(RA：分层编解码)、低延迟B(LB)、低延迟P(LP)，如图20中所示。
在图20中所示的方法1900的变体中，诸如GOP长度之类的附加语法元素可以被用于精确地用信号通知预定义的GOP结构中的哪一个。
在一个实施例中，先前数据PD包括GOP和该预定义GOP结构集合中的一些第一解码的图片。
例如，基于图20的预定义GOP结构，如果第一解码的图片POC是0-16-8-4，那么推断的GOP结构与具有索引“1”的预定义GOP结构相关。
图21图示了其中实现各种方面和实施例的系统的示例的框图。
系统2100可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的方面中的一个或多个。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器，以及服务器。系统2100的元件可以单独或组合地在单个集成电路(IC)、多个IC和/或分立组件中实施。例如，在至少一个实施例中，系统2100的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统2100经由例如通信总线或通过专用输入和/或输出端口可通信地耦合到一个或多个其它类似系统或其它电子设备。在各种实施例中，系统2100被配置为实现本文档中描述的方面中的一个或多个。
系统2100包括至少一个处理器2110，该至少一个处理器2110被配置为执行其中加载的指令，以用于实现例如本文档中描述的各个方面。处理器2110可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统2100包括至少一个存储器2120(例如，易失性存储器设备和/或非易失性存储器设备)。系统2100包括存储设备2140，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器仅存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备2140可以包括内部存储设备、附接的存储设备(包括可分离和不可分离的存储设备)和/或网络可访问的存储设备。
系统2100包括编码器/解码器模块2130，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块2130可以包括其自己的处理器和存储器。编码器/解码器模块2130表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块2130可以被实现为系统2100的分开的元件，或者可以作为本领域技术人员已知的硬件和软件的组合结合到处理器2110内。可以被加载到处理器2110或编码器/解码器2130上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备2140中，并且随后被加载到存储器2120上以由处理器2110执行。根据各种实施例，在执行本文档中描述的过程期间，处理器2110、存储器2120、存储设备2140和编码器/解码器模块2130中的一个或多个可以存储各种项中的一项或多项。此类存储的项可以包括但不限于输入视频、解码的视频或解码的视频的一部分、比特流、矩阵、变量，以及对等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施例中，处理器2110和/或编码器/解码器模块2130内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器2110或者编码器/解码器模块2130)被用于这些功能中的一个或多个。外部存储器可以是存储器2120和/或存储设备2140，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储例如电视的操作系统。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编解码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频编解码，也称为H.265和MPEG-H第2部分)或VVC(通用视频编解码，一种由联合视频专家组JVET开发的新标准)。
如方框2230中所示，可以通过各种输入设备提供对系统2100的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的射频(RF)信号的RF部分，(ii)组件(COMP)输入终端(或COMP输入端子的集合)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清多媒体接口(HDMI)输入端子。图21中未示出的其它示例包括复合视频。
在各种实施例中，方框2230的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与适于以下的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号限制到频带内)，(ii)下变频所选择的信号，(iii)将频带再次限制到较窄的频带，以选择(例如)在某些实施例中可以被称为信道的信号频带，(iv)解调下变频和频带受限的信号，(v)执行纠错，以及(vi)多路分解以选择期望的数据分组流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能(包括例如将接收到的信号下变频为更低频率(例如，中频或近基带频率)或基带)的调谐器。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的顺序、移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，诸如例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统2100连接到其它电子设备。应该理解的是，输入处理的各个方面(例如，Reed-Solomon纠错)可以根据需要例如在分开的输入处理IC内或在处理器2110内实现。类似地，可以根据需要在分开的接口IC内或处理器2110内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器2110，以及与存储器和存储元件结合操作的编码器/解码器2130，以根据需要处理数据流以在输出设备上呈现。
可以在集成壳体内提供系统2100的各种元件。在集成壳体内，可以使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。
系统2100包括通信接口2150，其使得能够经由通信信道2160与其它设备通信。通信接口2150可以包括但不限于被配置为在通信信道2160上传输和接收数据的收发器。通信接口2150可以包括但不限于调制解调器或网卡，并且通信信道2160可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如Wi-Fi网络之类的无线网络(例如IEEE 802.11(IEEE是指电气和电子工程师协会))将数据流传输或以其它方式提供给系统2100。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道2160和通信接口2150接收。这些实施例的通信信道2160通常连接到接入点或路由器，该接入点或路由器提供对包括互联网在内的外部网络的访问，以允许流传输应用和其它越顶通信。其它实施例使用通过输入块2130的HDMI连接递送数据的机顶盒向系统2100提供流传输的数据。还有其它实施例使用输入块2130的RF连接向系统2100提供流传输的数据。如上面所指示的，各种实施例以非流传输方式提供数据。此外，各种实施例使用Wi-Fi以外的无线网络(例如蜂窝网络或蓝牙网络)。
系统2100可以向各种输出设备(包括显示器2200、扬声器2210和其它外围设备2220)提供输出信号。各种实施例的显示器2200包括例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一种或多种。显示器2200可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其它设备。显示器2200还可以与其它组件集成(例如，如在智能电话中)，或分开(例如，用于膝上型计算机的外部监视器)。在实施例的各种示例中，其它外围设备2220包括独立数字视频盘(或数字多功能盘)(DVR，用于这两个术语)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备2220，其提供基于系统2100的输出的功能。例如，盘播放器执行播放系统2100的输出的功能。
在各种实施例中，控制信号在系统2100和显示器2200、扬声器2210或其它外围设备2220之间使用诸如AV.Link、消费电子控制(CEC)或启用设备到设备控制的其它通信协议之类的信令进行通信，有或没有用户干预。输出设备可以通过相应的接口2170、2180和2190经由专用连接通信地耦合到系统2100。可替代地，输出设备可以经由通信接口2150使用通信信道2160连接到系统2100。显示器2200和扬声器2210可以与系统2100的其它组件一起集成在电子设备(诸如例如电视机)中的单个单元中。在各种实施例中，显示接口2170包括显示驱动器，诸如例如定时控制器(T Con)芯片。
显示器2200和扬声器2210可以可替代地与其它组件中的一个或多个分开，例如，如果输入2230的RF部分是分开的机顶盒的一部分。在其中显示器2200和扬声器2210是外部组件的各种实施例中，可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供输出信号。
本文描述的实施方式可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如装置(诸如例如处理器)中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(PDA)和有助于最终用户之间信息通信的其它设备。
根据本实施例的一方面，提供了一种用于视频编码和/或解码的装置2100，该装置包括处理器2110和耦合到处理器的至少一个存储器2120、2140，处理器2110被配置为执行上面描述的方法800、900、1600和/或1700的实施例中的任何一个。
根据本公开的一方面，提供了一种用于视频编码和/或解码的装置，该装置包括用于使用指示解码数据是被显式地编解码在视频比特流中还是从视频比特流的先前数据推断的语法元素的部件。图1的视频编码器可以包括该装置的结构或部件。用于视频编码的装置可以执行方法800、900、1600和1700中的任何一个的实施例中的任何一个。
如对于本领域技术人员将显而易见的，实施方式可以产生各种信号，这些信号被格式化为携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的比特流。可以将这种信号格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
而且，方法800、900、1600和/或1700中的任何一个可以被实现为包括可以由处理器执行的计算机可执行指令的计算机程序产品(独立地或联合地)。具有计算机可执行指令的计算机程序产品可以存储在系统2100、编码器100和/或解码器200的相应暂时性或非暂时性计算机可读存储介质中。
重要的是要注意，过程800、900、1600和/或1700中的元素中的一个或多个可以在一些实施例中组合、以不同顺序执行或被排除，同时仍然实现本公开的各方面。其它步骤可以并行执行，其中处理器在开始另一个步骤之前不等待一个步骤完全完成。
此外，本实施例的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码。给定在其中存储信息的固有能力以及从中提供信息检索的固有能力，如本文使用的计算机可读存储介质被认为是非暂时性存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。
应认识到的是，以下列表虽然提供了可以对其应用本公开的计算机可读存储介质的更具体示例，但是如本领域普通技术人员容易认识到的那样，仅仅是说明性的而非详尽的列表。示例的列表包括便携式计算机软盘、硬盘、ROM、EPROM、闪存、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备，或前述的任何合适组合。
根据本实施例的一方面，提供了携带软件程序的计算机可读存储介质，其包括用于执行本实施例的任何方法(包括方法800、900、1600和/或1700)的任何实施例的程序代码指令。

Claims (11)

1.一种方法，包括使用指示与图片区域对应的解码数据是被显式地编解码在代表所述图片区域的视频比特流的第一部分中、还是从所述视频比特流的第二部分的先前数据中推断的语法元素，所述先前数据由所述比特流的第三部分表示的几个图片区域共享。
2.一种装置，包括用于使用指示与图片区域对应的解码数据是被显式地编解码在代表所述图片区域的视频比特流的第一部分中、还是从所述视频比特流的第二部分的先前数据中推断的语法元素的部件，所述先前数据由所述比特流的第三部分表示的几个图片区域共享。
3.如权利要求1所述的方法或如权利要求2所述的装置，其中解码数据的集合被拆分成解码数据的子集并且每个子集的语法元素指示子集的所述解码数据是被显式地编解码在所述视频比特流中的还是从所述视频比特流的先前数据推断的。
4.如权利要求1或3所述的方法或如权利要求2或3所述的装置，其中所述解码数据是控制编解码工具的激活的约束标志，并且其中所述语法元素指示所述约束标志是被显式地编解码在所述视频比特流的所述第一部分中、还是从所述视频比特流的所述第二部分的所述先前数据推断的。
5.如权利要求1或3所述的方法或如权利要求2或3所述的装置，其中所述解码数据是参考图片的列表并且所述先前数据是GOP结构和多个参考帧。
6.如权利要求1或3所述的方法或如权利要求2或3所述的装置，其中所述解码数据是条带参数并且所述先前数据是GOP结构和解码图片顺序。
7.一种用于对视频进行编码或解码的方法，其包括根据权利要求1、3-6中的一项所述的方法。
8.一种用于对视频进行编码或解码的装备，其包括根据权利要求2-6中的一项所述的装置。
9.一种非暂时性计算机可读存储介质，其上存储有用于实现权利要求1、3-7中的任一项所述的方法的指令。
10.一种计算机程序，包括用于实现权利要求1、3-7中的任一项所述的方法的指令。
11.一种比特流，其被格式化为包括：
解码数据，用于对视频数据进行解码，以及；
语法元素，指示与图片区域对应的解码数据是被显式地编解码在代表所述图片区域的视频比特流的第一部分中、还是从所述视频比特流的第二部分的先前数据中推断的，所述先前数据由所述比特流的第三部分表示的几个图片区域共享。
CN202080046695.0A 2019-06-24 2020-06-17 使用高级语法元素发信号通知解码数据的方法和装置 Pending CN114026863A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305818.7 2019-06-24
EP19305818 2019-06-24
PCT/US2020/038090 WO2020263646A1 (en) 2019-06-24 2020-06-17 Method and apparatus for signaling decoding data using high level syntax elements

Publications (1)

Publication Number Publication Date
CN114026863A true CN114026863A (zh) 2022-02-08

Family

ID=67297069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046695.0A Pending CN114026863A (zh) 2019-06-24 2020-06-17 使用高级语法元素发信号通知解码数据的方法和装置

Country Status (8)

Country Link
US (1) US12096032B2 (zh)
EP (1) EP3987803A1 (zh)
JP (1) JP2022538755A (zh)
KR (1) KR20220024142A (zh)
CN (1) CN114026863A (zh)
CA (1) CA3145175A1 (zh)
TW (1) TW202106031A (zh)
WO (1) WO2020263646A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4289142A1 (en) * 2021-02-04 2023-12-13 Beijing Dajia Internet Information Technology Co., Ltd. Residual and coefficients coding for video coding

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160701B (zh) * 2012-01-27 2017-06-30 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、及图像解码装置
CN104205819B (zh) 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US9538172B2 (en) * 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
KR102698537B1 (ko) * 2013-04-08 2024-08-23 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US10104362B2 (en) * 2013-10-08 2018-10-16 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
AU2014201583A1 (en) * 2014-03-14 2015-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data using a block dictionary
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10356415B2 (en) * 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
WO2016138513A1 (en) * 2015-02-27 2016-09-01 Arris Enterprises, Inc. Modification of unification of intra block copy and inter signaling related syntax and semantics
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
EP3306938A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
US11330271B2 (en) * 2018-09-18 2022-05-10 Nokia Technologies Oy Method and apparatus for non-binary profile constraint signaling for video coding
WO2020057530A1 (en) * 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
EP4325859A3 (en) * 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
JP7354241B2 (ja) * 2018-11-07 2023-10-02 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
EP3874747A4 (en) * 2018-11-26 2021-12-29 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
US11553210B2 (en) * 2018-12-07 2023-01-10 Interdigital Vc Holdings, Inc. Managing coding tools combinations and restrictions
AU2019201649A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
BR112021024071A2 (pt) * 2019-06-03 2022-01-11 Nokia Technologies Oy Um aparelho e um método para codificação e decodificação de vídeo
KR20220021442A (ko) * 2019-06-18 2022-02-22 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
CN115398912A (zh) * 2020-02-29 2022-11-25 抖音视界有限公司 自适应参数集的语法元素的约束
JP2023518194A (ja) * 2020-03-20 2023-04-28 インターデイジタル ヴィーシー ホールディングス フランス 画像符号化及び復号のための方法並びにデバイス
US20210368209A1 (en) * 2020-05-21 2021-11-25 Qualcomm Incorporated General constraint information signaling in video coding
CN116134820A (zh) * 2020-08-04 2023-05-16 现代自动车株式会社 基于补丁本的视频数据编码和解码的方法和装置
US20230244855A1 (en) * 2022-01-29 2023-08-03 discourse.ai, Inc. System and Method for Automatic Summarization in Interlocutor Turn-Based Electronic Conversational Flow

Also Published As

Publication number Publication date
JP2022538755A (ja) 2022-09-06
TW202106031A (zh) 2021-02-01
KR20220024142A (ko) 2022-03-03
US20220312041A1 (en) 2022-09-29
EP3987803A1 (en) 2022-04-27
CA3145175A1 (en) 2020-12-30
US12096032B2 (en) 2024-09-17
WO2020263646A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
CA3106468C (en) Video encoder, video decoder, and corresponding encoding and decoding methods
CN112262577B (zh) 亮度和色度分量的波阵面并行处理
EP3891994A1 (en) Managing coding tools combinations and restrictions
CN114208178A (zh) 用于视频编码和解码的二次变换
US11991394B2 (en) Syntax elements for video encoding or decoding
KR20220036947A (ko) 비디오 코딩을 위한 크로마 인트라 예측 유닛들
CN114270841A (zh) 视频编解码的色度量化参数(qp)推导
CN113678438A (zh) 采用子分区的宽角度帧内预测
US20240089437A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
JP7520853B2 (ja) ビデオコード化のための残差コード化における通常のビンの柔軟な割り当て
JP2022549312A (ja) コンテキストコード化ｂｉｎ（ｃｃｂ）カウント方法の統合
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
US12096032B2 (en) Method and apparatus for signaling decoding data using high level syntax elements
CN117616750A (zh) 基于模板的帧内模式推导
US12081798B2 (en) Scaling process for joint chroma coded blocks
US20230024223A1 (en) Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction
WO2024212391A1 (en) Encoding/decoding video picture data
US20210344962A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type
EP3591969A1 (en) Syntax elements for video encoding or decoding
CN113994693A (zh) 用于基于照明补偿对块进行编码和解码的方法和装置
EP4014490A1 (en) Quantization matrix prediction for video encoding and decoding
WO2021001215A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
CN116158078A (zh) 将abt与基于vvc子块的编码工具组合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination