CN114868385A - 视频编码和视频解码 - Google Patents

Abstract

视频解码是使用组合的帧间合并和帧内预测设施来实施的，该设施能够操作以对视频样本数据的块的样本进行预测。该组合的帧间合并和帧内预测设施可在多个模式中的一个模式下被操作，其中，在所述模式中的至少一个模式下，解码涉及：通过混合掩码的应用来生成视频样本数据的块的样本的预测，混合掩码对将块分割成两个部分进行控制，其中混合掩码被应用于由帧间合并预测处理生成的第一预测和由帧内预测处理生成的第二预测。

Description

视频编码和视频解码

技术领域

本公开涉及视频编码和视频解码。

背景技术

视频压缩提供了减少传输信道上的负载的机会。它还提供了越来越高效地存储已编码的视频数据的机会。已知的视频编解码标准能够传输(或存储)用于定义视频的比特流数据，使得比特流的接收器(或检索器)能够以这样的方式来对比特流进行解码，即构造基本上忠实于从其导出了已编码比特流的原始视频的已解码视频。

早期的视频编解码标准是为了在可以接受较低或中等质量的重构的装备上再现视频而设计的。这些装备包括手持设备或个人计算设备。总体来说，特定质量水平的可接受性既受到用户需求的驱动，也受到回放装备的能力的驱动。

随着接收装备在质量以及能力上的提高，用户对原始视频的更高质量再现的需求也随之提高。因此形成了如下技术目标，即，在播放器上能够以比迄今为止所实施的质量更高的质量来再现视频。由此形成的另一个技术目标在于，能够在通信信道上传输已编码的视频数据，以便在通信信道的数据容量受限的情况下，在接收器处允许更高的质量。

附图说明

图1是根据一实施例的通信网络的示意图；

图2是图1的通信网络的发射器的示意图；

图3是示出在图2的发射器上实施的编码器的图；

图4是在图3的编码器的预测模块处执行的预测处理的流程图；

图5是图1的通信网络的接收器的示意图；

图6是示出在图4的接收器上实施的解码器的图；以及

图7是在图6的解码器的预测模块处执行的预测处理的流程图。

具体实施方式

本公开的方面可以对应于所附权利要求的主题。

笼统而言，在本文公开的特定实施例中，使用帧间预测与帧内预测的组合来执行合并预测的块的解码。可以在多个模式中的一个模式下执行帧间预测与帧内预测的组合。在所述模式中的一些模式中，所述组合能够操作以通过混合掩码的应用来生成视频样本数据的块的样本的预测。在所述模式中的一些模式中，所述组合可以能够操作以在凭借几何分割方案对块进行分割之后生成样本的预测。可以由解码器以接收到的比特流上的信令的方式或者以推断的方式来确定要使用帧间预测和帧内预测的模式或者组合。该推断可以由解码器通过基于块的特性、周围块的特性或其他标准的特性而执行的确定来建立。

本文所公开的实施例涉及一种凭借更有效地利用视频信号中的冗余来在视频编解码器中执行预测的方法。如读者将理解的，视频呈现通常包括多个帧，以用于在回放装备上顺序显示。使用各种策略来减少在从发射器到接收器的通信信道上传输的比特流上依次描述每个帧所需的数据量。如将理解的，发射器将包括编码器，该编码器用于将帧数据编码为比特流，而接收器将包括解码器，该解码器用于基于比特流中所承载的信息来生成帧数据。

在本公开的实施例中，视频呈现的每个帧被分割为块。在编码器处，基于先前压缩的内容来预测块的内容。这样的内容可以从与被预测的当前块相同的帧中提取，如在帧内预测的情况下，或者这样的内容可以从先前已编码的帧中提取，如在帧间预测的情况下。从实际块中减去该块的预测，得到一组残差。在一实施例中，可以使用到频域的变换来对残差数据进行编码。然而，如读者将认识到的，数据从时域到频域的变换可能特定于特定实施例，并且对于所公开的实施例的性能而言并非是必不可少的。

可以采用合并预测来计算给定样本集的帧间预测，其中可以基于与另一相邻块或相邻块分割有关的运动信息来预测分割的内容。在特定情况下，合并帧间预测可能无法为特定分割提供良好的预测。因此，本文所描述的实施例提供了一种编码处理以及相对应的解码处理，其中可以对块采用诸如帧内预测等其他类型的预测，以期得到更准确的结果。一种视频编码和解码方法允许使用帧内预测与帧间预测的组合来对块进行预测。

在一些实施例中，可以通过对帧间预测和帧内预测的样本应用均匀加权来发生这种组合，用以产生组合后的预测。在一些实施例中，可以根据相邻块的特性中导出这种均匀加权。

在其他实施例中，将组合的帧内预测和帧间预测块进一步分割成两个分割。计算两个预测，每个预测用于块中的一个分割，并且分别对应于帧间预测(例如凭借合并预测来计算的)和帧内预测(凭借推断的模式或者在比特流中用信号通知的模式计算的)。可以从一组可能的分割方案中提取将块分割为两个分割的方案。通过在两个分割中的一个中使用一个预测并且在两个分割中的另一个中使用另一个预测来形成组合后的预测。在其他实施例中，分割方案可以取决于定义划分两个分割的边的方向的角度，并且可以取决于偏移或距离，该偏移或距离取决于用于划分两个分割的边与块中心之间的距离。可以采用平滑处理，由此使用两个分割的加权后的组合来对两个分割之间的边界附近的样本进行预测。

在其他实施例中，凭借由一组权重形成的混合掩码来对组合的帧内预测和帧间预测块进行处理。计算两个预测，即，帧间预测(例如凭借合并预测计算的)和帧内预测(凭借推断的模式或者在比特流中用信号通知的模式计算的)。通过将混合掩码应用于两个预测来形成组合后的预测。在其他实施例中，可以凭借基于角度和偏移的几何分割处理来形成混合掩码。角度和偏移可以与块的其他特性(例如，块的宽度和高度，或者信号的位深度)一起确定混合掩码中的权重。可以考虑各种不同的角度和偏移，从而产生各种可能的混合掩码。要在当前块上使用的混合掩码可以在比特流中用信号通知或可以被推断出来。

实施例可以含有这样的情况，其中混合掩模中与帧间预测相关联的一些权重是0，而与帧内预测相关联的一些权重是1；那么在这种情况下，将完全地使用帧内预测来预测两个分割中的至少一个分割的至少一部分。

类似地，实施例可以顺应这样的情况，其中混合掩模中与帧间预测相关联的一些权重是0，而与帧内预测相关联的一些权重是1；那么在这种情况下，将完全地使用帧间预测来预测两个分割中的至少一个分割中的至少一部分。

作为背景，由MPEG和VCEG组成的JVET已委托在“VVC”标题下制定视频压缩标准。现在将描述目前在VVC规范草案中采用的预测方法。

考虑了组合的帧间预测合并和帧内预测。计算出可能的合并候选的列表。该列表是凭借这样的处理形成的，其中这些候选中的一些可以使用从先前已编码的块中提取的运动信息，或者其中一些合并候选可以使用通过对先前已编码的块的运动信息进行组合或操纵而获得的运动信息。合并候选可被用于形成合并帧间预测的预测。当使用组合的帧间预测合并和帧内预测时，还对帧内预测的块进行计算。帧内预测块的计算遵循要使用的帧内预测模式的确定。该模式可以是固定模式，例如平面模式，或者该模式可以基于从相邻块提取的信息来推断，或者可以基于比特流中的信令来进行确定。

然后将这两个预测组合在一起。使用两个预测中的两个并置样本来计算组合的预测中的每个样本，然后对这些样本进行加权以形成组合的预测样本。使用固定的权重来执行该组合。可以基于从相邻块提取的信息来推断该权重，诸如相邻块是否被帧内预测。

可以凭借这样一种机制来发生信令，其中用信号发送一比特，用以确定当前块是否应该采用组合的帧间预测合并和帧内预测设施。

读者将理解，本文所公开的实施例不限于它们对上述方法的应用，即，可以采用用于分割、用于组装分割候选列表、用于信令、以及用于对数据进行编码以便用于信令的不同技术，并且本公开不受任何一种实施方式的约束。

本文所公开的实施例使用能够操作以对视频样本数据的块的样本进行预测的组合的帧间合并和帧内预测设施，该组合的帧间合并和帧内预测设施能够在多个模式中的一个模式下被操作。

在一些实施例中，每个模式对应于使用混合掩码来计算帧内预测与帧间预测的组合。在一些实施例中，从混合掩码列表中提取混合掩码，由此基于多个不同的角度和偏移(或距离)来导出可能的混合掩码。对于给定角度和偏移的每个组合，可以导出特定的混合掩码，由此混合掩码中的权重将根据该角度和偏移来产生混合后的预测。在一些实施例中，将几何分割索引分配给每个混合掩码，其中可以执行计算，以根据对应的几何分割索引来导出混合掩码的角度和偏移。

在一些实施例中，每个模式对应于分割处理的使用，由此每个块基于角度和偏移被划分为两个分割，用以计算帧内预测和帧间预测的组合。然后以与类似分割方法(诸如三角形分割或几何分割等)相同的方式来对所获得的组合的帧内和帧间预测进行处理，这意味着它们可以在用于在块的两个分割之间形成边界的边缘处平滑化。

在一些实施例中，可以在建立查找表之后确定要在给定块上使用的组合的帧间合并和帧内预测模式。查找表可以包含多个可能的模式，其中查找表的形成可以取决于当前块的特性和/或相邻块的特性。查找表可被用于通过编码器来启用信令，并且相应地，对在由解码器接收到的比特流上用信号所通知的信息进行解释，用以识别在编码过程中采用了何种可能的模式。

在一个实施例中，可以根据从相邻块中提取的信息来形成查找表。在一个实施例中，可以根据当前块左上方的块是否被帧内预测来形成查找表。在一个实施例中，可以根据当前块右下方的块是否被帧内预测来形成查找表。取决于具体的实施方式，可以使用其他的指示符来触发查找表的形成。

在一个实施例中，可以根据从当前块中提取的信息来形成查找表。在一个实施例中，可以根据当前块的宽度和高度，或者根据当前块左上方的块是否被帧内预测来形成查找表。

在其他实施例中，可以使用其他相邻块来指定是否形成查找表。在其他实施例中，可以根据在相邻块的组合中采用帧内预测来形成查找表。

在一个实施例中，查找表中的候选可以包括一种模式，其角度对应于在两个分割之间的边界处具有一条边，该条边将块的右上角与块的左下角相连接。在一个实施例中，查找表可以包括一种模式，其角度被选择为接近这样的角度：该角度对应于在两个分割之间的边界处具有一条边，该条边将块的右上角与块的左下角相连接。在一个实施例中，如果当前块左上方的块和当前块右下方的块都被帧内预测，则可以将这些候选包括在查找表中。

在一个实施例中，查找表中的候选可以包括一种模式，其角度对应于在两个分割之间的边界处具有一条边，该条边将块的左上角和块的右下角相连接。在一个实施例中，查找表可以包括一种模式，其角度被选择为接近这样的角度：该角度对应于在两个分割之间的边界处具有一条边，该条边将块的左上角与块的右下角相连接。在一个实施例中，如果当前块左上方的块与当前块右下方的块之间有且仅有一个被帧内预测，则可以将这些候选包括在查找表中。

在一些实施例中，查找表包含被设置为2的幂的多个项目。在一些实施例中，查找表包含8个候选。

在确定查找表之后，编码器可以在查找表中选择一个模式，并相应地形成组合的帧间合并和帧内预测。在一些实施例中，可以使用组合的帧间合并和帧内预测模式索引来在比特流中用信号通知所选择的模式。在一个实施例中，使用固定数量的比特来用信号通知该索引。在一个实施例中，在查找表包含8个模式的情况下，使用3个比特来用信号通知该索引。

读者会理解，如果使用3个比特来用信号通知该索引，这并不强制定义8个模式，它只是意味着该表具有8个模式的容量。例如，对于一实施例来说，定义少于8个模式并在表中保留一个或多个条目以备将来扩展可能是实用的。

在一些实施例中，用于将帧间合并和帧内预测模式进行组合以在给定块上使用的分割的确定可以取决于从相邻块中提取的信息。在一个实施例中，可以根据当前块左上方的块是否被帧内预测来确定该分割。在一个实施例中，可以根据当前块右下方的块是否被帧内预测来确定该分割。在一个实施例中，可以根据当前块右下方的块和当前块左上方的块是否都被帧内预测来确定该分割。在一个实施例中，可以根据相邻块是否被帧内预测来确定在两个分割之一中使用帧内预测的候选还是帧间预测的候选。

在另一实施例中，可以直接从比特流中提取组合的帧间合并和帧内预测模式，而不是将索引传达给LUT(Look Up Table，查找表)条目。在一些实施例中，对组合的帧间合并和帧内预测模式的确定可以取决于对组合的帧间合并和帧内预测的使用进行指示的标志的检测。在一些实施例中，组合的帧间合并和帧帧内预测模式的确定可以取决于对使用了均匀加权的常规的组合的帧间合并和帧内预测的使用进行指示的标志的检测。在一些实施例中，对组合的帧间合并和帧内预测模式的确定可以取决于仅在对不使用常规的组合的帧间合并和帧内预测进行指示的标志的确定时从比特流中提取的信令。

如图1中所示的，其示出了包括示意性视频通信网络10的一种布置，其中发射器20和接收器30经由通信信道40来进行通信。在实践中，通信信道40可以包括卫星通信信道、有线网络、基于地面的无线电广播网络、POTS实施的通信信道(例如，用于向家庭和小型商业场所提供互联网服务)、光纤通信系统、或上述任何一种的组合、以及任何其他可以想到的通信介质。

此外，本公开还扩展到通过物理传输与存储介质进行通信，在该存储介质上存储有已编码比特流的机器可读记录，用于传送到能够读取介质并从中获得比特流的适当配置后的接收器。这方面的示例是提供数字多功能盘(DVD：digital versatile disk)或者同等产品。以下的描述侧重于信号传输，例如通过电子或电磁信号载波，但不应被理解为排除涉及存储介质的上述方法。

如图2所示，发射器20在结构及功能上是一种计算机装置。它可以与通用计算机装置一起共享特定特征，但是考虑到发射器20的专用功能，一些特征可能是特定于实施方式的。读者将了解到哪些特征可能是通用类型，而哪些特征可能需要专门配置以用于视频发射器。

因此，发射器20包括图形处理单元202，该图形处理单元202被配置以便在处理图形以及类似操作中特定使用。发射器20还包括一个或多个其他的处理器204，其通常被提供或者被配置，以用于诸如数学运算、音频处理、管理通信信道等其他目的。

输入接口206提供用于接收用户输入动作的设施。例如，这类用户输入动作可以由用户与特定输入单元的交互引起，该特定输入单元包括一个或多个控制按钮和/或开关、键盘、鼠标或其他定点设备、能够接收语音并将语音处理为控制命令的语音识别单元、被配置为接收并控制来自其他设备(诸如平板电脑或智能手机、或者远程控制接收器等)的处理的信号处理器。以上的列举将被理解为是非穷尽的，并且读者可以设想其他形式的输入，无论是用户发起的还是自动的都可以。

同样，输出接口214能够操作以提供用于向用户或其他设备输出信号的设施。这种输出可以包括显示信号，该显示信号用于对本地视频显示单元(VDU：video displayunit)或任何其他设备进行驱动。

通信接口208实施通信信道，无论是广播信道还是端到端信道，具有一个或多个信号接收者。在本实施例的上下文中，通信接口被配置为发射信号，该信号承载用于定义由发射器20编码的视频信号的比特流。

处理器204，特别是为了本公开的利益，GPU 202能够操作以在编码器的操作中执行计算机程序。在这样做时，诉诸由大容量存储设备208提供的数据存储设施，该大容量存储设备208被实施为提供大规模数据存储，尽管是在相对缓慢的访问基础上，并且在实践中将存储计算机程序，而且在当前上下文中将存储视频呈现数据，以准备执行编码处理。

只读存储器(ROM：Read Only Memory)210被预配置有可执行程序，该可执行程序被设计为提供发射器20的核心功能，随机存取存储器(Random Access Memory，RAM)212被提供以用于在寻求执行计算机程序的过程中快速访问并存储数据及程序指令。

现在将参考图3开描述发射器20的功能。图3示出编码器在数据文件上执行的处理管道，该编码器是凭借可执行指令在发射器20上实施的，该数据文件用于表示视频呈现，该视频呈现包括多个帧，用于顺序显示为图片序列。

数据文件还可以包括伴随视频呈现的音频回放信息，以及其他补充信息，例如用电子节目指南信息、字幕或元数据等，用以实现该呈现的编目。数据文件的这些方面的处理与本公开无关。

参考图3，将图片序列中的当前图片或帧传递到分割模块230，其中，将其分割为给定大小的矩形块，以供编码器进行处理。该处理可以是顺序的或并行的。该方法可能取决于特定实施方式的处理能力。

然后将每个块输入到预测模块232，该预测模块232寻求丢弃在该序列中存在的时间和空间冗余，并使用先前已编码的内容来获得预测信号。能够计算这种预测的信息被编码在比特流中。该信息应包含足够的信息以便进行计算，包括在接收器处推断出完成该预测所需其他信息的可能性。

从原始信号中减去预测信号以获得残差信号。然后将其输入到变换模块234，该变换模块234尝试通过使用更适当的数据表示来进一步减少块内的空间冗余。读者将注意到，在一些实施例中，域变换可以是可选阶段，并且可以完全省去。可以在比特流中用信号通知采用域变换或其他方式。

然后，通常由量化模块236对所得信号进行量化，最后将由计算当前块的预测所需的系数和信息形成的所得数据输入到熵编码模块238，该熵编码模块238利用统计冗余来凭借短二进制码以紧凑形式表示信号。再次，读者将注意到，熵编码在一些实施例中可以是可选特征，并且在特定情况下可以完全省去。采用熵编码可以连同用于执行解码的信息一起(例如，对熵编码(例如，霍夫曼编码Huffman coding)模式的索引和/或码本)在比特流中用信号来进行通知。

通过发射器20的编码设施的重复动作，可以构建块信息元素的比特流，用以传输到一个或多个接收器(视情况而定)。比特流还可以承载跨多个块信息元素而应用的信息元素，并因此以独立于块信息元素的比特流语法来保持。这种信息元素的示例包括配置选项、适用于帧序列的参数、以及与整个视频呈现相关的参数。

现在将参考图4来更详细地描述预测模块232。如将理解的，这仅仅是示例，并且可以考虑本公开及所附权利要求范围内的其他方法。

对帧间预测后的帧中的每个运动补偿后的块执行以下处理。

预测模块232被配置为，对于从帧中分割出的给定块，确定对该块应用组合的帧间合并和帧内预测是否有利，如果是，则生成用于该块的组合的帧间合并和帧内预测以及组合信息，以便能够向解码器用信号通知，该块已经历了组合的帧间合并和帧内预测这种方式以及随后将如何对组合的帧间合并和帧内预测的预测信息进行解码。预测模块随后应用所选择的组合的帧间合并和帧内预测模式，如果适用的话则随后确定出一个预测，然后根据该预测，可以如前面所述生成残差。在比特流中用信号通知所采用的预测，以便由适当配置后的解码器接收并进行解释。在编码器确定对块应用组合的帧间合并和帧内预测是不利的情况下，可以采用传统的预测方法来预测块的内容，包括传统的帧间预测和/或传统的帧内预测技术。编码器将凭借标志在比特流上用信号通知是否已采用三角形分割。

因此，转到图4所示的编码器侧的算法，在步骤S102中，为所讨论的块组装一组候选的组合的帧间合并和帧内预测模式。使用前面描述的任何技术来组装候选。候选可以包括如前所述的执行组合的帧间合并和帧内预测的常规方式、以及可被识别为合适的任何其他的组合的帧间合并和帧内预测模式。这可以包括利用混合掩码的模式、和/或、对应于在几何分割之后对块进行分割的模式。可以通过对相邻块信息或从当前块中提取的信息进行分析，来获得用于给定块的候选。可以使用被用于确定几何分割模式的相同参数来确定用于给定块的候选。

然后在步骤S104中开始循环，对每个候选三角形分割执行操作。对于每个组合的帧间合并和帧内预测模式的候选，在步骤S106中，使用与该候选相关联的模式来确定一个预测。在步骤S108中，为该预测确定质量度量，该质量度量包括相对于原始数据的预测精度得分。步骤S110表示该循环的结束。

因此，当已经考虑了所有候选时，在步骤S112中，选择出具有最佳质量得分的候选。然后对该候选的属性进行编码，例如使用采用了固定数量的比特的编码或者在查找表中建立的编码，或者使用如上所述的Golomb码。其他技术也可用于信令。这些属性被添加到比特流中以进行传输。

接收器的结构架构在图5中示出。它具有作为计算机实施的装置的元素。因此，接收器30包括图形处理单元302，该图形处理单元302被配置以便在处理图形以及类似操作中特定使用。发射器30还包括一个或多个其他的处理器304，其通常被提供或者被配置，以用于诸如数学运算、音频处理、管理通信信道等其他目的。

如读者将认识到的，接收器30可以以机顶盒、手持个人电子设备、个人计算机、或适合回放视频呈现的任何其他设备的形式来实施。

输入接口306提供用于接收用户输入动作的设施。例如，这类用户输入动作可以由用户与特定输入单元的交互引起，该特定输入单元包括一个或多个控制按钮和/或开关、键盘、鼠标或其他定点设备、能够接收语音并将语音处理为控制命令的语音识别单元、被配置为接收并控制来自其他设备(诸如平板电脑或智能手机、或者远程控制接收器等)的处理的信号处理器。以上的列举将被理解为是非穷尽的，并且读者可以设想其他形式的输入，无论是用户发起的还是自动的都可以。

同样，输出接口314能够操作以提供用于向用户或其他设备输出信号的设施。这种输出可以包括用于对本地电视设备进行驱动的适当格式下的电视信号。

通信接口308实施通信信道，无论是广播信道还是端到端信道，具有一个或多个信号接收者。在本实施例的上下文中，通信接口被配置为发射信号，该信号承载用于定义由接收器30编码的视频信号的比特流。

处理器304，特别是为了本公开的利益，GPU 302能够操作以在接收器的操作中执行计算机程序。在这样做时，诉诸由大容量存储设备308提供的数据存储设施，该大容量存储设备308被实施为提供大规模数据存储，尽管是在相对缓慢的访问基础上，并且在实践中将存储计算机程序，而且在当前上下文中将存储视频呈现数据，以准备执行接收处理。

只读存储器(ROM)310被预配置有可执行程序，该可执行程序被设计为提供接收器30的核心功能，随机存取存储器312被提供以用于在寻求执行计算机程序的过程中快速访问并存储数据及程序指令。

现在将参考图6来描述接收器30的功能。图6示出由解码器对比特流执行的处理管道，该解码器凭借可执行指令在接收器20上实施，该比特流是在接收器30处接收到的，包括可以从中导出视频呈现的结构化信息，包括通过发射器20的编码器功能编码出的帧的重构。

图6示出的解码处理旨在使在编码器处执行的处理逆转。读者将会明白，这并不意味着解码处理与编码处理完全相反。

接收到的比特流包括一系列已编码的信息元素，每个元素与一个块相关。在熵解码模块330中对块信息元素进行解码，以获得计算当前块的预测所需的系数和信息的块。系数块通常在去量化模块332中被去量化，并且通常通过变换模块334被逆变换到空间域。

如上所述，读者将认识到，只有在发射器处分别采用了熵编码、量化和变换时，才需要在接收器处采用熵解码、去量化和逆变换。

预测模块336如前所述地根据来自当前帧或先前帧的先前已解码的样本并使用从比特流中解码出的信息来生成预测信号。然后，在重构块338中，根据已解码的残差信号和计算出的预测块来导出原始图片块的重构。预测模块336响应于比特流上的信息，用信号通知使用三角形分割，如果存在这样的信息，则从比特流中读取出已在其下已实施了三角形分割这种模式、以及在重构块信息样本时因此而应采用哪种预测技术。

通过解码功能对连续接收到的块信息元素的重复操作，可以将图片块重构为帧，然后可以将这些帧组装起来，以产生用于回放的视频呈现。

图7示出一种示例性的解码器算法，它是对前面描述的编码器算法的补充。

如前所述，接收器30的解码器功能从比特流中提取由发射器20的编码器设施编码出的一系列块信息元素、所定义的块信息、以及所伴随的配置信息。

一般而言，解码器在构建当前块的预测时利用来自先前预测的信息自身。在这样做时，解码器可以将来自帧间预测(即，来自先前帧)以及帧内预测(即，来自同一帧中的另一个块)的知识组合在一起。

因此，对于合并预测的块，在步骤S202中，从比特流中提取能够形成预测候选的信息。这可以是标志的形式，该标志可以是二进制的语法形式，用于指示是否已使用了组合的帧间合并和帧内预测。

在步骤S204中，根据该标志的值来作出决定。如果将组合的帧间合并和帧内预测用于合并预测的块，则在步骤S206中考虑包含可能模式的列表的查找表。该列表可以是预先确定的，或者可以取决于从可用信息推断出的信息(例如大小或块，或者相邻块已被解码这种方式)。它可以被预先存储在接收器中，或者它可以通过比特流被传输到接收器中。查找表信息的这种传输可以在当前比特流传输的开始传输时进行，或者它可以例如在到接收器的预配置传输中进行用以将接收机配置为能够对被编码为特定规范的比特流进行解码。

在步骤S208中，从比特流中提取出索引，以便用信号通知在生成预测的过程中采用了查找表中的哪个项目。在步骤S210中，根据该索引来查阅查找表，以便以获得一组属性，该组属性用于定义将要使用的组合的帧间和帧内预测模式。这些属性可被统称为预测配置属性，解码器可以使用这些属性来配置：解码器构建块样本的预测的方式、是否要采用组合的帧间和帧内预测、以及(如果采用)执行组合的帧间和帧内预测以对块进行重构这种方式。例如，这些属性还可以例如指定应如何实施该组合，诸如包括权重参数、或者对另一个预先确定的权重参数表的索引。

在步骤S212中，使用在步骤S210中确定出的特定特征来生成预测。

在替代方案中，如果没有使用先前描述的标志来用信号通知组合的帧间合并和帧内预测，则在步骤S220中使用传统技术来生成合并预测的块的预测。s

应当理解，本发明不限于上述实施例，可以在不脱离本文所描述的概念的情况下进行各种修改和改进。除非在相互排斥的情况下，否则任何特征可单独使用或与任何其他特征组合使用，并且本公开扩展并包括本文所描述的一个或多个特征的所有组合和子组合。

Claims (65)

1.一种用于对已编码的视频数据进行解码的视频解码器，所述解码器包括能够操作以对视频样本数据的块的样本进行预测的组合的帧间合并和帧内预测设施，所述组合的帧间合并和帧内预测设施能够在多个模式中的一个模式下操作，其中，在所述模式中的至少一个模式下，所述解码器能够操作以通过混合掩码的应用来生成视频样本数据的块的样本的预测，所述混合掩码对将所述块分割成两个部分进行控制，其中所述混合掩码被应用于由帧间合并预测处理生成的第一预测和由帧内预测处理生成的第二预测。

2.根据权利要求1所述的视频解码器，所述视频解码器能够操作以完全凭借帧间预测来产生所述部分的第一部分中的至少一些样本的预测。

3.根据权利要求1或2所述的视频解码器，所述视频解码器能够操作以完全凭借帧内预测来产生所述部分中的第二部分中的至少一些样本的预测。

4.根据前述权利要求中的任一项所述的视频解码器，所述视频解码器能够操作以对模式指示标志进行检测，并且响应于所述模式指示标志来生成所述预测。

5.根据权利要求4所述的视频解码器，其中，对所述模式指示标志的检测取决于对指示组合的帧间合并和帧内预测的使用的标志的检测。

6.根据前述权利要求中的任意项所述的视频解码器，其中，所述解码器能够操作以对混合掩码信息进行检测，并且响应于所述混合掩码信息来确定要在所述块的所述两个部分上采用的混合掩码。

7.根据权利要求1至5中的任一项所述的视频解码器，其中，所述解码器能够操作以从所述已编码的视频数据推断出要在所述块的所述两个部分上采用的混合掩码。

8.根据前述权利要求中的任一项所述的视频解码器，其中，所述解码器能够操作以从多个可能的混合掩码中确定用于所提取的块的候选混合掩码的列表。

9.根据权利要求8所述的视频解码器，所述视频解码器能够操作以根据当前块的特性来确定所述候选混合掩码的列表。

10.根据权利要求8或9所述的视频解码器，所述视频解码器能够操作以根据当前块的宽度或高度来确定所述候选混合掩码的列表。

11.根据权利要求8至10中的任一项所述的视频解码器，所述视频解码器能够操作以根据所述块的宽度是高于、等于还是小于所述块的高度来确定所述候选混合掩码的列表。

12.根据权利要求8至11中的任一项所述的视频解码器，所述视频解码器能够操作以根据与当前块相邻的一个或多个块的特性来确定所述候选混合掩码的列表。

13.根据权利要求12所述的视频解码器，所述视频解码器能够操作以根据一个或多个相邻块是否被帧内预测来确定所述候选混合掩码的列表。

14.根据权利要求8至13中的任一项所述的视频解码器，所述视频解码器能够操作以从所述比特流中检测混合掩码索引，由此所述混合掩码索引指示所述候选混合掩码的列表中的哪个混合掩码应被用于操作所述组合的帧间合并和帧内预测设施。

15.根据权利要求14所述的视频解码器，其中，所述解码器能够操作以对来自所述比特流的、指示混合掩码索引的b个比特进行解码，所述混合掩码索引指示使用所述候选混合掩码的列表中的哪个混合掩码，所述列表包括最多2^b个候选混合掩码。

16.根据前述权利要求中的任一项所述的视频解码器，所述视频解码器能够操作以检测设施使用标志，所述视频解码器对所述设施使用标志作出响应以使所述组合的帧间合并和帧内预测设施实施，并且将所述解码器配置为能够操作以对所述模式指示标志进行检测。

17.根据前述权利要求中的任一项所述的视频解码器，其中，所述解码器能够操作以检测分割信息，并且响应于所述分割信息来确定所述块的分割。

18.根据前述权利要求中的任一项所述的视频解码器，其中，所述解码器能够操作以从所述已编码的视频数据推断出所述块的所述分割。

19.根据前述权利要求中的任一项所述的视频解码器，其中，要应用的所述混合掩码由角度和偏移定义。

20.根据权利要求19所述的视频解码器，其中，用于定义所述混合掩码的所述角度和所述偏移确定在组合所述第一预测和所述第二预测时要使用的权重。

21.根据权利要求1至18中的任一项所述的视频解码器，其中，所述第一预测和所述第二预测的组合由取决于角度和偏移的权重来控制。

22.一种能够操作以对已编码的视频数据进行解码的视频解码器，所述解码器包括能够操作以对视频样本数据的块的样本进行预测的组合的帧间合并和帧内预测设施，所述组合的帧间合并和帧内预测设施能够在多个模式中的一个模式下操作，所述多个模式中的至少一个模式能够根据几何分割方案操作。

23.根据权利要求22所述的视频解码器，其中，所述组合的帧间合并和帧内预测设施能够在多个几何分割模式中的一个几何分割模式下操作。

24.根据权利要求23所述的视频解码器，其中，所述解码器能够操作以从所述多个几何分割模式中确定排序的列表，所述列表的所述排序从所述块和/或至少一个相邻块的至少一个特征推断出。

25.根据权利要求22至24中的任一项所述的视频解码器，其中，所述解码器能够操作以将所述几何分割方案至少部分地确定为作为所述块的宽度的函数的推断处理的结果。

26.根据权利要求22至25中的任一项所述的视频解码器，其中，所述解码器能够操作以将所述几何分割方案推断地确定为所述块的高度的函数。

27.根据权利要求22至25中的任一项所述的视频解码器，其中，所述解码器能够操作以将所述几何分割方案推断地确定为所述块的宽度与所述块的高度之比的函数。

28.根据权利要求22至27中的任一项所述的视频解码器，其中，所述几何分割方案导致所述块被分割成两个部分，其中用于所述块的部分中的一个部分的预测是帧间预测，并且其中所述分割基于用于所述帧间预测的合并候选确定。

29.根据权利要求22至27中的任一项所述的视频解码器，其中，所述几何分割方案导致所述块被分割成两个部分，其中所述解码器能够操作以基于用于对一个相邻块进行编码的预测的类型来推断地确定所述分割。

30.一种用于对已编码的视频数据进行解码的方法，所述方法包括对视频样本数据的块的样本进行预测，采用能够在多个模式中的一个模式下操作的组合的帧间合并和帧内预测处理，其中，在所述模式中的至少一个模式下，所述组合的帧间合并和帧内预测处理包括：通过混合掩码的应用来生成视频样本数据的块的样本的预测，所述混合掩码对将所述块分割成两个部分进行控制，其中所述混合掩码被应用于由帧间合并预测处理生成的第一预测和由帧内预测处理生成的第二预测。

31.根据权利要求30所述的方法，所述方法包括完全凭借帧间预测来产生对所述部分的第一部分中的至少一些样本的预测。

32.根据权利要求30或31所述的方法，所述方法包括完全凭借帧内预测来产生对所述部分的第二部分中的至少一些样本的预测。

33.根据权利要求30至32中的任一项所述的方法，所述方法包括对模式指示标志进行检测，并且响应于所述模式指示标志来生成所述预测。

34.根据权利要求33所述的方法，其中，对所述模式指示标志的检测取决于对指示组合的帧间合并和帧内预测的使用的标志的检测。

35.根据权利要求30至34中的任一项所述的方法，所述方法包括对混合掩码信息进行检测，并且响应于所述混合掩码信息来确定要在所述块的两个部分上采用的混合掩码。

36.根据权利要求30至34中的任一项所述的方法，所述方法包括从所述已编码的视频数据推断出要在所述块的所述两个部分上采用的混合掩码。

37.根据权利要求30至36中的任一项所述的方法，所述方法包括从多个可能的混合掩码中确定用于所提取的块的候选混合掩码的列表。

38.根据权利要求37所述的方法，所述方法包括根据当前块的特性来确定所述候选混合掩码的列表。

39.根据权利要求37或38所述的方法，所述方法包括根据当前块的宽度或高度来确定所述候选混合掩码的列表。

40.根据权利要求37至39中的任一项所述的方法，所述方法包括根据所述块的宽度是高于、等于还是小于所述块的高度来确定所述候选混合掩码的列表。

41.根据权利要求34至37中的任一项所述的方法，所述方法包括根据与当前块相邻的一个或多个块的特性来确定所述候选混合掩码的列表。

42.根据权利要求41所述的方法，所述方法包括根据所述一个或多个相邻块是否被帧内预测来确定所述候选混合掩码的列表。

43.根据权利要求37至42中的任一项所述的方法，所述方法包括从比特流中检测混合掩码索引，由此所述混合掩码索引指示所述候选混合掩码的列表中的哪个混合掩码应被用于操作所述组合的帧间合并和帧内预测设施。

44.根据权利要求43所述的方法，所述方法包括对来自所述比特流的、指示混合掩码索引的b个比特进行解码，所述混合掩码索引指示使用所述候选混合掩码的列表中的哪个混合掩码，所述列表包括最多2^b个候选混合掩码。

45.根据权利要求30至44中的任一项所述的方法，所述方法包括检测设施使用标志，并对所述设施使用标志作出响应以使所述组合的帧间合并和帧内预测处理实施，并且将所述方法配置为寻求对所述模式指示标志的检测。

46.根据权利要求30至45中的任一项所述的方法，所述方法包括检测分割信息，并且响应于所述分割信息来确定所述块的分割。

47.根据权利要求30至46中的任一项所述的方法，其中，所述方法包括从所述已编码的视频数据推断出所述块的分割。

48.一种对已编码的视频数据进行解码的方法，所述方法包括用于对视频样本数据的块的样本进行预测的组合的帧间合并和帧内预测处理，所述组合的帧间合并和帧内预测处理在多个模式中的一个模式下执行，所述多个模式中的至少一个模式根据几何分割方案。

49.根据权利要求48所述的方法，其中，所述组合的帧间合并和帧内预测处理在多个几何分割模式中的一个几何分割模式下执行。

50.根据权利要求49所述的方法，所述方法包括从所述多个几何分割模式中确定排序的列表，包括从所述块和/或至少一个相邻块的至少一个特征推断出所述列表的所述排序。

51.根据权利要求48至50中的任一项所述的方法，所述方法包括将所述几何分割方案至少部分地确定为作为所述块的宽度的函数的推断处理的结果。

52.根据权利要求48至51中的任一项所述的方法，所述方法包括将所述几何分割方案推断地确定为所述块的高度的函数。

53.根据权利要求45至48中的任一项所述的方法，所述方法包括将所述几何分割方案推断地确定为所述块的宽度与所述块的高度之比的函数。

54.根据权利要求48至53中的任一项所述的方法，所述几何分割方案导致所述块被分割成两个部分，其中用于所述块的部分中的一个部分的预测是帧间预测，并且其中所述分割基于用于所述帧间预测的合并候选确定。

55.根据权利要求48至53中的任一项所述的方法，所述几何分割方案导致所述块被分割成两个部分，包括基于用于对一个相邻块进行编码的预测的类型来推断地确定所述分割。

56.一种用于对视频数据进行编码的视频编码器，其中，所述解码器包括能够操作以对视频数据的块的样本进行预测的组合的帧间合并和帧内预测设施，所述组合的帧间合并和帧内预测设施能够在多个模式中的一个模式下被操作，其中，在所述模式中的至少一个模式下，所述编码器能够操作以通过混合掩码的应用来生成视频样本数据的块的样本的预测，所述混合掩码对将所述块分割成两部分进行控制，其中所述混合掩码被应用于由帧间合并预测处理生成的第一预测和由帧内预测处理生成的第二预测。

57.根据权利要求56所述的视频编码器，所述视频编码器：

能够操作以完全凭借帧间预测来产生对所述部分的第一部分中的至少一些样本的预测；和/或

能够操作以完全凭借帧内预测来产生对所述部分的第二部分中的至少一些样本的预测；和/或

能够操作以生成模式指示标志，所述模式指示标志对在生成所述预测中的组合的帧间合并和帧内预测设施的模式的使用进行指示，生成模式指示标志包括可选地生成设施使用标志，所述设施使用标志对组合的帧间合并和帧内预测的使用进行指示；和/或

能够操作以使所述已编码的视频数据包括混合掩码信息，所述混合掩码信息指示要在对应的解码器处使用的混合掩码，使所述已编码的视频数据包括混合掩码信息可选地使所述已编码的视频数据包括混合掩模索引，所述混合掩模索引指示候选混合掩模列表中的哪个混合掩码应被用于在解码器处操作组合的帧间合并和帧内预测设施，其中，所述混合掩码索引可选地包括b个比特，所述混合掩码索引指示使用候选混合掩码的列表中的哪个混合掩码，所述列表包括最多2^b个候选混合掩码；和/或

能够操作以使所述已编码的视频数据包括用于指示块的分割的分割信息。

58.一种能够操作以对视频数据进行编码的视频编码器，所述编码器包括能够操作以生成视频样本数据的块的样本的预测的组合的帧间合并和帧内预测设施，所述组合的帧间合并和帧内预测设施能够在多个模式中的一个模式下被操作，所述多个模式中的至少一个模式能够根据几何分割方案操作。

59.根据权利要求58所述的视频编码器，其中，所述组合的帧间合并和帧内预测设施能够在多个几何分割模式中的一个模式下操作。

60.一种对视频数据进行编码的方法，所述方法包括对视频样本数据的块的样本进行预测，采用能够在多个模式中的一个模式下操作的组合的帧间合并和帧内预测处理，其中，在所述模式中的至少一个模式下，所述组合的帧间合并和帧内预测处理包括通过混合掩码的应用来生成视频样本数据的块的样本的预测，所述混合掩码对将所述块分割成两个部分进行控制，其中所述混合掩码被应用于由帧间合并预测处理生成的第一预测和由帧内预测处理生成的第二预测。

61.一种对视频数据进行编码的方法，所述方法包括用于对视频样本数据的块的样本进行预测的组合的帧间合并和帧内预测处理，所述组合的帧间合并和帧内预测处理能够在多个模式中的一个模式下执行，所述多个模式中的至少一个模式根据几何分割方案。

62.一种计算机程序产品，包括处理器可执行指令，所述处理器可执行指令当由通用计算机执行时使所述计算机执行根据权利要求30至55中的任一项或权利要求60或61所述的方法。

63.一种承载处理器可执行指令的信号，所述处理器可执行指令当由通用计算机执行时使所述计算机执行根据权利要求30至55中的任一项或权利要求60或61所述的方法。

64.一种承载已编码视频数据的计算机可读存储介质，所述已编码视频数据通过根据权利要求30至55中的任一项或权利要求60或61所述的方法编码。

65.一种承载已编码视频数据的比特流的计算机可读信号，所述已编码视频数据通过根据权利要求30至55中的任一项或权利要求60或61所述的方法编码。

Images