CN112740695B

CN112740695B - 使用间预测处理视频信号的方法和装置

Info

Publication number: CN112740695B
Application number: CN201980061976.0A
Authority: CN
Inventors: 赵杰; 塞特拉·帕卢瑞; 金昇焕
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2018-09-22
Filing date: 2019-09-23
Publication date: 2024-03-26
Anticipated expiration: 2039-09-23
Also published as: JP7412615B2; EP3836545B1; CN118055251A; KR20240000644A; CN112740695A; JP2023053028A; KR102616766B1; WO2020060376A1; CN118055250A; JP7225381B2; CN118042150A; RU2022107602A; MX2021003247A; JP2022501912A; US11297330B2; US11902536B2; US20240163453A1; CN118055249A; EP3836545A1; US20220217361A1

Abstract

本公开公开了用于处理视频信号的方法及其装置。具体地，一种基于间预测处理视频信号的方法包括下述步骤：使用当前块的空间合并候选和时间合并候选来构造用于当前块的第一合并候选列表；通过将基于历史的合并候选添加到第一合并候选列表来构造第二合并候选列表，历史指示在当前块之前编译的块的运动数据；获得从在第二合并候选列表内的指示应用于当前块的合并候选的合并索引；以及使用由合并索引指示的合并候选的运动数据来生成用于当前块的预测块，其中如果基于历史的合并候选的运动数据与第一合并候选列表中包括的合并候选之中的先前定义的合并候选的数据不重复，则基于历史的合并候选可以被添加到第一合并候选列表。

Description

使用间预测处理视频信号的方法和装置

技术领域

本公开的实施例涉及一种用于使用间预测来处理视频信号的方法和装置，并且更具体地，涉及一种用于使用基于历史的运动矢量预测来执行间预测的方法和装置。

背景技术

压缩编码意指用于通过通信线路发送数字化信息的一系列信号处理技术，或用于以适合于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是用于压缩编码的目标，并且特别地，用于对图片执行压缩编码的技术被称为视频图像压缩。

下一代视频内容被假定为具有高空间分辨率、高帧速率和场景表示的高维度的特性。为了处理这样的内容，将导致存储器存储、存储器访问速率和处理功率的急剧增加。

因此，需要设计用于有效地处理下一代视频内容的编译工具。

发明内容

技术问题

本公开的实施例提出了关于用于将HMVP候选添加到合并列表(或AMVP列表)的冗余检查的约束。

在本公开的实施例中要实现的技术目的不限于前述技术目的，并且本公开所属的本领域的普通技术人员从下面的描述中可以清楚地理解上述未描述的其他技术目的。

技术方案

在本公开的实施例的一个方面，一种基于间预测(inter prediction)来处理视频信号的方法，包括：使用当前块的空间合并候选和时间合并候选来构造当前块的第一合并候选列表；通过将指示在当前块之前编译的块的运动信息的基于历史的合并候选添加到第一合并候选列表来构造第二合并候选列表；获得指示在第二合并候选列表内应用于当前块的合并候选的合并索引；以及使用由合并索引指示的合并候选的运动信息来生成当前块的预测块。如果基于历史的合并候选具有与第一合并候选列表中包括的合并候选之中的预定义合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加到第一合并候选列表。

优选地，如果基于历史的合并候选具有与第一合并候选列表中包括的合并候选之中的预定义特定数目的合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加到第一合并候选列表。

优选地，如果基于历史的合并候选具有与第一合并候选列表中包括的特定空间合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加到第一合并候选列表。

优选地，从存储基于历史的合并候选的基于历史的缓冲区内的预定数目的候选来导出基于历史的合并候选。

优选地，构造第二合并候选列表可以进一步包括添加基于历史的空间时间合并候选。可以使用两个基于历史的合并候选和时间合并候选来导出基于历史的空间时间候选。

优选地，基于历史的空间时间候选的运动矢量可以被导出作为两个基于历史的合并候选的运动矢量的平均值和时间合并候选的运动矢量的平均值。

在实施例的一方面，一种用于基于间预测来处理视频信号的装置包括：存储器，该存储器存储视频信号；以及处理器，该处理器耦合到存储器。处理器可以被配置成：使用当前块的空间合并候选和时间合并候选来构造当前块的第一合并候选列表；通过将指示在当前块之前编译的块的运动信息的基于历史的合并候选添加到第一合并候选列表来构造第二合并候选列表；获得指示在第二合并候选列表内应用于当前块的合并候选的合并索引；以及使用由合并索引指示的合并候选的运动信息来生成当前块的预测块。如果基于历史的合并候选具有与第一合并候选列表中包括的合并候选之中的预定义合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加到第一合并候选列表。

有益效果

根据本公开的实施例，通过限制用于添加到合并列表(或AMVP列表)的冗余检查，可以改善根据冗余检查的复杂性并且可以增强效率。

在本公开中可获得的效果不限于上述效果，并且本公开所属的本领域的普通技术人员可以从以下描述中清楚地理解上述未描述的其他技术效果。

附图说明

作为详细描述的一部分而被包括以帮助理解本公开的附图，提供本公开的实施例，并且连同详细描述一起描述本公开的技术特征。

图1图示根据本公开的实施例的作为用于处理视频信号的装置的示例的编码器的功能元件的示例。

图2是应用本公开的实施例，并且是其中执行视频/图像信号的解码的解码装置的示意性框图。

图3是可以应用本公开的实施例，并且是图示多类型树结构的示例的图。

图4是可以应用本公开的实施例，并且是图示具有嵌套的多类型树的四叉树结构的分区划分信息的信令机制的图。

图5是可以应用本公开的实施例，并且是图示基于四叉树和嵌套的多类型树结构将CTU分割成多个CU的方法的图。

图6是可以应用本公开的实施例，并且是图示约束二叉树分割的方法的图。

图7是可以应用本公开的实施例，并且是图示可能在二叉树分割和三叉树分割中出现的冗余分割模式的图。

图8和图9是图示根据本公开的实施例的基于间预测的视频/图像编码方法和根据本公开的实施例的编码装置内的间预测器的图。

图10和图11是图示根据本公开的实施例的基于间预测的视频/图像解码方法和根据本公开的实施例的解码装置内的间预测器的图。

图12是应用本公开的实施例，并且是用于描述在合并模式或跳过模式中使用的邻近块的图。

图13是图示根据应用本公开的实施例的构造合并候选列表的方法的流程图。

图14是图示根据应用本公开的实施例的构造合并候选列表的方法的流程图。

图15图示根据本公开的实施例的运动模型的示例。

图16图示根据本公开的实施例的用于仿射运动预测(affine motionprediction)的控制点运动矢量的示例。

图17图示根据本公开的实施例的仿射运动预测被应用于的块的每个子块的运动矢量的示例。

图18图示根据本公开的实施例的在仿射合并模式下用于仿射运动预测的邻近块的示例。

图19图示使用已经对其应用根据本公开的实施例的仿射运动预测的邻近块在其上执行仿射运动预测的块的示例。

图20是用于描述根据本公开的实施例的使用邻居仿射编译块生成合并候选列表的方法的图。

图21和图22是用于描述根据本公开的实施例的使用通过仿射预测编译的邻近块来构造仿射合并候选列表的方法的图。

图23图示根据本公开的实施例的在仿射间模式中用于仿射运动预测的邻近块的示例。

图24图示根据本公开的实施例的在仿射间模式中用于仿射运动预测的邻近块的示例。

图25和图26是图示根据本公开的实施例的在仿射间模式中使用邻近块的运动信息来导出运动矢量候选的方法的图。

图27图示根据本公开的实施例的子块单元的仿射运动矢量场的示例。

图28图示根据本公开的实施例的在已经对其应用仿射运动模型的间预测中生成预测块的方法和运动矢量。

图29是图示根据本公开的实施例的基于控制点的运动矢量执行运动补偿的方法的图。

图30是图示根据本公开的实施例的基于非正方形块中的控制点的运动矢量执行运动补偿的方法的图。

图31是图示根据本公开的实施例的基于非正方形块中的控制点的运动矢量执行运动补偿的方法的图。

图32至图38是图示根据本公开的实施例的基于非正方形块中的控制点的运动矢量来执行运动补偿的方法的图。

图39是用于描述根据本公开的实施例的存储HMVP的方法的流程图。

图40是用于描述根据本公开的实施例的以无约束的FIFO方式操作的HMVP表的图。

图41是用于描述根据本公开的实施例的以约束FIFO方式操作的HMVP表的图。

图42是图示根据本公开的实施例的HMVP LUT和长期HMVP LUT的图。

图43是图示根据本公开的实施例的更新HMVP LUT的方法的示例的图。

图44是图示根据本公开的实施例的限制HMVP候选(即，剪枝检查(pruning check)的目标)的数量的方法的图。

图45是图示根据本公开的实施例的执行剪枝检查的方法的示例的图。

图46是用于描述根据本公开的实施例的使用参考不同参考图片的运动矢量来导出H-STMVP候选的方法的图。

图47是图示根据应用本公开的实施例的基于间预测来处理视频信号的方法的流程图。

图48图示根据本公开的实施例的用于处理图像信号的装置的框图的示例。

图49图示本公开被应用于的视频编译系统。

图50是应用本公开的实施例，并且图示内容流系统的结构。

具体实施方式

在下文中，将参考附图描述本公开的优选实施例。下面将结合附图进行描述的说明书是为了描述本公开的示例性实施例，而不旨在描述可以在其中实现本公开的唯一实施例。以下描述包括特定细节，以便提供对本公开的完美理解。然而，应理解，对于本领域的技术人员而言，可以在没有特定细节的情况下体现本公开。

在一些情况下，为了防止本公开的技术概念不清楚，可以省略公知的结构或设备，或者可以将其描述为以结构或设备的核心功能为中心的框图。

此外，尽管在本公开中尽可能选择当前广泛使用的通用术语作为术语，但是在特定情况下使用由申请人任意选择的术语。因为在这种情况下，术语的含义将在说明书的相应部分中清楚地描述，所以理解，本公开将不会仅由在本公开的说明书中使用的术语来简单地解释，而是应该弄清楚术语的含义。

可以提供在以下描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术概念的范围内，可以将特定术语修改为其他形式。例如，可以在每个编译过程中适当地替换和解释信号、数据、样本、图片、帧、块等。

在下文中，在本说明书中，“处理单元”意指其中执行诸如预测、变换和/或量化的编码/解码处理过程的单元。在下文中，为了便于描述，处理单元也可以被称为“处理块”或“块”。

处理单元可以被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编译树单元(CTU)、编译单元(CU)、预测单元(PU)或变换单元(TU)。

此外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编译树块(CTB)、编译块(CB)、预测块(PB)或变换块(TB)。可替选地，处理单元可以对应于用于色度分量的编译树块(CTB)、编译块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。

此外，处理单元本质上不限于正方形块，并且可以以具有三个或更多个顶点的多边形形式构造。

此外，在下文中，在本说明书中，通常将像素、图片元素等称为样本。此外，使用样本可能意指使用像素值、图片元素值等。

参考图1，编码装置100可以被配置成包括图像划分器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、间预测器(inter predictor)180、内预测器(intra predictor)185和熵编码器190。间预测器180和内预测器185通常可以称为预测器。换句话说，预测器可以包括间预测器180和内预测器185。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器可以进一步包括减法器115。在一个实施例中，图像划分器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、间预测器180、内预测器185和熵编码器190可以被配置成一个硬件组件(例如，编码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以被配置有数字存储介质。

图像划分器110可以将输入到编码装置100的输入图像(或图片或帧)划分成一个或多个处理单元。例如，处理单元可以被称为编译单元(CU)。在这种情况下，编译单元可以基于四叉树二叉树(QTBT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地被分割。例如，基于四叉树结构和/或二叉树结构，一个编译单元可以被分割为深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且然后可以应用二叉树结构。可替选地，可以首先应用二叉树结构。可以基于不再被分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，最大编译单元可以根据图像特性基于编译效率直接用作最终编译单元，或者如有必要，可以将编译单元递归地分割为更深深度的编译单元。因此，可以将具有最佳大小的编译单元用作最终编译单元。在这种情况下，编译过程可以包括诸如稍后将描述的预测、变换或重构的过程。对于另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编译单元对预测单元和变换单元中的每个进行划分或分区。预测单元可以是用于样本预测的单元，并且变换单元可以是从中导出变换系数的单元和/或其中从变换系数导出残差信号的单元。

根据情况，单元可以与块或区域互换使用。在通常情况下，M×N块可以指示配置有M列和N行的样本集或变换系数集。通常，样本可以指示像素或像素的值，并且可以仅指示亮度分量的像素/像素值或仅指示色度分量的像素/像素值。在样本中，一个图片(或图像)可以用作与像素(pixel)或画素(pel)相对应的术语。

编码装置100可以通过从输入图像信号(原始块或原始样本阵列)减去由间预测器180或内预测器185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。所生成的残余信号被发送到变换器120。在这种情况下，如所图示的，编码器100内的在其中从输入图像信号(原始块或原始样本阵列)减去预测信号(预测块或预测样本阵列)的单元可以被称为减法器115。预测器可以对处理目标块(在下文中称为当前块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以确定是否在当前块或CU单元中应用内预测(intra prediction)或应用间预测。预测器可以生成关于预测的各种信息，诸如稍后将在每个预测模式的描述中描述的预测模式信息，并且可以将该信息发送到熵编码器190。关于预测的信息可以在熵编码器190中编码，并且可以以比特流形式输出。

内预测器185可以参考当前图片内的样本来预测当前块。参考的样本可以被定位为邻近当前块或者取决于预测模式可以与当前块隔开。在内预测中，预测模式可以包括多个非角度模式和多个角度模式。例如，非角度模式例如可以包括DC模式和平面模式。例如，取决于预测方向的精细程度，角度模式可以包括33个角度预测模式或65个角度预测模式。在这种情况下，例如，取决于配置，可以使用大于或小于33个角度预测模式或65个角度预测模式的角度预测模式。内预测器185可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

间预测器180可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性，将运动信息预测为块、子块或样本单元。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括间预测方向(L0预测、L1预测、Bi预测)信息。在间预测的情况下，邻近块可以包括当前图片内的空间邻近块和参考图片内的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为叫做共置参考块(co-located reference block)或共置CU(colCU)的名称。包括时间邻近块的参考图片可以被称为共置图片(colPic)。例如，间预测器180可以基于邻近块来构造运动信息候选列表，并且可以生成指示哪个候选用于导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行间预测。例如，在跳过模式和合并模式的情况下，间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可能不会发送残差信号。在运动信息预测(MVP)模式的情况下，可以将邻近块的运动矢量用作运动矢量预测器。可以通过用信号发送运动矢量差来指示当前块的运动矢量。

通过间预测器180或内预测器185生成的预测信号可以用于生成重构信号或残差信号。

变换器120可以通过将变换方案应用于残差信号来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图形的变换(GBT)或有条件非线性变换(CNT)中的至少一种。在这种情况下，如果将像素之间的关系信息表示为图形，则GBT意指从图形获得的变换。CNT意指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，可以将变换过程应用于具有相同大小的正方形的像素块，或者可以应用于具有可变大小而不是正方形的块。

量化器130可以量化变换系数并将其发送到熵编码器190。熵编码器190可以编码量化的信号(关于量化变换系数的信息)并以比特流形式输出。关于量化的变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描序列以一维矢量形式重新排列块形式的量化变换系数，并且可以基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器190可以执行各种编码方法，诸如指数哥伦布(Golomb)、上下文自适应可变长度编译(CAVLC)和上下文自适应二进制算术编译(CABAC)。除了量化的变换系数之外，熵编码器190还可以一起或单独地对视频/图像重构所必需的信息(例如，语法元素的值)进行编码。编码的信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位被发送或存储。比特流可以通过网络发送，或者可以存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD和SSD。可以将发送由熵编码器190输出的信号的发射器(未图示)和/或用于存储信号的存储器(未图示)配置成编码装置100的内部/外部元件，或者该发射器可以是熵编码器190的元件。

由量化器130输出的量化的变换系数可以用于生成预测信号。例如，可以通过在回路内通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号。加法器155可以将重构的残差信号与间预测器180或内预测器185输出的预测信号相加，从而可以生成重构信号(重构图片、重构块或重构样本阵列)。如果像已应用跳过模式的情况那样没有用于处理目标块的残差，则可以将预测块用作重构块。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的内预测，并且可以用于通过如稍后将会描述的滤波进行的下一图片的间预测。

滤波器160可以通过将滤波应用于重构信号来改善主观/客观图片质量。例如，滤波器160可以通过将各种滤波方法应用于重构图片来生成修改的重构图片。修改后的重构图片可以被存储在存储器170中，具体地，被存储在存储器170的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。滤波器160可以生成各种信息以进行滤波，如稍后在每种滤波方法的描述中将描述的，并且可以将它们发送到熵编码器190。滤波信息可以由熵编码器190编码并且以比特流的形式输出。

发送到存储器170的修改的重构图片可以用作间预测器180中的参考图片。编码装置可以避免编码装置100和解码装置中的预测失配，并且如果应用间预测，则改善编码效率。

存储器170的DPB可以存储修改后的重构图片，以便将修改的重构图片用作间预测器180中的参考图片。存储器170可以存储从其中已经导出(或编码)当前图片内的运动信息的块的运动信息，和/或已经重构的图片内的块的运动信息。所存储的运动信息可以被发送到间预测器180，以便用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片内的重构块的重构样本，并且可以将它们发送到内预测器185。

参考图2，解码装置200可以被配置成包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、间预测器260和内预测器265。间预测器260和内预测器265可以统称为预测器。即，预测器可以包括间预测器180和内预测器185。解量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括解量化器220和逆变换器230。熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、间预测器260和内预测器265可以被配置成根据实施例的一个硬件组件(例如，解码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以被配置有数字存储介质。

当输入包括视频/图像信息的比特流时，解码装置200可以根据图1的编码装置中的处理视频/图像信息的过程来重构图像。例如，解码装置200可以使用在编码装置中应用的处理单元来执行解码。因此，例如，用于解码的处理单元可以是编译单元。取决于四叉树结构和/或二叉树结构，可以从编译树单元或最大编译单元中分割出编译单元。此外，可以通过回放设备回放通过解码装置200解码并输出的重构的图像信号。

解码装置200可以以比特流形式接收由图1的编码装置输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过解析比特流来导出用于图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数哥伦布(Golomb)编码、CAVLC或CABAC的编译方法对比特流内的信息进行解码，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流接收与每个语法元素相对应的bin，可以使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在前一步骤中解码的符号/bin的信息来确定上下文模型，可以基于所确定的上下文模型来预测bin发生的概率，以及可以通过对bin执行算术解码来生成与每个语法元素的值相对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用用于下一个符号/bin的上下文模型而解码的符号/bin的信息来更新上下文模型。可以将在熵解码器2110中解码的信息之中的关于预测的信息提供给预测器(间预测器260和内预测器265)。与在熵解码器210中已经对其执行熵解码的残差值有关的参数信息，即，量化的变换系数，可以被输入到解量化器220。此外，在熵解码器210中解码的信息之中的关于滤波的信息可以被提供给滤波器240。同时，接收由编码装置输出的信号的接收器(未图示)可以进一步被配置成解码装置200的内部/外部元件，或者该接收器可以是熵解码器210的元件。

解量化器220可以对量化的变换系数解量化并输出变换系数。解量化器220可以以二维块形式重新排列量化的变换系数。在这种情况下，可以基于在编码装置中执行的系数扫描序列来执行重新排列。解量化器220可以使用量化参数(例如，量化步长大小信息)对量化的变换系数执行解量化，并且可以获得变换系数。

逆变换器230通过对变换系数进行逆变换来获得残差信号(残差块或残差样本阵列)。

预测器可以对当前块执行预测，并且可以生成包括用于当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定是否对当前块应用内预测或对当前块应于间预测，并且可以确定详细的内/间预测模式。

内预测器265可以参考当前图片内的样本来预测当前块。参考的样本可以被定位为邻近当前块或可以取决于预测模式与当前块隔开。在内预测中，预测模式可以包括多个非角度模式和多个角度模式。内预测器265可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

间预测器260可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性将运动信息预测为块、子块或样本单元。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括间预测方向(L0预测、L1预测、Bi预测)信息。在间预测的情况下，邻近块可以包括当前图片内的空间邻近块和参考图片内的时间邻近块。例如，间预测器260可以基于邻近块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行间预测。关于预测的信息可以包括指示针对当前块的间预测的模式的信息。

加法器235可以通过将获得的残差信号添加到由间预测器260或内预测器265输出的预测信号(预测块或预测样本阵列)来生成重构信号(重构图片、重构块或重构样本阵列)。如果在已应用跳过模式的情况下没有用于处理目标块的残差，则可以将预测块用作重构块。

加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的内预测，并且可以用于通过如稍后将描述的滤波进行的下一图片的间预测。

滤波器240可以通过将滤波应用于重构信号来改善主观/客观图片质量。例如，滤波器240可以通过将各种滤波方法应用于重构图片来生成修改后的重构图片，并且可以将修改后的重构图片发送到存储器250，特别是存储器250的DPB。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。

在存储器250的DPB中存储(修改)的重构图片可以用作间预测器260中的参考图片。存储器250可以存储从其中已经导出(或者解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。所存储的运动信息可以被发送到间预测器260，以便用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片内的重构块的重构样本，并且可以将它们发送到内预测器265。

在本公开中，在编码装置100的滤波器160、间预测器180和内预测器185中描述的实施例可以分别相同地或以对应的方式应用于解码装置200的滤波器240、间预测器260和内预测器265。

块分区

可以基于各种详细技术来执行根据本文档的视频/图像编译方法。每个详细技术示意性地描述如下。对于本领域的技术人员而言显而易见的是，以下技术可以与相关过程，诸如在已经描述和/或将在以后描述的视频/图像编码/解码过程中的预测、残差处理((逆)变换、(解)量化)、语法元素编译、滤波以及分区/划分相关联。

根据本文档的块分区过程可以在编码装置的图像划分器110中执行。可以在熵编码器190中对与分区有关的信息进行(编码)处理，并且以比特流的形式将其发送给解码装置。解码装置的熵解码器210可以基于从比特流获得的与分区相关的信息来导出当前图片的块分区结构，并且可以基于块分区结构执行一系列过程(例如，预测、残差处理、块重构和环路滤波)。

将图片分区成CTU

图片可以分区成一系列的编译树单元(CTU)。CTU可以对应于编译树块(CTB)。可替选地，CTU可以包括亮度样本的编译树块和对应的色度样本的两个编译树块。换句话说，对于包括三个样本阵列的图片，CTU可以包括亮度样本的N×N块和色度样本的两个对应块。

用于编译和预测的CTU的最大允许大小可能不同于用于变换的CTU的最大允许大小。例如，CTU内的亮度块的最大允许大小可以是128×128。

使用树结构对CTU进行分区

可以基于四叉树(QT)结构对CTU进行分区。四叉树结构可以被称为四元树结构。这是为了合并各种地方特色。同时，在本文中，可以基于除四叉树之外还包括二叉树(BT)和三叉树(TT)的多类型树结构划分来分区CTU。在下文中，QTBT结构可以包括基于四叉树和二叉树的分割结构。QTBTTT可以包括基于四叉树、二叉树和三叉树的分割结构。可替选地，QTBT结构可以包括基于四叉树、二叉树和三叉树的分割结构。在编译树结构中，CU可以具有正方形或矩形。CTU可以被分区为四叉树结构。此后，四叉树结构的叶节点可以被多类型树结构额外地分区。

在本公开的实施例中，多类型树结构可以包括4个分割类型，诸如图3中所图示的。这4个分割类型可以包括垂直二元分割SPLIT_BT_VER、水平二元分割SPLIT_BT_HOR、垂直三元分割SPLIT_TT_VER和水平三元分割SPLIT_TT_HOR。可以将多类型树结构的叶节点称为CU。这样的CU可以用于预测和变换过程。在本文档中，通常，CU、PU或TU可具有相同的块大小。在这种情况下，如果最大支持的变换长度小于CU的颜色分量的宽度或高度，则CU和TU可能具有不同的块大小。

在这种情况下，CTU被视为四叉树的根，并且首先被分区为四叉树结构。每个四叉树叶节点可以被进一步分区成多类型树结构。在多类型树结构中，用信号发送第一标记(例如，mtt_split_cu_flag)以指示是否附加地分区相应的节点。如果相应的节点被附加地分区，则可以用信号发送第二标记(例如，mtt_split_cu_verticla_flag)以指示分割方向。此后，可以用信号发送第三标记(例如，mtt_split_cu_binary_flag)以指示分割类型是二元分割还是三元分割。例如，可以基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag像表1一样导出CU的多类型树分割模式(MttSplitMode)。

[表1]

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
			SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
			SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

在这种情况下，粗体块边缘指示四叉树分区，并且其余边缘指示多类型树分区。具有多类型树的四叉树分区可以提供内容适配的编译树结构。CU可以对应于编译块(CB)。可替选地，CU可以包括亮度样本的编译块和对应的色度样本的两个编译块。在亮度样本单元中，CU的大小可以与CTU一样大，或者可以与4x4一样小。例如，在4:2:0颜色格式(或色度格式)的情况下，最大色度CB大小可以是64x64，并且最小色度CB大小可以是2x2。

例如，在本文档中，最大允许亮度TB大小可以为64x64，并且最大允许色度TB大小可以为32x32。如果基于树结构的CB分割的宽度或高度大于最大变换宽度或高度，则可以分割相应的CB，直到自动(或隐式)满足水平和垂直方向上的TB大小约束。

同时，对于具有多类型树的四叉树编译树方案，可以定义以下参数并将其识别为SPS语法元素。

-CTU大小：四叉树的根节点大小

-MinQTSize：允许的最小四叉树叶节点大小

-MaxBtSize：允许的最大二叉树根节点大小

-MaxTtSize：允许的最大三叉树根节点大小

-MaxMttDepth：从四叉树叶中分割出的多类型树的允许的最大层次深度

-MinBtSize：允许的最小二叉树叶节点大小

-MinTtSize：允许的最小三叉树叶节点大小

例如，在具有多类型树的四叉树编译树结构的情况下，可以将CTU大小设置为128x128个亮度样本和两个相应色度样本的64x64块(以4:2:0色度格式)。在这种情况下，可以将MinOTSize设置为16x16，可以将MaxBtSize设置为128x128，可以将MaxTtSzie设置为64x64，并且可以将MinBtSize和MinTtSize(用于宽度和高度)设置为4x4，并且可以将MaxMttDepth设置为4。可以将四叉树分区应用于CTU以生成四叉树叶节点。四叉树叶节点可以被称为叶QT节点。四叉树叶节点可以具有16x16的大小(即，MinOTSize)到128x128的大小(即，CTU大小)。如果叶QT节点为128x128，则可能不会附加地将其分割为二叉树/三叉树。这样做的原因是，尽管叶QT节点被分割，但其超过MaxBtsize和MaxTtszie(即，64x64)。在其他情况下，叶QT节点可以附加地分割为多类型树。因此，叶QT节点是用于多类型树的根节点，并且叶QT节点可以具有0的多类型树深度(mttDepth)值。如果多类型树深度达到MaxMttdepth(例如，4)，则可能不再考虑附加的分割方式。如果多类型树节点的宽度等于MinBtSize并且小于或等于2xMinTtSize，则可以不再考虑附加的水平分割。如果多类型树节点的高度等于MinBtSize并且小于或等于2xMinTtSize，则可以不再考虑附加的垂直划分。

参考图6，为了在硬件解码器中允许64x64亮度块和32x32色度管线设计，在特定情况下可以限制TT分割。例如，如果亮度编译块的宽度或高度大于预设的特定值(例如，32、64)，则如图6中所图示，可以限制TT分割。

在该文件中，编译树方案可以支持亮度和色度块具有单独的块树结构。关于P和B切片，一个CTU内的亮度和色度CTB可以被限制为具有相同的编译树结构。但是，对于I切片，亮度和色度块可能具有单独的块树结构。如果应用单独的块树模式，则可以基于特定的编译树结构将亮度CTB分割为CU。可以基于不同的编译树结构将色度CTB分割为色度CU。这可能意指，I切片内的CU可以配置有亮度分量的编译块或两个色度分量的编译块，而P或B切片内的CU可以配置有三个颜色分量的块。

在“使用树结构对CTU进行分区”中，已经描述了具有多类型树的四叉树编译树结构，但是其中CU被分割的结构不限于此。例如，可以将BT结构和TT结构解释为包括在多分区树(MPT)结构中的概念，并且可以将CU解释为通过QT结构和MPT结构被分割。在其中CU通过QT结构和MPT结构被分割的一个示例中，可以通过用信号发送包括指示QT结构的叶节点被分割为多少块的信息的语法元素(例如，MPT_split_type)，以及包括指示QT结构的叶节点在垂直方向和水平方向之一上被分割的信息的语法元素(例如，MPT_split_mode)来确定分区结构。

在另一示例中，可以使用与QT结构、BT结构或TT结构不同的方法来分割CU。即，与基于QT结构将较深深度的CU分割为较浅深度的CU的1/4大小、或基于BT结构将较深深度的CU分割为较浅深度的CU的1/2大小、或基于TT结构将较深深度的CU分割为较浅深度的CU的1/4或者1/2大小的情况不同，较深深度的CU可以分割为较浅深度的CU的1/5、1/3、3/8、3/5、2/3或5/8大小。分割CU的方法不限于此。

如果树节点块的一部分超过底部或右边图片边界，则可以限制对应的树节点块，使得所有编译CU的所有样本都位于图片边界内。在这种情况下，例如，可以应用以下划分规则。

-如果树节点块的一部分超过底部和右侧图片边界，

-如果该块是QT节点并且该块的大小大于最小QT大小，则迫使该块以QT分割模式进行分割。

-否则，迫使该块以SPLIT_BT_HOR模式进行分割

-否则，如果树节点块的一部分超出底部图片边界，

-如果该块是QT节点，并且该块的大小大于最小QT大小，并且该块的大小大于最大BT大小，则迫使该块以QT分割模式进行分割。

-否则，如果该块是QT节点，并且该块的大小大于最小QT大小，并且该块的大小小于或等于最大BT大小，则迫使该块以QT分割模式或SPLIT_BT_HOR模式进行分割。

-否则(该块是BTT节点，或者该块的大小小于或等于最小QT大小)，迫使该块以SPLIT_BT_HOR模式分割。

-否则，如果树节点块的一部分超出右侧图片边界，

-如果该块是QT节点，并且该块的大小大于最小QT大小，并且该块的大小大于最大BT大小，则迫使该块以QT分割模式分割。

-否则，如果该块是QT节点，并且该块的大小大于最小QT大小，并且该块的大小小于或等于最大BT大小，则迫使该块以QT分割模式或SPLIT_BT_VER模式分割。

-否则(该块是BTT节点，或者该块的大小小于或等于最小QT大小)，迫使该块以SPLIT_BT_VER模式分割。

同时，具有多类型树的四叉树编译块结构可以提供非常灵活的块分区结构。由于多类型树支持的分割类型，取决于不同的分割模式，可能潜在地获得相同的编译块结构结果。通过限制这种冗余分割模式的出现，可以减少分区信息的数据量。参考下面的附图对此进行描述。

如图7中所图示，在一个方向上的两个级别的连续二元分割具有与在三元分割之后用于中心分区的二元分割相同的编译块结构。在这种情况下，用于三叉树分割的中心分区的二叉树分割(在给定方向中)可能受到限制。这样的约束可以应用于所有图片的CU。如果这样的特定分割受到约束，则可以通过合并这种约束情况来修改相应语法元素的信令。因此，可以减少用于分区的用信号发送的比特数。例如，如图7中所图示的示例中一样，如果约束了用于CU的中心分区的二叉树分割，则不用信号发送指示是否分割是二元分割或三元分割的mtt_split_cu_binary_flag语法元素，并且解码器可以将对应的值推论为0。

预测

为了重构在其中执行解码的当前处理单元，可以使用包括当前处理单元的当前图片或其他图片的解码部分。

仅将当前图片用于重构的图片(切片)，即，仅对其执行帧内预测的图片(切片)可以称为内图片或I图片(切片)。为了预测每个单元而使用最多一种运动矢量和参考索引的图片(切片)可以被称为预测图片或P图片(切片)。最多使用两种运动矢量和参考索引的图片(切片)可以称为双向预测图片或B图片(切片)。

内预测意指从相同的解码图片(或切片)的数据元素(例如，采样值)导出当前处理块的预测方法。即，该方法意指参考当前图片内的重构区域来预测当前处理块的像素值的方法。

在下文中，更具体地描述间预测。

间预测(或帧间预测)

间预测意指基于除了当前图片之外的图片的数据元素(例如，样本值或运动矢量)来导出当前处理块的预测方法。即，该方法意指参考除了当前图片以外的其他重构图片内的重构区域来预测当前处理块的像素值的方法。

间预测(或图片间预测)是用于移除图片之间存在的冗余的技术，并且主要通过运动估计和运动补偿来执行。

本公开的实施例描述图1和图2中描述的间预测方法的详细技术。在解码器的情况下，可以通过图10的基于间预测的视频/图像解码方法和图11的解码装置内的间预测器来描述实施例。此外，在编码器的情况下，可以通过图8的基于间预测的视频/图像编码方法和图9的编码装置内的间预测器来描述实施例。此外，由图8和9编码的数据可以以比特流的形式存储。

编码装置/解码装置的预测器可以通过以块为单位执行间预测来导出预测样本。间预测可以指示使用依赖于除当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法导出的预测。如果间预测被应用于当前块，则可以基于由参考图片索引指示的参考图片上的由运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块(预测样本阵列)。

在这种情况下，为了减少在间预测模式中发送的运动信息的量，可以基于邻近块的运动信息和当前块的运动信息之间的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括间预测类型(L0预测、L1预测、Bi预测)信息。

如果间预测被应用，则邻近块可以包括当前图片内存在的空间邻近块和参考图片内存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为叫做共置参考块或共置CU(colCU)的名称。包括时间邻近块的参考图片可以被称为共置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表。可以用信号发送指示选择(使用)哪个候选以便导出当前块的运动矢量和/或参考图片索引的标记或索引信息。

可以基于各种预测模式来执行间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可能不会发送残差信号。在运动信息预测(运动矢量预测，MVP)模式的情况下，可以将所选择的邻近块的运动矢量用作运动矢量预测器，并且可以用信号发送运动矢量差。在这种情况下，可以使用运动矢量预测器和运动矢量差之和来导出当前块的运动矢量。

参考图8和9，S801可以由编码装置的间预测器180执行。S802可以由编码装置的残差处理器执行。具体地，可以由编码装置的减法器115执行S802。在S803中，预测信息可以由间预测器180导出并且可以由熵编码器190编码。在S803中，可以由残差处理器导出残差信息并且可以由熵编码器190编码残差信息。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的量化变换系数的信息。

如上所述，可以通过编码装置的变换器120将残差样本导出为变换系数。可以通过量化器130将变换系数导出为量化的变换系数。关于量化的变换系数的信息可以通过残差编译过程在熵编码器190中编码。

编码装置对当前块执行间预测(S801)。编码装置可以导出当前块的间预测模式和运动信息，并且可以生成当前块的预测样本。在这种情况下，可以同时执行间预测模式确定、运动信息导出和预测样本生成过程，并且任何一个过程可以在另一个过程之前被执行。例如，编码装置的间预测器180可以包括预测模式确定单元181、运动信息导出单元182和预测样本导出单元183。预测模式确定单元181可以确定用于当前块的预测模式。运动信息导出单元182可以导出用于当前块的运动信息。预测样本导出单元183可以导出当前块的运动样本。

例如，编码装置的间预测器180可以通过运动估计在参考图片的给定区域(搜索区域)中搜索与当前块相似的块，并且可以导出相对于当前块具有最小差或给定参考的差或更少的参考块。间预测器180可以基于参考块导出指示参考块位于其中的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差来导出运动矢量。编码装置可以在各种预测模式之中确定应用于当前块的模式。编码装置可以比较各种预测模式的RD成本，并且可以确定用于当前块的最佳预测模式。

例如，如果跳过模式或合并模式被应用于当前块，则编码装置可以配置稍后将描述的合并候选列表，并且可以导出由在合并候选列表中包括的合并候选所指示的参考块之中的相对于当前块具有最小差或给定参考差或者更小的参考块。在这种情况下，可以选择与导出的参考块相关联的合并候选。可以生成指示所选择的合并候选的合并索引信息，并将其用信号发送给解码装置。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。

对于另一个示例，如果(A)MVP模式被应用于当前块，则编码装置可以配置稍后将描述的(A)MVP候选列表，并且可以将在(A)MVP候选列表中包括的运动矢量预测器(mvp)候选之中选择的mvp候选的运动矢量用作当前块的mvp。在这种情况下，例如，指示通过运动估计导出的参考块的运动矢量可以用作当前块的运动矢量。在mvp候选之中，包括相对于当前块的运动矢量具有最小差的运动矢量的mvp候选可以成为所选择的mvp候选。可以导出运动矢量差(MVD)，即，通过从当前块的运动矢量减去mvp而获得的差。在这种情况下，可以将关于MVD的信息用信号发送给解码装置。此外，如果应用(A)MVP模式，则参考图片索引的值可以被配置为参考图片索引信息，并且可以被单独地用信号发送给解码装置。

编码装置可以基于预测样本来导出残差样本(S802)。编码装置可以通过当前块的原始样本与预测样本之间的比较来导出残差样本。

编码装置对包括预测信息和残差信息的图像信息进行编码(S803)。编码装置可以以比特流形式输出编码的图像信息。预测信息可以包括关于预测模式信息的信息(例如，跳过标记、合并标记或模式索引)和运动信息，作为与预测过程有关的信息。与运动信息有关的信息可以包括候选选择信息(例如，合并索引、mvp标记或mvp索引)，即，用于导出运动矢量的信息。此外，与运动信息有关的信息可以包括关于MVD的信息和/或参考图片索引信息。

此外，与运动信息有关的信息可以包括指示L0预测、L1预测或双向预测(bi-prediction)是否被应用的信息。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的量化变换系数的信息。

输出比特流可以被存储在(数字)存储介质中并且被发送到解码装置，或者可以通过网络被发送到解码装置。

同时，如上所述，编码装置可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了在编码装置中导出与在解码装置中执行的预测结果相同的预测结果。因此，可以改善编译效率。因此，编码装置可以将重构图片(或重构样本和重构块)存储在存储器中，并且可以将重构图片用作用于间预测的参考图片。如上所述，可以将环路滤波过程进一步应用于重构的图片。

参考图10和图11，解码装置可以执行与在编码装置中执行的操作相对应的操作。解码装置可以基于接收到的预测信息对当前块执行预测，并且可以导出预测样本。

可以由解码装置的间预测器260执行S1001至S1003。S1004中的残差信息可以由解码装置的熵解码器210从比特流获得。解码装置的残差处理器可以基于残差信息来导出当前块的残差样本。具体地，残差处理器的解量化器220可以通过基于在残差信息的基础上导出的量化的变换系数执行解量化来导出变换系数。残差处理器的逆变换器230可以通过对变换系数执行逆变换来导出当前块的残差样本。S1005可以由解码装置的加法器235或重构器执行。

具体地，解码装置可以基于接收到的预测信息来确定当前块的预测模式(S1001)。解码装置可以基于预测信息内的预测模式信息来确定哪种间预测模式被应用于当前块。

例如，解码装置可以基于合并标记来确定是否合并模式或(A)MVP模式被应用于当前块。可替选地，解码装置可以基于模式索引来选择各种间预测模式候选之一。间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括稍后将描述的各种间预测模式。

解码装置基于所确定的间预测模式来导出当前块的运动信息(S1002)。例如，如果跳过模式或合并模式被应用于当前块，则解码装置可以配置稍后将描述的合并候选列表，并且选择包括在合并候选列表中的合并候选之一。可以基于选择信息(合并索引)来执行选择。可以基于所选择的合并候选的运动信息来导出当前块的运动信息。所选择的合并候选的运动信息可以用作当前块的运动信息。

对于另一个示例，如果(A)MVP模式被应用于当前块，则解码装置可以配置稍后将描述的(A)MVP候选列表，并且可以将在(A)MVP候选列表中包括的运动矢量预测器(mvp)候选之中选择的mvp候选的运动矢量用作当前块的mvp。可以基于选择信息(mvp标记或mvp索引)来执行选择。在这种情况下，解码装置可以基于关于MVD的信息来导出当前块的MVD。解码装置可以基于当前块的mvp和MVD来导出当前块的运动矢量。此外，解码装置可以基于参考图片索引信息来导出当前块的参考图片索引。关于当前块的参考图片列表内的由参考图片索引指示的图片可以被导出作为被参考用于当前块的间预测的参考图片。

同时，如稍后将描述的，可以在没有候选列表配置的情况下导出当前块的运动信息。在这种情况下，可以根据在稍后描述的预测模式中公开的过程来导出当前块的运动信息。在这种情况下，可以省略诸如上述的候选列表配置。

解码装置可以基于当前块的运动信息来生成当前块的预测样本(S1003)。在这种情况下，解码装置可以基于当前块的参考图片索引来导出参考图片，并且可以通过当前块的运动矢量来导出参考图片上指示的当前块的预测样本。在这种情况下，如稍后将描述的，可以根据情况对当前块的一些或所有预测样本进一步执行预测样本滤波过程。

例如，解码装置的间预测器260可以包括预测模式确定单元261、运动信息导出单元262和预测样本导出单元263。解码装置可以基于从预测模式确定单元261接收的预测模式信息来确定当前块的预测模式，可以基于与从运动信息导出单元262接收的运动信息有关的信息来导出当前块的运动信息(运动矢量和/或参考图片索引)。预测样本导出单元263可以导出当前块的预测样本。

解码装置基于接收到的残差信息来生成当前块的残差样本(S1004)。解码装置可以基于预测样本和残差样本来生成当前块的重构样本，并且可以基于重构样本来生成重构图片(S1005)。此后，如上所述，可以将环路滤波过程进一步应用于重构的图片。

如上所述，间预测过程可以包括间预测模式确定步骤、根据所确定的预测模式的运动信息导出步骤、以及基于导出的运动信息的预测执行(预测样本生成)步骤。

间预测模式的确定

各种间预测模式可以被用于图片内的当前块的预测。例如，可以使用各种模式，诸如合并模式、跳过模式、MVP模式和仿射模式。解码器侧运动矢量细化(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等可以进一步被用作附加模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动矢量预测(AMVP)模式。

指示当前块的间预测模式的预测模式信息可以从编码装置用信号发送到解码装置。预测模式信息可以被包括在比特流中并且由解码装置接收。预测模式信息可以包括指示多个候选模式之一的索引信息。可替选地，可以通过标记信息的分层信令来指示间预测模式。在这种情况下，预测模式信息可以包括一个或多个标记。

例如，可以进一步用信号发送标记，以便通过用信号发送跳过标记来指示跳过模式是否被应用，如果跳过模式不被应用，则通过用信号发送合并标记来指示合并模式是否被应用，并且如果合并模式不被应用或用于附加识别，则指示MVP模式被应用。仿射模式可以作为独立模式被用信号发送，或者可以作为依赖于合并模式或MVP模式的模式被用信号发送。例如，仿射模式可以被配置为合并候选列表或MVP候选列表之一，如稍后将描述的。

根据间预测模式导出运动信息

可以使用当前块的运动信息来执行间预测。编码装置可以根据运动估计过程来导出用于当前块的最佳运动信息。例如，编码装置可以在参考图片内的所确定的搜索范围内以分数像素为单位使用用于当前块的原始图片内的原始块来搜索具有相似相关性的参考块。因此，编码装置可以导出运动信息。可以在基于相位的样本值之间的差的基础上导出块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD来计算块的相似度。在这种情况下，可以基于在搜索区域内具有最小SAD的参考块来导出运动信息。可以使用基于间预测模式的数种方法，将导出的运动信息用信号发送给解码装置。

合并模式和跳过模式

如果合并模式被应用，则不直接发送当前预测块的运动信息，并且使用邻近预测块的运动信息来导出当前预测块的运动信息。因此，可以通过发送标记信息以通知已经使用合并模式并且发送合并索引以通知已经使用哪个邻近预测块来指示当前预测块的运动信息。

在本公开的实施例中，

在本公开的实施例中，编码器可以搜索用于导出当前预测块的运动信息的合并候选块以便执行合并模式。例如，可以使用最多高达5个合并候选块，但是本公开不限于此。此外，可以在切片报头(或瓦片(tile)组报头)中发送最大数量的合并候选块，并且本公开不限于此。在搜索合并候选块之后，编码器可以生成合并候选列表，并且可以在合并候选块之中选择具有最小成本的合并候选块作为最终合并候选块。

本公开的实施例提供构造合并候选列表的合并候选块的各种实施例。

例如，合并候选列表可以使用5个合并候选块。例如，可以使用4个空间合并候选和1个时间合并候选。对于详细的示例，在空间合并候选的情况下，图12中所图示的块可以被用作空间合并候选。

参考图13，编译装置(编码器/解码器)搜索当前块的空间邻近块，并且将导出的空间合并候选插入到合并候选列表中(S1301)。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。在这种情况下，这是示例，并且除了空间邻近块之外，还可以将诸如右邻近块、下邻近块和右下邻近块的附加邻近块进一步用作空间邻近块。编译装置可以通过基于优先级搜索空间邻近块来检测可用块，并且可以导出检测到的块的运动信息作为空间合并候选。例如，编码器和解码器可以搜索按照A1、B1、B0、A0和B2的顺序图12中所图示的5个块，并且可以通过对可用候选进行顺序地索引来配置合并候选列表。

编译装置搜索当前块的时间邻近块，并将导出的时间合并候选插入到合并候选列表中(S1302)。时间邻近块可以位于参考图片上，即，与当前块所位于的当前图片不同的图片上。时间邻近块所位于的参考图片可以被称为共置图片或col图片。可以按照针对col图片上的当前块的共置块的右下角邻近块和右下中心块的顺序来搜索时间邻近块。

同时，如果运动数据压缩被应用，则特定运动信息可以作为代表性运动信息针对每个给定存储单元被存储在col图片中。在这种情况下，不必在给定存储单元内存储用于所有块的运动信息，并且因此可以获得运动数据压缩效果。在这种情况下，给定存储单元可以被预先确定为例如16×16样本单元或8×8样本单元，或者用于给定存储单元的尺寸信息可以从编码器用信号发送到解码器。如果运动数据压缩被应用，则可以用时间邻近块位于其中的给定存储单元的代表性运动信息来替换时间邻近块的运动信息。

即，在这种情况下，在一种实现方式中，不是基于时间邻近块的坐标所位于的预测块，而是基于在时间邻近块的坐标(左上样本位置)的基础上通过给定值来执行算术右移之后，覆盖算术左移位置的预测块的运动信息来导出时间合并候选。例如，如果给定的存储单元是2nx2n样本单元，假设时间邻近块的坐标是(xTnb,yTnb)，则位于((xTnb>>n)<<n),(yTnb>>n)<<n))，即，修改的位置的预测块的运动信息可以被用于时间合并候选。

具体地，例如，如果给定的存储单元是16x16样本单元，假设时间邻近块的坐标是(xTnb,yTnb)，则位于((xTnb>>4)<<4),(yTnb>>4)<<4))，即，修改后的位置的预测块的运动信息可以被用于时间合并候选。可替选地，例如，如果给定的存储单元是8×8样本单元，假设时间邻近块的坐标是(xTnb,yTnb)，则位于((xTnb>>3)<<3),(yTnb>>3)<<3))，即，修改后的位置的预测块的运动信息可以被用于时间合并候选。

编译装置可以检查当前合并候选的数量是否小于最大合并候选的数量(S1303)。最大合并候选的数量可以是预先定义的，或者可以从编码器用信号发送到解码器。例如，编码器可以生成关于最大合并候选的数量的信息，可以对该信息进行编码，并且可以以比特流形式将信息发送到解码器。如果填满了最大合并候选的数量，则可能不会执行候选添加过程。

如果作为检查的结果，当前合并候选的数量小于最大合并候选的数量，则编码装置将添加的合并候选插入到合并候选列表中(S1304)。例如，添加的合并候选可以包括ATMVP、组合的双向预测合并候选(如果当前切片的切片类型是B类型)和/或零矢量合并候选。

如果作为检查的结果，当前合并候选的数量不小于最大合并候选的数量，则编译装置可以终止合并候选列表的配置。在这种情况下，编码器可以基于率失真(RD)成本在构成合并候选列表的合并候选之中选择最佳合并候选，并且可以向解码器用信号发送指示所选择的合并候选的选择信息(例如，合并索引)。解码器可以基于合并候选列表和选择信息来选择最佳合并候选。

所选择的合并候选的运动信息可以用作当前块的运动信息。如上所述，可以基于当前块的运动信息来导出当前块的预测样本。编码器可以基于预测样本来导出当前块的残差样本，并且可以向解码器用信号发送与残差样本有关的残差信息。解码器可以在基于残差信息和预测样本导出的残差样本的基础上生成重构样本。如上所述，解码器可以基于重构的样本来生成重构的图片。

如果跳过模式被应用，则可以使用与应用合并模式相同的方法来导出当前块的运动信息。在这种情况下，如果跳过模式被应用，则省略对应块的残差信号。因此，预测样本可以直接用作重构样本。

MVP模式

如果运动矢量预测(MVP)模式被应用，则可以基于重构的空间邻近块(例如，图12中描述的邻近块)的运动矢量和/或与时间邻近块(或Col块)相对应的运动矢量来生成运动矢量预测器(mvp)候选列表。即，重构的空间邻近块的运动矢量和/或时间邻近块的运动矢量可以被用作运动矢量预测器候选。

关于预测的信息可以包括指示在列表中包括的运动矢量预测器候选中选择的最佳运动矢量预测器候选的选择信息(例如，MVP标记或MVP索引)。在这种情况下，预测器可以使用选择信息在运动矢量候选列表中包括的运动矢量预测器候选之中选择当前块的运动矢量预测器。编码装置的预测器可以计算当前块的运动矢量和运动矢量预测器之间的运动矢量差(MVD)，可以对MVD进行编码，并且可以以比特流形式输出编码的MVD。即，可以将MVD计算为通过从当前块的运动矢量减去运动矢量预测值而获得的值。在这种情况下，解码装置的预测器可以获取关于预测的信息中包括的运动矢量差，并且可以通过将运动矢量差和运动矢量预测器相加来导出当前块的运动矢量。解码装置的预测器可以从关于预测的信息获得或导出指示参考图片的参考图片索引。例如，运动矢量预测器候选列表可以被配置为如图14中所图示。

仿射运动预测

图15图示根据本公开的实施例的运动模型的示例。

在常规的图像压缩技术(例如，高效视频编译(HEVC))中，一个运动矢量用于表示编码块的运动。尽管可以使用针对每个块使用一个运动矢量的方法来表示块单元的最佳运动，但是它可能不是每个图片元素的实际最佳运动。因此，如果以图片元素为单位确定最佳运动矢量，则可以增加编码效率。因此，本公开的实施例描述使用多运动模型对视频信号进行编码或解码的运动预测方法。特别地，可以使用在2至4个控制点处的运动矢量在以块的每个图片元素单位或子块单位来表示运动矢量。使用多个控制点的运动矢量的预测方案可以被称为仿射运动预测或仿射预测。

根据本公开的实施例的仿射运动模型可以表示4个运动模型，诸如图15所图示的那些。表示可以由仿射运动模型表示的运动之中的三种运动(平移、缩放和旋转)的仿射运动模型被称为相似性(或简化)仿射运动模型。在描述本公开的实施例中，为了描述的方便，基本上描述了相似性(或简化)仿射运动模型，但是本公开不限于此。

图16图示根据本公开的实施例的用于仿射运动预测的控制点运动矢量的示例。

如在图16中，在仿射运动预测中，可以使用两个控制点运动矢量(CPMV)对v_0和v_1来确定块中包括的图片元素位置(或子块)的运动矢量。在这种情况下，运动矢量的集合可以被称为仿射运动矢量场(MVF)。在这种情况下，可以使用等式1来确定仿射运动矢量场。

[等式1]

在等式1中，v_0(v_0＝{v_0x，v_0y})指示当前块1300的左上位置的第一控制点处的运动矢量CPMV0。v_1(v_1＝{v_1x，v_1y})指示在当前块1300的右上位置的第二控制点处的运动矢量CPMV1。此外，w指示当前块1300的宽度。v(v＝{v_x，v_y})指示在{x,y}位置处的运动矢量。可以使用等式1导出子块(或图片元素)单位的运动矢量。在一个实施例中，运动矢量精度可以取整为1/16精度。

参考图17，在编码或解码过程中，可以以图片元素为单位或以块为单位来确定仿射运动矢量场(MVF)。即，在仿射运动预测中，当前块的运动矢量可以以图片元素为单位或以子块为单位导出。

如果以图片元素为单位确定仿射运动矢量场，则可以基于每个图片元素值来获得运动矢量。在以块为单位的情况下，可以基于块的中心图片元素值来获得对应块的运动矢量。在该文档中，假定如图17以4*4块为单位确定仿射运动矢量场(MVF)。在这种情况下，这是为了便于描述，并且本公开的实施例不限于此。图17图示以16*16个样本配置编码块并且以4*4大小的块为单位确定仿射运动矢量场(MVF)的情况的示例。

仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射间模式(或AF_INTER)。AF_INTER模式可以包括使用基于4参数的运动模型的AF_4_INTER模式和使用基于6参数的运动模型的AF_6_INTER模式。

仿射合并模式

AF_MERGE基于被编译为仿射运动预测的邻近块的仿射运动模型，确定控制点运动矢量(CPMV)。在搜索顺序中仿射编译的邻近块可以用于AF_MERGE。当一个或多个邻近块被编译为仿射运动预测时，当前块可以被编译为AF_MERGE。

也就是说，如果仿射合并模式被应用，则可以使用邻近块的CPMV来导出当前块的CPMV。在这种情况下，可以在没有任何改变的情况下将邻近块的CPMV用作当前块的CPMV，并且可以基于邻近块的大小和当前块的大小来修改邻近块的CPMV并且可以用作当前块的CPMV。

在仿射合并(AF_MERGE)模式中，编码器可以执行如以下过程中的编码。

步骤1：按字母的顺序扫描当前编码块1800的邻近块A至E 1810、1820、1830、1840和1850，并且将基于扫描顺序首先根据仿射预测模式被编码的块确定为仿射合并的候选块(AF_MERGE)

步骤2：使用确定的候选块的控制点运动矢量(CPMV)来确定仿射运动模型

步骤3：基于候选块的仿射运动模型确定当前块1800的控制点运动矢量(CPMV)，并确定当前块1800的MVF

图19图示使用已经对其应用了根据本公开的实施例的仿射运动预测的邻近块在其上执行仿射运动预测的块的示例。

例如，如在图19中，如果已经根据仿射模式对块A 1920进行了编码，在将块A 1920确定为候选块之后，可以使用块A 1920的控制点运动矢量(CPMV)(例如，v2和v3)来导出仿射运动模型，并且可以确定当前块1900的控制点运动矢量(CPMV)v0和v1。可以基于当前块1900的控制点运动矢量(CPMV)来确定当前块1900的仿射运动矢量场(MVF)，并且可以执行编码。

图20是用于描述根据本公开的实施例的使用邻近仿射编译块生成合并候选列表的方法的图。

参考图20，如果使用仿射合并候选确定CPMV对，则诸如图20中所图示的那些的候选可以被使用。在图20中，假定候选列表的扫描顺序已经被设置为A、B、C、D和E。在这种情况下，本公开不限于此，并且可以预设各种顺序。

在实施例中，如果根据在邻近块(即，A、B、C、D、E)中可用的仿射模式(或仿射预测)编码的候选(以下称为仿射候选)的数量为0时，可以跳过当前块的仿射合并模式。如果可用仿射候选的数量是一个(例如，A)，则可以使用对应候选的运动模型来导出当前块的控制点运动矢量(CPMV_0和CPMV_1)。在这种情况下，可能不需要(或编译)指示相应候选的索引。如果可用仿射候选的数量是两个或更多，则可以将扫描顺序上的两个候选配置为AF_MERGE的候选列表。在这种情况下，可以用信号发送诸如指示在候选列表内选择的候选的索引的候选选择信息。选择信息可以是标记或索引信息，并且可以被称为AF_MERGE_flag或AF_merge_idx。

在本公开的实施例中，可以基于子块的大小来执行用于当前块的运动补偿。在这种情况下，导出仿射块(即，当前块)的子块大小。如果子块的宽度和高度中的每个都大于4个亮度样本，则可以导出每个子块的运动矢量，并且可以对子块执行基于DCT-IF的运动补偿(针对亮度的1/16像素和针对色度的1/32)。如果不是，则可以对所有仿射块执行基于增强型双线性内插滤波器的运动补偿。

在本公开的实施例中，如果合并/跳过标记为真并且CU的宽度和高度均大于或等于8，则在CU级别中，通过指示仿射合并模式是否被使用的比特流用信号发送仿射标记。当CU被编译为AF_MERGE时，具有最大值“5”的合并候选索引被用信号发送以指定运动信息候选被用于仿射合并候选列表中的CU。

图21和图22是用于描述根据本公开的实施例的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的图。

参考图21，通过以下步骤配置仿射合并候选列表。

1)插入基于模型的仿射候选

基于模型的仿射候选意指从根据仿射模式编译的有效邻近重构块导出候选。如图21中所图示，候选块的扫描顺序为从左A、上B、右上C和左下D至左上E。

如果以6参数仿射模式对邻近的左下块A进行编译，则包括块A的CU的左上角、右上角和左下角的运动矢量(v_4、v_5、v_6)被获得。基于根据6参数仿射模型的运动矢量(v_4、v_5和v_6)计算当前块的左上角的运动矢量(v_0、v_1、v_2)。

如果以4参数仿射模式对邻近的左下块A进行编译，则获得包括块A的CU的左上角和右上角的运动矢量(v_4，v_5)。基于根据四参数仿射模型的运动矢量(v_4，v_5)计算当前块上的左上角的运动矢量(v_0，v_1)。

2)插入基于控制点的仿射候选

参考图21，基于控制点的候选意指通过组合控制点的邻近运动信息来配置候选。

首先，从图21所图示的指定的空间邻近块和时间邻近块导出控制点的运动信息。CP_k(k＝1、2、3、4)指示第k个控制点。此外，A、B、C、D、E、F和G是用于预测CP_k的空间位置(k＝1，2，3)，而H是用于预测CP4的时间位置。

CP_1、CP_2、CP_3和CP_4的坐标分别为(0，0)、(W，0)、(H，0)和(W，H)。在这种情况下，W和H是当前块的宽度和高度。

基于以下优先级获得每个控制点的运动信息。

关于CP_1，检查优先级为A→B→C，并且如果A可用，则使用A。如果不可用，并且如果B可用，则使用B。如果A和B都不可用，则使用C。如果三个候选都不可用，则无法获得CP_1的运动信息。

关于CP_2，检查优先级是E→D。

关于CP_3，检查优先级为G→F。

关于CP_4，使用H。

第二，控制点的组合用于配置运动模型。

两个控制点的运动矢量对于计算4参数仿射模型中的变换参数是必需的。可以从以下六个组合{CP_1，CP_4}、{CP_2，CP_3}、{CP_1，CP_2}、{CP_2，CP_4}、{CP_1，CP_3}和{CP_3，CP_4}之一中选择两个控制点。例如，在构造4参数仿射运动模型时使用CP_1和CP_2控制点被标记为“仿射(CP_1，CP_2)”。

三个控制点的运动矢量对于计算6参数仿射模型中的变换参数是必需的。可以从以下四个组合{CP_1，CP_2，CP_4}、{CP_1，CP_2，CP_3}、{CP_2，CP_3，CP_4}和{CP_1，CP_3，CP_4}之一中选择三个控制点。例如，在构造6参数仿射运动模型时使用CP_1、CP_2和CPv3控制点被标记为“仿射(CP_1，CP_2，CP_3)”。

此外，在本公开的实施例中，如果仿射合并候选在仿射合并模式下存在，则这可以总是被认为是6参数仿射模式。

仿射间模式

图23图示根据本公开的实施例的在仿射间模式下用于仿射运动预测的邻近块的示例。

参考图23，仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射间模式(或AF_INTER)。在仿射间模式(AF_INTER)中，在确定两个控制点运动矢量预测(CPMVP)和CPMV之后，可以将与差相对应的控制点运动矢量差(CPMVD)从编码器发送到解码器。仿射间模式(AF_INTER)的详细编码处理可以与以下描述的相同。

步骤1：确定两个CPMVP对候选

步骤1.1：确定最多12个CPMVP候选组合(请参见等式2)

[等式2]

{(v₀，v₁，v₂)|v₀＝{v_A，v_B，v_c}，v₁＝{v_D，v_E)，v₂＝{v_F，v_G}}

在等式2中，v_0指示当前块2300的左上控制点2310处的运动矢量CPMV0。v_1指示当前块2300的右上控制点2311处的运动矢量CPMV1。v_2指示在当前块2300的左下侧的控制点2312处的运动矢量CPMV2。v_A指示邻近当前块2300的左上控制点2310的左上方的邻近块A 2320的运动矢量。v_B指示邻近当前块2300的左上控制点2310的顶部的邻近块B 2322的运动矢量。v_C指示邻近当前块2300的左上控制点2310的左侧的邻近块C 2324的运动矢量。v_D是邻近当前块2300的右上控制点2311的顶部的邻近块D 2326的运动矢量。v_E指示邻近当前块的右上控制点2311的右上的邻近块E 2328的运动矢量。v_F指示邻近当前块2300的左下控制点2312的左侧的邻近块F 2330的运动矢量。v_G指示邻近当前块2300的左下控制点2312的左侧的邻近块G 2332的运动矢量。

步骤1.2：基于具有小的差值(DV)的值对CPMVP候选组合进行排序，并使用前两个候选(请参考下面的等式3)

[等式3]

DV＝|(v_1x-v_0x)*h-(v_2y-v_0y)*w|+|(v_1y-v_0y)*h+(v_2x-v_0x)*w|

v_0x指示当前块2300的左上控制点2310处的运动矢量(V0或CPMV0)的x轴元素。v_1x指示当前块2300的右上控制点2311的运动矢量(V1或CPMV1)的x轴元素。v_2x指示当前块2300的左下控制点2312的运动矢量(V_2或CPMV_2)的x轴元素。v_0y指示当前块2300的左上控制点2310处的运动矢量(V_0或CPMV_0)的y轴元素。v_1y指示在当前块2300的右上控制点2311处的运动矢量(V_1或CPMV_1)的y轴元素。v_2y指示在当前块2300的左下控制点2312处的运动矢量(V_2或CPMV_2)的y轴元素。w指示当前块2300的宽度。h指示当前块2300的高度。

步骤2：当控制点运动矢量预测器(CPMVP)对候选小于2时，使用AMVP候选列表

步骤3：确定两个候选中每个候选的控制点运动矢量预测器(CPMVP)，并通过比较RD成本和CPMV最佳地选择具有较小值的候选

步骤4：发送对应于最佳候选的索引和控制点运动矢量差(CPMVD)

在本公开的实施例中，提供一种在AF_INTER中构造CPMVP候选的过程。与AMVP相同，候选的数量为2，并用信号发送指示候选列表位置的索引。

构造CPMVP候选列表的过程如下。

1)通过扫描邻近块来检查邻近块是否被编译为仿射运动预测。

如果扫描的块被编译为仿射预测，则从所扫描的邻近块的仿射运动模型导出当前块的运动矢量对，直到候选数量变为2。

2)如果候选数量小于2，则执行候选配置过程。此外，在本公开的实施例中，使用4参数(2控制点)仿射间模式来预测放大/缩小和旋转的运动模型和内容。如图16中所图示，通过两个控制点运动矢量来描述块的仿射运动场。

通过上述等式1描述块的运动矢量场(MVF)。

在常规技术中，高级运动矢量预测(AMVP)模式对于扫描运动矢量预测(MVP)索引和运动矢量差(MVD)是必需的。当AMVP模式被应用于本公开时，仿射标记(affine_flag)被用信号发送以指示仿射预测是否被使用。如果仿射预测被应用，则用信号发送inter_dir、ref_idx、mvp_index和两个MVD(mvd_x和mvd_y)的语法。生成包括两个仿射MVP对的仿射MVP对候选列表。用信号发送的mvp_index被用于选择两个仿射MVP对之一。仿射MVP对由两种类型的仿射MVP候选生成。一个是空间继承的仿射候选，并且另一个是角导出的仿射候选。如果以仿射模式对邻近的CU进行编译，则可以生成空间继承的仿射候选。邻近仿射编译块的仿射运动模型被用于生成2控制点MVP对的运动矢量。使用以下等式导出空间继承的仿射候选的2控制点MVP对的MV。

[等式4]

V_0x＝V_B0x+(V_{B2_x}-V_B0x)＊(posCurCU_Y-posRefCU_Y)/RefCU_height+(V_B1x-V_BOx)＊(posCurCU_X-posRefCU_X)/RefCU_width

[等式5]

V_0y＝V_B0y+(V_{B2_y}-V_B0y)＊(posCurCU_Y-posRefCU_Y)/RefCU_height+(V_B1y-V_B0y)＊(posCurCU_X-posRefCU_X)/RefCU_width

如果V_B0、V_B1和V_B2可以替换为给定参考/邻近CU的左上MV、右上MV和左下MV，则(posCurCU_X，posCurCU_Y)是针对帧的左上样本的当前CU的左上样本的位置。(posRefCU_X，posRefCU_Y)是针对帧的左上样本的参考/邻近CU的左上样本的位置。

[等式6]

V_1x＝V_B0x+(V_B1x-V_B0x)＊CU_width/RefCU_width

[等式7]

V_1y＝V_B0y+(V_B1y-V_B0y)＊CU_width/RefCU_width

参考图24，当MVP对的数目小于2时，使用角导出的仿射候选。如图24中所图示，邻近运动矢量用于导出仿射MVP对。关于第一角导出的仿射候选，集合A(A0、A1和A2)中的第一可用MV和集合B(B0和B1)中的第一可用MV用于配置第一MVP对。关于第二角导出的仿射候选，集合A中的第一可用MV和集合C(C0和C1)中的第一可用MV用于计算右上控制点的MV。集合A中的第一可用MV和计算出的右上控制点MV是第二MVP对。

在本公开的实施例中，包括两个(三个)候选{mv_0，mv_1}({mv_0，mv_1，mv_2)的两个候选集被用于预测仿射运动模型的两个(三个)控制点。使用以下等式计算给定的运动矢量差(mvd_0，mvd_1，mvd_2)和控制点。

[等式8]

在仿射候选列表中，仿射运动从空间邻近块(外插仿射候选)扩展，并且仿射候选列表由来自空间邻近块(虚拟仿射候选)的运动矢量的组合附加。候选集设置如下：

1.从邻近块的仿射运动导出最多两个不同的仿射MV预测器集。如图25中所图示，检查邻近块A0、A1、B0、B1和B2。如果邻近块由仿射运动模型编码并且对应的参考帧与当前块的参考帧相同，则当前块的两个控制点(针对4参数仿射模型)或当前块的三个控制点(针对6参数仿射模型)是从邻近块的仿射模型导出的。

2.图29图示用于生成虚拟仿射候选集的邻近块。邻近的MV被划分为三组：S_0＝{mv_A，mv_B，mv_C}、S_1＝{mv_D，mv_E}和S_2＝{mv_F，mv_G}。mv_0是参考与S0中当前块的参考图片相同的参考图片的第一MV。mv_2是参考与S1中当前块的参考图片相同的参考图片的第一MV。

如果给出mv_0和mv_1，则可以通过下面的等式9导出mv_2。

[等式9]

在等式9中，当前块大小为WxH。

如果仅给出mv_0和mv_2，则可以通过下面的等式10导出mv_1。

[等式10]

在本公开的实施例中，可以根据以下序列来执行仿射间预测。

输入：仿射运动参数，参考图片样本

输出：CU的预测块

过程

-导出仿射块的子块大小

-如果子块的宽度和高度均大于4亮度样本，

-关于每个子块，

-导出子块的运动矢量

-对子块，基于DCT-IF来执行运动补偿(针对亮度1/16画素(pel)，并且针对色度1/32画素)(调用)

-如果否，则对所有仿射块，基于增强型双线性内插滤波器来执行(调用)补偿

此外，在本公开的实施例中，如果合并/跳过标记为假并且CU的宽度和高度大于或等于8，则在CU级别中仿射标记被用信号发送以指示仿射间模式是否将被使用。如果CU以仿射间模式被编译，则用信号发送模型标记以便指示4参数仿射模型或者6参数仿射模型是否被应用于CU。如果模型标记为真，则应用AF_6_INTER模式(6参数仿射模型)并解析MVD。如果不是，则应用AF_4_INTER模式(4参数仿射模型)，并解析两个MVD。

在AF_4_INTER模式中，类似于仿射合并模式，从由仿射模式编译的邻近块中外插的运动矢量对被生成并且优先地插入候选列表中。

此后，如果候选列表的大小小于4，则使用邻近块生成具有运动矢量对{(v_0，v_1)|v0＝{v_A，v_B，v_c}，v_1＝{v_D，v_E}}的候选。如图22中所图示，从块A、B和C的运动矢量中选择v_0。基于参考列表、用于参考该邻近块的POC、用于参考当前CU的POC以及当前CU之间的关系来缩放来自邻近块的运动矢量。此外，从邻近块D和E中选择v_1的方法是相似的。当候选列表大于4时，首先基于邻近运动矢量(类似于候选对中的两种运动矢量)的一致性对候选排序，并且保留前4个候选。

如果候选列表的数量小于4，则由通过复制AMVP候选的运动矢量对来填充列表。

在AF_6_INTER模式中，类似于仿射合并模式，从以仿射合并模式编译的邻近块外插的运动矢量三元组(仿射运动矢量三元组)被生成并优先地插入候选列表中。

此后，当候选列表的大小小于4时，使用邻近块生成包括运动矢量三元组{(v_0,v_1,v_2)|v0＝{v_A,v_B,v_c},v1＝{v_D,v_E},v2＝{v_G,v_H}}的候选。如图22中所图示，从块A、B或C的运动矢量中选择v_0。基于参考列表、用于参考该邻近块的POC、用于参考当前CU的POC以及当前CU之间的关系来缩放来自邻近块的运动矢量。此外，从邻近块D和E中选择v_1的方法与从F和G中选择v_2相似。当候选列表大于4时，将基于邻近运动矢量的一致性对候选进行排序(类似于三个候选中的两个运动矢量)，并保留前4个候选。

当候选列表的数量小于4时，可以由通过复制相应的AMVP候选的配置的运动矢量三元组来填充列表。

在导出当前CU的CPMV之后，基于仿射参数的数量，根据针对4参数仿射模型的等式11来生成当前CU的MVF，并且根据针对6参数仿射模型的等式12来生成当前CU的MVF。

[等式11]

[等式12]

在这种情况下，在等式13中导出子块大小MxN，并且MvPre是运动矢量部分精度(1/16)。

[等式13]

通过等式12导出之后，如有必要，M和N需要下调，以便使其成为w和h的分母。当M或N小于8时，应用WIF。如果不是，则应用基于子块的仿射运动补偿。

参考图27，为了导出每个M×N子块的运动矢量，诸如在图27中所图示的每个子块的中心样本的运动矢量根据等式11或等式12被计算，并以1/16的部分精度四舍五入。SHVC上采样内插滤波器用于使用导出的运动矢量生成每个子块的预测。

具有与HEVC运动补偿内插滤波器相同的滤波器长度和归一化因子的SHVC上采样内插滤波器可以用作用于附加分数像素位置的运动补偿内插滤波器。色度分量运动矢量精度为1/32样本。使用两个邻近的1/16像素部分位置的滤波器的平均值，可以导出1/32像素部分位置的附加内插滤波器。

可以使用选择公共合并模式的相同方法在编码器侧选择AF_MERGE模式。优选地生成候选列表，并且在候选中选择最小的RD成本以与其他间模式的RD成本进行比较。比较的结果是对是否应用AF_MERGE的确定。

对于AF_4_INTER模式，使用RD成本的检查来确定运动矢量对候选是否被选择作为当前CU的控制点运动矢量预测(CPMVP)。在确定当前仿射CU的CPMVP之后，仿射运动估计被应用，并且获得控制点运动矢量(CPMV)。因此，确定CPMV和CPMVP之间的差。

在编码器侧处，仅当在上一个模式选择阶段AF_MERGE或AF_4_INTER模式被确定为最佳模式时，才识别AF_6_INTER模式。

在本公开的实施例中，仿射间(仿射AMVP)模式可以如下执行：

1)AFFINE_MERGE_IMPROVE：代替搜索在仿射模式中的第一邻近块，改进是搜索具有最大编译单元大小的邻近块作为仿射合并候选。

2)AFFINE_AMVL_IMPROVE：与公共AMVP过程类似，将仿射模式中的邻近块添加到仿射AMVP候选列表。

生成仿射AMVP候选列表的详细过程如下。

首先，识别在左下处的邻近块是否使用仿射运动模型并且具有与当前参考索引相同的参考索引。如果不存在邻近块，则使用相同方法识别左邻近块。如果不存在邻近块，则识别在左下处的邻近块是否使用仿射运动模型并且具有不同的参考索引。如果存在邻近块，则将缩放的仿射运动矢量添加到参考图片列表。如果不存在邻近块，则使用相同方法识别左邻近块。

第二，使用相同的方法来识别右上邻近块、上邻近块和左上邻近块。

在处理之后，如果检索到两个候选，则终止仿射AMVP候选列表的生成过程。如果未检索到两个候选，则执行在JEM软件内的原始操作以生成仿射AMVP候选列表。

3)AFFINE_SIX_PARAM：除了4参数仿射运动模型之外，还添加了6参数仿射运动模型作为附加模型。

通过等式14导出6参数仿射运动模型。

[等式14]

因为运动模型中存在6个参数，所以确定模型需要左上位置MV_0、右上位置MV_1和左下位置MV_2处的三个运动矢量。可以使用类似于4参数仿射运动模型中两个运动矢量的方法来确定三个运动矢量。仿射模型合并始终设置为6参数仿射运动模型。

4)AFFINE_CLIP_REMOVE：移除针对所有仿射运动矢量的运动矢量约束。进行运动补偿过程以控制运动矢量约束本身。

仿射运动模型

如上所述，在仿射间预测中可以使用或考虑各种仿射运动模型。例如，仿射运动模型可以表示如图15中的四种运动。在能够由仿射运动模型表示的运动之中的能够表示三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似性(或简化)仿射运动模型。取决于使用仿射运动模型中的哪一种，CPMV的数量和/或导出当前块的样本/子块单位MV的方法可能会不同。

在本公开的实施例中，使用自适应的四个参数运动模型和六个参数运动模型。在AF_INTER中，除了JEM中存在的4参数运动模型之外，还提出6参数运动模型。6参数仿射运动模型如等式15被描述。

[等式15]

x′＝a*x+b*y+c

y′＝d*x+e*y+f

在这种情况下，系数a、b、c、d、e和f是仿射运动参数。(x，y)和(x′，y′)是在仿射运动模型的变换之前和之后的像素位置处的坐标。在视频编译中，为了使用仿射运动模型，如果CPMV0、CPMV1和CPMV2是针对CP0(左上方)、CP1(右上方)和CP2(左下方)的MV，则等式16可以描述如下。

[等式16]

在这种情况下，CPMV_0＝{v_0x，v_0y}，CPMV_1＝{v_1x，v_1y}，CPMV_2＝{v_2x，v_2y}，并且w和h是每个编译块的宽度和高度。等式16是该块的运动矢量场(MVF)。

在CU级别中解析标记，以便指示当将邻近块被编译为仿射预测时是否4参数仿射运动模型或6参数仿射运动模型被使用。如果不存在编译为仿射预测的邻近块，则将省略标记，并4参数模型被用于仿射预测。换句话说，在仿射运动模型中对一个或多个邻近块进行编译的条件下，考虑6参数模型。关于CPMVD的数量，相对于4参数和6参数仿射运动模型用信号发送两个或三个CPMVD中的每个。

此外，在本公开的实施例中，可以使用模式匹配的运动矢量细化。在JEM的模式匹配的运动矢量导出(JEM编码器描述中的PMMVD，以下简称为PMVD)中，解码器需要评估一些运动矢量(MV)，以便确定用于CU级别搜索的起始MV候选。在子CU级别搜索中，除了最佳CU级别MV外，还添加一些MV候选。解码器需要评估此类MV候选，以便搜索最佳MV。这需要很大的存储带。在提出的模式匹配的运动矢量细化(PMVR)中，在JEM中采用PMVD中的模板匹配和双边匹配的概念。当选择跳过模式或合并模式以指示PMVR是否可用时，一个PMVR_flag被用信号发送。为了与PMVD相比有意义地减少存储器带宽需求，生成MV候选列表。如果应用PMVR，则显式地用信号发送起始MV候选索引。

使用合并候选列表生成过程来生成候选列表，但是排除子CU合并候选，例如，仿射候选和ATMVP候选。对于双边匹配，仅包括单向预测MV候选。双向预测MV候选被划分为两个单向预测MV候选。此外，还移除相似的MV候选(MV差小于预定义的阈值)。对于CU级别搜索，从用信号发送的MV候选开始执行菱形搜索MV细化。

仅在双边匹配合并模式下，子CU级别搜索可用。用于针对所有子CU的子CU级别搜索的搜索窗口与CU级别搜索的搜索窗口相同。因此，在子CU级别搜索中不需要额外的带宽。

为了在模式中细化MVP，还使用模板匹配。在AMVP模式中，使用HEVC MVP生成过程生成两个MVP，并用信号发送一个MVP索引以选择两个MVP之一。使用PMVR中的模板匹配进一步细化选定的MVP。如果自适应运动矢量分辨率(AMVR)被应用，则在模板匹配细化之前，以相应的精度对MVP进行四舍五入。这种细化过程被称为模式匹配的运动矢量预测器细化(PMVPR)。在本文档的其余部分中，除非另有特别定义，否则PMVR包括模板匹配PMVR、双向匹配PMVR和PMVPR。

为了减少存储器带宽需求，PMVR不可用于4x4、4x8和8x4的CU。为了减少所需的额外存储器带宽的量，可以将等于64的CU区域的{模板匹配，双向匹配}的搜索范围减小到{±2，±4}。对于大于64的CU区域，{模板匹配，双向匹配}的搜索范围可以减小到{±6，±8}。与HEVC中最坏的情况相比，使用本文档PMVR部分中介绍的所有方法，所需的存储器带宽在JEM-7.0的PMVD中从45.9x减小到PMVR中的3.1x。

在非QT块中使用仿射时应用的技术

图28图示根据本公开的实施例的在已经对其应用仿射运动模型的间预测中生成预测块和运动矢量的方法。

根据图28，可以看到在仿射运动模型被应用的情况下用于导出运动矢量的等式。可以基于下面的等式17导出运动矢量。

[等式17]

在这种情况下，v_x指示当前块内的(x，y)坐标样本的样本单位运动矢量的x分量。v_y指示当前块内的(x，y)坐标样本的样本单位运动矢量的y分量。即，(v_x，v_y)是针对(x，y)坐标样本的样本单位运动矢量。在这种情况下，a、b、c、d、e、f指示等式的参数，其用于从当前块的控制点(CP)导出(x，y)坐标的样本单位运动矢量(运动信息)。CP可以被表示为控制图片元素。参数可以从以PU单位发送的每个PU的CP的运动信息导出。用于导出从CP的运动信息导出的样本单位运动矢量的等式可以被应用于块的每个样本，并且可以取决于每个样本的x轴和y轴之间的相对位置将其导出作为参考图像内的样本的位置。根据QTBT(TT)块拆分结构、不对称类型或对称类型或块位置，可以取决于块的大小来不同地导出样本单位运动矢量。通过稍后将描述的图29至图38图示其详细实施例。

参考图29，假设当前块是2N×2N块。例如，当前块内的左上样本的运动矢量可以说是v_0。此外，可以将邻近当前块的邻近块的样本用作CP，CP的运动矢量可以是v_1和v_2。即，如果当前块的宽度和高度是S并且当前块的左上样本位置处的坐标是(xp，yp)，则CP的CP0的坐标可以是(xp，yp)，CP的CP1的坐标可以是(xp+S，yp)，CP的CP2的坐标可以是(xp，yp+S)。CP0的运动矢量可以是v_0，CP1的运动矢量可以是v_1，并且CP2的运动矢量可以是v_2。可以使用CP的运动矢量来导出样本单位运动矢量。可以基于下面的等式18导出样本单位运动矢量。

[等式18]

在这种情况下，v_x、v_y指示每个当前块内具有(x，y)坐标的样本的运动矢量的x分量、y分量。v_x0、v_y0分别指示CP0的运动矢量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动矢量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动矢量v_2的x分量、y分量。可以使用用于导出样本单为运动矢量的等式，诸如等式18，基于当前块内的相对位置来导出当前块内的每个样本的运动矢量。

图30图示被分区成Nx2N的块的CP。可以使用与分区类型2Nx2N的情况相同的方法来导出用于导出当前块内的样本单位运动矢量的等式。在导出等式的过程中，可以使用适合于当前块的形状的宽度值。为了导出样本单位运动矢量，可以导出三个CP，并且可以如图30一样调整CP的位置。也就是说，如果当前块的宽度和高度分别为S/2和S，并且当前块左上样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以是(xp，yp)，CP的CP1的坐标可以是(xp+S/2，yp)，并且CP的CP2的坐标可以是(xp，yp+S)。可以基于下面的等式19导出样本单位运动矢量。

[等式19]

在这种情况下，vx，vy分别指示当前块内的(x，y)坐标处的样本的运动矢量的x分量，y分量。v_x0，v_y0分别指示CP0的运动矢量v_0的x分量，y分量。v_x1，v_y1分别指示CP1的运动矢量v_1的x分量，y分量。v_x2，v_y2分别指示CP2的运动矢量v_2的x分量，y分量。等式3示出用于通过考虑当前块的宽度为S/2来导出样本单位运动矢量的等式。可以基于当前块内的相对位置来导出使用用于导出样本单位运动矢量的等式(诸如等式19)基于分区类型Nx2N从CU分区的当前块内的每个样本的运动矢量。

图31图示基于分区类型2NxN进行分区的块。为了导出样本单位运动矢量，可以导出三个CP。CP的位置可以如图31一样被调整，并且可以基于图31中所图示的当前块的形状将高度调整为S/2。即，如果当前块的宽度和高度分别为S和S/2，并且当前块的左上角样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以(xp，yp)，CP的CP1的坐标可以是(xp+S，yp)，并且CP的CP2的坐标可以是(xp，yp+S/2)。可以像下面的等式20那样导出样本单位运动矢量。

[等式20]

在这种情况下，v_x、v_y分别指示当前块内的(x，y)坐标处的样本的运动矢量的x分量、y分量。v_x0、v_y0分别指示CP0的运动矢量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动矢量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动矢量v_2的x分量、y分量。等式4图示用于通过考虑当前块的高度为S/2来导出样本单位运动矢量的等式。可以基于当前块内的相对位置来导出使用用于导出样本单位运动矢量的等式(诸如等式4.18)基于分区类型2NxN从CU分区的当前块内的每个样本的运动矢量。

图32图示非对称类型的当前块的CP。如图32中所图示，可以说非对称型当前块的宽度和高度分别为W和H。为了导出样本单位运动矢量，可以导出针对每个当前块的三个CP，并且可以根据如图32中的当前块的形状基于宽度和高度来调整CP的坐标。即，如果当前块的宽度和高度分别为W和H，并且每个当前块的左上样本位置的坐标为(xp，yp)，则可以将CP的CP0的坐标设置为(xp，yp)，可以将CP的CP1的坐标设置为(xp+W，yp)，并且可以将CP的CP2的坐标设置为(xp，yp+H)。在这种情况下，可以基于下面的等式21导出当前块内的样本单位运动矢量。

[等式21]

/>

在这种情况下，v_x、v_y分别指示当前块内(x，y)坐标处样本的运动矢量的x分量、y分量。v_x0、v_y0分别指示CP0的运动矢量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动矢量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动矢量v_2的x分量、y分量。等式21示出用于通过考虑非对称的当前块的宽度和高度来导出样本单位运动矢量的等式。

同时，根据本公开，为了减少以块为单位指示的CP的运动信息的数据量，可以基于当前块的邻近块或邻近样本的运动信息来选择针对至少一个CP的运动信息预测候选。运动信息预测候选可以被称为仿射运动信息候选或仿射运动矢量候选。例如，仿射运动信息候选可以包括在图33至图38中公开的内容。

ATMVP简化

高级时间运动矢量预测(ATMVP)是使用时间运动信息候选的间预测，但是可以指示使用被提出以改善现有TMVP的运动信息候选的间预测。在本公开的实施例中，ATMVP不限于其名称，并且ATMVP可以被称为子块时间合并候选、基于子块的时间合并候选、子块时间运动矢量预测器或基于子块的时间运动矢量预测器。

具体地，使用在当前块的右下块或在当前块的中心位置处的colPB的运动矢量作为时间运动信息候选，帧内运动可能不被并入到TMVP中。相反，如果ATMVP被应用，则在由邻近块的运动矢量指示的位置处的colPB的运动矢量可以被用作ATMVP候选。

在其中ATMVP被应用的示例中，在顺序地检查合并候选配置的同时首先搜索到可用空间邻近块的运动矢量后，可以将参考图片中由时间矢量指示的位置导出为col-PB(ATMVP候选)。此外，可以使用时间矢量以每个子块单位来使用对应块的运动矢量。在这种情况下，如果特定子块中不存在MV，则将位于对应块中心的块的MV用作不可用子块的MV，并存储为代表性MV。

此外，可以提出各种使用ATMVP的ATMVP简化方案，但是能够减少所使用的存储器的量。

在一个实施例中，因为用于搜索参考块的参考图片(指定为切片片段报头)被限制在共置图片，所以可以减少存储器的使用。例如，可以使用最多4张参考图片。为了搜索参考块，可以以扫描顺序从空间候选之一中导出时间矢量。如果当前候选具有与共置图片相同的参考图片，则搜索过程可以终止。

在一个实施例中，可以应用对ATMVP和/或STMVP子块合并模式的修改。

1.在图片/切片级别中添加信令，并且因此可以使用各种子块大小来导出基于ATMVP/STMVP的运动信息。

2.因为使用一个共置图片，所以可以使用简化的基于ATMVP的运动信息的导出。

在一个实施例中，提出了对由ATMVP和STMVP模式导出的运动场的粒度的图片/切片级别适配的支持。具体地，在表示序列参数集(SPS)的切片中，可以在SPS中用信号发送用于导出ATMVP和STMVP的运动参数的子块大小的默认值。另外，在切片片段报头中用信号发送一个标记。如果该标记为0，则这指示默认子块大小(诸如SPS中指定的大小)被用于在当前切片中导出基于ATMVP/STMVP的运动。如果不是(即，如果该标记被设置为1)，则在切片片段报头中用信号发送另一个语法元素，并且可以指定用于切片的ATMVP/STMVP子块大小。

在一个实施例中，一种简单的编码器方法用于确定当前图片的ATMVP/STMVP子块大小。基于ATMVP/STMVP块的平均大小，从在同一时间层中最终编译的图片中选择两个ATMVP/STMVP子块大小4和8之一。假设刚刚编译的图片是第k个时间层中的第i个图片并且包括由ATMVP和STMVP模式编译的N个CU。此外，假定CU的大小是S_0、S_1、…、S_(N-1)。ATMVP/STMVP CU的平均大小计算为因此，当在相同的第k个时间层中对第(i+1)个图片进行编译时，可以根据下面的等式22来确定对应的ATMVP/STMVP子块大小

[等式22]

在一个实施例中，相对于每个时间层中的第一图片，ATMVP/STMVP子块大小可以总是被设置为4。

在一个实施例中，可以使用以下两个步骤导出ATMVP。

(1)如果邻近的CU可用，并且CU的MV与现有候选列表中的MV不同，则编码器/解码器可以将运动矢量从如图12中所图示的空间邻近CU添加到A1、B1、B0以及A0的顺序。可用空间候选的数量可以被表示为N0。

(2)可以使用来自N0个空间候选的第一MV候选来确定位置，从该位置可以取得(fetch)共置图片和每个子块的运动(通过根据MV添加位移)。如果N0是0，则可以使用在切片报头中用信号发送的具有共置图片和零运动的共同位置以取得每个子块的运动。

如果使用多个参考图片，则用于ATMVP的不同CU的共置图片可能并不总是相同。如果对于当前图片中的不同CU，用于ATMVP导出的共置图片不同，则意指需要取得多个参考图片的运动场。由于存储器带宽的增加，这不是优选的。因此，一个实施例提出一种简化设计，该设计如在切片报头中用信号发送的HEVC中的使用相同的共置图片作为用于ATMVP导出的共置图片。在块级别上，如果邻近块A的参考图片与共置图片不同，则使用HEVC时间MV缩放方法对块A的MV进行缩放，并且可以使用块A的缩放后的MV用于ATMVP。

用于取得在共置图片Rcol中的运动场的运动矢量被标记为MVcol。为了最小化可归因于MV缩放的影响，在此答案中使用以下方法选择用于导出MVcol的空间候选列表中的MV。如果候选MV的参考图片是共置图片，则选择该MV并将其用作MVcol，而无需任何缩放。如果不是，则使用具有最靠近共置图片的参考图片的MV来导出具有缩放的MVcol。

一般的基于历史的运动矢量预测(HMVP)

通常，图像压缩技术使用针对空间和时间冗余的开发作为两个主要方案。例如，高效视频编译(HEVC)和VVC都使用基于间编译的两种运动压缩方案。一种是合并运动，并且另一种是高级运动矢量预测(AMVP)。为了改进两种预测模式，正在讨论各种修改。各种修改包括从增加候选数量到对在空间上更扩展的候选的搜索，以及对非传统位置处的时间候选的检查。这两种方案主要包括使用可用的候选构造列表、最小化率失真(RD)成本以及在比特流中用信号发送选定的候选。

特别地，在最近的图像压缩技术中，讨论其中存储先前编译的块的运动信息并且将所存储的运动信息用于随后编译的块的运动预测的HMVP。这样的HMVP可以被添加到合并列表(或合并候选列表)或AMVP列表(或AMVP候选列表)。

解码器维护在用于HMVP的先进先出(FIFO)系统(或方法)中运行的查找表(LUT)。在本公开中，LUT不限于其名称，并且可以被称为表、HMVP表、HMVP候选表、缓冲区、HMVP缓冲区、HMVP候选缓冲区、HMVP列表或HMVP候选列表。具体地，当非仿射预测单元(PU)(或编译单元(CU))被解码时，对应的运动信息被存储在LUT中。解码器在下一PU执行解码。在这种情况下，所存储的运动信息可以包括在x(水平)和y(垂直)方向上的运动矢量、参考索引信息和模式信息。

解码器维护其中存储有渐进地解码的非仿射候选的运动信息的LUT。LUT的大小可以被限于预定义的S个候选。在一个实施例中，可以在切片的开始、CTU行的开始或CTU的开始处重置LUT。

HMVP可以同时被应用在合并模式和AMVP模式这两者中。合并列表可能有B个候选，而AMVP列表可能有两个候选。在常规的图像压缩技术中，合并列表配置有以下候选：i)空间候选，ii)时间候选，iii)双向预测(Bi-Pred)候选，iv)零运动候选。最近讨论了一种附加地考虑高级运动矢量预测(ATMVP)作为候选的方法。例如，可以将ATMVP候选在时间候选之前插入到合并列表中。合并列表的候选将被添加到合并列表，直到达到最大合并列表大小。重复的候选可能不会被添加到合并列表。可以将两个候选插入到AMVP列表中。例如，可以从可用的空间候选中选择两个候选中的第一候选，并且可以从时间候选中选择第二候选。如果列表未填满，则可以添加零运动矢量候选。

基于FIFO顺序应用HMVP，在该顺序中，候选与其输入顺序相同地从LUT退出。

在一个实施例中，当将HMVP应用于合并列表配置时，可以如下将HMVP候选插入(或添加)到列表的第三位置：

1.空间候选

2.时间候选

3.用于LUT的高达S个HMVP候选

4.组合的Bi-Pred候选

5.零运动矢量候选

在一个实施例中，当将HMVP应用于AMVP列表配置时，可以如下将HMVP插入到时间候选之后的第三位置：

1.空间候选

2.时间候选

3.高达K个HMVP候选

4.零运动矢量候选

参考图39，解码器解码当前的PU(或CU)(S3901)。

解码器检查当前PU是否是以非仿射模式编译的块(S3902)。为了促进HMVP候选的使用，如果当前PU是以仿射模式编译的块，则解码器不将当前PU的运动信息存储在表中。

如果当前PU是以非仿射模式编译的块，则解码器在表中存储(或更新)当前PU的运动信息(S3903)。

在本公开的实施例中，可以使用两种方法来更新HMVP表，即，i)无约束FIFO ii)约束FIFO方法。在前一种情况下，可能存在冗余信息，但不应用剪枝过程。这有助于减少整个过程的复杂性。参考下述附图对此进行描述。

参考图40，添加到表的候选被添加在表的末尾(右侧)处。相反，根据FIFO方法从表中排出的候选位于表格的前端(左侧、最旧的候选)处。

如果在索引L-1(即，结尾)处表未完全填满具有最大数量的预定义的候选，则添加新的候选数而不移除候选。相反，如果该表已被完全填满，即，如果满足表的最大数量，则移除位于前端(即，表中最旧的)的候选，并添加新的候选。

参考图41，如果使用约束FIFO，则如果添加新候选导致任何冗余，则执行剪枝。在一个实施例中，如果在表中存在具有冗余运动信息的候选，则移除表内的冗余候选，并且可以添加当前候选的运动信息。

实施例1

关于HMVP候选，在许多情况下，最新历史MV可以与空间候选(或空间邻近候选)的运动信息重叠。因此，本实施例提出一种在将HMVP候选添加到AMVP或合并列表时与HMVPLUT索引顺序不同地设置候选的添加顺序的方法。

根据本公开的实施例，可以通过自适应地调整HMVP候选来有效地配置候选列表。因此，可以减少用于二值化的信令bin的数量，并且可以改善编译效率。

也就是说，添加到合并列表或AMVP列表的HMVP候选可能不受HMVP列表中的索引的约束。在一个实施例中，下面的表2图示一种改变将HMVP候选添加到AMVP或合并列表的顺序的方法。

[表2]

参考表2，如上所述，很有可能最近插入的HMVP候选可能具有与空间候选相同的运动信息。因此，可以通过考虑可能性来预先定义HMVP候选的添加顺序，而与HMVP索引无关。

此外，在一个实施例中，可以将来自于列表中的第n个候选开始的HMVP候选的HMVP候选添加到合并列表或AMVP列表。下表3图示将候选添加到AMVP或合并列表的更改的顺序。

[表3]

参考表3，可以将HMVP候选从第二索引添加到合并列表或AMVP列表中。

在一个实施例中，关于表(LUT)内的HMVP候选的添加顺序的信息可以从编码器用信号发送到解码器。例如，可以通过高级语法(HLS)来发送这样的顺序信息。例如，高级语法可以是序列参数集、图片参数集、切片报头、编译树单元、编译单元和/或另一适当的语法数据报头。

表4图示可以应用本公开中提出的方法的高级语法结构。

[表4]

参考表4，set_HMVP_order_flag等于1指示set_HMVP_order_flag存在于CVS中的非IDR图片内的切片报头中。set_HMVP_order_flag等于0指示切片报头中不存在set_HMVP_order_flag，并且在VCS中不使用自适应HMVP。

表5图示可以应用本公开中提出的方法的切片片段报头语法结构。

[表5]

参考表5，slice_HMVP_idx意指所使用的候选的顺序的索引。例如，slice_HMVP_idx等于0可以表示基本HMVP序列，诸如0、1、2、3。同样，索引值1可以用来表示HMVP序列3、2、1、0。

实施例2

在本公开的实施例中，除了HMVP LUT，还提出一种将长期列表用于运动预测的方法。因此，可以增加所维护的HMVP候选的数量。在实施例中，可以考虑2-HMVP表。在这种情况下，一个可以用来存储普通的HMVP候选，并且另一个可以用作存储需要进一步维护的候选的长期列表。

以下说明重置和构造长期列表(或长期HMVP列表)的方法。

-在对CTU行的第一CTU进行解码之后，可以将后续CTU的一个或多个历史MV添加到长期HMVP LUT。这样的长期HMVP LUT可能不会被使用或更新直至下一个CTU行。

-在下一个CTU行的开始处，可以使用长期HMVP LUT来重置普通的HMVP LUT。这样做的原因是，与前一个CTU行的末尾的历史MV相比，CTU行的开始处的CTU的HMVP候选可能更加共相关(co-related)。

-可以重复上述过程。

图42是图示根据本公开的实施例的HMVP LUT和长期HMVP LUT的图。

参考图42，存在两个LUT。一个是HMVP LUT(或普通HMVP LUT或短期HMVP LUT)，并且另一个是长期HMVP LUT。当HMVP候选被添加到合并列表和AMVP列表这两者时，其可以从HMVP LUT或长期LUT被添加，如图42中所图示。

可以通过引入新的语法元素，通过高级语法来指示长期LUT的使用。例如，语法元素可以存在于序列参数集、图片参数集、切片报头、编译树单元、编译单元和/或另一适当的语法数据报头中。

实施例3

在本公开的实施例中，提出了一种方法，其中在将HMVP候选添加到HMVP LUT中时考虑解码的灵活性。编码器/解码器可以考虑针对PU(或CU)的一个或多个特性的决定。

在实施例中，编码器/解码器可以在将HMVP候选添加到表时考虑以下内容。编码器/解码器可以通过单独地或组合地考虑诸如PU的模式(例如，合并模式、仿射模式或AMVP模式)和/或块的大小的特性来将候选添加到表。在一个实施例中，除了该特性之外，还可以考虑其他特性。例如，其中考虑HMVP LUT更新的合并类型(例如，空间候选或时间候选)、它是否是子PU等可以被认为是用于选择候选的准则。可以确定选择准则以减少具有先前历史(或先前HMVP)的冗余。例如，如果PU以合并模式被编译并且合并类型是空间合并，则解码器可以不使用对应的PU的运动信息来更新HMVP LUT。

参考图43，编码器/解码器获得编译的候选的运动信息(S4301)。

编码器/解码器基于预定的决策准则来评估是否用候选的运动信息来更新LUT(S4302)。决策准则可以包括与候选的模式(例如，合并模式、仿射模式或AMVP模式)、候选的块大小和/或候选的合并类型中的一个或多个有关的特性。

编码器/解码器基于决策准则更新LUT(S4303)。即，如果候选满足预定的决策准则，则编码器/解码器可以将候选的运动信息添加到LUT。

实施例4

在本公开的实施例中，提出了对于用于将HMVP候选添加到合并列表(或AMVP列表)的冗余检查的约束。可以以各种方式来实现对冗余检查的约束。

在一个实施例中，编码器/解码器可以限制对合并列表中的候选的第一特定数量的剪枝检查的数量。编码器/解码器可以限制针对从合并列表的第一候选到特定候选的候选的剪枝检查的次数。例如，编码器/解码器可以对从合并列表的第一候选到特定候选的候选执行剪枝处理。在这种情况下，可以将HMVP候选(即，剪枝检查的目标)限制为预定义的数量。

此外，在一个实施例中，编码器/解码器可以通过对合并列表内的特定类型的合并候选执行剪枝检查来限制剪枝检查。例如，在添加HMVP候选时，编码器/解码器可以仅对合并列表的空间候选执行剪枝检查。可替选地，例如，编码器/解码器可以在添加HMVP候选时仅对合并列表的一些空间候选执行剪枝检查。一些空间候选可以是预定义的。例如，预定义的空间候选可以是左邻近空间候选和/或上邻近空间候选中的至少一个。本公开的实施例不限于此，并且其他类型可以被组合和限制为剪枝检查的目标。

图44是图示根据本公开的实施例的限制HMVP候选(即，剪枝检查的目标)的数量的方法的图。

参考图44，在本公开的实施例中，HMVP候选的数量，即，剪枝检查的目标，可以被限制为M次。

在使用HMVP候选构造合并列表时，编码器/解码器可以检查HMVP LUT内的前M个候选与合并列表的合并候选之间的运动信息的冗余。

可替选地，在将解码的PU的运动信息添加到HMVP LUT时，编码器/解码器可以检查HMVP LUT内的前M个候选与当前解码的PU之间的运动信息的冗余。

参考图45，编码器/解码器获得解码后的候选的运动信息，并且确定(或解码)剪枝检查的数量(S4501，S4502)。

编码器/解码器基于所确定的剪枝检查数量来执行剪枝检查(S4503)。

在一个实施例中，如表4和表5中所示，可以通过高级语法来用信号发送与剪枝检查有关的信息。在这种情况下，从编码器发送到解码器的语法元素可以被包括在用于指示需要执行的剪枝检查的数量的任何报头中。例如，高级语法可以是序列参数集、图片参数集、切片报头、编译树单元、编译单元和/或其他适当的语法数据报头。

实施例5

在本公开的实施例中，提出了一种选择HMVP候选的有效方法。当历史运动矢量候选(即，HMVP候选)被插入到合并列表(或AMVP列表)中时，可以执行剪枝检查，使得HMVP候选与现有的合并列表不重叠。

如果要在M大小的合并列表和N大小的历史LUT之间执行总冗余检查，则进行(M-1)xN次检查是必需的。因此，在本公开的实施例中，HMVP候选的数量可以取决于现有合并候选。例如，HMVP候选的数量可以取决于合并列表中存在的空间候选的数量。可替选地，例如，HMVP候选的数量可以取决于合并列表中存在的空间候选和时间候选的数量。

如果合并列表中存在另一个合并候选，则根据基于合并列表的合并候选的数量和/或HVMP的数量的特定准则(规则)，将对其执行剪枝检查的HMVP候选的数量可以减少。因此，可以减少最坏情况下的冗余检查数量。

例如，在具有大小(或长度)为6的合并列表的情况下，如果没有完全填满合并列表，则合并列表可以包括最多5个空间或其他合并候选。为了将HMVP候选插入到6个HMVP列表中，在最坏的情况下可能需要进行30次冗余检查。

在一个实施例中，与要检查的HMVP的数量的约束有关的示例在等式23和表6中被示出。

[等式23]

如果(existing_candidates>＝3)

number_hist_to_check＝7-existing_candidates；

[表6]

现有候选的#	要检查的现有候选的#	要检查的历史MV的#	检查的#

1	1	6	6
				2	2	6	12
3	3	4	12
				4	4	3	12
5	5	2	10

参考表6，通过将HMVP的数目(即，剪枝检查的目标)限制为2，可以将最坏情况下针对HMVP添加的冗余检查的数量减少为12次而不是30次。

实施例6

在本公开的实施例中，提出了一种使用基于历史的空间时间运动矢量预测(H-STMVP)来构造合并列表的方法。H-STMVP指示作为两个基于历史的空间MVP和TMVP的平均值而导出的候选。可以从HMVP缓冲区获得两个空间HMVP。可以从当前合并列表获得TMVP。在这种情况下，空间候选可以是从当前块之前的解码序列中的最后2个编译的MV获得的候选。

例如，最后编译的MV(在本公开中称为MV_L)，倒数第二个编译的MV(在本公开中称为MV_(L-1))和MV_TMVP可以用于生成要插入合并列表的H-STMVP候选。

如果可以使用所有三个候选，则可以通过下面的等式24来计算添加到合并列表的MV。

[等式24]

{MV_L+MV_L-1+MV_TMVP}*43/128

在一个实施例中，如果三个候选中只有两个可用，则仅两个候选可以被平均以生成H-STMVP。同样，如果只有一个候选可用，则可以使用一个候选。如果不存在可用的候选，则不将H-STMVP用于合并列表配置。

在本公开的实施例中，提出了一种使用除了等式24之外的另一种方法来获得H-STMVP候选的运动矢量的方法。

例如，代替一次平均三个或更多候选，首先对空间候选求平均并且然后再次使用平均的结果对两个候选求平均可能会计算更容易。在以下等式中示出其示例。

[等式25]

<[(MV_L+MV_L-1)＞＞1+MV_TMVP]＞＞1>

可替选地，可以如下获得平均值。

[等式26]

<[(MV_L+MV_TMVP)＞＞1+MV_L-1]＞＞1>

[等式27]

<[(MV_L-1+MV_TMVP)＞＞1+MV_L]＞＞1>

[等式28]

<[2MV_L+MV_L-1+MV_TMVP]＞＞2>

编码器/解码器可以首先如等式25至27所示对两个候选求平均，并且然后可以使用第三候选对结果值求平均。可替选地，编码器/解码器可以通过如等式28中那样应用两次移位运算来向候选(即，MV_L)指配更高的重要性/权重。可以仅通过使用等式25至28的移位运算来导出平均值而无需除法运算。

实施例7

在本公开的实施例中，提出了一种在导出H-STMVP中使用给定数量(n)的空间候选而不是两个基于历史的空间候选的方法。n个候选不需要必须是连续的解码顺序。可以随机地或根据某些规则来选择n个候选。

因此，可以使用更通用的方法来表示等式24，如下面的等式29。

[等式29]

{MV₁+MV₂+...+MV_n+MV_TMVP}*1/(n+1)

在另一个实施例中，假设使用5个空间候选，则可以最小化增加空间候选以生成H-STMVP候选的影响，并且可以通过改善应用于时间候选的权重来适当地合并空间候选和时间候选。

因此，为此，在使用等式30将空间候选一起平均之后，可以通过使用平均值的结果对MV_TMVP进行平均来实现上述目的。

[等式30]

[{MV₁+MV₂+…+MV_n}*1/n+MV_TMVP]*1/2

实施例8

在本公开的实施例中，提出了一种将权重(或加权因子)添加到用于导出H-STMVP的运动矢量候选的方法。在这种情况下，权重可以根据经验确定，或者可以通过考虑直到固定参考帧的时间距离来确定，或者可以通过考虑历史表中的位置来确定。例如，一个新的候选可能比以前的候选具有更重的权重。

即，在本实施例中，等式24可以如下面的等式31来表示。

[等式31]

在这种情况下，权重可以具有相同的值或不均匀分布的值。

实施例9

在本公开的实施例中，提出了一种将用于导出H-STMVP候选的运动矢量缩放作为单个参考图片的方法。

参考图46，假定MV_L、MV_L-1和MV_TMVP候选参考(或指示)相应不同的参考图片。即，图46图示用于生成H-STMVP候选的候选可以具有不同的参考索引并且因此具有不同的参考帧。

可以使等式24到31的平均值成为不均等的结果值，因为具有紧密参考帧的帧可能对H-STMVP的运动矢量产生更大的影响。因此，提出一种将所有运动矢量缩放为单个参考帧以进行相等比较和合并的方法。

在这种情况下，编码器可以确定作为RD优化的一部分执行的哪个单个帧最适合用作参考帧。在实施例中，可以在类似于切片报头中存在的TMVP阵列索引的切片报头中用信号发送选择的参考帧。例如，可以使用固定规则来生成要使用的参考帧。可替选地，例如，列表可以被缩放作为来自L0的第一可用参考帧，或者列表可以基于当前图片顺序计数被缩放。

在一个实施例中，为了实现上述目的，编码器可以使用可以是序列参数集、图片参数集、切片报头、编译树单元和/或另一数据报头的一部分的高级语法(HLS)将用于单个固定图片的信息发送给解码器。例如，可以定义高级语法结构，诸如下面的表7和/或表8。

[表7]

参考表7，set_HSTMVP_ref_pic_flag等于1指示set_HSTMVP_idx存在于CVS中的非IDR图片的切片报头中。set_HSTMVP_ref_pic_flag等于0指示切片报头中不存在set_HSTMVP_idx。

[表8]

参考表8，slice_HMVP_idx指定参考索引。在一个实施例中，可以相对于列表L0选择参考索引。

为了便于描述，可以对本公开的前述实施例进行划分和描述，但是本公开不限于此。即，可以独立地执行实施例1至9中描述的实施例，或者可以组合并执行一个或多个若干实施例。

图47是图示根据本公开所应用的实施例的基于间预测来处理视频信号的方法的流程图。

参考图47，为了描述的方便起见，基本上描述解码器，但是本公开不限于此。根据本公开的实施例的基于间预测的处理视频信号的方法可以在编码器和解码器中相同地执行。

解码器使用当前块的空间合并候选和时间合并候选来配置当前块的第一合并候选列表(S4701)。

解码器通过将指示在当前块之前编译的块的运动信息的基于历史的合并候选添加到第一合并候选列表来配置第二合并候选列表(S4702)。

解码器获得指示在第二合并候选列表内应用于当前块的合并候选的合并索引(S4703)。

解码器使用由合并索引指示的合并候选的运动信息来生成当前块的预测块(S4704)。

如上所述，如果基于历史的合并候选具有与第一合并候选列表中包括的合并候选之中的运动信息预定的合并候选的运动信息不重叠的运动信息，则可以将基于历史的合并候选添加到第一合并候选列表。

如上所述，如果基于历史的合并候选具有与第一合并候选列表中包括的合并候选之中的预定义特定数目的合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加到第一合并候选列表。

如上所述，如果基于历史的合并候选具有与包括在第一合并候选列表中的特定空间合并候选的运动信息不重叠的运动信息，则基于历史的合并候选可以被添加至第一合并候选列表。

如上所述，可以从存储基于历史的合并候选的基于历史的缓冲区内的预定义数量的候选来导出基于历史的合并候选。例如，每个定义的数量可能是2。

如上所述，构造第二合并候选列表的步骤进一步包括添加基于历史的空间时间合并候选的步骤。可以使用两个基于历史的合并候选和时间合并候选来导出基于历史的空间时间候选。

如上所述，可以将基于历史的空间时间候选的运动矢量导出作为两个基于历史的合并候选的运动矢量的平均值和时间合并候选的运动矢量的平均值。

图48图示根据本公开的实施例的用于处理图像信号的装置的框图的示例。图48的图像信号处理器可以对应于图1的编码装置100或图2的解码装置200。

用于处理图像信号的图像处理器4800包括用于存储图像信号的存储器4820和耦合至该存储器以处理图像信号的处理器4810。

根据本公开的实施例的处理器4810可以配置有用于处理图像信号的至少一个处理电路，并且可以通过执行用于对图像信号进行编码或解码的指令来处理图像信号。即，处理器4810可以通过执行前述的编码或解码方法来对原始图像数据进行编码或对编码的图像信号进行解码。

图49图示本公开应用于的视频编译系统。

视频编译系统可以包括源设备和接收设备。源设备可以通过数字存储介质或通过网络以文件或流形式向接收设备发送编码的视频/图像信息或数据。

源设备可以包括视频源、编码装置和发射器。接收设备可以包括接收器、解码装置和渲染器。该编码装置可以被称为视频/图像编码装置。该解码装置可以被称为视频/图像解码装置。发射器可以被包括在编码装置中。接收器可以被包括在解码装置中。渲染器可以包括显示器。可以为每个设备或外部组件配置显示器。

视频源可以通过视频/图像的捕获、合成或生成过程来获得视频/图像。视频源可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备例如可以包括一个或多个相机、包括先前捕获的视频/图像的视频/图像存档等。视频/图像生成设备例如可以包括计算机、平板电脑和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机生成虚拟视频/图像。在这种情况下，可以用视频/图像捕获过程代替生成相关数据的过程。

编码装置可以对输入视频/图像进行编码。编码装置可以执行用于压缩和编译效率的一系列过程，诸如预测、变换和量化。编码的数据(编码的视频/图像信息)可以以比特流形式输出。

发射器可以通过数字存储介质或通过网络以文件或流形式将以比特流形式输出的编码的视频/图像信息或数据发送到接收设备的接收器。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD和SSD。发射器可以包括用于通过预定义的文件格式生成媒体文件的元件，并且可以包括用于在广播/通信网络上进行传输的元件。接收器可以提取比特流并将其发送到解码装置。

解码装置可以通过执行一系列过程(诸如解量化、逆变换和与编码装置的操作相对应的预测)来解码视频/图像。

渲染器可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。

图50是应用了本公开的实施例，并且图示内容流系统的结构。

参考图50，应用了本公开的内容流系统可以基本上包括编码服务器、流服务器、web服务器、媒体存储器、用户设备和多媒体输入设备。

编码服务器基本用作以通过将从多媒体输入设备(诸如智能手机、相机或便携式摄像机)输入的内容压缩为数字数据来生成比特流，并将该比特流发送到流服务器。对于另一示例，如果诸如智能手机、相机或便携式摄像机的多媒体输入设备直接生成比特流，则可以省略编码服务器。

可以通过应用本公开的编码方法或比特流生成方法来生成比特流。流服务器可以在发送或接收比特流的过程中临时存储比特流。

流服务器通过网页(web)服务器基于用户请求将多媒体数据发送到用户设备。Web服务器充当通知用户提供了哪些服务的媒介。当用户从Web服务器请求所需的服务时，Web服务器会将请求发送到流服务器。流服务器将多媒体数据发送给用户。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用作控制内容流系统内的装置之间的指令/响应。

流服务器可以从媒体存储和/或编码服务器接收内容。例如，如果从编码服务器接收到内容，则流服务器可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在给定时间内存储比特流。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、板式PC、平板PC、超级本、可穿戴设备(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)和头戴式显示器(HMD))、数字电视、台式计算机和数字电视标牌。

内容流系统内的服务器可以作为分布式服务器操作。在这种情况下，可以分发和处理从服务器接收的数据。

如上所述，可以在处理器、微处理器、控制器或芯片上实现和执行本公开中描述的实施例。例如，附图中图示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。

此外，应用本公开的解码器和编码器可以包括在多媒体广播传输和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、用于监视的相机、视频对话设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、视频点播(VoD)服务提供设备、过顶业务(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、视频电话设备和医学视频设备，并且可以用于处理视频信号或数据信号。例如，OTT视频设备可以包括游戏机、蓝光播放器、互联网访问电视、家庭影院系统、智能手机、平板PC和数字录像机(DVR)。

此外，可以以由计算机执行的程序的形式来产生应用本公开的处理方法，并且可以将其存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机可读数据的所有类型的存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘、和光学数据存储设备。此外，计算机可读记录介质包括以载体形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可以存储在计算机可读记录介质中，或者可以在有线和无线通信网络上发送。

此外，可以使用程序代码将本公开的实施例实现为计算机程序产品。程序代码可以由根据本公开的实施例的计算机执行。程序代码可以存储在计算机可读的载体上。

在前述实施例中，本公开的要素和特征已经以特定形式组合。除非另外明确描述，否则可以将每个元素或特征视为可选的。每个元素或特征可以以不与其他元素或特征组合的形式实现。此外，一些元件和/或特征可以被组合以形成本公开的实施例。在本公开的实施例中描述的操作的顺序可以改变。实施例的一些元素或特征可以被包括在另一实施例中，或者可以被另一实施例的对应的元素或特征代替。显然的是，可以通过在权利要求中组合不具有明确引用关系的权利要求来构造实施例，或者可以在提交申请之后通过修改将其包括为新权利要求。

根据本公开的实施例可以通过各种手段来实现，例如，硬件、固件、软件或它们的组合。在通过硬件实现的情况下，可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现本公开的实施例。

在通过固件或软件实现的情况下，本公开的实施例可以以用于执行前述功能或操作的模块、过程或功能的形式来实现。软件代码可以存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知方式与处理器交换数据。

对本领域的技术人员显而易见的是，在不脱离本公开的本质特性的情况下，本公开可以以其他特定形式来实现。因此，详细描述不应解释为限制性的，而应从所有方面解释为说明性的。本公开的范围应通过对所附权利要求的合理分析来确定，并且在本公开的等效范围内的所有变化都包括在本公开的范围内。

工业适用性

已经出于说明性目的公开了本公开的前述优选实施例，并且本领域的技术人员可以在不脱离所附权利要求中公开的本公开的技术精神和范围的情况下改进、改变、替代或添加各种其他实施例。

Claims

1.一种基于间预测来处理视频信号的方法，所述方法包括：

基于当前块的时间合并候选和包括左下角邻近空间候选、左邻近空间候选、右上角邻近空间候选、上邻近空间候选和左上角邻近空间候选的空间合并候选来构造所述当前块的第一合并候选列表；

通过将指示在所述当前块之前编译的块的运动信息的基于历史的合并候选添加到所述第一合并候选列表来构造第二合并候选列表；

获得指示在所述第二合并候选列表内应用于所述当前块的合并候选的合并索引；以及

基于由所述合并索引指示的合并候选的运动信息来生成所述当前块的预测块，

其中，基于所述基于历史的合并候选具有与所述第一合并候选列表中包括的合并候选之中的预先确定的空间候选的运动信息不重叠的运动信息，所述基于历史的合并候选被添加到所述第一合并候选列表，以及

其中，所述预先确定的空间候选是所述左邻近空间候选和上邻近空间候选。

2.根据权利要求1所述的方法，

其中，从存储所述基于历史的合并候选的基于历史的缓冲区内的预定义数量的候选来导出所述基于历史的合并候选。

3.根据权利要求1所述的方法，

其中，所述构造第二合并候选列表进一步包括：添加基于历史的空间时间合并候选，以及

其中，使用两个基于历史的合并候选和所述时间合并候选来导出所述基于历史的空间时间候选。

4.根据权利要求3所述的方法，

其中，所述基于历史的空间时间候选的运动矢量被导出作为所述两个基于历史的合并候选的运动矢量的平均值和所述时间合并候选的运动矢量的平均值。

5.根据权利要求1的方法，

其中，所述构造第二合并候选列表进一步包括：确定是否从所述基于历史的合并候选列表中包括的基于历史的合并候选之中的最后添加到所述基于历史的合并候选列表的最后基于历史的合并候选开始，将所述基于历史的合并候选添加到所述第一合并候选列表。

6.一种基于间预测对视频信号进行编码的方法，所述方法包括：

基于当前块的时间合并候选和包括左下角邻近空间候选、左邻近空间候选、右上角邻近空间候选、上邻近空间候选和左上角邻近空间候选的空间合并候选，构造所述当前块的第一合并候选列表；

生成指示在所述第二合并候选列表内应用于所述当前块的合并候选的合并索引；

基于由所述合并索引指示的合并候选的运动信息来生成所述当前块的预测块；以及

基于所述当前块和所述预测块来生成残差块，以将所述残差块用信号发送到比特流，

7.根据权利要求6所述的方法，

8.根据权利要求6所述的方法，

9.根据权利要求8所述的方法，

10.根据权利要求6所述的方法，

11.一种非暂时性解码器可读介质，所述非暂时性解码器可读介质用于存储通过以下步骤生成的比特流：