CN114762332A - 构建合并候选列表的方法 - Google Patents

Abstract

本申请提供了构建用于进行视频处理的合并候选列表的系统和方法。一种示例性方法包括：向编码块的合并候选列表插入一组空间合并候选项，其中，该组空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。该方法还可以包括向合并候选列表中添加如下中的至少一个：来自并置编码单元的时间合并候选、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项或零运动矢量。

Description

构建合并候选列表的方法

相关申请的交叉引用

本申请要求于2019年9月19日提交的第62/902,790号美国临时申请的优先权，该申请的全部内容通过引用并入本申请。

背景技术

视频是捕捉视觉信息的一组静态图片(或“帧”)。为了减少存储内存和传输带宽，可以在存储或传输之前对视频进行压缩，并在显示之前解压缩。压缩过程通常称为编码，解压缩过程通常称为解码。目前有多种采用标准化视频编码技术的视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路内滤波的视频编码格式。规定了具体的视频编码格式的视频编码标准，如高效视频编码(HEVC/H.265)标准、通用视频编码(VVC/H.266)标准、AVS标准等，是由标准化组织制定。随着越来越多的先进视频编码技术在视频标准中被采用，新的视频编码标准的编码效率也越来越高。

发明内容

本申请实施例提供了用于构建合并候选列表的方法。根据一些实施例，一种示例性方法包括：将一组空间合并候选项插入编码块的合并候选列表，其中，所述空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块以及左上侧相邻块。

根据一些实施例，一种示例性方法包括：基于预设的数量限制，将一组空间合并候选项插入到编码块的合并候选列表中。如果所述数量限定为2，则将所述空间合并候选项按照以下顺序插入所述合并候选列表：上侧相邻块，左侧相邻块。如果所述数量限定为3，则将所述空间合并候选项按照以下顺序插入所述合并候选列表：上侧相邻块、左侧相邻块、上侧相邻块。

根据一些实施例，一种示例性方法包括：将一组空间合并候选项插入到编码块的合并候选列表中，其中：当对所述编码块应用第一编码模式时，按照第一构建顺序插入所述空间合并候选项；当对所述编码块应用第二编码模式时，按照第二构建顺序插入所述空间合并候选项，所述第一构建顺序与所述第二构建顺序不同。

根据一些实施例，一种示例性方法包括：将一组空间合并候选项插入到编码块的合并候选列表中，其中：当所述编码块属于低延迟图片时，按照第一构建顺序插入所述空间合并候选项；当所述编码块属于非低延迟图片时，按照第二构建顺序插入所述空间合并候选项，所述第一构建顺序与所述第二构建顺序不同。

附图说明

以下具体实施方式和附图中示出了本申请的实施例和各个方面。图中所示的各种特征未按比例绘制。

图1根据本申请的一些实施例示出了示例视频序列的结构。

图2A示出了与本申请实施例一致的混合视频编码系统的示例性编码过程的示意图。

图2B示出了与本申请实施例一致的混合视频编码系统的另一示例性编码过程的示意图。

图3A示出了与本申请实施例一致的混合视频编码系统的示例性解码过程的示意图。

图3B示出了与本申请实施例一致的混合视频编码系统的另一示例性解码过程的示意图。

图4示出了与本申请的实施例一致的用于编码或解码视频的示例性装置的框图。

图4B示出了与本申请的实施例一致的空间合并候选项的示例性位置。

图4C示出了与本申请实施例一致的时间合并候选项的示例性位置。

图5示出了与本申请的实施例一致的时间合并候选项的示例性缩放。

图6示出了与本申请的实施例一致的合并模式下距离指数和预定义偏移与运动矢量差(MMVD)的示例性关系。

图7示出了与本申请的实施例一致的空间合并候选项的示例性位置。

图8示出了与本申请的实施例一致的、与随机接入(RA)配置下的VTM-6相比的示例性实验结果。

图9示出了与本申请的实施例一致的、与低延迟(LD)配置下的VTM-6相比的示例性实验结果。

图10示出了与本申请的实施例一致的、与RA配置下的VTM-6相比的示例性实验结果。

图11示出了与本申请的实施例一致的、与LD配置下的VTM-6相比的示例性实验结果。

图12示出了与本申请的实施例一致的片段报头的示例性语法结构。

图13示出了与本申请实施例一致的序列参数集(SPS)的示例性语法结构。

图14示出了与本申请实施例一致的图片参数集(PPS)的示例性语法结构。

图15示出了与本申请的实施例一致的、与RA配置下的VTM-6相比的示例性实验结果。

图16示出了与本申请的实施例一致的、与LD配置下的VTM-6相比的示例性实验结果。

图17示出了与本申请的实施例一致的、与RA配置下的VTM-6相比的示例性实验结果。

图18示出了与本申请的实施例一致的、与LD配置下的VTM-6相比的示例性实验结果。

图19示出了与本申请实施例一致的示例性视频处理方法的流程图。

具体实施方式

现在可以详细参考示例实施例，其示例如附图所示。以下参考附图进行描述，其中不同附图中相同的数字表示相同或相似的要素，除非另有说明。以下示例实施例的描述中阐述的实施方式并不代表与本申请一致的所有实施方式。相反，它们仅仅是与所附权利要求中所述的与本申请相关的方面一致的装置和方法的示例。下文更详细地描述了本申请的特定方面。如果与通过引用并入的术语和/或定义相冲突，则以本文提供的术语和定义为准。

视频是按时间序列排列以存储视觉信息的帧。视频捕获设备(例如，相机)可用于按时间顺序捕获和存储这些图片，并且视频播放设备(例如，电视、计算机、智能手机、平板电脑、视频播放器或任何具有显示功能的终端用户终端)可用于按时间顺序显示此类图片。此外，在一些应用中，视频捕获设备可以实时地将捕获的视频传输到视频播放设备(例如，具有监视器的计算机)，例如用于监控、会议或直播。

为了减少此类应用所需的存储空间和传输带宽，可以在存储和传输之前对视频进行压缩，并在显示之前对其进行解压缩。压缩和解压缩可以通过处理器(例如，通用计算机的处理器)或专用硬件执行的软件来实现。用于压缩的模块通常称为“编码器”，用于解压的模块通常称为“解码器”。编码器和解码器可以统称为“编解码器”。编码器和解码器可以被实现为多种合适的硬件、软件或其组合中的任何一种。例如，编码器和解码器的硬件实现可以包括电路，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、或其任何组合。编码器和解码器的软件实现可以包括程序代码、计算机可执行指令、固件或固定在计算机可读介质中的任何合适的计算机实现算法或过程。视频压缩和解压缩可以通过各种算法或标准来实现，例如MPEG-1、MPEG-2、MPEG-4、H.26x系列等。在一些应用中，编解码器可以从第一编码标准解压视频，并使用第二编码标准重新压缩解压后的视频，在这种情况下，编解码器可以称为“转码器”。

视频编码过程可以识别和保留可以用于重构图片的有用信息，并且忽略重构过程中的不重要的信息。如果无法完全重构被忽视的、不重要的信息，则这种编码过程可以称为“有损”。否则，它可以被称为“无损”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传输带宽而做出的权衡。

正在编码的图片(称为“当前图片”)的有用信息包括相对于参考图片(例如，先前编码和重构的图片)的变化。这种变化可以包括像素的位置变化、亮度变化或颜色变化，其中位置变化最受关注。代表对象的一组像素的位置变化可以反映对象在参考图片和当前图片之间的运动。

在不参考另一个图片的情况下编码的图片(即，它是它自己的参考图片)被称为“I-图片”。使用先前图片作为参考图片编码的图片被称为“P-图片”。使用先前图片和未来图片作为参考图片(即，参考是“双向”)编码的图片被称为“B-图片”。

为了使用一半带宽实现与HEVC/H.265相同的主观质量，JVET一直在使用联合探索模型(JEM)参考软件开发HEVC之外的技术。随着编码技术被纳入JEM，JEM实现了比HEVC更高的编码性能。

VVC标准进一步包括更多编码技术，其提供了更好的压缩性能。VVC基于与现代视频压缩标准(如HEVC、H.264/AVC、MPEG2、H.263等)中使用的相同混合视频编码系统。在VVC中，可以构建包含新合并候选项的合并候选列表。对于不同的帧间模式，应用不同尺寸的合并列表。本申请实施例考虑了VVC中的新合并候选项(例如HMVP、成对平均)和新的帧间模式(例如MMVD、TPM)。例如，可以改进空间合并候选项的顺序，可以调整空间合并候选项的数量。此外，对于常规模式、MMVD和TPM模式，空间合并候选项的结构是固定的。

图1图示了根据本申请的一些实施例的示例视频序列100的结构。视频序列100可以是实时视频或已被捕获和存档的视频。视频100可以是现实生活中的视频、计算机生成的视频(例如，计算机游戏视频)或其组合(例如，具有增强现实效果的现实生活中的视频)。视频序列100可以从视频捕获设备(例如，相机)、包含先前所捕获视频的视频档案(例如，存储在存储设备中的视频文件)或视频输入接口(例如，视频广播收发器)输入，以接收来自视频内容提供商的视频。

如图1所示，视频序列100可以包括沿时间线时间排列的一系列图片，包括图片102、104、106和108。图片102-106是连续的，并且在图片106和108之间存在更多图片。在图1中，图片102是I图片，其参考图片是图片102本身。图片104是P-图片，如箭头所示，其参考图片是图片102。图片106是B图片，如箭头所示，其参考图片是图片104和108。在一些实施例中，图片(例如，图片104)的参考图片可以不直接位于图片之前或之后。例如，图片104的参考图片可以是图片102之前的图片。需要说明的是，图片102-106的参考图片仅为示例，本申请并不将参考图片的实施例限制为图1中所示的示例。

由于此类任务的计算复杂性，视频编解码器通常不会一次对整个图片进行编码或解码。相反，他们可以将图片分割成基本的片段，并逐段对图片进行编码或解码。在本申请中，这些基本的片段被称为基本处理单元(“BPU”)。例如，图1中的结构110示出了视频序列100的图片(例如，图片102-108中的任一个)的示例结构。在结构110中，图片被划分为4×4个基本处理单元，其边界显示为虚线。在一些实施例中，基本处理单元在一些视频编码标准(例如，MPEG系列、H.261、H.263或H.264/AVC)中可以被称为“宏块”，或者在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中被称为“编码树单元”(“CTU”)。图片中的基本处理单元可以有不同的尺寸，例如128×128、64×64、32×32、16×16、4×8、16×32或任意形状和尺寸的像素。可以基于编码效率与欲保留在基本处理单元中的详细程度之间的平衡，来为图片选择基本处理单元的大小和形状。

基本处理单元可以是逻辑单元，其可以包括存储在计算机存储器中(例如，在视频帧缓冲器中)的一组不同类型的视频数据。例如，彩色图片的基本处理单元可以包括表示消色差亮度信息的亮度分量(Y)、表示颜色信息的一个或多个色度分量(例如，Cb和Cr)以及相关联的语法元素，其中亮度和色度分量可以具有相同大小的基本处理单元。在一些视频编码标准(例如，H.265/HEVC或H.266/VVC)中，亮度和色度分量可以称为“编码树块”(“CTB”)。对基本处理单元执行的任何操作都可以对其每个亮度和色度分量重复执行。

视频编码具有多个操作阶段，其示例在图2A-2B和图3A-3B中示出。对于每个阶段，基本处理单元的大小仍然可能太大而无法处理，因此可以进一步划分为本申请中称为“基本处理子单元”的段。在一些实施例中，基本处理子单元在一些视频编码标准中可以被称为“块”(例如，MPEG系列、H.261、H.263或H.264/AVC)，或在某些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中被称为“编码单元”(“CU”)。基本处理子单元可以具有与基本处理单元相同或更小的尺寸。与基本处理单元类似，基本处理子单元也是逻辑单元，其可以包括存储在计算机存储器(例如，在视频帧缓冲区中)。对基本处理子单元执行的任何操作都可以对其每个亮度和色度分量重复执行。应该注意的是，可以根据处理需求，将该种划分执行到更进一步的层级。还需要注意的是，不同的阶段可以使用不同的方案来划分基本处理单元。

例如，在模式决定阶段(其示例在图2B中示出)，编码器可以决定为一个基本处理单元使用何种预测模式(例如，图片内预测或图片间预测)，而该基本处理单元可能太大而无法做出这样的决策。编码器可以将基本处理单元拆分为多个基本处理子单元(例如，H.265/HEVC或H.266/VVC中的CU)，并为每个单独的基本处理子单元确定预测类型。

对于另一示例，在预测阶段(其示例在图2A-2B中示出)，编码器可以在基本处理子单元(例如，CU)的层级执行预测操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元拆分为更小的片段(例如，在H.265/HEVC或H.266/VVC中称为“预测块”或“PB”)，在该段的层级上可以执行预测操作。

对于另一示例，在变换阶段(其示例在图2A-2B中示出)，编码器可以对残差基本处理子单元(例如，CU)执行变换操作。但是，在某些情况下，这些基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元分割成更小的片段(例如，在H.265/HEVC或H.266/VVC中称为“变换块”或“TB”)，在该段的层级上可以执行变换操作。需要说明的是，同一基本处理子单元的划分方案在预测阶段和变换阶段可以不同。例如，在H.265/HEVC或H.266/VVC中，同一个CU的预测块和变换块可以具有不同的大小和数量。

在图1的结构110中，基本处理单元112进一步划分为3×3个基本处理子单元，其边界如虚线所示。在不同方案中，同一张图片的不同基本处理单元可以划分为不同的基本处理子单元。

在一些实施方式中，为了对视频编码和解码提供并行处理和容错能力，可以将图片划分为多个处理区域，这样，使得对于图片的某个区域，编码或解码过程可以不依赖于来自图片任何其他区域的信息。换句话说，图片的每个区域都可以独立处理。通过该种方式，编解码器可以并行处理图片的不同区域，从而提高编码效率。此外，当一个区域的数据在处理过程中被破坏或在网络传输中丢失时，编解码器可以在不依赖损坏或丢失的数据的情况下正确地对同一图片的其他区域进行编码或解码，从而提供容错能力。在一些视频编码标准中，可以将图片划分为不同类型的区域。例如，H.265/HEVC和H.266/VVC提供了两种类型的区域；“片段”和“拼贴”。还应注意，视频序列100的不同图片可以具有用于将图片划分为区域的不同划分方案。

例如，在图1中，结构110被划分为三个区域114、116和118，其边界在结构110内部显示为实线。区域114包括四个基本处理单元。区域116和118中的每一个都包括六个基本处理单元。应当注意的是，图1中的结构110的基本处理单元、基本处理子单元和区域仅是示例，并且本申请不限制其实施。

图2A示出了与本申的实施例一致的示例编码过程200A的示意图。例如，编码过程200A可以由编码器执行。如图2A所示，编码器可以根据编码过程200A将视频序列202编码成视频码流228。类似于图1中的视频序列100，视频序列202可以包括按时间顺序排列的一组图片(称为“原始图片”)。类似于图1中的结构110，编码器可以将视频序列202的每个原始图片划分为基本处理单元、基本处理子单元或用于处理的区域。在一些实施例中，编码器可以针对视频序列202的每个原始图片在基本处理单元层级执行编码过程200A。例如，编码器可以以迭代方式执行编码过程200A，其中编码器可以在过程200A的一次迭代中对基本处理单元进行编码。在一些实施例中，编码器可以针对视频序列202的每个原始图片的区域(例如，区域114-118)并行执行过程200A。

在图2A中，编码器可以将视频序列202的原始图片的基本处理单元(称为“原始BPU”)输入到预测级204，以生成预测数据206和预测BPU 208。编码器可以从原始BPU中减去预测BPU 208，以生成残差BPU 210。编码器可以将残差BPU 210输入到变换阶段212和量化级214以生成量化变换系数216。编码器可以将预测数据206和量化变换系数216输入到二进制编码级226，以生成视频码流228。组件202、204、206、208、210、212、214、216、226和228可以称为“前向路径”。在过程200A期间，在量化阶段214之后，编码器可以将量化变换系数216输入到逆量化级218和逆变换阶段220，以生成重构残差BPU 222。编码器可以将重构残差BPU 222添加到预测BPU 208，以生成预测参考224，其在预测阶段204中用于过程200A的下一次迭代。过程200A的组件218、220、222和224可以被称为“重构路径”。重构路径可用于确保编码器和解码器都使用相同的参考数据进行预测。

编码器可以迭代地执行过程200A，以对原始图片的每个原始BPU(在前向路径中)进行编码，并且生成用于编码原始图片的下一个原始BPU(在重构路径中)的预测参考224。在对原始图片的所有原始BPU进行编码之后，编码器可以继续对视频序列202中的下一张图片进行编码。

参考过程200A，编码器可以接收由视频捕获设备(例如，相机)生成的视频序列202。此处使用的术语“接收”可以指接收、输入、获取、检索、获取、读取、访问或用于输入数据的任何方式的任何动作。

在预测阶段204，在当前迭代中，编码器可以接收原始BPU和预测参考224，并且执行预测操作以生成预测数据206和预测BPU 208。可以从过程200A的上一次迭代的重构路径生成预测参考224。预测级204的目的是通过从预测数据206和预测参考224提取可用于将原始BPU重构为预测BPU 208的预测数据206，以此来减少信息冗余。

理想情况下，预测的BPU 208可以与原始BPU相同。然而，由于非理想的预测和重构操作，预测的BPU 208通常与原始BPU略有不同。为了记录这种差异，在生成预测的BPU 208之后，编码器可以从原始BPU中减去它，以生成残差BPU 210。例如，编码器可以从预测的BPU208对应的像素的值(例如，灰度值或RGB值)中减去原始BPU对应像素的值。残差BPU 210的每个像素可以具有作为原始BPU和预测BPU 208的对应像素之间的这种相减结果的残差值。与原始BPU相比，预测数据206和残差BPU 210可以具有更少的比特，但是它们可用于重构原始BPU而不会显着降低质量，从而对原始BPU进行压缩。

为了进一步压缩残余BPU 210，在变换阶段212中，编码器可以通过将残余BPU 210分解为一组二维“基本模式”来减少其空间冗余，每个基本模式与“变换系数”相关联。基本模式可以具有相同的大小(例如，剩余BPU 210的大小)。每个基本模式可以表示残差BPU210的变化频率(例如，亮度变化的频率)分量。任何基本模式都不能从任何其他基本模式的任何组合(例如，线性组合)中再现。换言之，所述分解可以将残差BPU 210的变化分解成频域。这种分解类似于函数的离散傅里叶变换，其中基本模式类似于离散傅里叶变换的基函数(例如，三角函数)，并且变换系数类似于与基函数相关的系数。

不同的变换算法可以使用不同的基本模式。在变换阶段212中，可以使用各种变换算法，例如离散余弦变换、离散正弦变换等。在变换阶段212的变换是可逆的。也就是说，编码器可以通过变换的逆运算(称为“逆变换”)来恢复残差BPU 210。例如，为了恢复残差BPU210的像素，逆变换可以是将基本模式的对应像素的值乘以相应的相关系数，并且将乘积相加以产生加权和。对于视频编码标准，编码器和解码器都可以使用相同的变换算法(因此基本模式相同)。因此，编码器可以仅记录变换系数，解码器可以从变换系数重构残差BPU210，而无需从编码器接收基本模式。与残差BPU 210相比，变换系数可以具有更少的比特，但它们可以用于重构残差BPU 210而不会显着降低质量。因此，残差BPU 210被进一步压缩。

所述编码器可以在量化阶段214进一步压缩变换系数。在变换过程中，不同的基本模式可以表示不同的变化频率(例如，亮度变化频率)。由于人眼通常更擅长识别低频变化，因此编码器可以忽略高频变化的信息，而不会导致解码质量明显下降。例如，在量化阶段214，编码器可以通过将每个变换系数除以整数值(称为“量化参数”)，并将商四舍五入到其最接近的整数来生成量化变换系数216。经过该种操作，可以将高频基本模式的一些变换系数转换为零，而低频基本模式的变换系数可以转换为更小的整数。编码器可以忽略零值量化变换系数216，通过该变换系数进一步压缩变换系数。量化过程也是可逆的，其中量化变换系数216可以在量化的逆运算(称为“逆量化”)中重构为变换系数。

因为编码器在舍入操作中忽略这种除法的余数，所以量化阶段214可能是有损的。通常，量化阶段214可以在过程200A中造成最大的信息损失。信息损失越大，量化变换系数216可能需要的比特就越少。为了获得不同程度的信息损失，编码器可以使用不同的量化参数值或量化过程中的任何其他参数。

在二进制编码阶段226，编码器可以使用二进制编码技术(例如熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码，或任何其他无损或有损压缩算法)对预测数据206和量化变换系数216进行编码。在一些实施例中，除了预测数据206和量化变换系数216之外，编码器可以在二进制编码阶段226编码其他信息，例如在预测阶段204使用的预测模式、预测操作的参数、变换阶段212的变换类型、量化过程的参数(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。编码器可以使用二进制编码级226的输出数据来生成视频码流228。在一些实施例中，视频码流228可以被进一步打包用于网络传输。

参考过程200A的重构路径，在逆量化阶段218，编码器可以对量化变换系数216执行逆量化以生成重构的变换系数。在逆变换阶段220，编码器可以基于重构的变换系数生成重构的残差BPU 222。编码器可以将重构的残差BPU 222添加到预测的BPU 208，以生成将在过程200A的下一次迭代中使用的预测参考224。

应当注意的是，过程200A的其他变体也可以用于编码视频序列202。在一些实施例中，编码器可以以不同的顺序执行过程200A的各个阶段。在一些实施例中，过程200A的一个或多个阶段可以组合成单个阶段。在一些实施例中，过程200A的单个阶段可以分为多个阶段。例如，变换阶段212和量化阶段214可以组合成单个阶段。在一些实施例中，过程200A可以包括附加阶段。在一些实施例中，过程200A可以省略图2中的一个或多个阶段。

图2B示出了与本申请的实施例一致的另一示例编码过程200B的示意图。可以从过程200A修改过程200B。例如，过程200B可由符合混合视频编码标准(例如，H.26x系列)的编码器使用。与过程200A相比，过程200B的前向路径额外包括模式判定阶段230，并将预测阶段204分为空间预测阶段2042和时间预测阶段2044。过程200B的重构路径额外包括环路滤波器阶段232和缓冲器234。

通常，预测技术可以分为两种类型：空间预测和时间预测。空间预测(例如，图片内预测或“帧内预测”)可以使用来自同一图片中一个或多个已编码相邻BPU的像素来预测当前BPU。也就是说，空间预测中的预测参考224可以包括相邻的BPU。空间预测可以减少图片固有的空间冗余。时间预测(例如，图片间预测或“帧间预测”)可以使用来自一个或多个已编码图片的区域来预测当前BPU。也就是说，时间预测中的预测参考224可以包括编码图片。时间预测可以减少图片的固有时间冗余。

参考过程200B，在前向路径中，编码器在空间预测阶段2042和时间预测阶段2044执行预测操作。例如，在空间预测阶段2042，编码器可以执行帧内预测。对于正被编码的图片的原始BPU，预测参考224可以包括已经在相同图片中编码(在前向路径中)和重构(在重构路径中)的一个或多个相邻BPU。编码器可以通过外推相邻的BPU来生成预测的BPU 208。外推技术可以包括例如线性外推或内插、多项式外推或内插等。在一些实施例中，编码器可以在像素级执行外推，例如通过为预测的BPU 208的每个像素外推相应像素的值。用于外推的相邻BPU可以相对于原始BPU从各个方向定位，例如在垂直方向(例如，在原始BPU的上侧)、水平方向(例如，在原始BPU的左侧)、对角线方向(例如，原始BPU的左下、右下、左上或右上)，或在使用的视频编码标准中定义的任何方向。对于帧内预测，预测数据206可以包括例如使用的相邻BPU的位置(例如坐标)、使用的相邻BPU的大小、外推参数、使用的相邻BPU相对于原始BPU的方向等。

对于另一示例，在时间预测阶段2044，编码器可以执行帧间预测。对于当前图片的原始BPU，预测参考224可以包括已经编码(在前向路径中)和重构(在重构路径中)的一个或多个图片(称为“参考图片”)。在一些实施例中，可以通过BPU对参考图片进行编码和重构。例如，编码器可以将重构的残差BPU 222添加到预测的BPU 208以生成重构的BPU。当生成相同图片的所有重构BPU时，编码器可以生成重构的图片作为参考图片。编码器可以执行“运动估计”操作，以在参考图片的范围(称为“搜索窗口”)中搜索匹配区域。参考图片中搜索窗口的位置可以根据当前图片中原始BPU的位置来确定。例如，搜索窗口可以在参考图片中与当前图片中的原始BPU具有相同坐标的位置居中，并且可以向外延伸预定距离。当编码器在搜索窗口中识别(例如，通过使用像素递归算法、块匹配算法等)类似于原始BPU的区域时，编码器可以确定这样的区域作为匹配区域。匹配区域可以具有与原始BPU不同的尺寸(例如，小于、等于、大于或形状不同)。由于参考图片和当前图片在时间轴中被暂时分离(例如，如图1所示)，因此可以认为，随着时间的推移，匹配区域“移动”到原始BPU的位置。编码器可以将这种运动的方向和距离记录为“运动矢量”，当使用多个参考图片(例如，如图1中的图片106)时，编码器可以搜索匹配区域，并为每个参考图片确定其相关联的运动矢量。在一些实施例中，编码器可以将权重分配给各个匹配参考图片的匹配区域的像素值。

运动估计可用于识别各种类型的运动，例如平移、旋转、缩放等。对于帧间预测，预测数据206可以包括例如匹配区域的位置(例如坐标)、与匹配区域相关联的运动矢量、参考图片的数量、与参考图片相关联的权重等。

为了生成预测的BPU 208，编码器可以执行“运动补偿”操作。运动补偿可用于基于预测数据206(例如，运动矢量)和预测参考224来重构预测的BPU 208。例如，编码器可以根据运动矢量移动参考图片的匹配区域，其中编码器可以预测当前图片的原始BPU。当使用多个参考图片时(例如，如图1中的图片106)，编码器可以根据匹配区域的相应运动矢量和平均像素值来移动参考图片的匹配区域。在一些实施例中，如果编码器已将权重分配给各个匹配参考图片的匹配区域的像素值，则编码器可以添加移动的匹配区域的像素值的加权和。

在一些实施例中，帧间预测可以是单向的或双向的。单向帧间预测可以在与当前图片相同的时间方向上使用一个或多个参考图片。例如，图1中的图片104是单向帧间预测图片，其中参考图片(即，图片102)在图片104之前。双向帧间预测可以在相对于当前图片的两个时间方向上使用一个或多个参考图片。例如，图1中的图片106是双向帧间预测图片，其中参考图片(即图片104和108)相对于图片104处于两个时间方向。

仍然参考过程200B的前向路径，在空间预测阶段2042和时间预测阶段2044之后，在模式决定阶段230，编码器可以对过程200B的当前迭代选择预测模式(例如，帧内预测或帧间预测之一)。例如，编码器可以执行率失真优化技术，其中编码器可以根据候选预测模式的比特率和在候选预测模式下重构的参考图片的失真来选择预测模式，以最小化代价函数的值。根据选择的预测模式，编码器可以生成对应的预测BPU 208和预测数据206。

在过程200B的重构路径中，如果在前向路径中选择了帧内预测模式，则在生成预测参考224(例如，在当前图片中已经被编码和重构的当前BPU)之后，编码器可以直接将预测参考224输入到空间预测级2042以供以后使用(例如，用于外推当前图片的下一个BPU)。如果已在前向路径中选择了帧间预测模式，则在生成预测参考224(例如，其中所有BPU已被编码和重构的当前图片)之后，编码器可以将预测参考224输入到环路滤波器阶段232，此时，编码器可以将环路滤波器应用于预测参考224，以减少或消除由帧间预测引入的失真(例如，块效应)。编码器可以在环路滤波器阶段232应用各种环路滤波器技术，例如去块、采样自适应偏移、自适应环路滤波器等。环路滤波的参考图片可以存储在缓冲器234(或“解码的图片缓冲器”)中以供以后使用(例如，用作视频序列202的未来图片的帧间预测参考图片)。编码器可以将一个或多个参考图片存储在缓冲器234中以在时间预测阶段2044使用。在一些实施例中，编码器可以在二进制编码阶段226编码环路滤波器的参数(例如，环路滤波器强度)，以及量化变换系数216、预测数据206和其他信息。

图3A示出了与本申请的实施例一致的示例解码过程300A的示意图。过程300A可以是对应于图2中的压缩过程200A的解压缩过程。在一些实施例中，过程300A可以类似于过程200A的重构路径。解码器可以根据过程300A将视频码流228解码成视频流304。视频流304可以与视频序列202非常相似。然而，由于压缩和解压缩过程中的信息丢失(例如，图2A-2B中的量化阶段214)，通常，视频流304与视频序列202不同。类似于图2A-2B中的过程200A和200B，解码器可以在基本处理单元(BPU)层级对视频码流228中编码的每个图片执行过程300A。例如，解码器可以以迭代方式执行过程300A，其中解码器可以在解码过程300A的一次迭代中解码基本处理单元。在一些实施例中，解码器可以对视频码流228中编码的每个图片的区域(例如，区域114-118)并行执行过程300A。

在图A中，所述解码器可以将与编码图片的基本处理单元(称为“编码BPU”)相关联的视频码流228的一部分输入到二进制解码阶段302。在二进制解码阶段302，解码器可以将该部分解码为预测数据206和量化变换系数216。所述解码器可以将量化变换系数216输入到逆量化阶段218和逆变换阶段220以生成重构的残差BPU 222。解码器可以将预测数据206输入到预测阶段204以生成预测的BPU 208.解码器可以将重构的残差BPU 222添加到预测的BPU 208以生成预测的参考224。在一些实施例中，可以将预测的参考224存储在缓冲器中(例如，计算机存储器中的解码图片缓冲器)。解码器可以将预测参考224输入到预测阶段204，用于在过程300A的下一次迭代中执行预测操作。

解码器可以迭代地执行过程300A，以解码编码图片的每个编码BPU，并且生成用于对编码图片的下一个编码BPU进行编码的预测参考224。在对编码图片的所有编码BPU进行解码后，解码器可以将图片输出到视频流304以供显示，并继续对视频码流228中的下一个编码图片进行解码。

在二进制解码阶段302，解码器可以执行编码器使用的二进制编码技术的逆运算(例如，熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损压缩算法)。在一些实施例中，除了预测数据206和量化变换系数216之外，解码器还可以在二进制解码阶段302解码其他信息，例如预测模式、预测操作的参数、变换类型、量化参数过程(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。在一些实施例中，如果视频码流228通过网络以分组的形式传输，则解码器可以在将视频码流228输入到二进制解码阶段302之前对其进行解包。

图3B示出了与本申请的实施例一致的另一示例解码过程300B的示意图。过程300B可以从过程300A修改而来。例如，过程300B可由符合混合视频编码标准(例如，H.26x系列)的解码器使用。与过程300A相比，过程300B另外将预测阶段204划分为空间预测阶段2042和时间预测阶段2044，并且另外包括环路滤波器阶段232和缓冲器234。

在过程300B中，对于正被解码的编码图片(称为“当前图片”)的编码基本处理单元(称为“当前BPU”)，由解码器从二进制解码级302解码的预测数据206可以包括各种类型的数据，这取决于编码器使用什么预测模式对当前BPU进行编码。例如，如果编码器使用帧内预测来编码当前BPU，则预测数据206可以包括指示帧内预测的预测模式指示符(例如，标志值)、帧内预测操作的参数等。帧内预测操作的参数可以包括，例如，用作参考的一个或多个相邻BPU的位置(例如，坐标)、相邻BPU的大小、外推参数、相邻BPU相对于原始BPU的方向等。例如，如果编码器使用帧间预测来编码当前BPU，则预测数据206可以包括指示帧间预测的预测模式指示符(例如，标志值)、帧间预测操作的参数等，帧间预测操作的参数可以包括例如与当前BPU相关联的参考图片的数量、分别与参考图片相关联的权重、相应参考图片中一个或多个匹配区域的位置(例如坐标)、一个或多个分别与匹配区域相关联的运动矢量等。

基于预测模式指示符，解码器可以决定是在空间预测阶段2042执行空间预测(例如，帧内预测)还是在时间预测阶段2044执行时间预测(例如，帧间预测)。执行这种空间预测或时间预测的细节在图2B中描述，以下不再赘述。在执行这种空间预测或时间预测之后，解码器可以生成预测的BPU 208。如图3A中所描述的，解码器可以添加预测的BPU 208和重构的残差BPU 222以生成预测参考224。

在过程300B中，解码器可以将预测参考224输入到空间预测级2042或时间预测级2044，以在过程300B的下一次迭代中执行预测操作。例如，如果在空间预测阶段2042使用帧内预测对当前BPU进行解码，则在生成预测参考224(例如，解码的当前BPU)之后，解码器可以将预测参考224直接输入到空间预测阶段2042以供以后使用(例如，用于外推当前图片的下一个BPU)。如果当前BPU在时间预测阶段2044使用帧间预测被解码，则在生成预测参考224(例如，其中所有BPU已被解码的参考图片)之后，编码器可以将预测参考224输入到环路滤波器阶段232，以减少或消除失真(例如，块状伪影)。解码器可以以图2B中描述的方式将环路滤波器应用于预测参考224。环路滤波的参考图片可以存储在缓冲器234中(例如，计算机存储器中的解码图片缓冲器)以供以后使用(例如，用作视频码流228的未来编码图片的帧间预测参考图片)。解码器可以在缓冲器234中存储一个或多个参考图片以在时间预测阶段2044使用。在一些实施例中，当预测数据206的预测模式指示符指示帧间预测被用于编码当前BPU时，预测数据可以进一步包括环路滤波器的参数(例如，环路滤波器强度)。

图4A是与本申请的实施例一致的用于对视频进行编码或解码的示例装置400的框图。如图4A所示，装置400可以包括处理器402。当处理器402执行此处描述的指令时，装置400可以成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路。例如，处理器402可以包括任何数量的中央处理单元(或“CPU”)、图形处理单元(或“GPU”)、神经处理单元(“NPU”)、微控制器单元(“MCU”)、光处理器、可编程逻辑控制器、微控制器、微处理器、数字信号处理器、知识产权(IP)内核、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、通用阵列逻辑(GAL)、复杂可编程逻辑器件(CPLD)、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)等。在一些实施例中，处理器402也可以是被分组为单个逻辑控制器的一组处理器。例如，如图4A所示，处理器402可以包括多个处理器，包括处理器402a、处理器402b和处理器402n。

设备400还可以包括被配置为存储数据(例如，一组指令、计算机代码、中间数据等)的存储器404。例如，如图4A所示，所存储的数据可以包括程序指令(例如，用于实现过程200A、200B、300A或300B中的阶段的程序指令)和用于处理的数据(例如，视频序列202、视频码流228或视频流304)。处理器402可以访问程序指令和数据以进行处理(例如，通过总线410)，并执行程序指令以对数据进行操作或操纵以进行处理。存储器404可以包括高速随机存取存储设备或非易失性存储设备。在一些实施例中，存储器404可以包括任意数量的随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(SD)卡、记忆棒、紧凑型闪存(CF)卡等。存储器404也可以是分组为单个逻辑组件的一组存储器(图4A中未示出)。

总线410可以是在装置400内部的组件之间传输数据的通信设备，诸如内部总线(例如，CPU-存储器总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)等。

为了便于解释而不引起歧义，在本申请中将处理器402和其他数据处理电路统称为“数据处理电路”。所述数据处理电路可以完全实现为硬件，或者软件与硬件的组合，或固件。此外，数据处理电路可以是单个独立模块，或者可以完全或部分组合到装置400的任何其他组件中。

设备400还可包括网络接口406，以提供与网络(例如，因特网、内联网、局域网、移动通信网络等)相关的有线或无线通信。在一些实施例中，网络接口406可以包括任意数量的网络接口控制器(NIC)、射频(RF)模块、转发器、收发器、调制解调器、路由器、网关、有线网络适配器的任意组合、无线网络适配器、蓝牙适配器、红外适配器、近场通信(“NFC”)适配器、蜂窝网络芯片等。

在一些实施例中，可选地，装置400可以进一步包括外围接口408，以提供到一个或多个外围设备的连接。如图4A所示，外围设备可以包括但不限于光标控制设备(例如鼠标、触摸板或触摸屏)、键盘、显示器(例如阴极射线管显示器、液晶显示器)。显示器或发光二极管显示器)、视频输入设备(例如，摄像机或通信耦合到视频档案的输入接口)等。

应当注意，视频编解码器(例如，执行过程200A、200B、300A或300B的编解码器)可以实现为装置400中的任何软件或硬件模块的任何组合。例如，一些或所有阶段的过程200A、200B、300A或300B可以被实现为装置400的一个或多个软件模块，例如可以加载到存储器404中的程序指令。再例如，过程200A、200B、300A或300B的部分或所有阶段可以被实现为装置400的一个或多个硬件模块，例如专用数据处理电路(例如，FPGA、ASIC、NPU等)。

对于使用帧间预测编码的CU，先前解码的图片(即，参考图片)中的参考块被认定为预测因子。参考图片中的参考块与当前图片中的编码块之间的相对位置被定义为运动矢量(MV)。所述当前CU的运动信息由预测变量的数量、参考图片指数和相应的MV指定。在基于所述运动信息、通过运动补偿而获得所述预测后，预测信号与原始信号之间的残差可以额外经过变换、量化和熵编码，然后被打包到输出码流中。

在某些情况下，可以使用当前CU的时空相邻CU的运动信息，来预测所述当前CU的运动信息。可以采用合并模式来减少运动信息的编码位。在所述合并模式下，运动信息是从空间或时间相邻块导出的，并可以用标记的合并索引来指示从哪个相邻块中导出运动信息。

在HEVC中，可以基于以下候选项构建合并候选列表：

(1)来源于五个空间相邻块的最多四个空间合并候选项；

(2)来源于时间同位块的一个时间合并候选项；

(3)额外的合并候选项，包括组合双向预测候选项和零运动矢量候选项。

合并候选列表中的第一候选项是空间邻居。图4B显示了五个空间候选项的位置。根据顺序{A1，B1，B0，A0，B2}，检查每个候选位置的可用性。如果空间相邻块是帧内预测的，或者位置在当前片段或分片之外，则可以将其视为不可用的合并候选项(合并候选块)。此外，可以执行一些冗余检查，以确保来自相邻块的运动数据尽可能唯一。为了降低由于冗余检查而导致的复杂性，可以仅执行有限的冗余检查，而且，唯一性可能并不总是能得到保证。例如，给定{A1,B1,B0,A0,B2}的顺序，B0只检查B1，A0只检查A1，B2只检查A1和B1。

如图4C所示，对于时间合并候选项，如果可用，则使用参考图片的并置块外部的右下位置C0。否则，可以使用中心位置C1来代替。可以通过在片段报头中标记的索引来表示哪个参考图片列表用于并置参考图片。如图5所示，在插入到合并列表之前，可以根据图片顺序计数(POC)的差异对共定位块的MV进行缩放。

可以在片段报头中指定合并候选项的最大数量C。如果找到的可用合并候选项(包括所述时间候选项)的数量大于C，则仅保留前C-1个空间候选项和时间候选项。否则，如果可用的合并候选项的数量小于C，则会生成额外的候选项，直到该数量等于C。因为解析编码数据的能力不依赖于可用的合并候选项的数量，因此可以简化解析并使其更加健壮。在通用测试条件(CTC)中，合并候选项的最大数量C设置为5。

对于B片段，根据参考图片列表0和列表1的预定义顺序，通过组合两个可用候选项来生成额外的合并候选项。例如，第一个生成的候选项使用列表0的第一合并候选项、以及使用列表1的第二合并候选项。HEVC在已经构建好的合并候选列表中指定了共12对预定义的两个运动向量对，它们的顺序为(0,1)，(1,0)，(0,2)，(2,1)，(0,3)，(3,0)，(1,3)，(3,1)，(2,3)，(3,2)，(3,2)，(0,2)，(0,3)，(1,3)，(3,1)，(2,3)，(3,2)，其中(i,j)表示可用合并候选项的索引。其中，去除冗余条目后，最多可以包含五个候选项。

当所述片段是P片段或合并候选项的数量仍小于C时，与参考索引相关联的零运动矢量(从0到参考图片数减1)用于填充合并候选列表中的任何剩余条目。

在VVC中，合并候选列表是通过以下五种候选项按序构建的：

来自空间相邻CU的空间合并候选项；

来自并置CU的时间合并候选项；

来自FIFO表的基于历史的运动矢量预测器(HMVP)；

成对平均候选项；和

零MV。

空间合并候选项和时间合并候选项的定义与HEVC中的定义相同。在空间和时间合并候选之后，HMVP合并候选项被添加到合并列表中。在HMVP中，在先编码的块的运动信息存储在一个表中，并用作当前CU的运动矢量预测因子。在编码/解码过程中维护该包含多个HMVP候选项的表。当遇到新的CTU行时，该表被重置(清空)。当存在非子块帧间编码的CU时，相关联的运动信息作为新的HMVP候选项，被添加到表的最后一项中。

在VVC中，HMVP表大小可以设置为6，即，最多可以将6个HMVP候选项添加到表中。当向表中插入一个新的运动候选项时，可以利用约束先进先出(FIFO)规则，其中首先应用冗余检查来查找表中是否存在相同的HMVP。如果找到，则从表中删除相同的HMVP，然后可以将所有HMVP候选项向前移动。

在构建所述合并候选列表的过程中，依次检查表中最新的几个HMVP候选项，并插入到合并候选列表中，排在TMVP候选项之后。冗余检查可用于检查所述HMVP候选项与空间或时间合并候选项。

在插入HMVP候选项之后，如果所述合并候选列表尚未满，则添加成对平均候选项。通过对现有的合并候选列表中预定义的候选项对进行平均，来生成成对平均候选项。所述预定义的候选项对被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中，数字表示合并候选列表中的合并索引。为每个参考图片列表单独计算平均运动矢量。如果两个运动矢量在一个列表中都可用，则即使这两个运动矢量指向不同的参考图片，也会对其进行平均。如果只有一个运动矢量可用，则直接使用可用的运动矢量。如果没有可用的运动矢量，则认为该列表无效。

当在添加成对平均合并候选项后合并列表仍未满时，在最后插入零运动矢量，直到达到最大合并候选数。

在VVC中，除了常规的合并模式外，合并候选列表的构建还可以用于运动向量差模式(MMVD)和三角形分区模式(TPM)的合并模式。

在MMVD中，首先从合并候选列表中选择合并候选相，然后通过信号运动向量差(MVD)信息对其进行进一步细化。MMVD合并候选列表的大小被设置为2。可以标识合并候选项标志，以指定两个MMVD候选项中的哪一个被用作基准运动矢量(MV)。MVD信息可以通过距离指标和方向指标来表示。距离指标指定运动幅度信息，并指示与基准运动矢量MV之间的预设偏移量。距离指标与预设偏移量的关系如图6所示。方向指标指定添加到基准运动矢量MV的偏移量的符号，例如，0表示正号，1表示负号。

在TPM中，使用对角线分割或返对角线分割将CU均匀地分割成两个三角形分区。CU中的每个三角形分区都可以使用其自身的运动进行帧间预测。每个分区只允许单一预测。也就是说，每个分区具有一个运动矢量和一个参考指标。应用单一预测运动约束，以确保与双向预测类似，每个CU只需要两个运动补偿预测。如果当前CU使用三角形分区模式，则可以进一步使用一个标志来指示三角形分区的方向(对角线或反对角线)，以及两个合并索引(每个分区一个)。在预测每个三角形分区之后，使用具有自适应权重的混合处理来调整沿对角线或返对角线边缘的样本值。这对应于整个CU的预测信号，并且可以像在常规帧间模式中一样，将变换和量化过程应用于整个CU。可以构建合并候选列表。最大TPM合并候选项的数量可以在片段标头中明确表示，并在CTC中设置为5。

在VVC中，构建了合并候选列表，包括空间候选项、时间候选项、HMVP和成对平均候选项。针对不同的帧间模式，应用不同的合并列表大小。例如，空间合并候选项可以按照{A1，B1，B0，A0，B2}的顺序插入到合并列表中。然而，从HEVC到VVC，空间合并候选项的构建过程没有变化，它没有考虑VVC中新的合并候选项(例如HMVP，成对平均候选项)和新的帧间模式(例如MMVD，TPM)。这导致了当前空间合并候选项的各种缺点。

例如，可以改进空间合并候选项的顺序。可以调整空间合并候选项的数量。此外，对于常规模式、MMVD和TPM模式，空间合并候选项的构建是固定的，这限制了合并方法的潜力。另外，对于低延迟图片和非低延迟图片，空间合并候选的构建是固定的，降低了灵活性。为了解决上述问题和其他问题，本申请提供了各种解决方案。

例如，在一些实施例中，可以改变空间合并候选项的顺序。可以应用新的空间合并候选序列{B1,A1,B0,A0,B2}。空间相邻块B1、A1、B0、A0和B2的位置如图7示出。在一些实施例中，该顺序可以变更为{B1，A1，B0，A0，B2}。

新顺序依次对应于上相邻块、左相邻块、上相邻块、左相邻块和左上侧相邻块，其在上相邻块和左相邻块之间交替。此外，新的空间合并候选顺序可以实现更高的编码性能。如图8和图9所示。根据一些实施例，所提出的方法与VTM-6相比，在随机接入(RA)和低延迟(LD)配置下，分别可以获得平均0.05％和0.21％的编码增益。

在一些实施例中，可以改变空间合并候选项的数量。为了在计算复杂度和编码性能之间实现更好的权衡，提出了减少空间合并候选项的数量，并将其应用在本申请的各种实施例中。当将空间合并候选项的数量限制为2时，可以应用构建顺序{B1，A1}。例如，如果相邻块B1可用，则可以将其选中，并将其插入到合并列表中。然后，如果相邻块A1可用，且与B1不同，则可以将其选中并插入合并列表中。在插入空间合并候选{B1，A1}之后，可以将以下TMVP、HMVP和成对平均候选项添加到合并列表中。

当将空间合并候选项的数量限制为3时，可以应用构建顺序{B1，A1，B0}。相邻块的检查顺序为B1->A1->B0，如果相应的MV可用且不冗余，则可以将其插入合并列表中。

当使用空间合并候选项{B1，A1，B0}时，与VTM-6相比的实验结果如图10和图11所示。根据一些实施例，所提出的技术可以在RA和LD配置下实现0.00％和0.10％的编码增益。

此外，在一些VVC技术中，可以标记出合并候选项的总数。在本公开的一些实施例中，建议空间合并候选项的数量进行额外标记，以在构建合并候选列表的过程中提供更大的灵活性。考虑到当前图片的预测结构，可以将空间合并候选项的数量设置为不同的值。如果当前图片是非低延迟图片，则可以将空间合并候选的数量设置为第一值。非低延迟图片可以是指根据显示顺序、使用来自过去和未来的参考图片进行编码的图片。否则，如果当前图片是低延迟图片，则可以将空间合并候选项的数量设置为第二值。低延迟图片可以是指根据显示顺序、仅使用过去的参考图片进行编码的图片。所述第一值可以大于所述第二值。所述第一值和所述第二值可以在比特流中进行明确标记，例如在片段报头中。图12中示出了一个示例。

语法元素num_spatial_merge_cand_minus2(例如，图12中的元素1201)可以指示用于当前片段的空间合并候选项的数量。num_spatial_merge_cand_minus2的值可以在0到3的范围内，包括0到3。当元素num_spatial_merge_cand_minus2不存在时，可以推断为等于0。

根据用于对当前片段进行编码的参考图片，片段可以被分类为低延迟或非低延迟，并且可以使用不同数量的合并候选项。num_spatial_merge_cand_minus2的值可以由编码器相应地设置，并在比特流中发送。

另外，代替在片段报头中标记一个语法元素，可以在图片参数集(PPS)或序列参数集(SPS)中标记该两个语法元素num_spatial_merge_cand_minus2_non_lowdelay和num_spatial_merge_cand_minus2_lowdelay，如图13所示，图13(例如，元素1301)和图14(例如，元素1401)。此外，在片段级别，根据片段类型，可以使用相应数量的空间合并候选项。

num_spatial_merge_cand_minus2_non_lowdelay和num_spatial_merge_cand_minus2_lowdelay的值可以分别表示用于非低延迟片段和低延迟片段的空间合并候选项的数量。num_spatial_merge_cand_minus2_non_lowdelay和num_spatial_merge_cand_minus2_lowdelay的值可以在0到3的范围内，包括0到3。当num_spatial_merge_cand_minus2_non_lowdelay或num_spatial_merge_cand_minus2_lowdelay不存在时，可以推断为等于0。

在一些实施例中，空间合并候选的单独构建顺序可以应用于不同的帧间模式。例如，可以考虑空间合并候选项的两个构建顺序，包括{B1，A1，B0，A0，B2}和{A1，B1，B0，A0，B2}。对于常规合并模式、MMVD模式和TPM模式，可以采用不同的构建顺序。在一些实施例中，建议将{B1，A1，B0，A0，B2}用于常规合并模式和TPM模式，并且将{A1，B1，B0，A0，B2}用于MMVD模式。示例性实施例的实验结果如图15和图16所示。结果表明，在RA和LD配置下，该方法的平均编码增益分别为0.07％和0.16％。

基于本申请，本领域技术人员可以理解，可以使用空间合并候选顺序和合并模式的其他组合。例如，{B1，A1，B0，A0，B2}可以仅用于常规合并模式，而{A1，B1，B0，A0，B2}可以用于MMVD模式和TMP模式。

在一些实施例中，可以基于帧类型应用空间合并候选的自适应构建顺序。例如，对于不同类型的帧间编码图片，例如低延迟和非低延迟图片，可以应用不同的空间合并候选构建方法。在一些实施例中，对于低延迟图片，空间合并候选项的构建顺序{B1，A1，B0，A0，B2}可以用于常规合并模式、TPM模式和MMVD模式。对于非低延迟图片，空间合并候选的构建顺序{B1，A1，B0，A0，B2}可用于常规合并模式和TPM模式，空间合并候选项的构建顺序{A1，B1，B0，A0,B2}可用于MMVD模式。示例性实施例的实验结果如图17和图18所示。结果表明，在RA和LD配置下，该方法的平均编码增益分别为0.08％和0.21％。

图19图示了与本公开的实施例一致的示例性视频处理方法1900的流程图。在一些实施例中，方法1900可以由编码器、解码器、设备(例如，图4A的设备400)的一个或多个软件或硬件组件来执行。例如，处理器(例如，图4A的处理器402)可以执行方法1900。在一些实施例中，方法1900可以由包含在计算机可读介质中的计算机程序产品实现，包括由计算机(例如，图4A的装置400)执行的计算机可执行指令，例如程序代码。

在步骤802中，可以将一组空间合并候选项插入到编码块的合并候选列表中，例如，通过编码器、解码器或装置(例如，装置图4A的400)。在VVC中，可以改进空间合并候选的顺序。可以根据以下顺序插入空间合并候选项：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。例如，图7中示出了空间合并候选的新顺序{B1，A1，B0，A0，B2}。

可以调整空间合并候选项的数量。在步骤804中，确定空间合并候选项的预设数量限制。

在步骤806中，如果数量限制为2，则基于以下顺序将空间合并候选项插入合并候选列表：上侧相邻块，左侧相邻块。当将空间合并候选的数量限制为2时，可以应用构建顺序{B1，A1}。例如，如果相邻块B1可用，可以将其选中并插入合并列表中。然后，如果相邻块A1可用且与B1不同，则可以将其选中并插入合并列表中。在插入空间合并候选项{B1，A1}之后，可以将以下TMVP、HMVP和成对平均候选项添加到合并列表中。

在步骤808中，如果数量限制为3，则基于以下顺序将空间合并候选项插入合并候选列表：上侧相邻块、左侧相邻块、上侧相邻块。当将空间合并候选的数量限制为3时，可以应用构建顺序{B1,A1,B0}。相邻块的检查顺序为B1->A1->B0，如果可用且不冗余，则可以将相应的MV插入合并列表中。

在一些实施例中，可以将以下中的至少一个添加到合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

在HMVP中，先前编码的块的运动信息被存储在FIFO表中，并且用作当前编码单元的运动矢量预测器。在编码/解码过程中维护具有多个HMVP候选项的表。当遇到新的CTU行时，该表被重置(清空)。当存在非子块帧间编码的编码单元时，与非子块间编码单元相关联的运动信息被添加到FIFO表的最后一项中，作为新的HMVP候选项。

成对平均候选项是通过对合并候选列表中的候选项对进行平均来生成的，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，该候选项被添加到合并候选列表。

当在添加成对平均合并候选项之后，合并列表仍未满时，将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

在步骤810中，由编码器或解码器确定将第一编码模式还是将第二编码模式应用于编码块。第一编码模式不同于第二编码模式。在一些实施例中，第一编码模式和第二编码模式中的每一个可以是常规合并模式、具有运动矢量差的合并模式(MMVD)和三角形分区模式(TPM)中的一种。

在步骤812中，当第一编码模式应用于编码块时，根据第一构建顺序插入空间合并候选项。例如，在MMVD中，首先从合并候选列表中选择一个合并候选项，然后通过标记的运动矢量差(MVD)信息对其进行细化，并通过标记合并候选项标志，以指定使用两个MMVD候选项中的哪一个作为基本运动向量。MVD信息可以通过距离指数和方向指数来表示。距离指数指定运动幅度信息并指示与基本MV的预定义偏移。距离指数与预设偏移量的关系如图6中的示例所示。方向指数指定添加到基础MV的偏移量的符号，例如0表示正号，1表示负号。

在步骤814中，当将第二编码模式应用于编码块时，根据第二构建顺序插入空间合并候选项。例如，在TPM中，使用对角分割或反对角分割中的至少一种，将编码单元均匀地分割成两个三角形分区。CU中的每个三角形分区都可以使用自身的运动进行帧间预测。每个分区只允许单一预测。也就是说，每个分区具有一个运动矢量和一个参考索引。

在步骤816中，确定编码块是低延迟图片的一部分还是非低延迟图片的一部分。

在步骤818中，当编码块是低延迟图片的一部分时，根据第三构建顺序插入空间合并候选项合。在一些实施例中，对于低延迟图片，空间合并候选的构建顺序{B1，A1，B0，A0，B2}可以用于常规合并模式、TPM模式和MMVD模式。

在步骤820中，当编码块是非低延迟图片的一部分时，根据第四构建顺序插入空间合并候选项。第三构建顺序与第四构建顺序不同。第三构建顺序和第四构建顺序用于具有运动矢量差异的合并模式。在一些实施例中，对于非低延迟图片，空间合并候选的构建顺序{B1，A1，B0，A0，B2}可用于常规合并模式和TPM模式，构建顺序{A1，B1、B0、A0、B2}的空间合并候选可以用于MMVD模式。

与本申请一致，本领域技术人员将理解，上述一种或多种方法可以组合使用，也可以单独使用。例如，采用减少数量的空间合并候选项的技术，可以与所提出的针对不同模式使用不同构建顺序的空间合并候选项的方法结合使用。

在一些实施例中，还提供了一种包括指令的非暂时性计算机可读存储介质，并且这些指令可以由用于执行上述方法的设备(例如本申请公开的编码器和解码器)执行。非暂时性介质的常见形式包括例如软盘、软盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何具有孔洞图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储芯片或盒式存储器，以及相同的网络版本。该设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。

需要说明的是，本文中的“第一”和“第二”等关系术语仅用于区分一个实体或操作与另一个实体或操作，并不要求或暗示这些实体或操作之间有任何实际关系或顺序。此外，“包含”、“具有”、“包含”和“包括”等词语以及其他类似形式具有相同的含义，并且是开放式的，因为这些词语中的任何一个之后的一个或多个项目都不是旨在详尽列出此类项目，或仅限于列出的项目。

如本文所用，除非另有明确说明，否则术语“或”涵盖所有可能的组合，除非不可行。例如，如果声明一个组件可以包括A或B，那么除非另有明确说明或不可行，否则该组件可以包括A，或B，或A和B。作为第二个示例，如果声明一个组件可以包括A、B或C，则除非另有明确说明或不可行，否则该组件可以包括A、或B、或C、或A和B、或A和C、或B和C、或A和B和C。

可以理解，上述实施例可以通过硬件或软件(程序代码)或硬件和软件的组合来实现。如果通过软件实现，则可以存储在上述计算机可读介质中。在由处理器执行时，该软件可以执行所公开的方法。本申请中描述的计算单元和其他功能单元可以通过硬件实现，也可以通过软件实现，也可以通过硬件和软件的结合来实现。本领域普通技术人员也可以理解，上述多个模块/单元可以组合为一个模块/单元，并且上述每个模块/单元还可以进一步划分为多个子模块/子单元。

可以使用以下条款进一步描述上述实施例：

1.一种视频处理方法，包括：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，所述空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

2.根据条款1所述的方法，还包括：

将以下至少一项添加到所述合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

3.根据条款2所述的方法，其中，在先编码块的运动信息被存储在所述FIFO表中，并且用作当前编码单元的运动矢量预测器。

4.根据条款2和3中任一项所述的方法，其中，将与非子块帧间编码单元相关联的运动信息添加到所述FIFO表的最后一项，作为一个新的HMVP候选项。

5.根据条款2所述的方法，其中，

成对平均候选项是通过对合并候选列表中的候选项对进行平均而生成的，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

6.根据条款2所述的方法，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

7.一种视频处理方法，包括：

根据预设的空间合并候选项的数量限制，将一组空间合并候选项插入到编码块的合并候选列表中，

其中，如果所述数量限制为2，则将该组空间合并候选项按照以下顺序插入到所述合并候选列表中：上侧相邻块，左侧相邻块；和

其中，如果所述数量限制为3，则将该组空间合并候选项按照以下顺序插入到所述合并候选列表中：上侧相邻块、左侧相邻块、上侧相邻块。

8.根据条款7所述的方法，其中

响应于根据显示顺序、使用过去参考图片和未来参考图片对当前图片进行编码，将所述空间合并候选项的数量设置为第一值；和

响应于根据显示顺序、使用过去参考图片对当前图片进行编码，将空间合并候选的数量设置为小于所述第一值的第二值。

9.根据条款7所述的方法，还包括：

标记所述合并候选列表中所插入的空间合并候选项的数量。

10.根据条款7-9中任一项所述的方法，还包括：

将以下至少一项添加到合并候选列表中：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

11.根据条款10所述的方法，其中，

在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

12.根据条款10和11中任一项所述的方法，其中

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

13.根据条款10所述的方法，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并所述候选列表之后，将所述成对平均候选项添加到所述合并候选列表。

14.根据条款10所述的方法，其中，

将所述零运动矢量插入到所述合并候选列表的末尾，直到达到最大合并候选数。

15.一种视频处理方法，包括：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当对所述编码块应用第一编码模式时，根据第一构建顺序插入该组空间合并候选项；和

当对所述编码块应用第二编码模式时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

16.根据条款15所述的方法，其中，所述第一编码模式和所述第二编码模式是选自以下模式中的两种不同模式：

常规合并模式、运动矢量差合并模式(MMVD)和三角形分区模式(TPM)。

17.根据条款16所述的方法，其中，

在MMVD中，首先从合并候选列表中选中一个合并候选项，然后通过标记的运动矢量差(MVD)信息对其进行细化，并标记合并候选项标志，以指定使用两个MMVD候选项中的哪一个作为基础运动矢量。

18.根据条款16所述的方法，其中，

在TPM中，使用对角分割或反对角分割中的至少一种将编码单元均匀地分割成两个三角形分区。

19.根据条款15和16中任一项所述的方法，还包括：

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器、成对平均候选项或零运动矢量。

20.根据条款19所述的方法，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

21.根据条款19和20中任一项所述的方法，其中

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

22.根据条款19所述的方法，其中，

成对平均候选项通过对所述合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

23.根据条款19所述的方法，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

24.一种视频处理方法，包括：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当编码块是低延迟图片的一部分时，按照第一构建顺序插入该组空间合并候选项；和

当编码块是非低延迟图片的一部分时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

25.根据条款24所述的方法，其中，

所述第一构建顺序和所述第二构建顺序用于运动矢量差(MMVD)合并模式。

26.根据条款24所述的方法，还包括：

将以下至少一项添加到合并候选列表中：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

27.根据条款26所述的方法，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

28.根据条款26和27中任一项所述的方法，其中

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

29.根据条款26所述的方法，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表中。

30.根据条款26所述的方法，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

31.一种视频处理装置，包括：

存储一组指令的存储器；和

一个或多个处理器，所述一个或多个处理器被配置为执行指令集，以使装置执行：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，该组空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

32.根据条款31所述的装置，其中，所述一个或多个处理器被配置为执行所述指令集，以使所述装置进一步执行：

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

33.根据条款32所述的装置，其中，

在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

34.根据条款32和33中任一项所述的设备，其中

将与非子块帧间编码的编码单元相关联的运动信息候选项添加到FIFO表的最后一项，作为新的HMVP。

35.根据条款32所述的设备，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

36.根据条款32所述的设备，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

37.一种视频处理装置，包括：

存储一组指令的存储器；和

一个或多个处理器，所述一个或多个处理器被配置为执行指令集，以使所述装置执行：

基于空间合并候选项的预设数量限制，将一组空间合并候选项插入到编码块的合并候选列表中，

其中，如果数量限制为2，则将该组空间合并候选项按照以下顺序插入到合并候选列表中：上侧相邻块，左侧相邻块；以及

其中，如果数量限制为3，则将该组空间合并候选项按照以下顺序插入到合并候选列表中：上侧相邻块、左侧相邻块、上侧相邻块。

38.根据条款37所述的设备，其中

响应于根据显示顺序使用过去参考图片和未来参考图片对当前图片进行编码，将所述空间合并候选项的数量设置为第一值；和

响应于已经根据显示顺序、使用过去参考图片对当前图片进行编码，将所述空间合并候选项的数量设置为小于第一值的第二值。

39.根据条款37所述的装置，其中，所述一个或多个处理器被配置为执行所述指令集以使所述装置进一步执行：

标记合并候选列表中所插入的空间合并候选项的数量。

40.根据条款37-39中任一项所述的装置，其中，所述一个或多个处理器被配置为执行所述指令集，以使所述装置进一步执行：

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

41.根据条款40所述的设备，其中

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

42.根据条款40和41中任一项所述的设备，其中，

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为新的HMVP候选项。

43.根据条款40所述的装置，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

44.根据条款40所述的设备，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

45.一种视频处理装置，包括：

存储一组指令的存储器；和

一个或多个处理器，所述一个或多个处理器被配置为执行指令集，以使所述装置执行：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当对所述编码块应用第一编码模式时，根据第一构建顺序插入该组空间合并候选项；和

当对所述编码块应用第二编码模式时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

46.根据条款45所述的装置，其中，所述第一编码模式和所述第二编码模式是选自以下模式中的两种不同模式：

常规合并模式、运动矢量差合并模式(MMVD)和三角形分区模式(TPM)。

47.根据条款46所述的设备，其中，

在MMVD中，首先从合并候选列表中选中一个合并候选项，然后通过标记的运动矢量差(MVD)信息对其进行细化，并标记合并候选项标志，以指定使用两个MMVD候选项中的哪一个作为基础运动矢量。

48.根据条款45和46中任一项所述的设备，其中，

在TPM中，使用对角分割或反对角分割中的至少一种将编码单元均匀地分割成两个三角形分区。

49.根据条款46所述的设备，其中

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器、成对平均候选项或零运动矢量。

50.根据条款49所述的设备，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

51.根据条款49和50中任一项所述的设备，其中，

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

52.根据条款49所述的设备，其中，

成对平均候选项通过对所述合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

53.根据条款49所述的设备，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

54.一种视频处理装置，包括：

存储一组指令的存储器；和

一个或多个处理器，所述一个或多个处理器被配置为执行指令集，以使所述装置执行：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当编码块是低延迟图片的一部分时，按照第一构建顺序插入该组空间合并候选项；和

当编码块是非低延迟图片的一部分时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

55.根据条款54所述的设备，其中，

所述第一构建顺序和所述第二构建顺序用于运动矢量差(MMVD)合并模式。

56.根据条款54所述的装置，其中所述一个或多个处理器被配置为执行所述指令集以使所述装置进一步执行：

将以下至少一项添加到合并候选列表中：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

57.根据条款56所述的设备，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

58.根据条款56和57中任一项所述的设备，其中，

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

59.根据条款56所述的设备，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表中。

60.根据条款56所述的设备，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

61.一种存储指令集的非暂时性计算机可读介质，所述指令集可由计算机的至少一个处理器执行，以使所述计算机执行视频处理方法，所述方法包括：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，该组空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

62.根据条款61所述的非暂时性计算机可读介质，其中，所述计算机可执行指令集，以使所述计算机进一步执行：

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

63.根据条款62所述的非暂时性计算机可读介质，其中，

在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

64.根据条款62和63中任一项所述的非暂时性计算机可读介质，其中，

将与非子块帧间编码的编码单元相关联的运动信息候选项添加到FIFO表的最后一项，作为新的HMVP。

65.根据条款62所述的非暂时性计算机可读介质，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

66.根据条款62所述的非暂时性计算机可读介质，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

67.一种存储指令集的非暂时性计算机可读介质，所述指令集可由计算机的至少一个处理器执行以使所述计算机执行视频处理方法，所述方法包括：

基于空间合并候选项的预设数量限制，将一组空间合并候选项插入到编码块的合并候选列表中，

其中，如果数量限制为2，则将该组空间合并候选项按照以下顺序插入到合并候选列表中：上侧相邻块，左侧相邻块；以及

其中，如果数量限制为3，则将该组空间合并候选项按照以下顺序插入到合并候选列表中：上侧相邻块、左侧相邻块、上侧相邻块。

68.根据条款67所述的非暂时性计算机可读介质，其中，

响应于根据显示顺序使用过去参考图片和未来参考图片对当前图片进行编码，将所述空间合并候选项的数量设置为第一值；和

响应于已经根据显示顺序、使用过去参考图片对当前图片进行编码，将所述空间合并候选项的数量设置为小于第一值的第二值。

69.根据条款67所述的非暂时性计算机可读介质，其中，所述计算机可执行指令集，以使所述计算机进一步执行：

标记合并候选列表中所插入的空间合并候选项的数量。

70.根据条款67-69中任一项所述的非暂时性计算机可读介质，其中，至少一个处理器被配置为执行所述指令集，以使所述计算机进一步执行：

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

71.根据条款70所述的非暂时性计算机可读介质，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

72.根据条款70和71中任一项所述的非暂时性计算机可读介质，其中

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为新的HMVP候选项。

73.根据条款70所述的非暂时性计算机可读介质，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

74.根据条款70所述的非暂时性计算机可读介质，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

75.一种存储指令集的非暂时性计算机可读介质，所述指令集可由计算机的至少一个处理器执行以使所述计算机执行视频处理方法，所述方法包括：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当对所述编码块应用第一编码模式时，根据第一构建顺序插入该组空间合并候选项；和

当对所述编码块应用第二编码模式时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

76.根据条款75所述的非暂时性计算机可读介质，其中，所述第一编码模式和所述第二编码模式是选自以下模式中的两种不同模式：

常规合并模式、运动矢量差合并模式(MMVD)和三角形分区模式(TPM)。

77.根据条款76所述的非暂时性计算机可读介质，其中，

在MMVD中，首先从合并候选列表中选中一个合并候选项，然后通过标记的运动矢量差(MVD)信息对其进行细化，并标记合并候选项标志，以指定使用两个MMVD候选项中的哪一个作为基础运动矢量。

78.根据条款76所述的非暂时性计算机可读介质，其中，

在TPM中，使用对角分割或反对角分割中的至少一种将编码单元均匀地分割成两个三角形分区。

79.根据条款75和76中任一项所述的非暂时性计算机可读介质，其中

将以下至少一项添加到合并候选列表：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器、成对平均候选项或零运动矢量。

80.根据条款79所述的非暂时性计算机可读介质，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

81.根据条款79和80中任一项所述的非暂时性计算机可读介质，其中

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

82.根据79所述的非暂时性计算机可读介质，其中，

成对平均候选项通过对所述合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

83.根据条款79所述的非暂时性计算机可读介质，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

84.一种存储指令集的非暂时性计算机可读介质，所述指令集可由计算机的至少一个处理器执行以使所述计算机执行视频处理方法，所述方法包括：

将一组空间合并候选项插入到编码块的合并候选列表中，其中：

当编码块是低延迟图片的一部分时，按照第一构建顺序插入该组空间合并候选项；和

当编码块是非低延迟图片的一部分时，根据第二构建顺序插入该组空间合并候选项，

所述第一构建顺序与所述第二构建顺序不同。

85.根据条款84所述的非暂时性计算机可读介质，其中，

所述第一构建顺序和所述第二构建顺序用于运动矢量差(MMVD)合并模式。

86.根据条款84所述的非暂时性计算机可读介质，其中所述计算机可执行以使所述计算机进一步执行的指令集：

将以下至少一项添加到合并候选列表中：来自并置编码单元的时间合并候选项、来自FIFO表的基于历史的运动向量预测器(HMVP)、成对平均候选项或零运动矢量。

87.根据条款86所述的非暂时性计算机可读介质，其中，

将在先编码块的运动信息存储在FIFO表中，并用作当前编码单元的运动矢量预测器。

88.根据条款86和87中任一项所述的非暂时性计算机可读介质，其中，

将与非子块帧间编码的编码单元相关联的运动信息添加到FIFO表的最后一项，作为一个新的HMVP候选项。

89.根据条款86所述的非暂时性计算机可读介质，其中，

成对平均候选项通过对合并候选列表中的候选项对进行平均来生成，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表中。

90.根据条款86所述的非暂时性计算机可读介质，其中

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

在前述说明书中，已经参照许多具体细节描述了实施例，这些具体细节可以随不同的实施方式而变化。可以对所描述的实施例进行某些调整和修改。对于本领域技术人员来说，考虑了本文公开的本申请的规范和实践的其他实施例是显而易见的。上述说明书和实施例仅被视为示例，本申请的真实范围和精神由权利要求指示。图中所示的步骤顺序也意在仅用于说明目的，并不意在限制于任何特定的步骤顺序。因此，本领域的技术人员可以理解，在实现相同方法的同时，可以以不同的顺序执行这些步骤。

在附图和说明书中，已经公开了示例性实施例。然而，可以对这些实施例进行诸多变化和修改。因此，虽然使用了特定的术语，但它们仅用于一般和描述性意义，而不是出于限制目的。

Claims (18)

1.一种视频处理方法，包括：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，所述空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

2.根据权利要求1所述的方法，还包括：

将以下至少一项添加到所述合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

3.根据权利要求2所述的方法，其中，在先编码块的运动信息被存储在所述FIFO表中，并且用作当前编码单元的运动矢量预测器。

4.根据权利要求3所述的方法，其中，将与非子块帧间编码单元相关联的运动信息添加到所述FIFO表的最后一项，作为一个新的HMVP候选项。

5.根据权利要求2所述的方法，其中，

成对平均候选项是通过对合并候选列表中的候选项对进行平均而生成的，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表中。

6.根据权利要求2所述的方法，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

7.一种视频处理设备，包括：

存储指令集的存储器；和

一个或多个处理器，所述一个或多个处理器被配置为执行所述指令集，以使所述设备执行：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，所述空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

8.根据权利要求7所述的设备，其中，所述一个或多个处理器被配置为执行所述指令集，以使所述设备进一步执行：

将以下至少一项添加到所述合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

9.根据权利要求8所述的设备，其中，

在先编码块的运动信息被存储在所述FIFO表中，并且用作当前编码单元的运动矢量预测器。

10.根据权利要求9所述的设备，其中，

将与非子块帧间编码单元相关联的运动信息添加到所述FIFO表的最后一项，作为一个新的HMVP候选项。

11.根据权利要求8所述的设备，其中，

成对平均候选项是通过对合并候选列表中的候选项对进行平均而生成的，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

12.根据权利要求8所述的设备，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

13.一种非暂时性计算机可读介质，其存储可由计算机的至少一个处理器执行的指令集，以使计算机执行视频处理方法，所述方法包括：

将一组空间合并候选项插入到编码块的合并候选列表中，

其中，所述空间合并候选项按照以下顺序插入：上侧相邻块、左侧相邻块、上侧相邻块、左侧相邻块和左上侧相邻块。

14.根据权利要求13所述的非暂时性计算机可读介质，其中，所述计算机可执行的指令集使计算机进一步执行：

将以下至少一项添加到所述合并候选列表：来自并置编码单元的时间合并候选项、来自先进先出(FIFO)表的基于历史的运动矢量预测器(HMVP)、成对平均候选项，或零运动矢量。

15.根据权利要求14所述的非暂时性计算机可读介质，其中，

在先编码块的运动信息被存储在所述FIFO表中，并且用作当前编码单元的运动矢量预测器。

16.根据权利要求15所述的非暂时性计算机可读介质，其中，

将与非子块帧间编码单元相关联的运动信息添加到所述FIFO表的最后一项，作为一个新的HMVP候选项。

17.根据权利要求14所述的非暂时性计算机可读介质，其中，

成对平均候选项是通过对合并候选列表中的候选项对进行平均而生成的，并且在响应于合并候选列表未满而将一个或多个HMVP添加到合并候选列表之后，将所述成对平均候选项添加到合并候选列表。

18.根据权利要求14所述的非暂时性计算机可读介质，其中，

将零运动矢量插入到合并候选列表的末尾，直到达到最大合并候选数。

Images