CN111147850A

CN111147850A - 用于基于历史的运动矢量预测的表维护

Info

Publication number: CN111147850A
Application number: CN201911067654.5A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-11-02
Filing date: 2019-11-04
Publication date: 2020-05-12
Anticipated expiration: 2039-11-04
Also published as: WO2020088691A1; CN111147850B; KR20230155014A; CN115514958A; CN111147847B; CN111147855A; WO2020088690A1; EP3854092A1; KR20210087935A; BR112021007863A2; JP7277579B2; US11700371B2; KR102608615B1; EP3854092A4; CN111147847A; US20210006787A1; US20230353737A1; WO2020088689A1; JP2022505731A; JP2023103329A

Abstract

本公开涉及用于基于历史的运动矢量预测的表维护。一种用于处理视频的方法，包括：在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定所述第一块以几何分割模式编码；基于至少一个表来确定所述第一块的至少一个子部分的运动信息，所述至少一个表存储包括基于先前编码的块的运动信息的基于历史的运动矢量预测HMVP候选；使用所确定的运动信息执行所述第一块的转换。

Description

用于基于历史的运动矢量预测的表维护

相关申请的交叉引用

根据适用专利法和/或适用于巴黎公约的规则，本申请及时要求2018年11月2日提交的国际专利申请No.PCT/CN2018/113716号和2019年5月9日提交的国际专利申请No.PCT/CN2019/086174号的优先权和权益。上述申请的全部公开作为本申请公开的一部分通过引用并入。

技术领域

本文件涉及视频和图像编码和解码技术。

背景技术

数字视频占据了互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的已连接用户设备的数目增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

所公开的技术可以由视频或图像解码器或编码器实施例使用，其中使用基于历史的运动矢量预测(HMVP)的几何分割。

在一个示例方面，公开了一种处理视频的方法。该方法包括：执行由处理器确定第一视频块是帧内编码的或非Merge帧间编码的；由处理器基于确定第一视频块是帧内编码或非Merge帧间编码的，确定第一视频块的第一预测部分和第二预测部分，其中第一预测部分或第二预测部分中的一个或两个是第一视频块的非矩形和非正方形部分；并使用第一预测部分和第二预测部分对第一视频块执行进一步处理。

在另一示例方面，一种处理视频的方法，包括：执行由处理器确定第一视频块是帧内编码或非Merge帧间编码的；由处理器确定第一视频块的第一预测部分和第二预测部分，其中，第一预测部分或第二预测部分中的一个或两个为第一视频块的非矩形和非正方形部分；并使用第一预测部分和第二预测部分对第一视频块执行进一步处理，其中至少一个预测部分是Merge或非Merge帧间编码的，并将当前图像用作参考图像。

在另一示例方面，一种处理视频的方法，包括：执行由处理器确定第一视频块是帧内编码还是非Merge帧间编码的；由处理器确定第一视频块的第一预测部分和第二预测部分，其中，第一预测部分或第二预测部分中的一个或两个为第一视频块的非矩形和非正方形部分；并使用第一预测部分和第二预测部分对第一视频块执行进一步处理，其中使用第一预测部分和第二预测部分对第一视频块进行进一步处理基于与第一视频块相关的非相邻空间视频块的帧间或帧内编码信息。

在另一示例方面，一种处理视频的方法，包括：执行确定第一视频块使用第一视频块的三角预测部分以三角分割模式(TPM)进行编码，并且第二视频块使用第二视频块的非三角预测部分以非TPM进行编码；使用存储的HMVP候选来对第一视频块和第二视频块执行进一步处理，并存储与第一视频块和第二视频块相关联的HMVP候选。

在另一示例方面，一种处理视频的方法，包括：执行由处理器确定第一视频块包括作为第一视频块的非矩形和非正方形部分的预测部分；以及确定HMVP候选；将从HMVP候选推导的一个或多个运动候选添加到与包括非矩形和非正方形预测部分的视频块相关联的Merge列表中；以及使用Merge列表对第一视频块执行进一步处理。

在另一示例方面，一种处理视频的方法，包括：在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定当前块的多个子部分；确定所述多个子部分的帧内预测信息；使用所述多个子部分的帧内预测信息来执行所述当前块的转换；并且其中，所述当前块是帧内编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。

在另一示例方面，一种处理视频的方法，包括：在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定所述当前块的多个子部分；确定所述多个子部分的运动信息；使用所述多个子部分的运动信息执行所述当前块的转换；并且其中，所述当前块是非Merge帧间编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。

在另一示例方面，一种处理视频的方法，包括：执行可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；利用帧内编码模式处理第一子部分；以及利用帧间编码模式处理第二子部分。

在另一示例方面，一种处理视频的方法，包括：执行可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；其中，所述多个子部分中的至少一个是Merge或非Merge帧间编码的，并且使用当前图片作为参考图片。

在另一示例方面，一种处理视频的方法，包括：执行可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；以及使用一个或多个非相邻空间块的帧间或帧内编码信息执行所述转换。

在另一示例方面，一种处理视频的方法，包括：在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定所述第一块以几何分割模式编码；基于至少一个表来确定所述第一块的至少一个子部分的运动信息，所述至少一个表存储包括基于先前编码的块的运动信息的基于历史的运动矢量预测HMVP候选；使用所确定的运动信息执行所述第一块的转换。

在另一示例方面，一种处理视频的方法，包括：在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定第一块以几何分割模式编码；确定所述第一块的至少一个子部分的运动信息；使用所述至少一个子部分的运动信息，执行所述第一块的转换；其中，确定所述第一块的至少一个子部分的运动信息包括：使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表，并且从所述运动候选列表确定所述运动信息；其中，所述至少一个HMVP候选包括基于先前编码的块的运动信息。

在另一个示例方面，上述方法可以由包括处理器的视频编码器装置实现。

在另一个示例方面，上述方法可以由包括处理器的视频解码器装置实现。

在又一个示例方面，这些方法可以以处理器可执行指令的形式体现并存储在计算机可读程序介质上。

在本文中进一步描述了这些以及其他方面。

附图说明

图1示出了用于Merge候选列表构建的推导过程的示例。

图2示出了空域Merge候选的位置的示例。

图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。

图4示出了N×2N和2N×N分割的第二个PU的位置的示例。

图5示出了时域Merge候选的运动矢量缩放的示例。

图6示出了时域Merge候选的候选位置C0和C1的示例。

图7示出了组合的双向预测Merge候选的示例。

图8示出了运动矢量预测候选的推导过程的示例。

图9示出了空域运动矢量候选的运动矢量缩放的示例。

图10示出了CU的ATMVP运动预测的示例。

图11示出了具有四个子块(A-D)及其邻近块(a-d)的一个CU的示例。

图12示出了具有不同MV精度的编码的流程图的示例。

图13示出了将CU划分为两个三角预测单元(两种分割类型)的示例。

图14示出了邻近块的位置的示例。

图15示出了应用第一加权因子组的CU的示例。

图16示出了运动矢量存储的示例。

图17示出了在TPM标志编码中用于上下文选择的邻近块(A和L)的示例。

图18示出了在其中应用OBMC的子块的示例。

图19示出了用于推导IC参数的邻近样点的示例。

图20示出了简化的仿射运动模型的示例。

图21示出了每个子块的仿射MVF的示例。

图22示出了4参数仿射模型(a)和6参数仿射模型(b)的示例。

图23示出了用于AF_INTER的MVP的示例。

图24示出了AF_MERGE的候选的示例。

图25示出了仿射Merge模式的候选位置的示例。

图26示出了光流动轨迹的示例。

图27示出了具有/不具有块扩展的BIO的示例：a)访问位置在块外；b)使用填充来避免附加的内存访问和计算。

图28示出了基于双边模板匹配的DMVR的示例。

图29是视频处理装置的示例的框图。

图30展示视频编码器的实例实现方式的框图。

图31是用于视频处理方法的示例的流程图。

图32是用于视频处理方法的示例的流程图。

图33是用于视频处理方法的示例的流程图。

图34是用于视频处理方法的示例的流程图。

图35是用于视频处理方法的示例的流程图。

图36是用于视频处理方法的示例的流程图。

图37是用于视频处理方法的示例的流程图。

图38是用于视频处理方法的示例的流程图。

图39是用于视频处理方法的示例的流程图。

图40是用于视频处理方法的示例的流程图。

图41是用于视频处理方法的示例的流程图。

图42是用于视频处理方法的示例的流程图。

具体实施方式

本文提供了可以由图像或视频比特流的解码器使用的各种技术，以提高解压缩或解码的数字视频或图像的质量。为了简洁起见，术语“视频”在本文中用于包括图片序列(传统上称为视频)和单个图像。此外，视频编码器还可在编码过程期间实现这些技术，以便重建用于进一步编码的解码帧。

为了易于理解，在本文中使用了章节标题，并且不将实施例和技术限于相应的章节。这样，一个部分的实施例可以与其他部分的实施例组合。

1.综述

本专利文件涉及视频编码技术。具体来说，涉及视频编码中的几何分割下的运动矢量编码。其可以应用于如HEVC的现有的视频编码标准，或待定的标准(多功能视频编码)。它也可适用于未来的视频编码标准或视频编解码器。

2.背景

视频编码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262开始，视频编码标准基于混合视频编码结构，其中利用了时域预测加变换编码。为探索HEVC之外的未来视频编码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的VVC标准。

图30是视频编码器的示例实现方式的框图。图30示出了编码器实现具有内置的反馈路径，其中视频编码器还执行视频解码功能(重构视频数据的压缩表示以用于下一视频数据的编码)。

2.1HEVC/H.265中的帧间预测

每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc发信令通知。运动矢量可显式地编码为相对于预测器的增量。

当CU采用跳跃模式编码时，一个PU与CU相关联，并且没有显著的残差系数，没有编码运动矢量增量或参考图片索引。指定了一种Merge模式，通过该模式，可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅是跳跃模式。Merge模式的另一种选择是运动参数的显式传输，其中运动矢量(更精确地，与运动矢量预测器相比的运动矢量差)、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地发信令通知。在本公开中，这样的模式被命名为高级运动矢量预测(AMVP)。

当信令指示要使用两个参考图片列表中的一个时，从一个样点块中生成PU。这被称为“单向预测”。单向预测对P条带(slice)和B条带都可用。

当信令指示要使用两个参考图片列表时，从两个样点块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。

下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。

2.1.1参考图片列表

在HEVC中，术语帧间预测用于表示从当前解码图片以外的参考图片的数据元素(例如，采样值或运动矢量)中推导的预测。像在H.264/AVC中一样，可以从多个参考图片中预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识应使用列表中的哪些参考图片来创建预测信号。

单个参考图片列表(列表0)用于P条带，两个参考图片列表(列表0和列表1)用于B条带。应当注意，就捕获/显示顺序而言，列表0/1中包含的参考图片可能来自过去和将来的图片。

2.1.2Merge模式

2.1.2.1Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中条目的索引，并且使用该索引检索运动信息。在HEVC标准中规定了此列表的构建，并且可按以下步骤顺序进行概括：

步骤1：初始候选推导

步骤1.1：空域候选推导

步骤1.2：空域候选冗余检查

步骤1.3：时域候选推导

步骤2：附加候选插入

步骤2.1：创建双向预测候选

步骤2.2：插入零运动候选

在图1中也示意性地示出了这些步骤。对于空域Merge候选推导，在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导，在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量，因此当从步骤1获得的候选数未达到条带标头中信令通知的最大Merge候选数(maxNumMergeCand)时，生成附加的候选。由于候选数是恒定的，所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的尺寸等于8，则当前CU的所有PU都共享一个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。

在下文中，详细描述与前述步骤相关联的操作。

图1示出了用于Merge候选列表构建的推导过程的示例。

2.1.2.2空域候选推导

在空域Merge候选的推导中，在位于图2所示位置的候选中最多选择四个Merge候选。推导顺序为A1，B1，B0，A₀和B₂。只有当位置A1，B1，B0，A₀的任何PU不可用(例如，因为它属于另一个条带或片)或是帧内编码时，才考虑位置B₂。在增加A1位置的候选后，对剩余候选的增加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编码效率。为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。相反，只有与图3中的箭头链接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2Nx2N不同的分区相关的“第二PU”。例如，图4分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被划分为N×2N时，对于列表构建不考虑A1位置的候选。实际上，通过添加此候选可能导致两个具有相同运动信息的预测单元，这对于在编码单元中仅具有一个PU是冗余的。同样地，当当前PU被划分为2N×N时，不考虑位置B₁。

图2示出了空域Merge候选的位置的示例。

图4示出了N×2N和2N×N分割的第二个PU的位置的示例。

2.1.2.3时域候选推导

在此步骤中，只有一个候选添加到列表中。特别地，在这个时域Merge候选的推导中，基于属于与给定参考图片列表中当前图片具有最小POC差的图片的并置PU导出了缩放运动矢量。用于推导并置PU的参考图片列表在条带标头中显式地发信令通知。获取时域Merge候选的缩放运动矢量(如图5中虚线所示)，其使用POC距离tb和td从并置PU的运动矢量进行缩放，其中tb定义为当前图片的参考图片和当前图片之间的POC差，并且td定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引设置为零。HEVC规范中描述了缩放处理的实际实现。对于B条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。

图5示出了时域Merge候选的运动矢量缩放的示例。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图6所示。如果位置C₀处的PU不可用、帧内编码或在当前CTU行之外，则使用位置C₁。否则，位置C₀被用于时域Merge候选的推导。

图6示出了时域Merge候选的候选位置C0和C1的示例。

2.1.2.4附加候选插入

除了空域和时域Merge候选，还有两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。作为示例，图7示出了该情形，其中原始列表(在左侧)中具有MVL0和refIdxL0或MVL1和refIdxL1的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选。定义了许多关于被认为生成这些附加Merge候选的组合的规则。

图7示出了组合的双向预测Merge候选的示例。

插入零运动候选以填充Merge候选列表中的其余条目，从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。这些候选使用的参考帧的数目对于单向预测和双向预测分别是1帧和2帧。最后，对这些候选不执行冗余检查。

2.1.2.5并行处理的运动估计区域

为了加快编码处理，可以并行执行运动估计，从而同时导出给定区域内所有预测单元的运动矢量。从空域邻域导出Merge候选可能会干扰并行处理，因为一个预测单元在完成相关运动估计之前无法从相邻的PU导出运动参数。为了缓和编码效率和处理延迟之间的平衡，HEVC使用“log2_parallel_merge_level_minus2”语法元素定义了其尺寸在图片参数集中被信令通知的运动估计区域(MER)。当定义MER时，落入同一区域的Merge 候选标记为不可用，并且因此在列表构建中不考虑。

2.1.3AMVP

AMVP利用运动矢量与临近的PU的空时相关性，其用于运动参数的显式传输。对于每个参考图片列表，首先通过检查左上方的时域临近的PU位置的可用性、去掉多余的候选并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最佳的预测器，并发送指示所选候选的对应索引。与Merge索引信令类似，最佳运动矢量候选的索引使用截断的一元进行编码。在这种情况下，要编码的最大值是2(参见图8)。在以下各章节中，提供了关于运动矢量预测候选的推导过程的细节。2.1.3.1AMVP候选的推导

图8概括了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导，基于位于图2所示的五个不同位置的每个PU的运动矢量最终推导出两个运动矢量候选。

对于时域运动矢量候选的推导，从两个候选中选择一个运动矢量候选，这两个候选是基于两个不同的并置位置推导出的。在作出第一个空时候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数目大于二，则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二，则会在列表中添加附加的零运动矢量候选。

2.1.3.2空域运动矢量候选

在推导空域运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个候选来自图2所示位置上的PU，这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A₀、A₁、以及缩放的A₀、缩放的A₁。当前PU上侧的推导顺序定义为B₀、B₁,B₂、缩放的B₀、缩放的B₁、缩放的B₂。因此，每侧有四种情况可以用作运动矢量候选，其中两种情况不需要使用空域缩放，并且两种情况使用空域缩放。四种不同的情况概括如下：

--无空域缩放

(1)相同的参考图片列表，并且相同的参考图片索引(相同的POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

--空域缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，并且不同的参考图片(不同的POC)

首先检查无空域缩放的情况，然后检查允许空域缩放的情况。当POC在临近PU的参考图片与当前PU的参考图片之间不同时，都会考虑空域缩放，而不管参考图片列表如何。如果左侧候选的所有PU都不可用或是帧内编码，则允许对上述运动矢量进行缩放，以帮助左侧和上方MV候选的平行推导。否则，不允许对上述运动矢量进行空域缩放。

图9示出了空域运动矢量候选的运动矢量缩放的示例.

在空域缩放处理中，以与时域缩放类似的方式缩放临近PU的运动矢量，如图9所示。主要区别是，给出当前PU的参考图片列表和索引作为输入；实际的缩放处理与时域缩放处理相同。

2.1.3.3时域运动矢量候选

除了参考图片索引的推导外，时域Merge候选的所有推导过程与空域运动矢量候选的推导过程相同(参见图6)。将参考图片索引信令通知给解码器。

2.2JEM中的新的帧间预测方法

2.2.1基于子CU的运动矢量预测

在具有QTBT的JEM中，每个CU对于每个预测方向最多可以具有一组运动参数。通过将大的CU分割成子CU并推导该大CU的所有子CU的运动信息，编码器中考虑了两种子CU级的运动矢量预测方法。可替代时域运动矢量预测(ATMVP)方法允许每个CU从并置参考图片中多个小于当前CU的块中提取多组运动信息。在空时运动矢量预测(STMVP)方法中，通过利用时域运动矢量预测值和空域邻接运动矢量递归地推导子CU的运动矢量。

为了为子CU运动预测的保持更精确的运动场，当前禁用参考帧的运动压缩。

图10示出了CU的ATMVP运动预测的示例.

2.2.1.1可替代时域运动矢量预测

在可替代时域运动矢量预测(ATMVP)方法中，运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改的。子CU为方形N×N块(默认N设置为4)。

ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时域矢量识别参考图片中的对应块。参考图片称为运动源图片。第二步是将当前CU划分成子CU，并从每个子CU对应的块中获取运动矢量以及每个子CU的参考索引。

在第一步中，参考图片和对应的块由当前CU的空域临近块的运动信息确定。为了避免临近块的重复扫描处理，使用当前CU的Merge候选列表中的第一个Merge候选。第一个可用的运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。

在第二步中，通过将时域矢量添加到当前CU的坐标中，通过运动源图片中的时域矢量识别子CU的对应块。对于每个子CU，使用其对应块的运动信息(覆盖中心样点的最小运动网格)来推导子CU的运动信息。在识别出对应N×N块的运动信息后，将其转换为当前子CU的运动矢量和参考索引，与HEVC的TMVP方法相同，其中应用运动缩放和其它处理。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC都小于当前图片的POC)，并可能使用运动矢量MVx(与参考图片列表X对应的运动矢量)来为每个子CU预测运动矢量MVy(X等于0或1且Y等于1-X)。

2.2.1.2空时运动矢量预测(STMVP)

在这种方法中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图11说明了该概念。考虑一个8×8的CU，它包含四个4×4的子CU A、B、C和D。当前帧中临近的4×4的块标记为a、b、c和d。

子CU A的运动推导由识别其两个空域邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或帧内编码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的一个块(块b)。如果块b不可用或是帧内编码，则检查子CU A左侧的其它块(从上到下，从块b处开始)。每个列表从临近块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP推导相同的程序，推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行对应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。

2.2.1.3子CU运动预测模式信令通知

子CU模式作为附加的Merge候选启用，并且不需要附加的语法元素来对该模式发信令。将另外两个Merge候选添加到每个CU的Merge候选列表中，以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则最多使用七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着对于P条带或B条带中的每个CU，需要对两个附加Merge候选进行两次更多RD检查。

在JEM中，Merge索引的所有bin都由CABAC进行上下文编码。然而在HEVC中，只有第一个bin是上下文编码的，并且其余的bin是上下文旁路编码的。

2.2.2自适应运动矢量差分辨率

在HEVC中，当在条带标头中use_integer_mv_flag等于0时，运动矢量差(MVD)(在PU的运动矢量和预测运动矢量之间)以四分之一亮度样点为单位发信令通知。在JEM中，引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中，MVD可以用四分之一亮度样点、整数亮度样点或四亮度样点的单位进行编码。MVD分辨率控制在编码单元(CU)级别，并且MVD分辨率标志有条件地为每个至少有一个非零MVD分量的CU发信令。

对于具有至少一个非零MVD分量的CU，发信令通知第一个标志以指示CU中是否使用四分之一亮度样点MV精度。当第一个标志(等于1)指示不使用四分之一亮度样点MV精度时，发信令通知另一个标志以指示是使用整数亮度样点MV精度还是使用四亮度样点MV精度。

当CU的第一个MVD分辨率标志为零或没有为CU编码(意味着CU中的所有MVD都为零)时，CU使用四分之一亮度样点MV分辨率。当一个CU使用整数亮度样点MV精度或四亮度样点MV精度时，该CU的AMVP候选列表中的MVP将取整到对应的精度。

在编码器中，CU级别的RD检查用于确定哪个MVD分辨率将用于CU。也就是说，对每个MVD分辨率执行三次CU级别的RD检查。为了加快编码器速度，在JEM中应用以下编码方案。

--在对具有正常四分之一亮度采样MVD分辨率的CU进行RD检查期间，存储当前CU(整数亮度采样精度)的运动信息。在对具有整数亮度样点和4亮度样点MVD分辨率的同一个CU进行RD检查时，将存储的运动信息(取整后)用作进一步小范围运动矢量细化的起始点，从而使耗时的运动估计处理不会重复三次。

--有条件地调用具有4亮度样点MVD分辨率的CU的RD检查。对于CU，当整数亮度样点MVD分辨率的RD检查成本远大于四分之一亮度样点MVD分辨率的RD检查成本时，将跳过对CU的4亮度样点MVD分辨率的RD检查。

编码过程如图12所示。首先，测试1/4像素MV，计算RD成本并将其表示为RDCost0，然后测试整数MV，并将RD成本表示为RDCost1。如果RDCost1<th*RDCost0(其中th为正值)，则测试4像素MV；否则，跳过测试4像素MV。基本上，在检查整数或4像素MV时，对于1/4像素MV已知运动信息和RD成本等，可以将其重新使用以加快整数或4像素MV的编码过程。

2.2.3三角预测模式

三角预测模式(TPM)的概念是引入用于运动补偿预测的新三角分割。如图13所示，它将CU划分为对角线方向或反对角线方向的两个三角预测单元。CU中的每个三角预测单元使用从单向预测候选列表中推导出的其自己的单向预测运动矢量和参考帧索引来进行帧间预测。在预测三角预测单元之后，对对角线边缘执行自适应加权处理。然后，将变换和量化过程应用于整个CU。注意，该模式仅应用于跳过和Merge模式。

2.2.3.1TPM的单向预测候选列表

单向预测候选列表由五个单向预测运动矢量候选组成。如图14所示，它是从包括五个空间邻近块(1到5)和两个时域并置块(6到7)的七个邻近块中推导的。收集了七个邻近块的运动矢量并将其按照单向预测运动矢量、双向预测运动矢量的L0运动矢量、双向预测运动矢量的L1运动矢量，以及双向预测运动矢量的L0和L1运动矢量的平均运动矢量的顺序放入到单向预测候选列表中。如果候选数目少于五个，则将零运动矢量添加到列表中。

更具体地，涉及以下步骤：

在没有任何修剪操作的情况下，从A1，B1，B0，A0，B2，Col和Col2 (对应于图14中的块1-7)中获得运动候选。

设置变量numCurrMergeCand＝0

对于从A1，B1，B0，A0，B2，Col和Col2推导的每个运动候选，并且numCurrMergeCand小于5，如果运动候选是单向预测(来自列表0或列表1)，则将其添加到的Merge列表中，并且numCurrMergeCand增加1。这样添加的运动候选被称为“最初的单向预测的候选”。

应用完全修剪。

对于从A1，B1，B0，A0，B2，Col和Col2推导的每个运动候选，并且numCurrMergeCand小于5，如果运动候选是双向预测，则将来自列表0的运动信息添加到Merge列表中(即修改为来自列表0的单向预测)，并且numCurrMergeCand增加1。这样添加的运动候选称为“截断的列表0-预测的候选”。

应用完全修剪。

对于从A1，B1，B0，A0，B2，Col和Col2推导的每个运动候选，并且numCurrMergeCand小于5，如果运动候选是双向预测，则将来自列表1的运动信息添加到Merge列表中(即修改为来自列表1的单向预测)，并且numCurrMergeCand增加1。这样添加的运动候选被称为“截断的列表1-预测的候选”。

应用完全修剪。

对于从A1，B1，B0，A0，B2，Col和Col2推导的每个运动候选，并且numCurrMergeCand小于5，如果运动候选是双向预测。

如果列表0参考图片的条带QP小于列表1参考图片的条带QP，则列表1的运动信息首先被缩放为列表0参考图片，并且将两个MV的平均值(一个来自原始列表0，另一个来自列表1的缩放的MV)添加到Merge列表中，这是来自列表0运动候选的平均单向预测，并且numCurrMergeCand增加1。

否则，首先将列表0的运动信息缩放到列表1参考图片，并将两个MV的平均值(一个来自原始列表1，另一个来自列表0的缩放MV)添加到Merge列表，这是来自列表1运动候选的平均单向预测，并且numCurrMergeCand增加1。

应用完全修剪。

如果numCurrMergeCand小于5，则添加零运动矢量候选。

2.2.3.2自适应加权过程

在预测每个三角预测单元之后，将自适应加权过程应用于两个三角预测单元之间的对角线边缘，以推导出整个CU的最终预测。定义了两个加权因子组：

第一加权因子组：{7/8、6/8、4/8、2/8、1/8}和{7/8、4/8、1/8}分别用于亮度和色度样点；

第二加权因子组：{7/8、6/8、5/8、4/8、3/8、2/8、1/8}和{6/8、4/8、2/8}分别用于亮度和色度样点。

基于两个三角预测单元的运动矢量的比较来选择加权因子组。当两个三角预测单元的参考图片彼此不同或者它们的运动矢量差大于16像素时，使用第二加权因子组。否则，使用第一加权因子组。示例如图15所示。

2.2.3.3运动矢量存储

三角预测单元的运动矢量(图16中的Mv1和Mv2)存储在4×4网格中。对于每个4×4网格，根据4×4网格在CU中的位置存储单向预测或双向预测运动矢量。如图16所示，为位于非加权区域(即不在对角线边缘)的4×4网格存储单向预测运动矢量Mv1或Mv2。另一方面，针对位于加权区域中的4×4网格存储双向预测运动矢量。根据以下规则，从Mv1和Mv2推导双向预测运动矢量：

在Mv1和Mv2具有来自不同方向(L0或L1)的运动矢量的情况下，简单地将Mv1和Mv2组合以形成双向预测运动矢量。

在Mv1和Mv2都来自相同的L0(或L1)方向的情况下，

如果Mv2的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv2缩放到该图片。将Mv1和缩放后的Mv2组合在一起以形成双向预测运动矢量。

如果Mv1的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv1缩放到该图片。将缩放后的Mv1和Mv2组合以形成双向预测运动矢量。

否则，仅Mv1被存储用于加权区域。

2.2.3.4三角预测模式(TPM)的信令通知

可以首先用信令通知指示是否使用TPM的一位标志。然后，进一步用信令通知两个划分模式的指示(如图13所示)和为两个分割中的每个分割选择的Merge索引。

2.2.3.4.1TPM标志的信令通知

分别用W和H表示一个亮度块的宽度和高度。如果W*H<64，则禁用三角预测模式。

当以仿射模式对一个块进行编码时，三角预测模式也被禁用。

当用Merge模式对一个块进行编码时，可以用信令通知一位标志以指示该块是启用还是禁用了三角预测模式。

基于以下等式，用3个上下文对标志进行编码：

Ctx索引＝((可用的左块L&&L用TPM编码？)1：0)+((上面的可用的块A&&A用TPM编码？)1：0)；

2.2.3.4.2用信令通知两个划分模式的指示(如图13所示)，以及为两个分割中的每个分割选择的Merge索引

注意，联合编码划分模式和两个分割的Merge索引。在[5]中，限制了两个分割不能使用相同的参考索引。因此，存在2(分割模式)*N个(Merge候选的最大数目)*(N-1)个可能性，其中N被设置为5。一个指示被编码，并且分割类型之间的映射和两个Merge索引从下面定义的数组中推导出：

const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]＝{

{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},

{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},

{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},

{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},

{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},

{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},

{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},

{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}}；

分割类型(45度或135度)＝g_TriangleCombination[信令通知指示][0]；

候选A的Merge索引＝g_TriangleCombination[信令通知指示][1]；

候选B的Merge索引＝g_TriangleCombination[信令通知指示][2]；

一旦推导出了两个运动候选A和B，就可以从A或B中设置两个分割的运动信息(PU1和PU2)。PU1是否使用Merge候选A或B的运动信息取决于两个运动候选的预测方向。表1示出了具有两个分割的两个推导的运动候选A和B之间的关系。

表1：从推导的两个Merge候选(A，B)推导分割的运动信息

2.2.3.4.3指示的熵编码(由merge_triangle_idx表示)

merge_triangle_idx在[0，39]范围内，包括端点。K阶指数哥伦布(exp-Golomb，EG)码用于merge_triangle_idx的二值化，其中K设置为1。

第K阶EG

为了用更少的比特编码较大的数字(以使用更多的比特编码较小的数字为代价)，可以使用非负整数参数k来概括。以k阶指数哥伦布(exp-Golomb)码编码非负整数x：

使用上述的0阶exp-Golomb码对

进行编码，然后

将

编码为二进制

表2：Exp-Golomb-k编码示例

2.2.4重叠块运动补偿

先前在H.263中已经使用了重叠块运动补偿(OBMC)。在JEM中，不同于在H.263中，可以使用CU级别的语法打开和关闭OBMC。当OBMC用于JEM时针对所有运动补偿(MC)块边界执行OBMC，但CU的右边界和底边界除外。此外，它还适用于亮度和色度分量。在JEM中，MC块对应于编码块。当CU用子CU模式(包括子CU MERGE、仿射和FRUC模式)编码时，CU的每个子块都是MC块。为了用统一的方式处理CU边界，对所有MC块边界，在子块级别执行OBMC，其中子块尺寸设置为等于4×4，如图18所示。

当OBMC应用于当前子块时，除了当前运动矢量外，四个相连的临近子块的运动矢量(如果可用且与当前运动矢量不同)也可用于推导当前子块的预测块。将这些基于多个运动矢量的多个预测块组合起来，以生成当前子块的最终预测信号。

基于临近子块运动矢量的预测块表示为P_N，其中N表示临近的上、下、左、右子块的索引，并且基于当前子块运动矢量的预测块表示为P_C。当P_N基于包含与当前子块相同的运动信息的临近子块的运动信息时，OBMC不从P_N处执行的。否则，每个P_N的样点都添加到P_C中的相同样点中，即将P_N的四行/列添加到P_C。P_N使用权重因子{1/4,1/8,1/16,1/32}，P_C使用权重因子{3/4,7/8,15/16,31/32}。例外情况是小MC块(即编码块的高度或宽度等于4或CU是用子CU模式编码的)，对此在P_C中只添加P_N的两行/列。在这种情况下，P_N使用权重因子{1/4,1/8}，P_C使用权重因子{3/4,7/8}。对于基于垂直(水平)临近子块的运动矢量生成的P_N，将P_N的同一行(列)中的样点以相同的权重因子添加到P_C中。

在JEM中，对于尺寸小于或等于256亮度样点的CU，会对CU级别标志发信令，以指示当前CU是否应用OBMC。对于尺寸大于256亮度样点或未使用AMVP模式编码的CU，默认情况下应用OBMC。在编码器处，当OBMC应用于CU时，在运动估计阶段会考虑其影响。使用上临近块和左临近块的运动信息通过OBMC形成的预测信号被用来补偿当前CU的原始信号的上边界和左边界，并且然后应用正常的运动估计处理。

2.2.5局部照明补偿

局部照明补偿(LIC)基于用于照明变化的线性模型，使用比例因子a和偏移量b。并且其对每个帧间模式编码的编码单元(CU)自适应地启用或禁用。

当LIC应用于CU时，采用最小二乘误差法，通过使用当前CU的临近样点及其对应的参考样点导出参数a和b。更具体地，如图19所示，使用参考图片中CU的子采样(2:1子采样)临近样点和对应的样点(由当前CU或子CU的运动信息识别)。推导出IC参数并将其分别应用于每个预测方向。

当使用Merge模式对CU进行编码时，LIC标志以类似于Merge模式下运动信息复制的方式从临近块复制；否则，将为CU信令通知LIC标志，以指示LIC是否适用。

当为图片启用LIC时，需要附加的CU级RD检查来确定是否为CU应用LIC。当对CU启用LIC时，对于整数像素运动搜索和分数像素运动搜索，分别使用绝对差的平均去除和(MR-SAD)和绝对Hadamard变换差的平均去除和(MR-SATD)，而不使用SAD和SATD。

为了降低编码复杂度，在JEM中应用以下编码方案：

--当当前图片与其参考图片之间没有明显的照度变化时，对整个图片禁用LIC。为了识别这种情况，在编码器处计算当前图片的直方图和当前图片的每个参考图片的直方图。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定阈值，则对当前图片禁用LIC；否则，对当前图片启用LIC。

2.2.6仿射运动补偿预测

在HEVC中，运动补偿预测(MCP)仅应用平移运动模型。然而，在真实世界中可能存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在JEM中应用了简化的仿射变换运动补偿预测。如图20所示，用两个控制点运动矢量描述块的仿射运动场。

块的运动矢量场(MVF)由以下等式描述：

对于6参数仿射：

其中，(v_0x,v_0y)是左上角控制点的运动矢量，(v_1x,v_1y)是右上角控制点的运动矢量，并且(v_2x,v_2y)是左下角控制点的运动矢量，(x，y)表示相对于当前块内左上角样点的代表点的坐标。在VTM中，代表点定义为子块的中心位置，例如，当子块的左上角相对于当前块内左上角样点的坐标为(xs，ys)时，代表点的坐标定义为(xs+2，ys+2)

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。如等式2推导子块尺寸M×N，其中MvPre是运动矢量分数精度(例如，JEM中的1/16)。(v_2x,v_2y)是左下控制点的运动矢量，其根据等式1计算。

用等式2推导出之后，如果需要，M和N应当被向下调节使其分别作为w和h的除数。

为了推导出每个M×N子块的运动矢量，如图21所示，可以根据等式1计算每个子块的中心样点的运动矢量，并且舍入到1/16分数精度。然后应用本文其他各处提到的运动补偿插值滤波器，利用推导出的运动矢量生成各子块的预测。

在MCP之后，对每个子块的高精度运动矢量进行舍入，并将其保存为与正常运动矢量相同的精度。

2.2.6.1AF_INTER模式

在JEM中，有两个仿射运动模式：AF_INTER模式和AF_Merge模式。对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中，CU级别的仿射标志被信令通知，以指示是否使用AF_INTER模式。在这种模式中，使用临近的块构建具有运动矢量对{(v₀,v₁)|v₀＝{v_A,v_B,v_c},v₁＝{v_D,v_E}}的候选列表。如图23所示，从块A、B或C的运动矢量中选择v₀。根据参考列表，以及临近块参考的POC、当前CU参考的POC和当前CU的POC之间的关系对来自临近块的运动矢量进行缩放。从临近的块D和E中选择v1的方法类似。当候选列表的数目小于2时，该列表由复制每个AMVP候选组成的运动矢量对来填充。当候选列表大于2时，可以首先根据临近运动矢量的一致性对候选进行排序(一对候选中两个运动矢量的相似性)，并且只保留前两个候选。使用RD成本检查来确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。并且在比特流中信令通知指示CPMVP在候选列表中的位置的索引。在确定了当前仿射CU的CPMVP后，应用仿射运动估计，并且找到控制点运动矢量(CPMV)。然后，在比特流中信令通知CPMV和CPMVP的差。

在AF_INTER模式下，当使用4/6参数仿射模式时，需要2/3个控制点，因此需要为这些控制点编码2/3MVD，如图22所示。按以下方式推导MV，即根据mvd₀预测mvd₁和mvd₂。

其中

mvd_i和mv1分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图22所示。请注意，两个运动矢量(例如mvA(xA，yA)和mvB(xB，yB))的加法分别等于两个分量的总和，即newMV＝mvA+mvB，并且newMV的两个分量分别被设置为(xA+xB)和(yA+yB)。

2.2.6.2AF_MERGE模式

当在AF_MERGE模式中应用CU时，它从有效的临近重构块中获得以仿射模式编码的第一个块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图24所示。如果临近的左下块A以仿射模式被编码，如图24所示，则导出包含块A的CU的左上角、右上角和左下角的运动矢量v₂,v₃和v₄。并且根据v₂,v₃和v₄计算当前CU左上角的运动矢量v₀。其次，计算当前CU右上方的运动矢量v₁。

在导出当前CU的CPMV v₀和v₁之后，根据简化的仿射运动模型等式1，生成当前CU的MVF。为了识别当前CU是否以AF_MERGE模式编码，当至少一个临近块以仿射模式编码时，在比特流中信令通知仿射标志。

仿射Merge候选列表通过以下步骤构建：

插入继承的仿射候选

继承的仿射候选是指该候选是从其有效的邻近仿射编码块的仿射运动模型推导出的。在通用库中，如图25所示，候选位置的扫描顺序为：A1，B1，B0，A0和B2。

在推导出候选之后，执行完整修剪过程以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃推导出的候选。

插入构建的仿射候选

如果仿射Merge候选列表中的候选数目小于MaxNumAffineCand(在此贡献中设置为5)，则将构建的仿射候选插入到候选列表中。构建仿射候选是指通过组合每个控制点的邻居运动信息来构建候选。

首先，从图25所示的指定空域邻居和时域邻居推导控制点的运动信息。CPk(k＝1、2、3、4)表示第k个控制点。A0，A1，A2，B0，B1，B2和B3是用于预测CPk(k＝1、2、3)的空域位置；T是用于预测CP4的时域位置。

CP1，CP2，CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。

根据以下优先级顺序获得每个控制点的运动信息：

对于CP1，检查优先级为B2->B3->A2。如果可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。

对于CP2，检查优先级为B1->B0。

对于CP3，检查优先级为A1->A0。

对于CP4，使用T。

其次，使用控制点的组合来构建仿射Merge候选。

需要三个控制点的运动信息来构建6参数仿射候选。可以从以下四个组合({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})之一中选择三个控制点。组合{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}将转换为由左上、右上和左下控制点表示的6参数运动模型。

需要两个控制点的运动信息来构建4参数仿射候选。可以从以下六个组合({CP1,CP4},{CP2,CP3},{CP1,CP2},{CP2,CP4},{CP1,CP3},{CP3,CP4})之一中选择两个控制点。组合{CP1,CP4},{CP2,CP3},{CP2,CP4},{CP1,CP3},{CP3,CP4}将转换为由左上和右上控制点表示的4参数运动模型。

按照以下顺序将构建的仿射候选的组合插入到候选列表中：

{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3},{CP2,CP3},{CP1,CP4},{CP2,CP4},{CP3,CP4}

对于组合的参考列表X(X为0或1)，选择控制点中使用率最高的参考索引作为列表X的参考索引，并且将缩放指向差异参考图片的运动矢量。

具有零运动矢量的填充

如果仿射Merge候选列表中的候选数目小于5，则将具有零参考索引的零运动矢量插入候选列表中，直到列表已满。

2.2.7双向光流

双向光流(BIO)是在块方式运动补偿之上执行的用于双向预测的样点方式运动细化。样点级的运动细化不使用信令。

设I^(k)为块运动补偿后来自参考k(k＝0，1)的亮度值，并且

分别为I^(k)梯度的水平分量和垂直分量。假设光流是有效的，则运动矢量场(v_x,v_y)由等式给出：

将此光流等式与每个样点的运动轨迹的埃尔米特插值相结合，得到唯一的三阶多项式，该多项式在末端同时匹配函数值I^(k)和其导数

该多项式在t＝0时的值是BIO预测：

这里，τ₀和τ₁表示到参考帧的距离，如图26所示。基于Ref0和Ref1的POC计算距离τ₀和τ₁：τ₀＝POC(current)-POC(Ref₀),τ₁＝POC(Ref₁)-POC(current)。如果两个预测都来自同一个时域方向(都来自过去或都来自未来)，则符号是不同的(例如，τ₀·τ₁<0)。在这种情况下，只有当预测不是来自同一时刻时(即，τ₀≠τ₁)，才应用BIO。两个参考区域都具有非零运动(MVx₀,MVy₀,MVx₁,MVy₁≠0)，并且块运动矢量与时域距离成比例(MVx₀/MVx₁＝MVy₀/MVy₁＝-τ₀/τ₁)。

通过最小化A点和B点(图9中运动轨迹与参考帧平面相交)之间的值的差Δ来确定运动矢量场(v_x,v_y)。对Δ，模型仅使用局部泰勒展开的第一个线性项：

等式7中的所有值取决于样点位置(i′,j′)，目前为止从标记中将其忽略。假设在局部周围区域的运动是一致的，可以在以当前预测点(i，j)为中心的(2M+1)x(2M+1)方形窗口Ω内最小化Δ，其中M等于2：

对于这个优化问题，JEM使用简化方法，首先在垂直方向上最小化，然后在水平方向最小化。这导致：

其中，

为了避免除以零除或很小的值，在式7和式8中引入正则化参数r和m。

r＝500·4^d-8 (10)

m＝700·4^d-8 (11)

这里，d是视频样点的位深度。

为了使BIO的内存访问与常规双向预测运动补偿相同，仅计算当前块内的位置的所有预测和梯度值I^(k),

在式11中，以预测块边界上当前预测点为中心的(2M+1)x(2M+1)的方形窗口Ω需要访问块外的位置(如图27所示)。在JEM中，块外的值I^(k),

设置为等于块内最近的可用值。例如，这可以实现为填充，如图27所示。

使用BIO，可以对每个样点的运动场进行细化。为了降低计算复杂度，在JEM中采用了基于块设计的BIO。基于4x4块计算运动细化。在基于块的BIO中，对4x4块中所有样点的等式11中的s_n值进行聚合，然后将s_n的聚合值用于4x4块的推导的BIO运动矢量偏移。更具体地说，下面的等式被用于基于块的BIO推导：

其中，b_k表示属于预测块的第k个4x4块的样点组。等式7和8中的s_n替换为((s_n,bk)>>4)以推导相关联的运动矢量偏移。

在某些情况下，由于噪声或不规则运动，BIO的MV团(regiment)可能不可靠。因此，在BIO中，MV团的幅度被钳位到阈值thBIO。该阈值是基于当前图片的参考图片是否全部来自一个方向确定的。如果当前图片的所有参考图片都来自一个方向，则该阈值的值被设置为12×2^14-d，否则其被设置为12×2^13-d。

使用与HEVC运动补偿处理一致的操作(2D可分离FIR)通过运动补偿插值同时计算BIO的梯度。该2D可分离FIR的输入是与运动补偿处理相同的参考帧样点，以及根据块运动矢量的分数部分的分数位置(fracX，fracY)。如果是水平梯度

首先使用BIOfilterS对信号进行垂直插值，该BIOfilterS对应于具有去缩放位移d-8的分数位置fracY。然后在水平方向上应用梯度滤波器BIOfilterG，该BIOfilterG对应于具有去缩放位移18-d的分数位置fracX。如果是垂直梯度

首先使用BIOfilterG垂直地应用梯度滤波器，该BIOfilterG对应于具有去缩放位移d-8的分数位置fracY。然后在水平方向上使用BIOfilterS执行信号移位，该BIOfilterS对应于具有去缩放位移18-d的分数位置fracX。用于梯度计算BIOfilterG和信号移位BIOfilterF的插值滤波器的长度可以更短(6-tap)，以保持合理的复杂度。表1示出了用在BIO中块运动矢量的不同分数位置的梯度计算的示滤波器。表2示出了用在BIO中预测信号生成的插值滤波器。

表1 BIO中用于梯度计算的滤波器

分数像素位置	梯度的插值滤波器(BIOfilterG)
		0	{8,-39,-3,46,-17,5}
1/16	{8,-32,-13,50,-18,5}
		1/8	{7,-27,-20,54,-19,5}
3/16	{6,-21,-29,57,-18,5}
		1/4	{4,-17,-36,60,-15,4}
5/16	{3,-9,-44,61,-15,4}
		3/8	{1,-4,-48,61,-13,3}
7/16	{0,1,-54,60,-9,2}
		1/2	{-1,4,-57,57,-4,1}

表2 BIO中用于预测信号生成的插值滤波器

分数像素位置	用于预测信号的插值滤波器(BIOfilterS)
		0	{0,0,64,0,0,0}
1/16	{1,-3,64,4,-2,0}
		1/8	{1,-6,62,9,-3,1}
3/16	{2,-8,60,14,-5,1}
		1/4	{2,-9,57,19,-7,2}
5/16	{3,-10,53,24,-8,2}
		3/8	{3,-11,50,29,-9,2}
7/16	{3,-11,44,35,-10,3}
		1/2	{3,-10,35,44,-11,3}

在JEM中，当两个预测来自不同的参考图片时，BIO应用于所有的双向预测块。当为CU启用LIC时，禁用BIO。

在JEM中，在正常MC处理之后将OBMC应用于块。为了降低计算复杂度，在OBMC处理期间不应用BIO。这意味着在OBMC处理期间，当使用自己的MV时，才将BIO应用于块的MC处理，而当使用临近块的MV时，不将BIO应用于块的MC处理。

2.2.8解码器侧运动矢量细化

在双向预测操作中，对于一个块区域的预测，将两个分别由列表0的运动矢量(MV)和列表1的MV形成的预测块组合形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中，通过双边模板匹配处理进一步细化双向预测的两个运动矢量。解码器中应用的双边模板匹配用于在双边模板和参考图片中的重构样点之间执行基于失真的搜索，以便在不传输附加运动信息的情况下获得细化的MV。

在DMVR中，双边模板被生成为两个预测块的加权组合(即平均)，其中两个预测块分别来自初始的列表0的MV0和列表1的MV1，如图28所示。模板匹配操作包括计算生成的模板与参考图片中的样点区域(在初始预测块周围)之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的MV被视为该列表的更新MV，以替换原始MV。在JEM中，为每个列表搜索九个MV候选。九个MV候选包括原始MV和8个周围MV，这八个周围MV在水平或垂直方向上或两者与原始MV具有一个亮度样点的偏移。最后，使用图28所示的两个新的MV(即MV0′和MV1′)生成最终的双向预测结果。绝对差之和(SAD)被用作成本度量。应当注意的是，在计算由一个周围MV生成的预测块的成本时，实际上使用取整的MV(至整数像素)而不是实际的MV来获取预测块。

在不传输附加语法元素的情况下，将DMVR应用于双向预测的Merge模式，其中一个MV来自过去的参考图片，并且另一个MV来自未来的参考图片。在JEM中，当为CU启用LIC、仿射运动、FRUC或子CU Merge候选时，不应用DMVR。

在以下针对各种实现方式描述的示例中，阐述了基于公开技术的基于LUT的运动矢量预测，该技术可以增强现有和未来的视频编码标准。因为LUT允许基于历史数据(例如，已处理的块)执行编码/解码过程，所以基于LUT的运动矢量预测也可以称为基于历史的运动矢量预测(History-based Motion Vector Prediction,HMVP)方法。在基于LUT的运动矢量预测方法中，在编码/解码过程中将维护一个或多个带有来自先前编码块的运动信息的表。存储在LUT中的这些运动候选被称为HMVP候选。在一个块的编码/解码期间，可以将LUT中的相关运动信息添加到运动候选列表(例如，Merge/AMVP候选列表)，并且在对一个块进行编码/解码之后，可以更新LUT。然后，将更新的LUT用于编码后续块。即，LUT中的运动候选的更新基于块的编码/解码顺序。以下示例应视为解释一般概念的示例。这些示例不应狭义地解释。此外，这些示例可以以任何方式组合。

3.实施例所解决的问题的示例

在三角分割的设计中，可以将一个块划分为两个分割。为了节省运动补偿所需的存储器带宽，要求这两个分割必须是单向预测的。在运动补偿过程中，双向预测用于对角线边缘，而单向预测用于其余所有部分。如果每个分割都允许双向预测，那么位于对角线边缘的样点将具有四个MV，其中两个来自一个分割，另外两个来自另一个分割。这样的设计存在以下问题：

在Merge列表构建过程中，仅检查空间临近块和时间块。

基于历史的运动矢量预测技术不适用于三角分割。

如何利用帧内块复制模式来处理三角分割模式是未知的。

4.实施例示例

所提出的技术可以应用于任何非正方形/非矩形分割，例如几何分割。在下面的描述中，我们以“三角分割模式”为例来表示非正方形/非矩形分割模式(TPM)中的一个。应当注意，其他种类的分割也可以适用。

应将以下详细技术视为示例以解释一般概念。这些技术不应狭义地解释。此外，这些发明可以以任何方式组合。将块尺寸表示为WxH。

1.建议对帧内编码块或非Merge帧间编码块启用三角预测模式，而不是始终对三角预测模式应用Merge模式。

a.在一个示例中，用不同的帧内预测模式来预测两个分割。

b.可替代地，此外，可以对沿着边缘边界的样点的预测值进一步进行滤波。

c.在一个示例中，两个三角分割的运动信息(例如MV)不能相互预测；

i.可替代地，一个三角分割的运动信息(例如MV)可以用于预测另一分割。

2.建议当将一个块划分为两个几何分割时，一个分割可以用帧内模式进行编码，而另一个分割可以用帧间模式进行编码。

a.在一个示例中，对于帧间编码的分割，也可以应用双向预测。

b.在一个示例中，当以Merge模式对当前块进行编码时，可以用信令通知这种方法，即对于帧间编码的分割，利用Merge索引来用信令通知运动信息。

c.可替代地，此外，可以对沿着边缘边界的样点的预测值进一步进行滤波。

d.在一个示例中，可以仅应用帧内预测模式的子集。

i.这两个分割的子集可以不同。

ii.子集可以取决于分割的位置。

iii.子集可以取决于块尺寸和/或块形状。

3.如在条目1和条目2中所公开的，Merge或非Merge帧间编码块可以将当前图片用作参考图片。

4.建议当以三角分割模式对一个块进行编码时，非相邻空间块的帧间/帧内编码信息也可以被视为对当前块进行编码的预测器。

a.在一个示例中，可以利用非相邻空间块的运动信息。

b.在一个示例中，可以利用非相邻空间块的帧内预测模式。

c.可替代地，时间块的编码信息可以进一步用于利用TPM对一个块进行编码。

5.建议在用于TPM编码块的Merge列表构建过程中添加从HMVP候选推导的运动候选，其中，HMVP(基于历史的运动矢量预测)候选是从先前编码的块继承或推导的运动信息。

HMVP候选存储的表维护

a.HMVP候选的维护和/或存储HMVP候选的表的更新可以与用于普通运动矢量的HMVP相同。

b.在一个示例中，可以为HMVP候选存储维护相同的表，其可以用于非TPM编码块和TPM编码块。

i.在一个示例中，TPM使用的运动信息没有被放入HMVP存储中。在对TPM编码块进行编码/解码之后，不会更新HMVP表。

c.在一个示例中，可以维护单独的表以存储用于对TPM编码块进行编码的HMVP候选。

i.可以利用仅来自TPM编码块的运动信息来为HMVP候选存储维护表。

ii.可以维护两个表来分别存储单向预测和双向预测的HMVP候选。

iii.可以维护两个表来分别存储第一分割和第二分割的运动信息。

iv.可以维护两个表来分别存储列表0的运动信息和列表1的运动信息。

v.可替代地，可以维护三个表来分别存储来自列表0的单向预测，来自L1的单向预测和双向预测的HMVP候选。

d.用TPM编码块进行编码后，用于HMVP候选存储的表可以不被更新。

i.可替代地，可以用第一分割的运动信息来更新用于HMVP候选存储的一个/多个表

ii.可替代地，可以使用第二分割的运动信息来更新用于HMVP候选存储的一个/多个表。

iii.可替代地，可以用来自两个分割的运动信息，通过添加两个HMVP候选，来更新用于HMVP候选存储的一个/多个表。

iv.可替代地，可以用来自两个分割的运动信息，通过添加一个HMVP候选(例如，当从两个参考图片列表预测两个分割时)，来更新用于HMVP候选存储的一个/多个表。

v.是否将一个或两个运动候选添加到HMVP表可以取决于是否从相同参考图片列表和/或从相同参考图片来预测两个分割。

vi.是否将第一分割或第二分割的运动信息添加到HMVP表可以取决于参考图片与当前图片之间的POC之差。

e.当分别为对TPM和非TPM编码的块进行编码维持单独的表时，可以基于一个块的模式来调用表的更新。

i.在一个示例中，在对TPM编码块进行解码之后，运动信息可以用于更新用于对TPM编码块进行编码的表。

ii.在一个示例中，在对非TPM编码块进行解码之后，运动信息可以用于更新用于对非TPM编码块进行编码的表。

iii.可替代地，此外，在对非TPM编码块进行解码之后，运动信息可以用于更新用于对TPM编码块进行编码的表。

TPM编码块中HMVP候选的使用

f.可以将HMVP候选直接添加到TPM编码块的Merge列表。

i.可替代地，可以利用一个HMVP候选来推导两个运动候选，例如，一个是利用列表0运动信息的单向预测，而另一个是利用HMVP候选的列表1运动信息的单向预测。

ii.当插入从HMVP候选推导/继承的运动候选时，可以利用从空间或时间块中推导/继承的其他运动候选，应用修剪。

iii.当插入从HMVP候选推导/继承的运动候选时，可以利用从另一HMVP候选推导/继承的运动候选，应用修剪。

iv.当插入从HMVP候选推导/继承的运动候选时，可以利用从同一HMVP候选推导/继承的另一运动候选，应用修剪。

g.在一个示例中，可以在从空间和/或时间块(例如，图14中的块1-7)推导的运动候选之后，添加从一个或多个HMVP候选推导的一个或多个运动候选。在这种情况下，HMVP候选与其他空间/时间Merge候选的处理方式相同。

h.从HMVP候选继承/推导的运动候选，可以在依赖于空间/时间块的运动信息的Merge列表构建过程中的特定步骤之后或之前，被添加到Merge列表中。

i.可替代地，可以在几个预定义步骤之后或之前，立即将从HMVP候选继承/推导的运动候选添加到Merge列表中。

ii.在一个示例中，可以在具有当前设计的所有原始单向预测的候选之后，立即添加具有单向预测的一个或多个HMVP候选。

iii.在一个示例中，可以在所有截断的List0预测的候选之后，立即添加具有来自L0的单向预测或双向预测的一个或多个HMVP候选。可替代地，此外，如果HMVP候选具有双向预测，则仅可以保留列表0运动信息。

iv.在一个示例中，可以在所有截断的List1预测的候选对象之后，立即添加具有来自L1的单预测或双向预测的一个或多个HMVP候选对象。另外，此外，如果HMVP候选具有双向预测，则仅可以保留列表1运动信息。

v.在一个示例中，可在来自列表0或列表1运动候选的所有平均单向预测之后，立即添加一个或多个HMVP候选。

vi.在一个示例中，可在来自列表0或列表1运动候选的所有平均单向预测之前，立即添加一个或多个HMVP候选。

i.从HMVP候选继承/推导的运动候选可以与从空间/时间块的运动信息继承/推导的运动候选以交织的方式添加到Merge列表。

j.在一个示例中，可以在从另一HMVP候选的列表0和列表1推导的运动候选之前，按顺序添加从每个HMVP候选的列表0和列表1推导的运动候选。

k.在一个示例中，可以在从第二HMVP候选集合的列表1推导的运动候选之前，按顺序添加从第一HMVP候选集合的列表0推导的运动候选。

i.在一个示例中，第一集合和第二集合是同一集合，即，所有可用的HMVP候选。

ii.可替代地，第一集合和第二集合可以不同，诸如，第一HMVP候选集合包括具有来自列表0的单向预测和双向预测的HMVP候选；而第二HMVP候选集合包括具有来自列表1的单向预测和双向预测的HMVP候选。

iii.与第一和第二集合相关联的HMVP候选的数量可以不同。

l.可以将列表LX的HMVP候选缩放到列表L(1-X)，然后将其用于列表L(1-X)。

i.缩放的候选可以在所有其他候选之后插入。

ii.缩放的候选可以在除时域候选之外的所有其他候选之后插入。

m.用于推导要添加到TPM Merge列表的运动候选的HMVP候选的检查顺序可以取决于HMVP候选的索引。

i.可替代地，它可以取决于预测方向。

ii.可替代地，它可以取决于运动信息。

6.可以预先定义在TPM Merge列表构建过程中要检查多少HMVP，例如5。

a.在TPM Merge列表构建过程中要检查的HMVP候选的数量，可以取决于块尺寸/块形状/在在检查HMVP候选之前有多少候选可用。

b.在TPM Merge列表构建过程中要检查的HMVP候选的数量，可以在SPS/VPS/PPS/图片头/条带头/片头/CTU行/CTU/CTU组中用信令通知。

c.当在TPM Merge列表构建过程中要检查可用HMVP候选的一部分时，HMVP候选的选择可以取决于候选的参考图片和当前图片的预测方向/MV信息/参考图片索引/POC距离和/或候选索引。

7.是否以及如何对TPM编码块上应用HMVP可以取决于块尺寸(例如，宽度和/或高度，宽度与高度的比率)或块形状(例如，正方形或非正方形)。

8.所提出的方法还可以适用于其他种类的用于几何分割的运动候选列表(诸如AMVP列表)。

图29是视频处理装置2900的框图。装置2900可用于实现这里描述的一个或多个方法。装置2900可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2900可以包括一个或多个处理器2902、一个或多个存储器3704和视频处理硬件2906。处理器2902可以被配置为实现在本文中描述的一种或多种方法。(一个或多个)存储器2904可以用于存储用于实现这里描述的方法和技术的数据和代码。视频处理硬件2906可用于在硬件电路中实现本文档中描述的一些技术。

图31是用于处理视频的方法3100的流程图。方法3100包括执行第一视频块是帧内编码的或非Merge帧间编码的确定(3105)，基于第一视频块是帧内编码的或非Merge帧间编码的确定来确定(3110)用于第一视频块的第一预测部分和第二预测部分，其中第一预测部分或第二预测部分中的一个或两个是第一视频块的非矩形和非正方形的部分，以及使用第一预测部分和第二预测部分执行(3115)对第一视频块的进一步处理。

图32是用于处理视频的方法3200的流程图。方法3200包括执行第一视频块是帧内编码的或非Merge帧间编码的确定(3205)，确定(3210)用于第一视频块的第一预测部分和第二预测部分，其中第一预测部分或第二预测部分中的一个或两个是第一视频块的非矩形和非正方形的部分，以及使用第一预测部分和第二预测部分执行(3215)对第一视频块的进一步处理，其中至少一个预测部分是使用当前图像作为参考图像进行合并(merge)或非Merge帧间编码的。

图33是用于处理视频的方法3300的流程图。方法3300包括执行第一视频块是帧内编码的或非Merge帧间编码的确定(3305)，确定(3310)用于第一视频块的第一预测部分和第二预测部分，其中第一预测部分或第二预测部分中一个或两个是第一视频块的非矩形和非正方形部分，以及使用第一预测部分和第二预测部分执行(3315)对第一视频块的进一步处理，其中使用第一预测部分和第二预测部分执行对第一视频块的进一步处理基于相对于所述第一视频块不相邻的空间块的帧间或帧内编码的信息。

图34是用于处理视频的方法3400的流程图。方法3400包括执行使用第一视频块的三角预测部分以三角部分模式(TPM)对第一视频块进行编码、以及使用第二视频块的非三角预测部分以非TPM对第二视频块进行编码的确定(3405)，使用存储的HMVP候选执行(3410)对第一视频块和第二视频块的进一步处理，以及存储(3415)与第一视频块和第二视频块相关联的HMVP候选。

图35是用于处理视频的方法3500的流程图。方法3500包括执行第一视频块包括作为第一视频块的非矩形和非正方形部分的预测部分的确定(3505)；识别(3510)HMVP候选；将从HMVP候选推导的一个或多个运动候选添加(3515)到与视频块相关联的Merge列表中，该视频块包括非矩形和非正方形的预测部分，以及使用Merge列表对第一视频块执行(3520)进一步处理。

参考方法3100、3200、3300、3400和3500，在本文的第4节中描述了确定编码候选及其使用的一些示例。例如，可以使用非正方形和非矩形的预测部分来处理视频块。

参考方法3100、3200、3300、3400和3500，视频块可以被编码在视频比特流中，其中可以通过使用与运动信息预测有关的比特流生成规则来实现比特效率。

该方法可以包括：使用第一帧内预测模式确定第一预测部分的图像信息；以及使用第二帧内预测模式确定第二预测部分的图像信息，第一帧内预测模式不同于第二帧内预测模式。

该方法可以包括：沿着第一预测部分和第二预测部分之间的边缘边界过滤与第一预测部分和第二预测部分有关的预测值。

该方法可以包括：由处理器确定第一预测部分的第一运动信息；以及由处理器确定第二预测部分的第二运动信息，其中，不使用第二运动信息确定第一运动信息，并且不使用第一运动信息确定第二运动信息。

该方法可以包括：由处理器确定第一预测部分的第一运动信息；以及由处理器确定第二预测部分的第二运动信息，其中，使用第一运动信息确定第二运动信息。

该方法可以包括：利用帧内模式编码来处理第一预测部分；以及利用帧间模式编码来处理第二预测部分。

该方法可以包括：其中，处理第二预测部分包括应用双向预测。

该方法可以包括：其中，处理第二预测部分包括确定用Merge索引来信令通知的运动信息。

该方法可以包括：其中，使用帧内模式编码的子集。

该方法可以包括：其中，第一预测部分和第二预测部分与帧内模式编码的不同子集相关联。

该方法可以包括：其中，基于第一预测部分和第二预测部分的位置，将第一预测部分和第二预测部分与帧内模式编码的不同子集相关联。

该方法可以包括：其中，基于第一视频块的尺寸或第一视频块的形状中的一个或多个，将第一预测部分和第二预测部分与帧内模式编码的不同子集相关联。

该方法可以包括：其中，非相邻空间视频块的帧间或帧内编码信息包括非相邻空间视频块的运动信息。

所述方法可以包括：其中，使用非相邻空间视频块的帧内预测模式。

所述方法可以包括：其中，使用时间块的编码信息。

该方法可以包括：在运动矢量预测候选列表中添加基于历史的运动矢量预测(HMVP)候选，其中HMVP候选包括基于先前编码的视频块的运动信息；以及基于HMVP候选对第一视频块进行解码。

该方法可以包括：其中，HMVP候选被存储在表中，并且其中，TPM使用的运动信息不被存储在表中。

所述方法可包括：其中，在使用TPM对第一视频块进行编码或解码之后不更新表。

该方法可以包括：其中，将HMVP候选存储在第一表和第二表中，第一表存储用于TPM的HMVP候选，并且第二表存储用于非TPM的HMVP候选。

所述方法可以包括：其中，第一表或第二表中的一个存储单向预测的HMVP候选，而另一个存储双向预测的HMVP候选。

该方法可以包括：其中，第一表或第二表中的一个存储第一分割部分的运动信息，而另一个存储第二分割部分的运动信息。

该方法可以包括：其中，第一表或第二表中的一个存储列表0的运动信息，而另一个存储列表1的运动信息。

该方法可以包括：其中，第一表存储来自列表0的单向预测的HMVP候选，第二表存储来自列表1的单向预测的HMVP候选，而第三表存储双向预测的HMVP候选。

该方法可以包括：其中，不基于第一预测部分或第二预测部分是第一视频块的非矩形和非正方形几何部分中的一个或两个来更新用于HMVP候选存储的表。

该方法可以包括：使用第一分割部分的运动信息来更新用于HMVP候选存储的第一表或第二表中的一个或多个。

该方法可以包括：使用第二分割部分的运动信息来更新用于HMVP候选存储的第一表或第二表中的一个或多个。

所述方法可以包括：使用第一分割部分的运动信息和第二分割部分的运动信息来更新用于HMVP候选存储的第一表或第二表中的一个或多个。

该方法可以包括：确定从两个参考图片列表中预测出第一分割部分和第二分割部分；基于从两个参考图片列表中预测出第一分割部分和第二分割部分的确定，使用一个HMVP候选的运动信息来更新用于HMVP候选存储的一个或多个表。

该方法可以包括：使用相同的参考图片列表或相同的参考图片确定预测了第一分割部分和第二分割部分，其中，基于确定使用相同参考图片列表或相同参考图片来预测第一分割部分和第二分割部分来更新表。

所述方法可以包括：确定参考图片和当前图片之间的图片顺序计数(POC)差异，其中，基于POC差异将第一分割部分或第二分割部分的运动信息添加到一个或多个表中。

该方法可以包括确定关于第一视频块的编码的特征；并基于关于第一视频块的编码的特征，更新第一表或第二表中的一个或两个。

该方法可以包括：其中，运动信息用于在对TPM视频块进行解码之后更新与TPM视频块相关联的表。

该方法可以包括：其中，运动信息被用于在对非TPM视频块进行解码之后更新与非TPM视频块相关联的表。

该方法可以包括：其中，运动信息用于在对非TPM视频块进行解码之后更新与TPM视频块相关的表。

该方法可以包括：从HMVP候选确定第一运动候选和第二运动候选，第一Merge候选或第二Merge候选中的一个是使用HMVP候选的列表0运动信息的单向预测，而另一个是使用HMVP候选的列表1运动信息的单向预测。

该方法可以包括：基于将从HMVP候选推导的运动候选插入基于空间或时间视频块的其他运动候选的修剪。

该方法可以包括：基于将从HMVP候选推导的运动候选插入基于其他HMVP候选的其他运动候选的修剪。

该方法可以包括：基于将从HMVP候选推导的运动候选插入基于该HMVP候选的其他运动候选的修剪。

该方法可以包括：在从空间或时间视频块中的一个或两个推导的运动候选之后，将从与第一视频块相关联的HMVP候选推导的运动候选添加到Merge列表。

该方法可以包括：在基于空间或时间视频块的运动信息的Merge列表构建过程之后或之前，将从HMVP候选推导的运动候选添加到Merge列表中。

该方法可以包括：在预定义步骤之后或之前，将从HMVP候选推导的运动候选添加到Merge列表。

该方法可以包括：将使用单向预测从HMVP候选推导的运动候选添加在其他原始单预测的候选之后。

该方法可以包括：将使用来自列表0的单向预测或双向预测从HMVP候选推导的运动候选与添加在截断的列表0预测的候选之后。

该方法可以包括：将使用来自列表1的单向预测或双向预测从HMVP候选推导的运动候选与添加在截断的列表1预测的候选之后。

该方法可以包括：将从HMVP候选推导的运动候选添加在来自列表0或列表1运动候选的平均单向预测之后。

该方法可以包括：将从HMVP候选推导的运动候选添加在来自列表0或列表1运动候选的平均单向预测之前。

该方法可以包括：其中，根据基于与第一视频块相关的空间或时间块的运动信息的运动候选的交织，将从HMVP候选推导的运动候选添加到Merge列表中。

该方法可以包括：其中，在从另一HMVP候选的列表0和列表1推导的运动候选之前，按顺序添加从HMVP候选的列表0和列表1推导的运动候选。

该方法在此可以包括：其中，在从第二HMVP候选集的列表1推导的运动候选之前，按顺序添加从第一HMVP候选集的列表0推导的运动候选。

该方法可以包括：其中，第一集合和第二集合相同，其中第一集合和第二集合包括所有可用的HMVP候选。

该方法可以包括：其中，第一集合和第二集合不同，第一集合包括使用来自列表0的单向预测和双向预测的HMVP候选，第二集合包括使用来自列表1的单向预测和双向预测的HMVP候选。

该方法可以包括：其中，第一集合包括第一HMVP候选数量，第二集合包括第二HMVP候选数量，第一数量和第二数量不同。

该方法可以包括：其中，可以通过将HMVP候选的列表LX的运动矢量缩放到列表L(1-X)来从HMVP候选中推导缩放运动候选，并且向缩放的运动候选分配缩放的运动矢量和列表L(1-X)。

该方法可以包括：其中，将从HMVP候选推导的缩放的运动候选插入在从HMVP候选推导的其他运动候选之后。

该方法可以包括：其中，将从HMVP候选推导的缩放的运动候选插入到时域候选之前。

该方法可以包括：其中，要被添加到Merge列表的HMVP候选的检查顺序基于HMVP候选的索引。

该方法可以包括：其中，要被添加到Merge列表的HMVP候选的检查顺序基于预测方向。

该方法可以包括：其中，要被添加到Merge列表的HMVP候选的检查顺序基于运动信息。

该方法可以包括：其中，在运动候选列表构建过程中要检查的HMVP候选数量是预先定义的。

该方法可以包括：其中，在TPM Merge列表构建过程中要检查的HMVP候选的数量是基于第一视频块的块尺寸、第一视频块的块形状或在检查HMVP候选之前可用的候选数量。

该方法可以包括：其中，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片标头、片组标头、条带标头、编码树单元(CTU)的行组、CTU或CTU组中用信号发送在TPM Merge列表构建过程中要检查的HMVP候选数量。

该方法可以包括：其中，HMVP候选的选择基于预测方向、运动矢量(MV)信息、参考图片索引、参考图片的POC距离和候选或候选索引的一个或两者的当前图片。

该方法可以包括：其中，与第一视频块相关联的HMVP的应用是基于第一视频块的块尺寸或第一视频块的块形状。

该方法可以包括：其中非矩形和非正方形部分是三角形的。

应当理解，当被压缩的编码单元的形状与传统的正方形块或半正方形的矩形块显著不同时，可以在视频编码器或解码器中体现公开的技术以提高压缩效率。例如，使用诸如4×32或32×4尺寸的单元的长的或高的编码单元的新的编码工具可以受益于所公开的技术。

图36是用于处理视频的方法3600的流程图。该方法3600包括：在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定(3605)当前块的多个子部分；确定(3610)所述多个子部分的帧内预测信息；使用所述多个子部分的帧内预测信息来执行(3615)所述当前块的转换；并且其中，所述当前块是帧内编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。需要注意的是，下面描述的子部分可以等价于上面描述的预测部分。

图37是用于处理视频的方法3700的流程图。该方法3700包括：在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定(3705)所述当前块的多个子部分；确定(3710)所述多个子部分的运动信息；使用所述多个子部分的运动信息执行(3715)所述当前块的转换；并且其中，所述当前块是非Merge帧间编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。

图38是用于处理视频的方法3800的流程图。该方法3800包括：执行(3805)可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；利用帧内编码模式处理(3810)第一子部分；以及利用帧间编码模式处理(3815)第二子部分。

图39是用于处理视频的方法3900的流程图。该方法3900包括：执行(3905)可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；其中，所述多个子部分中的至少一个是Merge或非Merge帧间编码的，并且使用当前图片作为参考图片。

图40是用于处理视频的方法4000的流程图。该方法4000包括：执行(4005)可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；以及使用一个或多个非相邻空间块的帧间或帧内编码信息执行(4010)所述转换。

图41是用于处理视频的方法4100的流程图。该方法4100包括：在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定(4105)所述第一块以几何分割模式编码；基于至少一个表来确定(4110)所述第一块的至少一个子部分的运动信息，所述至少一个表存储包括基于先前编码的块的运动信息的基于历史的运动矢量预测HMVP候选；使用所确定的运动信息执行(4115)所述第一块的转换。

图42是用于处理视频的方法4200的流程图。该方法4200包括：在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定(4205)第一块以几何分割模式编码；确定(4210)所述第一块的至少一个子部分的运动信息；使用所述至少一个子部分的运动信息，执行(4215)所述第一块的转换；其中，确定所述第一块的至少一个子部分的运动信息包括：使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表，并且从所述运动候选列表确定所述运动信息；其中，所述至少一个HMVP候选包括基于先前编码的块的运动信息。

现在以基于条款的格式公开优选地由一些实施例实现的一些特征。

1.一种用于处理视频的方法，包括：

在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定当前块的多个子部分；

确定所述多个子部分的帧内预测信息；

使用所述多个子部分的帧内预测信息来执行所述当前块的转换；并且

其中，所述当前块是帧内编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。

2.根据权利要求1所述的方法，其中，确定所述多个子部分的帧内预测信息包括：

使用第一帧内预测模式确定所述多个子部分中的第一子部分的第一帧内预测信息；

使用第二帧内预测模式确定所述多个子部分中的第二子部分的第二帧内预测信息；

其中，所述第一帧内预测模式不同于所述第二帧内预测模式。

3.根据权利要求2所述的方法，其中，通过使用帧内预测模式的第一子集确定所述第一帧内预测信息，并且通过使用帧内预测模式的第二子集确定所述第二帧内预测信息；

其中，帧内预测模式的第一子集不同于帧内预测模式的第二子集。

4.根据权利要求3所述的方法，其中，帧内预测模式的子集基于所述第一子部分和/或所述第二子部分的位置、尺寸和形状的至少一个。

5.根据权利要求1-4中的任一项所述的方法，其中，确定所述多个子部分的帧内预测信息还包括：

沿着所述多个子部分中的至少一个的边缘边界对样点的预测值进行过滤。

6.根据权利要求1-5中任一项所述的方法，其中，在不使用所述多个子部分包括的第二子部分的第二帧内预测信息的情况下确定所述多个子部分包括的第一子部分的第一帧内预测信息，并且在不使用所述第一子部分的第一帧内预测信息的情况下确定所述第二子部分的第二帧内预测信息。

7.根据权利要求1-5中的任一项所述的方法，其中，使用所述多个子部分包括的第二子部分的第二帧内预测信息来确定所述多个子部分包括的第一子部分的第一帧内预测信息，和/或使用所述第一子部分的所述第一帧内预测信息来确定所述第二子部分的第二帧内预测信息。

8.一种用于处理视频的方法，包括：

在可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换期间，确定所述当前块的多个子部分；

确定所述多个子部分的运动信息；

使用所述多个子部分的运动信息执行所述当前块的转换；并且

其中，所述当前块是非Merge帧间编码的，并且所述多个子部分中的至少一个是非矩形和非正方形的子部分。

9.根据权利要求8所述的方法，其中，确定多个子部分的运动信息包括：

使用第一帧内预测模式确定所述多个子部分中的第一子部分的第一运动信息；

使用第二帧内预测模式确定所述多个子部分中的第二子部分的第二运动信息。

10.根据权利要求8-9中的任一项所述的方法，其中，确定所述多个子部分的帧内预测还包括：

11.根据权利要求8-9中任一项所述的方法，其中，在不使用所述第二子部分的第二运动信息的情况下确定所述第一子部分的第一运动信息，并且在不使用所述第一子部分的第一运动信息的情况下确定所述第二子部分的第二运动信息。

12.根据权利要求8-9中的任一项所述的方法，其中，使用所述第二子部分的第二运动信息来确定所述第一子部分的第一运动信息，和/或使用所述第一子部分的第一运动信息来确定所述第二子部分的第二运动信息。

13.一种视频处理的方法，包括：

执行可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；

利用帧内编码模式处理第一子部分；以及

利用帧间编码模式处理第二子部分。

14.根据权利要求13所述的方法，其中，通过应用双向预测来对所述第二子部分进行处理。

15.根据权利要求13-14中的任一项所述的方法，还包括：

响应于所述当前块被用Merge模式进行编码，利用Merge索引来信令通知运动信息。

16.根据权利要求13-15中的任一项所述的方法，还包括：

使用帧内预测模式的子集来确定所述多个子部分的运动信息。

17.根据权利要求16所述的方法，其中，所述帧内预测模式的子集基于所述第一子部分的位置、尺寸和形状中的至少一个。

18.一种用于处理视频的方法，包括：

其中，所述多个子部分中的至少一个是Merge或非Merge帧间编码的，并且使用当前图片作为参考图片。

19.一种用于处理视频的方法，包括：

执行可视媒体数据的当前块与所述可视媒体数据的相应编码表示之间的转换，其中根据划分模式将所述当前块分割为多个子部分，其中的第一子部分具有非矩形、非正方形形状；以及

使用一个或多个非相邻空间块的帧间或帧内编码信息执行所述转换。

20.根据权利要求19所述的方法，其中，所述一个或多个非相邻空间块的帧间或帧内编码信息包括所述一个或多个非相邻空间块的运动信息。

21.根据权利要求19所述的方法，其中，所述使用一个或多个非相邻空间块的帧间或帧内编码信息执行当前块的转换包括：

使用一个或多个非相邻空间块的帧内预测模式执行所述当前块的转换。

22.根据权利要求19所述的方法，其中，使用时间块的编码信息。

23.一种视频处理装置，包括被配置为实现权利要求1至22中的任一项所述的方法的处理器。

24.根据权利要求23所述的装置，其中，所述装置是视频编码器。

25.根据权利要求23所述的装置，其中，所述装置是视频解码器。

26.一种在其上记录有包括代码的程序的计算机可读记录介质，所述程序用于处理器执行权利要求1至22中任一项所述的方法。

现在以基于条款的格式公开优选地由另一些实施例实现的一些特征。

1.一种用于处理视频的方法，包括：

在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定所述第一块以几何分割模式编码；

基于至少一个表来确定所述第一块的至少一个子部分的运动信息，所述至少一个表存储包括基于先前编码的块的运动信息的基于历史的运动矢量预测HMVP候选；

使用所确定的运动信息执行所述第一块的转换。

2.根据权利要求1所述的方法，其中所述第一块以几何分割模式编码包括：

将所述第一块划分为多个子部分；

其中，所述多个子部分中的至少一个是非矩形和非正方形部分。

3.根据权利要求1所述的方法，还包括：

在所述可视媒体数据的第二块与所述可视媒体数据的相应编码表示之间的转换期间，基于与用于所述第一块的相同的所述表确定所述第二块的运动信息，

并且，所述第二块未使用所述几何分割模式。

4.根据权利要求1-3中任一项所述的方法，其中，避免将所述第一块使用的运动信息存储在所述至少一个表中。

5.根据权利要求1-4中任一项所述的方法，其中，在所述第一块的转换之后，不更新所述至少一个表。

6.根据权利要求1-5中任一项所述的方法，其中，所述至少一个表包括多个表，所述多个表被维护以存储用于具有所述几何分割模式的块的HMVP候选。

7.根据权利要求6所述的方法，其中，对于所述至少一个表，所存储的HMVP候选仅具有根据具有所述几何分割模式的块所使用的运动信息。

8.根据权利要求1-7中任一项所述的方法，其中，所述至少一个表包括两个表，所述两个表被维护以分别存储单向预测的HMVP候选和双向预测的HMVP候选。

9.根据权利要求1-8中任一项所述的方法，其中，所述至少一个表包括两个表，所述两个表被维护以分别存储所述第一块的第一子部分和第二子部分的运动信息。

10.根据权利要求1-9中任一项所述的方法，其中，所述至少一个表包括两个表，所述两个表被维护以分别存储列表0和列表1的运动信息。

11.根据权利要求1-10中任一项所述的方法，其中，所述至少一个表包括三个表，所述三个表被维护以分别存储来自列表0的单向预测的HMVP候选、来自列表1的单向预测的HMVP候选，以及双向预测的HMVP候选。

12.根据权利要求1-11中任一项所述的方法，其中，利用所述第一块的部分子部分的运动信息来更新所述至少一个表。

13.根据权利要求1-12中任一项所述的方法，其中，利用第一子部分的运动信息和第二子部分的运动信息来更新所述至少一个表，所述第一子部分和所述第二子部分是所述第一块的子部分。

14.根据权利要求13所述的方法，其中，利用第一子部分的运动信息和第二子部分的运动信息，通过添加一个HMVP候选，来更新所述至少一个表。

15.根据权利要求14所述的方法，其中，是否通过添加一个或两个运动候选来更新所述至少一个表取决于所述第一子部分和所述第二子部分是使用相同参考图片列表或相同参考图片。

16.根据权利要求14所述的方法，其中，是否通过添加第一子部分或第二子部分的运动信息来更新至少一个表取决于参考图片和当前图片之间的图片顺序计数(POC)差异。

17.根据权利要求1-16中任一项所述的方法，其中，所述方法还包括：

在对具有非矩形和非正方形部分的块进行处理之后，将具有非矩形和非正方形部分的块的运动信息用于更新表，所述表被维护以存储针对具有非矩形和非正方形部分的块的HMVP候选。

18.根据权利要求1-16中任一项所述的方法，其中，所述方法还包括：

在对不具有非矩形和非正方形部分的块进行处理之后，将不具有非矩形和非正方形部分的块的运动信息用于更新表，所述表被维护以存储针对不具有非矩形和非正方形部分的块的HMVP候选。

19.根据权利要求1-16中任一项所述的方法，其中，所述方法还包括：

在对不具有非矩形和非正方形部分的块进行处理之后，将不具有非矩形和非正方形部分的块的运动信息用于更新表，所述表被维护以存储针对具有非矩形和非正方形部分的块的HMVP候选。

20.根据权利要求1-19中任一项所述的方法，其中，所述几何分割模式包括三角分割模式。

21.根据权利要求1-20中任一项所述的方法，其中，所述方法适用于其他种类的运动候选列表。

22.一种视频处理装置，包括被配置为实现权利要求1至21中的任一项所述的方法的处理器。

23.根据权利要求22所述的装置，其中所述装置是视频编码器。

24.根据权利要求22所述的装置，其中所述装置是视频解码器。

25.一种在其上记录有包括代码的程序的计算机可读记录介质，所述程序用于处理器执行权利要求1至21中任一项所述的方法。

1.一种用于处理视频的方法，包括：

在可视媒体数据的第一块与所述可视媒体数据的相应编码表示之间的转换期间，确定第一块以几何分割模式编码；

确定所述第一块的至少一个子部分的运动信息；

使用所述至少一个子部分的运动信息，执行所述第一块的转换；

其中，确定所述第一块的至少一个子部分的运动信息包括：

使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表，并且从所述运动候选列表确定所述运动信息；其中，所述至少一个HMVP候选包括基于先前编码的块的运动信息。

2.根据权利要求1所述的方法，其中，所述第一块以几何分割模式编码包括：

将所述第一块划分为多个子部分；

3.根据权利要求1所述的方法，其中，所述至少一个HMVP候选被直接添加到所述运动候选列表。

4.根据权利要求1-3中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

使用一个HMVP候选来确定第一运动候选和第二运动候选，所述第一运动候选和第二运动候选中的一个是使用HMVP候选的列表0运动信息的单向预测，而另一个是使用HMVP候选的列表1运动信息的单向预测。

5.根据权利要求1-4中任一项所述的方法，还包括：

响应于插入从所述HMVP候选推导的运动候选，利用基于空间或时间视频块的其他运动候选，执行修剪。

6.根据权利要求1-5中任一项所述的方法，还包括：

响应于插入从所述HMVP候选推导的运动候选，利用基于其他HMVP候选的其他运动候选，执行修剪。

7.根据权利要求1-6中任一项所述的方法，还包括：

响应于插入从所述HMVP候选推导的运动候选，利用基于所述HMVP候选的其他运动候选，而执行修剪。

8.根据权利要求1-7中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在从空间或时间块中的一个或两个推导的运动候选之后，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

9.根据权利要求1-8中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在基于空间或时间块的运动信息的运动候选列表构建过程中的预定步骤之后或之前，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

10.根据权利要求1-9中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在基于空间或时间块的运动信息的运动候选列表构建过程中的多个预定步骤之后或之前，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

11.根据权利要求1-10中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在所有原始单向预测的候选之后，将用单向预测从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

12.根据权利要求1-11中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在截断的列表0预测的候选之后，将来自列表0用单向预测或双向预测从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

13.根据权利要求1-12中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在截断的列表1预测的候选之后，将来自列表1用单向预测或双向预测从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表中。

14.根据权利要求1至13中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在来自列表0或列表1的运动候选的平均单向预测之后，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选对象列表中。

15.根据权利要求1-14中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在来自列表0或列表1的运动候选的平均单向预测之前，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选对象列表中。

16.根据权利要求1-15中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

根据基于与当前块相关的空间或时间块的运动信息的运动候选的交织，将从所述HMVP候选推导的至少一个运动候选添加到所述运动候选列表。

17.根据权利要求1-16中任一项所述的方法，其中，将从HMVP候选推导的运动候选设置为等于HMVP候选。

18.根据权利要求1-17中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在从另一个HMVP候选的列表0和列表1推导的运动候选之前，将从所述HMVP候选的列表0和列表1推导的至少一个运动候选添加到所述运动候选列表中。

19.根据权利要求1-18中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在从HMVP候选的第二集合的列表1推导的运动候选之前，将从HMVP候选的第一集合的列表0推导的至少一个运动候选添加到所述运动候选列表。

20.根据权利要求19所述的方法，其中，所述第一集合和所述第二集合是相同的。

21.根据权利要求19所述的方法，其中，所述第一集合和所述第二集合是不同的，并且所述第一集合包括使用来自列表0的单向预测和双向预测的HMVP候选，所述第二集合包括使用来自列表1的单向预测和双向预测的HMVP候选。

22.根据权利要求19所述的方法，其中，所述第一集合包括第一数量的HMVP候选，所述第二集合包括第二数量的HMVP候选，并且所述第一数量和所述第二数量不同。

23.根据权利要求1-22中任一项所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

将列表LX的所述HMVP候选缩放到列表L(1-X)，以生成用于L(1-X)的缩放的HMVP候选。

24.根据权利要求23所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在从HMVP候选推导的其他运动候选之后添加所述缩放的HMVP候选。

25.根据权利要求23所述的方法，其中，使用至少一个基于历史的运动矢量预测HMVP候选构造运动候选列表包括：

在从HMVP候选推导的其他运动候选之后和时间候选之前添加所述缩放的HMVP候选。

26.根据权利要求1-25中任一项所述的方法，其中要添加到所述运动候选列表的HMVP候选的检查顺序基于所述HMVP候选的索引。

27.根据权利要求1-25中任一项所述的方法，其中要添加到所述运动候选列表的HMVP候选的检查顺序基于预测方向。

28.根据权利要求1-25中任一项所述的方法，其中要添加到所述运动候选列表的HMVP候选的检查顺序基于运动信息。

29.根据权利要求1-28中任一项所述的方法，其中，在所述运动候选列表构建过程中要检查的HMVP候选数量是预先定义的。

30.根据权利要求1-28中任一项所述的方法，其中，在所述运动候选列表构建过程中要检查的HMVP候选数量基于所述当前块的块尺寸、所述当前块的块形状或在检查HMVP候选之前可用的候选数量。

31.根据权利要求1-28中任一项所述的方法，其中，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片报头、片组报头、条带报头、编码树单元(CTU)的行组、CTU或CTU组中用信号发送在所述运动候选列表构建过程中要检查的HMVP候选数量。

32.根据权利要求1-28中任一项所述的方法，其中，在所述运动候选列表中所选择的要检查的HMVP候选基于预测方向、运动矢量(MV)信息、参考图片索引、参考图片的POC距离、和候选和/或候选索引的当前图片的至少一个。

33.根据权利要求1-28中任一项所述的方法，其中，HMVP在所述当前块上的应用基于所述当前块的块尺寸或所述当前块的块形状。

34.根据权利要求1-33中任一项所述的方法，其中，所述运动候选列表包括Merge列表。

35.根据权利要求1-33中任一项所述的方法，其中，所述运动候选列表适用于除Merge候选列表之外的其他种类的运动候选列表。

36.一种视频处理装置，包括被配置为实现权利要求1至35中的任一项所述的方法的处理器。

37.根据权利要求36所述的装置，其中，所述装置是视频编码器。

38.根据权利要求36所述的装置，其中所述装置是视频解码器。

39.一种在其上记录有包括代码的程序的计算机可读记录介质，所述程序用于处理器执行权利要求1至35中任一项所述的方法。

本文中描述的公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效体，或其中一个或多个的组合。本公开和其他实施例可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种用于处理视频的方法，包括：

使用所确定的运动信息执行所述第一块的转换。

将所述第一块划分为多个子部分；

3.根据权利要求1所述的方法，还包括：

并且，所述第二块未使用所述几何分割模式。