CN113454990A

CN113454990A - 帧间预测编解码方法及装置

Info

Publication number: CN113454990A
Application number: CN201980091943.0A
Authority: CN
Inventors: 金在坤; 朴都铉; 尹庸旭; 都志勋
Original assignee: Indy Co ltd
Current assignee: Indy Co ltd; Intellectual Discovery Co Ltd
Priority date: 2018-12-28
Filing date: 2019-12-30
Publication date: 2021-09-28
Also published as: KR20200083357A; US11792393B2; US20220070448A1; WO2020139061A1; US20230396760A1

Abstract

根据本发明的编码/解码方法和装置可以：将多个帧间预测模式中的至少一个确定为当前块的帧间预测模式；基于所确定的帧间预测模式形成帧间预测候选列表；基于帧间预测候选列表中的一个预测候选执行运动补偿，并且生成当前块的第一预测块；以及通过使用指定的帧内预测模式来校正第一预测块。

Description

帧间预测编解码方法及装置

技术领域

本公开内容涉及图像编码/解码方法和装置。

背景技术

通过去除空间时间冗余和视图间冗余来对视频图像进行压缩编码，这可以通过通信线路传输或者以适合于存储介质的形式存储。

对高分辨率视频的市场需求正在增加，因此，需要一种能够有效地压缩高分辨率图像的技术。根据这些市场需求，ISO/IEC的运动图像专家组(MPEG)和ITU-T的VCEG(视频编码专家组)联合组建了JVET，以积极研究和开发VVC(多功能视频编码)视频压缩标准。

视频压缩主要由以下组成：帧内预测、帧间预测、变换、量化、熵编码和环路滤波。同时，随着对高分辨率图像的需求增加，对作为新图像服务的3D图像内容的需求也在增加。正在讨论用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。

发明内容

技术问题

本公开内容是为了提高视频信号的编码效率。

技术解决方案

根据本公开内容的解码方法和装置可以：将多个帧间预测模式中的至少一个确定为当前块的帧间预测模式，基于所确定的帧间预测模式来构造帧间预测候选列表，通过基于帧间预测候选列表中的任何一个预测候选执行运动补偿来生成当前块的第一预测块，以及使用预定的帧内预测模式来修改第一预测块。

在根据本公开内容的解码方法和装置中，修改可以包括：基于帧内预测模式生成当前块的第二预测块；以及组合第一预测块和第二预测块。

在根据本公开内容的解码方法和装置中，帧内预测模式可以是解码装置中预先约定的固定模式。

在根据本公开内容的解码方法和装置中，预先约定的固定模式可以是平面模式或DC模式中的任何一种。

在根据本公开内容的解码方法和装置中，帧间预测候选列表可以包括空间合并候选和时间合并候选中的至少一个。

在根据本公开内容的解码方法和装置中，帧间预测候选列表还可以包括组合合并候选，并且可以通过对属于帧间预测候选列表的至少两个合并候选求平均来得出组合合并候选。

在根据本公开内容的解码方法和装置中，可以根据指示是否执行基于帧内预测的修改的标志来选择性地执行对第一预测块的修改。

在根据本公开内容的解码方法和装置中，可以考虑当前块所属的切片的类型、当前块的帧间预测模式或当前块的大小中的至少一个来用信号通知或得出标志。

根据本公开内容的编码方法和装置可以：将多个帧间预测模式中的至少一个确定为当前块的帧间预测模式，基于所确定的帧间预测模式来构造帧间预测候选列表，通过基于帧间预测候选列表中的任何一个预测候选执行运动补偿来生成当前块的第一预测块，以及使用预定的帧内预测模式来修改第一预测块。

根据本公开内容的非暂态计算机可读存储介质可以：将多个帧间预测模式中的至少一个确定为当前块的帧间预测模式，基于所确定的帧间预测模式来构造帧间预测候选列表，通过基于帧间预测候选列表中的任何一个预测候选执行运动补偿来生成当前块的第一预测块，以及使用预定的帧内预测模式来修改第一预测块。

有益效果

根据本公开内容的视频信号处理方法和装置可以通过帧间预测来提高视频信号编码效率。

附图说明

图1是示出根据本公开内容的实施方式的视频编码方法和装置的配置的框图。

图2是示出根据本公开内容的实施方式的视频解码方法和装置的配置的框图。

图3是示出作为应用本公开内容的实施方式的基于树结构的划分方法的图。

图4是示出根据应用本公开内容的实施方式的基于在编码/解码装置中预定义的帧间预测模式执行运动补偿的方法的图。

图5至图17示出应用本公开内容的实施方式。

本公开内容的最佳实施方式

在根据本公开内容的解码方法和装置中，可以根据指示是否执行基于帧内预测的修改的标志来选择性地执行第一预测块的修改。

具体实施方式

将参照本说明书中的附图详细地描述本公开内容的实施方式，使得本领域普通技术人员可以容易地实现本公开内容。然而，本公开内容可以以各种不同的形式实现，并且不限于本文描述的实施方式。另外，在附图中，为了清楚地描述本公开内容，与描述无关的部分被省略，并且在说明书中，相似的附图标记附于相似的部分。

在说明书中，在某个部分被称为与另一部分“连接”时，这不仅包括其直接连接的情况，而且包括其与插入其间的另一元件电连接的情况。

另外，在本说明书的一部分被称为“包括"某个部件时，表示除非另外说明，否则还可以包括其他部件而不是排除其他部件。

另外，可以用使用诸如第一和第二的术语来描述各种部件，但是这些部件不应受这些术语的限制。以上术语仅用于将一个部件与另一部件进行区分的目的。

另外，在本说明书中描述的装置和方法的实施方式中，可以省略装置的部分部件或者方法的部分步骤。另外，可以改变装置的部分部件或方法的部分步骤的顺序。另外，可以将其他部件或其他步骤插入装置的部分部件或方法的部分步骤中。

另外，本公开内容的第一实施方式的一些部件或一些步骤可以被添加至本公开内容的第二实施方式，或者可以被替换为第二实施方式的一些部件或一些步骤。

另外，本公开内容的实施方式中所示的部件被独立地示出以表示不同的特征功能，这并不意味着每个部件单元由单独的硬件或单个软件部件形成。也就是说，为了便于说明，每个部件单元通过被列为的各个部件单元进行描述，并且每个部件单元中的至少两个部件单元被组合以形成单个部件单元，或者一个部件单元可以被划分为多个部件单元以执行功能。在不脱离本公开内容的实质的情况下，这些部件中的每个部件的集成实施方式和单独的实施方式也包括在本公开内容的范围中。

首先，简要描述本申请中使用的术语如下。

下面将描述的解码装置(Video Decoding Apparatus，视频解码装置)可以是：民用安全摄像装置、民用安全系统、军用安全摄像装置、军用安全系统、个人计算机(PC)、笔记本计算机、便携式多媒体播放器(PMP)、无线通信终端、智能电话、包括在诸如TV应用服务器和服务服务器的服务器终端中的装置，并且可以表示诸如各种装置的用户终端、诸如用于执行与有线/无线通信网络的通信的通信调制解调器的通信装置、用于存储对图像进行解码或者执行用于解码的帧内预测或帧间预测的各种程序和数据的存储器、或者配备有微处理器等以运行程序来进行操作和控制的各种装置。

另外，由编码器编码为比特流的图像可以通过有线和无线通信网络(例如，因特网、局域无线通信网络、无线LAN网络、WiBro网络和移动通信网络)或者通过各种通信接口(例如，电缆和通用串行总线(USB))实时地或非实时地被发送至视频解码装置，被解码、经重建为图像并且再现。替选地，可以将由编码器生成的比特流存储在存储器中。该存储器可以包括易失性存储器和非易失性存储器二者。在本说明书中，存储器可以被表达为存储比特流的记录介质。

通常，运动图片可以由一系列图片组成，并且每个图片可以被划分成诸如块的编码单元。另外，本实施方式所属技术领域的普通技术人员将理解，以下描述的术语“图片”可以用例如“图像”和“帧”之类的具有等同含义的其他术语来替换。另外，本领域普通技术人员将理解，术语“编码单元”可以用例如“单元块”和“块”之类的具有等同含义的其他术语来替换。

在下文中，将参照附图更详细地描述本公开内容的实施方式。在描述本公开内容时，将省略相同部件的重复描述。

根据实施方式的视频编码方法和装置可以包括：帧间预测单元120、帧内预测单元125、减法单元130、变换单元140、量化单元150、熵编码单元160、逆变换单元145、逆量化单元155、加法单元135、双向滤波器单元180、环路滤波器单元180以及重建图片缓冲器190。

帧间预测单元120通过使用输入图像110和存储在重建图片缓冲器190中的重建图像执行运动预测来生成预测信号。

帧内预测单元125通过使用与要编码的当前块在空间相邻的预重建的相邻块的像素值执行空间预测来生成预测信号。

减法单元130通过使用输入图像和由帧间预测单元120或帧内预测单元125生成的预测信号来生成残差信号。

变换单元140和量化单元150对通过减法单元130生成的残差信号执行变换和量化以生成量化系数。

熵编码单元160对视频压缩标准中定义的诸如语法元素和量化系数的编码信息执行熵编码，并且输出比特流。

逆变换单元145和逆量化单元155接收量化系数，依次执行逆量化和逆变换，并且生成重建残差信号。

加法单元135使用由帧间预测单元120或帧内预测单元125生成的预测信号和重建残差信号来生成重建信号。

重建信号被发送至环路滤波器单元180，并且通过应用例如去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)的一个或更多个环路滤波器来生成最终重建图片，以存储在重建图片缓冲器190中。

存储在重建图片缓冲器190中的重建图片可以被用作帧间预测单元120中的参考图片。

根据实施方式的视频解码装置和方法可以包括：熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、以及加法单元260、双向滤波器单元270、环路滤波器单元280以及重建图片缓冲器290。

熵解码单元210对输入比特流200进行解码，并且输出诸如语法元素和量化系数的解码信息。

逆量化单元220和逆变换单元230接收量化系数，依次执行逆量化和逆变换，并且输出残差信号。

帧内预测单元240通过使用与要解码的当前块相邻的预解码的相邻块的像素值执行空间预测来生成预测信号。

帧间预测单元250通过使用从比特流提取的运动矢量和存储在重建图片缓冲器280中的重建图像执行运动补偿来生成预测信号。

加法单元260使用由帧内预测单元240或帧间预测单元250生成的预测信号和重建的残差信号来生成重建信号。

双向滤波器单元270对通过加法单元260生成的重建信号执行双向滤波，以生成应用了滤波的信号。

重建信号被发送至环路滤波器单元270，并且通过应用例如去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)的一个或更多个环路滤波器来生成最终重建图片，以存储在重建图片缓冲器280中。

存储在重建图片缓冲器280中的重建图片可以被用作帧间预测单元250中的参考图片。

可以基于四叉树、二叉树和三叉树中的至少一个来执行基于树结构的划分。四叉树可以是将较高编码块划分成四个较低编码块的类型。此处，较低编码块的宽度和高度中的每一个可以是较高编码块的宽度和高度的一半。二叉树可以是其中较高编码块被划分成两个较低编码块的类型。例如，如图3所示，较高编码块可以在水平方向或垂直方向上被划分成两个。在这种情况下，较低编码块的宽度或高度可以是较高编码块的宽度或高度的一半。三叉树可以是其中较高编码块被划分成三个较低编码块的类型。例如，如图3所示，三叉树(类似二叉树)可以在水平方向或垂直方向上被划分成三个。在这种情况下，三个较低编码块的宽度或高度的比率可以是1:2:1、1:1:2或2:1:1。

可以基于在编码/解码装置中预先约定的优先级来应用上述划分类型。例如，仅当不再执行基于四叉树的块划分时，才允许二叉树和三叉树中的至少一个。然而，本公开内容不限于此，并且在执行基于二叉树和三叉树中的至少一个的块划分之后，可以另外执行基于四叉树的块划分。

可以基于预定的划分信息来执行块划分。划分信息可以包括以下中的至少一个：指示是否划分的第一信息、指示划分方向的第二信息、或者指示划分类型或划分数量的第三信息。第一信息可以至少包括：指示当前编码块是否基于上述树结构来划分的第一标志、指示当前编码块是否基于四叉树来划分的第二标志、或者指示当前编码块是否基于不同于四叉树的树结构另外地划分的第三标志。上述划分信息中的至少一个可以由编码装置编码和用信号通知，或者可以由解码装置基于预定编码参数得出。此处，编码参数可以包括：块大小/形状、划分深度、块位置(例如，块是否位于预定片段区域的边界)、变换类型(例如，DCT、DST、变换跳过等)、分量类型(例如，亮度、色度)、相邻块的划分类型等。

例如，在第一标志为真时，用信号通知指示是否基于四叉树划分的第二标志，并且在第二标志为假时，当前编码块不再被划分。在第二标志为真时，将当前编码块划分成四个编码块，并且在第二标志为假时，可以基于二叉树或三叉树来划分当前编码块。为此，可以用信号通知指示划分方向的第二信息和指示划分类型的第三信息。在第二信息是第一值时，可以在垂直方向上进行划分，否则，可以在水平方向上进行划分。在第三信息是第一值时，可以应用二叉树，否则，可以应用三叉树。替选地，在第二标志为假时，可以用信号通知指示是否基于不同于四叉树的树结构来划分的第三标志。在这种情况下，在第三标志为真时，可以基于指示划分方向的第二信息和指示划分类型的第三信息来执行基于二叉树或三叉树的块划分。

另一方面，在当前编码块大于预定阈值大小时，仅允许四叉树，否则，可以允许基于四叉树、二叉树和三叉树的划分。阈值大小可以是在编码/解码装置中预设的固定值(例如，128、64、32)，或者可以由编码装置编码和用信号通知。在当前编码块大于预定阈值大小时，因为仅允许四叉树划分，所以可以不用信号通知上述划分信息。

在下文中，术语块、编码块、当前编码块和当前块可以被理解为意指其中不再执行上述基于树结构的划分的叶节点的编码块。编码块可以以与编码块相同的含义来解释。子块可以被理解为意指构成叶节点的编码块的子块。帧间预测信息可以表示用于当前块的运动补偿的候选运动信息或具有相应运动信息的候选块信息。替选地，在一些情况下，帧间预测信息可以表示候选运动信息中的用于当前块的运动补偿的运动信息。该运动信息可以包括以下中的至少一个：运动矢量、参考图片索引、预测方向(例如，L0预测、L1预测)和参考图片列表信息。

帧间预测是通过使用存储在解码图片缓冲器(DPB)中的重建图像和运动矢量来生成预测块，帧间预测是通过运动估计和运动补偿来执行的。

运动估计可以表示从存储在解码图片缓冲器中的用于帧间预测的图片中找到最优预测块的处理，并且运动补偿可以表示基于在运动估计处理中找到的最优预测块的运动信息(运动矢量、参考图片索引)来生成预测块的处理。

另外，帧间预测可以被划分成单向预测和双向预测，单向预测仅使用时间轴上过去或未来的一个图片作为一个块的参考图片，双向预测同时参考过去和未来的图片。这可以通过切片类型来确定。

在帧间预测中，一个切片可以被划分成P切片和B切片，并且P切片的帧间预测可以仅执行单向预测，并且B切片的帧间预测可以选择性地使用单向预测和双向预测中的任意一个。

另外，可以将单向预测分类为：使用时间上在当前图片之前显示(或输出)的一个参考图片的前向预测和使用时间上在当前图片之后显示(或输出)的一个参考图片的后向预测。

用于指定在帧间预测处理(即，单向预测或双向预测)中使用哪个参考区域(或参考块)来预测当前块的运动信息(或参数)可以包括：帧间预测模式(此处，帧间预测模式可以指示参考方向(即，单向或双向)和参考列表(即，L0、L1或双向)、参考索引(或参考图片索引或参考列表索引)、运动矢量信息。运动矢量信息可以包括：运动矢量、运动矢量预测(MVP)或运动矢量差(MVD)。运动矢量差意指运动矢量与运动矢量预测值之间的差。

在帧间预测编码/解码中，使用相邻块的帧间预测运动信息来减少在得出当前块的预测信息时传输的运动信息。可以将帧间预测模式分类为AMVP方法和合并/跳过方法，该AMVP方法从相邻块的运动信息得出运动矢量预测值以减少搜索到的帧间预测信息，该合并/跳过方法按原样使用相邻块的预测运动信息。另外，可以根据要执行的块单元将每种方法分类为以编码块为单位的模式或者以子块为单位的模式。子块单元合并/跳过方法可以包括以下中的至少一个：ATMVP、STMVP和仿射模式，并且子块单元AMVP模式可以包括以下中的至少一个：ATMVP、STMVP和仿射模式。在子块单元AMVP模式中，可以进行限制，使得不使用ATMVP或STMVP中的至少一个。

在下文中，相邻块可以包括空间相邻块或时间相邻块中的至少一个。该空间相邻块可以是与当前块的左、上、左上、右上或左下中的至少一个相邻的块，或者可以是分开预定距离的块。此处，预定距离可以基于块参数来确定，或者可以是编码器/解码器预先约定的固定值。块参数可以包括块的宽度/高度、形状、深度、划分技术(例如，四叉树、二叉树、三叉树、三角划分等)。在这种情况下，块参数可以与当前块和/或相邻块相关。时间相邻块是属于与当前块不同的图片的块，并且可以表示与当前块处于相同位置的块(在下文中，被称为并置块)。该并置块可以包括以下中的至少一个：包括当前块的中心位置的块或与当前块的每个角(例如，左上、右下等)相邻的块。

ATMVP和仿射合并/帧间方法根据预定顺序确定空间相邻块中运动信息是否可用，并且得出必要的运动信息。即使用于确定相邻块的信息是否可用的块位置是相同的，在技术之间用于搜索的给定顺序也可以是不同的。

预定顺序可以是在编码器/解码器中预定义的固定顺序，或者可以基于上述编码参数可变地确定。

编码参数可以包括关于块属性的信息。此处，块属性可以表示：位置、大小、形状，宽高比、宽度和高度的长度值、划分技术(例如，四叉树、二叉树、三叉树)、划分深度、帧间预测模式(例如，是否为合并模式、是否为仿射模式)、仿射模式类型(4参数、6参数)等。块属性可以表示当前块和/或当前块的相邻块的属性。位置可以表示块(CU)或子块是否位于预定段区域的边界上，或者可以表示子块在块内的位置。预定段区域可以是指图块、切片、CTU行或CTU。预定顺序可以基于由编码器/解码器预定的第一阈值与块属性之间的比较来确定。

在本公开内容中，通过考虑到与当前块的相关性，以与在子块帧间预测处理中搜索用于构造候选的相邻块的顺序相同的顺序进行搜索，可以防止冗余搜索相邻块的处理，而不使编码性能劣化。

帧间预测模式可以被分类为AMVP方法和合并/跳过方法，AMVP方法从相邻块得出运动矢量预测值，合并/跳过方法按原样使用相邻块的帧间预测运动信息。另外，可以根据要执行的块单元将每种方法分类为以编码块为单位的模式或者以子块为单位的模式。其中，在以子块为单位的帧间预测模式的情况下，借助于以下来构造候选列表：使用用仿射模型来预测和编码的相邻块的仿射模型的继承仿射帧间预测、使用通过从相邻块的运动信息得出仿射模型的组合仿射帧间预测、ATMVP等。在每个帧间预测模式中，可以构造包含特定数目的候选的列表以使用相邻块的运动信息，并且以特定次序搜索相邻块以填充该列表。

为了在以子块为单位的帧间预测模式下构造候选列表，可以使用ATMVP、继承仿射帧间预测、组合仿射帧间预测。在这种情况下，为了构造相应的预测模式，可以根据与当前块的相关性以特定顺序搜索时间/空间相邻块，并且可以在不冗余地搜索相邻块的情况下构造候选列表，而不使编码性能劣化。

在以子块为单位的帧间预测中构造候选列表时，使用当前块的时间/空间相邻块的运动信息。可以通过分配较低的比特来发送在候选列表中具有较高优先级的运动信息。通过针对用于构造列表的若干模式共同地搜索具有高相关性的相邻块，可以降低单独地多次搜索相同位置的低效复杂度。

在本公开内容中，在对当前块执行帧间预测编码/解码时，提出了用于帧间预测的编码/解码方法和装置，该方法包括：帧间预测模式确定步骤(S400)、帧间预测候选得出步骤(S410)、运动补偿/修改步骤(S420)。

在帧间预测模式确定步骤(S400)中，可以将跳过模式、合并模式和AMVP模式中的至少一个确定为当前块的帧间预测模式。

另外，可以将以下模式中的至少一个确定为当前块的帧间预测模式。在这种情况下，可以基于跳过模式、合并模式和AMVP模式中的至少一个来执行确定。

子块单元合并模式

子块单元跳过模式

子块单元AMVP模式

MMVD模式

MH帧内模式

三角模式

帧间预测候选得出步骤(S410)可以使用以下中的至少一个来构造帧间预测候选列表：空间相邻块的帧间预测信息、时间相邻块的帧间预测信息、HMVP、合成帧间预测信息、组合仿射帧间预测信息、继承仿射帧间预测信息、ATMVP或STMVP。

另外，在构造列表时，可以使用以下帧间预测信息中的至少一个。

MV(运动矢量)

参考图片方向

参考图片索引

仿射标志：指定是否使用仿射模式

MMVD标志：指定是否使用MMVD模式

MH帧内标志：指定是否使用MH帧内模式

三角标志：指定是否使用三角模式

CPMV(控制点运动矢量)

在运动补偿/修改步骤(S420)中，可以使用以下中的至少一个来执行帧间预测和运动补偿/修改：运动补偿、亮度补偿(IC)、OBMC、BIO、仿射运动补偿或解码侧运动补偿。另外，运动补偿/修改步骤S420可以包括根据运动补偿修改预测块的处理。此处，修改可以意指将根据运动补偿的预测块和通过对当前块执行帧内预测而获得的预测块进行组合的处理。

具体地，在帧间预测模式确定步骤(S400)中，可以将针对当前块的帧间预测中的跳过、合并和AMVP中的至少一个预测模式确定为当前块的帧间预测模式。

可以将当前块的帧间预测模式确定为合并模式。

在确定合并模式时，可以通过将相邻块的相同运动信息应用于当前块来获得当前块的预测块。此处，相邻块可以是以下中的任何一个：左块(F)、顶块(D)、左下块(G)、右上块(E)或左上块(A)。

例如，可以使用存在于图5的位置F和G处的左块的运动信息中的至少一个。例如，可以使用存在于图5的位置D和E处的顶块的运动信息中的至少一个。例如，可以使用存在于图5的位置A处的左上块的运动信息。

可以通过相邻块来执行对当前块的预测，并且可以相应地生成残差块。

在相邻块中，消耗用于对预测信息和残差块进行编码的最小成本的相邻块的帧间预测信息可以被用于对当前块进行编码。

可以将当前块的帧间预测模式确定为跳过模式。

在确定跳过模式时，使用相邻块的运动信息作为当前块的运动信息。

例如，可以使用存在于图5的位置F和G处的左块的运动信息中的至少一个。例如，可以使用存在于图5的位置D和E处的顶块的运动信息中的至少一个。例如，可以使用存在于图5的位置A处的顶块的运动信息。

通过相邻块来执行对当前块的预测，并且不会相应地生成残差块。

当前块的帧间预测模式可以被确定为AMVP模式。

在确定AMVP模式时，相邻块的运动信息可以用作当前块的预测运动信息。

可以通过相邻块获得当前块的预测运动信息，并且可以基于相应的运动信息通过附加搜索来获得当前块的预测块。

另外，在确定帧间预测模式之后，以下中的至少一个预测模式可以被确定为当前块的帧间预测模式：子块单元合并模式、子块单元跳过模式、子块单元AMVP模式、MMVD模式、MH帧内模式或三角模式。在这种情况下，可以通过例如标志、索引等信息来进行确定。例如标志、索引等信息可以由编码器用信号通知或者基于预定的编码参数从解码器得出。

以子块为单位的预测模式可以将当前块划分为M个子块，并且可以具有n个帧间预测信息。此处，M可以大于或等于n。在M>n时，属于当前块的多个子块可以共享一个帧间预测信息。在这种情况下，多个子块可以是在当前块中彼此相邻的块，或者是彼此不相邻的块。子块的大小可以是4x4、4x8、8x4、4x16、16x4……2NxN、Nx2N中的至少一种，并且可以被固定为预定大小。

在以子块为单位得出运动信息时，子块的大小可以被确定为具有最小成本的子块的大小。在这种情况下，可以通过例如SATD、SAD、RD成本和先前图片中的平均块大小的方法中的至少一种来获得成本。在不存在参考块的子块单元的运动信息时，可以将其替换为预定位置处的子块的运动信息。预定位置可以指参考块中右下或中心处的位置或者参考块右下角处的位置等。此处，右下角处的位置可以表示基于参考块的右下样本与右、下或右下相邻的块的位置。

在确定当前块的帧间预测模式时，可以确定子块单元合并模式。

当前块的子块单元合并模式可以以ATMVP和仿射模式中的一种或更多种方法来执行。也就是说，在当前块的帧间预测模式是ATMVP模式或彷射模式时，可以应用以子块为单位的合并。

仿射合并模式可以从相邻块得出N个正整数位置和这些位置的CPMV。

例如，可以使用存在于图5的位置F和G处的左块的左上、右上或左下CPMV中的至少一个来得出当前块的左上、右上或左下CPMV(控制点MV)。这可以是用于当前块的多个候选CPMV中的任何一个。

例如，可以使用存在于图5的位置E、D和A处的顶块的左上、右上或左下CPMV中的至少一个来得出当前块的左上、右上或左下CPMV。这可以是用于当前块的多个候选CPMV中的任何一个。替选地，可以使用上述第k组(k＝1、2和3)中的至少一个的左上、右上或左下CPMV中的至少一个来得出当前块的左上、右上或左下CPMV。这可以是用于当前块的多个候选CPMV中的任何一个。

在图5中，可以通过选择第一组(A、B、C)、第二组(D、E)或第三组(F、G)中的任何一个来得出当前块的CPMV。替选地，可以通过选择第一组中的至少一个、第二组中的至少一个和第三组中的至少一个来得出当前块的CPMV。

可以基于预定的优先级来执行选择。例如，第一组可以具有高于第二组或第三组的优先级。第三组可以具有高于第一组或第二组的优先级。每个组内的块之间的优先级可以是底部->顶部和左侧->右侧，或右侧->左侧和顶部->底部。替选地，它可以是左侧->右侧和顶部->底部，或相反的方向。无论组的位置如何，优先级可以是相同的，或者可以针对每个组而不同地设置优先级。

可以以当前块的子块为单位执行得出。在得出过程中，可以根据子块在当前块中的位置来限制特定组的使用。例如，可以仅使用第一组/第二组、可以仅使用第一组/第三组，或者可以仅使用第二组/第三组。替选地，可以使用在编码器/解码器中预定义的块对来得出当前块的CPMV。块对中的任何一个可以属于第一组到第三组中的任何一个组，并且另一个可以属于另一组。可以针对每个当前子块不同地限定块对。

在执行当前块的子块单元合并模式时，可以利用合并索引或残差信号中的至少一个来构造和用信号通知预测信息。

消耗最小成本的相邻块的子块单元帧间预测信息可以用于对当前块进行编码。

在确定当前块的帧间预测模式时，可以确定子块单元跳过模式。

在执行当前块的子块单元跳过模式时，可以利用合并索引来构造和用信号通知预测信息。

在相邻块中，消耗最小预测信息成本的相邻块的子块单元帧间预测信息可以被用于对当前块进行编码。

相邻块的子块单元预测信息可以被用作当前块的子块单元运动信息，并且可以不相应地生成残差块。

在确定当前块的帧间预测模式时，可以确定子块单元AMVP模式。

在当前块的帧间预测模式为仿射模式时，可以应用当前块的子块单元AMVP模式。

在执行当前块的子块单元AMVP模式时，可以利用AMVP索引、运动信息差(MVD)、参考图片索引、参考方向和残差信号来构造和发信号通知预测信息。

消耗最小成本的相邻块的子块单元帧间预测信息可以用于对当前块进行编码。在确定当前块的帧间预测模式时，可以确定MMVD模式。

在得出当前块的帧间预测信息时，可以使用相邻块的运动信息。

例如，可以使用存在于合并候选列表中的运动信息。

可以用信号通知MVD(运动矢量差)的特定方向和大小并且将其用于相邻块的运动信息。

可以通过相邻块的运动信息和附加信令来执行对当前块的预测，并且可以相应地生成残差块。

相邻块之中的至少一个或更多个帧间预测信息、附加方向信息和MVD大小信息可以用于对当前块进行编码。此处，方向信息可以指示上、下、左或右方向中的任何一个。

在确定当前块的帧间预测模式时，可以确定MH帧内模式。

MH帧内模式可以是用于通过帧间预测获得当前块的第一预测块、通过帧内预测获得当前块的第二预测块、以及通过组合第一预测块和第二预测块获得最终预测块的模式。可以使用上述帧间预测模式(即，块单元跳过模式、子块单元跳过模式、合并模式、AMVP模式)中的任何一个帧间预测来获得第一预测块。可以使用基于MPM得出的帧内预测模式或在编码/解码装置中预定义的帧内预测模式来获得第二预测块。

例如，在执行当前块的MH帧内模式时，可以用信号通知合并索引和帧内预测模式。为了得出帧内预测模式，可以构造最可能模式(MPM)候选信息。

针对当前块的编码，可以使用用于帧内预测的合并索引和最可能模式(MPM)候选信息。MPM可以使用帧内预测模式中与当前块相邻的相邻块的帧内预测模式作为当前帧内预测模式的候选来构造。

在确定当前块的帧间预测模式时，可以确定三角模式。

可以使用一个或更多个相邻块的运动信息来得出当前块的帧间预测信息。在这种情况下，可以通过对多个相邻块的运动信息进行组合来执行得出。属于当前块的三角分区可以共享一个候选列表，并且可以用信号通知用于指定每个分区的运动信息的索引。

可以通过将两个或更多个相邻块的运动信息与帧内预测组合来使用当前块的帧间预测信息。

例如，通过在对角线方向上划分当前块，可以获得其他相邻块的运动信息。

在执行当前块的三角模式时，可以使用三角索引和残差信号来构造和用信号通知预测信息。

消耗最小成本的两个或更多个相邻块的帧间信息的组合可以用于对当前块进行编码。

帧间预测候选得出步骤(S410)；在得出帧间预测候选时，空间相邻块的帧间预测信息、时间相邻块的帧间预测信息、基于历史的运动矢量预测器(HMVP)、合成帧间预测信息、组合仿射帧间预测信息、继承仿射帧间预测信息、ATMVP、STMVP中的至少一个可以作为候选得出。可以使用一个或更多个预测候选来构造帧间预测候选列表，并且预测候选可以包括运动向量、参考方向、参考图片索引、仿射标志、MH帧内标志、MMVD标志、三角标志和CPMV中的至少一个信息。帧间预测候选列表可以是一个或更多个。

仿射标志是指示是否使用以子块为单位的帧间预测模式的标志。仿射标志是指示使用以块为单位还是以子块为单位的仿射模式的标志。

MH帧内标志是指示是否使用MH帧内模式的标志。

MMVD标志是指示是否使用MMVD预测模式的标志。

三角标志是指示是否使用三角预测模式的标志。

CPMV(控制点运动矢量)可以是用于使用仿射进行编码的运动矢量。CPMV可以是包括利用仿射编码的块的左上、右上、左下或右下的位置中的至少一个的以子块为单位的运动信息。当前块的CPMV可以通过式1从利用仿射编码/解码的先前块的CPMV得出。一个(2参数)、两个(4参数)或两个以上(6参数，……)的CPMV可以用于将仿射应用于当前块。

[式1]

v_0x＝v_3x+(v_5x-v_3x)(y_c-y₃)/nH+(v_4x-v_3x)(x₀-x₃)/nW

v_0y＝v_3y+(v_5y-v_3y)(y₀-y₃)/nH+(v_4y-v_3y)(x₀-x₃)/nW

v_1x＝v_0x+(v_4x-v_3x)×cW/nW

v_1y＝v_oy+(v_4y-v_3y)×cH/nH

v_2x＝v_0x+(v_5x-v_3x)×cW/nW

v_2y＝v_0y+(v_5y-v_3y)×cH/nH

例如，如式1所示，当前块的左上(x0，y0)、右上(x1，y1)或左下(x2，y2)CPMV可以使用包括左块的左上(x3，y3)、右上(x4，y4)或左下(x5，y5)的CPMV得出，如图7所示。可以通过将当前块的CPMV应用于仿射模型来得出以子块为单位的运动信息。然而，不限于左块，并且可以使用以下中的至少一个：顶块、左上块、左下块和右上块。可以使用相邻块的右下位置(未示出)来得出CPMV。考虑到当前块的位置、相邻块的可用性、相邻块的左上、右上或左下位置的可用性，可以选择性地使用右下位置。此处，当前块的位置可以表示其是否位于预定段区域的边界上，段区域可以表示图块、切片、编码树块(CTB行、CBT等)。在得出CPMV时可用的相邻块的数目可以是1、2、3或更多。该数目可以是编码器/解码器中预定义的数目，可以是与当前块的角位置无关的相同数目，或者可以针对每个角位置不同地限定。

ATMVP可以按预定顺序从空间相邻块接收一个或更多个运动信息，并且以子块为单位得出当前块的帧间预测信息。

最初存在于空间相邻块的运动信息可以用作当前块的以子块为单位的运动信息。运动信息可以是先前已经对其执行编码/解码的图片中与当前块对应的块中的以子块为单位存在的运动信息。

在参考块的子块单元没有运动信息时，如图6所示。可以用存在于先前图片的中间位置处的子块的运动信息来替换当前块的子块。

仿射可以使用存在于相邻块中的子块的运动矢量(CPMV)来得出当前块的子块单元运动矢量(CPMV)。可以通过使用得出的CPMV来得出当前块的以子块为单位的运动信息。

例如，当前块的左上和右上CPMV可以通过使用图7的相邻块的左上和右上CPMV来生成。

例如，当前块的左上、右上和左下CPMV可以通过使用图7的相邻块的左上、左下和右上CPMV来生成。

可以将与当前块的左上、右上或左下相邻的相邻块的运动信息用作CPMV。通过使用CPMV，可以得出当前块的以子块为单位的运动信息。

例如，可以通过使用每个位置{A，B，C}、位置{D，E}和位置{F，G}中存在的运动信息作为CPMV来得出当前块的以子块为单位的运动信息。

可以通过针对当前块组合以空间相邻块和时间相邻块的子块为单位的帧间预测信息来得出STMVP。可以基于例如中值、平均值和最小值/最大值的运算来执行组合。

在当前块中先前得出的子块的运动信息可以被用于得出当前子块的运动信息。

HMVP可以被用于通过将先前编码块的运动信息构造为候选来得出当前块的运动信息。

如图8所示，可以通过存储先前编码块的运动信息来构造第一候选列表。在构造当前块的帧间预测候选列表时，可以使用第一候选列表的一个或更多个运动信息。第一候选列表可以利用A个先前编码块的运动信息来构造。此处，A可以是1、2、3、4、5、6或更大的自然数。A可以小于或等于预先向编码器/解码器约定的阈值。先前编码的块可以包括与当前块不相邻的块。A可以基于由编码器用信号通知的信息(例如，指定值的数字信息)来确定，或者可以是预先向编码器/解码器约定的固定值。

例如，第一候选列表的运动信息可以用于合并候选列表。例如，第一候选列表的运动信息可以用于AMVP候选列表。

在最终确定当前块的帧间预测模式之后，可以将预测模式添加至第一候选列表。

在当前块的帧间预测模式被确定为合并模式时，可以构造合并候选列表。可以利用N个帧间预测信息来构造合并候选列表。

可以使用以下中的至少一个来构造合并候选列表：空间相邻块的帧间预测信息、时间相邻块的帧间预测信息、HMVP、合成帧间预测信息、STMVP、ATMVP和零运动信息。

可以利用N个候选来构造该列表，N例如为5或更大。

空间相邻块的帧间预测信息是指在图9中的位置A、B、……、J、K处存在的块的帧间预测信息。在这种情况下，相邻块的大小可以具有MxN的大小，并且M或N可以分别为4、8、16、32、64和128中的至少一个。大小可以是预先约定的固定值或者可以由上述编码参数可变地确定。

例如，在得出相邻块的运动信息时，可以以图9中B、J、K、A和F块的顺序来得出。

时间相邻块的帧间预测信息是指在a、b、c、d、e、f、g、h中的至少一个的位置之前已经被编码/解码的图片的块中存在的帧间预测信息.

HMVP与上述相同，将省略其详细描述。

ATMVP可以使用先前已经编码/解码的图片中的与当前块对应的块的以子块为单位的帧间预测信息。为了找到相应的块，可以使用根据预定顺序在空间相邻块中的第一存在运动信息。

例如，在得出相邻块的运动信息时，以图9中的B、J、K、A块的顺序执行搜索，并且可以使用具有第一存在运动信息存在的相邻块的运动信息。

例如，可以使用通过空间相邻块得出的块单元合并候选列表中的第一候选的运动信息。

STMVP表示通过针对当前块组合以子块为单位的空间相邻块或时间相邻块的帧间预测信息而生成的子块单位帧间预测信息。

可以通过组合存在于合并候选列表中的一个或更多个候选来得出合成帧间预测信息。可以通过组合N个正整数运动矢量来获得合成帧间预测信息的运动矢量。

可以通过使用合并候选列表中存在的合并候选中的至少一个来得出组合帧间预测信息，并且在下文中将组合帧间预测信息称为组合合并候选。

合并候选列表还可以包括组合合并候选。可以通过组合属于预生成的合并候选列表的n个合并候选来得出组合合并候选。

此处，n可以是2、3、4或更大的整数。要被组合的合并候选的数目(n)可以是预先向编码/解码装置约定的固定值，或者可以由编码装置进行编码并用信号通知。可以在以下中的至少一个单元中执行信号通知：序列、图片、切片、图块、子图块(砖块)或预定块。可以基于剩余的合并候选的数目来可变地确定要被组合的合并候选的数目(n)。此处，剩余的合并候选的数目可以是指可以在合并候选列表中包括的合并候选的最大数目与合并候选列表中的合并候选的当前数目之间的差。最大数目可以是预先向编码/解码装置约定的数目，或者可以由编码装置进行编码并用信号通知。当前数目可以意指在添加组合的合并候选之前构造的合并候选的数目。例如，在剩余合并候选的数目为1时，可以使用两个合并候选，而当剩余合并候选的数目大于1时，可以使用三个或更多个合并候选。

n个合并候选的位置可以是合并候选列表中的预定位置。例如，可以为属于合并候选列表的每个合并候选分配索引(0至(k-1))。此处，k可以表示属于合并候选列表的合并候选的总数。在这种情况下，n个合并候选的位置可以对应于合并候选列表中的索引0至索引(n-1)。替选地，可以考虑属于合并候选列表的每个合并候选的预测方向来确定n个合并候选。例如，属于合并候选列表的合并候选之中，可以仅选择性地使用作为双向预测的合并候选，或者可以仅选择性地使用作为单向预测的合并候选。

可以使用空间合并候选和时间合并候选二者来得出组合合并候选，或者可以仅使用空间合并候选或时间合并候选之一来得出组合合并候选。例如，可以将组合合并候选限制为仅使用空间合并候选来得出。在这种情况下，可以将要被组合的合并候选的数目限制在属于预生成的合并候选列表的空间合并候选的数目内。

可以在合并候选列表中的空间/时间合并候选之后添加组合合并候选。即，组合合并候选的索引可以大于空间/时间合并候选的索引。替选地，可以在合并候选列表中的空间合并候选与时间合并候选之间添加组合合并候选。也就是说，组合合并候选的索引可以大于空间合并候选的索引且小于时间合并候选的索引。替选地，可以考虑组合合并候选的预测方向来可变地确定组合合并候选的位置。取决于组合合并候选的预测方向是否为双向预测，可以对组合合并候选在合并候选列表中的位置进行重排。例如，在组合合并候选是双向预测时，可以分配小于空间合并候选或时间合并候选的索引，否则，可以分配大于空间合并候选或时间合并候选的索引。

在下文中，为了便于描述，将描述基于两个合并候选来得出组合合并候选的方法。

可以通过对第一合并候选和第二合并候选的运动信息进行加权平均来得出组合合并候选的运动信息。此处，加权平均的权重为[1:1]、[1:2]、[1:3]、[2:3]等，但不限于此。权重可以在编码/解码装置中预定义或者从解码装置中得出。在这种情况下，可以通过考虑合并候选的参考图片与当前图片之间的距离或合并候选的预测方向中的至少一个来得出权重。替选地，可以通过从第一合并候选获得在L0方向上的运动信息和从第二合并候选获得在L1方向上的运动信息并且将它们组合来得出组合合并候选的运动信息。可以基于上述得出方法中的至少一个来得出组合合并候选的运动信息，并且这可以如稍后描述的那样考虑要被组合的合并候选的预测方向来执行。

在本说明书中，运动信息可以包括以下中的至少一个：预测方向标志、参考图片索引或运动矢量。可以分别针对L0预测和L1预测限定运动信息。此处，L0预测可以意指参照参考图片列表L0的预测，并且L1预测可以意指参照参考图片列表L1的预测。

在第一合并候选和第二合并候选均是单向预测时

(情况1)在第一合并候选是L0预测并且第二合并候选是L1预测时，可以使用第一合并候选的参考图片索引来得出组合合并候选在L0方向上的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。可以将组合合并候选的L0方向上的运动矢量得出为第一合并候选的运动矢量。可以将组合合并候选的L1方向上的参考图片索引得出为第二合并候选的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。可以将组合合并候选的L1方向上的运动矢量得出为第二合并候选的运动矢量。

(情况2)在第一合并候选是L1预测并且第二合并候选是L0预测时，可以将组合合并候选的L0方向上的参考图片索引得出为第二合并候选的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。可以将组合合并候选的L0方向上的运动矢量得出为第二合并候选的运动矢量。可以将组合合并候选的L1方向上的参考图片索引得出为第一合并候选的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。可以将组合合并候选的L1方向上的运动矢量得出为第一合并候选的运动矢量。

(情况3)在第一合并候选和第二合并候选是L0预测时，可以将组合合并候选的L0方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L0方向上的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。组合合并候选的L0方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。可以将组合合并候选的L1方向的参考图片索引得出为-1，可以将L1方向的预测方向标志得出为0，并且可以将L1方向的运动信息得出为0。

(情况4)在第一合并候选和第二合并候选是L1预测时，可以将组合合并候选的L0方向上的参考图片索引得出为-1，可以将L0方向上的预测方向标志得出为0，并且可以将L0方向上的运动信息得出为0。可以将组合合并候选的L1方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将在第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L1方向上的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。组合合并候选的L1方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。

2.在第一合并候选和第二合并候选均为双向预测时

(情况5)可以将组合合并候选的L0方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L0方向上的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。组合合并候选的L0方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。可以将组合合并候选的L1方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将在第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L1方向上的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。组合合并候选的L1方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。

3.在第一合并候选是双向预测并且第二合并候选是单向预测时

(情况6)在第二合并候选是L0预测时，可以将组合合并候选的L0方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L0方向上的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。组合合并候选的L0方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。可以将组合合并候选的L1方向上的参考图片索引得出为第一合并候选的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。可以将组合合并候选的L1方向上的运动矢量得出为第一合并候选的运动矢量。

(情况7)在第二合并候选是L1预测时，可以将组合合并候选的L0方向上的参考图片索引得出为第一合并候选的参考图片索引。可以将组合合并候选的L0方向上的预测方向标志得出为1。组合合并候选的L0方向上的运动矢量可以得出为第一合并候选的运动矢量。可以将组合合并候选的L1方向上的参考图片索引得出为第一合并候选或第二合并候选中的任何一个的参考图片索引。例如，可以将在第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为组合合并候选的L1方向上的参考图片索引。可以将组合合并候选的L1方向上的预测方向标志得出为1。组合合并候选的L1方向上的运动矢量可以从第一合并候选和第二合并候选的运动矢量的加权平均得出。

在合并模式的(最大)候选列表未被填充时，该(最大)候选列表可以填充有零运动信息。

在当前块的帧间预测模式被确定为跳过模式时，可以构造跳过候选列表。跳过候选列表可以包括N个帧间预测信息。

在跳过模式的情况下，候选列表构造方法可以与合并候选列表构造方法相同。

在当前块的帧间预测模式被确定为AMVP模式时，可以构造AMVP候选列表。AMVP候选列表可以包括N个帧间预测信息。

构造具有运动矢量、参考图片列表、参考方向或运动矢量差中的至少一个的AMVP候选列表。AMVP候选列表包括以下中的至少一个：空间相邻块的帧间预测信息、时间相邻块的帧间预测信息和零运动信息。

例如，AMVP候选列表可以被构造成两个以上的列表。

空间相邻块的帧间预测信息是指图9中A、B、……、J、K位置处的块的帧间预测信息。一个或更多个候选可以以预定顺序从空间相邻块中得出。

左相邻块可以是A、B、C、D、E中的一个或更多个位置处的块，并且可以以预定顺序得出帧间预测信息。

例如，在得出左相邻块的运动信息时，可以以图9中A和B块的顺序得出。替选地，可以以B和A块的顺序得出。

顶部相邻块可以是在F、G、H、I、J和K中的一个或更多个位置处的块，并且可以以预定顺序得出帧间预测信息。

例如，在得出顶部相邻块的运动信息时，可以以图9中的K、J、F块的顺序得出。替选地，也可以以J、K、F或F、J、K块的顺序得出。

在根据预定顺序进行得出时，在与当前顺序对应的相邻块的运动信息不可用时，可以使用与下一顺序对应的块的运动信息。

时间相邻块的帧间预测信息是指在图10中的当前图片之前已被编码/解码的图片中的与当前块相同位置处的块中存在的帧间预测信息。时间相邻块的位置可以与当前块的右下、中心和预定位置中的至少一个处的位置对应。

例如，时间相邻块的位置可以与先前图片中存在的块的a或b处位置对应。

例如，时间相邻块的位置可以与先前图片中存在的块的位置c、d、e中的一个对应，或者与另一先前图片中存在的块的位置f、g、h中的一个对应。替选地，时间相邻块可以包括与当前块对应的块的左上位置(未示出)，或者可以是与左上位置相邻的块。

在AMVP模式的(最大)候选列表未被填充时，候选列表可以填充有零运动信息。

在当前块的帧间预测模式被确定为子块单元合并模式时，可以以子块为单位构造合并候选列表。子块单元合并候选列表可以包括N个帧间预测信息。

可以使用以下中的至少一个来构造子块单元合并候选列表：ATMVP、继承仿射帧间预测信息、组合仿射帧间预测信息和零仿射运动预测信息。

ATMVP可以使用先前已经编码/解码的图片中的与当前块对应的块的子块单元中的帧间预测信息。为了找到相应的块，可以以预定顺序来使用首先存在于空间相邻块中的运动信息。

例如，可以通过以图11中A、B、C、D块的顺序搜索来找到与当前块对应的块。

例如，在所有相邻块中都不存在运动信息时，可以使用零运动信息来找到相应块。

继承仿射帧间预测信息可以是从利用对当前块的仿射编码/解码的空间相邻块的CPMV得出的CPMV。空间相邻块的CPMV可以是利用仿射编码/解码的块的左上、右上、左下或右下中的至少一个位置的子块单元运动矢量，并且可以通过根据当前块和相邻块的宽度和高度缩放相邻块的CPMV来得出当前块的左上、右上或左下处位置的子块单元运动矢量(当前块的CPMV)，如式1所示。在图12中，可以搜索位置A、B、……、H、O处的空间相邻块，并且可以得出包括以预定顺序得出的一个或至少两个或更多个CPMV组合(4参数、6参数、……)的一个或更多个候选。

4参数可以是在当前块的四个角中的两个位置处得出的子块单元运动矢量组合。在这种情况下，可以选择性地使用当前块的左上、右上、左下和右下中的任意两个。然而，如果所选择的角位置中的任何一个不可用，则可以将其替换为另一可用角位置。例如，两个CPMV的组合(4参数)可以是在当前块的左上和右上处得出的子块单元运动矢量组合。

6参数可以是在当前块的四个角中的三个位置处得出的子块单元运动矢量组合。在这种情况下，可以选择性地使用当前块的左上、右上、左下和右下中的任意三个。然而，如果所选择的角位置中的任何一个不可用，则可以将其替换为另一可用角位置。例如，三个CPMV组合(6参数)可以是在当前块的左上、右上和左下得出的子块单元运动矢量组合。

左相邻块可以是A、B、C、……、F、G处的块，并且可以以预定顺序得出至少一个或更多个帧间预测信息。

例如，可以以图12中A和B块的顺序得出至少一个或更多个帧间预测信息。

顶部相邻块可以是H、I、J、……、N、O处的块，并且可以以预定顺序得出至少一个或更多个帧间预测信息。

例如，可以以图12中的O、N和H块的顺序得出至少一个或更多个帧间预测信息。上述顺序只是示例，并且可以以相反顺序得出。

组合仿射帧间预测信息可以是与图12中左上(CP1)、右上(CP2)、左下(CP3)和右下(CP4)位置相邻的相邻块的运动矢量组合。相邻块的运动矢量可以用作CPMV。可以构造包括至少两个或更多个CPMV组合(4参数、6参数、……)的候选。在用作CPMV组合的相邻块的所有运动矢量具有相同的参考索引时，可以将它们添加至候选列表。在相邻块具有相同的参考图片时，可以将它们添加至候选列表。

例如，首先存在于图12中的H、I、G的位置之中的运动矢量可以被用作CP1，其是左上CPMV。在这种情况下，搜索顺序可以为(H、I、G)、(H、G、I)、(G、I、H)、(I、G、H)、(G、H、I)或(I、H、G)。

例如，首先存在于图12中的N、O的位置之中的运动矢量可以被用作CP2，其是右上CPMV。在这种情况下，搜索顺序可以是(N、O)或(O、N)。

例如，首先存在于图12的位置B和A之中的运动矢量可以被用作CP3，其是左下CPMV。在这种情况下，搜索顺序可以是(B、A)或(A、B)。

例如，存在于图12中的先前图片的参考块的位置P处的运动矢量可以被用作CP4，其是右下CPMV。

例如，四个CPMV(CP1、CP2、CP3、CP4)可以以以下顺序组合：{CP1、CP2、CP3}、{CP1、CP2、CP4}、{CP1、CP3、CP4}、{CP2、CP3、CP4}、{CP1、CP2}、{CP1、CP3}，并且在所有相应的CP具有相同的参考索引(或具有相同的参考图片)时，可以将它们添加至候选列表。

在子块单元合并模式中的最大候选列表未被填充时，候选列表可以填充有零运动信息。

在当前块的帧间预测模式被确定为子块单元跳过模式时，可以以子块为单位构造跳过候选列表。以子块为单位的跳过候选列表可以包括N个帧间预测信息。

关于构造该候选列表的细节可以与子块单元合并模式的内容相同。

在帧间预测模式被确定为子块单元合并模式或子块单元跳过模式时，可以通过使用子块单元帧间预测模式的候选列表中存在的仿射模型的CPMV得出帧间预测模式。为了使用候选列表中存在的仿射模型的CPMV，可以在仿射模型预测后在候选列表中填充ATMVP。

例如，可以在组合仿射帧间预测信息之后在候选列表中填充ATMVP。

例如，可以在继承仿射帧间预测信息之后在候选列表中填充ATMVP。

针对ATMVP，继承仿射帧间预测候选的CPMV中的至少一个或更多个可以被用于得出当前块的子块单元运动信息。

左相邻块可以是A、B、C、……、F、G中的一个或更多个位置处的块，并且可以以预定顺序得出帧间预测信息。

例如，可以得出图12中A和B处的块中的至少一个或更多个继承仿射帧间预测信息。相应块的左上、右上或左下处的CPMV中的至少一个或更多个可以被用于得出以子块为单位的运动信息。

顶部相邻块可以是H、I、J、...、N、O中的一个或更多个位置处的块，并且可以以预定顺序得出子块预测信息。

例如，可以得出图12中的O、N和H处的块中的至少一个或更多个继承仿射帧间预测信息。相应块的左上、右上或左下位置处的CPMV中的至少一个可以被用于得出当前块的子块单元中的运动信息。

针对ATMVP，组合仿射帧间预测信息的CPMV中的至少一个或更多个可以被用于得出子块单元运动信息。子块单元运动信息可以是在先前已经被编码/解码的图片中以CPMV所移动的与当前块对应的块的子块单元中存在的运动信息。

例如，左上CP1可以被用于得出当前块的子块单元中的运动信息。

例如，右上CP2可以被用于得出当前块的子块单元中的运动信息。

例如，左下CP3可以被用于得出当前块的子块单元中的运动信息。

在帧间预测模式被确定为子块单元合并模式或子块单元跳过模式时，可以构造相邻块的同一个搜索顺序，以构造子块单元帧间预测模式的候选列表。子块单元帧间预测模式的候选列表可以用于：通过根据相同构造的搜索顺序确定相邻块的运动信息是否可用，来得出ATMVP、继承仿射帧间预测信息和组合仿射帧间预测信息。

可以相同地构造左侧相邻块或顶部相邻块的搜索顺序。通过确定运动信息是否可用，来自左块的至少一个或更多个块和来自顶块的至少一个或更多个块可以被用于得出子块单元帧间候选。

例如，左侧相邻块可以为图12中A、B、C、……、F、G处的块，并且可以通过如以图12中的A、B、G或A、B块的顺序构造搜索顺序，使用至少一个或更多个块来得出子块帧间预测信息。

例如，在图12中，顶部相邻块可以为H、I、J、……、N、O中的一个或更多个位置处的块，并且可以通过如以O、N、I、H或O、N、H块的顺序构造搜索顺序，使用至少一个或更多个块来得出子块帧间预测信息。

可以以相同顺序搜索左下、右上和左上相邻块。通过确定运动信息是否可用，可以使用来自左上块的至少一个或更多个块、来自右上块的至少一个或更多个块以及来自左下块的至少一个或更多个块来得出子块单元帧间候选。

例如，在图12中，左下相邻块可以是A、……、D处的块，并且可以通过如以A、B、C、D或A、B、C或A、B块的顺序构造搜索顺序，使用至少一个或更多个块来得出子块帧间预测信息。

例如，在图12中，右上相邻块可以是L、……、O处的块，并且可以通过如以O、N、M、L或O、N、M块的顺序构造搜索顺序，使用至少一个或更多个块来得出子块帧间预测信息。

例如，在图12中，左上相邻块可以是F、G、……、I、J处的块，并且可以通过如以H、I、G、J、F或H、I、G块的顺序构造搜索顺序，使用至少一个或更多个块来得出子块帧间预测信息。

在当前块的帧间预测模式被确定为子块单元AMVP模式时，可以以子块为单位构造AMVP候选列表。以子块为单位的AMVP候选列表可以包括N个帧间预测信息。

子块单元AMVP候选列表包括以下中的至少一个或更多个：继承仿射帧间预测信息、组合仿射帧间预测信息、填充仿射帧间预测信息和零仿射帧间预测信息。

继承仿射帧间预测信息可以是利用仿射编码/解码的空间相邻块的运动矢量，并且可以是通过根据当前块和相邻块的宽度和高度对相邻块的CPMV进行缩放而从相对于当前块的CPMV得到的CPMVP，如式1所示。空间相邻块的CPMV可以是利用仿射编码/解码的块的左上、右上、左下或右下中至少一个的子块单元运动矢量，并且当前块的左上、右上或左下处的子块单元运动矢量(当前块的CPMVP)可以是通过根据当前块和相邻块的宽度和高度对相邻块的CPMV进行缩放而得到的，如式1所示。在图12中，可以搜索A、B、……、H、O处的空间相邻块，并且可以得出包括根据预定顺序得出的至少两个或更多个CPMVP组合(4参数、6参数、……)的一个或更多个候选。CPMV可以通过对CPMVP的附加搜索来获得，并且CPMV与CPMVP之间的差可以被附加地用信号通知。

例如，两个CPMVP的组合(4参数)可以是在当前块的左上、右上处得出的子块单元运动矢量组合。

例如，三个CPMVP的组合(6参数)可以是在当前块的左上、右上、左下处得出的子块单元运动矢量组合。

例如，可以以图12中的A、B块的顺序得出至少一个或更多个帧间预测信息。

例如，可以以图12中O，N，H块的顺序得出至少一个或更多个帧间预测信息。

组合仿射帧间预测信息可以是与图12中的左上(CP1)、右上(CP2)和左下(CP3)相邻的相邻块的运动矢量组合。相邻块的运动矢量可以被用作CPMVP。可以构造包括至少两个或更多个CPMV组合(4参数、6参数、……)的候选，并且在所有CPMVP存在并且都具有相同的参考索引时，可以将它们添加至候选列表，并且可以将它们添加为候选。

例如，存在于图12中的H、I、G处的运动矢量可以被用作CP1，其是左上CPMVP。

例如，存在于图12中的N、O处的运动矢量可以被用作CP2，其是右上CPMVP。

例如，存在于图12中的B、A处的运动矢量可以被用作CP3，其是左下CPMVP。

例如，在4参数组合仿射的情况下，左上(CP1)和右上(CP2)的运动矢量可以被用作CPMVP组合。

例如，在6参数组合仿射的情况下，左上(CP1)、右上(CP2)和左下(CP3)的运动矢量可以被用作CPMVP组合。

在子块单元AMVP模式的最大候选列表未被填充时，候选列表可以填充有用于组合仿射帧间预测信息的CPMVP作为填充仿射运动信息。

例如，可以将左上位置处的运动矢量CPI存储为左上、右上和左下处的CPMVP，并将其配置为候选。

例如，可以将右上位置处的运动矢量CP2存储为左上、右上和左下处的CPMVP，并将其配置为候选。

例如，可以将左下位置处的运动矢量CP3存储为左上、右上和左下处的CPMVP，并将其配置为候选。

在子块单元AMVP模式的最大候选列表未被填充时，候选列表可以被填充有零运动信息。

在将帧间预测模式确定为子块单元AMVP模式时，可以构造相邻块的同一个搜索顺序，以构造子块单元帧间预测模式的候选列表。子块单元帧间预测模式的候选列表可以用于：通过根据相同构造的搜索顺序确定相邻块的运动信息是否可用，来得出ATMVP、继承仿射帧间预测信息和组合仿射帧间预测信息。

可以以相同的方式构造左侧相邻块和顶部相邻块的搜索顺序。通过确定运动信息是否可用，来自左块的至少一个块和来自顶块的至少一个块可以被用于得出子块单元帧间候选。

例如，左侧相邻块可以为图12中A、B、C、……、F、G处的块，并且可以通过如以图12中的A、B、G或A、B块的顺序构造搜索顺序，使用至少一个块来得出子块单元帧间预测信息。

例如，在图12中，顶部相邻块可以为H、I、J、……、N、O中的一个或更多个位置处的块，并且可以通过如以图12中的O、N、I、H或O、N、H块的顺序构造搜索顺序，使用至少一个块来得出子块单元帧间预测信息。

左下相邻块、右上相邻块和左上相邻块的搜索顺序可以以相同的方式构造。通过确定运动信息是否可用，左上块中的至少一个块、右上块中的至少一个块以及左下块中的至少一个块可以被用于得出子块单元帧间候选。

例如，在图12中，左下相邻块可以是在A、……、D处的块，并且可以通过如以A、B、C、D或A、B、C或A、B块的顺序构造搜索顺序，使用至少一个块来得出子块单元帧间预测信息。

例如，在图12中，右上相邻块可以是在L、……、O处的块，并且可以通过如以O、N、M、L或O、N、M块的顺序构造搜索顺序，使用至少一个块来得出子块单元帧间预测信息。

例如，在图12中，左上相邻块可以是在F、G、……、I、J处的块，并且可以通过如以H、I、G、J、F或H、I、G块的顺序构造搜索顺序，使用至少一个块来得出子块单元帧间预测信息。

在当前块的帧间预测模式被确定为MMVD模式时，可以构造MMVD候选列表。MMVD候选列表可以包括N个帧间预测信息。

MMVD候选列表包括以下中的至少一个：空间相邻块的帧间预测信息、时间相邻块的帧间预测信息和HMVP。

MMVD候选可以包括例如两个以上个列表。

例如，在得出相邻块的空间运动信息时，可以以图9中B、J、K、A、F块的顺序来得出相邻块的空间运动信息。

例如，时间相邻块的位置可以与图10中的先前图片中存在的块的位置a或b对应。

可以通过组合MMVD候选、附加运动方向信息和附加运动大小信息来预测当前块。

例如，如图13所示，针对候选运动矢量可以用信号通知顶部、底部、左侧和右侧的附加运动方向信息。

例如，除了候选运动矢量之外，还可以用信号通知大小[1/4、1/2、1、2、4、8、16、32]。

在当前块的帧间预测模式被确定为MH帧内模式时，可以构造MH帧内候选列表。MH帧内候选列表可以包括N个帧间预测信息。

MH帧内模式可以是与组合帧间帧内预测(CIIP)模式相同的模式。

MH帧内候选列表包括以下中的至少一个：空间相邻块的帧间预测信息、时间相邻块的帧间预测信息和HMVP。

例如，合并模式候选列表可以被用作MH帧内候选列表。

在当前块的帧间预测模式被确定为三角模式时，可以构造三角候选列表。三角候选列表可以包括N个帧间预测信息。

三角候选列表包括以下中的至少一个：空间相邻块的帧间预测信息和时间相邻块的帧间预测信息。

通过以预定顺序搜索相邻块，可以构造使用单向运动信息的候选列表。

例如，如图14所示，位置{A、B、C、D、E}处的空间相邻块的运动信息可以被用作候选。

例如，如图14所示，位置{F、G}处的时间相邻块的运动信息可以被用作候选。

可以通过在对角线方向上组合所构造的候选列表的运动组合来预测当前块的运动信息。

例如，如图15所示，可以在45度的对角线方向上组合两个或更多个运动信息。

例如，如图15所示，可以在135度的对角线方向上组合两个或更多个运动信息。

帧间预测和运动补偿/修改步骤(S420)；可以通过在当前块的帧间预测中在解码器上使用以下中的至少一个来执行帧间预测和运动补偿/修改：运动补偿、亮度补偿(IC)、OBMC(交叠块运动补偿)、BIO(双向光流)、仿射空间运动预测和补偿、以及运动矢量细化。

可以在当前块的帧间预测和运动补偿/修改中执行运动补偿。

上述候选列表可以包括一个或更多个帧间预测候选，并且可以选择多个帧间预测候选中的任何一个。该选择可以基于用信号通知的标志或索引来执行。可以将所选择的帧间预测候选的帧间预测信息设置为当前块的帧间预测信息。使用所设置的帧间预测信息(运动矢量、参考图片列表和参考图片索引中的至少一个)来生成当前块的预测块。

在运动补偿中，可执行单向运动信息补偿。

例如，可以利用一个参考图片列表L0中的一个图片中的块执行运动补偿。

例如，可以通过组合一个参考图片列表L0的一个图片中的两个或更多个块来执行运动补偿。

例如，可以通过组合一个参考图片列表L0的两个或更多个图片中的两个或更多个块来执行运动补偿。

例如，可以利用一个参考图片列表L1中的一个图片中的块执行运动补偿。

例如，可以通过组合一个参考图片列表L1的一个图片中的两个或更多个块来执行运动补偿。

例如，可以通过组合一个参考图片列表L1的两个或更多个图片中的两个或更多个块来执行运动补偿。

在运动补偿中，可以执行双向运动信息补偿。

例如，可以通过混合两个参考图片列表L0和L1中的每一个的一个块来执行运动补偿。

例如，可以通过分别组合两个参考图片列表L0和L1的两个或更多个块来执行运动补偿。

例如，可以通过分别组合两个参考图片列表L0和L1的两个或更多个图片中的两个或更多个块来执行运动补偿。

在当前块的帧间预测和运动补偿/修改中，可以执行亮度补偿。

在运动补偿中，可以补偿其中存在用于运动补偿的块的参考图片和其中存在当前块的参考图片的亮度/照度的变化。

例如，可以通过利用N个或更多个任意整数的线性模型近似当前块的相邻样本和参考块的相邻样本的变化，并且将线性模型应用于经运动补偿的块来执行亮度补偿。该线性模型可以被限定为权重或偏移中的至少一个。

在当前块的帧间预测和运动补偿/修改中，可以执行交叠块运动补偿(OBMC)。

可以通过将利用当前块的帧间预测信息补偿的块与利用当前块的相邻块中的至少一个或更多个块的帧间预测信息补偿的一个或更多个块进行组合来生成预测块。

例如，可以通过基于当前块对左块和右块进行组合来生成预测块。

例如，可以通过基于当前块对顶块、底块、左块和右块进行组合来生成预测块。

例如，可以通过基于当前块对相邻块中的一个进行组合来生成预测块。

如图16所示，可以通过将利用当前块的子块单元帧间预测信息补偿的块和利用当前块中的相应子块的左、右、上和下处子块中的至少一个或更多个块的帧间预测信息补偿的一个或更多个块进行组合来生成预测块。

例如，可以仅对位于当前块中的边界位置上的子块执行。

例如，可以对当前块中的所有子块执行。

例如，可以仅对位于当前块中左边界位置上的子块执行。

例如，可以仅对位于当前块中右边界位置上的子块执行。例如，可以仅对位于当前块的顶部或底部中的至少一个的边界位置上的子块执行。

可以执行双向光流(BIO)以用于当前块的帧间预测和运动补偿/修改。

可以通过在单向位置中的块的光流来获得当前块的运动矢量。

可以通过以显示顺序使用在当前图片的先前图片和后续图片中存在的块以双向光流来获得当前块的运动矢量。

在先前图片和后续图片中存在的块可以是具有相反运动的与当前图片类似的块。

在MH帧内模式的情况下，可以使用帧内预测模式来修改利用MH帧内候选列表中候选的帧间预测信息进行运动补偿的预测块(在下文中为第一预测块)。具体地，可以通过使用在帧内预测模式中生成的预测块(在下文中为第二预测块)修改第一预测块来生成修改的预测块(在下文中为第三预测块)。

帧内预测模式可以如上所述基于MPM候选得出，或者可以是在编码/解码装置中预定义的帧内预测模式。此处，预定义的帧内预测模式可以是定向模式或非定向模式。例如，在编码/解码装置中，帧内预测模式可以被固定为以下中的一个：平面模式、DC模式、垂直模式或水平模式。

例如，在MH帧内模式的情况下，可以将当前块的帧内预测模式设置为平面模式，并且可以使用利用平面模式生成的第二预测块来修改第一预测块。然而，本公开内容不限于此，并且可以使用具有相邻参考像素的平均值的帧内预测模式，或者可以使用具有水平模式或垂直模式的帧内预测模式。

通过使用第二预测块修改第一预测块来生成第三预测块可以通过将第一预测块和第二预测块的每个样本乘以权重来执行。例如，这可以通过下面的式2来执行。

[式2]

CU-PredSamp[x][y]＝(w*1st_Predsamp[x][y]+(4-w)*2rd_Predsamp[x][y]+offset)＞＞2

此处，CU_PredSamp表示当前块的修改的预测块(第三预测块)的样本，1st_Predsamp表示第一预测块的样本，2rd_Predsamp表示第二预测块的样本，offset表示偏移，w表示权重，并且x、y表示笛卡尔坐标系的x坐标和y坐标，其中x可以表示从0到cbWidth(当前块的宽度)-1，并且y可以表示从0到bHeight(当前块的高度)-1。

权重可以是预先约定的固定值或者通过上述编码参数可变地确定的值。具体地，可以考虑相邻块的可用性和预测模式来执行权重。相邻块可以意指顶块或左块中的至少一个。在当前块的顶部处存在多个块时，可以将最右块或最左块用作顶块。在当前块的左侧处存在多个块时，可以将最底部块或最顶部块用作左块。

例如，在相邻块的预测模式是帧内预测模式并且相邻块的可用性全部被识别时，权重w可以被设置为1。在相邻块的所有预测模式不是帧内预测模式时，可以将权重设置为3。在没有识别到相邻块的可用性时，可以将权重设置为2。

offset(偏移)可以是0、1、2、3或更大的自然数。offset可以是预先约定的固定值，或者可以是由上述编码参数可变地确定。例如，偏移可以被固定为2。

可以基于上述MH帧内标志选择性地执行根据MH帧内模式的修改。MH帧内标志可以为0、1或更大的值。

具体地，在MH帧内标志为第一值(例如，1)时，其指定使用MH帧内模式，而在MH帧内标志为第二值(例如，0)时，其指定不使用MH帧内模式。

MH帧内标志可以由编码装置基于以下中的至少一个来编码并用信号通知：切片类型、是否使用跳过模式以及当前块的宽度和高度。

例如，可以仅在切片类型为B切片时用信号通知MH帧内标志。例如，可以仅在不应用跳过模式时用信号通知MH帧内标志。例如，可以仅在当前块的宽度和高度分别小于预定第一阈值时用信号通知MH帧内标志。此处，第一阈值可以是64、128或更大的整数。例如，可以仅在当前块的宽度和高度的乘积等于或大于第二预定阈值时用信号通知MH帧内标志。此处，第二阈值可以为32、64、128或更大的整数。然而，可以将第二阈值设置为小于第一阈值。

另外，可以仅在满足通过组合以上示例中的至少两个获得的条件时用信号通知MH帧内标志。例如，可以仅在切片类型为B切片、不应用跳过模式、当前块的宽度和高度的乘积为64或更大、以及当前块的宽度和高度分别各自大于128时用信号通知MH帧内标志。

当没有用信号通知MH帧内标志时，MH帧内标志值可以具有预定的固定值(例如，0或1)或者可以具有基于帧间预测模式、当前块的大小等的可变值。例如，在帧间预测模式是子块单元预测模式时，可以将MH帧内标志设置为第二值(例如，0)。

具体地，在满足以下条件中的至少一个条件时，MH帧内标志可以被设置为第一值(例如，1)：应用合并模式、不应用子块单元预测模式、不应用跳过模式、当前块的宽度和高度小于128、或者当前块的宽度和高度的乘积为64或更大。

在下文中，在MH帧内模式的情况下，将描述基于帧内预测生成当前块的第二预测块的方法。

可以通过构造要被用于当前块的预测的参考样本并且使用所构造的参考样本来生成帧内预测样本来生成帧内预测。

构造参考样本可以包括使用上述要被编码/解码的当前块的相邻块来构造参考样本。此处，使用相邻块可以包括：使用相邻块中的全部或部分样本、或者使用相邻块中的样本的平均值、加权平均值、代表值、最频繁值、最小值、最大值等。例如，可以使用与目标块的左侧部分或顶部部分中的至少一个空间相邻的相邻块中的所有样本来构造参考样本。

构造参考样本可以包括以下中的至少一项：确定参考样本是否可用、替换参考样本、或者对参考样本进行滤波。

确定参考样本是否可用可以包括确定所构造的参考样本是否可用。例如，在包括参考样本的块未被编码或解码时或者在参考样本存在于图片、切片、图块、熵切片、波前(WPP，波前并行处理)等的边界之外时，可以确定参考样本不可用。替选地，在包括参考样本的块是使用受约束帧内预测(CIP)的环境下的帧间模式编码地块时，可以确定参考样本不可用。

替换参考样本可以包括根据确定参考样本是否可用的结果来替换参考样本。具体地，其可以包括用另一样本值替换在所构造的参考样本中未识别到可用性的样本值。

另一样本值可以是在所构造的参考样本中识别到可用性的样本中的任何一个。另外，这可以包括：预先约定的固定值、由上述编码参数可变地确定的值(例如，由比特深度可变地确定的值)。此处，其中识别到可用性的任何一个样本可以与其中未识别到可用性的样本的顶部、底部、左侧或右侧相邻。

参考样本的滤波可以是对所构造的参考像素进行滤波以提高预测效率的步骤。可以使用滤波目标样本或滤波目标样本的相邻样本中的至少一个来对滤波目标样本执行滤波。可以通过样本的平均值、加权平均值、最频繁值、最大值、最小值或代表值来执行滤波，或者可以通过n抽头滤波器来执行滤波。此处，n可以包括1、2、3、4或更大的自然数，并且可以是预先约定的固定值或由上述编码参数可变地确定的值。例如，滤波可以是具有[1/4、2/4、1/4]的3抽头滤波器。

此外，可以通过标志来确定是否执行滤波步骤。可以根据帧内预测模式来确定标志。例如，在帧内预测模式是平面模式时，可以应用滤波。替选地，可以预先列出并且确定是否根据预测目标块的帧内预测模式对参考样本应用滤波。

替选地，在将滤波应用于参考样本时，可以根据预测目标块的颜色分量来确定是否将滤波应用于参考样本。例如，如果颜色分量是亮度信号，则可以将滤波应用于参考样本，而如果颜色分量是色度信号，则不可以将滤波应用于参考样本。

生成帧内预测样本可以是使用所构造的参考样本生成帧内预测样本的步骤。生成预测样本的方法可以根据帧内预测模式而变化。此处，如上所述，帧内预测模式可以被分类为非定向预测模式和定向预测模式。

非定向预测模式可以包括DC模式和平面模式。在DC模式中，可以使用一个固定值作为预测目标块中的样本的预测值。例如，在DC模式中，可以通过位于预测目标块周围的采样值的平均值来得出一个固定值。在平面模式中，可以使用与预测目标块垂直相邻的样本和与预测目标块水平相邻的样本来执行垂直内插和水平内插，并且其平均值可以被用作预测目标块中的样本的预测值。

定向预测模式是指示参考样本所位于的方向的模式，并且可以将对应的方向指示为预测目标块中的预测目标样本与参考样本之间的角度。定向预测模式可以被称为角度模式，并且可以包括垂直模式、水平模式等。垂直模式可以使用在垂直方向上与预测目标块相邻的样本值作为预测目标块中的样本的预测值，而水平模式可以使用在水平方向上与预测目标块相邻的样本值作为预测目标块中的样本的预测值。另外，除了垂直模式和水平模式之外的角度模式可以通过使用针对每个模式位于预定角度和/或方向的参考样本来得出预测目标块中的样本的预测值。

在当前块的帧内预测模式是平面模式时，可以通过使用根据预测目标样本的位置可变地确定的第一参考样本和与预测目标样本的位置无关地固定的第二参考样本中的至少一个来得出当前块的预测目标样本的预测值。此处，第一参考样本是位于与预测目标样本相同的水平线上的参考样本(即，具有与预测目标样本相同的x坐标值的参考样本)或者位于与预测目标样本相同的垂直线上的参考样本(即，具有与预测目标样本相同的y坐标值的参考样本)。第二参考样本可以包括以下中的至少一个：与当前块的顶部边界相邻的多个相邻样本中的与当前块的右上角相邻的样本、与当前块的左侧边界相邻的多个相邻样本中的与当前块的左下角相邻的样本、或者与当前块的左上角相邻的相邻样本。

另外，在平面模式的情况下，可以通过式3生成预测样本。

[式3]

predV[x][y]＝((nTbH-1-y)*p[x][-1]+(y+1)*p[-1][nTbH])＜＜Log2(nTbW)

predH[x][y]＝((nTbW-1-x)*p[-1][y]+(x+1)*p[nTbW][-1])＜＜Log2(nTbH)

predSamples[x][y]＝(predV[x][y]+predH[x][y]+nTbW*nTbH)＞＞Log2(nTbW)+Log2(nTbH)+1)

此处，p[x][y]表示参考样本，predSamples[x][y]表示预测样本，nTbW和nTbH分别表示变换块的宽度和高度，并且x可以表示从0到nTbW-1的x坐标，y可以表示从0到nTbH-1的y坐标。

具体地，可以通过将根据x的位置可变地确定的第一参考样本和与x的位置无关地确定的与当前块的左下角相邻的第二参考样本乘以权重来获得PredV，并且可以通过将根据y的位置可变地确定的第一参考样本和与y的位置无关地确定的与当前块的右上角相邻的第二参考样本乘以权重来获得PredH。预测的样本(predSamples[x][y])可以通过PredV和PredH的加权平均得到。在这种情况下，加权平均的权重可以表示为[1∶k]或[k∶1]。k的绝对值可以是0、1、2、3、4或更大，并且k可以为正值或负值。

可以对当前块的帧间预测和运动补偿/修改执行仿射空间运动预测和补偿。

可以通过使用仿射变换方程和当前块的左上和右上处的运动矢量来生成当前块的每个像素的运动矢量，并且可以通过使用运动矢量来执行运动补偿。

可以通过使用仿射变换方程和在当前块的左上和右上处的运动矢量来生成以当前块的子块为单位的运动矢量，并且运动补偿可以通过使用运动矢量来执行。

可以传输当前块的左上和右上处的运动矢量。

当前块的左上和右上处的运动矢量可以仅利用相应矢量的相邻运动矢量之间的差来发送。

当前块的左上和右上处的运动矢量可以通过使用当前相邻块的仿射运动矢量在不传输的情况下得出。

不仅可以通过自适应地使用左上运动矢量和右上运动矢量，还可以通过自适应地使用左下运动矢量来执行仿射空间运动补偿。

可以通过自适应地使用当前块的左上、右上和左下的运动矢量来执行仿射空间运动补偿。

在当前块的帧间预测和运动补偿/修改中，可以在解码器上执行运动矢量修改。

可以通过使用传输至解码器的运动矢量来在当前块中修改当前块中的运动矢量。

例如，如图17所示，可以通过搜索由所获得的MV0和MV1指示的相邻块，使用最佳匹配块来优化当前块的运动矢量。

在双边匹配下执行帧间预测信息修改时，可以使用SAD来得出块匹配。

例如，可以指示具有最低SAD或MR-SAD的两个块是最佳匹配的。

工业可用性

如上所述的本公开内容的实施方式可以用在对视频或图像进行解码/编码的装置或方法中。

Claims

1.一种图像解码方法，包括：

将多个帧间预测模式中的至少一个确定为当前块的帧间预测模式；

基于所确定的帧间预测模式构造帧间预测候选列表；

通过基于所述帧间预测候选列表中的任一个预测候选执行运动补偿来生成所述当前块的第一预测块；以及

使用预定的帧内预测模式来修改所述第一预测块。

2.根据权利要求1所述的图像解码方法，其中，所述修改包括：

基于所述帧内预测模式生成所述当前块的第二预测块；以及

组合所述第一预测块和所述第二预测块。

3.根据权利要求1所述的图像解码方法，其中，所述帧内预测模式是在解码装置中预先约定的固定模式。

4.根据权利要求3所述的图像解码方法，其中，所述预先约定的固定模式是平面模式或DC模式中的任意一种。

5.根据权利要求1所述的图像解码方法，其中，所述帧间预测候选列表包括空间合并候选和时间合并候选中的至少一个。

6.根据权利要求5所述的图像解码方法，其中，所述帧间预测候选列表还包括组合合并候选，并且

其中，所述组合合并候选是通过对属于所述帧间预测候选列表的至少两个合并候选求平均而得出的。

7.根据权利要求1所述的图像解码方法，其中，根据指示是否执行基于帧内预测的修改的标志来选择性地执行对所述第一预测块的修改。

8.根据权利要求7所述的图像解码方法，其中，考虑所述当前块所属的切片的类型、所述当前块的帧间预测模式或所述当前块的大小中的至少一个来用信号通知或得出所述标志。

9.一种图像编码方法，包括：

基于所确定的帧间预测模式构造帧间预测候选列表；

使用预定的帧内预测模式来修改所述第一预测块。

10.一种非暂态计算机可读存储介质，存储通过图像解码方法解码的比特流，所述图像解码方法包括：

基于所确定的帧间预测模式构造帧间预测候选列表；

使用预定的帧内预测模式来修改所述第一预测块。