CN117999783A

CN117999783A - 用于对图像编码/解码的方法和装置以及其中存储比特流的记录介质

Info

Publication number: CN117999783A
Application number: CN202280064903.9A
Authority: CN
Inventors: 朴奈利
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2021-09-30
Filing date: 2022-09-30
Publication date: 2024-05-07
Also published as: WO2023055191A1; EP4412197A1

Abstract

根据本公开的用于对图像进行解码/编码的方法和装置可以：获取第一标志，所述第一标志指示是否对称运动向量差是否用于当前块；基于第一标志来获取当前块的控制点向量差；基于控制点向量差来推导当前块的控制点向量；基于控制点向量来推导当前块的运动向量；以及通过使用运动向量来生成当前块的预测样本。

Description

用于对图像编码/解码的方法和装置以及其中存储比特流的记录介质

技术领域

本公开涉及一种图像编码/解码方法和设备以及存储比特流的记录介质，并且更具体地，涉及一种使用仿射预测的图像编码/解码方法和设备以及存储比特流的记录介质。

背景技术

近来，在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求已经不断增加，并且因此，高效的图像压缩技术正在被讨论。

存在多种技术，诸如利用视频压缩技术从当前图片之前或之后的图片预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息对当前图片中包括的像素值进行预测的帧内预测技术、对出现频率高的值分配短符号并且对出现频率低的值分配长符号的熵编译技术等，并且这些图像压缩技术可以被用于有效地压缩图像数据并对其进行发送或存储。

发明内容

技术问题

本发明旨在提供一种基于对称运动向量差的仿射预测方法和设备。

本发明旨在提供一种用于基于对称运动向量差支持多种运动模型的方法和设备。

技术方案

根据本公开的图像解码方法和设备可以获取指示对称运动向量差是否被用于当前块的第一标志；基于第一标志获取当前块的控制点向量差；基于控制点向量差推导当前块的控制点向量；基于控制点向量推导当前块的运动向量；以及通过使用该运动向量生成当前块的预测样本。

在根据本公开的图像解码方法和设备中，控制点向量可以包括示出与当前块的左上角位置相对应的第一控制点的运动向量的第一控制点向量、示出与当前块的右上角位置相对应的第二控制点的运动向量的第二控制点向量、示出与当前块的左下角位置相对应的第三控制点的运动向量的第三控制点向量、或示出与当前块的右下角位置相对应的第四控制点的运动向量的第四控制点向量中的至少两个。

在根据本公开的图像解码方法和设备中，当第一标记指示使用对称运动向量差时，可以通过基于第二方向上的控制点向量差推导第一方向上的控制点向量差来获取控制点向量差。

在根据本公开的图像解码方法和设备中，第一方向上的控制点向量差可以被推导为与第二方向上的控制点向量差幅度相同符号相反的值。

根据本公开的图像解码方法和设备可以获取指示多个仿射参数类型当中的被用于当前块的仿射参数类型的索引。

在根据本公开的图像解码方法和设备中，多个仿射参数类型可以包括4参数类型、6参数类型或8参数类型中的至少一个。

在根据本公开的图像解码方法和设备中，仅当第一标记指示使用对称运动向量差时，可以通过索引来指示8参数类型。

在根据本公开的图像解码方法和设备中，可以基于第一控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像解码方法和设备中，可以基于第一控制点的控制点向量差、第二控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像解码方法和设备中，可以基于第一控制点的控制点向量差、第三控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像解码方法和设备中，可以通过使用第一控制点的控制点向量差和第二控制点的控制点向量差中的任意一个来推导第四控制点向量。

当第一标志指示对称运动向量差被使用时，根据本公开的图像解码方法和设备可以获取指示多个控制点集当中使用对称运动向量差的控制点集的第二标志。

在根据本公开的图像解码方法和设备中，多个控制点集可以包括第一控制点集和第二控制点集，并且第一控制点集可以包括与当前块的左上角位置相对应的第一控制点和与当前块的右上角位置相对应的第二控制点，并且第二控制点集可以包括第一控制点和与当前块的左下角位置相对应的第三控制点。

根据本公开的图像解码方法和设备可以获取指示是否激活用于仿射预测的对称运动向量差的第三标志。

在根据本公开的图像解码方法和设备中，可以通过序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)或切片报头(SH)中的至少一个来用信号发送第三标志。

根据本公开的图像编码方法和设备可以确定是否对称运动向量差被用于当前块，确定当前块的控制点向量，基于控制点向量确定当前块的运动向量，并且通过使用运动向量生成当前块的预测样本。

在根据本公开的图像编码方法和设备中，可以基于是否使用对称运动向量差和控制点向量来对当前块的控制点向量差进行编码。

在根据本公开的图像编码方法和设备中，控制点向量可以包括示出与当前块的左上角位置相对应的第一控制点的运动向量的第一控制点向量、示出与当前块的右上角位置相对应的第二控制点的运动向量的第二控制点向量、示出与当前块的左下角位置相对应的第三控制点的运动向量的第三控制点向量、或示出与当前块的右下角位置相对应的第四控制点的运动向量的第四控制点向量中的至少两个。

在根据本公开的图像编码方法和设备中，当使用对称运动向量差时，可以基于第一方向上的控制点向量差和第二方向上的控制点向量差来确定控制点向量差。

在根据本公开的图像编码方法和设备中，第一方向上的控制点向量差可以被推导为与第二方向上的控制点向量差幅度相同符号相反的值。

根据本公开的图像编码方法和设备可以对指示多个仿射参数类型当中的被用于当前块的仿射参数类型的索引进行编码。

在根据本公开的图像编码方法和设备中，多个仿射参数类型可以包括4参数类型、6参数类型或8参数类型中的至少一个。

在根据本公开的图像编码方法和设备中，仅当使用对称运动向量差时可以通过索引来指示8参数类型。

在根据本公开的图像编码方法和设备中，可以基于第一控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像编码方法和设备中，可以基于第一控制点的控制点向量差、第二控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像编码方法和设备中，可以基于第一控制点的控制点向量差、第三控制点的控制点向量差和第四控制点的控制点向量差来推导第四控制点向量。

在根据本公开的图像编码方法和设备中，可以通过使用第一控制点的控制点向量差和第二控制点的控制点向量差中的任意一个来推导第四控制点向量。

当确定对称运动向量差被使用时，根据本公开的图像编码方法和设备可以对指示多个控制点集当中使用对称运动向量差的控制点集的第二标志进行编码。

在根据本公开的图像编码方法和设备中，多个控制点集可以包括第一控制点集和第二控制点集，并且第一控制点集可以包括与当前块的左上角位置相对应的第一控制点和与当前块的右上角位置相对应的第二控制点，并且第二控制点集可以包括第一控制点和与当前块的左下角位置相对应的第三控制点。

根据本公开的图像编码方法和设备可以对指示用于仿射预测的对称运动向量差是否被激活的第三标志进行编码。

在根据本公开的图像编码方法和设备中，可以通过序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)或切片报头(SH)中的至少一个来用信号发送第三标志。

提供了一种计算机可读数字存储介质，其存储经编码的视频/图像信息，从而导致执行由于根据本公开的解码设备而产生的图像解码方法。

提供了一种根据本公开的存储根据图像编码方法生成的视频/图像信息的计算机可读数字存储介质。

技术效果

根据本公开，对称运动向量差可以被用于仿射预测以根据用信号发送针对每个控制点的双向运动向量差来减少信令开销并且改善图像压缩性能。

根据本公开，可以通过使用对称运动向量差支持各种运动模型来改善预测性能。

附图说明

图1示出根据本公开的视频/图像编译系统。

图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。

图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。

图4示出根据本公开的实施例的基于仿射模型执行帧间预测的概念。

图5示出根据本公开的实施例的基于仿射模型的帧间预测方法。

图6涉及根据本公开的实施例的从空间/时间邻近块的控制点向量推导仿射候选的方法。

图7示出根据本公开的实施例的基于空间/时间邻近块的运动向量的组合来推导所构造的候选的方法。

图8示出根据本公开的实施例的推导基于子块的时间候选的运动信息的方法。

图9示出根据本公开的实施例的以子块为单位推导运动向量的方法。

图10是用于描述可以应用本发明的实施例的基于对称运动向量差的帧间预测方法的图。

图11示出根据本公开的实施例的解码设备执行的图像解码方法。

图12示出执行根据本发明的实施例的图像解码方法的帧间预测单元的粗略配置。

图13示出根据本公开的实施例的编码设备执行的图像编码方法。

图14示出执行根据本发明的实施例的图像编码方法的帧间预测单元的粗略配置。

图15示出可以应用本公开的实施例的内容流传输(streaming)系统的示例。

具体实施方式

因为本公开可以做出各种改变并且具有数个实施例，所以将在附图中图示具体实施例并在详细描述中详细描述具体实施例。然而，并不旨在将本公开限制于特定实施例，并且应当理解为包括被包括在本公开的精神和技术范围内的所有变化、等效物和替代物。在描述每个附图的同时，相似的附图标记被用于相似的组件。

诸如第一、第二等的术语可以被用于描述各种组件，但是组件不应受到这些术语的限制。这些术语仅用于区分一个组件与其他组件。例如，在不脱离本公开的权利范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件也可以被称为第一组件。术语和/或包括多个相关陈述项目中的任意一个或多个相关陈述项目的组合。

当组件被称为“连接”或“链接”到另一组件时，应当理解，其可以直接连接或链接到另一组件，但是中间也可以存在另一组件。另一方面，当一个组件被称为“直接连接”或“直接链接”到另一个组件时，应当理解在中间不存在另一个组件。

此申请中使用的术语仅用于描述具体实施例，并不旨在限制本公开。除非上下文另有明确指示，否则单数表达包括复数表达。在此申请中，应当理解，诸如“包括”或“具有”的术语旨在指派(designate)说明书中所描述的特征、数字、步骤、操作、组件、部分或其组合的存在，但是并不事先排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部分或其组合的可能性。

本公开涉及视频/图像编译。例如，这里公开的方法/实施例可以被应用于通用视频编译(VVC)标准中公开的方法。另外，本文公开的方法/实施例可以被应用于基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第二代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如H.267或H.268等)中公开的方法。

此说明书提出视频/图像编译的各种实施例，并且除非另有说明，否则这些实施例可以彼此组合来执行。

这里，视频可以指代随时间推移的一系列图像的集合。图片一般指代表示特定时间段内的一幅图像的单元，并且切片/图块是在编译中形成图片的一部分的单元。切片/图块可以包括至少一个编译树单元(CTU)。一个图片可以由至少一个切片/图块组成。一个图块是由一个图片的特定图块列和特定图块行内的多个CTU组成的矩形区域。图块列是具有与图片相同的高度和由图片参数集的语法要求指派的宽度的CTU的矩形区域。图块行是具有由图片参数集指派的高度和与图片的宽度相同的宽度的CTU的矩形区域。一个图块内的CTU可以根据CTU光栅扫描被连续排列，而一个图片内的图块可以根据图块的光栅扫描被连续排列。一个切片可以包括可以排他地包括在单个NAL单元中的图片的图块内的整数个完整的图块或者整数个连续的完整CTU行。同时，一个图片可以被划分为至少两个子图片。子图片可以是图片内的至少一个切片的矩形区域。

像素、像素或像元可以指代构成一个图片(或图像)的最小单位。另外，“样本”可以被用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与相应区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单位可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以包括由M列和N行组成的变换系数或样本(或样本阵列)的集合(或阵列)。

这里，“A或B”可以指代“仅A”、“仅B”或“A和B这两者”。换句话说，在此，“A或B”可以被解释为“A和/或B”。例如，在此，“A、B或C”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。

本文使用的斜杠(/)或逗号可以指代“和/或”。例如，“A/B”可以指代“A和/或B”。因此，“A/B”可以指代“仅A”、“仅B”或“A和B这两者”。例如，“A、B、C”可以指代“A、B或C”。

在此，“A和B中的至少一个”可以指代“仅A”、“仅B”或“A和B这两者”。另外，本文中，诸如“A或B中的至少一个”或“A和/或B中的至少一个”的表述能够以与“A和B中的至少一个”相同的方式解释。

另外，在此，“A、B和C中的至少一个”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以指代“A、B和C中的至少一个”。

另外，本文中使用的括号可以指代“例如”。具体地，当指示为“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，这里的“预测”不限于“帧内预测”，并且“帧内预测”可以被提出作为“预测”的示例。另外，即使当指示为“预测(即，帧内预测)”时，也可以提出“帧内预测”作为“预测”的示例。

这里，在一张附图中单独描述的技术特征可以被单独地或同时地实现。

图1示出根据本公开的视频/图像编译系统。

参考图1，视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设备)。

源设备可以通过数字存储介质或网络将经编码的视频/图像信息或数据以文件或流传输的形式发送到接收设备。源设备可以包括视频源、编码设备和发送单元。接收设备可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发射器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以由单独的设备或外部组件组成。

视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括捕获视频/图像的设备和生成视频/图像的设备。捕获视频/图像的设备可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的设备可以包括计算机、平板电脑、智能手机等等，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像，并且在这种情况下，捕获视频/图像的过程可以被生成相关数据的过程取代。

编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编译效率而执行诸如预测、变换、量化等的一系列过程。编码的数据(编码的视频/图像信息)能够以比特流的形式输出。

发送单元可以通过数字存储介质或网络以文件或流传输的形式向接收设备的接收单元发送以比特流的形式输出的经编码的视频/图像信息或数据。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送单元可以包括用于通过预先确定的文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行传输的元件。接收单元可以接收/提取比特流并将其发送到解码设备。

解码设备可以通过执行与编码设备的操作相对应的诸如反量化、逆变换、预测等的一系列过程来对视频/图像进行解码。

渲染器可以渲染经解码的视频/图像。可以通过显示单元显示经渲染的视频/图像。

参考图2，编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例，上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器270作为内部/外部组件。

图像分割器210可以将输入到编码设备200的输入图像(或图片、帧)分割(partition)成至少一个处理单元。作为示例，处理单元可以被称为编译单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割编译单元。

例如，一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分割为具有更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且稍后可以应用二叉树结构和/或三元结构。可替选地，可以在四叉树结构之前应用二叉树结构。根据此说明书的编译过程可以基于不再被分割的最终编译单元来执行。在这种情况下，基于根据图像特性的编译效率等，可以直接使用最大编译单元作为最终编译单元，或者如果有必要，可以将编译单元递归地分割为更深深度的编译单元，并且可以将具有最佳大小的编译单元作为最终的编译单元。这里，编译过程可以包括稍后描述的诸如预测、变换和重构等的过程。

作为另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以分别从上述最终编译单元划分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。

在一些情况下，单元可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以被用作使一个图片(或图像)对应于像素或像元的术语。

编码设备200可以从输入的图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差信号、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，在编码设备200内从输入的图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。

预测器220可以对要处理的块(在下文中，称为当前块)执行预测，并且生成包括用于当前块的预测样本的预测的块。预测器220可以确定以当前块或CU为单位是否应用帧内预测或者帧间预测。预测器220可以生成关于预测的各种信息，诸如预测模式信息等，并将其发送到熵编码器240，如在每个预测模式的描述中稍后所描述的。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。

帧内预测器222可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块一定距离。在帧内预测中，预测模式可以包括至少一种非定向模式和多种定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节级别，定向模式可以包括33个定向模式或65个定向模式。然而，这只是示例，并且可以根据配置来使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来推导用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块配置运动信息候选列表，并生成指示哪个候选被用于推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测，并且例如，对于跳过模式和合并模式，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。对于跳过模式，与合并模式不同，可以不发送残差信号。对于运动向量预测(MVP)模式，周围块的运动向量被用作运动向量预测器，并且用信号发送运动向量差以指示当前块的运动向量。

预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于针对块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测被执行，因为它推导当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来用信号发送图片内的样本值。通过预测器220生成的预测信号可以被用于生成重构信号或残差信号。

变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，GBT指代当像素之间的关系信息被表达为图形时从此图形获得的变换。CNT指代基于通过使用所有先前重构的像素生成预测信号而获得的变换。另外，变换过程可以被应用于相同大小的正方形像素块或者可以被应用于可变大小的非正方形块。

量化器233可以对变换系数进行量化并将它们发送到熵编码器240，并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并将其输出为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将以块形式的量化的变换系数重新布置为一维向量形式，并且可以基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。

熵编码器240可以执行各种编码方法，诸如指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以对除了一起或单独量化的变换系数之外的对于视频/视频图像重构(例如，语法元素的值等)所必要的信息进行编码。

编码的信息(例如，编码的视频/图像信息)能够以比特流形式以网络抽象层(NAL)单元为单位来发送或存储。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。这里，从编码设备发送/用信号发送给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送的发送单元(未示出)和/或用于存储从熵编码器240输出的信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元还可以被包括在熵编码器240中。

从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，可以通过反量化器234和逆变换器235将去量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片内要处理的下一个块的帧内预测，并且还可以通过稍后描述的滤波被用于下一个图片的帧间预测。同时，具有色度缩放的亮度映射(LMCS)可以在图片编码和/或重构过程中被应用。

滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并且可将经修改的重构图片存储在存储器270中，具体地存储在存储器270的DPB中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成关于滤波的各种信息并且将其发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。

发送到存储器270的经修改的重构图片可以被用作帧间预测器221中的参考图片。当通过其应用帧间预测时，编码设备可以避免编码设备200和解码设备中的预测失配，并且还可以改进编码效率。

存储器270的DPB可以存储修改的重构图片以将其用作帧间预测器221中的参考图片。存储器270可以存储从其中推导(或者编码)当前图片中的运动信息的块的运动信息和/或预重构图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器222。

参考图3，解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括反量化器321和逆变换器321。

根据实施例，上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器360作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备300可以基于从比特流获得的块分割的相关信息来推导单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。至少一个变换单元可以从编译单元推导。并且，通过解码设备300解码并输出的重构图像信号可以通过回放设备来播放。

解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且接收到的信号可以通过熵解码器310解码。例如，熵解码器310可以解析比特流以推导对于图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。可以通过解码过程对用信号发送的/接收到的信息和/或本文稍后描述的语法元素进行解码并且从比特流获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法对比特流中的信息进行解码，并输出对于图像重构所必需的语法元素的值和关于残差的变换系数的量化值。更详细地，CABAC熵解码方法可以从比特流接收与每个语法元素相对应的bin，通过使用要解码的语法元素信息、周围块和要解码的块的解码信息或者前一步骤中解码的符号/bin的信息来确定上下文模型，通过根据确定的上下文模型预测bin的出现概率来对bin执行算术解码，并生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过使用关于用于下一个符号/bin的上下文模型的已解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中，关于预测的信息被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中对其执行熵解码的残差值，即，量化的变换系数和相关参数信息可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供给滤波器350。同时，接收从编码设备输出的信号的接收单元(未示出)可以进一步被配置为解码设备300的内部/外部元件或接收单元可以是熵解码器310的组件。

同时，根据此说明书的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被划分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

反量化器321可以对量化的变换系数进行反量化并输出变换系数。反量化器321可以将量化的变换系数重新排列成二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新排列。反量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行反量化并获得变换系数。

逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。

预测器320可以对当前块执行预测并且生成包括用于当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或者帧间预测，并且确定特定的帧内/帧间预测模式。

预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器320不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测执行，因为它推导当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并且用信号发送。

帧内预测器331可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块的一定距离。在帧内预测中，预测模式可以包括至少一种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来推导用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。

加法器340可以将获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。

加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中要处理的下一个块的帧内预测，可以通过稍后描述的滤波来输出，或者可以被用于下一个图片的帧间预测。同时，具有色度缩放(LMCS)的亮度映射可以在图片解码过程中被应用。

滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并将修改的重构图片发送到存储器360，具体地是存储器360的DPB。各种滤波方法可以包括去块滤波、采样自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的(修改的)重构图片能够被用作帧间预测单元332中的参考图片。存储器360可以将从其当前图片中的运动信息被推导(或者被解码)的块的运动信息和/或预重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器331。

这里，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例也可以分别同等地或相应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。

一般的基于块的预测方法支持使用以块为单位的代表性运动向量的基于平移运动的运动预测。在本公开中，使用仿射模型的预测方法被用于处理利用一般的基于块的预测方法难以处理的各种复杂的运动模型，诸如旋转、缩放等。

基于仿射模型的预测是通过生成与当前块中的像素和参考图片的像素之间的点相对应的运动向量来执行任意形状的预测的方法。然而，基于仿射模型的预测不限于以像素为单位的预测，并且可以通过将当前块分割为多个子块而以子块为单位来执行。

对于上述一般的基于块的预测方法，当前块可以通过使用一个运动向量以块为单位执行运动预测。在这种情况下，每个预测方向可以存在一个运动向量，并且当前块不仅可以指代一个编译单元(CU)，还可以指代通过将一个编译单元分割为多个部分而生成的子块。

在通过使用参考图片410内的参考块411对当前图片400内的当前块401执行预测时，基于仿射模型的预测可以选择表示当前块的多个控制点并使用对应于每个控制点的控制点向量420和421以任意形式执行运动预测。基于仿射模型的预测可以通过使用多个控制点向量以当前块401的像素为单位计算运动向量，或者能够以构成当前块的子块为单位计算运动向量。下面，详细描述基于仿射模型的帧间预测方法。

参考图5，可以生成用于当前块的运动信息预测的候选列表S500。

候选列表可以包括至少一个基于仿射模型的候选(下文中称为仿射候选)。仿射候选可以指代具有控制点向量的候选。控制点向量指代用于仿射模型的控制点的运动向量，并且可以针对块的角位置(例如，左上、右上、左下或右下角中的至少一个的位置)来定义。

仿射候选可以包括空间候选、时间候选或构造候选中的至少一个。这里，可以从空间上与当前块相邻的邻近块的向量推导空间候选，并且可以从时间上与当前块相邻的邻近块的向量推导时间候选。这里，邻近块可以指代通过仿射模型编码的块。该向量可以指代运动向量或控制点向量。

通过参考图6详细地描述基于空间/时间邻近块的向量推导空间/时间候选的方法。

同时，可以基于当前块的空间/时间邻近块的运动向量的组合来推导所构造的候选，这将通过参考图7详细描述。

上述多个仿射候选可以基于预先确定的优先级被排列在候选列表中。例如，多个仿射候选可以按照空间候选、时间候选和构造的候选的顺序排列在候选列表中。可替选地，多个仿射候选可以按照时间候选、空间候选和构造的候选的顺序排列在候选列表中。然而，其不限于此，并且时间候选可以排列在构造的候选之后。可替选地，所构造的候选中的一些可以排列在空间候选之前，而其他的可以排列在空间候选之后。

候选列表可以进一步包括基于子块的时间候选。时间候选的运动信息可以从与当前块相对应的并置块推导，这将参考图8详细描述。

基于候选列表和候选索引，可以推导当前块的控制点向量S510。

候选索引可以指代被编码以推导当前块的控制点向量的索引。候选索引可以指定候选列表中包括的多个仿射候选中的任意一个。可以通过使用由候选索引指定的仿射候选的控制点向量来推导当前块的控制点向量。

例如，假定当前块的仿射模型的类型是4参数(即，当前块被确定为使用两个控制点向量)。在这种情况下，当候选索引指定的仿射候选具有三个控制点向量时，可以仅选择这三个控制点向量中的两个控制点向量(例如，具有Idx＝0、1的控制点向量)，这可以被配置为当前块的控制点向量。可替选地，指定的仿射候选的三个控制点向量可以被配置为当前块的控制点向量。在这种情况下，当前块的仿射模型的类型可以被更新为6参数。

相反，假定当前块的仿射模型的类型是6参数(即，当前块被确定为使用三个控制点向量)。在这种情况下，当候选索引指定的仿射候选具有两个控制点向量时，可以生成一个附加控制点向量并且可以将仿射候选的两个控制点向量和附加控制点向量配置为当前块的控制点向量。可以基于仿射候选的两个控制点向量、当前/邻近块的大小或位置信息中的至少之一来推导附加控制点向量。

可替选地，指定的仿射候选的两个控制点向量可以被配置为当前块的控制点向量。在这种情况下，当前块的仿射模型的类型可以被更新为4参数。

基于当前块的控制点向量，可以推导当前块的运动向量S520。

能够以当前块的子块为单位推导运动向量。为此目的，当前块可以被分割为多个NxM子块。这里，NxM子块可以是矩形(N>M或N<M)或正方形(N＝M)的形状。N和M值可以是4、8、16、32或更大。通过参考图9详细地描述推导以子块为单位的运动向量的方法。

推导运动向量的过程可以进一步包括将预先确定的偏移应用于基于控制点向量推导的运动向量。偏移可以指代用于改进预推导的运动向量的向量。可以基于关于偏移的大小或方向中的至少一个的信息来确定偏移。大小(绝对(Absolute))可以是1、2、3或更大的整数。该方向可以包括左、右、上或下中的至少一个方向。关于偏移的大小和/或方向的信息可以在编码设备中被编码和用信号发送。可替选地，偏移的大小可以是解码设备中预配置的固定值。

可以通过使用推导的运动向量S530对当前块执行帧间预测。

具体地，可以通过使用当前块的运动向量来指定参考块。可以针对当前块的每个子块单独地指定参考块。每个子块的参考块可以属于一个参考图片。换句话说，属于当前块的子块可以共享一个参考图片。可替选地，可以针对当前块的每个子块独立地配置参考图片索引。

可以通过将预先确定的插值滤波器应用于参考图片来指定参考块。编码/解码设备可以定义n个插值滤波器。这里，n可以是1、2、3或更大的整数。n个插值滤波器中的至少一个可以具有与另一插值滤波器不同的滤波器属性。该滤波器属性可以包括滤波器抽头的数量(抽头大小)或滤波器系数中的至少之一。

例如，第一插值滤波器的抽头数量可以是p，并且第二插值滤波器的抽头数量可以是q。这里，p可以是小于q的自然数。p可以是小于7的自然数(例如，6、5、4)并且q可以是大于7的自然数(例如，8、9、10)。

下面的表1是具有p＝6的6抽头插值滤波器的滤波器系数的示例。

[表1]

考虑到块的大小或预测模式中的至少一个，可以选择性地使用上述多个插值滤波器中的任意一个。这里，块可以指代当前块或当前块的子块。预测模式可以指代跳过模式、合并模式、AMVP模式、基于仿射模型的预测模式、当前图片参考模式等。当前图片参考模式可以指代其中通过参考当前块所属的当前图片内的预重构区域来预测当前块的模式。

例如，在当前块(或当前块的子块)的大小小于或等于预先确定的阈值大小时，可以使用第一插值滤波器，并且否则，可以使用第二插值滤波器。使用。阈值大小可以被定义为其中宽度和高度中的至少一个为4、8或16的块大小。

可替选地，当以第一预测模式对当前块进行编码时，可以应用第一插值滤波器，否则，可以应用第二插值滤波器。这里，第一预测模式可以指代上述预测模式中的任意一个。例如，第一预测模式可以指代基于仿射模型的预测模式或当前图片参考模式。

同时，推导的运动向量可以包括L0运动向量或L1运动向量中的至少一个。当运动向量包括L0和L1运动向量时，解码设备可以通过将L0和L1运动向量中的任意一个配置为0来执行单向预测。

可以通过考虑块的大小或预测模式中的至少一个来选择性地执行该配置。这里，块可以指代当前块或当前块的子块。预测模式可以指代跳过模式、合并模式、AMVP模式、基于仿射模型的预测模式、当前图片参考模式等。

例如，在当前块(或当前块的子块)的大小小于或等于预先确定的阈值大小时，可以通过将L1运动向量配置为0来执行单向预测，并且否则L0和L1运动向量可以被用于执行双向预测。这里，阈值大小可以被定义为宽度和高度中的至少一个为4、8或16的块大小。

可替选地，当以第一预测模式对当前块进行编码时，可以通过将L1运动向量配置为0来执行单向预测，并且否则，可以通过使用L0和L1运动向量来执行双向预测。

指定的参考块可以被配置为当前块的预测块。可以通过将残差块添加到预测块来重构当前块。可以将环路滤波器应用于重构的当前块，这通过参考图8进行了描述。

上述实施例不仅可以同等/类似地应用于合并模式，而且还可以应用于其他帧间模式(例如，AMVP模式等)。然而，即使当以合并模式或任何其他帧间模式对当前块进行编码时，也可以选择性地执行基于仿射模型的预测。

当前块600的宽度和高度分别是cbW和cbH，并且当前块的位置是(xCb，yCb)。空间邻近块610-650的宽度和高度分别是nbW和nbH，并且空间邻近块的位置是(xNb，yNb)。空间邻近块可以包括当前块的左块610、左下块640、右上块630、上块620或左上块650中的至少之一。可替选地，空间邻近块可以进一步包括与左上块650的右侧相邻的块或与左上块650的底部相邻的块中的至少一个。

空间候选可以具有n个控制点向量(cpMV)。这里，n的值可以是1、2、3或更大的整数。n的值可以基于关于是否以子块为单位执行解码的信息、关于是否其是利用仿射模型编码的块的信息或者关于仿射模型的类型(4参数或6参数)的信息中的至少一个来确定。

例如，根据该信息，当对应块以子块为单位被解码或者是利用仿射模型编码的块时，相应块可以具有两个控制点向量。另一方面，否则，相应的块可以不执行基于仿射模型的预测。

可替选地，根据该信息，当相应块是利用仿射模型编码的块并且仿射模型的类型是6参数时，相应块可以具有三个控制点向量。另一方面，否则，相应的块可以不执行基于仿射模型的预测。

上述信息可以在编码设备中被编码和用信号发送。可替选地，全部或部分信息可以基于块的属性从解码设备推导。这里，块可以指代当前块或者可以指代当前块的空间/时间邻近块。该属性可以指代大小、形状、位置、分割类型、帧间模式、关于残差系数的参数等。因为帧间模式是解码设备中预定义的模式，所以它可以指代合并模式、跳过模式、AMVP模式、仿射模型、帧内/帧间组合模式、当前图片参考模式等。可替选地，n的值可以基于如上所述的块的属性从解码设备推导。

在此实施例中，n个控制点向量可以被表达为第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])、...第n控制点向量(cpMV[n-1])。

作为示例，第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])和第四控制点向量(cpMV[3])可以是分别与块的左上样本、右上样本、左下样本和右下样本的位置相对应的向量。这里，假定空间候选具有三个控制点向量，并且三个控制点向量可以是从第一至第n控制点向量中选择的任意控制点向量。然而，其不限于此，并且空间候选可以具有两个控制点向量，并且两个控制点向量可以是从第一至第n控制点向量中选择的任意控制点向量。

在下文中，描述推导空间候选的控制点向量的方法。

1.在当前块的边界不与CTU边界接壤时

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)或空间邻近块的位置信息(xNb，yNb)中的至少一个来推导第一控制点向量。

差值的数量可以是1、2、3或更多。差值的数量可以通过考虑上述块的属性来可变地确定，或者可以是预先承诺给解码设备的固定值。差值可以被定义为多个控制点向量中的任意一个与另一个之间的差值。例如，差值可以包括第二控制点向量与第一控制点向量之间的第一差值、第三控制点向量与第一控制点向量之间的第二差值、第四控制点向量与第三控制点向量之间的第三差值或第四控制点向量与第二控制点向量之间的第四差值中的至少一个。

例如，可以如下面的等式1推导第一控制点向量。

[等式1]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式1中，变量mvScaleHor和mvScaleVer可以指代空间邻近块的第一控制点向量，或者可以指代通过对第一控制点向量应用移位运算乘以k而推导的值。这里，k可以是1、2、3、4、5、6、7、8、9或更大的整数。变量dHorX和dVerX分别对应于第二控制点向量和第一控制点向量之间的第一差值的x分量和y分量。变量dHorY和dVerY分别对应于第三控制点向量和第一控制点向量之间的第二差值的x分量和y分量。上述变量可以如下面的等式2那样推导。

[等式2]

mvScaleHor＝CpMvLX[xNb][yNb][0][0]<<7

mvScaleVer＝CpMvLX[xNb][yNb][0][1]<<7

dHorX＝(CpMvLX[xNb+nNbW-1][yNb][1][0]-CpMvLX[xNb][yNb][0][0])<<(7-log2NbW)

dVerX＝(CpMvLX[xNb+nNbW-1][yNb][1][1]-CpMvLX[xNb][yNb][0][1])<<(7-log2NbW)

dHorY＝(CpMvLX[xNb][yNb+nNbH-1][2][0]-CpMvLX[xNb][yNb][2][0])<<(7-log2NbH)

dVerY＝(CpMvLX[xNb][yNb+nNbH-1][2][1]-CpMvLX[xNb][yNb][2][1])<<(7-log2NbH

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)中的至少一个来推导第二控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。该差值与第一控制点向量中描述的相同，因此在此省略详细描述。然而，在推导第二控制点向量的过程中使用的差值的范围和/或数量可以与第一控制点向量的不同。

例如，可以如下面的等式3推导第二控制点向量。

[等式3]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式3中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式1中描述的相同，并且这里省略详细描述。

可以基于空间邻近块的第一控制点向量、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)。这里，块大小可以指代当前块和/或空间邻近块的大小。该差值与第一控制点向量中描述的相同，因此此处省略详细描述。然而，在推导第三控制点向量的过程中使用的差值的范围和/或数量可以与第一控制点向量或第二控制点向量的不同。

例如，可以如下面的等式4推导第三控制点向量。

[等式4]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式4中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式1中描述的相同，并且这里省略详细描述。同时，通过上述过程，可以推导空间候选的第n控制点向量。

2.在当前块的边界与CTU边界接壤时

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)或空间邻近块的位置信息(xNb，yNb)中的至少一个来推导第一控制点向量。

运动向量可以是被定位在空间邻近块的最下处的子块的运动向量。子块可以被定位在被定位在空间邻近块的最低处的多个子块当中的最左侧、中央或最右侧处。可替选地，运动向量可以指代子块的运动向量的平均值、最大值或最小值。

差值的数量可以是1、2、3或更多。差值的数量可以通过考虑上述块的属性来可变地确定，或者可以是预先承诺给解码设备的固定值。差值可以被定义为以空间邻近块中的子块为单位存储的多个运动向量中的任意一个与另一个之间的差值。例如，差值可以指代空间邻近块的右下子块的运动向量与左下子块的运动向量之间的差值。

例如，可以如下面的等式5推导第一控制点向量。

[等式5]

cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))

cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))

在等式5中，变量mvScaleHor和mvScaleVer可以指代通过对运动向量(MV)或上述空间邻近块的运动向量(MV)应用移位运算乘以k而推导的值。这里，k可以是1、2、3、4、5、6、7、8、9或更大的整数。

变量dHorX和dVerX分别对应于预先确定的差值的x分量和y分量。这里，差值指代空间邻近块内的右下子块的运动向量与左下子块的运动向量之间的差值。可以基于变量dHorX和dVerX推导变量dHorY和dVerY。可以如下面的等式6推导上述变量。

[等式6]

mvScaleHor＝MvLX[xNb][yNb+nNbH-1][0]<<7

mvScaleVer＝MvLX[xNb][yNb+nNbH-1][1]<<7

dHorX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][0]-MvLX[xNb][yNb+nNbH-1][0])<<(7-log2NbW)

dVerX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][1]-MvLX[xNb][yNb+nNbH-1][1])<<(7-log2NbW)

dHorY＝-dVerX

dVerY＝dHorX

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)中的至少一个来推导第二控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。对于运动向量和差值，如第一控制点向量中，在此详细描述被省略。然而，在推导第二控制点向量的过程中使用的运动向量的差值的位置、范围和/或数量可以与第一控制点向量的位置、范围和/或差值的数量不同。

例如，可以如下面的等式7推导第二控制点向量。

[等式7]

cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))

cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))

在等式7中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式5中描述的相同，并且这里省略详细描述。

可以基于空间邻近块的运动向量(MV)、预先确定的差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间邻近块的位置信息(xNb，yNb)来导出第三控制点向量。这里，块大小可以指代当前块和/或空间邻近块的大小。对于运动向量和差值，如在第一控制点向量中所描述的，这里省略详细描述。然而，在推导第三控制点向量的过程中使用的运动向量的差值的位置、范围和/或数量可以不同于第一控制点向量或第二控制点向量的位置、范围和/或差值的数量。

例如，可以如下面的等式8推导第三控制点向量。

[等式8]

cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))

cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))

在等式8中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY与等式5中描述的相同，并且这里省略详细描述。同时，通过上述过程，可以推导空间候选的第n控制点向量。

可以针对每个预定义的空间邻近块执行上述推导仿射候选的过程。预定义的空间邻近块可以包括当前块的左块、左下块、右上块、顶块或左上块中的至少之一。

可替选地，可以对每组空间邻近块分别执行推导仿射候选的过程。这里，空间邻近块可以被分类为包括左块和左下块的第一组以及包括右上块、顶块和左上块的第二组。

例如，一个仿射候选可以从属于第一组的空间邻近块推导。可以基于预先确定的优先级来执行推导，直到找到可用的仿射候选。优先级可以是左块->左下块的顺序或者相反的顺序。可以根据优先级来确定第一组中的相应空间邻近块是否是通过基于仿射模型的预测解码的块，并且可以选择首先通过基于仿射模型的预测解码的块作为仿射候选。

同样，一个仿射候选可以从属于第二组的空间邻近块推导。可以基于预先确定的优先级来执行推导，直到找到可用的仿射候选。优先级可以是右上块->顶块->左上块的顺序或者相反的顺序。可以根据优先级来确定第二组中的相应空间邻近块是否是通过基于仿射模型的预测解码的块，并且可以选择首先通过基于仿射模型的预测解码的块作为仿射候选。

上述实施例可以等同地/类似地应用于时间邻近块。这里，时间邻近块属于与当前块不同的图片，但是可以是与当前块处于相同位置的块。相同位置的块可以是包括当前块的左上样本的位置、中心位置或者与当前块的右下样本相邻的样本的位置的块。

可替选地，时间邻近块可以指代与相同位置的块移位了预先确定的视差向量的位置的块。这里，可以基于上述当前块的空间邻近块中的任意一个的运动向量来确定视差向量。

本公开的构造候选可以基于与当前块的每个角相对应的至少两个控制点向量(在下文中，称为控制点向量(cpMVCorner[n]))的组合来推导。这里，n可以是0、1、2或3。

可以基于空间邻近块和/或时间邻近块的运动向量来推导控制点向量(cpMVCorner[n])。这里，空间邻近块可以包括与当前块的左上样本相邻的第一邻近块(A、B或C)、与当前块的右上样本相邻的第二邻近块(D或E)或与当前块的左下样本相邻的第三邻近块(F或G)中的至少一个。因为时间邻近块是属于与当前块不同的图片的块，所以它可以指代与当前块处于相同位置的块(在下文中，称为第四邻近块(Col))。这里，第四邻近块可以指代包括当前块的左上样本、右上样本或左下样本的位置的块(H、I或J)或者与当前块的右下样本的位置相邻的块。

第一邻近块可以指代当前块的左上(A)、顶部(B)或左侧(C)处的邻近块。可以根据预先确定的优先级来确定邻近块A、B和C的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是A->B->C的顺序。但是，其不限于此，并且可以是A->C->B、C->A->B、B->A->C的顺序。

第二邻近块可以指代当前块的顶部(D)或右上(E)的邻近块。同样地，可以根据预先确定的优先级来确定邻近块D和E的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是D->E或E->D的顺序。

第三邻近块可以指代当前块的左侧(F)或左下(G)的邻近块。同样地，可以根据预先确定的优先级来确定邻近块的运动向量是否可用，并且可以通过使用可用的邻近块的运动向量来确定控制点向量。可以执行可用性确定，直到找到具有可用运动向量的邻近块。这里，优先级可以是G->F或F->G的顺序。

例如，第一控制点向量(cpMVCorner[0])可以被配置为第一邻近块的运动向量，第二控制点向量(cpMVCorner[1])可以被配置为第二邻近块的运动向量并且第三控制点向量(cpMVCorner[2])可以被配置为第三邻近块的运动向量。第四控制点向量(cpMVCorner[3])可以被配置为第四邻近块的运动向量。

可替选地，可以通过使用第一邻近块或第四邻近块中的至少一个的运动向量来推导第一控制点向量，并且这里，第四邻近块可以是包括左上样本的位置的块(H)。可以通过使用第二邻近块或第四邻近块中的至少一个的运动向量来推导第二控制点向量。这里，第四邻近块可以是包括右上样本的位置的块(I)。可以通过使用第三邻近块或第四邻近块中的至少一个的运动向量来推导第三控制点向量。这里，第四邻近块可以是包括左下样本的位置的块(J)。

可替选地，第一至第四控制点向量中的任何一个可以基于另一个来推导。例如，可以通过将预先确定的偏移向量应用于第一控制点向量来推导第二控制点向量。偏移向量可以是第三控制点向量与第一控制点向量之间的差向量，或者可以通过将预先确定的缩放因子应用于差向量来推导。缩放因子可以基于当前块和/或邻近块的宽度或高度中的至少之一来确定。

通过上述第一至第四控制点向量中的至少两个的组合，可以确定根据本公开的K个构造的候选(ConstK)。K的值可以是1、2、3、4、5、6、7或更大的整数。K的值可以基于从编码设备用信号发送的信息来推导或者可以是解码设备中的预先承诺的值。该信息可以包括指示候选列表中包括的构建的候选的最大数量的信息。

具体地，可以通过组合第一至第三控制点向量来推导第一构造的候选(Const1)。例如，第一构造的候选(Const1)可以具有如下表2中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二和第三邻近块的参考图片信息相同时，可以存在如表2中构造控制点向量的限制。这里，参考图片信息可以指代示出参考图片列表中的相应参考图片的位置的参考图片索引，或者可以指代示出输出顺序的图片顺序计数(POC)值。

[表2]

Idx	控制点向量
		0	cpMvCorner[0]
1	cpMvCorner[1]
		2	cpMvCorner[2]

第二构造的候选(Const2)可以通过组合第一、第二和第四控制点向量来推导。例如，第二构造的候选(Const2)可以具有如下表3中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二和第四邻近块的参考图片信息相同时，可以存在如表3中构造控制点向量的限制。这里，参考图片信息如上所述。

[表3]

第三构造的候选(Const3)可以通过组合第一、第三和第四控制点向量来推导。例如，第三构造的候选(Const3)可以具有如下表4中的控制点向量。同时，仅当第一邻近块的参考图片信息与第三和第四邻近块的参考图片信息相同时，可以存在如表4中构造控制点向量的限制。这里，参考图片信息如上所述。

[表4]

第四构造的候选(Const4)可以通过组合第二、第三和第四控制点向量来推导。例如，第四构造的候选(Const4)可以具有如下表5中的控制点向量。同时，仅当第二邻近块的参考图片信息与第三和第四邻近块的参考图片信息相同时，可以存在如表5中构造控制点向量的限制。这里，参考图片信息如上所述。

[表5]

第五构造的候选(Const5)可以通过组合第一和第二控制点向量来推导。例如，第五构造的候选(Const4)可以具有如下表6中的控制点向量。同时，仅当第一邻近块的参考图片信息与第二邻近块的参考图片信息相同时，可以存在如表6中构造控制点向量的限制。这里，参考图片信息如上所述。

[表6]

Idx	控制点向量
		1	cpMvCorner[0]
2	cpMvCorner[1]

第六构造的候选(Const6)可以通过组合第一和第三控制点向量来推导。例如，第六构造的候选(Const6)可以具有如下表7中的控制点向量。同时，仅当第一邻近块的参考图片信息与第三邻近块的参考图片信息相同时，可以存在如表7中构造控制点向量的限制。这里，参考图片信息如上所述。

[表7]

Idx	控制点向量	控制点向量
			1	cpMvCorner[0]	cpMvCorner[0]
2	cpMvCorner[2]	cpMvCorner[1]

在表6中，cpMvCorner[1]可以是基于第一和第三控制点向量推导的第二控制点向量。可以基于第一控制点向量、预先确定的差值或当前/邻近块的大小中的至少一个来推导第二控制点向量。例如，可以如下面的等式9推导第二控制点向量。

[等式9]

cpMvCorner[1][0]＝(cpMvCorner[0][0]<<7)+((cpMvCorner[2][1]-cpMvCorner[0][1])<<(7+Log2(cbHeight/cbWidth)))

cpMvCorner[1][1]＝(cpMvCorner[0][1]<<7)+((cpMvCorner[2][0]-cpMvCorner[0][0])<<(7+Log2(cbHeight/cbWidth)))

在上述K个构造的候选(ConstK)中，K的值不限制排列在候选列表中的构造的候选的位置或优先级。

另外，所有的第一至第六构造的候选可以被包括在候选列表中或者仅它们中的一些可以被包括在候选列表中。

例如，当确定当前块使用三个控制点向量时，可以仅使用通过第一控制点向量至第四控制点向量中的三个的组合生成的构造的候选。当确定当前块使用两个控制点向量时，可以使用通过第一至第四控制点向量中的至少两个的组合生成的构造的候选，或者可以使用仅通过第一至第四控制点向量中的两个的组合生成的构造的候选。

可替选地，通过考虑候选列表中包括的仿射候选的最大数量，可以仅将一些构造的候选包括在候选列表中。这里，最大数量可以基于从编码设备用信号发送的最大数量信息来确定，或者可以通过考虑上述当前块的属性来可变地确定。在这种情况下，构造的候选的K值(ConstK)可以指代插入到候选列表中的优先级。

同时，当属于构造的候选的两个控制点向量之间的差值小于预先确定的阈值时，相应的构造的候选可以不被插入到候选列表中。两个控制点向量之间的差值可以被划分为水平方向上的差值和垂直方向上的差值。这里，水平方向上的差值可以指代第一控制点向量710和第二控制点向量720之间的差值，并且垂直方向上的差值可以指代第一控制点向量710与第三控制点向量730之间的差值。阈值可以指代0或编码/解码设备中预先承诺的大小的向量。

根据本公开的时间候选的运动信息可以从并置块的运动信息推导。能够以子块为单位推导运动信息。

这里，因为并置块是属于与当前块810不同的图片(即，并置图片)的块，所以它可以是与当前块相同位置的块840或者在从当前块的位置位移了时间向量的位置的块830。时间向量可以基于当前块的空间邻近块的运动向量来确定。空间邻近块可以指代与当前块的左侧、左下、顶部、右上或左上中的至少之一相邻的块。可以通过仅使用编码/解码设备中预先承诺的位置的邻近块来确定时间向量。例如，预先承诺的位置可以是左侧811或顶部812或左侧811和顶部812。当在左侧存在多个邻近块时，多个邻近块当中的被定位在最下面、最上面或中心中的任意一个处的块可以被使用。当在顶部存在多个邻近块时，可以使用多个邻近块当中的被定位在最左面、最右面或中心中的任意一个的块。

在推导基于子块的时间候选中，当前块和/或并置块可以被分割为多个子块。

这里，子块可以具有在编码/解码设备中预先承诺的固定大小/形状。例如，子块被表达为NxM块，并且N和M的值可以是4、8或更大的整数。子块可以是正方形(N＝M)或矩形(N>M，N<M)。它可以指代大小。可替选地，编码设备可以编码并用信号发送关于子块的大小/形状的信息，并且解码设备可以基于用信号发送的信息来确定子块的大小/形状。

可替选地，当前块和/或并置块可以基于预先确定的数量被分割为多个子块。这里，数量可以是在编码/解码设备中预先承诺的固定数量，或者可以通过考虑块大小/形状来可变地确定。可替选地，可以基于在编码设备中用信号发送的数量信息来确定该数量。

在下文中，描述推导以子块为单位的时间候选的运动信息的方法。时间候选的运动向量可以被配置为并置块的每个子块存储的运动向量。时间候选的参考图片索引可以被配置为在编码/解码设备中预定义的值(例如，0)。可替选地，时间候选的参考图片索引可以被配置为并置块的参考图片索引或者子块当中的左上子块的参考图片索引。可替选地，像运动向量一样，时间候选的参考图片索引也可以被配置为每个子块存储的参考图片索引。

然而，当在属于并置块的子块当中存在不可用子块时，不可用子块的运动向量可以用并置块内的可用子块的运动向量取代。这里，可用子块可以指代与不可用子块的左侧、右侧、顶部或底部中的任意一个相邻的块。可替选地，可用子块可以是编码/解码设备中预先承诺的位置的块。例如，预先承诺的位置可以是并置块内的右下子块的位置或者可以是包括并置块的中心位置的子块的位置。仅当存在可用子块时，上述基于子块的时间候选才可以被添加到候选列表。可替选地，仅当在预先承诺的位置的子块可用时，可以将上述基于子块的时间候选添加到候选列表。

如上所述，可以通过使用当前块的控制点向量来推导当前块的运动向量。在这种情况下，当前块可以被分割为多个子块，并且能够以子块为单位推导运动向量。

子块的大小/形状可以是在解码设备中预定义的固定大小/形状。例如，子块的大小/形状可以是正方形，诸如4x4、8x8、16x16等，或者可以是矩形，诸如2x4、2x8、4x8、4x16等。可替选地，子块可以为定义为宽度和高度之和为8、12、16或更大的整数的块。可替选地，子块可以被定义为宽度和高度的乘积是16、32、64或更大的整数的块。

可替选地，可以基于上述块的属性来可变地推导子块的大小/形状。例如，在当前块的大小等于或大于预先确定的阈值大小时，能够以第一子块(例如，8x8、16x16)为单位来分割当前块，并且否则，能够以第二子块(例如，4x4)为单位来分割当前块。

可替选地，关于子块的大小/形状的信息可以在编码设备中被编码并用信号发送。该信息示出子块的大小或形状中的至少一个，其可以在序列、图片、图块组、图块或CTU的至少一个级别用信号发送。

可替选地，可以通过使用当前块的控制点向量来计算子块的大小/形状，如下面的等式10所示。

[等式10]

如图8所示，表示当前块900的控制点可以包括左上位置911和右上位置921。然而，其不限于此，并且控制点可以包括左上位置911、右上位置921和左下位置931或者可以进一步包括多个附加点。

当使用两个控制点911和921时，可以通过使用与第一控制点911相对应的第一控制点向量910、与第一控制点911相对应的第二控制点向量910、与第二控制点921相对应的第二控制点向量920、子块的位置(x，y)或当前块的大小(w或h)中的至少一个来推导用于当前块的每个子块的运动向量。例如，可以如下面的等式10来推导每个子块的运动向量。

[等式11]

当使用三个控制点时，可以通过使用与第一控制点911相对应的第一控制点向量910、对应于第二控制点921的第二控制点向量920、对应于第三控制点931的第三控制点向量930、子块的位置(x，y)或当前块的大小(w或h)中的至少一个来推导用于当前块的每个子块的运动向量。在这种情况下，可以使用第二控制点向量与第一控制点向量之间的差向量，并且可以使用第三控制点向量与第一控制点向量之间的差向量。可以针对水平方向(x轴方向)和垂直方向(y轴方向)中的每一个来计算差向量。

参考图10，当应用双向预测(或双向预测)时，可以使用对称运动向量差(SMVD)来增加编译效率。在这种情况下，可以省略用于一些运动信息的信令。例如，当SMVD被应用于当前块时，关于L0参考图片1010索引(refidxL0)的信息、关于L1参考图片1020索引(refidxL1)的信息或关于L1运动向量差1021的信息中的至少一个不可以从编码设备用信号发送给解码设备，而是可以从解码设备推导。

当MVP(或AMVP)模式和双向预测被应用到当前块时，可以用信号发送指示是否应用SMVD的标志(例如，SMVD标志或sym_mvd_flag语法元素)。当标志的值为1时，解码设备可以确定SMVD被应用于当前块。当标志的值为0时，解码设备可以确定SMVD没有被应用到当前块并且解析关于L0参考图片1010索引(refidxL0)的信息、关于L1参考图片1020索引(refidxL1)的信息或关于来自比特流的L1运动向量差1021的信息中的至少一个。

作为示例，当应用SMVD模式时(即，当SMVD标志信息的值为1时)，可以显式地用信号发送关于mvp_l0_flag、mvp_l1_flag和MVDL0(1011)的信息，并且如上所述，关于refidxL0的信息、关于refidxL1的信息和关于MVDL1(1021)的信息的用信号发送可以被省略并在内部推导。例如，refidxL0可以被推导为指示参考图片列表0(其可以被称为参考列表0、列表0或L0)内按POC顺序最接近当前图片1000的先前参考图片的索引。另外，例如，可以基于MVDL0(1011)推导MVDL1(1021)。例如，MVDL1(1021)可以具有与MVDL0(1011)相同的大小和相反的符号。

并且，refidxL1可以被推导为指示参考图片列表1(其可以被称为参考列表1、列表1或L1)内按POC顺序最接近当前图片1000的下一个参考图片的索引。可替选地，例如，refidxL0和refidxL1可以分别被驱动为0。可替选地，例如，refidxL0和refidxL1可以分别被推导为相对于当前图片1000具有相同POC差的最小索引。

具体地，例如，当[当前图片1000的POC]-[由refidxL0指示的第一参考图片1010的POC]被称为第一POC差并且[由refidxL1指示的第二参考图片1020的POC]-[当前图片1000的POC]被称为第二POC差，仅当第一POC差与第二POC差相同时指示第一参考图片1010的refidxL0的值可以被推导为当前块的refidxL0的值并且指示第二参考图片1020的refidxL1的值被推导为当前块的refidxL1的值。另外，例如，当存在其中第一POC差与第二POC差相同的多个集合时，可以推导具有最小差的集合的refidxL0和refidxL1作为当前块的refidxL0和refidxL1。

作为示例，L1运动向量差可以被推导为其大小与L0运动向量差的大小相同且符号相反的值。例如，可以如下面的等式12推导用于当前块的最终运动向量。

[等式12]

参考图11，解码设备(即，解码器)可以获得指示SMVD是否被用于当前块的标记(S1100)。作为示例，当前块可以是编译单元、编译块、变换单元、变换块、预测单元或预测块。另外，作为示例，当前块可以是基于树的块分割结构中的叶节点块。另外，在本公开中，标记可以被称为对称运动向量差标记或SMVD标记，但是当然，标记不限于此。

本公开提出了一种通过在使用仿射模型执行预测时用信号发送每个控制点的双向运动向量差来减少信令开销并改进图像压缩性能的方法。在本公开中，使用仿射模型的预测可以被称为仿射模型预测、仿射帧间预测、仿射预测等。作为示例，仿射预测可以被划分为仿射合并模式和仿射帧间模式。

当应用仿射帧间模式时，与仿射合并模式不同，不仅用信号发送关于每个控制点处的运动向量的预测器(或候选)信息，而且用信号发送运动向量差。例如，当仿射参数类型(或仿射运动模型)是4参数时，在双向预测中需要总共四个运动向量差的信令。另外，当仿射参数类型是6参数时，在双向预测中需要总共六个运动向量差的信令。为此，在仿射帧间模式中，由于运动向量差的信令而导致的比特量非常大。因此，本公开的实施例描述了一种用于改进上述问题的方法。

换句话说，根据本公开的实施例，SMVD可以被用于推导仿射预测中的双向控制点运动向量。具体地，可以通过使用双向预测的对称特征仅用信号发送任意一个方向上的运动向量差，并且可以基于用信号发送的运动向量差来推导另一方向上的运动向量差。通过此，针对运动向量差的信令数据量可以被减少了一半。在实施例中，上面在图10中描述的方法能够以基本上相同的方式在确定控制点的运动信息中被应用。

解码设备可以基于在S1100中获得的标志来获得当前块的控制点向量差(S1110)。控制点向量指代用于仿射模型的控制点的运动向量，并且可以针对块的角位置(例如，左上、右上、左下或右下角中的至少一个的位置)来定义。在本公开中，控制点向量可以被称为控制点运动向量。

作为示例，当应用SMVD时，即，当在S1100中获得的标记指示使用SMVD时，可以通过基于第二方向上的控制点向量差推导第一方向中的控制点向量差来获得控制点向量差。作为示例，第一方向上的控制点向量差可以被推导为与第二方向上的控制点向量差大小相同并且符号相反的值。

在传统技术(例如，VVC)中，SMVD仅被应用于非仿射块。然而，根据本公开的实施例，即使在当前块是仿射块时也可以应用SMVD，并且作为示例，可以定义如下表8中的语法。这里，仿射块表示通过仿射预测编码/解码的块。

[表8]

如在表8的语法中一样，可以删除限制对仿射块的情况的sym_mvd_flag(指示是否应用(或使用)SMVD的语法元素)的解析的条件。换句话说，即使当inter_affine_flag指示仿射预测被应用于当前块时，sym_mvd_flag也可以被解析以检查SMVD是否被应用于仿射块。

因为根据本发明的实施例SMVD也被应用于仿射块，所以在推导控制点向量差时可以对L0运动向量差进行解码，并且可以通过使用第一方向上的解码的运动向量差来推导L1运动向量差。具体地，如在表8的语法中一样，当应用SMVD时，第一控制点的L1运动向量差可以被确定为其大小与L0运动向量差大小相同并且符号相反的值。另外，当运动模型索引(MotionModelIdc)大于0时，第二控制点的L1运动向量差可以被确定为与L0运动向量差大小相同符号相反的值。另外，当运动模型索引大于1时，第三控制点的L1运动向量差可以被确定为与L0运动向量差大小相同符号相反的值。

解码设备可以基于在S1110中获得的控制点向量差来推导当前块的控制点向量(S1120)。解码设备可以通过将控制点向量预测器与控制点向量差相加来推导控制点向量。为了推导控制点向量预测器，包括多个仿射候选的候选列表可以被配置为如先前在图5中所描述的。换言之，作为示例，可以添加解码设备配置候选列表的步骤。另外，作为示例，候选列表可以包括合并列表、仿射列表、合并候选列表、仿射合并候选列表、仿射候选列表、基于子块的候选列表、基于子块合并候选列表、基于子块的仿射候选列表等。候选列表可以包括至少一个基于仿射模型的候选(在下文中，被称为仿射候选)。

另外，仿射候选可以包括空间候选、时间候选或构造的候选中的至少一个。这里，可以从空间上与当前块相邻的邻近块的向量推导空间候选，并且可以从时间上与当前块相邻的邻近块的向量推导时间候选。这里，邻近块可以指代通过仿射模型编码的块。该向量可以指代运动向量或控制点向量。另外，构造的候选可以是基于空间/时间邻近块的运动向量的组合构造的候选，如先前在图7中描述的。

可以基于候选列表和候选索引来指定被用于推导控制点向量的仿射候选。并且，可以通过使用指定的仿射候选来推导控制点向量预测器。换句话说，作为示例，可以添加从比特流获得(或解析)候选索引的步骤。

一般地，通过将运动向量差与运动向量预测器(或预测值)相加来计算运动向量，但是可以如下面的等式13来计算仿射块的每个控制点向量。下面的等式假定存在三个控制点，即，仿射参数类型是6参数类型，但是本公开不限于此，并且即使在具有4个控制点的6参数类型或具有2个控制点的4参数类型的情况下也能够以基本相同的方式被应用。

[等式13]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₀+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₀+CPMVD₂

参考等式13，因为控制点向量之间的运动向量差具有相似性，所以仅第一控制点(即，左上角位置的控制点)的运动向量差(CPMVD₀)与第二控制点(即，右上角位置的控制点)和第三控制点(即，左下角位置的控制点)的运动向量差之间的差(CPMVD₁，CPMVD₂)可以从编码设备用信号发送解码设备。换句话说，第一控制点向量可以通过将第一控制点向量预测器和第一控制点向量差相加来确定，第二控制点向量可以通过将第二控制点向量预测器、第一控制点向量差和第二控制点向量差相加来确定。并且可以通过将第三控制点向量预测器、第一控制点向量差和第三控制点向量差相加来确定第三控制点向量。

在此实施例中描述的推导仿射块的SMVD的过程中，分别地，L1的第一控制点向量差可以被推导为镜像L0的第一控制点向量差和第二控制点向量差的值，并且L1的第三控制点向量差可以被推导为镜像L0的第二控制点向量差和第三控制点向量差的值。在表8中，L0和L1之间的控制点向量差可以分别表示为MvdCpL0和MvdCpL1。在本公开中，镜像可以示出配置(或确定、推导)具有相同大小和相反符号的值的方法。

解码设备可以基于当前块的控制点向量推导当前块的运动向量(S1130)。解码设备可以基于当前块的控制点向量推导当前块内以子块为单位或以像素为单位的运动向量。在这种情况下，可以应用先前在图4至图9中描述的实施例。

作为实施例，可以基于当前块的控制点向量以当前块内的子块为单位推导当前块的运动向量。为此，当前块可以被分割为多个NxM子块。这里，NxM子块可以是矩形(N>M或N<M，即，非正方形)或正方形(N＝M，即，正方形)。N和M值可以是4、8、16、32或更大。

解码设备可以通过使用当前块的运动向量来生成当前块的预测样本(S1140)。解码设备可以基于推导的控制点向量推导运动向量并且基于推导的运动向量生成预测样本。在这种情况下，可以应用先前在图4至图9中描述的实施例。

作为示例，可以通过使用当前块的运动向量来指定参考块。可以对当前块的每个子块单独地指定参考块。每个子块的参考块可以属于一个参考图片。换句话说，属于当前块的子块可以共享一个参考图片。可替选地，可以对当前块的每个子块独立地配置参考图片索引。

另外，在本公开的实施例中，仿射块可以支持各种形式的仿射类型。当以VVC为例时，可以定义4参数和6参数两种类型。另外，在本公开中，可以定义8参数类型。随着参数数量的增加，可以表达块的各种形式的变换，同时信令所需的信息量可能增加。

如上所述，当应用用于仿射块的SMVD时，可以通过在没有信令的情况下推导来使用L1的MVD，因此可以减少所生成的比特量。因此，在此实施例中，对于将SMVD应用于仿射块的双向预测，提出使8参数型运动模型可用的方法。根据本公开的实施例，通过使用具有SMVD的8参数类型，可以增加预测精度，同时减少信令所需的信息量。为了支持这一点，可以定义如下表9中的语法。

[表9]

参考表9，解码设备可以获得指示多个仿射参数类型当中的被用于当前块的仿射参数类型的仿射类型索引(cu_affine_type_idc)。作为示例，仿射类型索引可以如下表10中定义。

[表10]

参考表10，仿射类型索引可以指示4参数类型、6参数类型或8参数类型当中应用于当前块的仿射类型。如上所述，对于8参数类型，使用4个控制点并且控制点向量差的信令数据大，因此仅当应用SMVD时才可以通过仿射类型索引来指示。参考表9和表10，仿射类型可以具有值0、1和2并且可以分别指示4参数、6参数和8参数。

另外，作为示例，可以定义如下表11中的表。

[表11]

参考表11，当sym_mvd_flag为0时，用信号发送L0和L1方向上的运动向量差，因此通过考虑到比特量，可以不使用8参数类型。当sym_mvd_flag为0时，仿射类型索引可以仅指示4参数类型和6参数类型。另一方面，当sym_mvd_flag为1时，仿射类型索引可以指示4参数类型、6参数类型和8参数类型全部。换句话说，可以基于sym_mvd_flag的值可变地确定仿射类型索引值的范围。换句话说，仅当8参数SMVD标志指示使用SMVD时，才可以通过仿射类型索引来指示。另外，在实施例中，在当前切片是P切片时，仿射类型索引可以具有0或1的值，而不管sym_mvd_flag如何。在当前切片是B切片并且因为满足SMVD条件而应用仿射SMVD时，可以另外应用值2。

当应用SMVD并且仿射类型索引值为2时，可以应用8参数仿射模型。当被确定为8参数时，如其余控制点向量，可以推导L1的第四控制点向量差作为L0的镜像的第四控制点向量差。作为示例，仿射块的每个控制点向量可以如下面的等式14那样推导。

[等式14]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₀+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₀+CPMVD₂

CPMV₃＝CPMVP₃+CPMVD₀+CPMVD₃

参考等式14，因为控制点向量之间的运动向量差具有相似性，所以仅第一控制点(即，在左上角位置的控制点)的运动向量差(CPMVD₀)与第二控制点(即，右上角位置的控制点)、第三控制点(即，左下角位置的控制点)和第四控制点(即，右下角位置的控制点)的运动向量差之间的差(CPMVD₁、CPMVD₂、CPMVD₃)可以从编码设备用信号发送到解码设备。

换句话说，第一控制点向量可以通过将第一控制点向量预测器与第一控制点向量差相加来确定，第二控制点向量可以通过将第二控制点向量预测器、第一控制点向量差和第二控制点向量差相加来确定。并且可以通过将第三控制点向量预测器、第一控制点向量差和第三控制点向量差相加来确定第三控制点向量。另外，可以通过将第四控制点向量预测器、第一控制点向量差和第四控制点向量差相加来确定第四控制点向量。

作为另一示例，第二控制点向量和第三控制点向量可以具有类似的运动向量差，因为与第四控制点向量相比，它们相对更接近第一控制点向量。另一方面，因为第四控制点向量离第一控制点向量相对较远，如下面的等式15至等式18所示，可以通过使用除了与第一控制点向量差的差之外的值来推导第四控制点向量，改进预测效率。作为示例，仿射块的每个控制点向量可以如下面的等式15那样推导。

[等式15]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₀+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₀+CPMVD₂

CPMV₃＝CPMVP₃+CPMVD₀+CPMVD₂+CPMVD₃

参考等式15，利用基于第四控制点向量和第三控制点向量之间的接近程度的相似性，可以通过使用第一控制点向量差、第三控制点向量差和第四控制点向量差来推导第四控制点向量。

可替选地，作为示例，可以如下面的等式16那样对其进行修改和应用。

[等式16]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₀+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₀+CPMVD₂

CPMV₃＝CPMVP₃+CPMVD₀+CPMVD₁+CPMVD₃

参考等式16，利用基于第四控制点向量和第二控制点向量之间的接近程度的相似性，可以通过使用第一控制点向量差、第二控制点向量差和第四控制点向量差来推导第四控制点向量。

可替选地，作为示例，可以如下面的等式17那样对其进行修改和应用。

[等式17]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₀+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₂

CPMV₃＝CPMVP₃+CPMVD₂+CPMVD₃

参考等式17，其可以是通过将控制点向量之间的相似度配对来假定第一控制点向量和第二控制点向量相似并且第三控制点向量和第四控制点向量相似来修改的实施例。换句话说，控制点向量可以被分组成包括第一控制点向量和第二控制点向量的第一组以及包括第三控制点向量和第四控制点向量的第二组。考虑到每个分组的控制点向量的相似性，可以如等式17中那样用信号发送控制点向量差。具体地，因为第一控制点向量和第三控制点向量之间的相似性低，所以不可以用信号发送两个控制点向量之间的差，但每个差都可以被用信号发送。并且，对于第二控制点向量和第四控制点向量，可以通过使用分别与第一控制点向量和第三控制点向量的相似性来用信号发送运动向量差。

可替选地，作为示例，可以如下面的等式18那样对其进行修改和应用。

[等式18]

CPMV₀＝CPMVP₀+CPMVD₀

CPMV₁＝CPMVP₁+CPMVD₁

CPMV₂＝CPMVP₂+CPMVD₀+CPMVD₂

CPMV₃＝CPMVP₃+CPMVD₁+CPMVD₃

参考等式18，其可以是通过将控制点向量之间的相似度配对来假定第一控制点向量和第三控制点向量相似并且第二控制点向量和第四控制点向量相似来修改的实施例。换句话说，控制点向量可以被分组成包括第一控制点向量和第三控制点向量的第一组和包括第二控制点向量和第四控制点向量的第二组。考虑到每个分组的控制点向量的相似性，可以如等式18中那样用信号发送控制点向量差。具体地，因为第一控制点向量和第二控制点向量之间的相似性低，所以两个控制点向量之间的差可以不被用信号发送，但每个差都可以被用信号发送。并且，对于第三控制点向量和第四控制点向量，可以通过使用分别与第一控制点向量和第二控制点向量的相似性来用信号发送运动向量差。

另外，在本公开的实施例中，当将SMVD应用于仿射块时，描述了仅将SMVD应用于一些控制点的方法。如上所述，控制点可以被定位在当前块的左上角、右上角、左下角和右下角，图像的运动和对象的变换可以是对称的或者每个控制点之间的运动和变换可以是不对称的。因此，为了改进这种情况下的编译效率，SMVD可以仅应用于一些控制点。

在实施例中，对于6参数类型，可以向水平或垂直方向上的控制点向量用信号发送是否应用SMVD。换句话说，如下表12所示，在当前仿射类型是6参数并且应用SMVD时，可以另外用信号发送sym_dir_flag。例如，当sym_dir_flag为0时，SMVD可以被应用于水平方向上的控制点向量。作为示例，当sym_dir_flag为0时，SMVD可以被应用于第一控制点向量和第二控制点向量。另外，当sym_dir_flag为1时，SMVD可以被应用于垂直方向上的控制点向量。作为示例，当sym_dir_flag为1时，SMVD可以被应用于第一控制点和第三控制点向量。另外，作为示例，在当前仿射类型为4参数时，sym_dir_flag可以被推断为0。

[表12]

更具体地，可以如下表13推导基于sym_dir_flag确定的控制点向量。换句话说，SMVD可以被应用于第二控制点向量或第三控制点向量，或者可以根据sym_dir_flag用信号发送所有双向运动向量。

[表13]

参考表13，SMVD可以根据sym_dir_flag被应用于[第一控制点向量，第二控制点向量]或[第一控制点向量，第三控制点向量]。

可替选地，作为实施例，当SMVD标志指示使用SMVD时，可以用信号发送指示多个控制点集当中使用SMVD的控制点集的语法元素。作为示例，语法元素可以是先前在表12和表13中描述的sym_dir_flag。作为示例，多个控制点集可以包括第一控制点集和第二控制点集。并且，第一控制点集可以包括与当前块的左上角位置相对应的第一控制点和与当前块的右上角位置相对应的第二控制点，并且第二控制点集可以包括第一控制点和与当前块的左下位置相对应的第三控制点。

即使当扩展到8参数时，也能够以基本上相同的方式应用上述实施例。作为示例，对于8参数，可以用信号发送sym_dir_flag。当sym_dir_flag为0时，SMVD可以被应用于第一控制点向量和第二控制点向量。另外，当sym_dir_flag为1时，SMVD可以被应用于第一控制点向量和第三控制点向量。

另外，作为示例，当应用8参数时，可以如下修改和应用。例如，可以用信号发送sym_dir_flag。当sym_dir_flag为0时，SMVD可以被应用于第一控制点向量和第二控制点向量。另外，当sym_dir_flag为0时，SMVD可以被应用于第一控制点向量和第三控制点向量。这是仅对一些控制点向量应用SMVD的示例，并且可以改变应用SMVD的控制点向量的位置和数量。

另外，作为示例，当满足预定义的某个条件时，可以执行上面描述的对应用仿射模型的块的SMVD处理。可以在更高级别控制对根据上述实施例的仿射块的SMVD应用。作为示例，可以如下在高级别控制应用，并且可以通过使用以下示例之一或组合来应用。在本公开中，下面的开/关控制可以代表在相应级别SMVD技术对仿射块的激活/去激活控制。

1)是否对仿射块应用SMVD可以在序列参数集(SPS)中控制开/关。

2)是否对仿射块应用SMVD可以在图片参数集(PPS)中控制开/关。

3)是否对仿射块应用SMVD可以在图片报头(PH)中控制开/关。

4)是否对仿射块应用SMVD可以在切片报头(SH)中控制开/关。

5)是否对仿射块应用SMVD可以利用与是否对非仿射块应用SMVD相同的语法在SPS中控制开/关。

6)是否对仿射块应用SMVD可以利用与是否对非仿射块应用SMVD相同的语法在PPS中控制开/关。

7)是否对仿射块应用SMVD可以利用与是否对非仿射块应用SMVD相同的语法在PH中控制开/关。

8)是否对仿射块应用SMVD可以利用与是否对非仿射块应用SMVD相同的语法在SH中控制开/关。

另外，作为示例，当应用SMVD时，可以基于用于第一方向(L0)预测的第一控制点向量差(L0 CPMVD)来确定用于第二方向(L1)预测的第二控制点向量差(L1 CPMVD)。更具体地，当应用SMVD时，第二控制点向量差的大小可以与第一控制点向量差的大小相同，并且第二控制点向量差的符号可以与第一控制点向量差的符号相反。

另外，当应用SMVD时，可以不用信号发送用于对第二控制点向量差和参考图片索引进行编译的信息。解码器可以在没有用信号发送参考图片索引和用于对第二控制点向量差进行编译的信息的情况下确定第二控制点向量差和参考图片。可以基于第一控制点向量差来确定第二控制点向量差，用于第一方向预测的第一参考图片(L0参考图片)可以被确定为用于第一方向预测的第一参考图片列表(L0参考图片列表)的按照显示顺序最接近当前图片的先前参考图片并且用于第二方向预测的第二参考图片(L1参考图片)可以被确定为用于第二方向预测的第二参考图片列表中按照显示顺序最接近当前图片的后续图片。

图12示出执行根据本公开的实施例的图像解码方法的帧间预测器332的粗略配置。

参考图12，帧间预测器332可以包括SMVD标志获取单元1200、控制点向量差获取单元1210、控制点向量推导单元1220、运动向量推导单元1230和预测样本生成单元1240。

SMVD标志获取单元1200可以获得指示SMVD是否被用于当前块的标志。作为示例，当前块可以是编译单元、编译块、变换单元、变换块、预测单元或预测块。另外，作为示例，当前块可以是基于树的块分割结构中的叶节点块。另外，在本公开中，标记可以被称为对称运动向量差标记或SMVD标记，但是当然，该标记不限于此。

根据本公开的实施例，SMVD可以被用于仿射预测以减少通过用信号发送每个控制点的双向运动向量差而引起的信令开销并且改进图像压缩性能。换句话说，根据本公开的实施例，SMVD可以被用于推导仿射预测中的双向控制点运动向量。具体地，可以通过使用双向预测的对称特征仅用信号发送任意一个方向上的运动向量差，并且可以基于用信号发送的运动向量差来推导另一方向上的运动向量差。通过此，用于运动向量差的信令数据量可以减少了一半。在实施例中，上面在图10中描述的方法能够以基本上相同的方式在确定控制点的运动信息中被应用。

控制点向量差获取单元1210可以基于SMVD标志来获得当前块的控制点向量差。控制点向量指代用于仿射模型的控制点的运动向量，并且可以针对块的角位置(例如，左上、右上、左下或者右下角中的至少一个的位置)来定义。在本公开中，控制点向量可以被称为控制点运动向量。在获得控制点向量差值时，可以同等地应用上述图11中描述的实施例。

作为示例，当应用SMVD时，即，当SMVD标志指示使用SMVD时，可以通过基于第二方向上的控制点向量差推导第一方向上的控制点向量差来获得控制点向量差。作为示例，第一方向上的控制点向量差可以被推导为与第二方向上的控制点向量差大小相同符号相反的值。

在传统技术(例如，VVC)中，SMVD仅应用于非仿射块。然而，根据本公开的实施例，即使在当前块是仿射块时也可以应用SMVD，并且作为示例，可以定义如上面在表8中描述的语法。

控制点向量推导单元1220可以基于获得的控制点向量差来推导当前块的控制点向量。控制点向量推导单元1220可以通过将控制点向量预测器与控制点向量差相加来推导控制点向量。为了推导控制点向量预测器，包括多个仿射候选的候选列表可以被配置为如先前在图5中所描述的。

另外，在实施例中，仿射块的每个控制点向量可以如上面描述的等式13来计算。换句话说，因为控制点向量之间的运动向量差具有相似性，所以仅第一控制点(即，左上角位置的控制点)的运动向量差与第二控制点(即，右上角位置的控制点)和第三控制点(即，左下角位置的控制点)的运动向量差之间的差可以从编码设备用信号发送到解码设备。可替选地，在另一实施例中，可以如上述等式14至18来计算仿射块的每个控制点向量。

在应用此实施例中描述的仿射块的SMVD的过程中，分别地，L1的第一控制点向量差可以被推导为镜像L0的第一控制点向量差和第二控制点向量差的值，并且L1的第三控制点向量差可以被推导为镜像L0的第二控制点向量差和第三控制点向量差的值。在本公开中，镜像可以示出配置(或确定、推导)具有相同大小和相反符号的值的方法。

运动向量推导单元1230可以基于当前块的控制点向量推导当前块的运动向量。运动向量推导单元1230可以基于当前块的控制点向量来推导当前块内以子块为单位或以像素为单位的运动向量。在这种情况下，可以应用先前在图4至图9中描述的实施例。

预测样本生成单元1240可以通过使用当前块的运动向量来生成当前块的预测样本。预测样本生成单元1240可以基于所推导的控制点向量推导运动向量，并基于所推导的运动向量生成预测样本。在这种情况下，可以应用先前在图4至图9中描述的实施例。

在下文中，将参考图11描述图像解码方法可以等同地/类似地应用于根据本公开的图像编码方法，并且省略重叠的描述。

参考图13，编码设备可以确定对称运动向量差是否被用于当前块(S1300)。作为示例，当前块可以是编译单元、编译块、变换单元、变换块、预测单元或预测块。另外，作为示例，当前块可以是基于树的块分割结构中的叶节点块。

编码设备可以确定当前块的控制点向量(S1310)。作为示例，可以基于控制点向量以及是否使用对称运动向量差来对当前块的控制点向量差进行编码。控制点向量指代用于仿射模型的控制点的运动向量，并且可以针对块的角位置(例如，左上、右上、左下或者右下角中的至少之一的位置)来定义。在本公开中，控制点向量可以被称为控制点运动向量。在获得控制点向量差值时，上述图11中描述的实施例可以基本上以相同的方式应用。

作为示例，当应用SMVD时，即，当SMVD标志指示使用SMVD时，可以基于第一方向上的控制点向量差和第二方向上的控制点向量差来确定控制点向量差。作为示例，第一方向上的控制点向量差可以被确定为与第二方向上的控制点向量差大小相同符号相反的值。

编码设备可以基于当前块的控制点向量来确定控制点向量差。编码设备可以通过从控制点向量减去控制点向量预测器来确定控制点向量差。为了推导控制点向量预测器，包括多个仿射候选的候选列表可以被配置，如先前在图5中所描述的。

作为示例，可以基于构造的候选列表来指定被用于推导控制点向量的仿射候选。并且，指定候选列表内的仿射候选的候选索引可以由解码设备用信号发送。可以通过使用指定的仿射候选来推导控制点向量预测器。

编码设备可以基于控制点向量确定当前块的运动向量(S1320)。编码设备可以基于当前块的控制点向量来确定当前块的运动向量。编码设备可以基于当前块的控制点向量来确定当前块内的以子块为单位或以像素为单位的运动向量。在这种情况下，可以应用先前在图4至图9中描述的实施例。

作为示例，可以基于当前块的控制点向量以当前块内的子块为单位来确定当前块的运动向量。为此，当前块可以被分割为多个NxM子块。这里，NxM子块可以是矩形(N>M或N<M，即，非正方形)或正方形(N＝M，即，正方形)。N和M值可以是4、8、16、32或更大。

编码设备可以通过使用运动向量来生成当前块的预测样本(S1330)。编码设备可以基于所确定的控制点向量来确定运动向量，并且基于所确定的运动向量来生成预测样本。在这种情况下，可以应用先前在图4至图9中描述的实施例。

图14示出执行根据本公开的实施例的图像编码方法的帧间预测器221的粗略配置。

参考图14，帧间预测器221可以包括SMVD使用确定单元1400、控制点向量确定单元1410、运动向量确定单元1420和预测样本生成单元1430。

SMVD使用确定单元1400可以确定对称运动向量差是否被用于当前块。作为示例，当前块可以是编译单元、编译块、变换单元、变换块、预测单元或预测块。另外，作为示例，当前块可以是基于树的块分割结构中的叶节点块。

根据本公开的实施例，SMVD可以被用于仿射预测以减少通过用信号发送每个控制点的双向运动向量差而引起的信令开销并且改进图像压缩性能。换句话说，根据本公开的实施例，SMVD可以被用于推导仿射预测中的双向控制点运动向量。具体地，可以通过使用双向预测的对称特征仅用信号发送任意一个方向上的运动向量差，并且可以基于用信号发送的运动向量差来推导另一方向上的运动向量差。通过此，用于运动向量差的信令数据量可以被减少了一半。在实施例中，上面在图10中描述的方法能够以基本上相同的方式在确定控制点的运动信息中被应用。

控制点向量确定单元1410可以确定当前块的控制点向量。作为示例，可以基于控制点向量以及是否使用对称运动向量差来对当前块的控制点向量差进行编码。控制点向量指代用于仿射模型的控制点的运动向量，并且可以针对块的角位置(例如，左上、右上、左下或右下角中的至少一个的位置)来定义。在本公开中，控制点向量可以被称为控制点运动向量。在获得控制点向量差时，在上面图11中描述的实施例可以基本上以相同的方式应用。

作为示例，可以基于构造的候选列表来指定用于推导控制点向量的仿射候选。并且，指定候选列表内的仿射候选的候选索引可以由解码设备用信号发送。可以通过使用指定的仿射候选来推导控制点向量预测器。

运动向量确定单元1420可以基于控制点向量确定当前块的运动向量。运动向量确定单元1420可以基于当前块的控制点向量来确定当前块的运动向量。运动向量确定单元1420可以基于当前块的控制点向量来确定当前块内以子块为单位或以像素为单位的运动向量。在这种情况下，可以应用先前在图4至图9中描述的实施例。

预测样本生成单元1430可以通过使用运动向量来生成当前块的预测样本。预测样本生成单元1430可以基于确定的控制点向量来确定运动向量，并基于确定的运动向量来生成预测样本。在这种情况下，可以应用先前在图4至图9中描述的实施例。

在上述实施例中，基于流程图将方法描述为一系列步骤或框，但是相应的实施例不限于步骤的顺序，并且一些步骤可以同时发生或者以与如上所述的其他步骤不同的顺序发生。另外，本领域的技术人员可以理解，流程图所示的步骤并不是排他性的，并且在不影响本公开的实施例的范围的情况下可以包括其他步骤或者可以删除流程图中的一个或多个步骤。

根据本公开的实施例的上述方法能够以软件的形式实现，并且根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备中，诸如TV、电脑、智能手机、机顶盒、显示设备等。

在本公开中，当实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块(进程、功能等)。模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部，并且可以通过各种众所周知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、另一芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储器卡、存储介质和/或其他存储设备。换句话说，本文描述的实施例可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如，每个附图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。

另外，应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频会话设备、如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、用于提供视频点播(VoD)服务的设备、顶置视频(OTT)设备、用于提供互联网流传输服务的设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、可视电话视频设备、运输工具终端(例如，车辆(包括自动驾驶车辆)终端、飞机终端、轮船终端等)和医疗视频设备等，可以被用于处理视频信号或数据信号。例如，顶置视频(OTT)设备可以包括游戏控制台、蓝光播放器、联网的TV、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。

另外，应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学媒体存储设备。另外，计算机可读记录介质包括以载波形式实现的介质(例如，经由互联网传输)。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。

另外，本公开的实施例可以通过程序代码由计算机程序产品来实现，并且该程序代码可以由本公开的实施例在计算机上执行。该程序代码可以存储在计算机可读载体上。

图15示出可以应用本公开的实施例的内容流传输系统的示例。

参考图15，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。

编码服务器通过将从诸如智能手机、相机、摄像机等的多媒体输入设备输入的内容压缩成数字数据来生成比特流，并将其发送到流传输服务器。作为另一示例，当诸如智能手机、相机、摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。

可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。

流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，并且web服务器用作通知用户什么服务可用的媒介。当用户向web服务器请求所需的服务时，web服务器将其递送到流传输服务器，并且流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器控制内容流传输系统中的每个设备之间的命令/响应。

流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流媒体服务，流传输服务器可以在某个时间段内存储比特流。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD)、数字电视、台式机、数字标牌等)。

内容流传输系统中的每个服务器可以被操作为分布式服务器，并且在这种情况下，从每个服务器接收到的数据可以被分发和处理。

本文阐述的权利要求能够以各种方式组合。例如，本公开的方法权利要求的技术特征可以组合并实现为设备，并且本公开的设备权利要求的技术特性可以被组合并实现为方法。另外，本公开的方法权利要求的技术特性和设备权利要求的技术特性可以组合并实现为设备，并且本公开的方法权利要求的技术特性和设备权利要求的技术特性可以被组合并实现为方法。

Claims

1.一种图像解码方法，所述方法包括：

获取第一标志，所述第一标志指示对称运动向量差是否被用于当前块；

基于所述第一标志获取所述当前块的控制点向量差；

基于所述控制点向量差推导所述当前块的控制点向量；

基于所述控制点向量推导所述当前块的运动向量；以及

通过使用所述运动向量生成所述当前块的预测样本。

2.根据权利要求1所述的方法，其中：

所述控制点向量包括第一控制点向量、第二控制点向量、第三控制点向量或第四控制点向量中的至少两个，所述第一控制点向量示出与所述当前块的左上角位置相对应的第一控制点的运动向量，所述第二控制点向量示出与所述当前块的右上角位置相对应的第二控制点的运动向量，所述第三控制点向量示出与所述当前块的左下角位置相对应的第三控制点的运动向量，所述第四控制点向量示出与所述当前块的右下角位置相对应的第四控制点的运动向量。

3.根据权利要求1所述的方法，其中：

当所述第一标记指示使用所述对称运动向量差时，通过基于第二方向上的控制点向量差推导第一方向上的控制点向量差，获取所述控制点向量差。

4.根据权利要求3所述的方法，其中：

所述第一方向上的所述控制点向量差被推导为与所述第二方向上的所述控制点向量差大小相同符号相反的值。

5.根据权利要求1所述的方法，其中：

所述方法进一步包括获取指示多个仿射参数类型当中的被用于所述当前块的仿射参数类型的索引，

其中，所述多个仿射参数类型包括4参数类型、6参数类型或8参数类型中的至少一个。

6.根据权利要求5所述的方法，其中：

仅当所述第一标记指示使用所述对称运动向量差时，通过所述索引来指示所述8参数类型。

7.根据权利要求2所述的方法，其中：

基于所述第一控制点的控制点向量差和所述第四控制点的控制点向量差来推导所述第四控制点向量。

8.根据权利要求2所述的方法，其中：

基于所述第一控制点的控制点向量差、所述第二控制点的控制点向量差和所述第四控制点的控制点向量差来推导所述第四控制点向量。

9.根据权利要求2所述的方法，其中：

基于所述第一控制点的控制点向量差、所述第三控制点的控制点向量差和所述第四控制点的控制点向量差来推导所述第四控制点向量。

10.根据权利要求2所述的方法，其中：

通过使用所述第一控制点的控制点向量差和所述第二控制点的控制点向量差中的任意一个来推导所述第四控制点向量。

11.根据权利要求1所述的方法，其中：

所述方法进一步包括，当所述第一标志指示所述对称运动向量差被使用时，获取指示多个控制点集当中的使用所述对称运动向量差的控制点集的第二标志。

12.根据权利要求11所述的方法，其中：

所述多个控制点集包括第一控制点集和第二控制点集，

所述第一控制点集包括与所述当前块的左上角位置相对应的第一控制点，和与所述当前块的右上角位置相对应的第二控制点，

所述第二控制点集包括所述第一控制点和与所述当前块的左下角位置相对应的第三控制点。

13.根据权利要求1所述的方法，其中：

所述方法进一步包括获取指示是否激活用于仿射预测的对称运动向量差的第三标志，

其中，通过序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)或切片报头(SH)中的至少一个来用信号发送所述第三标志。

14.一种图像编码方法，所述方法包括：

确定是否对称运动向量差被用于当前块；

确定所述当前块的控制点向量；

基于所述控制点向量确定所述当前块的运动向量；以及

通过使用所述运动向量生成所述当前块的预测样本，

其中，基于是否使用所述对称运动向量差和所述控制点向量来对所述当前块的控制点向量差进行编码。

15.一种存储由根据权利要求14所述的图像编码方法生成的比特流的计算机可读存储介质。

16.一种发送用于图像信息的数据的方法，所述方法包括：

确定是否对称运动向量差被用于当前块；

确定所述当前块的控制点向量；

基于所述控制点向量确定所述当前块的运动向量；

通过使用所述运动向量生成所述当前块的预测样本；

通过基于所述当前块的预测样本对所述当前块进行编码，生成比特流；以及

发送包括所述比特流的数据，