CN118044201A - 基于mdmvr的图像编译方法及设备 - Google Patents

Abstract

提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块；基于MDMVR被用于当前块而导出当前块的细化运动向量；基于细化运动向量导出当前块的预测样本；以及基于预测样本生成当前块的重构样本。

Description

基于MDMVR的图像编译方法及设备

技术领域

本公开涉及视频或图像编译技术，例如，涉及基于多层解码器侧运动向量细化(MDMVR)的图像编译技术。

背景技术

最近，在各种领域中，对高分辨率、高质量图像/视频(例如，4K、8K或更多超高清(UHD)视频/图像)的需求不断增加。随着视频/图像分辨率或质量变得更高，相比于常规视频/图像数据，发送相对大量的信息或比特。因此，如果视频/图像数据经由诸如现有有线/无线宽带线路的介质发送或者存储在传统存储介质中，则容易增加传输和存储的成本。

此外，对虚拟现实(VR)和人工现实(AR)内容以及沉浸式媒体(例如，全息图)的兴趣和需求正在增长；并且呈现与诸如游戏图像/视频的实际视频/图像的图像/视频特性不同的图像/视频特性的图像/视频的广播也正在增长。

因此，需要高效图像/视频压缩技术来有效地压缩并发送、存储或播放示出了如上所述的各种特性的高分辨率、高质量视频/图像。

发明内容

技术问题

本发明的一个技术问题是提供一种提高视频/图像编译效率的方法及装置。

本公开的另一技术问题是提供一种基于DMVR使用多层来提高帧间编译效率的图像编译方法和装置。

技术方案

根据本公开的实施例，提供了一种由解码装置执行的图像解码方法。该方法包括：确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块；基于MDMVR被用于当前块而导出用于当前块的细化运动向量；基于细化运动向量导出用于当前块的预测样本；并且基于预测样本来生成用于当前块的重构样本。

根据本公开的另一实施例，提供了一种由编码装置执行的图像编码方法。该方法包括：确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块；基于MDMVR被用于当前块而导出用于当前块的细化运动向量；基于细化运动向量导出用于当前块的预测样本；基于预测样本导出残差样本；通过对包括关于残差样本的信息的图像信息进行编码来生成比特流。

根据本公开的另一实施例，提供了一种计算机可读数字存储介质，其存储根据本公开的至少一个实施例中公开的视频/图像编码方法生成的比特流和/或编码视频/图像信息。

根据本公开的另一实施例，提供了一种用于包括图像信息比特流的数据的传输方法。该传输方法包括：获得图像信息的比特流，其中，基于以下来生成比特流，确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块，基于MDMVR被用于当前块而导出用于当前块的细化运动向量，基于细化运动向量导出用于当前块的预测样本，基于预测样本导出残差样本，对包括关于残差样本的信息的图像信息进行编码；以及传输包括比特流的数据。

有益效果

本公开可以具有各种效果。例如，根据本公开，可以提高整体图像/视频压缩效率。另外，根据本公开，可以执行基于使用高效多层的解码器侧运动向量细化的图像编译。另外，根据本公开，可以提供一种使用多层的解码器侧运动向量细化方法，其可以改进帧间编译结构的性能并且不增加处理复杂度。另外，根据本公开，通过提供各种方法来确定是否采用使用多层的解码器侧运动向量细化，可以在不增加处理复杂度的情况下提高处理效率。

通过本公开的具体实施例可以实现的效果不限于上面列出的效果。例如，可以存在本领域的普通技术人员可以从本公开中理解或导出的各种技术效果。因此，本公开的具体效果不限于本公开中明确描述的那些，并且可以包括能够从本公开的技术特征理解或导出的各种效果。

附图说明

图1示意性地图示了可以应用本公开的实施例的视频/图像编译系统的示例。

图2是图示可以应用本公开的实施例的视频/图像编码装置的配置的示意图。

图3是图示可以应用本公开的实施例的视频/图像解码装置的配置的示意图。

图4示例性地图示了编译视频/图像的分层结构。

图5是用于描述执行解码器侧运动向量细化(DMVR)的处理的实施例的图。

图6是用于描述通过使用绝对差之和(SAD)来执行解码器侧运动向量细化(DMVR)的处理的实施例的图。

图7示例性地示出了根据本公开的一个实施例的MDMVR结构。

图8示例性地示出了根据本公开另一实施例的MDMVR结构。

图9和图10示意性地示出了根据本公开的实施例的视频/图像编码方法和相关组件的示例。

图11和图12示意性地示出了根据本公开的实施例的视频/图像解码方法和相关组件的示例。

图13图示了可以应用本公开中公开的实施例的内容流传输系统的示例。

具体实施方式

可以以各种形式修改本公开，并且将在附图中描述和例示其特定实施方式。然而，实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而不旨在限制本公开。单数形式的表达包括复数形式的表达，只要其被不同地清楚地解读即可。诸如“包括”和“具有”的术语旨在指示存在后续描述中使用的特征、数字、步骤、操作、元件、组件或其组合，并因此应当理解，不排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。

此外，为了方便说明不同的具体功能，本公开所描述的附图中的元件是独立绘制的，并且不意味着这些元件由独立的硬件或独立的软件实现。例如，元件中的两个或更多个元件可以被组合以形成单个元件，或者一个元件可以被分割成多个元件。在不脱离本公开的概念的情况下，元件被组合和/或分割的实施方式属于本公开。

在本公开中，“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说，在本公开中，“A或B”可以被解释为指示“A和/或B”。例如，在本公开中，“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B、C的任何组合”。

在本公开中使用的斜杠“/”或逗号可以意指“和/或”。例如，“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如，“A、B、C”可以意指“A、B或C”。

在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外，在本公开中，表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。

另外，在本公开中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。

另外，本公开中使用的括号可以意指“例如”。具体地，在指示“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，本公开中的“预测”可以不限于“帧内预测”，并且可提议“帧内预测”作为“预测”的示例。此外，即使当指示“预测(即，帧内预测)”时，也可以提议“帧内预测”作为“预测”的示例。

本公开涉及视频/图像编译。例如，本公开中公开的方法/实施例可以应用于通用视频编译(VVC)标准中公开的方法。此外，本公开中公开的方法/示例性实施例适用于在基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第二代音频视频编译(AVS2)标准、或下一代视频/图像编译标准(例如H.267或H.268等)中公开的方法。

本公开提出了视频/图像编译的各种实施方式，并且除非另外提及，否则这些实施方式可以彼此组合地执行。

在本公开中，视频可以意指根据时间推移的一系列图像。图片通常意指表示特定时间段中的一个图像的单元，并且子图片/切片/图块是编译时构成图片的一部分的单元。子图片/切片/图块可以包括一个或更多个编译树单元(CTU)。一个图片可以由一个或更多个子图片/切片/图块组成。一个图片可以由一个或更多个图块组组成。一个图块组可以包括一个或更多个图块。拼块可以表示图片中的图块内的CTU行的矩形区域。图块可以被分割成多个拼块，每个拼块由图块内的一个或更多个CTU行组成。未被分割成多个拼块的图块也可以称为拼块。拼块扫描是对图片进行分割的CTU的特定顺序排序，其中CTU在拼块中的CTU光栅扫描中连续排序，图块内的拼块在图块的拼块的光栅扫描中连续排序，并且图片中的图块在图片的图块的光栅扫描中连续排序。此外，子图片可以表示图片内的一个或更多个切片的矩形区域。也就是说，子图片可以包含共同覆盖图片的矩形区域的一个或更多个切片。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是CTU的矩形区域，其具有等于图片的高度的高度和由图片参数集中的语法元素指定的宽度。图块行是CTU的矩形区域，其具有由图片参数集中的语法元素指定的高度和等于图片的宽度的宽度。图块扫描是对图片进行分割的CTU的特定顺序排序，其中CTU在图块中的CTU光栅扫描中连续排序，而图片中的图块在图片的图块的光栅扫描中连续排序。切片包括可以专门包含于单个NAL单元中的图片的整数个拼块。切片可以由多个完整图块或仅一个图块的连续完整拼块序列组成。图块组和切片可以在本公开中互换使用。例如，在本公开中，图块组/图块组报头可以称为切片/切片报头。

像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。

单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。

在本公开的一个附图中单独描述的技术特征可以单独实现或者可以同时实现。

创建以下附图以解释本公开的具体示例。由于附图中描述的特定装置的名称或特定信号/消息/字段的名称作为示例呈现，因此本公开的技术特征不限于以下附图中使用的具体名称。

在下文中，将参考附图详细描述本公开的实施方式。另外，在整个附图中，相同的附图标记可以用于指示相同的元件，并且针对类似元件的相同描述将被省略。

图1示意性例示了可以应用本文档的实施方式的视频/图像编译系统的示例。

参照图1，视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络将编码后的视频/图像信息或数据以文件或流的形式传送至接收装置。

源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。

视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。

编码设备可以对输入视频/图像进行编码。为了压缩和编译效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。

发送器可通过数字存储介质或网络将以比特流的形式输出的编码的视频/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。

解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。

渲染器可对解码后的视频/图像进行渲染。渲染后的视频/图像可通过显示器显示。

图2是图示可以应用本公开的实施例的视频/图像编码装置的配置的示意图。在下文中，编码装置可以包括图像编码装置和/或视频编码装置。

参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(DPB)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。

图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可被称为编译单元(CU)。在这种情况下，编译单元可根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割。例如，一个编译单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编译单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率等，最大编译单元可用作最终编译单元，或者如果需要，编译单元可被递归地分割成深度更深的编译单元并且具有最优大小的编译单元可用作最终编译单元。这里，编译过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编译单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。

在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。

在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的部分可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或CU确定应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。

帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。

预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，IBC可使用本公开中描述的至少一个帧间预测技术。调色板模式可被视为帧内编译或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。

通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen–Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，当像素之间的关系信息由图形表示时，GBT意指从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于具有正方形以外的可变大小的块。

量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数Golomb、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)一起或单独地进行编码。编码后的信息(例如，编码后的视频/图像信息)可按比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。在本公开中，从编码设备发送/用信号通知给解码设备的信息和/或语法元素可被包括在视频/图片信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。

从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由反量化器234和逆变换器235对量化的变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(诸如应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前图片中要处理的下一块的帧内预测并且可通过滤波用于下一图片的帧间预测。

此外，可在图片编码和/或重构期间应用与色度缩放的亮度映射(LMCS)。

滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波相关的信息可由熵编码器240编码并以比特流的形式输出。

发送到存储器270的修改的重构图片可用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且编码效率可改进。

存储器270的DPB可存储用作帧间预测器221中的参考图片的修改的重构图片。存储器270可存储推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前图片中的重构块的重构样本并且可将重构样本传送至帧内预测器222。

图3是示出可以应用本公开的实施例的视频/图像解码装置的配置的示意图。在下文中，解码装置可以包括图像解码装置和/或视频解码装置。

参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧内预测器331和帧间预测器332。残差处理器320可包括反量化器321和逆变换器322。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编译单元，并且编译单元可根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可从编译单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。

解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可对比特流进行解析以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将图片解码。本公开中稍后描述的用信号通知/接收的信息和/或语法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数Golomb编译、CAVLC或CABAC的编译方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可接收与比特流中的各个语法元素对应的信元(bin)，使用解码目标语法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测相关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了的熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可被称为视频/图像/图片解码设备，并且解码设备可被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

反量化器321可将量化的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行反量化并且获得变换系数。

逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。

预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。

预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上执行当前图片中的预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，IBC可使用本公开中描述的至少一种帧间预测技术。调色板模式可被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。

帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。

加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，当应用跳过模式时)，预测块可用作重构块。

加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前图片中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一图片的帧间预测。

此外，可在图片解码处理中应用与色度缩放的亮度映射(LMCS)。

滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片存储在存储器360(具体地，存储器360的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的(修改的)重构图片可用作帧间预测器332中的参考图片。存储器360可存储推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器332以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前图片中的重构块的重构样本并将重构样本传送至帧内预测器331。

在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。

图4示例性例示了编译的视频/图像的层结构。

参照图4，编译的图像/视频被划分为视频编译层(VCL)、下层系统和网络抽象层(NAL)，VCL执行图像/视频的解码处理并处置解码处理，下层系统发送和存储编译的信息，网络抽象层(NAL)存在于VCL与下层系统之间并且用于执行网络适配功能。

例如，可以在VCL中生成VCL数据，其包括压缩图像数据(切片数据)、或图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)或包括图像解码过程额外需要的补充增强信息(SEI)消息的参数集。

例如，在NAL中，报头信息(NAL单元数据)被添加到在VCL中生成的原始字节序列有效载荷(RSRP)以生成NAL单元。在这种情况下，在VCL中生成的切片数据、参数集、SEI消息等可以称作RBSP。NAL单元报头可以包括根据包括在对应NAL单元中的RSRP数据指定的NAL单元类型信息。

例如，如图4所示，可以根据在VCL中生成的RSRP将NAL单元分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于信息的信息(切片数据)的NAL单元，并且非VCL NAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。

VCL NAL单元和非VCL NAL单元可以通过网络被发送，而报头信息根据子系统的数据标准被添加。例如，NAL单元可以被转换成诸如H.266/VVC文件格式、实时传输协议(RTP)、传输流(TS)等的预定标准的数据格式，并且通过各种网络传输。

此外，如上文所描述的，关于NAL单元，NAL单元类型可以根据被包括在对应NAL单元中的RBSP数据结构指定，并且关于NAL单元类型的信息可以存储于NAL单元报头中并用信号通知。

例如，NAL单元可以根据NAL单元是否包括关于图像的信息(切片数据)而被分类为VCL NAL单元类型和非VCL NAL单元类型。此外，可以根据被包括在VCL NAL单元中的图片的性质和类型对VCL NAL单元类型进行分类，并且可以根据参数集的类型对非VCL NAL单元进行分类。

以下是根据被包括在非VCL NAL单元类型中的参数集的类型指定的NAL单元类型的示例。

-适配参数集(APS)NAL单元：包括APS的NAL单元的类型

-解码参数集(DPS)NAL单元：包括DPS的NAL单元的类型

-视频参数集(VPS)NAL单元：包括VPS的NAL单元的类型

-序列参数集(SPS)NAL单元：包括SPS的NAL单元的类型

-图片参数集(PPS)NAL单元：包括PPS的NAL单元的类型

-图片报头(PH)NAL单元：包括PH的NAL单元的类型

上述NAL单元类型可以具有NAL单元类型的语法信息，并且语法信息可以存储在NAL单元报头中并用信号通知。例如，语法信息可以是nal_unit_type并且NAL单元类型可以指定为nal_unit_type的值。

此外，一个图片可以包括多个切片，并且切片可以包括切片报头和切片数据。在这种情况下，可以针对多个切片(切片报头和切片数据的集合)添加一个图片报头。图片报头(图片报头语法)可以包括通常可以应用于图片的信息/参数。切片报头(切片报头语法)可以包括通常可以应用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括通常可以应用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括通常可以应用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括通常可以应用于多个层的信息/参数。DPS(DPS语法)可以包括通常可以应用于整体图像的信息/参数。DPS可以包括与编译视频序列(CVS)的级联相关的信息/参数。

在本公开中，从编码设备编码到解码设备并且以比特流的形式用信号通知的图像/视频信息可以包括图片内分割相关信息、帧内/帧间预测信息、层间预测相关信息、残差信息和环路内滤波信息，并且可以包含包括在APS中的信息、包括在PPS中的信息、包括在SPS中的信息、包括在VPS中的信息和/或包括在DPS中的信息。此外，图像/视频信息还可以包括NAL单元报头的信息。

同时，如上所述，在执行视频编译时，执行预测以提高压缩效率。可以通过预测来生成包括用于当前块(即，编译目标块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。在编码装置和解码装置中相同地导出预测块。编码装置可通过向解码装置用信号发送关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编译效率。解码装置可基于残差信息导出包括残差样本的残差块，可通过将残差块和预测块相加来生成包括重构样本的重构块，并且可生成包括重构块的重构图片。

可以通过变换和量化过程来生成残差信息。例如，编码装置可以导出原始块和预测块之间的残差块，可以通过对残差块中包括的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程而导出量化变换系数，并且可以将相关残差信息用信号发送给解码装置(通过比特流)。这里，残差信息可以包括诸如量化的变换系数的值信息、位置信息、变换方案、变换核和量化参数的信息。解码装置可以基于残差信息执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码装置可基于预测块和残差块来生成重构图片。此外，编码装置可通过对量化的变换系数进行反量化/逆变换来导出残差块以参考后续图片的帧间预测，并且可生成重构图片。

在本公开中，可以省略量化/反量化和/或变换/逆变换中的至少一个。如果省略量化/反量化，则量化的变换系数可以被称为变换系数。如果省略变换/逆变换，则变换系数也可以称为系数或残差系数，或者为了表达的统一，也可以仍然称为变换系数。另外，可以基于transform_skip_flag用信号发送是否省略变换/逆变换。

在本公开中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法用信号发送关于变换系数的信息。可以基于残差信息(或者关于变换系数的信息)来导出变换系数，并且可以通过对变换系数的逆变换(缩放)来导出缩放变换系数。可以基于对于缩放变换系数的逆变换(变换)来导出残差样本。这可以同样地应用于/表达在本公开的其他部分中。

同时，如上所述，当对当前块执行预测时可以应用帧内预测或帧间预测。在下文中，将描述对当前块应用帧间预测的情况。

编码/解码装置的预测器(更具体地，帧间预测器)可通过以块为单位执行帧间预测来导出预测样本。帧间预测可以表示通过依赖于除当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法导出的预测。当将帧间预测应用于当前块时，可以基于由参考图片索引指示的参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。在应用帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以用信号发送指示选择(使用)哪个候选的标志或索引信息以便导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与选择的邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(MVP)模式的情况下，所选择的邻近块的运动向量可以被用作运动向量预测器，并且可以用信号发送运动向量差。在这种情况下，可以通过使用运动向量预测器与运动向量差之和来导出当前块的运动向量。

运动信息还可以包括根据帧间预测类型(L0预测、L1预测、Bi预测等)的L0运动信息和/或L1运动信息。L0方向运动向量可以被称为L0运动向量或MVL0，并且L1方向运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称为L0预测，基于L1运动向量的预测可以被称为L1预测，并且基于L0运动向量和L1运动向量二者的预测可以被称为双预测。这里，L0运动向量可以指示与参考图片列表L0相关联的运动向量，并且L1运动向量可以指示与参考图片列表L1相关联的运动向量。参考图片列表L0可以包括按照输出顺序在当前图片之前的图片作为参考图片，并且参考图片列表L1可以包括按照输出顺序在当前图片之后的图片作为参考图片。先前的图片可以被称为前向(参考)图片并且后续的图片可以被称为反向(参考)图片。参考图片列表L0还可以包括按照输出顺序在当前图片之后的图片作为参考图片。在这种情况下，可以首先在参考图片列表L0中对先前图片进行索引，然后可以对后续图片进行索引。参考图片列表L1还可以包括按照输出顺序在当前图片之前的图片作为参考图片。在这种情况下，可以首先在参考图片列表L1中对后续图片进行索引，然后可以对先前图片进行索引。这里，输出顺序可以对应于图片顺序计数(POC)顺序。

此外，在将帧间预测应用于当前块时可以使用各种帧间预测模式。例如，可以使用包括合并模式、跳过模式、运动向量预测(MVP)模式、仿射模式、历史运动向量预测(HMVP)模式等的各种模式。还可以使用解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率(AMVR)模式、双向光流(BDOF)等作为辅助模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动向量预测(AMVP)模式。在本文中，一些模式和/或由一些模式导出的运动信息候选可以被包括在其他模式的运动信息相关候选之一中。

可以从编码装置向解码装置用信号发送指示当前块的帧间预测模式的预测模式信息。在这种情况下，预测模式信息可以被包括在比特流中并且由解码装置接收。预测模式信息可以包括指示多个候选模式之一的索引信息。或者，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或多个标志。例如，可以通过用信号发送跳过标志来指示是否应用跳过模式，当不应用跳过模式时，可以通过用信号发送合并标志来指示是否应用合并模式，并且指示应用MVP模式或者，当不应用合并模式时，可以进一步用信号发送用于附加区分的标志。仿射模式可以被用信号发送为独立模式或者用信号发送为合并模式或MVP模式的依赖模式。例如，仿射模式可以包括仿射合并模式和仿射MVP模式。

此外，当前块的运动信息可以被用于对当前块应用帧间预测。编码装置可通过运动估计过程导出当前块的最佳运动信息。例如，编码装置可通过使用当前块的原始图片中的原始块在参考图片中的预定搜索范围内以分数像素为单位搜索具有高相关性的相似参考块，并通过搜索到的参考块导出运动信息。可以基于基相位差于的样本值来导出块的相似性。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差之和(SAD)来计算块的相似度。在这种情况下，可以基于搜索区域中具有最小SAD的参考块来导出运动信息。可以根据基于帧间预测模式的各种方法将导出的运动信息用信号发送给解码装置。

可以基于根据帧间预测模式导出的运动信息来导出当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。当当前块的运动向量(MV)指示分数样本单元时，可以执行插值过程，并且可以通过插值过程基于参考图片中的分数样本单元的参考样本来导出当前块的预测样本。当仿射帧间预测被应用于当前块时，可以基于样本/子块单元MV来生成预测样本。当应用双预测时，通过基于L0预测(即，使用参考图片列表L0和MVL0中的参考图片的预测)导出的预测样本和基于L1预测(即，使用参考图片列表L1和MVL1中的参考图片的预测)导出的预测样本的加权和或者加权平均(根据相位)导出的预测样本可以被用作当前块的预测样本。当应用双预测时，如果用于L0预测的参考图片和用于L1预测的参考图片基于当前图片位于不同的时间方向上(即，如果预测对应于双预测并且双向预测)，这可以称为真双预测。

可以基于导出的预测样本来生成重构样本和重构图片，并且此后，可以如上所述执行诸如环路滤波等的过程。

同时，由于在跳过模式和/或合并模式中基于邻近块的运动向量而没有运动向量差(MVD)来预测当前块的运动，所以跳过模式和/或合并模式展示了运动预测中的限制。为了改善跳过模式和/或合并模式的限制，可以通过应用解码器侧运动向量细化(DMVR)模式、双向光流(BDOF)模式等来细化运动向量。当将真双预测应用于当前块时，可以使用DMVR和BDOF模式。

图5是用于描述执行解码器侧运动向量细化(DMVR)的处理的实施例的图。

DMVR是解码器通过细化邻近块的运动信息来执行运动预测的方法。当应用DMVR时，解码器可以基于通过在合并/跳过模式下使用邻近块的运动信息生成的模板，通过成本比较来导出细化运动信息。在这种情况下，可以提高运动预测的精度并且可以增强压缩性能而无需额外的信令信息。

在本公开中，为了描述方便，主要描述了解码装置，但是即使在编码装置中也可以以相同的方法执行根据本公开的实施例的DMVR。

参考图5，解码装置可以导出由list0和list1方向初始运动向量(或运动信息)(例如，MV0和MV1)识别的预测块(即，参考块)，并通过导出的预测样本的加权和(例如，平均)生成模板(或双边模板)(步骤1)。这里，初始运动向量(MV0和MV1)可以表示在合并/跳过模式下通过使用邻近块的运动信息导出的运动向量。

另外，解码装置可以通过模板匹配操作导出用于最小化参考图片的模板和样本区域之间的差异的运动向量(例如，MV0'和MV1')(步骤2)。这里，样本区域可以指示参考图片中的初始预测块的邻近区域，并且样本区域可以被称为邻近区域、参考区域、搜索区域、搜索范围、搜索空间等。模板匹配操作可以包括计算模板与参考图片的样本区域之间的成本测量值的操作。例如，绝对差之和(SAD)可以用于成本测量。作为一个示例，可以使用归一化SAD作为成本函数。在这种情况下，匹配成本可以给出为SAD(T–mean(T),2*P[x]–2*mean(P[x]))。这里，T表示模板，P[x]表示搜索区域中的块。另外，用于计算两个参考图片中的每一个的最小模板成本的运动向量可以被认为是更新的运动向量(替换初始运动向量)。如图5所示，解码装置可通过使用更新的运动向量MV0'和MV1'来生成最终双边预测结果(即，最终双边预测块)。作为一个实施例，用于导出更新的(或新的)运动向量的多次迭代可以用于获取最终的双边预测结果。

在一个实施例中，解码装置可以调用DMVR处理，以便增强初始运动补偿预测(即，通过传统合并/跳过模式的运动补偿预测)的准确性。例如，在当前块的预测模式是合并模式或跳过模式以及其中双边参考图片基于显示顺序中的当前图片位于相反方向的双边双预测被应用于当前块时，解码装置可以执行DMVR处理。

图6是用于描述通过使用绝对差之和(SAD)来执行解码器侧运动向量细化(DMVR)的处理的实施例的图。

如上所述，解码装置可在执行DMVR时通过使用SAD来测量匹配成本。作为一个实施例，在图6中，将描述通过计算两个参考图片中的预测样本之间的平均绝对差之和(MRSAD)来细化运动向量而不生成模板的方法。换句话说，图6的方法示出了使用MRSAD的双边匹配的实施例。

参考图6，解码装置可导出L0参考图片上的由list0(L0)方向运动向量MV0指示的像素(样本)的相邻像素，并导出L1参考图片上的由list1(L1)方向运动向量MV1指示的像素(样本)的相邻像素。另外，解码装置可通过计算在由指示在L0参考图片上导出的相邻像素的运动向量识别的L0预测块(即，L0参考块)与由指示在L1参考图片上导出的相邻像素的运动向量识别的L1预测块(即，L1参考块)之间的MRSAD来测量匹配成本。在这种情况下，解码装置可以选择具有最小成本的搜索点(即，在L0预测块和L1预测块之间具有最小SAD的搜索区域)作为细化运动向量对。换句话说，细化运动向量对可包括指示L0参考图片中具有最小成本的像素位置(L0预测块)的细化L0运动向量和指示L1参考图片中具有最小成本的像素位置(L1预测块)的细化L1运动向量。

作为一个实施例，在计算匹配成本时，在设置参考图片的搜索区域之后，可以通过利用常规8抽头DCTIF插值滤波器来执行单边预测。此外，作为一个示例，16比特精度可以用于MRSAD的计算，并且在通过考虑内部缓冲器来计算MRSAD之前可以不应用限幅和/或舍入操作。

当如上所述将真双预测应用于当前块时，可以使用BDOF以便细化双预测信号。当将双预测应用于当前块时，双向光流(BDOF)可以用于计算改进的运动信息，并且基于计算的运动信息来生成预测样本。例如，可以在4×4子块级别应用BDOF。换句话说，可以以当前块中的4×4子块为单位来执行BDOF。或者，BDOF可以仅应用于亮度分量。或者，BDOF可以仅应用于色度分量并且应用于亮度分量和色度分量。

BDOF模式基于光流概念，假设对象运动是平滑的，如BDOF模式的名称所指示的，。可以通过最小化4×4子块中的每一个的L0和L1预测样本之间的差值来计算运动细化(v_x,v_y)。另外，运动细化可以用于调整4×4子块中的双预测样本值。

可以看出，DMVR和BDOF是在应用真双预测时通过细化运动信息来执行预测的技术(在这种情况下，真双预测表示基于当前块的图片在不同方向的参考图片中进行执行运动预测/补偿的情况)，并且是具有类似概念的细化技术，因为假设图片中的对象的运动以预定速度并且在预定方向进行。

同时，下文描述了可用于在解码器中确定/解析帧间模式和/或帧间预测以便改进帧间编译结构的性能的结构和特征。所描述的方法基于通用视频编译(VVC)，但也可以应用于其他过去或未来的视频编译技术。

在本文档中，可以应用多遍DMVR技术来提高帧间编译性能。多遍DMVR(即MDMVR)是进一步改进(和简化)下一代视频编解码器中DMVR技术的技术。在第一遍中，双边匹配(BM)可以被应用到编译块，并且在第二遍中，BM可以被应用到编译块中的每个16×16子块，并且在第三遍中，BDOF可以被应用以细化每个8×8子块的MV。这里，可以存储细化的MV用于空间和时间运动向量预测。

更具体地参考多遍DMVR，在MDMVR的第一遍中，可以通过将BM(双边匹配)应用到编译块来导出细化的MV。与解码器侧运动向量细化(DMVR)类似，在双预测操作中，可以在参考图片列表L0和L1中的两个初始MV(MV0和MV1)周围搜索细化的MV。可以基于L0和L1中的两个参考块之间的最小双边匹配成本围绕初始MV导出细化MV(MV0_pass1和MV1_pass1)。

BM可以执行本地搜索来导出整数样本精度intDeltaMV。局部搜索可以应用3×3方形搜索图案来循环遍历水平方向上的搜索范围[-sHor，sHor]和垂直方向上的[-sVer，sVer]。这里，sHor和sVer的值由块维度决定，sHor和sVer的最大值可以为8。

双边匹配成本可以计算为bilCost＝mvDistanceCost+sadCost。当块大小cbW*cbH大于64时，可以应用MRSAD成本函数来消除参考块之间的DC失真效应。当3×3搜索图案的中心点处的bilCost具有最小成本时，可以终止intDeltaMV局部搜索。否则，当前最小成本搜索点成为3×3搜索图案的新中心点，并且可以继续搜索最小成本，直到到达搜索范围的末端。

可以进一步应用现有的分数样本细化来导出最终的deltaMV。可以如下导出第一遍之后的细化MV。

MV0_pass1＝MV0+deltaMV

MV1_pass1＝MV1–deltaMV

在MDMVR的第二遍中，可以通过将BM应用到16×16网格子块来导出细化MV。对于每个子块，可以在参考图片列表L0和L1中的第一遍中获得的两个MV(MV0_pass1、MV1_pass1)周围搜索细化MV。可以基于L0和L1中的两个参考子块之间的最小双边匹配成本来导出细化MV(MV0_pass2(sbIdx2)和MV1_pass2(sbIdx2))。

对于每个子块，BM可以执行全搜索以导出整数样本精度intDeltaMV。全搜索的水平方向搜索范围为[-sHor，sHor]，垂直方向搜索范围为[-sVer，sVer]，其中，sHor和sVer的值由块维度决定，且sHor和sVer的最大值可以是8。

可以通过将成本因子应用于两个参考子块之间的SATD成本来计算双边匹配成本，例如bilCost＝satdCost*costFactor。搜索区域(2*sHor+1)*(2*sVer+1)可以被划分为直至5个菱形搜索区域。每个搜索区域被分配一个costFactor，其由每个搜索点与起始MV之间的距离(intDeltaMV)确定，并且可以从搜索区域的中心开始按顺序处理每个菱形区域。在每个区域中，可以以从该区域的左上角开始到右下角的光栅扫描顺序来处理搜索点。在当前搜索区域内的最小bilCost小于等于sbW*sbH的阈值时，可以终止内部像素全搜索，否则，内部像素全搜索可以继续到下一个搜索区域，直到所有搜索点都被检查。

在现有的VVC中，可以进一步应用DMVR分数样本细化来导出最终的deltaMV(sbIdx2)。第二遍的细化MV可以如下导出。

MV0_pass2(sbIdx2)＝MV0_pass1+deltaMV(sbIdx2)

MV1_pass2(sbIdx2)＝MV1_pass1-deltaMV(sbIdx2)

在MDMVR的第三遍中，可以通过将BDOF应用到8×8网格子块来导出细化的MV。对于每个8×8子块，可以从第二遍中父子块的细化MV开始应用BDOF细化来导出缩放后的Vx和Vy，而没有裁剪。导出的bioMv(Vx,Vy)可以舍入到1/16样本精度并在-32和32之间进行裁剪。

第三遍的细化MV(MV0_pass3(sbIdx3)和MV1_pass3(sbIdx3))可以如下导出。

MV0_pass3(sbIdx3)＝MV0_pass2(sbIdx2)+bioMv

MV1_pass3(sbIdx3)＝MV0_pass2(sbIdx2)–bioMv

同时，本公开提出了一种在如上所述应用解码器侧运动向量导出(DMVD)(即，DMVR和/或多遍DMVR)时提高帧间编译结构的性能并且不增加处理复杂度的方法。为此，可以考虑以下方面。也就是说，所提出的方法可以包括以下实施例，并且所提出的实施例可以单独地或组合地应用。

1.作为示例，DMVR可以在多级别或在多遍或多阶段中应用以导出最终的细化运动向量。为了本公开的目的，多层DMVR可以被称为MDMVR。另外，多层也可以称为多遍、多级或多阶段。

2.此外，作为示例，可以通过考虑以下几个因素来确定MDMVR的使用：

a.每个CU可以具有不同数量的层。例如，当前PU可以具有2层，而下一个PU可能需要3层。

b.可以使用MVD信息来确定DMVR是否被应用到块或者可以应用多少个级别或层的DMVR。

i)例如，在第一种情况下(即，用于DMVR的开/关控制)，如果合并模式下的MVD超过预定阈值，则可以不应用DMVR。例如，可以以1/4像素、1/2像素、1像素、4像素和/或其他适当的MVD单位为单位来选择阈值。

ii)例如，如果对于特定块大小，任何阈值不满足，则可以不应用DMVR。

iii)或者，也可以使用这些阈值来确定是否需要将单层、两层或多层应用于DMVR。例如，如果MVD在某些阈值的限制内，则在16×16级别而不是8×8级别执行DMVR可能就足够了。

3.另外，作为示例，当执行MDMVR时，每层可以具有相同的搜索图案或不同的搜索图案。

4.此外，作为示例，搜索点通常可以根据搜索图案而不同。因此，可能且有益的是，最初使用与更多搜索点相关的更大搜索，然后在后面的层中通过考虑更小的搜索图案和更少数量的搜索点来减少搜索空间。

5.另外，初始搜索图案的准确度可以是基于整数的，并且附加层准确度可以是1/2像素或1/4像素。

6.此外，作为示例，所考虑的搜索图案可以包括但不限于正方形、菱形、十字形、矩形和/或其他适当的形状以捕获块的基础运动。

a.例如，如果x方向上的运动向量大于y方向上的运动向量，则矩形搜索图案可能是有用的，因为它可能更适合捕获块的基础运动。

b.或者，菱形/十字形状可能更适合具有更多垂直运动的块。

7.另外，作为示例，根据块的大小，每个块的搜索区域的大小可以不同。

a.例如，如果使用更大的块，则可以使用7×7/8×8或更大的或其他适当的正方形/菱形搜索图案。这可以与可变DMVR粒度结合使用。

b.或者，如果块较小，则可以使搜索区域小于5×5。

c.还可以基于可用邻近块的基础运动信息和运动特性来确定搜索区域的大小。例如，如果块MVD大于阈值T(其可以是预定的)，则可以使用7×7搜索区域。

8.此外，作为示例，参考样本可以在等待处理时被预取并存储在存储器中。例如，当预取样本时，可以对样本进行参考样本填充。

9.在VVC中，DMVR使用SAD作为使用迭代过程评估细化MV的手段。然而，可以使用几个其他失真度量来评估失真。

a.例如，可以使用L0范数(norm)，其中，可以使用初始运动向量和中间运动向量来确定在x或y方向上是否存在运动的改变。然后这可用于评估是否可以实现提前终止。

b.或者，例如，诸如欧几里德范数(L2)之类的范数的其他形式可以用于指示哪个点具有最大位移，从而指示异常值。

c.另外，例如，可以使用MR-SAD(平均移除-绝对差之和)。还可以使用MR-SAD的几种变体。例如，可以使用每个交替行/列的MRSAD或每个块的累积平均值的前一个块的MRSAD。

10.此外，作为示例，可以添加额外的加权因子来衰减/放大任何失真测量。如果特定搜索点的失真必须优先于其他搜索点，则可以考虑这些考虑因素。

例如，如果初始搜索点必须优先于搜索范围中的其他点，则可以应用对于初始误差/失真度量的权重，使得初始值将导致最小失真成本。

b.作为另一示例，可以考虑邻近块的可用运动信息来确定要使用的权重。

11.此外，作为示例，有可能促进MDMVR的单层或每层内的提前终止。

a.例如，如果初始起始MV与迭代期间某一点的MV之间的距离小于阈值T，则可以提前终止MDMVR，可以终止搜索。

b.或者，可以在层之间检查任何终止条件。例如，CU可以发信号通知使用三层进行DMVR。然而，如果在第一层之后满足终止条件，则可以终止DMVR。

c.或者，其他提前终止方法(例如基于样本的差异或基于SAD的差异)也可以用作单独检查或组合使用。

12.此外，作为示例，可以在几个参数集中用信号发送单层DMVR或MDMVR的使用。

a.例如，通过在具有相关GCI标志的SPS中用信号发送单个标志，可以针对整个序列固定MDMVR的使用。

b.序列可以在图片参数集(PPS)/图片报头(PH)/切片报头(SH)/编译单元(CU)和/或其他适当的报头处在DMVR和MDMVR之间切换。

i)例如，可以在PPS处用信号发送现有DMVR或MDMVR的使用，并在PH或更低级别中存在附加控制。

ii)例如，可以在CU级别在DMVR和MDMVR之间切换。也就是说，每个CU可以独立地切换。

c.可以考虑，当用信号发送SPS处的标志或PTL标志(即，GCI约束标志)时，它可以是固定长度编译的。

d.如果在PPS或更低级别用信号发送MDMVR的语法元素，则使用上下文编译来用信号发送必要的细节可能是合适的。

i)例如，可以用信号发送的信息可以包括但不限于层数、应用MDMVR的粒度、是否显式使用提前终止等。

ii)另外，例如，可以考虑块统计的相关方面来确定上下文模型的数量、它们的初始化值。

同时，如上所述的多层DMVR(即，MDMVR)的使用可以被认为有利于通过压缩效率来提高视频质量。因此，本公开提出了一种用于有效地用信号发送与MDMVR的使用相关的信息的方法。在这点上，作为可以在解码器处执行的结构的示例，其可以如图7和图8中所示进行操作。

图7示例性地示出了根据本公开实施例的MDMVR结构。

在图7的示例中，标志/索引可以用于确定是使用MDMVR还是现有DMVR(S700)。通常，这样的标志(单个bin或多个固定长度编译的bin)可以用于指示是否使用DMVR(例如，索引0)、是否使用单层DMVR(即，索引1)或者是否同时使用单层DMVR和MDMVR使用(例如，索引2)。例如，如果使用现有的DMVR，则执行现有的DMVR处理(S710)。如果使用MDMVR，则可以在切片报头或图片报头中用信号发送附加控制信息(S720至S740)。

更具体地，解码装置可以获得与是否使用MDMVR相关的信息(例如，MDMVR启用标志或索引信息)，并且基于该信息确定是使用DMVR还是MDMVR(S700)。与是否使用MDMVR相关的信息可以是指示MDMVR是否被启用的信息，并且可以以更高级别(例如，SPS)语法来用信号发送。

例如，解码装置可以获得与是否使用MDMVR有关的标志信息，如果标志信息的值是0则确定使用DMVR，并且如果标志信息的值是1则确定使用MDMVR。

可替换地，例如，解码装置可以获得与是否使用MDMVR相关的索引信息，并且基于索引信息的值来确定使用DMVR还是MDMVR。例如，如果索引信息的值为0，则可以确定使用DMVR，如果索引信息的值为1，则可以确定使用MDMVR。或者，如上所述，如果索引信息的值为0，则可以确定使用DMVR，如果索引信息的值为1，则可以确定使用单层DMVR，如果索引信息的值为2，则可以确定使用多层DMVR(即，MDMVR)。

如果解码装置基于与是否使用MDMVR有关的信息确定使用DMVR，则解码装置可以执行DMVR(S710)。

如果解码装置基于与是否使用MDMVR有关的信息确定使用MDMVR，则解码装置可以获得附加控制信息(S720)。

附加控制信息可以是较低级别的MDMVR相关控制信息(例如，图片报头、切片报头等)，并且可以指示例如MDMVR相关语法元素是否存在于图片报头语法中。例如，如果附加控制信息的值是0，则可以指示附加控制信息(例如，MDMVR相关的语法元素)不存在于图片报头语法中，并且如果附加控制信息的值是1，则可以指示附加控制信息(例如，MDMVR相关语法元素)存在于图片报头语法中。

如果附加控制信息的值是0，则解码装置可确定图片报头语法中不存在MDMVR相关附加控制信息，并且可获得切片报头中的MDMVR相关信息(S730)。

切片报头中的MDMVR相关信息可以指示切片报头中是否存在MDMVR相关语法元素。例如，如果MDMVR相关信息的值是1，则其可以指示MDMVR相关语法元素存在于切片报头中，然后可以从切片报头用信号发送/解析MDMVR相关语法元素。

如果附加控制信息的值是1，则解码装置可确定MDMVR相关语法元素存在于图片报头语法中，并且从图片报头获得MDMVR相关语法元素(S740)。

然后，解码装置可以基于从图片报头或切片报头用信号发送的MDMVR相关信息来执行MDMVR。

图8示例性地示出了根据本公开另一实施例的MDMVR结构。

在图8的示例中，可以在PPS中或在CU级别用信号发送MDMVR信息。可以在PU级别执行DMVR。这里，当启用MDMVR时，可以从PPS解析附加语法元素以指示控制元素是否存在于PPS中或存在于CU级别。由于几个帧通常涉及一个PPS，因此与在CU中用信号发送元素时相比，从PPS解析控制信息的灵活性可能较低。然而，相反，PPS级别的信令可以减少信令开销。

作为具体示例，参见图8，解码装置可以获得与是否使用MDMVR相关的信息(例如，MDMVR启用标志或索引信息)，并且基于该信息确定是使用DMVR还是使用MDMVR(S800)。与是否使用MDMVR相关的信息可以是指示MDMVR是否被启用的信息，并且可以以更高级别(例如，SPS)语法来用信号发送。

例如，解码装置可以获得与是否使用MDMVR有关的标志信息，如果标志信息的值是0，则确定使用DMVR，并且如果标志信息的值是1，则确定使用MDMVR。

可替代地，例如，解码装置可以获得与是否使用MDMVR相关的索引信息，并且基于索引信息的值来确定使用DMVR还是MDMVR。例如，如果索引信息的值为0，则可以确定使用DMVR，如果索引信息的值为1，则可以确定使用MDMVR。或者，如上所述，如果索引信息的值为0，则可以确定使用DMVR，如果索引信息的值为1，则可以确定使用单层DMVR，如果索引信息的值为2，则可以确定使用多层DMVR(即，MDMVR)。

如果解码装置基于与是否使用MDMVR有关的信息确定使用DMVR，则解码装置可以执行DMVR(S810)。

此时，解码装置可以获得在PU级别用信号发送的DMVR相关信息并且执行DMVR。

如果解码装置基于与是否使用MDMVR有关的信息确定使用MDMVR，则解码装置可以获得附加控制信息(S820)。

附加控制信息可以是较低级别(例如，PPS)的MDMVR相关控制信息，并且例如可以指示MDMVR相关语法元素是否存在于PPS语法中。例如，如果附加控制信息的值是0，则可以指示附加控制信息(例如，MDMVR相关的语法元素)不存在于PPS语法中，并且如果附加控制信息的值是1，则附加控制信息(例如，MDMVR相关的语法元素)存在于PPS语法中。

如果附加控制信息的值是0，则解码装置可以确定PPS语法中不存在MDMVR相关附加控制信息，并且可以在CU中获得MDMVR相关信息(S830)。

CU中的MDMVR相关信息可以指示MDMVR相关语法元素是否存在于CU语法中。例如，如果MDMVR相关信息的值是1，则其可以指示MDMVR相关语法元素存在于CU语法中，然后可以从CU语法用信号发送/解析MDMVR相关语法元素。

如果附加控制信息的值是1，则解码装置可以确定MDMVR相关附加控制信息存在于PPS语法中，并且可以从PPS获得MDMVR相关附加控制信息(例如，MDMVR相关语法元素)(S840)。

然后，解码装置可以基于从PPS或CU用信号发送的MDMVR相关信息来执行MDMVR。

准备以下附图来解释本公开的具体示例。作为示例提供附图中描述的特定设备的名称或特定术语/名称(例如，语法/语法元素的名称等)，因此本公开的技术特征不限于在下图中使用的特定术语/名称。

图9和图10示意性地示出了根据本公开的实施例的视频/图像编码方法和相关组件的示例。

图9中公开的方法可以由图2或图10中公开的编码装置200来执行。这里，图10中公开的编码装置200是图2中公开的编码装置200的简化表示。具体地，图9的步骤S900至S920可以由图100中公开的预测器220来执行，并且图9的步骤S930可以由图10中公开的残差处理器230执行，并且图9的步骤S940可以由图10中公开的熵编码器240来执行。另外，虽然未示出，但是由编码装置200的加法器250执行基于当前块的残差样本和预测样本生成当前块的重构样本和重构图片的处理。对当前块的预测信息进行编码的步骤可以由编码装置200的熵编码器240执行。此外，图9中公开的方法可以被执行，包括本公开中上述的实施例。因此，在图9中，将省略或简化与上述实施例重复的内容的详细描述。

参考图9，编码装置可确定是否使用多层解码器侧运动向量细化(DMVR)(MDMVR)用于当前块(S900)。

这里，如上所述，多层DMVR可以被称为MDMVR，并且可以与多遍DMVR、多级DMVR或多阶段DMVR互换地使用。

即，编码装置可确定是否使用多层(或多遍、多级别、多阶段等)应用DMVR来导出用于当前块的最终细化运动向量。

此时，编码装置可根据上述实施例确定是否使用MDMVR用于当前块。

在一个实施例中，可以基于在几个参数集中用信号发送的信息来确定是否使用MDMVR。例如，可以基于与指示是否使用MDMVR相关的第一标志信息来确定是否使用MDMVR。可以在序列参数集(SPS)中用信号发送第一标志信息。在这种情况下，可以针对整个序列确定是否使用MDMVR，并且通过在序列级别用信号发送附加控制信息，可以在较低级别(例如，PPS(图片参数集)/PH)(图片报头)/SH(切片报头)/CU(编译单元)和/或其他适当的头)确定是否应用MDMVR。作为示例，基于在SPS中用信号发送的第一标志信息(即，基于与正在使用的MDMVR相关的第一标志信息)，例如，如果第一标志信息的值为1，则可以用信号发送与MDMVR的控制相关的第二标志信息。第二标志信息是用于控制是否在低级别使用MDMVR的信息，并且可以是关于与MDMVR相关的语法元素是否存在于PPS、PH、SH、CU或另一适当的头中的信息。

作为具体示例，如参考图7和图8所描述的，基于与是否使用SPS级别的MDMVR相关的第一标志信息(例如，当第一标志信息的值为1时)，可以用信号发送与PPS/PH中的MDMVR控制相关的第二标志信息。此时，如果第二标志信息指示与MDMVR控制相关的语法元素存在于PPS/PH中，则还可以从PPS/PH用信号发送与MDMVR控制相关的语法元素。或者，如果第二标志信息指示与MDMVR控制相关的语法元素不存在于PPS/PH中，则可以在较低级别(例如，CU、SH)用信号发送与MDMVR相关的语法元素。

另外，作为示例，可以通过固定长度编译来二值化如上所述在较高级别(例如，SPS)用信号发送的第一标志信息。另外，如果基于第一标志和/或第二标志在较低级别(例如PPS、PH、SH、CU)用信号发送与MDMVR相关的语法元素，则可以基于上下文编译导出(即，解析)与MDMVR相关的语法元素。例如，与MDMVR相关的语法元素可以包括执行MDMVR所需的详细信息，诸如层数、MDMVR应用的粒度、是否显式地使用提前终止等。此外，当执行与MDMVR相关的语法元素的上下文编译时，虑到块统计的相关方面，可以确定上下文模型的数量和初始化值。

另外，在一个实施例中，当前块可以是包括至少一个预测单元(PU)的编译单元(CU)，并且在这种情况下，可以针对至少一个PU确定MDMVR的层数。例如，MDMVR可以使用两层被应用到当前块中的第一PU，并且MDMVR可以使用三层被应用到当前块中的第二PU。或者，可以针对每个CU确定MDMVR层的数量。在这种情况下，CU中的所有PU可以具有相同数量的层。

另外，在一个实施例中，可以基于运动向量差(MVD)信息来确定是否使用MDMVR。例如，可以首先根据MVD是否超过预定阈值来决定是否使用DMVR。例如，如果MVD超过预定阈值，则可以决定不应用DMVR。此时，可以以1/4像素(pel)、1/2像素(pel)、1像素(pel)、4像素(pel)和/或其他适当的MVD单位为单位来选择阈值。或者，对于特定块大小，如果不满足上述阈值，则可以不应用DMVR。或者，例如，可以基于阈值来确定是否可以将单层或多层应用于DMVR。例如，如果MVD在特定阈值范围内，则可以在16×16级别而不是8×8级别执行DMVR。换句话说，可以基于MVD是否超过预定阈值来确定是否将MDMVR应用于当前块。例如，如果MVD超过预定阈值，则可以确定不应用MDMVR。另外，可以基于MVD信息是否在预定阈值范围内来确定MDMVR的层数。

另外，在一个实施例中，基于在当前块中使用MDMVR(即，当对当前块执行MDMVR时)，可以针对MDMVR的每层确定搜索图案和搜索区域的大小。

例如，每层可以具有相同的搜索图案或不同的搜索图案。另外，例如，搜索图案可以包括正方形、菱形、十字形、矩形和/或其他适当的形状以捕获块的基础运动。此时，可以基于x方向上的运动向量和y方向上的运动向量来确定搜索图案，或者可以基于垂直运动和水平运动来确定搜索图案。例如，如果x方向上的运动向量大于y方向上的运动向量，则矩形搜索图案可能更适合捕获块的基础运动。或者，作为示例，菱形/十字形搜索图案可能更适合具有更多垂直运动的块。

另外，例如，可以基于块大小来确定搜索区域的大小。例如，如果使用大块，则可以使用7×7/8×8或更大的块，或者可以使用其他适当的正方形/菱形搜索图案。或者，作为示例，如果使用小块，则搜索区域可以具有小于5×5的大小。或者，作为示例，可以基于基本运动信息和可用邻近块的运动特性来确定搜索区域的大小。例如，如果块MVD大于预定阈值T，则可以使用7×7搜索区域。

另外，例如，可以基于搜索图案来确定搜索点。例如，如果存在与搜索点的初始相关性，则可以使用较大大小的搜索图案。然后，如果考虑较小大小的搜索图案和较少的搜索点，则可以减小层中的搜索区域。

另外，例如，初始搜索图案的准确度可被设置为基于整数，并且附加层准确度可被设置为1/2像素或1/4像素。

另外，在一个实施例中，可以基于SAD(绝对差之和)或MR-SAD(平均去除-绝对差之和)来导出细化运动向量。换句话说，通过应用MDMVR导出的细化运动向量可以基于SAD或MR-SAD来测量失真，并且可以基于此导出最终的细化运动向量。另外，在导出细化运动向量时，可以使用L0范数或欧几里德范数(L2)。

另外，在一个实施例中，可以基于应用了权重的最小失真成本来导出细化运动向量。这里，可以通过基于特定搜索点的失真优先于其他搜索点的情况应用权重来计算最小失真成本。作为示例，如果初始搜索点必须优先于搜索范围内的其他点，则可以通过应用初始误差/失真度量的权重来计算初始值的最小失真成本。或者，作为示例，可以通过考虑邻近块的可用运动信息来确定权重来计算最小失真成本。

另外，在一个实施例中，基于MDMVR用于当前块的情况，可以通过确定对于MDMVR的每层是否满足终止条件来执行MDMVR。终止条件可以基于初始运动向量与细化运动向量之间的距离、基于样本的差值或基于SAD的差值是否小于阈值，来确定每个层的MDMVR终止。作为示例，如果初始起始MV与迭代期间该点的MV(即细化MV)之间的距离小于阈值T，则可以确定满足终止条件，并且可以终止MDMVR。另外，在确定是否满足终止条件时，可以在MDMVR的层之间进行检查。例如，如果确定在MDMVR的第一层之后满足终止条件，则可以不对剩余层执行MDMVR并且可以提前终止MDMVR。

另外，在一个实施例中，参考样本可以被预取并存储在存储器中，同时等待处理。例如，当预取样本时，可以用参考样本来填充样本。

编码装置可基于MDMVR用于当前块来导出用于当前块的细化运动向量(S910)。

也就是说，可以根据上述实施例确定MDMVR是否用于当前块。此时，如果确定使用MDMVR，则编码装置可将MDMVR应用于当前块以导出细化运动向量。

在一个实施例中，当首先对当前块执行帧间预测时，编码装置可导出当前块的运动信息(运动向量、参考图片索引等)。例如，编码装置可通过运动估计在参考图片的特定区域(搜索区域)内搜索与当前块相似的块，并且可导出其与当前块的差异最小或低于特定标准的参考块。基于此，可以导出指示参考块所在的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差来导出运动向量。

另外，编码装置可在各种预测模式当中确定应用于当前块的帧间预测模式。编码装置可比较各种预测模式的RD成本并确定用于当前块的最佳预测模式。

此后，如上所述，当确定将MDMVR应用到当前块时，编码装置可将MDMVR应用到运动向量以最终导出细化运动向量。

编码装置可以基于细化运动向量导出当前块的预测样本(S920)，并且可基于预测样本导出当前块的残差样本(S930)。

也就是说，编码装置可基于当前块的原始样本和当前块的预测样本来导出残差样本。并且，编码装置可生成关于残差样本的信息。这里，关于残差样本的信息可以包括诸如通过对残差样本执行变换和量化而得到的量化变换系数的值信息、位置信息、变换技术、变换核和量化参数等信息。

编码装置可对图像信息(或视频信息)进行编码(S940)。这里，图像信息可以包括预测相关信息(例如，预测模式信息)。另外，图像信息可以包括残差信息。即，图像信息可以包括从编码处理导出的各种信息，并且可以被编码包括这样的各种信息。

在一个实施例中，编码装置可通过对包括关于残差样本的信息的图像信息进行编码来产生比特流。另外，编码装置可通过对包括预测相关信息(例如，预测模式信息)的图像信息进行编码来生成比特流。

包括如上所述的各种信息的图像信息可以被编码并以比特流的形式输出。比特流可以经由网络或(数字)存储介质被发送到解码装置。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。

图11和图12示意性地示出了根据本公开的实施例的视频/图像解码方法和相关组件的示例。

图11中公开的方法可以由图3或图12中公开的解码装置300来执行。这里，图12中公开的解码装置300是图3中公开的解码装置300的简化表示。具体地，图11的步骤S1100可以由图12中公开的熵解码器310和/或预测器330来执行，并且图11的步骤S1110至S1120可以由图12中公开的预测器330来执行，并且图11的步骤S1130可以由图12中公开的加法器340执行。另外，虽然未示出，但是接收当前块的预测信息和/或残差信息的处理可以由解码装置300的熵解码器310执行。基于残差信息导出当前块的残差样本的处理可以由解码装置300的残差处理器320执行。此外，图11中公开的方法可以被执行，包括本公开中上述的实施例。因此，在图11中，将省略或简化与上述实施例重复的内容的详细描述。

参考图11，解码装置可以确定是否使用多层解码器侧运动向量细化(DMVR)(MDMVR)用于当前块(S1100)。

这里，如上所述，多层DMVR可以被称为MDMVR，并且可以与多遍DMVR、多级DMVR或多阶段DMVR互换地使用。

也就是说，解码装置可以确定是否使用多层(或多遍、多级别、多阶段等)来应用DMVR来导出当前块的最终细化运动向量。

此时，解码装置可根据上述实施例确定是否使用MDMVR用于当前块。

在一个实施例中，可以基于在几个参数集中用信号发送的信息来确定是否使用MDMVR。例如，可以基于与指示是否使用MDMVR相关的第一标志信息来确定是否使用MDMVR。可以在序列参数集(SPS)中用信号发送第一标志信息。在这种情况下，可以针对整个序列确定是否使用MDMVR，并且通过在序列级别用信号发送附加控制信息，可以在较低级别(例如，PPS(图片参数集)/PH图片报头)/SH(切片报头)/CU(编译单元)和/或其他适当的头)确定是否应用MDMVR。作为示例，基于在SPS中用信号发送的第一标志信息(即，基于与正在使用的MDMVR相关的第一标志信息)，例如，如果第一标志信息的值为1，则可以用信号发送与MDMVR的控制相关的第二标志信息。第二标志信息是用于控制是否在低级别使用MDMVR的信息，并且可以是关于与MDMVR相关的语法元素是否存在于PPS、PH、SH、CU或另一适当的头中的信息。

作为具体示例，如参考图7和图8所描述的，基于与是否使用SPS级别的MDMVR相关的第一标志信息(例如，当第一标志信息的值为1时)，可以用信号发送PPS/PH中的与MDMVR控制相关的第二标志信息。此时，如果第二标志信息指示与MDMVR控制相关的语法元素存在于PPS/PH中，则还可以从PPS/PH用信号发送与MDMVR控制相关的语法元素。或者，如果第二标志信息指示与MDMVR控制相关的语法元素不存在于PPS/PH中，则可以在较低级别(例如，CU、SH)用信号发送与MDMVR相关的语法元素。

另外，作为示例，可以通过固定长度编译来二值化如上所述在较高级别(例如，SPS)用信号发送的第一标志信息。另外，如果基于第一标志和/或第二标志在较低级别(例如PPS、PH、SH、CU)用信号发送与MDMVR相关的语法元素，则可以基于上下文编译导出(即，解析)与MDMVR相关的语法元素。例如，与MDMVR相关的语法元素可以包括执行MDMVR所需的详细信息，诸如层数、MDMVR应用的粒度、是否显式地使用提前终止等。此外，当执行与MDMVR相关的语法元素的上下文编译时，考虑到块统计的相关方面，可以确定上下文模型的数量和初始化值。

另外，在一个实施例中，当前块可以是包括至少一个预测单元(PU)的编译单元(CU)，并且在这种情况下，可以针对至少一个PU确定MDMVR的层数。例如，MDMVR可以使用两层被应用到当前块中的第一PU，并且MDMVR可以使用三层被应用到当前块中的第二PU。或者，可以针对每个CU确定MDMVR层的数量。在这种情况下，CU中的所有PU可以具有相同数量的层。

另外，在一个实施例中，可以基于运动向量差(MVD)信息来确定是否使用MDMVR。例如，可以首先根据MVD是否超过预定阈值来决定是否使用DMVR。例如，如果MVD超过预定阈值，则可以决定不应用DMVR。此时，可以以1/4像素(pel)、1/2像素(pel)、1像素(pel)、4像素(pel)和/或其他适当的MVD单位为单位来选择阈值。或者，对于特定块大小，如果不满足上述阈值，则可以不应用DMVR。或者，例如，可以基于阈值来确定是否可以将单层或多层应用于DMVR。例如，如果MVD在特定阈值范围内，则可以在16×16级别而不是8×8级别执行DMVR。换句话说，可以基于MVD是否超过预定阈值来确定是否将MDMVR应用于当前块。例如，如果MVD超过预定阈值，则可以确定不应用MDMVR。另外，可以基于MVD信息是否在预定阈值范围内来确定MDMVR的层数。

另外，在一个实施例中，基于在当前块中使用MDMVR(即，当对当前块执行MDMVR时)，可以针对MDMVR的每层确定搜索图案和搜索区域的大小。

例如，每层可以具有相同的搜索图案或不同的搜索图案。另外，例如，搜索图案可以包括正方形、菱形、十字形、矩形和/或其他适当的形状以捕获块的基础运动。此时，可以基于x方向上的运动向量和y方向上的运动向量来确定搜索图案，或者可以基于垂直运动和水平运动来确定搜索图案。例如，如果x方向上的运动向量大于y方向上的运动向量，则矩形搜索图案可能更适合捕获块的基础运动。或者，作为示例，菱形/十字形搜索图案可能更适合具有更多垂直运动的块。

另外，例如，可以基于块大小来确定搜索区域的大小。例如，如果使用大块，则可以使用7×7/8×8或更大的块，或者可以使用其他适当的正方形/菱形搜索图案。或者，作为示例，如果使用小块，则搜索区域可以具有小于5×5的大小。或者，作为示例，可以基于可用邻近块的基本运动信息和运动特性来确定搜索区域的大小。例如，如果块MVD大于预定阈值T，则可以使用7×7搜索区域。

另外，例如，可以基于搜索图案来确定搜索点。例如，如果存在与搜索点的初始相关性，则可以使用较大大小的搜索图案。然后，如果考虑较小大小的搜索图案和较少的搜索点，则可以减小层中的搜索区域。

另外，例如，初始搜索图案的精度可被设置为基于整数，并且附加层准确度度可被设置为1/2像素或1/4像素。

另外，在一个实施例中，可以基于SAD(绝对差之和)或MR-SAD(平均去除-绝对差之和)来导出细化运动向量。换句话说，通过应用MDMVR导出的细化运动向量可以基于SAD或MR-SAD来测量失真，并且可以基于此导出最终的细化运动向量。另外，在导出细化运动向量时，可以使用L0范数或欧几里德范数(L2)。

另外，在一个实施例中，可以基于应用了权重的最小失真成本来导出细化运动向量。这里，可以通过基于特定搜索点的失真优先于其他搜索点的情况应用权重来计算最小失真成本。作为示例，如果初始搜索点必须优先于搜索范围内的其他点，则可以通过对于初始误差/失真度量应用权重来计算初始值的最小失真成本。或者，作为示例，可以通过考虑邻近块的可用运动信息来确定权重来计算最小失真成本。

另外，在一个实施例中，基于MDMVR用于当前块的情况，可以通过确定对于MDMVR的每层是否满足终止条件来执行MDMVR。终止条件可以基于初始运动向量与细化运动向量之间的距离、基于样本的差值或基于SAD的差值是否小于阈值，来确定每个层的MDMVR终止。作为示例，如果初始起始MV与迭代期间该点的MV(即细化MV)之间的距离小于阈值T，则可以确定满足终止条件，并且可以终止MDMVR。另外，在确定是否满足终止条件时，可以在MDMVR的层之间进行检查。例如，如果确定在MDMVR的第一层之后满足终止条件，则可以不对剩余层执行MDMVR并且可以提前终止MDMVR。

另外，在一个实施例中，参考样本可以被预取并存储在存储器中，同时等待处理。例如，当预取样本时，可以用参考样本来填充样本。

解码装置可以基于MDMVR用于当前块来导出用于当前块的细化运动向量(S1110)。

也就是说，可以根据上述实施例确定MDMVR是否用于当前块。此时，如果确定使用MDMVR，则解码装置可将MDMVR应用于当前块以导出细化运动向量。

在一个实施例中，解码装置可首先从比特流获得包括预测相关信息的图像信息，并基于预测相关信息确定当前块的预测模式。并且，解码装置可基于预测模式导出当前块的运动信息(运动向量、参考图片索引等)。这里，预测模式可以包括跳过模式、合并模式、(A)MVP模式等。

此后，如上所述，当确定将MDMVR应用到当前块时，解码装置可将MDMVR应用到运动向量以最终导出细化运动向量。

解码装置可基于细化运动向量导出当前块的预测样本(S1120)，并基于预测样本生成当前块的重构样本(S1130)。

在一个实施例中，解码装置可以根据预测模式直接使用预测样本作为重构样本，或者可以通过将残差样本添加到预测样本来生成重构样本。

如果当前块的残差样本存在，则解码装置可以接收关于当前块的残差的信息。关于残差的信息可以包括关于残差样本的变换系数。解码装置可基于残差信息导出当前块的残差样本(或残差样本阵列)。具体地，解码装置可基于残差信息导出量化的变换系数。量化的变换系数可以具有基于系数扫描顺序的一维向量形式。解码装置可基于对量化的变换系数的反量化处理来导出变换系数。解码装置可基于变换系数导出残差样本。

解码装置可以基于预测样本和残差样本来生成重构样本，并且可以基于重构样本来导出重构块或重构图片。具体地，解码装置可基于预测样本与残差样本之间的和来生成重构样本。此后，如上所述，如果需要的话，解码装置可以将诸如去块滤波和/或SAO过程的环路滤波过程应用于重构图片，以便提高主观/客观图片质量。

在上述实施例中，基于具有一系列步骤或框的流程图描述了方法。本发明实施例不限制上述步骤或框的顺序。一些步骤或框可以同时发生或者以与如上所述的其他步骤或框不同的顺序发生。此外，本领域技术人员将理解，上述流程图中示出的步骤不是排他性的，可以包括其他步骤，或者可以删除流程图中的一个或多个步骤，而不影响本公开的范围。

根据本公开的实施例的上述方法可以以软件的形式实现，并且根据本公开的编码装置和/或解码装置可以被包括在执行图像处理的设备中，例如电视、电脑、智能手机、机顶盒、显示设备。

当本公开中的实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块(处理、功能等)。该模块可以存储在存储器中并由处理器执行。存储器可以在处理器内部或外部，并且可以以各种公知的方式与处理器耦合。处理器可以包括专用集成电路(ASIC)、其他芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其他存储设备。也就是说，本公开中描述的实施例可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每幅图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，用于实施方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。

另外，应用本公开的实施例的解码装置和编码装置可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字电影视频设备、监控摄像机、视频聊天设备、诸如视频通信之类的实时通信设备、移动流装置、存储介质、摄像机、VOD服务提供装置、顶部(OTT)视频设备、互联网流媒体服务提供装置、三维(3D)视频装置、虚拟现实(VR)装置、增强现实(AR)装置、电话会议视频装置、交通用户设备(例如，车辆(包括自动驾驶车辆)用户设备、飞机用户设备、船舶用户设备等)和医疗视频装置，并且可以用于处理视频信号和数据信号。例如，顶部(OTT)视频设备可以包括游戏控制台、蓝光播放器、互联网接入电视、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。

此外，应用本公开的实施例的处理方法可以以将由计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。具有根据本公开实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机系统可读的数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学数据存储设备。此外，计算机可读记录介质包括以载波形式(例如，通过互联网传输)实现的介质。另外，通过编码方法生成的比特流可以存储在计算机可读记录介质中或者可以通过有线/无线通信网络发送。

另外，本公开的实施例可以根据程序代码用计算机程序产品来实现，并且程序代码可以由本公开的实施例在计算机中执行。程序代码可以存储在计算机可读的载体上。

图13示出了可以应用本公开中公开的实施例的内容流传输系统的示例。

参考图13，应用本文档的实施例的内容流系统可以基本上包括编码服务器、流服务器、网络服务器、媒体存储器、用户设备和多媒体输入设备。

编码服务器将从诸如智能电话、相机、便携式摄像机等的多媒体输入装置输入的内容压缩为数字数据，以生成比特流，并且将该比特流发送至流传输服务器。作为另一示例，在诸如智能电话、相机、便携式摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。

可以通过本公开的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可以在发送或接收比特流的过程中暂时存储比特流。

流传输服务器基于用户的请求通过网络服务器向用户装置发送多媒体数据，并且网络服务器充当向用户通知服务的介质。当用户从网络服务器请求想要的服务时，网络服务器将请求递送至流传输服务器，并且流传输服务器将多媒体数据发送至用户。在这种情况中，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用来控制内容流系统中的各个装置之间的命令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，在从编码服务器接收内容时，可以实时地接收内容。在这种情况下，为了提供流畅的流传输服务，流传输服务器可以将比特流存储预定时间。

用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超薄本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。

可以将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分发从每个服务器接收的数据。

本公开中描述的权利要求可以以各种方式组合。例如，本公开的方法权利要求中的技术特征可以组合以实现为设备，并且本公开的设备权利要求中的技术特征可以组合以实现为方法。另外，本公开的方法权利要求中的技术特征和设备权利要求中的技术特征可以组合以实现为设备，并且本公开的方法权利要求中的技术特征和设备权利要求中的技术特征可以组合以实现为方法。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述方法包括：

确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块；

基于所述MDMVR被用于所述当前块，导出用于所述当前块的细化运动向量；

基于所述细化运动向量导出用于所述当前块的预测样本；以及

基于所述预测样本生成用于所述当前块的重构样本。

2.根据权利要求1所述的图像解码方法，其中，基于与是否使用所述MDMVR相关的第一标志信息来确定是否使用所述MDMVR，并且

其中，在SPS(序列参数集)中用信号发送所述第一标志信息。

3.根据权利要求2所述的图像解码方法，其中，基于与所述MDMVR的使用相关的所述第一标志信息来用信号发送与所述MDMVR的控制相关的第二标志信息，并且

其中，所述第二标志信息是关于与所述MDMVR相关的语法元素是否存在于图片参数集(PPS)、图片报头(PH)、切片报头(SH)或编译单元(CU)中的信息。

4.根据权利要求2所述的图像解码方法，其中，通过固定长度编译对所述第一标志信息进行二值化。

5.根据权利要求3所述的图像解码方法，其中，基于所述第二标志信息，在所述PPS、所述PH、所述SH或所述CU中用信号发送与所述MDMVR相关的所述语法元素，并且

其中，与所述MDMVR相关的所述语法元素是基于上下文编译导出的。

6.根据权利要求1所述的图像解码方法，其中，所述当前块包括至少一个预测单元(PU)，并且

其中，针对所述至少一个PU确定所述MDMVR的层数。

7.根据权利要求1所述的图像解码方法，其中，基于运动向量差(MVD)信息来确定是否使用所述MDMVR，并且

其中，基于所述MVD信息是否超过预定阈值来确定是否将所述MDMVR应用于所述当前块。

8.根据权利要求7所述的图像解码方法，其中，基于所述MVD信息是否在预定阈值范围内来确定所述MDMVR的层数。

9.根据权利要求1所述的图像解码方法，其中，基于所述MDMVR被用于所述当前块，为所述MDMVR的每层确定搜索图案和搜索区域的大小，

其中，所述搜索图案是基于x方向上的运动向量和y方向上的运动向量确定的，或者是基于垂直运动和水平运动确定的，并且

其中，所述搜索区域的大小是基于块大小确定的。

10.根据权利要求1所述的图像解码方法，其中，基于绝对差之和(SAD)或平均移除-绝对差之和(MR-SAD)导出所述细化运动向量。

11.根据权利要求1所述的图像解码方法，其中，基于应用了权重的最小失真成本来导出所述细化运动向量，并且

其中，基于特定搜索点的失真优先的情况，通过应用所述权重来计算所述最小失真成本。

12.根据权利要求1所述的图像解码方法，其中，基于所述MDMVR被用于所述当前块，确定对于所述MDMVR的每层是否满足终止条件，并且

其中，所述终止条件基于在初始运动向量和细化运动向量之间的距离、基于样本的差值或基于SAD的差值是否小于阈值来确定针对每层的所述MDMVR终止。

13.一种由编码装置执行的图像编码方法，所述方法包括：

确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块；

基于所述MDMVR被用于所述当前块，导出用于所述当前块的细化运动向量；

基于所述细化运动向量导出用于所述当前块的预测样本；

基于所述预测样本导出残差样本；以及

通过对包括关于所述残差样本的信息的图像信息进行编码来生成比特流。

14.一种计算机可读数字存储介质，其存储由权利要求13所述的图像编码方法生成的比特流。

15.一种包括图像信息的比特流的数据的传输方法，所述传输方法包括：

获得所述图像信息的所述比特流，其中，所述比特流是基于以下而生成的：确定是否多层解码器侧运动向量细化(MDMVR)被用于当前块，基于所述MDMVR被用于所述当前块导出用于所述当前块的细化运动向量，基于所述细化运动向量导出用于所述当前块的预测样本，基于所述预测样本导出残差样本，对包括关于所述残差样本的信息的图像信息进行编码；以及

传输包括所述比特流的所述数据。