CN114342405A - 图像解码方法和用于该图像解码方法的装置 - Google Patents

图像解码方法和用于该图像解码方法的装置 Download PDF

Info

Publication number
CN114342405A
CN114342405A CN202080059838.1A CN202080059838A CN114342405A CN 114342405 A CN114342405 A CN 114342405A CN 202080059838 A CN202080059838 A CN 202080059838A CN 114342405 A CN114342405 A CN 114342405A
Authority
CN
China
Prior art keywords
block
candidate
information
weight index
index information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080059838.1A
Other languages
English (en)
Inventor
朴婡利
南廷学
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114342405A publication Critical patent/CN114342405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文献的公开内容，可以推导当前块的子块合并候选的权重索引信息并且可以提高编码效率。

Description

图像解码方法和用于该图像解码方法的装置
技术领域
本公开涉及图像解码方法和用于该图像解码方法的设备。
背景技术
最近，在各种领域中对诸如4K或8K超高清(UHD)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
发明内容
技术问题
本公开提供了用于提高图像编码效率的方法和设备。
本公开还提供了用于推导针对帧间预测中的双向预测的权重索引信息的方法和设备。
本公开还提供了用于推导仿射合并候选的权重索引信息的方法和设备。
技术方案
在本文献的一方面，提供了一种由解码设备执行的图像解码方法。所述方法包括以下步骤：通过比特流获得包括帧间预测模式信息和残差信息的图像信息；基于所述残差信息来生成残差样本；基于所述帧间预测模式信息来生成当前块的合并候选列表；从所述合并候选列表中所包括的候选当中选择一个候选；基于所选择的所述候选来生成所述当前块的L0预测样本和L1预测样本；通过基于所选择的所述候选的权重索引信息对所述L0预测样本和所述L1预测样本求加权平均来生成预测样本；以及基于所述预测样本和所述残差样本来生成重构样本。所述候选包括仿射合并候选。所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导。所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导。所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导。当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来推导所述仿射合并候选的权重索引信息。
在本公开的另一方面，提供了一种由编码设备执行的图像编码方法。所述图像编码方法包括以下步骤：确定当前块的帧间预测模式，并生成指示所述帧间预测模式的帧间预测模式信息；基于所述帧间预测模式来生成所述当前块的合并候选列表；生成指示所述合并候选列表中所包括的候选当中的一个候选的选择信息；基于所述当前块的残差样本来生成残差信息；以及对包括所述帧间预测模式信息、所述选择信息和所述残差信息的图像信息进行编码。所述候选包括仿射合并候选。所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导。所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导。所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导。当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来指示所述仿射合并候选的权重索引信息。
在本公开的又一方面，提供了一种存储致使图像解码设备实现图像解码方法的编码信息的计算机可读存储介质。所述图像解码方法包括以下步骤：通过比特流获得包括帧间预测模式信息和残差信息的图像信息；基于所述残差信息来生成残差样本；基于所述帧间预测模式信息来生成当前块的合并候选列表；从所述合并候选列表中所包括的候选当中选择一个候选；基于所选择的所述候选来生成所述当前块的L0预测样本和L1预测样本；通过基于所选择的所述候选的权重索引信息对所述L0预测样本和所述L1预测样本求加权平均来生成预测样本；以及基于所述预测样本和所述残差样本来生成重构样本。所述候选包括仿射合并候选。所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导。所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导。所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导。当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来推导所述仿射合并候选的权重索引信息。
技术效果
根据本公开，可以提高整体图像/视频压缩效率。
根据本公开，可以在帧间预测期间高效地构造运动矢量候选。
根据本公开，可以高效地执行基于权重的双向预测。
附图说明
图1是示意性例示了可以应用本公开的实施方式的视频/图像编码系统的示例的示图。
图2是示意性例示了可以应用本公开的实施方式的视频/图像编码设备的配置的示图。
图3是示意性例示了可以应用本公开的实施方式的视频/图像解码设备的配置的示图。
图4是例示了基于帧间预测的视频/图像编码方法的示例的示图。
图5是示意性例示了编码设备中的帧间预测器的示图。
图6是例示了基于帧间预测的视频/图像解码方法的示例的示图。
图7是示意性例示了解码设备中的帧间预测器的示图。
图8是用于说明帧间预测中的合并模式的示图。
图9a和图9b是例示了用于仿射运动预测的CPMV的示例的示图。
图10是示例性例示了其中以子块为单位确定仿射MVF的情况的示图。
图11是用于说明帧间预测中的仿射合并模式的示图。
图12是用于说明仿射合并模式下候选的位置的示图。
图13是用于说明帧间预测中的基于子块的时间运动矢量预测(SbTMVP)的示图。
图14是例示了用于构造的仿射合并候选的控制点的示图。
图15和图16是示意性例示了根据本公开的实施方式的视频/图像编码方法和相关部件的示例的示图。
图17和图18是示意性例示了根据本公开的实施方式的图像/视频解码方法和相关部件的示例的示图。
图19是例示了可以应用本公开中公开的实施方式的内容流传输系统的示例的示图。
具体实施方式
本文献的公开内容可以按各种形式进行修改，并且将在附图中描述和例示其具体实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语用于仅仅描述特定的实施方式，而不旨在限制本文献的实施方式。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在本文献中使用的特征、数字、步骤、操作、元件、部件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、部件或其组合的可能性。
另外，在本文献中描述的附图的每个配置是用于说明作为彼此不同的特征的功能的独立图示，并不意味着每个配置由相互不同的硬件或不同的软件来实现。例如，两个或更多个配置可以被组合以形成一个配置，并且一个配置也可以划分为多个配置。组合和/或分离配置的实施方式被包括在本文献的公开内容的范围中。
本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可以涉及通用视频编码(VVC)标准。另外，本文献中公开的方法/实施方式可以涉及基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)。
本文献提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
下文中，将参考附图来描述本文献的实施方式。下文中，在附图中相同的附图标记可以用于相同的部件，并且可以省略对相同部件的重复描述。
图1例示了可以应用本公开的实施方式的视频/图像编码系统的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据发送到接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于在通用视频编码(VVC)标准、基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。
本文献提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
在本文献中，视频可以是指随时间推移的一系列图像。图片通常是指在特定时间帧表示一个图像的单元，并且切片/图块是指从编码的角度看构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。
图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的CTU的矩形区域。图块扫描是分割图片的CTU的特定顺序排序，其中CTU在图块中按CTU光栅扫描连续排序，而图片中的图块按图片的图块的光栅扫描连续排序。切片可以包括可以被包含在一个NAL单元中的图片的多个完整图块或一个图块中的多个连续的CTU行。在本文献中，图块组与切片可以被可互换地使用。例如，在本文献中，图块组/图块组头可以被称为切片/切片头。
此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本数组)或变换系数的集合(或数组)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
在本文献中，术语“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说，本文献中的“A或B”可以被解释为“A和/或B”。例如，“或”应该被解释为指示“和/或”。例如，在本文献中，“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
在本文献中，术语“/”和“、”可以意指“和/或”。例如，表述“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如，“A、B、C”可以意指“A、B或C”。
在本文献中，“A和B中的至少一者”可以意指“仅A”、“仅B”或“A和B二者”。另外，在本文献中，表述“A或B中的至少一者”或“A和/或B中的至少一者”可以被解释为与“A和B中的至少一者”相同。
另外，在本文献中，“A、B和C中的至少一者”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，“A、B或C中的至少一者”或“A、B和/或C中的至少一者”可以意指“A、B和C中的至少一者”。
另外，在本文献中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示“帧内预测”被提议为“预测”的示例。换句话说，本文献中的术语“预测”不限于“帧内预测”，并且可以指示“帧内预测”被提议为“预测”的示例。另外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示“帧内预测”被提议为“预测”的示例。
在本文献中，在一个附图中被分别说明的技术特征可以分别实现，或者可以同时实现。
图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中，所谓的编码设备可以包括图像编码设备和/或视频编码设备。另外，所谓的图像编码方法/设备可以包括视频编码方法/设备。或者，所谓的视频编码方法/设备可以包括图像编码方法/设备。
参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(DPB)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
编码设备200可以从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)以生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所例示的，编码器200中的用于从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并生成包括当前块的预测样本的预测块。预测器可以确定以当前块或CU为单位应用帧内预测还是帧间预测。预测器可以生成诸如预测模式信息这样的关于预测的各种信息，并将所生成的信息发送到熵编码器240，如下面在描述每种预测模式时描述的。关于预测的信息可以被熵编码器240编码并以比特流的形式输出。
帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可用作运动矢量预测器，并且可通过用信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于以下将描述的各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来发信号通知图片中的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者可以用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loeve变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT是指当按曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小与正方形相同的像素的块，或者可以应用于大小可变而非正方形的块。
量化器233对变换系数进行量化并且将其发送到熵编码器240，并且熵编码器240对量化后的信号(关于量化变换系数的信息)进行编码并将编码后的信号作为比特流输出。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块形式的量化变换系数重新布置成一维矢量形式，并可以基于一维矢量形式的量化变换系数来生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponentialGolomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)这样的各种编码方法。熵编码器240可以将对除量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)一起或单独地进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文献中，从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送，或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD这样的各种存储介质。用于发送或存储从熵编码器240输出的信号的发送单元(未示出)和/或存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元可以被包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如，可以通过利用反量化器234和逆变换单元235对量化变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250可以将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本数组)。当没有处理目标块的残差时，诸如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为恢复单元或恢复块生成器。所生成的重构信号可以用于当前图片中的下一处理目标块的帧内预测，并可以在如下所述的滤波之后用于下一图片的帧间预测。
此外，可以在图片编码和/或重构处理期间应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息，并将所生成的信息传送到熵编码器240，如随后描述每种滤波方法时描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式被输出。
发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
存储器270的DPB可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
此外，在本文献中，量化/反量化和/或变换/逆变换中的至少一个可以被省略。当量化/反量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，仍可以被称为变换系数。
另外，在本文献中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编码语法发信号通知。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文献的其他部分中应用/表达。
图3是示意性说明了可以应用本文献的公开内容的视频/图像解码设备的配置的示图。
参照图3，解码设备300可以包括并配置有熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧内预测器331和帧间预测器332。残差处理器320可以包括反量化器321和逆变换器322。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)，并可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2中例示的编码设备中处理视频/图像信息的处理而重构图像。例如，解码设备300可以基于与从比特流获取的块分割相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此，用于解码的处理单元例如可以是编码单元，并且可以从编码树单元或最大编码单元根据四叉树结构、二叉树结构和/或三叉树结构分割出编码单元。可以从编码单元推导一个或更多个变换单元。另外，可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导出图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文献中描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获得。例如，熵解码器310基于诸如指数哥伦布编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)这样的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素和针对残差的变换系数的量化值。更具体地，CABAC熵解码方法可以在比特流中接收与每个语法元素对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以通过在确定上下文模型之后，使用针对下一个符号/bin的上下文模型的解码符号/bin的信息来更新上下文模型。由熵解码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且关于在熵解码器310中被执行了熵解码的残差值(即，量化变换系数和相关的参数信息)可以输入到残差处理器320。
反量化器321可将量化后的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器330可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(SCC)。IBC可以基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的附近，或者其位置可以与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定将应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(L0预测、L1预测、Bi预测等)的信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果没有处理目标块的残差(诸如，应用跳过模式的情况)，则预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
此外，带有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器332，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与滤波器350、帧间预测器332和帧内预测器331相等或对应地应用。
此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。据此，可以生成包括用于作为待编码块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。在编码设备和解码设备中以相同的方式推导预测块，并且编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值发信号通知给解码设备，由此提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，将残差块和预测块相加以生成包括重构样本的重构块，并生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本数组)执行变换过程以推导变换系数，对变换系数执行量化过程以推导量化变换系数，并(通过比特流)向解码设备发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行反量化/逆变换过程，并推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外，为了供后面的图片的帧间预测参考，编码设备还可以对量化变换系数进行反量化/逆变换，以推导残差块并基于此来生成重构图片。
图4是例示了基于帧间预测的视频/图像编码方法的示例的示图，并且图5是示意性例示了编码设备中的帧间预测器的示例的示图。图5的编码设备中的帧间预测器可以与上述图2的编码设备200的帧间预测器221相同或对应。
参照图4和图5，在操作S400中，编码设备可以对当前块执行帧间预测。编码设备可以推导当前块的帧间预测模式和关于当前块的运动信息，并可以生成当前块的预测样本。这里，用于确定帧间预测模式、推导运动信息并生成预测样本的过程可以被同时执行，或者可以在执行过程之一之后执行其它过程。
例如，编码设备的帧间预测器221可以包括预测模式确定器221_1、运动信息推导器221_2和预测样本推导器221_3。预测模式确定器221_1可以确定当前块的预测模式，运动信息推导器221_2可以推导关于当前块的运动信息，并且预测样本推导器221_3可以推导当前块的预测样本。例如，编码设备的帧间预测器221可以通过运动估计在参考图片的预定区域(搜索区域)内搜索与当前块相近的块，并可以推导出与当前块的差异等于或小于最小值或预定标准的参考块。在这样做时，可以推导出指示参考块所处的参考图片的参考图片索引，并且可以基于参考块位置与当前块位置之间的差异来推导运动矢量。编码设备可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的RD成本进行比较，并确定当前块的最佳预测模式。
例如，当向当前块应用跳过模式或合并模式时，编码设备可以配置合并候选列表，并可以推导出合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异为最小值或预定标准或更小的参考块。在这种情况下，可以选择与推导出的参考块关联的合并候选，并且可以生成并向解码设备发信号通知指示所选择的合并候选的合并索引信息。可以使用关于所选择的合并候选的运动信息来推导关于当前块的运动信息。
在另一示例中，当向当前块应用(A)MVP模式时，编码设备可以配置(A)MVP候选列表，并可以使用从(A)MVP候选列表中所包括的运动矢量预测子(mvp)候选当中作为当前块的mvp来选择的mvp候选的运动矢量。在这种情况下，例如，指示通过上述运动估计推导出的参考块的运动矢量可以被用作当前块的运动矢量，并且在mvp候选当中具有与当前块的运动矢量的差异最小的运动矢量的mvp候选可以是所选择的mvp候选。可以推导出作为通过从当前块的运动矢量中减去mvp而获得的差值的运动矢量差(MVD)。在这种情况下，MVD相关信息可以被发信号通知给解码设备。另外，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且被单独发信号通知给解码设备。
在操作S410中，编码设备可以基于预测样本来推导残差样本。编码设备可以通过比较当前块的原始样本与预测样本来推导残差样本。
在操作S420中，编码设备可以对包括预测信息和残差信息的图像信息进行编码。编码设备可以以比特流的形式输出编码后的图像信息。预测信息是预测过程相关信息，并可以包括预测模式信息(例如，跳过标志、合并标志、模式索引等)和关于运动信息的信息。关于运动信息的信息可以包括作为推导运动矢量的信息的候选选择信息(例如，合并索引)。另外，关于运动信息的信息可以包括指示是应用L0预测、L1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被传输到解码设备，或者可以通过网络被传输到解码设备。
另外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是因为，编码设备可以推导出与解码设备推导出的预测结果相同的预测结果，并且在这样做时，可以提高编码效率。因此，编码设备可以将重构图片(或重构样本、重构块)存储在存储器中，并使用重构图片作为用于帧间预测的参考图片。如上所述，还可以向重构图片应用环路内滤波过程。
图6是例示了基于帧间预测的视频/图像解码方法的示例的示图，并且图7是示意性例示了解码设备中的帧间预测器的示例的示图。图7的解码设备中的帧间预测器可以与上述图3的解码设备300的帧间预测器332相同或对应。
参照图6和图7，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行预测，并推导出预测样本。
具体地，在操作S600中，解码设备可以基于接收到的预测信息来确定当前块的预测模式。解码设备可以基于预测信息中所包括的预测模式信息来确定将向当前块应用哪种帧间预测模式。
帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括各种帧间预测模式。
在操作S610中，解码设备可以基于所确定的帧间预测模式来推导关于当前块的运动信息。例如，当将向当前块应用跳过模式或合并模式时，解码设备可以配置合并候选列表，并从合并候选列表中所包括的合并候选当中选择一个合并候选。这里，可以基于上述选择信息(合并索引)来执行选择。可以使用关于所选择的合并候选的运动信息来推导关于当前块的运动信息。关于所选择的合并候选的运动信息可以被用作关于当前块的运动信息。
在另一示例中，当将向当前块应用(A)MVP模式时，解码设备可以构造(A)MVP候选列表，并可以使用从(A)MVP候选列表中所包括的运动矢量预测子(mvp)候选当中作为当前块的mvp来选择的mvp候选的运动矢量。这里，可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于MVD相关信息来推导当前块的MVD，并且可以基于当前块的mvp和MVD来推导当前块的运动矢量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将由当前块的参考图片列表中的参考图片索引指示的图片推导为当前块的帧间预测将参照的参考图片。
此外，可以在没有配置候选列表的情况下推导关于当前块的运动信息，并且在这种情况下，可以根据预测模式中公开的过程来推导关于当前块的运动信息。在这种情况下，可以省略如上所述的候选列表配置。
在操作S620中，解码设备可以基于关于当前块的运动信息来生成当前块的预测样本。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以使用由参考图片上的当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。这里，在某些情况下，还可以执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。
例如，解码设备的帧间预测器332可以包括预测模式确定器332_1、运动信息推导器332_2和预测样本推导器332_3。预测模式确定器332_1可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导器332_2可以基于关于接收到的运动信息的信息来推导关于当前块的运动信息(运动矢量和/或参考图片索引等)，并且预测样本推导单元332_3可以推导出当前块的预测样本。
在操作S630中，解码设备可以基于接收到的残差信息来生成当前块的残差样本。在操作S640中，解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并基于当前块的重构样本来生成重构图片。如上所述，此后还可以向重构图片应用环路内滤波过程。
如上所述，帧间预测过程可以包括确定帧间预测模式、根据所确定的预测模式来推导运动信息以及基于推导出的运动信息来执行预测(生成预测样本)。帧间预测过程可以在如上所述的编码设备和解码设备中执行。
此外，在推导关于当前块的运动信息时，可以基于空间邻近块和时间邻近块来推导运动信息候选，并且可以基于推导出的运动信息候选来选择当前块的运动信息候选。在这种情况下，所选择的运动信息候选可以被用作关于当前块的运动信息。
图8是用于说明帧间预测中的合并模式的示图。
当应用合并模式时，不直接发送关于当前预测块的运动信息，而使用关于邻近预测块的运动信息来推导关于当前预测块的运动信息。因此，可以通过发送指示使用合并模式的标志信息和指示使用附近哪个预测块的合并索引来指示关于当前预测块的运动信息。合并模式可以被称为常规合并模式。例如，当regular_merge_flag语法元素的值为1时，可以应用合并模式。
为了执行合并模式，编码设备需要搜索用于推导关于当前预测块的运动信息的合并候选块。例如，可以使用多达五个合并候选块，但本公开的实施方式不限于此。另外，可以在切片头或图块组头中发送最大数目的合并候选块，但本公开的实施方式不限于此。在找到合并候选块之后，编码设备可以生成合并候选列表，并可以在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开可以提供构成合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。在特定示例中，图8中示出的块可以被用作空间合并候选。下文中，随后将描述的空间合并候选或空间MVP候选可以被称为SMVP，并且随后将描述的时间合并候选或时间MVP候选可以被称为TMVP。
例如，可以基于以下过程来配置当前块的合并候选列表。
编码设备(编码设备/解码设备)可以将通过搜索当前块的空间邻近块而推导出的空间合并候选插入到合并候选列表中。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。然而，这仅仅是示例，并且除了上述的空间邻近块之外，诸如右邻近块、下邻近块和右下邻近块这样的其它邻近块也可以进一步被用作空间邻近块。编码设备可以通过基于优先级的基础搜索空间邻近块来检测可用块，并可以将关于检测到的块的运动信息推导为空间合并候选。例如，编码设备或解码设备可以以A1→B1→B0→A0→B2的顺序搜索图8中示出的五个块，并顺序地对可用候选编索引以配置合并候选列表。
编码设备可以搜索当前块的时间邻近块，并且将推导出的时间合并候选插入到合并候选列表中。时间邻近块可以处于作为与当前块所处的当前图片不同的图片的参考图片处。时间邻近块所处的参考图片可以被称为共位图片或并置图片。可以在并置图片上按当前块的共位块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，当应用运动数据压缩时，特定运动信息可以作为代表性运动信息存储在并置图片中的每个预定存储单元中。在这种情况下，不需要将关于所有块的运动信息存储在预定存储单元中，据此，可以获得运动数据压缩效果。在这种情况下，预定存储单元可以被预定为例如16×16个样本的单元或8×8个样本的单元，或者可以将关于预定存储单元的大小信息从编码设备发信号通知给解码设备。当应用运动数据压缩时，关于时间邻近块的运动信息可以替换为时间邻近块所处的预定存储单元上的代表性运动信息。即，在这种情况下，从实现方式的角度看，作为处于时间邻近块的坐标处的预测块的替代，可以基于覆盖在基于时间邻近块的坐标(左上样本位置)算术右移达一定值之后的算术左移位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n×2n样本的单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则关于处于校正后位置((xTnb>>n)<<n),(yTnb>>n)<<n))处的预测块的运动信息可以被用于时间合并候选。具体地，当预定存储单元是16×16样本的单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则关于处于校正后位置((xTnb>>4)<<4),(yTnb>>4)<<4))处的预测块的运动信息可以被用于时间合并候选。另选地，当预定存储单元是8×8样本的单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则关于处于校正后位置(xTnb>>3)<<3),(yTnb>>3)<<3))处的预测块的运动信息可以被用于时间合并候选。
编码设备可以检查当前合并候选的数目是否小于最大合并候选数目。最大合并候选数目可以是预先定义的，或者被从编码设备发信号通知给解码设备。例如，编码设备可以生成关于最大合并候选数目的信息并对其进行编码，并将信息以比特流的形式发送到解码器。当最大合并候选数目已满时，可以不进行后续的候选添加过程。
作为检查的结果，当当前合并候选数目小于最大合并候选数目时，编码设备可以将附加的合并候选插入合并候选列表中。例如，附加合并候选可以包括随后将描述的基于历史的合并候选、成对平均合并候选、ATMVP、组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型B时)和/或零矢量合并候选中的至少一个。
作为检查的结果，当当前合并候选数目不小于最大合并候选数目时，编码设备可以终止合并候选列表的构造。在这种情况下，编码设备可以基于速率失真(RD)成本从构成合并候选列表的合并候选当中选择最优合并候选，并将指示所选择的合并候选的选择信息(例如，合并索引)发信号通知给解码设备。解码设备可以基于合并候选列表和选择信息来选择最优合并候选。
如上所述，关于所选择的合并候选的运动信息可以被用作关于当前块的运动信息，并且可以基于关于当前块的运动信息来推导当前块的预测样本。编码设备可以基于预测样本来推导当前块的残差样本，并可以将关于残差样本的残差信息发信号通知给解码设备。如上所述，解码设备可以基于以残差信息和预测样本为基础推导出的残差样本来生成重构样本，并可以基于此来生成重构图片。
当应用跳过模式时，可以按与应用合并模式时相同的方式来推导关于当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残留信号，因此，预测样本可以被直接用作重构样本。例如，当cu_skip_flag语法元素的值为1时，可以应用跳过模式。
此外，成对平均合并候选可以被称为成对平均候选或成对候选。可以通过对现有合并候选列表中预定义的候选对求平均来生成成对平均候选。另外，预定义对可以被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}。这里，数字可以指示合并候选列表的合并索引。可以针对每个参考列表分别计算平均的运动矢量。例如，当在一个列表中两个运动矢量可用时，即使这两个运动矢量指向不同的参考图片，也可以对它们求平均。例如，当只有一个运动矢量可用时，可以直接使用一个运动矢量。例如，当不存在可用的运动矢量时，列表可以保持无效。
例如，当即使在添加了成对平均合并候选之后合并候选列表也未满时，即，当合并候选列表中的当前合并候选数目小于最大合并候选数目时，可以最后插入零矢量(零MVP)，直到出现最大合并候选数目。即，可以插入零矢量，直到合并候选列表中当前合并候选的数目变为最大合并候选数目。
此外，常规地，可以只使用一个运动矢量来表示编码块的运动。即，可以使用平移运动模型。然而，尽管该方法可以表示以块为单位的最优运动，但它实际上不是每个样本的最优运动，并且如果可以以样本为单位确定最优运动矢量，则可以提高编码效率。为此目的，可以使用仿射运动模型。用于使用仿射运动模型的编码的仿射运动预测方法可以如下。
仿射运动预测方法可以使用两个、三个或四个运动矢量来表示以块的每个样本为单位的运动矢量。例如，仿射运动模型可以表示四种类型的运动。表示仿射运动模型可以表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似(或简化的)仿射运动模型。然而，仿射运动模型不限于上述运动模型。
图9a和图9b是例示了用于仿射运动预测的CPMV的示例的示图。
在仿射运动预测中，可以使用两个或更多个控制点运动矢量(CPMV)来确定块中的样本位置的运动矢量。在这种情况下，运动矢量的集合可以被称为仿射运动矢量场(MVF)。
例如，图9a可以示出可以被称为4参数仿射模型的使用两个CPMV的情况。在这种情况下，例如，可以如式1中地确定样本位置(x,y)处的运动矢量。
[式1]
Figure BDA0003516983650000221
例如，图9b可以例示可以被称为6参数仿射模型的使用三个CPMV的情况。在这种情况下，例如，可以如式2中地确定样本位置(x,y)处的运动矢量。
[式2]
Figure BDA0003516983650000222
在式1和式2中，{vx,vy}可以表示位置(x,y)处的运动矢量。另外，{v0x,v0y}可以指示在编码块的左上角位置处的控制点(CP)的CPMV，并且{v1x,v1y}可以指示在右上角位置处的CP的CPMV，{v2x,v2y}可以指示左下角位置处的CP的CPMV。另外，W可以指示当前块的宽度，并且H可以指示当前块的高度。
图10是示例性例示了其中以子块为单位确定仿射MVF的情况的示图。
在编码/解码处理中，仿射MVF可以以样本为单位或以预定义的子块为单位来确定。例如，当以样本为单位确定仿射MVF时，可以基于每个样本值来获得运动矢量。另选地，例如，当以子块为单位确定仿射MVF时，可以基于子块的中心样本(其是中心的右下侧，即，四个中心样本当中的右下样本)的样本值来获得对应块的运动矢量。即，可以以样本或子块为单位推导出仿射运动估计中当前块的运动矢量。
在图10的情况下，仿射MVF以4×4子块为单位确定的，但子块的大小可以被不同地修改。
即，当仿射预测可用时，适用于当前块的三个运动模型可以包括平移运动模型、4参数仿射运动模型和6参数仿射运动模型。这里，平移运动模型可以表示其中使用现有块单元运动矢量的模型，4参数仿射运动模型可以表示其中使用两个CPMV的模型，并且6参数仿射运动模型可以表示其中使用三个CPMV的模型。
此外，仿射运动预测可以包括仿射MVP(或仿射帧间)模式或仿射合并模式。
图11是用于说明帧间预测中的仿射合并模式的示图。
例如，在仿射合并模式中，可以根据通过仿射运动预测编码的邻近块的仿射运动模型来确定CPMV。例如，可以将按搜索顺序编码为仿射运动预测的邻近块用于仿射合并模式。即，当在仿射运动预测中对邻近块中的至少一个进行编码时，可以在仿射合并模式下对当前块进行编码。这里，细化的合并模式可以被称为AF_MERGE。
当应用仿射合并模式时，可以使用邻近块的CPMV来推导当前块的CPMV。在这种情况下，邻近块的CPMV可以被原样地用作当前块的CPMV，并且邻近块的CPMV可以基于邻近块的大小和当前块的大小来修改，并且被用作当前块的CPMV。
另一方面，在以子块为单位推导运动矢量(MV)的仿射合并模式的情况下，这可以被称为子块合并模式，子块合并模式可以基于子块合并标志(或merge_subblock_flag语法元素)来指示。另选地，当merge_subblock_flag语法元素的值为1时，可以指示应用子块合并模式。在这种情况下，随后将描述的仿射合并候选列表可以被称为子块合并候选列表。在这种情况下，子块合并候选列表还可以包括随后将描述的通过SbTMVP来推导的候选。在这种情况下，通过SbTMVP来推导的候选可以被用作子块合并候选列表的索引0的候选。换句话说，从SbTMVP推导的候选在子块合并候选列表中可以处于随后将描述的继承的仿射候选或构造的仿射候选之前。
当应用仿射合并模式时，可以构造仿射合并候选列表以推导出当前块的CPMV。例如，仿射合并候选列表可以包括以下候选中的至少一个。1)继承的仿射合并候选。2)构造的仿射合并候选。3)零运动矢量候选(或零矢量)。这里，继承的仿射合并候选是当以仿射模式对邻近块进行编码时基于邻近块的CPMV来推导的候选，构造的仿射合并候选是通过以每个CPMV为单位基于相应CP的邻近块的MV构造CPMV来推导的候选，并且零运动矢量候选可以指示由其值为0的CPMV构成的候选。
例如，仿射合并候选列表可以如下地构造。
可以存在多达两个继承的仿射候选，并且可以从邻近块的仿射运动模型推导继承的仿射候选。邻近块可以包含一个左邻近块和上邻近块。候选块可以如图4中例示地设置。左预测子的扫描顺序可以是A1→A0，并且上预测子的扫描顺序可以是B1→B0→B2。只可以从左侧和上侧中的每一个选择一个继承的候选。可以不在两个继承的候选之间执行剪枝检查。
当检查邻近仿射块时，可以使用所检查块的控制点运动矢量来推导当前块的仿射合并列表中的CPMVP候选。这里，邻近仿射块可以指示当前块的邻近块当中的以仿射预测模式编码的块。例如，参照图7，当以仿射预测模式对左下邻近块A进行编码时，可以获取邻近块A的左上角、右上角和左下角的运动矢量v2、v3和v4。当用4参数仿射运动模型对邻近块A进行编码时，可以根据v2和v3计算当前块的两个CPMV。当用6参数仿射运动模型对邻近块A进行编码时，可以根据v2、v3和v4计算当前块的两个CPMV。
图12是用于说明仿射合并模式下候选的位置的示图。
构造的仿射候选可以是指通过组合关于每个控制点的邻近平移运动信息而构造的候选。可以从指定的空间邻域和时间邻域推导出关于控制点的运动信息。CPMVk(k＝0、1、2、3)可以指示第k个控制点。
参照图12，对于CPMV0，可以按B2→B3→A2的顺序检查块，并且可以使用第一可用块的运动矢量。对于CPMV1，可以按B1→B0的顺序检查块，并且对于CPMV2，可以按A1→A0的顺序检查块。如果可用，时间运动矢量预测子(TMVP)可以用作CPMV3。
在获得四个控制点的运动矢量之后，可以基于所获取的运动信息来生成仿射合并候选。控制点运动矢量的组合可以对应于{CPMV0，CPMV1，CPMV2}、{CPMV0，CPMV1，CPMV3}、{CPMV0，CPMV2，CPMV3}、{CPMV1，CPMV2，CPMV3}、{CPMV0，CPMV1}和{CPMV0，CPMV2}中的任一个。
三个CPMV的组合可以构成6参数仿射合并候选，并且两个CPMV的组合可以构成4参数仿射合并候选。为了避免运动缩放处理，当控制点的参考索引不同时，可以丢弃控制点运动矢量的相关组合。
图13是用于描述帧间预测中的SbTMVP的示图。
此外，也可以使用基于子块的时间运动矢量预测(SbTMVP)方法。例如，SbTMVP可以被称为高级时间运动矢量预测(ATMVP)。SbTMVP可以使用并置的图片中的运动场来改进当前图片中CU的运动矢量预测和合并模式。这里，共位的图片可以被称为并置图片(colpicture)。
例如，SbTMVP可以预测子块(或子CU)级的运动。另外，SbTMVP可以在从并置图片获取时间运动信息之前应用运动移位。这里，可以从当前块的空间邻近块之一的运动矢量获取运动移位。
SbTMVP可以根据两个步骤预测当前块(或CU)中的子块(或子CU)的运动矢量。
在第一步骤中，可以根据图4中的顺序A1、B1、B0和A0来测试空间邻近块。可以检查具有使用并置图片作为其参考图片的运动矢量的第一空间邻近块，并且可以选择该运动矢量作为将应用的运动移位。当没有从空间邻近块中检查到这样的运动时，运动移位可以被设置为(0，0)。
在第二步骤中，可以应用在第一步骤中检查的运动移位来从并置图片获得子块级运动信息(运动矢量和参考索引)。例如，可以向当前块的坐标添加运动移位。例如，运动移位可以被设置为图8的A1的运动。在这种情况下，对于每个子块，可以使用关于并置图片中的对应块的运动信息来推导关于对应子块的运动信息。可以应用时间运动缩放，以将时间运动矢量的参考图片与当前块的参考图片对准。
包括SbTVMP候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿射合并模式的信令。这里，仿射合并模式可以被称为基于子块的合并模式。根据序列参数集(SPS)中所包括的标志，SbTVMP模式可以是可用的或不可用的。当SbTMVP模式可用时，可以添加SbTMVP预测子作为基于子块的合并候选列表的第一个条目，并且仿射合并候选可以跟随。仿射合并候选的最大可允许大小可以是5个。
在SbTMVP中使用的子CU(或子块)的大小可以被固定为8×8，并且与在仿射合并模式下一样，SbTMVP模式可以仅应用于宽度和高度二者为8或更大的块。附加SbTMVP合并候选的编码逻辑可以与其他合并候选的编码逻辑相同。即，对于P或B切片中的每个CU，可以执行使用附加率失真(RD)成本的RD检查，以确定是否使用SbTMVP候选。
此外，可以基于根据预测模式推导出的运动信息来推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本数组)。当当前块的运动矢量指示分数样本单元时，可以执行内插过程。据此，可以基于参考图片中的分数样本单元参考样本来推导当前块的预测样本。当向当前块应用仿射帧间预测(仿射预测模式)时，可以基于样本/子块单元MV来生成预测样本。当应用双向预测时，预测样本可以用作通过基于L0预测(即，使用参考图片列表L0中的参考图片和MVL0的预测)推导出的预测样本与基于L1预测(即，使用参考图片列表L1中的参考图片和MVL1的预测)推导出的预测样本的(根据相位的)加权和或加权平均推导出的当前块的预测样本。这里，L0方向上的运动矢量可以被称为L0运动矢量或MVL0，并且L1方向上的运动矢量可以被称为L1运动矢量或MVL1。在应用双向预测的情况下，当用于L0预测的参考图片和用于L1预测的参考图片相对于当前图片处于不同时间方向上时(即，对应于双向方向或双向预测的情况)，这可以被称为真双向预测。
另外，如上所述，可以基于推导出的预测样本来生成重构样本和重构图片，然后，可以执行诸如环路内滤波这样的过程。
此外，当向当前块应用双向预测时，可以基于加权平均来推导预测样本。例如，使用加权平均的双向预测可以被称为具有CU级权重的双向预测(BCW)、具有加权平均的双向预测(BWA)或加权平均的双向预测。
传统地，可以通过L0预测信号(L0预测样本)和L1预测信号的简单平均来推导双向预测信号(即，双向预测样本)。即，双向预测样本可以被推导为基于L0参考图片和MVL0的L0预测样本和基于L1参考图片和MVL1的L1预测样本的平均值。然而，当应用双向预测时，可以如下地通过L0预测信号和L1预测信号的加权平均来推导双向预测信号(双向预测样本)。例如，可以如式3中地推导双向预测信号(双向预测样本)。
[式3]
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3
在式3中，Pbi-pred可以指示双向预测信号的值，即，通过应用双向预测推导出的预测样本值，并且w可以指示权重。另外，P0可以指示L0预测信号的值，即，通过应用L0预测推导出的预测样本值，并且P1可以指示L1预测信号的值，即，通过应用L1预测推导出的预测样本值。
例如，在加权平均双向预测中可以允许5个权重。例如，五个权重w可以包括-2、3、4、5或10。即，权重w可以被确定为包括-2、3、4、5或10的权重候选之一。对于应用双向预测的每个CU，可以通过两种方法中的一种来确定权重w。在第一种方法中，可以在非合并CU的运动矢量差之后发信号通知权重索引。在第二种方法中，可以基于合并候选索引从邻近块推断合并CU的权重索引。
例如，加权平均双向预测可以应用于具有256个或更多个亮度样本的CU。即，当CU的宽度与高度的乘积大于或等于256时，可以应用加权平均双向预测。在低延迟图片的情况下，可以使用五个权重，而在非低延迟图片的情况下，可以使用三个权重。例如，三个权重可以包括3、4或5。
例如，在编码设备中，可以应用快速搜索算法来寻找权重索引，而没有显著增加编码设备的复杂性。可以如下地总结该算法。例如，当在与自适应运动矢量分辨率(AMVR)组合时(当AMVR用作帧间预测模式时)当前图片是低延迟图片时，可以针对1画素和4画素运动矢量精度有条件地检查非相等权重。例如，当与仿射组合时(当仿射预测模式被用作帧间预测模式时)，在仿射预测模式当前被选择为最佳模式的情况下，仿射运动估计(ME)可以按非相等权重执行。例如，当双向预测的两个参考图片相同时，可以有条件地检查非相等权重。例如，当根据当前图片与参考图片之间的POC距离、编码量化参数(QP)和时间水平满足特定条件时，可以不搜索非相等权重。
例如，可以使用后面跟着旁路编码bin的一个上下文编码bin对BCW权重索引进行编码。第一上下文编码bin可以指示是否使用相同的权重。当基于第一上下文编码bin使用非相等权重时，可以使用旁路编码发信号通知附加bin，以指示将使用的非相等权重。
此外，当应用双向预测时，可以基于关于从合并候选列表中所包括的候选当中选择的候选的权重索引信息来推导用于生成预测样本的权重信息。
根据本公开的实施方式，当构造用于合并模式的运动矢量候选时，可以如下地推导关于时间运动矢量候选的权重索引信息。例如，当时间运动矢量候选使用双向预测时，可以推导关于加权平均的权重索引信息。即，当帧间预测类型是双向预测时，可以推导关于合并候选列表中的时间合并候选的权重索引信息(或时间运动矢量候选)。
例如，时间运动矢量候选的加权平均的权重索引信息可以始终被推导为0。这里，当权重索引信息为0时，这可以意指相应参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重彼此相同。例如，可以如下表中地示出用于推导用于合并模式的亮度分量的运动矢量的过程。
[表1]
Figure BDA0003516983650000281
Figure BDA0003516983650000291
Figure BDA0003516983650000301
Figure BDA0003516983650000311
参照表1，gbiIdx可以指示双向预测权重索引，并且gbiIdxCol可以指示用于时间合并候选(例如，合并候选列表中的时间运动矢量候选)的双向预测权重索引。在推导用于合并模式的亮度分量的运动矢量的过程中(8.4.2.2的目录3的表)，可以将gbiIdxCol推导为0。即，时间运动矢量候选的权重索引可以被推导为0。
另选地，可以基于关于并置的块的权重索引信息来推导时间运动矢量候选的加权平均的权重索引。这里，并置的块可以被称为并置块、共位块或共位参考块，并且并置块可以指示在参考图片中与当前块的位置相同的位置处的块。例如，可以如下表中地示出用于推导用于合并模式的亮度分量的运动矢量的过程。
[表2]
Figure BDA0003516983650000312
Figure BDA0003516983650000321
Figure BDA0003516983650000331
Figure BDA0003516983650000341
Figure BDA0003516983650000351
参照表2，gbiIdx可以指示双向预测权重索引，并且gbiIdxCol可以指示用于时间合并候选(例如，合并候选列表中的时间运动矢量候选)的双向预测权重索引。在推导用于合并模式的亮度分量的运动矢量的过程中，当切片类型或图块组类型为B(8.4.2.2的目录4的表)时，可以将gbiIdxCol推导为gbiIdxCol。即，时间运动矢量候选的权重索引可以被推导为并置块的权重索引。
此外，根据本公开的另一实施方式，当以子块为单位构造用于合并模式的运动矢量候选时，可以推导时间运动矢量候选的加权平均的权重索引。这里，以子块为单位的合并模式可以被称为仿射合并模式(以子块为单位)。时间运动矢量候选可以指示基于子块的时间运动矢量候选，并且可以被称为SbTMVP(或ATMVP)候选。即，当帧间预测类型是双向预测时，可以推导关于仿射合并候选列表或子块合并候选列表中的SbTMVP候选(或基于子块的时间运动矢量候选)的权重索引信息。
例如，关于基于子块的时间运动矢量候选的加权平均的权重索引信息可以始终被推导为0。这里，为0的权重索引信息可以意指各参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重相同。例如，用于在子块合并模式中推导运动矢量和参考索引的过程以及用于推导基于子块的时间合并候选的过程可以如表3和表4中所示。
[表3]
Figure BDA0003516983650000361
Figure BDA0003516983650000371
Figure BDA0003516983650000381
Figure BDA0003516983650000391
Figure BDA0003516983650000401
Figure BDA0003516983650000411
Figure BDA0003516983650000421
[表4]
Figure BDA0003516983650000422
参照以上的表3和表4，gbiIdx可以指示双向预测权重索引，gbiIdxSbCol可以指示基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引，并且在用于推导基于子块的时间合并候选的过程(8.4.4.3)中，gbiIdxSbCol可以被推导为0。即，基于子块的时间运动矢量候选的权重索引可以被推导为0。
另选地，可以基于关于时间中心块的权重索引信息来推导基于子块的时间运动矢量候选的加权平均的权重索引信息。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。例如，在这种情况下，用于在子块合并模式下推导运动矢量和参考索引的过程、用于推导基于子块的时间合并候选的过程以及用于推导用于基于子块的时间合并的基本运动信息的过程可以在表5、表6和表7中示出。
[表5]
Figure BDA0003516983650000431
Figure BDA0003516983650000441
Figure BDA0003516983650000451
Figure BDA0003516983650000461
Figure BDA0003516983650000471
Figure BDA0003516983650000481
Figure BDA0003516983650000491
[表6]
Figure BDA0003516983650000492
Figure BDA0003516983650000501
Figure BDA0003516983650000511
Figure BDA0003516983650000521
[表7]
Figure BDA0003516983650000522
Figure BDA0003516983650000531
Figure BDA0003516983650000541
Figure BDA0003516983650000551
参照表5、表6和表7，gbiIdx可以指示双向预测权重索引，并且gbiIdxSbCol可以指示基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引。在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.4)中，gbiIdxSbCol可以被推导为gbiIdxcolCb。即，基于子块的时间运动矢量候选的权重索引可以被推导为时间中心块的权重索引。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。
另选地，可以基于以每个子块为单位的权重索引信息来推导基于子块的时间运动矢量候选的加权平均的权重索引信息，并且当子块不可用时，可以基于时间中心块的权重索引信息来推导该权重索引信息。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。例如，在这种情况下，用于在子块合并模式下推导运动矢量和参考索引的过程、用于推导基于子块的时间合并候选的过程以及用于推导用于基于子块的时间合并的基本运动信息的过程可以在表8、表9和表10中示出。
[表8]
Figure BDA0003516983650000552
Figure BDA0003516983650000561
Figure BDA0003516983650000571
Figure BDA0003516983650000581
Figure BDA0003516983650000591
Figure BDA0003516983650000601
Figure BDA0003516983650000611
[表9]
Figure BDA0003516983650000612
Figure BDA0003516983650000621
Figure BDA0003516983650000631
Figure BDA0003516983650000641
[表10]
Figure BDA0003516983650000642
Figure BDA0003516983650000651
Figure BDA0003516983650000661
Figure BDA0003516983650000671
参照表8、表9和表10，gbiIdx可以指示双向预测权重索引，并且gbiIdxSbCol可以指示用于基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引。在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.3)中，gbiIdxSbCol可以被推导为gbiIdxcolCb。另选地，在根据条件(例如，当availableFlagL0SbCol和availableFlagL1SbCol二者为0时)推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.3)中，gbiIdxSbCol可以推导为ctrgbiIdx，并且在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.4)中，ctrgbiIdx可以被推导为gbiIdxSbCol。即，基于子块的时间运动矢量候选的权重索引可以被推导为以每个子块为单位的权重索引，或者当子块不可用时，可以被推导为时间中心块的权重索引。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。
此外，根据本公开的另一实施方式，当构造用于合并模式的运动矢量候选时，可以推导关于成对候选的权重索引信息。例如，成对候选可以被包括在合并候选列表中，并且可以推导关于成对候选的加权平均的权重索引信息。可以基于合并候选列表中的其他合并候选来推导成对候选，并且当成对候选使用双向预测时，可以推导加权平均的权重索引。即，当帧间预测类型是双向预测时，可以推导关于合并候选列表中的成对候选的权重索引信息。
可以基于合并候选列表中所包括的候选当中的其他两个合并候选来推导成对候选。例如，可以基于两个合并候选中的任一个的权重索引信息来推导关于成对候选的权重索引信息。另选地，例如，可以基于关于两个合并候选当中的使用双向预测的候选的权重索引信息来推导关于成对候选的权重索引信息。
可以基于合并候选列表中所包括的候选当中的第一候选和第二候选来推导成对候选。例如，可以基于第一候选的权重索引信息来推导关于成对候选的权重索引信息。因此，如下表11中所示的，可以推导关于成对候选的权重索引信息。
[表11]
bcwIdx＝bcwIdx0
在表11中，bcwIdx可以对应于关于成对候选的权重索引信息，并且bcwIdx0可以对应于合并候选列表中所包括的候选当中的第一候选的权重索引信息。
另选地，例如，当第一候选和第二候选中的每一个的权重索引信息彼此相同时，可以基于第一候选的权重索引信息来推导关于成对候选的权重索引信息。此外，当第一候选和第二候选中的每一个的权重索引信息彼此不相同时，可以基于默认权重索引信息来推导关于成对候选的权重索引信息。默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。因此，如下表12中所示的，可以推导关于成对候选的权重索引信息。
[表12]
Figure BDA0003516983650000681
在表12中，bcwIdx可以对应于关于成对候选的权重索引信息，bcwIdx0可以对应于合并候选列表中所包括的候选当中的第一候选的权重索引信息，并且bcwIdx1可以对应于合并候选列表中所包括的候选当中的第二候选的权重索引信息。默认值可以对应于默认权重索引信息。
另选地，当第一候选和第二候选中的每一个的权重索引信息彼此相同时，可以基于第一候选的权重索引信息来推导关于成对候选的权重索引信息。此外，当关于第一候选和第二候选中的每一个的权重索引信息不相同时，可以基于关于第一候选和第二候选中的每一者的权重索引信息当中的并非默认权重索引信息的权重索引信息来推导关于成对候选的权重索引信息。默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。
此外，根据本公开的另一实施方式，当以子块为单位构造用于合并模式的运动矢量候选时，可以推导关于时间运动矢量候选的加权平均的权重索引信息。这里，以子块为单位的合并模式可以被称为仿射合并模式(以子块为单位)。时间运动矢量候选可以指示基于子块的时间运动矢量候选，并可以被称为SbTMVP(或ATMVP)候选。可以基于关于当前块的左邻近块的权重索引信息来推导关于SbTMVP候选的权重索引信息。即，当通过SbTMVP推导出的候选使用双向预测时，当前块的左邻近块的权重索引可以被推导为基于子块的合并模式的权重索引。
例如，由于SbTMVP候选可以基于当前块的空间相邻的左侧块(或左邻近块)来推导并置块，因此左邻近块的权重索引可以被认为是可靠的。因此，SbTMVP候选的权重索引可以被推导为左邻近块的权重索引。
此外，根据本公开的另一实施方式，当构造用于仿射合并模式的运动矢量候选时，在仿射合并候选使用双向预测的情况下，可以推导关于加权平均的权重索引信息。即，当帧间预测类型是双向预测时，可以推导关于仿射合并候选列表或子块合并候选列表中的候选的权重索引信息。
例如，在仿射合并候选当中，构造的仿射合并候选可以基于当前块的空间邻近块或时间相邻块来推导CP0、CP1、CP2或CP3候选，以指示用于将MVF推导为仿射模型的候选。
图14是例示了用于构造的仿射合并候选的控制点的示图。
参照图14，例如，CP0可以指示位于当前块的左上样本位置处的控制点，CP1可以指示位于当前块的右上样本位置处的控制点，并且CP2可以指示位于当前块的左下样本位置处的控制点。另外，CP3可以指示位于当前块的右下样本位置处的控制点。
例如，仿射合并候选当中的构造的仿射合并候选可以通过当前块的每个控制点的运动矢量的组合来生成。仿射合并候选可以包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。CPMV0、CPMV1、CPMV2和CPMV3可以分别对应于CP0、CP1、CP2和CP3的运动矢量。
CPMV0可以基于当前块的左上邻近块、与左上邻近块的下侧相邻的第一左邻近块或与左上邻近块的右侧相邻的第一上邻近块来推导。CPMV1可以基于当前块的右上邻近块或与右上邻近块的左侧相邻的第二上邻近块来推导。另外，CPMV2可以基于当前块的左下邻近块或与左下邻近块的上侧相邻的第二左邻近块来推导。
例如，可以基于诸如{CP0，CP1，CP2}、{CP0，CP1，CP3}、{CP0，CP2，CP3}、{CP1，CP2，CP3}、{CP0，CP1}和{CP0，CP2}这样的当前块的控制点的组合来生成仿射合并候选。例如，仿射合并候选可以包括{CPMV0，CPMV1，CPMV2}、{CPMV0，CPMV1，CPMV3}、{CPMV0，CPMV2，CPMV3}、{CPMV1，CPMV2，CPMV3}、{CPMV0，CPMV1}和{CPMV0，CPMV2}中的至少一者。
在一个实施方式中，可以如下表13中所示地推导仿射合并候选的权重索引信息。
[表13]
Figure BDA0003516983650000701
在表13中，bcwIdxCornerX(X＝0、1、2)可以指示当前块的每个控制点的权重索引信息。例如，bcwIdxCorner0可以对应于CP0的权重索引信息，bcwIdxCorner1可以对应于CP1的权重索引信息，并且bcwIdxCorner2可以对应于CP2的权重索引信息。另选地，如上所述，可以通过诸如{CP0，CP1，CP2}、{CP0，CP1，CP3}、{CP0，CP2，CP3}、{CP1，CP2，CP3}、{CP0，CP1}和{CP0，CP2}这样的控制点的组合来生成仿射合并候选，并且在这种情况下，bcwIdxCorner0可以对应于每个组合中的第一控制点的权重索引信息，bcwIdxCorner1可以对应于每个组合中的第二控制点的权重索引信息，并且bcwIdxCorner2可以对应于每个组合中的第三控制点的权重索引信息。
此外，bcwIdxGroupX可以是BCW组索引，并可以划分为三组：{0}、{1,2,3}和{4}。即，bcwIdxGroupX可以划分为{(-1/4,5/4)}、{(1/4,3/4),(2/4,2/4),(3/4,1/4)}和{(5/4,-1/4)}这三组。
参照表13，当使用三个控制点时，可能需要六个比较处理。
在这种情况下，因为时间候选的权重索引信息被设置为默认值，所以可以简化bcwIdxCorner2的比较处理。因此，可以如下表14中所示地推导出仿射合并候选的权重索引信息。
[表14]
Figure BDA0003516983650000711
另外，可以仅使用BCW组索引{(1/4,3/4)，(2/4,2/4)，(3/4,1/4)}中的三项权重索引信息，并且因为这些权重索引信息仅被映射为一个组，所以BCW组索引比较处理可以如下表15中所示地简化。
[表15]
Figure BDA0003516983650000712
如上所述，通过去除不必要的条件，可以简化推导仿射合并候选的权重索引信息的处理。下文中，将描述用于简化推导仿射合并候选的权重索引信息的处理的其它实施方式。
在一个实施方式中，当仿射合并候选包括CPMV0时，可以基于CP0的权重索引信息来推导仿射合并候选的权重索引信息。CP0的权重索引信息可以对应于当前块的左上邻近块、与左上邻近块的右侧相邻的第一上邻近块以及与左上邻近块的下侧相邻的第一左邻近块当中的用于推导CPMV0的块的权重索引信息。
此外，当仿射合并候选不包括CPMV0而包括CPMV1时，可以基于CP1的权重索引信息来推导仿射合并候选的权重索引信息。CP1的权重索引信息可以对应于当前块的右上邻近块或与右上邻近块的左侧相邻的第二上邻近块当中的用于推导CPMV1的块的权重索引信息。
根据以上方法，可以基于用于针对{CPMV0，CPMV1，CPMV2}、{CPMV0，CPMV1，CPMV3}、{CPMV0，CPMV2，CPMV3}、{CPMV1，CPMV2，CPMV3}、{CPMV0，CPMV1}和{CPMV0，CPMV2}中的每一个推导第一CPMV的块的权重索引信息来推导仿射合并候选的权重索引信息。因此，可以如下表16中所示地推导出仿射合并候选的权重索引信息。
[表16]
bcwIdxConst＝bcwIdxCorner0
根据推导仿射合并候选的权重索引信息的另一实施方式，当位于当前块左上侧的CP0的CPMV0与位于当前块右侧的CP1的CPMV1相同时，可以基于CP0的权重索引信息来推导仿射合并候选的权重索引信息。此外，当位于当前块左上侧的CP0的CPMV0与位于当前块右上侧的CP1的CPMV1不相同时，可以基于默认权重索引信息来推导仿射合并候选的权重索引信息。默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个赋予相同权重的权重索引信息。因此，可以如下表17中所示地推导出仿射合并候选的权重索引信息。
[表17]
Figure BDA0003516983650000721
根据推导关于仿射合并候选的权重索引信息的另一实施方式，关于仿射合并候选的权重索引信息可以被推导为每个候选的权重索引当中的出现频率高的候选的权重索引。例如，在CP0候选块当中被确定为CP0中的运动矢量的候选块的权重索引、在CP1候选块当中被确定为CP1中的运动矢量的候选块的权重索引、在CP2候选块当中被确定为CP2中的运动矢量的候选块的权重索引和/或在CP3候选块当中被确定为CP3中的运动矢量的候选块的权重索引当中的最交叠的权重索引可以被推导为仿射合并候选的权重索引。
例如，可以使用CP0和CP1作为控制点，可以使用CP0、CP1和CP2，并且可以不使用CP3。然而，例如，当将使用仿射块(以仿射预测模式编码的块)的CP3候选时，可以使用上述实施方式中描述的推导时间候选块中的权重索引的方法。
图15和图16是示意性例示了根据本公开的实施方式的视频/图像编码方法和相关部件的示例的示图。
图15中公开的方法可以由图2或图16中公开的编码设备执行。具体地，例如，图15中的操作S1500至S1520可以由图16中的编码设备200的预测器220执行，图15中的操作S1530可以由图16中的编码设备200的残差处理器230执行，并且图15中的操作S1540可以由图16中的编码设备200的熵编码器240执行。另外，尽管图15中未示出，但可以由图15中的编码设备200的预测器220推导出预测样本或预测相关信息，可以由编码设备200的残差处理器230从原始样本或预测样本推导出残差信息，并且可以由编码设备200的熵编码器240从残差信息或预测相关信息生成比特流。图15中公开的方法可以包括以上在本公开中描述的实施方式。
参照图15，在操作S1500中，编码设备可以确定当前块的帧间预测模式，并生成指示所确定的帧间预测模式的帧间预测模式信息。例如，编码设备可以将合并模式、仿射(合并)模式或子块合并模式确定为将应用于当前块的帧间预测模式，并生成指示所确定的合并模式的帧间预测模式信息。另外，编码设备可以生成将当前块的帧间预测类型指示为双向预测的帧间预测类型信息。例如，可以将当前块的帧间预测类型确定为L0预测、L1预测或双向预测当中的双向预测，并且可以生成指示所确定的帧间预测类型的帧间预测类型信息。在这种情况下，L0预测可以指示基于参考图片列表0的预测，L1预测可以指示基于参考图片列表1的预测，并且双向预测可以指示基于参考图片列表0和参考图片列表1的预测。例如，编码设备可以基于帧间预测类型来生成帧间预测类型信息。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。
在操作S1510中，编码设备可以基于帧间预测模式来生成当前块的合并候选列表。例如，编码设备可以根据所确定的帧间预测模式生成合并候选列表。在这种情况下，当所确定的帧间预测模式是仿射合并模式或子块合并模式时，合并候选列表可以被称为仿射合并候选列表或子块合并候选列表，但也可以简单地被称为合并候选列表。
例如，候选可以被插入到合并候选列表中，直到合并候选列表中候选的数目成为最大候选数目。这里，候选可以指示用于推导当前块的运动信息(或运动矢量)的候选或候选块。例如，可以通过搜索当前块的邻近块来推导候选块。例如，邻近块可以包括当前块的空间邻近块和/或时间邻近块，可以优先搜索空间邻近块以推导(空间合并)候选，然后可以搜索时间邻近块以推导(时间合并)候选，并且推导出的候选可以被插入到合并候选列表中。例如，当即使在插入候选之后，合并候选列表中候选的数目也小于合并候选列表中的最大候选数目时，可以插入附加候选。例如，附加候选包括基于历史的合并候选、成对平均合并候选、ATMVP和组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型B时)和/或零矢量合并候选中的至少一个。
另选地，例如，候选可以被插入到仿射合并候选列表中，直到仿射合并候选列表中候选的数目成为最大候选数目。这里，候选可以包括当前块的控制点运动矢量(CPMV)。另选地，候选可以指示用于推导CPMV的候选或候选块。CPMV可以指示当前块的控制点(CP)处的运动矢量。例如，CP的数目可以是2、3或4，CP可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)中的至少一部分处，并且在每个位置处可以只存在一个CP。
例如，可以通过搜索当前块的邻近块(或当前块的CP的邻近块)来推导候选。例如，仿射合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选和零运动矢量候选中的至少一个。例如，在仿射合并候选列表中，可以首先插入继承的仿射合并候选，然后可以插入构造的仿射合并候选。另外，即使插入了在仿射合并候选列表中构造的仿射合并候选，也可以在仿射合并候选列表中候选的数目小于最大候选数目时用零运动矢量候选填充剩余部分。这里，零运动矢量候选可以被称为零矢量。例如，仿射合并候选列表可以是根据以样本为单位推导运动矢量的仿射合并模式的列表，或者可以是根据以子块为单位推导运动矢量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可以被称为子块合并候选列表，并且子块合并候选列表还可以包括从SbTMVP推导出的候选(或SbTMVP候选)。例如，当SbTMVP候选被包括在子块合并候选列表中时，它在子块合并候选列表中可以处于继承的仿射合并候选和构造的仿射合并候选之前。
在操作S1520中，编码设备可以生成指示合并候选列表中所包括的候选当中的一个候选的选择信息。例如，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零矢量候选中的至少一者，并且可以选择这些候选当中的一个候选以用于当前块的帧间预测。另选地，例如，子块合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选、SbTMVP候选或零矢量候选中的至少一者，并且可以选择这些候选当中的一个候选以用于当前块的帧间预测。
例如，选择信息可以包括指示合并候选列表中的选定候选的索引信息。例如，选择信息可以被称为合并索引信息或子块合并索引信息。
在操作S1530中，编码设备可以基于当前块的残差样本来生成残差信息。例如，编码设备可以基于预测样本和原始样本来推导残差样本。例如，编码设备可以生成指示残差样本的量化变换系数的残差信息。残差信息可以通过诸如指数哥伦布、CAVLC、CABAC等这样的各种编码方法来生成。
在操作S1540中，编码设备可以对包括帧间预测模式信息、选择信息和残差信息的图像信息进行编码。例如，图像信息可以被称为视频信息。图像信息可以包括根据本文献的上述实施方式的各种类型的信息。例如，图像信息可以包括预测相关信息或残差相关信息中的至少一者。例如，预测相关信息可以包括帧间预测模式信息、选择信息和帧间预测类型信息中的至少一者。例如，编码设备可以通过对包括上述信息(或语法元素)的全部或部分的图像信息进行编码来生成比特流或编码信息。另选地，编码设备可以以比特流的形式输出该信息。另外，比特流或编码信息可以通过网络或存储介质发送到解码设备。
尽管在图15中未例示，但编码设备例如可以生成当前块的预测样本。或者，例如，编码设备可以基于选定候选来生成当前块的预测样本。或者，例如，编码设备可以基于选定候选来推导运动信息，并基于运动信息来生成当前块的预测样本。例如，编码设备可以根据双向预测生成L0预测样本和L1预测样本，并可以基于L0预测样本和L1预测样本来生成当前块的预测样本。在这种情况下，可以使用针对双向预测的权重索引信息(或权重信息)从L0预测样本和L1预测样本生成当前块的预测样本。在这种情况下，可以基于权重索引信息来表示权重信息。
换句话说，例如，编码设备可以基于选定候选来生成当前块的L0预测样本和L1预测样本。例如，当当前块的帧间预测类型被确定为双向预测时，参考图片列表0和参考图片列表1可用于当前块的预测。例如，L0预测样本可以表示基于参考图片列表0推导出的当前块的预测样本，并且L1预测样本可以表示基于参考图片列表1推导出的当前块的预测样本。
例如，候选可以包括空间合并候选。例如，当选定的候选是空间合并候选时，可以基于空间合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。
例如，候选可以包括时间合并候选。例如，当选定的候选是时间合并候选时，可以基于时间合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。
例如，候选可以包括成对候选。例如，当选定的候选是成对候选时，可以基于成对候选来推导L0运动信息和L1运动信息，并且基于此来生成L0预测样本和L1预测样本。例如，可以基于合并候选列表中的第一候选和第二候选来推导成对候选。
另选地，例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或SbTMVP候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
例如，候选可以包括子块合并候选。例如，当选定的候选是子块合并候选时，可以基于子块合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。例如，子块合并候选可以包括控制点运动矢量(CPMV)，并且L0预测样本和L1预测样本可以通过基于CPMV以子块为单位执行预测来生成。
这里，可以基于当前块的控制点(CP)的邻近块当中的一个块来指示CPMV。例如，CP的数目可以是2、3或4，CP可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)的至少一部分，并且在每个位置处可以只存在一个CP。
例如，CP可以是位于当前块左上侧的CP0。在这种情况下，邻近块可以包括当前块的左上邻近块、与左上邻近块的下侧相邻的第一左邻近块以及与左上邻近块的右侧相邻的上邻近块。邻近块可以包括图12中的块A2、块B2或块B3。
或者，例如，CP可以是位于当前块右侧的CP1。在这种情况下，邻近块可以包括当前块的右上邻近块以及与右上邻近块的左侧相邻的第二上邻近块。或者，邻近块可以包括图12中的块B0或块B1。
或者，例如，CP可以是位于当前块左下侧的CP2。在这种情况下，邻近块可以包括当前块的左下邻近块以及与左下角邻近块的上侧相邻的第二左邻近块。或者，邻近块可以包括图12中的块A0或块A1。
或者，例如，CP可以是位于当前块右下侧的CP3。在这种情况下，邻近块可以包括当前块的并置块或并置块的右下邻近块。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块的位置相同的位置处的块。或者，邻近块可以包括图12中的块T。
另选地，例如，候选可以包括SbTMVP候选。例如，当选定的候选是SbTMVP候选时，可以基于当前块的左邻近块来推导L0运动信息和L1运动信息，并且基于此，可以生成L0预测样本和L1预测样本。例如，可以通过以子块为单位执行预测来生成L0预测样本和L1预测样本。
例如，L0运动信息可以包括L0参考图片索引、L0运动矢量等，并且L1运动信息可以包括L1参考图片索引、L1运动矢量等。L0参考图片索引可以包括指示参考图片列表0中的参考图片的信息，并且L1参考图片索引可以包括指示参考图片列表1中的参考图片的信息。
例如，编码设备可以基于L0预测样本、L1预测样本和权重信息来生成当前块的预测样本。例如，可以基于权重索引信息来显示权重信息。权重索引信息可以指示关于双向预测的权重索引信息。例如，权重信息可以包括关于L0预测样本或L1预测样本的加权平均的信息。即，权重索引信息可以指示关于用于加权平均的权重的索引信息，并可以在基于加权平均生成预测样本的过程中生成权重索引信息。例如，权重索引信息可以包括指示三个或五个权重中的任一个的信息。例如，加权平均可以表示具有CU级权重的双向预测(BCW)或具有加权平均的双向预测(BWA)中的加权平均。
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以由0表示。即，关于时间合并候选的权重索引信息可以由0表示。这里，为0的权重索引信息可以意指每个参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重相同。另选地，例如，候选可以包括时间合并候选，并且权重索引信息可以基于关于并置块的权重索引信息来指示。即，可以基于关于并置块的权重索引信息来指示关于时间合并候选的权重索引信息。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块。
例如，候选可以包括成对候选，并且权重索引信息可以基于关于用于推导成对候选的合并候选列表中的第一候选和第二候选之一的权重索引信息来指示。
例如，候选包括成对候选，并且成对候选可以基于合并候选列表中的第一候选和第二候选来指示。另选地，当第一候选和第二候选中的每一个的权重索引信息彼此相同时，可以基于第一候选的权重索引信息来指示关于成对候选的权重索引信息。当第一候选和第二候选中的每一个的权重索引信息彼此不相同时，可以基于默认权重索引信息来指示关于成对候选的权重索引信息。在这种情况下，默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。
例如，候选包括成对候选，并且成对候选可以基于合并候选列表中的第一候选和第二候选来指示。另选地，当第一候选和第二候选中的每一个的权重索引信息彼此相同时，可以基于第一候选的权重索引信息来指示关于成对候选的权重索引信息。此外，当关于第一候选和第二候选中的每一个的权重索引信息不相同时，关于成对候选的权重索引信息可以基于关于第一候选和第二候选中的每一个的权重索引信息当中的并非默认权重索引信息的权重索引信息来指示。默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。
例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或SbTMVP候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
例如，候选可以包括仿射合并候选，并且仿射合并候选可以包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。CPMV0可以基于当前块的左上邻近块、与左上邻近块的下侧相邻的第一左邻近块、或与左上邻近块的右侧相邻的第一上邻近块来推导，并且CPMV1可以基于当前块的右上邻近块或与右上邻近块的左侧相邻的第二上邻近块来推导。另外，CPMV2可以基于当前块的左下邻近块或与左下邻近块的上侧相邻的第二左邻近块来推导。
例如，当仿射合并候选包括CPMV0时，可以基于CP0的权重索引信息来显示仿射合并候选的权重索引信息。CP0的权重索引信息可以对应于当前块的左上邻近块、第一左邻近块和第一上邻近块当中的用于推导CPMV0的块的权重索引信息。
例如，当仿射合并候选不包括CPMV0而包括CPMV1时，可以基于CP1的权重索引信息来显示仿射合并候选的权重索引信息。CP1的权重索引信息可以对应于当前块的右上邻近块和第二上邻近块当中的用于推导CPMV1的块的权重索引信息。
另选地，例如，候选可以包括SbTMVP候选，并且可以基于关于当前块的左邻近块的权重索引信息来指示关于SbTMVP候选的权重索引信息。即，可以基于关于左邻近块的权重索引信息来指示关于SbTMVP候选的权重索引信息。
另选地，例如，候选可以包括SbTMVP候选，并且关于SbTMVP候选的权重索引信息可以用0表示。即，关于SbTMVP候选的权重索引信息可以用0表示。这里，为0的权重索引信息可以意指每个参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重相同。
另选地，例如，候选可以包括SbTMVP候选，并且权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。即，关于SbTMVP候选的权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。这里，并置块可以位于与当前块所处的当前图片不同的参考图片中并包括基于当前块的左邻近块的运动矢量推导出的块。另外，中心块可以包括处于并置块的中心处的四个子块当中的右下子块。
另选地，例如，候选可以包括SbTMVP候选，并且权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。即，关于SbTMVP候选的权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。
例如，编码设备可以通过对包括上述信息(或语法元素)的全部或部分的图像信息进行编码来生成比特流或编码信息。另选地，编码设备可以以比特流的形式输出该信息。另外，比特流或编码信息可以通过网络或存储介质发送到解码设备。另选地，比特流或编码信息可以被存储在计算机可读存储介质中，并且可以通过上述图像编码方法来生成比特流或编码信息。
图17和图18是示意性例示了根据本公开的实施方式的视频/图像解码方法和相关部件的示例的示图。
图17中公开的方法可以由图3或图18中公开的解码设备执行。例如，图17中的操作S1700可以由图18中的解码设备300的熵解码器310执行，并且图17中的操作S1710可以由图18中的解码设备300的残差处理器320执行。另外，图17中的操作S1720至S1740可以由图17中的解码设备300的预测器330执行，并且图17中的操作S1750可以由图17中的解码设备300的加法器340执行。图17中公开的方法可以包括以上在本公开中描述的实施方式。
参照图17，在操作S1700中，解码设备可以通过比特流接收包括帧间预测模式信息和残差信息的图像信息。例如，图像信息可以被称为视频信息。图像信息可以包括根据本文献的上述实施方式的各种类型的信息。例如，图像信息可以包括预测相关信息或残差相关信息中的至少一者。
例如，预测相关信息可以包括帧间预测模式信息或帧间预测类型信息。例如，帧间预测模式信息可以包括指示各种帧间预测模式中的至少一种的信息。例如，可以使用诸如合并模式、跳过模式、运动矢量预测(MVP)模式、仿射模式、子块合并模式或带MVD的合并(MMVD)模式这样的各种模式。另外，解码器方的运动矢量细化(DMVR)模式、自适应运动矢量分辨率(AMVR)模式、具有CU级权重的双向预测(BCW)或双向光流(BDOF)等可以进一步被用作辅助模式，或者可以被替代地使用。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。另选地，帧间预测类型信息可以包括指示L0预测、L1预测和双向预测中的任一种的信息。
在操作S1710中，解码设备可以基于残差信息来生成残差样本。解码设备可以基于残差信息来推导量化变换系数，并可以基于针对变换系数的逆变换过程来推导残差样本。
在操作S1720中，编码设备可以基于帧间预测模式信息来生成当前块的合并候选列表。例如，解码设备可以基于帧间预测模式信息来将当前块的帧间预测模式确定为合并模式、仿射(合并)模式或子块合并模式，并可以根据所确定的帧间预测模式来生成合并候选列表。这里，当帧间预测模式被确定为仿射合并模式或子块合并模式时，合并候选列表可以被称为仿射合并候选列表或子块合并候选列表，但也可以简单地被称为合并候选列表。
例如，候选可以被插入到合并候选列表中，直到合并候选列表中候选的数目成为最大候选数目。这里，候选可以指示用于推导当前块的运动信息(或运动矢量)的候选或候选块。例如，可以通过搜索当前块的邻近块来推导候选块。例如，邻近块可以包括当前块的空间邻近块和/或时间邻近块，可以优先搜索空间邻近块以推导(空间合并)候选，然后可以搜索时间邻近块以推导(时间合并)候选，并且推导出的候选可以被插入到合并候选列表中。例如，当即使在插入候选之后合并候选列表中候选的数目也小于合并候选列表中的最大候选数目时，可以插入附加候选。例如，附加候选包括基于历史的合并候选、成对平均合并候选、ATMVP和组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型B时)和/或零矢量合并候选中的至少一个。
另选地，例如，候选可以被插入到仿射合并候选列表中，直到仿射合并候选列表中候选的数目成为最大候选数目。这里，候选可以包括当前块的控制点运动矢量(CPMV)。另选地，候选可以指示用于推导CPMV的候选或候选块。CPMV可以指示当前块的控制点(CP)处的运动矢量。例如，CP的数目可以是2、3或4，CP可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)中的至少一部分，并且在每个位置处可以只存在一个CP。
例如，可以通过搜索当前块的邻近块(或当前块的CP的邻近块)来推导候选。例如，仿射合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选和零运动矢量候选中的至少一个。例如，在仿射合并候选列表中，可以首先插入继承的仿射合并候选，然后可以插入构造的仿射合并候选。另外，即使插入了在仿射合并候选列表中构造的仿射合并候选，也可以在仿射合并候选列表中候选的数目小于最大候选数目时用零运动矢量候选填充剩余部分。这里，零运动矢量候选可以被称为零矢量。例如，仿射合并候选列表可以是根据以样本为单位推导运动矢量的仿射合并模式的列表，或者可以是根据以子块为单位推导运动矢量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可以被称为子块合并候选列表，并且子块合并候选列表还可以包括从SbTMVP推导出的候选(或SbTMVP候选)。例如，当SbTMVP候选被包括在子块合并候选列表中时，它在子块合并候选列表中可以处于继承的仿射合并候选和构造的仿射合并候选之前。
在操作S1730中，解码设备可以基于选定候选来生成当前块的L0预测样本和L1预测样本。例如，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零矢量候选中的至少一者，并且可以选择这些候选当中的一个候选以用于当前块的帧间预测。另选地，例如，子块合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选、SbTMVP候选或零矢量候选中的至少一者，并且可以选择这些候选当中的一个候选以用于当前块的帧间预测。例如，可以基于选择信息从合并候选列表中选择选定候选。例如，选择信息可以包括指示合并候选列表中的选定候选的索引信息。例如，选择信息可以被称为合并索引信息或子块合并索引信息。例如，选择信息可以被包括在图像信息中。另选地，选择信息可以被包括在帧间预测模式信息中。
例如，当帧间预测类型被推导为双向预测时，解码设备可以基于选定候选来推导L0运动信息和L1运动信息。解码设备可以基于帧间预测类型信息将当前块的帧间预测类型推导为双向预测。例如，可以基于帧间预测类型信息将当前块的帧间预测类型推导为L0预测、L1预测或双向预测当中的双向预测。在这种情况下，L0预测可以指示基于参考图片列表0的预测，L1预测可以指示基于参考图片列表1的预测，并且双向预测可以指示基于参考图片列表0和参考图片列表1的预测。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。
例如，L0运动信息可以包括L0参考图片索引、L0运动矢量等，并且L1运动信息可以包括L1参考图片索引、L1运动矢量等。L0参考图片索引可以包括指示参考图片列表0中的参考图片的信息，并且L1参考图片索引可以包括指示参考图片列表1中的参考图片的信息。
例如，候选可以包括空间合并候选。例如，当选定的候选是空间合并候选时，可以基于空间合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。
例如，候选可以包括时间合并候选。例如，当选定的候选是时间合并候选时，可以基于时间合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。
例如，候选可以包括成对候选。例如，当选定的候选是成对候选时，可以基于成对候选来推导L0运动信息和L1运动信息，并且基于此来生成L0预测样本和L1预测样本。例如，可以基于合并候选列表中的第一候选和第二候选来推导成对候选。
另选地，例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或SbTMVP候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
例如，候选可以包括仿射合并候选。例如，当选定的候选是仿射合并候选时，可以基于仿射合并候选来推导L0运动信息和L1运动信息，并且可以基于此来生成L0预测样本和L1预测样本。例如，仿射合并候选可以包括控制点运动矢量(CPMV)，并且L0预测样本和L1预测样本可以通过基于CPMV以子块为单位执行预测来生成。
这里，可以基于当前块的控制点(CP)的邻近块当中的一个块来推导CPMV。例如，CP的数目可以是2、3或4，CP可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)的至少一部分，并且在每个位置处可以只存在一个CP。
例如，CP可以是位于当前块左上侧的CP0。在这种情况下，邻近块可以包括当前块的左上邻近块、与左上邻近块的下侧相邻的第一左邻近块以及与左上邻近块的右侧相邻的上邻近块。邻近块可以包括图12中的块A2、块B2或块B3。
或者，例如，CP可以是位于当前块右侧的CP1。在这种情况下，邻近块可以包括当前块的右上邻近块以及与右上邻近块的左侧相邻的第二上邻近块。或者，邻近块可以包括图12中的块B0或块B1。
或者，例如，CP可以是位于当前块左下侧的CP2。在这种情况下，邻近块可以包括当前块的左下邻近块以及与左下角邻近块的上侧相邻的第二左邻近块。或者，邻近块可以包括图12中的块A0或块A1。
或者，例如，CP可以是位于当前块右下侧的CP3。在这种情况下，邻近块可以包括当前块的并置块或并置块的右下邻近块。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块的位置相同的位置处的块。或者，邻近块可以包括图12中的块T。
或者，例如，候选可以包括SbTMVP候选。例如，当选定的候选是SbTMVP候选时，可以基于当前块的左邻近块来推导L0运动信息和L1运动信息，并且可以基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，可以通过以子块为单位执行预测来生成L0预测样本和L1预测样本。
在操作S1740中，解码设备可以通过基于选定候选的权重索引信息对L0预测样本和L1预测样本求加权平均来生成预测样本。例如，关于选定候选的权重信息可以包括关于L0预测样本或L1预测样本的加权平均的信息。即，关于选定候选的权重信息可以指示关于用于加权平均的权重的索引信息，并且可以基于加权索引信息来执行加权平均。例如，权重索引信息可以包括指示三个或五个权重中的任一个的信息。例如，加权平均可以指示具有CU级权重的双向预测(BCW)或具有加权平均的双向预测(BWA)中的加权平均。
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以被推导为0。即，关于时间合并候选的权重索引信息可以被推导为0。这里，为0的权重索引信息可以意指每个参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重相同。
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以基于关于并置块的权重索引信息来推导。即，可以基于关于并置块的权重索引信息来推导关于时间合并候选的权重索引信息。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中与当前块处于相同位置的块。
例如，候选可以包括成对候选，并且权重索引信息可以基于关于用于推导成对候选的合并候选列表中的第一候选和第二候选之一的权重索引信息来推导。
例如，候选包括成对候选，并且成对候选可以基于合并候选列表中的第一候选和第二候选来推导。当第一候选和第二候选的权重索引信息相同时，可以基于第一候选的权重索引信息导出成对候选的权重索引信息。当第一候选和第二候选中的每一个的权重索引信息彼此不相同时，可以基于默认权重索引信息来推导关于成对候选的权重索引信息。在这种情况下，默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。
例如，候选包括成对候选，并且成对候选可以基于合并候选列表中的第一候选和第二候选来推导。当第一候选和第二候选的权重索引信息相同时，可以基于第一候选的权重索引信息导出成对候选的权重索引信息。此外，当关于第一候选和第二候选中的每一个的权重索引信息不相同时，关于成对候选的权重索引信息可以基于关于第一候选和第二候选中的每一个的权重索引信息当中的并非默认权重索引信息的权重索引信息来推导。默认权重索引信息可以对应于用于给L0预测样本和L1预测样本中的每一个指派相同权重的权重索引信息。
例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或SbTMVP候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
例如，候选可以包括仿射合并候选，并且仿射合并候选可以包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者。CPMV0可以基于当前块的左上邻近块、与左上邻近块的下侧相邻的第一左邻近块、或与左上邻近块的右侧相邻的第一上邻近块来推导，并且CPMV1可以基于当前块的右上邻近块或与右上邻近块的左侧相邻的第二上邻近块来推导。另外，CPMV2可以基于当前块的左下邻近块或与左下邻近块的上侧相邻的第二左邻近块来推导。
例如，当仿射合并候选包括CPMV0时，可以基于CP0的权重索引信息来推导仿射合并候选的权重索引信息。CP0的权重索引信息可以对应于当前块的左上邻近块、第一左邻近块和第一上邻近块当中的用于推导CPMV0的块的权重索引信息。
例如，当仿射合并候选不包括CPMV0而包括CPMV1时，可以基于CP1的权重索引信息来推导仿射合并候选的权重索引信息。CP1的权重索引信息可以对应于当前块的右上邻近块和第二上邻近块当中的用于推导CPMV1的块的权重索引信息。
另选地，例如，候选可以包括SbTMVP候选，并且可以基于关于当前块的左邻近块的权重索引信息来推导关于SbTMVP候选的权重索引信息。即，可以基于关于左邻近块的权重索引信息来推导关于SbTMVP候选的权重索引信息。
另选地，例如，候选可以包括SbTMVP候选，并且关于SbTMVP候选的权重索引信息可以被推导为0。即，关于SbTMVP候选的权重索引信息可以被推导为0。这里，为0的权重索引信息可以意指每个参考方向(即，双向预测中的L0预测方向和L1预测方向)的权重相同。
另选地，例如，候选可以包括SbTMVP候选，并且权重索引信息可以基于关于并置块中的中心块的权重索引信息来推导。即，可以基于关于并置块中的中心块的权重索引信息来推导关于SbTMVP候选的权重索引信息。这里，并置块可以位于与当前块所处的当前图片不同的参考图片中并包括基于当前块的左邻近块的运动矢量推导出的块。另外，中心块可以包括处于并置块的中心处的四个子块当中的右下子块。
另选地，例如，候选可以包括SbTMVP候选，并且权重索引信息可以基于关于并置块中的每个子块的权重索引信息来推导。即，关于SbTMVP候选的权重索引信息可以基于关于并置块中的每个子块的权重索引信息来推导。
在操作S1750中，解码设备可以基于预测样本和残差样本来生成重构样本。例如，解码设备可以基于预测样本和残差样本来生成重构样本，并且可以基于重构样本来推导重构块和重构图片。
例如，解码设备可以通过解码比特流或编码信息来获得包括上述多条信息(或语法元素)中的全部或部分的视频/图像信息。另外，比特流或编码信息可以被存储在计算机可读存储介质中，并可以致使执行上述解码方法。
尽管已经基于在上述实施方式中顺序列出步骤或块的流程图描述了方法，但本文献的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，TV、计算机、智能电话、机顶盒、显示装置等)中。
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
另外，应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院系统、智能手机、平板PC和数字视频记录仪(DVR)。
另外，应用本文献的实施方式的处理方法可以以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本文献的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
另外，本文献的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
图19表示可以应用本文献的实施方式的内容流传输系统的示例。
参照图19，应用本文献的实施方式的内容流传输系统可以通常包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流传输系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流传输系统中的各个设备之间的命令/响应。
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。

Claims (15)

1.一种由解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
通过比特流获得包括帧间预测模式信息和残差信息的图像信息；
基于所述残差信息来生成残差样本；
基于所述帧间预测模式信息来生成当前块的合并候选列表；
从所述合并候选列表中所包括的候选当中选择一个候选；
基于所选择的所述候选来生成所述当前块的L0预测样本和L1预测样本；
通过基于所选择的所述候选的权重索引信息对所述L0预测样本和所述L1预测样本求加权平均来生成预测样本；以及
基于所述预测样本和所述残差样本来生成重构样本，
其中，所述候选包括仿射合并候选，
其中，所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者，
其中，所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导，
其中，所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导，
其中，所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导，并且
其中，当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来推导所述仿射合并候选的权重索引信息。
2.根据权利要求1所述的图像解码方法，
其中，所述CP0的权重索引信息对应于所述当前块的所述左上邻近块、所述第一左邻近块和所述第一上邻近块当中的用于推导所述CPMV0的块的权重索引信息。
3.根据权利要求1所述的图像解码方法，
其中，当所述仿射合并候选不包括所述CPMV0而包括所述CPMV1时，基于所述CP1的权重索引信息来推导所述仿射合并候选的权重索引信息。
4.根据权利要求2所述的图像解码方法，
其中，所述CP1的权重索引信息对应于关于所述当前块的所述右上邻近块和所述第二上邻近块当中的用于推导所述CPMV1的块的权重索引信息。
5.根据权利要求1所述的图像解码方法，
其中，所述候选包括成对候选，并且基于所述合并候选列表中的第一候选和第二候选来推导所述成对候选，
其中，基于所述第一候选的权重索引信息来推导所述成对候选的权重索引信息。
6.根据权利要求1所述的图像解码方法，其中，所述候选包括成对候选，并且基于所述合并候选列表中的第一候选和第二候选来推导所述成对候选，
其中，当所述第一候选的权重索引信息与所述第二候选的权重索引信息彼此相同时，基于所述第一候选的权重索引信息来推导所述成对候选的权重索引信息，
其中，当所述第一候选的权重索引信息与所述第二候选的权重索引信息不相同时，基于默认权重索引信息来推导所述成对候选的权重索引信息，并且
其中，所述默认权重索引信息对应于用于给所述L0预测样本和所述L1预测样本中的每一个赋予相同权重的权重索引信息。
7.根据权利要求1所述的图像解码方法，
其中，所述候选包括成对候选，并且基于所述合并候选列表中的第一候选和第二候选来推导所述成对候选，
其中，当所述第一候选的权重索引信息与所述第二候选的权重索引信息彼此相同时，基于所述第一候选的权重索引信息来推导所述成对候选的权重索引信息，
其中，当所述第一候选的权重索引信息与所述第二候选的权重索引信息彼此不相同时，基于所述第一候选的权重索引信息和所述第二候选的权重索引信息当中的并非默认权重索引信息的信息来推导所述成对候选的权重索引信息，并且
其中，所述默认权重索引信息对应于用于给所述L0预测样本和所述L1预测样本中的每一个赋予相同权重的权重索引信息。
8.根据权利要求1所述的图像解码方法，
其中，所述候选包括基于子块的时间运动矢量预测SbTMVP候选，并且
其中，基于所述当前块的左邻近块的权重索引信息来推导所述SbTMVP候选的权重索引信息。
9.根据权利要求1所述的图像解码方法，
其中，所述候选包括基于子块的时间运动矢量预测SbTMVP候选，并且
其中，所述SbTMVP候选的权重索引信息被推导为0。
10.根据权利要求1所述的图像解码方法，
其中，所述候选包括基于子块的时间运动矢量预测SbTMVP候选，
其中，基于并置块中的中心块的权重索引信息来推导所述SbTMVP候选的权重索引信息，
其中，所述并置块包括位于与所述当前块所处的当前图片不同的参考图片中并基于所述当前块的左邻近块的运动矢量来推导的块，并且
其中，所述中心块包括位于所述并置块的中心处的四个子块当中的右下子块。
11.根据权利要求1所述的图像解码方法，
其中，所述候选包括基于子块的时间运动矢量预测SbTMVP候选，
其中，基于并置块中的每个子块的权重索引信息来推导所述SbTMVP候选的权重索引信息，并且
其中，所述并置块包括位于与所述当前块所处的当前图片不同的参考图片中并基于所述当前块的左邻近块的运动矢量来推导的块。
12.根据权利要求1所述的图像解码方法，
其中，所述候选包括时间合并候选，并且
其中，关于所述时间合并候选的权重索引信息被推导为0。
13.根据权利要求1所述的图像解码方法，
其中，所述候选包括时间合并候选，并且
其中，基于并置块的权重索引信息来推导所述时间合并候选的权重索引信息，并且
其中，所述并置块包括与所述当前块所处的当前图片不同的参考图片中的位于与所述当前块的位置相同的位置处的块。
14.一种由编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
确定当前块的帧间预测模式并生成指示所述帧间预测模式的帧间预测模式信息；
基于所述帧间预测模式来生成所述当前块的合并候选列表；
生成指示所述合并候选列表中所包括的候选当中的一个候选的选择信息；
基于所述当前块的残差样本来生成残差信息；以及
对包括所述帧间预测模式信息、所述选择信息和所述残差信息的图像信息进行编码，
其中，所述候选包括仿射合并候选，
其中，所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者，
其中，所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导，
其中，所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导，
其中，所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导，并且
其中，当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来指示所述仿射合并候选的权重索引信息。
15.一种存储致使图像解码设备执行图像解码方法的编码信息的计算机可读存储介质，其中，所述图像解码方法包括以下步骤：
通过比特流获得包括帧间预测模式信息和残差信息的图像信息；
基于所述残差信息来生成残差样本；
基于所述帧间预测模式信息来生成当前块的合并候选列表；
从所述合并候选列表中所包括的候选当中选择一个候选；
基于所选择的所述候选来生成所述当前块的L0预测样本和L1预测样本；
通过基于所选择的所述候选的权重索引信息对所述L0预测样本和所述L1预测样本求加权平均来生成预测样本；以及
基于所述预测样本和所述残差样本来生成重构样本，
其中，所述候选包括仿射合并候选，
其中，所述仿射合并候选包括控制点CP0的CPMV0、控制点CP1的CPMV1和控制点CP2的CPMV2中的至少一者，
其中，所述CPMV0基于所述当前块的左上邻近块、与所述左上邻近块的下侧相邻的第一左邻近块或与所述左上邻近块的右侧相邻的第一上邻近块来推导，
其中，所述CPMV1基于所述当前块的右上邻近块或与所述右上邻近块的左侧相邻的第二上邻近块来推导，
其中，所述CPMV2基于所述当前块的左下邻近块或与所述左下邻近块的上侧相邻的第二左邻近块来推导，并且
其中，当所述仿射合并候选包括所述CPMV0时，基于所述CP0的权重索引信息来推导所述仿射合并候选的权重索引信息。
CN202080059838.1A 2019-06-24 2020-06-24 图像解码方法和用于该图像解码方法的装置 Pending CN114342405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962865964P 2019-06-24 2019-06-24
US62/865,964 2019-06-24
PCT/KR2020/008107 WO2020262901A1 (ko) 2019-06-24 2020-06-24 영상 디코딩 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN114342405A true CN114342405A (zh) 2022-04-12

Family

ID=74060228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059838.1A Pending CN114342405A (zh) 2019-06-24 2020-06-24 图像解码方法和用于该图像解码方法的装置

Country Status (4)

Country Link
US (3) US11483553B2 (zh)
KR (1) KR102644969B1 (zh)
CN (1) CN114342405A (zh)
WO (1) WO2020262901A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114342405A (zh) * 2019-06-24 2022-04-12 Lg电子株式会社 图像解码方法和用于该图像解码方法的装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding
CN107071460A (zh) * 2010-12-14 2017-08-18 M&K控股株式会社 用于编码运动画面的设备
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
KR20180085714A (ko) * 2015-12-17 2018-07-27 삼성전자주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
CN108353166A (zh) * 2015-11-19 2018-07-31 韩国电子通信研究院 用于图像编码/解码的方法和装置
CN109076236A (zh) * 2016-05-13 2018-12-21 高通股份有限公司 用于视频译码的运动矢量预测的合并候选项

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2928744B1 (fr) 2008-03-11 2012-03-16 Essilor Int Serie de lentilles ophtalmiques progressives
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US10506243B2 (en) 2014-03-06 2019-12-10 Samsung Electronics Co., Ltd. Image decoding method and device therefor, and image encoding method and device therefor
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
BR112017019264B1 (pt) * 2015-03-10 2023-12-12 Huawei Technologies Co., Ltd Método de predição de imagem e dispositivo relacionado
KR20210029819A (ko) * 2018-11-16 2021-03-16 삼성전자주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
WO2020116242A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR20210100196A (ko) * 2019-02-14 2021-08-13 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
FI3941060T3 (fi) * 2019-03-12 2023-10-02 Lg Electronics Inc Dmvr:ään ja bdof:ään perustuva keskinäinen ennustusmenetelmä ja -laite
CN117793374A (zh) * 2019-03-12 2024-03-29 Lg电子株式会社 图像编码/解码设备以及发送数据的设备
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
MX2021013977A (es) * 2019-05-15 2022-04-01 Huawei Tech Co Ltd Manejo de herramienta de codificacion de flujo optico bidireccional (bio) para remuestreo de imagenes de referencia en codificacion de video.
WO2020232269A1 (en) * 2019-05-15 2020-11-19 Futurewei Technologies, Inc. Handling of decoder-side motion vector refinement (dmvr) coding tool for reference picture resampling in video coding
KR102627935B1 (ko) * 2019-06-14 2024-01-23 엘지전자 주식회사 쌍 예측(bi-prediction)을 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
WO2020251257A1 (ko) * 2019-06-14 2020-12-17 엘지전자 주식회사 예측 샘플을 생성하기 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
KR102627936B1 (ko) * 2019-06-14 2024-01-23 엘지전자 주식회사 쌍 예측이 적용되는 경우 가중 평균을 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
CN114342405A (zh) * 2019-06-24 2022-04-12 Lg电子株式会社 图像解码方法和用于该图像解码方法的装置
US11336900B2 (en) * 2019-06-26 2022-05-17 Qualcomm Incorporated Combined inter and intra prediction mode for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071460A (zh) * 2010-12-14 2017-08-18 M&K控股株式会社 用于编码运动画面的设备
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding
CN108353166A (zh) * 2015-11-19 2018-07-31 韩国电子通信研究院 用于图像编码/解码的方法和装置
KR20180085714A (ko) * 2015-12-17 2018-07-27 삼성전자주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
CN109076236A (zh) * 2016-05-13 2018-12-21 高通股份有限公司 用于视频译码的运动矢量预测的合并候选项

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018》, 24 December 2018 (2018-12-24), pages 3 *

Also Published As

Publication number Publication date
KR20220003117A (ko) 2022-01-07
US20220150473A1 (en) 2022-05-12
KR20240036121A (ko) 2024-03-19
KR102644969B1 (ko) 2024-03-08
US20240291961A1 (en) 2024-08-29
US20230023030A1 (en) 2023-01-26
US11483553B2 (en) 2022-10-25
WO2020262901A1 (ko) 2020-12-30
US11917131B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
EP3975556A1 (en) Image decoding method for performing inter-prediction when prediction mode for current block ultimately cannot be selected, and device for same
JP7510550B2 (ja) 双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、加重平均のための加重値インデックス情報を導出する画像デコード方法及びその装置
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN114080812A (zh) 使用sbtmvp的基于帧间预测的图像或视频编译
CN114270835A (zh) 基于默认合并模式推导预测样本的图像解码方法及其装置
JP2023154003A (ja) 双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）のための加重値インデックス情報を導出する画像デコード方法及びその装置
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
CN114080814A (zh) 基于运动矢量预测的图像/视频编码方法和装置
CN114208168A (zh) 视频或图像编码系统中的帧间预测
US20240291961A1 (en) Image decoding method and device therefor
JP2024019432A (ja) 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置
CN114342387A (zh) 基于运动预测的图像编译方法和装置
CN114270824A (zh) 用于基于帧间预测编译图像的方法和装置
CN114073078A (zh) 视频/图像编译系统中的语法信令的方法和装置
CN113678455A (zh) 用于导出双预测的权重索引信息的视频或图像编码
CN114375573B (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114097240A (zh) 基于双向预测的图像/视频编码方法和装置
KR102722339B1 (ko) 영상 디코딩 방법 및 그 장치
RU2823775C2 (ru) Способ и устройство декодирования изображения для выведения информации индекса веса для генерации выборки предсказания
US12052424B2 (en) Image/video coding method and device
RU2812840C2 (ru) Способ и устройство декодирования изображения для выведения информации индекса веса для генерации выборки предсказания
CN114982231A (zh) 图像解码方法及用于其的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination