CN114270821A - 包括通过应用确定的预测模式来生成预测样本的图像解码方法及其装置 - Google Patents

包括通过应用确定的预测模式来生成预测样本的图像解码方法及其装置 Download PDF

Info

Publication number
CN114270821A
CN114270821A CN202080059109.6A CN202080059109A CN114270821A CN 114270821 A CN114270821 A CN 114270821A CN 202080059109 A CN202080059109 A CN 202080059109A CN 114270821 A CN114270821 A CN 114270821A
Authority
CN
China
Prior art keywords
mode
merge
prediction
information
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080059109.6A
Other languages
English (en)
Inventor
张炯文
朴婡利
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114270821A publication Critical patent/CN114270821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

根据本文档的实施方式，当当前块的帧间预测类型指示双向预测时，可以推导合并候选列表或子块合并候选列表中的候选的权重索引信息，因此能够增加编码效率。

Description

包括通过应用确定的预测模式来生成预测样本的图像解码方 法及其装置
技术领域
本公开涉及用于通过应用确定的预测模式来生成预测样本的图像解码方法及其设备。
背景技术
最近，在各种领域中对诸如4K或8K超高清(UHD)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
发明内容
技术问题
本公开提供了用于提高图像编码效率的方法和设备。
本公开还提供用于当最终未选择合并模式时基于默认合并模式推导预测样本的方法和设备。
本公开还提供用于通过将常规合并模式应用为默认合并模式来推导预测样本的方法和设备。
技术方案
在一方面中，提供了一种由解码设备执行的图像解码方法。该方法包括：通过比特流获取包括帧间预测模式信息和残差信息的图像信息；基于残差信息生成残差样本；通过应用基于帧间预测模式信息确定的预测模式来生成当前块的预测样本；以及基于预测样本和残差样本来生成重构样本，其中，帧间预测模式信息包括指示合并模式是否可用于当前块的一般合并标志，基于合并模式基于一般合并标志而可用于当前块并且具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将当前块划分为两个分区来执行预测的分割模式(partitioning mode)不可用，常规合并模式被应用，帧间预测模式信息包括指示通过应用常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息，并且使用合并索引信息生成预测样本。
在另一方面中，提供了一种由编码设备执行的图像编码方法。该方法包括：确定当前块的帧间预测模式并且生成指示帧间预测模式的帧间预测模式信息；基于确定的预测模式生成当前块的预测样本；基于当前块的残差样本生成残差信息；以及对包括帧间预测模式信息和残差信息的图像信息进行编码，其中，帧间预测模式信息包括指示合并模式是否可用于当前块的一般合并标志，基于具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将当前块划分为两个分区来执行预测的分割模式不可用而应用常规合并模式。
帧间预测模式信息包括指示通过应用常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息。
在另一方面中，提供了一种存储使图像解码设备执行图像解码方法的编码信息的计算机可读存储介质，其中图像解码方法包括：通过比特流获取包括帧间预测模式信息和残差信息的图像信息；基于残差信息生成残差样本；通过应用基于帧间预测模式信息确定的预测模式来生成当前块的预测样本；以及基于预测样本和残差样本来生成重构样本，其中，帧间预测模式信息包括指示合并模式是否可用于当前块的一般合并标志，基于合并模式基于一般合并标志而可用于当前块并且具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将当前块划分为两个分区来执行预测的分割模式不可用，常规合并模式被应用。
帧间预测模式信息包括指示通过应用常规合并模式生成的合并候选列表中包括的合并候选当中的一个候选的合并索引信息，并且使用合并索引信息生成预测样本。
技术效果
根据本公开，可以提高整体图像/视频压缩效率。
根据本公开，当最终未选择合并模式时，可以通过应用默认合并模式来高效地执行帧间预测。
根据本公开，当最终未选择合并模式时，应用常规合并模式并且基于由合并索引信息指示的候选来推导运动信息，由此高效地执行帧间预测。
附图说明
图1示意性地示出了应用本公开的实施方式的视频/图像编码系统的示例。
图2是示意性地例示可以应用本文档的实施方式的视频/图像编码设备的配置的图。
图3是示意性地例示可以应用本文档的实施方式的视频/图像解码设备的配置的图。
图4是例示基于帧间预测的视频/图像编码方法的示例的图。
图5是示意性例示编码设备中的帧间预测器的图。
图6是例示基于帧间预测的视频/图像解码方法的示例的图。
图7是示意性例示解码设备中的帧间预测器的图。
图8是例示帧间预测中的合并模式的图。
图9是例示帧间预测中的具有运动向量差的合并模式(MMVD)模式的图。
图10a和图10b示例性地示出了用于仿射运动预测的CPMV。
图11示例性地示出了其中以子块为单位确定仿射MVF的情况。
图12是例示帧间预测中的仿射合并模式或子块合并模式的图。
图13是例示仿射合并模式或子块合并模式中的候选的位置的图。
图14是例示帧间预测中的SbTMVP的图。
图15是例示帧间预测中的组合图片间合并和图片内预测(CIIP)模式的图。
图16是例示帧间预测中的分割模式的图。
图17和图18示意性地示出了根据本公开的实施方式的视频/图像编码方法和相关组件的示例。
图19和图20示意性地示出了根据本公开的实施方式的图像/视频解码方法和相关组件的示例。
图21示出了可以应用本公开中公开的实施方式的内容流传输系统的示例。
具体实施方式
本公开可以以各种形式被不同地修改，并且可以具有各种实施方式，并且其特定实施方式将在附图中例示并且被详细描述。然而，这些实施方式不旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而不旨在限制本公开的技术精神。单数的表达包括复数的表达，只要它被清楚地不同地解读。在本说明书中诸如“包括”和“具有”之类的术语旨在用于指示在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合存在，并且因此应当理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
此外，为了便于说明不同的特定功能，本公开中描述的附图的元件被独立地绘制，并且不意味着元件由独立的硬件或独立的软件来实施。例如，元件中的两个或更多个元件可以被组合以形成单个元件，或者一个元件可以被分离成多个元件。其中元件被组合和/或分离的实施方式属于本公开的范围。
本文档涉及视频/图像编码。例如，本文档中公开的方法/实施方式可以应用于通用视频编码(VVC)标准中公开的方法。此外，本文档中公开的方法/实施方式可以应用于在基本视频编码(EVC)标准、AO媒体视频1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。
本文档呈现了与视频/图像编码相关的各种实施方式，并且除非另有说明，否则实施方式可以彼此组合。
在下文中，将参照附图描述本文档的实施方式。在下文中，相同的附图标记可以用于附图中的相同组件，并且可以省略相同组件的重复描述。
图1例示了可以应用本公开的实施方式的视频/图像编码系统的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据发送到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可以包括显示器，并且显示器可被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可以包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可以包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于在通用视频编码(VVC)标准、基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。
本文档提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
在本文档中，视频可以是指随时间推移的一系列图像。图片通常是指在特定时间帧表示一个图像的单元，并且切片/图块是指从编码的角度看构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。
图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的CTU的矩形区域。图块扫描是分割图片的CTU的特定顺序排序，其中CTU在图块中按CTU光栅扫描连续排序，而图片中的图块按图片的图块的光栅扫描连续排序。切片可以包括可以被包括在一个NAL单元中的图片的多个完整图块或一个图块中的多个连续的CTU行。在本文档中，图块组与切片可以被可互换地使用。例如，在本文档中，图块组/图块组头可以被称为切片/切片头。
此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可以包括M列和N行的样本(或样本数组)或变换系数的集合(或数组)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
在本文档中，“A或B(A或B)”可以表示“仅A”、“仅B”或“A和B两者”。换句话说，本文档中的“A或B(A或B)”可以被解释为“A和/或B(A和/或B)”。例如，在本文档中，“A、B或C(A、B或C)”表示“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
在本文档中使用的斜线(/)或逗号可以表示“和/或”。例如，“A/B”可以表示“A和/或B”。因此，“A/B”可以表示“仅A”、“仅B”或“A和B两者”。例如，“A、B、C”可以表示“A、B或C”。
在本文档中，“A和B中的至少一个”可以表示“仅A”、“仅B”或“A和B两者”。此外，在本文档中，表述“A或B中的至少一个”或“A和/或B中的至少一个”可以同样地解释为“A和B中的至少一个”。
此外，在本文档中，“A、B和C中的至少一个”表示“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以表示“A、B和C中的至少一个”。
此外，在本文档中使用的括号可以表示“例如”。具体地，当指示“预测(帧内预测)”时，可以将其称为“帧内预测”作为“预测”的示例提出。换句话说，本文档中的“预测”不限于“帧内预测”，并且“帧内预测”可以被提出为“预测”的示例。另外，即使当指示“预测(即，帧内预测)”时，也可以将其称为“帧内预测”作为“预测”的示例提出。
在本文档中的一个附图中单独描述的技术特征可以单独地或同时地实现。
图2是示意性例示了可以应用本文档的实施方式的视频/图像编码设备的配置的图。下文中，所谓的编码设备可以包括图像编码设备和/或视频编码设备。另外，所谓的图像编码方法/设备可以包括视频编码方法/设备。或者，所谓的视频编码方法/设备可以包括图像编码方法/设备。
参照图2，编码设备200包括图像划分器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像划分器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(DPB)，或者可以由数字存储介质配置。硬件组件还可以包括存储器270作为内部/外部组件。
图像划分器210可以将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(CU)。在这种情况下，编码单元可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可以包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
编码设备200可以从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)以生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所例示的，编码器200中的用于从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并生成包括当前块的预测样本的预测块。预测器可以确定以当前块或CU为单位应用帧内预测还是帧间预测。预测器可以生成诸如预测模式信息这样的关于预测的各种信息，并将所生成的信息发送到熵编码器240，如下面在描述每种预测模式时描述的。关于预测的信息可以被熵编码器240编码并以比特流的形式输出。
帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。例如，非定向模式可以包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可以包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器222可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上运动向量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可相同或不同。时间相邻块可被称为并置参考块、并置CU(colCU)等，并且包括时间相邻块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可以基于相邻块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，相邻块的运动向量可用作运动向量预测器，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于以下将描述的各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。也就是说，IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来发信号通知图片中的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者可以用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loeve变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT是指当按曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小与正方形相同的像素的块，或者可以应用于大小可变而非正方形的块。
量化器233对变换系数进行量化并且将其发送到熵编码器240，并且熵编码器240对量化后的信号(关于量化变换系数的信息)进行编码并将编码后的信号作为比特流输出。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块形式的量化变换系数重新布置成一维向量形式，并可以基于一维向量形式的量化变换系数来生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponentialGolomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)这样的各种编码方法。熵编码器240可以将对除量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)一起或单独地进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文档中，从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送，或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD这样的各种存储介质。用于发送或存储从熵编码器240输出的信号的发送单元(未示出)和/或存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元可以被包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如，可以通过利用解量化器234和逆变换单元235对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250可以将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本数组)。当没有处理目标块的残差时，诸如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为恢复单元或恢复块生成器。所生成的重构信号可以用于当前图片中的下一处理目标块的帧内预测，并可以在如下所述的滤波之后用于下一图片的帧间预测。
此外，可以在图片编码和/或重构处理期间应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息，并将所生成的信息传送到熵编码器240，如随后描述每种滤波方法时描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式被输出。
发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
存储器270的DPB可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
此外，在本文档中，量化/解量化和/或变换/逆变换中的至少一个可以被省略。当量化/解量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，仍可以被称为变换系数。
另外，在本文档中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编码语法发信号通知。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文档的其他部分中应用/表达。
图3是示意性说明了可以应用本文档的公开内容的视频/图像解码设备的配置的图。
参照图3，解码设备300可以包括并配置有熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧内预测器331和帧间预测器332。残差处理器320可以包括解量化器321和逆变换器322。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)，并可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2中例示的编码设备中处理视频/图像信息的处理而重构图像。例如，解码设备300可以基于与从比特流获取的块分割相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此，用于解码的处理单元例如可以是编码单元，并且可以从编码树单元或最大编码单元根据四叉树结构、二叉树结构和/或三叉树结构分割出编码单元。可以从编码单元推导一个或更多个变换单元。另外，可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导出图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文档中描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获得。例如，熵解码器310基于诸如指数哥伦布编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)这样的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素和针对残差的变换系数的量化值。更具体地，CABAC熵解码方法可以在比特流中接收与每个语法元素对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以通过在确定上下文模型之后，使用针对下一个符号/bin的上下文模型的解码符号/bin的信息来更新上下文模型。由熵解码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且关于在熵解码器310中被执行了熵解码的残差值(即，量化变换系数和相关的参数信息)可以输入到残差处理器320。
解量化器321可以将量化后的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行解量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可以确定特定帧内/帧间预测模式。
预测器330可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(SCC)。IBC可以基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。也就是说，IBC可以使用本文档中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的附近，或者其位置可以与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定将应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括关于帧间预测方向(L0预测、L1预测、Bi预测等)的信息。在帧间预测的情况下，相邻块可以包括当前图片中存在的空间相邻块和参考图片中存在的时间相邻块。例如，帧间预测器332可以基于相邻块来构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果没有处理目标块的残差(诸如，应用跳过模式的情况)，则预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
此外，带有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器332，以便被用作空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与滤波器350、帧间预测器332和帧内预测器331相等或对应地应用。
此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。据此，可以生成包括用于作为待编码块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。在编码设备和解码设备中以相同的方式推导预测块，并且编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值发信号通知给解码设备，由此提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，将残差块和预测块相加以生成包括重构样本的重构块，并生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本数组)执行变换过程以推导变换系数，对变换系数执行量化过程以推导量化变换系数，并(通过比特流)向解码设备发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行解量化/逆变换过程，并推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外，为了供后面的图片的帧间预测参考，编码设备还可以对量化变换系数进行解量化/逆变换，以推导残差块并基于此来生成重构图片。
此外，各种帧间预测模式可以用于图片内的当前块的预测。例如，可以使用诸如合并模式、跳过模式、运动向量预测(MVP)模式、仿射模式、子块合并模式、具有MVD的合并(MMVD)模式等的各种模式。解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率(AMVR)模式、具有CU级权重(BCW)的双向预测、双向光流(BDOF)等可以附加地或另选地用作辅助模式。仿射模式可以被称作仿射运动预测模式。MVP模式可被称作高级运动向量预测(AMVP)模式。在本公开中，一些模式和/或由一些模式推导的运动信息候选可以包括为其它模式的运动信息相关候选中的一个。例如，HMVP候选可以作为合并/跳过模式的合并候选添加，或可以作为MVP模式的mvp候选添加。
可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的帧间预测模式信息。帧间预测模式信息可以被包括在比特流中并且在解码设备处被接收。帧间预测模式信息可以包括指示多种候选模式中的一种的索引信息。另外，可以通过标志信息的分级信令来指示帧间预测模式。在这种情况下，帧间预测模式信息可以包括一个或更多个标志。例如，可以通过发信号通知跳过标志来指示是否应用跳过模式；对于未应用跳过模式，可以通过发信号通知合并标志来指示是否应用合并模式；并且当不应用合并模式时可以指示应用MVP模式或者还可以发信号通知用于进一步分割的标志。仿射模式可以作为独立模式被发信号通知，或者可以作为取决于合并模式、MVP模式等的模式被发信号通知。例如，仿射模式可以包括仿射合并模式和仿射MVP模式。
此外，可以向当前块发信号通知指示在当前块(当前编码单元)中是否使用上述的list0(L0)预测、list1(L1)预测或双向预测的信息。该信息可以被称为运动预测方向信息、帧间预测方向信息或帧间预测指示信息，并且可以以例如inter_pred_idc语法元素的形式被构造/编码/发信号通知。也就是说，inter_pred_idc语法元素可以指示是否对当前块(当前编码单元)使用上述的list0(L0)预测、list1(L1)预测或双向预测。在本公开中，为了便于描述，由inter_pred_idc语法元素指示的帧间预测类型(L0预测、L1预测或BI预测)可以被表示为运动预测方向。可以用pred_L0表示L0预测；可以用pred_L1表示L1预测；并且可以用pred_BI表示双向预测。例如，以下预测类型可以根据inter_pred_idc语法元素的值来指示。
如上所述，一个图片可以包括一个或更多个切片。切片可以具有包括帧内(I)切片、预测(P)切片和双向预测(B)切片的切片类型之一。可以基于切片类型信息来指示切片类型。对于I切片中的块，帧间预测不用于预测，而只能使用帧内预测。当然，即使在这种情况下，原始样本值也可以在不进行预测的情况下被编码和发信号通知。对于P切片中的块，可以使用帧内预测或帧间预测，并且当使用帧间预测时，可以仅使用单向预测。此外，对于B切片中的块，可以使用帧内预测或帧间预测，并且当使用帧间预测时，可以使用多达最大双向预测。
L0和L1可以包括在当前图片之前被编码/解码的参考图片。例如，L0可以包括按POC顺序在当前图片之前和/或之后的参考图片，并且L1可以包括按POC顺序在当前图片之后和/或之前的参考图片。在这种情况下，相对于按POC顺序早于当前图片的参考图片较低的参考图片索引可以被分配给L0，并且相对于按POC顺序晚于当前图片的参考图片较低的参考图片索引可以被分配给L1。在B切片的情况下，可以应用双向预测，并且在这种情况下，可以应用单向的双向预测，或者可以应用双向的双向预测。双向的双向预测可以被称为真实双向预测。
例如，关于当前块的帧间预测模式的信息可以以CU(CU语法)级等被编码和发信号通知，或者可以根据条件来隐式地确定。在这种情况下，一些模式可以被显式地发信号通知，而其它模式可以被隐式地推导。
例如，CU语法可以载送关于(帧间)预测模式的信息等。CU语法可以如下表1所示。
[表1]
Figure BDA0003512533900000171
Figure BDA0003512533900000181
Figure BDA0003512533900000191
Figure BDA0003512533900000201
Figure BDA0003512533900000211
在表1中，cu_skip_flag可以指示跳过模式是否应用于当前块(CU)。
pred_mode_flag等于0可以指定当前编码单元以帧间预测模式编码。pred_mode_flag等于1可以指定当前编码单元以帧内预测模式编码。
pred_mode_IBC_flag等于1可以指定当前编码单元以IBC预测模式编码。pred_mode_IBC_flag等于0可以指定当前编码单元未以IBC预测模式编码。
pcm_flag[x0][y0]等于1可以指定pcm_sample()语法结构存在且transform_tree()语法结构不存在于包括位置(x0，y0)处的亮度编码块的编码单元中。pcm_flag[x0][y0]等于0可以指定不存在pcm_sample()语法结构。也就是说，pcm_flag可以表示脉冲编码调制(PCM)模式是否应用于当前块。如果PCM模式应用于当前块，则不应用预测、变换、量化等，并且可以编码并发信号通知当前块中的原始样本的值。
intra_mip_flag[x0][y0]等于1可以指定亮度样本的帧内预测类型是基于矩阵的帧内预测(MIP)。intra_mip_flag[x0][y0]等于0可以指定亮度样本的帧内预测类型不是基于矩阵的帧内预测。也就是说，intra_mip_flag可以表示MIP预测模式(类型)是否应用于当前块的(亮度样本)。
intra_chroma_pred_mode[x0][y0]可以指定当前块中的色度样本的帧内预测模式。
general_merge_flag[x0][y0]可以指定从相邻经帧间预测分区推断当前编码单元的帧间预测参数。也就是说，general_merge_flag可以表示一般合并可用，并且当general_merge_flag的值为1时，常规合并模式、MMVD模式和合并子块模式(subblockmerge mode)可以是可用的。例如，当general_merge_flag的值为1时，可以从编码视频/图像信息(或比特流)解析合并数据语法，并且合并数据语法被配置/编码以包括如下表2所示的信息。
[表2]
Figure BDA0003512533900000221
在表2中，regular_merge_flag[x0][y0]等于1可以指定使用常规合并模式来生成当前编码单元的帧间预测参数。也就是说，regular_merge_flag可以表示合并模式(常规合并模式)是否应用于当前块。
mmvd_merge_flag[x0][y0]等于1可以指定具有运动向量差的合并模式用于生成当前块的帧间预测参数。也就是说，mmvd_merge_flag表示MMVD是否应用于当前块。
mmvd_cand_flag[x0][y0]可以指定是合并候选列表中的第一(0)候选还是第二(1)候选与从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]推导的运动向量差一起使用。
mmvd_distance_idx[x0][y0]可以指定用于推导MmvdDistance[x0][y0]的索引。
mmvd_direction_idx[x0][y0]可以指定用于推导MmvdSign[x0][y0]的索引。
merge_block_flag[x0][y0]可以指定用于当前块的基于子块的帧间预测参数。也就是说，merge_subblock_flag可以表示子块合并模式(或仿射合并模式)是否应用于当前块。
merge_block_idx[x0][y0]可以指定基于子块的合并候选列表的合并候选索引。
ciip_flag[x0][y0]可以指定组合图片间合并和图片内预测(CIIP)是否应用于当前编码单元。
merge_triangle_idx0[x0][y0]可以指定基于三角形形状的运动补偿候选列表的第一合并候选索引。
merge_triangle_idx1[x0][y0]可以指定基于三角形形状的运动补偿候选列表的第二合并候选索引。
merge_idx[x0][y0]可以指定合并候选列表的合并候选索引。
此外，返回参考CU语法，mvp_l0_flag[x0][y0]可以指定列表0的运动向量预测符索引。也就是说，当应用MVP模式时，mvp_l0_flag可以表示来自MVP候选列表0的被选择用于当前块的MVP推导的候选。
ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0和列表0可以分别由l1和列表1替代。
inter_pred_idc[x0][y0]可以指定list0、list1或双向预测是否用于当前编码单元。
sym_mvd_flag[x0][y0]等于1可以指定不存在语法元素ref_idx_l0[x0][y0]和ref_idx_l1[x0][y0]以及用于等于1的RefList的mvd_coding(x0，y0，reflist，cIdx)语法结构。也就是说，sym_mvd_flag表示在mvd编码中是否使用对称MVD。
ref_idx_l0[x0][y0]可以指定当前块的列表0参考图片索引。
ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0、L0和列表0分别由l1、L1和列表1替代。
inter_affine_flag[x0][y0]等于1可以指定在解码P或B切片时使用基于仿射模型的运动补偿来生成当前块的预测样本。
cu_affine_type_flag[x0][y0]等于1可以指定对于当前编码单元，当解码P或B切片时，基于6参数仿射模型的运动补偿用于生成当前编码单元的预测样本。等于0的cu_affine_type_flag[x0][y0]可以指定基于4参数仿射模型的运动补偿用于生成当前块的预测样本。
amvr_flag[x0][y0]可以指定运动向量差的分辨率。阵列索引x0、y0指定所考虑的编码块的左上亮度样本相对于图片的左上亮度样本的位置(x0，y0)。amvr_flag[x0][y0]等于0可以指定运动向量差的分辨率为亮度样本的1/4。amvr_flag[x0][y0]等于1可以指定运动向量差的分辨率还由amvr_precision_flag[x0][y0]指定。
amvr_precision_flag[x0][y0]等于0可以指定：如果inter_affine_flag[x0][y0]等于0，则运动向量差的分辨率为一整个亮度样本，否则为亮度样本的1/16。amvr_precision_flag[x0][y0]等于1可以指定：如果inter_affine_flag[x0][y0]等于0，则运动向量差的分辨率为四个亮度样本，否则为一整个亮度样本。
bcw_idx[x0][y0]可以指定具有CU权重的双向预测的权重索引。
图4示出了基于帧间预测的视频/图像编码方法的示例，并且图5是示意性示出编码设备中的帧间预测器的示例。图5的编码设备中的帧间预测器可以与上述图2的编码设备200的帧间预测器221相同或对应地应用。
参照图4和图5，编码设备对当前块执行帧间预测(S400)。编码设备可以推导当前块的帧间预测模式和运动信息，并生成当前块的预测样本。这里，用于确定帧间预测模式、推导运动信息并生成预测样本的过程可以被同时执行，或者可以在执行另一过程之前执行一个过程。
例如，编码设备的帧间预测器221可以包括预测模式确定器221_1、运动信息推导器221_2和预测样本推导器221_3，并且预测模式确定器221_1可以确定当前块的预测模式，运动信息推导器221_2可以推导当前块的运动信息，并且预测样本推导器221_3可以推导当前块的预测样本。例如，编码设备的帧间预测器221可以通过运动估计在参考图片的预定区域(搜索区域)内搜索与当前块相近的块，并且可以推导与当前块的差异是最小的或者为预定参考或更少的参考块。基于此，可以推导出指示参考块所位于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差异来推导运动向量。编码设备可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的率失真RD成本进行比较，并确定当前块的最佳预测模式。
例如，当向当前块应用跳过模式或合并模式时，编码设备可以构造下面要描述的合并候选列表，并推导由合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异是最小的或者为预定参考或更少的参考块。在这种情况下，可以选择与推导出的参考块关联的合并候选，并且可以生成并向解码设备发信号通知指示所选择的合并候选的合并索引信息。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。
作为另一示例，当向当前块应用(A)MVP模式时，编码设备构造下面要描述的(A)MVP候选列表，并且使用(A)MVP候选列表中所包括的运动向量预测符(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计推导出的参考块的运动向量可以被用作当前块的运动向量，并且在mvp候选当中的具有与当前块的运动向量的差异最小的运动向量的mvp候选可以是所选择的mvp候选。可以推导出作为通过从当前块的运动向量中减去mvp而获得的差的运动向量差(MVD)。在这种情况下，可以将关于MVD的信息发信号通知给解码设备。另外，当应用(A)MVP模式时，参考图片索引的值可以被构造为参考图像索引信息并且被单独地发信号通知给解码设备。
编码设备可以基于预测样本来推导残差样本(S410)。编码设备可以通过比较当前块的原始样本与预测样本来推导残差样本。
编码设备对包括预测信息和残差信息的图像信息进行编码(S420)。编码设备可以以比特流形式输出编码后的图像信息。预测信息是与预测过程相关的信息，并可以包括预测模式信息(例如，跳过标志、合并标志或模式索引等)和运动信息。关于运动信息的信息可以包括作为用于推导运动向量的信息的候选选择信息(例如，合并索引)。另外，关于运动信息的信息可以包括指示是应用L0预测、L1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被传输到解码设备，或者可以通过网络被传输到解码设备。
另外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是因为，编码设备可以推导与在由解码设备执行的预测结果相同的预测结果，并且据此，可以提高编码效率。因此，编码设备可以将重构图片(或重构样本、重构块)存储在存储器中，并使用重构图片作为用于帧间预测的参考图片。如上所述，还可以向重构图片应用环路内滤波过程。
图6示出了基于帧间预测的视频/图像解码方法的示例，并且图7是示意性示出解码设备中的帧间预测器的示例。图7的解码设备中的帧间预测器可以与上述图3的解码设备300的帧间预测器332相同或对应地应用。
参照图6和图7，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行预测，并推导预测样本。
具体地，解码设备可以基于接收到的预测信息来确定当前块的预测模式(S600)。解码设备可以基于预测信息中的预测模式信息来确定要向当前块应用哪种帧间预测模式。
帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括后面要描述的各种帧间预测模式。
解码设备基于所确定的帧间预测模式来推导当前块的运动信息(S610)。例如，当向当前块应用跳过模式或合并模式时，解码设备可以配置合并候选列表，并从合并候选列表中所包括的合并候选当中选择一个合并候选。可以基于上述选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
作为另一示例，当向当前块应用(A)MVP模式时，解码设备可以构造(A)MVP候选列表，并且使用(A)MVP候选列表中所包括的运动向量预测符(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的mvp和MVD来推导当前块的运动向量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片推导为当前块的帧间预测所参考的参考图片。
此外，如将在下面描述的，可以在不配置候选列表的情况下推导当前块的运动信息。在这种情况下，可以根据后面要描述的预测模式中公开的过程来推导当前块的运动信息。在这种情况下，可以省略如上所述的候选列表的配置。
解码设备可以基于当前块的运动信息来生成当前块的预测样本(S620)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以使用参考图片上的当前块的运动向量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，在某些情况下，还可以对当前块的预测样本中的全部或一些执行预测样本滤波过程。
例如，解码设备的帧间预测器332可以包括预测模式确定器332_1、运动信息推导器332_2和预测样本推导器332_3，并且预测模式确定器332_1可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导器332_2可以基于接收到的关于运动信息的信息来推导当前块的运动信息(运动向量和/或参考图片索引等)，并且预测样本推导器332_3可以推导当前块的预测样本。
解码设备基于接收到的残差信息来生成当前块的残差样本(S630)。解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并可以基于此来生成重构图片(S640)。此后，如上所述，还可以向重构图片应用环路内滤波过程。
如上所述，帧间预测过程可以包括确定帧间预测模式的步骤、根据所确定的预测模式来推导运动信息的步骤以及基于推导出的运动信息来执行预测(预测样本的生成)的步骤。帧间预测过程可以由如上所述的编码设备和解码设备执行。
此外，在推导当前块的运动信息时，基于空间相邻块和时间相邻块来推导运动信息候选，并且基于推导出的运动信息候选，可以选择当前块的运动信息候选。在这种情况下，所选择的运动信息候选可以被用作当前块的运动信息。
图8是例示帧间预测中的合并模式的图。
当应用合并模式时，不直接发送当前预测块的运动信息，而使用相邻预测块的运动信息来推导当前预测块的运动信息。因此，可以通过发送指示使用合并模式的标志信息和指示使用附近哪个预测块的合并索引来指示当前预测块的运动信息。合并模式可以被称为常规合并模式。
为了执行合并模式，编码设备需要搜索用于推导关于当前预测块的运动信息的合并候选块。例如，可以使用多达五个合并候选块，但本公开的实施方式不限于此。另外，可以在切片头或图块组头中发送最大数目的合并候选块，但本公开的实施方式不限于此。在找到合并候选块之后，编码设备可以生成合并候选列表，并可以在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开可以提供构成合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。作为具体示例，在空间合并候选的情况下，图4中例示的块可以被用作空间合并候选。下文中，随后将描述的空间合并候选或空间MVP候选可以被称为SMVP，并且随后将描述的时间合并候选或时间MVP候选可以被称为TMVP。
例如，可以基于以下过程来构造当前块的合并候选列表。
编码设备(编码设备/解码设备)可以将通过搜索当前的空间相邻块而推导出的空间合并候选插入到合并候选列表中。例如，空间相邻块可以包括当前块的左下角相邻块、左相邻块(A1)、右上角相邻块、上相邻块和左上角相邻块。然而，这是示例，并且除了上述的空间相邻块之外，诸如右相邻块、下相邻块和右下相邻块这样的附加相邻块可以进一步被用作空间相邻块。编码设备可以通过基于优先级搜索空间相邻块来检测可用块，并可以将检测到的块的运动信息推导为空间合并候选。例如，编码设备或解码设备可以被配置为按A1->B1->B0->A0->B2的顺序搜索图8中例示的五个块，并且可以通过依次对可用候选编索引来配置合并候选列表。
编码设备可以搜索当前块的时间相邻块，并且将推导出的时间合并候选插入到合并候选列表中。时间相邻块可以处于作为与当前块所处的当前图片不同的图片的参考图片处。时间相邻块所处的参考图片可以被称为并置的图片或并置图片。可以在并置图片上按当前块的共位块的右下角相邻块和右下中心块的顺序搜索时间相邻块。此外，当应用运动数据压缩时，特定运动信息可以作为代表性运动信息存储在并置图片中的每个预定存储单元中。在这种情况下，不需要将关于所有块的运动信息存储在预定存储单元中，据此，可以获得运动数据压缩效果。在这种情况下，预定存储单元可以被预定为例如16×16个样本的单元或8×8个样本的单元，或者可以将关于预定存储单元的大小信息从编码设备发信号通知给解码设备。当应用运动数据压缩时，关于时间相邻块的运动信息可以替换为时间相邻块所处的预定存储单元上的代表性运动信息。也就是说，在这种情况下，从实现方式的角度看，作为处于时间相邻块的坐标处的预测块的替代，可以基于覆盖在基于时间相邻块的坐标(左上样本位置)算术右移达一定值之后的算术左移位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n×2n样本的单元时，如果时间相邻块的坐标是(xTnb，yTnb)，则关于处于校正后位置((xTnb>>n)<<n),(yTnb>>n)<<n))处的预测块的运动信息可以被用于时间合并候选。具体地，当预定存储单元是16×16样本的单元时，如果时间相邻块的坐标是(xTnb，yTnb)，则关于处于校正后位置((xTnb>>4)<<4),(yTnb>>4)<<4))处的预测块的运动信息可以被用于时间合并候选。另选地，当预定存储单元是8×8样本的单元时，如果时间相邻块的坐标是(xTnb，yTnb)，则关于处于校正后位置(xTnb>>3)<<3),(yTnb>>3)<<3))处的预测块的运动信息可以被用于时间合并候选。
编码设备可以检查当前合并候选的数目是否小于最大合并候选数目。最大合并候选数目可以是预先定义的，或者被从编码设备发信号通知给解码设备。例如，编码设备可以生成关于最大合并候选数目的信息并对其进行编码，并将信息以比特流的形式发送到解码器。当最大合并候选数目已满时，可以不进行后续的候选添加过程。
作为检查的结果，当当前合并候选数目少于最大合并候选数目时，编码设备可以将附加的合并候选插入合并候选列表中。例如，附加合并候选可以包括随后将描述的基于历史的合并候选、成对平均合并候选、ATMVP、组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型B时)和/或零向量合并候选中的至少一个。
作为检查的结果，当当前合并候选数目不小于最大合并候选数目时，编码设备可以终止合并候选列表的构造。在这种情况下，编码设备可以基于速率失真(RD)成本从构成合并候选列表的合并候选当中选择最优合并候选，并将指示所选择的合并候选的选择信息(例如，合并索引)发信号通知给解码设备。解码设备可以基于合并候选列表和选择信息来选择最优合并候选。
如上所述，关于所选择的合并候选的运动信息可以被用作关于当前块的运动信息，并且可以基于关于当前块的运动信息来推导当前块的预测样本。编码设备可以基于预测样本来推导当前块的残差样本，并可以将关于残差样本的残差信息发信号通知给解码设备。如上所述，解码设备可以基于以残差信息和预测样本为基础推导出的残差样本来生成重构样本，并可以基于此来生成重构图片。
当应用跳过模式时，可以按与应用合并模式时相同的方式来推导关于当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残留信号，因此，预测样本可以被直接用作重构样本。例如，当cu_skip_flag语法元素的值为1时，可以应用跳过模式。
图9是例示帧间预测中的具有运动向量差的合并模式(MMVD)模式的图。
MMVD模式为将运动向量差(MVD)应用于其中直接使用推导以生成当前块的预测样本的运动信息的合并模式的方法。
例如，可以发信号通知指示是否使用用于当前块(即，当前CU)的MMVD的MMVD标志(例如，mmvd_flag)，并且可以基于此MMVD标志执行MMVD。当将MMVD应用于当前块时(例如，当mmvd_flag为1时)，可以发信号通知关于MMVD的附加信息。
这里，关于MMVD的附加信息可以包括指示在合并候选列表中是第一候选还是第二候选与MVD一起使用的合并候选标志(例如，mmvd_cand_flag)、用于指示运动量值的距离索引(例如，mmvd_distance_idx)、和用于指示运动方向的方向索引(例如，mmvd_direction_idx)。
在MMVD模式中，可以使用合并候选列表中的候选当中的位于第一条目和第二条目中的两个候选(即，第一候选或第二候选)，并且可以使用两个候选中的一个(即，第一候选或第二候选)作为基础MV。例如，可以发信号通知合并候选标志(例如，mmvd_cand_flag)以指示合并候选列表中的两个候选中的任何一个(即，第一候选或第二候选)。
另外，距离索引(例如，mmvd_distance_idx)可以指示运动大小信息并且可以指示距起始点的预定偏移。参照图9，可以将偏移添加到起始运动向量的水平分量或垂直分量。距离索引和预定偏移之间的关系可以如下表3中所示。
[表3]
Figure BDA0003512533900000311
参照表3，可以根据距离索引(例如，mmvd_distance_idx)的值来确定MVD的距离(例如，MmvdDistance)，并且可以基于slice_fpel_mmvd_enabled_flag的值而使用整数样本精度或分数样本精度来推导MVD的距离(例如，MmvdDistance)。例如，slice_fpel_mmvd_enabled_flag等于1可以指示在当前切片中使用整数样本为单位来推导MVD的距离，并且slice_fpel_mmvd_enabled_flag等于0可以指示在当前切片中使用分数样本为单位推导MVD的距离。
另外，方向索引(例如，mmvd_direction_idx)指示MVD相对于起始点的方向，并且可以指示四个方向，如下表4所示。在此情况下，MVD的方向可以指示MVD的符号(sign)。方向索引与MVD码之间的关系可以表示为如下表4所示。
[表4]
mmvd_direction_idx[x0][y0] MmvdSign[x0][y0][0] MmvdSign[x0][y0][1]
0 +1 0
1 -1 0
2 0 +1
3 0 -1
参照表4，可以根据方向索引(例如，mmvd_direction_idx)的值确定MVD的符号(例如，MmvdSign)，并且可以针对L0参考图片和L1参考图片推导MVD的符号(例如，MmvdSign)。
基于上文所描述的距离索引(例如，mmvd_distance_idx)和方向索引(例如，mmvd_direction_idx)，可以计算MVD的偏移，如下式1所示。
[式1]
MmvdOffset[x0][y0][0]＝(MmvdDistance[x0][y0]＜＜2)*MmvdSign[x0][y0][0]
MmvdOffset[x0][y0][1]＝(MmvdDistance[x0][y0]＜＜2)*MmvdSign[x0][y0][1]
也就是说，在MMVD模式中，从基于相邻块推导的合并候选列表的合并候选当中选择由合并候选标志(例如，mmvd_cand_flag)指示的合并候选，并且可以将所选择的合并候选用作基础候选(例如，MVP)。另外，当前块的运动信息(即，运动向量)可以通过基于基础候选添加使用距离索引(例如，mmvd_distance_idx)和方向索引(例如，mmvd_direction_idx)推导的MVD而推导出。
图10a和图10b示出了用于仿射运动预测的CPMV。
常规地，可以只使用一个运动向量来表示编码块的运动。也就是说，使用平移运动模型。然而，尽管该方法可以表示以块为单位的最优运动，但它实际上不是每个样本的最优运动，并且如果可以以样本为单位确定最优运动向量，则可以增加编码效率。为此目的，可以使用仿射运动模型。用于使用仿射运动模型的编码的仿射运动预测方法可以如下。
仿射运动预测方法可以使用两个、三个或四个运动向量来表示以块的每个样本为单位的运动向量。例如，仿射运动模型可以表示四种类型的运动。表示仿射运动模型可以表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似性(或简化的)仿射运动模型。然而，仿射运动模型不限于上述运动模型。
仿射运动预测可以使用两个或更多个控制点运动向量(CPMV)来确定块中所包括的样本位置的运动向量。在这种情况下，运动向量的集合可以被称为仿射运动向量场(MVF)。
例如，图10a可以示出可以被称为4参数仿射模型的使用两个CPMV的情况。在这种情况下，例如，样本位置(x，y)处的运动向量可以被确定为例如式2。
[式2]
Figure BDA0003512533900000321
例如，图10b可以示出可以被称为6参数仿射模型的使用三个CPMV的情况。
在这种情况下，例如，样本位置(x,y)处的运动向量可以被确定为例如式3。
[式3]
Figure BDA0003512533900000331
在式2和式3中，{vx,vy}可以表示位置(x,y)处的运动向量。另外，{v0x,v0y}可以指示在编码块的左上角位置处的控制点(CP)的CPMV，并且{v1x,v1y}可以指示在右上角位置处的CP的CPMV，{v2x,v2y}可以指示左下角位置处的CP的CPMV。另外，W可以指示当前块的宽度，并且H可以指示当前块的高度。
图11示例性例示了其中以子块为单位确定仿射MVF的情况。
在编码/解码处理中，可以以样本或预定义的子块为单位来确定仿射MVF。例如，当以样本为单位确定仿射MVF时，可以基于每个样本值来获得运动向量。另选地，例如，当以子块为单位确定仿射MVF时，可以基于子块的中心(即，中心的右下侧，即，中心四个样本当中的右下样本)的样本值来获得对应块的运动向量。也就是说，在仿射运动预测中，可以以样本或子块为单位推导当前块的运动向量。
在图11的情况下，仿射MVF是以4×4子块为单位确定的，但子块的大小可以被不同地修改。
也就是说，当仿射预测可用时，适用于当前块的三个运动模型可以包括平移运动模型、4参数仿射运动模型和6参数仿射运动模型。平移运动模型可以表示使用现有块单元运动向量的模型，4参数仿射运动模型可以表示使用两个CPMV的模型，并且6参数仿射运动模型可以表示使用三个CPMV的模型。
此外，仿射运动预测可以包括仿射MVP(或仿射帧间)模式或仿射合并模式。
图12是例示帧间预测中的仿射合并模式或子块合并模式的图。
例如，在仿射合并模式中，可以根据通过仿射运动预测编码的相邻块的仿射运动模型来确定CPMV。例如，可以将按搜索顺序编码为仿射运动预测的相邻块用于仿射合并模式。也就是说，当在仿射运动预测中对相邻块中的至少一个进行编码时，可以在仿射合并模式下对当前块进行编码。这里，细化的合并模式可以被称为AF_MERGE。
当应用仿射合并模式时，可以使用相邻块的CPMV来推导当前块的CPMV。在这种情况下，相邻块的CPMV可以被原样地用作当前块的CPMV，并且相邻块的CPMV可以基于相邻块的大小和当前块的大小来修改，并且被用作当前块的CPMV。
另一方面，在以子块为单位推导运动向量(MV)的仿射合并模式的情况下，这可以被称为子块合并模式，子块合并模式可以基于子块合并标志(或merge_subblock_flag语法元素)来指示。另选地，当merge_subblock_flag语法元素的值为1时，可以指示应用子块合并模式。在这种情况下，随后将描述的仿射合并候选列表可以被称为子块合并候选列表。在这种情况下，子块合并候选列表还可以包括随后将描述的通过SbTMVP来推导的候选。在这种情况下，通过SbTMVP来推导的候选可以被用作子块合并候选列表的索引0的候选。换句话说，从SbTMVP推导的候选在子块合并候选列表中可以处于随后将描述的继承的仿射候选或构造的仿射候选之前。
当应用仿射合并模式时，可以构造仿射合并候选列表以推导出当前块的CPMV。例如，仿射合并候选列表可以包括以下候选中的至少一个。1)继承的仿射合并候选。2)构造的仿射合并候选。3)零运动向量候选(或零向量)。这里，继承的仿射合并候选是当以仿射模式对相邻块进行编码时基于相邻块的CPMV来推导的候选，构造的仿射合并候选是通过以每个CPMV为单位基于相应CP的相邻块的MV构造CPMV来推导的候选，并且零运动向量候选可以指示由其值为0的CPMV构成的候选。
例如，仿射合并候选列表可以如下地构造。
可以存在多达两个继承的仿射候选，并且可以从相邻块的仿射运动模型推导继承的仿射候选。相邻块可以包括一个左相邻块和上相邻块。候选块可以如图8所示地设置。左预测符的扫描顺序可以是A1->A0，并且上预测符的扫描顺序可以是B1->B0->B2。只可以从左预测符和上预测符中的每一个选择一个继承的候选。可以不在两个继承的候选之间执行剪枝检查(pruning check)。
当识别相邻仿射块时，可以使用所检查的块的控制点运动向量来推导当前块的仿射合并列表中的CPMVP候选。这里，相邻仿射块可以指示当前块的相邻块当中的以仿射预测模式编码的块。例如，参照图12，当以仿射预测模式对左下相邻块A进行编码时，可以获取相邻块A的左上角、右上角和左下角的运动向量v2、v3和v4。当用4参数仿射运动模型对相邻块A进行编码时，可以根据v2和v3计算当前块的两个CPMV。当用6参数仿射运动模型对相邻块A进行编码时，可以根据v2、v3和v4计算当前块的三个CPMV。
图13是例示仿射合并模式或子块合并模式下的候选的位置的图。
以仿射合并模式或子块合并模式构造的仿射候选可以表示通过组合每个控制点周围的平移运动信息而构造的候选。可以从指定的空间周边和时间周边推导关于控制点的运动信息。CPMVk(k＝0、1、2、3)可以表示第k个控制点。
参照图13，对于CPMV0，可以按B2->B3->A2的顺序检查块，并且可以使用第一可用块的运动向量。对于CPMV1，可以根据B1->B0的顺序检查块，并且对于CPMV2，可以根据A1->A0的顺序检查块。如果可用，时间运动向量预测符(TMVP)可以与CPMV3一起使用。
在获得四个控制点的运动向量之后，可以基于所获得的运动信息来生成仿射合并候选。控制点运动向量的组合可以是{CPMV0，CPMV1，CPMV2}、{CPMV0，CPMV1，CPMV3}、{CPMV0，CPMV2，CPMV3}、{CPMV1，CPMV2，CPMV3}、{CPMV0，CPMV1}和{CPMV0，CPMV2}中的任一个。
三个CPMV的组合可以构成6参数仿射合并候选，并且两个CPMV的组合可以构成4参数仿射合并候选。为了避免运动缩放处理，如果控制点的参考索引不同，可以丢弃控制点运动向量的相关组合。
图14是例示帧间预测中的SbTMVP的图。
基于子块的时间运动向量预测(SbTMVP)也可以被称为高级时间运动向量预测(ATMVP)。SbTMVP可以使用并置的图片中的运动场来改进当前图片中的CU的运动向量预测和合并模式。这里，并置的图片可以被称为并置图片(col picture)。
例如，SbTMVP可以预测符块(或子CU)级的运动。另外，SbTMVP可以在从并置图片获取时间运动信息之前应用运动移位。这里，可以从当前块的空间相邻块之一的运动向量获取运动移位。
SbTMVP可以根据两个步骤预测当前块(或CU)中的子块(或子CU)的运动向量。
在第一步骤中，可以根据图4中的顺序A1、B1、B0和A0来测试空间相邻块。可以检查具有使用并置图片作为其参考图片的运动向量的第一空间相邻块，并且可以选择该运动向量作为将应用的运动移位。当没有从空间相邻块中检查到这样的运动时，运动移位可以被设置为(0，0)。
在第二步骤中，可以应用在第一步骤中识别的运动移位来从并置图片获取子块级的运动信息(运动向量和参考索引)。例如，可以向当前块的坐标添加运动移位。例如，运动移位可以被设置为图8的A1的运动。在这种情况下，对于每个子块，可以使用并置图片中的对应块的运动信息来推导子块的运动信息。可以应用时间运动缩放，以将时间运动向量的参考图片与当前块的参考图片对准。
包括SbTVMP候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿射合并模式的信令。这里，仿射合并模式可以被称为基于子块的合并模式。根据序列参数集(SPS)中所包括的标志，SbTVMP模式可以是可用的或不可用的。当SbTMVP模式可用时，可以添加SbTMVP预测符作为基于子块的合并候选列表的第一个条目，并且仿射合并候选可以跟随。仿射合并候选的最大可允许大小可以是5个。
在SbTMVP中使用的子CU(或子块)的大小可以被固定为8×8，并且与在仿射合并模式下一样，SbTMVP模式可以仅应用于宽度和高度二者为8或更大的块。附加SbTMVP合并候选的编码逻辑可以与其他合并候选的编码逻辑相同。也就是说，对于P或B切片中的每个CU，可以执行使用附加率失真(RD)成本的RD检查，以确定是否使用SbTMVP候选。
图15是例示帧间预测中的组合图片间合并和图片内预测(CIIP)模式的图。
CIIP可以应用于当前CU。例如，在CU以合并模式编码的情况下，CU包括至少64个亮度样本(即，当CU宽度和CU高度的乘积为64或更大时)，并且CU宽度和CU高度两者小于128个亮度样本，然后可以发信号通知附加标志(例如，ciip_flag)以指示CIIP模式是否应用于当前CU。
在CIIP预测中，可以组合帧间预测信号和帧内预测信号。在CIIP模式中，可以使用应用于常规合并模式的相同帧间预测过程推导帧间预测信号P_inter。可以根据具有平面模式的帧内预测过程推导帧内预测信号P_intra。
可以使用加权平均来组合帧内预测信号和帧间预测信号，并且可以在下面的式4中表示帧内预测信号和帧间预测信号。可以根据图15所示的上相邻块和左相邻块的编码模式来计算权重。
[式4]
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2
在式4中，当上相邻块可用并且被帧内编码时，可以将isIntratop设置为1，否则可以将isIntratop设置为0。如果左相邻块可用并且被帧内编码，则isIntraLeft可以被设置为1，否则isIntraLeft可以被设置为0。当(isIntraLeft+isIntraLeft)为2时，wt可以被设置为3，并且当(isIntraLeft+isIntraLeft)为1时，wt可以被设置为2。否则，wt可以被设置为1。
图16是例示帧间预测中的分割模式的图。
参照图16，当应用分割模式时，可以使用对角线分割或相反方向的反对角线分割将CU同等地划分成两个三角形分区。然而，这仅是分割模式的示例，并且CU可以被均等地或不均匀地划分成具有各种形状的分区。
对于CU的每个分区，可以仅允许单向预测。也就是说，每个分区可具有一个运动向量和一个参考索引。单向预测约束是确保对于每个CU仅需要两个运动补偿预测，这类似于双向预测。
当应用分割模式时，可以附加地发信号通知指示分割方向(对角线方向或反对角线方向)的标志以及两个合并索引(针对每个分区)。
在预测每个分区之后，可以使用基于自适应权重的具有自适应权重的混合处理来调整基于沿对角线或反对角线的边界线的样本值。
此外，当应用合并模式或跳过模式时，可以基于常规合并模式、MMVD模式(具有运动向量差的合并模式)、合并子块模式、CIIP模式(组合图片间合并和图片内预测模式)推导运动信息，或可以使用分割模式推导运动信息以生成如上文所描述的预测样本。每个模式可以通过序列参数集(SPS)中的开/关标志来启用或停用。如果在SPS中停用针对特定模式的开/关标志，则可以不发信号通知以CU或PU为单位针对预测模式清楚地发送的语法。
下表5涉及从常规merge_data语法推导合并模式或跳过模式的过程。在下表5中，CUMergeTriangleFlag[x0][y0]可以对应于上文在图12中描述的针对分割模式的开/关标志，并且merge_triangle_split_dir[x0][y0]可以指示在应用分割模式时的分割方向(对角线方向或反对角线方向)。此外，merge_triangle_idx0[x0][y0]及merge_triangle_idx1[x0][y0]可以指示当应用分割模式时针对每个分区的两个合并索引。
[表5]
Figure BDA0003512533900000381
此外，包括常规合并模式、MMVD模式、合并子块模式、CIIP模式和分割模式的每个预测模式可以从序列参数集(SPS)启用或停用，如下表6所示。在下表6中，sps_triangle_enabled_flag可以对应于从SPS启用或停用上文在图12中描述的分割模式的标志。
[表6]
Figure BDA0003512533900000391
Figure BDA0003512533900000401
Figure BDA0003512533900000411
可以根据表6的SPS的标志以及可以使用每个预测模式的条件来解析或推导表5的merge_data语法。在表7和8中示出了根据可以使用SPS的标志和每个预测模式的条件的所有情况。表7示出了当前块处于合并模式的情况的数目，并且表8示出了当前块处于跳过模式的情况的数目。在下面的表7和8中，常规可以对应于常规合并模式，mmvd可以对应于三角形，或者TRI可以对应于上文参照图12所描述的分割模式。
[表7]
Figure BDA0003512533900000421
[表8]
Figure BDA0003512533900000422
作为表7和8中提到的情况的一个示例，描述了当前块是4×16和跳过模式的情况。当合并子块模式、MMVD模式、CIIP模式和分割模式全部在SPS中启用时，如果regular_merge_flag[x0][y0]、mmvd_flag[x0][y0]和merge_subblock_flag[x0][y0]在merge_data语法中都为0，则应当在分割模式中推导当前块的运动信息。然而，即使从SPS中的开/关标志启用分割模式，可以仅在附加满足下表9的条件时才将其用作预测模式。在下表9中，MergeTriangleFlag[x0][y0]可以对应于针对分割模式的开/关标志，并且sps_triangle_enabled_flag可以对应于来自SPS的启用或停用分割模式的标志。
[表9]
Figure BDA0003512533900000431
参照上表9，如果当前切片是P切片，由于无法通过分割模式生成预测样本，所以解码器可能不能够再解码任何比特流。这样，为了解决在因为不能根据SPS的每个开/关标志和合并数据语法来选择最终预测模式而不执行解码的例外情况中发生的问题，在本公开中，提出了默认合并模式。默认合并模式可以各种方式预定义，或可以通过附加语法信令来推导。
在实施方式中，可以基于其中MMVD模式、合并子块模式、CIIP模式以及用于通过将当前块划分成两个分区来执行预测的分割模式全部不可用的情况而将常规合并模式应用于当前块。也就是说，当最终无法针对当前块选择合并模式时，可以将常规合并模式应用为默认合并模式。
例如，尽管指示合并模式是否可用于当前块的一般合并标志的值为1，但如果最终无法针对当前块选择合并模式，则可以将常规合并模式应用为默认合并模式。
在此情况下，可以使用指示通过应用常规合并模式生成的合并候选列表中包括的合并候选之一的合并索引信息来生成当前块的预测样本。例如，可以基于指示的合并索引信息推导当前块的运动信息，并且可以基于推导的运动信息生成预测样本。
因此，合并数据语法可以如下表10所示。
[表10]
Figure BDA0003512533900000441
参照表10和表6，基于MMVD模式不可用的情况，来自SPS的用于启用或停用MMVD模式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag[x0][y0])可以为0。
另外，基于合并子块模式不可用的情况，来自SPS的用于启用或停用合并子块模式的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志(merge_subblock_flag[x0][y0])可以为0。
另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][y0])可以为0。
另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled_flag可以为0或指示是否应用分割模式的第四标志(MergeTriangleFlag[x0][y0])可以为0。
此外，例如，基于指示合并模式是否可用于当前块的一般合并标志的值为1的情况，可以发信号通知指示是否应用MMVD模式的第一标志mmvd_merge_flag[x0][y0]、指示是否应用合并子块模式的第二标志merge_subblock_flag[x0][y0]以及指示是否应用CIIP模式的第三标志ciip_flag[x0][y0]的值。
此外，例如，基于其中基于标志sps_triangle_enabled_flag停用分割模式的情况，可以将指示分割模式是否被应用的第四标志(MergeTriangleFlag[x0][y0])设置为0。
在另一实施方式中，基于常规合并模式、MMVD模式、合并子块模式、CIIP模式及用于通过将当前块划分成两个分区来执行预测的分割模式不可用，可以将常规合并模式应用于当前块。也就是说，当最终无法针对当前块选择合并模式时，可以将常规合并模式应用为默认合并模式。
例如，基于指示合并模式是否可用于当前块的一般合并标志，在尽管合并模式可用于当前块但最终不能针对当前块选择合并模式的情况下，可以将常规合并模式应用为默认合并模式。
例如，基于MMVD模式不可用的情况，来自SPS的用于启用或停用MMVD模式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag[x0][y0])可以为0。
另外，基于合并子块模式不可用的情况，来自SPS的用于启用或停用合并子块模式的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志(merge_subblock_flag[x0][y0])可以为0。
另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][y0])可以为0。
另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled_flag可以为0或指示是否应用分割模式的第四标志(MergeTriangleFlag[x0][y0])可以为0。
此外，基于常规合并模式不可用的情况，指示是否应用常规合并模式的第五标志(regular_merge_flag[x0][y0])可以为0。也就是说，即使当第五标志的值为0时，也可以基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况而将常规合并模式应用于当前块。
在此情况下，可以基于包括于当前块的合并候选列表中的合并候选当中的第一候选推导当前块的运动信息，并且可以基于推导的运动信息生成预测样本。
在另一实施方式中，可以基于常规合并模式、MMVD模式、合并子块模式、CIIP模式以及用于通过将当前块划分成两个分区来执行预测的分割模式不可用而将常规合并模式应用于当前块。也就是说，当最终无法针对当前块选择合并模式时，可以将常规合并模式应用为默认合并模式。
例如，在指示合并模式是否可用于当前块的一般合并标志的值为1但最终未针对当前块选择合并模式的情况下，可以将常规合并模式应用为默认合并模式。
例如，基于MMVD模式不可用的情况，来自SPS的用于启用或停用MMVD模式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag[x0][y0])可以为0。
另外，基于合并子块模式不可用的情况，来自SPS的用于启用或停用合并子块模式的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志(merge_subblock_flag[x0][y0])可以为0。
另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][y0])可以为0。
另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled_flag可以为0或指示是否应用分割模式的第四标志(MergeTriangleFlag[x0][y0])可以为0。
此外，基于常规合并模式不可用的情况，指示是否应用常规合并模式的第五标志(regular_merge_flag[x0][y0])可以为0。也就是说，即使当第五标志的值为0时，也可以基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况而将常规合并模式应用于当前块。
在此情况下，可以推导(0，0)运动向量作为当前块的运动信息，并且可以基于(0，0)运动信息生成当前块的预测样本。对于(0，0)运动向量，可以参考L0参考列表的第0参考图片执行预测。然而，当L0参考列表的第0参考图片(RefPicList[0][0])不存在时，可以通过参考L1参考列表的第0参考图片(RefPicList[1][0])来执行预测。
图17和图18示意性地示出了根据本公开的实施方式的视频/图像编码方法和相关组件的示例。
图17中公开的方法可以由在图2或图18中公开的编码设备执行。具体来说，例如，图17的步骤S1700至S1710可以由图18的编码设备200的预测器220执行，并且图17的步骤S1720可以由图18的编码设备的残差处理器230执行。图17的步骤S1730可以由图18的编码设备的熵编码器240执行。图17中公开的方法可以包括以上在本公开中描述的实施方式。
参照图17，编码设备可以确定当前块的帧间预测模式并且生成指示帧间预测模式的帧间预测模式信息(S1700)。例如，编码设备可以确定常规合并模式、跳过模式、运动向量预测(MVP)模式、具有运动向量差的合并模式(MMVD)、合并子块模式、CIIP模式(组合图片间合并和图片内预测模式)以及通过将当前块划分成两个分区来执行预测的分割模式中的至少一者，作为要应用于当前块的帧间预测模式并且生成指示帧间预测模式的帧间预测模式信息。
编码设备可以基于确定的预测模式生成当前块的预测样本(S1710)。例如，编码设备可以根据所确定的帧间预测模式生成合并候选列表。
例如，可以将候选插入到合并候选列表中，直到合并候选列表中的候选的数目是候选的最大数目为止。这里，候选可以指示用于推导当前块的运动信息(或运动向量)的候选或候选块。例如，可以通过搜索当前块的相邻块来推导候选块。例如，相邻块可以包括当前块的空间相邻块和/或时间相邻块，并且可以优先搜索空间相邻块(空间合并)以推导候选，并且可以将所推导的候选插入到合并候选列表中。例如，当合并候选列表中的候选的数目(甚至在插入候选之后)小于合并候选列表中的候选的最大数目时，可以插入附加候选。例如，附加候选可以包括基于历史的合并候选、成对平均合并候选、ATMVP和组合双向预测合并候选(当当前切片/图块组的切片/图块组类型是类型B时)和/或零向量合并候选中的至少一者。
如上所述，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零向量候选中的至少一些，并且可以选择这些候选中的一个用于当前块的帧间预测。
例如，选择信息可以包括指示合并候选列表中包括的合并候选当中的一个候选的索引信息。例如，选择信息可以被称为合并索引信息。
例如，编码设备可以基于由合并索引信息指示的候选而生成当前块的预测样本。另选地，例如，编码设备可以基于由合并索引信息指示的候选推导运动信息，并且可以基于运动信息生成当前块的预测样本。
此外，根据实施方式，帧间预测模式信息包括指示合并模式是否可用于当前块的一般合并标志，并且基于一般合并标志，合并模式可用于当前块。
此时，根据实施方式，基于MMVD模式(具有运动向量差的合并模式)、合并子块模式、CIIP模式(组合图片间合并和图片内预测模式)以及用于通过将当前块划分为分区来执行预测的分割模式不可用，可以应用常规合并模式。
例如，帧间预测模式信息可以包括指示通过应用常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息，并且可以使用合并索引信息生成预测样本。也就是说，可以基于由合并索引信息指示的候选推导当前块的运动信息，并且可以基于推导的运动信息生成当前块的预测样本。
例如，帧间预测模式信息可以包括指示是否应用MMVD模式的第一标志、指示是否应用合并子块模式的第二标志、以及指示是否应用CIIP模式的第三标志。
例如，基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况，第一标志、第二标志和第三标志的值可以全部为0。
此外，例如，基于一般合并标志的值为1的情况，合并模式可以可用于当前块，并且基于一般合并标志为1的情况，可以发信号通知第一标志、第二标志和第三标志的值。
例如，用于启用或停用分割模式的标志可以包括于图像信息的序列参数集(SPS)中，并且基于停用分割模式的情况，可以将指示分割模式是否应用的第四标志的值设置为0。
此外，帧间预测模式信息还可以包括指示是否应用常规合并模式的第五标志。即使当第五标志的值为0时，可以基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况而将常规合并模式应用于当前块。
在此情况下，可以基于包括于当前块的合并候选列表中的合并候选当中的第一合并候选推导当前块的运动信息。此外，可以基于以第一合并候选为基础推导的当前块的运动信息而生成预测样本。
另选地，在此情况下，可以基于(0，0)运动向量推导当前块的运动信息，并且可以基于以(0，0)运动向量为基础推导的当前块的运动信息来生成预测样本。
编码设备可以基于当前块的残差样本生成残差信息(S1720)。例如，编码设备可以基于预测样本和原始样本推导残差样本。例如，编码设备可以生成指示残差样本的量化变换系数的残差信息。可以通过诸如指数哥伦布、CAVLC、CABAC等的各种编码方法生成残差信息。
编码设备可以编码包括帧间预测模式信息的图像信息(S1730)。例如，图像信息可以被称作视频信息。根据以上描述的本公开的实施方式，图像信息可以包括各种信息。例如，图像信息可以包括预测相关信息或残差相关信息中的至少一些。例如，预测相关信息可以包括帧间预测模式信息、选择信息和帧间预测类型信息中的至少一些。例如，编码设备可以编码包括前述信息(或语法元素)的全部或部分的图像信息以生成比特流或编码信息。或者，编码设备可以以比特流的形式输出信息。另外，可以通过网络或存储介质将比特流或编码信息发送到解码设备。
另选地，尽管在图17中未示出，但是例如，编码设备可以基于残差样本和预测样本生成重构样本。可以基于重构样本推导重构块和重构图片。另选地，例如，编码设备可以编码包括残差信息或预测相关信息的图像信息。
例如，编码设备可以通过编码包括前述信息(或语法元素)的全部或部分的图像信息而生成比特流或编码信息。另选地，编码设备可以以比特流的形式输出信息。另外，可以通过网络或存储介质将比特流或编码信息发送到解码设备。另选地，比特流或编码信息可以存储于计算机可读存储介质中，并且比特流或编码信息可以由前述图像编码方法生成。
图19和图20示意性地示出了根据本公开的实施方式的视频/图像解码方法和相关组件的示例。
图19中公开的方法可以由图3或图20所示的解码设备执行。具体地，例如，图19中的步骤S1900可以由图20中的解码设备300的熵解码器310执行，并且图19中的步骤S1910可以由图20中的解码设备300的残差处理器320执行。另外，图19的步骤S1920可以由图20中的解码设备300的预测器330执行，并且图19的步骤S1930可以由图20中的解码设备300的加法器340执行。图19中公开的方法可以包括以上在本公开中描述的实施方式。
参照图19，解码设备可以通过比特流接收包括帧间预测模式信息和残差信息的图像信息(S1900)。例如，图像信息可以被称作视频信息。图像信息可以包括根据本公开的前述实施方式的各种信息。例如，图像信息可以包括预测相关信息或残差相关信息的至少一部分。
例如，预测相关信息可以包括帧间预测模式信息或帧间预测类型信息。例如，帧间预测模式信息可以包括指示各种帧间预测模式中的至少一些的信息。例如，可以使用诸如常规合并模式、跳过模式、MVP(运动向量预测)模式、MMVD模式(具有运动向量差的合并模式)、合并子块模式、CIIP模式(组合图片间合并和图片内预测模式)以及通过将当前块划分成两个分区来执行预测的分割模式之类的各种模式。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。另选地，帧间预测类型信息可以包括指示L0预测、L1预测和双向预测中的任何一个的信息。
解码设备可以基于残差信息生成残差样本(S1910)。解码设备可以基于残差信息推导量化变换系数，并且可以基于针对变换系数的逆变换过程来推导残差样本。
解码设备可以通过应用基于帧间预测模式信息确定的预测模式来生成当前块的预测样本(S1910)。例如，解码设备可以根据基于帧间预测模式信息在常规合并模式、跳过模式、MVP模式、MMVD模式、合并子块模式、CIIP模式和通过将当前块划分成两个分区来执行预测的分割模式当中确定的帧间预测模式作为当前块的帧间预测模式来生成合并候选列表。
例如，可以将候选插入到合并候选列表中，直到合并候选列表中的候选的数目是候选的最大数目为止。这里，候选可以指示用于推导当前块的运动信息(或运动向量)的候选或候选块。例如，可以通过搜索当前块的相邻块来推导候选块。例如，相邻块可以包括当前块的空间相邻块和/或时间相邻块，并且可以优先搜索空间相邻块(空间合并)以推导候选，并且可以将所推导的候选插入到合并候选列表中。例如，当合并候选列表中的候选的数目(甚至在插入候选之后)小于合并候选列表中的候选的最大数目时，可以插入附加候选。例如，附加候选可以包括基于历史的合并候选、成对平均合并候选、ATMVP和组合双向预测合并候选(当当前切片/图块组的切片/图块组类型是类型B时)和/或零向量合并候选中的至少一者。
如上所述，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零向量候选中的至少一些，并且可以选择这些候选中的一个用于当前块的帧间预测。
例如，选择信息可以包括指示合并候选列表中包括的合并候选当中的一个候选的索引信息。例如，选择信息可以被称为合并索引信息。
例如，解码设备可以基于由合并索引信息指示的候选而生成当前块的预测样本。另选地，例如，解码设备可以基于由合并索引信息指示的候选推导运动信息，并且可以基于运动信息生成当前块的预测样本。
此外，根据实施方式，帧间预测模式信息可以包括指示合并模式是否可用于当前块的一般合并标志，并且合并模式可以基于一般合并标志而可用于当前块。
这里，基于具有运动向量差的合并模式(MMVD)模式、合并子块模式、组合图片间合并和图片内预测(CIIP)模式以及通过将当前块划分为两个分区来执行预测的分割模式不可用，可以应用常规合并模式。
例如，帧间预测模式信息可以包括指示通过应用常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息，并且可以使用合并索引信息生成预测样本。也就是说，可以基于由合并索引信息指示的候选推导当前块的运动信息，并且可以基于推导的运动信息生成当前块的预测样本。
例如，帧间预测模式信息可以包括指示是否应用MMVD模式的第一标志、指示是否应用合并子块模式的第二标志、以及指示是否应用CIIP模式的第三标志。
例如，基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况，第一标志、第二标志和第三标志的值可以全部为0。
此外，例如，基于一般合并标志的值为1的情况，合并模式可以被启用用于当前块，并且基于一般合并标志的值为1的情况，可以发信号通知第一标志、第二标志和第三标志的值。
例如，用于启用或停用分割模式的标志可以包括于图像信息的序列参数集(SPS)中，并且基于停用分割模式的情况，可以将指示分割模式是否应用的第四标志的值设置为0。
此外，帧间预测模式信息还可以包括指示是否应用常规合并模式的第五标志。即使当第五标志的值为0时，可以基于其中MMVD模式、合并子块模式、CIIP模式和分割模式不可用的情况而将常规合并模式应用于当前块。
在此情况下，可以基于包括于当前块的合并候选列表中的合并候选当中的第一合并候选推导当前块的运动信息。此外，可以基于以第一合并候选为基础推导的当前块的运动信息而生成预测样本。
另选地，在此情况下，可以基于(0，0)运动向量推导当前块的运动信息，并且可以基于以(0，0)运动向量为基础推导的当前块的运动信息来生成预测样本。
解码设备可以基于预测样本生成重构样本(S1930)。例如，解码设备可以基于预测样本和残差样本生成重构样本，并且可以基于重构样本推导重构块和重构建图片。
例如，解码设备可以通过解码比特流或编码信息来获得包括上述多条信息(或语法元素)中的全部或部分的视频/图像信息。另外，比特流或编码信息可以被存储在计算机可读存储介质中，并可以致使执行上述解码方法。
尽管已经基于在上述实施方式中顺序列出步骤或块的流程图描述了方法，但本文档的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，TV、计算机、智能电话、机顶盒、显示装置等)中。
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
另外，应用本文档的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院系统、智能手机、平板PC和数字视频记录仪(DVR)。
另外，应用本文档的实施方式的处理方法可以以由计算机执行的程序的形式生成，并可以被存储在计算机可读记录介质中。根据本文档的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
另外，本文档的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文档的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
图21表示可以应用本文档的实施方式的内容流传输系统的示例。
参照图21，应用本文档的实施方式的内容流传输系统可以通常包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
可以通过本文档的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流传输系统中的各个设备之间的命令/响应。
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间段以流畅地提供流传输服务。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可以将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
通过比特流获取包括帧间预测模式信息和残差信息的图像信息；
基于所述残差信息生成残差样本；
通过应用基于所述帧间预测模式信息确定的预测模式来生成当前块的预测样本；以及
基于所述预测样本和所述残差样本来生成重构样本，
其中，所述帧间预测模式信息包括指示合并模式是否可用于所述当前块的一般合并标志，
所述合并模式基于所述一般合并标志而可用于所述当前块，
基于具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将所述当前块划分为两个分区来执行预测的分割模式不可用来应用常规合并模式，
所述帧间预测模式信息包括指示通过应用所述常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息，并且
使用所述合并索引信息生成所述预测样本。
2.根据权利要求1所述的图像解码方法，其中，
所述帧间预测模式信息包括指示是否应用所述MMVD模式的第一标志、指示是否应用所述合并子块模式的第二标志和指示是否应用所述CIIP模式的第三标志，并且
其中，基于所述MMVD模式、所述合并子块模式、所述CIIP模式以及所述分割模式不可用，所述第一标志、所述第二标志和所述第三标志的值全部为0。
3.根据权利要求1所述的图像解码方法，其中，
所述合并模式基于所述一般合并标志的值为1而被应用于所述当前块，并且
基于所述一般合并标志的值为1，发信号通知第一标志、第二标志和第三标志的值。
4.根据权利要求1所述的图像解码方法，其中，
启用或停用所述分割模式的标志被包括在所述图像信息的序列参数集SPS中，并且
基于所述分割模式被停用，指示是否应用所述分割模式的第四标志的值被设置为0。
5.根据权利要求1所述的图像解码方法，其中，
所述帧间预测模式信息还包括指示是否应用所述常规合并模式的第五标志，
其中，即使当所述第五标志的值为0时，基于所述MMVD模式、所述合并子块模式、所述CIIP模式以及所述分割模式不可用，所述常规合并模式被应用于所述当前块。
6.根据权利要求5所述的图像解码方法，其中，
基于所述当前块的所述合并候选列表中包括的所述合并候选当中的第一合并候选来推导所述当前块的运动信息，并且基于以所述第一合并候选为基础推导的所述当前块的所述运动信息来生成所述预测样本。
7.根据权利要求5所述的图像解码方法，其中，
基于(0，0)运动向量来推导所述当前块的运动信息，并且基于以所述(0，0)运动向量为基础推导的所述当前块的所述运动信息来生成所述预测样本。
8.一种由编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
确定当前块的帧间预测模式并且生成指示所述帧间预测模式的帧间预测模式信息；
基于确定的预测模式生成所述当前块的预测样本；
基于所述当前块的残差样本生成残差信息；以及
对包括所述帧间预测模式信息和所述残差信息的图像信息进行编码，
其中，所述帧间预测模式信息包括指示合并模式是否可用于所述当前块的一般合并标志，
基于具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将所述当前块划分为两个分区来执行预测的分割模式不可用来应用常规合并模式，并且
所述帧间预测模式信息包括指示通过应用所述常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息。
9.根据权利要求8所述的图像编码方法，其中，
所述帧间预测模式信息包括指示是否应用所述MMVD模式的第一标志、指示是否应用所述合并子块模式的第二标志和指示是否应用所述CIIP模式的第三标志，并且
其中，基于所述MMVD模式、所述合并子块模式、所述CIIP模式以及所述分割模式不可用，所述第一标志、所述第二标志和所述第三标志的值全部为0。
10.根据权利要求8所述的图像编码方法，其中，
所述合并模式基于所述一般合并标志的值为1而被应用于所述当前块，并且
基于所述一般合并标志的值为1，发信号通知第一标志、第二标志和第三标志的值。
11.根据权利要求8所述的图像编码方法，其中，
启用或停用所述分割模式的标志被包括在所述图像信息的序列参数集SPS中，并且
基于所述分割模式被停用，指示是否应用所述分割模式的第四标志的值被设置为0。
12.根据权利要求8所述的图像编码方法，其中，
所述帧间预测模式信息还包括指示是否应用所述常规合并模式的第五标志，
其中，即使当所述第五标志的值为0时，基于所述MMVD模式、所述合并子块模式、所述CIIP模式以及所述分割模式不可用，所述常规合并模式被应用于所述当前块。
13.根据权利要求12所述的图像编码方法，其中，
基于所述当前块的所述合并候选列表中包括的所述合并候选当中的第一合并候选来推导所述当前块的运动信息，并且基于以所述第一合并候选为基础推导的所述当前块的所述运动信息来生成所述预测样本。
14.根据权利要求12所述的图像编码方法，其中，
基于(0，0)运动向量来推导所述当前块的运动信息，并且基于以所述(0，0)运动向量为基础推导的所述当前块的所述运动信息来生成所述预测样本。
15.一种存储编码信息的计算机可读存储介质，所述编码信息使图像解码设备执行图像解码方法，
其中，所述图像解码方法包括以下步骤：
通过比特流获取包括帧间预测模式信息和残差信息的图像信息；
基于所述残差信息生成残差样本；
通过应用基于所述帧间预测模式信息确定的预测模式来生成当前块的预测样本；以及
基于所述预测样本和所述残差样本来生成重构样本，
其中，所述帧间预测模式信息包括指示合并模式是否可用于所述当前块的一般合并标志，
所述合并模式基于所述一般合并标志而可用于所述当前块，
基于具有运动向量差的合并模式MMVD模式、合并子块模式、组合图片间合并和图片内预测CIIP模式以及通过将所述当前块划分为两个分区来执行预测的分割模式不可用来应用常规合并模式，
所述帧间预测模式信息包括指示通过应用所述常规合并模式生成的合并候选列表中包括的合并候选中的一个的合并索引信息，并且
使用所述合并索引信息生成所述预测样本。
CN202080059109.6A 2019-06-19 2020-06-19 包括通过应用确定的预测模式来生成预测样本的图像解码方法及其装置 Pending CN114270821A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962863807P 2019-06-19 2019-06-19
US62/863,807 2019-06-19
PCT/KR2020/007943 WO2020256453A1 (ko) 2019-06-19 2020-06-19 결정된 예측 모드를 적용하여 예측 샘플들을 생성하는 영상 디코딩 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN114270821A true CN114270821A (zh) 2022-04-01

Family

ID=74040562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059109.6A Pending CN114270821A (zh) 2019-06-19 2020-06-19 包括通过应用确定的预测模式来生成预测样本的图像解码方法及其装置

Country Status (6)

Country Link
US (2) US11800112B2 (zh)
JP (2) JP7460664B2 (zh)
KR (1) KR20210158401A (zh)
CN (1) CN114270821A (zh)
MX (1) MX2021016161A (zh)
WO (1) WO2020256453A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078331A1 (en) * 2022-10-14 2024-04-18 Mediatek Inc. Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470B (zh) * 2010-09-02 2016-08-03 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US9948951B2 (en) * 2012-12-26 2018-04-17 Sharp Kabushiki Kaisha Image decoding device which generates a predicted image of a target prediction unit
WO2015142057A1 (ko) * 2014-03-21 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
WO2020139005A1 (ko) * 2018-12-28 2020-07-02 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20220113836A (ko) * 2018-12-31 2022-08-16 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 움직임 병합 모드의 시그널링을 위한 시스템 및 방법
WO2020175915A1 (ko) * 2019-02-26 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11166037B2 (en) * 2019-02-27 2021-11-02 Mediatek Inc. Mutual excluding settings for multiple tools
WO2020180166A1 (ko) * 2019-03-07 2020-09-10 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
MX2021012996A (es) * 2019-04-25 2022-01-26 Huawei Tech Co Ltd Método y aparato de predicción de imagen, y medio de almacenamiento legible por computadora.
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
US11611759B2 (en) * 2019-05-24 2023-03-21 Qualcomm Incorporated Merge mode coding for video coding
CN113853783B (zh) * 2019-05-25 2023-12-15 北京字节跳动网络技术有限公司 对帧内块复制编解码的块的块矢量的编解码

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078331A1 (en) * 2022-10-14 2024-04-18 Mediatek Inc. Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding

Also Published As

Publication number Publication date
JP2024019432A (ja) 2024-02-09
KR20210158401A (ko) 2021-12-30
US20240022727A1 (en) 2024-01-18
MX2021016161A (es) 2022-03-11
JP7460664B2 (ja) 2024-04-02
US11800112B2 (en) 2023-10-24
WO2020256453A1 (ko) 2020-12-24
US20220116612A1 (en) 2022-04-14
JP2022538059A (ja) 2022-08-31

Similar Documents

Publication Publication Date Title
US11877010B2 (en) Signaling method and device for merge data syntax in video/image coding system
US20220109831A1 (en) Image decoding method for deriving prediction sample on basis of default merge mode, and device therefor
US20220232218A1 (en) Method and device for removing redundant syntax from merge data syntax
US20230254503A1 (en) Image decoding method for performing inter-prediction when prediction mode for current block ultimately cannot be selected, and device for same
KR20210158857A (ko) 인터 예측 기반 영상 코딩 방법 및 장치
CN114080812A (zh) 使用sbtmvp的基于帧间预测的图像或视频编译
CN115428448A (zh) 基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质
CN114631318A (zh) 应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
US20240022727A1 (en) Image decoding method comprising generating prediction samples by applying determined prediction mode, and device therefor
US20220239941A1 (en) Motion vector prediction-based image/video coding method and device
US20220239918A1 (en) Method and device for syntax signaling in video/image coding system
US20230319261A1 (en) Method and device for removing overlapping signaling in video/image coding system
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN114208168A (zh) 视频或图像编码系统中的帧间预测
US20220345749A1 (en) Motion prediction-based image coding method and device
US20220150473A1 (en) Image decoding method and device therefor
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114270824A (zh) 用于基于帧间预测编译图像的方法和装置
CN114788291A (zh) 用于处理图像信息以进行图像/视频编译的方法和装置
CN114097240A (zh) 基于双向预测的图像/视频编码方法和装置
CN114080809A (zh) 子块单元的基于时间运动矢量预测子候选的图像或视频编译
US20230269376A1 (en) Image/video coding method and device
KR20210157402A (ko) 움직임 벡터를 이용한 영상 코딩 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination