CN116668679A - 编解码设备、非暂态计算机可读存储介质和数据发送设备 - Google Patents

编解码设备、非暂态计算机可读存储介质和数据发送设备 Download PDF

Info

Publication number
CN116668679A
CN116668679A CN202310673299.6A CN202310673299A CN116668679A CN 116668679 A CN116668679 A CN 116668679A CN 202310673299 A CN202310673299 A CN 202310673299A CN 116668679 A CN116668679 A CN 116668679A
Authority
CN
China
Prior art keywords
motion vector
block
merge
merge candidate
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310673299.6A
Other languages
English (en)
Inventor
李在镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116668679A publication Critical patent/CN116668679A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

编解码设备、非暂态计算机可读存储介质和数据发送设备。公开了对视频信号进行解码的方法和用于该方法的设备。具体地，一种基于帧间预测模式对图像进行解码的方法可以包括以下步骤：通过使用与当前块相邻的空间候选和时间候选的运动信息来配置合并候选列表；解析指示所述合并候选列表中的预定义数目的候选当中的应用于所述当前块的帧间预测的特定候选的第一语法元素；通过将运动矢量偏移添加到由所述第一语法元素指示的候选的运动矢量来推导修正的候选；以及通过使用所述修正的候选的运动信息来生成所述当前块的预测块。

Description

编解码设备、非暂态计算机可读存储介质和数据发送设备
本申请是原案申请号为201980045852.3的发明专利申请(国际申请号：PCT/KR2019/005668，申请日：2019年5月10日，发明名称：基于帧间预测模式处理图像的方法和用于该方法的设备)的分案申请。
技术领域
本公开涉及静止图像或运动图片处理方法，并且更具体地，涉及基于帧间预测模式对静止图像或运动图片进行编码/解码的方法和支持该方法的设备。
背景技术
压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高维度场景呈现的特征。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。
因此，需要设计用于高效处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式提供了用于通过使用合并偏移来生成修正的合并候选的方法。
此外，本公开的实施方式提供了通过使用加权平均来生成修正的合并候选的方法。
此外，本公开的实施方式提出了通过使用在合并候选列表中选择的候选的平均来添加候选的方法。
本公开的技术目的不限于以上提到的技术目的，并且对于本领域的普通技术人员而言，以上未提到的其它技术目的将根据下面的描述而变得显而易见。
技术方案
在本公开的一方面，一种基于帧间预测模式对图像进行解码的方法可以包括以下步骤：通过使用与当前块相邻的空间候选和时间候选的运动信息来配置合并候选列表；解析指示所述合并候选列表中的预定义数目的候选当中的应用于所述当前块的帧间预测的特定候选的第一语法元素；通过将运动矢量偏移添加到由所述第一语法元素指示的候选的运动矢量来推导修正的候选；以及通过使用所述修正的候选的运动信息来生成所述当前块的预测块。
优选地，所述第一语法元素的解析可以通过对指示按照在所述合并候选列表中分配合并索引的顺序的第一候选和第二候选之中的应用于所述当前块的帧间预测的特定候选的所述第一语法元素进行解析来执行的。
优选地，可以基于指示所述运动矢量偏移具有整数像素精度还是分数像素精度的运动矢量偏移精度来推导所述运动矢量偏移。
优选地，推导所述修正的候选可以包括解析指示所述运动矢量偏移精度的第二语法元素，并且所述第二语法元素可以通过序列参数集、图片参数集或切片头发送。
优选地，可以基于通过将所述运动矢量偏移精度乘以非零整数而获取的值来推导所述运动矢量偏移。
优选地，配置所述合并候选列表还可以包括将通过对所述合并候选列表中的预定义候选的对进行加权平均而生成的候选添加到所述合并候选列表。
优选地，配置所述合并候选列表还可以包括将通过对所述合并候选列表中的预定义候选的对进行平均而生成的候选添加到所述合并候选列表。
在本公开的另一方面，一种基于帧间预测模式对图像进行解码的设备可以包括：合并候选列表配置单元，该合并候选列表配置单元通过使用与当前块相邻的空间候选和时间候选的运动信息来配置合并候选列表；第一语法元素解析单元，该第一语法元素解析单元解析指示在所述合并候选列表中的预定义数目的候选当中的应用于所述当前块的帧间预测的特定候选的第一语法元素；修正候选推导单元，该修正候选推导单元通过将运动矢量偏移添加到由所述第一语法元素指示的候选的运动矢量来推导修正的候选；以及预测块生成单元，该预测块生成单元通过使用所述当前块的运动信息来生成所述当前块的预测块。
优选地，所述第一语法元素解析单元可以对指示按照在所述合并候选列表中分配合并索引的顺序的第一候选和第二候选之中的应用于所述当前块的帧间预测的特定候选的所述第一语法元素进行解析。
优选地，可以基于指示所述运动矢量偏移具有整数像素精度还是分数像素精度的运动矢量偏移精度来推导所述运动矢量偏移。
优选地，所述修正候选推导单元可以解析指示所述运动矢量偏移精度的第二语法元素，并且所述第二语法元素可以通过序列参数集、图片参数集或切片头发送。
优选地，可以基于通过将所述运动矢量偏移精度乘以非零整数而获取的值来推导所述运动矢量偏移。
优选地，所述合并候选列表配置单元可以将通过对所述合并候选列表中的预定义候选的对进行加权平均而生成的候选添加到所述合并候选列表。
优选地，所述合并候选列表配置单元可以将通过对所述合并候选列表中的预定义候选的对进行平均而生成的候选添加到所述合并候选列表。
有益效果
根据本公开的实施方式，具有高可靠性的各种合并候选被另外地用于增强合并模式的预测精度和压缩性能。
此外，根据本公开的实施方式，通过运动矢量偏移来修正合并候选的运动矢量，以增加运动估计/补偿的精度。
本公开中能获得的效果不限于以上提到的效果，并且本领域的技术人员将根据以下描述清楚地理解其它未提到的效果。
附图说明
为了帮助理解本公开，被包括作为具体实施方式的部分的附图提供了本公开的实施方式并且与具体实施方式一起描述本公开的技术特征。
图1是作为应用本公开的实施方式的执行视频/图像信号编码的编码设备的示意性框图。
图2是作为应用本公开的实施方式的执行视频/图像信号解码的解码设备的示意性框图。
图3是例示了可以应用本公开的多类型树结构的示例的示图。
图4是例示了作为可以应用本公开的实施方式的具有嵌套的多类型树结构的四叉树的分割信息的信令机制的示图。
图5是例示了作为可以应用本公开的实施方式的基于四叉树和嵌套的多类型树结构将CTU分割成多个CU的方法的示图。
图6是例示了作为可以应用本公开的实施方式的用于限制三叉树分割的方法的示图。
图7是例示了作为可以应用本公开的实施方式的在二叉树分割和三叉树分割时可能出现的冗余分割模式的示图。
图8和图9是例示了根据本公开的实施方式的基于帧间预测的视频/图像编码方法和根据本公开的实施方式的编码设备中的帧间预测单元的示图。
图10和图11例示了根据本公开的实施方式的基于帧间预测的视频/图像解码方法和根据本公开的实施方式的解码设备中的帧间预测单元的示图。
图12是用于描述作为应用本公开的实施方式的在合并模式或跳过模式下使用的邻近块的示图。
图13是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
图14是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
图15是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。
图16是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。
图17和图18是例示了根据本公开的实施方式的用于压缩时间运动矢量数据和用于其的空间候选的位置的方法的示图。
图19是例示了作为可以应用本公开的实施方式的根据常规图像压缩技术来配置合并候选列表的方法的示图。
图20是例示了作为应用本公开的实施方式的用于生成修正的合并候选的方法的流程图。
图21是例示了作为应用本公开的实施方式的用于生成修正的合并候选的运动矢量偏移的示图。
图22是例示了根据应用本公开的实施方式的用于生成帧间预测块的方法的流程图。
图23是例示了根据应用本公开的实施方式的帧间预测装置的示图。
图24例示了应用本公开的视频编码系统。
图25是作为应用本公开的实施方式的内容流传输系统的架构示图。
具体实施方式
参照附图来更详细地描述本公开的一些实施方式。将连同附图一起公开的详细描述旨在描述本公开的一些实施方式，而不旨在描述本公开的唯一实施方式。以下的详细描述包括更多细节，以提供对本公开的完全理解。然而，本领域的技术人员应该理解，本公开可以在没有这些细节的情况下实现。
在一些情况下，为了避免本公开的概念变模糊，已知结构和装置被省略，或者可以基于每个结构和装置的核心功能以框图形式示出。
虽然在本公开中使用的大多数术语已选自本领域中广泛使用的通用术语，但一些术语已由申请人任意选择，并且在下面的描述中将根据需要详细解释它们的含义。因此，应该基于术语的本意而非它们的简单名称或含义来理解本公开。
以下描述中所使用的具体术语被提供以帮助理解本公开，并且在不脱离本公开的技术精神的范围的情况下，所述具体术语的使用可以被改变为各种形式。例如，可以在每个编码过程中适当地替换和解释信号、数据、样本、图片、帧、块等。
在本说明书中，“处理单元”是指在其中执行诸如预测、变换和/或量化这样的编码/解码处理的单元。下文中，为了便于描述，处理单元可以被称为“处理块”或“块”。
另外，处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
另外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测单元PU或变换块(TB)。另外，处理单元可以对应于用于色度分量的CTB、CB、PU或TB。此外，处理单元不限于此，并且可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
另外，处理单元不一定限于方形块，并且可以被配置为具有三个或更多个顶点的多边形形状。
此外，在本说明书中，像素被称为样本。另外，使用样本可以意味着使用像素值等。
图1是作为应用本公开的实施方式的对视频/图像信号进行编码的编码设备的示意性框图。
参照图1，编码设备100可以被配置为包括图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以被统称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、反量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。在一个实施方式中，图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件部件(例如，编码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质实现。
图像划分器110将输入到编码设备100的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以被称为编码单元(CU)。在这种情况下，可以基于四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归分割编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率被直接用作最终编码单元，或者如有必要，编码单元可以被递归地分割成深度更深的编码单元。因此，具有最佳大小的编码单元可以被用作最终编码单元。在这种情况下，编码过程可以包括随后将描述的诸如预测、变换或重构这样的过程。对于另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编码单元划分或分割出预测单元和变换单元中的每一个。预测单元可以是样本预测的单元，并且变换单元可以是从其推导变换系数的单元和/或从变换系数推导残差信号的单元。
单元可以视情形与块或区域可互换地使用。在常见情况下，M×N块可以指示由M列N行构成的样本的集合或变换系数的集合。通常，样本可以指示像素或像素的值，并且可以指示仅亮度分量的像素/像素值或者仅色度分量的像素/像素值。在样本中，一张图片(或图像)可以被用作与像素或图素对应的术语。
编码设备100可以通过从输入图像信号(原始块或原始样本数组)中减去由帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本数组)来生成残差信号(残差块或残差样本数组)。所生成的残差信号被发送到变换器120。在这种情况下，如所例示的，其中从编码设备100内的输入图像信号(原始块或原始样本数组)中减去预测信号(预测块或预测样本数组)的单元可以被称为减法器115。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为单位确定应用帧内预测还是帧间预测。预测器可以生成如随后将在对每种预测模式的描述中描述的诸如预测模式信息这样的关于预测的各项信息，并且可以将信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且可以以比特流的形式被输出。
帧内预测器185可以参考当前图片内的样本来预测当前块。所参考的样本可以被定位成邻近当前块，或者可以根据预测模式与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。例如，非角度模式可以包括DC模式和平面模式。例如，取决于预测方向的精细程度，角度模式可以包括33种角度预测模式或65种角度预测模式。在这种情况下，例如，取决于配置，可以使用多于或少于33种角度预测模式或65种角度预测模式的角度预测模式。帧内预测器185可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片内的空间邻近块和参考图片内的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被表示为被称为共置参考块或共置CU(colCU)的名称。包括时间邻近块的参考图片可以被称为共置图片(colPic)。例如，帧间预测器180可以基于邻近块来构造运动信息候选列表，并且可以生成指示哪个候选被用于推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不能发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可以被用作运动矢量预测子。可以通过发信号通知运动矢量差来指示当前块的运动矢量。
通过帧间预测器180或帧内预测器185生成的预测信号可以被用于生成重构信号或残差信号。
变换器120可以通过向残余信号应用变换方案来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。在这种情况下，GBT意指在将像素之间的关系信息表示为曲线图时从曲线图获得的变换。CNT意指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，变换过程可以被应用于正方形形式的大小相同的像素块，或者可以被应用于非正方形形式的大小可变的块。
量化器130可以对变换系数进行量化，并且将其传输到熵编码器190。熵编码器190可以对量化后的信号(关于量化后的变换系数的信息)进行编码并以比特流的形式输出它。关于量化后的变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块形式的量化后的变换系数重新布置成一维矢量形式，并且可以基于一维矢量形式的量化后的变换系数来生成关于量化后的变换系数的信息。熵编码器190可以执行诸如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。除了量化后的变换系数之外，熵编码器190还可以一起或分别地对视频/图像重构所必需的信息(例如，语法元素的值)进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)为单位进行发送或存储。可以通过网络传输比特流，或者可以将其存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括诸如USB、SD、CD、DVD、Blueray、HDD和SSD这样的各种存储介质。发送由熵编码器190输出的信号的发送器(未例示)和/或用于存储信号的存储器(未例示)可以被配置为编码设备100的内部/外部元件，或者发送器可以是熵编码器190的元件。
由量化器130输出的量化后的变换系数可以用于生成预测信号。例如，可以通过借助环路内的反量化器140和逆变换器150对量化后的变换系数应用反量化和逆变换来重构残差信号。加法器155可以将重构后的残差信号与由帧间预测器180或帧内预测器185输出的预测信号相加，因此可以生成重构信号(重构图片、重构块或重构样本数组)。如果如已经应用了跳过模式的情况一样处理目标块不存在残差，则预测块可以被用作重构块。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且如随后将描述的，可以用于通过滤波的下一图片的帧间预测。
滤波器160可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修正后的重构图片。修正后的重构图片可以被存储在存储器170中，更具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。滤波器160可以生成如随后将在对每种滤波方法的描述中描述的用于滤波的各项信息，并且可以将它们发送到熵编码器190。滤波信息可以被熵编码器190编码并且以比特流的形式输出。
发送到存储器170的修正后的重构图片可以被用作帧间预测器180中的参考图片。如果应用帧间预测，则编码设备可以避免编码设备100与解码设备之间的预测失配并且提高编码效率。
存储器170的DPB可以存储修正后的重构图片，以使用它作为帧间预测器180中的参考图片。存储器170可以存储在其中推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被转发到帧间预测器180，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将它转发到帧内预测器185。
图2是应用本公开的实施方式，并且是用于对视频/图像信号进行解码的解码设备的示意性框图。
参照图2，解码设备200可以被配置为包括熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以被统称为预测器。即，预测器可以包括帧间预测器180和帧内预测器185。反量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括反量化器220和逆变换器230。熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可以根据实施方式被配置为一个硬件部件(例如，解码器或处理器)。此外，存储器250可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质实现。
当输入包括视频/图像信息的比特流时，解码设备200可以按照在图1的编码设备中处理视频/图像信息的处理来重构图像。例如，解码设备200可以使用在编码设备中应用的处理单元来执行解码。因此，用于解码的处理单元可以是例如编码单元。取决于四叉树结构和/或二叉树结构，可以从编码树单元或最大编码单元中分割出编码单元。此外，可以通过回放装置回放通过解码设备200解码和输出的重构图像信号。
解码设备200可以以比特流形式接收由图1的编码设备输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过对比特流进行解析来推导用于图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法对比特流内的信息进行解码，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流接收与每个语法元素对应的bin，可以使用邻近和解码目标块的解码信息以及解码目标语法元素信息或在先前步骤中解码的符号/bin的信息来确定上下文模型，可以基于所确定的上下文模型来预测出现bin的概率，并且可以通过对bin执行算术解码来生成与每个语法元素的值对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器2110中解码的信息当中的关于预测的信息可以被提供给预测器(帧间预测器260和帧内预测器265)。与熵解码器210中已经被执行熵解码的残差值相关的参数信息(即，量化后的变换系数)可以被输入反量化器220。此外，在熵解码器210中解码的信息当中的关于滤波的信息可以被提供到滤波器240。此外，接收由编码设备输出的信号的接收器(未例示)还可以被配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的元件。
反量化器220可以对量化后的变换系数进行反量化，并且输出变换系数。反量化器220可以将量化后的变换系数重新布置为二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新布置。反量化器220可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且可以获得变换系数。
逆变换器230可以通过向变换系数应用逆变换来输出残差信号(残差块或残差样本数组)。
预测器可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定向当前块应用帧内预测还是应用帧间预测，并且可以确定详细的帧内/帧间预测模式。
帧内预测器265可以参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位成邻近当前块或者可以与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。帧内预测器265可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器260可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片中内的空间邻近块和参考图片内的时间邻近块。例如，帧间预测器260可以基于邻近块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器235可以通过将所获得的残差信号与由帧间预测器260或帧内预测器265输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果如已经应用了跳过模式的情况一样处理目标块没有残差，则预测块可以被用作重构块。
加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且如随后将描述的，可以用于通过滤波的下一图片的帧间预测。
滤波器240可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器240可以通过向重构图片应用各种滤波方法来生成修正后的重构图片，并且可以将修正后的重构图片发送到存储器250，更具体地，发送到存储器250的DPB。各种滤波方法可以包括例如去块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。
存储在存储器250的DPB中的(修正后的)重构图片可以被用作帧间预测器260中的参考图片。存储器250可以存储在其中推导出(或解码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被转发到帧间预测器260，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将它转发给帧内预测器265。
在本公开中，在编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以被分别相同地或以对应的方式应用于解码设备200的滤波器240、帧间预测器260和帧内预测器265。
块分割
可以基于各种详细技术来执行根据本公开的视频/图像编码方法，并且如下地描述各种详细技术中的每一种。对于本领域的技术人员显而易见的是，本文描述的技术可以与上述和/或下述的诸如预测、残差处理((逆)变换、(反)量化等)、语法元素编码、过滤、视频/图像编码/解码过程中的分割/划分这样的相关过程关联。
可以在上述编码设备的图像划分器110中执行根据本公开的块分割过程，并且分割相关信息可以在熵编码器190中被(编码)处理并且以比特流格式被转发到解码设备。解码设备的熵解码器210可以基于从比特流获得的分割相关信息来获得当前图片的块分割结构，并且基于此，可以针对图像解码执行一系列过程(例如，预测、残差处理、块重构和环路内滤波等)。
将图片分割成CTU
图片可以被划分成一系列编码树单元(CTU)。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应色度样本的两个编码树块。换句话说，对于包括三种类型的样本数组的图片，CTU可以包括亮度样本的N×N块和色度样本的两个对应样本。
用于编码和预测的CTU的最大支持大小可以不同于用于变换的CTU的最大支持大小。例如，CTU中的亮度块的最大支持大小可以是128×128。
使用树结构分割CTU
CTU可以基于四叉树(QT)结构被划分成CU。四叉树结构可以被称为四元结构。这是为了反映各种本地特性。此外，在本公开中，可以基于包括二元树(BT)和三元树(TT)以及四叉树的多类型树结构来划分CTU。在下文中，QTBT结构可以包括四叉树和二叉树结构，并且QTBTTT可以包括基于二叉树和三叉树的分割结构。另选地，QTBT结构还可以包括基于四叉树、二叉树和三叉树的分割结构。在编码树结构中，CU可以具有正方形或矩形形状。CTU可以首先被划分成四叉树结构。然后，四叉树结构的叶节点可以被按多类型树结构另外地划分。
图3是例示了作为可以应用本公开的实施方式的多类型树结构的示例的示图。
在本公开的实施方式中，多类型树结构可以包括四种分割类型，如图3中所示。4种分割类型可以包括垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)。多类型树结构的叶节点可以被称为CU。这样的CU可以被用于预测和变换过程。在本公开中，通常，CU、PU和TU可以具有相同的块大小。然而，在最大支持变换长度小于颜色分量的宽度或高度的情况下，CU和TU可以具有不同的块大小。
图4是例示了作为可以应用本公开的实施方式的具有嵌套的多类型树结构的四叉树的分区分割信息的信令机制的示图。
这里，CTU可以被视为四叉树的根，并且初始地被分割成四叉树结构。各四叉树叶节点可以随后被进一步分割成多类型树结构。在多类型树结构中，发信号通知第一标志(例如，mtt_split_cu_flag)来指示是否进一步对相应节点进行分割。在进一步对相应节点进行分割的情况下，可以发信号通知第二标志(例如，mtt_split_cu_verticla_flag)以指示分割方向。随后，可以发信号通知第三标志(例如，mtt_split_cu_binary_flag)以指示分割类型是二元分割还是三元分割。例如，基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1中表示地推导多类型树分割模式(MttSplitMode)。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图5是例示了作为可以应用本公开的实施方式的基于四叉树和嵌套的多类型树结构将CTU分割成多个CU的方法的示图。
这里，粗体块边缘表示四叉树分割，其余边缘表示多类型树分割。具有嵌套的多类型树的四叉树分割可以提供内容适配的编码树结构。CTU可以对应于编码块(CB)。或者，CU可以包括亮度样本的编码块和相应色度样本的两个编码块。以亮度样本为单位，CU的大小可以如4×4一样小，或者可以如CTU一样大。例如，在4:2:0颜色格式(或色度格式)的情况下，最大色度CB大小可以是64×64，并且最小色度CB大小可以是2×2。
在本公开中，例如，最大支持亮度TB大小可以是64×64，并且最大支持色度TB大小可以是32×32。在根据树结构分割的CB的宽度或高度大于最大变换宽度或高度的情况下，CB可以被进一步分割，直到水平方向和垂直方向上的TB大小限制被自动地(或隐式地)满足。
此外，对于具有嵌套的多类型树的四叉树编码树方案，可以将以下参数定义或识别为SPS语法元素。
-CTU大小：四叉树的根节点大小
-MinQTSize：最小允许四叉树叶节点大小
-MaxBtSize：最大允许二叉树根节点大小
-MaxTtSize：最大允许三叉树根节点大小
-MaxMttDepth：从四叉树叶中分割的多类型树的最大允许分层深度
-MinBtSize：最小允许二叉树叶节点大小
-MinTtSize：最小允许三叉树叶节点大小
作为具有嵌套的多类型树的四叉树编码树方案的示例，(按4:2:0色度格式)CTU大小可以被设置为128×128亮度样本和两个对应色度样本的64×64块。在这种情况下，MinOTSize可以被设置为16×16，MaxBtSize可以被设置为128×128，MaxTtSzie可以被设置为64×64，(用于宽度和高度二者的)MinBtSize和MinTtSize可以被设置为4×4，并且MaxMttDepth可以被设置为4。四叉树分割可以被应用于CTU并生成四叉树叶节点。四叉树叶节点可以被称为叶QT节点。四叉树叶节点可以具有从16×16大小(即，MinOTSize)至128×128大小(即，CTU大小)的大小。在叶QT节点为128×128的情况下，叶QT节点不能被分割成二叉树/三叉树。这是因为，即使在叶QT节点被分割的情况下，叶QT节点也超过MaxBtsize和MaxTtszie(即，64×64)。在其它情况下，叶QT节点可以另外被分割成多类型树。因此，叶QT节点可以是用于多类型树的根节点，并且叶QT节点可以具有多类型树深度(mttDepth)0值。在多类型树深度达到MaxMttdepth(例如，4)的情况下，可以不再考虑附加的分割。在多类型树节点的宽度等于MinBtSize并且小于或等于2×MinTtSize的情况下，可以不再考虑附加的水平分割。在多类型树节点的高度等于MinBtSize且小于或等于2×MinTtSize的情况下，可以不再考虑附加的垂直分割。
图6是例示了作为可以应用本公开的实施方式的用于限制三叉树分割的方法的示图。
参照图6，为了支持硬件解码器中的64×64亮度块和32×32色度流水线设计，可以在特定情况下限制TT分割。例如，在如图6中所示亮度编码块的宽度或高度大于预定的特定值(例如，32、64)的情况下，可以限制TT分割。
在本公开中，编码树方案可以支持亮度和色度块具有单独的块树结构。相对于P切片和B切片，单个CTU中的亮度和色度CTB可以被限制为具有相同的编码树结构。然而，对于I切片，亮度和色度块可以分别具有各自的块树结构。在应用各自块树模式的情况下，可以基于特定的编码树结构将亮度CTB分割成CU，并且可以基于不同的编码树结构将色度CTB分割成色度CU。这可以意味着，I切片中的CU可以包括亮度分量的编码块或两个色度分量的编码块，并且P或B切片中的CU可以包括三个颜色分量的块。
在上述的“使用树结构分割CTU”中，描述了具有嵌套的多类型树的四叉树编码方案，但CU的分割结构不限于此。例如，BT结构和TT结构可以被解释为被包括在多分割树(MPT)结构中的概念，并且可以被解释为CU是通过QT结构和MPT结构分割的。在通过QT结构和MPT结构对CU进行分割的示例中，可以发信号通知包括关于QT结构的叶节点被分割成的块的数目的信息的语法元素(例如，MPT_split_type)和包括关于垂直方向和水平方向之中的QT结构的叶节点被分割的方向的信息的语法元素(例如，MPT_split_mode)，并且可以确定分割结构。
在另一示例中，可以按与QT结构、BT结构或TT结构不同的方法来分割CU。即，与较低层深度的CU被根据QT结构分割成较高层深度的CU的1/4大小、较低层深度的CU被根据BT结构分割成较高层深度的CU的1/2大小或者较低层深度的CU被根据TT结构分割成较高层深度的CU的1/4大小或1/2大小不同，在某些情况下较低层深度的CU可以被分割成较高层深度的CU的1/5、1/3、3/8、3/5、2/3或5/8大小，但分割CU的方法不限于此。
在树节点块的一部分超过底或右图片边界的情况下，可以限制对应的树节点块，使得所有编码CU的所有样本都位于图片边界内。在这种情况下，例如，可以应用以下的分割规则。
-如果树节点块的一部分超过底和右图片边界二者，
-如果块是QT节点并且块的大小大于最小QT大小，则强制以QT分割模式对块进行分割。
-否则，强制以SPLIT_BT_HOR模式对块进行分割，
-否则，如果树节点块的一部分超过底图片边界，
-如果块是QT节点并且块的大小大于最小QT大小并且块的大小大于最大BT大小，则强制以QT分割模式对块进行分割。
-否则，如果块是QT节点并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_HOR模式对块进行分割。
-否则(块是BTT节点或者块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_HOR模式对块进行分割。
-否则，如果树节点块的一部分超过右图片边界，
-如果块是QT节点并且块的大小大于最小QT大小并且块的大小大于最大BT大小，则强制以QT分割模式对块进行分割。
-否则，如果块是QT节点并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_VER模式对块进行分割。
-否则(块是BTT节点或者块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_VER模式对块进行分割。
伴随多类型树的四叉树编码块结构可以提供非常灵活的块分割结构。由于多类型树支持的分割类型，在某些情况下，不同的分割模式可能有可能造成相同的编码块结构结果。冗余分割模式的生成受到限制，以减少分割信息的数据量。将参照下图对此进行描述。
图7是例示了作为可以应用本公开的实施方式的在二叉树分割和三叉树分割时可能出现的冗余分割模式的示图。
如图7中例示的，在一个方向上两连续级的二元分割具有与三元分割之后用于中心分割的二元分割相同的编码块结构。在这种情况下，可以限制用于三叉树分割的中心分割的(给定方向上的)二元分割。可以向所有图片的CU应用该限制。当特定分割受到限制时，可以通过反映这种限制情况来修改语法元素的信令，并且可以通过修正后的信令来减少为了分割而发信号通知的比特数。例如，如同图7中例示的示例，当用于CU的中心分割的二叉树分割受到限制时，可以不发信号通知指示分割是二元分割还是三元分割的语法元素mtt_split_cu_binary_flag，并且该值可以被解码器推断为0。
预测
为了重构在其中执行解码的当前处理单元，可以使用当前图片或包括当前处理单元的其它图片的被解码部分。
仅使用的当前图片来重构(即，执行帧内预测)的图片可以被称为帧内图片或I图片(切片)，为了预测每个单元而使用多达一个运动矢量和参考索引中的图片(切片)可以被称为预测图片或P图片(切片)，并且使用多达两个运动矢量和参考索引的图片(切片)可以被称为双向预测图片或B图片(切片)。
帧内预测意指从同一解码图片(或切片)的数据元素(例如，样本值等)推导当前处理块的预测方法。换句话说，帧内预测意指通过参照当前图片中的重构区域来预测当前处理块的像素值的方法。
下文中，将更详细地描述帧间预测。
帧间预测
帧间预测意指基于除了当前图片之外的图片的数据元素(例如，样本值或运动矢量)推导当前处理块的预测方法。即，帧间预测意指通过参照除了当前图片之外的其它重构图片中的重构区域来预测当前处理块的像素值的方法。
作为消除图片之间存在的冗余的技术的帧间预测(图片间预测)主要是通过运动估计和运动补偿执行的。
在本公开中，对以上图1和图2中描述的帧间预测方法进行了详细描述，并且解码器可以被表示为以下将描述的图10的基于帧间预测的视频/图像解码方法和图11的解码设备中的帧间预测单元。此外，编码器可以被表示为以下将描述的图8的基于帧间预测的视频/图像编码方法和图9的编码设备中的帧间预测单元。另外，通过图8和图9编码的数据可以被以比特流的形式存储。
编码设备/解码设备的预测单元可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以表示以取决于除了当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法而推导出的预测。当向当前块应用帧间预测时，可以基于参考图片索引所指示的参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块(预测样本数组)。
在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。
在应用帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等这样的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且为了推导当前块的运动矢量和/或参考图片索引，可以发信号通知指示选择(使用)哪个候选的标志或索引信息。
可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳过模式的情况下，可以不像合并模式那样发送残差信号。在运动矢量预测(MVP)模式的情况下，所选择的邻近块的运动矢量可以被用作运动矢量预测子，并且可以发信号通知运动矢量差。在这种情况下，可以通过使用运动矢量预测子和运动矢量差之和来推导当前块的运动矢量。
图8和图9是例示了根据本公开的实施方式的基于帧间预测的视频/图像编码方法和根据本公开的实施方式的编码设备中的帧间预测单元的示图。
参照图8和图9，S801可以由编码设备的帧间预测单元180执行，并且S802可以由编码设备的残差处理单元执行。具体地，可以由编码设备的减法器115执行S802。在S803中，预测信息可以由帧间预测单元180推导并且由熵编码器190编码。在S803中，残差信息可以由残差处理单元推导并且由熵编码器190编码。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
如上所述，可以通过编码设备的变换器120将残差样本推导为变换系数，并且可以将变换系数推导为通过量化器130量化的变换系数。可以通过熵编码器190利用残差编码过程对关于量化后的变换系数的信息进行编码。
编码设备对当前块执行帧间预测(S801)。编码设备可以推导当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，可以同时执行帧间预测模式确定过程、运动信息推导过程和预测样本的生成过程，并且可以比其它过程更早地执行任何一个过程。例如，编码设备的帧间预测单元180可以包括预测模式确定单元181、运动信息推导单元182和预测样本推导单元183，并且预测模式确定单元181可以确定当前块的预测模式，运动信息推导单元182可以推导当前块的运动信息，并且预测样本推导单元183可以推导当前块的运动样本。
例如，编码设备的帧间预测单元180可以通过运动估计在参考图片的预定区域(搜索区域)中搜索与当前块相似的块，并且推导与当前块的差异最小或等于或小于预定标准的参考块。可以基于此推导指示参考块所位于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差异来推导运动矢量。编码设备可以确定预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的RD成本进行比较，并且确定当前块的最佳预测模式。
例如，当向当前块应用跳过模式或合并模式时，编码设备可以配置下面将描述的合并候选列表，并且推导合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异最小或等于或小于预定标准的参考块。在这种情况下，可以选择与推导的参考块关联的合并候选，并且可以生成并向解码设备发信号通知指示所选择的合并候选的合并索引信息。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。
作为另一示例，当向当前块应用(A)MVP模式时，解码设备可以配置以下将描述的(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动矢量预测子(MVP)候选当中选择的MVP候选的运动矢量作为当前块的MVP。在这种情况下，例如，指示通过运动估计推导的参考块的运动矢量可以被用作当前块的运动矢量，并且在MVP候选当中的具有与当前块的运动矢量的差异最小的运动矢量的MVP候选可以成为被选择的MVP候选。可以推导作为通过从当前块的运动矢量中减去MVP而获得的差异的运动矢量差(MVD)。在这种情况下，可以将关于MVD的信息发信号通知给解码设备。另外，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且被单独发信号通知给解码设备。
编码设备可以基于预测的样本来推导残差样本(S802)。编码设备可以通过比较当前块的原始样本与预测样本来推导残差样本。
编码设备对包括预测信息和残差信息的图像信息进行编码(S803)。编码设备可以以比特流形式输出编码后的图像信息。预测信息可以包括关于预测模式信息(例如，跳变标志、合并标志或模式索引等)的信息和关于运动信息的信息作为与预测过程相关的信息。关于运动信息的信息可以包括作为由于推导运动矢量的信息的候选选择信息(例如，合并索引、MVP标志或MVP索引)。另外，关于运动信息的信息可以包括关于MVD的信息和/或参考图片索引信息。
另外，关于运动信息的信息可以包括指示是否应用L0预测、L1预测或双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被传送到解码设备，或者经由网络被传送到解码设备。
此外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了推导与解码设备执行的预测结果相同的预测结果，结果，能提高编码效率。因此，编码设备可以将重构图片(或重构样本或重构块)存储在存储器中，并且采用重构图片作为参考图片。还可以向如上所述的重构图片应用环路内滤波过程。
图10和图11例示了根据本公开的实施方式的基于帧间预测的视频/图像解码方法和根据本公开的实施方式的解码设备中的帧间预测单元的示图。
参照图10和图11，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行预测，并且推导预测样本。
S1001至S1003可以由解码设备的帧间预测单元260执行，并且S1004的残差信息可以由解码设备的熵解码器210从比特流中获得。解码设备的残差处理单元可以基于残差信息来推导当前块的残差样本。具体地，残差处理单元的反量化器220通过基于以残差信息为基础推导的量化后的变换系数执行反量化来推导变换系数，并且残差处理单元的逆变换器230可以通过对变换系数执行逆变换来推导当前块的残差样本。可以由解码设备的加法器235或重构单元来执行S1005。
具体地，解码设备可以基于接收到的预测信息来确定当前块的预测模式(S1001)。解码设备可以基于预测信息中的预测模式信息来确定向当前块应用哪种帧间预测模式。
例如，可以基于合并标志来确定是向当前块应用合并模式还是(A)MVP模式。另选地，可以基于模式索引来选择各种帧间预测模式候选中的一个。帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括以下将描述的各种帧间预测模式。
解码设备基于所确定的帧间预测模式来推导当前块的运动信息(S1002)。例如，当向当前块应用跳过模式或合并模式时，解码设备可以配置以下将描述的合并候选列表，并且选择合并候选列表中所包括的合并候选当中的一个合并候选。可以基于选择信息(合并索引)来执行选择。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
作为另一示例，当向当前块应用(A)MVP模式时，解码设备可以配置以下将描述的(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动矢量预测子(MVP)候选当中选择的MVP候选的运动矢量作为当前块的MVP。可以基于选择信息(MVP标志或MVP索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的MVP和MVD来推导当前块的运动矢量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片推导为针对当前块的帧间预测而参考的参考图片。
此外，可以在没有如下所述的候选列表配置的情况下推导当前块的运动信息，并且在这种情况下，可以根据以下将描述的预测模式中公开的过程来推导当前块的运动信息。在这种情况下，可以省略候选列表配置。
解码设备可以基于当前块的运动信息来生成当前块的预测样本(S1003)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以通过使用参考图片上的当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，如下所述，在某些情况下，还可以执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。
例如，解码设备的帧间预测单元260可以包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263，并且预测模式确定单元261可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导单元262可以基于关于接收到的运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引)，并且预测样本推导单元263可以推导当前块的预测样本。
解码设备基于接收到的残差信息来生成当前块的残差样本(S1004)。解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并且基于所生成的重构样本来生成重构图片(S1005)。此后，还可以向如上所述的重构图片应用环路内滤波过程。
如上所述，帧间预测过程可以包括帧间预测模式确定步骤、取决于所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。
确定帧间预测模式
可以使用各种帧间预测模式来预测图片中的当前块。例如，可以使用各种模式，包括合并模式、跳过模式、MVP模式、仿射模式等。解码器侧运动矢量修正(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等还可以被用作辅助模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动矢量预测(AMVP)模式。
可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的预测模式信息。预测模式信息可以被包括在比特流中并且被解码设备接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。
例如，可以通过发信号通知跳变标志来指示是否应用跳过模式，当在不应用跳过模式时可以通过发信号通知合并标志来指示是否应用合并模式，并且指示应用MVP模式或者当不应用合并模式时还可以发信号通知用于附加区分的标志。仿射模式可以作为独立模式被发信号通知或者作为合并模式或MVP模式的从属模式被发信号通知。例如，仿射模式可以被配置为如下所述的合并候选列表或MVP候选列表的一个候选。
根据帧间预测模式推导运动信息
可以通过使用当前块的运动信息来执行帧间预测。编码设备可以通过运动估计过程来推导当前块的最佳运动信息。例如，编码设备可以针对当前块通过使用原始图片中的原始块来在参考图片中的预定搜索范围内以分数像素为单位搜索具有高相关性的相似参考块，并且通过搜索到的参考块来推导运动信息。可以基于以相位为基础的样本值之间的差异来推导块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD来计算块的相似度。在这种情况下，可以基于在搜索区域中的具有最小SAD的参考块来推导运动信息。可以基于帧间预测模式根据各种方法将推导出的运动信息发信号通知给解码设备。
合并模式和跳过模式
图12是用于描述作为应用本公开的实施方式的在合并模式或跳过模式下使用的邻近块的示图。
当应用合并模式时，不直接发送当前预测块的运动信息，并且通过使用邻近预测块的运动信息来推导当前预测块的运动信息。因此，发送指示使用了合并模式的标志信息和指示使用了哪个邻近预测块的合并索引，以指示当前预测块的运动信息。
编码器可以搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用多达五个合并候选块，但本公开不限于此。另外，可以在切片头(或图块组头)中传输最大数目的合并候选块，并且本公开不限于此。在找到合并候选块之后，编码器可以生成合并候选列表，并且在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开提供了用于构成合并候选列表的合并候选块的各种实施方式。
作为合并候选列表，例如，可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。作为具体示例，在空间合并候选的情况下，图12中例示的块可以被用作空间合并候选。
图13是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
参照图13，编码设备(编码器/解码器)将通过搜索当前块的空间邻近块而推导的空间合并候选插入到合并候选列表中(S1301)。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。然而，这是示例，并且除了空间邻近块之外，还可以使用包括右邻近块、下邻近块、右下邻近块等的附加邻近块作为空间邻近块。编码设备可以通过基于优先级搜索空间邻近块来推导可用块，并且将检测到的块的运动信息推导为空间合并候选。例如，编码器和解码器可以按A1、B1、B0、A0和B2的顺序搜索图12中例示的五个块，并且将可用候选顺序地加索引并且将带索引的候选配置为合并候选列表。
编码设备将通过搜索当前块的时间邻近块而推导出的时间合并候选插入到合并候选列表中(S1302)。时间邻近块可以处于参考图片上，即，与当前块所处的当前图片不同的图片上。时间邻近块所处的参考图片可以被称为并置图片或col图片。可以按col图片上的当前块的并置块的右下角邻近块和右下中心块的顺序搜索时间邻近块。
此外，当应用运动数据压缩时，针对每个预定存储单元，特定运动信息可以作为代表性运动信息被存储在col图片中。在这种情况下，不需要存储预定存储单元中的所有块的运动信息，结果，可以获得运动数据压缩效果。在这种情况下，预定存储单元可以是针对每个16×16样本单元或8×8样本单元预定的，或者可以将预定存储单元的大小信息从编码器发信号通知给解码器。当应用运动数据压缩时，可以用时间邻近块所处的预定存储单元的代表性运动信息来替换时间邻近块的运动信息。
换句话说，在这种情况下，就实现方式而言，可以基于以除了处于时间邻近块的坐标上的预测块之外的时间邻近块的坐标(左上样本位置)为基础覆盖经历算术右移然后算术左移达预定值的位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n×2n样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于((xTnb>>n)<<n),(yTnb>>n)<<n))即修正后位置的预测块的运动信息可以被用于时间合并候选。
具体地，例如，当预定存储单元是16×16样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于((xTnb>>4)<<4),(yTnb>>4)<<4))即修正后位置的预测块的运动信息可以被用于时间合并候选。另选地，例如，当预定存储单元是8×8样本单元时，如果时间邻近块的坐标是(xTnb，yTnb)，则处于(xTnb>>3)<<3),(yTnb>>3)<<3))即修正后位置的预测块的运动信息可以被用于时间合并候选。
编码设备可以检查当前合并候选数目是否小于最大合并候选目(S1303)。最大合并候选数目可以是预先定义的，或者被从编码器发信号通知给解码器。例如，编码器可以生成关于最大合并候选数目的信息，并且对所生成的信息进行编码，并且以比特流的形式将编码后的信息传送到解码器。当最大合并候选数目已满时，不可以执行后续的候选添加处理。
作为检查结果，当当前合并候选数目小于最大合并候选数目时，编码设备将附加合并候选插入合并候选列表中(S1304)。例如，附加合并候选可以包括ATMVP、组合的双向预测合并候选(当当前切片的切片类型为B型时)和/或零矢量合并候选。
作为检查结果，当当前合并候选数目不小于最大合并候选数目时，编码设备可以终止合并候选列表的配置。在这种情况下，编码器可以基于速率失真(RD)成本在构成合并候选列表的合并候选当中选择最佳合并候选，并且可以将指示所选择合并候选的选择信息(例如，合并索引)发信号通知给解码器。解码器可以基于合并候选列表和选择信息来选择最佳合并候选。
所选择的合并候选的运动信息可以被用作当前块的运动信息，并且可以基于如上所述的当前块的运动信息来推导当前块的预测样本。编码器可以基于预测样本来推导当前块的残差样本，并且将残差样本的残差信息发信号通知给解码器。解码器可以基于以残差信息为基础推导的残差样本和预测样本来产生重构样本，并且基于如上所述生成的重构样本来生成重构图片。
当应用跳过模式时，可以用与如上应用合并模式的情况相同的方法来推导当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残留信号，结果，预测样本可以被直接用作重构样本。
MVP模式
图14是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
当应用运动矢量预测(MVP)模式时，可以通过使用重构的空间邻近块(例如，可以是以上图12中描述的邻近块)的运动矢量和/或与时间邻近块(或Col块)对应的运动矢量来生成运动矢量预测子(mvp)候选列表。换句话说，可以使用重构的空间邻近块的运动矢量和/或与时间邻近块对应的运动矢量作为运动矢量预测子候选。
关于预测的信息可以包括指示列表中所包括的运动矢量预测子候选当中选择的最佳运动矢量预测子候选的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测器可以通过使用所选择的信息从运动矢量候选列表中所包括的运动矢量预测子候选当中选择当前块的运动矢量预测子。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测子之间的运动矢量差(MVD)，并且对所获得的MVD进行编码并以比特流的形式输出编码后的MVD。换句话说，可以通过从当前块的运动矢量中减去运动矢量预测子而获得的值来获得MVD。在这种情况下，解码设备的预测器可以获得关于预测的信息中所包括的运动矢量差，并且通过将运动矢量差与运动矢量预测子相加来推导当前块的运动矢量。解码设备的预测器可以用关于预测的信息来获得或推导指示参考图片的参考图片索引。例如，可以如图14中例示地配置运动矢量预测子候选列表。
高级时间运动矢量预测(ATMVP)
图15是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。
参照图15，ATMVP是基于时间邻近图片的并置块的运动信息来推导编码单元的子块的运动信息的方法。因此，可以增强时间运动矢量预测(TMVP)的性能，并且可以降低一般或最差情况的复杂度。在本公开中，ATMVP可以被称为基于子块的时间合并候选SbTMVP。
根据本公开的实施方式，可以用以下处理来推导ATMVP。
首先，当邻近编码单元可用并且可用编码单元的运动矢量与当前候选列表中的运动矢量不同时，编码器/解码器可以添加来自空间邻近编码单元的运动矢量。作为一个示例，该处理可以按上述图12中例示的A1、B1、B0、A0和B2的顺序执行。作为另一示例，为了改善复杂度，在该处理中，可以通过仅使用固定位置(例如，A1位置)处的块的运动矢量来推导ATMVP。
编码器/解码器可以使用No个可用空间候选当中的第一运动矢量候选，以便确定用于推导并置图片和每个子块的运动信息的位置。这里，No表示可用空间候选的数目。如果No为0，则可以使用并置图片和运动为0的并置位置来推导每个子块的运动信息。
当使用多个参考图片时，在ATMVP中，不同编码单元的并置图片可能彼此不同。当前图片中的不同编码单元具有用于推导ATMVP的不同并置图片的事实意味着，应该推导多个参考图片的运动信息字段，并且因为这增加了存储带宽，所以这并不是优选的。
因此，本公开提供了在推导ATMVP时使用相同并置图片的更简单设计。例如，可以在切片(或图块组)头中定义使用相同并置图片的方法，但本公开不限于此。作为一个示例，在块级别，当邻近块A的参考图片与并置图片不同时，可以基于时间运动矢量缩放方法来缩放邻近块A的运动矢量。另外，可以在ATMVP中使用缩放后的邻近块A的运动矢量。
图16是用于描述作为应用本公开的实施方式的推导高级时间运动矢量预测(ATMVP)候选的方法的示图。
参照图16，在本公开的实施方式中，由于使用当前块的右下块或在当前块的中心位置处的时间邻近块(或colPB)的运动矢量的TMVP没有反映帧内图片运动，因此编码器/解码器可以使用由邻近块的运动矢量指示的位置处的colPB的运动矢量作为MVP。
例如，编码器/解码器可以在如同图16中例示的合并候选配置顺序一样检查块的同时，找到第一可用空间邻近块的运动矢量。另外，参考图片中的由运动矢量指示的位置可以被推导为col-PB(即，ATMVP候选)。
另外，运动矢量可以被用作以每个子块为单位的对应块的运动矢量。在这种情况下，当在特定子块中没有运动矢量时，处于对应块的中心处的中心块的运动矢量可以被用作不可用子块的运动矢量并且被作为代表性运动矢量存储。
时间运动矢量数据存储减少
本公开的实施方式提出了基于用于时间运动矢量数据的压缩的空间候选的运动矢量数据来减少时间运动矢量存储的方法。
图17和图18是例示了根据本公开的实施方式的用于压缩时间运动矢量数据和用于其的空间候选的位置的方法的示图。
参照图17，在本公开的实施方式中，当通过帧间预测来预测空间候选时，空间候选的运动矢量可以被配置为用于压缩的默认运动矢量。例如，最多五个空间候选可以被用作用于推导默认时间运动矢量的参考时间运动信息。作为实施方式，可以如图18中例示地配置五个空间候选。
另外，可以基于空间候选的运动矢量来压缩时间运动矢量数据。可以在图17中例示搜索空间候选的顺序。可以根据中心块C、左上块TL、右上块TR、左下块BL和右下块BR的顺序来确认空间候选。这仅仅是实施方式，本公开不限于此，并且可以应用其他可组合的顺序。
首先，编码器/解码器可以检查中心块C是否被帧间预测。如果中心块C被帧间预测，则编码器/解码器可以将中心块C的运动矢量配置为用于预测运动矢量的默认。
如果中心块C未被帧间预测，则编码器/解码器可以检查左上块TL是否被帧间预测。如果左上块TL被帧间预测，则编码器/解码器可以将左上块TL的运动矢量配置为用于预测运动矢量的默认。
如果左上块TL未被帧间预测，则编码器/解码器可以检查右上块TR是否被帧间预测。如果右上块TR被帧间预测，则编码器/解码器可以将右上块TR的运动矢量配置为用于预测运动矢量的默认。
如果右上块TR未被帧间预测，则编码器/解码器可以检查左下块BL是否被帧间预测。如果左下块BL被帧间预测，则编码器/解码器可以将左下块BL的运动矢量配置为用于预测运动矢量的默认。
如果左下块BL未被帧间预测，则编码器/解码器可以检查右下块BR是否被帧间预测。如果右下块BR被帧间预测，则编码器/解码器可以将右下块BR的运动矢量配置为用于预测运动矢量的默认。
如果右下块BR未被帧间预测，则编码器/解码器可以将帧内模式配置为默认。
通过这样的处理，编码器/解码器可以将默认运动矢量压缩成运动信息。
基于自适应子块大小执行ATMVP的实施方式
本公开的实施方式提出了用于基于自适应子块大小来执行ATMVP的方法。例如，可以在切片级自适应地应用用于推导ATMVP的子块大小。
此外，如果以4×4块为单位推导ATMVP运动信息，则可能存在以下问题：在一个ATMVP编码单元中每4×4个子块执行运动推导和运动补偿。
为了解决该问题，编码器可以向解码器发信号通知用于序列级的ATMVP运动推导的一个默认子块大小。
作为另一示例，当在当前切片中使用默认子块大小时，可以在图片或切片级发信号通知标志。如果该标志为假，则可以在切片头中另外发信号通知ATMVP子块大小。
用于推导并置块的限制区域的实施方式
在本公开中，用于ATMVP的并置块的区域可以包括当前CTU和并置图片中的一列的N×N块。例如，N×N块可以是4×4块，但本公开不限于此。
由合并候选的运动矢量标识的ATMVP并置块位于限制区域的外部，ATMVP并置块可以移动以位于限制区域中。例如，ATMVP并置块可以移动以位于限制区域中的最接近的边界上。
推导基于子块的时间合并候选的实施方式
在本公开的实施方式中，编码器/解码可以将基于空间邻近块的运动信息指定的并置图片中的并置块(或并置子块)的运动信息作为基于子块的时间合并候选添加到子块合并候选列表中。
在本公开中，空间邻近块的运动信息可以被称为时间运动矢量。作为实施方式，当当前编码块的宽度和高度等于或大于预定的特定大小时，编码器/解码器可以推导基于子块的时间合并候选。例如，预定的特定大小可以为8。
作为实施方式，编码器/解码器可以将可用空间候选当中的第一空间候选的运动信息配置为时间运动矢量。作为示例，编码器/解码器可以按A1、B1、B0和A0的顺序搜索可用空间候选。在这种情况下，编码器/解码器可以将可用空间候选当中的其中参考图片与并置图片相同的空间候选配置为时间运动矢量。作为另一示例，编码器/解码器可以检查一个固定位置空间候选是否可用，并且当固定位置空间候选可用时，编码器/解码器可以将对应空间候选的运动矢量配置为时间运动矢量。例如，一个固定位置空间候选可以被配置为位置A1的块。
另外，编码器/解码器可以通过使用时间运动矢量来指定并置图片中的并置块的位置。作为示例，可以使用上述式1。
[式1]
xColCb＝Clip3(xCtb,Min(CurPicWidthInSamplesY-1,xCtb+(1<<CtbLog2SizeY)+3),xColCtrCb+(tempMv[0]>>4))
yColCb＝Clip3(yCtb,Min(CurPicHeightInSamplesY-1,yCtb+(1<<CtbLog2SizeY)-1),yColCtrCb+(tempMv[1]>>4))
这里，(xColCtrCb，yColCtrCb)表示包括中心位置的右上样本的并置编码块的左上样本位置，tempMv表示时间运动矢量。
另外，编码器/解码器可以确定用于以子块为单位推导当前编码块中的每个子块的运动信息的位置。在实施方式中，可以通过使用下式2来推导并置图片中的并置子块的位置。
[式2]
xColSb＝Clip3(xCtb,Min(CurPicWidthInSamplesY-1,xCtb+(1<<CtbLog2SizeY)+3),xSb+(tempMv[0]>>4))
yColSb＝Clip3(yCtb,Min(CurPicHeightInSamplesY-1,yCtb+(1<<CtbLog2SizeY)-1),ySb+(tempMv[1]>>4))
这里，(xSb，ySb)表示当前子块的位置。
在实施方式中，当当前并置子块不可用时，编码器/解码器可以使用由时间运动矢量指定的并置块的运动信息。
图19是例示了作为可以应用本公开的实施方式的根据常规图像压缩技术来配置合并候选列表的方法的示图。
在常规图像压缩技术(例如，HEVC)中，当应用合并模式时，编码器/解码器通过使用空间候选、时间候选、组合的双向预测候选和零运动候选来将候选依次添加到候选列表直到满足候选的总数为5，以便配置候选列表。
在实施方式中，编码器/解码器可以针对每个候选添加预定数目的候选。编码器/解码器依次考虑各个候选，但如图19中例示的，当满足最大数目时可以终止合并候选生成处理。作为示例，编码器/解码器可以将最多四个候选视为空间候选。此外，编码器/解码器可以将最多五个候选视为组合的双向预测候选。此外，编码器/解码器可以将最多五个候选视为零运动候选。在这种情况下，作为空间候选，可以根据上述图12中例示的A1、B1、B0、A0和B2的顺序考虑最多四个候选。
实施方式1
本公开的实施方式提供了用于通过使用合并偏移来生成修正的合并候选的方法。作为实施方式，编码器/解码器可以通过将运动矢量偏移添加到合并候选列表中存在的合并候选来生成修正的合并候选。
在本公开中，候选列表(合并候选列表)中的候选(或合并候选)可以被称为种子候选。然而，本公开不限于此。例如，种子候选可以被称为添加到候选列表(合并候选列表)的候选、所添加的候选、由候选列表配置的候选、所配置的候选等。
此外，在本公开的实施方式中，可以使用预定义数目的种子候选来生成修正的合并候选。在本公开中，为了便于描述，用于生成修正的候选的种子候选的数目可以被表示为n_seed。例如，在n_seed＝1的情况下，编码器/解码器可以选择合并候选列表的第一候选或在预定义位置处的一个候选作为用于生成修正的候选的种子候选。另选地，例如，当n_seed＝1并且预定义位置是图12的A0时，编码器/解码器可以使用位置A0处的候选块作为种子候选。
另外，例如，在n_seed＝n的情况下，编码器/解码器可以在合并候选列表中按顺序(例如，合并索引顺序)将n个候选用作种子候选。另选地，例如，在n_seed＝n的情况下，可以将预定义的n个位置处的候选用作种子候选。此后，编码器/解码器确定种子候选，然后将运动矢量偏移添加到每个种子候选以生成修正的候选。此外，在本公开中，被添加以生成修正的合并候选的运动矢量偏移不限于其名称。例如，运动矢量偏移可以被称为合并运动矢量偏移、运动矢量差值、运动矢量差值偏移、合并运动矢量差值等。
此外，根据本公开的实施方式，所生成的候选(或合并候选)可以被称为修正的候选(或修正的合并候选)。然而，本公开不限于此。例如，修正的候选可以被称为合并候选、一般合并候选、添加了运动矢量偏移的候选(或合并候选)、添加了运动矢量差值的候选(或合并候选)等。
图20是例示了作为应用本公开的实施方式的用于生成修正的合并候选的方法的流程图。
参照图20，在描述本公开的实施方式时，主要为了便于描述来描述解码器，但本公开的候选列表生成方法也可以等同地应用于编码器中。
解码器通过使用与当前块相邻的空间候选块和时间候选块的运动信息来配置(或生成)合并候选列表(S2001)。作为实施方式，编码器/解码器可以通过应用以上图12至图18中描述的方法来配置合并候选列表。
解码器在以上步骤S2001中配置的合并候选列表中选择用于修正的候选推导的预定义的特定数目的合并候选(S2002)。在本公开中，为了便于描述，主要描述特定数目为2的情况，但本公开不限于此，并且可以选择一个或三个或更多预定义数目的候选。作为示例，解码器可以在合并候选列表中选择第一合并候选和第二合并候选。换句话说，解码器可以按在合并候选列表中分配合并索引的顺序来选择两个合并候选。该特定数目可以是在编码器和解码器中预定义的，并且被从编码器发信号通知到解码器。如果发信号通知了特定数目，则可以通过序列参数集、图片参数集、切片头(或图块组头)等发信号通知该特定数目。
解码器在预定义的特定数目的合并候选中确定(或选择)应用于当前块的帧间预测的合并候选(S2003)。作为实施方式，解码器可以解析第一语法元素，第一语法元素指示预定义的特定数目的候选当中的应用于当前块的帧间预测的合并候选。即，解码器可以基于语法元素来确定用于推导第一合并候选或第二合并候选的修正的合并候选的候选。
解码器通过将运动矢量偏移添加到以上步骤S2003中确定的合并候选的运动矢量来生成(或推导)修正的合并候选(S2004)。在这种情况下，可以从编码器发信号通知运动矢量偏移，并且编码器和解码器可以推导出相同的值。
在实施方式中，运动矢量偏移可以具有整数像素精度并具有分数像素精度。例如，运动矢量偏移的精度(或基本单位)可以具有诸如1、1/2、1/4、1/8或1/16这样的值。另选地，例如，运动矢量偏移的精度可以具有与合并候选的运动矢量相同的精度。
另外，在实施方式中，可以通过更高级语法来定义(或发信号通知)运动矢量偏移的精度。例如，可以通过序列参数集、图片参数集、切片头(或图块组头)等从编码器向解码器发信号通知运动矢量偏移的精度。
运动矢量偏移可以具有基本单位的整数倍的值，并且可以被如下式3中地表示。
[式3]
MVoffset＝{(vx，vy)||vx＝p*i，vy＝p*j}
在式3中，i和j是除0以外的整数(自然数)。此外，p表示预定义的运动矢量偏移的基本单位。
解码器通过使用修正的合并候选的运动信息来生成预测块(S2005)。
在实施方式中，可以按在距离方面接近种子候选的顺序考虑(或者可以按运动矢量偏移的绝对值较小的顺序考虑)修正的候选(或修正的合并候选)。如上所述，可以以更高级语法来定义所使用的修正的候选的数目，并且在这种情况下，可以在不超过合并候选列表中的可用合并候选的最大数目的范围中使用所使用的修正的候选的数目。
另外，在实施方式中，解码器可以将添加了运动矢量偏移的运动信息添加到合并候选列表。当修正的候选被视为合并候选时，通过执行剪枝检查(或重复检查)仅当修正的候选与合并候选列表中已经存在的候选不相同时才将修正的候选添加到合并候选列表。另选地，解码器可以通过考虑解码复杂度在不进行剪枝检查的情况下将修正的候选添加到合并候选列表。
另外，在实施方式中，解码器可以以预定义的特定顺序来考虑修正的候选。在这种情况下，用于考虑修正的候选的位置可以是一个或两个或更多个位置。例如，用于考虑以上提到的修正的候选的特定顺序(或位置)可以是1)在依次确认空间候选(或空间邻近块)当中的位置A1、B1、B0和A0处的块(参见图12)之后、2)在确认空间候选之后、3)在确认空间候选和时间候选之后、4)在确认空间候选、时间候选和组合候选之后、或5)在确认空间候选、时间候选和零运动候选之后。
另选地，例如，当用于考虑修正的候选的位置的数目为2或更多时，解码器可以在确认空间候选的块A1、B1、B0和A0之后考虑n个修正的候选，并且另外在确认时间候选之后考虑p个修正的候选。在这种情况下，解码器可以考虑每个位置处与种子候选相同的候选，并且考虑各个位置处不同的种子候选。
另外，在实施方式中，在生成修正的候选之前，如果不能配置合并候选列表，则解码器可以不配置修正的候选。另选地，解码器可以将零运动矢量确定为种子候选并生成修正的候选。
图21是例示了作为应用本公开的实施方式的用于生成修正的合并候选的运动矢量偏移的示图。
在图21中，假定以1/2像素为单位确定运动矢量偏移的情况。然而，本公开不限于此，并且如上所述，运动矢量偏移的精度(或基本单位)可以具有诸如1、1/2、1/4、1/8或1/16这样的值。另外，在图21中，假定可用偏移(或修正的候选)的最大数目为8的情况。然而，本公开不限于此，并且与合并候选列表中的合并候选指定的像素相邻的多个像素(整数像素或子像素)可以被视为修正的候选。
参照图21，虚线是1/2像素单位的网格，并且中心位置处的点是第一种子候选(或指示第一种子候选的运动矢量的位置)。作为实施方式，可以优先考虑最接近由X标记的种子候选的四个修正的候选。可以考虑由第二闭合方形标记的四个修正的候选。在示例中，可以将总共8个候选当中的不超过合并候选的最大数目的数目的修正的候选视为合并候选。另选地，与种子候选(或指示种子候选的运动矢量的位置)相邻的像素(整数像素或子像素)或指示对应位置的运动矢量偏移可以被从编码器发送到解码器。
实施方式2
本公开的实施方式提供了通过使用加权平均来生成修正的合并候选的方法。作为实施方式，编码器/解码器可以通过对合并候选列表中的特定数目的合并候选执行加权平均来生成(或推导)修正的合并候选。
在本公开的实施方式中，可以使用预定义数目的种子候选来生成修正的合并候选。在本公开中，为了便于描述，主要描述特定数目为2的情况，但本公开不限于此，并且可以选择一个或三个或更多预定数目的候选。例如，编码器/解码器可以在合并候选列表内按顺序使用n个候选作为种子候选。
在本公开中，候选列表(合并候选列表)中的候选(或合并候选)可以被称为种子候选。然而，本公开不限于此。例如，种子候选可以被称为添加到候选列表(合并候选列表)的候选、所添加的候选、由候选列表配置的候选、所配置的候选等。
此外，根据本公开的实施方式，所生成的候选(或合并候选)可以被称为修正的候选(或修正的合并候选)。然而，本公开不限于此。例如，修正的候选可以被称为合并候选、一般合并候选、添加了运动矢量偏移的候选(或合并候选)、添加了运动矢量差值的候选(或合并候选)等。
作为示例，可以通过使用下式4来推导修正的合并候选。
[式4]
Candrefined＝(1-w)*seed-1st+w*seed_2nd
在式4中，seed_1st和seed_2nd分别表示第一种子候选和第二种子候选。另外，w的值可以是由下式5表示的值之一。
[式5]
/>
即，解码器可以通过对合并候选列表中的预定义的两个候选对进行加权平均来生成修正的合并候选。例如，预定义对可以是{(0,1),(0,2),(1,2),(0,3)(1,3),(2,3)}。这里，数字表示合并候选列表中的合并索引(或合并候选顺序)。在实施方式中，可以针对相应参考图片列表(或参考列表)单独计算加权平均的运动矢量。当两个运动矢量在一个参考图片列表中可用时，即使当各个运动矢量指示不同的参考图片时，也可以对各个运动矢量进行加权平均。
在实施方式中提出的方法可以仅应用于上图12至图19中描述的实施方式和/或上述的实施方式1中。以将实施方式中提出的方法应用于上述的实施方式1的情况为例，编码器/解码器可以在通过使用空间候选块和时间候选块的运动信息配置合并候选列表之后将实施方式中提出的加权平均的候选添加到合并候选列表。另外，编码器/解码器可以通过将运动矢量偏移添加到合并候选列表中的合并候选来推导修正的合并运动矢量。
另外，在实施方式中，编码器/解码器可以仅将包括相同参考图片的合并候选视为种子候选。另选地，编码器/解码器可以将以特定参考帧(例如，并置图片)缩放并被加权平均的运动矢量作为修正的合并候选添加到合并候选列表。例如，特定的参考帧可以使用每个参考帧，或者使用最常在周围块中出现的参考帧。
实施方式3
本公开的实施方式提供了通过使用平均来生成修正的合并候选的方法。作为实施方式，编码器/解码器可以通过对合并候选列表中的特定数目的合并候选执行平均来生成(或推导)修正的合并候选。
在本公开的实施方式中，可以使用预定义数目的种子候选来生成修正的合并候选。在本公开中，为了便于描述，主要描述特定数目为2的情况，但本公开不限于此，并且可以选择一个或三个或更多预定数目的候选。例如，编码器/解码器可以在合并候选列表内按顺序使用n个候选作为种子候选。另选地，所选择的种子候选可以是在已经确定的合并候选列表中可以确定的组合。例如，当已经确定的合并候选列表中的候选的数目为3时，两个种子候选的组合的数目可以为3并且可以基于其来推导三个修正的候选(或修正的合并候选)。
另选地，在实施方式中，种子候选的数量可以为n，并且n值可以由可以被视为种子候选的候选的数量(即，已经配置的合并候选列表的合并候选的数目)来确定。例如，当可用作种子候选的候选的数目为3时，可以考虑n＝2的情况和n＝3的情况二者。
在本公开中，候选列表(合并候选列表)中的候选(或合并候选)可以被称为种子候选。然而，本公开不限于此。例如，种子候选可以被称为添加到候选列表(合并候选列表)的候选、所添加的候选、由候选列表配置的候选、所配置的候选等。
此外，根据本公开的实施方式，所生成的候选(或合并候选)可以被称为修正的候选(或修正的合并候选)。然而，本公开不限于此。例如，修正的候选可以被称为合并候选、一般合并候选、添加了运动矢量偏移的候选(或合并候选)、添加了运动矢量差值的候选(或合并候选)等。
作为示例，可以通过使用下式6来推导修正的合并候选。
[式6]
在式6中，seed_1st和seed_2nd可以分别表示第一种子候选和第二种子候选，并且可以选择seed_1st和seed_2nd作为已经确定的合并候选列表中的候选当中的特定组合。
即，解码器可以通过对合并候选列表中的预定义的两个候选对进行平均来生成修正的合并候选。例如，预定义对可以是{(0,1),(0,2),(1,2),(0,3)(1,3),(2,3)}。这里，数字表示合并候选列表中的合并索引(或合并候选顺序)。在实施方式中，可以针对相应参考图片列表(或参考列表)单独地计算平均的运动矢量。当两个运动矢量在一个参考图片列表中可用时，即使当各个运动矢量指示不同的参考图片时，也可以对各个运动矢量进行平均。
在实施方式中提出的方法可以仅应用于上图12至图19中描述的实施方式和/或上述的实施方式1中。通过以实施方式中提出的方法应用于上述的实施方式1的情况为例，编码器/解码器可以在通过使用空间候选块和时间候选块的运动信息来配置合并候选列表之后将在实施方式中提出的平均的候选添加到合并候选列表。另外，编码器/解码器可以通过将运动矢量偏移添加到合并候选列表中的合并候选来推导修正的合并运动矢量。
另外，在实施方式中，编码器/解码器可以仅将包括相同参考图片的合并候选视为种子候选。另选地，编码器/解码器可以将以特定参考帧(例如，并置图片)缩放并被平均的运动矢量作为修正的合并候选添加到合并候选列表。例如，特定的参考帧可以使用每个参考帧，或者使用最常在周围块中出现的参考帧。
如上所述，为了方便描述，已经分别描述了上述本公开的实施方式，但本公开不限于此。即，上述实施方式1至3中描述的实施方式可以被独立地执行，并且可以组合并执行一个或更多个各种实施方式。
图22是例示了根据应用本公开的实施方式的用于生成帧间预测块的方法的流程图。
参照图22，主要为了便于描述而描述了解码器，但本公开不限于此，并且可以在编码器和解码器中类似地执行根据本公开的实施方式的用于生成帧间预测块的方法。
解码器通过使用与当前块相邻的空间候选和时间候选的运动信息来配置合并候选列表(S2201)。
如在以上实施方式2中描述的，解码器可以将通过对先前确定的合并候选列表中的预定义候选对进行加权平均而生成的候选添加到合并候选列表。
此外，如在以上实施方式3中描述的，解码器可以将通过对先前确定的合并候选列表中的预定义候选对进行平均而生成的候选添加到合并候选列表。
解码器解析指示在合并候选列表中的预定义数目的候选当中的应用于当前块的帧间预测的特定候选的第一语法元素(S2202)。
如在以上实施方式1中描述的，解码器可以对指示按照在合并候选列表中分配合并索引的顺序的第一候选和第二候选之中的应用于当前块的帧间预测的特定候选的第一语法元素进行解析。
解码器通过将运动矢量偏移添加到由第一语法元素指示的候选的运动矢量来推导修正的候选(S2203)。
如在以上实施方式1中描述的，可以基于指示运动矢量偏移具有整数像素精度还是分数像素精度的运动矢量偏移精度来推导运动矢量偏移。
此外，如在以上实施方式1中描述的，解码器可以解析指示运动矢量偏移精度的第二语法元素，并且在这种情况下，可以通过序列参数集、图片参数集或切片头来发送第二语法元素。
此外，如在以上实施方式1中描述的，可以基于通过将运动矢量偏移精度乘以非零整数而获得的值来推导运动矢量偏移。
解码器基于当前块的运动信息来生成当前块的预测块(S2204)。
图23是例示了根据应用本公开的实施方式的帧间预测装置的示图。
在图23中，为了方便描述，帧间预测单元被例示为一个块，但可以以编码器和/或解码器中所包括的部件来实现帧间预测单元。
参照图23，帧间预测单元实现以上图8至图22中提出的功能、过程和/或方法。具体地，帧间预测单元可以被配置为包括合并候选列表配置单元2301、第一语法元素解析单元2302、修正候选推导单元2303和预测块生成单元2304。
合并候选列表配置单元通过使用与当前块相邻的空间候选和时间候选的运动信息来配置合并候选列表。
如在以上实施方式2中描述的，合并候选列表配置单元2301可以将通过对先前确定的合并候选列表中的预定义候选对进行加权平均而生成的候选添加到合并候选列表。
此外，如在以上实施方式3中描述的，合并候选列表配置单元2301可以将通过对先前确定的合并候选列表中的预定义候选对进行平均而生成的候选添加到合并候选列表。
第一语法元素解析单元2302解析指示在合并候选列表中的预定义数目的候选当中的应用于当前块的帧间预测的特定候选的第一语法元素。
如在以上实施方式1中描述的，第一语法元素解析单元2302可以解析按在合并候选列表中分配合并索引的顺序指示第一候选和第二候选之中的应用于当前块的帧间预测的特定候选的第一语法元素。
修正候选推导单元2303通过将运动矢量偏移添加到由第一语法元素指示的候选的运动矢量来推导修正的候选。
如在以上实施方式1中描述的，可以基于指示运动矢量偏移具有整数像素精度还是分数像素精度的运动矢量偏移精度来推导运动矢量偏移。
此外，如在以上实施方式1中描述的，修正候选推导单元2303可以解析指示运动矢量偏移精度的第二语法元素，并且在这种情况下，可以通过序列参数集、图片参数集或切片头来发送第二语法元素。
此外，如在以上实施方式1中描述的，可以基于通过将运动矢量偏移精度乘以非零整数而获得的值来推导运动矢量偏移。
预测块生成单元2304通过使用当前块的运动信息来生成当前块的预测块。
图24例示了应用本公开的视频编码系统。
视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输格式将编码后的视频/图像信息或数据转发到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以被构造为独立的装置或外部部件。
视频源可以通过诸如捕获、构成或生成这样的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可以包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以例如(电子地)生成视频/图像。例如，可以通过计算机来生成虚拟视频/图像，并且在这种情况下，可以通过生成相关数据的处理来取代视频/图像捕获处理。
编码设备可以对输入视频/图像进行编码。编码设备可以执行包括针对压缩和编码效率的预测、变换和量化等的一系列处理。
发送器可以通过数字存储介质或网络以文件或流传输格式将以比特流格式输出的编码后的视频/图像信息或数据转发到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流，并且将它转发到解码设备。
解码设备可以执行包括与编码设备的操作对应的反量化、逆变换、预测等的一系列处理，并且解码视频/图像。
渲染器可以渲染解码后的视频/图像。渲染后的视频/图像可以通过显示单元显示。
图25是作为应用本公开的实施方式的内容流传输系统的配置示图。
参照图25，应用本公开的内容流传输系统可以包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。
编码服务器用于将从诸如智能手机、相机和摄像机这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将该比特流发送到流传输服务器。作为另一示例，当诸如智能电话、相机和摄像机这样的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。
流传输服务器基于用户请求通过网络服务器将多媒体数据发送到用户设备，并且网络服务器用作将服务告知用户的介质。当用户向网络服务器发送对所期望服务的请求时，网络服务器将请求传送到流传输服务器，并且流传输服务器将多媒体数据发送到用户。这里，内容流传输系统可以包括另外的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的装置间的命令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，流传输服务器可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间，以便提供平稳的流传输服务。
用户设备的示例可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航装置、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜和HMD(头戴式显示器))、数字TV、台式计算机、数字标牌等。
内容流传输系统中的每个服务器都可以作为分布式服务器操作，并且在这种情况下，每个服务器接收到的数据都可以被以分布式方式处理。
本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，附图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。
此外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置视频(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、互联网接入TV、家庭影院系统、智能手机、平板PC和数字录像机(DVR)。
此外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有种类的存储装置。计算机可读记录介质可以包括例如Blueray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网传输)的形式实现的介质。此外，使用编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
此外，本公开的实施方式可以使用程序代码被实现为计算机程序产品。可以由根据本公开的实施方式的计算机执行程序代码。程序代码可以被存储在可供计算机读取的载体上。
在以上提到的实施方式中，本公开的元件和特征已经按特定形式进行了组合。这些元件或特征中的每一个都可以被认为是可选的，除非另有明确描述。这些元件或特征中的每一个都可以按不与其它元件或特征组合的形式来实现。此外，这些元件和/或特征中的一些可以被组合，以形成本公开的实施方式。可以改变本公开的实施方式中描述的操作的顺序。实施方式的一些元件或特征可以被包含在另一个实施方式中，或者可以被另一个实施方式的对应元件或特征替换。显而易见，实施方式可以通过组合在权利要求书中没有明确引用关系的权利要求来构造或者可以在提交申请之后通过修改被包括作为新权利要求。
根据本公开的实施方式可以通过各种装置(例如，硬件、固件、软件或它们的组合)来实现。在由硬件实现的情况下，本公开的实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在由固件或软件实现的情况下，本公开的实施方式可以按执行以上提到的功能或操作的模块、过程或功能的形式来实现。软件代码可以被存储在存储器中并且由处理器驱动。存储器可以位于处理器的内部或外部并且可以利用各种已知手段与处理器交换数据。
本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实现本公开。因此，具体实施方式不应该被解释为是限制性的，而是应该被解释为从所有方面来说都是例示性的。本公开的范围应该通过对所附权利要求的合理分析来确定，并且在本公开的等同范围内的所有修改被包括在本公开的范围内。
工业实用性
为了例示性目的已经公开了本公开的以上提到的优选实施方式，并且本领域的技术人员在不脱离所附权利要求书中公开的本公开的技术精神和范围的情况下，能改进、改变、替代或添加各种其它实施方式。

Claims (4)

1.一种用于图像解码的解码设备，该解码设备包括：
存储器；以及
连接到所述存储器的至少一个处理器，所述至少一个处理器被配置为：
从比特流获取当前块的残差信息；
将所述当前块的帧间预测模式确定为合并模式和运动矢量预测MVP模式当中的所述合并模式；
基于所述当前块的空间候选和时间候选的运动信息来配置合并候选列表；
获取与合并运动矢量偏移是否具有分数像素精度相关的合并运动矢量偏移精度信息，其中，所述合并运动矢量偏移精度信息是从图片参数集获取的；
确定用于基于所述合并运动矢量偏移来推导修正的合并候选的合并候选，其中，所述合并候选列表的第0位置的合并候选被确定为用于基于所述合并运动矢量偏移来推导所述修正的合并候选的合并候选；
基于所述合并运动矢量偏移与确定的所述合并候选的运动矢量之和以及所述合并运动矢量偏移精度信息来推导所述修正的合并候选的运动信息；
基于所述修正的合并候选的所述运动信息来推导所述当前块的预测块；
基于所述残差信息来推导所述当前块的残差块；以及
基于所述预测块和所述残差块来生成所述当前块的重构块，
其中，在配置包括所述空间候选和所述时间候选的所述合并候选列表之后，基于预定义候选的对的平均而生成的合并候选被添加到所述合并候选列表中，
其中，所述预定义候选的所述对是所述合并候选列表的所述第0位置的候选和第1位置的候选的对，并且
其中，所述合并运动矢量偏移是基于通过将由所述合并运动矢量偏移精度信息表示的合并运动矢量偏移精度乘以非零整数而获取的值来推导的。
2.一种用于图像编码的编码设备，该编码设备包括：
存储器；以及
连接到所述存储器的至少一个处理器，所述至少一个处理器被配置为：
将当前块的帧间预测模式确定为合并模式和运动矢量预测MVP模式当中的所述合并模式；
基于所述当前块的空间候选和时间候选的运动信息来配置合并候选列表；
确定用于基于合并运动矢量偏移来推导修正的合并候选的合并候选，其中，所述合并候选列表的第0位置的合并候选被确定为用于基于所述合并运动矢量偏移来推导所述修正的合并候选的合并候选；
基于所述合并运动矢量偏移与确定的所述合并候选的运动矢量之和以及所述合并运动矢量偏移精度信息来推导所述修正的合并候选的运动信息；
基于所述修正的合并候选的所述运动信息来推导所述当前块的预测块；
基于所述当前块的所述预测块来推导所述当前块的残差块；以及
生成包括与所述合并运动矢量偏移是否具有分数像素精度相关的合并运动矢量偏移精度信息和所述残差块的残差信息的视频信息，其中，所述合并运动矢量偏移精度信息被包含在所述视频信息的图片参数集中，
其中，在配置包括所述空间候选和所述时间候选的所述合并候选列表之后，基于预定义候选的对的平均而生成的合并候选被添加到所述合并候选列表中，
其中，所述预定义候选的所述对是所述合并候选列表的所述第0位置的候选和第1位置的候选的对，并且
其中，所述合并运动矢量偏移是基于通过将由所述合并运动矢量偏移精度信息表示的合并运动矢量偏移精度乘以非零整数而获取的值来推导的。
3.一种存储包括由根据权利要求2所述的编码设备生成的视频信息的比特流的非暂态计算机可读存储介质。
4.一种用于发送图像的数据的设备，该设备包括：
至少一个处理器，所述至少一个处理器被配置为：获得包括与合并运动矢量偏移是否具有分数像素精度相关的合并运动矢量偏移精度信息和当前块的残差块的残差信息的视频信息的比特流，其中，所述合并运动矢量偏移精度信息被包含在所述视频信息的图片参数集中；以及
发送包括包含所述合并运动矢量偏移精度信息和所述残差信息的所述视频信息的所述比特流的数据，
其中，所述当前块的预测块是通过以下操作来推导的：将所述当前块的帧间预测模式确定为合并模式和运动矢量预测MVP模式当中的所述合并模式，基于所述当前块的空间候选和时间候选的运动信息来配置合并候选列表，确定用于基于所述合并运动矢量偏移来推导修正的合并候选的合并候选，其中，所述合并候选列表的第0位置的合并候选被确定为用于基于所述合并运动矢量偏移来推导所述修正的合并候选的合并候选，基于所述合并运动矢量偏移与确定的所述合并候选的运动矢量之和以及所述合并运动矢量偏移精度信息来推导所述修正的合并候选的运动信息，
其中，在配置包括所述空间候选和所述时间候选的所述合并候选列表之后，基于预定义候选的对的平均而生成的合并候选被添加到所述合并候选列表中，
其中，所述预定义候选的所述对是所述合并候选列表的所述第0位置的候选和第1位置的候选的对，并且
其中，所述合并运动矢量偏移是基于通过将由所述合并运动矢量偏移精度信息表示的合并运动矢量偏移精度乘以非零整数而获取的值来推导的。
CN202310673299.6A 2018-05-10 2019-05-10 编解码设备、非暂态计算机可读存储介质和数据发送设备 Pending CN116668679A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0053665 2018-05-10
KR20180053665 2018-05-10
PCT/KR2019/005668 WO2019216714A1 (ko) 2018-05-10 2019-05-10 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN201980045852.3A CN112385213B (zh) 2018-05-10 2019-05-10 基于帧间预测模式处理图像的方法和用于该方法的设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980045852.3A Division CN112385213B (zh) 2018-05-10 2019-05-10 基于帧间预测模式处理图像的方法和用于该方法的设备

Publications (1)

Publication Number Publication Date
CN116668679A true CN116668679A (zh) 2023-08-29

Family

ID=68467532

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310672156.3A Pending CN116668678A (zh) 2018-05-10 2019-05-10 图像编解码方法、计算机可读存储介质和数据发送方法
CN202310671946.XA Pending CN116668677A (zh) 2018-05-10 2019-05-10 解码设备、编码设备和数据发送设备
CN201980045852.3A Active CN112385213B (zh) 2018-05-10 2019-05-10 基于帧间预测模式处理图像的方法和用于该方法的设备
CN202310673299.6A Pending CN116668679A (zh) 2018-05-10 2019-05-10 编解码设备、非暂态计算机可读存储介质和数据发送设备

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202310672156.3A Pending CN116668678A (zh) 2018-05-10 2019-05-10 图像编解码方法、计算机可读存储介质和数据发送方法
CN202310671946.XA Pending CN116668677A (zh) 2018-05-10 2019-05-10 解码设备、编码设备和数据发送设备
CN201980045852.3A Active CN112385213B (zh) 2018-05-10 2019-05-10 基于帧间预测模式处理图像的方法和用于该方法的设备

Country Status (4)

Country Link
US (2) US11606566B2 (zh)
KR (3) KR102658929B1 (zh)
CN (4) CN116668678A (zh)
WO (1) WO2019216714A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112997489B (zh) 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令
US11812031B2 (en) * 2018-12-27 2023-11-07 Intellectual Discovery Co., Ltd. Image encoding/decoding method and device
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
WO2021006773A1 (en) * 2019-07-11 2021-01-14 Huawei Technologies Co., Ltd. Motion field storage optimization for the line buffer
CN111050182B (zh) * 2019-12-27 2022-02-18 浙江大华技术股份有限公司 运动矢量的预测方法、视频编码方法及相关设备、装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2675169T3 (da) * 2011-02-09 2019-07-22 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billeddata med en tidsmæssig bevægelsesvektorprediktor og indretning til anvendelse deraf
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
CN110830799B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
KR20170078672A (ko) * 2014-10-31 2017-07-07 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
EP3435673A4 (en) * 2016-03-24 2019-12-25 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
CN116614641A (zh) * 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
KR102365166B1 (ko) * 2017-09-28 2022-02-18 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
CN111919447A (zh) * 2018-03-14 2020-11-10 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
WO2019182295A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102643116B1 (ko) * 2018-03-30 2024-03-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019201264A1 (en) * 2018-04-18 2019-10-24 Mediatek Inc. Candidate reorganizing with advanced control in video coding
US10735763B2 (en) * 2018-07-27 2020-08-04 Tencent America LLC Method and apparatus for motion vector prediction using spatial and temporal combination
JP2020043500A (ja) 2018-09-12 2020-03-19 シャープ株式会社 動画像符号化装置及び動画像復号装置
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
US20200402546A1 (en) * 2019-06-24 2020-12-24 Seagate Technology Llc Reducing base deck porosity
CN110545424B (zh) * 2019-08-21 2021-05-11 浙江大华技术股份有限公司 基于mmvd模式的帧间预测方法、视频编码方法及相关装置、设备
US11582475B2 (en) * 2019-09-24 2023-02-14 Qualcomm Incorporated History-based motion vector prediction

Also Published As

Publication number Publication date
KR20240055149A (ko) 2024-04-26
US20210058628A1 (en) 2021-02-25
WO2019216714A1 (ko) 2019-11-14
KR20230022285A (ko) 2023-02-14
US20230188728A1 (en) 2023-06-15
US11606566B2 (en) 2023-03-14
KR102658929B1 (ko) 2024-04-19
KR102500091B1 (ko) 2023-02-15
CN112385213B (zh) 2023-06-23
CN112385213A (zh) 2021-02-19
KR20200140896A (ko) 2020-12-16
CN116668678A (zh) 2023-08-29
CN116668677A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN112740695B (zh) 使用间预测处理视频信号的方法和装置
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
CN112204964B (zh) 基于帧间预测模式的图像处理方法及其装置
US11509891B2 (en) Intra prediction method and apparatus in image coding system
CN112385213B (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
WO2019194498A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN115176465A (zh) 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法
CN118042150A (zh) 使用间预测处理视频信号的方法和装置
CN118055251A (zh) 使用间预测处理视频信号的方法和装置
CN118055250A (zh) 使用间预测处理视频信号的方法和装置
CN118055249A (zh) 使用间预测处理视频信号的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination