CN110024384A - 基于帧间预测模式处理视频的方法和用于该方法的设备 - Google Patents

基于帧间预测模式处理视频的方法和用于该方法的设备 Download PDF

Info

Publication number
CN110024384A
CN110024384A CN201780073434.6A CN201780073434A CN110024384A CN 110024384 A CN110024384 A CN 110024384A CN 201780073434 A CN201780073434 A CN 201780073434A CN 110024384 A CN110024384 A CN 110024384A
Authority
CN
China
Prior art keywords
block
candidate
current
motion information
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780073434.6A
Other languages
English (en)
Inventor
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN110024384A publication Critical patent/CN110024384A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

基于帧间预测模式的处理视频的方法和用于该方法的装置。具体地，一种基于帧间预测处理视频的方法包括以下步骤：通过使用当前图片的参考图片内的块的运动信息来推导当前块的后向运动信息；将所述后向运动信息添加到所述当前块的运动信息候选列表中；从选自添加到所述运动信息候选列表中的运动信息候选的运动信息来推导当前块的运动信息；以及通过使用所述当前块的运动信息来生成所述当前块的预测块，其中，可以通过所述后向运动信息指定所述参考图片内的块。

Description

基于帧间预测模式处理视频的方法和用于该方法的设备
技术领域
本发明涉及处理静止图像或运动图像的方法，并且更具体地，涉及基于帧间预测模式对静止图像或运动图像进行编码/解码的方法和支持该方法的设备。
背景技术
压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高维度场景表现的特点。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。
因此，需要设计用于高效处理下一代视频内容的编码工具。
发明内容
技术问题
本发明的一个目的是提出一种通过在帧间预测(帧之间的预测)中考虑被分割成二叉树结构的邻近块的运动信息的相似性来确定合并候选的方法。
另外，本发明的一个目的是提出一种使用被分割成二叉树结构的块中的与分割成四叉树结构的块相邻的块作为合并候选的方法。
本发明中将实现的技术目的不限于以上提到的技术目的，并且根据下面的描述，以上未描述的其它技术目的会被本发明所属领域的普通技术人员清楚地理解。
技术方案
根据本发明的一方面，一种基于帧间预测模式的图像处理方法包括以下步骤：通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；对指示所述合并候选列表内的特定合并候选的合并索引进行解码；以及通过使用所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，其中，如果所述当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块，则确定所述空间合并候选是与所述四叉树块的边界相邻的块。
优选地，可以确定所述空间合并候选是与所述四叉树块的左下边界相邻的块、与所述四叉树块的左上边界相邻的块、与所述四叉树块的右上边界相邻的块、与所述四叉树块的上边界相邻的块、或与所述四叉树块的左边界相邻的块中的至少一个。
优选地，与所述上边界相邻的块可以是包括在正交方向上与和所述当前块的左上边界相邻的像素相邻的像素的块或包括在所述正交方向上与所述当前块的右上像素相邻的像素的块。
优选地，与所述左边界相邻的块是包括在水平方向上与所述当前块的左下像素相邻的像素的块。
优选地，生成合并候选列表可以包括将表示时间候选图片内的所述空间合并候选的运动信息所指示的块的第一增强时间合并候选添加到所述合并候选列表中，并且如果所述合并索引指示所述第一增强时间合并候选，则可以通过使用所述第一增强时间合并候选的运动信息作为子块单元来生成所述当前块的预测块。
优选地，生成所述合并候选列表可以包括将第二增强时间合并候选添加到所述合并候选列表中，并且可以通过使用当前图片内的与所述当前块的边界相邻的块的运动信息和时间候选图片内的所述当前块的并置块的运动信息，以子块为单位确定所述第二增强时间合并候选的运动信息。
优选地，所述当前块的当前子块的运动信息可以通过使用与所述当前块的边界相邻的块当中的在水平方向和垂直方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的下侧和右侧的块的运动信息来确定。
优选地，可以基于与所述当前子块的距离，为在水平方向或垂直方向上与所述当前子块相邻的块的运动信息赋予权重。
优选地，如果所述当前子块与所述当前块的垂直边界不相邻，则可以通过使用与所述当前块的边界相邻的块当中的在水平方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的上侧、下侧和右侧的块的运动信息来确定所述当前子块的运动信息。
优选地，如果所述当前子块与所述当前块的水平边界不相邻，则可以通过使用与所述当前块的边界相邻的块当中的在垂直方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的左侧、下侧和右侧的块的运动信息来确定所述当前子块的运动信息。
根据本发明的另一方面，一种基于帧间预测模式的图像处理设备包括：合并候选列表生成单元，该合并候选列表生成单元通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；合并索引解码单元，该合并索引解码单元对指示所述合并候选列表内的特定合并候选的合并索引进行解码；以及预测块生成单元，该预测块生成单元通过使用所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，其中，如果所述当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块，则确定所述空间合并候选是与所述四叉树块的边界相邻的块。
有益效果
根据本发明的实施方式，通过根据块分割结构使用具有相对较高的选择概率的合并候选来生成合并候选列表，由此提高了预测性能和图像压缩效率。
另外，根据本发明的实施方式，通过使用被分割成二叉树结构的块中的与分割成四叉树结构的块相邻的块，可以以被分割成四叉树结构的块为单位执行并行实现。
本发明中能获得的技术效果不限于上述技术效果，并且本领域的技术人员可以通过下面的描述理解本文中未提及的其它技术效果。
附图说明
为了帮助理解本发明而被包括在本文中作为说明书的一部分的附图提供了本发明的实施方式，并且通过以下描述来说明本发明的技术特征。
图1例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行编码的编码器的示意性框图。
图2例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编码单元的分割结构的示图。
图4是用于描述可以应用于本发明的预测单元的示图。
图5是可以应用本发明的实施方式并且是例示帧间预测的方向的示图。
图6是可以应用本发明的实施方式并且例示了用于1/4样本插值的整数和分数样本位置。
图7是可以应用本发明的实施方式并且例示了空间候选的位置。
图8是应用本发明的实施方式并且是例示帧间预测方法的示图。
图9是可以应用本发明的实施方式并且是例示运动补偿处理的示图。
图10例示了作为应用本发明的实施方式的空间合并候选的位置。
图11例示了作为应用本发明的实施方式的时间合并候选的位置。
图12例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子来推导运动信息的方法。
图13和图14例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
图15至图18例示了当通过使用QTBT结构中的现有空间合并候选的位置来构成合并候选时发生的问题。
图19例示了作为应用本发明的实施方式的通过使用与四叉树的叶节点块的边界相邻的块来构成空间合并候选的方法。
图20例示了四叉树块被分割成深度为3的二叉树结构的情况。
图21例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
图22例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
图23例示了根据本发明的一个实施方式的帧间预测方法。
图24更详细例示了根据本发明的一个实施方式的帧间预测单元。
具体实施方式
下文中，将参照附图来描述本发明的优选实施方式。下面利用附图描述的说明书将描述本发明的示例性实施方式，并且不旨在描述能实现本发明的唯一实施方式。下面的描述包括特定细节，以便提供对本发明的完全理解。然而，要理解，本领域的技术人员可以在没有特定细节的情况下实施本发明。
在一些情况下，为了防止本发明的技术构思不清楚，可以省略公知的结构或器件，或者可以将这些结构或器件描绘为侧重于结构或器件的核心功能的框图。
另外，尽管当前广泛使用的通用术语被尽可能地选择作为本发明中的术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述该术语的含义，因此要理解，本发明不会仅通过仅在本发明的说明书中使用的术语来解释，而是应该弄清术语的含义。
可以提供在下面描述中使用的特定术语，以有助于理解本发明。此外，可以在本发明的技术构思的范围内，将特定术语修改为其它形式。例如，可以在每个编码处理中适当地替代和解释信号、数据、样本、图片、帧、块等。
下文中，在本说明书中，“处理单元”意指执行诸如预测、变换和/或量化这样的编码/解码处理过程的单元。下文中，为了便于描述，处理单元也可以被称为“处理块”或“块”。
处理单元可以被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
此外，处理单元可以被解释为是用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另外，本发明不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元。
此外，处理单元本质上不限于方形块，并且可以以具有三个或更多个顶点的多边形形式构造。
图1例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行编码的编码器的示意性框图。
参照图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、预测单元180和熵编码单元190。此外，预测单元180可以包括帧间预测单元181和帧内预测单元182。
视频分割单元110将输入到编码器100的输入视频信号(或图片或帧)分割成一个或更多个处理单元。
减法器115通过从输入视频信号中减去预测单元180(即，帧间预测单元181或帧内预测单元182)所输出的预测信号(或预测块)来生成残差信号(或残差块)。所生成的残差信号(或残差块)被发送到变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或Karhunen-Loeve变换(KLT))应用于残差信号(或残差块)来生成变换系数。在这种情况下，变换单元120可以通过使用应用于残差块的预测模式和基于残差块的尺寸确定的变换方案执行变换来生成变换系数。
量化单元130量化变换系数并将其发送到熵编码单元190，并且熵编码单元190对量化信号进行熵编码操作并将其作为比特流输出。
此外，量化单元130所输出的量化信号可以被用于生成预测信号。例如，可以通过利用去量化单元140和逆变换单元150对量化信号应用去量化和逆变换来重构残差信号。可以通过将重构的残差信号与帧间预测单元181或帧内预测单元182所输出的预测信号相加来生成重构信号。
此外，在此压缩处理期间，按不同的量化参数来量化邻近块。因此，可能出现其中示出块边界的伪像。这种现象被称为块效应(blocking artifact)，这是评估图像质量的重要因素之一。为了减少这种伪像，可以执行滤波处理。通过此滤波处理，消除了块效应，同时减少了当前图片的误差，由此提高了图像质量。
滤波单元160对重构信号应用滤波，并且将其通过回放装置输出或者将其发送到解码图片缓冲器170。发送到解码图片缓冲器170的滤波后的信号可以被用作帧间预测单元181中的参考图片。如上所述，使用滤波后的图片作为图片间预测模式中的参考图片，能提高编码速率以及图像质量。
解码图片缓冲器170可以存储滤波后的图片，以便将其用作帧间预测单元181中的参考图片。
帧间预测单元181参考重构图片执行时间预测和/或空间预测，以便去除时间冗余和/或空间冗余。
具体地，根据本发明的帧间预测单元181可以使用后向运动信息进行帧间预测(或图片间预测)。稍后将描述对其的具体说明。
在这种情况下，可能发生块效应或振铃效应，因为用于执行预测的参考图片是在先前编码/解码时以块为单位经历量化或去量化的变换信号。
因此，为了解决归因于这种信号或量化不连续性的性能劣化，可以通过将低通滤波器应用于帧间预测单元181来以子像素为单位对像素间的信号进行插值。在这种情况下，子像素意指通过应用插值滤波器生成的虚拟像素，并且整数像素意指存在于重构图片中的实际像素。可以应用线性插值、双线性插值、维纳滤波器等作为插值方法。
插值滤波器可以被应用于重构图片，并且能提高预测的精度。例如，帧间预测单元181可以通过向整数像素应用插值滤波器产生插值像素并且使用包括插值像素的插值块作为预测块来执行预测。
帧内预测单元182参考与此时待编码的块邻近的样本来预测当前块。帧内预测单元182可以执行以下过程，以便执行帧内预测。首先，帧内预测单元182可以准备生成预测信号所必需的参考样本。此外，帧内预测单元182可以使用所准备的参考样本来生成预测信号。接下来，帧内预测单元182可以对预测模式进行编码。在这种情况下，可以通过参考样本补零和/或参考样本滤波来准备参考样品。因为参考样本经历预测和重构处理，所以可能存在量化误差。因此，为了减少这种误差，可以对用于帧内预测的每种预测模式执行参考样本滤波处理。
通过帧间预测单元181或帧内预测单元182生成的预测信号(或预测块)可以被用于生成重构信号(或重构块)或者可以被用于生成残差信号(或残差块)。
图2例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行解码的解码器的示意性框图。
参照图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括帧间预测单元261和帧内预测单元262。
此外，可以通过回放装置回放通过解码器200输出的重构视频信号。
解码器200接收图1中示出的编码器100所输出的信号(即，比特流)。熵解码单元210对接收到的信号执行熵解码操作。
去量化单元220使用量化步长信息从熵解码后的信号获得变换系数。
逆变换单元230通过应用逆变换方案对变换系数进行逆变换来获得残差信号(或残差块)。
加法器235将所获得的残差信号(或残差块)与预测单元260(即，帧间预测单元261或帧内预测单元262)所输出的预测信号(或预测块)相加，由此生成重构信号(或重构块)。
滤波单元240对重构信号(或重构块)应用滤波，并且将滤波后的信号输出到回放装置或者将滤波后的信号发送到解码图片缓冲器250。发送到解码图片缓冲器250的滤波后的信号可以被用作帧间预测单元261中的参考图片。
在本说明书中，在编码器100的滤波单元160、帧间预测单元181和帧内预测单元182中描述的实施方式分别可以同样地应用于解码器的滤波单元240、帧间预测单元261和帧内预测单元262。
具体地，根据本发明的帧间预测单元261可以使用后向运动信息进行帧间预测(或图片间预测)。稍后将描述对其的具体说明。
处理单元分割结构
通常，基于块的图像压缩方法被用于静止图像或视频的压缩技术(例如，HEVC)。基于块的图像压缩方法是通过将图像分割成特定块单元来处理图像的方法，并且能减少存储器使用和计算负荷。
图3是用于描述可以应用于本发明的编码单元的分割结构的示图。
编码器将单个图像(或图片)分割成四边形形式的编码树单元(CTU)，并且根据光栅扫描顺序对CTU进行逐一编码。
在HEVC中，CTU的尺寸可以被确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或输入视频信号的特性来选择和使用CTU的尺寸。CTU包括用于亮度分量的编码树块(CTB)和用于与亮度分量对应的两个色度分量的CTB。
可以按四叉树结构分割一个CTU。也就是说，一个CTU可以被分割成四个单元，每个单元都具有正方形形式并且具有半水平尺寸和半垂直尺寸，由此能够生成编码单元(CU)。能递归地执行四叉树结构的这种分割。也就是说，以四叉树结构从一个CTU分层地分割出CU。
CU意指用于输入视频信号的处理过程(例如，执行帧内/帧间预测的编码)的基本单元。CU包括用于亮度分量的编码块(CB)和用于与亮度分量对应的两个色度分量的CB。在HEVC中，CU尺寸可以被确定为64×64、32×32和8×8中的一个。
参照图3，四叉树的根节点与CTU相关。四叉树被分割，直到到达叶节点。叶节点对应于CU。
这将被更详细地描述。CTU对应于根节点并且具有最小深度(即，深度＝0)值。根据输入视频信号的特性，可能不分割CTU。在这种情况下，CTU对应于CU。
可以按四叉树形式分割CTU。结果，生成较低节点，即，深度1(深度＝1)。此外，属于深度为1的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(B)中，已从CTU一次分割出对应于节点a、b和j的CU(a)、CU(b)和CU(j)，并且CU(a)、CU(b)和CU(j)的深度为1。
深度为1的节点中的至少一个可以以四叉树形式分割。结果，生成具有深度2(即，深度＝2)的较低节点。此外，属于深度为2的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(B)中，已从CTU二次分割出对应于节点c、h和i的CU(c)、CU(h)和CU(i)，并且CU(c)、CU(h)和CU(i)的深度为2。
此外，深度为2的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度3(即，深度＝3)的较低节点。此外，属于深度为3的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(B)中，已从CTU三次分割出对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)，并且CU(d)、CU(e)、CU(f)和CU(g)的深度为3。
在编码器中，可以基于视频图像的特性(例如，分辨率)或者通过考虑编码速率来确定CU的最大尺寸或最小尺寸。此外，关于最大或最小尺寸的信息或能够推导出该信息的信息可以被包括在比特流中。具有最大尺寸的CU被称为最大编码单元(LCU)，并且具有最小尺寸的CU被称为最小编码单元(SCU)。
另外，可以用预定的最大深度信息(或最大级别信息)分层地分割出具有树结构的CU。此外，分割出的每个CU都可以具有深度信息。由于深度信息表示CU的分割计数和/或程度，因此它可以包括关于CU的尺寸的信息。
由于LCU以四叉树形状分割，因此可以通过使用LCU的尺寸和最大深度信息来获得SCU的尺寸。或者，逆向地，可以通过使用树的最大深度信息和SCU的尺寸来获得LCU的尺寸。
对于单个CU，可以将表示相应CU是否被分割的信息(例如，分割CU标志(split_cu_flag))转发到解码器。该分割信息被包括在除SCU之外的所有CU中。例如，当表示是否要分割的标志的值为“1”时，对应的CU进一步被分割成四个CU，并且当表示是否要分割的标志的值为“0”时，对应的CU不再被分割，并且可以执行用于相应CU的处理过程。
如上所述，CU是执行帧内预测或帧间预测的编码的基本单元。HEVC在预测单元(PU)中分割CU，以更有效地对输入视频信号进行编码。
PU是用于生成预测块的基本单元，并且即使在单个CU中，也可以以PU为单位以不同方式生成预测块。然而，帧内预测和帧间预测没有被一起用于属于单个CU的PU，并且通过相同的预测方法(即，帧内预测或帧间预测)对属于单个CU的PU进行编码。
PU不按四叉树结构分割，而是在单个CU中按预定形状分割一次。以下，将参照附图对此进行描述。
图4是用于描述可以应用于本发明的预测单元的示图。
根据是使用帧内预测模式还是使用帧间预测模式作为PU所属的CU的编码模式来不同地分割PU。
图4的(a)例示了当使用帧内预测模式时的PU，并且图4的(b)例示了当使用帧间预测模式时的PU。
参照图4的(a)，假定单个CU的尺寸为2N×2N(N＝4、8、16和32)，单个CU可以被分割成两种类型(即，2N×2N或N×N)。
在这种情况下，如果单个CU被分割成2N×2N形状的PU，则这意味着在单个CU中只存在一个PU。
此外，如果单个CU被分割成N×N形状的PU，则单个CU被分割成四个PU，并且为每个PU单元生成不同的预测块。然而，只有当用于CU的亮度分量的CB的尺寸为最小尺寸时(即，CU是SCU的情况)，才可以执行这种PU分割。
参照图4的(b)，假定单个CU的尺寸为2N×2N(N＝4、8、16和32)，单个CU可以被分割成八种PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。
如帧内预测中一样，只有当用于CU的亮度分量的CB的尺寸为最小尺寸时(即，CU是SCU的情况)，才可以执行N×N形状的PU分割。
帧间预测支持按水平方向上分割出2N×N形状以及垂直方向上分割出N×2N的形状进行PU分割。
另外，帧间预测支持按nL×2N、nR×2N、2N×nU和2N×nD的形状进行PU分割，这种PU分割是不对称运动分割(AMP)。在这种情况下，“n”意指2N的1/4值。然而，如果PU所属的CU是最小尺寸的CU，则可以不使用AMP。
为了高效地在单个CTU中对输入视频信号进行编码，可以通过如下的处理过程基于最小速率-失真值来确定编码单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，对于64×64 CTU中的最佳CU分割处理，可以通过从64×64尺寸的CU分割成8×8尺寸的CU的处理来计算速率-失真成本。详细的过程如下。
1)通过对64×64尺寸的CU执行帧间/帧内预测、变换/量化、去量化/逆变换和熵编码来确定生成最小速率失真值的PU和TU的最佳分割结构。
2)确定PU和TU的最佳分割结构，以将64×64 CU分割成四个32×32尺寸的CU并且针对每个32×32 CU生成最小速率失真值。
3)确定PU和TU的最佳分割结构，以将32×32 CU进一步分割成四个16×16尺寸的CU并且针对每个16×16 CU生成最小速率失真值。
4)确定PU和TU的最佳分割结构，以将16×16 CU进一步分割成四个8×8尺寸的CU并且针对每个8×8 CU生成最小速率失真值。
5)通过将在过程3)中获得的16×16 CU的速率-失真值与在过程4)中获得的四个8×8 CU的速率-失真值之和进行比较来确定16×16块中的CU的最佳分割结构。还以相同的方式针对剩余的三个16×16 CU执行该过程。
6)通过将在过程2)中获得的32×32 CU的速率-失真值与在过程5)中获得的四个16×16 CU的速率-失真值之和进行比较来确定32×32块中的CU的最佳分割结构。还以相同的方式针对剩余的三个32×32 CU执行该过程。
7)最后，通过将在过程1)中获得的64×64 CU的速率-失真值与在过程6)中获得的四个32×32 CU的速率-失真值之和进行比较来确定64×64块中的CU的最佳分割结构。
在帧内预测模式中，选择预测模式作为PU单元，并且以实际TU为单位对所选择的预测模式执行预测和重构。
TU意指执行实际预测和重构的基本单元。TU包括用于亮度分量的变换块(TB)和用于与亮度分量对应的两个色度分量的TB。
在图3的示例中，如在其中一个CTU按四叉树结构被分割以生成CU的示例中，以四叉树结构从待编码的一个CU分层地分割出TU。
从CU分割出的TU可以被分割成更小和更低的TU，这是因为TU是按四叉树结构分割的。在HEVC中，TU的尺寸可以被确定为32×32、16×16、8×8和4×4中的一个。
返回参照图3，假定四叉树的根节点与CU相关。四叉树被分割直到到达叶节点，并且叶节点对应于TU。
这被更详细地描述。CU对应于根节点并且具有最小深度(即，深度＝0)值。根据输入图像的特性，可以不分割CU。在这种情况下，CU对应于TU。
可以按四叉树形式分割CU。结果，生成具有深度1(深度＝1)的较低节点。此外，属于深度为1的较低节点并不再被分割的节点(即，叶节点)对应于TU。例如，在图3的(B)中，从CU一次分割出对应于节点a、b和j的TU(a)、TU(b)和TU(j)，并且TU(a)、TU(b)和TU(j)的深度为1。
深度为1的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度2(即，深度＝2)的较低节点。此外，属于深度为2的较低节点并不再被分割的节点(即，叶节点)对应于TU。例如，在图3的(B)中，从CU二次分割出对应于节点c、h和i的TU(c)、TU(h)和TU(i)，并且TU(c)、TU(h)和TU(i)的深度为2。
此外，深度为2的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度3(即，深度＝3)的较低节点。此外，属于深度为3的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(B)中，已从CU三次分割出对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)，并且TU(d)、TU(e)、TU(f)和TU(g)的深度为3。
可以用预定的最大深度信息(或最大级别信息)分层地分割出具有树结构的TU。此外，分割出的每个TU都可以具有深度信息。深度信息可以包括关于TU尺寸的信息，因为它指示TU的分割数目和/或程度。
指示相应TU是否已相对于一个TU分割的信息(例如，分割TU标志“split_transform_flag”)可以被传送到解码器。该分割信息被包括在除最小尺寸的TU之外的所有TU中。例如，如果指示TU是否已被分割的标志的值为“1”，则对应TU被分割四个TU。如果指示TU是否已被分割的标志的值为“0”，则对应TU不再被分割。
预测
为了重构被执行解码的当前处理单元，可以使用包括当前处理单元的其它图片或当前图片的被解码部分。
仅使用当前图片进行重构(也就是说，仅被执行帧内预测)的图片(切片)可以被称为帧内图片或I图片(切片)，为了预测每个单元而使用最多一个运动向量和参考索引的图片(切片)可以被称为预测图片或P图片(切片)，并且使用最多两个运动向量和参考索引的图片(切片)可以被称为双向预测图片或B图片(切片)。
帧内预测意指从同一解码图片(或切片)的数据元素(例如，样本值)推导当前处理块的预测方法。也就是说，帧内预测意指参照当前图片内的重构区域预测当前处理块的像素值的方法。
下文中，更详细地描述帧间预测。
帧间预测(或帧之间的预测)
帧间预测意指基于除当前图片之外的图片的数据元素(例如，样本值或运动向量)推导当前处理块的预测方法。也就是说，帧间预测意指参照除当前图片之外的另一重构图片内的重构区域预测当前处理块的像素值的方法。
帧间预测(或图片间预测)是用于去除图片之间存在的冗余的技术，并且主要是通过运动估计和运动补偿执行的。
图5是可以应用本发明的实施方式并且是例示帧间预测的方向的示图。
参照图5，帧间预测可以分为单向预测和双向预测，在单向预测中，使用仅仅一个过去的图片或未来的图片作为与单个块有关的时间轴上的参考图片，并且在双向预测中，同时参照过去的图片和未来的图片二者。
此外，单向预测可以被分为正向预测和后向预测，在正向预测中，使用在当前图片之前暂时显示(或输出)的单个参考图片，在后向预测中，使用在当前图片之后暂时显示(或输出)的单个参考图片。
在帧间预测过程(即，单向或双向预测)中，用于指定在预测当前块时使用哪个参考区域(或参考块)的运动参数(或信息)包括帧间预测模式(在这种情况下，帧间预测模式可以指示参考方向(即，单向或双向)和参考列表(即，L0、L1或双向))、参考索引(或参考图片索引或参考列表索引)和运动向量信息。运动向量信息可以包括运动向量、运动向量预测(MVP)或运动向量差(MVD)。运动向量差意指运动向量和运动向量预测子之间的差值。
在单向预测中，使用用于一侧方向的运动参数。也就是说，为了指定参考区域(或参考块)，一个运动参数可能是必须的。
在双向预测中，使用用于两个方向的运动参数。在双向预测方法中，可以使用最多两个参考区域。这两个参考区域可能存在于同一参考图片中，或者可能存在于不同的图片中。也就是说，在双向预测方法中，可以使用最多两个运动参数。两个运动向量可以具有相同的参考图片索引或者可以具有不同的参考图片索引。在这种情况下，参考图片可以在当前图片之前暂时显示，或者可以在当前图片之后暂时显示(或输出)。
编码器执行运动估计，在运动估计中，在帧间预测处理中在参考图片中搜索与当前处理块最相似的参考区域。此外，编码器可以向解码器提供参考区域的运动参数。
编码器/解码器可以使用运动参数来获得当前处理块的参考区域。参考区域存在于具有参考索引的参考图片中。此外，由运动向量指定的参考区域的插值或像素值可以被用作当前处理块的预测子。也就是说，使用运动信息执行运动补偿，在运动补偿中，从先前解码的图片预测当前处理块的图像。
为了降低与运动向量信息相关的传送速率，可以使用下述方法：利用先前解码的块的运动信息获得运动向量预测子(mvd)并且仅发送相应差值(mvd)。也就是说，解码器使用其它解码块的运动信息计算当前处理块的运动向量预测子，并且使用来自编码器的差值获得当前处理块的运动向量值。在获得运动向量预测子时，解码器可以使用其它已经解码的块的运动信息来获得各种运动向量候选值，并且可以获得各种运动向量候选值中的一个作为运动向量预测子。
-参考图片集和参考图片列表
为了管理多个参考图片，将先前解码的图片的集合存储在解码图片缓冲器(DPB)中，以便对其余图片进行解码。
属于存储在DPB中并被用于帧间预测的重构图片的重构图片被称为参考图片。换句话说，参考图片意指包括下述样本的图片，所述样本在对解码序列中的下一个图片的解码过程中可以被用于帧间预测。
参考图片集(RPS)意指与图片关联的参考图片的集合，并且包括解码序列中的所有先前关联的图片。参考图片集可以被用于对解码序列中的图片之后的图片或关联图片的帧间预测。也就是说，保留在解码图片缓冲器(DPB)中的参考图片可以被称为参考图片集。编码器可以在每个切片头部中为解码器提供序列参数集(SPS)(即，具有语法元素的语法结构)或参考图片集信息。
参考图片列表意指用于P图片(或切片)或B图片(或切片)的帧间预测的参考图片的列表。在这种情况下，参考图片列表可以被分为可以被称为参考图片列表0(或L0)和参考图片列表1(或L1)的两个参考图片列表。此外，属于参考图片列表0的参考图片可以被称为参考图片0(或L0参考图片)，并且属于参考图片列表1的参考图片可以被称为参考图片1(或者L1参考图片)。
在对P图片(或切片)的解码过程中，可以使用一个参考图片列表(即，参考图片列表0)。在对B图片(或切片)的解码过程中，可以使用两个参考图片列表(即，参考图片列表0和参考图片列表1)。用于区分每个参考图片的这种参考图片列表的信息可以通过参考图片集信息可以通过参考图片集信息被提供到解码器。解码器基于参考图片集信息将参考图片添加到参考图片列表0或参考图片列表1中。
为了识别参考图片列表内的任一个特定参考图片，使用参考图片索引(或参考索引)。
-分数样本插值
从参考图片索引所标识的参考图片内的相应参考区域的样本值获得用于帧间预测当前处理块的预测块的样本。在这种情况下，参考图片内的相应参考区域指示运动向量的水平分量和垂直分量所指示的位置的区域。除了运动向量具有整数值的情况之外，使用分数样本插值来生成用于非整数样本坐标的预测样本。例如，可以支持样本之间距离的1/4比例的运动向量。
在HEVC的情况下，亮度分量的分数样本插值在横向方向和纵向方向上应用8抽头滤波器。此外，色度分量的分数样本插值在横向方向和纵向方向上应用4抽头滤波器。
图6是可以应用本发明的实施方式并且例示了用于1/4样本插值的整数和分数样本位置。
参照图6，其中被写入大写字母(A_i，j)的阴影块指示整数样本位置，而其中写入小写字母(x_i，j)的没有阴影的块指示分数样本位置。
通过在水平方向和垂直方向上向整数样本值应用插值滤波器来生成分数样本。例如，在水平方向的情况下，可以基于待生成的分数样本，向左侧的四个整数样本值和右侧的四个整数样本值应用8抽头滤波器。
-帧间预测模式
在HEVC中，为了减少运动信息的量，可以使用合并模式和高级运动向量预测(AMVP)。
1)合并模式
合并模式意指从空间或时间上邻近的块推导运动参数(或信息)的方法。
在合并模式中，可用候选的集合包括空间上邻近的候选、时间上的候选和所生成的候选。
图7是可以应用本发明的实施方式并且例示了空间候选的位置。
参照图7的(a)，根据序列{A1，B1，B0，A0，B2}确定每个空间上候选的块是否可用。在这种情况下，如果候选块未按帧内预测模式编码并且存在运动信息或者如果候选块位于当前图片(或切片)之外，则不可以使用对应的候选块。
在确定空间候选的有效性之后，可以通过从当前处理块的候选块中排除掉不必要的候选块来配置空间上的合并候选。例如，如果当前预测块的候选块是同一编码块内的第一预测块，则可以排除掉除相应候选块之外的具有相同运动信息的候选块。
当空间合并候选配置完成时，按{T0，T1}的顺序执行时间合并候选配置处理。
在时间候选配置中，如果参考图片的并置块的右下块T0可用，则相应块被配置为时间合并候选。并置块意指存在于所选择的参考图片中的与当前处理块对应的位置中的块。相反，如若不然，则位于并置块中心处的块T1被配置为时间合并候选。
可以在切片报头中指定合并候选的最大数目。如果合并候选的数目大于最大数目，则保持数目比最大数目少的空间上的候选和时间上的候选。如若不然，则通过组合到目前为止添加的候选直到候选的数目变为最大数目来生成该数目的附加合并候选(即，组合的双向预测合并候选)。
编码器使用以上方法配置合并候选列表，并且将通过执行运动估计在合并候选列表中选择的候选块信息作为合并索引(例如，merge_idx[x0][y0]’)用信号通知给解码器。图7的(b)例示了已从合并候选列表中选择了B1块的情况。在这种情况下，“索引1(Index1)”可以被作为合并索引用信号通知给解码器。
解码器像编码器一样配置合并候选列表，并且从合并候选列表中的与来自编码器的合并索引对应的候选块的运动信息推导关于当前预测块的运动信息。此外，解码器基于推导的运动信息(即，运动补偿)生成用于当前处理块的预测块。
2)高级运动向量预测(AMVP)模式
AMVP模式意指从邻近的块推导运动向量预测值的方法。因此，水平和垂直运动向量差(MVD)、参考索引和帧间预测模式被用信号通知给解码器。使用编码器所提供的运动向量差(MVD)和推导的运动向量预测值来计算水平和垂直运动向量值。
也就是说，编码器配置运动向量预测子候选列表，并且将通过执行运动估计而在运动向量预测子候选列表中选择的运动参考标志(即，候选块信息)(例如，mvp_lX_flag[x0][y0]’)用信号通知给解码器。解码器像编码器一样配置运动向量预测子候选列表，并且从运动向量预测子候选列表中的从编码器接收的运动参考标志所指示的候选块的运动信息来推导当前处理块的运动向量预测子。此外，解码器使用编码器所发送的运动向量差和推导的运动向量预测子来获得用于当前处理块的运动向量值。此外，解码器基于推导的运动信息(即，运动补偿)生成用于当前处理块的预测块。
在AMVP模式的情况下，选择图7中的五个可用候选的两个空间运动候选。从位于左侧的{A0，A1}集合中选择第一空间运动候选，并且从位于顶部的{B0，B1，B2}集合中选择第二空间运动候选。在这种情况下，如果邻近候选块的参考索引与当前预测块不相同，则缩放运动向量。
如果作为搜索空间运动候选的结果而选择的候选的数目为2，则终止候选配置。如果所选择的候选的数目小于2，则添加时间运动候选。
图8是应用本发明的实施方式并且是例示帧间预测方法的示图。
参照图8，解码器(具体地，图2中的解码器的帧间预测单元261)对用于处理块(例如，预测单元)的运动参数进行解码(S801)。
例如，如果已向处理块应用了合并模式，则解码器可以对由编码器用信号通知的合并索引进行解码。此外，可以从合并索引所指示的候选块的运动参数推导当前处理块的运动参数。
此外，如果已向处理块应用AMVP模式，则解码器可以对编码器用信号通知的水平和垂直运动向量差(MVD)、参考索引和帧间预测模式进行解码。此外，解码器可以从运动参考标志所指示的候选块的运动参数推导运动向量预测子，并且可以使用运动向量预测子和接收到的运动向量差来推导当前处理块的运动向量值。
解码器使用解码后的运动参数(或信息)对预测单元执行运动补偿(S802)。
也就是说，编码器/解码器使用解码后的运动参数执行运动补偿，在该运动补偿中，从先前解码的图片预测当前单元的图像。
图9是可以应用本发明的实施方式并且是例示运动补偿处理的示图。
图9例示了当前图片中的待编码当前块的运动参数是单向预测、LIST0内的第二图片、LIST0和运动向量(-a、b)的情况。
在这种情况下，如图9中一样，使用与LIST0的第二图片中的当前块间隔开的位置(-a，b)的值(即，参考块的样本值)来预测当前块。
在双向预测的情况下，发送另一参考列表(例如，LIST1)、参考索引和运动向量差。解码器推导两个参考块并且基于这两个参考块预测当前块值。
实施方式1
在本发明的一个实施方式中，提出了在以四叉树结构执行块分割时使用合并模式的帧间预测方法。
当以四叉树结构分割块时，编码器和解码器二者可以按以下顺序生成(或构成)合并候选列表，直到满足了合并候选的最大数目。
1)空间合并候选的构成
2)时间合并候选的构成
3)组合合并候选的构成
4)零运动向量候选的构成
这里，将参照下图来描述空间合并候选的位置和时间合并候选的位置。
图10例示了作为应用本发明的实施方式的空间合并候选的位置。
参照图10的(a)，如果当前块1001是2N×2N块，则编码器/解码器可以按1(①)、2(②)、3(③)、4(④)、5(⑤)的顺序搜索当前块1001的邻近块的运动信息，并且使用可用(或有效)运动信息作为合并候选。
参照图10的(b)和(c)，如果当前块1002、1003是诸如2N×2N、nL×2N、nR×2N、N×2N或2N×nU块这样的非方形块，则编码器/解码器可以按1(①)、2(②)、3(③)、4(④)的顺序搜索当前块1002、1003的邻近块的运动信息，并且使用可用(或有效)运动信息作为合并候选。
图11例示了作为应用本发明的实施方式的时间合并候选的位置。
参照图11，编码器/解码器可以使用时间候选图片1102内的当前块1103的对应位置处的并置块1104的右下块或中心块作为时间合并候选。换句话说，首先考虑位于并置块1104的右下侧的块的运动信息，并且如果在对应位置处没有观察到运动信息，则编码器/解码器可以使用位于并置块1104的中心处的块的运动信息作为合并候选的运动信息。
可以在切片报头处确定考虑时间相似性(即是否使用时间合并候选)的合并候选选择方法。如果使用时间合并候选，则编码器可以以切片为单位将时间候选图片的参考方向和用于确定时间合并候选的参考图片索引发送到解码器。在这种情况下，编码器/解码器可以通过参考所有切片内的相同图片来构成时间合并候选。
可以通过切片报头指定合并候选的最大数目。如果没有从切片报头发送合并候选的最大数目，则编码器/解码器可以通过使用五个合并候选来构造列表。此时，编码器/解码器可以通过使用多达四个空间合并候选和一个时间合并候选来生成合并候选列表。
如果合并候选的数目大于最大数目，则保持少于最大数目的空间候选和时间候选。否则，直到合并候选的数目达到最大数目之前，编码器/解码器可以将到目前为止添加到合并候选列表中的候选相组合以生成组合合并候选(即，组合双向预测合并候选)。如果仅通过考虑到空间和时间相似性的合并候选不能满足合并候选的最大数目，则编码器/解码器可以选择零运动向量作为合并候选。
实施方式2
在本发明的一个实施方式中，提出了在以四叉树加二叉树(QTBT)结构分割块时使用合并模式的帧间预测方法。QTBT是指其中四叉树结构和二叉树结构被组合的编码块的分割结构。更具体地，在QTBT结构中，以CTU为单元进行图像编码，其中，首先以四叉树形式分割CTU，并且进一步地以二叉树形式分割四叉树的叶节点。
具体地，在本实施方式中，为了构成合并候选列表，除了上述实施方式1的方法之外，编码器/解码器还可以应用高级时间运动向量预测子(ATMVP)和高级时间运动向量预测子-扩展(ATMVP-ext)，稍后将对其进行详细描述。
当按QTBT结构分割块时，编码器/解码器二者都可以通过使用空间合并候选、时间合并候选、ATMVP、ATMVP-ext、组合合并候选和/或零运动向量候选来生成(或构成)合并候选列表。
在一个实施方式中，编码器/解码器可以按以下顺序生成(或构成)合并候选列表，直到合并候选的数目达到最大数目。
1)空间合并候选的构成
2)ATMVP的构成
3)ATMVP-ext的构成
4)空间合并候选的添加
5)时间合并候选的构成
6)组合合并候选的构成
7)零运动向量候选的构成
此时，例如，编码器/解码器可以针对有效运动信息搜索图10中描述的位置1(①)、2(②)、3(③)、4(④)处的块，确定空间合并候选，然后构成ATMVP和ATMVP-ext。然后，编码器/解码器可以通过使用图10中描述的位置5(⑤)处的运动信息来添加空间合并候选。
可以通过切片报头指定合并候选的最大数目。如果没有从切片报头发送合并候选的最大数目，则编码器/解码器可以通过使用预定数目的合并候选来构造列表。优选地，该预定数目可以是5至7中的一个。
并且，编码器可以通过高级语法用信号通知解码器是否使用(或应用)ATMVP和/或ATMVP-ext。例如，编码器可以将是否以序列、图片或切片为单元使用ATMVP和/或ATMVP-ext用信号通知给解码器。当使用ATMVP和ATMVP-ext时，根据是否使用ATMVP或ATMVP-ext，合并候选的最大数目可以增加1。例如，当未发送合并候选的最大数目时，解码器可以将合并候选的最大数目设置为5，并且当使用ATMVP和ATMVP-ext二者时，合并候选的最大数目可以增至7。
类似地，当未发送合并候选的最大数目时，解码器可以将合并候选的最大数目设置为预定数目，并且无论是否使用ATMVP或ATMVP-ext，都构成候选。例如，当未从编码器发送合并候选的最大数目时，解码器可以将合并候选的最大数目设置为7，并且通过使用最多7个合并候选来构造合并候选列表，即使是在未使用ATMVP和ATMVP-ext二者的条件下。
ATMVP表示时间候选图片(或参考图片)内的添加到合并候选列表中的空间合并候选的运动信息所指定的块(块的运动信息)。在本发明中，ATMVP可以被称为组合(或混合)的合并候选或第一高级时间合并候选，将参照下图对此进行描述。
图12例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子来推导运动信息的方法。
参照图12，首先，编码器/解码器通过使用首先添加到合并候选列表中的空间合并候选的运动信息1201来搜索时间候选图片内的当前块1202的候选块1203。
换句话说，可以由合并候选列表的第一空间合并候选的运动信息1201指定ATMVP候选块1202。
并且，可以以子块为单位推导ATMVP候选块1202的运动信息。更具体地，当从编码器接收到的合并索引指示ATMVP候选时，可以通过以子块为单位使用(或推导)ATMVP候选的运动信息以子块为单位生成当前块1202的预测块。
接下来，ATMVP-ext表示考虑从当前块分割出的子块单元中的运动信息的空间和时间相似性的方法。在本发明中，ATMVP-ext可以被称为组合(或混合)的合并候选或第二高级时间合并候选，将参照下图对此进行描述。
图13和图14例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
参照图13，当应用ATMVP-ext时，编码器/解码器可以将当前块分割成多个子块，并且逐子块地确定(或推导)运动信息。例如，子块可以是4×4或8×8尺寸的块。
为了推导当前子块1301的运动向量(或运动信息)，编码器/解码器可以使用与当前子块1301相邻的子块1302、1303、1304、1305的运动信息。此时，靠近当前块的左侧1302和上侧1303的子块已经对应于解码区域，编码器/解码器可以使用当前图片内的对应区域的运动信息。另一方面，由于与当前块的下侧1304和右侧1305相邻的那些子块属于尚未完成解码的区域，因此编码器/解码器可以使用时间候选图片(或参考图片或并置图片)内的对应位置处的运动信息。
编码器/解码器可以推导总共四条运动信息(即，与当前子块1301在空间上相邻的两个块1302、1303以及与当前子块1301在时间上相邻的两个块1304、1305的运动信息)的平均值作为当前子块1301的运动信息。
参照图14，当当前子块1401不与当前块的边界相邻时，编码器/解码器可以通过使用上述方法来使用邻近子块的运动信息，而通过使用当前图片内的当前块的边界之外的区域中的运动信息，可以消除子块当中可能出现的依赖性。
换句话说，当当前子块1401与上边界相邻但是不与左边界相邻时，编码器/解码器可以使用当前图片内的与当前块的边界相邻的块当中的在水平方向上与当前子块1401相邻的块1402来替代恰在当前子块1401左侧的子块。
实施方式3
在本发明的一个实施方式中，编码器/解码器可以使用按二叉树结构分割的块中的与按四叉树结构分割的块相邻的块作为合并候选。在本实施方式中，编码器/解码器可以通过根据按二叉树结构进行的分割考虑邻近块的运动信息的相似性来确定合并候选。
如以上在QTBT结构中描述的，在首先按四叉树结构执行分割之后，四叉树的叶节点块(随后，它可以被称为“四叉树块”)被进一步按二叉树结构进行分割。此时，四叉树块中的以二叉树形式分割的块当中的运动信息的相似性可能相对低，将参照下图对此进行描述。
图15至图18例示了当通过使用QTBT结构中的现有空间合并候选的位置来构成合并候选时发生的问题。
图15示出了分割成二叉树的块的空间合并候选的位置。图15的(a)示出了在垂直方向上分割的四叉树块的示例，图15的(b)示出了在垂直方向上分割四叉树块并且在水平方向上再次进行分割的示例。
参照图16，在图15的(a)的示例中，如果如图16的(a)中所示第一位置1601被用作空间预测候选(即空间合并候选)，则由于作为第二个二叉树块的当前块1602使用与第一个二叉树块的运动信息相同的运动信息，因此很有可能可以如图16的(b)中所示地分割四叉树块或者不执行二叉树分割。
参照图17，在图15的(b)的示例中，如果如图17的(a)中所示第二位置1701被用作当前块1702的空间合并候选，则很有可能可以如图17的(b)中所示地分割四叉树块。
参照图18，在图15的(b)的示例中，假定第五位置1801、1802被用作空间合并候选。
通过根据空间合并候选的构成顺序检查直到第五位置的运动信息来组合空间合并候选可以指示第一位置处的运动信息与第二位置处的运动信息与第五位置处的运动信息不相同。当采用如上所述的运动信息时，就按四叉树结构分割的分割标志的比特分配而言，四叉树块是高效的，如图18的(b)中所示。
换句话说，如果使用图15的(b)的示例中的第五位置1801、1802处的合并候选的运动信息，则很有可能可以如图18的(b)中所示分割四叉树块。
如上所述，四叉树块中的以二叉树形式分割的块当中的运动信息的相似性可能相对低。尽管有以上事实，但是如果使用与现有方法中相同的位置，则具有低选择概率的空间合并候选可以被包括在合并候选列表中，从而导致压缩性能降低。
因此，为了解决以上问题，本发明提出了使用按二叉树结构分割的块中的与按四叉树结构分割的块的边界相邻的块作为合并候选的方法。
通过根据块分割结构使用具有较高选择概率的合并候选来生成合并候选列表，能提高预测性能和图像压缩效率。
另外，根据本发明的实施方式，通过使用被分割成二叉树结构的块中的与分割成四叉树结构的块相邻的块，可以在被分割成四叉树结构的块单元中执行并行实现。换句话说，根据本实施方式，不仅能解决问题，而且可以以四叉树块为单位并行进行合并处理。
图19例示了作为应用本发明的实施方式的通过使用与四叉树的叶节点块的边界相邻的块来构成空间合并候选的方法。
参照图19，如果当前块1901、1902是表示四叉树结构的叶节点块的四叉树块中的按二叉树结构分割的块，则可以确定空间合并候选是与四叉树块的边界相邻的块。更具体地，空间合并候选可以是位置1(①)、2(②)、3(③)、4(④)、5(⑤)处的块(或包括位置1(①)、2(②)、3(③)、4(④)、5(⑤)处的像素的块)。
编码器/解码器可以在位置1(①)、2(②)、3(③)、4(④)、5(⑤)处搜索运动信息，并且构成当前块1901、1902的空间合并候选。
当使用上述位置处的空间合并候选时，与现有方法相比，能提高压缩性能，并且因为在用于推导四叉树块内的二叉树块的运动信息的处理期间二叉树块之间的依赖性消失，所以可以以四叉树块为单位执行并行化。
实施方式4
在本发明的一个实施方式中，当编码器/解码器应用以子块为单位推导运动信息的ATMVP或ATMVP-ext方法时，可以使用按二叉树结构分割的块中的与按四叉树结构分割的块的边界相邻的块作为合并候选。
本实施方式提出了用于构成空间合并候选以便推导适于QTBT结构的ATMVP的方法。
如实施方式3中所述，在用于构成空间合并候选的处理期间，可能出现邻近候选的运动信息的选择概率根据QTBT块分割结构而减小的问题。然而，由于ATMVP使用由邻近候选的运动信息在时间候选图片内指定的块的运动信息，因此不会发生如实施方式3中描述的问题。
因此，编码器/解码器可以通过使用与现有方法(即，图10中描述的方法)中相同的位置处的空间候选的运动信息来构成ATMVP。更具体地，如果当前块是根据二叉树分割的块，则编码器/解码器可以搜索在图10中描述的位置处的空间候选的运动信息；并且可以以子块为单位推导由第一有效(或可用)运动信息指定的时间候选图片内的块的运动信息，并使用所推导的运动信息作为当前块的运动信息。
另一方面，编码器/解码器可以通过考虑与实施方式3中提出的方法的一致性或复杂度的降低，使用与图19中描述的相同的位置处的空间候选的运动信息来组成ATMVP。更具体地，如果当前块是根据二叉树分割的块，则编码器/解码器可以搜索在图19中描述的位置处的空间候选的运动信息；并且可以以子块为单位推导由第一有效(或可用)运动信息指定的时间候选图片内的块的运动信息，并使用所推导的运动信息作为当前块的运动信息。
图20例示了作为应用本发明的实施方式的通过使用与四叉树的叶节点块的边界相邻的块来构成空间合并候选的方法。
图20例示了四叉树块被分割成深度3的二叉树结构的情况。
编码器/解码器可以通过将图20的(a)中所示的位置(1(①)、2(②)、3(③)、4(④)、5(⑤))处的空间合并候选用于以四叉树块为单位的并行化来构成合并候选列表。
另外，编码器/解码器可以通过将图20的(b)中所示的位置(1(①)、2(②)、3(③)、4(④)、5(⑤))处的空间合并候选用于二叉树的相同深度处的块的并行化来构成合并候选列表。
编码器确定作为执行并行化的基础的单元，并且通过高级语法将所确定的并行化单元发送到解码器。例如，编码器可以按序列、图片或切片为单位将并行化单元用信号通知给解码器。如果编码器发送并行化单元，则解码器可以选择性使用图20的(a)和(b)中示出的空间候选位置。
实施方式5
在本发明的一个实施方式中，提出用于通过考虑QTBT结构高效地应用ATMVP-ext的方法。
如实施方式2中描述的，ATMVP-ext以子块为单位推导运动信息。由于QTBT结构的复杂度根据块结构的多样性的增加而显著增加，因此并行化作为一个重要问题而出现，并且出现了以下问题：根据执行并行化时子块的特性，邻近候选位置的运动信息的可靠性下降。
为了解决以上问题，本实施方式提出了用于根据当前处理块内的每个子块的位置来确定ATMVP-ext中使用的空间或时间候选的位置的方法。
图21例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
参照图21，编码器/解码器可以通过使用时间候选而非不在块边界上的位置处的空间候选的运动信息来确定ATMVP-ext运动信息。
例如，如果当前子块2101与当前块的水平边界不相邻，则可以通过使用在水平方向上与当前子块2101相邻的块2103的运动信息以及时间候选图片的并置块内的当前子块2101的左侧2102、下侧2104和右侧2105的块的运动信息来确定当前子块2101的运动信息。
图22例示了作为应用本发明的实施方式的通过使用高级时间运动向量预测子-扩展来推导运动信息的方法。
参照图22，如果当前子块2201不与当前块的左边界或上边界相邻，则使用与当前块相邻的空间候选运动向量；然而，如果相应空间候选的运动向量2202变得离当前子块2201更远，则可以应用具有相对小值的权重。例如，权重值可以小于1。
到目前为止，主要描述了用于以合并模式构成候选列表的方法；然而，上述实施方式也可以被应用于高级运动向量预测(AMVP)模式。换句话说，如果未应用合并模式，则可以应用AMVP模式，并且在这种情况下，解码器可以通过应用上述方法生成AMVP候选列表，并且通过使用从编码器接收的运动向量差值和参考图片索引来执行帧间预测。
另外，上述实施方式可以被彼此独立地应用，或者可以应用一个或更多个实施方式的组合。
图23例示了根据本发明的一个实施方式的帧间预测方法。
参照图23，为了方便起见，主要描述了解码器；然而，根据本实施方式的帧间预测方法可以以相同的方式被应用于编码器和解码器二者。
解码器通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表S2301。
如上所述，如果当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块，则空间合并候选被确定为与四叉树块边界相邻的块。
更具体地，空间合并候选可以被确定为与四叉树块的左下边界相邻的块、左上边界相邻的块、右上边界相邻的块、上边界相邻的块、或左边界相邻的块中的至少一个。这里，与上边界相邻的块可以是包括在正交方向上与和当前块的左上边界相邻的像素相邻的像素的块或包括在正交方向上与当前块的右上像素相邻的像素的块。与左边界相邻的块可以是包括在水平方向上与当前块的左下像素相邻的像素的块。
另外，如上所述，S2301步骤可以包括将表示时间候选图片内的空间合并候选的运动信息所指示的块的第一增强时间合并候选(ATMVP)添加到合并候选列表中。
如果合并索引指示第一增强时间合并候选，则可以通过使用第一增强时间合并候选的运动信息作为子块单元来生成当前块的预测块。
另外，如上所述，S2301步骤可以包括将第二增强时间合并候选(ATMVP-ext)添加到合并候选列表中。这里，通过使用当前图片内的与当前块的边界相邻的块的运动信息和时间候选图片内的当前块的并置块的运动信息，可以以子块为单位确定第二增强时间合并候选的运动信息。并且，可以通过使用与当前块的边界相邻的块当中的在水平方向和垂直方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的下侧和右侧的块的运动信息来确定当前块的当前子块的运动信息。
如参照图22描述的，可以基于与当前子块的距离，为在水平方向或垂直方向上与当前子块相邻的块的运动信息赋予权重。
如参照图21描述的，如果当前子块与当前块的垂直边界不相邻，则可以通过使用与当前块的边界相邻的块当中的在水平方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的上侧、下侧和右侧的块的运动信息来确定当前子块的运动信息。并且，如果当前子块与当前块的水平边界不相邻，则可以通过使用与当前块的边界相邻的块当中的在垂直方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的左侧、下侧和右侧的块的运动信息来确定当前子块的运动信息。
解码器解码(或提取)指示合并候选列表内的特定合并候选的合并索引S2302。
解码器通过使用合并索引所指示的合并候选的运动信息来生成当前块的预测块S2303。
图24更详细例示了根据本发明的一个实施方式的帧间预测单元。
为了方便起见，图24假定帧间预测单元由单个块构成；然而，帧间预测单元也可以以被包括在编码器和/或解码器中的方式实现。
参照图24，帧间预测单元实现图5至图23中提出的功能、处理和/或方法。更具体地，帧间预测单元可以由合并候选列表构成单元2401、合并索引解码单元2402和预测块生成单元2403构成。
合并候选列表构成单元2401通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表。
如上所述，如果当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块，则确定空间合并候选是与四叉树块边界相邻的块。
更具体地，空间合并候选可以被确定为与四叉树块的左下边界相邻的块、左上边界相邻的块、右上边界相邻的块、上边界相邻的块、或左边界相邻的块中的至少一个。这里，与上边界相邻的块可以是包括在正交方向上与和当前块的左上边界相邻的像素相邻的像素的块或包括在正交方向上与当前块的右上像素相邻的像素的块。与左边界相邻的块可以是包括在水平方向上与当前块的左下像素相邻的像素的块。
另外，如上所述，合并候选列表构成单元2401将表示时间候选图片内的空间合并候选的运动信息所指定的块的第一高级时间合并候选(ATMVP)添加到合并候选列表中。
如果合并索引指示第一高级时间合并候选，则可以通过使用第一高级时间合并候选的运动信息作为子块单元来生成当前块的预测块。
另外，如上所述，合并候选列表构成单元2401可以将第二增强时间合并候选(ATMVP-ext)添加到合并候选列表中。这里，通过使用当前图片内的与当前块的边界相邻的块的运动信息和时间候选图片内的当前块的并置块的运动信息，可以以子块为单位确定第二增强时间合并候选的运动信息。并且，通过使用与当前块的边界相邻的块当中的在水平方向和垂直方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的下侧和右侧的块的运动信息来确定当前块的当前子块的运动信息。
如参照图22描述的，可以基于与当前子块的距离，为与在水平方向或垂直方向上与当前子块相邻的块的运动信息赋予权重。
如参照图21描述的，如果当前子块与当前块的垂直边界不相邻，则可以通过使用与当前块的边界相邻的块当中的在水平方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的上侧、下侧和右侧的块的运动信息来确定当前子块的运动信息。并且，如果当前子块与当前块的水平边界不相邻，则可以通过使用与当前块的边界相邻的块当中的在垂直方向上与当前子块相邻的块的运动信息以及并置块内的当前子块的左侧、下侧和右侧的块的运动信息来确定当前子块的运动信息。
合并索引解码单元2402解码(或提取)指示合并候选列表内的特定合并候选的合并索引。
预测块生成单元2403通过使用合并索引所指示的合并候选的运动信息来生成当前块的预测块。
上述实施方式是预定形式的本发明的构成元件和特征的组合。除非另有明确指示，否则必须将每个独立的元件或特征视为可选的。每个独立的元件或特征可以在不与其它元件或特征组合的情况下实现。另外，还可以通过将元件和/或特征的一部分组合来构造本发明的实施方式。实施方式的结构或特征的一部分可以被包括在另一个实施方式中，或者可以被另一个实施方式的对应结构或特征替换。应该清楚地理解，在本发明的技术范围内未明确引用的权利要求可以组合以形成实施方式，或者可以在申请后通过修改而包括在新权利要求中。
本发明的实施方式可以通过诸如硬件、固件、软件或其组合这样的各种装置来实现。在硬件实现的情况下，可以通过使用ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理装置)、PLD(可编程逻辑器件)、FPGA(现场可编程门阵列)、处理器、控制器、微控制器、微处理器等中的一个或更多个来实现本发明的一个实施方式。
在由固件或软件实现的情况下，本发明的一个实施方式可以按执行上述功能或操作的模块、过程、功能等形式来实现。软件代码可以被存储在存储器中，并且由处理器激活。存储器可以位于处理器的内部或外部，并且可以使用各种公知装置与处理器交换数据。
本领域的技术人员显而易见的是，可以在不脱离本发明的必要特性的情况下按其它特定形式来实施本发明。因此，以上的详细描述在每个方面都应该被认为是例示性的而非是限制性的。应该通过合理解释所附权利要求书来确定本发明的技术范围，并且落入本发明的等同范围内的所有修改属于本发明的技术范围。
工业实用性
出于例示目的，公开了上述本发明的优选实施方式。因此，本领域的技术人员应该理解，可以在所附权利要求书公开的本发明的技术精神和范围内，可以升级、修改、替代或扩展实施方式以生成各种其它实施方式。

Claims (11)

1.一种基于帧间预测模式的图像处理方法，该图像处理方法包括以下步骤：
通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；
对指示所述合并候选列表内的特定合并候选的合并索引进行解码；以及
通过使用所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，
其中，当所述当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块时，确定所述空间合并候选是与所述四叉树块的边界相邻的块。
2.根据权利要求1所述的方法，其中，确定所述空间合并候选是与所述四叉树块的左下边界相邻的块、与所述四叉树块的左上边界相邻的块、与所述四叉树块的右上边界相邻的块、与所述四叉树块的上边界相邻的块、或与所述四叉树块的左边界相邻的块中的至少一个。
3.根据权利要求2所述的方法，其中，与所述上边界相邻的块是包括在正交方向上与和所述当前块的左上边界相邻的像素相邻的像素的块或包括在所述正交方向上与所述当前块的右上像素相邻的像素的块。
4.根据权利要求2所述的方法，其中，与所述左边界相邻的块是包括在水平方向上与所述当前块的左下像素相邻的像素的块。
5.根据权利要求1所述的方法，其中，生成合并候选列表包括将表示时间候选图片内的所述空间合并候选的运动信息所指示的块的第一增强时间合并候选添加到所述合并候选列表中，并且
如果所述合并索引指示所述第一增强时间合并候选，则通过使用所述第一增强时间合并候选的运动信息作为子块单元来生成所述当前块的预测块。
6.根据权利要求1所述的方法，其中，生成所述合并候选列表包括将第二增强时间合并候选添加到所述合并候选列表中，并且
通过使用当前图片内的与所述当前块的边界相邻的块的运动信息和时间候选图片内的所述当前块的并置块的运动信息，以子块为单位确定所述第二增强时间合并候选的运动信息。
7.根据权利要求6所述的方法，其中，所述当前块的当前子块的运动信息是通过使用与所述当前块的边界相邻的块当中的在水平方向和垂直方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的下侧和右侧的块的运动信息来确定的。
8.根据权利要求7所述的方法，其中，基于与所述当前子块的距离，为在水平方向或垂直方向上与所述当前子块相邻的块的运动信息赋予权重。
9.根据权利要求6所述的方法，其中，如果所述当前子块与所述当前块的垂直边界不相邻，则通过使用与所述当前块的边界相邻的块当中的在水平方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的上侧、下侧和右侧的块的运动信息来确定所述当前子块的运动信息。
10.根据权利要求6所述的方法，其中，如果所述当前子块与所述当前块的水平边界不相邻，则通过使用与所述当前块的边界相邻的块当中的在垂直方向上与所述当前子块相邻的块的运动信息以及所述并置块内的所述当前子块的左侧、下侧和右侧的块的运动信息来确定所述当前子块的运动信息。
11.一种基于帧间预测模式的图像处理设备，该图像处理设备包括：
合并候选列表生成单元，该合并候选列表生成单元通过使用当前块的空间合并候选和时间合并候选来生成合并候选列表；
合并索引解码单元，该合并索引解码单元对指示所述合并候选列表内的特定合并候选的合并索引进行解码；以及
预测块生成单元，该预测块生成单元通过使用所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，
其中，当所述当前块是表示四叉树结构的叶节点块的四叉树块中的分割成二叉树结构的块时，确定所述空间合并候选是与所述四叉树块的边界相邻的块。
CN201780073434.6A 2016-10-06 2017-09-29 基于帧间预测模式处理视频的方法和用于该方法的设备 Pending CN110024384A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662404774P 2016-10-06 2016-10-06
US62/404,774 2016-10-06
PCT/KR2017/010964 WO2018066927A1 (ko) 2016-10-06 2017-09-29 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
CN110024384A true CN110024384A (zh) 2019-07-16

Family

ID=61831827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073434.6A Pending CN110024384A (zh) 2016-10-06 2017-09-29 基于帧间预测模式处理视频的方法和用于该方法的设备

Country Status (6)

Country Link
US (1) US10785477B2 (zh)
EP (1) EP3525460A4 (zh)
JP (1) JP2019535202A (zh)
KR (1) KR20190053238A (zh)
CN (1) CN110024384A (zh)
WO (1) WO2018066927A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043004A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
US12015780B2 (en) 2018-08-28 2024-06-18 Huawei Technologies Co., Ltd. Inter prediction method and apparatus, video encoder, and video decoder

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7382332B2 (ja) * 2017-11-01 2023-11-16 ヴィド スケール インコーポレイテッド マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
CN118118671A (zh) 2018-04-19 2024-05-31 Oppo广东移动通信有限公司 用于处理图像的方法及其设备
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
KR20210022617A (ko) 2018-06-21 2021-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
WO2020004990A1 (ko) * 2018-06-27 2020-01-02 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102496711B1 (ko) * 2018-07-02 2023-02-07 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11245922B2 (en) * 2018-08-17 2022-02-08 Mediatek Inc. Shared candidate list
CN117956139A (zh) 2018-08-17 2024-04-30 寰发股份有限公司 视频编解码的帧间预测方法及装置
CN117156131A (zh) * 2018-10-23 2023-12-01 韦勒斯标准与技术协会公司 通过使用基于子块的运动补偿处理视频信号的方法和设备
WO2020094149A1 (en) * 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in triangular prediction mode
KR20240024335A (ko) * 2018-11-22 2024-02-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
US11570430B2 (en) 2018-12-06 2023-01-31 Lg Electronics Inc. Method and device for processing video signal on basis of inter-prediction
JP2020108083A (ja) * 2018-12-28 2020-07-09 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2020108082A (ja) * 2018-12-28 2020-07-09 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
US20220232219A1 (en) * 2019-06-11 2022-07-21 Lg Electronics Inc. Image or video coding based on temporal motion information in units of subblocks
KR102630798B1 (ko) * 2019-06-13 2024-01-29 엘지전자 주식회사 Sbtmvp 기반 영상 또는 비디오 코딩
WO2020251319A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Sbtmvp를 이용한 인터 예측 기반 영상 또는 비디오 코딩
CN114080809A (zh) * 2019-06-13 2022-02-22 Lg 电子株式会社 子块单元的基于时间运动矢量预测子候选的图像或视频编译
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
WO2021052507A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
WO2021071145A1 (ko) * 2019-10-06 2021-04-15 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
JP2023515145A (ja) * 2020-02-25 2023-04-12 エルジー エレクトロニクス インコーポレイティド インター予測に基づく映像エンコーディング／デコーディング方法及び装置、並びにビットストリームが記憶されている記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012059577A1 (en) * 2010-11-04 2012-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding supporting block merging and skip mode
CN104185988A (zh) * 2011-11-08 2014-12-03 韩国电子通信研究院 用于共享候选者列表的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091696A (ja) * 2009-10-23 2011-05-06 Victor Co Of Japan Ltd 動きベクトル予測方法
KR102521802B1 (ko) * 2010-05-04 2023-04-13 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
EP3923579B1 (en) * 2010-11-25 2023-01-04 LG Electronics Inc. Method for signaling image information and method for decoding image information using same
PL4009641T3 (pl) 2011-09-09 2024-02-26 Lg Electronics Inc. Sposób dekodowania obrazu, sposób kodowania obrazu, sposób przesyłania danych dla informacji obrazu, odczytywalny komputerowo nośnik przechowujący strumień bitów obejmujący zakodowane informacje obrazu
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9521389B2 (en) * 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9667990B2 (en) * 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US9716899B2 (en) * 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US10574986B2 (en) * 2014-03-31 2020-02-25 Samsung Electronics Co., Ltd. Interlayer video decoding method for performing sub-block-based prediction and apparatus therefor, and interlayer video encoding method for performing sub-block-based prediction and apparatus therefor
KR20170069957A (ko) * 2014-10-08 2017-06-21 엘지전자 주식회사 3d 비디오 코딩에서 카메라 파라미터 처리 방법 및 장치
WO2017195917A1 (ko) * 2016-05-12 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2018021374A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012059577A1 (en) * 2010-11-04 2012-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding supporting block merging and skip mode
CN103299623A (zh) * 2010-11-04 2013-09-11 弗兰霍菲尔运输应用研究公司 支持区块合并和跳过模式的图像编码
CN104185988A (zh) * 2011-11-08 2014-12-03 韩国电子通信研究院 用于共享候选者列表的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 3", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，JVET-C1001》 *
WEI-JUNG CHIEN 等: "Modification of merge candidate derivation", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，JVET-B0058》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043004A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
US11895319B2 (en) 2018-08-28 2024-02-06 Huawei Technologies Co., Ltd. Method for constructing candidate motion information list, inter prediction method, and apparatus
US12015780B2 (en) 2018-08-28 2024-06-18 Huawei Technologies Co., Ltd. Inter prediction method and apparatus, video encoder, and video decoder

Also Published As

Publication number Publication date
US10785477B2 (en) 2020-09-22
JP2019535202A (ja) 2019-12-05
EP3525460A4 (en) 2020-06-17
WO2018066927A1 (ko) 2018-04-12
KR20190053238A (ko) 2019-05-17
EP3525460A1 (en) 2019-08-14
US20200045307A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110024384A (zh) 基于帧间预测模式处理视频的方法和用于该方法的设备
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN104185988B (zh) 用于共享候选者列表的方法和装置
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN103947207B (zh) 用于图片分割方案的统一设计
CN109891883A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN109792519A (zh) 基于帧内预测模式的图像处理方法及其装置
CN109479141A (zh) 图像编码/解码方法和用于所述方法的记录介质
CN105308956B (zh) 用于深度图帧内译码的预测子
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN109479138A (zh) 图像编码/解码方法和装置
CN110089113A (zh) 图像编码/解码方法、设备以及用于存储比特流的记录介质
CN110063056A (zh) 用于处理视频信号的方法和设备
CN110100436A (zh) 使用导出色度模式译码视频数据
CN109479129A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN109804626A (zh) 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
CN109644281A (zh) 用于处理视频信号的方法和设备
CN110393010A (zh) 视频译码中的帧内滤波旗标
CN109196864A (zh) 图像编码/解码方法和用于所述方法的记录介质
CN110366850A (zh) 基于帧内预测模式处理图像的方法和用于该方法的设备
CN109661819A (zh) 用于处理视频信号的方法和设备
US10893267B2 (en) Method for processing image on basis of intra-prediction mode and apparatus therefor
CN106134196A (zh) 在视频译码中用于帧内块复制的搜索区域确定
CN106105204A (zh) 在颜色空间变换译码中修改位深度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716