CN116800961A - 对视频信号进行编解码的设备和发送图像的数据的设备 - Google Patents

对视频信号进行编解码的设备和发送图像的数据的设备 Download PDF

Info

Publication number
CN116800961A
CN116800961A CN202311013940.XA CN202311013940A CN116800961A CN 116800961 A CN116800961 A CN 116800961A CN 202311013940 A CN202311013940 A CN 202311013940A CN 116800961 A CN116800961 A CN 116800961A
Authority
CN
China
Prior art keywords
block
current block
motion vector
prediction
candidate list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311013940.XA
Other languages
English (en)
Inventor
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116800961A publication Critical patent/CN116800961A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

对视频信号进行编解码的设备和发送图像的数据的设备。一种基于帧间预测模式来对视频信号进行解码的设备，该设备包括：存储器；以及处理器，其被配置为：基于合并模式被应用于当前块，通过使用当前块的空间邻近块和时间邻近块来生成合并候选列表；获得指示要用于当前块的帧间预测的候选的合并索引；基于当前块的帧间预测的候选的运动矢量推导运动矢量；以及基于运动矢量生成预测样本，其中，对于生成合并候选列表，处理器被配置为：识别当前块的宽度和高度是否小于预定义的最小尺寸；以及基于当前块的宽度和高度大于或等于预定义的最小尺寸，向合并候选列表添加位于当前块的并置图片中并且由空间邻近块的运动矢量指定的块作为时间邻近块。

Description

对视频信号进行编解码的设备和发送图像的数据的设备
本申请是申请号为201980024218.1(国际申请号为PCT/KR2019/007837，国际申请日为2019年06月27日，发明名称为“用于基于帧间预测模式处理图像的方法及其装置”)的发明专利申请的分案申请。
技术领域
本公开涉及静止图像或运动图像处理方法，更具体地，涉及基于帧间预测模式对静止图像或运动图像进行编码/解码的方法以及支持该方法的设备。
背景技术
压缩编码是指用于通过通信线路传输数字化信息的一系列信号处理技术或者以适合于存储介质的形式存储信息的技术。包括图片、图像、音频等的媒体可以作为压缩编码的目标，特别地，将执行针对图片的压缩编码的技术称为视频图像压缩。
下一代视频内容被推想具有场景表示的高空间分辨率、高帧率以及高维的特性。为了处理此类内容，将导致存储器存储量、存储器访问速率以及处理能力的急剧增加。
因此，需要设计用于高效地处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式提供一种硬件友好算法，该硬件友好算法在基于时间运动信息的相似度执行帧间预测(或图片间预测)时使用已经解码的图片的运动信息。
本公开的技术目的不限于前述技术目的，并且本领域普通技术人员根据下面的描述将会清楚地认识到上面未提及的其它技术目的。
技术解决方案
在本公开的一方面，提供了一种基于帧间预测模式来对图像进行解码的方法，方法包括以下步骤：如果向当前块应用合并模式，则通过使用当前块的空间邻近块和时间邻近块来生成合并候选列表；获得指示合并候选列表中要用于当前块的帧间预测的候选的合并索引；基于用于当前块的帧间预测的候选的运动矢量来推导当前块中包括的各个子块的运动矢量；以及通过使用各个子块的运动矢量来生成当前块的预测样本，其中，可以将子块的尺寸设定成等于或大于8×8的固定尺寸。
作为实施方式，生成合并候选列表的步骤可以包括：向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，生成合并候选列表的步骤可以包括：向合并候选列表添加当前块的并置图片中的、当前块的空间邻近块当中的按照预定义的次序的第一空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，生成合并候选列表的步骤可以包括：标识当前块的宽度和高度是否小于预定义的最小尺寸；以及作为标识的结果，如果当前块的宽度和高度大于或等于预定义的最小尺寸，则向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，可以将预定义的最小尺寸设定成子块的尺寸。
在本公开的另一方面，提供了一种基于帧间预测模式来对图像进行解码的设备，该设备包括：合并候选列表生成单元，合并候选列表生成单元用于如果向当前块应用合并模式，则通过使用当前块的空间邻近块和时间邻近块来生成合并候选列表；合并索引获得单元，合并索引获得单元用于获得指示合并候选列表中要用于当前块的帧间预测的候选的合并索引；子块运动矢量推导单元，子块运动矢量推导单元用于基于用于当前块的帧间预测的候选的运动矢量来推导当前块中包括的各个子块的运动矢量；以及预测块生成单元，预测块生成单元用于通过使用各个子块的运动矢量来生成当前块的预测样本，其中可以将子块的尺寸设定成等于或大于8×8的固定尺寸。
作为实施方式，合并候选列表生成单元可以向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，合并候选列表生成单元可以向合并候选列表添加当前块的并置图片中的根据预定义的次序的第一空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，合并候选列表生成单元可以标识当前块的宽度和高度是否小于预定义的最小尺寸；以及作为标识的结果，如果当前块的宽度和高度大于或等于预定义的最小尺寸，则向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，可以将预定义的最小尺寸设定成子块的尺寸。
有利效果
根据本公开的实施方式，能够在执行预测块时通过使用已经解码的图片的运动信息来有效地减少硬件门计数。
此外，根据本公开的实施方式，能够在执行帧间预测时通过使用已经解码的图片的运动信息来减少硬件门计数并且使因硬件门计数的减少而造成的压缩性能的损失最小化。
在本公开中可获得的效果不限于前述效果，并且本领域技术人员从下面的描述中将清楚地理解其它未提及的效果。
附图说明
为了帮助理解本公开，被包括为本说明书的一部分的附图提供了本公开的实施方式，并与本说明书一起描述本公开的技术特征。
图1是作为应用本公开的实施方式的、其中执行视频/图像信号的编码的编码装置的示意性框图。
图2是作为应用本公开的实施方式的、其中执行视频/图像信号的解码的解码装置的示意性框图。
图3是例示作为可以应用本公开的实施方式的多类型树结构的示例的图。
图4是例示作为可以应用本公开的实施方式的、具有嵌套的多类型树结构的四叉树的分区划分信息的信令机制的图。
图5是例示作为可以应用本公开的实施方式的用于基于四叉树和嵌套的多类型树结构将CTU分区成多个CU的方法的图。
图6是例示作为可以应用本公开的实施方式的用于限制三叉树分区的方法的图。
图7是例示作为可以应用本公开的实施方式的、在二叉树分区和三叉树分区中可能出现的冗余分区图案的图。
图8和图9是例示根据本公开的实施方式的基于帧间预测的视频/图像编码方法的图以及根据本公开的实施方式的编码装置中的帧间预测单元的图。
图10和图11是例示根据本公开的实施方式的基于帧间预测的视频/图像解码方法的图以及根据本公开的实施方式的解码装置中的帧间预测单元的图。
图12是作为应用本公开的实施方式的、对合并模式或跳过模式中使用的邻近块进行描述的图。
图13是例示根据应用本公开的实施方式的、对合并候选列表进行配置的方法的流程图。
图14是例示根据应用本公开的实施方式的、对合并候选列表进行配置的方法的流程图。
图15和图16是作为应用本公开的实施方式的、对推导高级时间运动矢量预测(ATMVP)候选的方法进行描述的图。
图17是例示作为应用本公开的实施方式的、高级时间运动矢量预测(ATMVP)候选的方法的图。
图18和图19是例示根据本公开的实施方式的压缩时间运动矢量数据及其所使用的空间候选的位置的方法的图。
图20是示出根据应用本公开的实施方式的基于候选列表生成帧间预测块的方法的流程图。
图21是例示根据应用本公开的实施方式的生成候选列表的方法的流程图。
图22例示了根据应用本公开的实施方式的用于帧间预测的邻近块的一个示例。
图23是例示根据应用本公开的实施方式的、推导扩展高级时间运动矢量预测(ATMVP)候选的方法的图。
图24和图25是例示根据应用本公开的实施方式的、提取参考图片中的时间邻近块的运动矢量的提取处理的图。
图26是例示根据应用本公开的实施方式的、以子块为单位提取时间邻近块的运动矢量的提取处理的图。
图27是例示根据应用本公开的实施方式的生成候选列表的方法的流程图。
图28是示出根据应用本公开的实施方式的生成帧间预测块的方法的流程图。
图29是例示根据应用本公开的实施方式的帧间预测装置的图。
图30例示了应用本公开的视频编码系统。
图31是作为应用本公开的实施方式的内容流传输系统的架构图。
具体实施方式
在下文中，将参照附图对本公开的优选实施方式进行描述。下面将结合附图进行描述的描述是要描述本公开的示例性实施方式，而并非旨在描述可以实现本公开的唯一实施方式。下面的描述包括特定细节，以便提供对本公开的完美理解。然而，要理解，对于本领域技术人员，可以在没有特定细节的情况下具体实施本公开。
在一些情况下，为了防止不清楚本公开的技术构思，可以省略公知的结构或装置，或者可以将公知的结构或装置描绘为集中于结构或装置的核心功能的框图。
此外，尽管尽可能多地选择当前广泛使用的通用术语作为本公开中的术语，但是在特定情况下使用由申请人任意选择的术语。在这样的情况下，由于术语的含义将在本描述的对应部分中加以明确描述，要理解本公开将不能简单地根据仅在本公开的描述中使用的术语来进行解释，而是应当弄清楚术语的含义。
可以提供在以下描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术构思的范围内，可以将特定术语修改成其它形式。例如，可以在各个编码过程中适当地替换和解释信号、数据、样本、图片、帧、块等。
以下，在本公开中，“处理单元”是指执行诸如预测、变换和/或量化之类的编码/解码处理过程的单位。在下文中，为便于描述，也可以将处理单元可以称为“处理块”或“块”。
可以将处理单元解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
此外，可以将处理单元解释为用于亮度分量的单元或者用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且可以将处理单元解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元基本上不限于正方形的块，而是可以具有包含三个或更多个顶点的多边形形式。
此外，以下在本公开中，将像素或像素元素统称为样本。此外，使用样本可以是指使用像素值或像素元素值。
图1是作为应用本公开的实施方式的、其中执行视频/图像信号的编码的编码装置的示意性框图。
参照图1，可以将编码装置100配置成包括：图像分区单元110、减法单元115、变换部120、量化单元130、解量化单元140、逆变换部150、加法单元155、滤波单元160、存储器170、帧间预测单元180、帧内预测单元185以及熵编码单元190。可以将帧间预测单元180和帧内预测单元185统称为预测单元。换句话说，预测单元可以包括帧间预测单元180和帧内预测单元185。可以将变换部120、量化单元130、解量化单元140以及逆变换部150包括在残差处理单元中。残差处理单元还可以包括：减法单元115。作为实施方式，图像分区单元110、减法单元115、变换部120、量化单元130、解量化单元140、逆变换部150、加法单元155、滤波单元160、帧间预测单元180、帧内预测单元185以及熵编码单元190可以由一个硬件组件(例如，编码器或处理器)来进行配置。此外，存储器170可以包括经解码图片缓冲器(DPB)，并且可以由数字存储介质来进行配置。
图像分区单元110可以将输入到编码装置100中的输入图像(或者图片或帧)分割成一个或更多个处理单元。作为一个示例，可以将处理单元称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树结构从编码树单元(CTU)或最大编码单元(LCU)中递归地分区编码单元。例如，可以基于四叉树结构和/或二叉树结构，将一个编码单元分区成具有较深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，稍后可以应用二叉树结构。另选地，也可以首先应用二叉树结构。可以基于不再被划分的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以根据图像特性或者根据需要，基于编码效率，将最大的编码单元直接用作最终编码单元，将编码单元递归地分成具有更深深度的编码单元，结果，可以将具有最优尺寸的编码单元用作最终编码单元。这里，编码过程可以包括包括下面要描述的预测、变换以及重构的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述最终编码单元中划分或分区成预测单元和变换单元中的每一个。预测单元可以是样本预测的单位，并且变换单元可以是推导变换系数的单位和/或从变换系数推导残差信号的单位。
在一些情况下，可以将单元与诸如块或区域之类的术语结合使用。在一般情况下，M×N块可以指示由M列和N行构成的样本或变换系数的集合。样本通常可以指示像素或像素的值、仅指示亮度分量的像素/像素值、以及仅指示色度分量的像素/像素值。对于样本的情况来说，可以将一个图片(或图像)用作与像素或图片元素(pel)相对应的术语。
编码装置100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块或预测样本阵列)，以生成残差信号(或者残差块或残差样本阵列)，并将所生成的残差信号发送至变换部120。在这种情况下，如图所示，在编码装置100中，可以将从输入图像信号(原始块或原始样本阵列)减去预测信号(预测块或预测样本阵列)的单元称为减法单元115。预测单元可以对处理目标块(在下文中，称为当前块)执行预测，并生成包括当前块的预测样本的预测块。预测单元可以确定是将帧内预测应用于当前块或CU的单元还是将帧间预测应用于当前块或CU的单元。预测单元可以生成关于预测的各种信息，诸如预测模式信息，并且如下面在描述各个预测模式时所描述的，将所生成的各种信息传递至熵编码单元190。关于预测的信息可以由熵编码单元190进行编码并且以比特流的形式输出。
帧内预测单元185可以通过参照当前图片中的样本来预测当前块。根据预测模式，所参照的样本可以位于当前块的邻域或者位于与当前块隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式例如可以包括DC模式和平面模式。根据预测方向的微小程度，定向模式例如可以包括33个定向预测模式或65个定向预测模式。然而，这是示例，并且根据配置，可以使用数量等于或大于或者等于或小于其的定向预测模式。帧内预测单元185可以通过使用应用至邻近块的预测模式来确定向当前块应用的预测模式。
帧间预测单元180可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块以及参考图片中存在的时间邻近块。包括参考块的参考图片以及包括时间邻近块的参考图片可以彼此相同或彼此不同。可以将时间邻近块称为诸如并置参考块、并置CU(colCU)等的名称，并且可以将包括时间邻近块的参考图片称为并置图片(colPic)。例如，帧间预测单元180可以基于邻近块来配置运动信息候选列表，并且生成指示使用哪个候选的信息，以便推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动矢量预测(MVP)模式的情况下，将邻近块的运动矢量用作运动矢量预测符，并且用信号通知运动矢量差以指示当前块的运动矢量。
可以将通过帧间预测单元180或帧内预测单元185生成的预测信号用于生成重构信号或者用于生成残差信号。
变换部120可以通过将变换技术应用至残差信号来生成变换系数。例如，变换技术可以包括以下项中的至少一个：离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loeve变换(KLT)、基于图形的变换(GBT)或者有条件非线性变换(CNT)。这里，当由图形来表示像素之间的关系信息时，GBT是指从图形中获取的变换。CNT是指通过使用所有先前重构的像素来生成预测信号并且基于所生成的预测信号获取的变换。此外，可以将变换处理应用至具有相同尺寸的正方形像素块，并且甚至可以应用至具有可变尺寸的非正方形块。
量化单元130可以量化变换系数，并且将经量化的变换系数发送至熵编码单元190，并且熵编码单元190可以对经量化的信号(关于经量化的变换系数的信息)进行编码，并且将编码的经量化的信号作为比特流输出。可以将关于经量化的变换系数的信息称为残差信息。量化单元130可以基于系数扫描次序以一维矢量类型重排块型经量化的变换系数，并且可以基于一维矢量类型经量化的变换系数来生成关于经量化的变换系数的信息。熵编码单元190可以执行各种编码方法，例如包括：指数Golomb、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了量化变换系数之外，熵编码单元190可以一起或分离地编码用于重构视频/图像所需的信息(例如，语法元素的值等)。编码信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(NAS)单元的单位进行传输或存储。比特流可以经由网络进行传输或者存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括各种存储介质，包括：USB、SD、CD、DVD、Blu-ray、HDD、SSD等。可以将发送从熵编码单元190输出的信号的发送器(未例示)和/或存储从熵编码单元190输出的信号的存储器(未例示)配置为编码装置100的内部/外部元件，或者发送器可以是熵编码单元190的组件。
可以将从量化单元130输出的经量化的变换系数用于生成预测信号。例如，通过环路中的解量化单元140和逆变换部150对经量化的变换系数应用解量化和逆变换，以重构残差信号。加法单元155将重构的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构图片、重构块或重构样本阵列)。就像应用跳过模式的情况一样，当处理目标块没有残差时，可以将预测块用作重构块。可以将加法单元155称为重构单元或重构块生成单元。通过如下所述的滤波，可以将生成的重构信号用于当前图片中的下一处理目标块的帧内预测，并且可以用于下一图片的帧间预测。
滤波单元160可以通过将滤波应用至重构信号来增强主观/客观图像质量。例如，滤波单元160可以通过将各种滤波方法应用至重构图片来生成经修改的重构图片，并将经修改的重构图片存储在存储器170中，具体地，存储在存储器170的DPB中。各种滤波方法例如可以包括：解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波单元160可以生成关于滤波的各种信息，并且如下面在描述各种滤波方法中所描述的，将生成的各种信息传递至熵编码单元190。关于滤波的信息可以由熵编码单元190进行编码并且以比特流的形式输出。
帧间预测单元180可以将发送至存储器170的经修改的重构图片用作参考图片。当通过其应用帧间预测时，编码装置可以避免编码装置100和解码装置中的预测失配，并且还可以增强编码效率。
存储器170的DPB可以存储经修改的重构图片，以便在帧间预测单元180中将经修改的重构图片用作参考图片。存储器170可以存储其中推导(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。可以将所存储的运动信息传递至帧间预测单元180，以便用作空间邻近块的运动信息或者时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将所存储的重构样本传递至帧内预测单元185。
图2是作为应用本公开的实施方式的、其中执行视频/图像信号的解码的解码装置的示意性框图。
参照图2，可以将解码装置200配置成包括：熵解码单元210、解量化单元220、逆变换部230、加法单元235、滤波单元240、存储器250、帧间预测单元260以及帧内预测单元265。可以将帧间预测单元260和帧内预测单元265统称为预测单元。换句话说，预测单元可以包括帧间预测单元260和帧内预测单元265。可以将解量化单元220和逆变换部230统称为残差处理单元。换句话说，残差处理单元可以包括解量化单元220和逆变换部230。根据实施方式，可以由一个硬件组件(例如，解码器或处理器)来配置熵解码单元210、解量化单元220、逆变换部230、加法单元235、滤波单元240、帧间预测单元260以及帧内预测单元265。此外，存储器170可以包括经解码图片缓冲器(DPB)，并且可以由数字存储介质来进行配置。
在输入包括视频/图像信息的比特流时，解码装置200可以重构图像以对应于在图1的编码装置中对视频/图像信息进行处理的处理。例如，解码装置200可以通过使用在编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元，并且可以根据四叉树结构和/或二叉树结构从编码树单元或最大编码单元分区编码单元。另外，可以通过再现装置再现由解码装置200解码并输出的重构图像信号。
解码装置200可以接收以比特流的形式从图1的编码装置输出的信号，并且所接收的信号可以由熵解码单元210进行解码。例如，熵解码单元210可以通过解析比特流来推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。例如，熵解码单元210可以基于诸如指数Golomb编码、CAVLC或CABAC之类的编码方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素的值以及残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，在比特流中接收与各个语法元素相对应的bin，通过使用邻近块和解码目标块的解码信息以及解码目标语法元素信息或者关于在先前步骤中解码的符号/bin的信息来确定上下文模型，并且通过根据确定的上下文模型预测bin的生成概率以生成与各个语法元素的值相对应的符号，来对bin执行算术解码。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。可以将由熵解码单元210解码的信息当中的与预测有关的信息提供给预测单元(帧间预测单元260和帧内预测单元265)，并且可以将经受由熵解码单元210进行的熵解码的残差值(即，经量化的变换系数和相关参数信息)输入至解量化单元220中。此外，可以将由熵解码单元210解码的信息当中的与滤波有关的信息提供给滤波单元240。此外，还可以将接收从编码装置输出的信号的接收器(未例示)配置为解码装置200的内部/外部元件，或者接收器可以是熵解码单元210的组件。
解量化单元220对经量化的变换系数进行解量化以输出变换系数。解量化单元220可以以二维块类型重排经量化的变换系数。在这种情况下，可以基于由编码装置执行的系数扫描次序来执行重排。解量化单元220可以通过使用量化参数(例如，量化步长信息)对经量化的变换系数进行解量化，并获得变换系数。
逆变换部230对变换系数进行逆变换以获取残差信号(残差块或残差样本阵列)。
预测单元可以对当前块执行预测，并生成包括当前块的预测样本的预测块。预测单元可以基于从熵解码单元210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用至当前块，并且确定特定的帧内/帧间预测模式。
帧内预测单元265可以通过参照当前图片中的样本来预测当前块。根据预测模式，可以将所参照的样本位于当前块的邻域或者位于与当前块隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测单元265可以通过使用应用至邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元260可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块以及参考图片中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法单元235将获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号(预测块或预测样本阵列)相加，以生成重构信号(重构图片、重构块或重构样本阵列)。就像应用跳过模式的情况一样，当处理目标块没有残差时，可以将预测块用作重构块。
可以将加法单元235称为重构单元或重构块生成单元。通过如下所述的滤波，可以将生成的重构信号用于当前图片中的下一处理目标块的帧内预测，并且可以用于下一图片的帧间预测。
滤波单元240可以通过将滤波应用至重构信号来增强主观/客观图像质量。例如，滤波单元240可以通过将各种滤波方法应用至重构图片来生成经修改的重构图片，并将经修改的重构图片发送至存储器250，具体地，发送至存储器250的DPB。各种滤波方法例如可以包括：解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
帧间预测单元260可以将存储在存储器250的DPB中的(修改的)重构图片用作参考图片。存储器250可以存储其中推导(或解码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。可以将所存储的运动信息传递至帧间预测单元260，以便用作空间邻近块的运动信息或者时间邻近块的运动信息。存储器250可以存储当前图片中的重构块的重构样本，并且将所存储的重构样本传递至帧内预测单元265。
在本公开中，在编码装置100的滤波单元160、帧间预测单元180以及帧内预测单元185中描述的实施方式可以类似地或对应地分别应用于解码装置200的滤波单元240、帧间预测单元260以及帧内预测单元265。
块分区
可以基于各种详细技术来执行根据本公开的视频/图像编码方法，并且下面示意性地描述了相应的详细技术。本领域技术人员显而易见的是，下面描述的技术可以与上面和/或下面描述的视频/图像编码/解码过程中的包括预测、残差处理((逆)变换、(解)量化等)、语法元素编码、滤波、分区/分开等的相关过程相关联。
根据本公开的块分区过程是由上述编码装置的图像分区单元110执行的，并且分区相关信息可以由熵编码单元190进行处理(编码)，并以比特流的形式传递至解码装置。解码装置的熵解码单元210可以基于从比特流获取的分区相关信息来推导当前图片的块分区结构，并且基于推导出的块分区结构执行图像解码的一系列过程(例如，预测、残差处理、块重构、环路内滤波等)。
将图片分区成CTU
可以将图片可以分成编码树单元(CTU)的序列。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应的色度样本的两个编码树块。换句话说，对于包含三个样本阵列的图片而言，CTU可以包括亮度样本的N×N块和色度样本的两个对应块。
用于编码和预测的CTU的最大支持尺寸可以不同于用于变换的CTU的最大支持尺寸。例如，CTU中的亮度块的最大支持尺寸可以是128×128。
使用树结构对CTU进行分区
可以基于四叉树(QT)结构将CTU分割成CU。可以将四叉树结构称为四元树结构。这是为了反映各种局部特征。此外，在本公开中，可以基于除四叉树外还包括二叉树(BT)和三叉树(TT)的多类型树结构来分割CTU。在下文中，QTBT结构可以包括基于四叉树和二叉树的分割结构，而QTBTTT可以包括基于四叉树、二叉树以及三叉树的分割结构。另选地，QTBT结构可以包括基于四叉树、二叉树以及三叉树的分区结构。在编码树结构中，CU可以具有正方形或矩形形状。可以首先将CTU分割成四叉树结构。此后，可以附加地将四叉树结构的叶节点按多类型树结构进行分割。
图3是例示可以应用本公开的多类型树结构的示例的图。
在本公开的实施方式中，多类型树结构可以包括图3所示的四种分割类型。这四种分割类型可以包括：垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)以及水平三元分割(SPLIT_TT_HOR)。可以将多类型树结构的叶节点称为CU。可以将CU用于预测和变换过程。在本公开中，通常，CU、PU以及TU可以具有相同的块尺寸。然而，当最大支持的变换长度小于CU的颜色分量的宽度或高度时，CU和TU可以具有不同的块尺寸。
图4是例示作为可以应用本公开的实施方式的、具有嵌套的多类型树结构的四叉树的分区分割信息的信令机制的图。
这里，CTU被视为四叉树的根并且首先被分区成四叉树结构。此后，可以将各个四叉树叶节点进一步分区成多类型树结构。在多类型树结构中，用信号通知第一标志(例如，mtt_split_cu_flag)，以指示是否附加地分区了对应的节点。当对应的节点被附加地分区时，可以用信号通知第二标志(例如，mtt_split_cu_vertical_flag)，以指示分割方向。此后，可以用信号通知第三标志(例如，mtt_split_cu_binary_flag)，以指示分割类型是二元分割还是三元分割。例如，基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1所示，推导出CU的多类型树分割模式MttSplitMode。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图5是例示作为可以应用本公开的实施方式的、基于四叉树和嵌套的多类型树结构将CTU分割成多个CU的方法的图。
这里，粗的块边缘指示四叉树分区，而其余边缘指示多类型树分区。伴随多类型树的四叉树分区可以提供内容自适应的编码树结构。CU可以对应于编码块(CB)。另选地，CU可以包括亮度样本的编码块和对应的色度样本的两个编码块。CU的尺寸可以与CTU一样大，也可以与亮度样本的单元中的4×4一样小。例如，在4∶2∶0颜色格式(或色度格式)的情况下，最大色度CB尺寸可以是64×64，而最小色度CB尺寸可以是2×2。
在本公开中，例如，最大支持的亮度TB尺寸可以是64×64，并且最大支持的色度TB尺寸可以是32×32。当根据树结构分割的CB的宽度或高度大于最大变换宽度或高度时，对应的CB可以进行自动(或隐式)分割，直到满足水平和垂直TB尺寸限制为止。
此外，对于伴随多类型树的四叉树编码树方案，可以将以下参数定义并标识为SPS语法元素。
-CTU尺寸：四叉树的根节点尺寸
-MinQTSize：最小允许四叉树叶节点尺寸
-MaxBtSize：最大允许二叉树根节点尺寸
-MaxTtSize：最大允许三叉树根节点尺寸
-MaxMttDepth：从四叉树叶分割的多类型树的最大允许分级深度
-MinBtSize：最小允许二叉树叶节点尺寸
-MinTtSize：最小允许三叉树叶节点尺寸
作为伴随多类型树的四叉树编码树结构的示例，可以将CTU尺寸配置为128×128亮度样本和64×64块的两个对应色度样本(采用4:2:0色度格式)。在这种情况下，可以将MinQTSize设定成16×16，可以将MaxBtSize设定成128×128，可以将MaxTtSzie设定成64×64，可以将MinBtSize和MinTtSize(针对宽度和高度两者)设定成4×4，以及可以将MaxMttDepth设定成4。可以将四叉树分区应用至CTU，并且可以生成四叉树叶节点。可以将四叉树叶节点称为叶QT节点。四叉树叶节点可以具有根据16×16尺寸(即，MinQTSize)的128×128尺寸(即CTU尺寸)。当叶QT节点为128×128时，不可将叶QT节点分割成二叉树/三叉树。原因是在这种情况下，即使将叶QT节点进行分割，叶QT节点的尺寸也超出了MaxBtsize和MaxTtszie(即，64×64)。在其它情况下，另外，可以将叶QT节点分割成多类型树。因此，叶QT节点可以是多类型树的根节点，并且叶QT节点的多类型树深度(mttDepth)值可以为0。当多类型树的深度达到MaxMttdepth(例如，4)时，可能不再考虑附加的分割。当多类型树节点的宽度等于MinBtSize且等于或小于2×MinTtSize时，可以不再考虑附加的水平分割。当多类型树节点的高度等于MinBtSize且等于或小于2×MinTtSize时，可以不再考虑附加的垂直分割。
图6是例示作为可以应用本公开的实施方式的限制三叉树分区的方法的图。
参照图6，为了允许硬件解码器中的64×64亮度块和32×32色度块流水线设计，在特定情况下，可以对TT分割进行限制。例如，当亮度编码块的宽度或高度大于预定的特定值(例如，32或64)时，如图6所示，可以对TT分割进行限制。
在本公开中，编码树方案可以支持亮度块和色度块可以分别具有块树结构。关于P条带(slice)和B条带，可以将一个CTU中的亮度CTB和色度CTB限制成具有相同的编码树结构。然而，关于I条带，亮度块和色度块可以具有彼此分离的块树结构。当应用单独的块树模式时，可以基于特定的编码树结构将亮度CTB分割成CU，并且可以基于另一编码树结构将色度CTB分割成色度CU。这可能意味着I条带中的CU可以由亮度分量的编码块和两个色度分量的编码块构成，并且P条带或B条带中的CU可以由三种颜色分量的块构成。
对“使用树结构对CTU进行分区”中的伴随多类型树的四叉树编码树结构进行了描述，但是其中CU被分割的结构不限于此。例如，可以将BT结构和TT结构解释为包括在多分区树(MPT)结构中的概念，并且可以将CU解释为通过QT结构和MPT结构进行分区。在通过QT结构和MPT结构分割CU的示例中，用信号通知了包括关于QT结构的叶节点被分割成多少个块的信息的语法元素(例如，MPT_split_type)以及包括关于QT结构的叶节点是沿垂直方向和水平方向中的哪个方向进行分割的信息的语法元素(例如，MPT_split_mode)，以确定分区结构。
在另一示例中，可以通过与QT结构、BT结构或TT结构不同的方法来分割CU。换句话说，与根据QT结构将较低深度的CU分割成较高深度的CU的1/4尺寸的情况不同，根据BT结构，将较低深度的CU分割成较高深度CU的1/2尺寸，或者根据TT结构，将较低深度的CU分割成较高深度的CU的1/4或1/2尺寸，可以将较低深度的CU分割成较高深度的CU的1/5、1/3、3/8、3/5、2/3或5/8尺寸，并且分割CU的方法不限于此。
如果树节点块的一部分超出底部或右侧图片边界，则可以限制对应的树节点块，以使所有编码CU的所有样本都位于图片边界内。在这种情况下，例如，可以应用以下分割规则。
-如果树节点块的一部分超出底部和右侧图片边界两者，
-如果块是QT节点并且块的尺寸大于最小QT尺寸，则该块被强制利用QT分割模式进行分割。
-否则，该块被强制利用SPLIT_BT_HOR模式进行分割
-否则，如果树节点块的一部分超出底部图片边界，
-如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸大于最大BT尺寸，则该块被强制利用QT分割模式进行分割。
-否则，如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸小于或等于最大BT尺寸，则该块被强制利用QT分割模式或SPLIT_BT_HOR模式进行分割。
-否则(块是BTT节点，或者块的尺寸小于或等于最小QT尺寸)，则该块被强制利用SPLIT_BT_HOR模式进行分割。
-否则，如果树节点块的一部分超出右侧图片边界，
-如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸大于最大BT尺寸，则该块被强制利用QT分割模式进行分割。
-否则，如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸小于或等于最大BT尺寸，则该块被强制利用QT分割模式或SPLIT_BT_VER模式进行分割。
-否则(块是BTT节点，或者块的尺寸小于或等于最小QT尺寸)，则该块被强制利用SPLIT_BT_VER模式进行分割。
伴随多类型树的四叉树编码块结构可以提供非常灵活的块分区结构。由于分割类型支持多类型树，因此在一些情况下，不同的分割图案可能潜在地导致相同的编码块结构结果。对冗余分割图案的生成进行了限制，以减少分区信息的数据量。将参照以下附图对冗余分割图案进行描述。
图7是例示作为可以应用本公开的实施方式的、在二叉树分区和三叉树分区中可能出现的冗余分区图案的图。
如图7所示，沿一个方向的两级连续二元分割与在三元分割之后的中心分区的二元分割具有相同的编码块结构。在这种情况下，可以对三元树分割的中心分区的二叉树分割(沿给定方向)进行限制。可以将该限制应用至所有图片的CU。当对特定分割进行限制时，可以通过反映这种限制情况来修改语法元素的信令，并且可以通过经修改的信令来减少信令分区的比特数。例如，就像图7所例示的示例一样，当对CU的中心分区的二叉树分割进行限制时，可以不用信号通知指示该分割是二元分割还是三元分割的语法元素mtt_split_cu_binary_flag，并且解码器可以将该值推断为0。
预测
为了重构其中执行解码的当前处理单元，可以使用包括当前处理单元的其它图片或当前图片的解码部分。
可以将仅使用当前图片进行重构(即，执行帧内预测)的图片称为帧内图片或I图片(条带)，可以将使用最多一个运动矢量和参考索引以便预测各个单元的图片(条带)称为预测图片或P图片(条带)，以及可以将使用最多两个运动矢量和参考索引的图片(条带)称为双向预测图片或B图片(条带)。
帧内预测是指这样一种预测方法，该预测方法从相同的解码图片(或条带)的数据元素(例如，样本值等)推导出当前处理块。换句话说，帧内预测是指通过参照当前图片中的重构区域来预测当前处理块的像素值的方法。
在下文中，将更详细地描述帧间预测。
帧间预测(或图片间预测)
帧间预测是指基于除当前图片之外的其它图片的数据元素(例如，样本值或运动矢量)来推导当前处理块的预测方法。换句话说，帧间预测是指通过参照除当前图片以外的其它重构图片中的重构区域来预测当前处理块的像素值的方法。
作为消除图片之间存在的冗余的技术的帧间预测(图片间预测)主要是通过运动估计和运动补偿来执行的。
在本公开中，进行了上面图1和图2中描述的帧间预测方法的详细描述，并且可以将解码器表示为下面要描述的图10的基于帧间预测的视频/图像解码方法以及图11的解码装置中的帧间预测单元。此外，可以将编码器表示为下面要描述的图8的基于帧间预测的视频/图像编码方法以及图9的编码装置中的帧间预测单元。另外，可以以比特流的形式存储根据图8和图9的编码数据。
编码装置/解码装置的预测单元可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以表示通过依赖于除当前图片之外的其它图片的数据元素(例如，样本值或运动信息)的方法推导的预测。当将帧间预测应用至当前块时，可以基于由参考图片索引所指示的参考图片上的运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。
在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性，以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。
在应用帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块以及参考图片中存在的时间邻近块。包括参考块的参考图片以及包括时间邻近块的参考图片可以彼此相同或彼此不同。可以将时间邻近块称为诸如并置参考块、并置CU(colCU)等的名称，并且可以将包括时间邻近块的参考图片称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以用信号通知指示选择(使用)哪个候选的标志或索引信息，以便推导当前块的运动矢量和/或参考图片索引。
可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可能不发送残差信号。在运动矢量预测(MVP)模式的情况下，可以将所选择的邻近块的运动矢量用作运动矢量预测符，并且可以用信号通知运动矢量差。在这种情况下，可以通过使用运动矢量预测符和运动矢量差之和来推导当前块的运动矢量。
图8和图9是例示根据本公开的实施方式的基于帧间预测的视频/图像编码方法的图以及根据本公开的实施方式的编码装置中的帧间预测单元的图。
参照图8和图9，可以由编码装置的帧间预测单元180执行S801，并且可以由编码装置的残差处理单元执行S802。具体地，可以在编码装置的减法单元115中执行S802。在803中，可以由帧间预测单元180推导预测信息，并且可以由熵编码单元190对预测信息进行编码。在803中，可以由残差处理单元推导残差信息，并由熵编码单元190对残差信息进行编码。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的经量化的变换系数的信息。
如上所述，可以由编码装置的变换部120将残差样本推导为变换系数，并且可以由量化单元130将变换系数推导为经量化的变换系数。可以由熵编码单元190通过残差编码过程来编码关于经量化的变换系数的信息。
编码装置对当前块执行帧间预测(S801)。编码装置可以推导当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，可以同时执行帧间预测模式确定过程、运动信息推导过程以及预测样本的生成过程，并且任一个过程可以比其它过程更早地执行。例如，编码装置的帧间预测单元180可以包括：预测模式确定单元181、运动信息推导单元182以及预测样本推导单元183，并且预测模式确定单元181可以确定当前块的预测模式，运动信息推导单元182可以推导当前块的运动信息，以及预测样本推导单元183可以推导当前块的运动样本。
例如，编码装置的帧间预测单元180可以通过运动估计在参考图片的预定区域(搜索区域)中搜索与当前块相似的块，并且推导其中与当前块的差最小或者等于或小于预定标准的参考块。可以基于其而推导指示参考块所位于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差异来推导运动矢量。编码装置可以在各种预测模式当中确定应用至当前块的模式。编码装置可以比较各种预测模式的RD成本，并且确定当前块的最优预测模式。
例如，当将跳过模式或合并模式应用至当前块时，编码装置可以配置下面要描述的合并候选列表，并且推导由合并候选列表中包括的合并候选所指示的参考块当中的、与当前块的差最小或者等于或小于的预定标准的参考块。在这种情况下，可以选择与所推导出的参考块相关联的合并候选，并且可以生成指示所选择的合并候选的合并索引信息并将该信息用信号通知给解码装置。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。
作为另一示例，当将(A)MVP模式应用至当前块时，编码装置可以配置下面要描述的(A)MVP候选列表，并且将(A)MVP候选列表中包括的运动矢量预测符(mvp)候选当中的所选择的mvp候选的运动矢量用作当前块的mvp。在这种情况下，例如，可以将指示通过运动估计推导的参考块的运动矢量用作当前块的运动矢量，并且mvp候选当中的、具有与当前块的运动矢量具有最小差异的运动矢量的mvp候选可以成为所选择的mvp候选。可以推导运动矢量差(MVD)，该运动矢量差是通过从当前块的运动矢量减去mvp而获得的差。在这种情况下，可以将关于MVD的信息用信号通知给解码装置。此外，当应用(A)MVP模式时，可以将参考图片索引的值配置为参考图片索引信息，并且单独用信号通知给解码装置。
编码装置可以基于预测样本来推导残差样本(S802)。编码装置可以通过将当前块的原始样本与预测样本进行比较来推导残差样本。
编码装置对包括预测信息和残差信息的图像信息进行编码(S803)。编码装置可以以比特流的形式输出经编码的图像信息。预测信息可以包括关于预测模式信息的信息(例如，跳过标志、合并标志或模式索引等)以及关于运动信息的信息作为与预测过程有关的信息。关于运动信息的信息可以包括候选选择信息(例如，合并索引、mvp标志或mvp索引)，这是用于推导运动矢量的信息。此外，关于运动信息的信息可以包括关于MVD的信息和/或参考图片索引信息。
此外，关于运动信息的信息可以包括指示是否应用L0预测、L1预测或双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的经量化的变换系数的信息。
可以将输出的比特流存储在(数字)存储介质中并且被传递至解码装置或者经由网络被传递至解码装置。
此外，如上所述，编码装置可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了推导与解码装置所执行的预测结果相同的预测结果，结果，可以改进编码效率。因此，编码装置可以将重构图片(或重构样本或重构块)存储在存储器中，并且将重构图片用作参考图片。如上所述，还可以将环路内滤波过程应用至重构图片。
图10和图11是例示根据本公开的实施方式的基于帧间预测的视频/图像解码方法的图以及根据本公开的实施方式的解码装置中的帧间预测单元的图。
参照图10和图11，解码装置可以执行与编码装置所执行的操作相对应的操作。解码装置可以基于接收到的预测信息对当前块执行预测，并推导预测样本。
可以由解码装置的帧间预测单元260执行S1001至S1003，并且可以由解码装置的熵解码单元210从比特流中获得S1004的残差信息。解码装置的残差处理单元可以基于残差信息来推导当前块的残差样本。具体地，残差处理单元的解量化单元220可以通过基于经量化的变换系数执行解量化来推导变换系数，经量化的变换系数是基于残差信息推导出的，并且残差处理单元的逆变换部230可以通过对变换系数执行逆变换来推导当前块的残差样本。可以由解码装置的加法单元235或重构单元执行S1005。
具体地，解码装置可以基于接收到的预测信息来确定当前块的预测模式(S1001)。解码装置可以基于预测信息中的预测模式信息来确定将哪个帧间预测模式应用至当前块。
例如，可以基于合并标志来确定是将合并模式还是将(A)MVP模式应用至当前块。另选地，可以基于模式索引来选择各个帧间预测模式候选中的一个帧间预测模式候选。帧间预测模式候选可以包括：跳过模式、合并模式和/或(A)MVP模式，或者可以包括下面要描述的各个帧间预测模式。
解码装置基于所确定的帧间预测模式来推导当前块的运动信息(S1002)。例如，当将跳过模式或合并模式应用至当前块时，解码装置可以配置下面要描述的合并候选列表，并且在合并候选列表中包括的合并候选当中选择一个合并候选。可以基于选择信息(合并索引)来执行选择。可以通过使用所选择的合并候选的运动信息来推导当前块的运动信息。可以将所选择的合并候选的运动信息用作当前块的运动信息。
作为另一示例，当将(A)MVP模式应用至当前块时，解码装置可以配置下面要描述的(A)MVP候选列表，并且将(A)MVP候选列表中包括的运动矢量预测符(mvp)候选当中的所选择的mvp候选的运动矢量用作当前块的mvp。可以基于选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVC，并且可以基于当前块的mvp和MVD来推导当前块的运动矢量。此外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片推导为当前块的帧间预测所参考的参考图片。
此外，可以如下所述在没有候选列表配置的情况下推导当前块的运动信息，并且在这种情况下，可以根据在下面要描述的预测模式中所公开的过程来推导当前块的运动信息。在这种情况下，可以省略候选列表配置。
解码装置可以基于当前块的运动信息来生成针对当前块的预测样本(S1003)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以通过使用参考图片上的由当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，如下所述，在一些情况下，还可以执行针对当前块的全部或一些预测样本的预测样本滤波过程。
例如，解码装置的帧间预测单元260可以包括：预测模式确定单元261、运动信息推导单元262以及预测样本推导单元263，并且预测模式确定单元261可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导单元262可以基于关于接收到的运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引)，以及预测样本推导单元263可以推导当前块的预测样本。
解码装置基于接收到的残差信息来生成当前块的残差样本(S1004)。解码装置可以基于预测样本和残差样本来生成针对当前块的重构样本，并且基于所生成的重构样本来生成重构图片(S1005)。此后，如上所述，还可以将环路内滤波过程应用至重构图片。
如上所述，帧间预测过程可以包括：帧间预测模式确定步骤、取决于所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。
帧间预测模式的确定
可以将各个帧间预测模式用于预测图片中的当前块。例如，可以使用包括合并模式、跳过模式、MVP模式、仿射模式等的各种模式。还可以将解码器侧运动矢量细化(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等用作辅助模式。可以将仿射模式称为仿射运动预测模式。可以将MVP模式称为高级运动矢量预测(AMVP)模式。
可以将指示当前块的帧间预测模式的预测模式信息从编码装置用信号通知给解码装置。可以将预测模式信息包括在比特流中并且由解码装置进行接收。预测模式信息可以包括指示多个候选模式中的一个候选模式的索引信息。另选地，可以通过标志信息的分级信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。
例如，可以通过用信号通知跳过标志来指示是否应用跳过模式，当不应用跳过模式时，可以通过用信号通知合并标志来指示是否应用合并模式，并且当不应用合并模式时，这指示应用MVP模式，或者还可以用信号通知用于附加区分的标志。可以将仿射模式用信号通知为独立模式，或者用信号通知为关于合并模式或MVP模式的从属模式。例如，可以将仿射模式配置为如下所述的合并候选列表或MVP候选列表中的一个候选。
根据帧间预测模式推导运动信息
可以通过使用当前块的运动信息来执行帧间预测。编码装置可以通过运动估计过程来推导当前块的最优运动信息。例如，编码装置可以通过使用当前块在原始图片中的原始块来在参考图片中的预定搜索范围内以分数像素为单位搜索具有高相关性的相似参考块，并通过所搜索到的参考块来推导运动信息。可以基于基于相位的样本值的差异来推导块的相似度。例如，可以基于当前块(或者当前块的模板)与参考块(或者参考块的模板)之间的SAD来计算块的相似度。在这种情况下，可以基于在搜索区域中具有最小SAD的参考块来推导运动信息。可以基于帧间预测模式根据各种方法将推导出的运动信息用信号通知给解码装置。
合并模式和跳过模式
图12是作为应用本公开的实施方式的、对合并模式或跳过模式中使用的邻近块进行描述的图。
当应用合并模式时，不直接发送当前预测块的运动信息，而是利用邻近预测块的运动信息推导当前预测块的运动信息。因此，发送指示使用合并模式的标志信息以及指示使用哪个邻近预测块的合并索引，以指示当前预测块的运动信息。
编码器可以搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用多至五个合并候选块，但本公开不限于此。另外，可以在条带头部(或图块(tile)组头部)中发送合并候选块的最大数量，并且本公开不限于此。在找到合并候选块之后，编码器可以生成合并候选列表，并且在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开提供了用于构成合并候选列表的合并候选块的各种实施方式。
作为合并候选列表，例如，可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。作为具体的示例，对于空间合并候选的情况来说，可以将图12所示的块用作空间合并候选。
图13是例示根据应用本公开的实施方式的、对合并候选列表进行配置的方法的流程图。
参照图13，编码装置(编码器/解码器)将通过搜索当前块的空间邻近块而推导的空间合并候选插入到合并候选列表中(S1301)。例如，空间邻近块可以包括当前块的左下角邻近块、左侧邻近块、右上角邻近块、上侧邻近块以及左上角邻近块。然而，这只是示例，并且除了这些空间邻近块之外，还可以将包括右侧邻近块、下侧邻近块、右下角邻近块等的附加邻近块用作空间邻近块。编码装置可以通过基于优先级搜索空间邻近块来推导可用块，并且可以将所检测到的块的运动信息推导为空间合并候选。例如，编码器和解码器可以对图12的五个块以A1、B1、B0、A0以及B2的次序进行搜索，并且顺序地索引可用的候选，并将索引的候选配置为合并候选列表。
编码装置将通过搜索当前块的时间邻近块而推导的时间合并候选插入到合并候选列表中(S1302)。时间邻近块可以位于作为与当前块所位于的当前图片不同的图片的参考图片上。可以将时间邻近块所位于的参考图片称为并置图片或col图片。可以在col图片上按照当前块的并置块的右下角邻近块和右下中心块的次序搜索时间邻近块。
此外，当应用运动数据压缩时，可以将特定的运动信息作为代表运动信息存储在各个预定存储单元的col图片中。在这种情况下，不需要在预定存储单元中存储所有块的运动信息，结果，可以获取运动数据压缩效果。在这种情况下，可以为各个16×16样本单元或8×8样本单元预先确定预定存储单元，或者可以将预定存储单元的尺寸信息从编码器用信号通知给解码器。当应用运动数据压缩时，可以将时间邻近块的运动信息替换成时间邻近块所位于的预定存储单元的代表运动信息。
换句话说，在这种情况下，就实现而言，可以基于覆盖以下位置的预测块而不是位于时间邻近块的坐标(左上样本位置)上的预测块的运动信息来推导时间合并候选：该位置基于时间邻近块的坐标经受算术右移预定值，然后经受算术左移预定值。例如，当预定存储单元是2n×2n样本单元时，如果时间邻近块的坐标是(xTnb、yTnb)，则可以将位于作为经修改的位置的(((xTnb>>n)<<n)、((yTnb>>n)<<n))处的预测块的运动信息用于时间合并候选。
具体地，例如，当预定存储单元是16×16样本单元时，如果时间邻近块的坐标是(xTnb、yTnb)，则可以将位于作为经修改的位置的(((xTnb>>4)<<4)、((yTnb>>4)<<4))处的预测块的运动信息用于时间合并候选。另选地，例如，当预定存储单元是8×8样本单元时，如果时间邻近块的坐标是(xTnb、yTnb)，则可以将位于作为经修改的位置的(((xTnb>>3)<<3)、((yTnb>>3)<<3))处的预测块的运动信息用于时间合并候选。
编码装置可以检查合并候选的当前数量是否小于合并候选的最大数量(S1303)。合并候选的最大数量可以预先定义或者从编码器用信号通知给解码器。例如，编码器可以生成关于合并候选的最大数量的信息，并对生成的信息进行编码，并将经编码的信息以比特流的形式传递至解码器。当完全填充合并候选的最大数量时，可以不执行后续候选添加处理。
作为检查结果，在合并候选的当前数量小于合并候选的最大数量时，编码装置将附加的合并候选插入到合并候选列表中(S1304)。附加的合并候选例如可以包括：ATMVP、组合的双向预测合并候选(在当前条带的条带类型为类型B时)和/或零矢量合并候选。
作为检查结果，在合并候选的当前数量不小于合并候选的最大数量时，编码装置可以终止合并候选列表的配置。在这种情况下，编码器可以基于率失真(RD)成本在构成合并候选列表的合并候选当中选择最优合并候选并且向解码器指示所选择的合并候选的信号选择信息(例如，合并索引)。解码器可以基于合并候选列表和选择信息来选择最优合并候选。
如上所述，可以将所选择的合并候选的运动信息用作当前块的运动信息，并且可以基于当前块的运动信息来推导当前块的预测样本。编码器可以基于预测样本来推导当前块的残差样本，并且将残差样本的残差信息用信号通知给解码器。如上所述，解码器可以基于预测样本和残差样本来生成重构样本，残差样本是基于残差信息推导出的，并且基于所生成的重构样本来生成重构图片。
当应用跳过模式时，可以通过与如上所述应用合并模式的情况相同的方法来推导当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残差信号，结果，可以直接将预测样本用作重构样本。
MVP模式
图14是例示根据应用本公开的实施方式的、对合并候选列表进行配置的方法的流程图。
当应用运动矢量预测(MVP)模式时，可以通过使用重构的空间邻近块(例如，可以是上面图12中描述的邻近块)的运动矢量和/或与时间邻近块(或Col块)相对应的运动矢量来生成预测运动矢量预测符(mvp)候选列表。换句话说，可以将重构的空间邻近块的运动矢量和/或与时间邻近块相对应的运动矢量用作运动矢量预测符候选。
关于预测的信息可以包括对在列表中包括的运动矢量预测符候选当中选择的最优运动矢量预测符候选进行指示的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测单元可以通过使用所选择的信息来在运动矢量候选列表中包括的运动矢量预测符候选当中选择当前块的运动矢量预测符。编码装置的预测单元可以获得当前块的运动矢量与运动矢量预测符之间的运动矢量差(MVD)，并且对获取的MVD进行编码并且以比特流的形式输出经编码的MVD。换句话说，可以根据通过将从当前块的运动矢量中减去运动矢量预测符而获取的值来获取MVD。在这种情况下，解码装置的预测单元可以获得与预测有关的信息中包括的运动矢量差，并通过将运动矢量差与运动矢量预测符相加来推导当前块的运动矢量。解码装置的预测单元可以从关于预测的信息中获得或推导指示参考图片的参考图片索引。例如，可以如图14所示对运动矢量预测符候选列表进行配置。
高级时间运动矢量预测(ATMVP)
图15和图16是作为应用本公开的实施方式的、对推导高级时间运动矢量预测(ATMVP)候选的方法进行描述的图。
参照图15，ATMVP是一种用于基于时间上邻近图片的并置块的运动信息来推导编码单元的子块的运动信息的方法。因此，可以增强时间运动矢量预测(TMVP)的性能，并且可以降低一般或最坏情况的复杂度。在本公开中，可以将ATMVP称为基于子块的时间合并候选SbTMVP。
根据本公开的实施方式，可以通过以下处理来推导ATMVP。
首先，当邻近编码单元可用并且可用编码单元的运动矢量与当前候选列表中的运动矢量不同时，编码器/解码器可以将来自空间邻近编码单元的运动矢量进行相加。作为一个示例，参照图16，该处理可以按照A1、B1、B0、A0以及B2的次序来执行。作为另一示例，为了改进复杂度，在该处理中，可以通过仅使用固定位置(例如，A1位置)处的块的运动矢量来推导ATMVP。
编码器/解码器可以使用No个可用空间候选当中的第一运动矢量候选，以便确定用于推导并置图片和各个子块的运动信息的位置。这里，No表示可用的空间候选的数量。如果No为0，则可以将运动为0的并置位置和并置图片用于推导各个子块的运动信息。
当使用多个参考图片时，在ATMVP中不同的编码单元的并置图片可能彼此不同。当前图片中的不同编码单元具有不同的并置图片以用于推导ATMVP的事实意味着应当推导多个参考图片的运动信息字段，而这不是优选的，因为这会增加存储器带宽。
因此，本公开提供了在推导ATMVP时使用相同的并置图片的更简单的设计。例如，可以在条带(或图块组)头部中定义使用相同的并置图片的方法，但本公开不限于此。作为一个示例，按块级别，当邻近块A的参考图片与并置图片不同时，可以基于时间运动矢量缩放方法来缩放邻近块A的运动矢量。另外，可以在ATMVP中使用邻近块A的经缩放的运动矢量。
图17是作为应用本公开的实施方式的、对推导高级时间运动矢量预测(ATMVP)候选的方法进行描述的图。
参照图17，在本公开的实施方式中，由于使用当前块的右下块或当前块的中心位置处的时间邻近块(或colPB)的运动矢量的TMVP不反映图片内运动，因此编码器/解码器可以将由邻近块的的运动矢量所指示的位置处的colPB的运动矢量用作MVP。
例如，编码器/解码器可以就像图17所示的合并候选配置次序一样，在对块进行检查的同时找到第一可用空间邻近块的运动矢量。另外，可以将参考图片中的运动矢量所指示的位置推导为col-PB(即，ATMVP候选)。
此外，可以将运动矢量用作以各个子块为单位的对应块的运动矢量。在这种情况下，当特定的子块中没有运动矢量时，可以将位于对应块的中心处的中心块的运动矢量用作不可用子块的运动矢量，并存储为代表运动矢量。
时间运动矢量数据存储减少
本公开的实施方式提出了一种基于空间候选的运动矢量数据来减少时间运动矢量存储以压缩时间运动矢量数据的方法。
图18和图19是例示根据本公开的实施方式的压缩时间运动矢量数据及其所使用的空间候选的位置的方法的图。
参照图18，在本公开的实施方式中，当通过帧间预测来预测空间候选时，可以将空间候选的运动矢量配置为用于压缩的默认运动矢量。例如，可以将最多五个空间候选用作参考时间运动信息，以推导默认的时间运动矢量。作为实施方式，可以如图19所示对五个空间候选进行配置。
此外，可以基于空间候选的运动矢量来压缩时间运动矢量数据。可以在图18中例示搜索空间候选的次序。可以根据中心块C、左上块TL、右上块TR、左下块BL以及右下块BR的次序来确定空间候选。这只是实施方式，并且本公开不限于此，并且可以应用其它可组合的次序。
首先，编码器/解码器可以检查中心块C是否是帧间预测的。如果中心块C是帧间预测的，则编码器/解码器可以将中心块C的运动矢量配置为用于预测运动矢量的默认值。
如果中心块C不是帧间预测的，则编码器/解码器可以检查左上块TL是否是帧间预测的。如果左上块TL是帧间预测的，则编码器/解码器可以将左上块TL的运动矢量配置为用于预测运动矢量的默认值。
如果左上块TL不是帧间预测的，则编码器/解码器可以检查右上块TR是否是帧间预测的。如果右上块TR是帧间预测的，则编码器/解码器可以将右上块TR的运动矢量配置为用于预测运动矢量的默认值。
如果右上块TR不是帧间预测的，则编码器/解码器可以检查左下块BL是否是帧间预测的。如果左下块BL是帧间预测的，则编码器/解码器可以将左下块BL的运动矢量配置为用于预测运动矢量的默认值。
如果左下块BL不是帧间预测的，则编码器/解码器可以检查右下块BR是否是帧间预测的。如果右下块BR是帧间预测的，则编码器/解码器可以将右下块BR的运动矢量配置为用于预测运动矢量的默认值。
如果右下块BR不是帧间预测的，则编码器/解码器可以将帧内模式配置为默认模式。
通过这种处理，编码器/解码器将默认运动矢量压缩到运动信息中。
基于自适应子块尺寸执行ATMVP的实施方式
本公开的实施方式提出了一种基于自适应子块尺寸来执行ATMVP的方法。例如，可以按条带级别自适应地应用用于推导ATMVP的子块尺寸。
此外，如果以4×4块为单位推导ATMVP运动信息，则可能存在一个运动ATMVP编码单元中每4×4个子块就执行运动推导和运动补偿的问题。
为了解决该问题，编码器可以按序列级别向解码器用信号通知被用于ATMVP运动推导的一个默认子块尺寸。
作为另一示例，当在当前条带中使用默认子块尺寸时，可以按图片或条带级别用信号通知标志。如果该标志为假，则可以在条带头部中附加地用信号通知ATMVP子块尺寸。
对用于推导并置块的区域进行限制的实施方式
在本公开中，用于ATMVP的并置块的区域可以包括当前CTU中的一列的N×N块和并置图片。例如，N×N块可以是4×4块，但本公开不限于此。
由合并候选的运动矢量标识的ATMVP并置块位于受限区域之外，ATMVP并置块可以移动成位于受限区域中。例如，ATMVP并置块可以移动成位于受限区域中最接近的边界上。
推导基于子块的时间合并候选的实施方式
在本公开的实施方式中，编码器/解码器可以将基于空间邻近块的运动信息指定的并置图片中的并置块(或者并置子块)的运动信息作为基于子块的时间合并候选添加到子块合并候选列表。
在本公开中，可以将空间邻近块的运动信息称为时间运动矢量。作为实施方式，在当前编码块的宽度和高度等于或大于预定的特定尺寸时，编码器/解码器可以推导基于子块的时间合并候选。例如，预定的特定尺寸可以是8。
作为实施方式，编码器/解码器可以将可用空间候选当中的第一空间候选的运动信息配置为时间运动矢量。作为示例，编码器/解码器可以按A1、B1、B0以及A0的次序搜索可用的空间候选。在这种情况下，编码器/解码器可以将可用的空间候选当中的参考图片与并置图片相同的空间候选配置为时间运动矢量。作为另一示例，编码器/解码器可以检查一个固定位置空间候选是否可用以及该固定位置空间候选何时可用，编码器/解码器可以将对应的空间候选的运动矢量配置为时间运动矢量。例如，可以将一个固定位置空间候选配置为位置A1的块。
此外，编码器/解码器可以通过使用时间运动矢量来指定并置图片中的并置块的位置。作为示例，可以使用上述式1。
[式1]
xColCb＝Clip3(xCtb，Min(CurPicWidthInSamplesY-1，xCtb+(1＜＜CtbLog2SizeY)+3)，xColCtrCb+(tempMv[0]＞＞4))
yColCb＝Clip3(yCtb，Min(CurPicHeightinSamplesY-1，yCtb+(1＜＜CtbLog2SizeY)-1)，yColCtrCb+(tempMv[1]＞＞4))
在这里，(xColCtrCb、yColCtrCb)表示包括中心位置的右上样本的并置编码块的左上样本位置，以及tempMv表示时间运动矢量。
此外，编码器/解码器可以确定用于以子块为单位推导当前编码块中的各个子块的运动信息的位置。在实施方式中，可以通过下面的式2推导并置图片中的并置子块的位置。
[式2]
xColSb＝Clip3(xCtb，Min(CurPicWidthInSamplesY-1，xCtb+(1＜＜CtbLog2SizeY)+3)，xSb+(tempMv[0]＞＞4))
yColSb＝Clip3(yCtb，Min(CurPicHeightInSamplesY-1，yCtb+(1＜＜CtbLog2SizeY)-1)，ySb+(tempMv[1]＞＞4))
在这里，(xSb、ySb)表示当前子块的位置。
在实施方式中，在当前并置子块不可用时，编码器/解码器可以使用由时间运动矢量指定的并置块的运动信息。
图20是示出根据应用本公开的实施方式的基于候选列表生成帧间预测块的方法的流程图。
参照图20，例示了由图1和图2中描述的帧间预测单元180和260执行帧间预测过程。在图20中，假设作为通过推导经由帧间预测而预测的预测运动信息(PMI)来执行预测的方法，使用合并模式和帧间模式(即，(A)MVP模式)。然而，本公开不限于此，并且可以将各种其它模式应用于帧间预测。
如上所述，为了推导用于生成预测块的最终PMI，除候选索引外，还可以根据运动矢量差(MVD)、参考列表(或参考图片列表)和/或参考图片索引中的至少一项是否通过比特流传输来对合并模式和帧间模式进行分类。
具体地，编码器/解码器检查是否将合并模式应用至当前块(S2001)。
如果将合并模式应用至当前块，则编码器/解码器生成合并候选(或合并候选列表)，并且选择被用于当前块的帧间预测的PMI(S2002和S2003)。当应用合并模式时，编码器可以将所选择的PMI信息作为合并索引发送至解码器。合并索引可以指示合并候选当中的特定合并候选。编码器/解码器可以使用特定合并候选的运动信息作为当前块的帧间预测的运动矢量。
如果没有将合并模式应用至当前块(即，如果应用了帧间模式)，则编码器/解码器生成帧间候选(或帧间候选列表)，并且选择被用于当前块的帧间预测的初始PMI(或运动矢量预测符)(S2004和S2005)。当应用帧间模式时，编码器可以将所选择的PMI信息作为运动矢量预测符标志(或索引)发送至解码器。运动矢量预测符标志可以指示帧间候选当中的特定帧间候选。另外，可以将帧间候选称为运动矢量预测符候选。编码器/解码器将运动矢量差添加至初始PMI，以推导用于预测的运动矢量(S2006)。
编码器/解码器通过使用推导出的运动矢量来生成当前块的预测块(S2007)。
换句话说，当应用合并模式时，编码器/解码器除了用信号通知候选索引(即，合并索引)以外，不使用附加的语法(或语法元素)，以便推导最终的PMI并且通过使用经由候选索引选择的候选的运动信息来生成当前块的预测块。在这种情况下，在步骤S2002(或框)中执行候选生成处理。
即使应用了帧间模式，在步骤S2004中，按与合并模式类似的方法执行候选生成处理。当应用帧间模式时，编码器/解码器通过基于所选择的候选的运动信息接收附加运动信息来推导最终PMI，并通过使用推导出的最终PMI来生成当前块的预测块。
在下文中，将描述通过使用邻近块的运动信息来生成候选(或候选列表)的方法。
图21是例示根据应用本公开的实施方式的生成候选列表的方法的流程图。
参照图21，为便于描述，主要对解码器进行描述，但是，即使在编码器中，也可以等同地执行本实施方式的候选列表生成方法。在实施方式中，可以应用图12至图17中描述的方法，并且将省略其重复描述。
图21中所示的候选配置次序只是一个示例，并且本公开不限于此，并且可以改变次序或者可以省略或添加一些步骤。此外，在图21中添加的候选只是示例，并且可以添加各种其它候选，并且可以不使用图21所示的候选当中的一些候选。
解码器将空间邻近块(或空间候选)添加至候选列表(S2101)。例如，解码器可以向候选列表添加上述图16的邻近候选块。
解码器将时间邻近块(或时间候选)添加至候选列表(S2102)。
解码器将组合运动信息(或组合运动矢量)添加至候选列表，并且将零运动矢量添加至候选列表(S2103和S2104)。
图22例示了根据应用本公开的实施方式的用于帧间预测的邻近块的一个示例。
参照图22，编码器/解码器可以通过使用基于空间相似性的空间邻近块的运动信息以及基于时间相似性的时间邻近块的运动信息来构建候选列表。在本公开中，可以将空间邻近块的运动信息称为空间邻近信息，以及可以将时间邻近块的运动信息称为对应的时间信息。
作为实施方式，编码器/解码器可以通过使用图22所示的空间候选(或空间邻近信息)来构建候选列表。另外，编码器/解码器可以通过使用图22所示的时间候选(或对应的时间信息)来构建候选列表。
如上所述，可以使用自适应时间运动矢量预测(ATMVP)，以便考虑空间相似性来校正时间相似性信息。ATMVP是一种用于基于时间上邻近图片的并置块的运动信息来推导子块的运动信息的方法。通过该方法，可以增强时间运动矢量预测(TMVP)的性能，并且可以改善复杂度。在本公开中，可以将ATMVP称为基于子块的时间合并候选、SbTMVP等。
换句话说，由于在当前块的右下或中心位置使用并置块的运动矢量的TMVP不反映图片中的运动，因此，TMVP可以将邻近块的运动矢量所指示的位置处的并置块的运动矢量用作运动矢量预测。
返回参照上述图17，在实施方式中，编码器/解码器可以在以预定的合并候选配置次序对块进行检查的同时找到第一可用空间邻近块的运动矢量。此后，编码器/解码器可以将由参考图片中的对应运动矢量(即，时间运动矢量)所指示的位置确定为并置块。通过该确定，可以增强对应块(或时间运动矢量)的准确度。作为实施方式，可以将参考图片定义为并置图片。
编码器/解码器可以以当前编码块中的子块为单位推导由时间运动矢量指定的对应块的运动矢量。作为实施方式，当没有对应于特定子块的运动矢量时(或者当不可用时)，编码器/解码器可以将位于并置块的中心处的块的运动矢量配置(或存储)为代表运动矢量，并且将对应的运动矢量用作特定子块的运动矢量。
在实施方式中，编码器/解码器可以增加合并候选的数量并且应用增加的合并候选以便使用ATMVP模式。另外，为此目的，可以不使用附加的语法(或语法元素)。可以将指示合并候选的最大数量的语法通过高级语法从编码器发送至解码器。高级语法例如可以是序列参数集(SPS)、图片参数集(PPS)或条带头部。作为示例，合并候选的最大数量可以为六。
此外，在实施方式中，可以将指示扩展的ATMVP候选的ATMVP-ext候选添加至候选列表。ATMVP-ext可以是一种类似于ATMVP的用于改善常规TMVP的方法，并且可以通过组合空间邻近块和时间邻近块来推导子块单元运动矢量。
图23是例示根据应用本公开的实施方式的、推导扩展高级时间运动矢量预测(ATMVP)候选的方法的图。
参照图23，假设当前块2301的尺寸是16×16。此外，在图23中，在推导子块单元运动矢量时，假设子块的尺寸为4×4，但是本公开不限于此，并且可以将子块的尺寸定义为稍后要描述的8×8或更大的固定尺寸。
编码器/解码器可以使用左侧水平和顶部垂直位置处的空间邻近块的运动矢量以及右侧水平和底部垂直位置处的时间邻近块的运动矢量，以便推导当前块2301中的相应子块的运动矢量。
例如，编码器/解码器可以推导位置L-0和A-0处的空间邻近块的运动矢量，推导当前块2301中的位置1和4处的子块的时间邻近块的运动矢量，并且计算四个运动矢量的平均值，以便推导当前块2301中的位置0处的子块的运动矢量。编码器/解码器可以将四个运动矢量的平均值确定为当前块2301中的位置0处的子块的运动矢量。作为实施方式，当四个块中的仅一些块可用时，编码器/解码器确定可用的块的运动矢量的平均值。此外，作为实施方式，参考索引可以是预定的(参考索引0或1，并置图片)。
在实施方式中，与ATMVP模式类似地，编码器/解码器可以增加合并候选的数量并且应用增加的合并候选以便使用扩展的ATMVP模式。另外，为此目的，可以不使用附加的语法(或语法元素)。
图24和图25是例示根据应用本公开的实施方式的、提取参考图片中的时间邻近块的运动矢量的提取处理的图。
参照图24，编码器/解码器可以提取(或者推导或获得)存储在存储器(上面图1的170和图2的250)(具体地，存储器的DPB)的参考图片(或并置图片)中的对应位置的运动信息，以便推导当前块的时间邻近块的运动矢量(下文中，可以被称为时间运动矢量)。
在本公开中，为便于描述，主要描述了存储器是DRAM的情况，但是本公开不限于此，并且存储器可以包括各种存储介质，包括：DRAM、USB、SD、CD、DVD、Blu-ray、HDD、SSD等。
作为实施方式，参考图片(或并置图片)中的对应位置可以是当前块的右下块或当前块的中心位置(即，TMVP)，并且可以是由当前块的空间邻近块的运动矢量指定的位置(即，ATMVP)。
参照图25，假设以当前块为单位从DRAM 2501中提取时间运动矢量。在这种情况下，如图25所示，编码器/解码器提取存储在DRAM 2501中的当前块的对应位置块2502中的一个运动矢量作为时间运动矢量。
此时，当应用根据本公开的实施方式的ATMVP(即，基于子块的时间合并候选)或扩展的ATMVP时，由于运动信息是以子块为单位提取的，因此，如图25所示，可能无法以当前块为单位提取一个运动信息。换句话说，当应用ATMVP或扩展的ATMVP时，应当将更多的数据提取至DRAM 2501。将参照以下附图来描述提取。
图26是例示根据应用本公开的实施方式的、以子块为单位提取时间邻近块的运动矢量的提取处理的图。
参照图26，假定将当前块分割成四个子块并且执行运动补偿。此外，如上所述，在本公开中，为便于描述，主要描述了存储器是DRAM 2601的情况，但是本公开不限于此，并且存储器可以包括各种存储介质，包括：DRAM 2601、USB、SD、CD、DVD、Blu-ray、HDD、SSD等。
如图26所示，当以四个子块为单位提取运动信息时，编码器/解码器提取与存储在DRAM 2601中的参考图片(或并置图片)中的当前块的对应位置块中的相应子块相对应的四个运动信息。换句话说，当以四个子块为单位提取运动信息时，与上面图25中描述的情况相比，编码器/解码器应当从DRAM 2601提取大约4倍的数据。
当将图25与图26彼此比较时，可以看出，子块的尺寸对从DRAM 2601提取的数据量发挥了决定性的影响。因此，根据硬件提取性能，子块的尺寸可能对流水线配置以及解码器和编码器的吞吐量发挥很大的影响。
在诸如仿射运动预测之类的基于子块的运动补偿方法中，基于推导的控制点运动矢量，以子块为单位推导运动矢量，但是对于ATMVP(即，基于子块的时间合并候选(或预测符))的情况来说，由于存储在存储器中的运动矢量是以参考图片(或并置图片)的对应块中的子块为单位获取的，因此，尽管基于子块的运动补偿类似，但仿射运动预测和ATMVP在取决于子块的尺寸的硬件负担方面仍有很大的差异。
如果将当前块过多地分割成多个子块，则应当多次执行提取的问题取决于执行提取的存储器总线的尺寸。
因此，本公开提出一种设定(或确定或定义)子块的固定最小尺寸以便解决该问题并以设定的子块为单位对时间运动信息执行提取处理的方法。
在常规的ATMVP或ATMVP-ext中，将当前块以尺寸为4×4的子块为单位进行分割，以便行提取和运动补偿。在这种情况下，如上所述，需要根据当前块的尺寸来提取的存储器可能过大。硬件负担可能非常大，并且压缩性能可能会劣化。
因此，本公开的实施方式提出了一种将当前块分割成具有固定的8×8尺寸的子块或者具有固定的16×16尺寸的子块的方法。在由该实施方式提出的方法中，通过实验结果证明，压缩性能的损失小于硬件复杂度的增加，并且在下面的表2至表5中示出了实验结果。
首先，下表2示出了以4×4子块为单位执行ATMVP的压缩性能。
[表2]
下表3示出了以8×8子块为单位执行ATMVP的压缩性能。
[表3]
下表4示出了以16×16子块为单位执行ATMVP的压缩性能。
[表4]
下表5示出了以32×32子块为单位执行ATMVP的压缩性能。
[表5]
参照上面表2至表5的实验结果，可以确认，压缩效率与解码速度之间的差异具有根据子块的尺寸的折衷结果，但是压缩性能的损失要小于硬件复杂度的改进。
在本公开该实施方式中，编码器/解码器可以以大于4×4的单位(即，以8×8、16×16或32×32的单位)执行基于子块的运动补偿(即，ATMVP或ATMVP-ext)，并且以具有对应尺寸的子块为单位提取基于子块的时间运动信息。
根据本公开的实施方式，可以获得比在执行基于子块的运动补偿时相对较小的压缩损失更高的硬件复杂度改善效果。
在下文中，提出了一种对本公开所提出的基于子块的时间运动信息推导方法(即，ATMVP或ATMVP-ext)的应用进行限制以便增强硬件复杂度的方法。
在本公开该实施方式中，如果当前块(或当前编码块)的宽度或高度小于预定义的尺寸，则编码器/解码器可以不执行基于子块的时间运动信息推导方法(即，ATMVP或ATMVP-ext)。
在上面图24至图26中描述的方法中，通过减少以相同区域为单位的运动信息的数据提取量，来改善硬件的复杂度，而实施方式可以附加地改进最坏情况下的复杂度。常规的视频压缩技术通过将图片或块分割成各种形式来执行预测和变换以及其它编码。
结果，可以将编码块(编码单元或预测单元)的尺寸分割成具有较小尺寸的块，诸如4×4、4×8或8×4。在这种情况下，可能存在如下情况：当前块的尺寸小于提取时间运动信息(或时间运动矢量)的最小子块尺寸。在这种情况下，就硬件而言，可以以最小编码块尺寸而不是最小子块尺寸来执行提取。
因此，在本公开中，为了解决这样的问题，如果当前处理块的尺寸(或者当前块的宽度和/或高度)小于预定义的最小尺寸，则可以不使用基于子块的时间运动矢量候选。换句话说，在本公开的实施方式中，仅在当前处理块的尺寸(或者当前块的宽度和/或高度)等于或大于预定义的最小尺寸时，编码器/解码器才可以将基于子块的时间运动矢量候选添加至候选列表。作为实施方式，可以将下面的式3用作使用基于子块的时间运动矢量候选的条件。
[式3]
条件＝宽度块＜MIN_SUB_BLOCK_SI||高度块＜MIN_SUB_BLOCK_SIZE
图27是例示根据应用本公开的实施方式的生成候选列表的方法的流程图。
参照图27，为便于描述，主要对解码器进行描述，但是，即使在编码器中，也可以等同地执行本实施方式的候选列表生成方法。在实施方式中，可以应用图12至图17以及图21至图26中描述的方法，并且将省略其重复描述。
图27中所示的候选配置次序只是一个示例，并且本公开不限于此，并且可以改变次序或者可以省略或添加一些步骤。此外，在图27中添加的候选只是示例，并且可以添加各种其它候选，并且可以不使用图27所示的候选当中的一些候选。
解码器将空间邻近块(或空间候选)添加至候选列表(S2701)。例如，解码器可以向候选列表添加上述图16的邻近候选块。
解码器检查当前块的宽度和高度是否等于或大于预定义的最小尺寸(S2702)。
如果当前块的宽度和高度等于或大于预定义的最小尺寸，则解码器将时间邻近块(或时间候选)添加至候选列表(S2703)。如果当前块的宽度和高度小于预定义的最小尺寸，则解码器可以不将时间邻近块(或时间候选)添加至候选列表。
解码器将组合运动信息(或组合运动矢量)添加至候选列表，并且将零运动矢量添加至候选列表(S2704和S2705)。
为了便于描述，已经分别描述了上面描述的本公开的实施方式，但本公开不限于此。也就是说，可以独立地执行上述实施方式，并且可以组合并执行一个或更多个不同的实施方式。
图28是示出根据应用本公开的实施方式的生成帧间预测块的方法的流程图。
参照图28，为便于描述，主要对解码器进行描述，但是本公开不限于此，并且可以将基于帧间预测来生成帧间预测块的方法基本上等同地应用至编码器。
如果向当前块应用合并模式，则解码器通过使用当前块的空间邻近块和时间邻近块来生成合并候选列表(S2801)。
解码器获取指示在合并候选列表中的当前块的帧间预测的候选的合并索引(S2802)。
解码器基于用于当前块的帧间预测的候选的运动矢量，推导当前块中包括的多个相应子块的运动矢量(S2803)。
解码器通过使用相应子块的运动矢量来生成当前块的预测样本(S2804)。
作为实施方式，可以将子块的尺寸设定成等于或大于8×8的固定特定尺寸。
作为实施方式，生成合并候选列表的步骤可以包括：向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，生成合并候选列表的步骤可以包括：向合并候选列表添加当前块的并置图片中的、当前块的空间邻近块当中的按照预定义的次序的第一空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，生成合并候选列表的步骤可以包括：标识当前块的宽度和高度是否小于预定义的最小尺寸；以及作为标识的结果，如果当前块的宽度和高度大于或等于预定义的最小尺寸，则向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，可以将预定义的最小尺寸设定成子块的尺寸。
图29是例示根据应用本公开的实施方式的帧间预测装置的图。
在图29中，为了便于描述，将帧间预测单元例示为一个块，但是，可以在编码器和/或解码器中包括的组件中实现帧间预测单元。
参照图29，帧间预测单元实现上面图8至图28中提出的功能、过程和/或方法。具体地，可以将帧间预测单元配置成包括：合并候选列表生成单元2901、合并索引获得单元2902、子块运动矢量推导单元以及预测块生成单元2904。
如果向当前块应用合并模式，则合并候选列表生成单元2901通过使用当前块的空间邻近块和时间邻近块来生成合并候选列表。
合并索引获得单元2902获取合并候选列表中的合并索引，该合并索引指示要用于当前块的帧间预测的候选。
子块运动矢量推导单元2903基于用于当前块的帧间预测的候选的运动矢量，来推导当前块中包括的各个子块的运动矢量。
预测块生成单元2904通过使用各个子块的运动矢量来生成当前块的预测样本。
作为实施方式，可以将子块的尺寸设定成等于或大于8×8的固定特定尺寸。
作为实施方式，合并候选列表生成单元2901可以向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，合并候选列表生成单元2901可以向合并候选列表添加当前块的并置图片中的根据预定义的次序的第一空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，合并候选列表生成单元2901可以标识当前块的宽度和高度是否小于预定义的最小尺寸；以及作为标识的结果，如果当前块的宽度和高度大于或等于预定义的最小尺寸，则向合并候选列表添加当前块的并置图片中的空间邻近块的运动矢量所指定的当前块的时间邻近块。
作为实施方式，可以将预定义的最小尺寸设定成子块的尺寸。
图30例示了应用本公开的视频编码系统。
视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输形式将经编码的视频/图像信息或数据传递至接收装置。
源装置可以包括：视频源、编码设备以及发送器。接收装置可以包括：接收器、解码设备以及渲染器。可以将编码设备称为视频/图像编码设备，并且可以将解码设备称为视频/图像解码设备。可以将发送器包括在编码设备中。可以将接收器包括在解码设备中。渲染器可以包括显示器，并且可以将显示器配置为单独的装置或者外部组件。
视频源可以通过视频/图像的拍摄、合成或生成处理来获取视频/图像。视频源可以包括视频/图像拍摄装置和/或视频/图像生成装置。视频/图像拍摄装置例如可以包括：一个或更多个摄像机、视频/图像档案(包括先前拍摄的视频/图像)等。视频/图像生成装置例如可以包括：计算机、平板电脑以及智能电话，并且可以(以电子方式)生成视频/图像。例如，可以由计算机等生成虚拟视频/图像，并且在这种情况下，可以将视频/图像拍摄处理替换成生成相关数据的处理。
编码设备可以对输入的视频/图像进行编码。编码设备可以针对压缩和编码效率执行一系列过程，包括预测、变换、量化等。可以将经编码的数据(经编码的视频/图像信息)以比特流形式输出。
发送器可以通过数字存储介质或网络，以文件或流传输形式将在比特流中输出的经编码的视频/图像信息或数据传递至接收装置的接收器。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、Blu-ray、HDD、SSD等。发送器可以包括通过预定文件格式生成媒体文件的元件，并且可以包括通过广播/通信网络进行传输的元件。接收器可以抽取比特流，并将抽取的比特流传递至解码设备。
解码设备执行与编码设备的操作相对应的包括解量化、逆变换、预测等的一系列过程，以对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。经渲染的视频/图像可以由显示器进行显示。
图31是作为应用本公开的实施方式的内容流传输系统的结构图。
参照图31，应用本公开的内容流传输系统可以主要包括：编码服务器、流传输服务器、web服务器、媒体存储部、用户装置以及多媒体输入装置。
编码服务器将从多媒体输入装置(包括：智能电话、摄像机、摄录机等)输入的内容压缩成数字数据，以生成比特流并将该比特流传输至流传输服务器。作为另一示例，当包括智能电话、摄像机、摄录机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。
流传输服务器基于通过web服务器的用户请求将多媒体数据发送至用户装置，并且web服务器用作中介，用于通知用户存在什么服务。当用户向web服务器请求希望的服务时，web服务器将请求的服务传递至流传输服务器，而流传输服务器将多媒体数据传输给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的相应的装置之间的命令/响应。
流传输服务器可以从媒体存储部和/或编码服务器接收内容。例如，当流传输服务器从编码服务器接收内容时，流传输服务器可以实时接收该内容。在这种情况下，流传输服务器可以将比特流存储达预定的时间，以便提供平滑的流传输服务。
用户装置的示例可以包括：蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、板状PC、平板PC、超级本、诸如智能腕表、智能眼镜或头戴式显示器(HMD)之类的可佩戴装置等。
内容流传输系统中的各个服务器可以操作为分布式服务器，并且在这种情况下，可以对由各个服务器接收的数据进行分发和处理。
如上所述，可以在处理器、微处理器、控制器或芯片上实现和执行本公开中描述的实施方式。例如，可以在计算机、处理器、微处理器、控制器或芯片上实现和执行各个附图中例示的功能单元。
另外，可以将应用本公开的解码器和编码器包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视摄像机、视频聊天装置、实时通信装置(诸如视频通信)、移动流传输装置、存储介质、摄录机、视频点播(VoD)服务提供装置、过顶服务(Over the top)OTT视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)以及医疗视频装置等，并且可以用于处理视频信号或数据信号。例如，过顶服务(OTT)视频装置可能包括游戏机、Blu-ray播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
另外，可以以计算机执行的程序的形式来产生应用本公开的处理方法，并且可以将其存储在计算机可读记录介质中。也可以将具有根据本公开的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括所有类型的存储装置以及存储计算机可读数据的分布式存储装置。计算机可读记录介质例如可以包括：Blu-ray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的媒介(例如，通过互联网的传输)。此外，可以将通过编码方法生成的比特流存储在计算机可读记录介质中，或者可以通过有线/无线通信网络进行传输。
另外，可以将本公开的实施方式通过程序代码实现为计算机程序产品，该程序代码可以根据本公开的实施方式在计算机上执行。可以将程序代码存储在计算机可读载体上。
在上述实施方式中，本公开的组件和特征是以预定的形式组合的。除非另有明确规定，否则各个组件或功能都应被视为选项。各个组件或特征可以在不与其它组件或特征相关联的情况下加以实现。此外，可以通过关联一些组件和/或特征来构建本公开的实施方式。可以改变本公开的实施方式中所描述的操作的次序。可以将任何实施方式的一些组件或特征包括在另一实施方式中，或者可以替换成与另一实施方式相对应的组件和特征。显然，将权利要求中未明确引用的权利要求进行组合以形成实施方式，或者在申请之后通过修改而包括在新的权利要求中。
可以通过硬件、固件、软件或其组合来实现本公开的实施方式。在通过硬件实现的情况下，根据硬件实现，可以通过使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现本文所描述的示例性实施方式。
在通过固件或软件来实现的情况下，可以以执行上述功能或操作的模块、过程、功能等的形式来实现本公开的实施方式。可以将软件代码存储在存储器中并且通过处理器来执行。存储器可以位于处理器的内部或外部，并且通过已有的各种装置向处理器发送数据/从处理器接收数据。
本领域技术人员应明白，在不脱离本公开的基本特征的情况下，可以以其它特定形式来具体实施本公开。因此，前述的详细描述不应在所有方面解释为限制性的，而是应示例性地加以考虑。本公开的范围应当通过所附权利要求的合理解释来加以确定，并且本公开的等同范围内的所有修改均被包括在本公开的范围中。
[工业应用]
在上文中，出于例示性目的而公开了本公开的优选实施方式，并且在所附权利要求中公开的本公开的技术精神和技术范围内，本领域技术人员将进行各种其它实施方式的修改、改变、替代或增加。

Claims (9)

1.一种基于帧间预测模式来对视频信号进行解码的设备，该设备包括：
存储器，所述存储器被配置为存储所述视频信号；以及
处理器，所述处理器与所述存储器联接，
其中，所述处理器被配置为：
基于合并模式被应用于当前块，通过使用所述当前块的空间邻近块和时间邻近块来生成合并候选列表；
获得指示所述合并候选列表中的要用于所述当前块的帧间预测的候选的合并索引；
基于用于所述当前块的所述帧间预测的所述候选的运动矢量来推导所述当前块中包括的各个子块的运动矢量；以及
基于所述各个子块的运动矢量来生成所述当前块的预测样本，并且
其中，对于生成所述合并候选列表，所述处理器被配置为：
识别所述当前块的宽度和高度是否小于预定义的最小尺寸；以及
基于所述当前块的宽度和高度大于或等于所述预定义的最小尺寸，向所述合并候选列表添加位于所述当前块的并置图片中并且由所述空间邻近块的运动矢量指定的块作为所述时间邻近块。
2.根据权利要求1所述的设备，
其中，对于生成所述合并候选列表，所述处理器被配置为：
向所述合并候选列表添加由第一空间邻近块的运动矢量指定的所述并置图片中的块作为所述时间邻近块，所述第一空间邻近块基于所述当前块中的两个或更多个空间邻近块的预定义的次序来确定。
3.根据权利要求1所述的设备，
其中，所述子块的宽度被设定为8并且所述子块的高度被设定为8。
4.根据权利要求1所述的设备，
其中，所述预定义的最小尺寸被设定为8。
5.一种基于帧间预测模式来对视频信号进行编码的设备，该设备包括：
存储器，所述存储器被配置为存储所述视频信号；以及
处理器，所述处理器与所述存储器联接，
其中，所述处理器被配置为：
基于合并模式被应用于当前块，通过使用所述当前块的空间邻近块和时间邻近块来生成合并候选列表；
生成指示所述合并候选列表中的要用于所述当前块的帧间预测的候选的合并索引；
基于用于所述当前块的所述帧间预测的所述候选的运动矢量来推导所述当前块中包括的各个子块的运动矢量；以及
基于所述各个子块的运动矢量来生成所述当前块的预测样本，并且
其中，对于生成所述合并候选列表，所述处理器被配置为：
识别所述当前块的宽度和高度是否小于预定义的最小尺寸；以及
基于所述当前块的宽度和高度大于或等于所述预定义的最小尺寸，向所述合并候选列表添加位于所述当前块的并置图片中并且由所述空间邻近块的运动矢量指定的块作为所述时间邻近块。
6.根据权利要求5所述的设备，
其中，生成所述合并候选列表，所述处理器被配置为：
向所述合并候选列表添加由第一空间邻近块的运动矢量指定的所述并置图片中的块作为所述时间邻近块，所述第一空间邻近块基于所述当前块中的两个或更多个空间邻近块的预定义的次序来确定。
7.根据权利要求5所述的设备，其中，所述子块的宽度被设定为8并且所述子块的高度被设定为8。
8.根据权利要求5所述的设备，其中，所述预定义的最小尺寸被设定为8。
9.一种发送用于图像的数据的设备，所述设备包括：
处理器，所述处理器获得用于所述图像的比特流；以及
发送器，所述发送器被配置为发送包括所述比特流的所述数据，
其中，所述处理器被配置为：
基于合并模式被应用于当前块，通过使用所述当前块的空间邻近块和时间邻近块来生成合并候选列表；
生成指示所述合并候选列表中的要用于所述当前块的帧间预测的候选的合并索引；
基于用于所述当前块的所述帧间预测的所述候选的运动矢量来推导所述当前块中包括的各个子块的运动矢量；以及
基于所述各个子块的运动矢量来生成所述当前块的预测样本，并且
其中，对于生成所述合并候选列表，所述处理器被配置为：
识别所述当前块的宽度和高度是否小于预定义的最小尺寸；以及
基于所述当前块的宽度和高度大于或等于所述预定义的最小尺寸，向所述合并候选列表添加位于所述当前块的并置图片中并且由所述空间邻近块的运动矢量指定的块作为所述时间邻近块。
CN202311013940.XA 2018-06-27 2019-06-27 对视频信号进行编解码的设备和发送图像的数据的设备 Pending CN116800961A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0074069 2018-06-27
KR20180074069 2018-06-27
CN201980024218.1A CN111971960B (zh) 2018-06-27 2019-06-27 用于基于帧间预测模式处理图像的方法及其装置
PCT/KR2019/007837 WO2020004990A1 (ko) 2018-06-27 2019-06-27 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980024218.1A Division CN111971960B (zh) 2018-06-27 2019-06-27 用于基于帧间预测模式处理图像的方法及其装置

Publications (1)

Publication Number Publication Date
CN116800961A true CN116800961A (zh) 2023-09-22

Family

ID=68987461

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980024218.1A Active CN111971960B (zh) 2018-06-27 2019-06-27 用于基于帧间预测模式处理图像的方法及其装置
CN202311015983.1A Pending CN116828174A (zh) 2018-06-27 2019-06-27 对视频信号进行编解码的方法和发送方法
CN202311016404.5A Pending CN116781896A (zh) 2018-06-27 2019-06-27 对视频信号进行编解码的方法和发送方法
CN202311013940.XA Pending CN116800961A (zh) 2018-06-27 2019-06-27 对视频信号进行编解码的设备和发送图像的数据的设备

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201980024218.1A Active CN111971960B (zh) 2018-06-27 2019-06-27 用于基于帧间预测模式处理图像的方法及其装置
CN202311015983.1A Pending CN116828174A (zh) 2018-06-27 2019-06-27 对视频信号进行编解码的方法和发送方法
CN202311016404.5A Pending CN116781896A (zh) 2018-06-27 2019-06-27 对视频信号进行编解码的方法和发送方法

Country Status (6)

Country Link
US (3) US11089309B2 (zh)
EP (1) EP3737091A4 (zh)
JP (3) JP7141463B2 (zh)
KR (3) KR102420839B1 (zh)
CN (4) CN111971960B (zh)
WO (1) WO2020004990A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111971960B (zh) * 2018-06-27 2023-08-29 Lg电子株式会社 用于基于帧间预测模式处理图像的方法及其装置
EP3833020A4 (en) * 2018-07-27 2022-04-27 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ENCODING THE IMAGE, AND METHOD AND DEVICE FOR DECODING THE IMAGE BASED ON SUB-BLOCKS
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
CN111357290B (zh) * 2019-01-03 2023-08-22 北京大学 视频图像处理方法与装置
CN115868165A (zh) 2020-03-21 2023-03-28 抖音视界有限公司 参考图片重采样
CN113453005B (zh) * 2020-03-26 2022-11-01 杭州海康威视数字技术股份有限公司 解码方法、编码方法、装置及设备
WO2021254379A1 (en) * 2020-06-20 2021-12-23 Beijing Bytedance Network Technology Co., Ltd. Inter layer prediction with different coding block size
WO2024043628A1 (ko) * 2022-08-23 2024-02-29 삼성전자 주식회사 영상 복호화 방법 및 장치, 영상 부호화 방법 및 장치
US20240146932A1 (en) * 2022-10-27 2024-05-02 Alibaba Damo (Hangzhou) Technology Co., Ltd. Methods and non-transitory computer readable storage medium for performing subblock-based interprediction
CN116708934B (zh) * 2023-05-16 2024-03-22 深圳东方凤鸣科技有限公司 一种视频编码处理方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609353B2 (en) * 2010-12-14 2017-03-28 M&K Holdings Inc. Apparatus for encoding a moving picture
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
CN107465922B (zh) * 2011-11-08 2020-10-09 株式会社Kt 利用解码装置对视频信号进行解码的方法
WO2013139250A1 (en) * 2012-03-22 2013-09-26 Mediatek Inc. Method and apparatus of scalable video coding
US10070147B2 (en) * 2013-10-18 2018-09-04 Lg Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
WO2015133866A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
WO2015152608A2 (ko) * 2014-03-31 2015-10-08 삼성전자 주식회사 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
EP3247114A4 (en) * 2015-01-21 2018-01-17 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN115914625A (zh) * 2016-08-01 2023-04-04 韩国电子通信研究院 图像编码/解码方法
KR20190029748A (ko) * 2016-09-22 2019-03-20 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
EP3525460A4 (en) * 2016-10-06 2020-06-17 LG Electronics Inc. -1- METHOD FOR PROCESSING A VIDEO BASED ON AN INTRAPREDICATION MODE AND DEVICE THEREFOR
WO2018066874A1 (ko) 2016-10-06 2018-04-12 세종대학교 산학협력단 비디오 신호의 복호화 방법 및 이의 장치
CN116866593A (zh) * 2016-11-28 2023-10-10 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US10757412B2 (en) * 2017-01-03 2020-08-25 Avago Technologies International Sales Pte. Limited Architecture flexible binary arithmetic coding system
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
CN110771169A (zh) * 2017-06-09 2020-02-07 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
KR102411661B1 (ko) * 2017-07-31 2022-06-21 삼성전자주식회사 영상 처리 방법 및 디바이스
US20200221077A1 (en) * 2017-09-05 2020-07-09 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
EP3457695A1 (en) * 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for motion vector predictor adaptation for omnidirectional video
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
CN111971960B (zh) * 2018-06-27 2023-08-29 Lg电子株式会社 用于基于帧间预测模式处理图像的方法及其装置
PT3700216T (pt) * 2018-09-10 2022-09-01 Lg Electronics Inc Codificação de imagem com base em previsão de movimento afim utilizando lista de candidatos mvp afins
US11206396B2 (en) * 2019-01-16 2021-12-21 Qualcomm Incorporated Local illumination compensation in video coding

Also Published As

Publication number Publication date
JP2021516502A (ja) 2021-07-01
CN116781896A (zh) 2023-09-19
EP3737091A1 (en) 2020-11-11
US11653004B2 (en) 2023-05-16
JP7395683B2 (ja) 2023-12-11
JP2024020576A (ja) 2024-02-14
US20210006798A1 (en) 2021-01-07
EP3737091A4 (en) 2021-03-03
US20230308660A1 (en) 2023-09-28
KR102576194B1 (ko) 2023-09-08
US20210344932A1 (en) 2021-11-04
CN116828174A (zh) 2023-09-29
KR102420839B1 (ko) 2022-07-15
KR20200078646A (ko) 2020-07-01
WO2020004990A1 (ko) 2020-01-02
KR20220104065A (ko) 2022-07-25
JP2022168139A (ja) 2022-11-04
CN111971960A (zh) 2020-11-20
CN111971960B (zh) 2023-08-29
JP7141463B2 (ja) 2022-09-22
KR20230131962A (ko) 2023-09-14
US11089309B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
EP3764643B1 (en) Image processing method based on inter prediction mode, and device therefor
CN112385213B (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
WO2019194502A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
CN112567749B (zh) 使用仿射运动预测来处理视频信号的方法和装置
WO2019194499A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194498A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN118138762A (zh) 编解码视频信号的方法、可读介质和比特流发送方法
CN115176465A (zh) 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法
CN118138763A (zh) 图像解码设备、编码设备和比特流发送设备
CN118138761A (zh) 图像解码设备、编码设备和发送设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination