CN117014604A - 编码方法和装置以及解码方法和装置 - Google Patents

编码方法和装置以及解码方法和装置 Download PDF

Info

Publication number
CN117014604A
CN117014604A CN202311171715.9A CN202311171715A CN117014604A CN 117014604 A CN117014604 A CN 117014604A CN 202311171715 A CN202311171715 A CN 202311171715A CN 117014604 A CN117014604 A CN 117014604A
Authority
CN
China
Prior art keywords
current block
affine
encoding
block
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311171715.9A
Other languages
English (en)
Inventor
安尼斯·塔姆塞
朴银姬
李振荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117014604A publication Critical patent/CN117014604A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种编码方法和装置以及解码方法和装置,所述视频解码方法包括以下步骤:根据当前块的相邻块是否被解码来获得所述当前块的仿射参数组候选;根据所述当前块的仿射参数信息从所述仿射参数组候选中确定所述当前块的仿射参数组;并且基于包括在所述仿射参数组中的一个或更多个仿射参数恢复所述当前块。

Description

编码方法和装置以及解码方法和装置
本申请是申请日为2018年9月28日,申请号为“201880063174.9”,标题为“编码方法和装置以及解码方法和装置”的发明专利申请的分案申请。
技术领域
本公开涉及一种视频编码方法和解码方法,更具体地,涉及一种用于图像编码/解码方法和设备的帧间预测方法。
背景技术
高质量视频在编码期间需要大量数据。然而,允许传输视频数据的带宽是有限的,并且因此在视频数据传输期间应用的数据速率可能受到限制。因此,为了有效传输视频数据,需要在提高压缩率的同时使图像质量劣化最小化的视频数据的编码和解码方法。
可通过去除像素之间的空间冗余和时间冗余来压缩视频数据。因为通常相邻像素具有共同特征,所以以像素的数据单元传输编码信息以去除相邻像素之间的冗余。
不直接传输包括在数据单元中的像素的像素值,而是传输获得像素值所需的方法。针对每个数据单元确定预测与原始值类似的像素值的预测方法并且将关于该预测方法的编码信息从编码器发送到解码器。此外,因为预测值与原始值不完全相同,所以将关于原始值与预测值之间的差的残差数据从编码器发送到解码器。
随着预测变得更准确,指定预测方法所需的编码信息增加,但残差数据的大小减小。因此,考虑编码信息和残差数据的大小来确定预测方法。具体地,从画面划分出的数据单元具有各种尺寸,并且当数据单元的尺寸增大时,预测的准确度极有可能降低,但编码信息减少。因此,根据画面的特征来确定块的尺寸。
此外,预测方法包括帧内预测和帧间预测。帧内预测是基于邻近像素预测块的像素的方法。帧间预测是通过参考包括块的画面所参考的另一画面的像素来预测像素的方法。因此,经由帧内预测来去除空间冗余并且经由帧间预测来去除时间冗余。
当预测方法的数量增加时,用于指示预测方法的编码信息的量也增加。因此,还可通过从一个块预测被应用于另一个块的编码信息来减小编码信息的大小。
因为允许在人类视觉无法识别的程度上的视频数据的丢失,所以可经由根据变换和量化处理的对残差数据的有损压缩来减少残差数据的量。
发明内容
技术问题
提供了一种根据当前块的编码顺序以及相邻块是否被解码来确定当前块的运动矢量分辨率的视频编码方法。此外,提供了一种根据当前块的编码顺序以及相邻块是否被解码等来确定当前块的运动矢量分辨率的视频解码方法。另外,提供了一种记录有用于在计算机上执行根据本公开的实施例的视频编码方法和视频解码方法的程序的计算机可读记录介质。
解决方案
提供了一种视频解码方法,所述视频解码方法包括:基于当前块的相邻块是否被解码来获得所述当前块的仿射参数组候选;根据所述当前块的仿射参数信息,从所述仿射参数组候选中确定所述当前块的仿射参数组;并且基于包括在所述仿射参数组中的一个或更多个仿射参数重建所述当前块。
提供了一种视频解码设备,所述视频解码设备包括:处理器,被配置为基于当前块的相邻块是否被解码来获得所述当前块的仿射参数组候选,根据所述当前块的仿射参数信息,从所述仿射参数组候选中确定所述当前块的仿射参数组,并且基于包括在所述仿射参数组中的一个或更多个仿射参数来重建所述当前块。
提供了一种视频编码方法,所述视频编码方法包括:基于当前块的相邻块是否被解码来确定所述当前块的仿射参数组候选;确定用于预测所述当前块的最佳仿射参数组;并且确定所述当前块的指示所述当前块的最佳仿射参数组的仿射参数信息。
提供了一种视频编码设备,所述视频编码设备包括:处理器,被配置为基于当前块的相邻块是否被解码来确定所述当前块的仿射参数组候选,确定用于预测所述当前块的最佳仿射参数组,并且确定所述当前块的指示所述当前块的最佳仿射参数组的仿射参数信息。
提供了一种记录有用于执行所述视频编码方法和所述视频解码方法的程序的非暂时性计算机可读记录介质。
由本公开解决的技术问题不限于上述技术特征,并且可从下面实施例推出其他技术问题。
有益效果
可通过考虑当前块的相邻块是否被解码确定仿射参数组来提高仿射模式的编码效率。
附图说明
图1是根据实施例的图像解码设备的示意性框图。
图2是根据实施例的图像解码方法的流程图。
图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。
图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一种信息对编码单元进行划分的处理。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。
图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的由图像解码设备执行的当不能按预定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
图10示出根据实施例的当在图像解码设备对第一编码单元进行划分时确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可划分为的形状受到限制。
图11示出根据实施例的由图像解码设备执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
图12示出根据实施例的可依据对编码单元进行划分的处理来改变多个编码单元之间的处理顺序。
图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出根据实施例的基于包括在画面中的多个预定数据单元确定多个编码单元。
图16示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的标准的处理块。
图17示出根据与对当前块进行划分并确定划分出的下层块的编码顺序相关的实施例的视频解码设备。
图18A至图18C示出根据实施例的基本编码顺序。
图19A和图19B分别示出沿正方向对编码单元进行编码的情况和沿反方向对编码单元进行编码的情况。
图20示出最大编码单元的用于描述最大编码单元和包括在最大编码单元中的编码单元的编码顺序的树结构。
图21A和图21B是用于描述如何根据编码顺序标志来改变沿垂直或水平方向排列的三个或更多个块的编码顺序。
图22是用于详细描述在仿射模式下推导应用于当前块的样点的运动矢量的方法。
图23是用于描述从当前块的若干个样点位置确定仿射参数组候选的实施例。
图24是用于描述从根据仿射模式解码的一个相邻块确定仿射参数组候选的实施例。
图25是用于描述在当前块的左侧块被解码并且右侧块未被解码时从根据仿射模式解码的多个相邻块确定仿射参数组候选的实施例。
图26是用于描述在当前块的右侧块被解码并且左侧块未被解码时从根据仿射模式解码的多个相邻块确定在仿射模式中使用的当前块的运动矢量的实施例。
图27是用于描述在当前块的右侧块和左侧块未被解码时从根据仿射模式解码的多个相邻块确定在仿射模式中使用的当前块的运动矢量的实施例。
图28是用于描述在仿射模式下确定当前块的运动矢量确定方法的方法。
图29示出根据与对当前块进行划分并对划分出的下层块进行解码相关的实施例的视频解码方法。
图30示出根据与对当前块进行划分并对划分出的下层块进行编码相关的实施例的视频编码设备。
图31示出根据与对当前块进行划分并对划分出的下层块进行编码相关的实施例的视频编码方法。
具体实施方式
最佳实施方式
提供了一种视频解码方法,所述视频解码方法包括:基于当前块的相邻块是否被解码来获得所述当前块的仿射参数组候选;根据所述当前块的仿射参数信息,从所述仿射参数组候选中确定所述当前块的仿射参数组;并且基于包括在所述仿射参数组中的一个或更多个仿射参数来重建所述当前块。
公开的实施方式
可通过参照实施例和附图来更容易地理解一个或更多个实施例的优点和特征以及实现所述一个或更多个实施例的方法。就此而言,本公开的实施例可具有不同的形式并且不应被解释为限于在此阐明的描述。相反地,提供这些实施例使得本公开将是彻底和完整的,并且将向本领域普通技术人员充分地传达本公开的本实施例的构思。
将简要地定义在说明书中使用的术语,并且将详细地描述实施例。
这里使用的包括描述性术语或技术术语的所有术语应被解释为具有对于本领域普通技术人员显而易见的含义。然而,根据本领域普通技术人员的意图、先例或新技术的出现,这些术语可具有不同的含义。此外,一些术语可由申请人任意选择,并且在这种情况下,将在本公开的具体描述中详细地描述所选择的术语的含义。因此,这里使用的术语必须基于术语的含义连同在整个说明书中的描述来定义。
在以下说明书中,除非上下文另有明确指示,否则单数形式包括复数形式。
当部件“包括”或“包含”元件时,除非存在与其相反的特定描述,否则该部件还可包括其他元件,而不排除其他元件。
在以下描述中,诸如“单元”的术语指示软件或硬件组件并且“单元”执行特定功能。然而,“单元”不限于软件或硬件。“单元”可形成在可寻址存储介质中,或者可形成为对一个或更多个处理器进行操作。因此,例如,术语“单元”可指诸如软件组件、面向对象的软件组件、类组件和任务组件的组件,并且可包括处理、功能、属性、程序、子例程、程序代码片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组或变量。由组件和“单元”提供的功能可与更少数量的组件和“单元”相关联,或者可被划分为另外的组件和“单元”。
根据本公开的实施例,“单元”可包括处理器和存储器。术语“处理器”应被广义地解释为包括通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下,“处理器”可指专用半导体(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合,诸如例如,DSP和微处理器的组合、多个微处理器的组合、一个或更多个微处理器结合DSP核的组合或者任何其他这样的配置的组合。
术语“存储器”应被广义地解释为包括能够存储电子信息的任何电子组件。术语“存储器”可指各种类型的处理器可读介质,诸如,随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光学数据存储装置、寄存器等。当处理器可从存储器读取信息并且/或者向存储器写入信息时,存储器被称为处于与处理器的电子通信状态。集成在处理器中的存储器处于与处理器的电子通信状态。
在下文中,“图像”可以是诸如视频的静止图像的静态图像,或者可以是诸如运动图像的动态图像(也就是说,视频本身)。
在下文中,“样点”表示分配给图像的采样位置的数据(即,将被处理的数据)。例如,空间域中的图像的像素值和变换域上的变换系数可以是样点。包括至少一个这样的样点的单元可以被定义为块。
在下文中,将参照附图详细描述实施例使得本领域普通技术人员可容易地实现实施例。在附图中,省略与描述无关的部分以清楚地描述本公开。
在下文中,将参照图1至图16描述根据实施例的图像编码设备和图像解码设备以及图像编码方法和图像解码方法。参照图3至图16描述根据实施例的确定图像的数据单元的方法。
在下文中,将参照图1和图2描述根据本公开的实施例的用于基于各种形状的编码单元自适应地选择上下文模型的方法和设备。
图1是根据实施例的图像解码设备100的示意性框图。
图像解码设备100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。此外,接收器110和解码器120可包括存储将由至少一个处理器执行的指令的存储器。
接收器110可接收比特流。比特流包括由稍后描述的图像编码设备编码的图像的信息。此外,可从图像编码设备发送比特流。图像编码设备和图像解码设备100可经由有线或无线地连接,并且接收器110可经由有线或无线地接收比特流。接收器110可从存储介质(诸如,光学介质或硬盘)接收比特流。解码器120可基于从接收的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。
将参照图2详细描述图像解码设备100的操作。
图2是根据实施例的图像解码方法的流程图。
根据本公开的实施例,接收器110接收比特流。
图像解码设备100从比特流获得与编码单元的划分形状模式相应的二进制位串(操作210)。图像解码设备100确定编码单元的划分规则(操作220)。此外,基于与划分形状模式相应的二进制位串和划分规则中的至少一个,图像解码设备100将编码单元划分为多个编码单元(操作230)。根据编码单元的宽度与高度的比例,图像解码设备100可确定编码单元的尺寸的可允许的第一范围,以便确定划分规则。根据编码单元的划分形状模式,图像解码设备100可确定编码单元的尺寸的可允许的第二范围,以便确定划分规则。
在下文中,将根据本公开的实施例详细描述对编码单元的划分。
首先,一个画面可被划分为一个或更多个条带。一个条带可以是一个或更多个最大编码单元(编码树单元(CTU))的序列。与最大编码单元(CTU)相比,在概念上存在最大编码块(编码树块(CTB))。
最大编码块(CTB)表示包括N×N个样点(N为整数)的N×N块。每个颜色分量可被划分为一个或更多个最大编码块。
当画面具有三个样点阵列(针对Y分量、Cr分量和Cb分量的样点阵列)时,最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个相应最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,最大编码单元包括单色样点的最大编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,最大编码单元包括用于对画面和画面的样点进行编码的语法结构。
一个最大编码块(CTB)可被划分为包括M×N个样点(M和N为整数)的M×N编码块。
当画面具有针对Y分量、Cr分量和Cb分量的样点阵列时,编码单元(CU)包括亮度样点的编码块、色度样点的两个相应的编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,编码单元包括单色样点的编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,编码单元包括用于对画面和画面的样点进行编码的语法结构。
如上所述,在概念上将最大编码块和最大编码单元彼此区分开,并且在概念上将编码块和编码单元彼此区分开。也就是说,(最大)编码单元表示包括包含相应样点的(最大)编码块和与(最大)编码块相应的语法结构的数据结构。然而,因为本领域的普通技术人员理解(最大)编码单元或(最大)编码块表示包括预定数量的样点的预定尺寸的块,所以除非另有描述,否则在以下说明书中提及最大编码块和最大编码单元或者编码块和编码单元无需进行区分。
图像可被划分为最大编码单元(CTU)。每个最大编码单元的尺寸可基于从比特流获得的信息被确定。每个最大编码单元的形状可以是同一尺寸的正方形形状。然而,实施例不限于此。
例如,可从比特流获得关于亮度编码块的最大尺寸的信息。例如,由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256之一。
例如,可从比特流获得关于亮度块尺寸差和可被划分为两个的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可表示亮度最大编码单元与可被划分为两个的最大亮度编码块之间的尺寸差。因此,当从比特流获得的关于可被划分为两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此组合时,可确定亮度最大编码单元的尺寸。可通过使用亮度最大编码单元的尺寸确定色度最大编码单元的尺寸。例如,当Y:Cb:Cr比率根据颜色格式为4:2:0时,色度块的尺寸可以是亮度块的一半尺寸,并且色度最大编码单元的尺寸可以是亮度最大编码单元的一半尺寸。
根据实施例,因为从比特流获得了关于可二划分的亮度编码块的最大尺寸的信息,所以可变化地确定可二划分的亮度编码块的最大尺寸。相反地,可三划分的亮度编码块的最大尺寸可被固定。例如,I条带中的可三划分的亮度编码块的最大尺寸可以是32×32,并且P条带或B条带中的可三划分的亮度编码块的最大尺寸可以是64×64。
此外,可基于从比特流获得的划分形状模式信息将最大编码单元分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个信息作为划分形状模式信息。
例如,指示是否执行四划分的信息可指示当前编码单元是否被四划分(QUAD_SPLIT)。
在当前编码单元不被四划分时,指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二/三划分。
在当前编码单元被二划分或者三划分时,划分方向信息指示当前编码单元沿水平方向和垂直方向中的一个方向被划分。
在当前编码单元沿水平方向或垂直方向被划分时,划分类型信息指示当前编码单元被二划分或三划分。
可根据划分方向信息和划分类型信息确定当前编码单元的划分模式。可将在当前编码单元沿水平方向被二划分时的划分模式确定为二水平划分模式(SPLIT_BT_HOR),可将在当前编码单元沿水平方向被三划分时的划分模式确定为三水平划分模式(SPLIT_TT_HOR),可将在当前编码单元沿垂直方向被二划分时的划分模式确定为二垂直划分模式(SPLIT_BT_VER),并且可将在当前编码单元沿垂直方向被三划分时的划分模式确定为三垂直划分模式(SPLIT_TT_VER)。
图像解码设备100可从比特流获得来自一个二进制位串的划分形状模式信息。由图像解码设备100接收的比特流的形式可包括固定长度的二进制码、一元码、截断一元码、预定二进制码等。二进制位串是二进制数的信息。二进制位串可包括至少一个比特。图像解码设备100可基于划分规则获得与二进制位串相应的划分形状模式信息。图像解码设备100可基于一个二进制位串确定是否对编码单元进行四划分、是否不对编码单元进行划分、划分方向以及划分类型。
编码单元可小于最大编码单元或者与最大编码单元相同。例如,因为最大编码单元是具有最大尺寸的编码单元,所以最大编码单元是编码单元中的一个。当关于最大编码单元的划分形状模式信息指示不执行划分时,在最大编码单元中确定的编码单元具有与最大编码单元的尺寸相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时,最大编码单元可被划分为编码单元。此外,当关于编码单元的划分形状模式信息指示执行划分时,编码单元可被划分为更小的编码单元。然而,图像的划分不限于此,并且可不将最大编码单元与编码单元区分开。将参照图3至图16详细描述对编码单元的划分。
此外,用于预测的一个或更多个预测块可从编码单元被确定。预测块可与编码单元相同或小于编码单元。此外,用于变换的一个或更多个变换块可从编码单元被确定。变换块可与编码单元相同或小于编码单元。
变换块和预测块的形状和尺寸可彼此不相关。
在另一实施例中,可通过将编码单元用作预测单元来执行预测。此外,可通过将编码单元用作变换块来执行变换。
本公开的当前块和外围块可指示最大编码单元、编码单元、预测块和变换块中的一个。此外,当前编码单元的当前块是当前被解码或被编码的块或者当前正被划分的块。外围块可以是在当前块之前重建的块。外围块可在空间上或时间上与当前块相邻。外围块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧和右下方之一。
图3示出根据实施例的由图像解码设备100执行的通过对当前编码单元进行划分确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里,N可以是正整数。块形状信息是指示编码单元的形状、方向、宽度与高度的比例或尺寸中的至少一个的信息。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度和高度长度相同时(即,当编码单元的块形状为4N×4N时),图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同时(即,当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时),图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时,图像解码设备100可将编码单元的块形状信息中的宽度与高度的比例确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度或面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说,可基于由图像解码设备100使用的块形状信息所指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而,实施例不限于此,并且图像解码设备100和图像编码设备可基于块形状信息来确定预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如,图像解码设备100可将针对最大编码单元的划分形状模式信息确定为四划分。此外,图像解码设备100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地,图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可将预先约定的划分形状模式信息确定为四划分。四划分是将编码单元的宽度和高度均二等分的划分形状模式。图像解码设备100可基于划分形状模式信息从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得针对最小编码单元的指示“不执行划分”的划分形状模式信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息确定是否对正方形编码单元进行划分,是否对正方形编码单元进行垂直划分,是否对正方形编码单元进行水平划分,或者是否将正方形编码单元划分为四个编码单元。参照图3,在当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息确定不对与当前编码单元300具有相同尺寸的编码单元310a进行划分,或者可确定基于指示预定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。
参照图3,根据实施例,图像解码设备100可基于指示沿垂直方向执行划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的两个编码单元310b。图像解码设备100可基于指示沿水平方向执行划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的两个编码单元310c。图像解码设备100可基于指示沿垂直方向和水平方向执行划分的划分形状模式信息,确定通过沿垂直方向和水平方向对当前编码单元300进行划分而获得的四个编码单元310d。根据实施例,图像解码设备100可基于指示沿垂直方向执行三划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的三个编码单元310e。图像解码设备100可基于指示沿水平方向执行三划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的三个编码单元310f。然而,正方形编码单元的划分方法不限于上述方法,并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细描述对正方形编码单元进行划分的预定划分方法。
图4示出根据实施例的由图像解码设备100执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。基于划分形状模式信息,图像解码设备100可确定是不对非正方形的当前编码单元进行划分还是通过使用预定划分方法对非正方形的当前编码单元进行划分。参照图4,在当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息确定与当前编码单元400或450具有相同尺寸的编码单元410或编码单元460不被划分,或者确定基于指示预定划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b、或者480a至480c。下面将关于各种实施例详细描述对非正方形编码单元进行划分的预定划分方法。
根据实施例,图像解码设备100可通过使用划分形状模式信息确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过对编码单元进行划分产生的一个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码设备100基于划分形状模式信息对非正方形的当前编码单元400或450进行划分时,图像解码设备100可考虑非正方形的当前编码单元400或450的长边的位置以对当前编码单元进行划分。例如,图像解码设备100可通过考虑当前编码单元400或450的形状来对当前编码单元400或450的长边进行划分来确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽度与高度的比例可以是4:1或1:4。当宽度与高度的比例为4:1时,因为宽度长度长于高度长度,所以块形状信息可以是水平方向。当宽度与高度的比例为1:4时,因为宽度长度短于高度长度,所以块形状信息可以是垂直方向。图像解码设备100可基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,在当前编码单元400沿垂直方向时,图像解码设备100可通过沿水平方向对当前编码单元400进行划分来确定编码单元430a至编码单元430c。此外,在当前编码单元450沿水平方向时,图像解码设备100可通过沿垂直方向对当前编码单元450进行划分来确定编码单元480a至编码单元480c。
根据实施例,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且并非所有确定的编码单元都可具有相同的尺寸。例如,确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的预定的编码单元430b或编码单元480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过对当前编码单元400或450进行划分而确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部编码单元可具有不同的尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且另外,可对通过对当前编码单元400或450进行划分而产生的奇数个编码单元中的至少一个编码单元施加预定限制。参照图4,图像解码设备100可将关于编码单元430b或编码单元480b的解码处理设置为与其他编码单元430a和430c或者480a和480c的解码处理不同,其中,编码单元430b或编码单元480b位于在对当前编码单元400或450进行划分时产生的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置处。例如,不同于其他编码单元430a和430c或者480a和480c,图像解码设备100可限制中心位置处的编码单元430b或编码单元480b不再被划分或仅被划分预定次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和划分形状模式信息中的至少一个信息对编码单元进行划分的处理。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个信息确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当划分形状模式信息指示沿水平方向对第一编码单元500进行划分时,图像解码设备100可通过沿水平方向对第一编码单元500进行划分来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解对编码单元进行划分之前和对编码单元进行划分之后的关系的术语。例如,可通过对第一编码单元进行划分来确定第二编码单元,并且可通过对第二编码单元进行划分来确定第三编码单元。将理解的是,第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例,图像解码设备100可基于划分形状模式信息,确定将确定的第二编码单元510划分为编码单元或不对确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于划分形状模式信息将通过对第一编码单元500进行划分而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或者520b、520c和520d,或者可不对非正方形的第二编码单元510进行划分。图像解码设备100可获得划分形状模式信息,并且可通过基于获得的划分形状模式信息对第一编码单元500进行划分来获得多个各种形状的第二编码单元(例如,510),并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来对第二编码单元510进行划分。根据实施例,当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a或者520b、520c和520d。也就是说,可基于每个编码单元的划分形状模式信息递归地对编码单元进行划分。因此,可通过对非正方形编码单元进行划分来确定正方形编码单元,并且可通过对正方形编码单元进行递归划分来确定非正方形编码单元。
参照图5,通过对非正方形的第二编码单元510进行划分而确定的奇数个第三编码单元520b、520c和520d中的预定编码单元(例如,位于中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例,可沿水平方向将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520c划分为多个第四编码单元。可将多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d再次划分为多个编码单元。例如,可将非正方形的第四编码单元530b或530d再次划分为奇数个编码单元。下面将关于各种实施例描述可被用于对编码单元进行递归划分的方法。
根据实施例,图像解码设备100可基于划分形状模式信息将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预定的第三编码单元施加预定的限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
参照图5,图像解码设备100可将包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分,限制为通过使用预定的划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分),或者限制为仅被划分预定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括用于与其他第三编码单元520b和520d不同地对在中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预定位置获得用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定编码单元的方法。
参照图6,可从包括在当前编码单元600或650中的多个样点中的预定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而,当前编码单元600中的可获得至少一条划分形状模式信息的预定位置不限于图6中的中心位置,并且可包括在当前编码单元600中包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从预定位置获得划分形状模式信息并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
根据实施例,在当前编码单元被划分为预定数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。如下将关于各种实施例描述的各种方法可被用于选择多个编码单元中的一个编码单元。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定预定位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过对当前编码单元600或当前编码单元650进行划分来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的预定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地讲,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示在当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息相应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于与坐标之间的差值相应的编码单元的宽度或高度的信息,来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当将左上样点630a、630b和630c的坐标按照升序或降序排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过对当前编码单元600进行划分而确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示在画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)以及指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
根据实施例,图像解码设备100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb,yb)和作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc,yc)来确定编码单元620a、620b和620c中的每个的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各个尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例相应,并且因此,可使用通过将基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)和作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个编码单元的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各个尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于确定的编码单元660a至编码单元660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预定位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例相应,并且因此,可使用通过将基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法。
然而,确定编码单元的位置所考虑的样点的位置不限于上述左上位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过对当前编码单元进行划分而确定的奇数个编码单元中选择预定位置处的编码单元。例如,在当前编码单元具有宽度长于高度的非正方形形状时,图像解码设备100可确定在水平方向上的预定位置处的编码单元。也就是说,图像解码设备100可确定在水平方向上的不同位置处的编码单元中的一个编码单元并且对该编码单元施加限制。在当前编码单元具有高度长于宽度的非正方形形状时,图像解码设备100可确定在垂直方向上的预定位置处的编码单元。也就是说,图像解码设备100可确定在垂直方向上的不同位置处的编码单元中的一个编码单元并且对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可通过对当前编码单元进行划分(二划分)来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的预定位置(例如,中心位置)处的编码单元的操作相应,并且因此这里不提供其详细描述。
根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于预定位置处的编码单元的预定信息来确定多个编码单元中的预定位置处的编码单元。例如,图像解码设备100可在划分操作中使用存储在中间编码单元中包括的样点中的块形状信息和划分形状模式信息中的至少一个信息来确定通过对当前编码单元进行划分而确定的多个编码单元中的中心位置处的编码单元。
参照图6,图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息,并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于划分形状模式信息,并且可将各种类型的信息用于确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的预定样点获得用于识别预定位置处的编码单元的预定信息。参照图6,图像解码设备100可使用从当前编码单元600中的预定位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定预定位置处的样点,从通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中确定包括可获得预定信息(例如,划分形状模式信息)的样点的编码单元620b,并且可对编码单元620b施加预定限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得预定信息的样点,并且可对包括样点640的编码单元620b施加预定限制。然而,可获得预定信息的样点的位置不限于上述位置,并且可包括在将被确定用于限制的编码单元620b中包括的样点的任意位置。
根据实施例,可基于当前编码单元600的形状确定可获得预定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可获得预定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个信息,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预定信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预定信息的样点。
根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用划分形状模式信息来确定多个编码单元中的预定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预定位置处的样点获得划分形状模式信息,并且可通过使用从所述多个编码单元中的每个编码单元中的预定位置的样点获得的划分形状模式信息对通过对当前编码单元进行划分而产生的多个编码单元进行划分。也就是说,可基于从每个编码单元中的预定位置处的样点获得的划分形状模式信息对编码单元进行递归划分。上面已经关于图5描述了对编码单元进行递归划分的操作,并且因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过对当前编码单元进行划分来确定一个或更多个编码单元,并且可基于预定块(例如,当前编码单元)确定对一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,基于划分形状模式信息,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,通过沿水平方向对第一编码单元700进行划分来确定第二编码单元730a和730b,或者通过沿垂直方向和水平方向对第一编码单元700进行划分来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过沿垂直方向对第一编码单元700进行划分而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过沿水平方向对第一编码单元700进行划分而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定根据预定顺序(例如,光栅扫描顺序或Z字形扫描顺750e)对通过沿垂直方向和水平方向对第一编码单元700进行划分而确定的第二编码单元750a至750d进行处理,其中,预定顺序是对一行中的编码单元进行处理并然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可对编码单元进行递归划分。参照图7,图像解码设备100可通过对第一编码单元700进行划分来确定多个编码单元710a和710b、730a和730b或者750a至750d,并且对确定的多个编码单元710a和710b、730a和730b或者750a至750d中的每一个进行递归划分。多个编码单元710a和710b、730a和730b或者750a至750d的划分方法可对应于第一编码单元700的划分方法。像这样,多个编码单元710a和710b、730a和730b或者750a至750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,并且可确定对第二编码单元710a和710b中的每一个进行独立划分或者不对第二编码单元710a和710b中的每一个进行划分。
根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于对编码单元进行划分的操作确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过对左侧第二编码单元710a进行划分而确定的第三编码单元720a和720b的处理顺序。因为通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可将各种方法用于按照预定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码设备100执行的当不可按照预定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的划分形状模式信息确定当前编码单元是否被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元810a进行划分来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定是否可按照预定顺序对第三编码单元820a和820b以及820c至820e进行处理,来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过对第一编码单元800进行递归划分来确定第三编码单元820a和820b以及820c至820e。图像解码设备100可基于块形状信息和划分形状模式中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、以及第三编码单元820a和820b及820c至820e。例如,第二编码单元810a和810b中的位于右侧的第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。包括在第一编码单元800中的多个编码单元的处理顺序可以是预定顺序(例如,Z字形扫描顺序830),并且图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于按照预定顺序进行处理的条件。
根据实施例,图像解码设备100可确定包括在第一编码单元800中的第三编码单元820a和820b以及820c至820e是否满足用于按照预定顺序进行处理的条件,并且所述条件与第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c至820e的边界被对半划分相关。例如,当非正方形形状的左侧第二编码单元810a的高度被对半划分时确定的第三编码单元820a和820b可满足所述条件。因为当将右侧第二编码单元810b划分为三个编码单元时确定的第三编码单元820c至820e的边界不能将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c至820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制,上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过对第一编码单元900进行划分来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于通过接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地讲,当划分形状模式信息指示通过沿水平方向或垂直方向对第一编码单元900进行划分来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c或者通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照预定顺序进行处理的条件,并且所述条件与第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9,因为通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。此外,因为通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备100可决定扫描顺序不连续,并且可基于决定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过对第一编码单元进行划分来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当在图像解码设备100对第一编码单元1000进行划分时确定的具有非正方形形状的第二编码单元满足预定条件时可将第二编码单元划分为的形状受到限制。
根据实施例,图像解码设备100可基于由接收器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可被独立地划分。像这样,基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的划分形状模式信息,图像解码设备100可确定将第二编码单元1010a和1010b或者1020a和1020b中的每一个划分为多个编码单元或不对第二编码单元1010a和1010b或者1020a和1020b中的每一个进行划分。根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1000进行划分而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a沿水平方向被划分时,图像解码设备100可限制右侧第二编码单元1010b不沿左侧第二编码单元1010a被划分的水平方向被划分。当通过沿同一方向对右侧第二编码单元1010b进行划分来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b沿水平方向被独立地划分,所以可确定第三编码单元1012a和1012b或者1014a和1014b。然而,这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1000进行划分而确定的非正方形的第二编码单元1020a或1020b进行划分,来确定第三编码单元1022a和1022b或者1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)沿垂直方向被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)不沿上方第二编码单元1020a被划分的垂直方向被划分。
图11示出根据实施例的由图像解码设备100执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
根据实施例,图像解码设备100可通过基于划分形状模式信息对第一编码单元1100进行划分来确定第二编码单元1110a和1110b或者1120a和1120b等。划分形状模式信息可包括关于对编码单元进行划分的各种方法的信息,但关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110a和1110b或者1120a和1120b等。
根据实施例,图像解码设备100可对非正方形的第二编码单元1110a和1110b或者1120a和1120b等进行独立划分。第二编码单元1110a和1110b或者1120a和1120b等中的每一个可按照预定顺序被递归地划分,并且此划分方法可与基于划分形状模式信息对第一编码单元1100进行划分的方法相应。
例如,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a进行划分来确定正方形的第三编码单元1112a和1112b,并且可通过沿水平方向对右侧第二编码单元1110b进行划分来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a和右侧第二编码单元1110b两者进行划分来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a进行划分来确定正方形的第三编码单元1122a和1122b,并且可通过沿垂直方向对下方第二编码单元1120b进行划分来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a和下方第二编码单元1120b两者进行划分来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出根据实施例的可根据对编码单元进行划分的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于划分形状模式信息对第一编码单元1200进行划分。当块形状指示正方形形状并且划分形状模式信息指示沿水平方向和垂直方向中的至少一个方向对第一编码单元1200进行划分时,图像解码设备100可通过对第一编码单元1200进行划分来确定第二编码单元1210a和1210b或者1220a和1220b。参照图12,通过仅沿水平方向或垂直方向对第一编码单元1200进行划分而确定的非正方形的第二编码单元1210a和1210b或者1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了对第二编码单元1210a和1210b或者1220a和1220b进行划分的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可按照预定顺序对编码单元进行处理。上面已经关于图7描述了按照预定顺序对编码单元进行处理的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过对正方形的第一编码单元1200进行划分来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217对第三编码单元1216a、1216b、1216c和1216d进行处理:首先在垂直方向上对包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c进行处理,并且然后在垂直方向上对包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d进行处理。
根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227对第三编码单元1226a、1226b、1226c和1226d进行处理:首先在水平方向上对包括在上方第二编码单元1220a中的第三编码单元1226a和1226b进行处理,并且然后在水平方向上对包括在下方第二编码单元1220b中的第三编码单元1226c和1226d进行处理。
参照图12,可通过分别对第二编码单元1210a和1210b以及1220a和1220b进行划分来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过沿垂直方向对第一编码单元1200进行划分而确定的第二编码单元1210a和1210b与通过沿水平方向对第一编码单元1200进行划分而确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出与从第一编码单元1200划分出的相同形状的编码单元。像这样,通过基于划分形状模式信息以不同的方式对编码单元进行递归划分,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当对编码单元进行递归划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预定标准来确定编码单元的深度。例如,预定标准可以是编码单元的长边的长度。当编码单元在被划分之前的长边的长度是划分出的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比被划分之前的编码单元的深度增大了n。在下面的描述中,具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)对正方形的第一编码单元1300进行划分来确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分至1/2所确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分至1/2所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:NS_VER”,或者可被表示为指示宽度长于高度的非正方形形状的“2:NS_HOR”)对非正方形的第一编码单元1310或1320进行划分来确定更深深度的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码设备100可通过对尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿水平方向对第一编码单元1310进行划分来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过沿水平方向和垂直方向对第一编码单元1310进行划分来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过对尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿垂直方向对第一编码单元1320进行划分来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过沿水平方向和垂直方向对第一编码单元1320进行划分来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过对尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向和水平方向对第二编码单元1302进行划分来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过对尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿水平方向对第二编码单元1312进行划分来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过沿垂直方向和水平方向对第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过对尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向对第二编码单元1322进行划分来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过沿垂直方向和水平方向对第二编码单元1322进行划分来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可沿水平方向或垂直方向对正方形编码单元1300、1302或1304进行划分。例如,图像解码设备100可通过沿垂直方向对尺寸为2N×2N的第一编码单元1300进行划分来确定尺寸为N×2N的第一编码单元1310,或者可通过沿水平方向对第一编码单元1300进行划分来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过沿水平方向或垂直方向对尺寸为2N×2N的第一编码单元1300进行划分而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码设备100可通过对正方形的第一编码单元1400进行划分来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息沿垂直方向和水平方向中的至少一个方向对第一编码单元1400进行划分来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度被确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度(例如,D)。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深了1的D+1。
根据实施例,图像解码设备100可通过基于划分形状模式信息沿水平方向对高度长于宽度的第一编码单元1410进行划分来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息沿垂直方向对宽度长于高度的第一编码单元1420进行划分来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息所确定的第二编码单元1412a和1412b以及第二编码单元1414a、1414b和1414c,或者第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度被确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深了1的D+1。
此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深了1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法来确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当划分出的奇数个编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14,划分出的奇数个编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其他编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序为1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的PID中是否存在不连续来确定划分出的奇数个编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于识别通过对当前编码单元进行划分而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过对具有高度长于宽度的矩形形状的第一编码单元1410进行划分来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的预定位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可将划分出的奇数个编码单元的PID进行比较,以确定划分出的奇数个编码单元中的中心位置处的编码单元。图像解码设备100可将具有与编码单元的PID中的中间值相应的PID的编码单元1414b确定为通过对第一编码单元1410进行划分所确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过对第一编码单元1410进行划分而产生的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且编码单元1414b的高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备100可确定编码单元被划分为包括尺寸与其他编码单元的尺寸不同的编码单元的多个编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来对当前编码单元进行划分。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预定位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预定数据单元,其中,在所述预定数据单元中,编码单元开始被递归地划分。
图15示出根据实施例的基于包括在画面中的多个预定数据单元来确定多个编码单元。
根据实施例,预定数据单元可被定义为通过使用划分形状模式信息开始对编码单元进行递归划分的数据单元。也就是说,预定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元相应。在下面的描述中,为了便于解释,预定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预定尺寸和预定尺寸形状。根据实施例,参考数据单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用每个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。对参考数据单元进行划分的操作可与使用四叉树结构的划分操作相应。
根据实施例,图像解码设备100可预先确定包括在当前画面中的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的对当前编码单元300进行划分的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的对当前编码单元400或450进行划分的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此,这里将不提供其详细描述。
根据实施例,图像解码设备100可根据先前基于预定条件确定的一些数据单元,使用用于识别参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,接收器110可从比特流仅获得用于识别针对每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中的满足预定条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并被使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID相应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过基于PID选择参考编码单元的尺寸和形状中的被预先确定的至少一个,来确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用包括在最大编码单元中的一个或更多个参考编码单元。也就是说,从画面划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过对每个参考编码单元进行递归划分来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来对参考编码单元进行划分。
图16示出根据实施例的用作用于确定包括在画面1600中的参考编码单元的确定顺序的标准的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是从画面划分出的包括一个或更多个参考编码单元的数据单元,并且在处理块中包括的一个或更多个参考编码单元可根据特定顺序被确定。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一种顺序相应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描顺序、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个,但不限于以上提及的扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息并且可确定包括在画面中的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息并且可确定包括在画面中的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预定尺寸。
根据实施例,图像解码设备100的接收器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。也就是说,接收器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,并且图像解码设备100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定包括在画面1600中的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并且可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸确定包括在画面1600中的处理块1602和1612,并且可确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元的操作可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得包括在一个或更多个处理块中的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,接收器110可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码设备100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,接收器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息,并且图像解码设备100可确定包括处理块1602和1612中的一个或更多个参考编码单元的确定顺序,并基于所述确定顺序确定包括在画面1600中的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得了参考编码单元的确定顺序信息时,可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序确定包括在处理块1602中的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时,可根据反向光栅扫描顺序确定包括在处理块1612中的参考编码单元。
根据实施例,图像解码设备100可对确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的划分形状模式信息。此外,图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息相应的语法元素,并且可使用获得的语法元素。
在下文中,将详细描述根据本公开的实施例的确定划分规则的方法。
图像解码设备100可确定图像的划分规则。可在图像解码设备100与图像编码设备之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头或条带片段头中的至少一个获得的信息确定划分规则。图像解码设备100可根据帧、条带、时间层、最大编码单元或编码单元来不同地确定划分规则。
图像解码设备100可基于编码单元的块形状信息确定划分规则。块形状可包括编码单元的尺寸、形状、宽度与高度的比例以及方向。图像编码设备和图像解码设备100可预先确定基于编码单元的块形状信息来确定划分规则。然而,实施例不限于此。图像解码设备100可基于从图像编码设备接收的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度与高度长度相同时,图像解码设备100可将编码单元的形状确定为正方形。此外,当编码单元的宽度长度与高度长度不相同时,图像解码设备100可将编码单元的形状确定为非正方形。
编码单元的尺寸可包括诸如4×4、8×4、4×8、8×8、16×4、16×8至256×256的各种尺寸。可基于编码单元的长边长度、短边长度或者面积来对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于被分类为同一组的编码单元。例如,图像解码设备100可将长边为相同长度的编码单元分类为相同尺寸的编码单元。此外,图像解码设备100可将相同的划分规则应用于长边为相同长度的编码单元。
编码单元的宽度与高度的比例可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外,编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度长度长于编码单元的高度长度的情况。垂直方向可指示编码单元的宽度长度短于编码单元的高度长度的情况。
图像解码设备100可基于编码单元的尺寸来适应性地确定划分规则。图像解码设备100可基于编码单元的尺寸来不同地确定可允许的划分形状模式。例如,图像解码设备100可基于编码单元的尺寸来确定是否允许进行划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸确定的划分规则可以是在图像编码设备与图像解码设备100之间预先确定的划分规则。此外,图像解码设备100可基于从比特流获得的信息确定划分规则。
图像解码设备100可基于编码单元的位置来适应性地确定划分规则。图像解码设备100可基于编码单元在图像中的位置来适应性地确定划分规则。
此外,图像解码设备100可确定划分规则使得经由不同的划分路径而产生的编码单元不具有相同的块形状。然而,实施例不限于此,并且经由不同的划分路径而产生的编码单元具有不同的解码处理顺序。因为以上已经参照图12描述了解码处理顺序,因此将不再提供其细节。
将参照图17至图28描述确定当前块的编码顺序并根据编码顺序应用自适应运动矢量分辨率(AMVR)模式的方法。
图17示出根据与对当前块进行划分并对划分出的下层块进行编码相关的实施例的视频解码设备1700。
视频解码设备1700包括处理器1710和存储器1720。在图17中,处理器1710和存储器1720由位于一个设备中的组件单元表示,但处理器1710和存储器1720不必在物理上彼此相邻。因此,根据实施例,处理器1710和存储器1720可以是分布式的。在图17中,处理器1710被表示为单个组件,但根据实施例,多个处理器可被包括在视频解码设备1700中。
由图17的处理器1710执行的功能可由图1的解码器120执行。
处理器1710可获得指示是否对当前块进行划分的划分信息。划分信息指示是否将当前块划分为两个或更多个较小块。此外,当划分信息指示对当前块进行划分时,处理器1710将当前块划分为两个或更多个下层块。
可基于当前块的形状将当前块划分为各种形状。例如,在当前块是正方形时,可根据当前块的划分信息将当前块划分为四个正方形下层块。
在当前块的形状允许两种或更多种划分方法时,处理器1710可根据划分形状信息选择划分方法。因此,当划分信息指示对当前块进行划分时,处理器1710可获得指示当前块的划分方法的划分形状信息。此外,处理器1710可根据由划分形状信息指示的划分方法来对当前块进行划分。
例如,在当前块是2N×2N尺寸的正方形时,划分形状信息可指示N×N划分、N×2N划分、2N×N划分、垂直不等三划分和水平不等三划分中的应用于当前块的划分方法。N×N划分是将当前块划分为四个N×N尺寸的块的方法。N×2N划分是将当前块划分为N×2N尺寸的块的方法。2N×N划分是将当前块划分为2N×N尺寸的块的方法。垂直不等三划分表示将2N×2N尺寸的块划分为宽度相同并且高度比例为1:2:1的三个块的方法。水平不等三划分表示将2N×2N尺寸的块划分为高度相同并且宽度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种方法来对当前块进行划分。
在当前块是垂直方向上长的N×2N矩形时,划分形状信息可指示N×N划分和垂直不等三划分中的应用于当前块的划分方法。N×N划分是将当前块划分为两个N×N尺寸的块的方法。垂直不等三划分表示将N×2N尺寸的块划分为宽度相同并且高度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种方法来对当前块进行划分。
在当前块是水平方向上长的2N×N矩形时,划分形状信息可指示N×N划分和水平不等三划分中的应用于当前块的划分方法。N×N划分是将当前块划分为两个N×N尺寸的块的方法。水平不等三划分表示将2N×N尺寸的块划分为高度相同并且宽度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种方法来对当前块进行划分。
除了以上划分方法之外,还可使用按照非对称比例对当前块进行划分的方法、划分为三角形的方法以及划分为其他几何形状的方法来对正方形或矩形尺寸的当前块进行划分。
当划分信息不指示对当前块进行划分时,处理器1710不对当前块进行划分。此外,处理器1710对当前块进行解码。
在当前块是编码单元时,处理器1710将当前块确定为最终编码单元。最终编码单元不再被划分为更大深度的编码单元。根据实施例,处理器1710可将作为最终编码单元的当前块划分为除编码单元之外的数据单元。
根据实施例,处理器1710可根据分层树结构将当前块划分为一个或更多个预测单元。类似地,处理器1710可根据分层树结构将当前块划分为一个或更多个变换单元。然后,处理器1710可根据关于预测单元的预测结果和关于变换单元的变换结果来重建当前块。
在当前块是预测单元时,处理器1710可对当前块执行预测。在当前块是变换单元时,处理器1710可通过对当前块的量化变换系数进行反量化和逆变换来获得残差数据。
处理器1710获得指示下层块的编码顺序的编码顺序信息。此外,处理器1710可根据获得的编码顺序信息来确定下层块的解码顺序。
编码顺序信息指示包括在当前块中的两个或更多个下层块的编码顺序。编码顺序信息的数据量是根据下层块的数量和编码顺序确定方法来确定的。
例如,当存在两个下层块时,编码顺序信息可被确定为指示两个下层块中的首先被编码的下层块。因此,编码顺序信息的形式可以是具有1比特数据量的标志。
然而,当存在四个下层块时,下层块的编码顺序的情况数量为4!=24。因此,为了指示24种编码顺序,需要5比特的数据量。换句话说,当下层块的数量增加时,编码顺序的情况数量增加。因此,为了减少编码顺序信息的数据量,可使用这样的编码顺序确定方法:在所述编码顺序确定方法中,通过确定是否按照预定的基本编码顺序交换一些下层块对的编码顺序来确定编码顺序。指示是否交换下层块对的编码顺序的编码顺序信息指示基本编码顺序是正向还是反向。
根据基本编码顺序对包括当前块的当前画面进行编码和解码。在同一级别中根据基本编码顺序对在当前画面中编码和解码的所有块和像素进行编码和解码。因此,也根据基本编码顺序对从当前块划分出的同一级别的下层块进行编码和解码。在下面描述的图18A至图18C中示出了基本编码顺序的实施例。
因此,当根据基本编码顺序对下层块对进行编码时,可以说沿正向对下层块对进行编码。另一方面,当按照与基本编码顺序相反的顺序对下层块对进行编码时,可以说沿反向对下层块对进行编码。
例如,当两个下层块在水平方向上彼此相邻并且沿正向被编码时,编码顺序信息可被确定使得首先对左侧下层块进行解码。另一方面,当在水平方向上相邻的两个下层块沿反向被编码时,编码顺序信息可被确定使得首先对右侧下层块进行解码。
类似地,当两个下层块在垂直方向上彼此相邻并且沿正向被编码时,编码顺序信息可被确定使得首先对上方下层块进行解码。另一方面,当在垂直方向上相邻的两个下层块沿反向被编码时,编码顺序信息可被确定使得首先对下方下层块进行解码。
当编码顺序信息仅指示下层块对的编码顺序时,编码顺序信息具有1比特的数据量。具有1比特的数据量的编码顺序信息可被定义为编码顺序标志。
处理器1710可从比特流获得编码顺序信息。编码顺序信息可在比特流中位于划分信息之后。
处理器1710可根据当前块的周围环境隐式地确定编码顺序信息。可基于是否对与当前块相邻的邻近块进行编码来确定编码顺序信息。例如,处理器1710可将下层块中的具有许多相邻的邻近块的下层块确定为首先被解码。
关于处理器1710,图18A至图18C示出了根据实施例的基本解码顺序。图18A至图18C的基本编码顺序是Z字形编码顺序。根据Z字形编码顺序,沿从左到右的方向对数据单元进行编码,并且当对当前行的所有数据单元进行了编码时,沿从左到右的方向对包括在当前行下方的行中的数据单元进行编码。上述Z字形编码顺序被称为光栅扫描顺序。
在图18A中,示出了根据包括在当前画面1800中的最大编码单元的Z字形编码顺序的编码顺序。根据Z字形编码顺序对最大编码单元编制索引0到15。根据Z字形编码顺序,首先对索引被编制为0到3的第一行的最大编码单元进行编码,并且沿从左到右的方向对索引被编码为4到7的第二行的最大编码单元进行编码。最大编码单元也根据Z字形编码顺序进行内部编码。
图18B示出了在当前画面1800中包括的最大编码单元中的索引为6的最大编码单元1810的编码顺序。可对根据Z字形编码顺序完成划分的最终深度的编码单元编制索引0到15。针对相同深度的数据单元应用Z字形编码顺序。此外,在深度n的编码单元的下层编码单元被全部编码之前,深度n的较后面的编码单元不被编码。例如在索引为5至14的编码单元全部被编码之前,索引15的编码单元不被编码。编码单元也根据Z字形编码顺序进行内部编码。
图18C示出了由在最大编码单元1810中包括的编码单元中的索引为6的编码单元1824所参考的参考样点。在当前正被编码的索引为6的编码单元1824周围仅重建了索引为0的编码单元1812和索引为5的编码单元1822。因此,仅编码单元1812的像素1850和编码单元1822的像素1860可被用作针对编码单元1824的参考样点。
可根据数据单元在不同的方向上应用图18A至图18C的Z字形编码顺序。例如,Z字形编码顺序可被改变为在同一行中沿从右到左的方向对数据单元进行编码。此外,Z字形编码顺序可被改变为在当前行的所有数据单元被编码之后对在当前行上方的行中包括的数据单元进行编码。此外,Z字形编码顺序可被改变为在同一列中从上到下对数据单元进行编码,对当前列的所有数据单元进行编码,并且然后对在当前列的右侧列中包括的数据单元进行编码。
关于处理器1710,图19A和图19B分别示出沿正向对编码单元1910进行编码的情况1900和沿反向对编码单元1920进行编码的情况1902。将参照图19A和图19B描述通过改变编码顺序实现的优点。
根据沿右上方向的帧内模式对图19A的编码单元1910和图19B的编码单元1920进行预测。图19A和图19B的实线1930是在原始图像中以直线排列的具有恒定值的像素。因此,当沿实线1930的方向对当前编码单元进行预测时,将提高编码单元1910和1920的预测准确度。
在沿正向进行编码的情况1900中,当前编码单元1910的左侧编码单元、上方编码单元和右上方编码单元在当前编码单元1910之前被重建。因此,当前编码单元1910参考左侧编码单元、上方编码单元和右上方编码单元的像素或编码信息。例如,位于右上方编码单元的下边缘处的像素1916被预测用于对当前编码单元1910的预测。像素1916在空间上与当前编码单元1910分开,并且因此当前编码单元1910的部分1914的预测准确度可能低。
然而,在沿反向进行编码的情况1902下,因为当前编码单元1920的右侧编码单元、上方编码单元和左上方编码单元在当前编码单元1920之前被重建,所以位于右侧编码单元的左边缘处的像素1926可被用于帧内预测中的对当前编码单元1920的预测。因为像素1926与当前编码单元1920相邻,所以当前编码单元1920的部分1924的预测准确度可高于当前编码单元1910的部分1914的预测准确度。
与参照图19A和图19B描述的帧内预测相关的实施例一样,即使是帧间预测,也存在许多通过从位于反向上的块获得编码信息来提高预测准确度的情况。在当前编码单元和当前编码单元的右侧编码单元是针对相同对象的编码单元时,当前编码单元的运动信息和右侧编码单元的运动信息可相似。因此,可通过从右侧编码单元的运动信息推导当前编码单元的运动信息来提高编码效率。
因此,可通过对当沿正向对当前编码单元进行编码时的编码效率与当沿反向对当前编码单元进行编码时的编码效率进行比较确定编码顺序来提高图像的编码效率。
可与应用于当前块的上层块的编码顺序信息相同地配置编码顺序信息。例如,在当前块是预测单元或变换单元时,处理器1710可将应用于包括在当前块中的编码单元的编码顺序信息应用于当前块。作为另一示例,在当前块是编码单元时,处理器1710可将应用于深度比当前块的深度低的编码单元的编码顺序信息应用于当前块。
当存在针对当前块的两个或更多个编码顺序标志时,处理器1710可从比特流仅获得一个编码顺序标志并且将其余编码顺序标志确定为与从比特流获得的编码顺序标志相关联。
关于处理器1710对编码顺序的确定,图20示出了最大编码单元的用于描述最大编码单元和包括在最大编码单元中的编码单元的编码顺序的树结构。
最大编码单元2050被划分为多个编码单元2056、2058、2060、2062、2068、2070、2072、2074、2080、2082、2084和2086。最大编码单元2050与树结构的最高节点2000对应。此外,多个编码单元2056、2058、2060、2062、2068、2070、2072、2074、2080、2082、2084和2086分别与多个节点2006、2008、2010、2012、2018、2020、2022、2024、2030、2032、2034和2036对应。在树结构中指示编码顺序的上方编码顺序标志2002、2014和2026分别与箭头2052、2064和2076对应,并且下方编码顺序标志2004、2016和2028分别与箭头2054、2066和2078对应。
上方编码顺序标志指示同一深度的四个编码单元中位于顶部的两个编码单元的编码顺序。当上方编码顺序标志为0时,沿正向执行编码。另一方面,当上方编码顺序标志为1时,沿反向执行编码。
类似地,下方编码顺序标志指示同一深度的四个编码单元中位于底部的两个编码单元的编码顺序。当下方编码顺序标志为0时,沿正向执行编码。另一方面,当下方编码顺序标志为1时,沿反向执行编码。
例如,因为上方编码顺序标志2014为0,所以编码单元2068与2070之间的编码顺序被确定为正向(即,从左到右的方向)。此外,因为下方编码顺序标志2016为1,所以编码单元2072和2074之间的编码顺序被确定为反向(即,从右到左的方向)。
根据实施例,上方编码顺序标志和下方编码顺序标志可被设置为相同的值。例如,当上方编码顺序标志2002被确定为1时,与上方编码顺序标志2002对应的下方编码顺序标志2004可被确定为1。因为上方编码顺序标志和下方编码顺序标志的值被确定为1比特,所以减少了编码顺序信息的信息量。
根据实施例,可通过参考应用于深度比当前编码单元的深度低的编码单元的上方编码顺序标志和下方编码顺序标志中的至少一个来确定当前编码单元的上方编码顺序标志和下方编码顺序标志。例如,可基于应用于编码单元2072和2074的下方编码顺序标志2016来确定应用于编码单元2080、2082、2084和2086的上方编码顺序标志2026和下方编码顺序标志2028。因此,上方编码顺序标志2026和下方编码顺序标志2028可被确定为具有与下方编码顺序标志2016相同的值。因为从当前编码单元的上层编码单元确定上方编码顺序标志和下方编码顺序标志的值,所以不从比特流获得编码顺序信息。因此,减少了编码顺序信息的信息量。
关于处理器1710对编码顺序的确定,将参照图21A和图21B描述如何根据编码顺序标志来改变沿垂直方向或水平方向排列的三个或更多个块的编码顺序。
图21A的实施例涉及仅当空间上相邻的编码单元的编码顺序彼此相邻时才基于编码顺序标志交换编码顺序的方法。
编码单元2100被划分为三个编码单元2110、2120和2130。当基本编码顺序是从左到右的方向时,按照编码单元2110、编码单元2120和编码单元2130的顺序执行编码。然而,编码顺序可根据编码顺序标志2140和2150而改变。
编码顺序标志2140指示编码单元2110和编码单元2120的编码顺序。当编码顺序标志2140为0时,编码单元2110和编码单元2120的编码顺序被确定为正向。因此,在编码单元2120之前对编码单元2110进行编码。然而,当编码顺序标志2140为1时,编码单元2110和编码单元2120的编码顺序被确定为反向,因此在编码单元2110之前对编码单元2120进行编码。
编码顺序标志2150指示编码单元2120和编码单元2130的编码顺序。当编码顺序标志2140指示正向时,获得编码顺序标志2150。当编码顺序标志2140指示反向时,编码单元2120和编码单元2130的编码顺序彼此不相邻,因此不获得编码顺序标志2150。当编码顺序标志2150为0时,编码单元2120和编码单元2130的编码顺序被确定为正向。因此,在编码单元2130之前对编码单元2120进行编码。然而,当编码顺序标志2150为1时,编码单元2120和编码单元2130的编码顺序被确定为反向,因此在编码单元2120之前对编码单元2130进行编码。
根据图21A的实施例,针对三个编码单元的编码顺序存在三种情况。因此,使用一个或两个编码顺序标志来确定编码顺序。
图21B的实施例涉及基于指示应用于三个编码单元的编码顺序的方向的编码顺序标志2160确定编码顺序的方法。
编码顺序标志2160指示编码顺序是正向还是反向。例如,当编码顺序标志2160为0时,编码单元2110、2120和2130的编码顺序可被确定为正向。因此,当编码顺序标志2160为0时,可按照编码单元2110、编码单元2120和编码单元2130的顺序执行编码。
另一方面,当编码顺序标志2160为1时,编码单元2110、2120和2130的编码顺序可被确定为反方向。因此,当编码顺序标志2160为1时,可按照编码单元2130、编码单元2120和编码单元2110的顺序执行编码。
根据图21B的实施例,针对三个编码单元的编码顺序存在两种情况。因此,使用一个编码顺序标志来确定编码顺序。
可针对四个或更多个编码单元应用在图21A和图21B的实施例中使用的确定编码顺序的方法。
处理器1710可识别针对当前块的上层数据单元的编码顺序改变许可信息。编码顺序改变许可信息指示包括在当前块的上层数据单元中的块是否允许编码顺序的改变。当编码顺序改变许可信息不允许改变编码顺序时,根据基本编码顺序对上层数据单元的所有块进行解码。当编码顺序改变许可信息指示当前块的编码顺序信息被编码时,处理器1710可获得编码顺序信息。
编码顺序改变许可信息可被包括在视频参数集、序列参数集、画面参数集、条带片段头或最大编码单元头中。此外,当存在两种或更多种类型的编码顺序信息时,针对多条编码顺序信息的多条编码顺序改变许可信息可被存储在不同的头信息中。
编码顺序改变许可信息可指示提供编码顺序信息的深度或块尺寸。例如,仅在当前块的深度被包括在由编码顺序改变许可信息指示的深度中时,处理器1710才可获得编码顺序信息。作为另一示例,仅在当前块的深度是由编码顺序改变许可信息指示的块尺寸时,处理器1710才可获得编码顺序信息。
当划分信息不指示对当前块进行划分时,处理器1710可根据当前块的编码信息和对当前块的邻近块的解码来确定当前块的预测方法。
当前块的编码信息可指示如何预测当前块。具体地,编码信息可指示多个帧内预测模式和帧间预测模式中的一种预测方法。因此,处理器1710可根据当前块的编码信息来确定应用于当前块的预测模式。
仿射模式可被应用于当前块。仿射模式是通过对从当前块的相邻样点获得的运动矢量执行仿射变换来获得在当前块中包括的样点的运动矢量的帧间预测方法。根据实施例,可以以包括在当前块中的子块为单位来获得经仿射变换的运动矢量。下面将参照图22描述根据仿射变换确定当前块的运动矢量的方法。
处理器1710可获得指示对于当前块的高级别单元是否允许仿射帧间模式的仿射帧间模式许可信息。此外,处理器1710可获得指示对于当前块的高级别单元是否允许仿射合并模式的仿射合并模式许可信息。可选地,处理器1710可获得指示对于当前块的高级别单元是否允许被应用仿射变换的所有预测模式的仿射模式许可信息。处理器1710可获得指示当前块的高级别单元所允许的仿射类型的仿射类型许可信息。高级别单元可以是视频参数集、序列参数集、画面参数集和条带头中的一个。
在仿射帧间模式中,从比特流获得参考画面信息并且从当前块的相邻块获得仿射参数组。此外,根据仿射参数校正信息对仿射参数组进行校正。根据经校正的仿射参数和参考画面来预测当前块。
在仿射合并模式中,从当前块的相邻块获得参考画面和仿射参数组。此外,可在不对仿射参数组进行校正的情况下,将仿射参数组与参考画面一起用于当前块的预测。
当帧间模式被应用于当前块并且仿射帧间模式被允许用于当前块时,处理器1710可获得指示是否将仿射帧间模式应用于当前块的仿射帧间信息。当仿射帧间信息指示将仿射帧间模式应用于当前块时,处理器1710根据仿射帧间模式对当前块进行解码。
当合并模式被应用于当前块并且仿射合并模式被允许用于当前块时,处理器1710可获得指示是否将仿射合并模式应用于当前块的仿射合并信息。当仿射合并信息指示将仿射合并模式应用于当前块时,处理器1710根据仿射合并模式对当前块进行解码。
处理器1710可从比特流获得仿射类型信息。仿射类型信息指示应用于当前块的仿射类型。可应用于当前块的仿射类型可包括6参数仿射模式、4参数仿射模式和3参数仿射模式。处理器1710可根据仿射类型许可信息,基于仿射类型信息选择允许用于当前块的仿射类型中的一种仿射类型。稍后将参照图22详细描述6参数仿射模式、4参数仿射模式和3参数仿射模式。
处理器1710可从比特流获得指示仿射参数组候选中的当前块的仿射参数组的仿射参数信息。
处理器1710可基于至少包括当前块的右侧块的当前块的相邻块是否被解码来获得当前块的仿射参数组候选。根据运动矢量的x分量和y分量来确定仿射参数。仿射参数组指示预测当前块所需的一组仿射参数,并且仿射参数组候选指示可应用于当前块的仿射参数组。下面将参照图23至图27描述确定仿射参数组候选的方法。
处理器1710可从当前块的若干样点位置确定在仿射模式中使用的仿射参数组候选。具体地,处理器1710可将当前块的左上方坐标确定为第一仿射参数提取位置,并且将当前块的右上方坐标确定为第二仿射参数提取位置。此外,处理器1710可从与第一仿射参数提取位置相邻的至少一个相邻块获得第一运动矢量,并且从与第二仿射参数提取位置相邻的至少一个相邻块获得第二运动矢量。
在当前块的右侧块和左侧块均未被解码时,处理器1710可从第一运动矢量和第二运动矢量获得第三运动矢量。可选地,在当前块处于4参数仿射模式或3参数仿射模式时,处理器1710可从第一运动矢量和第二运动矢量获得第三运动矢量。
在当前块的左侧块被解码并且当前块的右侧块未被解码时,处理器1710可将当前块的左下方坐标确定为第三仿射参数提取位置。此外,处理器1710可从与第三仿射参数提取位置相邻的一个或更多个相邻块获得第三运动矢量。
在当前块的右侧块被解码并且当前块的左侧块未被解码时,处理器1710可将当前块的右下方坐标确定为第三仿射参数提取位置。此外,处理器1710可从与第三仿射参数提取位置相邻的一个或更多个相邻块获得第三运动矢量。
此外,处理器1710可根据获得的第一运动矢量至第三运动矢量来获得仿射参数组候选。
在当前块的右侧块和左侧块均被解码时,处理器1710可将当前块的左下方坐标确定为第三仿射参数提取位置,并且将当前块的右下方坐标确定为第四仿射参数提取位置。处理器1710可从与第三仿射参数提取位置相邻的至少一个相邻块获得第三运动矢量,并且从与第四仿射参数提取位置相邻的至少一个相邻块获得第四运动矢量。此外,处理器1710可获得以下仿射参数组候选中的至少一个:从第一运动矢量至第三运动矢量获得的第一仿射参数组候选、从第一运动矢量、第二运动矢量和第四运动矢量获得的第二仿射参数组候选、以及从第一仿射参数组候选和第二仿射参数组候选确定的第三仿射参数组候选。
下面将参照图23详细描述从当前块的若干样点位置确定仿射参数组候选的方法。
处理器1710可从根据仿射模式解码的一个相邻块确定仿射参数组候选。根据实施例,处理器1710可根据扫描顺序对当前块的相邻块中的在仿射模式下重建的相邻块进行扫描。此外,处理器1710可从在仿射模式下重建的相邻块确定仿射参数组候选,其中,该相邻块是根据扫描顺序首先被扫描的。根据实施例,处理器1710可根据当前块的相邻块是否被解码来确定扫描顺序。可选地,处理器1710可根据当前块的编码顺序来确定扫描顺序。
根据实施例,为了获得仿射参数组候选,处理器1710可从相邻块的左上方位置、右上方位置和左下方位置获得参考运动矢量。另外,处理器1710可从左上方位置的参考运动矢量和右上方位置的参考运动矢量之间的差获得水平变化量。类似地,处理器1710可从左上方位置的参考运动矢量和左下方位置的参考运动矢量之间的差获得垂直变化量。另外,处理器1710可根据左上方位置的参考运动矢量、水平变化量和垂直变化量来获得当前块的仿射参数组候选。
下面将参照图24描述从根据仿射模式解码的一个相邻块确定仿射参数组候选的方法。
处理器1710可从根据仿射模式解码的多个相邻块确定仿射参数组候选。处理器1710可从在仿射模式下解码的第一相邻块确定第一运动矢量和第一运动矢量提取位置,其中,第一相邻块是在根据从与当前块的左上方坐标相邻的相邻块开始的第一扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。此外,处理器1710可根据在仿射模式下解码的第二相邻块来确定第二运动矢量和第二运动矢量提取位置,其中,第二相邻块是在根据从与当前块的右上方坐标相邻的相邻块开始的第二扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。
在当前块的右侧块和左侧块均未被解码时,处理器1710可从第一相邻块或第二相邻块确定第三运动矢量和第三运动矢量提取位置。
在当前块的左侧块被解码并且当前块的右侧块未被解码时,处理器1710可从在仿射模式下解码的第三相邻块确定第三运动矢量和第三运动矢量提取位置,其中,第三相邻块是在根据从与当前块的左下方坐标相邻的相邻块开始的第三扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。
在当前块的右侧块被解码并且当前块的左侧块未被解码时,处理器1710可从在仿射模式下解码的第四相邻块确定第三运动矢量和第三运动矢量提取位置,其中,第四相邻块是在根据从与当前块的右下方坐标相邻的相邻块开始的第四扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。
处理器1710可根据当前块的第一运动矢量至第三运动矢量和第一运动矢量提取位置至第三运动矢量提取位置来获得仿射参数组候选。根据当前块的相邻块是否被解码来确定第一扫描顺序至第四扫描顺序。
在当前块的右侧块和左侧块均被解码时,处理器1710可获得以下仿射参数组候选中的至少一个:在左侧块被解码并且右侧块未被解码时获得的第一仿射参数组候选、在右侧块被解码并且左侧块未被解码时获得的第二仿射参数组候选以及从第一仿射参数组候选和第二仿射参数组候选获得的第三仿射参数组候选。
下面将参照图25至图27描述从根据仿射模式解码的多个相邻块确定仿射参数组候选的方法。
处理器1710可根据上述方法确定一个或更多个仿射参数组候选。当存在两个或更多个仿射参数组候选时,处理器1710可从比特流获得当前块的仿射参数信息。此外,处理器1710可根据仿射参数信息从多个仿射参数组候选中确定当前块的仿射参数组。
处理器1710可获得当前块的仿射参数校正信息。此外,处理器1710可根据仿射参数校正信息对包括在仿射参数组中的仿射参数进行校正。在当前块的预测模式是仿射合并模式时,省略对仿射参数校正信息的获得操作和对仿射参数的校正操作。
处理器1710可基于包括在仿射参数组中的一个或更多个仿射参数来重建当前块。
图22用于详细描述在仿射模式下推导应用于当前块2200的样点的运动矢量的方法。
在仿射模式中,需要至少三个仿射参数来推导当前块2200的样点的运动矢量。具体地,仿射模式可包括6参数仿射模式、4参数仿射模式和3参数仿射模式。在下文中,将描述根据每个仿射模式推导当前块2200的样点的运动矢量的方法。
在6参数仿射模式下,处理器1710可从左上方坐标2201、右上方坐标2203和左下方坐标2205处的邻近样点获得三个运动矢量(即,第一运动矢量2202至第三运动矢量2206)。可从当前块2200的左上方坐标2201处的邻近样点获得第一运动矢量2202。此外,可从当前块2200的右上方坐标2203的邻近样点获得第二运动矢量2204。此外,可从当前块2200的左下方坐标2205的邻近样点获得第三运动矢量2206。在图22中,基于当前块2200的左下方坐标2205获得第三运动矢量2206,但根据实施例,可基于当前块2200的右下方坐标2207获得第三运动矢量2206。此外,处理器1710可将第一运动矢量2202的x分量和y分量、第二运动矢量2204的x分量和y分量以及第三运动矢量2206的x分量和y分量确定为仿射参数。
根据实施例,可将第一运动矢量2202确定为与当前块2200的左上方坐标2201相邻的多个相邻块的运动矢量的平均值。类似地,可将第二运动矢量2204确定为与当前块2200的右上方坐标2203相邻的多个相邻块的运动矢量的平均值。此外,可将第三运动矢量2206确定为与当前块2200的左下方坐标2205或右下坐标2207相邻的多个相邻块的运动矢量的平均值。
可基于等式1至等式3,根据第一运动矢量2202、第二运动矢量2204和第三运动矢量2206来确定当前块2200的样点2208的运动矢量2210。
在等式1至等式3中,x表示当前块2200的左上方坐标2201与当前块2200的样点2208之间的水平距离差,并且y表示当前块2200的左上方坐标2201与当前块2200的样点2208之间的垂直距离差。MV0表示第一运动矢量2202,MV1表示第二运动矢量2204,并且MV2表示第三运动矢量2206。MV表示当前块2200的样点2208的运动矢量2210。w表示当前块2200的宽度并且h表示当前块2200的高度。dMVx表示运动矢量2210的水平变化率,dMVy表示运动矢量2210的垂直变化率。
[等式1]
dMVx=(MV1-MV0)/w
[等式2]
dMVy=(MV2-MV0)/h
[等式3]
MV=MV0+x.dMVx+y.dMVy
等式1表示获得运动矢量2210的水平变化率dMVx的方法。根据等式1,通过将从第二运动矢量2204减去第一运动矢量2202的值除以当前块2200的宽度而获得的值被确定为运动矢量2210的水平变化率。
等式2表示获得运动矢量2210的垂直变化率dMVy的方法。根据等式2,通过将从第三运动矢量2206减去第一运动矢量2202的值除以当前块2200的高度而获得的值被确定为运动矢量2210的垂直变化率。
等式3表示获得运动矢量2210的方法。根据等式3,可将运动矢量2210确定为通过将(x,y)与指示水平变化率和垂直变化率的(dMVx,dMVy)的内积值和第一运动矢量2202(MV0)相加而获得的值,其中,(x,y)为当前块2200的样点2208相对于当前块2200的左上方坐标2201的坐标。
根据等式1至等式3,可确定包括在当前块2200中的所有样点或子块的运动矢量。根据等式1至等式3,可基于样点的位置不同地确定样点的运动矢量。当提取第一运动矢量2202和第二运动矢量2204的坐标的垂直分量相同并且提取第一运动矢量2202和第三运动矢量2206的坐标的水平分量相同时,可应用等式1和等式2。因此,下面将参照图28描述用于确定当前块2200的运动矢量的通用等式。
在6参数仿射模式下,运动矢量2210由三个运动矢量被确定,因此可从当前块2200进行缩放、旋转和剪切来得到当前块2200的参考块。
在4参数仿射模式下,处理器1710可从当前块2200的邻近样点获得两个运动矢量(即,第一运动矢量2202和第二运动矢量2204)。与6参数仿射模式一样,可从当前块2200的左上方坐标2201的邻近样点获得第一运动矢量2202。类似地,可从当前块2200的右上方坐标2203的邻近样点获得第二运动矢量2204。此外,处理器1710可将第一运动矢量2202的x分量和y分量以及第二运动矢量2204的x分量和y分量确定为仿射参数。
在4参数仿射模式下,第三运动矢量2206不是从当前块2200的左下方坐标2205或右下方坐标2207被确定的,而是通过将第一运动矢量2202和第二运动矢量2204组合被确定的。
等式4和等式5表示通过将第一运动矢量2202和第二运动矢量2204组合来确定第三运动矢量2206的方法。在等式4和等式5中,x表示运动矢量的水平分量并且y表示运动矢量的垂直分量。MV0表示第一运动矢量2202,MV1表示第二运动矢量2204,并且MV2表示第三运动矢量2206。w表示当前块2200的宽度并且h表示当前块2200的高度。
[等式4]
MV2[x]=(MV1[y]-MV0[y])*w/h+MV0[x]
[等式5]
MV2[y]=(MV0[x]-MV1[x])*w/h+MV0[y]
根据等式4,将第三运动矢量2206的水平坐标值(MV2[x])确定为通过将值(MV1[y]-MV0[y])与值(w/h)的乘积和第一运动矢量2202的水平坐标值(MV0[x])相加而获得的值((MV1[y]-MV0[y])*w/h+MV0[x]),其中,值(MV1[y]-MV0[y])为从第二运动矢量2204的垂直坐标值减去第一运动矢量2202的垂直坐标值,值(w/h)为当前块2200的宽度除以当前块2200的高度。
根据等式5,将第三运动矢量2206的垂直坐标值(MV2[y])确定为通过将值(MV0[x]-MV1[x])与值(w/h)的乘积和第一运动矢量2202的垂直坐标值(MV0[y])相加而获得的值((MV0[x]-MV1[x])*w/h+MV0[y]),其中,值(MV0[x]-MV1[x])为从第一运动矢量2202的水平坐标值减去第二运动矢量2204的水平坐标值,值(w/h)为当前块2200的宽度除以当前块2200的高度。
在4参数仿射模式下,从第一运动矢量2202和第二运动矢量2204推导出第三运动矢量2206的x分量和y分量。因此,不同于6参数仿射模式,在4参数仿射模式下,可基于第一运动矢量2202和第二运动矢量2204从当前块2200进行缩放和旋转来得到当前块2200的参考块。换句话说,在4参数仿射模式下,不对当前块2200进行剪切。
在3参数仿射模式下,处理器1710可从当前块2200的邻近样点获得两个运动矢量(即,第一运动矢量2202和第二运动矢量2204)。可从当前块2200的左上方坐标2201的邻近样点获得第一运动矢量2202。类似地,可从当前块2200的右上方坐标2203的邻近样点获得第二运动矢量2204。然而,不同于4参数仿射模式,在3参数仿射模式下,仅从第二运动矢量2204获得x分量或y分量。因此,处理器1710可将第一运动矢量2202的x分量和y分量以及第二运动矢量2204的x分量或y分量确定为仿射参数。
当可获得第二运动矢量2204的x分量时,从第一运动矢量2202的y分量获得第二运动矢量2204的y分量。另一方面,当可获得第二运动矢量2204的y分量时,从第一运动矢量2202的x分量和y分量以及第二运动矢量2204的y分量获得第二运动矢量2204的x分量。下面的等式6和等式7分别表示确定第二运动矢量2204的y分量和x分量的方法。
在等式6和等式7中,x表示运动矢量的水平分量,y表示运动矢量的垂直分量。MV0表示第一运动矢量2202,MV1表示第二运动矢量2204,并且MV2表示第三运动矢量2206。w表示当前块2200的宽度并且h表示当前块2200的高度。
[等式6]
MV1[y]=MV0[y]
[等式7]
MV1[x]=sqrt(w2-(MV1[y]-MV0[y])2)+MV0[x]-w
根据等式6,当仅可获得第二运动矢量2204的x分量时,处理器1710将第二运动矢量2204的y分量确定为与第一运动矢量2202的y分量相同。
根据等式7,当仅可获得第二运动矢量2204的y分量时,处理器1710根据第一运动矢量2202的x分量和y分量(MV0[x],MV0[y])以及第二运动矢量2204的y分量(MV1[y])来确定第二运动矢量2204的x分量。
此外,如在4参数仿射模式下,可根据等式4和等式5确定第三运动矢量2206的x分量和y分量。在3参数仿射模式下,从第二运动矢量2204的x分量和y分量中的可获得的分量和第一运动矢量2202以及第三运动矢量2206推导出第二运动矢量2204的x分量和y分量中的不可获得的分量。因此,在3参数仿射模式下,可基于第一运动矢量2202和第二运动矢量2204仅从当前块2200进行缩放或旋转来得到当前块2200的参考块。当可获得第二运动矢量2204的x分量时,可仅从当前块2200进行缩放来得到当前块2200的参考块。另一方面,当可获得第二运动矢量2204的y分量时,可仅从当前块2200进行旋转来得到当前块的参考块。
图23是用于描述从当前块的若干样点位置确定仿射参数组候选的实施例。
根据图23的实施例,在6参数仿射模式下从当前块获得三个运动矢量。根据实施例,为了获得所述三个运动矢量,首先确定当前块的左侧块和右侧块是否被解码。在图23中,将顺序地描述当1)仅当前块的左侧块被解码,2)仅当前块的右侧块被解码,3)当前块的左侧块和右侧块均未被解码以及4)当前块的左侧块和右侧块均被解码时确定仿射参数的方法。
当仅当前块2300的左侧块被解码时,从当前块2300的左上方坐标处的相邻样点2304获得第一运动矢量2302。根据实施例,可将第一运动矢量2302确定为与相邻样点2304中的一个相应的块的运动矢量。此外,可根据特定顺序对相邻样点2304进行扫描,并且当发现帧间预测的相邻块时,停止扫描并且从帧间预测的相邻块提取第一运动矢量2302。此外,根据实施例,可将第一运动矢量2302确定为从与相邻样点2304相应的多个块获得的运动矢量的平均值。
此外,从当前块2300的右上方坐标处的相邻样点2308获得第二运动矢量2306。根据实施例,可将第二运动矢量2306确定为与相邻样点2308中的一个相应的块的运动矢量。此外,还可根据特定顺序对相邻样点2308进行扫描,并且当发现帧间预测的相邻块时,停止扫描并且从帧间预测的相邻块提取第二运动矢量2306。此外,根据实施例,可将第二运动矢量2306确定为从与相邻样点2308相应的多个块获得的运动矢量的平均值。
此外,从当前块2300的左下方坐标处的相邻样点2312获得第三运动矢量2310。根据实施例,可将第三运动矢量2310确定为与相邻样点2312中的一个相应的块的运动矢量。此外,还可根据特定顺序对相邻样点2312进行扫描,并且当发现帧间预测的相邻块时,停止扫描并且从帧间预测的相邻块提取第三运动矢量2310。此外,根据实施例,可将第三运动矢量2310确定为从与相邻样点2312相应的多个块获得的运动矢量的平均值。
此外,可将水平变化率确定为通过将第一运动矢量2303与第二运动矢量2306之间的差除以当前块2300的宽度而获得的值。此外,可将垂直变化率确定为通过将第一运动矢量2302与第三运动矢量2310之间的差除以当前块2300的高度而获得的值。
当仅当前块2320的右侧块被解码时,与仅当前块2300的左侧块被解码时一样,从当前块2320的左上方坐标处的相邻样点2324获得第一运动矢量2322。此外,从当前块2320的右上方坐标处的相邻样点2328获得第二运动矢量2326。
然而,因为当前块2320的左侧块未被解码,所以从当前块2320的右下方坐标处的相邻样点2332获得第三运动矢量2330。根据实施例,可将第三运动矢量2330确定为与相邻样点2332中的一个相应的块的运动矢量。此外,根据实施例,可将第三运动矢量2330确定为从与相邻样点2332相应的多个块获得的运动矢量的平均值。
可将水平变化率确定为通过将第一运动矢量2322与第二运动矢量2326之间的差除以当前块2320的宽度而获得的值。此外,可将垂直变化率确定为通过将第二运动矢量2326与第三运动矢量2330之间的差除以当前块2320的高度而获得的值。
在当前块2340的左侧块和右侧块均未被解码时,与当仅当前块2300的左侧块被解码时一样,从当前块2340的左上方坐标处的相邻样点2344获得第一运动矢量2342。此外,从当前块2340的右上方坐标处的相邻样点2348获得第二运动矢量2346。
然而,因为当前块2340的左侧块和右侧块均未被解码,所以从第一运动矢量2342和第二运动矢量2346确定第三运动矢量。因此,当6参数仿射模式被应用于当前块2340并且当前块2340的左侧块和右侧块均未被解码时,实质上根据4参数仿射模式对当前块2340进行解码。
在当前块2360的左侧块和右侧块均被解码时,可选择当仅当前块2300的左侧块被解码时确定运动矢量的方法以及当仅当前块2320的右侧块被解码时确定运动矢量的方法中的一种方法。因此,可分别基于当前块2360的左上方坐标处的相邻样点2364和当前块2360的右上方坐标处的相邻样点2368确定第一运动矢量2362和第二运动矢量2366。此外,可基于左下方运动矢量2370或右下方运动矢量2374来确定第三运动矢量。左下方运动矢量2370从当前块2360的左下方坐标处的相邻样点2372被确定,并且右下方运动矢量2374从当前块2360的右下方坐标处的相邻样点2376被确定。
确定运动矢量的方法可从当前块2360的更高级别被确定。例如,处理器1710可确定针对当前块2360的更高级别的默认运动矢量确定方法。当默认运动矢量确定方法是当仅当前块2300的左侧块被解码时确定运动矢量的方法时,可根据当前块2300的左下方运动矢量2370来确定第三运动矢量。
可选地,处理器1710可获得针对当前块2360的运动矢量信息,其中,该运动矢量信息指示当仅当前块2300的左侧块被解码时确定运动矢量的方法以及当仅当前块2320的右侧块被解码时确定运动矢量的方法中的一种方法。然后,可根据运动矢量信息来选择确定针对当前块2360的运动矢量的方法。
图24是用于描述从根据仿射模式解码的一个相邻块确定仿射参数组候选的实施例。
根据实施例,处理器1710可对当前块2400的相邻样点2410进行扫描。处理器1710可识别与相邻样点2410对应的相邻块是否根据仿射模式被解码。当发现根据仿射模式解码的相邻块2420时,停止对相邻样点2410的扫描,并且从根据仿射模式解码的相邻块2420的参考运动矢量位置(即,第一参考运动矢量位置2422至第三参考运动矢量位置2426)获得的参考运动矢量推导出当前块2400的运动矢量。
具体地,基于第一参考运动矢量位置2422处的第一参考运动矢量与第二参考运动矢量位置2424处的第二参考运动矢量之间的差以及第一参考运动矢量位置2422与第二参考运动矢量位置2424之间的水平距离来确定水平变化率。此外,基于第一参考运动矢量与第三参考运动矢量位置2426处的第三参考运动矢量之间的差以及第一参考运动矢量位置2422与第三参考运动矢量位置2426之间的垂直距离来确定垂直变化率。
然后,基于第一参考运动矢量、水平变化率、垂直变化率以及第一参考运动矢量位置2422与当前块2400的左上方位置、右上方位置和左下方位置之间的差来推导出当前块2400的运动矢量。
可基于当前块2420的相邻块是否被解码来确定对相邻样点2410进行扫描的顺序。在当前块2400的左侧块被解码时,沿向上方向从当前块2400的左下方相邻样点到左上方相邻样点、沿向右方向从当前块2400的左上方相邻样点到右上方相邻样点、并且沿向下方向从当前块2400的右上方相邻样点到右下方相邻样点对相邻样点2410进行扫描。另一方面,在当前块2400的左侧块未被解码并且右侧块被解码时,沿向上方向从当前块2400的右下方相邻样点到右上方相邻样点、沿向左方向从当前块2400的右上方相邻样点到左上方相邻样点、并且沿向下方向从当前块2400的左上方相邻样点到左下方相邻样点对相邻样点2410进行扫描。
此外,在当前块2400的预测模式是仿射合并模式时,处理器1710可从解码的相邻块2420获得指示参考画面的参考画面索引。
图25是用于描述在当前块2500的左侧块被解码并且右侧块未被解码时从根据仿射模式解码的多个相邻块确定仿射参数组候选的实施例。
根据实施例,处理器1710可根据三种类型的扫描顺序对当前块2500的相邻样点进行扫描。首先,处理器1710可沿向上方向从当前块2500的左下方相邻样点2502到左上方相邻样点2504进行扫描。此外,处理器1710可沿向右方向从当前块2500的左上方相邻样点2504到右上方相邻样点2506进行扫描。处理器1710可从在仿射模式下解码并且在第一扫描处理期间首先被发现的块2510的左下方坐标2512获得第一运动矢量。
其次,处理器1710可按照接近当前块2500的左上方相邻样点2504的顺序,从左上方相邻样点2504开始以Z字形对当前块2500的上方坐标和左侧坐标进行扫描。然后,处理器1710可从在仿射模式下解码并且在第二扫描处理期间被首先发现的块2520的左上方坐标2522获得第二运动矢量。
第三,处理器1710可沿向左方向从当前块2500的右上方相邻样点2506到左上方相邻样点2504进行扫描。然后,处理器1710可沿向下方向从当前块2500的左上方相邻样点2504到左下方相邻样点2502进行扫描。处理器1710可从在仿射模式下解码并且在第三扫描处理期间首先被发现的块2530的右上方坐标2532获得第三运动矢量。
可通过对获得的第一运动矢量至第三运动矢量进行推断来确定当前块2500的运动矢量。
图26是用于描述在当前块的右侧块被解码并且左侧块未被解码时从根据仿射模式解码的多个相邻块确定在仿射模式中使用的当前块的运动矢量的实施例。
根据实施例,处理器1710可根据三种类型的扫描顺序对当前块2600的相邻样点进行扫描。首先,处理器1710可沿向上方向从当前块2600的右下方相邻样点2602到右上方相邻样点2604进行扫描。此外,处理器1710可沿向左方向从当前块2600的右上方相邻样点2604到左上方相邻样点2606进行扫描。处理器1710可从在仿射模式下解码并且在第一扫描处理期间首先被发现的块2610的右下方坐标2612获得第一运动矢量。
其次,处理器1710可按照接近当前块2600的右上方相邻样点2604的顺序,从右上方相邻样点2604开始以Z字形对当前块2600的上方坐标和右侧坐标进行扫描。然后,处理器1710可从在仿射模式下解码并且在第二扫描处理期间被首先发现的块2620的右上方坐标2622获得第二运动矢量。
第三,处理器1710可沿向右方向从当前块2600的左上方相邻样点2606到右上方相邻样点2604进行扫描。此外,处理器1710可沿向下方向从当前块2600的右上方相邻样点2604到右下方相邻样点2602进行扫描。处理器1710可从在仿射模式下解码并且在第三扫描处理期间首先被发现的块2630的左上方坐标2632获得第三运动矢量。
可通过对获得的第一运动矢量至第三运动矢量进行推断来确定当前块2600的运动矢量。
图27是用于描述在当前块的右侧块和左侧块未被解码时从根据仿射模式解码的多个相邻块确定在仿射模式中使用的当前块的运动矢量的实施例。
根据实施例,处理器1710可根据两种类型的扫描顺序对当前块2700的相邻样点进行扫描。
第一,处理器1710可沿向右方向从当前块2700的左上方相邻样点2702到右上方相邻样点2704进行扫描。处理器1710可从在仿射模式下解码并且在第一扫描处理期间首先被发现的块2710的左上方坐标2712获得第一运动矢量。
其次,处理器1710可沿向左方向从当前块2700的右上方相邻样点2704到左上方相邻样点2702进行扫描。处理器1710可从在仿射模式下解码并且在第二扫描处理期间首先被发现的块2720的右上方坐标2722获得第二运动矢量。
第三,处理器1710可从第一扫描处理的块2710的左下方坐标2714获得第三运动矢量。根据另一实施例,处理器1710可从第二扫描处理的块2720的右下方坐标2724获得第三运动矢量。
将参照图28详细描述基于在图25至图27中确定的第一运动矢量至第三运动矢量来确定当前块的运动矢量的方法。
在图23至图27中,在当前块的仿射类型是4参数仿射模式或3参数仿射模式时,可省略仿射参数组候选的第三运动矢量的产生。此外,在当前块的仿射类型是3参数仿射模式时,可省略仿射参数组候选的第二运动矢量的x分量或y分量的产生。在当前块的仿射类型是4参数仿射模式或3参数仿射模式时,对当前块的左侧块和右侧块的解码未被确定,并且可仅基于当前块的上方相邻样点、左上方相邻样点和右上方相邻样点来产生当前块的仿射参数组候选。
可在仿射合并模式或仿射帧间模式中使用参照图23至图27描述的各种仿射参数组候选。此外,确定仿射参数组候选的方法在仿射合并模式和仿射帧间模式中可以是不同的。
图28用于描述在仿射模式下确定当前块的运动矢量确定方法的方法。下面的等式8至等式10表示根据运动矢量提取位置(即,图28的第一运动矢量提取位置至第三运动矢量提取位置2800、2810和2820)确定当前块的运动矢量的方法。
在等式8和等式9中,w表示第一运动矢量提取位置2800和第二运动矢量提取位置2810之间的水平距离。此外,h表示第一运动矢量提取位置2800与第三运动矢量提取位置2820之间的垂直距离。此外,x表示第一运动矢量提取位置2800与第三运动矢量提取位置2820之间的水平距离。此外,y表示第一运动矢量提取位置2800与第二运动矢量提取位置2810之间的垂直距离。
P0表示第一运动矢量,P1表示第二运动矢量并且P2表示第三运动矢量。然后,dx和dy分别表示水平变化率和垂直变化率。
[等式8]
[等式9]
根据等式8确定水平变化率并且根据公式9确定垂直变化率。然后,根据等式10,根据水平变化率和垂直变化率来确定当前块的样点2830的运动矢量。在等式10中,Pa表示当前块的样点2830的运动矢量。此外,i表示第一运动矢量提取位置2800与当前块的样点2830之间的水平距离,并且j表示第一运动矢量提取位置2800与当前块的样点2830之间的垂直距离。
[等式10]
Pa=P0+idx+jdy
当根据等式8至等式10提供三个运动矢量和每个运动矢量的提取位置时,可确定包括在当前块中的样点的运动矢量。因此,即使当如图25至图28中的运动矢量的提取位置未对齐时,也可确定包括在当前块中的样点的运动矢量。
图29示出根据与对当前块进行划分并对划分出的下层块进行解码相关的实施例的视频解码方法2900。
在操作2910,基于至少包括当前块的右侧块的当前块的相邻块是否被解码来获得当前块的仿射参数组候选。
根据实施例,为了获得仿射参数组候选,可根据扫描顺序对当前块的相邻块中的在仿射模式下重建的相邻块进行扫描。此外,可从在仿射模式下重建的相邻块来确定仿射参数组候选,其中,该相邻块根据扫描顺序首先被扫描。可基于当前块的相邻块是否被解码来确定扫描顺序信息。
根据实施例,为了获得仿射参数组候选,可将当前块的左上方坐标确定为第一仿射参数提取位置,并且可将当前块的右上方坐标确定为第二仿射参数提取位置。可从与第一仿射参数提取位置相邻的至少一个相邻块获得第一运动矢量,并且可从与第二仿射参数提取位置相邻的至少一个相邻块获得第二运动矢量。
在当前块的右侧块和左侧块均未被解码时,可从第一运动矢量和第二运动矢量获得第三运动矢量。此外,在当前块的左侧块被解码并且当前块的右侧块未被解码时,可从当前块的左下方坐标获得第三运动矢量。此外,在当前块的右侧块被解码并且当前块的左侧块未被解码时,可从当前块的右下方坐标获得第三运动矢量。
此外,可根据获得的第一运动矢量至第三运动矢量来获得仿射参数组候选。
在当前块的右侧块和左侧块均被解码时,从当前块的左下方坐标获得第三运动矢量,并且从当前块的右下方坐标获得第四运动矢量。然后,可确定以下仿射参数组候选中的至少一个:从第一运动矢量至第三运动矢量获得的第一仿射参数组候选、从第一运动矢量、第二运动矢量和第四运动矢量获得的第二仿射参数组候选、以及从第一仿射参数组候选和第二仿射参数组候选确定的第三仿射参数组候选。
根据实施例,为了获得仿射参数组候选,可从在仿射模式下解码的第一相邻块确定第一运动矢量和第一运动矢量提取位置,其中,第一相邻块是在根据从与当前块的左上方坐标相邻的相邻块开始的第一扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。可从在仿射模式下解码的第二相邻块来确定第二运动矢量和第二运动矢量提取位置,其中,第二相邻块是在根据从与当前块的右上方坐标相邻的相邻块开始的第二扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。
在当前块的右侧块和左侧块均未被解码时,可从第一相邻块或第二相邻块确定第三运动矢量和第三运动矢量提取位置。在当前块的左侧块被解码并且当前块的右侧块未被解码时,可从在仿射模式下解码的第三相邻块来确定第三运动矢量和第三运动矢量提取位置,其中,第三相邻块是在根据从与当前块的左下方坐标相邻的相邻块开始的第三扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。在当前块的右侧块被解码并且当前块的左侧块未被解码时,可从在仿射模式下解码的第四相邻块来确定第三运动矢量和第三运动矢量提取位置,其中,第四相邻块是在根据从与当前块的右下方坐标相邻的相邻块开始的第四扫描顺序对当前块的相邻块进行扫描的扫描处理中首先被发现的。
可根据第一运动矢量至第三运动矢量以及第一运动矢量提取位置至第三运动矢量提取位置来获得仿射参数组候选。
在当前块的右侧块和左侧块均被解码时,可获得以下仿射参数组候选中的至少一个:在左侧块被解码并且右侧块未被解码时获得的第一仿射参数组候选、在右侧块被解码并且左侧块未被解码时获得的第二仿射参数组候选、以及从第一仿射参数组候选和第二仿射参数组候选获得的第三仿射参数组候选。
在操作2920,根据当前块的仿射参数信息,在仿射参数组候选中确定当前块的仿射参数组。
根据实施例,可获得当前块的仿射参数校正信息。此外,可根据仿射参数校正信息来对包括在仿射参数组中的仿射参数进行校正。
在操作2930,基于包括在仿射参数组中的一个或更多个仿射参数来重建当前块。
在视频解码方法2900中可包括参照图17描述的视频解码设备1700的功能。
图30示出根据与对当前块进行划分并对划分出的下层块进行编码相关的实施例的视频编码设备3000。
视频编码装置3000包括处理器3010和存储器3020。在图30中,处理器3010和存储器3020由位于一个设备中的组件单元来表示,但处理器3010和存储器3020不必在物理上彼此相邻。因此,根据实施例,处理器3010和存储器3020可以是分布式的。在图30中,处理器3010被表示为单个组件,但根据实施例,多个处理器可被包括在视频编码设备3000中。
处理器3010可将当前块划分为两个或更多个下层块并且基于对当前块进行划分的结果来确定是否对当前块进行划分。例如,当对当前块进行划分时的编码效率满足要求时,处理器3010可确定对当前块进行划分,并且当不对当前块进行划分时的编码效率满足要求时,处理器3010可确定不对当前块进行划分。
处理器3010可产生指示是否对当前块进行划分的划分信息。然后,处理器3010可基于编码效率确定当前块的划分方法并且产生指示当前块的划分方法的划分形状信息。
处理器3010可基于根据编码顺序的编码效率来确定包括在当前块中的下层块的编码顺序,并且产生指示下层块的编码顺序的编码顺序信息。处理器3010可将沿正向对当前编码单元进行编码时的编码效率与沿反向对当前编码单元进行编码时的编码效率进行比较来确定编码顺序,从而提高图像的编码效率。
处理器3010可在完成对当前块的划分时确定当前块的下层块的预测模式。处理器3010可根据可应用于下层块的预测模式的编码效率来确定下层块的预测模式。可应用于下层块的预测模式包括仿射帧间模式和仿射合并模式。
在当前块未被划分时,处理器3010可确定是仿射帧间模式还是仿射合并模式被应用于当前块。此外,处理器3010可基于当前块的相邻块是否被编码,从当前块的相邻块确定当前块的仿射参数组候选。此外,处理器3010可确定用于预测当前块的最佳仿射参数组,并且确定当前块的仿射帧间信息、仿射合并信息、仿射参数信息和仿射类型信息。
处理器3010输出包括关于对当前块进行编码的信息的比特流。因此,处理器3010可输出包括仿射帧间信息、仿射合并信息、仿射参数信息和仿射类型信息的比特流。
图30的视频编码设备3000可执行与由图17的视频解码设备1700执行的视频解码方法相应的视频编码方法。
图31示出根据与对当前块进行划分并对划分出的下层块进行编码相关的实施例的视频编码方法3100。
在操作3110,基于至少包括当前块的右侧块的当前块的相邻块是否被解码来确定当前块的仿射参数组候选。
在操作3120,可确定用于预测当前块的最佳仿射参数组。
在操作3130,可确定指示当前块的仿射参数组的当前块的仿射参数信息。
参照图30描述的视频编码设备3000的功能可被包括在视频编码方法3100中。
根据参照图1至图31描述的基于树结构的编码单元的视频编码技术,针对树结构的编码单元中的每一个编码单元对编码空间域中的图像数据进行编码,并且当根据基于所述树结构的编码单元的视频解码技术,针对每个最大编码单元执行解码时重建空间域中的图像数据,并且因此可重建画面和作为画面序列的视频。重建的视频可由再现设备来再现,被存储在存储介质中,或者经由网络被传输。
另外,本公开的上述实施例可被编写为可在计算机上可执行的程序,并且可在使用计算机可读记录介质运行程序的通用数字计算机中实现。
尽管已经结合本公开的特定实施例描述了本公开,但鉴于以上描述,对本发明应用的替代形式、修改和变化的其他发明对于本领域普通技术人员将是显而易见的。换句话说,权利要求意在覆盖本发明的所有这样的替代形式、修改和变化。因此,在本说明书和附图中描述的所有内容应当以说明性和非限制性的意义来解释。

Claims (4)

1.一种视频解码方法,包括:
当在仿射帧间模式下执行当前块的帧间预测时:
从比特流获得仿射类型信息,所述仿射类型信息指示是使用4参数仿射类型还是使用6参数仿射类型;
当根据所述仿射类型信息使用4参数仿射类型时,使用从当前块的两个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
当根据所述仿射类型信息使用6参数仿射类型时,使用从当前块的三个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
当在仿射合并模式下执行当前块的帧间预测时:
基于从当前块的多个角确定的控制点运动矢量是否可用,产生包括多个仿射合并候选的仿射合并候选列表;以及
使用与所述仿射合并候选列表中的一仿射合并候选相应的从当前块的两个角或三个角确定的控制点运动矢量,获得当前块的子块的仿射运动矢量;以及
通过使用当前块的子块的仿射运动矢量获得当前块的预测样点,
其中,所述仿射合并候选列表包括以下仿射合并候选中的至少一个:使用与当前块的右上角的位置相邻的块的运动矢量所确定的仿射合并候选、以及使用与当前块的右下角的位置相邻的块的运动矢量所确定的仿射合并候选。
2.一种视频解码设备,包括:处理器,被配置为:
当在仿射帧间模式下执行当前块的帧间预测时:
从比特流获得仿射类型信息,所述仿射类型信息指示是使用4参数仿射类型还是使用6参数仿射类型;
当根据所述仿射类型信息使用4参数仿射类型时,使用从当前块的两个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
当根据所述仿射类型信息使用6参数仿射类型时,使用从当前块的三个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
当在仿射合并模式下执行当前块的帧间预测时:
基于从当前块的多个角确定的控制点运动矢量是否可用,产生包括多个仿射合并候选的仿射合并候选列表;以及
使用与所述仿射合并候选列表中的一仿射合并候选相应的从当前块的两个角或三个角确定的控制点运动矢量,获得当前块的子块的仿射运动矢量;以及
通过使用当前块的子块的仿射运动矢量获得当前块的预测样点,
其中,所述仿射合并候选列表包括以下仿射合并候选中的至少一个:使用与当前块的右上角的位置相邻的块的运动矢量所确定的仿射合并候选、以及使用与当前块的右下角的位置相邻的块的运动矢量所确定的仿射合并候选。
3.一种视频编码方法,包括:
当在仿射帧间模式下执行当前块的帧间预测时:
当使用4参数仿射类型时,使用从当前块的两个角确定的运动矢量获得当前块的子块的仿射运动矢量;
当使用6参数仿射类型时,使用从当前块的三个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
将用于当前块的仿射类型信息编码到比特流中,其中,所述仿射类型信息指示是使用4参数仿射类型还是使用6参数仿射类型;以及当在仿射合并模式下执行当前块的帧间预测时:
基于从当前块的多个角确定的控制点运动矢量是否可用,产生包括多个仿射合并候选的仿射合并候选列表;以及
使用与所述仿射合并候选列表中的一仿射合并候选相应的从当前块的两个角或三个角确定的控制点运动矢量,获得当前块的子块的仿射运动矢量;以及
通过使用当前块的子块的仿射运动矢量获得当前块的预测样点,
其中,所述仿射合并候选列表包括以下仿射合并候选中的至少一个:使用与当前块的右上角的位置相邻的块的运动矢量所确定的仿射合并候选、以及使用与当前块的右下角的位置相邻的块的运动矢量所确定的仿射合并候选。
4.一种存储通过视频编码产生的比特流的方法,包括:
当在仿射帧间模式下执行当前块的帧间预测时:
当使用4参数仿射类型时,使用从当前块的两个角确定的运动矢量获得当前块的子块的仿射运动矢量;
当使用6参数仿射类型时,使用从当前块的三个角确定的运动矢量获得当前块的子块的仿射运动矢量;以及
产生用于当前块的仿射类型信息,其中,所述仿射类型信息指示是使用4参数仿射类型还是使用6参数仿射类型;以及
当在仿射合并模式下执行当前块的帧间预测时:
基于从当前块的多个角确定的控制点运动矢量是否可用,产生包括多个仿射合并候选的仿射合并候选列表;以及
使用与所述仿射合并候选列表中的一仿射合并候选相应的从当前块的两个角或三个角确定的控制点运动矢量,获得当前块的子块的仿射运动矢量;
通过使用当前块的子块的仿射运动矢量获得当前块的预测样点;以及
将比特流存储在存储介质中,比特流包括所述仿射类型信息、关于仿射运动矢量的信息、以及所述预测样点与当前块的原始样点之间的残差数据,
其中,所述仿射合并候选列表包括以下仿射合并候选中的至少一个:使用与当前块的右上角的位置相邻的块的运动矢量所确定的仿射合并候选、以及使用与当前块的右下角的位置相邻的块的运动矢量所确定的仿射合并候选。
CN202311171715.9A 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置 Pending CN117014604A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762564697P 2017-09-28 2017-09-28
US62/564,697 2017-09-28
PCT/KR2018/011561 WO2019066574A1 (ko) 2017-09-28 2018-09-28 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN201880063174.9A CN111183642B (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880063174.9A Division CN111183642B (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置

Publications (1)

Publication Number Publication Date
CN117014604A true CN117014604A (zh) 2023-11-07

Family

ID=65903014

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311172854.3A Pending CN116996669A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN201880063174.9A Active CN111183642B (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN202311171763.8A Pending CN116996667A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN202311171715.9A Pending CN117014604A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN202311171824.0A Pending CN116996668A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202311172854.3A Pending CN116996669A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN201880063174.9A Active CN111183642B (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置
CN202311171763.8A Pending CN116996667A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311171824.0A Pending CN116996668A (zh) 2017-09-28 2018-09-28 编码方法和装置以及解码方法和装置

Country Status (7)

Country Link
US (2) US11363267B2 (zh)
EP (1) EP3691270A4 (zh)
KR (4) KR20230149330A (zh)
CN (5) CN116996669A (zh)
BR (1) BR112020005097A2 (zh)
MX (1) MX2020002586A (zh)
WO (1) WO2019066574A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135558A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10999596B2 (en) * 2018-06-19 2021-05-04 Qualcomm Incorporated Unification of affine motion field derivation and affine motion compensation
WO2020076047A1 (ko) 2018-10-09 2020-04-16 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
EP3893509A4 (en) 2018-12-07 2022-10-26 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND DEVICE AND VIDEO ENCODING METHOD AND DEVICE
EP3965420A4 (en) * 2019-04-30 2022-07-06 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING ADAPTIVE MOTION VECTOR RESOLUTION
CN114073080A (zh) * 2019-06-26 2022-02-18 三星电子株式会社 通过考虑编码顺序来执行基于仿射模型的预测的视频编码方法及其装置以及通过考虑解码顺序来执行基于仿射模型的预测的视频解码方法及其装置
WO2023075535A1 (ko) * 2021-10-29 2023-05-04 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치.

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459714B1 (ko) 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101484281B1 (ko) 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
SI2924995T1 (sl) 2010-07-09 2018-10-30 Samsung Electronics Co., Ltd. Postopek za dekodiranje videa z uporabo združevanja blokov
WO2012128540A2 (ko) 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
KR101543309B1 (ko) 2014-06-23 2015-08-12 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN107925758B (zh) 2015-08-04 2022-01-25 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
EP3410710A4 (en) * 2016-01-28 2019-09-11 Nippon Hoso Kyokai CODING DEVICE, DECODING DEVICE AND PROGRAM
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
WO2019235797A1 (ko) * 2018-06-03 2019-12-12 엘지전자 주식회사 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20230156805A (ko) * 2018-06-06 2023-11-14 엘지전자 주식회사 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US10863193B2 (en) * 2018-06-29 2020-12-08 Qualcomm Incorporated Buffer restriction during motion vector prediction for video coding
CN112640452A (zh) * 2018-08-29 2021-04-09 Vid拓展公司 用于基于仿射运动模型的视频译码的自适应运动向量精度
CN117097895A (zh) * 2018-09-23 2023-11-21 Lg 电子株式会社 编码/解码视频信号的方法及其装置
CN112740663B (zh) * 2018-09-24 2022-06-14 华为技术有限公司 图像预测方法、装置以及相应的编码器和解码器
EP3903487A4 (en) * 2018-12-28 2022-09-21 Telefonaktiebolaget Lm Ericsson (Publ) METHOD AND DEVICE FOR TRANSFORMATION SELECTION IN AN ENCODER AND DECODER
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
US10986334B2 (en) * 2019-03-09 2021-04-20 Tencent America LLC Method and apparatus for video coding
US20220053206A1 (en) * 2019-05-15 2022-02-17 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using adaptive motion vector resolution
US11032572B2 (en) * 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
US11677984B2 (en) * 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11184617B2 (en) * 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
US11153576B2 (en) * 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
US11206400B2 (en) * 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
US11228787B2 (en) * 2019-11-27 2022-01-18 Mediatek Inc. Signaling multiple transmission selection

Also Published As

Publication number Publication date
KR102591095B1 (ko) 2023-10-19
KR102487598B1 (ko) 2023-01-12
US20200221087A1 (en) 2020-07-09
US11363267B2 (en) 2022-06-14
CN116996667A (zh) 2023-11-03
BR112020005097A2 (pt) 2020-09-15
US20220312011A1 (en) 2022-09-29
MX2020002586A (es) 2020-07-20
KR20210127816A (ko) 2021-10-22
EP3691270A4 (en) 2021-06-02
CN116996669A (zh) 2023-11-03
CN111183642B (zh) 2023-09-15
KR20230149330A (ko) 2023-10-26
EP3691270A1 (en) 2020-08-05
CN116996668A (zh) 2023-11-03
KR20200028011A (ko) 2020-03-13
KR20230010066A (ko) 2023-01-17
WO2019066574A1 (ko) 2019-04-04
CN111183642A (zh) 2020-05-19
KR102317094B1 (ko) 2021-10-25

Similar Documents

Publication Publication Date Title
CN111183642B (zh) 编码方法和装置以及解码方法和装置
CN114097227A (zh) 视频解码方法和设备以及视频编码方法和设备
CN112655206A (zh) 视频解码方法和设备、以及视频编码方法和设备
KR102471075B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN112042190B (zh) 视频编码方法和装置以及视频解码方法和装置
EP3793194A1 (en) Video encoding method and apparatus, and video decoding method and apparatus
CN113170189A (zh) 视频解码方法和装置以及视频编码方法和装置
CN111213377A (zh) 用于视频解码的方法和设备以及用于视频编码的方法和设备
KR102516068B1 (ko) 부호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 부호화 방법 및 그 장치, 복호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 복호화 방법 및 그 장치
EP4054192A1 (en) Video decoding method and apparatus, and video encoding method and apparatus for performing inter prediction according to affine model
RU2788967C2 (ru) Способ и устройство кодирования видео и способ и устройство декодирования видео
CN118018724A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018723A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018722A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018725A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018721A (zh) 视频编码方法和设备以及视频解码方法和设备
CN113228640A (zh) 用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination