CN111183644A - 编码方法及其设备、解码方法及其设备 - Google Patents

编码方法及其设备、解码方法及其设备 Download PDF

Info

Publication number
CN111183644A
CN111183644A CN201880063025.2A CN201880063025A CN111183644A CN 111183644 A CN111183644 A CN 111183644A CN 201880063025 A CN201880063025 A CN 201880063025A CN 111183644 A CN111183644 A CN 111183644A
Authority
CN
China
Prior art keywords
motion vector
current block
coding
block
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880063025.2A
Other languages
English (en)
Inventor
李振荣
朴银姬
艾琳娜·阿尔辛娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111183644A publication Critical patent/CN111183644A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种视频解码方法,包括以下步骤:从比特流获取指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;根据与当前块相邻的块是否已经被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量;根据与当前块相邻的所述块是否已经被解码,确定当前块的运动矢量分辨率;根据所述差分运动矢量信息,确定当前块的差分运动矢量;根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且根据当前块的运动矢量,重建当前块,其中,与当前块相邻的所述块包括当前块的右侧的块。

Description

编码方法及其设备、解码方法及其设备
技术领域
本公开涉及一种视频编码方法和视频解码方法,并且更具体地,涉及一种用于通过确定图像的编码/解码的顺序来优化编码/解码效率的编码/解码方法和设备。
背景技术
高图像质量的视频需要大量用于编码的数据。然而,传输视频数据所允许的带宽是有限的,因此在传输视频数据时所应用的数据速率可能受限。因此,为了有效地传输视频数据,需要一种对视频数据进行编码和解码的方法,由此使图像质量的劣化最小化,同时提高压缩率。
可通过去除像素之间的空间冗余和时间冗余来压缩视频数据。彼此相邻的像素通常具有共同的特征,因此,为了去除相邻像素之间的冗余,以包括像素的数据单元发送编码信息。
不直接发送数据单元中包括的像素的像素值,而是发送获得像素值所需的方法。针对每个数据单元确定用于将像素值预测为与原始值相似的预测方法,并将针对该预测方法的编码信息从编码器发送到解码器。另外,因为预测值与原始值不完全相同,所以将关于原始值与预测值之间的差的残差数据从编码器发送到解码器。
随着预测变得更准确,指定预测方法所需的编码信息增加,但是残差数据的大小减小。因此,通过考虑编码信息和残差数据的大小来确定预测方法。特别地,从画面划分出的数据单元具有各种尺寸,并且随着数据单元的尺寸增加,预测的准确性很可能降低,但是编码信息减少。因此,与画面的特征对应地确定块尺寸。
另外,预测方法被分为帧内预测和帧间预测。帧内预测是一种从块的外围像素预测该块的像素的方法。帧间预测是一种通过参考由包括块的画面所参考的另一画面的像素来预测像素的方法。因此,帧内预测去除空间冗余并且帧间预测去除时间冗余。
随着预测方法的数量增加,用于指示预测方法的编码信息的量增加。因此,可通过从另一块预测应用于块的编码信息来同样地减少编码信息。
在不允许人类视觉察觉的限制内允许视频数据丢失,因此,可通过在变换和量化处理中对残差数据执行有损压缩来减少残差数据的量。
发明内容
技术问题
提供了一种用于根据当前块的编码顺序、相邻块是否被解码等来确定当前块的运动矢量分辨率的视频编码方法。另外,提供了一种用于根据当前块的编码顺序、相邻块是否被解码等来确定当前块的运动矢量分辨率的视频解码方法。另外,根据本公开的实施例提供了一种计算机可读记录介质,其中,所述计算机可读记录介质上记录有用于在计算机中执行视频编码方法和视频解码方法的程序。
技术方案
提供了一种视频解码方法,所述视频解码方法包括:从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;根据当前块的相邻块是否被解码以及预测运动矢量信息,确定当前块的预测运动矢量;根据当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率;根据所述差分运动矢量信息,确定当前块的差分运动矢量;根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且根据当前块的运动矢量重建当前块,其中,当前块的所述相邻块包括当前块的右侧块。
提供了一种视频解码设备,包括:处理器,被配置为:从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;根据当前块的相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量;根据当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率;根据所述差分运动矢量信息,确定当前块的差分运动矢量;根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且根据当前块的运动矢量,重建当前块,其中,当前块的所述相邻块包括当前块的右侧块。
提供了一种视频编码方法,所述视频编码方法包括:确定当前块的运动矢量;从当前块的相邻块确定当前块的预测运动矢量;根据当前块的所述相邻块是否被编码,确定当前块的运动矢量分辨率;根据当前块的运动矢量和当前块的预测运动矢量之间的差以及当前块的运动矢量分辨率,确定当前块的差分运动矢量;并且输出包括指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息的比特流,其中,当前块的所述相邻块包括当前块的右侧块。
提供了一种视频编码设备,包括:处理器,被配置为:确定当前块的运动矢量;从当前块的相邻块确定当前块的预测运动矢量;根据当前块的所述相邻块是否被编码,确定当前块的运动矢量分辨率;根据当前块的运动矢量和当前块的预测运动矢量之间的差以及当前块的运动矢量分辨率,确定当前块的差分运动矢量;并且输出包括指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息的比特流,其中,当前块的所述相邻块包括当前块的右侧块。
提供了一种非暂时性记录介质,其中,在所述非暂时性记录介质上记录有用于在计算机中执行视频编码方法和视频解码方法的程序。
本实施例的技术目标不限于上述技术目标,并且其他技术目标可从下文描述的实施例中得出。
有益效果
可通过根据与当前块相邻的块是否被解码来确定当前块的运动矢量分辨率,从而提高关于当前块的运动矢量分辨率的信息的压缩率。
附图说明
图1是根据实施例的图像解码设备的示意性框图。
图2是根据实施例的图像解码方法的流程图。
图3示出根据实施例的由图像解码设备执行的通过划分当前编码单元确定至少一个编码单元的处理。
图4示出根据实施例的由图像解码设备执行的通过划分非正方形编码单元确定至少一个编码单元的处理。
图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个信息来划分编码单元的处理。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。
图7示出根据实施例的当图像解码设备通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的由图像解码设备执行的当不能以预定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的由图像解码设备执行的通过划分第一编码单元确定至少一个编码单元的处理。
图10示出根据实施例的当由图像解码设备通过划分第一编码单元而确定的具有非正方形形状的第二编码单元满足预定条件时,第二编码单元可被划分为的形状受到限制。
图11示出根据实施例的由图像解码设备执行的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
图12示出根据实施例的可依据划分编码单元的过程改变多个编码单元之间的处理顺序。
图13示出根据实施例的当递归地划分编码单元以确定多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度、以及用于区分编码单元的部分索引(PID)。
图15示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。
图16示出根据实施例的用作用于确定画面中包括的参考编码单元的确定顺序的单元的处理块。
图17示出根据实施例的用于划分当前块并确定更深的划分出的块的编码顺序的视频解码设备。
图18a至图18c示出根据实施例的基本编码顺序。
图19a和图19b分别示出按照正方向对编码单元进行编码的情况和按照反方向对编码单元进行编码的情况。
图20示出编码树单元和编码树单元的用于描述编码树单元中包括的编码单元的编码顺序的树结构。
图21a和图21b描述如何根据编码顺序标志改变在垂直方向或水平方向上布置的三个或更多个块的编码顺序。
图22示出自适应运动矢量分辨率(AMVR)模式下的运动矢量分辨率。
图23示出根据由当前块参考的与当前块相邻的块的位置确定当前块的运动矢量分辨率的方法。
图24示出根据编码顺序确定运动矢量分辨率的方法。
图25描述根据划分块的方法确定运动矢量分辨率的方法。
图26示出根据实施例的用于划分当前块并对更深的划分出的块进行编码的视频解码方法。
图27示出根据实施例的用于划分当前块并对更深的划分出的块进行编码的视频编码设备。
图28示出根据实施例的用于划分当前块并对更深的划分出的块进行编码的视频编码方法。
最佳方式
提供了一种视频解码方法,所述视频解码方法包括:从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;根据当前块的相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量;根据当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率;根据差分运动矢量信息确定当前块的差分运动矢量;根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且根据当前块的运动矢量重建当前块,其中,当前块的所述相邻块包括当前块的右侧块。
具体实施方式
通过参考以下将参照附图描述的实施例,本公开的优点和特征以及实现所述优点和特征的方法将变得更加明显。然而,本公开可以以许多不同的形式被实施,并且不应被解释为受限于本文阐述的实施例;而是提供这些实施例以使本公开将是彻底和完整的,并且将向本领域普通技术人员充分传达本公开的概念。
将简要描述本说明书中使用的术语,并且将详细描述本公开。
考虑到本公开中使用的术语在本公开中的功能,将本公开中使用的术语尽可能选择为当今广泛使用的通用术语。然而,可根据相关领域技术人员的意图、先例或新技术的出现来改变术语。此外,本文中使用的某些术语可由申请人任意选择。在这种情况下,这些术语在下面的详细描述中被详细定义。因此,本文所使用的术语应当基于其唯一含义和本公开的整个上下文被理解。
如本文所使用的,除非上下文另外明确指示,否则单数形式旨在同样地包括复数形式。
在整个说明书中,将进一步理解的是,当部件“包括”或“包含”元件时,除非另外定义,否则该部件还可包括其他元件而不排除其他元件。
另外,说明书中使用的术语“单元”可表示软件或硬件组件(诸如FPGA或ASIC),并且可执行特定功能。然而,“单元”不限于软件或硬件。“单元”可被配置为包括在可执行寻址的存储介质中,或者可被配置为再现一个或更多个处理器。因此,例如,“单元”可包括软件组件、面向对象的软件组件、类组件和任务组件、处理器、功能、属性、程序、子例程、程序代码片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。由组件和“单元”提供的功能可被集成到更少量的组件和“单元”中,或者还可被分离为另外的组件和“单元”。
根据本公开的实施例,“单元”可被实现为处理器和存储器。术语“处理器”应被广义地解释为包括通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在某些环境中,“处理器”可指专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指例如处理装置的组合,诸如DSP和微处理器的组合、多个微处理器的组合、与DSP核心集成的一个或更多个处理器的组合、或者特定其他配置的组合。
术语“存储器”应被广义地解释为包括能够存储电子信息的电子组件。术语“存储器”可指各种类型的处理器可读介质,诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储装置、寄存器等。当处理器能够从存储器读取信息或将信息记录在存储器中时,则说该存储器与处理器处于电子通信中。集成在处理器中的存储器与该处理器处于电子通信中。
在下文中,“图像”可指示诸如视频的静止图像的静态图像,或者诸如视频的动态图像(即,动画运动图像)。
在下文中,“样点”是分配给图像采样位置的数据,并且可表示将被处理的数据。例如,空间域的图像中的像素值和变换域上的变换系数可以是样点。包括多个样点中的至少一个样点的单元可被定义为块。
在下文中,将参照附图详细描述本公开的实施例,使得本领域的普通技术人员可容易地执行实施例。另外,将省略与说明书无关的部分以清楚地描述本公开。
在下文中,通过参照图1至图16,将根据实施例详细描述图像编码设备、图像解码设备、图像编码方法和图像解码方法。通过参照图3至图16,根据实施例描述了确定图像的数据单元的方法。
在下文中,通过参照图1和图2,根据本公开的实施例详细描述了用于基于具有各种形状的编码单元来自适应地选择上下文模型的方法和设备。
图1是根据实施例的图像解码设备100的示意性框图。
图像解码设备100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。另外,接收器110和解码器120可包括存储将由至少一个处理器执行的指令的存储器。
接收器110可接收比特流。比特流包括指示以下将描述的图像编码设备2700对图像进行编码的信息。另外,可从图像编码设备2800发送比特流。图像编码设备2800和图像解码设备100可以以有线或无线方式彼此连接,并且接收器110可以以有线或无线方式接收比特流。接收器110可从诸如光学介质、硬盘等的存储介质接收比特流。解码器120可基于从接收到的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素来重建图像。
参照图2更详细地描述图像解码设备100的操作。
图2是根据实施例的图像解码方法的流程图。
根据本公开的实施例,接收器110可接收比特流。
图像解码设备100可执行从比特流获得与编码单元的划分形状模式对应的二进制位串的操作210。图像解码设备100可执行确定编码单元的划分规则的操作220。另外,图像解码设备100可执行基于与划分形状模式对应的二进制位串和划分规则中的至少一个来将编码单元划分为多个编码单元的操作230。为了确定划分规则,图像解码设备100可根据编码单元的宽高比来确定编码单元的尺寸的第一可允许的范围。为了确定划分规则,图像解码设备100可根据编码单元的划分形状模式来确定编码单元的尺寸的第二可允许的范围。
在下文中,详细描述根据本公开的实施例的编码单元的划分。
首先,可将画面划分为一个或更多个条带。条带可以是至少一个编码树单元(CTU)的序列。与CTU相比,有一个概念是编码树块(CTB)。
CTB表示包括N×N个样点的N×N块(N是整数)。每个颜色元素可被划分为一个或更多个CTB。
当画面具有三个样点阵列(Y、Cr和Cb分量样点阵列)时,CTU是包括亮度样点的一个CTB、色度样点的两个CTB、两个与亮度样点的CTB对应的CTB、以及用于对亮度样点和色度样点进行编码的语法结构的单元。当画面是单色画面时,CTU是包括单色样点的CTB和用于对单色样点进行编码的语法结构的单元。当画面是在被分离为每个颜色分量的色平面中被编码的画面时,CTU是包括用于对对应的画面和画面的样点进行编码的语法结构的单元。
一个CTB可被划分为包括M×N个样点的M×N编码块(M和N是整数)。
当画面具有Y、Cr和Cb分量样点阵列时,编码单元是包括亮度样点的一个编码块、色度样点的两个编码块、两个与亮度样点的编码块对应的编码块、以及用于对亮度样点和色度样点进行编码的语法结构的单元。当画面是单色画面时,编码单元是包括单色样点的编码块和用于对单色样点进行编码的语法结构的单元。当画面是在被分离为颜色分量的色平面中被编码的画面时,编码单元是包括用于对对应的画面和画面的样点进行编码的语法结构的单元。
如上所述,CTB和CTU是彼此不同的概念,并且编码块和编码单元是彼此不同的概念。即,编码单元(CTU)表示包括编码块(CTB)的数据结构,该编码块包括对应的样点以及与之对应的语法结构。然而,本领域普通技术人员可理解的是,编码单元(CTU)或编码块(CTB)指具有预定尺寸并且包括预定数量的样点的块,因此,在本说明书中,除非有特殊原因,否则CTB和CTU或编码块和编码单元被无分别地提及。
图像可被划分为CTU。可基于从比特流获得的信息来确定CTU的尺寸。CTU的形状可以是相同尺寸的正方形。然而,不限于此。
例如,可从比特流获得关于亮度编码块的最大尺寸的信息。例如,由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如,可从比特流获得关于可被二划分的亮度编码块的最大尺寸的信息以及关于亮度块尺寸差的信息。关于亮度块尺寸差的信息可指示可被二划分的亮度CTU和亮度CTB之间的尺寸差。因此,当将关于可被二划分的亮度编码块的最大尺寸的信息与关于亮度块尺寸差的信息结合时,可确定亮度CTU的尺寸,其中,关于可被二划分的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息是从比特流获得的。色度CTU的尺寸也可通过使用亮度CTU的尺寸来被确定。例如,当根据颜色格式的Y:Cb:Cr的比率为4:2:0时,色度块的尺寸可以是亮度块的尺寸的一半,同样地,色度CTU的尺寸可以是亮度CTU的尺寸的一半。
根据实施例,由于从比特流获得关于可被二划分的亮度编码块的最大尺寸的信息,因此可不同地确定可被二划分的亮度编码块的最大尺寸。与此不同,可固定可被三划分的亮度编码块的最大尺寸。例如,条带I中的可被三划分的亮度编码块的最大尺寸可以是32×32,并且条带P或B中的可被三划分的亮度编码块的最大尺寸可以是64×64。
另外,可基于从比特流获得的划分形状模式信息将CTU分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个,作为划分形状模式信息。
例如,指示是否执行四划分的信息可指示是否对当前编码单元进行四划分(QUAD_SPLIT)。
在当前编码单元不被四划分时,指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二划分/三划分。
在当前编码单元被二划分或三划分时,划分方向信息指示将在水平方向和垂直方向中的一个上划分当前编码单元。
当在水平方向或垂直方向上划分当前编码单元时,划分类型信息指示当前编码单元将被二划分或三划分。
根据划分方向信息和划分类型信息,可确定当前编码单元的划分模式。在当前编码单元在水平方向上被二划分时的划分模式可被确定为水平二划分(SPLIT_BT_HOR),在当前编码单元在水平方向上被三划分时的划分模式可被确定为水平三划分(SPLIT_TT_HOR),在当前编码单元在垂直方向上被二划分时的划分模式可被确定为垂直二划分(SPLIT_BT_VER),在当前编码单元在垂直方向上被三划分时的划分模式可被确定为垂直三划分(SPLIT_TT_VER)。
图像解码设备100可从一个二进制位串获得划分形状模式信息。由图像解码设备100接收的比特流的形状可包括固定长度的二元码、一元码、截断一元码、预定的二元码等。二进制位串是被指示为二进制数字位串的信息。二进制位串可包括至少一个比特。图像解码设备100可基于划分规则来获得与二进制位串对应的划分形状模式信息。图像解码设备100可基于一个二进制位串确定是否对编码单元进行四划分、是否对编码单元进行划分、或者划分方向和划分类型。
编码单元可小于或等于CTU。例如,CTU是具有最大尺寸的编码单元,因此,CTU也是编码单元。当关于CTU的划分形状模式信息指示不执行划分时,从CTU确定的编码单元具有与CTU相同的尺寸。当关于CTU的划分形状模式信息指示执行划分时,可将CTU划分为编码单元。另外,当关于编码单元的划分形状模式信息指示执行划分时,可将编码单元划分为更小尺寸的编码单元。然而,图像的划分不限于此,并且CTU和编码单元可不彼此分离。参照图3至图16更详细地描述编码单元的划分。
另外,可从编码单元确定用于预测的一个或更多个预测块。预测块可与编码单元相同或小于编码单元。另外,可从编码单元确定用于变换的一个或更多个变换块。变换块可与编码单元相同或小于编码单元。
变换块和预测块的形状和尺寸可彼此不相关。
根据另一实施例,可通过将编码单元用作预测块来执行预测。另外,可通过将编码单元用作变换块来执行变换。
参照图3至图16更详细地描述编码单元的划分。本公开的当前块和外围块可指示CTU、编码单元、预测块和变换块中的一个。另外,当前块或当前编码单元是当前被解码或编码的块或当前被划分的块。外围块可以是在当前块之前重建的块。外围块可在空间或时间上与当前块相邻。外围块可位于当前块的左下部、左部、左上部、上部、右上部、右部和右下部中的一个。
图3示出根据实施例的由图像解码设备100执行的通过划分当前编码单元确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里,N可以是正整数。块形状信息可以是指示编码单元的形状、方向、宽高比、或尺寸中的至少一个的信息。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度彼此相同时(即,当编码单元的块形状是4N×4N时),图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同时(即,编码单元的块形状是4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N),图像解码设备100可将编码单元的块形状信息确定为非正方形。当编码单元的形状是非正方形时,图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。另外,图像解码设备100可基于编码单元的宽度和高度确定编码单元是水平方向还是垂直方向。另外,图像解码设备100可基于编码单元的宽度、高度或面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元的划分方法。即,可基于由图像解码设备100使用的块形状信息指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而,不限于此,并且图像解码设备100和图像编码设备2800可基于块形状信息确定预定划分形状模式信息。图像解码设备100可确定针对CTU或最小编码单元的预定划分形状模式信息。例如,图像解码设备100可将针对CTU的划分形状模式信息确定为四划分。另外,图像解码设备100可将针对最小编码单元的划分形状模式信息确定为“不划分”。详细地,图像解码设备100可将CTU的尺寸确定为256×256。图像解码设备可将预定划分形状模式信息确定为四划分。四划分是用于对编码单元的宽度和高度两者进行二划分的划分形状模式。图像解码设备100可基于划分形状模式信息从256×256尺寸的CTU获得128×128尺寸的编码单元。另外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得针对最小编码单元的指示“不划分”的划分形状模式信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息确定是否划分正方形编码单元、是否垂直划分正方形编码单元、是否水平划分正方形编码单元、或者是否将正方形编码单元划分为四个编码单元。参照图3,当当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息来确定与当前编码单元300具有相同尺寸的编码单元310a不被划分,或者可确定基于指示预定划分方法的划分形状模式信息所划分出的编码单元310b、310c、310d、310e或310f。
参照图3,根据实施例,图像解码设备100可基于指示在垂直方向上执行划分的划分形状模式信息,确定通过在垂直方向上划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示在水平方向上执行划分的划分形状模式信息,确定通过在水平方向上划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示在垂直方向和水平方向上执行划分的划分形状模式信息,确定通过在垂直方向和水平方向上划分当前编码单元300而获得的四个编码单元310d。根据实施例,图像解码设备100可基于指示在垂直方向上执行三划分的划分形状模式信息,确定通过在垂直方向上划分当前编码单元300而获得的三个编码单元310e。图像解码设备100可基于指示在水平方向上执行三划分的划分形状模式信息,确定通过在水平方向上划分当前编码单元300而获得的三个编码单元310f。然而,正方形编码单元的划分方法不限于上述方法,并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细描述划分正方形编码单元的预定划分方法。
图4示出根据实施例的由图像解码设备100执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可基于划分形状模式信息,确定是否划分非正方形的当前编码单元或者是否通过使用预定划分方法来划分非正方形的当前编码单元。参照图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息,确定与当前编码单元400或450具有相同尺寸的编码单元410或460不被划分,或确定基于指示预定划分方法的划分形状模式信息所划分出的编码单元420a和420b、编码单元430a至430c、编码单元470a和470b或者编码单元480a至480c。下面将关于各种实施例详细描述划分非正方形编码单元的预定划分方法。
根据实施例,图像解码设备100可通过使用划分形状模式信息确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过划分编码单元所生成的一个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息划分当前编码单元400或450来确定当前编码单元400或450中包括的两个编码单元420a和420b、或者编码单元470a和470b。
根据实施例,当图像解码设备100基于划分形状模式信息划分非正方形的当前编码单元400或450时,可考虑非正方形的当前编码单元400或450的长边的位置。例如,图像解码设备100可考虑当前编码单元400或450的形状,通过划分当前编码单元400或450的长边来确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者编码单元480a、480b和480c。
根据实施例,当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比为4:1时,宽度大于高度,因此,块形状信息可以是水平方向。当宽高比为1:4时,宽度小于高度,因此,块形状信息可以是垂直方向。图像解码设备100可基于划分形状模式信息确定将当前编码单元划分为奇数个块。另外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,当当前编码单元400是垂直方向时,图像解码设备100可通过在水平方向上划分当前编码单元400来确定编码单元430a、430b和430c。另外,当当前编码单元450是水平方向时,图像解码设备100可通过在垂直方向上划分当前编码单元450来确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元,并且并非所有确定的编码单元可具有相同的尺寸。例如,所确定的奇数个编码单元430a、430b和430c或者编码单元480a、480b和480c中的预定编码单元430b或预定编码单元480b可具有与其他编码单元430a和430c或者其他编码单元480a和480c的尺寸不同的尺寸。即,通过划分当前编码单元400或450可确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者编码单元480a、480b和480c中的所有编码单元可具有不同的尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元,并且可对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加预定限制。参照图4,图像解码设备100可允许编码单元430b或编码单元480b的解码方法不同于其他编码单元430a和430c或者其他编码单元480a和480c的解码方法,其中,编码单元430b或编码单元480b位于通过划分当前编码单元400或450而生成的三个编码单元430a、430b和430c或者编码单元480a、480b和480c中的中心位置。例如,与其他编码单元430a和430c或者其他编码单元480a和480c不同,图像解码设备100可将中心位置处的编码单元430b或编码单元480b限制为不再被划分或仅被划分预定次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和划分形状模式信息中的至少一个信息来划分编码单元的处理。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个,确定将正方形的第一编码单元500划分为编码单元或不划分正方形的第一编码单元500。根据实施例,当划分形状模式信息指示在水平方向上划分第一编码单元500时,图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解的是,第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例,图像解码设备100可基于划分形状模式信息来确定将所确定的第二编码单元510划分为编码单元或不划分所确定的第二编码单元510。参照图5,图像解码设备100可基于划分形状模式信息将通过划分第一编码单元500所确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或者第三编码单元520b、520c和520d,或者可不划分非正方形的第二编码单元510。图像解码设备可获得划分形状模式信息,并通过基于获得的划分形状模式信息划分第一编码单元500来确定多个各种形状的第二编码单元(例如,510),并且可基于划分形状模式信息,通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时,还可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a或者第三编码单元520b、520c和520d。即,可基于每个编码单元的划分形状模式信息递归地划分编码单元。因此,可通过划分非正方形编码单元来确定正方形编码单元,并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5,通过划分非正方形的第二编码单元510所确定的奇数个第三编码单元520b、520c和520d中的预定编码单元(例如,中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例,可在水平方向上将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520b划分为多个第四编码单元。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可被划分为多个编码单元。例如,非正方形的第四编码单元530b或530d可被划分为奇数个编码单元。下面将关于各种实施例来描述可用于递归地划分编码单元的方法。
根据实施例,图像解码设备100可基于划分形状模式信息确定将第三编码单元520a或者第三编码单元520b、520c和520d中的每个划分为编码单元,或者不划分第二编码单元510。另外,图像解码设备100可基于划分形状模式信息确定不划分第二编码单元510。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预定第三编码单元施加预定限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的位于中心位置的第三编码单元520c限制为不再被划分或被划分可设置的次数。
参照图5,图像解码设备100可将非正方形的第二编码单元510中包括的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分、限制为通过使用预定划分方法进行划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)、或限制为仅被划分预定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预定位置处获得用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定编码单元的方法。
参照图6,可从当前编码单元600或650中包括的多个样点中的预定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而,当前编码单元600中的可获得至少一条划分形状模式信息的预定位置不限于图6中的中心位置,并且可包括当前编码单元600中所包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从所述预定位置获得划分形状模式信息,并且确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
根据实施例,当当前编码单元被划分为预定数量的编码单元时,图像解码设备100可选择这些编码单元中的一个编码单元。如下面将关于各种实施例描述的,可使用各种方法来选择多个编码单元中的一个编码单元。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定预定位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息,以确定所述奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过划分当前编码单元600或650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a至620c或奇数个编码单元660a至660c的位置的信息来确定中心位置处的编码单元620b或中心位置处的编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的预定样点的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置的编码单元620b。详细地,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中所包括的编码单元620a、620b和620c的宽度或高度的信息,并且所述宽度或高度可对应于指示编码单元620a、620b和620c在画面中的坐标之间的差的信息。即,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息,或通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息,来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),并且指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当左上样点630a、630b和630c的坐标按照升序或降序排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600所确定的编码单元620a、620b和620之中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过使用包括在编码单元中的样点的坐标作为指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例,图像解码设备100可通过使用指示上方编码单元620a的左上样点630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上样点630b的位置的坐标(xb,yb)和指示下方编码单元620c的左上样点630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各个尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。根据实施例,图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元的宽度或高度。图像解码设备100可基于所确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而,由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,因此通过比较基于预定样点的坐标而确定的编码单元的尺寸来确定预定位置处的编码单元的各种方法可被使用。
图像解码设备100可通过使用指示左侧编码单元660a的左上样点670a的位置的坐标(xd,yd)、指示中间编码单元660b的左上样点670b的位置的坐标(xe,ye)和指示右侧编码单元660c的左上样点670c的位置的坐标(xf,yf)来确定编码单元660a、660b和660c的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各个尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。根据实施例,图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元600的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度以及左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将尺寸与左侧编码单元660a和右侧编码单元660c的尺寸不同的中间编码单元660b确定为预定位置的编码单元。然而,由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,因此通过比较基于预定样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的各种方法可被使用。
然而,为确定编码单元的位置而考虑的样点的位置不限于上述左上位置,并且关于包括在编码单元中的样点的任意位置的信息可被使用。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择预定位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码设备100可确定水平方向上的预定位置处的编码单元。即,图像解码设备100可确定水平方向上的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。当当前编码单元具有高度大于宽度的非正方形形状时,图像解码设备100可确定垂直方向上的预定位置处的编码单元。即,图像解码设备100可确定垂直方向上的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息以确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可通过对当前编码单元进行划分(二划分)来确定偶数个编码单元,并且可通过使用关于所述偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与上面关于图6已经详细描述的确定奇数个编码单元中的预定位置(例如,中心位置)处的编码单元的操作对应,因此这里不提供其详细描述。
根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于预定位置处的编码单元的预定信息以确定所述多个编码单元中的预定位置处的编码单元。例如,图像解码设备100可在划分操作中使用中心位置处的编码单元中所包括的样点中存储的块形状信息和划分形状模式信息中的至少一个以确定通过划分当前编码单元而确定的多个编码单元中的中心位置处的编码单元。
参照图6,图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。即,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息,并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于划分形状模式信息,并且各种类型的信息可被用于确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的预定样点获得用于识别预定位置处的编码单元的预定信息。参照图6,图像解码设备100可使用从当前编码单元600中的预定位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过划分当前编码单元600所确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如,多个划分出的编码单元中的中心位置处的编码单元)。即,图像解码设备100可通过考虑当前编码单元600的块形状来确定预定位置处的样点,在通过划分当前编码单元600所确定的多个编码单元620a、620b和620c中确定包括可获得预定信息(例如,划分形状模式信息)的样点的编码单元620b,并且可对编码单元620b施加预定限制。参照图6,根据实施例,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得预定信息的样点,并且可在解码操作中对包括样点640的编码单元620b施加预定限制。然而,可获得预定信息的样点的位置不限于上述位置,并且可包括将被确定为受限制的编码单元620b中所包括的样点的任意位置。
根据实施例,可基于当前编码单元600的形状来确定可获得预定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元具有正方形形状还是非正方形形状,并且可基于所述形状来确定可获得预定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预定信息的样点。作为另一示例,当当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预定信息的样点。
根据实施例,当当前编码单元被划分为多个编码单元时,图像解码设备100可使用划分形状模式信息来确定多个编码单元中的预定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预定位置处的样点获得划分形状模式信息,并且通过使用从多个编码单元中的每个编码单元中的预定位置的样点获得的划分形状模式信息来对通过划分当前编码单元生成的多个编码单元进行划分。即,可基于从每个编码单元中的预定位置处的样点获得的划分形状模式信息递归地划分编码单元。上面已经关于图5描述了递归地划分编码单元的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分当前编码单元来确定一个或更多个编码单元,并且可基于预定块(例如,当前编码单元)来确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,图像解码设备100可基于划分形状模式信息,通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照预定顺序(例如,光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a至750d进行处理,其中,所述预定顺序为对一行中的编码单元进行处理并随后对下一行的编码单元进行处理。
根据实施例,图像解码设备100可递归地划分编码单元。参照图7,图像解码设备100可通过划分第一编码单元700来确定多个编码单元710a、710b、730a、730b、750a、750b、750c和750d,并且可递归地划分所确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每个编码单元。多个编码单元710a、710b、730a、730b、750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。这样,多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每个编码单元可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并且可确定独立地划分或不划分第二编码单元710a和710b中的每个。
根据实施例,图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于划分编码单元的操作确定编码单元的处理顺序。换句话说,可基于编码单元在即将被划分之前的处理顺序来确定划分的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c处理第三编码单元720a和720b。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后,对右侧第二编码单元710b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照预定顺序对被划分并被确定为各种形状的编码单元进行独立地处理。
图8示出根据实施例的由图像解码设备100执行的当不能以预定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的划分形状模式信息确定当前编码单元是否被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,并且第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及第三编码单元820c至820e。根据实施例,图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定第三编码单元820a和820b以及第三编码单元820c至820e是否能够按照预定顺序进行处理来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及第三编码单元820c至820e。图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个来确定第一编码单元800、第二编码单元810a和810b以及第三编码单元820a和820b及第三编码单元820c、820d和820e中的任意一个是否被划分为奇数个编码单元。例如,第二编码单元810a和810b中的位于右侧的第二编码单元可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是预定顺序(例如,Z字形扫描顺序830),并且图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元所确定的第三编码单元820c、820d和820e是否满足按照预定顺序进行处理的条件。
根据实施例,图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及第三编码单元820c、820d和820e是否满足按照预定顺序进行处理的条件,并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否沿着第三编码单元820a和820b以及第三编码单元820c、820d和820e的边界被对半划分有关。例如,通过将非正方形的左侧第二编码单元810a的高度对半划分所确定的第三编码单元820a和820b满足该条件。因为通过将右侧第二编码单元810b划分为三个编码单元所确定的第三编码单元820c、820d和820e的边界没有将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足该条件。当如上所述没有满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且基于确定结果来确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例,当将编码单元划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过划分第一编码单元900来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于由接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当第一编码单元900具有正方形形状并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地,当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c,或者通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足按照预定顺序进行处理的条件,并且该条件与第一编码单元900的宽度和高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分有关。参照图9,因为通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足按照预定顺序进行处理的条件。另外,因为通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足按照预定顺序进行处理的条件。当如上所述没有满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定的结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当将编码单元划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当通过划分第一编码单元1000所确定的具有非正方形形状的第二编码单元满足预定条件时,第二编码单元可被图像解码设备100划分成的形状受到限制。
根据实施例,图像解码设备100可基于由接收器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a、1010b、1020a和1020b。第二编码单元1010a、1010b、1020a和1020b可被独立地划分。这样,图像解码设备100可基于第二编码单元1010a、1010b、1020a和1020b中的每个的划分形状模式信息确定将第一编码单元1000划分为多个编码单元或不划分第一编码单元1000。根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000所确定的非正方形的左侧第二编码单元1010a进行划分来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码设备100可限制右侧第二编码单元1010b在左侧第二编码单元1010a被划分的水平方向上不被划分。当通过在相同方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分,所以可确定第三编码单元1012a、1012b、1014a和1014b。然而,这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况等同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000所确定的非正方形的第二编码单元1020a或1020b进行划分来确定第三编码单元1022a、1022b、1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)在上方第二编码单元1020a被划分的垂直方向上不被划分。
图11示出根据实施例的由图像解码设备100执行的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
根据实施例,图像解码设备100可通过基于划分形状模式信息划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110a、1110b、1120a、1120b等。
根据实施例,图像解码设备100可独立地对非正方形的第二编码单元1110a、1110b、1120a、1120b等进行划分。基于划分形状模式信息,第二编码单元1110a、1110b、1120a、1120b等中的每个可按照预定顺序被递归地划分,并且该划分方法可对应于划分第一编码单元1100的方法。
例如,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定具有与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。
作为另一示例,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定具有与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。
图12示出根据实施例的可依据划分编码单元的过程改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于划分形状模式信息划分第一编码单元1200。当块形状是正方形并且划分形状模式信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1200时,图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a、1210b、1220a、1220b等。参照图12,基于每个编码单元的划分形状模式信息,通过仅在水平方向或垂直方向上划分第一编码单元1200所确定的非正方形的第二编码单元1210a、1210b、1220a和1220b可被独立地划分。例如,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200所生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200所生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可按照预定顺序处理编码单元。上面已经关于图7描述了按照预定顺序处理编码单元的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过划分正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法来确定第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200所生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d,其中,所述处理顺序1217为:首先在垂直方向上对左侧第二编码单元1210a中包括的第三编码单元1216a和1216c进行处理,然后在垂直方向上对右侧第二编码单元1210b中包括的第三编码单元1216b和1216d进行处理。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200所生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d,其中,所述处理顺序1227为:首先在水平方向上对上方第二编码单元1220a中包括的第三编码单元1226a和1226b进行处理,然后在水平方向上对下方第二编码单元1220b中包括的第三编码单元1226c和1226d进行处理。
参照图12,可通过分别划分第二编码单元1210a、1210b、1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200所确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200所确定的第二编码单元1220a和1220b不同,但是从第二编码单元划分的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。这样,通过基于划分形状模式信息以不同的方式递归地划分编码单元,即使编码单元最终被确定为相同形状,图像解码设备100也可按照不同顺序处理多个编码单元。
图13示出根据实施例的当递归地划分编码单元以确定多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预定标准确定编码单元的深度。例如,所述预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是被划分后的当前编码单元的长边的长度的2n倍(n>0)时,图像解码设备100可确定当前编码单元的深度从划分之前的编码单元的深度增加n。在下面的描述中,具有增加的深度的编码单元被表示为深度更深的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1300来确定深度更深的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分至1/2所确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分至1/2所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度大于宽度的非正方形形状的“1:NS_VER”,或表示为指示宽度大于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320来确定深度更深的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码设备100可通过划分尺寸为2N×N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。即,图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。即,图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如,图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300所确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d。即,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于其长边的长度来被确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及第二编码单元1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及第二编码单元1404a和1404b可具有相同深度,例如,D。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例,图像解码设备100可通过基于划分形状模式信息在水平方向上划分高度大于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及第二编码单元1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息在垂直方向上划分宽度大于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b、1414a、1414b和1414c、1422a和1422b以及1424a、1424b和1424c的深度可基于其长边的长度来确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度大于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法,确定从具有宽度大于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当划分出的奇数个编码单元不具有相等尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于标识划分出的编码单元的PID。参照图14,划分出的奇数个编码单元1414a、1414b和1414c中的中心位置的编码单元1414b可具有与其他编码单元1414a和1414c的宽度相等的宽度并具有其他编码单元1414a和1414c的高度的两倍的高度。即,在这种情况下,中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此,当基于扫描顺序在中心位置处的编码单元1414b的PID为1时,位于编码单元1414b的下一个的编码单元1414c的PID可增加2并且因此可以是3。即,PID值可能存在不连续性。根据实施例,图像解码设备100可基于用于标识划分出的编码单元的PID是否存在不连续性来确定划分出的奇数个编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于标识通过划分当前编码单元所确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过对具有高度大于宽度的长方形形状的第一编码单元1410进行划分来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的预定位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例,当具有高度大于宽度的长方形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每个编码单元。图像解码设备100可比较奇数个划分出的编码单元的PID,以确定这些编码单元中的中心位置处的编码单元。图像解码设备100可将具有这些编码单元的PID中的与中间的值对应的PID的编码单元1414b确定为通过划分第一编码单元1410所确定的编码单元之中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过划分第一编码单元1410生成的编码单元1414b的宽度可与其他编码单元1414a和1414c的宽度相等,并且高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位于编码单元1414b的下一个的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID没有均匀地增加时,图像解码设备100可确定将编码单元划分为多个编码单元,并且所述多个编码单元包括具有与其他编码单元的尺寸不同的尺寸的编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸的方式来划分当前编码单元。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预定位置的编码单元的PID和尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预定数据单元,其中,在该预定数据单元中编码单元开始被递归地划分。
图15示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。
根据实施例,预定数据单元可被定义为通过使用块形状信息和划分形状模式信息中的至少一个开始递归地划分编码单元的数据单元。即,预定数据单元可对应于用于确定从当前画面划分出的多个编码单元的最高深度的编码单元。在下面的描述中,为了便于解释,预定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预定尺寸和预定尺寸形状。根据实施例,参考编码单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是表示为2的幂的整数。即,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用关于每个参考数据单元的划分信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定具有等于或大于最小尺寸的尺寸的各种参考数据单元,并且可通过使用关于确定的参考数据单元的划分形状模式信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、CTU等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的接收器110可从比特流获得关于各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的对当前编码单元300进行划分的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的对当前编码单元400或450进行划分的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此,这里将不提供其详细描述。
根据实施例,图像解码设备100可使用用于标识参考编码单元的尺寸和形状的PID,以根据先前基于预定条件确定的一些数据单元来确定参考编码单元的尺寸和形状。即,接收器110可从比特流仅获得用于标识针对每个条带、条带片段或CTU的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或CTU是各种数据单元(例如,序列、画面、条带、条带片段、CTU等)中满足预定条件的数据单元(例如,具有等于或小于条带的尺寸的数据单元)。图像解码设备100可通过使用PID确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对较小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此仅PID可被获得和使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于标识参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。即,图像解码设备100可通过基于PID选择预先确定的参考编码单元的尺寸和形状中的至少一个,确定包括在用作获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用CTU中包括的一个或更多个参考编码单元。即,从画面划分出的CTU可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,CTU的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将CTU划分n次来获得参考编码单元的尺寸。即,根据各种实施例,图像解码设备100可基于四叉树结构通过将CTU划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定画面1600中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是包括从画面划分出的一个或更多个参考编码单元的数据单元,并且可根据特定顺序确定处理块中包括的所述一个或更多个参考编码单元。即,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与用于确定参考编码单元的各种类型的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描顺序、Z字形扫描、N字形扫描、右上对角线扫描、水平扫描和垂直扫描)中的一个顺序,但不限于上述扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预定尺寸。
根据实施例,图像解码设备100的接收器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。即,接收器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,并且图像解码设备100可通过使用获得的处理块尺寸信息来确定从画面划分出的一个或更多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定画面1600中包括的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可确定处理块1602和1612的宽度是参考编码单元的宽度的四倍,并且可确定处理块1602和1612的高度是参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸来确定画面1600中包括的处理块1602和1612,并且可确定处理块1602和1612中一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。即,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,接收器110可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示在处理块中确定参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码设备100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,接收器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612有关的信息,并且图像解码设备100可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序,并基于该确定顺序来确定画面1600中包括的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得了参考编码单元的确定顺序信息时,可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是后向光栅扫描顺序时,可根据后向光栅扫描顺序确定处理块1612中包括的参考编码单元。
根据实施例,图像解码设备100可对确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用获得的信息。划分形状模式信息可被包括在与各种数据单元有关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的划分形状模式信息。此外,图像解码设备100可根据每个CTU、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法,并且可使用获得的语法。
在下文中,详细描述根据本公开的实施例的确定划分规则的方法。
图像解码设备100可确定图像的划分规则。可在图像解码设备100和图像编码设备2800之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息来确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头和条带片段头中的至少一个获得的信息来确定划分规则。图像解码设备100可根据帧、条带、时间层、CTU或编码单元来不同地确定划分规则。
图像解码设备100可基于编码单元的块形状来确定划分规则。块形状可包括编码单元的尺寸、形状、宽高比以及方向。图像编码设备2800和图像解码设备100可基于编码单元的块形状来确定划分规则。然而,不限于此。图像解码设备100可基于从接收自图像编码设备2800的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度彼此相同时,图像解码设备100可将编码单元的形状确定为正方形。另外,当编码单元的宽度和高度彼此不同时,图像解码设备100可将编码单元的形状确定为非正方形。
编码单元的尺寸可以包括各种尺寸,包括4×4、8×4、4×8、16×4、16×8、.….、和256×256。可根据编码单元的长边的长度、短边的长度或面积来划分编码单元的尺寸。图像解码设备100可将相同的划分规则应用于被划分为相同组的编码单元。例如,图像解码设备100可将具有相同长度的长边的编码单元划分为相同尺寸。此外,图像解码设备100可将相同的划分规则应用于具有相同长度的长边的编码单元。
编码单元的宽高比可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1或1:32。另外,编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度大于编码单元的高度的情况。垂直方向可指示编码单元的宽度小于编码单元的高度的情况。
图像解码设备100可基于编码单元的尺寸自适应地确定划分规则。图像解码设备100可基于编码单元的尺寸不同地确定可允许的划分形状模式。例如,图像解码设备100可基于编码单元的尺寸来确定是否允许划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸来确定划分规则可以是在图像编码设备2800和图像解码设备100之间预先确定的划分规则。另外,图像解码设备100可基于从比特流获得的信息来确定划分规则。
图像解码设备100可基于编码单元的位置来自适应地确定划分规则。图像解码设备100可基于图像中由编码单元所在的位置来自适应地确定划分规则。
另外,图像解码设备100可确定划分规则,使得通过使用不同的划分方法生成的编码单元不具有相同的块形状。然而,不限于此,并且通过使用不同的划分方法生成的编码单元可具有相同的块形状。通过使用不同的划分方法生成的编码单元可具有不同的解码处理顺序。参照图12描述解码处理顺序,因此,省略其详细描述。
参照图17至图28描述确定当前块的编码顺序的方法和根据该编码顺序应用AMVR模式的方法。
图17示出根据实施例的用于对当前块进行划分并对划分出的下层块进行编码的视频解码设备1700。
视频解码设备1700可包括处理器1710和存储器1720。在图17中,处理器1710和存储器1720被示为位于一个设备中的组件。然而,处理器1710和存储器1720不一定必须在物理上彼此相邻。因此,根据实施例,处理器1710和存储器1720可彼此分离。图17示出处理器1710是单个组件。然而,根据实施例,视频编码设备1700中可包括多个处理器。
由图17中的处理器1710执行的功能可由图1中的解码器120执行。
处理器1710可获得指示是否划分当前块的划分信息。划分信息指示是否将当前块划分为两个或更多个更小的块。另外,当划分信息指示对当前块进行划分时,处理器1710将当前块划分为两个或更多个下层块。
可根据当前块的形状将当前块划分为各种形状。例如,在当前块具有正方形形状时,可根据划分信息将当前块划分为四个更深的正方形块。
在当前块的形状允许两种或更多种划分方法时,处理器1710可根据划分形状信息来选择划分方法。因此,在划分信息指示对当前块进行划分时,处理器1710可获得指示当前块的划分方法的划分形状信息。另外,处理器1710可根据由划分形状信息指示的划分方法来划分当前块。
例如,在当前块具有正方形形状并且尺寸为2N×2N时,划分形状信息可指示在N×N划分、N×2N划分、2N×N划分、垂直非均匀三划分和水平非均匀三划分中的应用于当前块的划分方法。N×N划分是一种将当前块划分为四个N×N尺寸的块的方法。N×2N划分是一种将当前块划分为N×2N尺寸的块的方法。2N×N划分是一种将当前块划分为2N×N尺寸的块的方法。垂直非均匀三划分指将2N×2N尺寸的块划分为宽度相同并且高度比例为1:2:1的三个块的方法。水平非均匀三划分指将2N×2N尺寸的块划分为高度相同并且宽度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种划分方法来划分当前块。
在当前块尺寸为N×2N并且是垂直方向上的长度较长的长方形时,划分形状信息可指示N×N划分和垂直非均匀三划分中的应用于当前块的划分方法。N×N划分是一种将当前块划分为两个N×N尺寸的块的方法。垂直非均匀三划分指将N×2N尺寸的块划分为宽度相同并且高度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种划分方法来划分当前块。
在当前块尺寸为2N×N并且是水平方向上的长度较长的长方形时,划分形状信息可指示N×N划分和水平非均匀三划分中的应用于当前块的划分方法。N×N划分是一种将当前块划分为两个N×N尺寸的块的方法。水平非均匀三划分指将2N×N尺寸的块划分为高度相同并且宽度比例为1:2:1的三个块的方法。另外,可通过各种水平划分方法或垂直划分方法中的一种划分方法来划分当前块。
除了上述划分方法外,还可将通过使用非对称比例划分当前块的方法、将当前块划分为三角形的方法、将当前块划分为其他几何形状的方法等用作划分具有正方形和长方形的尺寸的当前块的方法。
当划分信息不指示对当前块进行划分时,处理器1710不划分当前块。另外,处理器1710对当前块进行解码。
在当前块是编码单元时,处理器1710将当前块确定为最终编码单元。最终编码单元不进一步被划分为更深的编码单元。根据实施例,处理器1710可将作为最终编码单元的当前块划分为除编码单元之外的数据单元。
根据实施例,处理器1710可根据分层树结构将当前块划分为一个或更多个预测单元。同样地,处理器1710可根据分层树结构将当前块划分为一个或更多个变换单元。另外,处理器1710可根据针对预测单元的预测结果和针对变换单元的变换结果重建当前块。
在当前块是预测单元时,处理器1710可对当前块执行预测。此外,在当前块是变换单元时,处理器1710可通过对针对当前块的量化的变换系数进行反量化和逆变换来获得残差数据。
处理器1710获得指示下层块的编码顺序的编码顺序信息。另外,处理器1710可根据获得的编码顺序信息确定下层块的解码顺序。
编码顺序信息指示当前块中包括的两个或更多个下层块的编码顺序。根据下层块的数量和确定编码顺序的方法确定编码顺序信息的数据量。
例如,当存在两个下层块时,可将编码顺序信息确定为指示两个下层块中的更早被编码的下层块。因此,编码顺序信息可具有1比特的数据量的标志的形式。
然而,当存在四个下层块时,下层块的编码顺序的情况的数量为4!=24。因此,为了指示24个编码顺序,需要5比特数据量。即,随着下层块的数量增加,编码顺序的情况的数量增加。因此,为了减少编码顺序信息的数据量,可使用通过确定是否针对预定的基本编码顺序调换一些下层块对的编码顺序来确定编码顺序的编码顺序确定方法。指示下层块对的编码顺序是否被调换的编码顺序信息指示编码顺序是相对于基本编码顺序的正方向还是反方向。
包括当前块的当前画面根据基本编码顺序被编码和解码。当前画面中被编码和解码的所有块和像素根据基本编码顺序在相同层级被编码和解码。因此,从当前块划分出的相同层级的下层块也根据基本编码顺序被编码和解码。基本编码顺序的实施例在下面将描述的图18a至图18c中被示出。
因此,当根据基本编码顺序对下层块对进行编码时,则说该下层块对按照正方向被编码。相反,当按照与基本编码顺序相反的顺序对下层块对进行编码时,则说该下层块对按照反方向被编码。
例如,当两个下层块在水平方向上彼此相邻并按照正方向被编码时,编码顺序信息可被确定使得左侧下层块更早被解码。相反,当在水平方向上彼此相邻的两个下层块按照反方向被编码时,编码顺序信息可被确定使得右侧下层块更早被解码。
同样,当两个下层块在垂直方向上彼此相邻并按照正方向被编码时,编码顺序信息可被确定使得上方下层块更早被解码。相反,当在垂直方向上彼此相邻的两个下层块按照反方向被编码时,编码顺序信息可被确定使得下方下层块更早被解码。
当编码顺序信息仅指示下层块对的编码顺序时,编码顺序信息具有1比特的数据量。具有1比特的数据量的编码顺序信息可被定义为编码顺序标志。
处理器1710可从比特流获得编码顺序信息。在比特流中,编码顺序信息可位于划分信息之后。
处理器1710可根据当前块的外围环境内部确定编码顺序信息。可根据是否对与当前块相邻的外围块进行编码来确定编码顺序信息。例如,处理器1710可确定比将更早被解码的其他下层块具有更多相邻的外围块的下层块。
针对处理器1710,图18a至图18c描述了根据实施例的基本编码顺序。图18a至图18c的基本编码顺序是Z字形编码顺序。根据Z字形编码顺序,从左方向到右方向对数据单元进行编码,并且在对当前行中的所有数据单元进行编码之后,从左方向到右方向对在当前行下面的行中包括的数据单元进行编码。上述Z字形编码顺序被称为光栅扫描顺序。
图18a示出根据Z字形编码顺序的当前画面1800中包括的CTU的编码顺序。根据Z字形编码顺序针对CTU设置索引0至15。首先从左方向到右方向对第一行中的CTU进行编码,然后从左方向到右方向对第二行中的CTU进行编码,其中,根据Z字形编码顺序将第一行中的CTU的索引设置为0至3,将第二行中的CTU的索引设置为4至7。也根据Z字形编码顺序对CTU进行内部编码。
图19b示出当前画面1800中包括的CTU中的第六索引的CTU 1810的编码顺序。针对已完成划分的具有最终深度的编码单元,根据Z字形编码顺序设置索引0至15。Z字形编码顺序被应用于相同深度的数据单元。另外,直到对深度为n的编码单元的所有更深编码单元进行编码之后,才对深度为n的下一顺序的编码单元进行编码。例如,直到对索引为5至14的所有编码单元进行编码之后,才对索引为15的编码单元进行编码。也根据Z字形编码顺序对编码单元进行内部编码。
图18c示出CTU 1810中包括的编码单元中的由第六索引的编码单元1824参考的参考样点。在当前正在被编码的具有第六索引的编码单元1824周围,仅具有第零索引的编码单元1812和具有第五索引的编码单元1822分别被重建。因此,仅编码单元1812的像素1850和编码单元1822的像素1860可被用作针对编码单元1824的参考样点。
图19a至图19c的Z字形编码顺序可根据数据单元,按照不同方向被应用。例如,可改变Z字形编码顺序按照从右方向到左方向对同一行中的数据单元进行编码。另外,可改变Z字形编码顺序,使得在对当前行中的所有数据单元进行编码之后对针对当前行的上一行中的数据单元进行编码。另外,可改变Z字形编码顺序,使得从上方向至下方向对同一列中的数据单元进行编码,并且在对当前列中的所有数据单元进行编码之后对针对当前列的右一列中的数据单元进行编码。
针对处理器1710,图19a和图19b分别示出按照正方向对编码单元1910进行编码的情况1900和按照反方向对编码单元1920进行编码的情况1902。将描述通过根据图19a和图19b改变编码顺序而获得的优点。
图19a的编码单元1910和图19b的编码单元1920根据帧内模式在右上方向上被预测。图19a和图19b的实线1930是在原始图像中以直线形式被布置并具有常数值的像素。因此,当沿实线1930的方向预测当前编码单元时,可提高编码单元1910和1920的预测精度。
在编码单元1910按照正方向被编码的情况1900下,针对当前编码单元1910的左侧编码单元、上方编码单元和右上方编码单元比当前编码单元1910更早被重建。因此,当前编码单元1910参考左侧编码单元、上方编码单元和右上方编码单元的像素或编码信息。例如,位于右上方编码单元的下边缘处的像素1916被用于预测当前编码单元1910。像素1916与当前编码单元1910在空间上分离,因此针对当前编码单元1910的部分1914的预测精度可能低。
然而,在当前编码单元1910按照反方向被编码的情况1902下,针对当前编码单元1910的右侧编码单元、上方编码单元和左上方编码单元比当前编码单元1920更早被重建,因此,在帧内预测中,位于上方编码单元的左边缘的像素1926可被用于预测当前编码单元1920。像素1926与当前编码单元1920相邻,因此针对当前编码单元1920的部分1924的预测精度可高于针对当前编码单元1910的部分1914的预测精度。
如针对图19a和图19b帧内预测的实施例所描述的,针对帧间预测,存在可通过从位于反方向上的块获得编码信息来提高预测精度的许多情况。在当前编码单元和当前编码单元的右侧编码单元是针对相同对象的编码单元时,当前编码单元与右侧编码单元可具有相似的运动信息。因此,可从右侧编码单元的运动信息推导当前编码单元的运动信息来提高编码效率。
因此,可通过将当前编码单元按照正方向被编码的情况的编码效率与当前编码单元按照反方向被编码的情况的编码效率进行比较来确定编码顺序,从而提高图像的编码效率。
可将编码顺序信息设置为与应用于当前块的上层块的编码顺序信息相同。例如,在当前块是预测单元或变换单元时,处理器1710可将应用于包括当前块的编码单元的编码顺序信息应用于当前块。作为另一示例,在当前块是编码单元时,处理器1710可将应用于深度低于当前块的编码单元的编码顺序信息应用于当前块。
当存在针对当前块的两个或更多个编码顺序标志时,处理器1710可从比特流获得仅一个编码顺序标志并且将剩余编码顺序标志确定为与从比特流获得的编码顺序标志同步。
关于经由处理器1710确定编码顺序,图20示出CTU和CTU的树结构,其中,CTU的树结构用于描述CTU中包括的编码单元的编码顺序。
CTU 2050被划分为多个编码单元2056、2058、2060、2062、2068、2070、2072、2074、2080、2082、2084和2086。CTU 2050对应于树结构的最高节点2000。另外,多个编码单元2056、2058、2060、2062、2068、2070、2072、2074、2080、2082、2084和2086分别与多个节点2006、2008、2010、2012、2018、2020、2022、2024、2030、2032、2034和2036对应。指示树结构的编码顺序的上方编码顺序标志2002、2014和2026与箭头2052、2064和2076对应,并且下方编码顺序标志2004、2016和2028与箭头2054、2066和2078对应。
上方编码顺序标志指示具有相同深度的四个编码单元中位于上部的两个编码单元的编码顺序。当上方编码顺序标志为0时,按照正方向执行编码。相反,当上方编码顺序标志为1时,按照反方向执行编码。
同样地,下方编码顺序标志指示具有相同深度的四个编码单元中位于下部的两个编码单元的编码顺序。当下方编码顺序标志为0时,按照正方向执行编码。相反,当下方编码顺序标志为1时,按照反方向执行编码。
例如,因为上方编码顺序标志2014为0,所以将编码单元2068与2070之间的编码顺序确定为正方向,即,从左位置到右位置。另外,因为下方编码顺序标志2016为1,所以将编码单元2072与2074之间的编码顺序确定为反方向,即,从右位置到左位置。
根据实施例,可将上方编码顺序标志和下方编码顺序标志设置为具有相同的值。例如,当上方编码顺序标志2002被确定为1时,与上方编码顺序标志2002对应的下方编码顺序标志2004也可被确定为1。因为将上方编码顺序标志和下方编码顺序标志确定为具有1比特的值,所以减小了编码顺序信息的数据量。
根据实施例,可通过参考应用于深度比当前编码单元的深度低的编码单元的上方编码顺序标志和下方编码顺序标志中的至少一个来确定当前编码单元的上方编码顺序标志和下方编码顺序标志。例如,可基于应用于编码单元2072和2074的下方编码顺序标志2016来确定应用于编码单元2080、2082、2084和2086的上方编码顺序标志2026和下方编码顺序标志2028。因此,可将上方编码顺序标志2026和下方编码顺序标志2028确定为具有与下方编码顺序标志2016相同的值。因为基于当前编码单元的上层编码单元确定上方编码顺序标志和下方编码顺序标志的值,所以不从比特流获得编码顺序信息。因此,减小了编码顺序信息的数据量。
关于经由处理器1710确定编码顺序,图21a和图21b描述了如何根据编码顺序标志改变在垂直方向或水平方向上布置的三个或更多个块的编码顺序。
图21a的实施例涉及仅当在空间上彼此相邻的编码单元的编码顺序相邻时才基于编码顺序标志交换编码顺序的方法。
编码单元2100被划分为三个编码单元2110、2120和2130。当基本编码顺序是从左位置到右位置时,按编码单元2110、编码单元2120和编码单元2130的顺序执行编码。然而,可根据编码顺序标志2140或2150来改变编码顺序。
编码顺序标志2140指示编码单元2110和编码单元2120的编码顺序。在编码顺序标志2140为0时,编码单元2110和编码单元2120的编码顺序被确定为正方向。因此,编码单元2110比编码单元2120更早被编码。然而,在编码顺序标志2140为1时,编码单元2110和编码单元2120的编码顺序被确定为反方向,因此,编码单元2120比编码单元2110更早被编码。
编码顺序标志2150指示编码单元2120和编码单元2130的编码顺序。在编码顺序标志2140指示正方向时,获得编码顺序标志2150。在编码顺序标志2140指示反方向时,编码单元2120和编码单元2130的编码顺序不相邻,因此,不获得编码顺序标志2150。在编码顺序标志2150为0时,编码单元2120和编码单元2130的编码顺序被确定为正方向。因此,编码单元2120比编码单元2130更早被编码。然而,在编码顺序标志2150为1时,编码单元2120和编码单元2130的编码顺序被确定为反方向,因此,编码单元2130比编码单元2120更早被编码。
根据图21a的实施例,存在三个编码单元的编码顺序的三种情况。因此,为了确定编码顺序,使用一个或两个编码顺序标志。
图21b的实施例涉及基于编码顺序标志2160确定编码顺序的方法,该编码顺序标志2160指示应用于三个编码单元的编码顺序的方向。
编码顺序标志2160指示编码顺序是正方向还是反方向。例如,在编码顺序标志2160为0时,可将编码单元2110、2120和2130的编码顺序确定为正方向。因此,在编码顺序标志2160为0时,可按照编码单元2110、编码单元2120和编码单元2130的顺序执行编码。
相反,在编码顺序标志2160为1时,可将编码单元2110、2120和2130的编码顺序确定为反方向。因此,在编码顺序标志2160为1时,可按照编码单元2130、编码单元2120和编码单元2110的顺序执行编码。
根据图21b的实施例,存在三个编码单元的编码顺序的两种情况。因此,为了确定编码顺序,使用一个编码顺序标志。
在图21a和图21b的实施例中使用的确定编码顺序的方法可应用于四个或更多个编码单元。
处理器1710可针对当前块的上层数据单元识别编码顺序改变允许信息。编码顺序改变允许信息指示是否允许改变针对包括在当前块的上层数据单元中的块的编码顺序。当编码顺序改变允许信息不允许改变编码顺序时,根据基本编码顺序对上层数据单元的所有块进行解码。当编码顺序改变允许信息指示针对当前块的编码顺序信息被编码时,处理器1710可获得编码顺序信息。
编码顺序改变允许信息可被包括在视频参数集、序列参数集、画面参数集、条带片段头、CTU头等中。另外,在存在两种类型或更多种类型的编码顺序信息时,可将针对两种类型或更多种类型的编码顺序信息的编码顺序改变允许信息划分并存储在不同的头中。
编码顺序改变允许信息可指示被提供编码顺序信息的深度或块尺寸。例如,仅在当前块的深度被包括在由编码顺序改变允许信息指示的深度中时,处理器1710才可获得编码顺序信息。作为另一示例,仅在当前块的块尺寸对应于由编码顺序改变允许信息指示的块尺寸时,处理器1710才可获得编码顺序信息。
在划分信息指示不划分当前块时,处理器1710可根据当前块的编码信息以及当前块的外围块是否被解码来确定预测当前块的方法。
当前块的编码信息可指示如何预测当前块。详细地,编码信息可指示多种帧内预测模式和多种帧间预测模式中的一种预测方法。详细地,AMVR模式可被包括在当前块中。因此,处理器1710可根据当前块的编码信息来确定应用于当前块的预测模式。
AMVR模式是一种根据当前块的相关信息确定当前块的运动矢量分辨率(MVR)的编码模式。MVR指示运动矢量的最小单元。根据MVR对差分运动矢量进行压缩,因此,可提高指示差分运动矢量的差分运动矢量信息的编码效率。
无论当前块的相关信息如何,都可确定MVR。然而,在根据AMVR模式根据当前块的相关信息确定MVR时,省略对关于MVR的信息的编码和解码,因此,可提高图像的编码效率和解码效率。另外,在AMVR模式下,在有可能改变当前块的编码顺序时,可根据当前块的编码顺序以及当前块的相邻块是否被编码来确定MVR。
处理器1710可将当前块的预测模式确定为帧间模式或帧内模式。另外,在当前块的预测模式是帧间模式时,处理器1710可获得关于当前块的运动矢量的信息。另外,处理器1710可确定是否将AMVR模式应用于当前块。可根据从比特流获得的AMVR模式标志来确定是否将AMVR模式应用于当前块。
处理器1710可从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息。在将AMVR模式应用于当前块时,处理器1710可另外确定当前块的MVR。
处理器1710可根据当前块的相邻块是否被解码以及预测运动矢量信息来确定当前块的预测运动矢量和当前块的MVR。
处理器1710可根据当前块的编码顺序信息、当前块的相邻块是否被解码以及当前块的预测运动矢量信息来确定当前块的预测运动矢量。另外,处理器1710可根据当前块的编码顺序信息以及当前块的相邻块是否被解码来确定当前块的MVR。预测运动矢量信息可指示预测运动矢量候选的类型、预测运动矢量候选的数量以及预测运动矢量的优先级顺序。
处理器1710可获得指示当前块的MVR的MVR信息。MVR信息可指示MVR的类型、MVR的数量以及MVR的优先级顺序。处理器1710可根据当前块的相邻块是否被解码以及MVR信息来确定当前块的MVR。
处理器1710可根据基于当前块的尺寸、当前块的编码顺序、当前块的编码模式、外围块的尺寸、外围块的编码顺序以及外围块的编码模式中的至少一个确定的上下文,对MVR信息进行熵解码。
处理器1710可根据当前块的相邻块是否被解码来确定可用于当前块的MVR候选。处理器1710可根据MVR信息从MVR候选中确定当前块的MVR。
处理器1710可根据当前块的相邻块是否被解码来确定当前块的预测运动矢量候选。另外,处理器1710可根据预测运动矢量信息从预测运动矢量候选中确定当前块的预测运动矢量。
另外,处理器1710可根据当前块的相邻块是否被解码来确定预测运动矢量候选和与该预测运动矢量候选对应的MVR候选。另外,处理器1710可将与由预测运动矢量信息指示的预测运动矢量候选对应的MVR候选确定为当前块的MVR。
处理器1710可根据当前块的尺寸、当前块的相邻块是否被解码以及预测运动矢量信息来确定当前块的预测运动矢量。处理器1710可根据当前块的尺寸以及当前块的相邻块是否被解码来确定当前块的MVR。
处理器1710根据差分运动矢量信息确定当前块的差分运动矢量。处理器1710可根据预测运动矢量、MVR和差分运动矢量来确定当前块的运动矢量。
处理器1710可根据MVR校正预测运动矢量和差分运动矢量。详细地,处理器1710可基于MVR和可用于当前块的最小分辨率之间的差来确定缩放常数。另外,处理器1710可根据缩放常数校正预测运动矢量和差分运动矢量。
缩放常数可被确定为通过将MVR除以最小分辨率而获得的值的二进制对数值。例如,在MVR是1像素单位而最小分辨率是1/4像素单位时,MVR可以是最小分辨率的四倍。因此,缩放常数可被确定为2。
根据下面的等式1和等式2,描述了校正预测运动矢量(MVP)的方法。>>指示右移位计算,而<<指示左移位计算。另外,k指示缩放常数,其中,缩放常数指示MVR和最小分辨率之间的差。根据等式1,可根据缩放常数对MVP进行向下舍入。另外,根据等式2,可根据缩放常数对MVP进行四舍五入。
【等式1】
MVP=(MVP>>k)<<k
【等式2】
MVP=((MVP+(1<<(k-1)))>>k)
根据下面的等式3和等式4,描述了经由编码端对差分运动矢量(MVD)进行编码的方法。根据等式3,MVD根据缩放常数被向右侧移位。另外,根据等式4,MVD根据缩放常数被四舍五入,并随后被向右侧移位。
【等式3】
MVD=MVD>>k
【等式4】
MVD=(MVD+(1<<(k-1)))>>k
根据下面的等式5,描述了由解码端执行的对MVD进行解码的方法。根据等式5,由编码端发送的MVD根据缩放常数被向左侧移位。
【等式5】
MVD=MVD<<k
基于等式3至等式5,编码端根据MVR对MVD进行压缩,并且解码端根据MVR对压缩后的MVD进行重建。
处理器1710可基于校正后的MVP和MVD来确定当前块的运动矢量。另外,处理器1710可根据当前块的运动矢量来重建当前块。
处理器1710可获得指示确定应用于包括在当前块的上层数据单元中的块的MVR的方法的MVR确定方法信息。例如,处理器1710可确定是否根据MVR确定方法信息获得MVR信息、是否根据MVP信息确定MVR、是否根据当前块的编码顺序和块尺寸确定MVR、是否根据当前块的相邻块是否被编码确定MVR等。另外,处理器1710可根据由MVR确定方法信息指示的MVR确定方法来确定当前块的MVR。
在下文中,图22示出在AMVR模式下的MVR。
将根据第一MVR 2210的运动矢量确定为1/4像素单位。可根据根据第一MVR 2210的运动矢量使用1/4像素单位来准确地预测当前块。然而,根据第一MVR 2210,因为MVD被编码为1/4像素单位,所以指示MVD的MVD信息的量增加。因此,根据第一MVR 2210,虽然当前块的预测精度高,但是编码效率低。
将根据第二MVR 2220的运动矢量确定为1/2像素单位。另外,将根据第三MVR 2230的运动矢量确定为1像素单位。因此,第二MVR 2220比第一MVR 2210具有更低的当前块的预测精度,但是比第一MVR 2210具有更高的编码效率。同样地,第三MVR 2230比第一MVR 2210和第二MVR 2220具有更低的当前块的预测精度,但是比第一MVR 2210和第二MVR 2220具有更高的编码效率。
将根据第四MVR 2240的运动矢量确定为2像素单位。根据第四MVR 2240,当前块的预测精度低于第一MVR 2210至第三MVR 2230的当前块的预测精度。然而,当前块的编码效率高于第一MVR 2210至第三MVR 2230的当前块的编码效率。
尽管在图22中未示出,但是可在AMVR模式下使用1/16单位的MVR、1/8单位的MVR、4单位的MVR、8单位的MVR等。可根据根据当前块的特征和AMVR模式下的周围环境所需的运动矢量的精度来确定图22中描述的多种MVR中的一种MVR。
图23描述根据当前块的相邻块的位置来确定当前块的MVR的方法,该相邻块由当前块参考。
处理器1710可根据当前块的相邻块是否被解码来确定与MVP候选对应的MVR候选。根据实施例,在从MVP候选中确定MVP时,可根据MVP信息将与MVP对应的MVR应用于当前块。
在当前块2300的左相邻块和右相邻块未被解码时,处理器1710可仅参考针对当前块2300的左上方块、上方块和右上方块。这里,位于第二位置2306、第五位置2312、第三位置2308、第四位置2310和第十二位置2326的相邻块可被顺序地确定为当前块2300的参考块。每个参考块对应于每个MVR候选。例如,可将与第二位置2306的参考块对应的MVR候选确定为1/4像素单位。另外,可将与第五位置2312的参考块对应的MVR候选确定为1/2像素单位。可将与第三位置2308的参考块对应的MVR候选确定为1像素单位。可将与第四位置2310的参考块对应的MVR候选确定为2像素单位。可将与第十二位置2326的参考块对应的MVR候选确定为4像素单位。
在当前块2300的左相邻块被解码并且当前块2300的右相邻块未被解码时,处理器1710可参考针对当前块2300的左下方块、左侧块、左上方块、上方块和右上方块。这里,位于第零位置2302、第二位置2306、第五位置2312、第四位置2310和第六位置2314的相邻块可被顺序地确定为当前块2300的参考块。每个参考块对应于每个MVR候选。例如,可将与第零位置2302的参考块对应的MVR候选确定为1/4像素单位。另外,可将与第二位置2306的参考块对应的MVR候选确定为1/2像素单位。可将与第五位置2312的参考块对应的MVR候选确定为1像素单位。可以将与第四位置2310的参考块对应的MVR候选确定为2像素单位。可将与第六位置2314的参考块对应的MVR候选确定为4像素单位。
在当前块2300的右相邻块被解码并且当前块2300的左相邻块未被解码时,处理器1710可参考针对当前块2300的右下方块、右侧块、左上方块、上方块和右上方块。这里,位于第一位置2304、第三位置2308、第四位置2310、第五位置2312和第七位置2316的相邻块可被顺序地确定为当前块2300的参考块。每个参考块对应于每个MVR候选。例如,可将与第一位置2304的参考块对应的MVR候选确定为1/4像素单位。另外,可将与第三位置2308的参考块对应的MVR候选确定为1/2像素单位。可将与第四位置2310的参考块对应的MVR候选确定为1像素单位。可将与第五位置2312的参考块对应的MVR候选确定为2像素单位。可将与第七位置2316的参考块对应的MVR候选确定为4像素单位。
在当前块2300的左相邻块和右相邻块两者都被解码时,处理器1710可参考针对当前块2300的左下方块、左侧块、右下方块、右侧块、左上方块、上方块和右上方块。这里,位于第零位置2302、第一位置2304、第二位置2306、第五位置2312和第四位置2308的相邻块可被顺序地确定为当前块2300的参考块。每个参考块对应于每个MVR候选。例如,可将与第零位置2302的参考块对应的MVR候选确定为1/4像素单位。另外,可将与第一位置2304的参考块对应的MVR候选确定为1/2像素单位。可将与第二位置2306的参考块对应的MVR候选确定为1像素单位。可将与第五位置2312的参考块对应的MVR候选确定为2像素单位。可将与第四位置2308的参考块对应的MVR候选确定为4像素单位。
根据实施例,可改变所参考的描述的位置。另外,根据实施例,可改变所参考的位置的数量和所参考的位置的顺序。另外,可通过比较当前块的宽度和高度来改变所参考的位置的顺序。例如,在当前块的宽度大于当前块的高度时,第十二位置2326可在第十位置2322和第十一位置2324之前。相反,在当前块的高度大于当前块的宽度时,第十位置2322和第十一位置2324可在第十二位置2326之前。
另外,可将相同的MVR候选分配给多个参考块。相反,可将两个或更多个MVR候选分配给一个参考块。这里,可根据MVR信息选择当前块的MVR。可选地,可根据当前块的尺寸或编码顺序来选择当前块的MVR。
根据所描述的实施例,当在所参考的位置处的块被帧内预测或者在所参考的位置处没有块时,处理器1710可将预定运动矢量确定为当前块的运动矢量候选。另外,在当前块的一个或更多个运动矢量候选重复时,处理器1710可去除一个或更多个重复的运动矢量候选,并且可将通过组合先前的运动矢量候选而生成的运动矢量确定为新的运动矢量候选或将预定运动矢量确定为新的运动矢量候选。
图24描述根据编码顺序确定MVR的方法。
可根据编码顺序确定MVR。例如,在从左位置到右位置确定编码顺序时的MVR和在从右位置到左位置确定编码顺序时的MVR可被确定为彼此不同。
在第一实施例2400中,从左位置到右位置对多个块进行解码。根据第一实施例2400的编码顺序,仅特定的MVR可被应用以确定当前块的运动矢量。例如,在第一实施例2400中,可将MVR确定为1/4像素单位和1像素单位中的一个。根据实施例,在第一实施例2400中,可将1/8像素单位至8像素单位中的至少一个用作当前块的MVR候选。
在第二实施例2410中,从右位置到左位置对多个块进行解码。根据第二实施例2410的编码顺序,仅特定的MVR可被应用以确定当前块的运动矢量。例如,在第二实施例2410中,可将MVR确定为1/2像素单位和2像素单位中的一个。根据实施例,在第二实施例2410中,可将1/8像素单位至8像素单位中的至少一个用作当前块的MVR候选。
图25描述根据划分块的方法确定MVR的方法。
在处理器1710划分当前块之后,处理器1710可根据块的宽度和高度确定在AMVR模式下使用的MVP候选和MVR候选。例如,通过垂直划分当前块2500生成的下层块2502和下层块2504以及通过水平划分当前块2510生成的下层块2512和下层块2514可具有彼此不同的确定MVP候选的方法和彼此不同的确定MVR候选的方法。
在处理器1710划分当前块2500或当前块2510之后,处理器1710可通过比较下层块的宽度和高度来确定:确定MVP候选的方法和确定MVR候选的方法。因此,可考虑下层块2502、2504、2512和2514的实质形状来确定:确定MVP候选的方法和确定MVR候选的方法。
在处理器1710垂直划分当前块2500之后,处理器1710根据下层块2502和下层块2504的编码顺序来确定:确定MVP候选的方法和确定MVR候选的方法。根据实施例,可确定确定MVP候选的方法和确定MVR候选的方法,使得下层块2502和下层块2504不彼此参考。
处理器1710可根据划分当前块2500和当前块2510的方法来确定下层块2502、2504、2512和2514的参考位置以及根据参考位置的MVR。
图26示出根据实施例的视频解码方法2600,该方法包括划分当前块和对划分出的下层块进行解码。
在操作2610,从比特流获得指示当前块的MVP的MVP信息和指示当前块的MVD的MVD信息。
另外,可获得指示包括当前块的上层块中的下层块的编码顺序的编码顺序信息。根据由编码顺序信息指示的编码顺序,可对包括当前块的上层块中的下层块进行解码。
另外,可获得指示确定应用于当前块的上层数据单元中包括的块的MVR的方法的MVR确定方法信息。可根据由MVR确定方法信息指示的确定MVR的方法来确定当前块的MVR。
在操作2620,根据当前块的相邻块是否被解码以及MVP信息来确定当前块的MVP和当前块的MVR。当前块的相邻块可包括当前块的右侧块。
另外,可根据编码顺序信息、当前块的相邻块是否被解码以及MVP信息来确定当前块的MVP和当前块的MVR。
可根据当前块的相邻块是否被解码来确定当前块的MVP候选。可根据MVP信息从MVP候选中确定当前块的MVP。另外,可根据当前块的相邻块是否被解码来确定与MVP候选对应的MVR候选。可将与由MVP信息指示的MVP候选对应的MVR候选确定为当前块的MVR。
根据实施例,可获得指示当前块的MVR的MVP信息。另外,可根据当前块的相邻块是否被解码以及MVR信息确定当前块的MVR。可根据基于当前块的尺寸、当前块的编码顺序、当前块的编码模式、外围块的尺寸、外围块的编码顺序以及外围块的编码模式中的至少一个确定的上下文,对MVR信息进行熵解码。
可根据当前块的相邻块是否被解码确定可用于当前块的MVR候选。可根据MVR信息从MVR候选中确定当前块的MVR。
可根据当前块的尺寸、当前块的相邻块是否被解码以及MVP信息确定当前块的MVP和当前块的MVR。
在操作2630,根据MVD信息确定当前块的MVD。
在操作2640,根据MVP、MVR和MVD确定当前块的运动矢量。
根据实施例,根据MVR校正MVP和MVD,并且可基于校正后的MVP和校正后的MVD确定当前块的运动矢量。详细地,基于MVR与当前块可用的最小分辨率之间的差来确定缩放常数,并且可根据缩放常数来校正MVP和MVD。
在操作2650,根据当前块的运动矢量来重建当前块。
可在视频解码方法2600中包括图17中描述的视频解码设备1700的功能。
图27示出根据实施例的用于划分当前块并对划分出的下层块进行编码的视频编码设备2700。
视频编码设备2700包括处理器2710和存储器2720。在图27中,处理器2710和存储器2720被示为位于一个设备中的组件。然而,处理器2710和存储器2720不一定必须在物理上彼此相邻。因此,根据实施例,处理器2710和存储器2720可彼此分离。在图27中,处理器2710被示为单个组件。然而,根据实施例,视频编码设备2700中可包括多个处理器。
处理器2710可将当前块划分为两个或更多个下层块,并且可根据对当前块进行划分的结果确定是否划分当前块。例如,当在划分当前块的情况下编码效率良好时,处理器2710可确定对当前块进行划分。当在不划分当前块的情况下编码效率良好时,处理器2710可确定不对当前块进行划分。
处理器2710可生成指示是否划分当前块的划分信息。另外,处理器2710可根据编码效率确定划分当前块的方法,并且生成指示划分当前块的方法的划分形状信息。
处理器2710可根据基于编码顺序的编码效率来确定当前块中包括的下层块的编码顺序,并且可生成指示下层块的编码顺序的编码顺序信息。处理器2710可通过比较按照正方向对当前编码单元进行编码时的编码效率和按照反方向对当前编码单元进行编码时的编码效率来确定编码顺序,从而提高图像的编码效率。
在当前块的划分完成时,处理器2710可确定针对当前块的下层块的预测模式。处理器2710可根据可应用于下层块的预测模式的编码效率来确定下层块的预测模式。可应用于下层块的预测模式可包括AMVR模式。
在当前块不被划分时,处理器2710可确定当前块的最佳运动矢量。另外,处理器2710可从当前块的相邻块确定当前块的MVP。另外,处理器2710可根据当前块的相邻块是否被解码来确定当前块的MVR。
处理器2710可根据当前块的运动矢量与MVP之间的差以及当前块的MVR来确定当前块的MVD。
处理器2710输出包括关于当前块的编码的信息的比特流。因此,处理器2710可输出包括指示当前块的MVP的MVP信息和指示当前块的MVD的MVD信息的比特流。
图27的视频编码设备2700可执行与由图17的视频解码设备1700执行的视频解码方法对应的视频编码方法。
图28示出根据实施例的视频编码方法2800,该方法包括划分当前块并对划分出的下层块进行编码。
在操作2810,确定当前块的运动矢量。
在操作2820,从当前块的相邻块确定当前块的MVP。
在操作2830,根据当前块的相邻块是否被编码来确定当前块的MVR。
在操作2840,根据当前块的运动矢量和MVP之间的差以及当前块的MVR来确定当前块的MVD。
在操作2850,输出包括指示当前块的MVP的MVP信息和指示当前块的MVD的MVD信息的比特流。
可在视频编码方法2800中包括图28中描述的视频编码设备2700的功能。
如上参照图1至图28所述,根据基于树结构的编码单元的视频编码方法,针对具有树结构的每个编码单元对空间域图像数据进行编码,并且根据基于树结构的编码单元的视频解码方法,对每个CTU进行解码,因此可重建空间域图像数据并且可重建画面和作为画面序列的视频。重建的视频可由再现装置再现,可被存储在存储介质中或可经由网络被传输。
详细描述的本公开的实施例可被实现为将在计算机中被执行的程序,并且可通过使用计算机可读记录介质在用于执行该程序的通用数字计算机中来实现。
尽管根据特定的最佳实施例描述了本公开,但是基于以上描述,对本公开的替换、修改和校正对于本领域普通技术人员将是明显的。即,应将权利要求的范围解释为包括所有这些替代、修改和校正。因此,本说明书和附图中的描述应被解释为非限制性示例。

Claims (15)

1.一种视频解码方法,包括:
从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;
根据当前块的相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量;
根据当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率;
根据所述差分运动矢量信息,确定当前块的差分运动矢量;
根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且
根据当前块的运动矢量,重建当前块,
其中,当前块的所述相邻块包括当前块的右侧块。
2.如权利要求1所述的视频解码方法,还包括:
从比特流获得指示包括当前块的上层块中的下层块的编码顺序的编码顺序信息;以及
根据由所述编码顺序信息指示的编码顺序,对包括当前块的所述上层块中的所述下层块进行解码。
3.如权利要求2所述的视频解码方法,其中,确定当前块的预测运动矢量的步骤包括:根据所述编码顺序信息、当前块的所述相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量,并且
确定当前块的预测运动矢量和当前块的运动矢量分辨率的步骤包括:根据所述编码顺序信息以及当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率。
4.如权利要求1所述的视频解码方法,还包括:
从比特流获得指示当前块的运动矢量分辨率的运动矢量分辨率信息,
其中,确定当前块的运动矢量分辨率的步骤包括:根据当前块的所述相邻块是否被解码以及所述运动矢量分辨率信息,确定当前块的运动矢量分辨率。
5.如权利要求4所述的视频解码方法,其中,确定当前块的运动矢量分辨率的步骤包括:
根据当前块的所述相邻块是否被解码,确定可用于当前块的运动矢量分辨率候选;以及
根据所述运动矢量分辨率信息,从所述运动矢量分辨率候选中确定当前块的运动矢量分辨率。
6.如权利要求4所述的视频解码方法,其中,从比特流获得运动矢量分辨率信息的步骤包括:根据基于当前块的尺寸、当前块的编码顺序、当前块的编码模式、外围块的尺寸、所述外围块的编码顺序以及所述外围块的编码模式中的至少一个确定的上下文,对所述运动矢量分辨率信息进行熵解码。
7.如权利要求1所述的视频解码方法,其中,确定当前块的预测运动矢量的步骤包括:
根据当前块的相邻块是否被解码,确定当前块的预测运动矢量候选;以及
根据所述预测运动矢量信息,从所述预测运动矢量候选中确定当前块的预测运动矢量。
8.如权利要求7所述的视频解码方法,其中,确定当前块的运动矢量分辨率的步骤包括:
根据当前块的所述相邻块是否被解码,确定与所述预测运动矢量候选对应的运动矢量分辨率候选;以及
将与由所述预测运动矢量信息指示的预测运动矢量候选对应的运动矢量分辨率候选确定为当前块的运动矢量分辨率。
9.如权利要求1所述的视频解码方法,其中,确定当前块的预测运动矢量的步骤包括:根据当前块的尺寸、当前块的所述相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量,并且
确定当前块的运动矢量分辨率的步骤包括:根据当前块的尺寸以及当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率。
10.如权利要求1所述的视频解码方法,其中,确定当前块的运动矢量的步骤包括:
根据所述运动矢量分辨率,校正所述预测运动矢量和所述差分运动矢量;以及
根据校正后的预测运动矢量和校正后的差分运动矢量,确定当前块的运动矢量。
11.如权利要求10所述的视频解码方法,其中,根据所述运动矢量分辨率校正所述预测运动矢量和所述差分运动矢量的步骤包括:
基于所述运动矢量分辨率和可用于当前块的最小分辨率之间的差来确定缩放常数;以及
根据所述缩放常数,校正所述预测运动矢量和所述差分运动矢量。
12.如权利要求1所述的视频解码方法,还包括:获得运动矢量分辨率确定方法信息,其中,所述运动矢量分辨率确定方法信息指示确定应用于包括在当前块的上层数据单元中的块的运动矢量分辨率的方法,
其中,确定当前块的预测运动矢量和当前块的运动矢量分辨率的步骤包括:根据由所述运动矢量分辨率确定方法信息指示的确定运动矢量分辨率的方法来确定当前块的运动矢量分辨率。
13.一种视频解码设备,包括:
处理器,被配置为:
从比特流获得指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息;
根据当前块的相邻块是否被解码以及所述预测运动矢量信息,确定当前块的预测运动矢量;
根据当前块的所述相邻块是否被解码,确定当前块的运动矢量分辨率;
根据所述差分运动矢量信息,确定当前块的差分运动矢量;
根据所述预测运动矢量、所述运动矢量分辨率和所述差分运动矢量,确定当前块的运动矢量;并且
根据当前块的运动矢量,重建当前块,
其中,当前块的所述相邻块包括当前块的右侧块。
14.一种视频编码方法,包括:
确定当前块的运动矢量;
从当前块的相邻块确定当前块的预测运动矢量;
根据当前块的所述相邻块是否被编码,确定当前块的运动矢量分辨率;
根据当前块的运动矢量和当前块的预测运动矢量之间的差以及当前块的运动矢量分辨率,确定当前块的差分运动矢量;并且
输出包括指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息的比特流,
其中,当前块的所述相邻块包括当前块的右侧块。
15.一种视频编码设备,包括:
处理器,被配置为:
确定当前块的运动矢量;
从当前块的相邻块确定当前块的预测运动矢量;
根据当前块的所述相邻块是否被编码,确定当前块的运动矢量分辨率;
根据当前块的运动矢量和当前块的预测运动矢量之间的差以及当前块的运动矢量分辨率,确定当前块的差分运动矢量;并且
输出包括指示当前块的预测运动矢量的预测运动矢量信息和指示当前块的差分运动矢量的差分运动矢量信息的比特流,
其中,当前块的所述相邻块包括当前块的右侧块。
CN201880063025.2A 2017-09-28 2018-09-28 编码方法及其设备、解码方法及其设备 Pending CN111183644A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564621P 2017-09-28 2017-09-28
US62/564,621 2017-09-28
PCT/KR2018/011476 WO2019066514A1 (ko) 2017-09-28 2018-09-28 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN111183644A true CN111183644A (zh) 2020-05-19

Family

ID=65902037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063025.2A Pending CN111183644A (zh) 2017-09-28 2018-09-28 编码方法及其设备、解码方法及其设备

Country Status (6)

Country Link
US (2) US11432003B2 (zh)
EP (1) EP3691274A4 (zh)
KR (3) KR102365166B1 (zh)
CN (1) CN111183644A (zh)
BR (1) BR112020004381A2 (zh)
WO (1) WO2019066514A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668678A (zh) * 2018-05-10 2023-08-29 Lg电子株式会社 图像编解码方法、计算机可读存储介质和数据发送方法
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
EP3939287A4 (en) * 2019-04-25 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON DIFFERENCE BETWEEN MOVEMENT VECTORS
JP7436527B2 (ja) * 2019-06-25 2024-02-21 北京字節跳動網絡技術有限公司 動きベクトルの差に関する制限
EP3993422A4 (en) * 2019-06-27 2023-07-19 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS AND VIDEO CODING METHOD AND APPARATUS
WO2021030502A1 (en) * 2019-08-12 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for adaptive motion vector resolution in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057632A1 (en) * 2009-03-06 2012-03-08 Kazushi Sato Image processing device and method
CN103313052A (zh) * 2009-08-13 2013-09-18 三星电子株式会社 用于对运动矢量进行编码/解码的方法和设备
CN105532004A (zh) * 2013-07-12 2016-04-27 三星电子株式会社 用于对视频进行层间编码和解码的设备和方法的基于块来预测视差矢量的方法
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
EP3203743A1 (en) * 2014-10-31 2017-08-09 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924850B1 (ko) 2002-01-24 2009-11-02 가부시키가이샤 히타치세이사쿠쇼 동화상 신호의 부호화 방법 및 복호화 방법
WO2010029850A1 (ja) 2008-09-09 2010-03-18 日本電気株式会社 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、及びそのプログラム
KR101356613B1 (ko) 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101377529B1 (ko) * 2011-01-07 2014-04-10 에스케이텔레콤 주식회사 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR101377528B1 (ko) * 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
WO2012128540A2 (ko) 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
US20120243614A1 (en) * 2011-03-22 2012-09-27 Danny Hong Alternative block coding order in video coding
KR102258753B1 (ko) 2011-06-24 2021-05-31 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 복호방법, 화상 부호화 장치, 화상 복호장치 및 화상 부호화 복호장치
CN106851311B (zh) 2011-08-29 2019-08-13 苗太平洋控股有限公司 视频译码装置
EP2770735A4 (en) 2011-10-17 2015-06-03 Toshiba Inc Kk CODING METHOD AND DECODING METHOD
TWI562606B (en) * 2012-01-30 2016-12-11 Samsung Electronics Co Ltd Apparatus for decoding video
EP3059968A4 (en) 2013-10-18 2017-05-31 LG Electronics Inc. Method and apparatus for decoding multi-view video
CN112188207B (zh) 2014-10-31 2023-10-20 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
EP3349458A4 (en) * 2015-11-24 2018-10-24 Samsung Electronics Co., Ltd. Encoding sequence encoding method and device thereof, and decoding method and device thereof
EP3185553A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium
CN108605129A (zh) * 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057632A1 (en) * 2009-03-06 2012-03-08 Kazushi Sato Image processing device and method
CN103313052A (zh) * 2009-08-13 2013-09-18 三星电子株式会社 用于对运动矢量进行编码/解码的方法和设备
CN105532004A (zh) * 2013-07-12 2016-04-27 三星电子株式会社 用于对视频进行层间编码和解码的设备和方法的基于块来预测视差矢量的方法
EP3203743A1 (en) * 2014-10-31 2017-08-09 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors

Also Published As

Publication number Publication date
US20220417553A1 (en) 2022-12-29
KR20220162856A (ko) 2022-12-08
EP3691274A4 (en) 2021-04-28
BR112020004381A2 (pt) 2020-09-08
US20200236395A1 (en) 2020-07-23
WO2019066514A1 (ko) 2019-04-04
KR102577754B1 (ko) 2023-09-12
EP3691274A1 (en) 2020-08-05
KR102471075B1 (ko) 2022-11-25
KR20200037277A (ko) 2020-04-08
KR20220025219A (ko) 2022-03-03
US11432003B2 (en) 2022-08-30
KR102365166B1 (ko) 2022-02-18

Similar Documents

Publication Publication Date Title
CN111183644A (zh) 编码方法及其设备、解码方法及其设备
KR102487598B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN114097227A (zh) 视频解码方法和设备以及视频编码方法和设备
CN111819845A (zh) 视频解码方法和装置以及视频编码方法和装置
CN113455004A (zh) 视频编码方法和装置以及视频解码方法和装置
CN110832857B (zh) 视频编码方法及装置、视频解码方法及装置
CN111758259A (zh) 视频解码方法和设备以及视频编码方法和设备
CN118018724A (zh) 视频编码方法和设备以及视频解码方法和设备
CN112042190A (zh) 视频编码方法和装置以及视频解码方法和装置
CN116156166A (zh) 图像编码方法、图像解码方法及其装置
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
CN112335239B (zh) 视频解码方法和装置以及视频编码方法和装置
CN113508590A (zh) 用于对图像进行编码和解码的设备及其用于对图像进行编码和解码的方法
CN114073080A (zh) 通过考虑编码顺序来执行基于仿射模型的预测的视频编码方法及其装置以及通过考虑解码顺序来执行基于仿射模型的预测的视频解码方法及其装置
CN111108750B (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
KR20210042809A (ko) 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법
CN112640456A (zh) 视频解码方法和设备以及视频编码方法和设备
KR20240096664A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN111108750A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination