CN118283261A - 用于图像编码的方法和装置及用于图像解码的方法和装置 - Google Patents
用于图像编码的方法和装置及用于图像解码的方法和装置 Download PDFInfo
- Publication number
- CN118283261A CN118283261A CN202410415942.XA CN202410415942A CN118283261A CN 118283261 A CN118283261 A CN 118283261A CN 202410415942 A CN202410415942 A CN 202410415942A CN 118283261 A CN118283261 A CN 118283261A
- Authority
- CN
- China
- Prior art keywords
- block
- division
- encoding
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000005192 partition Methods 0.000 claims description 104
- 241000023320 Luma <angiosperm> Species 0.000 claims description 18
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 18
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 238000005070 sampling Methods 0.000 description 13
- 238000001824 photoionisation detection Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Abstract
提供了一种用于图像编码的方法和装置及用于图像解码的方法和装置,包括:基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元,并且基于色度图像中的多个编码单元对当前图像进行解码。对此,确定色度图像中的多个编码单元可以包括,当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
Description
本申请为申请日为2019年5月10日、申请号为201980045982.7、发明名称为“用于图像编码的方法和装置以及用于图像解码的方法和装置”的发明专利的分案申请。
技术领域
根据实施例的方法和装置可以通过使用图像中包括的各种形状的编码单元对图像进行编码或解码。根据实施例的方法和装置可以通过对色度图像进行分层划分来确定至少一个编码单元,并且可以通过使用至少一个编码单元对色度图像进行编码或解码。
背景技术
随着能够再现和存储高分辨率或高质量图像内容的硬件的开发和广泛普及,对能够有效地编码或解码高分辨率或高质量图像内容的编解码器的需求量很大。编码的图像内容可以通过对其进行解码来再现。近来,使用了有效地压缩高分辨率或高质量图像内容的方法。例如,通过随机处理要被编码的图像的处理来实现有效的图像压缩方法。
可以使用各种数据单元来压缩图像,并且在数据单元之间可以存在包含关系。可以通过使用各种方法来划分数据单元以确定要在图像压缩中使用的数据单元的尺寸,然后可以基于图像的特性来确定最优数据单元,从而可以对图像进行编码或解码。
发明内容
问题的解决方案
根据本公开的实施例,提供了一种图像解码方法,包括:基于亮度块的划分方向和划分类型中的至少一个来获得一个或多个亮度编码单元;基于所获得的一个或多个亮度编码单元来解码亮度图像;当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来获得包括在所述色度块中的一个或多个色度编码单元;以及基于所获得的一个或多个色度编码单元来解码色度图像,其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
根据本公开的实施例,提供了一种图像解码设备,包括:至少一个处理器,被配置为:基于亮度块的划分方向和划分类型中的至少一个来获得一个或多个亮度编码单元,基于所获得的一个或多个亮度编码单元来解码亮度图像,当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型获得包括在所述色度块中的一个或多个色度编码单元,以及基于所获得的一个或多个色度编码单元来解码色度图像,其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
根据本公开的实施例,提供了一种图像编码方法,包括:基于亮度块的划分方向和划分类型中的至少一个来确定一个或多个亮度编码单元;基于所确定的一个或多个亮度编码单元来对亮度图像进行编码;当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来确定包括在所述色度块中的一个或多个色度编码单元;以及基于所确定的一个或多个色度编码单元来对色度图像进行编码,其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
根据本公开的实施例,提供了一种存储比特流的计算机可读存储介质,所述比特流通过图像编码方法编码,所述图像编码方法包括:基于亮度块的划分方向和划分类型中的至少一个来确定一个或多个亮度编码单元;基于所确定的一个或多个亮度编码单元来对亮度图像进行编码;当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来确定包括在所述色度块中的一个或多个色度编码单元;以及基于所确定的一个或多个色度编码单元来对色度图像进行编码,其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
根据本公开的实施例,一种图像解码方法包括:基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行解码,其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且其中,确定色度图像中的多个编码单元包括,当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
根据本公开的实施例,一种图像解码装置包括:至少一个处理器,被配置为:基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行解码,并且其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且当至少一个处理器确定色度图像中的多个编码单元时,并且当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,至少一个处理器被配置为不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
根据本公开的实施例,一种图像编码方法包括:基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行编码,并且
其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且
其中,确定色度图像中的多个编码单元包括,
当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
根据本公开的实施例的图像编码方法或图像解码方法的计算机程序可以被记录在计算机可读记录介质上。
附图说明
图1a是根据各种实施例的图像解码装置的框图。
图1b是根据各种实施例的图像解码方法的流程图。
图1c是根据各种实施例的图像解码器的框图。
图2a是根据各种实施例的图像编码装置的框图。
图2b示出了根据各种实施例的图像编码方法的流程图。
图2c是根据各种实施例的图像编码器的框图。
图3示出了根据实施例的由图像解码装置执行的通过划分当前编码单元来确定至少一个编码单元的过程。
图4示出了根据实施例的由图像解码装置执行的通过划分非正方形编码单元来确定至少一个编码单元的过程。
图5示出了根据实施例的由图像解码装置执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的过程。
图6示出了根据实施例的由图像解码装置执行的从奇数个编码单元当中确定预设编码单元的方法。
图7示出了根据实施例的在图像解码装置通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
图8示出了根据实施例的当编码单元不可按预设顺序处理时由图像解码装置执行的确定当前编码单元要被划分为奇数个编码单元的过程。
图9示出了根据实施例的由图像解码装置执行的通过划分第一编码单元来确定至少一个编码单元的过程。
图10示出了根据实施例的当在图像解码装置划分第一编码单元时确定的具有非正方形形状的第二编码单元满足预设条件时,第二编码单元可划分为的形状受到限制。
图11示出了根据实施例的当划分形状模式信息指示正方形编码单元不被划分为四个正方形编码单元时由图像解码装置执行的划分正方形编码单元的过程。
图12示出了根据实施例的多个编码单元之间的处理顺序可以取决于划分编码单元的过程而改变。
图13示出了根据实施例的当对编码单元进行递归划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的过程。
图14示出了根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出了根据实施例的基于图片中包括的多个预设数据单元来确定多个编码单元。
图16示出了根据实施例的用作用于确定图片中包括的参考编码单元的确定顺序的标准的处理块。
图17a和图17b是用于描述根据各种实施例的当划分树类型指示单树时通过其划分为尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
图18是用于描述根据实施例的当划分树类型指示双树时通过其划分尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
图19是用于描述根据实施例的通过使用基于边界的方向的划分形状模式来划分位于图片的边界处的块的方法的示图。
图20a和图20b是用于描述根据实施例的根据块的最小尺寸是否可在图片边界处的块通过对其施加允许的二元划分深度而二元划分时获得来划分图片边界处的块的方法的示图。
具体实施方式
根据本公开的实施例,一种图像解码方法包括:基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行解码,并且其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且
其中,确定色度图像中的多个编码单元包括,
当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
划分类型可以指示二元划分、三元划分和四元划分中的一个。
预设尺寸可以为4x2、2x4和2x2中的一个。
预设面积可以为8和4中的一个。
当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元,可以包括:根据是否满足基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件,确定要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积是否等于或小于预设尺寸或预设面积;以及响应于确定的结果,确定不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件可以对应于关于当当前色度块的划分类型指示四元划分时当前色度块的宽度或高度是否等于或小于4的条件。
基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件可以对应于关于当当前色度块的划分类型指示二元划分时当前色度块的面积是否等于或小于16的条件。
基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件可以对应于关于当当前色度块的划分类型指示二元划分时当前色度块的面积是否等于或小于32的条件。
当前图像的色度图像中的块的划分形状模式可以独立于当前图像的亮度图像中包括的块的划分形状模式。
当前图像的色度图像中的块的划分形状模式可以取决于当前图像的亮度图像中的块的划分形状模式,亮度图像中的块对应于色度图像中的块,并且色度图像中的块的尺寸可以基于当前图像的色度子采样格式和亮度图像中的对应块的尺寸来确定。
图像解码方法还可以包括:当要通过基于色度图像中的当前色度块的划分形状模式来划分色度图像的当前色度块而生成的多个块当中的块的尺寸等于或小于2xN(其中,N是等于或大于2的整数)或Nx2时,确定不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元,可以包括:当亮度图像中包括的当前亮度块位于图片的右边界时,从比特流获得指示来自二元划分和四元划分当中的划分类型的标志;以及基于所获得的标志,确定当前亮度块中包括的至少一个编码单元。
根据本公开的实施例,一种图像解码装置包括:至少一个处理器,被配置为基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行解码,并且其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且当至少一个处理器确定色度图像中的多个编码单元时,并且当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,至少一个处理器被配置为不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
根据本公开的实施例,一种图像编码方法包括:基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元;基于当前图像的色度图像中的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元;以及基于所确定的亮度图像中的多个编码单元和所确定的色度图像中的多个编码单元,对当前图像进行编码,并且其中,划分形状模式是基于块的划分方向和划分类型中的至少一个的模式,并且其中,确定色度图像中的多个编码单元包括,当要通过划分色度图像中的当前色度块而生成的多个色度块当中的色度块的尺寸或面积等于或小于预设尺寸或预设面积时,不允许基于当前色度块的划分形状模式划分当前色度块,并且确定当前色度块中包括的至少一个编码单元。
根据本公开的实施例的图像编码方法或图像解码方法的计算机程序可以被记录在计算机可读记录介质上。
公开的实施方式
通过参考实施例和附图,可以更容易地理解实施例的优点和特征以及实现该方法的方法。对此,本公开可以具有不同的形式,并且不应被解释为限于在此阐述的实施例。相反,提供这些实施例使得本公开将是彻底和完整的,并且将本公开的概念充分传达给本领域的普通技术人员。
将简要定义在说明书中使用的术语,并且将详细描述实施例。
说明书中使用的所有术语,包括描述性或技术性术语,应被解释为具有对本领域普通技术人员显而易见的含义。然而,根据本领域普通技术人员的意图、先例或新技术的出现,这些术语可能具有不同的含义。另外,申请人可以任意选择一些术语,并且在这种情况下,将在本公开的详细描述中详细描述所选择的术语的含义。因此,本公开中使用的术语不应仅基于其名称来解释,而必须基于术语的含义以及整个说明书中的描述来定义。
在以下说明书中,单数形式包括复数形式,除非上下文另外明确指出。
当部件“包括”或“包含”元件时,除非有相反的具体描述,否则该部件可以进一步包括其他元件,而不排除其他元件。
在以下描述中,诸如“单元”的术语表示软件或硬件组件,并且“单元”执行特定功能。然而,“单元”不限于软件或硬件。“单元”可以形成为位于可寻址存储介质中,或者可以形成为操作一个或多个处理器。因此,例如,术语“单元”可以是指组件,诸如软件组件、面向对象的软件组件、类组件和任务组件,并且可以包括进程、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组或变量。由组件和“单元”提供的功能可以与较少数量的组件和“单元”相关联,或者可以被划分为附加的组件和“单元”。
根据本公开的实施例,“单元”可以被实现为处理器和存储器。术语“处理器”应该被广义地解释为包括通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些环境中,“处理器”可以是指专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以是指处理设备的组合,诸如DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合,或任何其他此类配置的组合。
术语“存储器”应该广义地解释为包括能够存储电子信息的任何电子组件。术语“存储器”可以是指各种类型的处理器可读介质,诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁性或光学数据存储设备、寄存器等。当处理器可以从存储器中读取信息和/或将信息写入存储器时,存储器被声明为与处理器处于电子通信状态。集成在处理器中的存储器与处理器处于电子通信状态。
在下文中,“图像”可以是诸如视频的静止图像的静态图像,或者可以是诸如运动图像的动态图像,即,视频本身。
在下文中,“样点”表示分配给图像的采样位置的数据,即要处理的数据。例如,空间域中的图像的像素值和变换域中的变换系数可以是样点。包括至少一个这样的样点的单元可以被定义为块。
在下文中,为了使本领域普通技术人员能够毫无困难地执行实施例,现在将参考附图更全面地描述本公开。另外,为了清楚地描述本公开,在附图中将省略与描述无关的部分。
在下文中,将参考图1至图20描述根据各种实施例的图像编码装置和图像解码装置以及图像编码方法和图像解码方法。参考图3至图16,将描述根据各种实施例的确定图像的数据单元的方法,参考图1和图2以及图17至图20,将描述根据各种实施例的基于各种形状编码单元的图像编码装置和图像解码装置以及用于对图像进行编码或解码的图像编码方法和图像解码方法。
在下文中,现在将参考图1和图2描述根据本公开的实施例的用于基于各种形状的编码单元对图像进行编码或解码的编码或解码方法和装置。
图1a是根据各种实施例的图像解码装置的框图。
根据各种实施例的图像解码装置100可以包括编码单元确定器105和图像解码器110。编码单元确定器105和图像解码器110可以包括至少一个处理器。此外,编码单元确定器105和图像解码器110可以包括存储器,存储将由至少一个处理器执行的指令。图像解码器110和编码单元确定器105可以被实现为单独的硬件组件,或者图像解码器110可以包括编码单元确定器105。
编码单元确定器105可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元。
编码单元确定器105可以基于当前图像的色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。
编码单元确定器105可以确定色度块的尺寸或面积是否等于或小于预设尺寸或面积,其中,色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中。当前色度块的划分形状模式可以是指基于块的划分方向和划分类型中的至少一个的模式。
基于确定的结果,编码单元确定器105可以确定不允许基于当前色度块的划分形状模式划分当前色度块。
编码单元确定器105可以基于来自除了确定为不允许的划分形状模式之外的当前块的允许划分形状模式当中的一个划分形状模式来确定当前色度块中包括的至少一个编码单元。当当前块的允许划分形状模式不存在时,编码单元确定器105可以不再执行划分,并且可以将当前色度块确定为编码单元。
当编码单元确定器105确定色度块的尺寸或面积等于或小于预设尺寸或面积时,其中色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中,编码单元确定器105可以确定不允许基于当前色度块的划分形状模式划分当前色度块。对此,预设尺寸可以为4x2、2x4和2x2中的一个。另外,预设面积可以为8和4中的一个。
根据是否满足基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件,编码单元确定器105可以确定色度块的尺寸或面积是否等于或小于预设尺寸或面积,其中,色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中。对此,基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块的划分类型指示四元划分时当前色度块的宽度或高度是否等于或小于4的条件。当当前色度块的划分类型指示四元划分并且当前色度块的尺寸或宽度等于或小于4时,编码单元确定器105可以确定不允许基于四元划分进行划分。也就是说,当当前色度块的高度或宽度等于或小于4时通过对当前色度块进行四元划分而生成的多个色度块当中的色度块的高度或宽度可以等于或小于2。因此,通过对当前色度块进行四元划分而生成的多个色度块当中的色度块的尺寸可以为2x2、4x2或2x4(或更小尺寸),并且当作为编码单元允许这样的块的尺寸并且对块进行编码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的四元划分。
编码单元确定器105可以基于除四元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器105可以不再执行划分,并且可以将当前色度块确定为编码单元。
基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块指示二元划分时当前色度块的面积是否等于或小于16的条件。当当前色度块的划分类型指示二元划分并且当前色度块的面积等于或小于16时,编码单元确定器105可以确定不允许基于二元划分进行划分。也就是说,当当前色度块的面积等于或小于16时(例如,当当前色度块的尺寸等于或小于2x8、8x2或4x4时)通过对当前色度块进行二元划分而生成的多个色度块当中的色度块的尺寸可以等于或小于2x4或4x2。当作为编码单元允许这样的块的尺寸并且对块进行编码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的二元划分。编码单元确定器105可以基于除二元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器105可以不再执行划分,并且可以将当前色度块确定为编码单元。
基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块的划分类型指示三元划分(也称为三分划分)时当前色度块的面积是否等于或小于32的条件。当当前色度块的划分类型指示三元划分并且当前色度块的面积等于或小于32时,编码单元确定器105可以确定不允许基于三元划分进行划分。也就是说,当当前色度块的面积等于或小于32时(例如,当当前色度块的尺寸等于或小于4x8、8x4、2x16或16x2时),通过对当前色度块进行三元划分而生成的多个色度块当中的色度块的尺寸可以等于或小于2x4或4x2。当作为编码单元允许这样的块的尺寸并且对块进行编码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的三元划分。编码单元确定器105可以基于除三元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器105可以不再执行划分,并且可以将当前色度块确定为编码单元。
当前图像的色度图像中的块的划分形状模式可以独立于当前图像的亮度图像中包括的块的划分形状模式,但是本公开不限于此,因此,当前图像的色度图像中的块的划分形状模式可以取决于与色度图像中的块相对应的当前图像的亮度图像中包括的对应块的划分形状模式。
也就是说,编码单元确定器105可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元,并且可以基于与亮度图像中包括的块的划分形状模式相等的、色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。对此,编码单元确定器105可以基于当前块的色度子采样方案和亮度图像的对应块的尺寸来确定色度图像中的块的尺寸。例如,当色度子采样方案是指YUV 4:2:0,并且亮度图像的对应块的尺寸是指16x16时,色度图像中的块的尺寸可以被确定为8x8。
当块的尺寸等于或小于2xN(其中N是等于或大于2的整数)或Nx2时,其中块来自通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个块当中,编码单元确定器105可以确定不允许基于当前色度块的划分形状模式划分当前色度块。编码单元确定器105可以基于除不允许划分类型之外的允许划分类型来确定当前色度块中包括的至少一个编码单元。
图像解码器110可以基于亮度图像中的多个编码单元和色度图像中的多个编码单元对当前图像进行解码。
从每个帧间条带或图片划分的亮度块的每一个可以具有不同的预测模式。例如,每个亮度块可以具有帧间或帧内预测模式。在这种情况下,图像解码装置100可以将对应色度块的预测模式确定为如下。当当前条带或图片是帧间条带或图片并且具有帧内预测模式的亮度块的面积与亮度块的面积的比率等于或大于预设值时,图像解码装置100可以将色度块的预测模式确定为帧内预测模式。
当当前条带或图片是帧间条带或图片,并且具有帧间预测模式的亮度块的面积与亮度块的面积的比率等于或大于预设值时,图像解码装置100可以将色度块的预测模式确定为帧间预测模式。
当具有特定尺寸的亮度块被划分时,图像解码装置100可以从比特流获得关于对应色度块的预测模式的信息。
图像解码装置100可以将亮度块的预测模式确定为色度块的预测模式,亮度块对应于色度块的特定位置。例如,特定位置可以是左上方位置、中心位置、左下方位置、顶部位置、右下方位置等。对此,特定位置可以是预定义位置,但是本公开不限于此,并且图像解码装置100可以从单独的比特流获得关于特定位置的信息,并且可以基于所获得的信息来确定特定位置。
为了提高吞吐量,当当前块的尺寸等于或小于特定尺寸或者当前块的面积等于或小于特定值时,图像解码装置100可以执行以下操作。
图像解码装置100可以通过使用诸如离散余弦变换(DCT)的变换方法以外的变换方法对当前块进行逆变换。例如,当当前块的尺寸小于4x4时,图像解码器110可以通过使用Hadamard变换对当前块进行逆变换。
图像解码装置100可以将关于当前块的变换跳过标志的值设置为恒定为1。例如,图像解码装置100可以从比特流获得关于当前块的变换跳过标志,并且可以基于从比特流获得的变换跳过标志的值来设置变换跳过标志的值。然而,当当前块的尺寸等于或小于特定尺寸或者当前块的面积等于或小于特定值时,图像解码装置100可能不从比特流获得变换跳过标志,并且可以将当前块的变换跳过标志的值设置为1。
变换跳过标志是指指示是否要使用变换的标志,并且当变换跳过标志的值为0时,图像解码装置100可以不执行逆变换操作并且可以通过使用反量化块来重构当前块,并且当值为1时,图像解码装置100可以通过对反量化块执行逆变换操作来生成逆变换块,并且可以通过使用逆变换块来重构当前块。
当块的尺寸等于或小于特定尺寸或面积时,图像解码装置100可以确定不允许划分块。例如,当当前块的尺寸为8x8时,图像解码装置100可以确定不允许划分当前块。另外,例如,当当前块的面积为64时,图像解码装置100可以确定不允许划分当前块。
在帧间条带或图片中,要划分块的概率可以小于要跳过块的概率,因此图像解码装置100可以执行以下操作。
图像解码装置100可以在当前块的划分信息之前首先从比特流获得当前块的划分信息。
图像解码装置100可以获得指示最大编码单元在最大编码单元级别是否具有残差信息的标志信息,并且当标志信息的值指示最大编码单元不具有残差信息时,图像解码装置100可以不从比特流解析与残差相关的语法元素,并且可以确定跳过与之相关的解码过程。
另外,在帧间条带或图片中,图像解码装置100可以确定不允许非对称二元划分。
当当前块位于图片的边界时,图像解码装置100可以划分当前块,而无需从比特流单独获得信息。例如,当当前块位于图片的边界时,图像解码装置100可以对当前块进行四元划分,而无需从比特流单独获得信息。对此,可以递归地对当前块进行四元划分,直到划分块不位于边界。然而,在存在预定划分深度的情况下,可以将块划分为该深度。
当当前块位于图片的边界时,图像解码装置100可以划分当前块,而无需从比特流单独获得信息,并且对此,图像解码装置100可以基于各种划分类型和划分方向来划分当前块。对此,图像解码装置100可以基于块的边界条件来确定当前块的划分类型和划分方向。对此,可以递归地对当前块进行四元划分,直到划分块不位于边界。然而,在存在预定划分深度的情况下,可以将块划分为该深度。
例如,当当前块位于图片的底部边界时,图像解码装置100可以将当前块的划分方向确定为水平方向,可以将划分类型确定为二元划分(或三元划分),并且可以基于当前块的划分方向和划分类型在水平方向上对当前块进行二元划分(三元划分)。
当当前块位于图片的右边界时,图像解码装置100可以将当前块的划分方向确定为垂直方向,可以将划分类型确定为二元划分(或三元划分),并且可以基于当前块的划分方向和划分类型在垂直方向上对当前块进行二元划分(三元划分)。
当当前块位于图片的右下方边界时,图像解码装置100可以将当前块的划分类型确定为四元划分,并且可以基于当前块的划分类型对当前块进行四元划分。
因为允许用于块的划分类型或划分方向变得各种各样,所以复杂性呈几何增加。为了降低复杂度,图像解码装置100可以限制各种划分类型或划分方向中的一些划分类型或划分方向。
例如,图像解码装置100可以限制二元划分的划分深度。图像解码装置100可以限制块的允许比率或块的允许尺寸。
图像解码装置100可以通过仅使用满足限制条件的划分形状模式来划分块,而无需从比特流单独获得信息。
当当前块位于图片的边界时,图像解码装置100可以仅允许来自块的各种划分类型当中的一些划分类型。例如,当当前块位于图片的边界时,图像解码装置100可以仅允许来自各种划分类型当中的四元划分。
在当前块中可使用的特定划分形状模式不存在的情况下,图像解码装置100可以隐式划分当前块,直到划分块具有在块中可使用的特定划分形状模式为止。
当位于图片的边界的当前块不具有残差时,图像解码装置100可以确定不进一步划分当前块。为了使得能够进行确定,图像解码装置100可以执行以下操作。
当当前块位于图片的边界时,图像解码装置100可以从比特流获得指示是否允许针对当前块的隐式划分的标志。当标志的值等于0时,图像解码装置100可以确定不允许针对当前块的隐式划分。在这种情况下,图像解码装置100可以从比特流获得关于当前块的划分形状模式的信息,并且可以基于获得的信息来确定当前块的划分形状模式。当标志的值等于1时,图像解码装置100可以确定允许针对当前块的隐式划分。在这种情况下,图像解码装置100可以对当前块执行隐式划分。
当当前块位于图片的边界时,图像解码装置100可以从比特流获得指示当前块不具有残差的标志。当标志的值等于0时,图像解码装置100可以对当前块执行隐式划分。当标志的值等于1时,图像解码装置100可以确定对当前块执行跳过模式解码过程。
当当前最大编码单元位于图片的边界时,图像解码装置100可以从比特流获得最大编码单元级别的标志,该标志指示隐式划分是否允许用于最大编码单元。
当标志的值为0时,图像解码装置100可以确定针对最大编码单元不允许隐式划分。
当标志的值为1时,图像解码装置100可以确定针对最大编码单元允许隐式划分,并且可以对最大编码单元执行隐式划分处理。
当当前最大编码单元位于图片的边界时,图像解码装置100可以从比特流获得指示当前最大编码单元不具有残差的标志。当标志的值等于0时,图像解码装置100可以对当前最大编码单元执行隐式划分。当标志的值等于1时,图像解码装置100可以确定对当前最大编码单元执行跳过模式解码过程。
当当前块位于图片的边界时,图像解码装置100可以隐式确定当前块的划分形状模式。例如,图像解码装置100可以基于边界条件从多个特定划分形状模式当中确定一个划分形状模式。当当前块位于图片的右边界时,图像解码装置100可以从比特流获得指示来自二元划分和四元划分当中的一种划分类型的标志。
当当前最大编码单元位于图片的边界时,图像解码装置100可以从比特流获得要用于当前最大编码单元的划分形状模式信息。
当当前块位于图片的边界时,图像解码装置100可以基于图片中的面积的比率来确定当前块的划分形状模式。例如,图像解码装置100可以基于图片中的块面积的高度与宽度的比率来确定当前块的划分形状模式。当当前块位于左边界或右边界,并且当前块的宽度和高度的比率大于N时,图像解码装置100可以将当前块的划分类型确定为四元划分。如果不是这样,则图像解码装置100可以将当前块的划分类型确定为二元划分。
当当前块的宽度和高度的比率不等于整数值时,图像解码装置100可以将当前块的划分类型确定为四元划分,或者可以将当前块的划分类型确定为二元划分。
可选地,不管当前块是否位于图片的边界,图像解码装置100可以总是从比特流获得关于当前块的划分形状模式信息。当当前块位于图片的边界时,图像解码装置100可以通过分配与未位于图片的边界的块的上下文不同的上下文自适应二进制算术编码(CABAC)上下文来确定执行熵解码。图像解码装置100可以基于边界条件通过使用CABAC上下文来确定执行熵解码。
图1b是根据各种实施例的图像解码方法的流程图。
在操作S105中,图像解码装置100可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元。划分形状模式可以是基于划分方向和划分类型中的至少一个的模式。划分类型可以指示二元划分、三元划分和四元划分中的至少一个。
在操作S110中,图像解码装置100可以基于当前图像的色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。当色度块的尺寸或面积等于或小于预设尺寸或面积时,其中色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中,图像解码装置100可以不允许基于当前色度块的划分形状模式划分当前色度块,并且可以确定当前色度块中包括的至少一个编码单元。
在操作S115中,图像解码装置100可以基于亮度图像中的多个编码单元和色度图像中的多个编码单元对当前图像进行解码。
图1c是根据各种实施例的图像解码器6000的框图。
根据各种实施例的图像解码器6000执行图像解码装置100的图像解码器110对图像数据进行解码所需的操作。
参考图1c,熵解码器6150从比特流6050解析要被解码的编码图像数据以及解码所需的编码信息。编码图像数据是量化的变换系数,并且解量化器6200和逆变换器6250根据量化的变换系数来重构残差数据。
帧内预测器6400对每个块执行帧内预测。帧间预测器6350通过使用从重构图片缓冲器6300获得的参考图像对每个块执行帧间预测。可以通过将残差数据和由帧内预测器6400或帧间预测器6350生成的每个块的预测数据相加来重构当前图像6050的块的空间域的数据,并且去块器6450和样点自适应偏移(SAO)执行器6500可以对空间域的重构数据执行环路滤波,从而可以输出滤波的重构图像。存储在重构图片缓冲器6300中的重构图像可以被输出作为参考图像。
为了使图像解码装置100对图像数据进行编码,根据各种实施例的图像解码器6000可以对每个块执行每个阶段的操作。
图2a是根据各种实施例的图像编码装置的框图。
根据各种实施例的图像编码装置150可以包括编码单元确定器155和图像编码器160。
编码单元确定器155和图像编码器160可以包括至少一个处理器。此外,编码单元确定器155和图像编码器160可以包括存储器,存储将由至少一个处理器执行的指令。图像编码器160和编码单元确定器155可以被实现为单独的硬件组件,或者图像编码器160可以包括编码单元确定器155。
编码单元确定器155可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元。
编码单元确定器155可以基于当前图像的色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。编码单元确定器155可以确定色度块的尺寸或面积是否等于或小于预设尺寸或面积,其中,色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中。基于确定的结果,编码单元确定器155可以确定不允许基于当前色度块的划分形状模式划分当前色度块。
编码单元确定器155可以基于除了确定为不允许的划分形状模式之外的当前块的允许划分形状模式中的一个划分形状模式来确定当前色度块中包括的至少一个编码单元。当当前块的允许划分形状模式不存在时,编码单元确定器155可以不再执行划分,并且可以将当前色度块确定为编码单元。
当编码单元确定器155确定色度块的尺寸或面积等于或小于预设尺寸或面积时,其中色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中,编码单元确定器155可以确定不允许基于当前色度块的划分形状模式划分当前色度块。对此,预设尺寸可以为4x2、2x4和2x2中的一个。另外,预设面积可以为8和4中的一个。
根据是否满足基于当前色度块的尺寸或面积以及当前色度块的划分形状模式的条件,编码单元确定器155可以确定色度块的尺寸或面积是否等于或小于预设尺寸或面积,其中,色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中。对此,基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块的划分类型指示四元划分时当前色度块的宽度或高度是否等于或小于4的条件。当当前色度块的划分类型指示四元划分并且当前色度块的尺寸或宽度等于或小于4时,编码单元确定器155可以确定不允许基于四元划分进行划分。也就是说,当当前色度块的高度或宽度等于或小于4时通过对当前色度块进行四元划分而生成的多个色度块当中的色度块的高度或宽度可以等于或小于2。因此,通过对当前色度块进行四元划分而生成的多个色度块当中的色度块的尺寸可以为2x2、4x2或2x4(或更小尺寸),并且当作为编码单元允许这样的块的尺寸并且对块进行编码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的四元划分。编码单元确定器155可以基于除四元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器155可以不再执行划分,并且可以将当前色度块确定为编码单元。
基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块指示二元划分时当前色度块的面积是否等于或小于16的条件。当当前色度块的划分类型指示二元划分并且当前色度块的面积等于或小于16时,编码单元确定器155可以确定不允许基于二元划分进行划分。也就是说,当当前色度块的面积等于或小于16时(例如,当当前色度块的尺寸等于或小于2x8、8x2或4x4时)通过对当前色度块进行二元划分而生成的多个色度块当中的色度块的尺寸可以等于或小于2x4或4x2。当作为编码单元允许这样的块的尺寸并且对块进行编码或解码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的二元划分。编码单元确定器155可以基于除二元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器155可以不再执行划分,并且可以将当前色度块确定为编码单元。
基于当前色度块的尺寸或面积以及当前块的划分形状模式的条件可以是指关于当当前色度块的划分类型指示三元划分时当前色度块的面积是否等于或小于32的条件。当当前色度块的划分类型指示三元划分并且当前色度块的面积等于或小于32时,编码单元确定器155可以确定不允许基于三元划分进行划分。也就是说,当当前色度块的面积等于或小于32时(例如,当当前色度块的尺寸等于或小于4x8、8x4、2x16或16x2时),通过对当前色度块进行三元划分而生成的多个色度块当中的色度块的尺寸可以等于或小于2x4或4x2。当作为编码单元允许这样的块的尺寸并且对块进行编码或解码时,可以减小吞吐量,从而为了增加吞吐量,可以确定不允许当前块的三元划分。编码单元确定器155可以基于除三元划分之外的另一允许划分类型来划分当前色度块。当当前色度块的允许划分类型不存在时,编码单元确定器155可以不再执行划分,并且可以将当前色度块确定为编码单元。
当前图像的色度图像中的块的划分形状模式可以独立于当前图像的亮度图像中包括的块的划分形状模式,但是本公开不限于此,因此,当前图像的色度图像中的块的划分形状模式可以取决于与色度图像中的块相对应的当前图像的亮度图像中包括的对应块的划分形状模式。
也就是说,编码单元确定器155可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元,并且可以基于与亮度图像中包括的块的划分形状模式相等的、色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。对此,编码单元确定器155可以基于当前块的色度子采样方案和亮度图像的对应块的尺寸来确定色度图像中的块的尺寸。例如,当色度子采样方案是指YUV 4:2:0,并且亮度图像的对应块的尺寸是指16x16时,色度图像中的块的尺寸可以被确定为8x8。
当块的尺寸等于或小于2xN(其中N是等于或大于2的整数)或Nx2时,其中块来自基于色度图像中的当前色度块的划分形状模式从色度图像中的当前色度块划分的多个块当中,编码单元确定器155可以确定不允许基于当前色度块的划分形状模式划分当前色度块。编码单元确定器155可以基于除不允许划分类型之外的允许划分类型来确定当前色度块中包括的至少一个编码单元。
图像编码器160可以基于亮度图像中的多个编码单元和色度图像中的多个编码单元对当前图像进行编码。
从每个帧间条带或图片划分的亮度块的每一个可以具有不同的预测模式。例如,每个亮度块可以具有帧间或帧内预测模式。在这种情况下,图像编码装置150可以将对应色度块的预测模式确定为如下。当当前条带或图片是帧间条带或图片并且具有帧内预测模式的亮度块的面积与亮度块的面积的比率等于或大于预设值时,图像编码装置150可以将色度块的预测模式确定为帧内预测模式。
当当前条带或图片是帧间条带或图片,并且具有帧间预测模式的亮度块的面积与亮度块的面积的比率大于预设值时,图像编码装置150可以将色度块的预测模式确定为帧间预测模式。
当具有特定尺寸的亮度块被划分时,图像编码装置150可以对关于对应色度块的预测模式的信息进行编码,并且可以生成包括关于色度块的预测模式的编码信息的比特流。
图像编码装置150可以将亮度块的预测模式确定为色度块的预测模式,亮度块对应于色度块的特定位置。例如,特定位置可以是左上方位置、中心位置、左下方位置、顶部位置、右下方位置等。对此,特定位置可以是预定义位置,但是本公开不限于此,并且图像编码装置150可以对关于特定位置的信息进行编码,并且可以生成包括关于特定位置的编码信息的比特流。
为了提高吞吐量,当当前块的尺寸等于或小于特定尺寸或者当前块的面积等于或小于特定值时,图像编码装置150可以执行以下操作。
图像编码装置150可以通过使用诸如DCT的变换方法以外的变换方法对当前块进行变换。例如,当当前块的尺寸小于4x4时,图像编码装置150可以通过使用Hadamard对当前块进行变换。
图像编码装置150可以确定跳过当前块的变换。例如,图像编码装置150可以对变换跳过标志进行编码,并且可以生成包括编码标志的比特流。然而,当当前块的尺寸等于或小于特定尺寸或者当前块的面积等于或小于特定值时,图像编码装置150可以确定跳过当前块的变换,并且可能无法对当前块的变换跳过标志进行编码。
当块的尺寸等于或小于特定尺寸或面积时,图像编码装置150可以确定不允许划分块。例如,当当前块的尺寸为8x8时,图像编码装置150可以确定不允许划分当前块。另外,例如,当当前块的面积为64时,图像编码装置150可以确定不允许划分当前块。
当当前条带或图片是帧间条带或图片时,要划分块的概率可以小于要跳过块的概率,因此,图像编码装置150可以执行以下操作。
图像编码装置150可以在当前块的划分信息之前首先对当前块的划分信息进行编码。
当图像编码装置150确定最大编码单元不具有残差信息时,图像编码装置150可以确定不对与残差相关的语法元素进行编码,可以对指示最大编码单元不具有残差信息的标志进行编码,并且可以生成包括编码标志的比特流。
当当前条带或图片是帧间条带或图片时,图像编码装置150可以确定不允许非对称二元划分。
当当前块位于图片的边界时,图像编码装置150可以划分当前块。对此,图像编码装置150可以不对关于当前块的划分形状模式信息进行编码。
例如,当当前块位于图片的边界时,图像编码装置150可以对当前块进行四元划分,而无需对划分形状模式信息进行单独编码。对此,可以递归地对当前块进行四元划分,直到划分块不位于边界。然而,在存在预定划分深度的情况下,可以将块划分为该深度。
当当前块位于图片的边界时,图像编码装置150可以划分当前块,而无需对当前块的划分形状模式信息进行单独编码,并且对此,图像编码装置150可以基于各种划分类型和划分方向对当前块进行划分。对此,图像编码装置150可以基于块的边界条件来确定当前块的划分类型和划分方向。对此,可以递归地对当前块进行四元划分,直到划分块不位于边界。然而,在存在预定划分深度的情况下,可以将块划分为该深度。
例如,当当前块位于图片的底部边界时,图像编码装置150可以将当前块的划分方向确定为水平方向,可以将划分类型确定为二元划分,并且可以基于当前块的划分方向和划分类型在水平方向上对当前块进行二元划分。
当当前块位于图片的右边界时,图像编码装置150可以将当前块的划分方向确定为垂直方向,可以将划分类型确定为二元划分,并且可以基于当前块的划分方向和划分类型在垂直方向上对当前块进行二元划分。
当当前块位于图片的右下方边界时,图像编码装置150可以将当前块的划分类型确定为四元划分,并且可以基于当前块的划分类型对当前块进行四元划分。
因为允许用于块的划分类型或划分方向变得各种各样,所以复杂性呈几何增加。为了降低复杂度,图像编码装置150可以限制来自各种划分类型或划分方向当中的一些划分类型或划分方向。
例如,图像编码装置150可以限制二元划分的划分深度。图像编码装置150可以限制块的允许比率或块的允许尺寸。
图像编码装置150可以通过仅使用满足限制条件的划分形状模式来划分块,并且可以不单独编码划分形状模式信息。
当当前块位于图片的边界时,图像编码装置150可以仅允许来自块的各种划分类型当中的一些划分类型。例如,当当前块位于图片的边界时,图像编码装置150可以仅允许来自各种划分类型当中的四元划分。
在当前块中可使用的特定划分形状模式不存在的情况下,图像编码装置150可以隐式划分当前块,直到划分块具有在块中可使用的特定划分形状模式为止。
当位于图片的边界的当前块不具有残差时,图像编码装置150可以确定不进一步划分当前块。为了使得能够进行确定,图像编码装置150可以执行以下操作。
当当前块位于图片的边界时,图像编码装置150可以对指示是否允许针对当前块的隐式划分的标志进行编码。当图像编码装置150确定不允许针对当前块的隐式划分时,图像编码装置150可以将标志的值编码为0。在这种情况下,图像编码装置150可以对关于当前块的划分形状模式信息进行编码,并且可以生成包括关于当前块的编码的划分形状模式信息的比特流。
当图像编码装置150确定允许针对当前块的隐式划分时,图像编码装置150可以将标志的值编码为1。
当当前块位于图片的边界时,图像编码装置150可以对指示当前块不具有残差的标志进行编码,并且可以生成包括编码标志的比特流。
当图像编码装置150对当前块执行隐式划分时,图像编码装置150可以将标志的值编码为0。当图像编码装置150对当前块执行跳过模式编码过程时,图像编码装置150可以将标志的值编码为1。
当当前最大编码单元位于图片的边界时,图像编码装置150可以对最大编码单元级别的标志进行编码,该标志指示最大编码单元是否被允许用于隐式划分。
当图像编码装置150确定不允许针对最大编码单元的隐式划分时,图像编码装置150可以将标志的值编码为0。
当图像编码装置150对最大编码单元执行隐式划分过程时,图像编码装置150可以将标志的值编码为1。
当当前最大编码单元位于图片的边界时,图像编码装置150可以对指示当前最大编码单元不具有残差的标志进行编码。当图像编码装置150对当前最大编码单元执行隐式划分时,图像编码装置150可以将标志的值编码为等于0。当图像编码装置150确定对当前最大编码单元执行跳过模式编码过程时,图像编码装置150可以将标志的值编码为等于1。
当当前块位于图片的边界时,图像编码装置150可以隐式确定当前块的划分形状模式。例如,图像编码装置150可以基于边界条件从多个特定划分形状模式当中确定一个划分形状模式。当当前块位于图片的右边界时,图像编码装置150可以对指示来自二元划分和四元划分当中的一种划分类型的标志进行编码。
当当前最大编码单元位于图片的边界时,图像编码装置150可以对要用于当前最大编码单元的划分形状模式信息进行编码,并且可以生成包括编码的划分形状模式信息的比特流。
当当前块位于图片的边界时,图像编码装置150可以基于图片中的面积的比率来确定当前块的划分形状模式。例如,图像编码装置150可以基于图片中的块面积的高度与宽度的比率来确定当前块的划分形状模式。当当前块位于左边界或右边界,并且当前块的宽度和高度的比率大于N时,图像编码装置150可以将当前块的划分类型确定为四元划分。如果不是这样,则图像编码装置150可以将当前块的划分类型确定为二元划分。
当当前块的宽度和高度的比率不等于整数值时,图像编码装置150可以将当前块的划分类型确定为四元划分,或者可以将当前块的划分类型确定为二元划分。
可选地,不管当前块是否位于图片的边界,图像编码装置150可以总是对关于当前块的划分形状模式信息进行编码。
当当前块位于图片的边界时,图像编码装置150可以通过分配与未位于图片的边界的块的上下文不同的CABAC上下文对当前块进行熵编码。图像编码装置150可以基于边界条件通过使用CABAC上下文来执行熵编码。
图2b示出了根据各种实施例的图像编码方法的流程图。
在操作S155中,图像编码装置150可以基于当前图像的亮度图像中包括的块的划分形状模式,通过对亮度图像进行分层划分来确定亮度图像中的多个编码单元。
在操作S160中,图像编码装置150可以基于当前图像的色度图像中包括的块的划分形状模式,通过对色度图像进行分层划分来确定色度图像中的多个编码单元。当色度块的尺寸或面积等于或小于预设尺寸或面积时,其中色度块来自可以通过基于色度图像中的当前色度块的划分形状模式来划分色度图像中的当前色度块而生成的多个色度块当中,图像编码装置150可以不允许基于当前色度块的划分形状模式划分当前色度块,并且可以确定当前色度块中包括的至少一个编码单元。
在操作S165中,图像编码装置150可以基于亮度图像中的多个编码单元和色度图像中的多个编码单元对当前图像进行编码。
图2c是根据各种实施例的图像编码器的框图。
根据各种实施例的图像编码器7000执行图像编码装置150的图像编码器160对图像数据进行编码所需的操作。
也就是说,帧内预测器7200对当前图像7050的每个块执行帧内预测,帧间预测器7150通过使用当前图像7050和从重构图片缓冲器7100获得的参考图像对每个块执行帧间预测。
从当前图像7050中要被编码的块的数据中减去预测数据,其中,预测数据与每个块相关,并且从帧内预测器7200或帧间预测器7150输出,并且变换器7250和量化器7300可以通过对残差数据进行变换和量化,输出每个块的量化的变换系数。解量化器7450和逆变换器7500可以通过对量化的变换系数执行解量化和逆变换来重构空间域的残差数据。可以将空间域的重构残差数据添加到与每个块相关的并且从帧内预测器7200或帧间预测器7150输出的预测数据,并且因此针对当前图像的块7050可以被重构为空间域的数据。去块器7550和SAO执行器7600通过对空间域的重构数据执行环路滤波来生成滤波的重构图像。生成的重构图像被存储在重构图片缓冲器7100中。存储在重构图片缓冲器7100中的重构图像可以用作用于对另一图像进行帧间预测的参考图像。熵编码器7350可以对量化的变换系数进行熵编码,并且可以将熵编码的系数作为比特流7400输出。
为了将根据各种实施例的图像编码器7000应用于图像编码装置150,根据各种实施例的图像编码器7000可以对每个块执行每个阶段的操作。
在下文中,将根据本公开的实施例详细描述编码单元的划分。
图像可以被划分为最大编码单元。可以基于从比特流获得的信息来确定每个最大编码单元的尺寸。每个最大编码单元的形状可以是相同尺寸的正方形。然而,本公开不限于此。另外,最大编码单元可以基于从比特流获得的划分形状模式信息而分层地划分为编码单元。划分形状模式信息可以包括指示是否要执行划分的信息、划分方向信息和划分类型信息中的至少一个。指示是否要划分的信息指示是否要划分编码单元。划分方向信息指示要在水平方向或垂直方向中的一个上执行划分。划分类型信息指示将通过使用二元划分、三元划分(也称为三分划分)或四元划分中的一个来划分编码单元。
为了便于描述,在本公开中,假定划分形状模式信息包括指示是否要执行划分的信息、划分方向信息和划分类型信息,但是本公开不限于此。图像解码装置100可以从比特流获得划分形状模式信息作为一个二进制串(bin string)。图像解码装置100可以基于一个二进制串来确定是否划分编码单元、划分方向和划分类型。
编码单元可以等于或小于最大编码单元。例如,当划分形状模式信息指示将不执行划分时,编码单元具有与最大编码单元相同的尺寸。当划分形状模式信息指示要执行划分时,最大编码单元可以被划分为较低深度编码单元。当关于较低深度编码单元的划分形状模式信息指示划分时,可以将较低深度编码单元划分为更小编码单元。然而,图像的划分不限于此,并且可以不区分最大编码单元和编码单元。将参考图3至图16详细描述编码单元的划分。
此外,编码单元可以被划分为用于图像预测的预测单元。预测单元可以各自等于或小于编码单元。另外,可以将编码单元划分为用于图像变换的变换单元。变换单元可以各自等于或小于编码单元。变换单元和预测单元的形状和尺寸可以彼此不相关。可以将编码单元与预测单元和变换单元区分开,或者编码单元、预测单元和变换单元可以彼此相等。可以以与编码单元的划分相同的方式来执行预测单元和变换单元的划分。将参考图3至图16详细描述编码单元的划分。本公开的当前块和邻近块可以指示最大编码单元、编码单元、预测单元和变换单元中的一个。另外,当前编码单元的当前块是当前正在被解码或编码的块或当前正在被划分的块。邻近块可以是在当前块之前重构的块。邻近块可以在空间或时间上与当前块相邻。邻近块可以位于当前块的左下方、左侧、左上方、顶部、右上方、右侧,右下方之一处。
图3示出了根据实施例的由图像解码装置100执行的通过划分当前编码单元来确定至少一个编码单元的过程。
块形状可以包括4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxN或Nx8N。在此,N可以是正整数。块形状信息是指示编码单元的形状、方向、宽度和高度的比率、或尺寸中的至少一个的信息。
编码单元的形状可以包括正方形和非正方形。当编码单元的宽度和高度的长度相等时(即,当编码单元的块形状为4Nx4N时),图像解码装置100可以将编码单元的块形状信息确定为正方形。图像解码装置100可以将编码单元的形状确定为非正方形。
当编码单元的宽度和高度的长度彼此不同时(即,当编码单元的块形状为4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxN时),图像解码装置100可以将编码单元的块形状信息确定为非正方形。当编码单元的形状是非正方形时,图像解码装置100可以将编码单元的块形状信息中的宽度和高度的比率确定为1:2、2:1、1:4、4:1、1:8或8:1中的至少一个。此外,图像解码装置100可以基于编码单元的宽度的长度和高度的长度来确定编码单元是在水平方向上还是在垂直方向上。此外,图像解码装置100可以基于编码单元的宽度的长度、高度的长度、或面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码装置100可以通过使用块形状信息来确定编码单元的形状,并且可以通过使用划分形状模式信息来确定编码单元的划分方法。也就是说,可以基于由图像解码装置100使用的块形状信息指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码装置100可以从比特流获得划分形状模式信息。然而,实施例不限于此,并且图像解码装置100和图像编码装置150可以基于块形状信息获得预先商定的划分形状模式信息。图像解码装置100可以获得关于最大编码单元或最小编码单元的预先商定的划分形状模式信息。例如,图像解码装置100可以将关于最大编码单元的划分形状模式信息确定为四元划分。此外,图像解码装置100可以将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地,图像解码装置100可以将最大编码单元的尺寸确定为256x256。图像解码装置100可以将预先商定的划分形状模式信息确定为四元划分。四元划分是将编码单元的宽度和高度均一分为二的划分形状模式。图像解码装置100可以基于划分形状模式信息从256x256尺寸的最大编码单元获得128x128尺寸的编码单元。此外,图像解码装置100可以将最小编码单元的尺寸确定为4x4。图像解码装置100可以获得关于最小编码单元的指示“不执行划分”的划分形状模式信息。
根据实施例,图像解码装置100可以使用指示当前编码单元具有正方形形状的块形状信息。例如,基于划分形状模式信息,图像解码装置100可以确定是否划分正方形编码单元、是否垂直划分正方形编码单元、是否水平划分正方形编码单元、或者是否将正方形编码单元划分为四个编码单元。参考图3,当当前编码单元300的块形状信息指示正方形时,图像解码器110可以基于指示不执行划分的划分形状模式不划分与当前编码单元300具有相同尺寸的编码单元310a,或者可以确定基于指示预设划分方法的划分形状模式信息而划分的编码单元310b、310c或310d。
参考图3,根据实施例,图像解码装置100可以基于指示在垂直方向上执行划分的划分形状模式信息,确定通过在垂直方向上划分当前编码单元300而获得的两个编码单元310b。图像解码装置100可以基于指示在水平方向上执行划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的两个编码单元310c。图像解码装置100可以基于指示在垂直方向和水平方向上执行划分的划分形状模式信息,确定通过在垂直方向和水平方向上划分当前编码单元300而获得的四个编码单元310d。根据实施例,图像解码装置100可以基于指示在垂直方向上执行三元(或三分)划分的划分形状模式信息,确定通过在垂直方向上划分当前编码单元300而获得的三个编码单元310e。图像解码装置100可以基于指示在水平方向上执行三元划分的划分形状模式信息,确定通过在水平方向上划分当前编码单元300而获得的三个编码单元310f。
然而,正方形编码单元的划分方法不限于上述方法,并且可以包括可以由划分形状模式信息指示的各种方法。下面将关于各种实施例详细描述划分正方形编码单元的预设划分方法。
图4示出了根据实施例的由图像解码装置100执行的通过划分非正方形编码单元来确定至少一个编码单元的过程。
根据实施例,图像解码装置100可以使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置100可以基于划分形状模式信息,通过使用预设划分方法来确定是否不划分非正方形当前编码单元或者是否划分非正方形当前编码单元。参考图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码装置100可以基于指示不执行划分的划分形状模式信息确定与当前编码单元400或450具有相同尺寸的编码单元410或460,或者可以基于指示预设划分方法的划分形状模式信息来确定被划分的编码单元420a和420b,430a、430b和430c,470a和470b或者480a、480b和480c。下面将结合各种实施例详细描述划分非正方形编码单元的预设划分方法。
根据实施例,图像解码装置100可以通过使用划分形状模式信息来确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可以指示通过划分编码单元而生成的一个或多个编码单元的数量。参考图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码装置100可以通过基于划分形状模式信息划分当前编码单元400或450来确定当前编码单元400或450中包括的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码装置100基于划分形状模式信息划分非正方形当前编码单元400或450时,图像解码装置100可以考虑到非正方形当前编码单元400或450的长边的位置而划分当前编码单元。例如,图像解码装置100可以通过考虑当前编码单元400或450的形状划分当前编码单元400或450的长边来划分当前编码单元400或450,从而确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三元划分)为奇数个块时,图像解码装置100可以确定当前编码单元400或450中包括的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码装置100可以将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽度和高度的比率可以为4:1或1:4。当宽度和高度的比率为4:1时,块形状信息可以指示水平方向,因为宽度的长度大于高度的长度。当宽度和高度的比率为1:4时,块形状信息可以指示垂直方向,因为宽度的长度小于高度的长度。图像解码装置100可以基于划分形状模式信息确定将当前编码单元划分为奇数个块。此外,图像解码装置100可以基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如,当当前编码单元400在垂直方向上时,图像解码装置100可以通过在水平方向上划分当前编码单元400来确定编码单元430a、430b和430c。另外,当当前编码单元450在水平方向上时,图像解码装置100可以通过在垂直方向上划分当前编码单元450来确定编码单元480a、480b和480c。
根据实施例,图像解码装置100可以确定当前编码单元400或450中包括的奇数个编码单元,并且并非所有确定的编码单元可以具有相同的尺寸。例如,在确定的奇数个编码单元430a、430b和430c或者480a、480b和480c当中,预设编码单元430b或480b可以具有与其他编码单元430a和430c或480a和480c的尺寸不同的尺寸。也就是说,可以通过划分当前编码单元400或450而确定的编码单元可以具有多种尺寸,并且在一些情况下,所有奇数个编码单元430a、430b和430c或者480a、480b和480c可以具有不同尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码装置100可以确定当前编码单元400或450中包括的奇数个编码单元,并且此外可以对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加预设限制。参考图4,图像解码装置100可以允许编码单元430b或480b的解码过程与其他编码单元430a和430c或者480a或480c的解码过程不同,其中编码单元430b或480b在通过划分当前编码单元400或450而生成的三个编码单元430a、430b和430c或者480a、480b和480c当中的中心位置处。例如,与其他编码单元430a和430c或者480a和480c不同,图像解码装置100可以将中心位置处的编码单元430b或480b限制为不再被划分或仅被划分预设次数。
图5示出了根据实施例的由图像解码装置100执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的过程。
根据实施例,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个,确定将正方形第一编码单元500划分为编码单元,或者可以确定不划分正方形第一编码单元500。根据实施例,当划分形状模式信息指示在水平方向上划分第一编码单元500时,图像解码装置100可以通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和之后的关系的术语。例如,可以通过划分第一编码单元来确定第二编码单元,并且可以通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个,确定将确定的第二编码单元510划分为编码单元,或者可以确定不划分确定的第二编码单元510。参考图5,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个将通过划分第一编码单元500而确定的非正方形第二编码单元510划分为一个或多个第三编码单元520a、或520b、520c和520d,或者可以不划分非正方形第二编码单元510。图像解码装置100可以获得块形状信息和划分形状模式信息中的至少一个,并且可以基于获得的块形状信息和获得的划分形状模式信息中的至少一个通过划分第一编码单元500对各种形状的第二编码单元(例如,510)进行划分,并且可以基于块形状信息和划分形状模式信息中的至少一个通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于关于第一编码单元500的块形状信息和划分形状模式信息中的至少一个将第一编码单元500划分为第二编码单元510时,也可以基于关于第二编码单元510的块形状信息和划分形状模式信息中的至少一个将第二编码单元510划分为第三编码单元520a、或520b、520c和520d。也就是说,可以基于关于每个编码单元的块形状信息和划分形状模式信息中的至少一个对编码单元进行递归划分。因此,可以通过划分非正方形编码单元来确定正方形编码单元,并且可以通过递归地划分正方形编码单元来确定非正方形编码单元。
参考图5,可以递归地划分来自通过划分非正方形第二编码单元510确定的奇数个第三编码单元520b、520c和520d当中的预设编码单元(例如,位于中心位置的编码单元或正方形编码单元)。根据实施例,可以在水平方向上将来自奇数个第三编码单元520b、520c和520d当中的非正方形第三编码单元520b划分为多个第四编码单元。来自多个第四编码单元530a、530b、530c和530d当中的非正方形第四编码单元530b或530d可以被重新划分为多个编码单元。例如,非正方形第四编码单元530b或530d可以被重新划分为奇数个编码单元。下面将关于各种实施例描述可以用于对编码单元进行递归划分的方法。
根据实施例,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个,将第三编码单元520a、或520b、520c和520d中的每一个划分为编码单元。此外,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个来确定不划分第二编码单元510。根据实施例,图像解码装置100可以将非正方形第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码装置100可以对来自奇数个第三编码单元520b、520c和520d当中的预设第三编码单元施加预设限制。例如,图像解码装置100可以将奇数个第三编码单元520b、520c和520d当中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置次数。
参考图5,图像解码装置100可以将非正方形第二编码单元510中包括的奇数个第三编码单元520b、520c和520d当中的中心位置处的第三编码单元520c限制为不再被划分,通过使用预设划分方法进行划分(例如,仅划分为四个编码单元,或者通过使用第二编码单元510的划分方法进行划分),或者仅被划分预设次数(例如,仅划分n次(其中n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且应当解释,限制可以包括用于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码装置100可以从当前编码单元中的预设位置获得用于划分当前编码单元的块形状信息和划分形状模式信息中的至少一个。
图6示出了根据实施例的由图像解码装置100执行的从奇数个编码单元当中确定预设编码单元的方法。
参考图6,关于当前编码单元600或650的块形状信息和划分形状模式信息中的至少一个可以从当前编码单元600或650中包括的多个样点当中的预设位置的样点(例如,中心位置的样点640或690)获得。然而,当前编码单元600中的预设位置(从其可以获得块形状信息和划分形状模式信息中的至少一个)不限于图6中的中心位置,可以包括当前编码单元600中包括的各种位置(例如,顶部、底部、左侧、右侧、左上方、左下方、右上方和右下方)。图像解码装置100可以从预设位置获得块形状信息和划分形状模式信息中的至少一个,并且可以确定将当前编码单元划分或不划分为各种形状和各种尺寸的编码单元。
根据实施例,当当前编码单元被划分为预设数量的编码单元时,图像解码装置100可以选择编码单元中的一个。如下面将关于各种实施例描述的,可以使用各种方法来选择多个编码单元中的一个。
根据实施例,图像解码装置100可以将当前编码单元划分为多个编码单元,并且可以确定预设位置处的编码单元。
根据实施例,图像解码装置100可以使用指示奇数个编码单元的位置的信息,以便从奇数个编码单元当中确定中心位置的编码单元。参考图6,图像解码装置100可以通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码装置100可以通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如,图像解码装置100可以通过基于指示包括在编码单元620a、620b和620b中的预设样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。详细地,图像解码装置100可以通过基于指示编码单元620a、620b和620c的左上角样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的位置的信息可以包括关于编码单元620a、620b和620c在图片中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的位置的信息可以包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可以对应于指示编码单元620a、620b和620c在图片中的坐标之间的差的信息。也就是说,图像解码装置100可以通过直接使用关于编码单元620a、620b和620c在图片中的位置或坐标的信息或者通过使用对应于坐标之间的差值的关于编码单元的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例,指示上编码单元620a的左上角样点630a的位置的信息可以包括坐标(xa,ya),指示中间编码单元620b的左上角样点630b的位置的信息可以包括坐标(xb,yb),指示下编码单元620c的左上角样点630c的位置的信息可以包括坐标(xc,yc)。图像解码装置100可以通过使用分别包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当以升序或降序对左上角样点630a、630b和630c的坐标进行排序时,可以将中心位置处包括样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600而确定的编码单元620a、620b和620c当中的中心位置处的编码单元。然而,指示左上角样点630a、630b和630c的位置的坐标可以包括指示图片中的绝对位置的坐标,或者可以使用参考上编码单元620a的左上角样点630a的位置指示中间编码单元620b的左上角样点630b的相对位置的坐标(dxb,dyb)和指示下编码单元620c的左上角样点630c的相对位置的坐标(dxc,dyc)。通过使用包括在编码单元中的样点的坐标作为指示样点的位置的信息来确定预设位置处的编码单元的方法不限于上述方法,并且可以包括能够使用样点坐标的各种算术方法。
根据实施例,图像解码装置100可以将当前编码单元600划分为多个编码单元620a、620b和620c,并且可以基于预设标准来选择编码单元620a、620b和620c中的一个。例如,图像解码装置100可以从编码单元620a、620b和620c当中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
根据实施例,图像解码装置100可以通过使用作为指示上编码单元620a的左上角样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上角样点630b的位置的信息的坐标(xb,yb)和作为指示下编码单元620c的左上角样点630c的位置的信息的坐标(xc,yc)来确定每个编码单元620a、620b和620c的宽度或高度。图像解码装置100可以通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的相应尺寸。根据实施例,图像解码装置100可以将上编码单元620a的宽度确定为当前编码单元600的宽度。图像解码装置100可以将上编码单元620a的高度确定为yb-ya。根据实施例,图像解码装置100可以将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码装置100可以将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码装置100可以通过使用当前编码单元600的宽度或高度或者上编码单元620a和中间编码单元620b的宽度或高度来确定下编码单元620c的宽度或高度。图像解码装置100可以基于确定的编码单元620a、620b和620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参考图6,图像解码装置100可以将具有与上编码单元620a和下编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预设位置的编码单元。然而,由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的前述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例,并且因此可以使用通过比较基于预设样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的各种方法。
图像解码装置100可以通过使用作为指示左编码单元660a的左上角样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上角样点670b的位置的信息的坐标(xe,ye)、作为指示右编码单元660c的左上角样点670c的位置的信息的坐标(xf,yf)来确定每个编码单元660a、660b和660c的宽度或高度。图像解码装置100可以通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的相应尺寸。
根据实施例,图像解码装置100可以将左编码单元660a的宽度确定为xe-xd。图像解码装置100可以将左编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码装置100可以将中间编码单元660b的宽度确定为xf-xe。图像解码装置100可以将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例,图像解码装置100可以通过使用当前编码单元650的宽度或高度或者左编码单元660a和中间编码单元660b的宽度或高度确定右编码单元660c的宽度或高度。图像解码装置100可以基于确定的编码单元660a、660b和660c的宽度和高度来确定编码单元,该编码单元具有与其他编码单元的尺寸不同的尺寸。参考图6,图像解码装置100可以将具有与左编码单元660a和右编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预设位置的编码单元。然而,由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的前述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例,并且因此可以使用通过比较基于预设样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的各种方法。
然而,考虑用于确定编码单元的位置的样点的位置不限于上述的左上角位置,并且可以使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码装置100可以考虑当前编码单元的形状,从通过划分当前编码单元而确定的奇数个编码单元当中选择预设位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码装置100可以确定水平方向上的预设位置处的编码单元。也就是说,图像解码装置100可以确定水平方向上的不同位置处的编码单元中的一个,并且可以对编码单元施加限制。当当前编码单元具有高度大于其宽度的非正方形形状时,图像解码装置100可以确定垂直方向上的预设位置处的编码单元。也就是说,图像解码装置100可以确定垂直方向上的不同位置处的编码单元中的一个,并且可以对编码单元施加限制。
根据实施例,图像解码装置100可以使用指示偶数个编码单元的相应位置的信息,以便从偶数个编码单元当中确定预设位置处的编码单元。图像解码装置100可以通过划分(二元或二分划分)当前编码单元来确定偶数个编码单元,并且可以通过使用关于偶数个编码单元的位置的信息来确定预设位置处的编码单元。与之相关的操作可以对应于从奇数个编码单元当中确定预设位置(例如,中心位置)处的编码单元的操作,这在上面参考图6进行了详细描述,因此在此不提供其详细描述。
根据实施例,当将非正方形当前编码单元划分为多个编码单元时,可以在划分过程中使用关于预设位置的编码单元的预设信息,以从多个编码单元当中确定预设位置处的编码单元。例如,图像解码装置100可以在划分过程中使用存储在中间编码单元中包括的样点中的块形状信息和划分形状模式信息中的至少一个,以从通过划分当前编码单元确定的多个编码单元当中确定中心位置处的编码单元。
参考图6,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个,将当前编码单元600划分为多个编码单元620a、620b和620c,并且可以从多个编码单元620a、620b和620c当中确定中心位置处的编码单元620b。此外,图像解码装置100可以考虑到从中获得块形状信息和划分形状模式信息中的至少一个的位置而确定中心位置处的编码单元620b。也就是说,关于当前编码单元600的块形状信息和划分形状模式信息中的至少一个可以从当前编码单元600的中心位置处的样点640获得,并且当基于块形状信息和划分形状模式信息中的至少一个,当前编码单元600被划分为多个编码单元620a、620b和620c时,可以将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状模式信息中的至少一个,并且各种类型的信息可以用于确定中心位置处的编码单元。
根据实施例,可以从包括在要确定的编码单元中的预设样点获得用于识别预设位置处的编码单元的预设信息。参考图6,图像解码装置100可以使用从当前编码单元600中的预设位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的块形状信息和划分形状模式信息中的至少一个,从通过划分当前编码单元600确定的多个编码单元620a、620b和620c当中确定预设位置处的编码单元(例如,多个划分的编码单元当中的中心位置处的编码单元)。也就是说,图像解码装置100可以通过考虑当前编码单元600的块形状来确定预设位置处的样点,可以从通过划分当前编码单元600而确定的多个编码单元620a、620b和620c当中确定包括样点的编码单元620b,从其可获得预设信息(例如,块形状信息和划分形状模式信息中的至少一个),并且可以对编码单元620b施加预设限制。参考图6,根据实施例,图像解码装置100可以将当前编码单元600的中心位置处的样点640确定为从其可获得预设信息的样点,并且在解码操作中,可以对包括样点640的编码单元620b施加预设限制。然而,从其可获得预设信息的样点的位置不限于上述位置,并且可以包括要确定为限制的编码单元620b中包括的样点的任意位置。
根据实施例,可以基于当前编码单元600的形状来确定从其可获得预设信息的样点的位置。根据实施例,块形状信息可以指示当前编码单元具有正方形还是非正方形形状,并且可以基于形状确定从其可获得预设信息的样点的位置。例如,图像解码装置100可以通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息的至少一个,将位于用于将当前编码单元的宽度和高度中的至少一个划分为两半的边界的样点确定为从其可获得预设信息的样点。作为另一示例,当当前编码单元的块形状信息指示非正方形形状时,图像解码装置100可以确定将与用于将当前编码单元的长边划分为两半的边界相邻的样点中的一个为从其可获得预设信息的样点。
根据实施例,当当前编码单元被划分为多个编码单元时,图像解码装置100可以使用块形状信息和划分形状模式信息中的至少一个,以便从多个编码单元当中确定预设位置处的编码单元。根据实施例,图像解码装置100可以从编码单元中的预设位置处的样点获得块形状信息和划分形状模式信息中的至少一个,并且可以通过使用从多个编码单元中的每个编码单元中的预设位置的样点获得的块形状信息和划分形状模式信息中的至少一个划分通过划分当前编码单元而生成的多个编码单元。也就是说,可以基于从每个编码单元中的预设位置处的样点获得的块形状信息和划分形状模式信息中的至少一个对编码单元进行递归划分。上面参考图5描述了对编码单元进行递归划分的操作,因此在此不提供其详细描述。
根据实施例,图像解码装置100可以通过划分当前编码单元来确定一个或多个编码单元,并且可以基于预设块(例如,当前编码单元)来确定对一个或多个编码单元进行解码的顺序。
图7示出了根据实施例的在图像解码装置100通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
根据实施例,基于块形状信息和划分形状模式信息中的至少一个,图像解码装置100可以通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,可以通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者可以通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参考图7,图像解码装置100可以确定以水平方向顺序710c处理第二编码单元710a和710b,第二编码单元710a和710b通过在垂直方向上划分第一编码单元700来确定。图像解码装置100可以确定以垂直方向顺序730c处理第二编码单元730a和730b,第二编码单元730a和730b通过在水平方向上划分第一编码单元700来确定。图像解码装置100可以根据预设顺序(例如,以光栅扫描顺序或Z扫描顺序750e)确定通过在垂直方向和水平方向上划分第一编码单元而确定的第二编码单元750a、750b、750c和750d,其中按照该预设顺序,一行中的编码单元被处理并且然后下一行中的编码单元被处理。
根据实施例,图像解码装置100可以对编码单元进行递归划分。参考图7,图像解码装置100可以通过划分第一编码单元700来确定多个编码单元710a和710b,730a和730b,或750a、750b、750c和750d,并且可以递归地划分确定的多个编码单元710a和710b,730a和730b,或750a、750b、750c和750d中的每一个。多个编码单元710a和710b,730a和730b,或750a、750b、750c和750d的划分方法可以对应于第一编码单元700的划分方法。因此,多个编码单元710a和710b,730a和730b,或750a、750b、750c和750d中的每一个可以独立地划分为多个编码单元。参考图7,图像解码装置100可以通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并且可以确定独立地划分第二编码单元710a和710b中的每一个或者不划分第二编码单元710a和710b。
根据实施例,图像解码装置100可以通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,并且可以不划分右侧第二编码单元710b。
根据实施例,可以基于划分编码单元的操作来确定编码单元的处理顺序。换句话说,可以基于紧接在划分之前的编码单元的处理顺序来确定划分编码单元的处理顺序。图像解码装置100可以独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以可以以垂直方向顺序720c处理第三编码单元720a和720b。因为以水平方向顺序710c处理左侧第二编码单元710a和右侧第二编码单元710b,所以可以在以垂直方向顺序720c处理左侧第二编码单元710a中包括的第三编码单元720a和720b之后处理右侧第二编码单元710b。应当理解,基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可以使用各种方法按预设顺序独立地处理被划分并确定为各种形状的编码单元。
图8示出了根据实施例的当图像编码装置不可按预设顺序处理时由图像解码装置100执行的确定当前编码单元要被划分为奇数个编码单元的过程。
根据实施例,图像解码装置100可以基于获得的块形状信息和划分形状模式信息来确定将当前编码单元划分为奇数个编码单元。参考图8,正方形第一编码单元800可以被划分为非正方形第二编码单元810a和810b,并且第二编码单元810a和810b可以独立地被划分为第三编码单元820a和820b以及820c、820d和820e。根据实施例,图像解码装置100可以通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可以将右侧第二编码单元810b划分为奇数个第三编码单元820c、820d和820e。
根据实施例,图像解码装置100可以通过确定第三编码单元820a和820b以及820c、820d和820e是否可以以预设顺序进行处理,来确定是否存在奇数个划分编码单元。参考图8,图像解码装置100可以通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及820c、820d和820e。图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个确定第一编码单元800、第二编码单元810a和810b或者第三编码单元820a和820b以及820c、820d和820e中的任何一个是否要被划分为奇数个编码单元。例如,第二编码单元810a和810b当中位于右侧的第二编码单元810b可以被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是预设顺序(例如,Z扫描顺序830),并且图像解码装置100可以确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足以预设顺序进行处理的条件。
根据实施例,图像解码装置100可以确定第一编码单元800中包括的第三编码单元820a和820b以及820c、820d和820e是否满足以预设顺序进行处理的条件,并且条件涉及是否要沿着第三编码单元820a和820b以及820c、820d和820e的边界将第二编码单元810a和810b的宽度和高度中的至少一个划分为两半。例如,当将非正方形的左侧第二编码单元810a的高度划分为两半时确定的第三编码单元820a和820b可以满足条件。可以确定第三编码单元820c、820d和820e不满足条件,因为将右侧第二编码单元810b被划分为三个编码单元时确定的第三编码单元820c、820d和820e的边界无法将右侧第二编码单元810b的宽度或高度划分为两半。当如上所述不满足条件时,基于确定结果,图像解码装置100可以确定扫描顺序的断开,并且可以确定右侧第二编码单元810b要被划分为奇数个编码单元。根据实施例,当将编码单元划分为奇数个编码单元时,图像解码装置100可以对划分的编码单元当中的预设位置处的编码单元施加预设限制。上面关于各种实施例描述了限制或预设位置,因此在此不提供其详细描述。
图9示出了根据实施例的由图像解码装置100执行的通过划分第一编码单元900来确定至少一个编码单元的过程。
根据实施例,图像解码装置100可以基于通过接收器(未示出)获得的块形状信息和划分形状模式信息中的至少一个来划分第一编码单元900。正方形第一编码单元900可以被划分为四个正方形编码单元,或者可以被划分为多个非正方形编码单元。例如,参考图9,当块形状信息指示第一编码单元900是正方形并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码装置100可以将第一编码单元900划分为多个非正方形编码单元。详细地,当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码装置100可以将正方形第一编码单元900划分为奇数个多个编码单元,例如,通过在垂直方向上划分正方形第一编码单元900确定的第二编码单元910a、910b和910c,或者通过在水平方向上划分正方形第一编码单元900确定的第二编码单元920a、920b和920c。
根据实施例,图像解码装置100可以确定第一编码单元900中包括的第二编码单元910a、910b、910c、920a、920b和920c是否满足以预设顺序进行处理的条件,并且条件涉及是否要沿着第二编码单元910a、910b、910c、920a、920b和920c的边界将第一编码单元900的宽度和高度中的至少一个划分为两半。参考图9,因为通过在垂直方向上划分正方形第一编码单元900而确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的宽度划分为两半,所以可以确定第一编码单元900不满足以预设顺序进行处理的条件。另外,由于通过在水平方向上划分正方形第一编码单元900而确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的高度划分为两半,因此可以确定第一编码单元900不满足以预设顺序进行处理的条件。当如上所述不满足条件时,基于确定结果,图像解码装置100可以确定扫描顺序的断开,并且可以确定第一编码单元900要被划分为奇数个编码单元。根据实施例,当将编码单元划分为奇数个编码单元时,图像解码装置100可以在划分的编码单元中对预设位置的编码单元施加预设限制。上面关于各种实施例描述了限制或预设位置,因此在此不提供其详细描述。
根据实施例,图像解码装置100可以通过划分第一编码单元来确定各种形状的编码单元。
参考图9,图像解码装置100可以将正方形第一编码单元900或非正方形第一编码单元930或950划分为各种形状的编码单元。
图10示出了根据实施例的当在图像解码装置100划分第一编码单元1000时确定的具有非正方形形状的第二编码单元满足预设条件时第二编码单元可划分为的形状受到限制。
根据实施例,图像解码装置100可以基于由接收器(未示出)获得的块形状信息和划分形状模式信息中的至少一个,确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可以被独立地划分。因此,图像解码装置100可以基于关于第二编码单元1010a和1010b或者1020a和1020b中的每一个的块形状信息和划分形状模式信息中的至少一个,确定将或不将第二编码单元1010a和1010b或者1020a和1020b中的每一个划分为多个编码单元。根据实施例,图像解码装置100可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码装置100可以限制右侧第二编码单元1010b不在左侧第二编码单元1010a在其中被划分的水平方向上被划分。当第三编码单元1014a和1014b通过在相同方向上划分右侧第二编码单元1010b来确定时,因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分,所以可以确定第三编码单元1012a和1012b或者1014a和1014b。然而,这种情况等同于其中图像解码装置100基于块形状信息和划分形状模式信息中的至少一个将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况,并且在图像解码方面可能是低效的。
根据实施例,图像解码装置100可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b来确定第三编码单元1022a和1022b或者1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,由于上述原因,图像解码装置100可以限制另一第二编码单元(例如,下方第二编码单元1020b)不在上方第二编码单元1020a在其中被划分的垂直方向上被划分。
图11示出了根据实施例的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时由图像解码装置100执行的划分正方形编码单元的过程。
根据实施例,图像解码装置100可以通过基于块形状信息和划分形状模式信息中的至少一个来划分第一编码单元1100来确定第二编码单元1110a和1110b或者1120a和1120b等。划分形状模式信息可以包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可以不包括用于将编码单元划分为四个正方形编码单元的信息。基于划分形状模式信息,图像解码装置100不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码装置100可以基于划分形状模式信息来确定非正方形的第二编码单元1110a和1110b或者1120a和1120b等。
根据实施例,图像解码装置100可以独立地划分非正方形的第二编码单元1110a和1110b或者1120a和1120b等。第二编码单元1110a和1110b或者1120a和1120b等中的每一个可以以预设顺序被递归地划分,并且该划分方法可以对应于基于块形状信息和划分形状模式信息中的至少一个划分第一编码单元1100的方法。
例如,图像解码装置100可以通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可以通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码装置100可以通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可以确定与从第一编码单元1100划分的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例,图像解码装置100可以通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可以通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码装置100可以通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可以确定与从第一编码单元1100划分的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出了根据实施例的多个编码单元之间的处理顺序可以取决于划分编码单元的过程而改变。
根据实施例,图像解码装置100可以基于块形状信息和划分形状模式信息中的至少一个划分第一编码单元1200。当块形状信息指示正方形形状并且划分形状模式信息指示在水平和垂直方向中的至少一个方向上划分第一编码单元1200时,图像解码装置100可以通过划分第一编码单元1200来确定第二编码单元1210a和1210b或者1220a和1220b等。参考图12,通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a和1210b或者1220a和1220b可以基于关于每个编码单元的块形状信息和划分形状模式信息中的至少一个来被独立地划分。例如,图像解码装置100可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d,并且可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和126d。上面参考图11描述了划分第二编码单元1210a和1210b或者1220a和1220b的操作,因此这里不提供其详细描述。
根据实施例,图像解码装置100可以以预设顺序处理编码单元。上面参考图7描述了以预设顺序处理编码单元的操作,因此这里不提供其详细描述。参考图12,图像解码装置100可以通过划分正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d,以及1226a、1226b、1226c和1226d。根据实施例,图像解码装置100可以基于第一编码单元1200通过其被划分的划分形状来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码装置100可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d,并且可以以用于首先在垂直方向上处理被包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c、然后在垂直方向上处理被包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d的处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d。
根据实施例,图像解码装置100可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d,并且可以以用于首先在水平方向上处理被包括在上方第二编码单元1220a中的第三编码单元1226a和1226b、然后在水平方向上处理被包括在下方第二编码单元1220b中的第三编码单元1226c和1226d的处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d。
参考图12,正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d可以通过分别划分第二编码单元1210a和1210b以及1220a和1220b来确定。尽管第二编码单元1210a和1210b是通过在垂直方向上划分第一编码单元1200而确定的,不同于通过在水平方向上划分第一编码单元1200而确定的第二编码单元1220a和1220b,但是从其划分的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出了从第一编码单元1200划分的相同形状的编码单元。因此,通过基于块形状信息和划分形状模式信息中的至少一个以不同方式递归地划分编码单元,即使当编码单元最终被确定为具有相同形状时,图像解码装置100也可以以不同顺序处理多个编码单元。
图13示出了根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的过程。
根据实施例,图像解码装置100可以基于预设标准来确定编码单元的深度。例如,预设标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分的当前编码单元的长边的长度的2n倍(n>0)时,图像解码装置100可以确定当前编码单元的深度从被划分之前的编码单元的深度增加n。在以下描述中,具有增加的深度的编码单元被表示为更深深度的编码单元。
参考图13,根据实施例,图像解码装置100可以通过基于指示正方形形状的块形状信息(例如,块形状信息可以被表示为‘0:SQUARE’)划分正方形的第一编码单元1300来确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸为2N×2N,通过将第一编码单元1300的宽度和高度划分为1/2而确定的第二编码单元1302可以具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分为1/2而确定的第三编码单元1304可以具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的1/4倍。当第一编码单元1300的深度为D时,其宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以为D+1,其宽度和高度是第一编码单元1300的1/4倍的第三编码单元1304的深度可以为D+2。
根据实施例,图像解码装置100可以通过基于指示非正方形形状的块形状信息(例如,块形状信息可以被表示为指示其高度比宽度更长的非正方形形状的“1:NS_VER”、或指示其宽度比高度更长的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322和第三编码单元1314或1324。
图像解码装置100可以通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码装置100可以通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可以通过在水平和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码装置100可以通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码装置100可以通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可以通过在水平和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码装置100可以通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码装置100可以通过在垂直和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或者尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码装置100可以通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码装置100可以通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可以通过在垂直和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码装置100可以通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码装置100可以通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可以通过在垂直和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码装置100可以在水平或垂直方向上划分正方形编码单元1300、1302或1304。例如,图像解码装置100可以通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可以通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度来确定深度时,通过在水平或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可以与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4倍。当第一编码单元1310或1320的深度为D时,其宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以为D+1,并且其宽度和高度是第一编码单元1310或1320的宽度和高度的1/4倍的第三编码单元1314或1324的深度可以为D+2。
图14示出了根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码装置100可以通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参考图14,图像解码装置100可以通过基于划分形状模式信息在垂直和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b,1404a和1404b,以及1406a、1406b、1406c和1406d。也就是说,图像解码装置100可以基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b,1404a和1404b,以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b,1404a和1404b,以及1406a、1406b、1406c和1406d的深度可以基于其长边的长度来确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可以具有相同的深度,例如,D。然而,当图像解码装置100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍,所以第二编码单元1406a、1406b、1406c和1406d的深度可以为D+1,其比第一编码单元1400的深度D深1。
根据实施例,图像解码装置100可以通过基于划分形状模式信息在水平方向上划分其高度比宽度更长的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码装置100可以通过基于划分形状模式信息在垂直方向上划分其宽度比高度更长的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b,以及1414a、1414b和1414c,或者1422a和1422b,以及1424a、1424b和1424c的深度可以基于其长边的长度来确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是其高度比宽度更长的具有非正方形形状的第一编码单元1410的长边的长度的1/2倍,所以正方形的第二编码单元1412a和1412b的深度为D+1,其比非正方形的第一编码单元1410的深度D深1。
此外,图像解码装置100可以基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可以包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度和正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2倍,所以第二编码单元1414a、1414b和1414c的深度可以为D+1,其比非正方形的第一编码单元1410的深度D深1。图像解码装置100可以通过使用上述确定从第一编码单元1410划分的编码单元的深度的方法,来确定从其宽度比高度更长的具有非正方形形状的第一编码单元1420划分的编码单元的深度。
根据实施例,当奇数个划分的编码单元不具有相等的尺寸时,图像解码装置100可以基于编码单元之间的尺寸比率来确定用于标识划分的编码单元的PID。参考图14,奇数个划分的编码单元1414a、1414b和1414c当中的中心位置的编码单元1414b可以具有与其它编码单元1414a和1414c的宽度相等的宽度以及是其它编码单元1414a和1414c的高度的两倍的高度。也就是说,在这种情况下,位于中心位置处的编码单元1414b可以包括两个其它编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序为1时,位于编码单元1414b下一个的编码单元1414c的PID可以增加2,因此可以是3。也就是说,可以存在PID值的不连续。根据实施例,图像解码装置100可以基于用于标识划分的编码单元的PID中是否存在不连续来确定奇数个划分的编码单元是否不具有相等的尺寸。
根据实施例,图像解码装置100可以基于用于标识通过划分当前编码单元而确定的多个编码单元的PID值,来确定是否使用特定的划分方法。参考图14,图像解码装置100可以通过划分其高度比宽度更长的具有矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或者奇数个编码单元1414a、1414b和1414c。图像解码装置100可以使用指示各个编码单元的PID,以便标识各个编码单元。根据实施例,可以从每个编码单元的预设位置处的样点(例如,左上方样点)获得PID。
根据实施例,图像解码装置100可以通过使用用于区分编码单元的PID,从划分的编码单元当中确定预设位置处的编码单元。根据实施例,当其高度比宽度更长的具有矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码装置100可以将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码装置100可以向三个编码单元1414a、1414b和1414c中的每一个分配PID。图像解码装置100可以比较奇数个划分的编码单元的PID,以便从编码单元当中确定中心位置处的编码单元。图像解码装置100可以从通过划分第一编码单元1410而确定的编码单元当中,将具有对应于编码单元的PID当中的中间值的PID的编码单元1414b确定为中心位置处的编码单元。根据实施例,当划分的编码单元不具有相等的尺寸时,图像解码装置100可以基于编码单元之间的尺寸比率来确定用于区分划分的编码单元的PID。参考图14,通过划分第一编码单元1410而生成的编码单元1414b可以具有与其它编码单元1414a和1414c的宽度相等的宽度以及是其它编码单元1414a和1414c的高度的两倍的高度。在这种情况下,当位于中心位置处的编码单元1414b的PID为1时,位于编码单元1414b下一个的编码单元1414c的PID可以增加2,因此可以是3。当PID没有如上所述一致增加时,图像解码装置100可以确定编码单元被划分为多个编码单元,包括尺寸与其它编码单元的尺寸不同的编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码装置100可以以这样的方式划分当前编码单元,即奇数个编码单元当中的预设位置的编码单元(例如,中心位置的编码单元)的尺寸与其它编码单元的尺寸不同。在这种情况下,图像解码装置100可以通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预设位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可以使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码装置100可以使用其中编码单元开始被递归地划分的预设数据单元。
图15示出了根据实施例的基于图片中包括的多个预设数据单元来确定多个编码单元。
根据实施例,预设数据单元可以被定义为其中编码单元开始通过使用块形状信息和划分形状模式信息中的至少一个被递归地划分的数据单元。也就是说,预设数据单元可以对应于最上层深度的编码单元,其用于确定从当前图片划分的多个编码单元。在以下描述中,为了便于解释,预设数据单元被称为参考数据单元。
根据实施例,参考数据单元可以具有预设尺寸和预设形状。根据实施例,参考数据单元可以包括M×N个样点。这里,M和N可以彼此相等,并且可以是表示为2的幂的整数。也就是说,参考数据单元可以具有正方形或非正方形的形状,然后可以被划分为整数个编码单元。
根据实施例,图像解码装置100可以将当前图片划分为多个参考数据单元。根据实施例,图像解码装置100可以通过使用每个参考数据单元的划分形状模式信息来划分从当前图片划分的多个参考数据单元。划分参考数据单元的操作可以对应于使用四叉树结构的划分操作。
根据实施例,图像解码装置100可以预先确定包括在当前图片中的参考数据单元所允许的最小尺寸。因此,图像解码装置100可以确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可以通过参考所确定的参考数据单元使用块形状信息和划分形状模式信息来确定一个或多个编码单元。
参考图15,图像解码装置100可以使用正方形参考编码单元1500或非正方形参考编码单元1502。根据实施例,可以基于可以包括一个或多个参考编码单元的各种数据单元(例如,序列、图片、条带、条带段、片、片组、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码装置100的接收器(未示出)可以从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。将正方形参考编码单元1500划分为一个或多个编码单元的操作已经在上面结合图3的划分当前编码单元300的操作进行了描述,并且将非正方形参考编码单元1502划分为一个或多个编码单元的操作已经在上面结合图4的划分当前编码单元400或450的操作进行了描述。因此,这里将不提供其详细描述。
根据实施例,图像解码装置100可以使用用于标识参考编码单元的尺寸和形状的PID,以根据基于预设条件预先确定的一些数据单元来确定参考编码单元的尺寸和形状。也就是说,接收器(未示出)可以从比特流仅获得用于标识关于作为各种数据单元(例如,序列、图片、条带、条带段、片、片组、最大编码单元等)当中满足预设条件的数据单元(例如,尺寸等于或小于条带的数据单元)的每个条带、每个条带段、每个片、每个片组或每个最大编码单元的参考编码单元的尺寸和形状的PID。图像解码装置100可以通过使用PID来确定关于满足预设条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小的尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,可以仅获得并使用PID,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可以预先确定对应于用于标识参考编码单元的尺寸和形状的PID的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码装置100可以通过基于PID选择预先确定的参考编码单元的尺寸和形状中的至少一个,来确定作为用于获得PID的单元的数据单元中包括的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码装置100可以使用包括在最大编码单元中的一个或多个参考编码单元。也就是说,从图像划分的最大编码单元可以包括一个或多个参考编码单元,并且可以通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,参考编码单元的尺寸可以通过基于四叉树结构将最大编码单元划分n次来获得。也就是说,根据各种实施例,图像解码装置100可以通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可以基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出了根据实施例的用作用于确定图片1600中包括的参考编码单元的确定顺序的标准的处理块。
根据实施例,图像解码装置100可以确定从图片划分的一个或多个处理块。处理块是包括从图片划分的一个或多个参考编码单元的数据单元,并且包括在处理块中的一个或多个参考编码单元可以根据特定顺序来确定。也就是说,在处理块中的每一个中确定的一个或多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种类型的顺序之一,并且可以取决于处理块而变化。关于每个处理块确定的参考编码单元的确定顺序可以是各种顺序之一,例如,光栅扫描顺序、Z扫描、N扫描、右上对角线扫描、水平扫描和垂直扫描,但不限于上述扫描顺序。
根据实施例,图像解码装置100可以获得处理块尺寸信息,并且可以确定图片中包括的一个或多个处理块的尺寸。图像解码装置100可以从比特流获得处理块尺寸信息,并且可以确定图片中包括的一个或多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预设尺寸。
根据实施例,图像解码装置100的接收器(未示出)可以根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可以从诸如图像、序列、图片、条带、条带段等的数据单元中的比特流获得处理块尺寸信息。也就是说,接收器(未示出)可以根据各种数据单元中的每一个从比特流获得处理块尺寸信息,并且图像解码装置100可以通过使用获得的处理块尺寸信息来确定从图片划分的一个或多个处理块的尺寸。处理块的尺寸可以是参考编码单元的整数倍。
根据实施例,图像解码装置100可以确定图片1600中包括的处理块1602和1612的尺寸。例如,图像解码装置100可以基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参考图16,根据实施例,图像解码装置100可以将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并且可以将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码装置100可以确定一个或多个处理块中的一个或多个参考编码单元的确定顺序。
根据实施例,图像解码装置100可以基于处理块的尺寸来确定包括在图片1600中的处理块1602和1612,并且可以确定处理块1602和1612中的一个或多个参考编码单元的确定顺序。根据实施例,参考编码单元的确定可以包括参考编码单元的尺寸的确定。
根据实施例,图像解码装置100可以从比特流获得包括在一个或多个处理块中的一个或多个参考编码单元的确定顺序信息,并且可以基于获得的确定顺序信息来确定关于一个或多个参考编码单元的确定顺序。确定顺序信息可以被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可以关于每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码装置100可以根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,接收器(未示出)可以根据每个数据单元(诸如图像、序列、图片、条带、条带段、片、片组或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可以关于包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码装置100可以基于所确定的确定顺序来确定一个或多个参考编码单元。
根据实施例,接收器(未示出)可以从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息,并且图像解码装置100可以确定处理块1602和1612中包括的一个或多个参考编码单元的确定顺序,并且可以基于该确定顺序确定图片1600中包括的一个或多个参考编码单元。参考图16,图像解码装置100可以分别确定处理块1602和1612中的一个或多个参考编码单元的确定顺序1604和1614。例如,当关于每个处理块获得参考编码单元的确定顺序信息时,可以针对处理块1602和1612获得不同类型的参考编码单元的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可以根据光栅扫描顺序来确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时,可以根据反向光栅扫描顺序来确定处理块1612中包括的参考编码单元。
根据实施例,图像解码装置100可以解码所确定的一个或多个参考编码单元。图像解码装置100可以基于如上所述确定的参考编码单元来解码图像。解码参考编码单元的方法可以包括各种图像解码方法。
根据实施例,图像解码装置100可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的划分方法的划分形状模式信息,并且可以使用获得的信息。块形状信息或划分形状模式信息可以被包括在与各种数据单元相关的比特流中。例如,图像解码装置100可以使用包括在序列参数集、图片参数集、视频参数集、条带头、条带段头、片头或片组头中的块形状信息或划分形状模式信息。此外,图像解码装置100可以根据每个最大编码单元、每个参考编码单元或每个处理块,从比特流获得对应于块形状信息或划分形状模式信息的语法元素,并且可以使用获得的语法元素。
参考图17至图20,将描述根据各种实施例的基于各种形状编码单元的图像编码装置和图像解码装置以及用于对图像进行编码或解码的图像编码方法和图像解码方法。
图17和图18是用于描述根据各种实施例的根据划分树类型通过其划分为尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
图17a和图17b是用于描述根据各种实施例的当划分树类型指示单树时通过其划分为尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
图17a是用于描述根据实施例的当划分树类型指示单树时通过其划分尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
当划分树类型指示单树时,可以基于编码单元的一个树结构来确定亮度图像的编码单元的树结构和色度图像的编码单元的树结构。
参考图17a,当划分树类型指示单树时,图像解码装置100可以在垂直方向上对亮度块1705和对应的色度块1710进行二元划分。图像解码装置100可以将亮度块的允许最小尺寸确定为4x4,并且因为由于在垂直方向上的二元划分而要生成的块1715的尺寸大于亮度块的允许最小尺寸,所以图像解码装置100可以在垂直方向上对亮度块1705进行二元划分。
图像解码装置100可以将色度块的允许最小尺寸确定为4x4,并且因为由于在垂直方向上的二元划分而要生成的块的尺寸小于色度块的允许最小尺寸,所以图像解码装置100可以确定不划分色度块1710。
图像解码装置100可以在水平方向上对亮度块1715和对应的色度块1710进行二元划分。图像解码装置100可以将亮度块的允许最小尺寸确定为4x4,并且因为由于在水平方向上的二元划分而要生成的块1720的尺寸等于亮度块的允许最小尺寸,所以图像解码装置100可以在水平方向上对亮度块1715进行二元划分。
图像解码装置100可以将色度块的允许最小尺寸确定为4x4,并且因为由于在水平方向上的二元划分而要生成的块的尺寸小于色度块的允许最小尺寸,所以图像解码装置100可以确定不再划分色度块1710。
图17b是用于描述根据实施例的当划分树类型指示单树时通过其划分为尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
图17b是用于描述根据另一实施例的当划分树类型指示单树时通过其划分为尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
参考图17b,当划分树类型指示单树时,图像解码装置100可以在垂直方向上对亮度块1755和对应的色度块1760进行三元划分。图像解码装置100可以将亮度块的允许最小面积确定为16,并且因为由于在垂直方向上的三元划分而要生成的块1765的面积等于或大于亮度块的允许最小面积,所以图像解码装置100可以在垂直方向上对亮度块1755进行三元划分。
图像解码装置100可以将色度块的允许最小面积确定为16,并且因为由于在垂直方向上的三元划分而要生成的块的面积小于色度块的允许最小面积,所以图像解码装置100可以确定不划分色度块1760。
图18是用于描述根据实施例的当划分树类型指示双树时通过其划分尺寸等于或小于预设尺寸的色度块不被允许的方法的示图。
当划分树类型指示双树时,可以分别确定亮度图像的编码单元的树结构和色度图像的编码单元的树结构。
参考图18,图像解码装置100可以将色度块的允许最小尺寸确定为4x4,并且因为要通过根据特定划分类型划分色度块1800、1810、1820和1825而生成的块的尺寸小于作为色度块的允许最小尺寸的4x4,所以图像解码装置100可以确定不根据特定划分类型划分色度块1800。
当色度块1800的划分类型指示四元划分时,要通过对划分色度块1800进行四元划分而生成的块的尺寸为2x2,小于作为允许最小尺寸的4x4,因此,图像解码装置100可以确定不根据四元划分划分色度块1800。对此,作为基于色度块1800的尺寸的条件,图像解码装置100可以确定由于划分而要生成的块的尺寸是否小于作为允许最小尺寸的4x4。例如,图像解码装置100可以确定色度块1800的高度或宽度是否等于或小于4,并且响应于确定结果,图像解码装置100可以确定由于划分而要生成的块的尺寸小于作为允许最小尺寸的4x4。
当色度块1810的划分类型指示二元划分时,通过对色度块1810进行二元划分而生成的块的尺寸为4x2或2x4,小于作为允许最小尺寸的4x4,因此,图像解码装置100可以根据二元划分确定不划分色度块1810。对此,作为基于色度块1810的面积的条件,图像解码装置100可以确定由于划分而要生成的块的尺寸是否小于作为允许最小尺寸的4x4。例如,图像解码装置100可以确定色度块1810的面积是否等于或小于16,并且响应于确定结果,图像解码装置100可以确定由于划分而要生成的块的尺寸小于作为允许最小尺寸的4x4。
当色度块1820和1825的划分类型指示三元划分时,要通过对色度块1820和1825进行三元划分而生成的块的尺寸为4x2或2x4,小于作为允许最小尺寸的4x4,因此,图像解码装置100可以确定不根据三元划分划分色度块1820和1825。
对此,作为基于色度块1820和1825的面积的条件,图像解码装置100可以确定由于划分而要生成的块的尺寸是否小于作为允许最小尺寸的4x4。例如,图像解码装置100可以确定色度块1820和1825的面积是否等于或小于32,并且响应于确定结果,图像解码装置100可以确定由于划分而要生成的块的尺寸小于作为允许最小尺寸的4x4。
图像解码装置100可以将色度块的编码单元确定为总是等于或大于允许最小尺寸,从而提高色度块的解码中的吞吐量。
图19和图20是根据各种实施例的用于描述划分图片的边界处的块的方法的示图。
图19是用于描述根据实施例的通过使用基于边界的方向的划分形状模式来划分位于图片的边界处的块的方法的示图。
图像解码装置100可以通过递归地执行四元划分对块进行分层四元划分。在此,可以确定由于四元划分而要生成的块的尺寸的范围。图像解码装置100可以通过在由于四元划分而要生成的块的尺寸的范围内递归地执行四元划分,对块进行分层四元划分。
图像解码装置100可以对由于分层四元划分而生成的块递归地执行二元划分或三元划分。对此,可以预先确定二元划分或三元划分的划分深度。图像解码装置100可以基于二元划分或三元划分的预定划分深度对块递归地执行二元划分或三元划分,该块是由于分层四元划分而生成的。
参考图19,当当前块1900位于图片边界1905时,图像解码装置100可以不从比特流获得划分形状模式信息,并且可以根据对当前块1900允许的划分形状模式来划分当前块1900。例如,当当前块的划分形状模式的允许划分类型是三元划分或二元划分时,图像解码装置100可以对当前块1900进行二划分(或三元划分)。对此,可以基于当前块1900的图片边界1905的方向将划分方向确定为水平方向。
当当前块的划分形状模式的允许划分类型既不是三元划分也不是二元划分时,图像解码装置100可以对当前块1900进行四元划分。
图像解码装置100可以递归地划分当前块1900,直到由于划分而生成的块没有位于图片边界1905为止。
图20a和图20b是用于描述根据实施例的根据块的最小尺寸是否可在图片边界处的块通过对其施加允许的二元划分深度而二元划分时获得来划分图片边界处的块的方法的示图。
参考图20a,在当前块2000的尺寸为128x128,当前块2000的允许划分类型是二元划分,并且当前块2000的允许划分深度为3的情况下,当当前块2000位于当前图片的图像边界2005时,图像解码装置100可以基于第一划分边界2010执行二元划分,可以基于第二划分边界2015执行二元划分,并且可以基于第三划分边界2020执行二元划分。因为执行二元划分与二元划分深度一样多,所以图像解码装置100不能再执行二元划分。因此,图像边界2005内部的块2025的尺寸可以为16x128,其中块2025被确定为编码单元。然而,由于被确定为编码单元的块2025的尺寸不小,因此当块2025包括各种运动信息和像素值信息时,解码效率劣化。
参考图20b,在当前块2030的尺寸为128x128,当前块2030的允许划分类型是二元划分,并且当前块2030的允许划分深度为3的情况下,当当前块203位于当前图片的图像边界2035时,当考虑到当前块2030的尺寸和当前块2030的二元划分的允许划分深度,由于从当前块2030递归地二元划分而要生成的块的尺寸等于或小于最小块尺寸(例如,4x4)时,图像解码装置100可以执行二元划分,并且当考虑到二元划分的允许划分深度,由于从当前块2030递归地二元划分而生成的块的尺寸大于最小块尺寸时,可以执行四元划分。
因为考虑到二元划分的允许划分深度,由于从当前块2030递归地二元划分而生成的块的尺寸大于最小块尺寸,所以图像解码装置100可以基于第一划分边界2040对当前块2030执行四元划分。
因为考虑到二元划分的最大允许划分深度,由于从当前块2045递归地二元划分而生成的块的尺寸大于最小块尺寸,所以图像解码装置100可以基于第二划分边界2050对当前块2040执行四元划分。
由于考虑到二元划分的最大允许划分深度,由于从当前块2055递归地二元划分而生成的块的尺寸等于或小于最小块尺寸,所以图像解码装置100可以基于第三元划分边界2060对当前块2055执行二元划分。
图像边界2035内部的块2065的尺寸为16x32,块2065是通过基于第三划分边界2060对当前块2055执行二元划分而生成的,并且图像解码装置100可以另外对图像块2065执行二元划分。因此,与图20a不同,被确定为编码单元的块的尺寸可以更小,并且可以相对提高解码效率。
当图像解码装置100确定当前块2000或2030的尺寸为128x128,确定当前块2000或2030的允许划分类型为二元划分,并且确定当前块2000或2030的允许划分深度为3时,以上参考图20a和图20b描述了划分图片边界处的当前块2000或2030的方法,但是本公开不限于此,并且可以根据伪码划分位于图片边界处的当前块。
[伪码]
例如,在遵循上述伪码的图像解码装置100针对当前块的高度或宽度的更大值根据二元划分基于允许划分深度递归地执行划分的情况下,当对应侧变为特定尺寸(或更小)(在此,特定尺寸可以是最小块尺寸,或者由用户设置的尺寸),图像解码装置100可以根据二元划分对当前图像进行递归划分(基于二叉树的划分)。除了上述情况之外,图像解码装置100可以根据四元划分来划分当前块。详细地,在允许二元划分深度(bt_depth)为3的情况下,仅当来自当前块的高度和宽度当中的更大值等于或小于最小尺寸(min_bt_size)x2x2x2(即,最小尺寸x 8)时,可以根据二元划分递归地划分当前块。
参考图20a和图20b,描述了图像解码装置100考虑到二元划分深度而执行二元划分或四元划分的方法,但是本公开不限于此,因此,本领域普通技术人员可以容易理解,图像解码装置100可以以类似的方式基于二元(和三元)划分深度对当前块进行二元划分、三元划分或四元划分。
已经参考本公开的实施例具体地示出和描述了本公开。对此,本领域普通技术人员将理解,可以在不脱离本公开的范围的情况下在形式和细节上进行各种改变。因此,实施例应当仅在描述性意义上考虑,而不是出于限制的目的。本公开的范围不是由本公开的详细描述限定,而是由所附权利要求限定,并且该范围内的所有差异要被解释为包括在本公开中。
同时,本公开的上述实施例可以被编写为在计算机上可执行的程序,并且可以在通过使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括磁性存储介质(例如,ROM、软盘、硬盘等)、光学记录介质(例如,CD-ROM或DVD)等。
Claims (4)
1.一种图像解码方法,包括:
基于亮度块的划分方向和划分类型中的至少一个来获得一个或多个亮度编码单元;
基于所获得的一个或多个亮度编码单元来解码亮度图像;
当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来获得包括在所述色度块中的一个或多个色度编码单元;以及
基于所获得的一个或多个色度编码单元来解码色度图像,
其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且
其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
2.一种图像解码设备,包括:
至少一个处理器,被配置为:
基于亮度块的划分方向和划分类型中的至少一个来获得一个或多个亮度编码单元,
基于所获得的一个或多个亮度编码单元来解码亮度图像,
当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型获得包括在所述色度块中的一个或多个色度编码单元,以及
基于所获得的一个或多个色度编码单元来解码色度图像,
其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且
其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
3.一种图像编码方法,包括:
基于亮度块的划分方向和划分类型中的至少一个来确定一个或多个亮度编码单元;
基于所确定的一个或多个亮度编码单元来对亮度图像进行编码;
当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来确定包括在所述色度块中的一个或多个色度编码单元;以及
基于所确定的一个或多个色度编码单元来对色度图像进行编码,
其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且
其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
4.一种存储比特流的计算机可读存储介质,所述比特流通过图像编码方法编码,所述图像编码方法包括:
基于亮度块的划分方向和划分类型中的至少一个来确定一个或多个亮度编码单元;
基于所确定的一个或多个亮度编码单元来对亮度图像进行编码;
当色度块的面积小于或等于根据所述色度块的第一划分类型预定的面积时,确定不允许根据第一划分类型划分所述色度块,并且基于所述色度块的第二划分类型来确定包括在所述色度块中的一个或多个色度编码单元;以及
基于所确定的一个或多个色度编码单元来对色度图像进行编码,
其中,所述色度块的第一划分类型指示二元划分和三元划分之一,并且
其中,所述亮度块的划分方向和划分类型与所述色度块的划分方向和划分类型是独立的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US62/669,667 | 2018-05-10 | ||
US62/683,255 | 2018-06-11 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980045982.7A Division CN112385219B (zh) | 2018-05-10 | 2019-05-10 | 用于图像编码的方法和装置以及用于图像解码的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118283261A true CN118283261A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112514402A (zh) | 用于图像编码的方法和设备以及用于图像解码的方法和设备 | |
CN113455004A (zh) | 视频编码方法和装置以及视频解码方法和装置 | |
KR102386291B1 (ko) | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 | |
EP3941050A1 (en) | Image encoding method and device, and image decoding method and device | |
KR102618499B1 (ko) | 하드웨어 설계를 고려한 비디오 부호화 방법, 부호화 장치, 비디오 복호화 방법, 복호화 장치 | |
CN111543054B (zh) | 图像编码方法、图像解码方法及其装置 | |
CN112385219B (zh) | 用于图像编码的方法和装置以及用于图像解码的方法和装置 | |
CN118283261A (zh) | 用于图像编码的方法和装置及用于图像解码的方法和装置 | |
CN118283258A (zh) | 用于图像编码的方法和装置及用于图像解码的方法和装置 | |
CN118283260A (zh) | 用于图像编码的方法和装置及用于图像解码的方法和装置 | |
CN118283262A (zh) | 用于图像编码的方法和装置及用于图像解码的方法和装置 | |
CN118283259A (zh) | 用于图像编码的方法和装置及用于图像解码的方法和装置 | |
KR102665187B1 (ko) | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 | |
CN114026856A (zh) | 图像编码方法和设备以及图像解码方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |