CN112352426A - 用于图像编码和解码的图像分割方法和装置 - Google Patents

用于图像编码和解码的图像分割方法和装置 Download PDF

Info

Publication number
CN112352426A
CN112352426A CN201980040716.5A CN201980040716A CN112352426A CN 112352426 A CN112352426 A CN 112352426A CN 201980040716 A CN201980040716 A CN 201980040716A CN 112352426 A CN112352426 A CN 112352426A
Authority
CN
China
Prior art keywords
block
coding
encoding
division
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040716.5A
Other languages
English (en)
Inventor
朴缗茱
金赞烈
朴慜祐
郑丞洙
崔棋镐
崔娜莱
崔雄一
A.塔姆塞
朴银姬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112352426A publication Critical patent/CN112352426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像解码方法，包括：确定第一编码块和对应于第一编码块的第二编码块；当第一编码块的尺寸等于或小于预设尺寸时，从比特流获得第一划分形状模式信息和第二划分形状模式信息；基于第一划分形状模式信息来确定第一编码块的划分模式，并且基于第二划分形状模式信息来确定第二编码块的划分模式；以及对基于第一编码块的划分模式而确定的第一颜色分量的编码块和基于第二编码块的划分模式而确定的第二颜色分量的编码块进行解码。

Description

用于图像编码和解码的图像分割方法和装置
技术领域
本公开涉及图像编码和解码的领域。更具体地，本公开涉及一种用于高效编码和解码图像的图像划分方法和装置。
背景技术
随着已经开发了能够再现和存储高分辨率和高质量图像的硬件，对能够高效编码和解码高分辨率和高质量图像的编解码器的需求日益增加。
近来，提出了有效编码高分辨率和高质量图像内容的方法。例如，提出了在随机处理要被编码的图像之后编码图像的方法。
各种数据单元可以用于编码图像，并且在数据单元之间可以存在包含关系。可以通过使用各种方法来划分数据单元，以确定要在图像编码中使用的数据单元的尺寸，然后可以基于图像的特性来确定最优数据单元，使得可以编码和解码图像。
发明内容
技术问题
根据实施例的图像划分方法和装置的技术问题是通过高效划分图像来以低比特率编码和解码图像。
问题的解决方案
根据实施例，一种图像解码方法，包括：确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，第一编码块和第二编码块是从图像划分的；当第一编码块的尺寸等于或小于预定尺寸时，从比特流获得关于第一编码块的第一划分形状模式信息和关于第二编码块的第二划分形状模式信息；基于第一划分形状模式信息来确定第一编码块的划分模式，并且基于第二划分形状模式信息来确定第二编码块的划分模式；以及基于从比特流获得的信息，对基于第一编码块的划分模式而确定的第一颜色分量的编码块和基于第二编码块的划分模式而确定的第二颜色分量的编码块进行解码。
公开的有益效果
根据实施例的图像划分方法和装置可以通过高效划分图像来以低比特率编码和解码图像。
可由根据实施例的图像划分方法和装置获得的效果不限于前述效果，并且鉴于以下描述，本领域普通技术人员将清楚地理解其他未阐述的效果。
附图说明
提供了关于各个附图的描述，以得到对本说明书的附图的充分理解。
图1是根据实施例的图像解码装置的框图。
图2是根据实施例的图像编码装置的框图。
图3示出了根据实施例的由图像解码装置执行的通过划分当前编码单元来确定至少一个编码单元的过程。
图4示出了根据实施例的由图像解码装置执行的通过划分非正方形编码单元来确定至少一个编码单元的过程。
图5示出了根据实施例的由图像解码装置执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的过程。
图6示出了根据实施例的由图像解码装置执行的确定来自奇数个编码单元当中的预定编码单元的方法。
图7示出了根据实施例的在图像解码装置通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
图8示出了根据实施例的在编码单元不可以预定顺序处理时由图像解码装置执行的确定当前编码单元要被划分为奇数个编码单元的过程。
图9示出了根据实施例的由图像解码装置执行的通过划分第一编码单元来确定至少一个编码单元的过程。
图10示出了根据实施例的在通过划分第一编码单元而确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可划分为的形状被限制。
图11示出了根据实施例的在划分形状模式信息指示正方形编码单元不被划分为四个正方形编码单元时由图像解码装置执行的划分正方形编码单元的过程。
图12示出了根据实施例的多个编码单元之间的处理顺序可以根据划分编码单元的过程而改变。
图13示出了根据实施例的在递归划分编码单元使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的过程。
图14示出了根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出了根据实施例的多个编码单元基于被包括在图像中的多个预定数据单元来确定。
图16示出了根据实施例的用作用于确定被包括在图像中的参考编码单元的确定顺序的标准的处理块。
图17示出了根据实施例的可以在编码单元可划分为的形状的组合在图像中的每一个中变化时为图像中的每一个确定的编码单元。
图18示出了可以基于可表示为二进制码的划分形状模式信息而确定的编码单元的各种形状。
图19示出了根据实施例的可以基于可由二进制码表示的划分形状模式信息而确定的编码单元的其他形状。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图21是用于描述根据实施例的划分编码单元的方法的示图。
图22是用于描述根据实施例的从编码单元确定变换单元的方法的示图。
图23是用于描述根据实施例的图像解码方法的流程图。
图24是用于描述根据实施例的图像编码方法的流程图。
具体实施方式
根据本公开的实施例，一种图像解码方法，包括：确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，第一编码块和第二编码块是从图像划分的；当第一编码块的尺寸等于或小于预定尺寸时，从比特流获得关于第一编码块的第一划分形状模式信息和关于第二编码块的第二划分形状模式信息；基于第一划分形状模式信息来确定第一编码块的划分模式，并且基于第二划分形状模式信息来确定第二编码块的划分模式；以及基于从比特流获得的信息，对基于第一编码块的划分模式而确定的第一颜色分量的编码块和基于第二编码块的划分模式而确定的第二颜色分量的编码块进行解码。
在实施例中，该图像解码方法还可以包括：当第一编码块的尺寸大于预定尺寸时，将第一编码块和第二编码块的划分模式确定为预定划分模式；以及根据预定划分模式，基于从比特流获得的信息对从第一编码块确定的第一颜色分量的编码块和从第二编码块确定的第二颜色分量的编码块进行解码。
该图像解码方法还可以包括，当根据预定划分模式从第一编码块确定的第一颜色分量的编码块的尺寸等于或小于预定尺寸时，基于从比特流获得的第一划分形状模式信息和第二划分形状模式信息来独立地确定第一颜色分量的编码块和与第一颜色分量的编码块相对应的第二颜色分量的编码块的划分模式。
第二编码块可以被递归划分，并且当通过递归划分第二编码块而确定的第二颜色分量的编码块的子编码块的尺寸等于或小于最小尺寸时，可以不允许第二颜色分量的编码块的划分。
第一编码块的可允许最大深度可以大于第二编码块的可允许最大深度。
该图像解码方法还可以包括，考虑到第一编码块的划分模式，确定从第一编码块确定的第一颜色分量的编码块的划分模式。
该图像解码方法还可以包括，基于从第一编码块确定的第一颜色分量的编码块的块形状和可从第一颜色分量的编码块确定的子编码块的块形状中的至少一个，确定第一颜色分量的编码块的可允许划分模式，并且其中，识别可允许划分模式和不允许用于第一颜色分量的编码块的划分模式所需的信息不从比特流进行解析。
当从第一编码块确定的第一颜色分量的编码块对应于来自从第一编码块三元划分的编码块当中的处于预设位置的编码块时，可以不允许第一颜色分量的编码块的划分。
该图像解码方法还可以包括，当与第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，对宽度或高度对应于2n的编码块的变换系数进行逆变换。
该图像解码方法还可以包括，当与第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，将第一颜色分量的编码块的预测模式确定为不需要逆变换的预测模式。
该图像解码方法还可以包括，当与第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，将变换块的变换系数确定为0，或者将变换块的变换系数确定为从比特流获得的DC值。
当第一颜色分量的编码块的宽度或高度不对应于2n时，第一颜色分量的编码块可以被划分为宽度和高度对应于2n的一个或多个编码块。
根据本公开的实施例，一种图像解码装置，包括：比特流获得器，被配置为获得包括编码图像的结果的比特流；以及解码器，被配置为：确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，第一编码块和第二编码块是从图像划分的；当第一编码块的尺寸等于或小于预设尺寸时，从比特流获得关于第一编码块的第一划分形状模式信息和关于第二编码块的第二划分形状模式信息；基于第一划分形状模式信息来确定第一编码块的划分模式，并且基于第二划分形状模式信息来确定第二编码块的划分模式；以及基于从比特流获得的信息，对基于第一编码块的划分模式而确定的第一颜色分量的编码块和基于第二编码块的划分模式而确定的第二颜色分量的编码块进行解码。
根据本公开的实施例，一种图像编码方法，包括：确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，第一编码块和第二编码块是从图像划分的；当第一编码块的尺寸等于或小于预设尺寸时，确定关于第一编码块的第一划分模式和关于第二编码块的第二划分模式；对基于第一编码块的第一划分模式而确定的第一颜色分量的编码块和基于第二编码块的第二划分模式而确定的第二颜色分量的编码块进行编码；以及生成包括指示第一划分模式的第一划分形状模式信息和指示第二划分模式的第二划分形状模式信息的比特流。
公开模式
由于本公开允许各种改变和众多实施例，所以将在附图中示出并在书面描述中详细描述特定实施例。然而，这并不旨在将本公开限制于特定的实践模式，并且将理解，不脱离本公开的精神和技术范围的所有改变、等同物和替代物都被包含在本公开中。
在实施例的描述中，当认为相关技术的详细解释可能不必要地模糊本公开的本质时，省略了相关技术的详细解释。此外，说明书的描述中的数字(例如，“第一”、“第二”等)仅用于区分一个元件和另一个元件。
在整个说明书中，还将理解，当元件被称为“连接到”或“耦合到”另一元件时，它可以直接连接到或耦合到另一元件，或者它可以通过具有在其与另一元件之间插入的中间元件而间接连接到或耦合到另一元件。
在整个说明书中，关于表示为“单元”或“模块”的元件，两个或更多个元件可以被组合为一个元件，或者一个元件可以根据细分的功能而分为两个或更多个元件。另外，除了在下文中描述的每个元件的主要功能之外，该每个元件还可以附加地执行由另一元件执行的一些或所有功能，并且每个元件的一些主要功能可以完全由另一组件执行。
在整个说明书中，“图像”可以是视频的静止图像，或者可以是移动图像，即视频本身。
在整个说明书中，“样点”表示分配给图像的采样位置的数据，即要被处理的数据。例如，空间域中的图像的像素值和变换域上的变换系数可以是样点。包括至少一个这样的样点的单元可以被定义为块。
在下文中，参考图1至图24，将提供根据实施例的基于树结构的编码单元和变换单元的图像编码方法及其装置和图像解码方法及其装置。
图1是根据实施例的图像解码装置100的框图。
图像解码装置100可以包括比特流获得器110和解码器120。
比特流获得器110和解码器120可以包括至少一个处理器。此外，比特流获得器110和解码器120可以包括存储要由至少一个处理器执行的指令的存储器。
比特流获得器110可以接收比特流。比特流包括由要在下面描述的图像编码装置200编码的图像的信息。此外，比特流可以从图像编码装置200发送。图像编码装置200和图像解码装置100可以通过有线或无线连接，并且比特流获得器110可以经由有线或无线网络接收比特流。比特流获得器110可以从诸如光学介质或硬盘的存储介质接收比特流。
解码器120可以基于从所接收的比特流获得的信息来重构图像。解码器120可以从比特流获得用于重构图像的语法元素。解码器120可以基于语法元素来重构图像。
根据关于解码器120的操作的进一步描述，解码器120可以执行从比特流获得与编码单元的划分形状模式相对应的二进制串的操作。然后，解码器120可以执行确定编码单元的划分规则的操作。此外，解码器120可以基于划分规则和与划分形状模式相对应的二进制串中的至少一个来执行将编码单元划分为多个编码单元的操作。
在下文中，将根据本公开的实施例详细描述编码单元的划分。
首先，一个图像可以被划分为一个或多个条带或者一个或多个片。一个条带或一个片可以是一个或多个最大编码单元(编码树单元(CTU))的序列。在概念上与最大编码单元(CTU)相比，存在最大编码块(编码树块(CTB))。
最大编码单元(CTB)是指包括NxN个样点的NxN块(其中，N是整数)。每个颜色分量可以被划分为一个或多个最大编码块。
当图像具有三个样点阵列(分别是Y、Cr和Cb分量的样点阵列)时，最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个对应的最大编码块、以及用于编码亮度样点和色度样点的语法结构。当图像是单色图片时，最大编码单元包括单色样点的最大编码块和用于编码单色样点的语法结构。
一个最大编码块(CTB)可以被划分为包括MxN个样点的MxN编码块(其中，M和N是整数)。
当图像具有分别用于Y、Cr和Cb分量的样点阵列时，编码单元(CU)包括亮度样点的编码块、色度样点的两个对应的编码块、以及用于编码亮度样点和色度样点的语法结构。当图像是单色图片时，编码单元包括单色样点的编码块和用于编码单色样点的语法结构。
如上所述，最大编码块和最大编码单元在概念上彼此区分，并且编码块和编码单元在概念上彼此区分。也就是说，(最大)编码单元是指包括(最大)编码块的数据结构，其中该(最大)编码块包括对应的样点和对应于(最大)编码块的语法结构。然而，因为本领域普通技术人员可以理解(最大)编码单元或(最大)编码块是指包括一定数量的样点的一定尺寸的块，所以在以下说明书中提到了最大编码块和最大编码单元、或者编码块和编码单元，而没有进行区分，除非另有描述。
图像可以被划分为最大编码单元(CTU)。每个最大编码单元的尺寸可以基于从比特流获得的信息来确定。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而，本公开不限于此。
例如，可以从比特流获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以为4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如，可以从比特流获得关于可由2划分的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息。关于亮度块尺寸差的信息可以指最大亮度编码块和可由2划分的最大亮度编码块之间的尺寸差。因此，当从比特流获得的关于可由2划分的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此组合时，可以确定亮度最大编码块的尺寸。色度最大编码块的尺寸可以通过使用亮度最大编码块的尺寸来确定。例如，当Y:Cb:Cr比率根据颜色格式为4:2:0时，色度块的尺寸可以是亮度块的一半尺寸，并且色度最大编码块的尺寸可以是亮度最大编码块的一半尺寸。
根据实施例，因为关于可二元划分的亮度编码块的最大尺寸的信息是从比特流获得的，所以可以可变地确定可二元划分的亮度编码块的最大尺寸。相反，可以固定可三元划分的亮度编码块的最大尺寸。例如，I图像中可三元划分的亮度编码块的最大尺寸可以为32×32，并且P图像或B图像中可三元划分的亮度编码块的最大尺寸可以为64×64。
此外，基于从比特流获得的划分形状模式信息，最大编码单元可以被分层地划分为编码单元。可以获得指示是否要执行多重划分的信息、指示是否要执行四元划分的信息、划分方向信息和划分类型信息中的至少一个作为来自比特流的划分形状模式信息。
例如，指示是否要执行多重划分的信息可以指示当前编码单元不被进一步划分(NO_SPLIT)还是要被划分(SPLIT)。
例如，当当前编码单元要被划分时，指示是否要执行四元划分的信息可以指示当前编码单元要被四元划分(QUAD_SPLIT)还是不被四元划分。
当当前编码单元不被四元划分时，划分方向信息指示当前编码单元要在水平方向或垂直方向中的一个上被划分。
当当前编码单元要在水平方向或垂直方向上被划分时，划分类型信息指示当前编码单元要被二元划分还是三元划分。
当前编码单元的划分模式可以根据划分方向信息和划分类型信息来确定。当当前编码单元在水平方向上被二元划分时的划分模式可以被确定为二元水平划分模式(SPLIT_BT_HOR)，当当前编码单元在水平方向上被三元划分时的划分模式可以被确定为三元水平划分模式(SPLIT_TT_HOR)，当当前编码单元在垂直方向上被二元划分时的划分模式可以被确定为二元垂直划分模式(SPLIT_BT_VER)，并且当当前编码单元在垂直方向上被三元划分时的划分模式可以被确定为三元垂直划分模式SPLIT_TT_VER。
解码器120可以从比特流获得来自一个二进制串的划分形状模式信息。由比特流获得器110接收的比特流的形式可以包括固定长度二进制码、一元码、截断一元码、预定二进制码等。二进制串是二进制数中的信息。二进制串可以包括至少一个比特。解码器120可以基于划分规则来获得对应于二进制串的划分形状模式信息。解码器120可以基于一个二进制串来确定是否对编码单元进行四元划分、是否划分编码单元、划分方向和划分类型。
编码单元可以小于或等于最大编码单元。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元中的一个。当关于最大编码单元的划分形状模式信息指示不执行划分时，在最大编码单元中确定的编码单元具有与最大编码单元的尺寸相同的尺寸。当关于最大编码单元的划分形状码信息指示要执行划分时，最大编码单元可以被划分为编码单元。此外，当关于编码单元的划分形状模式信息指示要执行划分时，编码单元可以被划分为更小的编码单元。然而，图像的划分不限于此，并且可以不区分最大编码单元和编码单元。将参考图3至图16详细描述编码单元的划分。
此外，可以从编码单元确定用于预测的一个或多个预测单元。预测单元的尺寸可以等于编码单元的尺寸，或者可以小于编码单元的尺寸。此外，可以从编码单元确定用于变换的一个或多个变换单元。变换单元的尺寸可以等于编码单元的尺寸，或者可以小于编码单元的尺寸。
变换单元和预测单元的形状和尺寸可以彼此不相关。
在实施例中，可以通过使用编码单元作为预测单元来执行预测。此外，可以通过使用编码单元作为变换块来执行变换。
根据各种划分形状模式从编码单元确定的变换单元的宽度或高度可以不对应于2n(其中，n是整数)。换句话说，在变换单元的横向或纵向上排列的样点的数量可以不对应于2n。当用于对被包括在变换单元中的变换系数进行逆变换的变换核的宽度和高度对应于2n时，对于宽度或高度不对应于2n的变换单元，变换核不能用于逆变换。在这种情况下，要求宽度或高度对应于2n的变换核，这增加了变换和逆变换的复杂性。因此，本公开提出了用于解决由于变换单元的宽度或高度不对应于2n而不执行正确的频率变换或逆变换的问题的解决方案。将在下面参考图21和图22描述该解决方案。
将参考图3至图16详细描述编码单元的划分。
图3示出了根据实施例的由解码器120执行的通过划分当前编码单元来确定至少一个编码单元的过程。
块形状可以包括4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxN或Nx8N。这里，N可以是正整数。块形状信息是指指示编码单元的形状、方向、宽高比或尺寸中的至少一个的信息。
编码单元的形状可以包括正方形和非正方形。当编码单元的宽度和高度相等时(即，当编码单元的块形状为4Nx4N时)，解码器120可以将编码单元的块形状信息确定为正方形。
当编码单元的宽度和高度彼此不同时(即，当编码单元的块形状为4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxN或Nx8N时)，解码器120可以将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时，解码器120可以将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外，解码器120可以基于编码单元的宽度的长度和高度的长度来确定编码单元是在水平方向还是垂直方向上。此外，解码器120可以基于编码单元的宽度的长度、高度的长度、或面积中的至少一个来确定编码单元的尺寸。
根据实施例，解码器120可以通过使用块形状信息来确定编码单元的形状，并且可以通过使用划分形状模式信息来确定编码单元的划分方法。也就是说，由划分形状模式信息指示的编码单元划分方法可以基于由解码器120使用的块形状信息指示的块形状来确定。
解码器120可以从比特流获得划分形状模式信息。然而，实施例不限于此，并且解码器120以及图像编码装置200的编码器220可以基于块形状信息来确定预先约定的划分形状模式信息。解码器120可以确定关于最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如，解码器120可以将关于最大编码单元的划分形状模式信息确定为四元划分。此外，解码器120可以将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地，解码器120可以将最大编码单元的尺寸确定为256×256。图像解码装置100可以将预先约定的划分形状模式信息确定为四元划分。四元划分是编码单元的宽度和高度都被二等分的划分形状模式。解码器120可以基于划分形状模式信息从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外，解码器120可以将最小编码单元的尺寸确定为4x4。解码器120可以获得关于最小编码单元的指示“不执行划分”的划分形状模式信息。
此外，解码器120可以基于父编码单元的划分形状模式信息来确定子编码单元的划分形状模式信息。子编码单元是指从父编码单元划分的编码单元。例如，当父编码单元的划分形状模式信息指示二元垂直划分时，子编码单元的划分形状可以对应于除了二元垂直划分以外的划分形状。
此外，考虑到要通过划分父编码单元而生成的子编码单元的块形状，解码器120可以确定父编码单元的划分形状。例如，当要通过对父编码单元进行三元垂直划分而生成的子编码单元的尺寸小于预定尺寸时，解码器120可以将父编码单元的划分形状确定为除了三元垂直划分以外的划分形状。
根据实施例，解码器120可以使用指示当前编码单元具有正方形形状的块形状信息。例如，解码器120可以基于划分形状模式信息来确定是否划分正方形编码单元、是否垂直划分正方形编码单元、是否水平划分正方形编码单元、或者是否将正方形编码单元划分为四个编码单元。
参考图3，当当前编码单元300的块形状信息指示正方形形状时，解码器120可以基于指示不执行划分的划分形状模式信息来确定不从当前编码单元300划分的编码单元310a，或者可以基于指示预定划分方法的划分形状模式信息来确定从当前编码单元300划分的编码单元310b、310c、310d、310e或310f。
参考图3，根据实施例，解码器120可以基于指示在垂直方向上执行二元划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的两个编码单元310b。解码器120可以基于指示在水平方向上执行二元划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的两个编码单元310c。解码器120可以基于指示在垂直方向和水平方向上执行划分的划分形状模式信息来确定通过在垂直方向和水平方向上划分当前编码单元300而获得的四个编码单元310d。根据实施例，解码器120可以基于指示在垂直方向上执行三元划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的三个编码单元310e。解码器120可以基于指示在水平方向上执行三元划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的三个编码单元310f。然而，正方形编码单元的划分方法不限于前述方法，并且可以包括可以由划分形状模式信息指示的各种方法。下面将与各种实施例相关地详细描述正方形编码单元的划分形状。
图4示出了根据实施例的由解码器120执行的通过划分非正方形编码单元来确定至少一个编码单元的过程。
根据实施例，解码器120可以使用指示当前编码单元具有非正方形形状的块形状信息。解码器120可以基于划分形状模式信息来确定是否划分非正方形当前编码单元或者是否通过使用预定划分方法划分非正方形当前编码单元。参考图4，当当前编码单元400或450的块形状信息指示非正方形形状时，解码器120可以基于指示不执行划分的划分形状模式信息来确定具有与当前编码单元400或450相同的尺寸的编码单元410或460，或者可以基于指示预定划分方法的划分形状模式信息来确定被划分的编码单元420a和420b，430a、430b和430c，470a和470b，或者480a、480b和480c。下面将与各种实施例相关地详细描述划分非正方形编码单元的预定划分方法。
根据实施例，解码器120可以通过使用划分形状模式信息来确定编码单元的划分方法，并且在这种情况下，划分形状模式信息可以指示通过划分编码单元而生成的一个或多个编码单元的数量。参考图4，当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时，解码器120可以通过基于划分形状模式信息划分当前编码单元400或450来确定被包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例，当解码器120基于划分形状模式信息来划分非正方形当前编码单元400或450时，考虑到非正方形当前编码单元400或450的长边的位置，解码器120可以划分当前编码单元。例如，考虑到当前编码单元400或450的形状，通过划分当前编码单元400或450的长边来划分当前编码单元400或450，解码器120可以确定多个编码单元。
根据实施例，当划分形状模式信息指示将编码单元划分(三元划分)为奇数个块时，解码器120可以确定被包括在当前编码单元400或450中的奇数个编码单元。例如，当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时，解码器120可以将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例，当前编码单元400或450的宽高比可以为4:1或1:4。当宽高比为4:1时，块形状信息可以指示水平方向，因为宽度的长度比高度的长度长。当宽高比为1:4时，块形状信息可以指示垂直方向，因为宽度的长度比高度的长度短。解码器120可以基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外，解码器120可以基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如，当当前编码单元400在垂直方向上时，解码器120可以通过在水平方向上划分当前编码单元400来确定编码单元430a、430b和430c。此外，当当前编码单元450在水平方向上时，解码器120可以通过在垂直方向上划分当前编码单元450来确定编码单元480a、480b和480c。
根据实施例，解码器120可以确定被包括在当前编码单元400或450中的奇数个编码单元，并且不是所有所确定的编码单元都可以具有相同的尺寸。例如，来自所确定的奇数个编码单元430a、430b和430c或者480a、480b和480c当中的预定编码单元430b或480b可以具有不同于其他编码单元430a和430c或者480a和480c的尺寸。也就是说，可以通过划分当前编码单元400或450而确定的编码单元可以具有多个尺寸，并且在一些情况下，奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部可以具有不同的尺寸。
根据实施例，当划分形状模式信息指示将编码单元划分为奇数个块时，解码器120可以确定被包括在当前编码单元400或450中的奇数个编码单元，并且另外地，可以对来自通过划分当前编码单元400或450而生成的奇数个编码单元当中的至少一个编码单元施加预定限制。参考图4，解码器120可以允许编码单元430b或480b的解码过程不同于其他编码单元430a和430c或者480a或480c的解码过程，其中编码单元430b或480b处于通过划分当前编码单元400或450而生成的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置。例如，与其他编码单元430a和430c或者480a和480c不同，解码器120可以限制处于中心位置的编码单元430b或480b不再被划分或仅被划分预定次数。
图5示出了根据实施例的由解码器120执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的过程。
根据实施例，解码器120可以基于块形状信息和划分形状模式信息中的至少一个来确定将正方形第一编码单元500划分为编码单元，或者可以确定不划分正方形第一编码单元500。根据实施例，当划分形状模式信息指示在水平方向上划分第一编码单元500时，解码器120可以通过在水平方向上划分第一编码单元500来确定第二编码单元510d和510e。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解划分编码单元之前和之后的关系的术语。例如，可以通过划分第一编码单元来确定第二编码单元，并且可以通过划分第二编码单元来确定第三编码单元。将理解，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例，解码器120可以基于划分形状模式信息来确定将或不将第二编码单元510e划分为第三编码单元。参考图5，解码器120可以基于划分形状模式信息将通过划分第一编码单元500而确定的非正方形第二编码单元510e划分为一个或多个第三编码单元520a或520b、520c和520d，或者可以不划分非正方形第二编码单元510e。
解码器120可以获得划分形状模式信息，并且可以基于所获得的划分形状模式信息，通过划分第一编码单元500来确定多个各种形状的第二编码单元510b、510c、510d、510e、510f、510g、510h和510i，并且第二编码单元510b、510c、510d、510e、510f、510g、510h和510i可以基于划分形状模式信息通过使用第一编码单元500的划分方法来划分。根据实施例，当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510b、510c、510d、510e、510f、510g、510h和510i时，也可以基于第二编码单元510b、510c、510d、510e、510f、510g、510h和510i的划分形状模式信息将第二编码单元510b、510c、510d、510e、510f、510g、510h和510i划分为第三编码单元。也就是说，可以基于每个编码单元的划分形状模式信息来递归划分编码单元。因此，可以通过划分非正方形编码单元来确定正方形编码单元，并且可以通过递归划分正方形编码单元来确定非正方形编码单元。根据实施例，当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510b、510c、510d、510e、510f、510g、510h和510i时，第二编码单元510b、510c、510d、510e、510f、510g、510h和510i的划分形状可以对应于除了第一编码单元500的划分形状以外的划分形状。例如，当第一编码单元500的划分形状模式信息指示四元划分时，第二编码单元510f、510g、510h和510i的划分形状可以对应于除了四元划分以外的划分形状。在这种情况下，当解码器120确定第二编码单元510f、510g、510h和510i的划分形状模式时，解码器120可以不从比特流解析指示是否执行四元划分的信息。此外，当第一编码单元500的划分形状模式信息指示二元垂直划分时，第二编码单元510b和510c的划分形状可以对应于除了二元垂直划分以外的划分形状。在这种情况下，当解码器120确定第二编码单元510b和510c的划分形状时，解码器120可以不从比特流解析指示垂直方向的划分方向信息和指示二元划分的划分类型信息。
参考图5，来自通过划分非正方形第二编码单元510e而确定的奇数个第三编码单元520b、520c和520d当中的预定编码单元(例如，位于中心位置的编码单元或者正方形编码单元)可以被递归划分。根据实施例，来自奇数个第三编码单元520b、520c和520d当中的非正方形第三编码单元520c可以在水平方向上被划分为多个第四编码单元。来自多个第四编码单元530a、530b、530c和530d当中的非正方形第四编码单元530b或530d可以被重新划分为多个编码单元。例如，非正方形第四编码单元530b或530d可以被重新划分为奇数个编码单元。下面将与各种实施例相关地描述可以用于递归划分编码单元的方法。
根据实施例，解码器120可以基于划分形状模式信息将第三编码单元520a或520b、520c和520d中的每一个划分为第四编码单元。此外，解码器120可以基于划分形状模式信息来确定不划分第二编码单元510b、510c、510d、510e、510f、510g、510h和510i。根据实施例，解码器120可以将非正方形第二编码单元510e划分为奇数个第三编码单元520b、520c和520d。解码器120可以对来自奇数个第三编码单元520b、520c和520d当中的预定第三编码单元施加预定限制。例如，解码器120可以限制来自奇数个第三编码单元520b、520c和520d当中的处于中心位置的第三编码单元520c不再被划分或被划分可设置的次数。
参考图5，解码器120可以限制来自被包括在非正方形第二编码单元510e中的奇数个第三编码单元520b、520c和520d当中的位于中心位置的第三编码单元520c不再被划分、被划分为具有预定划分形状(例如，划分为四个编码单元、划分为与第二编码单元510e的划分形状相同的划分形状、划分为除了第二编码单元510e的划分形状以外的划分形状、或者在除了第二编码单元510e的划分方向以外的划分方向上被划分)、或者仅被划分预定次数(例如，仅划分n次(其中，n>0))。在本公开中，当编码单元的划分形状被限制为预定划分形状(例如，无划分、四元划分、二元水平划分、二元垂直划分、三元水平划分或三元垂直划分)时，这可以指示编码单元仅可划分为预定划分形状。此外，编码单元的划分次数被限制为预定的划分次数可以指示编码单元仅可划分预定的划分次数。
当不允许来自奇数个第三编码单元520b、520c和520d当中的处于中心位置的第三编码单元520c的划分时，解码器120可以不从比特流解析处于中心位置的第三编码单元520c的划分形状模式信息。当来自奇数个第三编码单元520b、520c和520d当中的处于中心位置的第三编码单元520c的划分被限制为预定划分形状时，解码器120可以不从比特流解析确定预定划分形状所需的信息。例如，当第三编码单元520c的划分形状被限制为水平划分时，解码器120可以不从比特流解析指示水平方向或垂直方向的划分方向信息。当第三编码单元520c的划分形状被限制为二元划分时，解码器120可以不从比特流解析指示二元划分或三元划分的划分类型信息。然而，对处于中心位置的编码单元520c的限制不限于前述示例，并且应该理解，限制可以包括用于与其他第三编码单元520b和520d不同地对处于中心位置的编码单元520c进行解码的各种限制。
根据实施例，解码器120可以从当前编码单元中的预定位置获得用于划分当前编码单元的划分形状模式信息。
图6示出了根据实施例的由解码器120执行的确定来自奇数个编码单元当中的预定编码单元的方法。
参考图6，可以从来自被包括在当前编码单元600或650的多个样点当中的预定位置的样点(例如，中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而，当前编码单元600中可以从其获得至少一条划分形状模式信息的预定位置不限于图6中的中心位置，并且可以包括被包括在当前编码单元600中的各种位置(例如，顶部、底部、左侧、右侧、左上方、左下方、右上方和右下方位置)。解码器120可以从预定位置获得划分形状模式信息，并且可以确定将或不将当前编码单元划分为各种形状和各种尺寸的编码单元。
根据实施例，当当前编码单元被划分为预定数量的编码单元时，解码器120可以选择编码单元中的一个。各种方法可以用于选择多个编码单元中的一个，这将在下面与各种实施例相关地进行描述。
根据实施例，解码器120可以将当前编码单元划分为多个编码单元，并且可以确定处于预定位置的编码单元。
根据实施例，解码器120可以使用指示奇数个编码单元的位置的信息，以便确定来自奇数个编码单元当中的处于中心位置的编码单元。参考图6，解码器120可以通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。解码器120可以通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，通过基于指示被包括在编码单元620a、620b和620c中的预定样点的位置的信息来确定编码单元620a、620b和620c的位置，解码器120可以确定中心位置的编码单元620b。详细地，通过基于指示编码单元620a、620b和620c的左上角样点630a、630b和630c的位置的信息来确定编码单元620a、620b和620c的位置，解码器120可以确定处于中心位置的编码单元620b。
根据实施例，指示分别被包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的位置的信息可以包括关于图像中的编码单元620a、620b和620c的位置或坐标的信息。根据实施例，指示分别被包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的位置的信息可以包括指示被包括在当前编码单元600中的编码单元620a、620b和620c的宽度或高度的信息，并且宽度或高度可以对应于指示图像中的编码单元620a、620b和620c的坐标之间的差的信息。也就是说，解码器120可以通过直接使用关于图像中的编码单元620a、620b和620c的位置或坐标的信息、或者通过使用关于编码单元与坐标之间的差值相对应的宽度或高度的信息来确定处于中心位置的编码单元620b。
根据实施例，指示上部编码单元620a的左上角样点630a的位置的信息可以包括坐标(xa，ya)，指示中间编码单元620b的左上角样点630b的位置的信息可以包括坐标(xb，yb)，并且指示下部编码单元620c的左上角样点630c的位置的信息可以包括坐标(xc，yc)。解码器120可以通过使用分别被包括在编码单元620a、620b和620c中的左上角样点630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上角样点630a、630b和630c的坐标以升序或降序被排序时，包括处于中心位置的样点630b的坐标(xb，yb)的编码单元620b可以被确定为来自通过划分当前编码单元600而确定的编码单元620a、620b和620c当中的处于中心位置的编码单元。然而，指示左上角样点630a、630b和630c的位置的坐标可以包括指示图像中的绝对位置的坐标，或者可以使用参考上部编码单元620a的左上角样点630a的位置的、指示中间编码单元620b的左上角样点630b的相对位置的坐标(dxb，dyb)和指示下部编码单元620c的左上角样点630c的相对位置的坐标(dxc，dyc)。通过使用被包括在编码单元中的样点的坐标作为指示样点的位置的信息来确定处于预定位置的编码单元的方法不限于前述方法，并且可以包括能够使用样点的坐标的各种算术方法。
根据实施例，解码器120可以将当前编码单元600划分为多个编码单元620a、620b和620c，并且可以基于预定标准来选择编码单元620a、620b和620c中的一个。例如，解码器120可以从编码单元620a、620b和620c当中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
根据实施例，解码器120可以通过使用作为指示上部编码单元620a的左上角样点630a的位置的信息的坐标(xa，ya)、作为指示中间编码单元620b的左上角样点630b的位置的信息的坐标(xb，yb)以及作为指示下部编码单元620c的左上角样点630c的位置的信息的坐标(xc，yc)来确定编码单元620a、620b和620c中的每一个的宽度或高度。解码器120可以通过使用指示编码单元620a、620b和620c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元620a、620b和620c的相应尺寸。根据实施例，解码器120可以将上部编码单元620a的宽度确定为当前编码单元600的宽度。解码器120可以将上部编码单元620a的高度确定为yb-ya。根据实施例，解码器120可以将中间编码单元620b的宽度确定为当前编码单元600的宽度。解码器120可以将中间编码单元620b的高度确定为yc-yb。根据实施例，解码器120可以通过使用当前编码单元600的宽度或高度或者上部编码单元620a和中间编码单元620b的宽度或高度来确定下部编码单元620c的宽度或高度。解码器120可以基于所确定的编码单元620a、620b和620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参考图6，解码器120可以将具有与上部编码单元620a和下部编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而，由解码器120执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的前述方法仅对应于通过使用基于样点的坐标而确定的编码单元的尺寸来确定处于预定位置的编码单元的示例，因此可以使用通过比较基于预定样点的坐标而确定的编码单元的尺寸来确定处于预定位置的编码单元的各种方法。
解码器120可以通过使用作为指示左侧编码单元660a的左上角样点670a的位置的信息的坐标(xd，yd)、作为指示中间编码单元660b的左上角样点670b的位置的信息的坐标(xe，ye)以及作为指示右侧编码单元660c的左上角样点670c的位置的信息的坐标(xf，yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。解码器120可以通过使用指示编码单元660a、660b和660c的位置的坐标(xd，yd)、(xe，ye)和(xf，yf)来确定编码单元660a、660b和660c的相应尺寸。
根据实施例，解码器120可以将左侧编码单元660a的宽度确定为xe-xd。解码器120可以将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例，解码器120可以将中间编码单元660b的宽度确定为xf-xe。解码器120可以将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例，解码器120可以通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。解码器120可以基于所确定的编码单元660a、660b和660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参考图6，解码器120可以将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预定位置的编码单元。然而，由解码器120执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的前述方法仅对应于通过使用基于样点的坐标而确定的编码单元的尺寸来确定处于预定位置的编码单元的示例，因此可以使用通过比较基于预定样点的坐标而确定的编码单元的尺寸来确定处于预定位置的编码单元的各种方法。
然而，被考虑以确定编码单元的位置的样点的位置不限于前述左上角位置，并且可以使用关于被包括在编码单元中的样点的任意位置的信息。
根据实施例，考虑到当前编码单元的形状，解码器120可以从通过划分当前编码单元而确定的奇数个编码单元当中选择处于预定位置的编码单元。例如，当当前编码单元具有宽度比高度长的非正方形形状时，解码器120可以在水平方向上确定处于预定位置的编码单元。也就是说，解码器120可以在水平方向上确定处于不同位置的编码单元中的一个，并且可以对编码单元施加限制。当当前编码单元具有高度比宽度长的非正方形形状时，解码器120可以在垂直方向上确定处于预定位置的编码单元。也就是说，解码器120可以在垂直方向上确定处于不同位置的编码单元中的一个，并且可以对编码单元施加限制。
根据实施例，解码器120可以使用指示偶数个编码单元的相应位置的信息，以便确定来自偶数个编码单元当中的处于预定位置的编码单元。解码器120可以通过划分(二元划分)当前编码单元来确定偶数个编码单元，并且可以通过使用关于偶数个编码单元的位置的信息来确定处于预定位置的编码单元。与之相关的操作可以对应于在上面参考图6详细描述的确定来自奇数个编码单元当中的处于预定位置(例如，中心位置)的编码单元的操作，因此这里不提供其详细描述。
根据实施例，当非正方形当前编码单元被划分为多个编码单元时，关于处于预定位置的编码单元的预定信息可以用于划分过程，以确定来自多个编码单元当中的处于预定位置的编码单元。例如，解码器120可以在划分过程中使用存储在被包括在中间编码单元中的样点中的块形状信息和划分形状模式信息中的至少一个来确定来自通过划分当前编码单元而确定的多个编码单元当中的处于中心位置的编码单元。
参考图6，解码器120可以基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c，并且可以确定来自多个编码单元620a、620b和620c当中的处于中心位置的编码单元620b。此外，考虑到从其获得划分形状模式信息的位置，解码器120可以确定处于中心位置的编码单元620b。也就是说，当前编码单元600的划分形状模式信息可以从当前编码单元600的中心位置处的样点640获得，并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时，包括样点640的编码单元620b可以被确定为处于中心位置的编码单元。然而，用于确定处于中心位置的编码单元的信息不限于划分形状模式信息，并且各种类型的信息可以用于确定处于中心位置的编码单元。
根据实施例，可以从被包括在要确定的编码单元中的预定样点获得用于识别处于预定位置的编码单元的预定信息。参考图6，解码器120可以使用从当前编码单元600中的处于预定位置的样点(例如，当前编码单元600的中心位置处的样点)获得的划分形状模式信息，以确定来自通过划分当前编码单元600而确定的多个编码单元620a、620b和620c当中的处于预定位置的编码单元(例如，来自多个划分编码单元当中的处于中心位置的编码单元)。也就是说，解码器120可以通过考虑当前编码单元600的块形状来确定处于预定位置的样点，可以确定来自通过划分当前编码单元600而确定的多个编码单元620a、620b和620c当中的包括可从其获得预定信息(例如，划分形状模式信息)的样点的编码单元620b，并且可以对编码单元620b施加预定限制。参考图6，根据实施例，在解码操作中，解码器120可以将当前编码单元600的中心位置处的样点640确定为可从其获得预定信息的样点，并且可以对包括样点640的编码单元620b施加预定限制。然而，可从其获得预定信息的样点的位置不限于前述位置，并且可以包括被包括在要确定用于限制的编码单元620b中的样点的任意位置。
根据实施例，可以基于当前编码单元600的形状来确定可从其获得预定信息的样点的位置。根据实施例，块形状信息可以指示当前编码单元具有正方形还是非正方形形状，并且可以基于形状来确定可从其获得预定信息的样点的位置。例如，解码器120可以通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个来确定位于用于将当前编码单元的宽度和高度中的至少一个划分为两半的边界上的样点，作为可从其获得预定信息的样点。作为另一示例，当当前编码单元的块形状信息指示非正方形形状时，解码器120可以确定与用于将当前编码单元的长边划分为两半的边界相邻的样点中的一个，作为可从其获得预定信息的样点。
根据实施例，当当前编码单元被划分为多个编码单元时，解码器120可以使用划分形状模式信息，以便确定来自多个编码单元当中的处于预定位置的编码单元。根据实施例，解码器120可以从编码单元中的预定位置处的样点获得划分形状模式信息，并且可以通过使用从多个编码单元中的每一个中的预定位置的样点获得的划分形状模式信息来划分通过划分当前编码单元而生成的多个编码单元。也就是说，可以基于从每个编码单元中的预定位置处的样点获得的划分形状模式信息来递归划分编码单元。上面参考图5描述了递归划分编码单元的操作，因此这里不提供其详细描述。
根据实施例，解码器120可以通过划分当前编码单元来确定一个或多个编码单元，并且可以基于预定块(例如，当前编码单元)来确定对一个或多个编码单元进行解码的顺序。
图7示出了根据实施例的在解码器120通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
根据实施例，基于划分形状模式信息，解码器120可以通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，可以通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b，或者可以通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参考图7，解码器120可以确定以水平方向顺序710c处理第二编码单元710a和710b，第二编码单元710a和710b是通过在垂直方向上划分第一编码单元700来确定的。解码器120可以确定以垂直方向顺序730c处理第二编码单元730a和730b，第二编码单元730a和730b已经通过在水平方向上划分第一编码单元700来确定。解码器120可以根据预定顺序(例如，光栅扫描顺序或Z扫描顺序750e)来确定通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a、750b、750c和750d，其中通过该预定顺序处理一行中的编码单元并然后处理下一行中的编码单元。
根据实施例，解码器120可以递归划分编码单元。参考图7，解码器120可以通过划分第一编码单元700来确定多个编码单元710a和710b，730a和730b，或者750a、750b、750c和750d，并且可以递归划分所确定的多个编码单元710a和710b，730a和730b，或者750a、750b、750c和750d中的每一个。多个编码单元710a和710b，730a和730b，或者750a、750b、750c和750d的划分方法可以对应于第一编码单元700的划分方法。因此，多个编码单元710a和710b，730a和730b，或者750a、750b、750c和750d中的每一个可以被独立地划分为多个编码单元。参考图7，解码器120可以通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，并且可以确定独立地划分第二编码单元710a和710b中的每一个或者不划分第二编码单元710a和710b。
根据实施例，解码器120可以通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b，并且可以不划分右侧第二编码单元710b。
根据实施例，可以基于划分编码单元的操作来确定编码单元的处理顺序。换句话说，可以基于紧接在被划分之前的编码单元的处理顺序来确定划分的编码单元的处理顺序。解码器120可以独立于右侧第二编码单元710b，确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为第三编码单元720a和720b是通过在水平方向上划分左侧第二编码单元710a来确定的，所以第三编码单元720a和720b可以以垂直方向顺序720c被处理。因为左侧第二编码单元710a和右侧第二编码单元710b以水平方向顺序710c被处理，所以右侧第二编码单元710b可以在被包括在左侧第二编码单元710a中的第三编码单元720a和720b以垂直方向顺序720c被处理之后被处理。应该解释为基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于前述示例，并且各种方法可以用于以预定顺序独立地处理被划分并确定为各种形状的编码单元。
图8示出了根据实施例的在编码单元不可以预定顺序处理时由解码器120执行的确定当前编码单元要被划分为奇数个编码单元的过程。
根据实施例，解码器120可以基于所获得的划分形状模式信息来确定当前编码单元要被划分为奇数个编码单元。参考图8，正方形第一编码单元800可以被划分为非正方形第二编码单元810a和810b，并且第二编码单元810a和810b可以被独立地划分为第三编码单元820a和820b以及820c、820d和820e。根据实施例，解码器120可以通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b，并且可以将右侧第二编码单元810b划分为奇数个第三编码单元820c、820d和820e。
根据实施例，解码器120可以通过确定第三编码单元820a和820b以及820c、820d和820e是否可以预定顺序处理来确定任何编码单元是否要被划分为奇数个编码单元。参考图8，解码器120可以通过递归划分第一编码单元800来确定第三编码单元820a和820b以及820c、820d和820e。解码器120可以基于块形状信息和划分形状模式信息中的至少一个来确定第一编码单元800，第二编码单元810a和810b，或第三编码单元820a和820b以及820c、820d和820e中的任何一个是否要被划分为奇数个编码单元。例如，来自第二编码单元810a和810b当中的位于右侧的第二编码单元810b可以被划分为奇数个第三编码单元820c、820d和820e。被包括在第一编码单元800中的多个编码单元的处理顺序可以是预定顺序(例如，Z扫描顺序830)，并且解码器120可以确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于以预定顺序进行处理的条件。
根据实施例，解码器120可以确定被包括在第一编码单元800中的第三编码单元820a和820b以及820c、820d和820e是否满足用于以预定顺序进行处理的条件，并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否要沿着第三编码单元820a和820b以及820c、820d和820e的边界被划分为两半相关。例如，在非正方形形状的左侧第二编码单元810a的高度被划分为两半时确定的第三编码单元820a和820b可以满足条件。可以确定第三编码单元820c、820d和820e不满足条件，因为在右侧第二编码单元810b被划分为三个编码单元时确定的第三编码单元820c、820d和820e的边界不能将右侧第二编码单元810b的宽度或高度划分为两半。当如上所述不满足条件时，解码器120可以确定扫描顺序的断开，并且可以基于确定的结果来确定右侧第二编码单元810b要被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，解码器120可以对来自划分的编码单元当中的处于预定位置的编码单元施加预定限制。在上面与各种实施例相关地描述了限制或预定位置，因此这里不提供其详细描述。
图9示出了根据实施例的由解码器120执行的通过划分第一编码单元900来确定至少一个编码单元的过程。
根据实施例，解码器120可以基于通过比特流获得器110获得的划分形状模式信息来划分第一编码单元900。正方形第一编码单元900可以被划分为四个正方形编码单元，或者可以被划分为多个非正方形编码单元。例如，参考图9，当第一编码单元900是正方形并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时，解码器120可以将第一编码单元900划分为多个非正方形编码单元。详细地，当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时，解码器120可以将正方形第一编码单元900划分为奇数个编码单元，例如通过在垂直方向上划分正方形第一编码单元900而确定的第二编码单元910a、910b和910c或者通过在水平方向上划分正方形第一编码单元900而确定的第二编码单元920a、920b和920c。
根据实施例，解码器120可以确定被包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于以预定顺序进行处理的条件，并且该条件与第一编码单元900的宽度和高度中的至少一个是否要沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被划分为两半相关。参考图9，因为通过在垂直方向上划分正方形第一编码单元900而确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的宽度划分为两半，所以可以确定第一编码单元900不满足用于以预定顺序进行处理的条件。另外，因为通过在水平方向上划分正方形第一编码单元900而确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的宽度划分为两半，所以可以确定第一编码单元900不满足用于以预定顺序进行处理的条件。当如上所述不满足条件时，解码器120可以确定扫描顺序的断开，并且可以基于确定的结果来确定第一编码单元900要被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，解码器120可以对来自划分的编码单元当中的处于预定位置的编码单元施加预定限制。在上面与各种实施例相关地描述了限制或预定位置，因此这里不提供其详细描述。
参考图9，解码器120可以将正方形第一编码单元900或者非正方形第一编码单元930或950划分为各种形状的编码单元。
图10示出了根据实施例的在通过从第一编码单元1000划分而确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元的划分形状被限制。
根据实施例，解码器120可以基于由比特流获得器110获得的划分形状模式信息来确定将正方形第一编码单元1000划分为非正方形第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可以被独立地划分。因此，解码器120可以基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的划分形状模式信息来确定将或不将第二编码单元1010a和1010b或者1020a和1020b中的每一个划分为多个编码单元。根据实施例，解码器120可以通过在水平方向上划分非正方形左侧第二编码单元1010a来确定第三编码单元1012a和1012b，其中该非正方形左侧第二编码单元1010a是通过在垂直方向上划分第一编码单元1000来确定的。然而，当左侧第二编码单元1010a在水平方向上被划分时，解码器120可以限制右侧第二编码单元1010b不在左侧第二编码单元1010a被划分的水平方向上被划分。当第三编码单元1014a和1014b通过在相同方向上划分右侧第二编码单元1010b来确定时，因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分，所以可以确定第三编码单元1012a和1012b或者1014a和1014b。然而，这种情况同等地用作解码器120基于划分形状模式信息将第一编码单元1000划分为四个正方形第二编码单元1030a、1030b、1030c和1030d的情况，并且在图像解码方面可能是低效的。
根据实施例，解码器120可以通过在垂直方向上划分非正方形第二编码单元1020a或1020b来确定第三编码单元1022a和1022b或者1024a和1024b，其中该非正方形第二编码单元1020a或1020b是通过在水平方向上划分第一编码单元1000来确定的。然而，当第二编码单元(例如，上部第二编码单元1020a)在垂直方向上被划分时，由于前述原因，解码器120可以限制另一个第二编码单元(例如，下部第二编码单元1020b)不在上部第二编码单元1020a被划分的垂直方向上被划分。
根据实施例，解码器120可以基于经由比特流获得器110获得的划分形状模式信息，通过对正方形第一编码单元1000进行三元划分来确定非正方形第二编码单元1040a、1040b和1040c。第二编码单元1040a、1040b和1040c可以被独立地划分。因此，解码器120可以基于与第二编码单元1040a、1040b和1040c相关的多条划分形状模式信息来确定将或不将第二编码单元1040a、1040b和1040c划分为多个编码单元。根据实施例，当解码器120确定不划分通过对第一编码单元1000进行三元垂直划分而确定的左侧的非正方形第二编码单元1040a和右侧的非正方形第二编码单元1040c时，解码器120可以将处于中心位置的第二编码单元1040b的划分形状限制为除了二元垂直划分以外的划分形状。因为上述划分生成了与通过对第二编码单元1010a和1010b中的每一个进行二元垂直划分而获得的结果(即，第三编码单元1011a、1011b、1011c和1011d)相同的结果(其中该第二编码单元1010a和1010b是通过对第一编码单元1000进行二元垂直划分来确定的)，并且相同的结果在图像解码方面可能是低效的。
当根据划分规则不允许将编码单元划分为预定划分形状时，解码器120可以不从比特流解析确定预定划分形状所需的信息。例如，当不允许编码单元的水平划分时，解码器120可以不从比特流解析指示水平方向或垂直方向的划分方向信息。此外，当不允许编码单元的二元划分时，解码器120可以不从比特流解析指示二元划分或三元划分的划分类型信息。
图11示出了根据实施例的在划分形状模式信息指示正方形编码单元不被划分为四个正方形编码单元时由解码器120执行的划分正方形编码单元的过程。
根据实施例，解码器120可以基于划分形状模式信息，通过划分第一编码单元1100来确定第二编码单元1110a和1110b或者1120a和1120b等。划分形状模式信息可以包括关于划分编码单元的各种方法的信息，但是关于各种划分方法的信息可以不包括用于将编码单元划分为四个正方形编码单元的信息。基于划分形状模式信息，解码器120不将正方形第一编码单元1100划分为四个正方形第二编码单元1130a、1130b、1130c和1130d。解码器120可以基于划分形状模式信息来确定非正方形第二编码单元1110a和1110b或者1120a和1120b等。
根据实施例，解码器120可以独立地划分非正方形第二编码单元1110a和1110b或者1120a和1120b等。可以以预定顺序来递归划分第二编码单元1110a和1110b或者1120a和1120b等中的每一个，并且该划分方法可以对应于基于划分形状模式信息来划分第一编码单元1100的方法。
例如，解码器120可以确定在水平方向上从左侧第二编码单元1110a划分的正方形第三编码单元1112a和1112b，并且可以确定在水平方向上从右侧第二编码单元1110b划分的正方形第三编码单元1114a和1114b。此外，解码器120可以确定在水平方向上从左侧第二编码单元1110a和右侧第二编码单元1110b两者划分的正方形第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可以确定具有与从第一编码单元1100划分的四个正方形第二编码单元1130a、1130b、1130c和1130d相同的形状的编码单元。
作为另一示例，解码器120可以确定在垂直方向上从上部第二编码单元1120a划分的正方形第三编码单元1122a和1122b，并且可以确定在垂直方向上从下部第二编码单元1120b划分的正方形第三编码单元1124a和1124b。此外，解码器120可以确定在垂直方向上从上部第二编码单元1120a和下部第二编码单元1120b两者划分的正方形第三编码单元1126a、1126b、1126c和1126d。在这种情况下，可以确定具有与从第一编码单元1100划分的四个正方形第二编码单元1130a、1130b、1130c和1130d相同的形状的编码单元。
图12示出了根据实施例的多个编码单元之间的处理顺序可以根据划分编码单元的过程而改变。
根据实施例，解码器120可以基于划分形状模式信息来划分第一编码单元1200。当块形状指示正方形形状并且划分形状模式信息指示在水平方向和垂直方向中的至少一个上划分第一编码单元1200时，解码器120可以通过划分第一编码单元1200来确定第二编码单元1210a和1210b或者1220a和1220b等。参考图12，通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形第二编码单元1210a和1210b或者1220a和1220b可以基于每个编码单元的划分形状模式信息被独立地划分。例如，解码器120可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d。上面参考图11描述了划分第二编码单元1210a和1210b或者1220a和1220b的操作。因此这里不提供其详细描述。
根据实施例，解码器120可以以预定顺序处理编码单元。上面参考图7描述了以预定顺序处理编码单元的操作。因此这里不提供其详细描述。参考图12，解码器120可以通过划分正方形第一编码单元1200来确定四个正方形第三编码单元1216a、1216b、1216c和1216d或者1226a、1226b、1226c和1226d。根据实施例，解码器120可以基于第一编码单元1200被划分的划分形状来确定第三编码单元1216a、1216b、1216c和1216d或者1226a、1226b、1226c和1226d的处理顺序。
根据实施例，解码器120可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以以用于初始在垂直方向上处理被包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c并然后在垂直方向上处理被包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d的处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d。
根据实施例，解码器120可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d，并且可以以用于初始在水平方向上处理被包括在上部第二编码单元1220a中的第三编码单元1226a和1226b并然后在水平方向上处理被包括在下部第二编码单元1220b中的第三编码单元1226c和1226d的处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d。
参考图12，可以通过分别划分第二编码单元1210a和1210b以及1220a和1220b来确定正方形第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200而确定的第二编码单元1220a和1220b不同地是通过在垂直方向上划分第一编码单元1200来确定的，但是从其划分的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出了从第一编码单元1200划分的相同形状的编码单元。因此，通过基于划分形状模式信息来以不同的方式递归划分编码单元，即使当编码单元被最终确定为具有相同形状时，解码器120也可以以不同的顺序处理多个编码单元。
图13示出了根据实施例的在递归划分编码单元使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的过程。
根据实施例，解码器120可以基于预定标准来确定编码单元的深度。例如，预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分的当前编码单元的长边的长度的2n倍(n>0)时，解码器120可以确定当前编码单元的深度从被划分之前的编码单元的深度增加n。在以下描述中，具有增加的深度的编码单元被表达为更深的深度的编码单元。
参考图13，根据实施例，通过基于指示正方形形状的块形状信息(例如，块形状信息可以被表达为‘0:SQUARE’(‘0:正方形’))来划分正方形第一编码单元1300，解码器120可以确定更深的深度的第二编码单元1302和第三编码单元1304。假设正方形第一编码单元1300的尺寸为2N×2N，通过将第一编码单元1300的宽度和高度划分为1/2而确定的第二编码单元1302可以具有尺寸N×N。此外，通过将第二编码单元1302的宽度和高度划分为1/2而确定的第三编码单元1304可以具有尺寸N/2×N/2。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4倍。当第一编码单元1300的深度为D时，宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以为D+1，并且宽度和高度是第一编码单元1300的宽度和高度的1/4倍的第三编码单元1304的深度可以为D+2。
根据实施例，通过基于指示非正方形形状的块形状信息(例如，块形状信息可以被表达为高度比宽度长的非正方形形状的‘1:NS_VER’，或者被表达指示宽度比高度长的非正方形形状的‘2:NS_HOR’)来划分非正方形第一编码单元1310或1320，解码器120可以确定更深的深度的第二编码单元1312或1322以及第三编码单元1314或1324。
解码器120可以通过划分具有尺寸N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，解码器120可以通过在水平方向上划分第一编码单元1310来确定具有尺寸N×N的第二编码单元1302或具有尺寸N×N/2的第二编码单元1322，或者可以通过在水平方向和垂直方向上划分第一编码单元1310来确定具有尺寸N/2×N的第二编码单元1312。
根据实施例，解码器120可以通过划分具有尺寸2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，解码器120可以通过在垂直方向上划分第一编码单元1320来确定具有尺寸N×N的第二编码单元1302或具有尺寸N/2×N的第二编码单元1312，或者可以通过在水平方向和垂直方向上划分第一编码单元1320来确定具有尺寸N×N/2的第二编码单元1322。
根据实施例，解码器120可以通过划分具有尺寸N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，解码器120可以通过在垂直方向和水平方向上划分第二编码单元1302来确定具有尺寸N/2×N/2的第三编码单元1304、具有尺寸N/4×N/2的第三编码单元1314或具有尺寸N/2×N/4的第三编码单元1324。
根据实施例，解码器120可以通过划分具有尺寸N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，解码器120可以通过在水平方向上划分第二编码单元1312来确定具有尺寸N/2×N/2的第三编码单元1304或具有尺寸N/2×N/4的第三编码单元1324，或者可以通过在垂直方向和水平方向上划分第二编码单元1312来确定具有尺寸N/4×N/2的第三编码单元1314。
根据实施例，解码器120可以通过划分具有尺寸N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，解码器120可以通过在垂直方向上划分第二编码单元1322来确定具有尺寸N/2×N/2的第三编码单元1304或具有尺寸N/4×N/2的第三编码单元1314，或者可以通过在垂直方向和水平方向上划分第二编码单元1322来确定具有尺寸N/2×N/4的第三编码单元1324。
根据实施例，解码器120可以在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如，解码器120可以通过在垂直方向上划分具有尺寸2N×2N的第一编码单元1300来确定具有尺寸N×2N的第一编码单元1310，或者可以通过在水平方向上划分第一编码单元1300来确定具有尺寸2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度来确定深度时，通过在水平方向或垂直方向上划分具有尺寸2N×2N的第一编码单元1300而确定的编码单元的深度可以与第一编码单元1300的深度相同。
根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4倍。当第一编码单元1310或1320的深度为D时，宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以为D+1，并且宽度和高度是第一编码单元1310或1320的宽度和高度的1/4倍的第三编码单元1314或1324的深度可以为D+2。
图14示出了根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例，解码器120可以通过划分正方形第一编码单元1400来确定各种形状的第二编码单元。参考图14，通过基于划分形状模式信息在垂直方向和水平方向中的至少一个上划分第一编码单元1400，解码器120可以确定第二编码单元1402a和1402b、1404a和1404b或者1406a、1406b、1406c和1406d。也就是说，解码器120可以基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b或者1406a、1406b、1406c和1406d。
根据实施例，基于正方形第一编码单元1400的划分形状模式信息而确定的第二编码单元1402a和1402b、1404a和1404b或者1406a、1406b、1406c和1406d的深度可以基于其长边的长度来确定。例如，因为正方形第一编码单元1400的边的长度等于非正方形第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元1400和非正方形第二编码单元1402a和1402b以及1404a和1404b可以具有相同的深度，例如D。然而，当解码器120基于划分形状模式信息将第一编码单元1400划分为四个正方形第二编码单元1406a、1406b、1406c和1406d时，因为正方形第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍，所以第二编码单元1406a、1406b、1406c和1406d的深度可以为比第一编码单元1400的深度D深1的D+1。
根据实施例，通过基于划分形状模式信息在水平方向上划分高度比宽度长的第一编码单元1410，解码器120可以确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，通过基于划分形状模式信息在垂直方向上划分宽度比高度长的第一编码单元1420，解码器120可以确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例，基于非正方形第一编码单元1410或1420的划分形状模式信息而确定的第二编码单元1412a和1412b以及1414a、1414b和1414c，或者1422a和1422b以及1424a、1424b和1424c的深度可以基于其长边的长度来确定。例如，因为正方形第二编码单元1412a和1412b的边的长度是高度比宽度长的具有非正方形形状的第一编码单元1410的长边的长度的1/2倍，所以正方形第二编码单元1412a和1412b的深度为比非正方形第一编码单元1410的深度D深1的D+1。
此外，解码器120可以基于划分形状模式信息将非正方形第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可以包括非正方形第二编码单元1414a和1414c以及正方形第二编码单元1414b。在这种情况下，因为非正方形第二编码单元1414a和1414c的长边的长度和正方形第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2倍，所以第二编码单元1414a、1414b和1414c的深度可以为比非正方形第一编码单元1410的深度D深1的D+1。解码器120可以通过使用确定从第一编码单元1410划分的编码单元的深度的前述方法来确定从宽度比高度长的具有非正方形形状的第一编码单元1420划分的编码单元的深度。
根据实施例，当奇数个划分的编码单元不具有相等的尺寸时，解码器120可以基于编码单元之间的尺寸比来确定用于识别划分的编码单元的PID。参考图14，奇数个划分的编码单元1414a、1414b和1414c当中的中心位置的编码单元1414b可以具有与其他编码单元1414a和1414c的宽度相等的宽度以及两倍于其他编码单元1414a和1414c的高度的高度。也就是说，在这种情况下，处于中心位置的编码单元1414b可以包括其他编码单元1414a或1414c中的两个。因此，当处于中心位置的编码单元1414b的PID基于扫描顺序为1时，位于编码单元1414b旁边的编码单元1414c的PID可以增加2并因此可以为3。也就是说，可能存在PID值的不连续性。根据实施例，解码器120可以基于用于识别划分的编码单元的PID中是否存在不连续性来确定奇数个划分的编码单元是否不具有相等的尺寸。
根据实施例，解码器120可以基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定的划分方法。参考图14，解码器120可以通过划分高度比宽度长的具有矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或者奇数个编码单元1414a、1414b和1414c。解码器120可以使用指示相应的编码单元的PID，以便识别相应的编码单元。根据实施例，可以从每个编码单元的预定位置处的样点(例如，左上部样点)获得PID。
根据实施例，解码器120可以通过使用用于区分编码单元的PID来确定来自划分的编码单元当中的处于预定位置的编码单元。根据实施例，当高度比宽度长的具有矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时，解码器120可以将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。解码器120可以将PID分配给三个编码单元1414a、1414b和1414c中的每一个。解码器120可以比较奇数个划分的编码单元的PID，以便确定来自编码单元当中的处于中心位置的编码单元。解码器120可以确定具有编码单元的PID当中对应于中间值的PID的编码单元1414b，作为来自通过划分第一编码单元1410而确定的编码单元当中的处于中心位置的编码单元。根据实施例，当划分的编码单元不具有相等的尺寸时，解码器120可以基于编码单元之间的尺寸比来确定用于区分划分的编码单元的PID。参考图14，通过划分第一编码单元1410而生成的编码单元1414b可以具有与其他编码单元1414a和1414c的宽度相等的宽度以及两倍于其他编码单元1414a和1414c的高度的高度。在这种情况下，当处于中心位置的编码单元1414b的PID为1时，位于编码单元1414b旁边的编码单元1414c的PID可以增加2并因此可以为3。当PID如上所述没有均匀增加时，解码器120可以确定编码单元被划分为包括具有与其他编码单元的尺寸不同的尺寸的编码单元的多个编码单元。根据实施例，当划分形状模式信息指示将编码单元划分为奇数个编码单元时，解码器120可以以这样的方式划分当前编码单元，即奇数个编码单元当中的预定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸。在这种情况下，解码器120可以通过使用编码单元的PID来确定具有不同尺寸的、中心位置的编码单元。然而，预定位置的编码单元的PID以及尺寸或位置不限于前述示例，并且可以使用编码单元的各种PID以及各种位置和尺寸。
根据实施例，解码器120可以使用编码单元开始被递归划分的预定数据单元。
图15示出了根据实施例的多个编码单元基于被包括在图像中的多个预定数据单元来确定。
根据实施例，预定数据单元可以被定义为编码单元开始通过使用划分形状模式信息而递归划分的数据单元。也就是说，预定数据单元可以对应于最上部深度的编码单元，其用于确定从当前图像划分的多个编码单元。在以下描述中，为了便于解释，预定数据单元被称为参考数据单元。
根据实施例，参考数据单元可以具有预定尺寸和预定形状。根据实施例，参考数据单元可以包括M×N个样点。这里，M和N可以彼此相等，并且可以是表达为2的幂的整数。也就是说，参考数据单元可以具有正方形或非正方形形状，然后可以被划分为整数个编码单元。
根据实施例，解码器120可以将当前图像划分为多个参考数据单元。根据实施例，解码器120可以通过使用每个参考数据单元的划分形状模式信息来划分从当前图像划分的多个参考数据单元。划分参考数据单元的操作可以对应于使用四叉树结构的划分操作。
根据实施例，解码器120可以预先确定针对被包括在当前图像中的参考数据单元允许的最小尺寸。因此，解码器120可以确定具有等于或大于最小尺寸的尺寸的各种参考数据单元，并且可以通过参考所确定的参考数据单元使用划分形状模式信息来确定一个或多个编码单元。
参考图15，解码器120可以使用正方形参考编码单元1500或非正方形参考编码单元1502。根据实施例，参考编码单元的形状和尺寸可以基于各种数据单元来确定，这些数据单元可以包括一个或多个参考编码单元(例如，序列、图像(图片)、条带、条带段、片、片组、最大编码单元等)。
根据实施例，比特流获得器110可以从比特流获得关于各种数据单元中的每一种的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。已经在上面与图3的划分当前编码单元300的操作相关地描述了将正方形参考编码单元1500划分为一个或多个编码单元的操作，并且已经在上面与图4的划分当前编码单元400或450的操作相关地描述了将非正方形参考编码单元1502划分为一个或多个编码单元的操作。因此，这里将不提供其详细描述。
根据实施例，解码器120可以使用用于识别参考编码单元的尺寸和形状的PID来根据基于预定条件而预先确定的一些数据单元确定参考编码单元的尺寸和形状。也就是说，比特流获得器110可以从比特流仅获得用于识别关于每个条带、条带段、片、片组或最大编码单元的参考编码单元的尺寸和形状的PID，其中该最大编码单元是各种数据单元(例如，序列、图像(图片)、条带、条带片段、片、片组、最大编码单元等)当中满足预定条件的数据单元(例如，具有等于或小于条带的尺寸的数据单元)。解码器120可以通过使用PID来确定关于满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小的尺寸的每个数据单元从比特流获得和使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此可以仅获得和使用PID，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可以预先确定与用于识别参考编码单元的尺寸和形状的PID相对应的参考编码单元的尺寸和形状中的至少一个。也就是说，通过基于PID来选择预先确定的参考编码单元的尺寸和形状中的至少一个，解码器120可以确定被包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例，解码器120可以使用被包括在最大编码单元中的一个或多个参考编码单元。也就是说，从图像划分的最大编码单元可以包括一个或多个参考编码单元，并且编码单元可以通过递归划分每个参考编码单元来确定。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可以通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，解码器120可以通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且可以基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出了根据实施例的用作用于确定被包括在图像1600中的参考编码单元的确定顺序的标准的处理块。
根据实施例，解码器120可以确定从图像划分的一个或多个处理块。处理块是包括从图片划分的一个或多个参考编码单元的数据单元，并且被包括在处理块中的一个或多个参考编码单元可以根据特定顺序来确定。也就是说，在处理块中的每一个中确定的一个或多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种类型的顺序中的一种，并且可以根据处理块而变化。关于每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如，光栅扫描顺序、Z扫描、N扫描、右上对角线扫描、水平扫描和垂直扫描)中的一种，但不限于前述扫描顺序。
根据实施例，解码器120可以获得处理块尺寸信息，并且可以确定被包括在图片中的一个或多个处理块的尺寸。解码器120可以从比特流获得处理块尺寸信息，并且可以确定被包括在图片中的一个或多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的、数据单元的预定尺寸。
根据实施例，比特流获得器110可以根据每个特定数据单元从比特流获得处理块尺寸信息。例如，可以从诸如图像、序列、图像、条带、条带段、片、片组等的数据单元中的比特流获得处理块尺寸信息。也就是说，比特流获得器110可以根据各种数据单元中的每一种从比特流获得处理块尺寸信息，并且解码器120可以通过使用所获得的处理块尺寸信息来确定从图像划分的一个或多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例，解码器120可以确定被包括在图像1600中的处理块1602和1612的尺寸。例如，解码器120可以基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参考图16，根据实施例，解码器120可以将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍，并且可以将处理块1602和1612的高度确定为参考编码单元的高度的四倍。解码器120可以确定一个或多个处理块中的一个或多个参考编码单元的确定顺序。
根据实施例，解码器120可以基于处理块的尺寸来确定被包括在图像1600中的处理块1602和1612，并且可以确定处理块1602和1612中的一个或多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可以包括参考编码单元的尺寸的确定。
根据实施例，解码器120可以从比特流获得被包括在一个或多个处理块中的一个或多个参考编码单元的确定顺序信息，并且可以基于所获得的确定顺序信息来确定关于一个或多个参考编码单元的确定顺序。确定顺序信息可以被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可以关于每个处理块独立地确定参考编码单元的确定顺序。
根据实施例，解码器120可以根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，比特流获得器110可以根据诸如图像、序列、图像、条带、条带段、片、片组或处理块的每个数据单元从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可以关于包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例，解码器120可以基于所确定的确定顺序来确定一个或多个参考编码单元。
根据实施例，比特流获得器110可以从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息，并且解码器120可以确定被包括在处理块1602和1612中的一个或多个参考编码单元的确定顺序，并且可以基于确定顺序来确定被包括在图像1600中的一个或多个参考编码单元。参考图16，解码器120可以分别确定处理块1602和1612中的一个或多个参考编码单元的确定顺序1604和1614。例如，当关于每个处理块获得参考编码单元的确定顺序信息时，可以针对处理块1602和1612获得不同类型的、参考编码单元的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时，可以根据光栅扫描顺序来确定被包括在处理块1602中的参考编码单元。相反，当另一处理块1612中的参考编码单元的确定顺序1614是后向光栅扫描顺序时，可以根据后向光栅扫描顺序来确定被包括在处理块1612中的参考编码单元。
根据实施例，解码器120可以解码所确定的一个或多个参考编码单元。解码器120可以基于如上所述确定的参考编码单元来解码图像。解码参考编码单元的方法可以包括各种图像解码方法。
根据实施例，解码器120可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的划分方法的划分形状模式信息，并且可以使用所获得的信息。划分形状模式信息可以被包括在与各种数据单元相关的比特流中。例如，解码器120可以使用被包括在序列参数集、图片参数集、视频参数集、条带头、条带段头、片头或片组头中的划分形状模式信息。此外，解码器120可以根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得对应于块形状信息或划分形状模式信息的语法元素，并且可以使用所获得的语法元素。
在下文中，将详细描述根据本公开的实施例的确定划分规则的方法。
解码器120可以确定图像的划分规则。可以在图像解码装置100和图像编码装置200之间预定划分规则。解码器120可以基于从比特流获得的信息来确定图像的划分规则。解码器120可以基于从序列参数集、图片参数集、视频参数集、条带头、条带段头、片头和片组头中的至少一个获得的信息来确定划分规则。解码器120可以根据帧、条带、片、时间层、最大编码单元或编码单元来不同地确定划分规则。
解码器120可以基于编码单元的块形状来确定划分规则。块形状可以包括编码单元的尺寸、形状、面积、宽高比和方向。图像编码装置200和图像解码装置100可以基于编码单元的块形状来预定划分规则。解码器120可以基于从比特流获得的信息来确定划分规则，其中该比特流是从图像编码装置150接收的。
编码单元的形状可以包括正方形和非正方形。当编码单元的宽度和高度的长度相等时，解码器120可以将编码单元的形状确定为正方形。此外，当编码单元的宽度和高度的长度不相等时，解码器120可以将编码单元的形状确定为非正方形。
编码单元的尺寸可以包括各种尺寸，诸如4×4、8×4、4×8、8×8、16×4、16×8和256×256。编码单元的尺寸可以基于编码单元的长边的长度、短边的长度、或面积来分类。解码器120可以将相同的划分规则应用于被分类为相同组的编码单元。例如，解码器120可以将具有相同的长边长度的编码单元分类为具有相同的尺寸。此外，解码器120可以将相同的划分规则应用于具有相同的长边长度的编码单元。
编码单元的宽高比可以包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可以包括水平方向和垂直方向。水平方向可以指示编码单元的宽度的长度比高度的长度长的情况。垂直方向可以指示编码单元的宽度的长度比高度的长度短的情况。
解码器120可以基于编码单元的划分形状来自适应地确定划分规则。解码器120可以基于编码单元的划分形状来不同地确定可允许的划分形状模式。例如，解码器120可以基于编码单元的尺寸来确定是否允许划分。解码器120可以根据编码单元的尺寸来确定划分方向。解码器120可以基于编码单元的尺寸来确定可允许划分类型。
解码器120可以将预定标准与编码单元的尺寸、形状、面积、宽高比和方向中的至少一个进行比较，然后可以将编码单元的划分形状限制为预定划分形状。例如，当编码单元的尺寸为MxN并且高宽比为1:4时，可以不允许编码单元的划分，可以仅允许编码单元的二元水平划分，或者可以不允许编码单元的四元划分。在这种情况下，解码器120可以不从比特流解析信息来确定允许用于编码单元的划分形状。例如，当不允许编码单元的四元划分时，解码器120可以不解析指示是否执行四元划分的信息。
基于编码单元的尺寸而确定的划分规则可以是在图像编码装置200和图像解码装置100之间预定的划分规则。此外，解码器120可以基于从比特流获得的信息来确定划分规则。
解码器120可以基于编码单元的位置来自适应地确定划分规则。解码器120可以基于图像中的编码单元的位置来自适应地确定划分规则。
此外，解码器120可以确定划分规则，使得经由不同的划分路径生成的编码单元不具有相同的块形状。例如，如参考图10所述的，当第一编码单元1000的四元划分可用时，可以不允许由于二元垂直划分而从第一编码单元1000确定的第二编码单元1010a和1010b中的全部的二元水平划分，并且可以不允许由于二元水平划分而从第一编码单元1000确定的第二编码单元1020a和1020b中的全部的二元垂直划分。然而，本公开不限于此，经由不同的划分路径生成的编码单元可以具有相同的块形状。经由不同的划分路径生成的编码单元可以具有不同的解码处理顺序。因为在上面参考图12描述了解码处理顺序，所以这里不提供其细节。
图17示出了根据实施例的可以在编码单元可划分为的形状的组合在图像中的每一个中变化时为图像中的每一个确定的编码单元。
参考图17，解码器120可以针对每个图像不同地确定编码单元可划分为的划分形状的组合。例如，解码器120可以通过使用可划分为四个编码单元的图像1700，可划分为两个或四个编码单元的图像1710，以及可划分为两个、三个或四个编码单元的图像1720来解码图像。为了将图像1700划分为多个编码单元，解码器120可以仅使用指示划分为四个正方形编码单元的划分形状信息。为了划分图像1710，解码器120可以仅使用指示划分为两个或四个正方形编码单元的划分形状信息。为了划分图像1720，解码器120可以仅使用指示划分为两个、三个或四个编码单元的划分形状信息。因为前述划分形状的组合仅仅是用以描述解码器120的操作的实施例，所以应该解释为划分形状的组合不限于该实施例，并且应该解释为各种形状的划分形状的组合可以用于每个预定数据单元。
根据实施例，比特流获得器110可以获得包括指示关于每个预定数据单元(例如，序列、图像、条带、条带段、片、片组等)的划分形状信息的组合的索引的比特流。例如，比特流获得器110可以从序列参数集、图片参数集、条带头、片头或片组头获得索引，该索引指示划分形状信息的组合。解码器120可以通过使用所获得的索引为每个预定数据单元确定编码单元可划分为的划分形状的组合，因此可以使用每个预定数据单元的不同划分形状的组合。
图18示出了可以基于可表示为二进制码的划分形状模式信息而确定的编码单元的各种形状。
根据实施例，解码器120可以通过使用经由比特流获得器110获得的块形状信息和划分形状模式信息将编码单元划分为各种形状。编码单元可划分为的形状可以对应于包括上面在实施例中描述的形状的各种形状。
参考图18，基于划分形状模式信息，解码器120可以在水平方向和垂直方向中的至少一个上划分正方形编码单元，并且可以在水平方向或垂直方向上划分非正方形编码单元。
根据实施例，当允许解码器120通过在水平方向和垂直方向上划分正方形编码单元将正方形编码单元划分为四个正方形编码单元时，可由关于正方形编码单元的划分形状模式信息指示的划分形状可以为4。根据实施例，划分形状模式信息可以由两位二进制码表示，并且二进制码可以被分配给每个划分形状。例如，当编码单元不被划分时，划分形状模式信息可以由(00)b表示，当编码单元要在水平方向和垂直方向上被划分时，划分形状模式信息可以由(01)b表示，当编码单元要在水平方向上被划分时，划分形状模式信息可以由(10)b表示，并且当编码单元要在垂直方向上被划分时，划分形状模式信息可以由(11)b表示。
根据实施例，当解码器120在水平方向或垂直方向上划分非正方形编码单元时，可以基于编码单元要被划分为多少个编码单元来确定可由划分形状模式信息指示的划分形状的类型。参考图18，解码器120可以将非正方形编码单元划分为三个编码单元。解码器120可以将编码单元划分为两个编码单元，并且在这种情况下，划分形状模式信息可以由(10)b表示。解码器120可以将编码单元划分为三个编码单元，并且在这种情况下，划分形状模式信息可以由(11)b表示。解码器120可以确定不划分编码单元，并且在这种情况下，划分形状模式信息可以由(0)b表示。也就是说，解码器120可以不使用固定长度编码(FLC)，而可以使用可变长度编码(VLC)，以便使用表示划分形状模式信息的二进制码。
根据实施例，参考图18，指示编码单元不被划分的划分形状模式信息的二进制码可以由(0)b表示。在指示编码单元不被划分的划分形状模式信息的二进制码由(00)b表示的情况下，即使当设置为(01)b的划分形状模式信息不存在时，两位划分形状模式信息的二进制码也必须被全部使用。然而，如图18所示，当使用非正方形编码单元的三个划分形状时，解码器120可以通过使用一位二进制码(0)b作为划分形状模式信息来确定编码单元不被划分，因此，解码器120可以高效地使用比特流。然而，不应该解释为由划分形状模式信息指示的非正方形编码单元的划分形状被限制为在图18中示出的三个形状，并且应该解释为划分形状对应于被包括在前述实施例中的各种形状。
图19示出了根据实施例的可以基于可由二进制码表示的划分形状模式信息而确定的编码单元的其他形状。
参考图19，基于划分形状模式信息，解码器120可以在水平方向或垂直方向上划分正方形编码单元，并且可以在水平方向或垂直方向上划分非正方形编码单元。也就是说，划分形状模式信息可以指示正方形编码单元要在一个方向上被划分。在这种情况下，指示正方形编码单元不被划分的划分形状模式信息的二进制码可以由(0)b表示。在指示编码单元不被划分的划分形状模式信息的二进制码由(00)b表示的情况下，即使当设置为(01)b的划分形状模式信息不存在时，两位划分形状模式信息的二进制码也必须被全部使用。然而，如图19所示，当使用正方形编码单元的三个划分形状时，解码器120可以通过使用一位二进制码(0)b作为划分形状模式信息来确定编码单元不被划分，因此，解码器120可以高效地使用比特流。然而，不应该解释为由划分形状模式信息指示的正方形编码单元的划分形状被限制为在图19中示出的三个形状，并且应该解释为划分形状对应于被包括在前述实施例中的各种形状。
根据实施例，可以通过使用二进制码来表示块形状信息或划分形状模式信息，并且可以立即生成该信息作为比特流。此外，可通过使用二进制码来表示的块形状信息或划分形状模式信息可以不被立即生成作为比特流，而可以用作要被输入到上下文自适应二进制算术编码(CABAC)的二进制码。
根据实施例，现在将描述解码器120通过CABAC获得块形状信息或划分形状模式信息的语法的过程。可以经由比特流获得器110获得包括语法的二进制码的比特流。解码器120可以对被包括在所获得的比特流中的二进制串进行逆二进制化，因此可以检测指示块形状信息或划分形状模式信息的语法元素。根据实施例，解码器120可以获得对应于要被解码的语法元素的二进制二进制串集合，并且可以通过使用概率信息来解码每个二进制位。解码器120可以重复，直到由这样的解码的二进制位组成的二进制串变得等于先前获得的二进制串中的一个。解码器120可以通过对二进制串执行逆二进制化来确定语法元素。
根据实施例，解码器120可以通过执行自适应二进制算术编码的解码过程来确定二进制串的语法，并且可以更新关于经由比特流获得器110获得的二进制位的概率模型。参考图18，根据实施例，比特流获得器110可以获得指示表示划分形状模式信息的二进制码的比特流。解码器120可以通过使用所获得的具有1比特或2比特的尺寸的二进制码来确定划分形状模式信息的语法。为了确定划分形状模式信息的语法，解码器120可以更新作为二进制码的2比特的相应比特的概率。也就是说，根据来自二进制码的2比特当中的第一二进制位的值为0还是1，解码器120可以在解码下一个二进制位时更新下一个二进制位具有值0或1的概率。
根据实施例，在确定语法的过程中，解码器120可以更新要在解码语法的二进制串的二进制位的过程中使用的二进制位的概率。解码器120可以不更新二进制串的特定比特的概率，并且可以确定特定比特具有相同的概率。
参考图18，在通过使用表示关于非正方形编码单元的划分形状模式信息的二进制串来确定语法的过程中，当解码器120不划分非正方形编码单元时，解码器120可以通过使用具有值0的一个二进制位来确定划分形状模式信息的语法。也就是说，在块形状信息指示当前编码单元具有非正方形形状的情况下，当非正方形编码单元不被划分时，表示划分形状模式信息的二进制串的第一二进制位可以为0，并且当被划分为两个或三个编码单元时，可以为1。因此，表示关于非正方形编码单元的划分形状模式信息的二进制串的第一二进制位为0的概率可以为1/3，并且该第一二进制位为1的概率可以为2/3。如上所述，因为指示非正方形编码单元不被划分的划分形状模式信息可以仅表示具有值0的1比特的二进制串，所以解码器120可以通过仅在划分形状模式信息的第一二进制位为1时确定第二二进制位为0还是1来确定划分形状模式信息的语法。根据实施例，当划分形状模式信息的第一二进制位为1时，解码器120可以解码第二二进制位，假设第二二进制位为0的概率和第二二进制位为1的概率彼此相等。
根据实施例，在确定表示划分形状模式信息的二进制串的二进制位的过程中，解码器120可以使用关于二进制位中的每一个的各种概率。根据实施例，解码器120可以根据非正方形块的方向来不同地确定表示划分形状模式信息的二进制位的概率。根据实施例，解码器120可以根据当前编码单元的长边的面积或长度来不同地确定表示划分形状模式信息的二进制位的概率。根据实施例，解码器120可以根据当前编码单元的长边的形状和长度中的至少一个来不同地确定表示划分形状模式信息的二进制位的概率。
根据实施例，解码器120可以将表示划分形状模式信息的二进制位的概率确定为相等，划分形状模式信息关于尺寸等于或大于预定尺寸的编码单元。例如，表示关于编码单元的划分形状模式信息的二进制位的概率可以被确定为相等，编码单元具有等于或大于关于编码单元的长边的长度的64样点的尺寸。
根据实施例，解码器120可以基于条带类型(例如，I条带、P条带或B条带)来确定构成划分形状模式信息的二进制串的二进制位的初始概率。
根据实施例，当解码器120确定编码单元的划分形状模式信息时，解码器120可以从色度编码块的划分形状模式信息独立地确定亮度编码块的划分形状模式信息。例如，当指示要执行双树划分的信息(例如，dual_tree_flag)被包括在比特流中时，解码器120可以从色度编码块的划分形状模式信息独立地确定亮度编码块的划分形状模式信息。此外，当指示要执行双树划分的信息被包括在比特流中并且包括要被划分的编码单元的当前条带是I条带时，解码器120可以从色度编码块的划分形状模式信息独立地确定亮度编码块的划分形状模式信息。
当指示不执行双树划分的信息被包括在比特流中时或者包括编码单元的当前条带不是I条带时，解码器120可以同等地确定亮度编码块的划分形状模式信息和色度编码块的划分形状模式信息(即，单树划分)。
在实施例中，在执行双树划分的情况下，当解码器120划分具有等于或小于预定尺寸的尺寸的亮度编码块和与其相对应的色度编码块时，解码器120可以从比特流获得亮度编码块的划分形状模式信息和色度编码块的划分形状模式信息。然后，解码器120可以基于亮度编码块的划分形状模式信息来划分亮度编码块，并且可以基于色度编码块的划分形状模式信息来划分色度编码块。如上所述，可以根据四元划分、三元划分、二元划分等来递归划分亮度编码块和色度编码块。预定尺寸可以为32×32、64×64、128×128或256×256，但不限于此。根据实施例，当具有等于或小于预定尺寸的尺寸的亮度编码块和与其相对应的色度编码块被递归划分时，当色度编码块的子编码块的尺寸等于或小于预定最小尺寸时，可以不允许与父编码块相对应的色度编码块的划分。此外，根据实施例，当具有等于或小于预定尺寸的尺寸的亮度编码块和与其相对应的色度编码块被划分时，要被生成作为划分的结果的色度编码块的最大深度可以小于要被生成作为划分的结果的亮度编码块的最大深度。
在执行双树划分的情况下，当解码器120划分具有大于预定尺寸(例如，64×64)的尺寸的亮度编码块和与其相对应的色度编码块，解码器120可以根据预定编码模式(例如，四元划分模式)来划分亮度编码块和色度编码块。在这种情况下，亮度编码块和色度编码块可以被划分为相同的形状。作为另一示例，解码器120可以从比特流获得具有大于预定尺寸(例如，64×64)的尺寸的亮度编码块的划分形状模式信息，并且可以基于亮度编码块的划分形状模式信息来划分亮度编码块和色度编码块。也就是说，可以基于亮度编码块的划分形状模式信息将大于预定尺寸的亮度编码块和与其相对应的色度编码块划分为相同的形状。当等于或小于预定尺寸的亮度编码块和与其相对应的色度编码块被确定为关于具有大于预定尺寸(例如，64×64)的尺寸的亮度编码块和与其相对应的色度编码块的划分的结果时，可以基于如上所述的亮度编码块的划分形状模式信息和色度编码块的划分形状模式信息来独立地划分等于或小于预定尺寸的亮度编码块和与其相对应的色度编码块。
在另一实施例中，在执行双树划分的情况下，当解码器120划分深度等于或大于预定深度的亮度编码块和与其相对应的色度编码块时，解码器120可以从比特流获得亮度编码块的划分形状模式信息和色度编码块的划分形状模式信息。然后，解码器120可以基于亮度编码块的划分形状模式信息来划分亮度编码块，并且可以基于色度编码块的划分形状模式信息来划分色度编码块。根据实施例，当深度等于或大于预定深度的亮度编码块和与其相对应的色度编码块被递归划分时，当色度编码块的子编码块的尺寸等于或小于预定最小尺寸时，可以不允许与父编码块相对应的色度编码块的划分。此外，根据实施例，当深度等于或大于预定深度的亮度编码块和与其相对应的色度编码块被划分时，要被生成作为划分的结果的色度编码块的最大深度可以小于要被生成作为划分的结果的亮度编码块的最大深度。
在执行双树划分的情况下，当解码器120划分深度小于预定深度的亮度编码块和与其相对应的色度编码块时，解码器120可以根据预定编码模式(例如，四元划分模式)来划分亮度编码块和色度编码块。作为另一示例，解码器120可以从比特流获得深度小于预定深度的亮度编码块的划分形状模式信息。然后，解码器120可以基于亮度编码块的划分形状模式信息来同等地划分亮度编码块和色度编码块。
在另一实施例中，在执行双树划分的情况下，当解码器120划分尺寸等于或小于预定尺寸或者深度等于或大于预定深度的亮度编码块和与其相对应的色度编码块时，解码器120可以从比特流获得亮度编码块的划分形状模式信息，可以根据亮度编码块的划分形状模式信息来划分亮度编码块，并且可以根据预定划分模式来划分色度编码块而不管亮度编码块的划分形状模式信息。当解码器120划分尺寸大于预定尺寸或者深度小于预定深度的亮度编码块和与其相对应的色度编码块时，解码器120可以根据预定划分模式来划分亮度编码块和色度编码块，或者可以根据亮度编码块的划分形状模式信息来同等地划分亮度编码块和色度编码块。
在另一实施例中，在执行双树划分的情况下，当解码器120划分尺寸等于或小于预定尺寸或者深度等于或大于预定深度的亮度编码块和与其相对应的色度编码块时，解码器120可以从比特流获得亮度编码块的划分形状模式信息，并且可以根据亮度编码块的划分形状模式信息来同等地划分亮度编码块和色度编码块。在这点上，当色度编码块的子编码块的尺寸等于或小于最小尺寸时，子编码块是在根据基于划分形状模式信息而确定的划分形状来划分色度编码块时被确定的，可以不允许与父编码块相对应的色度编码块的划分。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图像编码和解码系统2000的编码终端2010发送图像的编码比特流，并且解码终端2050通过接收并然后解码比特流来输出重构图像。在这点上，编码终端2010可以对应于要在下面描述的图像编码装置200，并且解码终端2050可以对应于图像解码装置100。
在编码终端2010中，预测编码器2015通过对编码单元执行帧间预测和帧内预测来输出预测数据，并且变换器和量化器2020基于变换单元来变换预测数据和当前输入图像之间的残差数据，并且量化并然后输出变换系数。熵编码器2025对量化的变换系数进行编码，然后输出熵编码的变换系数作为比特流。量化的变换系数在通过逆量化器和逆变换器2030之后被重构为空间域中的数据，并且空间域中的重构数据在通过去块滤波器2035和环路滤波器2040之后被输出作为重构图像。重构图像可以通过预测编码器2015，然后可以用作下一个输入图像的参考图像。
由解码终端2050接收的比特流中的编码图像数据可以通过熵解码器2055以及逆量化器和逆变换器2060，然后可以被重构为空间域中的残差数据。从预测解码器2075输出的预测数据以及残差数据被组合以构成空间域中的图像数据，并且去块滤波器2065和环路滤波器2070可以通过对空间域中的图像数据执行滤波来输出当前原始图像的重构图像。重构图像可以由预测解码器2075用作下一个原始图像的参考图像。
编码终端2010的环路滤波器2040通过使用作为用户输入或根据系统配置而输入的滤波器信息来执行环路滤波。由环路滤波器2040使用的滤波器信息被输出到熵编码器2025，因此编码图像数据和滤波器信息一起被发送给解码终端2050。解码终端2050的环路滤波器2070可以基于从熵解码器2055输入的滤波器信息来执行环路滤波。
如上所述，可以基于变换单元来执行变换系数的逆变换。根据各种划分形状模式基于编码单元而确定的变换单元的宽度或高度可以不对应于2n(其中，n是整数)。换句话说，在变换单元的横向或纵向上排列的样点的数量可以不对应于2n。当用于对被包括在变换单元中的变换系数进行逆变换的变换核的宽度和高度对应于2n时，对于宽度或高度不对应于2n的变换单元，变换核不能用于逆变换。在这种情况下，要求宽度或高度对应于2n的变换核，这增加了变换和逆变换的复杂性。
在实施例中，当当前变换单元的宽度或高度不对应于2n时，解码器120可以基于包括当前变换单元的编码单元来执行逆变换。换句话说，当前变换单元可以从当前编码单元确定，并且当当前变换单元的宽度或高度不对应于2n时，解码器120可以对被包括在当前编码单元中的变换系数进行逆变换。当包括当前编码单元的编码单元的宽度或高度不对应于2n时，解码器120可以基于编码单元的父编码单元来对变换系数进行逆变换。
在实施例中，当当前编码单元的宽度或高度不对应于2n时，解码器120可以将当前编码单元的预测模式确定为不需要逆变换的预测模式，当前编码单元包括当前变换单元。例如，当前编码单元的预测模式可以被确定为跳过模式、合并(merge)跳过模式或仿射跳过模式。当当前变换单元的宽度或高度不对应于2n时，解码器120可以不从比特流获得当前编码单元的预测模式信息，并且可以将当前编码单元的预测模式确定为跳过模式、合并跳过模式或仿射跳过模式。将当前编码单元的预测模式确定为不需要逆变换的预测模式，当前编码单元包括当前变换单元，这在基于编码单元来执行逆变换时可能是有用的。也就是说，当经由递归划分过程确定的当前编码单元的宽度或高度不对应于2n时，解码器120可以将当前编码单元的预测模式确定为不需要逆变换的预测模式。
此外，在实施例中，当当前变换单元的宽度或高度不对应于2n时，解码器120可以确定逆变换对于当前变换单元不是必需的。解码器120可以不从比特流获得指示逆变换对于当前变换单元是否是必需的信息(例如，变换跳过标志)，并且可以确定逆变换对于当前变换单元不是必需的。在这种情况下，量化的残差数据可以被包括在比特流中，并且解码器120可以通过对量化的残差数据进行逆量化来获得空间域中的残差数据。
此外，在实施例中，当当前变换单元的宽度或高度不对应于2n时，解码器120可以将被包括在当前变换单元中的变换系数的值确定为0。解码器120可以不从比特流获得指示非零变换系数是否被包括在当前变换单元中的信息(例如，tu_cbf)，并且可以将被包括在当前变换单元中的所有的变换系数的值确定为0。
此外，在实施例中，当当前变换单元的宽度或高度不对应于2n时，解码器120可以将当前变换单元的变换系数确定为从比特流获得的DC值。DC值可以是被包括在当前变换单元中的变换系数的平均值。解码器120可以不对当前变换单元进行逆变换，并且可以将当前变换单元的变换系数的值确定为从比特流获得的DC值。
此外，在实施例中，如图21所示，当当前编码单元2100的宽度(3×2b)或高度(2a)不对应于2n时，解码器120可以划分当前编码单元以允许子编码单元的宽度和高度对应于2n。由于子编码单元的宽度和高度对应于2n，所以从子编码单元确定的变换单元的宽度和高度也可以对应于2n。
此外，在实施例中，如图22所示，当当前编码单元2200的宽度(3×2b)或高度(2a)不对应于2n时，解码器120可以从当前编码单元确定宽度和高度对应于2n的变换单元。
上述各种实施例与由图像解码装置100执行的图像解码方法的操作相关。在下文中，现在将根据各种实施例描述执行与图像解码方法的逆过程相对应的图像编码方法的图像编码装置200的操作。
图2是根据实施例的能够基于块形状信息和划分形状模式信息中的至少一个来编码图像的图像编码装置200的框图。
图像编码装置200可以包括编码器220和比特流生成器210。编码器220可以接收输入图像，然后可以编码输入图像。编码器220可以通过编码输入图像来获得至少一个语法元素。语法元素可以包括跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块模式、编码块标志、帧内预测模式、直接标志、合并标志、增量QP、参考索引、预测方向、变换索引和双树标志中的至少一个。编码器220可以基于包括编码单元的形状、方向、宽高比或尺寸中的至少一个的块形状信息来确定上下文模型。
比特流生成器210可以基于编码的输入图像来生成比特流。例如，比特流生成器210可以基于上下文模型通过对语法元素进行熵编码来生成比特流。此外，图像编码装置200可以将比特流发送给图像解码装置100。
根据实施例，图像编码装置200的编码器220可以确定编码单元的形状。例如，编码单元可以具有正方形形状或非正方形形状，并且指示这样的形状的信息可以被包括在块形状信息中。
根据实施例，编码器220可以确定编码单元要被划分为哪个形状。编码器220可以确定要被包括在编码单元中的至少一个编码单元的形状，并且比特流生成器210可以生成包括划分形状模式信息的比特流，其中该划分形状模式信息包括关于编码单元的形状的信息。编码器220可以确定是否要对编码单元执行双树划分，并且比特流生成器210可以生成包括相应信息的比特流。
根据实施例，编码器220可以确定编码单元要被划分还是不被划分。当编码器220确定仅一个编码单元被包括在编码单元中或者编码单元不被划分时，比特流生成器210可以生成包括指示编码单元不被划分的划分形状模式信息的比特流。此外，当编码器220确定编码单元要被划分为多个编码单元时，比特流生成器210可以生成包括指示编码单元要被划分为多个编码单元的划分形状模式信息的比特流。
根据实施例，指示编码单元要被划分为的数量或指示编码单元要被划分的方向的信息可以被包括在划分形状模式信息中。例如，划分形状模式信息可以指示要在来自垂直方向和水平方向当中的至少一个方向上执行划分，或者可以指示不执行划分。
编码器220的图像划分过程可以对应于参考图3-图22描述的图像解码装置100的图像划分过程，因此这里省略其详细描述。然而，当根据划分规则将编码单元的划分形状限制为预定划分形状时，不允许编码单元的划分，或者仅允许编码单元的划分形状为除了预定划分形状以外的划分形状，比特流生成器210可以不将其信息添加到比特流。例如，当编码单元的划分形状被限制为水平划分时，指示水平方向或垂直方向的划分方向信息可以不被包括在比特流中。此外，当编码单元的划分形状被限制为二元划分时，指示二元划分或三元划分的划分类型信息可以不被包括在比特流中。此外，当不允许编码单元的划分时，指示是否划分编码单元的信息可以不被包括在比特流中。也就是说，当编码单元的划分形状符合在图像解码装置100和图像编码装置200中预定的划分规则时，基于划分规则来确定划分形状模式所需的信息可以不被包括在比特流中。
此外，在实施例中，当编码单元的预测模式被限制为预定预测模式时，基于预定规则，比特流生成器210可以不将指示编码单元的预测模式的信息添加到比特流。例如，编码单元的预测模式被确定为限制变换系数的逆变换的模式(例如，跳过模式、合并跳过模式或仿射跳过模式)，指示当前变换单元的逆变换是否必要的信息(例如，变换跳过标志)可以不被包括在比特流中。
此外，在实施例中，当当前变换单元的宽度或高度不对应于2n时，指示非零变换系数是否被包括在当前变换单元中的信息(例如，tu_cbf)可以不被包括在比特流中。
此外，在实施例中，当当前变换单元的宽度或高度不对应于2n时，比特流生成器210可以将当前变换单元的变换系数的平均值添加到比特流。
编码器220基于编码单元的划分形状模式来确定划分形状模式信息。编码器220基于包括编码单元的形状、方向、宽高比或尺寸中的至少一个的块形状信息来确定上下文模型。然后，比特流生成器210可以基于上下文模型来生成用于划分编码单元的划分形状模式信息作为比特流。
为了确定上下文模型，编码器220可以获得用以将上下文模型的索引与编码单元的形状、方向、宽高比或尺寸中的至少一个相匹配的布置。编码器220可以基于编码单元的形状、方向、宽高比或尺寸中的至少一个从该布置获得上下文模型的索引。编码器220可以基于上下文模型的索引来确定上下文模型。
为了确定上下文模型，编码器220可以进一步基于包括与编码单元相邻的邻近编码单元的形状、方向、宽高比或尺寸中的至少一个的块形状信息来确定上下文模型。此外，邻近编码单元可以包括位于左下侧、左侧、左上侧、顶侧、右上侧、右侧或右下侧的编码单元中的至少一个。
为了确定上下文模型，编码器220可以将顶部邻近编码单元的宽度的长度与编码单元的宽度的长度进行比较。此外，编码器220可以将左侧和右侧邻近编码单元的高度的长度与编码单元的高度的长度进行比较。此外，图像编码装置200可以基于比较的结果来确定上下文模型。
图像编码装置200的操作包括与参考图3-图22描述的图像解码装置100的操作类似的内容，因此省略其详细描述。
图23是用于描述根据实施例的图像解码方法的流程图。
在操作S2310中，图像解码装置100确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，其中该第一编码块和第二编码块是从图像划分的。第一颜色分量可以是亮度，并且第二颜色分量可以是色度。如上所述，亮度编码块和色度编码块可以被包括在编码单元中。当Y:Cb:Cr的比率根据颜色格式为4:2:0时，色度编码块的尺寸可以是亮度编码块的尺寸的一半。
在操作S2320中，当第一编码块的尺寸等于或小于预定尺寸时，图像解码装置100从比特流获得关于第一编码块的第一划分形状模式信息和关于第二编码块的第二划分形状模式信息。第一划分形状模式信息和第二划分形状模式信息可以包括指示是否要执行划分的信息、指示是否要执行四元划分的信息、划分类型信息和划分方向信息中的至少一个。
在操作S2330中，图像解码装置100基于第一划分形状模式信息来确定第一编码块的划分模式，并且基于第二划分形状模式信息来确定第二编码块的划分模式。划分模式可以包括无划分、四元划分、二元垂直划分、二元水平划分、三元垂直划分或三元水平划分。如上所述，可以基于块形状、父编码块的划分模式和子编码块的划分形状中的至少一个来限制第一编码块和第二编码块的划分模式。
在操作S2340中，图像解码装置100基于从比特流获得的信息，对基于第一编码块的划分模式而确定的第一颜色分量的编码块和基于第二编码块的划分模式而确定的第二颜色分量的编码块进行解码。第一颜色分量的编码块的尺寸可以等于或小于第一编码块的尺寸，并且第二颜色分量的编码块的尺寸可以等于或小于第二编码块的尺寸。
图像解码装置100可以基于从比特流获得的预测模式信息来生成第一颜色分量的编码块和第二颜色分量的编码块的预测数据。图像解码装置100可以对从比特流获得的残差数据进行逆变换和去量化，然后可以向其添加预测数据，从而对第一颜色分量的编码块和第二颜色分量的编码块进行解码。根据预测模式，残差数据可以不被包括在比特流中，并且在这种情况下，可以基于预测数据来对第一颜色分量的编码块和第二颜色分量的编码块进行解码。
在实施例中，图像解码装置100可以基于从比特流获得的划分形状模式信息来独立地和分层地划分第一颜色分量的编码块和第二颜色分量的编码块。
在实施例中，在图23中示出的操作S2320至S2340可以在第一编码块的深度等于或大于预定深度时被执行。
此外，当第一编码块的尺寸大于预定尺寸(或者深度小于预定深度)时，图像解码装置100可以根据预定划分模式来同等地划分第一编码块和第二编码块。
图24是用于描述根据实施例的图像编码方法的流程图。
在操作S2410中，图像编码装置200确定第一颜色分量的第一编码块和与第一编码块相对应的第二颜色分量的第二编码块，其中该第一编码块和第二编码块是从图像划分的。第一颜色分量可以是亮度，并且第二颜色分量可以是色度。
在操作S2420中，当第一编码块的尺寸等于或小于预定尺寸时，图像编码装置200确定第一编码块的第一划分模式和第二编码块的第二划分模式。图像编码装置200可以独立地确定第一划分模式和第二划分模式。
在操作S2430中，图像编码装置200对基于第一划分模式从第一编码块确定的第一颜色分量的编码块和基于第二划分模式从第二编码块确定的第二颜色分量的编码块进行编码。
图像编码装置200可以确定第一颜色分量的编码块和第二颜色分量的编码块的预测模式，并且可以根据预测模式来生成预测数据。然后，图像编码装置200可以确定第一颜色分量的编码块和第二颜色分量的编码块的样点值与预测数据之间的残差数据，并且可以对残差数据进行变换和量化。与量化的变换系数相关的信息可以被熵编码并然后被添加到比特流。
在操作S2440中，图像编码装置200生成包括关于第一编码块的第一划分形状模式信息和关于第二编码块的第二划分形状模式信息的比特流。
在实施例中，在图24中示出的操作S2420至S2440可以在第一编码块的深度等于或大于预定深度时被执行。
此外，当第一编码块的尺寸大于预定尺寸(或者深度等于或小于预定深度)时，图像解码装置200可以根据预定划分模式来同等地划分第一编码块和第二编码块。
上述公开的实施例可以被写为可以被存储在介质中的计算机可执行程序。
该介质可以连续存储计算机可执行程序，或者可以临时存储计算机可执行程序以用于执行或下载。此外，该介质可以是其中硬件的单个项或多个项被组合的各种记录介质或存储介质中的任何一种，并且该介质不限于直接连接到计算机系统的介质，而可以分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如CD-ROM和DVD)、磁光介质(诸如软光盘)、以及ROM、RAM和闪存。该介质的其他示例包括由分发应用的应用商店或由提供或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
虽然参考以上示例性实施例详细描述了本公开的一个或多个实施例，但是本领域普通技术人员将理解，本公开不限于该实施例，并且在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种图像解码方法，包括：
确定第一颜色分量的第一编码块和与所述第一编码块相对应的第二颜色分量的第二编码块，所述第一编码块和所述第二编码块是从图像划分的；
当所述第一编码块的尺寸等于或小于预定尺寸时，从比特流获得关于所述第一编码块的第一划分形状模式信息和关于所述第二编码块的第二划分形状模式信息；
基于所述第一划分形状模式信息来确定所述第一编码块的划分模式，并且基于所述第二划分形状模式信息来确定所述第二编码块的划分模式；以及
基于从所述比特流获得的信息，对基于所述第一编码块的划分模式而确定的所述第一颜色分量的编码块和基于所述第二编码块的划分模式而确定的所述第二颜色分量的编码块进行解码。
2.根据权利要求1所述的图像解码方法，还包括：
当所述第一编码块的尺寸大于预设尺寸时，将所述第一编码块和所述第二编码块的划分模式确定为预定划分模式；以及
根据所述预定划分模式，基于从所述比特流获得的信息对从所述第一编码块确定的所述第一颜色分量的编码块和从所述第二编码块确定的所述第二颜色分量的编码块进行解码。
3.根据权利要求2所述的图像解码方法，还包括，当根据所述预定划分模式从所述第一编码块确定的所述第一颜色分量的编码块的尺寸等于或小于所述预设尺寸时，基于从所述比特流获得的所述第一划分形状模式信息和所述第二划分形状模式信息来独立地确定所述第一颜色分量的编码块和与所述第一颜色分量的编码块相对应的所述第二颜色分量的编码块的划分模式。
4.根据权利要求1所述的图像解码方法，其中，所述第二编码块被递归划分，并且
当通过递归划分所述第二编码块而确定的所述第二颜色分量的编码块的子编码块的尺寸等于或小于最小尺寸时，不允许所述第二颜色分量的编码块的划分。
5.根据权利要求1所述的图像解码方法，其中，所述第一编码块的可允许最大深度大于所述第二编码块的可允许最大深度。
6.根据权利要求1所述的图像解码方法，还包括，考虑到所述第一编码块的划分模式，确定从所述第一编码块确定的所述第一颜色分量的编码块的划分模式。
7.根据权利要求1所述的图像解码方法，还包括，基于从所述第一编码块确定的所述第一颜色分量的编码块的块形状和可从所述第一颜色分量的编码块确定的子编码块的块形状中的至少一个，确定所述第一颜色分量的编码块的可允许划分模式，并且
其中，识别所述可允许划分模式和不允许用于所述第一颜色分量的编码块的划分模式所需的信息不从所述比特流进行解析。
8.根据权利要求1所述的图像解码方法，其中，当从所述第一编码块确定的所述第一颜色分量的编码块对应于来自从所述第一编码块三元划分的编码块当中的处于预设位置的编码块时，不允许所述第一颜色分量的编码块的划分。
9.根据权利要求1所述的图像解码方法，还包括，当与所述第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，对宽度或高度对应于2n的编码块的变换系数进行逆变换，其中n是整数。
10.根据权利要求1所述的图像解码方法，还包括，当与所述第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，将所述第一颜色分量的编码块的预测模式确定为不需要逆变换的预测模式。
11.根据权利要求1所述的图像解码方法，还包括，当与所述第一颜色分量的编码块相对应的变换块的宽度或高度不对应于2n时，将所述变换块的变换系数确定为0，或者将所述变换块的变换系数确定为从所述比特流获得的DC值。
12.根据权利要求1所述的图像解码方法，其中，当所述第一颜色分量的编码块的宽度或高度不对应于2n时，所述第一颜色分量的编码块被划分为宽度和高度对应于2n的一个或多个编码块。
13.一种图像解码装置，包括：
比特流获得器，被配置为获得包括编码图像的结果的比特流；以及
解码器，被配置为：确定第一颜色分量的第一编码块和与所述第一编码块相对应的第二颜色分量的第二编码块，所述第一编码块和所述第二编码块是从图像划分的；当所述第一编码块的尺寸等于或小于预设尺寸时，从比特流获得关于所述第一编码块的第一划分形状模式信息和关于所述第二编码块的第二划分形状模式信息；基于所述第一划分形状模式信息来确定所述第一编码块的划分模式，并且基于所述第二划分形状模式信息来确定所述第二编码块的划分模式；以及基于从所述比特流获得的信息，对基于所述第一编码块的划分模式而确定的所述第一颜色分量的编码块和基于所述第二编码块的划分模式而确定的所述第二颜色分量的编码块进行解码。
14.一种图像编码方法，包括：
确定第一颜色分量的第一编码块和与所述第一编码块相对应的第二颜色分量的第二编码块，所述第一编码块和所述第二编码块是从图像划分的；
当所述第一编码块的尺寸等于或小于预设尺寸时，确定关于所述第一编码块的第一划分模式和关于所述第二编码块的第二划分模式；
对基于所述第一编码块的第一划分模式而确定的所述第一颜色分量的编码块和基于所述第二编码块的第二划分模式而确定的所述第二颜色分量的编码块进行编码；以及
生成包括指示所述第一划分模式的第一划分形状模式信息和指示所述第二划分模式的第二划分形状模式信息的比特流。
15.一种计算机可读记录介质，存储用于执行根据权利要求1所述的图像解码方法的程序。
CN201980040716.5A 2018-05-10 2019-05-10 用于图像编码和解码的图像分割方法和装置 Pending CN112352426A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862669626P 2018-05-10 2018-05-10
US62/669,626 2018-05-10
PCT/KR2019/005662 WO2019216710A1 (ko) 2018-05-10 2019-05-10 영상의 부호화 및 복호화를 위한 영상의 분할 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112352426A true CN112352426A (zh) 2021-02-09

Family

ID=68468034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040716.5A Pending CN112352426A (zh) 2018-05-10 2019-05-10 用于图像编码和解码的图像分割方法和装置

Country Status (6)

Country Link
US (4) US11140390B2 (zh)
EP (2) EP4319158A3 (zh)
JP (2) JP2021523627A (zh)
KR (3) KR102584502B1 (zh)
CN (1) CN112352426A (zh)
WO (1) WO2019216710A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021002093A (es) 2018-08-24 2021-04-28 Samsung Electronics Co Ltd Metodo y aparato de decodificacion de videos y metodo y aparato de codificacion de video.
CN111416975B (zh) * 2019-01-08 2022-09-16 华为技术有限公司 预测模式确定方法和装置
EP4088456A4 (en) * 2020-02-05 2023-06-21 Beijing Bytedance Network Technology Co., Ltd. PALETTE MODE FOR A LOCAL DUAL TREE
EP4088464A4 (en) 2020-02-05 2023-06-07 Beijing Bytedance Network Technology Co., Ltd. DEBLOCKING PARAMETERS FOR A CHROMA COMPONENT

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079160A (zh) * 2014-11-11 2017-08-18 联发科技（新加坡）私人有限公司 对亮度及色度使用单独编码树的视频编码方法
TW201801531A (zh) * 2016-03-21 2018-01-01 高通公司 在視訊寫碼中以單獨亮度-色度框架將亮度資訊用於色度預測
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2019203940A1 (en) * 2018-04-19 2019-10-24 Futurewei Technologies, Inc. Luma and chroma block partitioning

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN106028048B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的设备
US9049450B2 (en) * 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
US9462275B2 (en) 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
MX2018014493A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Particionamiento binario, ternario, cuaternario para jvet.
IT201600069279A1 (it) 2016-07-04 2018-01-04 Leonardo Spa Elemento strutturale con riscaldatore per un veicolo, metodo di fabbricazione e metodo di funzionamento
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
KR20180039323A (ko) * 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
GB2573443B (en) * 2016-12-28 2020-04-01 Arris Entpr Llc Adaptive unequal weight planar prediction
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
EP3614669A4 (en) 2017-07-06 2020-04-29 Samsung Electronics Co., Ltd. VIDEO CODING METHOD AND DEVICE, VIDEO DECODING METHOD AND DEVICE
KR101857800B1 (ko) * 2017-08-08 2018-05-14 삼성전자주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079160A (zh) * 2014-11-11 2017-08-18 联发科技（新加坡）私人有限公司 对亮度及色度使用单独编码树的视频编码方法
TW201801531A (zh) * 2016-03-21 2018-01-01 高通公司 在視訊寫碼中以單獨亮度-色度框架將亮度資訊用於色度預測
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2019203940A1 (en) * 2018-04-19 2019-10-24 Futurewei Technologies, Inc. Luma and chroma block partitioning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIRAN MISRA等: "Description of SDR and HDR video coding technology proposal by Sharp and Foxconn", 《JVET OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,JVET-J0026》 *
YU-WEN HUANG等: "CE1-related: Separate tree partitioning at 64x64-luma/32x32-chroma unit level", 《JVET OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,JVET-K230》 *

Also Published As

Publication number Publication date
WO2019216710A1 (ko) 2019-11-14
US11140390B2 (en) 2021-10-05
EP3793197A4 (en) 2022-02-16
EP4319158A3 (en) 2024-04-03
EP3793197B1 (en) 2024-06-26
JP2021523627A (ja) 2021-09-02
KR102584502B1 (ko) 2023-10-04
US20240129464A1 (en) 2024-04-18
KR20230137497A (ko) 2023-10-04
US20210218964A1 (en) 2021-07-15
JP2022105158A (ja) 2022-07-12
EP3793197A1 (en) 2021-03-17
US11917151B2 (en) 2024-02-27
KR102247664B1 (ko) 2021-05-03
US20230164316A1 (en) 2023-05-25
EP4319158A2 (en) 2024-02-07
KR20210047974A (ko) 2021-04-30
US20220030236A1 (en) 2022-01-27
KR20200094794A (ko) 2020-08-07
US11595647B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110892718B (zh) 视频编码方法和装置、视频解码方法和装置
CN112352426A (zh) 用于图像编码和解码的图像分割方法和装置
JP7491929B2 (ja) 三角予測モードを利用する映像符号化装置及び映像復号装置、及びそれによる映像符号化方法及び映像復号方法
EP3657797A2 (en) Method for encoding and decoding motion information, and apparatus for encoding and decoding motion information
KR102471075B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20220027281A (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN113545059A (zh) 一种用于预测色度分量的视频编码和解码的方法及其装置
KR20230010066A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN113056919A (zh) 使用双向预测的图像编码和解码方法以及图像编码和解码设备
KR20210012038A (ko) 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치
KR102525031B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN115280773A (zh) 获得量化参数的视频解码方法和装置以及发送量化参数的视频编码方法和装置
CN110870309A (zh) 图像编码方法和设备以及图像解码方法和设备
CN113994667A (zh) 通过使用邻近运动信息对运动信息进行编码和解码的设备和方法
KR20210022762A (ko) 타일 및 슬라이스를 이용하는 비디오 부호화 방법 및 복호화 방법, 및 타일 및 슬라이스를 이용하는 비디오 부호화 장치 및 복호화 장치
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
EP4044597A1 (en) Image decoding device using tool set and image decoding method thereby, and image encoding device and image encoding method thereby
CN112997505B (zh) 用于对系数等级进行熵编码的方法和装置以及用于对系数等级进行熵解码的方法和装置
EP3934252A1 (en) Apparatuses for encoding and decoding image, and methods for encoding and decoding image thereby
KR20210042809A (ko) 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법
CN114026856A (zh) 图像编码方法和设备以及图像解码方法和设备
EP3306926A1 (en) Method and apparatus for encoding/decoding image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination