CN112690001A - 用于视频解码的方法和设备以及用于视频编码的方法和设备 - Google Patents

用于视频解码的方法和设备以及用于视频编码的方法和设备 Download PDF

Info

Publication number
CN112690001A
CN112690001A CN201980059676.9A CN201980059676A CN112690001A CN 112690001 A CN112690001 A CN 112690001A CN 201980059676 A CN201980059676 A CN 201980059676A CN 112690001 A CN112690001 A CN 112690001A
Authority
CN
China
Prior art keywords
reference line
coding unit
current
block
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980059676.9A
Other languages
English (en)
Other versions
CN112690001B (zh
Inventor
崔娜莱
朴缗茱
朴慜祐
郑丞洙
崔棋镐
崔雄一
安尼斯.塔姆塞
朴银姬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202410338608.9A priority Critical patent/CN118200529A/zh
Priority to CN202410338699.6A priority patent/CN118200531A/zh
Priority to CN202410338640.7A priority patent/CN118200530A/zh
Priority to CN202410338558.4A priority patent/CN118233629A/zh
Publication of CN112690001A publication Critical patent/CN112690001A/zh
Application granted granted Critical
Publication of CN112690001B publication Critical patent/CN112690001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种视频解码方法和装置，其在视频编码和解码过程期间，确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且使用所确定的上参考线。

Description

用于视频解码的方法和设备以及用于视频编码的方法和设备
技术领域
本公开涉及视频解码方法和视频解码装置，更具体地，涉及视频编码方法和装置以及视频解码方法和装置，其中，当使用至少一条参考线时，在当前块与包括当前块的最大编码单元的上边界接触的情况下，将上参考线确定并用作一条参考线。
背景技术
图像数据由编解码器根据预设的数据压缩标准(例如，运动图像专家组(MovingPicture Expert Group，MPEG)标准)进行编码，然后存储在记录介质中或通过通信信道以比特流的形式传输。
随着能够再现和存储高分辨率或高清晰度图像内容的硬件的发展和普及，对有效编码或解码高分辨率或高清晰度图像内容的编解码器的需求已经增加。编码的图像内容可以被解码，然后被再现。最近，使用了有效压缩这种高分辨率或高清晰度图像内容的方法。例如，已经提出了随机分割要编码的图像的方法或操纵数据的过程，以允许有效地实现图像压缩技术。
作为数据操纵技术之一，通常使用一条或两条参考线来执行预测。
发明内容
技术问题
提供了一种方法和装置，其在视频编码和解码过程期间，确定当前块是否与包括当前块的最大编码单元的上边界接触，当与上边界接触时，将当前块的上参考线确定为一条参考线，当不与上边界接触时，基于N条参考线来确定当前块的上参考线，并使用所确定的上参考线。
问题的解决方案
为了解决该技术问题，根据本公开的视频解码方法包括：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及基于所确定的上参考线，对当前块执行预测，其中，N为自然数。
为了解决该技术问题，根据本公开的视频解码装置包括：存储器；以及连接到该存储器的至少一个处理器，其中该至少一个处理器被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及基于所确定的上参考线，对当前块执行预测，其中，N为自然数。
为了解决该技术问题，根据本公开的视频编码方法包括：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及对当前块执行预测，其中，N为自然数。
为了解决该技术问题，根据本公开的视频编码装置包括连接到存储器的至少一个处理器，其中该至少一个处理器被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及基于所确定的上参考线，对当前块执行预测，其中，N为自然数。
公开的有益效果
在视频编码和解码过程期间，确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定与上边界接触时，将当前块的上参考线确定为一条参考线，当确定不与上边界接触时，基于N条参考线来确定当前块的上参考线，并且使用所确定的上参考线，使得当使用多条参考线时生成的缓存的大小可以减小。
附图说明
图1示出了根据实施例的图像解码装置的示意框图。
图2示出了根据实施例的图像解码方法的流程图。
图3示出了根据实施例的由图像解码装置执行的通过分割当前编码单元来确定至少一个编码单元的过程。
图4示出了根据实施例的由图像解码装置执行的通过分割非正方形编码单元来确定至少一个编码单元的过程。
图5示出了根据实施例的由图像解码装置执行的基于块形状信息和分割形状模式信息中的至少一个来分割编码单元的过程。
图6示出了根据实施例的由图像解码装置执行的从奇数个编码单元当中确定预设编码单元的方法。
图7示出了根据实施例的当图像解码装置通过分割当前编码单元来确定多个编码单元时，处理多个编码单元的顺序。
图8示出了根据实施例的由图像解码装置执行的当编码单元不能以预设顺序处理时确定当前编码单元将被分割成奇数个编码单元的过程。
图9示出了根据实施例的由图像解码装置执行的通过分割第一编码单元来确定至少一个编码单元的过程。
图10示出了根据实施例的当图像解码装置分割第一编码单元时确定的具有非正方形形状的第二编码单元满足预设条件时，第二编码单元可被分割成的形状受到限制。
图11示出了根据实施例的由图像解码装置执行的当分割形状模式信息指示正方形编码单元不被分割成四个正方形编码单元时，分割正方形编码单元的过程。
图12示出了根据实施例，多个编码单元之间的处理顺序可以根据分割编码单元的过程而改变。
图13示出了根据实施例的当编码单元被递归分割使得多个编码单元被确定时，随着编码单元的形状和尺寸改变来确定编码单元的深度的过程。
图14示出了根据实施例的基于编码单元的形状和尺寸可确定的深度，以及用于区分编码单元的部分索引(part index，PID)。
图15示出了根据实施例的基于图片中包括的多个预设数据单元来确定多个编码单元。
图16示出了根据实施例的用作用于确定图片中包括的参考编码单元的确定顺序的单元的处理块。
图17示出了根据实施例的视频编码装置的框图。
图18示出了根据实施例的视频编码方法的流程图。
图19示出了根据实施例的视频解码装置的框图。
图20示出了根据实施例的视频解码方法的流程图。
图21是根据实施例的用于描述使用至少一条参考线的方法的图。
图22示出了根据另一实施例的视频编码方法的流程图。
图23示出了根据另一实施例的视频解码方法的流程图。
图24A示出了根据实施例的位于当前亮度块周围的亮度样点(sample)和位于当前色度块周围的色度样点。图24B示出了根据实施例的当前亮度块的亮度样点和当前色度块的色度样点。
图25A示出了根据另一实施例的位于当前亮度块周围的亮度样点和位于当前色度块周围的色度样点。图25B示出了根据另一实施例的当前亮度块的亮度样点和当前色度块的色度样点。
图26A示出了其中上参考线的数量不同于左参考线的数量的实施例。图26B示出了其中上参考线的数量与左参考线的数量相同的实施例。图26C示出了其中当上参考线的数量不同于左参考线的数量时，执行填充，使得上参考线的数量和左参考线的数量相同的实施例。
具体实施方式
根据本公开的实施例，一种视频解码方法包括：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及基于所确定的上参考线，对当前块执行预测，其中，N为自然数。
根据实施例，可以根据从比特流获得的参考线信息来确定N。
根据实施例，当确定当前块与最大编码单元的上边界接触时，可以不获得参考线信息。
根据实施例，当N为2时，上参考线可以被确定为与第一参考线的上侧接触的第二参考线，其中该第一参考线与当前块的上侧接触。
根据实施例，当N为3时，上参考线可以被确定为与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触，其中该第二参考线与第一参考线的上侧接触，其中该第一参考线与当前块的上侧接触。
根据实施例，基于N条参考线来确定位于当前块左侧的左参考线。
根据实施例，当在上参考线中存在不具有样点值的参考线时，可以通过使用预定的默认值来填充不具有样点值的参考线的样点值。
根据实施例，当在上参考线中存在不具有样点值的参考线时，可以用具有样点值的参考样点来填充不具有样点值的参考样点的值，或者可以通过使用具有样点值的参考线的样点值来再生不具有样点值的参考线的样点。
根据本公开的实施例，视频解码方法包括：确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触；当确定当前亮度块与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为一条参考线；当确定当前亮度块不与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为两条参考线；以及基于所确定的上参考线，对对应于当前亮度块的当前色度块执行预测。
根据实施例，两条参考线可以包括与当前亮度块的上侧接触的第一参考线和与第一参考线的上侧接触的第二参考线。
根据实施例，可以基于包括在上参考线中的当前亮度块的亮度参考样点和与当前色度块的上侧接触的色度参考样点之间的关系来确定权重信息和偏差信息，并且通过基于当前亮度块的权重信息、偏差信息和亮度样点来确定当前色度块，可以对当前色度块执行预测。
根据本公开的实施例，一种视频编码方法包括：确定当前块是否与包括当前块的最大编码单元的上边界接触；当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线；当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线；以及基于所确定的上参考线，对当前块执行预测，其中，N为自然数。
根据实施例，视频编码方法还可以包括生成指示N的值的参考线信息。
根据实施例，当确定当前块与最大编码单元的上边界接触时，可以不生成参考线信息。
根据实施例，当N为3时，上参考线可以被确定为与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触，其中该第二参考线与第一参考线的上侧接触，其中该第一参考线与当前块的上侧接触。
公开的实施方式
将参考在其中示出了本公开的实施例的附图更全面地描述本公开的优点和特征以及实现这些优点和特征的方法。然而，本公开可以以许多不同的形式体现，并且不应该被解释为限于本文阐述的实施例；相反，提供这些实施例是为了使本公开透彻和完整，并将本公开的概念完全传达给本领域普通技术人员。
将简要描述本文使用的术语，并且将详细描述公开的实施例。
本文使用的术语是考虑到本公开中的功能，当前在本领域广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域的新技术而变化。此外，本文使用的一些术语可以由本申请人任意选择，并且在这种情况下，这些术语在下面详细定义。因此，本文使用的特定术语应该基于其独特的含义和本公开的整个上下文来定义。
应当理解，单数形式的“一”、“一个”和“该”包括复数指代物，除非上下文另有明确规定。
应当理解，当特定部分“包括”特定组件时，该部分不排除另一组件，而是还可以包括另一组件，除非上下文另有明确规定。
此外，本文使用的术语“～单元”是指执行特定任务的软件组件或硬件组件。然而术语“～单元”不限于软件或硬件。“～单元”可以被配置为位于可寻址存储介质中，或者被配置为操作一个或多个处理器。因此，举例来说，“～单元”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。组件和“～单元”提供的功能可以组合成更少的组件和“～单元”，或者进一步被分离成额外的组件和“～单元”。
根据本公开的实施例，“单元”可以包括处理器和存储器。术语“处理器”应该广义地解释为包括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指专用半导体(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以指处理设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器结合DSP内核的组合、或者任何其他这样的配置的组合。
术语“存储器”应该广义地解释为包括能够存储电子信息的任何电子组件。术语“存储器”可以指各种类型的处理器可读介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储设备、寄存器等。当处理器可以从存储器读取信息和/或向存储器写入信息时，存储器被称为处于与处理器的电子通信状态。集成在处理器中的存储器处于与处理器的电子通信状态。
在下文中，“图像”可以指示视频的静止图像，或者可以指示诸如运动图像的动态图像，即，视频本身。
在下文中，“样点(sample)”表示分配给图像的采样位置的数据，即，要处理的数据。例如，图像在空间域中的像素值和变换区域上的变换系数可以是样点。包括至少一个这样的样点的单元可以被定义为块。
此外，在本说明书中，“当前块”可以表示要编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
现在将参考附图更全面地描述本公开，以便本领域普通技术人员能够毫无困难地执行本公开。此外，为了清楚地描述本公开，与本公开的描述无关的部分将在附图中省略。
在下文中，将参考图1-图16描述根据实施例的图像编码装置和图像解码装置，以及图像编码方法和图像解码方法。将参考图3-图16描述根据实施例的确定图像的数据单元的方法。下面将参考图17-图21描述根据实施例的视频编码/解码方法，其中，确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与上边界接触时，当前块的上参考线被确定为一条参考线，当确定当前块不与上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线来对当前块执行预测。下面将参考图22至图25描述根据另一实施例的视频编码/解码方法，其中，确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触，当确定当前亮度块与上边界接触时，当前亮度块的上参考线被确定为一条参考线，当确定当前亮度块不与上边界接触时，当前亮度块的上参考线被确定为两条参考线，并且基于所确定的上参考线对对应于当前亮度块的当前色度块执行预测。下面将参考图26描述根据实施例的使用多条参考线的视频编码/解码方法。
在下文中，将参考图1和图2描述根据本公开的实施例的用于基于编码单元的各种形状自适应地选择上下文模型的方法和装置。
图1示出了根据实施例的图像解码装置的示意框图。
图像解码装置100可以包括接收器110和解码器120。接收器110和解码器120可以包括至少一个处理器。此外，接收器110和解码器120可以包括存储将由至少一个处理器执行的指令的存储器。
接收器110可以接收比特流。比特流包括由下述图像编码装置2200编码的图像的信息。此外，比特流可以从图像编码装置2200传输。图像编码装置2200和图像解码装置100可以经由有线或无线连接，并且接收器110可以经由有线或无线接收比特流。接收器110可以从诸如光学介质或硬盘的存储介质接收比特流。解码器120可以基于从接收到的比特流获得的信息来重构图像。解码器120可以从比特流获得用于重构图像的语法元素。解码器120可以基于语法元素重构图像。
将参考图2详细描述图像解码装置100的操作。
图2示出了根据实施例的图像解码方法的流程图。
根据本公开的实施例，接收器110接收比特流。
图像解码装置100从比特流获得对应于编码单元的分割形状模式的二进制串(binstring)(操作210)。图像解码装置100确定编码单元的分割规则(操作220)。此外，图像解码装置100基于对应于分割形状模式的二进制串和分割规则中的至少一个，将编码单元分割成多个编码单元(操作230)。图像解码装置100可以根据编码单元的宽度和高度的比率来确定编码单元的尺寸的允许的第一范围，以便确定分割规则。图像解码装置100可以根据编码单元的分割形状模式来确定编码单元的尺寸的允许的第二范围，以便确定分割规则。
在下文中，将根据本公开的实施例详细描述编码单元的分割。
首先，可以将一个图片分割成一个或多个条带(slice)或一个或多个片(tile)。一个条带或一个片可以是一个或多个最大编码单元(编码树单元(coding tree unit，CTU))的序列。与最大编码单元(CTU)相比，在概念上存在最大编码块(编码树块(coding treeblock，CTB))。
最大编码块(CTB)表示包括N×N个样点的N×N块(其中，N为整数)。每个颜色分量可以被分割成一个或多个最大编码块。
当图片具有三个样点阵列(Y、Cr和Cb分量的样点阵列)时，最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个对应的最大编码块以及用于编码亮度样点和色度样点的语法结构。当图片是单色图片时，最大编码单元包括单色样点的最大编码块和用于编码单色样点的语法结构。当图片是在根据颜色分量分离的颜色平面中编码的图片时，最大编码单元包括用于编码图片和图片样点的语法结构。
一个最大编码块(CTB)可以被分割成包括M×N个样点的M×N编码块(M和N为整数)。
当图片具有Y、Cr和Cb分量的样点阵列时，编码单元(coding unit，CU)包括亮度样点的编码块、色度样点的两个对应的编码块以及用于编码亮度样点和色度样点的语法结构。当图片是单色图片时，编码单元包括单色样点的编码块和用于编码单色样点的语法结构。当图片是在根据颜色分量分离的颜色平面中编码的图片时，编码单元包括用于编码图片和图片样点的语法结构。
如上所述，最大编码块和最大编码单元在概念上彼此区分，并且编码块和编码单元在概念上彼此区分。也就是说，(最大)编码单元是指包括(最大)编码块的数据结构，其中该(最大)编码块包括对应于(最大)编码块的对应的样点和语法结构。然而，因为本领域普通技术人员理解，(最大)编码单元或(最大)编码块是指包括预设数量的样点的预设尺寸的块，所以在以下说明书中提及最大编码块和最大编码单元、或者编码块和编码单元而未作区分，除非另有说明。
图像可以被分割成最大编码单元(CTU)。每个最大编码单元的尺寸可以基于从比特流获得的信息来确定。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而，实施例不限于此。
例如，可以从比特流获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256之一。
例如，可以从比特流获得关于可以被分割成两个的亮度编码块的亮度块尺寸差和最大尺寸的信息。关于亮度块尺寸差的信息可以指亮度最大编码单元和可以被分割成两个的最大亮度编码块之间的尺寸差。因此，当从比特流获得的关于可以被分割成两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此结合时，可以确定亮度最大编码单元的尺寸。色度最大编码单元的尺寸可以通过使用亮度最大编码单元的尺寸来确定。例如，当根据颜色格式，Y:Cb:Cr比率为4:2:0时，色度块的尺寸可以是亮度块的尺寸的一半，并且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。
根据实施例，因为关于可二元分割的亮度编码块的最大尺寸的信息是从比特流获得的，所以可以可变地确定可二元分割的亮度编码块的最大尺寸。相反，可三元分割的亮度编码块的最大尺寸可以是固定的。例如，在I图片中可三元分割的亮度编码块的最大尺寸可以是32×32，在P图片或B图片中可三元分割的亮度编码块的最大尺寸可以是64×64。
此外，最大编码单元可以基于从比特流获得的分割形状模式信息分层地分割成编码单元。可以从比特流获得指示是否执行四元分割的信息、指示是否执行多元分割(multi-splitting)的信息、分割方向信息和分割类型信息中的至少一个作为分割形状模式信息。
例如，指示是否执行四元分割的信息可以指示当前编码单元是否被四元分割(QUAD_SPLIT)。
当当前编码单元没有被四元分割时，指示是否执行多元分割的信息可以指示当前编码单元是否不再被分割(NO_SPLIT)或者被二元/三元分割。
当当前编码单元被二元分割或三元分割时，分割方向信息指示当前编码单元在水平方向和垂直方向之一上被分割。
当当前编码单元在水平方向或垂直方向上被分割时，分割类型信息指示当前编码单元是二元分割的或三元分割的。
可以根据分割方向信息和分割类型信息来确定当前编码单元的分割模式。当当前编码单元在水平方向上被二元分割时的分割模式可以被确定为二元水平分割模式(SPLIT_BT_HOR)，当当前编码单元在水平方向上被三元分割时的分割模式可以被确定为三元水平分割模式(SPLIT_TT_HOR)，当当前编码单元在垂直方向上被二元分割时的分割模式可以被确定为二元垂直分割模式(SPLIT_BT_VER)，并且当当前编码单元在垂直方向上被三元分割时的分割模式可以被确定为三元垂直分割模式(SPLIT_TT_VER)。
图像解码装置100可以从比特流获得来自一个二进制串的分割形状模式信息。图像解码装置100接收的比特流的形式可以包括固定长度的二进制码、一元码、截短的一元码、预定的二进制码等。二进制串是二进制数中的信息。二进制串可以包括至少一个比特。图像解码装置100可以基于分割规则获得对应于二进制串的分割形状模式信息。图像解码装置100可以基于一个二进制串来确定是否四元分割编码单元、是否不分割编码单元、分割方向和分割类型。
编码单元可以小于或等于最大编码单元。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元之一。当关于最大编码单元的分割形状模式信息指示不执行分割时，在最大编码单元中确定的编码单元具有与最大编码单元相同的尺寸。当关于最大编码单元的分割形状模式信息指示执行分割时，最大编码单元可以被分割成编码单元。此外，当关于编码单元的分割形状模式信息指示执行分割时，编码单元可以被分割成更小的编码单元。然而，图像的分割不限于此，并且可以不区分最大编码单元和编码单元。编码单元的分割将参考图3至图16详细描述。
此外，可以从编码单元确定用于预测的一个或多个预测块。预测块可以与编码单元相同或小于编码单元。此外，可以从编码单元确定用于变换的一个或多个变换块。变换块可以与编码单元相同或小于编码单元。
变换块和预测块的形状和尺寸可以彼此不相关。
在另一实施例中，可以通过使用编码单元作为预测单元来执行预测。此外，可以通过使用编码单元作为变换块来执行变换。
编码单元的分割将参考图3至图16详细描述。本公开的当前块和相邻块可以指示最大编码单元、编码单元、预测块和变换块之一。此外，当前编码单元的当前块是当前正被解码或编码的块或者当前正被分割的块。相邻块可以是在当前块之前重构的块。相邻块可以在空间上或时间上与当前块相邻。相邻块可以位于当前块的左下、左、左上、上、右上、右、右下之一。
图3示出了根据实施例的由图像解码装置执行的通过分割当前编码单元来确定至少一个编码单元的过程。
块形状可以包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里，N可以是正整数。块形状信息是指示编码单元的形状、方向、宽度和高度的比率或尺寸中的至少一个的信息。
编码单元的形状可以包括正方形和非正方形。当编码单元的宽度和高度的长度相同(即，当编码单元的块形状是4N×4N)时，图像解码装置100可以将编码单元的块形状信息确定为正方形。图像解码装置100可以将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同(即，当编码单元的块形状是4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N)时，图像解码装置100可以将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时，图像解码装置100可以将编码单元的块形状信息当中的宽度和高度的比率确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外，图像解码装置100可以基于编码单元的宽度的长度和高度的长度来确定编码单元是在水平方向还是在垂直方向。此外，图像解码装置100可以基于编码单元的宽度的长度、高度的长度或面积中的至少一个来确定编码单元的尺寸。
根据实施例，图像解码装置100可以通过使用块形状信息来确定编码单元的形状，并且可以通过使用分割形状模式信息来确定编码单元的分割方法。也就是说，由分割形状模式信息指示的编码单元分割方法可以基于由图像解码装置100使用的块形状信息指示的块形状来确定。
图像解码装置100可以从比特流获得分割形状模式信息。然而，实施例不限于此，并且图像解码装置100和图像编码装置2200可以基于块形状信息来确定预先约定的分割形状模式信息。图像解码装置100可以确定关于最大编码单元或最小编码单元的预先约定的分割形状模式信息。例如，图像解码装置100可以将关于最大编码单元的分割形状模式信息确定为四元分割。此外，图像解码装置100可以将关于最小编码单元的分割形状模式信息确定为“不执行分割”。具体地，图像解码装置100可以将最大编码单元的尺寸确定为256×256。图像解码装置100可以将预先约定的分割形状模式信息确定为四元分割。四元分割是一种分割形状模式，其中编码单元的宽和高都被一分为二(bisected)。图像解码装置100可以基于分割形状模式信息，从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外，图像解码装置100可以将最小编码单元的尺寸确定为4×4。图像解码装置100可以获得指示关于最小编码单元“不执行分割”的分割形状模式信息。
根据实施例，图像解码装置100可以使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码装置100可以基于分割形状模式信息来确定是否分割正方形编码单元、是否垂直分割正方形编码单元、是否水平分割正方形编码单元、或者是否将正方形编码单元分割成四个编码单元。参考图3，当当前编码单元300的块形状信息指示正方形形状时，解码器120可以基于指示不执行分割的分割形状模式信息来确定具有与当前编码单元300相同尺寸的编码单元310a不被分割，或者可以基于指示预设分割方法的分割形状模式信息来确定编码单元310b、310c、310d、310e或310f被分割。
参考图3，根据实施例，图像解码装置100可以基于指示在垂直方向上执行分割的分割形状模式信息，确定通过在垂直方向上分割当前编码单元300而获得的两个编码单元310b。图像解码装置100可以基于指示在水平方向上执行分割的分割形状模式信息，确定通过在水平方向上分割当前编码单元300而获得的两个编码单元310c。图像解码装置100可以基于指示在垂直和水平方向上执行分割的分割形状模式信息，确定通过在垂直和水平方向上分割当前编码单元300而获得的四个编码单元310d。根据实施例，图像解码装置100可以基于指示在垂直方向上执行三元分割的分割形状模式信息，确定通过在垂直方向上分割当前编码单元300而获得的三个编码单元310e。图像解码装置100可以基于指示在水平方向上执行三元分割的分割形状模式信息，确定通过在水平方向上分割当前编码单元300而获得的三个编码单元310f。然而，正方形编码单元的分割方法不限于上述方法，并且分割形状模式信息可以指示各种方法。下面将结合各种实施例详细描述分割正方形编码单元的预设分割方法。
图4示出了根据实施例的由图像解码装置执行的通过分割非正方形编码单元来确定至少一个编码单元的过程。
根据实施例，图像解码装置100可以使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置100可以基于分割形状模式信息，确定是否不分割非正方形当前编码单元或者是否通过使用预设分割方法来分割非正方形当前编码单元。参考图4，当当前编码单元400或450的块形状信息指示非正方形形状时，图像解码装置100可以基于指示不执行分割的分割形状模式信息来确定具有与当前编码单元400或450相同尺寸的编码单元410或460不被分割，或者基于指示预设分割方法的分割形状模式信息来确定编码单元420a和420b、430a至430c、470a和470b、或480a至480c被分割。下面将结合各种实施例详细描述分割非正方形编码单元的预设分割方法。
根据实施例，图像解码装置100可以通过使用分割形状模式信息来确定编码单元的分割方法，并且在这种情况下，分割形状模式信息可以指示通过分割编码单元而生成的一个或多个编码单元的数量。参考图4，当分割形状模式信息指示将当前编码单元400或450分割成两个编码单元时，图像解码装置100可以通过基于分割形状模式信息分割当前编码单元400或450来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例，当图像解码装置100基于分割形状模式信息分割非正方形当前编码单元400或450时，图像解码装置100可以考虑非正方形当前编码单元400或450的长边的位置来分割当前编码单元。例如，考虑到当前编码单元400或450的形状，图像解码装置100可以通过在分割当前编码单元400或450的长边的方向上分割当前编码单元400或450来确定多个编码单元。
根据实施例，当分割形状模式信息指示将编码单元分割(三元分割)成奇数个块时，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元。例如，当分割形状模式信息指示将当前编码单元400或450分割成三个编码单元时，图像解码装置100可以将当前编码单元400或450分割成三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例，当前编码单元400或450的宽度和高度的比率可以是4:1或1:4。当宽度和高度的比率为4:1时，块形状信息可以是水平方向，因为宽度的长度比高度的长度更长。当宽度和高度的比率为1:4时，块形状信息可以是垂直方向，因为宽度的长度比高度的长度更短。图像解码装置100可以基于分割形状模式信息来确定将当前编码单元分割成奇数个块。此外，图像解码装置100可以基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的分割方向。例如，当当前编码单元400在垂直方向上时，图像解码装置100可以通过在水平方向上分割当前编码单元400来确定编码单元430a至430c。此外，当当前编码单元450在水平方向上时，图像解码装置100可以通过在垂直方向上分割当前编码单元450来确定编码单元480a至480c。
根据实施例，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元，并且不是所有所确定的编码单元都可以具有相同的尺寸。例如，来自所确定的奇数个编码单元430a、430b和430c或者480a、480b和480c当中的预设编码单元430b或480b可以具有不同于其它编码单元430a和430c、或者480a和480c的尺寸。也就是说，可以通过分割当前编码单元400或450来确定的编码单元可以具有多种尺寸，并且在一些情况下，奇数个编码单元430a、430b和430c或者480a、480b和480c的所有可以具有不同的尺寸。
根据实施例，当分割形状模式信息指示将编码单元分割成奇数个块时，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元，并且此外，可以对来自通过分割当前编码单元400或450而生成的奇数个编码单元当中的至少一个编码单元施加预设限制。参考图4，图像解码装置100可以设置关于位于三个编码单元430a、430b和430c或者480a、480b和480c当中的中心处的编码单元430b或480b的解码过程，该编码单元430b或480b是由于当前编码单元400或450被分割成不同于其它编码单元430a和430c或者480a和480c而生成的。例如，与其它编码单元430a和430c或者480a和480c不同，图像解码装置100可以限制中心位置处的编码单元430b或480b不再被分割或者仅被分割预设次数。
图5示出了根据实施例的由图像解码装置执行的基于块形状信息和分割形状模式信息中的至少一个来分割编码单元的过程。
根据实施例，图像解码装置100可以基于块形状信息和分割形状模式信息中的至少一个，确定将或不将正方形的第一编码单元500分割成编码单元。根据实施例，当分割形状模式信息指示在水平方向上分割第一编码单元500时，图像解码装置100可以通过在水平方向上分割第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解分割编码单元之前和之后的关系的术语。例如，第二编码单元可以通过分割第一编码单元来确定，并且第三编码单元可以通过分割第二编码单元来确定。应当理解，第一编码单元、第二编码单元和第三编码单元的结构遵循上述描述。
根据实施例，图像解码装置100可以基于分割形状模式信息来确定将或不将所确定的第二编码单元510分割成编码单元。参考图5，图像解码装置100可以基于分割形状模式信息和分割形状模式信息中的至少一个，将通过分割第一编码单元500而确定的非正方形的第二编码单元510分割成一个或多个第三编码单元520a、520b、520c和520d，或者可以不分割非正方形的第二编码单元510。图像解码装置100可以获得分割形状模式信息，并且可以基于获得的分割形状模式信息通过分割第一编码单元500来获得多个各种形状的第二编码单元(例如，510),并且第二编码单元510可以通过使用基于分割形状模式信息的第一编码单元500的分割方法来分割。根据实施例，当基于第一编码单元500的分割形状模式信息将第一编码单元500分割成第二编码单元510时，第二编码单元510还可以基于第二编码单元510的分割形状模式信息被分割成第三编码单元(例如，520a或520b、520c和520d)。也就是说，可以基于每个编码单元的分割形状模式信息递归地分割编码单元。因此，可以通过分割非正方形编码单元来确定正方形编码单元，并且可以通过递归地分割正方形编码单元来确定非正方形编码单元。
参考图5，可以递归地分割来自通过分割非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d当中的预设编码单元(例如，位于中心位置处的编码单元、或正方形编码单元)。根据实施例，来自奇数个第三编码单元520b、520c和520d当中的正方形的第三编码单元520c可以在水平方向上被分割成多个第四编码单元。来自多个第四编码单元530a、530b、530c和530d当中的非正方形的第四编码单元530b或530d可以被再次分割成多个编码单元。例如，非正方形的第四编码单元530b或530d可以被再次分割成奇数个编码单元。下面将结合各种实施例描述可以用于递归地分割编码单元的方法。
根据实施例，图像解码装置100可以基于分割形状模式信息将第三编码单元520a或520b、520c和520d中的每一个分割成编码单元。此外，图像解码装置100可以基于分割形状模式信息来确定不分割第二编码单元510。根据实施例，图像解码装置100可以将非正方形的第二编码单元510分割成奇数个第三编码单元520b、520c和520d。图像解码装置100可以对来自奇数个第三编码单元520b、520c和520d当中的预设第三编码单元施加预设限制。例如，图像解码装置100可以将来自奇数个第三编码单元520b、520c和520d当中的中心位置处的第三编码单元520c限制为不再被分割或者被分割可设置的次数。
参考图5，图像解码装置100可以将来自被包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d当中的中心位置处的第三编码单元520c限制为不再被分割、通过使用预设分割方法来分割(例如，分割成仅四个编码单元或通过使用第二编码单元510的分割方法来分割)、或者仅被分割预设次数(例如，仅被分割n次(其中n>0))。然而，对中心位置处的第三编码单元520c的限制不限于上述示例，并且可以包括用于对中心位置处的第三编码单元520c进行不同于其它第三编码单元520b和520d的解码的各种限制。
根据实施例，图像解码装置100可以从当前编码单元中的预设位置获得用于分割当前编码单元的分割形状模式信息。
图6示出了根据实施例的由图像解码装置执行的从奇数个编码单元当中确定预设编码单元的方法。
参考图6，当前编码单元600或650的分割形状模式信息可以从来自包括在当前编码单元600或650中的多个样点当中的预设位置的样点(例如，中心位置的样点640或690)获得。然而，当前编码单元600中可从中获得至少一条分割形状模式信息的预设位置不限于图6中的中心位置，并且可以包括当前编码单元600中包括的各种位置(例如，上、下、左、右、左上、左下、右上、右下位置等)。图像解码装置100可以从预设位置获得分割形状模式信息，并且可以确定将或不将当前编码单元分割成各种形状和各种尺寸的编码单元。
根据实施例，当当前编码单元被分割成预设数量的编码单元时，图像解码装置100可以选择编码单元中的一个。可以使用各种方法来选择多个编码单元中的一个，这将在下面结合各种实施例进行描述。
根据实施例，图像解码装置100可以将当前编码单元分割成多个编码单元，并且可以确定预设位置处的编码单元。
根据实施例，图像解码装置100可以使用指示奇数个编码单元的位置的信息来从奇数个编码单元当中确定中心位置处的编码单元。参考图6，图像解码装置100可以通过分割当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码装置100可以通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，图像解码装置100可以通过基于指示编码单元620a、620b和620c中包括的预设样点的位置的信息来确定编码单元620a、620b和620c的位置，来确定中心位置处的编码单元620b。具体地，图像解码装置100可以通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息来确定编码单元620a、620b和620c的位置，来确定中心位置处的编码单元620b。
根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可以包括关于图片中编码单元620a、620b和620c的位置或坐标的信息。根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可以包括指示包括在当前编码单元600中的编码单元620a、620b和620c的宽度或高度的信息，并且宽度或高度可以对应于指示图片中编码单元620a、620b和620c的坐标之间的差的信息。也就是说，图像解码装置100可以通过直接使用关于图片中编码单元620a、620b和620c的位置或坐标的信息，或者通过使用对应于坐标之间的差值的关于编码单元的宽度或高度的信息，来确定中心位置处的编码单元620b。
根据实施例，指示上编码单元620a的左上样点630a的位置的信息可以包括坐标(xa，ya)，指示中间编码单元620b的左上样点630b的位置的信息可以包括坐标(xb，yb)，并且指示下编码单元620c的左上样点630c的位置的信息可以包括坐标(xc，yc)。图像解码装置100可以通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上样点630a、630b和630c的坐标以升序或降序排序时，包括中心位置处的样点630b的坐标(xb，yb)的编码单元620b可以被确定为来自通过分割当前编码单元600而确定的编码单元620a、620b和620c当中的中心位置处的编码单元。然而，指示左上样点630a、630b和630c的位置的坐标可以包括指示图片中绝对位置的坐标，或者可以使用指示中间编码单元620b的左上样点630b的相对位置的坐标(dxb，dyb)和指示相对于上编码单元620a的左上样点630a的位置的下编码单元620c的左上样点630c的相对位置的坐标(dxc，dyc)。通过使用包括在编码单元中的样点的坐标作为指示样点位置的信息来确定预设位置处的编码单元的方法不限于上述方法，并且可以包括能够使用样点的坐标的各种算术方法。
根据实施例，图像解码装置100可以将当前编码单元600分割成多个编码单元620a、620b和620c，并且可以基于预设标准选择编码单元620a、620b和620c中的一个。例如，图像解码装置100可以从编码单元620a、620b和620c当中选择具有不同于其它编码单元的尺寸的编码单元620b。
根据实施例，图像解码装置100可以通过使用作为指示上编码单元620a的左上样点630a的位置的信息的坐标(xa，ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb，yb)和作为指示下编码单元620c的左上样点630c的位置的信息的坐标(xc，yc)来确定编码单元620a、620b和620c中的每一个的宽度或高度。图像解码装置100可以通过使用指示编码单元620a、620b和620c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元620a、620b和620c的相应尺寸。根据实施例，图像解码装置100可以将上编码单元620a的宽度确定为当前编码单元600的宽度。图像解码装置100可以将上编码单元620a的高度确定为yb-ya。根据实施例，图像解码装置100可以将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码装置100可以将中间编码单元620b的高度确定为yc-yb。根据实施例，图像解码装置100可以通过使用当前编码单元600的宽度或高度或者上编码单元620a和中间编码单元620b的宽度或高度来确定下编码单元620c的宽度或高度。图像解码装置100可以基于所确定的编码单元620a至620c的宽度和高度来确定具有不同于其它编码单元的尺寸的编码单元。参考图6，图像解码装置100可以将具有不同于上编码单元620a和下编码单元620c的尺寸的中间编码单元620b确定为预设位置的编码单元。然而，由图像解码装置100执行的确定具有不同于其它编码单元的尺寸的编码单元的上述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例，因此可以使用通过比较基于预设样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的各种方法。
图像解码装置100可以通过使用作为指示左编码单元660a的左上样点670a的位置的信息的坐标(xd，yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe，ye)和作为指示右编码单元660c的左上样点670c的位置的信息的坐标(xf，yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码装置100可以通过使用指示编码单元660a、660b和660c的位置的坐标(xd，yd)、(xe，ye)和(xf，yf)来确定编码单元660a、660b和660c的相应尺寸。
根据实施例，图像解码装置100可以将左编码单元660a的宽度确定为xe-xd。图像解码装置100可以将左编码单元660a的高度确定为当前编码单元650的高度。根据实施例，图像解码装置100可以将中间编码单元660b的宽度确定为xf-xe。图像解码装置100可以将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例，图像解码装置100可以通过使用当前编码单元650的宽度或高度，或者左编码单元660a和中间编码单元660b的宽度或高度来确定右编码单元660c的宽度或高度。图像解码装置100可以基于所确定的编码单元660a至660c的宽度和高度来确定具有不同于其它编码单元的尺寸的编码单元。参考图6，图像解码装置100可以将具有不同于左编码单元660a和右编码单元660c的尺寸的中间编码单元660b确定为预设位置的编码单元。然而，由图像解码装置100执行的确定具有不同于其它编码单元的尺寸的编码单元的上述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例，因此可以使用通过比较基于预设样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的各种方法。
然而，被考虑来确定编码单元的位置的样点的位置不限于上述左上位置，并且可以使用关于编码单元中包括的样点的任意位置的信息。
根据实施例，考虑到当前编码单元的形状，图像解码装置100可以从通过分割当前编码单元而确定的奇数个编码单元当中选择预设位置处的编码单元。例如，当当前编码单元具有宽度长于高度的非正方形形状时，图像解码装置100可以在水平方向上确定预设位置处的编码单元。也就是说，图像解码装置100可以在水平方向上确定不同位置处的编码单元中的一个，并对编码单元施加限制。当当前编码单元具有高度长于宽度的非正方形形状时，图像解码装置100可以在垂直方向上确定预设位置处的编码单元。也就是说，图像解码装置100可以在垂直方向上确定不同位置处的编码单元中的一个，并且可以对编码单元施加限制。
根据实施例，图像解码装置100可以使用指示偶数个编码单元的相应位置的信息，来从偶数个编码单元当中确定预设位置处的编码单元。图像解码装置100可以通过分割(二元分割)当前编码单元来确定偶数个编码单元，并且可以通过使用关于偶数个编码单元的位置的信息来确定预设位置处的编码单元。与之相关的操作可以对应于从奇数个编码单元当中确定预设位置(例如，中心位置)处的编码单元的操作，这已经在上面结合图6进行了详细描述，因此这里不提供其详细描述。
根据实施例，当非正方形当前编码单元被分割成多个编码单元时，关于预设位置处的编码单元的预设信息可以在分割操作中使用，以从多个编码单元当中确定预设位置处的编码单元。例如，图像解码装置100可以在分割操作中使用存储在中间编码单元中包括的样点中的块形状信息和分割形状模式信息中的至少一个，以从通过分割当前编码单元而确定的多个编码单元当中确定中心位置处的编码单元。
参考图6，图像解码装置100可以基于分割形状模式信息将当前编码单元600分割成多个编码单元620a、620b和620c，并且可以从多个编码单元620a、620b和620c当中确定中心位置处的编码单元620b。此外，考虑到从中获得分割形状模式信息的位置，图像解码装置100可以确定中心位置处的编码单元620b。也就是说，当前编码单元600的分割形状模式信息可以从当前编码单元600的中心位置处的样点640获得，并且当基于分割形状模式信息将当前编码单元600分割成多个编码单元620a、620b和620c时，包括样点640的编码单元620b可以被确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于分割形状模式信息，并且各种类型的信息可以用于确定中心位置处的编码单元。
根据实施例，用于标识预设位置处的编码单元的预设信息可以从包括在待确定的编码单元中的预设样点获得。参考图6，图像解码装置100可以使用从当前编码单元600中预设位置处的样点(例如，当前编码单元600的中心位置处的样点)获得的分割形状模式信息，以从通过分割当前编码单元600而确定的多个编码单元620a、620b和620c当中确定预设位置处的编码单元(例如，来自多个分割的编码单元当中的中心位置处的编码单元)。也就是说，图像解码装置100可以通过考虑当前编码单元600的块形状来确定预设位置处的样点，从通过分割当前编码单元600而确定的多个编码单元620a、620b和620c当中确定包括可以从中获得预设信息(例如，分割形状模式信息)的样点的编码单元620b，并且可以对编码单元620b施加预设限制。参考图6，根据实施例，在解码操作中，图像解码装置100可以将当前编码单元600的中心位置处的样点640确定为可以从中获得预设信息的样点，并且可以对包括样点640的编码单元620b施加预设限制。然而，可以从中获得预设信息的样点的位置不限于上述位置，并且可以包括待针对限制而确定的编码单元620b中包括的样点的任意位置。
根据实施例，可以基于当前编码单元600的形状来确定可以从中获得预设信息的样点的位置。根据实施例，块形状信息可以指示当前编码单元是具有正方形形状还是具有非正方形形状，并且可以基于形状来确定可以从中获得预设信息的样点的位置。例如，图像解码装置100可以通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个，来确定位于用于将当前编码单元的宽度和高度中的至少一个分割成两半的边界上的样点，作为可以从中获得预设信息的样点。作为另一示例，当当前编码单元的块形状信息指示非正方形形状时，图像解码装置100可以确定与用于将当前编码单元的长边分割成两半的边界相邻的样点中的一个，作为可以从中获得预设信息的样点。
根据实施例，当当前编码单元被分割成多个编码单元时，图像解码装置100可以使用分割形状模式信息来从多个编码单元当中确定预设位置处的编码单元。根据实施例，图像解码装置100可以从编码单元中的预设位置处的样点获得分割形状模式信息，并且通过使用从多个编码单元中的每一个中的预设位置的样点获得的分割形状模式信息来分割通过分割当前编码单元而生成的多个编码单元。也就是说，可以基于从每个编码单元中的预设位置处的样点获得的分割形状模式信息递归地分割编码单元。上面已经结合图5描述了递归地分割编码单元的操作，因此这里将不提供其详细描述。
根据实施例，图像解码装置100可以通过分割当前编码单元来确定一个或多个编码单元，并且可以基于预设块(例如，当前编码单元)来确定解码一个或多个编码单元的顺序。
图7示出了根据实施例，当图像解码装置通过分割当前编码单元来确定多个编码单元时，处理多个编码单元的顺序。
根据实施例，图像解码装置100可以基于分割形状模式信息，通过在垂直方向上分割第一编码单元700来确定第二编码单元710a和710b，通过在水平方向上分割第一编码单元700来确定第二编码单元730a和730b，或者通过在垂直和水平方向上分割第一编码单元700来确定第二编码单元750a至750d。
参考图7，图像解码装置100可以确定以水平方向顺序710c处理通过在垂直方向上分割第一编码单元700而确定的第二编码单元710a和710b。图像解码装置100可以确定以垂直方向顺序730c处理通过在水平方向上分割第一编码单元700而确定的第二编码单元730a和730b。图像解码装置100可以根据预设顺序(例如，光栅扫描顺序或Z扫描顺序750e)来确定通过在垂直和水平方向上分割第一编码单元700而确定的第二编码单元750a至750d，通过该预设顺序处理一行中的编码单元，然后处理下一行中的编码单元。
根据实施例，图像解码装置100可以递归地分割编码单元。参考图7，图像解码装置100可以通过分割第一编码单元700来确定多个编码单元710a和710b、730a和730b或者750a至750d，并且递归地分割所确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个。多个编码单元710a和710b、730a和730b或者750a至750d的分割方法可以对应于第一编码单元700的分割方法。这样，多个编码单元710a和710b、730a和730b或者750a至750d中的每一个可以被独立地分割成多个编码单元。参考图7，图像解码装置100可以通过在垂直方向上分割第一编码单元700来确定第二编码单元710a和710b，并且可以确定独立地分割或者不分割第二编码单元710a和710b中的每一个。
根据实施例，图像解码装置100可以通过在水平方向上分割左第二编码单元710a来确定第三编码单元720a和720b，并且可以不分割右第二编码单元710b。
根据实施例，可以基于分割编码单元的操作来确定编码单元的处理顺序。换句话说，分割的编码单元的处理顺序可以基于紧接在被分割之前的编码单元的处理顺序来确定。图像解码装置100可以独立于右第二编码单元710b来确定通过分割左第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为第三编码单元720a和720b是通过在水平方向上分割左第二编码单元710a而确定的，所以第三编码单元720a和720b可以以垂直方向顺序720c被处理。因为左第二编码单元710a和右第二编码单元710b以水平方向顺序710c被处理，所以右第二编码单元710b可以在包括在左第二编码单元710a中的第三编码单元720a和720b以垂直方向顺序720c被处理之后被处理。基于被分割之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可以使用各种方法来以预设顺序独立地处理被分割并被确定为各种形状的编码单元。
图8示出了根据实施例，当编码单元不能以预设顺序处理时，由图像解码装置执行的确定当前编码单元将被分割成奇数个编码单元的过程。
根据实施例，图像解码装置100可以基于获得的分割形状模式信息来确定当前编码单元被分割成奇数个编码单元。参考图8，正方形的第一编码单元800可以被分割成非正方形的第二编码单元810a和810b，并且第二编码单元810a和810b可以被独立地分割成第三编码单元820a和820b以及820c至820e。根据实施例，图像解码装置100可以通过在水平方向上分割左第二编码单元810a来确定多个第三编码单元820a和820b，并且可以将右第二编码单元810b分割成奇数个第三编码单元820c至820e。
根据实施例，视频解码装置100可以通过确定第三编码单元820a和820b以及820c至820e是否可按预设顺序处理来确定是否有任何编码单元被分割成奇数个编码单元。参考图8，图像解码装置100可以通过递归地分割第一编码单元800来确定第三编码单元820a和820b以及820c至820e。图像解码装置100可以基于块形状信息和分割形状模式信息中的至少一个来确定第一编码单元800、第二编码单元810a和810b、或者第三编码单元820a和820b以及820c至820e中的任何一个是否被分割成奇数个编码单元。例如，可以将来自第二编码单元810a和810b当中的位于右边的编码单元分割成奇数个第三编码单元820c、820d和820e。包括在第一编码单元800中的多个编码单元的处理顺序可以是预设顺序(例如，Z扫描顺序830)，并且图像解码装置100可以确定通过将右第二编码单元810b分割成奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于以预设顺序进行处理的条件。
根据实施例，图像解码装置100可以确定包括在第一编码单元800中的第三编码单元820a和820b以及820c至820e是否满足用于以预设顺序进行处理的条件，并且该条件涉及第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c至820e的边界被分割成两半。例如，当非正方形形状的左第二编码单元810a的高度被分割成两半时确定的第三编码单元820a和820b可以满足条件。可以确定第三编码单元820c至820e不满足条件，因为当右第二编码单元810b被分割成三个编码单元时确定的第三编码单元820c至820e的边界不能将右第二编码单元810b的宽度或高度分割成两半。当如上所述不满足条件时，图像解码装置100可以确定扫描顺序的断开，并且可以基于确定的结果确定右第二编码单元810b将被分割成奇数个编码单元。根据实施例，当编码单元被分割成奇数个编码单元时，图像解码装置100可以对来自分割的编码单元当中的预设位置处的编码单元施加预设限制。限制或预设位置已经在上面结合各种实施例进行了描述，因此这里将不提供其详细描述。
图9示出了根据实施例的由图像解码装置执行的通过分割第一编码单元来确定至少一个编码单元的过程。
根据实施例，图像解码装置100可以基于通过接收器110获得的分割形状模式信息来分割第一编码单元900。正方形的第一编码单元900可以被分割成四个正方形编码单元，或者可以被分割成多个非正方形编码单元。例如，参考图9，当第一编码单元900具有正方形形状并且分割形状模式信息指示将第一编码单元900分割成非正方形编码单元时，图像解码装置100可以将第一编码单元900分割成多个非正方形编码单元。具体地，当分割形状模式信息指示通过在水平方向或垂直方向上分割第一编码单元900来确定奇数个编码单元时，图像解码装置100可以将正方形的第一编码单元900分割成奇数个编码单元，例如，通过在垂直方向上分割正方形的第一编码单元900而确定的第二编码单元910a、910b和910c，或者通过在水平方向上分割正方形的第一编码单元900而确定的第二编码单元920a、920b和920c。
根据实施例，图像解码装置100可以确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于以预设顺序进行处理的条件，并且该条件涉及第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被分割成两半。参考图9，因为通过在垂直方向上分割正方形的第一编码单元900而确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的高度分割成两半，所以可以确定第一编码单元900不满足以预设顺序进行处理的条件。此外，因为通过在水平方向上分割正方形的第一编码单元900而确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的宽度分割成两半，所以可以确定第一编码单元900不满足以预设顺序进行处理的条件。当如上所述不满足条件时，图像解码装置100可以决定扫描顺序的断开，并且可以基于决定的结果确定第一编码单元900将被分割成奇数个编码单元。根据实施例，当编码单元被分割成奇数个编码单元时，图像解码装置100可以对来自分割的编码单元当中的预设位置处的编码单元施加预设限制。限制或预设位置已经在上面结合各种实施例进行了描述，因此这里将不提供其详细描述。
根据实施例，图像解码装置100可以通过分割第一编码单元来确定各种形状的编码单元。
参考图9，图像解码装置100可以将正方形的第一编码单元900或非正方形的第一编码单元930或950分割成各种形状的编码单元。
图10示出了根据实施例，当在图像解码装置分割第一编码单元时确定的具有非正方形形状的第二编码单元满足预设条件时，第二编码单元可分割成的形状受到限制。
根据实施例，图像解码装置100可以基于由接收器110获得的分割形状模式信息，确定将正方形的第一编码单元1000分割成非正方形的第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可以被独立地分割。这样，图像解码装置100可以基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的分割形状模式信息，确定将或不将第二编码单元1010a和1010b或者1020a和1020b中的每一个分割成多个编码单元。根据实施例，图像解码装置100可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1000而确定的非正方形的左第二编码单元1010a来确定第三编码单元1012a和1012b。然而，当左第二编码单元1010a在水平方向上被分割时，图像解码装置100可以限制右第二编码单元1010b不在左第二编码单元1010a在其中被分割的水平方向上被分割。当第三编码单元1014a和1014b通过在相同方向上分割右第二编码单元1010b来确定时，因为左第二编码单元1010a和右第二编码单元1010b在水平方向上被独立地分割，所以可以确定第三编码单元1012a和1012b或者1014a和1014b。然而，这种情况等同于其中图像解码装置100基于分割形状模式信息将第一编码单元1000分割成四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况，并且在图像解码方面可能是低效的。
根据实施例，图像解码装置100可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b来确定第三编码单元1022a和1022b或者1024a和1024b。然而，当第二编码单元(例如，上第二编码单元1020a)在垂直方向上被分割时，由于上述原因，图像解码装置100可以限制另一第二编码单元(例如，下第二编码单元1020b)不在上第二编码单元1020a在其中被分割的垂直方向上被分割。
图11示出了根据实施例，当分割形状模式信息指示正方形编码单元将不被分割成四个正方形编码单元时，由图像解码装置执行的分割正方形编码单元的过程。
根据实施例，图像解码装置100可以通过基于分割形状模式信息来分割第一编码单元1100来确定第二编码单元1110a和1110b或者1120a和1120b等。分割形状模式信息可以包括关于分割编码单元的各种方法的信息，但是关于各种分割方法的信息可以不包括用于将编码单元分割成四个正方形编码单元的信息。根据这种分割形状模式信息，图像解码装置100可以不将正方形的第一编码单元1100分割成四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码装置100可以基于分割形状模式信息来确定非正方形的第二编码单元1110a和1110b或者1120a和1120b等。
根据实施例，图像解码装置100可以独立地分割非正方形的第二编码单元1110a和1110b或者1120a和1120b等。第二编码单元1110a和1110b或者1120a和1120b等中的每一个可以以预设顺序被递归地分割，并且该分割方法可以对应于基于分割形状模式信息分割第一编码单元1100的方法。
例如，图像解码装置100可以通过在水平方向上分割左第二编码单元1110a来确定正方形的第三编码单元1112a和1112b，并且可以通过在水平方向上分割右第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外，图像解码装置100可以通过在水平方向上分割左第二编码单元1110a和右第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可以确定与从第一编码单元1100分割的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例，图像解码装置100可以通过在垂直方向上分割上第二编码单元1120a来确定正方形的第三编码单元1122a和1122b，并且可以通过在垂直方向上分割下第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外，图像解码装置100可以通过在垂直方向上分割上第二编码单元1120a和下第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下，可以确定与从第一编码单元1100分割的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出了根据实施例，多个编码单元之间的处理顺序可以取决于分割编码单元的过程而改变。
根据实施例，图像解码装置100可以基于分割形状模式信息分割第一编码单元1200。当块形状指示正方形形状并且分割形状模式信息指示在水平和垂直方向中的至少一个方向上分割第一编码单元1200时，图像解码装置100可以通过分割第一编码单元1200来确定第二编码单元1210a和1210b或者1220a和1220b等。参考图12，通过仅在水平方向或垂直方向上分割第一编码单元1200而确定的非正方形的第二编码单元1210a和1210b或者1220a和1220b可以基于每个编码单元的分割形状模式信息来被独立地分割。例如，图像解码装置100可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d。上面已经结合图11描述了分割第二编码单元1210a和1210b或者1220a和1220b的操作，因此这里将不提供其详细描述。
根据实施例，图像解码装置100可以以预设顺序处理编码单元。上面已经结合图7描述了以预设顺序处理编码单元的操作，因此这里将不提供其详细描述。参考图12，图像解码装置100可以通过分割正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d，以及1226a、1226b、1226c和1226d。根据实施例，图像解码装置100可以基于第一编码单元1200通过其被分割的分割形状来确定第三编码单元1216a、1216b、1216c和1216d、以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例，图像解码装置100可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以以用于首先在垂直方向上处理被包括在左第二编码单元1210a中的第三编码单元1216a和1216c、然后在垂直方向上处理被包括在右第二编码单元1210b中的第三编码单元1216b和1216d的处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d。
根据实施例，图像解码装置100可以通过垂直方向上分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d，并且可以以用于首先在水平方向上处理被包括在上第二编码单元1220a中的第三编码单元1226a和1226b、然后在水平方向上处理被包括在下第二编码单元1220b中的第三编码单元1226c和1226d的处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d。
参考图12，正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d可以通过分别分割第二编码单元1210a和1210b以及1220a和1220b来确定。尽管第二编码单元1210a和1210b是通过在垂直方向上分割第一编码单元1200而确定的，不同于通过在水平方向上分割第一编码单元1200而确定的第二编码单元1220a和1220b，但是从其分割的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出了从第一编码单元1200分割的相同形状的编码单元。这样，通过基于分割形状模式信息以不同方式递归地分割编码单元，即使当编码单元最终被确定为相同形状时，图像解码装置100也可以以不同顺序处理多个编码单元。
图13示出了根据实施例，当编码单元被递归地分割使得多个编码单元被确定时，随着编码单元的形状和尺寸改变来确定编码单元的深度的过程。
根据实施例，图像解码装置100可以基于预设标准来确定编码单元的深度。例如，预设标准可以是编码单元的长边的长度。当被分割之前的编码单元的长边的长度是分割的当前编码单元的长边的长度的2n倍(n>0)时，图像解码装置100可以确定当前编码单元的深度从被分割之前的编码单元的深度增加n。在以下描述中，具有增加的深度的编码单元被表示为更深深度的编码单元。
参考图13，根据实施例，图像解码装置100可以通过基于指示正方形形状的块形状信息(例如，块形状信息可以被表示为‘0:SQUARE’)分割正方形的第一编码单元1300来确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸为2N×2N，通过将第一编码单元1300的宽度和高度分割成1/2而确定的第二编码单元1302可以具有N×N的尺寸。此外，通过将第二编码单元1302的宽度和高度分割成1/2而确定的第三编码单元1304可以具有N/2×N/2的尺寸。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的1/4倍。当第一编码单元1300的深度是D时，其宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以是D+1，其宽度和高度是第一编码单元1300的1/4倍的第三编码单元1304的深度可以是D+2。
根据实施例，图像解码装置100可以通过基于指示非正方形形状的块形状信息(例如，块形状信息可以被表示为指示其高度比宽度更长的非正方形形状的“1:NS_VER”，或者指示其宽度比高度更长的非正方形形状的“2:NS_HOR”)分割非正方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322和第三编码单元1314或1324。
图像解码装置100可以通过分割尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码装置100可以通过在水平方向上分割第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322，或者可以通过在水平和垂直方向上分割第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例，图像解码装置100可以通过分割尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码装置100可以通过在垂直方向上分割第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312，或者可以通过在水平和垂直方向上分割第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例，图像解码装置100可以通过分割尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可以通过在垂直和水平方向上分割第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或者尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码装置100可以通过分割尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可以通过在水平方向上分割第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324，或者可以通过在垂直和水平方向上分割第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例，图像解码装置100可以通过分割尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可以通过在垂直方向上分割第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314，或者可以通过在垂直和水平方向上分割第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码装置100可以在水平或垂直方向上分割正方形编码单元1300、1302或1304。例如，图像解码装置100可以通过在垂直方向上分割尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310，或者可以通过在水平方向上分割第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度来确定深度时，通过在水平或垂直方向上分割尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可以与第一编码单元1300的深度相同。
根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4倍。当第一编码单元1310或1320的深度是D时，其宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以是D+1，并且其宽度和高度是第一编码单元1310或1320的宽度和高度的1/4倍的第三编码单元1314或1324的深度可以是D+2。
图14示出了根据实施例的基于编码单元的形状和尺寸可确定的深度，以及用于区分编码单元的部分索引(PID)。
根据实施例，图像解码装置100可以通过分割正方形的第一编码单元1400来确定各种形状的第二编码单元。参考图14，图像解码装置100可以通过基于分割形状模式信息在垂直和水平方向中的至少一个方向上分割第一编码单元1400来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。也就是说，图像解码装置100可以基于第一编码单元1400的分割形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。
根据实施例，基于正方形的第一编码单元1400的分割形状模式信息确定的第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d的深度可以基于其长边的长度来确定。例如，因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可以具有相同的深度，例如，D。然而，当图像解码装置100基于分割形状模式信息将第一编码单元1400分割成四个正方形的第二编码单元1406a、1406b、1406c和1406d时，因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是D+1，其比第一编码单元1400的深度D深1。
根据实施例，图像解码装置100可以通过基于分割形状模式信息在水平方向上分割其高度比宽度更长的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，图像解码装置100可以通过基于分割形状模式信息在垂直方向上分割其宽度比高度更长的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例，基于非正方形的第一编码单元1410或1420的分割形状模式信息确定的第二编码单元1412a和1412b、以及1414a、1414b和1414c、或者1422a和1422b、以及1424a、1424b和1424c的深度可以基于其长边的长度来确定。例如，因为正方形的第二编码单元1412a和1412b的边的长度是其高度比宽度更长的具有非正方形形状的第一编码单元1410的长边的长度的1/2倍，所以正方形的第二编码单元1412a和1412b的深度为D+1，其比非正方形的第一编码单元1410的深度D深1。
此外，图像解码装置100可以基于分割形状模式信息将非正方形的第一编码单元1410分割成奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可以包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下，因为非正方形的第二编码单元1414a和1414c的长边的长度和正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2倍，所以第二编码单元1414a、1414b和1414c的深度可以是D+1，其比非正方形的第一编码单元1410的深度D深1。图像解码装置100可以通过使用上述确定从第一编码单元1410分割的编码单元的深度的方法，来确定从其宽度比高度更长的具有非正方形形状的第一编码单元1420分割的编码单元的深度。
根据实施例，当奇数个分割的编码单元不具有相等的尺寸时，图像解码装置100可以基于编码单元之间的尺寸比率来确定用于标识分割的编码单元的PID。参考图14，奇数个分割的编码单元1414a、1414b和1414c当中的中心位置的编码单元1414b可以具有与其它编码单元1414a和1414c的宽度相等的宽度以及是其它编码单元1414a和1414c的高度的两倍的高度。也就是说，在这种情况下，位于中心位置处的编码单元1414b可以包括两个其它编码单元1414a或1414c。因此，当中心位置处的编码单元1414b的PID基于扫描顺序为1时，位于编码单元1414b下一个的编码单元1414c的PID可以增加2，因此可以是3。也就是说，可以存在PID值的不连续。根据实施例，图像解码装置100可以基于用于标识分割的编码单元的PID中是否存在不连续来确定奇数个分割的编码单元是否不具有相等的尺寸。
根据实施例，图像解码装置100可以基于用于标识通过分割当前编码单元而确定的多个编码单元的PID值，来确定是否使用特定的分割方法。参考图14，图像解码装置100可以通过分割其高度比宽度更长的具有矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或者奇数个编码单元1414a、1414b和1414c。图像解码装置100可以使用指示各个编码单元的PID，以便标识各个编码单元。根据实施例，可以从每个编码单元的预设位置处的样点(例如，左上样点)获得PID。
根据实施例，图像解码装置100可以通过使用用于区分编码单元的PID，从分割的编码单元当中确定预设位置处的编码单元。根据实施例，当其高度比宽度更长的具有矩形形状的第一编码单元1410的分割形状模式信息指示将编码单元分割成三个编码单元时，图像解码装置100可以将第一编码单元1410分割成三个编码单元1414a、1414b和1414c。图像解码装置100可以向三个编码单元1414a、1414b和1414c中的每一个分配PID。图像解码装置100可以比较奇数个分割的编码单元的PID，以从编码单元当中确定中心位置处的编码单元。图像解码装置100可以从通过分割第一编码单元1410而确定的编码单元当中，将具有对应于编码单元的PID当中的中间值的PID的编码单元1414b确定为中心位置处的编码单元。根据实施例，当分割的编码单元不具有相等的尺寸时，图像解码装置100可以基于编码单元之间的尺寸比率来确定用于区分分割的编码单元的PID。参考图14，通过分割第一编码单元1410而生成的编码单元1414b可以具有与其它编码单元1414a和1414c的宽度相等的宽度以及是其它编码单元1414a和1414c的高度的两倍的高度。在这种情况下，当位于中心位置处的编码单元1414b的PID为1时，位于编码单元1414b下一个的编码单元1414c的PID可以增加2，因此可以是3。当PID没有如上所述一致增加时，图像解码装置100可以确定编码单元被分割成多个编码单元，包括具有不同于其它编码单元的尺寸的编码单元。根据实施例，当分割形状模式信息指示将编码单元分割成奇数个编码单元时，图像解码装置100可以以这样的方式分割当前编码单元，即奇数个编码单元当中的预设位置的编码单元(例如，中心位置的编码单元)具有不同于其它编码单元的尺寸。在这种情况下，图像解码装置100可以通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，预设位置的编码单元的PID和尺寸或位置不限于上述示例，并且可以使用编码单元的各种PID和各种位置和尺寸。
根据实施例，图像解码装置100可以使用其中编码单元开始被递归地分割的预设数据单元。
图15示出了根据实施例，基于图片中包括的多个预设数据单元来确定多个编码单元。
根据实施例，预设数据单元可以被定义为其中编码单元开始通过使用分割形状模式信息被递归地分割的数据单元。也就是说，预设数据单元可以对应于最上层深度的编码单元，其用于确定从当前图片分割的多个编码单元。在以下描述中，为了便于解释，预设数据单元被称为参考数据单元。
根据实施例，参考数据单元可以具有预设尺寸和预设形状。根据实施例，参考编码单元可以包括M×N个样点。这里，M和N可以彼此相等，并且可以是表示为2的幂的整数。也就是说，参考数据单元可以具有正方形或非正方形的形状，并且可以被分割成整数个编码单元。
根据实施例，图像解码装置100可以将当前图片分割成多个参考数据单元。根据实施例，图像解码装置100可以通过使用每个参考数据单元的分割形状模式信息来分割从当前图片分割的多个参考数据单元。分割参考数据单元的操作可以对应于使用四叉树结构的分割操作。
根据实施例，图像解码装置100可以预先确定包括在当前图片中的参考数据单元所允许的最小尺寸。因此，图像解码装置100可以确定尺寸等于或大于最小尺寸的各种参考数据单元，并且可以通过参考所确定的参考数据单元使用分割形状模式信息来确定一个或多个编码单元。
参考图15，图像解码装置100可以使用正方形参考编码单元1500或非正方形参考编码单元1502。根据实施例，可以基于能够包括一个或多个参考编码单元的各种数据单元(例如，序列、图片、条带、条带段、片、片组、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例，图像解码装置100的接收器110可以从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。将正方形参考编码单元1500分割成一个或多个编码单元的操作已经在上面结合图3的分割当前编码单元300的操作进行了描述，并且将非正方形参考编码单元1502分割成一个或多个编码单元的操作已经在上面结合图4的分割当前编码单元400或450的操作进行了描述。因此，这里将不提供其详细描述。
根据实施例，图像解码装置100可以使用用于标识参考编码单元的尺寸和形状的PID，以根据基于预设条件预先确定的一些数据单元来确定参考编码单元的尺寸和形状。也就是说，接收器110可以从比特流仅获得关于作为各种数据单元(例如，序列、图片、条带、条带段、片、片组、最大编码单元等)当中满足预设条件的数据单元(例如，尺寸等于或小于条带的数据单元)的每个条带、条带段、片、片组或最大编码单元的用于标识参考编码单元的尺寸和形状的PID。图像解码装置100可以通过使用PID来确定关于满足预设条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小的尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此，可以仅获得并使用PID，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可以预先确定对应于用于标识参考编码单元的尺寸和形状的PID的参考编码单元的尺寸和形状中的至少一个。也就是说，图像解码装置100可以通过基于PID选择预先确定的参考编码单元的尺寸和形状中的至少一个，来确定作为用于获得PID的单元的数据单元中包括的参考编码单元的尺寸和形状中的至少一个。
根据实施例，图像解码装置100可以使用包括在最大编码单元中的一个或多个参考编码单元。也就是说，从图片分割的最大编码单元可以包括一个或多个参考编码单元，并且可以通过递归地分割每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，参考编码单元的尺寸可以通过基于四叉树结构将最大编码单元分割n次来获得。也就是说，根据各种实施例，图像解码装置100可以通过基于四叉树结构将最大编码单元分割n次来确定参考编码单元，并且可以基于块形状信息和分割形状模式信息中的至少一个来分割参考编码单元。
图16示出了根据实施例的用作用于确定图片中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例，图像解码装置100可以确定从图片分割的一个或多个处理块。处理块是包括从图片分割的一个或多个参考编码单元的数据单元，并且包括在处理块中的一个或多个参考编码单元可以根据特定顺序来确定。也就是说，在每个处理块中确定的一个或多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种类型的顺序之一，并且可以取决于处理块而变化。相对于每个处理块确定的参考编码单元的确定顺序可以是各种顺序之一，例如，光栅扫描顺序、Z扫描、N扫描、右上对角线扫描、水平扫描和垂直扫描，但不限于上述扫描顺序。
根据实施例，图像解码装置100可以获得处理块尺寸信息，并且可以确定图片中包括的一个或多个处理块的尺寸。图像解码装置100可以从比特流获得处理块尺寸信息，并且可以确定图片中包括的一个或多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预设尺寸。
根据实施例，图像解码装置100的接收器110可以根据每个特定数据单元从比特流获得处理块尺寸信息。例如，可以从诸如图像、序列、图片、条带、条带段、片或片组的数据单元中的比特流获得处理块尺寸信息。也就是说，接收器110可以根据各种数据单元中的每一个从比特流获得处理块尺寸信息，并且图像解码装置100可以通过使用获得的处理块尺寸信息来确定从图片分割的一个或多个处理块的尺寸。处理块的尺寸可以是参考编码单元的整数倍。
根据实施例，图像解码装置100可以确定图片1600中包括的处理块1602和1612的尺寸。例如，图像解码装置100可以基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参考图16，根据实施例，图像解码装置100可以将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍，并且可以将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码装置100可以确定一个或多个处理块中的一个或多个参考编码单元的确定顺序。
根据实施例，图像解码装置100可以基于处理块的尺寸来确定包括在图片1600中的处理块1602和1612，并且可以确定处理块1602和1612中的一个或多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可以包括参考编码单元的尺寸的确定。
根据实施例，图像解码装置100可以从比特流获得包括在一个或多个处理块中的一个或多个参考编码单元的确定顺序信息，并且可以基于获得的确定顺序信息来确定关于一个或多个参考编码单元的确定顺序。确定顺序信息可以被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可以相对于每个处理块独立地确定参考编码单元的确定顺序。
根据实施例，图像解码装置100可以根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，接收器110可以根据每个数据单元(诸如图像、序列、图片、条带、条带段、片、片组或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可以相对于包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例，图像解码装置100可以基于所确定的确定顺序来确定一个或多个参考编码单元。
根据实施例，接收器110可以从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息，并且图像解码装置100可以确定处理块1602和1612中包括的一个或多个参考编码单元的确定顺序，并且基于该确定顺序确定图片1600中包括的一个或多个参考编码单元。参考图16，图像解码装置100可以分别确定处理块1602和1612中的一个或多个参考编码单元的确定顺序1604和1614。例如，当相对于每个处理块获得参考编码单元的确定顺序信息时，可以针对处理块1602和1612获得不同类型的参考编码单元的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时，可以根据光栅扫描顺序来确定处理块1602中包括的参考编码单元。相反，当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时，可以根据反向光栅扫描顺序来确定处理块1612中包括的参考编码单元。
根据实施例，图像解码装置100可以解码所确定的一个或多个参考编码单元。图像解码装置100可以基于如上所述确定的参考编码单元来解码图像。解码参考编码单元的方法可以包括各种图像解码方法。
根据实施例，图像解码装置100可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的分割方法的分割形状模式信息，并且可以使用获得的信息。分割形状模式信息可以被包括在与各种数据单元相关的比特流中。例如，图像解码装置100可以使用包括在序列参数集、图片参数集、视频参数集、条带报头、条带段报头、片报头或片组报头中的分割形状模式信息。此外，图像解码装置100可以根据每个最大编码单元、每个参考编码单元或每个处理块，从比特流获得对应于块形状信息或分割形状模式信息的语法元素，并且可以使用获得的语法元素。
在下文中，将详细描述根据本公开的实施例的确定分割规则的方法。
图像解码装置100可以确定图像的分割规则。分割规则可以在图像解码装置100和图像编码装置2200之间预先确定。图像解码装置100可以基于从比特流获得的信息来确定图像的分割规则。图像解码装置100可以基于从序列参数集、图片参数集、视频参数集、条带报头、条带段报头、片报头和片组报头中的至少一个获得的信息来确定分割规则。图像解码装置100可以根据帧、条带、片、时域层、最大编码单元或编码单元来不同地确定分割规则。
图像解码装置100可以基于编码单元的块形状来确定分割规则。块形状可以包括尺寸、形状、宽度和高度的比率以及编码单元的方向。图像编码装置2200和图像解码装置100可以预先确定基于编码单元的块形状来确定分割规则。然而，实施例不限于此。图像解码装置100可以基于从从图像编码装置2200接收的比特流获得的信息来确定分割规则。
编码单元的形状可以包括正方形和非正方形。当编码单元的宽度和高度的长度相同时，图像解码装置100可以将编码单元的形状确定为正方形。此外，当编码单元的宽度和高度的长度不相同时，图像解码装置100可以将编码单元的形状确定为非正方形。
编码单元的尺寸可以包括各种尺寸，诸如4×4、8×4、4×8、8×8、16×4、16×8以及直到256×256。编码单元的尺寸可以基于编码单元的长边的长度、短边的长度或面积来分类。图像解码装置100可以将相同的分割规则应用于被分类为相同组的编码单元。例如，图像解码装置100可以将具有相同长边长度的编码单元分类为具有相同尺寸。此外，图像解码装置100可以将相同的分割规则应用于具有相同长边长度的编码单元。
编码单元的宽度和高度的比率可以包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可以包括水平方向和垂直方向。水平方向可以指示编码单元的宽度的长度比其高度的长度更长的情况。垂直方向可以指示编码单元的宽度的长度比其高度的长度更短的情况。
图像解码装置100可以基于编码单元的尺寸自适应地确定分割规则。图像解码装置100可以基于编码单元的尺寸不同地确定允许的分割形状模式。例如，图像解码装置100可以基于编码单元的尺寸来确定是否允许分割。图像解码装置100可以根据编码单元的尺寸来确定分割方向。图像解码装置100可以根据编码单元的尺寸来确定允许的分割类型。
基于编码单元的尺寸确定的分割规则可以是在图像编码装置2200和图像解码装置100之间预先确定的分割规则。此外，图像解码装置100可以基于从比特流获得的信息来确定分割规则。
图像解码装置100可以基于编码单元的位置自适应地确定分割规则。图像解码装置100可以基于编码单元在图像中的位置来自适应地确定分割规则。
此外，图像解码装置100可以确定分割规则，使得经由不同分割路径生成的编码单元不具有相同的块形状。然而，实施例不限于此，并且经由不同分割路径生成的编码单元具有相同的块形状。经由不同分割路径生成的编码单元可以具有不同的解码处理顺序。因为解码处理顺序已经在上面参考图12进行了描述，所以不再提供其细节。
在下文中，根据本公开的实施例，将参考图17至图20详细描述视频编码或解码方法和装置，其中，确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线来执行对当前块的预测。
图17示出了根据实施例的视频编码装置的框图。
根据实施例的视频编码装置1700可以包括存储器1710和连接到存储器1710的至少一个处理器1720。根据实施例的视频编码装置1700的操作可以作为单独的处理器来执行，或者可以在中央处理器的控制下执行。此外，视频编码装置1700的存储器1710可以存储从外部接收的数据、由处理器生成的数据，例如，关于当前块的上参考线的信息等。
视频编码装置1700的处理器1720可以被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线，对当前块执行预测。
在下文中，将参考图18详细描述视频编码方法的具体操作，其中，根据实施例的视频编码装置1700被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线，对当前块执行预测。
图18示出了根据实施例的视频编码方法的流程图。
参考图18，在操作S1810中，视频编码装置1700可以确定当前块是否与包括当前块的最大编码单元的上边界接触。
在操作S1830中，当确定当前块与最大编码单元的上边界接触时，视频编码装置1700可以将当前块的上参考线确定为一条参考线。
根据实施例，一条参考线可以是与当前块的上侧接触的参考线。
在操作S1850中，当确定当前块不与最大编码单元的上边界接触时，视频编码装置1700可以基于N条参考线来确定当前块的上参考线。这里，N为自然数。
根据实施例，视频编码装置1700可以生成指示N的值的参考线信息。
根据实施例，当确定当前块与最大编码单元的上边界接触时，可以不生成参考线信息。
根据实施例，通过计算变换差和(SATD)或率失真优化(RDO)来确定N的值，因此可以对指示N的参考线信息进行编码。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为1时，上参考线可以被确定为与当前块的上侧接触的第一参考线。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为2时，上参考线可以包括与当前块的上侧接触的第一参考线和与第一参考线的上侧接触的第二参考线。
根据另一实施例，当确定当前块不与最大编码单元的上边界接触并且N为2时，上参考线可以被确定为与第一参考线的上侧接触的第二参考线，其中该第一参考线与当前块的上侧接触。也就是说，当N为2时，位于当前块的上侧第二的参考线可以被确定为上参考线。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为3时，上参考线可以包括与当前块的上侧接触的第一参考线、与第一参考线的上侧接触的第二参考线以及与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触。
根据另一实施例，当确定当前块不与最大编码单元的上边界接触并且N为3时，上参考线可以被确定为与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触，其中该第二参考线与第一参考线的上侧接触，其中该第一参考线与当前块的上侧接触。也就是说，当N为3时，位于当前块的上侧第四的参考线可以被确定为上参考线。
根据实施例，可以基于位于当前块左侧的N条参考线来确定位于当前块左侧的左参考线。
在操作S1870中，视频编码装置1700可以基于所确定的上参考线对当前块执行预测。
根据实施例，可以通过使用所确定的上参考线和基于位于当前块左侧的N条参考线来确定的左参考线来执行对当前块的预测。
图19和图20是根据实施例的视频解码装置的框图和根据实施例的视频解码方法的流程图，它们分别对应于上述视频编码装置和视频编码方法。
图19示出了根据实施例的视频解码装置的框图。
根据实施例的视频解码装置1900可以包括存储器1910和连接到存储器1910的至少一个处理器1920。根据实施例的视频解码装置1900的操作可以作为单独的处理器来执行，或者可以在中央处理器的控制下执行。此外，视频解码装置1900的存储器1910可以存储从外部接收的数据、由处理器生成的数据，例如，关于当前块的上参考线的信息等。
视频解码装置1900的处理器1920可以被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线，对当前块执行预测。
在下文中，将参考图20详细描述视频编码方法的具体操作，其中，根据实施例的视频解码装置1900被配置为：确定当前块是否与包括当前块的最大编码单元的上边界接触，当确定当前块与最大编码单元的上边界接触时，将当前块的上参考线确定为一条参考线，当确定当前块不与最大编码单元的上边界接触时，基于N条参考线来确定当前块的上参考线，并且基于所确定的上参考线，对当前块执行预测。
图20示出了根据实施例的视频解码方法的流程图。
参考图20，在操作S2010中，视频解码装置1900可以确定当前块是否与包括当前块的最大编码单元的上边界接触。
在操作S2030中，当确定当前块与最大编码单元的上边界接触时，视频解码装置1900可以将当前块的上参考线确定为一条参考线。
在操作S2050中，当确定当前块不与最大编码单元的上边界接触时，视频解码装置1900可以基于N条参考线来确定当前块的上参考线。
根据实施例，可以通过从比特流获得的参考线信息来确定N。
根据实施例，当确定当前块与最大编码单元的上边界接触时，可以不获得参考线信息。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为1时，上参考线可以被确定为与当前块的上侧接触的第一参考线。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为2时，上参考线可以包括与当前块的上侧接触的第一参考线和与第一参考线的上侧接触的第二参考线。
根据另一实施例，当确定当前块不与最大编码单元的上边界接触并且N为2时，上参考线可以被确定为与第一参考线的上侧接触的第二参考线，其中该第一参考线与当前块的上侧接触。也就是说，当N为2时，位于当前块的上侧第二的参考线可以被确定为上参考线。
根据实施例，当确定当前块不与最大编码单元的上边界接触并且N为3时，上参考线可以包括与当前块的上侧接触的第一参考线、与第一参考线的上侧接触的第二参考线以及与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触。
根据另一实施例，当确定当前块不与最大编码单元的上边界接触并且N为3时，上参考线可以被确定为与第三参考线的上侧接触的第四参考线，其中该第三参考线与第二参考线的上侧接触，其中该第二参考线与第一参考线的上侧接触，其中该第一参考线与当前块的上侧接触。也就是说，当N为3时，位于当前块的上侧第四的参考线可以被确定为上参考线。
根据实施例，可以基于位于当前块左侧的N条参考线来确定位于当前块左侧的左参考线。
在操作S2070中，视频解码装置1900可以基于所确定的上参考线对当前块执行预测。
根据实施例，可以通过使用所确定的上参考线和基于位于当前块左侧的N条参考线来确定的左参考线来执行对当前块的预测。
根据实施例，当在上参考线中存在不具有样点值的参考样点时，可以通过使用预定的默认值来填充在上参考线中不具有样点值的参考样点。也就是说，在上参考线中不具有样点值的参考样点的样点值可以被确定为预定的默认值。
根据实施例，当在上参考线中存在不具有样点值的参考样点时，在上参考线中不具有样点值的参考样点可以用在上参考线中具有样点值的参考样点的值来填充。也就是说，在上参考线中不具有样点值的参考样点的样点值可以被确定为在上参考线中具有样点值的参考样点的值。
根据实施例，当在上参考线中存在不具有样点值的参考样点时，可以通过使用在上参考线中具有样点值的参考样点的值来再生在上参考线中不具有样点值的参考样点。
根据实施例，当在上参考线中存在不具有样点值的参考线时，可以通过使用预定的默认值来填充不具有样点值的参考线的样点值。也就是说，不具有样点值的参考线的样点值可以被确定为预定的默认值。
根据实施例，当在上参考线中存在不具有样点值的参考线时，可以用具有样点值的参考样点的值来填充不具有样点值的参考样点。也就是说，不具有样点值的参考线的样点值可以被确定为具有样点值的参考线的样点值。
根据实施例，当在上参考线中存在不具有样点值的参考线时，可以通过使用具有样点值的参考线的样点值来再生不具有样点值的参考线的样点。
当当前块与包括当前块的最大编码单元的上边界接触时，通过使用一条参考线，可以解决由使用多条参考线而导致的参考线缓存的大小增加的问题。具体地，在多条参考线被存储在参考线缓存中并被使用的情况下，当当前块与包括当前块的最大编码单元的上边界接触时，仅存储最靠近上边界的一条参考线，因此就最大编码单元而言，缓存的大小可以减小。例如，即使通过仅使用多条参考线当中的一条参考线来执行预测，为了确定要使用多条参考线中的哪一条，也需要存储所有的多条参考线。然而，当当前块与上边界接触时，仅存储和使用与上边界接触的一条参考线，因此，就最大编码单元而言，缓存的大小减小。
根据实施例，下面将参考图21描述一种方法，其中，当当前块与包括当前块的最大编码单元的上边界接触时，使用一条上参考线，并且当当前块不与最大编码单元的上边界接触时，基于N条上参考线来确定参考线。
图21是根据实施例的用于描述使用至少一条参考线的方法的图。
参考图21，在使用至少一条参考线的多参考线预测的情况下，可以使用位于当前块2110的上侧的参考线2121、2131、2141和2151以及位于当前块2110的左侧的参考线2122、2132、2142和2152。具体地，位于上侧的参考线可以包括与当前块2110的上侧接触的第一上参考线2121、与第一上参考线2121的上侧接触的第二上参考线2131、与第二上参考线2131的上侧接触的第三上参考线2141、以及与第三上参考线2141的上侧接触的第四上参考线2151。位于左侧的参考线可以包括与当前块2110的左侧接触的第一左参考线2122、与第一左参考线2122的左侧接触的第二左参考线2132、与第二左参考线2132的左侧接触的第三左参考线2142以及与第三左参考线2142的左侧接触的第四左参考线2152。
此外，在多参考线预测中，可以不使用第三上参考线2141和第三左参考线2142。具体地，因为通过识别不同位置处的样点，最有效的参考样点被用于多参考线预测，所以可以不使用第三参考线，并且可以使用第一、第二和第四参考线中的至少一个。
在以下与图21相关的实施例中，描述了当前块的上侧和左侧中的每一侧可用的参考线的数量为N。在这种情况下，“可用”并不意味着参考线是否存在，而是在用于预测的算法中使用参考线的可能性。
在下文中，在说明书中，“MRL索引”是指示在多参考线预测中使用的多条参考线当中用于当前块的预测的一条参考线的索引。
根据实施例，当N为1(MRL索引＝0)时，在对当前块2110的预测中，可以使用与当前块2110的上侧接触的第一上参考线2121和与当前块2110的左侧接触的第一左参考线2122。也就是说，当“MRL索引”为0时，可以使用作为当前块2110的上参考线和左参考线中的第一参考线的第一上参考线2121和左参考线。
根据实施例，当N为2时，在对当前块2110的预测中，可以使用与当前块2110的上侧接触的第一上参考线2121、与第一上参考线2121的上侧接触的第二上参考线2131、与当前块2110的左侧接触的第一左参考线2122以及与第一左参考线2122的左侧接触的第二左参考线2132。
根据另一实施例，当N为1(MRL索引＝1)时，在对当前块2110的预测中，可以使用当前块2110的上侧的第二上参考线2131和当前块2110的左侧的第二左参考线2132。也就是说，当“MRL索引”为1时，可以使用作为当前块2110的上参考线和左参考线中的第二参考线的第二上参考线2131和第二左参考线2132。
根据实施例，当N为3时，在对当前块2110的预测中，可以使用与当前块2110的上侧接触的第一上参考线2121、与第一上参考线2121的上侧接触的第二上参考线2131、与第三上参考线2141(其中该第三上参考线2141与第二上参考线2131的上侧接触)的上侧接触的第四上参考线2151、与当前块2110的左侧接触的第一左参考线2122、与第一左参考线2122的左侧接触的第二左参考线2132、以及与第三左参考线2142(其中该第三左参考线2142与第二左参考线2132的左侧接触)的左侧接触的第四左参考线2152。也就是说，可以使用作为第一上参考线2121、第二上参考线2131和第四上参考线2151的三条上参考线以及作为第一左参考线2122、第二左参考线2132和第四左参考线2152的三条左参考线。
根据另一实施例，当N为3(MRL索引＝2)时，在对当前块2110的预测中，可以使用当前块2110的上侧的第四上参考线2151和当前块2110的左侧的第四左参考线2152。也就是说，当“MRL索引”为2时，可以使用作为当前块2110的上参考线和左参考线中的第四参考线的第四上参考线2151和第四左参考线2152。
根据实施例，当当前块2110与包括当前块2110的最大编码单元的上边界接触并且N为1(MRL索引＝0)时，在对当前块2110的预测中，可以使用当前块2110的上侧的第一上参考线2121和当前块2110的左侧的第一左参考线2122。
根据实施例，当当前块2110与包括当前块2110的最大编码单元的上边界接触并且N为2时，在对当前块2110的预测中，可以使用当前块2110的上侧的第一上参考线2121以及当前块2110的左侧的第一左参考线2122和第二左参考线2132。
根据另一实施例，当当前块2110与包括当前块2110的最大编码单元的上边界接触并且N为2(MRL索引＝1)时，在对当前块2110的预测中，可以使用当前块2110的上侧的第一上参考线2121和当前块2110的左侧的第二左参考线2132。根据实施例，当当前块2110与包括当前块2110的最大编码单元的上边界接触并且N为3时，在对当前块2110的预测中，可以使用当前块2110的上侧的第一上参考线2121以及当前块2110的左侧的第一左参考线2122、第二左参考线2132和第四左参考线2152。
根据另一实施例，当当前块2110与包括当前块2110的最大编码单元的上边界接触并且N为3(MRL索引＝2)时，在对当前块2110的预测中，可以使用当前块2110的上侧的第一上参考线2121和当前块2110的左侧的第四左参考线2152。
根据实施例，在编码侧，通过SATD或RDO计算来确定N，因此可以信令通知指示N的参考线信息。
根据实施例，在编码侧，当当前块2110与包括当前块2110的最大编码单元的上边界接触时，可以不生成指示N的参考线信息。
根据实施例，在解码侧，可以通过信令通知的指示N的参考线信息来确定N。
根据实施例，在解码侧，当当前块2110与包括当前块2110的最大编码单元的上边界接触时，可以不获得指示N的参考线信息。
图22示出了根据另一实施例的视频编码方法的流程图。
图17的视频编码装置1700可以根据图22的视频编码方法执行操作。
视频编码装置1700可以包括存储器1710和连接到存储器1710的至少一个处理器1720。根据实施例的视频编码装置1700的操作可以作为单独的处理器来执行，或者可以在中央处理器的控制下执行。此外，视频编码装置1700的存储器1710可以存储从外部接收的数据、由处理器生成的数据，例如，关于当前亮度块的上参考线的信息等。
视频编码装置1700的处理器1720可以被配置为：确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触，当确定当前亮度块与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为一条参考线，当确定当前亮度块不与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为两条参考线，并且基于所确定的上参考线，对对应于当前亮度块的当前色度块执行预测。
参考图22，在操作S2210中，视频编码装置1700可以确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触。
在操作S2230中，当确定当前亮度块与最大编码单元的上边界接触时，视频编码装置1700可以将当前亮度块的上参考线确定为一条参考线。
在操作S2250中，当确定当前亮度块不与最大编码单元的上边界接触时，视频编码装置1700可以将当前亮度块的上参考线确定为两条参考线。
根据实施例，两条上参考线可以包括与当前亮度块的上侧接触的第一参考线和与第一参考线的上侧接触的第二参考线。
在操作S2270中，视频编码装置1700可以基于所确定的上参考线对对应于当前亮度块的当前色度块执行预测。
根据实施例，可以基于所确定的上参考线和两条左参考线，对对应于当前亮度块的当前色度块执行预测。
根据实施例，通过使用包括在上参考线中的当前亮度块的亮度参考样点和与当前色度块的上侧接触的色度参考样点之间的关系来确定权重信息和偏差信息，并且基于当前亮度块的权重信息、偏差信息和亮度样点来确定当前色度块，使得可以对当前色度块执行预测。
图23示出了根据另一实施例的视频解码方法的流程图。
图19的视频解码装置1900可以根据图23的视频解码方法执行操作。
视频解码装置1900可以包括存储器1910和连接到存储器1910的至少一个处理器1920。根据实施例的视频解码装置1900可以作为单独的处理器操作，或者可以在中央处理器的控制下操作。此外，视频解码装置1900的存储器1910可以存储从外部接收的数据、由处理器生成的数据，例如，关于当前亮度块的上参考线的信息等。
视频解码装置1900的处理器1920可以被配置为：确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触，当确定当前亮度块与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为一条参考线，当确定当前亮度块不与最大编码单元的上边界接触时，将当前亮度块的上参考线确定为两条参考线，并且基于所确定的上参考线，对对应于当前亮度块的当前色度块执行预测。
参考图23，在操作S2310中，视频解码装置1900可以确定当前亮度块是否与包括当前亮度块的最大编码单元的上边界接触。
在操作S2330中，当确定当前亮度块与最大编码单元的上边界接触时，视频解码装置1900可以将当前亮度块的上参考线确定为一条参考线。
在操作S2350中，当确定当前亮度块不与最大编码单元的上边界接触时，视频解码装置1900可以将当前亮度块的上参考线确定为两条参考线。
根据实施例，两条上参考线可以包括与当前亮度块的上侧接触的第一参考线和与第一参考线的上侧接触的第二参考线。
在操作S2370中，视频解码装置1900可以基于所确定的上参考线对对应于当前亮度块的当前色度块执行预测。
根据实施例，可以基于所确定的上参考线和两条左参考线，对对应于当前亮度块的当前色度块执行预测。
根据实施例，通过使用包括在上参考线中的当前亮度块的亮度参考样点和与当前色度块的上侧接触的色度参考样点之间的关系来确定权重信息和偏差信息，并且基于当前亮度块的权重信息、偏差信息和亮度样点来确定当前色度块，使得可以对当前色度块执行预测。
下面将参考图24A至图25B描述通过使用当前亮度块的亮度参考样点和当前色度块的色度参考样点之间的关系来对当前色度块执行预测的方法。
图24A示出了根据实施例的位于当前亮度块周围的亮度样点和位于当前色度块周围的色度样点，并且图24B示出了根据实施例的当前亮度块的亮度样点和当前色度块的色度样点。
参考图24A和图24B，可以推导关于与亮度块2410中的当前亮度块2470相邻的重构的相邻亮度样点2430当中的6个亮度样点L1到L6 2450和与色度块2420中的当前色度块2480相邻的重构的相邻色度样点2440的色度样点2460之间的相关性的权重信息和偏差信息，并且通过使用权重信息、偏差信息、以及当前亮度块2470的重构亮度样点L1到L6 2490，通过由等式1表示的方法推导，可以重构当前色度块2480的色度样点
Figure BDA0002972195120000481
2491。
根据实施例，可以通过使用N个预定亮度样点来预测色度样点，来预测一个或多个色度样点。此外，N个预定亮度样点可以是对应于当前色度块的色度样点的位置的当前亮度块的亮度样点和对应的当前亮度块的亮度样点的相邻样点，或者可以是对应于当前色度块的色度样点的位置的当前亮度块的亮度样点和不与对应的当前亮度块的亮度样点相邻的任意样点。
更具体地，色度样点的预测值
Figure BDA0002972195120000491
可以由等式1或等式2表示。
【等式1】
Figure BDA0002972195120000492
【等式2】
Figure BDA0002972195120000493
如等式1和等式2所示，色度样点的预测值
Figure BDA0002972195120000494
可以表示通过将亮度样点的样点值(例如，L1)或差值(例如，ΔL1)与权重(例如，ω1)的加权和加上偏差而获得的值，其中所述差值为亮度样点与亮度样点的平均值之间的差值，所述权重与各个样点值或各个差值相对应。
根据实施例，权重ω1至ωN中的一些可以为零。
根据实施例，当前色度块的相邻亮度块的预测模式可以是帧内预测模式，权重信息可以是表示相邻亮度块的亮度样点和相邻色度块的色度样点之间的相关性的建模参数值，并且当前色度块的色度样点可以通过使用当前亮度块的重构亮度样点当中的6个亮度样点、分别对应于6个亮度样点的6个权重、以及偏差信息的偏差值来重构，其中，6个权重可以是通过将根据帧内预测模式预先确定的固定权重乘以表示亮度样点和色度样点之间的相关性的建模参数值而获得的值。
当Ip表示帧内预测模式时，建模参数ω1、…、ωN可以分别由s·ω′ip,1、…、s·ω′ip,N代替，并且根据帧内预测模式，建模参数s·ω′ip,1、…、s·ω′ip,N可以通过固定ω′ip,1、…、ω′ip,N的值而仅使用建模参数s和μ。
根据实施例，根据帧内预测模式固定的权重ω′ip,1、…、ω′ip,N可以具有高斯滤波器等形式的相同值而不管帧内预测模式如何，或者根据帧内预测模式具有不同的值。
图25A示出了根据另一实施例的位于当前亮度块周围的亮度样点和位于当前色度块周围的色度样点。25B示出了根据另一实施例的当前亮度块的亮度样点和当前色度块的色度样点。
参考图25A和25B，当当前亮度块与包括当前亮度块的最大编码单元的上边界接触时，使用与当前亮度块的上侧接触的一条参考线。
具体地，可以推导关于与亮度块2510中的当前亮度块2570相邻的重构的相邻亮度样点2530当中与当前亮度块2570的上侧接触的一条参考线中包括的3个亮度样点L'1至L'32550和与色度块2520中的当前色度块2580相邻的重构的相邻色度样点2540的色度样点2560之间的相关性的权重信息和偏差信息，并且通过使用权重信息、偏差信息、以及当前亮度块2570的重构亮度样点L'1到L'3 2590，通过由等式1表示的方法推导，可以重构当前色度块2580的色度样点
Figure BDA0002972195120000501
2591。
此外，因为两条参考线被用作与当前亮度块的左侧接触的参考线，如图24A和图24B所示，推导了关于6个相邻亮度样点和一个相邻色度样点之间的相关性的权重信息和偏差信息，并且通过使用当前亮度块2470的重构亮度样点L1到L6 2490，可以重构当前色度块2480的色度样点
Figure BDA0002972195120000502
2491。
根据实施例，当当前亮度块与包括当前亮度块的最大编码单元的上边界接触时，在使用与当前亮度块的上侧接触的一条参考线的条件下，要用于从亮度块预测色度块的样点的数量和位置可以根据算法而改变。
此外，即使当前亮度块不与包括当前亮度块的最大编码单元的上边界接触时，要用于从亮度块预测色度块的样点的数量和位置也可以根据算法而改变。
图26A示出了其中上参考线的数量不同于左参考线的数量的实施例，图26B示出了其中上参考线的数量与左参考线的数量相同的实施例，并且26C示出了其中当上参考线的数量不同于左参考线的数量时，执行填充，使得上参考线的数量和左参考线的数量相同的实施例。
参考图26A，根据实施例，当前块2610的上参考线2620的数量可以不同于当前块2610的左参考线2630的数量。具体地，位于当前块2610的上侧的上参考线2620的数量被确定为N，并且位于当前块2610的左侧的左参考线2630的数量被确定为M，其中，M可以大于或等于N。N可以被确定为编解码器中设置的最大线缓存的值。例如，其可以是N＝2和M＝4、N＝1和M＝2、或者N＝1和M＝4。
根据实施例，参考图26A，当当前块2610与包括当前块2610的最大编码单元的上边界接触时，位于当前块2610的上侧的上参考线2620的数量被确定为N，并且位于当前块2610的左侧的左参考线2630的数量被确定为M，其中，M可以大于或等于N。N可以被确定为编解码器中设置的最大线缓存的值。例如，其可以是N＝2和M＝4、N＝1和M＝2、或者N＝1和M＝4。
根据实施例，当当前块与包括当前块的最大编码单元的上边界接触时，可以通过标志来确定是使用一条参考线还是使用N条预定参考线。可以通过帧单元、最大编码单元或块单元中的标志来确定是使用一条参考线还是使用N条预定参考线。
根据另一实施例，当当前块与包括当前块的最大编码单元的上边界接触时，可以在没有单独标志的情况下，根据当前块的参考块的可用性来确定解码装置要使用一条参考线还是N条预定参考线。
当当前块与包括当前块的最大编码单元的上边界接触时，在指示是使用一条参考线还是N条预定参考线的标志的情况下，标志可以同时应用于亮度块和色度块两者，或者可以单独应用于亮度块和色度块。此外，当当前块与包括当前块的最大编码单元的上边界接触时，可以针对亮度块和色度块中的每一个根据不同的标准(例如，块尺寸、帧内模式、参考可用性)来确定是使用一条参考线还是N条预定参考线。
根据另一实施例，当当前块与包括当前块的最大编码单元的上边界接触时，可以在没有信令通知标志的情况下，根据当前块的尺寸来确定是使用一条参考线还是使用N条预定参考线。
根据实施例，通过使用多条参考线的工具的标志(例如，LM色度、自适应环路滤波器(adaptive loop filter，ALF)等)，可以确定当当前块与包括当前块的最大编码单元的上边界接触时是否要使用多条参考线。
根据实施例，通过为每个最大编码单元预先获得工具的标志信息，仅在标志被开启的比率为N％或更高的情况下，当当前块与包括当前块的最大编码单元的上边界接触时，可以允许使用多条参考线。
根据实施例，通过确定包括当前块的最大编码单元的相邻最大编码单元的工具是否被开启/关闭，在相邻最大编码单元的标志被开启的比率为M％(例如，M为50)或更高的情况下，当当前块与包括当前块的最大编码单元的上边界接触时，可以允许使用多条参考线。具体地，可以使用可用作相邻最大编码单元的所有最大编码单元，或者可以选择性地使用关于是否仅开启一些最大编码单元的工具的信息。此外，并非所有相邻的最大编码单元都被使用，并且可以仅使用关于与包括当前块的最大编码单元相邻的编码单元的工具是否被开启/关闭的信息。
根据实施例，通过使用关于周围环境的信息，可以在没有单独信令的情况下确定是否要应用标志。
此外，参考图26B，当当前块2611不与最大编码单元的上边界接触时，当前块2611的上参考线2621的数量和当前块2611的左参考线2631的数量都可以被确定为M。
参考图26C，当当前块2612的上参考线2622的数量为N并且当前块2612的左参考线2632的数量为M时，在要求上参考线的数量和左参考线的数量相同的情况下，可以通过用N条上参考线2622的上像素填充该区域来填充N条上参考线2622上方的等于M-N的区域。
在这种情况下，可以通过使用N条上参考线2622中的一条或多条参考线的像素来生成等于M-N的区域的像素。此时，诸如填充、外推、滤波等的各种方法可以用作生成方法。
根据实施例，当N条上参考线2622的数量为两条或更多条时，可以通过用两条相邻参考线之间的梯度填充该区域来填充N条上参考线2622上方的等于M-N的区域。
当当前块2612与包括当前块2612的最大编码单元的上边界接触时，在仅使用一条上线的情况下，使用工具的方法根据条件而改变，因此，如在上述实施例中，可以通过使用一条上线的填充、线性外推或非线性滤波来生成与最初所需一样多的参考线。在这种情况下，可以一起使用可以使用的其他周围环境信息。
已经参考本公开的实施例具体示出和描述了本公开。在这方面，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以在形式和细节上进行各种改变。因此，实施例应该仅被认为是描述性意义，而不是出于限制的目的。本公开的范围不由本公开的详细描述限定，而是由所附权利要求限定，并且范围内的所有差异将被解释为包括在本公开中。
同时，本公开的前述实施例可以被编写为可在计算机上执行的程序，并且可以在通过使用计算机可读记录介质来执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。

Claims (15)

1.一种视频解码方法，包括：
确定当前块是否与包括当前块的最大编码单元的上边界接触；
当确定所述当前块与所述最大编码单元的上边界接触时，将所述当前块的上参考线确定为一条参考线；
当确定所述当前块不与所述最大编码单元的上边界接触时，基于N条参考线来确定所述当前块的上参考线；以及
基于所确定的上参考线，对所述当前块执行预测，
其中，N为自然数。
2.根据权利要求1所述的视频解码方法，其中，根据从比特流获得的参考线信息来确定N。
3.根据权利要求2所述的视频解码方法，其中，当确定所述当前块与所述最大编码单元的上边界接触时，不获得所述参考线信息。
4.根据权利要求1所述的视频解码方法，其中，当N为2时，所述上参考线被确定为与第一参考线的上侧接触的第二参考线，所述第一参考线与所述当前块的上侧接触。
5.根据权利要求1所述的视频解码方法，其中，当N为3时，所述上参考线被确定为与第三参考线的上侧接触的第四参考线，所述第三参考线与第二参考线的上侧接触，所述第二参考线与第一参考线的上侧接触，所述第一参考线与所述当前块的上侧接触。
6.根据权利要求1所述的视频解码方法，其中，基于所述N条参考线来确定位于所述当前块左侧的左参考线。
7.根据权利要求1所述的视频解码方法，其中，当在所述上参考线中存在不具有样点值的参考线时，所述不具有样点值的参考线的样点值用预定的默认值填充。
8.根据权利要求1所述的视频解码方法，其中，当在所述上参考线中存在不具有样点值的参考线时，用具有样点值的参考样点的值填充不具有样点值的参考样点，或者通过使用具有样点值的参考线的样点值来再生所述不具有样点值的参考线的样点。
9.一种视频解码方法，包括：
确定当前亮度块是否与包括所述当前亮度块的最大编码单元的上边界接触；
当确定所述当前亮度块与所述最大编码单元的上边界接触时，将所述当前亮度块的上参考线确定为一条参考线；
当确定所述当前亮度块不与所述最大编码单元的上边界接触时，将所述当前亮度块的上参考线确定为两条参考线；以及
基于所确定的上参考线，对对应于所述当前亮度块的当前色度块执行预测。
10.根据权利要求9所述的视频解码方法，其中，所述两条参考线包括与所述当前亮度块的上侧接触的第一参考线和与所述第一参考线的上侧接触的第二参考线。
11.根据权利要求9所述的视频解码方法，其中，基于包括在所述上参考线中的所述当前亮度块的亮度参考样点和与所述当前色度块的上侧接触的色度参考样点之间的关系来确定权重信息和偏差信息，并且
通过基于所述当前亮度块的权重信息、偏差信息和亮度样点来确定所述当前色度块，对所述当前色度块执行预测。
12.一种视频编码方法，包括：
确定当前块是否与包括所述当前块的最大编码单元的上边界接触；
当确定所述当前块与所述最大编码单元的上边界接触时，将所述当前块的上参考线确定为一条参考线；
当确定所述当前块不与所述最大编码单元的上边界接触时，基于N条参考线来确定所述当前块的上参考线；以及
基于所确定的上参考线，对所述当前块执行预测，
其中，N为自然数。
13.根据权利要求12所述的视频编码方法，还包括生成指示N的值的参考线信息。
14.根据权利要求13所述的视频编码方法，其中，当确定所述当前块与所述最大编码单元的上边界接触时，不生成所述参考线信息。
15.根据权利要求11所述的视频编码方法，其中，当N为3时，所述上参考线被确定为与第三参考线的上侧接触的第四参考线，所述第三参考线与第二参考线的上侧接触，所述第二参考线与第一参考线的上侧接触，所述第一参考线与所述当前块的上侧接触。
CN201980059676.9A 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备 Active CN112690001B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202410338608.9A CN118200529A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338699.6A CN118200531A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338640.7A CN118200530A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338558.4A CN118233629A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862696584P 2018-07-11 2018-07-11
US62/696,584 2018-07-11
PCT/KR2019/008565 WO2020013627A1 (ko) 2018-07-11 2019-07-11 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202410338558.4A Division CN118233629A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338640.7A Division CN118200530A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338699.6A Division CN118200531A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338608.9A Division CN118200529A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备

Publications (2)

Publication Number Publication Date
CN112690001A true CN112690001A (zh) 2021-04-20
CN112690001B CN112690001B (zh) 2024-04-12

Family

ID=69141499

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201980059676.9A Active CN112690001B (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338608.9A Pending CN118200529A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338640.7A Pending CN118200530A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338558.4A Pending CN118233629A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338699.6A Pending CN118200531A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202410338608.9A Pending CN118200529A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338640.7A Pending CN118200530A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338558.4A Pending CN118233629A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备
CN202410338699.6A Pending CN118200531A (zh) 2018-07-11 2019-07-11 用于视频解码的方法和设备以及用于视频编码的方法和设备

Country Status (6)

Country Link
US (5) US11736682B2 (zh)
EP (1) EP3823283A4 (zh)
KR (1) KR20210019401A (zh)
CN (5) CN112690001B (zh)
BR (1) BR112021000224A2 (zh)
WO (1) WO2020013627A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220321909A1 (en) * 2021-03-31 2022-10-06 Tencent America LLC Harmonized design between multiple reference line intra prediction and transform partitioning
US12069305B2 (en) * 2021-04-16 2024-08-20 Tencent America LLC Low memory design for multiple reference line selection scheme
WO2023133245A1 (en) * 2022-01-06 2023-07-13 Ofinno, Llc Boundary based asymmetric reference line offsets
WO2023140547A1 (ko) * 2022-01-19 2023-07-27 현대자동차주식회사 다중 참조라인들을 이용하는 크로마 채널 코딩을 위한 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200401A (zh) * 2012-01-06 2013-07-10 索尼公司 图像处理装置和图像处理方法
CN103621095A (zh) * 2011-06-13 2014-03-05 高通股份有限公司 用于视频译码中的帧内预测的边界像素填补
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
KR20180029905A (ko) * 2016-09-13 2018-03-21 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180037575A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180075660A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663235B1 (ko) 2009-12-14 2016-10-06 한국과학기술원 화면 내 예측 부호화/복호화 방법 및 장치
KR20180067598A (ko) * 2015-11-11 2018-06-20 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
KR20190043482A (ko) * 2017-10-18 2019-04-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103621095A (zh) * 2011-06-13 2014-03-05 高通股份有限公司 用于视频译码中的帧内预测的边界像素填补
CN103200401A (zh) * 2012-01-06 2013-07-10 索尼公司 图像处理装置和图像处理方法
KR20180075660A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
KR20180029905A (ko) * 2016-09-13 2018-03-21 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180037575A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US20210281834A1 (en) 2021-09-09
EP3823283A4 (en) 2022-06-08
US20230362357A1 (en) 2023-11-09
BR112021000224A2 (pt) 2021-04-06
US20230362358A1 (en) 2023-11-09
WO2020013627A1 (ko) 2020-01-16
CN118200531A (zh) 2024-06-14
EP3823283A1 (en) 2021-05-19
CN118233629A (zh) 2024-06-21
US20230370583A1 (en) 2023-11-16
CN118200530A (zh) 2024-06-14
US20230362359A1 (en) 2023-11-09
US11736682B2 (en) 2023-08-22
CN118200529A (zh) 2024-06-14
KR20210019401A (ko) 2021-02-22
CN112690001B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
EP3998772A1 (en) Video decoding method and apparatus, and video encoding method and apparatus
KR102330704B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN112690001B (zh) 用于视频解码的方法和设备以及用于视频编码的方法和设备
KR20200100656A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN111183642A (zh) 编码方法和装置以及解码方法和装置
KR20200096550A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
EP3700202A1 (en) Method and apparatus for video decoding, and method and apparatus for video encoding
KR102376389B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
KR102482893B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113228640B (zh) 用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备
CN112335239B (zh) 视频解码方法和装置以及视频编码方法和装置
KR102333181B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant