CN114245988A - 用于在约束预测模式下执行后重建滤波的视频编码方法和设备以及视频解码方法和设备 - Google Patents

Abstract

提供了一种视频解码方法，包括：获得指示约束帧内预测模式是否被启用的约束预测信息；通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本，确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值；以及通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

Description

用于在约束预测模式下执行后重建滤波的视频编码方法和设 备以及视频解码方法和设备

技术领域

本公开涉及编码和解码图像的领域。更具体地，本公开涉及用于通过将图像分割成各种形状的块来编码和解码视频的方法和装置。

背景技术

在一般的压缩方法中，通过递归分割过程来确定方形编码单元，在递归分割过程中，在编码编译单元的尺寸的同时，确定是否分割包括在图片中的编码单元，并且然后将编码单元均匀地分割成四个相同尺寸的编码单元。然而，最近，对于高分辨率图像，使用具有均匀方形形状的编码单元引起的重建图像的图像质量劣化已经成为问题。因此，已经提出了用于将高分辨率图像分割成各种形状的编码单元的方法和装置。

本公开提供了一种编码方法和装置，以及一种解码方法和装置，用于有效地用信号通知关于各种形状的编码单元的尺寸的语法元素。

发明内容

技术问题

根据实施例，提供了一种视频编码方法和装置，或者视频解码方法和装置，其确定与相邻样本相对应的填充值，使得当相邻块的可访问性受到限制时或者当在约束帧内预测模式下时，可以对当前块执行后重建滤波。

问题的解决方案

根据本公开的实施例，一种视频解码方法包括：获得指示约束帧内预测模式是否被启用的约束预测信息；通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本来确定邻近当前块和相邻块之间的边界外部的相邻样本；以及通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

公开的有益效果

根据本公开的多个实施例，在约束预测模式下，当相邻块无可用性时或者当相邻块没有在帧内预测模式下被重建时，可以通过使用当前块的样本值而不是相邻块的样本值来对当前块执行后重建滤波。因此，通过使用关于由于不符合要求的编码环境而导致相邻重建样本的可靠性不高的相邻块的信息，可以从根本上防止对当前块执行后重建滤波。

然而，根据实施例，通过视频编码和解码方法以及视频编码和解码装置可达到的效果不限于上面提到的那些，并且本领域普通技术人员可以从下面的描述中清楚地理解没有提到的其他效果。

附图说明

提供每个附图的简要描述是为了更好地理解本文引用的附图。

图1是根据实施例的图像解码装置的示意框图。

图2是根据实施例的图像解码方法的流程图。

图3图示了根据实施例的由图像解码装置执行的通过分割当前编码单元来确定至少一个编码单元的过程。

图4图示了根据实施例的由图像解码装置执行的通过分割非方形编码单元来确定至少一个编码单元的过程。

图5图示了根据实施例的由图像解码装置执行的基于块形状信息或分割形状模式信息中的至少一个来分割编码单元的过程。

图6图示了根据实施例的由图像解码装置执行的从奇数个编码单元当中确定特定编码单元的方法。

图7图示了根据实施例的当图像解码装置通过分割当前编码单元来确定多个编码单元时，处理多个编码单元的顺序。

图8图示了根据实施例的当编码单元不是可按特定顺序处理时，由图像解码装置执行的确定当前编码单元将被分割成奇数个编码单元的过程。

图9图示了根据实施例的由图像解码装置执行的通过分割第一编码单元来确定至少一个编码单元的过程。

图10图示了根据实施例的当图像解码装置分割第一编码单元时确定的具有非方形形状的第二编码单元满足特定条件时，第二编码单元可分割成的形状受到限制。

图11图示了根据实施例的当分割形状模式信息不能指示方形编码单元被分割成四个方形编码单元时，由图像解码装置执行的分割方形编码单元的过程。

图12图示了根据实施例的多个编码单元之间的处理顺序可以根据分割编码单元的过程而改变。

图13图示了根据实施例的当编码单元被递归分割使得多个编码单元被确定时，随着编码单元的形状和尺寸改变来确定编码单元的深度的过程。

图14图示了根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。

图15图示了根据实施例的基于图片中包括的多个特定数据单元来确定多个编码单元。

图16是图像编码和解码系统的框图。

图17图示了包括后重建滤波的图像解码过程。

图18图示了后重建滤波的参考区域。

图19是根据实施例的视频解码装置的框图。

图20是根据实施例的视频解码方法的流程图。

图21是根据实施例的视频编码装置的框图。

图22是根据实施例的视频编码方法的流程图。

图23图示了根据实施例的验证邻近当前块的相邻样本的可用性的过程。

图24图示了根据实施例的基于相邻样本的可用性来确定与相邻样本相对应的填充值以用于关于当前块的后重建滤波的过程。

图25图示了根据实施例的基于相邻样本的可用性和约束预测模式来确定与相邻样本相对应的填充值以用于关于当前块的后重建滤波的过程。

图26图示了根据实施例的用于当指示正常帧内预测模式的情况的旗标出现时定义帧内预测的伪代码。

图27图示了根据另一实施例的用于当用于指示除正常帧内预测模式之外的剩余帧内预测模式的打开/关闭状态的索引出现时定义帧内预测的伪代码。

图28图示了用于各种帧内预测模式中的每一种帧内预测模式的被允许执行帧内预测的块尺寸。

图29图示了根据实施例的用于在确定帧内预测模式之前立刻限制块尺寸的伪代码。

图30图示了根据另一实施例的用于限制块帧内尺寸以及正常帧内预测模式旗标的伪代码。

图31图示了根据另一实施例的用于限制仅对特殊块尺寸或更小的块执行帧内预测的伪代码。

最佳模式

根据本公开的实施例，一种视频解码方法包括：获得指示约束帧内预测模式是否被启用的约束预测信息；通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本，确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值；以及通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

生成当前块的重建样本可以包括：通过对当前块执行预测来生成当前块的预测样本；以及通过对当前块执行逆变换来生成当前块的残差样本。

通过使用当前块的重建样本来确定与相邻样本相对应的填充值可以包括：将与位于当前块和相邻块之间的边界外面的相邻样本下大雨的填充值确定为与邻近边界的当前块的重建样本值相同。

视频解码方法还可以包括：当邻近当前块的相邻块的样本对当前块的预测不可用时，将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波可以包括：通过使用邻近边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

通过使用与相邻样本相对应的填充值对当前块执行后重建滤波可以包括：通过使用邻近边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

视频解码方法还可以包括：通过使用经由后重建滤波更新的当前块的重建样本，在帧内模式下对邻近当前块的第一块执行预测；以及对经由后重建滤波更新的当前块的重建样本执行环内滤波。

根据本公开的实施例，视频解码装置包括：获取器，被配置为获取指示约束帧内预测模式是否被启用的约束预测信息；重建器，被配置为通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；以及后重建滤波器，被配置为当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本来确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值，以及通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

根据本公开的实施例，一种视频编码方法包括：生成指示约束帧内预测模式是否被启用的约束预测信息；通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；当约束帧内预测模式被启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本，确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值；以及通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

生成当前块的重建样本可以包括：通过对当前块执行预测来生成当前块的预测样本；以及通过对当前块执行逆变换来生成当前块的残差样本。

通过使用当前块的重建样本来确定与相邻样本相对应的填充值可以包括：将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

视频编码方法还可以包括：当邻近当前块的相邻块的样本对当前块的预测不可用时，将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波可以包括：通过使用邻近边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波可以包括：通过使用邻近边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

视频编码方法还可以包括：通过使用经由后重建滤波更新的当前块的重建样本，在帧内模式下对邻近当前块的第一块执行预测；以及对经由后重建滤波更新的当前块的重建样本执行环内滤波。

一种计算机可读记录介质，其上记录有用于在计算机上实现根据本公开实施例的视频解码方法的程序。

一种计算机可读记录介质，其上记录有用于在计算机上实现根据本公开实施例的视频编码方法的程序。

具体实施方式

由于本公开允许各种变化和众多示例，因此特定实施例将在附图中示出并在书面描述中详细描述。然而，这并不旨在将本公开限制于特别的实践模式，并且应当理解，不脱离本公开的精神和技术范围的所有变化、等同物和替代物都包含在本公开中。

在实施例的描述中，当认为相关技术的特定详细解释可能不必要地模糊本公开的本质时，省略了这些详细解释。此外，在说明书的描述中使用的数字(例如，第一、第二等)仅仅是用于区分一个元素和另一个元素的识别码。

此外，在本说明书中，应当理解，当元素彼此“连接”或“耦合”时，元素可以直接彼此连接或耦合，但是也可以通过其间的中间元素彼此连接或耦合，除非另有说明。

在本说明书中，关于表示为“单元”或“模块”的元素，两个或更多个元素可以组合成一个元素，或者一个元素可以根据细分的功能划分成两个或更多个元素。此外，除了其自身的主要功能之外，下文描述的每个元素还可以执行由另一个元素执行的一些或全部功能，并且每个元素的一些主要功能可以完全由另一个组件执行。

此外，在本说明书中，“图像”或“图片”可以表示视频的静止图像或者运动图像，即视频本身。

此外，在本说明书中，“样本”表示指派给图像的采样位置的数据，即要处理的数据。例如，图像在空间域中的像素值和变换区域上的变换系数可以是样本。包括至少一个这样的样本的单元可以被定义为块。

此外，在本说明书中，“当前块”可以表示要编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。

在本说明书中，列表0方向上的运动矢量可以表示用于指示列表0中包括的参考图片中的块的运动矢量，并且列表1方向上的运动矢量可以表示用于指示列表1中包括的参考图片中的块的运动矢量。此外，单向上的运动矢量可以表示用于指示列表0或列表1中包括的参考图片中的块的运动矢量，并且双向上的运动矢量可以表示运动矢量包括列表0方向上的运动矢量和列表1方向上的运动矢量。

此外，在本说明书中，块的“二元分割(binary split)”表示用于生成两个子块的分割，子块的宽度或高度是块的宽度或高度的一半。具体而言，当对当前块执行“二元垂直分割”时，在当前块的一半宽度处沿垂直方向(纵向)执行分割，因此可以生成具有当前块的一半宽度的宽度和与当前块相同的高度的两个子块。当对当前块执行“二元水平分割”时，在当前块的一半高度处沿水平方向(横向)执行分割，因此可以生成具有当前块的一半高度的高度和与当前块相同的宽度的两个子块。

此外，在本说明书中，块的“三元分割(ternary split)”表示用于生成三个子块的分割，子块的宽度或高度是块的宽度或高度的1:2:1。具体而言，当对当前块执行“三元垂直分割”时，在当前块的宽度的1:2:1的点处沿垂直方向(纵向)执行分割，因此可以生成具有当前块的1/4宽度的宽度和与当前块相同的高度的两个子块，以及具有当前块的2/4宽度的宽度和与当前块相同的高度的一个子块。当对当前块执行“三元水平分割”时，在当前块的高度的1:2:1的点处沿水平方向(横向)执行分割，因此可以生成具有当前块的1/4高度的高度和与当前块相同的宽度的两个子块，以及具有当前块的2/4高度的高度和与当前块相同的宽度的一个子块。

此外，在本说明书中，块的“四元分割(quad split)”表示用于生成四个子块的分割，该子块的宽度和高度是块的宽度和高度的1:1。具体而言，当对当前块执行“四元分割”时，在当前块的一半宽度处沿垂直方向(纵向)执行分割，并且在当前块的一半高度处沿水平方向(横向)执行分割，因此可以生成具有当前块的1/2宽度的宽度和当前块的1/2高度的高度的四个子块。

在下文中，将参考图1至图16描述根据实施例的图像编码装置和图像解码装置以及图像编码方法和图像解码方法。将参照图3至图15描述根据实施例的确定图像的数据单元的方法，并且将参照图16至图31描述根据实施例的视频编码/解码方法。

在下文中，将参考图1和图2描述根据本公开的实施例的基于各种形状的编码单元的用于自适应选择的方法和装置。

图1是根据实施例的图像解码装置的示意框图。

图像解码装置100可以包括接收器110和解码器120。接收器110和解码器120可以包括至少一个处理器。此外，接收器110和解码器120可以包括存储将由至少一个处理器执行的指令的存储器。

接收器110可以接收比特流。比特流包括由稍后描述的图像编码装置2200编码的图像的信息。此外，比特流可以从图像编码装置2200被发送。图像编码装置2200和图像解码装置100可以经由有线或无线连接，并且接收器110可以经由有线或无线接收比特流。接收器110可以从诸如光学介质或硬盘的储存介质接收比特流。解码器120可以基于从接收的比特流获得的信息来重建图像。解码器120可以从比特流中获得用于重建图像的语法元素。解码器120可以基于语法元素重建图像。

将参考图2详细描述图像解码装置100的操作。

图2是根据实施例的图像解码方法的流程图。

根据本公开的实施例，接收器110接收比特流。

图像解码装置100从比特流获得与编码单元的分割形状模式相对应的二进制串(操作210)。图像解码装置100确定编码单元的分割规则(操作220)。此外，图像解码装置100基于与分割形状模式或分割规则相对应的二进制串中的至少一个，将编码单元分割成多个编码单元(操作230)。图像解码装置100可以根据编码单元的高宽比来确定编码单元的尺寸的允许的第一范围，以便确定分割规则。图像解码装置100可以根据编码单元的分割形状模式来确定编码单元的尺寸的允许的第二范围，以便确定分割规则。

在下文中，将根据本公开的实施例详细描述编码单元的分割。

首先，一张图片可以被分割成一个或多个切片或者一个或多个图块。一个切片或一个图块可以是一个或多个最大编码单元(编码树单元(CTU))的序列。与最大编码单元(CTU)相比，在概念上存在最大编码块(编码树块(CTB))。

最大编码单元(CTB)表示包括N×N个样本的N×N个块(N是整数)。每个颜色分量可以被分割成一个或多个最大编码块。

当图片包括三个样本数组(Y、Cr和Cb分量的样本数组)时，最大编码单元(CTU)包括亮度样本的最大编码块、色度样本的两个对应的最大编码块以及用于编码亮度样本和色度样本的语法结构。当图片是单色图片时，最大编码单元包括单色样本的最大编码块和用于编码单色样本的语法结构。当图片是在根据颜色分量分离的颜色平面中编码的图片时，最大编码单元包括图片和用于编码图片样本的语法结构。

一个最大编码块(CTB)可以被分割成包括M×N个样本的M×N个编码块(M和N是整数)。

当图片具有Y、Cr和Cb分量的样本数组时，编码单元(CU)包括亮度样本的编码块、色度样本的两个对应的编码块以及用于编码亮度样本和色度样本的语法结构。当图片是单色图片时，编码单元包括单色样本的编码块和用于编码单色样本的语法结构。当图片是在根据颜色分量分离的颜色平面中编码的图片时，编码单元包括图片和用于编码图片样本的语法结构。

如上所述，最大编码块和最大编码单元在概念上彼此区分，并且编码块和编码单元在概念上彼此区分。即，(最大)编码单元是指数据结构，其包括包含对应样本的(最大)编码块以及与(最大)编码块相对应的语法结构。然而，因为本领域普通技术人员理解(最大)编码单元或(最大)编码块是指包括特定数量样本的特定尺寸的块，所以在以下说明书中提到了最大编码块和最大编码单元，或者编码块和编码单元，除非另有说明，否则没有进行区分。

图像可以被分割成最大编码单元(CTU)。每个最大编码单元的尺寸可以基于从比特流获得的信息来确定。每个最大编码单元的形状可以是尺寸相同的方形形状。然而，本公开不限于此。

例如，可以从比特流中获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。

例如，可以从比特流中获得关于亮度块尺寸差和可以被分割成两个的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可以指代亮度最大编码单元和可以分割成两个的最大亮度编码块之间的尺寸差。因此，当关于可以被分割成两个的亮度编码块的最大尺寸的信息和关于从比特流获得的亮度块尺寸差的信息彼此组合时，可以确定亮度最大编码单元的尺寸。色度最大吗单元的尺寸可以通过使用亮度最大吗单元的尺寸来确定。例如，当根据颜色格式，Y:Cb:Cr比为4:2:0时，色度块的尺寸可以是亮度块的一半尺寸，并且色度最大编码单元的尺寸可以是亮度最大编码单元的一半尺寸。

根据实施例，因为关于可二元分割的亮度编码块的最大尺寸的信息是从比特流获得的，所以可以可变地确定可二元分割的亮度编码块的最大尺寸。相反，可三元分割的亮度编码块的最大尺寸可以是固定的。例如，在I-图片中可三元分割的亮度编码块的最大尺寸可以是32×32，并且在P-图片或B图片中可三元分割的亮度编码块的最大尺寸可以是64×64。

此外，最大编码单元可以基于从比特流获得的分割形状模式信息分层地分割成编码单元。可以从比特流中获得指示是否执行四元分割的信息、指示是否执行多重分割的信息、分割方向信息或分割类型信息中的至少一个作为分割形状模式信息。

例如，指示是否执行四元分割的信息可以指示当前编码单元是否将被四元分割(QUAD_SPLIT)。

当当前编码单元不是四元分割时，指示是否执行多重分割的信息可以指示当前编码单元将不再分割(NO_SPLIT)还是将二元/三元分割。

当当前编译单元是二元分割或三元分割时，分割方向信息指示当前编码单元沿水平方向和垂直方向中的一个被分割。

当当前编译单元沿水平方向或垂直方向被分割时，分割类型信息指示当前编码单元是二元分割或三元分割。

可以根据分割方向信息和分割类型信息来确定当前编码单元的分割模式。在当前编码单元沿水平方向被二元分割时的分割模式可以被确定为二元水平分割模式(SPLIT_BT_HOR)，在当前编码单元沿水平方向被三元分割时的分割模式可以被确定为三元水平分割模式(SPLIT_TT_HOR)，在当前编码单元沿垂直方向被二元分割时的分割模式可以被确定为二元垂直分割模式(SPLIT_BT_VER)，以及在当前编码单元沿垂直方向被三元分割时的分割模式可以被确定为三元垂直分割模式SPLIT_TT_VER。

图像解码装置100可以从比特流获得分割形状模式信息的二进制串。由图像解码装置100接收的比特流的形式可以包括固定长度的二进制码、一进制码、截断的一进制码、预先确定的二进制码等。二进制串是二进制数中的信息。二进制串可以包括至少一个比特。图像解码装置100可以基于分割规则获得与二进制串相对应的分割形状模式信息。图像解码装置100可以基于一个二进制串来确定是否四元分割编码单元、是否不分割编码单元、分割方向和分割类型。

编码单元可以小于或与最大编码单元相同。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元中的一个。当关于最大编码单元的分割形状模式信息指示不执行分割时，在最大编码单元中确定的编码单元具有与最大编码单元的尺寸相同的尺寸。当关于最大编码单元的分割形状模式信息指示执行分割时，最大编码单元可以被分割成编码单元。此外，当关于编码单元的分割形状模式信息指示执行分割时，编码单元可以被分割成更小的编码单元。然而，图像的分割不限于此，并且最大编码单元和编码单元可以不被区分。将参照图3至图16详细描述编码单元的分割。

此外，可以从编码单元中确定用于预测的一个或多个预测块。预测块可以小于或与编码单元相同。此外，可以从编码单元确定用于变换的一个或多个变换块。变换块可以小于或与编码单元相同。

变换块和预测块的形状和尺寸可能彼此不相关。

在另一实施例中，可以通过使用编码单元作为预测单元来执行预测。此外，可以通过使用编码单元作为变换块来执行变换。

将参照图3至图16详细描述编码单元的分割。本公开的当前块和相邻块可以指示最大编码单元、编码单元、预测块和变换块中的一个。此外，当前编码单元的当前块是当前正在被解码或编码的块或者是当前正在被分割的块。相邻块可以是在当前块之前重建的块。相邻块可以在空间上或时间上邻近当前块。相邻块可以位于当前块的左下方、左侧、左上方、顶部、右方上、右侧、右下方中的一方。

图3图示了根据实施例的由图像解码装置执行的通过分割当前编码单元来确定至少一个编码单元的过程。

块形状可以包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。此处，N可以是正整数。块形状信息是指示编码单元的形状、方向、高宽比或尺寸中的至少一个的信息。

编码单元的形状可以包括方形和非方形。当编码单元的宽度和高度的长度相同时(即，当编码单元的块形状为4N×4N时)，图像解码装置100可以将编码单元的块形状信息确定为方形。图像解码装置100可以将编码单元的形状确定为非方形。

当编码单元的宽度和高度彼此不同时(即，当编码单元的块形状是4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时)，图像解码装置100可以将编码单元的块形状信息确定为非方形形状。当编码单元的形状是非方形时，图像解码装置100可以将编码单元的块形状信息当中的高宽比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32或32:1中的至少一个。此外，图像解码装置100可以基于编码单元的宽度的长度和高度的长度来确定编码单元是沿水平方向还是沿垂直方向。此外，图像解码装置100可以基于编码单元的宽度的长度、高度的长度或面积中的至少一个来确定编码单元的尺寸。

根据实施例，图像解码装置100可以通过使用块形状信息来确定编码单元的形状，并且可以通过使用分割形状模式信息来确定编码单元的分割方法。即，由分割形状模式信息指示的编码单元分割方法可以基于由图像解码装置100使用的块形状信息指示的块形状来确定。

图像解码装置100可以从比特流获得分割形状模式信息。然而，实施例不限于此，并且图像解码装置100和图像编码装置2200可以基于块形状信息来确定预先约定的分割形状模式信息。图像解码装置100可以确定关于最大编码单元或最小编码单元的预先约定的分割形状模式信息。例如，图像解码装置100可以将关于最大编码单元的分割形状模式信息确定为四元分割。此外，图像解码装置100可以将关于最小编码单元的分割形状模式信息确定为“无分割”。特别地，图像解码装置100可以将最大编码单元的尺寸确定为256×256。图像解码装置100可以将预先约定的分割形状模式信息确定为四元分割。四元分割是其中编码单元的宽度和高度都被一分为二的分割形状模式。图像解码装置100可以基于分割形状模式信息，从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外，图像解码装置100可以将最小编码单元的尺寸确定为4x4。图像解码装置100可以获得指示关于最小编码单元“无分割”的分割形状模式信息。

根据实施例，图像解码装置100可以使用指示当前编码单元具有方形形状的块形状信息。例如，图像解码装置100可以基于分割形状模式信息来确定是否不分割方形编码单元、是否垂直分割方形编码单元、是否水平分割方形编码单元，或者是否将方形编码单元分割成四个编码单元。参考图3，当当前编码单元300的块形状信息指示方形形状时，解码器120可以基于指示无分割的分割形状模式信息来确定具有与当前编码单元300相同尺寸的编码单元310a没有被分割，或者可以基于指示特定分割方法的分割形状模式信息来确定分割的编码单元310b、310c、310d、310e或310f。

参考图3，根据实施例，图像解码装置100可以基于指示沿垂直方向执行分割的分割形状模式信息，确定通过沿垂直方向分割当前编码单元300获得的两个编码单元310b。图像解码装置100可以基于指示沿水平方向执行分割的分割形状模式信息，确定通过沿水平方向分割当前编码单元300获得的两个编码单元310c。图像解码装置100可以基于指示沿垂直和水平方向执行分割的分割形状模式信息，确定通过沿垂直和水平方向分割当前编码单元300获得的四个编码单元310d。根据实施例，图像解码装置100可以基于指示沿垂直方向执行三元分割的分割形状模式信息，确定通过沿垂直方向分割当前编码单元300获得的三个编码单元310e。图像解码装置100可以基于指示沿水平方向执行三元分割的分割形状模式信息，确定通过沿水平方向分割当前编码单元300获得的三个编码单元310f。然而，方形编码单元的分割方法不限于上述方法，并且分割形状模式信息可以指示各种方法。下面将结合多个实施例详细描述分割方形编码单元的特定分割方法。

图4图示了根据实施例的由图像解码装置执行的通过分割非方形编码单元来确定至少一个编码单元的过程。

根据实施例，图像解码装置100可以使用指示当前编码单元具有非方形形状的块形状信息。图像解码装置100可以基于分割形状模式信息，通过使用特定分割方法来确定是否不分割非方形当前编码单元或者是否分割非方形当前编码单元。参考图4，当当前编码单元400或450的块形状信息指示非方形形状时，图像解码装置100可以基于指示不分割的分割形状模式信息来确定具有与当前编码单元400或450相同尺寸的编码单元410或460没有被分割，或者基于指示特定分割方法的分割形状模式信息来确定分割的编码单元420a和420b、430a至430c、470a和470b或480a至480c。下面将结合各种实施例详细描述分割非方形编码单元的特定分割方法。

根据实施例，图像解码装置100可以通过使用分割形状模式信息来确定编码单元的分割方法，并且在这种情况下，分割形状模式信息可以指示通过分割编码单元而生成的一个或多个编码单元的数量。参考图4，当分割形状模式信息指示将当前编码单元400或450分割成两个编码单元时，图像解码装置100可以通过基于分割形状模式信息分割当前编码单元400或450来确定当前编码单元400或450中包括的两个编码单元420a和420b或470a和470b。

根据实施例，当图像解码装置100基于分割形状模式信息分割非方形当前编码单元400或450时，图像解码装置100可以考虑非方形当前编码单元400或450的长边的位置来分割当前编码单元。例如，考虑到当前编码单元400或450的形状，图像解码装置100可以通过分割当前编码单元400或450的长边来确定多个编码单元。

根据实施例，当分割形状模式信息指示将编码单元分割(三元分割)成奇数个块时，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元。例如，当分割形状模式信息指示将当前编码单元400或450分割成三个编码单元时，图像解码装置100可以将当前编码单元400或450分割成三个编码单元430a、430b和430c，或者480a、480b和480c。

根据实施例，当前编码单元400或450的高宽比可以是4:1或1:4。当高宽比是4:1时，块形状信息可以是水平方向，因为宽度的长度比高度的长度长。当高宽比为1:4时，块形状信息可以是垂直方向，因为宽度的长度比高度的长度短。图像解码装置100可以基于分割形状模式信息来确定将当前编码单元分割成奇数个块。此外，图像解码装置100可以基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的分割方向。例如，当当前编码单元400沿垂直方向时，图像解码装置100可以通过沿水平方向分割当前编码单元400来确定编码单元430a至430c。此外，当当前编码单元450沿水平方向时，图像解码装置100可以通过沿垂直方向分割当前编码单元450来确定编码单元480a至480c。

根据实施例，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元，并且不是所有确定的编码单元都可以具有相同的尺寸。例如，所确定的奇数个编码单元430a、430b和430c或480a、480b和480c当中的特定编码单元430b或480b可以具有与其他编码单元430a和430c或480a和480c的尺寸不同的尺寸。即，通过分割当前编码单元400或450可以确定的编码单元可以具有各种尺寸，并且在一些情况下，所有奇数个编码单元430a、430b和430c或480a、480b和480c可以具有不同的尺寸。

根据实施例，当分割形状模式信息指示将编码单元分割成奇数个块时，图像解码装置100可以确定包括在当前编码单元400或450中的奇数个编码单元，并且此外，可以对通过分割当前编码单元400或450而生成的奇数个编码单元当中的至少一个编码单元施加特定限制。参考图4，图像解码装置100可以设置关于位于三个编码单元430a、430b和430c或480a、480b和480c当中的中心的编码单元430b或480b的解码过程，所述两个编码单元是在当前编码单元400或450被分割成不同于其他编码单元430a和430c或480a或480c时生成的。例如，与其他编码单元430a和430c或480a和480c不同，图像解码装置100可以限制在中心位置处的编码单元430b或480b不再被分割或仅被分割特定次数。

图5图示了根据实施例的由图像解码装置执行的基于块形状信息或分割形状模式信息中的至少一个来分割编码单元的过程。

根据实施例，图像解码装置100可以基于块形状信息或分割形状模式信息中的至少一个，确定是否将方形第一编码单元500分割成编码单元。根据实施例，当分割形状模式信息指示沿水平方向分割第一编码单元500时，图像解码装置100可以通过沿水平方向分割第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解分割编码单元之前和之后的关系的术语。例如，可以通过分割第一编码单元来确定第二编码单元，并且可以通过分割第二编码单元来确定第三编码单元。应当理解，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。

根据实施例，图像解码装置100可以基于分割形状模式信息来确定是否将所确定的第二编码单元510分割成编码单元。参考图5，图像解码装置100可以或者可以不基于分割形状模式信息将通过分割第一编码单元500而确定的非方形第二编码单元510分割成一个或多个第三编码单元520a或520b、520c和520d。图像解码装置100可以获得分割形状模式信息，并且可以通过基于获得的分割形状模式信息分割第一编码单元500来获得多个各种形状的第二编码单元(例如，第二编码单元510)，并且可以通过基于分割形状模式信息使用第一编码单元500的分割方法来分割第二编码单元510。根据实施例，当基于第一编码单元500的分割形状模式信息将第一编码单元500分割成第二编码单元510时，也可以基于第二编码单元510的分割形状模式信息将第二编码单元510分割成第三编码单元520a或520b、520c和520d。即，可以基于每个编码单元的分割形状模式信息递归地分割编码单元。因此，可以通过分割非方形编码单元来确定方形编码单元，并且可以通过递归地分割方形编码单元来确定非方形编码单元。

参考图5，来自通过分割非方形第二编码单元510所确定的奇数个第三编码单元520b、520c和520d当中的特定编码单元(例如，在中心位置处的编码单元或方形编码单元)可以被递归地分割。根据实施例，来自奇数个第三编码单元520b、520c和520d当中的方形第三编码单元520b可以沿水平方向被分割成多个第四编码单元。来自多个第四编码单元530a、530b、530c和530d当中的非方形第四吗单元530b或530d可以再次被分割成多个编码单元。例如，非方形第四编码单元530b或530d可以再次被分割成奇数个编码单元。下面将结合多个实施例描述可用于递归地分割编码单元的方法。

根据实施例，图像解码装置100可以基于分割形状模式信息将第三编码单元520a或520b、520c和520d中的每一个分割成编码单元。此外，图像解码装置100可以基于分割形状模式信息来确定不分割第二编码单元510。根据实施例，图像解码装置100可以将非方形第二编码单元510分割成奇数个第三编码单元520b、520c和520d。图像解码装置100可以对来自奇数个第三编码单元520b、520c和520d当中的特定第三编码单元施加特定限制。例如，图像解码装置100可以从奇数个第三编码单元520b、520c和520d当中限制在中心位置处的第三编码单元520c不再被分割或者被分割可设置的次数。

参考图5，图像解码装置100可以从包括在非方形第二编码单元510中的奇数个第三编码单元520b、520c和520d当中限制在中心位置处的第三编码单元520c不再被分割、通过使用特定分割方法被分割(例如，仅被分割成四个编码单元或者通过使用第二编码单元510的分割方法被分割)，或者仅被分割特定次数(例如，仅被分割n次(其中n>0))。然而，对在中心位置处的第三编码单元520c的限制不限于上述示例，并且可以包括用于对在中心位置处的第三编码单元520c进行不同于其他第三编码单元520b和520d的解码的各种限制。

根据实施例，图像解码装置100可以从当前编码单元中的特定位置获得用于分割当前编码单元的分割形状模式信息。

图6图示了根据实施例的由图像解码装置执行的从奇数个编码单元当中确定特定编码单元的方法。

参考图6，当前编码单元600或650的分割形状模式信息可以从当前编码单元600或650中包括的多个样本当中的特定位置的样本(例如，中心位置的样本640或690)获得。然而，当前编码单元600中可从其中获得至少一条分割形状模式信息的特定位置不限于图6中的中心位置，并且可以包括当前编码单元600中包括的各种位置(例如，顶部、底部、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码装置100可以从特定位置获得分割形状模式信息，并且可以确定是否将当前编码单元分割成各种形状和各种尺寸的编码单元。

根据实施例，当当前编码单元被分割成某个数量的编码单元时，图像解码装置100可以选择编码单元中的一个。可以使用各种方法来选择多个编码单元中的一个，如将在下面结合多个实施例进行描述的。

根据实施例，图像解码装置100可以将当前编码单元分割成多个编码单元，并且可以确定在某个位置处的编译单元。

根据实施例，图像解码装置100可以使用指示奇数个编码单元的位置的信息来从奇数个编码单元当中确定在中心位置处的编码单元。参考图6，图像解码装置100可以通过分割当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码装置100可以通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，图像解码装置100可以通过基于指示包括在编码单元620a、620b和620c中的特定样本的位置的信息来确定编码单元620a、620b和620c的位置，来确定中心位置的编码单元620b。详细地，图像解码装置100可以通过基于指示编码单元620a、620b和620c的左上方样本630a、630b和630c的位置的信息来确定编码单元620a、620b和620c的位置，来确定在中心位置处的编码单元620b。

根据实施例，指示分别包括在编码单元620a、620b和620c中的左上方样本630a、630b和630c的位置的信息可以包括关于图片中编码单元620a、620b和620c的位置或坐标的信息。根据实施例，指示分别包括在编码单元620a、620b和620c中的左上方样本630a、630b和630c的位置的信息可以包括指示包括在当前编码单元600中的编码单元620a、620b和620c的宽度或高度的信息，并且宽度或高度可以与指示图片中编码单元620a、620b和620c的坐标之间的差异的信息相对应。即，图像解码装置100可以通过直接使用关于图片中编码单元620a、620b和620c的位置或坐标的信息，或者通过使用关于编码单元的宽度或高度的信息来确定在中心位置处的编码单元620b，该信息与坐标之间的差值相对应。

根据实施例，指示上方编码单元620a的左上方样本630a的位置的信息可以包括坐标(xa，ya)，指示中间编码单元620b的左上方样本630b的位置的信息可以包括坐标(xb，yb)，以及指示下方编码单元620c的左上方样本630c的位置的信息可以包括坐标(xc，yc)。图像解码装置100可以通过使用分别包括在编码单元620a、620b和620c中的左上方样本630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上方样本630a、630b和630c的坐标以升序或降序排序时，包括处于中心位置的样本630b的坐标(xb，yb)的编码单元620b可以从通过分割当前编码单元600确定的编码单元620a、620b和620c当中被确定为处于中心位置的编码单元。然而，指示左上方样本630a、630b和630c的位置的坐标可以包括指示图片中绝对位置的坐标，或者可以使用参考上方编码单元620a的左上样本630a的位置的、指示中间编码单元620b的左上方样本630b的相对位置的坐标(dxb，dyb)和指示下方编码单元620c的左上方样本630c相对位置的坐标(dxc，dyc)。通过使用包括在编码单元中的样本的坐标作为指示样本的位置的信息来确定在特定位置处的编码单元的方法不限于上述方法，并且可以包括能够使用样本的坐标的各种算术方法。

根据实施例，图像解码装置100可以将当前编码单元600分割成多个编码单元620a、620b和620c，并且可以基于特定准则选择编码单元620a、620b和620c中的一个。例如，图像解码装置100可以从编码单元620a、620b和620c当中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。

根据实施例，图像解码装置100可以通过使用坐标(xa，ya)、坐标(xb，yb)和坐标(xc，yc)，来确定编码单元620a、620b和620c中的每一个的宽度或高度，其中坐标(xa，ya)是指示上方编码单元620a的左上方样本630a的位置的信息，坐标(xb，yb)是指示中间编码单元620b的左上方样本630b的位置的信息，以及坐标(xc，yc)是指示下方编码单元620c的左上方样本630c的位置的信息。图像解码装置100可以通过使用指示编码单元620a、620b和620c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元620a、620b和620c的相应尺寸。根据实施例，图像解码装置100可以将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码装置100可以将上方编码单元620a的高度确定为yb-ya。根据实施例，图像解码装置100可以将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码装置100可以将中间编码单元620b的高度确定为yc-yb。根据实施例，图像解码装置100可以通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码装置100可以基于所确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参考图6，图像解码装置100可以将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为特定位置的编码单元。然而，由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样本的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的示例相对应，因此可以使用通过比较基于特定样本的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的各种方法。

图像解码装置100可以通过使用作为指示左侧编码单元660a的左上方样本670a的位置的信息的坐标(xd，yd)、作为指示中间编码单元660b的左上方样本670b的位置的信息的坐标(xe，ye)以及作为指示右侧编码单元660c的左上方样本670c的位置的信息的坐标(xf，yf)来确定每个编码单元660a、660b和660c的宽度或高度。图像解码装置100可以通过使用指示编码单元660a、660b和660c的位置的坐标(xd，yd)、(xe，ye)和(xf，yf)来确定编码单元660a、660b和660c的相应尺寸。

根据实施例，图像解码装置100可以将左侧编码单元660a的宽度确定为xe-xd。图像解码装置100可以将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例，图像解码装置100可以将中间编码单元660b的宽度确定为xf-xe。图像解码装置100可以将中间编码单元660b的高度确定为当前编码单元600的高度。根据实施例，图像解码装置100可以通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码装置100可以基于所确定的编码单元660a至660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参考图6，图像解码装置100可以将具有与左侧编码单元660a和右编码译单元660c的尺寸不同的尺寸的中间编码单元660b确定为特定位置的编译单元。然而，由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样本的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的示例相对应，并且因此可以使用通过比较基于特定样本的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的各种方法。

然而，被认为确定编码单元的位置的样本的位置不限于上述左上方位置，并且可以使用关于编码单元中包括的样本的任意位置的信息。

根据实施例，考虑到当前编码单元的形状，图像解码装置100可以从通过分割当前编码单元确定的奇数个编码单元当中选择在特定位置处的编码单元。例如，当当前编码单元具有比高度长的宽度的非方形形状时，图像解码装置100可以沿水平方向确定在特定位置处的编码单元。即，图像解码装置100可以沿水平方向确定具有不同位置的编码单元中的一个，并对编码单元施加限制。当当前编码单元具有比宽度长的高度的非方形形状时，图像解码装置100可以沿垂直方向确定在特定位置处的编码单元。即，图像解码装置100可以沿垂直方向确定具有不同位置的编码单元中的一个，并对编码单元施加限制。

根据实施例，图像解码装置100可以使用指示偶数个编码单元的相应位置的信息，以从偶数个编码单元当中确定在特定位置处的编码单元。图像解码装置100可以通过分割(二元分割)当前编码单元来确定偶数个编码单元，并且可以通过使用关于偶数个编码单元的位置的信息来确定在特定位置处的编码单元。与其相关的操作可以与从奇数个编码单元当中确定在特定位置(例如，中心位置)处的编码单元的操作相对应，其已经在上面参考图6进行了详细描述，因此这里不提供其详细描述。

根据实施例，当非方形当前编码单元被分割成多个编码单元时，关于在特定位置处的编码单元的特定信息可以在分割操作中使用，以从多个编码单元当中确定在特定位置处的编码单元。例如，图像解码装置100可以在分割操作中使用存储在中间编码单元中包括的样本中的块形状信息或分割形状模式信息中的至少一个，以从通过分割当前编码单元确定的多个编码单元当中确定在中心位置处的编码单元。

参考图6，图像解码装置100可以基于分割形状模式信息将当前编码单元600分割成多个编码单元620a、620b和620c，并且可以从多个编码单元620a、620b和620c当中确定在中心位置的编码单元620b。此外，考虑到从其中获得分割形状模式信息的位置，图像解码装置100可以确定在中心位置处的编码单元620b。即，当前编码单元600的分割形状模式信息可以从在当前编码单元600的中心位置处的样本640获得，并且当当前编码单元600基于分割形状模式信息被分割成多个编码单元620a、620b和620c时，包括样本640的编码单元620b可以被确定为在中心位置处的编码单元。然而，用于确定在中心位置处的编码单元的信息不限于分割形状模式信息，并且各种类型的信息可以用于确定在中心位置处的编码单元。

根据实施例，用于识别在特定位置处的编码单元的特定信息可以从包括在待确定的编码单元中的特定样本中获得。参考图6，图像解码装置100可以使用从在当前编码单元600中的特定位置处的样本(例如，在当前编码单元600的中心位置处的样本)获得的分割形状模式信息，来从通过分割当前编码单元600确定的多个编码单元620a、620b和620c当中确定在特定位置处的编码单元(例如，多个分割的编码单元当中在中心位置处的编码单元)。即，图像解码装置100可以通过考虑当前编码，单元600的块形状来确定在特定位置处的样本，从通过分割当前编码单元600确定的多个编码单元620a、620b和620c当中确定包括样本的编码单元620b，从该样本可以获得特定信息(例如，分割形状模式信息)，并且可以对编码单元620b施加特定限制。参考图6，根据实施例，图像解码装置100可以将在当前编码单元600的中心位置处的样本640确定为可以从其中获得特定信息的样本，并且可以在解码操作中对包括样本640的编码单元620b施加特定限制。然而，可以从其中获得特定信息的样本的位置不限于上述位置，并且可以包括被确定用于限制的编码单元620b中包括的样本的任意位置。

根据实施例，可以基于当前编码单元600的形状来确定从其中获得特定信息的样本的位置。根据实施例，块形状信息可以指示当前编码单元是方形还是非方形，并且可以基于形状来确定从其中获得特定信息的样本的位置。例如，图像解码装置100可以通过使用关于当前编码单元的宽度的信息或关于当前编码单元的高度的信息中的至少一个，来将位于用于将当前编码单元的宽度或高度中的至少一个分割成两半的边界上的样本确定为可以从其中获得特定信息的样本。作为另一示例，当当前编码单元的块形状信息指示非方形形状时，图像解码装置100可以将包括用于将当前编码单元的长边分割成两半的边界的样本中的一个确定为可以从其中获得预先确定信息的样本。

根据实施例，当当前编码单元被分割成多个编码单元时，图像解码装置100可以使用分割的形状模式信息来从多个编码单元当中确定在特定位置处的编码单元。根据实施例，图像解码装置100可以从在编码单元中的特定位置处的样本获得分割形状模式信息，并且通过使用从多个编码单元中的每一个中的特定位置的样本获得的分割形状模式信息来分割通过分割当前编码单元而生成的多个编码单元。即，可以基于分割形状模式信息递归地分割编码单元，分割形状模式信息是从在每个编码单元中的特定位置处的样本获得的。上面已经参照图5描述了递归地分割编码单元的操作，因此这里将不提供其详细描述。

根据实施例，图像解码装置100可以通过分割当前编码单元来确定一个或多个编码单元，并且可以基于特定块(例如，当前编码单元)来确定解码一个或多个编码单元的顺序。

图7图示了根据实施例的当图像解码装置通过分割当前编码单元来确定多个编码单元时的处理多个编码单元的顺序。

根据实施例，图像解码装置100可以基于分割形状模式信息，通过沿垂直方向分割第一编码单元700来确定第二编码单元710a和710b，通过沿水平方向分割第一编码单元700来确定第二编码单元730a和730b，或者通过沿垂直方向和水平方向分割第一编码单元700来确定第二编码单元750a至750d。

参考图7，图像解码装置100可以确定以水平方向顺序710c处理通过沿垂直方向分割第一编码单元700而确定的第二编码单元710a和710b。图像解码装置100可以确定以垂直方向顺序730c处理通过沿水平方向分割第一编码单元700而确定的第二编码单元730a和730b。图像解码装置100可以确定以特定顺序处理通过沿垂直方向和水平方向分割的第一编码单元700而确定的第二编码单元750a至750d，该特定顺序用于处理行中的编码单元并且然后处理下一行中的编码单元(例如，以光栅扫描顺序或Z扫描顺序750e)。

根据实施例，图像解码装置100可以递归地分割编码单元。参考图7，图像解码装置100可以通过分割第一编码单元700来确定多个编码单元710a和710b、730a和730b或者750a至750d，并且递归地分割所确定的多个编码单元710b、730a和730b或者750a至750d中的每一个。多个编码单元710b、730a和730b或750a至750d的分割方法可以与第一编码单元700的分割方法相对应。这样，多个编码单元710b、730a和730b或750a至750d中的每一个可以被独立地分割成多个编码单元。参考图7，图像解码装置100可以通过沿垂直方向分割第一编码单元700来确定第二编码单元710a和710b，并且可以确定独立地分割或者不分割第二编码单元710a和710b中的每一个。

根据实施例，图像解码装置100可以通过沿水平方向分割左侧第二编码单元710a来确定第三编码单元720a和720b，并且可以不分割右侧第二编码单元710b。

根据实施例，可以基于分割编码单元的操作来确定编码单元的处理顺序。换句话说，分割的编码单元的处理顺序可以基于紧接在被分割之前的编码单元的处理顺序来确定。图像解码装置100可以独立于右侧第二编码单元710b来确定通过分割左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为第三编码单元720a和720b是通过沿水平方向分割左侧第二编码单元710a来确定的，所以可以以垂直方向顺序720c处理第三编码单元720a和720b。因为以水平方向顺序710c处理左侧第二编码单元710a和右侧第二编码单元710b，所以可以在以垂直方向顺序720c处理包括在左侧第二编码单元710a中的第三编码单元720a和720b之后处理右侧第二编码单元710b。基于被分割前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可以使用各种方法来以特定顺序独立地处理被分割并确定为各种形状的编码单元。

图8图示了根据实施例的当编码单元不是可按预先确定顺序处理时，由图像解码装置执行的确定当前编码单元将被分割成奇数个编码单元的过程。

根据实施例，图像解码装置100可以基于获得的分割形状模式信息来确定当前编码单元是否被分割成奇数个编码单元。参考图8，方形第一编码单元800可以被分割成非方形第二编码单元810a和810b，并且第二编码单元810a和810b可以被独立地分割成第三编码单元820a和820b以及820c至820e。根据实施例，图像解码装置100可以通过沿水平方向分割左侧第二编码单元810a来确定多个第三编码单元820a和820b，并且可以将右侧第二编码单元810b分割成奇数个第三编码单元820c至820e。

根据实施例，图像解码装置100可以通过确定第三编码单元820a和820b以及820c至820e是否是可按特定顺序处理来确定是否有任何编码单元被分割成奇数个编码单元。参考图8，图像解码装置100可以通过递归地分割第一编码单元800来确定第三编码单元820a和820b以及820c至820e。图像解码装置100可以基于块形状信息或分割形状模式信息中的至少一个，确定第一编码单元800、第二编码单元810a和810b以及第三编码单元820a和820b以及820c至820e中的任何一个是否被分割成奇数个编码单元。例如，第二编码单元810a和810b当中的右侧第二编码单元810b可以被分割成奇数个第三编码单元820c、820d和820e。包括在第一编码单元800中的多个编码单元的处理顺序可以是特定顺序(例如，Z扫描顺序830)，并且图像解码装置100可以确定通过将右侧第二编码单元810b分割成奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于以特定顺序处理的条件。

根据实施例，图像解码装置100可以确定包括在第一编码单元800中的第三编码单元820a和820b以及820c至820e是否满足用于以特定顺序处理的条件，并且该条件涉及第二编码单元810a和810b的宽度或高度中的至少一个是否沿着第三编码单元820a和820b以及820c至820e的边界被分割成两半。例如，当非方形形状的左侧第二编码单元810a的高度被分割成两半时确定的第三编码单元820a和820b可以满足条件。可以确定第三编码单元820c至820e不满足条件，因为当右侧第二编码单元810b被分割成三个编码单元时确定的第三编码单元820c至820e的边界不能将右侧第二编码单元810b的宽度或高度分割成两半。当如上所述不满足条件时，图像解码装置100可以确定扫描顺序的断开，并且可以基于所述确定的结果确定右侧第二编码单元810b被分割成奇数个编码单元。根据实施例，当编码单元被分割成奇数个编码单元时，图像解码装置100可以对从分割的编码单元当中在某些位置处的编码单元施加特定限制。上面已经结合多个实施例描述了限制或特定位置，因此不再提供其详细描述。

图9图示了根据实施例的由图像解码装置执行的通过分割第一编码单元来确定至少一个编码单元的过程。

根据实施例，图像解码装置100可以基于通过接收器110获得的分割形状模式信息来分割第一编码单元900。方形第一编码单元900可以被分割成四个方形编码单元，或者可以被分割成多个非方形编码单元。例如，参考图9，当分割形状模式信息指示将第一编码单元900分割成非方形编码单元时，图像解码装置100可以将第一编码单元900分割成多个非方形编码单元。详细地，当分割形状模式信息指示通过沿水平方向或垂直方向分割第一编码单元900来确定奇数个编码单元时，图像解码装置100可以将方形第一编码单元900分割成奇数个编码单元，例如，通过沿垂直方向分割方形第一编码单元900确定的第二编码单元910a、910b和910c，或者通过沿水平方向分割方形第一编码单元900确定的第二编码单元920a、920b和920c。

根据实施例，图像解码装置100可以确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于以特定顺序处理的条件，并且该条件涉及第一编码单元900的宽度或高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被分割成两半。参考图9，因为通过沿垂直方向分割方形第一编码单元900确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的宽度分割成两半，所以可以确定第一编码单元900不满足用于以特定顺序处理的条件。另外，因为通过沿水平方向分割方形第一编码单元900确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的宽度分割成两半，所以可以确定第一编码单元900不满足用于以预先确定的顺序处理的条件。当如上所述不满足条件时，图像解码装置100可以决定扫描顺序的断开，并且可以基于所述决定的结果确定第一编码单元900被分割成奇数个编码单元。根据实施例，当编码单元被分割成奇数个编码单元时，图像解码装置100可以对从分割的编码单元当中在特定位置处的编码单元施加特定限制。上面已经结合多个实施例描述了限制或特定位置，因此不再提供其详细描述。

根据实施例，图像解码装置100可以通过分割第一编码单元来确定各种形状的编码单元。

参考图9，图像解码装置100可以将方形第一编码单元900或非方形第一编码单元930或950分割成各种形状的编码单元。

图10图示了根据实施例的当图像解码装置分割第一编码单元时确定的具有非方形形状的第二编码单元满足特定条件时，第二编码单元可分割成的形状受到限制。

根据实施例，图像解码装置100可以基于由接收器110获得的分割形状模式信息，确定将方形第一编码单元1000分割成非方形第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或1020a和1020b可以被独立地分割。这样，图像解码装置100可以基于第二编码单元1010a和1010b或1020a和1020b中的每一个的分割形状模式信息，确定是否将第二编码单元1010a和1010b或1020a和1020b中的每一个分割成多个编码单元。根据实施例，图像解码装置100可以通过沿水平方向分割通过沿垂直方向分割第一编码单元1000而确定的非方形左侧第二编码单元1010a来确定第三编码单元1012a和1012b。然而，当左侧第二编码单元1010a沿水平方向被分割时，图像解码装置100可以限制右侧第二编码单元1010b不沿其中左侧第二编码单元1010a被分割的水平方向被分割。当通过沿相同方向分割右侧第二编码单元1010b来确定第三编码单元1014a和1014b时，因为左侧第二编码单元1010a和右侧第二编码单元1010b沿水平方向被独立地分割，所以可以确定第三编码单元1012a和1012b或者1014a和1014b。然而，这种情况同样用作图像解码装置100基于分割形状模式信息将第一编码单元1000分割成四个方形第二编码单元1030a、1030b、1030c和1030d的情况，并且在图像解码方面可能效率低下。

根据实施例，图像解码装置100可以通过沿垂直方向分割通过沿水平方向分割第一编码单元1000而确定的非方形第二编码单元1020a或1020b来确定第三编码单元1022a和1022b或1024a和1024b。然而，当第二编码单元(例如，上方第二编码单元1020a)沿垂直方向被分割时，出于上述原因，图像解码装置100可以限制另一个第二编码单元(例如，下方第二编码单元1020b)不沿其中上方第二编码单元1020a被分割的垂直方向被分割。

图11图示了根据实施例的当分割形状模式信息不能指示方形编码单元被分割成四个方形编码单元时，由图像解码装置执行的分割方形编码单元的过程。

根据实施例，图像解码装置100可以通过基于分割形状模式信息分割第一编码单元1100来确定第二编码单元1110a和1110b或者1120a和1120b等。分割形状模式信息可以包括关于分割编码单元的各种方法的信息，但是，关于各种分割方法的信息可以不包括用于将编码单元分割成四个方形编码单元的信息。根据这种分割形状模式信息，图像解码装置100可以不将方形第一编码单元1100分割成四个方形第二编码单元1130a、1130b、1130c和1130d。图像解码装置100可以基于分割形状模式信息来确定非方形第二编码单元1110a和1110b或者1120a和1120b等。

根据实施例，图像解码装置100可以独立地分割非方形第二编码单元1110a和1110b或1120a和1120b等。第二编码单元1110a和1110b或1120a和1120b等中的每一个可以以特定顺序被递归地分割，并且该分割方法可以与基于分割形状模式信息分割第一编码单元1100的方法相对应。

例如，图像解码装置100可以通过沿水平方向分割左侧第二编码单元1110a来确定方形第三编码单元1112a和1112b，并且可以通过沿水平方向分割右侧第二编码单元1110b来确定方形第三编码单元1114a和1114b。此外，图像解码装置100可以通过沿水平方向分割左侧第二编码单元1110a和右侧第二编码单元1110b二者来确定方形第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可以确定具有与从第一编码单元1100分割的四个方形第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。

作为另一示例，图像解码装置100可以通过沿垂直方向分割上方第二编码单元1120a来确定方形第三编码单元1122a和1122b，并且可以通过沿垂直方向分割下方第二编码单元1120b来确定方形第三编码单元1124a和1124b。此外，图像解码装置100可以通过沿垂直方向分割上方第二编码单元1120a和下方第二编码单元1120b来确定方形第三编码单元1126a、1126b、1126c和1126d。在这种情况下，可以确定具有与从第一编码单元1100分割的四个方形第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。

图12图示根据实施例的多个编码单元之间的处理顺序可以根据分割编码单元的过程而改变。

根据实施例，图像解码装置100可以基于分割形状模式信息分割第一编码单元1200。当块形状指示方形形状并且分割形状模式信息指示沿水平方向或垂直方向中的至少一个方向分割第一编码单元1200时，图像解码装置100可以通过分割第一编码单元1200来确定第二编码单元1210a和1210b或1220a和1220b等。参考图12，通过仅沿水平方向或垂直方向分割第一编码单元1200而确定的非方形第二编码单元1210a和1210b或1220a和1220b可以基于每个编码单元的分割形状模式信息被独立地分割。例如，图像解码装置100可以通过沿水平方向分割通过沿垂直方向分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以通过沿水平方向分割通过沿水平方向分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d。上文已经参照图11描述了分割第二编码单元1210a和1210b或1220a和1220b的操作，因此本文将不提供其详细描述。

根据实施例，图像解码装置100可以以特定顺序处理编码单元。上面已经参照图7描述了以预先确定的顺序处理编码单元的操作，因此本文将不提供其详细描述。参考图12，图像解码装置100可以通过分割方形第一编码单元1200来确定四个方形第三编码单元1216a、1216b、1216c和1216d，以及1226a、1226b、1226c和1226d。根据实施例，图像解码装置100可以基于第一编码单元1200的分割方法来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。

根据实施例，图像解码装置100可以通过沿水平方向分割通过沿垂直方向分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且可以按用于初始处理包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c的处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d，并且然后沿垂直方向处理包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d。

根据实施例，图像解码装置100可以通过沿垂直方向分割通过沿水平方向分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d，并且可以按用于初始处理包括在上方第二编码单元1220a中的第三编码单元1226a和1226b的处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d，并且然后沿水平方向处理包括在下方第二编码单元1220b中的第三编码单元1226c和1226d。

参考图12，方形第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d可以分别通过分割第二编码单元1210a和1210b以及1220a和1220b来确定。尽管第二编码单元1210a和1210b是通过沿垂直方向分割第一编码单元1200而确定的，其不同于通过沿水平方向分割第一编码单元1200而确定的第二编码单元1220a和1220b，但是从其分割的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出了从第一编码单元1200分割的相同形状的编码单元。这样，通过基于分割形状模式信息以不同方式递归地分割编码单元，即使当编码单元最终被确定为相同形状时，图像解码装置100也可以以不同顺序处理多个编码单元。

图13图示了根据实施例的当编码单元被递归分割使得多个编码单元被确定时，随着编码单元的形状和尺寸改变来确定编码单元的深度的过程。

根据实施例，图像解码装置100可以基于特定准则来确定编码单元的深度。例如，特定准则可以是编码单元长边的长度。当分割之前的编码元的长边的长度是分割的当前编码单元的长边的长度的2n倍(n>0)时，图像解码装置100可以确定当前编码单元的深度从分割之前的编码单元的深度增加了n。在下面的描述中，具有增加的深度的编码单元被表示为更深深度的编码单元。

参考图13，根据实施例，图像解码装置100可以通过基于指示方形形状的块形状信息(例如，块形状信息可以表示为‘0：SQUARE’)分割方形第一编码单元1300来确定更深深度的第二编码单元1302和第三编码单元1304。假设方形第一编码单元1300的尺寸是2N×2N，通过将第一编码单元1300的宽度和高度以1/2分割而确定的第二编码单元1302可以具有N×N尺寸。此外，通过将第二编码单元1302的宽度和高度以1/2分割而确定的第三编码单元1304可以具有N/2×N/2的尺寸。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的1/4倍。当第一编码单元1300的深度是D时，宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以是D+1，并且宽度和高度是第一编码单元1300的宽度和高度的1/4倍的第三编码单元1304的深度可以是D+2。

根据实施例，图像解码装置100可以通过基于指示非方形形状的块形状信息(例如，块形状信息可以表示为指示其高度比宽度长的非方形形状的‘1：NS_VER’，或者表示为指示其宽度比高度长的非方形形状的‘2：NS_HOR’)分割非方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322和第三编码单元1314或1324。

图像解码装置100可以通过分割具有N×2N尺寸的第一编码单元1310的宽度或高度中的至少一个来确定第二编码单元1302、1312或1322。即，图像解码装置100可以通过沿水平方向分割第一编码单元1310来确定具有N×N尺寸的第二编码单元1302或具有N×N/2的尺寸的第二编码单元1322，或者可以通过沿水平方向和垂直方向分割第一编码单元1310来确定具有N/2×N尺寸的第二编码单元1312。

根据实施例，图像解码装置100可以通过分割具有2N×N尺寸的第一编码单元1320的宽度或高度中的至少一个来确定第二编码单元1302、1312或1322。即，图像解码装置100可以通过沿垂直方向分割第一编码单元1320来确定具有N×N尺寸的第二编码单元1302或具有N/2×N尺寸的第二编码单元1312，或者可以通过沿水平方向和垂直方向分割第一编码单元1320来确定具有N×N/2尺寸的第二编码单元1322。

根据实施例，图像解码装置100可以通过分割具有N×N尺寸的第二编码单元1302的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。即，图像解码装置100可以通过沿垂直方向和水平方向分割第二编码单元1302来确定具有N/2×N/2尺寸的第三编码单元1304、具有N/4×N/2尺寸的第三编码单元1314或具有N/4×N/4尺寸的第三编码单元1324。

根据实施例，图像解码装置100可以通过分割具有N/2×N尺寸的第二编码单元1312的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。即，图像解码装置100可以通过沿水平方向分割第二编码单元1312来确定具有N/2×N/2尺寸的第三编码单元1304或具有N/2×N/4尺寸的第三编码单元1324或者可以通过沿垂直方向和水平方向分割第二编码单元1312来确定具有N/4×N/2尺寸的第三编码单元1314。

根据实施例，图像解码装置100可以通过分割具有N×N/2尺寸的第二编码单元1322的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。即，图像解码装置100可以通过沿垂直方向分割第二编码单元1322来确定具有N/2×N/2尺寸的第三编码单元1304或具有N/4×N/2尺寸的第三编码单元1314，或者可以通过沿垂直方向和水平方向分割第二编码单元1322来确定具有N/2×N/4尺寸的第三编码单元1324。

根据实施例，图像解码装置100可以沿水平方向或垂直方向分割方形编码单元1300、1302或1304。例如，图像解码装置100可以通过沿垂直方向分割具有2N×2N尺寸的第一编码单元1300来确定具有N×2N尺寸的第一编码单元1310，或者可以通过沿水平方向分割第一编码单元1300来确定具有2N×N尺寸的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度来确定深度时，通过沿水平方向或垂直方向分割具有2N×2N尺寸的第一编码单元1300确定的编码单元的深度可以与第一编码单元1300的深度相同。

根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4倍。当第一编码单元1310或1320的深度是D时，宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以是D+1，并且宽度和高度是第一编码单元1310或1320的宽度和高度的1/4倍的第三编码单元1314或1324的深度可以是D+2。

图14图示了根据实施例的基于编码单元的形状和尺寸可确定的深度，以及用于区分编码单元的部分索引(PID)。

根据实施例，图像解码装置100可以通过分割方形第一编码单元1400来确定各种形状的第二编码单元。参考图14，图像解码装置100可以通过基于分割形状模式信息沿垂直方向或水平方向中的至少一个方向分割第一编码单元1400来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。即，图像解码装置100可以基于第一编码单元1400的分割形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。

根据实施例，基于方形第一编码单元1400的分割形状模式信息确定的第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d的深度可以基于其长边的长度来确定。例如，因为方形第一编码单元1400的边的长度等于非方形第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元2100和非方形第二编码单元1402a和1402b以及1404a和1404b可以具有相同的深度，例如D。然而，当图像解码装置100基于分割形状模式信息将第一编码单元1400分割成四个方形第二编码单元1406a、1406b、1406c和1406d时，因为方形第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D按1更深的D+1。

根据实施例，图像解码装置100可以通过基于分割形状模式信息沿水平方向分割其高度比宽度长的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，图像解码装置100可以通过基于分割形状模式信息沿垂直方向分割其宽度比高度长的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。

根据实施例，基于非方形第一编码单元1410或1420的分割形状模式信息确定的第二编码单元1412a和1412b以及1414a、1414b和1414c或1422a和1422b以及1424a、1424b和1424c的深度可以基于其长边的长度来确定。例如，因为方形第二编码单元1412a和1412b的边的长度是具有非方形形状的其高度比宽度长的第一编码单元1410的长边的长度的1/2倍，所以方形第二编码单元1412a和1412b的深度是比非方形第一编码单元1410的深度D按1更深的D+1。

此外，图像解码装置100可以基于分割形状模式信息将非方形第一编码单元1410分割成奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可以包括非方形第二编码单元1414a和1414c以及方形第二编码单元1414b。在这种情况下，因为非方形第二编码单元1414a和1414c的长边的长度和方形第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2倍，所以第二编码单元1414a、1414b和1414c的深度可以是比非方形第一编码单元1410的深度D按1更深的D+1。图像解码装置100可以通过使用上述确定从第一编码单元1410分割的编码单元的深度的方法，来确定从具有非方形形状的、宽度比高度长的第一编码单元1420分割的编码单元的深度。

根据实施例，当奇数个分割的编码单元不具有相等的尺寸时，图像解码装置100可以基于编码单元之间的尺寸比来确定用于标识分割的编码单元的PID。参考图14，奇数个分割的编码单元1414a、1414b和1414c当中的中心位置的编码单元1414b可以具有与其他编码单元1414a和1414c相等的宽度和两倍于其他编码单元1414a和1414c的高度。即，在这种情况下，在中心位置处的编码单元1414b可以包括其他编码单元1414a或1414c中的两个。因此，当在中心位置处的编码单元1414b的PID基于扫描顺序为1时，位于编码单元1414b下一个的编码单元1414c的PID可以按2增加，因此可以是3。即，可能存在PID值的不连续性。根据实施例，图像解码装置100可以基于用于标识分割的编码单元的PID中是否存在不连续性来确定奇数个分割的编码单元是否不具有相等的尺寸。

根据实施例，图像解码装置100可以基于用于标识通过分割当前编码单元确定的多个编码单元的PID值来确定是否使用特殊的分割方法。参考图14，图像解码装置100可以通过分割具有矩形形状的、高度比宽度长的第一编码单元1410来确定偶数个编码单元1412a和1412b或者奇数个编码单元1414a、1414b和1414c。图像解码装置100可以使用指示相应编码单元的PID以便标识相应编码单元。根据实施例，PID可以从每个编码单元的特定位置的样本(例如，左上方样本)获得。

根据实施例，图像解码装置100可以通过使用用于区分编码单元的PID，从分割的编码单元当中确定在特定位置处的编码单元。根据实施例，当具有矩形形状的、高度比宽度长的第一编码单元1410的分割形状模式信息指示将编码单元分割成三个编码单元时，图像解码装置100可以将第一编码单元1410分割成三个编码单元1414a、1414b和1414c。图像解码装置100可以向三个编码单元1414a、1414b和1414c中的每一个指派PID。图像解码装置100可以比较奇数个分割的编码单元的PID，以从编码单元当中确定在中心位置处的编码单元。图像解码装置100可以从通过分割第一编码单元1410而确定的编译单元当中，将具有与编译单元的PID当中的中间值相对应的PID的编译单元1414b确定为在中心位置处的编码单元。根据实施例，当分割的编译单元不具有相等的尺寸时，图像解码装置100可以基于编码单元之间的尺寸比来确定用于区分分割的编码单元的PID。参考图14，通过分割第一编码单元1410生成的编码单元1414b可以具有与其他编码单元1414a和1414c的宽度相等的宽度以及是其他编码单元1414a和1414c的两倍的高度。在这种情况下，当在中心位置处的编码单元1414b的PID为1时，位于编码单元1414b下一个的编码单元1414c的PID可以按2增加，因此可以是3。当如上所述PID没有均匀增加时，图像解码装置100可以确定编码单元被分割成包括具有不同于其他编码单元的尺寸的编码单元的多个编码单元。根据实施例，当分割形状模式信息指示将编码单元分割成奇数个编码单元时，图像解码装置100可以以奇数个编码单元当中的特定位置的编码单元(例如，中心位置的编码单元)具有不同于其他编译单元的尺寸的方式分割当前编码单元。在这种情况下，图像解码装置100可以通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，特定位置的编码单元的PID和尺寸或位置不限于上述示例，并且可以使用编码单元的多个PID和多个位置和尺寸。

根据实施例，图像解码装置100可以使用其中编码单元开始被递归地分割的特定数据单元。

图15图示了根据实施例的基于图片中包括的多个特定数据单元来确定多个编码单元。

根据实施例，特定数据单元可以被定义为其中编码单元开始通过使用分割形状模式信息被递归地分割的数据单元。即，数据单元可以与最大深度的编码单元相对应，其用于确定从当前图片分割的多个编码单元。在以下描述中，为了便于解释，特定数据单元被称为参考数据单元。

根据实施例，参考数据单元可以具有特定尺寸和特定尺寸形状。根据实施例，参考数据单元可以包括M×N个样本。此处，M和N可以彼此相等，并且可以是表示为2的幂的整数。即，参考数据单元可以具有方形或非方形的形状，并且可以被分割成整数个编码单元。

根据实施例，图像解码装置100可以将当前图片分割成多个参考数据单元。根据实施例，图像解码装置100可以通过使用每个参考数据单元的分割形状模式信息来分割从当前图片分割的多个参考数据单元。分割参考数据单元的操作可以与使用四叉树结构的分割操作相对应。

根据实施例，图像解码装置100可以先确定当前图片中包括的参考数据单元所允许的最小尺寸。因此，图像解码装置100可以确定尺寸等于或大于最小尺寸的多个参考数据单元，并且可以通过参考所确定的参考数据单元使用分割形状模式信息来确定一个或多个编码单元。

参考图15，图像解码装置100可以使用方形参考编码单元1500或非方形参考编码单元1502。根据实施例，参考编码单元的形状和尺寸可以基于能够包括一个或多个参考编码单元(例如，序列、图片、切片、片段、图块、图块组、最大编码单元等)的各种数据单元来确定。

根据实施例，图像解码装置100的接收器110可以从比特流获得关于多个数据单元中的每一个的参考编码单元形状信息或参考编码单元尺寸信息中的至少一个。上文已经关于分割图3的当前编码单元300的操作描述了将方形参考编码单元1500分割成一个或多个编码单元的操作，并且上文已经关于分割图4的当前编码单元400或450的操作描述了将非方形参考编码单元1502分割成一个或多个编码单元的操作。因此，不再提供其详细描述。

根据实施例，图像解码装置100可以使用用于标识参考编码单元的尺寸和形状的PID，以根据先前基于特定条件确定的一些数据单元来确定参考编码单元的尺寸和形状。即，接收器110可以从比特流中仅获得用于标识参考编码单元关于多个数据单元(例如，序列、图片、切片、片段、图块、图块组、最大编译单元等)当中满足预先确定的条件(例如，具有等于或小于片的尺寸的数据单元)的数据单元的每个切片、片段、图块、图块组或最大编码单元的尺寸和形状的PID。图像解码装置100可以通过使用PID来确定关于满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小的尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此，可以仅获得并使用PID，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可以先确定与用于标识参考编译单元的尺寸和形状的PID相对应的参考编译单元的尺寸或形状中的至少一个。即，图像解码装置100可以通过基于PID选择先前确定的参考编码单元的尺寸或形状中的至少一个，来确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸或形状中的至少一个。

根据实施例，图像解码装置100可以使用包括在最大编码单元中的一个或多个参考编码单元。即，从图片分割的最大编码单元可以包括一个或多个参考编码单元，并且可以通过递归地分割每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度或高度中的至少一个可以是参考编码单元的宽度或高度中的至少一个的整数倍。根据实施例，参考编码单元的尺寸可以通过基于四叉树结构将最大编码单元分割n次来获得。即，根据多个实施例，图像解码装置100可以通过基于四叉树结构将最大编码单元分割n次来确定参考编码单元，并且可以基于块形状信息或分割形状模式信息中的至少一个来分割参考编码单元。

根据实施例，图像解码装置100可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的分割方法的分割形状模式信息，并且可以使用获得的信息。分割形状模式信息可以包括在与多个数据单元相关的比特流中。例如，图像解码装置100可以使用包括在序列参数集、图片参数集、视频参数集、切片头(slice header)、片段头、图块头(tile header)或图块组头中的分割形状模式信息。此外，图像解码装置100可以根据每个最大编码单元、每个参考编码单元或每个处理块，从比特流获得与块形状信息或分割形状模式信息相对应的语法元素，并且可以使用获得的语法元素。

在下文中，将详细描述根据本公开的实施例的确定分割规则的方法。

图像解码装置100可以确定图像的分割规则。分割规则可以在图像解码装置100和图像编码装置2200之间预先确定。图像解码装置100可以基于从比特流获得的信息来确定图像的分割规则。图像解码装置100可以基于从序列参数集、图片参数集、视频参数集、切片头、片段头、图块头或图块组头中的至少一个获得的信息来确定分割规则。图像解码装置100可以根据帧、切片、图块、时间层、最大编码单元或编码单元来不同地确定分割规则。

图像解码装置100可以基于编码单元的块形状来确定分割规则。块形状可以包括编码单元的尺寸、形状、高宽比和方向。图像解码装置100可以基于编码单元的块形状信息预先确定以确定分割规则。然而，本公开不限于此。图像解码装置100可以基于从接收的比特流获得的信息来确定图像的分割规则。

编码单元的形状可以包括方形和非方形。当编码单元的宽度和高度的长度相同时，图像解码装置100可以将编码单元的形状确定为方形。此外，当编码单元的宽度和高度的长度不相同时，图像解码装置100可以将编码单元的形状确定为非方形。

编码单元的尺寸可以包括各种尺寸，诸如4×4、8×4、4×8、8×8、16×4、16×8、...、256x256。编码单元的尺寸可以基于编码单元的长边的长度、短边的长度或面积来分类。图像解码装置100可以将相同的分割规则应用于被分类为相同组的编码单元。例如，图像解码装置100可以将具有相同长边长度的编码单元分类为具有相同尺寸。此外，图像解码装置100可以将相同的分割规则应用于具有相同长边长度的编码单元。

编码单元的高宽比可以包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可以包括水平方向和垂直方向。水平方向可以指示其中编码单元的宽度的长度长于其高度的长度的情况。垂直方向可以指示其中编码单元的宽度的长度短于其高度的长度的情况。

图像解码装置100可以基于编码单元的尺寸自适应地确定分割规则。图像解码装置100可以基于编码单元的尺寸不同地确定允许的分割形状模式。例如，图像解码装置100可以基于编码单元的尺寸来确定是否允许分割。图像解码装置100可以根据编码单元的尺寸来确定分割方向。图像解码装置100可以根据编码单元的尺寸来确定允许的分割类型。

基于编码单元的尺寸确定的分割规则可以是在图像解码装置100中预先确定的分割规则。此外，图像解码装置100可以基于从比特流获得的信息来确定分割规则。

图像解码装置100可以基于编码单元的位置自适应地确定分割规则。图像解码装置100可以基于编码单元在图像中的位置自适应地确定分割规则。

此外，图像解码装置100可以确定分割规则，使得经由不同分割路径生成的编码单元不具有相同的块形状。然而，本公开不限于此，经由不同分割路径生成的编码单元具有相同的块形状。经由不同分割路径生成的编码单元可以具有不同的解码处理顺序。因为上面已经参考图12描述了解码处理顺序，所以不再提供其细节。

图16是图像编码和解码系统的框图。

图像编码和解码系统的编码设备1600发送图像的编码比特流，并且解码设备1650通过接收和解码比特流来输出重建图像。这里，解码设备1650可以具有与图像解码装置100相似的配置。

在编码设备1600中，当当前块的预测模式是帧间预测模式时，帧间预测器1605生成指示时间上邻近当前图片的参考图片的参考块的当前块的运动信息。帧间预测器1605可以通过使用参考块的样本来确定当前块的预测样本。帧内预测器1610可以确定帧内预测信息，该信息指示确定预测样本或与当前块相似的相邻样本所处的方向的方法，使得通过使用空间上邻近当前块的相邻样本来确定当前块的预测样本。帧间预测器1605和帧内预测器1610可以从存储在解码图片缓冲器(DPB)1648中的预先重建样本当中确定用于当前块的预测的参考样本。

变换器1620通过对通过从当前块的原始样本中减去由帧间预测器1605或帧内预测器1610生成的预测样本而获得的残差样本值执行变换来输出变换系数。量化器1625量化从变换器1620输出的变换系数，并输出量化的变换系数。熵编码器1630可以用包括级别值的残差语法元素来编码量化的变换系数，并且将其以比特流的形式输出。

从量化器1625输出的量化的变换系数可以经由逆量化器1633和逆变换器1635被逆量化和逆变换，因此可以再次生成残差样本值。

残差样本值和预测样本值在加法器处相加，从而输出重建的样本值。后重建滤波器1640对重建样本执行后重建滤波，并且经由后重建滤波更新的重建样本值可以用作将由帧内预测器1610执行的帧内预测的参考样本值。后重建滤波器1640可以对重建样本值执行哈达玛变换域滤波或双边滤波。

环内滤波器1645可以对经由后重建滤波更新的重建样本执行去块滤波或自适应环路滤波中的至少一个。经由由环内滤波器1645滤波更新的重建样本值可以被存储在DPB1648中，并且可以用作将由帧间预测器1605执行的帧间预测的参考样本值。

解码设备1650的熵解码器1655可以对接收的比特流执行熵解码，以解析包括级别值的残差语法元素。量化的变换系数可以从残差语法元素中重建。逆量化器1660可以通过对量化的变换系数执行逆量化来输出变换系数，逆变换器1665可以通过对变换系数执行逆变换来输出残差样本值。

解码设备1650的帧间预测器1670可以通过使用由熵解码器1655解析的当前块的运动信息来确定时间上邻近当前图片的参考图片，并且确定参考图片中的参考块。帧间预测器1670可以通过使用参考块的样本来确定当前块的预测样本。解码设备1650的帧内预测器1675可以通过使用帧内预测信息、通过使用由熵解码器1655解析的当前块的运动信息来确定空间上邻近当前块的参考样本，并且通过使用确定的相邻样本来确定当前块的预测样本。帧间预测器1670和帧内预测器1675可以从存储在DPB 1690当中的预先重建样本中确定将用于当前块的预测的参考样本。

残差样本值和预测样本值在解码设备1650的加法器1695处相加，从而输出当前块的重建样本值。解码设备1650的后重建滤波器1680可以对重建样本值执行哈达玛变换域滤波或双边滤波。经由由后重建滤波器1680滤波更新的重建样本值可以用作将由帧内预测器1675执行的帧内预测的参考样本值。

解码设备1650的环内滤波器1685可以对经由后重建滤波更新的重建样本执行去块滤波或自适应环路滤波中的至少一个。经由由环内滤波器1685滤波更新的重建样本值可以存储在DPB 1690中，并且可以用作将由帧间预测器1670执行的帧间预测的参考样本值。

图17图示了包括后重建滤波的图像解码过程。

根据实施例的视频解码过程包括以声明的顺序解析1710、预测1720、逆量化1730、逆变换1740、重建1750和后重建滤波1760。详细地，在解析1710期间，通过使用从比特流解析的当前块的语法元素来获得包括预测信息的语法元素和包括级别值的残差语法元素。在预测1720期间，从包括预测信息的语法元素来确定当前块的预测模式，并且可以通过根据预测模式执行预测来输出当前块的预测样本。在逆量化1730期间，对从残差语法元素重建的残差样本执行逆量化，因此可以输出残差样本的变换系数。在逆变换1740期间，可以通过对残差样本的变换系数执行逆变换来输出当前块的残差样本(当在预测1720期间确定的预测模式是跳过模式时，可以省略逆量化1730和逆变换1740)。

在重建1750期间，可以通过组合当前块的预测样本和当前块的残差样本来输出当前块的重建样本。

在后重建滤波1760期间，可以通过对重建1750期间输出的重建样本执行哈达玛变换域滤波或双边滤波来更新和输出重建样本。经由后重建滤波更新的重建样本可以用作与当前块相邻的块的帧内预测的参考样本。

在后重建滤波1760之后，可以对重建样本执行环内滤波以更新重建样本。经由环内滤波更新的重建样本可以存储在DPB中，并用作另一个块的帧间预测的参考样本。

不仅预测1720期间的预测，后重建滤波1760期间的滤波也都使用邻近当前块的相邻块的样本(相邻样本)，并且因此需要在操作之前确定相邻样本的可用性。根据实施例，视频编码方法和视频解码方法提供了一种当相邻样本包括误差或未被重建时如何对当前块执行操作的方法。换句话说，在当前块周围的重建样本中发生误差的情况可以包括分组在通信环境中丢失的情况、切片信息丢失的情况、图片信息丢失的情况等。提供了在当前块的编码过程期间最小化由相邻样本的误差导致的误差传播的发生的方法。

将参照图23描述验证当前块的相邻重建样本的可用性的方法。

图23图示了根据实施例的验证邻近当前块的相邻样本的可用性的过程。

在正在标准化的高效率视频编码(HEVC)标准或MPEG-5基本视频编码(EVC)标准的帧内预测中，可以在经常发生误差的环境中启用约束帧内预测模式。当在约束帧内预测模式下检查当前块的帧内预测的同时参考的参考样本的可用性时，仅当另外包括参考样本的参考块的预测模式是帧内预测模式时——即当参考块已经在帧内预测模式下重建时，参考样本的可用性可以被确定为TRUE。换句话说，可以通过使用参考样本来执行当前块的帧内预测。另一方面，当约束帧内预测模式被禁用时，在验证参考样本的可用性的同时，不考虑参考块的预测模式。

例如，确定指示在位置(xNbY，yNbY)处的参考样本的可用性的变量availableN的过程2300如下。当参考样本包含在不同的切片或图块中时(2310)、当参考样本的位置在图片之外时(2320)，或者当参考样本的重建没有完成时(2330)，参考样本的可用性信息AvailableN被确定为FALSE，即，不可用的参考样本。

当约束帧内预测模式被启用时，除了关于用于帧内预测的位置(xNbY，yNbY)处的参考样本的可用性信息availableN之外，还需要另外验证在位置位置(xNbY，yNbY)处的块的预测模式是否是帧内预测模式，以便执行当前块的帧内预测。当约束帧内预测模式被禁用时，可以基于参考样本的availableN，确定当前块的帧内预测是否可通过使用参考样本来执行。因此，当约束帧内预测模式被启用时，误差传播现象可被最小化，因为通过使用另一张图片重建的相邻样本(即，在帧间预测模式下重建的相邻样本)不用于执行当前块的帧内预测。

该操作通过使用当前块的相邻样本来执行，不仅用于帧内预测而且用于后重建滤波。将参照图18描述关于作为后重建滤波的一种类型的哈达玛变换域滤波的详细描述。

图18图示了用于后重建滤波的参考区域。

当执行后重建滤波时，根据滤波器标签的尺寸或形状，可以使用当前块周围的重建的图像信息。换句话说，后重建滤波可以在从图18中的当前块1800的外部线沿垂直方向扩展了N个样本1810的填充区域1820上执行。这里，N可以取决于滤波器标签的尺寸或形状而变化。当重建图像信息出现在填充区域1820中时，可以在后重建滤波期间使用填充区域1820中出现的重建图像信息。

例如，当执行2×2哈达玛变换域滤波时，通过将N设置为1来扩展填充区域1820。当预先重建的样本出现在填充区域1820中时，预先重建的信息可以被用于执行滤波。然而，当位于填充区域1820中的参考样本不可用时，可以通过用参考样本的填充值替换与参考样本邻近的当前块的重建样本的样本值来填充填充区域1820的参考样本。

根据实施例，视频编码方法和解码方法以及视频编码装置和解码装置提出了当约束预测模式被启用时对当前块执行后重建滤波的方法。在下文中，将参照图19至图22描述根据本说明书的实施例的用于通过执行后重建滤波来编码或解码视频的方法和装置。

在下文中，编码单元的最大尺寸表示编码单元的宽度和高度当中长边的最大尺寸，并且编码单元的最小尺寸表示编码单元的宽度和高度当中长边的最小尺寸。

在下文中，树结构可以表示取决于编码单元的分割模式是四元分割、二元分割、三元分割还是无分割而形成的一个或多个编码单元的分层结构。例如，根据图5的分割过程从当前编码单元生成的块的分层结构被称为树结构。

图19是根据实施例的视频解码装置的框图。

参考图19，根据实施例的视频解码装置1900可以包括获取器1910、重建器1920和后重建滤波器1930。

视频解码装置1900可以获得作为对图像进行编码的结果而生成的比特流，基于比特流中包括的信息来确定从图片分割的块的位置，并且解码该块，诸如最大编码单元和编码单元。

根据实施例的视频解码装置1900可以包括用于控制获取器1910、重建器1920和后重建滤波器1930的中央处理器(未示出)。可选地，获取器1910、重建器1920和后重建滤波器1930可以分别由它们自己的处理器(未示出)操作，并且处理器可以系统地操作，使得视频解码装置1900作为整体操作。可选地，获取器1910、重建器1920和后重建滤波器1930可以在由视频解码装置1900的外接处理器(未示出)的控制下被控制。

视频解码装置1900可以包括存储获取器1910、重建器1920和后重建滤波器1930的输入和输出数据的至少一个数据储存器(未示出)。视频解码装置1900可以包括用于控制数据储存器的数据输入和输出的存储器控制器(未示出)。

视频解码装置1900可以通过与内部视频解码处理器或外接视频解码处理器连接操作来执行包括预测的图像解码操作，以便经由图像解码来重建图像。在不仅单独的处理器而且中央处理装置或图形处理装置都包括图像解码处理模块时，根据实施例的视频解码装置1900的内部视频解码处理器可以执行基础的图像解码操作。

视频解码装置1900可以包括在上述图像解码装置100中。例如，获取器1910可以与图像解码装置100的接收器110相对应，以及重建器1920和后重建滤波器1930可以与图像解码装置100的解码器120相对应。视频解码装置1900可以与上面参考图16描述的图像编码和解码系统的解码设备1650相对应。例如，获取器1910可以与解码设备1650的熵解码器1655相对应，重建器1920可以包括解码设备1650的逆量化器1660、逆变换器1665、帧间预测器1670、帧内预测器1675、加法器1695和环内滤波器1685，以及后重建滤波器1930可以与解码设备1650的后重建滤波器1680相对应。

获取器1910接收作为编码图像的结果而生成的比特流。比特流可以包括关于当前图片的信息。图片可以包括一个或多个最大编码单元。重建器1920可以基于从比特流获得的信息来确定图片中当前块的位置。当前块是当根据树结构分割图片时生成的块，并且例如可以与最大编码单元或编码单元相对应。重建器1920确定是否进一步将当前块分割成较低深度的子块，并且可以确定当前块的树结构。较低深度可以通过将从当前块到子块的分割数加上当前块的当前深度来确定。在形成包括在当前图片中的树结构的块中，位于树叶处的块是不再被分割的块。因此，重建器1920可以通过对块执行逆量化、逆变换和预测来解码不再被分割的一个或多个块。

重建器1920可以通过对当前块执行预测来生成当前块的预测样本。重建器1920可以通过对当前块执行逆变换来生成当前块的残差样本。重建器1920可以通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本。重建器1920可以通过针对每个块重建样本来重建当前图像。

例如，当当前块的预测模式是帧内模式时，重建器1920可以通过使用当前块的帧内预测信息来确定位于帧内预测方向上的空间相邻块的样本当中的参考样本，并且通过使用参考样本来确定与当前块相对应的预测样本。

例如，当当前块的预测模式是帧间模式时，重建器1920可以通过使用当前块的运动矢量来重建当前块。重建器1920可以通过使用当前块的运动矢量来确定参考图片中的参考块，并且从包括在参考块中的参考样本确定与当前块相对应的预测样本。重建器1920可以通过使用从比特流获得的变换系数级别来重建变换系数，并且通过对变换系数执行逆量化和逆变换来重建残差样本。重建器1920可以通过组合与当前块相对应的预测样本和残差样本来确定当前块的重建样本。

当以跳过模式预测当前块时，重建器1920可以不需要从比特流解析当前块的变换系数。重建器1920可以通过原样使用当前块的预测样本来确定当前块的重建样本。

根据实施例的获取器1910可以获得指示约束帧内预测模式是否被启用的约束预测信息。

根据实施例的后重建滤波器1930可以通过使用当前块的重建样本或与相邻样本相对应的填充值中的至少一个来执行后重建滤波。例如，当当前块不在滤波目标面积之外时，可以通过使用当前块的重建样本来执行后重建滤波。这里，滤波目标区可以包括当前块和当前块的外部面积。在这种情况下，后重建滤波器1930可以用特殊样本值填充当前块的外部面积。后重建滤波器1930可以通过使用填充的样本值(以下称为填充值)对邻近当前块的轮廓的当前块的重建样本执行滤波。

详细地，当约束预测信息指示约束帧内预测模式并且相邻块的预测模式不是帧内预测模式时，后重建滤波器1930可以通过使用当前块的重建样本来填充与当前块和相邻块之间的边界的外面邻近的相邻样本。后重建滤波器1930可以通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波。

在下文中，将参考图20描述其中根据实施例的视频解码装置1900添加当前块的外部面积并将其用于后重建滤波的视频解码方法。

图20是根据实施例的视频解码方法的流程图。

在操作2010中，获取器1910可以获得指示约束帧内预测模式是否被启用的约束预测信息。约束预测信息可以从图像参数集中获得。因此，约束预测信息可以指示约束帧内预测模式针对当前图片是否被启用。当当前图片的约束帧内预测模式被启用时，约束帧内预测模式也可以针对包括在当前图片中的当前块被启用。

在操作2020中，重建器1920可以通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本。

根据实施例的重建器1920可以通过对当前块执行预测来生成当前块的预测样本。根据实施例的重建器1920可以通过对当前块执行逆变换来生成当前块的残差样本。然而，当在跳过模式下预测当前块时，重建器1920可以将残差样本的样本值确定为0。重建器1920可以将通过将当前块的预测样本和当前块的残差样本相加而获得的值确定为当前块的重建样本的样本值。

在操作2030中，当根据约束预测信息启用约束帧内预测模式并且相邻块的预测模式不是帧内预测模式时，后重建滤波器1930可以通过使用当前块的重建样本来填充与当前块和相邻块之间的边界外面邻近的相邻样本。

根据实施例的后重建滤波器1930可以将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为邻近边界的当前块的重建样本值相同。

当邻近当前块的相邻块的样本不可用于预测当前块时，根据实施例的后重建滤波器1930可以将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为邻近边界的当前块的重建样本值相同。

在操作2040中，后重建滤波器1930可以通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波。后重建滤波器1930可以通过使用相邻样本的填充的样本值(即，与相邻样本相对应的填充值)对当前块执行后重建滤波。

后重建滤波器1930可以通过使用邻近当前块的边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行哈达玛变换域滤波。例如，后重建滤波器1930可以通过使用邻近当前块的边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

详细地，哈达玛变换域滤波可以应用于亮度重建块，其中量化参数大于18，并且块的高度和宽度的乘积等于或大于64。可以基于查找表和量化参数来确定滤波器参数。后重建滤波器1930可以确定包括当前重建样本和围绕当前样本的相邻重建样本的2×2面积，并且通过对包括在2×2面积中的四个重建样本执行哈达玛变换来输出四个变换系数，特别是当包括填充的样本时，对四个填充样本执行哈达玛变换。可以通过对通过使用查找表对变换系数执行滤波而生成的主分量执行逆哈达玛变换来生成次分量。当次分量重叠时，可以确定当前重建样本的滤波样本值。后重建滤波器1930可以对包括在当前块中的重建样本执行哈达玛变换域滤波。

根据另一实施例的后重建滤波器1930可以通过使用邻近当前块的边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

经由由后重建滤波器1930后重建滤波更新的当前块的重建样本可用于执行邻近当前块的另一个块的帧内预测。

根据实施例的视频解码装置1900可以通过对经由后重建滤波更新的当前块的重建样本执行环内滤波来更新重建样本的样本值。环内滤波可以包括去块滤波和自适应环路滤波(ALF)。经由环内滤波更新的重建样本可以用作除当前图片之外的图片的块的帧间预测的参考样本。

因此，考虑到相邻样本的可靠性低，不仅当相邻块的重建样本由于差的通信环境或编码环境而不可用时，而且当约束帧内预测模式被启用并且相邻块没有在帧内预测模式下被重建时，根据实施例的视频解码装置1900不使用相邻块的样本值来执行后重建滤波。当约束帧内预测模式被启用并且相邻块没有在帧内预测模式下被重建时，视频解码装置1900可以通过使用邻近当前块的轮廓的当前块的重建样本值而不是相邻块的样本值来填充邻近当前块的外面的相邻样本，从而仅使用当前块的重建样本值用于后重建滤波。因此，在重建当前块的过程期间中，其中从另一个块发生的误差被传播的现象可以被最小化。

在下文中，将参考图21描述用于使用相邻块的样本来执行后重建滤波的视频编码装置。

图21是根据实施例的视频编码装置的框图。

参考图21，根据实施例的视频编码装置2100可以包括信息编码器2110、重建器2120和后重建滤波器2130。

根据实施例的信息编码器可以生成指示约束帧内预测模式是否被启用的约束预测信息，对约束预测信息执行熵编码，并将其以比特流的形式输出。

根据实施例的视频编码装置2100可以将图片分割成一个或多个亮度编码单元并对编码单元进行编码。

根据实施例的视频编码装置2100可以包括用于控制信息编码器2110、重建器2120和后重建滤波器2130的中央处理器(未示出)。可选地，信息编码器2110、重建器2120和后重建滤波器2130可以分别由它们自己的处理器(未示出)操作，并且处理器可以系统地操作，使得视频编码装置2100作为整体操作。可选地，信息编码器2110、重建器2120和后重建滤波器2130可以在视频编码装置2100的外接处理器(未示出)的控制下被控制。

视频编码装置2100可以包括存储信息编码器2110、重建器2120和后重建滤波器2130的输入和输出数据的至少一个数据储存器(未示出)。视频编码装置2100可以包括用于控制数据储存器的数据输入和输出的存储器控制器(未示出)。

视频编码装置2100可以通过与内部视频编码处理器或外接视频编码处理器连接地操作来执行包括预测的图像编码操作，用于图像编码。在不仅单独的处理器而且中央处理装置或图形处理装置都包括图像编码处理模块时，根据实施例的视频编码装置2100的内部视频编码处理器可以执行基础的图像编码操作。

视频编码装置2100可以与上面参考图16描述的图像编码和解码系统的编码设备1600相对应。例如，信息编码器2110可以包括编码设备1600的帧间预测器1605、帧内预测器1610、变换器1620、量化器1625和熵编码器1630。重建器2120可以包括编码设备1600的逆量化器1633、逆变换器1635、加法器1615和环内滤波器1645，并且后重建滤波器1930可以与编码设备1600的后重建滤波器1640相对应。

根据实施例的信息编码器2110可以将图片分割成多个最大编码单元，并将每个最大编码单元分割成具有各种尺寸和各种形状的块用于编码。

例如，当当前块的预测模式是帧内模式时，信息编码器2110可以确定位于当前块的帧内预测方向上的空间相邻块的样本当中的参考样本，并且通过使用参考样本来确定与当前块相对应的预测样本。

例如，当在跳过模式下预测当前块时，信息编码器2110可以确定用于预测当前块的运动矢量。信息编码器2110可以从参考图片确定当前块的参考块，并且从当前块确定指示参考块的运动矢量。在跳过模式下，可以不需要对残差块进行编码。

例如，当当前块的预测模式是帧间模式时，信息编码器2110可以确定用于预测当前块的运动矢量。信息编码器2110可以从参考图片确定当前块的参考块，并且从当前块确定指示参考块的运动矢量。信息编码器2110可以从包括在参考块中的参考样本来确定当前块之间的残差样本，并且基于变换单元通过对残差样本执行变换和量化来生成量化的变换系数。

当前块是当根据树结构分割图像时生成的块，并且例如可以与最大编码单元、编码单元或变换单元相对应。信息编码器2110可以根据编码顺序对图片中包括的块进行编码。

信息编码器2110可以输出包括与被确定为编码亮度块的结果的多条编码信息的语法元素相对应的比特流。详细地，信息编码器2110可以生成指示约束帧内预测模式的约束预测信息，并将其添加到图片参数集。

根据实施例的重建器2120可以通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本。

当约束帧内预测模式被启用并且相邻块的预测模式不是帧内预测模式时，根据实施例的后重建滤波器2130可以通过使用当前块的重建样本来填充与当前块和相邻块之间的边界外面邻近的相邻样本。

根据实施例的后重建滤波器2130可以通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波。

在下文中，参考图22描述视频编码装置2100执行视频编码的过程。

图22是根据实施例的视频编码方法的流程图。

在操作2210中，信息编码器2110可以生成指示约束帧内预测模式是否被启用的约束预测信息。信息编码器2110可以生成约束预测信息，诸如指示约束帧内预测模式针对当前图片是否被启用。因此，约束预测信息可以通过被包括在图片参数集中来输出。当当前图片的约束帧内预测模式被启用时，约束帧内预测模式也可以针对包括在当前图片中的当前块被启用。

在操作2220中，重建器2120可以通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本。然而，当在跳过模式下预测当前块时，不生成残差样本，因此可以仅通过使用当前块的预测样本来生成当前块的重建样本。

在操作2230中，当约束帧内预测模式被启用并且相邻块的预测模式不是帧内预测模式时，后重建滤波器2130可以通过使用当前块的重建样本来填充与当前块和相邻块之间的边界外面邻近的相邻样本。

根据实施例的后重建滤波器2130可以将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

当邻近当前块的相邻块的样本对当前块的预测不可用时，根据实施例的后重建滤波器2130可以将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

在操作2240中，后重建滤波器2130可以通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波。后重建滤波器2130可以通过使用相邻样本的填充样本值，即，与相邻样本相对应的填充值，对当前块执行后重建滤波。

后重建滤波器2130可以通过使用邻近当前块的边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行哈达玛变换域滤波。例如，后重建滤波器2130可以通过使用邻近当前块的边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

根据另一实施例的后重建滤波器2130可以通过使用邻近当前块的边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

经由由后重建滤波器2130后重建滤波更新的当前块的重建样本可用于执行邻近当前块的另一个块的帧内预测。此外，经由后重建滤波更新的当前块的重建样本可用于对除当前图片之外的图片的块执行帧间预测。

根据实施例的视频编码装置2100可以通过对经由后重建滤波更新的当前块的重建样本执行环内滤波来更新重建样本的样本值。环内滤波可以包括去块滤波和自适应环路滤波(ALF)。经由环内滤波更新的重建样本可以用作对另一个块的帧间预测的参考样本。

因此，考虑到相邻样本的可靠性低，不仅当相邻块的重建样本由于差的通信环境或编译环境而不可用时，而且当约束帧内预测模式被启用并且相邻块没有在帧内预测模式下被重建时，根据实施例的视频编码装置2100不使用相邻块的样本值来执行后重建滤波。当约束帧内预测模式被启用并且相邻块不在帧内预测模式下被重建时，视频编码装置2100可以通过使用邻近当前块的轮廓的当前块的重建样本值而不是相邻块的样本值来填充邻近当前块的外面的相邻样本，从而仅使用当前块的重建样本值用于后重建滤波。因此，在重建当前块的过程中，从另一块发生的误差被传播的现象可以被最小化。

根据实施例的后重建滤波器2130和后重建滤波器1930可以确定与邻近当前块的轮廓的相邻样本相对应的填充值，并且通过使用填充值来执行后重建滤波。在下文中，将参考图24和图25描述填充相邻样本用于后重建滤波的过程。

图24图示了根据实施例的基于相邻样本的可用性来确定与相邻样本相对应的填充值用于关于当前块的后重建滤波的过程。

当用于滤波的样本的位置由x、y表示时，后重建滤波器1930可以确定填充值recSamplesPad[x][y]用于关于当前块进行滤波。当样本的位置在当前块内时，填充值recSamplesPad[x][y]可以被确定为与当前块的重建样本值recSamples[x][y]相同(操作2400)。

当样本的位置不在当前块内时，可以确定样本的可用性availableN(操作2410)。

首先，填充值的x偏移dx和y偏移dy每个被设置为0。当样本的x坐标为-1时，即，当样本是在横向上邻近当前块的左侧边界的外面的相邻样本时，并且样本的availableN为FALSE时，即，当样本不可用时，dx被设置为1。当样本的x坐标为nCbW时，即，当样本是在横向上邻近当前块的右侧边界的外面的相邻样本时，并且样本的availableN为FALSE时，dx被设置为-1。当样本的y坐标为-1时，即，当样本是在纵向上邻近当前块的上方边界的外面的相邻样本时，并且样本的availableN为FALSE时，dy被设置为1。当样本的y坐标是nCbH时，即，当样本是在纵向上邻近当前块的下方边界的外面的相邻样本时，并且样本的availableN为FALSE时，dy被设置为-1(操作2420)。

当dx和dy的设置在操作2420中完成时，填充值recSamplesPad[x][y]可以被确定为与当前块的重建样本值recSamples[x+dx][y+dy]相同(操作2430)。

换句话说，当样本的x坐标为-1且样本不可用时，dx为1，并且因此填充值recSamplesPad[-1][y]可以被确定为与当前块的重建样本值recSamples[-1+1][y]相同，即，在横向上邻近当前块的左侧边界之内的当前块的重建样本值。当样本的x坐标为nCbW且样本不可用时，dx为-1，因此填充值recSamplesPad[nCbW][y]可以被确定为与当前块的重建样本值recSamples[nCbW-1][y]相同，即，在横向上邻近当前块的右侧边界之内的当前块的重建样本值。当样本的y坐标为-1且样本不可用时，dy为1，因此填充值recSamplesPad[x][-1]可以被确定为与当前块的重建样本值recSamples[x][-1+1]相同，即，在纵向上邻近当前块的上方边界内部的当前块的重建样本值。当样本的y坐标是nCbH且样本不可用时，dy是-1，因此填充值recSamplesPad[x][nCbH-1]可以被确定为与当前块的重建样本值recSamples[x][nCbH-1]相同，即，在纵向上邻近当前块的下方边界之内的当前块的重建样本值。

因此，在操作2420中，当要滤波的样本的位置是邻近当前块边界外面的相邻样本且该样本不可用时，可以通过使用邻近边界之内的当前块的重建样本而不是样本来执行后重建滤波。

当参考在可能发生误差的通信环境或编码环境中重建的另一个图片时，可以在包括误差的同时重建相邻样本。当这种重建的相邻样本用于执行后重建滤波时，包括在相邻样本中的误差也可以传播到当前块。为了防止这种误差传播，根据实施例的视频编码装置2100和视频解码装置1900可以在不仅验证相邻样本的可用性而且验证预测模式之后执行后重建滤波。将参考图25描述根据实施例的后重建滤波器1930和后重建滤波器2130的操作。

图25图示了根据实施例的基于相邻样本的可用性和约束预测模式来确定与相邻样本相对应的填充值用于关于当前块的后重建滤波的过程。

在图24的操作2420中用于确定偏移dx和dy的条件在图25的操作2510至2540中被改变。

在操作2510中，当样本的x坐标为-1时，即，当样本是在横向上邻近当前块的左侧边界外面的相邻样本时，并且当样本的可用性availabilityN为FALSE或者约束帧内预测模式被启用(constraint_intra_pred_flag等于1)且包括相邻样本的相邻块的预测模式不是帧内预测模式(CuPredMode[xCb+x][yCb+y]不等于MODE_INTRA)时，即，当相邻样本没有在帧内预测模式下被重建时，dx被设置为1。

在操作2520中，当样本的x坐标是nCbW时，即，当样本是在横向上邻近当前块的右侧边界外面的相邻样本时，并且当样本的可用性availableN为FALSE或约束帧内预测模式被启用且包括相邻样本的相邻块的预测模式不是帧内预测模式时，即，当相邻样本没有在帧内预测模式下被重建时，dx被设置为-1。

在操作2530中，当样本的y坐标为-1时，即，当样本是在纵向上邻近当前块的上方边界外面的相邻样本时，并且当样本的可用性availableN为FALSE或约束帧内预测模式被启用且包括相邻样本的相邻块的预测模式不是帧内预测模式时，即，当相邻样本没有在帧内预测模式下被重建时，dy被设置为1。

在操作2540中，当样本的y坐标是nCbH时，即，当样本是在纵向上邻近当前块的下方边界外面的相邻样本时，并且当样本的可用性availableN为FALSE或约束帧内预测模式被启用且包括相邻样本的相邻块的预测模式不是帧内预测模式时，即，当相邻样本没有在帧内预测模式下被重建时，dy被设置为-1。

因此，当样本的x坐标是-1且样本不可用时，或者约束帧内预测模式被启用且包括相邻样本的相邻块不是帧内预测模式时(当相邻样本没有在帧内预测模式下被重建时)，dx是1，并且因此填充值recSamplesPad[-1][y]可以被确定为与在横向上邻近当前块的左侧边界之内的当前块的重建样本值相同。

当样本的x坐标是nCbW且样本不可用时，或者约束帧内预测模式被启用且包括相邻样本的相邻块不是帧内预测模式时(当相邻样本没有在帧内预测模式下被重建时)，dx是-1，并且因此填充值recSamplesPad[nCbW][y]可以被确定为与在横向上邻近当前块的右侧边界之内的当前块的重建样本值相同。

当样本的y坐标为-1且样本不可用时，或者约束帧内预测模式被启用且包括相邻样本的相邻块不是帧内预测模式时(当相邻样本没有在帧内预测模式下被重建时)，dy是1，并且因此填充值recSamplesPad[x][-1]可以被确定为与在纵向上邻近当前块的上方边界之内的当前块的重建样本值相同。

当样本的y坐标是nCbH且样本不可用时，或者约束帧内预测模式被启用且包括相邻样本的相邻块不是帧内预测模式时(当相邻样本没有在帧内预测模式下被重建时)，dy是-1，并且因此填充值recSamplesPad[x][nCbH-1]可以被确定为与在纵向上邻近当前块的下方边界之内的当前块的重建样本值相同。

通过使用2x2填充面积中包括四个填充值recSamplesPad[x][y]，对当前样本执行后重建滤波。因此，当由填充面积覆盖的四个样本都是当前块的重建样本时，四个样本都是可用的，因此四个填充值可以被确定为与当前块的重建样本值相同。因此，可以通过使用当前块的重建样本值来执行后重建滤波。

然而，当由填充面积覆盖的四个样本中的一些是相邻块的重建样本时，当(i)相邻块的重建样本不可用或者(ii)在约束帧内预测模式被启用的同时相邻块在除帧内预测模式之外的预测模式下被重建时，不可能通过使用相邻块的重建样本值来确定填充值。在这种情况下，通过使用邻近相邻块的重建样本的当前块的重建样本值来确定与相邻块相对应的重建样本的填充值，可以确保四个填充值。因此，同样在此时，通过使用当前块的重建样本值来执行后重建滤波。换句话说，当(i)相邻块的重建样本不可用或者(ii)在约束帧内预测模式被启用的同时相邻块在除帧内预测模式之外的预测模式下被重建时，确定相邻块的重建样本值的可靠性低，因此仅使用当前块的重建样本值而不是相邻块的重建样本值来执行后重建滤波。根据实施例的视频编码装置2100和视频解码装置1900可以通过不仅考虑相邻样本的可用性，而且考虑是否启用约束帧内预测模式和相邻块的预测模式来执行后重建滤波，来防止在相邻块处发生的误差传播到当前块。

在下文中，将参考图26至图31描述高效编码与帧内预测模式相关的语法的方法。

在当前VVC标准中的帧内预测模式下使用的详细工具可以包括帧内子块划分(ISP)、基于矩阵的帧内预测(MIP)、多参考线预测(MRL)和帧内块复制(IBC)。在VVC标准中，指示每个帧内预测工具的用量的旗标被用信号通知给帧内预测模式。当指示帧内预测工具的用量的旗标全部被禁用(关闭状态)时，用于在正常帧内预测模式下执行预测的帧内预测信息(指示帧内预测方向的信息)最终被用信号通知。然而，当存在更多帧内预测工具未被应用于帧内预测的情况时，预先用信号通知指示帧内预测工具的用量的所有旗标有些低效。

根据实施例的视频编码装置2100和视频解码装置1900提出了首先验证是否在正常帧内预测模式下执行预测并然后发送指示剩余帧内预测工具的用量的旗标的方法。

下面将参考图26针对工具被单独发送的情况以及参考图27针对两个或更多个帧内预测工具形成集合以生成指示启用/禁用的索引且发送该索引的情况来描述指示剩余帧内预测工具的用量的旗标。

图26图示了根据实施例的用于在指示正常帧内预测模式的情况的旗标出现时定义帧内预测的伪代码。

当指示是否在正常帧内预测模式下执行预测的旗标2610被首先定义且根据正常帧内预测模式的预测被执行时，可以仅用信号通知用于确定帧内预测方向的信息2620，而无需发送指示另一帧内预测工具的用量的旗标2640。详细地，关于用于确定帧内预测方向的信息2620，可以用信号通知最可能模式(MPM)旗标(intra_mpm_flag)，并且可以包括MPM索引(intra_mpm_idx)或剩余模式索引(intra_remainder)。因此，根据图26的语法信令方法，可以节省用于表示帧内预测模式的比特。

正常帧内预测模式表示在帧内预测期间使用方向预测模式的预测模式。根据正常帧内预测模式的预测可以与帧内预测工具或后处理工具一起执行，该工具不单独地需要指示用量的旗标，如依靠位置的帧内预测组合(PDPC)或插值滤波。

除了正常帧内预测模式之外的帧内预测工具表示帧内预测，诸如从方向帧内预测扩展的ISP、MIP、MRL和IBC的预测工具被一起应用于该帧内预测，并且通常，指示帧内预测工具的用量的旗标可以单独地出现。

图27图示了根据另一实施例的用于当用于指示除正常帧内预测模式之外的剩余帧内预测模式的打开/关闭状态的索引出时定义帧内预测的伪代码。

当预测模式不是正常帧内预测模式时，根据实施例的视频解码装置1900可以通过使用帧内预测工具的相关性来获得帧内预测工具索引。

例如，当组合帧内子块划分(ISP)工具和多参考线预测(MRL)工具时，可以索引每个指示启用ISP/MRL的比特的组合00、01、10和11。因此，两个或更多个帧内预测工具的启用状态可以通过使用两个或更多个比特的索引而不是一个比特的旗标来指示。当帧内预测工具之间存在相关性时(例如，当一个特殊工具被启用时，另一个工具被无条件地启用或禁用的关系等)，可以减少索引候选，因此也可以减少用于表示索引的比特数。作为另一个例子，通过将上下文模型应用于经常选择的组合索引，可以节省用信号通知的比特数。

视频编码装置2100可以在有若干帧内预测工具时组合指示启用所有工具的索引，并且使用指示工具的用量的组合索引，从而仅当指示组合索引的比特数减少时应用组合索引方法。

例如，很难一起使用基于矩阵的帧内预测(MIP)工具、ISP工具、MRL工具和帧内量化的残差差分脉冲编码调制(RDPCM)工具。因此，可以独立地用信号通知指示MIP的用量的乔彪，并且可以组合指示剩余工具的用量的索引，并且可以对索引执行固定长度编码(FLC)。

作为另一个示例，可以确定帧内预测工具的优先级，并且可以经由截断的二元编码方法用信号通知帧内预测工具的组合索引。

参考图27，当首先定义指示是否在正常帧内预测模式下执行预测的旗标2710并且执行根据正常帧内预测模式的预测时，可以仅用信号通知用于确定帧内预测方向的信息2720，而无需发送指示另一帧内预测工具的用量的组合索引2740。当不执行根据正常帧内预测模式的预测时，可以用信号通知指示另一帧内预测工具的用量的组合索引2740。

图28图示了对于各种帧内预测模式中的每一种帧内预测模式的被允许执行帧内预测的块尺寸。

用于当前VVC标准中使用的帧内预测工具，存在如图28所示的块尺寸限制。因为在执行每个帧内预测工具之前需要验证块尺寸是否在被限制的尺寸范围内，所以操作负担可能会增加。

参考图29、图30和图31，提出了通过其减少根据实施例的视频编码装置2100和视频解码装置1900验证帧内用于预测工具的块尺寸的过程的方法。

图29图示了根据实施例的用于在确定帧内预测模式之前立刻限制块尺寸的伪代码。

其中允许帧内预测工具的最大块尺寸可以统一为64x64。在这种情况下，每当确定是否执行每个帧内预测工具时，不需要比较当前块尺寸和块尺寸限制。详细地，根据图29，视频解码装置1900可以在紧接在指示帧内预测工具(诸如ISP、MIP、MRL或IBC)的用量的信息被编码之前，立即验证当前块的高度和宽度是否每个等于或小于64(if(width<＝64&&height<＝64))。

图30图示了根据另一实施例的用于限制块帧内尺寸以及正常帧内预测模式标志的伪代码。

根据图30，当定义正常帧内预测模式标志(normal flag)时，可以验证是否执行了根据帧内预测模式的预测，以及当前块的宽度和高度是否每个都等于或小于64，即，允许帧内预测工具的最大尺寸。

图31图示了根据另一实施例的用于限制仅对特殊块尺寸或更小的要执行的帧内预测的伪代码。

根据图31的实施例，帧内预测可以仅在当前块的尺寸等于或小于特殊尺寸时执行，而不管双树模式还是单树模式。

下面将描述根据实施例的视频编码装置2100和视频解码装置1900在约束帧内预测模式被启用时改变编码工具的方法。

当启用约束帧内预测模式时，现有的编码工具可能需要改变，以便保证容错性。例如，当应用约束帧内预测模式时，可能发生关于是将当前块作为帧间块还是帧内块来处理，以及当当前块被定义为帧内块时如何使用参考样本的问题。

首先，将描述确定参考样本的方法。

当当前块的预测模式是帧内预测模式时，需要使用相邻块的样本来执行帧内预测。然而，当约束帧内预测模式被启用并且相邻块是在帧间预测模式下重建的块时，可以确定相邻块不可用。当在帧间预测模式下重建的块和在帧内预测模式下重建的块在相邻块中混合时，在帧内预测模式下重建的块的样本可以用作用于执行当前块的帧内预测的参考样本。

有一种使用参考样本而不是帧内预测的编码工具。例如，诸如哈达玛变换域滤波的后重建滤波可以使用当前块的相邻块的样本用于滤波。当在约束帧内预测模式被启用的同时执行后重建滤波，并且相邻块是在帧间预测模式下重建的块时，可以确定相邻块不可用。当在帧间预测模式下重建的块和在帧内预测模式下重建的块在相邻块中混合时，在帧内预测模式下重建的块的样本可以用作用于相对于当前块执行后重建滤波的参考样本。

此外，当帧间或帧内相邻块的样本可用时，不管约束帧内预测模式，也不管相邻块是在帧间预测模式还是帧内预测模式下重建的块，可以通过使用相邻块的重建样本来执行用于当前块的后重建滤波。

在约束帧内预测模式被启用的同时，根据实施例的视频编码装置2100和视频解码装置1900根据组合的帧间和帧内预测(CIIP)模式执行预测的方法如下。

当约束帧内预测模式被启用并且相邻块都是在帧间预测模式下重建的块时，CIIP模式可以被禁用以节省用于发信号通知指示CIIP模式的应用的旗标和相关的索引的比特。作为另一示例，当当前块的相邻块都在帧内预测模式下被重建时，可以限制确定是否使用CIIP模式。

当相邻块在CIIP模式下被重建时，相邻块被认为是在帧间预测模式下重建的块，并且被定义为不可用块。作为另一示例，可以根据在CIIP模式下重建的相邻块的帧间/帧内权重，确定是将相邻块定义为在帧间预测模式下重建的块还是在帧内预测模式下重建的块。详细地，当帧内权重为3并且帧间权重为1时，相邻块可以被定义为在帧内预测模式下重建的块，并且被确定为可用块。

作为另一示例，以CIIP模式重建的相邻块可以被确定为在帧内预测模式下重建的块。在这种情况下，在去块滤波过程期间，可以以与在帧内预测模式下重建的块相同的边界滤波强度(BS)对相邻块的边界进行滤波。详细地，如在HEVC标准中，在CIIP模式下重建的相邻块的边界处的边界滤波强度可以被设置为2。

同时，上述本公开的实施例可以被编写为可以存储在介质中的计算机可运行程序。

介质可以连续存储计算机可运行程序，或者临时存储计算机可运行程序或指令用于运行或下载。此外，介质可以是各种记录介质或储存介质中的任何一种，其中单片或多片硬件被组合，并且介质不限于直接连接到计算机系统的介质，而是可以分布在网络上的。介质的示例包括诸如硬盘、软盘和磁带的磁介质，诸如CD-ROM和DVD的光学记录介质，诸如光磁软盘的磁光介质，以及被配置为存储程序指令的ROM、RAM和闪存。机器可读储存介质可以以非暂时性储存介质的形式提供。这里，“非暂时性储存介质”仅表示有形设备，并不包含信号(例如，电磁波)。该术语不区分数据半永久存储在储存介质中的情况和数据临时存储在储存介质中的情况。例如，“非暂时性储存介质”可以包括临时存储数据的缓冲器。

介质的其他示例包括由分发应用的应用商店或由供应或分发其他各种类型软件的网站、服务器等管理的记录介质和储存介质。

根据实施例，根据本说明书中公开的各种实施例的方法可以通过被包括在计算机程序产品中来提供。计算机程序产品是可以在卖方和买方之间交易的产品。计算机程序产品可以以机器可读储存介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，Play Store^TM)分发(例如，下载或上传)，或者在两个用户设备(例如，智能电话)之间直接或在线分发。在在线分发的情况下，计算机程序产品的至少一部分(例如，可下载的应用)可以至少是临时生成的或临时存储在机器可读储存介质中，诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。

虽然已经参照附图描述了本公开的一个或多个实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种视频解码方法，包括：

获得指示约束帧内预测模式是否被启用的约束预测信息；

通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；

当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本来确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本对应的填充值；以及

通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

2.根据权利要求1所述的视频解码方法，其中，生成当前块的重建样本包括：

通过对当前块执行预测来生成当前块的预测样本；以及

通过对当前块执行逆变换来生成当前块的残差样本。

3.根据权利要求1所述的视频解码方法，其中，通过使用当前块的重建样本来确定与相邻样本相对应的填充值包括：将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

4.根据权利要求1所述的视频解码方法，还包括：当邻近当前块的相邻块的样本不可用于当前块的预测时，将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

5.根据权利要求1所述的视频解码方法，其中，通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波包括：通过使用邻近边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

6.根据权利要求1所述的视频解码方法，其中，通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波包括：通过使用邻近边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

7.根据权利要求1所述的视频解码方法，还包括：

通过使用经由后重建滤波更新的当前块的重建样本，在帧内模式下对邻近当前块的第一块执行预测；以及

对经由后重建滤波更新的当前块的重建样本执行环内滤波。

8.一种视频解码装置，包括：

获取器，被配置为获得指示约束帧内预测模式是否被启用的约束预测信息；

重建器，被配置为通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；以及

后重建滤波器，被配置为当约束帧内预测模式由约束预测信息启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本来确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值，并且通过使用与相邻样本相对应的填充值来对当前块执行后重建滤波。

9.一种视频编码方法，包括：

生成指示约束帧内预测模式是否被启用的约束预测信息；

通过使用当前块的预测样本和当前块的残差样本来生成当前块的重建样本；

当约束帧内预测模式被启用并且相邻块的预测模式不是帧内预测模式时，通过使用当前块的重建样本来确定对应于与当前块和相邻块之间的边界外面邻近的相邻样本的填充值；以及

通过使用与相邻样本相对应的填充值，对当前块执行后重建滤波。

10.根据权利要求9所述的视频编码方法，其中，生成当前块的重建样本包括：

通过对当前块执行预测来生成当前块的预测样本；以及

通过对当前块执行逆变换来生成当前块的残差样本。

11.根据权利要求10所述的视频编码方法，其中，通过使用当前块的重建样本来确定与相邻样本相对应的填充值包括：将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

12.根据权利要求9所述的视频编码方法，还包括：当邻近当前块的相邻块的样本不可用于当前块的预测时，将与位于当前块和相邻块之间的边界外面的相邻样本相对应的填充值确定为与邻近边界的当前块的重建样本值相同。

13.根据权利要求9所述的视频编码方法，其中，通过使用与相邻样本相对应的填充值对当前块执行后重建滤波包括：通过使用邻近边界的当前块的两个重建样本和与邻近边界的两个相邻样本相对应的填充值来执行2×2哈达玛变换域滤波。

14.根据权利要求9所述的视频编码方法，其中，通过使用与相邻样本相对应的填充值对当前块执行后重建滤波包括：通过使用邻近边界的当前块的重建样本和与邻近边界的相邻样本相对应的填充值来执行双边滤波。

15.根据权利要求9所述的视频编码方法，还包括：

通过使用经由后重建滤波更新的当前块的重建样本，在帧内模式下对邻近当前块的第一块执行预测；以及

对经由后重建滤波更新的当前块的重建样本执行环内滤波。

Images