CN114521329A - 用于处理视频信号的方法和装置 - Google Patents

Abstract

根据本公开内容的一种视频解码方法可以包括以下步骤：确定在当前块中是否跳过逆变换；对当前块的残差系数进行解码；以及基于该确定来选择性地对残差系数应用逆变换。在对残差系数进行解码时，可以选择性地对指示残差系数是否大于0的第一语法或指示残差系数的绝对值的第二语法进行解码。

Description

用于处理视频信号的方法和装置

技术领域

本公开内容涉及用于处理视频信号的方法和装置。

背景技术

近来，在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求增加。由于随着图像数据变得高分辨率和高质量，与现有图像数据相比，数据量相对增加，因此在通过使用例如现有有线和无线宽带电路的介质来传输图像数据或者通过使用现有存储介质来存储图像数据时，传输费用和存储费用增加。可以利用高效图像压缩技术来解决由于图像数据变得高分辨率和高质量而生成的这些问题。

存在各种技术，例如利用图像压缩技术根据当前图片的先前或后续图片来预测在当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息来预测在当前图片中包括的像素值的帧内预测技术、将短符号分配给具有高出现频率的值并且将长符号分配给具有低出现频率的值的熵编码技术等，并且可以通过使用这些图像压缩技术来有效地压缩和传输或者存储图像数据。

另一方面，随着对高分辨率图像的需求增加，对作为新的图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。

发明内容

技术目的

本公开内容的目的在于提供在对视频信号进行编码/解码时有效地对残差系数进行编码/解码的方法和装置。

本公开内容的目的是提供在对视频信号进行编码/解码时对第一变换的结果附加地应用第二变换的方法和装置。

本公开内容的技术效果可以不受以上提及的技术效果的限制，并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的技术效果。

技术解决方案

根据本公开内容的一种对视频信号进行解码的方法可以包括：确定对于当前块是否跳过逆变换；对当前块的残差系数进行解码；以及基于所述确定来选择性地对残差系数应用逆变换。在这种情况下，当对残差系数进行解码时，可以选择性地对表示残差系数是否大于0的第一语法和表示残差系数的绝对值的第二语法中的一个进行解码。

根据本公开内容的对视频信号进行编码的方法可以包括：确定对于当前块是否跳过变换；对应用变换的结果或跳过变换的结果进行量化；以及对作为所述量化的结果输出的残差系数进行编码。在这种情况下，当对残差系数进行编码时，可以选择性地对表示残差系数是否大于0的第一语法和表示残差系数的绝对值的第二语法中的一个进行编码。

在根据本公开内容的对视频信号进行解码的方法中，可以通过将阈值与通过使用上下文信息解码的二进制位的数目进行比较，来确定是要解码第一语法还是要解码第二语法。

在根据本公开内容的对视频信号进行解码的方法中，当以下中的至少一个被解码时，通过使用上下文信息解码的二进制位的数目可以增加：第一语法、表示绝对值是否具有大于(2N-1)的值的至少一个gt_N_flag、或者表示绝对值是否为偶数的奇偶校验标志。

在根据本公开内容的对视频信号进行解码的方法中，当第一语法被解码并且第一语法表示残差系数具有非零值时，可以附加地对表示残差系数的绝对值是否具有大于1的值的gt_1_flag进行解码。

在根据本公开内容的对视频信号进行解码的方法中，当gt_1_flag表示绝对值具有大于1的值时，可以附加地对表示绝对值是否为偶数的奇偶校验标志和表示绝对值是否大于3的gt_2_flag进行解码。

在根据本公开内容的对视频信号进行解码的方法中，可以基于当前块的大小来确定阈值。

以上针对本公开内容简单概括的特征仅仅是之后描述的本公开内容的详细描述的说明性方面，并且不限制本公开内容的范围。

技术效果

根据本公开内容，可以通过根据通过使用上下文信息编码的二进制位的数目不同地设置残差系数的编码方法来提高编码/解码效率。

根据本公开内容，可以通过附加地对第一变换的结果应用第二变换来提高编码/解码效率。

从本公开内容可获得的效果可以不受以上提及的效果限制，并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的效果。

附图说明

图1是示出根据本公开内容的实施方式的图像编码装置的框图。

图2是示出根据本公开内容的实施方式的图像解码装置的框图。

图3是示出根据本公开内容的实施方式的帧内预测方法的流程图。

图4示出了帧内预测模式的类型。

图5是用于描述在平面模式下得出预测样本的示例的图。

图6表示在水平模式和垂直模式下生成预测样本的示例。

图7和图8是表示应用第二变换的示例的图。

图9和图10示出了基于呈非对称形状的第二变换核的第二变换。

图11表示基于最后的非零系数的位置确定是否对表示是否应用第二变换的信息进行编码的示例。

图12示出了用于4×4大小的块的有限区域候选。

图13是表示应用了预定大小的第二变换核的示例的图。

图14示出了扫描方法。

图15是表示在编码器中对残差系数进行编码的处理的流程图。

图16是表示对残差系数的大小信息进行编码的处理的流程图。

图17是表示在解码器中对残差系数进行解码的处理的流程图。

图18是表示对残差系数的大小信息进行解码的处理的图。

图19和图20是表示对使用上下文信息的二进制位的数目进行计数的示例的图。

图21至图23表示通过使用上下文信息编码的语法之间的优先级为不同的示例。

图24和图25表示被参考以确定上下文信息的周围重建区域。

图26示出了在对标志sig_flag进行编码时可以参考的上下文信息的数目。

图27示出了在对gt_N_flag或par_flag进行编码时可以参考的上下文信息的数目。

具体实施方式

由于本公开内容可以作出各种改变且具有若干实施方式，因此将在图中说明并且详细描述特定实施方式。但是，并不旨在将本公开内容限制为特定实施方式，并且应当理解，本公开内容包括包含在本公开内容的思想和技术范围内的所有改变、等同物或替代物。在描述每个附图时，相似的附图标记用于相似的部件。

可以使用诸如第一、第二等的术语来描述各种部件，但是部件不应受该术语限制。这些术语仅用于区分一个部件与其他部件。例如，在不超出本公开内容的权利的范围的情况下，第一部件可以被称为第二部件，类似地，第二部件也可以被称为第一部件。术语“和/或”包括多个相对输入项目的组合或多个相对输入项目的任何项目。

在部件被称为“链接”或“连接”至其他部件时，应当理解，该部件可以直接链接或连接至其他部件，但是其他部件可以存在于中间。另一方面，在部件被称为“直接链接”或“直接连接”至其他部件时，应当理解，在中间不存在其他部件。

因为本申请中使用的术语仅用于描述特定实施方式，所以其不旨在限制本公开内容。单数的表达包括复数的表达，除非其在上下文中清楚地具有不同的含义。在本申请中，应当理解，诸如“包括”或“具有”等术语是指在说明书中输入的特性、数字、阶段、运动、部件、部分或其组合的存在，但不排除一个或更多个其他特性、数字、阶段、运动、部件、部分或其组合的存在或提前添加的可能性。

在下文中，参照附图，将更详细地描述本公开内容的期望实施方式。在下文中，在图中相同的附图标记用于相同的部件，并且省略对同一部件的重复描述。

图1是示出根据本公开内容的实施方式的图像编码装置的框图。

参照图1，图像编码装置100可以包括：图片分割单元110、预测单元120和预测单元125、变换单元130、量化单元135、重排单元160、熵编码单元165、去量化单元140、逆变换单元145、滤波器单元150和存储器155。

由于图1中的每个构造单元被独立地示出以示出图像编码装置中的不同特性功能，这并不意味着每个构造单元由分开的硬件或一个软件单元构成。也就是说，由于是为了便于描述将每个构造单元列举为每个构造单元而包括每个构造单元，所以每个构造单元中的至少两个构造单元可以被组合以构成一个构造单元，或者一个构造单元可以被分割成多个构造单元以执行功能，并且甚至每个构造单元的集成实施方式和分开的实施方式也包括在本公开内容的权利的范围中，只要它们不背离本公开内容的实质。

此外，一些部件可以仅是用于改进性能的可选部件，而不是执行本公开内容中的基本功能的必要部件。可以通过仅包括实现本公开内容的实质所必需的构造单元而排除仅用于改进性能的部件来实现本公开内容，并且仅包括必要部件而排除仅用于改进性能的可选部件的结构也包括在本公开内容的权利的范围中。

图片分割单元110可以将输入图片分割为至少一个处理单元。就此而言，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在图片分割单元110中，可以将一个图片分割成多个编码单元、预测单元和变换单元的组合，并且可以通过根据预定标准(例如，成本函数)选择一个编码单元、预测单元和变换单元的组合来对图片进行编码。

例如，一个图片可以被分割为多个编码单元。为了分割图片中的编码单元，可以使用诸如四叉树结构的递归树结构，并且通过使用一个图像或最大编码单元作为路径而被分割为其他编码单元的编码单元可以用与所分割的编码单元的数目一样多的子节点来分割。根据特定限制不再被分割的编码单元成为叶节点。换言之，当假设对于一个编码单元仅正方形分割是可能的时，可以将一个编码单元分割成多达四个其他编码单元。

在下文中，在本公开内容的实施方式中，编码单元可以用作用于编码的单元或者可以用作用于解码的单元。

预测单元可以在一个编码单元中以相同大小以至少一个正方形或矩形形状等进行分割，或者可以被分割成使得在一个编码单元中分割的预测单元中的任何一个预测单元可以具有与另一预测单元不同的形状和/或大小。

在生成基于编码块执行帧内预测的预测单元时，当预测单元不是最小编码单元时，可以在不执行分割成多个预测单元N×N的情况下执行帧内预测。

预测单元120和预测单元125可以包括执行帧间预测的帧间预测单元120以及执行帧内预测的帧内预测单元125。可以确定针对预测单元执行帧间预测还是帧内预测，并且可以确定根据每个预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。就此而言，执行预测的处理单元可以不同于确定预测方法和细节的处理单元。例如，可以在预测单元中确定预测方法、预测模式等，并且可以在变换单元中执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换单元130。此外，用于预测的预测模式信息、运动矢量信息等可以在熵编码单元165中利用残差值来编码，并且可以被发送至解码装置。当使用特定编码模式时，可以在不通过预测单元120或125生成预测块的情况下按原样编码原始块并且将其发送至解码单元。

帧间预测单元120可以基于关于当前图片的先前图片或后续图片中的至少一个图片的信息来预测预测单元，或者在一些情况下可以基于关于当前图片中的一些编码区域的信息来预测预测单元。帧间预测单元120可以包括参考图片内插单元、运动预测单元和运动补偿单元。

参考图片内插单元可以从存储器155接收参考图片信息，并且生成等于或小于参考图片中的整数像素的像素信息。对于亮度像素，可以使用具有不同滤波器系数的基于DCT的8抽头内插滤波器来以1/4像素为单位生成等于或小于整数像素的像素信息。对于色度信号，可以使用具有不同滤波器系数的基于DCT的4抽头内插滤波器来以1/8像素为单位生成等于或小于整数像素的像素信息。

运动预测单元可以基于由参考图片内插单元内插的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用诸如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等的各种方法。运动矢量可以具有基于内插像素的以1/2或1/4像素为单位的运动矢量值。运动预测单元可以通过改变运动预测方法来预测当前预测单元。可以使用诸如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等的各种方法，作为运动预测方法。

帧内预测单元125可以基于当前块周围的参考像素信息来生成预测单元，该参考像素信息是当前图片中的像素信息。在当前预测单元中的相邻块是执行帧间预测的块并且因此参考像素是执行帧间预测的像素时，可以通过用执行了帧内预测的周围块的参考像素信息进行替换来使用执行了帧间预测的块中包括的参考像素。换言之，当参考像素不可用时，可以通过用可用参考像素中的至少一个参考像素进行替换来使用不可用的参考像素信息。

帧内预测的预测模式可以具有在执行预测时使用根据预测方向的参考像素信息的定向预测模式和不使用方向信息的非定向模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且可以利用用于预测亮度信息的帧内预测模式信息或预测的亮度信号信息来预测色度信息。

当在执行帧内预测时预测单元的大小与变换单元的大小相同时，可以基于预测单元的左位置处的像素、左上位置处的像素和顶部位置处的像素来执行预测单元的帧内预测。然而，当在执行帧内预测时预测单元的大小与变换单元的大小不同时，可以通过使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N分割的帧内预测可以仅用于最小编码单元。

在帧内预测方法中，可以在根据预测模式将自适应帧内平滑(AIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以不同。为了执行帧内预测方法，可以根据当前预测单元周围的预测单元中的帧内预测模式来预测当前预测单元中的帧内预测模式。当通过使用根据周围预测单元预测的模式信息来预测当前预测单元中的预测模式时，如果当前预测单元中的帧内预测模式与周围预测单元中的帧内预测模式相同，则可以通过使用预定标志信息来发送当前预测单元中的预测模式与周围预测单元中的预测模式相同的信息，并且如果当前预测单元中的预测模式与周围预测单元中的预测模式不同，则可以通过执行熵编码来对当前块的预测模式信息进行编码。

此外，可以生成包括关于残差值的信息的残差块，该残差值是基于在预测单元120和预测单元125中生成的预测单元执行预测的预测单元与预测单元中的原始块之间的差值。可以将所生成的残差块输入至变换单元130。

变换单元130可以通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)、KLT的变换方法来变换原始块和下述残差块，所述残差块包括通过预测单元120和预测单元125生成的预测单元中的残差值信息。可以基于用于生成残差块的预测单元中的帧内预测模式信息来确定是否应用DCT、DST或KLT来变换残差块。

量化单元135可以对在变换单元130中被变换到频域的值进行量化。量化系数可以根据图像的重要性或块而改变。在量化单元135中计算的值可以被提供给去量化单元140和重排单元160。

重排单元160可以对经量化的残差值的系数值执行重排。

重排单元160可以通过系数扫描方法将呈二维块的形状的系数改变成一维矢量的形状。例如，重排单元160可以通过使用Z字形扫描方法从DC系数扫描到高频域中的系数，并且将其改变成一维矢量的形状。根据变换单元的大小和帧内预测模式，代替Z字形扫描，可以使用在列方向上扫描呈二维块形状的系数的垂直扫描或者在行方向上扫描呈二维块形状的系数的水平扫描。换言之，可以根据变换单元的大小和帧内预测模式来确定将使用Z字形扫描、垂直定向扫描和水平定向扫描之中的哪种扫描方法。

熵编码单元165可以基于由重排单元160计算的值来执行熵编码。熵编码可以使用各种编码方法，例如指数哥伦布(Exponential Golomb)、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)。

熵编码单元165可以对来自重排单元160和预测单元120和预测单元125的各种信息例如编码单元中的残差值系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息和传输单元信息、运动矢量信息、参考帧信息、块内插信息、滤波信息等进行编码。

熵编码单元165可以对从重排单元160输入的编码单元中的系数值执行熵编码。

去量化单元140和逆变换单元145对在量化单元135中量化的值执行去量化并且对在变换单元130中变换的值执行逆变换。由去量化单元140和逆变换单元145生成的残差值可以与由包括在预测单元120和预测单元125中的运动预测单元、运动补偿单元和帧内预测单元预测的预测单元进行组合，以生成重构块。

滤波器单元150可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。

去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。为了确定是否执行去块，可以基于包括在块中的若干行或列中包括的像素来确定是否将去块滤波器应用于当前块。当将去块滤波器应用于块时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，当执行水平滤波和垂直滤波时，水平定向滤波和垂直定向滤波可以被设置成并行处理。

偏移校正单元可以针对执行去块的图像以像素为单位校正与原始图像的偏移。为了对特定图片执行偏移校正，可以在将包括在图像中的像素划分成一定数目的区域之后确定将执行偏移的区域，并且可以使用将偏移应用于对应区域的方法或者通过考虑每个像素的边缘信息来应用偏移的方法。

可以基于通过将经滤波的重构图像与原始图像进行比较获得的值来执行自适应环路滤波(ALF)。在将包括在图像中的像素划分成预定组之后，可以通过确定将被应用于对应组的一个滤波器来区分地对每个组执行滤波。与是否将应用ALF有关的信息可以针对亮度信号按编码单元(CU)传输，并且将要应用的ALF滤波器的形状和滤波器系数可以根据每个块而不同。此外，不管要应用的块的特征如何，都可以应用呈相同形状(固定形状)的ALF滤波器。

存储器155可以存储通过滤波器单元150计算的重构块或图片，并且当执行帧间预测时，可以将所存储的重构块或图片提供给预测单元120和预测单元125。

图2是示出根据本公开内容的实施方式的图像解码装置的框图。

参照图2，图像解码装置200可以包括：熵解码单元210、重排单元215、去量化单元220、逆变换单元225、预测单元230和预测单元235、滤波器单元240和存储器245。

当从图像编码装置输入图像比特流时，可以根据与图像编码装置相反的过程来对输入比特流进行解码。

熵解码单元210可以根据与在图像编码装置的熵编码单元中执行熵编码的过程相反的过程来执行熵解码。例如，响应于在图像编码装置中执行的方法，可以应用诸如指数哥伦布、CAVLC(上下文自适应可变长度编码)、CABAC(上下文自适应二进制算术编码)的各种方法。

熵解码单元210可以对与编码装置中执行的帧内预测和帧间预测有关的信息进行解码。

重排单元215可以基于在编码单元中重排熵解码单元210中熵解码的比特流的方法来执行重排。可以通过被重构成二维块形式的系数来重排以一维矢量形式表示的系数。重排单元215可以接收与在编码单元中执行的系数扫描有关的信息，并且通过其中基于在对应的编码单元中执行的扫描顺序反向地执行扫描的方法来执行重排。

去量化单元220可以基于从编码装置提供的量化参数和重排块的系数值来执行去量化。

逆变换单元225可以执行在变换单元中执行的变换，即，用于DCT、DST和KLT的逆变换，即，针对在图像编码装置中执行的量化结果的逆DCT、逆DST和逆KLT。可以基于在图像编码装置中确定的传输单元来执行逆变换。在图像解码装置的逆变换单元225中，可以根据诸如预测方法、当前块的大小、预测方向等的多个信息来选择性地执行变换技术(例如，DCT、DST、KLT)。

预测单元230和预测单元235可以基于与从熵解码单元210提供的预测块的生成有关的信息和从存储器245提供的预解码块或图片信息来生成预测块。

如上所述，当在以与图像编码装置中的操作相同的方式执行帧内预测时，预测单元的大小与变换单元的大小相同时，可以基于预测单元的左位置处的像素、左上位置处的像素和顶部位置处的像素来执行预测单元的帧内预测，但是当在执行帧内预测时预测单元的大小与变换单元的大小不同时，可以通过使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N分割的帧内预测可以仅用于最小编码单元。

预测单元230和预测单元235可以包括：预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元210输入的诸如预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测相关信息等的各种信息，对当前编码单元中的预测单元进行划分，并且确定预测单元是执行帧间预测还是执行帧内预测。帧间预测单元230可以通过使用从图像编码装置提供的当前预测单元中的帧间预测所需的信息，基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息，对当前预测单元执行帧间预测。替选地，可以基于关于在包括当前预测单元的当前图片中预重构的一些区域的信息来执行帧间预测。

为了执行帧间预测，可以基于编码单元来确定包括在对应编码单元中的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式还是帧内块复制模式。

帧内预测单元235可以基于当前图片中的像素信息来生成预测块。当预测单元是执行了帧内预测的预测单元时，可以基于从图像编码装置提供的预测单元中的帧内预测模式信息来执行帧内预测。替选地，帧内预测单元235可以基于调色板模式执行帧内预测，并且将通过参照图3至图28对其进行详细描述。帧内预测单元235可以包括自适应帧内平滑(AIS)滤波器、参考像素内插单元和DC滤波器。作为对当前块的参考像素执行滤波的部分，可以通过根据当前预测单元中的预测模式确定是否应用滤波器来应用AIS滤波器。通过使用从图像编码装置提供的预测单元中的预测模式和AIS滤波器信息，可以对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时，可以不应用AIS滤波器。

在预测单元中的预测模式是基于对参考像素进行内插的像素值执行帧内预测的预测单元时，参考像素内插单元可以对参考像素进行内插以便以等于或小于整数值的像素为单位生成参考像素。在当前预测单元的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式时，可以不对参考像素进行内插。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。

可以将重构块或图片提供至滤波器单元240。滤波器单元240可以包括去块滤波器、偏移校正单元和ALF。

可以从图像编码装置提供关于是否将去块滤波器应用于对应的块或图片的信息以及关于当应用去块滤波器时是应用强滤波器还是弱滤波器的信息。可以在图像解码装置的去块滤波器中提供与从图像编码装置提供的去块滤波器有关的信息，并且可以在图像解码装置中执行对对应块的去块滤波。

偏移校正单元可以基于偏移值信息、在执行编码时应用于图像的偏移校正的类型对重构图像执行偏移校正。

可以基于从编码装置提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这样的ALF信息可以通过将其包括在特定参数集中来提供。

存储器245可以存储重构图片或块以用作参考图片或参考块，并且将重构图片提供至输出单元。

如上所述，在下文中，在本公开内容的实施方式中，为了便于描述，编码单元被用作编码单元的术语，但是可以是执行解码以及编码的单元。

此外，由于当前块表示待编码/解码的块，根据编码/解码步骤，它可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)或预测块(或预测单元)等。在本说明书中，“单元”可以表示用于执行特定编码/解码处理的基本单元，并且“块”可以表示预定大小的像素阵列。除非另外分类，否则“块”和“单元”可以互换使用。例如，在后面描述的实施方式中，可以理解，编码块(编码块)和编码单元(编码单元)可互换地使用。

可以以块为单位对图像进行编码/解码。可以基于树结构递归地分割编码块。在示例中，可以通过四叉树分割、二叉树分割或三叉树分割中的至少一种对编码块进行分割。

此外，编码块可以被分割成多个预测块或多个变换块。

图3是示出根据本公开内容的实施方式的帧内预测方法的流程图。

参照图3，可以确定当前块的参考样本行的索引S301。索引可以指定多个参考样本行候选中的一个。多个参考样本行候选可以包括与当前块相邻的相邻参考样本行和不与当前块相邻的至少一个非相邻参考样本行。

在示例中，包括其y轴坐标比当前块的最上行小1的相邻行和其x轴坐标比当前块的最左列小1的相邻列的相邻参考样本行可以用作参考样本行候选。

包括其y轴坐标比当前块的最上行小2的非相邻行和其x轴坐标比当前块的最左列小2的非相邻列的第一非相邻参考样本行可以用作参考样本行候选。

包括其y轴坐标比当前块的最上行小3的非相邻行和其x轴坐标比当前块的最左列小3的非相邻列的第二非相邻参考样本行可以用作参考样本行候选。

索引可以指示相邻参考样本行、第一非相邻参考样本行或第二非相邻参考样本行中的一个。在示例中，当索引为0时，这意味着选择了相邻参考样本行，当索引为1时，这意味着选择了第一非相邻参考样本行，并且当索引为2时，这意味着选择了第二非相邻参考样本行。

可以在比特流中用信号通知指定多个参考样本行候选中的一个的索引。

替选地，可以针对亮度分量块用信号通知索引，并且可以针对色度分量块省略用信号通知索引。当省略用信号通知索引时，可以将索引推断为0。换言之，对于色度分量块，可以通过使用相邻参考样本行来执行帧内预测。

由选择的参考样本行所包括的重构样本可以被得出为参考样本。

接下来，可以确定当前块的帧内预测模式S302。

图4示出了帧内预测模式的类型。如图4所示的示例中，帧内预测模式包括非定向预测模式(DC和平面)和定向预测模式。图4示出了限定了65个定向预测模式。

可以在比特流中用信号通知表示当前块的帧内预测模式是否与MPM(最可能模式)相同的标志。在示例中，当MPM标志的值为1时，其表示存在与当前块的帧内预测模式相同的MPM。另一方面，当MPM标志的值为0时，其表示不存在与当前块的帧内预测模式相同的MPM。

当MPM标志的值为1时，可以用信号通知表示当前块的帧内预测模式是否与默认帧内预测模式相同的标志。默认帧内预测模式可以是DC、平面、垂直定向预测模式或水平定向预测模式中的至少一个。在示例中，可以用信号通知intra_not_planar_flag，即表示当前块的帧内预测模式是否为平面模式的标志。当标志intra_not_planar_flag的值为0时，这表示当前块的帧内预测模式为平面。另一方面，当标志intra_not_planar_flag的值为1时，这表示当前块的帧内预测模式不是平面的。当标志intra_not_planar_flag的值为1时，可以用信号通知指定MPM候选之一的索引。可以将当前块的帧内预测模式设置成与由MPM索引指示的MPM相同。

基于帧内预测模式和属于参考样本行的参考样本，可以得出预测样本S303。

在当前块的帧内预测模式是定向预测模式时，可以通过使用定位在跟随定向预测模式的角度的线上的参考样本来得出预测样本。

在当前块的帧内预测模式是平面模式时，可以通过使用待预测的样本的垂直方向上的参考样本和待预测的样本的水平方向上的参考样本来得出预测样本。

图5是用于描述在平面模式下得出预测样本的示例的图。

在图5中，T表示与当前块的右上拐角相邻的参考样本，并且L表示与当前块的左下拐角相邻的参考样本。

在平面模式下，对于待预测的样本，可以得出水平定向预测样本P1和垂直定向预测样本P2。

可以通过对与待预测的样本定位在相同的水平线上的右上参考样本T和参考样本H执行线性内插来生成水平定向预测样本P1。

可以通过对与待预测的样本定位在相同的垂直线上的左下参考样本L和参考样本V执行线性内插来生成垂直定向预测样本P2。

随后，基于水平定向预测样本P1和垂直定向预测样本P2的加权和运算，可以得出预测样本。等式1表示通过水平定向预测样本P1和垂直定向预测样本P2的加权和运算得出预测样本P的示例。

[等式1]

P＝(α×P1+β×P2)/(α+β)

在等式1中，α表示应用于水平定向预测样本P1的权重，并且β表示应用于垂直定向预测样本P2的权重。

可以基于当前块的大小或形状来确定权重α和β。具体地，可以通过考虑当前块的宽度或高度中的至少一个来确定权重α和β。在示例中，在当前块的宽度和高度相同时，可以将权重α和β设置为相同的值。当权重α和β相同时，预测样本可以被得出为水平定向预测样本P1和垂直定向预测样本P2的平均值。另一方面，在当前块的宽度和高度不同时，可以不同地设置权重α和β。在示例中，在当前块的宽度大于高度时，可以将权重β设置为大于权重α的值，并且在当前块的高度大于宽度时，可以将权重α设置为大于权重β的值。替选地，相反地，在当前块的宽度大于高度时，可以将权重α设置为大于权重β的值，并且在当前块的高度大于宽度时，可以将权重β设置为大于权重α的值。

在另一示例中，可以从多个权重集候选之一中得出权重α和β。在示例中，当预定义表示权重α和β的组合的权重候选集(1，1)、(3，1)和(1，3)时，权重α和β可以被选择为与权重候选集之一相同。

可以在比特流中用信号通知指示多个权重集候选之一的索引。可以在块级别用信号通知索引。在示例中，可以以编码块或变换块为单位用信号通知索引。

替选地，可以在编码树单元、切片、图片或序列的级别用信号通知索引。包括在索引传输单元中的块可以通过参考在更高级别用信号通知的索引来确定权重α和β。换言之，对于包括在索引传输单元中的块，可以将权重α和β设置为相同。

在图5的示例中，示出了右上参考样本T用于得出水平定向预测样本P1，并且左下参考样本L用于得出垂直定向预测样本P2。

可以通过使用除了右上参考样本之外的参考样本来得出水平定向预测样本P1，或者可以通过使用除了左下参考样本之外的参考样本来得出垂直定向预测样本P2。在示例中，可以配置用于得出水平定向预测样本P1的第一参考样本和用于得出垂直定向预测样本P2的第二参考样本的参考样本集候选，并且可以通过使用从多个参考样本集候选中选择的一个候选来得出水平定向预测样本P1和垂直定向预测样本P2。

可以在比特流中用信号通知识别多个参考样本集候选中的一个候选的索引。可以以块、子块或样本为单位来用信号通知该索引。

替选地，可以基于待预测的样本的位置来选择参考样本集候选。

在定向预测模式下，可以通过使用当前块周围的重构像素来生成预测样本。

图6表示在水平模式和垂直模式下生成预测样本的示例。

如图6所示的示例中，在水平模式下，可以通过使用在待预测的样本的水平方向上的重构样本来生成预测样本。

在垂直模式下，可以通过使用待预测的样本的垂直方向上的重构样本来生成预测样本。

在基于帧内预测模式执行帧内预测之后，可以通过从原始块中减去预测块来得出残差块。

在这种情况下，可以使用利用第0个模式至第66个模式之一的预测方法，或者也可以使用有限预测方法。在有限预测方法中，可以仅使用水平方向上的帧内预测模式(第18个)或垂直方向上的帧内预测模式(第50个)。在这种情况下，帧内预测模式可以由1位信息来指定。替选地，可以添加除了垂直方向和水平方向之外的对角线定向预测模式例如左下对角线方向(第2个)和右上对角线方向(第66个)作为可用候选。在这种情况下，帧内预测模式可以由2位信息来指定。替选地，可以添加3个对角线方向模式例如左下对角线方向(第2个)、左上对角线方向(第34个)和右上对角线方向(第66个)中的2个作为可用候选。

可以对可用帧内预测模式的数目进行编码并且将其发送至解码器。替选地，可以在编码器和解码器中使用的帧内预测模式的数目可以是固定的。替选地，可以基于当前块的大小或形状来确定可用帧内预测模式的数目。

在执行预测之后，可以通过使原始块与预测块相减来获得残差块。当获得残差块时，可以通过对残差块执行变换或量化中的至少一种来获得残差系数。

可以对表示是否对当前块应用变换的信息进行编码并且将其用信号通知。在示例中，可以对transform_skip_flag进行编码并且将其用信号通知。当transform_skip_flag为1时，这表示未对当前块应用变换。此处，变换可以包括稍后将描述的第二变换以及第一变换。当transform_skip_flag为0时，这表示对当前块应用了变换。当transform_skip_flag为0时，必须对当前块应用第一变换，而可以可选地应用第二变换。

可以根据基于DCT的变换核或基于DST的变换核中的至少一个来执行变换。此处，基于DCT的变换核可以包括DCT-2或DCT-8中的至少一个，并且基于DST的变换核可以包括DST-7。可以将附加变换应用于变换残差样本的结果。在下文中，为了便于描述，由基于DCT或DST的变换核执行的变换被称为第一变换，并且附加地应用至第一变换的结果的变换被称为第二变换。此外，将由第一变换的结果生成的变换系数称为第一变换系数，并且将由第二变换的结果生成的变换系数称为第二变换系数。

第二变换可以应用于第一变换系数的至少一部分。在示例中，根据第二变换核的大小，可以将第二变换应用于16个、48个或64个第一变换系数。包括应用了第二变换的第一变换系数的区域的形状可以是正方形、非正方形或多边形。

等式2表示第二变换的应用方面。

[等式2]

B_R×1＝T_R×N·A_N×1

在等式2中，B_R×l表示由R行和1列组成的第二变换系数。T_R×N表示由R行和N列组成的第二变换核。A_N×1表示由N行和1列组成的第一变换系数。

图7和图8是表示应用第二变换的示例的图。

图7表示第二变换核具有64×64大小的示例。由8×8块中的第一变换的结果生成的第一变换系数可以以一维来布置。在这种情况下，可以通过以预定扫描方法扫描第一变换系数来生成一维阵列。预定扫描方法可以包括对角线定向扫描、水平定向扫描、垂直定向扫描或光栅扫描中的至少一个。

当通过重排生成64×1大小的输入矩阵时，可以通过64×64大小的第二变换核与64×1大小的输入矩阵之间的矩阵乘积来得出第二变换系数。

作为执行第二变换的结果，可以生成64个第二变换系数并且可以重排8×8块中的第二变换系数。在对第二变换系数被重排的8×8块进行量化之后，可以对经量化的变换块进行编码。

图8表示第二变换核具有48×48大小的示例。在由8×8块中的第一变换的结果生成的第一变换系数中，可以以一维来重排48个第一变换系数。在这种情况下，48个第一变换系数可以包括在8×8块中的排除4×4大小的右下子块的多边形区域中。

当通过以一维重排48个第一变换系数来生成48×1大小的输入矩阵时，可以通过48×48大小的第二变换核与48×1大小的输入矩阵之间的矩阵乘积来得出第二变换系数。

作为执行第二变换的结果，可以生成48个第二变换系数并且可以重排8×8块中的第二变换系数。在示例中，48个第二变换系数可以被重排在8×8块中的排除4×4大小的右下子块的多边形区域中。

在不用于布置第二变换系数的区域中，第一变换系数可以保持原样。在对包括第二变换系数和第一变换系数的块应用量化之后，可以对经量化的变换块进行编码。

替选地，可以将不用于布置第二变换系数的区域中的变换系数设置为0。换言之，可以在将不应用第二变换的区域中的变换系数的值设置为0之后执行量化和编码。

可以基于当前块的大小来确定第二变换核的大小。在示例中，在当前块的宽度或高度中的至少一个为4时，可以将第二变换应用于16个第一变换系数。另一方面，在当前块的宽度和高度等于或大于8时，可以将第二变换应用于48个或64个第一变换系数。

替选地，可以对表示第二变换核的大小和类型的信息进行编码并且将其用信号通知。可以在块级别用信号通知索引。在示例中，可以对指定变换大小的列数或行数中的至少一个的信息进行编码。替选地，在将不同的索引分配给行数和列数的每个组合之后，可以对指定组合之一的索引进行编码。替选地，在将不同的索引分配给多个第二变换核候选中的每个候选之后，可以对指定第二变换核候选之一的索引进行编码。此处，对于多个第二变换核候选中的每一个，大小或系数中的至少一个可以不同。

替选地，基于当前块的大小，在确定第二变换核的大小之后，可以对指定具有确定大小的多个第二变换核候选之一的索引进行编码。

图7和图8中所示的示例示出了使用行数与列数相同的第二变换核。为了简化第二变换，可以不同地设置行数和列数。

图9和图10示出了基于呈非对称形状的第二变换核的第二变换。

第二变换核的行数R可以被设置为小于列数N的值。例如，可以将行数R设置为8，并且可以将列数N设置为48。

当第二变换核的行数减少时，作为第二变换的结果输出的第二变换系数的数目也减少。例如，当执行8×48大小的第二变换核与48×1大小的输入矩阵之间的矩阵乘积时，生成8×1大小的第二变换系数。

8个第二变换系数可以在8×8块中重排。在这种情况下，可以在应用了第二变换的区域内(即，包括对其应用了第二变换的第一变换系数的区域)内未分配第二变换系数的区域中将变换系数的值设置为0。例如，当包括48个样本的多边形区域是应用第二变换的区域时，可以在多边形区域之中的排除分配有8个第二变换系数的区域的其余区域中，将变换系数的值设置为0。

在未应用第二变换的区域中，第一变换系数可以保持原样。

替选地，可以将未应用第二变换的区域中的第一变换系数的至少一部分转换为0并对其进行编码。在图10中，示出了将未应用第二变换的区域的至少一部分转换为0的示例。

如图10的(a)所示的示例，在未执行第二变换的区域内，可以将与高频域对应的第一变换系数的值转换为0。在示例中，可以将x轴和y轴坐标之和等于或大于阈值的第一变换系数的值转换为0。

替选地，根据形状，可以选择转换为0的第一变换系数。在示例中，如图10的(b)所示的示例中，可以将不执行第二变换的区域内的n个底行中包括的第一变换系数转换为0。替选地，如图10的(c)所示的示例中，可以将未执行第二变换的区域内的n个右列中包括的第一变换系数转换为0。

替选地，如图10的(d)所示的示例中，可以将未执行第二变换的区域内的所有第一变换系数转换为0。

可以基于当前块的大小或形状、帧内预测模式或变换核中的至少一个来确定包括被转换为0的第一变换系数的区域的形状。替选地，可以对指定多个候选形状中的与区域对应的一个候选形状的索引进行编码并且将其用信号通知。

可以基于当前块的编码模式或第一变换核中的至少一个来确定是否允许第二变换。此处，编码模式指示帧内预测或帧间预测。在示例中，虽然在通过帧内预测对当前块进行编码时允许第二变换，但是可能在通过帧间预测对当前块进行编码时不允许第二变换。

可以对表示是否应用了第二变换的信息进行编码并且将其用信号通知。该信息可以是1位的标志。根据该标志是真还是假，可以确定是否对当前块应用第二变换。替选地，该信息可以是索引信息。当索引的值为0时，这表示第二变换未应用于当前块。另一方面，当索引的值大于0时，这表示对当前块应用了第二变换。当索引的值大于0时，可以通过索引指定第二变换核。

可以按颜色分量对表示是否对当前块执行第二变换的信息进行单独编码。在示例中，对于亮度分量(Y)、第一色度分量(Cb)和第二色度分量(Cr)中的每一个，可以对表示是否执行了第二变换的信息进行编码。

替选地，对于色度分量，可以联合地对表示是否执行了第二变换的信息进行编码。在示例中，对于每个色度分量(Cb，Cr)，可以联合地确定是否应用第二变换。换言之，第一色度分量(Cb)和第二色度分量(Cr)可以共享表示是否执行了第二变换的信息。

替选地，可以基于树结构来确定是否按颜色分量对信息进行了编码。在示例中，当亮度分量和色度分量具有相同的树结构时，3个颜色分量(即，Y、Cb、Cr)可以共享表示是否执行第二变换的信息。另一方面，当亮度分量和色度分量具有不同的树结构时，可以针对亮度分量和色度分量中的每一个用信号通知表示是否执行第二变换的信息。

多个第二变换核候选可以被分组成至少多个组。基于当前块的大小或形状或其中的帧内预测模式中的至少一个，可以指定多个组之一。当指定组时，可以通过使用索引信息指定包括在指定组中的多个第二变换核候选中的至少一个。

可以基于当前块中的最后的非零系数的位置来确定是否对表示是否应用第二变换的信息进行编码。

图11表示基于最后的非零系数的位置确定是否对表示是否应用第二变换的信息进行编码的示例。

为了便于描述，假设当执行第二变换时，在排除第二变换系数被重排的区域的其余区域中，将变换系数的值设置为0。

作为执行第二变换的结果，生成与第二变换核的行数R一样多的第二变换系数。如在上述示例中，由于将排除第二变换系数的其余变换系数的所有值设置为0，因此在排除R个第二变换系数被重排的区域的其余区域中不存在非零系数。根据该原理，可以将R个第二变换系数被重排的区域设置为有限区域。

在图11的(a)至(c)中，示出了将8×8大小的块中的4×4大小的左上块设置为有限区域。

当非零系数存在于有限区域外时，这表示未对当前块应用第二变换。因此，当最后的非零系数存在于有限区域外时，可以省略对表示是否对当前块应用了第二变换的信息的编码。在示例中，如图11的(a)所示的示例中，当最后的非零系数存在于有限区域外时，可以省略对表示是否应用了第二变换的信息的编码。

当最后的非零系数存在于有限区域之外时，解码器可以在不对信息进行解码的情况下确定第二逆变换不应用于当前块。

如图11的(b)中所示的示例中，当对当前块应用第二变换时，非零变换系数可以仅存在于有限区域中。替选地，如图11的(c)所示的示例中，尽管第二变换不应用于当前块，但可能发生非零变换系数仅存在于有限区域中的情况。因此，当最后的非零系数存在于有限区域内时，可以对表示是否应用了第二变换的信息进行编码。

解码器可以基于该信息来确定是否将对当前块应用第二逆变换。

替选地，当最后的非零系数存在于有限区域内时，可以省略对信息的编码并且可以默认应用第二变换。

可以基于第二变换核的大小来确定有限区域的大小。在示例中，当第二变换核为R×N大小的矩阵时，可以将宽度和高度分别为Log₂R的矩形区域设置为有限区域。

替选地，可以将应用第二变换的区域设置为有限区域。

替选地，可以对表示有限区域的大小或形状中的至少一个的信息进行编码并且将其用信号通知。可以在诸如序列、图片头部或切片头部的更高级别上用信号通知该信息。

替选地，可以在编码器和解码器中预定义有限区域的大小或形状中的至少一个。在示例中，在编码器与解码器之间，可以预先约定将当前块中的4×4大小的左上块设置为有限区域。

替选地，可以基于当前块的大小或形状、第一变换核或帧内预测模式中的至少一个自适应地确定有限区域的大小或形状中的至少一个。

替选地，在定义多个有限区域候选之后，可以对指定多个有限区域候选之一的索引进行编码并且将其用信号通知。

图12示出了用于4×4大小的块的有限区域候选。

在当前块具有4×4大小时，可以对指定图12所示的多个有限区域候选之一的索引信息进行编码。

可以将图12中所示的有限区域候选中的至少一个应用于具有大于4×4的大小的块以及4×4大小的块。在示例中，还可以将图12所示的有限区域候选中的至少一个应用于宽度或高度中的至少一个为4且另一个大于4的块。

替选地，可以根据当前块的大小来不同地设置有限区域候选的大小或数目。

代替对指定有限区域候选之一的索引进行编码，可以基于当前块的大小或形状来指定有限区域候选之一。

在上述示例中，描述了可以自适应地选择第二变换核的大小。在其他示例中，可以将预定义大小的第二变换核应用于所有块。在示例中，16×48大小的第二变换核可以用于所有块。在这种情况下，可以将第二变换应用于48个第一变换系数。

图13是表示应用了预定大小的第二变换核的示例的图。

当使用16×48大小的第二变换核时，如图13的(a)所示的示例中，第二变换可以应用于8×8大小的块中的排除4×4大小的右下子块的区域。在示例中，可以将第二变换应用于包括在图13的(a)所示的多边形区域中的第一变换系数。

在这种情况下，在当前块的宽度或高度中的至少一个小于8时，可以不对当前块应用第二变换。

替选地，在当前块的宽度或高度中的至少一个小于8时，可以在将应用第二变换的区域变换为诸如4×12或12×4的矩形形状之后执行第二变换。

替选地，在当前块的宽度或高度中的至少一个小于8时，在将当前块的左上位置与应用第二变换的区域的左上区域匹配之后，可以仅将第二变换应用于当前块与应用第二变换的区域之间的交叠区域。

图13的(b)表示仅对交叠区域执行第二变换的示例。

在以一维布置交叠区域中包括的第一变换系数之后，可以将该第一变换系数设置为用于第二变换的输入矩阵。

当对当前块应用第一变换和第二变换时，解码器可以通过在执行对第二变换的逆变换(第二逆变换)之后针对执行第二逆变换的结果执行对第一变换的逆变换(第一逆变换)，来得出残差样本。

可以基于第二变换核的转置矩阵来执行第二逆变换。在示例中，当第二变换核具有8×48大小时，可以由48×8大小的变换核执行第二逆变换。

可以将由第二变换生成的第二变换系数设置为第二逆变换的输入矩阵。在示例中，当由8×48大小的第二变换核执行第二变换时，可以在执行第二逆变换时使用由8个系数组成的8×1大小的输入矩阵。随后，可以通过输入矩阵与第二变换核的转置矩阵之间的矩阵乘积来输出执行了第二逆变换的变换系数。在示例中，可以通过48×8大小的变换核与8×1大小的输入矩阵之间的矩阵乘积来输出48个变换系数。

在重排当前块中的变换系数之后，可以将第一逆变换应用于经重排的块。

在对通过变换残差样本生成的变换系数进行量化之后，可以对经量化的变换系数进行编码。替选地，可以省略量化并且可以对变换系数进行编码。

当不对当前块应用变换时，可以对残差样本进行量化并且可以对经量化的残差样本进行编码。

当跳过变换时，可以附加地按块对量化信息进行编码。在示例中，可以附加地用信号通知通过将DPCM(差分脉冲编码调制)应用于通过序列、图片头部或切片头部发送的量化信息而编码的用于变换跳过的量化信息。

在执行量化之后，可以应用游程长度编码。换言之，可以通过游程长度方法对由量化的结果生成的经量化系数进行编码。此处，游程(run)是指相同的数据是连续的，并且游程长度(run length)是指连续数据的长度。在示例中，当存在字符串aaaaaabbccccccc时，a连续6次，b连续2次，并且c连续7次，所以其可以表达为6a2b7c或a6b2c7并对其进行编码。

编码方法可以被定义为游程长度编码方法。

对于有效的游程长度编码，可以确定最佳扫描方法。

图14示出了扫描方法。

根据图14所示的扫描方法，根据特定方向性来扫描系数。在图14所示的扫描方法中，当连续地布置相同的值时，可以确定为最佳扫描方法。

当对当前块应用变换跳过时，可以对指定当前块的扫描方法的信息进行编码并且将其用信号通知。该信息可以是指定多种扫描方法之一的索引。

可以基于当前块的大小、形状或帧内预测模式中的至少一个来不同地设置可用扫描方法候选的数目或类型。在示例中，在当前块的帧内预测模式在水平方向上或在垂直方向上时，可以仅将图4所示的2个扫描方法设置为候选。另一方面，在当前块的帧内预测模式在对角线方向(例如，2、34或66)上时，可以将图14所示的所有4个扫描方法设置为候选。因此，根据当前块的帧内预测模式，分配给用于指定扫描方法的索引的位长度可以是不同的。在示例中，在当前块的帧内预测模式在水平方向上或在垂直方向上时，索引可以具有1位长度。另一方面，在当前块的帧内预测模式在对角线方向上时，索引可以具有2位长度。

替选地，可以基于当前块的大小、形状或帧内预测模式中的至少一个来确定扫描方法。在示例中，当帧内预测模式在水平方向上时，可以应用图14的(a)所示的水平定向扫描方法或垂直定向扫描方法。

代替通过游程长度方法对经量化系数进行编码，可以应用对经量化系数应用附加预测的编码方法。在示例中，当在当前块中通过帧内预测生成残差块时，可以通过对残差块跳过变换来执行量化。当输出通过量化被量化的系数时，可以将DPCM应用于输出值。

多个方向候选之一可以用于DPCM。在示例中，可以将水平方向DPCM或垂直方向DPCM应用于经量化系数。

编码器可以对用于指定应用于经量化的残差系数的DPCM方向的信息进行编码并且用信号通知。替选地，可以将用于生成预测块的预测方向设置为DPCM方向。

可以在预测帧内预测模式时使用DPCM方向。在示例中，当在得出当前块的MPM候选时将水平方向DPCM应用于邻近块时，可以通过将邻近块的帧内预测模式视为水平方向来得出MPM。替选地，当在得出当前块的MPM候选时将垂直方向DPCM应用于邻近块时，可以通过将邻近块的帧内预测模式视为垂直方向来得出MPM。替选地，当将对角线方向DPCM应用于邻近块时，可以通过将邻近块的帧内预测模式视为对角线方向(例如，2、34或66)或非定向模式(例如，平面或DC)来得出MPM。

在这种情况下，直接从DPCM方向得出的MPM可以在MPM候选之中具有最高或最低优先级。此处，最高优先级可以意味着MPM候选之中的最低索引被分配(即，被设置为第一MPM)，并且最低优先级可以意味着MPM候选之中的最高索引被分配(即，被设置为最后的MPM)。

为了便于描述，在编码器中编码的残差信号相关数据被称为残差系数。例如，根据是应用变换还是量化，残差系数可以意味着经量化的变换系数、变换系数或经量化的残差样本中的至少一个。

可以对表示当前块中是否存在非零残差系数的标志进行编码并且将其用信号通知。当在当前块中存在非零残差系数时，可以对最后的非零残差系数在扫描顺序中的位置进行编码。

此外，可以以当前块中的子块为单位对表示在子块中是否存在非零残差系数的子块标志进行编码。当在子块中存在非零残差系数时，可以附加地按扫描顺序对关于每个残差系数的信息进行编码。

在这种情况下，对于在包括最后的非零残差系数的子块之前被扫描的子块，可以省略对子块标志的编码。由于在子块中不包括非零残差系数，因此子块标志的值可以被推断为0。

此外，对于包括最后的非零残差系数的子块，可以省略对子块标志的编码。由于在子块中必然包括非零残差系数，因此可以将子块标志的值推断为1。

在另一示例中，可以省略对最后的非零残差系数的位置信息的编码。当省略对最后的非零残差系数的位置信息的编码时，可以针对当前块中的所有子块对子块标志进行编码。

在这种情况下，当确定在排除具有最后扫描顺序的子块的其余子块中不包括非零残差系数时，可以理解应当在最后的子块中包括非零残差系数。因此，对于最后的子块，可以省略对子块标志的编码，并且该值可以被推断为1。

可以附加地对表示最后的非零系数的位置信息是否被编码的信息进行编码。在对最后的非零系数的位置信息进行编码时，可以将该信息的值设置为1。在这种情况下，可以从存在最后的非零系数的子块对子块标志进行编码。另一方面，当最后的非零系数的位置信息未被编码时，可以将该信息的值设置为0。在这种情况下，可以从首先扫描的子块中对子块标志进行编码。

当在当前块中存在非零残差系数时，可以假设对于当前块中的第一子块，必然包括非零残差系数。因此，对于第一子块，可以省略对表示是否存在非零残差系数的子块标志的编码。

关于每个残差系数的信息可以包括表示残差系数是否具有非零值的标志、表示残差系数的大小的信息和表示残差系数的符号的信息中的至少一个。

可以以预定的扫描顺序对残差系数进行编码。在这种情况下，残差系数的编码顺序可以基于在当前块中是否跳过变换而不同。在示例中，当在当前块中没有跳过变换时，可以首先对子块中的右下位置处的残差系数进行编码，并且可以最后对左上位置处的残差系数进行编码。换言之，可以根据逆对角线扫描、逆水平扫描或逆垂直扫描来确定残差系数之间的扫描顺序。另一方面，当在当前块中跳过变换时，可以首先对子块中的左上位置处的残差系数进行编码，并且可以最后对右下位置处的残差系数进行编码。换言之，可以根据对角线扫描、水平扫描或垂直扫描来确定残差系数之间的扫描顺序。

替选地，当在当前块中跳过变换时，可以根据逆对角线扫描、逆水平扫描或逆垂直扫描来确定残差系数之间的扫描顺序。

可以在编码器和解码器中预定义残差系数的扫描顺序。替选地，可以对表示残差系数的扫描顺序的信息进行编码并且将其用信号通知。替选地，可以基于以下中的至少一个来确定扫描顺序：当前块的大小或形状、帧内预测模式、是否跳过变换或是否执行第二变换。

图15是表示在编码器中对残差系数进行编码的处理的流程图。

首先，可以对表示残差系数是否具有非零值的标志significant_flag编码S1510。当残差系数的值为0时，可以将标志sig_flag的值设置为0并对其编码。另一方面，当残差系数的值不为0时，可以将标志sig_flag的值设置为1并对其编码。当残差系数的值不为0时，还可以对残差系数的大小信息进行编码S1520。

图16是表示对残差系数的大小信息进行编码的处理的流程图。

可以通过使用至少一个或更多个gt_N_flag对残差系数的绝对值编码。在这种情况下，N可以是等于或大于1的自然数。标志gt_N_flag可以表示残差系数的绝对值是否具有大于2(N-1)的值。可以基于在当前块中是否跳过了变换来确定用于对残差系数的绝对值编码的gt_N_flag的数目。在示例中，当在当前块中未跳过变换时，可以使用2个gt_N_flag(N从1到2)。另一方面，当在当前块中跳过变换时，可以使用3个或更多个gt_N_flag(例如，3、4或5)。在该实施方式中，假设使用2个gt_N_flag。

可以对表示残差系数的绝对值是否大于1的标志gt1_flag编码S1610。当残差系数的绝对值为1时，可以用0对标志gt1_flag的值编码。另一方面，当残差系数的绝对值大于1时，可以用1对标志gt1_flag的值编码。

当残差系数的绝对值大于1时，可以对表示残差系数的绝对值是偶数还是奇数的标志par_flag进行编码S1620。当残差系数的绝对值是偶数时，标志par_flag可以被设置为0并且被编码。另一方面，当残差系数的绝对值是奇数时，标志par_flag可以被设置为1并且被编码。替选地，相反地，当残差系数的绝对值为偶数时，标志par_flag可以被设置为1，并且当残差系数的绝对值为奇数时，标志par_flag可以被设置为0。

接下来，可以对表示残差系数的绝对值是否大于3的标志gt_2_flag进行编码S1630。当残差系数的绝对值等于或小于3时，标志gt_2_flag的值可以被设置为0。另一方面，当残差系数的绝对值大于0时，标志gt_2_flag的值可以被设置为1。

当残差系数的绝对值大于3时，可以对表示残差大小的rem_level进行编码S1640。可以通过将通过从残差系数的绝对值减去4而得出的值向右移位1来得出语法rem_level。

除了图16所示的标志gt_1_flag和gt_2_flag之外，可以附加地对诸如gt_3_flag、gt_4_flag或gt_5_flag等的gt_N_flag编码。在这种情况下，当gt_(N-1)_flag的值为1时，可以附加地对gt_N_flag编码。

gt_N_flag可以表示残差系数的绝对值是否具有大于(2N-1)的值。当附加地使用gt_N_flag时，可以通过将通过从残差系数的绝对值减去2N而得出的值向右移位1来得出rem_level。

在上述示例中，示出了通过使用sig_flag、gt_1_flag、par_flag、gt_2_flag和rem_level对残差系数的绝对值进行编码。在另一示例中，可以按原样对残差系数的绝对值进行编码。在示例中，可以对表示残差系数的绝对值的语法abs_level进行编码。下面将描述选择对残差系数的绝对值进行编码的方法的方法。

在对残差系数的大小信息进行编码之后，可以对表示残差系数的符号的标志sign_flag进行编码S1030。当标志sign_flag的值为0时，其表示残差系数为正数。另一方面，当标志sign_flag的值为1时，其表示残差系数为负数。

表1表示当残差系数的值为-21并且使用2个gt_N_flag时分配给每个语法的值。

[表1]

在表1中，coeff表示残差系数的值，并且“公式”表示用于得出每个语法的值的公式。

表2表示当残差系数的值为-21并且使用5个gt_N_flag时分配给每个语法的值。

[表2]

划分	公式	值
			残差系数(Coeff)	coeff	-21
sig_flag	coeff！＝0	1
			gt_1_flag	！！(|coeff|-1)	1
par_flag	(|coeff|-2)&1	1
			gt_2_flag	|coeff|>＝4	1
gt_3_flag	|coeff|>＝6	1
			gt_4_flag	|coeff|>＝8	1
gt_5_flag	|coeff|>＝10	1
			rem_level	(|coeff|-10)>>1	5
sign_flag		1

图17是表示在解码器中对残差系数进行解码的处理的流程图。

当确定非零残差系数包括在子块中时，可以基于预定扫描顺序来重构残差系数。

首先，可以对表示残差系数是否具有非零值的标志sig_flag进行解码S1710。当标志sig_flag的值为0时，其表示残差系数的值为0。另一方面，当标志sig_flag的值为1时，其表示残差系数的值不为0。当标志的值sig_flag为1时，还可以对残差系数的大小信息进行解码S1720。

图18是表示对残差系数的大小信息进行解码的处理的图。

为了便于描述，假设通过使用多达2个gt_N_flag来对残差系数进行编码。

可以对表示残差系数的绝对值是否大于1的标志gt1_flag进行解码S1810。当标志gt_1_flag的值为0时，其表示残差系数的绝对值为1。另一方面，当标志gt_1_flag的值为1时，其表示残差系数的绝对值大于1。

当标志gt_1_flag的值为1时，可以对表示残差系数的绝对值是偶数还是奇数的标志par_flag进行解码S1820。当标志par_flag的值为0时，其表示残差系数的绝对值为偶数，并且当标志par_flag的值为1时，其表示残差系数的绝对值为奇数。

接下来，可以对表示残差系数的绝对值是否大于3的标志gt_2_flag进行解码S1830。当标志gt_2_flag的值为0时，其表示残差系数的绝对值小于3。当标志gt_2_flag的值为0时，可以根据标志par_flag的值将残差系数的绝对值确定为2或3。

当标志gt_2_flag的值为1时，其表示残差系数的绝对值大于3。

当标志gt_2_flag的值为1时，可以对表示残差大小的rem_level进行解码S1840。可以通过将表示语法rem_level的值向左移位1而得出的值加上3或4来得出残差系数的绝对值。

除了图18所示的标志gt_1_flag和gt_2_flag之外，可以附加地对诸如gt_3_flag、gt_4_flag或gt_5_flag等的gt_N_flag进行解码。在这种情况下，当gt_(N-1)_flag的值为1时，可以附加地对gt_N_flag进行解码。

gt_N_flag可以表示残差系数的绝对值是否具有大于(2N-1)的值。当附加地使用gt_N_flag时，可以将rem_level设置为通过将从残差系数的绝对值减去2N而得出的值向右移位1而得出的值。

在上述示例中，示出了通过使用sig_flag、gt_1_flag、par_flag、gt_2_flag和rem_level来对残差系数的绝对值进行解码。在另一示例中，可以按原样对残差系数的绝对值进行解码。在示例中，可以对表示残差系数的绝对值的语法abs_level进行解码。下面将描述选择对残差系数的绝对值进行解码的方法的方法。

在对残差系数的大小信息进行解码之后，可以对表示残差系数的符号的标志sign_flag进行解码S1230。当标志sign_flag的值为0时，其表示残差系数为正数。另一方面，当标志sign_flag的值为1时，其表示残差系数为负数。

表3表示通过使用2个gt_N_flag对其值为-21的残差系数进行解码的示例。

[表3]

在表3中，变量tmp_coeff表示临时重构系数。当gt_2_flag的值为0时，可以将临时重构系数tmp_coeff设置为残差系数的绝对值。另一方面，当gt_2_flag的值为1时，可以通过基于语法rem_level更新临时重构系数tmp_coeff来得出残差系数的绝对值。

表4表示通过使用5个gt_N_flag来对其值为-21的残差系数进行解码的示例。

[表4]

在表3中，变量tmp_coeff表示临时重构系数。当gt_N_flag为0时，可以将临时重构系数tmp_coeff设置为残差系数的绝对值。另一方面，当gt_N_flag为1时，可以更新临时重构系数(例如，tmp_coeff+＝sig_N_flag<<1)，并且可以解析下一语法。

如所述的那样，可以通过至少一种语法来对残差系数进行编码。可以在(一个或多个)语法的二值化过程中将残差系数改变为多个二进制位，并且可以通过熵编码对改变的二进制位进行编码。

熵编码可以被划分成使用上下文信息的编码和不使用上下文信息的编码。上下文表示二进制位的值为0或1的概率。

可以设置阈值以限制通过使用上下文信息编码的二进制位的数目。对于所生成的二进制位中的、计数值小于阈值的二进制位，执行使用上下文信息的编码。当计数值等于或大于阈值时，可以不再利用使用上下文信息的编码。

可以基于当前块中的非零残差系数的数目来确定阈值。在示例中，可以将当前块中的非零残差系数的数目乘以实数的值或者加上或减去偏移的值设置为阈值。

替选地，可以基于包括在当前块中的像素的数目来确定阈值。在示例中，可以将当前块中的像素的数目乘以实数的值或者加上或减去偏移的值设置为阈值。

替选地，可以在比特流中用信号通知表示阈值的信息。该信息可以通过诸如序列、图片头部或切片头部的较高头部来编码。

替选地，可以基于当前块的大小或形状中的至少一个来确定阈值。

替选地，可以基于以下中的至少一个来确定阈值：是否应用变换跳过、应用于当前块的变换核或量化参数。

当对通过使用上下文信息编码的二进制位的数目计数时，在对表示最后非零残差系数的位置的信息进行编码时，可以将计数器设置为不操作。换言之，可以从计数中排除该信息。

替选地，在对表示当前块中的每个子块是否存在非零残差系数的标志进行编码时，可以将计数器设置为不操作。换言之，可以从计数中排除该标志。

根据本公开内容的实施方式，为了限制通过使用上下文信息编码的二进制位的数目，当通过使用上下文信息编码的二进制位的数目等于或大于阈值时，可以按原样对残差系数的绝对值进行编码，而不是通过使用这样的gt_N_flag等顺序地对残差系数进行编码。在示例中，当通过使用上下文信息编码的二进制位的数目小于阈值时，可以通过使用表1至表4中所示的sig_flag、sign_flag、gt_1_flag、par_flag、gt_2_flag、gt_3_flag、gt_4_flag、gt_5_flag或rem_level中的至少一个来对残差系数的绝对值进行编码。另一方面，当通过使用上下文信息编码的二进制位的数目等于或大于阈值时，可以对表示残差系数的绝对值的语法abs_level进行编码。

每当通过使用上下文信息编码的二进制位被解码时，解码器也可以操作计数器。当计数器的值小于阈值时，可以通过使用sig_flag、sign_flag、gt_1_flag、par_flag、gt_2_flag、gt_3_flag、gt_4_flag、gt_5_flag或rem_level中的至少一个来重构残差系数的绝对值。另一方面，当计数器的值等于或大于阈值时，可以通过使用语法abs_level来重构残差系数的绝对值。

图19是表示对使用上下文信息的二进制位的数目进行计数的示例的图。

为了便于描述，假设在子块中存在16个残差系数，并且假设系数中的每一个是C0至C15。此处，C15意指子块中右下位置处的残差系数，并且C0意指子块中左上位置的残差系数。

另外，残差系数是通过变换生成的，并且因此，假设按照C15至C0的顺序确定扫描顺序。

另外，假设通过使用上下文信息编码的二进制位的最大数目是36，并且假设从计数中排除了表示在子块中是否存在非零残差系数的标志和表示最后的非零残差系数的位置的信息。

在图19中，1轮(pass)表示通过使用上下文信息编码的语法。除了1轮之外的2-1轮、2-2轮和3轮表示在不使用上下文信息的情况下编码的语法。

轮(pass)表示编码和解码顺序。在示例中，在解码器中，可以在对属于1轮的所有语法进行解码之后对属于2-1轮的语法进行解码。另外，可以在对属于2-1轮的所有语法进行解码之后对属于3轮的语法进行解码。

在所示的示例中，2-2轮表示1轮、2-1轮和3轮的交替路径。

当通过使用上下文信息编码的二进制位的系数小于阈值时，可以通过1轮和2-1轮对残差系数的绝对值进行编码。另一方面，当通过使用上下文信息编码的二进制位的系数等于或大于阈值时，可以通过2-2轮对残差系数的绝对值进行编码。

在示例中，如表2中所示的示例中，当第一残差系数C15为-21时，可以对标志sig_flag、gt_1_flag、par_flag、gt_2_flag和rem_level编码。当在对第一残差系数C15编码时通过使用总共4个二进制位来对通过使用上下文信息编码的语法(即，sig_flag、gt_1_flag、par_flag、gt_2_flag)进行编码时，计数器增加至4。

由于在对第一残差系数C15进行编码之后计数器值小于阈值36，因此通过使用上下文信息编码的语法也可以用于第二残差系数C14。当假设通过使用上下文信息编码的4个语法被用于C15至C7中的每一个时，在对残差系数C7的绝对值进行编码之后，计数器值被设置为等于阈值的36。

因此，当对下一残差系数C6进行编码时，可以通过语法abs_level而不使用通过使用上下文信息编码的语法来按原样对残差系数C6的绝对值进行编码。换言之，对于残差系数C6至C0，可以通过使用属于2-2轮的语法abs_level而不是属于1轮的4个语法(即，sig_flag、gt_1_flag、par_flag、gt_2_flag)和属于2-1轮的语法rem_level来对残差系数的绝对值进行编码。

在这种情况下，尽管通过使用上下文信息编码的二进制位的数目小于阈值，但是当数目与阈值之间的差小于通过使用上下文信息编码的语法的最大数目时，可以将abs_level设置为不使用上下文信息来编码。例如，在将sig_flag、gt_1_flag、par_flag和gt_2_flag设置为通过使用上下文信息来编码时，只有当数目与阈值之间的差大于4时，才可以对语法进行编码。另一方面，当该差小于4时，可以对abs_level进行编码。

在所示的示例中，示出了通过使用上下文信息仅对属于1轮的4个语法进行了编码。与所述示例不同，可以通过使用上下文信息来对rem_level(属于2-1轮的语法)或sign_flag(属于3轮的语法)中的至少一个进行编码。在示例中，当通过使用上下文信息对rem_level进行编码时，计数器可以增加至与分配给语法rem_level的二进制位的数目一样多。

在图19所示的示例中，可以将标志par_flag设置为不通过使用上下文信息来编码。图20表示其示例。

在图20中，1轮表示通过使用上下文信息编码的语法。除了1轮之外的2轮、3-1轮、3-2轮和4轮表示在不使用上下文信息的情况下编码的语法。当通过使用上下文信息编码的二进制位的系数小于阈值时，可以通过1轮、2轮和3-1轮对残差系数的绝对值进行编码。另一方面，当通过使用上下文信息编码的二进制位的系数等于或大于阈值时，可以通过3-2轮对残差系数的绝对值进行编码。

在将标志par_flag设置为在不使用上下文信息的情况下被编码时，计数器可以被设置为针对分配给标志par_flag的二进制位(即，1)的数目不增加。

因此，对于每个残差系数，仅针对分配给3个语法sig_flag、gt_1_flag和gt_2_flag的二进制位使计数器增加。

当假设针对残差系数C15至C4中的每一个对语法sig_flag、gt_1_flag和gt_2_flag编码时，在针对残差系数C4对语法编码之后，计数器被设置为等于阈值的36。

因此，当对残差系数C3进行编码时，可以通过包括在3-2轮中的语法abs_level按原样对残差系数C3的绝对值进行编码。换言之，对于残差系数C3至C0，可以通过使用属于3-2轮的语法abs_level而不是属于1轮和2-1轮的语法来对残差系数的绝对值进行编码。

可以在通过使用上下文信息编码的语法之间设置优先级。在这种情况下，在对分配给具有高优先级的语法的二进制位的数目进行计数之后，可以对分配给具有低优先级的语法的二进制位的数目进行计数。

图21表示通过使用上下文信息编码的语法之间的优先级不同的示例。

在当前块中跳过了变换，并且因此，假设按照C0至C15的顺序确定扫描顺序。

在图21的示例中，可以通过使用上下文信息来对属于1轮和2轮的语法进行编码。在这种情况下，当属于1轮的语法具有比属于2轮的语法更高的优先级时，在对通过使用上下文信息编码的二进制位的数目计数时，可以在对分配给属于1轮的语法的二进制位的数目计数之后对分配给属于2轮的语法的二进制位的数目计数。

在示例中，当假设对16个残差系数进行编码并且阈值为96时，在针对所有16个残差系数对属于1轮的语法编码之后，计数器的值被设置为64。由于计数器的值小于阈值，所以还可以通过使用上下文信息来对属于2轮的语法进行编码。

在所示的示例中，在针对残差系数C7对属于2轮的语法进行编码之后，计数器的值被设置为96。因此，可以在不使用上下文信息的情况下针对下一残差系数C8对属于2轮的语法进行编码。

在图21所示的示例中，可以将标志par_flag设置为不通过使用上下文信息来编码。图22表示其示例。

在图22中，1轮和3轮表示通过使用上下文信息编码的语法。2轮和4轮表示在不使用上下文信息的情况下编码的语法。

可以在不使用上下文信息的情况下对标志par_flag进行编码。因此，在对标志par_flag进行编码时，计数器可以被设置为不增加。在针对残差系数C11对属于3轮的语法编码之后，计数器的值被设置为等于阈值的96。因此，从下一残差系数C12开始，在对属于3轮的语法编码时，可以不使用上下文信息。

在图21和图22中，示出了在不同轮中分散地分配gt_N_flag。在示例中，在图21所示的示例中，示出了当gt_1_flag属于1轮时，gt_2_flag属于2轮。

还可以将语法的分布设置为不同于图21和图22。在示例中，可以将所有gt_N_flag分配给单个轮或者可以将gt_1_pass和gt_2_pass分配给单个轮。

代替将标志par_flag设置为单独轮，可以将par_flag设置为与gt_1_flag或gt_2_flag相同的轮，但是可以将其设置为在对标志par_flag进行编码时不使用上下文信息。图23表示其示例。在图23所示的示例中，示出了将标志par_flag分配给与gt_2_flag、gt_3_flag、gt_4_flag和gt_5_flag相同的轮。

可以将标志par_flag分配给比gt_N_flag低的轮。在示例中，在图22所示的示例中，可以将包括par_flag的2轮改变为3轮，并且可以将现有的3轮改变为2轮。在这种情况下，可以在首先使用上下文信息对语法进行编码之后，对不使用上下文信息的语法进行编码。

可以将par_flag和rem_level组合成3轮并对它们进行编码。

如在上述示例中，可以通过使用sig_flag、par_flag、gt_N_flag或rem_level中的至少一个来对残差系数的绝对值进行编码。在这种情况下，可以根据周围系数的特征通过参考各种上下文信息来对除了rem_level之外的残差语法进行编码。在示例中，可以根据周围残差系数的特征通过参考各种上下文信息来对表示残差系数是否为0的标志sig_flag进行编码。在这种情况下，可以根据像素的位置来确定可参考上下文信息的数目。

图24和图25表示被参考以确定上下文信息的周围重构区域。

图24是关于以从右下残差系数到左上残差系数的扫描顺序对残差系数进行编码的情况的示例。在示例中，图24可以应用于在当前块中不跳过变换的情况。

图25是关于以从左上残差系数到右下残差系数的扫描顺序对残差系数进行编码的情况的示例。在示例中，图25可以应用于在当前块中跳过变换的情况。

参照图24和图25中的示例，可以参考多达2个或多达5个重构系数。在示例中，当残差系数的位置是(x,y)时，包括具有残差系数的x坐标差和y坐标差之和的绝对值等于或小于1的重构系数的区域或者包括绝对值等于或小于2的重构系数的区域可以被设置为周围重构区域。

替选地，当在具有残差系数的重构区域中的重构系数之中存在尚未以扫描顺序重构或者处于块边界之外的重构系数时，可以从参考中排除不可用的重构系数。

替选地，对于不可用的重构系数，可以通过将对应位置的信息视为默认值来选择上下文信息。在示例中，如图25的(a)中所示的示例中，当设置重构区域并且当前待编码的残差系数包括在当前块中的最左列中时，当前残差系数的左重构系数的sig_flag值可以被推断为0或1。

替选地，当块边界之外的重构系数被包括在与当前残差系数不同的子块中，但是被包括在同一编码块中时，对应的重构系数可以被设置为可用。

可以通过参考比所示示例中的重构系数更多或更少的重构系数来确定上下文信息。在示例中，图24中未示出，但是可以仅使用残差系数的右侧位置处的重构系数和下方位置处的重构系数来确定上下文信息。

替选地，在将索引分配给多个重构区域候选中的每一个之后，指定它们中的一个的索引可以被编码并且被发送至解码器。替选地，可以根据当前块的大小或形状自适应地确定重构区域。替选地，可以基于量化状态信息QState来确定重构区域。在示例中，当变量QState为0或1时，可以使用包括多达2个重构系数的重构区域。替选地，当QState为2或3时，可以使用包括多达5个重构系数的重构区域。

替选地，可以将其设置为参考N个固定的上下文信息之一，而不是设置周围重构区域。在示例中，N可以是1。替选地，可以根据残差系数的位置来确定N的值。在示例中，当x和y之和小于阈值时，N可以被设置为1，并且当x和y之和等于或大于阈值时，N可以被设置为2。阈值可以通过较高头部被发送至编码器。替选地，可以在编码器和解码器中预先约定阈值。

当对sig_flag进行编码/解码时，可以对包括在残差系数周围的重构区域中的重构系数的sig_flag的值求和。

替选地，可以计算包括在残差系数周围的重构区域中的重构系数或部分重构系数的绝对值。此处，部分重构系数的绝对值可以意指基于包括在1轮中的语法例如(sig_flag+gt_1_flag+par_flag+(gt_2_flag<<1))得出的临时重构系数。

可以通过使用得出的值来指定多个上下文信息之一。

图26示出了在对标志sig_flag进行编码时可以参考的上下文信息的数目。

图26的(a)是亮度分量的示例，并且图26的(b)是色度分量的示例。

可以将当前块分割成多个区域，并且可以对每个区域不同地设置可参考上下文信息的类型。在示例中，在x坐标和y坐标之和小于2的第一区域、x坐标和y坐标之和等于或大于2且小于5的第二区域以及x坐标和y坐标之和等于或大于5的第三区域中的每一个区域中，可参考上下文信息的类型可以不同。

另外，每个区域中的可参考上下文信息的数目可以不同。在示例中，每个区域中的可参考上下文信息的数目可以是固定的。

替选地，每个区域中的可参考上下文信息的数目可以不同。在示例中，在x坐标和y坐标之和小于2的第一区域、x坐标和y坐标之和等于或大于2且小于5的第二区域以及x坐标和y坐标之和等于或大于5的第三区域中的每一个区域中，可参考上下文信息的数目可以不同。

在另一示例中，可以根据量化状态信息不同地设置可参考上下文信息的类型。表示量化状态信息的变量QState可以具有0至3的值。在示例中，当变量QState为0和1时可以参考类型1上下文信息，当QState为2时可以参考类型2上下文信息，并且当QState是3时可以参考类型3上下文信息。

在图26的(a)所示的示例中，示出了亮度块被划分成3个区域，并且每个区域的可参考上下文信息的数目是4。当根据量化状态信息假设3种类型的上下文信息可用时，亮度块中总共36(3×4×3)个上下文信息可以被设置成是可参考的。

在图26的(b)所示的示例中，示出了色度块被划分成2个区域，并且每个区域的可参考上下文信息的数目是4。当根据量化状态信息假设3种类型的上下文信息可用时，色度块中总共24(2×4×3)个上下文信息可以被设置成是可参考的。

根据重构区域的大小(即，包括在重构区域中的重构系数的数目)，可以不同地设置可参考上下文信息的数目。

替选地，可参考上下文信息的数目可以根据变换跳过是否应用于当前块而不同。在示例中，在将变换跳过应用于当前块时可以参考3或5个上下文信息，而在将变换应用于当前块时可以参考4个上下文信息。

当使用周围重构系数的sig_flag的值的和时，可以将得出的和与阈值进行比较。此处，阈值可以被设置为与可参考上下文信息的数目相同。根据包括在重构区域中的重构系数的数目，总和可以在0～2或0～5的范围内。当总和大于阈值时，可以将总和转换为阈值。在示例中，当总和为5并且阈值为4时，可以将总和改变为4。随后，可以基于总和指定多个上下文信息之一。换言之，总和可以用作指定多个上下文信息之一的索引。

在使用周围重构系数的绝对值之和的情况下，在计算周围重构区域中的重构系数的绝对值之和之后，可以将得出的值除以预定值。例如，预定值可以是诸如2、3、4或5的自然数。替选地，绝对值之和可以除以周围重构区域中重构系数的数目。

可以将由除法运算得出的结果值与阈值进行比较。在这种情况下，当结果值大于阈值时，可以将得出的值转换成阈值。在示例中，当阈值为3并且结果值大于3时，可以将结果值转换成3。因此，结果值可以被设置为从0至3的值。

根据结果值，可以指定在对对应的残差系数编码/解码时应当参考的上下文信息。换言之，结果值可以用作指定多个上下文信息之一的索引。因此，可以基于包括残差系数的区域中的可参考上下文信息的数目来确定阈值。

可以通过使用简化的上下文信息来对残差系数进行编码/解码。在示例中，当变量QState为0或1时，可参考上下文信息的数目可以是4。另一方面，当变量QState为2或3时，可参考上下文信息的数目可以是2。

替选地，可以对每个区域不同地设置可参考数目。在示例中，当变量QState为2或3时，在第三区域中将可参考上下文信息的数目设置为4，而在第一区域和第二区域中将可参考上下文信息的数目设置为2。

当在对残差系数进行编码/解码中可参考上下文信息的数目为2时，阈值可以被设置为1。在这种情况下，结果值具有0或1的值，因此可以由结果值指定2个上下文信息之一。

替选地，当可参考上下文信息的数目为2时，可以基于通过与2的模运算以及周围重构区域中的重构系数的绝对值之和得出的值是否为0来指定上下文信息。

即使当gt_N_flag或par_flag被编码/解码时，也可以通过参考周围重构区域来确定上下文信息。

图27示出了在对gt_N_flag或par_flag进行编码时可以参考的上下文信息的数目。

图27的(a)示出了亮度块，并且图27的(b)示出了色度块。

对于亮度块，可以将块分割成多个区域。在图27的(a)所示的示例中，示出了亮度块被划分成：第一区域，其中亮度块包括(0,0)位置处的残差系数；第二区域，其中x轴坐标和y轴坐标之和等于或大于1且小于3；第三区域，其中x轴坐标和y轴坐标之和等于或大于3且小于10；以及除了第一区域至第三区域之外的第四区域。

在这种情况下，可以将最后的非零残差系数设置为第五区域。由于以扫描顺序首先对最后的非零残差系数进行编码/解码，因此对于最后的非零残差系数，可以仅将1个上下文信息设置为可参考。

色度块可以具有比亮度块的数目更少的分割区域。在示例中，在图27的(b)中，示出了色度块被分割成包括残差系数(0,0)的第一区域和除了第一区域之外的第二区域。

在这种情况下，可以设置为包括最后的非零残差系数的第三区域。

在图27所示的示例中，示出了除了包括最后的非零残差系数的区域之外的每个区域中的可参考上下文信息的数目是5。在这种情况下，每个区域的可参考上下文信息的类型可以不同。因此，亮度块中的可参考上下文信息的总数目可以是21(4×5+1)，并且色度块中的可参考上下文信息的总数目可以是11(2×5+1)。

如上所述，可以根据区域或量化状态信息不同地设置可参考上下文信息的数目和/或类型。

当对gt_N_flag或par_flag进行编码/解码时，可以得出包括在周围重构区域中的残差系数的绝对值之和以及sig_flag之和中的至少一个。随后，可以将通过从绝对值之和中减去sig_flag之和而得出的结果值与阈值进行比较。在这种情况下，当结果值大于阈值时，可以将结果值转换成阈值。在示例中，当阈值为4时，可以将大于4的结果值转换成4。因此，结果值被设置为0至4的值。基于结果值，可以指定5个上下文信息之一。换言之，结果值可以用作指定多个上下文信息之一的索引。

可以通过简化的方法来确定应当参考的上下文信息。在示例中，当在每个区域中对残差系数编码时，可以仅参考一个预定义上下文信息，而省略得出周围重构区域中的重构系数的绝对值之和的处理。确定上下文信息的简化方法可以应用于亮度块和色度块两者，或者可以应用于亮度块和色度块中的仅一个。

在示例中，虽然可以基于亮度块中的结果值来使用指定多个上下文信息之一的方法，但是使用预定义上下文信息的方法可以用于色度块中。

区域的分割方法和区域的数目不限于所示的示例。在示例中，可以通过考虑当前块的大小或形状、是否应用变换跳过或最后的非零残差系数的位置中的至少一个来确定分割方法或数目中的至少一个。替选地，可以通过经由较高头部进行编码来用信号通知指定当前块中的区域分割方法或区域数目中的至少一个的信息。

根据重构区域的大小(即，重构系数的数目)，可以不同地设置可参考上下文信息的数目。

在示例中，当通过使用5个重构系数确定上下文信息时，可以在对gt_N_flag或par_flag编码中指定多达5个上下文信息之一。另一方面，当通过使用2个重构系数确定上下文信息时，可以指定多达3个上下文信息之一。当可参考上下文信息的数目减少时，阈值可以一起减少。

另外，可以对每个区域不同地设置重构区域的大小，或者可以对每个颜色分量不同地设置重构区域的大小。

替选地，可以通过比较每个重构系数的信息而不是对周围重构区域中的每个重构系数的信息求和来得出上下文信息。在示例中，当对par_flag编码/解码时，假设如图27的(a)所示设置重构区域。在这种情况下，对于残差系数的左侧重构系数和上方重构系数，可以通过参考每个重构系数的par_flag来确定在针对当前残差系数对par_flag编码/解码时应当参考的上下文信息。

在示例中，对于左侧重构系数和上方重构系数，不对所有par_flag进行编码的情况(即，对于左侧重构系数和上方重构系数中的每一个，sig_flag或gt_1_flag中的至少一个为0的情况)或者两个重构系数的par_flag的值不同的情况可以被定义为第一种情况。两个重构系数的par_flag的所有值为1的情况可以被定义为第二种情况，并且两个重构系数的par_flag的所有值为0的情况可以被定义为第三种情况。当对当前残差系数的par_flag进行编码时，可以将其设置为针对每种情况参考不同的上下文信息。换言之，在向每种情况分配索引(从0至2)之后，可以基于该索引指定一个上下文信息。

在上述实施方式中使用的语法仅是为了便于描述而命名的。

当基于解码处理或编码处理描述的实施方式应用于编码处理或解码处理时，其包括在本公开内容的范围内。当以与描述不同的顺序改变以预定顺序描述的实施方式时，其也包括在本公开内容的范围内。

基于一系列阶段或流程图来描述上述实施方式，但是其不限制本公开内容的时间序列顺序，并且如果必要，其可以同时或以不同的顺序执行。另外，可以将配置上述实施方式中的框图的每个部件(例如，单元、模块等)实现为硬件装置或软件，并且多个部件可以被组合并且被实现为一个硬件装置或软件。可以将上述实施方式记录在通过以可以由各种计算机部件执行的程序指令的形式实现的计算机可读记录介质中。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。特别地被配置成存储和执行诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM、DVD的光记录介质、诸如光软盘的磁光介质以及诸如ROM、RAM、闪存等的程序指令的硬件装置包括在计算机可读记录介质中。硬件装置可以被配置成作为一个或更多个软件模块来操作以执行根据本公开内容的处理，并且软件装置可以被配置成作为一个或更多个硬件模块来操作以执行根据本公开内容的处理。

工业适用性

本公开内容可以应用于可以对图像进行编码/解码的电子装置。

Claims (13)

1.一种视频解码方法，包括：

确定对于当前块是否跳过逆变换；

对所述当前块的残差系数进行解码；以及

基于所述确定来选择性地对所述残差系数应用逆变换，

其中，在对所述残差系数进行解码时，选择性地对表示所述残差系数是否大于0的第一语法和表示所述残差系数的绝对值的第二语法中的一个进行解码。

2.根据权利要求1所述的方法，其中，通过将阈值与通过使用上下文信息解码的二进制位的数目进行比较，来确定是要解码所述第一语法还是要解码所述第二语法。

3.根据权利要求2所述的方法，其中，当以下中的至少一个被解码时通过使用所述上下文信息解码的二进制位的数目增加：所述第一语法、表示所述绝对值是否具有大于(2N-1)的值的至少一个gt_N_flag、或者表示所述绝对值是否为偶数的奇偶校验标志。

4.根据权利要求1所述的方法，其中，当所述第一语法被解码并且所述第一语法表示所述残差系数具有非零值时，附加地对表示所述残差系数的绝对值是否具有大于1的值的gt_1_flag进行解码。

5.根据权利要求4所述的方法，其中，当所述gt_1_flag表示所述绝对值具有大于1的值时，附加地对表示所述绝对值是否为偶数的奇偶校验标志和表示所述绝对值是否大于3的gt_2_flag进行解码。

6.根据权利要求2所述的方法，其中，所述阈值是基于所述当前块的大小来确定的。

7.一种视频编码方法，包括：

确定对于当前块是否跳过变换；

对应用变换的结果或跳过变换的结果进行量化；以及

对作为所述量化的结果输出的残差系数进行编码，

其中，在对所述残差系数进行编码时，选择性地对表示所述残差系数是否大于0的第一语法和表示所述残差系数的绝对值的第二语法中的一个进行编码。

8.根据权利要求8所述的方法，其中，通过将阈值与通过使用上下文信息编码的二进制位的数目进行比较，来确定是要编码所述第一语法还是要编码所述第二语法。

9.根据权利要求8所述的方法，其中，当以下中的至少一个被编码时通过使用所述上下文信息编码的二进制位的数目增加：所述第一语法、表示所述绝对值是否具有大于(2N-1)的值的至少一个gt_N_flag、或者表示所述绝对值是否为偶数的奇偶校验标志。

10.根据权利要求7所述的方法，其中，当所述第一语法被编码并且所述第一语法表示所述残差系数具有非零值时，附加地对表示所述残差系数的绝对值是否具有大于1的值的gt_1_flag进行编码。

11.根据权利要求10所述的方法，其中，当所述gt_1_flag表示所述绝对值具有大于1的值时，附加地对表示所述绝对值是否为偶数的奇偶校验标志和表示所述绝对值是否大于3的gt_2_flag进行编码。

12.根据权利要求8所述的方法，其中，所述阈值是基于所述当前块的大小来确定的。

13.一种计算机可读记录介质，其存储通过视频编码方法编码的比特流，所述视频编码方法包括：

确定对于当前块是否跳过变换；

对应用变换的结果或跳过变换的结果进行量化；以及

对作为所述量化的结果输出的残差系数进行编码，

其中，在对所述残差系数进行编码时，选择性地对表示所述残差系数是否大于0的第一语法和表示所述残差系数的绝对值的第二语法中的一个进行编码。

Images