CN112823513A

CN112823513A - 图像编码/解码方法和装置

Info

Publication number: CN112823513A
Application number: CN201980067154.3A
Authority: CN
Inventors: 李培根; 全东山
Original assignee: Indy Co ltd
Current assignee: Indy Co ltd
Priority date: 2018-10-12
Filing date: 2019-10-11
Publication date: 2021-05-18
Anticipated expiration: 2039-10-11
Also published as: US11917199B2; US20210392371A1; WO2020076116A1; CN112823513B; US11516507B2; US20240163474A1; KR20200041801A; CN118214859A; US20230109828A1; CN118301344A; CN118214861A; CN118214860A

Abstract

根据本发明的图像编码/解码方法和装置可以基于预定义的预测模式生成当前块的预测块，通过预定变换生成当前块的变换块，以及基于预测块和变换块重建当前块。

Description

图像编码/解码方法和装置

技术领域

本公开内容涉及视频信号处理方法和装置。

背景技术

随着对高分辨率视频的市场需求的增加，可以有效地压缩高分辨率图像的技术是必要的。根据这种市场需求，ISO/IEC的MPEG(Moving Picture Expert Group，运动图像专家组)和ITU-T的VCEG(Video Coding Expert Group，视频编码专家组)共同组成了JCT-VC(Joint Collaborative Team on Video Coding，视频编码联合协作小组)，在2013年一月开发HEVC(High Efficiency Video Coding，高效视频编码)视频压缩标准，并且对下一代压缩标准积极地进行研究与开发。

视频压缩主要由帧内预测、帧间预测、变换、量化、熵编码和环路滤波组成。另一方面，随着对高分辨率图像的需求的增加，对作为新图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。

发明内容

技术问题

本公开内容的目的是提供一种提高效率的图像编码/解码方法和装置。

本公开内容的目的是提供一种用于每种帧间模式的预测方法和装置。

本公开内容的目的是提供一种得出帧内预测模式的方法和装置。

本公开内容的目的是提供一种配置帧内预测的参考像素的方法和装置。

本公开内容的目的是提供一种帧内预测/修改方法和装置。

本公开内容的目的是提供一种基于多类型的变换方法和装置。

本公开内容的目的是提供一种存储由图像编码方法和装置生成的比特流的计算机可读记录介质。

技术解决方案

根据本公开内容的图像编码/解码方法和装置可以基于预定义的预测模式生成当前块的预测块，通过预定的变换生成当前块的变换块，并且基于预测块和变换块重建当前块。

在根据本公开内容的图像编码/解码方法和装置中，生成预测块可以包括：确定当前块的帧内参考线，根据预定候选组确定当前块的帧内预测模式，以及基于所确定的帧内参考线和帧内预测模式执行当前块的帧内预测。

在根据本公开内容的图像编码/解码方法和装置中，候选组可以被分类为第一候选组和第二候选组，第一候选组可以配置有在解码装置中预定义的默认模式，并且第二候选组可以配置有多个MPM候选。

在根据本公开内容的图像编码/解码方法和装置中，可以通过选择性地使用第一候选组或第二候选组中的任一个来得出当前块的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，默认模式可以是平面模式、DC模式、垂直模式、水平模式、垂直模式或对角模式中的至少一个。

在根据本公开内容的图像编码/解码方法和装置中，多个MPM候选包括周围块的帧内预测模式(candIntraPredMode)、candIntraPredMode-n或candIntraPredMode+n中的至少一个。

在根据本公开内容的图像编码/解码方法和装置中，多个MPM候选可以包括DC模式、垂直模式、水平模式、(垂直模式-m)、(垂直模式+m)、(水平模式-m)或(水平模式+m)中的至少一个。

在根据本公开内容的图像编码/解码方法和装置中，可以通过加上或者减去预定偏移来改变所确定的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，可以基于当前块的尺寸、形状、分区信息、帧内预测模式的值或分量类型中的至少一个来选择性地执行偏移的施加。

在根据本公开内容的图像编码/解码方法和装置中，执行帧内预测可以包括通过使用垂直线或水平线将当前块划分成多个子块，以及以子块为单位顺序地执行帧内预测。

在根据本公开内容的图像编码/解码方法和装置中，可以基于当前块的尺寸或形状中的至少一个可变地确定属于当前块的子块的数目。

在根据本公开内容的图像编码/解码方法和装置中，执行帧内预测可以包括：基于预定参考样本和权重，修改根据帧内预测的预测值。

在根据本公开内容的图像编码/解码方法和装置中，可以基于当前块的尺寸、要修改的当前样本的位置或当前块的帧内预测模式中的至少一个来确定参考样本和权重中的每一个。

在根据本发明的图像编码/解码方法和装置中，可以通过选择性地使用DCT-2、DST-7或DCT-8中的至少一个来执行变换。

根据本公开内容的数字存储介质可以存储根据上述图像编码方法/装置生成的视频比特流。

有益效果

本公开内容可以提供一种得出有效帧内预测模式的方法和装置。

本公开内容可以通过配置自适应参考样本来提高编码效率。

本发明可以通过帧内预测的修改来提高帧内预测的准确性。

本发明可以通过执行附加的变换以及基于多类型的变换来提高残差样本的编码效率。

根据本公开内容，可以提供一种存储由根据本公开内容的图像编码方法/装置生成的比特流的计算机可读记录介质。

附图说明

图1是示出根据本公开内容的图像编码装置的框图。

图2是示出根据本公开内容的图像解码装置的框图。

图3至图5示出了作为应用本公开内容的实施方式的将图片划分成多个块的方法。

图6粗略地示出了作为应用本公开内容的实施方式的重建当前块的处理。

图7示出了作为应用本公开内容的实施方式的帧间预测方法。

图8至图10示出了作为应用本公开内容的实施方式的仿射帧间预测方法。

图11至图12示出了作为应用本公开内容的实施方式的基于合并模式的帧间预测方法。

图13示出了作为应用本公开内容的实施方式的帧内预测处理。

图14示出了作为应用本公开内容的实施方式的确定当前块的帧内参考线的方法。

图15至图17示出了作为应用本公开内容的实施方式的第二标志的信令方法。

图18至图21示出了作为应用本公开内容的实施方式的改变得出的帧内预测模式的方法。

图22示出了作为应用本公开内容的实施方式的基于子分区的帧内预测方法。

图23至图24涉及作为应用本公开内容的实施方式的修改根据帧内预测的预测值的方法。

图25至图27示出了作为应用本公开内容的实施方式的基于变换和/或量化对残差图像进行编码/解码的方法。

图28至图29示出了作为应用本公开内容的实施方式的将环路滤波器应用于重建图像的方法。

【具体实施方式】

根据本公开内容的图像编码/解码方法和装置可以基于预定义的预测模式生成当前块的预测块，通过预定变换生成当前块的变换块，并且基于预测块和变换块重建当前块。

在根据本公开内容的图像编码/解码方法和装置中，可以通过加上或者减去预定的偏移来改变所确定的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，执行帧内预测可以包括基于预定的参考样本和权重根据帧内预测修改预测值。

在根据本公开内容的图像编码/解码方法和装置中，可以基于当前块的尺寸、要修改的当前样本的位置或当前块的帧内预测模式中的至少一个确定参考样本和权重中的每一个。

本发明的实施方式

参照本说明书中的附图，详细描述了本公开内容的实施方式，使得本发明所属领域的普通技术人员可以容易地实现本发明。但是，本公开内容可以以各种不同的形式来实现，并且不限于本文中描述的实施方式。并且，省略了与描述无关的部分，并且在整个说明书中将类似的附图标记附加至类似的部分，以在图中清楚地描述本公开内容。

在本说明书中，当一部分被称为“连接至”另一部分时，其包括在其间插入另一元件而电连接的情况以及直接连接的情况。

另外，在本说明书中，除非另有说明，否则当部分被称为“包括”部件时，其意味着可以附加地包括其他部件而不排除其他部件。

另外，可能使用诸如第一、第二等的术语来描述各种部件，但是部件不应受该术语限制。术语仅用于区分一个部件与其他部件。

另外，在本说明书中描述的装置和方法的实施方式中，可以省略装置的一些配置或方法的一些步骤。另外，可以改变装置的一些配置或方法的一些步骤的顺序。另外，另一配置可以插入到装置的一些配置中，或者另一步骤可以插入到方法的一些步骤中。

另外，本公开内容的第一实施方式中的一些配置或一些步骤可以被添加至本公开内容的第二实施方式，或者可以替换为第二实施方式中的一些配置或一些步骤。

另外，在本公开内容的实施方式中所示的构造单元被独立地显示以代表不同的特征功能时，这并不意味着每个构造单元都配置在单独的硬件或一个软件构造单元中。换言之，为了便于描述，每个构造单元可以通过被列为各自的构造单元来描述，每个构造单元中的至少两个构造单元可以被组合以配置一个构造单元，或者一个构造单元可以被分成多个构造单元以执行功能。只要不超出本公开内容的实质，每个构造单元中的这种集成实施方式和分离实施方式也包括在本公开内容的权利范围内。

在本说明书中，块可以被不同地表示为单元、区域、单元、分区等，并且样本可以被不同地表示为像素、像元、像素等。

在下文中，参考附图，将更详细地描述本公开内容的实施方式。在描述本公开内容时，省略了对相同部件的重复描述。

图1是示出根据本公开内容的图像编码装置的框图。

参照图1，常规的图像编码装置100可以包括：图片划分单元110、预测单元120、125、变换单元130、量化单元135、重排单元160、熵编码单元165、逆量化单元140、逆变换单元145、滤波器单元150以及存储器155。

图片划分单元110可以将输入图片划分成至少一个处理单元。在这种情况下，处理单元可以是预测单元(prediction unit，PU)、变换单元(transform unit，TU)或编码单元(coding unit，CU)。在下文中，在本公开内容的实施方式中，编码单元可以用作执行编码的单元，并且可以用作执行解码的单元。

预测单元可以在一个编码单元内被划分成具有相同尺寸的至少一个正方形形状或矩形形状等，并且可以被划分成使得在一个编码单元中划分的预测单元中的任何一个预测单元将具有与另一预测单元不同的形状和/或尺寸。当基于编码单元生成执行帧内预测的预测单元的不是最小编码单元时，可以在不被划分成多个预测单元N×N的情况下执行帧内预测。

预测单元120和125可以包括执行帧间预测的帧间预测单元120和执行帧内预测的帧内预测单元125。可以确定对预测单元执行帧间预测还是帧内预测，并且可以确定根据每种预测方法的具体信息(例如帧内预测模式、运动矢量、参考图片等)。所生成的预测块与原始块之间的残差值(残差块)可以被输入到变换单元130。另外，用于预测的预测模式信息、运动矢量信息等可以在熵编码单元165中与残差值一起来编码，并被发送到解码器。

帧间预测单元120可以基于当前图片的先前图片或后续图片中的至少一个图片的信息来预测预测单元，并且在一些情况下可以基于当前图片中的一些被编码的区域的信息来预测预测单元。帧间预测单元120可以包括参考图片插值单元、运动预测单元以及运动补偿单元。

在参考图片插值单元中，可以从存储器155提供参考图片信息，并且可以在参考图片中生成等于或小于整数像素的像素信息。对于亮度像素，具有不同滤波器系数的基于DCT的8抽头插值滤波器可以用于生成以1/4像素为单位的等于或小于整数像素的像素信息。对于色度信号，具有不同滤波器系数的基于DCT的4抽头插值滤波器可以用于生成以1/8像素为单位的等于或小于整数像素的像素信息。

运动预测单元可以基于由参考图片插值单元插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用诸如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等的各种方法。基于插值像素，运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。在运动预测单元中，可以通过使运动预测方法不同来预测当前预测单元。对于运动预测方法，可以使用诸如跳过模式、合并模式、AMVP(高级运动矢量预测)模式、帧内块复制模式、仿射模式等的各种方法。

帧内预测单元(125)可以基于当前块周围的参考像素信息生成预测单元，该参考像素信息是当前图片中的像素信息。当因为当前预测单元中的周围块是执行帧间预测的块，所以参考像素是执行帧间预测的像素时，可以通过替换为执行周围帧内预测的块的参考像素信息来使用包括在执行帧间预测的块中的参考像素。换言之，当参考像素不可用时，可以通过替换为可用参考像素中的至少一个参考像素来使用不可用参考像素信息。

另外，可以生成包括残差值信息的残差块，该残差值信息是基于在预测单元120和125中生成的预测单元执行预测的预测单元与预测单元中的原始块之间的差值。生成的残差块可以被输入到变换单元130。

在变换单元130中，可以通过使用诸如DCT(Discrete cosine transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)、KLT的变换方法来对原始块和包括在预测单元120和125中生成的预测单元中的残差值信息的残差块进行变换。可以基于用于生成残差块的预测单元中的帧内预测模式信息来确定是否应用DCT、DST或KLT以对残差块进行变换。

量化单元135可以对在变换单元130中被变换到频域的值进行量化。根据块或根据图像重要性，可以改变量化系数。在量化单元135中计算的值可以被提供给逆量化单元140和重排单元160。

重排单元160可以对量化的残差值执行系数值的重排。

重排单元160可以通过系数扫描方法将二维块形系数改变为一维矢量形状。例如，在重排单元160中，DC系数到高频域的系数可以通过之字形扫描方法进行扫描，并且可以将其改变为一维矢量形状。根据变换单元的尺寸和帧内预测模式，可以使用逐列扫描二维块形系数的垂直扫描或逐行扫描二维块形系数的水平扫描来代替之字形扫描。换言之，可以根据变换单元的尺寸和帧内预测模式来确定是否将使用之字形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。

熵编码单元(165)可以基于由重排单元(160)计算的值来执行熵编码。例如，熵编码可以使用各种编码方法，例如指数哥伦布(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding，上下文自适应可变长度编码)和CABAC(Context-Adaptive Binary Arithmetic Coding，上下文自适应二进制算术编码)。关于这一点，熵编码单元165可以对来自重排单元160和预测单元120、125的编码单元中的残差值系数信息进行编码。另外，根据本公开内容，可以用信号通知和发送指示运动信息是从解码器侧得出并被使用的信息以及关于用于得出运动信息的方法的信息。

在逆量化单元140和逆变换单元145中，在量化单元135中量化的值被去量化，并且在变换单元130中变换的值被逆变换。在逆量化单元140和逆变换单元145中生成的残差值可以通过与预测单元组合来生成重建块，该预测单元通过包括在预测单元120和125中的运动预测单元、运动补偿单元和帧内预测单元来预测。

滤波器单元(150)可以包括去块滤波器、偏移修改单元和自适应环路滤波器(Adaptive Loop Filter，ALF)中的至少一者。去块滤波器可以去除通过重建图片中的块之间的边界而生成的块失真。对于执行去块的图像，偏移修改单元可以以像素为单位修改与原始图像的偏移。可以使用将包括在图像中的像素划分成一定数目的区域、确定将执行偏移的区域并将偏移应用于相应区域的方法或者通过考虑每个像素的边缘信息来应用偏移的方法来对特定图片执行偏移修改。可以基于将经滤波的重建图像与原始图像进行比较的值来执行ALF(自适应环路滤波器)。可以将包括在图像中的像素划分成预定的组，可以确定将被应用于相应的组的一个滤波器，并且可以按组区别地执行滤波。

存储器155可以存储在滤波器单元150中计算的经重建的块或图片，并且可以在执行帧间预测时将所存储的经重建的块或图片提供给预测单元120和125。

图2是示出根据本公开内容的图像解码装置的框图。

参照图2，图像解码器200可以包括：熵解码单元210、重排单元215、逆量化单元220、逆变换单元225、预测单元230和235、滤波器单元240以及存储器245。

当从图像编码器输入图像比特流时，输入比特流可以在与图像编码器的处理相反的处理中被解码。

熵解码单元210可以在与在图像编码器的熵编码单元中执行熵编码的处理相反的处理中执行熵解码。例如，响应于在图像编码器中执行的方法，可以应用诸如指数哥伦布(Exponential Golomb)、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)的各种方法。

在熵解码单元210中，可以对与在编码器中执行的帧内预测和帧间预测有关的信息进行解码。

重排单元215可以基于编码单元的重排方法对在熵解码单元210熵解码的比特流执行重排。以一维矢量形状表示的系数可以被重建为二维块形状的系数，并且可以被重排。

逆量化单元220可以基于在编码器中提供的量化参数和重排的块的系数值来执行去量化。

逆变换单元225可以执行逆DCT、逆DST和逆KLT，即，用于DCT、DST和KLT(即在变换单元中对在图像编码器中执行的量化结果执行的变换)的逆变换，。可以基于在图像编码器中确定的传输单元来执行逆变换。在图像解码器的逆变换单元225中，可以根据多个信息(例如预测方法、当前块的尺寸、预测方向等)来选择性地执行变换方法(例如，DCT、DST、KLT)。

预测单元230和235可以基于与熵解码单元210中提供的预测块生成有关的信息以及存储器245中提供的预解码的块或图片信息来生成预测块。

如上所述，当在以与图像编码器中的操作相同的方式执行帧内预测时，预测单元的尺寸与变换单元的尺寸相同时，可以基于预测单元的左边位置的像素、左上位置的像素和上边位置的像素执行预测单元的帧内预测，但是当在执行帧内预测时，预测单元的尺寸与变换单元的尺寸不同时，可以通过使用基于变换单元的参考像素来执行帧内预测。另外，可以使用仅针对最小编码单元使用N×N个分区的帧内预测。

预测单元230和235可以包括预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元210输入的各种信息，例如预测单元信息、帧内预测方法的预测模式信息、与帧间预测方法的运动预测有关的信息等；对当前编码单元中的预测单元进行分类；以及确定预测单元执行帧间预测还是帧内预测。另一方面，如果在编码装置100中发送指示根据解码器得出并使用运动信息的信息以及关于用于得出运动信息的方法的信息，而不发送用于帧间预测的运动预测相关信息，则预测单元确定单元确定帧间预测单元230是否基于从编码装置100发送的信息执行预测。

帧间预测单元230可以通过使用由图像编码器提供的当前预测单元的帧间预测所需的信息，基于在包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息，对当前预测单元执行帧间预测。为了执行帧间预测，可以确定在基于编码单元的相应编码单元中包括的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式、帧内块复制模式还是仿射模式。

帧内预测单元235可以基于当前图片中的像素信息生成预测块。当预测单元是执行了帧内预测的预测单元时，可以基于由图像编码器提供的预测单元中的帧内预测模式信息执行帧内预测。

帧内预测单元(235)可以包括自适应帧内平滑(adaptive intra smoothing，AIS)滤波器、参考像素插值单元和DC滤波器。作为对当前块的参考像素执行滤波的部分，可以通过根据当前预测单元中的预测模式确定是否应用滤波器来应用AIS滤波器。可以通过使用预测单元中的预测模式和由图像编码器提供的AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是未执行AIS滤波的模式时，可以不应用AIS滤波器。

当预测单元中的预测模式是基于对参考像素进行插值的像素值执行帧内预测的预测单元时，参考像素插值单元可以对参考像素进行插值以生成以等于或小于整数值的像素为单位的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。

可以将重建的块或图片提供至滤波器单元240。滤波器单元240可以包括去块滤波器、偏移修改单元和ALF。

可以由图像编码器提供关于是否将去块滤波器应用于相应的块或图片的信息，以及关于在应用去块滤波器时应用强滤波器还是弱滤波器的信息。图像解码器的去块滤波器可以接收与由图像编码器提供的去块滤波器有关的信息，并且在图像解码器中对相应的块执行去块滤波。

偏移修改单元可以基于在编码中应用于图像的偏移修改的类型、偏移值信息等，对重建的图像执行偏移修改。可以基于由编码器提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这种ALF信息可以通过被包括在特定参数集中来提供。

存储器245可以存储重建的图片或块以用作参考图片或参考块，并且还可以将重建的图片提供至输出单元。

参照图3，图片被划分成多个基本编码单元(Coding Tree Unit，编码树单元，在下文中称为CTU)。

可以以图片为单位或以视频序列为单位来调节CTU的尺寸，并且每个CTU被配置成不与其他CTU交叠。例如，CTU尺寸可以在整个序列中被设置为128×128，并且可以以图片为单位选择并使用128×128至256×256中的任何一个。

可以通过分层划分CTU来生成编码块/编码单元(在下文中称为CU)。可以以编码单元为单位执行预测和变换，并且编码单元成为确定预测编码模式的基本单元。预测编码模式可以表示生成预测图像的方法，并且考虑帧内预测、帧间预测或组合预测等作为示例。具体地，例如，可以通过以编码单元为单位使用帧内预测、帧间预测或组合预测中的至少任何一个的预测编码模式来生成预测块。当在帧间预测模式下参考图片指示当前图片时，可以基于当前图片中已经被编码的区域生成预测块。这可以被包括在帧间预测中，因为通过使用参考图片索引和运动矢量生成预测块。帧内预测是通过使用当前图片的信息生成预测块的方法，帧间预测是通过使用已经被解码的其他图片的信息生成预测块的方法，并且组合预测是组合和使用帧间预测和帧内预测的方法。组合预测可以利用帧间预测对配置一个编码块的多个子区域中的一些区域进行编码/解码，并且可以利用帧内预测对其他区域进行编码/解码。替选地，组合预测可以首先对多个子区域执行帧间预测，其次执行帧内预测。在这种情况下，可以通过对根据帧间预测的预测值和根据帧内预测的预测值执行加权平均来得出编码块的预测值。配置一个编码块的子区域的数目可以是2、3、4或更大，并且子区域的形状可以是四边形、三角形或其他多边形。

参照图4，CTU可以被划分成四叉树、二叉树或三叉树的形状。划分的块可以被附加地划分成四叉树、二叉树或三叉树的形状。将当前块划分成4个正方形分区的方法称为四叉树划分，将当前块划分成2个正方形分区或非正方形分区的方法称为二叉树划分，并且将当前块划分成3个分区的方法被定义为三叉树划分。

垂直方向上的二叉树划分(图4中的SPLIT_BT_VER)被称为垂直二叉树划分，而水平方向上的二叉树划分(图4中的SPLIT_BT_HOR)被定义为水平二叉树划分。

垂直方向上的三叉树划分(图4中的SPLIT_TT_VER)被称为垂直三叉树划分，而水平方向上的三叉树划分(图4中的SPLIT_TT_HOR)被定义为水平三叉树划分。

分区的数目可以称为分区深度，并且可以按序列、图片、子图片、切片或图块而不同地设置分区深度的最大值，并且可以根据分区树形状(四叉树/二叉树/三叉树)将其设置为具有不同的分区深度，并且可以用信号通知表示其的语法。

作为例如四叉树划分、二叉树划分或三叉树划分的方法，可以通过附加地划分经划分的编码单元或在没有附加的划分的情况下配置叶节点的编码单元。

参照图5，可以通过对一个CTU进行分层划分来设置编码单元，可以通过使用二叉树划分、四叉树划分/三叉树划分中的至少任何一种来对编码单元进行划分。这种方法被定义为多树划分。

通过对划分深度为k的任意编码单元进行划分而生成的编码单元被称为低编码单元，并且划分深度为(k+1)。包括划分深度为(k+1)的低编码单元的划分深度为k的编码单元被称为高编码单元。

可以根据高编码单元的划分类型和/或当前编码单元周围的编码单元的划分类型来限制当前编码单元的划分类型。

在这种情况下，划分类型表示指示符，该指示符指示使用二叉树划分、四叉树划分/三叉树划分中的哪种划分。

参照图6，可以在编码/解码装置中基于预定义的预测模式生成当前块的预测块S600。

在编码/解码视频中，可以通过多种方法来生成预测图像，并且生成预测图像的方法被称为预测编码模式。

预测编码模式可以配置有帧内预测编码模式、帧间预测编码模式、当前图片参考编码模式或组合编码模式(组合预测)等。

帧间预测编码模式被称为通过使用先前图片的信息来生成当前块的预测块(预测图像)的预测编码模式，而帧内预测编码模式被称为通过使用与当前块相邻的样本来生成预测块的预测编码模式。可以通过使用当前图片的预重建图像来生成预测块，该预重建图像被定义为当前图片参考模式或帧内块复制模式。

可以通过使用帧间预测编码模式、帧内预测编码模式或当前图片参考编码模式中的至少2种或更多种预测编码模式(其被定义为组合编码模式(组合预测))来生成预测块。将通过参照图7至图12来详细描述帧间预测编码模式。将通过参照图13至图24来详细描述帧内预测编码模式。

参照图6，可以通过预定的变换生成当前块的变换块S610。

可以基于在编码/解码装置中预定义的n个变换类型中的至少一个来生成变换块。n可以是整数，例如1、2、3、4或更大。DCT2、DCT8、DST7、变换跳过模式等可以用于变换类型。在一个块的垂直/水平方向上可以仅应用一种相同变换类型，或者在垂直/水平方向上可以分别应用不同的变换类型。为此，可以使用表示是否应用一种相同变换类型的标志。可以在编码装置中用信号通知标志。

另外，可以基于在编码装置中用信号通知的信息来确定变换类型，或者可以基于预定的编码参数来确定变换类型。在这种情况下，编码参数可以指块的尺寸或形状、帧内预测模式或分量类型(例如，亮度、色度)中的至少一者。块的尺寸可以表示为宽度、高度、宽度和高度的比率、宽度和高度的乘积、宽度和高度的和/差等。例如，当当前块的尺寸大于预定的阈值时，可以确定水平方向上的变换类型为第一变换类型(例如，DCT2)，并且可以确定垂直方向上的变换类型为第二变换类型(例如，DST7)。阈值可以是整数，例如0、4、8、16、32或更大。将通过参照图25来描述确定变换类型的方法。

另一方面，可以通过在第一变换之后执行第二变换来获得根据本公开内容的残差系数。可以对当前块中的一些区域的残差系数执行第二变换。在这种情况下，解码装置可以通过对一些区域执行第二逆变换并对包括逆变换的一些区域的当前块执行第一逆变换，来获得当前块的变换块。将通过参照图26至图27对其进行描述。

参照图6，可以基于预测块和变换块重建当前块S620。

可以将预定的环路滤波器应用于经重建的当前块。环路滤波器可以包括去块滤波器、SAO(sample adaptive offset，样本自适应偏移)滤波器或ALF(自适应环路滤波器)中的至少一者，将通过参照图28至图29进行描述。

图7示出了作为应用本公开内容的实施方式的帧间预测方法。

将通过使用先前图片的信息生成当前图片中的块的预测块(预测图像)的方法定义为帧间预测编码模式。

例如，可以基于先前图片的共位块/共位块(colocated block/co-locatedblock)生成预测图像，或者可以基于先前图片的特定块生成预测块(预测图像)。

在这种情况下，可以从运动矢量中得出特定块。共位块表示左上样本的位置和尺寸与图7中的当前块的位置和尺寸相同的对应图像的块。可以通过相同的语法将对应图像指定为参考图像参考。

可以通过在帧间预测编码模式中考虑对象的运动来生成预测块。

例如，如果知道先前图片中的对象在哪个方向移动以及移动了多少，则可以基于考虑当前块中的运动的块(其被定义为运动预测块)来生成预测块(预测图像)。

可以通过从当前块中减去运动预测块或相应预测块来生成残差块。

当在对象中生成运动时，如果使用运动预测块而不是相应预测块，则残差块的能量降低，因此可以提高压缩性能。

因此，使用运动预测块的方法被称为运动补偿预测，并且运动补偿预测被用于大多数帧间预测编码。

表示先前图片中的对象在哪个方向移动以及移动了多少的值被称为运动矢量。运动矢量可以使用以序列、图片、子图片、切片、图块、砖块(brick)、CTU或CU为单位的具有不同像素精度的运动矢量。例如，特定块中的运动矢量的像素精度可以是1/16、1/8、1/4、1/2、1、2、4或8中的至少任何一个。可用像素精度候选的类型和/或数目可以按下面描述的帧间预测编码模式而不同。例如，对于仿射帧间预测方法，k像素精度可用，而对于使用平移运动的帧间预测方法，i像素精度不可用。对于当前图片参考模式，j像素精度可用。在这种情况下，k、i和j可以是自然数，例如1、2、3、4、5或更大。但是，k可以小于i，而i可以小于j。仿射帧间预测方法可以使用1/16、1/4或1中的至少一个像素精度，而使用平移运动(例如，合并模式、AMVP模式)的帧间预测方法可以使用1/4、1/2、1或4中的至少一个像素精度。当前图片参考模式可以使用1、4或8的至少一个像素精度。

对于帧间预测模式，可以选择性地使用使用平移运动的帧间预测方法和使用仿射运动的仿射帧间预测方法。在下文中，将通过参照图8至图12对其进行描述。

在视频中，出现了许多特定对象的运动不是线性出现的情况。例如，如图8所示，当仅平移运动矢量被用于使用了诸如放大、缩小、旋转、使得以任意形状变换成为可能的仿射变换等的仿射运动的图像中的对象的运动时，对象的运动可能不能被有效地表示，并且编码性能可能降低。

仿射运动可以表示为下面的等式1。

【等式1】

v_x＝ax-by+e

v_y＝cx+dy+f

当通过使用总共6个参数来表示仿射运动时，对于具有复杂运动的图像是有效的，但是使用许多比特来编码仿射运动参数，因此可能降低编码效率。

因此，仿射运动可以用4个参数来简化和表示，定义为4参数仿射运动模型。等式2表示具有4个参数的仿射运动。

【等式2】

v_x＝ax-by+e

v_y＝bx+ay+f

4参数仿射运动模型可以包括当前块的2个控制点处的运动矢量。控制点可以包括当前块的左上角、右上角或左下角中的至少一个。在一个示例中，如图9的左边所示，可以通过编码单元的左上样本(x0,y0)处的运动矢量sv0和编码单元的右上样本(x1,y1)处的运动矢量sv1来确定4参数仿射运动模型，并且sv0和sv1被定义为仿射种子矢量。在下文中，假设左上位置处的仿射种子矢量sv0是第一仿射种子矢量，并且右上位置处的仿射种子矢量sv1是第二仿射种子矢量。也可以在左下位置处用仿射种子矢量代替第一和第二种子矢量之一，并且在4参数仿射运动模型中使用它。

如图9的右边所示，6参数仿射运动模型是在4参数仿射运动模型上加上在剩余控制点的运动矢量sv2(例如，左下位置处(x2,y2)的样本)的仿射运动模型。在下文中，假设左上位置处的仿射种子矢量sv0是第一仿射种子矢量，右上位置处的仿射种子矢量sv1是第二仿射种子矢量，并且左下位置处的仿射种子矢量sv2是第三仿射种子矢量。

可以在比特流中编码关于用于表示仿射运动的参数的数目的信息。例如，可以以图片、子图片、切片、图块、砖块、编码单元或CTU中的至少一个为单位来编码表示是否使用6参数的标志和表示是否使用4参数的标志。因此，可以以预定的单位选择性地使用4参数仿射运动模型或6参数仿射运动模型中的任何一个。

可以通过使用如图10所示的仿射种子矢量为编码单元的每个子块得出运动矢量，该仿射种子矢量被定义为仿射子块矢量。

可以如以下等式3所示得出仿射子块矢量。在这种情况下，子块的基本样本位置(x,y)可以是位于块的角处的样本(例如，左上样本)，或者可以是x轴或y轴中的至少一个在中心处的样本(例如，中心样本)。

【等式3】

可以通过使用被定义为仿射帧间预测模式的仿射子块矢量，以编码单元为单位或以编码单元中的子块为单位执行运动补偿。在等式3中，(x₁-x₀)可以具有与编码单元的宽度相同的值。

当前编码单元的运动信息(运动矢量、参考图片索引等)可以从周围块的运动信息中得出而不被编码。可以将周围块中的任何一个的运动信息设置为当前编码单元的运动信息，其被定义为合并模式。

用于合并模式的周围块可以是与当前编码单元相邻的块，如图11的合并候选索引0至4(与当前编码单元的边界接界的块)，或者可以是非相邻块，如图11的合并候选索引5至26。替选地，其可以是如图12的合并候选索引5至34的非相邻块。

当合并候选与当前块之间的距离大于预定义的阈值时，可以将其设定为不可用。

例如，预定义的阈值可以被设置为CTU的高度(ctu_height)或CTU_height+N，其被定义为合并候选可用阈值。换言之，当(yi-y₀)(即，合并候选的y轴坐标(y_i)与当前编码单元的左上样本(在下文中，为当前编码单元基本样本)的y轴坐标(y₀)之间的差)大于合并候选可用阈值时，可以将合并候选设置为不可用。在这种情况下，N是预定义的偏移值。具体地，例如，N可以被设置为16或者可以被设置为ctu_height。

参照图13，可以确定当前块的帧内参考线S1300。

帧内参考线可以表示在当前块的帧内预测下参考的周围区域。周围区域可以包括与当前块相邻的像素线和不与当前块相邻的像素线中的至少一个。可以选择位于当前块周围的多条像素线中的任何一条，并将其用作帧内参考线。将通过参照图14对其进行描述。

参照图13，可以确定当前块的帧内预测模式S1310。

当前块的帧内预测模式可以被确定为在编码/解码装置中预定义的p个帧内预测模式中的任何一个。p可以是33、67或更大。预定义的帧内预测模式可以被分类为候选组和非候选组。编码/解码装置可以选择候选组和非候选组中的任何一个，并且可以从所选的组中得出当前块的帧内预测模式。可以基于表示是否从候选组得出当前块的帧内预测模式的标志(在下文中，为第一标志)来执行选择。例如，当第一标志是第一值时，可以使用候选组，否则，可以使用非候选组。

具体地，当第一标志是第一值时，可以基于MPM索引和包括至少一个MPM候选的候选组(candModeList)来确定当前块的帧内预测模式。MPM索引可以是指定属于候选组的MPM候选中的任何一个的信息。仅当多个MPM候选属于一个候选组时，可以用信号通知MPM索引。

另一方面，当第一标记为第二值时(即，当与当前块的帧内预测模式相同的MPM候选不存在于候选组中时)，可以基于要用信号通知的其余模式信息来确定当前块的帧内预测模式。其余模式信息可以指定排除编码/解码装置中的MPM候选的其余模式中的任一个。

在下文中，将描述确定候选组的方法。

周围编码单元的帧内预测模式可以被用于提高当前编码单元的帧内预测模式编码效率。

周围块的帧内预测模式很可能与当前块的帧内预测模式相同或相似。可以通过使用MPM(Most probable mode，最可能模式)模式对当前编码单元的帧内预测模式进行编码，MPM模式对当前编码单元的帧内预测模式是否与周围块的帧内预测模式中的任何一个相同进行编码。在MPM模式中，可以通过对MPM索引进行编码而不直接对帧内预测模式进行编码来提高压缩效率。周围块可以包括当前块的左周围块(周围块A)或顶周围块(周围块B)中的至少一个。

当当前编码单元的帧内预测模式不是MPM模式中的任何一种时，可以对当前编码单元的帧内预测模式值进行编码。

候选组可以配置有N个预定义的MPM候选。N可以是整数，例如1、2、3、4、5、6或更大。在下文中，将描述配置6个MPM候选的方法。

[情况1]候选组可以配置有以下模式中的至少一个：周围块A的帧内预测模式(candIntraPredModeA)；非定向帧内预测模式，其值与candIntraPredModeA的值不同(DC模式或PLANAR模式)；垂直模式(INTRA_ANGULAR50)；水平模式(INTRA_ANGULAR18)或对角模式(INTRA_ANGULAR2、INTRA_ANGULAR34或INTRA_ANGULAR66中的至少一个)。

具体地，例如candModeList[0]可以被设置为candIntraPredModeA，当candIntraPredModeA为INTRA_PLANAR时，candModeList[1]可以被设置为INTRA_DC值，而当candIntraPredModeA不为INTRA_PLANAR时，candModeList[1]可以被设置为INTRA_PLANAR值，并且candModeList[2]可以被设置为INTRA_ANGULAR50，candModeList[3]可以被设置为INTRA_ANGULAR18，candModeList[4]可以被设置为INTRA_ANGULAR34，candModeList[5]可以被设置为INTRA_ULANGR2。

[情况2]当candIntraPredA与周围块B的帧内预测模式(candIntraPredB)相同并且candIntraPredA和candIntraPredB大于或等于2时，候选组可以包括以下中的至少一者：candIntraPredA、INTRA_PLANAR、INTRA_DC、candIntraPredA-1、candIntraPredA+1或垂直于candIntraPredA的模式。

具体地，例如candModeList[0]可以被设为candIntraPredModeA，candModeList[1]可以被设为INTRA_PLANAR，candModeList[2]可以被设为INTRA_DC，candModeList[3]可以被设为candIntraPredModeA-1(即，2+((candIntraPredModeA+62)％65))，candModeList[4]可以被设为candIntraPredModeA+1(即，2+((candIntraPredModeA-1)％65))，并且candModeList[5]可以被设为垂直于candIntraPredA的模式(即，candModeList[5]＝2+((candIntraPredModeA+94)％65))。

[情况3]当candIntraPredModeA和candIntraPredModeB不相同时，candModeList[0]和candModeList[1]可以分别被设置为candIntraPredModeA和candIntraPredModeB。当candIntraPredModeA与candIntraPredModeB两者均是定向模式时，candModeList[2]或candModeList[3]中的至少一个可以被设置为非定向模式。例如，candModeList[2]和candModeList[3]可以分别被设置为PLANAR模式和DC模式。另一方面，可以基于candIntraPredModeA和candIntraPredModeB之间的尺寸的比较来确定candModeList[4]或candModeList[5]中的至少一个。例如，当candIntraPredModeA大于candIntraPredModeB时，作为从最大值candIntraPredModeA减1的模式可以得出candModeList[4]，作为向最大值candIntraPredModeA加1的模式可以得出candModeList[5]。但是，当candIntraPredModeA与candIntraPredModeB之间的差值大于或等于预定的阈值时，作为从最大值candIntraPredModeA减去1或2的模式可以得出candModeList[4]，作为向最大值candIntraPredModeA加1或2的模式可以得出candModeList[5]。阈值可以是属于从1至64的范围的任意自然数。例如，阈值可以被设置为1或2，或者可以被设置为62、63或64。

[情况4]当candIntraPredModeA和candIntraPredModeB中的任一个大于或等于2并且另一个小于2时，MPM候选可以被设置为以下中的至少一个：candIntraModeMax、INTRA_PLANAR/INTRA_DC、candIntraModeMax-1、candIntraModeMax+1、candIntraModeMax-2、candIntraModeMax+2或垂直于candIntraModeMax的模式。在这种情况下，candIntraModeMax的值表示candIntraPredModeA和candIntraPredModeB中的较大值。candIntraModeMin的值可以被设置为candIntraPredModeA和candIntraPredModeB中的较小值。

具体地，例如，当candIntraPredModeMin为INTRA_PLANAR时，candModeList[2]可以被设置为INTRA_DC，而当candIntraPredModeMin为INTRA_DC时，candModeList[2]可以被设置为INTRA_PLANAR。cacandModeList[3]可以被设置为candIntraPredModeMax-1(即，2+((candIntraPredModeMax+62)％65))，candModeList[4]可以被设置为candIntraPredModeMax+1(即，2+((candIntraPredModeMax-1)％65))，并且candModeList[5]可以被设置为垂直于candIntraPredMax的模式(即，candModeList[5]＝2+((candIntraPredModeMax+94)％65))。

但是，在上述示例中，分配给MPM候选的索引仅是示例，并且不限制候选组中的位置。因此，可以以不同于上述实施方式的优先级来执行MPM候选在候选组中的排列。

上述候选组可以被分类为m个候选组。m可以是诸如2、3、4或更大的整数。在下文中，为了便于描述，假设候选组被分类为第一候选组和第二候选组。

编码/解码装置可以选择第一候选组或第二候选组中的任何一个。可以基于指定当前块的帧内预测模式属于第一候选组还是第二候选组的标志(在下文中，为第二标志)来执行选择。例如，当第二标志是第一值时，可以从第一候选组得出当前块的帧内预测模式，否则，可以从第二候选组得出当前块的帧内预测模式。

同时，可以仅当上述第一标志是第一值时用信号通知第二标志。另外，可以仅当当前块的帧内参考线被确定为相邻帧内参考线时用信号通知第二标志。当当前块参照非相邻像素线时，可以限制当前块以使得不使用第一候选组的MPM候选。另外，相反地，根据第二标志，当从第一候选组得出当前块的帧内预测模式时，可以限制当前块以使得当前块不参照非相邻像素线。将通过参照图15至图17描述用信号通知第一标志的方法。

在此，第一候选组可以配置有预定义的默认模式。默认模式可以是定向模式或非定向模式中的至少一个。例如，定向模式可以包括垂直模式、水平模式和对角模式中的至少一个。非定向模式可以包括平面模式和DC模式中的至少一个。

第一候选组可以仅配置有r个非定向模式或定向模式。r可以是诸如1、2、3、4、5或更大的整数。r可以是在编码/解码装置中预先提供的固定值，或者可以基于预定的编码参数可变地确定。当多个默认模式被包括在第一候选组中时，可以用信号通知指定多个默认模式中的任一个的索引。可以将与用信号通知的索引相对应的默认模式设置为当前块的帧内预测模式。另一方面，当第一候选组配置有一个默认模式时，可以不用信号通知索引，并且可以将当前块的帧内预测模式设置为第一候选组的默认模式。

同时，第二候选组可以包括多个MPM候选。但是，可以限制第二候选组使得第二候选组不包括属于第一候选组的默认模式。MPM候选的数目可以是2、3、4、5、6或更多。MPM候选的数目可以是在编码/解码装置中预先提供的固定值，或者可以基于编码参数而可变地确定。可以基于与当前块相邻的周围块的帧内预测模式得出MPM候选。周围块可以是与当前块的左侧、上侧、左上侧、左下侧或右上侧中的至少一个相邻的块。

具体地，可以通过考虑左侧块的帧内预测模式(candIntraPredModeA)和上侧块的帧内预测模式(candIntraPredModeB)是否相同以及candIntraPredModeA和candIntraPredModeB是否为非定向模式来确定MPM候选。

[情况1]例如，当candIntraPredModeA和candIntraPredModeB相同并且candIntraPredModeA不是非定向模式时，当前块的MPM候选可以包括candIntraPredModeA、(candIntraPredModeA-n)、(IntraPredModeA+n)或非定向模式中的至少一个。在此，n可以是诸如1、2或更大的整数。非定向模式可以包括平面模式或DC模式中的至少一个。在一个示例中，可以如以下表1所示来确定当前块的MPM候选。表1中的索引指定MPM候选的位置或优先级，但不限于此。

【表1】

索引	MPM候选
		0	candIntraPredModeA
1	2+((candIntraPredModeA+61)％64)
		2	2+((candIntraPredModeA-1)％64)
3	2+((candIntraPredModeA+60)％64)
		4	2+((candIntraPredModeA％64)

[情况2]替选地，当candIntraPredModeA与candIntraPredModeB不相同并且candIntraPredModeA与candIntraPredModeB两者均不是非定向模式时，当前块的MPM候选可以包括以下中的至少一个：candIntraPredModeA、candIntraPredModeB、(maxAB-n)、(maxAB+n)、(minAB-n)、(minAB+n)或非定向模式。这里，maxAB和minAB可以分别表示candIntraPredModeA与candIntraPredModeB的最大值和最小值，并且n可以是诸如1、2或更大的整数。非定向模式可以包括平面模式或DC模式中的至少一个。在一个示例中，可以如以下表2所示来确定当前块的MPM候选。表2中的索引指定MPM候选的位置或优先级，但不限于此。

同时，基于candIntraPredModeA与candIntraPredModeB之间的差值，可以不同地确定MPM候选。例如，当candIntraPredModeA与candIntraPredModeB之间的差值属于预定的阈值范围时，可以应用表2中的MPM候选1，否则，可以应用MPM候选2。在此，阈值范围可以是大于或等于62的第一范围、大于或等于63的第二范围或者大于或等于64的第三范围中的任何一个。

【表2】

但是，当candIntraPredModeA与candIntraPredModeB之间的差值为1或2时，可以如以下表3所示来确定MPM候选，而不是表2中的MPM候选2。例如，当差值为1时，可以应用MPM候选3，而当差值为2时，可以应用MPM候选4。替选地，相反，当差值为1时，可以应用MPM候选4，而当差值为2时，可以应用MPM候选3。

【表3】

索引	MPM候选3	MPM候选4
			0	candIntraPredModeA	candIntraPredModeA
1	candIntraPredModeB	candIntraPredModeB
			2	2+((minAB+61)％64)	2+((minAB-1)％64)
3	2+((maxAB-1)％64)	2+((minAB+61)％64)
			4	2+((minAB+60)％64)	2+((maxAB-1)％64)

在上述表2和表3中，基于minAB得出MPM候选中的任何一个，并且基于maxAB得出另一个。但是，不限于此，并且可以基于maxAB得出MPM候选而不管minAB如何，相反，可以基于minAB得出MPM候选而不管maxAB如何。

[情况3]，当candIntraPredModeA与candIntraPredModeB不相同并且candIntraPredModeA与candIntraPredModeB中仅任一个是非定向模式时，当前块的MPM候选可以包括以下中的至少一个：maxAB、(maxAB-n)、(maxAB+n)或非定向模式。在此，maxAB可以表示candIntraPredModeA与candIntraPredModeB的最大值，并且n可以是诸如1、2或更大的整数。非定向模式可以包括平面模式或DC模式中的至少一个。在一个示例中，可以如以下表4所示来确定当前块的MPM候选。表4中的索引指定MPM候选的位置或优先级，但不限于此。

【表4】

索引	MPM候选
		0	maxAB
1	2+((maxAB+61)％64)
		2	2+((maxAB-1)％64)
3	2+((maxAB+60)％64)
		4	2+(maxAB％64)

[情况4]，当candIntraPredModeA与candIntraPredModeB不相同并且candIntraPredModeA与candIntraPredModeB两者均为非定向模式时，当前块的MPM候选可以包括以下中的至少一个：非定向模式、垂直模式、水平模式、(垂直模式-m)、(垂直模式+m)、(水平模式-m)或(水平模式+m)。在此，m可以是诸如1、2、3、4或更大的整数。非定向模式可以包括平面模式或DC模式中的至少一个。在一个示例中，可以如以下表5所示来确定当前块的MPM候选。表5中的索引指定MPM候选的位置或优先级，但不限于此。例如，可以将索引1分配给水平模式，或者可以分配最大索引。另外，MPM候选可以包括以下中的至少一个：对角模式(例如，模式2、模式34、模式66)、(对角模式-m)或(对角模式+m)。

【表5】

索引	MPM候选
		0	INTRA_DC
1	垂直模式
		2	水平模式
3	(垂直模式-4)
		4	(垂直模式+4)

可以基于预定的偏移来改变在上述处理中解码的帧内预测模式。

可以基于块属性(即，尺寸、形状、分区信息、分区深度、帧内预测模式的值或分量类型)中的至少一个，选择性地执行偏移的应用。在此，块可以表示当前块和/或当前块的周围块。

分区信息可以包括以下中的至少一个：表示当前块是否被划分成多个子块的第一信息、表示划分方向(例如，水平或垂直)的第二信息、或者关于划分的子块的数目的第三信息。分区信息可以在编码装置中进行编码和用信号通知。替选地，部分分区信息可以在解码装置中基于上述块属性而被可变地确定，并且可以被设置为在编码/解码装置中预定义的固定值。

例如，当第一信息是第一值时，当前块可以被划分成多个子块，否则，当前块可以不被划分成多个子块(NO_SPLIT)。当当前块被划分成多个子块时，可以基于第二信息来水平划分(HOR_SPLIT)或垂直划分(VER_SPLIT)当前块。在这种情况下，当前块可以被划分成k个子块。在这种情况下，k可以是诸如2、3、4或更大的整数。替选地，k可以限于2的幂，例如1、2、4等。替选地，当当前块的宽度或高度中的至少一个为4(例如，4×8、8×4)时，k可以被设置为2，否则，k可以被设置为4、8或16。当当前块未被划分(NO_SPLIT)时，k可以被设置为1。

当前块可以被划分成具有相同宽度和高度的子块，并且可以被划分成具有不同宽度和高度的子块。当前块可以被划分成预先提供给编码/解码装置的N×M块单元(例如，2×2、2×4、4×4、8×4、8×8等)，而不管上述块属性如何。

仅当当前块的尺寸小于或等于预定的阈值时(T1)才应用偏移。在这种情况下，阈值(T1)可以表示应用偏移的最大块尺寸。替选地，可以仅在当前块的尺寸大于或等于预定的阈值(T2)时应用偏移。在这种情况下，阈值(T2)可以表示应用偏移的最小块尺寸。可以在比特流中用信号通知阈值。替选地，可以在解码装置中基于上述块属性中的至少一个来可变地确定阈值，或者阈值可以是在编码/解码装置中预先提供的固定值。

替选地，可以仅当当前块的形状为非正方形时应用偏移。例如，当满足以下条件时，可以将预定的偏移(例如，65)加到当前块的IntraPredMode。

-nW大于nH

-IntraPredMode大于或等于2

-IntraPredMode小于(whRatio>1)？(8+2*whRatio):8

在这种情况下，nW和nH可以分别表示当前块的宽度和高度，并且whRatio可以被设置为Abs(Log2(nW/nH))。

另外，当满足以下条件时，可以从当前块的IntraPredMode中减去预定的偏移(例如，67)。

-nH大于nW

-IntraPredMode小于或等于66

-IntraPredMode大于(whRatio>1)？(60-2*whRatio):60

如上所述，可以通过考虑当前块的属性通过将偏移加到当前块的帧内预测模式(IntraPredMode)或从当前块的帧内预测模式(IntraPredMode)减去偏移来确定最终帧内预测模式。但是，其不限于此，并且可以通过考虑属于当前块的子块的属性来相同地/类似地执行偏移的应用。将通过参照图18至图21来描述帧内预测模式的改变。

参照图13，可以基于确定的帧内参考线和帧内预测模式执行当前块的帧内预测(S1320)。

具体地，帧内预测可以以当前块为单位执行，或者可以以构成当前块的预定的子块为单位执行。将通过参照图22来描述以子块为单位的帧内预测。

另外，可以修改根据帧内预测的预测值。基于预定的参考像素和权重执行修改处理，将通过参照图23和图24对其进行描述。

参照图14，多个帧内参考线中的至少一个可以用于当前块的帧内预测。

在一个示例中，可以通过选择配置有相邻帧内参考线和非相邻帧内参考线的多个帧内参考线中的任何一个来执行帧内预测，这被定义为多行帧内预测方法。非相邻帧内参考线可以包括以下中的至少一个：第一非相邻帧内参考线(非相邻参考行索引1)、第二非相邻帧内参考线(非相邻参考行索引2)或第三非相邻帧内参考线(非相邻参考行索引3)。可以仅使用一些非相邻帧内参考线。在一个示例中，可以仅使用第一非相邻帧内参考线和第二非相邻帧内参考线，或者可以仅使用第一非相邻帧内参考线和第三非相邻帧内参考线。

可以以编码单元为单位用信号通知帧内参考行索引(intra_luma_ref_idx)——一种指定用于帧内预测的参考线的语法。

具体地，当使用相邻帧内参考线、第一非相邻帧内参考线和第三非相邻帧内参考线时，可以如以下表6所示来定义intra_luma_ref_idx。

【表6】

intra_luma_ref_idx[x0][y0]	用于帧内预测的参考线
		0	相邻帧内参考线
1	第一非相邻帧内参考线
		2	第三非相邻帧内参考线

替选地，根据当前块的尺寸、形状或帧内预测模式，可以指定非相邻参考线的位置。例如，当行索引为0时，其可以表示相邻帧内参考线，而当行索引为1时，其可以表示第一非相邻帧内参考线。同时，根据当前块的尺寸、形状或帧内预测模式，当行索引为2时，其可以表示第二非相邻帧内参考线或第三非相邻帧内参考线。

根据帧内模式，可以确定可用的非相邻参考线。例如，当使用对角模式时，可以仅使用相邻参考线、第一非相邻参考线或第三非相邻参考线中的至少一个，并且在垂直或水平模式中，可以将其设置为仅使用相邻参考线、第一非相邻参考线或第二非相邻参考线中的至少一个。

当使用非相邻帧内参考线时，可以将其设置为不使用非定向模式。换言之，当使用非相邻帧内参考线时，可以将其限制为使得不使用DC模式或平面模式。相反，当当前块使用非定向模式时，当前块可以被设置成不使用非相邻帧内参考线。例如，当当前块为非定向模式时，可以不用信号通知行索引并且可以将行索引隐式地设置为0。

根据本公开内容的第二标志可以表示当前块的帧内预测模式是否是从配置有默认模式的第一候选组得出。默认模式与上述相同，在这种情况下，将省略详细描述。为了便于描述，在本实施方式中，假设默认模式是非定向模式来进行描述。参照图15，可以在比特流中用信号通知表示帧内预测模式是否为非定向模式(DC或平面模式)的第二标志(isNonDir_flag)。当isNonDir_flag的值为1时，其表示帧内预测模式是非定向模式，并且非相邻帧内参考线可以被设置为不被用作帧内参考线。可以在比特流中用信号通知表示非定向模式中的DC模式还是平面模式的标志(NonDirIdx)。仅当isNonDir_flag的值为1时，才可以用信号通知NonDirIdx。

如图15中，仅当isNonDir_flag的值为0时，才可以用信号通知用于指定帧内参考线的intra_luma_ref_idx。当isNonDir_flag为1时，仅相邻帧内参考线被用于帧内预测，而非相邻帧内参考线不被使用。

参照图16，当编码块的帧内预测模式是DC或平面模式时(即，当isNonDir_flag的值为1时)，可以在比特流中用信号通知表示是否使用基于子分区的帧内预测方法的标志(intra_subpartitions_mode_flag)，并且当intra_subpartitions_mode_flag的值为1时，可以用信号通知表示它是被划分成垂直方向上的分区还是水平方向上的分区的标志(intra_subpartitions_split_flag)。具体地，可以通过使用如以下表7所示的语法表来解析帧内预测模式。

【表7】

当编码单元的帧内预测模式为非定向预测模式(例如，平面或DC模式)时，可以将基于子分区的帧内预测方法设置为不被使用。参照图17，当isNonDir_flag为1时，在编码步骤中可以不用信号通知intra_subpartitions_mode_flag和intra_subpartitions_split_flag。具体地，可以通过使用如以下表8至表9所示的语法表来解析帧内预测模式。

【表8】

【表9】

替选地，可以在比特流中用信号通知表示当前块的帧内预测模式是否是预定义的默认模式的第二标志(intra_default_mode_flag)。当intra_default_mode_flag的值为1时，表示帧内预测模式是默认模式。可以在比特流中用信号通知指示使用默认模式中的哪个模式的索引(intra_defualt_mode_idx)。只有当intra_default_mode_flag的值为1时，才可以用信号通知intra_default_mode_idx。

仅当intra_default_mode_flag的值为0时，才可以用信号通知指定帧内参考线的intra_luma_ref_idx。相反，仅当intra_luma_ref_idx为0时，才可以用信号通知intra_default_mode_flag。

当intra_default_mode_flag为1时，可能存在仅相邻帧内参考线被用于帧内预测的限制。具体地，可以通过使用如以下表10所示的语法表来解析帧内预测模式。

【表10】

例如，默认模式可以被设置为DC模式、平面模式、水平模式或垂直模式中的至少一个。

对于另一示例，默认模式可以被设置为以下中的至少一个：DC模式、平面模式、水平模式、垂直模式或对角模式(例如，INTRA_ANGULAR2、INTRA_ANGULAR66)。

对于另一示例，默认模式可以被设置为以下中的至少一个：水平模式、垂直模式或对角模式(例如，INTRA_ANGULAR2、INTRA_ANGULAR66、INTRA_ANGIAR34)。

如图18所示，定向模式的预测角可以设置在45度和-135度之间。当在非方形编码单元中执行帧内预测时，由于预定义的预测角，可能产生以下缺点：通过使用远离当前样本的帧内参考样本而不是靠近当前样本的帧内参考样本来预测当前样本。

例如，如图19的左图中，对于编码单元的宽度大于编码单元的高度的编码单元(在下文中，为水平方向上的编码单元)，可能在远L而不是近样本T中执行帧内预测。对于另一示例，如图19的右图中，对于编码单元的高度大于编码单元的宽度的编码单元(在下文中，为垂直方向上的编码单元)，可能在远样本T而不是近样本L中执行帧内预测。在非正方形编码单元中，可以在预定义的预测角之外的预测角处执行帧内预测，这被称为广角帧内预测模式。

广角帧内预测模式可以具有(45-α)至(-135-β)的预测角，并且在现有帧内预测模式中使用的角度之外的预测角被称为广角角度。

在图19的左图中，编码单元中沿水平方向上的样本A可以通过使用广角帧内预测模式根据帧内参考样本T执行预测。

在图19的右图中，编码单元中沿垂直方向上的样本A可以通过使用广角帧内预测模式根据帧内参考样本L执行预测。

广角帧内预测模式可以通过将20个广角角度添加到N个现有帧内预测模式来使用N+20个帧内预测模式。具体地，例如，当使用67个帧内模式时，通过如表11所示添加广角，可以使用总共87个帧内预测模式。

【表11】

如图20所示，当使用广角帧内预测模式时，上侧帧内参考样本的长度可以被设置为(2W+1)，而左侧帧内参考样本的长度可以被设置为(2H+1)。当使用广角帧内预测时，当对广角帧内预测模式的帧内预测模式进行编码时，帧内预测模式的数目增加，因此编码效率可能降低。可以通过用在广角帧内中不使用的现有帧内预测模式替换来对广角帧内预测模式进行编码，并且替换的预测模式被称为广角替换模式。

具体地，例如，如图21所示，当使用35个帧内预测模式时，广角帧内预测模式35可以被编码成帧内预测模式2(广角替换模式)，并且广角帧内预测模式36可以被编码成帧内预测模式3(广角替换模式)。可以根据编码块的形状或编码块的高宽比来不同地设置替换模式和数目。具体地，例如，如表12至表13所示，可以根据编码块的形状来不同地设置替换模式和数目。表12表示使用35个帧内预测模式的情况，而表13表示使用67个帧内预测模式的情况。

【表12】

情况	替换的帧内预测模式
		W/H＝2	模式2、模式3、模式4
W/H>2	模式2、模式3、模式4、模式5、模式6
		W/H＝1	无
H/W＝1/2	模式32、模式33、模式34
		H/W<1/2	模式30、模式31、模式32、模式33、模式34

【表13】

替选地，可以根据编码块的形状或编码块的高宽比来不同地设置替换模式和数目。具体地，例如，如表14所示，可以根据编码块的形状来不同地设置替换模式和数目。表14表示根据编码块的宽度和高度比使用的替换帧内预测模式。

【表14】

参照图22，可以将编码块划分成多个子块，并且可以基于预定的优先级顺序地预测/重建子块，这被称为基于子分区的帧内预测方法。可以通过参考编码单元中的预重建子块的样本来预测当前子块。在这种情况下，重建子块的样本可以是没有应用环路滤波器的样本。优先级可以是从左到右或从上到下中的任一个。但是，并不限于此，并且可以从左到右或从上到下确定。在下文中，编码单元可以表示当前块。

在基于子分区的帧内预测方法中，可能存在编码单元中的所有子块使用相同帧内预测模式的限制。

替选地，在基于子分区的帧内预测方法中，编码单元中的子块中的至少一个的帧内预测模式可以不同于其他子块。在一个示例中，可以通过将偏移加到第(n-1)子块的帧内预测模式/从第(n-1)子块的帧内预测模式中减去偏移来得出第n子块的帧内预测模式。可以在编码器/解码器中预定义偏移，或者可以根据编码单元的形状或尺寸、编码单元的帧内预测模式、或者子分区的形状或尺寸来得出偏移。替选地，可以在比特流中用信号通知用于确定偏移的信息。

替选地，多个子块的一部分可以使用定向模式，而其余部分可以使用非定向模式。替选地，多个子块中的任何一个可以使用预定义的默认模式，而其他子块可以使用非默认模式。在这种情况下，仅当第一子块的定向模式是预定义的帧内预测模式时，在第二子块中才可以使用非定向模式。

替选地，在基于子分区的帧内预测方法中，可以在预定义的候选中选择编码单元中的子块的帧内预测模式。在这种情况下，预定义的候选可以包括以下中的至少一个：水平模式、垂直模式、对角模式(例如，左上、右上、左下帧内预测模式)或非定向模式。

替选地，在基于子分区的帧内预测方法中，可以仅从MPM候选得出编码单元中的子块的帧内预测模式。

替选地，根据编码单元的帧内预测模式，使用基于子分区的帧内预测方法可能受到限制。例如，当编码单元的帧内预测模式为非定向模式(例如，平面或DC模式)或预定义的定向模式(例如，水平、垂直或对角模式)时，可以将基于子分区的帧内预测方法设置为不使用。替选地，当编码单元的帧内预测模式是可以不利用相邻子块作为参考样本的帧内预测模式(例如，对角模式或广角帧内预测模式)时，可以将基于子分区的帧内预测方法设置为不使用。

替选地，根据编码单元的尺寸或形状，可以限制使用基于子分区的帧内预测方法。例如，当编码单元的高宽比大于或等于阈值时，或者当当前块的宽度或高度中的至少一个小于或等于阈值时，可以将基于子分区的帧内预测方法设置为不使用。

根据编码单元的帧内参考线的数目/位置，可以限制使用基于子分区的帧内预测方法。例如，仅当编码单元的帧内参考线的位置是相邻帧内参考线时，可以使用基于子分区的帧内预测方法。替选地，仅当编码单元的帧内参考线的数目为1时，可以使用基于子分区的帧内预测方法。

可以以每个子块为单位使用不同的量化参数值，并且可以对先前子块的量化参数值与当前子块的量化参数值之间的差值进行编码。换言之，可以基于经编码的差值和先前子块的量化参数得出当前子块的量化参数。

子块(分区)可以被分类为垂直方向上的分区和水平方向上的分区。可以通过使用至少一条垂直线对编码块进行划分来生成垂直方向上的分区，并且可以通过使用至少一条水平线对编码块进行划分来生成水平方向上的分区。可以通过仅使用垂直线来划分编码单元，或者可以通过仅使用水平线来划分编码单元。替选地，可以通过使用垂直线和水平线两者来划分编码单元。

可以根据编码单元的尺寸/形状来确定子块的数目。在一个示例中，在4×4编码单元中，可以不被划分成子分区，在8×4到4×8编码单元中，可以被划分成2个子分区，并且在其他编码单元中，可以被划分成4个分区。

替选地，可以在比特流中用信号通知表示子块的数目、尺寸或形状的信息。可以根据由要用信号通知的信息确定的分区的数目来确定子块的尺寸或形状，或者可以根据由要用信号通知的信息确定的子块的尺寸/形状来确定子块的数目。

参照图22，可以将编码单元分类为垂直方向上的分区或水平方向上的分区。可以在比特流中用信号通知intra_subpartitions_mode_flag，intra_subpartitions_mode_flag是表示在编码块中是否将使用基于子分区的帧内预测方法的标志。

可以在比特流中发送表示是被划分成垂直方向上的分区还是水平方向上的分区的帧内分区类型标志(intra_subpartitions_split_flag)。当intra_subpartitions_split_flag的值为1时，表示其可以在水平方向上被划分成分区以配置子分区，而当intra_subpartitions_split_flag的值为0时，表示其可以在垂直方向上被划分成分区以配置子分区。

可以基于预定的参考样本和权重来执行根据本公开内容的预测值的修改。在这种情况下，可以基于要修改的当前块中的样本(在下文中，被称为当前样本)的位置来确定参考样本和权重。另外，可以基于当前块的帧内预测模式来确定参考样本的位置。

在生成帧内预测图像之后，可以基于像素的位置针对每个像素修改帧内预测图像，这被定义为基于像素的位置的帧内权重预测方法(位置相关预测组合(Positiondependent prediction combination)，PDPC)。

(实施方式1)

参照图23，可以通过使用当前样本和一个或多个周围样本(帧内参考线内的样本)的加权预测来生成最终帧内预测图像。用于加权预测的每个样本的权重可以被设置为与样本的位置和编码单元的宽度和/或编码单元的高度成比例的值。但是，图23仅是PDPC的参考样本的示例，并且不限制参考样本的位置和/或数目。例如，可以根据当前块的帧内预测模式而不同地确定PDPC的参考样本的位置和/或数目。

PDPC可以用于多行帧内预测。如表15所示，用于指定PDPC参考样本的PDPC_ref_idx可以根据帧内参考行索引intra_luma_ref_idx的值而限定。

【表15】

具体地，例如，如以下等式4所示，PDPC可以生成最终帧内预测图像。

【等式4】

pred[x][y]＝(wL[x]×refL[x][y]+wT×refT[x][y]-wTL[x][y]×refTL[x][y]+(64-wL-wT+wTL)×pred[x][y]+32)＞＞6

在编码PDPC时用于加权预测的参考样本被称为PDPC参考样本。上侧帧内参考线上的PDPC参考样本被称为上侧PDPC参考样本(refT)，左侧帧内参考线上的参考样本被称为左侧PDPC参考样本(refL)，并且左上位置处的参考样本(例如，R(-1,-1)或R(-2,-2)或R(-4,-4))被称为左上侧PDPC参考样本。

上侧PDPC参考样本refT的位置可以被设置为R(x+y+1,-1)或R(x,-1)。替选地，可以根据编码单元的形状或帧内预测模式值来不同地设置左侧PDPC参考样本的位置，并且可以通过使用来自多个样本的加权预测来得出左侧PDPC参考样本的位置。

具体地，例如，当帧内预测模式是DC模式、平面模式、水平模式(模式值18)或垂直模式(模式值50)中的任一个时，如以下等式5所示，可以得出上侧PDPC参考样本refT[x][y]。

【等式5】

refT[x][y]＝p[x][-1-PDPC_ref_idx]

当帧内预测模式是INTRA_2或INTRA_66时，如以下等式6所示，可以得出上侧PDPC参考样本refT[x][y]。

【等式6】

refT[x][y]＝p[x+y+1][-1-PDPC_ref_idx]

在右上对角模式(在67个帧内预测模式或广角帧内预测模式中，为帧内预测模式值大于2且小于10的预测模式)中，如以下等式7所示，可以得出上侧PDPC参考样本。

【等式7】

refT[x][y]＝(dX[x][y]

＜refW-1)？((64-dXFrac[y])*p[dX[x][y]][-1-PDPC_ref_idx]+dXFrac[y]*p[dX[x][y]+1][-1-PDPC_ref_idx]+32)＞＞6∶0

在等式7中，refW表示参考样本参考的宽度。

在等式7中，dX[x][y]是根据帧内预测模式的角度指定帧内参考样本的位置的参数，并且如以下等式8所示，可以得出dX[x][y]，其被称为帧内参考样本的上侧位置处的参数。

【等式8】

dXPos[y]＝((y+1)*invAngle+2)＞＞2

dXFrac[y]＝dXPos[y]&63

dXInt[y]＝dXPos[y]＞＞6

dX[x][y]＝x+dXInt[y]

在左下对角模式(在67个帧内预测模式或广角帧内预测模式中，为帧内预测模式值大于58且小于66的预测模式)中，如以下等式9所示，可以得出上侧PDPC参考样本。

【等式9】

refT[x][y]＝0

左侧PDPC参考样本的位置可以被设置为R(-1-PDPC_ref_idx,x+y+1)(p[-1-PDPC_ref_idx][x+y+1])，或者可以被设置为R(-1-PDPC_ref_idx,x)(p[-1-PDPC_ref_idx][x])。替选地，可以根据编码单元的形状或帧内预测模式值来不同地设置上侧PDPC参考样本的位置，并且可以通过使用来自多个样本的加权预测来得出上侧PDPC参考样本的位置。

具体地，例如，当帧内预测模式是DC模式、平面模式、水平帧内预测模式(帧内预测模式值18)或垂直帧内预测模式(帧内预测模式值50)中的任一个时，如以下等式10所示，可以得出左侧PDPC参考样本refL[x][y]。

【等式10】

refL[x][y]＝p[-1-PDPC_ref_idx][y]

当帧内预测模式是INTRA_2或INTRA_66时，如以下等式11所示，可以得出左侧PDPC参考样本refT[x][y]。

【等式11】

refL[x][y]＝p[-1-PDPC_ref_idx][x+y+1]

在右上对角模式中，如以下等式12所示，可以得出左侧PDPC参考样本。

【等式12】

refT[x][y]＝0

在左下对角模式中，如以下等式13所示，可以得出左侧PDPC参考样本。

【等式13】

refL[x][y]＝(dY[x][y]

＜refH-1)？((64-dYFrac[x])*p[-1-PDPC_ref_idx][dY[x][y]]+dYFrac[x]*p[-1][dY[x][y]+1]+32)＞＞6∶0

在等式13中，refH表示参考样本参考的高度。在等式13中，dY[x][y]是根据帧内预测模式的角度指定帧内参考样本的位置的参数，并且如以下等式14所示，可以得出dY[x][y]，其被称为帧内参考样本的左侧位置处的参数。

【等式14】

dYPos[x]＝((x+1)*invAngle+2)＞＞2

dYFrac[x]＝dYPos[x]&63

dYInt[x]＝dYPos[x]＞＞6

dY[x][y]＝y+dYInt[x]

在等式14中，invAngle是根据帧内预测角得出的参数，并且如等式15所示，可以得出invAngle。

【等式15】

intraPredAngle表示表11中所示的每个预测模式的帧内预测角。

当在多行帧内预测模式中通过使用非相邻帧内参考样本来执行PDPC时，当前样本与帧内参考样本之间的不连续性增加，因此可能产生质量劣化。为了降低质量劣化，可以通过加权预测来平滑所选择的非相邻帧内参考样本和相邻参考样本/其他非相邻帧内参考样本。

例如，当使用多行帧内预测模式时，如图24所示，可以通过对所选的参考样本行和其他参考样本行执行加权预测来得出左侧PDPC参考样本和上侧PDPC参考样本。

具体地，例如，当使用多行帧内的非相邻参考样本并且是右上对角模式时，可以通过使用非相邻参考样本和相邻参考样本的加权预测来得出refT[x][y]，并且加权预测参数w可以被设置为与和当前块的距离成比例或成反比的值。具体地，例如，如以下等式16所示，可以得出refT[x][y]。

【等式16】

refT[x][y]＝(dY[x][y]

＜refH-1)？(w*((64-dYFrac[x])*p[-1-PDPC_ref_idx][dY[x][y]]+dYFrac[x]*p[-1-PDPC_ref_idx][dY[x][y]+1])+(64-w)*((64-dYFrac[x])*p[-1][dY[x][y]]+dYFrac[x]*p[-1][dY[x][y]+1])+32)＞＞6∶0

具体地，对于另一示例，当使用多行帧内的非相邻参考样本并且是左下对角模式时，可以通过使用非相邻参考样本和相邻参考样本的加权预测来得出refL[x][y]，并且加权预测参数w可以被设置为与和当前块的距离成比例或成反比的值。具体地，例如，如以下等式17所示，可以得出refL[x][y]。

【等式17】

refL[x][y]＝(dY[x][y]

＜refH-1)？(w*((64-dYFrac[x])*p[-1-PDPC_ref_idx][dY[x][y]]+dYFrac[x]*p[-1-PDPC_ref_idx][dY[x][y]+1])+(64-w)*((64-dYFrac[x])*p[-1][dY[x][y]]+dYFrac[x]*p[-1][dY[x][y]+

对于另一示例，当使用多行帧内的非相邻参考样本并且是水平预测模式(INTRA_18)时，可以通过使用非相邻参考样本和相邻参考样本的加权预测来得出refL[x][y]，或者可以添加对左上侧PDPC样本与左侧PDPC样本之间的差进行缩放的值。

具体地，例如，如以下等式18所示，可以得出refL[x][y]。

【等式18】

refL[x][y]＝(w*p[-1-PDPC_ref_idx][y]+(4-w)*(p[-1-PDPC_ref_idx]-p[-1][y]+2)＞＞2

refL[x][y]＝p[-1-PDPC_ref_idx][y]+(p[-1PDPC_ref_idx][y]-[-1PDPC_ref_idx][-1PDPC_ref_idx])＞＞1

对于另一示例，当使用多行帧内的非相邻参考样本并且是垂直预测模式(INTRA_50)时，可以通过使用非相邻参考样本和相邻参考样本的加权预测来得出refT[x][y]，或者可以添加对左上侧PDPC样本与上侧PDPC样本之间的差进行缩放的值。

具体地，例如，如以下等式19所示，可以得出refL[x][y]。

【等式19】

refT[x][y]＝(w*p[x][-1-PDPC_ref_idx]+(4-w)*(p[x][-1-PDPC_ref_idx]-p[x][-1]

refT[x][y]＝p[x][-1-PDPC_ref_idx][y]+(p[x][-1-PDPC_ref_idx]-p[-1-PDPC_ref_idx][-1-PDPC_ref_idx])

可以基于帧内预测模式得出PDPC加权预测的样本单元权重wL、wT、wTL和(64-wL-wT+wTL)(在下文中，为PDPC样本单元权重)。例如，可以作为与编码块的x轴坐标值和/或y轴坐标值和/或宽度/高度成比例或成反比的值得出PDPC样本单元权重。

wL被称为左侧PDPC权重，wT被称为上侧PDPC权重，wTL被称为左上侧PDPC权重，并且(64-wL-wT+wTL)被称为当前样本PDPC权重。

具体地，例如，当DC模式、平面模式、水平帧内预测模式(帧内预测模式值18)或垂直帧内预测模式(帧内预测模式值50)中的任一个时，如以下等式20所示，可以得出PDPC样本单元权重。

【等式20】

wT[y]＝32＞＞((y＜＜1)＞＞shift

wL[x]＝32＞＞((x＜＜1)＞＞shift

wTL[x][y]＝(predModeIntra＝＝INTRA_DC)？((wL[x]＞＞4)+(wT[y]＞＞4))∶0

在这种情况下，如以下等式21所示，可以定义shift值。

【等式21】

shift＝(log2(width)-2+log2(height)-2+2)＞＞2

当帧内预测模式是INTRA_2或INTRA_66时，如以下等式22所示，可以得出PDPC样本单元权重。

【等式22】

wT[y]＝(16＞＞((y＜＜1)＞＞shift))

wL[x]＝(16＞＞((y＜＜1)＞＞shift))

wTL[x][y]＝0

在右上对角模式(在67个帧内预测模式或广角帧内预测模式中，为帧内预测模式小于10的预测模式)中，如以下等式23所示，可以得出PDPC样本单元权重。

【等式23】

wT[y]＝(dX[x][y]＜refW-1)？(32＞＞((y＜＜1)＞＞shift))：0

wL[x]＝0

wTL[x][y]＝0

在左下对角模式(在67个帧内预测模式或广角帧内预测模式中，为帧内预测模式大于58且小于67的预测模式)中，如以下等式24所示，可以得出PDPC样本单元权重。

【等式24】

wT[y]＝0

wL[x]＝(dY[x][y]＜refH-1)？(32＞＞((x＜＜1)＞＞shift))

wTL[x][y]＝0

(实施方式2)

当当前块的帧内预测模式是非定向模式时，当前样本的参考像素(refL,refT)可以属于与当前块相邻的第一像素线，并且可以位于与当前样本相同的水平/垂直线上。权重可以包括以下中的至少一个：x轴方向上的第一权重(wL)、y轴方向上的第二权重(wT)或对角方向上的第三权重(wTL)。分别地，第一权重可以表示应用于左侧参考像素的权重，第二权重可以表示应用于上侧参考像素的权重，第三权重可以表示应用于左上侧参考像素的权重。在这种情况下，可以基于当前样本的位置信息和预定的比例因子(nScale)来确定第一权重和第二权重。可以基于当前块的宽度(W)和高度(H)确定比例因子。例如，当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为(32>>((x<<1)>>nScale))，并且第二权重(wT[x])可以被确定为(32>>((y<<1)>>nScale))。第三权重wTL[x]＞y]可以被确定为((wL[x]>>4)+(wT[y]>>4))。但是，当帧内预测模式是平面模式时，第三权重可以被确定为0。比例因子可以被设置为((Log2(nTbW)+Log2(nTbH)-2)>>2)。

当当前块的帧内预测模式是垂直/水平模式时，当前样本的参考像素(refL,refT)可以属于与当前块相邻的第一像素线，并且可以位于与当前样本相同的水平/垂直线上。对于垂直模式，当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为(32>>((x<<1)>>nScale))，第二权重(wT[y])可以被确定为0，并且第三权重(wTL[x][y])可以被确定为与第一权重相同。另一方面，对于水平模式，当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为0，第二权重(wT[y])可以被确定为(32>>((y<<1)>>nScale))，并且第三权重(wTL[x][y])可以被确定为与第二权重相同。

当当前块的帧内预测模式是对角模式时，当前样本的参考像素(refL,refT)可以属于与当前块相邻的第一像素线，并且可以位于与当前样本相同的对角线上。在这种情况下，对角线具有与当前块的帧内预测模式相同的角度。对角线可以表示在左下位置处的右上方向上的对角线，或者可以表示在左上位置处的右下方向上的对角线。在这种情况下，当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为(32>>((x<<1)>>nScale))，第二权重(wT[y])可以被确定为(32>>((y<<1)>>nScale))，并且第三权重(wTL[x][y])可以被确定为0。

替选地，当当前块的帧内预测模式小于18号模式时，当前样本的参考样本(refL,refT)可以属于当前块的相邻帧内参考线。参考样本可以位于与当前样本相同的对角线上，或者可以与对角线相邻。

例如，当对角线通过相邻帧内参考线中的整数像元时，参考样本可以被确定为对角线上的整数像元。另一方面，当对角线在属于相邻帧内参考线的2个整数像元之间通过时，参考样本可以被确定为通过对2个整数像元进行插值而生成的1个分数像元。替选地，在没有单独的插值处理的情况下，2个整数像元中最接近对角线的整数像元可以被确定为参考样本，或者特定方向上的整数像元可以基于对角线被确定为参考样本。在这种情况下，特定方向可以表示左或右中的任一个，或者可以表示上或下中的任一个。可以根据当前块的帧内预测模式的角度来确定对角线。

但是，对于参考样本，可能存在仅使用当前块的左参考样本或上参考样本中的任一个的限制。当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为0，第二权重(wT[y])可以被确定为(32>>((y<<1)>>nScale))，并且第三权重(wTL[x][y])可以被确定为0。

当当前块的帧内预测模式大于50号模式时，当前样本的参考像素(refL,refT)可以属于当前块的相邻帧内参考线。参考样本可以位于与当前样本相同的对角线上，或者可以与对角线相邻。

但是，对于参考样本，可能存在仅使用当前块的左参考像素或上参考像素中的任一个的限制。当前样本(predSample[x][y])的第一权重(wL[x])可以被确定为(32>>((x<<1)>>nScale))，第二权重(wT[y])可以被确定为0，并且第三权重(wTL[x][y])可以被确定为0。

基于所确定的参考像素(refL[x][y]，refT[x][y])和权重(wL[x]，wT[y]，wTL[x][y])，如上述等式4所示，可以修改当前样本(predSamples[x][y])。

但是，仅当当前块不以子块为单位执行帧内预测时，才可以执行上述修改处理。仅当当前块的参考像素是第一像素行时才可以执行修改处理。仅当当前块的帧内预测模式与特定模式相对应时才可以执行修改处理。在这种情况下，特定模式可以包括以下中的至少一个：非定向模式、垂直模式、水平模式、小于预定的第一阈值模式的模式或大于预定的第二阈值模式的模式。第一阈值模式可以是8号、9号、10号、11号或12号模式或水平模式或66号对角模式，或者第二阈值模式可以是56号、57号、58号、59号或60号模式或垂直模式或2号对角模式。

从原始图像减去预测图像的图像被称为残差图像。

通过诸如DCT(离散余弦变换)的二维变换，可以将残差图像分解为二维频率分量。存在尽管从图像中去除了高频分量，但是不会显著产生视觉失真的特征。当对应于高频的值被设置为较小或0时，在没有显著的视觉失真的情况下，可以提高压缩效率。

可以根据预测块的尺寸或预测模式来使用DST(离散正弦变换)。具体地，例如，当其是帧内预测模式并且预测块/编码块的尺寸小于N×N时，可以将其设置为使用DST变换，并且对于其他预测块/编码块，可以将其设置为使用DCT。

DCT是通过使用余弦变换将图像分解(变换)为二维频率分量的处理，并且在这种情况下将频率分量表示为基本图像。例如，当在N×N块中执行DCT变换时，可以获得N²基本模式分量。执行DCT变换表示获得包括在原始像素块中的每个基本模式分量的尺寸。每个基本模式分量的尺寸被称为DCT系数。

通常，在许多非零分量分布在低频处的图像中，主要使用DCT(离散余弦变换)，而在许多高频分量分布的图像中，可以使用DST(离散正弦变换)。

DST表示通过使用正弦变换将图像分解(变换)为二维频率分量的处理。通过使用除了DCT变换或DST变换外的变换方法，二维图像可以被分解(变换)为二维频率分量，这被称为二维图像变换。

在残差图像中的特定块中可以不执行二维图像变换，这被称为变换跳过。在变换跳过之后，可以应用量化。

可以将DCT或DST或二维图像变换应用于二维图像中的任意块，并且在这种情况下使用的变换被定义为第一变换。在执行第一变换之后，可以在变换块的一些区域中再次执行变换，其被定义为第二变换。

第一变换可以使用多个变换核心之一。具体地，例如，DCT2、DCT8或DST7中的任一个可以被选择并用在变换块中，或者不同的变换核心可以被用于变换块中的水平方向上的变换和垂直方向上的变换，这被称为多重变换选择方法(Multiple Transform Selection，MTS)。在这种情况下，DCT2、DCT8或DST7被称为变换核心。

在一个示例中，可以在编码块中用信号通知选择是否将DCT2用作水平方向和垂直方向上的变换核心的cu_mts_flag。

当cu_mts_flag的值为1时，其表示DCT2在水平方向和垂直方向上被用作变换核心。

当cu_mts_flag的值为0时，其表示DCT8或DST7在水平方向和垂直方向上被用作变换核心。

仅当cu_mts_flag的值为0时，才可以用信号通知变换核心索引(mts_idx)。

对于垂直方向上的编码单元或水平方向上的编码单元，可以将cu_mts_flag的值设置为0。

【表16】

当它是帧内编码单元并且非零变换系数的数目小于或等于阈值时，可以不用信号通知变换核心索引，并且DST7可以被用作水平方向上的变换核心和垂直方向上的变换核心。在这种情况下使用的阈值被称为第一变换选择阈值。在一个示例中，第一变换选择阈值可以被设置为2，或者可以被设置为与编码单元的尺寸成比例的值。

具体地，例如，在小于或等于32×32的编码单元中第一变换选择阈值可以被设置为2，而在大于32×32的编码单元(例如，32×64、64×32或64×64尺寸的编码单元)中第一变换选择阈值可以被设置为4。

替选地，可以根据编码单元的形状使用不同的变换核心。在一个示例中，水平方向上的变换核心和垂直方向上的变换核心可以在编码单元中沿水平方向上或在编码单元中沿垂直方向上被设置为不相同。换言之，可以将变换核心索引设置为仅具有值1到2，并且如表16所示，可以用信号通知变换核心标志(mts_flag)。

当变换核心标记值为0时，变换核心索引可以被设置为1，而当变换核心标记值为1时，变换核心索引可以被设置为2。

【表17】

替选地，可以根据编码单元的形状对mts_idx的值进行重排(重新排序)。

在一个示例中，当编码单元是垂直方向上的编码单元或水平方向上的编码单元时，如表17所示，可以对mts_idx进行重排。

【表18】

参照图25，当其为帧内编码单元并且水平方向上的非零系数的最大数目小于2时，DST7可以被用作水平方向上的变换核心。在这种情况下，水平方向上的非零系数的最大数目表示编码单元中的1×N子块中的非零系数的数目。

当它是帧内编码单元并且垂直方向上的非零系数的最大数目小于2时，DST7可以被用作垂直方向上的变换核心。在这种情况下，水平方向上的非零系数的最大数目表示编码单元中的N×1子块中的非零系数的数目。

可以基于水平方向上的变换核心是否与垂直方向上的变换核心相同来选择性地确定是否执行第二变换。在一个示例中，可以将其设置为仅当水平方向上的变换核心与垂直方向上的变换核心相同时才执行第二变换。在另一示例中，可以将其设置为仅当水平方向上的变换核心不同于垂直方向上的变换核心时才执行第二变换。

替选地，当其是帧内编码单元并且非零变换系数的数目小于第一变换选择阈值时，可以将其设置为不使用第二变换。

在另一示例中，可以基于编码单元中的非零变换系数的数目而将其设置为不使用第二变换。

当非零变换系数的数目大于N时，可以将其设置为执行第二变换，而当非零变换系数的数目小于或等于N时，可以将其设置为不执行第二变换。

可以不同地设置执行第一变换和第二变换的块的单元。具体地，例如，在残差图像的8×8块中执行第一变换之后，可以分别对每个4×4子块执行第二变换。在另一示例中，在每个4×4块中执行第一变换之后，可以分别在8×8尺寸的块中执行第二变换。

可以基于编码单元的形状不同地设置将执行第二变换的子块的尺寸和形状。

在一个示例中，在正方形编码单元中执行第一变换之后，可以在左上位置处的N×N子块的所有区域或仅一部分区域中执行第二变换。具体地，例如，如图26所示，在8×8尺寸的编码单元中执行第一变换之后，可以在4×4左上子块中执行第二变换。在沿水平方向上的编码单元中，编码单元的宽度大于编码单元的高度至少四倍的编码单元被称为最大水平方向上的编码单元。

在沿垂直方向上的编码单元中，编码单元的高度大于编码单元的宽度至少四倍的编码单元被称为最大水平方向上的编码单元。

在另一示例中，在编码单元中沿最大水平方向上中执行第一变换之后，可以在左上位置处的(kN)×(4kN)子块的所有区域或仅一部分区域中执行第二变换。

具体地，例如，如图27的上侧图片所示，在16×4编码单元中沿最大水平方向上执行第一变换之后，可以在2×8左上子块中执行第二变换。

如图27的下侧图片所示，在编码单元中沿最大垂直方向上执行第一变换之后，可以仅在左上位置处的(4kN)×(kN)子块中执行第二变换。

将应用了第一变换的残差图像定义为第一变换残差图像。

DCT或DST或二维图像变换可以被应用于第一变换残差图像，并且在这种情况下使用的变换被定义为第二变换。将应用了第二变换的二维图像定义为第二变换残差图像。

执行第一变换和/或第二变换之后的块中的样本值被定义为变换系数。量化是指将变换系数除以预定义的值以减少块的能量的处理。将被定义为对变换系数应用量化的值定义为量化参数。

可以以序列或块为单位来应用预定义的量化参数。通常，量化参数可以被定义为从1到51的值。

在执行变换和量化之后，可以通过执行去量化和逆变换来生成残差重建图像。可以通过将预测图像与残差重建图像相加来生成第一重建图像。

解码装置可以通过在上述编码装置中逆执行变换和量化处理来重建残差图像。当变换包括第一变换和第二变换时，解码装置可以对用信号通知的变换块的残差系数执行去量化，并且可以对变换块依次执行第二变换和第一变换。在这种情况下，第二变换可以仅被应用于变换块中的一些区域，并且一些区域可以指左上区域、左子区域或上子区域。

图28至图29示出了作为应用本公开内容的实施方式的方法，其中将环路滤波器应用于重建图像。

环路滤波是自适应地对解码图像执行滤波以减少在量化和编码处理中生成的信息的损失的技术。去块滤波器、样本自适应偏移(SAO)滤波器和自适应环路滤波器(ALF)是环路滤波的示例。

可以通过对第一重建图像执行以下中的至少任何一个来生成第二重建图像：去块滤波器、样本自适应偏移(SAO)滤波器和自适应环路滤波器(ALF)。

在将去块滤波器应用于重建图像之后，可以应用SAO和ALF。

在视频编码处理中以块为单位执行变换和量化。产生了在量化过程中产生的损失，并且在重建图像的图像的边界上产生不连续性。在块边界上产生的不连续图像被定义为块伪像。

去块滤波器是减轻在第一图像的块边界上产生的块伪像并且提高编码性能的方法。

可以通过对块边界执行滤波来减轻块伪像，并且如图28所示，可以基于以下中的至少任何一个来确定块强度(在下文中，为BS)的值：块是否通过帧内预测模式被编码、或者相邻块的运动矢量绝对值的差是否大于预定义的预定阈值、或者相邻块的参考图像是否彼此相同。当BS的值为0时，可以不执行滤波，而当BS的值为1或2时，可以对块边界执行滤波。

因为在频域中执行量化，所以在对象的边缘上产生振铃伪像，或者像素值与原始值相比增加或减少某个值。通过考虑第一重建图像的图案，SAO可以通过以块为单位增加或减去特定偏移来有效地减少振铃伪像。根据重建图像的特征，SAO配置有边缘偏移(在下文中，为EO)和带偏移(BO)。边缘偏移是根据周围像素样本模式将偏移不同地添加到当前样本的方法。带偏移通过对区域中具有相似像素亮度值的像素组增加特定值来减小编码误差。像素亮度可以被分成32个均匀的带，以将具有相似亮度值的像素设置为一组。例如，4个相邻带可以被组合成一个类别。可以将其设置为在一个类别中使用相同的偏移值。

ALF(自适应环路滤波器)是通过将预定义的滤波器中的任一个用于第一重建图像或对第一重建图像执行去块滤波的重建图像来生成第二重建图像的方法，如等式25所示的。

【等式25】

在这种情况下，可以以图片为单位或以CTU为单位选择滤波器。

对于亮度分量，如图29所示，可以选择5×5、7×7或9×9菱形中的任何一种。对于色度分量，可能存在只能使用5×5菱形的限制。

本公开内容的各种实施方式并未列举所有可能的组合，而是描述本公开内容的代表性方面，并且在各种实施方式中描述的事项可以独立地应用或者可以通过两个或更多个的组合来应用。

另外，可以通过硬件、固件、软件或其组合等实现本公开内容的各种实施方式。对于通过硬件的实现方式，可以通过一个或更多个ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理装置)、PLD(可编程逻辑装置)、FPGA(现场可编程门阵列)、通用处理器、控制器、微控制器、微处理器等来执行实现方式。

本公开内容的范围包括在装置或计算机中执行根据各种实施方式的方法的动作的软件或机器可执行指令(例如，操作系统、应用、固件、程序等)，以及存储这种软件或指令等并且在装置或计算机中可执行的非暂态计算机可读介质。

工业适用性

本公开内容可以用于对视频信号进行编码/解码。

Claims

1.一种图像解码方法，包括：

基于预定义的预测模式生成当前块的预测块；

通过预定变换生成所述当前块的变换块；以及

基于所述预测块和所述变换块重建所述当前块，

其中，生成所述预测块，包括：

确定所述当前块的帧内参考线；

根据预定候选组确定所述当前块的帧内预测模式；以及

基于所确定的帧内参考线和所述帧内预测模式执行所述当前块的帧内预测。

2.根据权利要求1所述的方法，其中，所述候选组被分类为第一候选组和第二候选组，

其中，所述第一候选组配置有在解码装置中预定义的默认模式，并且

其中，所述第二候选组配置有多个MPM候选。

3.根据权利要求2所述的方法，其中，通过选择性地使用所述第一候选组或所述第二候选组中的任一个来得出所述当前块的帧内预测模式。

4.根据权利要求2所述的方法，其中，所述默认模式是平面模式、DC模式、垂直模式、水平模式、垂直模式或对角模式中的至少一个。

5.根据权利要求2所述的方法，其中，所述多个MPM候选包括周围块的帧内预测模式(candIntraPredMode)、candIntraPredMode-n或candIntraPredMode+n中的至少一个，并且

其中，n表示自然数，例如1、2或更大。

6.根据权利要求2所述的方法，其中，所述多个MPM候选包括DC模式、垂直模式、水平模式、(垂直模式-m)、(垂直模式+m)、(水平模式-m)或(水平模式+m)中的至少一个，并且

其中，m是自然数，例如1、2、3、4或更大。

7.根据权利要求1所述的方法，其中，通过加上或者减去预定偏移来改变所确定的帧内预测模式。

其中，基于所述当前块的尺寸、形状、分区信息、所述帧内预测模式的值或分量类型中的至少一个来选择性地执行所述偏移的施加。

8.根据权利要求1所述的方法，其中，执行所述帧内预测包括：

通过使用垂直线或水平线将所述当前块划分成多个子块；以及

以所述子块为单位顺序地执行所述帧内预测，

其中，基于所述当前块的尺寸或形状中的至少一个可变地确定属于所述当前块的所述子块的数目。

9.根据权利要求1所述的方法，其中，执行所述帧内预测包括：

基于预定参考样本和权重，修改根据所述帧内预测的预测值。

10.根据权利要求9所述的方法，其中，基于所述当前块的尺寸、要修改的当前样本的位置或所述当前块的所述帧内预测模式中的至少一个来确定所述参考样本和所述权重中的每一个。

11.根据权利要求1所述的方法，其中，通过选择性地使用DCT-2、DST-7或DCT-8中的至少一个来执行所述变换。

12.一种图像编码方法，包括：

确定当前块的帧内参考线；

根据预定候选组确定所述当前块的帧内预测模式；以及

基于所确定的帧内参考线和所述帧内预测模式执行所述当前块的帧内预测，

其中，所述候选组被分类为第一候选组和第二候选组，

其中，所述第一候选组配置有在解码装置中预定义的默认模式，并且所述第二候选组配置有多个MPM候选，

其中，所述默认模式是平面模式、DC模式、垂直模式、水平模式、垂直模式或对角模式中的至少一个，并且

其中，基于与所述当前块相邻的周围块的帧内预测模式确定所述多个MPM候选。

13.一种用于存储视频流的数字存储介质，

其中，所述视频流包括指定用于确定当前块的帧内预测模式的第一候选组或第二组候选之一的信息，

其中，所述第一候选组配置有预定义的默认模式，并且所述第二候选组配置有多个MPM候选，