CN118202649A - 图像编码/解码方法和设备以及其中存储比特流的记录介质 - Google Patents

Abstract

根据本公开的图像解码/编码方法和设备可以：获取指示是否帧内导出模式被应用于当前块的第一标志；基于第一标志来获取指示BDPCM是否被应用于当前块的色度分量的第二标志；基于第二标志来导出色度分量的帧内预测模式；以及基于帧内预测模式来生成色度分量的预测样本。

Description

图像编码/解码方法和设备以及其中存储比特流的记录介质

技术领域

本公开涉及一种图像编码/解码方法和设备以及存储比特流的记录介质，并且更具体地，涉及一种使用帧内预测的图像编码/解码方法和设备以及存储比特流的记录介质。

背景技术

近来，在各种应用领域中对诸如HD（高清）图像和UHD（超高清）图像的高分辨率和高质量图像的需求已经不断增加，并且因此，高效的图像压缩技术正在被讨论。

存在多种技术，诸如利用视频压缩技术从当前图片之前或之后的图片预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息对当前图片中包括的像素值进行预测的帧内预测技术、对出现频率高的值分配短符号并且对出现频率低的值分配长符号的熵编译技术等，并且这些图像压缩技术可以被用于有效地压缩图像数据并对其进行发送或存储。

发明内容

技术问题

本公开提出了一种考虑解码器侧帧内运动导出（DIMD）来应用色度分量BDPCM的方法。

技术方案

根据本公开的图像解码方法和装置可以获取指示是否对当前块应用帧内导出模式的第一标志；基于第一标志来获取指示是否对当前块的色度分量应用块差分脉冲编译调制（BDPCM）的第二标志；基于第二标志来导出色度分量的帧内预测模式；以及基于帧内预测模式来生成色度分量的预测样本。

在根据本公开的图像解码方法和设备中，帧内导出模式可以表示用于通过使用重构的邻近样本来导出帧内预测模式的模式。

当第二标记指示BDPCM不被应用于色度分量时，根据本公开的图像解码方法和设备可以获得指示多个帧内预测模式之中的色度分量的帧内预测模式的第一索引。

在根据本公开的图像解码方法和设备中，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度帧内导出模式。

当第二标记指示BDPCM被应用于色度分量时根据本公开的图像解码方法和设备可以获得指示BDPCM的预测方向的第三标记。

根据本公开的图像解码方法和设备可以基于是否满足预定义条件来从比特流中获得第二标志。

在根据本公开的图像解码方法和设备中，只有当第一标志指示帧内导出模式不应用于当前块时，才可以从比特流中获得第二标志。

在根据本发明的图像解码方法及设备中，仅在当前块的树类型为单树并且第一标志指示帧内导出模式不被应用于当前块时，才可以从比特流中获得第二标志。

在根据本公开的图像解码方法和设备中，如果不满足预定义条件，则可以推断第二标志为0。

根据本公开的图像编码方法和设备可以确定帧内导出模式是否被应用到当前块，基于是否应用帧内导出模式来确定BDPCM是否被应用到当前块的色度分量，基于是否应用BDPCM来确定色度分量的帧内预测模式，以及基于帧内预测模式来生成色度分量的预测样本。

在根据本公开的图像编码方法和设备中，帧内导出模式可以表示用于通过使用重构的邻近样本来导出帧内预测模式的模式。

当BDPCM没有被应用于色度分量时，根据本公开的图像编码方法和设备可以对指示多个帧内预测模式之中的色度分量的帧内预测模式的第一索引进行编码。

在根据本公开的图像编码方法和设备中，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度帧内导出模式。

当BDPCM被应用于色度分量时，根据本公开的图像编码方法和设备可以对指示的BDPCM的预测方向的标记进行编码。

根据本公开的图像编码方法和设备可以基于是否满足预定义条件来对指示是否将BDPCM应用于色度分量的标志进行编码。

在根据本公开的图像编码方法和设备中，仅当帧内导出模式没有被应用于当前块时，可以对指示BDPCM是否被应用于色度分量的标志进行编码。

在根据本公开的图像编码方法和设备中，仅在当前块的树类型是单树并且帧内导出模式被应用于当前块时，才可以对指示是否将BDPCM应用于色度分量的标志进行编码。

提供了一种计算机可读数字存储介质，其存储编码的视频/图像信息，从而导致执行由于根据本公开的解码设备而产生的图像解码方法。

提供了一种根据本公开的存储根据图像编码方法生成的视频/图像信息的计算机可读数字存储介质。

技术效果

根据本公开，可以通过使BDPCM亮度的编码条件与BDPCM色度的编码条件相同来简化解码步骤，并且还可以通过减少发送的比特来改进压缩效率。

附图说明

图1示出根据本公开的视频/图像编译系统。

图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。

图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。

图4示出可以应用本公开的实施例的基于帧内预测的视频/图像编码方法的示例。

图5示出可以应用本公开的实施例的基于帧内预测的视频/图像解码方法的示例。

图6示例性地示出可以应用本公开的实施例的帧内预测过程。

图7示出根据本公开实施例的解码装置执行的图像解码方法。

图8是图示根据本公开的实施例的用于颜色分量的帧内预测模式导出过程的图。

图9示出执行根据本发明的实施例的执行图像解码方法的帧内预测器的粗略配置。

图10示出根据本公开的实施例的编码设备执行的图像编码方法。

图11示出执行根据本发明的实施例的图像编码方法的帧内预测器的粗略配置。

图12示出可以应用本公开的实施例的内容流传输（streaming）系统的示例。

具体实施方式

因为本公开可以做出各种改变并且具有数个实施例，所以将在附图中图示具体实施例并在详细描述中详细描述具体实施例。然而，并不旨在将本公开限制于特定实施例，并且应当理解为包括被包括在本公开的精神和技术范围内的所有变化、等效物和替代物。在描述每个附图的同时，相似的附图标记被用于相似的组件。

诸如第一、第二等的术语可以被用于描述各种组件，但是组件不应受到这些术语的限制。这些术语仅用于区分一个组件与其他组件。例如，在不脱离本公开的权利范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件也可以被称为第一组件。术语和/或包括多个相关陈述项目中的任意一个或多个相关陈述项目的组合。

当组件被称为“连接”或“链接”到另一组件时，应当理解，其可以直接连接或链接到另一组件，但是中间也可以存在另一组件。另一方面，当一个组件被称为“直接连接”或“直接链接”到另一个组件时，应当理解在中间不存在另一个组件。

此申请中使用的术语仅用于描述具体实施例，并不旨在限制本公开。除非上下文另有明确指示，否则单数表达包括复数表达。在此申请中，应当理解，诸如“包括”或“具有”的术语旨在指派（designate）说明书中所描述的特征、数字、步骤、操作、组件、部分或其组合的存在，但是并不事先排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部分或其组合的可能性。

本公开涉及视频/图像编译。例如，这里公开的方法/实施例可以被应用于通用视频编译（VVC）标准中公开的方法。另外，本文公开的方法/实施例可以被应用于基本视频编译（EVC）标准、AOMedia视频1（AV1）标准、第二代音频视频编译标准（AVS2）或下一代视频/图像编译标准（例如H.267或H.268等）中公开的方法。

此说明书提出视频/图像编译的各种实施例，并且除非另有说明，否则这些实施例可以彼此组合来执行。

这里，视频可以指代随时间推移的一系列图像的集合。图片一般指代表示特定时间段内的一幅图像的单元，并且切片/图块是在编译中形成图片的一部分的单元。切片/图块可以包括至少一个编译树单元（CTU）。一个图片可以由至少一个切片/图块组成。一个图块是由一个图片的特定图块列和特定图块行内的多个CTU组成的矩形区域。图块列是具有与图片相同的高度和由图片参数集的语法要求指派的宽度的CTU的矩形区域。图块行是具有由图片参数集指派的高度和与图片的宽度相同的宽度的CTU的矩形区域。一个图块内的CTU可以根据CTU光栅扫描被连续排列，而一个图片内的图块可以根据图块的光栅扫描被连续排列。一个切片可以包括可以排他地包括在单个NAL单元中的图片的图块内的整数个完整的图块或者整数个连续的完整CTU行。同时，一个图片可以被划分为至少两个子图片。子图片可以是图片内的至少一个切片的矩形区域。

像素、像素或像元可以指代构成一个图片（或图像）的最小单位。另外，“样本”可以被用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与相应区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度（例如，cb、cr）块。在一些情况下，单位可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以包括由M列和N行组成的变换系数或样本（或样本阵列）的集合（或阵列）。

这里，“A或B”可以指代“仅A”、“仅B”或“A和B这两者”。换句话说，在此，“A或B”可以被解释为“A和/或B”。例如，在此，“A、B或C”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。

本文使用的斜杠（/）或逗号可以指代“和/或”。例如，“A/B”可以指代“A和/或B”。因此，“A/B”可以指代“仅A”、“仅B”或“A和B这两者”。例如，“A、B、C”可以指代“A、B或C”。

在此，“A和B中的至少一个”可以指代“仅A”、“仅B”或“A和B这两者”。另外，本文中，诸如“A或B中的至少一个”或“A和/或B中的至少一个”的表述能够以与“A和B中的至少一个”相同的方式解释。

另外，在此，“A、B和C中的至少一个”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以指代“A、B和C中的至少一个”。

另外，本文中使用的括号可以指代“例如”。具体地，当指示为“预测（帧内预测）”时，可以提出“帧内预测”作为“预测”的示例。换句话说，这里的“预测”不限于“帧内预测”，并且“帧内预测”可以被提出作为“预测”的示例。另外，即使当指示为“预测（即，帧内预测）”时，也可以提出“帧内预测”作为“预测”的示例。

这里，在一张附图中单独描述的技术特征可以被单独地或同时地实现。

图1示出根据本公开的视频/图像编译系统。

参考图1，视频/图像编译系统可以包括第一设备（源设备）和第二设备（接收设备）。

源设备可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流传输的形式发送到接收设备。源设备可以包括视频源、编码设备和发送单元。接收设备可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发射器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以由单独的设备或外部组件组成。

视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括捕获视频/图像的设备和生成视频/图像的设备。捕获视频/图像的设备可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的设备可以包括计算机、平板电脑、智能手机等等，并且可以（电子地）生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像，并且在这种情况下，捕获视频/图像的过程可以被生成相关数据的过程取代。

编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编译效率而执行诸如预测、变换、量化等的一系列过程。编码的数据（编码的视频/图像信息）能够以比特流的形式输出。

发送单元可以通过数字存储介质或网络以文件或流传输的形式向接收设备的接收单元发送以比特流的形式输出的编码的视频/图像信息或数据。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送单元可以包括用于通过预先确定的文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行传输的元件。接收单元可以接收/提取比特流并将其发送到解码设备。

解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换、预测等的一系列过程来对视频/图像进行解码。

渲染器可以渲染经解码的视频/图像。可以通过显示单元显示经渲染的视频/图像。

图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。

参考图2，编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例，上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件（例如，编码器芯片组或处理器）配置。另外，存储器270可以包括解码图片缓冲器（DPB）并且可以由数字存储介质配置。硬件组件可以进一步包括存储器270作为内部/外部组件。

图像分割器210可以将输入到编码设备200的输入图像（或图片、帧）分割（partition）成至少一个处理单元。作为示例，处理单元可以被称为编译单元（CU）。在这种情况下，可以根据四叉树二叉树三叉树（QTBTTT）结构从编译树单元（CTU）或最大编译单元（LCU）递归地分割编译单元。

例如，一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分割为具有更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且稍后可以应用二叉树结构和/或三元结构。可替选地，可以在四叉树结构之前应用二叉树结构。根据此说明书的编译过程可以基于不再被分割的最终编译单元来执行。在这种情况下，基于根据图像特性的编译效率等，可以直接使用最大编译单元作为最终编译单元，或者如果有必要，可以将编译单元递归地分割为更深深度的编译单元，并且可以将具有最佳大小的编译单元作为最终的编译单元。这里，编译过程可以包括稍后描述的诸如预测、变换和重构等的过程。

作为另一示例，处理单元可以进一步包括预测单元（PU）或变换单元（TU）。在这种情况下，预测单元和变换单元可以分别从上述最终编译单元划分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。

在一些情况下，单元可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以被用作使一个图片（或图像）对应于像素或像元的术语。

编码设备200可以从输入的图像信号（原始块、原始样本阵列）中减去从帧间预测器221或帧内预测器222输出的预测信号（预测块、预测样本阵列）以生成残差信号（残差信号、残差样本阵列），并且所生成的残差信号被发送到变换器232。在这种情况下，在编码设备200内从输入的图像信号（原始块、原始样本阵列）减去预测信号（预测块、预测样本阵列）的单元可以被称为减法器231。

预测器220可以对要处理的块（在下文中，称为当前块）执行预测，并且生成包括用于当前块的预测样本的预测的块。预测器220可以确定以当前块或CU为单位是否应用帧内预测或者帧间预测。预测器220可以生成关于预测的各种信息，诸如预测模式信息等，并将其发送到熵编码器240，如在每个预测模式的描述中稍后所描述的。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。

帧内预测器222可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块一定距离。在帧内预测中，预测模式可以包括至少一个非定向模式和多个定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节级别，定向模式可以包括33个定向模式或65个定向模式。然而，这只是示例，并且可以根据配置来使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于由参考图片上的运动向量指定的参考块（参考样本阵列）来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息（L0预测、L1预测、Bi预测等）。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU（colCU）等，并且包括时间邻近块的参考图片可以被称为并置图片（colPic）。例如，帧间预测器221可以基于邻近块配置运动信息候选列表，并生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测，并且例如，对于跳过模式和合并模式，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。对于跳过模式，与合并模式不同，可以不发送残差信号。对于运动向量预测（MVP）模式，周围块的运动向量被用作运动向量预测器，并且用信号发送运动向量差以指示当前块的运动向量。

预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测（CIIP）模式。另外，预测器可以基于帧内块复制（IBC）预测模式或者可以基于用于针对块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译（SCC）等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测被执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来用信号发送图片内的样本值。通过预测器220生成的预测信号可以被用于生成重构信号或残差信号。

变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换（DCT）、离散正弦变换（DST）、Karhunen-Loève变换（KLT）、基于图形的变换（GBT）或条件非线性变换（CNT）中的至少一个。这里，GBT指代当像素之间的关系信息被表达为图形时从此图形获得的变换。CNT指代基于通过使用所有先前重构的像素生成预测信号而获得的变换。另外，变换过程可以被应用于相同大小的正方形像素块或者可以被应用于可变大小的非正方形块。

量化器233可以对变换系数进行量化并将它们发送到熵编码器240，并且熵编码器240可以对量化的信号（关于量化的变换系数的信息）进行编码并将其输出为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将以块形式的量化的变换系数重新布置为一维向量形式，并且可以基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。

熵编码器240可以执行各种编码方法，诸如指数哥伦布、上下文自适应可变长度编译（CAVLC）、上下文自适应二进制算术编译（CABAC）等。熵编码器240可以对除了一起或单独量化的变换系数之外的对于视频/视频图像重构（例如，语法元素的值等）所必要的信息进行编码。

编码的信息（例如，编码的视频/图像信息）能够以比特流形式以网络抽象层（NAL）单元为单位来发送或存储。视频/图像信息可以进一步包括关于诸如自适应参数集（APS）、图片参数集（PPS）、序列参数集（SPS）或视频参数集（VPS）等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。这里，从编码设备发送/用信号发送给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送的发送单元（未示出）和/或用于存储从熵编码器240输出的信号的存储单元（未示出）可以被配置为编码设备200的内部/外部元件，或者发送单元还可以被包括在熵编码器240中。

从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，可以通过解量化器234和逆变换器235将解量化和逆变换应用于量化的变换系数来重构残差信号（残差块或残差样本）。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号（重构图片、重构块、重构样本阵列）。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片内要处理的下一个块的帧内预测，并且还可以通过稍后描述的滤波被用于下一个图片的帧间预测。同时，具有色度缩放的亮度映射（LMCS）可以在图片编码和/或重构过程中被应用。

滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并且可将经修改的重构图片存储在存储器270中，具体地存储在存储器270的DPB中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成关于滤波的各种信息并且将其发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。

发送到存储器270的经修改的重构图片可以被用作帧间预测器221中的参考图片。当通过其应用帧间预测时，编码设备可以避免编码设备200和解码设备中的预测失配，并且还可以改进编码效率。

存储器270的DPB可以存储修改的重构图片以将其用作帧间预测器221中的参考图片。存储器270可以存储从其中导出（或者编码）当前图片中的运动信息的块的运动信息和/或预重构图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器222。

图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。

参考图3，解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。

根据实施例，上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件（例如，解码器芯片组或处理器）配置。另外，存储器360可以包括解码图片缓冲器（DPB）并且可以由数字存储介质配置。硬件组件可以进一步包括存储器360作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备300可以基于从比特流获得的块分割的相关信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。至少一个变换单元可以从编译单元导出。并且，通过解码设备300解码并输出的重构图像信号可以通过回放设备来播放。

解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且接收到的信号可以通过熵解码器310解码。例如，熵解码器310可以解析比特流以导出对于图像重构（或图片重构）所必需的信息（例如，视频/图像信息）。视频/图像信息可以进一步包括关于诸如自适应参数集（APS）、图片参数集（PPS）、序列参数集（SPS）或视频参数集（VPS）等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。可以通过解码过程对用信号发送的/接收到的信息和/或本文稍后描述的语法元素进行解码并且从比特流获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法对比特流中的信息进行解码，并输出对于图像重构所必需的语法元素的值和关于残差的变换系数的量化值。更详细地，CABAC熵解码方法可以从比特流接收与每个语法元素相对应的bin，通过使用要解码的语法元素信息、周围块和要解码的块的解码信息或者前一步骤中解码的符号/bin的信息来确定上下文模型，通过根据确定的上下文模型预测bin的出现概率来对bin执行算术解码，并生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过使用关于用于下一个符号/bin的上下文模型的已解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息之中，关于预测的信息被提供给预测器（帧间预测器332和帧内预测器331），并且在熵解码器310中对其执行熵解码的残差值，即，量化的变换系数和相关参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号（残差块、残差样本、残差样本阵列）。另外，在熵解码器310中解码的信息之中的关于滤波的信息可以被提供给滤波器350。同时，接收从编码设备输出的信号的接收单元（未示出）可以进一步被配置为解码设备300的内部/外部元件或接收单元可以是熵解码器310的组件。

同时，根据此说明书的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被划分为信息解码器（视频/图像/图片信息解码器）和样本解码器（视频/图像/图片样本解码器）。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。

解量化器321可以对量化的变换系数进行解量化并输出变换系数。解量化器321可以将量化的变换系数重新排列成二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新排列。解量化器321可以通过使用量化参数（例如，量化步长信息）对量化的变换系数执行解量化并获得变换系数。

逆变换器322对变换系数进行逆变换以获得残差信号（残差块、残差样本阵列）。

预测器320可以对当前块执行预测并且生成包括用于当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或者帧间预测，并且确定特定的帧内/帧间预测模式。

预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器320不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测（CIIP）模式。另外，预测器可以基于帧内块复制（IBC）预测模式或者可以基于用于块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译（SCC）等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并且用信号发送。

帧内预测器331可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块的一定距离。在帧内预测中，预测模式可以包括至少一个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于由参考图片上的运动向量指定的参考块（参考样本阵列）来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息（L0预测、L1预测、Bi预测等）。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。

加法器340可以将获得的残差信号与从预测器（包括帧间预测器332和/或帧内预测器331）输出的预测信号（预测块、预测样本阵列）相加以生成重构信号（重构图片、重构块、重构样本阵列）。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。

加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中要处理的下一个块的帧内预测，可以通过稍后描述的滤波来输出，或者可以被用于下一个图片的帧间预测。同时，具有色度缩放（LMCS）的亮度映射可以在图片解码过程中被应用。

滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并将修改的重构图片发送到存储器360，具体地是存储器360的DPB。各种滤波方法可以包括去块滤波、采样自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的（修改的）重构图片能够被用作帧间预测单元332中的参考图片。存储器360可以将从其当前图片中的运动信息被导出（或者被解码）的块的运动信息和/或预重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器331。

这里，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例也可以分别同等地或相应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。

这里，可以省略量化/解量化和/或变换/逆变换中的至少之一。如果省略量化/解量化，则量化的变换系数可以被称为变换系数。如果省略变换/逆变换，则变换系数可以被称为系数或残差系数，或者为了表达的统一也可以仍然被称为变换系数。

这里，量化的变换系数和变换系数可以分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编译语法被用信号发送。可以基于残差信息（或者关于变换系数的信息）来导出变换系数，并且可以通过针对变换系数的逆变换（缩放）来导出缩放的变换系数。可以基于针对缩放的变换系数的逆变换（变换）来导出残差样本。它也可以在本公开的其他部分中应用/表达。

如上所述，在执行视频编译时，执行预测以改进压缩效率。通过此，可以生成包括针对当前块（待被编译的块）的预测样本的预测块。这里，预测块包括空间域（或像素域）中的预测样本。预测块同样地从编码设备和解码设备导出，并且编码设备可以通过向解码设备用信号发送关于原始块和预测块之间的残差的信息（残差信息）而不是原始块的原始样本值本身来改进图像编译效率。解码装置可以基于残差信息来导出包括残差样本的残差块，通过组合残差块和预测块来生成包括重构样本的重构块，并且生成包括重构块的重构图片。

残差信息可以通过变换和量化过程被生成。例如，编码装置可以导出原始块和预测块之间的残差块，对残差块中包括的残差样本（残差样本阵列）执行变换过程以导出变换系数，并且导出通过对变换系数执行量化过程而量化的变换系数，以将相关残差信息（通过比特流）用信号发送给解码设备。这里，残差信息可以包括关于量化的变换系数的值的信息、位置信息以及关于变换技术、变换核、量化参数等的信息。解码装置可以基于该残差信息来执行解量化/逆变换过程并导出残差样本（或残差块）。解码装置可以基于预测块和残差块来生成重构图片。编码装置还可以通过对量化的变换系数进行解量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且基于其来生成重构图片。

帧内预测可以表示基于当前块所属的图片（在下文中，当前图片）内的参考样本来生成用于当前块的预测样本的预测。当将帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括以nWxnH大小的与当前块的左边界相邻的样本以及邻接左下的总共2xnH个样本、与当前块的上边界相邻的样本以及邻接右上的总共2xnW个样本、以及邻接当前块的左上的一样本。可替选地，当前块的邻近参考样本还可以包括多列的顶部邻近样本和多行的左邻近样本。另外，当前块的相邻参考样本还可以包括以nWxnH大小的与当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本以及邻接当前块的右下的一个样本。

然而，当前块的一些邻近参考样本可能尚未被解码或者可能不可用。在这种情况下，解码器可以通过利用可用样本替换不可用样本来配置将用于预测的邻近参考样本。可替选地，可以通过可用样本的插值来配置将用于预测的邻近参考样本。

当导出邻近参考样本时，（i）可以基于当前块的邻近参考样本的平均或插值来导出预测样本，并且（ii）可以基于存在于当前块的邻近参考样本之中的预测样本的特定（预测）方向上的参考样本来导出预测样本。对于（i），其可以被称为非定向模式或非角度模式，并且对于（ii），其可以被称为定向模式或角度模式。

另外，可以通过在基于当前块的预测样本被定位在当前块的帧内预测模式的预测方向上的第一邻近样本与在邻近参考样本之中被定位在预测方向的相反方向上的第二邻近样本之间的插值来生成预测样本。上述情况可以被称为线性插值帧内预测（LIP）。另外，可以通过使用线性模型（LM）基于亮度样本来生成色度预测样本。这种情况可以被称为LM模式或色度分量LM（CCLM）模式。

另外，可以基于滤波的邻近参考样本来导出当前块的临时预测样本，并且还可以通过对临时预测样本与现有的邻近参考样本，即，未滤波的邻近参考样本之中的根据帧内预测模式导出的至少一个参考样本进行加权和来导出当前块的预测样本。上述情况可以被称为位置相关帧内预测（PDPC）。

另外，可以选择当前块的周围的多个参考样本行之中具有最高预测精度的参考样本行，以通过使用被定位在相应行上的预测方向上的参考样本来导出预测样本，并且在这种情况下，可以通过向解码设备指示（用信号发送）所使用的参考样本行来执行帧内预测编码。上述情况可以被称为多参考线帧内预测或基于MRL的帧内预测。

另外，通过将当前块划分为垂直或水平子分区，基于相同的帧内预测模式来执行帧内预测，但是可以通过以子分区为单位导出邻近参考样本来使用。换句话说，在这种情况下，用于当前块的帧内预测模式同样地应用于子分区，但是在一些情况下可以通过导出并使用以子分区为单位的邻近参考样本来改进帧内预测性能。此预测方法可以被称为基于帧内子分区（ISP）的帧内预测。

上述帧内预测方法可以与帧内预测模式分开地被称为帧内预测类型。帧内预测类型可以被称为诸如帧内预测技术或附加帧内预测模式等的各种术语。例如，帧内预测类型（或附加帧内预测模式等）可以包括如上所述的LIP、PDPC、MRL和ISP中的至少一个。排除诸如LIP、PDPC、MRL、ISP等的特定帧内预测类型的一般帧内预测方法可以被称为正常帧内预测类型。当不应用如上所述的特定帧内预测类型时，通常可以应用普通帧内预测类型，并且可以基于上述帧内预测模式来执行预测。同时，如有必要，还可以对导出的预测样本执行后滤波。

具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。另外，如有必要，还可以对导出的预测样本执行后滤波步骤。

图4示出可以应用本公开的实施例的基于帧内预测的视频/图像编码方法的示例。

参考图4，编码装置对当前块执行帧内预测S400。编码设备对当前块执行帧内预测S400。编码设备可以导出用于当前块的帧内预测模式/类型，导出当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本生成当前块内的预测样本。这里，用于确定帧内预测模式/类型、导出邻近参考样本和生成预测样本的过程可以同时执行或者任何一个过程可以在其他过程之前被执行。编码设备可以在多个帧内预测模式/类型之中确定应用于当前块的模式/类型。编码设备可以比较针对帧内预测模式/类型的RD成本并且确定用于当前块的最佳帧内预测模式/类型。

同时，编码设备可以执行预测样本滤波过程。预测样本滤波可以被称为后滤波。可以通过预测样本滤波过程来对一些或全部预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。

编码设备基于（滤波的）预测样本生成用于当前块的残差样本S410。编码设备可以基于当前块的原始样本中的相位来比较预测样本并且导出残差样本。

编码设备可以对包括关于帧内预测的信息（预测信息）和关于残差样本的残差信息的图像信息进行编码S420。预测信息可以包括帧内预测模式信息和帧内预测类型信息。编码设备能够以比特流的形式输出编码的图像信息。输出比特流可以通过存储介质或网络发送到解码设备。

残差信息可以包括稍后将描述的残差编译语法。编码设备可以对残差样本进行变换/量化以导出量化的变换系数。残差信息可以包括关于量化的变换系数的信息。

同时，如上所述，编码设备可以生成重构图片（包括重构样本和重构块）。为此，编码设备可以再次对量化的变换系数执行解量化/逆变换以导出（校正的）残差样本。在以这种方式对残差样本进行变换/量化之后再次执行解量化/逆变换的原因是为了导出与从如上所述的解码设备导出的残差样本相同的残差样本。编码设备可以基于预测样本和（校正的）残差样本来生成包括用于当前块的重构样本的重构块。可以基于重构块来生成用于当前图片的重构图片。如上所述，环路滤波过程等可以进一步被应用于重构的图片。

图5示出可以应用本公开的实施例的基于帧内预测的视频/图像解码方法的示例。

解码设备可以执行与由编码设备执行的操作相对应的操作。

预测信息和残差信息可以从比特流获得。基于残差信息，可以导出用于当前块的残差样本。具体地，根据基于残差信息导出的量化变换系数，可以通过执行解量化来导出变换系数，并且可以对变换系数执行逆变换以导出用于当前块的残差样本。

具体地，解码设备可以基于接收到的预测信息（帧内预测模式/类型信息）导出用于当前块的帧内预测模式/类型S500。解码设备可以导出当前块的邻近参考样本S510。解码设备基于帧内预测模式/类型和邻近参考样本来生成当前块内的预测样本S520。在这种情况下，解码设备可以执行预测样本滤波过程。预测样本滤波可以被称为后滤波。可以通过预测样本滤波过程来对一些或全部预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。

解码设备基于接收到的残差信息生成用于当前块的残差样本S530。解码设备可以基于预测样本和残差样本来生成用于当前块的重构样本，并且导出包括重构样本的重构块S540。可以基于重构块来生成用于当前图片的重构图片。如上所述，环路滤波过程等可以进一步被应用于重构的图片。

帧内预测模式信息可以包括例如标记信息（例如，intra_luma_mpm_flag），其示出最可能模式（MPM）或保留模式是否被应用到当前块，并且当MPM被应用到当前块时，预测模式信息可以进一步包括指示帧内预测模式候选（MPM候选）之一的索引信息（例如，intra_luma_mpm_idx）。帧内预测模式候选（MPM候选）可以被配置有MPM候选列表或MPM列表。另外，当MPM不应用于当前块时，帧内预测模式信息可以进一步包括指示排除帧内预测模式候选（MPM候选）的剩余帧内预测模式之一的提醒模式信息（例如，intra_luma_mpm_remainder）。解码设备可以基于帧内预测模式信息来确定当前块的帧内预测模式。

另外，帧内预测类型信息能够以各种形式实现。作为示例，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括示出MRL是否被应用到当前块并且如果被应用则使用参考样本线的顺序的参考样本行信息（例如，intra_luma_ref_idx）、示出ISP是否被应用于当前块的ISP标志信息（例如，intra_subpartitions_mode_flag）、指示当应用ISP时子分区的分区类型的ISP类型信息（例如，intra_subpartitions_split_flag）、指示是否应用PDCP的标志信息或指示是否应用LIP的标志信息中的至少一个。另外，帧内预测类型信息可以包括示出基于矩阵的帧内预测（MIP）是否被应用于当前块的MIP标记。

可以通过本文描述的编译方法对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，帧内预测模式信息和/或帧内预测类型信息可以通过熵编译（例如，CABAC、CAVLC）编译被编码/解码。

图6示例性地示出可以应用本公开的实施例的帧内预测过程。

参考图6，如上所述，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和帧内预测性能（预测样本生成）步骤。帧内预测过程可以在如上所述的编码设备和解码设备中被执行。这里，编译设备可以包括编码设备和/或解码设备。

参考图6，编译设备确定帧内预测模式/类型S600。

编码设备可以确定上述各种帧内预测模式/类型之中的应用于当前块的帧内预测模式/类型，并且生成预测相关信息。预测相关信息可以包括示出应用于当前块的帧内预测模式的帧内预测模式信息和/或示出应用于当前块的帧内预测类型的帧内预测类型信息。解码设备可以基于预测相关信息来确定应用于当前块的帧内预测模式/类型。

帧内预测模式信息可以包括例如标志信息（例如，intra_luma_mpm_flag），其示出最可能模式（MPM）或保留模式是否被应用到当前块，并且当MPM被应用到当前块时，预测模式信息可以进一步包括指示帧内预测模式候选（MPM候选）之一的索引信息（例如，intra_luma_mpm_idx）。帧内预测模式候选（MPM候选）可以被配置有MPM候选列表或MPM列表。另外，当MPM不应用于当前块时，帧内预测模式信息可以进一步包括指示排除帧内预测模式候选（MPM候选）的剩余帧内预测模式之一的提醒模式信息（例如，intra_luma_mpm_remainder）。解码设备可以基于帧内预测模式信息来确定当前块的帧内预测模式。

另外，帧内预测类型信息能够以各种形式实现。作为示例，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括示出MRL是否被应用到当前块并且如果被应用则使用参考样本线的顺序的参考样本行信息（例如，intra_luma_ref_idx）、示出ISP是否被应用于当前块的ISP标志信息（例如，intra_subpartitions_mode_flag）、指示当应用ISP时子分区的分区类型的ISP类型信息（例如，intra_subpartitions_split_flag）、指示是否应用PDCP的标志信息或指示是否应用LIP的标志信息中的至少一个。另外，帧内预测类型信息可以包括示出基于矩阵的帧内预测（MIP）是否被应用于当前块的MIP标记。

例如，当应用帧内预测时，可以通过使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，编译设备可以基于接收的MPS索引来选择基于当前块的邻近块（例如，左和/或顶部邻近块）的帧内预测模式和附加的候选模式导出的最可能模式（MPM）列表中的MPM候选之一，或者可以基于MPM剩余信息（剩余帧内预测模式信息）来选择未包括在MPM候选（和平面模式）中的剩余帧内预测模式之一。MPM列表可以被配置为包括或不包括平面模式作为候选。例如，当mpm列表包括平面模式作为候选时，MPM列表可以具有6个候选，并且当MPM列表不包括平面模式作为候选时，mpm列表可以具有5个候选。当MPM列表不包括平面模式作为候选时，可以用信号发送示出当前块的帧内预测模式是否不是平面模式的非平面标志（例如，intra_luma_not_planar_flag）。例如，可以首先用信号发送MPM标志，并且当MPM标志的值为1时可以用信号发送MPM索引和非平面标志。另外，当非平面标志的值为1时可以用信号发送MPM索引。这里，当MPM列表被配置为不包括平面模式作为候选时，并非确认平面模式不是MPM m，而是在平面模式始终被视为MPM之前首先通过用信号发送标志（非平面标志）来确认其是否为平面模式。

例如，应用于当前块的帧内预测模式是否在MPM候选（以及平面模式）之中或者处于剩余模式中可以基于MPM标志（例如，intra_luma_mpm_flag）来指示。1（ MPM标志的值）可以表示用于当前块的帧内预测模式处于MPM候选（以及平面模式）内，并且，0（ MPM标志的值）可以表示用于当前块的帧内预测模式不处于MPM候选（和平面模式）内。上述非平面标志（非平面标志的值（例如，intra_luma_not_planar_flag）），例如0，可以表示用于当前块的帧内预测模式是平面模式，并且为1的非平面标志的值可以表示用于当前块的帧内预测模式不是平面模式。能够以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号发送MPM索引，并且能够以rem_intra_luma_pred_mode或rem_intra_luma_pred_mode的形式用信号发送剩余的帧内预测模式信息。例如，剩余帧内预测模式信息可以按照预测模式编号顺序对所有帧内预测模式之中未包括在MPM候选（以及平面模式）中的剩余帧内预测模式进行索引，并且指示它们之一。帧内预测模式可以是针对亮度分量（样本）的帧内预测模式。在下文中，帧内预测模式信息可以包括MPM标志（例如，intra_luma_mpm_flag）、非平面标志（例如，intra_luma_not_planar_flag）、MPM索引（例如，mpm_idx或intra_luma_mpm_idx）和剩余帧内预测模式信息（rem_intra_luma_pred_mode或intra_luma_mpm_remainder）中的至少一个。这里，MPM列表可以被称为多种术语，诸如MPM候选列表、candModeList等。

如果MIP被应用于当前块，则可以用信号发送用于MIP的单独的mpm标记（例如，intra_mip_mpm_flag）、mpm索引（例如，intra_mip_mpm_idx）和剩余帧内预测模式信息（例如，intra_mip_mpm_remainder），并且非平面标志可能不被用信号发送。

换句话说，通常，当对图像进行块分区时，待编译的当前块和邻近块具有相似的图像特性。因此，当前块和邻近块很可能具有相同或相似的帧内预测模式。因此，编码器可以使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。

编译设备可以配置用于当前块的最可能模式（MPM）的列表。MPM列表也可以被称为MPM候选列表。这里，MPM可以指代用于在对帧内预测模式进行编译中通过考虑当前块与邻近块之间的相似性来改进编译效率的模式。如上所述，MPM列表可以通过包括平面模式来配置，或者可以通过排除平面模式来配置。例如，如果MPM列表包括平面模式，则MPM列表中的候选数量可以是6。并且，如果MPM列表不包括平面模式，则MPM列表中的候选数量可以是5。

编码设备可以基于多种帧内预测模式执行预测，并且根据基于其的速率失真优化（RDO）来确定最佳帧内预测模式。在这种情况下，编码设备可以仅使用在MPM列表中配置的MPM候选和平面模式来确定最优帧内预测模式，或者可以进一步使用剩余的帧内预测模式以及在MPM列表中配置的MPM候选和平面模式以确定最佳帧内预测模式。具体地，例如，如果当前块的帧内预测类型是特定类型（例如，LIP、MRL或ISP），而不是正常帧内预测类型，则编码设备可以通过仅考虑MPM候选来确定最佳帧内预测模式并且将平面模式确定于用于当前块的帧内预测模式候选。换句话说，在这种情况下，可以仅在MPM候选和平面模式之中确定用于当前块的帧内预测模式，并且在这种情况下，可以不对mpm标记进行编码/用信号发送。在这种情况下，解码设备可以估计mpm标记是1，而不接收mpm标记的单独信令。

同时，通常，在当前块的帧内预测模式不是平面模式并且是MPM列表中的MPM候选之一时，编码设备生成指示MPM候选之一的mpm索引（mpm idx）。如果当前块的帧内预测模式甚至不在MPM列表中，则指示未包括在MPM列表中的剩余帧内预测模式（和平面模式）之中类似于当前块的帧内预测模式的模式的MPM剩余信息（剩余帧内预测模式信息）被生成。MPM剩余信息可以包括例如intra_luma_mpm_remainder语法元素。

解码设备从比特流获得帧内预测模式信息。如上所述，帧内预测模式信息可以包括MPM标记、非平面标记、MPM索引和MPM剩余信息（剩余帧内预测模式信息）中的至少之一。解码设备可以配置MPM列表。MPM列表以与编码设备中配置的MPM列表相同方式配置。换句话说，MPM列表可以包括邻近块的帧内预测模式，或者可以进一步包括根据预先确定的方法的特定帧内预测模式。

解码设备可以基于MPM列表和帧内预测模式信息来确定当前块的帧内预测模式。作为示例，当MPM标志的值为1时，解码设备可以导出平面模式作为当前块的帧内预测模式，或者可以（基于非平面标志）导出MPM列表中的MPM候选之中的由MPM索引指示的候选作为当前块的帧内预测模式。这里，MPM候选可以仅表示包括在MPM列表中的候选，或者可以不仅包括在MPM列表中包括的候选，而且包括当MPM标志的值为1时可以应用的平面模式。

作为另一示例，当MPM标志的值为0时，解码设备可以导出由MPM列表中包括的剩余帧内预测模式之中的剩余帧内预测模式信息（其可以被称为mpm剩余信息）指示的帧内预测模式和平面模式作为当前块的帧内预测模式。同时，作为另一示例，在当前块的帧内预测类型是特定类型（例如，LIP、MRL或ISP等）时，解码设备可以在不解析/解码/检查MPM标志的情况下导出由平面模式或MPM列表中的MPM标志指示的候选作为当前块的帧内预测模式。

编译设备导出当前块的邻近参考样本S610。当将帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括以nWxnH大小的与当前块的左边界相邻的样本以及邻接左下的总共2xnH个样本、与当前块的顶部边界相邻的样本以及邻接右下的总共2xnW个样本、和邻接当前块的左上的一个样本。可替选地，当前块的邻近参考样本还可以包括多列的顶部邻近样本和多行的左邻近样本。另外，当前块的邻近参考样本还可以包括以nWxnH大小的与当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本以及邻接当前块的右下的一个样本。

同时，当应用MRL时（即，当MRL索引的值大于0时），邻近参考样本可以被定位在从左/上侧开始与当前块相邻的行1至行2上，而不是与当前块相邻的行0上，并且在这种情况下，可以进一步增加邻近参考样本的数量。同时，当应用ISP时，能够以子分区为单位导出邻近参考样本。

编译设备对当前块执行帧内预测以导出预测样本S620。编译设备可以基于帧内预测模式/类型和邻近样本来导出预测样本。编译设备可以根据当前块的邻近参考样本之中的当前块的帧内预测模式来导出参考样本，并且可以基于参考样本来导出当前块的预测样本。

图7示出根据本公开实施例的解码设备执行的图像解码方法。

解码设备（即，解码器）可以获得指示解码器侧帧内模式导出（DIMD）是否被应用于当前块的DIMD标志S700。DIMD表示通过使用重构的邻近样本来导出帧内预测模式的模式。作为实施例，当应用DIMD时，可以从重构的邻近样本导出至少一个帧内预测模式，并且可以通过使用导出的帧内预测模式来导出预测器。在导出帧内预测模式时，可以对重构的邻近样本执行梯度计算。

通过使用导出的帧内预测模式导出的预测器可以与平面模式预测器组合。可以基于预先确定的权重来执行加权求和。作为示例，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量。可替选地，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量或色度分量中的至少一个。

另外，作为实施例，DIMD导出的帧内预测模式可以被包括在最可能模式（MPM）列表中。可以在配置MPM列表之前执行DIMD过程。作为示例，应用DIMD的块的导出的帧内预测模式可以与块一起存储并且可以用于配置相邻块的MPM列表。在本公开中，DIMD可以被称为帧内导出模式或者帧内预测模式导出模式，并且DIMD标志可以被称为帧内导出模式标志、帧内预测模式导出模式标志、第一标志等等。

解码设备可以基于DIMD标志获得指示块差分脉冲编译调制（BDPCM）是否被应用到当前块的色度分量的BDPCM标志S710。在本公开中，BDPCM标志可以被称为BDPCM色度标志、色度BDPCM标志、第二标志等。

根据本公开的BDPCM可以在量化的残差域中被执行。量化的残差域可以包括量化的残差信号（或量化的残差系数），并且当应用BDPCM时，可以跳过对量化的残差信号的变换。换句话说，当应用BDPCM时，可以跳过变换并且可以对残差样本应用量化。可替选地，量化的残差域可以包括量化的变换系数。BDPCM可以被应用于亮度分量或者可以被应用于色度分量。

当BDPCM被应用于当前块时，可以通过帧内预测来生成包括当前块的预测样本的预测块（预测块）。在这种情况下，用于执行帧内预测的帧内预测模式可以通过比特流被用信号发送或者可以基于稍后描述的BDPCM的预测方向被导出。另外，在这种情况下，帧内预测模式可以被确定为垂直预测方向模式或水平预测方向模式之一。

例如，当BDPCM的预测方向是水平时，帧内预测模式可以被确定为水平预测方向模式，并且当前块的预测块可以通过水平方向上的帧内预测被生成。可替选地，当BDPCM的预测方向是垂直时，帧内预测模式可以被确定为垂直预测方向模式，并且当前块的预测块可以通过垂直方向上的帧内预测被生成。当应用水平方向上的帧内预测时，与当前块的左侧相邻的像素的值可以被确定为在当前块的相应行中包括的样本的预测样本值。当应用垂直方向上的帧内预测时，与当前块的顶部相邻的像素的值可以被确定为包括在当前块的相应列中的样本的预测样本值。当BDPCM被应用于当前块时，在图像编码设备和图像解码设备中能够以相同的方式执行生成当前块的预测块的方法。

当BDPCM被应用于当前块时，图像编码设备可以通过从当前块减去预测块来生成包括当前块的残差样本的残差块。在对残差块进行量化之后，图像编码设备可以对量化的残差样本与对应的量化的残差样本的预测器之间的差值（差或增量）进行编码。图像解码设备可以通过基于预测器和从比特流重构的差值获得当前块的量化的残差样本来生成当前块的量化的残差块。之后，图像解码设备可以通过对量化的残差块进行解量化并将其添加到预测块来重构当前块。

在实施例中，可以在序列、图片和切片的至少一个级别激活BDPCM。指示是否激活BDPCM的BDPCM激活标志可以在序列参数集（SPS）、图片参数集（PPS）和切片报头的级别用信号发送。另外，作为示例，可以仅当在序列、图片和切片的级别激活变换跳跃模式时用信号发送BDPCM激活标记。

如果激活BDPCM，就亮度样本而言，CU大小小于或等于MaxTsSize×MaxTsSize，并且CU被帧内编译，可以在CU级别发送预先确定的标志。这里，MaxTsSize表示允许变换跳过的最大块大小。预先确定的标志可以表示是否使用常规帧内编译或BDPCM。当使用BDPCM时，可以用信号发送用于指示BDPCM预测是否在水平方向上或者在垂直方向上的BDPCM预测方向标记。此后，可以通过使用水平或垂直帧内预测过程以及未滤波的参考样本来执行对当前块的预测。当前块的残差信号可以被量化，每个量化的残差与预测器之间的差可以被编译，并且预测器可以是在水平或垂直（根据BDPCM预测方向）的邻近位置处的先前编译的残差。

根据本公开的实施例，可以基于是否满足预定义条件从比特流获得（或解析）指示BDPCM是否被应用到当前块的色度分量的BDPCM标志。作为示例，预定义条件可以包括与DIMD是否被应用到当前块（或者DIMD标志）相关的条件。稍后将参考图8详细描述。

解码设备可以基于BDPCM标志导出色度分量的帧内预测模式S720。作为实施例，当BDPCM标志指示BDPCM不被应用于色度分量时，可以用信号发送指示多个帧内预测模式之中的色度分量的帧内预测模式的色度预测模式索引。换句话说，当不应用BDPCM时，可以应用一般的帧内编译并且可以执行针对色度分量的帧内预测模式导出过程。

另外，作为实施例，DIMD可以被应用于色度分量。作为示例，可以用信号发送指示DIMD是否被应用于色度分量的色度DIMD标志。可替选地，作为另一示例，表示应用于色度分量的DIMD模式的色度DIMD模式可以被包括在用于色度帧内预测的色度帧内预测模式组中。在这种情况下，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度DIMD模式。在本公开中，色度DIMD模式可以被称为色度帧内导出模式或色度帧内预测模式导出模式。

另外，当BDPCM标志指示BDPCM被应用于色度分量时，可以如上所述用信号发送指示BDPCM的预测方向的标志信息（称为BDPCM预测方向标志）。可以根据BDPCM预测方向标记来确定（或导出）帧内预测模式。当应用BDPCM时，帧内预测模式可以被确定为垂直模式或水平模式中的任意一个。可替选地，当应用BDPCM时，帧内预测模式可以被确定为多个预定义的预测模式之中与BDPCM预测方向相对应的模式。可以存在至少三个BDPCM预测方向，并且在这种情况下，可以用信号发送指示BDPCM预测方向的索引信息。

解码设备可以基于导出的帧内预测模式来生成色度分量的预测样本S730。换句话说，可以根据帧内预测模式的预测方向通过使用邻近参考样本来生成预测样本（或预测器）。

图8是图示根据本公开的实施例的用于颜色分量的帧内预测模式导出过程的图。

参考图8，解码设备可以对分量执行帧内预测模式导出过程。图8中示出的流程图是示例，并且本公开的实施例不限于此。一些步骤可以被省略，并且图8中未示出的步骤可以被省略。

解码设备可以检查当前分量是否为亮度分量或者色度分量。对于亮度分量，解码设备检查BDPCM是否被应用于亮度分量，并且根据检查结果，其可以执行BDPCM或者可以执行一般的帧内编译。换句话说，解码设备可以导出帧内预测模式并基于导出的帧内预测模式执行帧内预测。作为示例，可以应用之前在图4至图6中描述的方法。解码设备可以获得指示BDPCM是否被应用于亮度分量的BDPCM亮度标记，并且基于BDPCM亮度标记来检查BDPCM是否被应用于亮度分量。

对于色度分量，解码设备检查BDPCM是否被应用于色度分量，并且根据检查结果，其可以执行BDPCM或者可以执行一般帧内编译。解码设备可以获得指示BDPCM是否被应用于色度分量的BDPCM色度标记，并且基于BDPCM色度标记来检查BDPCM是否被应用于色度分量。在这种情况下，解码设备可以检查是否满足预定义的条件，并且根据检查结果，可以从比特流中获得（或解析）BDPCM色度标记。

在实施例中，在表8所示的帧内预测模式导出过程之前，可以解析指示DIMD是否被应用于当前块的DIMD标志。DIMD标志可以指示DIMD是否被应用于当前块的亮度分量或色度分量中的至少一个分量。在解析DIMD标志之前，可以检查是否满足预定义条件。例如，在当前编译单元是帧内预测、当前分量是亮度分量并且DIMD在当前序列级别被激活时，可以解析DIMD标志。

根据现有技术，尽管颜色分量之间根据树类型具有相关性，但是存在必须不必要地用信号发送BDPCM色度标记的问题。下面，描述用于有效地用信号发送BDPCM色度标志的方法。在此之前，下面的表1是用于解释在BDPCM色度标记信令中出现的上述问题的语法的示例。

[表1]

参考表1，在当前编译单元是帧内预测（CuPredMode[chType][x0][y0]==MODE_INTRA）时，树类型是单树或双树亮度（treeType==SINGLE_TREE||treeType==DUAL_TREE_LUMA）并且对于当前序列激活DIMD（sps_dimd_flag==1），可以解析DIMD标志（即，语法元素，dimd_flag）。

在解析指示BDPCM是否被应用于亮度分量的语法元素intra_bdpcm_luma_flag时，可以检查是否满足预定义条件。如在表1中，当通过检查sps_bdpcm_enabled_flag的值来针对当前序列激活BDPCM，当前编译单元的宽度和高度都小于MaxTsSize并且DIMD标志为0时，可以解析intra_bdpcm_luma_flag。这里，MaxTsSize可以表示允许变换跳过的最大块大小。

另一方面，根据现有技术，在解析指示其是否被应用于色度分量的语法元素intra_bdpcm_chroma_flag时，可以不考虑DIMD标记。换句话说，如在表1中，当通过检查sps_bdpcm_enabled_flag的值来针对当前序列激活BDPCM并且当前色度分量的宽度和高度都小于MaxTsSize时，可以解析intra_bdpcm_chroma_flag。

具体地，对于双树类型，在对亮度信道（亮度分量）进行编码的过程中，可以在用信号发送用于亮度分量的帧内预测模式和用于亮度分量的BDPCM标记之前发送DIMD标记。如果DIMD标志是1，则可以不发送用于亮度分量的BDPCM标志。在对色度信道（色度分量）进行编码的过程中，不用信号发送DIMD标记，并且可以执行用信号发送用于色度分量的BDPCM标记和用于色度分量的帧内预测模式。

对于单树类型，可以在用信号发送亮度分量的帧内预测模式和BDPCM标志之前用信号发送DIMD标志。如果DIMD标志是1，则可以不发送用于亮度分量的BDPCM标志。另一方面，可以用信号发送用于色度分量的BDPCM标志，而不管DIMD标志如何。

在单树类型中，当假定基于DIMD标志来执行对亮度和色度的帧内预测时，如果如上所述在任何情况下用信号发送用于色度分量的BDPCM标志而不管DIMD标志如何，可能会生成不必要的比特信令，导致压缩性能退化。在单树中，当DIMD标志为1时，可以通过考虑亮度和色度分量的所有信息导出DIMD模式，因此根据DIMD标志值来确定是否对亮度和色度分量应用BDPCM的结果可能相同。

因此，在本公开的实施例中，提出了一种用于考虑DIMD应用色度分量BDPCM的方法。换句话说，根据本公开的实施例，如果通过检查考虑DIMD标志的条件而满足条件，则可以用信号发送BDPCM色度标志。在单树类型中，如果DIMD标志为1，则可以不用信号发送BDPCM色度信息。下面的表2图示根据所提出的方法的语法表。

[表2]

参考表2，在当前编译单元是帧内预测（CuPredMode[chType][x0][y0]==MODE_INTRA），树类型是单树或双树亮度（treeType==SINGLE_TREE||treeType==DUAL_TREE_LUMA）并且对于当前序列（sps_dimd_flag==1）激活DIMD时，可以解析DIMD标志（即，语法元素，dimd_flag）。

在解析指示BDPCM是否被应用于亮度分量的语法元素intra_bdpcm_luma_flag时，可以检查预定义条件是否被满足。如在表2中，当通过检查sps_bdpcm_enabled_flag的值来针对当前序列激活BDPCM，当前编译单元的宽度和高度都小于MaxTsSize并且DIMD标志为0时，可以解析intra_bdpcm_luma_flag。这里，MaxTsSize可以表示允许变换跳过的最大块大小。

在解析指示其是否被应用于色度分量的语法元素intra_bdpcm_chroma_flag时，可以检查预定义条件是否被满足。如在表2中，当通过检查sps_bdpcm_enabled_flag的值来针对当前序列激活BDPCM，当前色度分量的宽度和高度都小于MaxTsSize并且DIMD标志为0时，可以解析intra_bdpcm_chroma_flag。

如在表2中的语法中那样，可以通过使用于BDPCM亮度的编码条件等于用于BDPCM色度的编码条件来简化解码步骤，并且可以通过减少所发送的比特来改进压缩效率。

再次参考图8，根据本公开的实施例，针对图8中的BDPCM色度的条件可以被定义为下面的等式1。

[等式1]

参考等式1，当1）亮度分量无效或者亮度分量有效并且是单树，并且2）激活对色度分量的编译时，针对图8中的BDPCM色度的条件可以被满足。

如上所述，可以基于是否满足与DIMD有关的预定义条件来解析BDPCM色度标记。作为示例，仅在当前块的树类型是单树并且DIMD标志指示DIMD没有被应用于当前块时，才可以解析BDPCM色度标志。例如，在图8中，应用（或允许）BDPCM色度的条件可以被定义为下面的等式2。

[等式2]

参考等式2，当1）在当前序列中激活BDPCM，2）其是帧内预测，3）当前块的宽度和高度小于或等于最大变换跳过大小，并且4）是单树类型并且不应用DIMD或者是双树类型时，可以满足用于应用BDPCM色度的条件。如果满足用于应用BDPCM色度的条件，则可以解析BDPCM色度标志。

可替选地，作为另一示例，仅当DIMD标志指示DIMD没有应用于当前块时，才可以解析BDPCM色度标志。在图8中，用于应用（或允许）BDPCM色度的条件可以如下面的等式3来定义。

[等式3]

参考等式3，当1）在当前序列中激活BDPCM，2）其是帧内预测，3）当前块的宽度和高度小于或等于最大变换跳过大小，并且4）不应用DIMD时，可以满足用于应用BDPCM色度的条件。如果满足用于应用BDPCM色度的条件，则可以解析BDPCM色度标志。

作为实施例，如果没有从比特流解析BDPCM色度标志，则BDPCM色度标志可以被推断为预定义值。例如，预定义值可以是0或1。

图9示出执行根据本公开的实施例的图像解码方法的帧内预测器的粗略配置。

参考图9，帧内预测器331可以包括DIMD标志获取单元900、BDPCM标志获取单元910、帧内预测模式导出单元920和预测样本生成器930。

DIMD标志获取单元900可以获得指示解码器侧帧内模式导出（DIMD）是否被应用于当前块的DIMD标志。作为实施例，当应用DIMD时，可以从重构的邻近样本导出至少一个帧内预测模式，并且可以通过使用导出的帧内预测模式来导出预测器。在导出帧内预测模式时，可以对重构的邻近样本执行梯度计算。

通过使用导出的帧内预测模式导出的预测器可以与平面模式预测器组合。可以基于预先确定的权重来执行加权求和。作为示例，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量。可替选地，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量或色度分量中的至少一个。

另外，作为实施例，DIMD导出的帧内预测模式可以被包括在最可能模式（MPM）列表中。可以在配置MPM列表之前执行DIMD过程。作为示例，应用DIMD的块的导出的帧内预测模式可以与块一起存储并且可以用于配置邻近块的MPM列表。在本公开中，DIMD可以被称为帧内导出模式或者帧内预测模式导出模式，并且DIMD标志可以被称为帧内导出模式标志、帧内预测模式导出模式标志、第一标志等等。

BDPCM标志获取单元910可以基于DIMD标志获得指示块差分脉冲编译调制（BDPCM）是否被应用到当前块的色度分量的BDPCM标志。在本公开中，BDPCM标志可以被称为BDPCM色度标志、色度BDPCM标志、第二标志等。能够以相同的方式应用图7和图8的结构，并且省略重复的描述。

帧内预测模式导出单元920可以基于BDPCM标记来导出色度分量的帧内预测模式。作为实施例，当BDPCM标志指示BDPCM不被应用于色度分量时，可以用信号发送指示多个帧内预测模式之中的色度分量的帧内预测模式的色度预测模式索引。换句话说，当不应用BDPCM时，可以应用一般的帧内编译并且可以执行针对色度分量的帧内预测模式导出过程。

另外，作为实施例，DIMD可以被应用于色度分量。作为示例，可以用信号发送指示DIMD是否被应用于色度分量的色度DIMD标志。可替选地，作为另一示例，表示应用于色度分量的DIMD模式的色度DIMD模式可以被包括在用于色度帧内预测的色度帧内预测模式组中。在这种情况下，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度DIMD模式。在本公开中，色度DIMD模式可以被称为色度帧内导出模式或色度帧内预测模式导出模式。

另外，当BDPCM标记指示BDPCM被应用于色度分量时，可以如上所述用信号发送指示BDPCM的预测方向的标记信息（称为BDPCM预测方向标记）。可以根据BDPCM预测方向标记来确定（或导出）帧内预测模式。当应用BDPCM时，帧内预测模式可以被确定为垂直模式或水平模式中的任意一个。可替选地，当应用BDPCM时，帧内预测模式可以被确定为多个预定义的预测模式之中与BDPCM预测方向相对应的模式。可以存在至少三个BDPCM预测方向，并且在这种情况下，可以用信号发送指示BDPCM预测方向的索引信息。

预测样本生成器930可以基于导出的帧内预测模式来生成色度分量的预测样本。换句话说，预测样本生成器930可以根据帧内预测模式的预测方向通过使用邻近参考样本来生成预测样本（或预测器）。

图10示出根据本公开实施例的编码装置执行的图像编码方法。

下面，通过参考上面的图7至图9描述图像解码方法可以被同等地/类似地应用于根据本公开的图像编码方法，并且省略重复的描述。

参考图10，编码装置（即，编码器）可以确定解码器侧帧内模式导出（DIMD）是否被应用于当前块S1000。作为示例，根据确定结果，编码装置可以通过比特流用信号发送指示DIMD是否被应用到当前块的DIMD标志。作为实施例，当应用DIMD时，可以从重构的邻近样本导出至少一个帧内预测模式，并且可以通过使用导出的帧内预测模式来导出预测器。在导出帧内预测模式时，可以对重构的邻近样本执行梯度计算。

通过使用导出的帧内预测模式导出的预测器可以与平面模式预测器组合。可以基于预先确定的权重来执行加权求和。作为示例，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量。可替选地，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量或色度分量中的至少一个。

另外，作为实施例，DIMD导出的帧内预测模式可以被包括在最可能模式（MPM）列表中。可以在配置MPM列表之前执行DIMD过程。作为示例，应用DIMD的块的导出的帧内预测模式可以与块一起存储并且可以用于配置相邻块的MPM列表。在本公开中，DIMD可以被称为帧内导出模式或者帧内预测模式导出模式，并且DIMD标志可以被称为帧内导出模式标志、帧内预测模式导出模式标志、第一标志等等。

编码装置可以基于是否应用DIMD来确定块差分脉冲编译调制（BDPCM）是否被应用到当前块的色度分量S1010。作为示例，编码装置可以通过比特流用信号发送指示BDPCM是否被应用到当前块的色度分量的BDPCM标志。在本公开中，BDPCM标志可以被称为BDPCM色度标志、色度BDPCM标志、第二标志等。能够以相同的方式应用图7和图8的结构，并且省略重复的描述。

编码装置可以基于是否应用BDPCM来导出色度分量的帧内预测模式S1020。作为实施例，当BDPCM不被应用于色度分量时，可以用信号发送指示多个帧内预测模式之中的色度分量的帧内预测模式的色度预测模式索引。换句话说，当不应用BDPCM时，可以应用一般的帧内编译，并且可以执行针对色度分量的帧内预测模式确定过程。

另外，作为实施例，DIMD可以应用于色度分量。作为示例，可以用信号发送指示DIMD是否应用于色度分量的色度DIMD标志。可替选地，作为另一示例，表示应用于色度分量的DIMD模式的色度DIMD模式可以被包括在用于色度帧内预测的色度帧内预测模式组中。在这种情况下，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度DIMD模式。在本公开中，色度DIMD模式可以被称为色度帧内导出模式或色度帧内预测模式导出模式。

另外，当BDPCM被应用于色度分量时，如上所述，可以用信号发送指示BDPCM的预测方向的标记信息（称为BDPCM预测方向标记）。可以根据BDPCM预测方向来确定（或导出）帧内预测模式。当应用BDPCM时，帧内预测模式可以被确定为垂直模式或水平模式中的任意一个。可替选地，当应用BDPCM时，帧内预测模式可以被确定为多个预定义的预测模式之中与BDPCM预测方向相对应的模式。可以存在至少三个BDPCM预测方向，并且在这种情况下，可以用信号发送指示BDPCM预测方向的索引信息。

编码装置可以基于导出的帧内预测模式来生成色度分量的预测样本S1030。换句话说，编码装置可以根据帧内预测模式的预测方向通过使用邻近参考样本来生成预测样本（或预测器）。

图11示出执行根据本公开的实施例的图像编码方法的帧内预测器的粗略配置。

参考图11，帧内预测器221可以包括DIMD确定单元1100、BDPCM确定单元1110、帧内预测模式确定单元1120和预测样本生成器1130。

DIMD确定单元1100可以确定解码器侧帧内模式导出（DIMD）是否被应用到当前块。作为示例，DIMD确定单元1100可以根据确定结果通过比特流用信号发送指示DIMD是否被应用到当前块的DIMD标志。作为实施例，当应用DIMD时，可以从重构的邻近样本导出至少一个帧内预测模式，并且可以通过使用导出的帧内预测模式来导出预测器。在导出帧内预测模式时，可以对重构的邻近样本执行梯度计算。

通过使用导出的帧内预测模式导出的预测器可以与平面模式预测器组合。可以基于预先确定的权重来执行加权求和。作为示例，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量。可替选地，DIMD标志可以指示DIMD是否被应用于当前块的亮度分量或色度分量中的至少一个。

另外，作为实施例，DIMD导出的帧内预测模式可以被包括在最可能模式（MPM）列表中。可以在配置MPM列表之前执行DIMD过程。作为示例，应用DIMD的块的导出的帧内预测模式可以与块一起存储并且可以用于配置邻近块的MPM列表。在本公开中，DIMD可以被称为帧内导出模式或者帧内预测模式导出模式，并且DIMD标志可以被称为帧内导出模式标志、帧内预测模式导出模式标志、第一标志等等。

BDPCM确定单元1110可以基于是否应用DIMD来确定块差分脉冲编译调制（BDPCM）是否被应用到当前块的色度分量。作为示例，编码装置可以通过比特流用信号发送指示BDPCM是否被应用到当前块的色度分量的BDPCM标志。在本公开中，BDPCM标志可以被称为BDPCM色度标志、色度BDPCM标志、第二标志等。能够以相同的方式应用先前在图7和图8描述的实施例，并且省略重复的描述。

帧内预测模式确定单元1120可以基于是否应用BDPCM来导出色度分量的帧内预测模式。作为实施例，当BDPCM没有被应用于色度分量时，可以用信号发送指示多个帧内预测模式之中的色度分量的帧内预测模式的色度预测模式索引。换句话说，当不应用BDPCM时，可以应用一般的帧内编译，并且可以执行针对色度分量的帧内预测模式确定处理。

另外，作为实施例，DIMD可以被应用于色度分量。作为示例，可以用信号发送指示DIMD是否应用于色度分量的色度DIMD标志。可替选地，作为另一示例，表示应用于色度分量的DIMD模式的色度DIMD模式可以被包括在用于色度帧内预测的色度帧内预测模式组中。在这种情况下，多个帧内预测模式可以包括通过使用重构的邻近样本来导出色度帧内预测模式的色度DIMD模式。在本公开中，色度DIMD模式可以被称为色度帧内导出模式或色度帧内预测模式导出模式。

另外，当BDPCM被应用于色度分量时，如上所述，可以用信号发送指示BDPCM的预测方向的标记信息（称为BDPCM预测方向标记）。可以根据BDPCM预测方向来确定（或导出）帧内预测模式。当应用BDPCM时，帧内预测模式可以被确定为垂直模式或水平模式中的任意一个。可替选地，当应用BDPCM时，帧内预测模式可以被确定为多个预定义的预测模式之中与BDPCM预测方向相对应的模式。可以存在至少三个BDPCM预测方向，并且在这种情况下，可以用信号发送指示BDPCM预测方向的索引信息。

预测样本生成器1130可以基于导出的帧内预测模式来生成色度分量的预测样本。换句话说，预测样本生成器1130可以根据帧内预测模式的预测方向通过使用邻近参考样本来生成预测样本（或预测器）。

在上述实施例中，基于流程图将方法描述为一系列步骤或框，但是相应的实施例不限于步骤的顺序，并且一些步骤可以同时发生或者以与如上所述的其他步骤不同的顺序发生。另外，本领域的技术人员可以理解，流程图所示的步骤并不是排他性的，并且在不影响本公开的实施例的范围的情况下可以包括其他步骤或者可以删除流程图中的一个或多个步骤。

根据本公开的实施例的上述方法能够以软件的形式实现，并且根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备中，诸如TV、电脑、智能手机、机顶盒、显示设备等。

在本公开中，当实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块（进程、功能等）。模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部，并且可以通过各种众所周知的手段连接到处理器。处理器可以包括专用集成电路（ASIC）、另一芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器（ROM）、随机存取存储器（RAM）、闪存、存储器卡、存储介质和/或其他存储设备。换句话说，本文描述的实施例可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如，每个附图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下，用于实现的信息（例如，关于指令的信息）或算法可以被存储在数字存储介质中。

另外，应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频会话设备、如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、用于提供视频点播（VoD）服务的设备、顶置视频（OTT）设备、用于提供互联网流传输服务的设备、三维（3D）视频设备、虚拟现实（VR）设备、增强现实（AR）设备、可视电话视频设备、运输工具终端（例如，车辆（包括自动驾驶车辆）终端、飞机终端、轮船终端等）和医疗视频设备等，可以被用于处理视频信号或数据信号。例如，顶置视频（OTT）设备可以包括游戏控制台、蓝光播放器、联网的TV、家庭影院系统、智能手机、平板电脑、数字录像机（DVR）等等。

另外，应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘（BD）、通用串行总线（USB）、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学媒体存储设备。另外，计算机可读记录介质包括以载波形式实现的介质（例如，经由互联网传输）。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。

另外，本公开的实施例可以通过程序代码由计算机程序产品来实现，并且该程序代码可以由本公开的实施例在计算机上执行。该程序代码可以存储在计算机可读载体上。

图12示出可以应用本公开的实施例的内容流传输系统的示例。

参考图12，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。

编码服务器通过将从诸如智能手机、相机、摄像机等的多媒体输入设备输入的内容压缩成数字数据来生成比特流，并将其发送到流传输服务器。作为另一示例，当诸如智能手机、相机、摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。

可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。

流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，并且web服务器用作通知用户什么服务可用的媒介。当用户向web服务器请求所需的服务时，web服务器将其递送到流传输服务器，并且流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器控制内容流传输系统中的每个设备之间的命令/响应。

流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流媒体服务，流传输服务器可以在某个时间段内存储比特流。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理（PDA）、便携式多媒体播放器（PMP）、导航、平板PC、平板电脑、超级本、可穿戴设备（例如，智能手表、智能眼镜、头戴式显示器（HMD）、数字电视、台式机、数字标牌等）。

内容流传输系统中的每个服务器可以被操作为分布式服务器，并且在这种情况下，从每个服务器接收到的数据可以被分发和处理。

本文阐述的权利要求能够以各种方式组合。例如，本公开的方法权利要求的技术特征可以组合并实现为设备，并且本公开的设备权利要求的技术特性可以被组合并实现为方法。另外，本公开的方法权利要求的技术特性和设备权利要求的技术特性可以组合并实现为设备，并且本公开的方法权利要求的技术特性和设备权利要求的技术特性可以被组合并实现为方法。

Claims (11)

1.一种图像解码方法，所述方法包括：

获取指示帧内导出模式是否被应用于当前块的第一标志，其中所述帧内导出模式表示用于通过使用重构的邻近样本导出帧内预测模式的模式；

基于所述第一标志来获取指示是否将块差分脉冲编译调制（BDPCM）应用于所述当前块的色度分量的第二标志；

基于所述第二标志来导出所述色度分量的帧内预测模式；以及

基于所述帧内预测模式来生成所述色度分量的预测样本。

2.根据权利要求1所述的方法，其中：

导出所述帧内预测模式包括：当所述第二标记指示所述BDPCM不被应用于所述色度分量时，获得指示多个帧内预测模式之中的所述色度分量的帧内预测模式的第一索引。

3.根据权利要求2所述的方法，其中：

所述多个帧内预测模式包括色度帧内导出模式，所述色度帧内导出模式通过使用所述重构的邻近样本来导出色度帧内预测模式。

4.根据权利要求2所述的方法，其中：

导出所述帧内预测模式包括：当所述第二标记指示所述BDPCM被应用于所述色度分量时获得指示所述BDPCM的预测方向的第三标记。

5.根据权利要求1所述的方法，其中：

获取所述第二标志包括：基于是否满足预定义条件，从比特流中获得所述第二标志。

6.根据权利要求5所述的方法，其中：

仅当所述第一标志指示所述帧内导出模式不被应用于所述当前块时，才从所述比特流中获取所述第二标志。

7.根据权利要求5所述的方法，其中：

仅当所述当前块的树类型为单树并且所述第一标志指示所述帧内导出模式不被应用于所述当前块时，才从所述比特流中获取所述第二标志。

8.根据权利要求5所述的方法，其中：

如果不满足所述预定义条件，则推断所述第二标志为0。

9.一种图像编码方法，所述方法包括：

确定帧内导出模式是否被应用于当前块，其中所述帧内导出模式表示用于通过使用重构的邻近样本导出帧内预测模式的模式；

基于是否应用所述帧内导出模式来确定是否块差分脉冲编译调制（BDPCM）被应用于所述当前块的色度分量；

基于是否应用所述BDPCM来确定所述色度分量的帧内预测模式；以及

基于所述帧内预测模式来生成所述色度分量的预测样本。

10.一种计算机可读存储介质，所述计算机可读存储介质存储通过根据权利要求9所述的图像编码方法生成的比特流。

11.一种用于发送用于图像信息的数据的方法，所述方法包括：

确定帧内导出模式是否被应用于当前块，其中所述帧内导出模式表示用于通过使用重构的邻近样本导出帧内预测模式的模式；

基于是否应用所述帧内导出模式来确定是否块差分脉冲编译调制（BDPCM）被应用于所述当前块的色度分量；

基于是否应用所述BDPCM来确定所述色度分量的帧内预测模式；

基于所述帧内预测模式来生成所述色度分量的预测样本；

提供基于所述色度分量的所述预测样本对所述当前块进行编码，生成比特流；以及

发送包括所述比特流的数据。