CN118202648A - 基于ciip的预测方法和设备 - Google Patents

基于ciip的预测方法和设备 Download PDF

Info

Publication number
CN118202648A
CN118202648A CN202280073415.4A CN202280073415A CN118202648A CN 118202648 A CN118202648 A CN 118202648A CN 202280073415 A CN202280073415 A CN 202280073415A CN 118202648 A CN118202648 A CN 118202648A
Authority
CN
China
Prior art keywords
prediction
intra
mode
current block
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280073415.4A
Other languages
English (en)
Inventor
塞特拉·帕卢瑞
林宰显
张炯文
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN118202648A publication Critical patent/CN118202648A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本公开的一个实施例，一种由解码设备执行的图像解码方法被提供。该方法包括以下步骤：从比特流获得包括预测相关信息的图像信息；基于预测相关信息来确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块；基于确定CIIP被应用于当前块，导出当前块的预测样本；以及基于预测样本来生成当前块的重构样本，其中当前块的预测样本基于帧内预测样本和帧间预测样本被导出，其中帧内预测样本基于帧内预测模式被导出，其中帧内预测模式基于解码器侧帧内模式导出(DIMD)模式或基于模板的帧间模式导出(TIMD)模式被导出。

Description

基于CIIP的预测方法和设备
技术领域
本公开涉及图像编码技术，更具体地，涉及一种用于在图像编码系统中导出帧内预测模式的视频解码方法和设备。
背景技术
最近，在各种领域中对诸如4K、8K或更高超高清(UHD)视频/图像的高分辨率、高质量图像/视频的需求正不断增加。随着视频/图像分辨率或质量变高，与传统视频/图像数据相比传输相对更多的信息或比特。因此，如果视频/图像数据经由诸如现有有线/无线宽带线路的介质传输或者存储在传统存储介质中，则传输和存储的成本容易增加。
此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图的沉浸式媒体的兴趣和需求正不断增长；并且表现出与实际视频/图像不同的图像/视频特性的图像/视频(例如游戏图像/视频)的广播也正不断增长。
因此，需要高效图像压缩技术来有效地压缩和传输、存储或播放显示出如上所述的各种特性的高分辨率、高质量视频/图像。
发明内容
技术问题
本公开提供了一种用于增加图像编译效率的方法和装置。
本公开还提供了一种用于在图像编译中执行高效帧内预测的方法和装置。
本发明的另一技术任务是提供一种用于在视频编译中执行有效帧间预测的方法和设备。
技术方案
根据本文件的实施例，一种由解码设备执行的视频解码方法被提供。所述方法包括：从比特流获得包括预测相关信息的图像信息，基于所述预测相关信息来确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块，基于确定所述CIIP被应用于所述当前块来导出所述当前块的预测样本，以及基于所述预测样本来生成所述当前块的恢复样本，所述当前块的所述预测样本基于帧内预测样本和帧间预测样本被导出，所述帧内预测样本基于帧内预测模式被导出，所述帧内预测模式基于DIMD(解码器侧帧内模式导出)模式或TIMD(基于模板的帧间模式导出)模式被导出。
根据本文件的另一实施例，一种由编码设备执行的编码方法被提供。所述方法包括：确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块，确定帧内预测模式，基于所述帧内预测模式来导出帧内预测样本；
导出帧间预测样本，基于所述帧内预测样本和所述帧间预测样本来导出所述当前块的预测样本，基于所述当前块的所述预测样本来生成预测相关信息，以及编码包括所述预测相关信息的图像信息，所述帧内预测模式基于DIMD(解码器侧帧内模式导出)模式或基于TIMD(模板的帧间模式导出)模式被确定。
根据本文件的另一实施例，提供一种计算机可读数字存储介质。所述数字存储介质存储通过特定方法生成的比特流，所述特定方法包括：确定组合的画面间合并和画面内预测(CIIP)是否被应用于所述当前块，确定帧内预测模式，基于所述帧内预测模式来导出帧内预测样本，导出帧间预测样本，基于所述帧内预测样本和所述帧间预测样本来导出所述当前块的预测样本，基于所述当前块的所述预测样本来生成预测相关信息，以及编码包括所述预测相关信息的图像信息，基于DIMD(解码器侧帧内模式导出)模式或TIMD(基于模板的帧间模式导出)模式来确定所述帧内预测模式。
根据本文件的另一实施例，提供一种存储编码信息或编码视频/图像信息的计算机可读数字存储介质，使得解码装置来执行本文件中的至少一个实施例中公开的所述视频/图像解码方法。
根据本文件的另一实施例，提供一种用于发送根据本文件中的至少一个实施例中公开的所述视频/图像编码方法生成的比特流的方法和传输设备。
有益效果
根据本文件，这包括：从比特流获得包括预测相关信息的图像信息；基于预测相关信息来确定组合的图像间合并和图像内预测(CIIP)是否被应用于当前块；基于CIIP应用于当前块的确定来导出当前块的预测样本；以及基于预测样本来生成当前块的恢复样本；基于帧内预测样本和帧间预测样本来导出当前块的预测样本；基于帧内预测模式来导出帧内预测样本；基于DIMD(解码器侧帧内模式导出)模式或TIMD(基于模板的帧间模式导出)模式来导出帧内预测模式。此时，帧内预测模式能够基于DIMD模式或TIMD模式被导出，以减少在用信号通知帧内预测模式的进程中出现的开销并且改进整体编译效率。附加地，能够通过基于DIMD模式导出预测样本或者基于TIMD模式导出的帧内预测模式来增加预测准确度。
附图说明
图1示意性地图示本公开的实施例适用于的视频/图像编码装置的示例。
图2是图示可以应用本公开的实施例的视频/图像编码设备的配置的示意图。
图3是图示可以应用本公开的实施例的视频/图像解码设备的配置的示意图。
图4示意性地示出用于编码视频/图像的分层结构。
图5示意性地图示可以应用本公开的实施例的基于帧内预测的图像编码方法的示例。
图6示意性地图示编码设备中的帧内预测器。
图7示意性地图示可以应用本公开的实施例的基于帧内预测的图像解码方法的示例。
图8示意性地图示解码设备中的帧内预测器。
图9示例性地图示可以应用本公开的实施例的示意性帧内预测处理。
图10图示可以应用本公开的实施例的帧内预测模式的示例。
图11示例性地图示重构像素模板。
图12示例性地示出用于导出用于TIMD模式的帧内预测模式的模板。
图13示例性地示出用于导出CIIP中使用的权重值的邻近块。
图14和图15示意性地示出根据本文件的实施例的视频/图像编码方法和相关组件的示例。
图16和图17示意性地示出根据本文件的实施例的视频/图像解码方法和相关组件的示例。
图18图示可以应用本公开的内容流系统的结构图。
具体实施方式
本公开能够以各种形式修改，并且将在附图中描述和例示其特定实施例。然而，实施例并非旨在限制本公开。在以下描述中使用的术语仅用于描述特定实施例，并非旨在限制本公开。只要清楚地以不同的方式理解，单数的表达包括复数的表达。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应理解的是，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
此外，本公开中描述的附图中的元件是为了方便解释不同的特定功能而独立地绘制的，并不意味着这些元件由独立的硬件或独立的软件来具体实现。例如，可以将元件中的两个或更多个元件组合以形成单个元件，或者可以将一个元件分割为多个元件。组合和/或分割元件的实施例属于本公开，而没有脱离本公开的概念。
在下文中，将参照附图详细描述本公开的实施例。另外，在整个附图中，相似的附图标记用于指示相似的元件，并且将省略对相似元件的相同描述。
本公开涉及视频/图像编码。例如，本公开中所公开的方法/实施例可与通用视频编码(VVC)标准(ITU-T Rec.H.266)、VVC后的下一代视频/图像编码标准或其它视频编码相关标准(例如，高效视频编码(HEVC)标准(ITU-T Rec.H.265)、基本视频编码(EVC)标准、AVS2标准等)有关。
本公开涉及视频/图像编码。例如，本公开中所公开的方法/实施例可以应用于在多功能视频编码(VVC)标准、基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267、或H.268等)中公开的方法。
本公开呈现了视频/图像编码的各种实施例，并且除非另外提及，否则实施例可以彼此组合地执行。
在本公开中，视频可以是指随时间推移的一系列图像。通常，画面是指表示特定时间区域中的一个图像的单元，并且子画面/切片/拼块(tile)是构成编码中的画面的一部分的单元。子画面/切片/拼块可以包括一个或更多个编码树单元(CTU)。一幅画面可以由一个或更多个子画面/切片/拼块构成。一幅画面可以由一个或更多个拼块组构成。一个拼块组可以包括一个或更多个拼块。图块(brick)可以表示画面中的拼块内的CTU行的矩形区域。拼块可以被分区为多个图块，每个图块由拼块内的一个或更多个CTU行组成。没有被分区为多个图块的拼块也可以被称为图块。图块扫描是对画面进行分区的CTU的特定依次排序，其中，在图块中按CTU光栅扫描对CTU进行连续排序，按拼块的图块的光栅扫描对拼块内的图块进行连续排序，并且按画面的拼块的光栅扫描对画面中的拼块进行连续排序。另外，子画面可以表示画面内的一个或更多个切片的矩形区域。即，子画面包含共同覆盖画面的矩形区域的一个或更多个切片。拼块是画面中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块列是CTU的矩形区域，该矩形区域的高度等于画面的高度并且宽度由画面参数集中的语法元素指定。拼块行是CTU的矩形区域，该矩形区域的高度由画面参数集中的语法元素指定并且宽度等于画面的宽度。拼块扫描是对画面进行分区的CTU的特定依次排序，其中，可以在拼块中按CTU光栅扫描对CTU进行连续排序，而可以按画面的拼块的光栅扫描对画面中的拼块进行连续排序。切片包括画面的可以被排他性地包含在单个NAL单元中的整数个图块。切片可以由多个完整拼块组成或者仅由一个拼块的连续序列的完整图块组成。在本公开中，可以互换地使用拼块组和切片。例如，在本公开中，拼块组/拼块组头可以被称为切片/切片头。
像素或像元(pel)可以表示组成一幅画面(或图像)的最小单位。另外，“样本”可以用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可以包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本说明书中，“A或B”可以是指“仅A”、“仅B”或“A和B”。换言之，在本说明书中，“A或B”可以被解释为“A和/或B”。例如，“A、B或C”在本文中是指“仅A”、“仅B”、“仅C”或“A、B和C的任何一个和任何组合”。
本说明书中使用的斜线(/)或逗号(comma)可以是指“和/或”。例如，“A/B”可以是指“A和/或B”。因此，“A/B”可以是指“仅A”、“仅B”或“A和B”。例如，“A,B,C”可以是指“A、B或C”。
在本说明书中，“A和B中的至少一个”可以是指“仅A”、“仅B”或“A和B两者”。另外，在本说明书中，表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
另外，在本说明书中，“A、B和C中的至少一个”是指“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以是指“A、B和C中的至少一个”。
此外，本说明书中使用的括号可以是指“例如”。具体地，当指示“预测(帧内预测)”时，可能将“帧内预测”作为“预测”的示例提出。换言之，本说明书中的“预测”不限于“帧内预测”，可以将“帧内预测”作为“预测”的示例提出。此外，即使当指示“预测(即，帧内预测)”时，“帧内预测”也可以作为“预测”的示例提出。
在本说明书中，在一幅图中单独描述的技术特征可以单独实现或可以同时实现。
创建以下附图以解释本说明书的具体示例。由于附图中描述的特定装置的名称或特定信号/消息/字段的名称通过示例呈现，因此本说明书的技术特征不限于在以下附图中使用的特定名称。
图1示意性地例示了本公开的实施例适用于的视频/图像编码装置的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式向接收装置传送编码视频/图像信息或数据。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备，并且解码设备可以称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程，以实现压缩和编码效率。编码数据(编码视频/图像信息)能够以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式向接收装置的接收器发送以比特流的形式输出的经编码的视频/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并向解码设备发送接收到的比特流。
解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换和预测的一系列过程来对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。经渲染的视频/图像可以通过显示器显示。
图2是例示了可以应用本文件的视频/图像编码设备的配置的示意图。在下文中，视频编码设备可以包括图像编码设备。
参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施例，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)构成。另外，存储器270可以包括解码画面缓冲器(DPB)或者可以由数字存储介质构成。硬件组件还可以包括作为内部/外部组件的存储器270。
图像分割器210可以将输入到编码设备200的输入图像(或画面或帧)分割到一个或更多个处理器中。例如，处理器可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如，一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三元结构。另选地，可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码处理。在这种情况下，可以根据图像特性基于编码效率将最大编码单元用作最终编码单元，或者如果需要，可以将编码单元递归地分割为深度更深的编码单元并且具有最优大小的编码单元可以用作最终编码单元。这里，编码过程可以包括预测、变换和重构的处理，这将在后面描述。作为另一示例，处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一幅画面(或图像)相对应的术语。
在减法器231中，从输入图像信号(原始块、原始样本或原始样本阵列)中减去从预测器220输出的预测信号(预测块、预测样本或预测样本阵列)，以生成残差信号(残差块、残差样本或残差样本阵列)并且所生成的残差信号被发送到变换器232。预测器220可以对要处理的块(在下文中称为当前块)执行预测，并生成包括当前块的预测样本的预测块。预测器220能够以当前块或CU为单位来确定是应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所述，预测器可以生成与预测有关的各种信息(诸如预测模式信息)，并向熵编码器240发送所生成的信息。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅是示例，依据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参考画面上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，相邻块可以包括存在于当前画面中的空间相邻块和存在于参考画面中的时间相邻块。包括参考块的参考画面和包括时间相邻块的参考画面可以相同或不同。时间相邻块可以称为并置参考块、共位CU(colCU)等，并且包括时间相邻块的参考画面可以称为并置画面(colPic)。例如，帧间预测器221可以基于相邻块来配置运动信息候选列表，并且生成指示使用哪个候选来导出当前块的运动矢量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以将相邻块的运动信息用作当前块的运动信息。在跳过模式下，与合并模式不同，可能无法发送残差信号。在运动矢量预测(MVP)模式的情况下，可以将相邻块的运动矢量用作运动矢量预测子，并且可以通过发信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于以下描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测二者。这可以称为帧间帧内组合预测(CIIP)。另外，预测器可以执行帧内块复制(IBC)预测模式。例如，IBC可用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行IBC，因为参考块是在当前画面中导出的。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
由帧间预测器221和/或帧内预测器222生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、基于图的变换(GBT)或条件非线性变换(CNT)等。这里，GBT表示当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外，变换处理可以应用于具有相同大小的正方形像素块，或者可以应用于具有可变大小而非正方形的块。
量化器233可以对变换系数进行量化，并且将它们发送给熵编码器240，并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维矢量形式，并且基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法，诸如，例如指数哥伦布(Golomb)、上下文自适应变长编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)一起或分开地进行编码。能够以比特流的形式以NAL(网络抽象层)为单位发送或存储编码信息(例如，编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的各种参数集的信息。另外，视频/图像信息还可包括一般约束信息。在本公开中，稍后描述的信息和/或语法元素可以通过上述编码处理被编码并且被包括在比特流中。比特流可以通过网络发送，或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码设备200的内部/外部元件，另选地，发送器可以被包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如，可以通过利用解量化器234和逆变换器235对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从预测器220输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(诸如应用了跳过模式的情况)，则可以将预测块用作重构块。所生成的重构信号可以用于在当前画面中要处理的下一块的帧内预测，并且可以通过如下所述的滤波用于下一画面的帧间预测。
此外，在画面编码和/或重构期间，可以应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构画面应用各种滤波方法来生成经修改的重构画面，并将经修改的重构画面存储在存储器270(具体地，存储器270的DPB)中。各种滤波方法可包括例如解块滤波、样本自适应偏移(SAO)、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息，并且将生成的信息发送给熵编码器290，如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器290编码并且以比特流的形式输出。
发送给存储器270的经修改的重构画面可以用作帧间预测器221中的参考画面。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测不匹配，并且可以改进编码效率。
存储器270的DPB可以存储用作帧间预测器221中的参考画面的经修改的重构画面。存储器270可以存储从中导出(或编码)当前画面中的运动信息的块的运动信息和/或画面中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器221，并且用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前画面中的重构块的重构样本，并且可以将重构样本传送给帧内预测器222。
图3是例示了可以应用本文件的实施例的视频/图像解码设备的配置的示意图。
参照图3，解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括解量化器321和逆变换器322。根据实施例，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码画面缓冲器(DPB)，或者可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如，解码设备300可以基于从比特流获得的块分割相关信息来导出单元/块。解码设备300可以使用在编码设备中应用的处理器来执行解码。因此，解码的处理器可以是例如编码单元，并且可以根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元对编码单元进行分割。可以从编码单元导出一个或更多个变换单元。可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以接收以比特流形式从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以解析比特流，以导出图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的各种参数集的信息。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对画面进行解码。本公开中稍后描述的发信号通知的/接收的信息和/或语法元素可以通过解码处理被解码，并从比特流中获取。例如，熵解码器310基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息、解码目标块的解码信息或在先前级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin的出现概率来对该bin进行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中与预测有关的信息可以提供给预测器330，并且关于在熵解码器310中对其执行了熵解码的残差的信息(也就是说，量化变换系数和相关参数信息)可以被输入到解量化器321。另外，由熵解码器310解码的信息当中关于滤波的信息可以提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可以称为视频/图像/画面解码设备，并且解码设备可以分类为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、预测器330、加法器340、滤波器350和存储器360中的至少一个。
解量化器321可以对量化变换系数进行解量化并且输出变换系数。解量化器321能够以二维块的形式重新布置量化变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新布置。解量化器321可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测，并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且可以确定具体的帧内/帧间预测模式。
预测器可以基于以下描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测。这可以称为帧间帧内组合预测(CIIP)。另外，预测器可以执行帧内块复制(IBC)来预测块。IBC可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行IBC，因为在当前画面中导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
帧内预测器331可以通过参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考画面上的由运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息的量，可以基于相邻块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，相邻块可以包括存在于当前画面中的空间相邻块和存在于参考画面中的时间相邻块。例如，帧间预测器332可以基于相邻块来配置运动信息候选列表，并基于接收到的候选选择信息来导出当前块的运动矢量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(例如当应用跳过模式时)，则可以将预测块用作重构块。
加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，可以通过如下所述的滤波输出，或者可以用于下一画面的帧间预测。
此外，在画面解码过程中可以应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过向重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过对重构画面应用各种滤波方法来生成经修改的重构画面，并将经修改的重构画面存储在存储器360(具体地，存储器360的DPB)中。各种滤波方法可包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储器360的DPB中存储的(经修改的)重构画面可以用作帧间预测器332中的参考画面。存储器360可以存储从中导出(或解码)当前画面中的运动信息的块的运动信息和/或画面中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器332，以作为空间相邻块的运动信息或时间相邻块的运动信息来利用。存储器360可以存储当前画面中的重构块的重构样本，并且可以将重构样本传送给帧内预测器331。
在本说明书中，解码设备300的预测器330、解量化器321、逆变换器322和滤波器350中所描述的实施例可分别应用于或对应于编码设备200的预测器220、解量化器234、逆变换器235和滤波器260。
如上所述，在执行视频编码时，执行预测以增加压缩效率。由此，可生成包括当前块(要编码的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。从编码设备和解码设备以相同的方式导出预测块，并且编码设备可通过将原始块和预测块之间的信息(残差信息)而非原始块本身的原始样本值用信号通知给解码设备来增加图像编码效率。解码设备可基于上述残差信息导出包含残差样本的残差块，将上述残差块与上述预测块组合以创建包含恢复样本的恢复块，并且创建包含恢复块的恢复画面。
可以通过变换和量化处理来生成残差信息。例如，编码设备可以导出原始块和预测块之间的残差块，通过对包括在残差块中的残差样本(残差样本阵列)执行变换处理来导出变换系数，通过对变换系数执行量化处理来导出量化变换系数，并且将相关残差信息(通过比特流)用信号通知给解码设备。这里，残差信息可以包括诸如值信息、位置信息、变换技术、变换核、量化变换系数的量化参数等的信息。解码设备可以基于残差信息执行解量化/逆变换处理并且导出残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构画面。编码设备还可以通过对量化变换系数进行解量化/逆变换以供画面的帧间预测参考来导出残差块，并且基于此生成重构画面。
在本公开中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)导出变换系数，并且可以通过对变换系数逆变换(缩放)来导出缩放变换系数。可以基于对缩放变换系数逆变换(变换)来导出残差样本。这也可以在本公开的其它部分中应用/表达。
在本文件中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编码语法来用信号通知关于变换系数的信息。变换系数可以基于残差信息(或关于变换系数的信息)来导出，缩放变换系数可以通过变换系数的逆变换(缩放)来导出。残差样本可以基于对缩放变换系数的逆变换(变换)来导出。这也可在本文件的其它部分中应用/表达。
编码设备/解码设备的预测器可以通过逐块执行帧间预测来导出预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如，样本值或运动信息)的方式导出的预测。当对当前块应用帧间预测时，可以基于参考画面索引所指示的参考画面中由运动向量指定的参考块(参考样本阵列)来导出当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。当应用帧间预测时，邻近块可以包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，可以基于当前块的邻近块来构造运动信息候选列表，并且可以用信号通知指示选择(使用)哪一候选来导出运动向量的标志或索引信息和/或当前块的参考画面索引。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与所选邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，所选邻近块的运动向量用作运动向量预测子，并且可以用信号通知运动向量差。在这种情况下，可以使用运动向量预测子与运动向量差之和来导出当前块的运动向量。
根据帧间预测类型(L0预测、L1预测、Bi预测等)，运动信息可以包括L0运动信息和/或L1运动信息。L0方向上的运动向量可以被称为L0运动向量或MVL0，L1方向上的运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称为L0预测，基于L1运动向量的预测可以被称为L1预测，基于L0运动向量和L1运动向量二者的预测可以被称为Bi预测。这里，L0运动向量可以指示与参考画面列表L0(L0)有关的运动向量，L1运动向量可以指示与参考画面列表L1(L1)有关的运动向量。参考画面列表L0可以包括按输出顺序在当前画面之前的画面作为参考画面，并且参考画面列表L1可以包括按输出顺序在当前画面之后的画面。先前画面可以被称为前向(参考)画面，后续画面可以被称为后向(参考)画面。参考画面列表L0还可以包括按输出顺序在当前画面之后的画面作为参考画面。在这种情况下，参考画面列表L0中的先前画面可以首先被索引，后续画面可以接下来被索引。参考画面列表L1还可以包括按输出顺序在当前画面之前的画面作为参考画面。在这种情况下，参考画面列表1中的后续画面可以首先被索引，先前画面可以接下来被索引。这里，输出顺序可以对应于画面顺序计数(POC)顺序。
图4示例性地例示了编码视频/图像的层结构。
参照图4，编码视频/图像被分成执行视频/图像的解码处理并处理解码处理的视频编码层(VCL)、发送和存储编码信息的下层系统以及存在于VCL和下层系统之间并用于执行网络适配功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据、或者包括画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的参数集、或者图像解码处理中另外需要的补充增强信息(SEI)消息。
在NAL中，头信息(NAL单元数据)被添加到VCL中生成的原始字节序列有效载荷(RSRP)以生成NAL单元。这里，RBSP是指VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据包括在对应NAL单元中的RSRP数据指定的NAL单元类型信息。
如上图中所示，NAL单元可以根据VCL中生成的RSRP被分类为VCL NAL单元和非VCLNAL单元。VCL NAL单元可以意指包括关于该信息的信息(切片数据)的NAL单元，非VCL NAL单元可以意指包括将图像解码所需的信息(参数集或SEI消息)的NAL单元。
可以在根据子系统的数据标准添加头信息的同时通过网络发送VCL NA单元和非VCL NAL单元。例如，NAL单元可以被转换为诸如H.266/VVC文件格式的预定标准的数据格式、实时传输协议(RTP)、传输流(TS)等，并且通过各种网络传输。
此外，如上所述，关于NAL单元，可以根据包括在对应NAL单元中的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以存储在NAL单元头中并用信号通知。
例如，NAL单元可以根据NAL单元是否包括关于图像的信息(切片数据)被分类为VCL NAL单元类型和非VCL NAL单元类型。此外，VCL NAL单元类型可以根据包括在VCL NAL单元中的画面的性质和类型来分类，非VCL NAL单元可以根据参数集的类型来分类。
以下是根据包括在非VCL NAL单元类型中的参数集的类型指定的NAL单元类型的示例。
-适配参数集(APS)NAL单元：包括APS的NAL单元类型
-视频参数集(VPS)NAL单元：包括VPS的NAL单元类型
-序列参数集(SPS)NAL单元：包括SPS的NAL单元类型
-画面参数集(PPS)NAL单元：包括PPS的NAL单元类型
-解码能力信息(DCI)NAL单元：包括DCI的NAL单元类型
-画面头(PH)NAL单元：包括PH的NAL单元类型
上述NAL单元类型具有NAL单元类型的语法信息，并且该语法信息可以存储在NAL单元头中并用信号通知。例如，语法信息可以是nal_unit_type，并且NAL单元类型可以用nal_unit_type值来指定。
此外，如上所述，一个画面可以包括多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，一个画面头可以进一步被添加到一个画面中的多个切片(切片头和切片数据集)。画面头(画面头语法)可以包括共同适用于画面的信息/参数。在本文件中，切片可以与拼块组混合或替换。另外，在本文件中，切片头可以与类型组头混合或替换。
切片头(切片头语法、切片头信息)可以包括共同适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括共同适用于多个层的信息/参数。DCI(DCI语法)可以包括共同适用于整个视频的信息/参数。DCI可以包括与解码能力有关的信息/参数。在本文件中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、画面头语法或切片头语法中的至少一个。
在本文件中，从编码设备到解码设备编码并以比特流的形式用信号通知的图像/视频信息不仅包括画面内分区相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息等，而且包括切片头中所包括的信息、画面头中所包括的信息、APS中所包括的信息、PPS中所包括的信息、SPS中所包括的信息、VPS中所包括的信息和/或DCI中所包括的信息。另外，图像/视频信息还可以包括NAL单元头信息。
此外，当执行帧内预测时，可以使用样本之间的相关性，并且可以获得原始块和预测块之间的差(即，残差)。可以对残差应用上述变换和量化，由此，可以去除空间冗余。在下文中，将详细描述使用帧内预测的编码方法和解码方法。
帧内预测是指基于包括当前块的画面(下文中称为当前画面)中的当前块外部的参考样本来生成当前块的预测样本的预测。这里，当前块外部的参考样本可以指位于当前块周围的样本。当对当前块应用帧内预测时，可以导出要用于当前块的帧内预测的邻近参考样本。
例如，在当前块的大小(宽度×高度)为nW×nH时，当前块的邻近参考样本可以包括：包括与当前块的左边界相邻的样本和与当前块的左下邻近的样本的总共2×nH个样本、包括与当前块的上边界相邻的样本和与右上邻近的样本的总共2×nW个样本、以及与当前块的左上相邻的1个样本。另选地，当前块的邻近参考样本可以包括多列中的上邻近样本和多行中的左邻近样本。另外，当前块的邻近参考样本可以包括与大小为nW×nH的当前块的右边界相邻的总共nH个样本、与大小为nW×nH的当前块的下边界相邻的总共nW个样本、以及与大小为nW×nH的当前块的右下邻近的1个样本。
然而，当前块的一些邻近参考样本可能还未解码或者可能不可用。在这种情况下，解码设备可以通过利用可用样本替换不可用样本来配置要用于预测的邻近参考样本。另选地，可以通过可用样本的插值来配置要用于预测的邻近参考样本。
当导出邻近参考样本时，(i)可以基于当前块的邻近参考样本的平均或插值来导出预测样本，并且(ii)可以基于当前块的邻近参考样本当中相对于预测样本存在于特定(预测)方向上的参考样本来导出预测样本。当帧内预测模式是非定向模式或非角模式时可以应用情况(i)，当帧内预测模式是定向模式或角模式时可以应用情况(ii)。
另外，通过邻近参考样本当中基于当前块的预测样本位于当前块的帧内预测模式的预测方向上的第一邻近样本与位于预测方向的相反方向上的第二邻近样本之间的插值，可以生成预测样本。上述情况可以被称为线性插值帧内预测(LIP)。另外，可以使用线性模型基于亮度样本来生成色度预测样本。这种情况可被称为LM模式。
另外，可以基于滤波的邻近参考样本以及现有邻近参考样本当中根据帧内预测模式导出的至少一个参考样本(即，未滤波的邻近参考样本)来导出当前块的临时预测样本，并且临时预测样本可被加权求和以导出当前块的预测样本。上述情况可以被称为位置相关帧内预测(PDPC)。
可以选择当前块的邻近多参考样本线当中具有最高预测准确度的参考样本线以使用对应线上位于预测方向上的参考样本来导出预测样本，然后可以将本文所使用的参考样本线指示(用信号通知)给解码设备，从而执行帧内预测编码。上述情况可以被称为多参考线(MRL)帧内预测或基于MRL的帧内预测。
另外，可以通过将当前块分成垂直或水平子分区来基于相同的帧内预测模式执行帧内预测，并且能够以子分区为单位导出和使用邻近参考样本。即，在这种情况下，当前块的帧内预测模式等同地应用于子分区，并且在一些情况下可以通过以子分区为单位导出和使用邻近参考样本来改进帧内预测性能。这种预测方法可以被称为帧内子分区(ISP)或基于ISP的帧内预测。
上述帧内预测方法可以与帧内预测模式分开被称为帧内预测类型。帧内预测类型可以被称为诸如帧内预测技术或附加帧内预测模式的各种术语。例如，帧内预测类型(或附加帧内预测模式)可以包括上述LIP、PDPC、MRL或ISP中的至少一种。除了诸如LIP、PDPC、MRL或ISP的特定帧内预测类型之外的一般帧内预测方法可以被称为正常帧内预测类型。当未应用特定帧内预测类型时通常可以应用正常帧内预测类型，并且可以基于上述帧内预测模式执行预测。此外，可以根据需要对导出的预测样本执行后滤波。
此外，除了上述帧内预测类型之外，可以使用基于矩阵的帧内预测(MIP)作为一种帧内预测方法。MIP可以被称为仿射线性加权帧内预测(ALWIP)或矩阵加权帧内预测(MIP)。
如果对当前块应用MIP，则i)使用已执行平均处理的邻近参考样本，ii)执行矩阵向量乘法处理，并且iii)可以根据需要进一步执行水平/垂直插值处理以导出当前块的预测样本。用于MIP的帧内预测模式可以被配置为不同于LIP、PDPC、MRL、ISP帧内预测或正常帧内预测中使用的帧内预测模式。
MIP的帧内预测模式可以被称为“仿射线性加权帧内预测模式”或基于矩阵的帧内预测模式。例如，可以根据MIP的帧内预测模式不同地设定矩阵向量乘法中使用的矩阵和偏移。这里，矩阵可以被称为(仿射)权重矩阵，偏移可以被称为(仿射)偏移向量或(仿射)偏置向量。在本文件中，MIP的帧内预测模式可以被称为MIP帧内预测模式、线性加权帧内预测模式、矩阵加权帧内预测模式或基于矩阵的帧内预测模式。具体MIP方法将稍后描述。
准备以下附图以说明本文件的具体示例。由于附图中所描述的特定装置的名称或特定术语或名称(例如，语法的名称)作为示例而提供，所以本文件的技术特征不限于下面的附图中所使用的特定名称。
图5示意性地例示了可以应用本公开的实施例的基于帧内预测的图像编码方法的示例，图6示意性地例示了编码设备中的帧内预测器。图6的编码设备中的帧内预测器可以与上述图2的编码设备200的帧内预测器222相同或对应地应用。
参照图5和图6，S500可以由编码设备的帧内预测器222执行，S510可以由编码设备的残差处理器230执行。具体地，S510可以由编码设备的减法器231执行。在S520中，预测信息可以由帧内预测器222导出并由熵编码器240编码。在S520中，残差信息可以由残差处理器230导出并由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的量化变换系数的信息。如上所述，残差样本可以通过编码设备的变换器被导出为变换系数，并且变换系数可以通过量化器被导出为量化变换系数。关于量化变换系数的信息可以在熵编码器240中通过残差编码处理编码。
编码设备对当前块执行帧内预测(S500)。编码设备可以导出当前块的帧内预测模式/类型，导出当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本在当前块内生成预测样本。这里，帧内预测模式/类型确定、邻近参考样本导出和预测样本生成处理可以同时执行，或者一个处理可以在另一处理之前执行。
例如，编码设备的帧内预测器222可以包括帧内预测模式/类型确定器222-1、参考样本导出器222-2和预测样本导出器222-3。帧内预测模式/类型确定器222-1确定当前块的帧内预测模式/类型，参考样本导出器222-2导出当前块的邻近参考样本，并且预测样本导出器222-3可以导出当前块的预测样本。此外，尽管未示出，当执行预测样本滤波处理时，帧内预测器222还可以包括预测样本滤波器(未示出)。编码设备可以从多个帧内预测模式/类型当中确定应用于当前块的模式/类型。编码设备可以比较帧内预测模式/类型的RD成本并且确定当前块的最优帧内预测模式/类型。
如上所述，编码设备可以执行预测样本滤波处理。预测样本滤波可以被称为后滤波。可以通过预测样本滤波处理对一些或所有预测样本进行滤波。在一些情况下，可以省略预测样本滤波处理。
编码设备基于(滤波的)预测样本来生成当前块的残差样本(S510)。编码设备可以基于相位来比较预测样本与当前块的原始样本并且导出残差样本。
编码设备可以对包括帧内预测信息(预测信息)和关于残差样本的残差信息的图像信息进行编码(S520)。预测信息可以包括帧内预测模式信息和帧内预测类型信息。残差信息可以包括残差编码语法。编码设备可以对残差样本进行变换/量化以导出量化变换系数。残差信息可以包括关于量化变换系数的信息。
编码设备可以按比特流的形式输出编码的图像信息。输出的比特流可以通过存储介质或网络传送到解码设备。
如上所述，编码设备可以生成重构画面(包括重构样本和重构块)。为此，编码设备可以通过再次对量化变换系数进行解量化/逆变换来导出(修改的)残差样本。以这种方式在对残差样本进行变换/量化之后执行解量化/逆变换的原因是为了导出与如上所述从解码设备导出的残差样本相同的残差样本。编码设备可以基于预测样本和(修改的)残差样本来生成包括当前块的重构样本的重构块。可以基于重构块来生成当前画面的重构画面。如上所述，可以对重构画面进一步应用环路内滤波处理等。
图7示意性地例示了可以应用本公开的实施例的基于帧内预测的图像解码方法的示例，图8示意性地例示了解码设备中的帧内预测器。图8的解码设备中的帧内预测器可以与图2的解码设备300的上述帧内预测器331相同或对应地应用。
参照图7和图8，解码设备可以执行与上述编码设备所执行的操作对应的操作。S700至S720可以由解码设备的帧内预测器331执行，并且S700的预测信息和S730的残差信息可以由解码设备的熵解码器310从比特流获得。解码设备的残差处理器320可以基于残差信息导出当前块的残差样本。具体地，残差处理器320的解量化器321通过基于根据残差信息导出的量化变换系数执行解量化来导出变换系数，并且残差处理器320的逆变换器可以通过对变换系数执行逆变换来导出当前块的残差样本。S740可以由解码设备的加法器340或重构器执行。
解码设备可以基于所接收的预测信息(帧内预测模式/类型信息)导出当前块的帧内预测模式/类型(S700)。解码设备可以导出当前块的邻近参考样本(S710)。解码设备基于帧内预测模式/类型和邻近参考样本在当前块内生成预测样本(S720)。在这种情况下，解码设备可以执行预测样本滤波处理。预测样本滤波可以被称为后滤波。一些或所有预测样本可以通过预测样本滤波处理来滤波。在一些情况下，可以省略预测样本滤波处理。
解码设备基于所接收的残差信息来生成当前块的残差样本(S730)。解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并且导出包括重构样本的重构块(S740)。可以基于重构块来生成当前画面的重构画面。如上所述，可以对重构画面进一步应用环路内滤波处理等。
这里，解码设备的帧内预测器331可以包括帧内预测模式/类型确定器231-1、参考样本导出器331-2和预测样本导出器331-3。帧内预测模式/类型确定器331-1基于从熵解码器310获得的帧内预测模式/类型信息来确定当前块的帧内预测模式/类型，并且参考样本导出器331-2可以导出当前块的邻近参考样本，并且预测样本导出器331-3可以导出当前块的预测样本。此外，尽管未示出，当执行上述预测样本滤波处理时，帧内预测器331还可以包括预测样本滤波器(未示出)。
例如，帧内预测模式信息可以包括指示是否对当前块应用最可能模式(MPM)或剩余模式的标志信息(例如，intra_luma_mpm_flag)。在这种情况下，当对当前块应用MPM时，预测模式信息还可以包括指示帧内预测模式候选(MPM候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(MPM候选)可以由MPM候选列表或MPM列表组成。另外，当不对当前块应用MPM时，帧内预测模式信息还可以包括指示帧内预测模式候选(MPM候选)以外的帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码设备可以基于帧内预测模式信息来确定当前块的帧内预测模式。
另外，帧内预测类型信息可以按各种形式实现。例如，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息包括指示是否对当前块应用MRL的参考样本线信息(例如，intra_luma_ref_idx)、如果MRL适用则是否使用参考样本线、指示是否对当前块应用ISP的ISP标志信息(例如，intra_subpartitions_mode_flag)、当应用ISP时子分区指示分区类型的ISP类型信息(例如，intra_subpartitions_split_flag)、指示是否应用PDCP的标志信息或是否应用LIP的标志信息中的至少一个。另外，帧内预测类型信息可以包括指示是否对当前块应用MIP的MIP标志信息。
上述帧内预测模式信息和/或帧内预测类型信息可以通过本文件中所描述的编码方法来编码/解码。例如，上述帧内预测模式信息和/或帧内预测类型信息可以通过基于截断(莱斯)二进制码的熵编码(例如，CABAC、CAVLC)编码来编码/解码。
图9示例性地例示了可以应用本公开的实施例的示意性帧内预测处理。
参照图9，如上所述，帧内预测处理可以包括确定帧内预测模式/类型、导出邻近参考样本和执行帧内预测(生成预测样本)。帧内预测处理可以在如上所述的编码设备和解码设备中执行。本文件中的编码设备可以包括编码设备和/或解码设备。
编码设备可以确定帧内预测模式/类型(S900)。
编码设备可以在上述各种帧内预测模式/类型当中确定应用于当前块的帧内预测模式/类型，并且生成预测相关信息。预测相关信息可以包括指示应用于当前块的帧内预测模式的帧内预测模式信息和/或指示应用于当前块的帧内预测类型的帧内预测类型信息。解码设备可以基于预测相关信息确定应用于当前块的帧内预测模式/类型。
如上所述，帧内预测模式信息可以包括MPM标志信息、非平面标志信息、MPM索引信息和/或剩余模式(MPM剩余)信息中的至少一个。如上所述，帧内预测类型信息包括参考样本线(MRL索引)信息(例如，intra_luma_ref_idx)、ISP标志信息(例如，intra_subpartitions_mode_flag)、ISP类型信息(例如，intra_subpartitions_split_flag)和指示是否应用PDCP的标志信息、指示是否应用LIP的标志信息和/或MIP标志信息。
例如，当应用帧内预测时，可以使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，编码设备可以基于所接收的MPM索引选择基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式和/或附加候选模式导出的最可能模式(MPM)列表中的MPM候选之一，或者可以基于MPM剩余信息(剩余帧内预测模式信息)选择未包括在MPM候选(和平面模式)中的剩余帧内预测模式之一。MPM列表可以被配置为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则MPM列表可以具有6个候选，如果MPM列表不包括平面模式作为候选，则MPM列表可以具有5个候选。当MPM列表不包括平面模式作为候选时，可以用信号通知指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可以首先用信号通知MPM标志，并且当MPM标志的值为1时，可以用信号通知MPM索引和非平面标志。另外，当非平面标志的值为1时，可以用信号通知MPM索引。这里，将MPM列表配置为不包括平面模式作为候选的原因在于平面模式不是MPM，而不是平面模式始终被视为MPM，因此首先用信号通知非平面标志。这是为了首先检查它是否为平面模式。
例如，可以基于MPM标志(例如，intra_luma_mpm_flag)来指示应用于当前块的帧内预测模式是在MPM候选(和平面模式)当中还是剩余模式当中。值为1的MPM标志可以指示当前块的帧内预测模式在MPM候选(和平面模式)内，值为0的MPM标志可以指示当前块的帧内预测模式不在MPM候选(和平面模式)内。非平面标志(例如intra_luma_not_planar_flag)值0可以指示当前块的帧内预测模式是平面模式，非平面标志值1可以指示当前块的帧内预测模式不是平面模式。可以按mpm_idx或intra_luma_mpm_idx元素的形式用信号通知MPM索引，并且可以按rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式用信号通知剩余帧内预测模式信息。例如，剩余帧内预测模式信息可以通过按照预测模式编号的顺序对未包括在MPM候选(和平面模式)中的剩余帧内预测模式进行索引来指示所有帧内预测模式之一。帧内预测模式可以是亮度分量(样本)的帧内预测模式。在下文中，帧内预测模式信息包括MPM标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、MPM索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(rem_intra_luma_luma_mpm_mode或intra_luma_mpminder)中的至少一个。在本文件中，MPM列表可以被称为诸如MPM候选列表和candModeList的各种术语。
当对当前块应用MIP时，可以用信号通知用于MIP的单独mpm标志(例如，intra_mip_mpm_flag)、mpm索引(例如，intra_mip_mpm_idx)和剩余帧内预测模式信息(例如，intra_mip_mpm_remainder)，并且可以不用信号通知非平面标志。
换言之，当图像被大致分区为块时，要编码的当前块和邻近块具有相似的图像特性。因此，当前块和邻近块极有可能具有相同或相似的帧内预测模式。因此，编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。
可以配置编码设备的当前块的最可能模式(MPM)列表。MPM列表也可以被称为MPM候选列表。这里，MPM可以意指用于在帧内预测模式编码期间考虑当前块和邻近块之间的相似性来改进编码效率的模式。如上所述，MPM列表可以包括平面模式，或者可以排除平面模式。例如，当MPM列表包括平面模式时，MPM列表中的候选数量可为6。而当MPM列表不包括平面模式时，MPM列表中的候选数量可为5。
编码设备可以基于各种帧内预测模式来执行预测，并且可以基于根据其的速率失真优化(RDO)来确定最优帧内预测模式。在这种情况下，编码设备可以仅使用MPM列表中配置的MPM候选和平面模式来确定最优帧内预测模式，或者除了MPM列表中配置的MPM候选和平面模式之外还可以使用剩余帧内预测模式。具体地，如果当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)而非正常帧内预测类型，则编码设备仅考虑MPM候选和平面模式作为当前块的帧内预测模式候选，然后确定最优帧内预测模式。即，在这种情况下，可以仅从MPM候选和平面模式当中确定当前块的帧内预测模式，并且在这种情况下，可以不对mpm标志进行编码/用信号通知。在这种情况下，解码设备可以估计出mpm标志为1，而无需单独地用信号通知mpm标志。
此外，通常，在当前块的帧内预测模式不是平面模式，而是MPM列表中的MPM候选之一时，编码设备生成指示MPM候选之一的mpm索引(mpm idx)。如果当前块的帧内预测模式未包括在MPM列表中，则生成指示未包括在MPM列表(和平面模式)中的剩余帧内预测模式当中与当前块的帧内预测模式相同的模式的MPM剩余信息(剩余帧内预测模式信息)。例如，MPM剩余信息可以包括intra_luma_mpm_remainder语法元素。
解码设备从比特流获得帧内预测模式信息。如上所述，帧内预测模式信息可以包括MPM标志、非平面标志、MPM索引或MPM剩余信息(剩余帧内预测模式信息)中的至少一个。解码设备可以构造MPM列表。该MPM列表与编码设备中配置的MPM列表相同地配置。即，MPM列表可以包括邻近块的帧内预测模式，或者还可以包括根据预定方法的特定帧内预测模式。
解码设备可以基于MPM列表和帧内预测模式信息来确定当前块的帧内预测模式。例如，当MPM标志的值为1时，解码设备(基于非平面标志)将平面模式导出为当前块的帧内预测模式或者从MPM列表中的MPM候选当中选择MPM索引所指示的候选。这里，MPM候选可以仅指示MPM列表中所包括的候选，或者可以不仅包括MPM列表中所包括的候选，而且包括当MPM标志的值为1时可以应用的平面模式。
又如，当MPM标志的值为0时，解码设备可以将未包括在MPM列表和平面模式中的剩余帧内预测模式当中剩余帧内预测模式信息(可以被称为mpm剩余信息)所指示的帧内预测模式导出为当前块的帧内预测模式。此外，又如，在当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)时，解码设备可以将平面模式或MPM列表中MPM标志所指示的候选导出为当前块的帧内预测模式，而无需解析/解码/确认MPM标志。
编码装置导出当前块的邻近参考样本(S910)。当对当前块应用帧内预测时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本包括与大小为nW×nH的当前块的左边界相邻的总共2×nH个样本和与大小为nW×nH的当前块的左下邻近的样本、以及与当前块的上边界相邻的总共2×nW个样本和与大小为nW×nH的当前块的右上邻近的样本、以及与当前块的左上邻近的1个样本。另选地，当前块的邻近参考样本可以包括多列中的上邻近样本和多行中的左邻近样本。另外，当前块的邻近参考样本可以包括与大小为nW×nH的当前块的右边界相邻的总共nH个样本、与大小为nW×nH的当前块的下边界相邻的总共nW个样本、以及与大小为nW×nH的当前块的右下邻近的1个样本。
此外，当应用MRL时(即，当MRL索引信息的值大于0时)，邻近参考样本可位于线1至2上，而非在左/上侧与当前块相邻的线0。在这种情况下，邻近参考样本的数量可进一步增加。此外，当应用ISP时，能够以子分区为单位导出邻近参考样本。
编码设备通过对当前块执行帧内预测来导出预测样本(S920)。编码设备可以基于帧内预测模式/类型和邻近样本来导出预测样本。编码设备可以在当前块的邻近参考样本当中根据当前块的帧内预测模式来导出参考样本，并且可以基于参考样本来导出当前块的预测样本。
此外，当应用帧内预测时，可以使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，编码设备可以基于所接收的mpm索引选择基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式和附加候选模式导出的最可能模式(mpm)列表中的mpm候选之一，或者可以基于剩余帧内预测模式信息选择未包括在mpm候选(和平面模式)中的剩余帧内预测模式之一。mpm列表可被配置为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可以具有6个候选，如果mpm列表不包括平面模式作为候选，则mpm列表可以具有5个候选。如果mpm列表不包括平面模式作为候选，则可以用信号通知指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可以首先用信号通知mpm标志，并且当mpm标志的值为1时，可以用信号通知mpm索引和非平面标志。另外，当非平面标志的值为1时，可以用信号通知mpm索引。这里，将mpm列表配置为不包括平面模式作为候选的事实不在于平面模式不是mpm，而是平面模式始终被视为mpm，因此首先用信号通知非平面标志，以确定平面模式是否为平面模式，以首先检查。
例如，可以基于mpm标志(例如，intra_luma_mpm_flag)来指示应用于当前块的帧内预测模式是在mpm候选(和平面模式)当中还是剩余模式当中。mpm标志的值为1可以指示当前块的帧内预测模式在mpm候选(和平面模式)内，mpm标志的值为0可以指示当前块的帧内预测模式不在mpm候选(和平面模式)内。非平面标志(例如intra_luma_not_planar_flag)的值为0可以指示当前块的帧内预测模式是平面模式，非平面标志的值为1可以指示当前块的帧内预测模式不是平面模式。可以按mpm_idx或intra_luma_mpm_idx元素的形式用信号通知mpm索引，并且可以按rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式用信号通知剩余帧内预测模式信息。例如，剩余帧内预测模式信息可以通过按照预测模式编号的顺序对未包括在mpm候选(和平面模式)中的剩余帧内预测模式进行索引来指示所有帧内预测模式之一。帧内预测模式可以是亮度分量(样本)的帧内预测模式。在下文中，帧内预测模式信息可以包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)或剩余帧内预测模式信息(rem_intra_luma_luma_mpm_mode或intra_luma_mpminder)中的至少一个。在本文件中，mpm列表可以被称为诸如mpm候选列表、候选模式列表(candModeList)和候选帧内预测模式列表的各种术语。
图10例示了可以应用本公开的实施例的帧内预测模式的示例。
参照图10，可在具有左上对角预测方向的第34帧内预测模式左右区分具有水平方向的帧内预测模式和具有垂直方向的帧内预测模式。图8的H和V分别表示水平方向和垂直方向，数字-32至32表示样本网格位置上1/32单位的位移。帧内预测模式2至33具有水平方向性，帧内预测模式34至66具有垂直方向性。第18和第50帧内预测模式表分别示水平帧内预测模式和垂直帧内预测模式，而第2帧内预测模式被称为左下对角帧内预测模式，第34帧内预测模式可以被称为右上对角帧内预测模式，第66帧内预测模式可以被称为左上对角帧内预测模式。
在下文中，将描述作为帧内预测方法的解码器侧帧内模式导出(DIMD)模式。
例如，DIMD模式包括解码器侧帧内模式导出模式、解码器帧内模式导出模式、解码器侧帧内预测模式和解码器帧内模式预测模式(解码器帧内预测模式)。
另外，例如，DIMD模式可以被称为DIMD帧内模式。另外，DIMD模式可以被称为DIMD帧内预测模式或DIMD预测模式。
另外，例如，在本文件中帧内模式可以被称为帧内预测模式。另外，帧内模式和帧内预测模式可以互换使用。
此外，在诸如HEVC和VVC的现有视频编解码器中，通过比特流用信号通知帧内预测模式。帧内预测模式的开销量可以根据多个因素(即，量化参数、视频特性等)而变化。下表1示出帧内预测模式下的开销。
[表1]
参考表1，平均而言，约8.15％的比特用于对帧内预测模式进行编码。尽管这表示从VVC参考软件VTM版本10导出的统计数据，但应该考虑到，不管视频标准如何，均可观察到这种趋势。另外，这种趋势表明，帧内模式信令的开销不可忽略。
同时，与上面描述地传统帧内预测模式信令不同，本文件中引入了解码器侧帧内模式导出(DIMD)方法。这里，DIMD意指其中不通过比特流发送亮度帧内预测模式(IPM)的帧内编码工具。相反，在编码器和解码器二者中使用先前编码/解码的像素来导出亮度帧内预测模式。DIMD引入一种指向现有的帧内预测模式之一的新的帧内预测模式。
例如，当在所有其它帧内模式当中对应RD成本最小时，在编码器中选择DIMD模式作为最佳模式。在解码器中，各个CU可以检查是否应用DIMD模式。例如，可以用信号通知DIMD标志信息以指示DIMD模式。另外，可以指示CU是否通过另一方法导出DIMD帧内模式。
当CU以DIMD模式来编码时，解码器可导出DIMD帧内模式。例如，可以在重构处理期间使用先前解码的邻近像素来导出DIMD帧内模式(或DIMD模式)。另外，可以使用其它技术或其它处理来导出DIMD模式。
当DIMD模式在解码器中未被选择时，能够从比特流解析的关于帧内模式的信息可以关于现有帧内模式。也就是说，帧内预测模式能够通过现有帧内预测模式方法被解析。例如，关于帧内模式的信息可以是MPM标志、MPM索引或剩余模式信息中的至少一个。
图11示例性地例示了重构像素模板。
参考图11，可以使用重构像素模板来导出当前CU的DIMD模式。例如，可以假设模板的角方向与当前块的方向高度相关通过计算重构像素之间的方向信息来导出DIMD模式。
例如，可使用梯度量来测量DIMD模式。在这种情况下，梯度量可以由直方图表示。例如，可基于可从当前块的相邻重构像素计算的强度和取向来估计DIMD模式。在这种情况下，强度可以由G指示，方向可以由O指示。在这种情况下，强度可以意指幅度。
同时，Sobel滤波器也可以被称为Sobel算子，并且是用于边缘检测的高效滤波器。当使用Sobel滤波器时，有两个类型的Sobel滤波器可用：用于垂直方向的Sobel滤波器和用于水平方向的Sobel滤波器。
例如，对于模板中的各个像素，Sobel滤波器使用以当前像素为中心的窗口来计算x(即，Mx)和y(即，可应用于My)方向。
Mx和My可通过下式来计算。
[式1]
并且/>
另外，幅度和方向可通过下式来计算。
[式2]
G＝|Gx|+|Gy|并且
梯度的方向能够被转换为角内预测模式。例如，ECM 1.-0中考虑的定向帧内模式可以是如VVC中的67模式。当DIMD模式被应用时，两个帧内模式能够基于Hog(梯度的直方图)从周围的重构样本中被导出。Hog分析能够生成对应于最高累积直方图幅度和第二最高累积直方图幅度的两个帧内模式。最终的预测能够通过混合两个帧内模式和平面模式的预测被计算。例如，规划器预测可以被指配1/3权重，并且剩余的2/3可以与Hog幅度成比例地被分发给第一模式和第二模式。换句话说，2/3权重可以与Hog幅度成比例地被分发给对应于最高累积直方图幅度的第一帧内模式和对应于第二最高累积直方图幅度的第二模式。
下面，说明书着眼于TIMD(基于模板的帧内模式导出，TIMD)模式，其是一种帧内预测的方法。
例如，TIMD模式可以被称为基于模板的帧内模式导出模式、模板帧内模式导出模式等。
此外，例如，TIMD模式可以被称为TIMD帧内模式。附加地，TIMD模式可以被称为TIMD帧内预测模式或TIMD预测模式。
图12示例性地示出用于导出用于TIMD模式的帧内预测模式的模板。
当TIMD模式被使用时，解码器能够使用先前解码的周围像素导出当前CU的帧内模式。例如，基于当前块(或当前CU)的周围模板的周围参考样本，通过将用于导出的周围模板的预测样本与周围模板的恢复样本进行比较，来导出用于周围模板的预测样本，当前块(或当前CU)的帧内模式可以被导出。具体地，导出基于周围模板的周围参考样本和周围模板的恢复样本导出的预测样本的SATD(绝对变换差之和)之后，具有最小SATD的模式能够作为当前块的帧内模型被选择。
例如，参考图12，模板的预测样本能够基于位于模板外部的周围参考样本(也就是说，模板的参考)被导出。在导出在导出模板的预测样本与在恢复处理期间已经导出的模板的恢复样本之间的SATD之后，具有最小SATD的模式能够作为当前块的帧内模式被选择。由于模板是恢复按照解码顺序已经被完成的区域，因此该方法能够被使用。
TIMD能够被用于帧内预测。TIMD是一种在编码器和解码器这两者中都使用基于模板的方法的解码器侧帧内预测模式导出方法。与上面描述的DIMD类似，TIMD帧内模式不被用信号通知解码器。此时，与DIMD类似，用于当前CU的TIMD模式能够使用恢复的像素模板被导出。为了生成模板的预测样本，用于每个候选模式的模板的参考样本可以被生成。成本能够计算为在模板的预测样本和恢复样本之间的绝对变换差之和(SATD)。此时，与由SATD计算的成本之中的最小成本相对应的帧内预测模式可以被选择为TIMD模式。此时，帧内模式的数量可以是67个。附加地，帧内模式的数量能够被扩展到131个预测模式。
附加地，启用或禁用提出的方法的标志可以在SPS中被用信号通知。例如，如果该标志为真，则可以用信号通知指示是否使用提出的TIMD方法的CU级别标志。此时，指示是否使用TIMD方法的标志可以被称为TIMD标志。例如，当TIMD标志被启用时，可以跳过与包括MRL和ISP相关信息的亮度帧内预测模式相关的剩余语法元素。
同时，TIMD的基本结构能够被扩展以纳入融合模式。此时，具有最低SATD成本的两个模式能够被用于与要被作为用于当前CU的加权帧内预测使用的权重一起融合。两个选择的模式的成本被与阈值进行比较，并且在测试中，如下式所示，成本系数2能够被应用。
[式3]
costMode2＜2*cpstMode1
[式4]
例如，如果上面的式3为真，则融合被应用，否则仅一种模式被使用。此时，该一种模式可以是模式1。
附加地，能够使用下式从SATD成本计算用于模式的权重。
weightl＝costMode2/(costMode1+costMode2)
weight2＝1-weight1
这里，costMode 1可以是模式1的SATD成本，并且costMode 2可以是模式2的SATD成本。
下面，该规范着眼于预测方法之一的CIIP(组合的帧间帧内预测，CIIP)。
在VVC中，如果CU以合并模式被编译，则CU包含至少64个亮度样本，并且如果CU宽度和CU高度小于128个亮度样本，则可以用信号通知附加标志指示组合的帧间帧内预测(CIIP)是否被应用于当前CU。例如，如果CU宽度xCU高度大于或等于64，并且CU宽度和CU高度小于128个亮度样本，则可以用信号通知附加标志指示CIIP是否应用于当前CU。
CIIP预测通过组合的帧间预测信号和帧内预测信号来执行预测。Pinter(CIIP模式中的Int预测信号)能够使用应用于常规合并模式的相同帧间预测处理被导出。附加地，Pintra(帧内预测信号)可以根据使用平面模式的常规帧内预测处理被导出。int
图13示例性地示出用于导出CIIP中使用的权重值的邻近块。
参考图13，在CIIP中，帧内预测信号和帧间预测信号能够使用加权平均被组合，加权平均中使用的权重值能够根据当前块的上以及左邻近块的编译模式被计算，这能够被计算如下：
-如果上周围块是可用的并且是帧内编译的，则isIntraTop被设置为1。否则，isIntraTop被设置为0。
-如果左周围块是可用的并且是帧内编译的，则isIntraLeft被设置为1；否则，isIntraLeft被设置为0。
-如果isIntraLeft+isIntraTop＝2，则wt被设置为3。
-否则，如果isIntraLeft+isIntraTop＝1，则st被设置为2。
-否则，wt被设置为1。
附加地，能够使用下式计算CIIP预测。
[式5]
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2
这里，PCIIP表示CIIP预测信号，Pinter表示帧间预测信号，Pintra表示帧内预测信号。附加地，wt能够基于上和左邻近块的可用性以及是否根据上面描述的方法执行帧内编译被确定。
下表是CIIP中的合并数据的示例语法。
【表2】
根据表2，CIIP标志可以被包括在合并数据中。这可以代表其中当CU在解码器中被解码时CIIP标志被解析的处理。
同时，为了改进帧内编译结构的性能，下面讨论的以下方面能够被考虑。每个实施例项目能够被单独应用或组合应用。
例如，帧内模式能够被使用，其能够使用DIMD和/或TIMD算法被导出。
作为示例，如果帧内模式使用DIMD/TIMD和/或其他技术的组合被导出，则可以使用一种模式或多种模式来计算CIIP预测。例如，如果多个导出的帧内模式被使用来计算CIIP预测，则可以向导出的帧内模式指配相等或不相等的权重。
附加地，例如，当用于计算CIIP预测时，可以使用多种帧间模式。此时，类似于向多个导出的帧内模式指配权重，可以向多个帧间模式指配相同或不相同的权重。
作为另一示例，当使用多个帧间和/或帧内模式的组合来确定CIIP预测时，可以使用预确定的规则。
例如，如果邻近块可用，则能够基于有多少邻近块可用以及哪些邻近块可用来确定CIIP预测。换句话说，能够基于可用邻近块的数量和可用邻近块来确定CIIP预测。特定地，能够基于邻近块是上邻近块、左邻近块或左上邻近块来确定CIIP预测。
同时，用作用于块统计值的基础的情况可以意指其中帧内模式和帧间模式的组合能够被使用使得亮度像素值的方差能够通过该组合被捕获的情况。
或者，作为另一示例，可以使用预确定率失真(RD)优化来检查一个导出模式或多个导出模式以确定哪个或哪些模式能够被使用。
例如，导出的模式能够被添加到RD计算处理中，并且对应于最低RD成本的模式能够被使用以生成预测。也就是说，导出的模式之中具有最低RD成本的模式能够被用于生成预测样本。此时，RD模式可以是全RD优化。可替选地，FastRDO能够被使用。
附加地，例如，RD成本计算可以通过向RD成本函数添加附加的权重被执行。例如，权重w可以被经验性地确定或基于诸如用于帧内模式的潜在导出模式的数量、可用周围块的数量等的块统计值被确定。附加地，当放大RD成本时，CU可以不频繁地在CIIP模式中被编译。这在运动信息过于多样(例如，超过预确定阈值的大运动向量)的情况中可以是有用的，诸如当即使CU在合并模式中被编译帧间预测的准确度也可以降低时。相反，如果RD成本能够被降低，情况可以并非如此。
或者，作为另一示例，当多个DIMD和/或TIMD模式被使用时，有必要用信号通知导出模式的索引。
或者，作为另一示例，组合信令技术能够被使用，这里第一bin能够被用于指示CIIP预测是否应该在CIIP模式中被编译。在第一bin后，附加bin可以被使用以指示导出的模式的哪个能够被使用。当仅考虑CIIP预测中的DIMD导出模式、或TIMD导出模式、或从能够组合DIMD、TIMD和/或其他导出帧内技术的协调结构导出的模式时，这能够被使用。
例如，使用的模式可以使用上下文编译/固定长度编译或其他合适的方法被编译。
例如，如果当多个导出模式被考虑时TIMD/DIMD索引的概率是等概率的，则使用固定长度编译可以是有利的。
例如，如果附加的上下文编译bin被用信号通知，则单个上下文模型或多个上下文模型能够被使用。附加地，例如，要使用的上下文模型的数量能够通过考虑各种参数被确定。此时，能够使用可用的邻近块，也就是说，左邻近块、上邻近块、左相邻块和上相邻块两者、或者其他可用的相邻块来确定要被使用的上下文模型的数量。换句话说，可以使用包括左邻近块或上邻近块的邻近块的至少一个来确定要被使用的上下文模型的数量。
作为另一示例，可以使用块相关信息来确定上下文模型的数量及其初始化值。例如，平均值、中值亮度块、子块强度和/或其他适当的块统计值可以被用于确定上下文模型的数量及其初始化值。
或者，作为另一示例，可以在CIIP标志被用信号通知之后用信号通知一个bin/标志以指示导出的帧内模式或规划器模式是否能够被使用来计算CIIP。换句话说，在CIIP标志被用信号通知之后，一个bin/标志能够被用信号通知以指示是从CIIP导出的帧内模式还是计划器模式被使用。
同时，VVC中的CIIP使用仅限于包含至少64个亮度样本并且CU的高度和宽度小于128个亮度样本的编译单元。此时，CIIP不能被用于其他块大小。
就此而言，例如，如果更大的CU大小需要被使用，则CU能够如下被划分为数个子块：
例如，取决于块的大小(维度)，CU能够被垂直或水平地划分为子块。例如，如果块的高度大于该块的宽度，则其可以在水平方向上被划分为小子块。类似地，如果块的宽度大于该块的高度，则其可以在垂直方向上被划分为更小的子块。
附加地，例如，CU可以被均等或不均等地分割以创建子块。
附加地，例如，如果CU具有一个跨越CU的宽度的自由周围块和两个或多个跨越CU的高度的自由周围块，则子块能够被创建，使得子块的宽度与CU的宽度匹配并且对应于周围块的高度。
或者，作为另一示例，CU可以被划分为相同大小的子块和不同大小的子块的组合。例如，CU可以被划分为n个子块，并且每个子块可以被进一步划分。在这种情况下，n可以大于1。附加地，例如，n个块中的全部和/或一些可以被细分，并且用于确定n个块是否需要被细分的各种因素可以被使用。此外，例如，均值/方差亮度或均值/方差运动活动性和/或其他合适的参数能够被用于确定每n个子块是否需要被分割以应用CIIP。此外，例如，CIIP可以被应用于所有或一些子块。附加地，可以隐式地用信号通知或导出应用CIIP的子块。
附加地，例如，如果针对每个子块用信号通知CIIP标志，则可以用信号通知一个上下文编译bin以指示CIIP是否应用。例如，上下文模型的数量及其初始化值能够通过检查诸如可用的周围块、参考线的数量、当前CTU内的块/子块等的块统计值被经验性地确定。
附加地，例如，如果邻近可能块的数量大于阈值“T”，则可以从比特流解析子块的数量。附加地，如果可用邻近块的数量小于阈值“T”，则默认规则可以被应用，这可以被经验性地确定。
或者，作为另一示例，可以针对帧间和帧内模式指配/使用不同的权重以计算CIIP预测。例如，数个因素可以在确定权重中被考虑。
例如，检查参考像素的线的数量可以是一个示例。这对于确定帧间预测中的权重能够是有用的。也就是说，随着参考线的数量减少，用于帧间预测的权重可以减少。
或者，例如，如果上邻近块属于画面边界处的另一个CUT，则用于帧间预测的权重可以是0或接近0。
附加地，可以最小化指配给帧内预测的权重。这能够在不存在可用的导出帧内模式的情况下被完成。
根据上文，当将CIIP应用于当前块时，基于DIMD模式或TIMD模式导出帧内预测模式以减少帧内预测模式信令处理期间出现的开销，这能够改进整体编译效率。附加地，通过使用DIMD模式或TIMD模式有效地将CIIP应用于当前块，能够增加预测精度。
图14和图15示意性地示出根据本文件的实施例的视频/图像编码方法和相关组件的示例。
图14中公开的方法可以由图2或图15中公开的编码设备执行。特定地，例如，图14的S1400至S1450可以由图15的编码设备的预测单元220执行，S1460可以由图15的编码设备的熵编码单元240执行。另外，虽然在图14中未出，但是也能够由编码设备的残差处理单元230导出残差样本或残差信息，可以由编码设备的熵编码单元240从残差信息或预测相关信息生成比特流。图14中公开的方法可以包括本文件中上面描述的实施例。
参考图14，确定CIIP(组合的画面间合并和画面内预测)是否被应用于当前块(S1400)。例如，编码设备可以根据上面描述的实施例确定CIIP是否被应用于当前块。
编码设备确定帧内预测模式(S1410)。例如，编码设备可以根据上面描述的实施例确定帧内预测模式。附加地，编码设备基于帧内预测模式导出帧内预测样本(S1420)。例如，编码设备可以根据上面描述的实施例基于帧内预测模式来导出帧内预测样本。
例如，可以基于DIMD模式或TIMD模式来确定帧内预测模式。例如，可以基于当前块的周围参考样本来导出DIMD模式，并且可以基于当前块的模板来导出TIMD模式。
附加地，例如，基于应用于当前块的DIMD模式，可以基于当前块的邻近参考样本来确定帧内预测模式。此时，可以根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成帧内预测样本，DIMD模式可以包括第一DIMD模式和第二DIMD模式。附加地，可以基于第一DIMD模式导出第一帧内预测样本，可以基于第二DIMD模式导出第二帧内预测样本。此时，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以相同。附加地，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以不相同。
附加地，例如，基于应用于当前块的TIMD模式，可以基于当前块的模板来确定帧内预测模式。此时，可以根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成帧内预测样本，TIMD模式可以包括第一TIMD模式和第二TIMD模式。附加地，可以基于第一TIMD模式导出第一帧内预测样本，可以基于第二TIMD模式导出第二帧内预测样本。此时，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以相同。附加地，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以不相同。
附加地，例如，可以基于率失真成本来确定用于帧内预测模式的DIMD模式。此时，可以基于当前块的邻近样本来确定率失真成本。附加地，还可以基于率失真成本来确定用于帧内预测模式的TIMD模式。
附加地，例如，当前块可以基于当前块的大小被分割为当前块的子块。此时，当前块可以基于当前块的形状被垂直或水平地分割并且被分割为子块。也就是说，如果当前块的高度大于当前块的宽度，则当前块可以在水平方向上被分割，并且被分割为子块，如果当前块的宽度大于当前块的高度块中，则当前块可以在垂直方向上被分割并且被分割为子块。附加地，CIIP可以被应用于至少一个子块。
编码设备导出帧间预测样本(S1430)。例如，编码设备可以根据上面描述的实施例导出帧间预测样本。
例如，基于第一帧间预测样本和第二帧间预测样本，可以基于执行加权平均来生成帧间预测样本。
编码设备基于帧内预测样本和帧间预测样本来导出当前块的预测样本(S1440)。例如，编码设备可以根据上面描述的实施例基于帧内预测样本和帧间预测样本来导出当前块的预测样本。
例如，可以基于执行帧内预测样本和帧间预测样本的加权平均来导出预测样本。此时，可以基于参考线的数量来确定用于帧内预测样本的权重和用于帧间预测样本的权重。
基于当前编码块的预测样本生成预测相关信息(S1450)。例如，编码设备可以根据上面描述的实施例基于当前块的预测样本来生成预测相关信息。
编码设备编码包括预测相关信息的图像信息(S1460)。例如，编码设备可以根据上面描述的实施例编码包括预测相关信息的图像信息。
例如，图像信息可以包括CIIP标志、DIMD相关信息或TIMD相关信息中的至少一个。CIIP标志可以与CIIP是否被应用于当前块相关。附加地，DIMD相关信息可以包括与DIMD模式相关的索引信息，并且TIMD相关信息可以包括与TIMD模式相关的索引信息。
附加地，例如，可以基于上下文模型编码用于CIIP标志的bin，可以基于上下文模型编码用于与DIMD模式相关的索引信息或与TIMD模式相关的索引信息中的至少一个的bin。此时，可以基于当前块的邻近样本来确定上下文模型的数量。
附加地，例如，图像信息可以包括与是否使用DIMD模式来导出帧内预测模式相关的标志。此时，该标志可以被配置为在CIIP标志之后要被解析。类似地，图像信息可以包括与TIMD模式是否被用于导出帧内预测模式相关的标志。此时，该标志可以被配置为在CIIP标志之后要被解析。
图16和图17示意性地示出根据本文件的实施例的视频/图像解码方法和相关组件的示例。
图16中公开的方法可以由图3或图17中公开的解码设备执行。特定地，例如，图16的S1600可以由解码设备的熵解码单元310执行，图16的S1610至S1620可以由解码设备的预测单元330执行，图16的S1630可以在解码设备的加法器340中被执行。另外，虽然在图16中未示出，但是图16的解码设备的残差处理单元320也能够导出残差样本。图16中公开的方法可以包括本文件中上面描述的实施例。
参考图16，解码设备从比特流获得包括预测相关信息的图像信息(S1600)。根据上面描述的实施例，解码设备能够从比特流获得包括预测相关信息的图像信息。
例如，图像信息可以包括CIIP标志、DIMD相关信息或TIMD相关信息中的至少一个。此时，CIIP标志可以与CIIP是否被应用于当前块相关，DIMD相关信息可以包括与DIMD模式相关的索引信息，TIMD相关信息可以包括与TIMD模式相关的索引信息。
附加地，例如，可以基于上下文模型解码用于CIIP标志的bin，可以基于上下文模型来解码用于与DIMD模式相关的索引信息或与TIMD模式相关的索引信息中的至少一个的bin。此时，可以基于当前块的邻近样本来确定上下文模型的数量。
附加地，例如，图像信息可以包括与DIMD模式是否被用于导出帧内预测模式相关的标志。此时，可以在CIIP标志之后解析该标志。
附加地，例如，图像信息可以包括与TIMD模式是否被用于导出帧内预测模式相关的标志。此时，可以在CIIP标志之后解析该标志。
解码设备基于预测相关信息来确定CIIP(组合的画面间合并和画面内预测)是否被应用于当前块(S1610)。解码设备可以根据上面描述的实施例基于预测相关信息来确定CIIP是否被应用于当前块。
解码设备基于CIIP被应用于当前块的确定来导出当前块的预测样本(S1620)。根据上面描述的实施例，解码设备可以基于CIIP被应用于当前块的确定来导出当前块的预测样本。
例如，可以基于用于当前块的帧内预测模式来导出帧内预测样本。此时，可以基于DIMD(解码器侧帧内模式导出)模式或TIMD(基于模板的帧间模式导出)模式来导出帧内预测模式。
附加地，例如，基于应用于当前块的DIMD模式，可以基于当前块的周围参考样本来导出它。此时，可以根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成帧内预测样本，DIMD模式可以包括第一DIMD模式和第二DIMD模式。附加地，可以基于第一DIMD模式导出第一帧内预测样本，可以基于第二DIMD模式导出第二帧内预测样本。此时，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以相同。附加地，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以不相同。
附加地，例如，基于应用于当前块的TIMD模式，可以基于当前块的模板来导出它。此时，可以根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成帧内预测样本，TIMD模式可以包括第一TIMD模式和第二TIMD模式。附加地，可以基于第一TIMD模式导出第一帧内预测样本，并且可以基于第二TIMD模式导出第二帧内预测样本。此时，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以相同。附加地，用于第一帧内预测样本的权重和用于第二帧内预测样本的权重可以不相同。
附加地，例如，可以基于率失真成本来确定用于帧内预测模式的DIMD模式。此时，可以基于当前块的邻近样本来确定率失真成本。附加地，还可以基于率失真成本来确定用于帧内预测模式的TIMD模式。
附加地，例如，当前块可以基于当前块的大小被分割为当前块的子块。此时，当前块可以基于当前块的形状被垂直或水平地分割并且被分割为子块。也就是说，如果当前块的高度大于当前块的宽度，则当前块可以在水平方向上被分割，并且被分割为子块，如果当前块的宽度大于当前块的高度块中，则当前块可以在垂直方向上被分割并且被分割为子块。
附加地，例如，可以基于执行帧内预测样本和帧间预测样本的加权平均来导出预测样本。此时，可以基于参考线的数量来确定用于帧内预测样本的权重和用于帧间预测样本的权重。
解码设备基于预测样本生成当前块的恢复样本(S1630)。解码设备可以根据上面描述的实施例基于预测样本来生成当前块的恢复样本。
例如，解码设备可以基于当前块的预测样本和残差样本来生成当前块的恢复样本。此时，可以基于残差相关信息来导出残差样本，并且残差相关信息可以被包括在通过比特流用信号通知的图像信息中并且可以从图像信息中被导出。
根据上面描述的本文件，基于应用于当前块的CIIP来导出当前块的预测样本，可以基于帧内预测样本和帧间预测样本来导出当前块的预测样本。此时，可以基于DIMD(解码器侧帧内模式导出)模式或TIMD(基于模板的帧间模式导出)模式来导出帧内预测模式。因此，当将CIIP应用于当前块时，通过基于DIMD模式或TIMD模式导出帧内预测模式，在帧内预测模式信令处理期间出现的开销被减少，这能够改进整体编译效率。附加地，可以通过基于DIMD模式导出的预测样本或者基于DIMD模式导出的帧内预测模式来增加预测精度。
在当前块的残差样本存在时，解码设备可以接收关于当前块的残差的信息。关于残差的信息可以包括关于残差样本的变换系数。解码设备可以基于残差信息来推导当前块的残差样本(或残差样本阵列)。具体地，解码设备可以基于残差信息来推导量化变换系数。量化变换系数可以具有基于系数扫描顺序的一维向量形式。解码设备可以基于对量化变换系数的解量化处理来推导变换系数。解码设备可以基于变换系数来推导残差样本。
解码设备可以基于(帧内)预测样本和残差样本来生成重构样本，并且可以基于重构样本来推导重构块或重构画面。具体地，解码设备可以基于(帧内)预测样本和残差样本之和来生成重构样本。如上所述，如果需要，解码设备然后可以对重构画面应用诸如解块滤波和/或SAO处理的环路内滤波处理，以便改进主观/客观画面质量。
例如，解码设备可以对比特流或编码的信息进行解码，以获得包括所有或一些上述信息(或语法元素)的图像信息。另外，比特流或编码的信息可以存储在计算机可读存储介质中，并且可以导致执行上述解码方法。
在上述实施例中，基于具有一系列步骤或方框的流程图描述了方法。本公开不限于以上步骤或方框的顺序。一些步骤或方框能够以与上述的其它步骤或方框不同的顺序执行或同时执行。此外，本领域技术人员将理解，流程图中所示的步骤不是排它的，并且可以还包括其它步骤，或者可以在不影响本公开的范围的情况下删除流程图中的一个或更多个步骤。
根据本文件的实施例的上述方法可以按软件的形式实现，并且根据本文件的编码设备和/或解码设备可以包括在例如执行处理的TV、计算机、智能电话、机顶盒、显示装置等中。
当本文件中的实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块(进程、函数等)。模块可存储在存储器中并由处理器执行。存储器可以在处理器的内部或外部，并且可以按各种熟知手段与处理器联接。处理器可以包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。即，本文件中所描述的实施例可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每幅图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可以存储在数字存储介质中。
另外，应用本公开的解码设备和编码设备可以被包括在如下设备中：多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控相机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、VOD服务提供设备、过顶(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、电话会议视频设备、运输用户设备(例如，车辆(包括自主车辆)用户设备、飞机用户设备和轮船用户设备)和医疗视频装置；并且应用本公开的解码设备和编码设备可以用于处理视频信号或数据信号。例如，过顶(OTT)视频设备可以包括游戏机、蓝光播放器、互联网接入电视机、家庭影院系统、智能电话、平板计算机、数字视频记录仪(DVR)等。
另外，应用本公开的实施例的处理方法能够以计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。根据本公开的实施例的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如BD、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，经由互联网的传输)的形式实现的介质。另外，由编码方法生成的比特流可以存储在计算机可读记录介质中或通过有线/无线通信网络来传输。
另外，本公开的实施例可以根据程序代码利用计算机程序产品来实现，并且程序代码可以通过本公开的实施例在计算机中执行。程序代码可以存储在计算机可读载体上。
图18图示可以应用本公开的内容流系统的结构图。
参考图18，应用了本文件的实施例的内容流系统可以主要包括编码服务器、流服务器、web服务器、媒体储存器、用户装置和多媒体输入装置。
编码服务器将从诸如智能手机、相机或便携式摄像机等的多媒体输入装置输入的内容压缩为数字数据，以生成比特流并将比特流发送到流服务器。作为另一示例，当诸如智能手机、相机或便携式摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用了本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流服务器可以在发送或接收比特流的过程中临时存储比特流。
流服务器基于用户请求通过web服务器向用户装置发送多媒体数据，并且web服务器用作向用户通知服务的媒介。当用户从web服务器请求所需的服务时，web服务器向流服务器传送该请求，并且流服务器向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统内的装置之间的命令/响应。
流服务器可以从媒体储存器和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平稳的流服务，流服务器可以将比特流存储达预定时间。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜和头戴式显示器)、数字TV、台式计算机和数字标牌等。
内容流系统内的每个服务器可以作为分布式服务器来操作，在这种情况下，从每个服务器接收的数据可以被分布地处理。
本公开中描述的权利要求能够以各种方式组合。例如，可以组合本公开的方法权利要求的技术特征以实现为设备，并且可以组合本公开的设备权利要求的技术特征以实现为方法。此外，可以组合本公开的方法权利要求的技术特征和设备权利要求的技术特征以实现为设备，并且可以组合本公开的方法权利要求的技术特征和设备权利要求的技术特征以实现为方法。

Claims (20)

1.一种由解码装置执行的图像解码方法，所述图像解码方法包括：
从比特流获得包括预测相关信息的图像信息；
基于所述预测相关信息来确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块；
基于确定所述CIIP被应用于所述当前块来导出所述当前块的预测样本；以及
基于所述预测样本来生成所述当前块的重构样本，
其中，所述当前块的所述预测样本基于帧内预测样本和帧间预测样本被导出，
其中，所述帧内预测样本基于帧内预测模式被导出，以及
其中，所述帧内预测模式基于解码器侧帧内模式导出(DIMD)模式或基于模板的帧间模式导出(TIMD)模式被导出。
2.根据权利要求1所述的图像解码方法，其中，根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成所述帧内预测样本，
其中，所述DIMD模式包括第一DIMD模式和第二DIMD模式，
其中，所述第一帧内预测样本基于所述第一DIMD模式被导出，以及
其中，所述第二帧内预测样本基于所述第二DIMD模式被导出。
3.根据权利要求1所述的图像解码方法，其中，根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成所述帧内预测样本，
其中，所述TIMD模式包括第一TIMD模式和第二TIMD模式，
其中，所述第一帧内预测样本基于所述第一TIMD模式被导出，以及
其中，所述第二帧内预测样本基于所述第二TIMD模式被导出。
4.根据权利要求1所述的图像解码方法，其中，根据基于第一帧间预测样本和第二帧间预测样本的加权平均来生成所述帧间预测样本。
5.根据权利要求1所述的图像解码方法，其中，用于所述帧内预测模式的所述DIMD模式基于率失真成本被确定，以及
其中，所述率失真成本基于所述当前块的邻近样本被确定。
6.根据权利要求1所述的图像解码方法，其中，所述图像信息包括CIIP标志、DIMD相关信息或TIMD相关信息中的至少一个，
其中，所述DIMD相关信息包括与所述DIMD模式相关的索引信息，以及
其中，所述TIMD相关信息包括与所述TIMD模式相关的索引信息。
7.根据权利要求6所述的图像解码方法，其中，用于所述CIIP标志的bin基于上下文模型被解码，
其中，用于与所述DIMD模式相关的所述索引信息或与所述TIMD模式相关的所述索引信息中的至少一个的bin基于上下文模型被解码，以及
其中，所述上下文模型的数量基于所述当前块的邻近样本被确定。
8.根据权利要求1所述的图像解码方法，其中，所述图像信息包括CIIP标志以及与所述DIMD模式是否被用于导出所述帧内预测模式相关的标志，以及
其中，所述标志在所述CIIP标志之后被解析。
9.根据权利要求1所述的图像解码方法，其中，基于所述当前块的大小，所述当前块被划分为所述当前块的子块，以及
其中，基于所述当前块的形状，所述当前块通过被垂直或水平划分来被划分为所述子块。
10.根据权利要求9所述的图像解码方法，其中，所述CIIP被应用于所述子块中的至少一个。
11.根据权利要求1所述的图像解码方法，其中，基于执行所述帧内预测样本和所述帧间预测样本的加权平均来导出所述预测样本，以及
其中，基于所述当前块的参考线的数量，用于帧内预测样本的权重和用于所述帧间预测样本的权重被确定。
12.一种由编码装置执行的图像编码方法，所述图像编码方法包括：
确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块；
确定帧内预测模式；
基于所述帧内预测模式来导出帧内预测样本；
导出帧间预测样本；
基于所述帧内预测样本和所述帧间预测样本来导出所述当前块的预测样本；以及
基于所述当前块的所述预测样本来生成预测相关信息；以及
编码包括所述预测相关信息的图像信息，
其中，所述帧内预测模式基于解码器侧帧内模式导出(DIMD)模式或基于模板的帧间模式导出(TIMD)模式被确定。
13.根据权利要求12所述的图像编码方法，其中，根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成所述帧内预测样本，
其中，所述DIMD模式包括第一DIMD模式和第二DIMD模式，
其中，所述第一帧内预测样本基于所述第一DIMD模式被导出，以及
其中，所述第二帧内预测样本基于所述第二DIMD模式被导出。
14.根据权利要求12所述的图像编码方法，其中，根据基于第一帧内预测样本和第二帧内预测样本执行加权平均来生成所述帧内预测样本，
其中，所述TIMD模式包括第一TIMD模式和第二TIMD模式，
其中，所述第一帧内预测样本基于所述第一TIMD模式被导出，以及
其中，所述第二帧内预测样本基于所述第二TIMD模式被导出。
15.根据权利要求12所述的图像编码方法，其中，根据基于第一帧间预测样本和第二帧间预测样本的加权平均来生成所述帧间预测样本。
16.根据权利要求12所述的图像编码方法，其中，所述图像信息包括CIIP标志、DIMD相关信息或TIMD相关信息中的至少一个，
其中，所述DIMD相关信息包括与所述DIMD模式相关的索引信息，以及
其中，所述TIMD相关信息包括与所述TIMD模式相关的索引信息。
17.根据权利要求2所述的图像编码方法，其中，所述图像信息包括CIIP标志以及与所述DIMD模式是否被用于导出所述帧内预测模式相关的标志，
其中，所述标志被配置为在所述CIIP标志之后要被解析。
18.根据权利要求12所述的图像编码方法，其中，基于所述当前块的大小，所述当前块被划分为所述当前块的子块，以及
其中，基于所述当前块的形状，所述当前块通过被垂直或水平划分来被划分为所述子块。
19.一种存储由权利要求12所述的图像编码方法生成的比特流的计算机可读存储介质。
20.一种用于图像的发送数据的方法，所述方法包括：
获得用于所述图像的比特流，其中基于确定组合的画面间合并和画面内预测(CIIP)是否被应用于当前块来生成所述比特流，确定帧内预测模式，基于所述帧内预测模式来导出帧内预测样本，导出帧间预测样本，基于所述帧内预测样本和所述帧间预测样本来导出所述当前块的预测样本，基于所述当前块的所述预测样本来生成预测相关信息，以及包括所述预测相关信息的编码图像信息；以及
发送包括所述比特流的所述数据，
其中，所述帧内预测模式基于解码器侧帧内模式导出(DIMD)模式或基于模板的帧间模式导出(TIMD)模式被确定。
CN202280073415.4A 2021-10-01 2022-09-30 基于ciip的预测方法和设备 Pending CN118202648A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163251043P 2021-10-01 2021-10-01
US63/251,043 2021-10-01
PCT/KR2022/014757 WO2023055172A1 (ko) 2021-10-01 2022-09-30 Ciip 기반 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
CN118202648A true CN118202648A (zh) 2024-06-14

Family

ID=85783280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280073415.4A Pending CN118202648A (zh) 2021-10-01 2022-09-30 基于ciip的预测方法和设备

Country Status (2)

Country Link
CN (1) CN118202648A (zh)
WO (1) WO2023055172A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018054269A1 (en) * 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
EP3857890A4 (en) * 2018-11-06 2021-09-22 Beijing Bytedance Network Technology Co. Ltd. SIGNALING PAGE INFORMATION FOR INTERPREDICTION WITH GEOMETRIC PARTITIONING

Also Published As

Publication number Publication date
WO2023055172A1 (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102606330B1 (ko) Aps 시그널링 기반 비디오 또는 영상 코딩
CN113455006B (zh) 图像解码方法和装置
KR20220044766A (ko) 크로스 컴포넌트 필터링 기반 영상 코딩 장치 및 방법
CN114586350A (zh) 基于交叉分量自适应环路滤波的图像编译装置和方法
CN114586349A (zh) 基于滤波编译视频的设备和方法
KR20220019241A (ko) 적응적 루프 필터 기반 비디오 또는 영상 코딩
KR20220044894A (ko) 영상 코딩 장치 및 방법
KR20220041898A (ko) 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
CN114208193B (zh) 图像解码方法及其装置
US20230036189A1 (en) Image encoding/decoding method and apparatus for selectively encoding size information of rectangular slice, and method for transmitting bitstream
KR20220019243A (ko) 인루프 필터링 기반 비디오 또는 영상 코딩
CN115398909A (zh) 用于残差编码的图像解码方法及其设备
KR20210136988A (ko) 비디오 또는 영상 코딩 방법 및 그 장치
KR20220100700A (ko) 서브픽처 기반 영상 코딩 장치 및 방법
KR20210154991A (ko) 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
KR20220017426A (ko) 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
CN114258684A (zh) 图像解码方法及其设备
KR20210130235A (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
CN114375578A (zh) 用于残差编码的图像解码方法及其设备
KR20210118947A (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
KR20220163401A (ko) 인루프 필터링 기반 영상 코딩 장치 및 방법
KR20220097997A (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
KR20220073834A (ko) 영상/비디오 코딩을 위한 상위 레벨 신택스 시그널링 방법 및 장치
KR20210129224A (ko) 스케일링 리스트 기반 비디오 또는 영상 코딩
KR20220003119A (ko) 크로마 양자화 파라미터 데이터에 대한 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication